CN114245983B - 图像处理装置、成像装置、系统、图像处理方法 - Google Patents

图像处理装置、成像装置、系统、图像处理方法 Download PDF

Info

Publication number
CN114245983B
CN114245983B CN201980099252.5A CN201980099252A CN114245983B CN 114245983 B CN114245983 B CN 114245983B CN 201980099252 A CN201980099252 A CN 201980099252A CN 114245983 B CN114245983 B CN 114245983B
Authority
CN
China
Prior art keywords
image
movement
inverse filter
event signal
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980099252.5A
Other languages
English (en)
Other versions
CN114245983A (zh
Inventor
长沼宏昌
林正和
栗原洋辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN114245983A publication Critical patent/CN114245983A/zh
Application granted granted Critical
Publication of CN114245983B publication Critical patent/CN114245983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169—Digital image input
    • H04N1/00172—Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理设备包括：移动估计单元，其估计在图像中通过同步扫描捕获的物体的移动，所述估计是基于分配给图像的第一时间戳、响应于图像的一个或多个像素的光的强度变化生成的事件信号、以及分配给事件信号并与第一时间戳同步的第二时间戳执行的；逆滤波器生成单元，其基于移动生成逆滤波器；以及滤波器应用单元，其将逆滤波器应用于图像。

Description

图像处理装置、成像装置、系统、图像处理方法
技术领域
本发明涉及图像处理装置、成像装置、系统、图像处理方法。
背景技术
已知事件驱动型视觉传感器，在其中检测入射光的强度变化的像素在时间上异步地产生信号。与以预定周期扫描所有像素的帧型视觉传感器相比，事件驱动型视觉传感器的优势在于它可以以低功耗和高速操作，特别是与诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器等相比。例如，在PTL 1和PTL 2中公开了与刚刚描述的这种事件驱动型视觉传感器相关的技术。
专利文献
[PTL 1]
JP 2014-535098T
[PTL 2]
JP 2018-85725A
发明内容
然而，关于事件驱动型视觉传感器，虽然上述优点是已知的，但是对于将事件驱动型视觉传感器与另一设备(例如，帧型视觉传感器)组合使用的方法没有提出足够的建议。
因此，本发明的目的是提供一种图像处理装置、成像装置、系统、图像处理方法和程序，其可以通过将事件驱动型视觉传感器和帧型视觉传感器组合使用来实现有利的效果。
根据本发明的某个方面，提供了一种图像处理装置，包括移动估计单元，其基于提供给通过同步扫描捕获的图像的第一时间戳、对应于在图像的一个或多个像素处的光的强度变化生成的事件信号以及提供给事件信号并与第一时间戳同步的第二时间戳，来估计成像目标在图像中的移动；逆滤波器生成单元，其生成基于移动的逆滤波器，以及滤波器应用单元，其将逆滤波器应用于图像。
根据本发明的另一方面，提供了一种成像装置，包括第一视觉传感器，其通过同步扫描来捕获图像并向图像提供第一时间戳，以及第二视觉传感器，其包括与图像的一个或多个像素相关联的传感器，当传感器检测到光的强度变化时生成事件信号，以及将与第一时间戳同步的第二时间戳提供给事件信号。
根据本发明的另一方面，提供了一种系统，包括第一视觉传感器，其通过同步扫描来捕获图像并向图像提供第一时间戳，第二视觉传感器，其包括与图像的一个或多个像素相关联的传感器，当传感器检测到光的强度变化时生成事件信号，以及将与第一时间戳同步的第二时间戳提供给事件信号，以及图像处理装置，该图像处理装置包括移动估计单元，其基于第一时间戳、事件信号和第二时间戳来估计成像目标在图像中的移动，逆滤波器生成单元，其基于移动生成逆滤波器，以及滤波器应用单元，其将逆滤波器应用于图像。
根据本发明的又一方面，提供了一种图像处理方法，包括通过同步扫描来捕获图像并向图像提供第一时间戳的步骤，包括与图像的一个或多个像素相关联的传感器，当传感器检测到光的强度变化时生成事件信号，以及将与第一时间戳同步的第二时间戳提供给事件信号的步骤，基于第一时间戳、事件信号和第二时间戳来估计成像目标在图像中的移动的步骤，基于移动生成逆滤波器的步骤，以及将逆滤波器应用于图像的步骤。
根据本发明的再一方面，提供了一种程序，用于使计算机实现以下功能：基于提供给通过同步扫描捕获的图像的第一时间戳、对应于在图像的一个或多个像素处的光的强度变化生成的事件信号以及提供给事件信号并与第一时间戳同步的第二时间戳，估计成像目标在图像中的移动的功能，基于移动生成逆滤波器的功能，以及将逆滤波器应用于图像的功能。
附图说明
图1是描绘根据本发明实施例的系统的常规配置的框图。
图2是示意性地示出本发明的实施例中的相机与传感器之间的校准的图。
图3是示出本发明的实施例中的图像与事件信号之间的匹配的示例的图。
图4A是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的图。
图4B是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的另一个图。
图4C是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的又一个图。
图4D是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的再一个图。
图5是描绘根据本发明的实施例的图像处理方法的示例的流程图。
具体实现方式
以下，参考附图对本发明的实施例进行描述。应当注意，在本说明书和附图中，具有基本相同功能配置的组件用相同的附图标记表示，并且本文省略它们的重复描述。
图1是描绘根据本发明实施例的系统的常规配置的框图。如图1所描绘，系统10包括RGB(红-绿-蓝)相机100、EDS(事件驱动传感器)200和图像处理装置300。
RGB相机100是第一视觉传感器的示例，其通过同步扫描来捕获图像，并且包括图像传感器110和连接到图像传感器110的处理电路120。图像传感器110例如根据用户操作以预定周期或在预定定时通过同步地扫描所有像素来捕获RGB图像101。处理电路120将RGB图像101转换为例如适合存储或传输的格式。此外，处理电路120向RGB图像101提供时间戳102。例如，处理电路120向RGB图像101提供指示由图像传感器110进行的扫描的开始或结束中的至少任何一个的时间戳102。例如，在静止图像的情况下，从扫描的开始到结束的时间段也称为曝光时间段。
EDS200是当传感器检测到光的强度变化时产生事件信号的第二视觉传感器的示例，并且包括配置传感器阵列的传感器210和连接到传感器210的处理电路220。每个传感器210包括光接收元件，并且当它检测到入射到其的光的强度变化(更具体地，亮度变化)时，生成事件信号201。由于没有检测到入射光的强度变化的任何传感器210都不生成事件信号201，因此在EDS 200中，事件信号201是时间异步地生成的。通过处理电路220输出的事件信号201包括传感器210的识别信息(例如，像素的位置)、亮度变化的极性(增加或减少)以及时间戳202。
这里，在本实施例中，提供给RGB图像101的时间戳102和提供给事件信号201的时间戳202彼此同步。具体地，时间戳102可以与时间戳202同步，例如，通过将用于在EDS200中生成时间戳202的时间信息提供给RGB相机100。可替代地，在用于生成时间戳102和202的时间信息在RGB相机100和EDS200之间是独立的的情况下，通过参考特定事件(例如，成像目标在整个图像上的改变)发生的时间来计算时间戳之间的偏移，时间戳102和时间戳202可以事后彼此同步。
此外，在本实施例中，通过预先执行的RGB相机100和EDS200的校准过程，EDS200的每个传感器210与RGB图像101的一个或多个像素相关联，事件信号201是对应于在RGB图像101的一个或多个像素处的光的强度变化而生成。
图2是示意性地示出本发明的实施例中的相机与传感器之间的校准的图。在所描绘的示例中，RGB相机100和EDS200共有的校准图案21被成像(在EDS200的情况下，通过使校准图案21的整个区域闪烁，例如，使用光源22，校准图案可以被成像)，并且从RGB相机100和EDS200的内部参数和外部参数计算相机和传感器之间的对应参数。这样，每个传感器210可以与RGB图像101的一个或多个像素相关联。例如，可以提供包括RGB相机100和EDS200的组合的成像装置，其预先执行如上所述的时间戳的同步和校准过程。
图3是示出本发明的实施例中的图像与事件信号的匹配的示例的图。在所描绘的示例中，由RGB相机100捕获的RGB图像101和在对应于在RGB图像101的扫描的时间处从EDS200输出的事件信号201被描绘为布置在像素的位置处。如上文预先参考图2所描述的，通过计算相机和传感器之间的这种对应参数，可以如图3所描绘的将事件信号201与RGB图像101的一个或多个像素相关联，简而言之，将事件信号201叠加在RGB图像101上。
再次参考图1，图像处理装置300包括移动估计单元310、逆滤波器生成单元320和滤波器应用单元330的功能，它们由包括例如通信接口、处理器和存储器的计算机并入并由处理器根据存储在存储器中或通过通信接口接收到的程序进行操作来实现。下面将进一步描述组件的功能。
移动估计单元310基于提供给RGB图像101的时间戳102、事件信号201和提供给事件信号201的时间戳202来估计成像目标在RGB图像101中的移动。在RGB图像101的成像目标移动的情况下，从事件信号201中检测到出现在成像目标的边缘部分的光的强度变化，特别是亮度变化。换言之，在本实施例中，即使移动估计单元310不参考RGB图像101本身，它也可以基于事件信号201来估计RGB图像101中的成像目标的移动。移动估计单元310可以从事件信号201指示发生了亮度变化的像素的时间序列的位置变化、其中RGB图像101中发生成像目标的移动的移动区域、以及指示成像目标在RGB图像101中的移动的移动矢量来估计。
具体地，例如，移动估计单元310基于具有时间戳202的事件信号201来估计移动，该事件信号201包括在从用于捕获RGB图像101的扫描的开始到结束的时间段内。这里，例如，从扫描的开始到结束的时间段是根据提供给RGB图像101的两个时间戳来指定的。可替代地，即使在向RGB图像101提供仅指示扫描的开始或结束中的任何一个的时间戳的情况下，如果扫描的持续时间已知，则可以指定从扫描开始到结束的时间段。如下文所述，例如，通过应用基于在从扫描的开始到结束的时间段期间发生的成像目标的移动而生成的逆滤波器，由成像目标的移动在RGB图像101中出现的模糊的影响可以减少。
逆滤波器生成单元320基于由移动估计单元310估计的成像目标在RGB图像101中的移动来生成逆滤波器321。这里，逆滤波器是这样的滤波器：其旨在通过使与在RGB图像101中由成像目标的移动引起的成像目标的原始图片的变化(滤波器)相反的变化(滤波器)，来使RGB图像101更接近成像目标的原始图像。滤波器应用单元330将逆滤波器321应用于RGB图像101以获得输出图像331。如下文所述，滤波器应用单元330可以应用滤波器以补偿由单独地对RGB图像应用逆滤波器321(例如，用于通过放大背景来填充空白区域)而在RGB图像101中引起的变化。
图4A到图4D是示出本发明的实施例中的基于事件信号的移动和逆滤波器的估计的图。在所描绘的示例中，在RGB图像101中捕获了成像目标obj。如图4A所描绘的，由于成像目标obj在图像传感器110的扫描期间移动，所以RGB图像101产生模糊，并且成像目标obj的图片被拉长。另一方面，如图4B所描绘的，事件信号201指示在RGB图像101的扫描的开始之后像素组P1立即发生了事件，像素组P1逐渐移动(像素组P2、...、Pn-1)直到在扫描即将结束之前像素组Pn发生了事件。
在这种情况下，如图4C所描绘，移动估计单元310估计RGB图像101中的移动区域R和移动矢量V。例如，移动区域R是包括像素组P1、P2、...、Pn-1、Pn的区域，在这些像素组P1、P2、...、Pn-1、Pn中，在从扫描的开始到结束的时间段内发生了事件(区域对应于由于发生模糊而被拉长的成像目标obj的图片)，并且移动矢量V是用于将与移动的起点相对应的像素组P1的每个像素移动到与移动的终点相对应的像素组Pn的每个像素。如上所述，由于用于生成事件信号201的传感器210与RGB图像101的一个或多个像素相关联，因此移动估计单元310不需要参考RGB图像101本身来估计移动区域R和移动矢量V。
在估计了如上所述的这种移动区域R和移动矢量V的情况下，逆滤波器生成单元320将它们应用于RGB图像101以生成逆滤波器321，从该逆滤波器321可以得到如图4D中描绘的这种输出图像331。在所描绘的示例中，逆滤波器321以有限的方式作用于移动区域R中的像素以消除移动矢量V。具体地，逆滤波器321将移动区域R中的像素移动矢量-kV，该矢量-kV是将移动矢量V的逆矢量-V乘以系数k获得的。系数k逐渐增大，使得例如在移动矢量V的起点(像素组P1)为0，并且在终点(像素组Pn)为1。在输出图像331中，将成像目标obj的放大图片压缩为原始的尺寸，并且由成像目标obj的移动引起的模糊的影响被减少。
在如上所述的本发明的这种实施例中，图像处理装置300的移动估计单元310从事件信号201估计RGB图像101中的成像目标的移动。由于事件信号201仅当在RGB图像101的一个或多个像素处检测光的强度变化的情况下生成，与例如将时间上连续的多个RGB图像101的像素彼此相互比较以估计运动的替代情况相比，该处理可以加速。此外，由于由逆滤波器生成单元320生成的逆滤波器321以有限的方式作用于RGB图像101的移动区域R，因此例如与在将滤波器应用于包括除了移动区域R之外的区域的整个RGB图像101的替代情况相比，可以抑制伪影的发生。
应当注意，结合上述示例描述的系统10可以并入单个装置中，或者可以分布并实现在多个设备中。例如，由RGB相机100获取的RGB图像101和由EDS200获取的事件信号201可以与时间戳102及202一起存储到存储器中，并且作为后处理，由图像处理装置300的移动的估计、逆滤波器321的生成以及逆滤波器321的应用可以被执行。可替代地，当获取RGB图像101和事件信号201时，由图像处理装置300的直到逆滤波器321的生成的处理可以被执行，并且逆滤波器321可以与RGB图像101一起存储。在这种情况下，当显示RGB图像101时，例如，可以根据用户的操作将逆滤波器321应用于RGB图像101以生成输出图像331。
此外，在图4D所描绘的示例中，虽然生成用于将由于发生模糊导致的成像目标obj的拉长图片压缩到移动矢量V的起点侧的逆滤波器321，但是在另一示例中，可以生成用于将成像目标obj的图片压缩到结尾侧或移动矢量V的中间点的逆滤波器321。此外，基于事件信号201生成的逆滤波器321不限于上述的示例，并且例如，可以使用作为用于降低由成像目标的移动而发生的模糊的影响的滤波器而熟知的各种滤波器。同样在那些情况下，例如，如果移动估计单元310估计系统10的移动区域R并且逆滤波器生成单元320生成以有限方式作用于移动区域R的逆滤波器321，则例如与将滤波器应用于整个RGB图像101的替代情况相比，伪影的出现可以被抑制。
图5是描绘根据本发明的实施例的图像处理方法的示例的流程图。在所描绘的示例中，RGB相机100捕获RGB图像101(步骤S101)，并且EDS 200同时生成事件信号201(步骤S102)。需要注意的是，仅在对应于RGB图像101的一个或多个像素的传感器210检测到光的强度变化的情况下，才执行其中事件信号201被生成的步骤S102。时间戳102被提供给RGB图像101(步骤S103)，并且时间戳202被提供给事件信号(步骤S104)。
然后，图像处理装置300的处理被执行。首先，移动估计单元310基于RGB图像101的时间戳102、事件信号201和事件信号201的时间戳202来估计RGB图像101中的成像目标的移动(步骤S105)。然后，逆滤波器生成单元320基于估计的移动生成逆滤波器321(步骤S106)，并且滤波器应用单元330将逆滤波器321应用于RGB图像101(步骤S107)。通过如上所述的这样的处理，例如，可以获得输出图像331，其中减少了由成像目标的移动而出现在RGB图像101中的模糊的影响。
尽管已经参照附图详细描述了本发明的实施例，但是本发明不限于这样的实施例。显然，在本发明所属的技术领域中具有公知常识的人可以在权利要求中描述的技术思想的范围内构想出各种改变或修改，并且认为它们自然也落入本发明的范围内。
[参考符号列表]
10：系统
100：RGB相机
101：RGB图像
102：时间戳
110：图像传感器
120：处理电路
201：事件信号
202：时间戳
210：传感器
220：处理电路
300：图像处理装置
310：移动估计单元
320：逆滤波器生成单元
321：逆滤波器
330：滤波器应用单元
331：输出图像

Claims (6)

1.一种图像处理装置，包括：
移动估计单元，基于提供给通过同步扫描捕获的图像的第一时间戳、对应于在所述图像的一个或多个像素处的光的强度变化生成的事件信号以及提供给所述事件信号并与所述第一时间戳同步的第二时间戳，来估计成像目标在所述图像中的移动；
逆滤波器生成单元，基于所述移动生成逆滤波器；以及
滤波器应用单元，将所述逆滤波器应用于所述图像。
2.根据权利要求1所述的图像处理装置，其中，
所述第一时间戳包括指示所述扫描的开始或结束中的至少任何一个的时间戳，并且
所述移动估计单元基于具有所述第二时间戳的所述事件信号估计所述图像中的所述成像目标的移动，所述事件信号包括在从所述扫描的开始到结束的时间段中。
3.根据权利要求1所述的图像处理装置，其中，
所述移动估计单元估计在其中所述成像目标在所述图像中的移动已经发生的移动区域，以及
所述逆滤波器生成单元生成以有限方式作用于所述移动区域的所述逆滤波器。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，
所述移动估计单元估计指示所述成像目标在所述图像中的移动的移动矢量，以及
所述逆滤波器生成单元生成消除所述移动矢量的所述逆滤波器。
5.一种图像处理系统，包括：
第一视觉传感器，通过同步扫描来捕获图像并向所述图像提供第一时间戳；
第二视觉传感器，包括与所述图像的一个或多个像素相关联的传感器，当所述传感器检测到光的强度变化时生成事件信号，以及将与所述第一时间戳同步的第二时间戳提供给所述事件信号；以及
图像处理装置，包括：
移动估计单元，基于所述第一时间戳、所述事件信号和所述第二时间戳估计成像目标在所述图像中的移动，
逆滤波器生成单元，基于所述移动生成逆滤波器，以及
滤波器应用单元，将所述逆滤波器应用于所述图像。
6.一种图像处理方法，包括：
通过同步扫描来捕获图像并为所述图像提供第一时间戳的步骤；
包括与所述图像的一个或多个像素相关联的传感器，当所述传感器检测到光的强度变化时生成事件信号，以及将与所述第一时间戳同步的第二时间戳提供给所述事件信号的步骤；
基于所述第一时间戳、所述事件信号和所述第二时间戳估计成像目标在所述图像中的移动的步骤；
基于所述移动生成逆滤波器的步骤；以及
将所述逆滤波器应用于所述图像的步骤。
CN201980099252.5A 2019-08-20 2019-08-20 图像处理装置、成像装置、系统、图像处理方法 Active CN114245983B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032342 WO2021033250A1 (ja) 2019-08-20 2019-08-20 画像処理装置、撮像装置、システム、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN114245983A CN114245983A (zh) 2022-03-25
CN114245983B true CN114245983B (zh) 2024-03-22

Family

ID=74660624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099252.5A Active CN114245983B (zh) 2019-08-20 2019-08-20 图像处理装置、成像装置、系统、图像处理方法

Country Status (6)

Country Link
US (1) US11954866B2 (zh)
EP (1) EP4020962A4 (zh)
JP (1) JP7197715B2 (zh)
KR (1) KR20220050130A (zh)
CN (1) CN114245983B (zh)
WO (1) WO2021033250A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079115A (zh) * 2014-09-30 2017-08-18 高通股份有限公司 使用基于帧及基于事件混合方案的传感器架构
CN108074222A (zh) * 2017-12-25 2018-05-25 清华大学 基于混合相机系统的高速运动物体去模糊方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209735A (ja) * 2002-01-15 2003-07-25 Hitachi Ltd 監視装置及びブレ補正機能付蓄積型カメラ
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US9549100B2 (en) * 2015-04-23 2017-01-17 Microsoft Technology Licensing, Llc Low-latency timing control
BR112018006094A2 (pt) * 2015-09-25 2018-10-16 Qualcomm Inc sistemas e métodos para sinalização e geração de campos de reconhecimento de blocos de comprimento variável em uma rede sem fio
US10062151B2 (en) * 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
US10434624B2 (en) 2016-07-07 2019-10-08 The Boeing Company Roto peening orbital drilling tool
US10110913B2 (en) 2016-09-30 2018-10-23 Intel Corporation Motion estimation using hybrid video imaging system
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
JP7027737B2 (ja) * 2017-09-05 2022-03-02 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US20230154143A1 (en) * 2021-11-16 2023-05-18 Intrinsic Innovation Llc Polarization event cameras
US20230169665A1 (en) * 2021-12-01 2023-06-01 Intrinsic Innovation Llc Systems and methods for temporal autocalibration in a camera system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079115A (zh) * 2014-09-30 2017-08-18 高通股份有限公司 使用基于帧及基于事件混合方案的传感器架构
CN108074222A (zh) * 2017-12-25 2018-05-25 清华大学 基于混合相机系统的高速运动物体去模糊方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Andrea Censi ; Davide Scaramuzza.Low-Latency Event-Based Visual Odometry.《2014 IEEE International Conference on Robotics & Automation(ICRA)》.2014,第703-710页. *

Also Published As

Publication number Publication date
WO2021033250A1 (ja) 2021-02-25
US20220284593A1 (en) 2022-09-08
JPWO2021033250A1 (zh) 2021-02-25
JP7197715B2 (ja) 2022-12-27
US11954866B2 (en) 2024-04-09
KR20220050130A (ko) 2022-04-22
EP4020962A4 (en) 2023-05-10
EP4020962A1 (en) 2022-06-29
CN114245983A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
US7304681B2 (en) Method and apparatus for continuous focus and exposure in a digital imaging device
US8294774B2 (en) Imager that photographs an image using a rolling shutter
CN107534733B (zh) 摄像装置、该摄像装置的图像处理方法及介质
CN111512627B (zh) 成像装置、成像系统以及成像装置的驱动方法
JP4831760B2 (ja) ３次元情報検出方法及びその装置
EP2323376A1 (en) Image sensor with shaking compensation
JP2013051523A (ja) フリッカ検出装置、フリッカ検出方法、制御プログラム、可読記録媒体、固体撮像装置、多眼撮像装置および電子情報機器
JP2006345368A (ja) 画像処理装置および撮像装置
CN106982369B (zh) 具有图像数据路径延迟测量的成像系统和方法
JP4250583B2 (ja) 画像撮像装置及び画像復元方法
CN114245983B (zh) 图像处理装置、成像装置、系统、图像处理方法
US10313619B2 (en) Photographing apparatus including an oscillator outputting an output signal based on which a first timing signal and a second timing signal are generated
US11910110B2 (en) Transfer control device, image processing device, transfer control method, and program
JP6433014B2 (ja) 情報取得装置及び情報伝達システム
WO2018198646A1 (ja) 通信装置、通信システム、およびデータ通信方法、並びにプログラム
KR20160035473A (ko) 스테레오 카메라 및 그 작동 방법
EP4020963A1 (en) Image processing device, image processing method, and program
US11792527B2 (en) Sensor system, image processing apparatus, image processing method, and program
JP2004139206A (ja) 画像表示・撮影システム
Borsato et al. Building structured lighting applications using low-cost cameras
US10778893B2 (en) Detection device, display device and detection method
JP7425575B2 (ja) 表示制御装置および表示制御方法、撮像装置
US20240214697A1 (en) Image processing device, image processing method, and program
CN113170044B (zh) 接收装置和发送装置
US9979861B2 (en) Photographing apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant