CN115205346A - 事件相机到帧相机的逐像素配准的方法 - Google Patents

事件相机到帧相机的逐像素配准的方法 Download PDF

Info

Publication number
CN115205346A
CN115205346A CN202210337863.2A CN202210337863A CN115205346A CN 115205346 A CN115205346 A CN 115205346A CN 202210337863 A CN202210337863 A CN 202210337863A CN 115205346 A CN115205346 A CN 115205346A
Authority
CN
China
Prior art keywords
point
matrix
image
frame
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210337863.2A
Other languages
English (en)
Inventor
D·佩罗内
J·曼德斯基
S·瓦伦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ponofith
Original Assignee
Ponofith
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ponofith filed Critical Ponofith
Publication of CN115205346A publication Critical patent/CN115205346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

本发明涉及用于将由基于事件的相机在像素事件流中提供的像素与由基于帧的相机所提供的图像中的像素进行配准的方法。该方法包括：从基于帧的相机获取图像帧，每个图像帧是使用曝光周期生成的；根据图像帧中的一个或多个图像帧来生成第一点矩阵，第一点矩阵与图像帧的获取周期相关联；获取在获取周期期间生成的像素事件流；根据像素事件流的像素事件来生成第二点矩阵，该像素事件流在第一点矩阵的获取周期期间发生；计算被应用于第一点矩阵和第二点矩阵的至少一部分点的相关性评分函数，以及通过最大化相关性评分函数，由于第一点矩阵的点的深度与第二点矩阵相关，估计第二点矩阵的点在第一点矩阵中的相应位置。

Description

事件相机到帧相机的逐像素配准的方法
技术领域
本公开涉及用于在与基于事件的相机和基于帧相机的不同距离处呈现对象的场景的情况下，使用立体对应的基于事件的相机到基于帧的相机的逐像素配准的方法和设备。
背景技术
基于事件的相机包括视觉传感器，它不像传统的基于帧的相机的图像传感器那样使用快门捕获图像或帧，而是响应于亮度的局部变化，以使得视觉传感器的每个像素独立且异步地操作，在发生亮度的相对变化时进行报告，否则保持沉默。
图像配准是在由观看相同场景的两个相机所成像的对象之间建立像素到像素映射或链接的过程。当传感器被集成到两个不同的相机中时，需要这种配准。因此，两个相机具有必然不同的相应视点。由相机从不同视点看到的场景深度或对象深度导致被投射到相机传感器的焦平面的图像对象的视差。
使用事件或事件增强(诸如事件去噪)来执行这种配准以用于图像和视频增强。还执行这种配准以生成要在需要场景的3D信息的任何应用中使用的深度或视差图。存在用于3D估计的解决方案，涉及两个或多个相同类型的基于帧或基于事件的相机。
在传统的立体视觉中，彼此水平间隔并对准的两个相机被用于以类似于人类双目视觉的方式获得场景的两个不同视图的图像。通过将这两个图像中的成像对象相关，可以获得视差图形式的相对深度信息，视差图对对应图像点的水平坐标的差进行编码。视差图中的值与在对应像素位置处的场景深度成反比。
为了比较两个图像，必须将它们叠加在立体设备中，其中来自右相机的图像被显示给观察者的右眼，而来自左相机的图像被显示给左眼。在计算机视觉系统中，可以执行若干预处理步骤：
1.每个图像无畸变，以使得桶形畸变和切向畸变被消除。这确保所观察的图像与理想针孔相机的投影相匹配。
2.每个图像被投射到公共平面上，以允许图像对的比较，被称为图像校正。
3.最小化比较两个图像的信息度量。这给出了对两个图像中的特征位置的最佳估计，并创建视差图。
4.可选地，视差图被投射到3D点云中以形成深度图。通过使用相机投影参数，可以计算点云，以使得它以已知尺度提供测量。
已经存在用于在两个基于帧的相机之间执行配准的许多解决方案。这些解决方案已被开发以使用双目视觉原理([1]、[2]、[3]、[4]、[5])从双相机系统取得深度信息。这些解决方案常常需要以下步骤：
相机校准：要求离线进行的该过程充分了解相机系统。
相机校正：该过程修改相机视点，以使得沿着传感器的像素行执行对对应像素的搜索。如果不执行相机校正，则仍然可以通过计算每个像素的外极曲线来执行搜索，该外极曲线不遵循传感器的像素行。因此，校正算法效率较低。
匹配：该匹配常常涉及视图最小化像素之间的测光距离的优化算法，另外还有强制移位(也被称为视差)以在像素之间平滑变化的正则化项。
为了在两个基于事件的相机之间执行配准，在[6,14]中已经表明可以使用时间匹配而不是测光匹配。
由于来自相机的信号的不同性质，这些方法(通常被称为立体方法)不能容易地推广到组合一个基于帧的相机和一个基于事件的相机的一对相机。基于帧的相机的2D像素阵列以定期采样的时间间隔测量入射光的强度(或颜色强度)以产生2D图像，而基于事件的相机不产生2D图像，而是产生离散事件流，在该离散事件流中，一旦检测到入射光的相对亮度变化，就会异步地产生事件。
另外，基于事件的相机可以具有与基于帧的相机不同(通常更低)的空间分辨率。因此，两个相机之间的映射不能是双射的，因为基于事件的相机的一个像素可以例如对应于基于帧的相机中的许多像素。
一些基于帧的相机具有卷帘快门传感器来捕获每个帧，不是像使用全局快门时那样在单个时间瞬间拍摄整个场景的快照，而是通过垂直或水平地快速扫描场景。通常，卷帘快门传感器的一个像素行或一组若干像素行在单个瞬间被扫描，而传感器的像素行或像素行组在不同瞬间被扫描。如果没有被明确地处理，卷帘快门可以立体系统中使估计深度偏置，如[5]所示。
因此，期望在来自基于事件的传感器的像素事件与来自基于帧的传感器的图像之间建立逐像素配准。而且，还期望解决基于帧的相机具有卷帘快门传感器的情况。
发明内容
描述了一种用于将由基于事件的相机在像素事件流中提供的像素与由基于帧的相机所提供的图像中的像素进行配准的方法。该方法可包括：从基于帧的相机获取图像帧，每个图像帧是使用曝光周期生成的；根据图像帧中的一个或多个图像帧来生成第一点矩阵，第一点矩阵与图像帧的获取周期相关联；获取在获取周期期间生成的像素事件流；根据像素事件流的像素事件来生成第二点矩阵，该像素事件流在第一点矩阵的获取周期期间发生；计算被应用于第一点矩阵和第二点矩阵的至少一部分点的相关性评分函数，以及通过最大化相关性评分函数，由于第一点矩阵的点的深度与第二点矩阵相关，估计第二点矩阵的点在第一点矩阵中的相应位置。
根据实施例，该方法还包括：生成通过将第一点矩阵以第一图像分辨率投射到公共图像平面而获得的经校正的第一点矩阵，以及生成通过将第二点矩阵以第一图像分辨率投射到公共图像平面而获得的经校正的第二点矩阵，根据经校正的第一点矩阵和第二点矩阵执行对第二点矩阵的点的相应位置的估计。
根据实施例，第二点矩阵的点在第一点矩阵中的位置由至少一个相邻点补丁(patch)的视差图或深度图表示，或者被用于基于图像帧之一生成经修改的图像。
根据实施例，该方法还包括：生成视差或深度图，并且不将其校正到基于帧或基于事件的相机的图像平面，或者不将经修改的图像校正到基于帧或基于事件的相机的图像平面。
根据实施例，相关性评分函数评估在由第一点矩阵和第二点矩阵的组合而产生的组合点矩阵中的至少一个相邻点补丁的平滑度。
根据实施例，相关性评分函数是以下函数中的一个：组合点矩阵的2D梯度的范数，组合点矩阵的局部补丁的方差，以及被应用于第一点矩阵和第二点矩阵的互相关函数。
根据实施例，该方法还包括：通过对来自在第一点矩阵的曝光周期期间发生的像素事件流的像素事件进行积分来生成第三点矩阵；对第三点矩阵进行校正，以将第三点矩阵的点以图像帧的分辨率投射到公共图像平面；通过应用由视差图定义的点平移，通过平移经校正的第三点矩阵的点来生成经平移的点矩阵；不校正经平移的点矩阵，以将经平移的图像投射到基于帧的相机的图像平面；将用于生成第一点矩阵的图像帧之一与未经校正的经平移的点矩阵进行组合以获得去模糊图像。
根据实施例，第一点矩阵是从基于帧的相机获取的图像帧之一，并且第二点矩阵是通过对来自在第一点矩阵的曝光周期期间发生的像素事件流的像素事件进行积分来生成的。
根据实施例，第二或第三点矩阵是校正点矩阵，该校正点矩阵将与图像帧之一相乘以获得去模糊图像，该去模糊图像是以图像帧的帧速率或者以图像帧中的两个连续图像帧之间的间隔生成的，以提供帧速率比图像帧的帧速率更高的慢动作视频流。
根据实施例，第一点矩阵是通过计算从基于帧的相机获取的两个连续图像帧的比率来生成的，第二点矩阵是通过对来自在由与两个连续图像帧对应的瞬间划定的时段期间发生的像素事件流的像素事件进行积分来生成的。
根据实施例，相关性评分函数是以下函数中的一个：被应用于第一和第二点矩阵的至少一个相邻点补丁的互相关函数，被应用于第一和第二点矩阵的至少一个相邻点补丁的绝对逐点差之和，以及被应用于第一和第二点矩阵的至少一个相邻点补丁的平方逐点差之和。
根据实施例，第一点矩阵的点具有根据在从基于帧的相机获取的两个连续图像帧中的对应像素之间执行的比较而确定的二进制值，以及第二点矩阵的点具有取决于在由与两个连续图像帧对应的瞬间划定的时段期间在事件流中存在对应像素的至少一个事件而被设置为0或1的二进制值。
根据实施例，评分函数使用被应用于第一和第二点矩阵中的相邻点补丁的逻辑运算来评估第一点矩阵与第二点矩阵之间的相似性。
实施例还可以涉及立体相机设备，其包括基于帧的相机、基于事件的相机、以及接收和处理由基于帧的相机和基于事件的相机提供的信号的处理器，该处理器被配置为实现如上文所限定的方法的步骤。
实施例还可以涉及计算机程序产品，该计算机程序产品可直接加载到计算机的内部存储器中并且包括代码部分，该代码部分在由计算机执行时配置计算机以实现如上文所限定的方法的步骤。
附图说明
参考以下附图和描述，可以更好地理解本发明的方法和/或设备。以下附图提供了非限制性和非穷尽的描述。在附图中，相同的附图标记可以在不同的附图中指代相同的部分，除非另外指定。
图1是根据实施例的立体相机系统的框图；
图2是示出根据实施例的用于基于事件的相机到基于帧的相机的逐像素配准的方法的步骤的框图；
图3A、3B、3C分别示出了理想像素信号和真实像素信号、校正信号、以及真实信号和校正信号的组合的时变曲线；
图4是示出卷帘快门相机和全局快门相机中的积分或曝光周期的框图；
图5和图6是示出根据其他实施例的用于基于事件的相机到基于帧的相机的逐像素配准的方法的步骤的框图。
具体实施方式
图1示出了立体相机设备SVS，其包括基于帧的相机FMC、基于事件的相机EVC、以及接收和处理由相机FMC、EVC提供的信号的处理器PRC。基于帧的相机FMC和基于事件的相机EVC观察包括在距相机FMC、EVC不同距离处的对象的同一场景。基于帧的相机FMC捕获并生成该场景的图像帧。由相机FMC生成的图像帧可以是灰度图像或彩色图像(诸如RGB图像)。基于事件的相机EVC生成在场景中检测到的并与在获取图像帧的获取期间捕获的移动对象相关的异步事件流。基于帧的相机FMC和基于事件的相机EVC每一个被集成到相机系统SVS中，以便具有相应的指向方向z1、z2和相应的图像平面(O1,x1,y1)、(O2,x2,y2)。点O1、O2可以位于相机FMC、EVC的传感器的相应中心(或左上角)。点O1、O2彼此间隔了距离dx。指向方向z1、z2不一定相同。这对于图像平面(O1,x1,y1)、(O2,x2,y2)的轴x1、x2和轴y1、y2也是如此。另外，基于事件的视觉传感器通常具有比基于帧的传感器更低的分辨率，并且将场景聚焦在相机FMC和EVC的相应图像平面上的镜头可以有它们自己的畸变。
在下面，公开了用于由基于帧的相机FMC提供的帧的像素与由基于事件的相机EVC提供的像素事件之间的逐像素配准的不同方法。这种配准是特别需要的，因为每个相机FMC、EVC有它自己的视点，并且在所观察的场景中的对象的深度导致一些视差，这进而导致在相机FMC、EVC的传感器上分别成像的图像对象之间的差异或移位。
配准的第一关键组成部分是来自相机EVC的事件与来自相机FMC的帧之间的准确同步，已知相机FMC可以33ms的帧周期产生一个图像帧，而相机EVC可在帧周期期间提供每秒1.2 109个事件，即4 107个事件。
根据实施例，使用从相机FMC、EVC中的一个发送到另一个的同步信号来对相机FMC、EVC的时钟进行同步。这种同步信号可以是通常由相机FMC提供的闪光信号以触发闪光以标记曝光时间的开始。如果相机FMC具有全局快门传感器，则来自相机FMC的每个图像帧的曝光时间也被发送到处理器PRC。如果相机FMC具有卷帘快门传感器，则图像传感器的第一行的曝光时间和相对于第一行的曝光的开始时间的最后一行的曝光的开始时间被发送到处理器PRC。
配准的第二关键组成部分是确定图像帧的像素与事件之间的立体匹配距离。根据实施例，在图像帧I与在图像帧I的曝光周期期间发生的事件集E之间确定匹配。假设在帧I的曝光周期内，在所观察的场景中没有显著的深度变化，以使得图像帧I与事件集E之间的映射是恒定的。
图2示出了可以由处理器PRC实现的用于逐像素配准的方法的实施例的步骤S01至S08。在由基于帧的相机FMC提供的帧的像素与由基于事件的相机EVC提供的像素事件之间执行配准。根据曝光周期T，相机FMC在瞬间f产生图像帧I，其中，I(x1,y1)是相机FMC的图像平面(O1,x1,y1)中的像素的像素坐标(参见图1)。相机EVC产生被标记为[x2,y2,t0,σ]的像素事件，其中，(x2,y2)是相机EVC的图像平面(O2,x2,y2)中的像素的像素坐标，t0是事件的时间，并且如果亮度变化相对于对数亮度变化阈值c是正的，则σ是等于+1的极性，如果亮度变化相对于对数亮度变化阈值c是负的，则σ是等于-1的极性。注意，亮度阈值c可以具有针对正极性和负极性的不同值，但是，为了清楚起见，省略了这种可能性。
在步骤S01处，对图像帧I进行校正以生成具有给定大小为W×H像素的经校正的图像RI，帧I的像素被投射到公共图像平面(O,x,y)。校正计算可包括线性变换、围绕轴x1、y1和z1的旋转、获得图像大小为W×H的缩放变换以及校正图像畸变的其他变换。定义这些变换的一些参数可以通过校准来获得。
与步骤S01并行地，在步骤S02处，在相机FMC的图像平面(O2,x2,y2)中建立点矩阵J。步骤S02是使用瞬间f和曝光周期持续时间T来执行的。
潜在模糊图像I与对应事件之间的关系可以用以下等式来表示：
Figure BDA0003575053130000081
其中：
Figure BDA0003575053130000082
I(x1,y1,[f-T/2,f+T/2])是在图像平面(O1,x1,y1)中在由相机FMC产生的图像I中的在坐标(x1,y1)处的像素值，其中曝光周期在f-T/2处开始并在f+T/2处结束；
Is是在时间h处拍摄的具有假设瞬时曝光周期的图像帧，
h是不被限制在时间间隔
Figure BDA0003575053130000083
中的任意时间，
ev(x2,y2,s)是时间s的连续函数，表示每当有事件[x2,y2,t0,σ]从相机EVC的图像平面(O2,x2,y2)中的像素(x,y)接收到时所接收的事件流ev(x2,y2,s)＝σδt0(x2,y2,s)，其在时间t0处被触发并具有对数亮度阈值c，并且如果亮度变化是正的，则极性σ＝+1，如果亮度变化是负的，则σ＝-1，δt0是根据像素坐标(x2,y2)和时间s变化的脉冲或狄拉克函数，并且除了在时间s＝t0(其中ev(x2,y2,t0)＝σ)之外，δt0等于零；
m(x1,y1,p)＝(x2,y2)是将由基于帧的相机FMC提供的帧中的在图像平面(O1,x1,y1)中的坐标(x1,y1)处的每个像素映射到基于事件的相机EVC的图像平面(O2,x2,y2)的变换；以及
p是针对一个像素定义的并且执行这种映射所需的参数，对于要被确定的p的一个值实现该映射。
亮度阈值c可以具有针对正极性和负极性的不同值，但是为了清楚起见，省略了这种可能性。
映射函数m在理论上可以是从基于帧的相机FMC的坐标平面(O1,x1,y1)到基于事件的相机EVC的坐标平面(O2,x2,y2)的任何映射。然而，它受限于广泛使用的针孔相机模型(参见[10]，第6章)和薄镜头假设(参见[11]，第3章)。实际上，映射函数m考虑并除去镜头畸变(使用类似[12]的模型)。根据[13]所公开的算法，图像校正可以确保相机中的点可以在同一垂直坐标y上在另一个相机中找到。校正将单应性RF和RE应用于分别来自相机FMC和相机EVC的每个相机图像。可以通过以下等式来针对在坐标(x,y)处的像素定义变换m：
m(x,y,p)＝distE(RE -1(RF distF -1([x,y]T)+([p,0]T)))
其中，distE和distF -1分别是相机EVC的正向畸变函数和相机FMC的逆畸变函数，它们对偏离完美的针孔投影模型的相机镜头畸变进行模拟，[x,y]T表示向量[x,y]的转置，p是将坐标与事件对准所需的参数。在文献中，p＝d(x,y)被称为“视差图”并且对应于经校正的相机系统中的水平移位。这种功能通常可以从相机的校准过程获得。
等式(1)可以被写成如下：
Figure BDA0003575053130000091
其中：
Figure BDA0003575053130000092
由于h是任意时间，因此，等式(3)和(4)可用于通过组合图像I和点矩阵J来从在时间f拍摄的具有曝光周期T的图像
Figure BDA0003575053130000093
产生在任何时间h处具有瞬时曝光周期的图像Is(x1,y1,h)。
根据等式(3)和(4)，可以针对每个模糊帧I提供单个去模糊图片Is，以提供具有与来自基于帧的相机的初始视频流相同的帧速率的去模糊视频流。根据实施例，通过改变h的值来多次应用等式(3)和(4)，以获得每对连续图像帧I之间的多个图像，从而以比图像帧I更高的帧速率提供慢动作视频流。
在步骤S02处，使用上述的等式(4)在图像平面(O1,x1,y1)中计算图像J。
在步骤S03处，点矩阵J被校正以提供具有给定大小为W×H点的并且其中坐标(x,y)的点位于公共图像平面(O1,x,y)内的经校正的点矩阵RJ。执行在步骤S01和S03的图像校正，以使得经校正的图像RI和经校正的点矩阵RJ看起来具有相同的焦距。
在由基于帧的相机FMC操作的曝光时间期间，由于在所观察的场景中的移动对象，因此，图像I可能是模糊的。可以通过使用等式(3)对在基于帧的曝光周期T期间由事件流[x2,y2,t0,σ]记录的亮度变化进行积分来校正该模糊。
点矩阵RJ的点RJ(x,y,h,p)表示要被应用于经校正的图像RI的去模糊校正信号。如果参数p正确，则图像RI(x,y)中的点RJ(x,y,h,p)的位置将被正确评估以产生去模糊图像Is，这进而将在非边缘像素上具有平滑强度梯度的锐利边缘。平滑度测量接近的颜色或灰度级别的相似性。
然而，如果基于帧的相机FMC的曝光周期T的持续时间足够短，则图像帧I可能不是模糊的，并且具有将与点矩阵1/RJ(x,y,h,p)的锐利边缘类似的锐利边缘。如果图像I(x,y)与点矩阵RJ(x,y,h,p)之间的空间对准是正确的，则与由于未对准而具有双边缘或重影边缘相反，锐利结构将匹配，并且图像Is的总体平滑度将被保持。事实证明，测量Is的平滑度可以验证图像I的像素与来自基于事件的相机EVC的事件之间的空间对准。
图3A、3B、3C示出了根据实施例的图像I和Is中的像素线的值的曲线C1-C5以说明空间对准目的。在图3A中，曲线C1、C2分别示出了要获得的图像Is和模糊图像I中的对应的像素线。像素线看起来在图像Is(C1)中比在图像I(C2)中更清晰。图3B示出了曲线C3，其表示点矩阵1/J中的对应点线，该点矩阵1/J被定义为改善图像I的锐度并获得图像Is。在图3B的示例中，曲线C3对应于在每个像素处的图像Is中的清晰信号C1除以图像I中的模糊信号C2的结果。图3C示出了当图像I与Is之间的空间对准分别正确和不正确时在估计的图像Is中的对应像素线的曲线C4、C5。曲线C5示出了空间未对准或偏移引入了双/重影边缘，并因此降低重构的信号的平滑度。因此，目的是通过针对至少一个相邻像素补丁中的每个像素最大化RI(x,y)/RJ(x,y,h,p)的平滑度来估计参数p。
在步骤S04处，使用被应用于以下函数F的选定的评分函数S(x,y,p)来评估平滑度：
F(x,y,p)＝RI(x,y)/RJ(x,y,h,p)
在步骤S05处，在给定的视差范围内，通过针对至少一个相邻像素补丁最大化或最小化评分函数S来估计参数p。要被搜索的所估计的参数p可以在每个像素(x,y)处变化，或者针对具有相同变换值的至少一个相邻像素补丁来计算。
几个评分函数可用于最大化平滑度，诸如：
-F(x,y,p)的2D梯度的L1或L2范数，其将被最小化，其中：
Figure BDA0003575053130000111
Figure BDA0003575053130000112
-F(x,y,p)的局部补丁的方差，其将被最大化；
-图像RI(x,y)与点矩阵1/RJ(x,y,p)之间的互相关函数，其将被最大化以找到信号之间的最佳相似性。
函数F、方差或互相关函数可以先前通过对数函数进行变换。而且，评分函数S可以具有正则化项，该项会使变换场平滑地变化，例如通过对变换图的梯度的L1范数进行加权。
根据实施例，可以通过使用半全局匹配算法[1]的成本聚合方法以将互信息准则替换为函数F(x,y,p)的2D梯度的L1或L2范数、或者用局部补丁的方差、或者图像RI(x,y)中的补丁与点矩阵1/RJ(x,y,h,p)之间的互相关度量来加强变换场的平滑度。
根据另一个实施例，另一个函数被应用于图像RI(x,y)和点矩阵RJ(x,y,p)，例如对数函数，以使得它们的关系变成log(I)–log(J)＝log(Is)。使用对数函数可以减轻在通过除去一个除法来搜索最佳变换m(x,y,p)时最大化平滑度的计算。
上面公开的用于最大化平滑度的方法可以迭代地应用，其中，首先使用参数p的近似值，并使用被应用于前一次迭代的成本函数的结果来迭代地细化。
根据另一个实施例，使用从正确解决方案的许多示例或从某一锐度提示中学习的函数来确定参数p。
步骤S01、S03使用立体帧校正机制以将图像I和点矩阵J两者带到中间分辨率W×H，该分辨率优选地是(较小的)基于事件的视觉EVS的分辨率，以在参数p或变换映射m(x,y,p)的计算中具有更少的计算。为了更快的处理，可以选择更小的分辨率。
应观察到，校正步骤S01和S03是可选的。如果对图像I和点矩阵J进行校正，则变换映射m(x,y,p)可以写为m(x,y,d(x,y))＝distE(RE -1(RF distF -1([x,y]T)+([d(x,y),0]T)))，并且参数p＝d(x,y)表示沿着x轴的视差或移位。
如果图像I和点矩阵J未被校正，则视差不再是水平的(沿着x坐标)，并且变换m(x,y,p)可以被写为m(x,y,dx(x,y),dy(x,y))＝distE(distF -1([x,y]T)+([dx(x,y),dy(x,y)]T)))，其中，dx(x,y)和dy(x,y)是在坐标(x,y)处的像素的视差在x和y方向上的分量。在每个像素位置处的视差值的集合形成视差图。
根据实施例，所估计的视差图或参数p被用于确定由相机EVC提供的一些或所有像素事件的深度图，因为在像素处的成像对象的深度与其在传感器上的视差成反比。可以使用以下等式计算在坐标(x,y)处的像素的深度：
d(x,y)＝dx·fl/z, (5)
其中dx是相机FMC、EVC的经校正的图像平面的原点O1、O2之间的距离[O1,O2]，fl是校正之后的相机的焦距，z是由在坐标(x,y)处的像素成像的对象的深度。如此获得的视差或深度图在坐标平面(O1,x,y)中被定义。视差图或深度图可以不被校正以在坐标平面(O1,x1,y1)或(O2,x2,y2)中被定义。深度图给出在由相机FMC提供的帧中的移动对象的深度。
根据实施例，在步骤S05之后执行步骤S06至S08。在步骤S06处，通过对点矩阵RJ中的每个点RJ(x,y,h,p)应用以下计算，使用在步骤S05处估计的参数p来校正点矩阵RJ：RJ'(x,y,h)＝RJ(m(x,y,p),h)。在此应观察到，变换m(x,y,p)不一定提供整数。因此，步骤S06可导致通过m(x,y,p)变换的像素之间的插值计算，以获得具有整数坐标的像素值。
在步骤S07处，对在步骤S06处获得的点矩阵RJ'进行过采样以回到基于帧的相机FMC的分辨率，以获得在图像平面(O1,x1,y1)中的未经校正的点矩阵J'。因此，点矩阵J'被定义在相机FMC的图像平面中。在步骤S08处，通过对图像I的所有像素和点矩阵J'(J'表示去模糊信号)中的点应用等式(3)来计算去模糊图像Is。因此，如下计算去模糊图像Is的每个像素：
Is(x1,y1,h,p)＝I(x1,y1)/J'(x1,y1,h,p)
在卷帘快门基于帧的相机的情况下，根据以下等式在步骤S02处计算点矩阵J：
Figure BDA0003575053130000131
其中，Es(x1,y1)和Ee(x1,y1)是分别给出帧I中的在坐标(x1,y1)处的像素的曝光周期的开始和结束的函数。可以使用在帧I的第一行或第一列的曝光周期的开始的时间ts和与帧I的两个连续行或列的曝光周期的开始之间的偏移对应的卷帘快门斜坡Rs来计算函数Es(图4)。
图4描绘了垂直卷帘快门传感器的曝光时序。卷帘快门传感器的每一行R0、R1、……Rn像素在相同持续时间Tr(如图4中的矩形RE所示)的曝光周期期间被曝光。每一行R0-Rn的曝光周期RE的开始与前一行相比较被偏移了卷帘快门斜坡Rs。相反，全局快门传感器中的像素行的曝光周期都是相同的，如图4中的单个中心矩形GE所示。全局快门传感器的曝光周期的持续时间T可以与行曝光周期的持续时间Tr相同或不同。
如果传感器具有从上到下开始的垂直卷帘快门，并且y坐标从0(传感器的顶部)变化到高度-1(传感器的底部或最后一行)，则函数Es(x,y)可以被计算为Es(x,y)＝ts+y·Rs。对于位于同一行的所有像素，函数Es(x,y)具有相同的值。
函数Ee(x,y)可以bz计算为Ee(x,y)＝Es(x,y)+Tr，其中，Tr是图像I的一行的曝光周期的持续时间。可替代地，函数Ee也可以被计算为Ee(x,y)＝te+y·Rs，te是在帧I的第一行的曝光周期的结束的时间。
可以观察到，点矩阵J仅针对与在曝光周期T期间发生的像素事件相对应的点来定义。其他点是未被定义的，并且可以被设置为任意值，例如0或者最近定义的点的值。
当帧的曝光时间T足够大以使足够的事件在该时间内被记录(例如超过两个事件)时，图2的方法似乎是有效的。事实上，如果仅记录一些事件，则可能没有足够的事件与由基于帧的相机FMC记录的图像I相匹配。在这种情况下，或者当更一般地期望对在帧曝光周期T之外发生的事件进行配准时，由事件记录的亮度变化的积分可以被近似为两个连续图像帧I(x1,y1,f)和I(x1,y1,f+F)之间的差异，如以下等式所示：
I(x1,y1,f+F)＝I(x1,y1,f)ec·INT(x1,y1,f,f+F,p)(7)
或者
Figure BDA0003575053130000141
其中，I(x1,y1,f)是在时间f产生的图像帧I(f)的像素，I(x1,y1,f+F)是由相机FMC在相继时间f+F产生的另一个图像帧I(f+F)的像素，F是帧周期的持续时间。等式(7)或(8)再次建立帧与事件之间的关系，其中，唯一的未知变量是像素参数p。
图5示出了可由处理器PRC实现的用于由基于帧的相机FMC提供的帧的像素与由基于事件的相机EVC提供的像素事件之间的逐像素配准的方法的另一个实施例的步骤S11至S16。在步骤S11中，对由基于帧的相机FMC提供的两个连续图像帧I(f)和I(f+F)进行处理，以针对每个时间f计算点矩阵R，如下所示：
Figure BDA0003575053130000142
其中，(x1,y1)是相机FMC的图像平面(O1,x1,y1)中的点的坐标。然后，在步骤S12处，点矩阵R被校正以提供具有给定大小为W×H点的并且其中点位于公共图像平面(O1,x,y)内的经校正的点矩阵RR。
步骤S13和S14可以与步骤S11和S12并行执行。在步骤S13处，在相机EVC的图像平面(O2,x2,y2)中根据由相机EVC产生的事件流[x2,y2,t0,σ]建立点矩阵K。使用瞬间f和由相机FMC提供的帧周期F来执行步骤S13，使用以下等式计算点矩阵K：
K(x1,y1,p)＝ec·INT(x1,y1,f,f+F,p) (10)
其中INT(x1,y1,f,f+F,p)由等式(2)定义。点矩阵K的点表示由在帧周期F期间发生的由相机EVC提供的事件流中的像素事件记录的亮度比变化。然后，在步骤S14处，点矩阵K被校正以提供具有给定大小为W×H点的并且其中点位于公共图像平面(O1,x,y)内的经校正的点矩阵RK。
在步骤S15处，对比较图像RR和点矩阵RK的评分函数S(RR(x,y),RK(x,y,p))进行评估。评分函数S可以通过对点矩阵RR和RK中的相邻点补丁的值的逐点乘积求和或者通过对点矩阵RR和RK中的相邻点补丁的绝对或平方逐点差求和来评估点矩阵RR和RK中的相邻点补丁之间的相关性。
根据另一个示例，评分函数可以被应用于以下函数F'：
F'(x,y,p)＝RR(x,y)/RK(x,y,p)
其中，参数p的值被估计，以使得对于至少一个相邻点补丁的每个点，F'(x,y,p)尽可能接近1。
在步骤S16处，针对经校正的点矩阵RR和RK中的一个或多个相邻点补丁的每个点估计参数p。可以通过在评分函数S评估点矩阵RR和RK中的点之间的相关性时最大化评分函数S来执行该操作。可以通过计算两个点矩阵中的相邻点补丁之间的绝对差或平方差之和来评估点之间的相关性。在这种情况下，当所计算的差之和小时，相关性高。
如在图2的方法中，参数p可被用于针对例如在由相机FMC提供的帧中存在的移动对象的一个或多个像素补丁或者所有图像像素来计算视差或深度图。然后，视差图或深度图可以不被校正为具有基于事件的相机EVC的图像平面(O2,x2,y2)的尺寸的视差图或深度图。该不校正操作也可以被执行到基于帧的相机FMC的图像平面(O1,x1,y1)的尺寸。
如果帧相机FMC使用卷帘快门传感器，则等式(10)变为：
K(x1,y1,p)＝ec·INT(x1,y1,Ee(x1,y1),EsF(x1,y1),p) (11)
其中，Ee(x1,y1)和EsF(x1,y1)是分别给出第一帧中的像素(x1,y1)的曝光周期的结束和第二帧中的像素(x1,y1)的曝光周期的开始的函数。
图6示出了可由处理器PRC实现的用于由基于帧的相机FMC提供的帧的像素与由基于事件的相机EVC提供的像素事件之间的逐像素配准的方法的另一个实施例的步骤S21至S26。图6的方法呈现了相对于图2和图5的方法具有非常低的计算复杂度的优点。在步骤S21中，对由基于帧的相机FMC提供的两个连续图像帧I(x1,y1,f)和I(x1,y1,f+F)进行处理以计算二进制点矩阵BF，其被定义如下：
Figure BDA0003575053130000161
其中，条件C1被如下定义：
C1:I(x1,y1,f+F)>ec·I(x1,y1,f)或I(x1,y1,f+F)<e-c·I(x1,y1,f)。
因此，当比较图像I(f)和I(f+f)中的在相同坐标(x1,y1)处的对应像素时，如果在对数域中发生亮度变化，则点矩阵BF中的坐标(x1,y1)处的点值被设置为1，否则被设置为0。在相机FMC的图像平面(O1,x1,y1)中计算二进制点矩阵BF。然后，在步骤S22处，点矩阵BF被校正以提供具有给定大小为W×H点的并且其中点位于公共图像平面(O,x,y)内的经校正的点矩阵RBF。原点O可被选择为与点O1重合。
步骤S23和S24可以与步骤S21和S22并行执行。在步骤S23处，在相机EVC的图像平面(O2,x2,y2)中根据由相机EVC产生的事件流[x2,y2,t0,σ]建立二进制点矩阵BE。使用瞬间f和由相机FMC提供的帧周期F执行步骤S23，使用以下等式计算点矩阵BE：
Figure BDA0003575053130000171
其中，当在时间f与f+F之间从相机EVC接收到针对像素(x2,y2)的事件时，条件C2为真，参数p被确定为使得m(x1,y1,p)＝(x2,y2)。因此，如果由于时间f与f+F之间的亮度变化而由相机EVC已经至少生成了事件，则点矩阵BE中的坐标(x2,y2)处的点值被设置为1，否则被设置为0。
然后，在步骤S24处，点矩阵BE被校正以提供具有给定大小为W×H点的并且其中点位于公共图像平面(O,x,y)内的经校正的点矩阵RBE。根据实施例，以这样的方式执行校正：所获得的经校正的点矩阵RBE的点保持为0或1。
在步骤S25处，使用选定的评分函数S(RBF(x,y),RBE(x,y,p))评估点矩阵RBF与RBE之间的相关性。
根据示例，评分函数S被应用于以下函数F1：
F1(x,y,p)＝RBF(x,y)–RBE(x,y,p)
每个点值RBF(x,y)或者RBE(x,y,p)等于0或1。在这种情况下，评分函数S可以是在一个或多个相邻点补丁上的F1的绝对值或平方值之和。因此，评分函数S(F1)估计点矩阵RBF与RBE之间的去相关性，并且应当针对至少一个相邻点补丁而被最小化。
根据另一个示例，评分函数S被应用于以下函数F2：
F2(x,y,p)＝RBF(x,y)(AND)RBE(x,y,p)
评分函数S可以等于在一个或多个点补丁上的等于1的F2的值的数量。在这种情况下，评分函数S(F2)估计点矩阵RBF与RBE之间的相关性，并且应当针对至少一个相邻点补丁而被最大化。
在步骤S26处，在经校正的点矩阵RBF和RBE中的一个或多个相邻点补丁上估计参数p。可以通过最小化评分函数S(F1)或最大化评分函数S(F2)来执行该操作。
如在图2的方法中，参数p可被用于针对例如在由相机FMC提供的帧中存在的移动对象的一个或多个像素补丁或者所有图像像素来计算视差图d(x,y)或深度图。然后，视差或深度图可不被校正为在基于事件的相机EVC的图像平面(O2,x2,y2)中或在图像平面(O1,x1,y1)中的到相机FMC的图像帧的尺寸的视差或深度图。
可以在步骤S16或S26之后执行步骤S02、S03和S05至S08，以对图像帧I去模糊。
应观察到，图5和图6的方法没有考虑在对应帧的曝光周期期间发生的事件，而是考虑在两个帧之间发生的所有事件。
本文所描述的图旨在提供对各种实施例的结构的一般理解。这些说明并不旨在用作对使用其中所描述的结构或方法的装置、处理器和系统的所有元件和特征的完整描述。本领域普通技术人员在阅读本公开后通过组合所公开的实施例，许多其他实施例或其组合是显而易见的。可以利用并从本公开中导出其他实施例，以使得可以在不脱离本公开的范围的情况下进行结构和逻辑的替换和改变。
在这方面，可以执行在图2、图5和图6中公开的方法，而无需针对完整点矩阵RJ、RK或RBE计算所有点位置(x,y)。另外，不需要存储所有的像素位置(x,y)和视差图，也不需要在步骤S06处(图2)计算点矩阵RJ'的点或者计算深度图。
进一步地，本公开和图示将被认为是说明性而不是限制性的，并且所附的权利要求旨在覆盖落入本说明的真实精神和范围内的所有这种修改、增强和其他实施例。因此，所附权利要求的范围将由权利要求及其等同物的最宽允许解释来确定，并且不应当被前面的描述限制或者限定。
引用的文献
[1]H.Hirschmuller,“Stereo processing by semiglobal matching andmutual information(通过半全局匹配和互信息进行的立体处理)”。IEEE模式分析和机器智能期刊，30(2):328–341(2007)。
[2]G.Van Meerbergen、M.Vergauwen、M.Pollefeys等人，“A HierarchicalSymmetric Stereo Algorithm Using Dynamic Programming(一种使用动态规划的分层对称立体算法)”，国际计算机视觉杂志，47,275–285(2002)。
[3]Jian Sun、Nan-Ning Zheng和Heung-Yeung Shum，“Stereo matching usingbelief propagation(使用置信传播的立体匹配)”IEEE模式分析和机器智能期刊，第25卷，第7号，第787-800页，2003年7月。
[4]Y.Boykov、O.Veksler和R.Zabih，“Fast approximate energy minimizationvia graph cuts(经由图割的快速近似能量最小化)”IEEE模式分析和机器智能期刊，第23卷，第11号，第1222-1239页，2001年11月。
[5]O.Saurer、K.
Figure BDA0003575053130000191
J.Bouguet和M.Pollefeys，“Rolling Shutter Stereo(卷帘快门立体)”，IEEE国际计算机视觉会议，悉尼，新南威尔士州，第465-472页(2013年)
[6]P.Rogister、R.Benosman、S.Ieng、P.Lichtsteiner和T.Delbruck，“Asynchronous Event-Based Binocular Stereo Matching(基于异步事件的双目立体匹配)”，IEEE神经网络和学习系统期刊，第23卷，第2号，第347-353页，2012年2月
[7]L.Pan、R.Hartley、C.Scheerlinck、M.Liu、X.Yu和Y.Dai,“High Frame RateVideo Reconstruction based on an Event Camera(基于事件相机的高帧速率视频重建)”，IEEE模式分析和机器智能期刊(2020)
[8]G.Gallego、M.Gehrig和D.Scaramuzza，“Focus Is All You Need:LossFunctions for Event-Based Vision(专注就是你所需要的：基于事件的视觉的损失函数)”IEEE/CVF计算机视觉和模式识别(CVPR)会议，美国加利福尼亚州长滩市，2019年，第12272-12281页(2019)
[9]D.Perrone、P.Favaro，“A Logarithmic Image Prior for BlindDeconvolution(用于盲反卷积的对数图像先验)”，Int J Comput Vis 117，159–172(2016)
[10]R.Hartley和A.Zisserman，“Multiple View Geometry in Computer Vision(计算机视觉中的多视图几何)”(第2版)，2003年，美国剑桥大学出版社。
[11]Y.Ma、S.Soatto、J.Koseck和S.Shankar Sastry，“An Invitation to3-DVision:From Images to Geometric Models(3D视觉的邀请：从图像到几何模型)”，2010年，施普林格出版公司。
[12]J.Weng、P.Cohen和M.Herniou，“Camera calibration with distortionmodels and accuracy evaluation(具有畸变模型和精度评估的相机校准”，IEEE模式分析和机器智能期刊，14(10):965–980，1992年10月
[13]M.Pollefeys、R.Koch、L.Van Gool，“A simple and efficientrectification method for general motion(一种简单且高效的用于通用运动的校正方法)”，国际计算机视觉会议会刊，496–501，(1999)，检索2011-01-19
[14]R.Benosman、S.Sio-
Figure BDA0003575053130000201
、P.Rogister和C.Posch，“AsynchronousEvent-Based Hebbian Epipolar Geometry(基于异步事件的赫布极线几何)”，IEEE神经网络期刊，第22卷，第11号，第1723-1734页，2011年11月

Claims (15)

1.一种用于将由基于事件的相机在像素事件流中提供的像素与由基于帧的相机提供的图像中的像素进行配准的方法，所述方法包括：
从基于帧的相机获取图像帧，每个图像帧是使用曝光周期生成的；
根据所述图像帧中的一个或多个图像帧来生成第一点矩阵，所述第一点矩阵与所述图像帧的获取周期相关联；
获取在所述获取周期期间生成的像素事件流；
根据所述像素事件流的像素事件来生成第二点矩阵，所述像素事件流在所述第一点矩阵的所述获取周期期间发生；
计算被应用于所述第一点矩阵和所述第二点矩阵的至少一部分点的相关性评分函数，以及
通过最大化所述相关性评分函数，由于所述第一点矩阵的点的深度与所述第二点矩阵相关，估计所述第二点矩阵的点在所述第一点矩阵中的相应位置。
2.根据权利要求1所述的方法，还包括：
生成通过将所述第一点矩阵以第一图像分辨率投射到公共图像平面而获得的经校正的第一点矩阵，以及
生成通过将所述第二点矩阵以所述第一图像分辨率投射到所述公共图像平面而获得的经校正的第二点矩阵，根据所述经校正的第一点矩阵和所述经校正的第二点矩阵执行对所述第二点矩阵的点的相应位置的估计。
3.根据权利要求1或2所述的方法，其中，所述第二点矩阵的点在所述第一点矩阵中的位置由至少一个相邻点补丁的视差图或深度图表示，或者被用于基于所述图像帧之一而生成经修改的图像。
4.根据权利要求3所述的方法，还包括：生成所述视差图或深度图，并且不将其校正到所述基于帧的相机或基于事件的相机的图像平面，或者不将所述经修改的图像校正到所述基于帧的相机或基于事件的相机的图像平面。
5.根据权利要求1至4中任一项所述的方法，其中，所述相关性评分函数评估在由所述第一点矩阵和所述第二点矩阵的组合而产生的组合点矩阵中的至少一个相邻点补丁的平滑度。
6.根据权利要求5所述的方法，其中，所述相关性评分函数是以下函数中的一个：
所述组合点矩阵的2D梯度的范数，
所述组合点矩阵的局部补丁的方差，以及
被应用于所述第一点矩阵和所述第二点矩阵的互相关函数。
7.根据权利要求1至6中任一项所述的方法，还包括：
通过对来自在所述第一点矩阵的所述曝光周期期间发生的所述像素事件流的像素事件进行积分来生成第三点矩阵；
校正所述第三点矩阵，以将所述第三点矩阵的点以所述图像帧的分辨率投射到所述公共图像平面；
通过应用由视差图定义的点平移，通过将经校正的第三点矩阵的点进行平移来生成经平移的点矩阵；
不校正所述经平移的点矩阵，以将经平移的图像投射到所述基于帧的相机的图像平面；
将用于生成所述第一点矩阵的图像帧之一与未经校正的经平移的点矩阵进行组合以获得去模糊图像。
8.根据权利要求1至7中任一项所述的方法，其中，所述第一点矩阵是从所述基于帧的相机获取的图像帧之一，并且所述第二点矩阵是通过对来自在所述第一点矩阵的曝光周期期间发生的所述像素事件流的像素事件进行积分来生成的。
9.根据权利要求8所述的方法，其中，所述第二点矩阵或第三点矩阵是校正点矩阵，所述校正点矩阵与所述图像帧之一相乘以获得去模糊图像，所述去模糊图像是以所述图像帧的帧速率或者以所述图像帧中的两个连续图像帧之间的间隔生成的，以提供帧速率比所述图像帧的帧速率更高的慢动作视频流。
10.根据权利要求1至7中任一项所述的方法，其中，所述第一点矩阵是通过计算从所述基于帧的相机获取的两个连续图像帧的比率而生成的，所述第二点矩阵是通过对来自在由与所述两个连续图像帧对应的瞬间划定的时段期间发生的所述像素事件流的像素事件进行积分而生成的。
11.根据权利要求10所述的方法，其中，所述相关性评分函数是以下函数中的一个：
被应用于所述第一点矩阵和所述第二点矩阵的至少一个相邻点补丁的互相关函数，
被应用于所述第一点矩阵和所述第二点矩阵的至少一个相邻点补丁的绝对逐点差之和，以及
被应用于所述第一点矩阵和所述第二点矩阵的至少一个相邻点补丁的平方逐点差之和。
12.根据权利要求1至7中任一项所述的方法，其中，所述第一点矩阵的点具有根据在从所述基于帧的相机获取的两个连续图像帧中的对应像素之间执行的比较而确定的二进制值，并且所述第二点矩阵的点具有取决于在由与所述两个连续图像帧对应的瞬间划定的时段期间在所述事件流中存在对应像素的至少一个事件而被设置为0或1的二进制值。
13.根据权利要求12所述的方法，其中，所述评分函数使用被应用于所述第一点矩阵和所述第二点矩阵中的相邻点补丁的逻辑运算来评估所述第一点矩阵与所述第二点矩阵之间的相似性。
14.一种立体相机设备，包括基于帧的相机、基于事件的相机、以及接收和处理由所述基于帧的相机和所述基于事件的相机提供的信号的处理器，所述处理器被配置实现根据权利要求1至13中任一项所述的方法的步骤。
15.一种计算机程序产品，其可直接加载到计算机的内部存储器中，并包括代码部分，所述代码部分在由计算机执行时配置所述计算机以实现根据权利要求1至13中任一项所述的方法的步骤。
CN202210337863.2A 2021-04-02 2022-03-31 事件相机到帧相机的逐像素配准的方法 Pending CN115205346A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21166844.7 2021-04-02
EP21166844.7A EP4068207A1 (en) 2021-04-02 2021-04-02 Method of pixel-by-pixel registration of an event camera to a frame camera

Publications (1)

Publication Number Publication Date
CN115205346A true CN115205346A (zh) 2022-10-18

Family

ID=75377687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210337863.2A Pending CN115205346A (zh) 2021-04-02 2022-03-31 事件相机到帧相机的逐像素配准的方法

Country Status (5)

Country Link
US (1) US20220329771A1 (zh)
EP (1) EP4068207A1 (zh)
JP (1) JP2022159253A (zh)
KR (1) KR20220137558A (zh)
CN (1) CN115205346A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220327718A1 (en) * 2021-04-13 2022-10-13 Qualcomm Incorporated Techniques for enhancing slow motion recording

Also Published As

Publication number Publication date
JP2022159253A (ja) 2022-10-17
KR20220137558A (ko) 2022-10-12
US20220329771A1 (en) 2022-10-13
EP4068207A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
CN113256730B (zh) 用于阵列相机的动态校准的系统和方法
US11601631B2 (en) Super-resolution in structured light imaging
Johannsen et al. On the calibration of focused plenoptic cameras
JP6570327B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US8593524B2 (en) Calibrating a camera system
Hedborg et al. Structure and motion estimation from rolling shutter video
US20100103175A1 (en) Method for generating a high-resolution virtual-focal-plane image
Kronander et al. A unified framework for multi-sensor HDR video reconstruction
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
US9807372B2 (en) Focused image generation single depth information from multiple images from multiple sensors
JP2012026841A (ja) ステレオ測距装置及びステレオ測距方法
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
WO2012049098A1 (en) Range image pixel matching method
US20220329771A1 (en) Method of pixel-by-pixel registration of an event camera to a frame camera
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
Balure et al. A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images
Bätz et al. Multi-image super-resolution for fisheye video sequences using subpixel motion estimation based on calibrated re-projection
Chiao et al. Rolling shutter correction for video with large depth of field
CN110827230A (zh) 一种利用tof提升rgb图像质量的方法和装置
CN111080689B (zh) 确定面部深度图的方法和装置
CN112634139B (zh) 光场超分辨成像方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination