CN107025660B - 一种确定双目动态视觉传感器图像视差的方法和装置 - Google Patents

一种确定双目动态视觉传感器图像视差的方法和装置 Download PDF

Info

Publication number
CN107025660B
CN107025660B CN201610070550.XA CN201610070550A CN107025660B CN 107025660 B CN107025660 B CN 107025660B CN 201610070550 A CN201610070550 A CN 201610070550A CN 107025660 B CN107025660 B CN 107025660B
Authority
CN
China
Prior art keywords
pixel point
determining
event
vision sensor
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610070550.XA
Other languages
English (en)
Other versions
CN107025660A (zh
Inventor
邹冬青
郭萍
王强
朴根柱
赵百焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201610070550.XA priority Critical patent/CN107025660B/zh
Priority to KR1020160099085A priority patent/KR102483641B1/ko
Priority to US15/338,618 priority patent/US10582179B2/en
Publication of CN107025660A publication Critical patent/CN107025660A/zh
Application granted granted Critical
Publication of CN107025660B publication Critical patent/CN107025660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种确定双目动态视觉传感器图像视差的方法和装置。方法包括：基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；基于所述代价矩阵，确定所述每个像素点的视差。

Description

一种确定双目动态视觉传感器图像视差的方法和装置
技术领域
本发明涉及计算机视觉技术领域，更具体的说，涉及一种确定双目动态视觉传感器图像视差的方法和装置。
背景技术
动态视觉传感器(Dynamic Vision Sensor，DVS)是一种新型的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器。与传统的CMOS或电荷耦合元件(Charge-coupled Device，CCD)传感器生成的图像不同，DVS图像可以根据场景光照变化强度大小而产生事件，即光照强度变化超过一定阈值的像素。由于环境光照变化等因素影响，DVS图像的事件具有噪声多、数量少(稀疏)、分布和数量不一致等特点。
在对象识别、场景三维建模、图像渲染、立体电视、辅助驾驶等应用中，双目DVS图像具有广泛的应用。双目DVS图像包括：利用左目DVS相机拍摄的左目DVS图像及利用右目DVS相机拍摄的右目DVS图像。双目DVS图像具有确定左目DVS图像与右目DVS图像之间视差的需求。
在现有技术中，主要利用基于局部特征相似性、非局部特征相似性或全局特征相似性的图像匹配技术来确定图像之间的视差。
然而，这些技术都需要应用复杂的算法为每个像素提取特征，导致计算时间开销大。
发明内容
本申请提出一种确定双目动态视觉传感器图像视差的方法和装置。本申请的技术方案如下：
根据本发明实施方式，一种确定双目动态视觉传感器图像视差的方法，包括：
基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；
基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；
基于所述代价矩阵确定每个像素点的视差。
在一个实施方式中，在基于双目动态视觉传感器图像的事件分布，确定双目动态视觉传感器图像的每个像素点的特征之前，该方法还包括：
去除所述双目动态视觉传感器图像的噪声事件。
在一个实施方式中，所述去除双目动态视觉传感器图像的噪声事件包括：
将所述双目动态视觉传感器图像正交分解为特征向量；
计算所述特征向量的特征值；
基于特征值由大到小的顺序确定第一预定数目个特征向量，将所述第一预定数目个特征向量组合为去除噪声事件的双目动态视觉传感器图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除所述第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的双目动态视觉传感器图像。
在一个实施方式中，所述基于双目动态视觉传感器图像的事件分布，确定每个像素点的特征，包括：
基于所述事件分布，确定事件区域和非事件区域：
将所述事件区域中的像素点的特征设置为零；
计算所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，并将所述欧氏距离设置为所述像素点的特征。
在一个实施方式中，所述计算非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，包括：
确定所述非事件区域中的像素点与每个事件的欧氏距离函数抛物线；
确定所述欧氏距离函数抛物线间的交点，以得到抛物线交点集；
根据所述抛物线交点集，选择交点之间的下包络，以作为所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离。
在一个实施方式中，基于每个像素点的特征，计算双目动态视觉传感器图像的左右匹配像素的代价矩阵，包括：
基于每个像素点的特征，计算所述左右匹配像素的特征匹配代价；
计算所述左右匹配像素的极性匹配代价；
基于所述特征匹配代价和极性匹配代价，确定所述左右匹配像素的代价矩阵。
在一个实施方式中，在基于所述代价矩阵确定每个像素点的视差之前，该方法还包括：
平滑滤波所述代价矩阵。
在一个实施方式中，所述平滑滤波代价矩阵包括：
设置平滑因子；
基于所述平滑因子平滑滤波所述代价矩阵。
在一个实施方式中，该方法还包括：
基于每个像素点的特征，确定像素点间的特征关联关系；
基于每个像素点的视差和所述像素点间特征关联关系，优化不鲁棒像素点的视差。
在一个实施方式中，所述优化不鲁棒像素点的视差包括：
对每个像素点的视差进行左右目交叉验证；
基于所述像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；
基于所述稠密条件随机场优化不鲁棒像素点的视差。
在一个实施方式中，该方法还包括：
对每个像素点的视差进行左右目交叉验证；
基于像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；
基于所述稠密条件随机场，确定每个像素点在子像素点级别上的视差。
在一个实施方式中，该方法还包括：
基于双目动态视觉传感器图像的相机焦距、相机距离和每个像素点在子像素点级别上的视差，确定每个像素点的深度值。
根据本发明实施方式，一种确定双目动态视觉传感器图像视差的装置，包括：
特征确定模块，用于基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；
代价矩阵计算模块，用于基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；
视差确定模块，用于基于所述代价矩阵确定每个像素点的视差。
由此可见，本发明利用DVS图像的像素点与事件之间的关系，根据DVS图像的事件分布快速地确定每个像素点的特征，无需应用复杂的算法为每个像素提取特征，从而有效提高了计算速度，降低了计算时间开销。
附图说明
图1为根据本发明实施方式的确定双目动态视觉传感器图像视差的方法流程图；
图2为根据本发明实施方式的提取像素点特征的可视化示意图；
图3为根据本发明实施方式的双目动态视觉传感器图像转换到视差图的示意图；
图4为根据本发明实施方式的确定双目动态视觉传感器图像的视差并优化视差的示范性流程图；
图5为根据本发明实施方式的视差优化效果的示范性对比图；
图6为根据本发明实施方式的确定双目动态视觉传感器图像视差的装置结构图。
图7为根据本发明实施方式确定双目动态视觉传感器图像视差的装置的示范性结构图。
图8为根据图7所示装置的输入输出处理示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
鉴于现有技术中需要应用复杂的算法为每个像素提取特征，导致计算时间开销大的缺点，本发明利用DVS图像的像素点与事件之间的关系，根据DVS图像的事件分布快速地确定每个像素点的特征，从而降低计算时间开销。
图1为根据本发明实施方式的确定双目动态视觉传感器图像视差的方法流程图。
如图1所示，该方法包括：
步骤101：基于双目DVS图像的事件分布，确定双目DVS图像的每个像素点的特征。
DVS图像中的事件通常出现在对象边界或者轮廓周围。因此，DVS图像中的事件描述了对象的结构信息。在双目DVS图像中，相同的对象通常具有相似的结构。因此，双目DVS图像的对应事件也具有相似的局部结构。对于双目DVS图像的事件区域中的像素点，其特征为零；对于DVS图像的非事件区域中的像素点，该像素点与离该像素点的最近事件之间的欧氏距离反映了该像素与事件间的关联关系，即为该像素点的特征。
因此，本发明可以根据双目DVS图像的事件分布，得到每个像素点的特征。
在一个实施方式中，基于双目DVS图像的事件分布，确定双目DVS图像的每个像素点的特征具体包括：基于事件分布，确定出双目DVS图像中的事件区域和非事件区域：将双目DVS图像的事件区域中的像素点的特征设置为零；计算双目DVS图像的非事件区域中的像素点与距离该像素点的最近事件之间的欧氏距离，并将计算出的欧氏距离设置为该像素点的特征。
在一个实施方式中，计算非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，具体包括：确定非事件区域中的像素点与每个事件的欧氏距离函数抛物线；确定欧氏距离函数抛物线间的交点，以得到抛物线交点集；根据得到的抛物线交点集选择交点之间的下包络，以作为非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离。可见，在本发明实施方式中，通过将所有像素点与事件的欧氏距离最小值求解问题，转变为求抛物线之间的交点并确定抛物线交点以下的抛物线段(即抛物线下包络)，显著降低了计算量，并可以实现实时效果。
双目DVS图像包括：利用左目DVS相机拍摄的左目DVS图像及利用右目DVS相机拍摄的右目DVS图像。
因此，步骤101具体包括：
(1)、基于左目DVS图像的事件分布，确定左目DVS图像的每个像素点的特征。具体地：基于左目DVS图像的事件分布确定出左目DVS图像中的事件区域和非事件区域：将左目DVS图像的事件区域中的像素点的特征设置为零；计算左目DVS图像的非事件区域中的像素点与距离该像素点的最近事件之间的欧氏距离，并将计算出的欧氏距离设置为该像素点的特征。
(2)、基于右目DVS图像的事件分布，确定右目DVS图像的每个像素点的特征。具体地：基于右目DVS图像的事件分布确定出右目DVS图像中的事件区域和非事件区域：将右目DVS图像的事件区域中的像素点的特征设置为零；计算右目DVS图像的非事件区域中的像素点与距离该像素点的最近事件之间的欧氏距离，并将计算出的欧氏距离设置为该像素点的特征。
图2为根据本发明实施方式的提取像素点特征的可视化示意图。由图2可见，左边图形为输入的DVS图像(可为左目DVS图像或右目DVS图像)，右边图形为针对左边图形提取像素点特征的可视化示意图。
优选地，在确定每个像素点的特征之后，可以基于每个像素点的特征，确定左目DVS图像的像素点与右目DVS图像的像素点之间的特征关联关系。
可见，本发明根据稀疏的事件分布，可以得到双目DVS图像中每个像素点的特征，还可以建立左目DVS图像的像素点与右目DVS图像的像素点之间的特征关联关系。因此，本发明无需应用复杂的算法，就可以为每个像素提取特征，从而有效提高了计算速度，降低了计算时间开销。
步骤102：基于每个像素点的特征，计算双目DVS图像的左右匹配像素的代价矩阵。
双目DVS图像的左右匹配像素是左目DVS图像与右目DVS图像之间的匹配像素。
在一个实施方式中，步骤102具体包括：基于左目DVS图像的每个像素点的特征及右目DVS图像的每个像素点的特征，计算双目DVS图像的左右匹配像素的特征匹配代价；计算双目DVS图像的左右匹配像素的极性匹配代价；基于特征匹配代价和极性匹配代价，确定双目DVS图像的左右匹配像素的代价矩阵。
可见，本发明在步骤102中将事件的匹配转换为像素的匹配，可以将稀疏的事件匹配转换为稠密的像素匹配，从而为后续可能的三维场景建模、图像渲染等具体应用提供了技术支撑。
步骤103：基于代价矩阵确定每个像素点的视差。
在这里，可以基于代价矩阵，利用贪心策略胜者为王(winner take all)等算法，分别为左目DVS图像和/或右目DVS图像，计算出每个像素点的视差。
图3为根据本发明实施方式的双目动态视觉传感器图像转换到视差图的示意图。在图3中，左图表示输入的DVS双目图像，其中不是黑色的部分表示产生的事件；右图表示生成的像素级的稠密视差图，其中颜色越亮，表示视差越大，离相机的距离越近。
以上以贪心策略胜者为王算法为例，示范性说明如何计算像素视差。本领域技术人员可以意识到，还可以应用其它算法计算像素视差，本发明实施方式对此并无限定。
根据DVS成像原理，非事件区域通常具有低于给定阈值的光照强度，即光照强度在一定范围内相似，意味着其对应的视差接近。因此，相邻的非事件区域像素的代价值是接近的、平滑的。基于该原理，优选对步骤103中获取的代价矩阵进行平滑滤波，确保空间近邻的非事件区域像素的代价值接近。
在一个实施方式中，在步骤103基于代价矩阵确定每个像素点的视差之前，该方法还包括：平滑滤波代价矩阵。优选地，平滑滤波代价矩阵包括：设置平滑因子；基于平滑因子平滑滤波代价矩阵。
在一个实施方式中，该方法还包括：基于每个像素点的视差和像素点间的特征关联关系，优化不鲁棒像素点的视差。比如，优化不鲁棒像素点的视差，具体包括：对每个像素点的视差进行左右目交叉验证；基于像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；基于稠密条件随机场优化不鲁棒像素点的视差。
图5为根据本发明实施方式的视差优化效果的示范性对比图。在图5中，左图是优化前的视差估计效果图，右图为优化后的视差估计效果图。由左图可见，在视差优化前，不能保持图像场景的对象形状，对象产生了较大形变；由右图可见，优化后可以保持图像场景的对象形状，对象形变较小。
在一个实施方式中，该方法还包括：
对每个像素点的视差进行左右目交叉验证；基于像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；基于稠密条件随机场，确定每个像素点在子像素点级别上的视差。
可见，本发明能够根据鲁棒像素的视差，通过构建稠密条件随机场以描述事件间关联关系，有效估计出左右不对应像素的视差并予以优化，并保持相邻像素视差的平滑过渡，得到子像素级别的视差。
在确定每个像素点在子像素点级别上的视差之后，本发明实施方式还可以进一步基于双目DVS图像的相机焦距、相机距离和每个像素点在子像素点级别上的视差，确定每个像素点的深度值。
比如：
(1)、对于左目DVS图像，可以基于左目DVS相机焦距、左目DVS相机与右目DVS相机之间的距离和左目DVS图像中每个像素点在子像素点级别上的视差，确定左目DVS图像中每个像素点的深度值。
(2)、对于右目DVS图像，可以基于右目DVS相机焦距、左目DVS相机与右目DVS相机之间的距离和右目DVS图像中每个像素点在子像素点级别上的视差，确定右目DVS图像中每个像素点的深度值。
DVS图像具有一定的特点。通常而言，事件的产生是根据光照强度变化而产生，因此事件通常分布在场景对象轮廓或边界周围；分布较散的事件点通常可以被视为噪声。利用该特点，可以对DVS图像进行正交分解，相关性强的事件(即空间分布较近的事件)聚集到一个特征向量，该特征向量对应的特征值大；事件分布离散的特征向量，对应的特征值较小，作为噪声处理。
在一个实施方式中，在步骤101之前，该方法还可以包括：去除双目DVS图像的噪声事件。
去除双目DVS图像的噪声事件的具体过程，包括：将双目DVS图像正交分解为特征向量；计算特征向量的特征值；基于特征值由大到小的顺序确定第一预定数目个特征向量，将第一预定数目个特征向量组合为去除噪声事件的双目DVS图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的DVS图像。
具体地，去除左目DVS图像的噪声事件，包括：将左目DVS图像正交分解为特征向量；计算特征向量的特征值；基于特征值由大到小的顺序确定第一预定数目个特征向量，将第一预定数目个特征向量组合为去除噪声事件的左目DVS图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的左目DVS图像。
类似地，去除右目DVS图像的噪声事件，包括：将右目DVS图像正交分解为特征向量；计算特征向量的特征值；基于特征值由大到小的顺序确定第一预定数目个特征向量，将第一预定数目个特征向量组合为去除噪声事件的右目DVS图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的右目DVS图像。
下面结合具体公式，对本发明的具体算法进行详细说明。
首先，将输入的双目DVS图像正交分解为特征向量，基于特征向量的特征值由大到小的顺序，提取预定数目个特征值较大的特征向量，并重新组合所提取的特征向量，得到去除噪声事件的双目DVS图像。
设I为输入的双目DVS图像，I0为无噪声图像，e为噪声，则有：
Figure BDA0000920072480000101
其中：
Figure BDA0000920072480000102
其中：参数k表示按照特征值由大到小顺序的前k个特征向量，r表示所有特征向量的数量；δ表示第i个特征向量的特征值；i是特征分量的序号；ui和vi共同表示是第i个相互正交的特征向量；H是转置操作；
对去除噪声事件的双目DVS图像，分别求得非事件区域中的每个像素点到其最近事件的欧氏距离。欧氏距离变换公式为：
Figure BDA0000920072480000103
其中，Dn(x,y)表示像素点(x,y)与其最近邻事件(x',y')的欧氏距离；f(x',y')表示事件(x',y')的特征值；x是像素点(x,y)的横坐标，y是像素点(x,y)的纵坐标；x是事件(x',y')的横坐标，y是事件(x',y')的纵坐标；n为像素点的序号。
直接求解上述欧氏距离变换公式，需要为每个像素点求解一个二次方程，将耗费大量的计算时间。本质上，上述欧氏距离变换公式能够视为多个以((x',y'),f(x',y'))为根的抛物线，最小化上述欧氏距离变换公式本质上变为求抛物线之间的交点并确定抛物线交点以下的抛物线段，即抛物线“下包络”(lower envelope)求解算法，从而将针对上述所有像素点的求解变为求最小抛物线交点集的问题。
具体地，计算非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，可以转换为：确定非事件区域中的像素点与每个事件的欧氏距离函数抛物线；确定欧氏距离函数抛物线间的交点；去除包络交点的欧氏距离函数抛物线；从剩余的欧氏距离函数抛物线中，截取交点之间的下包络，以作为非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离。
确定欧氏距离函数抛物线间的交点较为简单。
比如：两条分别以((xi',yi'),f(xi',yi'))和((xj',yj'),f(xj',yj'))为根的抛物线，它们之间的交点能够快速确定为：
Figure BDA0000920072480000111
其中 i、j为事件的序号。
通过比较不同抛物线交点的大小，能够快速确定抛物线交点集，去除抛物线交点根最大的的欧氏距离函数抛物线，从剩余的欧氏距离函数抛物线中，得到抛物线交点之间的“下包络”，达到实时效果。因此，上述欧氏距离变换公式能够实时求解。然后，在当前假定视差条件下，计算双目DVS图像的左右匹配像素的代价矩阵。
左右匹配像素的代价矩阵主要包含两大部分，分别是：
(1)特征匹配代价CFn(x,y,d)：
Figure BDA0000920072480000121
其中：
w表示局部范围的序号；W为局部范围的大小；d表示当前视差值；N为像素点数目；n为像素点的序号；
(2)极性匹配代价CP(x,y,d)：
CP(x,y,d)＝||E(x+d,y)-E(x,y)||；其中：
E(x,y)代表像素点(x,y)在坐标系中的极性；E(x+d,y)表示像素点(x+d,y)在坐标系中的极性。
因此，左右匹配像素的代价矩阵C(x,y,d)为：
Figure BDA0000920072480000122
其中，α表示线性合并权重。
接着，对代价矩阵进行平滑滤波，从而确保空间近邻的非事件区域像素的代价值接近。
平滑公式为：
Figure BDA0000920072480000123
其中，Cs(p,d)表示平滑处理后的代价矩阵；p表示第p个像素；d表示其对应的假定视差；K表示邻域范围内像素的个数；q为p局部邻域范围内的像素坐标；g(Em(p,q))为平滑因子。
g(Em(p,q))具体定义为：
Figure BDA0000920072480000124
其中，Em(p)表示像素点p的极性；v为预先给定的常量数值。
然后，基于平滑滤波后的代价矩阵，计算每个像素点的视差，并根据像素间特征关联关系，优化不鲁棒像素视差以得到子像素级别视差。具体地，首先根据得到的代价矩阵，利用贪心策略算法胜者为王算法，分别为左右目DVS图像，计算每个像素点的视差。
对于左目DVS图像，计算左目DVS图像的像素点(x,y)的视差dl(x,y)，其中：
Figure BDA0000920072480000136
Cl(x,y,k)为左目DVS图像的代价矩阵；
对于右目DVS图像，计算右目DVS图像的像素点(x,y)的视差dr(x,y)，其中：
Figure BDA0000920072480000137
Cr(x,y,k)为右目DVS图像的代价矩阵。
然后，进行左右目DVS图像视差交叉验证，以去除不鲁棒视差像素，验证公式为：
Figure BDA0000920072480000131
其中：判断dl(x,y)和dr(x+d1,y)是否相等，如果相等，确定该像素为鲁棒像素，如果不相等，确定该像素为不鲁棒像素。
为了估计不鲁棒像素视差，本发明可以通过建立任意像素和其他所有剩余像素的关联关系，构建稠密条件随机场E(D)，以优化像素的视差值，优化公式为：
Figure BDA0000920072480000132
其中：
第一项能量公式
Figure BDA0000920072480000133
表示每个像素视差的鲁棒性值。经过交叉检验后，鲁棒的像素的鲁棒性值为N，非鲁棒的像素值为0，其中例如N＝10。
第二项能量公式
Figure BDA0000920072480000134
为视差关联关系项，其定义为：
Figure BDA0000920072480000135
其中：
如果di≠dj，那么μ(di,dj)＝1，否则其值为0；i，j表示像素坐标；w1和w2为预定权重；θα，θβ和θγ为输入的尺度参数。
可以采用梯度下降法最小化上述优化公式，得到的结果即为每个像素在子像素级别上的视差值。
在本发明中，还可以根据相机参数焦距f和相机距离B，计算出每个像素点的深度值Z，其中：
z＝f*B/d,其中d为像素在子像素级别上的视差值。
以上以具体公式，对本发明的具体算法进行详细说明。本领域技术人员可以意识到，上述公式表达仅为示范性的，并不用于对本发明保护范围进行限定。
图4为根据本发明实施方式的确定双目动态视觉传感器图像的视差并优化视差的示范性流程图。
由图4可见，该方法包括：
步骤401：标定DVS相机。具体包括：设定左目DVS相机的焦距、右目DVS相机的焦距、左目DVS相机与右目DVS相机之间的距离，等等。
步骤402：基于双目动态视觉传感器图像的事件分布，确定双目动态视觉传感器图像的每个像素点的特征。具体包括：提取左目DVS图像的每个像素点的子过程1，以及提取右目DVS图像的每个像素点的子过程2。其中子过程1和子过程2既可以分布同时执行，也可以按照预定顺序先后执行。
子过程1包括：
步骤4021：获取左目DVS相机拍摄的左目DVS图像；
步骤4022：对左目DVS图像执行正交分解以去除噪声事件；
步骤4023：对去除噪声事件的左目DVS图像执行欧氏距离变换以提取左目DVS图像中每个像素点特征。
子过程2包括：
步骤4024：获取右目DVS相机拍摄的右目DVS图像；
步骤4025：对右目DVS图像执行正交分解以去除噪声事件；
步骤4026：对去除噪声事件的右目DVS图像执行欧氏距离变换以提取右目DVS图像中每个像素点特征。
步骤403：基于左目DVS图像中每个像素点特征和右目DVS图像中每个像素点特征，计算左目DVS图像与右目DVS图像的匹配像素的代价矩阵。
步骤404：利用高斯平滑算法对代价矩阵进行滤波。
步骤405：利用滤波后的代价矩阵，计算左目DVS图像中每个像素点的视差，和/或，右目DVS图像中每个像素点的视差。
步骤406：对左目DVS图像中每个像素点的视差，和/或，右目DVS图像中每个像素点的视差，进行优化。
基于上述详细分析，本发明还提出了一种确定双目动态视觉传感器图像视差的装置。
图6为根据本发明实施方式的确定双目动态视觉传感器图像视差的装置结构图。
由图6可见，该装置600包括：
特征确定模块601，用于基于双目DVS图像的事件分布，确定双目DVS图像的每个像素点的特征；
代价矩阵计算模块602，用于基于每个像素点的特征，计算双目DVS图像的左右匹配像素的代价矩阵；
视差确定模块603，用于基于代价矩阵确定每个像素点的视差。
图7为根据本发明实施方式确定双目动态视觉传感器图像视差的装置的示范性结构图。
相比图6，图7所示装置还进一步包括：去噪模块604、矩阵平滑模块605和视察优化模块606。其中：
去噪模块604，用于去除双目DVS图像的噪声事件。具体包括：将双目DVS图像正交分解为特征向量；计算特征向量的特征值；基于特征值由大到小的顺序确定第一预定数目个特征向量，将第一预定数目个特征向量组合为去除噪声事件的双目动态视觉传感器图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的双目DVS图像。
矩阵平滑模块605，用于平滑滤波代价矩阵。具体包括：设置平滑因子；基于平滑因子平滑滤波代价矩阵。
视察优化模块606，用于基于每个像素点的特征，确定像素点间的特征关联关系；基于每个像素点的视差和像素点间特征关联关系，优化不鲁棒像素点的视差。具体地，优化不鲁棒像素点的视差包括：对每个像素点的视差进行左右目交叉验证；基于像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；基于稠密条件随机场优化不鲁棒像素点的视差。
图8为根据图7所示装置的输入输出处理示意图。
由图8可见，去噪模块，接收双目DVS图像，并且对双目DVS图像执行正交分解以去除噪声。特征确定模块，用于对去除噪声的双目DVS图像执行水平距离变换和垂直距离变换，并叠加水平距离变换结果和垂直距离变换结果以确定每个像素点的特征。代价矩阵计算模块，用于对每个像素点的特征执行特征距离匹配，并执行极性匹配，从而确定代价矩阵。矩阵平滑模块，用于对代价矩阵执行高斯平滑处理。视差确定模块，用于对高斯平滑处理后的代价矩阵应用贪心算法以计算每个像素点的视差。视差优化模块，用于对每个像素点的视差进行左右目交叉验证，并基于像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场，再基于稠密条件随机场优化不鲁棒像素点的视差。最终，视差优化模块输出优化后的视差。
综上所述，本发明利用DVS图像的像素点与事件之间的关系，可以根据DVS图像的事件分布快速地确定每个像素点的特征，无需应用复杂的算法为每个像素提取特征，从而有效提高了计算速度，降低了计算时间开销。
本发明还将事件的匹配转换为像素的匹配，根据事件的分布计算非事件区域的像素特征，将稀疏事件匹配转换为稠密像素的匹配，实现了像素级稠密视差计算，为三维场景建模、图像渲染等提供技术支撑；
而且，本发明还能够有效去除DVS图像中的噪声，保留有效事件。通过对DVS图像进行去噪，能够挑选出更鲁棒的事件，克服因光照强度增加或减弱导致的场景镜面效果对视差估计的影响，减少光照、纹理重复等因素的影响，有效克服现有技术中容易受光照、文档等因素变化的问题。
另外，本发明还能够根据鲁棒事件的视差，通过构建稠密条件随机场以描述事件间关联关系并优化视差，保持相邻像素视差的平滑过渡，得到子像素级别的视差。还有，本发明通过构建代价矩阵并平滑优化，能够很好的克服左右事件、像素难对应的问题。
可以遵循一定规范的应用程序接口，将本发明实施方式所提出的确定双目DVS图像视差的方法编写为安装到个人电脑、移动终端等中的插件程序，也可以将其封装为应用程序以供用户自行下载使用。可以通过指令或指令集存储的储存方式将本发明实施方式所提出的确定双目DVS图像视差的方法存储在各种存储介质上。这些存储介质包括但是不局限于：软盘、光盘、DVD、硬盘、闪存等。另外，还可以将本发明实施方式所提出的确定双目动态视觉传感器图像视差的方法应用到基于闪存(Nand flash)的存储介质中，比如U盘、CF卡、SD卡、SDHC卡、MMC卡、SM卡、记忆棒、xD卡等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种确定双目动态视觉传感器图像视差的方法，其特征在于，包括：
基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；
基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；
基于所述代价矩阵，确定所述每个像素点的视差；
其中基于每个像素点的特征，计算双目动态视觉传感器图像的左右匹配像素的代价矩阵，包括：
基于每个像素点的特征，计算所述左右匹配像素的特征匹配代价；
计算所述左右匹配像素的极性匹配代价；
基于所述特征匹配代价和极性匹配代价，确定所述左右匹配像素的代价矩阵。
2.根据权利要求1所述的方法，其特征在于，在基于双目动态视觉传感器图像的事件分布，确定双目动态视觉传感器图像的每个像素点的特征之前，该方法还包括：
去除所述双目动态视觉传感器图像的噪声事件。
3.根据权利要求2所述的方法，其特征在于，所述去除双目动态视觉传感器图像的噪声事件包括：
将所述双目动态视觉传感器图像正交分解为特征向量；
计算所述特征向量的特征值；
基于特征值由大到小的顺序确定第一预定数目个特征向量，将所述第一预定数目个特征向量组合为去除噪声事件的双目动态视觉传感器图像；或，基于特征值由小到大的顺序确定第二预定数目个特征向量，将去除所述第二预定数目个特征向量后的剩余特征向量组合为去除噪声事件的双目动态视觉传感器图像。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于双目动态视觉传感器图像的事件分布，确定每个像素点的特征，包括：
基于所述事件分布，确定事件区域和非事件区域：
将所述事件区域中的像素点的特征设置为零；
计算所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，并将所述欧氏距离设置为所述像素点的特征。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述计算非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离，包括：
确定所述非事件区域中的像素点与每个事件的欧氏距离函数抛物线；
确定所述欧氏距离函数抛物线间的交点，以得到抛物线交点集；
根据所述抛物线交点集，选择交点之间的下包络，以作为所述非事件区域中的像素点与离该像素点的最近事件之间的欧氏距离。
6.根据权利要求1所述的方法，其特征在于，在基于所述代价矩阵确定每个像素点的视差之前，该方法还包括：
平滑滤波所述代价矩阵。
7.根据权利要求6所述的方法，其特征在于，所述平滑滤波代价矩阵包括：
设置平滑因子；
基于所述平滑因子平滑滤波所述代价矩阵。
8.根据权利要求1-3中任一项所述的方法，其特征在于，该方法还包括：
基于每个像素点的特征，确定像素点间的特征关联关系；
基于每个像素点的视差和所述像素点间特征关联关系，优化不鲁棒像素点的视差。
9.根据权利要求8所述的方法，其特征在于，所述优化不鲁棒像素点的视差包括：
对每个像素点的视差进行左右目交叉验证；
基于所述像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；
基于所述稠密条件随机场优化不鲁棒像素点的视差。
10.根据权利要求1-3中任一项所述的方法，其特征在于，该方法还包括：
对每个像素点的视差进行左右目交叉验证；
基于像素点间特征关联关系，建立左右目交叉验证后的每个像素点的稠密条件随机场；
基于所述稠密条件随机场，确定每个像素点在子像素点级别上的视差。
11.根据权利要求10所述的方法，其特征在于，该方法还包括：
基于双目动态视觉传感器图像的相机焦距、相机距离和每个像素点在子像素点级别上的视差，确定每个像素点的深度值。
12.一种确定双目动态视觉传感器图像视差的装置，其特征在于，包括：
特征确定模块，用于基于双目动态视觉传感器图像的事件分布，确定所述双目动态视觉传感器图像的每个像素点的特征；
代价矩阵计算模块，用于基于所述每个像素点的特征，计算所述双目动态视觉传感器图像的左右匹配像素的代价矩阵；
视差确定模块，用于基于所述代价矩阵确定每个像素点的视差；
其中基于每个像素点的特征，计算双目动态视觉传感器图像的左右匹配像素的代价矩阵，包括：
基于每个像素点的特征，计算所述左右匹配像素的特征匹配代价；
计算所述左右匹配像素的极性匹配代价；
基于所述特征匹配代价和极性匹配代价，确定所述左右匹配像素的代价矩阵。
CN201610070550.XA 2016-02-01 2016-02-01 一种确定双目动态视觉传感器图像视差的方法和装置 Active CN107025660B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610070550.XA CN107025660B (zh) 2016-02-01 2016-02-01 一种确定双目动态视觉传感器图像视差的方法和装置
KR1020160099085A KR102483641B1 (ko) 2016-02-01 2016-08-03 양안 시차 영상의 처리 방법 및 장치
US15/338,618 US10582179B2 (en) 2016-02-01 2016-10-31 Method and apparatus for processing binocular disparity image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610070550.XA CN107025660B (zh) 2016-02-01 2016-02-01 一种确定双目动态视觉传感器图像视差的方法和装置

Publications (2)

Publication Number Publication Date
CN107025660A CN107025660A (zh) 2017-08-08
CN107025660B true CN107025660B (zh) 2020-07-10

Family

ID=59523991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610070550.XA Active CN107025660B (zh) 2016-02-01 2016-02-01 一种确定双目动态视觉传感器图像视差的方法和装置

Country Status (2)

Country Link
KR (1) KR102483641B1 (zh)
CN (1) CN107025660B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610069B (zh) * 2017-09-29 2020-10-09 西安电子科技大学 基于共享k-svd字典的dvs可视化视频去噪方法
US11143879B2 (en) * 2018-05-25 2021-10-12 Samsung Electronics Co., Ltd. Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
KR102525000B1 (ko) 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
CN111209770B (zh) * 2018-11-21 2024-04-23 北京三星通信技术研究有限公司 一种车道线识别方法及装置
CN114365191A (zh) * 2019-11-06 2022-04-15 Oppo广东移动通信有限公司 图像的深度值的确定方法、图像处理器以及模组
CN111311667B (zh) * 2020-02-14 2022-05-17 苏州浪潮智能科技有限公司 一种内容自适应双目匹配方法和装置
KR102334332B1 (ko) 2020-07-31 2021-12-02 숭실대학교 산학협력단 가이디드 필터링을 이용한 딥러닝 네트워크 기반 깊이 영상 결과 개선 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113222945B (zh) * 2021-05-19 2024-02-09 西安电子科技大学 基于双目事件相机的深度信息测量方法
CN113378684B (zh) * 2021-06-04 2024-03-29 北京顺造科技有限公司 清洁设备及用于清洁设备的光触发事件识别方法
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
CN115908170B (zh) * 2022-11-04 2023-11-21 浙江华诺康科技有限公司 双目图像的降噪方法、装置、电子装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203552A (zh) * 2009-09-07 2011-09-28 松下电器产业株式会社 视差计算方法和视差计算装置
CN103325120A (zh) * 2013-06-30 2013-09-25 西南交通大学 一种快速自适应支持权值双目视觉立体匹配方法
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN104766342A (zh) * 2015-03-30 2015-07-08 天津师范大学 基于时域视觉传感器的运动目标跟踪系统及测速方法
CN104902260A (zh) * 2015-06-30 2015-09-09 Tcl集团股份有限公司 一种图像视差的获取方法及系统
CN104956654A (zh) * 2013-11-12 2015-09-30 康斯乔最高科学研究公司 用于检测光传感器矩阵中的光强时变的方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101331052B1 (ko) * 2009-12-21 2013-11-22 한국전자통신연구원 스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
KR101537174B1 (ko) * 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203552A (zh) * 2009-09-07 2011-09-28 松下电器产业株式会社 视差计算方法和视差计算装置
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN103325120A (zh) * 2013-06-30 2013-09-25 西南交通大学 一种快速自适应支持权值双目视觉立体匹配方法
CN104956654A (zh) * 2013-11-12 2015-09-30 康斯乔最高科学研究公司 用于检测光传感器矩阵中的光强时变的方法和设备
CN104766342A (zh) * 2015-03-30 2015-07-08 天津师范大学 基于时域视觉传感器的运动目标跟踪系统及测速方法
CN104902260A (zh) * 2015-06-30 2015-09-09 Tcl集团股份有限公司 一种图像视差的获取方法及系统

Also Published As

Publication number Publication date
KR102483641B1 (ko) 2023-01-02
CN107025660A (zh) 2017-08-08
KR20170091496A (ko) 2017-08-09

Similar Documents

Publication Publication Date Title
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
US11562498B2 (en) Systems and methods for hybrid depth regularization
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
Kalantari et al. Learning-based view synthesis for light field cameras
KR102350232B1 (ko) 스테레오 영상 매칭 방법 및 장치
CN107958446B (zh) 信息处理设备和信息处理方法
Wang et al. High-fidelity view synthesis for light field imaging with extended pseudo 4DCNN
US11062464B2 (en) Image processing apparatus, method, and storage medium to derive optical flow
WO2012177166A1 (en) An efficient approach to estimate disparity map
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
JP7032871B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US10582179B2 (en) Method and apparatus for processing binocular disparity image
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Hou et al. Joint learning of image deblurring and depth estimation through adversarial multi-task network
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
Fan et al. Collaborative three-dimensional completion of color and depth in a specified area with superpixels
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
Yokozuka et al. Accurate depth-map refinement by per-pixel plane fitting for stereo vision
CN113538338B (zh) 一种基于限制性预测滤波的图像散景渲染方法及系统
Liu et al. Shape preserving RGB-D depth map restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant