CN112784874B - 双目视觉立体匹配方法、装置、电子设备及存储介质 - Google Patents

双目视觉立体匹配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112784874B
CN112784874B CN202011583739.1A CN202011583739A CN112784874B CN 112784874 B CN112784874 B CN 112784874B CN 202011583739 A CN202011583739 A CN 202011583739A CN 112784874 B CN112784874 B CN 112784874B
Authority
CN
China
Prior art keywords
pixel point
parallax
value
initial
matching cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011583739.1A
Other languages
English (en)
Other versions
CN112784874A (zh
Inventor
陈海波
罗艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Intelligent Technology Shanghai Co ltd
Original Assignee
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepBlue AI Chips Research Institute Jiangsu Co Ltd filed Critical DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority to CN202011583739.1A priority Critical patent/CN112784874B/zh
Publication of CN112784874A publication Critical patent/CN112784874A/zh
Application granted granted Critical
Publication of CN112784874B publication Critical patent/CN112784874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Abstract

本申请实施例提供了双目视觉立体匹配方法、装置、电子设备及存储介质，所述方法包括：分别以左图像和右图像为参考图，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；分别对第一初始视差图和第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；对第一中间视差图和第二中间视差图进行一致性校正，得到最终视差图。

Description

双目视觉立体匹配方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种双目视觉立体匹配方法、装置、电子设备及存储介质。
背景技术
立体匹配是双目视觉技术实现过程中最困难也是最重要的一步，目前，立体匹配算法包含全局立体匹配算法、半全局立体匹配算法和局部立体匹配算法三种，其中局部立体匹配算法以其高精度、低耗时获得了最为广泛的应用。此外，立体匹配的算法类型很多，比如基于区域的匹配算法、基于特征的匹配算法等，其中，基于区域的匹配算法应用最为广泛，此类算法通过对比两个区域中像素值的相关度来判断区域中像素点之间的对应性，常用的算法包括SAD(Sum of Absolute Difference)、NCC(Normalized CrossCorrelation)、Census变换、Rank变换等。但是，在很多场景下，现有的双目视觉立体匹配算法的匹配率较低，因此，如何实现高精度的双目立体视觉匹配，成为亟待解决的问题。
发明内容
本申请提供一种双目视觉立体匹配方法、装置、电子设备及存储介质，以实现高精度的双目立体视觉匹配。
本申请提供一种双目视觉立体匹配方法，包括：
获取左图像和右图像；
分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；
采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；
分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；
采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；
对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图。
根据本申请提供的一种双目视觉立体匹配方法，所述采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图，包括：
基于在与所述第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对所述第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第一中间视差图；
基于在与所述第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第二中间视差图。
根据本申请提供的一种双目视觉立体匹配方法，所述第一中间视差图中每一像素点的视差值基于如下公式确定：
Figure BDA0002865744390000031
其中，
Figure BDA0002865744390000032
为所述第一中间视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000033
为所述第一初始视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000034
为像素点(i,j)在视差值为
Figure BDA0002865744390000035
下的第一聚合匹配代价，
Figure BDA0002865744390000036
为像素点(i,j)在视差值为
Figure BDA0002865744390000037
下的第一聚合匹配代价，
Figure BDA0002865744390000038
为像素点(i,j)在视差值为
Figure BDA0002865744390000039
下的第一聚合匹配代价；
所述第二中间视差图中每一像素点的视差值基于如下公式确定：
Figure BDA00028657443900000310
其中，
Figure BDA00028657443900000311
为所述第二中间视差图中像素点(i,j)的视差值，
Figure BDA00028657443900000312
为所述第二初始视差图中像素点(i,j)的视差值，
Figure BDA00028657443900000313
为像素点(i,j)在视差值为
Figure BDA00028657443900000314
下的第二聚合匹配代价，
Figure BDA00028657443900000315
为像素点(i,j)在视差值为
Figure BDA00028657443900000316
下的第二聚合匹配代价，
Figure BDA00028657443900000317
为像素点(i,j)在视差值为
Figure BDA00028657443900000318
下的第二聚合匹配代价。
根据本申请提供的一种双目视觉立体匹配方法，所述对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图，包括：
若所述第一中间视差图中任一像素点与所述任一像素点在所述第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将所述任一像素点的视差值作为所述最终视差图中对应位置的像素点的视差值；
否则，将所述任一像素点在所述最终视差图中对应位置的像素点的视差值置为空值。
根据本申请提供的一种双目视觉立体匹配方法，所述分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图，包括：
基于任一像素点在各个视差值下的第一聚合匹配代价，将所述任一像素点的最小第一聚合匹配代价对应的视差值，作为所述任一像素点在所述第一初始视差图中对应位置的像素点的视差值；
基于任一像素点在各个视差值下的第二聚合匹配代价，将所述任一像素点的最小第二聚合匹配代价对应的视差值，作为所述任一像素点在所述第二初始视差图中对应位置的像素点的视差值。
根据本申请提供的一种双目视觉立体匹配方法，在任一视差值下的第一初始匹配代价基于如下公式确定：
CostL(i,j,d)＝1-r(LM*M(i,j),RM*M(i,j-d))
式中，CostL(i,j,d)为以所述左图像为参考图，像素点(i,j)在视差值d下的第一初始匹配代价，LM*M(i,j)为以所述左图像中像素点(i,j)为中心的M*M的区域，RM*M(i,j-d)为所述右图像中像素点(i,j-d)为中心的M*M的区域，r(LM*M(i,j),RM*M(i,j-d))为LM*M(i,j)与RM*M(i,j-d)之间的相关系数，d＝{1，2，3，……,DSR}，DSR为预先设定的视差最大值；
在任一视差值下的第二初始匹配代价是基于如下公式确定：
CostR(i,j,d)＝1-r(LM*M(i,j+d),RM*M(i,j))
式中，CostR(i,j,d)为以所述右图像为参考图，像素点(i,j)在视差值d下的第二初始匹配代价，LM*M(i,j+d)为以所述左图像中像素点(i,j+d)为中心的M*M的区域，RM*M(i,j)为所述右图像中像素点(i,j)为中心的M*M的区域，r(LM*M(i,j+d),RM*M(i,j))为LM*M(i,j+d)与RM*M(i,j)之间的相关系数。
根据本申请提供的一种双目视觉立体匹配方法，在任一视差值下的第一聚合匹配代价基于如下公式确定：
Figure BDA0002865744390000051
式中，CostAggr_L(i,j,d)为以所述左图像为参考图，像素点(i,j)在视差值d下的第一聚合匹配代价，N为滑动窗口的大小，d＝{1，2，3……,DSR}，DSR为预先设定的视差最大值；
在任一视差值下的第二聚合匹配代价基于如下公式确定：
Figure BDA0002865744390000052
式中，CostAggr_R(i,j,d)为以所述右图像为参考图，像素点(i,j)在视差值d下的第二聚合匹配代价。
本申请还提供一种双目视觉立体匹配装置，包括：
图像获取单元，用于获取左图像和右图像；
初始匹配代价确定单元，用于分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；
聚合匹配代价确定单元，用于采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；
初始视差图确定单元，用于分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；
中间视差图确定单元，用于采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；
最终视差图确定单元，用于对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图。
根据本申请提供的一种双目视觉立体匹配装置，所述中间视差图确定单元包括：
第一中间视差图模块，用于基于在与所述第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对所述第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第一中间视差图；
第二中间视差图模块，用于基于在与所述第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第二中间视差图。
根据本申请提供的一种双目视觉立体匹配装置，所述最终视差图确定单元，具体用于：
若所述第一中间视差图中任一像素点与所述任一像素点在所述第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将所述任一像素点的视差值作为所述最终视差图中对应位置的像素点的视差值；
否则，将所述任一像素点在所述最终视差图中对应位置的像素点的视差值置为空值。
根据本申请提供的一种双目视觉立体匹配装置，所述初始视差图确定单元包括：
第一初始视差图模块，用于基于任一像素点在各个视差值下的第一聚合匹配代价，将所述任一像素点的最小第一聚合匹配代价对应的视差值，作为所述任一像素点在所述第一初始视差图中对应位置的像素点的视差值；
第二初始视差图模块，用于基于任一像素点在各个视差值下的第二聚合匹配代价，将所述任一像素点的最小第二聚合匹配代价对应的视差值，作为所述任一像素点在所述第二初始视差图中对应位置的像素点的视差值。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述双目视觉立体匹配方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述双目视觉立体匹配方法的步骤。
本申请提供的双目视觉立体匹配方法、装置、电子设备及存储介质，通过采用包滤波器进行代价聚合，提高了视差的区分度，并采用线性插值求取亚像素级别的视差值，大大提高了视差值的精度；最后，采用左右一致性校正方法对视差值进行优化，滤除了视差不一致的点，从而获得高精度的最终视差图，突破了传统Census变换立体匹配算法精度不高、抗干扰能力弱等局限性，能够获取高精度的视差图，有效地增强了算法的抗干扰能力，而且大大降低了数据量。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的双目视觉立体匹配方法的流程示意图；
图2为本申请提供的双目视觉立体匹配方法中步骤150的实施方式的流程图；
图3是本申请提供的双目视觉立体匹配装置的结构示意图；
图4为本申请提供的中间视差图确定单元的结构示意图；
图5为本申请提供的初始视差图确定单元的结构示意图；
图6是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的双目视觉立体匹配方法的流程示意图，如图1所示，该方法包括：
步骤110，获取左图像和右图像；
步骤120，分别以左图像和右图像为参考图，基于左图像和右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；
步骤130，采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；
步骤140，分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；
步骤150，采用线性差值分别对第一初始视差图和第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；
步骤160，对第一中间视差图和第二中间视差图进行一致性校正，得到最终视差图。
具体地，通过双目立体视觉系统，获取左图像和右图像，此处，双目立体视觉系统可以由双摄像机从不同角度同时获取被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获取被测物的两幅数字图像，即左图像和右图像。并分别以左图像和右图像为参考图，基于左图像和右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵，其中，第一初始匹配代价矩阵为以左图像为参考图计算得到的初始匹配代价矩阵，第二初始匹配代价矩阵为以右图像为参考图计算得到的初始匹配代价矩阵，第一初始匹配代价矩阵和第二初始匹配代价矩阵可以为与左图像和右图像尺寸一致的矩阵，矩阵中任一元素表示对应位置的像素点的第一初始匹配代价或第二初始匹配代价。此处，还可以预先设定视差最大值DSR，任一视差值d＝{1，2，3，……,DSR}。需要说明的是，本申请实施例以及后续实施例中“第一”表示以左图像为参考图计算得到的结果，“第二”表示以右图像为参考图计算得到的结果。
随即，采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，其中，第一聚合匹配代价矩阵和第二聚合匹配代价矩阵可以为与左图像和右图像尺寸一致的矩阵，矩阵中任一元素表示对应位置的像素点的第一聚合匹配代价或第二聚合匹配代价。
在得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵之后，对于任一像素点，基于在各个视差值下的第一聚合匹配代价矩阵，可以采用WTA(WinnerTakes A11)策略选取出该像素点在d＝{1，2，3，……,DSR}范围内第一聚合匹配代价最小时对应的视差值作为该像素点在第一初始视差图中对应位置的视差值，对每一像素点进行上述操作，即可得到第一初始视差图，需要说明的是，本申请实施例以及后续实施例中视差图中每一像素点的像素值即为对应像素点的视差值。
同样地，对于任一像素点，基于在各个视差值下的第二聚合匹配代价矩阵，可以采用WTA(Winner Takes A11)策略选取出该像素点在d＝{1，2，3，……,DSR}范围内第二聚合匹配代价最小时对应的视差值作为该像素点在第二初始视差图中对应位置的视差值，对每一像素点进行上述操作，即可得到第二初始视差图。
在得到第一初始视差图和第二初始视差图之后，采用线性差值分别对第一初始视差图和第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图。
最后，对第一中间视差图和第二中间视差图进行一致性校正，通过以左图像为参考图得到的第一中间视差图，与以右图像为参考图得到的第二中间视差图进行双向匹配，以滤除第一中间视差图和第二中间视差图中视差不一致的像素点，进而得到最终视差图。
本申请实施例提供的方法，采用包滤波器进行代价聚合，提高了视差的区分度，并采用线性插值求取亚像素级别的视差值，大大提高了视差值的精度；最后，采用左右一致性校正方法对视差值进行优化，滤除了视差不一致的点，从而获得高精度的最终视差图。本申请实施例提供的方法突破了传统Census变换立体匹配算法精度不高、抗干扰能力弱等局限性，能够获取高精度的视差图，有效地增强了算法的抗干扰能力，而且大大降低了数据量。
在计算左右图像的视差时，传统的立体匹配算法都是图像整像素为步长进行匹配搜索，因此获得的视差值也是整像素的，进而导致了在一些连续的平面上出现了严重的锯齿现象，特别表现在大倾斜度平面、圆球面、曲面等与摄像机处于非正对的场景中。
对此，基于上述实施例，图2为本申请实施例提供的双目视觉立体匹配方法中步骤150的实施方式的流程图，如图2所示，步骤150包括：
步骤151，基于在与第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图；
步骤152，基于在与第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第二中间视差图。
具体地，当以左图像为参考图时，对于第一初始视差图中任一像素点，可以确定该像素点的插值计算点，其中，插值计算点可以包括
Figure BDA0002865744390000111
Figure BDA0002865744390000112
Figure BDA0002865744390000113
其中，
Figure BDA0002865744390000114
为该像素点的视差值，与该像素点的视差值数值相邻的视差值为
Figure BDA0002865744390000115
和
Figure BDA0002865744390000116
基于该像素点在与该像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，即
Figure BDA0002865744390000117
和
Figure BDA0002865744390000118
对该像素点的视差值进行亚像素级别处理，得到该像素点在亚像素级别的视差值，作为该像素点在第一中间视差图中对应位置的像素点的视差值，对第一初始视差图中每一像素点进行上述操作，即可得到第一中间视差图。
同样地，当以右图像为参考图时，对于第二初始视差图中任一像素点，基于该像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对该像素点的视差值进行亚像素级别处理，得到该像素点在亚像素级别的视差值，作为该像素点在第二中间视差图中对应位置的像素点的视差值，对第二初始视差图中每一像素点进行上述操作，即可得到第二中间视差图。
基于上述任一实施例，该方法中，第一中间视差图中每一像素点的视差值基于如下公式确定：
Figure BDA0002865744390000119
其中，
Figure BDA00028657443900001110
为第一中间视差图中像素点(i,j)的视差值，
Figure BDA00028657443900001111
为第一初始视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000121
为像素点(i,j)在视差值为
Figure BDA0002865744390000122
下的第一聚合匹配代价，
Figure BDA0002865744390000123
为像素点(i,j)在视差值为
Figure BDA0002865744390000124
下的第一聚合匹配代价，
Figure BDA0002865744390000125
为像素点(i,j)在视差值为
Figure BDA0002865744390000126
下的第一聚合匹配代价；
第二中间视差图中每一像素点的视差值基于如下公式确定：
Figure BDA0002865744390000127
其中，
Figure BDA0002865744390000128
为第二中间视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000129
为第二初始视差图中像素点(i,j)的视差值，
Figure BDA00028657443900001210
为像素点(i,j)在视差值为
Figure BDA00028657443900001211
下的第二聚合匹配代价，
Figure BDA00028657443900001212
为像素点(i,j)在视差值为
Figure BDA00028657443900001213
下的第二聚合匹配代价，
Figure BDA00028657443900001214
为像素点(i,j)在视差值为
Figure BDA00028657443900001215
下的第二聚合匹配代价。
基于上述任一实施例，步骤160包括：
若第一中间视差图中任一像素点与该像素点在第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将该像素点的视差值作为最终视差图中对应位置的像素点的视差值；
否则，将该像素点在最终视差图中对应位置的像素点的视差值置为空值。
具体地，在得到第一中间视差图和第二中间视差图之后，将第一中间视差图中任一像素点与该像素点在第二中间视差图中匹配的像素点的视差值进行比较，若两者之差的绝对值不大于视差差值阈值，则将该像素点在第一中间视差图或第二中间视差图中的视差值作为该像素点在最终视差图中对应位置的像素点的视差值。若两者之差的绝对值大于视差差值阈值，则将该像素点在最终视差图中对应位置的像素点的视差值置为空值。
例如，若第一中间视差图中像素点(i,j)的视差值DisparityL(i,j)，与该像素点在第二中间视差图中匹配的像素点的视差值DisparityR(i,j-DisparityL(i,j))满足如下公式：
|DisparityL(i,j)-DisparityR(i,j-DisparityL(i,j))|＞δ
式中，δ为视差差值阈值。
则判定该像素点的视差值异常值，反之则为正常值。
基于上述任一实施例，该方法中，在任一视差值下的第一初始匹配代价基于如下公式确定：
CostL(i,j,d)＝1-r(LM*M(i,j),RM*M(i,j-d))
式中，CostL(i,j,d)为以左图像为参考图，像素点(i,j)在视差值d下的第一初始匹配代价，LM*M(i,j)为以左图像中像素点(i,j)为中心的M*M的区域，RM*M(i,j-d)为右图像中像素点(i,j-d)为中心的M*M的区域，r(LM*M(i,j),RM*M(i,j-d))为LM*M(i,j)与RM*M(i,j-d)之间的相关系数，d＝{1，2，3，……,DSR}，DSR为预先设定的视差最大值。
在任一视差值下的第二初始匹配代价是基于如下公式确定：
CostR(i,j,d)＝1-r(LM*M(i,j+d),RM*M(i,j))
式中，CostR(i,j,d)为以右图像为参考图，像素点(i,j)在视差值d下的第二初始匹配代价，LM*M(i,j+d)为以左图像中像素点(i,j+d)为中心的M*M的区域，RM*M(i,j)为右图像中像素点(i,j)为中心的M*M的区域，r(LM*M(i,j+d),RM*M(i,j))为LM*M(i,j+d)与RM*M(i,j)之间的相关系数。
具体地，当以左图像为参考图时，在视差值为d下，对于像素点(i,j)，可以采用尺寸为M*M的正方形滑动窗口，以滑动步长为1分别在左图像和右图像上滑动确定待匹配区域LM*M(i,j)以及RM*M(i,j-d)，并基于待匹配区域LM*M(i,j)以及RM*M(i,j-d)之间的相关系数r(LM*M(i,j),RM*M(i,j-d))，随即，基于左右图像中待匹配区域之间的相关系数，确定以左图像为参考图，像素点(i,j)在视差值d下的第一初始匹配代价CostL(i,j,d)。
具体通过如下公式计算第一初始匹配代价CostL(i,j,d)：
CostL(i,j,d)＝1-r(LM*M(i,j),RM*M(i,j-d))
同样地，当以右图像为参考图时，在视差值为d下，对于像素点(i,j)，可以采用尺寸为M*M的正方形滑动窗口，以滑动步长为1分别在左图像和右图像上滑动确定待匹配区域LM*M(i,j+d)以及RM*M(i,j)，并基于待匹配区域LM*M(i,j+d)以及RM*M(i,j)之间的相关系数r(LM*M(i,j+d),RM*M(i,j))，随即，基于左右图像中待匹配区域之间的相关系数，确定以右图像为参考图，像素点(i,j)在视差值d下的第二初始匹配代价CostR(i,j,d)。
具体通过如下公式计算第二初始匹配代价CostR(i,j,d)：
CostR(i,j,d)＝1-r(LM*M(i,j+d),RM*M(i,j))
此处，可以基于图像灰度信息，确定待匹配区域之间的相关系数，具体计算公式如下：
Figure BDA0002865744390000141
式中，Is和Ir分别表示两个待匹配区域。
基于上述任一实施例，该方法中，在任一视差值下的第一聚合匹配代价基于如下公式确定：
Figure BDA0002865744390000142
式中，CostAggr_L(i,j,d)为以左图像为参考图，像素点(i,j)在视差值d下的第一聚合匹配代价，N为滑动窗口的大小，d＝{1，2，3……,DSR}，DSR为预先设定的视差最大值；
在任一视差值下的第二聚合匹配代价基于如下公式确定：
Figure BDA0002865744390000151
式中，CostAggr_R(i,j,d)为以右图像为参考图，像素点(i,j)在视差值d下的第二聚合匹配代价。
具体地，在得到第一初始匹配代价矩阵或第二初始匹配代价矩阵之后，可以使用尺寸大小为N*N的滑动窗口进行滑动，并对任一像素点的滑动窗口内的所有像素点进行相加求和，即可得到该像素点的聚合匹配代价。
具体通过如下公式计算第一聚合匹配代价CostAggr_L(i,j,d)：
Figure BDA0002865744390000152
具体通过如下公式计算第二聚合匹配代价CostAggr_R(i,j,d)：
Figure BDA0002865744390000153
基于上述任一实施例，图3为本申请实施例提供的双目视觉立体匹配装置的结构示意图，如图3所示，该装置包括：
图像获取单元310，用于获取左图像和右图像；
初始匹配代价确定单元320，用于分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；
聚合匹配代价确定单元330，用于采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；
初始视差图确定单元340，用于分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；
中间视差图确定单元350，用于采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；
最终视差图确定单元360，用于对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图。
基于上述任一实施例，图4为本申请实施例提供的中间视差图确定单元的结构示意图，如图4所示，中间视差图确定单元350包括：
第一中间视差图模块351，用于基于在与所述第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对所述第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第一中间视差图；
第二中间视差图模块352，用于基于在与所述第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第二中间视差图。
基于上述任一实施例，所述第一中间视差图中每一像素点的视差值基于如下公式确定：
Figure BDA0002865744390000161
其中，
Figure BDA0002865744390000162
为所述第一中间视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000163
为所述第一初始视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000164
为像素点(i,j)在视差值为
Figure BDA0002865744390000165
下的第一聚合匹配代价，
Figure BDA0002865744390000166
为像素点(i,j)在视差值为
Figure BDA0002865744390000167
下的第一聚合匹配代价，
Figure BDA0002865744390000168
为像素点(i,j)在视差值为
Figure BDA0002865744390000169
下的第一聚合匹配代价；
所述第二中间视差图中每一像素点的视差值基于如下公式确定：
Figure BDA00028657443900001610
其中，
Figure BDA0002865744390000171
为所述第二中间视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000172
为所述第二初始视差图中像素点(i,j)的视差值，
Figure BDA0002865744390000173
为像素点(i,j)在视差值为
Figure BDA0002865744390000174
下的第二聚合匹配代价，
Figure BDA0002865744390000175
为像素点(i,j)在视差值为
Figure BDA0002865744390000176
下的第二聚合匹配代价，
Figure BDA0002865744390000177
为像素点(i,j)在视差值为
Figure BDA0002865744390000178
下的第二聚合匹配代价。
基于上述任一实施例，最终视差图确定单元360具体用于：
若所述第一中间视差图中任一像素点与所述任一像素点在所述第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将所述任一像素点的视差值作为所述最终视差图中对应位置的像素点的视差值；
否则，将所述任一像素点在所述最终视差图中对应位置的像素点的视差值置为空值。
基于上述任一实施例，图5为本申请实施例提供的初始视差图确定单元的结构示意图，如图5所示，初始视差图确定单元340包括第一初始视差图模块341和第二初始视差图模块342：
第一初始视差图模块341，用于基于任一像素点在各个视差值下的第一聚合匹配代价，将所述任一像素点的最小第一聚合匹配代价对应的视差值，作为所述任一像素点在所述第一初始视差图中对应位置的像素点的视差值；
第二初始视差图模块342，用于基于任一像素点在各个视差值下的第二聚合匹配代价，将所述任一像素点的最小第二聚合匹配代价对应的视差值，作为所述任一像素点在所述第二初始视差图中对应位置的像素点的视差值。
基于上述任一实施例，在任一视差值下的第一初始匹配代价基于如下公式确定：
CostL(i,j,d)＝1-r(LM*M(i,j),RM*M(i,j-d))
式中，CostL(i,j,d)为以所述左图像为参考图，像素点(i,j)在视差值d下的第一初始匹配代价，LM*M(i,j)为以所述左图像中像素点(i,j)为中心的M*M的区域，RM*M(i,j-d)为所述右图像中像素点(i,j-d)为中心的M*M的区域，r(LM*M(i,j),RM*M(i,j-d))为LM*M(i,j)与RM*M(i,j-d)之间的相关系数，d＝{1，2，3，……,DSR}，DSR为预先设定的视差最大值；
在任一视差值下的第二初始匹配代价是基于如下公式确定：
CostR(i,j,d)＝1-r(LM*M(i,j+d),RM*M(i,j))
式中，CostR(i,j,d)为以所述右图像为参考图，像素点(i,j)在视差值d下的第二初始匹配代价，LM*M(i,j+d)为以所述左图像中像素点(i,j+d)为中心的M*M的区域，RM*M(i,j)为所述右图像中像素点(i,j)为中心的M*M的区域，r(LM*M(i,j+d),RM*M(i,j))为LM*M(i,j+d)与RM*M(i,j)之间的相关系数。
基于上述任一实施例，在任一视差值下的第一聚合匹配代价基于如下公式确定：
Figure BDA0002865744390000181
式中，CostAggr_L(i,j,d)为以所述左图像为参考图，像素点(i,j)在视差值d下的第一聚合匹配代价，N为滑动窗口的大小，d＝{1，2，3……,DSR}，DSR为预先设定的视差最大值；
在任一视差值下的第二聚合匹配代价基于如下公式确定：
Figure BDA0002865744390000182
式中，CostAggr_R(i,j,d)为以所述右图像为参考图，像素点(i,j)在视差值d下的第二聚合匹配代价。
本申请实施例提供的双目视觉立体匹配装置用于执行上述双目视觉立体匹配方法，其实施方式与本申请提供的双目视觉立体匹配方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行双目视觉立体匹配方法，该方法包括：获取左图像和右图像；分别以左图像和右图像为参考图，基于左图像和右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；采用线性差值分别对第一初始视差图和第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；对第一中间视差图和第二中间视差图进行一致性校正，得到最终视差图。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器610可以调用存储器630中的逻辑指令，实现上述双目视觉立体匹配方法，其实施方式与本申请提供的双目视觉立体匹配方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的双目视觉立体匹配方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的双目视觉立体匹配方法，该方法包括：获取左图像和右图像；分别以左图像和右图像为参考图，基于左图像和右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；采用线性差值分别对第一初始视差图和第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；对第一中间视差图和第二中间视差图进行一致性校正，得到最终视差图。
本申请实施例提供的计算机程序产品被执行时，实现上述双目视觉立体匹配方法，其实施方式与本申请提供的双目视觉立体匹配方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的双目视觉立体匹配方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的双目视觉立体匹配方法，该方法包括：获取左图像和右图像；分别以左图像和右图像为参考图，基于左图像和右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；采用线性差值分别对第一初始视差图和第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；对第一中间视差图和第二中间视差图进行一致性校正，得到最终视差图。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述双目视觉立体匹配方法，其实施方式与本申请提供的双目视觉立体匹配方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种双目视觉立体匹配方法，其特征在于，包括：
获取左图像和右图像；
分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；
采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；
分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；
采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；
对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图；
在任一视差值下的第一初始匹配代价基于如下公式确定：
CostL(i，j，d)＝1-r(LM*M(i，j)，RM*M(i，j-d))
式中，CostL(i，j，d)为以所述左图像为参考图，像素点(i，j)在视差值d下的第一初始匹配代价，LM*M(i，j)为以所述左图像中像素点(i，j)为中心的M*M的区域，RM*M(i，j-d)为所述右图像中像素点(i，j-d)为中心的M*M的区域，r(LM*M(i，j)，RM*M(i，j-d))为LM*M(i，j)与RM*M(i，j-d)之间的相关系数，d＝{1，2，3，......，DSR}，DSR为预先设定的视差最大值；
在任一视差值下的第二初始匹配代价是基于如下公式确定：
CostR(i，j，d)＝1-r(LM*M(i，j+d)，RM*M(i，j))
式中，CostR(i，j，d)为以所述右图像为参考图，像素点(i，j)在视差值d下的第二初始匹配代价，LM*M(i，j+d)为以所述左图像中像素点(i，j+d)为中心的M*M的区域，RM*M(i，j)为所述右图像中像素点(i，j)为中心的M*M的区域，r(LM*M(i，j+d)，RM*M(i，j))为LM*M(i，j+d)与RM*M(i，j)之间的相关系数。
2.根据权利要求1所述的双目视觉立体匹配方法，其特征在于，所述采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图，包括：
基于在与所述第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对所述第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第一中间视差图；
基于在与所述第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第二中间视差图。
3.根据权利要求2所述的双目视觉立体匹配方法，其特征在于，所述第一中间视差图中每一像素点的视差值基于如下公式确定：
Figure FDA0003668599690000021
其中，
Figure FDA0003668599690000022
为所述第一中间视差图中像素点(i，j)的视差值，
Figure FDA0003668599690000023
为所述第一初始视差图中像素点(i，j)的视差值，
Figure FDA0003668599690000024
为像素点(i，j)在视差值为
Figure FDA0003668599690000025
下的第一聚合匹配代价，
Figure FDA0003668599690000026
为像素点(i，j)在视差值为
Figure FDA0003668599690000027
下的第一聚合匹配代价，
Figure FDA0003668599690000028
为像素点(i，j)在视差值为
Figure FDA0003668599690000029
下的第一聚合匹配代价；
所述第二中间视差图中每一像素点的视差值基于如下公式确定：
Figure FDA0003668599690000031
其中，
Figure FDA0003668599690000032
为所述第二中间视差图中像素点(i，j)的视差值，
Figure FDA0003668599690000033
为所述第二初始视差图中像素点(i，j)的视差值，
Figure FDA0003668599690000034
为像素点(i，j)在视差值为
Figure FDA0003668599690000035
下的第二聚合匹配代价，
Figure FDA0003668599690000036
为像素点(i，j)在视差值为
Figure FDA0003668599690000037
下的第二聚合匹配代价，
Figure FDA0003668599690000038
为像素点(i，j)在视差值为
Figure FDA0003668599690000039
下的第二聚合匹配代价。
4.根据权利要求1-3任一项所述的双目视觉立体匹配方法，其特征在于，所述对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图，包括：
若所述第一中间视差图中任一像素点与所述任一像素点在所述第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将所述任一像素点的视差值作为所述最终视差图中对应位置的像素点的视差值；
否则，将所述任一像素点在所述最终视差图中对应位置的像素点的视差值置为空值。
5.根据权利要求1-3任一项所述的双目视觉立体匹配方法，其特征在于，所述分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图，包括：
基于任一像素点在各个视差值下的第一聚合匹配代价，将所述任一像素点的最小第一聚合匹配代价对应的视差值，作为所述任一像素点在所述第一初始视差图中对应位置的像素点的视差值；
基于任一像素点在各个视差值下的第二聚合匹配代价，将所述任一像素点的最小第二聚合匹配代价对应的视差值，作为所述任一像素点在所述第二初始视差图中对应位置的像素点的视差值。
6.根据权利要求1-3任一项所述的双目视觉立体匹配方法，其特征在于，在任一视差值下的第一聚合匹配代价基于如下公式确定：
Figure FDA0003668599690000041
式中，CostAggr_L(i，j，d)为以所述左图像为参考图，像素点(i，j)在视差值d下的第一聚合匹配代价，N为滑动窗口的大小，d＝{1，2，3......，DSR}，DSR为预先设定的视差最大值；
在任一视差值下的第二聚合匹配代价基于如下公式确定：
Figure FDA0003668599690000042
式中，CostAggr_R(i，j，d)为以所述右图像为参考图，像素点(i，j)在视差值d下的第二聚合匹配代价。
7.一种双目视觉立体匹配装置，其特征在于，包括：
图像获取单元，用于获取左图像和右图像；
初始匹配代价确定单元，用于分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；
聚合匹配代价确定单元，用于采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；
初始视差图确定单元，用于分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；
中间视差图确定单元，用于采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；
最终视差图确定单元，用于对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图；
所述初始匹配代价确定单元，进一步用于基于如下公式确定在任一视差值下的第一初始匹配代价：
CostL(i，j，d)＝1-r(LM*M(i，j)，RM*M(i，j-d))
式中，CostL(i，j，d)为以所述左图像为参考图，像素点(i，j)在视差值d下的第一初始匹配代价，LM*M(i，j)为以所述左图像中像素点(i，j)为中心的M*M的区域，RM*M(i，j-d)为所述右图像中像素点(i，j-d)为中心的M*M的区域，r(LM*M(i，j)，RM*M(i，j-d))为LM*M(i，j)与RM*M(i，j-d)之间的相关系数，d＝{1，2，3，......，DSR}，DSR为预先设定的视差最大值；
所述初始匹配代价确定单元，进一步用于基于如下公式确定在任一视差值下的第二初始匹配代价：
CostR(i，j，d)＝1-r(LM*M(i，j+d)，RM*M(i，j))
式中，CostR(i，j，d)为以所述右图像为参考图，像素点(i，j)在视差值d下的第二初始匹配代价，LM*M(i，j+d)为以所述左图像中像素点(i，j+d)为中心的M*M的区域，RM*M(i，j)为所述右图像中像素点(i，j)为中心的M*M的区域，r(LM*M(i，j+d)，RM*M(i，j))为LM*M(i，j+d)与RM*M(i，j)之间的相关系数。
8.根据权利要求7所述的双目视觉立体匹配装置，其特征在于，所述中间视差图确定单元包括：
第一中间视差图模块，用于基于在与所述第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对所述第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第一中间视差图；
第二中间视差图模块，用于基于在与所述第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第二中间视差图。
9.根据权利要求7或8所述的双目视觉立体匹配装置，其特征在于，所述最终视差图确定单元，具体用于：
若所述第一中间视差图中任一像素点与所述任一像素点在所述第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将所述任一像素点的视差值作为所述最终视差图中对应位置的像素点的视差值；
否则，将所述任一像素点在所述最终视差图中对应位置的像素点的视差值置为空值。
10.根据权利要求7或8所述的双目视觉立体匹配装置，其特征在于，所述初始视差图确定单元包括：
第一初始视差图模块，用于基于任一像素点在各个视差值下的第一聚合匹配代价，将所述任一像素点的最小第一聚合匹配代价对应的视差值，作为所述任一像素点在所述第一初始视差图中对应位置的像素点的视差值；
第二初始视差图模块，用于基于任一像素点在各个视差值下的第二聚合匹配代价，将所述任一像素点的最小第二聚合匹配代价对应的视差值，作为所述任一像素点在所述第二初始视差图中对应位置的像素点的视差值。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述双目视觉立体匹配方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述双目视觉立体匹配方法的步骤。
CN202011583739.1A 2020-12-28 2020-12-28 双目视觉立体匹配方法、装置、电子设备及存储介质 Active CN112784874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011583739.1A CN112784874B (zh) 2020-12-28 2020-12-28 双目视觉立体匹配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011583739.1A CN112784874B (zh) 2020-12-28 2020-12-28 双目视觉立体匹配方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112784874A CN112784874A (zh) 2021-05-11
CN112784874B true CN112784874B (zh) 2022-07-22

Family

ID=75752968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011583739.1A Active CN112784874B (zh) 2020-12-28 2020-12-28 双目视觉立体匹配方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112784874B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658277B (zh) * 2021-08-25 2022-11-11 北京百度网讯科技有限公司 立体匹配方法、模型训练方法、相关装置及电子设备
CN113763269B (zh) * 2021-08-30 2023-11-24 上海工程技术大学 一种用于双目图像的立体匹配方法
CN113989347B (zh) * 2021-11-09 2024-05-03 北京智芯原动科技有限公司 一种双目视差计算方法及装置
CN114723967B (zh) * 2022-03-10 2023-01-31 合肥的卢深视科技有限公司 视差图优化方法、人脸识别方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600632A (zh) * 2016-11-04 2017-04-26 天津大学 一种改进匹配代价聚合的立体匹配算法
CN108846858A (zh) * 2018-06-01 2018-11-20 南京邮电大学 一种计算机视觉的立体匹配算法
CN109448036A (zh) * 2019-01-23 2019-03-08 深兰人工智能芯片研究院（江苏）有限公司 一种基于双目图像确定视差图的方法及装置
CN109978934A (zh) * 2019-03-04 2019-07-05 北京大学深圳研究生院 一种基于匹配代价加权的双目视觉立体匹配方法及系统
CN111951310A (zh) * 2020-07-17 2020-11-17 深圳市帝普森微电子有限公司 双目立体匹配方法、视差图获取装置和计算机存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN111681275B (zh) * 2020-06-16 2023-04-18 南京莱斯电子设备有限公司 一种双特征融合的半全局立体匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600632A (zh) * 2016-11-04 2017-04-26 天津大学 一种改进匹配代价聚合的立体匹配算法
CN108846858A (zh) * 2018-06-01 2018-11-20 南京邮电大学 一种计算机视觉的立体匹配算法
CN109448036A (zh) * 2019-01-23 2019-03-08 深兰人工智能芯片研究院（江苏）有限公司 一种基于双目图像确定视差图的方法及装置
CN109978934A (zh) * 2019-03-04 2019-07-05 北京大学深圳研究生院 一种基于匹配代价加权的双目视觉立体匹配方法及系统
CN111951310A (zh) * 2020-07-17 2020-11-17 深圳市帝普森微电子有限公司 双目立体匹配方法、视差图获取装置和计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
实时双目立体匹配算法研究与实现;陈彬;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20150415;全文 *

Also Published As

Publication number Publication date
CN112784874A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112784874B (zh) 双目视觉立体匹配方法、装置、电子设备及存储介质
CN107230225B (zh) 三维重建的方法和装置
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
EP1303839B1 (en) System and method for median fusion of depth maps
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
CN112232914A (zh) 基于2d图像的四阶段虚拟试衣方法及装置
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN110533663B (zh) 一种图像视差确定方法、装置、设备及系统
CN113808185B (zh) 图像深度恢复方法、电子设备及存储介质
CN113538538B (zh) 双目图像对齐方法、电子设备和计算机可读存储介质
CN113723380B (zh) 基于雷达技术的人脸识别方法、装置、设备和存储介质
CN112949504B (zh) 立体匹配方法、装置、设备及存储介质
CN113298098B (zh) 基础矩阵估计方法及相关产品
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、系统、终端及介质
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN110245553B (zh) 路面测距方法及装置
CN110910438B (zh) 一种超高分辨率双目图像的高速立体匹配算法
CN114549429A (zh) 基于超图结构的深度数据质量评价方法及装置
CN113887289A (zh) 一种单目三维物体检测方法、装置、设备及产品
CN112396117A (zh) 图像的检测方法、装置及电子设备
CN113362462B (zh) 一种基于自监督学习的双目立体视觉视差滤波方法和装置
CN116188497B (zh) 立体遥感影像对生成dsm优化方法、装置、设备及存储介质
CN114299129B (zh) 深度恢复方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230308

Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: Shenlan Intelligent Technology (Shanghai) Co.,Ltd.

Address before: 213000 No.103, building 4, Chuangyan port, Changzhou science and Education City, No.18, middle Changwu Road, Wujin District, Changzhou City, Jiangsu Province

Patentee before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd.