CN107316326A - 应用于双目立体视觉的基于边的视差图计算方法和装置 - Google Patents

Abstract

本发明是关于一种应用于双目立体视觉的基于边的视差图计算方法，包括：基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。根据本发明的实施例，可以在最小匹配代价值与次小匹配代价值的比值大于预设比值的情况下，确定第一像素点对应低纹理区域或重复纹理区域，进而将第一像素点的视差确定为无效视差，从而可以减少对高级纹理区域以外的像素点计算出视差，更有利于准确地计算视差，再基于该视差输出基于边的立体匹配视差图像。

Description

应用于双目立体视觉的基于边的视差图计算方法和装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及应用于双目立体视觉的基于边的视差图计算方法和应用于双目立体视觉的基于边的视差图计算装置。

背景技术

目前用于分析计算的立体匹配视差图像，其中主要的一种是基于边的立体匹配视差图像。为了根据视差图像确定基于边的立体匹配视差图像，就需要准确地确定视差图像中各像素点的视差，以便通过滤波处理准确地确定视差图像中的边缘。

但是目前的图像中，存在多种难以准确确定像素点的视差的区域，例如低纹理区域、重复纹理区域、遮挡区域，根据这些区域计算的视差是不准确的，而基于包含不准确视差的视差图像，后续就难以准确地确定视差图像中的边缘，生成的基于边的立体匹配视差图像也就难以满足要求。

发明内容

本发明提供应用于双目立体视觉的基于边的视差图计算方法及应用于双目立体视觉的基于边的视差图计算装置，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种应用于双目立体视觉的基于边的视差图计算方法，包括：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

根据本发明实施例的第二方面，提供一种应用于双目立体视觉的基于边的视差图计算方法，包括：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

若所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

根据本发明实施例的第三方面，提供一种应用于双目立体视觉的基于边的视差图计算装置，包括：

图像获取单元，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

代价值获取单元，用于根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

视差确定单元，用于在所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值的情况下，确定所述第一像素点的视差为无效视差。

根据本发明实施例的第四方面，提供一种应用于双目立体视觉的基于边的视差图计算装置，包括：

图像获取单元，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

代价值获取单元，根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

视差确定单元，在所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值的情况下，确定所述第一像素点的视差为无效视差。

根据本发明实施例的第五方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

根据本发明实施例的第六方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

若所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

由上述实施例可知，可以在最小匹配代价值与次小匹配代价值的比值大于预设比值的情况下，确定第一像素点对应低纹理区域或重复纹理区域，进而将第一像素点的视差确定为无效视差，从而可以减少对高级纹理区域以外的像素点计算出视差，更有利于准确地计算视差，再基于该视差输出基于边的立体匹配视差图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图2是根据本发明一个实施例示出的一种滤波模板的示意图。

图3是根据本发明一个实施例示出的一种梯度模板的示意图。

图4是根据本发明一个实施例示出的另一种梯度模板的示意图。

图5是根据本发明一个实施例示出的一种窗口的示意图。

图6是根据本发明一个实施例示出的不同区域的示意图。

图7是根据本发明一个实施例示出的不同区域对应代价函数的示意图。

图8是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图9是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图10是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图11是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图12是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图13是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图14是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。

图15是根据本发明一个实施例示出的基准图像。

图16是根据本发明一个实施例示出基于边的立体匹配视差图。

图17是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图18是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图19是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图20是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图21是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图22是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图23是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图24是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。

图25是根据本发明一个实施例的应用于双目立体视觉的基于边的视差图计算装置所在设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图，该应用于双目立体视觉的基于边的视差图计算方法可以适用于立体匹配系统的处理器中，立体匹配系统还可以包括两部图像采集设备，一个用于采集左图像，一个用于采集右图像，其中一个图像作为基准图像，另一个图像作为匹配图像(也可以称之为匹配图像)。如图1所示，该应用于双目立体视觉的基于边的视差图计算方法包括：

步骤S1，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

在一个实施例中，一台相机拍摄的图像可以作为基准图像，另一台相机拍摄的图像可以作为匹配图像。为了得到梯度图像，首先可以是对基准图像和匹配图像进行滤波平滑处理，以去除图像中的噪声像素点。其中，可以采集高斯滤波分别对基准视图和匹配视图进行滤波平滑处理。

图2是根据本发明一个实施例示出的一种滤波模板的示意图。

在一个实施例中，可以使用如图2所示的3×3的滤波模板，对基准图像和比较图像中的每一个像素进行高斯滤波，方便起见，不妨将滤波后的基准图像记为imgR，将滤波后的比较图像记为imgL。

其二，为了增加后期立体匹配的鲁棒性，在高斯滤波之后，可以分别对基准图像和比较图像进行梯度处理，将基准图像和比较图像中像素点的灰度信息处理为像素梯度信息。也即根据所述基准图像中像素点的灰阶值确定所述基准图像中像素点的梯度值，根据所述匹配图像中像素点的灰阶值确定所述匹配图像中像素点的梯度值。

图3是根据本发明一个实施例示出的一种梯度模板的示意图。图4是根据本发明一个实施例示出的另一种梯度模板的示意图。

在一个实施例中，在滤波处理的基础上，可以进一步对基准图像和匹配图像进行梯度处理，其中，梯度处理可以使用如图3所示1×3的梯度模板，也可以使用如图4所示的3×3的梯度模板，其中，图3和图4所示的梯度模板均为横向梯度模板，即只计算图像横向梯度。针对imgL和imgR中的每一个像素点，按照上述图3或图4的梯度模板进行梯度处理，分别获得基于基准图像的梯度图象imGradR和基于匹配图像的梯度图像imGradL。

步骤S2，根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

在一个实施例中，针对基准图像的梯度图和匹配图像的梯度图，可以在基准图像的梯度图中确定基准像素点，以基准像素点为中心确定基准窗口，在匹配图像的梯度图中确定待匹配像素点，以待匹配像素点为中心确定待匹配窗口。基准窗口和待匹配窗口可以是n×n的窗口，也即包含n×n个像素点的窗口。

在一个实施例中，可以根据所述基准窗口中像素点的灰阶值和所述待匹配窗口中像素点的灰阶值生成代价函数，在所述匹配图像中，针对预设视差范围内的像素点，在代价函数为差异代价函数的情况下，确定所述代价函数取最小值C_min和次小值C_sec。在一个实施例中，对于基准图像中的每个基准像素点，以基准像素点(例如坐标为(x，y))为中心取一个固定窗口，也即基准窗口，基准窗口包含n×n个像素点；对于在匹配图像中预设视差范围(视差范围即横向坐标x的取值范围，例如x取值范围为[x+d_min，x+d_max]，d_min和d_max可是为预设的值，例如可以设定d_min＝0，d_max＝100，以相邻像素相差一个视差为例，那么预设视差范围就是100个像素)内的每个待匹配像素点，以待匹配像素点为中心，取一个同样大小的固定窗口，也即待匹配窗口，待匹配窗口也包含n×n个像素点。

图5是根据本发明一个实施例示出的一种窗口的示意图。

在一个实施例中，如图5所示，左侧图像为基准图像，其中的黑色矩形框即基准窗口，基准像素点位于基准窗口的中心。右侧图像为匹配图像，其中的黑色矩形框即待匹配窗口，待匹配像素点位于待匹配窗口的中心，其中的白色矩形框示意了在预设视差范围内移动待匹配窗口。当然，实际应用过程中，窗口的尺寸和预设视差范围都可以根据需要进行设置，窗口的尺寸可以与图5所示的不同，并且待匹配窗口移动的范围也可以与图5所示的不同。

在构建窗口之后，根据每个匹配窗口中的匹配像素点，和待匹配窗口中的待匹配像素点灰阶值，确定代价函数的值。

差异代价函数包括像素差的绝对值和函数(SAD)，像素差的平方和函数(SSD)等，公式如下：

SAD和SSD可以用于计算灰阶差异性。

在上述公式中，W为窗口，I₁(x，y)代表基准图像中坐标为(x，y)的像素点的灰阶，I₂(x+d，y)代表匹配图像中坐标为(x+d，y)的像素点的灰阶，d表示视差，avgW₁表示基准窗口中像素灰阶均值，avgW₂表示待匹配窗口中像素均值均值。

在一个实施例中，一幅图像主要可以包括四类区域，也即低纹理区域，纹理重复区域，遮挡区域和高级纹理区域，其中，基于固定窗口的立体匹配，对于低纹理区域，纹理重复区域和遮挡区域的视差估计是比较困难的。

图6是根据本发明一个实施例示出的不同区域的示意图。图7是根据本发明一个实施例示出的不同区域对应代价函数的示意图。

在一个实施例中，在图6所示的附图中，A区域即低纹理区域，B区域即重复纹理区域，C区域即遮挡区域，D区域即高级纹理区域。

针对以上四个区域，分别选择各区域中的一个像素点，进行基于固定窗口的立体匹配，使用SSD代价函数，SSD代价函数曲线变化如图7所示。

其中，(a)为低纹理区域中像素点的SSD曲线，特点是代价值普遍较低，存在多个局部极小值点，且出现局部最小值点的周期小。(b)为重复纹理区域中像素点的SSD曲线，特点是代价值周期性波动较大，周期长，但几个局部最小值也比较接近。(c)为遮挡区域中像素点的SSD曲线，特点是局部最小值较少，但代价值相对于其他区域普遍较大。(d)为高纹理区域中像素点的SSD曲线，特点是极小值个数较少，且具有较好的单调性，接近于视差估计的理想情况。

需要说明的是，图7中的曲线是将每个视差(对应于像素)对应的代价函数值点相连得到的，仅在视差为整数处才对应代价函数值点。

可见，基于固定窗口的应用于双目立体视觉的基于边的视差图计算方法，一般只有在高纹理区域能够较为准确地估计出其对应的视差，而在其他区域，也即低纹理区域、重复纹理区域和遮挡区域，由于容易导致误匹配，因此不利于准确地估计视差，容易导致后续生成基于边的立体匹配视差图像过程中，难以准确地根据视差图像进行滤波处理来准确地确定边缘。

基于此，在确定匹配图像相对于基准图像的视差时，无需对两幅图像中每个像素点的视差都进行准确的计算，只需对能够准确估计视差的像素进行视差估计即可，因此可以对低纹理区域、重复纹理区域和遮挡区域进行剔除，仅对高级纹理区域中的像素点在匹配图像中进行匹配，以便准确地计算出视差，再基于该视差输出基于边的立体匹配视差图像。

步骤S3，若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

在一个实施例中，针对低纹理区域，通过观察其代价函数图(图7中(a))可知，其中A1点的代价函数值为26，A2点的代价函数值为29，26/28>0.9。也即最小匹配代价值与次小匹配代价值的比值大于0.9。

针对重复纹理区域，通过观察其代价函数图(图7中(b))可知，其中B1点的代价函数值为50，B2点的代价函数值为70，50/70>0.7。也即最小匹配代价值与次小匹配代价值的比值大于0.7。

因此可以在最小匹配代价值与次小匹配代价值的比值大于预设比值的情况下，确定第一像素点对应低纹理区域或重复纹理区域，进而将第一像素点的视差确定为无效视差，从而可以减少对高级纹理区域以外的像素点计算出视差，更有利于准确地计算视差，再基于该视差输出基于边的立体匹配视差图像。

图8是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。如图8所示，在图1所示实施例的基础上，所述根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值，具体为：

步骤S21，若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量，确定所述第一像素点的视差为无效视差；

步骤S22，若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量，则执行步骤S3。

在一个，预设梯度值和预设数量可以根据需要进行设置，例如对于3×3窗口，预设数量可以设置为6。

在一个实施例中，如果第一像素点的匹配窗口内，梯度值较大(也即大于预设梯度值)的像素点较少(也即小于预设数量)，则可以确定第一像素较大的概率处于低纹理区域，那么在后续计算代价函数值时，可以直接确定该第一像素点的视差为无效视差。

虽然基于图1所示的实施例，可以将部分低纹理区域剔除，但是仍可能存在部分低纹理区域未被剔除，根据本实施例，可以进一步将低纹理区域剔除，从而进一步提高后续对视差图像进行滤波处理来确定边缘的准确度。

并且，本实施例中基于梯度剔除低纹理区域的运算比通过上述三个条件剔除低纹理区域的运算要简单，因此在梯度值大于预设梯度值的像素点的数量大于或等于预设数量的情况下，才执行步骤S3，可以减少代价函数值的计算量。

图9是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。如图9所示，在图1所示实施例的基础上，在获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值之后，所述方法还包括：

步骤S4，若所述最小匹配代价值大于预设代价值，确定所述第一像素点的视差为无效视差；若所述最小匹配代价值小于或等于预设代价值，确则执行步骤S3。

在一个实施例中，预设代价值可以根据需要进行设置。针对图6所示的C区域，也即遮挡区域，由于从左侧采集到的该区域的图像(例如以此作为基准图像)未被遮挡，而从右侧采集到的该区域的图像(例如以此作为匹配图像)则被遮挡，因此针对该区域中像素点对应的窗口计算得到的代价函数值较大，从而可以通过判断最小代价函数值C_min是否大于预设代价值，在C_min较大(也即大于预设代价值)的情况下，将该代价函数值对应的像素点确定为遮挡区域中的像素点，进而确定概第一像素点的视差为无效视差。

可见，基于本实施例，在图1所示实施例的基础上，可以进一步剔除遮挡区域，保证最终只对高纹理区域确定视差，从而进一步提高后续对视差图像进行滤波处理来确定边缘的准确度。

图10是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。如图10所示，在图1所示实施例的基础上，若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差，具体为：

步骤S31，若所述最小匹配代价值对应的视差值与所述次小匹配代价值对应的视差值的差值的第一绝对值小于第一预设阈值，且所述最小匹配代价值对应的视差值与次次小匹配代价值对应的视差值的差值的第二绝对值小于第二预设阈值，则若所述最小匹配代价值与所述次小匹配代价值的比值大于第一预设比值，确定所述第一像素点的视差为无效视差；

步骤S32，若所述最小匹配代价值对应的视差值与所述次小匹配代价值对应的视差值的差值的第一绝对值大于第一预设阈值，或所述最小匹配代价值对应的视差值与次次小匹配代价值对应的视差值的差值的第二绝对值大于第二预设阈值，则若所述最小匹配代价值与所述次小匹配代价值的比值大于第二预设比值，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

在一个实施例中，若最小匹配代价值对应付的视差与次小匹配代价值对应的视差差值较大，也即最小匹配代价值在匹配窗口中对应的像素点，与次小匹配代价值在匹配窗口中对应的像素点相距较远，那么在这两个像素点属于不同类型的区域的情况下，仍有可能使得最小匹配代价值与次小匹配代价值的比值大于第一预设比值，但是在这种情况下并不能确定第一像素点属于低纹理区域。

因此，在进行图1所示实施例的判断之前，可以先判断小匹配代价值C_min对应的视差值d₁与所述次小匹配代价值C_sec对应的视差值d₂的差值的第一绝对值小于第一预设阈值，且最小匹配代价值C_min对应的视差值d₁与次次小匹配代价值C_third对应的视差值d₃的差值的第二绝对值小于第二预设阈值，也即判断|d₁-d₂|≤n₁且|d₁-d₃|≤n₂是否成立，其中，n₁和n₂为正数，且n₁<n₂。

在一个实施例中，n₁和n₂可以取较小的值，例如在n₁＝1，n₂＝2的情况下，以相邻像素视差相差1为例，若满足|d₁-d₂|≤n₁且|d₁-d₃|≤n₂，那么最小值C_min对应的像素点和次小值C_sec对应的像素点相邻，最小值C_min对应的像素点和次次小值C_third对应的像素点相邻或相隔一个像素点，也即表明最小的三个代价值对应的像素点相距是非常近的。

针对低纹理区域，通过观察其代价函数图(图7中(a))可知，代价函数中相邻的极小值点，相差视差最小为2，而最小值C_min对应点A1和次小值C_sec对应点A2则属于这些极小值点，因此相差视差最小为2，也即低纹理区域在n₁＝2的情况下，满足|d₁-d₂|≤n₁且|d₁-d₃|≤n₂。

针对重复纹理区域，通过观察其代价函数图(图7中(b))可知，代价函数中相邻的极小值，相差视差最小为12，而最小值C_min对应点B1和次小值C_sec对应点B2则属于这些极小值，因此相差视差最小为12，也即一般情况下重复纹理区域不满足条件1。

并且针对低纹理区域和重复纹理区域，最小匹配代价值与次小匹配代价值的比值存在差异，因此可以设置不同的第一预设比值和第二预设比值，针对满足|d₁-d₂|≤n₁且|d₁-d₃|≤n₂的第一像素点的代价值，可以判断其与第一预设比值的大小关系，针对满足|d₁-d₂|≤n₁且|d₁-d₃|≤n₂的第一像素点的代价值，可以判断其与第二预设比值的大小关系。

在一个实施例中，为避免将比值过小的情况考虑进来，可以进一步限定0.5<T₂，其中第一预设比值T₁可以等于0.9，第二预设比值T₂可以等于0.7。

针对低纹理区域，进一步判断最小匹配代价值与次小匹配代价值的比值是否大于T₁，通过观察其代价函数图(图7中(a))可知，其中A1点的代价函数值为26，A2点的代价函数值为29，26/28>0.9，因此可以确定第一像素点的视差为无效视差。

针对重复纹理区域，进一步判断最小匹配代价值与次小匹配代价值的比值是否大于T₂，通过观察其代价函数图(图7中(b))可知，其中B1点的代价函数值为50，B2点的代价函数值为70，50/70>0.7，因此可以确定第一像素点的视差为无效视差。

图11是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。如图11所示，该方法包括：

步骤S11，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

步骤S12，根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

步骤S13，若所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

图12是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。如图12所示，在图11所示实施例的基础上，所述根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值，具体为：

步骤S121，若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量，确定所述第一像素点的视差为无效视差；

步骤S122，若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量，则执行步骤S13。

图13是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。如图13所示，在图11所示实施例的基础上，在根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值之后，所述方法还包括：

步骤S14，若所述最大匹配代价值小于预设代价值，确定所述第一像素点的视差为无效视差；若所述最大匹配代价值大于或等于预设代价值，执行步骤S13。

图14是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算方法的示意流程图。如图14所示，在图11所示实施例的基础上，若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差，具体为：

步骤S131，若所述最大匹配代价值对应的视差值与所述次大匹配代价值对应的视差值的差值的绝对值小于第一预设阈值，且所述最大匹配代价值对应的视差值与次次大匹配代价值对应的视差值的差值的绝对值小于第二预设阈值，则若所述最大匹配代价值与所述次大匹配代价值的比值大于第一预设比值，确定所述第一像素点的视差为无效视差；

步骤S132，若所述最大匹配代价值对应的视差值与所述次大匹配代价值对应的视差值的差值的绝对值大于第一预设阈值，或所述最大匹配代价值对应的视差值与次次大匹配代价值对应的视差值的差值的绝对值大于第二预设阈值，则若所述最大匹配代价值与所述次大匹配代价值的比值大于第二预设比值，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

与图1至图10所示的实施例相对应地，图11至图14所示的实施例示意了基于相似性代价函数的情况下，如何确定第一像素点的视差是否为无效视差，其中，相似性代价函数包括零均值灰度和相关系数函数(ZCC)，归一化灰度互相关函数(NCC)，公式分别如下：

其效果与图1至图9所示的实施例相似，在此不再赘述。

图15是根据本发明一个实施例示出的基准图像。图16是根据本发明一个实施例示出基于边的立体匹配视差图。

在一个实施例中，根据上述实施例，可以对如图15所示的基准图像进行处理，从而准确地确定其中属于边缘的边缘像素点，进而根据边缘像素准确地生成如图16所示的基于边的立体匹配视差图。

与上述应用于双目立体视觉的基于边的视差图计算方法的实施例相对应地，本发明还提出了一种应用于双目立体视觉的基于边的视差图计算装置的实施例。

图17是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图17所示，该装置包括：

图像获取单元171，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

代价值获取单元172，用于根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

视差确定单元173，用于在所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值的情况下，确定所述第一像素点的视差为无效视差。

图18是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图18所示，所述代价值获取单元172包括：

比较子单元1721，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量的情况下，确定所述第一像素点的视差为无效视差；

获取子单元1722，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量的情况下，根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值。

图19是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图19所示，所述装置还包括：

代价值比较单元174，用于在所述最小匹配代价值大于预设代价值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述视差确定单元173在所述最小匹配代价值小于或等于预设代价值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于预设比值。

图20是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图20所示，所述视差确定单元173包括：

差值比较子单元1731，用于确定所述最小匹配代价值对应的视差值与所述次小匹配代价值对应的视差值的差值的第一绝对值是否小于第一预设阈值，且所述最小匹配代价值对应的视差值与次次小匹配代价值对应的视差值的差值的第二绝对值是否小于第二预设阈值；

比值比较子单元1732，用于在所述第一绝对值小于第一预设比值，且所述第二绝对值小于第二预设阈值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于第一预设比值；以及在所述第一绝对值大于第一预设比值，且所述第二绝对值大于第二预设阈值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于第二预设比值；

视差确定子单元1733，在所述比值大于第一预设比值，或所述比值大于第二预设比值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

图21是根据本发明一个实施例示出的一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图21所示，该装置包括：

图像获取单元201，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

代价值获取单元202，根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

视差确定单元203，在所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值的情况下，确定所述第一像素点的视差为无效视差。

图22是根据本发明一个实施例示出的另一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图22所示，所述代价值获取单元202包括：

比较子单元2021，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量的情况下，确定所述第一像素点的视差为无效视差；

获取子单元2022，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量的情况下，根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值。

图23是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图23所示，所述装置还包括：

代价值比较单元204，在所述最大匹配代价值小于预设代价值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述视差确定单元203在所述最大匹配代价值大于或等于预设代价值的情况下，确定所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值是否大于预设比值。

图24是根据本发明一个实施例示出的又一种应用于双目立体视觉的基于边的视差图计算装置的示意框图。如图24所示，所述视差确定单元203包括：

差值比较子单元2031，用于确定所述最大匹配代价值对应的视差值与所述次大匹配代价值对应的视差值的差值的第一绝对值是否小于第一预设阈值，且所述最大匹配代价值对应的视差值与次次大匹配代价值对应的视差值的差值的第二绝对值是否小于第二预设阈值；

比值比较子单元2032，用于在所述第一绝对值小于第一预设比值，且所述第二绝对值小于第二预设阈值的情况下，确定所述最大匹配代价值与所述次大匹配代价值的比值是否大于第一预设比值；以及在所述第一绝对值大于第一预设比值，且所述第二绝对值大于第二预设阈值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于第二预设比值；

视差确定子单元2034，在所述比值大于第一预设比值，或所述比值大于第二预设比值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

本发明应用于双目立体视觉的基于边的视差图计算装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图25所示，为根据本发明一个实施例的应用于双目立体视觉的基于边的视差图计算装置所在设备的硬件结构示意图，除了图25所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明的实施例还提出一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

本发明的实施例还提出一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

若所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (18)

1.一种应用于双目立体视觉的基于边的视差图计算方法，其特征在于，包括：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

2.根据权利要求1所述的方法，其特征在于，所述根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值，具体为：

若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量，确定所述第一像素点的视差为无效视差；

若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量，则根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值。

3.根据权利要求1所述的方法，其特征在于，在根据差异代价函数，在获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值之后，所述方法还包括：

若所述最小匹配代价值大于预设代价值，确定所述第一像素点的视差为无效视差；

若所述最小匹配代价值小于或等于预设代价值，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于预设比值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差，具体为：

若所述最小匹配代价值对应的视差值与所述次小匹配代价值对应的视差值的差值的第一绝对值小于第一预设阈值，且所述最小匹配代价值对应的视差值与次次小匹配代价值对应的视差值的差值的第二绝对值小于第二预设阈值，则若所述最小匹配代价值与所述次小匹配代价值的比值大于第一预设比值，确定所述第一像素点的视差为无效视差；

若所述最小匹配代价值对应的视差值与所述次小匹配代价值对应的视差值的差值的第一绝对值大于第一预设阈值，或所述最小匹配代价值对应的视差值与次次小匹配代价值对应的视差值的差值的第二绝对值大于第二预设阈值，则若所述最小匹配代价值与所述次小匹配代价值的比值大于第二预设比值，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

5.一种应用于双目立体视觉的基于边的视差图计算方法，其特征在于，包括：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

若所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

6.根据权利要求5所述的方法，其特征在于，所述根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值，具体为：

若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量，确定所述第一像素点的视差为无效视差；

若所述梯度图中第一像素点的基准窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量，则根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值。

7.根据权利要求5所述的方法，其特征在于，在根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值之后，所述方法还包括：

若所述最大匹配代价值小于预设代价值，确定所述第一像素点的视差为无效视差；

若所述最大匹配代价值大于或等于预设代价值，确定所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值是否大于预设比值。

8.根据权利要求5至7中任一项所述的方法，其特征在于，若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差，具体为：

若所述最大匹配代价值对应的视差值与所述次大匹配代价值对应的视差值的差值的绝对值小于第一预设阈值，且所述最大匹配代价值对应的视差值与次次大匹配代价值对应的视差值的差值的绝对值小于第二预设阈值，则若所述最大匹配代价值与所述次大匹配代价值的比值大于第一预设比值，确定所述第一像素点的视差为无效视差；

若所述最大匹配代价值对应的视差值与所述次大匹配代价值对应的视差值的差值的绝对值大于第一预设阈值，或所述最大匹配代价值对应的视差值与次次大匹配代价值对应的视差值的差值的绝对值大于第二预设阈值，则若所述最大匹配代价值与所述次大匹配代价值的比值大于第二预设比值，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

9.一种应用于双目立体视觉的基于边的视差图计算装置，其特征在于，包括：

图像获取单元，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

代价值获取单元，用于根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

视差确定单元，用于在所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值的情况下，确定所述第一像素点的视差为无效视差。

10.根据权利要求9所述的装置，其特征在于，所述代价值获取单元包括：

比较子单元，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量的情况下，确定所述第一像素点的视差为无效视差；

获取子单元，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量的情况下，根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值。

11.根据权利要求9所述的装置，其特征在于，还包括：

代价值比较单元，用于在所述最小匹配代价值大于预设代价值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述视差确定单元在所述最小匹配代价值小于或等于预设代价值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于预设比值。

12.根据权利要求9至11中任一项所述的装置，其特征在于，所述视差确定单元包括：

差值比较子单元，用于确定所述最小匹配代价值对应的视差值与所述次小匹配代价值对应的视差值的差值的第一绝对值是否小于第一预设阈值，且所述最小匹配代价值对应的视差值与次次小匹配代价值对应的视差值的差值的第二绝对值是否小于第二预设阈值；

比值比较子单元，用于在所述第一绝对值小于第一预设比值，且所述第二绝对值小于第二预设阈值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于第一预设比值；以及在所述第一绝对值大于第一预设比值，且所述第二绝对值大于第二预设阈值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于第二预设比值；

视差确定子单元，在所述比值大于第一预设比值，或所述比值大于第二预设比值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

13.一种应用于双目立体视觉的基于边的视差图计算装置，其特征在于，包括：

图像获取单元，基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

代价值获取单元，根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

视差确定单元，在所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值的情况下，确定所述第一像素点的视差为无效视差。

14.根据权利要求13所述的装置，其特征在于，所述代价值获取单元包括：

比较子单元，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量小于预设数量的情况下，确定所述第一像素点的视差为无效视差；

获取子单元，用于在所述梯度图中第一像素点的匹配窗口内，梯度值大于预设梯度值的像素点的数量大于或等于预设数量的情况下，根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值。

15.根据权利要求13所述的装置，其特征在于，还包括：

代价值比较单元，在所述最大匹配代价值小于预设代价值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述视差确定单元在所述最大匹配代价值大于或等于预设代价值的情况下，确定所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值是否大于预设比值。

16.根据权利要求13至15中任一项所述的方法，其特征在于，所述视差确定单元包括：

差值比较子单元，用于确定所述最大匹配代价值对应的视差值与所述次大匹配代价值对应的视差值的差值的第一绝对值是否小于第一预设阈值，且所述最大匹配代价值对应的视差值与次次大匹配代价值对应的视差值的差值的第二绝对值是否小于第二预设阈值；

比值比较子单元，用于在所述第一绝对值小于第一预设比值，且所述第二绝对值小于第二预设阈值的情况下，确定所述最大匹配代价值与所述次大匹配代价值的比值是否大于第一预设比值；以及在所述第一绝对值大于第一预设比值，且所述第二绝对值大于第二预设阈值的情况下，确定所述最小匹配代价值与所述次小匹配代价值的比值是否大于第二预设比值；

视差确定子单元，在所述比值大于第一预设比值，或所述比值大于第二预设比值的情况下，确定所述第一像素点的视差为无效视差；

其中，所述第一预设阈值小于所述第二预设阈值，所述第一预设比值大于所述第二预设比值。

17.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据差异代价函数，获取所述梯度图中第一像素点的最小匹配代价值和次小匹配代价值；

若所述最小匹配代价值与所述次小匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。

18.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

基于两台深度相机拍摄同一场景的深度图获取所述场景的梯度图；

根据相似代价函数，获取所述梯度图中第一像素点的最大匹配代价值和次大匹配代价值；

若所述次大匹配代价值与所述最大匹配代价值的比值大于预设比值，确定所述第一像素点的视差为无效视差。