CN107204013B

CN107204013B - 应用于双目立体视觉中的像素点视差值计算方法及装置

Info

Publication number: CN107204013B
Application number: CN201710364633.4A
Authority: CN
Inventors: 王智慧; 田国会
Original assignee: Hisense Co Ltd
Current assignee: Hisense Co Ltd
Priority date: 2017-05-22
Filing date: 2017-05-22
Publication date: 2020-04-24
Anticipated expiration: 2037-05-22
Also published as: CN107204013A

Abstract

本发明提供一种应用于双目立体视觉中的像素点视差值计算方法及装置，该方法包括：获取第一像素点的灰度值与第二像素点的灰度值之间的灰度差值，其中，第二像素点为能量传播方向上与第一像素点相邻的前一像素点；若灰度差值大于预设的第一灰度阈值，设置能量衰减系数，其中，能量衰减系数与灰度差值呈反相关关系；基于能量衰减系数，确定第二像素点传递给第一像素点的能量值，并基于该能量值确定第一像素点的视差值。可见，本发明在基于相邻像素点的灰度值之差确定相邻像素点位于不同物体上时，通过设置较小的能量衰减系数，降低前一像素点能量值对当前像素点能量值的影响，从而使物体边缘像素点的视差值更精确。

Description

应用于双目立体视觉中的像素点视差值计算方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种应用于双目立体视觉中的像素点视差值计算方法及装置。

背景技术

SGM(Semi-Global Matching，半全局匹配)是一种用于计算双目视觉中视差的半全局匹配算法。该算法旨在利用相邻像素点之间的相互作用关系(位于同一物体上的相邻像素点的视差值类似)提高所求像素点的视差值的稳定性。

当相邻像素点位于二维图像中相邻的两个物体的边缘上时，相邻像素点的实际视差值可能相差很大，若仍采用现有SGM算法确定位于物体边缘上的像素点的视差值，则由于受到另一个物体边缘上的相邻像素点的视差值的影响，当前物体边缘上的像素点的视差值往往不够精确。

发明内容

本发明的目的在于提供一种应用于双目立体视觉中的像素点视差值计算方法及装置，用以提高物体边缘像素点的视差值的精确度。

为实现上述发明目的，本发明提供了如下技术方案：

本发明提供一种应用于双目立体视觉中的像素点视差值计算方法，所述方法包括：

获取第一像素点的灰度值与第二像素点的灰度值之间的灰度差值，所述第二像素点为能量传播方向上与所述第一像素点相邻的前一像素点；

若所述灰度差值大于预设的第一灰度阈值，设置能量衰减系数，其中，所述能量衰减系数与所述灰度差值呈反相关关系；

基于所述能量衰减系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

本发明还提供一种应用于双目立体视觉中的像素点视差值计算方法，所述方法包括：

确定能量传播方向上与第一像素点相邻的第二像素点的视差值的置信度值；

若所述第二像素点的视差值的置信度值大于预设的置信度阈值，设置惩罚系数，其中，所述惩罚系数与所述置信度值之间呈反相关关系；

基于所述惩罚系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

本发明还提供一种应用于双目立体视觉中的像素点视差值计算装置，所述装置包括：

差值获取单元，用于获取第一像素点的灰度值与第二像素点的灰度值之间的灰度差值，所述第二像素点为能量传播方向上与所述第一像素点相邻的前一像素点；

系数设置单元，用于若所述灰度差值大于预设的第一灰度阈值，设置能量衰减系数，其中，所述能量衰减系数与所述灰度差值呈反相关关系；

视差确定单元，用于基于所述能量衰减系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

置信度确定单元，用于确定能量传播方向上与第一像素点相邻的第二像素点的视差值的置信度值；

系数设置单元，用于若所述第二像素点的视差值的置信度值大于预设的置信度阈值，设置惩罚系数，其中，所述惩罚系数与所述置信度值之间呈反相关关系；

视差确定单元，用于基于所述惩罚系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

由以上描述可以看出，本发明提供了两种视差值计算方法，一种是在基于相邻像素点之间的灰度差值确定相邻像素点位于不同物体上时，通过设置能量衰减系数，降低前一像素点能量值对当前像素点能量值的影响，从而使物体边缘像素点的视差值更精确；另一种是在确定相邻像素点中前一像素点的置信度不高时，通过设置一个较小的惩罚系数，降低前一像素点能量值对当前像素点能量值的影响，提升当前像素点视差值的精确度。

附图说明

图1是本发明实施例示出的基准图以及采用现有SGM算法得到的视差图；

图2是本发明实施例示出的一种应用于双目立体视觉中的像素点视差值计算方法流程图；

图3是本发明实施例示出的采用图2所示视差值计算方法得到的视差图；

图4是本发明实施例示出的另一种应用于双目立体视觉中的像素点视差值计算方法流程图；

图5是本发明实施例示出的采用图4所示视差值计算方法得到的视差图；

图6是本发明实施例示出的双目立体视觉平台设备的结构示意图；

图7是本发明实施例示出的一种应用于双目立体视觉中的像素点视差值计算装置的结构示意图；

图8是本发明实施例示出的另一种应用于双目立体视觉中的像素点视差值计算装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明主要是针对现有SGM算法的改进，因此，首先简单介绍一下现有SGM算法。

在双目立体视觉技术中，SGM算法主要用于对双目摄像头同时提取的左右两幅图像(简称为左图像和右图像)进行视差计算，从而为后续场景深度计算做必要准备。

在视差计算过程中，利用校正后的左图像和右图像之间的匹配结果计算基准图(左图像和右图像中一个为基准图，另一个为匹配图)中每个像素点的视差值，并利用能量函数加以优化，最终确定基准图中每个像素点的最优视差。其中，能量函数的构建充分考虑到不同方向上相邻像素点之间能量的相互关联与约束。具体能量函数如下：

公式(1)为单一方向上的能量函数，其中：r为某个指向当前像素点p的方向；C(p,d)表示像素点p在视差为d时的代价函数；p-r为当前方向上与像素点p相邻的前一像素点；P₁和P₂为惩罚值，其中，P₁为像素点p与像素点p-r之间视差值相差1时确定的惩罚值，P₂为像素点p与像素点p-r之间视差值相差大于1时确定的惩罚值；L_r(p,d)表示当前方向上像素点p在视差为d时的最小能量值；

是为了防止L_r(p,d)数值溢出而减去的一个值，这里选取的是像素点p-r在不同视差下的最小能量值中的最小值。

该最小能量值L_r(p,d)与当前方向上前一像素点p-r的能量值有关，参见公式(1)中等号右端的中间项，是从4种可能的候选值中选取的最小值，其中：

L_r(p-r,d)为像素点p-r在视差为d时的最小能量值；

L_r(p-r,d-1)+P₁为像素点p-r在视差为d-1时的最小能量值加上惩罚值P₁；

L_r(p-r,d+1)+P₁为像素点p-r在视差为d+1时的最小能量值加上惩罚值P₁；

为像素点p-r在视差为其它值时的最小能量值中的最小值加上惩罚值P₂。

在通过公式(1)获取到不同方向(一个像素点通常有8个相邻像素点，因此，有8个方向)上的最小能量值后，对所有方向上的最小能量值进行累加，参见公式(2)。

S(p,d)为像素点p在视差为d时所有方向上最小能量值的累加和。

在预设的视差值取值范围[d_min,d_max]内，遍历所有视差值，得到不同视差下的S(p,d)，使得S(p,d)最小的视差值为像素点p的最优视差。至此，完成对现有SGM算法的介绍。

由于现有SGM算法的总体思路是假设相邻像素点具有相同或类似的视差，因此，对于位于同一物体上的两个相邻像素点，可以利用相邻像素点之间的制约关系提高视差值的稳定性，但是，当相邻的两个像素点位于二维图像中相邻的两个物体边缘时，由于两个物体的视差可能相差比较大，采用现有SGM算法会导致位于物体边缘的像素点的视差值不够精确。参见图1，其中，(a)为基准图，(b)为采用现有SGM算法得到的基准图的视差图，基准图(a)中竖杆110在视差图(b)中对应的视差已经严重影响到周边天空区域的视差，造成了前景物体视差膨胀的效果。

本发明针对上述问题提出一种应用于双目立体视觉中的像素点视差值计算方法，该方法通过能量衰减系数调节与当前像素点相邻的前一像素点的能量值，从而在确定相邻像素点位于不同物体边缘时，降低前一像素点的能量值对当前像素点的能量值的影响，提升当前像素点的视差值的精确度。

参见图2，为本发明应用于双目立体视觉中的像素点视差值计算方法的一个实施例流程图，该实施例对应用于双目立体视觉中的像素点视差值计算过程进行描述。

步骤201，获取第一像素点的灰度值与第二像素点的灰度值之间的灰度差值。

其中，第二像素点为能量传播方向上与当前像素点(记为第一像素点)相邻的前一像素点，例如，能量传播方向为从左到右时，第二像素点为与第一像素点相邻的左边的像素点。

步骤202，若所述灰度差值大于预设的第一灰度阈值，设置能量衰减系数。

本发明预设第一灰度阈值，用第一灰度阈值来确定第一像素点与第二像素点是否位于同一物体上，具体地，当第一像素点与第二像素点之间的灰度差值大于预设的第一灰度阈值时，说明第一像素点与第二像素点有位于不同物体上的可能性，而不同物体之间可能存在较大的视差差异，为此，本发明通过设置能量衰减系数，来调节第二像素点能量值对第一像素点能量值的影响，其中，该能量衰减系数与第一像素点和第二像素点之间的灰度差值呈反相关关系，即灰度差值越大(第一像素点与第二像素点位于不同物体上的可能性越大)，能量衰减系数越小，位于不同物体边缘的第二像素点的视差值对第一像素点的视差值的影响也就越小。

本发明设置能量衰减系数的过程具体包括：预设第二灰度阈值，该第二灰度阈值大于第一灰度阈值，若第一像素点与第二像素点之间的灰度差值大于预设的第二灰度阈值，则认为第一像素点与第二像素点位于不同物体上可能性极大，则可设置一个极小的能量衰减系数，即第一衰减系数，例如，该第一衰减系数可以为0，截断第二像素点能量值对第一像素点能量值的影响；若第一像素点与第二像素点之间的灰度差值大于第一灰度阈值且小于或等于第二灰度阈值，设置能量衰减系数为第二衰减系数，该第二衰减系数可以为固定值，也可以通过与灰度差值呈反相关关系的函数表示，该第二衰减系数大于第一衰减系数，且第二衰减系数和第一衰减系数之间的差值与第二灰度阈值和第一灰度阈值之间的灰度差值呈正相关关系。具体可通过如下公式表示：

步骤203，基于所述能量衰减系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

具体地，第二像素点传递给第一像素点的能量值可通过如下公式表示：

即根据第二像素点的能量值与能量衰减系数的乘积，确定第二像素点传递给第一像素点的能量值。可见，两个相邻像素点的灰度值的差值越大，第二像素点传递给第一像素点的能量值越小。

基于第二像素点传递给第一像素点的能量值，确定第一像素点在当前能量传播方向上的能量值，具体可通过如下公式表示：

可见，本发明中的公式(5)相对于现有SGM算法中的公式(1)，区别在于增加了一个能量衰减系数T(p,p-r)，在确定第一像素点与第二像素点位于不同物体上时，利用该能量衰减系数降低第二像素点能量值对第一像素点能量值的影响。

然后，利用现有SGM算法中的公式(2)，获取第一像素点在所有能量传播方向上的能量值的累加值，确定最小累加值对应的视差值为第一像素点的视差值，在此不再赘述。可见，由于降低了位于不同物体上的第二像素点对第一像素点的影响，因此，可提升第一像素点视差值的精确度。

需要补充说明的是，由于本发明的能量衰减系数仅与灰度值的差值有关，因此，可以保证不同视差下的能量衰减程度一致，不影响最优视差的求取结果。

采用上述视差值计算方法，对图1(a)所示基准图进行视差计算后，可得到图3所示视差图，从图3可以看出，竖杆110的视差值对周围天空区域视差值的影响已经明显变小。

本发明还提出一种应用于双目立体视觉中的像素点视差值计算方法，该方法在确定相邻像素点中前一像素点的置信度不高时，通过设置一个较小的惩罚系数，降低前一像素点能量值对当前像素点能量值的影响，提升当前像素点视差值的精确度。

参见图4，为本发明应用于双目立体视觉中的像素点视差值计算方法的另一个实施例流程图，该实施例对应用于双目立体视觉中的像素点视差值计算过程进行描述。

步骤401，确定能量传播方向上与第一像素点相邻的第二像素点的视差值的置信度值。

具体为，获取第二像素点在不同视差值下的代价函数值；按照函数值从小到大的顺序，从获取的代价函数值中选择函数值最小的第一代价函数值(也称为最优代价函数值)和函数值次小的第二代价函数值(也称为次优代价函数值)；将第一代价函数值与第二代价函数值的商，作为第二像素点的视差值的置信度值；或者，将第一代价函数值对应的视差值(也称为最优视差值)与第二代价函数值对应的视差值(也称为次优视差值)的差值，作为第二像素点的视差值的置信度值。具体可通过如下公式表示：

或者，

M_d(p-r)＝|d₁-d₂| 公式(7)

其中，p-r代表第二像素点，

为p-r的最优代价函数值，

为p-r的次优代价函数值，

M_c(p-r)为根据代价函数值确定的像素点p-r的视差值的置信度值；d₁为p-r的最优视差值，d₂为p-r的次优视差值，M_d(p-r)为根据视差值确定的像素点p-r的视差值的置信度值。

步骤402，若所述第二像素点的视差值的置信度值大于预设的置信度阈值，设置惩罚系数。

本发明预设置信度阈值，例如，预设置信度阈值为K_c或K_d，其中，K_c是针对根据代价函数值确定的置信度值设置的阈值，K_c∈(0,1)；K_d是针对根据视差值确定的置信度值设置的阈值。当M_c(p-r)>K_c，即最优代价函数值

与次优代价函数值

比较接近时，或者，当M_d(p-r)>K_d，即最优视差值d₁与次优视差值d₂相差较大时，表明第二像素点的视差值的可信度不高，即第二像素点的视差值的置信度值越大，代表第二像素点的视差值的置信度越低。

为了降低置信度低的第二像素点对第一像素点的影响，本发明设置惩罚系数来调节现有SGM算法公式(1)中的惩罚值P₂，参见前述公式(1)的描述，P₂为当前遍历的像素点p的视差值与像素点p-r的视差值相差大于1时的惩罚值，即相邻像素点之间视差值相差较大(相邻像素点位于不同物体上)时的惩罚值。因此，通过设置惩罚系数，可调节位于不同物体上的第二像素点对第一像素点的影响。

具体地，该惩罚系数与第二像素点的视差值的置信度值呈反相关关系，即置信度值越大(置信度低)，对应的惩罚系数越小。

步骤403，基于所述惩罚系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

将通过步骤202确定的惩罚系数代入公式(1)中，得到如下单一方向上的能量函数：

其中，λ为惩罚系数，0＜λ＜1，且与像素点p-r的视差值的置信度值呈反相关关系。可见，通过设置惩罚系数可降低前一像素点(第二像素点)能量值对当前像素点(第一像素点)能量值的影响。

然后，利用现有SGM算法中的公式(2)，获取第一像素点在所有能量传播方向上的能量值的累加值，确定最小累加值对应的视差值为第一像素点的视差值，在此不再赘述。可见，由于降低了置信度低的第二像素点对第一像素点的影响，因此，可提升第一像素点视差值的精确度。

采用上述视差值计算方法，对图1(a)所示基准图进行视差计算后，可得到图5所示视差图，从图5可以看出，竖杆110对周围天空区域视差值的影响相较于图1(b)中的影响变小。

与前述应用于双目立体视觉中的像素点视差值计算方法的实施例相对应，本发明还提供了应用于双目立体视觉中的像素点视差值计算装置的实施例。

本发明应用于双目立体视觉中的像素点视差值计算装置的实施例可以应用在双目立体视觉平台设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器运行存储器中对应的计算机程序指令形成的。从硬件层面而言，如图6所示，为本发明应用于双目立体视觉中的像素点视差值计算装置所在设备的一种硬件结构图，除了图6所示的处理器以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图7，为本发明一个实施例中的应用于双目立体视觉中的像素点视差值计算装置的结构示意图。该应用于双目立体视觉中的像素点视差值计算装置包括：差值获取单元701、系数设置单元702以及视差确定单元703，其中：

差值获取单元701，用于获取第一像素点的灰度值与第二像素点的灰度值之间的灰度差值，所述第二像素点为能量传播方向上与所述第一像素点相邻的前一像素点；

系数设置单元702，用于若所述灰度差值大于预设的第一灰度阈值，设置能量衰减系数，其中，所述能量衰减系数与所述灰度差值呈反相关关系；

视差确定单元703，用于基于所述能量衰减系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

进一步地，所述系数设置单元702，具体用于若所述灰度差值大于预设的第二灰度阈值，设置所述能量衰减系数为第一衰减系数，其中，所述第二灰度阈值大于所述第一灰度阈值；若所述灰度差值大于所述第一灰度阈值且小于或等于所述第二灰度阈值，设置所述能量衰减系数为第二衰减系数，所述第二衰减系数大于所述第一衰减系数，且所述第二衰减系数和所述第一衰减系数之间的差值与所述第二灰度阈值和所述第一灰度阈值之间的灰度差值呈正相关关系。

请参考图8，为本发明另一个实施例中的应用于双目立体视觉中的像素点视差值计算装置的结构示意图。该应用于双目立体视觉中的像素点视差值计算装置包括：置信度确定单元801、系数设置单元802以及视差确定单元803，其中：

置信度确定单元801，用于确定能量传播方向上与第一像素点相邻的第二像素点的视差值的置信度值；

系数设置单元802，用于若所述第二像素点的视差值的置信度值大于预设的置信度阈值，设置惩罚系数，其中，所述惩罚系数与所述置信度值之间呈反相关关系；

视差确定单元803，用于基于所述惩罚系数，确定所述第二像素点传递给所述第一像素点的能量值，并基于所述能量值确定所述第一像素点的视差值。

进一步地，

所述置信度确定单元801，具体用于获取所述第二像素点在不同视差值下的代价函数值；按照函数值从小到大的顺序，从获取的代价函数值中选择第一代价函数值和第二代价函数值；将所述第一代价函数值与所述第二代价函数值的商，作为所述第二像素点的视差值的置信度值；或者，将所述第一代价函数值对应的视差值与所述第二代价函数值对应的视差值的差值，作为所述第二像素点的视差值的置信度值。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种应用于双目立体视觉中的像素点视差值计算方法，其特征在于，所述方法包括：

确定能量传播方向上与第一像素点相邻的第二像素点的视差值的置信度值，视差值的置信度值与视差值的置信度之间呈反相关关系；

2.如权利要求1所述的方法，其特征在于，所述确定能量传播方向上与第一像素点相邻的第二像素点的视差值的置信度值，具体包括：

获取所述第二像素点在不同视差值下的代价函数值；

按照函数值从小到大的顺序，从获取的代价函数值中选择第一代价函数值和第二代价函数值；

将所述第一代价函数值与所述第二代价函数值的商，作为所述第二像素点的视差值的置信度值；

或者，将所述第一代价函数值对应的视差值与所述第二代价函数值对应的视差值的差值，作为所述第二像素点的视差值的置信度值。

3.一种应用于双目立体视觉中的像素点视差值计算装置，其特征在于，所述装置包括：

置信度确定单元，用于确定能量传播方向上与第一像素点相邻的第二像素点的视差值的置信度值，视差值的置信度值与视差值的可信度之间呈反相关关系；

4.如权利要求3所述的装置，其特征在于：

所述置信度确定单元，具体用于获取所述第二像素点在不同视差值下的代价函数值；按照函数值从小到大的顺序，从获取的代价函数值中选择第一代价函数值和第二代价函数值；将所述第一代价函数值与所述第二代价函数值的商，作为所述第二像素点的视差值的置信度值；或者，将所述第一代价函数值对应的视差值与所述第二代价函数值对应的视差值的差值，作为所述第二像素点的视差值的置信度值。