CN107392898B - 应用于双目立体视觉中的像素点视差值计算方法及装置 - Google Patents

Abstract

本发明提供一种应用于双目立体视觉中的像素点视差值计算方法及装置，该方法包括：获取两台深度相机拍摄的同一场景的深度图，包括基准图和匹配图；基于基准图和匹配图确定基准图中像素点的代价函数的置信度值；当代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，第一代价函数值为视差值小于预设的视差阈值时像素点的代价函数值，惩罚因子的大小与像素点的代价函数的置信度值的大小呈正相关关系；基于惩罚因子和第一代价函数值，确定小于第一代价函数值的第二代价函数值；利用第二代价函数值进行能量传播得到像素点的视差值。通过本发明可大幅降低计算出来的视差图中的噪点数量。

Description

应用于双目立体视觉中的像素点视差值计算方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种应用于双目立体视觉中的像素点视差值计算方法及装置。

背景技术

双目立体视觉技术是一种对双目摄像机拍摄的同一场景的深度图进行视差估计，确定三维空间场景深度的技术。在利用视差估计算法(例如，半全局匹配算法)得到的视差图中，往往存在大量噪点，这些噪点会对后续操作及分析处理产生较大干扰。

目前普遍采用的处理方式是：在对深度图进行视差估计之前，先对深度图进行图像预处理，减少图像中的噪音，再利用预处理后的深度图提取梯度图，基于提取的梯度图进行视差估计，以减少视差图中噪点的数量，但是这种处理方式的噪点残留仍然较多。

发明内容

本发明的目的在于提供一种应用于双目立体视觉中的像素点视差值计算方法及装置，用以大幅降低计算出来的视差图中的噪点数量。

为实现上述发明目的，本发明提供了如下技术方案：

第一方面，本发明提供一种应用于双目立体视觉中的像素点视差值计算方法，所述方法包括：

获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

基于所述基准图和匹配图确定所述基准图中像素点的代价函数的置信度值；

当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

基于所述惩罚因子和所述第一代价函数值，确定小于所述第一代价函数值的第二代价函数值；

利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

第二方面，本发明还提供一种应用于双目立体视觉中的像素点视差值计算装置，所述装置包括：

深度图获取单元，用于获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

置信度确定单元，用于基于所述基准图和匹配图确定所述基准图中像素点的代价函数的置信度值；

惩罚因子确定单元，用于当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

代价函数确定单元，用于基于所述惩罚因子和所述第一代价函数值，确定小于所述第一代价函数值的第二代价函数值；

视差值计算单元，用于利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

第三方面，本发明提供一种应用于双目立体视觉中的像素点视差值计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

基于所述基准图和匹配图确定所述基准图中像素点的代价函数的置信度值；

当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

基于所述惩罚因子和所述第一代价函数值，确定小于所述第一代价函数值的第二代价函数值；

利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

基于所述基准图和匹配图确定所述基准图中像素点的代价函数的置信度值；

当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

基于所述惩罚因子和所述第一代价函数值，确定小于所述第一代价函数值的第二代价函数值；

利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

由以上描述可以看出，本发明首先对基准图中像素点的代价函数的置信度进行确认，对置信度低的像素点(置信度低的像素点为噪点的可能性较大)，利用惩罚因子调节该像素点取较小视差值(视差值越小，物体距离摄像头越远，而距离越远的物体纹理信息越不清晰，因此，出现噪点的可能性越大)时的代价函数值，即降低该置信度低的像素点在视差取值较小时的代价函数值，利用调节后的代价函数值进行能量传递以确定像素点最终的视差值。本发明利用相邻像素点之间存在的能量制约关系，对置信度低的像素点的能量进行约束，从而让与其相邻的置信度高的像素点在能量传播过程中对该置信度低的像素点进行能量修正，并可降低该置信度低的像素点的能量值对周边像素点的影响，使最终得到的视差图中的噪点得到大幅消减。

附图说明

图1是本发明实施例示出的一种应用于双目立体视觉中的像素点视差值计算方法流程图；

图2A是本发明实施例示出的道路场景的基准图；

图2B是本发明实施例示出的同一道路场景的匹配图；

图2C是本发明实施例示出的基于预设的视差取值范围确定基准图中有效像素点范围的示意图；

图2D是采用已有技术中的SGM算法获得的同一道路场景的视差图；

图2E是本发明实施例示出的基于惩罚因子惩罚后得到的同一道路场景的视差图；

图3是本发明实施例示出的双目立体视觉平台设备的结构示意图；

图4是本发明实施例示出的一种应用于双目立体视觉中的像素点视差值计算装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明提供一种应用于双目立体视觉中的像素点视差值计算方法，该方法对置信度较低的像素点，利用惩罚因子降低该像素点取较小视差值时的代价函数值，然后基于惩罚后的代价函数值进行能量传递，从而降低该像素点对自身以及周围像素点的影响，大幅降低计算出来的视差图的噪点的数量。

参见图1，为本发明应用于双目立体视觉中的像素点视差值计算方法的一个实施例流程图，该实施例对应用于双目立体视觉中的像素点视差值计算过程进行描述。

步骤101，获取两台深度相机拍摄的同一场景的深度图。

通过两台深度相机(亦称为双目摄像机)拍摄同一场景的深度图(包括左深度图和右深度图)，对左深度图和右深度图进行极线校正，得到两幅平行等位的深度图，校正后的左深度图和右深度图中，一个为基准图，另一个为匹配图。

步骤102，基于所述基准图和匹配图确定所述基准图中像素点的代价函数的置信度值。

由于基准图和匹配图的拍摄角度不同，必然导致某些像素点仅存在于一副图像中，而在另一幅图像中找不到匹配的像素点，以图2A所示道路场景下的左深度图(作为基准图)和图2B所示同一场景下的右深度图(作为匹配图)为例，可以看到，基准图图2A中虚线左侧的图像在匹配图图2B中找不到对应的图像，即基准图图2A中虚线左侧的像素点在匹配图图2B中找不到匹配像素点。

为此，本发明基于预设的视差取值范围确定基准图中需要进行视差计算的有效像素点的范围(简称有效像素点范围)，而将仅存在于基准图中的像素点剔除。举例说明，预设视差取值范围为[D₁,D₂]，参见基准图图2C，该基准图(左深度图)的有效像素点范围为[D₂+1,W]，即虚线右侧区域，其中，W列为基准图的最大列数；虚线左侧区域[1,D₂]范围内的像素点被剔除，不参与后续处理。在确定基准图中有效像素点范围后，仅对有效像素点范围内的像素点进行像素匹配，从而降低匹配过程的运算量。

像素匹配过程即建立基准图中像素点与匹配图中像素点之间的代价函数的过程，旨在以最小的代价从匹配图中找到与基准图中像素点匹配的像素点。本发明对基准图中有效像素点范围内的像素点对应的代价函数进行置信度确认，具体为：

在一种实施方式中，获取像素点在不同视差值下的代价函数值；按照函数值从小到大的顺序，从获取的代价函数值中选择最小代价函数值(也称为最优代价函数值)和次小代价函数值(也称为次优代价函数值)；将最小代价函数值与次小代价函数值的商，作为像素点对应代价函数的置信度值，可通过如下公式表示：

其中，p为像素点，

为最优代价函数值，

为次优代价函数值，

M_c(p)为根据代价函数值确定的像素点p对应代价函数的置信度值。

在另一种实施方式中，可将最小代价函数值对应的视差值(也称为最优视差值)与次小代价函数值对应的视差值(也称为次优视差值)的差值，作为像素点对应代价函数的置信度值，可通过如下公式表示：

M_d(p)＝|d₁-d₂| 公式(2)

其中，p为像素点，d₁为最优视差值，d₂为次优视差值，M_d(p)为根据视差值确定的像素点p对应代价函数的置信度值。

步骤103，当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子。

本发明预设置信度阈值，例如，预设置信度阈值为K_c或K_d，其中，K_c是针对根据代价函数值确定的置信度值设置的阈值；K_d是针对根据视差值确定的置信度值设置的阈值。当M_c(p)>K_c，即最优代价函数值

与次优代价函数值

比较接近时，或者，当M_d(p)>K_d，即最优视差值d₁与次优视差值d₂相差较大时，表明像素点的代价函数的可信度不高，根据该可信度不高的代价函数计算出来的视差值为噪点的可能性很大，因此，针对该可信度不高的代价函数进行惩罚。

具体地，本发明对像素点取较小视差值时的代价函数值进行惩罚，这是因为视差较小的物体普遍距离摄像头较远，物体的纹理往往不清晰，视差计算时容易产生噪点，例如，大面积的天空区域，基本无纹理，容易产生噪点。

为了便于描述，以下将像素点视差取值小于预设的视差阈值时的代价函数值称为第一代价函数值。本步骤针对该第一代价函数值确定惩罚因子，该惩罚因子可为预设的固定值，也可与像素点的代价函数的置信度值呈正相关关系，即置信度值越大，代表可信度越低，应加大惩罚。

步骤104，基于所述惩罚因子和所述第一代价函数值，确定小于所述第一代价函数值的第二代价函数值。

在一种实施方式中，可将第一代价函数值与惩罚因子的商作为第二代价函数值。具体可通过如下公式表示：

C(p,d)＝C_s(p,d)/λ 公式(3)

其中，C_s(p,d)为第一代价函数值，λ为惩罚因子，λ>1，C(p,d)为第一代价函数值对应的第二代价函数值。由公式(3)可知，第二代价函数值小于第一代价函数值，从而达到惩罚代价函数值的目的。

步骤105，利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

以半全局匹配算法为例，半全局匹配算法基于代价函数进行不同方向的能量传播，其在单一方向(r方向)上的能量函数如下：

在通过公式(4)获取到不同方向(一个像素点通常有8个相邻像素点，因此，有8个方向)上的能量值后，对所有方向上的能量值进行累加，公式如下：

在预设的视差值取值范围内，遍历所有视差值，使S(p,d)最小的视差值为像素点p的最优视差值。

由公式(4)可知，相邻像素点(像素点p和像素点p-r)之间的能量值存在相互制约关系，本发明通过对置信度低的像素点的能量进行约束，从而让与其临近的置信度高的像素点在能量传播过程中对该置信度低的像素点进行能量修正，并可降低该置信度低的像素点的能量值对周边像素点的影响，使最终得到的视差图中的噪点得到大幅消减。

参考基准图图2A所示的是一台深度相机拍摄的道路场景的深度图，匹配图图2B所示的是另一台深度相机拍摄的同一道路场景的深度图，采用现有技术的SGM算法，基于基准图图2A和匹配图图2B计算该道路场景的视差图时，利用基准图图2A和匹配图图2B中像素点的匹配结果计算基准图图2A中每一个像素点的视差值，并利用能量函数传播得到每一个像素点的最终能量值，确定该像素点的最优视差值，视差图如图2D所示。从基准图图2A和匹配图图2B中可以看到，天空区域的纹理信息非常少，导致最终得到的视差图图2D中天空区域的噪点较多。

但是，参考图2E所示，为本发明利用惩罚因子对置信度低的像素点取较小视差值时的代价函数值进行惩罚后再进行能量传递得到的视差图。由于天空区域的纹理信息较少，在进行像素匹配时匹配的准确度不会很高，容易出现噪点。本发明通过计算每一个像素点对应代价函数的置信度值，将匹配准确度不高的像素点(置信度低的像素点)找到，然后对置信度低的像素点在视差取值较小(天空区域的视差值基本为0)时的代价函数值进行惩罚，从而降低置信度低的像素点在能量传递过程中对其它像素点的影响，同时，通过周围置信度高的像素点(最优视差值为0的像素点)的能量值在能量传播过程中对当前置信度低的像素点进行能量修正，从而过滤掉天空中大量的噪点。而对于双目摄像机拍摄到的近距离的物体，由于其最优视差值通常较大，而本发明仅对视差取值较小时的代价函数值进行惩罚，因此，对近距离物体的最终视差计算结果没有影响。从图2E所示视差图可以看出，天空区域的噪点大幅减少，而近距离物体的视差也没有受到影响。

与前述应用于双目立体视觉中的像素点视差值计算方法的实施例相对应，本发明还提供了应用于双目立体视觉中的像素点视差值计算装置的实施例。

本发明应用于双目立体视觉中的像素点视差值计算装置的实施例可以应用在双目立体视觉平台设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器运行存储器中对应的计算机程序指令形成的。从硬件层面而言，如图3所示，为本发明应用于双目立体视觉中的像素点视差值计算装置所在设备的一种硬件结构图，除了图3所示的处理器以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图4，为本发明一个实施例中的应用于双目立体视觉中的像素点视差值计算装置的结构示意图。该应用于双目立体视觉中的像素点视差值计算装置包括深度图获取单元401、置信度确定单元402、惩罚因子确定单元403、代价函数确定单元404以及视差值计算单元405，其中：

深度图获取单元401，用于获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

置信度确定单元402，用于基于所述基准图和匹配图确定所述基准图中像素点的代价函数的置信度值；

惩罚因子确定单元403，用于当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

代价函数确定单元404，用于基于所述惩罚因子和所述第一代价函数值，确定小于所述第一代价函数值的第二代价函数值；

视差值计算单元405，用于利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

进一步地，所述置信度确定单元402确定所述基准图中像素点的代价函数的置信度值，具体包括：

根据预设的视差取值范围确定所述基准图中有效像素点范围；确定所述有效像素点范围内的像素点对应的代价函数的置信度值。

进一步地，所述置信度确定单元402确定像素点对应代价函数的置信度值，具体包括：

获取所述像素点在不同视差值下的代价函数值；按照函数值从小到大的顺序，从获取的代价函数值中选择最小代价函数值和次小代价函数值；将所述最小代价函数值对应的视差值与所述次小代价函数值对应的视差值的差值，作为所述像素点对应代价函数的置信度值。

进一步地，所述代价函数确定单元404，具体用于将所述第一代价函数值与所述惩罚因子的商作为所述第二代价函数值。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种应用于双目立体视觉中的像素点视差值计算方法，其特征在于，所述方法包括：

获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

基于所述基准图和匹配图确定所述基准图中像素点在不同视差值下的代价函数值；

将最小代价函数值除以次小代价函数值的商，作为像素点对应代价函数的置信度值；或者，将最小代价函数值对应的视差值与次小代价函数值对应的视差值的差值的绝对值，作为像素点对应代价函数的置信度值；

当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

将所述第一代价函数值除以所述惩罚因子的商，作为第二代价函数值，其中，所述惩罚因子大于1；

利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

2.如权利要求1所述的方法，其特征在于，所述确定所述基准图中像素点在不同视差值下的代价函数值，具体包括：

根据预设的视差取值范围确定所述基准图中有效像素点范围；

确定所述有效像素点范围内的像素点在不同视差值下的代价函数值。

3.一种应用于双目立体视觉中的像素点视差值计算装置，其特征在于，所述装置包括：

深度图获取单元，用于获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

置信度确定单元，用于基于所述基准图和匹配图确定所述基准图中像素点在不同视差值下的代价函数值；将最小代价函数值除以次小代价函数值的商，作为像素点对应代价函数的置信度值；或者，将最小代价函数值对应的视差值与次小代价函数值对应的视差值的差值的绝对值，作为像素点对应代价函数的置信度值；

惩罚因子确定单元，用于当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

代价函数确定单元，用于将所述第一代价函数值除以所述惩罚因子的商，作为第二代价函数值，其中，所述惩罚因子大于1；

视差值计算单元，用于利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

4.如权利要求3所述的装置，其特征在于，所述置信度确定单元确定所述基准图中像素点在不同视差值下的代价函数值，具体包括：

根据预设的视差取值范围确定所述基准图中有效像素点范围；确定所述有效像素点范围内的像素点在不同视差值下的代价函数值。

5.一种应用于双目立体视觉中的像素点视差值计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

基于所述基准图和匹配图确定所述基准图中像素点在不同视差值下的代价函数值；

将最小代价函数值除以次小代价函数值的商，作为像素点对应代价函数的置信度值；或者，将最小代价函数值对应的视差值与次小代价函数值对应的视差值的差值的绝对值，作为像素点对应代价函数的置信度值；

当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

将所述第一代价函数值除以所述惩罚因子的商，作为第二代价函数值，其中，所述惩罚因子大于1；

利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：

获取两台深度相机拍摄的同一场景的深度图，所述深度图包括基准图和匹配图；

基于所述基准图和匹配图确定所述基准图中像素点在不同视差值下的代价函数值；

将最小代价函数值除以次小代价函数值的商，作为像素点对应代价函数的置信度值；或者，将最小代价函数值对应的视差值与次小代价函数值对应的视差值的差值的绝对值，作为像素点对应代价函数的置信度值；

当所述代价函数的置信度值大于预设的置信度阈值时，确定第一代价函数值的惩罚因子，其中，所述第一代价函数值为视差值小于预设的视差阈值时所述像素点的代价函数值，所述惩罚因子的大小与所述像素点的代价函数的置信度值的大小呈正相关关系；

将所述第一代价函数值除以所述惩罚因子的商，作为第二代价函数值，其中，所述惩罚因子大于1；

利用所述第二代价函数值进行能量传播得到所述像素点的视差值。

Images