CN109961092A - 一种基于视差锚点的双目视觉立体匹配方法及系统 - Google Patents

Abstract

一种基于视差锚点的双目视觉立体匹配方法及系统，该双目视觉立体匹配方法包括：获取两个视点下的第一图像和第二图像；按照预设规则获取第一图像中的第一像素点周围的若干个视差锚点；根据所述若干个视差锚点的视差值对所述第一像素点进行加权运算，得到第一像素点的最佳视差值。该技术方案通过像素点周围的视差锚点的视差值对该像素点的视差值进行加权估计，从而获得稠密视差场的估计，通过搜寻视差锚点的方法来提高匹配代价的鲁棒性，来计算得到鲁棒性较高的加权估计结果，利于计算得到各个像素点的准确率较高的最佳视差值。

Description

一种基于视差锚点的双目视觉立体匹配方法及系统

技术领域

本发明涉及双目立体视觉领域，具体涉及一种基于视差锚点的双目视觉立体匹配方法及系统。

背景技术

众所周知，场景中的光线在人眼这个精密的成像系统中被采集，通过神经中枢被送入包含有数以亿计的神经元的大脑中被并行的处理，得到了实时、高清晰、准确的深度感觉信息。这使得人类对环境的适应能力大大提高，很多复杂的动作能够得以完成：如行走、体育运动、驾驶车辆以及进行科学实验等。

而计算机视觉正是使用计算机来模拟人的视觉系统的学科，目的是根据获取的两幅平面图像恢复3D图像。当前，计算机立体视觉的水平与人类的双目视觉水平还相距甚远，因此对它的研究仍然是一个非常活跃的邻域。

双目立体视觉(Binocular Stereo Vision)是计算机视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。由此可知，它通过模拟人的视觉系统来处理现实世界，对于立体视觉匹配的研究，能够大大的增强计算机或机器人对环境的感知能力，使得机器人能够更好的适应环境、更加智能，从而能够更好的为人们服务。经过多年的技术发展，双目立体视觉已在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等邻域中得以应用。

当前，双目立体视觉融合了两取像设备获得的图像并观察它们之间的差别，使计算机可以获得准确的深度信息，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，通常将这种差别称作视差(disparity)。然而，双目立体视觉中最重要但又非常困难的问题就是立体视觉匹配问题，即从不同视点图像中找到匹配的对应点。

发明内容

有鉴于此，本发明主要解决的技术问题是如何提高现有双目视觉技术利用过程中像素点立体匹配的精确度。为解决上述技术问题，本申请提供了一种基于视差锚点的双目视觉立体匹配方法及系统。

根据第一方面，一种实施例中提供一种基于视差锚点的双目视觉立体匹配方法，包括以下步骤：

获取两个视点下的第一图像和第二图像；

按照预设规则获取所述第一图像中的第一像素点周围的若干个视差锚点，所述第一像素点为所述第一图像中的任意一像素点；

根据所述若干个视差锚点的视差值对所述第一像素点进行加权运算，得到所述第一像素点的最佳视差值。

所述按照预设规则获取所述第一图像中的第一像素点周围指定路径上的视差锚点，包括：

获取所述第一图像中每个像素点的最小匹配代价及对应的视差值；

比较所述第一图像中每个像素点的最小匹配代价的置信度，确定高置信度对应的像素点为所述视差锚点；

根据所述预设规则搜索得到所述第一像素点周围的若干个视差锚点。

所述预设规则包括：在所述第一图像上确定所述第一像素点周围的若干条搜索路径；获取每条所述搜索路径上与所述第一像素点距离最近的视差锚点，以统计得到所述第一像素点周围的所述若干个视差锚点。

在所述第一图像上确定所述第一像素点的上下各δ行像素，将每行像素中从所述第一像素点列向对应的像素点出发的行向搜索方向确定为所述搜索路径；对每条所述搜索路径上的各个像素点进行逐一识别，将首次识别得到的视差锚点作为与所述第一像素点距离最近的视差锚点。

在所述第一图像上确定所述第一像素点的米字型放射方向，将每个放射方向中从所述第一像素点出发的搜索方向确定为所述搜索路径；对每条所述搜索路径上的各个像素点进行逐一识别，将首次识别得到的视差锚点作为与所述第一像素点距离最近的视差锚点。

对每条所述搜索路径上的各个像素点进行逐一识别，直至首次识别得到所述视差锚点或者经过该搜索路径上的视差边缘，所述视差边缘为预设视差场区域的边缘像素点。

所述根据所述若干个视差锚点的视差值对所述第一像素点进行加权运算，得到所述第一像素点的最佳视差值，包括：获取所述若干个视差锚点中每个视差锚点的视差值以及对应的加权系数；根据所述若干个视差锚点中每个视差锚点的视差值以及对应的加权系数构建加权运算方程，计算得到所述第一像素点的最佳视差值。

对于所述第一像素点(y,x),以及所述第一像素点(y,x)周围的所述若干个视差锚点{(y_i,x_i)|i∈A}，计算得到所述第一像素点的最佳视差值disp^*，用公式表示为：

disp^*(y,x)＝Σ_i∈Aw(y_i-y,x_i-x)·disp(y_i,x_i)

其中，disp()表示任意像素点或视差锚点的视差值，w()表示任意视差锚点的视差值对应的加权系数，i为任意视差锚点的序号，A为所述若干个视差锚点的序号集合。

根据第二方面，一种实施例中提供一种图像立体匹配方法，包括以下步骤：

获取至少两个视点的图像；

通过第一方面所述的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行匹配，分别得到各个像素点的视差。

根据第三方面，一种实施例中提供一种基于视差锚点的双目视觉立体匹配系统，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现第一方面中所述的方法。

本申请的有益效果是：

依据上述实施例的一种基于视差锚点的双目视觉立体匹配方法及系统，该双目视觉立体匹配方法包括：获取两个视点下的第一图像和第二图像；按照预设规则获取第一图像中的第一像素点周围的若干个视差锚点，该第一像素点为所述第一图像中的任意一像素点；根据所述若干个视差锚点的视差值对第一像素点进行加权运算，得到第一像素点的最佳视差值。一方面，本申请的技术方案通过像素点周围的视差锚点的视差值对该像素点的视差值进行加权估计，从而获得稠密视差场的估计，通过搜寻视差锚点的方法来提高匹配代价的鲁棒性，从而计算得到鲁棒性较高的加权估计结果，利于计算得到各个像素点的准确率较高的最佳视差值。另一方面，本申请提供的技术方案可以有效解决立体匹配时发生误匹配的问题，利于在不同的视点图像中准确地找到匹配的对应点，提高立体匹配的精确度。

附图说明

图1为一种实施例的基于视差锚点的双目视觉立体匹配方法的流程图；

图2为获取若干个视差锚点的流程图；

图3为计算得到第一像素点的最佳视差值的流程图；

图4为一种实施例的图像立体匹配方法的流程图；

图5为一种实施例的立体匹配系统的结构简图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本邻域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本邻域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本邻域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本邻域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

在双目视觉的立体匹配中，一个关键问题是寻找在左右图像中的匹配点，以得到两幅图像中对应像素的水平位置差，也称之为视差，从而进一步可以计算出该像素点的深度。

不在同一深度的像素点，完全可能有相同的颜色、纹理和梯度等，所以这常常会导致立体匹配时发生错配，从而进一步导致视差计算出现较大的错误，大大影响了双目视觉在深度测量中的应用。为了克服这一点，在现有的双目图像的立体匹配方法中，一般会采用像素点周边区域的像素点来估计该像素点，例如视频编码的运动搜索中寻找匹配块的问题、直接求SAD(sum of absolute difference)的匹配问题。但在这些方法中，对像素的匹配代价的加权仍然只能采用上面的颜色、纹理和梯度等与视差没有直接关系的特征来计算，因此这些方法还有较大的不鲁棒性。为提高匹配代价的鲁棒性和像素匹配的精确度，本申请是在现有方法的基础上，通过像素点周围的视差锚点的视差值对该像素点的视差值进行加权估计，从而获得稠密视差场的估计，通过搜寻视差锚点的方法来提高匹配代价的鲁棒性，从而计算得到鲁棒性较高的加权估计结果，利于计算得到各个像素点的准确率较高的最佳视差值。通过本申请提供的技术方法，可以有效解决立体匹配时发生误匹配的问题，利于在不同的视点图像中准确地找到匹配的对应点，提高立体匹配的精确度。

实施例一：

请参考图1，本申请公开一种基于视差锚点的双目视觉立体匹配方法，其包括步骤S110-S130，下面分别说明。

步骤S110，获取两个视点下的第一图像和第二图像；在一实施例中，通过双目相机对立体匹配对象进行取像，由于双目相机构成了两个取像视点，则在这两个取像视点下分别得到一帧图像，由此得到左右两幅图像，即第一图像和第二图像。

步骤S120，按照预设规则获取第一图像中的第一像素点周围的若干个视差锚点，这里的第一像素点为第一图像中的任意一像素点。在一实施例中，见图2，该步骤S120可包括步骤S121-S123，分别说明如下。

步骤S121，获取第一图像中每个像素点的最小匹配代价及对应的视差值。这里可采用现有的方法获取像素点的最小匹配代价和对应的视差值，也可以采用未来出现的方法获取像素点的最小匹配代价和对应的视差值，这里不做限制。

例如，对于区域算法来说，在完成匹配代价的叠加以后，就可以轻松获取视差，只需在一定范围内选取叠加匹配代价最优的点(SAD和SSD取最小值，或NCC取最大值)作为对应匹配点，如胜者为王算法WTA(Winner-take-all)。对于全局算法来说，直接对原始匹配代价进行处理，一般会先给出一个能量评价函数，然后通过不同的优化算法来求得能量的最小值，同时每个像素点的最小匹配代价和最小匹配代价对应的视差值就可计算出来。

再例如，对于大多数立体匹配算法，计算出来的视差都是一些离散的特定整数值，可满足一般应用的精度要求。但在一些精度要求比较高的场合，如精确的三维重构中，就需要在初始视差获取后采用一些措施对视差进行细化，如匹配代价的曲线拟合、图像滤波、图像分割等，这样也可以获取一些精确度更高的匹配代价和对应的视差值。

在一个具体实施例中，可以通过极值校验的方法获取任意一像素点的最小匹配代价和对应的视差值。按照现有的代价聚合处理方法得到多个视差值的代价聚合函数，计算代价聚合函数下每个视差值对应的极小值(即匹配代价)，对这些匹配代价进行升序列排序，就可得到最小匹配代价和其对应的视差值；另一种方法是，可以在通过代价聚合函数获取每个视差值对应的匹配代价之后，对每一个匹配代价对应的视差值进行左右两幅图像的左右一致性校验，从通过校验的结果中选取最小匹配代价及其对应的视差值。如果一个像素点的最小匹配代价用c表示，那么这个像素点的置信度就可以表示为exp(-c)。

需要说明的是，依靠传统方法获取的图像中每个像素点在最小匹配代价时的视差值，可能存在一些误差，造成个别像素点视差值的不准确性，因此，这里需要在获知每个像素点视差值的基础上，对一些视差值准确性不高的像素点进行进一步地加权处理，从而得到更优的视差值估计结果。

步骤S122，比较第一图像中每个像素点的最小匹配代价的置信度，确定高置信度对应的像素点为视差锚点。

需要说明的是，置信度(或称置信水平)是指特定个体对待特定命题真实性相信的程度，也就是概率是对个人信念合理性的量度。或者，置信度是指总体参数值落在样本统计值某一区内的概率；而置信区间是指在某一置信水平下样本统计值与总体参数值间误差范围，置信区间越大，置信度越高。这里的每个像素点的最小匹配代价的置信度是指以当前像素点的最小匹配代价为中心，在一定范围内，真值出现在该范围内的几率；一般设定为2σ，也就是95％，通常情况认为是置信度(置信水平)的设定值。

需要说明的是，本实施例通过传统方法先计算出一些高置信度(即大于95％)的视差点，称为视差锚点，用该些视差锚点来估计那些置信度不高的视差值。

步骤S123，根据预设规则搜索得到第一像素点周围的若干个视差锚点。在一实施例中，见图2，该步骤S123可包括步骤S1231-S1232。

步骤S1231，在第一图像上确定第一像素点周围的若干条搜索路径；

步骤S1232，获取每条搜索路径上与第一像素点距离最近的视差锚点，以统计得到第一像素点周围的所述若干个视差锚点。

在一具体实施例中，步骤S123可通过以下过程实施：在第一图像上确定第一像素点的上下各δ行像素(δ为预设值，可满足非负数集合，δ∈N)，将每行像素中从第一像素点列向对应的像素点出发的行向搜索方向确定为搜索路径；对每条搜索路径上的各个像素点进行逐一识别，将首次识别得到的视差锚点作为与第一像素点距离最近的视差锚点。例如，对于第一像素点(y,x)，首先在(y,x)所在行像素上以(y,x)为出发点进行左右搜索，分别寻找这两条搜索路径上的首次出现的视差锚点；然后在(y,x)的上一行的行像素上以(y+1,x)为出发点进行左右搜索，再次寻找此两条搜索路径上首次出现的视差锚点。逐次地将上移后的一行像素作为搜索对象，从纵坐标为x的那个像素点出发向左右两边搜索视差锚点，直至完成了(y,x)所在行像素起始的向上第δ行像素的搜索任务；然后，利用相同方法完成(y,x)所在行像素起始的向下第δ行像素的搜索任务。

在另一个具体实施例中，在第一图像上确定第一像素点的米字型放射方向，将每个放射方向中从第一像素点出发的搜索方向确定为搜索路径；对每条搜索路径上的各个像素点进行逐一识别，将首次识别得到的视差锚点作为与第一像素点距离最近的视差锚点。例如，对于第一像素点(y,x)，首先确定(y,x)的米字形放射方向，如上、下、左、右、左斜上、右斜上、左斜下、右斜下的8个放射方向；从中选取n(1<＝n<＝8)个放射方向，在一个放射方向上以(y,x)为出发点进行搜索，寻找该条搜索路径上的首次出现的视差锚点；再另一个放射方向上以(y,x)为出发点进行搜索，寻找此条搜索路径上的首次出现的视差锚点，直至n条放射方向搜索完成。

需要说明的是，本实施例中用户可以选择采用上述具体实施方式之一来搜索得到第一像素点周围的若干个视差锚点。

进一步地，步骤S1232还包括：对每条搜索路径上的各个像素点进行逐一识别，直至首次识别得到视差锚点或者经过该搜索路径上的视差边缘，这里的视差边缘为预设视差场区域的边缘像素点。预设视差场区域可认为是第一像素点为中心的矩形区域，在该预设视差场区域内寻找视差锚点有助于保证视差锚点的有效性。本领域的技术人员可以理解，如果在一条搜索路径上经过了视差边缘之后没有找到视差锚点，则认为该搜索路径上没有视差锚点；此外，如果所有搜索路径上均没有找到任何一个视差锚点，则表明第一像素点的最佳视差值不能够通过本实施例提供的方法求得，此时可结束操作以采用其它可行的方法，自然也不需要进入步骤S130。

步骤S130，根据若干个视差锚点的视差值对第一像素点进行加权运算，得到所述第一像素点的最佳视差值。在一实施例中，见图3，该步骤S130可包括步骤S131—S132，分别说明如下。

步骤S131，获取第一像素点周围的若干个视差锚点中每个视差锚点的视差值以及对应的加权系数。

例如，对于视差锚点(y_i,x_i)，其视差值和对应的加权系数可分别表示为disp(y_i,x_i)、w(y_i-y,x_i-x)。

步骤S132，根据所述若干个视差锚点中每个视差锚点的视差值以及对应的加权系数构建加权运算方程，计算得到第一像素点的最佳视差值。

在一具体实施例中，对于第一像素点(y,x),以及第一像素点(y,x)周围的若干个视差锚点{(y_i,x_i)|i∈A}，计算得到第一像素点的最佳视差值disp^*，用公式表示为：

disp^*(y,x)＝Σ_i∈Aw(y_i-y,x_i-x)·disp(y_i,x_i)

其中，disp()表示任意像素点或视差锚点的视差值，w()表示任意视差锚点的视差值对应的加权系数，i为任意视差锚点的序号，A为若干个视差锚点的序号集合。

相应地，本申请还公开了一种基于图割的双目视觉立体匹配系统30。请参考图5，该系统包括存储器301和处理器302，其中，存储器301用于存储程序，而处理器302用于通过执行存储器301存储的程序以实现步骤S110-S130中所述的方法。

实施例二：

在基于实施例一中双目视觉立体匹配方法的基础上，本实施例还提供一种图像视觉立体匹配方法，请参考图4，该图像视觉立体匹配方法包括步骤S210-S220，下面分别说明。

步骤S210，获取至少两个视点的图像。在一具体实施例中，可通过多个相机来对立体匹配对象进行取像，如此可获得多个视点下的图像。

步骤S220，通过实施例一中的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行立体匹配，分别得到各个像素点的最佳视差值。

本领域的技术人员可以理解，实施例一中的双目视觉立体匹配方法获得的是图像中一个像素点的视差，根据该视差值以找到另一个图像中的匹配对应点，那么，可以根据该方法继续计算图像中所有像素点的视差，如此可实现两幅或多幅图像之间像素点的一一立体匹配，进而达到图像立体匹配的效果。

本邻域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术邻域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于视差锚点的双目视觉立体匹配方法，其特征在于，包括以下步骤：

获取两个视点下的第一图像和第二图像；

按照预设规则获取所述第一图像中的第一像素点周围的若干个视差锚点，所述第一像素点为所述第一图像中的任意一像素点；

根据所述若干个视差锚点的视差值对所述第一像素点进行加权运算，得到所述第一像素点的最佳视差值。

2.如权利要求1所述的双目视觉立体匹配方法，其特征在于，所述按照预设规则获取所述第一图像中的第一像素点周围指定路径上的视差锚点，包括：

获取所述第一图像中每个像素点的最小匹配代价及对应的视差值；

比较所述第一图像中每个像素点的最小匹配代价的置信度，确定高置信度对应的像素点为所述视差锚点；

根据所述预设规则搜索得到所述第一像素点周围的若干个视差锚点。

3.如权利要求2所述的双目视觉立体匹配方法，其特征在于，所述预设规则包括：

在所述第一图像上确定所述第一像素点周围的若干条搜索路径；

获取每条所述搜索路径上与所述第一像素点距离最近的视差锚点，以统计得到所述第一像素点周围的所述若干个视差锚点。

4.如权利要求3所述的双目视觉立体匹配方法，其特征在于，

在所述第一图像上确定所述第一像素点的上下各δ行像素，将每行像素中从所述第一像素点列向对应的像素点出发的行向搜索方向确定为所述搜索路径；

对每条所述搜索路径上的各个像素点进行逐一识别，将首次识别得到的视差锚点作为与所述第一像素点距离最近的视差锚点。

5.如权利要求3所述的双目视觉立体匹配方法，其特征在于，

在所述第一图像上确定所述第一像素点的米字型放射方向，将每个放射方向中从所述第一像素点出发的搜索方向确定为所述搜索路径；

对每条所述搜索路径上的各个像素点进行逐一识别，将首次识别得到的视差锚点作为与所述第一像素点距离最近的视差锚点。

6.如权利要求4或5所述的双目视觉立体匹配方法，其特征在于，对每条所述搜索路径上的各个像素点进行逐一识别，直至首次识别得到所述视差锚点或者经过该搜索路径上的视差边缘，所述视差边缘为预设视差场区域的边缘像素点。

7.如权利要去6所述的双目视觉立体匹配方法，其特征在于，所述根据所述若干个视差锚点的视差值对所述第一像素点进行加权运算，得到所述第一像素点的最佳视差值，包括：

获取所述若干个视差锚点中每个视差锚点的视差值以及对应的加权系数；

根据所述若干个视差锚点中每个视差锚点的视差值以及对应的加权系数构建加权运算方程，计算得到所述第一像素点的最佳视差值。

8.如权利要求6所述的双目视觉立体匹配方法，其特征在于，对于所述第一像素点(y,x),以及所述第一像素点(y,x)周围的所述若干个视差锚点{(y_i,x_i)|i∈A}，计算得到所述第一像素点的最佳视差值disp^*，用公式表示为：

disp^*(y,x)＝Σ_i∈Aw(y_i-y,x_i-x)·disp(y_i,x_i)

其中，disp()表示任意像素点或视差锚点的视差值，w()表示任意视差锚点的视差值对应的加权系数，i为任意视差锚点的序号，A为所述若干个视差锚点的序号集合。

9.一种图像立体匹配方法，其特征在于，包括以下步骤：

获取至少两个视点的图像；

通过权利要求1-8中任一项所述的双目视觉立体匹配方法对其中一幅图像中的各个像素点进行匹配，分别得到各个像素点的视差。

10.一种基于视差锚点的双目视觉立体匹配系统，其特征在于，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-9中任一项所述的方法。