CN110517307A - 利用卷积实现基于激光散斑图的立体匹配方法 - Google Patents

Abstract

本发明提供一种利用卷积实现基于激光散斑图的立体匹配方法，获得第一图像和第二图像并转换成二值图像；第一图像为事先预存的平面散斑图案；第二图像为采集到的激光散斑照射到物体上所形成的图像；并在第二图像中任意选择一像素作为中心点提取一输入图像块，在第一图像相同位置的中心点处中提取一相同大小的匹配图像块作为搜索窗口；利用AI芯片或深度学习专用处理器的卷积功能计算两个图像块的相似度作为图像块匹配的匹配代价值；重新在所述第二图像中选择一像素重复上述过程，直到遍历第二图像中的所有像素，得到一个视差下第二图像所有像素点的匹配代价值。本发明将立体匹配过程中的计算匹配代价和代价聚合通过卷积操作来实现，从而提高效率。

Description

利用卷积实现基于激光散斑图的立体匹配方法

技术领域

本发明涉及一种图像的深度估计方法，特别涉及一种图像深度估计中的立体匹配方法。

背景技术

图像的深度估计是计算机视觉领域的重要问题，其中一个最为重要也是最为困难的环节就是立体匹配。传统的立体匹配方法一般包括以下四个步骤：计算匹配代价、代价聚合、视差值计算、视差图优化。

其中计算匹配代价，代价聚合是计算量最大的环节。传统的计算匹配代价的方法主要是SAD，census变换相关系数等等，匹配代价计算会生成一个三维的代价图，即H×W×DispRange，这里DispRange是视差搜索的范围，与实际应用场景有关，H、W就是图像的分辨率。在DispRange维度上找到匹配代价最小时对应的视差值就是该位置对应的视差。以视差为对应位置点的像素值绘出新的图像，即可得到视差图。每个点的匹配代价的计算与以下参数有关：块匹配的窗口大小blocksize×blocksize,视差范围DispRange,以及匹配代价的方法。以SAD为例，blocksize＝33像素，dispRange＝100像素，则每个点的代价计算：

Blocksize×blocksize×DispRange次绝对差相加，

则对于分辨率为H×W的图像其三维代价图的计算量为：

Blocksize×blocksize×DispRange*H*W

当Blocksize和DispRange较大时，计算量是非常非常大的，在CPU上需要逐点完成上述运算，速度比较慢，难以在实效性要求高的场合实用。

经检索，得到如下公开的专利：

(1)于20181218公开的，公开号为CN109035319A的中国发明公开了一种单目图像深度估计方法及装置、设备、计算机程序及存储介质，其中，方法包括：基于深度估计神经网络，根据单目图像中各预设区域的绝对特征和各预设区域之间的相对特征，获取所述单目图像的全局特征；根据所述全局特征、所述单目图像中各预设区域的绝对特征和各预设区域之间的相对特征，获得所述单目图像的预测深度图，以提高单目图像深度估计的准确度。

(2)于20181214公开的，公开号为CN109005398A的中国发明公开了一种基于卷积神经网络的立体图像视差匹配方法，基于现有的用于视差估计的端到端学习几何和上下文的深度立体回归算法，通过改进其所用的几何上下文卷积神经网络，利用LSTM神经网络作为网络层替代原本网络模型中的soft-argmin网络层操作。相比于原有的依靠人工定义规则的soft-argmin网络操作，LSMT通过网络学习出一个规则，以此来提高网络性能，提高亚像素的准确性，得到更加精确的视差估计图，而且LSTM网络擅长处理成本序列，加快了网络的处理速度，提高匹配效率。

(3)于20170426公开的，公开号为CN106600583A的中国发明公开了一种基于端到端神经网络的视差图获取方法，主要解决现有获取视差图时大量搜索与迭代计算导致实时性差的问题。其方案是：1.利用特征学习网络与视差重构网络构建三维重构网络，其中特征学习网络设有结构相同的两个分支，每个分支结构设有五个网络层，视差重构网络设有三个网络层，这两个网络通过一个全连接网络层连接；2.将虚拟场景与现实场景数据分别输入至三维重构网络，通过训练该网络确定其权重参数；3.将拍摄的同步左右视图输入至确定权重参数后的三维重构网络，获得视差图。其避免了复杂的预处理，减小了搜索与迭代计算量，能满足更高的实时性要求，可用于双目相机、机器人视觉导航、工业自动化领域。

(4)于20181120公开的，公开号为CN108846858A的中国发明公开了一种计算机视觉的立体匹配算法，基于全连接神经网络和边缘感知视差传播(Edge？aware DisparityPropagation,EDP)实现，其包括步骤：首先，通过全连接神经网络计算输入立体图像对的初始匹配代价，并利用WTA算法找出对应的视差值，生成初始视差图；然后，进行一致性检测，并采用EDP算法和测地距滤波重构视差不一致区域的匹配代价，获得不一致区域的新的视差值，并将其填充到孔洞视差图中，获得完整的视差图；最后，经过亚像素增强优化生成最终的视差图。实验数值表明，应用该算法能有效降低立体匹配的误匹配率，提高视差图精度，特别是在非闭塞区域有较低的误匹配率。

(5)于20181012公开的，公开号为CN108648161A的中国发明公开了一种非对称核卷积神经网络的双目视觉障碍物检测系统及方法，该系统由图像采集模块、立体匹配模块和障碍物检测模块三个部分组成，图像采集模块采集双目图像，传输给立体匹配模块处理得到视差图，再传输给障碍物检测模块进行障碍检测，得到精确的障碍物区域。本发明的非对称核卷积神经网络的双目视觉障碍物检测方法包括：首先将采集的原始双目图像做校正处理，得到水平对其的双目图像；再设计非对称核卷积神经网络用于计算匹配代价，进而计算视差图；最后利用点云图法检测图像中的障碍物区域。其障碍物检测系统及其方法具有较快的检测速度以及良好的障碍物检测精度。

(6)于20180116公开的，公开号为CN107590831A的中国发明公开了一种基于深度学习的立体匹配方法，利用深度学习方法提取特征，得到的特征谱每个点的感受野很大，但同时又不会有传统局部匹配方法带来的前景膨胀效应，解决了局部匹配方法窗口难以选取的问题。且通过深度学习得到的高维度特征谱，充分描述了区域的数据分布特征，对后面的相似性检测有很强的指导意义。其根据左右视图利用深度学习方法输出一个W*H*D的代价体，再利用胜者为王WTA策略得到初始视差图，最后利用原左视图作为引导图像做引导滤波，该方法具备较高的准确性，并且由于神经网络的可并行化程度高，合理的运用GPU并行加速可以使该方法达到很快的运算速度。

(7)于20180112公开的，公开号为CN107578436A的中国发明公开了一种基于全卷积神经网络FCN的单目图像深度估计方法，包括步骤：获取训练图像数据；将训练图像数据输入全卷积神经网络FCN，池化层依次输出得到特征图像；及从最后一个池化层开始将其输出特征图像进行放大处理，获得与其前一池化层输出特征图像尺寸一致的特征图像并将二者的特征图像融合；从后向前依次对每个池化层的输出特征图像融合以获得最终预测深度图像；且训练中利用随机梯度下降法SGD对全卷积神经网络FCN中的参数训练；获取需要预测深度的RGB图像输入训练后的全卷积神经网络FCN，获得对应的预测深度图像。

(8)于20170908公开的，公开号为CN107146248A的中国发明公开了一种基于双流卷积神经网络的立体匹配方法，该方法利用一种双流卷积神经网络，学习并计算出左右视图中目标区域的匹配代价，并以交叉聚合算法作为辅助，有效地获得目标图像的视差图。双流网络结构不仅继承了卷积神经网络计算量小，性能稳定等优点，同时拥有较大的接受域，并且更充分地提取了目标点邻近区域的特征，拥有更高的精度。

(9)于20140604公开的，公开号为CN103839258A的中国发明公开了一种二值化激光散斑图像的深度感知方法，读入二值化的输入散斑图和参考散斑图(图形固定、距离已知)生成输入散斑窗、参考散斑窗，在输入散斑窗中提取一定大小的图像块在参考散斑窗的匹配搜索窗中搜寻匹配块，通过块异或的相似度值计算方法比较输出最小相似度值或通过块相与的方法比较输出最大相似度值，得到最优匹配块及最优偏移量，结合深度计算公式计算得到该图像块中心点的深度信息。

(10)于20130403公开的，公开号为CN103020988A的中国发明公开了一种激光散斑图像的运动向量生成方法，先对投射到目标物体上的输入散斑图进行图像自适应预处理，再以经过相同图像自适应预处理的作为基准的标准散斑图为参考，将输入散斑图按一定大小的图像块进行块匹配运动估计，即以一定的搜索策略和相似度测量指标寻找图像块在标准散斑图中对应位置为中心的搜索窗内寻找最优匹配块，获得该图像块与匹配块之间的偏移量，即为该图像块的运动向量。该运动向量可由X、Y轴方向的位移量(，)表示，起点为标准散斑图中的图像块，终点为输入散斑图的图像块，其精度可达到子像素级。

(11)于20140521公开的，公开号为CN103810708A的中国发明公开了一种激光散斑图像深度感知方法及装置，其中，经图像预处理后的输入散斑图和参考散斑图写入多条行存形成输入散斑窗、参考散斑窗，在输入散斑窗中提取中心点相同、窗口大小不同的图像块，对应参考散斑图中的匹配搜索窗，以全搜索策略和求最小SAD方法，搜寻各自的最佳匹配块，得到最佳偏移量，再通过与参考阈值比较，自适应选择某一图像块对应的最佳偏移量作为当前图像块中心点的最优偏移量，并通过深度计算公式计算得到其深度信息。本发明还公开了相应的深度感知装置。本发明通过多窗口自适应匹配，可降低大范围搜索匹配块的误匹配噪声，同时保持深度图的细节、提高X-Y方向识别小物体深度的能力，并使输出的深度图最优化。

(12)于20181225公开的，公开号为CN109087382A的中国发明公开了一种三维重构方法及三维成像系统，三维重构方法，包括：利用两个相机拍摄同一目标的图像，分别得到第一图像和第二图像；分别从第一图像和第二图像上提取特征点；对特征点进行初始化处理，得到特征点描述子；对第一图像上提取的每个特征点分别进行如下处理：将第一图像上提取的每个特征点的描述子与第二图像上提取的特征点的描述子分别进行运算，得到两个特征点的匹配度，根据匹配度最高的两个特征点的坐标来计算与匹配度最高的两个特征点对应的物点在两个相机的视差，进而得到与匹配度最高的两个特征点对应的物点的深度值和三维坐标。本发明无需预先标定结构光且提供的数据精度较高。

(13)“利用激光散斑获取深度图”[J]，张绍阳,侯旭阳,崔华,高小梅，《中国光学》,2016,9(6):633-641。主要描述了从激光散斑图获取深度的理论依据，以及具体的匹配过程和实验验证。

其中：上述发明(1)～(3)是利用卷积神经网络来计算视差/深度的代表，但这些方法主要是利用卷积神经网络来提取特征，通过估计的方式计算视差图/深度图，神经网络需要事先训练；我们的方法不需要训练网络，不需要提取特征；上述发明(4)～(8)中，区别于前2种方法，它只用卷积神经网络方法计算输入立体图像对的初始匹配代价，并利用传统的“胜者为王”策略找出对应的视差值，生成初始视差图，并不是直接利用卷积神经网络直接估计出视差/深度图。这个流程和我们很接近，但是它仍然是利用神经网络对立体匹配问题进行建模，以图像为输入，利用网络自动学习特征，构造代价函数，在利用神经网络前仍然需要构造正负样本数据集和对训练样本数据扩充。而本发明在利用卷积神经网络时，并没有让网络自动学习特征，仍然是用传统的特征，所以不需要样本数据集的制作和训练过程。本发明只是借助卷积操作提高算法的速度。

上述发明(9)中的对二值化激光散斑图像的处理得到深度图的方法与本发明实现的流程比较接近，但没有使用任何优化手段，达不到高效的效果。上述发明(10)～(12)原理上与发明(9)类似。文献(13)是一篇学术期刊，主要描述了从激光散斑图获取深度的理论依据，以及具体的匹配过程和实验验证，原理上也和本发明实现的流程比较接近，但是计算匹配代价的方法不同，以及也仍然没有使用任何加速的方法。

发明内容

本发明要解决的技术问题，在于提供一种利用卷积实现基于激光散斑图的立体匹配方法，主要是将立体匹配过程中的计算匹配代价和代价聚合通过卷积操作来实现，从而提高效率。

本发明是这样实现的：一种利用卷积实现基于激光散斑图的立体匹配方法，包括计算匹配代价过程：

S11、获得第一图像和第二图像；所述第一图像为事先预存的平面散斑图案；所述第二图像为采集到的激光散斑照射到物体上所形成的图像；

S12、将所述第一图像和所述第二图像转换成二值图像；并在所述第二图像中任意选择一像素；

S13、以所选像素为中心点提取一固定大小的输入图像块block，在所述第一图像中提取一匹配图像块match作为搜索窗口，并使两个图像块的中心点对应，大小相同；

S14、利用AI芯片或深度学习专用处理器的卷积功能计算两个图像块的相似度，并以该相似度作为图像块匹配的匹配代价值；相似度的计算是将两个图像块拉成向量后，再进行向量的相与并相加的点积运算；

S15、重新在所述第二图像中选择一像素，回到步骤13，直到遍历第二图像中的所有像素，得到一个视差下第二图像所有像素点的匹配代价值。

进一步的，所述输入图像块block和所述匹配图像块match的大小均为m×n，m＝n＝32像素。

进一步的，所述步骤S14中，当匹配图像块的大小要求比较大,所需要的卷积核大小2(K-1)超过所述AI芯片的卷积核极限大小K时，则采用核拆分方法计算两个图像块的相似度，所述核拆分方法是将一个大核2(K-1)拆分为2个小核K1、K2，具体是：

(1)首先采用核K1对第一图像进行第一次卷积得到第一次卷积结果I1；

(2)再对第一次卷积结果I1用核K2进行第二次卷积，得到第二次卷积结果I2；

其中，核K1、核K2的系数需使得第二次卷积结果I2的结果和直接用大核2(K-1)对第一图像进行卷积得到的结果相同。

进一步的，所述步骤11中，采集激光散斑照射到物体上所形成的图像时，由红外摄像机采集场景中激光散斑照射到物体上所形成的图像。

进一步的，本发明还包括：

代价聚合过程：经所述计算匹配代价过程计算得到所有视差下的第二图像所有像素点的匹配代价值后，直接使用卷积操作实现。

本发明具有如下优点：本发明将的立体匹配方法是将传统的匹配过程转换为卷积操作实现，不需要进行训练，而且可充分利用AI芯片或深度学习专用处理器的卷积操作的速度优势和高效性，足以应对立体匹配过程的巨大的计算量，提高效率。

具体实施方式

得益于近几年深度学习的快速发展，各种AI芯片，深度学习专用处理器不断涌现，使得各种深度学习算法实时性成为可能。这些AI芯片，专用处理器对于深度学习算法中最为常用的卷积操作一般都有非常好的性能。通过研究传统的立体匹配原理，将计算匹配代价和代价聚合这种计算量非常大的操作，尝试使用卷积操作的原理来实现，从而可以利用AI芯片，各种专用处理器的速度优势，实现实时的传统立体匹配过程。所以本发明主要是利用AI芯片计算卷积操作的优势，将传统的立体匹配过程转化为全卷积操作，从而提高效率。具体是将立体匹配过程中的计算匹配代价和代价聚合通过卷积操作来实现。

本发明包括计算匹配代价过程和代价聚合过程，其应用场景是通过激光散斑投射器投射出激光散斑图到场景中，由红外摄像机采集场景中的激光散斑照射到物体上所形成的图像(称为第二图像)，并和事先预存的平面散斑图案(称为第一图像)对比来完成匹配代价的计算。

所述计算匹配代价过程包括如下步骤：

S11、获得第一图像和第二图像；所述第一图像为事先预存的平面散斑图案；所述第二图像为采集到的激光散斑照射到物体上所形成的图像；

S12、将所述第一图像和所述第二图像转换成二值图像；并在所述第二图像中任意选择一像素；

S13、以所选像素为中心点提取一固定大小的输入图像块block，在所述第一图像中提取一匹配图像块match作为搜索窗口，并使两个图像块的中心点对应，大小相同；其中以所述输入图像块block和所述匹配图像块match的大小均为m×n，m＝n＝32像素为佳；

S14、利用AI芯片或深度学习专用处理器的卷积功能计算两个图像块的相似度，并以该相似度作为图像块匹配的匹配代价值；相似度的计算是将两个图像块拉成向量后，再进行向量的相与并相加的点积运算；

S15、重新在所述第二图像中选择一像素，回到步骤13，直到遍历第二图像中的所有像素，得到第二图像所有像素点的匹配代价值。

步骤S11至步骤S15为一个视差下的第二图像所有像素点的匹配代价值，在不同的视差下，获取正确的第一图像，执行步骤S11～S15,直到完成所有视差下的匹配代价图。

所述代价聚合过程是：经所述计算匹配代价过程计算得到所有视差下的第二图像所有像素点的匹配代价值后，直接使用卷积操作实现。

代价聚合完成后后，再利用传统的“胜者为王”策略找出对应的视差值，生成视差图。

本发明将上述的匹配代价计算和代价聚合过程完全用卷积操作来实现。由于AI芯片或专用处理器通常只支持一定大小的卷积核,当卷积核大小不超过AI芯片的卷积核极限大小时，可直接利用，核系数全为1的卷积核，对上述乘积图像进行卷积，即可得到匹配代价图。而对于该应用中匹配块的大小要求比较大的时候，就需要采用拆分核的方法，将大核拆分为多个小核的方法。一个大核拆分为两个小核的方法，可以实现卷积核大小约为原卷积核极限的2倍，假设AI芯片卷积核极限大小为M，则通过拆分的方式，可利用该芯片实现2(M-1)的卷积大小情况，即当卷积核极限大小为11时，通过该方法可实现卷积核大小为20的运算。

以大核(K＝20)拆分为2个小核K1,K2(K1＝10,K2＝11)为例说明，则首先采用核K1对第一图像进行第一次卷积得到第一次卷积结果I1,再对第一次卷积结果I1用核K2进行第二次卷积，得到第二次卷积结果I2。为了使得第二次卷积结果I2的结果和直接用大核对第一图像进行卷积得到的结果相同，必须合理的设计K1，K2核的系数。本发明对匹配代价可以使用两个向量的点积得到的情况下都适用。

通常AI芯片的小核卷积效率要高于大核卷积，上述过程中，即使当卷积核大小不超过AI芯片的卷积核极限大小，但想把卷积核进一步拆分成小卷积核，本发明提供的方法也适用。因此上述的过程还可以进一步拆分为3个小核(K1＝5，K2＝6，K3＝11),首先采用核K1对第一图像进行第一次卷积得到第一次卷积结果I1,再对第一次卷积结果I1用核K2进行第二次卷积，得到第二次卷积结果I2.再对第二次卷积结果I2用核K3进行第三次卷积，得到第三次卷积结果I3.为了使得第三次卷积结果I3的结果和直接用大核对第一图像进行卷积得到的结果相同，必须合理的设计核K1、核K2、核K3的系数。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种利用卷积实现基于激光散斑图的立体匹配方法，其特征在于：包括计算匹配代价过程：

S11、获得第一图像和第二图像；所述第一图像为事先预存的平面散斑图案；所述第二图像为采集到的激光散斑照射到物体上所形成的图像；

S12、将所述第一图像和所述第二图像转换成二值图像；并在所述第二图像中任意选择一像素；

S13、以所选像素为中心点提取一固定大小的输入图像块block，在所述第一图像中提取一匹配图像块match作为搜索窗口，并使两个图像块的中心点对应，大小相同；

S14、利用AI芯片或深度学习专用处理器的卷积功能计算两个图像块的相似度，并以该相似度作为图像块匹配的匹配代价值；相似度的计算是将两个图像块拉成向量后，再进行向量的相与并相加的点积运算；

S15、重新在所述第二图像中选择一像素，回到步骤13，直到遍历第二图像中的所有像素，得到一个视差下第二图像所有像素点的匹配代价值。

2.根据权利要求1所述的一种利用卷积实现基于激光散斑图的立体匹配方法，其特征在于：所述输入图像块block和所述匹配图像块match的大小均为m×n，m＝n＝32像素。

3.根据权利要求1所述的一种利用卷积实现基于激光散斑图的立体匹配方法，其特征在于：所述步骤S14中，当匹配图像块的大小要求比较大,所需要的卷积核大小2(K-1)超过所述AI芯片的卷积核极限大小K时，则采用核拆分方法计算两个图像块的相似度，所述核拆分方法是将一个大核2(K-1)拆分为2个小核K1、K2，具体是：

(1)首先采用核K1对第一图像进行第一次卷积得到第一次卷积结果I1；

(2)再对第一次卷积结果I1用核K2进行第二次卷积，得到第二次卷积结果I2；

其中，核K1、核K2的系数需使得第二次卷积结果I2的结果和直接用大核2(K-1)对第一图像进行卷积得到的结果相同。

4.根据权利要求1所述的一种利用卷积实现基于激光散斑图的立体匹配方法，其特征在于：所述步骤11中，采集激光散斑照射到物体上所形成的图像时，由红外摄像机采集场景中激光散斑照射到物体上所形成的图像。

5.根据权利要求1所述的一种利用卷积实现基于激光散斑图的立体匹配方法，其特征在于：还包括：

代价聚合过程：经所述计算匹配代价过程计算得到所有视差下的第二图像所有像素点的匹配代价值后，直接使用卷积操作实现。