CN113077504B - 基于多粒度特征匹配大场景深度图生成方法 - Google Patents

Abstract

本发明公开了基于多粒度特征匹配大场景深度图生成方法，包括将左右视角图像上的像素点进行特征变换，取不同粒度的模板块，计算左右视角图同一粒度模板块中对应像素点的高斯拉普拉斯卷积后的差的和作为该模板块在某视差值下的匹配成本，对不同视差值下的匹配成本进行比较，取最小值作为该模板块的纵向匹配成本；将不同粒度模板块的纵向匹配成本再进行横向比较，选取使横向匹配成本最小时的视差值构成视差图，经对应一致性检查排除无效点后，在其邻域寻找有效视差值对无效点进行填充，中值滤波得到最终的深度图。本发明综合了不同粒度模板的多样性，降低单一模板块的拖尾和涂抹效应，适应大场景中物体轮廓形状多变的特点，得到准确可靠的深度图。

Description

基于多粒度特征匹配大场景深度图生成方法

技术领域

本发明涉及图像处理技术领域，尤其涉及基于多粒度特征匹配大场景深度图生成方法。

背景技术

立体视觉是通过模拟人类的双眼，在同一场景的两幅左右视角图像中寻找互相匹配的对应点，对应点在左右视角图中的像素位置差即为视差，视差与实际场景中该点的深度成反比，一旦确定像素点的视差，并且已知拍摄左右视角图相机的内外参数，便可以确定像素点的实际距离。而立体视觉计算过程中得到视差的关键在于确定左右视角图中的匹配点。

相较于全局、半全局立体视觉方法，局部立体匹配方法计算量小、内存占用少，在实际工程应用尤其是嵌入式应用中更占有优势。但是，传统的局部立体视觉方法，如典型的块匹配方法，采用固定粒度的模板尺寸，容易模糊物体边缘，在前景背景交界处容易产生拖尾和漫色效应，无法满足精确匹配的要求。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多粒度特征匹配大场景深度图生成方法。

为了解决上述技术问题，本发明公开了基于多粒度特征匹配大场景深度图生成方法，包括如下步骤：

步骤1，对左右视角图进行特征变换，所述左右视角图包括左视角图和右视角图；

步骤2，选取不同粒度的模板，分别在特征变换后的左右视角图上计算同一种模板在不同视差值下的匹配成本，并进行纵向比较，得到该模板下每一个像素点的纵向匹配成本和对应的视差值；

步骤3，将不同粒度模板在同一个像素点的纵向匹配成本进行横向对比，得到多模板下每一个像素点的横像匹配成本和对应的视差，组成左右视角视差图；

步骤4，对左右视角视差图进行对应一致性检查排除无效点，在无效点邻域寻找可靠有效点进行填充，再进行中值滤波，得到深度图。

进一步地，在一种实现方式中，所述步骤1的特征变换为使用高斯拉普拉斯卷积核对每一个像素点进行卷积。采用高斯拉普拉斯卷积核变换，用边缘梯度特性替代灰度特性，降低由于大场景视角变化大、采集设备不同造成的图像颜色、亮度等方面差异造成的误匹配概率。

进一步地，在一种实现方式中，所述步骤1包括：

步骤1-1，选取w×w的高斯拉普拉斯卷积核窗口，其中，w＝2k+1，k∈N^*，高斯拉普拉斯卷积核LoG(x，y)为

其中，x，y分别为距离所述高斯拉普拉斯卷积核窗口中心点的横向和竖向的像素位置差，σ为所述高斯拉普拉斯卷积核的标准差；

步骤1-2，分别在左右视角图上对每一个像素点用所述高斯拉普拉斯卷积核进行卷积，得到所述像素点的高斯拉普拉斯卷积值I_LoG(i，j)，i，j为像素点在所述左右视角图中的横纵坐标，i，j∈N。

进一步地，在一种实现方式中，所述步骤2中同一种模板在不同视差值下的匹配成本指用模板覆盖左右视角图中任一视角图的像素点(i，j)，模板覆盖区域内的所有像素点集合记为B1，根据不同视差值确定左右视角图中另一视角图的像素点，用模板覆盖此像素点，模板覆盖区域内的所有像素点集合记为B2，集合B1和集合B2中所有对应位置像素点的高斯拉普拉斯卷积值的差的和即为像素点(i，j)使用同一种模板在不同视差值下的匹配成本。

进一步地，在一种实现方式中，所述步骤2包括：

步骤2-1，选取不同粒度的模板b₁，b₂，...，b_n，n∈N^*；记模板b∈{b₁，b₂，...，b_n}，模板b的尺寸为m×l，其中，m，l＝2k+1，k∈N；

步骤2-2，分别计算左右视角图中像素点(i，j)使用同一种模板b在不同视差值d下的匹配成本C_L，b(i，j，d)和C_R，b(i，j，d)：

其中，d为视差值，d∈N，(i_b，j_b)为模板b在左右视角图覆盖区域内的像素点，(i_b-d，j_b)为计算左视角图匹配成本C_L，b(i，j，d)时，模板b在右视角图覆盖区域内的像素点，(i_b+d，j_b)为计算右视角图匹配成本C_R，b(i，j，d)时，模板b在左视角图覆盖区域内的像素点，I_L，LoG(i_b，j_b)为所述左视角图像素点(i_b，j_b)的高斯拉普拉斯卷积值，I_R，LoG(i_b-d，j_b)为所述右视角图像素点(i_b-d，j_b)的高斯拉普拉斯卷积值，I_R，LoG(i_b，j_b)为所述右视角图像素点(i_b，j_b)的高斯拉普拉斯卷积值，I_L，LoG(i_b+d，j_b)为所述右视角图像素点(i_b+d，j_b)的高斯拉普拉斯卷积值；

步骤2-3，分别对左右视角图同一种模板b下像素点(i，j)的所有视差值d的模板匹配成本进行纵向比较，模板匹配成本最小值为该模板b下像素点(i，j)的纵向匹配成本C_L，b(i，j)和C_R，b(i，j)，对应的视差为d_L，b(i，j)和d_R，b(i，j)：

C_L，b(i，j)＝min C_L，b(i，j，d)

C_R，b(i，j)＝min C_R，b(i，j，d)

其中，

表示使C_L，b(i，j，d)或C_R，b(i，j，d)为最小值时的视差值d。

进一步地，在一种实现方式中，所述步骤3包括：

步骤3-1，分别对所述左右视角图中的每一个像素点(i，j)比较其在所述不同粒度的模板b₁，b₂，...，b_n下的纵向匹配成本

和

纵向匹配成本最小值为所述不同粒度的模板b₁，b₂，..，b_n下像素点(i，j)的横向匹配成本，对应的视差值d作为所述左右视角图中像素点(i，j)的视差值d_L(i，j)和d_R(i，j)：

步骤3-2，所述左右视角每个像素点的视差值d_L(i，j)和d_R(i，j)，分别组成左右视角视差图，由左视角图得到的为左视角视差图D_L，由所述右视角图得到的为右视角视差图D_R。

采用不同粒度的模板进行局部匹配，考虑到现实大场景中物体外形变化多样，多粒度模板匹配能够更好的保持物体原有的边缘特性；且多粒度模板策略可并行计算，在不提升算法复杂度的情况下提高计算精度，更加贴切于存储空间小、实时性要求高的实际工程中的使用。

进一步地，在一种实现方式中，所述步骤4包括：

步骤4-1，对所述左视角视差图D_L和右视角视差图D_R的对应点进行比较，即进行所述对应一致性检查，视差值一致的像素点保留不变，视差值不一致的像素点置为无效点inv；

步骤4-2，在所述左视角视差图D_L的无效点邻域的上、下、左、右、左上、左下、右上、右下八个方向寻找有效点，统计有效点视差值的出现频率，取频率最高的视差值填充为该无效点的视差值；

步骤4-3，对经过对应一致性检查和无效点填充的所述左视角视差图D_L进行中值滤波，得到最终深度图。

有益效果：

本发明公开了一种基于多粒度特征匹配大场景深度图生成方法，能够降采集设备不同造成的光照强弱、色彩差异造成的左右视角图差异造成的误匹配概率；考虑到现实大场景中物品边缘轮廓变化多样的问题，采用形状各异、尺寸多样的多粒度模板来进行匹配，能够更好的保留物体的边缘，减轻前景背景交界处的漫色和拖尾效应；此外，多粒度匹配可以并行计算，在大场景、超高清图像上也能够快速、准确的进行运算。首先将左右视角图像进行高斯拉普拉斯卷积变换；接着取不同形状不同尺寸的多粒度模板块，计算左右视角图同一种模板块在视差范围内的匹配成本，取匹配成本最小时的值作为该模板块的纵向匹配成本，将多粒度模板的纵向匹配成本再进行横向比较，取使横像匹配成本最小时的视差值组成视差图；最后，经一致性检查、无效点空洞填充、中值滤波后得到最终的深度图。本发明在室外大场景高清图像上进行了验证，视差值计算准确率达到90％以上，一组左右视角图平均耗费时间不大于100ms，充分验证了本发明的有效性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例部分提供的基于多粒度特征匹配大场景深度图生成方法的工作流程示意图；

图2是本发明实施例部分提供的左视角图；

图3是本发明实施例部分提供的右视角图；

图4是本发明实施例部分提供的基于多粒度特征匹配大场景深度图生成方法计算效果示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例公开基于多粒度特征匹配大场景深度图生成方法，本方法应用于双目立体视觉模型中视差图的获取，适用于采集场景较大、采集设备不同造成的左右视角图光照颜色差异明显的场景，在存储空间有限、计算资源欠缺的情况下也能够满足稳定、快速、准确的实际使用需求。

本发明公开了一种基于多粒度特征匹配大场景深度图生成方法，系统流程示意图如图1所示，包括以下步骤：

步骤1，对左右视角图进行特征变换，所述左右视角图包括左视角图和右视角图，如图2和图3所示；

步骤2，选取不同粒度的模板，分别在特征变换后的左右视角图上计算同一种模板在不同视差值下的匹配成本，比较得到该模板下每一个像素点的纵向匹配成本和对应的视差；

步骤3，横向对比不同粒度模板在同一个像素点的纵向匹配成本，最小值作为多粒度模板下每一个像素点的横向匹配成本，并取其对应的视差值，组成左右视角视差图；

步骤4，对左右视角视差图进行对应一致性检查排除无效点，在无效点邻域寻找可靠有效点进行填充，再进行中值滤波，得到深度图。

本实施例所述的基于多粒度特征匹配大场景深度图生成方法中，所述步骤1的特征变换为使用高斯拉普拉斯卷积核对每一个像素点进行卷积，所述步骤1具体步骤包括：

步骤1-1，选取5×5大小的高斯拉普拉斯卷积核窗口，高斯拉普拉斯卷积核为

步骤1-2，分别在左右视角图上对每一个像素点用所述高斯拉普拉斯卷积核进行卷积，得到所述像素点的高斯拉普拉斯卷积值I_LoG(i，j)，i，j为像素点在所述左右视角图中的横纵坐标，i，j∈N。本实施例中所述左右视角图的宽和高为1242像素和375像素。

本实施例所述的基于多粒度特征匹配大场景深度图生成方法中，所述步骤2中同一种模板在不同视差值下的匹配成本指用模板覆盖左右视角图中任一视角图的像素点(i，j)，模板覆盖区域内的所有像素点集合记为B1，根据不同视差值确定左右视角图中另一视角图的像素点，用模板覆盖此像素点，模板覆盖区域内的所有像素点集合记为B2，集合B1和集合B2中所有对应位置像素点的高斯拉普拉斯卷积值的差的和即为像素点(i，j)使用同一种模板在不同视差值下的匹配成本。本实施例中，用模板覆盖左右视角图中像素点时以此像素点为中心点进行覆盖。

所述步骤2具体步骤包括：

步骤2-1，选取不同尺寸不同大小的模板，记作模板b₁，b₂，b₃；取模板b₁的尺寸1×31，取模板b₂的尺寸31×1，取模板b₃的尺寸9×9；

步骤2-2，分别计算左右视角图中像素点(i，j)使用模板b₁，b₂，b₃在视差值d下的模板匹配成本

其中，d为视差，d∈[0，64]，

为模板b_n在左右视角图覆盖区域内的像素点，

为计算左视角图匹配成本

寸，模板b_n在右视角图覆盖区域内的像素点，

为计算右视角图匹配成本

时，模板b_n在左视角图覆盖区域内的像素点，

刁所述左视角图像素点

的高斯拉普拉斯卷积值，

所述右视角图像素点

的高斯拉普拉斯卷积值，

为所述右视角图像素点

的高斯拉普拉斯卷积值，

为所述右视角图像素点

的高斯拉普拉斯卷积值；

步骤2-3，分别对左右视角图比较同一种模板b_n下像素点(i，j)的所有视差值d的模板匹配成本，模板匹配成本最小值为该模板b₁，b₂，b₃的纵向匹配成本

和

使模板匹配成本最小的视差为

和

n∈{1，2，3}

其中，

表示使

或

为最小时的d值。

本实施例所述的基于多粒度特征匹配大场景深度图生成方法中，所述步骤3包括：

步骤3-1，分别对所述左右视角图中的每一个像素点(i，j)横向比较其在所述不同形状不同尺寸的模板b₁，b₂，b₃下的纵向匹配成本

和

纵向匹配成本最小值为所述不同粒度的模板b₁，b₂，b₃下像素点(i，j)的横向匹配成本，对应的视差值d作为所述左右视角图中像素点(i，j)的视差值d_L(i，j)和d_R(i，j)：

步骤3-2，所述左右视角每个像素点的视差值d_L(i，j)和d_R(i，j)，组成左右视角视差图，由左视角图得到的为左视角视差图D_L，由所述右视角图得到的为右视角视差图D_R；

本实施例所述的基于多粒度特征匹配大场景深度图生成方法中，所述步骤4包括：

步骤4-1，对所述左视角视差图D_L和右视角视差图D_R的对应点进行比较，即进行所述对应一致性检查，视差值一致的像素点保留不变，视差值不一致的像素点置为无效点inv；

步骤4-2，在所述左视角视差图D_L的无效点的上、下、左、右、左上、左下、右上、右下八个邻域方向寻找有效点，统计有效点的视差值，取频率最高的视差值填充为该无效点的视差值；本实施例中，在八个邻域方向寻找有效点的范围为不超过无效点3个像素点。

步骤4-3，对经过对应一致性检查和无效点填充的所述左视角视差图D_L，进行中值滤波，得到所述最终的深度图，如图4所示。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的基于多粒度特征匹配大场景深度图生成方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供了一种基于多粒度特征匹配大场景深度图生成方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.基于多粒度特征匹配大场景深度图生成方法，其特征在于，包括：

步骤1，对左右视角图进行特征变换，所述左右视角图包括左视角图和右视角图；

步骤2，选取不同粒度的模板，分别在特征变换后的左右视角图上计算同一种模板在不同视差值下的匹配成本，并进行纵向对比，得到该模板下每一个像素点的纵向匹配成本和对应的视差值；

步骤3，将不同粒度模板在同一个像素点的纵向匹配成本进行横向比较，得到多模板下每一个像素点的横向匹配成本和对应的视差值，组成左右视角视差图；

步骤4，对左右视角视差图进行对应一致性检查排除无效点，在无效点邻域寻找可靠有效点进行填充，再进行中值滤波，得到深度图；

所述步骤1的特征变换为使用高斯拉普拉斯卷积核对每一个像素点进行卷积；

所述步骤2中同一种模板在不同视差值下的匹配成本指用模板覆盖左右视角图中任一视角图的像素点(i，j)，模板覆盖区域内的所有像素点集合记为B1，根据不同视差值确定左右视角图中另一视角图的像素点，用模板覆盖此像素点，模板覆盖区域内的所有像素点集合记为B2，集合B1和集合B2中所有对应位置像素点的高斯拉普拉斯卷积值的差的和即为像素点(i，j)使用同一种模板在不同视差值下的匹配成本；用模板覆盖左右视角图中像素点时以此像素点为中心点进行覆盖；

所述步骤2包括：

步骤2-1，选取不同粒度的模板b₁，b₂，...，b_n，n∈N^*；记模板b∈{b₁，b₂，...，b_n}，模板b的尺寸为m×l，其中，m，l＝2k+1，k∈N；

步骤2-2，分别计算左右视角图中像素点(i，j)使用同一种模板b在不同视差值d下的匹配成本C_L，b(i，j，d)和C_R，b(i，j，d)：

其中，d为视差值，d∈N，(i_b，j_b)为模板b在左右视角图覆盖区域内的像素点，(i_b-d，j_b)为计算左视角图匹配成本C_L，b(i，j，d)时，模板b在右视角图覆盖区域内的像素点，(i_b+d，j_b)为计算右视角图匹配成本C_R，b(i，j，d)时，模板b在左视角图覆盖区域内的像素点，I_L，LoG(i_b，j_b)为所述左视角图像素点(i_b，j_b)的高斯拉普拉斯卷积值，I_R，LoG(i_b-d，j_b)为所述右视角图像素点(i_b-d，j_b)的高斯拉普拉斯卷积值，I_R，LoG(i_b，j_b)为所述右视角图像素点(i_b，j_b)的高斯拉普拉斯卷积值，I_L，LoG(i_b+d，j_b)为所述左视角图像素点(i_b+d，j_b)的高斯拉普拉斯卷积值；

步骤2-3，分别对左右视角图同一种模板b下像素点(i，j)的所有视差值d的模板匹配成本进行纵向比较，模板匹配成本最小值为该模板b下像素点(i，j)的纵向匹配成本C_L，b(i，j)和C_R，b(i，j)，对应的视差为d_L，b(i，j)和d_R，b(i，j)：

C_L，b(i，j)＝min C_L，b(i，j，d)

C_R，b(i，j)＝min C_R，b(i，j，d)

其中，

表示使C_L，b(i，j，d)或C_R，b(i，j，d)为最小值时的视差值d；

所述步骤3包括：

步骤3-1，分别对所述左右视角图中的每一个像素点(i，j)比较其在所述不同粒度的模板b₁，b₂，...，b_n下的纵向匹配成本

和

纵向匹配成本最小值为所述不同粒度的模板b₁，b₂，...，b_n下像素点(i，j)的横向匹配成本，对应的视差值d作为所述左右视角图中像素点(i，j)的视差值d_L(i，j)和d_R(i，j)：

步骤3-2，所述左右视角每个像素点的视差值d_L(i，j)和d_R(i，j)，分别组成左右视角视差图，由左视角图得到的为左视角视差图D_L，由所述右视角图得到的为右视角视差图D_R。

2.根据权利要求1所述的基于多粒度特征匹配大场景深度图生成方法，其特征在于，所述步骤1包括：

步骤1-1，选取w×w的高斯拉普拉斯卷积核窗口，其中，w＝2k+1，k∈N^*，高斯拉普拉斯卷积核LoG(x，y)为

其中，x，y分别为距离所述高斯拉普拉斯卷积核窗口中心点的横向和竖向的像素位置差，σ为所述高斯拉普拉斯卷积核的标准差；

步骤1-2，分别在左右视角图上对每一个像素点用所述高斯拉普拉斯卷积核进行卷积，得到所述像素点的高斯拉普拉斯卷积值I_LoG(i，j)，i，j为像素点在所述左右视角图中的横纵坐标，i，j∈N。

3.根据权利要求1所述的基于多粒度特征匹配大场景深度图生成方法，其特征在于，所述步骤4包括：

步骤4-1，对所述左视角视差图D_L和右视角视差图D_R的对应点进行比较，即进行所述对应一致性检查，视差值一致的像素点保留不变，视差值不一致的像素点置为无效点inv；

步骤4-2，在所述左视角视差图D_L的无效点邻域的上、下、左、右、左上、左下、右上、右下八个方向寻找有效点，统计有效点视差值的出现频率，取频率最高的视差值填充为该无效点的视差值；

步骤4-3，对经过对应一致性检查和无效点填充的所述左视角视差图D_L进行中值滤波，得到最终深度图。

Images