CN114998453A - 一种基于高尺度单元的立体匹配模型及其应用方法 - Google Patents

Abstract

本发明公开了一种基于高尺度单元的立体匹配模型及其应用方法，涉及双目测距领域，其包括依次连接的计算通道、三维卷积层、综合视差层与输出层；所述计算通道包括结构一致的第一计算通道与第二计算通道；所述第一计算通道与第二计算通道，分别用于利用其对应的高尺度单元获取双目图像中第一图像与第二图像对应的目标代价特征；三维卷积层，用于对第一图像与第二图像对应的目标代价特征进行三维卷积计算以得到三维代价特征；综合视差层，用于通过三维代价特征获取双目图像的视差值，以得到双目图像对应的视差图；其极大的提高了视差计算的精准度。

Description

一种基于高尺度单元的立体匹配模型及其应用方法

技术领域

本发明涉及双目测距领域，尤其涉及一种基于高尺度单元的立体匹配模型及其应用方法。

背景技术

双目技术广泛应用于智慧仓储、三维重建、车辆导航、辅助驾驶等领域。近年来，深度学习在许多计算机视觉任务上取得了优异的成绩，包括距离预测任务。其中，基于卷积网络的立体匹配算法取得的视差较传统算法有较大的改善。GC-Net是一个常用的基于深度学习的立体匹配方法，其使用的编解码单元是聚集环境信息的一种方法，降低了模糊位置的误匹配率，使用立体匹配方法获取深度信息，是一种常用的深度获取方法，但其产生的深度仍不能满足实际使用，特别是在低纹理、弱纹理区域，本发明通过改进GC-Net，在其中加入高尺度单元、截断的综合视差法，以获取更准确的视差来提高深度的精准度，并结合yolov5实现了物体距离的快速测量。相较于其他测距设备本发明的模型与方法成本更低。

发明内容

为了获取更为准确的视差，本发明提出了一种基于高尺度单元的立体匹配模型，其利用双目相机获取的双目图像获取其对应的视差值，所述立体匹配模型包括：

依次连接的计算通道、三维卷积层、综合视差层与输出层；所述计算通道包括结构一致的第一计算通道与第二计算通道；所述第一计算通道与第二计算通道均包括依次连接的输入层、第一卷积层、高尺度单元与第二卷积层，所述第一计算通道与第二计算通道的第二卷积层均连接于三维卷积层；其中：

第一计算通道与第二计算通道，分别用于利用其对应的高尺度单元获取双目图像中第一图像与第二图像对应的目标代价特征；

三维卷积层，用于对第一图像与第二图像对应的目标代价特征进行三维卷积计算以得到三维代价特征；

综合视差层，用于通过三维代价特征获取双目图像的视差值，以得到双目图像对应的视差图；

输出层，用于输出视差图。

进一步地，所述第一计算通道中：

输入层，用于输入第一图像；

第一卷积层，用于对第一图像进行卷积计算以获取第一图像对应的卷积特征图，并输入高尺度单元；

高尺度单元，用于获取第一图像对应卷积特征图的目标代价特征；

第二卷积层，用于对第一图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层；

所述第二计算通道中：

输入层，用于输入第二图像；

第一卷积层，用于对第二图像进行卷积计算以获取第二图像对应的卷积特征图，并输入高尺度单元；

高尺度单元，用于获取第二图像对应卷积特征图的目标代价特征；

第二卷积层，用于对第二图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层。

进一步地，所述高尺度单元包括以下依次连接的连接段：

特征提取段、第二融合段、第三融合段与第四融合段；所述各连接段内均包括有并行层次子网；所述特征提取段包括一个并行层次子网，融合段比其对应的前一连接段多一个并行层次子网；

所述融合段内的各个并行层次子网的输入均包括前一连接段内各个并行层次子网提取的所有特征；

所述并行层次子网用于对输入的特征作进一步的特征提取；

所述融合段，用于融合其包含的各个并行层次子网提取的所有特征，并输入下一融合段；所述融合段为第二融合段或第三融合段或第四融合段。

进一步地，所述特征提取段具体包括第一并行层次子网；所述第二融合段包括第一并行层次子网与第二并行层次子网；所述第三融合段包括第一并行层次子网、第二并行层次子网与第三并行层次子网；所述第四融合段包括第一并行层次子网、第二并行层次子网、第三并行层次子网与第四并行层次子网；

所述高尺度单元中的：

特征提取段，用于通过其对应的并行层次子网提取卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；

第二融合段，用于通过其对应的并行层次子网分别对初始代价特征进行特征提取，以得到各并行层次子网提取的二次代价特征，融合各并行层次子网对应的二次代价特征，得到二次融合代价特征，并将二次融合代价特征输入第三融合段内的各个并行层次子网；

第三融合段，用于通过其对应的并行层次子网分别对二次融合代价特征进行特征提取，以得到各并行层次子网提取的三次代价特征，融合各并行层次子网对应的三次代价特征，得到三次融合代价特征，并将三次融合代价特征输入第四融合段内的各个并行层次子网；

第四融合段，用于通过其对应的并行层次子网分别对三次融合代价特征进行特征提取，以得到各并行层次子网提取的四次代价特征，融合各并行层次子网对应的四次代价特征，得到目标代价特征，并将目标代价特征输入三维卷积层。

进一步地，所述特征提取段中的并行层次子网具体为残差模块，用于对卷积特征图中的特征进行残差计算，以得到卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；

所述第二融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元与融合中心；

所述第一融合单元中，所述第一残差单元与第二残差单元均用于对二次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述融合中心用于融合各个第三残差特征以得到二次融合代价特征，并输入第三融合段内的各个并行层次子网。

进一步地，所述第三融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元与融合中心；

所述第一融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对三次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述第三融合中心用于融合各个第三残差特征以得到三次融合代价特征，并输入第四融合段内的各个并行层次子网。

进一步地，所述第四融合段包括：依次连接的第一融合单元、第二融合单元、第三融合单元与第四融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元、第四并行层次子网对应的第四残差单元与融合中心；

所述第一融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对四次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，并通过融合中心融合后输入第四融合单元；

所述第四融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第三残差特征进行残差计算以得到各自对应的第四残差特征；所述融合中心用于融合各个第四残差特征，以得到目标代价特征，并输入三维卷积层。

进一步地，所述双目图像的获取方法包括步骤：

通过Matlab对双目相机进行双目标定，以获取双目相机的内参、外参与畸变系数；

通过双目相机的内参、外参与畸变系数利用opencv对双目相机进行立体校正；

通过校正后的双目相机获取双目图像。

进一步地，所述综合视差层中通过三维代价特征获取双目图像视差值的方法为：

S01：获取设定视差等级下三维代价特征对应的概率值，获取公式为：

式中，n表示设定视差等级，

表示设定视差等级下的三维代价特征，

表示预设最大视差等级，

表示设定视差等级下三维代价特征对应的概率值，e表示自然对数的底数，

表示设定视差等级下三维代价特征对应的指数函数，

表示第i视差等级下三维代价特征对应的指数函数；

S02：通过设定视差等级下三维代价特征对应的概率值获取双目图像对应的视差值，获取公式为：

式中，t为预设概率阈值，

为双目图像对应的视差值。

本发明还提出了一种基于高尺度单元的立体匹配模型的应用方法，包括步骤：

S01：通过YOLOv5获取双目图像中的检测目标，并获取检测目标在uOv坐标系下的中心点坐标

；

S02：通过立体匹配模型获取双目图像对应的视差图，通过视差图获取检测目标中心点坐标位置对应的视差值；

S03：通过视差值获取双目图像中中心点坐标位置对应的深度值，获取公式为：

式中，

为焦距，

为双目相机中第一相机光心与第二相机光心之间的直线距离，

为双目图像对应的视差值，

为中心点坐标

对应的深度值；

S04：通过双目图像对应的深度值、中心点坐标

以及双目相机的内参获取检测目标在相机坐标系中的位置

，获取公式为：

式中，dx为双目图像中像素点在u轴方向上的物理尺寸，dy为双目图像中像素点在v轴方向上的物理尺寸，cx、cy均为双目相机的内参；

S05：通过检测目标在相机坐标系中的位置

获取中心点坐标

至双目相机的直线距离，获取公式为：

式中，d为中心点坐标

至双目相机的直线距离。

与现有技术相比，本发明至少含有以下有益效果：

（1）本发明分别通过立体匹配模型中第一计算通道与第二计算通道中的高尺度单元获取第一图像与第二图像对应的目标代价特征，极大的提高了视差的获取精度；

（2）本发明通过特征提取段对应的并行层次子网提取卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；所述各个融合段中的融合单元，在前一融合单元中各并行层次子网对应的残差单元进行残差计算得到各残差单元对应的残差特征，并通过融合中心融合后，输入至下一融合单元，依次类推，直至达到最后一个融合单元，其通过融合段中依次连接的多个融合单元，以及融合单元中各个并行层次子网对应的残差单元与融合中心的结构关系，实现对第一图像与第二图像特征的多次提取与融合，极大的提高了视差计算的精准度；

（3）本发明提出的基于高尺度单元的立体匹配模型的应用方法，其通过立体匹配模型结合YOLOv5，极大的提高了测量精度，且实现了检测目标中心点至双目相机之间直线距离的快速测量；

（4）本发明提出的立体匹配模型及其应用方法，相对现有技术中的测距方法，极大的降低了测量成本，提高了测量效率与测量精度，解决了现有测量方法中测量出的深度仍然不能满足实际使用需求的问题。

附图说明

图1为一种基于高尺度单元的立体匹配模型图；

图2为一种基于高尺度单元的立体匹配模型的应用方法流程图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

为了获取更为准确的视差，如图1所示，本发明提出了一种基于高尺度单元的立体匹配模型，其利用双目相机获取的双目图像获取其对应的视差值，所述立体匹配模型包括：

依次连接的计算通道、三维卷积层、综合视差层与输出层；所述计算通道包括结构一致的第一计算通道与第二计算通道；所述第一计算通道与第二计算通道均包括依次连接的输入层、第一卷积层、高尺度单元与第二卷积层，所述第一计算通道与第二计算通道的第二卷积层均连接于三维卷积层；其中：

第一计算通道与第二计算通道，分别用于利用其对应的高尺度单元获取双目图像中第一图像与第二图像对应的目标代价特征；

所述双目图像的获取方法包括步骤：

通过Matlab对双目相机进行双目标定，以获取双目相机的内参（

）、外参（包括双目相机中第一相机相对第二相机的旋转矩阵与平移向量）与畸变系数（包括径向畸变系数与切向畸变系数）；

通过双目相机的内参、外参与畸变系数利用opencv对双目相机进行立体校正；

通过校正后的双目相机获取双目图像。

所述第一计算通道中：

输入层，用于输入第一图像；

第一卷积层，用于对第一图像进行卷积计算以获取第一图像对应的卷积特征图，并输入高尺度单元；

高尺度单元，用于获取第一图像对应卷积特征图的目标代价特征；

第二卷积层，用于对第一图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层；

所述第二计算通道中：

输入层，用于输入第二图像；

第一卷积层，用于对第二图像进行卷积计算以获取第二图像对应的卷积特征图，并输入高尺度单元；

高尺度单元，用于获取第二图像对应卷积特征图的目标代价特征；

第二卷积层，用于对第二图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层。

所述高尺度单元包括以下依次连接的连接段：

特征提取段、第二融合段、第三融合段与第四融合段；所述各连接段内均包括有并行层次子网；所述特征提取段包括一个并行层次子网，融合段比其对应的前一连接段多一个并行层次子网；

所述融合段内的各个并行层次子网的输入均包括前一连接段内各个并行层次子网提取的所有特征；

所述并行层次子网用于对输入的特征作进一步的特征提取；

所述融合段，用于融合其包含的各个并行层次子网提取的所有特征，并输入下一融合段；所述融合段为第二融合段或第三融合段或第四融合段。

所述特征提取段具体包括第一并行层次子网；所述第二融合段包括第一并行层次子网与第二并行层次子网；所述第三融合段包括第一并行层次子网、第二并行层次子网与第三并行层次子网；所述第四融合段包括第一并行层次子网、第二并行层次子网、第三并行层次子网与第四并行层次子网；

所述高尺度单元中的：

特征提取段，用于通过其对应的并行层次子网提取卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；

所述特征提取段中的并行层次子网具体为残差模块，用于对卷积特征图中的特征进行残差计算，以得到卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；需要说明的是所述残差模块具体为依次连接的四个残差单元。

第二融合段，用于通过其对应的并行层次子网分别对初始代价特征进行特征提取，以得到各并行层次子网提取的二次代价特征，融合各并行层次子网对应的二次代价特征，得到二次融合代价特征，并将二次融合代价特征输入第三融合段内的各个并行层次子网；

所述第二融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元与融合中心；

所述第一融合单元中，所述第一残差单元与第二残差单元均用于对二次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述融合中心用于融合各个第三残差特征以得到二次融合代价特征，并输入第三融合段内的各个并行层次子网。

第三融合段，用于通过其对应的并行层次子网分别对二次融合代价特征进行特征提取，以得到各并行层次子网提取的三次代价特征，融合各并行层次子网对应的三次代价特征，得到三次融合代价特征，并将三次融合代价特征输入第四融合段内的各个并行层次子网；

所述第三融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元与融合中心；

所述第一融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对三次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述第三融合中心用于融合各个第三残差特征以得到三次融合代价特征，并输入第四融合段内的各个并行层次子网。

本实施例，以第三融合段为例，通过下面的公式体现出第三融合段中第一融合单元、第二融合单元与第三融合单元之间的关系；

式中，

中，s表示融合段的段数，b表示第几融合单元，以

为例，其表示第三融合段中第一融合单元对应的融合中心；

中，r表示第几并行层次子网，以

为例，其表示第三融合段中第一融合单元内第一并行层次子网对应的第一残差单元；

表示第三融合段中第一融合单元内第二并行层次子网对应的第二残差单元；

表示第三融合段中第一融合单元内第三并行层次子网对应的第三残差单元。

第四融合段，用于通过其对应的并行层次子网分别对三次融合代价特征进行特征提取，以得到各并行层次子网提取的四次代价特征，融合各并行层次子网对应的四次代价特征，得到目标代价特征，并将目标代价特征输入三维卷积层。

所述第四融合段包括：依次连接的第一融合单元、第二融合单元、第三融合单元与第四融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元、第四并行层次子网对应的第四残差单元与融合中心；

所述第一融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对四次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，并通过融合中心融合后输入第四融合单元；

所述第四融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第三残差特征进行残差计算以得到各自对应的第四残差特征；所述融合中心用于融合各个第四残差特征，以得到目标代价特征，并输入三维卷积层。

三维卷积层，用于对第一图像与第二图像对应的目标代价特征进行三维卷积计算以得到三维代价特征；

综合视差层，用于通过三维代价特征获取双目图像的视差值，以得到双目图像对应的视差图；

所述综合视差层中通过三维代价特征获取双目图像视差值的方法为：

S01：获取设定视差等级下三维代价特征对应的概率值，获取公式为：

式中，n表示设定视差等级，

表示设定视差等级下的三维代价特征，

表示预设最大视差等级，

表示设定视差等级下三维代价特征对应的概率值，e表示自然对数的底数，

表示设定视差等级下三维代价特征对应的指数函数，

表示第i视差等级下三维代价特征对应的指数函数；

S02：通过设定视差等级下三维代价特征对应的概率值获取双目图像对应的视差值，获取公式为：

式中，t为预设概率阈值，本实施例中t等于0.2，

为双目图像对应的视差值。

需要说明的是，本发明使用的是一种截断的综合视差法，由于设定视差等级较大时，其与概率值的乘积结果对于整个视差结果的影响较大，因此本发明通过舍弃一些概率值极小的概率值数据，来减小不必要的影响，截断的综合视差方法通过累加各个视差等级与其概率值的积，极大的提高了视差值的精确度。另外使用概率加权法获取的视差值考虑到了所有视差，所以结果更加平滑稳定，且整个函数可导，立体匹配模型中也无需添加后处理单元。

输出层，用于输出视差图。

本发明分别通过立体匹配模型中第一计算通道与第二计算通道中的高尺度单元获取第一图像与第二图像对应的目标代价特征，极大的提高了视差的获取精度。

需要注意的是，本发明还包括对立体匹配模型的训练，在训练后还包括使用损失函数来衡量立体匹配模型的训练效果，相较于立体匹配方法中常用的其他损失函数，本发明使用平滑的L1损失函数，其在视差不连续处，能够对噪声和异常值保持一定的过滤性，具有一定的稳健性。本发明采用平滑的L1损失函数，损失函数的公式表达式为：

式中，

为模型预测得到的视差值，

为视差标签，

为有效视差点码数，

为阈值常量，

=

，

的公式表达式为：

。

本发明通过特征提取段对应的并行层次子网提取卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；所述各个融合段中的融合单元，在前一融合单元中各并行层次子网对应的残差单元进行残差计算得到各残差单元对应的残差特征，并通过融合中心融合后，输入至下一融合单元，依次类推，直至达到最后一个融合单元，其通过融合段中依次连接的多个融合单元，以及融合单元中各个并行层次子网对应的残差单元与融合中心的结构关系，实现对第一图像与第二图像特征的多次提取与融合，极大的提高了视差计算的精准度。

实施例二

如图2所示，本发明还提出了一种基于高尺度单元的立体匹配模型的应用方法，包括步骤：

S01：通过YOLOv5获取双目图像中的检测目标，并获取检测目标在uOv坐标系下的中心点坐标

；

本实施例中，步骤S01具体为：使用YOLOv5进行目标检测，将双目图像输入卷积神经网络进行特征提取，所述卷积神经网络有5次下采样，保留最后3次下采样的特征图，使用anchor框选每个特征图中的特征，每个anchor输出中心坐标、宽高坐标、置信度、目标所属类别概率。设置置信度阈值以及类别概率阈值，删除低于两种阈值的anchor。使用非极大值抑制，删除交并比超过设定值的同类别anchor，保留剩下的anchor，即目标检测完成。

本发明提出的基于高尺度单元的立体匹配模型的应用方法，其通过立体匹配模型结合YOLOv5，极大的提高了测量精度，且实现了检测目标中心点至双目相机之间直线距离的快速测量。

S02：通过立体匹配模型获取双目图像对应的视差图，通过视差图获取检测目标中心点坐标位置对应的视差值；

S03：通过视差值获取双目图像中中心点坐标位置对应的深度值，获取公式为：

式中，

为焦距，

为双目相机中第一相机光心与第二相机光心之间的直线距离，

为双目图像对应的视差值，

为中心点坐标

对应的深度值；

S04：通过双目图像对应的深度值、中心点坐标

以及双目相机的内参获取检测目标在相机坐标系中的位置

，获取公式为：

式中，dx为双目图像中像素点在u轴方向上的物理尺寸，dy为双目图像中像素点在v轴方向上的物理尺寸，cx、cy均为双目相机的内参；

S05：通过检测目标在相机坐标系中的位置

获取中心点坐标

至双目相机的直线距离，获取公式为：

式中，d为中心点坐标

至双目相机的直线距离。

本发明提出的立体匹配模型及其应用方法，相对现有技术中的测距方法，极大的降低了测量成本，提高了测量效率与测量精度，解决了现有测量方法中测量出的深度仍然不能满足实际使用需求的问题。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (10)

1.一种基于高尺度单元的立体匹配模型，其利用双目相机获取的双目图像获取其对应的视差值，其特征在于，所述立体匹配模型包括：

依次连接的计算通道、三维卷积层、综合视差层与输出层；所述计算通道包括结构一致的第一计算通道与第二计算通道；所述第一计算通道与第二计算通道均包括依次连接的输入层、第一卷积层、高尺度单元与第二卷积层，所述第一计算通道与第二计算通道的第二卷积层均连接于三维卷积层；其中：

第一计算通道与第二计算通道，分别用于利用其对应的高尺度单元获取双目图像中第一图像与第二图像对应的目标代价特征；

三维卷积层，用于对第一图像与第二图像对应的目标代价特征进行三维卷积计算以得到三维代价特征；

综合视差层，用于通过三维代价特征获取双目图像的视差值，以得到双目图像对应的视差图；

输出层，用于输出视差图。

2.根据权利要求1所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述第一计算通道中：

输入层，用于输入第一图像；

第一卷积层，用于对第一图像进行卷积计算以获取第一图像对应的卷积特征图，并输入高尺度单元；

高尺度单元，用于获取第一图像对应卷积特征图的目标代价特征；

第二卷积层，用于对第一图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层；

所述第二计算通道中：

输入层，用于输入第二图像；

第一卷积层，用于对第二图像进行卷积计算以获取第二图像对应的卷积特征图，并输入高尺度单元；

高尺度单元，用于获取第二图像对应卷积特征图的目标代价特征；

第二卷积层，用于对第二图像对应的目标代价特征进行卷积计算，并将卷积计算后的目标代价特征输入三维卷积层。

3.根据权利要求2所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述高尺度单元包括以下依次连接的连接段：

特征提取段、第二融合段、第三融合段与第四融合段；所述各连接段内均包括有并行层次子网；所述特征提取段包括一个并行层次子网，融合段比其对应的前一连接段多一个并行层次子网；

所述融合段内的各个并行层次子网的输入均包括前一连接段内各个并行层次子网提取的所有特征；

所述并行层次子网用于对输入的特征作进一步的特征提取；

所述融合段，用于融合其包含的各个并行层次子网提取的所有特征，并输入下一融合段；所述融合段为第二融合段或第三融合段或第四融合段。

4.根据权利要求3所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述特征提取段具体包括第一并行层次子网；所述第二融合段包括第一并行层次子网与第二并行层次子网；所述第三融合段包括第一并行层次子网、第二并行层次子网与第三并行层次子网；所述第四融合段包括第一并行层次子网、第二并行层次子网、第三并行层次子网与第四并行层次子网；

所述高尺度单元中的：

特征提取段，用于通过其对应的并行层次子网提取卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；

第二融合段，用于通过其对应的并行层次子网分别对初始代价特征进行特征提取，以得到各并行层次子网提取的二次代价特征，融合各并行层次子网对应的二次代价特征，得到二次融合代价特征，并将二次融合代价特征输入第三融合段内的各个并行层次子网；

第三融合段，用于通过其对应的并行层次子网分别对二次融合代价特征进行特征提取，以得到各并行层次子网提取的三次代价特征，融合各并行层次子网对应的三次代价特征，得到三次融合代价特征，并将三次融合代价特征输入第四融合段内的各个并行层次子网；

第四融合段，用于通过其对应的并行层次子网分别对三次融合代价特征进行特征提取，以得到各并行层次子网提取的四次代价特征，融合各并行层次子网对应的四次代价特征，得到目标代价特征，并将目标代价特征输入三维卷积层。

5.根据权利要求4所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述特征提取段中的并行层次子网具体为残差模块，用于对卷积特征图中的特征进行残差计算，以得到卷积特征图对应的初始代价特征，并输入第二融合段中的各个并行层次子网；

所述第二融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元与融合中心；

所述第一融合单元中，所述第一残差单元与第二残差单元均用于对二次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元与第二残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述融合中心用于融合各个第三残差特征以得到二次融合代价特征，并输入第三融合段内的各个并行层次子网。

6.根据权利要求5所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述第三融合段包括：依次连接的第一融合单元、第二融合单元与第三融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元与融合中心；

所述第一融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对三次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元、第二残差单元与第三残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，所述第三融合中心用于融合各个第三残差特征以得到三次融合代价特征，并输入第四融合段内的各个并行层次子网。

7.根据权利要求6所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述第四融合段包括：依次连接的第一融合单元、第二融合单元、第三融合单元与第四融合单元；所述各融合单元中均包括有第一并行层次子网对应的第一残差单元、第二并行层次子网对应的第二残差单元、第三并行层次子网对应的第三残差单元、第四并行层次子网对应的第四残差单元与融合中心；

所述第一融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对四次代价特征进行残差计算以得到各自对应的第一残差特征，并通过融合中心融合后输入第二融合单元；

所述第二融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第一残差特征进行残差计算以得到各自对应的第二残差特征，并通过融合中心融合后输入第三融合单元；

所述第三融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第二残差特征进行残差计算以得到各自对应的第三残差特征，并通过融合中心融合后输入第四融合单元；

所述第四融合单元中，所述第一残差单元、第二残差单元、第三残差单元与第四残差单元均用于对融合后的第三残差特征进行残差计算以得到各自对应的第四残差特征；所述融合中心用于融合各个第四残差特征，以得到目标代价特征，并输入三维卷积层。

8.根据权利要求1所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述双目图像的获取方法包括步骤：

通过Matlab对双目相机进行双目标定，以获取双目相机的内参、外参与畸变系数；

通过双目相机的内参、外参与畸变系数利用opencv对双目相机进行立体校正；

通过校正后的双目相机获取双目图像。

9.根据权利要求8所述的一种基于高尺度单元的立体匹配模型，其特征在于，所述综合视差层中通过三维代价特征获取双目图像视差值的方法为：

S01：获取设定视差等级下三维代价特征对应的概率值，获取公式为：

式中，n表示设定视差等级，

表示设定视差等级下的三维代价特征，

表示预设最大视差等级，

表示设定视差等级下三维代价特征对应的概率值，e表示自然对数的底数，

表示设定视差等级下三维代价特征对应的指数函数，

表示第i视差等级下三维代价特征对应的指数函数；

S02：通过设定视差等级下三维代价特征对应的概率值获取双目图像对应的视差值，获取公式为：

式中，t为预设概率阈值，

为双目图像对应的视差值。

10.一种基于高尺度单元的立体匹配模型的应用方法，其特征在于，包括步骤：

S01：通过YOLOv5获取双目图像中的检测目标，并获取检测目标在uOv坐标系下的中心点坐标

；

S02：通过立体匹配模型获取双目图像对应的视差图，通过视差图获取检测目标中心点坐标位置对应的视差值；

S03：通过视差值获取双目图像中中心点坐标位置对应的深度值，获取公式为：

式中，

为焦距，

为双目相机中第一相机光心与第二相机光心之间的直线距离，

为双目图像对应的视差值，

为中心点坐标

对应的深度值；

S04：通过双目图像对应的深度值、中心点坐标

以及双目相机的内参获取检测目标在相机坐标系中的位置

，获取公式为：

式中，dx为双目图像中像素点在u轴方向上的物理尺寸，dy为双目图像中像素点在v轴方向上的物理尺寸，cx、cy均为双目相机的内参；

S05：通过检测目标在相机坐标系中的位置

获取中心点坐标

至双目相机的直线距离，获取公式为：

式中，d为中心点坐标

至双目相机的直线距离。

Images