CN113887568A - 一种各向异性卷积的双目图像立体匹配方法 - Google Patents

一种各向异性卷积的双目图像立体匹配方法 Download PDF

Info

Publication number
CN113887568A
CN113887568A CN202111054945.8A CN202111054945A CN113887568A CN 113887568 A CN113887568 A CN 113887568A CN 202111054945 A CN202111054945 A CN 202111054945A CN 113887568 A CN113887568 A CN 113887568A
Authority
CN
China
Prior art keywords
convolution
scale
cost
layer
anisotropic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111054945.8A
Other languages
English (en)
Other versions
CN113887568B (zh
Inventor
朱虹
武忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202111054945.8A priority Critical patent/CN113887568B/zh
Publication of CN113887568A publication Critical patent/CN113887568A/zh
Application granted granted Critical
Publication of CN113887568B publication Critical patent/CN113887568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种各向异性卷积的双目图像立体匹配方法，步骤包括：1)提取左视图和右视图的多尺度特征；2)融合左视图和右视图的多尺度特征；3)构建多尺度代价体；4)对多尺度代价体进行各向异性聚合；5)对各向异性代价体进行多尺度聚合；6)采用变形卷积对多尺度级联聚合代价体进行再次聚合；7)生成视差图，至此，完成左右视图之间的立体匹配，获得了更加准确的视差图。本发明的方法，使用各向异性卷积进行代价聚合，利用各向异性卷积丰富的感受野形状，去契合图像中形状多变的同质区域和视差边界，聚合得到更加准确的匹配代价，以获得更加准确的视差图。

Description

一种各向异性卷积的双目图像立体匹配方法
技术领域
本发明属于图像立体匹配技术领域，涉及一种各向异性卷积的双目图像立体匹配方法。
背景技术
图像立体匹配技术是指根据双目相机对同一立体场景拍摄到的左视图和右视图，自动确定左、右两幅视图之间所有像素的对应关系的方法，获得的结果是用视差图描述描述的左右两幅视图像素之间的对应关系；图像立体匹配技术是计算机视觉的核心技术之一，在实际生产和生活中具有重要意义和广泛应用，如在智能制造、自动驾驶、机器人导航、三维测量、三维重建、虚拟现实和增强现实等领域具有广泛的应用价值；在获取左右视图像素对应关系时，当前的绝大多数方法使用形状固定的卷积核对代价体进行卷积以获得最终的聚合代价，进而得出左右视图像素之间的对应关系，即视差图；然而，形状固定的卷积核无法很好地契合图像中形状多变的同质区域和边界，对精度要求较高的场合，最终所得的视差图难以满足精度要求。
发明内容
本发明的目的是提供一种各向异性卷积的双目图像立体匹配方法，解决了现有技术在图像立体匹配过程中使用形状固定的卷积核，导致所得视差图难以满足精度要求的问题。
本发明所采用的技术方案是，一种各向异性卷积的双目图像立体匹配方法，按照以下步骤实施：
步骤1、提取左视图和右视图的多尺度特征；
步骤2、融合左视图和右视图的多尺度特征；
步骤3、构建多尺度代价体；
步骤4、对多尺度代价体进行各向异性聚合；
步骤5、对各向异性代价体进行多尺度聚合；
步骤6、采用变形卷积对多尺度级联聚合代价体进行再次聚合；
步骤7、生成视差图，完成左右视图之间的立体匹配，获得更加准确的视差图。
本发明的有益效果是，使用各向异性卷积进行代价聚合，利用各向异性卷积丰富的感受野形状，去契合图像中形状多变的同质区域和视差边界，聚合得到更加准确的匹配代价，以获得更加准确的视差图。
附图说明
图1是本发明方法的总体流程框图；
图2是本发明方法中AANet网络的特征提取模块流程框图；
图3是本发明方法中通过各向异性卷积进行代价聚合的流程框图；
图4是本发明方法中各向异性卷积模块流程框图；
图5是本发明方法中AANet网络的变形卷积代价聚合的流程框图；
图6是本发明方法中StereoDRNet网络的视差精确化操作流程框图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参照图1，本发明的各向异性卷积的双目图像立体匹配方法，按照以下步骤实施：
步骤1、提取左视图和右视图的多尺度特征，
针对同一个立体场景拍摄的左视图和右视图提取多尺度特征，可选的特征提取模块包括AANet网络的特征提取模块、GA-Net网络的特征提取模块、StereoNet网络的特征提取模块等(均为现有技术，可在公开发表的论文中检索到)；
本步骤以AANet网络的特征提取模块为例进行说明，处理流程如图2所示，具体过程是：
1.1)提取左视图和右视图的一尺度特征，
将大小为H0×W0的左视图
Figure BDA0003254283400000031
和右视图
Figure BDA0003254283400000032
分别输入第1级特征提取模块，该第1级特征提取模块由1个卷积层和4个残差块级联组成，分别得到一尺度卷积特征
Figure BDA0003254283400000033
和
Figure BDA0003254283400000034
s＝1,2,3，尺度均为1，大小均为H1×W1×C1；
其中，H1＝k1·H0，W1＝k1×W0，k1由卷积步长确定，优选k1＝1/2或者k1＝1/3；C1为通道数，优选C1＝128，也可依据平衡网络的复杂度与特征提取效果自行选择；
1.2)提取左视图和右视图的二尺度特征，
将步骤1.1)得到的一尺度卷积特征
Figure BDA0003254283400000035
和
Figure BDA0003254283400000036
分别输入第2级特征提取模块，该第2级特征提取模块由5个残差块级联组成，分别得到二尺度卷积特征
Figure BDA0003254283400000037
和
Figure BDA0003254283400000038
s＝1,2,3，尺度均为2，大小均为H2×W2×C2；
其中，H2＝k2·H0，W2＝k2·W0，k2由卷积步长确定，优选k2＝k1/2；C2为通道数，优选C2＝2·C1，也可依据平衡网络的复杂度与特征提取效果自行选择；
1.3)提取左视图和右视图的三尺度特征，
将步骤1.2)得到的二尺度卷积特征
Figure BDA0003254283400000041
和
Figure BDA0003254283400000042
分别输入第3级特征提取模块，该第3级特征提取模块由7个变形卷积残差块级联组成，分别得到三尺度卷积特征
Figure BDA0003254283400000043
和
Figure BDA0003254283400000044
s＝1,2,3，尺度均为3，大小均为H3×W3×C3；
其中，H2＝k3·H0，W2＝k3·W0，k3由卷积步长确定，优选k3＝k2/2；C3为通道数，优选C3＝2·C2，也可依据平衡网络的复杂度与特征提取效果自行选择；
步骤2、融合左视图和右视图的多尺度特征，具体过程是，
2.1)将多尺度特征降维至通道数相同，
将步骤1得到的三个尺度的左视图以及右视图的特征
Figure BDA0003254283400000045
以及
Figure BDA0003254283400000046
分别进行1×1卷积降维，得到各自降维后通道数相同的特征，即
Figure BDA0003254283400000047
和
Figure BDA0003254283400000048
和
Figure BDA0003254283400000049
以及
Figure BDA00032542834000000410
和
Figure BDA00032542834000000411
C4为通道数，优选C4＝C2，也可依据平衡网络的复杂度与特征提取效果来自行选择；
2.2)将多尺度特征进行融合，
2.2.1)将步骤2.1)降维得到的三尺度特征
Figure BDA00032542834000000412
和
Figure BDA00032542834000000413
分别输入第一个卷积模块，该第一个卷积模块由3×3卷积层、BatchNorm层和Relu层级联而成，输出三尺度融合特征
Figure BDA00032542834000000414
和
Figure BDA00032542834000000415
s＝1,2,3，尺度为3；
2.2.2)将步骤2.1)降维得到的三尺度特征
Figure BDA0003254283400000051
和
Figure BDA0003254283400000052
进行最近邻插值(最近邻插值方法为公开技术)上采样，大小变为H2×W2×C4，再分别与
Figure BDA0003254283400000053
相加，各自得到
Figure BDA0003254283400000054
和
Figure BDA0003254283400000055
表达式如下：
Figure BDA0003254283400000056
Figure BDA0003254283400000057
2.2.3)将
Figure BDA0003254283400000058
和
Figure BDA0003254283400000059
分别输入第二个卷积模块，该第二个卷积模块由3×3卷积层、BatchNorm层和Relu层级联而成，输出为二尺度融合特征
Figure BDA00032542834000000510
和
Figure BDA00032542834000000511
s＝1,2,3，尺度为2，大小变为H2×W2×C4；
2.2.4)对步骤2.2.2)得到的
Figure BDA00032542834000000512
和
Figure BDA00032542834000000513
进行最近邻插值(最近邻插值方法为公开技术)上采样，使
Figure BDA00032542834000000514
和
Figure BDA00032542834000000515
的大小变为H1×W1×C4与
Figure BDA00032542834000000516
和
Figure BDA00032542834000000517
相同；再将
Figure BDA00032542834000000518
与
Figure BDA00032542834000000519
相加，
Figure BDA00032542834000000520
与
Figure BDA00032542834000000521
相加，分别得到
Figure BDA00032542834000000522
和
Figure BDA00032542834000000523
表达式如下：
Figure BDA00032542834000000524
Figure BDA00032542834000000525
2.2.5)将
Figure BDA00032542834000000526
和
Figure BDA00032542834000000527
分别输入第三个卷积模块，该第三个卷积模块由3×3卷积层、BatchNorm层和Relu层级联而成，输出为一尺度融合特征
Figure BDA00032542834000000528
和
Figure BDA00032542834000000529
s＝1,2,3，尺度为1，大小变为H1×W1×C4；
步骤3、构建多尺度代价体，
采用步骤2得到的三个尺度的融合特征，构建邻域相关计算(为现有方法，可在公开发表的论文中检索到)来构建大小为Hs×Ws×Ds，s＝1,2,3的代价体
Figure BDA00032542834000000530
s＝1,2,3，表达式如下：
Figure BDA0003254283400000061
其中，
Figure BDA0003254283400000062
是步骤2得到的左视图的尺度为s的融合特征
Figure BDA0003254283400000063
在(h,w,c)处的值，s＝1,2,3，
Figure BDA0003254283400000064
是步骤2得到的右视图的尺度为s的融合特征
Figure BDA0003254283400000065
在(h,w-d,c)处的值，Cs(h,w,d)是尺度为s的左视图融合特征
Figure BDA0003254283400000066
在(h,w,c)处与右视图融合特征
Figure BDA0003254283400000067
在(h,w-d,c)处的匹配代价，d为视差值，d∈[0,Ds-1]，Ds表示尺度为s的左视图右视图匹配时的最大视差范围，对于三个尺度，本步骤优选D1＝64，D2＝32，D3＝16；
步骤4、对多尺度代价体进行各向异性聚合，
如图3、图4所示，将代价体
Figure BDA0003254283400000068
输入第1级各向异性卷积模块中，进行如下处理：
4.1)将代价体
Figure BDA0003254283400000069
经过水平卷积层、BatchNorm层、Relu层处理后，得到水平聚合代价体
Figure BDA00032542834000000610
s＝1,2,3，
Figure BDA00032542834000000619
其中，水平卷积层是指卷积核尺寸为1×kc的卷积运算层；
4.2)将代价体
Figure BDA00032542834000000611
经过垂直卷积层、BatchNorm层、Relu层处理后，得到垂直聚合代价体
Figure BDA00032542834000000612
s＝1,2,3，
Figure BDA00032542834000000613
其中，垂直卷积层是指卷积核尺寸为kc×1的卷积运算层；
4.3)将代价体
Figure BDA00032542834000000614
经过主对角卷积层、BatchNorm层、Relu层处理后，得到主对角线聚合代价体
Figure BDA00032542834000000615
s＝1,2,3，
Figure BDA00032542834000000616
其中，主对角线卷积层是指尺寸为kc×kc的卷积核中除主对角线元素外，其余元素全部固定为0的卷积运算层；
4.4)将代价体
Figure BDA00032542834000000617
经过反对角卷积层、BatchNorm层、Relu层处理后，得到反对角线聚合代价体
Figure BDA00032542834000000618
s＝1,2,3，
Figure BDA0003254283400000071
其中，反对角卷积层是指尺寸为kc×kc的卷积核中除反对角线元素外，其余元素全部固定为0的卷积运算层；
4.5)将步骤4.1)-步骤4.4)得到的四个异向卷积代价体以及代价体
Figure BDA0003254283400000072
按通道拼接，得到最终的异向卷积代价体，表达式如下：
Figure BDA0003254283400000073
其中，拼接后的
Figure BDA0003254283400000074
的大小为Hs×Ws×2Ds；
4.6)将异向卷积代价体Cs cat,1输入到第2级各向异性卷积模块中，第2级各向异性卷积模块结构同第1级各向异性卷积模块，输出为异向卷积代价体Cs cat,2，s＝1,2,3，大小为Hs×Ws×3Ds；
4.7)将异向卷积代价体Cs cat,2输入到第3级各向异性卷积模块中，第3级各向异性卷积模块结构同第1级各向异性卷积模块，如此迭代进行，共经过NC个各向异性卷积模块级联处理后，输出各向异性代价体
Figure BDA0003254283400000076
s＝1,2,3，大小为Hs×Ws×(NC+1)·Ds；NC是经验值，考虑了网络复杂度和处理效果，本发明优选NC＝4；
步骤5、对各向异性代价体进行多尺度聚合，
5.1)使用3×3卷积对步骤4.7)得到的各向异性代价体
Figure BDA0003254283400000077
进行通道降维，得到尺度内代价聚合后的尺度内聚合代价体Cs inner，大小为Hs×Ws×Ds；
5.2)对步骤5.1)得到的尺度内聚合代价体Cs inner进行尺度间代价聚合，得到尺度间聚合代价体Cs intra，s＝1,2,3，大小为Hs×Ws×Ds，表达式如下：
Figure BDA0003254283400000075
其中，函数fs,k(·)是为了对齐不同尺度代价体的空间尺寸而引入的操作函数，表达式如下：
Figure BDA0003254283400000081
5.3)多尺度聚合代价体的级联聚合，
将步骤5.2)得到的尺度间聚合代价体Cs intra输入到第2级各向异性代价聚合模块中，再将第2级各向异性代价聚合模块的输出，输入到第3级各向异性代价聚合模块中，如此级联进行，共经过NT个各向异性代价聚合模块级联处理后，最终得到多尺度级联聚合代价体
Figure BDA0003254283400000082
s＝1,2,3，大小为Hs×Ws×Ds；
步骤6、采用变形卷积对多尺度级联聚合代价体进行再次聚合，
按照AANet网络的变形卷积代价聚合流程(AANet网络为现有技术，可在公开发表的论文中检索到)，对步骤5.3)得到的多尺度级联聚合代价体
Figure BDA0003254283400000083
进行进一步的代价聚合，AANet网络的变形卷积代价聚合流程由3个结构相同的变形卷积代价聚合模块级联组成，具体过程是，
6.1)第1级变形卷积代价聚合模块的处理流程是，
6.1.1)尺度内代价聚合，
分别将步骤5.3)得到的多尺度级联聚合代价体
Figure BDA0003254283400000084
输入到变形卷积子模块中进行尺度内代价聚合，得到尺度内代价聚合后的尺度内聚合代价体
Figure BDA0003254283400000085
其中，如图5所示，变形卷积子模块由1×1卷积层、3×3变形卷积层、3×3卷积层、BatchNorm层、Relu层组成；
6.1.2)尺度间代价聚合，
对步骤6.1.1)得到的尺度内聚合代价体
Figure BDA0003254283400000086
进行尺度间代价聚合，生成聚合后的多尺度代价体
Figure BDA0003254283400000087
s＝1,2,3，作为第1级变形卷积代价聚合模块的输出；
6.2)级联处理，
将步骤6.1.2)得到的多尺度代价体
Figure BDA0003254283400000091
(即第1级变形卷积代价聚合模块的输出)，输入到第2级变形卷积代价聚合模块中，再将第2级变形卷积代价聚合模块的输出，输入到第3级变形卷积代价聚合模块中，将第3级变形卷积代价聚合模块输出的多尺度代价体，作为本步骤最终输出的多尺度代价体，记为
Figure BDA0003254283400000092
s＝1,2,3；
步骤7、生成视差图，具体过程是，
7.1)计算视差，
通过Soft argmin操作(Soft argmin操作为现有技术，可在公开发表的论文中检索到)，利用步骤6最终得到的多尺度代价体
Figure BDA0003254283400000093
计算视差，得到多尺度视差图
Figure BDA0003254283400000094
大小为Hs×Ws，Soft argmin操作的表达式如下：
Figure BDA0003254283400000095
其中，σ(·)表示softmax归一化操作；
7.2)进行视差精确化，
视差精确化的操作可任选Hourglass视差精确化方法、StereoNet网络的视差精确化方法或StereoDRNet网络的视差精确化方法，(均为现有技术，可在公开发表的论文中检索到)；
本步骤以StereoDRNet网络的视差精确化方法为例对视差精确化方法进行说明，处理流程如图6所示，具体过程是，
7.2.1)计算左视图
Figure BDA0003254283400000096
的重建误差
Figure BDA0003254283400000097
对步骤7.1)得到的多尺度视差图
Figure BDA0003254283400000098
中尺度为s＝1的视差图
Figure BDA0003254283400000101
进行双线性插值上采样(现有技术)，得到与左、右视图尺寸相同的视差图
Figure BDA0003254283400000102
再利用视差图
Figure BDA0003254283400000103
和右视图
Figure BDA0003254283400000104
通过warp操作(为现有技术)对左视图进行重建，得到重建的左视图
Figure BDA0003254283400000105
warp操作的表达式如下：
Figure BDA0003254283400000106
左视图
Figure BDA0003254283400000107
的重建误差
Figure BDA00032542834000001017
的表达式如下：
Figure BDA0003254283400000108
7.2.2)通道提升和通道拼接，
将步骤7.2.1)得到的视差图
Figure BDA0003254283400000109
输入第1卷积子模块，该第1卷积子模块由3×3卷积层、BatchNorm层、LeakyRelu层(为现有技术)级联而成的，输出C5个通道的视差特征矩阵
Figure BDA00032542834000001010
C5为经验值，本发明优选C5＝16；
同时，将步骤7.1)得到的重建误差IE与左图像IL进行通道拼接(即在第三个维度上进行拼接)后，输入第2卷积子模块，该第2卷积子模块由3×3卷积层、BatchNorm层、LeakyRelu层级联而成，输出C5个通道的特征矩阵
Figure BDA00032542834000001011
然后，将
Figure BDA00032542834000001012
和
Figure BDA00032542834000001013
进行通道拼接，得到综合特征矩阵
Figure BDA00032542834000001014
7.2.3)通过空洞卷积综合上下文信息，
将步骤7.2.2)得到的综合特征矩阵
Figure BDA00032542834000001015
输入空洞卷积残差模块，输出视差残差图
Figure BDA00032542834000001016
如图6所示，空洞卷积残差模块由6个空洞卷积残差块、一个3×3卷积层、一个BatchNorm层级联组成，6个空洞卷积残差块的膨胀参数分别为1、2、4、8、1、1；
7.2.4)生成最终的视差图
Figure BDA0003254283400000111
将步骤7.2.3)得到的视差残差图
Figure BDA0003254283400000112
与步骤7.2.1)得到的视差图
Figure BDA0003254283400000113
相加后再经过一个Relu层处理，得到最终的视差图
Figure BDA0003254283400000114
至此，完成左右视图之间的立体匹配，获得了更加准确的视差图。

Claims (8)

1.一种各向异性卷积的双目图像立体匹配方法，其特征在于，按照以下步骤实施：
步骤1、提取左视图和右视图的多尺度特征；
步骤2、融合左视图和右视图的多尺度特征；
步骤3、构建多尺度代价体；
步骤4、对多尺度代价体进行各向异性聚合；
步骤5、对各向异性代价体进行多尺度聚合；
步骤6、采用变形卷积对多尺度级联聚合代价体进行再次聚合；
步骤7、生成视差图，完成左右视图之间的立体匹配，获得了更加准确的视差图。
2.根据权利要求1所述的各向异性卷积的双目图像立体匹配方法，其特征在于：所述的步骤1中，针对同一个立体场景拍摄的左视图和右视图提取多尺度特征，任选特征提取模块包括AANet网络的特征提取模块、GA-Net网络的特征提取模块或StereoNet网络的特征提取模块；
本步骤以AANet网络的特征提取模块为例进行说明，具体过程是：
1.1)提取左视图和右视图的一尺度特征，
将大小为H0×W0的左视图
Figure FDA0003254283390000011
和右视图
Figure FDA0003254283390000012
分别输入第1级特征提取模块，该第1级特征提取模块由1个卷积层和4个残差块级联组成，分别得到一尺度卷积特征
Figure FDA0003254283390000013
和
Figure FDA0003254283390000014
s＝1,2,3，尺度均为1，大小均为H1×W1×C1；
其中，H1＝k1·H0，W1＝k1×W0，k1由卷积步长确定，优选k1＝1/2或者k1＝1/3；C1为通道数；
1.2)提取左视图和右视图的二尺度特征，
将步骤1.1)得到的一尺度卷积特征
Figure FDA0003254283390000021
和
Figure FDA0003254283390000022
分别输入第2级特征提取模块，该第2级特征提取模块由5个残差块级联组成，分别得到二尺度卷积特征
Figure FDA0003254283390000023
和
Figure FDA0003254283390000024
s＝1,2,3，尺度均为2，大小均为H2×W2×C2；
其中，H2＝k2·H0，W2＝k2·W0，k2由卷积步长确定，优选k2＝k1/2；C2为通道数；
1.3)提取左视图和右视图的三尺度特征，
将步骤1.2)得到的二尺度卷积特征
Figure FDA0003254283390000025
和
Figure FDA0003254283390000026
分别输入第3级特征提取模块，该第3级特征提取模块由7个变形卷积残差块级联组成，分别得到三尺度卷积特征
Figure FDA0003254283390000027
和
Figure FDA0003254283390000028
s＝1,2,3，尺度均为3，大小均为H3×W3×C3；
其中，H2＝k3·H0，W2＝k3·W0，k3由卷积步长确定，优选k3＝k2/2；C3为通道数。
3.根据权利要求1所述的各向异性卷积的双目图像立体匹配方法，其特征在于：所述的步骤2的具体过程是，
2.1)将多尺度特征降维至通道数相同，
将步骤1得到的三个尺度的左视图以及右视图的特征
Figure FDA0003254283390000029
以及
Figure FDA00032542833900000210
分别进行1×1卷积降维，得到各自降维后通道数相同的特征，即
Figure FDA00032542833900000211
和
Figure FDA00032542833900000212
和
Figure FDA00032542833900000213
以及
Figure FDA0003254283390000031
和
Figure FDA0003254283390000032
C4为通道数；
2.2)将多尺度特征进行融合，
2.2.1)将步骤2.1)降维得到的三尺度特征
Figure FDA0003254283390000033
和
Figure FDA0003254283390000034
分别输入第一个卷积模块，该第一个卷积模块由3×3卷积层、BatchNorm层和Relu层级联而成，输出三尺度融合特征
Figure FDA0003254283390000035
和
Figure FDA0003254283390000036
s＝1,2,3，尺度为3；
2.2.2)将步骤2.1)降维得到的三尺度特征
Figure FDA0003254283390000037
和
Figure FDA0003254283390000038
进行最近邻插值上采样，大小变为H2×W2×C4，再分别与
Figure FDA0003254283390000039
相加，各自得到
Figure FDA00032542833900000310
和
Figure FDA00032542833900000311
表达式如下：
Figure FDA00032542833900000312
Figure FDA00032542833900000313
2.2.3)将
Figure FDA00032542833900000314
和
Figure FDA00032542833900000315
分别输入第二个卷积模块，该第二个卷积模块由3×3卷积层、BatchNorm层和Relu层级联而成，输出为二尺度融合特征
Figure FDA00032542833900000316
和
Figure FDA00032542833900000317
s＝1,2,3，尺度为2，大小变为H2×W2×C4；
2.2.4)对步骤2.2.2)得到的
Figure FDA00032542833900000318
和
Figure FDA00032542833900000319
进行最近邻插值上采样，使
Figure FDA00032542833900000320
和
Figure FDA00032542833900000321
的大小变为H1×W1×C4与
Figure FDA00032542833900000322
和
Figure FDA00032542833900000323
相同；再将
Figure FDA00032542833900000324
与
Figure FDA00032542833900000325
相加，
Figure FDA00032542833900000326
与
Figure FDA00032542833900000327
相加，分别得到
Figure FDA00032542833900000328
和
Figure FDA00032542833900000329
表达式如下：
Figure FDA00032542833900000330
Figure FDA00032542833900000331
2.2.5)将
Figure FDA00032542833900000332
和
Figure FDA00032542833900000333
分别输入第三个卷积模块，该第三个卷积模块由3×3卷积层、BatchNorm层和Relu层级联而成，输出为一尺度融合特征
Figure FDA0003254283390000041
和
Figure FDA0003254283390000042
s＝1,2,3，尺度为1，大小变为H1×W1×C4。
4.根据权利要求1所述的各向异性卷积的双目图像立体匹配方法，其特征在于：所述的步骤3的具体过程是，
采用步骤2得到的三个尺度的融合特征，构建邻域相关计算来构建大小为Hs×Ws×Ds，s＝1,2,3的代价体
Figure FDA0003254283390000043
s＝1,2,3，表达式如下：
Figure FDA0003254283390000044
其中，
Figure FDA0003254283390000045
是步骤2得到的左视图的尺度为s的融合特征
Figure FDA0003254283390000046
在(h,w,c)处的值，s＝1,2,3，
Figure FDA0003254283390000047
是步骤2得到的右视图的尺度为s的融合特征
Figure FDA0003254283390000048
在(h,w-d,c)处的值，Cs(h,w,d)是尺度为s的左视图融合特征
Figure FDA0003254283390000049
在（h,w,c)处与右视图融合特征
Figure FDA00032542833900000410
在(h,w-d,c)处的匹配代价，d为视差值，d∈[0,Ds-1]，Ds表示尺度为s的左视图右视图匹配时的最大视差范围。
5.根据权利要求1所述的各向异性卷积的双目图像立体匹配方法，其特征在于：所述的步骤4的具体过程是，
将代价体
Figure FDA00032542833900000411
输入第1级各向异性卷积模块中，进行如下处理：
4.1)将代价体
Figure FDA00032542833900000412
经过水平卷积层、BatchNorm层、Relu层处理后，得到水平聚合代价体
Figure FDA00032542833900000413
s＝1,2,3，
Figure FDA00032542833900000414
其中，水平卷积层是指卷积核尺寸为1×kc的卷积运算层；
4.2)将代价体
Figure FDA00032542833900000415
经过垂直卷积层、BatchNorm层、Relu层处理后，得到垂直聚合代价体
Figure FDA00032542833900000416
s＝1,2,3，
Figure FDA00032542833900000417
其中，垂直卷积层是指卷积核尺寸为kc×1的卷积运算层；
4.3)将代价体
Figure FDA0003254283390000051
经过主对角卷积层、BatchNorm层、Relu层处理后，得到主对角线聚合代价体
Figure FDA0003254283390000052
s＝1,2,3，
Figure FDA0003254283390000053
其中，主对角线卷积层是指尺寸为kc×kc的卷积核中除主对角线元素外，其余元素全部固定为0的卷积运算层；
4.4)将代价体
Figure FDA0003254283390000054
经过反对角卷积层、BatchNorm层、Relu层处理后，得到反对角线聚合代价体
Figure FDA0003254283390000055
s＝1,2,3，
Figure FDA0003254283390000056
其中，反对角卷积层是指尺寸为kc×kc的卷积核中除反对角线元素外，其余元素全部固定为0的卷积运算层；
4.5)将步骤4.1)-步骤4.4)得到的四个异向卷积代价体以及代价体
Figure FDA0003254283390000057
按通道拼接，得到最终的异向卷积代价体，表达式如下：
Figure FDA0003254283390000058
其中，拼接后的Cs cat,1的大小为Hs×Ws×2Ds；
4.6)将异向卷积代价体Cs cat,1输入到第2级各向异性卷积模块中，第2级各向异性卷积模块结构同第1级各向异性卷积模块，输出为异向卷积代价体Cs cat,2，s＝1,2,3，大小为Hs×Ws×3Ds；
4.7)将异向卷积代价体Cs cat,2输入到第3级各向异性卷积模块中，第3级各向异性卷积模块结构同第1级各向异性卷积模块，如此迭代进行，共经过NC个各向异性卷积模块级联处理后，输出各向异性代价体
Figure FDA0003254283390000059
s＝1,2,3，大小为Hs×Ws×(NC+1)·Ds；NC是经验值。
6.根据权利要求1所述的各向异性卷积的双目图像立体匹配方法，其特征在于：所述的步骤5的具体过程是，
5.1)使用3×3卷积对步骤4.7)得到的各向异性代价体
Figure FDA00032542833900000510
进行通道降维，得到尺度内代价聚合后的尺度内聚合代价体Cs inner，大小为Hs×Ws×Ds；
5.2)对步骤5.1)得到的尺度内聚合代价体Cs inner进行尺度间代价聚合，得到尺度间聚合代价体Cs intra，s＝1,2,3，大小为Hs×Ws×Ds，表达式如下：
Figure FDA0003254283390000061
其中，函数fs,k(·)是为了对齐不同尺度代价体的空间尺寸而引入的操作函数，表达式如下：
Figure FDA0003254283390000062
5.3)多尺度聚合代价体的级联聚合，
将步骤5.2)得到的尺度间聚合代价体Cs intra输入到第2级各向异性代价聚合模块中，再将第2级各向异性代价聚合模块的输出，输入到第3级各向异性代价聚合模块中，如此级联进行，共经过NT个各向异性代价聚合模块级联处理后，最终得到多尺度级联聚合代价体
Figure FDA0003254283390000063
s＝1,2,3，大小为Hs×Ws×Ds。
7.根据权利要求1所述的各向异性卷积的双目图像立体匹配方法，其特征在于：所述的步骤6的具体过程是，
按照AANet网络的变形卷积代价聚合流程，对步骤5.3)得到的多尺度级联聚合代价体
Figure FDA0003254283390000064
进行进一步的代价聚合，AANet网络的变形卷积代价聚合流程由3个结构相同的变形卷积代价聚合模块级联组成，具体过程是，
6.1)第1级变形卷积代价聚合模块的处理流程是，
6.1.1)尺度内代价聚合，
分别将步骤5.3)得到的多尺度级联聚合代价体
Figure FDA0003254283390000065
输入到变形卷积子模块中进行尺度内代价聚合，得到尺度内代价聚合后的尺度内聚合代价体
Figure FDA0003254283390000071
其中，变形卷积子模块由1×1卷积层、3×3变形卷积层、3×3卷积层、BatchNorm层、Relu层组成；
6.1.2)尺度间代价聚合，
对步骤6.1.1)得到的尺度内聚合代价体
Figure FDA0003254283390000072
进行尺度间代价聚合，生成聚合后的多尺度代价体
Figure FDA0003254283390000073
s＝1,2,3，作为第1级变形卷积代价聚合模块的输出；
6.2)级联处理，
将步骤6.1.2)得到的多尺度代价体
Figure FDA0003254283390000074
输入到第2级变形卷积代价聚合模块中，再将第2级变形卷积代价聚合模块的输出，输入到第3级变形卷积代价聚合模块中，将第3级变形卷积代价聚合模块输出的多尺度代价体，作为本步骤最终输出的多尺度代价体，记为
Figure FDA0003254283390000075
s＝1,2,3。
8.根据权利要求1所述的各向异性卷积的双目图像立体匹配方法，其特征在于：所述的步骤7的具体过程是，
7.1)计算视差，
通过Soft argmin操作，利用步骤6最终得到的多尺度代价体
Figure FDA0003254283390000076
计算视差，得到多尺度视差图
Figure FDA0003254283390000077
大小为Hs×Ws，Soft argmin操作的表达式如下：
Figure FDA0003254283390000078
其中，σ(·)表示softmax归一化操作；
7.2)进行视差精确化，
视差精确化的操作任选Hourglass视差精确化方法、StereoNet网络的视差精确化方法或StereoDRNet网络的视差精确化方法，
本步骤以StereoDRNet网络的视差精确化方法为例对视差精确化方法进行说明，具体过程是，
7.2.1)计算左视图
Figure FDA0003254283390000081
的重建误差
Figure FDA0003254283390000082
对步骤7.1)得到的多尺度视差图
Figure FDA0003254283390000083
中尺度为s＝1的视差图
Figure FDA0003254283390000084
进行双线性插值上采样，得到与左、右视图尺寸相同的视差图
Figure FDA0003254283390000085
再利用视差图
Figure FDA0003254283390000086
和右视图
Figure FDA0003254283390000087
通过warp操作对左视图进行重建，得到重建的左视图
Figure FDA0003254283390000088
warp操作的表达式如下：
Figure FDA0003254283390000089
左视图
Figure FDA00032542833900000810
的重建误差
Figure FDA00032542833900000811
的表达式如下：
Figure FDA00032542833900000812
7.2.2)通道提升和通道拼接，
将步骤7.2.1)得到的视差图
Figure FDA00032542833900000813
输入第1卷积子模块，该第1卷积子模块由3×3卷积层、BatchNorm层、LeakyRelu层级联而成的，输出C5个通道的视差特征矩阵
Figure FDA00032542833900000814
C5为经验值；
同时，将步骤7.1)得到的重建误差IE与左图像IL进行通道拼接后，输入第2卷积子模块，该第2卷积子模块由3×3卷积层、BatchNorm层、LeakyRelu层级联而成，输出C5个通道的特征矩阵
Figure FDA00032542833900000815
然后，将
Figure FDA00032542833900000816
和
Figure FDA00032542833900000817
进行通道拼接，得到综合特征矩阵
Figure FDA00032542833900000818
7.2.3)通过空洞卷积综合上下文信息，
将步骤7.2.2)得到的综合特征矩阵
Figure FDA0003254283390000091
输入空洞卷积残差模块，输出视差残差图
Figure FDA0003254283390000092
空洞卷积残差模块由6个空洞卷积残差块、一个3×3卷积层、一个BatchNorm层级联组成，6个空洞卷积残差块的膨胀参数分别为1、2、4、8、1、1；
7.2.4)生成最终的视差图
Figure FDA0003254283390000093
将步骤7.2.3)得到的视差残差图
Figure FDA0003254283390000094
与步骤7.2.1)得到的视差图
Figure FDA0003254283390000095
相加后再经过一个Relu层处理，得到最终的视差图
Figure FDA0003254283390000096
CN202111054945.8A 2021-09-09 2021-09-09 一种各向异性卷积的双目图像立体匹配方法 Active CN113887568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111054945.8A CN113887568B (zh) 2021-09-09 2021-09-09 一种各向异性卷积的双目图像立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111054945.8A CN113887568B (zh) 2021-09-09 2021-09-09 一种各向异性卷积的双目图像立体匹配方法

Publications (2)

Publication Number Publication Date
CN113887568A true CN113887568A (zh) 2022-01-04
CN113887568B CN113887568B (zh) 2024-02-06

Family

ID=79008871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111054945.8A Active CN113887568B (zh) 2021-09-09 2021-09-09 一种各向异性卷积的双目图像立体匹配方法

Country Status (1)

Country Link
CN (1) CN113887568B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704000A (zh) * 2023-08-04 2023-09-05 东莞市爱培科技术有限公司 一种无监督学习遮挡区域的立体匹配方法
CN116740162A (zh) * 2023-08-14 2023-09-12 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN112288690A (zh) * 2020-10-14 2021-01-29 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN112767253A (zh) * 2021-02-05 2021-05-07 西南科技大学 一种多尺度特征融合的双目图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN112288690A (zh) * 2020-10-14 2021-01-29 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN112767253A (zh) * 2021-02-05 2021-05-07 西南科技大学 一种多尺度特征融合的双目图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
习路;陆济湘;涂婷;: "基于多尺度卷积神经网络的立体匹配方法", 计算机工程与设计, no. 09 *
姚莉;刘助奎;王秉凤;: "基于金字塔变换跨尺度代价聚合的立体匹配", 系统仿真学报, no. 09 *
段中兴;齐嘉麟;: "基于多尺度卷积神经网络的立体匹配算法研究", 计算机测量与控制, no. 09 *
王金鹤;苏翠丽;孟凡云;车志龙;谭浩;张楠;: "基于非对称空间金字塔池化的立体匹配网络", 计算机工程, no. 07 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704000A (zh) * 2023-08-04 2023-09-05 东莞市爱培科技术有限公司 一种无监督学习遮挡区域的立体匹配方法
CN116704000B (zh) * 2023-08-04 2023-10-03 东莞市爱培科技术有限公司 一种无监督学习遮挡区域的立体匹配方法
CN116740162A (zh) * 2023-08-14 2023-09-12 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质
CN116740162B (zh) * 2023-08-14 2023-11-14 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Also Published As

Publication number Publication date
CN113887568B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN109472819B (zh) 一种基于级联几何上下文神经网络的双目视差估计方法
CN110570522B (zh) 一种多视图三维重建方法
CN103236082B (zh) 面向捕获静止场景的二维视频的准三维重建方法
CN110533712A (zh) 一种基于卷积神经网络的双目立体匹配方法
CN112150521B (zh) 一种基于PSMNet优化的图像立体匹配方法
CN109598754B (zh) 一种基于深度卷积网络的双目深度估计方法
CN101902657B (zh) 一种基于深度图分层的虚拟多视点图像的生成方法
CN112435282A (zh) 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN111402311B (zh) 一种基于知识蒸馏的轻量级立体视差估计方法
CN111259945A (zh) 引入注意力图谱的双目视差估计方法
CN113887568A (zh) 一种各向异性卷积的双目图像立体匹配方法
CN112767253B (zh) 一种多尺度特征融合的双目图像超分辨率重建方法
CN113592026A (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN113763446B (zh) 一种基于引导信息的立体匹配方法
CN112509021B (zh) 一种基于注意力机制的视差优化方法
CN110738241A (zh) 一种基于神经网络的双目立体视觉匹配方法及其运算框架
CN115984494A (zh) 一种基于深度学习的月面导航影像三维地形重建方法
CN113762358A (zh) 一种基于相对深度训练的半监督学习三维重建方法
CN109949354B (zh) 一种基于全卷积神经网络的光场深度信息估计方法
CN114926669A (zh) 一种基于深度学习的高效散斑匹配方法
CN114820323A (zh) 一种基于立体注意力机制的多尺度残差双目图像超分辨率方法
CN104796624A (zh) 一种光场编辑传播方法
CN118429763A (zh) 基于注意力机制的多尺度特征融合光场图像深度估计方法
CN117152580A (zh) 双目立体视觉匹配网络构建方法及双目立体视觉匹配方法
CN116630388A (zh) 基于深度学习的热成像图像双目视差估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant