CN107146248A - 一种基于双流卷积神经网络的立体匹配方法 - Google Patents

一种基于双流卷积神经网络的立体匹配方法 Download PDF

Info

Publication number
CN107146248A
CN107146248A CN201710289393.6A CN201710289393A CN107146248A CN 107146248 A CN107146248 A CN 107146248A CN 201710289393 A CN201710289393 A CN 201710289393A CN 107146248 A CN107146248 A CN 107146248A
Authority
CN
China
Prior art keywords
mrow
network
convolutional neural
neural networks
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710289393.6A
Other languages
English (en)
Inventor
戴国骏
罗姚翔
周文晖
张桦
沈方瑶
梁麟开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201710289393.6A priority Critical patent/CN107146248A/zh
Publication of CN107146248A publication Critical patent/CN107146248A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双流卷积神经网络的立体匹配方法。该方法利用一种双流卷积神经网络，学习并计算出左右视图中目标区域的匹配代价，并以交叉聚合算法作为辅助，有效地获得目标图像的视差图。双流网络结构不仅继承了卷积神经网络计算量小，性能稳定等优点，同时拥有较大的接受域，并且更充分地提取了目标点邻近区域的特征，拥有更高的精度。

Description

一种基于双流卷积神经网络的立体匹配方法
技术领域
本发明涉及计算机视觉的立体匹配与深度学习技术领域，具体讲的是一种基于双流卷积神经网络的双视点图像立体匹配方法。
背景技术
立体视觉匹配是计算机视觉和非接触测量研究中最基本的关键问题之一，立体匹配的目标是找出不同视角的图像之间的对应点关系，获得视差图，得到了视察图之后，就可以很容易地得到原始图像的深度信息和三维信息。因此，立体匹配问题普遍被视为立体视觉中最关键的问题。
视差图的获取是立体匹配问题的关键，关于计算像素点视差值的算法，根据采用图像表示的基元不同，可以分为：区域立体匹配算法，基于特征的立体匹配算法，基于相位的立体匹配算法。根据采用优化理论的方法不同，又可分为：局部立体匹配和全局立体匹配。
立体匹配问题作为立体视觉中最困难的问题，是因为有以下挑战：遮挡问题，也就是一张图的某些区域因为遮挡原因，在另一个视角的图中没有对应的匹配点。其次是弱纹理的问题，如果只从局部的角度计算，就会出现大量的匹配点。传统的方法通过全局能量代价函数来检测遮挡，利用增大窗口的方法处理弱纹理的问题，但是效果有限[2]。
近几年，深度学习在计算机视觉方面获得了重大进展，在图像分类，物体检测，视觉显著性检测等很多传统计算机图像与视觉方面的问题取得了巨大成功[4]。其中，最为典型的是卷积神经网络CNN，它通过卷积和池化操作提取了目标特征，并降低了特征分辨率，减少了计算量[1]。将池化的结果通过激活函数，将线性的卷积操作与非线性的激活函数结合，使得网络可以模拟出更为复杂多样的映射关系，使网络获得很好的特征提取的能力。
参考文献
[1]Krizhevsky,Alex,Ilya Sutskever,and Geoffrey E.Hinton."Imagenetclassification with deep convolutional neural networks."Advances in neuralinformation processing systems.2012.
[2]Klaus,Andreas,Mario Sormann,and Konrad Karner."Segment-basedstereo matching using belief propagation and a self-adapting dissimilaritymeasure."Pattern Recognition,2006.ICPR 2006.18th International Conferenceon.Vol.3.IEEE,2006.
[3]Are we ready for Autonomous Driving？The KITTI Vision BenchmarkSuite,[Online].Available:
http://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php？benchmark＝ stereo
[4]LeCun,Yann,Yoshua Bengio,and Geoffrey Hinton."Deep learning."Nature 521.7553(2015):436-444.
发明内容
本发明的目的是鉴于立体匹配问题在三维重建，机器人导航，三维场景感知等立体视觉问题中的重要性以及其近几年深度学习方法在计算机视觉领域的巨大成功，提出一种基于双流卷积神经网络的立体匹配方法。
该方法利用一种双流卷积神经网络，学习并计算出左右视图中目标区域的匹配代价，并以交叉聚合算法作为辅助，有效地获得目标图像的视差图。双流网络结构不仅继承了卷积神经网络计算量小，性能稳定等优点，同时拥有较大的接受域，并且更充分地提取了目标点邻近区域的特征，拥有更高的精度。
为了实现上述目的，本发明通过以下技术方案予以实现，具体包括如下步骤：
步骤(1)：构建一种基于交叉熵二值分类问题的训练数据，将训练数据分割出正负样本。
步骤(2)：提出一种双流卷积神经网络结构用于计算两张图像的相似度，并利用步骤(1)构建的数据去训练网络的参数。
步骤(3)：分段处理双流网络前向计算过程中分流和汇总两个模块，并保存中间数据，节省大量计算量。
步骤(4)：将网络输出结果转化为匹配代价，并利用交叉聚合算法将聚合区域内的匹配代价平均化。
步骤(5)：基于赢者通吃策略计算每一个像素点的视差，并用插值法对结果进行亚像素增强。
步骤(1)所述的构建训练数据具体如下：
所有数据和对应的标签均从KITTI数据库获取[3]，本方法只使用灰度图像数据，并对所有灰度值归一化。对于训练用数据，需要为每一个像素点构建一个正样本和负样本便于之后建立基于二分类问题的交叉熵残差。
设为一组样本，表示左图中以p点为中心的大小为n×n的窗口区域，表示右图中以q点为中心的大小为n×n的窗口区域。假设p＝(x,y)：
对于一个正样本：q＝(x-dt,y)
对于一个负样本：q＝(x-dt+oneg,y)
dt为点p对应的视差真值，oneg为一个随机偏移量。由于数据都只有水平方向上的视差，垂直方向是对齐的，因此只需要水平方向的视差。所有靠近图片边界的点，在取窗口时，不够的部分以0值填充。所有正样本对应的标签为1，负样本对应的标签为0。
步骤(2)所使用的双流卷积神经网络结构的具体设计：双流网络由两个孪生卷积神经网络组成，再将它们的结果汇总并输出，每一个孪生卷积网络都有左右两个子网络，左右子网络在网络结构上一样，具体如下：
1.以32×32的窗口作为输入
2.后接一个3×3，步长为1的卷积层+ReLU激活层
3.后接一个2×2，步长为2的下采样层，下采样采用maxpooling
4.后接三个3×3，步长为1的卷积层+ReLU激活层
孪生网络的两个子网络最后会得到两个9×9的窗口，子网络参数共享。
左右子网络的不同在于：
左侧子网络的输入是左图的窗口，右侧子网络的输入是右图的窗口。
两个孪生卷积神经网络的结构也是一样的，不同在于：
其中一个的输入为原图中解析度为32×32的窗口，另一个的输入是将同一个点为中心的64×64的窗口下采样成32×32的窗口。
两个孪生网络汇总时进入决策层，结构如下：
1.一个324×1024全连接层，输出维度为1024，并经过ReLU激活
2.一个1024×1的全链接层，输出维度为1，并经过Sigmoid激活
网络训练时使用的交叉熵残差定义如下：
θ表示网络的参数，y(i)第i个样本对应的标签值，正样本的y(i)为1，负样本的y(i)为0，x(i)表示样本i，h(x(i))表示第i个样本的网络最终输出结果。
网络的参数更新利用梯度下降法，公式如下：
α表示学习率，表示θ的梯度。
对于参数θ，网络的线性计算部分可表示成：
ak(x(i))表示样本x(i)在第k层网络中，线性部分的输出结果，wk和bk分别表示该层的乘法参数和偏移参数，表示样本x(i)经过前k-1层计算后的结果。因此网络参数θ又可表示为θ(w,b)。
梯度通过对求导得到，结果如下：
hθ(x(i))表示样本x(i)在参数为θ时，网络的输出结果。
步骤(3)在测试阶段，对于左图中某一点p(x,y)，对于所有可能视差值d∈D,右图中所有q(x-d,y)都是可能和p匹配的备选点，令p-d表示点q。则需要计算所有组合＜p,p-d>的相似度。
只有在决策阶段才需要计算所有组合，因此在决策层之前先计算并保存所有点对应窗口在孪生网络的结果，保证每个窗口在孪生网络中只计算一次。
最后再在决策层计算将对于p(x,y)的所有备选点的相似度结果，可节省不必要的计算量。
步骤(4)中，由于弱纹理现象和视差图平滑化的需要，有必要利用交叉聚合的方法均值化同一物体上点的视差值，方法具体如下：
对于某一个像素点p，根据一定的规则进行扩散，可获得区域U(p)，扩散规则如下：
|I(p)-I(pl)|＜intensity (1)
||p-pl||＜distance (2)
式1表示备选点pl与p的值的差距要小于阈值intensity，式2表示pl与p的距离要小于阈值distance。
根据以上规则，首先基于p点分别从上下方向延伸，得到一组垂直的像素点V(p)，对于根据以上规则对q点进行左右方向的水平扩散，得到一组水平的像素点H(q)，U(p)是所有H(p)的并集。
得到U(p)后，匹配代价均值化计算如下：
表示一组样本经过网络前向计算后的输出结果，点p与点p-d在水平方向上距离为d，垂直坐标相同。负号将网络输出结果的相似度转化为匹配代价。Ci(p,d)表示在第i次迭代中，组合＜p,p-d>的交叉聚合结果，其等于第i-1次迭代中，Ud(p)范围内所有结果的均值。|Ud(p)|表示Ud(p)的元素个数。
步骤(5)的赢者通吃策略就是，设C(p,d)为交叉聚合的最终结果，对于左图中某点p，选取所有C(p,d)中最小的结果作为匹配结果，那么d就是像素p的视差。
最后再对结果进行亚像素增强，公式如下：
Dp为亚像素增强后结果，d为赢者通吃策略的结果，C为赢者通吃策略结果中对应的C(p,d)，C+为C(p,d+1)，C-为C(p,d-1)。
本发明的有益效果如下：本发明利用一种双流网络结构，学习并计算出左右视图中目标区域的匹配代价，并以一些后处理算法作为辅助，有效地获得目标图像的视差图。该方法有效地将深度学习中的卷积神经网络应用到了立体匹配中，不仅继承了卷积神经网络计算量小，性能稳定等优点，同时拥有较大的接受域，并且更充分地提取了目标点邻近区域的特征，拥有更高的精度。
附图说明
图1是本发明基于双流卷积神经网络进行立体匹配的算法流程图。
图2是双流卷积神经网络的结构。
图3是交叉聚合范围示意图。
图4是交叉聚合范围选取流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种基于双流卷积神经网络的立体匹配方法，具体步骤如下：
步骤(1)：构建一种基于交叉熵二值分类问题的训练数据，将训练数据分割成正负样本。
步骤(2)：提出一种双流卷积神经网络结构用于计算两张图像的相似度，并利用步骤(1)构建的数据去训练网络的参数。
步骤(3)：分段处理双流网络前向计算过程中分流和汇总两个模块，并保存中间数据，节省大量计算量。
步骤(4)：将网络输出结果转化为匹配代价，并利用交叉聚合算法将聚合区域内的匹配代价平均化。
步骤(5)：基于赢者通吃策略计算每一个像素点的视差，并插值法对结果进行亚像素增强。
步骤(1)所述的构建训练数据具体如下：
所有数据和对应的标签均从KITTI数据库获取，本方法只使用灰度图像数据，并对所有灰度值归一化。对于训练用数据，需要为每一个像素点构建一个正样本和负样本便于之后建立基于二分类问题的交叉熵残差。
设为一组样本，表示左图中以p点为中心的大小为n×n的窗口区域，表示右图中以q点为中心的大小为n×n的窗口区域。假设p＝(x,y)：
对于一个正样本：q＝(x-dt,y)
对于一个负样本：q＝(x-dt+oneg,y)
dt为点p对应的视差真值，oneg为一个随机偏移量。由于数据都只有水平方向上的视差，垂直方向是对齐的，因此只需要水平方向的视差d。所有靠近图片边界的点，在取窗口时，不够的部分以0值填充。所有正样本对应的标签为1，负样本对应的标签为0
步骤(2)所使用的双流卷积神经网络结构的具体设计如图2所示，以下是具体说明：
双流网络由两个孪生卷积神经网络组成，再将它们的结果汇总并输出，每一个孪生卷积网络都有左右两个子网络，左右子网络在网络结构上一样，具体如下：
5.以32×32的窗口作为输入
6.后接一个3×3，步长为1的卷积层+ReLU激活层
7.后接一个2×2，步长为2的下采样层，下采样采用maxpooling
8.后接三个3×3，步长为1的卷积层+ReLU激活层
孪生网络的两个子网络最后会得到两个9×9的窗口，子网络参数共享。
左右子网络的不同在于：
左侧子网络的输入是左图的窗口，右侧子网络的输入是右图的窗口。
两个孪生卷积神经网络的结构也是一样的，不同在于：
其中一个的输入为原图中解析度为32×32的窗口，另一个的输入是将同一个点为中心的64×64的窗口下采样成32×32的窗口。
由此可以使网络拥有较大的接收域，同时又强化了靠近中点部分信息的特征提取能力。
两个孪生网络汇总时会得到4个9×9窗口，将他们拉平并连接成1×324的向量，进入汇总的决策层，结构如下：
3.一个324×1024全连接层，输出维度为1024，并经过ReLU激活
4.一个1024×1的全链接层，输出维度为1，并经过Sigmoid激活
最后经过Sigmoid层的结果作为网络的最终结果。
整个网络非线性计算部分由ReLu和Sigmoid组成。
ReLu定义如下：
Sigmoid定义如下：
h(x)表示激活层(非线性运算)的输出，x表示激活层之前的线性计算输出，网络中线性计算部分可以表示成：
ak(x(i))表示样本x(i)在第k层网络中，线性部分的输出结果，wk和bk分别表示该层的乘法参数和偏移参数，表示样本x(i)经过前k-1层计算后的结果。因此网络参数θ又可表示为θ(w,b)。
网络训练时使用的交叉熵残差定义如下：
l(θ)＝y(i)logh(x(i))+(1-y(i))log(1-h(x(i)))
θ表示网络的参数，y(i)第i个样本对应的标签值，正样本的y(i)为1，负样本的y(i)为0，x(i)表示样本i，h(x(i))表示第i个样本的网络最终输出结果。
网络的参数更新利用梯度下降法，公式如下：
α表示学习率，表示θ的梯度。
梯度通过对l(θ(w,b))求导得到，结果如下：
hθ(x(i))表示样本x(i)在参数为θ时，网络的输出结果。
步骤(3)在测试阶段，对于左图中某一点p(x,y)，对于所有可能视差值d∈D,右图中所有q(x-d,y)都是可能和p匹配的备选点，令p-d表示点q。则需要计算所有组合＜p,p-d>的相似度。
只有在决策阶段才需要计算所有组合，因此在决策层之前先计算并保存所有点对应窗口在孪生网络的结果，保证每个窗口在孪生网络中只计算一次。
最后再在决策层计算将对于p(x,y)的所有备选点的相似度结果，可节省不必要的计算量。
步骤(4)中，由于弱纹理现象和视差图平滑化的需要，有必要进行交叉聚合均值化同一物体上点的视差值，方法具体如下：
对于某一个像素点p，根据一定的规则进行扩散，可获得区域U(p)，扩散规则如下：
|I(p)-I(pl)|＜intensity (1)
||p-pl||＜distance (2)
式1表示备选点pl与p的值的差距要小于阈值intensity，式2表示pl与p的距离要小于阈值distance。
具体选取流程如图4所示。根据以上规则，首先基于p点分别从上下方向延伸，得到一组垂直的像素点V(p)，对于根据以上规则对q点进行左右方向的水平扩散，得到一组水平的像素点H(q)，U(p)是所有H(p)的并集。
U(p)范围如图3所示，得到U(p)后，匹配代价均值化计算如下：
C0(p,d)＝-s(＜PL(p),PR(p-d)>)
表示一组样本经过网络前向计算后的输出结果，点p与点p-d在水平方向上距离为d，垂直坐标相同。负号将网络输出结果的相似度转化为匹配代价。Ci(p,d)表示在第i次迭代中，组合＜p,p-d>的交叉聚合结果，其等于第i-1次迭代中，Ud(p)范围内所有结果的均值。|Ud(p)|表示Ud(p)的元素个数。
步骤(5)的赢者通吃策略就是，设C(p,d)为交叉聚合的最终结果，对于左图中某点p，选取所有C(p,d)中最小的结果作为匹配结果，那么d就是像素p的视差。
最后再对结果进行亚像素增强，公式如下：
Dp为亚像素增强后结果，d为赢者通吃策略的结果，C为赢者通吃策略结果中对应的C(p,d)，C+为C(p,d+1)，C-为C(p,d-1)。
综上所述，本发明利用双流卷积神经网络学习不同视点图片中匹配点之间的相似度，并利用交叉聚合的方法辅助，优化了弱纹理区域的结果，通过实验证明本方法确实可以准确地进行立体匹配。不仅继承了卷积神经网络计算量小，性能稳定等优点，同时拥有较大的接受域，并且更充分地提取了目标点邻近区域的特征，拥有更高的精度。

Claims (6)

1.一种基于双流卷积神经网络的立体匹配方法，其特征在于该方法包括：
步骤(1)：构建一种基于交叉熵二值分类问题的训练数据，将训练数据分割出正负样本；
步骤(2)：提出一种双流卷积神经网络结构用于计算两张图像的相似度，并利用步骤(1)构建的数据去训练网络的参数；
所述的双流卷积神经网络由两个孪生卷积神经网络组成，再将它们的结果汇总并输出，每一个孪生卷积神经网络都有左右两个子网络，左右子网络在网络结构上一样，具体如下：
以32×32的窗口作为输入；
后接一个3×3，步长为1的卷积层+ReLU激活层；
后接一个2×2，步长为2的下采样层，下采样采用maxpooling；
后接三个3×3，步长为1的卷积层+ReLU激活层；
孪生卷积神经网络的两个子网络最后得到两个9×9的窗口，子网络参数共享；左右子网络的不同在于：左侧子网络的输入是左图的窗口，右侧子网络的输入是右图的窗口；
两个孪生卷积神经网络的结构也是一样的，不同在于：其中一个的输入为原图中解析度为32×32的窗口，另一个的输入是将同一个点为中心的64×64的窗口下采样成32×32的窗口；
两个孪生卷积神经网络汇总时进入决策层，结构如下：
一个324×1024全连接层，输出维度为1024，并经过ReLU激活；
一个1024×1的全链接层，输出维度为1，并经过Sigmoid激活；
步骤(3)：分段处理双流卷积神经网络前向计算过程中分流和汇总两个模块，并保存中间数据，节省大量计算量；
步骤(4)：将网络输出结果转化为匹配代价，并利用交叉聚合算法将聚合区域内的匹配代价平均化；
步骤(5)：基于赢者通吃策略计算每一个像素点的视差，并用插值法对结果进行亚像素增强。
2.根据权利要求1所述的方法，其特征在于：步骤1)中所有数据和对应的标签均从KITTI数据库获取，只使用灰度图像数据，并对所有灰度值归一化；对于训练用数据，为每一个像素点构建一个正样本和负样本，便于之后建立基于二分类问题的交叉熵残差。
3.根据权利要求2所述的方法，其特征在于：设为一组样本，表示左图中以p点为中心的大小为n×n的窗口区域，表示右图中以q点为中心的大小为n×n的窗口区域；假设p＝(x,y)：
对于一个正样本：q＝(x-dt,y)
对于一个负样本：q＝(x-dt+oneg,y)
dt为点p对应的视差真值，oneg为一个随机偏移量；所有靠近图片边界的点，在取窗口时，不够的部分以0值填充；所有正样本对应的标签为1，负样本对应的标签为0。
4.根据权利要求1所述的方法，其特征在于：步骤2)中网络训练时使用的交叉熵残差定义如下：
θ表示网络的参数，y(i)第i个样本对应的标签值，正样本的y(i)为1，负样本的y(i)为0，x(i)表示样本i，h(x(i))表示第i个样本的网络最终输出结果。
5.根据权利要求1所述的方法，其特征在于：
步骤4)中对于某一个像素点p，根据设定的规则进行扩散，获得区域U(p)，规则如下：
|I(p)-I(pl)|＜intensity (1)
||p-pl||＜distance (2)
式1表示备选点pl与p的值的差距要小于阈值intensity，式2表示备选点pl与p的距离要小于阈值distance；
根据以上规则，首先基于p点分别从上下方向延伸，得到一组垂直的像素点V(p)，对于根据以上规则对q点进行左右方向的水平扩散，得到一组水平的像素点H(q)，U(p)是所有H(p)的并集；
得到U(p)后，匹配代价均值化计算如下：
C0(p,d)＝-s(＜PL(p),PR(p-d)>)
<mrow> <msup> <mi>C</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msub> <mi>U</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <msub> <mi>U</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </munder> <msup> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow>
表示一组样本经过网络前向计算后的输出结果，点p与点p-d在水平方向上距离为d，垂直坐标相同；负号将网络输出结果的相似度转化为匹配代价；Ci(p,d)表示在第i次迭代中，组合＜p,p-d>的交叉聚合结果，其等于第i-1次迭代中，Ud(p)范围内所有结果的均值；|Ud(p)|表示Ud(p)的元素个数。
6.根据权利要求1所述的方法，其特征在于：
步骤5)中对于左图中某点p，设C(p,d)为交叉聚合的最终结果，对于左图中某点p，选取所有C(p,d)中最小的结果作为匹配结果，那么d就是像素p的视差；
最后再对结果进行亚像素增强，公式如下：
<mrow> <msub> <mi>D</mi> <mi>p</mi> </msub> <mo>=</mo> <mi>d</mi> <mo>-</mo> <mfrac> <mrow> <msub> <mi>C</mi> <mo>+</mo> </msub> <mo>-</mo> <msub> <mi>C</mi> <mo>-</mo> </msub> </mrow> <mrow> <mn>2</mn> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mo>+</mo> </msub> <mo>-</mo> <mn>2</mn> <mi>C</mi> <mo>+</mo> <msub> <mi>C</mi> <mo>-</mo> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
Dp为亚像素增强后结果，C为赢者通吃策略结果中对应的C(p,d)，C+为C(p,d+1)，C-为C(p,d-1)。
CN201710289393.6A 2017-04-27 2017-04-27 一种基于双流卷积神经网络的立体匹配方法 Pending CN107146248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710289393.6A CN107146248A (zh) 2017-04-27 2017-04-27 一种基于双流卷积神经网络的立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710289393.6A CN107146248A (zh) 2017-04-27 2017-04-27 一种基于双流卷积神经网络的立体匹配方法

Publications (1)

Publication Number Publication Date
CN107146248A true CN107146248A (zh) 2017-09-08

Family

ID=59774890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710289393.6A Pending CN107146248A (zh) 2017-04-27 2017-04-27 一种基于双流卷积神经网络的立体匹配方法

Country Status (1)

Country Link
CN (1) CN107146248A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230384A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 图像深度计算方法、装置、存储介质和电子设备
CN108846473A (zh) * 2018-04-10 2018-11-20 杭州电子科技大学 基于方向和尺度自适应卷积神经网络的光场深度估计方法
CN109005398A (zh) * 2018-07-27 2018-12-14 杭州电子科技大学 一种基于卷积神经网络的立体图像视差匹配方法
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN111160115A (zh) * 2019-12-10 2020-05-15 上海工程技术大学 一种基于孪生双流3d卷积神经网络的视频行人再识别方法
CN111563564A (zh) * 2020-07-20 2020-08-21 南京理工大学智能计算成像研究院有限公司 基于深度学习的散斑图像逐像素匹配方法
CN113344869A (zh) * 2021-05-31 2021-09-03 武汉理工大学 一种基于候选视差的行车环境实时立体匹配方法及装置
CN114248893A (zh) * 2022-02-28 2022-03-29 中国农业大学 一种面向海参捕捞的作业型水下机器人及其控制方法
US11532090B2 (en) 2019-02-27 2022-12-20 Coretronic Corporation Electronic device and method for estimating optical flow

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN105956597A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于卷积神经网络的双目立体匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN105956597A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于卷积神经网络的双目立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JURE ZBONTAR ET AL: "Stereo matching by training a convolutional neural network to compare image patches", 《THE JOURNAL OF MACHINE LEARNING RESEARCH》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230384B (zh) * 2017-11-28 2021-08-24 深圳市商汤科技有限公司 图像深度计算方法、装置、存储介质和电子设备
CN108230384A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 图像深度计算方法、装置、存储介质和电子设备
CN108846473A (zh) * 2018-04-10 2018-11-20 杭州电子科技大学 基于方向和尺度自适应卷积神经网络的光场深度估计方法
CN108846473B (zh) * 2018-04-10 2022-03-01 杭州电子科技大学 基于方向和尺度自适应卷积神经网络的光场深度估计方法
CN109005398A (zh) * 2018-07-27 2018-12-14 杭州电子科技大学 一种基于卷积神经网络的立体图像视差匹配方法
US11532090B2 (en) 2019-02-27 2022-12-20 Coretronic Corporation Electronic device and method for estimating optical flow
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN110487216B (zh) * 2019-09-20 2021-05-25 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN111160115A (zh) * 2019-12-10 2020-05-15 上海工程技术大学 一种基于孪生双流3d卷积神经网络的视频行人再识别方法
CN111160115B (zh) * 2019-12-10 2023-05-02 上海工程技术大学 一种基于孪生双流3d卷积神经网络的视频行人再识别方法
CN111563564A (zh) * 2020-07-20 2020-08-21 南京理工大学智能计算成像研究院有限公司 基于深度学习的散斑图像逐像素匹配方法
CN113344869A (zh) * 2021-05-31 2021-09-03 武汉理工大学 一种基于候选视差的行车环境实时立体匹配方法及装置
CN114248893A (zh) * 2022-02-28 2022-03-29 中国农业大学 一种面向海参捕捞的作业型水下机器人及其控制方法

Similar Documents

Publication Publication Date Title
CN107146248A (zh) 一种基于双流卷积神经网络的立体匹配方法
Park et al. Look wider to match image patches with convolutional neural networks
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
CN104867135B (zh) 一种基于指导图像引导的高精度立体匹配方法
CN104680510B (zh) Radar视差图优化方法、立体匹配视差图优化方法及系统
CN107301664A (zh) 基于相似性测度函数的改进局部立体匹配方法
CN103996202A (zh) 一种基于混合匹配代价和自适应窗口的立体匹配方法
Chen et al. An improved edge detection algorithm for depth map inpainting
CN113763269B (zh) 一种用于双目图像的立体匹配方法
CN111402311A (zh) 一种基于知识蒸馏的轻量级立体视差估计方法
Su et al. Uncertainty guided multi-view stereo network for depth estimation
CN110599443A (zh) 一种使用双向长短期记忆网络的视觉显著性检测方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
Yang et al. Research on digital camouflage pattern generation algorithm based on adversarial autoencoder network
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
Xian et al. Any-shot gin: Generalizing implicit networks for reconstructing novel classes
Zhao et al. Fingerslam: Closed-loop unknown object localization and reconstruction from visuo-tactile feedback
CN117132651A (zh) 一种融合彩色图像和深度图像的三维人体姿态估计方法
CN111709977A (zh) 一种基于自适应单峰立体匹配成本滤波的双目深度学习方法
Pan et al. Improved Census Transform Method for Semi-Global Matching Algorithm
Zhang et al. N2MVSNet: Non-Local Neighbors Aware Multi-View Stereo Network
Liu et al. A novel method for stereo matching using Gabor Feature Image and Confidence Mask
Zhang et al. Stereo matching cost computation based on nonsubsampled contourlet transform
Yang et al. A feature extraction technique in stereo matching network
Zou et al. Group-Based atrous convolution stereo matching network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170908