CN111402129A - 一种基于联合上采样卷积神经网络的双目立体匹配方法 - Google Patents

一种基于联合上采样卷积神经网络的双目立体匹配方法 Download PDF

Info

Publication number
CN111402129A
CN111402129A CN202010108633.XA CN202010108633A CN111402129A CN 111402129 A CN111402129 A CN 111402129A CN 202010108633 A CN202010108633 A CN 202010108633A CN 111402129 A CN111402129 A CN 111402129A
Authority
CN
China
Prior art keywords
convolution
dimensional
neural network
convolutional neural
matching cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010108633.XA
Other languages
English (en)
Other versions
CN111402129B (zh
Inventor
张旭翀
孙宏滨
戴赫
汪航
赵永利
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010108633.XA priority Critical patent/CN111402129B/zh
Publication of CN111402129A publication Critical patent/CN111402129A/zh
Application granted granted Critical
Publication of CN111402129B publication Critical patent/CN111402129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

一种基于联合上采样卷积神经网络的双目立体匹配方法，该方法首先利用基于联合上采样的二维卷积神经网络对输入的立体图像对进行特征提取，然后通过拼接立体图像对的特征构建匹配代价的初始三维匹配代价量，进而采用三个级联的基于联合上采样的三维卷积神经网络对匹配代价量进行代价聚合，最后利用回归方法得到亚像素精度的稠密视差图。与现有的双目立体匹配深度神经网络相比，本发明在特征提取和代价聚合步骤的解码阶段均采用基于金字塔联合上采样的卷积神经网络，通过融合多层级多尺度的上下文特征信息，能够实现在上采样过程中有效保留更多的细节纹理，并采用计算复杂度较低的深度可分离卷积提高方法的计算效率，改善双目立体匹配的视差图质量。

Description

一种基于联合上采样卷积神经网络的双目立体匹配方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于联合上采样卷积神经网络的双目立体匹配方法。
背景技术
双目立体匹配是计算机视觉领域一个备受关注的研究问题，在三维重建、自动驾驶、机器人自主导航、工业检测等各类系统中获得了广泛的应用。特别地，当前应用对高精度、高分辨率、大视差的实时双目立体匹配需求迫切。这无疑对该技术的计算效率和计算精度提出了更高的挑战。近年来，基于深度学习技术的人工智能发展迅速，在目标检测、图像分类、语音识别等领域取得了突破性进展。双目立体匹配作为人工智能的应用热点之一，同样得益于深度神经网络技术的不断创新，使得算法的处理精度显著提升。
双目立体匹配技术一般包括匹配代价计算、匹配代价聚合、视差计算及优化等步骤。目前性能较高的双目立体匹配深度神经网络一般采用编解码架构(Encoder-Decoder)提取特征来构建匹配代价，并采用与编解码架构类似的沙漏结构(Hourglass)来正则化聚合代价(即代价聚合)。虽然编码器通过逐级下采样空间分辨率可以获得丰富的语义信息，但在解码过程中，目前常用的反卷积上采样容易丢失精细的图像结构信息，从而导致目标边界或小尺寸物体的视差结果预测不准确。在图像处理或计算机视觉的传统方法中，我们可以采用高分辨率输入图像来指导上采样过程来提高图像处理质量，即联合上采样方法。因此，通过设计一个基于卷积神经网络的联合上采样模块，并将其应用于立体匹配深度神经网络的特征提取和聚合代价的正则化过程中，有望进一步提高网络输出端的视差图质量。
发明内容
本发明的目的在于提供一种基于联合上采样卷积神经网络的双目立体匹配方法，以获得高质量的视差图结果。
为达到上述目的，本发明采用如下技术方案来实现的：
一种基于联合上采样卷积神经网络的双目立体匹配方法，该方法首先利用基于联合上采样的二维卷积神经网络对校正的立体图像对进行特征提取；然后通过拼接立体图像对的特征构建匹配代价的初始三维匹配代价量，进而采用三个级联的基于联合上采样的三维卷积神经网络对匹配代价量进行代价聚合，得到正则化后的三维匹配代价量；最后利用回归策略得到亚像素精度的稠密视差图。
本发明进一步的改进在于，该方法的具体实现方法如下：
1)特征提取，首先在编码阶段采用深度可分离卷积提取原始输入图像的低维特征图，并以1/3、1/6、1/12的分辨率逐层下采样，然后在解码阶段采用金字塔联合上采样(Joint Pyramid Up-sampling，JPU)模块将提取的高维特征图放大至原始输入图像的1/3分辨率；
2)匹配代价聚合，利用特征提取的特征图进行错位拼接，得到初始三维匹配代价量，通过采用与特征提取类似的三维卷积结构对代价量进行正则化处理，得到聚合后的三维匹配代价量，其尺寸为Dmax/3×H/3×W/3，其中Dmax表示最大视差，H表示输入图像高，W表示输入图像宽；
3)视差计算，采用双线性插值将聚合后的三维匹配代价量尺寸放大为Dmax×H×W，然后在视差维度上进行Soft Argmin回归，其公式如下：
Figure BDA0002389214560000021
其中，cd表示相应视差d下的匹配代价值；
得到稠密视差图后，采用Adam优化方法优化SmoothL1Loss目标函数，具体公式如下：
Figure BDA0002389214560000031
Figure BDA0002389214560000032
其中，di为像素点i的视差预测值，
Figure BDA0002389214560000033
为像素点i的视差真值；得到优化模型后，便可进行线上推理。
本发明进一步的改进在于，步骤1)中，图像特征提取阶段将普通标准卷积的通道相关性和空间相关性去耦合，使用深度可分离卷积将两者分开映射；即将3×3标准卷积替换成一个3×3深度卷积和一个1×1逐点卷积的组合。
本发明进一步的改进在于，步骤1)中，图像特征提取的解码阶段采用JPU模块，其解码过程表示如下：
Figure BDA0002389214560000034
其中，
Figure BDA0002389214560000035
表示JPU模块的输出；具体运算过程为：将编码阶段产生的1/3、1/6、1/12分辨率的特征图
Figure BDA0002389214560000036
作为JPU模块的输入，经过卷积操作后输出三个通道数为C的特征图，然后经过双线性插值将三个不同尺寸的特征图统一缩放到1/3尺寸，沿通道方向拼接形成3C×H/3×W/3特征图后，再分别通过膨胀率分别为1、2、4的膨胀卷积，得到三个C×H/3×W/3特征图；然后再一次将三个特征图在通道方向拼接得到3C×H/3×W/3特征图，最终经过一个卷积操作得到C×H/3×W/3的输出特征图
Figure BDA0002389214560000037
本发明进一步的改进在于，步骤2)中，匹配代价量的正则化处理即匹配代价聚合采用与步骤1)类似的基于JPU的编解码级联式架构，与步骤1)的不同之处在于本步骤中的卷积操作均为三维深度可分离卷积。
与现有技术相比，本发明至少具有如下有益的技术效果：
本发明提供的一种基于联合上采样卷积神经网络的双目立体匹配方法，该方法通过在特征提取和匹配代价聚合步骤中集成基于联合上采样的卷积神经网络模块，有效解决现有网络中因采用简单反卷积上采样引起的细节损失。
进一步，本发明提出的联合上采样模块可以从多层级的特征图中提取多尺度的上下文信息，并且借助于高分辨率的特征信息，能够在上采样过程中有效保留更多的细节纹理，提高网络的处理精度。
进一步，本发明采用深度可分离卷积代替传统的标准卷积，能够在保证滤波效果的同时大幅降低立体匹配网络的参数量，从而提高深度神经网络的计算效率。与标准卷积相比，深度可分离卷积能够在不显著影响计算精度的同时大幅降低计算量和参数。
附图说明
图1为本发明基于联合上采样卷积神经网络的双目立体匹配方法的整体框架；
图2为本发明JPU模块示意图；
图3为标准残差块卷积神经网络示意图；
图4为本发明基于深度可分离卷积的残差块示意图；
图5为本发明三种膨胀率的膨胀卷积示意图；
图6为本发明三维匹配代价量的正则化处理示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步的详细说明。
如图1-6所示，在对原始输入图像进行打乱、裁剪、归一化等常规数据预处理操作后，本发明提供了一种基于联合上采样卷积神经网络的双目立体匹配方法，该方法包括特征提取、匹配代价聚合和视差计算等三个步骤：
1)图1是本发明的整体框架示意图。完成双目立体匹配任务的神经网络模型输入是匹配图像对I1和I2，输出是目标图像I1的稠密视差信息，即视差图D。该网络将学习一个函数(模型)f满足下列关系:
f(I1,I2)＝D
具体地，网络首先从经过校正的原始输入图像I1和I2中提取用于匹配代价计算的高维特征信息F1和F2，然后利用F1和F2构建三维匹配代价量并进行匹配代价聚合，最终回归出稠密视差图D。如图1所示，本发明的整体模型主要包括特征提取f1、匹配代价聚合f2和视差计算f3等三个模块。
2)特征提取f1：f1采用一系列二维卷积操作学习I1和I2的特征表示F1和F2，可表达为F1＝f1(I1)，F2＝f1(I2)。首先，我们采用一个3倍下采样率的卷积层将原始输入图像I1和I2变换为一对C×H/3×W/3高维特征图
Figure BDA00023892145600000510
其中C表示特征图的通道数。然后采用基于JPU模块的编解码结构得到F1和F2。每个编码过程的运算如下：
Figure BDA0002389214560000051
Figure BDA0002389214560000052
其中
Figure BDA0002389214560000053
和
Figure BDA0002389214560000054
表示下采样一倍的卷积操作，
Figure BDA0002389214560000055
和
Figure BDA0002389214560000056
表示经过下采样产生的中间特征图结果，尺寸分别为2C×H/6×W/6、3C×H/12×W/12。在解码阶段，我们采用JPU模块结合高分辨率的特征图对低分辨率特征图进行联合上采样。特征提取中，我们将所有相同尺寸的特征图通过跳层连接相连，以提升深度网络的性能。匹配图像对I1和I2的特征提取均采用上述流程，并且共享网络参数。
2.1)如图2所示，基于JPU模块的解码过程可表示如下：
Figure BDA0002389214560000057
其中，
Figure BDA0002389214560000058
表示JPU模块的输出。JPU模块具体过程为：将编码阶段产生的1/3、1/6、1/12分辨率的特征图
Figure BDA0002389214560000059
作为输入，经过卷积操作后输出三个通道数为C的特征图，然后经过双线性插值将三个不同尺寸的特征图统一变换到1/3尺寸，之后沿通道方向拼接形成一张3C×H/3×W/3特征图，分别通过膨胀率分别为1、2、4的膨胀卷积(如图5所示)，得到三个C×H/3×W/3特征图，然后再一次将三个特征图在通道方向拼接得到3C×H/3×W/3特征图，最终经过一个卷积操作得到C×H/3×W/3特征图
Figure BDA0002389214560000061
2.2)如图3所示，为了降低卷积操作的计算复杂度和参数量，我们采用深度可分离卷积替换普通标准卷积。通过通道相关性和空间相关性的去耦合操作，可以将图3中的3×3标准卷积替换为图4中3×3深度卷积和1×1逐点卷积的组合操作。标准卷积的计算量为C×H×W×K×3×3，深度可分离卷积的计算量为C×H×W×3×3+C×H×W×K，其中K表示卷积操作的卷积核数目。
3)匹配代价聚合f2：该模块主要包括构建匹配代价量和代价聚合两部分。匹配代价量的构建过程主要利用特征提取的高维特征表示F1和F2计算每个像素点i在不同视差下d的匹配代价
Figure BDA0002389214560000062
具体操作为：在每一个视差下，参考特征图(右)沿宽度方向向左进行相应视差值个单位的平移，然后与目标特征图(左)在通道方向进行拼接。通过上述错位拼接，即可构建2C×Dmax/3×H/3×W/3的初始匹配代价量Sini。
如图6所示，在得到初始匹配代价量Sini后，分别经过两个卷积操作和三个级联的基于JPU模块的编解码架构对Sini进行正则化处理，得到聚合后的匹配代价量Sout，其尺寸为C×Dmax/3×H/3×W/3。与特征提取中不同的是，由于增加了视差这一维度，本阶段的卷积操作需要采用三维卷积对匹配代价量进行操作。
4)视差计算f3：得到匹配代价量的聚合结果Sout后，我们即可计算视差图D，即D＝f3(Sout)。首先，我们采用三维卷积将Sout的通道数降为1，得到尺寸为Dmax/3×H/3×W/3的匹配代价量。然后，为了得到与原始输入图像尺寸相同的视差图，我们将该匹配代价量的尺寸双线性插值到Dmax×H×W，最后在视差维度上进行Soft Argmin回归。该操作的优点在于其可微分，并且回归的结果具有亚像素精度。具体公式如下：
Figure BDA0002389214560000063
其中，cd表示相应视差d下的匹配代价值。
为了使反向传播的梯度随误差的变化更加平滑，对离群点更加鲁棒，我们使用SmoothL1Loss函数作为优化目标，其具体公式如下：
Figure BDA0002389214560000071
Figure BDA0002389214560000072
其中，di为像素点i的视差预测值，
Figure BDA0002389214560000073
为像素点i的视差真值。
在训练阶段，我们在级联的3个编解码结构均回归视差图，即可得到D0、D1、D2三个预测结果，则最终的误差由下式决定：
Loss＝0.5×Loss(D0)+0.7×Loss(D1)+1×Loss(D2)
为了提升学习收敛速度，防止陷入局部最优点，我们选择Adam优化器对模型参数进行更新。我们在FlyingThings3D、Driving和Monkaa数据集按上述过程做预训练，之后利用预训练得到的模型在KITTI 2012或KITTI 2015做迁移训练。至此，模型优化完成，可进行线上推理任务。

Claims (5)

1.一种基于联合上采样卷积神经网络的双目立体匹配方法，其特征在于，该方法首先利用基于联合上采样的二维卷积神经网络对校正的立体图像对进行特征提取；然后通过拼接立体图像对的特征构建匹配代价的初始三维匹配代价量，进而采用三个级联的基于联合上采样的三维卷积神经网络对匹配代价量进行代价聚合，得到正则化后的三维匹配代价量；最后利用回归策略得到亚像素精度的稠密视差图。
2.根据权利要求1所述的一种基于联合上采样卷积神经网络的双目立体匹配方法，其特征在于，该方法的具体实现方法如下：
1)特征提取，首先在编码阶段采用深度可分离卷积提取原始输入图像的低维特征图，并以1/3、1/6、1/12的分辨率逐层下采样，然后在解码阶段采用金字塔联合上采样模块将提取的高维特征图放大至原始输入图像的1/3分辨率，其中金字塔联合上采样以下简称为JPU；
2)匹配代价聚合，利用特征提取的特征图进行错位拼接，得到初始三维匹配代价量，通过采用与特征提取类似的三维卷积结构对代价量进行正则化处理，得到聚合后的三维匹配代价量，其尺寸为Dmax/3×H/3×W/3，其中Dmax表示最大视差，H表示输入图像高，W表示输入图像宽；
3)视差计算，采用双线性插值将聚合后的三维匹配代价量尺寸放大为Dmax×H×W，然后在视差维度上进行Soft Argmin回归，其公式如下：
Figure FDA0002389214550000011
其中，cd表示相应视差d下的匹配代价值；
得到稠密视差图后，采用Adam优化方法优化SmoothL1Loss目标函数，具体公式如下：
Figure FDA0002389214550000012
Figure FDA0002389214550000013
其中，di为像素点i的视差预测值，
Figure FDA0002389214550000021
为像素点i的视差真值；得到优化模型后，便可进行线上推理。
3.根据权利要求2所述的一种基于联合上采样卷积神经网络的双目立体匹配方法，其特征在于，步骤1)中，图像特征提取阶段将普通标准卷积的通道相关性和空间相关性去耦合，使用深度可分离卷积将两者分开映射；即将3×3标准卷积替换成一个3×3深度卷积和一个1×1逐点卷积的组合。
4.根据权利要求2所述的一种基于联合上采样卷积神经网络的双目立体匹配方法，其特征在于，步骤1)中，图像特征提取的解码阶段采用JPU模块，其解码过程表示如下：
Figure FDA0002389214550000022
其中，
Figure FDA0002389214550000023
表示JPU模块的输出；具体运算过程为：将编码阶段产生的1/3、1/6、1/12分辨率的特征图
Figure FDA0002389214550000024
作为JPU模块的输入，经过卷积操作后输出三个通道数为C的特征图，然后经过双线性插值将三个不同尺寸的特征图统一缩放到1/3尺寸，沿通道方向拼接形成3C×H/3×W/3特征图后，再分别通过膨胀率分别为1、2、4的膨胀卷积，得到三个C×H/3×W/3特征图；然后再一次将三个特征图在通道方向拼接得到3C×H/3×W/3特征图，最终经过一个卷积操作得到C×H/3×W/3的输出特征图
Figure FDA0002389214550000025
5.根据权利要求4所述的一种基于联合上采样卷积神经网络的双目立体匹配方法，其特征在于，步骤2)中，匹配代价量的正则化处理即匹配代价聚合采用与步骤1)类似的基于JPU模块的编解码级联式架构，但由于增加了视差这一维度，与步骤1)的不同之处在于本步骤中的卷积操作均采用三维卷积对匹配代价量进行操作。
CN202010108633.XA 2020-02-21 2020-02-21 一种基于联合上采样卷积神经网络的双目立体匹配方法 Active CN111402129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010108633.XA CN111402129B (zh) 2020-02-21 2020-02-21 一种基于联合上采样卷积神经网络的双目立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010108633.XA CN111402129B (zh) 2020-02-21 2020-02-21 一种基于联合上采样卷积神经网络的双目立体匹配方法

Publications (2)

Publication Number Publication Date
CN111402129A true CN111402129A (zh) 2020-07-10
CN111402129B CN111402129B (zh) 2022-03-01

Family

ID=71413850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010108633.XA Active CN111402129B (zh) 2020-02-21 2020-02-21 一种基于联合上采样卷积神经网络的双目立体匹配方法

Country Status (1)

Country Link
CN (1) CN111402129B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898740A (zh) * 2020-07-31 2020-11-06 北京达佳互联信息技术有限公司 预测模型的模型参数更新方法及装置
CN111914853A (zh) * 2020-07-17 2020-11-10 三峡大学 一种用于立体匹配的特征提取方法
CN111968168A (zh) * 2020-08-05 2020-11-20 东南大学 多分支可调节瓶颈卷积模块以及端对端的立体匹配网络
CN112150521A (zh) * 2020-08-24 2020-12-29 江苏大学 一种基于PSMNet优化的图像立体匹配方法
CN112150518A (zh) * 2020-08-06 2020-12-29 江苏大学 一种基于注意力机制的图像立体匹配方法及双目设备
CN112288690A (zh) * 2020-10-14 2021-01-29 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN112365586A (zh) * 2020-11-25 2021-02-12 厦门瑞为信息技术有限公司 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
CN112418410A (zh) * 2020-12-14 2021-02-26 上海卓繁信息技术股份有限公司 多目标检测方法、装置和存储介质
CN112418336A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种电力线巡检影像密集匹配方法
CN112435282A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112581517A (zh) * 2020-12-16 2021-03-30 电子科技大学中山学院 双目立体匹配装置及方法
CN112700532A (zh) * 2020-12-21 2021-04-23 杭州反重力智能科技有限公司 一种用于三维重建的神经网络训练方法和系统
CN113034666A (zh) * 2021-02-01 2021-06-25 中国计量大学 一种基于金字塔视差优化代价计算的立体匹配方法
CN113436269A (zh) * 2021-06-15 2021-09-24 影石创新科技股份有限公司 图像稠密立体匹配方法、装置和计算机设备
CN113592021A (zh) * 2021-08-11 2021-11-02 上海海事大学 一种基于可变形和深度可分离卷积的立体匹配方法
CN113643305A (zh) * 2021-08-10 2021-11-12 珠海复旦创新研究院 一种基于深度网络上下文提升的人像检测与分割方法
CN113762267A (zh) * 2021-09-02 2021-12-07 北京易航远智科技有限公司 一种基于语义关联的多尺度双目立体匹配方法及装置
CN113887568A (zh) * 2021-09-09 2022-01-04 西安理工大学 一种各向异性卷积的双目图像立体匹配方法
CN114119777A (zh) * 2022-01-27 2022-03-01 北京中科慧眼科技有限公司 基于深度学习的立体匹配方法和系统
CN115409843A (zh) * 2022-11-02 2022-11-29 长春理工大学 基于尺度均衡耦合卷积架构的脑神经影像特征提取方法
CN116740162A (zh) * 2023-08-14 2023-09-12 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质
CN117475182A (zh) * 2023-09-13 2024-01-30 江南大学 基于多特征聚合的立体匹配方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2182512A1 (en) * 2008-10-29 2010-05-05 BRITISH TELECOMMUNICATIONS public limited company Speaker verification
WO2012177166A1 (en) * 2011-06-24 2012-12-27 Intel Corporation An efficient approach to estimate disparity map
US20140177968A1 (en) * 2012-12-20 2014-06-26 Chung-Ang University Industry-Academy Cooperation Foundation Homography estimation apparatus and method
CN105956597A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于卷积神经网络的双目立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN109191511A (zh) * 2018-07-27 2019-01-11 杭州电子科技大学 一种基于卷积神经网络的双目立体匹配方法
CN109544613A (zh) * 2018-11-23 2019-03-29 南昌航空大学 一种基于稠密网络深度学习的双目立体匹配方法及系统
CN110070574A (zh) * 2019-04-29 2019-07-30 优乐圈(武汉)科技有限公司 一种基于改进PSMNet的双目视觉立体匹配算法
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2182512A1 (en) * 2008-10-29 2010-05-05 BRITISH TELECOMMUNICATIONS public limited company Speaker verification
WO2012177166A1 (en) * 2011-06-24 2012-12-27 Intel Corporation An efficient approach to estimate disparity map
US20140177968A1 (en) * 2012-12-20 2014-06-26 Chung-Ang University Industry-Academy Cooperation Foundation Homography estimation apparatus and method
CN105956597A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于卷积神经网络的双目立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN109191511A (zh) * 2018-07-27 2019-01-11 杭州电子科技大学 一种基于卷积神经网络的双目立体匹配方法
CN109544613A (zh) * 2018-11-23 2019-03-29 南昌航空大学 一种基于稠密网络深度学习的双目立体匹配方法及系统
CN110070574A (zh) * 2019-04-29 2019-07-30 优乐圈(武汉)科技有限公司 一种基于改进PSMNet的双目视觉立体匹配算法
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LUKASZ LASKOWSKI等: "A novel hybrid-maximum neural network in stereo-matching process", 《NEURAL COMPUTING AND APPLICATIONS》 *
刘柏高等: "三维机器视觉中图象匹配的几种摄象机几何模型和误差分析", 《光子学报》 *
杨柳等: "基于新生成器结构的图像修复方法", 《计算机系统应用》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914853A (zh) * 2020-07-17 2020-11-10 三峡大学 一种用于立体匹配的特征提取方法
CN111914853B (zh) * 2020-07-17 2023-10-31 三峡大学 一种用于立体匹配的特征提取方法
CN111898740B (zh) * 2020-07-31 2021-07-20 北京达佳互联信息技术有限公司 预测模型的模型参数更新方法及装置
CN111898740A (zh) * 2020-07-31 2020-11-06 北京达佳互联信息技术有限公司 预测模型的模型参数更新方法及装置
CN111968168A (zh) * 2020-08-05 2020-11-20 东南大学 多分支可调节瓶颈卷积模块以及端对端的立体匹配网络
CN112150518A (zh) * 2020-08-06 2020-12-29 江苏大学 一种基于注意力机制的图像立体匹配方法及双目设备
CN112150518B (zh) * 2020-08-06 2024-05-14 江苏大学 一种基于注意力机制的图像立体匹配方法及双目设备
CN112150521A (zh) * 2020-08-24 2020-12-29 江苏大学 一种基于PSMNet优化的图像立体匹配方法
CN112150521B (zh) * 2020-08-24 2024-05-14 江苏大学 一种基于PSMNet优化的图像立体匹配方法
CN112288690A (zh) * 2020-10-14 2021-01-29 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN112288690B (zh) * 2020-10-14 2023-08-18 武汉大学 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN112435282B (zh) * 2020-10-28 2023-09-12 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112435282A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112365586A (zh) * 2020-11-25 2021-02-12 厦门瑞为信息技术有限公司 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
CN112365586B (zh) * 2020-11-25 2023-07-18 厦门瑞为信息技术有限公司 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
CN112418336B (zh) * 2020-11-27 2024-01-23 广东电网有限责任公司肇庆供电局 一种电力线巡检影像密集匹配方法
CN112418336A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种电力线巡检影像密集匹配方法
CN112418410A (zh) * 2020-12-14 2021-02-26 上海卓繁信息技术股份有限公司 多目标检测方法、装置和存储介质
CN112581517A (zh) * 2020-12-16 2021-03-30 电子科技大学中山学院 双目立体匹配装置及方法
CN112581517B (zh) * 2020-12-16 2022-02-18 电子科技大学中山学院 双目立体匹配装置及方法
CN112700532B (zh) * 2020-12-21 2021-11-16 杭州反重力智能科技有限公司 一种用于三维重建的神经网络训练方法和系统
CN112700532A (zh) * 2020-12-21 2021-04-23 杭州反重力智能科技有限公司 一种用于三维重建的神经网络训练方法和系统
CN113034666A (zh) * 2021-02-01 2021-06-25 中国计量大学 一种基于金字塔视差优化代价计算的立体匹配方法
CN113034666B (zh) * 2021-02-01 2023-09-12 中国计量大学 一种基于金字塔视差优化代价计算的立体匹配方法
CN113436269A (zh) * 2021-06-15 2021-09-24 影石创新科技股份有限公司 图像稠密立体匹配方法、装置和计算机设备
CN113643305A (zh) * 2021-08-10 2021-11-12 珠海复旦创新研究院 一种基于深度网络上下文提升的人像检测与分割方法
CN113643305B (zh) * 2021-08-10 2023-08-25 珠海复旦创新研究院 一种基于深度网络上下文提升的人像检测与分割方法
CN113592021B (zh) * 2021-08-11 2024-03-22 上海海事大学 一种基于可变形和深度可分离卷积的立体匹配方法
CN113592021A (zh) * 2021-08-11 2021-11-02 上海海事大学 一种基于可变形和深度可分离卷积的立体匹配方法
CN113762267A (zh) * 2021-09-02 2021-12-07 北京易航远智科技有限公司 一种基于语义关联的多尺度双目立体匹配方法及装置
CN113762267B (zh) * 2021-09-02 2024-03-12 北京易航远智科技有限公司 一种基于语义关联的多尺度双目立体匹配方法及装置
CN113887568B (zh) * 2021-09-09 2024-02-06 西安理工大学 一种各向异性卷积的双目图像立体匹配方法
CN113887568A (zh) * 2021-09-09 2022-01-04 西安理工大学 一种各向异性卷积的双目图像立体匹配方法
CN114119777A (zh) * 2022-01-27 2022-03-01 北京中科慧眼科技有限公司 基于深度学习的立体匹配方法和系统
CN115409843A (zh) * 2022-11-02 2022-11-29 长春理工大学 基于尺度均衡耦合卷积架构的脑神经影像特征提取方法
CN116740162B (zh) * 2023-08-14 2023-11-14 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质
CN116740162A (zh) * 2023-08-14 2023-09-12 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质
CN117475182A (zh) * 2023-09-13 2024-01-30 江南大学 基于多特征聚合的立体匹配方法
CN117475182B (zh) * 2023-09-13 2024-06-04 江南大学 基于多特征聚合的立体匹配方法

Also Published As

Publication number Publication date
CN111402129B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111402129B (zh) 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN112435282B (zh) 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112330681B (zh) 一种基于注意力机制的轻量级网络实时语义分割方法
CN109816593B (zh) 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN109905624B (zh) 一种视频帧插值方法、装置及设备
Zhou et al. AGLNet: Towards real-time semantic segmentation of self-driving images via attention-guided lightweight network
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN110533712A (zh) 一种基于卷积神经网络的双目立体匹配方法
CN109685716B (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN111402311B (zh) 一种基于知识蒸馏的轻量级立体视差估计方法
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
WO2016145675A1 (zh) 一种基于分段的两级深度学习模型的大数据处理方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN115393396B (zh) 一种基于掩码预训练的无人机目标跟踪方法
CN115187638A (zh) 一种基于光流遮罩的无监督单目深度估计方法
CN112288772B (zh) 基于在线多特征选择的通道注意力目标跟踪方法
CN116109689A (zh) 基于引导优化聚合的边缘保持立体匹配方法
CN112070668A (zh) 一种基于深度学习和边缘增强的图像超分辨方法
CN113763446A (zh) 一种基于引导信息的立体匹配方法
CN115641285A (zh) 一种基于密集多尺度信息融合的双目视觉立体匹配方法
CN114049251A (zh) 一种用于ai视频分析的模糊图像超分辨率重建方法及装置
CN116188509A (zh) 一种高效率三维图像分割方法
Chong et al. Multi-hierarchy feature extraction and multi-step cost aggregation for stereo matching
CN116051609B (zh) 一种基于带限变形傅里叶网络的无监督医学图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant