CN112435282A - 一种基于自适应候选视差预测网络的实时双目立体匹配方法 - Google Patents

一种基于自适应候选视差预测网络的实时双目立体匹配方法 Download PDF

Info

Publication number
CN112435282A
CN112435282A CN202011176728.1A CN202011176728A CN112435282A CN 112435282 A CN112435282 A CN 112435282A CN 202011176728 A CN202011176728 A CN 202011176728A CN 112435282 A CN112435282 A CN 112435282A
Authority
CN
China
Prior art keywords
parallax
disparity
estimation
map
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011176728.1A
Other languages
English (en)
Other versions
CN112435282B (zh
Inventor
张旭翀
孙宏滨
戴赫
赵永利
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011176728.1A priority Critical patent/CN112435282B/zh
Publication of CN112435282A publication Critical patent/CN112435282A/zh
Priority to PCT/CN2021/118609 priority patent/WO2022089077A1/zh
Application granted granted Critical
Publication of CN112435282B publication Critical patent/CN112435282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自适应候选视差预测网络的实时双目立体匹配方法。该方法首先利用二维卷积神经网络对立体图像对进行多尺度特征提取，得到高、低分辨率的特征图。然后，第一阶段视差估计利用低分辨率特征图进行视差粗估计。在利用粗估计结果和左图信息预测得到自适应候选视差以后，第二阶段视差估计则利用预测结果和高分辨率特征图进行精细视差估计。最后，对视差图进行层次化精修得到全尺寸视差图。与现有的由粗到精立体匹配神经网络相比，本发明可以为精细视差估计阶段预测更准确的动态偏移量，以满足图像中各种目标不同的视差校正需求。由于动态预测的有效性，本发明设计了两级处理结构以大幅提高实时双目立体匹配网络的计算精度和速度。

Description

一种基于自适应候选视差预测网络的实时双目立体匹配方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于自适应候选视差预测网络的实时双目立体匹配方法。
背景技术
双目立体视觉系统在机器人导航、智能监控、自动驾驶等应用领域有着广泛的应用。因此，准确，快速的双目立体匹配对于立体视觉系统在移动设备的实时部署具有重要意义。近年来，基于深度学习技术的双目立体匹配得益于神经网络模型的不断创新，其算法的处理精度显著提升。但是，当前的高精度立体匹配网络通常需要占用大量的内存和计算资源，这使得已有方法难以在资源受限的移动平台上应用。
端到端双目立体匹配网络主要包括特征提取、聚合代价量构建、匹配代价聚合以及视差回归/优化等步骤。其中，匹配代价聚合步骤对模型的计算速度和资源耗费起着决定性作用，因此对该步骤的合理优化成为网络轻量化设计的关键。当前，已有方法主要采用由粗到精(Coarse-to-fine)的视差估计策略来大幅降低代价聚合步骤的计算复杂度。具体地，该方法首先在小分辨率下进行全视差范围搜索得到粗视差估计结果，然后逐级上采样，并在大分辨率下用极少数的视差偏移量对粗估计视差进行精细化修正，因此计算速度显著提高。然而，已有方法均采用固定偏移量的方式为精细估计阶段提供候选视差，该方式将候选值限制在粗视差估计结果的局部小范围内，从而导致视差修正难以满足不同场景中不同目标的实际需求，因此已有方法的视差图质量相对较差。此外，为了一定程度提高估计结果，已有由粗到精方法通常采用多阶段(一般≥3级)处理来得到更准确的视差。但是，随着操作级数的增加，计算速度会显著降低。综上所述，已有采用由粗到精策略的轻量化双目立体匹配网络在计算精度和速度等方面仍难以满足移动设备对立体视觉的实时性要求。
发明内容
本发明的目的在于提出一种基于自适应候选视差预测网络的实时双目立体匹配方法，以克服现有技术的缺点。本发明利用粗视差估计结果和原始图像信息为每一像素动态预测精细估计阶段所需的视差偏移量，从而适应不同目标物体对视差校正范围的差异化需求。并且，由于该方法的有效性，本发明设计了一种两级处理结构以提升双目立体匹配网络的计算精度和速度。
为达到上述目的，本发明采用如下技术方案来实现：
一种基于自适应候选视差预测网络的实时双目立体匹配方法，该方法包括：
首先利用二维卷积对校正后的立体图像对进行多尺度特征提取，得到高、低分辨率的特征图；然后，在第一阶段中，在低分辨率特征图下进行视差粗估计；随后利用粗估计视差图和左图进行动态偏移量预测，该偏移量与粗估计结果相加生成自适应候选视差；第二阶段视差估计利用自适应候选视差和高分辨率特征图构建紧凑匹配代价量，该代价量通过正则化之后进行视差回归得到精细估计视差；最后，视差精修模块对精细视差图进行层次化上采样，得到全尺寸视差图。
本发明进一步的改进在于，特征提取时，首先用一系列二维卷积将输入原图逐级下采样到1/2、1/4、1/8和1/16，然后对1/4和1/16特征进行更深层次的特征提取。
本发明进一步的改进在于，第一阶段视差估计，利用特征提取的1/16特征图进行错位拼接，得到完整匹配代价量；通过堆叠的三维卷积对代价量进行正则化处理，得到聚合后的匹配代价量，对该代价量进行回归得到粗估计视差图。
本发明进一步的改进在于，动态偏移量预测DOP根据粗估计视差图和左图信息预测动态候选视差偏移量，将其与粗估计视差图相加生成自适应候选视差。
本发明进一步的改进在于，DOP利用视差粗估计结果和左图信息预测动态偏移量，进而得到自适应候选视差，表示如下：
Figure BDA0002748889960000031
其中，
Figure BDA0002748889960000032
表示像素点p的第n个视差偏移量
Figure BDA0002748889960000033
I1p表示左图像素点p的值，
Figure BDA0002748889960000034
表示像素点p的第一阶段视差粗估计结果；使用一系列二维卷积实现DOP，具体过程为：首先将粗估计视差图和左图双线性插值到1/4分辨率，再沿通道方向级联，接着将该张量通过一个卷积得到CDOP维表示，然后该张量通过4个步长为1的残差块得到尺寸为(N-1)×H/4×W/4的偏移量，其中，N为偏移量总数，H和W为输入图像的高和宽；将该偏移量和零张量加到粗估计视差图上，便可得到自适应的候选视差dcp：
Figure BDA0002748889960000035
本发明进一步的改进在于，第二阶段视差估计，利用自适应候选视差对1/4右特征图进行扭曲操作，即根据自适应候选视差对右特征图的每一像素进行不同程度的位移，然后与左特征图级联得到紧凑匹配代价量，对该代价量正则化处理后，进行视差回归得到1/4分辨率的精细视差估计。
本发明进一步的改进在于，视差精修时，通过级联残差块，利用精细视差估计结果和左图信息层次化预测视差残差，将残差与视差相加得到精修视差图，并上采样得到全尺寸视差；
得到视差图后，采用Adam优化方法优化SmoothL1Loss目标函数，具体公式如下：
Figure BDA0002748889960000036
Figure BDA0002748889960000037
其中，
Figure BDA0002748889960000038
为像素点i的视差预测值，di为像素点i的视差真值；得到优化模型后，便可进行线上推理。
与现有技术相比，本发明至少具有如下有益的技术效果：
本发明提出的一种基于自适应候选视差预测网络的实时双目立体匹配方法，该方法提出的DOP可以预测动态偏移量来代替已有方法的恒定偏移量，该偏移量与粗估计视差结果相加生成自适应候选视差，可以适应不同图像位置的不同视差校正范围需求，并且能够恢复粗估计阶段丢失的细小结构信息，显著提升视差图质量。
进一步，由于DOP的有效性，本发明无需采用与已有方法类似的多级处理操作。因此，本发明设计了两级由粗到精的处理结构，能够大幅提升精度的同时，速度也提高至原有方法的两倍。
附图说明
图1为本发明基于自适应候选视差预测网络的实时双目立体匹配方法的整体框架；
图2为本发明的特征提取网络示意图；
图3为本发明的动态偏移量预测以及自适应候选视差生成示意图；
图4为DOP的动态偏移量可视化示意图，图4(a)为动态候选视差偏移量，图4(b)为偏移量直方图；
图5为本发明的视差精修模块示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步的详细说明。
如图1-5所示，在对原始输入图像进行打乱、裁剪、归一化等常规数据预处理操作后，本发明提供了一种基于自适应候选视差网络的实时双目立体匹配方法，该方法包括特征提取、第一阶段视差估计、动态偏移量预测DOP(Dynamic Offset Prediction,DOP)、第二阶段视差估计和视差精修等5个步骤：
1)图1是本发明的整体框架示意图。完成双目立体匹配任务的神经网络模型输入是匹配图像对I1和I2，输出是目标图像I1的稠密视差图D。该网络将学习一个函数(模型)f满足下列关系：
f(I1，I2)＝D
具体地，网络首先从经过校正的原始输入图像I1和I2中提取用于匹配代价计算的高维特征信息F1和F2，然后利用F1和F2构建三维匹配代价量并进行代价聚合，最终回归出稠密视差图D。如图1所示，本发明的整体模型主要包括特征提取f1、第一阶段视差估计f2、DOPf3、第二阶段视差估计f4和视差精修f5等5个模块。
2)特征提取f1：f1采用一系列二维卷积操作学习I1和I2的1/4和1/16分辨率特征表示
Figure BDA00027488899600000511
Figure BDA0002748889960000051
以及
Figure BDA0002748889960000052
该过程可表示为：
Figure BDA0002748889960000053
Figure BDA0002748889960000054
首先，本发明采用三个下采样率分别为2、1、2的卷积、一个残差块和一个卷积操作将原始输入图像I1变换为2C×H/4×W/4的高维特征图
Figure BDA0002748889960000055
其中，H、W分别表示输入图像的高和宽，C为控制特征提取通道数的常数。然后用两次2倍下采样卷积+残差块的操作组合、一个残差块和一个卷积操作提取到尺寸为8C×H/16×W/16的特征
Figure BDA0002748889960000056
I1和I2的特征提取网络权值共享，且I2的特征提取过程与上述一致。
3)第一阶段视差估计f2：该模块主要包含构建完整匹配代价量、代价聚合和视差计算三部分。完整匹配代价量的构建过程具体为：在每一个视差下，
Figure BDA0002748889960000057
沿宽度方向向左进行相应视差值个单位的平移，然后与目标特征图(左)在通道方向进行拼接。通过上述错位拼接，即可构建尺寸为16C×D/16×H/16×W/16的初始匹配代价量
Figure BDA0002748889960000058
其中D表示最大视差值。通过6个级联的标准三维卷积对
Figure BDA0002748889960000059
进行正则化得到尺寸为1×D/16×H/16×W/16的匹配代价量
Figure BDA00027488899600000510
最后用Soft Argmin对该代价量进行回归，得到粗估计视差值：
Figure BDA0002748889960000061
其中，cd表示相应视差d下的匹配代价，Dmax表示该分辨率下的最大视差。
4)DOP f3：DOP根据f2粗视差结果和左图信息动态预测每个像素的视差偏移量。具体可表示如下：
Figure BDA0002748889960000062
其中，
Figure BDA0002748889960000063
表示像素点p的第n个视差偏移量
Figure BDA0002748889960000064
I1p表示左图像素点p的值，
Figure BDA0002748889960000065
表示像素点p的第一阶段视差粗估计结果。本发明使用一系列二维卷积来实现DOP函数。具体运算过程如图3所示，首先将粗估计视差图和左图双线性插值到1/4分辨率，再沿通道方向级联，接着将该张量通过一个卷积得到CDOP维表示，然后该张量通过4个步长为1的残差块得到尺寸为(N-1)×H/4×W/4的偏移量，其中，N为偏移量总数，动态偏移量及其统计直方图如图4所示。将该偏移量和零张量加到粗估计视差图，便可得到自适应的候选视差dcp：
Figure BDA0002748889960000066
5)第二阶段视差估计f4：该模块与f2类似，主要包含构建紧凑匹配代价量、代价聚合和视差计算三部分。本发明利用f3得到的dcp对右图1/4分辨率特征图
Figure BDA0002748889960000067
进行扭曲操作，即根据候选视差对右特征图的每一个像素进行不同程度的位移，然后与左图1/4分辨率特征图
Figure BDA0002748889960000068
沿通道方向级联，形成尺寸为4C×D/4×H/4×W/4的初始匹配代价量
Figure BDA0002748889960000069
接下来对
Figure BDA00027488899600000610
进行正则化得到代价量
Figure BDA00027488899600000611
最后用Soft Argmin对该代价量进行回归：
Figure BDA00027488899600000612
其中，
Figure BDA00027488899600000613
表示相应视差
Figure BDA00027488899600000614
下的匹配代价。
由于DOP可以预测更准确的候选视差，本发明设计为两级由粗到精结构以进行准确且快速的视差估计。
6)视差精修f5：如图5所示，在得到1/4分辨率视差
Figure BDA00027488899600000615
以后，本发明对其进行两级精修和上采样。具体地，首先本发明将
Figure BDA0002748889960000076
和1/4左图级联，经过卷积后形成尺寸为32×H/4×W/4的张量，之后该张量经过膨胀率分别为1、2、4、8、1、1的残差块和一个二维卷积，得到尺寸为1×H/4×W/4的视差残差r1，将其与
Figure BDA0002748889960000077
相加后，便可得到1/4分辨率下的视差精修结果，将该结果上采样到1/2分辨率后重复上述过程得到1/2分辨率下的视差精修结果r2，最后将1/2精修视差图上采样到全分辨率便得到最终视差结果。
为了使反向传播的梯度随误差的变化更加平滑，对离群点更加鲁棒，本发明使用SmoothL1Loss函数作为优化目标，其具体公式如下：
Figure BDA0002748889960000071
Figure BDA0002748889960000072
其中，
Figure BDA0002748889960000073
为像素点i的视差预测值，di为像素点i的视差真值。
在训练阶段，本发明在第一、二阶段的第一个卷积后增加输出视差图
Figure BDA0002748889960000074
进行更有效的监督，损失函数计算如下：
Figure BDA0002748889960000075
为了提升学习收敛速度，防止陷入局部最优点，本发明选择Adam优化器对模型参数进行更新。本发明在FlyingThings3D、Driving和Monkaa数据集按上述过程做预训练，之后利用预训练得到的模型在KITTI 2012或KITTI 2015做迁移训练。至此，模型优化完成，可进行线上推理任务。

Claims (7)

1.一种基于自适应候选视差预测网络的实时双目立体匹配方法，其特征在于，该方法包括：
首先利用二维卷积对校正后的立体图像对进行多尺度特征提取，得到高、低分辨率的特征图；然后，在第一阶段中，在低分辨率特征图下进行视差粗估计；随后利用粗估计视差图和左图进行动态偏移量预测，该偏移量与粗估计结果相加生成自适应候选视差；第二阶段视差估计利用自适应候选视差和高分辨率特征图构建紧凑匹配代价量，该代价量通过正则化之后进行视差回归得到精细估计视差；最后，视差精修模块对精细视差图进行层次化上采样，得到全尺寸视差图。
2.根据权利要求1所述的一种基于自适应候选视差预测网络的实时双目立体匹配方法，其特征在于，特征提取时，首先用一系列二维卷积将输入原图逐级下采样到1/2、1/4、1/8和1/16，然后对1/4和1/16特征进行更深层次的特征提取。
3.根据权利要求2所述的一种基于自适应候选视差预测网络的实时双目立体匹配方法，其特征在于，第一阶段视差估计，利用特征提取的1/16特征图进行错位拼接，得到完整匹配代价量；通过堆叠的三维卷积对代价量进行正则化处理，得到聚合后的匹配代价量，对该代价量进行回归得到粗估计视差图。
4.根据权利要求3所述的一种基于自适应候选视差预测网络的实时双目立体匹配方法，其特征在于，动态偏移量预测DOP根据粗估计视差图和左图信息预测动态候选视差偏移量，将其与粗估计视差图相加生成自适应候选视差。
5.根据权利要求4所述的一种基于自适应候选视差预测网络的实时双目立体匹配方法，其特征在于，DOP利用视差粗估计结果和左图信息预测动态偏移量，进而得到自适应候选视差，表示如下：
Figure FDA0002748889950000011
其中，
Figure FDA0002748889950000012
表示像素点p的第n个视差偏移量
Figure FDA0002748889950000013
I1p表示左图像素点p的值，
Figure FDA0002748889950000014
表示像素点p的第一阶段视差粗估计结果；使用一系列二维卷积实现DOP，具体过程为：首先将粗估计视差图和左图双线性插值到1/4分辨率，再沿通道方向级联，接着将该张量通过一个卷积得到CDOP维表示，然后该张量通过4个步长为1的残差块得到尺寸为(N-1)×H/4×W/4的偏移量，其中，N为偏移量总数，H和W为输入图像的高和宽；将该偏移量和零张量加到粗估计视差图上，便可得到自适应的候选视差dcp：
Figure FDA0002748889950000021
6.根据权利要求5所述的一种基于自适应候选视差预测网络的实时双目立体匹配方法，其特征在于，第二阶段视差估计，利用自适应候选视差对1/4右特征图进行扭曲操作，即根据自适应候选视差对右特征图的每一像素进行不同程度的位移，然后与左特征图级联得到紧凑匹配代价量，对该代价量正则化处理后，进行视差回归得到1/4分辨率的精细视差估计。
7.根据权利要求6所述的一种基于自适应候选视差预测网络的实时双目立体匹配方法，其特征在于，视差精修时，通过级联残差块，利用精细视差估计结果和左图信息层次化预测视差残差，将残差与视差相加得到精修视差图，并上采样得到全尺寸视差；
得到视差图后，采用Adam优化方法优化SmoothL1Loss目标函数，具体公式如下：
Figure FDA0002748889950000022
Figure FDA0002748889950000023
其中，
Figure FDA0002748889950000024
为像素点i的视差预测值，di为像素点i的视差真值；得到优化模型后，便可进行线上推理。
CN202011176728.1A 2020-10-28 2020-10-28 一种基于自适应候选视差预测网络的实时双目立体匹配方法 Active CN112435282B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011176728.1A CN112435282B (zh) 2020-10-28 2020-10-28 一种基于自适应候选视差预测网络的实时双目立体匹配方法
PCT/CN2021/118609 WO2022089077A1 (zh) 2020-10-28 2021-09-15 一种基于自适应候选视差预测网络的实时双目立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011176728.1A CN112435282B (zh) 2020-10-28 2020-10-28 一种基于自适应候选视差预测网络的实时双目立体匹配方法

Publications (2)

Publication Number Publication Date
CN112435282A true CN112435282A (zh) 2021-03-02
CN112435282B CN112435282B (zh) 2023-09-12

Family

ID=74696379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011176728.1A Active CN112435282B (zh) 2020-10-28 2020-10-28 一种基于自适应候选视差预测网络的实时双目立体匹配方法

Country Status (2)

Country Link
CN (1) CN112435282B (zh)
WO (1) WO2022089077A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991422A (zh) * 2021-04-27 2021-06-18 杭州云智声智能科技有限公司 一种基于空洞空间金字塔池化的立体匹配方法及系统
CN113658277A (zh) * 2021-08-25 2021-11-16 北京百度网讯科技有限公司 立体匹配方法、模型训练方法、相关装置及电子设备
CN114155303A (zh) * 2022-02-09 2022-03-08 北京中科慧眼科技有限公司 基于双目相机的参数立体匹配方法和系统
WO2022089077A1 (zh) * 2020-10-28 2022-05-05 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN114677417A (zh) * 2022-03-18 2022-06-28 西安交通大学 用于立体视觉在线自校正与自监督视差估计的优化方法
CN116740162A (zh) * 2023-08-14 2023-09-12 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209122B (zh) * 2022-07-26 2023-07-07 福州大学 一种基于多智能体的立体图像视觉舒适度增强方法及系统
CN116824307B (zh) * 2023-08-29 2024-01-02 深圳市万物云科技有限公司 基于sam模型的图像标注方法、装置及相关介质
CN117422750B (zh) * 2023-10-30 2024-08-02 河南送变电建设有限公司 一种场景距离实时感知方法、装置、电子设备及存储介质
CN117409058B (zh) * 2023-12-14 2024-03-26 浙江优众新材料科技有限公司 一种基于自监督的深度估计匹配代价预估方法
CN117593350A (zh) * 2024-01-18 2024-02-23 泉州装备制造研究所 一种用于无人机输电线检测的双目立体匹配方法及系统
CN117747056A (zh) * 2024-02-19 2024-03-22 遂宁市中心医院 一种微创手术术前图像估计方法、装置、设备及存储介质
CN118447065A (zh) * 2024-07-08 2024-08-06 海纳云物联科技有限公司 双目立体匹配模型训练、预测方法及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176722A1 (en) * 2010-01-05 2011-07-21 Mikhail Sizintsev System and method of processing stereo images
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
WO2018098891A1 (zh) * 2016-11-30 2018-06-07 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN109472819A (zh) * 2018-09-06 2019-03-15 杭州电子科技大学 一种基于级联几何上下文神经网络的双目视差估计方法
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10529085B2 (en) * 2018-03-30 2020-01-07 Samsung Electronics Co., Ltd. Hardware disparity evaluation for stereo matching
CN109410266A (zh) * 2018-09-18 2019-03-01 合肥工业大学 基于四模Census变换和离散视差搜索的立体匹配算法
CN110427968B (zh) * 2019-06-28 2021-11-02 武汉大学 一种基于细节增强的双目立体匹配方法
CN112435282B (zh) * 2020-10-28 2023-09-12 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176722A1 (en) * 2010-01-05 2011-07-21 Mikhail Sizintsev System and method of processing stereo images
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
WO2018098891A1 (zh) * 2016-11-30 2018-06-07 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN109472819A (zh) * 2018-09-06 2019-03-15 杭州电子科技大学 一种基于级联几何上下文神经网络的双目视差估计方法
CN110533712A (zh) * 2019-08-26 2019-12-03 北京工业大学 一种基于卷积神经网络的双目立体匹配方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张文;邵小桃;杨维;郭鸣坤;景年昭;: "基于卷积神经网络的高效精准立体匹配算法", 计算机辅助设计与图形学学报, no. 01 *
段中兴;齐嘉麟;: "基于多尺度卷积神经网络的立体匹配算法研究", 计算机测量与控制, no. 09 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022089077A1 (zh) * 2020-10-28 2022-05-05 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112991422A (zh) * 2021-04-27 2021-06-18 杭州云智声智能科技有限公司 一种基于空洞空间金字塔池化的立体匹配方法及系统
CN113658277A (zh) * 2021-08-25 2021-11-16 北京百度网讯科技有限公司 立体匹配方法、模型训练方法、相关装置及电子设备
CN113658277B (zh) * 2021-08-25 2022-11-11 北京百度网讯科技有限公司 立体匹配方法、模型训练方法、相关装置及电子设备
CN114155303A (zh) * 2022-02-09 2022-03-08 北京中科慧眼科技有限公司 基于双目相机的参数立体匹配方法和系统
CN114677417A (zh) * 2022-03-18 2022-06-28 西安交通大学 用于立体视觉在线自校正与自监督视差估计的优化方法
CN116740162A (zh) * 2023-08-14 2023-09-12 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质
CN116740162B (zh) * 2023-08-14 2023-11-14 东莞市爱培科技术有限公司 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Also Published As

Publication number Publication date
CN112435282B (zh) 2023-09-12
WO2022089077A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
CN112435282B (zh) 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN111402129B (zh) 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN109410242B (zh) 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN107358626B (zh) 一种利用条件生成对抗网络计算视差的方法
CN112329658B (zh) 一种对于yolov3网络的检测算法改进方法
CN109472819B (zh) 一种基于级联几何上下文神经网络的双目视差估计方法
CN110569875B (zh) 一种基于特征复用的深度神经网络目标检测方法
CN111259945B (zh) 引入注意力图谱的双目视差估计方法
CN110533712A (zh) 一种基于卷积神经网络的双目立体匹配方法
CN111508013B (zh) 立体匹配方法
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
CN113033570A (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN110569851B (zh) 门控多层融合的实时语义分割方法
CN113592026A (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
US20220198694A1 (en) Disparity estimation optimization method based on upsampling and exact rematching
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN113763446B (zh) 一种基于引导信息的立体匹配方法
CN114677417A (zh) 用于立体视觉在线自校正与自监督视差估计的优化方法
CN110110775A (zh) 一种基于超连接网络的匹配代价计算方法
CN113887568A (zh) 一种各向异性卷积的双目图像立体匹配方法
CN110766732A (zh) 一种鲁棒的单相机深度图估计方法
CN116485864A (zh) 基于重参数化的三阶段双目深度估计的方法及装置
CN117152580A (zh) 双目立体视觉匹配网络构建方法及双目立体视觉匹配方法
CN116977631A (zh) 一种基于DeepLabV3+的街景语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant