CN116740162A - 一种基于多尺度代价卷的立体匹配方法及计算机存储介质 - Google Patents

一种基于多尺度代价卷的立体匹配方法及计算机存储介质 Download PDF

Info

Publication number
CN116740162A
CN116740162A CN202311015777.0A CN202311015777A CN116740162A CN 116740162 A CN116740162 A CN 116740162A CN 202311015777 A CN202311015777 A CN 202311015777A CN 116740162 A CN116740162 A CN 116740162A
Authority
CN
China
Prior art keywords
cost
scale
cost volume
aggregation
price
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311015777.0A
Other languages
English (en)
Other versions
CN116740162B (zh
Inventor
戴齐飞
张甲全
钱刃
丘文峰
赵勇
李福池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Aipeike Technology Co ltd
Original Assignee
Dongguan Aipeike Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Aipeike Technology Co ltd filed Critical Dongguan Aipeike Technology Co ltd
Priority to CN202311015777.0A priority Critical patent/CN116740162B/zh
Publication of CN116740162A publication Critical patent/CN116740162A/zh
Application granted granted Critical
Publication of CN116740162B publication Critical patent/CN116740162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提出的一种基于多尺度代价卷的立体匹配方法及计算机存储介质，首先在特征提取阶段融合了低层次的高分辨率低语义特征和高级低分辨率高语义特征，使最终提取到的不同尺度的特征图具有丰富的语义信息和结构信息，然后根据提取到的不同尺度的特征图进行不同尺度代价卷的构建，并采用多尺度成本聚合方式基于构建的多个尺度的代价卷进行代价聚合，能够扩大感受野和获取更丰富的结构信息，同时也可以大大减少冗余信息和错误信息，从而实现更精准的视差预测。

Description

一种基于多尺度代价卷的立体匹配方法及计算机存储介质
技术领域
本发明涉及立体匹配技术领域，具体涉及一种基于多尺度代价卷的立体匹配方法及计算机存储介质。
背景技术
立体匹配是机器视觉的一个重要分支，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体的三维几何信息的方法，它在自动驾驶、机器人导航等许多场景有广泛的应用，给定一对校正后的立体图像，利用立体匹配可以快速获取到对应的深度信息，从而为后续的三维重建、导航等提供支持。
近年来，基于深度学习网络的立体匹配方法取得了优异的性能，但在弱纹理区域和重复纹理区域等不良区域的匹配问题仍然存在，常见的网络通常利用最后一个卷积层上的深层特征来进行预测，这种方法的优点是速度快、需要内存少，而缺点是仅仅关注了深层网络中最后一层的特征，却忽略了浅层特征，然而浅层特征可以在一定程度上提升检测的精度，同时在代价聚合阶段，目前的一些方法是利用单一尺度的代价卷进行内聚合，这种方式只能聚合到有限的特征，无法得到非常准确的视差预测结果。
发明内容
本发明的方法根据提取到的不同尺度的特征图进行不同尺度代价卷的构建，并采用多尺度成本聚合方式基于构建的多个尺度的代价卷进行代价聚合，能够扩大感受野和获取更丰富的结构信息，同时也可以大大减少冗余信息和错误信息，从而实现更精准的视差预测。
第一方面，一种基于多尺度代价卷的立体匹配方法,包括：获取待匹配的左视图和右视图；采用第一特征提取方式对所述左视图和所述右视图进行特征提取，以得到多个不同尺度的第一特征左图和多个不同尺度的第一特征右图，多个所述第一特征左图和多个所述第一特征右图一一对应且对应的所述第一特征左图和所述第一特征右图的尺度相同；对于多个不同尺度的所述第一特征左图和多个不同尺度的所述第一特征右图，将其中对应的所述第一特征左图和所述第一特征右图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷；采用多尺度成本聚合方式对所有所述第一代价卷进行代价聚合，以得到第二代价卷，所述第二代价卷的尺度与所述第一代价卷的最小尺度相同；对所述第二代价卷进行视差回归，得到所述左视图和所述右视图的第一视差图；采用误差优化方式对所述第一视差图进行视差优化，以得到第二视差图。
一些实施例中，所述第一特征提取方式包括：对所述左视图和所述右视图分别进行特征提取和连续下采样处理，以得到尺度为1/32的所述第一特征左图和尺度为1/32的所述第一特征右图;对尺度为1/32的所述第一特征左图和尺度为1/32的所述第一特征右图进行特征提取和1/2上采样，以得到尺度为1/16的所述第一特征左图和尺度为1/16的所述第一特征右图；对尺度为1/16的所述第一特征左图和尺度为1/16的所述第一特征右图进行特征提取和1/2上采样，以得到尺度为1/8的所述第一特征左图和尺度为1/8的所述第一特征右图；对尺度为1/8的所述第一特征左图和尺度为1/8的所述第一特征右图进行1/2上采样，以得到尺度为1/4的所述第一特征左图和尺度为1/4的所述第一特征右图。
一些实施例中，所述对于多个不同尺度的所述第一特征左图和多个不同尺度的所述第一特征右图，将其中对应的所述第一特征左图和所述第一特征右图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷，包括：对尺度为1/32的所述第一特征左图和尺度为1/32的所述第一特征右图进行相关性操作，构建尺度为1/32的第一代价卷；对尺度为1/16的所述第一特征左图和尺度为1/16的所述第一特征右图进行相关性操作，构建尺度为1/16的第一代价卷；对尺度为1/8的所述第一特征左图和尺度为1/8的所述第一特征右图进行相关性操作，构建尺度为1/8的第一代价卷；对尺度为1/4的所述第一特征左图和尺度为1/4的所述第一特征右图进行相关性操作，构建尺度为1/4的第一代价卷。
一些实施例中，所述多尺度成本聚合方式包括：采用第一聚合方式对所有所述第一代价卷进行代价聚合，以得到尺度分别为1/16、1/8和1/4的第三代价卷；采用第二聚合方式对所有所述第三代价卷进行代价聚合，得到尺度分别为1/8和1/4的第四代价卷；采用第三聚合方式对所有所述第四代价卷进行代价聚合，得到尺度为1/4的第五代价卷；采用第四聚合方式对所述第五代价卷进行代价聚合，得到尺度为1/4的第二代价卷。
一些实施例中，所述第一聚合方式包括：将尺度为1/4的所述第一代价卷进行1/2下采样得到尺度为1/8的第一下采样代价卷，并将所述第一下采样代价卷和同尺度的所述第一代价卷进行代价聚合，得到尺度为1/8的第一聚合代价卷；将所述第一聚合代价卷进行1/2下采样得到尺度为1/16的第二下采样代价卷，并将所述第二下采样代价卷和同尺度的的所述第一代价卷进行代价聚合，得到尺度为1/16的第二聚合代价卷；将所述第二聚合代价卷进行1/2下采样得到尺度为1/32的第三下采样代价卷，并将所述第三下采样代价卷和同尺度的所述第一代价卷进行代价聚合，得到尺度为1/32的第三聚合代价卷；将所述第三聚合代价卷进行1/2上采样得到尺度为1/16的第一上采样代价卷，并将所述第一上采样代价卷和所述第二聚合代价卷进行代价聚合，得到尺度为1/16的所述第三代价卷；将尺度为1/16的所述第三代价卷进行1/2上采样得到尺度为1/8的第二上采样代价卷，并将所述第二上采样代价卷和所述第一聚合代价卷进行代价聚合，得到尺度为1/8的所述第三代价卷；将尺度为1/8的所述第三代价卷进行1/2上采样得到尺度为1/4的第三上采样代价卷，并将所述第三上采样代价卷和尺度为1/4的所述第一代价卷进行代价聚合，得到尺度为1/4的所述第三代价卷。
一些实施例中，所述第二聚合方式包括：将尺度为1/4的所述第三代价卷进行1/2下采样得到尺度为1/8的第四下采样代价卷，并将所述第四下采样代价卷和尺度为1/8的所述第三代价卷进行代价聚合，得到尺度为1/8的第四聚合代价卷；将所述第四聚合代价卷进行1/2下采样得到尺度为1/16的第五下采样代价卷，并将所述第五下采样代价卷和同尺度的所述第三代价卷进行代价聚合，得到尺度为1/16的第五聚合代价卷；将所述第五聚合代价卷进行1/2下采样得到尺度为1/32的第六下采样代价卷；将所述第六下采样代价卷进行1/2上采样得到尺度为1/16的第四上采样代价卷，并将所述第四上采样代价卷和所述第五聚合代价卷进行代价聚合，得到尺度为1/16的第六聚合代价卷；将第六聚合代价卷进行1/2上采样得到尺度为1/8的第五上采样代价卷，并将所述第五上采样代价卷和所述第四聚合代价卷进行代价聚合，得到尺度为1/8的第四代价卷；将尺度为1/8的所述第四代价卷进行1/2上采样得到尺度为1/4的第六上采样代价卷，并将所述第六上采样代价卷和同尺度的所述第三代价卷进行代价聚合，得到尺度为1/4的所述第四代价卷。
一些实施例中，所述第三聚合方式包括：将尺度为1/4的所述第四代价卷进行1/2下采样得到尺度为1/8的第七下采样代价卷，并将所述第七下采样代价卷和同尺度的所述第四代价卷进行代价聚合，得到尺度为1/8的第七聚合代价卷；将所述第七聚合代价卷进行1/2下采样得到尺度为1/16的第八下采样代价卷；将所述第八下采样代价卷进行1/2下采样得到尺度为1/32的第九下采样代价卷；将所述第九下采样代价卷进行1/2上采样得到尺度为1/16的第七上采样代价卷，并将所述第七上采样代价卷和所述第八下采样代价卷进行代价聚合，得到尺度为1/16的第八聚合代价卷；将所述第八聚合代价卷进行1/2上采样得到尺度为1/8的第八上采样代价卷，并将所述第八上采样代价卷和同尺度的所述第四代价卷进行代价聚合，得到尺度为1/8的第九聚合代价卷；将所述第九聚合代价卷进行1/2上采样得到尺度为1/4的第九上采样代价卷，并将所述第九上采样代价卷和同尺度的所述第四代价卷进行代价聚合，得到尺度为1/4的第五代价卷。
一些实施例中，所述第四聚合方式包括：将所述第五代价卷进行连续三次1/2下采样分别得到尺度为1/8的第十下采样代价卷、尺度为1/16的第十一下采样代价卷和尺度为1/32的第十二下采样代价卷；将所述第十二下采样代价卷进行1/2上采样得到尺度为1/16的第十上采样代价卷，并将所述第十上采样代价卷和所述第十一下采样代价卷进行代价聚合，得到尺度为1/16的第十聚合代价卷；将所述第十聚合代价卷进行1/2上采样得到尺度为1/8的第十一上采样代价卷，并将所述第十一上采样代价卷和所述第十下采样代价卷进行代价聚合，得到尺度为1/8的第十一聚合代价卷；将所述第十一聚合代价卷进行1/2上采样得到尺度为1/4的第十二上采样代价卷，并将所述第十二上采样代价卷和所述第五代价卷进行代价聚合，得到尺度为1/4的第二代价卷。
一些实施例中，所述误差优化方式包括：根据所述第二特征左图和所述第一误差图，得到第三视差图；调整所述第三视差图的通道数，以得到第四视差图；调整所述第一视差图的通道数，以得到第五视差图；根据所述第四视差图和所述第五视差图，得到第六视差图；根据所述第六视差图得到误差相关的特征，得到第七视差图；根据第七视差图和所述第一视差图，得到所述第二视差图。
第二方面，一种计算机可读存储介质，所述存储介质上存储有程序，所述程序能够被处理器执行以实现如前述的方法。
根据上述实施例的基于多尺度代价卷的立体匹配方法，首先在特征提取阶段融合了低层次的高分辨率低语义特征和高级低分辨率高语义特征，使最终提取到的不同尺度的特征图具有丰富的语义信息和结构信息，然后根据提取到的不同尺度的特征图进行不同尺度代价卷的构建，并采用多尺度成本聚合方式基于构建的多个尺度的代价卷进行代价聚合，能够扩大感受野和获取更丰富的结构信息，同时也可以大大减少冗余信息和错误信息，从而实现更精准的视差预测。
附图说明
图1为本发明提供的基于多尺度代价卷的立体匹配方法的流程图；
图2为一种实施例的第一特征提取方式的流程图；
图3为一种实施例的构建多个不同尺度的第一代价卷的流程图；
图4为一种实施例的构建的神经网络的结构图；
图5为一种实施例的代价聚合模块的结构图；
图6为一种实施例的多尺度成本聚合方式的流程图；
图7为一种实施例的第一聚合方式的流程图；
图8为一种实施例的第一聚合模块的工作流程图；
图9为一种实施例的第二聚合方式的流程图；
图10为一种实施例的第二聚合模块的工作流程图；
图11为一种实施例的第三聚合方式的流程图；
图12为一种实施例的第三聚合模块的工作流程图；
图13为一种实施例的第四聚合方式的流程图；
图14为一种实施例的第四聚合模块的工作流程图；
图15为一种实施例的误差优化方式的流程图；
图16为一种实施例的视差优化的工作过程图；
图17为本发明提供的计算机存储介质的结构图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
在立体匹配网络中，浅层的网络更关注于细节信息，高层的网络更关注于语义信息，而高层的语义信息能够更准确的检测出目标，因此常见的网络通常利用最后一个卷积层上的特征来进行预测，这种方法的优点是速度快、需要内存少，缺点是仅仅关注深层网络中最后一层的特征，却忽略了其它层的特征，但是细节信息可以在一定程度上提升检测的精度，同时在代价聚合阶段，之前的方法只利用单一尺度的代价进行内聚合，这种方式只能聚合到有限的特征，无法得到非常准确的结果。
本发明针对以上问题提供了一种基于多尺度代价卷的立体匹配方法，首先在特征提取阶段融合了低层次的高分辨率低语义特征和高级低分辨率高语义特征，使最终提取到的不同尺度的特征图具有丰富的语义信息和结构信息，然后根据提取到的不同尺度的特征图进行不同尺度代价卷的构建，并采用多尺度成本聚合方式基于构建的多个尺度的代价体进行代价聚合，能够扩大感受野和获取更丰富的结构信息，同时也可以大大减少冗余信息和错误信息，从而实现更精准的视差预测。
请参考图1，本发明的一种实施例中，提供一种基于多尺度代价卷的立体匹配方法,包括：
S10：获取待匹配的左视图和右视图。
S20：采用第一特征提取方式对左视图和右视图进行特征提取，以得到多个不同尺度的第一特征左图和多个不同尺度的第一特征右图，多个第一特征左图和多个第一特征右图一一对应且对应的第一特征左图和第一特征右图的尺度相同。
一些实施例中，如图2所示，第一特征提取方式包括：
S21：对左视图和右视图分别进行特征提取和连续下采样处理，以得到尺度为1/32的第一特征左图和尺度为1/32的第一特征右图。
一些实施例中，对左视图和右视图分别进行五次连续下采样处理，得到尺度为1/32的第一特征左图和尺度为1/32的第一特征右图。
S22：对尺度为1/32的第一特征左图和尺度为1/32的第一特征右图进行特征提取和1/2上采样，以得到尺度为1/16的第一特征左图和尺度为1/16的第一特征右图。
S23：对尺度为1/16的第一特征左图和尺度为1/16的第一特征右图进行特征提取和1/2上采样，以得到尺度为1/8的第一特征左图和尺度为1/8的第一特征右图。
S24：对尺度为1/8的第一特征左图和尺度为1/8的第一特征右图进行1/2上采样，以得到尺度为1/4的第一特征左图和尺度为1/4的第一特征右图。
本发明采用第一特征提取方式进行特征提取，充分融合了低层次的高分辨率低语义特征和高级低分辨率高语义特征，使最终提取到的不同尺度的第一特征左图和第一特征右图具有丰富的语义信息和结构信息。
S30：对于多个不同尺度的第一特征左图和多个不同尺度的第一特征右图，将其中对应的第一特征左图和第一特征右图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷。
一些实施例中，对于多个不同尺度的第一特征左图和多个不同尺度的第一特征右图，将其中对应的第一特征左图和第一特征右图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷，如图3所示，包括：
S31：对尺度为1/32的第一特征左图和尺度为1/32的第一特征右图进行相关性操作，构建尺度为1/32的第一代价卷。
S32：对尺度为1/16的第一特征左图和尺度为1/16的第一特征右图进行相关性操作，构建尺度为1/16的第一代价卷。
S33：对尺度为1/8的第一特征左图和尺度为1/8的第一特征右图进行相关性操作，构建尺度为1/8的第一代价卷。
S34：对尺度为1/4的第一特征左图和尺度为1/4的第一特征右图进行相关性操作，构建尺度为1/4的第一代价卷。
S40：采用多尺度成本聚合方式对所有第一代价卷进行代价聚合，以得到第二代价卷，第二代价卷的尺度与第一代价卷的最大尺度相同。
一些实施例中，构建了一种新的神经网络来实现本发明提出的方法，该神经网络的结构如图4所示，包括：特征提取模块10、代价卷构建模块20、代价聚合模块30、视差回归模块40和视差优化模块50，特征提取模块10采用第一特征提取方式对左视图和右视图进行特征提取，以得到多个不同尺度的第一特征左图和多个不同尺度的第一特征右图，多个第一特征左图和多个第一特征右图一一对应且对应的第一特征左图和第一特征右图的尺度相同；代价卷构建模块20用于对于多个不同尺度的第一特征左图和多个不同尺度的第一特征右图，将其中对应的第一特征左图和第一特征右图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷；代价聚合模块30用于采用多尺度成本聚合方式对所有第一代价卷进行代价聚合，以得到第二代价卷，第二代价卷的尺度与第一代价卷的最大尺度相同；视差回归模块40用于对第二代价卷进行视差回归，得到左视图和右视图的第一视差图；视差优化模块50用于采用误差优化方式对第一视差图进行视差优化，以得到第二视差图。
一些实施例中，如图5所示，代价聚合模块30包括第一聚合模块31、第二聚合模块32、第三聚合模块33和第四聚合模块34，代价聚合模块30采用沙漏网络实现。
一些实施例中，如图6所示，多尺度成本聚合方式包括：
S41：基于第一聚合方式对所有第一代价卷进行代价聚合，以分别得到尺度为1/16、1/8和1/4的第三代价卷。
一些实施例中，第一聚合方式基于第一聚合模块31实现，如图7所示，第一聚合方式包括：
S410：将尺度为1/4的第一代价卷进行1/2下采样得到尺度为1/8的第一下采样代价卷，并将第一下采样代价卷和同尺度的第一代价卷进行代价聚合，得到尺度为1/8的第一聚合代价卷。
S411：将第一聚合代价卷进行1/2下采样得到尺度为1/16的第二下采样代价卷，并将第二下采样代价卷和同尺度的第一代价卷进行代价聚合，得到尺度为1/16的第二聚合代价卷。
S412：将第二聚合代价卷进行1/2下采样得到尺度为1/32的第三下采样代价卷，并将第三下采样代价卷和同尺度的第一代价卷进行代价聚合，得到尺度为1/32的第三聚合代价卷。
S413：将第三聚合代价卷进行1/2上采样得到尺度为1/16的第一上采样代价卷，并将第一上采样代价卷和第二聚合代价卷进行代价聚合，得到尺度为1/16的第三代价卷。
S414：将尺度为1/16的第三代价卷进行1/2上采样得到尺度为1/8的第二上采样代价卷，并将第二上采样代价卷和第一聚合代价卷进行代价聚合，得到尺度为1/8的第三代价卷。
S415：将尺度为1/8的第三代价卷进行1/2上采样得到尺度为1/4的第三上采样代价卷，并将第三上采样代价卷和尺度为1/4的第一代价卷进行代价聚合，得到尺度为1/4的第三代价卷。
如图8所示的第一聚合模块31的工作流程，在第一聚合模块31中采用3D卷积对不同尺度的第一代价卷进行下采样，每次下采样后与同尺度的第一代价卷进行拼接操作，再通过卷积进行通道维度的变换来保证通道数的数目，从而保证计算量的不增加，持续这个过程，在尺度最小的第一代价卷（即1/32尺度的第一代价卷）也完成聚合后，对深层的代价卷进行反卷积，然后通过跳连与前面的浅层融合代价卷进行进一步拼接操作，从而将信息聚合的更加充分，直至得到尺度为1/16、1/8和1/4的第三代价卷。
S42：基于第二聚合方式对所有第三代价卷进行代价聚合，得到尺度分别为1/8和1/4的第四代价卷。
一些实施例中，第二聚合方式基于第二聚合模块32实现，如图9所示，第二聚合方式包括：
S420：将尺度为1/4的第三代价卷进行1/2下采样得到尺度为1/8的第四下采样代价卷，并将第四下采样代价卷和尺度为1/8的第三代价卷进行代价聚合，得到尺度为1/8的第四聚合代价卷。
S421：将第四聚合代价卷进行1/2下采样得到尺度为1/16的第五下采样代价卷，并将第五下采样代价卷和同尺度的第三代价卷进行代价聚合，得到尺度为1/16的第五聚合代价卷。
S422：将第五聚合代价卷进行1/2下采样得到尺度为1/32的第六下采样代价卷。
S423：将第六下采样代价卷进行1/2上采样得到尺度为1/16的第四上采样代价卷，并将第四上采样代价卷和第五聚合代价卷进行代价聚合，得到尺度为1/16的第六聚合代价卷。
S424：将第六聚合代价卷进行1/2上采样得到尺度为1/8的第五上采样代价卷，并将第五上采样代价卷和第四聚合代价卷进行代价聚合，得到尺度为1/8的第四代价卷。
S425：将尺度为1/8的第四代价卷进行1/2上采样得到尺度为1/4的第六上采样代价卷，并将第六上采样代价卷和同尺度的第三代价卷进行代价聚合，得到尺度为1/4的第四代价卷。
如图10所示的第二聚合模块32的工作过程，在第二聚合模块32中采用3D卷积对不同尺度的第三代价卷进行下采样，每次下采样后与同尺度的第三代价卷进行拼接操作，再通过卷积进行通道维度的变换来保证通道数的数目，从而保证计算量的不增加，持续这个过程，在尺度最小的第三代价卷（即1/16尺度的第三代价卷）也完成聚合后，对深层的代价卷进行反卷积，然后通过跳连与前面的浅层融合代价卷进行进一步拼接操作，从而将信息聚合的更加充分，直至得到尺度为1/8和1/4的第四代价卷。
S43：基于第三聚合方式对所有第四代价卷进行代价聚合，得到尺度分别为1/4的第五代价卷。
一些实施例中，第三聚合方式基于第三聚合模块33实现，如图11所示，第三聚合方式包括：
S430：将尺度为1/4的所述第四代价卷进行1/2下采样得到尺度为1/8的第七下采样代价卷，并将第七下采样代价卷和同尺度的第四代价卷进行代价聚合，得到尺度为1/8的第七聚合代价卷。
S431：将第七聚合代价卷进行1/2下采样得到尺度为1/16的第八下采样代价卷。
S432：将第八下采样代价卷进行1/2下采样得到尺度为1/32的第九下采样代价卷。
S433：将第九下采样代价卷进行1/2上采样得到尺度为1/16的第七上采样代价卷，并将第七上采样代价卷和第八下采样代价卷进行代价聚合，得到尺度为1/16的第八聚合代价卷。
S434：将第八聚合代价卷进行1/2上采样得到尺度为1/8的第八上采样代价卷，并将第八上采样代价卷和同尺度的第四代价卷进行代价聚合，得到尺度为1/8的第九聚合代价卷。
S435：将第九聚合代价卷进行1/2上采样得到尺度为1/4的第九上采样代价卷，并将第九上采样代价卷和同尺度的第四代价卷进行代价聚合，得到尺度为1/4的第五代价卷。
如图12所示的第三聚合模块33的工作过程，在第三聚合模块33中采用3D卷积对尺度为1/4的第四代价卷进行1/2下采样，下采样后与同尺度的第四代价卷进行拼接操作，再通过卷积进行通道维度的变换来保证通道数的数目，持续这个过程，在尺度最小的第四代价卷（即1/8尺度的第四代价卷）也完成聚合后，先对深层的代价卷进行反卷积，然后通过跳连与前面的浅层融合代价卷进行进一步拼接操作，从而将信息聚合的更加充分，直至得到尺度为1/4的第五代价卷。
S44：基于第四聚合方式对第五代价卷进行代价聚合，得到尺度为1/4的第二代价卷。
一些实施例中，第四聚合方式基于第四聚合模块34实现，如图13所示，第四聚合方式包括：
S440：将第五代价卷进行连续三次1/2下采样分别得到尺度为1/8的第十下采样代价卷、尺度为1/16的第十一下采样代价卷和尺度为1/32的第十二下采样代价卷。
S441：将第十二下采样代价卷进行1/2上采样得到尺度为1/16的第十上采样代价卷，并将第十上采样代价卷和第十一下采样代价卷进行代价聚合，得到尺度为1/16的第十聚合代价卷。
S442：将第十聚合代价卷进行1/2上采样得到尺度为1/8的第十一上采样代价卷，并将第十一上采样代价卷和第十下采样代价卷进行代价聚合，得到尺度为1/8的第十一聚合代价卷。
S443：将第十一聚合代价卷进行1/2上采样得到尺度为1/4的第十二上采样代价卷，并将第十二上采样代价卷和第五代价卷进行代价聚合，得到尺度为1/4的第二代价卷。
如图14所示的第四聚合模块34的工作过程，经第四聚合模块34处理后最终得到一个完全聚合后的1/4尺度的第二代价卷，最后得到的1/4尺度的第二代价卷是一个聚合了本身和其他不同尺度代价卷的新的代价卷，该代价卷包含了丰富的结构和语义信息，可以直接用它回归视差图，相比较只有一个尺度的代价聚合方法，本发明提出的多尺度成本聚合方式可以充分融合不同尺度的代价卷的结构信息和语义信息，从而增强网络的场景理解能力，提升预测视差图的精度。
S50：对第二代价卷进行视差回归，得到左视图和右视图的第一视差图。
S60：采用误差优化方式对第一视差图进行视差优化，以得到第二视差图。
一些实施例中，如图15所示，误差优化方式包括：
S61：对左视图和右视图进行特征提取，以得到第二特征左图和第二特征右图，第二特征左图和第二特征右图的尺寸与第一视差图相同。
S62：将第二特征右图进行扭曲操作，以得到第三特征右图。
S63：根据第二特征左图和第三特征右图，得到第一误差图，将第二特征左图和第三特征右图中每个对应的像素值求差得到第一误差图。
S64：根据第二特征左图和第一误差图，得到第三视差图，对第二特征左图和第一误差图中每个对应的像素值进行拼接得到第三视差图。
S65：调整第三视差图的通道数，以得到第四视差图，通过2D卷积实现第三视差图通道数的调整。
S66：调整第一视差图的通道数，以得到第五视差图，通过2D卷积实现第一视差图通道数的调整。
S67：根据第四视差图和第五视差图，得到第六视差图，将第四视差图和第五视差图中每个对应的像素值进行拼接得到第六视差图。
S68：根据第六视差图得到误差相关的特征，得到第七视差图，对第六视差图进行四层2D卷积操作得到第七视差图。
S69：根据第七视差图和第一视差图，得到第二视差图，将第七视差图和第一视差图中每个对应的像素值进行拼接得到第二视差图，第二视差图为最终输出的视差图。
图16示出了视差优化的过程，视差优化中的每一个输入都有其现实意义，其中第一误差图表征了需要进一步优化的误匹配区域，第一视差图给了算法进行视差估计的一个参考基准和初始值，第二特征左图的特征则包含了充分的上下文信息来让网络进行残差学习，采用第一视差图、第二特征左图和第一误差图作为输入，实现了对第一视差图进行像素级别的优化，最终输出一个精度更高的第二视差图，同时相比较之前的一些优化方法，本发明提出的误差优化方式更加简单高效，并且可以有效地避免网络学习不足和过度优化情况的发生。
本发明另一实施例提供一种计算机可读存储介质，如图17所示，存储介质上100存储有程序，程序能够被处理器110执行以实现如前述的方法。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于多尺度代价卷的立体匹配方法,其特征在于，包括：
获取待匹配的左视图和右视图；
采用第一特征提取方式对所述左视图和所述右视图进行特征提取，以得到多个不同尺度的第一特征左图和多个不同尺度的第一特征右图，多个所述第一特征左图和多个所述第一特征右图一一对应且对应的所述第一特征左图和所述第一特征右图的尺度相同；
对于多个不同尺度的所述第一特征左图和多个不同尺度的所述第一特征右图，将其中对应的所述第一特征左图和所述第一特征右图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷；
采用多尺度成本聚合方式对所有所述第一代价卷进行代价聚合，以得到第二代价卷，所述第二代价卷的尺度与所述第一代价卷的最大尺度相同；
对所述第二代价卷进行视差回归，得到所述左视图和所述右视图的第一视差图；
采用误差优化方式对所述第一视差图进行视差优化，以得到第二视差图。
2.如权利要求1所述的方法，其特征在于，所述第一特征提取方式包括：
对所述左视图和所述右视图分别进行特征提取和连续下采样处理，以得到尺度为1/32的所述第一特征左图和尺度为1/32的所述第一特征右图；
对尺度为1/32的所述第一特征左图和尺度为1/32的所述第一特征右图进行特征提取和1/2上采样，以得到尺度为1/16的所述第一特征左图和尺度为1/16的所述第一特征右图；
对尺度为1/16的所述第一特征左图和尺度为1/16的所述第一特征右图进行特征提取和1/2上采样，以得到尺度为1/8的所述第一特征左图和尺度为1/8的所述第一特征右图；
对尺度为1/8的所述第一特征左图和尺度为1/8的所述第一特征右图进行1/2上采样，以得到尺度为1/4的所述第一特征左图和尺度为1/4的所述第一特征右图。
3.如权利要求2所述的方法，其特征在于，所述对于多个不同尺度的所述第一特征左图和多个不同尺度的所述第一特征右图，将其中对应的所述第一特征左图和所述第一特征右图进行特征相关性操作，构建对应相同尺度的第一代价卷，以得到多个不同尺度的第一代价卷，包括：
对尺度为1/32的所述第一特征左图和尺度为1/32的所述第一特征右图进行相关性操作，构建尺度为1/32的第一代价卷；
对尺度为1/16的所述第一特征左图和尺度为1/16的所述第一特征右图进行相关性操作，构建尺度为1/16的第一代价卷；
对尺度为1/8的所述第一特征左图和尺度为1/8的所述第一特征右图进行相关性操作，构建尺度为1/8的第一代价卷；
对尺度为1/4的所述第一特征左图和尺度为1/4的所述第一特征右图进行相关性操作，构建尺度为1/4的第一代价卷。
4.如权利要求3所述的方法，其特征在于，所述多尺度成本聚合方式包括：
采用第一聚合方式对所有所述第一代价卷进行代价聚合，以得到尺度分别为1/16、1/8和1/4的第三代价卷；
采用第二聚合方式对所有所述第三代价卷进行代价聚合，得到尺度分别为1/8和1/4的第四代价卷；
采用第三聚合方式对所有所述第四代价卷进行代价聚合，得到尺度为1/4的第五代价卷；
采用第四聚合方式对所述第五代价卷进行代价聚合，得到尺度为1/4的第二代价卷。
5.如权利要求4所述的方法，其特征在于，所述第一聚合方式包括：
将尺度为1/4的所述第一代价卷进行1/2下采样得到尺度为1/8的第一下采样代价卷，并将所述第一下采样代价卷和同尺度的所述第一代价卷进行代价聚合，得到尺度为1/8的第一聚合代价卷；
将所述第一聚合代价卷进行1/2下采样得到尺度为1/16的第二下采样代价卷，并将所述第二下采样代价卷和同尺度的所述第一代价卷进行代价聚合，得到尺度为1/16的第二聚合代价卷；
将所述第二聚合代价卷进行1/2下采样得到尺度为1/32的第三下采样代价卷，并将所述第三下采样代价卷和同尺度的所述第一代价卷进行代价聚合，得到尺度为1/32的第三聚合代价卷；
将所述第三聚合代价卷进行1/2上采样得到尺度为1/16的第一上采样代价卷，并将所述第一上采样代价卷和所述第二聚合代价卷进行代价聚合，得到尺度为1/16的所述第三代价卷；
将尺度为1/16的所述第三代价卷进行1/2上采样得到尺度为1/8的第二上采样代价卷，并将所述第二上采样代价卷和所述第一聚合代价卷进行代价聚合，得到尺度为1/8的所述第三代价卷；
将尺度为1/8的所述第三代价卷进行1/2上采样得到尺度为1/4的第三上采样代价卷，并将所述第三上采样代价卷和尺度为1/4的所述第一代价卷进行代价聚合，得到尺度为1/4的所述第三代价卷。
6.如权利要求5所述的方法，其特征在于，所述第二聚合方式包括：
将尺度为1/4的所述第三代价卷进行1/2下采样得到尺度为1/8的第四下采样代价卷，并将所述第四下采样代价卷和尺度为1/8的所述第三代价卷进行代价聚合，得到尺度为1/8的第四聚合代价卷；
将所述第四聚合代价卷进行1/2下采样得到尺度为1/16的第五下采样代价卷，并将所述第五下采样代价卷和同尺度的所述第三代价卷进行代价聚合，得到尺度为1/16的第五聚合代价卷；
将所述第五聚合代价卷进行1/2下采样得到尺度为1/32的第六下采样代价卷；
将所述第六下采样代价卷进行1/2上采样得到尺度为1/16的第四上采样代价卷，并将所述第四上采样代价卷和所述第五聚合代价卷进行代价聚合，得到尺度为1/16的第六聚合代价卷；
将第六聚合代价卷进行1/2上采样得到尺度为1/8的第五上采样代价卷，并将所述第五上采样代价卷和所述第四聚合代价卷进行代价聚合，得到尺度为1/8的第四代价卷；
将尺度为1/8的所述第四代价卷进行1/2上采样得到尺度为1/4的第六上采样代价卷，并将所述第六上采样代价卷和同尺度的所述第三代价卷进行代价聚合，得到尺度为1/4的所述第四代价卷。
7.如权利要求6所述的方法，其特征在于，所述第三聚合方式包括：
将尺度为1/4的所述第四代价卷进行1/2下采样得到尺度为1/8的第七下采样代价卷，并将所述第七下采样代价卷和同尺度的所述第四代价卷进行代价聚合，得到尺度为1/8的第七聚合代价卷；
将所述第七聚合代价卷进行1/2下采样得到尺度为1/16的第八下采样代价卷；
将所述第八下采样代价卷进行1/2下采样得到尺度为1/32的第九下采样代价卷；
将所述第九下采样代价卷进行1/2上采样得到尺度为1/16的第七上采样代价卷，并将所述第七上采样代价卷和所述第八下采样代价卷进行代价聚合，得到尺度为1/16的第八聚合代价卷；
将所述第八聚合代价卷进行1/2上采样得到尺度为1/8的第八上采样代价卷，并将所述第八上采样代价卷和同尺度的所述第四代价卷进行代价聚合，得到尺度为1/8的第九聚合代价卷；
将所述第九聚合代价卷进行1/2上采样得到尺度为1/4的第九上采样代价卷，并将所述第九上采样代价卷和同尺度的所述第四代价卷进行代价聚合，得到尺度为1/4的第五代价卷。
8.如权利要求7所述的方法，其特征在于，所述第四聚合方式包括：
将所述第五代价卷进行连续三次1/2下采样分别得到尺度为1/8的第十下采样代价卷、尺度为1/16的第十一下采样代价卷和尺度为1/32的第十二下采样代价卷；
将所述第十二下采样代价卷进行1/2上采样得到尺度为1/16的第十上采样代价卷，并将所述第十上采样代价卷和所述第十一下采样代价卷进行代价聚合，得到尺度为1/16的第十聚合代价卷；
将所述第十聚合代价卷进行1/2上采样得到尺度为1/8的第十一上采样代价卷，并将所述第十一上采样代价卷和所述第十下采样代价卷进行代价聚合，得到尺度为1/8的第十一聚合代价卷；
将所述第十一聚合代价卷进行1/2上采样得到尺度为1/4的第十二上采样代价卷，并将所述第十二上采样代价卷和所述第五代价卷进行代价聚合，得到尺度为1/4的第二代价卷。
9.如权利要求1所述的方法，其特征在于，所述误差优化方式包括：
对所述左视图和所述右视图进行特征提取，以得到第二特征左图和第二特征右图，所述第二特征左图和所述第二特征右图的尺寸与所述第一视差图相同；
将所述第二特征右图进行扭曲操作，以得到第三特征右图；
根据所述第二特征左图和所述第三特征右图，得到第一误差图；
根据所述第二特征左图和所述第一误差图，得到第三视差图；
调整所述第三视差图的通道数，以得到第四视差图；
调整所述第一视差图的通道数，以得到第五视差图；
根据所述第四视差图和所述第五视差图，得到第六视差图；
根据所述第六视差图得到误差相关的特征，得到第七视差图；
根据第七视差图和所述第一视差图，得到所述第二视差图。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-9任一项所述的方法。
CN202311015777.0A 2023-08-14 2023-08-14 一种基于多尺度代价卷的立体匹配方法及计算机存储介质 Active CN116740162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311015777.0A CN116740162B (zh) 2023-08-14 2023-08-14 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311015777.0A CN116740162B (zh) 2023-08-14 2023-08-14 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Publications (2)

Publication Number Publication Date
CN116740162A true CN116740162A (zh) 2023-09-12
CN116740162B CN116740162B (zh) 2023-11-14

Family

ID=87911786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311015777.0A Active CN116740162B (zh) 2023-08-14 2023-08-14 一种基于多尺度代价卷的立体匹配方法及计算机存储介质

Country Status (1)

Country Link
CN (1) CN116740162B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058252A (zh) * 2023-10-12 2023-11-14 东莞市爱培科技术有限公司 一种自适应融合的立体匹配算法
CN117475182A (zh) * 2023-09-13 2024-01-30 江南大学 基于多特征聚合的立体匹配方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN112435282A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112581517A (zh) * 2020-12-16 2021-03-30 电子科技大学中山学院 双目立体匹配装置及方法
CN113344869A (zh) * 2021-05-31 2021-09-03 武汉理工大学 一种基于候选视差的行车环境实时立体匹配方法及装置
CN113763446A (zh) * 2021-08-17 2021-12-07 沈阳工业大学 一种基于引导信息的立体匹配方法
CN113887568A (zh) * 2021-09-09 2022-01-04 西安理工大学 一种各向异性卷积的双目图像立体匹配方法
CN114170311A (zh) * 2021-12-06 2022-03-11 北京师范大学珠海校区 一种双目立体匹配方法
US20220357645A1 (en) * 2019-06-24 2022-11-10 Circle Optics, Inc. Opto-mechanics of panoramic capture devices with abutting cameras
CN115641285A (zh) * 2022-06-21 2023-01-24 西安现代控制技术研究所 一种基于密集多尺度信息融合的双目视觉立体匹配方法
CN116258758A (zh) * 2023-03-09 2023-06-13 华南理工大学 基于注意力机制和多级代价体的双目深度估计方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220357645A1 (en) * 2019-06-24 2022-11-10 Circle Optics, Inc. Opto-mechanics of panoramic capture devices with abutting cameras
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN112435282A (zh) * 2020-10-28 2021-03-02 西安交通大学 一种基于自适应候选视差预测网络的实时双目立体匹配方法
CN112581517A (zh) * 2020-12-16 2021-03-30 电子科技大学中山学院 双目立体匹配装置及方法
CN113344869A (zh) * 2021-05-31 2021-09-03 武汉理工大学 一种基于候选视差的行车环境实时立体匹配方法及装置
CN113763446A (zh) * 2021-08-17 2021-12-07 沈阳工业大学 一种基于引导信息的立体匹配方法
CN113887568A (zh) * 2021-09-09 2022-01-04 西安理工大学 一种各向异性卷积的双目图像立体匹配方法
CN114170311A (zh) * 2021-12-06 2022-03-11 北京师范大学珠海校区 一种双目立体匹配方法
CN115641285A (zh) * 2022-06-21 2023-01-24 西安现代控制技术研究所 一种基于密集多尺度信息融合的双目视觉立体匹配方法
CN116258758A (zh) * 2023-03-09 2023-06-13 华南理工大学 基于注意力机制和多级代价体的双目深度估计方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475182A (zh) * 2023-09-13 2024-01-30 江南大学 基于多特征聚合的立体匹配方法
CN117475182B (zh) * 2023-09-13 2024-06-04 江南大学 基于多特征聚合的立体匹配方法
CN117058252A (zh) * 2023-10-12 2023-11-14 东莞市爱培科技术有限公司 一种自适应融合的立体匹配算法
CN117058252B (zh) * 2023-10-12 2023-12-26 东莞市爱培科技术有限公司 一种自适应融合的立体匹配方法

Also Published As

Publication number Publication date
CN116740162B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN116740162B (zh) 一种基于多尺度代价卷的立体匹配方法及计算机存储介质
US20210042954A1 (en) Binocular matching method and apparatus, device and storage medium
US11348270B2 (en) Method for stereo matching using end-to-end convolutional neural network
JP2021531582A (ja) 画像視差推定
CN112581517B (zh) 双目立体匹配装置及方法
KR102219561B1 (ko) 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법
CN111784762B (zh) X光造影图像血管中心线提取方法及装置
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN113344869A (zh) 一种基于候选视差的行车环境实时立体匹配方法及装置
Wang et al. Thermal images-aware guided early fusion network for cross-illumination RGB-T salient object detection
CN116797768A (zh) 全景图像减少现实的方法和装置
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN117635444A (zh) 基于辐射差和空间距离的深度补全方法、装置和设备
CN116229123B (zh) 基于多通道分组互相关代价卷的双目立体匹配方法及装置
CN115908992B (zh) 双目立体匹配的方法、装置、设备以及存储介质
CN115578260A (zh) 针对图像超分辨率的方向解耦的注意力方法和系统
CN114693951A (zh) 一种基于全局上下文信息探索的rgb-d显著性目标检测方法
CN113298814A (zh) 一种基于渐进指导融合互补网络的室内场景图像处理方法
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN111931793A (zh) 一种显著性目标提取方法及系统
Wu et al. Sparse spn: Depth completion from sparse keypoints
CN117078984B (zh) 双目图像处理方法、装置、电子设备及存储介质
CN115661449B (zh) 图像分割与图像分割模型的训练方法、装置
US12031842B2 (en) Method and apparatus for binocular ranging
CN116580072A (zh) 一种用于立体匹配的代价聚合计算方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant