CN116229123B - 基于多通道分组互相关代价卷的双目立体匹配方法及装置 - Google Patents

基于多通道分组互相关代价卷的双目立体匹配方法及装置 Download PDF

Info

Publication number
CN116229123B
CN116229123B CN202310172310.0A CN202310172310A CN116229123B CN 116229123 B CN116229123 B CN 116229123B CN 202310172310 A CN202310172310 A CN 202310172310A CN 116229123 B CN116229123 B CN 116229123B
Authority
CN
China
Prior art keywords
feature
matched
image
group
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310172310.0A
Other languages
English (en)
Other versions
CN116229123A (zh
Inventor
戴齐飞
俞正中
李鹏飞
叶水强
张甲全
赵勇
李福池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Apical Technology Co ltd
Original Assignee
Shenzhen Apical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Apical Technology Co ltd filed Critical Shenzhen Apical Technology Co ltd
Priority to CN202310172310.0A priority Critical patent/CN116229123B/zh
Publication of CN116229123A publication Critical patent/CN116229123A/zh
Application granted granted Critical
Publication of CN116229123B publication Critical patent/CN116229123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多通道分组互相关代价卷的双目立体匹配方法及装置，所述方法包括：获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图；分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组；分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；根据所述目标代价卷进行双目立体匹配。本发明有利于提高双目立体匹配的准确性。

Description

基于多通道分组互相关代价卷的双目立体匹配方法及装置
技术领域
本发明涉及双目视觉领域，尤其涉及的是一种基于多通道分组互相关代价卷的双目立体匹配方法及装置。
背景技术
基于深度学习的双目立体匹配是通过代价聚合根据左右视角的图像进行视差估计，代价聚合过程是利用代价卷进行卷积操作最后做视差回归，因此代价卷的构造方式决定了双目立体匹配的效果。现有技术中，构造代价卷的方式是直接将全部特征通道进行滑动拼接，其中，各所述特征通道对应一张左特征图和一张右特征图，现有技术存在的问题在于，通过传统构造代价卷的方式所形成的代价卷中特征通道数较多，而每个特征通道中所包含的特征信息较少，因此在双目立体匹配时相似度度量单一，不利于提高目标代价卷的特征相似度，不利于提高双目立体匹配的准确性。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种基于多通道分组互相关代价卷的双目立体匹配方法及装置，旨在解决现有技术在构造代价卷的过程中，双目立体匹配时相似度度量单一，不利于提高目标代价卷的特征相似度，不利于提高双目立体匹配的准确性的问题。
为了实现所述目的，本发明第一方面提供一种基于多通道分组互相关代价卷的双目立体匹配方法，其中，所述基于多通道分组互相关代价卷的双目立体匹配方法包括：
获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图；
分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图；
分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；
将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；
根据所述目标代价卷进行双目立体匹配。
可选的，所述分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，包括：
对所述待匹配图对中的待匹配左图进行特征提取获得对应的多张左特征图，对所述待匹配图对中的待匹配右图进行特征提取获得对应的多张右特征图，获取所述待匹配图对的多个特征通道图组，其中，一个所述特征通道图组中包括一张所述左特征图和一张所述右特征图；
建立视差回归模型，根据所述视差回归模型和所述特征通道图组获取最优混合特征通道组分组模式；
将所述待匹配图对的所有所述特征通道图组按照所述最优混合特征通道组分组模式进行分组，获得多个所述混合特征图组。
可选的，所述最优混合特征通道组分组模式是使三像素误差值最小的分组模式，所述三像素误差值用于指示第一图像与第二图像中的像素误差超过三个像素点时，误差像素个数与视差图中所有像素个数的比值，其中，所述第一图像是各所述待匹配图对根据视差回归模型预测获取的预测视差图，所述第二图像是各所述待匹配图对根据雷达探测获取的真实视差图，其中，一个所述待匹配图对对应生成一组视差图，所述一组视差图包括一张所述预测视差图和一张所述真实视差图。
可选的，所述分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，包括：
根据ResNet对所述待匹配图对中的待匹配左图进行特征提取获得对应的多张左特征图，对所述待匹配图对中的待匹配右图进行特征提取获得对应的多张右特征图。
可选的，所述分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积，包括：
分别获取所述待匹配图对对应的各所述混合特征图组中的特征图对，其中，一个所述混合特征图组中包括多个所述特征图对，且每一个所述特征图对包括该混合特征图组的左特征图组中的一张左特征图和该混合特征图组的右特征图组中的一张右特征图；
按照预设的滑动操作对所述特征图对中的左特征图和右特征图进行滑动处理，且每一次滑动之后计算获得一个滑动内积；
根据所述滑动内积计算获得所述待匹配图对对应的各所述混合特征图组的组内特征内积，其中，一个混合特征图组的组内特征内积由该混合特征图组的所有特征图对的滑动内积求平均值获得。
可选的，所述左特征图中包含m列像素，所述右特征图中包含m列像素，对所述左特征图进行第i次滑动获得第i左滑动图，对所述右特征图进行第i次滑动获得第i右滑动图；
所述第i左滑动图和所述第i右滑动图的像素列数为m+i；
所述第i左滑动图的前i列像素点的值为0，第i+1到第m-i列的像素点的值与所述左特征图的第i+1到第m-i列的像素点的值相同，第m到第m+i列的像素点的值为1；
所述第i右滑动图的前i列像素点的值为1，第i+1到第m-i列的像素点的值与所述右特征图的第i+1到第m-i列的像素点的值相同，第m到第m+i列的像素点的值为0；
其中，i是不小于0且不大于m的整数。
本发明第二方面提供一种基于多通道分组互相关代价卷的双目立体匹配装置，所述基于多通道分组互相关代价卷的双目立体匹配装置包括：
获取图像模块，用于获取待匹配图对，其中，一个所述待匹配图对包括一张待匹配左图和一张待匹配右图；
特征提取与分组模块，用于分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图；
内积计算模块，用于分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；
拼接特征模块，用于将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；
双目立体匹配模块，用于根据所述目标代价卷进行双目立体匹配。
可选的，所述内积计算模块包括获取特征单元、滑动单元和平均内积单元；
所述获取特征单元，用于分别获取所述待匹配图对对应的各所述混合特征图组中的特征图对，其中，一个所述混合特征图组中包括多个所述特征图对，且每一个所述特征图对包括该混合特征图组的左特征图组中的一张左特征图和该混合特征图组的右特征图组中的一张右特征图；
所述滑动单元，用于按照预设的滑动操作对所述特征图对中的左特征图和右特征图进行滑动处理，且每一次滑动之后计算获得一个滑动内积；
所述平均内积单元，用于根据所述滑动内积计算获得所述待匹配图对对应的各所述混合特征图组的组内特征内积，其中，一个混合特征图组的组内特征内积由该混合特征图组的所有特征图对的滑动内积求平均值获得。
本发明第三方面提供一种智能终端，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于多通道分组互相关代价卷的双目立体匹配程序，所述基于多通道分组互相关代价卷的双目立体匹配程序被所述处理器执行时实现所述任意一种基于多通道分组互相关代价卷的双目立体匹配方法的步骤。
由上可见，本发明中，获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图；分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图；分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；根据所述目标代价卷进行双目立体匹配。
与现有技术中相比，本发明提供一种基于多通道分组互相关代价卷的双目立体匹配方法，通过将所述待匹配图对的多个所述特征通道图组进行分组，获得多个混合特征图组，其中，一个所述特征通道图组包括一张所述左特征图和一张所述右特征图，一个所述混合特征图组中有一个左特征图组和一个右特征图组，其中，一个所述左特征图组中包括多张左特征图，一个所述右特征图组中包括多张右特征图，通过将多个特征通道图组分为一个混合特征图组，使得混合特征图组中包括多个特征通道图组，也就包含了更多的特征信息，相当于将多个单特征通道合并为一个高维特征通道，有利于提高目标代价卷的特征相似度，分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积，将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷，再利用获得的所述目标代价卷进行双目立体匹配，有利于提高双目立体匹配的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于多通道分组互相关代价卷的双目立体匹配方法示意图；
图2是本发明实施例图1中步骤S200的具体流程示意图；
图3是本发明实施例提供的一种最优混合特征通道组分组的流程示意图；
图4是本发明实施例图1中步骤S300的具体流程示意图；
图5是本发明实施例提供的一种预设的滑动操作的流程示意图；
图6是本发明实施例提供的基于多通道分组互相关代价卷的双目立体匹配装置的结构示意图；
图7是本发明实施例图6中内积计算模块630的具体结构示意图；
图8是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于分类到”。类似的，短语“如果确定”或“如果分类到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦分类到[所描述的条件或事件]”或“响应于分类到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
基于深度学习的双目立体匹配是一种通过代价聚合根据左右视角的图像进行视差估计的匹配算法，代价聚合过程是利用代价卷进行卷积操作最后做视差回归，视差精度能精确反应网络的整体性能，代价卷构造了特征图中各个像素点的匹配方式，在特征图中各个像素点的匹配过程中，相似度度量越丰富则代价聚合后的各个像素点匹配精度越高，其中相似度度量指的是左右图中单个像素点的特征值，因此代价卷的构造方式决定了双目立体匹配的效果。
一种传统的构造代价卷采用correlation的方式为每个视差产生一个单通道相关图。另一种传统的构造代价卷方式是采用concatenate将全部特征通道直接进行滑动拼接。
现有技术存在的问题在于，通过传统构造代价卷的方式所形成的代价卷中特征通道数较多，而每个特征通道中所包含的特征较少，因此在双目立体匹配时相似度度量单一，不利于提高视差精度，不利于提高双目立体匹配的准确性。
为了解决所述多个问题中的至少一个问题，本发明中，获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图；分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图；分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；根据所述目标代价卷进行双目立体匹配。
与现有技术中相比，本发明提供一种基于多通道分组互相关代价卷的双目立体匹配方法，通过将所述待匹配图对的多个所述特征通道图组进行分组，获得多个混合特征图组，其中，一个所述特征通道图组包括一张所述左特征图和一张所述右特征图，一个所述混合特征图组中有一个左特征图组和一个右特征图组，其中，一个所述左特征图组中包括多张左特征图，一个所述右特征图组中包括多张右特征图，通过将多个特征通道图组分为一个混合特征图组，使得混合特征图组中包括多个特征通道图组，也就包含了更多的特征信息，相当于将多个特征通道合并为一个高维特征通道，有利于提高目标代价卷的特征相似度，分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积，将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷，再利用获得的所述目标代价卷进行双目立体匹配，有利于提高双目立体匹配的准确性。
示例性方法
如图1所示，本发明实施例提供一种基于多通道分组互相关代价卷的双目立体匹配方法，具体的，所述方法包括如下步骤：
步骤S100，获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图。
双目立体匹配是一种从不同视点图像中找到匹配的对应像素点的匹配方式，所述视点图像是通过双目相机拍摄同一场景的左、右两幅图像。在本实施例中，通过双目相机拍摄获得多个所述待匹配对中的待匹配左图和所述待匹配右图，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图，需要注意的是，对于一个待匹配图对来说，所述待匹配左图和待匹配右图是双目相机的左右相机在同一时刻下拍摄的一对图像，因此一个待匹配图对中的待匹配左图和待匹配右图呈现一一对应的关系。
在本实施例中，还可以通过双目相机拍摄多张待匹配左图和待匹配右图，获取多个待匹配图对，例如，双目相机拍摄了200个待匹配图对，每一个待匹配图对中包括一张待匹配左图和一张待匹配右图，获得了200张待匹配左图和200张待匹配右图作为双目立体匹配输入的左右图像。
步骤S200，分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图。
通过深度学习网络对所述待匹配图进行特征提取，所述深度学习网络可以是残差网络，在本实施例中不作具体限定。所述左特征图组中的一张左特征图与右特征图组中的一张右特征图也是一一对应的关系。
具体的，如图2所示，所述步骤S200包括：
步骤S201，对所述待匹配图对中的待匹配左图进行特征提取获得对应的多张左特征图，对所述待匹配图对中的待匹配右图进行特征提取获得对应的多张右特征图，获取所述待匹配图对的多个特征通道图组，其中，一个所述特征通道图组中包括一张所述左特征图和一张所述右特征图。
本实施例中，通过深度学习网络分别对所述待匹配左图进行特征提取获得对应的多张左特征图，对所述待匹配右图进行特征提取获得对应的多张右特征图，将获得的一张所述左特征图和一张所述右特征图作为一个特征通道图组。
在一种应用场景下，对于一个待匹配图对举例，通过深度学习网络ResNet进行特征提取，分别获取所述待匹配对中的待匹配左图和待匹配右图对应的380张左特征图和380张右特征图，将一张所述左特征图和一张所述右特征图作为一个特征通道图组，也就是获得了380个特征通道图组。所述深度学习网络可以是ResNet50，还可以是VGG ResNet等，不作具体限定。
另一种应用场景下，当有多个待匹配图对时，以此类推进行所述特征提取的操作，获得各所述待匹配图对的所有所述特征通道图组。
步骤S202，建立视差回归模型，根据所述视差回归模型和所述特征通道图组获取最优混合特征通道组分组模式。
双目立体匹配中的视差指的是从有一定距离的两个点上观察同一个目标所产生的方向差异。在本实施例中，所述视差回归模型是用于将所有所述特征通道图组进行不同组数的随机分组，再通过计算视差结果，筛选出最优混合特征通道组分组模式。
在一种应用场景下，对于一个待匹配图对所获得的特征通道图组举例，将该待匹配图中获取的380个特征通道图组进行不同的分组，将获得的380个特征通道图组可以分为第一分组模式，38个特征通道图组的10组，相当于将380个单特征通道压缩为10个高维特征通道，每个高维特征通道中包含38个单特征通道。还可以分为第二分组模式，5个特征通道图组的14组、25个特征通道图组的2组、26个特征通道图组的10组。或者分为第三分组模式，10个特征通道图组的2组、2个特征通道图组的50组、4个特征通道图组的20、18个特征通道图组的10组等等其他分组模式，在此不作分组模式上的具体限定。
每个分组的分组数目可以各不相同，组内之间所包含的特征通道图组的数目也可各不相同，只要满足每种分组模式中特征通道图组的数目乘以对应的分组个数的加和等于全部的特征通道图组的数目即可作为一种分组。例如，将获得的380个特征通道图组可以分为38个特征通道图组的10组，通过验证得到38×10＝380，则分组模式合理。同样的，将380个特征通道图组分为5个特征通道图组的14组、25个特征通道图组的2组、26个特征通道图组的10组，通过验证得到5×14+25×2+26×10＝380，则分组模式合理。
另一种应用场景下，当有多个待匹配图对时，以此类推，对所有的待匹配图对获得的所述特征通道图组都进行所述分组的操作。
在本实施例中，通过分组将380个单特征通道压缩为多个高维特征通道，减少了特征通道数量，有利于减少计算量，通过分组的方式使每一个高维特征通道中的特征通道数量增加，即使得每一个高维特征通道中的特征图数量增加，因此每一个高维特征通道中的特征信息增加，有利于增加所形成的目标代价卷的特征相似度信息。
步骤S203，将所述待匹配图对的所有所述特征通道图组按照所述最优混合特征通道组分组模式进行分组，获得多个所述混合特征图组。
所述最优混合特征通道组分组模式是使三像素误差值最小的分组模式，所述三像素误差值是用于描述视差回归效果的指标，三像素误差值越小，视差精度越高，则预测视差图与真实视差图之间的误差越小，说明在双目立体匹配中以该组分类方式进行分类后代价聚合的效果越好，匹配的准确性越高，所述代价聚合的过程就是利用3D卷积对所述特征图的特征内积进行卷积操作，最后做视差回归，计算视差回归结果。
在本实施例中，分别计算获得所述待匹配图对的各所述分组对应的三像素误差值，所述三像素误差值用于指示第一图像与第二图像中的像素误差超过三个像素点时，误差像素个数与视差图中所有像素个数的比值，其中，所述第一图像是各所述待匹配图对根据视差回归模型预测获取的预测视差图，所述第二图像是各所述待匹配图对根据雷达探测获取的真实视差图，其中，一个所述待匹配图对对应生成一组视差图，所述一组视差图包括一张所述预测视差图和一张所述真实视差图。筛选出最小三像素误差值对应的分组，将其分组模式作为所述最优混合特征通道组分组模式。
在本实施例中，对于一个待匹配图对来说，该待匹配图对中包括一张待匹配左图和待匹配右图，以第一分组模式进行分组后，根据视差回归模型预测获取一张预测视差图，根据雷达探测获取一张真实视差图，统计预测视差图和真实视差图的误差像素点个数，当超过三个误差像素点时，计算第一分组模式的三像素误差值，所述三像素误差值等于误差像素个数与视差图中所有像素个数的比值。以此类推，以第二分组模式进行分组，计算第二分组模式的三像素误差值，直到将所有分组模式的三像素误差值都计算出来，筛选出最小三像素误差值对应的分组模式，将其分组模式作为所述最优混合特征通道组分组模式。
另一种应用场景中，对于多个待匹配图对来说，每一个待匹配图对都进行了相同的分组操作，首先类比一个待匹配图对，分别计算获取每个待匹配图对的各所述分组的三像素误差值，再计算所有所述待匹配图对在同一种分组模式下的三像素误差值的平均值，获取得到的三像素误差平均值，该三像素误差平均值就是有多个待匹配图对时该分组模式下对应的三像素误差值。筛选出最小三像素误差值对应的分组模式，将其分组模式作为所述最优混合特征通道组分组模式。
在本实施例中，例如，当有多个待匹配图对时，对于第一个待匹配图对，视差回归模型将该待匹配图对的所有所述特征通道图组进行不同的分组，用代表三像素误差值，其中，D1-all代表三像素误差值的数值，下角标a代表待匹配图对的序号，上角标b代表该待匹配图对的分组序号，如第1个待匹配图对的第一分组模式计算得到的三像素误差值为/>第2个待匹配图对的第一分组模式计算得到的三像素误差值为以此类推，在本实施例中利用了测试集200个待匹配图对，计算出所有待匹配图对的第一分组模式所对应的三像素误差值，一直计算到第200个待匹配图对的第一分组模式计算得到的三像素误差值为/>则第一分组模式的三像素值的平均值等于所有待匹配图对的第一分组模式对应的三像素误差值求平均，如公式(1)所示：
在本实施例中，当有多个待匹配图对时，根据视差回归模型将各所述待匹配图对的所有所述特征通道图组进行分组，并通过所述公式(1)计算获得各所述分组模式下的三像素误差值的平均值，该最小的三像素误差平均值所对应的分组模式就是最优混合特征通道分组模式。
如图3所示，在本实施例中，以最优混合特征通道分组模式为例，其他分组模式的原理类比最优混合特征通道分组模式，通过公式(1)计算得到最小的三像素误差平均值为1.93，该值所对应的分组模式是将380个特征通道图组分为2个特征通道图组的10组、4个特征通道图组的10组、8个特征通道图组的10组、16个特征通道图组的5组和32个特征通道图组的5组，每一个特征通道图组包括一张左特征图和一张右特征图，分组后获得40组混合特征图组，相当于将原来的2个单特征通道图组，压缩为1个高维特征通道图组，一共压缩10组，将原来的4个单特征通道图组，压缩为1个高维特征通道图组，一共压缩10组，以此类推将所有特征通道图组进行不同的分组，将原来的单通道图组都压缩为多个高维特征图组。在本实施例中，只有按照最优混合特征通道分组模式进行分组，获得的高维特征通道图组称作混合特征通道分组。
步骤S300，分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积。
具体的，如图4所示，所述步骤S300包括：
步骤S301，分别获取各所述待匹配图对对应的各所述混合特征图组中的特征图对，其中，一个所述混合特征图组中包括多个所述特征图对，且每一个所述特征图对包括该混合特征图组的左特征图组中的一张左特征图和该混合特征图组的右特征图组中的一张右特征图。
在本实施例中，在一种应用场景下，对于一个待匹配图对举例，根据步骤S202所确定的最优混合特征通道组分组模式，将一个待匹配图对的所有所述特征通道按照所述最优混合特征通道组分组模式进行分组，分为2个特征通道图组的10组、4个特征通道图组的10组、8个特征通道图组的10组、16个特征通道图组的5组和32个特征通道图组的5组，则共40组混合特征图组，对于一个待匹配图对需要获取40组混合特征图组中的特征图对。
在本实施例中，另一种应用场景下，当有多个待匹配图对时，以此类推，获取各所述待匹配图对的40组混合特征图组中的特征图对。
步骤S302，按照预设的滑动操作对所述特征图对中的左特征图和右特征图进行滑动处理，且每一次滑动之后计算获得一个滑动内积。
所述左特征图中包含m列像素，所述右特征图中包含m列像素。
在一种应用场景下，对于一个待匹配图对对应的一组混合特征图组中的一对特征图对滑动操作具体如下：
对所述左特征图进行第i次滑动获得第i左滑动图，对所述右特征图进行第i次滑动获得第i右滑动图；
所述第i左滑动图和所述第i右滑动图的像素列数为m+i；
所述第i左滑动图的前i列像素点的值为0，第i+1到第m-i列的像素点的值与所述左特征图的第i+1到第m-i列的像素点的值相同，第m到第m+i列的像素点的值为1；
所述第i右滑动图的前i列像素点的值为1，第i+1到第m-i列的像素点的值与所述右特征图的第i+1到第m-i列的像素点的值相同，第m到第m+i列的像素点的值为0；
其中，i是不小于0且不大于m的整数。
在本实施例中，所述预设的滑动操作如图5所示，第一行左斜杠图代表左特征图，右斜杠图代表右特征图。第二行将左特征图和右特征图重合后进行滑动操作，T0时刻左特征图和右特征图还未进行滑动，此时完全重合，网格图代表重合部分，重合面积S为左特征图和右特征图本来的面积。
T1时刻左特征图相对于右特征图进行第一次滑动，右特征图相对于左特征图进行第一次滑动，此时重合面积S1相对于S的面积减小，由于两张图出现面积不完全重合的部分a和b，a为左特征图相对滑出的面积，b为右特征图相对滑出的面积，T1时刻左特征图进行第一次滑动后获得第一左滑动图，所述第一左滑动图a部分的像素点值计为0，b部分的像素点值计为1；右特征图进行第一次滑动后获得第一右滑动图，所述第一右滑动图a部分像素点值计为1，b部分的像素点值计为0；第一左滑动图和第一右滑动图的重合部分面积为S1，S1部分的像素与未滑动前的左特征图和右特征图的像素点值相同，其中，第一左滑动图和第一右滑动图的面积始终等于左特征图和右特征图的面积。
T2时刻左特征图和右特征图进行第二次滑动，以此类推，第n次滑动直到左右特征图完全分离，此时重合面积Sn为0。
步骤S303，根据所述滑动内积计算获得所述待匹配图对对应的各所述混合特征图组的组内特征内积，其中，一个混合特征图组的组内特征内积由该混合特征图组的所有特征图对的滑动内积求平均值获得。
本实施例中，在一种应用场景下，通过步骤S302所述滑动操作，将所有所述特征图对中的左特征图和右特征图进行滑动，针对图个混合特征图组的一个特征图对，每一次滑动计算获得一个滑动内积，滑动内积的计算公式，如公式(2)所示：
其中，代表滑动内积，k代表第k个组，d代表滑动拼接的数值，h代表所述特征图的高度，w代表所述特征图的宽度，NC表示该混合特征图组内的特征通道图组数目，fl表示左特征图，fr表示右特征图。
在本实施例中d代表右图特征图相对左图特征图向右滑动的平移滑动值，d根据实际情况取值不同，在此不作具体限定，例如实验中设置d的取值为[0,192]，表示最多有192个像素点的误差，最少没有像素点的误差。
通过所述公式(2)计算该混合特征图组的所有特征图对的滑动内积，并根据所有特征图对的滑动内积并求平均值，将所述平均值作为该混合特征分组的组内特征内积。
另一种应用场景下，当有多个待匹配图对时，根据所述操作以此类推，计算获得各所述待匹配图对对应的各所述混合特征图组的组内特征内积。
步骤S400，将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷。
本实施例中，在一种应用场景下，通过步骤S300计算获得所述待匹配图对对应的各所述混合特征图组的组内特征内积，将所述待匹配图对对应的各所述混合特征图组的组内特征内积进行拼接操作，如公式(3)所示：
Vg，d，h，w＝concat([V1，V2，V3，…，V40])； (3)
其中，concat代表拼接操作，Vg，d，h，w代表获得的代价卷，其中的g代表混合特征图组的组数，d代表滑动拼接的数值，h代表所述特征图的高度，w代表所述特征图的宽度，V1代表第1个混合特征图组，V2表示第2个混合特征图组，以此类推，V40表示第40个混合特征图组。
步骤S500，根据所述目标代价卷进行双目立体匹配。
根据步骤S100-S400所构造出的所述目标代价卷进行双目立体匹配。
双目立体匹配一般分为四个步骤：特征提取、代价卷构造、代价聚合和视差优化。特征提取是利用2D的权重共享网络如(Resnet，VGG)等，提取待匹配左图和待匹配右图的特征图。在提取特征的过程中为了减小后续计算内存的压力对原始图像进行了分辨率的下采样，最终特征图的尺寸原始图像的1/4或1/8，在此不做具体限定。利用特征提取后图像构造代价卷，构造代价卷的过程是将特征左图和特征右图进行逐像素的滑动拼接操作，组合获得新的代价卷。
对所述获得的新的代价卷进行代价聚合操作，利用多尺度的3D卷积和反卷积组成的编码、解码模块对代价卷进行卷积聚合操作，最后通过上采样获得和原始图像尺寸一致，且通道维度为1的代价体张量，通过softargmin操作得到初始的视差图。由于噪声、遮挡、弱纹理或重复纹理会对视差图产生误差，所以获取视差图后要进行视差优化。在深度学习中通过模型训练利用初始的视差图将右图重建到左图，利用2D卷积网络学习误差，其中，深度学习中的模型使用Adam优化器处理较大的模型参数量，为了增加对异常点的敏感可以使用smoth-L1损失函数。
由上可见，本发明中，获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图；分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图；分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；根据所述目标代价卷进行双目立体匹配。
与现有技术中相比，本发明提供一种基于多通道分组互相关代价卷的双目立体匹配方法，通过将所述待匹配图对的多个所述特征通道图组进行分组，获得多个混合特征图组，其中，一个所述特征通道图组包括一张所述左特征图和一张所述右特征图，一个所述混合特征图组中有一个左特征图组和一个右特征图组，其中，一个所述左特征图组中包括多张左特征图，一个所述右特征图组中包括多张右特征图，通过将多个特征通道图组分为一个混合特征图组，使得混合特征图组中包括多个特征通道图组，也就包含了更多的特征信息，相当于将多个特征通道合并为一个高维特征通道，有利于提高目标代价卷的特征相似度，分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积，将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷，再利用获得的所述目标代价卷进行双目立体匹配，有利于提高双目立体匹配的准确性。
示例性设备
本发明实施例还提供一种基于多通道分组互相关代价卷的双目立体匹配装置，如图6所示，所述基于多通道分组互相关代价卷的双目立体匹配装置包括：
获取图像模块610，用于获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图；
特征提取与分组模块620，用于分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图。
内积计算模块630，用于分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积。
拼接特征模块640，用于将所述待匹配图对对应的多个所述组内特征内积拼接获得目标代价卷。
双目立体匹配模块650，用于根据所述目标代价卷进行双目立体匹配。
所述内积计算模块630包括获取特征单元631、滑动单元632和平均内积单元633，具体的，如图7所示。
所述获取特征单元631，用于分别获取所述待匹配图对对应的各所述混合特征图组中的特征图对，其中，一个所述混合特征图组中包括多个所述特征图对，且每一个所述特征图对包括该混合特征图组的左特征图组中的一张左特征图和该混合特征图组的右特征图组中的一张右特征图。
所述滑动单元632，用于按照预设的滑动操作对所述特征图对中的左特征图和右特征图进行滑动处理，且每一次滑动之后计算获得一个滑动内积。
所述平均内积单元633，用于根据所述滑动内积计算获得所述待匹配图对对应的各所述混合特征图组的组内特征内积，其中，一个混合特征图组的组内特征内积由该混合特征图组的所有特征图对的滑动内积求平均值获得。
需要说明的是，所述基于多通道分组互相关代价卷的双目立体匹配装置的各个模块的划分方式并不唯一，在此也不作为具体限定。
基于所述实施例，本发明还提供了一种智能终端，其原理框图可以如图8所示。所述智能终端包括处理器及存储器。该智能终端的存储器包括基于多通道分组互相关代价卷的双目立体匹配程序，存储器为基于多通道分组互相关代价卷的双目立体匹配程序的运行提供环境。该基于多通道分组互相关代价卷的双目立体匹配程序被处理器执行时实现所述任意一种基于多通道分组互相关代价卷的双目立体匹配方法的步骤。需要说明的是，所述智能终端还可以包括其它功能模块或单元，在此不作具体限定。
本领域技术人员可以理解，图8中示出的原理框图，仅仅是与本发明相关的部分结构的框图，并不构成对本发明所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于多通道分组互相关代价卷的双目立体匹配程序，所述基于多通道分组互相关代价卷的双目立体匹配程序被处理器执行时实现本发明实施例提供的任意一种基于多通道分组互相关代价卷的双目立体匹配方法的步骤。
应理解，所述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以所述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将所述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。所述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在所述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的系统/智能终端和方法，可以通过其它的方式实现。例如，以上所描述的系统/智能终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现所述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可存储于一种计算机可读存储介质中，该计算机程序在被处理器执行时，可实现所述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多通道分组互相关代价卷的双目立体匹配方法，其特征在于，所述方法包括：
获取待匹配图对，其中，所述待匹配图对包括一张待匹配左图和一张待匹配右图；
分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图；
所述分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，包括：
对所述待匹配图对中的待匹配左图进行特征提取获得对应的多张左特征图，对所述待匹配图对中的待匹配右图进行特征提取获得对应的多张右特征图，获取所述待匹配图对的多个特征通道图组，其中，一个所述特征通道图组中包括一张所述左特征图和一张所述右特征图，所述分组中特征通道图组的数目乘以对应的分组个数的加和等于全部的特征通道图组的数目作为一种分组；
建立视差回归模型，所述视差回归模型是用于将所有所述特征通道图组进行不同组数的随机分组，再通过计算视差结果，筛选出最优混合特征通道组分组模式；
按照所述最优混合特征通道分组模式进行分组，获得的高维特征通道图组称作混合特征通道分组；
将所述待匹配图对的所有所述特征通道图组按照所述最优混合特征通道组分组模式进行分组，获得多个所述混合特征图组；
所述最优混合特征通道组分组模式是使三像素误差值最小的分组模式，所述三像素误差值用于指示第一图像与第二图像中的像素误差超过三个像素点时，误差像素个数与视差图中所有像素个数的比值；
计算所有分组模式的三像素误差值，筛选出最小三像素误差值对应的分组模式；
其中，所述第一图像是各所述待匹配图对根据视差回归模型预测获取的预测视差图，所述第二图像是各所述待匹配图对根据雷达探测获取的真实视差图；
其中，一个所述待匹配图对对应生成一组视差图，所述一组视差图包括一张所述预测视差图和一张所述真实视差图；
分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；
所述分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积，包括：
分别获取所述待匹配图对对应的各所述混合特征图组中的特征图对，其中，每一个所述特征图对包括该混合特征图组的左特征图组中的一张左特征图和该混合特征图组的右特征图组中的一张右特征图；
按照预设的滑动操作对所述特征图对中的左特征图和右特征图进行滑动处理，且每一次滑动之后计算获得一个滑动内积；
根据所述滑动内积计算获得所述待匹配图对对应的各所述混合特征图组的组内特征内积，其中，一个混合特征图组的组内特征内积由该混合特征图组的所有特征图对的滑动内积求平均值获得；
将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；
根据所述目标代价卷进行双目立体匹配。
2.根据权利要求1所述的基于多通道分组互相关代价卷的双目立体匹配方法，其特征在于，所述分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，包括：
根据ResNet对所述待匹配图对中的待匹配左图进行特征提取获得对应的多张左特征图，对所述待匹配图对中的待匹配右图进行特征提取获得对应的多张右特征图。
3.根据权利要求1所述的基于多通道分组互相关代价卷的双目立体匹配方法，其特征在于，所述左特征图中包含m列像素，所述右特征图中包含m列像素，对所述左特征图进行第i次滑动获得第i左滑动图或者对所述右特征图进行第i次滑动获得第i右滑动图；
所述第i左滑动图和所述第i右滑动图的像素列数为m+i；
所述第i左滑动图的前i列像素点的值为0，第i+1到第m-1列的像素点的值与所述左特征图的第m-i到第m列的像素点的值相同，第m到第m+i列的像素点的值为1；
所述第i右滑动图的前i列像素点的值为1，第i+1到第m-1列的像素点的值与所述右特征图的第1到第m-i-1列的像素点的值相同，第m到第m+i列的像素点的值为0；
其中，i是不小于0且不大于m的整数。
4.一种基于多通道分组互相关代价卷的双目立体匹配装置，其特征在于，所述基于多通道分组互相关代价卷的双目立体匹配装置包括：
获取图像模块，用于获取待匹配图对，其中，一个所述待匹配图对包括一张待匹配左图和一张待匹配右图；
特征提取与分组模块，用于分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，其中，一个所述混合特征图组中包括一个左特征图组和一个右特征图组，所述左特征图组中包括所述待匹配左图对应的多张左特征图，所述右特征图组中包括所述待匹配右图对应的多张右特征图；
所述分别对所述待匹配图对中的待匹配左图和待匹配右图进行特征提取，并对提取获得的所有特征图进行分组，获得多个混合特征图组，具体包括：
对所述待匹配图对中的待匹配左图进行特征提取获得对应的多张左特征图，对所述待匹配图对中的待匹配右图进行特征提取获得对应的多张右特征图，获取所述待匹配图对的多个特征通道图组，其中，一个所述特征通道图组中包括一张所述左特征图和一张所述右特征图，所述分组中特征通道图组的数目乘以对应的分组个数的加和等于全部的特征通道图组的数目作为一种分组；
建立视差回归模型，所述视差回归模型是用于将所有所述特征通道图组进行不同组数的随机分组，再通过计算视差结果，筛选出最优混合特征通道组分组模式；
按照所述最优混合特征通道分组模式进行分组，获得的高维特征通道图组称作混合特征通道分组；
将所述待匹配图对的所有所述特征通道图组按照所述最优混合特征通道组分组模式进行分组，获得多个所述混合特征图组；
所述最优混合特征通道组分组模式是使三像素误差值最小的分组模式，所述三像素误差值用于指示第一图像与第二图像中的像素误差超过三个像素点时，误差像素个数与视差图中所有像素个数的比值；
计算所有分组模式的三像素误差值，筛选出最小三像素误差值对应的分组模式；
其中，所述第一图像是各所述待匹配图对根据视差回归模型预测获取的预测视差图，所述第二图像是各所述待匹配图对根据雷达探测获取的真实视差图；
其中，一个所述待匹配图对对应生成一组视差图，所述一组视差图包括一张所述预测视差图和一张所述真实视差图；
内积计算模块，用于分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积；
所述内积计算模块包括获取特征单元、滑动单元和平均内积单元；
所述分别获取所述待匹配图对对应的各所述混合特征图组的组内特征内积，包括：
所述获取特征单元，用于分别获取所述待匹配图对对应的各所述混合特征图组中的特征图对，其中，每一个所述特征图对包括该混合特征图组的左特征图组中的一张左特征图和该混合特征图组的右特征图组中的一张右特征图；
所述滑动单元，用于按照预设的滑动操作对所述特征图对中的左特征图和右特征图进行滑动处理，且每一次滑动之后计算获得一个滑动内积；
所述平均内积单元，用于根据所述滑动内积计算获得所述待匹配图对对应的各所述混合特征图组的组内特征内积，其中，一个混合特征图组的组内特征内积由该混合特征图组的所有特征图对的滑动内积求平均值获得；
拼接特征模块，用于将所述待匹配图对的多个所述组内特征内积拼接获得目标代价卷；
双目立体匹配模块，用于根据所述目标代价卷进行双目立体匹配。
5.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于多通道分组互相关代价卷的双目立体匹配程序，所述基于多通道分组互相关代价卷的双目立体匹配程序被所述处理器执行时实现如权利要求1-3任意一项所述基于多通道分组互相关代价卷的双目立体匹配方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述基于多通道分组互相关代价卷的双目立体匹配程序，所述基于多通道分组互相关代价卷的双目立体匹配程序被处理器执行时实现如权利要求1-3任意一项所述基于多通道分组互相关代价卷的双目立体匹配方法的步骤。
CN202310172310.0A 2023-02-21 2023-02-21 基于多通道分组互相关代价卷的双目立体匹配方法及装置 Active CN116229123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310172310.0A CN116229123B (zh) 2023-02-21 2023-02-21 基于多通道分组互相关代价卷的双目立体匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310172310.0A CN116229123B (zh) 2023-02-21 2023-02-21 基于多通道分组互相关代价卷的双目立体匹配方法及装置

Publications (2)

Publication Number Publication Date
CN116229123A CN116229123A (zh) 2023-06-06
CN116229123B true CN116229123B (zh) 2024-04-30

Family

ID=86574572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310172310.0A Active CN116229123B (zh) 2023-02-21 2023-02-21 基于多通道分组互相关代价卷的双目立体匹配方法及装置

Country Status (1)

Country Link
CN (1) CN116229123B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703999A (zh) * 2023-08-04 2023-09-05 东莞市爱培科技术有限公司 一种用于双目立体匹配的残差融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887019A (zh) * 2019-02-19 2019-06-14 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN112669290A (zh) * 2020-12-30 2021-04-16 稿定（厦门）科技有限公司 图像比对方法及装置
CN113592026A (zh) * 2021-08-13 2021-11-02 大连大学 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN113655419A (zh) * 2021-08-19 2021-11-16 吉林大学 一种通过磁滞回线进行材料磁学性能的测定方法
CN113763269A (zh) * 2021-08-30 2021-12-07 上海工程技术大学 一种用于双目图像的立体匹配方法
CN114742875A (zh) * 2022-04-11 2022-07-12 中山大学 基于多尺度特征提取和自适应聚合的双目立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887019A (zh) * 2019-02-19 2019-06-14 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN112669290A (zh) * 2020-12-30 2021-04-16 稿定（厦门）科技有限公司 图像比对方法及装置
CN113592026A (zh) * 2021-08-13 2021-11-02 大连大学 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN113655419A (zh) * 2021-08-19 2021-11-16 吉林大学 一种通过磁滞回线进行材料磁学性能的测定方法
CN113763269A (zh) * 2021-08-30 2021-12-07 上海工程技术大学 一种用于双目图像的立体匹配方法
CN114742875A (zh) * 2022-04-11 2022-07-12 中山大学 基于多尺度特征提取和自适应聚合的双目立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Self-adaptive Multi-scale Aggregation Network for Stereo Matching;Pengfei li et al.;《2022 26th International Conference on Pattern Recognition (ICPR)》;第1-5页，图3，表6 *

Also Published As

Publication number Publication date
CN116229123A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN106683048B (zh) 一种图像超分辨率方法及设备
CN109360178B (zh) 基于融合图像的无参考立体图像质量评价方法
US8385630B2 (en) System and method of processing stereo images
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN116309757B (zh) 基于机器视觉的双目立体匹配方法
CN116229123B (zh) 基于多通道分组互相关代价卷的双目立体匹配方法及装置
US20170223333A1 (en) Method and apparatus for processing binocular disparity image
CN103189715A (zh) 立体图像处理装置及立体图像处理方法
CN111260707A (zh) 一种基于光场epi图像的深度估计方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
Jeong et al. Visual comfort assessment of stereoscopic images using deep visual and disparity features based on human attention
CN113705796B (zh) 基于epi特征强化的光场深度获取卷积神经网络
CN105898279B (zh) 一种立体图像质量客观评价方法
CN113313740B (zh) 一种基于平面连续性的视差图和表面法向量联合学习方法
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
Zhou et al. Hierarchical visual comfort assessment for stereoscopic image retargeting
CN110738645B (zh) 基于卷积神经网络的3d图像质量检测方法
CN106683044B (zh) 一种多通道光学探测系统的图像拼接方法、装置
CN113221971B (zh) 一种基于前后特征融合的多尺度人群计数方法及系统
CN112818743B (zh) 图像识别的方法、装置、电子设备及计算机存储介质
CN114782285A (zh) 一种低分辨率模糊图像增强方法
CN114091519A (zh) 一种基于多粒度遮挡感知的遮挡行人重识别方法
CN109328373B (zh) 图像处理方法及其相关设备、存储介质
Khamassi et al. Joint denoising of stereo images using 3D CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant