CN116258759B - 一种立体匹配方法、装置和设备 - Google Patents

一种立体匹配方法、装置和设备 Download PDF

Info

Publication number
CN116258759B
CN116258759B CN202310539995.8A CN202310539995A CN116258759B CN 116258759 B CN116258759 B CN 116258759B CN 202310539995 A CN202310539995 A CN 202310539995A CN 116258759 B CN116258759 B CN 116258759B
Authority
CN
China
Prior art keywords
quality
image
pixel
map
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310539995.8A
Other languages
English (en)
Other versions
CN116258759A (zh
Inventor
刘斯宁
何丽兵
赵昌华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Aixin Yuanzhi Technology Co ltd
Beijing Aixin Technology Co ltd
Original Assignee
Hangzhou Aixin Yuanzhi Technology Co ltd
Beijing Aixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Aixin Yuanzhi Technology Co ltd, Beijing Aixin Technology Co ltd filed Critical Hangzhou Aixin Yuanzhi Technology Co ltd
Priority to CN202310539995.8A priority Critical patent/CN116258759B/zh
Publication of CN116258759A publication Critical patent/CN116258759A/zh
Application granted granted Critical
Publication of CN116258759B publication Critical patent/CN116258759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请提供了一种立体匹配方法、装置和设备，应用于机器视觉领域，该方法包括：通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，根据基准图像中的任意一个第一像素和待匹配图像中相对应的第二像素构成的像素对，确定初始视差图；基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；然后通过初始质量图修复初始视差图，确定目标视差图；本申请在目标视差图确定的过程中，利用图像的信息质量，反映出图像全局的质量，通过初始质量图进行修复，减少修复的计算量，从而提高立体匹配的精度和实时性。

Description

一种立体匹配方法、装置和设备
技术领域
本申请涉及机器视觉领域，尤其涉及一种立体匹配方法、装置和设备。
背景技术
随着科技的不断发展，需要智能设备（例如，移动机器人、无人机）通过双目立体视觉在复杂环境的三维场景中确定物体的三维信息，其中，双目立体视觉中的关键性技术为立体视觉匹配（Stereo Matching，又称立体匹配）。
相关技术中，立体匹配的过程中包括获取目标物体的视差图，通常通过对包含目标物体的不同角度的图像中的像素进行处理，得到相应的视差图，该视差图为立体校正后不同角度的图像中所有像素的视差的二维图像。另外，根据获取视差图的过程中视差计算涉及的图像像素数量，可将立体匹配划分为全局立体匹配、半全局立体匹配和局部立体匹配。
其中，全局立体匹配因计算量和存储需求大，对智能设备的硬件要求较高，且速度较慢，实时性差，半全局立体匹配和局部立体匹配在匹配过程中，只考虑到部分像素，因此虽然对智能设备的硬件要求降低，但获取视差图的准确度较低，相应的匹配的准确率低，因此，亟需一种在精度和实时性满足智能设备应用的立体匹配方法。
发明内容
本申请提供了一种立体匹配方法、装置和设备，可用于提高智能设备中立体匹配的精度和实时性。
本申请的实施例是这样实现的：
本申请实施例的第一方面提供一种立体匹配方法，包括如下步骤：
通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，其中，双目图像对包括从不同的角度获得的包含待测物的两幅图像；
基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，第二像素与第一像素相对应；
基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，信息质量至少用于表征对应图像中待测物的纹理特征；
基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；
通过初始质量图修复初始视差图，确定目标视差图。
在一种可能的实现方式中，基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，包括：
基于基准图像中的各第一像素对应的第一预设搜索窗口内的第一灰度值、待匹配图像中各第二像素对应的第二预设搜索窗口内的第二灰度值，确定与参考视差对应的匹配代价，其中，参考视差为待测物上的目标点在第一像素和第二像素的视差，目标点与第一像素相对应，第一预设搜索窗口的尺寸与第二预设搜索窗口的尺寸相同；
将各第一像素变换到HSV（Hue(色调)、Saturation(饱和度)和Value(亮度)）颜色空间，确定各第一像素在预设引导窗口中相对权重，相对权重为基于第一像素和预设引导窗口中的备选像素确定；
基于匹配代价和相对权重，确定参考视差对应的聚合代价；
基于预设最大视差参数，从聚合代价中筛选极值，将极值对应参考视差作为初始视差，并由各初始视差构成初始视差图。
在一种可能的实现方式中，基于以下公式，确定与参考视差对应的匹配代价：
式中，为匹配代价，/>为参考视差，/>为基准图像中的第一像素，/>为确定第一像素/>对应的第一预设搜索窗口内的第一灰度值的函数，/>为待匹配图像中的第二像素，/>为确定第二像素/>对应的第二预设搜索窗口内的第二灰度值的函数。
在一种可能的实现方式中，从聚合代价中筛选极值，将极值对应参考视差作为初始视差，包括：
若聚合代价是通过匹配代价和相对权重确定的加分值，确定聚合代价中的最大值为初始视差；或者，
若聚合代价是通过匹配代价、相对权重和常量确定的扣分值，确定聚合代价中的最小值为初始视差。
在一种可能的实现方式中，在确定初始质量图中各质量值的质量立方体之前，还包括：
确定基准图像的信息质量，基准图像的信息质量按照下式计算获得：
式中，为基准图像的信息质量，/>为第一预设搜索窗口中像素的数量，为预设衰减因子，/>为基准图像中的第一像素，/>为确定第一像素/>对应的第一预设搜索窗口内的第一灰度值的函数；
确定待匹配图像的信息质量,待匹配图像的信息质量按照下式计算获得：
式中，为待匹配图像的信息质量，/>为第二预设搜索窗口中像素的数量，/>为预设衰减因子，/>为待匹配图像中的第二像素，/>为确定第二像素/>对应的第二预设搜索窗口内的第二灰度值的函数。
在一种可能的实现方式中，基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，包括：
基于基准图像的信息质量和待匹配图像的信息质量，确定匹配代价的信息质量；
通过匹配代价的信息质量对应的全部可能值构造空间立方体，确定质量立方体。
在一种可能的实现方式中，通过初始质量图修复初始视差图，确定目标视差图，包括：
将初始质量图进行二值化，确定二值化质量图，二值化质量图包括零值区域和非零值区域；
确定零值区域的外接矩形；
通过外接矩形的边框对应的像素对零值区域对应的初始视差图进行修复，确定目标视差图。
在一种可能的实现方式中，将初始质量图进行二值化，确定二值化质量图，还包括：
将初始质量图降采样，确定降采样后的备选质量图；
将备选质量图进行二值化，确定二值化质量图。
本申请实施例的第二方面提供一种立体匹配装置，包括：
图像获取模块，用于通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，其中，双目图像对包括从不同的角度获得的包含待测物的两幅图像；
视差计算模块，用于基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，第二像素与第一像素相对应；
质量处理模块，用于基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，信息质量至少用于表征对应图像中待测物的纹理特征；
质量处理模块，还用于基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；
视差优化模块，用于通过初始质量图修复初始视差图，确定目标视差图。
本申请实施例的第三方面提供一种智能设备，包括双目相机、存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的立体匹配方法。
本申请实施例的第四方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行第一方面的立体匹配方法的步骤。
本申请提供了一种立体匹配方法、装置和设备，先通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，根据基准图像中的任意一个第一像素和待匹配图像中相对应的第二像素构成的像素对，可确定初始视差图；以及基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；然后通过初始质量图修复初始视差图，确定目标视差图；本申请在确定目标视差图的过程中，利用了基准图像的信息质量和待匹配图像的信息质量，而该信息质量可反映出图像全局的质量，因此，本申请的方案与只考虑图像中部分像素的半全局立体匹配和局部立体匹配方法相比，能够提高获取视差图的准确度，以及相应提高立体匹配的精度。另外，与全局立体匹配需要对图像中全部像素进行计算的方案相比，本申请通过基准图像的信息质量和待匹配图像的信息质量，通过引入图像的信息质量，使得目标视差图确定的过程考虑了图像的全局像素，以及由信息质量进一步确定的初始质量图对初始视差图进行修复，减少修复过程中的计算量，从而能够提高确定视差图的速度和实时性，进一步提高了立体匹配的速度和实时性，并且降低了对进行立体匹配的智能设备的硬件要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了双目立体视觉的原理图；
图2示出了本申请实施例提供的一种立体匹配方法的流程示意图；
图3示出了本申请实施例中双目相机拍摄的图像的示意图；
图4示出了本申请实施例提供的一种立体匹配方法的中初始视差图确定的流程示意图；
图5示出了本申请实施例提供的一种立体匹配方法的中质量立方体确定的流程示意图；
图6示出了本申请实施例提供的一种立体匹配方法的中目标视差图确定的流程示意图；
图7示出了本申请实施例中图3对应的二值化质量图的示意图；
图8示出了本申请实施例中确定图7二值化质量图中外接矩形的示意图；
图9示出了本申请实施例提供的一种立体匹配装置的结构示意图。
实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
随着智能设备的发展，越来越多的智能设备可通过双目立体视觉技术在复杂环境的三维场景中确定物体的三维信息。其中，双目立体视觉通过用两个拍摄设备同时拍摄图像，获取同一场景不同角度的两幅不同的图像，通过三角测量原理和图像像素间的位置偏差，复原三维场景中的深度信息。
本申请实施方式提供的智能设备可以具有多种实施形式，需要注意的，智能设备具有双目立体视觉系统，例如，可以是移动机器人、无人机、智能门锁等。
图1示出了双目立体视觉的原理图，通过双目相机拍摄三维空间中物体的图像，其中，双目相机包含第一相机（即左相机，与人的左眼相对应）和第二相机（即右相机，与人的右眼相对应），且第一相机和第二相机具有相同规格（如分辨率、焦距f等）；两个相机的中心距离为基线，记作，如图1所示，OL、OR分别为第一相机的中心、第二相机的中心，OL、OR之间的距离/>为双目相机的基线，应当理解的是，基线长度需要满足预设距离，以使两个相机之间存在共同的可视范围。
对于三维空间中目标物体上的目标点P，在第一相机的成像点为PL，在第二相机的成像点为PR，根据光是沿直线传播的原理，可知，目标点P是两个相机的中心与成像点的连线的焦点，为第一相机成像点到其成像面左侧的距离，/>为第二相机成像点到其成像面左侧的距离，对于目标点P在第一相机和第二相机的视差/>。
可确定成像点PL和成像点PR之间的距离。
再根据相似三角形理论，可以得到如下公式:
式中，为目标点P到第一相机和第二相机的平面的距离，/>为第一相机成像点到其成像面左侧的距离，/>为第二相机成像点到其成像面左侧的距离，/>为基线，/>为第一相机焦距。
应当理解的是，也为第二相机焦距。
进一步，基于如下公式，可确定目标点P到第一相机和第二相机的平面的距离：
通过目标物体上目标点P到第一相机和第二相机的平面的距离，可进一步确定三维场景中目标物体的深度信息。
通过上述介绍，可知双目立体视觉中的关键性技术为立体匹配，立体匹配通常通过对包含目标物体的不同角度的图像中的像素进行处理，得到相应的视差图，该视差图为立体校正后不同角度的图像中所有像素的视差的二维图像。
根据获取视差图的过程中视差计算涉及的图像像素数量，可将立体匹配划分为全局立体匹配、半全局立体匹配和局部立体匹配。其中，全局立体匹配因计算量和存储需求大，对智能设备的硬件要求较高，且速度较慢，实时性差，半全局立体匹配和局部立体匹配虽然对智能设备的硬件要求降低，但获取视差图的准确度较低，相应的匹配的准确率低。
为解决上述问题，本申请实施例提出一种在精度和实时性满足智能设备应用的立体匹配方法、装置和设备，立体匹配方法包括先通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，根据基准图像中的任意一个第一像素和待匹配图像中相对应的第二像素构成的像素对，可确定初始视差图；以及基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；然后通过初始质量图修复初始视差图，确定目标视差图；通过上述视差图确定的过程可提高智能设备中立体匹配的精度和实时性，进而实现快速准确的使得智能设备在复杂环境的三维场景中快速准确的确定物体的三维信息。
以下结合附图对本申请实施例的立体匹配方法、装置和设备进行详细说明。
图2示出了本申请实施例提供的一种立体匹配方法的流程示意图，如图2所示，本申请实施例提供的一种立体匹配方法。
该立体匹配方法包括以下步骤：
S110、通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像。
应当理解的是，双目图像对是通过双目相机对待测物拍摄获取的，双目图像对包括从不同的角度获得的包含待测物的两幅图像，且可知双目图像对是在同一时间点拍摄的，为了方便描述，将双目相机的左相机拍摄的图像称为左视图，将双目相机的右相机拍摄的图像称为右视图。
在一些实施例中，双目图像对的两幅图像的图像格式可以是包含三个颜色通道的彩色图像，例如，RGB；双目图像对的两幅图像也可以是亮度与色度分开表示的彩色图像，例如，YCbCr。
若图像格式是YCbCr，可将YCbCr的图像转换为RGB的图像，因此可理解为，当对图像处理方法适用于处理RGB的图像时，该方法对包括YCbCr在内的其它图像格式也同样适用。
其中，对双目图像对进行预处理可包括根据预设的双目相机的内外参，分别对左视图、右视图进行几何畸变校正，消除左视图和右视图中存在的几何畸变。
在一些实施例中，几何畸变校正还可以消除左视图和右视图中存在的极线对齐误差等。
预处理还可以包括对校正后的左视图和右视图进行平滑滤波，减少左视图和右视图本身存在的噪声和上述校正过程引入的噪声。其中，可采用中值滤波、高斯滤波等低通滤波器进行平滑滤波处理。
将预处理后的左视图作为基准图像，以及预处理后的右视图作为待匹配图像。
在一些实施例中，可对预处理后的左视图和右视图设置预设参数，并将预处理后的左视图作为基准图像，以及预处理后的右视图作为待匹配图像。
S120、基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图。
其中，第二像素与第一像素相对应，即第二像素与第一像素对应的是待测物中的同一位置。
对于三维场景中待测物上的目标点P，经过双目相机成像后，转化为双目图像对中的一对像素，也就是基准图像和待匹配图像中的一对像素。若基准图像中对应的像素为（x,y），待匹配图像中的像素为（x+d，y），其中，d为视差，且未知。
初始视差图的确定，包括计算匹配代价（matching cost）、计算聚合代价（aggregated cost），以及计算视差，通过基准图像和待匹配图像中所有像素的视差确定的二维图像为初始视差图。
S130、基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体。
在立体匹配的过程中，有些待测物表面材质缺乏纹理特征（如表面光滑等），使得在外部光源的作用下会产生局部高光，导致拍摄的图像失去纹理特征，使得拍摄获得的双目图像对中的图像的部分区域不包含纹理信息，或者图像中部分区域的信息量少。
图3示出了本申请实施例中双目相机拍摄的图像的示意图，如图3所示，在该图像的中区域10失去了纹理特征，该区域内信息质量低，本申请实施例引入图像的信息质量的概念，用于评估图像的质量，信息质量至少用于表征对应图像中待测物的纹理特征。
在一些实施例中，信息质量可用于表征图像中待测物的信息和通过相机成像的信息的质量。
在一些实施例中,对于图像中各像素的信息质量，可通过下式计算获得：
式中，为图像的信息质量，/>为预设衰减因子，/>为预设区域中像素的数量，/>为图像中的像素，/>为以像素/>为中心的预设区域内构建的连通区域/>对应的灰度值函数，/>是连通区域/>中各/>的和。
通过基准图像的信息质量和待匹配图像的信息质量，可以确定一个由三个元素确定的三维空间，其对应的全部可能指构成该三维空间中的立方体，即为质量立方体。
初始质量图是与初始视差图具有相同的分辨率的二维矩阵，该二维矩阵中的每个元素用于存储一个标量数，即质量值，其中，质量值是由质量立方体确定的。
S140、基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图。
构造初始质量图包括：按照初始视差图的分辨率创建一个二维矩阵，该二维矩阵的每个元素为质量值，该质量值是通过质量立方体和初始视差图对应的初始视差确定的。
S150、通过初始质量图修复初始视差图，确定目标视差图。
通过初始质量图中高质量的质量值对应的视差修复低质量的质量值对应的视差，修复后的初始视差图为目标视差图。
在一些实施例中，可通过插值的方式实现对初始视差图的修复。
本申请实施例中通过引入图像的信息质量，并通过对图像全局像素的信息质量评估，以及由信息质量进一步确定的初始质量图对初始视差图进行修复，使得目标视差图确定的过程考虑对应图像的全局像素，并在通过初始质量图对初始视差图修复的过程中减少计算量，从而提高立体匹配的精度和实时性。
图4示出了本申请实施例提供的一种立体匹配方法的中初始视差图确定的流程示意图，如图4所示，对于步骤120基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，包括以下步骤：
S121、基于基准图像中的各第一像素对应的第一预设搜索窗口内的第一灰度值、待匹配图像中各第二像素对应的第二预设搜索窗口内的第二灰度值，确定与参考视差对应的匹配代价。
其中，参考视差为待测物上目标点在第一像素和第二像素的视差，目标点与第一像素相对应。
在基准图像上，以第一像素为中心像素，在第一预设搜索窗口内建立从属于第一像素/>的连通区域，并确定对应的函数。
同样，在待匹配图像上，以第二像素为中心像素，在第二预设搜索窗口内建立从属于第二像素/>的连通区域，并确定对应的函数。
需要理解的是，第一预设搜索窗口，是以第一像素为中心像素的；第二预设搜索窗口，是以第二像素为中心像素的，以及第一预设搜索窗口的尺寸与第二预设搜索窗口的尺寸相同。
在一些实施例中，预设搜索窗口（包括第一预设搜索窗口和第二预设搜索窗口）可以矩形、正方形，或其他形状的平面图形。
在一些实施例中，为提高计算效率，预设搜索窗口设置为正方形。
上述建立的连通区域的特征为：连通区域中的中心像素A，坐标为，对于属于该连通区域内的任意像素B，坐标为/>，像素A和像素B需要满足以下关系：
其中，为预设误差上限值，/>为图像中像素A的像素亮度值，/>为图像中像素B的像素亮度值。
连通区域对应的函数，是在对应的预设搜索窗口（第一预设搜索窗口或第二预设搜索窗口）中，根据像素是否属于连通区域，确定灰度值，其中，第一灰度值对应于第一预设搜索窗口，第二灰度值对应于第二预设搜索窗口。
在一些实施例中，预设搜索窗口中的像素，若像素属于连通区域，函数的值为1，否则，函数的值为0。
假设目标物体的目标点P的参考视差值为d，根据基准图像中的第一像素对应的第一预设搜索窗口内连通区域对应函数的第一灰度值、待匹配图像中第二像素对应的第二预设搜索窗口内连通区域对应函数的第二灰度值，确定与参考视差对应的匹配代价，参考视差的匹配代价可通过如下公式计算获得：
式中，为匹配代价，/>为参考视差，/>为基准图像中的第一像素，/>为确定第一像素/>对应的第一预设搜索窗口内第一灰度值的函数，/>为待匹配图像中的第二像素，/>为确定第二像素/>对应的第二预设搜索窗口内第二灰度值的函数。
应当理解的是，计算参考视差的匹配代价公式中，基准图像以第一像素为中心像素，在第一预设搜索窗口内建立从属于第一像素/>的连通区域/>，并确定对应的函数/>。待匹配图像以第二像素/>为中心像素，在第二预设搜索窗口内建立从属于第二像素/>的连通区域/>，并确定对应的函数/>。
在一些实施例中，若第一预设搜索窗口、第二预设搜索窗口为正方形，则参考视差的匹配代价可通过如下公式计算获得：
式中，为匹配代价，/>为参考视差，/>为基准图像中的第一像素，/>为确定第一像素/>对应的第一预设搜索窗口内第一灰度值的函数，/>为待匹配图像中的第二像素，/>为确定第二像素/>对应的第二预设搜索窗口内第二灰度值的函数。
在一些实施例中，匹配代价的计算还可以是通过互信息、Census变换等方法计算确定。
不同的匹配代价计算方法的性能和效果不同，适用的场景也不同，对于本申请实施例可通过上述公式的计算确定的匹配代价，便于后续对应图像的信息质量计算，进而提高立体匹配的实时性。
S122、将各第一像素变换到HSV颜色空间，确定各第一像素在预设引导窗口中相对权重。
其中，相对权重为基于第一像素和预设引导窗口中的备选像素确定。
对基准图像进行颜色空间变换，将各第一像素变换到HSV空间，对于各第一像素，可分别获得对应的色调值/>、饱和度值/>、明度值/>。
在基准图像中，可根据第一像素和预设引导窗口内备选像素/>，确定相对权重，该相对权重可通过下式计算获得：
式中，为相对权重，/>为预设第一阈值，/>为预设衰减因子。
预设引导窗口可以矩形、正方形，或其他形状的平面图形。
在一些实施例中，预设引导窗口可与第一预设搜索窗口或第二预设搜索窗口的尺寸相同。
在一些实施例中，对于步骤122，可对基准图像进行颜色空间变换，将各第一像素变换到HSV空间，确定任意两个像素的相对权重；在计算聚合代价的过程中，再将第一像素在预设引导窗口中相对权重提取出来。
本申请实施例通过采用HSV颜色空间中比较像素色调相似度方法，相对于现有的基于比较像素亮度的立体匹配方法，能够提高匹配精度。
示例性，若亮度相似的图像对立体匹配过程中存在误差较大，若转换为颜色立体匹配，图像对的差异明显，匹配精度高。
S123、基于匹配代价和相对权重，确定参考视差对应的聚合代价。
参考视差对应的聚合代价可通过如下公式计算获得：
式中，为聚合代价，/>为参考视差，/>为预设引导窗口的尺寸，为相对权重，/>为匹配代价。
需要理解的是，该公式确定的聚合代价是加分值，在一些实施例中，聚合代价还可以是是扣分值。若聚合代价是扣分值，对应的聚合代价可通过如下公式计算获得：
式中，为聚合代价，/>为参考视差，/>为预设引导窗口的尺寸，为相对权重，/>为匹配代价,/>为常数，且/>。
在一些实施例中，若预设引导窗口为正方形，则参考视差对应的聚合代价的公式中可设。
S124基于预设最大视差参数，从聚合代价中筛选极值，将极值对应参考视差作为初始视差，并由各初始视差构成初始视差图。
其中，对于每个第一像素，预设最大视差参数为，对于参考视差/>，从/>到/>确定对应的聚合代价，从聚合代价中筛选极值，将极值对应参考视差作为初始视差/>，由初始视差构成的二维图像为初始视差图。
若聚合代价是通过匹配代价和相对权重确定的加分值，确定聚合代价中的最大值为初始视差；或者，若聚合代价是通过匹配代价、相对权重和常量确定的扣分值，确定聚合代价中的最小值为初始视差。
在步骤130确定初始质量图中各质量值的质量立方体之前，还包括以下步骤：
确定基准图像的信息质量，基准图像的信息质量按照下式计算获得：
式中，为基准图像的信息质量，/>为预设衰减因子，/>为基准图像中的第一像素，/>为确定第一像素/>对应的第一预设搜索窗口内的第一灰度值的函数。
确定待匹配图像的信息质量,待匹配图像的信息质量按照下式计算获得：
式中，为待匹配图像的信息质量，/>为预设衰减因子，/>为待匹配图像中的第二像素，/>为确定第二像素/>对应的第二预设搜索窗口内的第二灰度值的函数。
应当理解的是，信息质量的公式中为第一预设搜索窗口中像素的数量、第二预设搜索窗口中像素的数量。
在一些实施例中，第一预设搜索窗口、第二预设搜索窗口为正方形，则对应图像的信息质量的公式中可设。
在上述基准图像的信息质量和待匹配图像的信息质量确定的情况下，图5示出了本申请实施例提供的一种立体匹配方法的中质量立方体确定的流程示意图，如图5所示，步骤130基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，包括如下步骤：
S131、基于基准图像的信息质量和待匹配图像的信息质量，确定匹配代价的信息质量。
其中，匹配代价的信息质量通过下式计算获得：
式中，为匹配代价的信息质量，/>为基准图像的信息质量，为待匹配图像的信息质量。
S132、通过匹配代价的信息质量对应的全部可能值构造空间立方体，确定质量立方体。
对于匹配代价的信息质量，其中，/>可撑起一个三维空间，而/>的全部可能值构成/>空间中的一个立方体，称为质量立方体，该质量立方体中的每个元素代表一个视差值对应的参考质量值。其中，对于参考质量值的数据类型不做限定。
在一些实施例中，上述基准图像的信息质量和待匹配图像的信息质量的确定，以及步骤131和步骤132的过程，涉及到匹配代价就算过程中的第一像素对应的第一预设搜索窗口内连通区域的函数和第二像素对应第二预设搜索窗口内连通区域的函数，可将上述过程在匹配代价计算后执行，也就是说，上述基准图像的信息质量和待匹配图像的信息质量的确定，以及步骤131和步骤132的过程可在聚合代价计算之前或者聚合代价计算的同时执行。
在一些实施例中，若将上述基准图像的信息质量和待匹配图像的信息质量的确定，以及步骤131和步骤132的过程与聚合代价计算的同时执行，可进一步提高立体匹配的实时性。
在图5下，步骤140基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图中，质量值是通过质量立方体和初始视差图对应的初始视差确定的。
示例性，给定二维矩阵的一个元素，其坐标为，该坐标对应的质量值为。
图6示出了本申请实施例提供的一种立体匹配方法的中目标视差图确定的流程示意图，如图6所示，步骤150通过初始质量图修复初始视差图，确定目标视差图，包括如下步骤：
S151、将初始质量图进行二值化，确定二值化质量图。
其中，二值化质量图包括零值区域和非零值区域。
将初始质量图二值化，可通过预设第二阈值对初始质量图像中的各质量值进行比较，若质量值大于预设第二阈值，该质量值赋值1，否则赋值0，得到二值化质量图；对于二值化质量图，对于赋值0的区域为零值区域，赋值1的区域为非零值区域。
图7示出了本申请实施例中图3对应的二值化质量图的示意图，如图7所示，区域11为赋值0的零值区域，区域21为赋值1的非零值区域。
应当理解的是，零值区域中的像素为低质量的视差，非零值区域的像素为高质量的视差。
在一些实施例中，可先将初始质量图降采样，确定降采样后的备选质量图；将备选质量图进行二值化，确定二值化质量图。
在一些实施例中，可按照N:1的比例，将初始质量图沿宽度和高度方向同步缩小至原值的1/N，其中，N是一个预设的常数，示例：N=8。
在一些实施例中，对初始质量图进行降采样可包括：首先，将初始质量图划分成一组大小相同的正方形数据块，每个数据块包含不超过N*N个质量值；当一个数据块所包含的质量值数不足N*N时，可以将最后一个质量值复制多次以填充空位；其次，用一个N*N大小的卷积核对所述数据块进行高斯滤波，每个数据块获得一个对应的滤波值；最后，将所有数据块对应的滤波值按照降采样的目标分辨率排列成一个二维矩阵，所述二维矩阵为备选质量图。
对于备选质量图的二值化可与初始质量图的二值化过程可相同。
本申请实施例中，通过对初始质量图进行降采样，并在备选质量图上搜索低质量的区域（零值区域），减少搜索的计算量，降低计算时间，提高实时性。
S152、确定零值区域的外接矩形。
通过对零值区域的检测，分割出零值区域对应的外接矩形。
在一些实施例中，可以采用光栅扫描的方式对二值化质量图进行搜索，并为每一行数据记录一个数据对，该数据对用于表征当前行首批连续零值点的起止坐标，同时，利用、起止坐标值更新当前零值区域的外接矩形的左上角和右下角坐标；如果光栅扫描时遇到一行数据不存在任何零值点，则光栅扫描提前终止；当光栅扫描终止后，最终的外接矩形坐标即唯一地确定了二值化质量图的一个零值区域。
在一些实施例中，图像中的零值区域可能具有一个或者多个。
图8示出了本申请实施例中确定图7二值化质量图中外接矩形的示意图，如图8所示，零值区域11的外接矩形30。
S153、通过外接矩形的边框对应的像素对零值区域对应的初始视差图进行修复，确定目标视差图。
通过外接矩形的边框对应的像素的初始视差对零值区域对应的初始视差图进行修复，包括：确定外接矩形的边框对应像素，像素的视差为高质量的视差；通过这些高质量的视差对零值区域中低质量的视差进行修复，修复的方式可以是插值方法。
当零值区域的视差被修复后，确定目标视差图。
在一些实施例中，插值方式包括双线性插值方法等，本申请实施例对于插值方法不做限定。
在一些实施例中，可通过外接矩形的边框顶点进行修复，在初始视差图上，确定与外接矩形四个顶点相对应的视差为基础视差，这四个顶点对应基础视差是高质量的视差，用于对零值区域中的低质量视差进行修复。
示例性，可采用光栅扫描的方法遍历外接矩形内存在的零值点，并计算出初始视差图上与该零值点相对应的视差的坐标（每个零值点对应数据块中N*N个视差图坐标），然后根据视差坐标与外接矩形四个顶点的位置关系，使用至少一种插值方法根据基础视差进行插值，从而获得零值点的插值，用于替换N*N个视差的原始视差值。
通过不断的重复上述过程，当零值区域中的所有零值点都被恢复，得到目标视差图。
本申请实施例通过采用与零值区域邻近的外接矩形，对低质量的视差进行修复，提升视差图的准确性，且计算量低，提高立体匹配的准确率和实时性。
图9示出了本申请实施例提供的一种立体匹配装置的结构示意图，如图9所示，立体匹配装置900包括图像获取模块910、视差计算模块920、质量处理模块930和视差优化模块940。
图像获取模块，用于通过对待测物的双目图像对进行预处理，确定双目图像对对应的基准图像和待匹配图像，其中，双目图像对包括从不同的角度获得的包含待测物的两幅图像；
视差计算模块，用于基于基准图像中的任意一个第一像素和待匹配图像中的第二像素构成的像素对，确定初始视差图，第二像素与第一像素相对应；
质量处理模块，用于基于基准图像的信息质量和待匹配图像的信息质量，确定初始质量图中各质量值的质量立方体，信息质量至少用于表征对应图像中待测物的纹理特征；
质量处理模块，还用于基于初始视差图对应的初始视差和质量立方体，构造包含各质量值的初始质量图；
视差优化模块，用于通过初始质量图修复初始视差图，确定目标视差图。
在一些实施例中，视差计算模块包括匹配代价子模块、聚合代价子模块和视差子模块，其中：
匹配代价子模块，用于基于基准图像中的各第一像素对应的第一预设搜索窗口内的第一灰度值、待匹配图像中各第二像素对应的第二预设搜索窗口内的第二灰度值，确定与参考视差对应的匹配代价。
聚合代价子模块，用于将各第一像素变换到HSV颜色空间，确定各第一像素在预设引导窗口中相对权重。
聚合代价子模块，用于基于匹配代价和相对权重，确定参考视差对应的聚合代价。其中，若聚合代价是通过匹配代价和相对权重确定的加分值，确定聚合代价中的最大值为初始视差；或者，若聚合代价是通过匹配代价、相对权重和常量确定的扣分值，确定聚合代价中的最小值为初始视差。
视差子模块，用于基于预设最大视差参数，从聚合代价中筛选极值，将极值对应参考视差作为初始视差，并由各初始视差构成初始视差图。
在一些实施例中，立体匹配装置还包括信息质量模块，用于确定基准图像的信息质量和待匹配图像的信息质量。
在一些实施例中，质量处理模块包括第一处理子模块和第二处理子模块，其中：
第一处理子模块，用于基于基准图像的信息质量和待匹配图像的信息质量，确定匹配代价的信息质量；
第二处理子模块，用于通过匹配代价的信息质量对应的全部可能值构造空间立方体，确定质量立方体。
在一些实施例中，视差优化模块包括降采样子模块、二值化子模块和修复子模块，其中;
降采样子模块，用于将初始质量图降采样，确定降采样后的备选质量图。
二值化子模块，用于将备选质量图进行二值化，确定二值化质量图，二值化质量图包括零值区域和非零值区域；
修复子模块，用于确定零值区域的外接矩形，并通过外接矩形的边框对应的像素对零值区域对应的初始视差图进行修复，确定目标视差图。
本申请实施例提供的一种立体匹配装置其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本申请实施例还提供的一种智能设备，包括双目相机、存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的立体匹配方法，实现原理和技术效果与上述方法实施例类似，在此不再赘述。
示例性，移动机器人包括双目相机、存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其中，具有移动功能的机器人系统中包括可实现上述立体匹配方法的计算机器程序，以此，处理器在执行计算机程序时，可实现上述的立体匹配方法。
应该理解的是，本申请实施例可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括计算机程序。在智能设备上加载和运行该计算机程序时，全部或部分地产生按照本申请实施例所示的流程或功能。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述立体匹配方法的步骤，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
该计算机可读存储介质可以是智能设备能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
以下段落将对本申请说明书中涉及的中文术语、及其对应的英文术语进行对比罗列，以便于阅读、理解。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (9)

1.一种立体匹配方法，其特征在于，包括：
通过对待测物的双目图像对进行预处理，确定所述双目图像对对应的基准图像和待匹配图像，其中，所述双目图像对包括从不同的角度获得的包含所述待测物的两幅图像；
基于所述基准图像中的任意一个第一像素和所述待匹配图像中的第二像素构成的像素对，确定初始视差图，所述第二像素与所述第一像素相对应；
基于所述基准图像的信息质量和所述待匹配图像的信息质量，确定匹配代价的信息质量，所述信息质量至少用于表征对应图像中所述待测物的纹理特征；所述信息质量按照下式计算获得：
；
式中，为图像的信息质量，/>为预设衰减因子，/>为预设区域中像素的数量，/>为图像中的像素，/>为以像素/>为中心的预设区域内构建的连通区域/>对应的灰度值函数，/>是连通区域/>中各/>的和；
通过所述匹配代价的信息质量对应的全部可能值构造空间立方体，确定质量立方体；
基于所述初始视差图对应的初始视差和所述质量立方体，构造包含各质量值的初始质量图；
将所述初始质量图进行二值化，确定二值化质量图，所述二值化质量图包括零值区域和非零值区域；
确定所述零值区域的外接矩形；
通过所述外接矩形的边框对应的像素对所述零值区域对应的所述初始视差图进行修复，确定目标视差图。
2.根据权利要求1所述的立体匹配方法，其特征在于，所述基于所述基准图像中的任意一个第一像素和所述待匹配图像中的第二像素构成的像素对，确定初始视差图，包括：
基于所述基准图像中的各所述第一像素对应的第一预设搜索窗口内的第一灰度值、所述待匹配图像中各所述第二像素对应的第二预设搜索窗口内的第二灰度值，确定与参考视差对应的匹配代价，其中，所述参考视差为基于所述待测物上的目标点在第一像素和第二像素确定，所述目标点与所述第一像素相对应，所述第一预设搜索窗口的尺寸与所述第二预设搜索窗口的尺寸相同；
将各所述第一像素变换到HSV颜色空间，确定各所述第一像素在预设引导窗口中相对权重，所述相对权重为基于所述第一像素和所述预设引导窗口中的备选像素确定；
基于所述匹配代价和所述相对权重，确定所述参考视差对应的聚合代价；
基于预设最大视差参数，从所述聚合代价中筛选极值，将所述极值对应参考视差作为初始视差，并由各初始视差构成所述初始视差图。
3.根据权利要求2所述的立体匹配方法，其特征在于，基于以下公式，确定与参考视差对应的匹配代价：
；
式中，为匹配代价，/>为参考视差，/>为基准图像中的第一像素，/>为确定第一像素/>对应的第一预设搜索窗口内的第一灰度值的函数，/>为待匹配图像中的第二像素，/>为确定第二像素/>对应的第二预设搜索窗口内的第二灰度值的函数。
4.根据权利要求2所述的立体匹配方法，其特征在于，所述从所述聚合代价中筛选极值，将所述极值对应参考视差作为初始视差，包括：
若所述聚合代价是通过所述匹配代价和所述相对权重确定的加分值，确定所述聚合代价中的最大值为初始视差；
或者，
若所述聚合代价是通过所述匹配代价、所述相对权重和常量确定的扣分值，确定所述聚合代价中的最小值为初始视差。
5.根据权利要求1所述的立体匹配方法，其特征在于，在确定初始质量图中各质量值的质量立方体之前，还包括：
确定所述基准图像的信息质量，所述基准图像的信息质量按照下式计算获得：
；
式中，为基准图像的信息质量，/>为第一预设搜索窗口中像素的数量，/>为预设衰减因子，/>为基准图像中的第一像素，/>为确定第一像素/>对应的第一预设搜索窗口内的第一灰度值的函数；
确定所述待匹配图像的信息质量,所述待匹配图像的信息质量按照下式计算获得：
；
式中，为待匹配图像的信息质量，/>为第二预设搜索窗口中像素的数量，/>为预设衰减因子，/>为待匹配图像中的第二像素，
为确定第二像素/>对应的第二预设搜索窗口内的第二灰度值的函数。
6.根据权利要求1所述的立体匹配方法，其特征在于，所述将所述初始质量图进行二值化，确定二值化质量图，还包括：
将所述初始质量图降采样，确定降采样后的备选质量图；
将所述备选质量图进行二值化，确定所述二值化质量图。
7.一种立体匹配装置，其特征在于，包括：
图像获取模块，用于通过对待测物的双目图像对进行预处理，确定所述双目图像对对应的基准图像和待匹配图像，其中，所述双目图像对包括从不同的角度获得的包含所述待测物的两幅图像；
视差计算模块，用于基于所述基准图像中的任意一个第一像素和所述待匹配图像中的第二像素构成的像素对，确定初始视差图，所述第二像素与所述第一像素相对应；
质量处理模块，用于基于所述基准图像的信息质量和所述待匹配图像的信息质量，确定匹配代价的信息质量，所述信息质量至少用于表征对应图像中所述待测物的纹理特征；所述信息质量按照下式计算获得：
；
式中，为图像的信息质量，/>为预设衰减因子，/>为预设区域中像素的数量，/>为图像中的像素，/>为以像素/>为中心的预设区域内构建的连通区域/>对应的灰度值函数，/>是连通区域/>中各/>的和；
通过所述匹配代价的信息质量对应的全部可能值构造空间立方体，确定质量立方体；
所述质量处理模块，还用于基于所述初始视差图对应的初始视差和所述质量立方体，构造包含各质量值的初始质量图；
视差优化模块，用于将所述初始质量图进行二值化，确定二值化质量图，所述二值化质量图包括零值区域和非零值区域；
确定所述零值区域的外接矩形；
通过所述外接矩形的边框对应的像素对所述零值区域对应的所述初始视差图进行修复，确定目标视差图。
8.一种智能设备，包括双目相机、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的立体匹配方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至6中任一项所述的立体匹配方法的步骤。
CN202310539995.8A 2023-05-15 2023-05-15 一种立体匹配方法、装置和设备 Active CN116258759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539995.8A CN116258759B (zh) 2023-05-15 2023-05-15 一种立体匹配方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539995.8A CN116258759B (zh) 2023-05-15 2023-05-15 一种立体匹配方法、装置和设备

Publications (2)

Publication Number Publication Date
CN116258759A CN116258759A (zh) 2023-06-13
CN116258759B true CN116258759B (zh) 2023-09-22

Family

ID=86681073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539995.8A Active CN116258759B (zh) 2023-05-15 2023-05-15 一种立体匹配方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116258759B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310421A (zh) * 2013-06-27 2013-09-18 清华大学深圳研究生院 针对高清图像对的快速立体匹配方法及视差图获取方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN107301664A (zh) * 2017-05-25 2017-10-27 天津大学 基于相似性测度函数的改进局部立体匹配方法
KR101869226B1 (ko) * 2017-01-23 2018-06-19 성균관대학교산학협력단 이종 카메라를 위한 시차 맵 생성 방법
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN110853151A (zh) * 2019-10-15 2020-02-28 西安理工大学 一种基于视频的三维立体点集恢复方法
CN111369425A (zh) * 2020-02-20 2020-07-03 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN111768437A (zh) * 2020-06-30 2020-10-13 中国矿业大学 一种用于矿井巡检机器人的图像立体匹配方法及装置
WO2021179590A1 (zh) * 2020-03-10 2021-09-16 北京迈格威科技有限公司 视差图的处理方法、装置、计算机设备和存储介质
CN113763269A (zh) * 2021-08-30 2021-12-07 上海工程技术大学 一种用于双目图像的立体匹配方法
CN114519713A (zh) * 2022-02-24 2022-05-20 银牛微电子(无锡)有限责任公司 深度测量方法、双目立体视觉系统、装置及存储介质
CN114862926A (zh) * 2022-05-25 2022-08-05 华中科技大学 融合ad代价和多模局部特征代价的立体匹配方法及系统
CN116029996A (zh) * 2022-12-27 2023-04-28 天津云圣智能科技有限责任公司 立体匹配的方法、装置和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839535B2 (en) * 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
TWI658720B (zh) * 2016-12-30 2019-05-01 創研光電股份有限公司 運用變焦影像資訊以改善原視差影像匹配錯誤之方法
CN111311667B (zh) * 2020-02-14 2022-05-17 苏州浪潮智能科技有限公司 一种内容自适应双目匹配方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310421A (zh) * 2013-06-27 2013-09-18 清华大学深圳研究生院 针对高清图像对的快速立体匹配方法及视差图获取方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
KR101869226B1 (ko) * 2017-01-23 2018-06-19 성균관대학교산학협력단 이종 카메라를 위한 시차 맵 생성 방법
CN107301664A (zh) * 2017-05-25 2017-10-27 天津大学 基于相似性测度函数的改进局部立体匹配方法
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN110853151A (zh) * 2019-10-15 2020-02-28 西安理工大学 一种基于视频的三维立体点集恢复方法
CN111369425A (zh) * 2020-02-20 2020-07-03 北京迈格威科技有限公司 图像处理方法、装置、电子设备和计算机可读介质
WO2021179590A1 (zh) * 2020-03-10 2021-09-16 北京迈格威科技有限公司 视差图的处理方法、装置、计算机设备和存储介质
CN111768437A (zh) * 2020-06-30 2020-10-13 中国矿业大学 一种用于矿井巡检机器人的图像立体匹配方法及装置
CN113763269A (zh) * 2021-08-30 2021-12-07 上海工程技术大学 一种用于双目图像的立体匹配方法
CN114519713A (zh) * 2022-02-24 2022-05-20 银牛微电子(无锡)有限责任公司 深度测量方法、双目立体视觉系统、装置及存储介质
CN114862926A (zh) * 2022-05-25 2022-08-05 华中科技大学 融合ad代价和多模局部特征代价的立体匹配方法及系统
CN116029996A (zh) * 2022-12-27 2023-04-28 天津云圣智能科技有限责任公司 立体匹配的方法、装置和电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Local stereo matching based on the improved matching cost function and the adaptive window;Jiling Liu 等;2015 8th International Congress on Image and Signal Processing (CISP);全文 *
基于引导滤波和视差校准的自适应权重算法;肖静文 等;青岛科技大学学报(自然科学版);第37卷(第02期);第227-232页 *
基于水平树结构的可变权重代价聚合立体匹配算法;彭建建 等;光学学报;第38卷(第01期);第1-8页 *
基于色彩信息与像素特征的立体图像局部匹配算法研究;周春燕;中国优秀硕士学位论文全文数据库 信息科技辑(第第07期期);第1-71页 *
自适应窗口和半全局立体匹配算法研究;郭龙源 等;成都工业学院学报;第20卷(第01期);第7-15页 *

Also Published As

Publication number Publication date
CN116258759A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
WO2019100933A1 (zh) 用于三维测量的方法、装置以及系统
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
US10477178B2 (en) High-speed and tunable scene reconstruction systems and methods using stereo imagery
WO2018127007A1 (zh) 深度图获取方法及系统
CN113034568B (zh) 一种机器视觉深度估计方法、装置、系统
US20090324059A1 (en) Method for determining a depth map from images, device for determining a depth map
US8867826B2 (en) Disparity estimation for misaligned stereo image pairs
CN111028281B (zh) 基于光场双目系统的深度信息计算方法及装置
WO2020083307A1 (en) Method, apparatus, and storage medium for obtaining depth image
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
WO2015179216A1 (en) Orthogonal and collaborative disparity decomposition
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
CN115035235A (zh) 三维重建方法及装置
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN111383254A (zh) 一种深度信息获取方法、系统及终端设备
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
Garro et al. A novel interpolation scheme for range data with side information
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
GB2569609A (en) Method and device for digital 3D reconstruction
CN115578296B (zh) 一种立体视频处理方法
CN116258759B (zh) 一种立体匹配方法、装置和设备
Mustaniemi et al. Parallax correction via disparity estimation in a multi-aperture camera
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant