CN111243000A - 多约束代价计算与聚合的立体匹配方法 - Google Patents

多约束代价计算与聚合的立体匹配方法 Download PDF

Info

Publication number
CN111243000A
CN111243000A CN202010030747.7A CN202010030747A CN111243000A CN 111243000 A CN111243000 A CN 111243000A CN 202010030747 A CN202010030747 A CN 202010030747A CN 111243000 A CN111243000 A CN 111243000A
Authority
CN
China
Prior art keywords
value
pixel
parallax
aggregation
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010030747.7A
Other languages
English (en)
Inventor
贾克斌
杜奕伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010030747.7A priority Critical patent/CN111243000A/zh
Publication of CN111243000A publication Critical patent/CN111243000A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明公开了多约束代价计算与聚合的立体匹配方法，该方法包括包括两个步骤，步骤一是初始代价的计算，通过分析双目相机拍摄的左右两幅视角下的图像，计算出初始的视差；步骤二是代价聚合阶段，这一阶段可以得到比较致密的视差图，将步骤一中的初始代价进行聚合后提升视差值的精确度。本发明是将图像中的某一块区域与另一幅图像进行区域匹配，所以相比于特征点法更能绘制出致密的视差图。并且在代价聚合过程中采用了十字型的聚合模板，使聚合过程更具有鲁棒性，比当下大部分区域匹配算法具有更高的准确度，对后续的工作能提供更大的帮助。

Description

多约束代价计算与聚合的立体匹配方法
技术领域
本发明属于立体视觉处理领域，涉及一种多约束代价计算与聚合的立体匹配方法。
背景技术
近年来，计算机视觉理论与技术快速发展，基于视觉的路径导航已经成为一个重要的研究方向。基于视觉技术的导航往往需要以构建好的环境地图为前提，并结合实时的位置引导，所以导航技术也被称为实时定位与地图创建技术 (SLAM)，是近年来智能车导航领域的热点。其原理是将传感器搭载在移动智能车上，通过对采集的图像不断进行前端处理，得到物体在世界坐标中的真实位置将整个场景进行描绘，并在行进的过程中实时的进行自主定位。建图的过程依赖于物体三维坐标的准确性，而相机拍摄到的为二维图像，需要深度信息才能获取其三维信息，即三维信息的准确性依赖于深度信息的准确性，深度指的是物体距离相机平面的距离大小。目前深度信息的获取可以通过双目相机的立体匹配方法，但是大部分匹配方法获取的深度信息不准确，存在诸多误差。
发明内容
立体匹配的主要目的是获取视差图，视差与深度呈反比关系，反应两个视角下同一像素点的水平位移差值。
本发明采用的技术方案为多约束代价计算与聚合的立体匹配方法，该方法包括包括两个步骤，步骤一是初始代价的计算，通过分析双目相机拍摄的左右两幅视角下的图像，计算出初始的视差；步骤二是代价聚合阶段，这一阶段可以得到比较致密的视差图，将步骤一中的初始代价进行聚合后提升视差值的精确度。具体的操作流程图5如下所示：
计算初始代价时，采用灰度近似度与平滑近似度进行双重约束，首先对灰度近似度进行考量，精确到图像中的每一个像素，判断该像素周围像素与其灰度差值，根据其大小判断该区域的灰度变化情况，并对其以二进制串编码的形式进行描述，具体的描述方式如下：
Figure BDA0002364203730000011
其中，p和p'分别代表目标像素与邻域像素，D为该邻域像素对应的编码值，通过这种方法可以大致的描述出该区域的纹理特征。再通过平滑度约束构建新的描述子，比较目标像素周围区域的平滑性能，判断邻域像素与目标像素的灰度差的绝对值，如果大于或等于设定的阈值则标记为1，小于设定的阈值则标记为0。阈值的分布采用高斯模板分布的统计方式获得，在接近目标像素的邻域赋予高阈值，远离的区域赋予低阈值，具体地描述如下：
Figure BDA0002364203730000021
D'是根据平滑度判断获得的编码值，β是根据统计学的方法设定的固定阈值，对另一视角的图像进行类似的编码，并将两种描述子分别进行计算其汉明距离，对得到的值进行归一化并联立，最终得到该区域的整体描述子，其联立方式如下：
Figure BDA0002364203730000022
Figure BDA0002364203730000023
f(p,d)＝(1-λ)kc(p,d)+λkg(p,d)(0＜λ＜1) (3)
其中fc与fg分别对应通过两个描述子匹配出来的代价值，
Figure BDA0002364203730000024
为归一化阈值255，d为视差值，将两者进行融合得到新代价值f(p,d)，λ为调节因子，根据区域的平滑性来判断两种代价在整体代价值中的权重大小。
通过上述方法，构建初始视差图，视差图的每一个像素点的灰度由该像素点的视差值描述。由于初始视差图的精确度不够，往往需要对其进行进一步的代价聚合。代价聚合阶段包括聚合模板的构建以及聚合方式，构建模板的过程采用视差值与距离之间的相互关系进行约束，针对每个目标像素，先向其左边与右边进行延伸，即水平方向，每次延伸一个点，判断该点与目标像素的视差差是否小于设定的阈值，此阈值随着延伸的距离不断地变化，变化形式如下：
Figure BDA0002364203730000025
Figure BDA0002364203730000026
其中μ1,μ2为设定的视差阈值，L1,L2为设定的距离阈值。μ3,μ4为动态视差阈值p1为每次延伸到的新像素。当该点视差值小于目标像素视差值则继续延伸，并且在延伸距离到达一定长度L2时更改视差阈值为μ4，继续延伸，当距离延伸至L1时停止，在延伸过程中将每次延伸的新点与前一时刻的像素点的视差差值也作为约束条件之一。整个构建过程通过下式描述：
Gray(p1,p)＜μ3,Gray(p1,p1-(1,0))＜μ1
L(p1,p)＜L1
Gray(p1,p)＜τ4,if L2＜L(p1,p)＜L1
(μ2＜μ1,μ4＜μ3,μ2＜μ1) (5)
其中，p为目标像素，p1为下一时刻延伸的像素点，p1-(1.0)为前一时刻延伸到的点。根据上述准则采用先水平后垂直的方式为每个像素点构建出十字聚合窗口，对覆盖的所有像素值进行加和平均来代替该目标像素点的视差值，将所有视差进行重新聚合后，得到精确度高的视差图像。
当下有诸多立体匹配的方法大致分为特征点匹配法与区域匹配法，特征点匹配法主要寻找图像中单个点的特征，所以计算出来的视差图比较模糊，而本发明是将图像中的某一块区域与另一幅图像进行区域匹配，所以相比于特征点法更能绘制出致密的视差图。并且在代价聚合过程中采用了十字型的聚合模板，使聚合过程更具有鲁棒性，比当下大部分区域匹配算法具有更高的准确度，对后续的工作能提供更大的帮助。
附图说明
图1为所用实验图像，来自于Middlebury官网平台上的标准图像；
图2为经过本发明初始代价计算方法后获取的视差图。
图3为本发明所提十字聚合模板的构建图。
图4为聚合方法后得到的视差图与真实视差图的主观对比，红色区域为误匹配点。
图5为本方法的实施流程图。
具体实施方式
下面根据具体实验方式与附图对本发明进行说明。
首先，选择Middlebury平台上的四幅图像进行实验如图1所示，按照本发明提出的方法进行初始代价计算得到视差图，如图2所示，可以看出有诸多噪点和误匹配点的存在。再将聚合方法应用在此类视差图上对模糊点进行整体的加和平均，每个点所对应的聚合模板大致如图3所以，左图描述在构建过程中每个点的延伸方式，臂长由上述所提约束准则来判定，右图表示每个目标像素最后的大致模板样式。将聚合后的图像与真实视差图相比，得到其主观形式下的误匹配点图，图4第一行为实验图像，第二行为真实视差图像，均来自于Middlebury平台，第三行为经过本发明所提聚合方法处理后的视差图，可以看出图像整体更加致密，第四行为误匹配点图，红色区域代表与真实视差图对比后的误差分布情况，对比方法采用平台所提供的标准方法。实验结果表明，本方法可以准确地获取初始视差图与聚合后致密的视差图像，提高整体匹配精度。

Claims (3)

1.多约束代价计算与聚合的立体匹配方法，其特征在于：该方法包括包括两个步骤，步骤一是初始代价的计算，通过分析双目相机拍摄的左右两幅视角下的图像，计算出初始的视差；步骤二是代价聚合阶段，这一阶段得到比较致密的视差图，将步骤一中的初始代价进行聚合后提升视差值的精确度；
计算初始代价时，采用灰度近似度与平滑近似度进行双重约束，首先对灰度近似度进行考量，精确到图像中的每一个像素，判断该像素周围像素与其灰度差值，根据其大小判断该区域的灰度变化情况，并对其以二进制串编码的形式进行描述；
构建初始视差图，视差图的每一个像素点的灰度由该像素点的视差值描述；代价聚合阶段包括聚合模板的构建以及聚合方式，构建模板的过程采用视差值与距离之间的相互关系进行约束，针对每个目标像素，先向其左边与右边进行延伸，即水平方向，每次延伸一个点，判断该点与目标像素的视差差是否小于设定的阈值，此阈值随着延伸的距离不断地变化；采用先水平后垂直的方式为每个像素点构建出十字聚合窗口，对覆盖的所有像素值进行加和平均来代替该目标像素点的视差值，将所有视差进行重新聚合后，得到视差图像。
2.根据权利要求1所述的多约束代价计算与聚合的立体匹配方法，其特征在于：二进制串编码的形式进行具体的描述方式如下：
Figure FDA0002364203720000011
其中，p和p'分别代表目标像素与邻域像素，D为该邻域像素对应的编码值，通过这种方法可以大致的描述出该区域的纹理特征；再通过平滑度约束构建新的描述子，比较目标像素周围区域的平滑性能，判断邻域像素与目标像素的灰度差的绝对值，如果大于或等于设定的阈值则标记为1，小于设定的阈值则标记为0；阈值的分布采用高斯模板分布的统计方式获得，在接近目标像素的邻域赋予高阈值，远离的区域赋予低阈值，具体地描述如下：
Figure FDA0002364203720000012
D'是根据平滑度判断获得的编码值，β是根据统计学的方法设定的固定阈值，对另一视角的图像进行类似的编码，并将两种描述子分别进行计算其汉明距离，对得到的值进行归一化并联立，最终得到该区域的整体描述子，其联立方式如下：
Figure FDA0002364203720000021
Figure FDA0002364203720000022
f(p,d)＝(1-λ)kc(p,d)+λkg(p,d) (0＜λ＜1) (3)
其中fc与fg分别对应通过两个描述子匹配出来的代价值，
Figure FDA0002364203720000023
为归一化阈值255，d为视差值，将两者进行融合得到新代价值f(p,d)，λ为调节因子，根据区域的平滑性来判断两种代价在整体代价值中的权重大小。
3.根据权利要求1所述的多约束代价计算与聚合的立体匹配方法，其特征在于：阈值随着延伸的距离不断地变形式如下：
Figure FDA0002364203720000024
Figure FDA0002364203720000025
其中μ1,μ2为设定的视差阈值，L1,L2为设定的距离阈值；μ3,μ4为动态视差阈值p1为每次延伸到的新像素；当该点视差值小于目标像素视差值则继续延伸，并且在延伸距离到达一定长度L2时更改视差阈值为μ4，继续延伸，当距离延伸至L1时停止，在延伸过程中将每次延伸的新点与前一时刻的像素点的视差差值也作为约束条件之一；整个构建过程通过下式描述：
Gray(p1,p)＜μ3,Gray(p1,p1-(1,0))＜μ1
L(p1,p)＜L1
Gray(p1,p)＜τ4,if L2＜L(p1,p)＜L1
(μ2＜μ1,μ4＜μ3,μ2＜μ1) (5)
其中，p为目标像素，p1为下一时刻延伸的像素点，p1-(1.0)为前一时刻延伸到的点。
CN202010030747.7A 2020-01-13 2020-01-13 多约束代价计算与聚合的立体匹配方法 Pending CN111243000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030747.7A CN111243000A (zh) 2020-01-13 2020-01-13 多约束代价计算与聚合的立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030747.7A CN111243000A (zh) 2020-01-13 2020-01-13 多约束代价计算与聚合的立体匹配方法

Publications (1)

Publication Number Publication Date
CN111243000A true CN111243000A (zh) 2020-06-05

Family

ID=70871001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030747.7A Pending CN111243000A (zh) 2020-01-13 2020-01-13 多约束代价计算与聚合的立体匹配方法

Country Status (1)

Country Link
CN (1) CN111243000A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
US20180061068A1 (en) * 2015-05-06 2018-03-01 Peking University Shenzhen Graduate School Depth/Disparity Map Post-processing Method and Device
CN109255811A (zh) * 2018-07-18 2019-01-22 南京航空航天大学 一种基于可信度图视差优化的立体匹配方法
US20190362514A1 (en) * 2018-05-25 2019-11-28 Microsoft Technology Licensing, Llc Fusing disparity proposals in stereo matching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
US20180061068A1 (en) * 2015-05-06 2018-03-01 Peking University Shenzhen Graduate School Depth/Disparity Map Post-processing Method and Device
US20190362514A1 (en) * 2018-05-25 2019-11-28 Microsoft Technology Licensing, Llc Fusing disparity proposals in stereo matching
CN109255811A (zh) * 2018-07-18 2019-01-22 南京航空航天大学 一种基于可信度图视差优化的立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIBO DU等: "Neighborhood Correlation and Window Adaptive Stereo Matching Algorithm", 《JOURNAL OF INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》 *

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
CN106127739B (zh) 一种结合单目视觉的rgb-d slam方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
US9754377B2 (en) Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
Humenberger et al. A census-based stereo vision algorithm using modified semi-global matching and plane fitting to improve matching quality
CN109255811B (zh) 一种基于可信度图视差优化的立体匹配方法
CN109960402B (zh) 一种基于点云和视觉特征融合的虚实注册方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
CN112734839B (zh) 一种提高鲁棒性的单目视觉slam初始化方法
CN113256698B (zh) 一种具有深度预测的单目3d重建方法
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN111829484A (zh) 基于视觉的目标距离测算方法
CN111914913B (zh) 一种新型立体匹配优化方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN115457086A (zh) 基于双目视觉和卡尔曼滤波的多目标跟踪算法
Kallwies et al. Triple-SGM: stereo processing using semi-global matching with cost fusion
CN109961461B (zh) 一种基于三维分层图模型的多运动目标跟踪方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination