CN111681275B - 一种双特征融合的半全局立体匹配方法 - Google Patents

一种双特征融合的半全局立体匹配方法 Download PDF

Info

Publication number
CN111681275B
CN111681275B CN202010548594.5A CN202010548594A CN111681275B CN 111681275 B CN111681275 B CN 111681275B CN 202010548594 A CN202010548594 A CN 202010548594A CN 111681275 B CN111681275 B CN 111681275B
Authority
CN
China
Prior art keywords
parallax
image
cost
dimensional
mad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010548594.5A
Other languages
English (en)
Other versions
CN111681275A (zh
Inventor
石林
白俊奇
刘羽
朱恒
陆园
董小舒
章孝承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Laisi Electronic Equipment Co ltd
Original Assignee
Nanjing Laisi Electronic Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Laisi Electronic Equipment Co ltd filed Critical Nanjing Laisi Electronic Equipment Co ltd
Priority to CN202010548594.5A priority Critical patent/CN111681275B/zh
Publication of CN111681275A publication Critical patent/CN111681275A/zh
Application granted granted Critical
Publication of CN111681275B publication Critical patent/CN111681275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双特征融合的半全局立体匹配方法，包括对左右目图像进行灰度化后，进行畸变校正和极线校正，得到符合极线约束的图像；在图像上滑窗，计算窗口内的平均绝对差值和Census变换后，将融合结果作为窗口中心点的双特征融合代价，根据像素点的双特征融合代价构造三维视差空间；在获取近似二维全局能量最优后，在三维视差空间中进行能量聚合；在多路径聚合代价最小的情况下确定图像中每个像素点的初始视差值，组成初始视差图；最后对左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图。本发明综合了平均绝对差算法对于丰富纹理的敏感性和Census变换对于光照变化的适应性的优点，弥补了单一特征的局限性。

Description

一种双特征融合的半全局立体匹配方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种双特征融合的半全局立体匹配方法。
背景技术
立体匹配是三维重建、自主导航、非接触测距等技术领域的关键，它通过两幅互相匹配的图像来获取深度信息，广泛应用于工业生产自动化、机动车辅助驾驶系统、安防监控、遥感图像分析、机器人自主导航等方面。相较于传统的二维图像，立体匹配能够在长和宽的基础上增加一维深度信息，因而可以帮助我们更好的感知真实世界。
目前，传统的半全局立体匹配算法对光照变化较为敏感，仅可用于特定的室内场景，不适用于复杂的外场环境，单一特征适用的使用场景有限；计算量大、耗时长，不能满足实时性需求；综上所述，传统的半全局立体匹配算法不能满足实际产品的要求。
发明内容
本发明提供了一种双特征融合的半全局立体匹配方法，采用基于平均绝对差算法和Census变换双特征融合的代价计算方法，综合了平均绝对差算法对于丰富纹理的敏感性和Census变换对于光照变化的适应性的优点，弥补了单一特征的局限性，增加了半全局立体匹配算法的适应性；且本算法特别适用于可并行计算的处理平台，在不降低计算准确性的前提下，可大幅度提高计算速度，适合对于实时性要求较高的实际场景的应用。针对现有技术的不足，本发明公开了一种双特征融合的半全局立体匹配方法，包括如下步骤：
步骤1，采用两个相机组成左右目相机，通过位于左侧的相机获得左目图，通过位于右侧的相机获得右目图，对左右目图像进行灰度化，所述左右目图像即左目图和右目图；
步骤2，根据所述左右目相机的内参和外参对左右目图像进行畸变校正和极线校正，得到一组符合极线约束的图像；
步骤3，在所述图像上进行滑窗，计算窗口内的平均绝对差值和Census变换后，对结果进行融合，将融合结果作为所述窗口中心点的双特征融合代价，根据所述图像所有像素点的双特征融合代价构造以图像长为x轴，图像宽为y轴，视差区间为z轴的三维坐标系，即三维视差空间，所述三维视差空间包括左三维视差空间和右三维视差空间；
步骤4，在所述视差区间内，沿八个方向并行计算能量值的一维动态规划，用于获取近似二维全局能量最优，在所述三维视差空间中进行能量聚合；
步骤5，采用赢者通吃的方法，在多路径聚合代价最小的情况下确定所述图像中每个像素点的初始视差值，由所述每个像素点的初始视差值组成初始视差图，其中，在所述左视差空间中计算得到的初始视差值组成的图像作为左初始视差图，在所述右视差空间中计算得到的初始视差值组成的图像作为右初始视差图；
步骤6，采用左右一致性检查和中值滤波，对所述左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图。
进一步地，在一种实现方式中，所述步骤1包括：
步骤1-1，读取所述左右目图像中像素三通道的值，所述三通道包括红色通道、绿色通道和蓝色通道；
步骤1-2，按照下式计算所述左右目图像中像素的灰度值Gray：
Gray＝(R×30+G×59+B×11+50)/100
其中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值。
进一步地，在一种实现方式中，所述步骤2包括：
步骤2-1，分别读取所述左右目相机的内参和外参；
步骤2-2，使用透镜畸变模型对由于镜头引起的畸变进行畸变校正(Frye，J.G.，and D.C.Brown.Lens distortion for close-range photogrammetry，PhotogrammetricEngineering and Remote Sensing，1986,52：51-58)；
步骤2-3，利用Bouguet校正原理(Bougeut，J.-Y.Pyramidal implementation ofthe Lucas Kanade feature tracker description of the algorithm，http://robots.stanford.edu/cs223b04/algo_tracking.pdf)对所述左右目图像进行极线校正，使所述左右目图像中的每一行像素对齐，得到所述一组符合极线约束的图像。
进一步地，在一种实现方式中，所述步骤3包括：
步骤3-1，以所述左目图作为基图B，以所述右目图作为匹配图M，计算所述左三维视差空间；以所述右目图作为基图B，以所述左目图作为匹配图M，计算所述右三维视差空间；
步骤3-2，选取大小为m*n的矩形滑窗窗口在所述基图B和匹配图M上进行滑窗，其中，m为所述矩形滑窗窗口的长，n为所述矩形滑窗窗口的宽，m＝9，n＝7；
步骤3-3，分别计算所述基图B和匹配图M的矩形滑窗窗口的中心点p在视差d下的平均绝对差算法得到MAD特征代价CMAD(p，d)，d∈[-64，64]；
步骤3-4，根据Census变换算法计算所述中心点p在视差d下的Census变换算法后的字符串的汉明距离得到Census特征代价CCensus(p，d)；
步骤3-5，对所述平均绝对差算法得到的MAD特征代价CMAD(p，d)和Census变换算法得到的Census特征代价CCensus(p，d)进行融合，得到所述融合结果作为基图B窗口中心点p的双特征融合代价C(p，d)，所述双特征融合代价公式定义如下：
C(p，d)＝f(CMAD(p，d)，σMAD)+f(CCensus(p，d)，σCensus)
其中，σMAD为平均绝对差算法的影响因子，σCensus为Census变换算法的影响因子，CMAD(p，d)为通过平均绝对差算法得到的MAD特征代价，CCensus(p，d)为通过Census变换算法得到的Census特征代价，函数f(C，σ)使MAD特征代价和Census特征代价的值都限定在(0，1)范围内，所述函数f(C，σ)的定义如下：
Figure BDA0002541628040000031
其中，C为MAD特征代价或Census特征代价，σ为影响因子，exp为以自然常数e为底的指数函数；
步骤3-6，遍历所述基图B上的所有像素点，每个所述像素点的双特征融合代价构造成以基图B的长、基图B的宽和视差区间为坐标轴的三维坐标系，即所述三维视差空间。
进一步地，在一种实现方式中，所述步骤3-3包括：
步骤3-3-1，通过平均绝对差算法分别计算所述基图B和匹配图M窗口的平均绝对差值MAD(p)，所述平均绝对差算法的公式如下：
Figure BDA0002541628040000041
其中，p为矩形滑窗窗口m*n的中心点，(xp，yp)为中心点p的坐标，i为距离中心点p横向的像素点个数，i∈(-2/m，2/m)，j为距离中心点p纵向的像素点个数，j∈(-2/n，2/n)，I为基图B或者匹配图M；
步骤3-3-2，计算所述基图B和匹配图M的矩形滑窗窗口中心点p的平均绝对差值的差的绝对值作为MAD特征代价，即
CMAD(p，d)＝|MAD(Bp)-MAD(Mp+d)|
其中，CMAD(p，d)为中心点p在视差为d时的平均绝对差算法的MAD特征代价，MAD(Bp)为基图B在中心点p的平均绝对差值，MAD(Mp+d)为匹配图M在点p+d的平均绝对差值。
进一步地，在一种实现方式中，所述步骤3-4包括：
步骤3-4-1，对所述基图B和匹配图M进行Census变换，公式如下：
Figure BDA0002541628040000042
其中，
Figure BDA0002541628040000043
为二进制串联符，u为距离中心点p横向的像素点个数，v为距离中心点p纵向的像素点个数，
Figure BDA0002541628040000044
Figure BDA0002541628040000045
步骤3-4-2，计算基图B和匹配图M对应像素点字符串的汉明距离，作为窗口中心点p在视差d下的Census特征代价CCensus(p，d)。
进一步地，在一种实现方式中，所述步骤4包括：根据以下公式，用动态规划的方法分别在所述左三维视差空间和右三维视差空间中沿r方向进行能量聚合，所述视差区间为[-64,64]：
Figure BDA0002541628040000051
其中，Lr(p，d)为中心点p在视差d时沿方向r的能量聚合，C(p，d)为中心点p在视差d时的代价，min表示取其中的最小值，r为中心点p的八个方向，包括上、下、左、右、左上、左下、右上和右下，P1为第一惩罚系数，P2为第二惩罚系数，P1＝10，P2＝120，p-r表示点p沿方向r的前一个点，k为点p-r能量聚合最小时的视差值，k∈[-64，64]；
对于每一个像素点在某个视差值的代价聚合即所述像素点的匹配代价和沿r方向的前一个点的路径代价的和，以及第一惩罚系数P1和第二惩罚系数P2，考虑到某些物体具有倾斜的表面，遂将第一惩罚系数P1设置的较小，而较大的第二惩罚系数P2是为了对非连续的部分进行惩罚；最后，沿上、下、左、右、左上、左下、右上和右下所有方向的路径的双特征代价融合得到像素点p在视差d时所有方向的聚合代价S(p，d)，公式如下：
Figure BDA0002541628040000052
其中，S(p，d)为中心点p在视差d时所有方向的聚合代价，Lr(p，d)为中心点p在视差d时沿方向r的能量聚合。
进一步地，在一种实现方式中，所述步骤5包括：采用赢者通吃的方法，分别在左三维视差空间和右三维视差空间中，在多路径聚合代价最小的情况下确定每个像素点的初始视差值，公式如下：
D(p)＝argmin S(p，d)
其中，D(p)为中心点p的视差值，S(p，d)为中心点p在视差d时的聚合代价，argmin函数代表取最小值，即每一个像素点的初始视差值取聚合代价最小时的视差值，所有像素点的初始视差值构成初始视差图，在所述左三维视差空间中计算得到的初始视差值组成的图像为左初始视差图，在所述右三维视差空间中计算得到的初始视差值组成的图像为右初始视差图。
进一步地，在一种实现方式中，所述步骤6包括：
步骤6-1，对以左图为基图计算得到的所述左初始视差图和以右图为基图计算得到的右初始视差图进行对比，即进行所述左右一致性检查，将视差值不一致的像素点置为无效点，其余的像素点保留不变；
步骤6-2，对经过所述左右一致性检查的左初始视差图进行中值滤波，得到所述最终的视差图。
有益效果：本发明公开了一种双特征融合的半全局立体匹配方法，能够适应背景复杂、光照变化剧烈的室外场景，在低纹理、高反光等不利条件下也能做到准确匹配，另外本方法中运算量较大的代价计算及代价聚合都适合并行计算，可以在GPU等支持并行计算的平台上进行加速，有效解决了算法计算量大、耗时长的问题；利用平均绝对差算法和Census变换相融合作为特征，有效改善了单一特征的局限性。首先对输入图像进行灰度化，然后进行畸变校正和极线校正，得到符合极线约束的一组图像；接着，采用平均绝对差算法和Census变换相融合的方法计算出视差空间，沿八个特定方向动态规划方法进行聚合，随后赢者通吃方法确定像素点的初始视差值，最后通过视差图优化得到最终的视差图。本发明在外场多种光照条件下进行了性能测试，显著目标测距准确率达到95％以上，从采集、处理到显示的单帧平均运行时间100ms，充分验证了本发明的有效性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的一种双特征融合的半全局立体匹配方法的工作流程示意图；
图2是本发明实施例部分提供的一种双特征融合的半全局立体匹配方法的效果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开一种双特征融合的半全局立体匹配方法，本方法应用于双目立体视觉模型中视差图的获取，适用于场外光照变化强烈、背景复杂情况下求取精确视差图的场景，特别适用于可并行计算的处理平台，能够满足准确、快速的实际使用需求。
本发明公开了一种双特征融合的半全局立体匹配方法，采用了平均绝对差(MeanAbsolute Difference，MAD)算法和Census变换双特征融合的思想来进行代价计算，流程示意图如图1所示，包括以下步骤：
步骤1，采用两个相机组成左右目相机，通过位于左侧的相机获得左目图，通过位于右侧的相机获得右目图，对左右目图像进行灰度化，所述左右目图像即左目图和右目图；
步骤2，根据所述左右目相机的内参和外参对左右目图像进行畸变校正和极线校正，得到一组符合极线约束的图像；本实施例中，通过读取标定好的相机内外参数，校正由于图像采集原因引起的径向畸变和切向畸变，对左右目图像进行极线约束，得到行对齐的图像，使匹配范围由面缩小到行，能够大范围缩小后续匹配过程的搜索范围，减少时间损耗。
步骤3，在所述图像上进行滑窗，计算窗口内的平均绝对差值和Census变换后，对结果进行融合，将融合结果作为所述窗口中心点的双特征融合代价，根据所述图像所有像素点的双特征融合代价构造以图像长为x轴，图像宽为y轴，视差区间为z轴的三维坐标系，即三维视差空间，所述三维视差空间包括左三维视差空间和右三维视差空间；具体的，本实施例中，根据所述图像所有像素点的双特征融合代价，以图像长为x轴，以图像宽为y轴，以视差区间为z轴，构造三维坐标系，即获得所述三维视差空间；
步骤4，在所述视差区间内，沿八个方向并行计算能量值的一维动态规划，用于获取近似二维全局能量最优，在所述三维视差空间中进行能量聚合；
步骤5，采用赢者通吃的方法，在多路径聚合代价最小的情况下确定所述图像中每个像素点的初始视差值，由所述每个像素点的初始视差值组成初始视差图，其中，在所述左三维视差空间中计算得到的初始视差值组成的图像作为左初始视差图，在所述右三维视差空间中计算得到的初始视差值组成的图像作为右初始视差图；
步骤6，采用左右一致性检查和中值滤波，对所述左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤1包括：
步骤1-1，读取所述左右目图像中像素三通道的值，所述三通道包括红色通道、绿色通道和蓝色通道；
步骤1-2，按照下式计算所述左右目图像中像素的灰度值Gray：
Gray＝(R×30+G×59+B×11+50)/100
其中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤2包括：
步骤2-1，分别读取所述左右目相机的内参和外参；
步骤2-2，使用透镜畸变模型对由于镜头引起的畸变进行畸变校正；
步骤2-3，利用Bouguet校正原理对所述左右目图像进行极线校正，使所述左右目图像中的每一行像素对齐，得到所述一组符合极线约束的图像。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤3包括：
步骤3-1，以所述左目图作为基图B，以所述右目图作为匹配图M，计算所述左三维视差空间；以所述右目图作为基图B，以所述左目图作为匹配图M，计算所述右三维视差空间；
步骤3-2，选取大小为m*n的矩形滑窗窗口在所述基图B和匹配图M上进行滑窗，其中，m为所述矩形滑窗窗口的长，n为所述矩形滑窗窗口的宽，m＝9，n＝7；
步骤3-3，分别计算所述基图B和匹配图M的矩形滑窗窗口的中心点p在视差d下的平均绝对差算法得到MAD特征代价CMAD(p，d)，d∈[-64，64]；
步骤3-4，根据Census变换算法计算所述中心点p在视差d下的Census变换算法后的字符串的汉明距离得到Census特征代价CCensus(p，d)；
步骤3-5，对所述平均绝对差算法得到的MAD特征代价CMAD(p，d)和Census变换算法得到的Census特征代价CCensus(p，d)进行融合，得到所述融合结果作为基图B窗口中心点p的双特征融合代价C(p，d)，所述双特征融合代价公式定义如下：
C(p，d)＝f(CMAD(p，d)，σMAD)+f(CCensus(p，d)，σCensus)
其中，σMAD为平均绝对差算法的影响因子，σCensus为Census变换算法的影响因子，CMAD(p，d)为通过平均绝对差算法得到的MAD特征代价，CCensus(p，d)为通过Census变换算法得到的Census特征代价，函数f(C，σ)使MAD特征代价和Census特征代价的值都限定在(0，1)范围内，所述函数f(C，σ)的定义如下：
Figure BDA0002541628040000091
其中，C为MAD特征代价或Census特征代价，σ为影响因子，exp为以自然常数e为底的指数函数；
步骤3-6，遍历所述基图B上的所有像素点，每个所述像素点的双特征融合代价构造成以基图B的长、基图B的宽和视差区间为坐标轴的三维坐标系，即所述三维视差空间。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤3-3包括：
步骤3-3-1，通过平均绝对差算法分别计算所述基图B和匹配图M窗口的平均绝对差值MAD(p)，所述平均绝对差算法的公式如下：
Figure BDA0002541628040000092
其中，p为矩形滑窗窗口m*n的中心点，(xp，yp)为中心点p的坐标，i为距离中心点p横向的像素点个数，i∈(-2/m，2/m)，j为距离中心点p纵向的像素点个数，j∈(-2/n，2/n)，I为基图B或者匹配图M；
步骤3-3-2，计算所述基图B和匹配图M的矩形滑窗窗口中心点p的平均绝对差值的差的绝对值作为MAD特征代价，即
CMAD(p，d)＝|MAD(Bp)-MAD(Mp+d)|
其中，CMAD(p，d)为中心点p在视差为d时的平均绝对差算法的MAD特征代价，MAD(Bp)为基图B在中心点p的平均绝对差值，MAD(Mp+d)为匹配图M在点p+d的平均绝对差值。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤3-4包括：
步骤3-4-1，对所述基图B和匹配图M进行Census变换，公式如下：
Figure BDA0002541628040000093
其中，
Figure BDA0002541628040000101
为二进制串联符，u为距离中心点p横向的像素点个数，v为距离中心点p纵向的像素点个数，
Figure BDA0002541628040000104
Figure BDA0002541628040000105
步骤3-4-2，计算基图B和匹配图M对应像素点字符串的汉明距离，作为窗口中心点p在视差d下的Census特征代价CCensus(p，d)。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤4包括：根据以下公式，用动态规划的方法分别在所述左三维视差空间和右三维视差空间中沿r方向进行能量聚合，所述视差区间为[-64,64]：
Figure BDA0002541628040000102
其中，Lr(p，d)为中心点p在视差d时沿方向r的能量聚合，C(p，d)为中心点p在视差d时的代价，min表示取其中的最小值，r为中心点p的八个方向，包括上、下、左、右、左上、左下、右上和右下，P1为第一惩罚系数，P2为第二惩罚系数，P1＝10，P2＝120，p-r表示点p沿方向r的前一个点，k为点p-r能量聚合最小时的视差值，k∈[-64，64]；
对于每一个像素点在某个视差值的代价聚合即所述像素点的匹配代价和沿r方向的前一个点的路径代价的和，以及第一惩罚系数P1和第二惩罚系数P2，考虑到某些物体具有倾斜的表面，遂将第一惩罚系数P1设置的较小，而较大的第二惩罚系数P2是为了对非连续的部分进行惩罚；最后，沿上、下、左、右、左上、左下、右上和右下所有方向的路径的双特征代价融合得到像素点p在视差d时所有方向的聚合代价S(p，d)，公式如下：
Figure BDA0002541628040000103
其中，S(p，d)为中心点p在视差d时所有方向的聚合代价，Lr(p，d)为中心点p在视差d时沿方向r的能量聚合。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤5包括：采用赢者通吃的方法，分别在左三维视差空间和右三维视差空间中，在多路径聚合代价最小的情况下确定每个像素点的初始视差值，公式如下：
D(p)＝argmin S(p，d)
其中，D(p)为中心点p的视差值，S(p，d)为中心点p在视差d时的聚合代价，argmin函数代表取最小值，即每一个像素点的初始视差值取聚合代价最小时的视差值，所有像素点的初始视差值构成初始视差图，在所述左三维视差空间中计算得到的初始视差值组成的图像为左初始视差图，在所述右三维视差空间中计算得到的初始视差值组成的图像为右初始视差图。
本实施例所述的一种双特征融合的半全局立体匹配方法中，所述步骤6包括：
步骤6-1，对以左图为基图计算得到的所述左初始视差图和以右图为基图计算得到的右初始视差图进行对比，即进行所述左右一致性检查，将视差值不一致的像素点置为无效点，其余的像素点保留不变；
步骤6-2，对经过所述左右一致性检查的左初始视差图进行中值滤波，得到所述最终的视差图。
本发明公开了一种双特征融合的半全局立体匹配方法，能够适应背景复杂、光照变化剧烈的室外场景，在低纹理、高反光等不利条件下也能做到准确匹配，另外本方法中运算量较大的代价计算及代价聚合都适合并行计算，可以在图形处理器(GraphicsProcessing Unit，GPU)等支持并行计算的平台上进行加速，有效解决了算法计算量大、耗时长的问题；利用平均绝对差算法和Census变换相融合作为特征，有效改善了单一特征的局限性。首先对输入图像进行灰度化，然后进行畸变校正和极线校正，得到符合极线约束的一组图像；接着，采用平均绝对差算法和Census变换相融合的方法计算出视差空间，沿八个特定方向动态规划方法进行聚合，随后赢者通吃方法确定像素点的初始视差值，最后通过视差图优化得到最终的视差图，如图2所示。本发明在外场多种光照条件下进行了性能测试，显著目标测距准确率达到95％以上，从采集、处理到显示的单帧平均运行时间100ms，充分验证了本发明的有效性。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种双特征融合的半全局立体匹配方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种双特征融合的半全局立体匹配方法，其特征在于，包括：
步骤1，采用两个相机组成左右目相机，通过位于左侧的相机获得左目图，通过位于右侧的相机获得右目图，对左右目图像进行灰度化，所述左右目图像即左目图和右目图；
步骤2，根据所述左右目相机的内参和外参对左右目图像进行畸变校正和极线校正，得到一组符合极线约束的图像；
步骤3，在所述图像上进行滑窗，计算窗口内的平均绝对差值和Census变换后，对结果进行融合，将融合结果作为所述窗口中心点的双特征融合代价，根据所述图像所有像素点的双特征融合代价构造以图像长为x轴，图像宽为y轴，视差区间为z轴的三维坐标系，即三维视差空间，所述三维视差空间包括左三维视差空间和右三维视差空间；
步骤4，在所述视差区间内，沿八个方向并行计算能量值的一维动态规划，用于获取近似二维全局能量最优，在所述三维视差空间中进行能量聚合；
步骤5，采用赢者通吃的方法，在多路径聚合代价最小的情况下确定所述图像中每个像素点的初始视差值，由所述每个像素点的初始视差值组成初始视差图，其中，在所述左三维视差空间中计算得到的初始视差值组成的图像作为左初始视差图，在所述右三维视差空间中计算得到的初始视差值组成的图像作为右初始视差图；
步骤6，采用左右一致性检查和中值滤波，对所述左初始视差图和右初始视差图进行排异和平滑，得到最终的视差图；
所述步骤3包括：
步骤3-1，以所述左目图作为基图B，以所述右目图作为匹配图M，计算所述左三维视差空间；以所述右目图作为基图B，以所述左目图作为匹配图M，计算所述右三维视差空间；
步骤3-2，选取大小为m*n的矩形滑窗窗口在所述基图B和匹配图M上进行滑窗，其中，m为所述矩形滑窗窗口的长，n为所述矩形滑窗窗口的宽，m＝9，n＝7；
步骤3-3，分别计算所述基图B和匹配图M的矩形滑窗窗口的中心点p在视差d下的平均绝对差算法得到MAD特征代价CMAD(p,d)，d∈[-64,64]；
步骤3-4，根据Census变换算法计算所述中心点p在视差d下的Census变换算法后的字符串的汉明距离得到Census特征代价CCensus(p,d)；
步骤3-5，对所述平均绝对差算法得到的MAD特征代价CMAD(p,d)和Census变换算法得到的Census特征代价CCensus(p,d)进行融合，得到所述融合结果作为基图B窗口中心点p的双特征融合代价C(p,d)，所述双特征融合代价公式定义如下：
C(p,d)＝f(CMAD(p,d),σMAD)+f(CCensus(p,d),σCensus)
其中，σMAD为平均绝对差算法的影响因子，σCensus为Census变换算法的影响因子，CMAD(p,d)为通过平均绝对差算法得到的MAD特征代价，CCensus(p,d)为通过Census变换算法得到的Census特征代价，函数f(C,σ)使MAD特征代价和Census特征代价的值都限定在(0，1)范围内，所述函数f(C,v)的定义如下：
Figure FDA0004077890990000021
其中，C为MAD特征代价或Census特征代价，σ为影响因子，exp为以自然常数e为底的指数函数；
步骤3-6，遍历所述基图B上的所有像素点，每个所述像素点的双特征融合代价构造成以基图B的长、基图B的宽和视差区间为坐标轴的三维坐标系，即所述三维视差空间。
2.根据权利要求1所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤1包括：
步骤1-1，读取所述左右目图像中像素三通道的值，所述三通道包括红色通道、绿色通道和蓝色通道；
步骤1-2，按照下式计算所述左右目图像中像素的灰度值Gray：
Gray＝(R×30+G×59+B×11+50)/100
其中，R为红色通道的值，G为绿色通道的值，B为蓝色通道的值。
3.根据权利要求2所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤2包括：
步骤2-1，分别读取所述左右目相机的内参和外参；
步骤2-2，使用透镜畸变模型对由于镜头引起的畸变进行畸变校正；
步骤2-3，利用Bouguet校正原理对所述左右目图像进行极线校正，使所述左右目图像中的每一行像素对齐，得到所述一组符合极线约束的图像。
4.根据权利要求3所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤3-3包括：
步骤3-3-1，通过平均绝对差算法分别计算所述基图B和匹配图M窗口的平均绝对差值MAD(p)，所述平均绝对差算法的公式如下：
Figure FDA0004077890990000031
其中，p为矩形滑窗窗口m*n的中心点，(xp,yp)为中心点p的坐标，i为距离中心点p横向的像素点个数，i∈(-2/m,2/m)，j为距离中心点p纵向的像素点个数，j∈(-2/n,2/n)，I为基图B或者匹配图M；
步骤3-3-2，计算所述基图B和匹配图M的矩形滑窗窗口中心点p的平均绝对差值的差的绝对值作为MAD特征代价，即
CMAD(p,d)＝|MAD(Bp)-MAD(Mp+d)|
其中，CMAD(p,d)为中心点p在视差为d时的平均绝对差算法的MAD特征代价，MAD(Bp)为基图B在中心点p的平均绝对差值，MAD(Mp+d)为匹配图M在点p+d的平均绝对差值。
5.根据权利要求4所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤3-4包括：
步骤3-4-1，对所述基图B和匹配图M进行Census变换，公式如下：
Figure FDA0004077890990000032
其中，
Figure FDA0004077890990000033
为二进制串联符，u为距离中心点p横向的像素点个数，v为距离中心点p纵向的像素点个数，(u,v)∈L，L＝L1∪L2，L1＝R-n′,0×R-m′,0\{(0,0)}，L2＝R1,n′×R-m′,1，
Figure FDA0004077890990000034
步骤3-4-2，计算基图B和匹配图M对应像素点字符串的汉明距离，作为窗口中心点p在视差d下的Census特征代价CCensus(p,d)。
6.根据权利要求5所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤4包括：根据以下公式，用动态规划的方法分别在所述左三维视差空间和右三维视差空间中沿r方向进行能量聚合，所述视差区间为[-64,64]：
Figure FDA0004077890990000041
其中，Lr(p,d)为中心点p在视差d时沿方向r的能量聚合，C(p,d)为中心点p在视差d时的代价，min表示取其中的最小值，r为中心点p的八个方向，包括上、下、左、右、左上、左下、右上和右下，P1为第一惩罚系数，P2为第二惩罚系数，P1＝10，P2＝120，p-r表示点p沿方向r的前一个点，k为点p-r能量聚合最小时的视差值，k∈[-64,64]；
对于每一个像素点在某个视差值的代价聚合即所述像素点的匹配代价和沿r方向的前一个点的路径代价的和，以及第一惩罚系数P1和第二惩罚系数P2，考虑到某些物体具有倾斜的表面，遂将第一惩罚系数P1设置的较小，而较大的第二惩罚系数P2是为了对非连续的部分进行惩罚；最后，沿上、下、左、右、左上、左下、右上和右下所有方向的路径的双特征代价融合得到像素点p在视差d时所有方向的聚合代价S(p,d)，公式如下：
Figure FDA0004077890990000042
其中，S(p,d)为中心点p在视差d时所有方向的聚合代价，Lr(p,d)为中心点p在视差d时沿方向r的能量聚合。
7.根据权利要求6所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤5包括：采用赢者通吃的方法，分别在左三维视差空间和右三维视差空间中，在多路径聚合代价最小的情况下确定每个像素点的初始视差值，公式如下：
D(p)＝argminS(p,d)
其中，D(p)为中心点p的视差值，S(p,d)为中心点p在视差d时的聚合代价，argmin函数代表取最小值，即每一个像素点的初始视差值取聚合代价最小时的视差值，所有像素点的初始视差值构成初始视差图，在所述左三维视差空间中计算得到的初始视差值组成的图像为左初始视差图，在所述右三维视差空间中计算得到的初始视差值组成的图像为右初始视差图。
8.根据权利要求7所述的一种双特征融合的半全局立体匹配方法，其特征在于，所述步骤6包括：
步骤6-1，对以左图为基图计算得到的所述左初始视差图和以右图为基图计算得到的右初始视差图进行对比，即进行所述左右一致性检查，将视差值不一致的像素点置为无效点，其余的像素点保留不变；
步骤6-2，对经过所述左右一致性检查的左初始视差图进行中值滤波，得到所述最终的视差图。
CN202010548594.5A 2020-06-16 2020-06-16 一种双特征融合的半全局立体匹配方法 Active CN111681275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010548594.5A CN111681275B (zh) 2020-06-16 2020-06-16 一种双特征融合的半全局立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010548594.5A CN111681275B (zh) 2020-06-16 2020-06-16 一种双特征融合的半全局立体匹配方法

Publications (2)

Publication Number Publication Date
CN111681275A CN111681275A (zh) 2020-09-18
CN111681275B true CN111681275B (zh) 2023-04-18

Family

ID=72436426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010548594.5A Active CN111681275B (zh) 2020-06-16 2020-06-16 一种双特征融合的半全局立体匹配方法

Country Status (1)

Country Link
CN (1) CN111681275B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784874B (zh) * 2020-12-28 2022-07-22 深兰人工智能芯片研究院（江苏）有限公司 双目视觉立体匹配方法、装置、电子设备及存储介质
CN113965742B (zh) * 2021-02-28 2022-04-19 北京中科慧眼科技有限公司 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN113763269B (zh) * 2021-08-30 2023-11-24 上海工程技术大学 一种用于双目图像的立体匹配方法
CN114187208A (zh) * 2021-12-17 2022-03-15 福州大学 基于融合代价和自适应惩罚项系数的半全局立体匹配方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation
CN103366354B (zh) * 2012-03-27 2016-09-07 富士通株式会社 用于立体匹配的方法和系统
CN103702098B (zh) * 2013-12-09 2015-12-30 上海交通大学 一种时空域联合约束的三视点立体视频深度提取方法
CN106525004A (zh) * 2016-11-09 2017-03-22 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN110310320B (zh) * 2019-07-09 2023-07-07 南京美基森信息技术有限公司 一种双目视觉匹配代价聚合优化方法

Also Published As

Publication number Publication date
CN111681275A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111681275B (zh) 一种双特征融合的半全局立体匹配方法
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
CN106780557B (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
Kang et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax
CN103700099B (zh) 一种旋转和尺度不变的宽基线立体匹配方法
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN113223045A (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
CN111882663A (zh) 一种融合语义信息完成视觉slam闭环检测方法
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
CN109816710B (zh) 一种双目视觉系统高精度且无拖影的视差计算方法
CN116824433A (zh) 基于自监督神经网络的视觉-惯导-雷达融合自定位方法
CN110610503A (zh) 一种基于立体匹配的电力刀闸三维信息恢复方法
Li et al. Texture category-based matching cost and adaptive support window for local stereo matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant