CN105761270B - 一种基于外极线距离变换的树型滤波立体匹配方法 - Google Patents

一种基于外极线距离变换的树型滤波立体匹配方法 Download PDF

Info

Publication number
CN105761270B
CN105761270B CN201610147363.7A CN201610147363A CN105761270B CN 105761270 B CN105761270 B CN 105761270B CN 201610147363 A CN201610147363 A CN 201610147363A CN 105761270 B CN105761270 B CN 105761270B
Authority
CN
China
Prior art keywords
image
tree
cost
parallax
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610147363.7A
Other languages
English (en)
Other versions
CN105761270A (zh
Inventor
张桦
戈豪豪
高申勇
戴国骏
沈方瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201610147363.7A priority Critical patent/CN105761270B/zh
Publication of CN105761270A publication Critical patent/CN105761270A/zh
Application granted granted Critical
Publication of CN105761270B publication Critical patent/CN105761270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform

Abstract

本发明涉及一种基于外极线距离变换的树型滤波立体匹配方法。本发明首先读入两幅输入图像，计算两幅图像每个像素点的初始视差矩阵，然后利用颜色分割约束生成颜色分割图像，再将外极线原理应用到颜色分割图像中，获得外极线距离变换图像，然后利用外极线距离变换图像和输入图像共同构造最小生成树结构，并计算生成树每条边的权值，然后执行树型滤波算法，获得初始视差图像，最后对初始视差图像进行视差精化。本发明方法将外极线距离引入到代价聚合的过程中，精确度高，计算量小。本发明方法可以应用于无人车导航系统中。

Description

一种基于外极线距离变换的树型滤波立体匹配方法
技术领域
本发明涉及立体视觉技术、图像处理技术和摄影原理，是一种基于外极线距离变换的树型滤波立体匹配方法。
背景技术
立体匹配是立体视觉中一个十分重要的部分。立体匹配的关键就是找出不同图像中的对应点，获得二维图像中的深度信息。凡是在需要三维重建的场景中，都需要首先进行立体匹配。立体匹配在医疗，航空，军事等多个方面都有重要的应用。立体匹配方法的核心问题是代价聚合。
近年来，许多新式的立体匹配方法被提出。这些方法可以分为在匹配窗口方面的改进和匹配权值的改进。树型滤波方法就是应用了数据结构的知识，将整幅图像作为一个图结构，在图结构中构造最小生成树结构，然后按照树结构的流向进行聚合，这种聚合方法只有周边的节点参与聚合，但是利用视差传感技术，将整幅图像都变成匹配窗口，速度很快，精度也很高。但是这种方法由于采用树结构，在分配匹配权值的时候，只和相邻接的节点连接，失去了距离信息，所以在某些特殊区域的匹配权值分配错误，影响最终结果。
总的来说，窗口和权值是立体匹配方法的重点，选择合适的窗口和分配正确的权值，对于匹配结果有着至关重要的影响。
发明内容
本发明针对现有树结构立体匹配方法权值分配方法的不足，引入外极线距离变换，构造新的树结构，重新分配权值，弥补原始算法只有单一元素参与权值计算的问题。
本发明主要由以下几个步骤构成：1、计算输入图像初始代价矩阵2、获取颜色分割图像3、获取外极线距离变换图像4、构造生成树结构5、树型滤波6、视差初始及后处理。
本发明方法的具体步骤是：
步骤(1)、计算输入图像初始代价矩阵。具体是针对每一个像素点p的每一个视差距离d，通过计算其于对应图像中的点p'颜色信息的代价值和梯度信息的代价值获得初始代价C(p,d)，具体公式如下：
C(p,d)＝ρ·Ccolor(p,d)+(1-ρ)·Cgrad(p,d)
其中ρ是一个预定义的参数，用于调节颜色代价和梯度代价的占比。Ccolor(p,d)和Cgrad(p,d)分别是颜色信息的代价值与梯度信息上的代价值。得到对应点在对应视差距离上的代价值后，存入初始代价矩阵。
步骤(2)、获取颜色分割图像。本发明方法采用一种新式的图像分割方法，即在预构建生成树的过程中，加入一个分割约束，公式如下：
其中，we是待处理的边的权重。表示含p节点的子树的边集，表示包含q节点的子树的边集合，τ是一个预定义的值，用于平衡每个区域的大小，|Tp|与|Tq|是子树的大小。将整幅图像分割成多个子树结构，然后为每个子树结构随机分配一个颜色，即获得颜色分割图像。
步骤(3)、获取外极线距离变换图像。颜色分割图像的每一个分割基本符合图像外极线的分布情况。所以，利用颜色分割图像可以简单的获得外极线距离变换图像。像素点p的外极线距离DEDT(p)的计算公式如下：
其中，Dl(p)是像素点p所在的极线的长度，Ol(p)是p所在的极线的起点位置，|Ol(p)-p|即p到极线起点的距离。在得到像素点的外极线距离后，将一个对应的灰度值赋予对应的像素点。
步骤(4)、构造生成树结构。本发明方法利用生成树结构模拟图像的结构，将图像视作一幅图G＝(V,E)，V是图像的点集，即像素点，E则是图的边集，边的权值即图像中相邻像素点之间的关系。首先将边集按照升序排序，权值最小的边即对应的两个相邻节点最相近，然后从权值小的边开始连接节点，直到所有的节点都完成连接，最小生成树的构建完成。本发明方法利用原图和外极线距离变换图像共同构造生成树，计算边的权值。
步骤(5)、树型滤波聚合。树型滤波聚合是按照生成树结构流向执行的滤波算法，即滤波从根节点一直向叶子节点进行，然后再从叶子节点返回根节点。经过这样的两次滤波，每个节点只和相邻节点直接聚合，但是实际上利用视差传感技术，节点的支持窗口却是整幅图像。
步骤(6)、视差初始及后处理。视差初始是利用WTA(winner take all)方法，从经过聚合的代价矩阵中筛选出每个像素点p代价值最低的最佳视差d，具体公式如下：
其中Dinit(p)即像素点p的初始视差值。disprange是视差值d的取值范围。在获得初始视差结果之后，再根据左右一致性检测筛选出视差图中的遮挡点以及误匹配点，将这些点的代价值清零，然后引入全新的代价，进行新一轮的代价聚合，获得最新的视差。新的代价公式如下：
获得新的代价矩阵之后，再一次执行树型滤波及WTA，获得改进后的稠密视差图，从而完成立体匹配。
本发明的有益效果是：
(1)、本发明方法系统速度快，树型滤波算法是一种快速的立体匹配方法，相比于一些复杂的方法优势明显；
(2)、本发明方法引入了外极线距离变换图像用于构造生成树结构，弥补了树结构方法只有颜色信息计算权值的缺点；
(3)、本发明方法可以用于无人车导航等方面的实用，相比于现有的一些简单的算法，精度更高，导航结果更加准确。
附图说明
图1示出本发明方法的流程图；
图2示出本发明的颜色分割图像结果示例；
图3示出本发明的外极线距离变换图像示例；
图4示出本发明方法树结构示意图；
图5示出树型滤波示意图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，一种基于外极线距离变换的树型滤波立体匹配方法具体步骤是：
步骤(1)、计算输入图像初始代价矩阵。具体是针对每一个像素点p的每一个视差距离d，通过计算其于对应图像中的点p'颜色信息的代价值和梯度信息的代价值获得初始代价，具体公式如下：
C(p,d)＝ρ·Ccolor(p,d)+(1-ρ)·Cgrad(p,d)
其中ρ是一个预定义的参数，用于调节颜色代价和梯度代价的占比。Ccolor(p,d)和Cgrad(p,d)分别是颜色信息的代价值与梯度信息上的代价值。得到对应点在对应视差距离上的代价值后，存入初始代价矩阵。
步骤(2)、获取颜色分割图像。本发明方法采用一种新式的图像分割方法，即在预构建生成树的过程中，加入一个分割约束，公式如下：
其中，we是待处理的边的权重。表示含p节点的子树的边集，表示包含q节点的子树的边集合，τ是一个预定义的值，用于平衡每个区域的大小，|Tp|与|Tq|是子树的大小。将整幅图像分割成多个子树结构，然后为每个子树结构随机分配一个颜色，即获得颜色分割图像。颜色分割示例图像如图2所示。
步骤(3)、获取外极线距离变换图像。颜色分割图像的每一个分割基本符合图像外极线的分布情况。所以，利用颜色分割图像可以简单的获得外极线距离变换图像。像素点p的外极线距离DEDT(p)的计算公式如下：
其中，Dl(p)是像素点p所在的极线的长度，Ol(p)是p所在的极线的起点位置，|Ol(p)-p|即p到极线起点的距离。在得到像素点的外极线距离后，将一个对应的灰度值赋予对应的像素点。外极线距离变换图像的示例图像如图3所示。
步骤(4)、构造生成树结构。本发明方法利用生成树结构模拟图像的结构，将图像视作一幅图G＝(V,E)，V是图像的点集，即像素点，E则是图的边集，边的权值即图像中相邻像素点之间的关系。首先将边集按照升序排序，权值最小的边即对应的两个相邻节点最相近，然后从权值小的边开始连接节点，直到所有的节点都完成连接，最小生成树的构建完成。本发明方法利用原图和外极线距离变换图像共同构造生成树，计算边的权值。生成树的结构图如图4所示，图G＝(V,E)中的任一点到另一点之间有且仅有一条路径，且这条路径的权值最小。
步骤(5)、树型滤波聚合方法。树型滤波聚合方法是按照生成树结构流向执行的滤波算法。树型滤波如图5所示，滤波分为从根节点到叶子节点与从叶子节点到根节点两种。从根节点到叶子节点的滤波中，代价值从根向下传播；从叶子节点到根节点的滤波中，代价值从叶子节点方向向上传播。生成树结构上的每个节点只和相邻节点直接聚合，但是利用视差传感技术，经过两次滤波之后，节点的支持窗口却是整幅图像，即每一个像素都对图像上的任一像素的代价值做出贡献。
步骤(6)、视差初始及后处理。视差初始是利用WTA(winner take all)方法，从经过聚合的代价矩阵中筛选出每个像素点p代价值最低的最佳视差d，具体公式如下：
其中Dinit(p)即像素点p的初始视差值。disprange是视差值d的取值范围。在获得初始视差结果之后，我们再根据左右一致性检测筛选出视差图中的遮挡点以及误匹配点，将这些点的代价值清零，然后引入全新的代价，进行新一轮的代价聚合，获得最新的视差。新的代价公式如下：
获得新的代价矩阵之后，再一次执行树型滤波及WTA，获得改进后的稠密视差图，从而完成立体匹配。

Claims (1)

1.一种基于外极线距离变换的树型滤波立体匹配方法，其特征在于该方法的具体步骤是：
步骤(1)、计算输入图像初始代价矩阵；
针对每一个像素点p的每一个视差距离d，通过计算其于对应图像中的点p'颜色信息的代价值和梯度信息的代价值获得初始代价C(p,d)，具体公式如下：
C(p,d)＝ρ·Ccolor(p,d)+(1-ρ)·Cgrad(p,d)
其中ρ是一个预定义的参数，用于调节颜色代价和梯度代价的占比；Ccolor(p,d)和Cgrad(p,d)分别是颜色信息的代价值与梯度信息上的代价值；得到对应点在对应视差距离上的代价值后，存入初始代价矩阵；
步骤(2)、获取颜色分割图像；
采用一种图像分割方法，即在预构建生成树的过程中，加入一个分割约束，公式如下：
其中，we是待处理的边的权重；表示含p节点的子树的边集，表示包含q节点的子树的边集合，τ是一个预定义的值，用于平衡每个区域的大小，|Tp|与|Tq|是子树的大小；将整幅图像分割成多个子树结构，然后为每个子树结构随机分配一个颜色，即获得颜色分割图像；
步骤(3)、获取外极线距离变换图像；
颜色分割图像的每一个分割符合图像外极线的分布情况；所以，利用颜色分割图像可以简单的获得外极线距离变换图像；像素点p的外极线距离DEDT(p)的计算公式如下：
其中，Dl（p）是像素点p所在的极线的长度，Ol(p)是p所在的极线的起点位置，|Ol(p)-p|即p到极线起点的距离；在得到像素点的外极线距离后，将一个对应的灰度值赋予对应的像素点；
步骤(4)、构造生成树结构；
利用生成树结构模拟图像的结构，将图像视作一幅图G＝(V,E)，V是图像的点集，即像素点，E则是图的边集，边的权值即图像中相邻像素点之间的关系；首先将边集按照升序排序，权值最小的边即对应的两个相邻节点最相近，然后从权值小的边开始连接节点，直到所有的节点都完成连接，最小生成树的构建完成；利用原图和外极线距离变换图像共同构造生成树，计算边的权值；
步骤(5)、树型滤波聚合；
按照生成树结构流向执行滤波算法，即滤波从根节点一直向叶子节点进行，然后再从叶子节点返回根节点；经过这样的两次滤波，每个节点只和相邻节点直接聚合；
步骤(6)、视差初始及后处理；
视差初始是利用WTA方法，从经过聚合的代价矩阵中筛选出每个像素点p代价值最低的最佳视差d，具体公式如下：
其中Dinit(p)即像素点p的初始视差值；disprange是最佳视差d的取值范围；在获得初始视差结果之后，再根据左右一致性检测筛选出视差图中的遮挡点以及误匹配点，将这些点的代价值清零，然后引入全新的代价，进行新一轮的代价聚合，获得最新的视差；新的代价公式如下：
获得新的代价矩阵之后，再一次执行树型滤波及WTA方法，获得改进后的稠密视差图，从而完成立体匹配。
CN201610147363.7A 2016-03-15 2016-03-15 一种基于外极线距离变换的树型滤波立体匹配方法 Active CN105761270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610147363.7A CN105761270B (zh) 2016-03-15 2016-03-15 一种基于外极线距离变换的树型滤波立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610147363.7A CN105761270B (zh) 2016-03-15 2016-03-15 一种基于外极线距离变换的树型滤波立体匹配方法

Publications (2)

Publication Number Publication Date
CN105761270A CN105761270A (zh) 2016-07-13
CN105761270B true CN105761270B (zh) 2018-11-27

Family

ID=56333177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610147363.7A Active CN105761270B (zh) 2016-03-15 2016-03-15 一种基于外极线距离变换的树型滤波立体匹配方法

Country Status (1)

Country Link
CN (1) CN105761270B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504276B (zh) * 2016-10-25 2019-02-19 桂林电子科技大学 非局部立体匹配方法
CN107341822B (zh) * 2017-06-06 2019-11-08 东北大学 一种基于最小分支代价聚合的立体匹配方法
CN107341823B (zh) * 2017-06-06 2019-08-09 东北大学 一种基于特征融合的最小分支立体匹配方法
CN109887008B (zh) * 2018-08-31 2022-09-13 河海大学常州校区 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
CN109345478B (zh) * 2018-09-27 2020-11-17 深圳市牧月科技有限公司 一种基于梯度最小化的图像平滑处理方法
CN112734822B (zh) * 2019-10-28 2023-07-18 天津大学青岛海洋技术研究院 一种基于红外和可见光图像的立体匹配算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102074014A (zh) * 2011-02-23 2011-05-25 山东大学 一种利用基于图论的图像分割算法的立体匹配方法
CN102930530A (zh) * 2012-09-26 2013-02-13 苏州工业职业技术学院 一种双视点图像的立体匹配方法
CN103218776A (zh) * 2013-03-07 2013-07-24 天津大学 基于最小生成树的非局部的深度图超分辨率重建方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103646396A (zh) * 2013-11-29 2014-03-19 清华大学深圳研究生院 双目立体匹配算法的匹配代价算法和非局部立体匹配算法
CN104680510A (zh) * 2013-12-18 2015-06-03 北京大学深圳研究生院 Radar视差图优化方法、立体匹配视差图优化方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102074014A (zh) * 2011-02-23 2011-05-25 山东大学 一种利用基于图论的图像分割算法的立体匹配方法
CN102930530A (zh) * 2012-09-26 2013-02-13 苏州工业职业技术学院 一种双视点图像的立体匹配方法
CN103218776A (zh) * 2013-03-07 2013-07-24 天津大学 基于最小生成树的非局部的深度图超分辨率重建方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103646396A (zh) * 2013-11-29 2014-03-19 清华大学深圳研究生院 双目立体匹配算法的匹配代价算法和非局部立体匹配算法
CN104680510A (zh) * 2013-12-18 2015-06-03 北京大学深圳研究生院 Radar视差图优化方法、立体匹配视差图优化方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A non-local cost aggregation method for stereo matching;YANG Q 等;《2012 IEEE Conference on Computer Visionand Pattern Recognition》;20121231;第1402-1409页 *
Segment-tree based cost aggregation for stereo matching;MEI X 等;《Conference on Computer Vision and Pattern Recognition》;20130630;第313-320页 *
基于多尺度多方向相位匹配的立体视觉方法;李德广 等;《仪器仪表学报》;20040831;第25卷(第4期);第600-602页 *
基于线性滤波的树结构动态规划立体匹配算法;储珺 等;《自动化学报》;20151130;第41卷(第11期);第1941-1950页 *

Also Published As

Publication number Publication date
CN105761270A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
CN105761270B (zh) 一种基于外极线距离变换的树型滤波立体匹配方法
CN107220997B (zh) 一种立体匹配方法及系统
CN103646396B (zh) 双目立体匹配算法的匹配代价算法和非局部立体匹配算法
CN108629812A (zh) 一种基于双目相机的测距方法
CN111402311B (zh) 一种基于知识蒸馏的轻量级立体视差估计方法
CN103971366B (zh) 一种基于双权重聚合的立体匹配方法
CN102074014A (zh) 一种利用基于图论的图像分割算法的立体匹配方法
CN103955954B (zh) 一种结合同场景立体图对的高分辨率深度图像重建方法
CN107690650B (zh) 用于将3d场景重构为3d模型的方法
US20170272724A1 (en) Apparatus and method for multi-view stereo
CN103702103B (zh) 基于双目相机的光栅立体印刷图像合成方法
CN103236082A (zh) 面向捕获静止场景的二维视频的准三维重建方法
CN104867135A (zh) 一种基于指导图像引导的高精度立体匹配方法
CN109146946A (zh) 一种图像非局部立体匹配方法
CN101996399A (zh) 在左图像与右图像之间估计视差的设备和方法
CN105654548A (zh) 一种基于大规模无序图像的多起点增量式三维重建方法
CN106815594A (zh) 立体匹配方法及装置
CN109146937A (zh) 一种基于深度学习的电力巡检影像密集匹配方法
CN102447917A (zh) 立体图像匹配方法及其设备
CN109887008B (zh) 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
CN112734822B (zh) 一种基于红外和可见光图像的立体匹配算法
CN104200450A (zh) 一种红外热图像清晰度增强方法
CN108510529A (zh) 一种基于自适应权值的图割立体匹配方法
CN109801323A (zh) 具有自我提升能力的金字塔双目深度估计模型
CN105787932A (zh) 基于分割交叉树的立体匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant