CN109887008B - 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备 - Google Patents

基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备 Download PDF

Info

Publication number
CN109887008B
CN109887008B CN201811016383.6A CN201811016383A CN109887008B CN 109887008 B CN109887008 B CN 109887008B CN 201811016383 A CN201811016383 A CN 201811016383A CN 109887008 B CN109887008 B CN 109887008B
Authority
CN
China
Prior art keywords
pixel point
value
pixel
confidence
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811016383.6A
Other languages
English (en)
Other versions
CN109887008A (zh
Inventor
许金鑫
李庆武
罗颖
刘艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201811016383.6A priority Critical patent/CN109887008B/zh
Publication of CN109887008A publication Critical patent/CN109887008A/zh
Application granted granted Critical
Publication of CN109887008B publication Critical patent/CN109887008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于前后向平滑和O(1)复杂度视差立体匹配方法，分别对左右目图像进行前后向平滑处理，结合颜色和梯度信息构建代价计算函数并计算代价值。在代价聚集阶段，分别对平滑后的左右目图像构建最小生成树，并对代价函数值进行代价聚集，采用WTA策略得到初始视差，通过左右一致性检测判定稳定和不稳定点并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图，结合左图的颜色信息和初始视差图，得到混合权值，并基于初始视差置信和混合权值，采用水平树结构对置信值进行置信聚集；将置信聚集值进行置信传播，求得最优视差估计值，从而得到最后的稠密视差图；本发明有效地提高立体匹配的准确率和效率。

Description

基于前后向平滑和O(1)复杂度视差立体匹配方法、装置和 设备
技术领域
本发明属于图像处理技术领域，涉及一种基于前后向平滑和O(1)复杂度视差立体匹配方法。
背景技术
立体匹配算法在计算机视觉方面应用范围很广，如3D重建、图像聚焦等，但仍然存在很多挑战性的问题。立体匹配的主要工作是寻找图像中相应的图像点对，包括四个步骤：匹配代价计算、代价聚集、视差计算和视差精化。算法一般被分为全局和局部算法两类。
全局算法的目的是最小化匹配问题的能量函数，该能量函数包括数据项和平滑项，当相邻节点的视差值存在很大的差异，平滑项就作为惩罚因子。全局算法主要包括动态规划、置信传播和图割等方法。全局方法在无纹理区域有较好的鲁棒性，而且不易受噪声的影响，得到的视差图也比较准确。但是，这类方法的计算复杂度较高，不适合实时应用。
与全局方法相比，局部算法对噪声敏感，准确率较低，但是耗时少，效率高。局部算法的难点在于代价函数和窗口的选择。传统的计算代价函数的方法包括：互信息、绝对差(AD)、平方差(SD)、Census变换等等。常用的局部窗口有十字交叉窗口、自适应窗口等。
基于最小生成树(MST)的非局部立体匹配算法，在整个图像中进行代价聚集，不受窗口的限制，所有像素点都能给其余点相应的权值支持，准确率比局部算法高，运行效率也比全局算法高。
目前的很多研究都基于匹配代价计算和代价聚集两个部分，在视差精化阶段，由于复杂度较高也成为立体匹配算法中的难点。传统的视差精化方法包括左右一致性检测、孔洞填充、中值滤波，该步骤是为了对不稳定点进行代价值的更新，提高匹配准确度。动态规划算法在图像中任一像素点的复杂度为O(d)，其中d为视差范围。在基于MST的视差精化过程中，通过将稳定点的值传播到不稳定点从而更新不稳定点的代价值，任一像素点的复杂度也是O(d)，复杂度较高。此外图像中存在的少量噪声，会对匹配精度带来影响。
发明内容
发明目的：为解决现有技术问题，本发明公开一种基于前后向平滑和O(1)复杂度视差立体匹配方法，减少了计算复杂度，有效地提高了匹配的准确率和效率。
本发明技术方案如下：
一种基于前后向平滑和O(1)复杂度视差立体匹配方法，包括以下步骤：
(1)分别对左目图像和右目图像进行前向和后向平滑处理；
(2)基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；
(3)对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；
(4)采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；
(5)结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；
(6)在视差值更新阶段，根据步骤(3)生成的最小生成树，将置信聚集值进行置信传播，求得最优视差估计，得到稠密视差图。
步骤(1)具体步骤以下步骤：
左目图像和右目图像中每个像素点的平滑过程通过扫描水平树结构上的像素点进行更新，以每个像素点为根节点，前向和后向平滑以RGB三通道图像为输入，平滑处理公式为式(1)：
Figure GDA0003746370400000021
Figure GDA0003746370400000022
表示输入图像在i通道下的像素点(u,v)平滑后的像素值；
其中，Ii(u,v)是输入图像在i通道下的像素点(u,v)的像素值，
Figure GDA0003746370400000023
表示输入图像在i通道下的像素点(u,v)前向或者后向迭代的像素值更新：
Figure GDA0003746370400000031
▽rIi(u,v)＝Ii(u,v)-Ii(u,v-r)
其中，常数λ用来调节平滑速度，▽rIi(u,v)是输入图像在i通道下的像素点(u,v)在方向r下与相邻像素点的差异，(u,v-r)为水平传播方向上像素点(u,v)的前一个像素点，f和b分别代表前向和后向；ω为常数。
为了提高算法运行的效率，前向和后向平滑处理过程包括以下步骤：
S1，从输入图像每一行最左端节点到最右端节点的依次传递，并将前向平滑的结果存储在数组
Figure GDA0003746370400000032
中；
S2，以相反的方向进行，从输入图像每一行最右端节点到最左端节点的依次传递，并将后向平滑的结果存储在数组
Figure GDA0003746370400000033
中，得到平滑处理结果为式(3)：
Figure GDA0003746370400000034
Figure GDA0003746370400000035
表示在i通道下平滑后的图像矩阵，Ii表示在i通道下原图像；式(3)是数据的矩阵形式；
前向、后向平滑在抑制背景噪声的同时保留图像真实的深度边缘信息，通过前向、后向平滑来更新强度值，使得图像高纹理区域得到抑制，提高最终匹配的精度。
步骤(2)具体步骤以下步骤：
(201)为了避免图像中具有相同灰度、不同颜色信息的像素点间的误匹配，采用RGB三通道信息代替单一的灰度信息；设左目图像中任意一像素点p＝(x,y)，像素点p＝(x,y)对应的视差值为d(视差图为矩阵，矩阵里每一个元素的值就是视差值，所以视差图和视差值的区别在于一个是整体一个是具体某一点的值)，像素点p在右目图像中对应的匹配点为pd＝(x-d,y)；颜色信息CAD(p,d)和梯度信息CGrad(p,d)的表达式为：
Figure GDA0003746370400000036
Figure GDA0003746370400000037
其中，CAD(p,d)表示视差值为d时像素点p的颜色信息，CGrad(p,d)表示视差值为d时像素点p的梯度信息；
Figure GDA0003746370400000038
表示左目图像的像素点p在i通道下的像素值，
Figure GDA0003746370400000039
表示右目图像的像素点pd在i通道下的像素值；
Figure GDA0003746370400000041
和
Figure GDA0003746370400000042
分别表示左目图像的像素点p的i通道下在x和y方向上的梯度，
Figure GDA0003746370400000043
和
Figure GDA0003746370400000044
分别表示右目图像的像素点pd的i通道下在x和y方向上的梯度；
(202)构建的代价函数为：
C(p,d)＝w1CAD(p,d)+w2CGrad(p,d) (5)
其中，w1、w2分别为颜色信息和梯度信息的权值，w1+w2＝1；
C(p,d)为视差值为d时像素点p的代价函数，基于代价函数计算代价函数值。
步骤(3)具体包括以下步骤：
基于最小生成树的代价聚集值，是代价函数值和相应权值相乘的总和，为式(6)：
Figure GDA0003746370400000045
其中，Cd(q)表示视差值为d时像素点q的代价函数值，q是输入图像中任一像素点；
Figure GDA0003746370400000046
表示视差值为d时像素点P的代价聚集值(Aggregation，表示聚集后的符号)，S(p,q)为像素点p与像素点q相似性函数，表示像素点p与像素点q之间的相似性；
Figure GDA0003746370400000047
其中，D(p,q)表示像素点p与像素点q间的距离，σ是常数，用于调节两个像素点间的相似性；在无纹理区域，每个像素点的值基本一样，颜色信息差值很小但是不为0，这就会导致小权值积累的问题，即许多小的边权值沿着聚集路径不断累积，聚集在无纹理区域就变成了高权值，所以为了抑制该问题，本发明提出改进的权值函数，式(8)下所示：
Figure GDA0003746370400000048
m,n表示图像中的相邻像素点；
Figure GDA0003746370400000049
为RGB三通道中最大的像素值，w(m,n)是相邻像素点的权值，的D(p,q)是由权值w(m,n)沿着路径累积的总和，像素点p与像素点q间的距离是路径上相邻像素点的权值的和。
在步骤(4)具体包括以下步骤：
(401)采用WTA(赢者通吃)策略得到左目图像的视差图和右目图像的视差图；
(402)通过对左目图像的视差图和右目图像的视差图进行左右一致性检测，将像素点分为稳定点和不稳定点；
(403)初始视差置信反映初始视差值正确的概率，若像素点与其邻域内的像素在视差值和颜色信息，像素点有更大的视差置信，视差置信值是基于稳定点和不稳定点设置的；
设B为视差图的视差置信：
Figure GDA0003746370400000051
其中，p为输入图像(左目图像或者右目图像)中的任一像素点，若p为稳定点，则概率为1，反之，该像素点为正确视差值的概率0.1；B(p)表示初始视差图中像素点p的视差置信；
(404)对不稳定点进行孔洞填充：对于不稳定点p(遮挡点)，分别在水平方向上寻找左边、右边的第一个稳定点(非遮挡点)，记作pleft、pright，不稳定点p的视差值d(p)为pleft和pright中视差值较小的一个，即
d(p)＝min(d(pleft),d(pright)) (10)
孔洞填充完成后，得到了初始视差图Dinit。
在步骤(5)具体包括以下步骤：
(501)基于初始视差图和平滑处理后的左目图像建立新的混合权值函数，式(11)所示：
Figure GDA0003746370400000052
wH(m,n)表示连接相邻像素点m和像素点n的边的混合权值，wH(n,m)表示的是连接相邻像素点n和像素点m的边的混合权值，下标H代表混合(hybrid)，Dinit(m)、Dinit(n)分别指的是像素点m和像素点n的初始视差值，Ii(m)、Ii(n)表示像素点m和像素点n的像素值在i通道下的像素值；
像素点m和像素点n为图像上相邻的两个像素点，α表示平衡初始视差图的信息和平滑后的图像像素点的信息(α用来平衡初始视差图的信息和平滑后的图像像素点的信息，α＝0.5)的权值；
Figure GDA0003746370400000053
SH(p,q)表示的是p点和q点的混合相似性函数，下标H表示混合，DH(p,q)表示像素点p到像素点q经过混合权值wH(m,n)沿着路径累积的的距离；σH是混合相似性函数的常数，用于调节两个像素点间的相似性。
(502)采用水平树结构对初始视差置信进行置信聚集，聚集过程分为从左往右和从右往左，聚集后像素点的置信聚集值为：
Figure GDA0003746370400000061
Figure GDA0003746370400000062
Figure GDA0003746370400000063
其中，p为图像中的像素点，上标LR表示聚集方向从左往右，RL表示聚集方向从右往左，pl表示像素点p的前一个像素点，pr代表点p的后一个像素点，SH(p,q)表示相邻像素点p与像素点q间的混合相似性；
Figure GDA0003746370400000064
表示像素点p在视差值为d时基于水平树从左往右累加的置信聚集值，B(p)是公式(9)中得到的，表示p点的视差置信值，B(pr)表示像素点的后一个像素点视差置信聚集值，SH(p,pr)，表示像素点p和后一个点pr的混合相似性，
Figure GDA0003746370400000065
表示从左往右累加的置信聚集值、从右往左累加的置信聚集值、像素点p的视差置信值三者的平均值。
在步骤(6)具体包括以下步骤：
(601)在视差更新阶段，即在置信聚集后，根据步骤(3)中建立的最小生成树(权值是以颜色信息构建的)，基于最小生成树对置信聚集值进行置信传播，包括以下步骤：
(6a)从叶节点到根节点聚集，即：
Figure GDA0003746370400000066
其中，Ch(p)表示像素点p的子节点，
Figure GDA0003746370400000071
表示像素点p的置信聚集值从叶节点到根节点进行置信传播后的值，所以，像素点p的置信传播值包括像素点p的置信聚集值和来自其所有子树乘边权的总和；
(6b)从根节点向叶节点聚集，即：
Figure GDA0003746370400000072
其中，Pr(p)代表像素点p的父节点；
Figure GDA0003746370400000073
为像素点p的置信聚集值从根节点到叶节点方向进行置信传播后的值；
(602)对于任一个像素点q，S(p,q)代表了最小生成树中点p和q的颜色信息相似性，置信聚集值BA(q)为q的近邻域中在颜色和视差信息都类似的区域大小，因此S(p,q)BA(q)指的是p和q有相同视差的概率；当
Figure GDA0003746370400000074
时，p的视差值d(p)就是q点的最优视差估计，
Figure GDA0003746370400000075
是最优视差估计的概率，所述概率是将最小生成树的置信聚集值进行传播得到的，定义节点p的置信传播为BPro(p)，最优视差估计定义为视差传播DPro(p)，对于每个节点p：
Figure GDA0003746370400000076
Figure GDA0003746370400000077
其中，视差置信点p(视差置信点指的是经过置信传播后的点)为不稳定点，q点为稳定点，I表示整个输入图像，该过程是为了从稳定点中寻找不稳定点的最优视差估计，从而更新不稳定点的视差值，得到最后的稠密视差图。
一种基于前后向平滑和O(1)复杂度视差立体匹配装置，包括：
平滑处理模块、代价函数构建模块、代价聚集模块、视差图获取模块、置信聚集模块和置信传播模块；
平滑处理模块用于分别对左目图像和右目图像进行前向和后向平滑处理；
代价函数构建模块基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；
代价聚集模块对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；
视差图获取模块采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；
置信聚集模块结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；
置信传播模块在视差值更新阶段，根据最小生成树，将置信聚集值进行置信传播，求得最优视差估计，得到稠密视差图。
平滑处理模块进行平滑处理具体包括以下步骤：
左目图像和右目图像中每个像素点的平滑过程通过扫描水平树结构上的像素点进行更新，以每个像素点为根节点，前向和后向平滑以RGB三通道图像为输入，平滑处理公式为式(1)：
Figure GDA0003746370400000081
Figure GDA0003746370400000082
表示输入图像在i通道下的像素点(u,v)平滑后的像素值；
其中，Ii(u,v)是输入图像在i通道下的像素点(u,v)的像素值，
Figure GDA0003746370400000083
代表输入图像在i通道下的像素点(u,v)前向或者后向迭代的像素值更新：
Figure GDA0003746370400000084
▽rIi(u,v)＝Ii(u,v)-Ii(u,v-r)
其中，常数λ用来调节平滑速度，▽rIi(u,v)是输入图像在i通道下的像素点(u,v)在方向r下与相邻像素点的差异，(u,v-r)为水平传播方向上像素点(u,v)的前一个像素点，f和b分别代表前向和后向；ω为常数。
代价函数构建模块处理过程具体包括以下步骤：
(201)为了避免图像中具有相同灰度、不同颜色信息的像素点间的误匹配，采用RGB三通道信息代替单一的灰度信息；设左目图像中任意一像素点p＝(x,y)，像素点p＝(x,y)对应的视差值为d(视差图为矩阵，矩阵里每一个元素的值就是视差值，所以视差图和视差值的区别在于一个是整体一个是具体某一点的值)，像素点p在右目图像中对应的匹配点为pd＝(x-d,y)；颜色信息CAD(p,d)和梯度信息CGrad(p,d)的表达式为式(4)：
Figure GDA0003746370400000091
Figure GDA0003746370400000092
其中，CAD(p,d)表示视差值为d时像素点p的颜色信息，CGrad(p,d)表示视差值为d时像素点p的梯度信息；
Figure GDA0003746370400000093
表示左目图像的像素点p在i通道下的像素值，
Figure GDA0003746370400000094
表示右目图像的像素点pd在i通道下的像素值；
Figure GDA0003746370400000095
和
Figure GDA0003746370400000096
分别表示左目图像的像素点p的i通道下在x和y方向上的梯度，
Figure GDA0003746370400000097
和
Figure GDA0003746370400000098
分别表示右目图像的像素点pd的i通道下在x和y方向上的梯度；
(202)构建的代价函数为：
C(p,d)＝w1CAD(p,d)+w2CGrad(p,d) (5)
其中，w1、w2分别为颜色信息和梯度信息的权值，w1+w2＝1，本实施例中w1＝0.2；
C(p,d)为视差值为d时像素点p的代价函数，基于代价函数计算代价函数值；
代价聚集模块处理过程具体包括以下步骤：
基于最小生成树的代价聚集值，是代价函数值和相应权值相乘的总和，为式(6)：
Figure GDA0003746370400000099
其中，Cd(q)表示视差值为d时像素点q的代价函数值，q是输入图像中任一像素点；
Figure GDA00037463704000000910
表示视差值为d时像素点P的代价聚集值(Aggregation，表示聚集后的符号)，S(p,q)为像素点p与像素点q相似性函数，表示像素点p与像素点q之间的相似性；
Figure GDA0003746370400000101
其中，D(p,q)表示像素点p与像素点q间的距离，σ是常数，用于调节两个像素点间的相似性；本发明提出改进的权值函数，式(8)下所示：
Figure GDA0003746370400000102
m,n表示图像中的相邻像素点；
Figure GDA0003746370400000103
为RGB三通道中最大的像素值，w(m,n)是相邻像素点的权值，D(p,q)是由权值w(m,n)沿着路径累积的总和，像素点p与像素点q间的距离是路径上相邻像素点的权值的和；
视差图获取模块处理过程具体包括以下步骤：
(401)采用WTA(赢者通吃)策略得到左目图像的视差图和右目图像的视差图；
(402)通过对左目图像的视差图和右目图像的视差图进行左右一致性检测，将像素点分为稳定点和不稳定点；
(403)初始视差置信反映初始视差值正确的概率，若像素点与其邻域内的像素在视差值和颜色信息，像素点有更大的视差置信，视差置信值是基于稳定点和不稳定点设置的；
设B为视差图的视差置信，即：
Figure GDA0003746370400000104
其中，p为输入图像(左目图像或者右目图像)中的任一像素点，若p为稳定点，则概率为1，反之，该像素点为正确视差值的概率0.1；B(p)表示初始视差图中像素点p的视差置信；
(404)对不稳定点进行孔洞填充：对于不稳定点p(遮挡点)，分别在水平方向上寻找左边、右边的第一个稳定点(非遮挡点)，记作pleft、pright，不稳定点p的视差值为pleft和pright中视差值较小的一个，即
d(p)＝min(d(pleft),d(pright)) (10)
孔洞填充完成后，得到了初始视差图Dinit；
置信聚集模块处理过程具体包括以下步骤：
(501)基于初始视差图和平滑处理后的左目图像建立新的混合权值函数wH(m,n)，式(11)所示：
Figure GDA0003746370400000111
wH(m,n)表示连接相邻像素点m和像素点n的边的混合权值，wH(n,m)表示的是连接相邻像素点n和像素点m的边的混合权值，下标H代表混合(hybrid)，Dinit(m)、Dinit(n)分别指的是像素点m和像素点n的初始视差值，Ii(m)、Ii(n)表示像素点m和像素点n的像素值在i通道下的像素值；
像素点m和像素点n为图像上相邻的两个像素点，α表示平衡初始视差图的信息和平滑后的图像像素点的信息的权值；
Figure GDA0003746370400000112
SH(p,q)表示的是p点和q点的混合相似性函数，下标H表示混合，DH(p,q)表示像素点p到像素点q经过混合权值wH(m,n)沿着路径累积的的距离；σH是混合相似性函数的常数，用于调节两个像素点间的相似性；
(502)采用水平树结构对初始视差置信进行置信聚集，聚集过程分为从左往右和从右往左，聚集后像素点的置信聚集值为：
Figure GDA0003746370400000113
Figure GDA0003746370400000114
Figure GDA0003746370400000115
其中，p为图像中的像素点，上标LR表示聚集方向从左往右，RL表示聚集方向从右往左，pl表示像素点p的前一个像素点，pr代表点p的后一个像素点，SH(p,q)表示相邻像素点间的混合相似性。
Figure GDA0003746370400000116
表示像素点p在视差值为d时基于水平树从左往右累加的置信聚集值，B(p)是公式(9)中得到的，表示像素点p点的视差置信值，B(pr)表示像素点的后一个像素点视差置信聚集值，SH(p,pr)，表示像素点p和后一个点pr的混合相似性，
Figure GDA0003746370400000117
表示从左往右累加的置信聚集值、从右往左累加的置信聚集值、像素点pp的视差置信值三者的平均值。
置信传播模块处理过程具体包括以下步骤：
(601)在视差更新阶段，即在置信聚集后，根据步骤(3)中建立的最小生成树(权值是以颜色信息构建的)，基于最小生成树对置信聚集值进行置信传播，包括以下步骤：
(6a)从叶节点到根节点聚集，即：
Figure GDA0003746370400000121
其中，Ch(p)代表像素点p的子节点，
Figure GDA0003746370400000122
表示像素点p的置信聚集值从叶节点到根节点进行置信传播后的值，所以，像素点p的置信传播值包括像素点p的置信聚集值和来自其所有子树乘边权的总和；
(6b)从根节点向叶节点聚集，即：
Figure GDA0003746370400000123
其中，Pr(p)表示像素点p的父节点；
Figure GDA0003746370400000124
为像素点p的置信聚集值从根节点到叶节点方向进行置信传播后的值；
(602)对于任一个像素点q，S(p,q)代表了最小生成树中点p和q的颜色信息相似性，置信聚集值BA(q)为q的近邻域中在颜色和视差信息都类似的区域大小，因此S(p,q)BA(q)指的是p和q有相同视差的概率；当
Figure GDA0003746370400000125
时，p的视差值d(p)就是q点的最优视差估计，
Figure GDA0003746370400000126
是最优视差估计的概率，该概率是将最小生成树的置信聚集值进行传播得到的，所以将其定义为置信传播为BPro，最优视差估计定义为视差传播DPro(p)，对于每个节点p：
Figure GDA0003746370400000127
Figure GDA0003746370400000128
其中，视差置信点p(视差置信点指的是经过置信传播后的点)为不稳定点，q点为稳定点，I表示整个输入图像，该过程是为了从稳定点中寻找不稳定点的最优视差估计，从而更新不稳定点的视差值，得到最后的稠密视差图。
一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行基于前后向平滑和O(1)复杂度视差立体匹配方法的指令。
本发明的有益效果包括：
本发明公开了一种立体匹配方法，首先分别对左右目图像进行前后向平滑处理，结合颜色和梯度信息构建代价计算函数并计算代价值，然后分别对平滑后的左右目图像构建最小生成树，并对代价函数值进行代价聚集。采用WTA策略得到初始视差，通过左右一致性检测判定稳定和不稳定点并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图。接着结合混合权值，采用水平树结构对置信值进行置信聚集。最后根据代价聚集阶段构建的最小生成树，将置信聚集值进行置信传播，求得最优视差估计值，从而得到稠密视差图。本发明克服了现有的双目立体匹配技术中因噪声的存在引起的匹配精度不高以及在视差精化阶段计算复杂度较高的缺陷；
本发明在预处理阶段分别对左右目图像进行前后向平滑处理，可以去除原始图像中的噪声，同时保持了图像边缘的信息，有效地提高视差图精度。在代价聚集阶段，采用基于最小生成树聚集的非局部方法，准确率比局部算法高，运行效率也比全局算法高。视差精化阶段，对于任一像素点，其计算复杂度为O(1)，大大降低了复杂度，尤其对高分辨率图像，有效提高了匹配效率。
附图说明
下面结合附图和实施例对本发明进一步说明；
图1是本发明基于前后向平滑和O(1)复杂度视差立体匹配方法流程图；
图2是本发明基于根节点p的平滑过程；
图3a为本发明基于最小生成树的代价聚集过程自下而上遍历过程；
图3b为本发明基于最小生成树的代价聚集过程自上而下遍历过程；
图4是本发明基于水平树结构的置信聚集过程。
具体实施方式
下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效，且为了使该评价方法易于明白了解，下面结合具体实施例，进一步阐述本发明。
如图1所示，一种基于前后向平滑和O(1)复杂度视差立体匹配方法，包括以下步骤：
(1)分别对左目图像和右目图像进行前向和后向平滑处理；
(2)基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；
(3)对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；
(4)采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；
(5)结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值(混合权值通过公式11)，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；
(6)在视差值更新阶段，根据步骤(3)生成的最小生成树，将置信聚集值进行置信传播，求得最优视差估计，得到稠密视差图。
步骤(1)具体步骤以下步骤：
如图2所示，左目图像和右目图像中每个像素点的平滑过程通过扫描水平树结构上的像素点进行更新，以每个像素点为根节点，前向和后向平滑以RGB三通道图像为输入，平滑处理公式为式(1)：
Figure GDA0003746370400000151
Figure GDA0003746370400000152
表示输入图像在i通道下的像素点(u,v)平滑后的像素值；
其中，Ii(u,v)是输入图像在i通道下的像素点(u,v)的像素值，
Figure GDA0003746370400000153
表示输入图像在i通道下的像素点(u,v)前向或者后向迭代的像素值更新：
Figure GDA0003746370400000154
Figure GDA0003746370400000155
其中，常数λ用来调节平滑速度，本发明中设置λ＝0.2，▽rIi(u，v)是输入图像在i通道下的像素点(u,v)在方向r下与相邻像素点的差异，(u,v-r)为水平传播方向上像素点(u,v)的前一个像素点，f和b分别代表前向和后向；ω为常数，可以是一个固定值，或者基于噪声估计，本发明中设置ω＝0.1；当相邻像素点之间有很大差异，尤其是在高纹理区域时，指数项的值很小，因此像素之间的贡献也很小，图像边缘的深度信息能够有效地保持。
为了提高算法运行的效率，前向和后向平滑处理过程包括以下步骤：
S1，从输入图像每一行最左端节点到最右端节点的依次传递，并将前向平滑的结果存储在数组
Figure GDA0003746370400000157
中；
S2，以相反的方向进行，从输入图像每一行最右端节点到最左端节点的依次传递，并将后向平滑的结果存储在数组
Figure GDA0003746370400000158
中，得到平滑处理结果为式(3)：
Figure GDA0003746370400000159
Figure GDA00037463704000001510
表示在i通道下平滑后的图像矩阵，Ii表示在i通道下原图像；式(3)是数据的矩阵形式；
前向、后向平滑在抑制背景噪声的同时保留图像真实的深度边缘信息，通过前向、后向平滑来更新强度值，使得图像高纹理区域得到抑制，提高最终匹配的精度。
步骤(2)具体步骤以下步骤：
(201)为了避免图像中具有相同灰度、不同颜色信息的像素点间的误匹配，采用RGB三通道信息代替单一的灰度信息；设左目图像中任意一像素点p＝(x,y)，像素点p＝(x,y)对应的视差值为d(视差图为矩阵，矩阵里每一个元素的值就是视差值，所以视差图和视差值的区别在于一个是整体一个是具体某一点的值)，像素点p在右目图像中对应的匹配点为pd＝(x-d,y)；颜色信息CAD(p,d)和梯度信息CGrad(p,d)的表达式为：
Figure GDA0003746370400000161
Figure GDA0003746370400000162
其中，CAD(p,d)表示视差值为d时像素点p的颜色信息，CGrad(p,d)表示视差值为d时像素点p的梯度信息；
Figure GDA0003746370400000163
表示左目图像的像素点p在i通道下的像素值，
Figure GDA0003746370400000164
表示右目图像的像素点pd在i通道下的像素值；
Figure GDA0003746370400000165
和
Figure GDA0003746370400000166
分别表示左目图像的像素点p的i通道下在x和y方向上的梯度，
Figure GDA0003746370400000167
和
Figure GDA0003746370400000168
分别表示右目图像的像素点pd的i通道下在x和y方向上的梯度；
(202)构建的代价函数为：
C(p,d)＝w1CAD(p,d)+w2CGrad(p,d) (5)
其中，w1、w2分别为颜色信息和梯度信息的权值，w1+w2＝1，本实施例中w1＝0.2；
C(p,d)为视差值为d时像素点p的代价函数，基于代价函数计算代价函数值。
在步骤(3)具体包括以下步骤：
基于最小生成树的代价聚集值，是代价函数值和相应权值相乘的总和，为式(6)：
Figure GDA0003746370400000169
其中，Cd(q)表示视差值为d时像素点q的代价函数值，q是输入图像中任一像素点；
Figure GDA00037463704000001610
表示视差值为d时像素点P的代价聚集值(Aggregation，表示聚集后的符号)，S(p,q)为像素点p与像素点q相似性函数，表示像素点p与像素点q之间的相似性；
Figure GDA00037463704000001611
其中，D(p,q)表示像素点p与像素点q间的距离，σ是常数，用于调节两个像素点间的相似性；在无纹理区域，每个像素点的值基本一样，颜色信息差值很小但是不为0，这就会导致小权值积累的问题，即许多小的边权值沿着聚集路径不断累积，聚集在无纹理区域就变成了高权值，所以为了抑制该问题，本发明提出改进的权值函数，式(8)下所示：
Figure GDA0003746370400000171
m,n表示图像中的相邻像素点；
Figure GDA0003746370400000172
为RGB三通道中最大的像素值，w(m,n)是相邻像素点的权值，公式(7)中的D(p,q)是由权值w(m,n)沿着路径累积的总和，像素点p与像素点q间的距离是路径上相邻像素点的权值的和。
在步骤(4)具体包括以下步骤：
(401)采用WTA(赢者通吃)策略得到左目图像的视差图和右目图像的视差图；
(402)通过对左目图像的视差图和右目图像的视差图进行左右一致性检测，将像素点分为稳定点和不稳定点；
若像素点p在左目图像中的视差值dL(p)等于相对应的右目图像的视差值dR(p-dL(p))，即dL(p)＝dR(p-dL(p))，则认为p是稳定点，否则视为不稳定点。
(403)初始视差置信反映初始视差值正确的概率，若像素点与其邻域内的像素在视差值和颜色信息，像素点有更大的视差置信，视差置信值是基于稳定点和不稳定点设置的；
设B为视差图的视差置信：
Figure GDA0003746370400000173
其中，p为输入图像(左目图像或者右目图像)中的任一像素点，若p为稳定点，则概率为1，反之，该像素点为正确视差值的概率0.1；B(p)表示初始视差图中像素点p的视差置信；
(404)对不稳定点进行孔洞填充：对于不稳定点p(遮挡点)，分别在水平方向上寻找左边、右边的第一个稳定点(非遮挡点)，记作pleft、pright，不稳定点p的视差值d(p)为pleft和pright中视差值较小的一个，即
d(p)＝min(d(pleft),d(pright)) (10)
孔洞填充完成后，得到了初始视差图Dinit。
在步骤(5)具体包括以下步骤：
(501)基于初始视差图和平滑处理后的左目图像建立新的混合权值函数，式(11)所示：
Figure GDA0003746370400000181
wH(m,n)表示连接相邻像素点m和像素点n的边的混合权值，wH(n,m)表示的是连接相邻像素点n和像素点m的边的混合权值，下标H代表混合(hybrid)，Dinit(m)、Dinit(n)分别指的是像素点m和像素点n的初始视差值，Ii(m)、Ii(n)表示像素点m和像素点n的像素值在i通道下的像素值；
像素点m和像素点n为图像上相邻的两个像素点，α表示平衡初始视差图的信息和平滑后的图像像素点的信息(α用来平衡初始视差图的信息和平滑后的图像像素点的信息，α＝0.5)的权值；
Figure GDA0003746370400000182
SH(p,q)表示的是p点和q点的混合相似性函数，下标H表示混合，DH(p,q)表示像素点p到像素点q经过混合权值wH(m,n)沿着路径累积的的距离；σH是混合相似性函数的常数，用于调节两个像素点间的相似性
(502)采用水平树结构对初始视差置信进行置信聚集，聚集过程分为从左往右和从右往左，聚集后像素点的置信聚集值为：
Figure GDA0003746370400000183
Figure GDA0003746370400000184
Figure GDA0003746370400000185
其中，p为图像中的像素点，上标LR表示聚集方向从左往右，RL表示聚集方向从右往左，pl表示像素点p的前一个像素点，pr代表点p的后一个像素点，SH(p,q)表示相邻像素点p与像素点q间的混合相似性；
Figure GDA0003746370400000186
表示像素点p在视差值为d时基于水平树从左往右累加的置信聚集值，B(p)是公式(9)中得到的，表示像素点根据混合权值得到的视差置信聚集值，BA(pr)表示像素点的后一个像素点视差置信聚集值，SH(p,pr)，表示像素点p和后一个点pr的混合相似性，
Figure GDA0003746370400000191
表示从左往右累加的置信聚集值、从右往左累加的置信聚集值、像素点p的视差置信值三者的平均值。
在步骤(6)具体包括以下步骤：
(601)在视差更新阶段，即在置信聚集后，根据步骤(3)中建立的最小生成树(权值是以颜色信息构建的)，基于最小生成树对置信聚集值进行置信传播，包括以下步骤：
(6a)如图3a所示，从叶节点到根节点聚集，即：
Figure GDA0003746370400000192
其中，Ch(p)表示像素点p的子节点，
Figure GDA0003746370400000193
表示像素点p的置信聚集值从叶节点到根节点进行置信传播后的值，所以，像素点p的置信传播值包括像素点p的置信聚集值和来自其所有子树乘边权的总和；
(6b)如图3b所示，从根节点向叶节点聚集，即：
Figure GDA0003746370400000194
其中，Pr(p)代表像素点p的父节点；
Figure GDA0003746370400000195
的像素点p的置信聚集值从根节点到叶节点方向进行置信传播后的值；
(602)如图4所示，对于任一个像素点q，S(p,q)代表了最小生成树中点p和q的颜色信息相似性，置信聚集值BA(q)为q的近邻域中在颜色和视差信息都类似的区域大小，因此S(p,q)BA(q)指的是p和q有相同视差的概率；当
Figure GDA0003746370400000196
时，p的视差值就是q点的最优视差估计，
Figure GDA0003746370400000197
是最优视差估计的概率，所述概率是将最小生成树的置信聚集值进行传播得到的，节点p的置信传播为BPro(p)，最优视差估计定义为视差传播DPro(p)，对于每个节点p：
Figure GDA0003746370400000198
Figure GDA0003746370400000201
其中，视差置信点p(视差置信点指的是经过置信传播后的点)为不稳定点，q点为稳定点，I表示整个输入图像，该过程是为了从稳定点中寻找不稳定点的最优视差估计，从而更新不稳定点的视差值，得到最后的稠密视差图。
一种基于前后向平滑和O(1)复杂度视差立体匹配装置，包括：平滑处理模块、代价函数构建模块、代价聚集模块、视差图获取模块、置信聚集模块和置信传播模块；
平滑处理模块用于分别对左目图像和右目图像进行前向和后向平滑处理；代价函数构建模块基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；代价聚集模块对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；视差图获取模块采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；置信聚集模块结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；置信传播模块在视差值更新阶段，根据最小生成树，将置信聚集值进行置信传播，求得最优视差估计，得到稠密视差图。
平滑处理模块进行平滑处理具体包括以下步骤：
左目图像和右目图像中每个像素点的平滑过程通过扫描水平树结构上的像素点进行更新，以每个像素点为根节点，前向和后向平滑以RGB三通道图像为输入，平滑处理公式为式(1)：
Figure GDA0003746370400000202
Figure GDA0003746370400000203
表示输入图像在i通道下的像素点(u,v)平滑后的像素值；
其中，Ii(u,v)是输入图像在i通道下的像素点(u,v)的像素值，
Figure GDA0003746370400000204
代表输入图像在i通道下的像素点(u,v)前向或者后向迭代的像素值更新：
Figure GDA0003746370400000211
▽rIi(u,v)＝Ii(u,v)-Ii(u,v-r)
其中，常数λ用来调节平滑速度，本发明中设置λ＝0.2，▽rIi(u,v)是输入图像在i通道下的像素点(u,v)在方向r下与相邻像素点的差异，(u,v-r)为水平传播方向上像素点(u,v)的前一个像素点，f和b分别代表前向和后向；ω为常数，可以是一个固定值，或者基于噪声估计，本发明中设置ω＝0.1；当相邻像素点之间有很大差异，尤其是在高纹理区域时，指数项的值很小，因此像素之间的贡献也很小，图像边缘的深度信息能够有效地保持。
前向、后向平滑在抑制背景噪声的同时保留图像真实的深度边缘信息，通过前向、后向平滑来更新强度值，使得图像高纹理区域得到抑制，提高最终匹配的精度；
代价函数构建模块处理过程具体包括以下步骤：
(201)为了避免图像中具有相同灰度、不同颜色信息的像素点间的误匹配，采用RGB三通道信息代替单一的灰度信息；设左目图像中任意一像素点p＝(x,y)，像素点p＝(x,y)对应的视差值为d(视差图为矩阵，矩阵里每一个元素的值就是视差值，所以视差图和视差值的区别在于一个是整体一个是具体某一点的值)，像素点p在右目图像中对应的匹配点为pd＝(x-d,y)；颜色信息CAD(p,d)和梯度信息CGrad(p,d)的表达式为式(4)：
Figure GDA0003746370400000212
Figure GDA0003746370400000213
其中，CAD(p,d)表示视差值为d时像素点p的颜色信息，CGrad(p,d)表示视差值为d时像素点p的梯度信息；
Figure GDA0003746370400000214
表示左目图像的像素点p在i通道下的像素值，
Figure GDA0003746370400000215
表示右目图像的像素点pd在i通道下的像素值；
Figure GDA0003746370400000216
和
Figure GDA0003746370400000217
分别表示左目图像的像素点p的i通道下在x和y方向上的梯度，
Figure GDA0003746370400000218
和
Figure GDA0003746370400000219
分别表示右目图像的像素点pd的i通道下在x和y方向上的梯度；
(202)构建的代价函数为：
C(p,d)＝w1CAD(p,d)+w2CGrad(p,d) (5)
其中，w1、w2分别为颜色信息和梯度信息的权值，w1+w2＝1，本实施例中w1＝0.2；
C(p,d)为视差值为d时像素点p的代价函数，基于代价函数计算代价函数值；
代价聚集模块处理过程具体包括以下步骤：
基于最小生成树的代价聚集值，是代价函数值和相应权值相乘的总和，为式(6)：
Figure GDA0003746370400000221
其中，Cd(q)表示视差值为d时像素点q的代价函数值，q是输入图像中任一像素点；
Figure GDA0003746370400000222
表示视差值为d时像素点P的代价聚集值(Aggregation，表示聚集后的符号)，S(p,q)为像素点p与像素点q相似性函数，表示像素点p与像素点q之间的相似性；
Figure GDA0003746370400000223
其中，D(p,q)表示像素点p与像素点q间的距离，σ是常数，用于调节两个像素点间的相似性；在无纹理区域，每个像素点的值基本一样，颜色信息差值很小但是不为0，这就会导致小权值积累的问题，即许多小的边权值沿着聚集路径不断累积，聚集在无纹理区域就变成了高权值，所以为了抑制该问题，本发明提出改进的权值函数，式(8)下所示：
Figure GDA0003746370400000224
m,n表示图像中的相邻像素点；
Figure GDA0003746370400000225
为RGB三通道中最大的像素值，w(m,n)是相邻像素点的权值，公式(7)中的D(p,q)是由权值w(m,n)沿着路径累积的总和，像素点p与像素点q间的距离是路径上相邻像素点的权值的和；
视差图获取模块处理过程具体包括以下步骤：
(401)采用WTA(赢者通吃)策略得到左目图像的视差图和右目图像的视差图；
(402)通过对左目图像的视差图和右目图像的视差图进行左右一致性检测，将像素点分为稳定点和不稳定点；
若像素点p在左目图像中的视差值dL(p)等于相对应的右目图像的视差值dR(p-dL(p))，即dL(p)＝dR(p-dL(p))，则认为p是稳定点，否则视为不稳定点。
(403)初始视差置信反映初始视差值正确的概率，若像素点与其邻域内的像素在视差值和颜色信息，像素点有更大的视差置信，视差置信值是基于稳定点和不稳定点设置的；
设B为视差图的视差置信，即：
Figure GDA0003746370400000231
其中，p为输入图像(左目图像或者右目图像)中的任一像素点，若p为稳定点，则概率为1，反之，该像素点为正确视差值的概率0.1；B(p)表示初始视差图中像素点p的视差置信；
(404)对不稳定点进行孔洞填充：对于不稳定点p(遮挡点)，分别在水平方向上寻找左边、右边的第一个稳定点(非遮挡点)，记作pleft、pright，不稳定点p的视差值为pleft和pright中视差值较小的一个，即
d(p)＝min(d(pleft),d(pright)) (10)
孔洞填充完成后，得到了初始视差图Dinit；
置信聚集模块处理过程具体包括以下步骤：
(501)基于初始视差图和平滑处理后的左目图像建立新的混合权值函数wH(m,n)，式(11)所示：
Figure GDA0003746370400000232
wH(m,n)表示连接相邻像素点m和像素点n的边的混合权值，wH(n,m)表示的是连接相邻像素点n和像素点m的边的混合权值，下标H代表混合(hybrid)，Dinit(m)、Dinit(n)分别指的是像素点m和像素点n的初始视差值，Ii(m)、Ii(n)表示像素点m和像素点n的像素值在i通道下的像素值；
像素点m和像素点n为图像上相邻的两个像素点，α表示平衡初始视差图的信息和平滑后的图像像素点的信息(α用来平衡初始视差图的信息和平滑后的图像像素点的信息，α＝0.5)的权值；
Figure GDA0003746370400000233
SH(p,q)表示的是p点和q点的混合相似性函数，下标H表示混合，DH(p,q)表示像素点p到像素点q经过混合权值wH(m,n)沿着路径累积的距离；σH是混合相似性函数的常数，用于调节两个像素点间的相似性；
(502)采用水平树结构对初始视差置信进行置信聚集，聚集过程分为从左往右和从右往左，聚集后像素点的置信聚集值为：
Figure GDA0003746370400000241
Figure GDA0003746370400000242
Figure GDA0003746370400000243
置信传播模块处理过程具体包括以下步骤：
(601)在视差更新阶段，即在置信聚集后，根据步骤(3)中建立的最小生成树(权值是以颜色信息构建的)，基于最小生成树对置信聚集值进行置信传播，包括以下步骤：
6a)如图3a所示，从叶节点到根节点聚集，即：
Figure GDA0003746370400000244
其中，Ch(p)代表像素点p的子节点，
Figure GDA0003746370400000245
表示像素点p的置信聚集值从叶节点到根节点进行置信传播后的值，所以，像素点p的置信传播值包括像素点p的置信聚集值和来自其所有子树乘边权的总和；
(6b)如图3b所示，从根节点向叶节点聚集，即：
Figure GDA0003746370400000246
其中，Pr(p)代表像素点p的父节点；
Figure GDA0003746370400000247
是像素点p的置信聚集值从根节点到叶节点方向进行置信传播后的值；
(602)如图4所示对于，任一个像素点q，S(p,q)代表了最小生成树中点p和q的颜色信息相似性，置信聚集值BA(q)为q的近邻域中在颜色和视差信息都类似的区域大小，因此S(p,q)BA(q)指的是p和q有相同视差的概率；当
Figure GDA0003746370400000251
时，p的视差值d(p)就是q点的最优视差估计，
Figure GDA0003746370400000252
是最优视差估计的概率，该概率是将最小生成树的置信聚集值进行传播得到的，节点p的置信传播为BPro(p)，最优视差估计定义为视差传播DPro(p)，对于每个节点p：
Figure GDA0003746370400000253
Figure GDA0003746370400000254
其中，视差置信点p(视差置信点指的是经过置信传播后的点)为不稳定点，q点为稳定点，I表示整个输入图像，该过程是为了从稳定点中寻找不稳定点的最优视差估计，从而更新不稳定点的视差值，得到最后的稠密视差图。
一种计算设备，包括：
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行一种基于前后向平滑和O(1)复杂度视差立体匹配方法的指令。
对于基于最小生成树的非局部立体匹配算法，在视差精化阶段，通过左右一致性检测后得到一个新的代价值，然后在每个视差范围内采用基于最小生成树的方法进行代价聚集，通过将稳定点的视差值传播给不稳定点，从而达到视差值更新的效果，接着采用赢者通吃(WTA)策略计算最终视差。在整个视差精化过程中，对于图像中任一视差范围下的任一像素点，需要2次加法运算和3次乘法运算。所以，对于任一像素点需要2N次加法运算和3N次乘法运算，其中N为视差范围，每个像素的计算复杂度为O(N)。
本发明提出的基于前后向平滑和O(1)复杂度视差精化的立体匹配方法，在置信聚集部分，对于图像中的任一像素点，只需要4次加法和3次乘法运算。在置信传播阶段，任一像素点需要2次加法运算和3次乘法运算，总共需要6次加法和6次乘法运算。所以，对于任一像素点，其计算复杂度为O(1)，大大降低了计算复杂度，提高了匹配效率。
本领域内的技术人员可以对本发明进行改动或变型的设计但不脱离本发明的思想和范围。因此，如果本发明的这些修改和变型属于本发明权利要求及其等同的技术范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于前后向平滑和O(1)复杂度视差立体匹配方法，包括以下步骤：
(1)分别对左目图像和右目图像进行前向和后向平滑处理；
(2)基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；
(3)对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；
(4)采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；
(5)结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；
(6)在视差值更新阶段，根据步骤(3)生成的最小生成树，将置信聚集值进行置信传播，求得最优视差估计，得到稠密视差图。
2.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：
步骤(1)具体包括以下步骤：
左目图像和右目图像中每个像素点的平滑过程通过扫描水平树结构上的像素点进行更新，以每个像素点为根节点，前向和后向平滑以RGB三通道图像为输入，平滑处理公式为式(1)：
Figure FDA0003753806650000011
Figure FDA0003753806650000012
表示输入图像在i通道下的像素点(u,v)平滑后的像素值；
其中，Ii(u,v)是输入图像在i通道下的像素点(u,v)的像素值，
Figure FDA0003753806650000013
表示输入图像在i通道下的像素点(u,v)前向或者后向迭代的像素值更新：
Figure FDA0003753806650000014
Figure FDA0003753806650000015
其中，常数λ用来调节平滑速度，
Figure FDA0003753806650000016
是输入图像在i通道下的像素点(u,v)在方向r下与相邻像素点的差异，(u,v-r)为水平传播方向上像素点(u,v)的前一个像素点，f和b分别代表前向和后向；ω为常数；
前向和后向平滑处理过程包括以下步骤：
S1，从输入图像每一行最左端节点到最右端节点的依次传递，并将前向平滑的结果存储在数组
Figure FDA0003753806650000028
中；
S2，以相反的方向进行，从输入图像每一行最右端节点到最左端节点的依次传递，并将后向平滑的结果存储在数组Ii RL中，得到平滑处理结果为式(3)：
Ii new＝(Ii LR+Ii RL+Ii)/3,i∈R,G,B (3)
Ii new表示在i通道下平滑后的图像矩阵，Ii表示在i通道下原图像；式(3)是数据的矩阵形式。
3.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：
步骤(2)具体包括以下步骤：
(201)采用RGB三通道信息代替单一的灰度信息；设左目图像中任意一像素点p＝(x,y)，像素点p＝(x,y)对应的视差值为d，像素点p在右目图像中对应的匹配点为pd＝(x-d,y)；颜色信息CAD(p,d)和梯度信息CGrad(p,d)的表达式为：
Figure FDA0003753806650000021
Figure FDA0003753806650000022
其中，CAD(p,d)表示视差值为d时像素点p的颜色信息，CGrad(p,d)表示视差值为d时像素点p的梯度信息；
Figure FDA0003753806650000027
表示左目图像的像素点p在i通道下的像素值，
Figure FDA0003753806650000029
表示右目图像的像素点pd在i通道下的像素值；
Figure FDA0003753806650000023
和
Figure FDA0003753806650000024
分别表示左目图像的像素点p的i通道下在x和y方向上的梯度，
Figure FDA0003753806650000025
和
Figure FDA0003753806650000026
分别表示右目图像的像素点pd的i通道下在x和y方向上的梯度；
(202)构建的代价函数为：
C(p,d)＝w1CAD(p,d)+w2CGrad(p,d) (5)
其中，w1、w2分别为颜色信息和梯度信息的权值，w1+w2＝1；
C(p,d)为视差值为d时像素点p的代价函数，基于代价函数计算代价函数值。
4.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：
在步骤(3)具体包括以下步骤：
基于最小生成树的代价聚集值，是代价函数值和相应权值相乘的总和，为式(6)：
Figure FDA0003753806650000031
其中，Cd(q)表示视差值为d时像素点q的代价函数值，q是输入图像中任一像素点；
Figure FDA0003753806650000032
表示视差值为d时像素点P的代价聚集值，S(p,q)为像素点p与像素点q相似性函数，表示像素点p与像素点q之间的相似性；
Figure FDA0003753806650000033
改进的权值函数为式(8)下所示：
Figure FDA0003753806650000034
m,n表示图像中的相邻像素点；
Figure FDA0003753806650000035
为RGB三通道中最大的像素值，w(m,n)是相邻像素点的权值，D(p,q)是由权值w(m,n)沿着路径累积的总和，像素点p与像素点q间的距离是路径上相邻像素点的权值的和。
5.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：在步骤(4)具体包括以下步骤：
(401)采用WTA策略得到左目图像的视差图和右目图像的视差图；
(402)通过对左目图像的视差图和右目图像的视差图进行左右一致性检测，将像素点分为稳定点和不稳定点；
(403)初始视差置信反映初始视差值正确的概率，若像素点与其邻域内的像素在视差值和颜色信息，像素点有更大的视差置信，视差置信值是基于稳定点和不稳定点设置的；
设B为视差图的视差置信：
Figure FDA0003753806650000036
其中，p为输入图像中的任一像素点，若p为稳定点，则概率为1，反之，该像素点为正确视差值的概率0.1；B(p)表示初始视差图中像素点p的视差置信；
(404)对不稳定点进行孔洞填充：对于不稳定点p，分别在水平方向上寻找左边、右边的第一个稳定点，记作pleft、pright，不稳定点p的视差值d(p)为pleft和pright中视差值较小的一个，即
d(p)＝min(d(pleft),d(pright)) (10)
孔洞填充完成后，得到了初始视差图Dinit。
6.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：
在步骤(5)具体包括以下步骤：
(501)基于初始视差图和平滑处理后的左目图像建立新的混合权值函数，式(11)所示：
Figure FDA0003753806650000041
wH(m,n)表示连接相邻像素点m和像素点n的边的混合权值，wH(n,m)表示的是连接相邻像素点n和像素点m的边的混合权值，Dinit(m)、Dinit(n)分别指的是像素点m和像素点n的初始视差值，Ii(m)、Ii(n)表示像素点m和像素点n的像素值在i通道下的像素值；
像素点m和像素点n为图像上相邻的两个像素点，α表示平衡初始视差图的信息和平滑后的图像像素点的信息的权值；
Figure FDA0003753806650000042
SH(p,q)表示像素点p和像素点q的混合相似性函数，下标H表示混合，DH(p,q)表示像素点p和像素点q经过混合权值wH(m,n)沿着路径累积的距离；σH是混合相似性函数的常数；
(502)采用水平树结构对初始视差置信进行置信聚集，聚集过程分为从左往右和从右往左，聚集后像素点的置信聚集值为：
Figure FDA0003753806650000043
Figure FDA0003753806650000044
Figure FDA0003753806650000051
其中，p为图像中的像素点，上标LR表示聚集方向从左往右，RL表示聚集方向从右往左，pl表示像素点p的前一个像素点，pr代表点p的后一个像素点，SH(p,q)表示相邻像素点p与像素点q间的混合相似性；
Figure FDA0003753806650000052
表示像素点p在视差值为d时基于水平树从左往右累加的置信聚集值，B(p)是公式(9)中得到的，表示p点的视差置信值，B(pr)表示像素点的后一个像素点视差置信聚集值，SH(p,pr)，表示像素点p和后一个点pr的混合相似性，
Figure FDA0003753806650000053
表示从左往右累加的置信聚集值、从右往左累加的置信聚集值、像素点p的视差置信值三者的平均值。
7.根据权利要求6所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：
在步骤(6)具体包括以下步骤：
(601)在视差更新阶段，即在置信聚集后，根据步骤(3)中建立的最小生成树，基于最小生成树对置信聚集值进行置信传播，包括以下步骤：
(6a)从叶节点到根节点聚集，即：
Figure FDA0003753806650000054
其中，Ch(p)表示像素点p的子节点，
Figure FDA0003753806650000055
表示像素点p的置信聚集值进行置信传播后的值，所以，
像素点p的置信传播值包括像素点p的置信聚集值和来自其所有子树乘边权的总和；
(6b)从根节点向叶节点聚集，即：
Figure FDA0003753806650000056
其中，Pr(p)表示像素点p的父节点；
Figure FDA0003753806650000057
为像素点p的置信聚集值从根节点到叶节点方向进行置信传播后的值；
(602)对于任一个像素点q，S(p,q)代表了最小生成树中点p和q的颜色信息相似性，置信聚集值BA(q)为q的近邻域中在颜色和视差信息都类似的区域大小，S(p,q)BA(q)表示像素点p和q有相同视差的概率；当
Figure FDA0003753806650000061
时，p的视差值就是q点的最优视差估计，
Figure FDA0003753806650000062
是最优视差估计的概率，所述概率是将最小生成树的置信聚集值进行传播得到的，定义节点p的置信传播为
Figure FDA0003753806650000063
最优视差估计定义为视差传播
Figure FDA0003753806650000064
对于每个节点p：
Figure FDA0003753806650000065
Figure FDA0003753806650000066
其中，视差置信点p为不稳定点，q点为稳定点，I表示整个输入图像。
8.一种基于前后向平滑和O(1)复杂度视差立体匹配装置，其特征在于，包括：
平滑处理模块、代价函数构建模块、代价聚集模块、视差图获取模块、置信聚集模块和置信传播模块；
平滑处理模块用于分别对左目图像和右目图像进行前向和后向平滑处理；
代价函数构建模块基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；
代价聚集模块对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；
视差图获取模块采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；
置信聚集模块结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；
置信传播模块在视差值更新阶段，根据最小生成树，将置信聚集值进行置信传播，求得最优视差估计，得到稠密视差图。
9.根据权利要求8所述的一种基于前后向平滑和O(1)复杂度视差立体匹配装置，其特征在于，
平滑处理模块进行平滑处理具体包括以下步骤：
左目图像和右目图像中每个像素点的平滑过程通过扫描水平树结构上的像素点进行更新，以每个像素点为根节点，前向和后向平滑以RGB三通道图像为输入，平滑处理公式为式(1)：
Figure FDA0003753806650000071
Figure FDA0003753806650000072
表示输入图像在i通道下的像素点(u,v)平滑后的像素值；
其中，Ii(u,v)是输入图像在i通道下的像素点(u,v)的像素值，
Figure FDA0003753806650000073
代表输入图像在i通道下的像素点(u,v)前向或者后向迭代的像素值更新：
Figure FDA0003753806650000074
Figure FDA0003753806650000075
其中，常数λ用来调节平滑速度，
Figure FDA0003753806650000076
是输入图像在i通道下的像素点(u,v)在方向r下与相邻像素点的差异，(u,v-r)为水平传播方向上像素点(u,v)的前一个像素点，f和b分别代表前向和后向；ω为常数；
代价函数构建模块处理过程具体包括以下步骤：
(201)采用RGB三通道信息代替单一的灰度信息；设左目图像中任意一像素点p＝(x,y)，像素点p＝(x,y)对应的视差值为d，像素点p在右目图像中对应的匹配点为pd＝(x-d,y)；颜色信息CAD(p,d)和梯度信息CGrad(p,d)的表达式为式(4)：
Figure FDA0003753806650000077
Figure FDA0003753806650000078
其中，CAD(p,d)表示视差值为d时像素点p的颜色信息，CGrad(p,d)表示视差值为d时像素点p的梯度信息；
Figure FDA0003753806650000079
表示左目图像的像素点p在i通道下的像素值，
Figure FDA00037538066500000710
表示右目图像的像素点pd在i通道下的像素值；
Figure FDA0003753806650000081
和
Figure FDA0003753806650000082
分别表示左目图像的像素点p的i通道下在x和y方向上的梯度，
Figure FDA0003753806650000083
和
Figure FDA0003753806650000084
分别表示右目图像的像素点pd的i通道下在x和y方向上的梯度；
(202)构建的代价函数为：
C(p,d)＝w1CAD(p,d)+w2CGrad(p,d) (5)
其中，w1、w2分别为颜色信息和梯度信息的权值，w1+w2＝1；
C(p,d)为视差值为d时像素点p的代价函数，基于代价函数计算代价函数值；
代价聚集模块处理过程具体包括以下步骤：
基于最小生成树的代价聚集值，是代价函数值和相应权值相乘的总和，为式(6)：
Figure FDA0003753806650000085
其中，Cd(q)表示视差值为d时像素点q的代价函数值，q是输入图像中任一像素点；
Figure FDA0003753806650000086
表示视差值为d时像素点P的代价聚集值，S(p,q)为像素点p与像素点q相似性函数，表示像素点p与像素点q之间的相似性；
Figure FDA0003753806650000087
其中，D(p,q)表示像素点p与像素点q间的距离，σ是常数，用于调节两个像素点间的相似性；改进的权值函数，式(8)下所示：
Figure FDA0003753806650000088
m,n表示图像中的相邻像素点；
Figure FDA0003753806650000089
为RGB三通道中最大的像素值，w(m,n)是相邻像素点的权值，D(p,q)是由权值w(m,n)沿着路径累积的总和，像素点p与像素点q间的距离是路径上相邻像素点的权值的和；
视差图获取模块处理过程具体包括以下步骤：
(401)采用WTA策略得到左目图像的视差图和右目图像的视差图；
(402)通过对左目图像的视差图和右目图像的视差图进行左右一致性检测，将像素点分为稳定点和不稳定点；
(403)初始视差置信反映初始视差值正确的概率，若像素点与其邻域内的像素在视差值和颜色信息，像素点有更大的视差置信，视差置信值是基于稳定点和不稳定点设置的；
设B为视差图的视差置信，即：
Figure FDA0003753806650000091
其中，p为输入图像中的任一像素点，若p为稳定点，则概率为1，反之，该像素点为正确视差值的概率0.1；B(p)表示初始视差图中像素点p的视差置信；
(404)对不稳定点进行孔洞填充：对于不稳定点p，分别在水平方向上寻找左边、右边的第一个稳定点，记作pleft、pright，不稳定点p的视差值d(p)为pleft和pright中视差值较小的一个：
d(p)＝min(d(pleft),d(pright)) (10)
孔洞填充完成后，得到了初始视差图Dinit；
置信聚集模块处理过程具体包括以下步骤：
(501)基于初始视差图和平滑处理后的左目图像建立新的混合权值函数wH(m,n)，式(11)所示：
Figure FDA0003753806650000092
wH(m,n)表示连接相邻像素点m和像素点n的边的混合权值，wH(n,m)表示的是连接相邻像素点n和像素点m的边的混合权值，Dinit(m)、Dinit(n)分别指的是像素点m和像素点n的初始视差值，Ii(m)、Ii(n)表示像素点m和像素点n的像素值在i通道下的像素值；
像素点m和像素点n为图像上相邻的两个像素点，α表示平衡初始视差图的信息和平滑后的图像像素点的信息的权值；
Figure FDA0003753806650000093
SH(p,q)表示的是像素点p和像素点q的混合相似性函数，下标H表示混合，DH(p,q)表示像素点p到像素点q经过混合权值wH(m,n)沿着路径累积的距离；σH是混合相似性函数的常数，用于调节两个像素点间的相似性；
(502)采用水平树结构对初始视差置信进行置信聚集，聚集过程分为从左往右和从右往左，聚集后像素点的置信聚集值为：
Figure FDA0003753806650000101
Figure FDA0003753806650000102
Figure FDA0003753806650000103
其中，p为图像中的像素点，上标LR表示聚集方向从左往右，RL表示聚集方向从右往左，pl表示像素点p的前一个像素点，pr代表点p的后一个像素点，SH(p,q)表示相邻像素点间的混合相似性；
Figure FDA0003753806650000104
表示像素点p在视差值为d时基于水平树从左往右累加的置信聚集值，B(p)是公式(9)中得到的，表示p点的视差置信值，B(pr)表示像素点的后一个像素点视差置信聚集值，SH(p,pr)表示像素点p和后一个点pr的混合相似性，
Figure FDA0003753806650000105
表示从左往右累加的置信聚集值、从右往左累加的置信聚集值、像素点p的视差置信值三者的平均值；
置信传播模块处理过程具体包括以下步骤：
(601)在视差更新阶段，即在置信聚集后，根据步骤(3)中建立的最小生成树，基于最小生成树对置信聚集值进行置信传播，包括以下步骤：
(6a)从叶节点到根节点聚集，即：
Figure FDA0003753806650000106
其中，Ch(p)代表像素点p的子节点，
Figure FDA0003753806650000107
表示像素点p的置信聚集值从叶节点到根节点进行置信传播后的值，所以，像素点p的置信传播值包括像素点p的置信聚集值和来自其所有子树乘边权的总和；
(6b)从根节点向叶节点聚集，即：
Figure FDA0003753806650000111
其中，Pr(p)代表像素点p的父节点；
Figure FDA0003753806650000112
为像素点p的置信聚集值从根节点到叶节点方向进行置信传播后的值；
(602)对于任一个像素点q，S(p,q)代表了最小生成树中点p和q的颜色信息相似性，置信聚集值BA(q)为q的近邻域中在颜色和视差信息都类似的区域大小，因此S(p,q)BA(q)指的是p和q有相同视差的概率；当
Figure FDA0003753806650000113
时，p的视差值d(p)就是q点的最优视差估计，
Figure FDA0003753806650000114
是最优视差估计的概率，I表示整个输入图像，该概率是将最小生成树的置信聚集值进行传播得到的，所以将其定义为置信传播为
Figure FDA0003753806650000115
最优视差估计定义为视差传播
Figure FDA0003753806650000116
对于每个节点p：
Figure FDA0003753806650000117
Figure FDA0003753806650000118
其中，视差置信点p为不稳定点，q点为稳定点，该过程是为了从稳定点中寻找不稳定点的最优视差估计，从而更新不稳定点的视差值，得到最后的稠密视差图。
10.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至7所述的方法中的任一方法的指令。
CN201811016383.6A 2018-08-31 2018-08-31 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备 Active CN109887008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811016383.6A CN109887008B (zh) 2018-08-31 2018-08-31 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811016383.6A CN109887008B (zh) 2018-08-31 2018-08-31 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备

Publications (2)

Publication Number Publication Date
CN109887008A CN109887008A (zh) 2019-06-14
CN109887008B true CN109887008B (zh) 2022-09-13

Family

ID=66924833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811016383.6A Active CN109887008B (zh) 2018-08-31 2018-08-31 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备

Country Status (1)

Country Link
CN (1) CN109887008B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610503B (zh) * 2019-08-21 2023-10-27 河海大学常州校区 一种基于立体匹配的电力刀闸三维信息恢复方法
CN111242999B (zh) * 2020-01-10 2022-09-20 大连理工大学 基于上采样及精确重匹配的视差估计优化方法
CN111415305A (zh) * 2020-03-10 2020-07-14 桂林电子科技大学 恢复三维场景的方法、计算机可读存储介质及无人机
CN111432194B (zh) * 2020-03-11 2021-07-23 北京迈格威科技有限公司 视差图空洞填充方法、装置及电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761270B (zh) * 2016-03-15 2018-11-27 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN106504276B (zh) * 2016-10-25 2019-02-19 桂林电子科技大学 非局部立体匹配方法
CN107274448B (zh) * 2017-07-11 2023-05-23 江南大学 一种基于水平树结构的可变权重代价聚合立体匹配算法

Also Published As

Publication number Publication date
CN109887008A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN109887008B (zh) 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
Dai et al. Mvs2: Deep unsupervised multi-view stereo with multi-view symmetry
Pham et al. Domain transformation-based efficient cost aggregation for local stereo matching
CN101625768B (zh) 一种基于立体视觉的三维人脸重建方法
Foi Noise estimation and removal in MR imaging: The variance-stabilization approach
CN103236082B (zh) 面向捕获静止场景的二维视频的准三维重建方法
Çiğla et al. Efficient edge-preserving stereo matching
CN107578430B (zh) 一种基于自适应权值和局部熵的立体匹配方法
CN103310421B (zh) 针对高清图像对的快速立体匹配方法及视差图获取方法
CN108629809B (zh) 一种精确高效的立体匹配方法
CN109146946B (zh) 一种图像非局部立体匹配方法
CN106875443B (zh) 基于灰度约束的三维数字散斑的整像素搜索方法及装置
CN103702098A (zh) 一种时空域联合约束的三视点立体视频深度提取方法
CN111223059B (zh) 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法
CN103268604B (zh) 双目视频深度图求取方法
CN104318576A (zh) 一种超像素级别的图像全局匹配方法
Yang Local smoothness enforced cost volume regularization for fast stereo correspondence
CN102447917A (zh) 立体图像匹配方法及其设备
CN102740096A (zh) 一种基于时空结合的动态场景立体视频匹配方法
CN112734822A (zh) 一种基于红外和可见光图像的立体匹配算法
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
CN103489183B (zh) 一种基于边缘分割和种子点的局部立体匹配方法
CN107909611A (zh) 一种利用微分几何理论提取空间曲线曲率特征的方法
CN112991421B (zh) 一种机器人视觉立体匹配方法
JP6359985B2 (ja) デプス推定モデル生成装置及びデプス推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant