CN107578430A - 一种基于自适应权值和局部熵的立体匹配方法 - Google Patents

一种基于自适应权值和局部熵的立体匹配方法 Download PDF

Info

Publication number
CN107578430A
CN107578430A CN201710615418.7A CN201710615418A CN107578430A CN 107578430 A CN107578430 A CN 107578430A CN 201710615418 A CN201710615418 A CN 201710615418A CN 107578430 A CN107578430 A CN 107578430A
Authority
CN
China
Prior art keywords
mrow
msub
parallax
mtd
mover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710615418.7A
Other languages
English (en)
Other versions
CN107578430B (zh
Inventor
李文国
陈�田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201710615418.7A priority Critical patent/CN107578430B/zh
Publication of CN107578430A publication Critical patent/CN107578430A/zh
Application granted granted Critical
Publication of CN107578430B publication Critical patent/CN107578430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于自适应权值和局部熵的立体匹配方法，属于双目立体视觉技术邻域。首先在自适应权值理论框架下根据灰度相似性和空间相近性重新定义窗口权值的计算；然后在代价函数中引入数据平滑项并运用图像局部熵确定其惩罚系数；最后对代价聚合得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化，以获得较高精度的视差图。本发明能够得到准确的视差图，提高视差精度。

Description

一种基于自适应权值和局部熵的立体匹配方法
技术领域
本发明涉及一种基于自适应权值和局部熵的立体匹配方法，属于双目立体视觉技术邻域。
背景技术
立体匹配的本质是搜寻空间中的点成像后在不同视图中的位置，并由此得到对应的视差图像。大体上来讲，立体匹配算法可以分为局部匹配算法和全局匹配算法。一般情况下，局部算法具有算法速度快的优点，但是在遮挡、无纹理和重复纹理区域匹配精度不高；全局算法具有匹配精度高的优点，缺点是不仅运算速度远远大于大多数的局部匹配算法，而且往往有很多参数的值难以确定。对于局部匹配算法，首先进行匹配代价的计算和代价聚合，根据窗口区域内的相似度进行匹配，一般有基于固定窗口、多窗口和自适应窗口的局部匹配算法。多窗口法是在不同位置提前定义好的相同大小和形状的支持窗口中选择最好的作为匹配窗口。可以在图像中的每一个像素定义九个位置不同窗口来计算匹配代价，然后将九个窗口中匹配代价最优的作为此像素的视差值。自适应窗口法是为每一个像素自适应选择一个形状和大小最优的匹配窗口，通过评估局部灰度和视差的变化来选取合适的窗口，但是该方法不仅过分依赖初始的视差估计而且计算开销大，匹配窗口的形状被限制为矩形，对于深度不连续区域匹配不够理想。近年来有提出基于色彩和距离信息的自适应支持权重法，有效的提高匹配精度，由于该算法是对彩色图像三个通道进行计算，随着匹配窗口的增加，计算复杂度较高，限制了其实际应用。因此，在保证较高精度的前提下，减小计算复杂度对于局部匹配算法是至关重要的。
发明内容
本发明要解决的技术问题是提出一种基于自适应权值和局部熵的立体匹配方法，用以解决目前传统局部匹配算法精度不高以及计算复杂度较大的问题。
本发明的技术方案是：一种基于自适应权值和局部熵的立体匹配方法，首先在自适应权值理论框架下根据灰度相似性和空间相近性重新定义窗口权值的计算；然后在代价函数中引入数据平滑项并运用图像局部熵确定其惩罚系数；最后对代价聚合得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化，以获得较高精度的视差图。方法具体步骤如下：
步骤一：数据项计算：在确定每个匹配窗口内的权重值时，根据格式塔理论下的相似性和相近性原则，分别利用图像的灰度相似性和空间上的相近性来构造权值计算方式。
步骤二：平滑项计算：为了解决无纹理或者是弱纹理图像区域在匹配过程中较容易出现误匹配问题，可以依据视差图分段平滑的假设，用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正。
步骤三：代价函数计算：代价函数值的大小表示了两个匹配点相似度的大小，本发明中代价函数由数据项和平滑项共同组成。由于立体图像对中总是存在由于光照、遮挡和噪声干扰，导致在匹配过程中会发生误匹配，为了减小这样的误匹配，在匹配代价函数的计算中引入了数据平滑项。
步骤四：代价聚合：在计算匹配代价后，每一个搜索视差都对应着一个匹配代价函数值，选择代价函数值最小时对应的视差即为该像素的最佳视差，从而得到初始视差图。
步骤五：视差精化：视差精化是对初始视差图的进一步优化，提高其匹配精度。在得到初始的视差图之后，由于立体匹配过程中存在遮挡问题，可以通过中值滤波和左右一致性检测对视差图进行后处理。经过左右一致性检查后，在一定程度上可以提高匹配精度，但同时也会产生水平条纹失真问题，为了解决这个问题和进一步提高视差精度，本发明采用加权中值滤波对视差图做进一步后处理，最终获得匹配精度较高的视差图。
所述步骤一的数据项计算的具体过程如下：
在匹配窗口内每个像素权值的表达式可以写为：
w(p,q)＝fg(Δgpq)·fs(Δspq) (1)
fg(Δgpq)和fs(Δspq)分别表示窗口内中心像素p与邻域像素q在灰度上的权重和空间上的权重。
根据灰度相似性原则对函数fg(Δgpq)定义，随着像素p与q灰度差的绝对值Δgpq增大，fg(Δgpq)的函数值越小，又由于图像某些像素由于外部因素的干扰，使得Δgpq很大，这显然是不合乎常理的，这里我们采用了灰度值截断处理的方式。考虑到局部算法的实时性要求，这里采用计较简单的线性核来定义函数fg(Δgpq)，表达式为：
这里的Δgpq为匹配窗口内中心像素p与邻域像素q差的绝对值，t为灰度截断值，与图像的整体灰度分布有关，依据实验决定。
依据二维正态分布具有单值性和旋转对称性，在每一个匹配窗口内，单值性体现在邻域像素权值随着与中心点的距离增加而递减；旋转对称性体现在每一个方向上距离相同时权值也相同。空间上的相近性对函数fs(Δspq)可以定义为服从二维正态分布，表达式为：
这里的Δspq＝x2+y2，x和y分别为中心像素像素p与邻域像素q在x、y方向上的坐标值之差。σ为标准差，其大小决定了fs(Δspq)在二维空间上权值分布的幅度。
匹配代价函数的数据项可以通过在左右图像的匹配窗口内的权值进行计算得到。在计算数据项时，为了避免左右匹配窗内权值差异情况，更准确地计算出匹配视差，需要联合参考图像和目标图像的匹配窗权值来计算。所以数据项可以写为：
和分别表示搜索视差为d时在目标图像匹配窗中的中心像素和邻域像素。Np和分别为参考图像匹配窗内邻域像素的集合和搜索视差为d时目标图像匹配窗内邻域像素的集合。为参考图像匹配窗与视差为d时目标图像匹配窗内相对应灰度值之差的绝对值矩阵，可以写为：
这里的Ir(q)和分别为参考图像匹配窗邻域像素矩阵和视差为d时目标图像匹配窗邻域矩阵。
所述步骤二的平滑项计算的具体过程如下：
用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正。通过对当前正在计算的视差值与领域内已经计算出的视差进行比较，视差越接近，给Esmooth(d)赋予的惩罚量就越小，反之越大。Esmooth(d)可以写为：
p和q分别表示待匹配点和已匹配点，取q为距离p最近的两个点。V(dp,dq)是像素dp和dq的视差平滑约束，可以写为：
P为惩罚常数。平滑项中的λ叫做惩罚系数，可以写为：
λ1、λ2、λ3为常数。本发明提出利用图像的局部熵来确定惩罚系数的取值，因为图像局部熵的大小反映了局部图像信息量的大小，在一定程度上，图像的局部熵越大，纹理信息越丰富，反之图像纹理越弱。图像的局部熵可用下面两个公式计算：
H叫做图像的局部熵，计算局部熵的窗口大小为M×N，f(i,j)为局部窗口中心点像素的灰度值，pij为点(i,j)的概率分布。
所述步骤三的代价函数计算的具体过程如下：
由于立体图像对中总是存在由于光照、遮挡和噪声干扰，导致在匹配过程中会发生误匹配，为了减小这样的误匹配，在匹配代价函数的计算中引入了数据平滑项，这也是符合视差图分段平滑的假设。匹配代价函数定义如下：
E(d)＝Edata(d)+λ·Esmooth(d) (11)
这里的Edata叫做数据项，在左右图像的匹配窗口内计算得出；Esmooth叫做数据平滑项，λ叫做平滑项的惩罚系数。
所述步骤四的代价聚合计算的具体过程如下：
在计算匹配代价后，每一个搜索视差都对应着一个匹配代价函数值E，选择代价函数值最小时对应的视差即为该像素的最佳视差dp，可以写为：
这里的Sd＝{dmin,...,dmax}为视差搜索范围。
所述步骤五的视差精化计算的具体过程如下：
在得到初始的视差图之后，由于立体匹配过程中存在遮挡问题，可以通过中值滤波和左右一致性检测对视差图进行后处理。对于左视差图中的任意一点p(i,j)的视差为d1，则在右视差图中对应点的视差值记为d2，当|d1-d2|小于某个阈值我们称作为正确匹配点，该点视差记为d1，否则，标记为-1记为误匹配点。公式可以写为：
经过左右一致性检查后，在一定程度上可以提高匹配精度，但同时也会产生水平条纹失真问题，采用加权中值滤波对视差图做进一步后处理。以原始的左图像作为引导图像，以校正视差点p作一个校正窗口，可以写为：
Δcpq和Δspq分别为中心像素p和邻域像素q在RGB色彩空间上的差异性和几何空间的距离，λc和λs分别为所对应的权重系数。分析视差图中对应窗口内的视差分布，对p点邻域内所有点在视差图中进行加权直方图统计，统计后每个视差对应的权值为id，按照视差进行升序排列，最后在对加权直方图进行积分，在取得积分中值所对应的视差即为该点的最终视差。公式可以写为：
l为视差搜索时的最大视差。
本发明的有益效果是：能够得到准确的视差图，提高视差精度。
附图说明
图1是本发明的流程图。
图2是不同的匹配方法分别对Tsukuba图像立体匹配的结果对比图；(a)、(b)、(c)、(d)、(e)、(f)、(g)、(h)分别为参考左图、标准视差图、PM-GCP、SymBP+occ、Esaw、RINCensus、本发明算法、误匹配图(error＞1)；
图3是对Tsukuba、Venus和Teddy、Cones图像处理的对比结果图，(a)、(b)、(c)、(d)、(e)分别为参考左图、标准视差图、SymBP+occ、ESAW、本发明算法；
图4是以Tsukuba为例当匹配窗口分别为3×3、11×11、21×21和29×29时利用本发明算法匹配的结果，Tsukuba和Venus的all(所有区域的匹配错误百分比)随匹配窗口大小变化的曲线图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
实施例1：如图1所示，一种基于自适应权值和局部熵的立体匹配方法，首先在自适应权值理论框架下根据灰度相似性和空间相近性重新定义窗口权值的计算；然后在代价函数中引入数据平滑项并运用图像局部熵确定其惩罚系数；最后对代价聚合得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化，以获得较高精度的视差图；
具体步骤如下：
步骤一：数据项计算：在确定每个匹配窗口内的权重值时，根据格式塔理论下的相似性和相近性原则，分别利用图像的灰度相似性和空间上的相近性来构造权值计算方式；
步骤二：平滑项计算：依据视差图分段平滑的假设，用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正；
步骤三：代价函数计算：代价函数值的大小表示两个匹配点相似度的大小，代价函数由数据项和平滑项共同组成，在匹配代价函数的计算中引入数据平滑项；
步骤四：代价聚合：在计算匹配代价后，每一个搜索视差都对应着一个匹配代价函数值，选择代价函数值最小时对应的视差即为该像素的最佳视差，从而得到初始视差图；
步骤五：对得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化，最终获得匹配精度较高的视差图。
所述步骤一的具体步骤为：
在匹配窗口内每个像素权值的表达式为：
w(p,q)＝fg(Δgpq)·fs(Δspq) (1)
式(1)中，fg(Δgpq)和fs(Δspq)分别表示窗口内中心像素p与邻域像素q在灰度上的权重和空间上的权重；
根据灰度相似性原则对函数fg(Δgpq)定义，采用灰度值截断处理方式来定义函数fg(Δgpq)，表达式为：
式(2)中，Δgpq为匹配窗口内中心像素p与邻域像素q差的绝对值，t为灰度截断值；
依据二维正态分布具有单值性和旋转对称性，在每一个匹配窗口内，单值性体现在邻域像素权值随着与中心点的距离增加而递减，旋转对称性体现在每一个方向上距离相同时权值也相同，空间上的相近性对函数fs(Δspq)可以定义为服从二维正态分布，表达式为：
式(3)中，Δspq＝x2+y2，x和y分别为中心像素像素p与邻域像素q在x、y方向上的坐标值之差，σ为标准差，其大小决定了fs(Δspq)在二维空间上权值分布的幅度；
匹配代价函数的数据项通过在左右图像的匹配窗口内的权值进行计算得到，在计算数据项时，需要联合参考图像和目标图像的匹配窗权值来计算，所以数据项为：
式(4)中，和分别表示搜索视差为d时在目标图像匹配窗中的中心像素和邻域像素，Np和分别为参考图像匹配窗内邻域像素的集合和搜索视差为d时目标图像匹配窗内邻域像素的集合，为参考图像匹配窗与视差为d时目标图像匹配窗内相对应灰度值之差的绝对值矩阵为：
式(5)中，Ir(q)和分别为参考图像匹配窗邻域像素矩阵和视差为d时目标图像匹配窗邻域矩阵。
所述步骤二的具体步骤为：
用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正，通过对当前正在计算的视差值与领域内已经计算出的视差进行比较，视差越接近，给Esmooth(d)赋予的惩罚量就越小，反之越大；Esmooth(d)为：
式(6)中，p和q分别表示待匹配点和已匹配点，取q为距离p最近的两个点；
V(dp,dq)是像素dp和dq的视差平滑约束，为：
P为惩罚常数，平滑项中的λ叫做惩罚系数为：
式(8)中，λ1、λ2、λ3为常数；
图像局部熵的大小反映了局部图像信息量的大小，图像的局部熵越大，纹理信息越丰富，反之图像纹理越弱，图像的局部熵用下面两个公式计算：
H表示图像的局部熵，计算局部熵的窗口大小为M×N，f(i,j)为局部窗口中心点像素的灰度值，pij为点(i,j)的概率分布。
所述步骤三的具体步骤为：
为了减小在匹配过程中的误匹配，在匹配代价函数的计算中引入数据平滑项，匹配代价函数定义如下：
E(d)＝Edata(d)+λ·Esmooth(d) (11)
式(11)中，Edata为数据项，在左右图像的匹配窗口内计算得出；Esmooth叫做数据平滑项，λ叫做平滑项的惩罚系数。
所述步骤四的具体步骤为：
在计匹算配代价后，每一个搜索视差都对应着一个匹配代价函数值E，选择代价函数值最小时对应的视差即为该像素的最佳视差dp：
式(12)中，Sd＝{dmin,...,dmax}为视差搜索范围。
所述步骤五的具体步骤为：
在得到初始的视差图之后，由于立体匹配过程中存在遮挡问题，通过中值滤波和左右一致性检测对视差图立体匹配过程中存在遮挡问题进行后处理，对于左视差图中的任意一点p(i,j)的视差为d1，则在右视差图中对应点的视差值记为d2，当|d1-d2|小于某个阈值，则为正确匹配点，该点视差记为d1，否则，标记为-1记为误匹配点；公式为：
经过左右一致性检查后会产生水平条纹失真问题，采用加权中值滤波对视差图做进一步后处理，以原始的左图像作为引导图像，以校正视差点p作一个校正窗口：
式(14)中，Δcpq和Δspq分别为中心像素p和邻域像素q在RGB色彩空间上的差异性和几何空间的距离，λc和λs分别为所对应的权重系数；
分析视差图中对应窗口内的视差分布，对p点邻域内所有点在视差图中进行加权直方图统计，统计后每个视差对应的权值为id，按照视差进行升序排列，最后在对加权直方图进行积分，在取得积分中值所对应的视差即为该点的最终视差：
l为视差搜索时的最大视差。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种基于自适应权值和局部熵的立体匹配方法，其特征在于：首先在自适应权值理论框架下根据灰度相似性和空间相近性重新定义窗口权值的计算；然后在代价函数中引入数据平滑项并运用图像局部熵确定其惩罚系数；最后对代价聚合得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化，以获得较高精度的视差图；
具体步骤如下：
步骤一：数据项计算：在确定每个匹配窗口内的权重值时，根据格式塔理论下的相似性和相近性原则，分别利用图像的灰度相似性和空间上的相近性来构造权值计算方式；
步骤二：平滑项计算：依据视差图分段平滑的假设，用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正；
步骤三：代价函数计算：代价函数值的大小表示两个匹配点相似度的大小，代价函数由数据项和平滑项共同组成，在匹配代价函数的计算中引入数据平滑项；
步骤四：代价聚合：在计算匹配代价后，每一个搜索视差都对应着一个匹配代价函数值，选择代价函数值最小时对应的视差即为该像素的最佳视差，从而得到初始视差图；
步骤五：对得到的初始视差图运用左右一致性检验和加权中值滤波进行视差精化，最终获得匹配精度较高的视差图。
2.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法，其特征在于：所述步骤一的具体步骤为：
在匹配窗口内每个像素权值的表达式为：
w(p,q)＝fg(Δgpq)·fs(Δspq) (1)
式(1)中，fg(Δgpq)和fs(Δspq)分别表示窗口内中心像素p与邻域像素q在灰度上的权重和空间上的权重；
根据灰度相似性原则对函数fg(Δgpq)定义，采用灰度值截断处理方式来定义函数fg(Δgpq)，表达式为：
<mrow> <mi>f</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;g</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <msub> <mi>&amp;Delta;g</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> </mrow> <mi>t</mi> </mfrac> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;g</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>&lt;</mo> <mi>t</mi> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0.008</mn> </mtd> <mtd> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;g</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>&amp;GreaterEqual;</mo> <mi>t</mi> <mo>)</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
式(2)中，Δgpq为匹配窗口内中心像素p与邻域像素q差的绝对值，t为灰度截断值；
依据二维正态分布具有单值性和旋转对称性，在每一个匹配窗口内，单值性体现在邻域像素权值随着与中心点的距离增加而递减，旋转对称性体现在每一个方向上距离相同时权值也相同，空间上的相近性对函数fs(Δspq)可以定义为服从二维正态分布，表达式为：
<mrow> <mi>f</mi> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;s</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <msup> <mi>&amp;pi;&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;Delta;s</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
式(3)中，Δspq＝x2+y2，x和y分别为中心像素像素p与邻域像素q在x、y方向上的坐标值之差，σ为标准差，其大小决定了fs(Δspq)在二维空间上权值分布的幅度；
匹配代价函数的数据项通过在左右图像的匹配窗口内的权值进行计算得到，在计算数据项时，需要联合参考图像和目标图像的匹配窗权值来计算，所以数据项为：
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <msub> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mi>N</mi> <mi>p</mi> <mo>,</mo> <msub> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>&amp;Element;</mo> <mi>N</mi> <msub> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> </mrow> </msub> <mi>w</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>,</mo> <msub> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mi>e</mi> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <msub> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mi>N</mi> <mi>p</mi> <mo>,</mo> <msub> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>&amp;Element;</mo> <mi>N</mi> <msub> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> </mrow> </msub> <mi>w</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>,</mo> <msub> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
式(4)中，和分别表示搜索视差为d时在目标图像匹配窗中的中心像素和邻域像素，Np和分别为参考图像匹配窗内邻域像素的集合和搜索视差为d时目标图像匹配窗内邻域像素的集合，为参考图像匹配窗与视差为d时目标图像匹配窗内相对应灰度值之差的绝对值矩阵为：
<mrow> <mi>e</mi> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <msub> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>I</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <msub> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
式(5)中，Ir(q)和分别为参考图像匹配窗邻域像素矩阵和视差为d时目标图像匹配窗邻域矩阵。
3.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法，其特征在于：所述步骤二的具体步骤为：
用视差图中已经计算出来的邻域视差对当前正在计算的视差进行修正，通过对当前正在计算的视差值与领域内已经计算出的视差进行比较，视差越接近，给Esmooth(d)赋予的惩罚量就越小，反之越大；Esmooth(d)为：
<mrow> <msub> <mi>E</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <mi>V</mi> <mrow> <mo>(</mo> <mi>d</mi> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mi>q</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
式(6)中，p和q分别表示待匹配点和已匹配点，取q为距离p最近的两个点；
V(dp,dq)是像素dp和dq的视差平滑约束，为：
<mrow> <mi>V</mi> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mi>p</mi> </msub> <mo>,</mo> <msub> <mi>d</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mi>p</mi> </msub> <mo>=</mo> <msub> <mi>d</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mi>P</mi> </mtd> <mtd> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>d</mi> <mi>p</mi> </msub> <mo>-</mo> <msub> <mi>d</mi> <mi>q</mi> </msub> <mo>|</mo> <mo>=</mo> <mn>1</mn> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>2</mn> <mi>P</mi> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>d</mi> <mi>p</mi> </msub> <mo>-</mo> <msub> <mi>d</mi> <mi>q</mi> </msub> <mo>|</mo> <mo>&gt;</mo> <mn>1</mn> <mo>)</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
P为惩罚常数，平滑项中的λ叫做惩罚系数为：
<mrow> <mi>&amp;lambda;</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> </mtd> <mtd> <mrow> <mo>(</mo> <mi>H</mi> <mo>&lt;</mo> <msub> <mi>T</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> </mtd> <mtd> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mn>1</mn> </msub> <mo>&amp;le;</mo> <mi>H</mi> <mo>&amp;le;</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <msub> <mi>&amp;lambda;</mi> <mn>3</mn> </msub> </mtd> <mtd> <mrow> <mo>(</mo> <mi>H</mi> <mo>&gt;</mo> <msub> <mi>T</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
式(8)中，λ1、λ2、λ3为常数；
图像局部熵的大小反映了局部图像信息量的大小，图像的局部熵越大，纹理信息越丰富，反之图像纹理越弱，图像的局部熵用下面两个公式计算：
<mrow> <mi>H</mi> <mo>=</mo> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mi>log</mi> <mi> </mi> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
H表示图像的局部熵，计算局部熵的窗口大小为M×N，f(i,j)为局部窗口中心点像素的灰度值，pij为点(i,j)的概率分布。
4.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法，其特征在于：所述步骤三的具体步骤为：
为了减小在匹配过程中的误匹配，在匹配代价函数的计算中引入数据平滑项，匹配代价函数定义如下：
E(d)＝Edata(d)+λ·Esmooth(d) (11)
式(11)中，Edata为数据项，在左右图像的匹配窗口内计算得出；Esmooth叫做数据平滑项，λ叫做平滑项的惩罚系数。
5.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法，其特征在于：所述步骤四的具体步骤为：
在计匹算配代价后，每一个搜索视差都对应着一个匹配代价函数值E，选择代价函数值最小时对应的视差即为该像素的最佳视差dp：
<mrow> <mi>d</mi> <mi>p</mi> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>d</mi> <mo>&amp;Element;</mo> <msub> <mi>s</mi> <mi>d</mi> </msub> </mrow> </munder> <mi>E</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <msub> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
式(12)中，Sd＝{dmin,...,dmax}为视差搜索范围。
6.根据权利要求1所述的基于自适应权值和局部熵的立体匹配方法，其特征在于：所述步骤五的具体步骤为：
在得到初始的视差图之后，由于立体匹配过程中存在遮挡问题，通过中值滤波和左右一致性检测对视差图立体匹配过程中存在遮挡问题进行后处理，对于左视差图中的任意一点p(i,j)的视差为d1，则在右视差图中对应点的视差值记为d2，当|d1-d2|小于某个阈值，则为正确匹配点，该点视差记为d1，否则，标记为-1记为误匹配点；公式为：
<mrow> <mi>d</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>d</mi> <mn>1</mn> </msub> </mtd> <mtd> <mrow> <mo>(</mo> <mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>=</mo> <msub> <mi>d</mi> <mn>2</mn> </msub> </mrow> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
经过左右一致性检查后会产生水平条纹失真问题，采用加权中值滤波对视差图做进一步后处理，以原始的左图像作为引导图像，以校正视差点p作一个校正窗口：
<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mo>(</mo> <mrow> <mfrac> <mrow> <msub> <mi>&amp;Delta;c</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> </mrow> <msub> <mi>&amp;lambda;</mi> <mi>c</mi> </msub> </mfrac> <mo>+</mo> <mfrac> <mrow> <msub> <mi>&amp;Delta;s</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> </mrow> <msub> <mi>&amp;lambda;</mi> <mi>s</mi> </msub> </mfrac> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
式(14)中，Δcpq和Δspq分别为中心像素p和邻域像素q在RGB色彩空间上的差异性和几何空间的距离，λc和λs分别为所对应的权重系数；
分析视差图中对应窗口内的视差分布，对p点邻域内所有点在视差图中进行加权直方图统计，统计后每个视差对应的权值为id，按照视差进行升序排列，最后在对加权直方图进行积分，在取得积分中值所对应的视差即为该点的最终视差：
<mrow> <msub> <mi>d</mi> <mi>p</mi> </msub> <mo>=</mo> <mi>min</mi> <mi> </mi> <mi>l</mi> <mi> </mi> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>d</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>l</mi> </munderover> <msub> <mi>i</mi> <mi>d</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>d</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>l</mi> </munderover> <msub> <mi>i</mi> <mi>d</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
l为视差搜索时的最大视差。
CN201710615418.7A 2017-07-26 2017-07-26 一种基于自适应权值和局部熵的立体匹配方法 Active CN107578430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710615418.7A CN107578430B (zh) 2017-07-26 2017-07-26 一种基于自适应权值和局部熵的立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710615418.7A CN107578430B (zh) 2017-07-26 2017-07-26 一种基于自适应权值和局部熵的立体匹配方法

Publications (2)

Publication Number Publication Date
CN107578430A true CN107578430A (zh) 2018-01-12
CN107578430B CN107578430B (zh) 2021-01-05

Family

ID=61034001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710615418.7A Active CN107578430B (zh) 2017-07-26 2017-07-26 一种基于自适应权值和局部熵的立体匹配方法

Country Status (1)

Country Link
CN (1) CN107578430B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN108510529A (zh) * 2018-03-14 2018-09-07 昆明理工大学 一种基于自适应权值的图割立体匹配方法
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法
CN108898575A (zh) * 2018-05-15 2018-11-27 华南理工大学 一种新型自适应权重立体匹配方法
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法
CN109784261A (zh) * 2019-01-09 2019-05-21 深圳市烨嘉为技术有限公司 基于机器视觉的行人分割与识别方法
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN110223257A (zh) * 2019-06-11 2019-09-10 北京迈格威科技有限公司 获取视差图的方法、装置、计算机设备和存储介质
CN110220493A (zh) * 2018-03-02 2019-09-10 北京图森未来科技有限公司 一种双目测距方法及其装置
CN113827340A (zh) * 2021-09-09 2021-12-24 王其景 一种管理手术患者信息的导航系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114332A1 (en) * 2003-11-26 2005-05-26 Lee Shih-Jong J. Fast high precision matching method
CN103996201A (zh) * 2014-06-11 2014-08-20 北京航空航天大学 一种基于改进梯度和自适应窗口的立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN106530336A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 基于色彩信息和图割理论的立体匹配算法
CN106530333A (zh) * 2016-10-10 2017-03-22 天津大学 基于捆绑约束的分级优化立体匹配方法
CN106709948A (zh) * 2016-12-21 2017-05-24 浙江大学 一种基于超像素分割的快速双目立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114332A1 (en) * 2003-11-26 2005-05-26 Lee Shih-Jong J. Fast high precision matching method
CN103996201A (zh) * 2014-06-11 2014-08-20 北京航空航天大学 一种基于改进梯度和自适应窗口的立体匹配方法
CN106530333A (zh) * 2016-10-10 2017-03-22 天津大学 基于捆绑约束的分级优化立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN106530336A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 基于色彩信息和图割理论的立体匹配算法
CN106709948A (zh) * 2016-12-21 2017-05-24 浙江大学 一种基于超像素分割的快速双目立体匹配方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322724B (zh) * 2018-02-06 2019-08-16 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN110220493A (zh) * 2018-03-02 2019-09-10 北京图森未来科技有限公司 一种双目测距方法及其装置
US12031842B2 (en) 2018-03-02 2024-07-09 Beijing Tusen Zhitu Technology Co., Ltd. Method and apparatus for binocular ranging
CN110220493B (zh) * 2018-03-02 2023-11-10 北京图森智途科技有限公司 一种双目测距方法及其装置
US11274922B2 (en) 2018-03-02 2022-03-15 Beijing Tusen Zhitu Technology Co., Ltd. Method and apparatus for binocular ranging
CN108510529A (zh) * 2018-03-14 2018-09-07 昆明理工大学 一种基于自适应权值的图割立体匹配方法
CN108520537A (zh) * 2018-03-29 2018-09-11 电子科技大学 一种基于光度视差的双目深度获取方法
CN108520537B (zh) * 2018-03-29 2020-02-18 电子科技大学 一种基于光度视差的双目深度获取方法
CN108898575A (zh) * 2018-05-15 2018-11-27 华南理工大学 一种新型自适应权重立体匹配方法
CN108898575B (zh) * 2018-05-15 2022-04-22 华南理工大学 一种新型自适应权重立体匹配方法
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法
CN109784261A (zh) * 2019-01-09 2019-05-21 深圳市烨嘉为技术有限公司 基于机器视觉的行人分割与识别方法
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN110223257A (zh) * 2019-06-11 2019-09-10 北京迈格威科技有限公司 获取视差图的方法、装置、计算机设备和存储介质
CN110223257B (zh) * 2019-06-11 2021-07-09 北京迈格威科技有限公司 获取视差图的方法、装置、计算机设备和存储介质
CN113827340A (zh) * 2021-09-09 2021-12-24 王其景 一种管理手术患者信息的导航系统及方法

Also Published As

Publication number Publication date
CN107578430B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN107578430A (zh) 一种基于自适应权值和局部熵的立体匹配方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN106056155B (zh) 基于边界信息融合的超像素分割方法
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN110148181A (zh) 一种通用双目立体匹配方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN106408513B (zh) 深度图超分辨率重建方法
CN107301664A (zh) 基于相似性测度函数的改进局部立体匹配方法
CN106504276A (zh) 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法
CN106709948A (zh) 一种基于超像素分割的快速双目立体匹配方法
CN108932536A (zh) 基于深度神经网络的人脸姿态重建方法
CN103955945B (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN109903331A (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN108596975A (zh) 一种针对弱纹理区域的立体匹配算法
CN102609950B (zh) 一种二维视频深度图的生成方法
CN110110646A (zh) 一种基于深度学习的手势图像关键帧提取方法
CN106408596B (zh) 基于边缘的局部立体匹配方法
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN106530336B (zh) 基于色彩信息和图割理论的立体匹配方法
CN102263979A (zh) 一种平面视频立体化的深度图生成方法及装置
CN106355608A (zh) 基于可变权重代价计算与S‑census变换的立体匹配方法
CN106600632A (zh) 一种改进匹配代价聚合的立体匹配算法
CN105957107A (zh) 行人检测与跟踪方法及装置
CN103826032A (zh) 深度图后期处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant