CN111914913A - 一种新型立体匹配优化方法 - Google Patents

一种新型立体匹配优化方法 Download PDF

Info

Publication number
CN111914913A
CN111914913A CN202010692999.6A CN202010692999A CN111914913A CN 111914913 A CN111914913 A CN 111914913A CN 202010692999 A CN202010692999 A CN 202010692999A CN 111914913 A CN111914913 A CN 111914913A
Authority
CN
China
Prior art keywords
parallax
image
matching
window
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010692999.6A
Other languages
English (en)
Other versions
CN111914913B (zh
Inventor
文斌
朱晗
杨超
李知聪
曹仁轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202010692999.6A priority Critical patent/CN111914913B/zh
Publication of CN111914913A publication Critical patent/CN111914913A/zh
Application granted granted Critical
Publication of CN111914913B publication Critical patent/CN111914913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种新型立体匹配优化方法，输入双摄像头拍摄后经过校正的、图像类型为RGB的左右图像，将所述左右图像转换为灰度图，设定其中一个为参考图像，另一个为检索图像，进行局部匹配；建立自适应窗口；根据欧式空间的接近性和Lab颜色空间的相似性，构造自适应权重；构造匹配代价：根据胜者为王算法，计算初始视差；根据左右一致性原则剔除误匹配点，再用邻点法补充剔除的误匹配点；应用边缘约束算法进行视差聚类，得到优化视差图。相较于传统自适应权重算法，本发明方法所得到的视差图精度相比较原算法而言得到明显改善，极大的提升了在低纹理和视差不连续区域的匹配效果。

Description

一种新型立体匹配优化方法
技术领域
本发明涉及数字图像处理领域，具体涉及一种新型立体匹配优化方法。
背景技术
立体匹配指的是通过双摄像头中的二维场景，通过对校正后的二维场景图片进行视差匹配获取三位场景深度信息的过程。其基本原理是在被检索图像中，寻找参考图像在该图像中的投影点。由于校正后的参考图像中的点与投影点处于同一水平坐标上，因此只要计算参考点与投影点水平坐标的绝对值，就可以得到参考点的视差值，根据参考点的视差值就可以计算出该参考点所对应的深度信息。通过这种方式所获取的深度信息，被广泛的应用于移动机器人技术、3D建模技术、航空航天。
现有技术中立体匹配存在低纹理、以及视差不连续区域匹配效果较差的问题。边缘信息对低纹理区域有很好的约束作用，然而现有技术方案中，多将注意力放在匹配过程，对视差的优化中也缺乏对边缘信息的考察，因此导致低纹理区域视差匹配效果较差问题。而视差不连续区域，目前认为自适应窗口算法对该区域匹配有提升作用，在《A stereomatching algorithm with an adaptive window：theory and experiment》中，提出通过测算局部灰度和视差变换来选取适当窗口的方法，但该方法效率低下。《根据灰度值信息自适应窗口的半全局匹配》中提出根据窗口内像素灰度值的平均值选择窗口，该算法运行时间得到降低，但误匹配率却有所升高。
发明内容
为提高在低纹理和视差不连续区域的匹配效果，本发明提供一种新型立体匹配优化方法，该方法将RGB颜色空间下的绝对像素差与高斯差分图像的绝对像素差相结合，作为自适应权重算法的匹配代价，提出基于高斯差分图像判断的自适应窗口大小的方法，并应用基于边缘约束的视差聚类优化算法。相较于传统自适应权重算法，本发明方法所得到的视差图精度相比较原算法而言得到明显改善，极大的提升了在低纹理和视差不连续区域的匹配效果。
本发明采取的技术方案为：
一种新型立体匹配优化方法，包括以下步骤：
S1：输入双摄像头拍摄后经过校正的、图像类型为RGB的左右图像，将所述左右图像转换为灰度图，设定其中一个为参考图像，另一个为检索图像，进行局部匹配；
S2：建立自适应窗口；
S3：根据欧式空间的接近性和Lab颜色空间的相似性，构造自适应权重；
S4：构造匹配代价：
S5：根据胜者为王算法，计算初始视差；
S6：根据左右一致性原则剔除误匹配点，再用邻点法补充剔除的误匹配点；
S7：应用边缘约束算法进行视差聚类，得到优化视差图。
所述S1中，初始局部匹配的窗口大小为7×7，经过本发明的大量验证，7×7大小在固定窗口计算时准确率最高。
所述S2中，建立自适应窗口，包括以下步骤：
S2.1、根据高斯差分函数处理图像；
计算高斯差分图像的公式如下：
DOG(x，y)＝|g1(x，y)-g2(x，y)|＝|Gσ1(x，y)*I(x，y)-Gσ2(x，y)*I(x，y)|
式中，I(x，y)为图像的灰度值，Gσ1(x，y)和Gσ2(x，y)分别为σ为σ1，σ2时的高斯函数，*为卷积符号，g1(x，y)和g2(x，y)分别为滤波后的灰度图像。
S2.2、阈值分割：
Figure BDA0002590015470000021
D(x，y)为高斯差分图像DOG(x，y)的阈值分割图像，TD为阈值。
S2.3、像素统计：
统计初始窗口范围内像素点的个数来判断纹理的丰富程度。
Figure BDA0002590015470000022
统计大小为K×K(K为奇数)像素范围内大于阈值TD的像素点个数，若个数小于ε，则为低纹理区域，反之，则为纹理丰富区域。其中，(x，y)为中心像素点的坐标。
S2.4、自适应选择窗口大小：若像素统计的结果为低纹理区域，则选择较小窗口；反之，则选择较大窗口。
所述S3中，构造自适应权重方法包括：
将RGB图像转换为Lab图像，结合Lab颜色空间和欧氏空间计算像素点权重，公式如下：
Figure BDA0002590015470000031
其中：p为窗口中心像素点，q为窗口内其他任意一点，xp，yp，xq，yq分别表示p，q两点在欧式空间中的坐标值，Lp，Lq分别表示p，q两点在Lab颜色空间的亮度，ap，aq分别代表p，q两点在红色/品红色和绿色之间的位置，bp，bq分别代表p，q两点在黄色和蓝色之间的位置，λd，λc分别表示距离差异系数和颜色差异系数。
所述S4中，构造匹配代价的方法包括：
先根据RGB颜色空间分量和高斯差分分量的差异性，构造基本初始匹配代价，再结合自适应权重形成用于计算视差的匹配代价；
其基本初始匹配代价的构造公式如下：
Figure BDA0002590015470000032
其中：
Figure BDA0002590015470000033
就是q，
Figure BDA0002590015470000034
之间的初始匹配代价，Ic(q)，
Figure BDA0002590015470000035
分别表示匹配点q和待匹配点
Figure BDA0002590015470000036
所在颜色空间的色度值，A为RGB颜色空间分量差分权重，B为高斯差分图差分权重。
Figure BDA0002590015470000037
为像素点q，
Figure BDA0002590015470000038
之间高斯差分图像差分的绝对值，其构造公式为：
Figure BDA0002590015470000039
DOG所表示的就是高斯差分图像，其具体构造方式如下：
DOG(x，y)＝|g1(x，y)-g2(x，y)|＝|Gσ1(x，y)*I(x，y)-Gσ2(x，y)*I(x，y)|
式中，I(x，y)为图像的灰度值，Gσ1(x，y)和Gσ2(x，y)分别为σ为σ1，σ2时的高斯函数，*为卷积符号，g1(x，y)和g2(x，y)分别为滤波后的灰度图像。
用于计算视差的匹配代价构造如下：
Figure BDA00025900154700000310
其中，q为窗口内任意一点，Np，
Figure BDA00025900154700000311
分别表示以p，
Figure BDA00025900154700000312
为中心点的窗口范围，W(p，q)，
Figure BDA00025900154700000313
分别表示p，q之间、
Figure BDA00025900154700000314
之间的自适应权重。
所述S6中，邻点法的基本原则是在以误匹配点为中心的范围内，寻找最近的正确匹配点。
所述S7中，边缘约束算法，包括以下步骤：
S7.1、通过Canny算子计算，获取边缘图像信息；
S7.2、获取既包含视差信息又含有边缘信息的融合图像，融合图像通过S5中的初始视差与
S7.1中的边缘图像融合得到；
S7.3、应用边缘信息对融合图像进行约束处理：
约束处理方法分别在高维度和宽维度独立作用，但两个维度的处理方法完全相同；以宽维度为例，首先计算该维度上相邻的包含边缘信息像素点所约束视差点的视差平均值，将该范围内与视差平均值差异较大的视差点归为离群点，并将离群点剔除，重新计算视差平均值，并将更新后的视差平均值作为该范围内所有视差点的视差值，遍历整幅图像。
S7.4、消除边缘信息，恢复视差：
对S7.3的结果图像作阈值分割，消除边缘信息，包含视差信息的像素点不变；所述恢复视差的方法为，对S7.1的边缘图像作阈值分割，并将包含边缘信息的像素点的值置为1，其余为0，通过与初始视差图像相乘，获取边缘位置上的视差信息，并将结果与消除边缘信息的融合图像再次融合，恢复视差。
S7.5、中值滤波；
S7.6、对上述操作后得到的视差图，重复S7，直到满足要求：即迭代优化后的效果明显小于设定阈值。
En+1-En＜ξ
En，En+1分别表示第n次，第n+1次迭代的匹配准确率，ξ是设定阈值。
本发明一种新型立体匹配优化方法，技术效果如下：
1)进行局部匹配时，提出了自适应窗口的选择方法，该方法简单有效，可以根据图像所包含的简单信息自适应的选择有效窗口。
2)修改了基本初始匹配代价，增加了高斯差分图像差异性的相似性度量，提高视差不连续区域的匹配能力，增加了算法的鲁棒性能。
3)提出了基于边缘信息约束的视差处理方法，以包含边缘信息的像素点作为约束边界进行视差聚类，剔除误匹配点，进行视差填充，可以有效的解决由于低纹理区域难以匹配易造成视差空洞现象，减小匹配误差。
附图说明
图1为本发明方法的流程图。
具体实施方式
实施例：
如图1所示，一种新型立体匹配方法，包括如下步骤：
S1：输入的图像为双目摄像头拍摄后经过校正的左右图像，图像类型为RGB，将RGB图像转换为灰度图，设定其中一个为参考图像，另一个为检索图像，进行局部匹配；
S2：建立自适应窗口：
立体匹配是在检索图像中寻找参考图像对应的投影点，两点之间的相似性度量称之为匹配代价，因此，具有性能更佳的相似性度量是立体匹配的关键。其中，窗口大小的选择对相似性度量起到了关键作用，窗口选择过小，就无法得到更多的特征像素点，难以准确匹配；纹理丰富的区域匹配窗口选择过大，易造成前景膨胀效应和匹配计算复杂度过高。因此，本发明提出了建立自适应窗口的方法，具体分为以下四步：
S2.1、根据高斯差分函数处理图像：
DOG(x，y)＝|g1(x，y)-g2(x，y)|＝|Gσ1(x，y)*I(x，y)-Gσ2(x，y)*I(x，y)|
式中，I(x，y)为图像的灰度值，Gσ1(x，y)和Gσ2(x，y)分别为σ为σ1，σ2时的高斯函数，*为卷积符号，g1(x，y)和g2(x，y)分别为滤波后的灰度图像。本发明中σ1＝0.1，σ2＝255。
S2.2、阈值分割：
Figure BDA0002590015470000051
D(x，y)为高斯差分图像DOG(x，y)的阈值分割图像，TD为阈值。
S2.3、像素统计：
由于经过高斯差分函数具有增强图像边缘细节的作用，本发明通过统计初始窗口范围内像素点的个数来判断纹理的丰富程度。
Figure BDA0002590015470000052
统计大小为K×K窗口内大于阈值TD的像素点个数，若个数小于ε，则为低纹理区域，反之，则为纹理丰富区域。
S2.4、根据纹理的丰富程度，自适应选择窗口大小。
S3：根据欧式空间的接近性和Lab颜色空间的相似性构造自适应权重：
上面所述的相似性度量分为空间接近性和颜色相似性，分别由以下两个公式计算：
空间接近性：
Figure BDA0002590015470000061
λd为距离差异系数，ΔDpq为p和q在欧式空间中的距离。
颜色接近性：
Figure BDA0002590015470000062
λc为颜色差异系数，ΔCpq为p和q在Lab颜色空间中的距离。
构造自适应权重：
Figure BDA0002590015470000063
S4、构造匹配代价：
本发明中提出了全新的初始匹配代价，该匹配代价由RGB颜色空间分量和高斯差分图的差异性组成，具体公式如下：
RGB颜色空间分量的差异性表示为：
Figure BDA0002590015470000064
q，
Figure BDA0002590015470000065
是一对对应点，Ic表示像素点所在颜色空间的色度值，ΔIc表示色度值的绝对差。高斯差分图像的差异性表示为：
Figure BDA0002590015470000066
DOG表示高斯差分图像，ΔDOG为高斯差分图像差分的绝对值。
两者结合的基本初始匹配代价为：
Figure BDA0002590015470000067
对基本初始匹配代价加入自适应权重，可以得到用于视差评估的匹配代价：
Figure BDA0002590015470000068
S5、根据胜者为王算法计算初始视差：
胜者为王算法是计算视差的基本算法，假设匹配点之间的匹配代价为{E1，E2…Eσ…En}，若Eσ＝min{E1，E2…Eσ…En}，则该匹配点的视差为σ，其中，min为取最小值。本发明应用这样的方法，求得初始视差。
S6、根据左右一致性原则剔除误匹配点，再用邻点法补充剔除的误匹配点；
为了提高立体匹配的精度，遮挡处理起到了较为关键的作用，本发明应用左右一致性检测，若参考图像和检索图像一对对应的匹配点视差不一致时，则认为是误匹配点；反之，则认为是正确匹配点。
本发明中将误匹配点直接剔除，补充剔除的误匹配点的方法是邻点法，该方法以误匹配点为中心，对四个方向进行搜寻，找出距离误匹配点最近的正确匹配点，将最近的正确匹配点的视差值作为误匹配点的视差值。
S7、应用边缘约束算法进行视差聚类，得到优化视差图：
众所周知，视差在某一类区域中存在连续性的特点，可以利用这一特点对视差在某一约束范围内进行聚类处理。本发明提出以边缘信息作为约束条件，以包含边缘信息的像素点作为约束边界进行视差聚类，剔除误匹配点，进行视差填充，可以有效的解决由于低纹理区域难以匹配易造成视差空洞现象，减小匹配误差。详细步骤如下：
S7.1、获取边缘图像；
本发明中采用Canny算子提取初始图像的边缘信息，得到的图像称之为边缘图像。
EdgeImg＝Canny(InitImg)
式中，EdgeImg为得到的边缘图像，InitImg为初始图像。
S7.2、获取既包含视差信息又含有边缘信息的融合图像；
本发明将边缘信息与视差信息进行融合，简称为融合图像，公式如下：
FusionImg＝EdgeImg+DispImg
FusionImg为得到的融合图像，DispImg为视差图。
S7.3、应用边缘信息对融合图像进行约束处理；
边缘约束的处理是一种一维处理方法，这是根据边缘信息所约束二维空间的不规则性所决定的。本发明分别从高、宽两个维度对S7.2得到的融合图像进行处理，两个维度的处理方式相同。以宽维度为例，处理方式按以下步骤进行：
统计该维度上相邻边缘像素点之间所约束的视差点的视差值之和以及视差点数量，计算该范围内的视差平均值：
Figure BDA0002590015470000081
式中，SumDisp为所约束视差点视差值之和，n为所约束视差点数量，AvgDisp为该范围内的平均视差值。
根据异常点的视差值与正常视差点视差值的差异性，本发明采用了一种简单的方法来辨别离群点，将视差点与上述所计算的平均视差值逐一比较，若差异较大，则认为是离群点；反之，则认为是正确匹配点。
Figure BDA0002590015470000082
在剔除这些离群点之后，重复先前操作，统计该维度上相邻像素点之间所约束的正确视差点的视差值之和以及视差点数量，更新该范围内的视差平均值。
最后将更新后的视差平均值作为该约束范围内所有视差点的视差值。遍历整幅融合图像。
S7.4、消除边缘信息，恢复视差：
本发明在先前的视差处理中，针对的是被约束的视差点，对包含边缘信息的像素点未做处理，将采用如下步骤消去边缘信息，恢复视差图：
由于包含边缘信息像素点的像素值与视差点的像素值存在明显差异，因此本发明采用阈值分割的方法对S7.3中进行约束处理后的融合图像进行变换，消去边缘信息：
Figure BDA0002590015470000083
式中，FusionImg′为处理后的融合图像，含有边缘信息的像素点的像素值被设置为0。变换之后的图像不再包含边缘信息，但同时被剔除的还有被边缘信息所覆盖的视差信息，为了恢复该部分的视差信息，首先对S7.1中原始的边缘图像作阈值分割处理，确定缺少视差信息的像素点的位置坐标：
Figure BDA0002590015470000084
EdgeImg′中将含有边缘信息像素点的像素值都设为1，以表示位置信息。
确定了位置之后，利用一种点对点的提取方式，提取该位置的视差信息：
DispImg′＝DispImg×EdgeImg′
DispImg′为包含被边缘信息所覆盖视差点的图像。
填补视差信息，恢复视差图：
EndDispImg＝DispImg′+FusionImg′
EndDispImg为经过一次优化后得到的结果视差图。
S7.5、中值滤波：
维度上的分别约束处理会带来条纹，采用中值滤波，消除条纹。中值滤波的方法为将中心像素点的灰度值设置为该点邻域窗口内的所有像素点灰度值的中值。
S7.6、对上述操作后得到的视差图，重复S7，直到满足要求；
当下一次迭代后视差图的效果比之上次迭代后提升效果达不到要求时，则停止迭代，判断如下：
En+1-En＜ξ
E表示匹配精度，ξ表示最低提升效果。
完成上述所有操作后，得到最终视差图。
立体匹配技术可用于三维重建，三维重建的工作是从立体匹配得到的视差图中，计算匹配点对应真实世界的三维坐标，构建目标的三维模型。由于本发明算法对低纹理和视差不连续区域具有更高的匹配度，因此，对这些区域的三维重建结果则更加的准确，得到的模型也更接近真实物体。

Claims (7)

1.一种新型立体匹配优化方法，其特征在于包括以下步骤：
S1：输入双摄像头拍摄后经过校正的、图像类型为RGB的左右图像，将所述左右图像转换为灰度图，设定其中一个为参考图像，另一个为检索图像，进行局部匹配；
S2：建立自适应窗口；
S3：根据欧式空间的接近性和Lab颜色空间的相似性，构造自适应权重；
S4：构造匹配代价：
S5：根据胜者为王算法，计算初始视差；
S6：根据左右一致性原则剔除误匹配点，再用邻点法补充剔除的误匹配点；
S7：应用边缘约束算法进行视差聚类，得到优化视差图。
2.根据权利要求1所述一种新型立体匹配优化方法，其特征在于：所述S1中，初始局部匹配的窗口大小为7×7。
3.根据权利要求1所述一种新型立体匹配优化方法，其特征在于：所述S2中，建立自适应窗口，包括以下步骤：
S2.1、根据高斯差分函数处理图像；
计算高斯差分图像的公式如下：
DOG(x,y)＝|g1(x,y)-g2(x,y)|＝|Gσ1(x,y)*I(x,y)-Gσ2(x,y)*I(x,y)|
式中，I(x,y)为图像的灰度值，Gσ1(x,y)和Gσ2(x,y)分别为σ为σ1，σ2时的高斯函数，*为卷积符号，g1(x,y)和g2(x,y)分别为滤波后的灰度图像；
S2.2、阈值分割：
Figure FDA0002590015460000011
D(x,y)为高斯差分图像DOG(x,y)的阈值分割图像，TD为阈值；
S2.3、像素统计：
统计初始窗口范围内像素点的个数来判断纹理的丰富程度；
Figure FDA0002590015460000012
统计大小为K×K窗口内大于阈值TD的像素点个数，若个数小于ε，则为低纹理区域，反之，则为纹理丰富区域；
S2.4、自适应选择窗口大小：若像素统计的结果为低纹理区域，则选择较小窗口；反之，则选择较大窗口。
4.根据权利要求1所述一种新型立体匹配优化方法，其特征在于：所述S3中，构造自适应权重方法包括：
将RGB图像转换为Lab图像，结合Lab颜色空间和欧氏空间计算像素点权重，公式如下：
Figure FDA0002590015460000021
其中：p为窗口中心像素点，q为窗口内其他任意一点，x,y分别表示欧式空间中的坐标值，L表示Lab颜色空间的亮度，a代表红色/品红色和绿色之间的位置，b代表黄色和蓝色之间的位置，λd,λc分别表示距离差异系数和颜色差异系数。
5.根据权利要求1所述一种新型立体匹配优化方法，其特征在于：所述S4中，构造匹配代价的方法包括：
先根据RGB颜色空间分量和高斯差分分量的差异性，构造基本初始匹配代价，再结合自适应权重形成用于计算视差的匹配代价；
其基本初始匹配代价的构造公式如下：
Figure FDA0002590015460000022
其中：
Figure FDA0002590015460000023
就是q,
Figure FDA0002590015460000024
之间的初始匹配代价，Ic表示像素点所在颜色空间的色度值，
Figure FDA0002590015460000025
为像素点q,
Figure FDA0002590015460000026
之间高斯差分图像差分的绝对值，其构造公式为：
Figure FDA0002590015460000027
DOG所表示的就是高斯差分图像，其具体构造方式如下：
DOG(x,y)＝|g1(x,y)-g2(x,y)|＝|Gσ1(x,y)*I(x,y)-Gσ2(x,y)*I(x,y)|
式中，I(x,y)为图像的灰度值，Gσ1(x,y)和Gσ2(x,y)分别为σ为σ1，σ2时的高斯函数，*为卷积符号，g1(x,y)和g2(x,y)分别为滤波后的灰度图像；
用于计算视差的匹配代价构造如下：
Figure FDA0002590015460000028
6.根据权利要求1所述一种新型立体匹配优化方法，其特征在于：所述S6中，邻点法的基本原则是在以误匹配点为中心的范围内，寻找最近的正确匹配点。
7.根据权利要求1所述一种新型立体匹配优化方法，其特征在于：所述S7中，边缘约束算法，包括以下步骤：
S7.1、通过Canny算子计算，获取边缘图像信息；
S7.2、获取既包含视差信息又含有边缘信息的融合图像，融合图像通过S5中的初始视差与S7.1中的边缘图像融合得到；
S7.3、应用边缘信息对融合图像进行约束处理：
约束处理方法分别在高维度和宽维度独立作用，但两个维度的处理方法完全相同；首先计算该维度上相邻的包含边缘信息像素点所约束视差点的视差平均值，将该范围内与视差平均值差异较大的视差点归为离群点，并将离群点剔除，重新计算视差平均值，并将更新后的视差平均值作为该范围内所有视差点的视差值，遍历整幅图像；
S7.4、消除边缘信息，恢复视差：
对S7.3的结果图像作阈值分割，消除边缘信息，包含视差信息的像素点不变；所述恢复视差的方法为，对S7.1的边缘图像作阈值分割，并将包含边缘信息的像素点的值置为1，其余为0，通过与初始视差图像相乘，获取边缘位置上的视差信息，并将结果与消除边缘信息的融合图像再次融合，恢复视差；
S7.5、中值滤波；
S7.6、对上述操作后得到的视差图，重复S7，直到满足要求：即迭代优化后的效果明显小于设定阈值；
En+1-En<ξ
En,En+1分别表示第n次，第n+1次迭代的匹配准确率，ξ是设定阈值。
CN202010692999.6A 2020-07-17 2020-07-17 一种新型立体匹配优化方法 Active CN111914913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010692999.6A CN111914913B (zh) 2020-07-17 2020-07-17 一种新型立体匹配优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010692999.6A CN111914913B (zh) 2020-07-17 2020-07-17 一种新型立体匹配优化方法

Publications (2)

Publication Number Publication Date
CN111914913A true CN111914913A (zh) 2020-11-10
CN111914913B CN111914913B (zh) 2023-10-31

Family

ID=73280650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010692999.6A Active CN111914913B (zh) 2020-07-17 2020-07-17 一种新型立体匹配优化方法

Country Status (1)

Country Link
CN (1) CN111914913B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947625A (zh) * 2021-10-15 2022-01-18 中国矿业大学 一种视差面精细建模的双目图像视差计算优化方法
TWI803333B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 圖像特徵匹配方法、電腦裝置及儲存介質
CN116993625A (zh) * 2023-09-26 2023-11-03 天津市胸科医院 一种气管镜图像增强方法及系统
CN116993731A (zh) * 2023-09-27 2023-11-03 山东济矿鲁能煤电股份有限公司阳城煤矿 基于图像的盾构机刀头缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
CN108154529A (zh) * 2018-01-04 2018-06-12 北京大学深圳研究生院 一种双目图像的立体匹配方法及系统
CN108898575A (zh) * 2018-05-15 2018-11-27 华南理工大学 一种新型自适应权重立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN108154529A (zh) * 2018-01-04 2018-06-12 北京大学深圳研究生院 一种双目图像的立体匹配方法及系统
CN108898575A (zh) * 2018-05-15 2018-11-27 华南理工大学 一种新型自适应权重立体匹配方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947625A (zh) * 2021-10-15 2022-01-18 中国矿业大学 一种视差面精细建模的双目图像视差计算优化方法
TWI803333B (zh) * 2022-05-31 2023-05-21 鴻海精密工業股份有限公司 圖像特徵匹配方法、電腦裝置及儲存介質
CN116993625A (zh) * 2023-09-26 2023-11-03 天津市胸科医院 一种气管镜图像增强方法及系统
CN116993625B (zh) * 2023-09-26 2023-12-15 天津市胸科医院 一种气管镜图像增强方法及系统
CN116993731A (zh) * 2023-09-27 2023-11-03 山东济矿鲁能煤电股份有限公司阳城煤矿 基于图像的盾构机刀头缺陷检测方法
CN116993731B (zh) * 2023-09-27 2023-12-19 山东济矿鲁能煤电股份有限公司阳城煤矿 基于图像的盾构机刀头缺陷检测方法

Also Published As

Publication number Publication date
CN111914913B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
CN111914913B (zh) 一种新型立体匹配优化方法
CN110084757B (zh) 一种基于生成对抗网络的红外深度图像增强方法
CN108537848B (zh) 一种面向室内场景重建的两级位姿优化估计方法
US8897545B2 (en) Apparatus and method for determining a confidence value of a disparity estimate
CN114782691A (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN110111304B (zh) 基于局部到全局特征回归的无参考立体图像质量评价方法
CN113592026A (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN106530336B (zh) 基于色彩信息和图割理论的立体匹配方法
CN113705796B (zh) 基于epi特征强化的光场深度获取卷积神经网络
CN113177565A (zh) 一种基于深度学习的双目视觉位置测量系统及方法
US11651581B2 (en) System and method for correspondence map determination
CN114693760A (zh) 图像校正方法、装置及系统、电子设备
CN110942476A (zh) 基于二维图像引导的改进三维点云配准方法、系统及可读存储介质
CN111932601A (zh) 一种基于YCbCr颜色空间光场数据的稠密深度重建方法
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
CN110570402B (zh) 基于边界感知神经网络的双目显著物体检测方法
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN112750154A (zh) 一种基于双目视觉的立体匹配方法
CN110610503B (zh) 一种基于立体匹配的电力刀闸三维信息恢复方法
CN107730543A (zh) 一种半稠密立体匹配的快速迭代计算方法
CN112465984A (zh) 一种基于双层过滤的单目相机序列图像三维重构方法
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法
CN115239886A (zh) 一种遥感uav-mvs影像点云数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201110

Assignee: Hubei Benben Technology Co.,Ltd.

Assignor: CHINA THREE GORGES University

Contract record no.: X2023980047911

Denomination of invention: A New Stereo Matching Optimization Method

Granted publication date: 20231031

License type: Common License

Record date: 20231123