CN107194931A - 一种基于双目图像匹配获取目标深度信息的方法和系统 - Google Patents

一种基于双目图像匹配获取目标深度信息的方法和系统 Download PDF

Info

Publication number
CN107194931A
CN107194931A CN201710323708.4A CN201710323708A CN107194931A CN 107194931 A CN107194931 A CN 107194931A CN 201710323708 A CN201710323708 A CN 201710323708A CN 107194931 A CN107194931 A CN 107194931A
Authority
CN
China
Prior art keywords
pixel
super
represent
cost information
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710323708.4A
Other languages
English (en)
Inventor
张雪涛
左长乐
王飞
李中常
孙继发
姜沛林
杨奔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201710323708.4A priority Critical patent/CN107194931A/zh
Publication of CN107194931A publication Critical patent/CN107194931A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目图像匹配获取目标深度信息的方法和系统，本发明可以减小图像噪声、灰度信息变化、光照变化带来的不利影响；将基于像素的匹配转换为基于超像素的匹配，降低了计算量减少了计算时间；另外使用自适应重启随机步算法进行优化得到了全局最优匹配的结果，并且内部对物体边缘的检测处理使得边缘深度信息更加精确。

Description

一种基于双目图像匹配获取目标深度信息的方法和系统
技术领域
本发明属于计算机视觉领域，具体涉及一种基于双目图像匹配获取目标深度信息的方法和系统。
背景技术
双目图像匹配一直是计算机视觉领域的一个中心研究问题。其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像点，从而计算出视差并获得深度信息。常用的匹配方法可以分为区域匹配方法和全局匹配方法。区域匹配方法基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点，这类算法不适应于深度变化剧烈的场景，对光照和噪声比较敏感；全局匹配方法主要是采用了全局的优化理论方法估计视差，建立全局能量函数，通过最小化全局能量函数得到最优视差值，这类方法得到的结果比较准确，但是其运行时间比较长。
发明内容
本发明的目的在于提供一种基于双目图像匹配获取目标深度信息的方法，旨在解决现有方法受光照变化、噪声的影响，边缘深度信息测量不准确，运行时间长的问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于双目图像匹配获取目标深度信息的方法，该方法包括：
(1)获取双目图像左图和右图两张图像，如果图像为彩色图则转为灰度图，对灰度图进行高斯滤波处理；
(2)求取双目图像的局部代价信息，包括横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；
(3)对左右图像进行基于SLIC算法的超像素分割，获得超像素分割信息；
(4)基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；
(5)将基于超像素的代价信息输入到自适应重启随机步算法中，进行迭代优化，获得优化后的基于超像素的代价信息；
(6)将优化后的基于超像素的代价信息和上述步骤(2)中的局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值；
上述步骤(5)中获得优化后的基于超像素的代价信息具体步骤是：
1)设置迭代次数T，求归一化权重矩阵，
其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，
De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标；将wij组成的矩阵按行进行归一化获得归一化权重矩阵
2)进行左右一致性检测，确认超像素s是否为遮挡点，用Ot(s)来表示，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价；
3)基于Canny边缘的保真度处理，di′表示超像素si平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示超像素sj的遮挡情况，τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵；
4)迭代函数为其中，为基于超像素的匹配代价的初始值c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t次迭代后生成的基于超像素的匹配代价矩阵；在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作；直到迭代次数t达到设定值T；得到最终的即为优化后的基于超像素的代价信息。
本发明的另一目的在于提供一种基于双目图像匹配获取目标深度信息的系统，该系统包括：
(1)图像预处理子系统，处理内容包括：对输入的双目图像左图和右图进行处理，两张图像如果为彩色图像则转为灰度图，然后对灰度图进行高斯滤波处理；
(2)局部信息处理子系统，处理内容包括：求取双目图像横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；
(3)超像素分割子系统，处理内容包括：分别对已转换为灰度图像的左右图片进行SLIC超像素分割，获得超像素分割信息；
(4)信息融合子系统，处理内容包括：基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；
(5)自适应重启随机步优化子系统，处理内容包括：1)设置迭代次数T，求归一化权重矩阵，其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标；将wij组成的矩阵按行进行归一化获得归一化权重矩阵2)进行左右一致性检测，确认超像素s是否为遮挡点，用Ot(s)来表示，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价；3)基于Canny边缘的保真度处理，di′表示超像素si平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示超像素sj的遮挡情况，τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵；4)迭代函数为其中，为基于超像素的匹配代价的初始值c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t次迭代后生成的基于超像素的匹配代价矩阵；在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作；直到迭代次数t达到设定值T，获得优化后的基于超像素的代价信息；
(6)深度输出子系统：将优化后的基于超像素的代价信息和局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值然后进行输出。
有益效果：本发明可以减小图像噪声、灰度信息变化、光照变化带来的不利影响；将基于像素的匹配转换为基于超像素的匹配，降低了计算量减少了计算时间；另外使用自适应重启随机步算法进行优化得到了全局最优匹配的结果，并且内部对物体边缘的检测处理使得边缘深度信息更加精确。
附图说明
图1为本发明方法流程图。
图2为本发明系统结构图。
图3为Census变换以及Hamming距离求取示意图。
图4为超像素分割结果示意图。
图5为Canny边缘检测结果示意图。
图6为遮挡情况示意图。
图7为深度结果图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
如图1所示，本发明基于双目图像匹配获取目标深度信息的方法，步骤如下：
S001：若输入双目图像为彩色图像，首先将彩色图像转为灰度图，然后设置3×3大小的高斯低通滤波器对灰度图进行高斯滤波处理；
S002：1)分别求左右图像的横向和纵向的梯度图，然后获得不同视差下的横向和纵向的梯度差再求和，公式为GL(u,v,d)表示左图坐标为(u,v)的像素在视差值为d时的梯度匹配代价，表示左图坐标为(u,v)的像素在x方向的梯度值，表示右图坐标为(u+d,v)的像素在x方向的梯度值，表示左图坐标为(u,v)的像素在y方向的梯度值，表示右图坐标为(u+d,v)的像素在y方向的梯度值。
2)如图3所示，选取3×3的窗口经过census变换，然后求每个像素点的Hamming距离，CL(u,v,d)＝Hamming(TL(u,v),TR(u+d,v))，CL(u,v,d)表示左图坐标为(u,v)的像素点在视差值为d时的Hamming距离匹配代价，TL(u,v)表示左图坐标为(u,v)的像素经过census变换得到的向量表示，TR(u+d,v)表示右图坐标为(u+d,v)的像素经过census变换得到的向量表示。
3)匹配代价加权相加，称之为基于像素的加权匹配代价，PL(u,v,d)＝σcmin(CL(u,v,d),τc)+σgmin(GL(u,v,d),τg)，PL(u,v,d)为左图坐标为(u,v)的像素点在视差为d时基于像素的加权匹配代价，σc和σg为加权系数，τc和τg设置的最大代价阈值；
S003：运用SLIC超像素分割算法分别对左右图像进行超像素分割，结果如图4所示；
S004：根据超像素分割子系统对双目图像分割的结果，对每个超像素内的基于像素的加权匹配代价求和再除以像素的个数，求出每个超像素的平均基于像素的加权匹配代价作为基于超像素的匹配代价的初始值，其中FL(s,d)表示左图超像素s在视差为d时的基于超像素的匹配代价的初始值，ns为超像素s内的像素总个数，(u,v)表示超像素s内的像素点坐标，PL(u,v,d)表示左图坐标为(u,v)的像素点在视差为d时基于像素的加权匹配代价。
S005：1)设置迭代次数T，求归一化权重矩阵，其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标。将wij组成的矩阵按行进行归一化获得归一化权重矩阵
2)进行左右一致性检测，确认超像素s是否为遮挡点，其中，Ot(s)表示超像素s在第t次迭代时是否为遮挡点，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，DL(us,vs)表示左图中心坐标为(us,vs)的超像素在第t次迭代中的最优视差值，DR(us+DL(us,vs),vs)表示右图中心坐标为(us+DL(us,vs),vs)的超像素第t次迭代中的最优视差值。然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价，表示经过左右一致性检测处理后的所有超像素视差为d时基于超像素的匹配代价。图6为其中一次左右一致性检测后生成的遮挡情况示意图。
3)基于Canny边缘的保真度处理，di′表示超像素si的平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示在第t次迭代超像素sj的遮挡情况，τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵。图5为双目图像中的左图进行Canny边缘检测的结果图。
4)迭代函数为其中，为基于超像素的匹配代价的初始值定义为c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t+1次迭代后生成的基于超像素的匹配代价矩阵。在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作。直到迭代次数t达到设定值T。
S006：经过自适应重启随机步算法优化后的基于超像素代价矩阵和基于像素的匹配代价矩阵进行加权相加，其中，表示获得的超像素s的最优视差，表示经过t次迭代后超像素s在视差为d时的基于超像素的匹配代价，P(u,v,d)表示坐标为(u,v)的像素点在视差为d时基于像素的加权匹配代价，γ为权重参数，(u,v)为超像素s中的所有像素。Zs表示超像素s的深度值，f为相机焦距，T为双目相机基线长。其中一组结果如图7所示，不同的灰度代表不同的深度，颜色越深表示深度值越大。
本发明的一种基于双目图像匹配获取目标深度信息的系统包括如下子系统：
(一)图像预处理子系统：对应本发明方法的S001步骤，首先将彩色图像转为灰度图像，然后设置3×3大小的高斯低通滤波器对灰度图进行高斯滤波处理；
(二)局部信息处理子系统：对应本发明方法的S002步骤，1)分别求左右图像的横向和纵向的梯度图，然后获得不同视差下的横向和纵向的梯度差再求和公式为
GL(u,v,d)表示左图坐标为(u,v)的像素在视差值为d时的梯度匹配代价，表示左图坐标为(u,v)的像素在x方向的梯度值，表示右图坐标为(u+d,v)的像素在x方向的梯度值，表示左图坐标为(u,v)的像素在y方向的梯度值，表示右图坐标为(u+d,v)的像素在y方向的梯度值。
2)如图3所示，选取3×3的窗口经过census变换，然后求每个像素点的Hamming距离，CL(u,v,d)＝Hamming(TL(u,v),TR(u+d,v))，CL(u,v,d)表示左图坐标为(u,v)的像素点在视差值为d时的Hamming距离匹配代价，TL(u,v)表示左图坐标为(u,v)的像素经过census变换得到的向量表示，TR(u+d,v)表示右图坐标为(u+d,v)的像素经过census变换得到的向量表示。
3)匹配代价加权相加，称之为基于像素的加权匹配代价，PL(u,v,d)＝σcmin(CL(u,v,d),τc)+σgmin(GL(u,v,d),τg)，PL(u,v,d)为左图坐标为(u,v)的像素点在视差为d时基于像素的加权匹配代价，σc和σg为加权系数，τc和τg设置的最大代价阈值。
(三)超像素分割子系统：对应本发明方法的S003步骤，运用SLIC超像素分割算法分别对左右图像进行超像素分割，超像素分割结果如图4所示；
(四)信息融合子系统：对应本发明方法的S004步骤，根据超像素分割子系统对双目图像分割的结果，对每个超像素内的基于像素的加权匹配代价求和再除以像素的个数，求出每个超像素的平均基于像素的加权匹配代价作为基于超像素的匹配代价的初始值，其中FL(s,d)表示左图超像素s在视差为d时的基于超像素的匹配代价的初始值，ns为超像素s内的像素总个数，(u,v)表示超像素s内的像素点坐标，PL(u,v,d)表示左图坐标为(u,v)的像素点在视差为d时基于像素的加权匹配代价。
(五)自适应重启随机步优化子系统：对应本发明方法的S005步骤，处理内容包括：1)设置迭代次数T，求归一化权重矩阵，
其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，
De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标。将wij组成的矩阵按行进行归一化获得归一化权重矩阵
2)进行左右一致性检测，确认超像素s是否为遮挡点，
其中，Ot(s)表示超像素s在第t次迭代时是否为遮挡点，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，DL(us,vs)表示左图中心坐标为(us,vs)的超像素在第t次迭代中的最优视差值，DR(us+DL(us,vs),vs)表示右图中心坐标为(us+DL(us,vs),vs)的超像素第t次迭代中的最优视差值。然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价，表示经过左右一致性检测处理后的所有超像素视差为d时基于超像素的匹配代价。图6为其中一次左右一致性检测后生成的遮挡情况示意图。
3)基于Canny边缘的保真度处理，di′表示超像素si的平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示在第t次迭代超像素sj的遮挡情况，
τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵。图5为双目图像中的左图进行Canny边缘检测的结果图。
4)迭代函数为其中，为基于超像素的匹配代价的初始值定义为c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t+1次迭代后生成的基于超像素的匹配代价矩阵。在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作。直到迭代次数t达到设定值T，得到最终的即为优化后的基于超像素的代价信息。
(六)深度输出子系统：经过自适应重启随机步优化后的基于超像素代价矩阵和基于像素的匹配代价矩阵进行加权相加，
其中，表示获得的超像素s的最优视差，表示经过t次迭代后超像素s在视差为d时的基于超像素的匹配代价，P(u,v,d)表示坐标为(u,v)的像素点在视差为d时基于像素的加权匹配代价，γ为权重参数，(u,v)为超像素s中的所有像素。Zs表示超像素s的深度值，f为相机焦距，T为双目相机基线长。其中一组结果如图7所示，不同的灰度代表不同的深度，颜色越深表示深度值越大。
表1是测试的对比实验的结果，对比实验选取的数据集为Teddy、Venus、Tsukuba三个标准数据集，分别用本发明方法和ELAS方法以及CostFilter方法对数据集进行匹配，测试内容为匹配正确率和运行时间。通过比较可以看到本发明正确率比ELAS方法高很多，与CostFilter方法接近，但是运行时间比CostFilter方法少很多。
表1

Claims (3)

1.一种基于双目图像匹配获取目标深度信息的方法，其特征在于：该方法包括如下步骤：
(1)获取双目图像左图和右图两张图像，如果图像为彩色图则转为灰度图，对灰度图进行高斯滤波处理；
(2)求取双目图像的局部代价信息，包括横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；
(3)对左右图像进行基于SLIC算法的超像素分割，获得超像素分割信息；
(4)基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；
(5)将基于超像素的代价信息输入到自适应重启随机步算法中，进行迭代优化，获得优化后的基于超像素的代价信息；
(6)将优化后的基于超像素的代价信息和上述步骤(2)中的局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值。
2.根据权利要求1所述的基于双目图像匹配获取目标深度信息的方法，其特征在于：步骤(5)中获得优化后的基于超像素的代价信息的具体步骤如下：
1)设置迭代次数T，求归一化权重矩阵，
其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标；将wij组成的矩阵按行进行归一化获得归一化权重矩阵
2)进行左右一致性检测，确认超像素s是否为遮挡点，用Ot(s)来表示，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价；
3)基于Canny边缘的保真度处理，di′表示超像素si平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示超像素sj的遮挡情况，
τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵；
4)迭代函数为其中，为基于超像素的匹配代价的初始值c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t次迭代后生成的基于超像素的匹配代价矩阵；在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作；直到迭代次数t达到设定值T；得到最终的即为优化后的基于超像素的代价信息。
3.实现权利要求2所述方法的基于双目图像匹配获取目标深度信息的系统，其特征在于：该系统包括：
(1)图像预处理子系统，处理内容包括：对输入的双目图像左图和右图进行处理，两张图像如果为彩色图像则转为灰度图，然后对灰度图进行高斯滤波处理；
(2)局部信息处理子系统，处理内容包括：求取双目图像横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；
(3)超像素分割子系统，处理内容包括：分别对已转换为灰度图像的左右图片进行SLIC超像素分割，获得超像素分割信息；
(4)信息融合子系统，处理内容包括：基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；
(5)自适应重启随机步优化子系统，处理内容包括：1)设置迭代次数T，求归一化权重矩阵，其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标；将wij组成的矩阵按行进行归一化获得归一化权重矩阵2)进行左右一致性检测，确认超像素s是否为遮挡点，用Ot(s)来表示，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价；3)基于Canny边缘的保真度处理，di′表示超像素si平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示超像素sj的遮挡情况，τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵；4)迭代函数为其中，为基于超像素的匹配代价的初始值c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t次迭代后生成的基于超像素的匹配代价矩阵；在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作；直到迭代次数t达到设定值T，获得优化后的基于超像素的代价信息；
(6)深度输出子系统：将优化后的基于超像素的代价信息和局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值然后进行输出。
CN201710323708.4A 2017-05-09 2017-05-09 一种基于双目图像匹配获取目标深度信息的方法和系统 Pending CN107194931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710323708.4A CN107194931A (zh) 2017-05-09 2017-05-09 一种基于双目图像匹配获取目标深度信息的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710323708.4A CN107194931A (zh) 2017-05-09 2017-05-09 一种基于双目图像匹配获取目标深度信息的方法和系统

Publications (1)

Publication Number Publication Date
CN107194931A true CN107194931A (zh) 2017-09-22

Family

ID=59872966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710323708.4A Pending CN107194931A (zh) 2017-05-09 2017-05-09 一种基于双目图像匹配获取目标深度信息的方法和系统

Country Status (1)

Country Link
CN (1) CN107194931A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN113129313A (zh) * 2021-03-22 2021-07-16 北京中科慧眼科技有限公司 基于超像素的稠密匹配算法、系统和智能终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447933A (zh) * 2011-11-01 2012-05-09 浙江捷尚视觉科技有限公司 基于双目架构的深度信息获取方法
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN103049903A (zh) * 2012-11-21 2013-04-17 清华大学深圳研究生院 一种用于立体视觉系统的双目立体匹配方法
CN103136750A (zh) * 2013-01-30 2013-06-05 广西工学院 双目视觉系统的立体匹配优化方法
CN106384354A (zh) * 2016-09-14 2017-02-08 哈尔滨工业大学 基于slic算法的超像素分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447933A (zh) * 2011-11-01 2012-05-09 浙江捷尚视觉科技有限公司 基于双目架构的深度信息获取方法
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN103049903A (zh) * 2012-11-21 2013-04-17 清华大学深圳研究生院 一种用于立体视觉系统的双目立体匹配方法
CN103136750A (zh) * 2013-01-30 2013-06-05 广西工学院 双目视觉系统的立体匹配优化方法
CN106384354A (zh) * 2016-09-14 2017-02-08 哈尔滨工业大学 基于slic算法的超像素分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOSSEIN JAVIDNIA ET AL: "A Depth Map Post-Processing Approach Based on Adaptive Random Walk With Restart", 《IEEE ACCESS》 *
SEHYUNG LEE ET AL: "Robust Stereo Matching using Adaptive Random Walk with Restart Algorithm", 《IMAGE AND VISION COMPUTING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN113129313A (zh) * 2021-03-22 2021-07-16 北京中科慧眼科技有限公司 基于超像素的稠密匹配算法、系统和智能终端

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN109410127B (zh) 一种基于深度学习与多尺度图像增强的图像去噪方法
WO2019096310A1 (en) Light field image rendering method and system for creating see-through effects
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
CN108322724A (zh) 图像立体匹配方法以及双目视觉设备
CN112884682A (zh) 一种基于匹配与融合的立体图像颜色校正方法及系统
CN110443874B (zh) 基于卷积神经网络的视点数据生成方法和装置
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN110135508B (zh) 模型训练方法、装置、电子设备及计算机可读存储介质
Yan et al. Monocular depth estimation with guidance of surface normal map
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
US20220343525A1 (en) Joint depth prediction from dual-cameras and dual-pixels
CN112967174A (zh) 图像生成模型训练、图像生成方法、装置及存储介质
CN111553296B (zh) 一种基于fpga实现的二值神经网络立体视觉匹配方法
CN111582437B (zh) 一种视差回归深度神经网络的构造方法
CN110555820A (zh) 基于卷积神经网络和动态引导滤波的图像融合方法
CN114494347A (zh) 一种单摄像头多模式视线追踪方法和装置、电子设备
CN107194931A (zh) 一种基于双目图像匹配获取目标深度信息的方法和系统
CN109784379A (zh) 纺织品图片特征库的更新方法和装置
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
CN106651790A (zh) 图像去模糊的方法、装置和设备
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法
CN111369435A (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN109657083A (zh) 纺织品图片特征库的建立方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922

RJ01 Rejection of invention patent application after publication