CN112070694B - 双目立体视觉视差图后处理方法和装置 - Google Patents

双目立体视觉视差图后处理方法和装置 Download PDF

Info

Publication number
CN112070694B
CN112070694B CN202010913696.2A CN202010913696A CN112070694B CN 112070694 B CN112070694 B CN 112070694B CN 202010913696 A CN202010913696 A CN 202010913696A CN 112070694 B CN112070694 B CN 112070694B
Authority
CN
China
Prior art keywords
disparity map
image
pixel
post
texture filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010913696.2A
Other languages
English (en)
Other versions
CN112070694A (zh
Inventor
陈海波
罗艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Original Assignee
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepBlue AI Chips Research Institute Jiangsu Co Ltd filed Critical DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority to CN202010913696.2A priority Critical patent/CN112070694B/zh
Publication of CN112070694A publication Critical patent/CN112070694A/zh
Application granted granted Critical
Publication of CN112070694B publication Critical patent/CN112070694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种双目立体视觉视差图后处理方法和装置,所述方法包括以下步骤:根据获取的初始左右图像对,生成视差图;根据初始左图像/右图像生成纹理滤波模板,并根据纹理滤波模板对视差图进行纹理滤波;对滤波后的视差图进行斑点抑制;对斑点抑制后的视差图进行孔洞填充;对孔洞填充后的视差图进行中值滤波。本发明能够实现对不同类型的视差图中异常点的后处理。

Description

双目立体视觉视差图后处理方法和装置
技术领域
本发明涉及图像处理技术领域,具体涉及一种双目立体视觉视差图后处理方法、一种双目立体视觉视差图后处理装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
背景技术
立体匹配是双目立体视觉技术实现过程中最困难也是最重要的一步。当前主流的立体匹配算法包含全局立体匹配算法、半全局立体匹配算法和局部立体匹配算法三种,其中局部立体匹配算法以其高精度、低耗时获得了最为广泛的应用。局部立体匹配算法主要步骤包括:代价计算、代价聚合、视差计算、视差图后处理。
其中,由于实际环境中噪声、光照、遮挡、弱纹理区域等因素的影响,导致通过立体匹配得到的视差图上会存在一些异常点。视差图后处理就是修复这些异常点的重要步骤,算法效果将直接影响后续三维重建的效果和精度。异常点的种类也很多,比如孔洞、高亮斑点等,针对不同类型的异常点,需要使用不同的方法。
发明内容
本发明为解决上述技术问题,提供了一种双目立体视觉视差图后处理方法,能够实现对不同类型的视差图中异常点的后处理。
本发明采用的技术方案如下:
一种双目立体视觉视差图后处理方法,包括以下步骤:根据获取的初始左右图像对,生成视差图;根据初始左图像/右图像生成纹理滤波模板,并根据所述纹理滤波模板对所述视差图进行纹理滤波;对滤波后的所述视差图进行斑点抑制;对斑点抑制后的所述视差图进行孔洞填充;对孔洞填充后的所述视差图进行中值滤波。
根据本发明的一个实施例,根据初始左图像/右图像生成纹理滤波模板如下所示:
Figure BDA0002664248800000021
其中,L为原始左图像,M*N表示所述原的始左图像滑动窗口大小,i为图像行,j为图像列,n表示滑动窗口中的所有行,m表示滑动窗口中的所有列。
根据本发明的一个实施例,根据所述纹理滤波模板对所述视差图进行纹理滤波,包括:根据所述纹理滤波模板对所述视差图中的弱纹理区域进行标记。
根据本发明的一个实施例,通过下述公式对所述视差图中的弱纹理区域进行标记:
Figure BDA0002664248800000022
其中,τ为常数,Disparityorig(i,j)视差图原始像素值。
根据本发明的一个实施例,对滤波后的所述视差图进行斑点抑制,包括:遍历所述视差图上的每一个像素点,并分别判断所述每一个像素点与其上下左右的点的差值的绝对值是否小于等于预设的视差差值阈值;当所述差值的绝对值小于等于所述预设的视差差值阈值时,确认该像素点为连通区域;获取所述连通区域内的像素点的数量,当所述像素点的数量大于预设的数量阈值时,所述连通区域正常;当所述像素点的数量小于等于预设的数量阈值时,所述连通区域为斑点,并将所述连通区域的像素点的像素设置为0。
根据本发明的一个实施例,对斑点抑制后的所述视差图进行孔洞填充,包括:遍历所述视差图上的每一个像素点,并判断当前像素点的像素值是否为0;如果为0,则分别检测该像素点的向上、向下、向左和向右的不为0的像素点;获取向上、向下、向左和向右方向上像素点的像素值的最大值和最小值,并获取水平方向上像素点为0的个数,记为Hnum,以及获取垂直方向上像素点为0的个数,记为Vnum;当所述最大值和最小值之间的差值小于第一预设阈值且max(Hnum,Vnum)小于第二预设阈值时,获取向上、向下、向左和向右方向上像素点的像素值的平均值;根据所述平均值进行孔洞填充。
对应上述方法,本发明还提出了一种双目立体视觉视差图后处理装置,包括:生成模块,用于根据获取的初始左右图像对,生成视差图;纹理滤波模块,用于根据初始左图像/右图像生成纹理滤波模板,并根据所述纹理滤波模板对所述视差图进行纹理滤波;斑点抑制模块,用于对滤波后的所述视差图进行斑点抑制;孔洞填充模块,用于对斑点抑制后的所述视差图进行孔洞填充;中值滤波模块,用于对孔洞填充后的所述视差图进行中值滤波。
对应上述方法,本发明还提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现根据上述的双目立体视觉视差图后处理方法。
对应上述方法,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的双目立体视觉视差图后处理方法。
对应上述方法,本发明还提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行上述的双目立体视觉视差图后处理方法。
本发明的有益效果:
本发明首先通过纹理滤波,对弱纹理区域进行标记;接着,通过斑点抑制,对高亮斑点进行滤波;然后,通过孔洞填充,进行修复;最后,通过滤波,滤除一些噪声点,使得图像更平滑,生成最终的视差图,从而能够实现对不同类型的视差图中异常点的后处理。
附图说明
图1为本发明实施例的双目立体视觉视差图后处理方法的流程图;
图2为本发明一个实施例的双目立体视觉视差图后处理后的对比示意图;
图3为本发明实施例的双目立体视觉视差图后处理装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例的双目立体视觉视差图后处理方法的流程图。
如图1所示,本发明实施例的双目立体视觉视差图后处理方法可包括以下步骤:
S1,根据获取的初始左右图像对,生成视差图。
具体而言,通过双目立体视觉传感器获取左右两幅图像,并基于左右两幅图像构建匹配代价计算函数;以左右两幅图像中的一幅为参考图,移动另一幅图像获取与设定的最大视差值相等数量的第一图像,利用匹配代价计算函数对第一图像进行计算,获取与第一图像相等数量的代价图;利用选取的盒式滤波器中最小的尺度对代价图进行匹配代价聚合,获取每个像素点的匹配代价,通过计算像素点最小匹配代价获取其视差值及置信度,以及根据视差值获取左右两幅图像的视差图。
可以理解的是,获取视差图的方式有很多种,不限于上述方式。
S2,根据初始左图像/右图像生成纹理滤波模板,并根据纹理滤波模板对视差图进行纹理滤波。可以理解的是,根据左图像和有图像生成纹理滤波模板的原理是相同的,下面以左图像为参考图获取的视差图为例进行说明。
根据本发明的一个实施例,根据初始左图像/右图像生成纹理滤波模板如下所示:
Figure BDA0002664248800000051
其中,L为原始左图像,M*N表示左图像的滑动窗口大小,i为图像行,j为图像列,n表示滑动窗口中的所有行,m表示滑动窗口中的所有列。
进一步地,根据纹理滤波模板对视差图进行纹理滤波,包括:根据纹理滤波模板对视差图中的弱纹理区域进行标记。
例如,通过下述公式对视差图中的弱纹理区域进行标记:
Figure BDA0002664248800000052
其中,τ为常数,Disparityorig(i,j)视差图原始像素值。其中,τ可根据实际情况进行标定,例如,τ可以为0。
换句话说,当根据上述纹理滤波模板的公式,计算出的值大于等于τ时,则视差图中的像素值为正常值,如果计算出的值小于τ时,则进行标记为0。经过纹理滤波模板后的视差图如图2所示。
S3,对滤波后的视差图进行斑点抑制。
根据本发明的一个实施例,对滤波后的视差图进行斑点抑制,包括:遍历视差图上的每一个像素点,并分别判断每一个像素点与其上下左右的点的差值的绝对值是否小于等于预设的视差差值阈值;当差值的绝对值小于等于预设的视差差值阈值时,确认该像素点为连通区域;获取连通区域内的像素点的数量,当像素点的数量大于预设的数量阈值时,连通区域正常;当像素点的数量小于等于预设的数量阈值时,连通区域为斑点,并将连通区域的像素点的像素设置为0。其中,预设的视差差值阈值和预设的数量阈值可根据实际情况进行标定,例如,预设的视差差值阈值可以为0-2之间的值,预设的数量阈值可以为100。
举例说明,遍历视差图上每一个像素点,对每一个视差像素点而言,检测其上下左右的视差是否满足条件。如果上下左右的点与中心点(像素点)差值绝对值小于等于SpeckleValue(预设的视差差值阈值),则该点属于连通域;连通域像素数量阈值为NumValue=100,连通域像素数量大于NumValue,该连通域正常,否则为斑点,如表1所示,其中,表1中括号内为像素点的位置,括号外的数为像素点的像素值。
表1
1(P1) 2(P2) 3(P3) 2(P4) 0(P5) 2(P6) 4(P7)
3(P8) 4(P9) 0(P10) 3(P11) 4(P12) 4(13) 4(14)
5(P15) 1(P16) 4(P17) 1(P18) 3(P19) 4(P20) 1(P21)
5(P22) 2(P23) 5(P24) 4(P25) 2(P26) 1(P27) 3(P28)
1(P29) 5(P30) 3(P31) 0(P32) 5(P33) 2(P34) 3(P35)
5(P36) 8(P37) 4(P38) 1(P39) 0(P40) 2(P41) 1(P42)
5(P43) 5(P44) 2(P45) 6(P46) 2(P47) 3(P48) 1(P49)
假设以P25为当前中心点,分别对P25向左、向右、向上、向下的响度点进行检测,如下所示:
向左:abs(P24-P25)≤2,所以,P24属于连通域;再检查P24上下左右,确定P17和P31属于连通域;再分别检查P17和P31上下左右的点,P17周围无点符合要求,该方向停止检查,P31周围P30和P38符合要求,继续检查P30和P38周围的点,……,直到四周无点符合要求,就停止检查。
向右:abs(P26-P25)≤2,所以,P26属于连通域;再检查P26上下左右,确定P27属于连通域;再检查P27上下左右的点,……。
向上:abs(P18-P25)>2,所以,P18不属于连通域,该方向停止检查。
向下:abs(P32-P25)>2,所以,P32不属于连通域,该方向停止检查。
最后确定的连通区域中像素点的数量总共有9个,小于预设的数量阈值(100),所以该连通区域为斑点区域,将斑点区域内像素值全部设置为0。
S4,对斑点抑制后的视差图进行孔洞填充。
根据本发明的一个实施例,对斑点抑制后的视差图进行孔洞填充,包括:遍历视差图上的每一个像素点,并判断当前像素点的像素值是否为0;如果为0,则分别检测该像素点的向上、向下、向左和向右的不为0的像素点;获取向上、向下、向左和向右方向上像素点的像素值的最大值和最小值,并获取水平方向上像素点为0的个数,记为Hnum,以及获取垂直方向上像素点为0的个数,记为Vnum;当最大值和最小值之间的差值小于第一预设阈值且max(Hnum,Vnum)小于第二预设阈值时,获取向上、向下、向左和向右方向上像素点的像素值的平均值;根据平均值进行孔洞填充。其中,第一预设阈值可根据实际情况进行标定,例如,第一预设阈值可以为1;第二预设阈值用来控制孔洞的尺寸,大孔洞也许就是正常区域,只有小孔洞才考虑为非正常区域,例如,第二预设阈值可以为200。
具体而言,遍历图像上每个点,首先判断判断当前点是否为0,如果不为0,跳至下一个点;如果为0,首先分别向左向右检测是否存在0点,直到检测点不为0,停止;再分别向上下方向检测是否存在0点,知道检测点不为0,停止。
举例而言,如表2所示,假设当前点为P24,那么根据以上规则,左方到P23停止,右方到P27停止,上方到P17停止,下方到P38停止;所以,水平方向像素数量Hnum为P23~P27共5个0点,垂直方向像素数量Vnum为P17~P38共4个0点。同时,比较四个方向的非0点的值是否相近,即P10、P22、P45、P28四点的值是否相近,这里采用四点的最大值和最小值的差值是否小于第一预设阈值(如1)的方法判定四点值是否相近。
如果max(Hnum,Vnum)<第二预设阈值(如有200),并且max(P10、P22、P45、P28)-min(P10、P22、P45、P28)<第一预设阈值(如1),则使用P10、P22、P45、P28四点的均值来修复;如果不满足条件,则不修复。
表2
1(P1) 2(P2) 3(P3) 2(P4) 0(P5) 2(P6) 4(P7)
3(P8) 4(P9) 3(P10) 3(P11) 4(P12) 4(13) 4(14)
5(P15) 1(P16) 0(P17) 1(P18) 3(P19) 4(P20) 1(P21)
5(P22) 0(P23) 0(P24) 0(P25) 0(P26) 0(P27) 3(P28)
1(P29) 5(P30) 0(P31) 0(P32) 5(P33) 2(P34) 3(P35)
5(P36) 8(P37) 0(P38) 1(P39) 0(P40) 2(P41) 1(P42)
5(P43) 5(P44) 2(P45) 6(P46) 2(P47) 3(P48) 1(P49)
S5,对孔洞填充后的视差图进行中值滤波。
也就是说,在经过上述的处理后,最后用中值滤波滤除一些噪声,并平滑图像,得到最终的处理后的视差图。
需要说明的是,本发明的方法,能够实现针对不同类型的异常点的处理,可根据不同视差图的实际情况进行选择上述的图像处理步骤,例如,图像中没有斑点,则不需要进行斑点抑制操作。
综上所述,本发明首先通过原始左图像(参考图)生成纹理滤波模板,对原始视差图中的弱纹理区域进行标记;接着,通过斑点抑制,对高亮斑点进行滤波;然后,通过孔洞填充,进行修复;最后,通过滤波,滤除一些噪声点,使得图像更平滑,生成最终的视差图,从而能够实现对不同类型的视差图中异常点的后处理。
图3为本发明实施例的双目立体视觉视差图后处理装置的方框示意图。
如图3所示,本发明实施例的双目立体视觉视差图后处理装置可包括:生成模块10、纹理滤波模块20、斑点抑制模块30、孔洞填充模块40和中值滤波模块50。
生成模块10用于根据获取的初始左右图像对,生成视差图。纹理滤波模块20用于根据初始左图像/右图像生成纹理滤波模板,并根据纹理滤波模板对视差图进行纹理滤波。斑点抑制模块30用于对滤波后的视差图进行斑点抑制。孔洞填充模块40用于对斑点抑制后的视差图进行孔洞填充。中值滤波模块50用于对孔洞填充后的视差图进行中值滤波。
根据本发明的一个实施例,纹理滤波模块20根据初始左图像/右图像生成纹理滤波模板如下所示:
Figure BDA0002664248800000091
其中,L为原始左图像,M*N表示原始左图像的滑动窗口大小,i为图像行,j为图像列,n表示滑动窗口中的所有行,m表示滑动窗口中的所有列。
根据本发明的一个实施例,纹理滤波模块20根据纹理滤波模板对视差图进行纹理滤波,具体用于,根据纹理滤波模板对视差图中的弱纹理区域进行标记。
根据本发明的一个实施例,通过下述公式对视差图中的弱纹理区域进行标记:
Figure BDA0002664248800000092
其中,τ为常数,Disparityorig(i,j)视差图原始像素值。
根据本发明的一个实施例,斑点抑制模块30对滤波后的视差图进行斑点抑制,具体用于,遍历视差图上的每一个像素点,并分别判断每一个像素点与其上下左右的点的差值的绝对值是否小于等于预设的视差差值阈值;当差值的绝对值小于等于预设的视差差值阈值时,确认该像素点为连通区域;获取连通区域内的像素点的数量,当像素点的数量大于预设的数量阈值时,连通区域正常;当像素点的数量小于等于预设的数量阈值时,连通区域为斑点,并将连通区域的像素点的像素设置为0。
根据本发明的一个实施例,孔洞填充模块40对斑点抑制后的视差图进行孔洞填充,具体用于,遍历视差图上的每一个像素点,并判断当前像素点的像素值是否为0;如果为0,则分别检测该像素点的向上、向下、向左和向右的不为0的像素点;获取向上、向下、向左和向右方向上像素点的像素值的最大值和最小值,并获取水平方向上像素点为0的个数,记为Hnum,以及获取垂直方向上像素点为0的个数,记为Vnum;当最大值和最小值之间的差值小于第一预设阈值且max(Hnum,Vnum)小于第二预设阈值时,获取向上、向下、向左和向右方向上像素点的像素值的平均值;根据平均值进行孔洞填充。
需要说明的是,本发明实施例的双目立体视觉视差图后处理装置中未披露的细节,请参照本发明实施例的双目立体视觉视差图后处理方法中所披露的细节,具体这里不再赘述。
综上所述,本发明首先通过原始左图像(参考图)生成纹理滤波模板,对原始视差图中的弱纹理区域进行标记;接着,通过斑点抑制,对高亮斑点进行滤波;然后,通过孔洞填充,进行修复;最后,通过滤波,滤除一些噪声点,使得图像更平滑,生成最终的视差图,从而能够实现对不同类型的视差图中异常点的后处理。
对应上述实施例,本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行该计算机程序时,可实现根据本发明上述实施例所述的双目立体视觉视差图后处理方法。
根据本发明实施例的计算机设备,处理器执行存储在存储器上的计算机程序时,首先根据获取的初始左右图像对,生成视差图;根据初始左图像/右图像生成纹理滤波模板,并根据所述纹理滤波模板对所述视差图进行纹理滤波;对滤波后的所述视差图进行斑点抑制;对斑点抑制后的所述视差图进行孔洞填充;对孔洞填充后的所述视差图进行中值滤波,从而能够实现对不同类型的视差图中异常点的后处理。
对应上述实施例,本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现根据本发明上述实施例所述的双目立体视觉视差图后处理方法。
根据本发明实施例的非临时性计算机可读存储介质,处理器执行存储在其上的计算机程序时,首先根据获取的初始左右图像对,生成视差图;根据初始左图像/右图像生成纹理滤波模板,并根据所述纹理滤波模板对所述视差图进行纹理滤波;对滤波后的所述视差图进行斑点抑制;对斑点抑制后的所述视差图进行孔洞填充;对孔洞填充后的所述视差图进行中值滤波,从而能够实现对不同类型的视差图中异常点的后处理。
对应上述实施例,本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时,可执行根据本发明上述实施例所述的双目立体视觉视差图后处理方法。
根据本发明实施例的计算机程序产品,处理器执行其中的指令时,首先根据获取的初始左右图像对,生成视差图;根据初始左图像/右图像生成纹理滤波模板,并根据所述纹理滤波模板对所述视差图进行纹理滤波;对滤波后的所述视差图进行斑点抑制;对斑点抑制后的所述视差图进行孔洞填充;对孔洞填充后的所述视差图进行中值滤波,从而能够实现对不同类型的视差图中异常点的后处理。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种双目立体视觉视差图后处理方法,其特征在于,包括以下步骤:
根据获取的初始左右图像对,生成视差图;
根据初始左图像/右图像生成纹理滤波模板,并根据所述纹理滤波模板对所述视差图进行纹理滤波;
对滤波后的所述视差图进行斑点抑制;
对斑点抑制后的所述视差图进行孔洞填充;
对孔洞填充后的所述视差图进行中值滤波;
其中,根据初始左图像/右图像生成纹理滤波模板如下所示:
Figure 147595DEST_PATH_IMAGE002
其中,L为原始左图像,M*N表示所述原始左图像的滑动窗口大小,i为图像行,j为图像列,n表示滑动窗口中的所有行,m表示滑动窗口中的所有列。
2.根据权利要求1所述的双目立体视觉视差图后处理方法,其特征在于,根据所述纹理滤波模板对所述视差图进行纹理滤波,包括:
根据所述纹理滤波模板对所述视差图中的弱纹理区域进行标记。
3.根据权利要求2所述的双目立体视觉视差图后处理方法,其特征在于,通过下述公式对所述视差图中的弱纹理区域进行标记:
Figure 785774DEST_PATH_IMAGE004
其中,τ为常数,Disparity orig (i,j)视差图原始像素值。
4.根据权利要求3所述的双目立体视觉视差图后处理方法,其特征在于,对滤波后的所述视差图进行斑点抑制,包括:
遍历所述视差图上的每一个像素点,并分别判断所述每一个像素点与其上下左右的点的差值的绝对值是否小于等于预设的视差差值阈值;
当所述差值的绝对值小于等于所述预设的视差差值阈值时,确认该像素点为连通区域;
获取所述连通区域内的像素点的数量,当所述像素点的数量大于预设的数量阈值时,所述连通区域正常;
当所述像素点的数量小于等于预设的数量阈值时,所述连通区域为斑点,并将所述连通区域的像素点的像素设置为0。
5.根据权利要求4所述的双目立体视觉视差图后处理方法,其特征在于,对斑点抑制后的所述视差图进行孔洞填充,包括:
遍历所述视差图上的每一个像素点,并判断当前像素点的像素值是否为0;
如果为0,则分别检测该像素点的向上、向下、向左和向右的不为0的像素点;
获取向上、向下、向左和向右方向上像素点的像素值的最大值和最小值,并获取水平方向上像素点为0的个数,记为Hnum,以及获取垂直方向上像素点为0的个数,记为Vnum;
当所述最大值和最小值之间的差值小于第一预设阈值且max(Hnum,Vnum)小于第二预设阈值时,获取向上、向下、向左和向右方向上像素点的像素值的平均值;
根据所述平均值进行孔洞填充。
6.一种双目立体视觉视差图后处理装置,其特征在于,包括:
生成模块,用于根据获取的初始左右图像对,生成视差图;
纹理滤波模块,用于根据初始左图像/右图像生成纹理滤波模板,并根据所述纹理滤波模板对所述视差图进行纹理滤波;
斑点抑制模块,用于对滤波后的所述视差图进行斑点抑制;
孔洞填充模块,用于对斑点抑制后的所述视差图进行孔洞填充;
中值滤波模块,用于对孔洞填充后的所述视差图进行中值滤波;
其中,根据初始左图像/右图像生成纹理滤波模板如下所示:
Figure 80358DEST_PATH_IMAGE006
其中,L为原始左图像,M*N表示所述原始左图像的滑动窗口大小,i为图像行,j为图像列,n表示滑动窗口中的所有行,m表示滑动窗口中的所有列。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现根据权利要求1-5中任一项所述的双目立体视觉视差图后处理方法。
8.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现根据权利要求1-5中任一项所述的双目立体视觉视差图后处理方法。
9.一种计算机程序产品,其特征在于,当所述计算机程序产品中的指令由处理器执行时,执行根据权利要求1-5中任一项所述的双目立体视觉视差图后处理方法。
CN202010913696.2A 2020-09-03 2020-09-03 双目立体视觉视差图后处理方法和装置 Active CN112070694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010913696.2A CN112070694B (zh) 2020-09-03 2020-09-03 双目立体视觉视差图后处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010913696.2A CN112070694B (zh) 2020-09-03 2020-09-03 双目立体视觉视差图后处理方法和装置

Publications (2)

Publication Number Publication Date
CN112070694A CN112070694A (zh) 2020-12-11
CN112070694B true CN112070694B (zh) 2022-08-19

Family

ID=73666043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010913696.2A Active CN112070694B (zh) 2020-09-03 2020-09-03 双目立体视觉视差图后处理方法和装置

Country Status (1)

Country Link
CN (1) CN112070694B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226821B (zh) * 2013-04-27 2015-07-01 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN103310446B (zh) * 2013-06-08 2016-05-04 哈尔滨工程大学 一种基于迭代指导滤波的立体匹配方法
CN107392950A (zh) * 2017-07-28 2017-11-24 哈尔滨理工大学 一种基于弱纹理检测的跨尺度代价聚合立体匹配方法
CN109961417B (zh) * 2017-12-26 2021-04-06 广州极飞科技有限公司 图像处理方法、装置及移动装置控制方法
CN108629763B (zh) * 2018-04-16 2022-02-01 海信集团有限公司 一种视差图的评判方法、装置及终端
CN109493373B (zh) * 2018-11-07 2020-11-10 上海为森车载传感技术有限公司 一种基于双目立体视觉的立体匹配方法
CN110322572B (zh) * 2019-06-11 2022-09-09 长江勘测规划设计研究有限责任公司 一种基于双目视觉的水下涵隧内壁三维信息恢复方法
CN111402152B (zh) * 2020-03-10 2023-10-24 北京迈格威科技有限公司 视差图的处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112070694A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
US20130004079A1 (en) Image processing apparatus, image processing method, and program thereof
DE102013211930A1 (de) Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten
CN111028169B (zh) 图像校正方法、装置、终端设备和存储介质
CN110400273B (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质
EP3629288A1 (en) Method for detecting flying spot on edge of depth image, electronic device, and computer readable storage medium
CN111179295B (zh) 改进的二维Otsu阈值图像分割方法和系统
CN109300104A (zh) 角点检测方法、装置
CN112070694B (zh) 双目立体视觉视差图后处理方法和装置
US20150063630A1 (en) Apparatus and method for detecting obstacle
US20150170390A1 (en) Method and device for computing a change in an image scale of an object
CN113140002A (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN112132019A (zh) 物体垂直判断方法和装置
CN109059780B (zh) 检测障碍物高度的方法、装置、设备及存储介质
WO2019181491A1 (ja) 物体認識装置
CN114399669A (zh) 目标检测方法和装置
JP7152506B2 (ja) 撮像装置
US20120128236A1 (en) Method and apparatus for stereo misalignment estimation using modified affine or perspective model
KR102621257B1 (ko) 차량 및 그 제어방법
CN111784756A (zh) 视差置信度的估计方法、装置、电子设备及介质
CN112241675A (zh) 物体检测模型训练方法及装置
CN102802017B (zh) 自动检测噪声方差的方法及装置
CN118037726B (zh) 一种铁路配件缺陷检测方法及系统
CN110349183B (zh) 一种基于kcf的跟踪方法、装置、电子设备及存储介质
US20240119630A1 (en) System and method of obstacle and cliff detection for a semi-autonomous cleaning device
US11216940B2 (en) Metrology-based assisted defect recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant