CN102542541B - 深度图像后处理的方法 - Google Patents

深度图像后处理的方法 Download PDF

Info

Publication number
CN102542541B
CN102542541B CN201110460155.XA CN201110460155A CN102542541B CN 102542541 B CN102542541 B CN 102542541B CN 201110460155 A CN201110460155 A CN 201110460155A CN 102542541 B CN102542541 B CN 102542541B
Authority
CN
China
Prior art keywords
image
prime
pixel
main
visual point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110460155.XA
Other languages
English (en)
Other versions
CN102542541A (zh
Inventor
杨青青
张静
王梁昊
李东晓
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wan D Display Technology (shenzhen) Co Ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201110460155.XA priority Critical patent/CN102542541B/zh
Publication of CN102542541A publication Critical patent/CN102542541A/zh
Application granted granted Critical
Publication of CN102542541B publication Critical patent/CN102542541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种深度图像后处理的方法，包括以下步骤：（1）对待处理的左右视点立体图像以及对应的左右视点深度图像，以其中一幅视点图像为主视点，另一视点图像为辅助视点，检测主视点深度图像中的可信点和不可信点；（2）根据滤波窗口的基准尺寸，确定处理主视点深度图像需要的滤波尺度范围；（3）利用主视点图像以及主视点深度图像中每个像素的可信度，对主视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点。本发明针对立体匹配算法产生的深度图像，可以快速有效地修复深度图像中遮挡区域、低纹理区域的不可信点，并且有效地保持物体的边缘，获取精确平滑的深度图像。

Description

深度图像后处理的方法
技术领域
本发明涉及图像处理方法，尤其涉及一种深度图像后处理的方法。
背景技术
真实世界中物体是三维的，而一般的摄影技术只能将空间物体以二维的形式记录下来，从而丢失了物体的深度信息。随着计算机技术、多媒体技术的发展，更多的应用需要利用场景的深度信息将客观世界真实再现，给人们带来立体感受。目前，裸眼自由立体电视蓬勃发展，它可以摆脱眼镜的限制，在任意视点裸眼观看到3D立体效果。常见的自由立体显示技术利用深度信息，在重构显示端采用DIBR(Depth-Image-Based Rendering)算法生成多路虚拟视点图像，最后合成立体图像进行显示。因此，对深度图像的获取这一技术的研究具有重要的意义。
常见的深度图像产生方法有立体匹配算法，分为局部立体匹配算法和全局立体匹配算法。局部立体匹配算法大多基于窗口实现，它的复杂度低，易于实时实现。然而局部立体匹配算法产生的深度图像在低纹理区域以及遮挡区域存在较多的错误点。全局立体匹配算法通过引入平滑项优化深度图像，虽然可以弥补局部立体匹配算法的固有缺陷，但是它会造成图像中物体边缘不准确的现象。同时，全局立体匹配算法的复杂度较高，不易实现。
传统的图像后处理方法包括中值滤波、高斯滤波、双边滤波等等。但是这些滤波方法都局限在一个固定窗口内，且无法分辨图像中的正确点与错误点，易造成错误点扩散，同时会模糊图像中物体的边缘。
发明内容
本发明的目的是克服现有技术的缺陷和不足，提出了一种深度图像后处理的方法。
深度图像后处理的方法包括以下步骤：
(1)对待处理的左右视点立体图像以及对应的左右视点深度图像，以其中一幅视点图像为主视点，另一视点图像为辅助视点，检测主视点深度图像中的可信点和不可信点；
(2)根据滤波窗口的基准尺寸，确定处理主视点深度图像需要的滤波尺度范围；
(3)利用主视点图像以及主视点深度图像中每个像素的可信度，对主视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点，多尺度滤波结束后，即可得到最终的主视点深度图像。
所述的对待处理的左右视点立体图像以及对应的左右视点深度图像，以其中一幅视点图像为主视点，另一视点图像为辅助视点，检测主视点深度图像中的可信点和不可信点的步骤为：
(a)以左视点图像IL、左视点深度图像DL为主视点，以右视点图像IR、右视点深度图像DR为辅助视点，根据主视点图像坐标系中每一个像素点(xl，yl)的深度值DL(xl，yl)，将(xl，yl)映射至辅助视点图像坐标系，映射点的坐标为(xlR，ylR)，检测映射点(xlR，ylR)的深度值与(xl，yl)的深度值是否相等，获取主视点的可信度标记图ConfL，表示公式如下：
|DL(xl，yl)-DR(xlR，ylR)|≤ηLR
其中，xl表示主视点图像像素点水平方向上的坐标，yl表示主视点图像像素点垂直方向上的坐标，xl的取值为xl＝0，1，2，...，W-1，yl的取值为yl＝0，1，2，...，H-1，xlR表示(xl，yl)映射在辅助视点中的像素点水平方向上的坐标，ylR表示(xl，yl)映射在辅助视点中的像素点垂直方向上的坐标，xlR的取值为xlR＝0，1，2，...，W-1，ylR的取值为ylR＝0，1，2，...，H-1，W表示左右视点图像的水平分辨率，H表示左右视点图像的垂直分辨率，DL(xl，yl)、DR(xlR，ylR)分别表示(xl，yl)、(xlR，ylR)的深度值，ηLR表示左右一致性检测误差阈值。
若主视点图像中像素点(xl，yl)不满足上式，则被判定为不可信点，标记为ConfL(xl，yl)＝0；
(b)对主视点图像中满足公式|DL(xl，yl)-DR(xlR，ylR)|≤ηLR的像素点(xl，yl)，进行代价计算，获取每个像素点(xl，yl)的最优代价值和次优代价值
Figure BDA0000127981610000022
表示公式如下：
CL(xl，yl，d)＝Diff(IL(xl，yl)，IR(xlr(d)，ylr(d)))
C L min 1 ( x l , y l ) = C L ( x l , y l , D L ( x l , y l ) )
Figure BDA0000127981610000024
其中，DMax表示主视点图像中的最大深度值，d表示主视点图像中像素点(xl，yl)的深度，它的取值为d＝0，1，2，...，DMax，IL(xl，yl)表示主视点图像中像素点(xl，yl)的色彩值，在深度为d时，将(xl，yl)映射到辅助视点中，映射点的坐标为(xlr(d)，ylr(d))，IR(xlr(d)，ylr(d))表示映射点的色彩值，Diff(·)表示代价计算函数，CL(xl，yl，d)表示主视点图像中每一个像素点(xl，yl)在深度为d时的代价值；
(c)根据步骤(b)计算出的最优代价值
Figure BDA0000127981610000031
和次优代价值
Figure BDA0000127981610000032
进行唯一性检测，获得主视点图像中满足公式|DL(xl，yl)-DR(xlR，ylR)|≤ηLR的像素点(xl，yl)的深度值的可信度，表示公式如下：
| 1 - C L min 1 ( x l , y l ) C L min 2 ( x l , y l ) | ≥ η PK
其中，ηPK表示唯一性检测误差阈值，若像素点(xl，yl)满足上式，则被判定为可信点，标记为ConfL(xl，yl)＝1；否则为不可信点，标记为ConfL(xl，yl)＝0。
所述的根据滤波窗口的基准尺寸，确定处理主视点深度图像需要的滤波尺度范围的步骤为：
(d)计算滤波尺度范围N，保证主视点图像中的每个像素点都被滤波器处理，表示公式如下：
Figure BDA0000127981610000034
其中，λ表示预设的常数，Rf表示滤波窗口的基准尺寸。
所述的依据主视点图像以及主视点深度图像中每个像素的可信度，对主视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点，多尺度滤波结束后，即可得到最终的主视点深度图像的步骤为：
(e)设定滤波尺度i的初始值为N；
(f)计算划分块的大小S，表示公式如下：
S＝2i
将主视点图像IL及其对应的深度图像DL划分成多个大小为S×S的块，提取每个块中左上角的像素点；
(g)计算当前滤波尺度i下的滤波窗口尺寸
Figure BDA0000127981610000035
表示公式如下：
R f i = R f × S ;
(h)根据主视点图像IL、主视点深度图像DL、步骤(a)步骤(b)步骤(c)得到的主视点可信度标记图ConfL、步骤(g)获得的当前滤波尺度i下的滤波窗口尺寸
Figure BDA0000127981610000037
对步骤(f)中抽取的不可信像素点(xl，yl)进行滤波操作，表示公式如下：
D L ( x l , y l ) = Σ ( x l ′ , y l ′ ) ∈ win ( R f i ) w ( x l ′ , y l ′ ) · D L ( x l ′ , y l ′ ) Σ ( x l ′ , y l ′ ) ∈ win ( R f i ) w ( x l ′ , y l ′ ) , ConfL(xl，yl)＝0，且xl＝0，S×1，S×2...，yl＝0，S×1，S×2...，
且x′l＝0，S×1，S×2...，y′l＝0，S×1，S×2...，
且0≤xl＜W，0≤yl＜H，0≤x′l＜W，0≤y′l＜H
其中，ConfL(xl，yl)表示像素点(xl，yl)的可信度，
Figure BDA0000127981610000041
表示大小为
Figure BDA0000127981610000042
的滤波窗口，w(x′l，y′l)表示在滤波窗口
Figure BDA0000127981610000043
中，像素点(x′l，y′l)相对于(xl，yl)的权重，表示公式如下：
w ( x l ′ , y l ′ ) = w P ( x l ′ , y l ′ ) · exp ( - | I L ( x l ′ , y l ′ ) - I L ( x l , y l ) | σ r )
其中，σr为滤波器在色彩域的调节参数，wP(x′l，y′l)表示在滤波窗口
Figure BDA0000127981610000045
中，像素点(x′l，y′l)相对于(xl，yl)的距离权重，表示公式如下：
w P ( x l ′ , y l ′ ) = 1 , C onf L ( x l ′ , y l ′ ) = 1 exp ( - ( ( x l ′ - x l ) / S ) 2 + ( ( y l ′ - y l ) / S ) 2 σ s ) , C onf L ( x l ′ , y l ′ ) = - 1 0 , Conf L ( x l ′ , y l ′ ) = 0
其中，σs为滤波器在空间域的调节参数，ConfL(xl，yl)＝-1表示像素点(xl，yl)是由不可信点修复成的可信点；
(i)对于步骤(f)中抽取的不可信像素点(xl，yl)，即ConfL(xl，yl)＝0，将其滤波后的可信度更新为ConfL(xl，yl)＝-1；
(j)更新滤波尺度值i，表示公式如下：
i＝i-1；
(k)重复步骤(f)到步骤(j)，直到i＝1，获得最终的主视点深度图像。
本发明适用于对立体匹配算法获得的深度图像进行后处理。以往的滤波器的滤波窗口局限于一个固定大小，滤波后会造成图像边缘模糊，或者不可信点扩散的现象。本方法通过一致性和唯一性条件检测主视点深度图像中的可信点和不可信点，并依据该信息对主视点深度图像进行多尺度滤波的方法，保留深度图像中的可信点，修正了不可信点，同时有效地保留了图像中物体的边缘信息。另外，本方法采用的多尺度滤波方法，极大地降低了滤波的复杂度，减少了图像后处理的运行时间，这对获取深度信息的实时实现有很大帮助。
附图说明
图1是以左视点图像为主视点，右视点图像为辅助视点，对左视点深度图像后处理的整体框图；
图2是对深度图像进行多尺度滤波的具体步骤；
图3(a)是Art立体测试图像对左视点图像；
图3(b)是Art左视点的深度图像；
图3(c)是Art立体测试图像对右视点图像；
图3(d)是Art右视点的深度图像；
图4(a)是对图3(b)进行检测后的可信点标记图像，其中白色区域为不可信点；
图4(b)是对图3(d)进行检测后的可信点标记图像，其中白色区域为不可信点；
图5(a)是经过多尺度滤波后获取的最终的左视点深度图像；
图5(b)是经过多尺度滤波后获取的最终的右视点深度图像。
具体实施方式
如图1所示，深度图像后处理的方法包括以下步骤：
(1)对待处理的左右视点立体图像以及对应的左右视点深度图像，以其中一幅视点图像为主视点，另一视点图像为辅助视点，检测主视点深度图像中的可信点和不可信点；
(2)根据滤波窗口的基准尺寸，确定处理主视点深度图像需要的滤波尺度范围；
(3)利用主视点图像以及主视点深度图像中每个像素的可信度，对主视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点，多尺度滤波结束后，即可得到最终的主视点深度图像。
所述的对待处理的左右视点立体图像以及对应的左右视点深度图像，以其中一幅视点图像为主视点，另一视点图像为辅助视点，检测主视点深度图像中的可信点和不可信点的步骤为：
(a)以左视点图像IL、左视点深度图像DL为主视点，以右视点图像IR、右视点深度图像DR为辅助视点，根据主视点图像坐标系中每一个像素点(xl，yl)的深度值DL(xl，yl)，将(xl，yl)映射至辅助视点图像坐标系，映射点的坐标为(xlR，ylR)，检测映射点(xlR，ylR)的深度值与(xl，yl)的深度值是否相等，获取主视点的可信度标记图ConfL，表示公式如下：
|DL(xl，yl)-DR(xlR，ylR)|≤ηLR
其中，xl表示主视点图像像素点水平方向上的坐标，yl表示主视点图像像素点垂直方向上的坐标，xl的取值为xl＝0，1，2，...，W-1，yl的取值为yl＝0，1，2，...，H-1，xlR表示(xl，yl)映射在辅助视点中的像素点水平方向上的坐标，ylR表示(xl，yl)映射在辅助视点中的像素点垂直方向上的坐标，xlR的取值为xlR＝0，1，2，...，W-1，ylR的取值为ylR＝0，1，2，...，H-1，W表示左右视点图像的水平分辨率，H表示左右视点图像的垂直分辨率，DL(xl，yl)、DR(xlR，ylR)分别表示(xl，yl)、(xlR，ylR)的深度值，ηLR表示左右一致性检测误差阈值。
若主视点图像中像素点(xl，yl)不满足上式，则被判定为不可信点，标记为ConfL(xl，yl)＝0；
(b)对主视点图像中满足公式|DL(xl，yl)-DR(xlR，ylR)|≤ηLR的像素点(xl，yl)，进行代价计算，获取每个像素点(xl，yl)的最优代价值
Figure BDA0000127981610000061
和次优代价值
Figure BDA0000127981610000062
表示公式如下：
CL(xl，yl，d)＝Diff(IL(xl，yl)，IR(xlr(d)，ylr(d)))
C L min 1 ( x l , y l ) = C L ( x l , y l , D L ( x l , y l ) )
Figure BDA0000127981610000064
其中，DMax表示主视点图像中的最大深度值，d表示主视点图像中像素点(xl，yl)的深度，它的取值为d＝0，1，2，...，DMax，IL(xl，yl)表示主视点图像中像素点(xl，yl)的色彩值，在深度为d时，将(xl，yl)映射到辅助视点中，映射点的坐标为(xlr(d)，ylr(d))，IR(xlr(d)，ylr(d))表示映射点的色彩值，Diff(·)表示代价计算函数，CL(xl，yl，d)表示主视点图像中每一个像素点(xl，yl)在深度为d时的代价值；
(c)根据步骤(b)计算出的最优代价值
Figure BDA0000127981610000065
和次优代价值
Figure BDA0000127981610000066
进行唯一性检测，获得主视点图像中满足公式|DL(xl，yl)-DR(xlR，ylR)|≤ηLR的像素点(xl，yl)的深度值的可信度，表示公式如下：
| 1 - C L min 1 ( x l , y l ) C L min 2 ( x l , y l ) | ≥ η PK
其中，ηPK表示唯一性检测误差阈值，若像素点(xl，yl)满足上式，则被判定为可信点，标记为ConfL(xl，yl)＝1；否则为不可信点，标记为ConfL(xl，yl)＝0。
所述的根据滤波窗口的基准尺寸，确定处理主视点深度图像需要的滤波尺度范围的步骤为：
(d)计算滤波尺度范围N，保证主视点图像中的每个像素点都被滤波器处理，表示公式如下：
Figure BDA0000127981610000068
其中，λ表示预设的常数，Rf表示滤波窗口的基准尺寸。
所述的依据主视点图像以及主视点深度图像中每个像素的可信度，对主视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点，多尺度滤波结束后，即可得到最终的主视点深度图像的步骤为：
(e)设定滤波尺度i的初始值为N；
(f)计算划分块的大小S，表示公式如下：
S＝2i
将主视点图像IL及其对应的深度图像DL划分成多个大小为S×S的块，提取每个块中左上角的像素点；
(g)计算当前滤波尺度i下的滤波窗口尺寸
Figure BDA0000127981610000071
表示公式如下：
R f i = R f × S ;
(h)根据主视点图像IL、主视点深度图像DL、步骤(a)步骤(b)步骤(c)得到的主视点可信度标记图ConfL、步骤(g)获得的当前滤波尺度i下的滤波窗口尺寸对步骤(f)中抽取的不可信像素点(xl，yl)进行滤波操作，表示公式如下：
D L ( x l , y l ) = Σ ( x l ′ , y l ′ ) ∈ win ( R f i ) w ( x l ′ , y l ′ ) · D L ( x l ′ , y l ′ ) Σ ( x l ′ , y l ′ ) ∈ win ( R f i ) w ( x l ′ , y l ′ ) , ConfL(xl，yl)＝0，且xl＝0，S×1，S×2...，yl＝0，S×1，S×2...，
且x′l＝0，S×1，S×2...，y′l＝0，S×1，S×2...，
且0≤xl＜W，0≤yl＜H，0≤x′l＜W，0≤y′l＜H
其中，ConfL(xl，yl)表示像素点(xl，yl)的可信度，
Figure BDA0000127981610000075
表示大小为
Figure BDA0000127981610000076
的滤波窗口，w(x′l，y′l)表示在滤波窗口中，像素点(x′l，y′l)相对于(xl，yl)的权重，表示公式如下：
w ( x l ′ , y l ′ ) = w P ( x l ′ , y l ′ ) · exp ( - | I L ( x l ′ , y l ′ ) - I L ( x l , y l ) | σ r )
其中，σr为滤波器在色彩域的调节参数，wP(x′l，y′l)表示在滤波窗口中，像素点(x′l，y′l)相对于(xl，yl)的距离权重，表示公式如下：
w P ( x l ′ , y l ′ ) = 1 , C onf L ( x l ′ , y l ′ ) = 1 exp ( - ( ( x l ′ - x l ) / S ) 2 + ( ( y l ′ - y l ) / S ) 2 σ s ) , C onf L ( x l ′ , y l ′ ) = - 1 0 , Conf L ( x l ′ , y l ′ ) = 0
其中，σs为滤波器在空间域的调节参数，ConfL(xl，yl)＝-1表示像素点(xl，yl)是由不可信点修复成的可信点；
(i)对于步骤(f)中抽取的不可信像素点(xl，yl)，即ConfL(xl，yl)＝0，将其滤波后的可信度更新为CondL(xl，yl)＝-1；
(j)更新滤波尺度值i，表示公式如下：
i＝i-1；
(k)重复步骤(f)到步骤(j)，直到i＝1，获得最终的主视点深度图像。
实施例：
(1)将图像分辨率为463×370的Art左右视点立体图像以及对应的左右视点深度图像作为输入图像，最大深度DMax＝67。图3(a)即为Art左视点图像，图3(b)即为Art左视点深度图像，图3(c)即为Art右视点图像，图3(d)即为Art右视点深度图像。
(2)设定左右一致性检测误差阈值ηLR＝2，唯一性检测误差阈值ηPK＝0.4。
(3)以左视点图像为主视点，右视点图像为辅助视点，检测左视点深度图像中的可信点和不可信点。图4(a)即为左视点的可信度标记图像，其中白色区域为不可信点。
(4)以右视点图像为主视点，左视点图像为辅助视点，检测右视点深度图像中的可信和不可信点。图4(b)即为右视点的可信度标记图像，其中白色区域为不可信点。
(5)设定常数λ＝1.5，滤波窗口的尺寸Rf＝5，计算处理深度图像需要的滤波尺度范围，
Figure BDA0000127981610000081
(6)设定滤波器在色彩域、空间域的滤波半径分别为σr＝5，σs＝5。滤波尺度i的初始值为5。
(7)计算划块的大小S，并将主视点图像及其对应的深度图像划分成多个大小为S×S的块，提取每个块中左上角的像素点。
(8)计算当前滤波尺度i下的滤波窗口尺寸
Figure BDA0000127981610000082
(9)依据左视点图像、左视点深度图像以及左视点深度图像中每个像素的可信度，对步骤(7)提取的不可信像素点进行滤波操作，修正不可信点。
(10)更新滤波尺度i＝i-1。
(11)重复步骤(7)到步骤(10)，直到i＝1，如图2所示，获得最终的左视点深度图像，即图5(a)。
(12)根据右视点图像以及右视点深度图像中每个像素的可信度，重复步骤(6)到步骤(11)，对右视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点。图5(b)即为最终的右视点深度图像。

Claims (1)

1.一种深度图像后处理的方法，其特征在于它的步骤如下：
（1）对待处理的左右视点图像以及对应的左右视点深度图像，以其中一幅视点图像为主视点，另一视点图像为辅助视点，检测主视点深度图像中的可信点和不可信点；
（2）根据滤波窗口的基准尺寸，确定处理主视点深度图像需要的滤波尺度范围；
（3）利用主视点图像以及主视点深度图像中每个像素的可信度，对主视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点，多尺度滤波结束后，即可得到最终的主视点深度图像；
所述的对待处理的左右视点图像以及对应的左右视点深度图像，以其中一幅视点图像为主视点，另一视点图像为辅助视点，检测主视点深度图像中的可信点和不可信点的步骤为：
（a）以左视点图像IL、左视点深度图像DL为主视点，以右视点图像IR、右视点深度图像DR为辅助视点，根据主视点图像坐标系中每一个像素点(xl,yl)的深度值DL(xl,yl)，将(xl,yl)映射至辅助视点图像坐标系,映射点的坐标为(xlR,ylR)，检测映射点(xlR,ylR)的深度值与(xl,yl)的深度值是否相等，获取主视点的可信度标记图ConfL，表示公式如下：
|DL(xl,yl)-DR(xlR,ylR)|≤ηLR
其中，xl表示主视点图像像素点水平方向上的坐标，yl表示主视点图像像素点垂直方向上的坐标，xl的取值为xl＝0,1,2,...,W-1，yl的取值为yl＝0,1,2,...,H-1，xlR表示(xl,yl)映射在辅助视点中的像素点水平方向上的坐标，ylR表示(xl,yl)映射在辅助视点中的像素点垂直方向上的坐标，xlR的取值为xlR＝0,1,2,...,W-1，ylR的取值为ylR＝0,1,2,...,H-1，W表示左右视点图像的水平分辨率，H表示左右视点图像的垂直分辨率，DL(xl,yl)、DR(xlR,ylR)分别表示(xl,yl)、(xlR,ylR)的深度值，ηLR表示左右一致性检测误差阈值；
若主视点图像中像素点(xl,yl)不满足上式，则被判定为不可信点，标记为ConfL(xl,yl)＝0；
（b）对主视点图像中满足公式|DL(xl,yl)-DR(xlR,ylR)|≤ηLR的像素点(xl,yl)，进行代价计算，获取每个像素点(xl,yl)的最优代价值和次优代价值
Figure FDA0000415927340000012
表示公式如下：
CL(xl,yl,d)＝Diff(IL(xl,yl),IR(xlr(d),ylr(d)))
C L min 1 ( x l , y l ) = C L ( x l , y l , D L ( x l , y l ) )
Figure FDA0000415927340000023
其中，DMax表示主视点图像中的最大深度值，d表示主视点图像中像素点(xl,yl)的深度，它的取值为d＝0,1,2,...,DMax，IL(xl,yl)表示主视点图像中像素点(xl,yl)的色彩值，在深度为d时，将(xl,yl)映射到辅助视点中，映射点的坐标为(xlr(d),ylr(d))，IR(xlr(d),ylr(d))表示辅助视点中映射点的色彩值，Diff(·)表示代价计算函数，CL(xl,yl,d)表示主视点图像中每一个像素点(xl,yl)在深度为d时的代价值；
（c）根据步骤（b）计算出的最优代价值
Figure FDA0000415927340000025
和次优代价值
Figure FDA0000415927340000026
进行唯一性检测，获得主视点图像中满足公式|DL(xl,yl)-DR(xlR,ylR)|≤ηLR的像素点(xl,yl)的深度值的可信度，表示公式如下：
| 1 - C L min 1 ( x l , y l ) C L min 2 ( x l , y l ) | ≥ η PK
其中，ηPK表示唯一性检测误差阈值，若像素点(xl,yl)满足上式，则被判定为可信点，标记为ConfL(xl,yl)＝1；否则为不可信点，标记为ConfL(xl,yl)＝0；
所述的根据滤波窗口的基准尺寸，确定处理主视点深度图像需要的滤波尺度范围的步骤为：
（d）计算滤波尺度范围N，保证主视点图像中的每个像素点都被滤波器处理，表示公式如下：
其中，λ表示预设的常数，Rf表示滤波窗口的基准尺寸；
所述的依据主视点图像以及主视点深度图像中每个像素的可信度，对主视点深度图像进行多尺度滤波，保留可信点，逐步修正不可信点，多尺度滤波结束后，即可得到最终的主视点深度图像的步骤为：
（e）设定滤波尺度i的初始值为N；
（f）计算划分块的大小S，表示公式如下：
S＝2i
将主视点图像IL及其对应的深度图像DL划分成多个大小为S×S的块，提取每个块中左上角的像素点；
（g）计算当前滤波尺度i下的滤波窗口尺寸
Figure FDA0000415927340000034
，表示公式如下：
R f i = R f × S ;
（h）根据主视点图像IL、主视点深度图像DL、步骤（a）步骤（b）步骤（c）得到的主视点可信度标记图ConfL、步骤（g）获得的当前滤波尺度i下的滤波窗口尺寸对步骤（f）中抽取的不可信像素点(xl,yl)进行滤波操作，表示公式如下：
D L ( x l , y l ) = Σ ( x l ′ , y l ′ ) ∈ win ( R i f ) w ( x l ′ , y l ′ ) · D L ( x l ′ , y l ′ ) Σ ( x l ′ , y l ′ ) ∈ win ( R i f ) w ( x l ′ , y l ′ ) , ConfL(xl,yl)=00,且xl＝0,S×1,S×2...,yl＝0,S×1,S×2...,
且x'l＝0,S×1,S×2...,y'l＝0,S×1,S×2...,
且0≤xl＜W,0≤yl＜H,0≤xl'＜W,0≤y'l＜H
其中，ConfL(xl,yl)表示像素点(xl,yl)的可信度，
Figure FDA0000415927340000037
表示大小为
Figure FDA0000415927340000038
的滤波窗口，w(x′l,y′l)表示在滤波窗口
Figure FDA0000415927340000039
中，像素点(x′l,y′l)相对于(xl,yl)的权重，表示公式如下：
w ( x l , ′ y l ′ ) = w P ( x l , ′ y l ′ ) · exp ( - | I L ( x l , ′ y l ′ ) - I L ( x l , y l ) | σ γ )
其中，σr为滤波器在色彩域的调节参数，wP(x′l,y′l)表示在滤波窗口中，像素点(x′l,y′l)相对于(xl,yl)的距离权重，表示公式如下：
w P ( x l ′ , y l ′ ) = 1 , Conf L ( x l ′ , y l ′ ) = 1 exp ( - ( ( x l ′ - x l ) / S ) 2 + ( ( y l ′ - y l ) / S ) 2 σ s ) , Conf L ( x l ′ , y l ′ ) = - 1 0 , Conf L ( x l ′ , y l ′ ) = 0
其中，σs为滤波器在空间域的调节参数，ConfL(xl,yl)＝-1表示像素点(xl,yl)是由不可信点修复成的可信点；
（i）对于步骤（f）中抽取的不可信像素点(xl,yl)，即ConfL(xl,yl)＝0，将其滤波后的可信度更新为ConfL(xl,yl)＝-1；
（j）更新滤波尺度值i，表示公式如下：
i＝i-1;
（k）重复步骤（f）到步骤（j），直到i＝1，获得最终的主视点深度图像。
CN201110460155.XA 2011-12-31 2011-12-31 深度图像后处理的方法 Active CN102542541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110460155.XA CN102542541B (zh) 2011-12-31 2011-12-31 深度图像后处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110460155.XA CN102542541B (zh) 2011-12-31 2011-12-31 深度图像后处理的方法

Publications (2)

Publication Number Publication Date
CN102542541A CN102542541A (zh) 2012-07-04
CN102542541B true CN102542541B (zh) 2014-04-16

Family

ID=46349366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110460155.XA Active CN102542541B (zh) 2011-12-31 2011-12-31 深度图像后处理的方法

Country Status (1)

Country Link
CN (1) CN102542541B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198486B (zh) * 2013-04-10 2015-09-09 浙江大学 一种基于各向异性扩散的深度图像增强方法
CN103729860B (zh) * 2013-12-31 2016-10-05 华为软件技术有限公司 一种图像目标跟踪的方法和装置
CN105069804B (zh) * 2015-08-21 2018-04-20 清华大学 基于智能手机的三维模型扫描重建方法
CN106559659B (zh) * 2015-09-25 2018-07-10 台达电子工业股份有限公司 立体影像深度图产生装置及方法
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400339B (zh) * 2019-07-11 2021-04-16 Oppo广东移动通信有限公司 深度图处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281748A (zh) * 2008-05-14 2008-10-08 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
CN102254348A (zh) * 2011-07-25 2011-11-23 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281748A (zh) * 2008-05-14 2008-10-08 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
CN102254348A (zh) * 2011-07-25 2011-11-23 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Liang Zhang，Wa James Tam.Stereoscopic image generation based on depth images for 3D TV.《IEEE TRANSACTIONS ON BROADCASTING》.2005,第51卷(第2期),191-199页. *
基于深度图像绘制的视图合成;徐小艳 等;《系统仿真学报》;20111031;第23卷(第10期);全文 *
姚超 等.基于深度特征的双目立体图像重建算法.《第七届和谐人机环境联合学术会议(HHME2011)论文集》.2011, *
徐小艳 等.基于深度图像绘制的视图合成.《系统仿真学报》.2011,第23卷(第10期),2263-2268页.

Also Published As

Publication number Publication date
CN102542541A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
CN102542541B (zh) 深度图像后处理的方法
EP2811423B1 (en) Method and apparatus for detecting target
CN104574375B (zh) 结合彩色和深度信息的图像显著性检测方法
CN103440653A (zh) 双目视觉立体匹配方法
CN118212141A (zh) 用于混合深度正则化的系统和方法
Stella et al. Inferring spatial layout from a single image via depth-ordered grouping
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN107622480B (zh) 一种Kinect深度图像增强方法
CN103971116A (zh) 基于Kinect的感兴趣区域检测方法
CN107924571A (zh) 从点云中对人耳进行三维重建
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN103927717A (zh) 基于改进型双边滤波的深度图像恢复方法
CN103093479A (zh) 一种基于双目视觉的目标定位方法
CN103049906A (zh) 一种图像深度提取方法
JP2011243194A (ja) 対応点探索のための画像処理方法
CN104574366A (zh) 一种基于单目深度图的视觉显著性区域的提取方法
CN101765019B (zh) 一种用于运动模糊和光照变化图像的立体匹配方法
CN103455991A (zh) 一种多聚焦图像融合方法
CN108010075B (zh) 一种基于多特征联合的局部立体匹配方法
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
CN103544491A (zh) 一种面向复杂背景的光学字符识别方法及装置
JP2013186902A (ja) 車輌検知方法及び装置
CN105809673A (zh) 基于surf算法和合并最大相似区域的视频前景分割方法
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160614

Address after: 518000 new energy building, Nanhai Road, Shenzhen, Guangdong, Nanshan District A838

Patentee after: Meng Qi media (Shenzhen) Co. Ltd.

Address before: 310027 Hangzhou, Zhejiang Province, Xihu District, Zhejiang Road, No. 38, No.

Patentee before: Zhejiang University

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160901

Address after: 518000, 101, 2, Fengyun technology building, Fifth Industrial Zone, North Ring Road, Shenzhen, Guangdong, Nanshan District

Patentee after: World wide technology (Shenzhen) Limited

Address before: 518000 new energy building, Nanhai Road, Shenzhen, Guangdong, Nanshan District A838

Patentee before: Meng Qi media (Shenzhen) Co. Ltd.

TR01 Transfer of patent right

Effective date of registration: 20180903

Address after: New 101 building, the wind and cloud mansion of West Road 5 unit B of 518000 Shenzhen City, Guangdong Province Nanshan District Xi Li neighbourhood committees

Patentee after: Wan D display technology (Shenzhen) Co., Ltd.

Address before: The 2 of 518000 FengYun Science building, No. 5 Industry Zone, Bei Huan Road, NanShan District, Shenzhen City, GuangDong Prov mansion 101

Patentee before: World wide technology (Shenzhen) Limited

TR01 Transfer of patent right