CN110070500B - 一种深度图像的后处理方法 - Google Patents

一种深度图像的后处理方法 Download PDF

Info

Publication number
CN110070500B
CN110070500B CN201910215856.3A CN201910215856A CN110070500B CN 110070500 B CN110070500 B CN 110070500B CN 201910215856 A CN201910215856 A CN 201910215856A CN 110070500 B CN110070500 B CN 110070500B
Authority
CN
China
Prior art keywords
pixel
template
value
disparity
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910215856.3A
Other languages
English (en)
Other versions
CN110070500A (zh
Inventor
宋明黎
王海阳
许睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910215856.3A priority Critical patent/CN110070500B/zh
Publication of CN110070500A publication Critical patent/CN110070500A/zh
Application granted granted Critical
Publication of CN110070500B publication Critical patent/CN110070500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Image Processing (AREA)

Abstract

一种深度图像的后处理方法，包括：(1)小孔填充，利用圆形填充模板，将小孔用相邻像素的视差值填充；(2)较大孔填充，利用方形闭合模板填充较大空洞，同时闭合离散的物体边缘，并保持边缘平滑；(3)边缘收缩，利用方形模板收缩在第二步中膨胀的物体边缘；(4)Mask填充，将第(2)步第(3)步得到的结果，填充到第(1)步操作后视差图的空洞中，保持视差图的细节。通过以上4个步骤，可以有效填充视差图中不同大小的空洞，并且得到平滑的物体边缘。

Description

一种深度图像的后处理方法
技术领域
本发明涉及一种深度图像的后处理方法。
背景技术
作为计算机视觉的热门发展方向之一，在过去的几年，深度重建领域发展迅速。相比于其他获取深度信息的方法，例如雷达测距、TOF相机等，双目深度重建系统只需要两个普通的摄像头，设备要求简单，成本更低，在许多领域如机器人导航、智能驾驶和虚拟现实等更具有应用价值。
传统双目重建方法主要分为局部立体匹配方法和全局立体匹配方法。局部立体匹配算法在实现上比较简答，计算量较小，一般可以达到实时的效果，由于其只考虑了局部像素，重建结果常会出现一些异常，在边缘效果也不太好。全局立体匹配算法主要采用全局优化理论估计视差，建立全局能量函数，质量和稳定性都表现较好，但是全局算法往往要经过多次迭代寻找最优值，计算量较大，实时性不强。
大多数深度重建方法为了获得更好的结果，都在后期进行了优化处理。然而，在进行一些常见的优化处理操作(如左右一致性检测、唯一性检测等)后，视差图往往存在各种大小的空洞，边缘也极不光滑。此时直接做简单的插值操作，得到的视差图往往会产生各种拖影，边缘存在各种毛刺，效果不佳。因此针对存在各种空洞的视差图，需要有其他合适的方法进行填充，才能得到较好的结果。
发明内容
本发明针对现有双目深度重建后处理存在的问题，即针对具有各种空洞的视差图直接使用插值操作效果不佳，提出了一种新方法。该方法可以有效填充各种大小的空洞，并且得到光滑的物体边缘。
本发明提出了一种深度图像的后处理方法，包括下列步骤：
1)小孔填充；
针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)。该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题。圆形填充模板C的填充公式如下，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值。
Figure BDA0002002063970000021
2)较大孔填充；
经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑。本发明设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘。需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行。将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)。较大孔填充的公式如下，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值。
Figure BDA0002002063970000022
3)边缘收缩；
经过以上操作，DispCopy中空洞基本消失，物体边缘也比较平滑，但存在物体边缘膨胀的现象，需要将边缘收缩。本发明利用上一步骤中使用的15*15的方形模板S，做边缘收缩操作。将方形模板S遍历DispCopy中的每一个像素，得到模板S所覆盖像素的视差最小值，将其作为当前像素的视差值DispCopy(x,y)。该操作可以收缩物体膨胀的边缘，同时保持边缘的平滑。边缘收缩的表示公式如下，其中DispCopy(x,y)、DispCopy(x+i,y+j)表示的意义和第二步中一样，(i,j)属于方形模板S，min操作表示求方形模板S所覆盖DispCopy中像素的视差最小值。
Figure BDA0002002063970000023
4)Mask填充；
最后，针对视差图Disp中无视差值的像素，使用副本DispCopy对应位置的视差值填充。不将DispCopy作为最终视差图，是因为过程中使用较大尺寸的方形模板S对副本DispCopy求最值并赋值，该操作使副本视差图DispCopy呈现块状化，损失较多细节。Mask填充的公式如下，Disp(x,y)表示视差图中的像素视差值，DispCopy(x,y)表示视差图副本中的像素视差值，当Disp(x,y)不等于0，即视差图中像素视差有效时，取值不变，当Disp(x,y)等于0，即视差图中像素无有效视差时，则将视差图副本中对应的像素视差值DispCopy(x,y)赋值给Disp(x,y)。
Figure BDA0002002063970000031
本发明与现有的后处理技术相比，具有以下优点：针对视差图中不同大小的空洞，本发明有各自的操作进行合理填充，填充效果较好；针对原始离散稀疏的物体边缘，本发明的方法可以有效地将边缘闭合，得到平滑的物体边缘。
附图说明
图1是本发明方法的流程图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
本发明是一种深度图像的后处理方法，包括如下步骤：
1)小孔填充；
针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)。该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题。圆形填充模板C的填充公式如下，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值。
Figure BDA0002002063970000032
2)较大孔填充；
经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑。本发明设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘。需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行。将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)。较大孔填充的公式如下，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值。
Figure BDA0002002063970000041
3)边缘收缩；
经过以上操作，DispCopy中空洞基本消失，物体边缘也比较平滑，但存在物体边缘膨胀的现象，需要将边缘收缩。本发明利用上一步骤中使用的15*15的方形模板S，做边缘收缩操作。将方形模板S遍历DispCopy中的每一个像素，得到模板S所覆盖像素的视差最小值，将其作为当前像素的视差值DispCopy(x,y)。该操作可以收缩物体膨胀的边缘，同时保持边缘的平滑。边缘收缩的表示公式如下，其中DispCopy(x,y)、DispCopy(x+i,y+j)表示的意义和第二步中一样，(i,j)属于方形模板S，min操作表示求方形模板S所覆盖DispCopy中像素的视差最小值。
Figure BDA0002002063970000042
4)Mask填充；
最后，针对视差图Disp中无视差值的像素，使用副本DispCopy对应位置的视差值填充。不将DispCopy作为最终视差图，是因为过程中使用较大尺寸的方形模板S对副本DispCopy求最值并赋值，该操作使副本视差图DispCopy呈现块状化，损失较多细节。Mask填充的公式如下，Disp(x,y)表示视差图中的像素视差值，DispCopy(x,y)表示视差图副本中的像素视差值，当Disp(x,y)不等于0，即视差图中像素视差有效时，取值不变，当Disp(x,y)等于0，即视差图中像素无有效视差时，则将视差图副本中对应的像素视差值DispCopy(x,y)赋值给Disp(x,y)。
Figure BDA0002002063970000043
通过上述步骤，在左右一致性检测、连通域检测后增加空洞填充操作，可以针对视差图中不同大小的空洞，进行合理填充，填充效果较好；增加边缘收缩操作，可以在得到平滑物体边缘的同时并不明显改变物体面积。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种深度图像的后处理方法，包括下列步骤：
1)小孔填充；
针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)；该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题；圆形填充模板C的填充公式如式(1)所示，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值；
Figure FDA0002673507780000011
2)较大孔填充；
经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑；设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘；需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行；将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)；较大孔填充的公式如式(2)所示，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值；
Figure FDA0002673507780000012
3)边缘收缩；
经过以上操作，DispCopy中空洞基本消失，物体边缘也比较平滑，但存在物体边缘膨胀的现象，需要将边缘收缩；利用上一步骤中使用的15*15的方形模板S，做边缘收缩操作；将方形模板S遍历DispCopy中的每一个像素，得到模板S所覆盖像素的视差最小值，将其作为当前像素的视差值DispCopy(x,y)；该操作可以收缩物体膨胀的边缘，同时保持边缘的平滑；边缘收缩的表示公式如式(3)所示，其中DispCopy(x,y)、DispCopy(x+i,y+j)表示的意义和第二步中一样，(i,j)属于方形模板S，min操作表示求方形模板S所覆盖DispCopy中像素的视差最小值；
Figure FDA0002673507780000021
4)Mask填充；
最后，针对视差图Disp中无视差值的像素，使用副本DispCopy对应位置的视差值填充；不将DispCopy作为最终视差图，是因为过程中使用较大尺寸的方形模板S对副本DispCopy求最值并赋值，该操作使副本视差图DispCopy呈现块状化，损失较多细节；Mask填充的公式如式(4)所示，Disp(x,y)表示视差图中的像素视差值，DispCopy(x,y)表示视差图副本中的像素视差值，当Disp(x,y)不等于0，即视差图中像素视差有效时，取值不变，当Disp(x,y)等于0，即视差图中像素无有效视差时，则将视差图副本中对应的像素视差值DispCopy(x,y)赋值给Disp(x,y)；
Figure FDA0002673507780000022
CN201910215856.3A 2019-03-21 2019-03-21 一种深度图像的后处理方法 Active CN110070500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910215856.3A CN110070500B (zh) 2019-03-21 2019-03-21 一种深度图像的后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910215856.3A CN110070500B (zh) 2019-03-21 2019-03-21 一种深度图像的后处理方法

Publications (2)

Publication Number Publication Date
CN110070500A CN110070500A (zh) 2019-07-30
CN110070500B true CN110070500B (zh) 2020-12-08

Family

ID=67366493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910215856.3A Active CN110070500B (zh) 2019-03-21 2019-03-21 一种深度图像的后处理方法

Country Status (1)

Country Link
CN (1) CN110070500B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1947609A1 (en) * 2007-01-18 2008-07-23 Thomson Licensing Method to map the differences between two images
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN106651871A (zh) * 2016-11-18 2017-05-10 华东师范大学 一种深度图像空洞的自动填充方法
CN107993201A (zh) * 2017-11-24 2018-05-04 北京理工大学 一种保留边界特征的深度图像增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326025B2 (en) * 2006-09-04 2012-12-04 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US9762881B2 (en) * 2011-11-03 2017-09-12 Texas Instruments Incorporated Reducing disparity and depth ambiguity in three-dimensional (3D) images
CN102831602B (zh) * 2012-07-26 2015-05-20 清华大学 基于深度图前向映射的图像渲染方法和图像渲染装置
CN106898048B (zh) * 2017-01-19 2019-10-29 大连理工大学 一种可适应复杂场景的无畸变集成成像三维显示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
EP1947609A1 (en) * 2007-01-18 2008-07-23 Thomson Licensing Method to map the differences between two images
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN106651871A (zh) * 2016-11-18 2017-05-10 华东师范大学 一种深度图像空洞的自动填充方法
CN107993201A (zh) * 2017-11-24 2018-05-04 北京理工大学 一种保留边界特征的深度图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A new multidirectional extrapolation hole-filling method for depth-image-based rendering;Lai-Man Po等;《IEEE》;20110930;论文正文 *
基于深度图像绘制的视图合成研究;谢辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140215;论文正文 *

Also Published As

Publication number Publication date
CN110070500A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN103810685B (zh) 一种深度图的超分辨率处理方法
CN102074014B (zh) 一种利用基于图论的图像分割算法的立体匹配方法
CN104780355B (zh) 一种视点合成中基于深度的空洞修复方法
CN102930530B (zh) 一种双视点图像的立体匹配方法
CN109712067A (zh) 一种基于深度图像的虚拟视点绘制方法
CN109754459B (zh) 一种用于构建人体三维模型的方法及系统
CN104966270A (zh) 一种多图像拼接方法
CN104517317A (zh) 一种车载红外图像三维重建方法
CN103248911A (zh) 多视点视频中基于空时结合的虚拟视点绘制方法
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN102903111B (zh) 基于图像分割的大面积低纹理区立体匹配算法
CN104299263A (zh) 一种基于单幅图像建模云场景的方法
CN107862674B (zh) 深度图像融合方法及系统
CN105913407A (zh) 一种基于差值图对多聚焦度图像融合优化的方法
CN103440664A (zh) 一种生成高分辨率深度图的方法、系统及计算设备
Xu et al. Depth-aided exemplar-based hole filling for DIBR view synthesis
CN103049903B (zh) 一种用于立体视觉系统的双目立体匹配方法
CN109584355A (zh) 基于手机gpu的三维模型快速重建方法
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
CN102957936A (zh) 从视频单视点到多视点的虚拟视点生成方法
CN104661014B (zh) 时空结合的空洞填充方法
CN110070500B (zh) 一种深度图像的后处理方法
CN114793457A (zh) 用于改进确定深度图、相对姿势或语义分割的过程的设备和方法
CN103325140A (zh) 一种三维重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant