CN110070500A - 一种深度图像的后处理方法 - Google Patents

一种深度图像的后处理方法 Download PDF

Info

Publication number
CN110070500A
CN110070500A CN201910215856.3A CN201910215856A CN110070500A CN 110070500 A CN110070500 A CN 110070500A CN 201910215856 A CN201910215856 A CN 201910215856A CN 110070500 A CN110070500 A CN 110070500A
Authority
CN
China
Prior art keywords
pixel
dispcopy
template
disparity map
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910215856.3A
Other languages
English (en)
Other versions
CN110070500B (zh
Inventor
宋明黎
王海阳
许睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910215856.3A priority Critical patent/CN110070500B/zh
Publication of CN110070500A publication Critical patent/CN110070500A/zh
Application granted granted Critical
Publication of CN110070500B publication Critical patent/CN110070500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种深度图像的后处理方法，包括：(1)小孔填充，利用圆形填充模板，将小孔用相邻像素的视差值填充；(2)较大孔填充，利用方形闭合模板填充较大空洞，同时闭合离散的物体边缘，并保持边缘平滑；(3)边缘收缩，利用方形模板收缩在第二步中膨胀的物体边缘；(4)Mask填充，将第(2)步第(3)步得到的结果，填充到第(1)步操作后视差图的空洞中，保持视差图的细节。通过以上4个步骤，可以有效填充视差图中不同大小的空洞，并且得到平滑的物体边缘。

Description

一种深度图像的后处理方法
技术领域
本发明涉及一种深度图像的后处理方法。
背景技术
作为计算机视觉的热门发展方向之一，在过去的几年，深度重建领域发展迅速。相比于其他获取深度信息的方法，例如雷达测距、TOF相机等，双目深度重建系统只需要两个普通的摄像头，设备要求简单，成本更低，在许多领域如机器人导航、智能驾驶和虚拟现实等更具有应用价值。
传统双目重建方法主要分为局部立体匹配方法和全局立体匹配方法。局部立体匹配算法在实现上比较简答，计算量较小，一般可以达到实时的效果，由于其只考虑了局部像素，重建结果常会出现一些异常，在边缘效果也不太好。全局立体匹配算法主要采用全局优化理论估计视差，建立全局能量函数，质量和稳定性都表现较好，但是全局算法往往要经过多次迭代寻找最优值，计算量较大，实时性不强。
大多数深度重建方法为了获得更好的结果，都在后期进行了优化处理。然而，在进行一些常见的优化处理操作(如左右一致性检测、唯一性检测等)后，视差图往往存在各种大小的空洞，边缘也极不光滑。此时直接做简单的插值操作，得到的视差图往往会产生各种拖影，边缘存在各种毛刺，效果不佳。因此针对存在各种空洞的视差图，需要有其他合适的方法进行填充，才能得到较好的结果。
发明内容
本发明针对现有双目深度重建后处理存在的问题，即针对具有各种空洞的视差图直接使用插值操作效果不佳，提出了一种新方法。该方法可以有效填充各种大小的空洞，并且得到光滑的物体边缘。
本发明提出了一种深度图像的后处理方法，包括下列步骤：
1)小孔填充；
针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)。该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题。圆形填充模板C的填充公式如下，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值。
2)较大孔填充；
经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑。本发明设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘。需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行。将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)。较大孔填充的公式如下，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值。
3)边缘收缩；
经过以上操作，DispCopy中空洞基本消失，物体边缘也比较平滑，但存在物体边缘膨胀的现象，需要将边缘收缩。本发明利用上一步骤中使用的15*15的方形模板S，做边缘收缩操作。将方形模板S遍历DispCopy中的每一个像素，得到模板S所覆盖像素的视差最小值，将其作为当前像素的视差值DispCopy(x,y)。该操作可以收缩物体膨胀的边缘，同时保持边缘的平滑。边缘收缩的表示公式如下，其中DispCopy(x,y)、DispCopy(x+i,y+j)表示的意义和第二步中一样，(i,j)属于方形模板S，min操作表示求方形模板S所覆盖DispCopy中像素的视差最小值。
4)Mask填充；
最后，针对视差图Disp中无视差值的像素，使用副本DispCopy对应位置的视差值填充。不将DispCopy作为最终视差图，是因为过程中使用较大尺寸的方形模板S对副本DispCopy求最值并赋值，该操作使副本视差图DispCopy呈现块状化，损失较多细节。Mask填充的公式如下，Disp(x,y)表示视差图中的像素视差值，DispCopy(x,y)表示视差图副本中的像素视差值，当Disp(x,y)不等于0，即视差图中像素视差有效时，取值不变，当Disp(x,y)等于0，即视差图中像素无有效视差时，则将视差图副本中对应的像素视差值DispCopy(x,y)赋值给Disp(x,y)。
本发明与现有的后处理技术相比，具有以下优点：针对视差图中不同大小的空洞，本发明有各自的操作进行合理填充，填充效果较好；针对原始离散稀疏的物体边缘，本发明的方法可以有效地将边缘闭合，得到平滑的物体边缘。
附图说明
图1是本发明方法的流程图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
本发明是一种深度图像的后处理方法，包括如下步骤：
1)小孔填充；
针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)。该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题。圆形填充模板C的填充公式如下，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值。
2)较大孔填充；
经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑。本发明设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘。需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行。将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)。较大孔填充的公式如下，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值。
3)边缘收缩；
经过以上操作，DispCopy中空洞基本消失，物体边缘也比较平滑，但存在物体边缘膨胀的现象，需要将边缘收缩。本发明利用上一步骤中使用的15*15的方形模板S，做边缘收缩操作。将方形模板S遍历DispCopy中的每一个像素，得到模板S所覆盖像素的视差最小值，将其作为当前像素的视差值DispCopy(x,y)。该操作可以收缩物体膨胀的边缘，同时保持边缘的平滑。边缘收缩的表示公式如下，其中DispCopy(x,y)、DispCopy(x+i,y+j)表示的意义和第二步中一样，(i,j)属于方形模板S，min操作表示求方形模板S所覆盖DispCopy中像素的视差最小值。
4)Mask填充；
最后，针对视差图Disp中无视差值的像素，使用副本DispCopy对应位置的视差值填充。不将DispCopy作为最终视差图，是因为过程中使用较大尺寸的方形模板S对副本DispCopy求最值并赋值，该操作使副本视差图DispCopy呈现块状化，损失较多细节。Mask填充的公式如下，Disp(x,y)表示视差图中的像素视差值，DispCopy(x,y)表示视差图副本中的像素视差值，当Disp(x,y)不等于0，即视差图中像素视差有效时，取值不变，当Disp(x,y)等于0，即视差图中像素无有效视差时，则将视差图副本中对应的像素视差值DispCopy(x,y)赋值给Disp(x,y)。
通过上述步骤，在左右一致性检测、连通域检测后增加空洞填充操作，可以针对视差图中不同大小的空洞，进行合理填充，填充效果较好；增加边缘收缩操作，可以在得到平滑物体边缘的同时并不明显改变物体面积。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种深度图像的后处理方法，包括下列步骤：
1)小孔填充；
针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)；该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题；圆形填充模板C的填充公式如下，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值；
2)较大孔填充；
经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑；设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘；需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行；将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)；较大孔填充的公式如下，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值；
3)边缘收缩；
经过以上操作，DispCopy中空洞基本消失，物体边缘也比较平滑，但存在物体边缘膨胀的现象，需要将边缘收缩；利用上一步骤中使用的15*15的方形模板S，做边缘收缩操作；将方形模板S遍历DispCopy中的每一个像素，得到模板S所覆盖像素的视差最小值，将其作为当前像素的视差值DispCopy(x,y)；该操作可以收缩物体膨胀的边缘，同时保持边缘的平滑；边缘收缩的表示公式如下，其中DispCopy(x,y)、DispCopy(x+i,y+j)表示的意义和第二步中一样，(i,j)属于方形模板S，min操作表示求方形模板S所覆盖DispCopy中像素的视差最小值；
4)Mask填充；
最后，针对视差图Disp中无视差值的像素，使用副本DispCopy对应位置的视差值填充；不将DispCopy作为最终视差图，是因为过程中使用较大尺寸的方形模板S对副本DispCopy求最值并赋值，该操作使副本视差图DispCopy呈现块状化，损失较多细节；Mask填充的公式如下，Disp(x,y)表示视差图中的像素视差值，DispCopy(x,y)表示视差图副本中的像素视差值，当Disp(x,y)不等于0，即视差图中像素视差有效时，取值不变，当Disp(x,y)等于0，即视差图中像素无有效视差时，则将视差图副本中对应的像素视差值DispCopy(x,y)赋值给Disp(x,y)；
CN201910215856.3A 2019-03-21 2019-03-21 一种深度图像的后处理方法 Active CN110070500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910215856.3A CN110070500B (zh) 2019-03-21 2019-03-21 一种深度图像的后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910215856.3A CN110070500B (zh) 2019-03-21 2019-03-21 一种深度图像的后处理方法

Publications (2)

Publication Number Publication Date
CN110070500A true CN110070500A (zh) 2019-07-30
CN110070500B CN110070500B (zh) 2020-12-08

Family

ID=67366493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910215856.3A Active CN110070500B (zh) 2019-03-21 2019-03-21 一种深度图像的后处理方法

Country Status (1)

Country Link
CN (1) CN110070500B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1947609A1 (en) * 2007-01-18 2008-07-23 Thomson Licensing Method to map the differences between two images
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
CN102831602A (zh) * 2012-07-26 2012-12-19 清华大学 基于深度图前向映射的图像渲染方法和图像渲染装置
US20130113881A1 (en) * 2011-11-03 2013-05-09 Texas Instruments Incorporated Reducing Disparity and Depth Ambiguity in Three-Dimensional (3D) Images
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN106651871A (zh) * 2016-11-18 2017-05-10 华东师范大学 一种深度图像空洞的自动填充方法
CN106898048A (zh) * 2017-01-19 2017-06-27 大连理工大学 一种可适应复杂场景的无畸变集成成像三维显示方法
CN107993201A (zh) * 2017-11-24 2018-05-04 北京理工大学 一种保留边界特征的深度图像增强方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
EP1947609A1 (en) * 2007-01-18 2008-07-23 Thomson Licensing Method to map the differences between two images
US20130113881A1 (en) * 2011-11-03 2013-05-09 Texas Instruments Incorporated Reducing Disparity and Depth Ambiguity in Three-Dimensional (3D) Images
CN102831602A (zh) * 2012-07-26 2012-12-19 清华大学 基于深度图前向映射的图像渲染方法和图像渲染装置
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN106651871A (zh) * 2016-11-18 2017-05-10 华东师范大学 一种深度图像空洞的自动填充方法
CN106898048A (zh) * 2017-01-19 2017-06-27 大连理工大学 一种可适应复杂场景的无畸变集成成像三维显示方法
CN107993201A (zh) * 2017-11-24 2018-05-04 北京理工大学 一种保留边界特征的深度图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAI-MAN PO等: "A new multidirectional extrapolation hole-filling method for depth-image-based rendering", 《IEEE》 *
谢辉: "基于深度图像绘制的视图合成研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN110070500B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN107220997B (zh) 一种立体匹配方法及系统
CN106780590B (zh) 一种深度图的获取方法及系统
CN103810685B (zh) 一种深度图的超分辨率处理方法
Concha et al. Using superpixels in monocular SLAM
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
KR101199475B1 (ko) 3차원 모델 생성 방법 및 장치
CN102592275B (zh) 虚拟视点绘制方法
CN107833270A (zh) 基于深度相机的实时物体三维重建方法
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN106651938A (zh) 一种融合高分辨率彩色图像的深度图增强方法
KR20070009899A (ko) 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
CN101339669A (zh) 基于正侧面影像的三维人脸建模方法
CN103646396A (zh) 双目立体匹配算法的匹配代价算法和非局部立体匹配算法
CN104517317A (zh) 一种车载红外图像三维重建方法
CN103384343B (zh) 一种填补图像空洞的方法及其装置
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN106251289A (zh) 一种基于深度学习和自相似性的视频超分辨率重建方法
CN103761765A (zh) 基于映射边界优化的三维物体模型纹理映射算法
CN103826032A (zh) 深度图后期处理方法
CN103761766A (zh) 基于色调映射和图像平滑的三维物体模型纹理映射算法
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
Hung et al. Multipass hierarchical stereo matching for generation of digital terrain models from aerial images
CN112819937B (zh) 一种自适应多对象光场三维重建方法、装置及设备
CN108924434B (zh) 一种基于曝光变换的立体高动态范围图像合成方法
CN114793457A (zh) 用于改进确定深度图、相对姿势或语义分割的过程的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant