CN103942756B - 一种深度图后处理滤波的方法 - Google Patents
一种深度图后处理滤波的方法 Download PDFInfo
- Publication number
- CN103942756B CN103942756B CN201410092432.XA CN201410092432A CN103942756B CN 103942756 B CN103942756 B CN 103942756B CN 201410092432 A CN201410092432 A CN 201410092432A CN 103942756 B CN103942756 B CN 103942756B
- Authority
- CN
- China
- Prior art keywords
- depth map
- border
- block
- scene
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012805 post-processing Methods 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000007547 defect Effects 0.000 abstract description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种深度图后处理滤波的方法,包括以下步骤:(A1)输入同一场景的深度图和彩色图;(A2)对彩色图进行分块,并对每个块进行基于灰度图的边缘检测,进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正,将得到的边界作为深度图中不同深度平面的边界;(A3)将深度图分为与步骤(A2)中相同大小的块,并依据以上分割,以块为单位对深度图进行去噪滤波;(A4)重复步骤A1-A3,直至所有图像全部处理完毕;(A5)输出所述得到的深度图序列。本方法通过提取像素点在空域上和时域上的平滑性特征,并在读取和扫描的过程中进行深度图的计算。这样的方法,能有利于改进深度图时域抖动、空域不稳定、场景还原性低等缺陷的深度图。
Description
技术领域
本发明涉及一种通过对象平面分割对深度图进行后处理滤波的方法。
背景技术
深度图序列是重构三维视频的重要信息,其质量的好坏直接决定了三维视频的观看质量。目前深度图序列生成技术主要有主动采集和被动计算两种生成方式。主动采集主要是利用深度相机直接对三维场景的空间深度信息进行采集获取,被动计算一般是利用彩色图序列进行立体匹配计算得到深度图序列。无论是哪一种获取方式,都不可避免的存在深度图的噪声及错误等问题。因此,一般需要采用后处理技术优化深度图质量,提升三维视频的重建效果。
但是一般的彩色图像去噪滤波技术并不适用于深度图序列。深度图序列相对于彩色图序列而言,具有更加明显的局部平滑性,并且对边缘锐利程度的要求也更高。一般的彩色图像去噪滤波技术容易造成深度图的边缘模糊,从而严重影响三维重构的视觉质量。
发明内容
本发明的目的为了解决上述技术缺陷,特别提出一种基于深度平面分割的深度图后处理方法。
本发明的方法通过提取像素点在空域上和时域上的平滑性特征,并在读取和扫描的过程中进行深度图的计算。这样的方法,能有利于改进深度图时域抖动、空域不稳定、场景还原性低等缺陷的深度图。
本发明的技术方案为:
一种深度图后处理滤波的方法,其特征在于包括以下步骤:
(A1)输入同一场景的深度图和彩色图;
(A2)对彩色图进行分块,并对每个块进行基于灰度的边缘检测,进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正,将得到的边界作为深度图中不同深度平面的边界;
(A3)将深度图分为与步骤(A2)中相同大小的块,并依据以上分块,以块为单位对深度图进行去噪滤波;
(A4)重复步骤A1-A3,直至所有图像全部处理完毕;
(A5)输出得到的深度图序列。
所述步骤(A2)对彩色图进行分块,并对每个块进行基于灰度图的边缘检测,进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正,将得到的边界作为深度图中不同深度平面的边界的具体过程为:
对彩色图进行分块操作,并在每个块中利用Sobel算子进行基于灰度的边缘检测,检测出块中场景的灰度边缘;对彩色图块中场景执行RGB三个颜色通道内的边缘检测,得到彩色图分块场景的边缘,用于修正对应块的灰度边缘,得到修正后的各块中场景的边缘,将修正后的各块中场景的边缘作为深度图不同深度平面的边界。
所述步骤(A3)将深度图分为与步骤(A2)中相同大小的块,并依据以上分割,以块为单位对深度图进行去噪滤波的具体过程为:
采用掩膜法对每个块进行平滑滤波,选取3*3像素的窗口作为模板,当窗口中的所有像素位于同一个深度平面区域,则执行正常的平滑滤波;当窗口中心像素位于边界点上时,首先做一个判断:如果除了中心像素外另有至少两个像素也落在边界上,则判定该窗口位于边界上;选取窗口中与中心像素处于同一深度平面的像素作为新的模板,进行平滑滤波;否则执行正常的平滑滤波。以此来解决深度图去噪滤波中容易将深度平面边缘模糊的问题。
总体而言,通过本发明所构思的以上技术方案和现有技术相比,本发明在有效地对深度图进行平滑滤波的同时,保证了深度图边缘的锐利程度,优化了深度图的质量,从而可以提高三维重建的质量。
附图说明
图1为本发明深度图去噪滤波方法的流程图;
图2为本发明的对深度图滤波的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处描述的具体实例仅仅用以解释本发明,并不用于限定本发明。因此,下面所描述的本发明各个实施方式中涉及到的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明的深度图平面分割的深度图后处理生成方法如图1所示,具体实现步骤如下:
(1)输入深度图ID和彩色图IC;
(2)将彩色图IC分成16*16像素的块,对每个块BCi进行基于灰度图的边缘检测,采用Sobel算子进行局部的边缘检测,检测出块中场景的灰度边缘;
(3)进一步基于RGB颜色空间再次对彩色图块中场景进行边缘检测,得到彩色图分块场景的边缘,并用于修正步骤(2)得到的对应块中场景的灰度图边缘,以优化边缘的连续性。将该修正后的块中场景的边缘作为深度图ID不同深度平面的边界;
将深度图ID也分成为与步骤(2)中相同的16*16像素的块,并在分割后的深度图中,对每个块BDi采用3*3像素的窗口作为模板W进行平滑滤波,如图2所示。当窗口中的所有像素位于同一个深度平面区域,则执行正常的平滑滤波;当窗口的中心像素位于边界点上时,首先做一个判断,如果除了窗口中心像素外另有至少两个像素也落在边界上,则判定该窗口位于边界上,选取窗口中与中心像素处于同一深度平面的像素作为新的模板,进行平滑滤波。否则执行正常的平滑滤波(如图2中W1、W2、W3分别表示三种不同的情况)。本发明对于滤波器的选取没有限制,可以兼容多种平滑滤波器,在此选择中值滤波器。当模板W中的像素全部位于同一深度区域时,采用常规的滤波方法,即:
g(x,y)=med{f(k,l)},(k,l∈W),
其中g(x,y)表示绝对坐标(x,y)处的像素滤波后的像素值,med表示取中值,f(k,l)表示窗口中相对坐标(k,l)处的像素值;
当模板位于边界上时,模板W被边界分为子模板W1,W2,其中W1,W2分别位于不同的深度平面,选取与中心像素处于同一深度平面的子模板Wj,在子模板下进行中值滤波,即:
g(x,y)=med{f(k,l)},(k,l∈Wj),
其中g(x,y)表示绝对坐标(x,y)处的像素滤波后的像素值,med表示取中值,f(k,l)表示窗口中相对坐标(k,l)处的像素值;
(4)重复执行步骤(1)-(3),完成对整个深度图的后处理;
(5)输出得到的深度图序列。
Claims (1)
1.一种深度图后处理滤波的方法,其特征在于包括以下步骤:
(A1)输入同一场景的深度图和彩色图;
(A2)对彩色图进行分块,并对每个块进行基于灰度的边缘检测,进一步用基于彩色分量的边界对上述块中场景的灰度边缘进行修正,将得到的边界作为深度图中不同深度平面的边界;具体过程为:
对彩色图进行分块操作,并在每个块中利用Sobel算子进行基于灰度的边缘检测,检测出块中场景的灰度边缘;对彩色图块中场景执行RGB三个颜色通道内的边缘检测,得到彩色图分块场景的边缘,用于修正对应块的灰度边缘,得到修正后的各块中场景的边缘,将修正后的各块中场景的边缘作为深度图不同深度平面的边界;
(A3)将深度图分为与步骤(A2)中相同大小的块,并依据以上分块,以块为单位对深度图进行去噪滤波;具体过程为:
采用掩膜法对每个块进行平滑滤波,选取3*3像素的窗口作为模板,当窗口中的所有像素位于同一个深度平面区域,则执行正常的平滑滤波;当窗口中心像素位于边界点上时,首先做一个判断:如果除了中心像素外另有至少两个像素也落在边界上,则判定该窗口位于边界上;选取窗口中与中心像素处于同一深度平面的像素作为新的模板,进行平滑滤波;否则执行正常的平滑滤波;
(A4)重复步骤A1-A3,直至所有图像全部处理完毕;
(A5)输出得到的深度图序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410092432.XA CN103942756B (zh) | 2014-03-13 | 2014-03-13 | 一种深度图后处理滤波的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410092432.XA CN103942756B (zh) | 2014-03-13 | 2014-03-13 | 一种深度图后处理滤波的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103942756A CN103942756A (zh) | 2014-07-23 |
CN103942756B true CN103942756B (zh) | 2017-03-29 |
Family
ID=51190408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410092432.XA Expired - Fee Related CN103942756B (zh) | 2014-03-13 | 2014-03-13 | 一种深度图后处理滤波的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103942756B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104683783B (zh) * | 2015-01-08 | 2017-03-15 | 电子科技大学 | 一种自适应深度图滤波方法 |
CN105517677B (zh) * | 2015-05-06 | 2018-10-12 | 北京大学深圳研究生院 | 深度图/视差图的后处理方法和装置 |
CN107292826B (zh) * | 2016-03-31 | 2021-01-22 | 富士通株式会社 | 图像处理设备、图像处理方法以及图像处理装置 |
TWI672677B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 用以融合多深度圖的深度圖產生裝置 |
CN108108733A (zh) * | 2017-12-19 | 2018-06-01 | 北京奇艺世纪科技有限公司 | 一种新闻字幕检测方法及装置 |
WO2022120809A1 (zh) * | 2020-12-11 | 2022-06-16 | Oppo广东移动通信有限公司 | 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 |
CN113793349A (zh) * | 2021-01-05 | 2021-12-14 | 北京京东乾石科技有限公司 | 目标检测方法及装置、计算机可读存储介质、电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5363213A (en) * | 1992-06-08 | 1994-11-08 | Xerox Corporation | Unquantized resolution conversion of bitmap images using error diffusion |
EP1154378A2 (en) * | 2000-05-11 | 2001-11-14 | Eastman Kodak Company | Image processing method and apparatus for generating low resolution, low bit depth images |
CN1595428A (zh) * | 2004-07-15 | 2005-03-16 | 清华大学 | 基于密度图模型的指纹识别方法 |
CN101699511A (zh) * | 2009-10-30 | 2010-04-28 | 深圳创维数字技术股份有限公司 | 彩色图像分割方法及系统 |
CN102831582A (zh) * | 2012-07-27 | 2012-12-19 | 湖南大学 | 一种微软体感装置深度图像增强方法 |
CN103118261A (zh) * | 2013-03-12 | 2013-05-22 | 福州大学 | 一种h.264帧间模式快速选择方法 |
CN103455984A (zh) * | 2013-09-02 | 2013-12-18 | 清华大学深圳研究生院 | 一种Kinect深度图像获取方法与装置 |
-
2014
- 2014-03-13 CN CN201410092432.XA patent/CN103942756B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5363213A (en) * | 1992-06-08 | 1994-11-08 | Xerox Corporation | Unquantized resolution conversion of bitmap images using error diffusion |
EP1154378A2 (en) * | 2000-05-11 | 2001-11-14 | Eastman Kodak Company | Image processing method and apparatus for generating low resolution, low bit depth images |
CN1595428A (zh) * | 2004-07-15 | 2005-03-16 | 清华大学 | 基于密度图模型的指纹识别方法 |
CN101699511A (zh) * | 2009-10-30 | 2010-04-28 | 深圳创维数字技术股份有限公司 | 彩色图像分割方法及系统 |
CN102831582A (zh) * | 2012-07-27 | 2012-12-19 | 湖南大学 | 一种微软体感装置深度图像增强方法 |
CN103118261A (zh) * | 2013-03-12 | 2013-05-22 | 福州大学 | 一种h.264帧间模式快速选择方法 |
CN103455984A (zh) * | 2013-09-02 | 2013-12-18 | 清华大学深圳研究生院 | 一种Kinect深度图像获取方法与装置 |
Non-Patent Citations (2)
Title |
---|
基于边缘检测的深度图与单视图配准算法;张春彦 等;《吉林大学学报(信息科学版)》;20110531;第29卷(第3期);175-180 * |
边缘检测技术研究;朱柱;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110115(第1期);35-46 * |
Also Published As
Publication number | Publication date |
---|---|
CN103942756A (zh) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103942756B (zh) | 一种深度图后处理滤波的方法 | |
TWI467516B (zh) | 色彩特徵擷取方法 | |
US10592754B2 (en) | Shadow removing method for color image and application | |
Yu et al. | Fast single image fog removal using edge-preserving smoothing | |
TWI524734B (zh) | 產生深度圖的方法及裝置 | |
US9171372B2 (en) | Depth estimation based on global motion | |
Peng et al. | Image haze removal using airlight white correction, local light filter, and aerial perspective prior | |
US10148895B2 (en) | Generating a combined infrared/visible light image having an enhanced transition between different types of image information | |
CN108377374B (zh) | 用于产生与图像相关的深度信息的方法和系统 | |
CN109360235A (zh) | 一种基于光场数据的混合深度估计方法 | |
EP3358844A1 (en) | Method and apparatus for processing an image property map | |
CN107622480B (zh) | 一种Kinect深度图像增强方法 | |
CN105069801A (zh) | 基于图像质量诊断的视频图像预处理方法 | |
CN108389215B (zh) | 一种边缘检测方法、装置、计算机存储介质及终端 | |
KR102160690B1 (ko) | 다초점 이미지 융합 방법 | |
CN108510491A (zh) | 虚化背景下人体骨骼关键点检测结果的过滤方法 | |
CN101246593B (zh) | 一种彩色图像边缘检测方法及设备 | |
CN103293168B (zh) | 基于视觉显著性的水果表面缺陷检测方法 | |
CN110298812B (zh) | 一种图像融合处理的方法及装置 | |
CN106020120A (zh) | 基于ios系统的利用图像生成G代码的方法 | |
CN104504703A (zh) | 一种基于片式元器件smt焊点彩色图像分割方法 | |
EP3086552A1 (en) | Method and apparatus for image colorization | |
CN109598736A (zh) | 深度图像与彩色图像的配准方法及装置 | |
CN112200742A (zh) | 一种应用于边缘检测的滤波去噪方法 | |
CN102118547A (zh) | 图像加权滤波的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170329 |
|
CF01 | Termination of patent right due to non-payment of annual fee |