CN110827209A - 一种联合颜色与深度信息的自适应深度图像修复方法 - Google Patents
一种联合颜色与深度信息的自适应深度图像修复方法 Download PDFInfo
- Publication number
- CN110827209A CN110827209A CN201910919398.1A CN201910919398A CN110827209A CN 110827209 A CN110827209 A CN 110827209A CN 201910919398 A CN201910919398 A CN 201910919398A CN 110827209 A CN110827209 A CN 110827209A
- Authority
- CN
- China
- Prior art keywords
- depth
- repaired
- image
- depth map
- restored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 230000002146 bilateral effect Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 5
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种联合颜色与深度信息的自适应深度图像修复方法,通过获取待修复深度图及待修复深度图深度处理前的颜色原图;然后根据待修复深度图的掩码获取待修复深度图的空洞和噪点坐标,从而确认深度图的空洞和噪点坐标信息,然后对于待修复深度图中的噪点,采用双边滤波方法进行图像噪点修复;对于待修复深度图中的空洞,获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点,完成空洞的修复,采用双选择处理方法分别实现空洞和噪点信息的修复问题,有效地解决了单一滤波器不能处理深度图像中大面积空洞的问题,减小了深度图像修复误差,实现了场景的深度图像合理修复,取得了很好的效果以及性能表现。
Description
技术领域
本发明涉及计算机视觉的深度图像修复领域,具体涉及一种联合颜色与深度信息的自适应深度图像修复方法。
背景技术
深度图像在计算机视觉领域特别是3D目标检测方面具有重要作用。但受限于信息采集器的精度和复杂的图像采集场景,所获取的深度图经常会出现大面积的空洞和噪点。以室内数据集NYUV2为例,如图2所示,NYUV2数据集的深度图存在许多较大的空洞,并且图像场景复杂,物体之间存在堆叠、大面积遮挡和截断等现象。对于3D目标检测任务来说,利用深度图直接从2D分割区域推断物体的3D位置具有很大的误差和不确定性。深度图像修复具有很重要的现实意义。而对于一幅待修复图像,传统的滤波算法用统一大小的滤波核进行滤波,如果滤波核较大,会模糊图像的细节信息;如果滤波核较小,对于“空洞”这种情况,则无法用周围的信息来估计,从而造成深度图像修复误差大。
发明内容
本发明的目的在于提供一种联合颜色与深度信息的自适应深度图像修复方法,以克服现有深度图像修复方法对图像修复误差大的问题。
为达到上述目的,本发明采用如下技术方案:
一种联合颜色与深度信息的自适应深度图像修复方法,包括以下步骤:
步骤1)、获取待修复深度图及待修复深度图深度处理前的颜色原图;
步骤2)、根据待修复深度图的掩码获取待修复深度图的空洞和噪点坐标,当待修复深度图坐标点(x,y)处的深度值小于等于有效深度阈值时,则待修复深度图坐标点(x,y)处的为空洞;当待修复深度图坐标点(x,y)处的深度值大于有效深度阈值时,则待修复深度图坐标点(x,y)处的为噪点;
步骤3)、对于待修复深度图中的噪点,采用双边滤波方法进行图像噪点修复;对于待修复深度图中的空洞,获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点,完成待修复深度图中空洞的修复。
进一步的,步骤2)中,通过下式求得待修复深度图的掩码:
threshold为有效深度阈值;mask(x,y)为掩码;depth(x,y)为深度图坐标(x,y)处的深度值。
进一步的,步骤3)中,待修复深度图中的噪点和空洞修复计算如下公式:
进一步的,当待修复深度图坐标点(x,y)处的为噪点时,根据下式计算双边滤波的权值模板系数W(x,y):
其中:
计算修复后的像素值I′(x0,y0):
进一步的,当待修复深度图坐标点(x,y)处的为空洞时,根据下式计算权值模板系数W(x,y):
计算先将待修复深度图深度处理前的颜色原图转化为灰度图像,然后对于灰度图进行滤波核的构建,公式如下:
进一步的,对于修复后的图像进行自适应图像滤波:
获取待修复深度图的自适应滤波核权重Wmask(x,y):
Wmask(x,y)=W(x,y)*mask(x,y)
然后利用下式完成修复后的图像进行自适应图像滤波:
sum(Smask)>threshold
sum(Smask)>1/2(Ws*Hs)
与现有技术相比,本发明具有以下有益的技术效果:
本发明一种联合颜色与深度信息的自适应深度图像修复方法,通过获取待修复深度图及待修复深度图深度处理前的颜色原图;然后根据待修复深度图的掩码获取待修复深度图的空洞和噪点坐标,从而确认深度图的空洞和噪点坐标信息,然后对于待修复深度图中的噪点,采用双边滤波方法进行图像噪点修复;对于待修复深度图中的空洞,获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点,完成空洞的修复,采用双选择处理方法分别实现空洞和噪点信息的修复问题,有效地解决了单一滤波器不能处理深度图像中大面积空洞的问题,减小了深度图像修复误差,实现了场景的深度图像的自适应修复修复,取得了很好的效果以及性能表现。
进一步的,对于噪点问题采用基于双边滤波的图像修复算法,同时考虑到像素点周围的空域和值域信息,达到了保护边缘和去除噪点的效果,参考相邻像素值的分布,可以有效地避免边缘模糊的情况。
进一步的,对于空洞问题的待修复深度图,先将待修复深度图深度处理前的颜色原图转化为灰度图像,通过对灰度图进行滤波核的构建,获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点,完成待修复深度图中空洞的修复,不破坏原图信息,准确率高。
进一步的,采用自适应图形滤波方法,对于不同空洞和噪点情况的深度图,实现待修复深度图的自适应滤波,在不破环原有深度图信息的基础上,合理的对空洞进行了修复,提高修复后的深度图准确率。
附图说明
图1为本发明流程框图。
图2为NYUV2数据集内容可视化内容。
图3为采用现有方法和本发明对待修复深度图修复结果对比图。
具体实施方式
下面结合附图对本发明做进一步详细描述:
如图1所示,一种联合颜色与深度信息的自适应深度图像修复方法,包括以下步骤:
步骤1)、获取待修复深度图及待修复深度图深度处理前的颜色原图;
步骤2)、根据待修复深度图的掩码获取待修复深度图的空洞和噪点坐标,当待修复深度图坐标点(x,y)处的深度值小于等于有效深度阈值时,则坐标点(x,y)处掩码为0,即待修复深度图坐标点(x,y)处的为空洞;当待修复深度图坐标点(x,y)处的深度值大于有效深度阈值时,则坐标点(x,y)处掩码为1,即待修复深度图坐标点(x,y)处的为噪点;
深度图的掩码主要用来区别空洞和噪点,为后续图像处理做准备;通过下式求得待修复深度图的掩码:
threshold为有效深度阈值;(x,y)为掩码;depth(x,y)为深度图坐标(x,y)处的深度值;
步骤3)、在深度图像中,待修复深度图的修复区包括噪点和空洞;针对于噪点的情况,采用双边滤波方法进行图像噪点修复;如果待修复的内容是空洞,获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点;
具体策略公式如下:
基于双边滤波的图像修复方法具体包括以下步骤:
当待修复深度图坐标点(x,y)处的为噪点时,根据下式计算双边滤波的权值模板系数W(x,y):
其中:
计算修复后的像素值I′(x0,y0):
基于双边滤波的图像修复算法同时考虑到像素点周围的空域和值域信息,达到了保护边缘和去除噪点的效果。很明显的,图像内像素值的变化是缓慢的,相邻像素值非常接近。因此可以用像素点周围的像素值加权来求得目标点的像素值。在边缘情况下,由于像素值差异较大,仅仅依赖相邻及相近进行滤波,会造成边缘模糊的结果。因此,参考相邻像素值的分布,可以有效地避免边缘模糊的情况。具体来说,根据像素值对邻域进行分割,然后对目标点所属的类别赋予较大的权值,然后在加权求和,得到最终结果。在实际操作过程中,双边滤波的核由空间域的高斯核和值域的相似度高斯核相乘组成。
当待修复深度图坐标点(x,y)处的为空洞时,根据下式计算权值模板系数W(x,y):
具体做法是先将待修复深度图深度处理前的颜色原图转化为灰度图像,然后对于灰度图进行滤波核的构建,公式如下:
步骤4:在待修复深度图上进行自适应图像滤波;
对于待修复的深度图,传统的滤波算法用统一大小的滤波核进行滤波,如果滤波核较小,对于“空洞”这种情况,无法用周围的信息来估计。因此,针对不同的情况,通过自适应的核来进行计算。公式如下:
Wmask(x,y)=W(x,y)*mask(x,y)
Wmask(x,y)为待修复深度图的自适应滤波核权重;
对于不同空洞和噪点情况的深度图,实现待修复深度图的自适应滤波,在不破环原有深度图信息的基础上,合理的对空洞进行了修复。
如图3所示,对待修复深度图采用现有方法和本发明进行修复结果对照,有图中可知,采用现有方法,对于深度图中出现的空洞问题无法有效修复,采用本发明方法能够有效修复深度图中空洞问题,从而减小了深度图像修复误差。
Claims (6)
1.一种联合颜色与深度信息的自适应深度图像修复方法,其特征在于,包括以下步骤:
步骤1)、获取待修复深度图及待修复深度图深度处理前的颜色原图;
步骤2)、根据待修复深度图的掩码获取待修复深度图的空洞和噪点坐标,当待修复深度图坐标点(x,y)处的深度值小于等于有效深度阈值时,则待修复深度图坐标点(x,y)处的为空洞;当待修复深度图坐标点(x,y)处的深度值大于有效深度阈值时,则待修复深度图坐标点(x,y)处的为噪点;
步骤3)、对于待修复深度图中的噪点,采用双边滤波方法进行图像噪点修复;对于待修复深度图中的空洞,获取颜色原图中与待修复深度图相同像素点的像素值覆盖待修复深度图中相同位置的像素点,完成待修复深度图中空洞的修复。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910919398.1A CN110827209A (zh) | 2019-09-26 | 2019-09-26 | 一种联合颜色与深度信息的自适应深度图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910919398.1A CN110827209A (zh) | 2019-09-26 | 2019-09-26 | 一种联合颜色与深度信息的自适应深度图像修复方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110827209A true CN110827209A (zh) | 2020-02-21 |
Family
ID=69548625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910919398.1A Pending CN110827209A (zh) | 2019-09-26 | 2019-09-26 | 一种联合颜色与深度信息的自适应深度图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110827209A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815532A (zh) * | 2020-07-09 | 2020-10-23 | 浙江大华技术股份有限公司 | 深度图修复方法及其相关装置 |
CN112102199A (zh) * | 2020-09-18 | 2020-12-18 | 贝壳技术有限公司 | 深度图像的空洞区域填充方法、装置和系统 |
CN113496468A (zh) * | 2020-03-20 | 2021-10-12 | 北京航空航天大学 | 深度图像的修复方法、装置和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100239180A1 (en) * | 2009-03-17 | 2010-09-23 | Sehoon Yea | Depth Reconstruction Filter for Depth Coding Videos |
US20180115763A1 (en) * | 2016-10-20 | 2018-04-26 | Altek Semiconductor Corp. | Optimization method of image depth information and image processing apparatus |
CN107977938A (zh) * | 2017-11-24 | 2018-05-01 | 北京航空航天大学 | 一种基于光场的Kinect深度图像修复方法 |
CN109903322A (zh) * | 2019-01-24 | 2019-06-18 | 江苏大学 | 一种深度摄像头深度图像修复方法 |
CN109978786A (zh) * | 2019-03-22 | 2019-07-05 | 北京工业大学 | 一种基于卷积神经网络的Kinect深度图修复方法 |
-
2019
- 2019-09-26 CN CN201910919398.1A patent/CN110827209A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100239180A1 (en) * | 2009-03-17 | 2010-09-23 | Sehoon Yea | Depth Reconstruction Filter for Depth Coding Videos |
US20180115763A1 (en) * | 2016-10-20 | 2018-04-26 | Altek Semiconductor Corp. | Optimization method of image depth information and image processing apparatus |
CN107977938A (zh) * | 2017-11-24 | 2018-05-01 | 北京航空航天大学 | 一种基于光场的Kinect深度图像修复方法 |
CN109903322A (zh) * | 2019-01-24 | 2019-06-18 | 江苏大学 | 一种深度摄像头深度图像修复方法 |
CN109978786A (zh) * | 2019-03-22 | 2019-07-05 | 北京工业大学 | 一种基于卷积神经网络的Kinect深度图修复方法 |
Non-Patent Citations (3)
Title |
---|
YINGHUA SHEN ET AL: "Depth map enhancement method based on joint bilateral filter", 《2014 7TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 * |
刘田间等: "一种深度图像修复算法研究", 《信息技术》 * |
李应彬等: "基于改进双边滤波的Kinect深度图像空洞修复算法研究", 《工业控制计算机》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113496468A (zh) * | 2020-03-20 | 2021-10-12 | 北京航空航天大学 | 深度图像的修复方法、装置和存储介质 |
CN111815532A (zh) * | 2020-07-09 | 2020-10-23 | 浙江大华技术股份有限公司 | 深度图修复方法及其相关装置 |
CN112102199A (zh) * | 2020-09-18 | 2020-12-18 | 贝壳技术有限公司 | 深度图像的空洞区域填充方法、装置和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106530246B (zh) | 基于暗通道与非局部先验的图像去雾方法及系统 | |
CN101950416B (zh) | 基于双边滤波的实时图像去雾增强方法 | |
CN103942758B (zh) | 基于多尺度融合的暗通道先验图像去雾方法 | |
CN108399632B (zh) | 一种联合彩色图像的rgb-d相机深度图像修复方法 | |
CN108564549B (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
CN108564597B (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
CN108510451B (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
CN110827209A (zh) | 一种联合颜色与深度信息的自适应深度图像修复方法 | |
CN105913396A (zh) | 一种噪声估计的图像边缘保持混合去噪方法 | |
CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉系统 | |
CN103578084A (zh) | 基于亮通道滤波的彩色图像增强方法 | |
CN109377450B (zh) | 一种边缘保护的去噪方法 | |
CN109118440B (zh) | 基于透射率融合与自适应大气光估计的单幅图像去雾方法 | |
CN106097256B (zh) | 一种基于图像盲去模糊的视频图像模糊度检测方法 | |
CN112561804A (zh) | 基于多尺度细节增强的低光照水下图像增强方法 | |
CN104463814A (zh) | 基于局部纹理方向性的图像增强方法 | |
CN111179186A (zh) | 一种保护图像细节的图像去噪系统 | |
CN114359076A (zh) | 一种基于图像边缘指示函数的自适应加权高斯曲率滤波方法 | |
Wang et al. | Single-image dehazing using color attenuation prior based on haze-lines | |
CN109635809B (zh) | 一种面向视觉退化图像的超像素分割方法 | |
CN111461999B (zh) | 一种基于超像素相似性测量的sar图像相干斑抑制方法 | |
CN113592750A (zh) | 一种基于梯度直方图的红外增强方法 | |
CN111340741B (zh) | 基于四元数与l1范数的粒子群优化灰度图像增强方法 | |
CN108416739B (zh) | 基于轮廓波和马尔可夫随机场的交通图像去雾方法 | |
CN113269687A (zh) | 一种基于参数优化的非局部平均红外图像去噪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |
|
RJ01 | Rejection of invention patent application after publication |