CN107622480B - 一种Kinect深度图像增强方法 - Google Patents
一种Kinect深度图像增强方法 Download PDFInfo
- Publication number
- CN107622480B CN107622480B CN201710874911.0A CN201710874911A CN107622480B CN 107622480 B CN107622480 B CN 107622480B CN 201710874911 A CN201710874911 A CN 201710874911A CN 107622480 B CN107622480 B CN 107622480B
- Authority
- CN
- China
- Prior art keywords
- depth
- edge
- color
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种Kinect深度图像增强方法,其特征在于具体步骤如下:对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁,并进行边缘检测;将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分,对物体边缘空洞的处理,采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声,令窗口大小与中心像素深度值成线性关系,在去噪的同时兼顾细节的保持。该方法将深度图像进行区域分割,针对不同区域中不同原因导致的空洞采用不同的方法进行填充,大大降低算法复杂性,在保证实时性的前提下获得了高质量的Kinect v2深度图像。
Description
技术领域
本发明涉及一种Kinect深度图像增强方法,属于计算机图像处理领域。
背景技术
深度图像的像素值表示场景中物体到相机的距离,包含场景的三维结构信息。深度图像是计算机视觉、三维重建、增强现实、机器人等领域应用的重要输入,深度信息的准确度至关重要。
深度图像的获取方法包括基于视觉的方法和基于深度传感设备的方法两类。基于视觉的深度图像获取方法是基于彩色图像的纹理信息提取深度值,算法复杂实时性不佳。基于深度传感设备的方法由于其良好的实时性应用广泛。Kinect作为一款体感设备由于其卓越的深度感知性能和亲民的价格,一经推出便成为深度获取最为广泛使用的设备。Kinect v2采用了完全不同于Kinect v1的深度测量原理,使得其深度测量的精度得到大幅提高。然而,Kinect v2深度图像中仍然存在由无效深度值像素构成的空洞,尤其是在深度值变化剧烈的区域,由于Kinect中三个IR发射装置、IR相机、RGB相机的物理位置的不同,导致场景中深度值变化剧烈的区域(例如物体边缘)存在大量的错误或无效像素。
为了对Kinect v2深度图像进行增强,得到高质量的深度图像,研究人员开展了大量的研究,探索了一些方法,可概括为如下两类:基于深度校准的方法,这类方法对深度图进行逐个像素校准;然而空洞中的像素点不仅仅有不准确的深度值点,更是存在大量的无效像素点,因此,对于空洞的处理效果不佳。另一类方法是,基于彩色纹理的深度增强方法,利用Kinect中RGB相机同时采集的彩色图像纹理对于无效像素深度值进行估计;这类方法对于图像中所有空洞的全部像素点依次进行估计,算法相对较为复杂,处理效率低,无法满足深度图像的各个应用领域中实时性的要求。
发明内容
为解决Kinect深度图像质量不佳的问题,本发明的目的在于提供一种Kinect深度图像增强方法,该方法将深度图像进行区域分割,针对不同区域中不同原因导致的空洞采用不同的方法进行填充,大大降低算法复杂性,在保证实时性的前提下获得了高质量的Kinect深度图像。
为了达成上述目的,本发明的技术方案是这样实现的:一种Kinect深度图像增强方法,其特征在于具体步骤如下:
1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁,并进行边缘检测;包括如下子步骤:
101、根据深度和彩色图像中对应的特征点、边等纹理信息,计算深度和彩色图像的比例;利用opencv的resize函数调整彩色图像,并通过ROI将两者重合,进行对齐剪裁;剪裁后的深度和彩色图像分别记为Imdepth和Imcolor;
102、对剪裁后的深度和彩色图像进行边缘检测,得到对应的两幅图像分别记为Im’depth和Im’color;
103、建立Im’color与Im’depth的映射关系,计算Im’color中所有的边缘线中的点q与Im’depth中最近的边缘点的空间距离dq,选取阈值Thresholddq;对于Im’color中的点q,若dq>Thresholddq,则该点的像素值清零,即该点不是边缘点,得到的清除了多余边缘线的图像,记为Im”color;
2、将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分,采用形态学的膨胀方法将深度图像Imdepth中离散的错误和无效像素点扩充为连通的空洞,对于每一个空洞,通过其与Im’depth中边缘线的空间距离,判断其类型,选取阈值Thresholdsp,若dsp<=Thresholdsp时,空洞为物体边缘空洞,若dsp>Thresholdsp,空洞则为非物体边缘空洞;
3、Kinect v2深度图中非物体边缘空洞的成因主要包括两类:一类是由于物体表面材质、光照条件等原因导致的错误值,另一类是由于距离Kinect较远导致的测量不准确;前者通常位于前景区域;而后者普遍存在于距Kinect较远的拍摄背景中,这类空洞中的像素与邻域像素的深度值往往差别不大;对于位于前景区域的空洞采用与物体边缘空洞相同的方式进行填充,方法同步骤4;本发明首先针对由于距离导致的测量不准确引起的非物体边缘空洞进行处理,取空洞最外侧的像素点q,q点的5*5邻域记为ΩHne,计算ΩHne中所有有效像素点深度值的平均值,将该值作为ΩHne中全部未知像素点的深度值,重复此步骤,直至计算出空洞中全部点的深度值;
4、对于物体边缘空洞,其中某些像素属于前景,其深度值应与前景邻域像素相近;而另一些像素属于背景,其深度值则需与背景深度值相近;本发明针对物体边缘空洞的处理步骤包括如下子步骤:
401、物体边缘空洞中的点任一点p,若其在Im”color中的对应点位于边缘线之外,则p点应属于背景像素点;物体边缘空洞中全部的属于背景的像素点构成的空洞区域记为ΩHe1;ΩHe1中所有点的像素值根据其邻域中有效的背景区域像素值计算得到,计算方法同步骤3;
402、将物体边缘空洞中剩余的区域记为ΩHe2;取ΩHe2最外侧靠近前景物体(物体内部方向)的像素点集,记为Ω'He2;对于每一个点p∈Ω'He2,按下面公式计算fp(q)的值;
fp(q)=a*||p-q||2+b*||Cp-Cq||2
其中,q∈ΩNp,ΩNp为p的8*8邻域中位于前景物体区域的有效点集;||p-q||为q和p点的空间距离,a为权值;||Cp-Cq||为Im’color中q和p对应点的颜色距离,b为权值;取fp(q)值最小的三个像素点的深度值的平均值作为点p的深度值;
403、重复步骤402,直至空洞ΩHe2中全部像素深度值计算完毕;
5、采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声,令窗口大小与中心像素深度值成线性关系,在去噪的同时兼顾细节的保持。
本发明的积极效果是在计算机视觉、三维重建、增强现实、机器人等领域中,三维深度感知的准确性是决定系统质量、甚至是成败的关键因素。Kinect v2作为当前最为常用的深度获取设备,尽管深度计算精度较Kinect v1大为提高,但是其深度图像中仍然存在类型显著的空洞现象。现阶段,研究人员在增强深度图像、提高图像质量方面进行了诸多探索,如何在保证实时性的前提下提高Kinect v2深度图像质量是急需解决的问题。本发明提出的Kinect v2深度图像增强方法,针对不同空洞类型分别处理,对于非物体边缘空洞根据邻域像素值平均值估计其深度值,而对于边缘空洞基于彩色图像问题信息估计像素深度值;本发明能够有效填充空洞,显著提高Kinect v2深度图像质量,与此同时,降低了算法的执行时间,保证了算法的执行效率。
附图说明
图1为深度图像空洞类型划分示意图。1所指向的区域为物体边缘空洞,2和3所指向的区域为非物体边缘空洞。
图2为对齐剪裁后的彩色图像。
图3为彩色和深度图像边缘检测结果图。
图4为物体边缘空洞前、背景像素划分示意图。该图为深度图的部分细节图,其中,1所指向的人物头部边缘的黑色区域为物体边缘空洞,2所指向的白色曲线为对应彩色图像边缘检测结果,3和4所指向的被白色边缘线分隔的两部分空洞分别为:属于背景的边缘空洞、属于前景人物的边缘空洞。
具体实施方式
以下结合附图和具体的实施例对本发明的实施方式进行详细说明。
本实施例针对Kinect v2同时采集的深度和彩色图像,应用一种Kinect深度图像增强方法,具体步骤如下:
1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁,并进行边缘检测。本步骤包括如下子步骤:
101、利用Kinect v2对于同时采集深度和彩色图像。本实施例拍摄了简单背景下人物的深度和彩色图像。
102、根据深度和彩色图像中对应的人物双肩、头顶等特征点,确定深度和彩色图像的比例;利用opencv的resize函数调整彩色图像,并通过ROI将两者重合,进行对齐剪裁;剪裁后的深度和彩色图像分别记为Imdepth和Imcolor,分别如图1、图2所示。
103、采用Canndy边缘检测算法对Imdepth和Imcolor进行边缘检测,参数thigh取100,tlow取50,得到对应的两幅图像分别记为Im’depth和Im’color,如图3所示。
104、建立Im’color与Im’depth的映射关系,计算Im’color中所有的边缘线中的点q与Im’depth中最近的边缘点的空间距离dq,选取阈值Thresholddq;对于Im’color中的点q,若dq>Thresholddq,则该点的像素值清零,即该点不是边缘点。通过试验确定阈值为7,得到的清除了多余边缘线的图像,记为Im”color。
2、将Kinect v2深度图中由错误、无效像素构成的空洞进行类型划分。采用形态学的膨胀方法将深度图像Imdepth中离散的错误和无效像素点扩充为连通的空洞。对于每一个空洞,通过其与Im’depth中边缘线的空间距离,判断其类型。选取阈值Thresholdsp,若dsp<=Thresholdsp时,空洞为物体边缘空洞。若dsp>Thresholdsp,空洞则为非物体边缘空洞。如图1所示,1所指向的区域为物体边缘空洞,2和3所指向的区域为非物体边缘空洞。
3、针对由于距离导致的测量不准确引起的非物体边缘空洞进行处理。取空洞最外侧的像素点q,q点的5*5邻域记为ΩHne,计算ΩHne中所有有效像素点深度值的平均值,将该值作为ΩHne中全部未知像素点的深度值。重复此步骤,直至计算出空洞中全部点的深度值。
4、对于物体边缘空洞的处理步骤包括如下子步骤:
401、物体边缘空洞中的点任一点p,若其在Im”color中的对应点位于边缘线之外,如图4中3所指向的区域,则p点应属于背景像素点;物体边缘空洞中全部的属于背景的像素点构成的空洞区域记为ΩHe1;ΩHe1中所有点的像素值根据其邻域中有效的背景区域像素值计算得到,计算方法同步骤3。
402、将物体边缘空洞中剩余的区域记为ΩHe2,如图4中4所指向的区域;取ΩHe2最外侧靠近前景物体(物体内部方向)的像素点集,记为Ω'He2;对于每一个点p∈Ω'He2,按下面公式计算fp(q)的值;
fp(q)=a*||p-q||2+b*||Cp-Cq||2
其中,q∈ΩNp,ΩNp为p的8*8邻域中位于前景物体区域的有效点集;||p-q||为q和p点的空间距离,a为权值;||Cp-Cq||为Im’color中q和p对应点的颜色距离,b为权值;取fp(q)值最小的三个像素点的深度值的平均值作为点p的深度值。
403、重复步骤402,直至空洞ΩHe2中全部像素深度值计算完毕。
5、采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声。
Claims (1)
1.一种Kinect深度图像增强方法,其特征在于具体步骤如下:
1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁,并进行边缘检测;包括如下子步骤:
101、根据深度和彩色图像中对应的特征点、边的纹理信息,计算深度和彩色图像的比例;利用opencv的resize函数调整彩色图像,并通过ROI将两者重合,进行对齐剪裁;剪裁后的深度和彩色图像分别记为Imdepth和Imcolor;
102、对剪裁后的深度和彩色图像进行边缘检测,得到对应的两幅图像分别记为Im’depth和Im’color;
103、建立Im’color与Im’depth的映射关系,计算Im’color中所有的边缘线中的点q与Im’depth中最近的边缘点的空间距离dq,选取阈值Thresholddq;对于Im’color中的点q,若dq>Thresholddq,则该点的像素值清零,即该点不是边缘点,得到的清除了多余边缘线的图像,记为Im”color;
2、将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分,采用形态学的膨胀方法将深度图像Imdepth中离散的错误和无效像素点扩充为连通的空洞,对于每一个空洞,通过其与Im’depth中边缘线的空间距离,判断其类型,选取阈值Thresholdsp,若dsp<=Thresholdsp时,空洞为物体边缘空洞,若dsp>Thresholdsp,空洞则为非物体边缘空洞;
3、对于位于前景区域的非物体边缘空洞采用与物体边缘空洞相同的方式进行填充,方法同步骤4;针对由于距离导致的测量不准确引起的非物体边缘空洞进行处理,取空洞最外侧的像素点q1,q1点的5*5邻域记为ΩHne,计算ΩHne中所有有效像素点深度值的平均值,将该值作为ΩHne中全部未知像素点的深度值,重复此步骤,直至计算出空洞中全部点的深度值;
4、针对物体边缘空洞的处理步骤包括如下子步骤:
401、物体边缘空洞中的点任一点p,若其在Im”color中的对应点位于边缘线之外,则p点应属于背景像素点;物体边缘空洞中全部的属于背景的像素点构成的空洞区域记为ΩHe1;ΩHe1中所有点的像素值根据其邻域中有效的背景区域像素值计算得到,计算方法同步骤3的由于距离导致的测量不准确引起的非物体边缘空洞处理方法;
402、将物体边缘空洞中剩余的区域记为ΩHe2;取ΩHe2最外侧靠近前景物体的像素点集,记为Ω'He2;对于每一个点p∈Ω'He2,按下面公式计算fp(q2)的值;
其中,q2∈ΩNp,ΩNp为p的8*8邻域中位于前景物体区域的有效点集;||p-q2||为q2和p点的空间距离,a为权值;为Im’color中q2和p对应点的颜色距离,b为权值;取fp(q2)值最小的三个像素点的深度值的平均值作为点p的深度;
403、重复步骤402,直至空洞ΩHe2中全部像素深度值计算完毕;
5、采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710874911.0A CN107622480B (zh) | 2017-09-25 | 2017-09-25 | 一种Kinect深度图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710874911.0A CN107622480B (zh) | 2017-09-25 | 2017-09-25 | 一种Kinect深度图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107622480A CN107622480A (zh) | 2018-01-23 |
CN107622480B true CN107622480B (zh) | 2020-11-24 |
Family
ID=61090723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710874911.0A Active CN107622480B (zh) | 2017-09-25 | 2017-09-25 | 一种Kinect深度图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107622480B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108399632B (zh) * | 2018-03-02 | 2021-06-15 | 重庆邮电大学 | 一种联合彩色图像的rgb-d相机深度图像修复方法 |
CN108898055A (zh) * | 2018-05-24 | 2018-11-27 | 长安大学 | 一种检测信息融合的移动机器人障碍物检测方法 |
CN109636732B (zh) * | 2018-10-24 | 2023-06-23 | 深圳先进技术研究院 | 一种深度图像的空洞修复方法以及图像处理装置 |
CN111696057B (zh) * | 2020-05-25 | 2023-06-30 | 合肥的卢深视科技有限公司 | 一种深度图像去噪方法及装置 |
CN111866476B (zh) * | 2020-08-31 | 2023-04-07 | 维沃移动通信有限公司 | 图像拍摄方法、装置及电子设备 |
CN112381867B (zh) * | 2020-11-09 | 2023-09-05 | 华南理工大学 | 用于工业分拣流水线的大面积深度图像空洞自动填充方法 |
CN114648450A (zh) * | 2020-12-21 | 2022-06-21 | 北京的卢深视科技有限公司 | 深度图的空洞修复方法、电子设备及存储介质 |
CN113034385B (zh) * | 2021-03-01 | 2023-03-28 | 嘉兴丰鸟科技有限公司 | 一种基于分块的网格生成及渲染方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710951A (zh) * | 2012-05-09 | 2012-10-03 | 天津大学 | 基于散斑结构光深度相机的多视点计算成像方法 |
CN103996174A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 一种对Kinect深度图像进行空洞修复的方法 |
CN104680496A (zh) * | 2015-03-17 | 2015-06-03 | 山东大学 | 一种基于彩色图像分割的Kinect深度图修复方法 |
KR101526465B1 (ko) * | 2014-01-15 | 2015-06-09 | 광운대학교 산학협력단 | 그래픽 프로세서 기반 깊이 영상 화질 개선 방법 |
CN106651871A (zh) * | 2016-11-18 | 2017-05-10 | 华东师范大学 | 一种深度图像空洞的自动填充方法 |
-
2017
- 2017-09-25 CN CN201710874911.0A patent/CN107622480B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710951A (zh) * | 2012-05-09 | 2012-10-03 | 天津大学 | 基于散斑结构光深度相机的多视点计算成像方法 |
KR101526465B1 (ko) * | 2014-01-15 | 2015-06-09 | 광운대학교 산학협력단 | 그래픽 프로세서 기반 깊이 영상 화질 개선 방법 |
CN103996174A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 一种对Kinect深度图像进行空洞修复的方法 |
CN104680496A (zh) * | 2015-03-17 | 2015-06-03 | 山东大学 | 一种基于彩色图像分割的Kinect深度图修复方法 |
CN106651871A (zh) * | 2016-11-18 | 2017-05-10 | 华东师范大学 | 一种深度图像空洞的自动填充方法 |
Non-Patent Citations (2)
Title |
---|
冯祥群.一种融合深度信息的彩色图像分割算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,全文. * |
陈理.Kinect深度图像增强算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2014,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN107622480A (zh) | 2018-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107622480B (zh) | 一种Kinect深度图像增强方法 | |
CN111066065B (zh) | 用于混合深度正则化的系统和方法 | |
Kim et al. | Scene reconstruction from high spatio-angular resolution light fields. | |
US20180300937A1 (en) | System and a method of restoring an occluded background region | |
WO2017054589A1 (zh) | 一种多深度图融合方法及装置 | |
CN102113015B (zh) | 使用修补技术进行图像校正 | |
Zhang et al. | Stereo matching with segmentation-based cooperation | |
CN107240073B (zh) | 一种基于梯度融合与聚类的三维视频图像修复方法 | |
Lo et al. | Joint trilateral filtering for depth map super-resolution | |
CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
WO2018040982A1 (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
WO2018157562A1 (zh) | 基于图像局部分割的虚拟视点合成方法 | |
CN108010075B (zh) | 一种基于多特征联合的局部立体匹配方法 | |
Vu et al. | Efficient hybrid tree-based stereo matching with applications to postcapture image refocusing | |
CN108805841B (zh) | 一种基于彩色图引导的深度图恢复及视点合成优化方法 | |
KR101766431B1 (ko) | 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 | |
Schmeing et al. | Color segmentation based depth image filtering | |
Xu et al. | Improved Canny Edge Detection Operator | |
CN112365516A (zh) | 一种增强现实中虚实遮挡处理方法 | |
Pertuz et al. | Region-based depth recovery for highly sparse depth maps | |
CN112637582A (zh) | 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法 | |
Wei et al. | Iterative depth recovery for multi-view video synthesis from stereo videos | |
Lai et al. | Surface-based background completion in 3D scene | |
Liu et al. | Semi-global depth from focus | |
Hong et al. | Depth map refinement using superpixel label information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |