CN102999888A - 一种基于彩色图像分割的深度图去噪方法 - Google Patents

一种基于彩色图像分割的深度图去噪方法 Download PDF

Info

Publication number
CN102999888A
CN102999888A CN2012104902640A CN201210490264A CN102999888A CN 102999888 A CN102999888 A CN 102999888A CN 2012104902640 A CN2012104902640 A CN 2012104902640A CN 201210490264 A CN201210490264 A CN 201210490264A CN 102999888 A CN102999888 A CN 102999888A
Authority
CN
China
Prior art keywords
map
depth map
luv
cromogram
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104902640A
Other languages
English (en)
Other versions
CN102999888B (zh
Inventor
葛晨阳
陈燕
王大伦
葛瑞龙
姚慧敏
郝立娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY CO., LTD.
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201210490264.0A priority Critical patent/CN102999888B/zh
Publication of CN102999888A publication Critical patent/CN102999888A/zh
Application granted granted Critical
Publication of CN102999888B publication Critical patent/CN102999888B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于彩色图像分割的深度图去噪方法。首先，对彩色图进行色度空间转换和灰度转换。其次，采用Sobel算子将灰度图转换为梯度图，基于梯度图进行分水岭分割，将彩色图分割为若干区域。然后，计算LUV空间下各相邻区域间的欧式距离，并根据梯度图计算各相邻区域交界处的梯度均值差，利用这两组信息进行区域融合，合并相似区域，标记连通域。最后，根据彩色图和深度图的对应关系标记深度图连通域，利用深度图相同区域的深度近似相等的特点，对深度图进行空洞补偿和去噪处理。该方法具有去噪效果显著、易于硬件实现的特点。

Description

一种基于彩色图像分割的深度图去噪方法
技术领域
    本发明涉及图像处理和自然交互技术领域，具体涉及图像深度图的空洞补偿和去噪技术。
背景技术
深度图是将二维图像转换为三维场景不可缺少的信息。基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知模块计算获得物体的深度图信息。由于在块匹配运动估计过程中存在误匹配的问题、加上激光投射的方法会形成被遮挡区域，由此形成深度图有空洞现象，空洞也可以视为深度图的噪声。因此，通过去噪修复可进一步优化深度图。
目前，应用较为广泛的去噪修复方法有：滤波去噪和非局部图像去噪方法。滤波去噪方法通过选择不同的滤波器及其参数可达到不同的滤波效果，会损伤一定的源图像，模糊图像边缘，造成图像失真。非局部图像去噪方法对局部小空洞有较好的去噪效果，对于边缘形状失真的去噪结果不理想，无法恢复图像中失真大的边缘信息。这些去噪方法对大面积空洞引起的噪声效果不理想。
发明内容
 本发明的目的在于克服以上不足之处，提出了一种基于彩色图像分割的深度图去噪方法，其技术方案如下：
(1)获取深度图和RGB彩色图；
(2)对RGB彩色图进行色度空间转换，得到LUV彩色图；
LUV色彩空间中，L*表示物体亮度，u*和v*是色度，由CIE XYZ空间经简单变换得到，具视觉统一性。RGB 到 LUV的色度空间转换分为两步：
①   RGB to CIE XYZ:
②   CIE XYZ to CIE LUV:
Figure 374452DEST_PATH_IMAGE003
(3)将RGB彩色图转换为灰度图；
(4)根据Sobel算子将灰度图转换为梯度图，后续将基于梯度图进行分水岭分割，本方法用到的Sobel算子为：
Figure 243051DEST_PATH_IMAGE004
(5)基于梯度图的分水岭分割，根据梯度图与LUV彩色图的像素对应关系，将分割结果映射到LUV彩色图上，将LUV彩色图分割为若干区域，标记各区域；
(6)计算分水岭分割后各区域的LUV均值；
(7)计算LUV空间下各相邻区域间的欧式距离ED；
(8)计算梯度图中各相邻区域交界处的梯度均值差ME；
(9)根据(7)中欧式距离ED和(8)中梯度均值差ME对分水岭分割后的LUV彩色图进行区域融合，得到新的区域划分结果，并用连通域标记（即将属于同一区域的像素点用相同的符号标记）表示该结果；
(10)利用深度图与已标记连通域的LUV彩色图中像素的对应关系，标记深度图连通域，即将LUV彩色图分割结果映射到深度图上，得到深度图的区域划分结果，并用连通域标记表示该结果；
(11)查找深度图中的空洞和边缘噪声，标记噪声像素；
(12)计算剔除噪声的像素点后深度图各区域（即具有相同连通域标记的像素点的集合）的深度均值Mean；
(13)将(11)中查找出的噪声像素值置为其所属区域的深度均值Mean。
本发明提出的基于彩色图像分割的深度图去噪方法，基于结构光的主动视觉模式在获取深度图的同时，也能利用CMOS摄像头采集到与深度图对应的彩色图，本发明利用彩色图信息对深度图进行去噪和空洞补偿，弥补了深度图边缘信息严重失真的不足。
附图说明
图1是根据本发明的深度图去噪流程图；
图2是分水岭分割算法中分水岭与积水盆地示意图；
图3是分水岭分割算法中的像素邻域示意图；
图4是区域融合中区域邻域示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
图1为深度图去噪流程图，其实施步骤如下：
(1)获取深度图和彩色图；
(2)对RGB彩色图进行色度空间转换，得到LUV彩色图；
(3) 根据已知公式Gray=0.299R+0.587G+0.114B，将RGB彩色图转换为灰度图；
 (4) 根据Sobel算子得到图像的梯度,将灰度图转换为梯度图；
 (5)进行基于梯度图的分水岭分割；
分水岭分割算法是基于地理形态学的一种区域生长图像分割方法。该算法的基本思想是：把图像视为一个高低起伏的地形图，地形图中每一点地势高度对应着图像中每一点的梯度值。这样一幅图像就由若干个向下凹的盆地和相邻盆地间的突起的山脊组成。每个盆地底部必然有一个极小区，现将这个极小区刺破，假设有水从极小区不断往上溢入盆地中，随着水位上涨，相邻两盆地的水必将越过山脊连通起来，为了防止两块盆地的连通，就在两盆地之间的山脊顶端建筑堤坝，堤坝随着水位的上升而不断变高。最后，当水位达到最高的山脊顶端时，水就停止上涨，算法迭代终止。由堤坝环绕的若干个积水盆地就是最终分割的区域，而堤坝即为最终分割出的边界，称之为分水岭，如图2所示。
图3是像素四邻域示意图，该步骤中的像素邻域均指如图3所示的四邻域，即中心像素A的邻域像素包括上邻域B、右邻域C、左邻域D和下邻域E。
分水岭分割的具体步骤可以具体如下:
①梯度进行从小到大的排序，相同的梯度为同一个梯度层级；
②处理第一个梯度层级所有的像素，如果其邻域已经被标识属于某一个区域（即上述的积水盆地），则将这个像素加入一个先进先出的队列；
③先进先出队列非空时，弹出第一个元素。扫描该像素的四邻域像素(上、下、左、右)，如果其邻域像素的梯度属于同一层（梯度相等），则根据邻域像素的标识来刷新该像素的标识。一直循环到队列为空；
④再次扫描当前梯度层级的像素，如果还有像素未被标识，说明它是一个新的极小区（见图2所示的区域），将其标识置为当前区域标识符的值加1。然后从该像素出发继续执行步骤③的至没有新的极小区；
⑤返回步骤②，处理下一个梯度层级的像素，直至所有梯度层级的像素都被处理。
(6) 步骤(5)的分水岭分割将图像划分为不同的区域（即具有相同标识符的像素集合），对这些区域进行融合：
①求出分水岭分割后各区域的LUV均值； 
② 建立各区邻域数组，存放邻域标识符信息，该步骤中的邻域指的是与当前区域相邻的所有区域，如图4所示，区域2的邻域有1、3、5，区域8的邻域有4、7、10；
③ 依次扫描各区域（即具有相同标识符的像素集合），寻找极小区域，这里的极小区域指的是包含像素点数不到总图像像素点数的1/400的区域；
④对于极小区域A，根据公式计算其与各相邻区域在LUV空间下的欧式距离ED； 
⑤计算A与相邻区域间分水岭两侧像素的梯度均值差ME；
⑥欧式距离ED最小且梯度均值差ME不超过设定阈值的区域B即为A的最相似区域；
⑦合并极小区域A和其相似区B，刷新邻域数组及相关信息：从极小区域A的邻域中删除B，B的邻域添加到A中，更新A区LUV均值。
⑧记录合并信息；
⑨判断是否仍为极小区域，若是则返回④；
⑩判断是否所有区域都已处理完毕，若非则返回③。
(7)根据深度图与彩色图的对应关系和(6)中的连通域标记深度图连通域：
 (8)查找空洞噪声（深度图中灰度值为255的像素点）和边缘块化噪声（深度图中灰度值梯度大于8的像素点，为提高精度，对其进行形态学膨胀）；
(9)去除噪声像素点，求取深度图各区域平均灰度值Mean；
(10)噪声像素值置为所属区域深度均值Mean。
本发明提出的基于彩色图像分割的深度图去噪方法，基于结构光的主动视觉模式在获取深度图的同时，也能利用CMOS摄像头采集到与深度图对应的彩色图，本发明利用彩色图信息对深度图进行去噪和空洞补偿，弥补了深度图边缘信息严重失真的不足。
以上利用具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种基于彩色图像分割的深度图去噪方法，包括以下步骤：
(1)获取深度图和RGB彩色图；
(2)对RGB彩色图进行色度空间转换，得到LUV彩色图；
(3)将RGB彩色图转换为灰度图；
(4)根据Sobel算子将灰度图转换为梯度图；
(5)基于梯度图的分水岭分割，根据步骤（4）中的梯度图与所述LUV彩色图的像素对应关系，将分割结果映射到所述LUV彩色图上，从而将所述LUV彩色图分割为若干区域，并标记各区域；
(6)计算分水岭分割后各区域的LUV均值；
(7)计算LUV空间下各相邻区域间的欧式距离ED；
(8)计算所述梯度图中各相邻区域交界处的梯度均值差ME；
(9)根据步骤(7)中的欧式距离ED和步骤(8)中的梯度均值差ME，对步骤（5）中经分水岭分割后的LUV彩色图进行区域融合，得到新的区域划分结果，并用连通域标记表示该结果；
(10)利用所述深度图与步骤（9）中的已标记连通域的LUV彩色图中像素的对应关系，标记深度图连通域，即将LUV彩色图分割结果映射到深度图上，得到深度图的区域划分结果，并用连通域标记表示该结果；
(11)查找深度图中的空洞和边缘噪声，标记噪声像素；
(12)计算剔除噪声的像素点后深度图各区域的深度均值Mean；
(13)将(11)中查找出的噪声像素值置为其所属区域的深度均值。
2.根据权利要求1所述的方法，步骤（2）中，RGB 到 LUV的色度空间转换分为两步：
RGB to CIE XYZ:
Figure 15877DEST_PATH_IMAGE001
CIE XYZ to CIE LUV:
Figure 479220DEST_PATH_IMAGE002
Figure 652974DEST_PATH_IMAGE003
。
3.根据权利要求1所述的方法，步骤（4）中的Sobel算子为：
Figure 619793DEST_PATH_IMAGE004
 
CN201210490264.0A 2012-11-27 2012-11-27 一种基于彩色图像分割的深度图去噪方法 Expired - Fee Related CN102999888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210490264.0A CN102999888B (zh) 2012-11-27 2012-11-27 一种基于彩色图像分割的深度图去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210490264.0A CN102999888B (zh) 2012-11-27 2012-11-27 一种基于彩色图像分割的深度图去噪方法

Publications (2)

Publication Number Publication Date
CN102999888A true CN102999888A (zh) 2013-03-27
CN102999888B CN102999888B (zh) 2015-02-25

Family

ID=47928425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210490264.0A Expired - Fee Related CN102999888B (zh) 2012-11-27 2012-11-27 一种基于彩色图像分割的深度图去噪方法

Country Status (1)

Country Link
CN (1) CN102999888B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361612A (zh) * 2014-11-07 2015-02-18 兰州交通大学 一种基于分水岭变换的无监督彩色图像分割方法
CN106469436A (zh) * 2015-08-17 2017-03-01 比亚迪股份有限公司 图像去噪系统及图像去噪方法
CN106846324A (zh) * 2017-01-16 2017-06-13 河海大学常州校区 一种基于Kinect的非规则物体高度测量方法
CN107481241A (zh) * 2017-08-24 2017-12-15 太仓安顺财务服务有限公司 一种基于混合方法的彩色图像分割方法
CN108629756A (zh) * 2018-04-28 2018-10-09 东北大学 一种Kinect v2深度图像无效点修复方法
CN109598736A (zh) * 2018-11-30 2019-04-09 深圳奥比中光科技有限公司 深度图像与彩色图像的配准方法及装置
CN109872301A (zh) * 2018-12-26 2019-06-11 浙江清华长三角研究院 一种用于水稻病虫害识别计数的彩色图像预处理方法
CN109905691A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 深度图像采集装置和深度图像采集系统及其图像处理方法
CN109949316A (zh) * 2019-03-01 2019-06-28 东南大学 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
CN110097549A (zh) * 2019-05-08 2019-08-06 广州中国科学院沈阳自动化研究所分所 基于形态学的水陆空交界线检测方法、系统、介质和设备
WO2019237976A1 (zh) * 2018-06-11 2019-12-19 全球能源互联网研究院有限公司 基于差分图像的异物检测方法及装置、设备及存储介质
CN111046783A (zh) * 2019-12-09 2020-04-21 山西能源学院 一种改进分水岭算法的斜坡地质灾害边界提取方法
CN111868783A (zh) * 2019-02-14 2020-10-30 中国水利水电科学研究院 基于边界提取的区域合并图像分割算法
CN112116602A (zh) * 2020-08-31 2020-12-22 北京的卢深视科技有限公司 深度图修复方法、装置和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699511A (zh) * 2009-10-30 2010-04-28 深圳创维数字技术股份有限公司 彩色图像分割方法及系统
CN101923707A (zh) * 2009-07-23 2010-12-22 北京师范大学 一种基于分水岭算法的高空间分辨率多光谱遥感图像分割方法
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923707A (zh) * 2009-07-23 2010-12-22 北京师范大学 一种基于分水岭算法的高空间分辨率多光谱遥感图像分割方法
CN101699511A (zh) * 2009-10-30 2010-04-28 深圳创维数字技术股份有限公司 彩色图像分割方法及系统
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MASSIMO CAMPLANI ET AL.: "《Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps》", 《PROC. SPIE 8290, THREE-DIMENSIONAL IMAGE PROCESSING (3DIP) AND APPLICATIONS II, 82900E》 *
MICHAEL SCHMEING ET AL.: "《Color Segmentation Based Depth Image Filtering》", 《ADVANCES IN DEPTH IMAGE ANALYSIS AND APPLICATIONS. INTERNATIONAL WORKSHOP, WDIA 2012》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361612B (zh) * 2014-11-07 2017-03-22 兰州交通大学 一种基于分水岭变换的无监督彩色图像分割方法
CN104361612A (zh) * 2014-11-07 2015-02-18 兰州交通大学 一种基于分水岭变换的无监督彩色图像分割方法
CN106469436A (zh) * 2015-08-17 2017-03-01 比亚迪股份有限公司 图像去噪系统及图像去噪方法
CN106469436B (zh) * 2015-08-17 2019-11-08 比亚迪股份有限公司 图像去噪系统及图像去噪方法
CN106846324A (zh) * 2017-01-16 2017-06-13 河海大学常州校区 一种基于Kinect的非规则物体高度测量方法
CN106846324B (zh) * 2017-01-16 2020-05-01 河海大学常州校区 一种基于Kinect的非规则物体高度测量方法
CN107481241A (zh) * 2017-08-24 2017-12-15 太仓安顺财务服务有限公司 一种基于混合方法的彩色图像分割方法
CN109905691A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 深度图像采集装置和深度图像采集系统及其图像处理方法
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
CN109961406B (zh) * 2017-12-25 2021-06-25 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
CN108629756B (zh) * 2018-04-28 2021-06-25 东北大学 一种Kinectv2深度图像无效点修复方法
CN108629756A (zh) * 2018-04-28 2018-10-09 东北大学 一种Kinect v2深度图像无效点修复方法
WO2019237976A1 (zh) * 2018-06-11 2019-12-19 全球能源互联网研究院有限公司 基于差分图像的异物检测方法及装置、设备及存储介质
CN109598736A (zh) * 2018-11-30 2019-04-09 深圳奥比中光科技有限公司 深度图像与彩色图像的配准方法及装置
CN109872301A (zh) * 2018-12-26 2019-06-11 浙江清华长三角研究院 一种用于水稻病虫害识别计数的彩色图像预处理方法
CN109872301B (zh) * 2018-12-26 2022-07-15 浙江清华长三角研究院 一种用于水稻病虫害识别计数的彩色图像预处理方法
CN111868783A (zh) * 2019-02-14 2020-10-30 中国水利水电科学研究院 基于边界提取的区域合并图像分割算法
CN111868783B (zh) * 2019-02-14 2021-03-23 中国水利水电科学研究院 基于边界提取的区域合并图像分割算法
CN109949316A (zh) * 2019-03-01 2019-06-28 东南大学 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN110097549A (zh) * 2019-05-08 2019-08-06 广州中国科学院沈阳自动化研究所分所 基于形态学的水陆空交界线检测方法、系统、介质和设备
CN111046783A (zh) * 2019-12-09 2020-04-21 山西能源学院 一种改进分水岭算法的斜坡地质灾害边界提取方法
CN112116602A (zh) * 2020-08-31 2020-12-22 北京的卢深视科技有限公司 深度图修复方法、装置和可读存储介质

Also Published As

Publication number Publication date
CN102999888B (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
CN102999888A (zh) 一种基于彩色图像分割的深度图去噪方法
WO2020134082A1 (zh) 一种路径规划方法、装置和移动设备
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN102074014B (zh) 一种利用基于图论的图像分割算法的立体匹配方法
JP6272217B2 (ja) 移動する物体の近傍の自由空間を推定する方法および装置
CN101542529B (zh) 图像的深度图的生成方法和图像处理单元
CN105551082B (zh) 一种基于激光点云的路面识别方法及装置
CN109872329A (zh) 一种基于三维激光雷达的地面点云快速分割方法
CN105069808A (zh) 基于图像分割的视频图像深度估计方法
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
JP2014170540A (ja) 路面高度形状推定方法とシステム
CN107679498A (zh) 一种机载激光点云城区道路识别方法
CN106204547A (zh) 从车载激光扫描点云中自动提取杆状地物空间位置的方法
CN104376535A (zh) 一种基于样本的快速图像修复方法
CN109903322B (zh) 一种深度摄像头深度图像修复方法
CN106960445A (zh) 一种基于金字塔光流的云运动矢量计算方法
Maltezos et al. Automatic detection of building points from LiDAR and dense image matching point clouds
CN105466399B (zh) 快速半全局密集匹配方法和装置
JP2010224930A (ja) 道路認識装置
CN106408596A (zh) 基于边缘的局部立体匹配方法
CN103500451B (zh) 一种用于卫星数据的独立浮冰提取方法
CN109887008A (zh) 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
Duong et al. Near real-time ego-lane detection in highway and urban streets
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
CN103679121A (zh) 采用视差图像检测路边的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NINGBO YINGXIN INFORMATION SCIENCE + TECHNOLOGY CO

Free format text: FORMER OWNER: XI'AN JIAOTONG UNIV.

Effective date: 20150527

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 710049 XI'AN, SHAANXI PROVINCE TO: 315199 NINGBO, ZHEJIANG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20150527

Address after: 315199 room 298, No. 412, bachelor Road, Ningbo, Zhejiang, Yinzhou District

Patentee after: NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY CO., LTD.

Address before: Beilin District Xianning West Road 710049, Shaanxi city of Xi'an province No. 28

Patentee before: Xi'an Jiaotong University

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150225

Termination date: 20191127

CF01 Termination of patent right due to non-payment of annual fee