CN106651871B - 一种深度图像空洞的自动填充方法 - Google Patents
一种深度图像空洞的自动填充方法 Download PDFInfo
- Publication number
- CN106651871B CN106651871B CN201611031251.1A CN201611031251A CN106651871B CN 106651871 B CN106651871 B CN 106651871B CN 201611031251 A CN201611031251 A CN 201611031251A CN 106651871 B CN106651871 B CN 106651871B
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixels
- depth
- hole
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000000126 substance Substances 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005429 filling process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种深度图像空洞的自动填充方法,该方法先将彩色图像作为输入,利用多尺度结构相似性,将深度图像中空洞的像素类型分为平滑区像素和非平滑区像素,对于平滑区像素,利用最短距离深度聚类结果,结合像素间的结构相似性,求解平滑区域像素点的深度值;对于非平滑区像素,为了突出边缘细节信息,采用带有权重项的一阶泰勒展开,估计非平滑区域像素的深度信息。本发明能够实现深度图像空洞的自动分类填充,并且填充后的深度图像具有保持边缘细节的特点,解决了Kinect设备采集中存在深度空洞问题,并能促进三维重建技术的研究及应用。
Description
技术领域
本发明涉及深度图像空洞填充技术,从彩色图像的结构相似性出发,求解空洞像素点的多尺度结构相似性,将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素,并针对不同的空洞像素,采用不同的填充算法。在平滑区域空洞的填充过程中,利用最短距离聚类算法对深度图像的像素深度进行聚类,并将像素间的结构相似性作为权重,对空洞像素的深度进行求解;对于非平滑区域像素,利用一阶泰勒逼近算法,结合双边滤波权重项的设计,求解平滑区域空洞像素深度值。
背景技术
深度图像的出现为各类计算机视觉的应用开辟了新的道路,并在物体识别,三维重建等应用中发挥着重要的作用。近年来,深度图像的空洞填充备受关注,其目的是可以利用填补后的深度图像中的深度数据,为三维重建等过程提供有效的数据。由于深度图像的空洞含有很多重要的信息,提取这些信息,并将它们增强到三维重建的过程中,从而在重建过程中获取真实感细节,这样可以克服三维重建后部分细节信息丢失问题。目前深度图像的空洞填充技术的研究虽然取得了一些成果,但是如何充分利用深度图像对应的彩色图像增强空洞边缘细节信息,仍然是研究中亟待解决的关键问题。
发明内容
本发明的目的是提供一种深度图像空洞的自动填充方法,该方法能够实现空洞的有效填充,可以在空洞填充过程中增强空洞处物体边缘的细节,克服填充后物体边缘细节突出的问题。
本发明的目的是这样实现的:
一种深度图像空洞的自动填充方法,特点是:对Kinect设备采集的深度图像中存在的空洞进行自动填充,具体包括以下步骤:
步骤1:将空洞分为平滑区空洞和非平滑区空洞
为了将空洞分为平滑区域空洞和非平滑区域空洞,首先,计算图像中任意像素与其周围邻域像素的结构相似性,然后,再根据多尺度结构相似性,将图像中空洞分为平滑区域空洞和非平滑区域空洞。
具体地,利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素qi(i=1,2...8)的结构相似性SSIM(p,qi);其中p的3×3邻域记为B1,qi的3×3邻域记为Bi;
SSIM(p,qi)=[l(B1,Bi)]α·[c(B1,Bi)]β·[s(B1,Bi)]γ (1)
其中α,β,γ是预设的权重,设为α=1,β=1,γ=1;l(B1,Bi)是亮度比较函数,计算为:
c(B1,Bi)是对比度比较函数,计算为:
s(B1,Bi)是结构比较函数,计算为:
其中,和分别是B1和Bi中所有像素灰度的平均值,和分别是B1和Bi中所有像素灰度的方差,σ是B1和Bi之间像素灰度的协方差;
其中C1=(K1L)2,C2=(K2L)2,K1是常量0.01,K2是常量0.02,L是常量255;
然后,计算多尺度结构相似性;具体地,利用B1中各个像素的结构相似性计算p点的多尺度结构相似性MSSIMp:
其中N表示p点邻域彩色图像中像素的个数;
利用预设阈值ε,将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素;若满足MSSIMp>ε,那么p为平滑区空洞像素;若MSSIM<ε,那么p为非平滑区空洞像素;
步骤2:对于深度图像中任意平滑区空洞进行填充
首先,利用最短距离算法对所有像素的深度进行聚类;对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6),那么将它们聚为同一类;
|dX-dY|<T (6)
其中dX表示像素X的深度值,dY表示像素Y的深度值,T表示两像素间深度差异的阈值。空洞像素p的深度F利用公式(7)计算;
Ei是有效像素qi的深度,n表示p点邻域中有效像素的个数;
步骤3:对于深度图像中任意非平滑区空洞进行填充
对于非平滑区域空洞像素点的填充,利用p点的邻域B1中有效像素qi进行求解,求解公式如下:
其中表示有效像素qi深度的梯度,w(p,qi)代表权重项,其计算为:
w(p,qi)=wd(p,qi)wc(p,qi)wm(p,qi) (9)
其中wd(p,qi),wc(p,qi)以及wm(p,qi)分别是距离权重项、颜色权重项和多尺度结构相似性权重项;它们的计算分别为:
其中符号||·||2表示2-范式;x表示p点的坐标,y表示qi点的坐标;表示当前像素p与域像素qi欧式距离的方差;表示像素p的邻域像素灰度的方差,是像素p的邻域像素多尺度结构相似性的方差;Ip和分别表示彩色图像中像素p和像素qi的灰度值;表示qi点的多尺度结构相似性。
本发明利用深度图像,能够实现空洞的有效填充,能在空洞填充过程中增强空洞处物体边缘的细节,克服填充后物体边缘细节突出的问题,进一步实施例证明了本发明的实验效果,实现深度图像空洞的有效填充,适用于包括Kinect获取的深度图像等。
附图说明
图1为本发明实施例Kinect获取的深度聚类结果图;
图2为本发明实施例Kinect获取的深度图像空洞填补结果图。
实施例
下面结合附图对于发明进一步说明。
本实施例采用Kinect获取的深度数据进行实验。在Windows7操作系统的PC机上进行实验,硬件配置是1.80GHzCoreTMi5-3337U CPU、4GB RAM。实验平台是VS2010。
本发明对Kinect设备采集的深度图像中存在的空洞,采用以下步骤进行处理,即可以实现空洞的自动填充。
步骤1:将空洞分为平滑区空洞和非平滑区空洞
为了将空洞分为平滑区域空洞和非平滑区域空洞,首先,计算图像中任意像素与其周围邻域像素的结构相似性,然后,再根据多尺度结构相似性,将图像中空洞分为平滑区域空洞和非平滑区域空洞。具体地,利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素qi(i=1,2...8)的结构相似性SSIM(p,qi)。其中p的3×3邻域记为B1,qi的3×3邻域记为Bi。
SSIM(p,qi)=[l(B1,Bi)]α·[c(B1,Bi)]β·[s(B1,Bi)]γ (1)
其中α,β,γ是预设的权重,设为α=1,β=1,γ=1。l(B1,Bi)是亮度比较函数,计算为:
c(B1,Bi)是对比度比较函数,计算为:
s(B1,Bi)是结构比较函数,计算为:
其中,和分别是B1和Bi中所有像素灰度的平均值,和分别是B1和Bi中所有像
素灰度的方差,σ是B1和Bi之间像素灰度的协方差。
其中C1=(K1L)2,C2=(K2L)2,K1是常量0.01,K2是常量0.02,L是常量255。
然后,计算多尺度结构相似性。具体地,利用B1中各个像素的结构相似性计算p点的多尺度结构相似性MSSIMp:
其中N表示p点邻域彩色图像中像素的个数。
进一步利用预设阈值ε,将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素。具体地,如果满足MSSIMp>ε,那么p为平滑区空洞像素;如果MSSIM<ε,那么p为非平滑区空洞像素。
步骤2:对于深度图像中任意平滑区空洞进行填充
首先,利用最短距离算法对所有像素的深度进行聚类;对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6),那么将它们聚为同一类;
|dX-dY|<T (6)
其中dX表示像素X的深度值,dY表示像素Y的深度值,T表示两像素间深度差异的阈值。空洞像素p的深度F利用公式(7)计算。
Ei是有效像素qi的深度,n表示p点邻域中有效像素的个数。
步骤3:对于深度图像中任意非平滑区空洞进行填充
对于非平滑区域空洞像素点的填充,利用p点的邻域B1中有效像素qi进行求解,求解公式如下:
其中表示有效像素qi深度的梯度,w(p,qi)代表权重项,其计算为:
w(p,qi)=wd(p,qi)wc(p,qi)wm(p,qi) (9)
其中wd(p,qi),wc(p,qi)以及wm(p,qi)分别是距离权重项、颜色权重项和多尺度结构相似性权重项。它们的计算分别为:
其中符号||·||2表示2-范式;x表示p点的坐标,y表示qi点的坐标;表示当前像素p与邻域像素qi欧式距离的方差;表示像素p的邻域像素灰度的方差,是像素p的邻域像素多尺度结构相似性的方差。Ip和分别表示彩色图像中像素p和像素qi的灰度值;表示qi点的多尺度结构相似性。
本发明利用深度图像,能在空洞填充过程中增强物体边缘的细节,能够实现空洞的有效填充,克服填充后物体边缘细节填充不准确的问题,进一步实例证明了本发明的实验效果,实现深度图像空洞边缘的有效填充,适用于包括Kinect获取的深度图像。
图1是利用Kinect采集的深度图像进行聚类的结果。在图1中,左图是利用Kinect采集得到的带有空洞的深度图像,右图是利用该方法处理时,得到的深度图像聚类的结果,从图中的深度聚类结果可以明显看出,利用本发明对深度图像进行深度聚类结果的有效性。
图2是本发明实施例对深度图像的空洞进行填充的结果图,在图2中,左图是利用Kinect采集得到的带有空洞的深度图像,右图是利用该方法处理得到的填充后的深度图像,在深度图像的自动分类结果中得到的结果图,从图中的结果可以看出,填充深度图结果边缘细节突出。
Claims (1)
1.一种深度图像空洞的自动填充方法,其特征在于,该方法包括以下具体步骤:
步骤1:将空洞分为平滑区空洞和非平滑区空洞
计算图像中任意像素与其周围邻域像素的结构相似性,再根据多尺度结构相似性,将图像中空洞分为平滑区域空洞和非平滑区域空洞;具体地:
利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素qi(i=1,2...8)的结构相似性SSIM(p,qi);其中p的3×3邻域记为B1,qi的3×3邻域记为Bi;
SSIM(p,qi)=[l(B1,Bi)]α·[c(B1,Bi)]β·[s(B1,Bi)]γ (1)
其中α,β,γ是预设的权重,设为α=1,β=1,γ=1;l(B1,Bi)是亮度比较函数,计算为:
c(B1,Bi)是对比度比较函数,计算为:
s(B1,Bi)是结构比较函数,计算为:
其中,和分别是B1和Bi中所有像素灰度的平均值,和分别是B1和Bi中所有像素灰度的方差,σ是B1和Bi之间像素灰度的协方差;
其中C1=(K1L)2,C2=(K2L)2,K1是常量0.01,K2是常量0.02,L是常量255;
然后,计算多尺度结构相似性;具体地,利用B1中各个像素的结构相似性计算p
点的多尺度结构相似性MSSIMp:
其中N表示p点邻域彩色图像中像素的个数;
利用预设阈值ε,将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素;若满足MSSIMp>ε,那么p为平滑区空洞像素;若MSSIM<ε,那么p为非平滑区空洞像素;
步骤2:对于深度图像中任意平滑区空洞进行填充
首先,利用最短距离算法对所有像素的深度进行聚类;对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6),那么将它们聚为同一类;
|dX-dY|<T (6)
其中dX表示像素X的深度值,dY表示像素Y的深度值,T表示两像素间深度差异的阈值;空洞像素p的深度F利用公式(7)计算;
Ei是邻 域像素qi的深度,n表示p点邻域中有效像素的个数;
步骤3:对于深度图像中任意非平滑区空洞进行填充
对于非平滑区域空洞像素点的填充,利用p点的邻域B1中邻 域像素qi进行求解,求解公式如下:
其中表示邻 域像素qi深度的梯度,w(p,qi)代表权重项,其计算为:
w(p,qi)=wd(p,qi)wc(p,qi)wm(p,qi) (9)
其中wd(p,qi),wc(p,qi)以及wm(p,qi)分别是距离权重项、颜色权重项和多尺度结构相似性权重项;它们的计算分别为:
其中符号||·||2表示2-范式;x表示p点的坐标,y表示qi点的坐标;表示当前像素p与邻域像素qi欧式距离的方差;表示像素p的邻域像素灰度的方差,是像素p的邻域像素多尺度结构相似性的方差;Ip和分别表示彩色图像中像素p和像素qi的灰度值;表示qi点的多尺度结构相似性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611031251.1A CN106651871B (zh) | 2016-11-18 | 2016-11-18 | 一种深度图像空洞的自动填充方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611031251.1A CN106651871B (zh) | 2016-11-18 | 2016-11-18 | 一种深度图像空洞的自动填充方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106651871A CN106651871A (zh) | 2017-05-10 |
CN106651871B true CN106651871B (zh) | 2019-12-17 |
Family
ID=58808601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611031251.1A Expired - Fee Related CN106651871B (zh) | 2016-11-18 | 2016-11-18 | 一种深度图像空洞的自动填充方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106651871B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358587A (zh) * | 2017-07-12 | 2017-11-17 | 宁波视睿迪光电有限公司 | 图像修补方法及系统 |
CN109472180A (zh) * | 2017-09-07 | 2019-03-15 | 聚晶半导体股份有限公司 | 道路图像处理方法与道路图像处理装置 |
CN107622480B (zh) * | 2017-09-25 | 2020-11-24 | 长春理工大学 | 一种Kinect深度图像增强方法 |
CN108282538B (zh) * | 2018-02-06 | 2018-12-25 | 浙江网联毛衫汇科技股份有限公司 | 基于云服务器的远程控制平台及方法 |
CN110070500B (zh) * | 2019-03-21 | 2020-12-08 | 浙江大学 | 一种深度图像的后处理方法 |
CN110334769A (zh) * | 2019-07-09 | 2019-10-15 | 北京华捷艾米科技有限公司 | 目标识别方法及装置 |
CN111179195B (zh) * | 2019-12-27 | 2023-05-30 | 西北大学 | 深度图像空洞填充方法、装置、电子设备及其存储介质 |
CN111369435B (zh) * | 2020-02-18 | 2023-04-07 | 山东师范大学 | 基于自适应稳定模型的彩色图像深度上采样方法及系统 |
CN113935914A (zh) * | 2021-10-08 | 2022-01-14 | 北京的卢深视科技有限公司 | 深度图像修复方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136775A (zh) * | 2013-03-19 | 2013-06-05 | 武汉大学 | 基于局部约束重建的kinect深度图空洞填充方法 |
CN103209334A (zh) * | 2013-03-18 | 2013-07-17 | 中山大学 | 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法 |
CN103996174A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 一种对Kinect深度图像进行空洞修复的方法 |
CN104299220A (zh) * | 2014-07-10 | 2015-01-21 | 上海大学 | 一种对Kinect深度图像中的空洞进行实时填充的方法 |
CN104680496A (zh) * | 2015-03-17 | 2015-06-03 | 山东大学 | 一种基于彩色图像分割的Kinect深度图修复方法 |
CN105894503A (zh) * | 2016-03-30 | 2016-08-24 | 江苏大学 | 一种对Kinect植株彩色和深度检测图像的修复方法 |
-
2016
- 2016-11-18 CN CN201611031251.1A patent/CN106651871B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103209334A (zh) * | 2013-03-18 | 2013-07-17 | 中山大学 | 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法 |
CN103136775A (zh) * | 2013-03-19 | 2013-06-05 | 武汉大学 | 基于局部约束重建的kinect深度图空洞填充方法 |
CN103996174A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 一种对Kinect深度图像进行空洞修复的方法 |
CN104299220A (zh) * | 2014-07-10 | 2015-01-21 | 上海大学 | 一种对Kinect深度图像中的空洞进行实时填充的方法 |
CN104680496A (zh) * | 2015-03-17 | 2015-06-03 | 山东大学 | 一种基于彩色图像分割的Kinect深度图修复方法 |
CN105894503A (zh) * | 2016-03-30 | 2016-08-24 | 江苏大学 | 一种对Kinect植株彩色和深度检测图像的修复方法 |
Non-Patent Citations (3)
Title |
---|
An image inpainting technique based on the fast marching method;A. Telea;《Journal of graphics tools》;20040131;第9卷(第1期);第25-36页 * |
Image quality assessment: from error visibility to structual similarity;Z. Wang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20040430;第13卷(第4期);第600-611页 * |
Refinement of depth maps generated by low-cost depth sensors;K.R. Vijayanagar 等;《2012 International SoC Design Conference (ISOCC)》;20130111;第355-358页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106651871A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106651871B (zh) | 一种深度图像空洞的自动填充方法 | |
CN105740945B (zh) | 一种基于视频分析的人群计数方法 | |
CN106709964B (zh) | 基于梯度修正和多向纹理提取的素描画生成方法及装置 | |
MX2016002854A (es) | Recuperacion de imagenes por contenido. | |
JP4979033B2 (ja) | オブジェクト・ベース視覚的注意モデルの顕著性推定 | |
CN105404888A (zh) | 结合颜色和深度信息的显著性目标检测方法 | |
JP2012530287A5 (zh) | ||
CN105335965B (zh) | 一种高分辨率遥感图像多尺度自适应决策融合分割方法 | |
CN103983334A (zh) | 一种信息处理的方法及电子设备 | |
Abubakar | Study of image segmentation using thresholding technique on a noisy image | |
CN103903275A (zh) | 利用小波融合算法改进图像分割效果的方法 | |
CN107016682A (zh) | 一种自然图像显著对象自适应分割方法 | |
CN104484347B (zh) | 一种基于地理信息的层次化视觉特征提取方法 | |
Huang et al. | Improved algorithm for image haze removal based on dark channel priority | |
CN104504715A (zh) | 基于局部四元数矩特征的图像分割方法 | |
CN112541856B (zh) | 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法 | |
Ji et al. | An automatic 2D to 3D conversion algorithm using multi-depth cues | |
CN104537637A (zh) | 一种单幅静态图像深度估计方法及装置 | |
CN106651864B (zh) | 一种面向高分辨率遥感图像的分割方法 | |
CN106446764B (zh) | 基于改进的模糊颜色聚合向量的视频目标检测方法 | |
CN103824299A (zh) | 一种基于显著度的目标跟踪方法 | |
Pratondo et al. | Vocal cord segmentation from CT images using machine learning | |
CN108376390B (zh) | 一种动态感知平滑滤波算法 | |
CN112884884A (zh) | 一种候选区域生成方法及系统 | |
Rui et al. | Improved color image segmentation algorithm based on GrabCut |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191217 |
|
CF01 | Termination of patent right due to non-payment of annual fee |