CN106651871B - 一种深度图像空洞的自动填充方法 - Google Patents

一种深度图像空洞的自动填充方法 Download PDF

Info

Publication number
CN106651871B
CN106651871B CN201611031251.1A CN201611031251A CN106651871B CN 106651871 B CN106651871 B CN 106651871B CN 201611031251 A CN201611031251 A CN 201611031251A CN 106651871 B CN106651871 B CN 106651871B
Authority
CN
China
Prior art keywords
pixel
pixels
depth
hole
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611031251.1A
Other languages
English (en)
Other versions
CN106651871A (zh
Inventor
全红艳
孟恬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201611031251.1A priority Critical patent/CN106651871B/zh
Publication of CN106651871A publication Critical patent/CN106651871A/zh
Application granted granted Critical
Publication of CN106651871B publication Critical patent/CN106651871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种深度图像空洞的自动填充方法,该方法先将彩色图像作为输入,利用多尺度结构相似性，将深度图像中空洞的像素类型分为平滑区像素和非平滑区像素，对于平滑区像素，利用最短距离深度聚类结果，结合像素间的结构相似性，求解平滑区域像素点的深度值；对于非平滑区像素，为了突出边缘细节信息，采用带有权重项的一阶泰勒展开，估计非平滑区域像素的深度信息。本发明能够实现深度图像空洞的自动分类填充，并且填充后的深度图像具有保持边缘细节的特点，解决了Kinect设备采集中存在深度空洞问题，并能促进三维重建技术的研究及应用。

Description

一种深度图像空洞的自动填充方法
技术领域
本发明涉及深度图像空洞填充技术，从彩色图像的结构相似性出发，求解空洞像素点的多尺度结构相似性，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素，并针对不同的空洞像素，采用不同的填充算法。在平滑区域空洞的填充过程中，利用最短距离聚类算法对深度图像的像素深度进行聚类，并将像素间的结构相似性作为权重，对空洞像素的深度进行求解；对于非平滑区域像素，利用一阶泰勒逼近算法，结合双边滤波权重项的设计，求解平滑区域空洞像素深度值。
背景技术
深度图像的出现为各类计算机视觉的应用开辟了新的道路，并在物体识别，三维重建等应用中发挥着重要的作用。近年来，深度图像的空洞填充备受关注，其目的是可以利用填补后的深度图像中的深度数据,为三维重建等过程提供有效的数据。由于深度图像的空洞含有很多重要的信息，提取这些信息，并将它们增强到三维重建的过程中，从而在重建过程中获取真实感细节，这样可以克服三维重建后部分细节信息丢失问题。目前深度图像的空洞填充技术的研究虽然取得了一些成果，但是如何充分利用深度图像对应的彩色图像增强空洞边缘细节信息，仍然是研究中亟待解决的关键问题。
发明内容
本发明的目的是提供一种深度图像空洞的自动填充方法，该方法能够实现空洞的有效填充，可以在空洞填充过程中增强空洞处物体边缘的细节，克服填充后物体边缘细节突出的问题。
本发明的目的是这样实现的：
一种深度图像空洞的自动填充方法，特点是：对Kinect设备采集的深度图像中存在的空洞进行自动填充，具体包括以下步骤：
步骤1：将空洞分为平滑区空洞和非平滑区空洞
为了将空洞分为平滑区域空洞和非平滑区域空洞,首先,计算图像中任意像素与其周围邻域像素的结构相似性，然后，再根据多尺度结构相似性，将图像中空洞分为平滑区域空洞和非平滑区域空洞。
具体地，利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素qi(i＝1,2...8)的结构相似性SSIM(p,qi)；其中p的3×3邻域记为B1,qi的3×3邻域记为Bi；
SSIM(p,qi)＝[l(B1,Bi)]α·[c(B1,Bi)]β·[s(B1,Bi)]γ (1)
其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1；l(B1,Bi)是亮度比较函数,计算为：
c(B1,Bi)是对比度比较函数,计算为：
s(B1,Bi)是结构比较函数,计算为：
其中，和分别是B1和Bi中所有像素灰度的平均值，和分别是B1和Bi中所有像素灰度的方差,σ是B1和Bi之间像素灰度的协方差；
其中C1＝(K1L)2,C2＝(K2L)2,K1是常量0.01,K2是常量0.02,L是常量255；
然后,计算多尺度结构相似性；具体地,利用B1中各个像素的结构相似性计算p点的多尺度结构相似性MSSIMp：
其中N表示p点邻域彩色图像中像素的个数；
利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素；若满足MSSIMp>ε，那么p为平滑区空洞像素；若MSSIM<ε,那么p为非平滑区空洞像素；
步骤2：对于深度图像中任意平滑区空洞进行填充
首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；
|dX-dY|<T (6)
其中dX表示像素X的深度值，dY表示像素Y的深度值，T表示两像素间深度差异的阈值。空洞像素p的深度F利用公式(7)计算；
Ei是有效像素qi的深度,n表示p点邻域中有效像素的个数；
步骤3：对于深度图像中任意非平滑区空洞进行填充
对于非平滑区域空洞像素点的填充，利用p点的邻域B1中有效像素qi进行求解，求解公式如下：
其中表示有效像素qi深度的梯度,w(p,qi)代表权重项，其计算为：
w(p,qi)＝wd(p,qi)wc(p,qi)wm(p,qi) (9)
其中wd(p,qi)，wc(p,qi)以及wm(p,qi)分别是距离权重项、颜色权重项和多尺度结构相似性权重项；它们的计算分别为：
其中符号||·||2表示2-范式；x表示p点的坐标，y表示qi点的坐标；表示当前像素p与域像素qi欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差；Ip和分别表示彩色图像中像素p和像素qi的灰度值；表示qi点的多尺度结构相似性。
本发明利用深度图像，能够实现空洞的有效填充，能在空洞填充过程中增强空洞处物体边缘的细节，克服填充后物体边缘细节突出的问题，进一步实施例证明了本发明的实验效果，实现深度图像空洞的有效填充，适用于包括Kinect获取的深度图像等。
附图说明
图1为本发明实施例Kinect获取的深度聚类结果图；
图2为本发明实施例Kinect获取的深度图像空洞填补结果图。
实施例
下面结合附图对于发明进一步说明。
本实施例采用Kinect获取的深度数据进行实验。在Windows7操作系统的PC机上进行实验，硬件配置是1.80GHzCoreTMi5-3337U CPU、4GB RAM。实验平台是VS2010。
本发明对Kinect设备采集的深度图像中存在的空洞,采用以下步骤进行处理,即可以实现空洞的自动填充。
步骤1：将空洞分为平滑区空洞和非平滑区空洞
为了将空洞分为平滑区域空洞和非平滑区域空洞,首先,计算图像中任意像素与其周围邻域像素的结构相似性,然后,再根据多尺度结构相似性,将图像中空洞分为平滑区域空洞和非平滑区域空洞。具体地,利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素qi(i＝1,2...8)的结构相似性SSIM(p,qi)。其中p的3×3邻域记为B1,qi的3×3邻域记为Bi。
SSIM(p,qi)＝[l(B1,Bi)]α·[c(B1,Bi)]β·[s(B1,Bi)]γ (1)
其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1。l(B1,Bi)是亮度比较函数,计算为：
c(B1,Bi)是对比度比较函数,计算为:
s(B1,Bi)是结构比较函数,计算为:
其中，和分别是B1和Bi中所有像素灰度的平均值,和分别是B1和Bi中所有像
素灰度的方差,σ是B1和Bi之间像素灰度的协方差。
其中C1＝(K1L)2,C2＝(K2L)2,K1是常量0.01,K2是常量0.02,L是常量255。
然后,计算多尺度结构相似性。具体地,利用B1中各个像素的结构相似性计算p点的多尺度结构相似性MSSIMp：
其中N表示p点邻域彩色图像中像素的个数。
进一步利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素。具体地，如果满足MSSIMp>ε，那么p为平滑区空洞像素；如果MSSIM<ε,那么p为非平滑区空洞像素。
步骤2：对于深度图像中任意平滑区空洞进行填充
首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；
|dX-dY|<T (6)
其中dX表示像素X的深度值，dY表示像素Y的深度值，T表示两像素间深度差异的阈值。空洞像素p的深度F利用公式(7)计算。
Ei是有效像素qi的深度,n表示p点邻域中有效像素的个数。
步骤3：对于深度图像中任意非平滑区空洞进行填充
对于非平滑区域空洞像素点的填充，利用p点的邻域B1中有效像素qi进行求解，求解公式如下：
其中表示有效像素qi深度的梯度,w(p,qi)代表权重项，其计算为：
w(p,qi)＝wd(p,qi)wc(p,qi)wm(p,qi) (9)
其中wd(p,qi)，wc(p,qi)以及wm(p,qi)分别是距离权重项、颜色权重项和多尺度结构相似性权重项。它们的计算分别为：
其中符号||·||2表示2-范式；x表示p点的坐标，y表示qi点的坐标；表示当前像素p与邻域像素qi欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差。Ip和分别表示彩色图像中像素p和像素qi的灰度值；表示qi点的多尺度结构相似性。
本发明利用深度图像，能在空洞填充过程中增强物体边缘的细节，能够实现空洞的有效填充，克服填充后物体边缘细节填充不准确的问题，进一步实例证明了本发明的实验效果，实现深度图像空洞边缘的有效填充，适用于包括Kinect获取的深度图像。
图1是利用Kinect采集的深度图像进行聚类的结果。在图1中,左图是利用Kinect采集得到的带有空洞的深度图像,右图是利用该方法处理时,得到的深度图像聚类的结果,从图中的深度聚类结果可以明显看出，利用本发明对深度图像进行深度聚类结果的有效性。
图2是本发明实施例对深度图像的空洞进行填充的结果图，在图2中,左图是利用Kinect采集得到的带有空洞的深度图像,右图是利用该方法处理得到的填充后的深度图像,在深度图像的自动分类结果中得到的结果图，从图中的结果可以看出，填充深度图结果边缘细节突出。

Claims (1)

1.一种深度图像空洞的自动填充方法，其特征在于，该方法包括以下具体步骤：
步骤1：将空洞分为平滑区空洞和非平滑区空洞
计算图像中任意像素与其周围邻域像素的结构相似性，再根据多尺度结构相似性，将图像中空洞分为平滑区域空洞和非平滑区域空洞；具体地：
利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素qi(i＝1,2...8)的结构相似性SSIM(p,qi)；其中p的3×3邻域记为B1,qi的3×3邻域记为Bi；
SSIM(p,qi)＝[l(B1,Bi)]α·[c(B1,Bi)]β·[s(B1,Bi)]γ (1)
其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1；l(B1,Bi)是亮度比较函数,计算为：
c(B1,Bi)是对比度比较函数,计算为：
s(B1,Bi)是结构比较函数,计算为：
其中，和分别是B1和Bi中所有像素灰度的平均值，和分别是B1和Bi中所有像素灰度的方差,σ是B1和Bi之间像素灰度的协方差；
其中C1＝(K1L)2,C2＝(K2L)2,K1是常量0.01,K2是常量0.02,L是常量255；
然后,计算多尺度结构相似性；具体地，利用B1中各个像素的结构相似性计算p
点的多尺度结构相似性MSSIMp：
其中N表示p点邻域彩色图像中像素的个数；
利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素；若满足MSSIMp>ε，那么p为平滑区空洞像素；若MSSIM<ε,那么p为非平滑区空洞像素；
步骤2：对于深度图像中任意平滑区空洞进行填充
首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；
|dX-dY|＜T (6)
其中dX表示像素X的深度值，dY表示像素Y的深度值，T表示两像素间深度差异的阈值；空洞像素p的深度F利用公式(7)计算；
Ei是邻 域像素qi的深度,n表示p点邻域中有效像素的个数；
步骤3：对于深度图像中任意非平滑区空洞进行填充
对于非平滑区域空洞像素点的填充，利用p点的邻域B1中邻 域像素qi进行求解，求解公式如下：
其中表示邻 域像素qi深度的梯度,w(p,qi)代表权重项，其计算为：
w(p,qi)＝wd(p,qi)wc(p,qi)wm(p,qi) (9)
其中wd(p,qi)，wc(p,qi)以及wm(p,qi)分别是距离权重项、颜色权重项和多尺度结构相似性权重项；它们的计算分别为：
其中符号||·||2表示2-范式；x表示p点的坐标，y表示qi点的坐标；表示当前像素p与邻域像素qi欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差；Ip和分别表示彩色图像中像素p和像素qi的灰度值；表示qi点的多尺度结构相似性。
CN201611031251.1A 2016-11-18 2016-11-18 一种深度图像空洞的自动填充方法 Active CN106651871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611031251.1A CN106651871B (zh) 2016-11-18 2016-11-18 一种深度图像空洞的自动填充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611031251.1A CN106651871B (zh) 2016-11-18 2016-11-18 一种深度图像空洞的自动填充方法

Publications (2)

Publication Number Publication Date
CN106651871A CN106651871A (zh) 2017-05-10
CN106651871B true CN106651871B (zh) 2019-12-17

Family

ID=58808601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611031251.1A Active CN106651871B (zh) 2016-11-18 2016-11-18 一种深度图像空洞的自动填充方法

Country Status (1)

Country Link
CN (1) CN106651871B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358587A (zh) * 2017-07-12 2017-11-17 宁波视睿迪光电有限公司 图像修补方法及系统
CN109472180A (zh) * 2017-09-07 2019-03-15 聚晶半导体股份有限公司 道路图像处理方法与道路图像处理装置
CN107622480B (zh) * 2017-09-25 2020-11-24 长春理工大学 一种Kinect深度图像增强方法
CN108282538B (zh) * 2018-02-06 2018-12-25 浙江网联毛衫汇科技股份有限公司 基于云服务器的远程控制平台及方法
CN110070500B (zh) * 2019-03-21 2020-12-08 浙江大学 一种深度图像的后处理方法
CN110334769A (zh) * 2019-07-09 2019-10-15 北京华捷艾米科技有限公司 目标识别方法及装置
CN111179195B (zh) * 2019-12-27 2023-05-30 西北大学 深度图像空洞填充方法、装置、电子设备及其存储介质
CN111369435B (zh) * 2020-02-18 2023-04-07 山东师范大学 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN113935914A (zh) * 2021-10-08 2022-01-14 北京的卢深视科技有限公司 深度图像修复方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136775A (zh) * 2013-03-19 2013-06-05 武汉大学 基于局部约束重建的kinect深度图空洞填充方法
CN103209334A (zh) * 2013-03-18 2013-07-17 中山大学 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法
CN103996174A (zh) * 2014-05-12 2014-08-20 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN104299220A (zh) * 2014-07-10 2015-01-21 上海大学 一种对Kinect深度图像中的空洞进行实时填充的方法
CN104680496A (zh) * 2015-03-17 2015-06-03 山东大学 一种基于彩色图像分割的Kinect深度图修复方法
CN105894503A (zh) * 2016-03-30 2016-08-24 江苏大学 一种对Kinect植株彩色和深度检测图像的修复方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209334A (zh) * 2013-03-18 2013-07-17 中山大学 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法
CN103136775A (zh) * 2013-03-19 2013-06-05 武汉大学 基于局部约束重建的kinect深度图空洞填充方法
CN103996174A (zh) * 2014-05-12 2014-08-20 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN104299220A (zh) * 2014-07-10 2015-01-21 上海大学 一种对Kinect深度图像中的空洞进行实时填充的方法
CN104680496A (zh) * 2015-03-17 2015-06-03 山东大学 一种基于彩色图像分割的Kinect深度图修复方法
CN105894503A (zh) * 2016-03-30 2016-08-24 江苏大学 一种对Kinect植株彩色和深度检测图像的修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An image inpainting technique based on the fast marching method;A. Telea;《Journal of graphics tools》;20040131;第9卷(第1期);第25-36页 *
Image quality assessment: from error visibility to structual similarity;Z. Wang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20040430;第13卷(第4期);第600-611页 *
Refinement of depth maps generated by low-cost depth sensors;K.R. Vijayanagar 等;《2012 International SoC Design Conference (ISOCC)》;20130111;第355-358页 *

Also Published As

Publication number Publication date
CN106651871A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106651871B (zh) 一种深度图像空洞的自动填充方法
Guo LIME: A method for low-light image enhancement
CN105740945B (zh) 一种基于视频分析的人群计数方法
MX362373B (es) Recuperacion de imagenes por contenido.
CN106709964B (zh) 基于梯度修正和多向纹理提取的素描画生成方法及装置
JP4979033B2 (ja) オブジェクト・ベース視覚的注意モデルの顕著性推定
CN105404888A (zh) 结合颜色和深度信息的显著性目标检测方法
JP2012530287A5 (zh)
Sharma et al. Edge detection using Moore neighborhood
CN105335965B (zh) 一种高分辨率遥感图像多尺度自适应决策融合分割方法
CN103983334A (zh) 一种信息处理的方法及电子设备
Abubakar Study of image segmentation using thresholding technique on a noisy image
CN103903275A (zh) 利用小波融合算法改进图像分割效果的方法
CN104484347B (zh) 一种基于地理信息的层次化视觉特征提取方法
CN104504715A (zh) 基于局部四元数矩特征的图像分割方法
CN112541856B (zh) 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法
Fu et al. Target extraction of blurred infrared image with an immune network template algorithm
CN106651864B (zh) 一种面向高分辨率遥感图像的分割方法
CN106446764B (zh) 基于改进的模糊颜色聚合向量的视频目标检测方法
JP2009271657A5 (zh)
CN103824299A (zh) 一种基于显著度的目标跟踪方法
Pratondo et al. Vocal cord segmentation from CT images using machine learning
CN108376390B (zh) 一种动态感知平滑滤波算法
CN112884884A (zh) 一种候选区域生成方法及系统
Rui et al. Improved color image segmentation algorithm based on GrabCut

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant