CN110147816A - 一种彩色深度图像的获取方法、设备、计算机存储介质 - Google Patents

一种彩色深度图像的获取方法、设备、计算机存储介质 Download PDF

Info

Publication number
CN110147816A
CN110147816A CN201910286021.7A CN201910286021A CN110147816A CN 110147816 A CN110147816 A CN 110147816A CN 201910286021 A CN201910286021 A CN 201910286021A CN 110147816 A CN110147816 A CN 110147816A
Authority
CN
China
Prior art keywords
pixel
repaired
cluster
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910286021.7A
Other languages
English (en)
Other versions
CN110147816B (zh
Inventor
欧勇盛
徐颖蕾
熊荣
江国来
王志扬
段江哗
吴新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910286021.7A priority Critical patent/CN110147816B/zh
Publication of CN110147816A publication Critical patent/CN110147816A/zh
Application granted granted Critical
Publication of CN110147816B publication Critical patent/CN110147816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种彩色深度图像的获取方法、设备、计算机存储介质，该彩色深度图像的获取方法包括：获取彩色图像和深度图像；对所述彩色图像进行模糊聚类分割处理，以得到引导图；基于所述引导图对所述深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。通过上述方式，能够得到更加清晰的边缘，有利于在图像修复时更好地还原缺失的深度信息。

Description

一种彩色深度图像的获取方法、设备、计算机存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种彩色深度图像的获取方法、设备、计算机存储介质。
背景技术
在计算机视觉领域中，深度信息为人机交互、三维场景重建、3D打印等各类计算机视觉应用提供了更多的可能性。深度图像类似于灰度图像，它的每个像素值都表明了场景中物体表面距离传感器的距离大小。
深度相机有其价格低廉，体积小，易于操作等特点，但是其仍然无法摆脱本身存在的某些缺陷，主要是其采集到的深度数据会有缺失，造成深度图像存在空洞区域。高质量的图像是优良的计算机视觉应用的基础，同样地，在深度图像的相关应用领域中高质量的深度图像必不可少。
发明内容
为解决上述问题，本申请提供了一种彩色深度图像的获取方法、设备、计算机存储介质，能够得到更加清晰的边缘，有利于在图像修复时更好地还原缺失的深度信息。
本申请采用的一个技术方案是：提供一种彩色深度图像的获取方法，该方法包括：获取彩色图像和深度图像；对彩色图像进行模糊聚类分割处理，以得到引导图；基于引导图对深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。
其中，对彩色图像进行模糊聚类分割处理，以得到引导图的步骤，包括：建立模糊目标函数；利用模糊目标函数计算聚类中心矩阵和聚类隶属度矩阵；对聚类中心矩阵和聚类隶属度矩阵进行迭代更新；在迭代更新满足设定要求时，获取目标像素点的聚类隶属度；基于每个像素点聚类的隶属度，对彩色图像进行分割处理，以得到引导图。
其中，建立模糊目标函数的步骤，包括：确定彩色图像的像素数量；基于像素数量确定聚类中心个数；基于目标像素的聚类隶属度和目标像素与每个聚类中心的距离，建立模糊目标函数。
其中，对聚类中心矩阵和聚类隶属度矩阵进行迭代更新的步骤，包括：采用聚类隶属度矩阵元素迭代更新聚类中心矩阵；利用更新后的聚类中心矩阵更新聚类隶属度矩阵元素。
其中，在迭代更新满足设定要求时，获取目标像素点的聚类隶属度的步骤，包括：当达到设定最大迭代次数，或模糊目标函数收敛到最小时，获取目标像素点的聚类隶属度。
其中，基于引导图对深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像的步骤，包括：确定待修复区域边界；确定待修复区域中每个像素点与待修复区域边界之间的距离；从距离最小的像素点开始，对待修复区域中的每个像素的深度值进行估计。
其中，对待修复区域中的每个像素的深度值进行估计的步骤，包括：在待修复区域边界的像素点中，确定待修复像素点；确定待修复像素点的领域像素点；判断领域像素点是否为待修复区域边界外，且与待修复像素点位于同一聚类分割区域的像素点；若是，则利用领域像素点的深度值对待修复像素点的深度值进行修复。
其中，方法还包括：对述待修复区域边界进行更新；重复执行在待修复区域边界的像素点中，确定待修复像素点的步骤，直至待修复区域中所有像素点的深度值被修复。
本申请采用的另一个技术方案是：提供一种彩色深度图像获取设备，该彩色深度图像获取设备包括：彩色摄像头，用于获取彩色图像；深度摄像头，用于获取深度图像；存储器，用于存储程序数据；处理器，用于执行程序数据，以实现如上述的方法。
本申请采用的另一个技术方案是：提供一种计算机存储介质，该计算机存储介质存储有程序数据，程序数据在被处理器执行时，用以实现如上述的方法。
本申请提供的彩色深度图像的获取方法包括：获取彩色图像和深度图像；对彩色图像进行模糊聚类分割处理，以得到引导图；基于引导图对深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。通过上述方式，采用模糊聚类分割能够得到更加清晰的边缘，不仅能恢复出结构信息，而且能够将目标物体和背景明显分离，在前景和背景的边界处过渡明显，可见考虑了彩色图像中像素间的模糊性，通过FCM聚类分割，引入物体的结构信息，能够帮助我们更好地还原缺失的深度信息。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请实施例提供的彩色深度图像的获取方法的流程示意图；
图2是本申请实施例提供的模糊聚类分割的流程示意图；
图3是本申请实施例提供的深度值修复的流程示意图；
图4是本申请实施例提供的待修复区域的示意图；
图5是本实施例提供的聚类分割区域与待修复区域的示意图；
图6是本申请实施例提供的彩色深度图像获取设备的结构示意图；
图7是本申请实施例提供的计算机存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请实施例提供的彩色深度图像的获取方法的流程示意图，该方法包括：
步骤11：获取彩色图像和深度图像。
可选地，这里可以利用彩色摄像头来获取彩色图像，红外摄像头来获取深度图像，值得注意的是，彩色图像和深度图像是基于同一目标区域同时采集的图像。
可选地，可以采用RGB-D体感传感器Kinect V2.0作为图像采集设备，其彩色摄像头采用1920*1080分辨率成像，红外摄像头采用512*424分辨率成像，垂直方向可视角度为60°，水平方向可视角度为70°，有效视野范围为0.5～4.5m，处理视频信息的帧率达30帧/s。
另外，也可将深度图与彩色图合称为RGB-D图像，在图像中某点(x,y)的深度值，记为D(x,y)。其中，x，y分别为像素位置的横坐标和纵坐标。像素值(即深度值)分布范围：[0-8096]，表示空间该点到摄像头平面的距离，单位mm；其中，像素值为0的位置可确定为深度值缺失的位置，也是本实施例需要对其进行修复的部分。
步骤12：对彩色图像进行模糊聚类分割处理，以得到引导图。
模糊聚类分析一般是指根据研究对象本身的属性来构造模糊矩阵，并在此基础上根据一定的隶属度来确定聚类关系，即用模糊数学的方法把样本之间的模糊关系定量的确定，从而客观且准确地进行聚类。聚类就是将数据集分成多个类或簇，使得各个类之间的数据差别应尽可能大，类内之间的数据差别应尽可能小。
可选地，如图2所示，图2是本申请实施例提供的模糊聚类分割的流程示意图，步骤12可以具体包括：
步骤121：建立模糊目标函数。
步骤122：利用模糊目标函数计算聚类中心矩阵和聚类隶属度矩阵。
步骤123：对聚类中心矩阵和聚类隶属度矩阵进行迭代更新。
可选地，建立模糊目标函数的步骤可以具体为：确定彩色图像的像素数量；基于像素数量确定聚类中心个数；基于目标像素的聚类隶属度和目标像素与每个聚类中心的距离，建立模糊目标函数。
其中，目标图像像素数量n＝M×N。设定聚类中心个数c(2≤c≤n)，设定最大迭代次数Nmax、约束系数α和图像领域信息大小NR。
具体地，假设一组包含n个像素的数据样本X{xj,j＝1,2,...,n}，选择c个类中心。将每个样本(像素点)都划分到c个模糊分组C{ci,i＝1,2,...,c}中，uij(i＝1,2,...,c；j＝1,2,..n)为第j个样本隶属于第i个聚类的程度，即样本的隶属度值。FCM(Fuzzy C-means)算法的模糊目标函数由相应样本的隶属度与该样本到各个类中心的距离相乘组成的，模糊目标函数的表达式为：
一个数据集的隶属度的和总等于1，即
其中，式(2)为约束条件。这里的uij介于[0,1]之间；c是设定的聚类数目；n表示需要处理的样本总数；U＝[uij](i＝1,2,...c；j＝1,2,...,n)为领域像素的聚类隶属度矩阵，m为聚类隶属度权重指数，m∈[1,∞)。C＝(c1,c2,...,cc)为聚类中心矩阵。
为了实现样本集合X的最优聚类隶属度划分，针对聚类中心矩阵C和聚类隶属度矩阵U进行自适应迭代更新，使得模糊目标函数J(U,C)收敛到最小。首先采用拉格朗日乘数法将约束条件(2)拿到目标函数中去，前面加上系数，并把所有j展开，那么式(1)变成下列所示：
可选地，根据拉格朗日乘子算法，对所有输入参数求导，可导出最优隶属度矩阵U的隶属度函数元素uij为：
以及，最优聚类中心矩阵C的元素{ci,i＝1,2,...,c}可表示为：
为了改善传统FCM图像分割算法的抗噪性能，本实施例在模糊目标函数中引入像素的邻域信息约束，通过调节约束系数控制邻域信息的约束强度，并将像素邻域信息约束引入聚类隶属度矩阵的计算中，影响像素聚类隶属度的划分，利用迭代优化聚类中心和像素的聚类隶属度，使模糊目标函数收敛到最小值，从而获取最优的聚类隶属度，实现目标图像的有效分割。因此，改进的模糊目标函数J(U,C)可定义为：
其中，uij表示像素xj的领域k(不包含xj本身)关于第i类的隶属度；NR表示领域空间的大小，α为约束系统，通过α的自适应调节可以控制像素领域素邻域信息对模糊目标函数和像素聚类隶属度的约束程度。当α＝0时，上式(6)退化为传统FCM聚类划分的模糊目标函数，当α>0时，如果图像中某个像素的邻域像素隶属于某个类的程度较高，则该像素隶属于该类的概率相应较大，同理，如果某个像素的邻域像素隶属于某个类的程度较低，则该像素隶属于该类的概率较小，这就符合相邻像素隶属于同一类的概率较大的客观规律。可见，当像素和其邻域中像素同属于一个类时，其隶属度值最大、模糊目标函数最小。
在迭代更新时，采用聚类隶属度矩阵元素迭代更新聚类中心矩阵；利用更新后的聚类中心矩阵更新聚类隶属度矩阵元素。
具体地，计算或更新聚类隶属度矩阵元素uij，其表达式为：
在将更新后的uij迭代至上式(5)中，再次对中心矩阵C的元素{ci,i＝1,2,...,c}进行更新，不断重复。
步骤124：在迭代更新满足设定要求时，获取目标像素点的聚类隶属度。
可选地，可以采用以下表达式进行去模糊化操作：
步骤125：基于每个像素点聚类的隶属度，对彩色图像进行分割处理，以得到引导图。
当达到设定最大迭代次数，或模糊目标函数收敛到最小时，获取目标像素点的聚类隶属度。
步骤13：基于引导图对深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。
可选地，如图3所示，图3是本申请实施例提供的深度值修复的流程示意图，步骤13可以具体包括：
步骤131：确定待修复区域边界。
如图4所示，图4是本申请实施例提供的待修复区域的示意图，记Ω是图像中的待修复区域，δΩ为该区域的边界。假定p为δΩ上的一点。围绕p取一个小领域Bε(p)，p点的修复应该由其领域像素Bε(p)来决定。也就是说p点与局部信息Bε(p)有关。利用这一基本原理，可将Bε(p)中的点进行加权平均来估算p点的深度值Dp。
步骤132：确定待修复区域中每个像素点与待修复区域边界之间的距离。
快速行进法基本思想是在图像外围构造一个活动边界，边界内部的到达时间未知，当前修复边界利用逆向差分格式向内修复，凡是修复过的点，就重置其到达时间，然后构造新的活动边界。如此循环，就可以得到整个平面上每个点的到达时间。
对于每个像素点，获取该像素点与区域边界δΩ之间的距离值T，像素值I，以及一个标记值f，标记值f有三种取值：
(1)BAND，正被处理的像素，即边界δΩ上的点，其T值将要被更新。
(2)KNOWN，δΩ外部的像素，属于已知图像区域的像素，其T值和灰度值I已知。
(3)INSIDE，δΩ内部的像素，待修复区域的像素，其T值和灰度值I均未知。
步骤133：从距离最小的像素点开始，对待修复区域中的每个像素的深度值进行估计。
在待修复区域边界的像素点中，确定待修复像素点；确定待修复像素点的领域像素点；判断领域像素点是否为待修复区域边界外，且与待修复像素点位于同一聚类分割区域的像素点；若是，则利用领域像素点的深度值对待修复像素点的深度值进行修复。
如图5所示，图5是本实施例提供的聚类分割区域与待修复区域的示意图，其中区域A为上述步骤12中通过模糊聚类分割得到的一个聚类分割区域。
在本实施例中，在像素点p的领域Bε(p)，且位于待修复区域边界δΩ之外的领域像素点大致可以分为两类：一类是q1，像素点q1与像素点p位于同一聚类分割区域；另一类是q2，像素点q2与像素点p不位于同一聚类分割区域。在本实施例中，选择像素点q1来计算像素点p的深度值。
用Dq表示点q的深度；是像素点q的梯度，q是p点的领域像素。像素点p的深度值估计公式如下：
w(p,q)＝wdst(p,q)*wclr(p,q) (10)
其中：
w(p,q)是权值函数由空间距离项wdst(p,q)和颜色相似项wclr(p,q)构成。空间距离项保证了距离待填充像素越近的像素在深度估计时拥有越大的估计权重，颜色相似项保证了与待填充像素在彩色图像上越相似的像素点在深度估计时拥有越大的权重。||·||表示欧式距离；空间距离项wdst(p,q)和颜色相似项wclr(p,q)都服从高斯分布，方差分别为δd，δu。
本实施例对快速行进法的填充顺序进行重新设计以获得更好的深度图像填充效果。构建了如下的约束式：
Tp需要满足其在待修补区域δΩ的边界上等于0。Tp表示像素点与待填充区域边界δΩ0的距离值。该距离值可作为填充次序的判据，越小的距离值意味着该像素点拥有更优先的填充次序。而F是一个控制扩散速度的函数，其自变量同样为图像中的像素点。通过构建一个合理的F能够获得一个合理的区域填充顺序。
在原始基于快速行进法的图像修补算法中，F在整张图像中都被设为1，因此无法利用引导彩色图像的信息对修补顺序进行调整，而在本实施例中提出了以下根据图像梯度图构建的扩散速度函数：
其中表示对引导图像进行带宽为σ的高斯滤波，而在该扩散速度函数为负值意味着整个修补过程从边缘向内进行。该式保证了图像在填充同质的彩色图像区域时拥有较快的填充速度，而在遇到边缘区域时则降低填充速度。
在已知待修部区域的扩散速度F之后，接下来利用式(13)得到填充区区域每个像素点的填充次序T。假设像素点p的坐标为(i，j),根据离散求取梯度的方法，式(13)可以转化为：
其中：
对和的定义与式(16)和式(17)类似。在每次迭代中，算法选取在边界δΩ拥有最小值T值的像素进行估计。
结合上述实施例，聚类分割流程如下：
①、目标图像像素数量n＝M×N。
②、设定聚类中心个数c(2≤c≤n)，设定最大迭代次数Nmax、约束系数α和图像领域信息大小NR。
③、设置聚类隶属度矩阵U的初始值U0∈[uij]，根据式(5.5)计算聚类中心矩阵C。
④、计算或更新聚类隶属度矩阵元素uij，其表达式为上述的式(7)。
⑤、根据式(5)迭代更新聚类中心矩阵C＝[ci]。
⑥、如果达到最大迭代次数或模糊目标函数收敛到最小，则执行⑦。否则，跳转④，继续迭代更新聚类隶属度和聚类中心。
⑦、根据最大隶属度法，按照(8)式进行去模糊化操作，获取最优聚类隶属度。
⑧、根据相应的模糊隶属度输出图像分割效果。
结合上述实施例，图像修复流程如下：
①、将初始填充边界的像素点集归入δΩ，并完成所有像素点标记值的赋值。
②、找到标志为BAND的像素点中拥有最小的T值的像素点p。
③、对于像素点p的领域像素q，并且q被标志为KNOWN的话，执行下一步。
④、根据公式(9)填充像素p，更新像素点p的标志为BAND，根据式(15)更新像素点p的T值。
⑤、将像素点p插入到δΩ中，更新δΩ。
区别于现有技术，本实施例彩色深度图像的获取方法包括：获取彩色图像和深度图像；对彩色图像进行模糊聚类分割处理，以得到引导图；基于引导图对深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。通过上述方式，采用模糊聚类分割能够得到更加清晰的边缘，不仅能恢复出结构信息，而且能够将目标物体和背景明显分离，在前景和背景的边界处过渡明显，可见考虑了彩色图像中像素间的模糊性，通过FCM聚类分割，引入物体的结构信息，能够帮助我们更好地还原缺失的深度信息。
另外，上述实施例还采用了改进后的快速行进算法，引入彩色图像提供的结构信息，重新设计了权值函数，以及针对修复顺序的改进，不仅能很好的处理大块的缺失区域，而且在边界的过渡上更加自然，而且不会出现过平滑的现象，能最大的还原原有目标物体结构信息。
参阅图6，图6是本申请实施例提供的彩色深度图像获取设备的结构示意图，该彩色深度图像获取设备60包括彩色摄像头61、深度摄像头62、存储器63以及处理器64。
彩色摄像头61用于获取彩色图像；深度摄像头62用于获取深度图像；存储器3用于存储程序数据；处理器64用于执行程序数据，以实现如下的方法：对彩色图像进行模糊聚类分割处理，以得到引导图；基于引导图对深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。
可选地，处理器64执行程序数据时，还用于实现如下的方法：建立模糊目标函数；利用模糊目标函数计算聚类中心矩阵和聚类隶属度矩阵；对聚类中心矩阵和聚类隶属度矩阵进行迭代更新；在迭代更新满足设定要求时，获取目标像素点的聚类隶属度；基于每个像素点聚类的隶属度，对对彩色图像进行分割处理，以得到引导图。
可选地，处理器64执行程序数据时，还用于实现如下的方法：确定彩色图像的像素数量；基于像素数量确定聚类中心个数；基于目标像素的聚类隶属度和目标像素与每个聚类中心的距离，建立模糊目标函数。
可选地，处理器64执行程序数据时，还用于实现如下的方法：采用聚类隶属度矩阵元素迭代更新聚类中心矩阵；利用更新后的聚类中心矩阵更新聚类隶属度矩阵元素。
可选地，处理器64执行程序数据时，还用于实现如下的方法：当达到设定最大迭代次数，或模糊目标函数收敛到最小时，获取目标像素点的聚类隶属度。
可选地，处理器64执行程序数据时，还用于实现如下的方法：确定待修复区域边界；确定待修复区域中每个像素点与待修复区域边界之间的距离；从距离最小的像素点开始，对待修复区域中的每个像素的深度值进行估计。
可选地，处理器64执行程序数据时，还用于实现如下的方法：在待修复区域边界的像素点中，确定待修复像素点；确定待修复像素点的领域像素点；判断领域像素点是否为待修复区域边界外，且与待修复像素点位于同一聚类分割区域的像素点；若是，则利用领域像素点的深度值对待修复像素点的深度值进行修复。
可选地，处理器64执行程序数据时，还用于实现如下的方法：对述待修复区域边界进行更新；重复执行在待修复区域边界的像素点中，确定待修复像素点的步骤，直至待修复区域中所有像素点的深度值被修复。
参阅图7，图7是本申请实施例提供的计算机存储介质的结构示意图，该计算机存储介质70中存储有程序数据71，该程序数据71在被处理器执行时，用于实现以下的方法：
获取彩色图像和深度图像；对彩色图像进行模糊聚类分割处理，以得到引导图；基于引导图对深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。
可以理解地，上述的设备和存储介质的实施例中，所执行的方法和原理，与上述彩色深度图像的获取方法的实施例中类似，这里不再赘述。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种彩色深度图像的获取方法，其特征在于，包括：
获取彩色图像和深度图像；
对所述彩色图像进行模糊聚类分割处理，以得到引导图；
基于所述引导图对所述深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像。
2.根据权利要求1所述的方法，其特征在于，
所述对所述彩色图像进行模糊聚类分割处理，以得到引导图的步骤，包括：
建立模糊目标函数；
利用所述模糊目标函数计算聚类中心矩阵和聚类隶属度矩阵；
对所述聚类中心矩阵和所述聚类隶属度矩阵进行迭代更新；
在迭代更新满足设定要求时，获取目标像素点的聚类隶属度；
基于每个像素点聚类的隶属度，对所述彩色图像进行分割处理，以得到引导图。
3.根据权利要求2所述的方法，其特征在于，
所述建立模糊目标函数的步骤，包括：
确定所述彩色图像的像素数量；
基于所述像素数量确定聚类中心个数；
基于目标像素的聚类隶属度和目标像素与每个聚类中心的距离，建立模糊目标函数。
4.根据权利要求2所述的方法，其特征在于，
所述对所述聚类中心矩阵和所述聚类隶属度矩阵进行迭代更新的步骤，包括：
采用聚类隶属度矩阵元素迭代更新所述聚类中心矩阵；
利用更新后的聚类中心矩阵更新聚类隶属度矩阵元素。
5.根据权利要求2所述的方法，其特征在于，
所述在迭代更新满足设定要求时，获取目标像素点的聚类隶属度的步骤，包括：
当达到设定最大迭代次数，或所述模糊目标函数收敛到最小时，获取目标像素点的聚类隶属度。
6.根据权利要求1所述的方法，其特征在于，
所述基于所述引导图对所述深度图像中缺失深度值的待修复区域进行修复，以得到彩色深度图像的步骤，包括：
确定待修复区域边界；
确定待修复区域中每个像素点与所述待修复区域边界之间的距离；
从距离最小的像素点开始，对所述待修复区域中的每个像素的深度值进行估计。
7.根据权利要求6所述的方法，其特征在于，
所述对所述待修复区域中的每个像素的深度值进行估计的步骤，包括：
在所述待修复区域边界的像素点中，确定待修复像素点；
确定所述待修复像素点的领域像素点；
判断所述领域像素点是否为所述待修复区域边界外，且与所述待修复像素点位于同一聚类分割区域的像素点；
若是，则利用所述领域像素点的深度值对所述待修复像素点的深度值进行修复。
8.根据权利要求7所述的方法，其特征在于，
所述方法还包括：
对所述述待修复区域边界进行更新；
重复执行所述在所述待修复区域边界的像素点中，确定待修复像素点的步骤，直至所述待修复区域中所有像素点的深度值被修复。
9.一种彩色深度图像获取设备，其特征在于，所述彩色深度图像获取设备包括：
彩色摄像头，用于获取彩色图像；
深度摄像头，用于获取深度图像；
存储器，用于存储程序数据；
处理器，用于执行所述程序数据，以实现如权利要求1-8任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1-8任一项所述的方法。
CN201910286021.7A 2019-04-10 2019-04-10 一种彩色深度图像的获取方法、设备、计算机存储介质 Active CN110147816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910286021.7A CN110147816B (zh) 2019-04-10 2019-04-10 一种彩色深度图像的获取方法、设备、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910286021.7A CN110147816B (zh) 2019-04-10 2019-04-10 一种彩色深度图像的获取方法、设备、计算机存储介质

Publications (2)

Publication Number Publication Date
CN110147816A true CN110147816A (zh) 2019-08-20
CN110147816B CN110147816B (zh) 2023-04-07

Family

ID=67588645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910286021.7A Active CN110147816B (zh) 2019-04-10 2019-04-10 一种彩色深度图像的获取方法、设备、计算机存储介质

Country Status (1)

Country Link
CN (1) CN110147816B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853133A (zh) * 2019-10-25 2020-02-28 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
CN112116602A (zh) * 2020-08-31 2020-12-22 北京的卢深视科技有限公司 深度图修复方法、装置和可读存储介质
CN114972129A (zh) * 2022-08-01 2022-08-30 电子科技大学 一种基于深度信息的图像修复方法
WO2022188102A1 (zh) * 2021-03-11 2022-09-15 Oppo广东移动通信有限公司 深度图像的修复方法及装置、摄像头组件及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661613A (zh) * 2009-08-27 2010-03-03 北京交通大学 一种基于图像分割的图像修复方法及系统
CN105894503A (zh) * 2016-03-30 2016-08-24 江苏大学 一种对Kinect植株彩色和深度检测图像的修复方法
CN109064470A (zh) * 2018-08-28 2018-12-21 河南工业大学 一种基于自适应模糊聚类的图像分割方法及装置
CN109389608A (zh) * 2018-10-19 2019-02-26 山东大学 以平面为聚类中心具有抗噪性的模糊聚类图像分割方法
CN109509196A (zh) * 2018-12-24 2019-03-22 广东工业大学 一种基于改进的蚁群算法的模糊聚类的舌诊图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661613A (zh) * 2009-08-27 2010-03-03 北京交通大学 一种基于图像分割的图像修复方法及系统
CN105894503A (zh) * 2016-03-30 2016-08-24 江苏大学 一种对Kinect植株彩色和深度检测图像的修复方法
CN109064470A (zh) * 2018-08-28 2018-12-21 河南工业大学 一种基于自适应模糊聚类的图像分割方法及装置
CN109389608A (zh) * 2018-10-19 2019-02-26 山东大学 以平面为聚类中心具有抗噪性的模糊聚类图像分割方法
CN109509196A (zh) * 2018-12-24 2019-03-22 广东工业大学 一种基于改进的蚁群算法的模糊聚类的舌诊图像分割方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853133A (zh) * 2019-10-25 2020-02-28 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
CN112116602A (zh) * 2020-08-31 2020-12-22 北京的卢深视科技有限公司 深度图修复方法、装置和可读存储介质
WO2022188102A1 (zh) * 2021-03-11 2022-09-15 Oppo广东移动通信有限公司 深度图像的修复方法及装置、摄像头组件及电子设备
CN114972129A (zh) * 2022-08-01 2022-08-30 电子科技大学 一种基于深度信息的图像修复方法
CN114972129B (zh) * 2022-08-01 2022-11-08 电子科技大学 一种基于深度信息的图像修复方法

Also Published As

Publication number Publication date
CN110147816B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN110147816A (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
CN106157319B (zh) 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN109493346B (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN104392228B (zh) 基于条件随机场模型的无人机图像目标类检测方法
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
CN107784657A (zh) 一种基于颜色空间分类的无人机遥感图像分割方法
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN104143186B (zh) 一种slic超像素分块优化方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN110222767A (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN110047139A (zh) 一种指定目标三维重建方法及系统
CN112819096B (zh) 一种基于复合卷积神经网络的化石图像分类模型的构建方法
CN106529417A (zh) 一种视觉激光数据融合的道路检测方法
CN107833239A (zh) 一种基于加权模型约束的寻优匹配目标跟踪方法
CN109670660A (zh) 一种基于直觉模糊topsis的舰艇编队动态防空威胁估计方法
CN109859101A (zh) 农作物冠层热红外图像识别方法及系统
CN116258817A (zh) 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN113449612A (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN107423771B (zh) 一种两时相遥感图像变化检测方法
CN113780389B (zh) 基于一致性约束的深度学习半监督密集匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant