CN109636732B - 一种深度图像的空洞修复方法以及图像处理装置 - Google Patents

一种深度图像的空洞修复方法以及图像处理装置 Download PDF

Info

Publication number
CN109636732B
CN109636732B CN201811246775.1A CN201811246775A CN109636732B CN 109636732 B CN109636732 B CN 109636732B CN 201811246775 A CN201811246775 A CN 201811246775A CN 109636732 B CN109636732 B CN 109636732B
Authority
CN
China
Prior art keywords
depth
area
pixel
cavity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811246775.1A
Other languages
English (en)
Other versions
CN109636732A (zh
Inventor
欧勇盛
熊荣
江国来
王志扬
吴新宇
冯伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811246775.1A priority Critical patent/CN109636732B/zh
Publication of CN109636732A publication Critical patent/CN109636732A/zh
Application granted granted Critical
Publication of CN109636732B publication Critical patent/CN109636732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Abstract

本申请公开了一种深度图像的空洞修复方法以及图像处理装置，该深度图像的空洞修复方法包括：采集目标区域的深度图像和彩色图像；确定深度图像中的空洞区域的空洞类型；其中，空洞区域包括第一类空洞区域和第二类空洞区域，第一类空洞区域的区域范围属于同一深度表面，第二类空洞区域的区域范围属于不同深度表面；利用彩色图像对其中的第二类空洞区域进行分割，以形成对应不同深度表面的多个子区域；确定第一类空洞区域和多个子区域的深度信息，以对深度图像进行空洞修复。通过上述方式，能够适应更多种的空洞类型，能够更精确的对其损失的深度值进行修复，提高了深度图空洞修复的效率。

Description

一种深度图像的空洞修复方法以及图像处理装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种深度图像的空洞修复方法以及图像处理装置。
背景技术
图像修复是计算机视觉领域一个重要的分支。高质量的图像具有更加细致和准确的数据输入，为后续三维重建、人机互动、行为识别和跟踪等应用起了关键的作用。
近年来，Kinect v1、Kinect v2、Xtion-Pro、Astra等深度相机可以同时拍摄场景彩色图像及带有深度信息的深度图像。它们都是利用红外光反射技术来进行成像的设备，很容易被多重反射及散射等现象影响而产生噪声。
当空间中前景物体遮挡了光路使之照射不到其后方的物体的部分区域之时，必然出现无法探测到深度的区域；另外当被照射的物体是透明物体、物体表面为吸光材料以及物体表面十分光滑等多种情况之下，或者物体处在深度摄像头的盲区，比如过近或者过远的区域内，都会由于无法捕捉到反射的红外光而造成数据的缺损，这些缺损有时面积相当大，对于深度数据的质量造成了无法忽略的影响，严重影响后续的图像处理及信息提取。因此，在利用深度图像之前，对深度图像中的空洞进行修复成为必不可少的一个环节。
发明内容
本申请采用的一个技术方案是：提供一种深度图像的空洞修复方法，该方法包括：采集目标区域的深度图像和彩色图像；确定深度图像中的空洞区域的空洞类型；其中，空洞区域包括第一类空洞区域和第二类空洞区域，第一类空洞区域的区域范围属于同一深度表面，第二类空洞区域的区域范围属于不同深度表面；利用彩色图像对其中的第二类空洞区域进行分割，以形成对应不同深度表面的多个子区域；确定第一类空洞区域和多个子区域的深度信息，以对深度图像进行空洞修复。
本申请采用的另一个技术方案是：提供一种图像处理装置，其特征在于，包括图像采集组件、处理器以及存储器；其中，图像采集组件用于采集目标区域的深度图像和彩色图像，存储器用于存储计算机程序，处理器用于在执行计算机程序时，实现如上述的深度图像的空洞修复方法。
本申请提供的深度图像的空洞修复方法先将空洞区域进行分类，然后基于不同的类型进行不同的修复方式，其中，在对具有多个深度区域的空洞进行修复时，对该空洞区域进行分割单独进行每个部分的深度值。通过上述方式，解决了现有技术中未考虑到物体边缘处深度不连续，易产生过度平滑效果的问题，本实施例提供的修复方式能够适应更多种的空洞类型，能够更精确的对其损失的深度值进行修复，提高了深度图空洞修复的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的深度图像的空洞修复方法一实施例的流程示意图；
图2是图1步骤12中第一类空洞区域的示意图；
图3是图1步骤12中第二类空洞区域的示意图；
图4是对空洞区域进行膨胀处理的示意图；
图5是基于周围区域的深度值-像素数量的第一示意图；
图6是基于周围区域的深度值-像素数量的第二示意图；
图7是基于周围区域的深度值-像素数量的第三示意图；
图8是本申请提供的图像处理装置一实施例的结构示意图；
图9是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的深度图像的空洞修复方法一实施例的流程示意图，该方法包括：
步骤11：采集目标区域的深度图像和彩色图像。
深度图像是指包括了每个像素点深度信息的图像，这里的深度信息只是采集图像的摄像头所在平面与该像素点对应的物体表面之间的距离。彩色图像是指包括了每个像素点的像素值的图像，在一可选的实施例中，像素值由R、G、B三色像素形成。
可选的，在一实施例中，上述的深度图像由红外相机拍摄形成，红外相机包括红外发射和红外接收装置，向目标区域透射红外光，然后接收目标区域反射的红外光，以形成深度图像。
深度图像和彩色图像又可以称为RGB-D图像，RGB-D图像是复合了RGB彩色信息和对应像素Depth(深度值)的图像，相当于包含两幅图像的信息，包括一个普通的RGB三通道彩色图像，和一个Depth图像。Depth图像是它的每个像素值用于表示该像素对应的物体表面与传感器之间的距离。RGB-D图像就是RGB图像和Depth图像经过配准的，因而像素点之间具有一对一的对应关系。利用RGB-D相机可以采集RGB-D图像。其中，RGB-D图像中的深度图像和彩色图像应当是同时采集的，由于需要同时采集，所以两种采集设备常常需要设置在相邻的两个位置，以使两个采集设备获取目标区域同一视角的图像。
为了便于区分，在下面的实施例中，我们用深度图像的灰度值表示深度信息，彩色图像的像素值表示颜色。
步骤12：确定深度图像中的空洞区域的空洞类型；其中，空洞区域包括第一类空洞区域和第二类空洞区域，第一类空洞区域的区域范围属于同一深度表面，第二类空洞区域的区域范围属于不同深度表面。
第一类空洞区域主要是由于RGB-D相机利用红外光反射获取深度信息时，当某些区域发生镜面反射现象，那么该区域的深度信息将无法准确获取到，这类区域最终在深度图上呈现出黑色空洞状态，深度值为0，称之为“空洞区域”。对于这类空洞，空洞区域及领域属于同一物体表面，深度值是连续的，可以直接利用邻域内的有效深度值计算空洞区域内像素的深度值。另外，当红外光照射到吸光材质上时也会出现这种现象。
如图2所示，图2是图1步骤12中第一类空洞区域的示意图。其中，前景物体10遮挡住部分的后景物体20，第一类空洞区域30位于前景物体10上，其邻域范围全部都是前景物体10，与后景物体20没有关系。所以，在这种情况下，第一类空洞区域30中的深度可以基于其邻域范围的其他像素点的深度来计算。
第二类空洞区域主要出现在物体的边缘处，这类空洞是由于区域遮挡、物体轮廓边缘或者RGB-D相机的视角盲区造成的。对于第二类空洞区域，空洞区域处于物体边缘位置，空洞区域及领域往往包含不同物体表面的像素点，深度值是非连续的。
如图3所示，图3是图1步骤12中第二类空洞区域的示意图。其中，前景物体10遮挡住部分的后景物体20，第二类空洞区域40位于前景物体10和后景物体20交接的位置上，其邻域范围中部分是前景物体10，另一部分是后景物体20。所以，在这种情况下，第二类空洞区域40中部分像素的深度可以基于其邻域范围的第一物体10像素点的深度来计算，而另一部分像素的深度需要基于其邻域范围的第二物体20像素的深度来计算。但是需要对第二类空间区域40进行分割，确定其中的像素到底属于第一物体10表面还是第二物体20表面。
步骤13：利用彩色图像对其中的第二类空洞区域进行分割，以形成对应不同深度表面的多个子区域。
由于第二类空洞区域是非连续的，为准确找出空洞区域及邻域对应的不同物体表面，获取空洞修复的有效支撑区域，针对第二类空洞，我们结合彩色图像来分割第二类空洞区域，形成多个子区域，然后对每个子区域分别进行深度计算。
具体地，由于彩色图像中不同物体表面的颜色一般是不同的，在彩色图像中利用像素信息对图像进行分割。再由于彩色图像和深度图像是像素对位的，所以可以利用彩色图像的分割进一步对深度图像进行分割。
步骤14：确定第一类空洞区域和多个子区域的深度信息，以对深度图像进行空洞修复。
在获取第一类空洞区域和子区域的深度信息时，均可以采用基于其邻域范围的其他像素的深度信息来获取。
下面通过几种具体的实施例对上述的方式进行详细介绍。
首先需要进行深度图像和彩色图像的获取。
在一具体的实施例中，我们采用RGB-D体感传感器Kinect 2.0作为图像采集设备，其彩色摄像头采用1920*1080分辨率成像，红外摄像头采用512*424分辨率成像，垂直方向可视角度为60°，水平方向可视角度为70°，有效视野范围为0.5～4.5m，处理视频信息的帧率达30帧/s。
也可将深度图与彩色图合称为RGB-D图像，在图像中某点(x,y)的深度值，记为D(x，y)，其中，x、y分别为像素位置的横坐标和纵坐标。灰度值(即深度值)分布范围：[0-8096]，表示空间该点到摄像头平面的距离，单位mm；其中，像素值为0的位置可确定为深度值缺失的位置，即空洞区域，也是本实施例中需要对其进行修复的部分。
具体地，首先将深度图进行二值化处理，图像二值化就是将图像上的像素点的灰度值设置为0或255。通过对图像上每个像素进行搜索，找到深度值为0的像素点，确定待修复区域。
设Map表示待修复深度图的二值图像，对于深度图D中的每个像素，把与深度D(x,y)为0的像素点对应的Map的灰度值I(x，y)设置为255，其余设为0，即为：
Figure BDA0001840712860000061
并利用区域连通性对深度图的空洞区域进行分析和标记，用不同的颜色代表不同的空洞连通区域。虽然无法使用Kinect直接获得空洞区域的深度信息，但是这些空洞区域周围的像素点是有深度信息的，可以充分利用周围像素的深度信息，来预测和估算空洞区域的深度信息。
其次，我们要确定空洞区域的空洞类型。
我们需要对空洞区域进行膨胀处理，以包含空洞区域周围的区域，以便后续确定空洞区域的类型。
可选的，上述的步骤12可以包括：确定深度图像中的空洞区域；获取包围空洞区域的周围区域的深度信息；基于周围区域的深度信息确定空洞区域的空洞类型。
具体地，如图4所示，图4是对空洞区域进行膨胀处理的示意图，对于每一个空洞RO，首先对其进行形态学膨胀处理，扩大空洞区域的范围，使得该空洞周围的一些像素点被包含进来，得到新的区域，称为膨胀区域RED。通过将膨胀之后的区域与原始的空洞区域做差，就可以得到空洞区域的领域，标记为有效区域RNP(即周围区域)，其中：
RNP＝RED-RO；
通过对有效区域RNP中的深度值的统计来判断空洞区域的类型，可选的，获取周围区域中每个像素的深度值；从周围区域查找出具有同一深度值范围且像素数量大于设定数量的像素集合；判断像素集合的数量是否大于或等于2；若是，确定空洞区域为第二类空洞区域；若否，确定空洞区域为第一类空洞区域。
在一具体的实施例中，可以建立直方图进行直观的统计。基于每个像素的深度值在设定坐标系中绘制直方图；其中，设定坐标系的横坐标为深度值，纵坐标为像素数量；判断像素集合的数量是否大于或等于2的步骤，具体为：判断直方图中峰值的数量是否大于或等于2。
为了计算深度值的有效分布，我们计算每个标记区域RNP的深度直方图。我们将深度范围量化为256个等级，在一个标记区域l(空洞区域的领域)的深度直方图可以定义为：
Figure BDA0001840712860000071
其中，dk表示第k个量化的深度值，
Figure BDA0001840712860000072
是在标记区域l中深度值为dk的像素总数。
结合图5-图7，其中，图5是基于周围区域的深度值-像素数量的第一示意图，图6是基于周围区域的深度值-像素数量的第二示意图，图7是基于周围区域的深度值-像素数量的第三示意图，图5-图7中，横坐标表示灰度值(深度值)，纵坐标表示像素数量。
我们会发现在标记区域的深度直方图有一些峰值，这里选取的峰值是占有的像素个数超过总像素个数的10％。具体地，图5为单峰，图6为双峰，图7为多峰。
我们通过实验发现深度直方图的分布可以分为3种形式：单峰，双峰和多峰。其中单峰直方图主要是有不反射的物体或者孤立的深度不连续性引起的；双峰是由一般遮挡引起的缺乏红外投射或者反射；多峰直方图一般发生在当遮挡是由多个对象引起或者该区域需要划分成多个较小的区域的时候。
直方图会出现若干个峰值，直方图峰值代表了领域内深度值出现概率较大的像素，通过检测直方图峰值数目判断空洞区域类型。鉴于Kinect采集的深度图存在不稳定性，这里我们选取占像素总数10％以上的峰值为空洞类型判断依据：
Figure BDA0001840712860000073
a)如果标记区域领域的直方图峰值数目peak_num＝1，该空洞为第一类空洞，即该空洞区域及领域属于同一物体表面，同一物体表面的深度信息应该是连续的。空洞区域内像素点的不跨越物体边界的支撑区域(有效支撑区域)为该像素点的领域。
b)如果标记区域领域的直方图峰值数目peak_num≥2，该空洞为第二类空洞，即该空洞区域及领域属于peak_num个不同物体表面，不同物体表面的深度信息也是非连续的。
当领域的直方图峰值数目peak_num≥2时，其领域往往会同时包含前景和后景的像素点，如果直接使用所有像素点进行预测，得到的结果往往是不准确的。针对此种情况，利用场景的彩色图像对深度图进行修复。
我们通过以下方式来进行：确定第二类空洞区域在彩色图像中对应的彩色区域；获取彩色区域中每个像素的像素值；基于每个像素的像素值对彩色区域进行聚类处理，以对彩色区域进行分割；基于彩色区域的分割，对第二类空洞区域进行相应的分割，以形成对应不同深度表面的多个子区域。
具体地，首先将同时获得的彩色图像和深度图像对齐，即我们获取的彩色图像和深度图中，同一位置的彩色像素和深度值是一一对应的。其次，找到彩色图像中对应的膨胀区域RED，并用K-means聚类算法对该区域进行分割，设置聚类中心个数为直方图峰值个数peak_num。空洞区域内像素点的有效支撑区域，即该像素点所在分割区域与其领域的交域。
K-means聚类算法将n个数据对象聚类为k类，使每类中的数据对象相似度最高，不断重复这一过程直到划分完成，其算法步骤如下：1)确定聚类数k，并在数据中任意选取k个初始聚类中心；2)计算图像中所有像素点到聚类中心的距离，并根据距离最小原则将像素点归类于所属类别中；3)根据各类的特点，利用均值法迭代更新各类的中心值至迭代结束。
采用上述的过程将第二类空洞所对应的彩色图像进行聚类划分peak_num个空洞区域。
对于每一个深度黑洞区对应的彩色图分割区域为(R1,R2,…,Rn)，其中n为区域分割的个数，也是peak_num的数值。因为彩色图和深度图进行了对齐处理，因此所述分割区域Rk(k＝1,…,n)在彩色图和深度图中表示坐标位置相同的区域。
最后，我们队空洞区域中确实的深度值进行计算。利用第一类空洞区域周围区域的已知深度信息，确定第一类空洞区域的深度信息；以及利用子区域的已知深度信息，确定对应子区域中未知深度信息的像素的深度信息。
将深度图空洞区域沿着边界，由外到内地利用有效支撑区域的有效深度值进行深度计算。采用改进的双边滤波，考虑到深度图像和彩色图像在某一领域类具有集群的特性，即在一定的领域范围内颜色相同的像素具有相同的深度值，所以可以对双边滤波法作改进以便获得更为平滑的修复结果。
具体地，对空洞边界上缺失深度值的像素p，在深度图分割区域Rk中，使用像素点p周围已知的像素点的深度值Dq来计算p点的深度值Dp，Dp计算公式为：
Figure BDA0001840712860000091
其中，
Figure BDA0001840712860000092
Figure BDA0001840712860000093
其中，p为该填充的空洞点，q为p的领域像素(领域可取5*5)，Ip和Iq分别为彩色图像中像素点p和q的像素值，
Figure BDA0001840712860000094
和/>
Figure BDA0001840712860000095
为空域高斯函数和颜色高斯函数，Dp为空洞点的深度填充结果。N值设为50，即颜色图像中灰色值与中心像素相差绝对值小于50的像素点参与计算，而且在中心像素的5*5领域中，只有有效点个数达到7个以上才予以修复，这样利用了颜色和深度值的集群特性，提高了修复结果的置信度。
空间域核函数
Figure BDA0001840712860000096
和值域核函数/>
Figure BDA0001840712860000097
Figure BDA0001840712860000101
Figure BDA0001840712860000102
其中，||p-q||表示像素点p和像素点q之间的欧式距离，||Ip-Iq||表示它们之间的像素值差值。σs是高斯函数中的空间距离标准差，而σr是像素值差异标准差，两个参数都可以根据实际情况进行调整，它们的大小决定这双边滤波器的实际应用效果。
使用像素p周围深度值已知的像素点的深度值Dq计算p的深度值Dp，并只在同一个分割区域Rk中的像素被选择用于计算，这避免了不同的对象深度值的干扰，因此可以产生一个更加精确的深度图，对Dp的值进行计算的过程实际上是对深度图中空洞进行重建的过程，得到空洞重建后的中间深度图。
最后，在空洞区域修复完成之后，可能还会出现个别的未修复的像素点，这里可以对其进行补充修复：获取采用空洞修复之后的深度图像；确定深度图像中还未确定深度信息的目标像素；利用目标像素的邻域像素深度值的中值来确定目标像素的深度值。
具体地，经过空洞填充之后，深度图中的大部分空洞已被修复，但仍然有颜色孤立的微小区域没有进行修复，原因是没能分割出有效支撑区域。另一方面，空洞填充后的深度图边缘出现了毛刺，主要是因为彩色区域分割的区域边缘与真实边缘不一致，边缘误差引发了修复误差。采用中值滤波来进行去躁处理，中值滤波主要用于对实值离散信号的滤波，既可以克服线性滤波器(如均值滤波)给图像带来的模糊，做到在有效地清除脉冲噪声的同时，又保持良好的边缘特性，从而获得较好的处理效果。
中值滤波的基本思想是：把数字图像或数字序列中的某一点值，用其领域中各个点的中值替代。其定义为：对一维序列x1,x2,x3,...,xn，把n个数据按大小排列，xi1≤xi2≤xi3,...,≤xin，则：
Figure BDA0001840712860000111
具体实现时取长度为2n+1的滤波窗口，n为正整数。将窗口在数据上滑动，中值滤波的输出就是窗口内各像素的中值代替窗口中心的像素值。
数字图像是一个二维信号，对于滤波窗口为A的二维中值滤波，其输出可表示为：
yij＝med{xij}；
其中，{xij}为二维数据序列。
本实施例提供的深度图像的空洞修复方法先将空洞区域进行分类，然后基于不同的类型进行不同的修复方式，其中，在对具有多个深度区域的空洞进行修复时，对该空洞区域进行分割单独进行每个部分的深度值。通过上述方式，解决了现有技术中未考虑到物体边缘处深度不连续，易产生过度平滑效果的问题，本实施例提供的修复方式能够适应更多种的空洞类型，能够更精确的对其损失的深度值进行修复，提高了深度图空洞修复的效率。
进一步，本发明不是直接将整个彩色图来分割，而是通过计算标记区域的深度直方图来对空洞类型分类，对于第二类空洞的膨胀区域基于彩色图用K-Means进行聚类分割，此方法更加精细。另外通过改进的双边滤波，能将工作量大大减少，提高了深度图空洞修复的效率。
参阅图8，图8是本申请提供的图像处理装置一实施例的结构示意图，该图像处理装置80包括图像采集组件81、处理器82以及存储器83。
其中，图像采集组件81用于采集目标区域的深度图像和彩色图像，具体地，该图像采集组件81可以包括彩色相机和深度相机，另外也可以是上述实施例中提到的用于拍摄RGB-D图像的相机，这里不作限制。存储器83用于存储计算机程序，处理器82用于在执行计算机程序时，实现如下的空洞修复方法。
采集目标区域的深度图像和彩色图像；确定深度图像中的空洞区域的空洞类型；其中，空洞区域包括第一类空洞区域和第二类空洞区域，第一类空洞区域的区域范围属于同一深度表面，第二类空洞区域的区域范围属于不同深度表面；利用彩色图像对其中的第二类空洞区域进行分割，以形成对应不同深度表面的多个子区域；确定第一类空洞区域和多个子区域的深度信息，以对深度图像进行空洞修复。
可选的，在另一实施例中，处理器82用于在执行计算机程序时，实现如下的空洞修复方法：确定深度图像中的空洞区域；获取包围空洞区域的周围区域的深度信息；基于周围区域的深度信息确定空洞区域的空洞类型。
可选的，在另一实施例中，处理器82用于在执行计算机程序时，实现如下的空洞修复方法：对空洞区域进行形态学膨胀处理，以得到区域变大后的膨胀区域；将膨胀区域和空洞区域进行作差处理，以得到空洞区域的周围区域。
可选的，在另一实施例中，处理器82用于在执行计算机程序时，实现如下的空洞修复方法：获取周围区域中每个像素的深度值；从周围区域查找出具有同一深度值范围且像素数量大于设定数量的像素集合；判断像素集合的数量是否大于或等于2；若是，确定空洞区域为第二类空洞区域；若否，确定空洞区域为第一类空洞区域。
可选的，在另一实施例中，处理器82用于在执行计算机程序时，实现如下的空洞修复方法：基于每个像素的深度值在设定坐标系中绘制直方图；其中，设定坐标系的横坐标为深度值，纵坐标为像素数量；判断像素集合的数量是否大于或等于2的步骤，具体为：判断直方图中峰值的数量是否大于或等于2。
可选的，在另一实施例中，处理器82用于在执行计算机程序时，实现如下的空洞修复方法：确定第二类空洞区域在彩色图像中对应的彩色区域；获取彩色区域中每个像素的像素值；基于每个像素的像素值对彩色区域进行聚类处理，以对彩色区域进行分割；基于彩色区域的分割，对第二类空洞区域进行相应的分割，以形成对应不同深度表面的多个子区域。
可选的，在另一实施例中，处理器82用于在执行计算机程序时，实现如下的空洞修复方法：利用第一类空洞区域周围区域的已知深度信息，确定第一类空洞区域的深度信息；以及利用子区域的已知深度信息，确定对应子区域中未知深度信息的像素的深度信息。
可选的，在另一实施例中，处理器82用于在执行计算机程序时，实现如下的空洞修复方法：获取采用空洞修复之后的深度图像；确定深度图像中还未确定深度信息的目标像素；利用目标像素的邻域像素深度值的中值来确定目标像素的深度值。
参阅图9，图9是本申请提供的计算机存储介质一实施例的结构示意图，该计算机程序介质90用于存储计算机程序91，该计算机程序91在被处理器执行时，用以实现如下的空洞修复方法。
采集目标区域的深度图像和彩色图像；确定深度图像中的空洞区域的空洞类型；其中，空洞区域包括第一类空洞区域和第二类空洞区域，第一类空洞区域的区域范围属于同一深度表面，第二类空洞区域的区域范围属于不同深度表面；利用彩色图像对其中的第二类空洞区域进行分割，以形成对应不同深度表面的多个子区域；确定第一类空洞区域和多个子区域的深度信息，以对深度图像进行空洞修复。
可以理解的，上述的图像处理装置和计算机存储介质的实施例，其在执行相应的程序实现一系列的方法步骤时，可以具体参考上述实施例中的方法步骤，其原理类似，这里不再赘述。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (6)

1.一种深度图像的空洞修复方法，其特征在于，包括：
采集目标区域的深度图像和彩色图像，并将所述彩色图像和所述深度图像对齐；
确定所述深度图像中的空洞区域的空洞类型；其中，所述空洞区域包括第一类空洞区域和第二类空洞区域，所述第一类空洞区域的区域范围属于同一深度表面，所述第二类空洞区域的区域范围属于不同深度表面；
确定所述第二类空洞区域在所述彩色图像中对应的彩色区域；
获取所述彩色区域中每个像素的像素值；
基于所述每个像素的像素值对所述彩色区域进行聚类处理，以对所述彩色区域进行分割；
基于所述彩色区域的分割，对所述第二类空洞区域进行相应的分割，以形成对应不同深度表面的多个子区域；
利用所述第一类空洞区域周围区域的已知深度信息，确定所述第一类空洞区域的深度信息；以及
利用所述子区域的已知深度信息，确定对应所述子区域中未知深度信息的像素的深度信息，以对所述深度图像进行空洞修复；其中，利用以下公式计算得到待求像素的深度信息：
Figure FDA0004170192780000011
Figure FDA0004170192780000012
Figure FDA0004170192780000013
Figure FDA0004170192780000014
Figure FDA0004170192780000021
其中，p为待求像素，q为p的领域像素，Ip和Iq分别为彩色图像中像素p和像素q的像素值，
Figure FDA0004170192780000022
和/>
Figure FDA0004170192780000023
为空域高斯函数和颜色高斯函数，Dp为空洞点的深度填充结果，N为设定阈值，其中，||p-q||表示像素p和像素q之间的欧式距离，||Ip-Iq||表示像素p和像素q之间的像素值差值；σs是高斯函数中的空间距离标准差，σr是像素值差值标准差；其中，在中心像素的5*5领域中，领域中有效像素的数量达到7个以上才予以修复；
获取采用空洞修复之后的深度图像；
确定所述深度图像中还未确定深度信息的目标像素；
利用所述目标像素的邻域像素深度值的中值来确定所述目标像素的深度值。
2.根据权利要求1所述的深度图像的空洞修复方法，其特征在于，
所述确定所述深度图像中的空洞区域的空洞类型的步骤，包括：
确定所述深度图像中的空洞区域；
获取包围所述空洞区域的周围区域的深度信息；
基于所述周围区域的深度信息确定所述空洞区域的空洞类型。
3.根据权利要求2所述的深度图像的空洞修复方法，其特征在于，
所述获取包围所述空洞区域的周围区域的深度信息的步骤，包括：
对所述空洞区域进行形态学膨胀处理，以得到区域变大后的膨胀区域；
将所述膨胀区域和所述空洞区域进行作差处理，以得到所述空洞区域的周围区域。
4.根据权利要求2所述的深度图像的空洞修复方法，其特征在于，
所述基于所述周围区域的深度信息确定所述空洞区域的空洞类型的步骤，包括：
获取所述周围区域中每个像素的深度值；
从所述周围区域查找出具有同一深度值范围且像素数量大于设定数量的像素集合；
判断像素集合的数量是否大于或等于2；
若是，确定所述空洞区域为第二类空洞区域；
若否，确定所述空洞区域为第一类空洞区域。
5.根据权利要求4所述的深度图像的空洞修复方法，其特征在于，
所述从所述周围区域查找出具有同一深度值范围且像素数量大于设定数量的像素集合的步骤，具体包括：
基于每个像素的深度值在设定坐标系中绘制直方图；其中，所述设定坐标系的横坐标为深度值，纵坐标为像素数量；
所述判断像素集合的数量是否大于或等于2的步骤，具体为：
判断所述直方图中峰值的数量是否大于或等于2。
6.一种图像处理装置，其特征在于，包括图像采集组件、处理器以及存储器；
其中，所述图像采集组件用于采集目标区域的深度图像和彩色图像，所述存储器用于存储计算机程序，所述处理器用于在执行所述计算机程序时，实现如权利要求1-5任一项所述的深度图像的空洞修复方法。
CN201811246775.1A 2018-10-24 2018-10-24 一种深度图像的空洞修复方法以及图像处理装置 Active CN109636732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811246775.1A CN109636732B (zh) 2018-10-24 2018-10-24 一种深度图像的空洞修复方法以及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811246775.1A CN109636732B (zh) 2018-10-24 2018-10-24 一种深度图像的空洞修复方法以及图像处理装置

Publications (2)

Publication Number Publication Date
CN109636732A CN109636732A (zh) 2019-04-16
CN109636732B true CN109636732B (zh) 2023-06-23

Family

ID=66066635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811246775.1A Active CN109636732B (zh) 2018-10-24 2018-10-24 一种深度图像的空洞修复方法以及图像处理装置

Country Status (1)

Country Link
CN (1) CN109636732B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978786B (zh) * 2019-03-22 2020-09-25 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法
CN110334769A (zh) * 2019-07-09 2019-10-15 北京华捷艾米科技有限公司 目标识别方法及装置
WO2021035746A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 图像处理方法、装置和可移动平台
CN111080640B (zh) * 2019-12-30 2023-07-14 广东博智林机器人有限公司 一种孔洞检测方法、装置、设备和介质
CN111640180B (zh) * 2020-08-03 2020-11-24 深圳市优必选科技股份有限公司 一种三维重建方法、装置及终端设备
CN112116602A (zh) * 2020-08-31 2020-12-22 北京的卢深视科技有限公司 深度图修复方法、装置和可读存储介质
CN114143418B (zh) * 2020-09-04 2023-12-01 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN112102199A (zh) * 2020-09-18 2020-12-18 贝壳技术有限公司 深度图像的空洞区域填充方法、装置和系统
CN112381867B (zh) * 2020-11-09 2023-09-05 华南理工大学 用于工业分拣流水线的大面积深度图像空洞自动填充方法
CN112419178A (zh) * 2020-11-18 2021-02-26 芯勍(上海)智能化科技股份有限公司 破洞修复方法、终端设备及计算机可读存储介质
CN112734862A (zh) * 2021-02-10 2021-04-30 北京华捷艾米科技有限公司 深度图像的处理方法、装置、计算机可读介质以及设备
CN113763273B (zh) * 2021-09-07 2022-08-12 合肥的卢深视科技有限公司 人脸补全方法、电子设备和计算机可读存储介质
CN113837943A (zh) * 2021-09-28 2021-12-24 广州极飞科技股份有限公司 图像处理方法、装置、电子设备及可读存储介质
CN115457099B (zh) * 2022-09-09 2023-05-09 梅卡曼德（北京）机器人科技有限公司 深度补全方法、装置、设备、介质及产品
CN115564728B (zh) * 2022-09-30 2023-08-11 苏州大学 一种图像角点检测方法、装置、设备及应用

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622480A (zh) * 2017-09-25 2018-01-23 长春理工大学 一种Kinect深度图像增强方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003024184A2 (en) * 2001-09-14 2003-03-27 Cornell Research Foundation, Inc. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
CN104680496B (zh) * 2015-03-17 2018-01-05 山东大学 一种基于彩色图像分割的Kinect深度图修复方法
WO2016176840A1 (zh) * 2015-05-06 2016-11-10 北京大学深圳研究生院 深度图/视差图的后处理方法和装置
US9799126B2 (en) * 2015-10-02 2017-10-24 Toshiba Medical Systems Corporation Apparatus and method for robust non-local means filtering of tomographic images
CN108399632B (zh) * 2018-03-02 2021-06-15 重庆邮电大学 一种联合彩色图像的rgb-d相机深度图像修复方法
CN108648221B (zh) * 2018-05-10 2021-09-17 重庆大学 一种基于混合滤波的深度图空洞修复方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622480A (zh) * 2017-09-25 2018-01-23 长春理工大学 一种Kinect深度图像增强方法

Also Published As

Publication number Publication date
CN109636732A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636732B (zh) 一种深度图像的空洞修复方法以及图像处理装置
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
US20140063275A1 (en) Visual saliency estimation for images and video
CN107240073B (zh) 一种基于梯度融合与聚类的三维视频图像修复方法
Lo et al. Joint trilateral filtering for depth map super-resolution
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN111192241B (zh) 一种人脸图像的质量评估方法、装置及计算机存储介质
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
KR20220139292A (ko) 문자 분할 방법, 장치 및 컴퓨터 판독 가능 저장 매체
JP2017522647A (ja) 背景追跡を介する物体追跡及びセグメント化の方法及び装置
CN111383244A (zh) 一种目标检测跟踪方法
Chen et al. Kinect depth recovery using a color-guided, region-adaptive, and depth-selective framework
JP2013080389A (ja) 消失点推定方法、消失点推定装置及びコンピュータプログラム
Savić An adaptive car number plate image segmentation using K-means clustering
US9641794B2 (en) Smudge removal
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法
Deng et al. Texture edge-guided depth recovery for structured light-based depth sensor
Schmalz et al. A graph-based approach for robust single-shot structured light
CN110276260B (zh) 一种基于深度摄像头的商品检测方法
Wang et al. Fast visibility restoration using a single degradation image in scattering media
CN111191534B (zh) 一种模糊航空图像中的道路提取方法
CN110264417B (zh) 基于分层模型的局部运动模糊区域自动检测提取方法
Malekshahi et al. Detection and removal of rain from video using predominant direction of Gabor filters
CN103886554B (zh) 自动识别系统中的代码定位方法
CN112052859A (zh) 一种自由场景下的车牌精准定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant