CN110689553B - 一种rgb-d图像的自动分割方法 - Google Patents

Abstract

本发明是一种RGB‑D图像的自动分割方法。为了获得前景目标的内部轮廓和外部轮廓，先对深度图进行形态学运算和边缘检测，采用拉普拉斯算子进行边缘检测。用高斯差分来代替拉普拉斯算子来简化计算。将获得的内部边缘和外部边缘作为前景种子和背景种子，省去了用户的交互输入，达到了自动分割的目的。接下来分割在彩色图上进行。将从深度图获得的种子位置迁移到彩色图上。由于深度图和彩色图的像素一一对应，所以种子位置也是一一对应的。然后建立目标函数，目标函数分为两项，一项为区域消耗，即远离边界的分割消耗，另一项为边界消耗，即在前景和背景的交界处像素的分割消耗。最后通过计算所有边界的权重消耗来获得最优分割。

Description

一种RGB-D图像的自动分割方法

技术领域

本发明涉及深度图分割技术领域，是一种RGB-D图像的自动分割方法。

背景技术

图像分割是在计算机视觉的基础，是图像理解的重要组成部分，没有正确的分割就不可能有正确的识别。在通信领域中，图像分割技术对可视电话等活动图像的传输很重要，需要把图像中活动部分与静止的背景分开，还要把活动部分中位移量不同的区域分开，对不同运动量的区域用不同的编码传输，减少传输需要的带宽。图像分割在医学领域也有应用。医学图像分割是对医学图像进行其他后续处理的基础。对图像中目标区域的准确分割对于计算机辅助诊断、制订手术计划、目标三维重建以及放射性治疗评价等都具有重要意义。近几十年来，随着医学成像设备的不断完善，医学图像的分割算法也层出不穷，但是很少能够在临床上得到广泛应用。用一个全面的医学图像数据集合来客观评价医学图像分割算法是将该算法向临床应用推进的关键一步。图像分割的算法不仅是图像技术领域的经典难题，评价图像分割算法性能的优劣至今也没有得到解决，因此即使图像处理已经发展了几十年，图像分割仍然是众多研究院热衷于并且付诸巨大努力的一个课题。

常用的图像分割技术可划分为四类：特征阈值或聚类、边缘检测、区域生长或区域提取。虽然这些方法分割灰度图像效果较好，但用于彩色图像的分割往往达不到理想的效果。

近期文献中出现一种交互式图像分割可以在彩色图像上取得很好的分割效果。交互式图像分割是指，首先由用户以某种交互手段指定图像的部分前景与部分背景，然后算法以用户的输入作为分割的约束条件自动地计算出满足约束条件下的最佳分割。典型的交互手段包括用一把画刷在前景和背景处各画几笔以及在前景的周围画一个方框等。但这种算法需要用户的交互式输入，在应用过程中受到严重的限制。因此本发明通过结合边缘检测为后续图像分割提供目标和背景的种子，使得整个图像分割过程可以完全自动化。

发明内容

本发明为实现自动化分割图像，本发明提供了一种RGB-D图像的自动分割方法，本发明提供了以下技术方案：

一种RGB-D图像的自动分割方法，包括以下步骤：

步骤1：对深度图像进行形态学变换和边缘检测，得到被分割目标的内部边缘和外部边缘，将内部边缘和外部边缘作为深度图的前景种子和背景种子；

步骤2：根据深度图像的前景种子和背景种子，将深度图像的前景种子和背景种子迁移至彩色图上，对彩色图上相同位置的像素点分别标记为目标种子和背景的种子；

步骤3：对每个像素赋予标签，分为背景和前景，根据赋予标签后的像素，确定目标函数；

步骤4：最小化目标函数，根据所有边界的权重获得最优分割。

优选地，所述步骤1具体为：

步骤1.1：对深度图像进行形态学变换，对深度图分别进行膨胀和腐蚀形态学计算，通过下式表示深度图分别进行膨胀和腐蚀形态学计算过程：

其中，Z_i和Z_o分别表示腐蚀结果和膨胀结果，⊙和

分别代表形态学腐蚀和形态学膨胀运算，B为深度图像结构元素；

步骤1.2：待深度图像进行形态学变换后，采用拉普拉斯算子对深度图进行边缘检测，通过下式表示边缘检测过程：

其中，x和y为深度图的像素的横纵坐标，f为深度图，l代表拉普拉斯；

步骤1.3：采用拉普拉斯算子对深度图的进行步骤1.2的边缘检测后，得到深度图的内部边缘和外部边缘，将内部边缘和外部边缘作为深度图的前景种子和背景种子。

优选地，采用高斯算子替换拉普拉斯算子对深度图进行边缘检测。

优选地，所述步骤3具体为：

步骤3.1：对深度图上每个像素都赋予一个标签，当深度图上像素属于背景时，标记为0；当深度图上像素属于前景时，标记为1；

步骤3.2：建立目标函数，通过下式表示所述目标函数：

E(L)＝αR(L)+B(L) (3)

其中，E(L)为目标函数，L为所有像素标签的集合，R(L)对应区域消耗项，B(L)对用边缘消耗项，α为比重。

优选地，为保证前景目标和背景的精准分割，将α设定为0.1。

优选地，所述步骤4具体为：

步骤4.1：将图像的边缘分为两类，与种子点有连接的边为{p,S}和{p,T}，没有与种子点有连接的边{p,q}，确定所有边的集合，通过下式表示所有边的集合：

其中，E为所有边的集合，P为图像所有像素的集合，p和q均为图像上任意一像素点，S和T分别代表前景种子集合和背景种子集合；

步骤4.2：根据前景种子的集合和背景种子的集合，确定与种子点有连接的边和没有与种子点有连接的边的权重；通过下式表示与种子点有连接的边和没有与种子点有连接的边的权重：

w(p,q)＝B_p,q (7)

其中，O表示前景种子的集合，B表示背景种子的集合，w(p,S)和w(p,T)分别为与种子点有连接的边{p,S}和{p,T}的权重，w(p,q)为没有与种子点有连接的边{p,q}的权重，R_p为像素p处的区域消耗，I_p表示像素p的像素值；

步骤4.3：根据边的权重最小化目标函数，当边的权重最小时，目标函数也为最小，即得到最优的前景目标分割。

本发明具有以下有益效果：

本发明用高斯差分来代替拉普拉斯算子来简化计算。将获得的内部边缘和外部边缘作为前景种子和背景种子，这样操作省去了用户的交互输入，达到了自动分割的目的。将从深度图获得的种子位置迁移到彩色图上。由于深度图和彩色图的像素一一对应，所以种子位置也是一一对应的。然后建立目标函数，目标函数分为两项，一项为区域消耗，即远离边界的分割消耗，另一项为边界消耗，即在前景和背景的交界处像素的分割消耗。

附图说明

图1是RGB-D图像的自动分割方法示意图；

图2是高斯函数

效果图；

图3为高斯函数

效果图；

图4为高斯差分(σ₃＝σ₂-σ₁)效果图；

图5为拉普拉斯算子效果图；

图6是边缘检测效果图，图6-(a)为腐蚀后的深度图进行边缘检测图，图6-(b)为膨胀后的深度图进行边缘检测图。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1所示，本申请提供一种RGB-D图像的自动分割方法，包括以下步骤：

步骤1：对深度图像进行形态学变换和边缘检测，得到被分割目标的内部边缘和外部边缘，将内部边缘和外部边缘作为深度图的前景种子和背景种子；

对深度图分别进行膨胀和腐蚀形态学运算：

其中，Z_i和Z_o分别表示腐蚀和膨胀的结果，⊙和

分别代表形态学腐蚀和形态学膨胀运算。B为运算中的结构元素。对形态学运算后的深度图分别使用拉普拉斯算子l来进行边缘检测：

其中，x和y为像素的横纵坐标。l代表拉普拉斯算子，f代表深度图。l(f)表示对深度图进行拉普拉斯算子操作。

将获得的内部边缘和外部边缘作为后续目标分割的种子。同时发现可以用高斯差分近似拉普拉斯算子。如图2至图5所示，图2是核为σ₁的高斯算子，图3是核为σ₂的高斯算子，其中σ₂＝2σ₁。图6为前两个高斯算子进行差分获得的结果，对腐蚀后的深度图操作拉普拉斯算子，获得的是内部边缘。对膨胀后的深度图操作拉普拉斯算子，获得的是外边缘。图6-(a)为腐蚀后的深度图进行边缘检测，人型轮廓线条线条代表目标的内部轮廓。图6-(b)为膨胀后的深度图进行边缘检测，人型轮廓线条代表目标的外部轮廓。可以看出与拉普拉斯算子几乎相同。根据图4至图5所示，高斯差分只需要计算四次平方，而拉普拉斯算子要做四次微分。因此，为了降低计算复杂度，采用高斯差分来代替拉普拉斯算子。

步骤2：根据深度图像的前景种子和背景种子，将深度图像的前景种子和背景种子迁移至彩色图上，对彩色图上相同位置的像素点分别标记为目标种子和背景的种子；

步骤3：对每个像素赋予标签，分为背景和前景，根据赋予标签后的像素，确定目标函数；

建立目标函数。RGB深度图上的每个像素都被赋予一个标签，如果属于背景标记为0，如果属于前景，标记为1。因此目标函数建立如下：

E(L)＝αR(L)+B(L) (3)

其中，L为所有像素标签的集合。R(L)对应区域消耗项，B(L)对用边缘消耗项，α用来调整两项的比重，在本发明中，为了保证前景目标和背景的精准分割，将α设定为0.1。

步骤4：最小化目标函数，根据所有边界的权重获得最优分割。

将图像的边缘分为两类，与种子点有连接的边{p,S},{p,T}和没有与种子点有连接的边{p,q}。S和T分别代表前景种子集合和背景种子集合。p和q分别代表图像上任意两点。{p,S}其中与种子点有连接的边包含与前景种子连接的边和与背景种子连接的边。因此所有边的集合E表示为：

其中，E为所有边的集合，P为图像所有像素的集合，p和q均为图像上任意一像素点，S和T分别代表前景种子集合和背景种子集合。

三种边的权重表示为：

w(p,q)＝B_p,q (7)

其中，O表示前景种子的集合，B表示背景种子的集合，w(p,S)和w(p,T)分别为与种子点有连接的边{p,S}和{p,T}的权重，w(p,q)为没有与种子点有连接的边{p,q}的权重，R_p为像素p处的区域消耗，I_p表示像素p的像素值；

结合公式(2)(4)(5)(6)得出，当边的权重最小时，目标函数也为最小，即得到最优的前景目标分割

以上所述仅是一种RGB-D图像的自动分割方法的优选实施方式，一种RGB-D图像的自动分割方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (3)

1.一种RGB-D图像的自动分割方法，其特征是：包括以下步骤：

步骤1：对深度图像进行形态学变换和边缘检测，得到被分割目标的内部边缘和外部边缘，将内部边缘和外部边缘作为深度图的前景种子和背景种子；

步骤2：根据深度图像的前景种子和背景种子，将深度图像的前景种子和背景种子迁移至彩色图上，对彩色图上相同位置的像素点分别标记为目标种子和背景的种子；

所述步骤1具体为：

步骤1.1：对深度图像进行形态学变换，对深度图分别进行膨胀和腐蚀形态学计算，通过下式表示深度图分别进行膨胀和腐蚀形态学计算过程：

其中，Z_i和Z_o分别表示腐蚀结果和膨胀结果，⊙和

分别代表形态学腐蚀和形态学膨胀运算，B为深度图像结构元素；

步骤1.2：待深度图像进行形态学变换后，采用拉普拉斯算子对深度图进行边缘检测，通过下式表示边缘检测过程：

其中，x和y为深度图的像素的横纵坐标，f为深度图，l代表拉普拉斯；

步骤1.3：采用拉普拉斯算子对深度图的进行步骤1.2的边缘检测后，得到深度图的内部边缘和外部边缘，将内部边缘和外部边缘作为深度图的前景种子和背景种子；

步骤3：对每个像素赋予标签，分为背景和前景，根据赋予标签后的像素，确定目标函数；

所述步骤3具体为：

步骤3.1：对深度图上每个像素都赋予一个标签，当深度图上像素属于背景时，标记为0；当深度图上像素属于前景时，标记为1；

步骤3.2：建立目标函数，通过下式表示所述目标函数：

E(L)＝αR(L)+B(L) (3)

其中，E(L)为目标函数，L为所有像素标签的集合，R(L)对应区域消耗项，B(L)对用边缘消耗项，α为比重；

步骤4：最小化目标函数，根据所有边界的权重获得最优分割；

所述步骤4具体为：

步骤4.1：将图像的边缘分为两类，与种子点有连接的边为{p,S}和{p,T}，没有与种子点有连接的边{p,q}，确定所有边的集合，通过下式表示所有边的集合：

其中，E为所有边的集合，P为图像所有像素的集合，p和q均为图像上任意一像素点，S和T分别代表前景种子集合和背景种子集合；

步骤4.2：根据前景种子的集合和背景种子的集合，确定与种子点有连接的边和没有与种子点有连接的边的权重；通过下式表示与种子点有连接的边和没有与种子点有连接的边的权重：

w(p,q)＝B_p,q (7)

其中，O表示前景种子的集合，B表示背景种子的集合，w(p,S)和w(p,T)分别为与种子点有连接的边{p,S}和{p,T}的权重，w(p,q)为没有与种子点有连接的边{p,q}的权重，R_p为像素p处的区域消耗，I_p表示像素p的像素值；

步骤4.3：根据边的权重最小化目标函数，当边的权重最小时，目标函数也为最小，即得到最优的前景目标分割。

2.根据权利要求1所述的一种RGB-D图像的自动分割方法，其特征是：采用高斯算子替换拉普拉斯算子对深度图进行边缘检测。

3.根据权利要求1所述的一种RGB-D图像的自动分割方法，其特征是：为保证前景目标和背景的精准分割，将α设定为0.1。

Images