CN109166125A - 一种基于多边缘融合机制的三维深度图像分割算法 - Google Patents

Abstract

本发明公开了一种基于多边缘融合机制的三维深度图像分割算法，包括以下步骤：获取集料颗粒的深度图像并进行预处理，得到预处理后的深度图，对预处理后的深度图提取边缘图像，并进行细化处理；利用被遮挡区域边缘图像与细化处理后的图像进行第一次融合，利用第一次融合后的图像与补全缺失数据后的集料颗粒边缘图像进行第二次融合；然后采用分水岭算法进行集料颗粒的分割。本发明针对颗粒深度图像由于被遮挡而产生的深度数据缺失问题，采用两次融合的方法的形成了颗粒边缘图像，补全了缺失边缘，从而保证了颗粒形态和棱角特征的完整性；对分水岭算法中的种子区域标定和距离变换函数的进行了优化选择，有效地减少了分割中的过分割和欠分割问题。

Description

一种基于多边缘融合机制的三维深度图像分割算法

技术领域

本发明属于道路工程技术领域，涉及一种图像处理方法，具体涉及一种基于多边缘融合机制的三维深度图像分割算法。

背景技术

集料是构成沥青混凝土承重骨架的主要材料，对整个路面起到骨架填充的关键作用，集料颗粒形态特征、集料级配以及对颗粒的实时无损检测直接决定着沥青路面的使用寿命和使用性能。集料颗粒的形态特征包括集料颗粒的形状、尺寸、棱角性和纹理。集料颗粒的形状对沥青混凝土的强度与稳定性有很大影响。

作为混凝土材料的重要组成部分，矿质混合料由不同大小规格的集料颗粒组成，矿质混合料中粗集料级配的合理性是评价公路施工质量的重要指标。基于机器视觉技术的集料颗粒无损检测是保证集料颗粒质量的有效手段。工业检测集料颗粒的研究分为二维和三维两种。一种方法是二维检测，但是二维研究只能得到集料颗粒的形状，并不能得到集料颗粒的高度信息，因此无法真实反映粗集料三维空间特征。另一种方法是基于结构光的粗集料粒径三维检测，但是结构光成像时，摄像机无法拍摄到光被遮挡的部分，使得集料颗粒图像不完整。在机器视觉系统中，有效的颗粒分割算法是实现颗粒有效表征的前提。

发明内容

针对结构光三维视觉系统中，由于遮挡问题而引起的颗粒图像不完整问题，本发明的目的是提出一种基于多边缘融合机制的三维深度图像分割算法，该算法可以更加完整的检测粗集料的几何特征，可以为集料颗粒在粒径、级配自动检测等方面的三维无损检测打下坚实基础。

为了实现上述任务，本发明采用以下技术方案：

一种基于多边缘融合机制的三维深度图像分割算法，包括以下步骤：

获取集料颗粒的深度图像并进行预处理，得到预处理后的深度图，对预处理后的深度图提取边缘图像，并进行细化处理；

利用被遮挡区域边缘图像与细化处理后的图像进行第一次融合，利用第一次融合后的图像与补全缺失数据后的集料颗粒边缘图像进行第二次融合；然后采用分水岭算法进行集料颗粒的分割。

进一步地，所述的预处理包括：

分别获取有集料颗粒和无集料颗粒时的背景图，将两幅背景图对应的像素相减后保留大于第一阈值的像素；

将去除震动噪声后的图像对应的深度图中的负值数据替换为零，得到第一图像。

进一步地，所述的预处理还包括：

针对于第一图像，从第一图像的图像数据的水平方向和垂直方向两个方向进行滤波，依次计算每一行的每一个图像数据相对于该图像数据所在行的偏离程度，如所在行的偏离程度大于预置行滤波系数，则将图像数据用所在行的算术平均值替代；然后再计算每一列的每一个图像数据相对于该图像数据所在列的偏离程度，如所在列的偏离程度大于预置列滤波系数，则将图像数据用所在列的算术平均值替代。

进一步地，所述的对预处理后的深度图提取边缘图像，包括：

将预处理后得到的深度图的每一个图像数据f_xy按照以下公式进行计算：

上面的公式中，f_x、f_xx分别为图像数据f_xy在水平方向上的偏导、二次偏导，f_y、f_yy分别为图像数据f_xy在竖直方向上的偏导、二次偏导；

根据上面的公式求出图像数据f_xy对应的P值，将P与设定的阈值比较，如P大于设定的第二阈值，则将图像数据f_xy标记为有效边缘点进行保存，如P小于设定的阈值则删除图像数据f_xy，从而得到边缘图像。

进一步地，所述的利用被遮挡区域边缘图像与细化处理后的图像进行第一次融合，包括：

从所述的集料颗粒的深度图像中提取出所有深度值为零的数据，得到被遮挡区域图像，然后进行二值化处理后提取轮廓，得到被遮挡区域边缘图像，然后与所述细化处理后的图像进行合并，得到合并后的边缘图像，去除合并图像中重复的像素点，得到第一次融合后的图像。

进一步地，所述的利用第一次融合后的图像与补全缺失数据后的集料颗粒边缘图像进行第二次融合，包括：

将预处理后的深度图转化为二值图像，将该二值图像与所述被遮挡区域图像经二值化处理后的图像进行合并从而得到补全缺失数据后的集料颗粒图像，然后提取集料颗粒的边缘轮廓，得到补全缺失数据后的集料颗粒边缘图像，将该图像与第一次融合后得到的图像合并，去除合并图像后的虚假边缘，得到第二次融合后的图像。

进一步地，所述的去除合并图像后的虚假边缘，包括：

对于第一次融合后的图像中的每一个像素点a，在所述补全缺失数据后的集料颗粒边缘图像中找到对应位置的像素点b，如果像素点b存在，则判断像素点b的8邻域像素点中是否存在深度值大于0的像素点，如存在则将像素点a的值变为零。

进一步地，所述的分水岭算法所采用的距离变换函数为bwdist函数，所采用的公式为：

d₁₂＝max(|x₁-x₂|,|y₁-y₂|)

上式中，(x₁,y₁)和(x₂,y₂)为第二次融合后的图像中的两个像素点，d₁₂为所述两个像素点之间的距离。

进一步地，所述的分水岭算法采用的标记种子区域的步骤为：

将预处理后的深度图的每个像素减去其深度值的30％，然后转化成二值图像，对二值图像实施形态学闭操作生成标记图像。

本发明与现有技术相比具有以下技术特点：

1.本发明方法基于双向滤波实现颗粒深度数据滤波，可以很好的保护被扫描颗粒的深度数据。

2.本发明针对颗粒深度图像由于被遮挡而产生的深度数据缺失问题，采用两次融合的方法的形成了颗粒边缘图像，补全了缺失边缘，从而保证了颗粒形态和棱角特征的完整性。

3.本发明针对深度图像的特点，对分水岭算法中的种子区域标定和距离变换函数的进行了优化选择，并基于此完成了颗粒分割，有效地减少了分割中的过分割和欠分割问题。

附图说明

图1为本发明方法的流程图；

图2为本发明获取三维深度图像采用的设备示意图；

图3(a)传送带上不放置集料时获取的背景图；

图3(b)为传送带上放置集料后获取的背景图；

图3(c)为去除震动噪声后的深度图；

图3(d)为经过震动噪声去除、相机遮挡噪声去除后集料颗粒三维信息图；

图4为滤波算法的流程图；

图5(a)为第一图像对应的灰度图；

图5(b)为滤波后得到的第二图像对应的灰度图；

图6(a)为第二图像处理后得到的边缘图像的灰度图；

图6(b)为边缘图像经细化处理后的图像；

图7(a)为被遮挡区域的二值化图像；

图7(b)为被遮挡区域边缘图像；

图8(a)为第一次合并后得到的包含虚假边缘的边缘图像；

图8(b)为去除虚假边缘后的第一次融合之后的图像；

图9(a)为补全缺失数据后的颗粒图像；

图9(b)为补全缺失数据后的集料颗粒边缘图像；

图10(a)为第一次融合后的图像与图9(b)合并后的图像；

图10(b)为第二次融合后得到的边缘图像；

图11(a)为标记种子区域后生成的标记图像；

图11(b)为利用分水岭算法分割后的图像。

具体实施方式

基于结构光的三维视觉技术由于其扫描速度快、对成像环境要求低，且与二维视觉技术相比，可以有效表征颗粒三维特征等特点，已成为颗粒工业检测极具竞争力的表征方案。然而，由于激光遮挡或相机遮挡等问题的广泛存在，使得被扫描颗粒的深度图像边缘存在不完整性等问题，继而会影响到颗粒表征结果的精确性。为了解决这一问题，本算法基于三种不同的颗粒边缘图像，采用两次融合的算法生成了颗粒边缘图像，最后针对深度图像的特点，结合分水岭算法实现了颗粒的分割。本发明方法的具体步骤如下：

一种基于多边缘融合机制的三维深度图像分割算法，包括以下步骤：

步骤1，获取集颗粒的深度图像并进行预处理，得到预处理后的深度图。

步骤1.1，用相机拍摄集料颗粒图像，相机生成集料颗粒的高度信息的完整深度图像(该图文件格式为Dat文件)，对其解析后，三维点云显示如图3(b)。

本发明获取深度图像采用的设备如图2所示，将集料放置在传送带上，相机与激光器位于传送带上方，激光器照射在集料表面，相机以倾斜的视角采集图像。所述的相机采用CCD相机，激光器采用红外光源激光器。激光器投射激光条纹到集料表面，表现为一条红色光亮线条，当激光条纹扫描到传送带上的集料时，由于集料的轮廓凸起，激光条纹也会随之产生形变，相机捕捉经反射后的激光条纹生成具有像素位移变化的轮廓图像，当传送带在移动时，相机则会捕捉到完整的待测物体三维轮廓图像。由于激光器、相机位置和安装角度已知，因此可以根据相机、激光器及集料的三角关系计算出被测物体的深度值，从而获取集料的三维深度图像。本方案中，在相机镜头前安装了滤光镜，以过滤掉外界自然光，防止外界光线变化给检测结果带来的影响，从而实现全天候的粗集料颗粒三维检测。

采集到的深度图像中存在两种噪声：由于相机和传送带震动而引起的噪声和由于相机遮挡引起的噪声，因此需要对深度图像进行预处理，以去除图像中的噪声，并进行滤波处理，具体步骤如下：

步骤1.2，针对由相机和传送带震动引起的噪声，使用背景去除法可以实现该种噪声的有效去除。具体方法是：先拍摄无集料颗粒时的背景图(深度图)，在本方案中，即在传送带上不放置集料时先利用相机拍摄传送带以获取背景图(深度图)，如图3(a)，然后在传送带上放置集料颗粒后再进行拍摄，得到有集料颗粒的背景图，如图3(b)。将两幅图像对应的像素相减后保留大于第一阈值σ的像素，就可以得到去除震动噪声以后的图像，具体公式如下：

F_ij＝|O_ij-B_ij|>σ

上式中，F_ij表示去噪后的图像，O_ij表示无集料时的背景图，B_ij表示有集料时的背景图，σ为第一阈值。经过多次实验对比分析，发现当阈值设置为0.55时，去噪效果最好。

步骤1.3，经过步骤1.2处理得到的去除震动噪声后的图像，其对应的深度图如图3(c)所示。由该图可见，图中有很多由相机遮挡引起的噪声，图中表现为小竖条，分析图像可知，这部分噪声被遮挡区域默认高度零值减去其对应区域的背景高度值所致。所以去除该噪声，采用将图3(c)深度图中的负值数据替换为零，即可实现去除该类由于相机遮挡引起的噪声。

经过上面的去噪步骤后，得到完整的集料颗粒三维信息图，深度图三维显示如图3(d)所示，记为第一图像。

将第一图像转换成灰度图，如图5(a)所示，从灰度图中可以看到，经过噪声去除后，第一图像中还存在部分椒盐噪声，参见图像的左上角和右下角。为了处理椒盐噪声，还需要进行滤波处理，步骤如下：

步骤1.4，对第一图像进行滤波处理

为保持图像细节的同时能很好地滤除高信噪比情况下的脉冲干扰噪声，本方案中的滤波方法如下：

针对于第一图像，从第一图像的图像数据的水平方向和垂直方向两个方向进行滤波，依次计算每一行的每一个图像数据相对于该图像数据所在行的偏离程度，如所在行的偏离程度大于预置行滤波系数，则将图像数据用所在行(所有图像数据)的算术平均值替代；然后再计算每一列的每一个图像数据相对于该图像数据所在列的偏离程度，如所在列的偏离程度大于预置列滤波系数，则将图像数据用所在列(所有图像数据)的算术平均值替代。

所述的所在行偏离程度的计算方法是，针对一个图像数据Z_ij，计算该图像数据Z_ij所在行所有图像数据的算术平均值和标准差，然后计算所述图像数据Z_ij与算术平均值的差值，将该差值除以所述的标准差，即得到所述图像数据相对于所在行的偏离程度。计算所在列偏离程度的方法相同，只是将行替换成列即可，计算流程图如图4所示。

经发明人大量实验得出，预置行滤波系数、预置列滤波系数取值范围为4～6。滤波后得到的深度图像记为第二图像，将其转换为灰度图像如图5(b)所示。

由于集料颗粒遮挡问题对集料颗粒边缘提取的完整性有一定影响，因此本方法采用多边缘数据融合的机制来形成集料颗粒的边缘数据，最大程度地解决由于颗粒遮挡而产生的颗粒边缘不完整的问题。

步骤2，对预处理后的深度图提取边缘图像，并进行细化处理

将经过预处理后得到的深度图，即步骤1.4滤波处理后的得到的第二图像的每一个图像数据f_xy按照以下公式进行计算：

上面的公式中，f_x、f_xx分别为图像数据f_xy在第二图像水平方向上的偏导、二次偏导，f_y、f_yy分别为图像数据f_xy在第二图像竖直方向上的偏导、二次偏导。

根据上面的公式求出图像数据f_xy对应的P值，将P与设定的第二阈值比较，如P大于设定的阈值，则将图像数据f_xy标记为有效边缘点进行保存，如P小于设定的阈值则删除图像数据f_xy，从而得到边缘图像，对应的灰度图如图6(a)所示。经过发明人反复试验验证，当第二阈值取0.55时，提取的边缘效果较好。第三图像中集料颗粒的边缘轮廓线较宽，需要进行细化处理，细化处理采用Matlab软件中自带的细化算法，经细化处理后的结果如图6(b)所示，记为第三图像。

从细化处理后的图像可以看出，虽然部分重叠颗粒的边缘被有效识别，但由于遮挡问题而引起的缺失边缘没有被完整识别。

步骤3，利用被遮挡区域边缘图像与细化处理后的图像进行第一次融合，

针对上述的没有完整识别问题，本方案中将被遮挡区域边缘图像与细化处理后的图像，即所述的第三图像进行融合来补全缺失边缘。

所述的被遮挡区域边缘图像提取自步骤1.1采集到的深度图像，即从深度图像中提取出所有深度值为零的数据，得到被遮挡区域的图像，然后对被遮挡区域的图像进行二值化处理，得到的结果如图7(a)所示，然后再提取轮廓，从而得到所述的被遮挡区域边缘图像，记为第四图像，如图7(b)所示。由于集料颗粒比较小，相对颗粒的高度，相机与传送带之间的距离较远，所以绝大多数的遮挡发生在集料颗粒之间，即由于激光光线被遮挡而使相机捕捉不到而产生的。

在该步骤中，将所述的第四图像与第三图像合并，合并后得到的边缘图像如图8(a)所示，很明显，在第一次融合后的边缘图像中有很多虚假边缘信息，这些虚假边缘信息主要来自两图像(被遮挡区域边缘图像与第三图像)中的重叠边缘，需要进一步识别并清除虚假边缘，即去掉重复的像素点，具体方法为：

将第三图像和第四图像相同位置的8邻域内进行像素点的遍历，如在所述第四图像中能找到对应于第三图像的像素点，则在第四图像中将所述的像素点的值置为0；即在第三图像、第四图像中选择同样的位置，对比两幅图像中所述位置8邻域中的像素点，如果两幅图像中8邻域内对应位置某个像素点相同，在第四图像中将该像素点置零。对两幅图像的每一个位置(像素点)按照相同的方法进行处理，就将第四图像中集料颗粒的边缘处理的更连续，去掉了重复的像素点，得到第一次融合之后的图像，如图8(b)所示，将该图像记为第五图像。

步骤4，利用第一次融合后的图像与补全缺失数据后的集料颗粒边缘图像进行第二次融合

经过第一次融合后得到的集料颗粒边缘仍然不完整，需要进一步处理。在该步骤中，需要用到第一次融合后得到的图像，即第五图像，以及补全缺失数据后的集料颗粒边缘图像。

所述的补全缺失数据后的集料颗粒边缘图像是指：将预处理后的深度图，即经过步骤1.4滤波后得到的第二图像转化为二值图像(深度值大零的像素置为1)，然后将该二值图像与所述被遮挡区域经二值化处理后的图像(图7(a))进行合并得到补全缺失数据后的颗粒图像，如图9(a)所示，最后提取合并后图像中集料颗粒的边缘轮廓，从而得到补全缺失数据后的集料颗粒边缘图像，如图9(b)所示，记为第六图像。

在该步骤的第二次融合过程具体为：

将第一次融合后得到的第五图像图8(b)与所述的补全缺失数据后的集料颗粒边缘图像图9(b)合并并且以不同颜色显示在一幅图像上，如图10(a)所示。从该图可以看出，简单合并图像会产生很多虚假边缘。产生这种虚假边缘的主要原因是因为对不同图像应用不同的分割算法所导致，需要去除虚假边缘。

针对这种情况，本方案基于补全缺失数据后的集料颗粒边缘图像图9(b)(第六图像)，通过对每一点像素在两图像对应位置进行扫描比对，最终生成融合后的边缘轮廓，具体的扫描比对方法为：

对于第一次融合后的图像，即第五图像中的每一个像素点a，在第六图像中找到像素点a对应(坐标)位置的像素点b，如果像素点b存在，则判断像素点b的8邻域像素点中是否存在深度值大于0的像素点，如存在则将第五图像中的像素点a的值变为零。

对第五图像中每一个像素点均进行扫描比对后，将得到的图像与第六图像进行合并，完成第二次融合，得到最终融合后的边缘图像，如图10(b)所示。

步骤5，基于分水岭算法的集料颗粒分割。

经过两次图像融合后，接下来是基于形态学分水岭算法对其进行分割。分水岭算法最初是为解决二维颗粒图像堆叠问题而提出的，颗粒分割结果见图11(b)。分水岭算法核心操作分为两个基本步骤：一是选择合适的距离变换函数和公式，二是标记出种子区域。为了使分水岭算法能有效应用在深度颗粒图像分割中，在现有的分水岭算法的基础上，本发明对算法的这两个步骤进行了改进：

步骤5.1，选择距离变换函数和公式

对经步骤4处理后得到的第二次融合后的图像(最终融合后的边缘图像)实施距离变换，距离变换采用的是Matlab环境中图像处理库中的距离变换函数bwdist函数。距离变换函数中的公式选择的合适与否直接影响分割的结果。

针对于集料颗粒的形态特点，经过大量实验，本发明中选择如下公式对最终融合后的边缘图像实施距离变换：

d₁₂＝max(|x₁-x₂|,|y₁-y₂|)

上式中，(x₁,y₁)和(x₂,y₂)为第二次融合后的图像中的两个像素点，d₁₂为所述两个像素点之间的距离。

步骤5.2，标记种子区域

合理地标记颗粒种子区域是实现颗粒有效分离的有效方法，针对颗粒深度图像的特点，本方法利用颗粒深度图像由于被遮挡而引起的深度数据缺失的特点，基于预处理后的深度图(步骤1.4滤波后生成的第二图像)而生成标记图像，所生成的标记图像如图11(a)中集料颗粒内部的区域。

标记种子区域的步骤：

①为了让颗粒变小，把预处理后的深度图，即第二图像的每个像素减去其深度值的30％；②将经过①处理后的深度图转化成二值图像(深度值大于零的像素值设为1)；③对生成的二值图像实施形态学闭操作生成标记图像。

步骤5.3，图像分割

针对于步骤5.1经过距离变换后得到的边缘图像以及步骤5.2生成的标记图像，采用分水岭算法Watershed对标记图像进行分割，分割后的图像如图11(b)所示。

本发明方法解决了由于集料颗粒遮挡而造成的颗粒图像缺失的问题，利用本发明方法能够很好地将被缺失区域的轮廓补全，并能有效地减少分割中的过分割和欠分割问题。

Claims (9)

1.一种基于多边缘融合机制的三维深度图像分割算法，其特征在于，包括以下步骤：

获取集料颗粒的深度图像并进行预处理，得到预处理后的深度图，对预处理后的深度图提取边缘图像，并进行细化处理；

利用被遮挡区域边缘图像与细化处理后的图像进行第一次融合，利用第一次融合后的图像与补全缺失数据后的集料颗粒边缘图像进行第二次融合；然后采用分水岭算法进行集料颗粒的分割。

2.如权利要求1所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的预处理包括：

分别获取有集料颗粒和无集料颗粒时的背景图，将两幅背景图对应的像素相减后保留大于第一阈值的像素；

将去除震动噪声后的图像对应的深度图中的负值数据替换为零，得到第一图像。

3.如权利要求2所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的预处理还包括：

针对于第一图像，从第一图像的图像数据的水平方向和垂直方向两个方向进行滤波，依次计算每一行的每一个图像数据相对于该图像数据所在行的偏离程度，如所在行的偏离程度大于预置行滤波系数，则将图像数据用所在行的算术平均值替代；然后再计算每一列的每一个图像数据相对于该图像数据所在列的偏离程度，如所在列的偏离程度大于预置列滤波系数，则将图像数据用所在列的算术平均值替代。

4.如权利要求1所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的对预处理后的深度图提取边缘图像，包括：

将预处理后得到的深度图的每一个图像数据f_xy按照以下公式进行计算：

上面的公式中，f_x、f_xx分别为图像数据f_xy在水平方向上的偏导、二次偏导，f_y、f_yy分别为图像数据f_xy在竖直方向上的偏导、二次偏导；

根据上面的公式求出图像数据f_xy对应的P值，将P与设定的阈值比较，如P大于设定的第二阈值，则将图像数据f_xy标记为有效边缘点进行保存，如P小于设定的阈值则删除图像数据f_xy，从而得到边缘图像。

5.如权利要求1所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的利用被遮挡区域边缘图像与细化处理后的图像进行第一次融合，包括：

从所述的集料颗粒的深度图像中提取出所有深度值为零的数据，得到被遮挡区域图像，然后进行二值化处理后提取轮廓，得到被遮挡区域边缘图像，然后与所述细化处理后的图像进行合并，得到合并后的边缘图像，去除合并图像中重复的像素点，得到第一次融合后的图像。

6.如权利要求1所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的利用第一次融合后的图像与补全缺失数据后的集料颗粒边缘图像进行第二次融合，包括：

将预处理后的深度图转化为二值图像，将该二值图像与所述被遮挡区域图像经二值化处理后的图像进行合并从而得到补全缺失数据后的集料颗粒图像，然后提取集料颗粒的边缘轮廓，得到补全缺失数据后的集料颗粒边缘图像，将该图像与第一次融合后得到的图像合并，去除合并图像后的虚假边缘，得到第二次融合后的图像。

7.如权利要求6所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的去除合并图像后的虚假边缘，包括：

对于第一次融合后的图像中的每一个像素点a，在所述补全缺失数据后的集料颗粒边缘图像中找到对应位置的像素点b，如果像素点b存在，则判断像素点b的8邻域像素点中是否存在深度值大于0的像素点，如存在则将像素点a的值变为零。

8.如权利要求1所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的分水岭算法所采用的距离变换函数为bwdist函数，所采用的公式为：

d₁₂＝max(|x₁-x₂|,|y₁-y₂|)

上式中，(x₁,y₁)和(x₂,y₂)为第二次融合后的图像中的两个像素点，d₁₂为所述两个像素点之间的距离。

9.如权利要求1所述的基于多边缘融合机制的三维深度图像分割算法，其特征在于，所述的分水岭算法采用的标记种子区域的步骤为：

将预处理后的深度图的每个像素减去其深度值的30％，然后转化成二值图像，对二值图像实施形态学闭操作生成标记图像。