CN111223112A - 基于图像均值漂移和水平集方法的图像分割方法 - Google Patents

Abstract

本发明公开了一种基于图像均值漂移和水平集方法的图像分割方法，包括：接收外部输入的列车的原始图像；从所述列车的原始图像中切割出包含线缆的局部图像；计算所述局部图像的灰度直方图，根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像；采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强，得到边界二次增强后的局部图像；基于水平集方法对所述边界二次增强后的局部图像进行分割，得到线缆轮廓。本发明能够在水平集之前引入图像增强的方法，分阶段的对图像的梯度进行有效强化，最终使得水平集方法能够完美的将图像中的物体分割出来，有效的降低了检测动车线缆的故障的难度。

Description

基于图像均值漂移和水平集方法的图像分割方法

技术领域

本发明涉及图像分割技术领域，具体而言涉及一种基于图像均值漂移和水平集方法的图像分割方法。

背景技术

随着动车的使用越来越普遍，动车的安全问题也变得越来越重要，一个非常微小的故障就可能引发重大事故，因此动车组故障的识别就非常的重要。目前使用的基于图像检测的技术分为两个步骤，第一个步骤是将所有的列车部件定位并且分类然后将部件部分的图片切割出来，第二个步骤需要对不同的部件进行检测是否完好。其中列车地板的线缆也是一个故障点，但是由于线缆是柔性的物体，可以弯曲，造成线缆的形态多样，很难找到特定的模式，想要使用基于图像的深度学习或者机器学习等方法解决就会异常的困难。由于线缆形状多样，切割出来的图像中线缆只占了一小部分，其余部分都是跟线缆无关的部分如列车底板、螺栓、线缆固定扣等，这大大提升了机器对其分类的难度。

为了降低机器对线缆检测的难度，我们希望使用图像分割的方法将线缆主体部分分割出来，去除其他非线缆图像，以降低机器检测的难度。但是由于环境并不是理想环境，线缆上会沾有灰尘，部分线缆还会反光，使得线缆图像的边界不明显，直接导致了导致传统的分割算法并不能很好的从图像中分割出线缆。因此亟需提出一种针对于列车地板线缆的图像分割方法。

发明内容

本发明目的在于提供一种基于图像均值漂移和水平集方法的图像分割方法，在水平集之前引入图像增强的方法，分阶段的对图像的梯度进行有效强化，最终使得水平集方法能够完美的将图像中的物体分割出来，有效的降低了检测动车线缆的故障的难度。

为达成上述目的，结合图1，本发明提出一种基于图像均值漂移和水平集方法的图像分割方法，所述图像分割方法包括：

S1：接收外部输入的列车的原始图像；

S2：从所述列车的原始图像中切割出包含线缆的局部图像；

S3：计算所述局部图像的灰度直方图，根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像；

S4：采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强，得到边界二次增强后的局部图像；

S5：基于水平集方法对所述边界二次增强后的局部图像进行分割，得到线缆轮廓；

S6：将分割得到的线缆轮廓映射至列车的原始图像，实现对原始图像中线缆的分割目的。

进一步的实施例中，步骤S2中，所述从所述列车的原始图像中切割出包含线缆的局部图像的过程包括：

S21：基于目标检测算法创建局部图像切割模型，对局部图像切割模型进行训练；

S22：将列车原始图像导入训练好的局部图像切割模型，切割出包含线缆的局部图像。

进一步的实施例中，所述目标检测算法包括yolo v3算法。

进一步的实施例中，步骤S3中，所述根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像的过程包括以下步骤：

S31：计算所述局部图像的灰度直方图，获取所有灰度在局部图像中出现的频率；

S32：根据灰度直方图的数据调整色阶，建立映射规则，使得映射后的灰度直方图中每个灰度在局部图像中出现频率的均衡度达到设定均衡度阈值。

进一步的实施例中，步骤S4中，所述采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强的过程包括以下步骤：

S41：在边界一次增强后的局部图像中任选一个像素，定义为初始像素，结合领域空间矢量和领域内每个像素的颜色矢量对初始像素执行均值漂移迭代处理，将初始像素的颜色矢量替换成最后一次迭代的平均颜色矢量；

S42：重复步骤S41，直至完成对边界一次增强后的局部图像中所有像素的均值漂移迭代处理。

进一步的实施例中，步骤S41中，所述结合领域空间矢量和领域内每个像素的颜色矢量对初始像素执行均值漂移迭代处理的过程包括以下步骤：

S411：针对整个边界一次增强后的局部图像中的每个像素执行均值漂移迭代处理；

S412：判断高斯金字塔层数是否大于1，如果大于，将步骤S411的处理结果发送至上一层，进入步骤S413，否则，结束流程；

S413：针对颜色矢量大于当前层次预设颜色矢量阈值的像素点执行均值漂移迭代处理，将处理结果作为再上一层的输出；

S414：重复步骤S413，直至完成最顶层的均值漂移迭代处理。

进一步的实施例中，步骤S411中，所述针对整个边界一次增强后的局部图像中的每个像素执行均值漂移迭代处理的过程包括以下步骤：

S4111：将初始像素作为迭代中心点；

S4112：计算以迭代中心点为圆心，设定半径范围的领域范围内的所有像素点的向量之和，获取下一次迭代的迭代中心点，并且将本次迭代过程涉及到的所有像素的平均颜色矢量作为下一次迭代的迭代中心点的颜色矢量；

S4113：重复步骤S4112，直至满足预设的收敛条件；

S4114：将初始像素的颜色矢量替换成参与最后一次迭代的所有像素的平均颜色矢量。

进一步的实施例中，执行均值漂移算法运算的局部图像满足下述条件：

(x,y):X-sp≤x≤X+sp,Y-sp≤y≤Y+sp,||(R,G,B)-(r,g,b)||≤sr

其中，(X,Y)是初始像素的空间坐标，(R,G,B)是初始像素的颜色矢量；(x,y)是领域范围内的像素点的坐标，(r,g,b)是领域范围内的像素点的颜色矢量，sp是执行均值漂移算法的物理空间半径，sr是颜色空间半径。

进一步的实施例中，步骤S5中，所述基于水平集方法对所述边界二次增强后的局部图像进行分割，得到线缆轮廓的过程包括以下步骤：

S51：构建高维曲面，所述高维曲面与边界二次增强后的局部图像的相切区域被定义成分割区域，所述分割区域的切面尺寸与局部图像的原始尺寸相匹配；

S52：计算局部图像的梯度；

S53：结合局部图像的梯度图，使高维曲面从其与局部图像切线梯度最低的位置向内收缩；

S54：重复步骤S53，直至梯度变化小于设定的阈值或者收缩次数超过最大迭代次数，分割出线缆轮廓。

进一步的实施例中，步骤S53中，收缩幅度由局部图像的梯度计算得到，在收缩过程中，高维曲面与局部图像的切线曲率始终低于设定曲率阈值。

本发明针对线缆的复杂性使得机器很难智能的检测线缆的故障，线缆的背景信息干扰检测效果的问题，提出了一种基于图像均值漂移和水平集方法的图像分割方法，该方法使用了图像直方图计算、聚类算法图像预处理、水平集方法实现了列车地板复杂背景下线缆的提取，减少了线缆部分图像的冗余信息，有效的增加了机器智能检测故障的可能性和有效性，该方法可以辅助智能检测算法检测线缆部分的故障。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)在水平集之前引入图像增强的方法，分阶段的对图像的梯度进行有效强化，最终使得水平集方法能够完美的将图像中的物体分割出来，有效的降低了检测动车线缆的故障的难度。

(2)图像处理部分使用了色阶调整和图像均值漂移的算法，使得边缘不断的强化待分割图像的边缘，使得图像更加利于后续的分割算法进行分割。

(3)除包含线缆的局部图像切割步骤需要对相关切割模型进行训练外，其余步骤均使用传统成熟算法，对比基于深度学习的分割方法不需要训练过程，选出合适的参数后可以准确的对图像进行分割，过程可控。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的基于图像均值漂移和水平集方法的图像分割方法的流程图。

图2是本发明的列车的原始图像示意图。

图3是本发明的包含线缆的局部图像示意图。

图4是局部图像经过图像均值漂移处理后的效果示意图。

图5是采用水平集方法对局部图像分割后的效果示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1，本发明提出一种基于图像均值漂移和水平集方法的图像分割方法，所述图像分割方法包括：

S1：接收外部输入的列车的原始图像。

S2：从所述列车的原始图像中切割出包含线缆的局部图像。

S3：计算所述局部图像的灰度直方图，根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像。

S4：采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强，得到边界二次增强后的局部图像。

S5：基于水平集方法对所述边界二次增强后的局部图像进行分割，得到线缆轮廓。

S6：将分割得到的线缆轮廓映射至列车的原始图像，实现对原始图像中线缆的分割目的。

本发明所提及的基于图像均值漂移和水平集方法的图像分割方法主要包括以下几个步骤：

第一个步骤，从列车的原始图像中切割出包含线缆在内的局部图像，以使图像分割步骤更具有针对性，同时减少后续方法的运算量。

步骤S2中，所述从所述列车的原始图像中切割出包含线缆的局部图像的过程包括：

S21：基于目标检测算法(例如yolo v3算法等)创建局部图像切割模型，对局部图像切割模型进行训练。

S22：将列车原始图像导入训练好的局部图像切割模型，切割出包含线缆的局部图像。

图2为列车的原始图像示意图。图3是采用目标检测算法分类并切割出的列车线缆图像示意图。

第二个步骤，对前述局部图像进行边界增强处理，以使增强后的图像更适于作为后续分割步骤的主体。

本发明提出了至少两次边界增强处理，首先根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像。再采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强，得到边界二次增强后的局部图像。

(一)调整局部图像的色阶

步骤S3中，所述根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像的过程包括以下步骤：

S31：计算所述局部图像的灰度直方图，获取所有灰度在局部图像中出现的频率。

S32：根据灰度直方图的数据调整色阶，建立映射规则，使得映射后的灰度直方图中每个灰度在局部图像中出现频率的均衡度达到设定均衡度阈值。

灰度直方图是关于灰度级分布的函数，是对图像中灰度级分布的统计。灰度直方图是将数字图像中的所有像素，按照灰度值的大小，统计其出现的频率。灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。色阶调整是建立一个新的映射规则，使得所有灰度出现的频率更加均衡。图像的灰度直方图代表了图像不同亮度概率密度，根据直方图的数据调整色阶，使得映射后的直方图更加均衡，从而增加图像边缘部分的对比度。

(二)图像均值漂移算法

步骤S4中，所述采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强的过程包括以下步骤：

S41：在边界一次增强后的局部图像中任选一个像素，定义为初始像素，结合领域空间矢量和领域内每个像素的颜色矢量对初始像素执行均值漂移迭代处理，将初始像素的颜色矢量替换成最后一次迭代的平均颜色矢量。

S42：重复步骤S41，直至完成对边界一次增强后的局部图像中所有像素的均值漂移迭代处理。

在一些例子中，步骤S41中，所述结合领域空间矢量和领域内每个像素的颜色矢量对初始像素执行均值漂移迭代处理的过程包括以下步骤：

S411：针对整个边界一次增强后的局部图像中的每个像素执行均值漂移迭代处理。

优选的，步骤S411中，所述针对整个边界一次增强后的局部图像中的每个像素执行均值漂移迭代处理的过程包括以下步骤：

S4111：将初始像素作为迭代中心点。

S4112：计算以迭代中心点为圆心，设定半径范围的领域范围内的所有像素点的向量之和，获取下一次迭代的迭代中心点，并且将本次迭代过程涉及到的所有像素的平均颜色矢量作为下一次迭代的迭代中心点的颜色矢量。优选的，执行均值漂移算法运算的局部图像满足下述条件：

(x,y):X-sp≤x≤X+sp,Y-sp≤y≤Y+sp,||(R,G,B)-(r,g,b)||≤sr

其中，(X,Y)是初始像素的空间坐标，(R,G,B)是初始像素的颜色矢量；(x,y)是领域范围内的像素点的坐标，(r,g,b)是领域范围内的像素点的颜色矢量，sp是执行均值漂移算法的物理空间半径，sr是颜色空间半径。

S4113：重复步骤S4112，直至满足预设的收敛条件。

S4114：将初始像素的颜色矢量替换成参与最后一次迭代的所有像素的平均颜色矢量。

S412：判断高斯金字塔层数是否大于1，如果大于，将步骤S411的处理结果发送至上一层，进入步骤S413，否则，结束流程。

S413：针对颜色矢量大于当前层次预设颜色矢量阈值的像素点执行均值漂移迭代处理，将处理结果作为再上一层的输出。

S414：重复步骤S413，直至完成最顶层的均值漂移迭代处理。

此处的图像均值漂移是指一个迭代的步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直至满足一定的条件结束。

具体的，设原点是选定的初始迭代点，将其半径为r内所有向量相加，相加的结果如黄色向量所示，其终点指向上图所示的红色点，则下一次迭代以该红色点为圆心，h为半径画圆，然后求这个圆内以圆心为起点所有向量的和。如此迭代下去，圆的中心点为收敛于一个固定的点，也就是概率密度最大的地方。所以均值漂移算法本质上是一种基于梯度的优化算法。

在输入的局部图像(或缩小尺寸的输入图像)的每个像素(X，Y)处执行均值漂移迭代，即，考虑了联合空间颜色超空间中的像素(X，Y)邻域：

(x,y):X-sp≤x≤X+sp,Y-sp≤y≤Y+sp,||(R,G,B)-(r,g,b)||≤sr

其中(R,G,B)和(r,g,b)是颜色成分，应当理解，由于本发明所提及的分割方法不依赖于所使用的颜色空间中的矢量，因此任何三分量颜色空间可以用来代替。在邻域中的平均空间值(X‘,Y’)和平均颜色矢量(R‘,G’,B‘)用作在下一迭代的领域中心。迭代结束后，初始像素(即，迭代从其开始的像素)的颜色分量被设置为最终值(最后一次迭代的平均颜色)：I(X,Y)＜-(R*,G*,B*)。

当maxLevel>0，maxLevel+1个级别的高斯金字塔建成，并且上述步骤是最小的层上的第一运行。在此之后，将结果传递至较大的层，此时迭代仅在那些颜色与金字塔的较低层的sr相比更不同的像素之间进行，这使得颜色区域的边界更加清晰。多高斯金字塔层的迭代结果和通过运行整个原始图像上的均值漂移过程(即，当maxLevel＝＝0)的迭代完全不同。

例如，假设sp选用0，sr选择100，高斯金字塔层数为15层。局部图像经过图像均值漂移处理后的效果示意图如图4，对于肉眼并不明显但实际上有效的怎加了线缆边界处梯度的强度，保证了水平集方法的有效应用。

第三个步骤，采用水平集方法对处理后的局部图像进行分割。

步骤S5中，所述基于水平集方法对所述边界二次增强后的局部图像进行分割，得到线缆轮廓的过程包括以下步骤：

S51：构建高维曲面，所述高维曲面与边界二次增强后的局部图像的相切区域被定义成分割区域，所述分割区域的切面尺寸与局部图像的原始尺寸相匹配。

S52：计算局部图像的梯度。

S53：结合局部图像的梯度图，使高维曲面从其与局部图像切线梯度最低的位置向内收缩；其中，收缩幅度由局部图像的梯度计算得到，在收缩过程中，高维曲面与局部图像的切线曲率始终低于设定曲率阈值。

S54：重复步骤S53，直至梯度变化小于设定的阈值或者收缩次数超过最大迭代次数，分割出线缆轮廓。

水平集方法的优点是可以在笛卡尔网格上对演化中的曲线曲面进行数值计算而不必对曲线曲面参数化。

{(x₁,……,x_n)|f(x₁,……,x_n)＝c}

其中c是常数。即，使得函数值具有给定常数的变量集合。

当具有两个变量时,称为水平曲线(等高线),如果有三个变量,称为水平曲面,更多变量时,水平集被叫做水平超曲面。集合{(x₁,……,x_n)|f(x₁,……,x_n)＝c}被称为f的子水平集。

在此基础上，本步骤包括以下分步骤：

(1)构建高维曲面，曲面与图像的切面刚好与图片大小相同。

(2)计算图像的梯度

(3)曲面与图像切线梯度低的地方向内收缩，收缩的幅度由梯度计算并由参数m_timestep调整，收缩过程中不停的计算切线的曲率，保证收缩的过程中不让曲率过高(分割物体的形状越整齐平滑，曲率的限制越低)

(4)不断的迭代分步骤(3)，最终使得曲面与图像的切线，将物体分割出来。

在本实例中曲率限制的权重选择了1.0，m_timestep选择了0.1，迭代次数选择了300，最终效果如图5所示。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于图像均值漂移和水平集方法的图像分割方法，其特征在于，所述图像分割方法包括：

S1：接收外部输入的列车的原始图像；

S2：从所述列车的原始图像中切割出包含线缆的局部图像；

S3：计算所述局部图像的灰度直方图，根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像；

S4：采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强，得到边界二次增强后的局部图像；

S5：基于水平集方法对所述边界二次增强后的局部图像进行分割，得到线缆轮廓；

S6：将分割得到的线缆轮廓映射至列车的原始图像，实现对原始图像中线缆的分割目的。

2.根据权利要求1所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，步骤S2中，所述从所述列车的原始图像中切割出包含线缆的局部图像的过程包括：

S21：基于目标检测算法创建局部图像切割模型，对局部图像切割模型进行训练；

S22：将列车原始图像导入训练好的局部图像切割模型，切割出包含线缆的局部图像。

3.根据权利要求2所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，所述目标检测算法包括yolo v3算法。

4.根据权利要求1所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，步骤S3中，所述根据计算得到的灰度直方图调整所述局部图像的色阶，得到边界一次增强后的局部图像的过程包括以下步骤：

S31：计算所述局部图像的灰度直方图，获取所有灰度在局部图像中出现的频率；

S32：根据灰度直方图的数据调整色阶，建立映射规则，使得映射后的灰度直方图中每个灰度在局部图像中出现频率的均衡度达到设定均衡度阈值。

5.根据权利要求1所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，步骤S4中，所述采用图像均值漂移算法对所述边界一次增强后的局部图像的边缘进行增强的过程包括以下步骤：

S41：在边界一次增强后的局部图像中任选一个像素，定义为初始像素，结合领域空间矢量和领域内每个像素的颜色矢量对初始像素执行均值漂移迭代处理，将初始像素的颜色矢量替换成最后一次迭代的平均颜色矢量；

S42：重复步骤S41，直至完成对边界一次增强后的局部图像中所有像素的均值漂移迭代处理。

6.根据权利要求5所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，步骤S41中，所述结合领域空间矢量和领域内每个像素的颜色矢量对初始像素执行均值漂移迭代处理的过程包括以下步骤：

S411：针对整个边界一次增强后的局部图像中的每个像素执行均值漂移迭代处理；

S412：判断高斯金字塔层数是否大于1，如果大于，将步骤S411的处理结果发送至上一层，进入步骤S413，否则，结束流程；

S413：针对颜色矢量大于当前层次预设颜色矢量阈值的像素点执行均值漂移迭代处理，将处理结果作为再上一层的输出；

S414：重复步骤S413，直至完成最顶层的均值漂移迭代处理。

7.根据权利要求6所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，步骤S411中，所述针对整个边界一次增强后的局部图像中的每个像素执行均值漂移迭代处理的过程包括以下步骤：

S4111：将初始像素作为迭代中心点；

S4112：计算以迭代中心点为圆心，设定半径范围的领域范围内的所有像素点的向量之和，获取下一次迭代的迭代中心点，并且将本次迭代过程涉及到的所有像素的平均颜色矢量作为下一次迭代的迭代中心点的颜色矢量；

S4113：重复步骤S4112，直至满足预设的收敛条件；

S4114：将初始像素的颜色矢量替换成参与最后一次迭代的所有像素的平均颜色矢量。

8.根据权利要求7所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，执行均值漂移算法运算的局部图像满足下述条件：

(x,y):X-sp≤x≤X+sp,Y-sp≤y≤Y+sp,||(R,G,B)-(r,g,b)||≤sr

其中，(X,Y)是初始像素的空间坐标，(R,G,B)是初始像素的颜色矢量；(x,y)是领域范围内的像素点的坐标，(r,g,b)是领域范围内的像素点的颜色矢量，sp是执行均值漂移算法的物理空间半径，sr是颜色空间半径。

9.根据权利要求1所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，步骤S5中，所述基于水平集方法对所述边界二次增强后的局部图像进行分割，得到线缆轮廓的过程包括以下步骤：

S51：构建高维曲面，所述高维曲面与边界二次增强后的局部图像的相切区域被定义成分割区域，所述分割区域的切面尺寸与局部图像的原始尺寸相匹配；

S52：计算局部图像的梯度；

S53：结合局部图像的梯度图，使高维曲面从其与局部图像切线梯度最低的位置向内收缩；

S54：重复步骤S53，直至梯度变化小于设定的阈值或者收缩次数超过最大迭代次数，分割出线缆轮廓。

10.根据权利要求9所述的基于图像均值漂移和水平集方法的图像分割方法，其特征在于，步骤S53中，收缩幅度由局部图像的梯度计算得到，在收缩过程中，高维曲面与局部图像的切线曲率始终低于设定曲率阈值。

Images