CN114772208B - 一种基于图像分割的非接触式皮带撕裂检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于图像分割的非接触式皮带撕裂检测系统及方法，涉及输送皮带异常检测技术领域；使用工业摄像仪获取现场皮带运行时的图像数据，该视频数据以视频流的形式推送到运行算法的服务器；将部分图像数据标注上发生撕裂的区域；将带有标注的图像数据分别输入到改进的Deeplab‑v3+图像分割网络、U‑Net图像分割网络和SegNet图像分割网络中，将三个模型训练得到三个皮带撕裂检测模型；用三个模型以及集成学习的组合模块、基于超像素分割的优化处理模块共同构成皮带撕裂检测模块；将从工业摄像仪实时获取的图像数据输入到皮带撕裂检测模块，得到皮带撕裂检测结果；将所述皮带撕裂检测结果发送至皮带控制系统。

Description

一种基于图像分割的非接触式皮带撕裂检测系统及方法

技术领域

本发明涉及输送皮带异常检测技术领域，尤其涉及一种基于图像分割的非接触式皮带撕裂检测系统及方法。

背景技术

在煤矿业的实际生产活动中，带式输送机是运输的最重要设备之一。在带式输送机运行过程中，由于诸多原因(例如煤料的尖锐锋利部分可能扎透皮带、煤料中意外混杂有锚杆等坚硬异物可能伤害皮带、皮带被清扫器的刃口挂住、托辊对皮带造成异常磨损等)会引起皮带的纵向撕裂。撕裂异常如果未能及时发觉并控制，则可能在短时间之内造成巨大的经济损失甚至安全事故。目前检测皮带纵向撕裂的方式大体分为有接触式和非接触式两种。其中有接触式检测因极易产生磨损，基本不见使用。而非接触式检测有电磁感应检测法、x光射线检测法、基于线激光的图像检测法等。但以上这些方法存在或多或少的缺陷：或是需要皮带产生较长的撕裂才能检测到，或是在安装时存在成本较高、安装复杂、调试困难的问题，或是在后期使用时需要繁琐的维护。

随着计算机视觉领域的发展，图像分割作为其中一个方向也有了显著的提升。对于无法人为设定精准特征的场景，图像分割网络在判断是否存在撕裂以及准确识别出裂口轮廓的能力上，有着先天的优势。使用深度学习技术，将图像分割的能力应用于皮带撕裂检测的场景中，可实现实时的高精度的非接触式检测。

目前检测皮带纵向撕裂的方式大体分为有接触式和非接触式两种。其中有接触式检测因极易产生磨损，基本不见使用。而非接触式检测有电磁感应检测法、x光射线检测法、基于线激光的图像检测法等。但以上这些方法存在或多或少的缺陷：或是需要皮带产生较长的撕裂才能检测到，或是在安装时存在成本较高、安装复杂、调试困难的问题，或是在后期使用时需要繁琐的维护。

发明内容

针对现有技术的不足，本发明设计了一种基于图像分割的非接触式皮带撕裂检测系统及方法。

一种基于图像分割的非接触式皮带撕裂检测系统包括：数据输入模块、图像打标签模块、模型训练模块、皮带撕裂检测模块以及控制系统模块；

其中，皮带撕裂检测模块包括：基于改进的Deeplab-v3+的图像分割网络、基于U-Net的图像分割网络、基于SegNet的图像分割网络、集成学习的组合模块、基于超像素分割的优化处理模块；

所述基于改进的Deeplab-v3+的图像分割网络是基于原始Deeplab-v3+使用自注意力机制做的改进，得到的模块；所述基于U-Net的图像分割网络、基于SegNet的图像分割网络和改进的Deeplab-v3+图像分割网络并行输出皮带撕裂区域的检测结果；

所述集成学习的组合模块将上述三种模型输出的检测结果合并为一个检测结果；

所述基于超像素分割的优化处理模块是将原始图像进行超像素分割的处理后，进一步使用区域投票算法优化集成学习的组合模块合并的检测结果，使得撕裂区域的轮廓更加精确；

所述数据输入模块，用于获取现场皮带运行时的视频图像数据，此视频图像数据包括视频帧的皮带现场图片，输出到图像打标签模块；图像打标签模块将获取到的皮带现场图片进行标注，把撕裂部分的区域轮廓标注出来，并输出到模型训练模块；模型训练模块将标注好的图像数据输入至构建的图像分割网络中，经训练处理得到完备的皮带撕裂检测模块；将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果，并把皮带撕裂检测结果输出到控制系统模块；控制系统模块将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

另一方面，一种基于图像分割的非接触式皮带撕裂检测方法基于一种基于图像分割的非接触式皮带撕裂检测系统实现，具体包括以下步骤：

步骤1：通过工业摄像仪获取现场皮带运行时的视频图像数据，所述视频图像数据为工业摄像仪获取的视频帧的现场皮带图片；

步骤2：将视频图像数据进行筛选；对筛选后的视频图像数据进行标注，将撕裂部分的区域轮廓标注出来；标注的标签为与视频图像数据同尺寸的单通道图像，每个像素上的值代表所属的类别；

步骤3：将标注好的视频图像数据分别输入至改进的Deeplab-v3+图像分割网络、U-Net图像分割网络和SegNet图像分割网络中，经训练得到三个用于皮带撕裂检测的深度学习网络模型，输出三个检测结果；

步骤3.1：Deeplab-v3+的空洞空间金字塔池化结构获取视频图像数据的不同尺度的特征；引入通道注意力机制，将通道注意力机制放置在Deeplab-v3+的解码区的跃层特征融合之前，得到改进的Deeplab-v3+网络，输出检测结果；

步骤3.1.1：在空间维度上进行特征压缩，得到1*1*C的通道描述，这个特征图具有全局的感受野，也就是说将一个通道上的整个空间信息(H*W)压缩为一个全局特征，最后得到C个全局特征，采用全局平均池化实现；公式如下：

其中，输入进通道注意力机制的特征图U的尺寸为C*H*W，U_c为每个通道上的特征图，i、j用于遍历特征图的每个像素，F_sq代表全局平均池化操作；Z_c是每个通道上的特征被压缩后的值；

S＝F_ex(z，W)

F_ex是对于每个特征通道生成一个权重值S_c，S_C的集合S即为所有通道的权重；此处参数W代表被学习的权重，用来建模特征通道间的相关性；

最后，通过标量S_C与特征U_C相乘，得到经过通道注意力机制处理过的特征图

步骤3.1.2：将标注好的视频图像数据输入至改进的Deeplab-v3+图像分割网络，训练出网络权重，得到基于改进的Deeplab-v3+用于皮带撕裂检测的深度学习网络模型；将视频图像数据入改进的Deeplab-v3+模型中，输出为一张单通道的图片，尺寸为视频图像数据大小，每个像素上的值代表该像素的种类；

步骤3.2：将标注好的视频图像数据输入至U-Net图像分割网络，训练出U-Net的网络权重，得到基于U-Net用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入U-Net模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

步骤3.3：将标注好的视频图像数据分别输入至SegNet图像分割网络，训练出SegNet的网络权重，得到基于SegNet用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入SegNet模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

步骤4：对于三个深度学习网络模型输出的三个检测结果，使用集成学习的方式，将三个结果合并为一个检测结果；

使用投票法；假设预测类别是{C₁,C₂,...C_K}，对于任意一个预测样本x，T个弱学习器的预测结果分别是{h₁(x),h₂(x),...h_T(x)}；其中加权投票法对于视频图像数据上的某一个像素，每个弱学习器的分类票数都要乘以一个权重{λ₁,λ₂,...λ_T}，最终将各个类别的加权票数求和，最大的值对应的类别为这个像素的最终类别，即合并的检测结果；

步骤5：将经过集成学习处理得到的结果使用超像素分割和区域投票进行优化处理，得到皮带撕裂检测模块，输出更加精细的检测结果；

步骤5.1：首先在视频图像数据上生成K个种子点即聚类中心，这K个种子点在视频图像数据上是均匀分布的；假设视频图像数据有N个像素，则分割后每块超像素有N/K个像素，每块超像素的边长大致为sqrt(N/K)，两个聚类中心的距离为S，为了避免所选的种子点是边缘或者噪声点，对每个种子点，计算其3*3的窗口中像素的梯度，然后将聚类中心移动到梯度最小的那个像素上；

步骤5.2：对视频图像数据的每个像素，在其2S*2S周围内搜索与其最近的种子点，并分配他们属于某一种子类，直到所有像素点都归类完毕，得到K个超像素，距离度量公式：

其中，i、j用于遍历每个像素，d_c代表颜色距离，d_s代表空间距离，N_s代表类内最大空间距离，N_s＝S＝sqrt(N/K)，N_c代表最大的颜色距离；l_i、a_i、b_i分别表示视频图像数据图片在LAB颜色空间三个通道上的值；D'表示对于每个搜索到的像素点，它和种子点的距离；

步骤5.3：计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛；

步骤5.4：根据步骤5.1—步骤5.3，得到经超像素分割处理后的结果，被分割为若干个超像素子区域，用若干子区域对步骤4得到的检测结果进行处理；

对于每个超像素子区域R，将该子区域内包含像素点个数最多的预测标签值赋予该子区域，其包含像素的最终预测标签值可以表示为：

其中，Pred(R)为超像素子区域R的分类类别，N_c代表总的类别数，#label代表第i个类别的票数；

所有的Pred结果汇总到一起即为优化后的检测结果；

步骤6：将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果；

步骤7：将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

定期对皮带视频图像数据进行重新标注，统计皮带撕裂检测模型的正识别、负识别、误识别样本，将错误识别样本进行标注后，使用其训练并改进皮带撕裂检测模块的识别效果。

本发明的有益技术效果：

本发明在上下皮带之间安装成像系统，成像系统光轴指向皮带的非承载面，提取清晰的皮带图像。使用一种图像分割网络训练带有标注的出现撕裂的皮带面图像和正常情况下皮带面图像，做到对于皮带撕裂区域轮廓的精确分割，进而用来进行识别，如果存在撕裂结构，则输出撕裂结构的轮廓并认为皮带发生了撕裂。该方法属于非接触式检测，检测精度高，成本低，易安装易维护。

本发明提供的基于图像分割的皮带撕裂检测装置及方法，使得皮带撕裂检测得到的信息更加准确，降低了皮带检测所需的物料成本和维护成本，可为煤矿业生产提供有效帮助。本发明可综合使用多种图像分割模型，将结果进行汇总并优化，考虑到多种影响因素，范围较广，得到的结果有较高的可信度。

附图说明

图1本发明实施例一种基于图像分割的非接触式皮带撕裂检测方法的流程图；

图2本发明实施例一种基于图像分割的非接触式皮带撕裂检测系统的模块图；

图3本发明实施例现场图像数据采集装置示意图。其中，10-带式输送机；11-补光光源；12-矿用隔爆兼本安型全彩摄像仪。

具体实施方式

下面结合附图和实施例对本发明作进一步说明；

本发明设计了一种基于图像分割的非接触式皮带撕裂检测系统及方法。

本实施例中的皮带现场图像数据经过标记，输入至特殊构建的图像分割网络中，训练得到皮带撕裂检测模块。后续的视频图像直接输入至皮带撕裂检测模块即可得到皮带撕裂区域的检测结果。皮带撕裂检测模块自动学习图片的特征，提高特征提取的正确性，实现实时的高精度的非接触式检测，广泛适用于皮带撕裂检测的应用场景中。

一种基于图像分割的非接触式皮带撕裂检测系统包括：数据输入模块、图像打标签模块、模型训练模块、皮带撕裂检测模块以及控制系统模块；如附图2所示；

其中，皮带撕裂检测模块包括：基于改进的Deeplab-v3+的图像分割网络、基于U-Net的图像分割网络、基于SegNet的图像分割网络、集成学习的组合模块、基于超像素分割的优化处理模块；

所述基于改进的Deeplab-v3+的图像分割网络是基于原始Deeplab-v3+使用自注意力机制技术做的改进，得到的模块；所述基于U-Net的图像分割网络、基于SegNet的图像分割网络和改进的Deeplab-v3+图像分割网络并行输出皮带撕裂区域的检测结果；

所述集成学习的组合模块将上述三种模型输出的检测结果合并为一个检测结果；

所述基于超像素分割的优化处理模块是将原始图像进行超像素分割的处理后，进一步使用区域投票算法优化集成学习的组合模块合并的检测结果，使得撕裂区域的轮廓更加精确；

所述数据输入模块，用于获取现场皮带运行时的视频图像数据，此视频图像数据包括视频帧的皮带现场图片，输出到图像打标签模块；图像打标签模块将获取到的皮带现场图片进行标注，把撕裂部分的区域轮廓标注出来，并输出到模型训练模块；模型训练模块将标注好的图像数据输入至构建的图像分割网络中，经训练处理得到完备的皮带撕裂检测模块；将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果，并把皮带撕裂检测结果输出到控制系统模块；控制系统模块将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

另一方面，一种基于图像分割的非接触式皮带撕裂检测方法基于一种基于图像分割的非接触式皮带撕裂检测系统实现，如图1所示，具体包括以下步骤：

步骤1：通过工业摄像仪获取现场皮带运行时的视频图像数据，所述视频图像数据为工业摄像仪获取的视频帧的现场皮带图片；

如图3所示，获取现场皮带运行时的视频图像数据，此视频图像包括视频帧的皮带现场图片。获取皮带10的运行时的视频图像数据的方法是通过部署在皮带下方的矿用隔爆兼本安型全彩摄像仪12进行采集的。

步骤2：将视频图像数据进行筛选；对筛选后的视频图像数据进行标注，将撕裂部分的区域轮廓标注出来；标注的标签为与视频图像数据同尺寸的单通道图像，每个像素上的值代表所属的类别；

如图3所示，对于获取到的皮带现场图片进行标注，将撕裂部分的区域轮廓标注出来。为获得更高质量的图像，在皮带下方还部署了补光光源11。

步骤3：将标注好的视频图像数据分别输入至改进的Deeplab-v3+图像分割网络、U-Net图像分割网络和SegNet图像分割网络中，经训练得到三个用于皮带撕裂检测的深度学习网络模型，输出三个检测结果；

步骤3.1：Deeplab-v3+的空洞空间金字塔池化结构获取视频图像数据的不同尺度的特征；引入通道注意力机制，将通道注意力机制放置在Deeplab-v3+的解码区的跃层特征融合之前，得到改进的Deeplab-v3+网络，输出检测结果进一步提高Deeplab-v3+的检测精度；使其具有更多的非线性，更好地拟合通道间复杂的相关性；

在深度学习中引入注意力机制的思想源自于人类视觉的注意力机制，在人对大幅图像进行观察时，会不自觉地将对其更关注的区域投入更多的注意力，而不是对全幅图像给予相同程度的关注。人视觉上的这种注意力机制，实际上是一种高效分配有效资源的方式。

对于图像(非序列图形或者视频)的深度学习网络，一般只关注空间注意力机制和通道注意力机制，两种机制分别关注深度特征图的空间尺寸(宽度和高度)和特征通道。

所述通道注意力机制的输入input是一个H*W*C的特征，共C个通道；然后进行一个空间的全局平均池化，每个通道得到一个标量，输出为1*1*C；再送入两层的全连接神经网络，同时保持size不变，通过一个Sigmoid函数得到C个0～1之间的权重M_C，格式为1*1*C，作为C个通道各自的权重，M_C*input得到输出特征图，即对应通道的每个元素与权重分别相乘；

步骤3.1.1：在空间维度上进行特征压缩，得到1*1*C的通道描述，这个特征图具有全局的感受野，也就是说将一个通道上的整个空间信息(H*W)压缩为一个全局特征，最后得到C个全局特征，采用全局平均池化实现；公式如下：

其中，输入进通道注意力机制的特征图U的尺寸为C*H*W，U_c为每个通道上的特征图，i、j用于遍历特征图的每个像素，F_sq代表全局平均池化操作；Z_c是每个通道上的特征被压缩后的值；

S＝F_ex(z，W)

F_ex是对于每个特征通道生成一个权重值S_c，S_C的集合S即为所有通道的权重。此处参数W代表被学习的权重，用来建模特征通道间的相关性。

最后，通过标量S_C与特征U_C相乘，得到经过通道注意力机制处理过的特征图

步骤3.1.2：将标注好的视频图像数据输入至改进的Deeplab-v3+图像分割网络，训练出网络权重，得到基于改进的Deeplab-v3+用于皮带撕裂检测的深度学习网络模型；将视频图像数据入改进的Deeplab-v3+模型中，输出为一张单通道的图片，尺寸为视频图像数据大小，每个像素上的值代表该像素的种类；

步骤3.2：将标注好的视频图像数据输入至U-Net图像分割网络，训练出U-Net的网络权重，得到基于U-Net用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入U-Net模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

U-Net图像分割网络类似于一个大型的字母U，其encoder下采样4次，一共下采样16倍，对称地，其decoder也相应上采样4次，将encoder得到的高级语义特征图恢复到原图片的分辨率，得到一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类。U-Net主要贡献是在U型结构上，该结构可以使它使用更少的训练图片的同时，且分割的准确度也不会差。

步骤3.3：将标注好的视频图像数据分别输入至SegNet图像分割网络，训练出SegNet的网络权重，得到基于SegNet用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入SegNet模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

SegNet图像分割网络整个结构就是一个encoder和一个decoder；前面的encoder就是采用的vgg-16的网络结构，而decoder和encoder基本上就是对称的结构，其与U-Net的区别在于上采样的方式不同。得到一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类。

步骤4：对于三个深度学习网络模型输出的三个检测结果，使用集成学习的方式，将3个结果合并为1个检测结果；

集成学习就是组合多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。本实施例中结合多种语义分割网络预测结果的策略是使用加权投票法。

使用投票法；假设预测类别是{C₁,C₂,...C_K}，对于任意一个预测样本x，T个弱学习器的预测结果分别是{h₁(x),h₂(x),...h_T(x)}；其中加权投票法对于视频图像数据上的某一个像素，每个弱学习器的分类票数都要乘以一个权重{λ₁,λ₂,...λ_T}，最终将各个类别的加权票数求和，最大的值对应的类别为这个像素的最终类别，即合并的检测结果；

步骤5：将经过集成学习处理得到的结果使用超像素分割和区域投票进行优化处理，得到皮带撕裂检测模块，输出更加精细的检测结果；

步骤5.1：首先在视频图像数据上生成K个种子点即聚类中心，这K个种子点在视频图像数据上是均匀分布的；假设视频图像数据有N个像素，则分割后每块超像素有N/K个像素，每块超像素的边长大致为S＝sqrt(N/K)，两个聚类中心的距离为S，为了避免所选的种子点是边缘或者噪声点，对每个种子点，计算其3*3的窗口中像素的梯度，然后将聚类中心移动到梯度最小的那个像素上；

步骤5.2：对视频图像数据的每个像素，在其2S*2S周围内搜索与其最近的种子点，并分配他们属于某一种子类，直到所有像素点都归类完毕，得到K个超像素，距离度量公式：

其中，i、j用于遍历每个像素，d_c代表颜色距离，d_s代表空间距离，N_s代表类内最大空间距离，N_s＝S＝sqrt(N/K)，N_c代表最大的颜色距离；l_i、a_i、b_i分别表示视频图像数据图片在LAB颜色空间三个通道上的值；D'表示对于每个搜索到的像素点，它和种子点的距离；

步骤5.3：计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛；

步骤5.4：根据步骤5.1-步骤5.3，得到经超像素分割处理后的结果，被分割为若干个超像素子区域，用若干子区域对步骤4得到的检测结果进行处理；

对于每个超像素子区域R，将该子区域内包含像素点个数最多的预测标签值赋予该子区域，其包含像素的最终预测标签值可以表示为：

其中，Pred(R)为超像素子区域R的分类类别，N_c代表总的类别数，#label代表第i个类别的票数；

所有的Pred结果汇总到一起即为优化后的检测结果；

本实施例中的图像分割网络使用集成学习技术，综合使用包括改进的Deeplab-v3+、U-Net、SegNet等语义分割网络，通过加权投票法输出一张分割出皮带撕裂区域的图像。

此处从语义分割网络输出的图像，经过基于超像素分割的区域投票方法进行优化处理后，作为最终的皮带撕裂检测结果。

首先是使用过深度语义分割模型进行预测后，得到语义的概率图，大小为H×W×Nc，其中Nc代表总的类别数，也就是概率图的个数。

然后将待预测图进行超像素分割处理，这个操作可以有效的捕获图像中的冗余信息，常常作为后续图像处理算法的预处理步骤。

最后使用区域投票算法，将深度语义分割模型输出概率图，结合超像素算法分割出的物体或背景内的每个子区域，通过对子区域内的所有像素点的预测标签值进行统计，将该子区域内包含像素点个数最多的预测标签值赋予该子区域就可以进一步的提升语义分割结果的精度，尤其是减小物体内部子区域像素标签预测不一致和物体边界像素预测不准确带来的精度损失。

步骤6：将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果；

步骤7：将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

定期对皮带图像进行重新标注，统计皮带撕裂检测模型的正识别、负识别、误识别样本，将错误识别样本进行标注后，使用其训练并改进皮带撕裂检测模块的识别效果。

当皮带检测结果是存在撕裂区域时，皮带的控制系统会及时响应这个信息，通过控制皮带的运转，在第一时间处理质量异常情况，以避免出现皮带撕裂情况加剧甚至产生安全事故等更严重情况。

采用本发明所述的基于图像分割的皮带撕裂检测方法，在采用矿用隔爆兼本安型全彩摄像仪进行实时采集图像，使用宽带接入服务器上，分别对于0.5m/s、1m/s、2m/s、4m/s的皮带进行检测，检测速率可达到62.5fps。从试验的结果来看，采用本方法可以对于多种光线情况下的不同撕裂程度进行有效的检测。本发明部署简单，检测有效，达到了应用的要求。

Claims (1)

1.一种基于图像分割的非接触式皮带撕裂检测方法，其特征在于，基于一种基于图像分割的非接触式皮带撕裂检测系统实现，所述检测系统具体包括：数据输入模块、图像打标签模块、模型训练模块、皮带撕裂检测模块以及控制系统模块；

所述数据输入模块，用于获取现场皮带运行时的视频图像数据，此视频图像数据包括视频帧的皮带现场图片，输出到图像打标签模块；图像打标签模块将获取到的皮带现场图片进行标注，把撕裂部分的区域轮廓标注出来，并输出到模型训练模块；模型训练模块将标注好的图像数据输入至构建的图像分割网络中，经训练处理得到完备的皮带撕裂检测模块；将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果，并把皮带撕裂检测结果输出到控制系统模块；控制系统模块将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

所述皮带撕裂检测模块包括：基于改进的Deeplab-v3+的图像分割网络、基于U-Net的图像分割网络、基于SegNet的图像分割网络、集成学习的组合模块、基于超像素分割的优化处理模块；

所述基于改进的Deeplab-v3+的图像分割网络是基于原始Deeplab-v3+使用自注意力机制做的改进，得到的模块；所述基于U-Net的图像分割网络、基于SegNet的图像分割网络和改进的Deeplab-v3+图像分割网络并行输出皮带撕裂区域的检测结果；

所述集成学习的组合模块将上述三种模型输出的检测结果合并为一个检测结果；

所述基于超像素分割的优化处理模块是将原始图像进行超像素分割的处理后，进一步使用区域投票算法优化集成学习的组合模块合并的检测结果，使得撕裂区域的轮廓更加精确；

所述一种基于图像分割的非接触式皮带撕裂检测方法，具体包括以下步骤：

步骤1：通过工业摄像仪获取现场皮带运行时的视频图像数据，所述视频图像数据为工业摄像仪获取的视频帧的现场皮带图片；

步骤2：将视频图像数据进行筛选；对筛选后的视频图像数据进行标注，将撕裂部分的区域轮廓标注出来；标注的标签为与视频图像数据同尺寸的单通道图像，每个像素上的值代表所属的类别；

步骤3：将标注好的视频图像数据分别输入至改进的Deeplab-v3+图像分割网络、U-Net图像分割网络和SegNet图像分割网络中，经训练得到三个用于皮带撕裂检测的深度学习网络模型，输出三个检测结果；

步骤4：对于三个深度学习网络模型输出的三个检测结果，使用集成学习的方式，将三个结果合并为一个检测结果；

步骤5：将经过集成学习处理得到的结果使用超像素分割和区域投票进行优化处理，得到皮带撕裂检测模块，输出更加精细的检测结果；

步骤6：将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果；

步骤7：将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

定期对皮带视频图像数据进行重新标注，统计皮带撕裂检测模型的正识别、负识别、误识别样本，将错误识别样本进行标注后，使用其训练并改进皮带撕裂检测模块的识别效果；

所述步骤3具体为：

步骤3.1：Deeplab-v3+的空洞空间金字塔池化结构获取视频图像数据的不同尺度的特征；引入通道注意力机制，将通道注意力机制放置在Deeplab-v3+的解码区的跃层特征融合之前，得到改进的Deeplab-v3+网络，输出检测结果；

步骤3.2：将标注好的视频图像数据输入至U-Net图像分割网络，训练出U-Net的网络权重，得到基于U-Net用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入U-Net模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

步骤3.3：将标注好的视频图像数据分别输入至SegNet图像分割网络，训练出SegNet的网络权重，得到基于SegNet用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入SegNet模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

所述步骤3.1具体为：

步骤3.1.1：在空间维度上进行特征压缩，得到1*1*C的通道描述，这个特征图具有全局的感受野，也就是说将一个通道上的整个空间信息(H*W)压缩为一个全局特征，最后得到C个全局特征，采用全局平均池化实现；公式如下：

其中，输入进通道注意力机制的特征图U的尺寸为C*H*W，U_c为每个通道上的特征图，i、j用于遍历特征图的每个像素，F_sq代表全局平均池化操作；Z_c是每个通道上的特征被压缩后的值；

S＝F_ex(z，W)

F_ex是对于每个特征通道生成一个权重值S_c，S_C的集合S即为所有通道的权重；此处参数W代表被学习的权重，用来建模特征通道间的相关性；

最后，通过标量S_C与特征U_C相乘，得到经过通道注意力机制处理过的特征图

步骤3.1.2：将标注好的视频图像数据输入至改进的Deeplab-v3+图像分割网络，训练出网络权重，得到基于改进的Deeplab-v3+用于皮带撕裂检测的深度学习网络模型；将视频图像数据入改进的Deeplab-v3+模型中，输出为一张单通道的图片，尺寸为视频图像数据大小，每个像素上的值代表该像素的种类；

所述步骤4具体为：

使用投票法；假设预测类别是{C₁,C₂,...C_K}，对于任意一个预测样本x，T个弱学习器的预测结果分别是{h₁(x),h₂(x),...h_T(x)}；其中加权投票法对于视频图像数据上的某一个像素，每个弱学习器的分类票数都要乘以一个权重{λ₁,λ₂,...λ_T}，最终将各个类别的加权票数求和，最大的值对应的类别为这个像素的最终类别，即合并的检测结果；

所述步骤5具体为：

步骤5.1：首先在视频图像数据上生成K个种子点即聚类中心，这K个种子点在视频图像数据上是均匀分布的；假设视频图像数据有N个像素，则分割后每块超像素有N/K个像素，每块超像素的边长为sqrt(N/K)，两个聚类中心的距离为S，为了避免所选的种子点是边缘或者噪声点，对每个种子点，计算其3*3的窗口中像素的梯度，然后将聚类中心移动到梯度最小的那个像素上；

步骤5.2：对视频图像数据的每个像素，在其2S*2S周围内搜索与其最近的种子点，并分配他们属于某一种子类，直到所有像素点都归类完毕，得到K个超像素，距离度量公式：

其中，i、j用于遍历每个像素，d_c代表颜色距离，d_s代表空间距离，N_s代表类内最大空间距离，N_s＝S＝sqrt(N/K)，N_c代表最大的颜色距离；l_i、a_i、b_i分别表示视频图像数据图片在LAB颜色空间三个通道上的值；D'表示对于每个搜索到的像素点，它和种子点的距离；

步骤5.3：计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛；

步骤5.4：根据步骤5.1—步骤5.3，得到经超像素分割处理后的结果，被分割为若干个超像素子区域，用若干子区域对步骤4得到的检测结果进行处理；

对于每个超像素子区域R，将该子区域内包含像素点个数最多的预测标签值赋予该子区域，其包含像素的最终预测标签值可以表示为：

其中，Pred(R)为超像素子区域R的分类类别，N_c代表总的类别数，#label代表第i个类别的票数；

所有的Pred结果汇总到一起即为优化后的检测结果。

Images