CN111517092A - 一种传动带撕裂检测方法 - Google Patents

Abstract

本发明公开一种传动带撕裂检测方法，基于双时间规模更新的多分类深度卷积生成对抗网络，通过将生成器中的批量归一化去掉，不仅能提高破损检测的准确性，而且能减少网络训练的时间，其次，将鉴别器的输出使用多分类softmax函数，以输出类别概率的向量，对传送带破损出现的划痕、划伤及撕裂进行准确分类，同时引入双时间规模更新规则，生成器和鉴别器使用不同的学习率，并按2:1比例进行更新，不仅能够保持生成器和鉴别器的对抗平衡性，而且提高了鉴别器的训练速度，使得传送带破损检测实时性更好。

Description

一种传动带撕裂检测方法

技术领域

本发明属于皮带检测技术领域，尤其涉及一种传动带撕裂检测方法。

背景技术

皮带机是煤矿井下运输过程中不可缺少的设备之一，传送带是皮带机的核心部件，其状态直接影响皮带机的安全稳定运行。井下工作环境复杂，在运输过程中，当煤炭中混有棱角的矸石、细杆状物等尖锐物体时，可能会直接穿透传送带卡在托辊上，在运动过程中造成传送带撕裂。此外，如果传送带工作时间过长，因受力不均导致其表面磨损较大，出现划痕、划伤等现象，若长时间注意不到，可能导致撕裂。

目前传送带撕裂检测方法大致可分为接触检测和非接触检测。

接触检测通常借助托辊压力进行检测，如摆动托辊检测法、撕裂压力检测法等。若发生撕裂时，这些方法通过托辊上的传送带受力情况来进行检测，快速简单，但造价比较高，且在物料运输中若有较大的煤块通过落料口，与缓冲托辊发生碰撞，极易导致误检或漏检。

非接触检测方法大多基于无损检测理论，如超声波检测法，根据波导管产生超声波的送波和受波状态不同来进行撕裂检测，但煤矿井下的开采作业存在复杂噪音，超声系统很难接收包括纵向撕裂信息在内的回波，使得检测准确率不高。随着机器视觉的发展，非接触检测逐渐运用边缘提取、捕获显著区域等图像处理方法对采集到的传送带图像进行监测。

Yang等人提出基于红外图像的传送带撕裂预警方法，使用红外热像仪来捕获传送带的红外图像，通过灰度直方图计算阈值并获得二值化图像，以此判断传送带是否发生撕裂。由于该方法仅对撕裂区域进行二值化处理，因此仅能检测撕裂这一破损类型。

Li等人提出了基于改进单尺度图像增强的实时检测方法，运用边缘检测及单尺度图像增强算法提取图像边缘及非边缘特征，得到特征点阵阵列，根据此阵列的数值特性判断传送带是否存在纵向撕裂。但该方法仅对撕裂部位的面积，细度和矩形度提取特征，不能及时发现其他非严重撕裂的破损类型。

Qiao等人设计了一种双目视觉检测方法，该方法结合了可见光提取场景信息特征，以及红外光提取边缘等细节特征的优势，由采集到的传送带图像在x轴和y轴上的投影矢量，计算得到纵向撕裂的长度，宽度和面积，从而判定撕裂部位特征。由于采用投影计算撕裂部位特征，计算时间比较冗长。

Qiao等人提出了具有角点筛选功能的Harris角点检测算法，使得在特征识别过程中消除伪角的影响，并结合霍夫变换将原始图像分为高光图像和凹痕图像，来确定传送带破损类型，但凹痕图像仅选用了单一裂痕，缺乏泛化能力。

Hao等人提出一种基于视觉显著性的多分类支持向量机检测方法，利用支持向量机将通过视觉显著性提取到的七维向量空间特征的非线性可分样本，转化为高维空间的线性可分样本，采用径向基核函数，对测试样本进行分类。该方法虽能检测出划痕、划伤、撕裂三种破损类型，但是需将采集到的传送带图像经二值化、灰度直方图等预处理，才能获取破损部位的特征，造成计算时间冗长。综上所述，在实际应用中，这些检测方法存在一些如下的问题：

(1)大多数基于机器视觉的非接触检测方法仅能检测出单一的破损类型；

(2)大多数基于图像的检测方法均需经过二值化、边缘提取、图像去噪等预处理操作，容易造成计算时间冗长。

发明内容

本发明提供一种传动带撕裂检测方法，旨在解决上述存在的问题。

本发明是这样实现的，一种传动带撕裂检测方法，基于双时间规模更新的多分类深度卷积生成对抗网络，包括以下步骤：

S1：获取传送带真实图像数据集，随机从真实图像数据集中提取若干真实图像，对提取出真实图像中存在的破损部位进行破损类型标注，破损类型包括划痕、划伤和撕裂；

S2：构建多分类深度卷积生成对抗网络，包括生成器模型和鉴别器模型；

所述生成器模型用于生成伪图像；

所述鉴别器模型接收真实图像和伪图像并进行对比判别；

S3：将真实图像数据集输入到多分类深度卷积生成对抗网络进行训练，在生成器模型和鉴别器模型的训练过程中，引入双时间规模更新规则，直至生成器模型和鉴别器模型对抗趋于平衡，其中鉴别器模型获取真实图像全部图像特征；

S4：实时获取传送带图像，将传送带图像输入到训练好的多分类深度卷积生成对抗网络中，鉴别器输出图像特征并判别特征类型；

若图像特征包含撕裂，则控制传送带立即停止；

若图像特征包含划伤，则发出警告，不控制传送带停止；

若图像特征包含划痕，则传送带正常运行。

进一步的，在步骤S2中，所述生成器模型包括依次设置的全连接层、reshape函数、反卷积层一、反卷积层二、反卷积层三和反卷积层四。

进一步的，所述反卷积层一、反卷积层二、反卷积层三不使用批量归一化。

进一步的，在步骤2中，鉴别器模型包括依次设置的卷积层一、卷积层二、卷积层三、卷积层四、全连接层和softmax函数。

进一步的，所述鉴别器模型的输入x为带有标签y的真实图像或伪图像，x经过卷积层一、卷积层二、卷积层三、卷积层四后，卷积层四输出图像的特征向量和鉴别器模型的梯度，图像的特征向量输入至全连接层，鉴别器模型的梯度输入至生成器模型；全连接层的输出为l＝{l₁,l₂,...,l_k+1}的k+1维向量，softmax函数将全连接层的输出转换为k+1维的类别概率p＝{p₁,p₂,...,p_k+1}，其中真实图像判别为前k个类别，伪图像判别为第k+1个类别，softmax函数如下所示：

其中，l_i表示全连接层输入的特征向量，l_j表示为全连接层输出的类别向量，p_j表示输出的类别概率，e为自然对数的底数；

选择交叉熵函数作为鉴别器模型D(y|x)的损失函数，将D(y|x)定义为：

其中，j表示类别，y'是期望的类别，p_j表示输出的类别概率。

进一步的，在步骤S3中，引入双时间规模更新规则，具体包括：

定义鉴别器模型D(y|x)其梯度为h(d)，定义生成器模型为G(z)其梯度为h(g)；

假设每次迭代训练中鉴别器模型和生成器模型都有m个图像样本，鉴别器模型的梯度h(d)定义为：

其中y＜k+1为前k个类别，y＝k+1为伪图像类别,x^t表示第t个输入的真实图像样本，G(z^t)表示生成器模型生成的第t个伪图像样本，且1≤t≤m，θ_d为鉴别器模型的参数；

生成器模型的梯度h(g)定义为：

其中y＝k+1为伪图像类别，θ_g为生成器模型的参数；

多分类深度卷积生成对抗网络更新规则如下所示:

h_n+1＝βah_n(d)+αbh_n(g)

其中，h为多分类深度卷积生成对抗网络更新规则，α和β为比例常数，a和b分别为鉴别器模型和生成器模型的学习率，n为迭代次数；

按照α:β的比例对生成器模型和鉴别器模型进行迭代更新。

进一步的，在步骤S3中，将真实图像数据集输入到多分类深度卷积生成对抗网络进行训练的具体步骤包括：

S31：输入随机向量至生成器模型中，生成器模型生成伪图像

S32：真实图像x¹和伪图像

同时输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₁(d)；

S33：生成器模型获取梯度h₁(d)，重新生成伪图像

S34：真实图像x¹和伪图像

同时输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₂(d)；

......

直至鉴别器模型第n次迭代输出的梯度h_n(d)，与鉴别器模型第n+1次迭代输出的梯度h_n+1(d)，两者趋于一致时，生成器模型和鉴别器模型对抗趋于平衡，多分类深度卷积生成对抗网络训练完成，鉴别器模型获取了真实图像的全部图像特征。

进一步的，在步骤S3中，按照α:β＝2:1的比例对生成器模型和鉴别器模型进行迭代更新。

进一步的，在步骤S3中，每次迭代训练中，图像样本数量m为7。

与现有技术相比，本发明的有益效果是：

1、由于生成器使用批量归一化，在生成的传送带图像中容易产生伪影，影响传送带破损的准确检测，且批量归一化容易造成计算时间冗长和内存占用，本申请将生成器中的批量归一化去掉，不仅能提高破损检测的准确性，而且能减少网络训练的时间。

2、由于深度卷积生成对抗网络的鉴别器不能用于识别多种对象类型，本申请将鉴别器的输出使用多分类softmax函数，以输出类别概率的向量，对传送带破损出现的划痕、划伤及撕裂进行准确分类。

3、由于鉴别器和生成器多使用相同的学习率，使得模型易出现崩溃，本申请引入双时间规模更新规则，生成器和鉴别器使用不同的学习率，并按α:β进行更新，不仅能够保持生成器和鉴别器的对抗平衡性，而且提高了鉴别器的训练速度，使得传送带破损检测实时性更好。

附图说明

图1为本发明检测方法原理图；

图2为本发明中生成器模型结构示意图；

图3为本发明中鉴别器模型结构示意图；

图4为本发明中基于softmax函数的传送带多分类破损检测原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例1

请参阅图1-4，本实施方式中，本发明采用多分类深度卷积生成对抗网络对传送带图像进行检测，多分类深度卷积生成对抗网络包括鉴别器模型和生成器模型；

请参阅图2，生成器模型包括依次设置的全连接层、reshape函数、反卷积层一、反卷积层二、反卷积层三和反卷积层四，其中，反卷积层一、反卷积层二、反卷积层三不使用批量归一化。

生成器模型的原始输入是一个随机噪声向量，假设随机向量z具有均匀的噪声分布p_z(z)，生成器模型G(z)将其映射到真实图像的数据空间，以生成伪图像；如表1所示：

表1生成器模型

请参阅图3，鉴别器模型包括依次设置的卷积层一、卷积层二、卷积层三、卷积层四、全连接层和softmax函数。如表2所示：

表2鉴别器模型

鉴别器模型的输入x为带有标签y的真实图像或伪图像，其分布为p_dat(_ax,y)；

x经过卷积层一、卷积层二、卷积层三、卷积层四后，卷积层四输出图像的特征向量和鉴别器模型的梯度，图像的特征向量输入至全连接层，鉴别器模型的梯度输入至生成器模型；全连接层的输出为l＝{l₁,l₂,...,l_k+1}的k+1维向量，softmax函数将全连接层的输出转换为k+1维的类别概率p＝{p₁,p₂,...,p_k+1}，其中真实图像判别为前k个类别，伪图像判别为第k+1个类别，softmax函数如下所示：

其中，l_i表示全连接层输入的特征向量，l_j表示为全连接层输出的类别向量，p_j表示输出的类别概率，e为自然对数的底数，约等于2.71828；

选择交叉熵函数作为鉴别器模型D(y|x)的损失函数，用来判定实际输出与期望输出的接近程度，若损失值越小，则模型学习的越好，故通过损失函数最小化来优化网络模型，将D(y|x)定义为：

其中，j表示类别，y'是期望的类别，p_j表示输出的类别概率。

y和y'采用独热编码(one-hot编码)，即若鉴别器输出为第j类别，则其相应位置编码为1，其余位置编码均为0。

当输入是真实图像时，D(y|x,y＜k+1)可以表示为：

其中，y'表示期望的类别，p_j表示输出的类别概率；

当输入是伪图像时，D(y|x,y＝k+1)可以简化为：

D(y|x,y＝k+1)＝-log(p_k+1)

其中，p_k+1为伪图像的类别概率；

基于softmax函数的传送带多分类破损检测原理图如图4所示，在本发明公开的基于多分类深度卷积生成对抗网络的传送带破损检测中，通过softmax函数，对传送带破损类别进行识别鉴定，类别标签为1、2、3、4时，分别表示撕裂、划伤、划痕的部位特征以及伪图像等检测结果。

实施例2

本实施方式中，多分类深度卷积生成对抗网络在训练过程中引入双时间规模更新规则，生成器和鉴别器使用不同的学习率，并将其按α:β比例执行更新。

定义鉴别器模型D(y|x)其梯度为h(d)，定义生成器模型为G(z)其梯度为h(g)；其中，h(g)用于判断生成器模型的损失情况，即判断其能否收敛；

假设每次迭代训练中鉴别器模型和生成器模型都有m个图像样本，鉴别器模型的梯度h(d)定义为：

其中，y＜k+1为前k个类别，y＝k+1为伪图像类别,x^t表示第t个输入的真实图像样本，G(z^t)表示生成器模型生成的第t个伪图像样本，且1≤t≤m，θ_d为鉴别器模型的参数；

生成器模型的梯度h(g)定义为：

其中，y＝k+1为伪图像类别，θ_g为生成器模型的参数；

若鉴别器更新过快，则生成器学习时间不足，使得提取到的特征不完整；若生成器更新过快，则使鉴别器过早达到局部最优解，出现模式崩溃。因此，训练时需小心平衡鉴别器和生成器的更新速率，本发明公开的多分类深度卷积生成对抗网络更新规则如下所示:

h_n+1＝βah_n(d)+αbh_n(g)

其中，h为多分类深度卷积生成对抗网络更新规则，α和β为比例常数，a和b分别为鉴别器模型和生成器模型的学习率，n为迭代次数；

按照α:β的比例对生成器模型和鉴别器模型进行迭代更新，使得网络能够更稳定的训练且更好的提取传送带图像特征。

实施例3

本实施方式中，将真实图像数据集输入到多分类深度卷积生成对抗网络进行训练的具体步骤包括：

S31：输入随机向量至生成器模型中，生成器模型生成伪图像

S32：真实图像x¹和伪图像

输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₁(d)；

S33：生成器模型获取梯度h₁(d)，重新生成伪图像

S34：真实图像x¹和伪图像

输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₂(d)；

......

直至鉴别器模型第n次迭代输出的梯度h_n(d)，与鉴别器模型第n+1次迭代输出的梯度h_n+1(d)，两者趋于一致时，生成器模型和鉴别器模型对抗趋于平衡，多分类深度卷积生成对抗网络训练完成，鉴别器模型获取了真实图像的全部图像特征。

若每次迭代鉴别器模型中包含m个真实图像x^t时，生成器通过随机向量生成m个伪图像

1≤t≤m；

m个真实图像x^t和m个伪图像

输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₁(d)；

生成器模型获取梯度h₁(d)，重新生成m个伪图像

m个真实图像x^t和m个伪图像

输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₂(d)；

直至鉴别器模型第n次迭代输出的梯度h_n(d)，与鉴别器模型第n+1次迭代输出的梯度h_n+1(d)，两者趋于一致时，生成器模型和鉴别器模型对抗趋于平衡，多分类深度卷积生成对抗网络训练完成，鉴别器模型获取了真实图像的全部图像特征。

试验例

请参阅图1，一种传动带撕裂检测方法，包括以下步骤：

S1：通过CCD摄像机收集带有区域光源的传送带图像，并对其中部分图像进行破损类型标注，形成少量的标记数据集和大量的未标记数据集。

S2：构建生成器模型，其输入是一个100维随机噪声向量，通过全连接层，将其转化为16384维的向量，然后使用reshape函数，将其转化为4*4*1024的特征图；通过反卷积层一，反卷积层二，反卷积层三，反卷积层四进行上采样，最终生成64*64*3的皮带图像。

S3：构建鉴别器模型，其输入为64*64*3的图像，经过卷积层一，卷积层二，卷积层三，卷积层四进行下采样，最终输出4*4*1024的特征图，重塑成4*4*1024维的向量，经过全连接层，使用softmax函数输出传送带破损的划痕、划伤、撕裂、伪图像的概率值，以此判断传送带破损类型。

S4：训练网络，在鉴别器模型和生成器模型的训练过程中，引入双时间规模更新规则，其中以2:1的比例进行更新，若模型损失值下降到某一点并趋于稳定，则表明模型已收敛，从中获得划痕、划伤、撕裂的破损特征。可以根据该网络模型，判别传送带图像的破损类型。

S5：将传送带的实时图像输入到网络模型中，通过该网络模型，判别实时传送带图像的破损类型，根据判断结果，系统做出实时响应。若出现撕裂，传送带立即停止；若出现划伤，系统发出警告，并不停止；若检测到传送带正常或者出现划痕，系统正常运行。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种传动带撕裂检测方法，基于双时间规模更新的多分类深度卷积生成对抗网络，其特征在于，包括以下步骤：

S1：获取传送带真实图像数据集，随机从真实图像数据集中提取若干真实图像，对提取出真实图像中存在的破损部位进行破损类型标注，破损类型包括划痕、划伤和撕裂；

S2：构建多分类深度卷积生成对抗网络，包括生成器模型和鉴别器模型；

所述生成器模型用于生成伪图像；

所述鉴别器模型接收真实图像和伪图像并进行对比判别；

S3：将真实图像数据集输入到多分类深度卷积生成对抗网络进行训练，在生成器模型和鉴别器模型的训练过程中，引入双时间规模更新规则，直至生成器模型和鉴别器模型对抗趋于平衡，其中鉴别器模型获取真实图像全部图像特征；

S4：实时获取传送带图像，将传送带图像输入到训练好的多分类深度卷积生成对抗网络中，鉴别器输出图像特征并判别特征类型；

若图像特征包含撕裂，则控制传送带立即停止；

若图像特征包含划伤，则发出警告，不控制传送带停止；

若图像特征包含划痕，则传送带正常运行。

2.根据权利要求1所述的检测方法，其特征在于，在步骤S2中，所述生成器模型包括依次设置的全连接层、reshape函数、反卷积层一、反卷积层二、反卷积层三和反卷积层四。

3.根据权利要求2所述的检测方法，其特征在于：所述反卷积层一、反卷积层二、反卷积层三不使用批量归一化。

4.根据权利要求3所述的检测方法，其特征在于：在步骤2中，鉴别器模型包括依次设置的卷积层一、卷积层二、卷积层三、卷积层四、全连接层和softmax函数。

5.根据权利要求4所述的检测方法，其特征在于：所述鉴别器模型的输入x为带有标签y的真实图像或伪图像，x经过卷积层一、卷积层二、卷积层三、卷积层四后，卷积层四输出图像的特征向量和鉴别器模型的梯度，图像的特征向量输入至全连接层，鉴别器模型的梯度输入至生成器模型；全连接层的输出为l＝{l₁,l₂,...,l_k+1}的k+1维向量，softmax函数将全连接层的输出转换为k+1维的类别概率p＝{p₁,p₂,...,p_k+1}，其中真实图像判别为前k个类别，伪图像判别为第k+1个类别，softmax函数如下所示：

其中，l_i表示全连接层输入的特征向量，l_j表示为全连接层输出的类别向量，p_j表示输出的类别概率，e为自然对数的底数；

选择交叉熵函数作为鉴别器模型D(y|x)的损失函数，将D(y|x)定义为：

其中，j表示类别，y'是期望的类别，p_j表示输出的类别概率。

6.根据权利要求5所述的检测方法，其特征在于：在步骤S3中，引入双时间规模更新规则，具体包括：

定义鉴别器模型D(y|x)其梯度为h(d)，定义生成器模型为G(z)其梯度为h(g)；

假设每次迭代训练中鉴别器模型和生成器模型都有m个图像样本，鉴别器模型的梯度h(d)为：

其中y＜k+1为前k个类别，y＝k+1为伪图像类别,x^t表示第t个输入的真实图像样本，G(z^t)表示生成器模型生成的第t个伪图像样本，且1≤t≤m，θ_d为鉴别器模型的参数；

生成器模型的梯度h(g)为：

其中y＝k+1为伪图像类别，θ_g为生成器模型的参数；

多分类深度卷积生成对抗网络更新规则如下所示:

h_n+1＝βah_n(d)+αbh_n(g)

其中，h为多分类深度卷积生成对抗网络更新规则，α和β为比例常数，a和b分别为鉴别器模型和生成器模型的学习率，n为迭代次数；

按照α:β的比例对生成器模型和鉴别器模型进行迭代更新。

7.根据权利要求6所述的检测方法，其特征在于：在步骤S3中，将真实图像数据集输入到多分类深度卷积生成对抗网络进行训练的具体步骤包括：

S31：输入随机向量至生成器模型中，生成器模型生成伪图像

S32：真实图像x¹和伪图像

同时输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₁(d)；

S33：生成器模型获取梯度h₁(d)，重新生成伪图像

S34：真实图像x¹和伪图像

同时输入至鉴别器模型中，鉴别器模型提取图像特征并进行判别，输出图像的特征向量和鉴别器模型的梯度h₂(d)；

......

直至鉴别器模型第n次迭代输出的梯度h_n(d)，与鉴别器模型第n+1次迭代输出的梯度h_n+1(d)，两者趋于一致时，生成器模型和鉴别器模型对抗趋于平衡，多分类深度卷积生成对抗网络训练完成，鉴别器模型获取了真实图像的全部图像特征。

8.根据权利要求6所述的检测方法，其特征在于，在步骤S3中，按照α:β＝2:1的比例对生成器模型和鉴别器模型进行迭代更新。

9.根据权利要求6所述的检测方法，其特征在于，在步骤S3中，每次迭代训练中，图像样本数量m为7。

Images