发明内容
本发明所要解决的技术问题是针对现有技术的不足提供一种基于深度学习的传送带缺陷检测方法。
本发明的技术方案如下:
一种基于深度学习的传送带缺陷检测方法,包括以下步骤:
A1:采用一字线激光扩大传送带缺陷特征,高清工业相机采集视频数据;
当皮带表面发生撕裂等缺陷时,线激光条纹经撕裂位置的调制反映到图像上是一条含有局部跳跃畸变或者是存在断点等特征的光条纹图像,通过对提取得到的光条特征进行分析,实现对皮带表面各种缺陷特征的检测;
A2:模拟撕裂积累深度学习所需数据集,为深度学习算法积累数据集;
A3:激光条纹中心线偏移分析算法检测传送带跑偏缺陷;
跑偏特征反映到图像上就是整条激光条纹在图像中的位置发生了一定的偏移;对跑偏的检测是通过统计光条中心像素点缺失总数来完成的,设定一阈值K,当检测图像中光条中心像素点缺失总数超过K时,可以判定为皮带发生了跑偏;
A4:采用Yolov4深度学习算法判断传送带撕裂缺陷;
A5:通过相邻帧判断策略确认缺陷;
当设备接受到数据以后,得到疑似传送带缺陷坐标信息,与下一帧数据的疑似传送带缺陷坐标进行比较,两者的间距依据分辨率和视场大小比例转化,如果超出设定阈值,则认为两张相邻连续图像不存在同一传送带缺陷,不作为分级报警依据;
式中xa,xb,ya,yb——两张相邻连续图像传送带缺陷坐标,
Z——相邻帧间疑似传送带缺陷距离;
A6:当确认发生缺陷后,发出报警并连锁传送带停机,同时存储真实或误报撕裂图片,扩充深度学习数据集,进行不断学习。
所述的基于深度学习的传送带缺陷检测方法,所述步骤A4中,在YOLOv4中,输入图片被调整为608*608,然后融合FPN思想,进行多尺度检测,输出三个检测层,这三个检测层将图片分别划分为19*19,38*38和76*76;然后每个网格预测3个边界框,每个边界框包含5个元素:(x,y,w,h,confidence);其中,x和y指相应单元格的偏移量,w和h为边界框以整张图片为基准归一化后的宽度和高度。confidence指框置信度得分,反映了一个框内包含有检测目标的可能性以及检测框的准确程度;置信度的计算方式为:
其中Pr(Obiect)为框内有检测目标的概率,既有检测目标,则Pr(Obiect)为1,没有则为0;为预测框和真实物体边界框的交并比(Intersection Over Union,IOU)。当得到框的定位置信度之后,便使用非极大值抑制(Non-Maximum Suppression,NMS)算法,留下置信得分较高的预测框;接下来计算每个预测框的类别置信度得分,其计算方法为公式(2),Pr(classi|Obiect)其中为网格预测第i类目标的置信概率;
Pr(classi|Obiect)*confidence(2)
YOLOv4的损失函数由边界框回归框损失CIOU函数、置信度损失和分类损失三部分组成,其中CIOU损失函数定义为:
其中IOU为检测框b和groundtruthbgt的交并比,ρ2为b与bgt中心点之间的欧几里得距离,C为b与bgt最小外接矩的对角线的长度,wgt、hgt、w、h分别为bgt和b的宽和高;
置信度Lconloss函数采用交叉熵,分为两部分:obj(有目标)和noobj(无目标),其中noobj的loss还增加了权重系数lambda,这是为了减少noobj计算部分的贡献权重;
其中s*s为网格的个数,B为候选框数,表示:第i个网格的第j个anchor box是否负责这个object,/>则表示不负责;/>和C为置信度参数,其中前者为真实值,由gridcell的bounding box有没有负责预测某个对象决定的,如果负责则为1,否则为0;
分类loss损失函数也采用交叉熵,当第i个网格的第j个anchor box负责某一个真实目标时,那么这个anchor box所产生的bounding box才会去计算分类损失函数;
其中和为分类概率,前者表示真实值,当第i个网格的第j个anchor box负责某一个真实目标时,那么这个anchor box所产生的bounding box才会去计算分类损失函数。
所述的基于深度学习的传送带缺陷检测方法,所述步骤A5中,相邻帧判断策略同时应用于传送带跑偏检测,在传送带启动或停止过程中,电机加速运转,传送带上下抖动幅度过大,会使多帧图片边缘异常,激光条缺失。对单一图片进行缺陷检测误差过大,经过相邻帧判断策略可减少此类误报现象。
采用上述方案,本发明以工厂,港口中传送带的缺陷检测为背景,应用线激光辅助放大传送带缺陷特征,进行传送带缺陷的实时检测分析。
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
如图1所示,基于深度学习的传送带缺陷检测系统,包括两组传送带缺陷检测装置、现场控制器和服务器,服务器设置在中控室;在传送带的三个相邻的托辊之间安装两组传送带缺陷检测装置,分别进行传送带左半边和右半边的缺陷检测,避免了由传送带凹度过大导致的工业相机拍摄不全或者边缘不清晰等情况。现场设备通过航空插头走网线与多芯线到现场控制器,由现场控制器控制设备自清洁装置的开关以及转速调节。现场控制器和中控室的服务器由光纤传输数据,数据统一在中控服务器上进行处理,发生紧急报警时可联动PLC对传送带进行急停等操作。
传送带缺陷检测装置包括高清工业相机和红光一字激光器,高清工业相机用于实时采集传送带表面的“一”字线激光光条,红光一字线激光器发出红色一字线激光,并将一字线激光投射在传送带表面,用于扩大传送带缺陷特征,辅助后期服务器进行缺陷判断。“一”字线激光光条投射到皮带底表面上时,光条形状及光强会受到皮带表面的深度变化及撕裂位置的调制而发生畸变。经无撕裂事故的皮带表面调制的线激光条纹反映到图像上是一条光滑无断裂的光条纹图像,当皮带表面发生撕裂等缺陷时,线激光条纹经撕裂位置的调制反映到图像上是一条含有局部跳跃畸变或者是存在断点等特征的光条纹图像。
如图2所示,高清工业相机采集到的数据通过光纤传输到控制室的服务器中进行集中处理,服务器包括激光条纹中心线偏移分析模块、Yolov4深度学习模块和相邻帧判断缺陷策略模块;Yolov4深度学习模块用于判断传送带撕裂缺陷;激光条纹中心线偏移分析模块用于完成对皮带跑偏情况的检测;相邻帧判断缺陷策略模块用于判断缺陷威胁性。
前期在实验环境下模拟了多种传送带缺陷,且在多种不同光照,烟尘环境下进行多次模拟,积累了数万张传送带有缺陷时以及无缺陷时的图片作为数据集,用于深度学习算法前期使用。同时在后期应用检测时,实时保存各种真实缺陷图片,用于深度学习算法的不断学习不断更新,提高准确率。在此算法下判断的传送带缺陷图片,还要再经过相邻帧判断策略判断缺陷威胁性。只有相邻多帧同时判断拥有缺陷才会判断缺陷威胁性过大,例如传送带纵撕情况,此时程序发出报警,并连锁PLC进行停机,防止损失扩大。
一.采用一字线激光扩大传送带缺陷特征,高清工业相机采集视频数据
“一”字线激光光条投射到皮带底表面上时,光条形状及光强会受到皮带表面的深度变化及撕裂位置的调制而发生畸变。经无撕裂事故的皮带表面调制的线激光条纹反映到图像上是一条光滑无断裂的光条纹图像,如图3所示。当皮带表面发生撕裂等缺陷时,线激光条纹经撕裂位置的调制反映到图像上是一条含有局部跳跃畸变或者是存在断点等特征的光条纹图像,如图4、图5所示。通过对提取得到的光条特征进行分析,实现对皮带表面各种缺陷特征的检测。通过一字线激光,将检测的“面”的特征简化为“线”的特征,需要分析的数据大大减少,检测速率更快。
二.模拟撕裂积累深度学习所需数据集,为深度学习算法积累数据集。
第一个阶段是根据以往经验进行深度学习算法研究,在实验室内搭建仿真实验平台,积累传送带模拟缺陷数据,拍摄不同角度不同光强不同缺陷的运行视频,积累足够的数据进行深度学习。机身长度为6米,传送带总长15米,最快速度约1米/秒,传送带带表面模拟撕裂长度为50厘米,宽度最宽处不到1厘米,撕裂处皮带无重叠等明显形变。
第二阶段为现场仿真检测,有了第一阶段的经验和数据,修正了算法中出现的各种问题。同时积极在一条装船机皮带传送带上进行了简单的现场环境测试。安装设备拍摄了大量真实传送带缺陷图片扩充数据集进行学习,通过此次测试进一步优化了算法结构。
第三阶段为实际应用阶段,在某电厂皮带撕裂与跑偏检测项目中,安装设备进行传送带缺陷的检测,同时积累现场拍摄的各种真实缺陷情况,实时存储进数据库,定期进行算法的优化升级。
三.激光条纹中心线偏移分析算法检测传送带跑偏缺陷
激光条纹中心线偏移分析算法用于完成对皮带跑偏情况的检测。皮带跑偏容易造成比较严重的撕裂事故,对跑偏情况的检测对防止发生撕裂事故有重要意义。
当相机安装固定之后,激光条纹在图像中的位置是基本固定的,受机械震动的影响,光条在整幅图像中的位置存在轻微的偏移,但对检测结果基本无影响。固定的拍摄位置使得获取的图像覆盖的皮带底面区域及光条在整幅图像中的位置基本上是相同的。
皮带跑偏的主要特征就是皮带两测边缘位置发生偏移,即一侧变宽,另一侧变窄,打破了正常情况下两侧对称、等宽的状态。一旦皮带跑偏,跑偏特征反映到图像上就是整条激光条纹在图像中的位置发生了一定的偏移,检测跑偏容易实现。
对跑偏的检测是通过统计光条中心像素点缺失总数来完成的,设定一阈值K,当检测图像中光条中心像素点缺失总数超过K时,可以判定为皮带发生了跑偏。
四.采用Yolov4深度学习算法判断传送带撕裂缺陷
在讨论YOLOv4算法之前需要先了解卷积神经网络,卷积神经网络是一种多层的监督学习神经网络,由卷积层,降采样层,全连接层组成。每一层有多个特征图,每个特征图通过一种卷积滤波器提取输入的一种特征,每个特征图有多个神经元。这个多层网络中间(隐含层)的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节,通过频繁的迭代训练提高网络的精度。卷积神经网络的低隐层是由卷积层和最大池采样层交替组成,高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器,可以采用逻辑回归,Softmax回归甚至是支持向量机对输入图像进行分类。输入图像统计和滤波器进行卷积之后,提取该局部特征,一旦该局部特征被提取出来之后,它与其他特征的位置关系也随之确定下来了,每个神经元的输入和前一层的局部感受野相连,每个特征提取层都紧跟一个用来求局部平均与二次提取的计算层,也叫特征映射层,网络的每个计算层由多个特征映射平面组成,平面上所有的神经元的权重相等。通常将输入层到隐藏层的映射称为一个特征映射,也就是通过卷积层得到特征提取层,经过pooling之后得到特征映射层。
简而言之,卷积神经网络通过网络的正向传播学习输入数据的特征,利用这些特征输出正向输出结果,然后通过正向输出结果与实际结果之间的差值(loss值)进行反向梯度运算,不断更新正向传播学习到的特征权重,直到正向输出结果与实际结果无限接近。这样,卷积神经网络构造了输入数据与输出结果之间的映像关系。
YOLO算法的具体操作是首先将输入图片的尺寸调整为固定大小,然后将其划分为S*S的格子,每个格子负责对落入其中的目标进行检测,一次性预测所有格子所含目标的边界框、边界框定位置信度、以及所有类别概率向量。
图6为YOLOv4的结果图,在YOLOv4中,输入图片被调整为608*608,然后融合FPN思想,进行多尺度检测,输出三个检测层,这三个检测层将图片分别划分为19*19,38*38和76*76。然后每个网格预测3个边界框,每个边界框包含5个元素:(x,y,w,h,confidence)。其中,x和y指相应单元格的偏移量,w和h为边界框以整张图片为基准归一化后的宽度和高度。confidence指框置信度得分,反映了一个框内包含有检测目标的可能性以及检测框的准确程度。置信度的计算方式为:
其中Pr(Obiect)为框内有检测目标的概率,既有检测目标,则Pr(Obiect)为1,没有则为0;为预测框和真实物体边界框的交并比(Intersection Over Union,IOU)。当得到框的定位置信度之后,便使用非极大值抑制(Non-Maximum Suppression,NMS)算法,留下置信得分较高的预测框。接下来计算每个预测框的类别置信度得分,其计算方法为公式(2),Pr(classi|Obiect)其中为网格预测第i类目标的置信概率。
Pr(classi|Obiect)*confidence(2)
YOLOv4的损失函数由边界框回归框损失CIOU函数、置信度损失和分类损失三部分组成,其中CIOU损失函数定义为:
其中IOU为检测框b和groundtruthbgt的交并比,ρ2为b与bgt中心点之间的欧几里得距离,C为b与bgt最小外接矩的对角线的长度,wgt、hgt、w、h分别为bgt和b的宽和高。
置信度Lconloss函数采用交叉熵,分为两部分:obj(有目标)和noobj(无目标),其中noobj的loss还增加了权重系数lambda,这是为了减少noobj计算部分的贡献权重。
其中s*s为网格的个数,B为候选框数,表示:第i个网格的第j个anchor box是否负责这个object,/>则表示不负责。/>和C为置信度参数,其中前者为真实值,由gridcell的bounding box有没有负责预测某个对象决定的,如果负责则为1,否则为0。
分类loss损失函数也采用交叉熵,当第i个网格的第j个anchor box负责某一个真实目标时,那么这个anchor box所产生的bounding box才会去计算分类损失函数。
其中和为分类概率,前者表示真实值,当第i个网格的第j个anchor box负责某一个真实目标时,那么这个anchor box所产生的bounding box才会去计算分类损失函数。
五.通过相邻帧判断策略确认缺陷
传送带工作环境复杂,本身托辊支架等机械设备和物资中锋利物体在运输过程中很可能对传送带产生划痕,但并未撕裂或者造成穿透,浅划痕往往单独存在,分布较广,无连续性,并且不会影响安全生产;日常维护过程中发现皮带某一部分有潜在发生撕裂的可能,会对这段皮带进行修剪,并且用钢条重新连接固定和硫化,经过处理的传送带明显与最初传送带特征存在区别;某些传送带厂家会在皮带上烫印公司商标作为推广。如果缺陷检测设备单独依据单帧图片进行分析,在遇到上述情形的检测数据会造成大量误识别,同时由于传送带运行速度很快,上述情形中的误识别情形不会在连续相邻多帧图片中同时出现,所以设计相邻帧激光条纹判断算法规避这些误识别数据产生的影响,提高检测精度。
相邻帧判断策略的主要思路在于目前大部分传送带所使用的皮带为宽幅皮带(一般为2米),内部贯穿尼龙绳或者钢丝绳,以达到提高张力,增强承载能力的作用,所以当传送带发生真正撕裂的时候,其撕裂位置水平方向变化不大,同时又由于皮带机高速运转,上述的误识别情形不会发生在连续多帧图片之内。当设备接受到数据以后,得到疑似传送带缺陷坐标信息,与下一帧数据的疑似传送带缺陷坐标进行比较(公式如下),两者的间距依据分辨率和视场大小比例转化,如果超出设定阈值,则认为两张相邻连续图像不存在同一传送带缺陷,不作为分级报警依据。
式中xa,xb,ya,yb——两张相邻连续图像传送带缺陷坐标,
Z——相邻帧间疑似传送带缺陷距离。
皮带撕裂检测设备采集设备(高清工业相机)的分辨率为1600*1200,视场大小近似为1200*900(单位mm),比例近似为0.75mm/pix。通过对大量的实际缺陷数据和误识别数据进行离线特征提取和分析,根据经验设定阈值,同一纵向缺陷坐标变化不会超过100pix(75mm),故当相邻帧间疑似传送带缺陷距离超过这一设定阈值,即认为当前帧的缺陷数据与上一帧缺陷数据相距较远,不构成相邻帧判断依据。
同理,相邻帧判断策略同时应用于传送带跑偏检测。在传送带启动或停止过程中,电机加速运转,传送带上下抖动幅度过大,会使多帧图片边缘异常,激光条缺失。对单一图片进行缺陷检测误差过大,经过相邻帧判断策略可减少此类误报现象。
六、当确认发生缺陷后,发出报警并连锁传送带停机,同时存储真实或误报撕裂图片,扩充深度学习数据集,进行不断学习。
七、检测算法实测
经过现场实测,传送带缺陷检测系统可精准定位传送带缺陷的发生,对于传送带穿透撕裂、传送带撕裂并覆盖(不透光)、传送带跑偏等均有辨别报警能力,漏报率小于1%,经过采取一字线激光扩大传送带缺陷特征,深度学习检测不再因红色一字线激光外的目标干扰而产生误报,传送带缺陷误报情况明显降低。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。