CN115880476A - 一种基于可见光红外图像融合的皮带跑偏检测方法 - Google Patents

Abstract

本发明涉及一种基于可见光红外图像融合的皮带跑偏检测方法，包括：S1.红外相机、可见光相机分别获取图像；S2.图像去噪；S3.图像灰度化；S4.卷积神经网络提取图像特征；S5.L1正则化提取特征范数，获得二维权值映射；S6.采用加权平均的融合策略获得图像融合的权重图，并对源红外灰度图像和源可见光灰度图像加权融合，获得融合图像；S7.通过目标检测算法检测露出皮带的托辊；S8.计算托辊露出皮带的长度。本发明使用方式简单，只需要通过巡检机器人自身搭载的可见光相机和红外相机对皮带运输区域进行视频采集，就可以通过皮带托辊检测到皮带是否跑偏。

Description

一种基于可见光红外图像融合的皮带跑偏检测方法

技术领域

本发明涉及煤矿监测技术领域，具体说是一种基于可见光红外图像融合的皮带跑偏检测方法。

背景技术

在煤矿生产系统中，运煤皮带机是一种广泛应用的煤料输送设备。在日常生产活动中，运煤皮带机上的皮带会因为皮带托辊粘黏煤料、皮带松弛、煤料分布不均等原因导致皮带跑偏，这会引起严重的生产安全事故和巨大的经济损失。

通过巡检机器人识别托辊长度实现皮带跑偏检测，可以极大的降低事故的发生。然而，由于井下环境恶劣，巡检机器人在光照不充分的情况下经常无法检测到皮带托辊，导致皮带跑偏检测效率低下。

发明内容

本发明的目的在于提出一种基于可见光红外图像融合的皮带跑偏检测方法，以解决现有的用于检测云煤机皮带跑偏的巡检机器人存在的恶劣环境下检测效率低下的问题。

为了解决上述问题，本发明所采用的技术方案是：

本发明的一种基于可见光红外图像融合的皮带跑偏检测方法，包括以下步骤：

S1.红外相机、可见光相机分别获取图像：通过红外相机和可见光相机分别对从侧向对运煤皮带区域进行图像采集，通过红外相机采集的图像为红外图像，通过可见光相机采集的图像为可见光图像；

S2.图像去噪：将步骤S1中的红外图像和可见光图像进行尺寸变换，获得等尺寸图像，并通过高斯滤波来滤除尺寸变换后的红外图像、可见光图像中的噪声；

S3.图像灰度化：将去除噪声后的红外图像和可见光图像进行分别进行灰度化处理，分别获得源红外灰度图像、源可见光灰度图像；

S4.卷积神经网络提取图像特征：将源红外灰度图像、源可见光灰度图像分别输入到卷积神经网络中，通过卷积神经网络分别提取源红外灰度图像的图像特征F₁、源可见光灰度图像的图像特征F₂；

S5.L1正则化提取特征范数，获得二维权值映射：通过L1正则化分别求解源红外灰度图像、源可见光灰度图像的图像特征的特征范数，并分别获得相应的图像特征的二维权值映射；

S6.采用加权平均的融合策略获得图像融合的权重图，并对源红外灰度图像和源可见光灰度图像按照权重图进行加权融合，获得对源红外灰度图像和源可见光灰度图像融合的融合图像；

S7.通过目标检测算法检测露出皮带的托辊：将融合图像输入到目标检测网络中获得露出皮带的托辊的最优预测框；

S8.计算托辊露出皮带的长度：根据目标检测网络检测到露出皮带的托辊目标框来计算托辊露出皮带的长度。

其中，步骤S3中，灰度化处理的具体计算方法为：

Gray＝R×0.299+G×0.587+B×0.114

其中，Gray代表对应的灰度图像的灰度值，R为灰度化处理前的RGB彩色图像中的红色通道分量，G为灰度化处理前的RGB彩色图像中的绿色通道分量，B为灰度化处理前的RGB彩色图像中的蓝色通道分量。

其中，步骤S4的具体步骤为：

将源红外灰度图像、源可见光灰度图像分别输入到卷积神经网络VGG16中，通过网络中的卷积层实现对图像特征的提取，最后使用激活函数ReLU进行处理，分别得到图像特征F₁和图像特征F₂；VGG16中提取图像特征的卷积层计算方法为：

式中：u^l为第l个卷积层的输出，u^l-1为l-1层的卷积层输出，w^l为卷积核，N为输入层的感受野，a^l为卷积网络的偏置参数，

代表了卷积操作，f为激活函数；

使用激活函数ReLU处理，获得图像特征F的计算方法为：

利用该公式得到图像特征F₁和F₂。

其中，在步骤S5中，通过L₁正则化获得图像特征F₁和图像特征F₂的二维权值映射的计算过程为：

其中，

代表图像在(x,y)坐标系下的特征范数，i∈{1,2}，当i＝1时代表红外图像，i＝2时代表可见光图像，p代表滑动窗口的大小，m代表滑动窗口的长度，n代表滑动窗口的宽度,F_i(m,n)代表互动窗口下的图像特征值。

其中，在步骤S6中，图像融合的权重图和图像融合的计算方法为：

其中，

代表图像在(x,y)坐标系下的融合的权重图，fused(x,y)代表源红外灰度图像与源可见光灰度图像融合后的融合图像，G_i(x,y)代表源灰度图像，当i＝1时代表源红外灰度图像，i＝2代表源可见光灰度图像。/>

其中，步骤S7的具体过程为：

将融合图像输入到Yolov5s目标检测网络中，通过网络中的CSP模块进行托辊特征图的提取，并通过PAN-Net进行托辊特征图的融合，然后对于托辊特征图中的每个像素点生成三个预选框并判断这三个预选框中是否存在托辊目标，通过GIoU损失函数对预选框位置进行优化，通过交叉熵损失函数对预选框中目标类别进行优化，从而获得托辊的最优预测框；

用GIoU损失函数优化预选框的计算方法为：

式中：A和B为图像中两块任意框，C代表包围A和B的最小面积，IoU代表真实框和预测框的交并比；

交叉熵损失函数对预选框中目标类别进行优化的计算方法为：

式中：N代表目标类别的总个数，x_i为神经网络输出的目标类别的预测值，y_i为目标类别的预测概率，

代表目标类别的真实值，L_class为分类损失。

其中通过红外相机和可见光相机分别对从右侧上方对运煤皮带的左侧区域进行图像采集时，步骤S8中的具体步骤为：

根据目标检测网络检测到的露出皮带的托辊目标框来计算托辊露出皮带的长度L，首先判断长度L是否在限定区域内，如果在限定区域内则说明皮带无跑偏情况；如果不在限定区域内，则判断长度L是否大于限定区域的最大值或小于限定区域最小值；如果大于限定区域最大值，则说明皮带右向跑偏；如果小于限定区域最小值，则说明皮带左向跑偏。

其中，通过红外相机和可见光相机分别对从左侧上方对运煤皮带的右侧区域进行图像采集时，步骤S8中的具体步骤为：

根据目标检测网络检测到的露出皮带的托辊目标框来计算托辊露出皮带的长度L，首先判断长度L是否在限定区域内，如果在限定区域内则说明皮带无跑偏情况；如果不在限定区域内，则判断长度L是否大于限定区域的最大值或小于限定区域最小值；如果大于限定区域最大值，则说明皮带左向跑偏；如果小于限定区域最小值，则说明皮带右向跑偏。

根据上述技术方案，本发明取得的有益效果为：

1.本发明使用方式简单，只需要通过巡检机器人自身搭载的可见光相机和红外相机对皮带运输区域进行视频采集，就可以通过皮带托辊检测到皮带是否跑偏。

2.本发明采用可见光图像和红外图像融合方式，可以在光照条件恶劣的情况下有效地识别出露出皮带的托辊。

3.本发明采用卷积神经网络特征提取方式，可以提取到图像中更多的特征，能够提高融合图像的质量，有利于托辊的检测。

4.本发明使用yolov5s目标检测网络，在实现快速检测的同时具有较高的检测精度，能够对皮带跑偏及时检测。

附图说明

图1为本发明本发明应用场景示意图；

图2为本发明的检测流程示意图；

图3为本发明露出皮带的托辊长度检测示意图。

附图标记说明

1、巡检机器人；2、可见光相机；3、红外相机；4、皮带左侧托辊；5、皮带；6、托辊目标框。

具体实施方式

下面结合实施例对本发明做进一步详细说明。

本发明的一种基于可见光红外图像融合的皮带跑偏检测方法，首先利用红外相机3和可见光相机2从皮带侧向获取皮带运输区域的图像，然后使用图像处理算法对双源图像进行去噪和灰度化，使用卷积神经网络提取双源图像的特征，使用L₁正则化计算图像特征的范数和权重图，并通过权重图对双源图像加权融合获得融合图像，随后使用目标检测算法检测到融合图像中露出皮带5的托辊并计算长度，最后通过托辊露出皮带5的长度判断皮带5是否跑偏。

实施例1：

本实施例是通过红外相机和可见光相机分别对从右侧上方对运煤皮带的左侧区域进行图像采集，通过检测皮带左侧托辊露出皮带的长度判断皮带是否跑偏。

在该实施例中，如图2所示，本发明的一种基于可见光红外图像融合的皮带跑偏检测方法包括以下具体步骤：

S1.如图1所示，通过红外相机3和可见光相机2分别对从侧向对运煤皮带区域进行图像采集，通过红外相机3采集的图像为红外图像，通过可见光相机2采集的图像为可见光图像。具体地，在巡检机器人1上搭载安装红外相机3和可见光相机2。在本实施例中，以红外相机3和可见光相机2从皮带5右侧上方对运煤皮带区域进行图像采集，较佳的，红外相机3和可见光相机2从皮带5右侧上方60°方向对运煤皮带区域进行图像采集。本实施例用于采集皮带左侧托辊4的区域的图像。

S2.将步骤S1中的红外图像和可见光图像进行尺寸变换，获得尺寸相等的图像(以便进行神经网络运算)，并通过高斯滤波来滤除尺寸变换后的红外图像、可见光图像中的噪声。在本实施例中，将可见光相机2采集到的图像和红外相机3采集到的1920*1080分辨率的图像变换为608*608分辨率的等尺寸图像以便神经网络计算。

S3.将去除噪声后的红外图像和可见光图像进行分别进行灰度化处理，分别获得源红外灰度图像、源可见光灰度图像。其中，步骤S3中，灰度化处理的具体计算方法为：

Gray＝R×0.299+G×0.587+B×0.114

其中，Gray代表对应的灰度图像的灰度值，R为灰度化处理前的RGB彩色图像中的红色通道分量，G为灰度化处理前的RGB彩色图像中的绿色通道分量，B为灰度化处理前的RGB彩色图像中的蓝色通道分量。

S4.将源红外灰度图像、源可见光灰度图像(此处：源红外灰度图像的尺寸与源可见光灰度图像的尺寸相等)分别输入到卷积神经网络中，通过卷积神经网络分别提取源红外灰度图像的图像特征F₁、源可见光灰度图像的图像特征F₂。

其中，步骤S4的具体步骤为：

将源红外灰度图像、源可见光灰度图像分别输入到卷积神经网络VGG16中，通过网络中的卷积层实现对图像特征的提取，最后使用激活函数ReLU进行处理，分别得到源红外灰度图像的图像特征F₁和源可见光灰度图像的图像特征F₂。VGG16中提取图像特征的卷积层计算方法为：

式中：u^l为第l个卷积层的输出，u^l-1为l-1层的卷积层输出，w^l为卷积核，N为输入层的感受野，a^l为卷积网络的偏置参数，

代表了卷积操作，f为激活函数；

使用激活函数ReLU处理，获得图像特征F的计算方法为：

利用该公式得到图像特征F₁和F₂。

在本实施例中，卷积神经网络VGG16中包含由13个卷积层，5个池化层，3个全连接层构成，在本步骤中主要通过13个卷积层实现对相应的源灰度图像进行特征提取。将源红外灰度图像、源可见光灰度图像分别输入到VGG16网络后，浅层卷积提取图像的底层特征，深层卷积提取图像的高层特征，最后卷积层的输出经过ReLU函数得到图像特征F₁和F₂。

S5.通过L1正则化分别求解源红外灰度图像、源可见光灰度图像的图像特征的特征范数，并分别获得相应的图像特征的二维权值映射。

其中，在步骤S5中，通过L₁正则化获得图像特征F₁和图像特征F₂的二维权值映射的计算过程为：

其中，

代表图像在(x,y)坐标系下的特征范数，i∈{1,2}，当i＝1时代表红外图像，i＝2时代表可见光图像，p代表滑动窗口的大小，m代表滑动窗口的长度，n代表滑动窗口的宽度,F_i(m,n)代表互动窗口下的图像特征值。

S6.采用加权平均的融合策略获得图像融合的权重图，并对源红外灰度图像和源可见光灰度图像按照权重图进行加权融合，获得对源红外灰度图像和源可见光灰度图像融合的融合图像。

其中，在步骤S6中，图像融合的权重图和图像融合的计算方法为：

其中，

代表图像在(x,y)坐标系下的融合的权重图，fused(x,y)代表源红外灰度图像与源可见光灰度图像融合后的融合图像，G_i(x,y)代表源灰度图像，当i＝1时代表源红外灰度图像，i＝2代表源可见光灰度图像。

S7.通过目标检测算法检测露出皮带5的托辊：将融合图像输入到目标检测网络中获得露出皮带5的托辊的最优预测框。

其中，步骤S7的具体过程为：

将融合图像输入到Yolov5s目标检测网络中，通过网络中的CSP模块进行托辊特征图的提取，并通过PAN-Net进行托辊特征图的融合，然后对于托辊特征图中的每个像素点生成三个预选框并判断这三个预选框中是否存在托辊目标，通过GIoU损失函数对预选框位置进行优化，通过交叉熵损失函数对预选框中目标类别进行优化，从而获得托辊的最优预测框。

用GIoU损失函数优化预选框的计算方法为：

式中：A和B为图像中两块任意框，C代表包围A和B的最小面积，IoU代表真实框和预测框的交并比；

通过交叉熵损失函数对预选框中目标类别进行优化的计算方法为：

式中：N代表目标类别的总个数，x_i为神经网络输出的目标类别的预测值，y_i为目标类别的预测概率，

代表目标类别的真实值，L_class为分类损失。

在本实施例中，将融合图像输入到Yolov5目标检测网络中，通过网络中的CSP模块中的卷积网络进行托辊特征图的提取，为了使托辊特征图既包含托辊的高层特征和低级特征，使用PAN-Net对CSP输出的特征图进行自顶向下进行上采样，实现特征图的融合。随后对于特征图中的每个像素点生成三个预选框，通过GIoU损失函数对预选框位置进行优化，当GIoU<0.01时，当前预选框为最优预选框；通过交叉熵损失函数对预选框中目标类别进行优化，当L_class<0.05时，当前预测类别为最优预测类别，此时便能获得托辊的最优预测框。最优预测框即为露出皮带5的托辊目标框6(见图3)。

S8.计算托辊露出皮带5的长度：根据目标检测网络检测到露出皮带的托辊目标框6来计算托辊露出皮带5的长度。

其中，步骤S8中的具体步骤为：

根据目标检测网络检测到的露出皮带5的托辊目标框来计算托辊露出皮带5的长度L，首先判断长度L是否在限定区域内，如果在限定区域内则说明皮带5无跑偏情况；如果不在限定区域内，则判断长度L是否大于限定区域的最大值或小于限定区域最小值；如果大于限定区域最大值，则说明皮带5右向跑偏；如果小于限定区域最小值，则说明皮带左向跑偏。本实施例是通过皮带左侧托辊4露出皮带5的长度检测皮带跑偏的。由图3所示，皮带左侧托辊4有部分露出皮带，使用目标检测算法能够获得露出托辊的托辊目标框6，通过判断目标框高度是否在设置范围内，便能检测到皮带是否跑偏。

在本实施例中，皮带无跑偏情况下，托辊露出皮带的长度为10cm，由于实际生产允许微量偏差，因此露出皮带托辊长度区间为[9,11]。目标检测网络检测到的托辊目标框的高度为托辊露出皮带的长度L，当L大于11cm时，皮带右向跑偏；当L小于9cm时，皮带左向跑偏。

本发明使用方式简单，只需要通过巡检机器人自身搭载的可见光相机和红外相机对皮带运输区域进行视频采集，就可以通过皮带托辊检测到皮带是否跑偏；本发明采用可见光图像和红外图像融合方式，可以在光照条件恶劣的情况下有效地识别出露出皮带的托辊；本发明采用卷积神经网络特征提取方式，可以提取到图像中更多的特征，能够提高融合图像的质量，有利于托辊的检测；本发明使用yolov5s目标检测网络，在实现快速检测的同时具有较高的检测精度，能够对皮带跑偏及时检测。

实施例2：

本实施例是通过红外相机和可见光相机分别对从左侧上方对运煤皮带的右侧区域进行图像采集，通过检测皮带右侧托辊露出皮带的长度判断皮带是否跑偏。在本实施例中，以红外相机3和可见光相机2从皮带5左侧上方对运煤皮带区域进行图像采集，较佳的，红外相机3和可见光相机2从皮带5左侧上方60°方向对运煤皮带的右侧区域进行图像采集。本实施例用于采集皮带右侧托辊4的区域的图像。

步骤S8中的具体步骤为：

根据目标检测网络检测到的露出皮带的托辊目标框来计算托辊露出皮带的长度L，首先判断长度L是否在限定区域内，如果在限定区域内则说明皮带无跑偏情况；如果不在限定区域内，则判断长度L是否大于限定区域的最大值或小于限定区域最小值；如果大于限定区域最大值，则说明皮带左向跑偏；如果小于限定区域最小值，则说明皮带右向跑偏。本实施例是通过皮带右侧托辊露出皮带5的长度检测皮带跑偏的。在本实施例中，皮带无跑偏情况下，托辊露出皮带的长度为10cm，由于实际生产允许微量偏差，因此露出皮带托辊长度区间为[9,11]。目标检测网络检测到的托辊目标框的高度为托辊露出皮带的长度L，当L大于11cm时，皮带左向跑偏；当L小于9cm时，皮带右向跑偏。在本实施例中，本发明的基于可见光红外图像融合的皮带跑偏检测方法的其它步骤与实施例1中的相关步骤相同，在此就不一一赘述。

Claims (8)

1.一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于，包括以下步骤：

S1.红外相机、可见光相机分别获取图像：通过红外相机和可见光相机分别对从侧向对运煤皮带区域进行图像采集，通过红外相机采集的图像为红外图像，通过可见光相机采集的图像为可见光图像；

S2.图像去噪：将步骤S1中的红外图像和可见光图像进行尺寸变换，获得等尺寸图像，并通过高斯滤波来滤除尺寸变换后的红外图像、可见光图像中的噪声；

S3.图像灰度化：将去除噪声后的红外图像和可见光图像进行分别进行灰度化处理，分别获得源红外灰度图像、源可见光灰度图像；

S4.卷积神经网络提取图像特征：将源红外灰度图像、源可见光灰度图像分别输入到卷积神经网络中，通过卷积神经网络分别提取源红外灰度图像的图像特征F₁、源可见光灰度图像的图像特征F₂；

S5.L1正则化提取特征范数，获得二维权值映射：通过L1正则化分别求解源红外灰度图像、源可见光灰度图像的图像特征的特征范数，并分别获得相应的图像特征的二维权值映射；

S6.采用加权平均的融合策略获得图像融合的权重图，并对源红外灰度图像和源可见光灰度图像按照权重图进行加权融合，获得对源红外灰度图像和源可见光灰度图像融合的融合图像；

S7.通过目标检测算法检测露出皮带的托辊：将融合图像输入到目标检测网络中获得露出皮带的托辊的最优预测框；

S8.计算托辊露出皮带的长度：根据目标检测网络检测到露出皮带的托辊目标框来计算托辊露出皮带的长度。

2.根据权利要求1所述的一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于，步骤S3中，灰度化处理的具体计算方法为：

Gray＝R×0.299+G×0.587+B×0.114

其中，Gray代表对应的灰度图像的灰度值，R为灰度化处理前的RGB彩色图像中的红色通道分量，G为灰度化处理前的RGB彩色图像中的绿色通道分量，B为灰度化处理前的RGB彩色图像中的蓝色通道分量。

3.根据权利要求1所述的一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于，步骤S4的具体步骤为：

将源红外灰度图像、源可见光灰度图像分别输入到卷积神经网络VGG16中，通过网络中的卷积层实现对图像特征的提取，最后使用激活函数ReLU进行处理，分别得到图像特征F₁和图像特征F₂；VGG16中提取图像特征的卷积层计算方法为：

式中：u^l为第l个卷积层的输出，u^l-1为l-1层的卷积层输出，w^l为卷积核，N为输入层的感受野，a^l为卷积网络的偏置参数，

代表了卷积操作，f为激活函数；

使用激活函数ReLU处理，获得图像特征F的计算方法为：

利用该公式得到图像特征F₁和F₂。

4.根据权利要求1所述一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于：在步骤S5中，通过L₁正则化获得图像特征F₁和图像特征F₂的二维权值映射的计算过程为：

其中，

代表图像在(x,y)坐标系下的特征范数，i∈{1,2}，当i＝1时代表红外图像，i＝2时代表可见光图像，p代表滑动窗口的大小，m代表滑动窗口的长度，n代表滑动窗口的宽度,F_i(m,n)代表互动窗口下的图像特征值。

5.根据权利要求1所述一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于：在步骤S6中，图像融合的权重图和图像融合的计算方法为：

其中，

代表图像在(x,y)坐标系下的融合的权重图，fused(x,y)代表源红外灰度图像与源可见光灰度图像融合后的融合图像，G_i(x,y)代表源灰度图像，当i＝1时代表源红外灰度图像，i＝2代表源可见光灰度图像。

6.根据权利要求1所述一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于：步骤S7的具体过程为：

将融合图像输入到Yolov5s目标检测网络中，通过网络中的CSP模块进行托辊特征图的提取，并通过PAN-Net进行托辊特征图的融合，然后对于托辊特征图中的每个像素点生成三个预选框并判断这三个预选框中是否存在托辊目标，通过GIoU损失函数对预选框位置进行优化，通过交叉熵损失函数对预选框中目标类别进行优化，从而获得托辊的最优预测框；

用GIoU损失函数优化预选框的计算方法为：

式中：A和B为图像中两块任意框，C代表包围A和B的最小面积，IoU代表真实框和预测框的交并比；

交叉熵损失函数对预选框中目标类别进行优化的计算方法为：

式中：N代表目标类别的总个数，x_i为神经网络输出的目标类别的预测值，y_i为目标类别的预测概率，

代表目标类别的真实值，L_class为分类损失。

7.根据权利要求1所述一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于：通过红外相机和可见光相机分别对从右侧上方对运煤皮带的左侧区域进行图像采集时，步骤S8中的具体步骤为：

根据目标检测网络检测到的露出皮带的托辊目标框来计算托辊露出皮带的长度L，首先判断长度L是否在限定区域内，如果在限定区域内则说明皮带无跑偏情况；如果不在限定区域内，则判断长度L是否大于限定区域的最大值或小于限定区域最小值；如果大于限定区域最大值，则说明皮带右向跑偏；如果小于限定区域最小值，则说明皮带左向跑偏。

8.根据权利要求1所述一种基于可见光红外图像融合的皮带跑偏检测方法，其特征在于：通过红外相机和可见光相机分别对从左侧上方对运煤皮带的右侧区域进行图像采集时，步骤S8中的具体步骤为：

根据目标检测网络检测到的露出皮带的托辊目标框来计算托辊露出皮带的长度L，首先判断长度L是否在限定区域内，如果在限定区域内则说明皮带无跑偏情况；如果不在限定区域内，则判断长度L是否大于限定区域的最大值或小于限定区域最小值；如果大于限定区域最大值，则说明皮带左向跑偏；如果小于限定区域最小值，则说明皮带右向跑偏。

Images