CN113298792A - 基于ai视觉的皮带跑偏监测调速控制装置及方法 - Google Patents

Abstract

一种基于AI视觉的皮带跑偏监测调速控制装置及方法，装置包括计算机，以及与其相连的图像采集装置和皮带控制模块，还包括安装在皮带机架上的由传动轴马达驱动的皮带传动轴。本发明方法：使用LL‑NET网络对图像进行增强和降噪，使用DeblurGAN算法对图像进行去模糊处理；对预处理后的图像采用基于结构感知的超快边线检测方法进行托辊支架、皮带和煤流边线检测，并识别边线上每个点的坐标，由边线上的点坐标估算出托辊支架中轴线、皮带中轴线和煤流面积S；最后由中轴线坐标计算出皮带跑偏量ΔL和跑偏方向，通过皮带控制模块对皮带传动轴以及皮带转轴的转速进行调节，从而实现皮带跑偏修正和煤流量大小的控制。

Description

基于AI视觉的皮带跑偏监测调速控制装置及方法

技术领域

本发明涉及一种皮带跑偏调速智能控制装置及方法，具体是一种基于AI视觉的皮带跑偏监测调速控制装置及方法，属于视觉方法检测、智能控制技术领域。

背景技术

在煤矿开采中，皮带传输是最主要的运输方式，皮带运输过程中容易出现跑偏、空载、过载等问题。皮带跑偏会出现皮带磨损、皮带断裂、煤炭外洒等问题，降低了皮带的使用寿命和开采效率，甚至危及采矿人员的安全；同时皮带空载会造成资源浪费，过载则会增加皮带负荷，产生故障。因此，实时监控皮带的跑偏和煤流量，并及时进行智能修正和速度调节显得至关重要。

目前，针对煤矿皮带跑偏检测，已经提出了基于视觉图像处理的皮带跑偏检测方法：在皮带非承载面显著地标记皮带中轴线，通过图像中皮带中轴线垂线与图像坐标系水平方向夹角计算皮带跑偏量，该方法受井下光线和皮带运动影响，获取的图像对比度不明显、噪声较多、具有模糊干扰；以皮带非承载面为参照标记中轴线，面对不同型号的托辊支架不具备鲁棒性；以偏移夹角计算偏移量易受视觉角度影响，降低测量准确度。

对于煤流量监测，提出的使用摄像头获取煤流量数据图像，带入改进ResNet网络，训练得到煤流量图像分类的方法，在建立煤流量图像分类模型时需要大量标准的、带有煤流量标签的图像数据集，标准训练数据集的收集是一个重大难题，且模型稳定性得不到保证。

综上所述，现有基于视觉方法的皮带跑偏检测和煤流量监测方法具有以下缺陷：

1.获取的图像未进行预处理，干扰因素较多，测量精度低；

2.检测方法只适用于固定型号的托辊支架，应用在不同型号的托辊支架上，其检测精度不能保证，鲁棒性较差；

3.需要大量的训练数据集，增加了测量难度；

4.无法同时检测皮带跑偏和监测煤流量；

5.对于皮带跑偏无法实现实时修正。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于AI视觉的皮带跑偏监测调速控制装置及方法，对获取的图像进行预处理，无需收集大量的训练数据集即可实现煤流量检测，能够自适应不同托辊支架环境实时进行皮带跑偏检测、智能修正与调速，且能够实现同时对皮带跑偏和煤流量大小的情况进行检测，具有较高的准确性、鲁棒性和时效性。

为达到以上目的，本发明一种基于AI视觉的皮带跑偏监测调速控制装置，包括：

图像采集装置，架设在皮带正上方，用于采集皮带工作时的视频图像，并将该视频图像传送至计算机；

计算机，采用LL-NET网络和DeblurGAN算法对接收到的视频图像进行预处理，然后通过基于结构感知的方法对处理后的视频图像中的托辊支架、皮带进行边线检测，同时对皮带上的煤流量进行边线检测，并将检测结果传送至皮带控制模块；

皮带传动轴，与传动轴马达连接，皮带传动轴与传动轴马达均安装在皮带机架上，皮带传动轴分布在皮带左右两侧，且与皮带表面紧密接触；

皮带控制模块，安装在皮带机架上，分别通过控制电路与传动轴马达以及驱动皮带转轴转动的转轴马达电连接。

优选地，图像采集装置为高清摄像头，皮带控制模块为PLC控制器。

一种基于AI视觉的皮带跑偏监测调速控制方法，具体步骤如下：

1)图像获取：将高清摄像头架设在皮带正上方，采集皮带工作时的视频图像I，并传送至计算机进行视频图像I预处理；

2)图像预处理：对高清摄像头中获取的视频图像I进行图像增强、降噪和去模糊处理；

3)边线检测：基于结构感知的方法对预处理后视频图像I中的托辊支架、皮带和煤流进行边线检测，并识别边线上每个点的坐标；

4)由边线上点的坐标估算出托辊支架中轴线、皮带中轴线坐标以及煤流面积S；

5)根据托辊支架和皮带中轴线坐标计算出皮带跑偏量ΔL和跑偏方向，同时根据煤流面积S控制皮带转轴转速，从而调节煤流量大小：

当检测到皮带跑偏时，皮带控制模块加大皮带跑偏侧的传动轴马达的转速，从而加大跑偏侧皮带传动轴转速，相应减小另一侧转动轴马达的转速，从而减小另一侧皮带传动轴的转速，同时计算皮带跑偏量ΔL的值，当ΔL＝0时，完成皮带跑偏修正；

当S＞1m²时，皮带控制模块加大转轴马达的转速，从而加大皮带转轴的转速；当S≤0.5m²时，皮带控制模块减小转轴马达的转速，从而减小皮带转轴的转速；当0.5m²＜S≤1m²时，皮带控制模块不工作，皮带按照预先设定的速度运。

与现有技术相比，本发明具有以下优点：

1)本发明通过基于结构感知的方法进行视觉边检测建立托辊支架和皮带双中轴线方法检测皮带是否跑偏，通过托辊支架和皮带中轴线同一水平方向坐标计算皮带跑偏量和跑偏方向，避免了传统视觉方法视觉角度偏差造成的测量误差，提高了测量准确度。

2)本发明无需通过收集大量的标准训练数据集判断煤流量大小，通过基于结构感知的方法进行视觉边检测煤流量面积，即可判断煤流量大小，判断方法更加简单、快捷。

3)本发明实现了同时实施皮带跑偏检测和煤流量监测，解决了传统方法只能单独检测的缺陷。

4)本发明皮带控制模块实现了同时调节皮带跑偏和皮带转轴转速的功能，不仅可以检测出皮带跑偏，还可以对皮带跑偏进行实时修正，同时还可以根据煤流量大小智能调节皮带传输速度，提高了皮带使用寿命，减少了资源浪费。

附图说明

图1是本发明方法流程图；

图2是本发明装置结构示意图；

图3是本发明装置托辊支架和皮带装置的主视图；

图4是本发明装置皮带机和皮带传动轴细节图；

图5是图4的仰视图。

图中：1、高清摄像头，2、计算机，3、托辊支架，4、皮带，5、皮带传动轴，6、皮带控制模块，7、辊轮，8、皮带转轴，9、转轴马达，10、传动轴马达。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1至图5所示，一种基于AI视觉的皮带跑偏监测调速控制装置，包括：

图像采集装置，架设在皮带4正上方，用于采集皮带4工作时的视频图像，并将该视频图像传送至计算机2；

计算机2，采用LL-NET网络和DeblurGAN算法对接收到的视频图像进行预处理，然后基于结构感知的方法对预处理后的视频图像中的托辊支架3、皮带4进行边线检测，同时对皮带4上的煤流量进行边线检测，并将检测结果传送至皮带控制模块6；

皮带传动轴5，与传动轴马达10连接，皮带传动轴5与传动轴马达10均安装在皮带4机架上，分布在皮带4左右(以图2“左侧”为“左”)两侧，且与皮带4表面紧密接触，如图2和图5所示；皮带4安装在皮带4机架上，由皮带转轴8带动其运转，皮带转轴8由转轴马达9驱动，皮带转轴8和转轴马达9均安装在皮带4机架上，皮带4机架通过辊轮7固定在托辊支架3上；

皮带控制模块6，安装在皮带4机架上，分别通过控制电路与传动轴马达10以及驱动皮带转轴8转动的转轴马达9电连接；用于根据接收到的检测结果对传动轴马达10和用于控制皮带转轴8的转轴马达9的转速进行控制，从而对皮带4跑偏进行修正和智能调速。

作为本发明的优选方式，本发明图像采集装置选用高清摄像头1，拍摄出来的图像更加清楚，当然也可以根据需要选择其他摄像头。本发明皮带控制模块6选用PLC控制器，该控制器具有调节皮带传动轴5转速及皮带转轴8转速的功能，该控制器体积小巧，占用空间小，且运行速度快。

一种基于AI视觉的皮带跑偏监测调速控制方法，具体步骤如下：

(1)图像获取：将高清摄像头1架设在皮带4正上方，采集皮带4工作时的视频图像I，并传送至计算机2进行视频图像I预处理；

(2)图像预处理：对高清摄像头1中获取的视频图像I进行图像增强、降噪和去模糊处理，具体步骤如下：

(2.1)使用深度学习方法LL-NET网络对视频图像I进行增强和降噪：

将待处理的较暗、带有噪音的视频图像I输入到LL-NET网络，LL-NET网络采用三层去噪自动编码器堆叠起来作为编码器，每个去噪自动编码器的损失函数为：

其中，N是斑点数，θ是模型参数矩阵，y_i是没有噪声的图像，x_i是有噪声的图像，λ、β是交叉验证的参数，W是每个编码层的权重，ρ是目标激活，

是第j层的经验平均激活，h_j(x_i)是j层隐藏层的激活，KL是散度函数，用于计算隐藏层中的稀疏性，KL由式(2)计算可得：

由此整个LL-NET网络结构的损失为：

式中，y是经过增强和降噪处理后的视频图像，L是堆叠去噪自动编码器的数量，W^(l)表示堆叠深层网络中第l层的权重；

(2.2)引入PSNR性能指标，量化含有噪声图像的失真程度：PSNR值越大，图片降噪效果越好：

其中，

I_(i,j)为无噪声的单色视频图像I第(i，j)位置上像素，K_(i,j)为视频图像I经增强去噪处理后的视频图像K第(i，j)位置上像素，max(I)为视频图像I的最大可能像素值，m×n为视频图像I的大小；

LL-NET网络从表示学习的角度来解决低光图像增强的问题，这些自动编码器经过训练以学习低光图像中的基础信号特征并自适应地增强和降噪，运用网络的泛华能力来提供低照度下的测试图片，让LL-NET网络学习到图片的特征，从而降低了噪声，提高了图像对比度；

(2.3)使用DeblurGAN算法对增强、降噪后的视频图像I进行去模糊处理：

模糊图像的模型为：

I_B＝k(M)*I_S+E (5)

其中，I_B是模糊图像，k(M)是由运动区域M确定的未知模糊核，I_S是清晰图像，*表示卷积操作，E是额外的噪声；

视频图像I的去模糊功能是由训练好的生成器CNN(卷积神经网络)实现的，将模糊图像I_B输入到生成器CNN(G_θG)模型，估算出相应的清晰图像I_S，在训练过程中引入评价网络(D_θD)，并以对抗的方式同时训练两个网络，训练方法如下：

将模糊图像I_B分别输入生成器CNN和评价网络(D_θD)，以对抗的方式同时训练两个网络(生成器CNN(G_θG)模型和评价网络(D_θD))，得到模糊图像I_B的模型的损失函数，进而得到清晰的去模糊图像I_S，模糊图像I_B的模型的损失函数为：

L_loss＝L_GAN+η·L_X (6)

其中，η为常数100，L_GAN代表对抗损失，计算公式为：

式中：T表示模糊图像的数量；

L_X为内容损失，计算公式为：

式中，Ф_i,j是在VGG19网络内第i个最大汇集层之前，通过第j个卷积获得的特征图，W_i,j和H_i,j是特征图的维度；

根据公式(6)即可得到清晰的去模糊处理后的清晰图像I_S；

(3)边线检测：基于结构感知的方法对预处理后视频图像I中的托辊支架3、皮带4和煤流进行边线检测，并识别边线上每个点的坐标，具体方法如下：

3.1)将预处理后的视频图像I下采样到800х288，然后预选下采样后的图像中的某些行作为边线的可能起始行，将边线表示为可能起始行上的一系列水平位置，即行锚框；

3.2)为了表示位置，将预选出的图像分成网格，每一个行锚框上的位置被分为多个小方格：每张图像被分为h行，每行分为b个小方格，边线检测问题被转化为在预定义的行锚框上选择特定小方格问题，边线的预测通过以下公示表示：

P_i,j,:＝f^ij(D) (9)

其中，D是整张图像的特征，f^ij是分类器，用来选择第i条边线在第j个行锚框里的边线位置，p_i,j,；是b+1维的容器，表示为第i条边线上第j个行锚框选择的grid cell的概率；

令T_i,j,；为正确位置的one-hot编码，优化函数如下：

式中，C表示边线数量，L_CE是交叉熵损失；

由于边线是连续的，在相邻的行锚框里，边线上的点是彼此靠近的，用分类矢量表示边线位置，通过限制分类矢量在相邻行锚上的分布来实现连续性，相似性损失函数如下：

对任意第i个边线第j个行锚，边线位置表示为：

Prob_i,j,:＝softmax(P_i,j,1:w) (13)

其中，prob_i,j,；表示第i个边线第j个行锚的位置每个位置存在边线的概率；

(4)由边线上点的坐标估算出托辊支架3中轴线、皮带4中轴线坐标以及煤流面积S，方法如下：

记托辊支架3左侧边线上点的坐标集合为(o_gl,q_gl)，右侧边线上点的坐标集合为(o_gr,q_gr)，由式(14)得到托辊支架3中轴线上点的坐标集合(o_gm,q_gm)：

同理，可得到皮带4的中轴线点坐标集合(o_cm,q_cm)

当皮带4上有煤流通过时，采用基于结构感知的超快边线检测方法对煤流进行检测，分别检测出煤流的横向和竖向边线，记煤流的横、竖方向边框交点为s₁(o_s1,q_s1)、s₂(o_s1,q_s2)、s₃(o_s2,q_s1)、s₄(o_s2,q_s2)，根据距离公式

估算出煤流边框的长r，和宽

由s＝r×u即可得到煤流边框面积；

(5)根据皮带4中轴线坐标计算皮带4跑偏量ΔL和跑偏方向，并根据煤流面积S判断煤流量大小，具体过程如下：

皮带4跑偏量ΔL为：

其中，(o_gm,q_gm)和(o_cm,q_cm)分别为托辊支架3中轴线和皮带4中轴线在同一行方向上的点；

当o_gm>o_cm时皮带4左偏，当o_gm<o_cm时皮带4右偏；

当检测到皮带4跑偏时，皮带控制模块6加大皮带4跑偏侧的传动轴马达10的转速，从而加大跑偏侧皮带传动轴5转速，相应减小另一侧转动轴马达10的转速，从而减小另一侧皮带传动轴5的转速，同时计算皮带4跑偏量ΔL的值，当ΔL＝0时，完成皮带4跑偏修正；

皮带4传输速度是基于煤流量调控的，当S＞1m²时，表示煤流量大，皮带控制模块66加大转轴马达9的转速，从而加大皮带转轴8的转速，皮带4传输速度变快；当S≤0.5m²时，表示煤流量小，皮带控制模块6减小转轴马达9的转速，从而减小皮带转轴8的转速即可减缓皮带4传输速度以达到智能调速的效果，进而达到调节煤流量大小的目的；当0.5m²＜S≤1m²时，表示煤流量正常，皮带控制模块6不工作，皮带4按照预先设定的速度正常运转。

Claims (7)

1.一种基于AI视觉的皮带跑偏监测调速控制装置，其特征在于，包括：

图像采集装置，架设在皮带(4)正上方，用于采集皮带(4)工作时的视频图像，并将该视频图像传送至计算机(2)；

计算机(2)，采用LL-NET网络和DeblurGAN算法对接收到的视频图像进行预处理，然后通过基于结构感知的方法对处理后的视频图像中的托辊支架(3)、皮带(4)进行边线检测，同时对皮带(4)上的煤流量进行边线检测，并将检测结果传送至皮带控制模块(6)；

皮带传动轴(5)，与传动轴马达(10)连接，皮带传动轴(5)与传动轴马达(10)均安装在皮带(4)机架上，皮带传动轴(5)分布在皮带(4)左右两侧，且与皮带(4)表面紧密接触；

皮带控制模块(6)，安装在皮带(4)机架上，分别通过控制电路与传动轴马达(10)以及驱动皮带转轴(8)转动的转轴马达(9)电连接。

2.根据权利要求1所述的一种基于AI视觉的皮带跑偏监测调速控制装置，其特征在于，图像采集装置为高清摄像头(1)，皮带控制模块(6)为PLC控制器。

3.一种基于AI视觉的皮带跑偏监测调速控制方法，其特征在于，具体步骤如下：

1)图像获取：将高清摄像头(1)架设在皮带(4)正上方，采集皮带(4)工作时的视频图像I，并传送至计算机(2)进行视频图像I预处理；

2)图像预处理：对高清摄像头(1)中获取的视频图像I进行图像增强、降噪和去模糊处理；

3)边线检测：基于结构感知的方法对预处理后视频图像I中的托辊支架(3)、皮带(4)和煤流进行边线检测，并识别边线上每个点的坐标；

4)由边线上点的坐标估算出托辊支架(3)中轴线、皮带(4)中轴线坐标以及煤流面积S；

5)根据托辊支架(3)和皮带(4)中轴线坐标计算出皮带(4)跑偏量ΔL和跑偏方向，同时根据煤流面积S控制皮带转轴(8)转速，从而调节煤流量大小：

当检测到皮带(4)跑偏时，皮带控制模块(6)加大皮带(4)跑偏侧的传动轴马达(10)的转速，从而加大跑偏侧皮带传动轴(5)转速，相应减小另一侧转动轴马达(10)的转速，从而减小另一侧皮带传动轴(5)的转速，同时计算皮带(4)跑偏量ΔL的值，当ΔL＝0时，完成皮带(4)跑偏修正；

当S＞1m²时，皮带控制模块(6)加大转轴马达(9)的转速，从而加大皮带转轴(8)的转速；当S≤0.5m²时，皮带控制模块(6)减小转轴马达(9)的转速，从而减小皮带转轴(8)的转速；当0.5m²＜S≤1m²时，皮带控制模块(6)不工作，皮带(4)按照预先设定的速度运转。

4.根据权利要求3所述的一种基于AI视觉的皮带跑偏监测调速控制方法，其特征在于，图像预处理，具体步骤如下：

(2.1)使用深度学习方法LL-NET网络对视频图像I进行增强和降噪：

将待处理的较暗、带有噪音的视频图像I输入到LL-NET网络，LL-NET网络采用三层去噪自动编码器堆叠起来作为编码器，每个去噪自动编码器的损失函数为：

其中，N是斑点数，θ是模型参数矩阵，y_i是没有噪声的图像，x_i是有噪声的图像，λ、β是交叉验证的参数，W是每个编码层的权重，ρ是目标激活，

是第j层的经验平均激活，h_j(x_i)是j层隐藏层的激活，KL是散度函数，由式(2)计算可得：

由此整个LL-NET网络结构的损失为：

式中，y是经过增强和降噪处理后的视频图像，L是去噪自动编码器的数量，W^(l)表示堆叠深层网络中第l层的权重；

(2.2)引入PSNR性能指标，量化含有噪声图像的失真程度：

其中，

I_(i,j)为无噪声的单色视频图像I第(i，j)位置上像素，K_(i,j)为视频图像I经增强去噪处理后的视频图像K第(i，j)位置上像素，max(I)为视频图像I的最大可能像素值，m×n为视频图像I的大小；

(2.3)使用DeblurGAN算法对增强、降噪后的视频图像I进行去模糊处理：

模糊图像I_B模型为：

I_B＝k(M)*I_S+E (5)

其中，I_B是模糊图像，k(M)是由运动区域M确定的未知模糊核，I_S是清晰图像，*表示卷积操作，E是额外的噪声；

将模糊图像I_B输入到生成器CNN(G_θG)模型，估算出相应的清晰图像I_S，在训练过程中引入评价网络(D_θD)，并以对抗的方式同时训练两个网络，训练方法如下：

将模糊图像I_B分别输入生成器CNN(G_θG)和评价网络(D_θD)，以对抗的方式同时训练生成器CNN(G_θG)和评价网络(D_θD)，得到模糊图像I_B的模型的损失函数，进而得到清晰的去模糊图像I_S，模糊图像I_B的模型的损失函数为：

L_loss＝L_GAN+η·L_X (6)

其中，η为常数100，L_GAN代表对抗损失，计算公式为：

式中：T表示模糊图像的数量；

L_X为内容损失，计算公式为：

式中，Ф_i,j是在VGG19网络内第i个最大汇集层之前，通过第j个卷积获得的特征图，W_i,j和H_i,j是特征图的维度；

根据公式(6)即可得到清晰的去模糊处理后的清晰图像I_S。

5.根据权利要求3所述的一种基于AI视觉的皮带跑偏监测调速控制方法，其特征在于，边线检测的具体方法如下：

3.1)将预处理后的视频图像I下采样到800*288，然后预选下采样后的图像中的某些行作为边线的可能起始行，将边线表示为可能起始行上的一系列水平位置，即行锚框；

3.2)将预选出的图像分成网格，每一个行锚框上的位置被分为多个小方格：每张图像被分为h行，每行分为b个小方格，则边线的预测通过以下公示表示为：

P_i,j,:＝f^ij(V) (9)

其中，V是整张图像的特征，f^ij是分类器，用来选择第i条边线在第j个行锚框里的边线位置，P_i,j,；是b+1维的容器，表示为第i条边线上第j个行锚框选择的grid cell的概率；

令T_i,j,；为正确位置的one-hot编码，优化函数如下：

式中，C表示边线数量，L_CE是交叉熵损失；

由于边线是连续的，在相邻的行锚框里，边线上的点是彼此靠近的，用分类矢量表示边线位置，通过限制分类矢量在相邻行锚上的分布来实现连续性，相似性损失函数如下：

对任意第i个边线第j个行锚，边线位置表示为：

Prob_i,j,:＝softmax(P_i,j,1:w) (13)

其中，prob_i,j,；表示第i个边线第j个行锚的位置存在边线的概率。

6.根据权利要求3所述的一种基于AI视觉的皮带跑偏监测调速控制方法，其特征在于，估算托辊支架(3)中轴线、皮带(4)中轴线坐标以及煤流面积S的具体方法如下：

记托辊支架(3)左侧边线上点的坐标集合为(o_gl,q_gl)，右侧边线上点的坐标集合为(o_gr,q_gr)，由式(14)得到托辊支架(3)中轴线上点的坐标集合(o_gm,q_gm)：

同理，可得到皮带(4)中轴线点坐标集合(o_cm,q_cm)；

当皮带(4)上有煤流通过时，采用基于结构感知的边线检测方法对煤流进行检测，分别检测出煤流的横向和竖向边线，记煤流的横、竖方向边框交点为s₁(o_s1,q_s1)、s₂(o_s1,q_s2)、s₃(o_s2,q_s1)、s₄(o_s2,q_s2)，根据距离公式

估算出煤流边框的长r，和宽

由s＝r×u即可得到煤流边框面积。

7.根据权利要求3所述的一种基于AI视觉的皮带跑偏监测调速控制方法，其特征在于，步骤(5)中皮带(4)跑偏量ΔL为：

其中，(o_gm,q_gm)和(o_cm,q_cm)分别为托辊支架(3)中轴线和皮带(4)中轴线在同一行方向上的点；

当o_gm>o_cm时皮带(4)左偏，当o_gm<o_cm时皮带(4)右偏。

Images