CN115147770A - 基于图像处理的皮带异物视觉识别系统 - Google Patents

Abstract

本发明公开了基于图像处理的皮带异物视觉识别系统，涉及图像数据处理技术领域，用于解决现有的输煤皮带异物识别方法中不能精准识别煤炭皮带输送机在运行过程中皮带上是否携带异物，精准识别时需要大量参数导致检测速度慢的问题；该皮带异物视觉识别系统包括图像采集模块、图像处理模块、异物判定模块、图片储存模块以及预警报警模块；该皮带异物视觉识别系统通过判断样品对照物是否出现除了煤块形状、颜色特征以外其他异物的形状、颜色特征，从而能够精确识别出皮带上是否携带除煤块以外的其他异物，从而进行报警，进而避免异物造成皮带划伤甚至发生撕裂，避免发生煤矿事故，大幅降低作业人员的生命安全受到严重威胁的概率。

Description

基于图像处理的皮带异物视觉识别系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于图像处理的皮带异物视觉识别系统。

背景技术

随着工业化不断发展，对煤炭资源的需求量不断上升，我国的煤矿生产规模不断扩大，机械化水平日益提高。各种机械设备在煤矿开采生产过程中，成为不可缺少的一环，矿用皮带运输机作为矿井运输物资的设备，在煤炭运输方面发挥着重要的作用。矿用皮带运输机主要是指在煤炭采掘、生产、转运、加工过程中使用的皮带运输机。随着科技的快速发展以及工业需求的日益提高，矿用皮带运输机不断朝着复杂化、大型化和高速化的方向发展，使其具有运输量大、工作环境复杂、承载能力强、以及运输距离较长等特点，从而更加地适应煤矿的特殊环境。

皮带因作为皮带运输机最重要也最容易损坏的部分，有效减少皮带撕裂成为保障皮带运输机正常运转的重要一环。皮带输送机的皮带在正常运行中不会发生纵向撕裂现象，只有当皮带严重跑偏或外部尖锐物件，如锚杆、铁块、钢板、大块矸石、工字钢等异物戳入皮带时才有可能造成皮带划伤，严重时发生撕裂。一旦皮带撕裂不仅对煤矿的生产带来影响，有时甚至会造成较为严重的煤矿事故，使得作业人员的生命安全受到严重威胁。

传统皮带异物检测方法主要包括人工检测，人工检测存在的效率低、安全隐患大、识别精准度低的缺点，公开号CN114120175A的专利公开了一种基于计算机视觉的输煤皮带异物识别方法，包括：S1、获取常见异物图像数据，构建训练集；S2、构建卷积神经网络算法模型，通过所述训练集对所述神经网络算法模型进行训练以获得一图像分拣器，所述图像分拣器配置为标记不同异物；S3、获取运行中的输煤皮带的视频流；S4、从所述视频流中提取一定时间间隔的多个图像帧；S5、将多个所述图像帧输入所述图像分拣器，判断所述图像帧中是否存在异物，如是，发出警示信息。该方法需要构建卷积神经网络算法模型，这使得检测模型网络参数量大，检测速度慢、难以在嵌入式设备上实现实时的异物检测。

如何精准识别煤炭皮带输送机在运行过程中皮带上是否携带异物，且改善现有的输煤皮带异物识别方法中需要大量参数导致检测速度慢是本发明的关键，因此，亟需一种基于图像处理的皮带异物视觉识别系统来解决以上问题。

发明内容

为了克服上述的技术问题，本发明的目的在于提供基于图像处理的皮带异物视觉识别系统：通过图像采集模块实时采集皮带运行过程的视频，并将采集的视频发送至图像处理模块，皮带运行过程包括皮带空载运行过程，皮带依次携带形状、大小各不相同的单块煤块运行过程以及皮带负载运行过程，通过图像处理模块将接收到的视频分成单帧图像，之后将图像发送至图片储存模块或者异物判定模块，通过异物判定模块将接收到的图像与图片储存模块中的图像进行比对，从而对皮带运行过程中是否出现异物进行判断，解决了现有的输煤皮带异物识别方法中不能精准识别煤炭皮带输送机在运行过程中皮带上是否携带异物，精准识别时需要大量参数导致检测速度慢的问题。

本发明的目的可以通过以下技术方案实现：

基于图像处理的皮带异物视觉识别系统，包括图像采集模块、图像处理模块以及异物判定模块；

图像采集模块，用于实时采集皮带运行过程的视频，并将采集的视频发送至图像处理模块，皮带运行过程包括皮带空载运行过程，皮带依次携带形状、大小各不相同的单块煤块运行过程以及皮带负载运行过程；

图像处理模块，用于将接收到的视频分成单帧图像，之后将图像发送至图片储存模块或者异物判定模块；

异物判定模块，用于将接收到的图像与图片储存模块中的图像进行比对，从而对皮带运行过程中是否出现异物进行判断。

作为本发明进一步的方案：所述图像处理模块的工作过程具体如下：

A1：将视频拆分成单帧图像，将空载状态下的图像标记为空载图像，将空载图像按照采集时间先后顺序依次发送至图片储存模块；

A2：将含有单块煤块的图像按照时间先后顺序依次标记为样本图像YTi，i=1、……、n，n为自然数，将样本图像YTi与空载图像进行相似度比较：

A21：按照样本图像YTi的采集时间从图片储存模块中获取同一采集时间的空载图像，此处同一采集时间表示非同日且同一时刻；

A22：将样本图像YTi与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除样本图像YTi中的基础图像，形成新的图像并将其标记为去参数样本QYi；

A23：将去参数样本QYi发送至图片存储模块，图片存储模块将去参数样本QYi一一储存并构建样本数据库；

A3：将负载状态下的图像按照时间先后顺序依次标记为比对图像BTj，j=1、……、m，m为自然数，将比对图像BTj与空载图像进行相似度比较：

A31：按照比对图像BTj的采集时间从图片储存模块中获取同一采集时间的空载图像，此处同一采集时间表示非同日且同一时刻；

A32：将比对图像BTj与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除比对图像BTj中的基础图像，形成新的图像并将其标记为去参数图像QTj；

A33：将去参数图像QTj发送至异物判定模块中。

作为本发明进一步的方案：所述异物判定模块的工作过程具体如下：

B1：获取图片储存模块的样本数据库中的去参数样本QYi中样本轮廓，选取样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为样长值YCi和样短值YDi，按照样长值YCi从大到小的顺序构建样长值集合CJ{YC1、……、YCa}，a为自然数，按照样短值YDi从小到大的顺序构建样短值集合DJ{YD1、……、YDb}，b为自然数；

B2：将YC1、YD1代入公式

得到样长比YCB，其中

为预设误差因子，

，

取1.104；

B3：将YCa、YDb代入公式

得到样短比YDB，其中

为预设误差因子，

，

取0.925；

B4：获取去参数图像QTj中若干个样本轮廓，依次选取若干个样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为比长值BCj和比短值BDj，将比长值BCj和比短值BDj代入公式

得到长短比CDB；

B5：将长短比CDB与样长比YCB、样短比YDB进行比对：

B51：若长短比CDB≤样长比YCB或者长短比CDB≥样短比YDB，则生成非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像QTj和非正常信号发送至安全报警模块；安全报警模块根据非正常信号令警报器响起报警警报，安全报警模块根据标记后的去参数图像QTj将其在显示屏上进行图片显示；

B52：若样长比YCB＜长短比CDB＜样短比YDB，则生成预正常信号，并将预正常信号发送至图片储存模块；图片储存模块接收到预正常信号提取去参数样本QYi中样本颜色，并将其标记为标准颜色，并将标准颜色发送至异物判定模块；

B6：提取去参数图像QTj中样本的样本颜色，并将其标记为样本颜色，将样本颜色与图片储存模块反馈的标准颜色进行比较：

B61：若样本颜色只存在标准颜色，则生成正常信号；

B62：若样本颜色存在标准颜色以外的其他颜色，则非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像QTj和非正常信号发送至安全报警模块；安全报警模块根据非正常信号令警报器响起报警警报，安全报警模块根据标记后的去参数图像QTj将其在显示屏上进行图片显示。

作为本发明进一步的方案：所述图片储存模块，用于对空载图像和去参数样本QYi进行储存，并根据去参数样本QYi构建样本数据库。

作为本发明进一步的方案：所述安全报警模块，用于根据非正常信号令警报器响起报警警报，根据标记后的去参数图像QTj将其在显示屏上进行图片显示。

本发明的有益效果：

本发明的基于图像处理的皮带异物视觉识别系统，通过图像采集模块实时采集皮带运行过程的视频，并将采集的视频发送至图像处理模块，皮带运行过程包括皮带空载运行过程，皮带依次携带形状、大小各不相同的单块煤块运行过程以及皮带负载运行过程，通过图像处理模块将接收到的视频分成单帧图像，之后将图像发送至图片储存模块或者异物判定模块，通过异物判定模块将接收到的图像与图片储存模块中的图像进行比对，从而对皮带运行过程中是否出现异物进行判断；该皮带异物视觉识别系统通过图像采集模块采集识别皮带空载运行过程，皮带依次携带形状、大小各不相同的单块煤块运行过程以及皮带负载运行过程所产生的视频，将皮带空载运行过程所产生的视频作为消除相同参数的空白对照物，将皮带依次携带形状、大小各不相同的单块煤块运行过程所产生的视频作为特征对照物，将皮带负载运行过程所产生的视频作为样品对照物，将三者进行对比，判断样品对照物是否出现除了煤块形状特征以外其他异物的形状特征，之后再通过颜色对比，能够进一步的判断样品对照物是否出现除了煤块颜色特征以外其他异物的颜色特征，从而能够精确识别出皮带上是否携带除煤块以外的其他异物，从而进行报警，进而避免异物造成皮带划伤甚至发生撕裂，避免发生煤矿事故，大幅降低作业人员的生命安全受到严重威胁的概率。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明中基于图像处理的皮带异物视觉识别系统的流程框图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

请参阅图1所示，本实施例为一种基于图像处理的皮带异物视觉识别系统，包括图像采集模块、图像处理模块、异物判定模块、图片储存模块以及预警报警模块；

图像采集模块，用于实时采集皮带运行过程的视频，并将采集的视频发送至图像处理模块，皮带运行过程包括皮带空载运行过程，皮带依次携带形状、大小各不相同的单块煤块运行过程以及皮带负载运行过程；

图像处理模块，用于将接收到的视频分成单帧图像，之后将图像发送至图片储存模块或者异物判定模块，具体过程如下：

A1：将视频拆分成单帧图像，将空载状态下的图像标记为空载图像，将空载图像按照采集时间先后顺序依次发送至图片储存模块；

A2：将含有单块煤块的图像按照时间先后顺序依次标记为样本图像YTi，i=1、……、n，n为自然数，将样本图像YTi与空载图像进行相似度比较：

A21：按照样本图像YTi的采集时间从图片储存模块中获取同一采集时间的空载图像，此处同一采集时间表示非同日且同一时刻；

A22：将样本图像YTi与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除样本图像YTi中的基础图像，形成新的图像并将其标记为去参数样本QYi；

A23：将去参数样本QYi发送至图片存储模块，图片存储模块将去参数样本QYi一一储存并构建样本数据库；

A3：将负载状态下的图像按照时间先后顺序依次标记为比对图像BTj，j=1、……、m，m为自然数，将比对图像BTj与空载图像进行相似度比较：

A31：按照比对图像BTj的采集时间从图片储存模块中获取同一采集时间的空载图像，此处同一采集时间表示非同日且同一时刻；

A32：将比对图像BTj与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除比对图像BTj中的基础图像，形成新的图像并将其标记为去参数图像QTj；

A33：将去参数图像QTj发送至异物判定模块中；

异物判定模块，用于将接收到的图像与图片储存模块中的图像进行比对，从而对皮带运行过程中是否出现异物进行判断，具体过程如下：

B1：获取图片储存模块的样本数据库中的去参数样本QYi中样本轮廓，选取样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为样长值YCi和样短值YDi，按照样长值YCi从大到小的顺序构建样长值集合CJ{YC1、……、YCa}，a为自然数，按照样短值YDi从小到大的顺序构建样短值集合DJ{YD1、……、YDb}，b为自然数；

B2：将YC1、YD1代入公式

得到样长比YCB，其中

为预设误差因子，

，

取1.104；

B3：将YCa、YDb代入公式

得到样短比YDB，其中

为预设误差因子，

，

取0.925；

B4：获取去参数图像QTj中若干个样本轮廓，依次选取若干个样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为比长值BCj和比短值BDj，将比长值BCj和比短值BDj代入公式

得到长短比CDB；

B5：将长短比CDB与样长比YCB、样短比YDB进行比对：

B51：若长短比CDB≤样长比YCB或者长短比CDB≥样短比YDB，则生成非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像QTj和非正常信号发送至安全报警模块；安全报警模块根据非正常信号令警报器响起报警警报，安全报警模块根据标记后的去参数图像QTj将其在显示屏上进行图片显示；

B52：若样长比YCB＜长短比CDB＜样短比YDB，则生成预正常信号，并将预正常信号发送至图片储存模块；图片储存模块接收到预正常信号提取去参数样本QYi中样本颜色，并将其标记为标准颜色，并将标准颜色发送至异物判定模块；

B6：提取去参数图像QTj中样本的样本颜色，并将其标记为样本颜色，将样本颜色与图片储存模块反馈的标准颜色进行比较：

B61：若样本颜色只存在标准颜色，则生成正常信号；

B62：若样本颜色存在标准颜色以外的其他颜色，则非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像QTj和非正常信号发送至安全报警模块；安全报警模块根据非正常信号令警报器响起报警警报，安全报警模块根据标记后的去参数图像QTj将其在显示屏上进行图片显示；

图片储存模块，用于对空载图像和去参数样本进行储存，并根据去参数样本构建样本数据库；

安全报警模块，用于根据非正常信号令警报器响起报警警报，根据标记后的去参数图像将其在显示屏上进行图片显示。

实施例2：

请参阅图1所示，本实施例为一种基于图像处理的皮带异物视觉识别方法，包括以下步骤：

步骤一：图像采集模块实时采集皮带运行过程的视频，并将采集的视频发送至图像处理模块；皮带运行过程包括皮带空载运行过程，皮带依次携带形状、大小各不相同的单块煤块运行过程以及皮带负载运行过程；

步骤二：图像处理模块将视频拆分成单帧图像，将空载状态下的图像标记为空载图像，将空载图像按照采集时间先后顺序依次发送至图片储存模块；

步骤三：图像处理模块将含有单块煤块的图像按照时间先后顺序依次标记为样本图像YTi，i=1、……、n，n为自然数，将样本图像YTi与空载图像进行相似度比较：

按照样本图像YTi的采集时间从图片储存模块中获取同一采集时间的空载图像，此处同一采集时间表示非同日且同一时刻；

将样本图像YTi与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除样本图像YTi中的基础图像，形成新的图像并将其标记为去参数样本QYi；

步骤四：图像处理模块将去参数样本QYi发送至图片存储模块，图片存储模块将去参数样本QYi一一储存并构建样本数据库；

步骤五：图像处理模块将负载状态下的图像按照时间先后顺序依次标记为比对图像BTj，j=1、……、m，m为自然数，将比对图像BTj与空载图像进行相似度比较：

按照比对图像BTj的采集时间从图片储存模块中获取同一采集时间的空载图像，此处同一采集时间表示非同日且同一时刻；

将比对图像BTj与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除比对图像BTj中的基础图像，形成新的图像并将其标记为去参数图像QTj；

将去参数图像QTj发送至异物判定模块中；

步骤六：异物判定模块获取图片储存模块的样本数据库中的去参数样本QYi中样本轮廓，选取样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为样长值YCi和样短值YDi，按照样长值YCi从大到小的顺序构建样长值集合CJ{YC1、……、YCa}，a为自然数，按照样短值YDi从小到大的顺序构建样短值集合DJ{YD1、……、YDb}，b为自然数；

步骤七：异物判定模块将YC1、YD1代入公式

得到样长比YCB，其中

为预设误差因子，

，

取1.104；

步骤八：异物判定模块将YCa、YDb代入公式

得到样短比YDB，其中

为预设误差因子，

，

取0.925；

步骤九：异物判定模块获取去参数图像QTj中若干个样本轮廓，依次选取若干个样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为比长值BCj和比短值BDj，将比长值BCj和比短值BDj代入公式

得到长短比CDB；

步骤十：异物判定模块将长短比CDB与样长比YCB、样短比YDB进行比对：

若长短比CDB≤样长比YCB或者长短比CDB≥样短比YDB，则生成非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像QTj和非正常信号发送至安全报警模块，安全报警模块根据非正常信号令警报器响起报警警报，安全报警模块根据标记后的去参数图像QTj将其在显示屏上进行图片显示；

若样长比YCB＜长短比CDB＜样短比YDB，则生成预正常信号，并将预正常信号发送至图片储存模块，图片储存模块接收到预正常信号提取去参数样本QYi中样本颜色，并将其标记为标准颜色，并将标准颜色发送至异物判定模块；

步骤十一：异物判定模块提取去参数图像QTj中样本的样本颜色，并将其标记为样本颜色，将样本颜色与标准颜色进行比较：

若样本颜色只存在标准颜色，则生成正常信号；

若样本颜色存在标准颜色以外的其他颜色，则非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像QTj和非正常信号发送至安全报警模块，安全报警模块根据非正常信号令警报器响起报警警报，安全报警模块根据标记后的去参数图像QTj将其在显示屏上进行图片显示。

上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (5)

1.基于图像处理的皮带异物视觉识别系统，其特征在于，包括图像采集模块、图像处理模块以及异物判定模块；

图像采集模块，用于实时采集皮带运行过程的视频，并将采集的视频发送至图像处理模块，皮带运行过程包括皮带空载运行过程，皮带依次携带形状、大小各不相同的单块煤块运行过程以及皮带负载运行过程；

图像处理模块，用于将接收到的视频分成单帧图像，之后将图像发送至图片储存模块或者异物判定模块；

异物判定模块，用于将接收到的图像与图片储存模块中的图像进行比对，从而对皮带运行过程中是否出现异物进行判断。

2.根据权利要求1所述的基于图像处理的皮带异物视觉识别系统，其特征在于，所述图像处理模块的工作过程具体如下：

A1：将视频拆分成单帧图像，将空载状态下的图像标记为空载图像，将空载图像按照采集时间先后顺序依次发送至图片储存模块；

A2：将含有单块煤块的图像按照时间先后顺序依次标记为样本图像，将样本图像与空载图像进行相似度比较：

A21：按照样本图像的采集时间从图片储存模块中获取同一采集时间的空载图像；

A22：将样本图像与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除样本图像中的基础图像，形成新的图像并将其标记为去参数样本；

A23：将去参数样本发送至图片存储模块；

A3：将负载状态下的图像按照时间先后顺序依次标记为比对图像，将比对图像与空载图像进行相似度比较：

A31：按照比对图像的采集时间从图片储存模块中获取同一采集时间的空载图像；

A32：将比对图像与空载图像均在同一位置出现相同形状的图像标记为基础图像，删除比对图像中的基础图像，形成新的图像并将其标记为去参数图像；

A33：将去参数图像发送至异物判定模块中。

3.根据权利要求1所述的基于图像处理的皮带异物视觉识别系统，其特征在于，所述异物判定模块的工作过程具体如下：

B1：获取图片储存模块的样本数据库中的去参数样本中样本轮廓，选取样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为样长值和样短值，按照样长值从大到小的顺序构建样长值集合，按照样短值从小到大的顺序构建样短值集合；

B2：将样长值集合、样短值集合经过分析样长比和样短比；

B3：获取去参数图像中若干个样本轮廓，依次选取若干个样本轮廓中两点之间最长线段以及两点之间最短线段，并分别标记为比长值和比短值，将比长值和比短值经过分析得到长短比；

B4：将长短比与样长比、样短比进行比对：

B41：若长短比≤样长比或者长短比≥样短比，则生成非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像QTj和非正常信号发送至安全报警模块；

B42：若样长比＜长短比＜样短比，则生成预正常信号，并将预正常信号发送至图片储存模块；

B5：异物判定模块提取去参数图像中样本的样本颜色，并将其标记为样本颜色，将样本颜色与图片储存模块反馈的标准颜色进行比较：

B51：若样本颜色只存在标准颜色，则生成正常信号；

B52：若样本颜色存在标准颜色以外的其他颜色，则非正常信号，并将出现非正常信号所对应的样本轮廓进行标记，并将标记后的去参数图像和非正常信号发送至安全报警模块。

4.根据权利要求1所述的基于图像处理的皮带异物视觉识别系统，其特征在于，所述图片储存模块，用于对空载图像和去参数样本进行储存，并根据去参数样本构建样本数据库。

5.根据权利要求4所述的基于图像处理的皮带异物视觉识别系统，其特征在于，还包括安全报警模块，用于根据非正常信号令警报器响起报警警报，根据标记后的去参数图像将其在显示屏上进行图片显示。

Images