CN115027904A - 基于实例分割的皮带撕裂检测方法 - Google Patents

基于实例分割的皮带撕裂检测方法 Download PDF

Info

Publication number
CN115027904A
CN115027904A CN202210616562.3A CN202210616562A CN115027904A CN 115027904 A CN115027904 A CN 115027904A CN 202210616562 A CN202210616562 A CN 202210616562A CN 115027904 A CN115027904 A CN 115027904A
Authority
CN
China
Prior art keywords
belt
model
input vector
example segmentation
tearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210616562.3A
Other languages
English (en)
Inventor
陈叶亮
朱恩东
雷凌
徐晨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Beixin Intelligent Technology Co ltd
Original Assignee
Nanjing Beixin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Beixin Intelligent Technology Co ltd filed Critical Nanjing Beixin Intelligent Technology Co ltd
Priority to CN202210616562.3A priority Critical patent/CN115027904A/zh
Publication of CN115027904A publication Critical patent/CN115027904A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/02—Control devices, e.g. for safety, warning or fault-correcting detecting dangerous physical condition of load carriers, e.g. for interrupting the drive in the event of overheating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)
    • B65G2203/0275—Damage on the load carrier

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于实例分割的皮带撕裂检测方法，包括搭建神经网络模型；获取训练集；使用训练集对神经网络模型进行训练，得到实例分割模型和模型权重；对皮带区域图片进行预处理，得到输入向量；将输入向量输入实例分割模型，实例分割模型基于模型权重对输入向量进行预测，得到撕裂区域，本申请通过使用实例分割模型对皮带区域图片的输入向量进行自动预测，得到皮带的撕裂区域，全过程无需人工参与，解决了现有的皮带撕裂检测方法人工成本较高的问题。

Description

基于实例分割的皮带撕裂检测方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于实例分割的皮带撕裂检测方法。
背景技术
皮带撕裂，会造成物料倾洒、损毁减速器和电动机等设备，为此需要定时对皮带撕裂情况进行检查。
目前，现有技术公开了一种皮带撕裂检测方法，通过借助于额外的接触式设备或者传感器对皮带进行检测。
采用上述方式，在接触式设备或者传感器工作时需要工作人员值守，对接触式设备或者传感器进行调整，人工成本较高。
发明内容
本发明的目的在于提供一种基于实例分割的皮带撕裂检测方法，旨在解决现有的皮带撕裂检测方法人工成本较高的问题。
为实现上述目的，本发明提供了一种基于实例分割的皮带撕裂检测方法，包括以下步骤：
S1搭建神经网络模型；
S2获取训练集；
S3使用所述训练集对所述神经网络模型进行训练，得到实例分割模型和模型权重；
S4对皮带区域图片进行预处理，得到输入向量；
S5将所述输入向量输入所述实例分割模型，所述实例分割模型基于所述模型权重对所述输入向量进行预测，得到撕裂区域。
其中，所述获取训练集的具体方式为：
获取训练数据，并对所述训练数据进行预处理，得到训练集。
其中，所述使用所述训练集对所述神经网络模型进行训练，得到实例分割模型和模型权重的具体方式为：
S31将所述训练集输入所述神经网络模型；
S32所述神经网络模型基于所述训练集分别进行数据迭代和损失计算，分别得到模型权重和实例分割模型。
其中，所述对皮带区域图片进行预处理，得到输入向量的具体方式为：
S41从云台摄像头的拍摄视频中获取或绘制皮带所在区域，得到皮带区域；
S42基于所述皮带区域读取所述拍摄视频的图像帧，得到皮带区域图片；
S43对所述皮带区域图片进行图像预处理，得到输入向量。
其中，所述对所述皮带区域图片进行图像预处理，得到输入向量的具体方式为：
S431基于所述实例分割模型的输入尺寸对所述皮带区域图片进行尺寸调整，得到调整图像；
S432将所述调整图像转换为张量数据，得到输入向量。
其中，所述将所述输入向量输入所述实例分割模型，所述实例分割模型基于所述模型权重对所述输入向量进行预测，得到撕裂区域的具体方式为：
S51将所述输入向量输入所述实例分割模型；
S52所述实例分割模型判断所述输入向量是否有煤流数据，当有煤流数据时执行步骤S41，当无煤流数据时执行步骤S53；
S53所述网络模型基于所述模型权重对所述输入向量进行撕裂预测，当预测出无撕裂时执行步骤S41，当预测出有撕裂时，得到撕裂特征并执行步骤S54；
S54判断所述撕裂特征是否在所述皮带区域内，当所述撕裂特征不在所述皮带区域内时执行步骤S41，当所述撕裂特征在所述皮带区域内时执行步骤S55；
S55绘制所述撕裂特征，得到撕裂区域；
S56基于所述撕裂区域进行报警。
本发明的一种基于实例分割的皮带撕裂检测方法，通过搭建神经网络模型；获取训练集；使用所述训练集对所述神经网络模型进行训练，得到实例分割模型和模型权重；对皮带区域图片进行预处理，得到输入向量；将所述输入向量输入所述实例分割模型，所述实例分割模型基于所述模型权重对所述输入向量进行预测，得到撕裂区域，本申请通过使用所述实例分割模型对所述皮带区域图片的输入向量进行自动预测，得到皮带的撕裂区域，全过程无需人工参与，解决了现有的皮带撕裂检测方法人工成本较高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于实例分割的皮带撕裂检测方法的流程图。
图2是本发明提供的一种基于实例分割的皮带撕裂检测方法的原理图。
图3是实例分割模型的网络结构图。
图4是ResNet的网络结构图。
图5是控制室报警软件示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1至图5，本发明提供一种基于实例分割的皮带撕裂检测方法，包括以下步骤：
S1搭建神经网络模型；
具体的，使用工具搭建所述神经网络模型，所述工具包括Pytorch和Opencv；
Pytorch：开源的神经网络框架，专门针对GPU加速的深度神经网络(DNN)编程。Torch是一个经典的对多维矩阵数据进行操作的张量(tensor)库，在机器学习和其他数学密集型应用有广泛应用。
Opencv：用于图像处理、分析、机器视觉方面的开源函数库，该库的全部代码都经过优化，计算效率非常高，专注于设计成为一种用于实时系统的开源库。
S2获取训练集；
具体的，获取训练数据，并对所述训练数据进行预处理，得到训练集。
S3使用所述训练集对所述神经网络模型进行训练，得到实例分割模型和模型权重；
具体方式为：
S31将所述训练集输入所述神经网络模型；
S32所述神经网络模型基于所述训练集分别进行数据迭代和损失计算，分别得到模型权重和实例分割模型。
具体的，所述神经网络模型基于所述训练集进行损失计算，得到实例分割模型，所述损失计算采用yolact实例分割算法：
yolact实例分割主要是通过两个并行的子网络来实现实例分割的。PredictionHead分支生成各个anchor的类别置信度、位置回归参数以及mask的掩码系数；Protonet分支生成一组原型mask。然后将原型mask和mask的掩码系数相乘，从而得到图片中每一个目标物体的mask。NMS算法叫Fast-NMS，和传统的NMS算法相比只有轻微的精度损失，但是却大大提升了分割的速度。
yolact模型(实例分割模型)输入的图像大小为550*550，采用的Backbone为ResNet101，源代码中作者还使用了ResNet50和DarkNet53，ResNet的网络结构如图2所示。从图中可以看出，ResNet的卷积模块一共有5个从conv1,conv2_x到conv5_x，分别对应图1YOLACT模型中的C1，C2到C5。YOLACT和SSD一样采用了多尺度的特征图，从而可以检测到不同尺寸的物体，也就是在大的特征图上检测小的物体，在小的特征图上检测大的物体。
S4对皮带区域图片进行预处理，得到输入向量；
具体方式为：
S41从云台摄像头的拍摄视频中获取或绘制皮带所在区域，得到皮带区域；
具体的，所述云台摄像头为海康威视监控摄像头。
S42基于所述皮带区域读取所述拍摄视频的图像帧，得到皮带区域图片；
S43对所述皮带区域图片进行图像预处理，得到输入向量。
具体方式为：
S431基于所述实例分割模型的输入尺寸对所述皮带区域图片进行尺寸调整，得到调整图像；
具体的，图片分辨率压缩和二值化：yolact神经网络(实例分割模型)输入大小为512X 512X 1，首先将图像压缩成550X 550的分辨率。图片训练模型为单通道模型，需要将默认三通道二值化成单通道图片。
S432将所述调整图像转换为张量数据，得到输入向量。
具体的，图片转tensor：将处理完的图片转成Tensor格式送入神经网络。
S5将所述输入向量输入所述实例分割模型，所述实例分割模型基于所述模型权重对所述输入向量进行预测，得到撕裂区域。
具体方式为：
S51将所述输入向量输入所述实例分割模型；
S52所述实例分割模型判断所述输入向量是否有煤流数据(MASK数据)，当有煤流数据时执行步骤S41，当无煤流数据时执行步骤S53；
具体的，MASK仅仅用于撕裂形状的保存。
S53所述网络模型基于所述模型权重对所述输入向量进行撕裂预测，当预测出无撕裂时执行步骤S41，当预测出有撕裂时，得到撕裂特征并执行步骤S54；
S54判断所述撕裂特征是否在所述皮带区域内，当所述撕裂特征不在所述皮带区域内时执行步骤S41，当所述撕裂特征在所述皮带区域内时执行步骤S55；
S55绘制所述撕裂特征，得到撕裂区域；
S56基于所述撕裂区域进行报警。
具体的，报警展示使用矩形框展示撕裂位置和大小。判断撕裂在皮带限制区域内触发报警，通过MQTT协议将现场的撕裂情况发送到中央控制室，中央控制室的软件进行展示和报警。
本发明需要的环境条件：
1.保证镜头的清晰度和防尘措施。
2.现场环境复杂，需尽量避免冲洗廊道时水流冲洗到皮带上，污染皮带，降低皮带与背景的对比度，导致无法正确检测皮带。
有益效果：
本发明只需采用云台摄像头进行实时视频采集，硬件开销少，稳定高、环境要求低并且相比现有的皮带撕裂检测方法，可实时调整检测区域，操作方便；且能提供皮带撕裂位置、大小和形状信息，给客户直观的感受；当皮带发生撕裂时能及时通知员工，对皮带采取相应的处理措施。
以上所揭露的仅为本发明一种基于实例分割的皮带撕裂检测方法较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种基于实例分割的皮带撕裂检测方法，其特征在于，包括以下步骤：
S1搭建神经网络模型；
S2获取训练集；
S3使用所述训练集对所述神经网络模型进行训练，得到实例分割模型和模型权重；
S4对皮带区域图片进行预处理，得到输入向量；
S5将所述输入向量输入所述实例分割模型，所述实例分割模型基于所述模型权重对所述输入向量进行预测，得到撕裂区域。
2.如权利要求1所述的基于实例分割的皮带撕裂检测方法，其特征在于，
所述获取训练集的具体方式为：
获取训练数据，并对所述训练数据进行预处理，得到训练集。
3.如权利要求2所述的基于实例分割的皮带撕裂检测方法，其特征在于，
所述使用所述训练集对所述神经网络模型进行训练，得到实例分割模型和模型权重的具体方式为：
S31将所述训练集输入所述神经网络模型；
S32所述神经网络模型基于所述训练集分别进行数据迭代和损失计算，分别得到模型权重和实例分割模型。
4.如权利要求3所述的基于实例分割的皮带撕裂检测方法，其特征在于，
所述对皮带区域图片进行预处理，得到输入向量的具体方式为：
S41从云台摄像头的拍摄视频中获取或绘制皮带所在区域，得到皮带区域；
S42基于所述皮带区域读取所述拍摄视频的图像帧，得到皮带区域图片；
S43对所述皮带区域图片进行图像预处理，得到输入向量。
5.如权利要求4所述的基于实例分割的皮带撕裂检测方法，其特征在于，
所述对所述皮带区域图片进行图像预处理，得到输入向量的具体方式为：
S431基于所述实例分割模型的输入尺寸对所述皮带区域图片进行尺寸调整，得到调整图像；
S432将所述调整图像转换为张量数据，得到输入向量。
6.如权利要求2所述的基于实例分割的皮带撕裂检测方法，其特征在于，
所述将所述输入向量输入所述实例分割模型，所述实例分割模型基于所述模型权重对所述输入向量进行预测，得到撕裂区域的具体方式为：
S51将所述输入向量输入所述实例分割模型；
S52所述实例分割模型判断所述输入向量是否有煤流数据，当有煤流数据时执行步骤S41，当无煤流数据时执行步骤S53；
S53所述网络模型基于所述模型权重对所述输入向量进行撕裂预测，当预测出无撕裂时执行步骤S41，当预测出有撕裂时，得到撕裂特征并执行步骤S54；
S54判断所述撕裂特征是否在所述皮带区域内，当所述撕裂特征不在所述皮带区域内时执行步骤S41，当所述撕裂特征在所述皮带区域内时执行步骤S55；
S55绘制所述撕裂特征，得到撕裂区域；
S56基于所述撕裂区域进行报警。
CN202210616562.3A 2022-06-01 2022-06-01 基于实例分割的皮带撕裂检测方法 Pending CN115027904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210616562.3A CN115027904A (zh) 2022-06-01 2022-06-01 基于实例分割的皮带撕裂检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210616562.3A CN115027904A (zh) 2022-06-01 2022-06-01 基于实例分割的皮带撕裂检测方法

Publications (1)

Publication Number Publication Date
CN115027904A true CN115027904A (zh) 2022-09-09

Family

ID=83122992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210616562.3A Pending CN115027904A (zh) 2022-06-01 2022-06-01 基于实例分割的皮带撕裂检测方法

Country Status (1)

Country Link
CN (1) CN115027904A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197743A (zh) * 2023-09-13 2023-12-08 南京北新智能科技有限公司 一种基于多帧二维点云识别的皮带纵向撕裂检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197743A (zh) * 2023-09-13 2023-12-08 南京北新智能科技有限公司 一种基于多帧二维点云识别的皮带纵向撕裂检测方法

Similar Documents

Publication Publication Date Title
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN111242025B (zh) 一种基于yolo的动作实时监测方法
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
CN110458198B (zh) 多分辨率目标识别方法及装置
CN116385948B (zh) 一种预警铁路边坡异常的系统和方法
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN112349057A (zh) 基于深度学习的室内烟雾和火灾检测方法
CN111582166B (zh) 基于高斯建模和YoLo V3目标检测的遗留物检测方法
CN115027904A (zh) 基于实例分割的皮带撕裂检测方法
CN115953719A (zh) 一种多目标识别的计算机图像处理系统
CN113569656B (zh) 一种基于深度学习的考场监控方法
CN116977909B (zh) 一种基于多模态数据的深度学习火灾强度识别方法及系统
KR102366396B1 (ko) Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템
CN113469938A (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN110316630B (zh) 电梯摄像头安装角度的偏离预警方法及系统
CN116403162A (zh) 一种机场场面目标行为识别方法、系统及电子设备
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN114387564A (zh) 一种基于YOLOv5的磕头机停抽检测方法
CN114140724A (zh) 一种用于变电站的视频监控系统及方法
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN112967335A (zh) 气泡尺寸监测方法及装置
CN106650546A (zh) 一种基于二维码的变电站开关柜设备对象自动识别方法
JP3295482B2 (ja) 移動物体検出方法および装置
CN117292329B (zh) 一种建筑机器人工作异常监测方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination