CN115424075A - 一种流水线状态监测方法和系统 - Google Patents

一种流水线状态监测方法和系统 Download PDF

Info

Publication number
CN115424075A
CN115424075A CN202211127617.0A CN202211127617A CN115424075A CN 115424075 A CN115424075 A CN 115424075A CN 202211127617 A CN202211127617 A CN 202211127617A CN 115424075 A CN115424075 A CN 115424075A
Authority
CN
China
Prior art keywords
images
pipeline
difference operation
judgment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211127617.0A
Other languages
English (en)
Inventor
卢雨畋
李密
陈旭
陈佳期
唐光铁
林旭
曾远强
周小报
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Strait Zhihui Technology Co ltd
Original Assignee
Fujian Strait Zhihui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Strait Zhihui Technology Co ltd filed Critical Fujian Strait Zhihui Technology Co ltd
Priority to CN202211127617.0A priority Critical patent/CN115424075A/zh
Publication of CN115424075A publication Critical patent/CN115424075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请方面提出一种流水线状态监测方法，包括：S1，利用挂轨机器人采集连续多张流水线图像；S2，利用训练好的目标检测模型判断图像中是否存在目标，是则继续判断，否则结束判断；S3，对流水线图像中连续的两张图像进行差运算，获得差运算图像，根据差运算图像判断连续的流水线图像之间的差异，并结合连续多张流水线图像的判断结果确定流水线运动状态。上述方案提出了一种利用机器人结合计算机视觉的方法对流水线运行状态进行检测的方法，其利用挂轨机器人采集一段时间内的流水线图像并进行相似性判断，从而得出流水线的物料的状态，能够及时观测到物料停滞等异常状态，使流水线的运作更加智能化。

Description

一种流水线状态监测方法和系统
技术领域
本申请属于智能制造技术领域，具体的涉及一种流水线状态监测方法和系统。
背景技术
近些年来，随着自动化的发展，一种挂轨机器人已被开发并服务于工厂流水线的运作，为工厂提供全自动化全天候状态监测，确保流水线的工作正常。
在流水线作业中，时常出现流水线堆料、堵料，无法正常流转运行的现象，传统生产环境下常常需要工人在指定地点观察，或使用传统传感器的方法进行检测。人工观察存在费时费力，并且反应不及时的问题；传统传感器检测存在检测手段单一、检测位置固定，可移植性差的问题。
发明内容
针对上述问题，本申请第一方面提出一种流水线状态监测方法，包括以下步骤：
S1，利用挂轨机器人采集连续多张流水线图像；
S2，利用训练好的目标检测模型判断图像中是否存在目标，是则继续判断，否则结束判断；
S3，对流水线图像中连续的两张图像进行差运算，获得差运算图像，根据差运算图像判断连续的流水线图像之间的差异，并结合连续多张流水线图像的判断结果确定流水线运动状态。
上述方案提出了一种利用机器人结合计算机视觉的方法对流水线运行状态进行检测的方法，其利用挂轨机器人采集一段时间内的流水线图像并进行相似性判断，从而得出流水线的物料的状态，能够及时观测到物料停滞等异常状态，使流水线的运作更加智能化。
优选地，S2目标检测模型基于YOLO算法框架构建，并加入自注意力机制SE模块和CBAM模块。进一步地，还包括：根据前N张图像获得图像检测框，根据图像检测框对第N张后的图像进行裁剪，依据固定的检测框检测目标，能够减小运算量。
优选地，S3进一步包括：
根据差运算图像，获得差运算图像矩阵数据；
对每个差运算图像矩阵数据进行阈值判断，阈值判断包括：计算每个差运算图像矩阵数据的元素和，并与设定的阈值对比，若大于阈值，则运动判断计数值加一，否则运动判断计数值不变；
对多个差运算图像矩阵数据进行阈值判断，若运动判断计数值大于设定的运动判断阈值，则判断流水线运动，否则判断流水线停滞。
上述方案通过差运算进行图像的相似度对比，并结合计数值累计所采集的多张图像的相似度判断结果，能够实现流水线的运动状态判定，并有效减少机器人晃动或者是其他干扰导致的误报，准确率在90％以上。
优选地，S3进一步包括：
对连续的两张差运算图像进行差运算，获得二次差运算图像；
对连续的两张二次差运算图像进行相似度判断，若不相似，则运动判断计数值加一，否则运动判断计数值不变。
上述方案通过二次差运算进行图像的相似度对比，进一步提高了运动状态判定的准确率。
进一步地，相似度判断通过训练好的孪生神经网络实现；孪生神经网络包括权值共享的两个VGG16神经网络，确保图像只有在大部分像素相同的情况下才给出图像相似的判断。
进一步地，孪生神经网络为三体孪生神经网络，三体孪生神经网络的输入包括两组正样本和一组负样本，正样本为在流水线停滞状态下获得的二次差运算图像，负样本为在流水线运动状态下获得的二次差运算图像。三输入头的孪生神经网络算法能够更好的区别负样本，可在较小训练量的情况下将静止图样与运动图样进行区分，减少训练成本。
优选地，还包括对差运算图像和/或二次差运算图像进行图像处理，图像处理包括灰度化和腐蚀化。
本申请第二方面提出一种流水线状态监测系统，包括：
图像采集模块，配置用于利用挂轨机器人采集连续多张流水线图像；
目标检测模块，配置用于利用训练好的目标检测模型判断图像中是否存在目标，是则继续判断，否则结束判断；
状态检测模块，配置用于对流水线图像中连续的两张图像进行差运算，获得差运算图像，根据差运算图像判断连续的流水线图像之间的差异，并结合连续多张流水线图像的判断结果确定流水线运动状态。
本申请提出的一种流水线状态监测方法和系统，利用挂轨机器人，结合图像识别技术，实现流水线物料运行状态检测，能够及时发现物料停滞等异常。该方法和系统可以集成至已有的挂轨机器人工作系统中，且能够迁移到多种不同状态的流水线状态监控上，进一步拓展挂轨机器人的功能，提升流水线的智能化水平。
附图说明
附图帮助进一步理解本申请。附图的元件不一定是相互按照比例的。为了便于描述，附图中仅示出了与有关发明相关的部分。
图1为本申请一实施例中流水线状态监测方法的流程示意图；
图2为本申请另一实施例中用于电表的流水线状态监测方法的流程示意图；
图3为本申请另一实施例中拍摄的一张流水线图像；
图4为本申请另一实施例中经过裁剪和去噪处理的电表图像；
图5为本申请另一实施例中运动状态下的差运算图像测试样本；
图6为本申请另一实施例中静止状态下的差运算图像测试样本；
图7为本申请另一实施例中用于电表的流水线状态监测方法的流程示意图；
图8为本申请另一实施例中的三体孪生神经网络结构示意图；
图9为本申请另一实施例中流水线状态监测系统结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。
图1是根据本申请一实施例中流水线状态监测方法的流程示意图，该流程包括：
S1，利用挂轨机器人采集连续多张流水线图像；
S2，利用训练好的目标检测模型判断图像中是否存在目标，是则继续判断，否则结束判断；
优选实施例中，采用加入自注意力机制SE模块和CBAM模块的YOLO算法进行目标检测。
S3，对流水线图像中连续的两张图像进行差运算，获得差运算图像，根据差运算图像判断连续的流水线图像之间的差异，并结合连续多张流水线图像的判断结果确定流水线运动状态。
图2是本申请另一实施例中用于电表的流水线状态监测方法的流程示意图，该流程包括：
1.控制机器人到达指定位置，在指定位置调整云台指向流水线正上方；
2.获取图像流，每秒获取1张图像，共拍摄50s；图3为本实施例中所拍摄的一张流水线图像；
3.利用YOLO模型识别前10张图像，如果识别出目标，则继续流程；如果未识别出目标，则结束流程；
4.根据模型检测结果，得到电表的上、下、左、右的边框坐标信息，并将检测结果作为图像检测框，固定检测框位置，对后续的图像进行裁剪预处理；
5.对裁剪后的图像进行高斯滤波去除噪声，同时将处于RGB空间的图像灰度化；图4为本实施例中一张经过裁剪和去噪等处理的电表图像；
6.在图像流中按顺序将图像两两作差形成差运算图像，图5为一运动状态下的差运算图像测试样本，图6为一静止状态下的差运算图像测试样本；
7.对差运算图像进行图像腐蚀化运算，以过滤机器人本体震动及环境灯光影子变化等带来的噪声；
8.设定一阈值；清零运动判断计数值，并设定一运动判断阈值；计算差运算图像矩阵数据的元素和，若大于设定阈值，则判定该图像为运动图像，将运动判断计数值加一；
9.完成图像流中所有图像的运算后，若累加的运动判断计数值大于设定的运动判断阈值，则判断流水线正在运动；若不大于设定的运动判断阈值，则判断流水线静止，向后台发出警报。
图7是本申请另一实施例中用于电表的流水线状态监测方法的流程示意图，该流程包括：
1.在训练环节，对于采集的电表数据集，在YOLOv5模型加入自注意力机制SE模块和CBAM模块加强训练结果，训练得到准确率97％的模型；
2.控制机器人到达指定位置，在指定位置调整云台指向流水线正上方；
3.获取图像流，使用imread函数将图像加载至内存，使用Torch.hub.load调用训练模型进行YOLOv5推理获得检测结果；
4.得到电表的上、下、左、右的边框坐标信息，并将检测结果作为图像的感兴趣区域ROI，对感兴趣区域进行预处理裁剪得到处理后图像；
5.对裁剪后的图像进行3x3大小卷积核的高斯滤波GaussianBlur函数去除图像噪声，同时使用CvtColor函数搭配COLOR_BGR2RGAY参数将处于RGB空间图像灰度化；
6.在图像流中使用Absdiff函数按顺序将灰度化图像两两作差形成差分图像；对差分图像进行threshod函数过滤，选取灰度阈值为60，将大于其阈值的灰度函数值改为255；
7.根据差运算图像，使用Ones函数构造5x5卷积核，并带入erode函数进行图像腐蚀化运算得到二次差运算图像，过滤机器人本体震动及环境灯光影子变化的带来的环境噪声；
8.对后续的两张图像进行同样的差分运算和处理，得到连续的两张二次差运算图像；
9.使用Torch.hub.load调用三体孪生网络训练模型，将两张差运算图像进行三体孪生神经网络推理，得到相似置信度P，若相似置信度P小于15％，则运动判断计数值加一；
10.设定运动判断阈值为10，若运动判断计数值的累计结果大于运动判断阈值，则判断流水线正在运动，结束流程；若运动判断计数值小于运动判断阈值且未判断完毕，则继续下一轮判断，直到所有图像判断结束，若运动判断计数值仍然小于运动判断阈值，则判断流水线静止。
在一具体实施例中，在VGG16骨干网络架构组成二体孪生神经网络的基础上，增加同为VGG16骨干网络的负样本输入头，构建三体孪生神经网络，用于判断两个正样本输入头是否相似，并给出最后的相似概率。同时采用共享权重的方法，确保图像只有在大部分像素相同的情况下才给出图像相似的判断。图9为本实施例中增加负样本输入头的三体孪生神经网络结构示意图。训练时，以静止状态的二次差运算图像为正例图片，以运动状态的二次差运算图像为负例图片。经过VGG16主干网络提取特征后，获得三个输入头的多维特征，将其都变为一维向量，根据三个一维向量两两作差绝对值求和，获得对应特征向量插值的L1范数。相比于二体孪生神经网络，改进后的三体孪生网络算法能够更好的区别负例图片样本，可在较小训练量的情况下将静止图样与运动图样进行区分，减少训练成本。
图9为本申请一实施例中的流水线状态监测系统900结构示意图，包括：
图像采集模块901，配置用于利用挂轨机器人采集连续多张流水线图像；
目标检测模块902，配置用于利用训练好的目标检测模型判断图像中是否存在目标，是则继续判断，否则结束判断；
状态检测模块903，配置用于对流水线图像中连续的两张图像进行差运算，获得差运算图像，根据差运算图像判断连续的流水线图像之间的差异，并结合连续多张流水线图像的判断结果确定流水线运动状态。
本申请提出的利用挂轨机器人进行流水线状态监测的方法和系统，通过图像识别算法判断流水线的运动状态，可以用于检测大部分流水线状态，相对于传统的传感器监测，更加灵活和智能化。
尽管结合优选实施方案具体展示和介绍了本申请的内容，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本申请的精神和范围内，没有做出创造性劳动的情况下，在形式上和细节上对本申请做出的各种变化，均为本申请的保护范围。

Claims (10)

1.一种流水线状态监测方法，其特征在于，包括以下步骤：
S1，利用挂轨机器人采集连续多张流水线图像；
S2，利用训练好的目标检测模型判断所述图像中是否存在目标，是则继续判断，否则结束判断；
S3，对所述流水线图像中连续的两张图像进行差运算，获得差运算图像，根据所述差运算图像判断连续的流水线图像之间的差异，并结合连续多张流水线图像的判断结果确定流水线运动状态。
2.根据权利要求1所述的一种流水线状态监测方法，其特征在于，S2所述目标检测模型基于YOLO算法框架构建，并加入自注意力机制SE模块和CBAM模块。
3.根据权利要求2所述的一种流水线状态监测方法，其特征在于，S2还包括：根据前N张图像获得图像检测框，根据所述图像检测框对第N张后的图像进行裁剪。
4.根据权利要求1所述的一种流水线状态监测方法，其特征在于，S3进一步包括：
根据所述差运算图像，获得差运算图像矩阵数据；
对每个差运算图像矩阵数据进行阈值判断，所述阈值判断包括：计算每个所述差运算图像矩阵数据的元素和，并与设定的阈值对比，若大于所述阈值，则运动判断计数值加一，否则运动判断计数值不变；
对多个差运算图像矩阵数据进行阈值判断，若运动判断计数值大于设定的运动判断阈值，则判断流水线运动，否则判断流水线停滞。
5.根据权利要求1所述的一种流水线状态监测方法，其特征在于，S3进一步包括：
对连续的两张所述差运算图像进行差运算，获得二次差运算图像；
对连续的两张所述二次差运算图像进行相似度判断，若不相似，则运动判断计数值加一，否则运动判断计数值不变；
对多个二次差运算图像矩阵数据进行阈值判断，若运动判断计数值大于设定的运动判断阈值，则判断流水线运动，否则判断流水线停滞。
6.根据权利要求5所述的一种流水线状态监测方法，其特征在于，所述相似度判断通过训练好的孪生神经网络实现。
7.根据权利要求6所述的一种流水线状态监测方法，其特征在于，所述孪生神经网络包括权值共享的两个VGG16神经网络。
8.根据权利要求7所述的一种流水线状态监测方法，其特征在于，所述孪生神经网络为三体孪生神经网络，所述三体孪生神经网络的输入包括两组正样本和一组负样本，所述正样本为在流水线停滞状态下获得的二次差运算图像，所述负样本为在流水线运动状态下获得的二次差运算图像。
9.根据权利要求4或5所述的一种流水线状态监测方法，其特征在于，还包括对所述差运算图像和/或二次差运算图像进行图像处理，所述图像处理包括灰度化和腐蚀化。
10.一种流水线状态监测系统，其特征在于，包括：
图像采集模块，配置用于利用挂轨机器人采集连续多张流水线图像；
目标检测模块，配置用于利用训练好的目标检测模型判断所述图像中是否存在目标，是则继续判断，否则结束判断；
状态检测模块，配置用于对所述流水线图像中连续的两张图像进行差运算，获得差运算图像，根据所述差运算图像判断连续的流水线图像之间的差异，并结合连续多张流水线图像的判断结果确定流水线运动状态。
CN202211127617.0A 2022-09-16 2022-09-16 一种流水线状态监测方法和系统 Pending CN115424075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211127617.0A CN115424075A (zh) 2022-09-16 2022-09-16 一种流水线状态监测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211127617.0A CN115424075A (zh) 2022-09-16 2022-09-16 一种流水线状态监测方法和系统

Publications (1)

Publication Number Publication Date
CN115424075A true CN115424075A (zh) 2022-12-02

Family

ID=84203736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211127617.0A Pending CN115424075A (zh) 2022-09-16 2022-09-16 一种流水线状态监测方法和系统

Country Status (1)

Country Link
CN (1) CN115424075A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036362A (zh) * 2023-10-10 2023-11-10 广州国巡机器人科技有限公司 堵料检测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036362A (zh) * 2023-10-10 2023-11-10 广州国巡机器人科技有限公司 堵料检测方法、装置、设备及存储介质
CN117036362B (zh) * 2023-10-10 2024-02-20 广州国巡机器人科技有限公司 堵料检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110310261B (zh) 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN114549522B (zh) 基于目标检测的纺织品质量检测方法
US20220020134A1 (en) Method and system for quickly matching image features applied to mine machine vision
CN110930357B (zh) 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
CN113838054B (zh) 基于人工智能的机械零件表面损伤检测方法
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN101140216A (zh) 基于数字图像处理技术的气液两相流流型识别方法
CN109781737B (zh) 一种软管表面缺陷的检测方法及其检测系统
CN115526515B (zh) 一种水利水电用闸门的安全监测系统
CN113989257A (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN112380992B (zh) 一种加工过程监控数据准确性评估与优化方法及装置
CN115424075A (zh) 一种流水线状态监测方法和系统
CN114972339B (zh) 用于推土机结构件生产异常检测的数据增强系统
CN115861190A (zh) 一种基于对比学习的光伏组件无监督缺陷检测方法
CN114140384A (zh) 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法
CN111367901A (zh) 一种船舶数据去噪方法
CN114492534A (zh) 一种跨尺寸电机轴承故障诊断模型的构建方法及应用
CN107369163B (zh) 一种基于最佳熵双阈值分割的快速sar图像目标检测方法
CN114638822B (zh) 一种利用光学手段的汽车盖板表面质量检测方法及系统
CN112966699B (zh) 一种通信工程项目的目标检测系统
CN111506045B (zh) 一种基于单值中智集相关系数的故障诊断方法
CN113870328A (zh) 一种液体异物视觉检测方法及系统
CN112683533A (zh) 一种用于轴承故障诊断的信号增强方法及系统
CN117549313B (zh) 基于视觉分析的换刀机器人工作站控制方法与系统
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination