CN112906562A - 一种链篦机台车侧板裂缝的安全预警方法 - Google Patents

一种链篦机台车侧板裂缝的安全预警方法 Download PDF

Info

Publication number
CN112906562A
CN112906562A CN202110189123.4A CN202110189123A CN112906562A CN 112906562 A CN112906562 A CN 112906562A CN 202110189123 A CN202110189123 A CN 202110189123A CN 112906562 A CN112906562 A CN 112906562A
Authority
CN
China
Prior art keywords
side plate
crack
cracks
point
trolley
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110189123.4A
Other languages
English (en)
Other versions
CN112906562B (zh
Inventor
王月明
陈甜甜
陈蕊
张建东
石春芳
吴永刚
张继凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Science and Technology
Original Assignee
Inner Mongolia University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Science and Technology filed Critical Inner Mongolia University of Science and Technology
Priority to CN202110189123.4A priority Critical patent/CN112906562B/zh
Publication of CN112906562A publication Critical patent/CN112906562A/zh
Application granted granted Critical
Publication of CN112906562B publication Critical patent/CN112906562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及烧结球团机械设备故障检测技术领域，为一种链篦机台车侧板裂缝的安全预警方法，所述方法包括：通过摄像机对实时采集到的链篦机台车侧板运行的视频数据，使用DeepLabv3+处理视频数据中各帧图像，识别链篦机台车侧板边界与台车侧板裂缝，将台车侧板边界数据与台车侧板裂缝参数数据以集合形式保存，对台车侧板裂缝提取骨架图与连通域判断，依据台车侧板裂缝参数数据与台车侧板边界数据相对关系进行分析运算，判断当前链篦机台车侧板的损坏情况，判断侧板裂缝是否影响工业安全生产，并进行安全预警。相比人工侧板裂缝安全检测，检测效率及准确率更高，同时提高实际安全生产，节约了人力成本，保障企业的经济效益。

Description

一种链篦机台车侧板裂缝的安全预警方法
技术领域
本发明涉及烧结球团机械设备故障检测技术领域，具体涉及一种链篦机台车侧板裂缝的安全预警方法。
背景技术
链篦机-回转窑球团工艺是目前钢铁企业在工业生产中常用的球团生产方法，链篦机是其中最关键的设备。由于链篦机台车经常在高温高压与常温常压交变的环境下工作，因此链篦机台车侧板容易产生裂缝，裂缝达到一定大小时，侧板会破碎甚至掉落，导致烧结球团掉落等生产严重事故，影响实际生产安全，易造成重大经济损失。
目前，链篦机台车侧板裂缝的检测主要还是依靠人工观测，存在费时、费力、工作环境恶劣、易出错等问题。
发明内容
本发明提供了一种链篦机台车侧板裂缝的安全预警方法，解决了以上所述的链篦机台车侧板裂缝的检测效率低且容错率低的技术问题。
本发明为解决上述技术问题提供了一种链篦机台车侧板裂缝的安全预警方法，包括：
首先采集烧结厂运行链篦机台车侧板的视频数据，对视频数据中帧图像进行台车侧板裂缝与侧板边界检测识别；
然后对台车侧板裂缝处理得到台车侧板裂缝骨架图像，通过分析处理侧板边界和裂缝骨架图像数据，构建侧板裂缝安全预警算法，确定台车侧板裂缝的安全状态，维护生产安全。
可选的，所述采集烧结厂运行链篦机台车侧板的视频数据具体包括：摄像机装置、支架、视频图像处理服务器、光纤、补光装置和显示终端；
摄像机装置安装于链篦机台车侧板正前方，用于采集链篦机台车侧板的视频图像；视频图像处理服务器用于执行及处理整个过程中产生的数据；补光装置用于在所述摄像机装置采集图像时进行补光；显示终端用于显示报警信息与触发报警时的检测效果图和侧板编号。
可选的，在链篦机台车侧板旁边安置裂缝检测摄像机将实时获取侧板现场视频图像，侧板现场视频图像经交换机传输到视频图像处理服务器中进行算法处理，得到每张图像的裂缝的骨架提取图，当裂缝处于安全预警的阈值时，进行报警提示，当触发安全预警时，侧板号牌记录摄像机实时记录对应侧板编号，视频图像处理服务器将检测图像、报警提示及侧板号牌记录摄像机实时记录的侧板编号通过显示终端传输给现场工程师，以指导工业生产。
可选的，利用语义分割模型DeepLabv3+训练之前收集到的台车侧板裂缝图片数据集，通过调用训练好的模型对帧图像进行侧板裂缝与侧板边界进行检测；
利用基于HSV颜色空间分割法将识别出裂缝的掩膜区域与背景分离重组，采用高斯滤波的方法消去图像噪声，利用FloodFill漫水填充算法对图像空洞区域进行填充，进而获得侧板裂缝的骨架图像。
可选的，获取台车侧板的边界数据，保存为
Figure BDA0002944612460000031
Figure BDA0002944612460000032
其中
Figure BDA0002944612460000033
为侧板边界识别框左上角坐标，其中
Figure BDA0002944612460000034
为侧板边界识别框右下角坐标；其中i为帧图像中的第i个侧板检测框；侧板裂缝骨架图的数据保存为
Figure BDA0002944612460000035
其中k为帧图像中的第k个侧板裂缝，其中一组
Figure BDA0002944612460000036
为裂缝的像素坐标点，1,2……n为一条裂缝在帧图像中的像素点坐标；是否是同一条裂缝则通过判断裂缝骨架是否有不连通区域，若存在不连通区域，即为多条裂缝。
可选的，通过同一帧图像中的裂缝骨架数据与侧板边界数据进行比较，满足式(1)，则第k条裂缝属于第i个侧板之中；
Figure BDA0002944612460000037
满足公式(1)，则数据构建新的数据集，如：
Figure BDA0002944612460000038
新的数据集中包含某一帧图像中的某一侧板边界数据，以及该侧板边界中的裂缝数据，k表示该侧板边界中的裂缝数量，i表示这一帧图像中第i个侧板边界，以将每一帧图像中的侧板边界中的裂缝分到不同的数据集中。
可选的，获取帧图像中同一侧板边界与其裂缝数据，遍历裂缝数据中裂缝每一位置
Figure BDA0002944612460000041
与该侧板边界的水平距离和垂直距离，找到不同两点所对应的距离最小值L1与L2，设置安全预警的安全阈值sl 如公式(2)所示，根据工业生产实际情况进行调整修改此安全阈值。
Figure BDA0002944612460000042
比较L1+L2是否小于安全阈值sl：
若L1+L2小于安全阈值sl，进行安全预警，将台车侧板裂缝帧图像及其编号显示在检测人员的界面上，及时进行处理；
若L1+L2大于安全阈值sl，则认为该裂缝暂时还处于安全状态，无需实时处理，保存该裂缝图像，待链篦机定期维修时处理。
可选的，找到不同两点所对应的距离最小值L1与L2，具体包括：
首先通过公式(3)先取出最小值T1：
Figure BDA0002944612460000043
T1对应的像素点坐标为
Figure BDA0002944612460000044
P点即为该裂缝离左边界最近的点；
之后通过公式(4)取出最小值T2：
Figure BDA0002944612460000045
T2对应的像素点坐标为
Figure BDA0002944612460000046
若Q点坐标与P点坐标相同或者两点距离小于1.2sl，去除Q点对应的值
Figure BDA0002944612460000047
重新取Q 点，直至取出，Q点为该裂缝离右边界最近的点；
通过公式(5)取出最小值T3：
Figure BDA0002944612460000051
T3对应的像素点坐标为
Figure BDA0002944612460000052
若R点坐标与P点坐标相同，比较T3与T1的大小，保留二者中较小的，假设为T1，保留T1，重新取点R，将集合中的R对应的
Figure BDA0002944612460000053
删除，依据公式重新取 T3，直至取出，R点即为该裂缝离上边界最近的点；
通过公式(6)取出最小值T4：
Figure BDA0002944612460000054
T4对应的像素点坐标为
Figure BDA0002944612460000055
若S点坐标与R点坐标相同，去除S点对应的值
Figure BDA0002944612460000056
重新取S点，若S点坐标与P点坐标相同，比较T4与T1的大小，保留二者中较小的，假设为T1，保留T1，重新取点S，将集合中的S对应的
Figure BDA0002944612460000057
删除，依据公式重新取T3，直至取出，S点即为该裂缝离下边界最近的点；
从T1，T2，T3，T4中，取出最小的两个值，假设为T1和T2，其对应的点为
Figure BDA0002944612460000058
和
Figure BDA0002944612460000059
计算二者间的距离
Figure BDA00029446124600000510
Figure BDA00029446124600000511
若l≤1.2sl，则说明P、Q过于接近，保留T1和T2中较小的值，假设T1较小，保留T1与其所对应的点P，去除较大的值T2，并按照之前的方式重新取T2与其所对应的Q点，重新取出的Q点不能与 R或S的坐标相同，若相同，需比较所对应值的大小，保留较小的值，去除较大值，并重新取较大值对应的点，重复上述步骤；
若l＞1.2sl，将T1，T2，T3，T4中较小的两个值保存为L1与 L2；其中sl的系数1.2根据实际情况进行修改调整。
可选的，台车侧板多条裂缝的安全状态算法，具体包括：
多条裂缝，分为两种：一种多条裂缝，每条裂缝之间相隔较远；二是多条裂缝，但存在两条或两条以上的裂缝之间距离相近；
判断裂缝之间的距离是否相近，依据帧图像中多条裂缝的像素点坐标集合：
Figure BDA0002944612460000061
对帧图像中同一侧板边界内不同裂缝的像素点位置坐标
Figure BDA0002944612460000062
两两进行计算其距离，若同一侧板边界内两条裂缝最小距离满足如下式(7)，则认为该侧板内的这两条裂缝相隔较近，反之，认为每条裂缝相隔较远；式中sl的系数可以根据实际情况进行修改调整；
Figure BDA0002944612460000063
可选的，台车侧板多条裂缝的安全状态算法，具体包括：
①同一侧板边界中存在多条裂缝，每条裂缝之间相隔较远；
对帧图像中同一侧板边界下每条裂缝按照台车侧板单条裂缝的安全状态算法的判断方式单独逐一进行判断，只要其中一条侧板裂缝的(L1+L2)小于安全阈值sl，即触发安全预警，即需要对侧板进行处理；若所有裂缝均未触发安全预警，说明该侧板暂时还处于安全状态，无需处理，保存该裂缝图像；
②同一侧板边界中存在多条裂缝，存在两条或两条以上的裂缝距离相近；
对帧图像中同一侧板边界下存在两条或两条以上的裂缝间距离相近裂缝，则将距离相近的裂缝合并成一条裂缝，即将帧图像中多条裂缝的像素点坐标数据集
Figure BDA0002944612460000071
中距离相近的裂缝数据假设为第1条与第2条，将这两条裂缝的数据集合合并为一个裂缝
Figure BDA0002944612460000072
距离相近的裂缝按合并后作为一条裂缝来判断链篦机台车侧板裂缝安全预警情况。
本发明实施例提供的链篦机台车侧板裂缝的安全预警方法，通过对实时采集到的链篦机台车侧板的视频帧图像进行分析，确定链篦机台车侧板是否有危害生产安全的裂缝，并及时进行安全提示，节约劳动力，提高检测效率，减少发生安全事故的可能性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的链篦机台车侧板裂缝的安全预警方法的逻辑流程图；
图2为本发明实施例提供的链篦机台车侧板裂缝的安全预警方案的平台搭建示意图；
图3为本发明实施例提供的链篦机台车侧板裂缝的安全预警方案的工作流程图；
图4为本发明实施例提供的链篦机台车侧板的检测效果图及提取后的裂缝骨架图；
图5为本发明实施例提供的对链篦机台车侧板帧图像进行裂缝安全状态检测的示意图；
附图标记说明：1-补光装置，2-侧板裂缝检测摄像机，3-侧板号牌记录摄像机，4-支架，5-交换机，6-视频图像处理服务器，7-显示终端，8-电源，9-光纤，10-导轨，11-链篦机台车，12-侧板，13-台车号码牌，14-使用deeplabV3+检测后的带掩膜的侧板边界，15-侧板裂缝， 16-提取出的链篦机台车侧板裂缝骨架图，17-帧图像，18-侧板边界。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
链篦机台车侧板裂缝的安全预警方案，该方案的工作流程图，如图1～图5所示。该方案检测的基本原理：当链篦机台车11在导轨10 上运行时，侧板裂缝检测摄像机2将实时获取侧板12现场视频图像，侧板号牌记录摄像机3实时记录对应侧板12编号。侧板现场视频图像经交换机5传输到视频图像处理服务器6中，调用训练好的模型获取侧板裂缝的图像，得到提取出的链篦机台车侧板裂缝骨架图像16和帧图像17，并进行算法处理，得到每张图像的使用deeplabV3+检测后的带掩膜的侧板边界14和侧板裂缝15的骨架提取图，其中链篦机台车11的侧板边界18如图5所示。并进行分析计算，得到链篦机台车11的侧板裂缝15参数，当其处于安全预警的阈值时，进行报警提示，触发安全预警时，视频图像处理服务器6会将检测图像、报警提示及侧板号牌记录摄像机3实时记录的侧板编号传输给显示终端7，以指导工业生产。其中，电源8用于给上述各电器件供电，交换机5 用于各电器件的数据的传递及交换。
该链篦机台车侧板裂缝的安全预警方案的平台搭建示意图，如图 2所示，具体包括：摄像机装置、支架4、视频图像处理服务器6、光纤9、补光装置1和显示终端7；
摄像机装置安装于链篦机台车11的侧板12正前方，用于采集链篦机台车11的侧板12的视频图像；摄像机装置通过光纤9将视频图像数据传输到视频图像处理服务器6；视频图像处理服务器6用于执行上述的链篦机台车侧板裂缝的检测及通过显示终端7进行安全预警方法；支架4用于固定所述摄像机装置，补光装置1进行光照条件的调整。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明实施例提供一种链篦机台车侧板边界及裂缝骨架图像的获取方法，具体包括：
利用语义分割模型DeepLabv3+训练之前收集到的台车侧板裂缝图片数据集，通过调用训练好的模型对帧图像进行侧板裂缝与侧板边界进行检测。对台车侧板裂缝处理得到台车侧板裂缝骨架图像包括利用基于HSV颜色空间分割法将识别出裂缝的掩膜区域与背景分离重组，采用高斯滤波的方法消去图像噪声，利用FloodFill漫水填充算法对图像空洞区域进行填充，进而获得侧板裂缝的骨架图像。
基于上述任一实施例，获取链篦机台车侧板边界及裂缝的骨架图像具体包括如下步骤：
(1)首先，根据以上描述的链篦机台车侧板裂缝的安全预警方案获取到待检测台车侧板视频帧图像，侧板裂缝检测摄像机2采集运行中台车侧板的现场视频，程序以固定时间间隔截取视频的帧图像。
(2)之后利用语义分割模型DeepLabv3+训练之前收集到的裂缝图片数据集，通过调用训练好的模型对帧图像进行检测，检测图片中的侧板边界与裂缝，会将识别得到的侧板边界与裂缝区域用不同颜色的掩膜标记出，训练过程包括：
①进行数据集的制作，使用labelme对采集到的裂缝图像进行标注，生成的标注文件为json格式。然后进行进一步处理，新建4个文件夹分别为before、jpg、output和png，将原图、json文件和存放标注图像类别的txt文件一起放入before文件夹中，运行 json_to_dataset.py，每一个json文件会生成一个对应的文件夹，保存在output文件夹中，运行get_jpg_and_png.py文件，将会让每一文件夹原图的jpg文件和png文件分别输出到jpg、png文件夹内，最后运行get_train_txt.py将全部文件名称保存在train_txt.txt内，将这些文件移到训练的dataset文件夹下，作为训练的数据集。
②设置batch_size和epoch值，运行train.py，开始训练，训练结果将保存在logs文件夹内。
(3)其次，对识别后带掩膜的图像进行图像处理：
①将识别出裂缝的掩膜区域与背景进行分离重组。采用基于HSV 颜色空间分割法实现对图像中掩膜区域的分割提取。将含裂缝的掩膜区域置为1，其余背景区域置为0，重组只含裂缝的二值图：
hsv＝cv2.cvtColor(image,cv2.COLOR_BGR2HSV)
②采用高斯滤波的方法消去得到的二值图图像中的噪声：
img_Gaussian＝cv2.GaussianBlur(green_mask,(5,5),0)
③采用FloodFill漫水填充算法对滤波后二值图中白色区域中不连续的大小空洞区域进行填充：
cv2.floodFill(im_floodfill,mask,seedPoint,255)
(4)最后，对填充后得到的图像进行连通域操作，标记出图像中所有的裂缝区域，基于形态学提取裂缝骨架，提取出来的链篦机台车侧板的裂缝骨架图，如图4所示：
contours,hierarchy＝cv2.findContours(im_out,cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
skeleton＝morphology.skeletonize(image_skeleton)。
本发明实施例提供的链篦机台车侧板裂缝的安全预警方法，通过处理实时采集到的链篦机台车侧板的视频帧图像得到含有裂缝的链篦机台车侧板骨架图像，并进行分析计算，确定链篦机台车侧板是否有危害生产安全的裂缝，并及时进行提示，将检测效果图、报警提示及侧板号牌记录摄像机3实时记录的侧板编号传输给显示终端7，以指导工业生产，节约劳动力，提高裂缝的检测效率，减少因裂缝发生安全事故的可能性。
所述的链篦机台车侧板裂缝的安全预警方法的逻辑流程图，如图 1所示，该方法具体包括：
首先以帧图像左下角点建立坐标轴，如图5所示，利用本发明所述的链篦机台车侧板边界及裂缝骨架图像的获取方法，获得台车侧板边界及裂缝骨架图像，从而得到台车侧板的边界数据，保存为
Figure BDA0002944612460000131
其中
Figure BDA0002944612460000132
为侧板边界识别框左上角坐标，其中
Figure BDA0002944612460000133
为侧板边界识别框右下角坐标，其中i为帧图像中的第i个侧板检测框。侧板裂缝骨架图的数据保存为
Figure BDA0002944612460000134
其中k为帧图像中的第k个侧板裂缝，其中一组
Figure BDA0002944612460000135
为裂缝的像素坐标点，1,2,…,n为一条裂缝在帧图像中的像素点坐标。是否是同一条裂缝可以通过判断裂缝骨架是否有不连通区域，若存在不连通区域，即为多条裂缝。
之后，通过同一帧图像中的裂缝骨架数据与侧板边界数据进行比较，满足式(1)，则第k条裂缝属于第i个侧板之中。
Figure BDA0002944612460000136
满足公式(1)，则数据构建新的数据集，如：
Figure BDA0002944612460000137
新的数据集中包含某一帧图像中的某一侧板边界数据，以及该侧板边界中的裂缝数据，k表示该侧板边界中的裂缝数量，i表示这一帧图像中第i个侧板边界。这样把每一帧图像中的侧板边界中的裂缝分到不同的数据集中。
进一步地，对侧板裂缝进行分析计算，具体包括：
根据实际生产情况，进而设置安全预警的安全阈值如公式(2) 所示，可以根据工业生产实际情况进行调整修改此安全阈值。
Figure BDA0002944612460000141
进一步地，确定台车侧板裂缝的安全状态，可以分为两种情况，单条裂缝和多条裂缝，具体包括：
(1)单条裂缝
如图5中①侧板所示，其中
Figure BDA0002944612460000142
为裂缝的像素点坐标，根据之前所述方法获取帧图像中同一侧板边界与其裂缝数据，遍历裂缝数据中裂缝每一位置
Figure BDA0002944612460000143
与该侧板边界的水平距离和垂直距离，虚线为该裂缝离侧板边界的最小值，找到不同两点所对应的距离最小值L1与L2，具体包括：
首先通过公式(3)先取出最小值T1：
Figure BDA0002944612460000144
T1对应的像素点坐标为
Figure BDA0002944612460000145
P点即为该裂缝离左边界最近的点；
之后通过公式(4)取出最小值T2：
Figure BDA0002944612460000146
T2对应的像素点坐标为
Figure BDA0002944612460000147
若Q点坐标与P点坐标相同，去除Q点对应的值
Figure BDA0002944612460000148
重新取Q点，直至取出，Q点为该裂缝离右边界最近的点；
通过公式(5)取出最小值T3：
Figure BDA0002944612460000149
T3对应的像素点坐标为
Figure BDA00029446124600001410
若R点坐标与P点(或者Q 点)坐标相同，比较T3与T1(或T2)的大小，保留二者中较小的，假设为T1，保留T1，重新取点R，将集合中的R对应的
Figure BDA00029446124600001411
删除，依据公式重新取T3，直至取出，R点即为该裂缝离上边界最近的点；
通过公式(6)取出最小值T4：
Figure BDA0002944612460000151
T4对应的像素点坐标为
Figure BDA0002944612460000152
若S点坐标与R点坐标相同，去除S点对应的值
Figure BDA0002944612460000153
重新取S点，若S点坐标与P点(或者Q点)坐标相同，比较T4与T1(或T2)的大小，保留二者中较小的，假设为T1，保留T1，重新取点S，将集合中的S对应的
Figure BDA0002944612460000154
删除，依据公式重新取T3，直至取出，S点即为该裂缝离下边界最近的点；
从T1，T2，T3，T4中，取出最小的两个值，假设为T1和T2，其对应的点为
Figure BDA0002944612460000155
和
Figure BDA0002944612460000156
计算二者间的距离
Figure BDA0002944612460000157
Figure BDA0002944612460000158
若l≤1.2sl，则说明P、Q过于接近，保留T1和T2中较小的值，假设T1较小，保留T1与其所对应的点P，去除较大的值T2，并按照之前的方式重新取T2与其所对应的Q点，重新取出的Q点不能与 R或S的坐标相同，若相同，需比较所对应值的大小，保留较小的值，去除较大值，并重新取较大值对应的点，重复上述步骤；
若l＞1.2sl，将T1，T2，T3，T4中较小的两个值保存为L1与 L2(其中sl的系数可以根据实际情况进行修改调整)。
比较L1+L2是否小于安全阈值sl：
若L1+L2小于安全阈值sl，进行安全预警，将台车侧板裂缝帧图像及其编号显示在检测人员的界面上，及时进行处理。
若L1+L2大于安全阈值sl，则认为该裂缝暂时还处于安全状态，无需实时处理，保存该裂缝图像，待链篦机定期维修时处理。
(2)多条裂缝
多条裂缝分为两种：一是多条裂缝，每条裂缝之间相隔较远；二是多条裂缝，但存在两条或两条以上的裂缝之间距离相近。
先判断裂缝之间的距离是否相近，依据上述步骤获取到的帧图像中多条裂缝的像素点坐标集合
Figure BDA0002944612460000161
如图5中侧板③所示，虚线部分为两条裂缝相距最近的位置，需要算出该距离，从而判断裂缝是否距离相近。对帧图像中该侧板边界内不同裂缝的像素点位置坐标
Figure BDA0002944612460000162
两两进行计算其距离，若此侧板边界内两条裂缝最小距离满足式(7)，则认为该侧板内的这两条裂缝相隔较近，反之，认为每条裂缝相隔较远。式中sl的系数可以根据实际情况进行修改调整。
Figure BDA0002944612460000163
①同一侧板边界中存在多条裂缝，每条裂缝之间相隔较远
如图5中侧板②所示，两条裂缝所对应的像素点坐标集合分别为
Figure BDA0002944612460000164
和
Figure BDA0002944612460000165
这两条裂缝相隔较远，因此，对帧图像中该侧板边界下两条裂缝每条单独按照上述的台车侧板单条裂缝的安全状态的判断方式单独逐一进行判断，只要其中有一条侧板裂缝L1+L2小于安全阈值sl，即触发安全预警，即需要对侧板进行处理；若所有裂缝均未触发安全预警，说明该侧板暂时还处于安全状态，无需处理，保存该裂缝图像。
②同一侧板边界中存在多条裂缝，存在两条或两条以上的裂缝距离相近
如图5中侧板③所示，对帧图像中该侧板边界下存在两条裂缝间距离相近(即虚线的距离小于距离阈值0.7sl)，则将距离相近的这两条裂缝合并成一条裂缝，即将帧图像中两条裂缝的像素点坐标数据集中裂缝相近的裂缝数据合并为一个集合，假设该侧板的数据集合
Figure BDA0002944612460000171
中的两条裂缝相距较近，则将这两条裂缝数据合并，合并后为一条裂缝
Figure BDA0002944612460000172
合并后，情况类似①同一侧板边界中存在多条裂缝，每条裂缝之间相隔较远的情况，通过①的方法进行判断确定台车侧板裂缝的安全状态。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种链篦机台车侧板裂缝的安全预警方法，其特征在于，包括：
首先采集烧结厂运行链篦机台车侧板的视频数据，对视频数据中帧图像进行台车侧板裂缝与侧板边界检测识别；
然后对台车侧板裂缝处理得到台车侧板裂缝骨架图像，通过分析处理侧板边界和裂缝骨架图像数据，构建侧板裂缝安全预警算法，确定台车侧板裂缝的安全状态，维护生产安全。
2.根据权利要求1所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，所述采集烧结厂运行链篦机台车侧板的视频数据具体包括：摄像机装置、支架、视频图像处理服务器、光纤、补光装置和显示终端；
摄像机装置安装于链篦机台车侧板正前方，用于采集链篦机台车侧板的视频图像；视频图像处理服务器用于执行及处理整个过程中产生的数据；补光装置用于在所述摄像机装置采集图像时进行补光；显示终端用于显示报警信息与触发报警时的检测效果图和侧板编号。
3.根据权利要求2所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，在链篦机台车侧板旁边安置裂缝检测摄像机将实时获取侧板现场视频图像，侧板现场视频图像经交换机传输到视频图像处理服务器中进行算法处理，得到每张图像的裂缝的骨架提取图，当裂缝处于安全预警的阈值时，进行报警提示，当触发安全预警时，侧板号牌记录摄像机实时记录对应侧板编号，视频图像处理服务器将检测图像、报警提示及侧板号牌记录摄像机实时记录的侧板编号通过显示终端传输给现场工程师，以指导工业生产。
4.根据权利要求1或2所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，利用语义分割模型DeepLabv3+训练之前收集到的台车侧板裂缝图片数据集，通过调用训练好的模型对帧图像进行侧板裂缝与侧板边界进行检测；
利用基于HSV颜色空间分割法将识别出裂缝的掩膜区域与背景分离重组，采用高斯滤波的方法消去图像噪声，利用FloodFill漫水填充算法对图像空洞区域进行填充，进而获得侧板裂缝的骨架图像。
5.根据权利要求1所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，获取台车侧板的边界数据，保存为
Figure FDA0002944612450000021
Figure FDA0002944612450000022
其中
Figure FDA0002944612450000023
为侧板边界识别框左上角坐标，其中
Figure FDA0002944612450000024
为侧板边界识别框右下角坐标；其中i为帧图像中的第i个侧板检测框；侧板裂缝骨架图的数据保存为
Figure FDA0002944612450000025
其中k为帧图像中的第k个侧板裂缝，其中一组
Figure FDA0002944612450000026
为裂缝的像素坐标点，1,2……n为一条裂缝在帧图像中的像素点坐标；是否是同一条裂缝则通过判断裂缝骨架是否有不连通区域，若存在不连通区域，即为多条裂缝。
6.根据权利要求5所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，通过同一帧图像中的裂缝骨架数据与侧板边界数据进行比较，满足式(1)，则第k条裂缝属于第i个侧板之中；
Figure FDA0002944612450000031
满足公式(1)，则数据构建新的数据集，如：
Figure FDA0002944612450000032
新的数据集中包含某一帧图像中的某一侧板边界数据，以及该侧板边界中的裂缝数据，k表示该侧板边界中的裂缝数量，i表示这一帧图像中第i个侧板边界，以将每一帧图像中的侧板边界中的裂缝分到不同的数据集中。
7.根据权利要求1或6所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，获取帧图像中同一侧板边界与其裂缝数据，遍历裂缝数据中裂缝每一位置
Figure FDA0002944612450000033
与该侧板边界的水平距离和垂直距离，找到不同两点所对应的距离最小值L1与L2，设置安全预警的安全阈值sl如公式(2)所示，根据工业生产实际情况进行调整修改此安全阈值；
Figure FDA0002944612450000034
比较L1+L2是否小于安全阈值sl：
若L1+L2小于安全阈值sl，进行安全预警，将台车侧板裂缝帧图像及其编号显示在检测人员的界面上，及时进行处理；
若L1+L2大于安全阈值sl，则认为该裂缝暂时还处于安全状态，无需实时处理，保存该裂缝图像，待链篦机定期维修时处理。
8.根据权利要求7所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，找到不同两点所对应的距离最小值L1与L2，具体包括：
首先通过公式(3)先取出最小值T1：
Figure FDA0002944612450000041
T1对应的像素点坐标为
Figure FDA0002944612450000042
P点即为该裂缝离左边界最近的点；
之后通过公式(4)取出最小值T2：
Figure FDA0002944612450000043
T2对应的像素点坐标为
Figure FDA0002944612450000044
若Q点坐标与P点坐标相同或者两点距离小于1.2sl，去除Q点对应的值
Figure FDA0002944612450000045
重新取Q点，直至取出，Q点为该裂缝离右边界最近的点；
通过公式(5)取出最小值T3：
Figure FDA0002944612450000046
T3对应的像素点坐标为
Figure FDA0002944612450000047
若R点坐标与P点坐标相同，比较T3与T1的大小，保留二者中较小的，假设为T1，保留T1，重新取点R，将集合中的R对应的
Figure FDA0002944612450000048
删除，依据公式重新取T3，直至取出，R点即为该裂缝离上边界最近的点；
通过公式(6)取出最小值T4：
Figure FDA0002944612450000049
T4对应的像素点坐标为
Figure FDA00029446124500000410
若S点坐标与R点坐标相同，去除S点对应的值
Figure FDA00029446124500000411
重新取S点，若S点坐标与P点坐标相同，比较T4与T1的大小，保留二者中较小的，假设为T1，保留T1，重新取点S，将集合中的S对应的
Figure FDA0002944612450000051
删除，依据公式重新取T3，直至取出，S点即为该裂缝离下边界最近的点；
从T1，T2，T3，T4中，取出最小的两个值，假设为T1和T2，其对应的点为
Figure FDA0002944612450000052
和
Figure FDA0002944612450000053
计算二者间的距离
Figure FDA0002944612450000054
Figure FDA0002944612450000055
若l≤1.2sl，则说明P、Q过于接近，保留T1和T2中较小的值，假设T1较小，保留T1与其所对应的点P，去除较大的值T2，并按照之前的方式重新取T2与其所对应的Q点，重新取出的Q点不能与R或S的坐标相同，若相同，需比较所对应值的大小，保留较小的值，去除较大值，并重新取较大值对应的点，重复上述步骤；
若l＞1.2sl，将T1，T2，T3，T4中较小的两个值保存为L1与L2；其中sl的系数1.2根据实际情况进行修改调整。
9.根据权利要求8所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，台车侧板多条裂缝的安全状态算法，具体包括：
多条裂缝，分为两种：一种多条裂缝，每条裂缝之间相隔较远；二是多条裂缝，但存在两条或两条以上的裂缝之间距离相近；
判断裂缝之间的距离是否相近，依据帧图像中多条裂缝的像素点坐标集合：
Figure FDA0002944612450000056
对帧图像中同一侧板边界内不同裂缝的像素点位置坐标
Figure FDA0002944612450000061
两两进行计算其距离，若同一侧板边界内两条裂缝最小距离满足如下式(7)，则认为该侧板内的这两条裂缝相隔较近，反之，认为每条裂缝相隔较远；式中sl的系数可以根据实际情况进行修改调整；
Figure FDA0002944612450000062
10.根据权利要求9所述的链篦机台车侧板裂缝的安全预警方法，其特征在于，台车侧板多条裂缝的安全状态算法，具体包括：
①同一侧板边界中存在多条裂缝，每条裂缝之间相隔较远；
对帧图像中同一侧板边界下每条裂缝按照台车侧板单条裂缝的安全状态算法的判断方式单独逐一进行判断，只要其中一条侧板裂缝的(L1+L2)小于安全阈值sl，即触发安全预警，即需要对侧板进行处理；若所有裂缝均未触发安全预警，说明该侧板暂时还处于安全状态，无需处理，保存该裂缝图像；
②同一侧板边界中存在多条裂缝，存在两条或两条以上的裂缝距离相近；
对帧图像中同一侧板边界下存在两条或两条以上的裂缝间距离相近裂缝，则将距离相近的裂缝合并成一条裂缝，即将帧图像中多条裂缝的像素点坐标数据集
Figure FDA0002944612450000063
中距离相近的裂缝数据假设为第1条与第2条，将这两条的裂缝数据合并为一个裂缝数据集
Figure FDA0002944612450000071
距离相近的裂缝合并后作为一条裂缝来判断链篦机台车侧板裂缝安全预警情况。
CN202110189123.4A 2021-02-19 2021-02-19 一种链篦机台车侧板裂缝的安全预警方法 Active CN112906562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110189123.4A CN112906562B (zh) 2021-02-19 2021-02-19 一种链篦机台车侧板裂缝的安全预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110189123.4A CN112906562B (zh) 2021-02-19 2021-02-19 一种链篦机台车侧板裂缝的安全预警方法

Publications (2)

Publication Number Publication Date
CN112906562A true CN112906562A (zh) 2021-06-04
CN112906562B CN112906562B (zh) 2022-08-02

Family

ID=76123713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110189123.4A Active CN112906562B (zh) 2021-02-19 2021-02-19 一种链篦机台车侧板裂缝的安全预警方法

Country Status (1)

Country Link
CN (1) CN112906562B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592916A (zh) * 2021-07-30 2021-11-02 内蒙古科技大学 一种烧结机台车车轴故障检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035115A1 (en) * 2000-03-23 2001-11-01 Foresman James D. Extended life traveling grate side plate
CN102680480A (zh) * 2012-05-03 2012-09-19 中南大学 一种混凝土结构裂缝智能化检测方法
CN207113601U (zh) * 2017-07-24 2018-03-16 承德信通首承矿业有限责任公司 防开裂的链篦机侧板
CN110161035A (zh) * 2019-04-26 2019-08-23 浙江大学 基于图像特征与贝叶斯数据融合的结构表面裂缝检测方法
CN210441651U (zh) * 2019-09-10 2020-05-01 秦皇岛首钢机械有限公司 链篦机篦板检测系统
CN111145161A (zh) * 2019-12-28 2020-05-12 北京工业大学 一种路面裂缝数字图像处理和识别的方法
CN111242851A (zh) * 2020-04-10 2020-06-05 北京思莫特科技有限公司 一种混凝土结构表面裂缝检测方法及系统
CN111860240A (zh) * 2020-07-07 2020-10-30 内蒙古科技大学 链篦机台车侧板偏移故障的检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035115A1 (en) * 2000-03-23 2001-11-01 Foresman James D. Extended life traveling grate side plate
CN102680480A (zh) * 2012-05-03 2012-09-19 中南大学 一种混凝土结构裂缝智能化检测方法
CN207113601U (zh) * 2017-07-24 2018-03-16 承德信通首承矿业有限责任公司 防开裂的链篦机侧板
CN110161035A (zh) * 2019-04-26 2019-08-23 浙江大学 基于图像特征与贝叶斯数据融合的结构表面裂缝检测方法
CN210441651U (zh) * 2019-09-10 2020-05-01 秦皇岛首钢机械有限公司 链篦机篦板检测系统
CN111145161A (zh) * 2019-12-28 2020-05-12 北京工业大学 一种路面裂缝数字图像处理和识别的方法
CN111242851A (zh) * 2020-04-10 2020-06-05 北京思莫特科技有限公司 一种混凝土结构表面裂缝检测方法及系统
CN111860240A (zh) * 2020-07-07 2020-10-30 内蒙古科技大学 链篦机台车侧板偏移故障的检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BEN YANG 等: "Fibre Optic Sensing Based Slope Tension Crack Monitoring System for Surface Mines", 《2017 2ND INTERNATIONAL CONFERENCE OF FIBRE-OPTIC AND PHOTONIC SENSORS FOR INDUSTRIAL AND SAFETY APPLICATIONS》 *
李娜 等: "豫河公司减少回转窑结圈的措施", 《山西冶金》 *
赵冰 等: "链篦机大型结构件的结构优化", 《中国金属通报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592916A (zh) * 2021-07-30 2021-11-02 内蒙古科技大学 一种烧结机台车车轴故障检测方法及系统
CN113592916B (zh) * 2021-07-30 2024-02-06 内蒙古科技大学 一种烧结机台车车轴故障检测方法及系统

Also Published As

Publication number Publication date
CN112906562B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN202793389U (zh) 一种高铁接触网在线巡检装置
CN111080598A (zh) 一种钩尾销安全吊的螺栓、螺母缺失检测方法
CN103543161A (zh) 一种连铸坯表面质量在线检测方法
CN110807460B (zh) 一种基于图像识别的变电站智能巡视系统及其应用方法
CN112364740B (zh) 一种基于计算机视觉的无人机房监控方法及系统
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测系统及方法
CN112733668B (zh) 基于视频深度学习的电梯内宠物单独乘梯的检测方法
CN105303162B (zh) 一种基于目标建议算法的航拍图像绝缘子识别方法
CN112906562B (zh) 一种链篦机台车侧板裂缝的安全预警方法
CN109614946B (zh) 基于图像智能识别技术的火力发电厂输煤系统人员安全防护方法及系统
CN112839200A (zh) 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN110942221A (zh) 一种基于物联网的变电站故障快速修复方法
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN103824074A (zh) 一种基于背景减除和纹理特征的人群密度估计方法及系统
CN112528903A (zh) 人脸图像获取方法、装置、电子设备及介质
CN116152945A (zh) 一种基于ar技术的矿下巡检系统及方法
CN203203936U (zh) 一种印品质量数字化检测装置
CN113837178A (zh) 一种基于深度学习的变电站表计自动定位与统一分割方法
CN112733676A (zh) 一种基于深度学习的电梯内垃圾检测识别方法
CN113188662A (zh) 一种红外热成像故障自动识别系统和方法
CN113780178A (zh) 道路检测方法、装置、电子设备和存储介质
CN114241401A (zh) 异常判定方法、装置、设备、介质及产品
CN112115876A (zh) 一种基于3d卷积神经网络的水溶法实验过程识别方法
CN112132826A (zh) 基于人工智能的杆塔附件缺陷巡检图像排查方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant