CN115485744A - 基于机器视觉的索股无人跟随牵引智能识别系统和方法 - Google Patents

基于机器视觉的索股无人跟随牵引智能识别系统和方法 Download PDF

Info

Publication number
CN115485744A
CN115485744A CN202280002803.3A CN202280002803A CN115485744A CN 115485744 A CN115485744 A CN 115485744A CN 202280002803 A CN202280002803 A CN 202280002803A CN 115485744 A CN115485744 A CN 115485744A
Authority
CN
China
Prior art keywords
strand
abnormal
module
puller
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280002803.3A
Other languages
English (en)
Inventor
张永涛
田唯
潘桂林
黄灿
朱浩
彭成明
王永威
刘志昂
陈圆
杨建平
李冕
李焜耀
代百华
郑建新
薛现凯
李�浩
杨华东
肖垚
胡钦侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCCC Second Harbor Engineering Co
CCCC Highway Long Bridge Construction National Engineering Research Center Co Ltd
Original Assignee
CCCC Second Harbor Engineering Co
CCCC Highway Long Bridge Construction National Engineering Research Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCCC Second Harbor Engineering Co, CCCC Highway Long Bridge Construction National Engineering Research Center Co Ltd filed Critical CCCC Second Harbor Engineering Co
Publication of CN115485744A publication Critical patent/CN115485744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66D—CAPSTANS; WINCHES; TACKLES, e.g. PULLEY BLOCKS; HOISTS
    • B66D1/00—Rope, cable, or chain winding mechanisms; Capstans
    • B66D1/28—Other constructional details
    • B66D1/40—Control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/187—Machine fault alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的索股无人跟随牵引智能识别系统，包括：数据采集模块，其采集拽拉器的前视画面和后视画面以及拽拉器的位置信息；数据无线传输模块，其用于数据采集模块的数据的传输；边缘计算终端，其用于接收拽拉器的前视画面和后视画面以及拽拉器的位置信息，所述边缘计算终端还包括索股姿态异常识别模块和异常状态预警模块，所述索股姿态异常识别模块用于识别索股异常状态并通过异常状态预警模块报警；接收端，其接收异常状态预警模块发送的异常报警信息。本发明还公开了一种基于机器视觉的索股无人跟随牵引智能识别方法。本发明提高了现场索股架设的智能化水平，节约了人工，提高了牵引效率，可操作性强，适用于工程现场。

Description

基于机器视觉的索股无人跟随牵引智能识别系统和方法
技术领域
本发明涉及悬索桥索股架设施工领域。更具体地说，本发明涉及一种基于机器视觉的索股无人跟随牵引智能识别系统和方法。
背景技术
在现有的悬索桥索股架设施工中，通常采用人工跟随拽拉器的方法来监测索股牵引架设的状态并判断异常，即人工现场观测和判断拽拉器工作状态是否正常，被架设索股是否正好落入托滚中，索股是否出现“散丝”等，若发现问题则用对讲机报警并停下拽拉器，排除故障。此种方法需要专人在猫道上跟随监测，费时费力且人员高空作业，存在安全隐患。
新兴的基于机器视觉的图像识别技术具有非接触、远距离、高精度、省时省力、实时监测等众多优点，已广泛应用于桥梁施工领域，但迄今还没有将这项技术用于索股牵引状态识别的施工案例。
发明内容
本发明的一个目的是提供一种基于机器视觉的索股无人跟随牵引智能识别系统和方法，以解决上述提及的索股牵引架设状态识别的问题。
为了实现根据本发明的这些目的和其它优点，提供了一种基于机器视觉的索股无人跟随牵引智能识别系统，包括：
数据采集模块，其包括前视高清相机、后视高清相机和北斗定位终端，所述前视高清相机和后视高清相机分别采集拽拉器的前视画面和后视画面，所述北斗定位终端与所述后视高清相机连接为一体，用于采集拽拉器的位置信息；
数据无线传输模块，其用于数据采集模块的数据传输；
边缘计算终端，其用于接收数据无线传输模块传送的拽拉器的前视画面和后视画面以及拽拉器的位置信息，所述边缘计算终端还包括索股姿态异常识别模块、异常状态预警模块，所述索股姿态异常识别模块用于通过拽拉器的前视画面和后视画面识别索股异常状态，并通过异常状态预警模块报警；
接收端，其接收异常状态预警模块发送的异常报警信息。
优选的是，所述数据无线传输模块采用无线AP和无线网桥融合方式。
优选的是，所述异常报警信息包括索股异常姿态类别、异常姿态画面截图及拽拉器当前的位置信息。
优选的是，所述边缘计算终端还包括卷扬机控制模块，其用于控制卷扬机启闭，所述索股姿态异常识别模块识别索股异常状态后还通过卷扬机控制模块控制卷扬机停机。
本发明还提供了一种基于机器视觉的索股无人跟随牵引智能识别方法，包括如下步骤：
步骤一、在拽拉器上安装智能识别系统，并与后台接收端进行通讯连接；
步骤二、启动智能识别系统并开始索股牵引施工；
步骤三、数据采集模块通过前视高清相机和后视高清相机分别采集拽拉器的前视画面和后视画面，并通过北斗定位终端采集拽拉器的位置信息，将数据采集模块采集的数据通过数据无线传输模块传输至边缘计算终端，边缘计算终端获取拽拉器的前视画面和后视画面数据后通过索股姿态异常识别模块识别索股异常状态，当边缘计算终端识别到异常后，通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
步骤四、接收端的操作人员接收到异常报警信息后通过后台查看异常姿态画面截图，确定是否异常，如果异常，则操作人员根据拽拉器当前位置信息快速到达拽拉器位置进行处理，处理完成后通过卷扬机控制模块控制卷扬机启动工作，如果操作人员确认是错误的异常报警信息，则通过卷扬机控制模块控制卷扬机继续工作；
步骤五、重复上述步骤三和步骤四直至整个待牵引索股牵引施工完成。
优选的是，索股姿态异常识别模块识别索股异常状态具体方法为：
3.1、对采集的索股姿态图像进行语义分割，得到图像中索股像素语义分割区域和托滚像素语义分割区域；
3.2、利用步骤3.1得到的托滚像素语义分割区域，提取该区域的外接矩形；
3.3、利用步骤3.1得到的索股像素语义分割区域，计算该区域和步骤3.2得到的外接矩形的交集区域，并计算各区域的几何参数，各参数如下：
(Xw1,Yw1)——托滚外接矩形最左侧点的坐标；
(Xw2,Yw1)——托滚外接矩形最右侧点的坐标；
(Xrmin,Yr1)——索股区域最左侧点的坐标；
(Xrmax,Yr2)——索股区域最右侧点的坐标；
wrmax——索股区域最大宽度值；
3.4、基于托滚外接矩形和索股区域的几何参数，进行异常判断，具体包括：
①正常：若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2-Xw1)＜threshold1，此时，系统正常工作，卷扬机不停机；其中，threshold1为阈值；
②散丝：若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2-Xw1)≥threshold1；此时，系统正常工作，卷扬机不停机，系统通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
③脱滚：
工况1：若Xrmin＜Xw1且Xw1＜Xrmax，此时索股在左侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
工况2：若Xrmax＜Xw1，此时索股在左侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
工况3：若Xw2＜Xrmax且Xrmin＜Xw2，此时索股在右侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
工况4：若Xw2＜Xrmin，此时索股在右侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机。
优选的是，所述步骤3.1中索股姿态图像进行语义分割的具体步骤如下：
3.1.1、数据标注：采集大量数据采集模块采集的索股姿态图像，包括索股正常姿态及异常姿态图像，利用标注工具进行标注；
3.1.2、模型训练：采用基于深度学习的语义分割模型对数据进行训练；
3.1.3、模型推理：利用3.1.2训练好的模型，对新输入的图像进行语义分割，得到索股姿态语义分割图像，可得到图像中的托滚像素语义分割区域和索股像素语义分割区域。
优选的是，所述步骤3.4中，阈值threshold1取值为0.45。
优选的是，所述步骤3.1.2采用DeeplabV3+模型对数据进行训练，得到索股姿态图像语义分割模型。
本发明至少包括以下有益效果：
本发明的智能识别系统和方法能实时监测拽拉器牵引施工时索股状态的异常情况及拽拉器位置信息，主动实时预警，不再需要工人全程陪跑。该方法提高了现场索股架设的智能化水平，节约人工，提高了牵引效率，可操作性强，适用于工程现场。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明智能识别系统的结构示意图；
图2为本发明索股牵引结构示意图；
图3为本发明语义分割示意图；
图4为本发明各区域的几何参数示意图；
图5为本发明异常判断的结构示意图。
附图标记说明：1、前视高清相机，2、后视高清相机，3、北斗定位终端，4、边缘计算终端，5、拽拉器，6、被牵引索股。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1和图2所示，本发明提供一种基于机器视觉的索股无人跟随牵引智能识别系统，包括：
数据采集模块，其包括前视高清相机1、后视高清相机2和北斗定位终端3，所述前视高清相机1和后视高清相机2分别采集拽拉器5的前视画面和后视画面，所述北斗定位终端3与所述后视高清相机2连接为一体，用于采集拽拉器5的位置信息；拽拉器5连接被牵引索股6；
数据无线传输模块，其用于数据采集模块的数据传输；
边缘计算终端4，其用于接收数据无线传输模块传送的拽拉器5的前视画面和后视画面以及拽拉器5的位置信息，所述边缘计算终端4还包括索股姿态异常识别模块、异常状态预警模块，所述索股姿态异常识别模块用于通过拽拉器5的前视画面和后视画面识别索股异常状态，并通过异常状态预警模块报警；
接收端，其接收异常状态预警模块发送的异常报警信息。
在上述技术方案中，数据采集模块包括2个高清相机和1个北斗定位终端3，其中2个高清相机分别采集拽拉器5的前视画面和后视画面(重点关注的对象)，用于提供拽拉器5前后高清图像画面；北斗定位终端3与后视高清相机2绑定，用于提供拽拉器5的位置信息。边缘计算终端4接收通过数据无线传输模块传送的拽拉器5前后高清图像数据和拽拉器5定位数据，边缘计算终端4还包括有索股姿态异常识别模块，用于识别索股异常状态。当边缘计算终端4识别到异常后，通过异常状态预警模块将异常报警信息及时发送给后台接收端的现场操作人员。
在另一种技术方案中，所述数据无线传输模块采用无线AP和无线网桥融合方式。为实现现场高清画面正常传输，采用融合无线AP+无线网桥的方式，该方法相比单纯的无线AP，组网更稳定，可实现拽拉器5在运动模式且信号干扰条件下的高清数据稳定传输，且性价比高。
在另一种技术方案中，所述异常报警信息包括索股异常姿态类别、异常姿态画面截图及拽拉器5当前的位置信息。现场人员确认索股状态并采取下一步措施，比如：系统识别到“脱滚”，现场人员通过手机(即接收端后台)异常姿态画面查看截图确定发生了“脱滚”，根据拽拉器5当前的定位信息快速到达拽拉器5位置进行处理；另一种情况，由于算法不可能100％准确，当系统识别到异常，现场人员确认是错误时，则指挥卷扬机继续工作。
在另一种技术方案中，所述边缘计算终端4还包括卷扬机控制模块，其用于控制卷扬机启闭，所述索股姿态异常识别模块识别索股异常状态后还通过卷扬机控制模块控制卷扬机停机。当边缘计算终端4识别到异常后，也会及时通过卷扬机控制模块对卷扬机进行操控，比如：系统识别到索股脱滚后，会立即控制卷扬机停机。异常预警模块和卷扬机控制模块同时工作，且受边缘计算终端4控制。
本发明还提供一种基于机器视觉的索股无人跟随牵引智能识别方法，包括如下步骤：
步骤一、在拽拉器5上安装智能识别系统，并与后台接收端进行通讯连接；
步骤二、启动智能识别系统并开始索股牵引施工；
步骤三、数据采集模块通过前视高清相机1和后视高清相机2分别采集拽拉器5的前视画面和后视画面，并通过北斗定位终端3采集拽拉器5的位置信息，将数据采集模块采集的数据通过数据无线传输模块传输至边缘计算终端4，边缘计算终端4获取拽拉器5的前视画面和后视画面数据后通过索股姿态异常识别模块识别索股异常状态，当边缘计算终端4识别到异常后，通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
步骤四、接收端的操作人员接收到异常报警信息后通过后台查看异常姿态画面截图，确定是否异常，如果异常，则操作人员根据拽拉器5当前位置信息快速到达拽拉器5位置进行处理，处理完成后通过卷扬机控制模块控制卷扬机启动工作，如果操作人员确认是错误的异常报警信息，则通过卷扬机控制模块控制卷扬机继续工作；
步骤五、重复上述步骤三和步骤四直至整个待牵引索股牵引施工完成。
在另一种技术方案中，索股姿态异常识别是边缘计算终端4的核心，索股姿态异常识别模块识别索股异常状态具体方法为：
3.1、对采集的索股姿态图像进行语义分割，得到图像中索股像素语义分割区域和托滚像素语义分割区域，如图3所示，底色代表背景，矩形框分割区域代表托滚，内部的类梯形框分割区域代表索股；
3.2、利用步骤3.1得到的托滚像素语义分割区域(外侧的矩形框区域)，提取该区域的外接矩形；
3.3、利用步骤3.1得到的索股像素语义分割区域(内部的类梯形框区域)，计算该区域图像和步骤3.2得到的外接矩形的交集区域，并计算各区域的几何参数，如图4所示，各参数如下：
(Xw1,Yw1)——托滚外接矩形最左侧点的坐标；
(Xw2,Yw1)——托滚外接矩形最右侧点的坐标；
(Xrmin,Yr1)——索股区域最左侧点的坐标；
(Xrmax,Yr2)——索股区域最右侧点的坐标；
wrmax——索股区域最大宽度值；
3.4、如图5所示，基于托滚外接矩形和索股区域的几何参数，进行异常判断，具体包括：
①正常：若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2-Xw1)＜threshold1，此时，系统正常工作，卷扬机不停机；其中，threshold1为阈值；根据不同的工程进行适应性调整，可选的是，threshold1取0.45；
②散丝(异常)：若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2-Xw1)≥threshold1；此时，系统正常工作，卷扬机不停机，系统通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
③脱滚(异常)：
工况1：若Xrmin＜Xw1且Xw1＜Xrmax，此时索股在左侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
工况2：若Xrmax＜Xw1，此时索股在左侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
工况3：若Xw2＜Xrmax且Xrmin＜Xw2，此时索股在右侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
工况4：若Xw2＜Xrmin，此时索股在右侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机。
在另一种技术方案中，所述步骤3.1中索股姿态图像进行语义分割的具体步骤如下：
3.1.1、数据标注：采集大量数据采集模块采集的索股姿态图像，包括索股正常姿态及异常姿态图像，利用Labelme标注工具进行标注；其中，背景标注为0，托滚标注为1，索股标注为2；
3.1.2、模型训练：采用基于深度学习的语义分割模型对数据进行训练；可选的是，采用DeeplabV3+模型，得到索股姿态图像语义分割模型；
3.1.3、模型推理：利用3.1.2训练好的模型，对新输入的图像进行语义分割，得到索股姿态语义分割图像，可得到图像中的托滚像素语义分割区域和索股像素语义分割区域。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (9)

1.基于机器视觉的索股无人跟随牵引智能识别系统，其特征在于，包括：
数据采集模块，其包括前视高清相机、后视高清相机和北斗定位终端，所述前视高清相机和后视高清相机分别采集拽拉器的前视画面和后视画面，所述北斗定位终端与所述后视高清相机连接为一体，用于采集拽拉器的位置信息；
数据无线传输模块，其用于数据采集模块的数据传输；
边缘计算终端，其用于接收数据无线传输模块传送的拽拉器的前视画面和后视画面以及拽拉器的位置信息，所述边缘计算终端还包括索股姿态异常识别模块、异常状态预警模块，所述索股姿态异常识别模块用于通过拽拉器的前视画面和后视画面识别索股异常状态，并通过异常状态预警模块报警；
接收端，其接收异常状态预警模块发送的异常报警信息。
2.如权利要求1所述的基于机器视觉的索股无人跟随牵引智能识别系统，其特征在于，所述数据无线传输模块采用无线AP和无线网桥融合方式。
3.如权利要求1所述的基于机器视觉的索股无人跟随牵引智能识别系统，其特征在于，所述异常报警信息包括索股异常姿态类别、异常姿态画面截图及拽拉器当前的位置信息。
4.如权利要求1所述的基于机器视觉的索股无人跟随牵引智能识别系统，其特征在于，所述边缘计算终端还包括卷扬机控制模块，其用于控制卷扬机启闭，所述索股姿态异常识别模块识别索股异常状态后还通过卷扬机控制模块控制卷扬机停机。
5.基于机器视觉的索股无人跟随牵引智能识别方法，其特征在于，包括如下步骤：
步骤一、在拽拉器上安装智能识别系统，并与后台接收端进行通讯连接；
步骤二、启动智能识别系统并开始索股牵引施工；
步骤三、数据采集模块通过前视高清相机和后视高清相机分别采集拽拉器的前视画面和后视画面，并通过北斗定位终端采集拽拉器的位置信息，将数据采集模块采集的数据通过数据无线传输模块传输至边缘计算终端，边缘计算终端获取拽拉器的前视画面和后视画面数据后通过索股姿态异常识别模块识别索股异常状态，当边缘计算终端识别到异常后，通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
步骤四、接收端的操作人员接收到异常报警信息后通过后台查看异常姿态画面截图，确定是否异常，如果异常，则操作人员根据拽拉器当前位置信息快速到达拽拉器位置进行处理，处理完成后通过卷扬机控制模块控制卷扬机启动工作，如果操作人员确认是错误的异常报警信息，则通过卷扬机控制模块控制卷扬机继续工作；
步骤五、重复上述步骤三和步骤四直至整个待牵引索股牵引施工完成。
6.如权利要求5所述的基于机器视觉的索股无人跟随牵引智能识别方法，其特征在于，索股姿态异常识别模块识别索股异常状态具体方法为：
3.1、对采集的索股姿态图像进行语义分割，得到图像中索股像素语义分割区域和托滚像素语义分割区域；
3.2、利用步骤3.1得到的托滚像素语义分割区域，提取该区域的外接矩形；
3.3、利用步骤3.1得到的索股像素语义分割区域，计算该区域和步骤3.2得到的外接矩形的交集区域，并计算各区域的几何参数，各参数如下：
(Xw1,Yw1)——托滚外接矩形最左侧点的坐标；
(Xw2,Yw1)——托滚外接矩形最右侧点的坐标；
(Xrmin,Yr1)——索股区域最左侧点的坐标；
(Xrmax,Yr2)——索股区域最右侧点的坐标；
wrmax——索股区域最大宽度值；
3.4、基于托滚外接矩形和索股区域的几何参数，进行异常判断，具体包括：
①正常：若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2-Xw1)＜threshold1，此时，系统正常工作，卷扬机不停机；其中，threshold1为阈值；
②散丝：若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2-Xw1)≥threshold1；此时，系统正常工作，卷扬机不停机，系统通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
③脱滚：
工况1：若Xrmin＜Xw1且Xw1＜Xrmax，此时索股在左侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
工况2：若Xrmax＜Xw1，此时索股在左侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机；
工况3：若Xw2＜Xrmax且Xrmin＜Xw2，此时索股在右侧脱离托滚，但未完全脱离，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，由相关操作人员决定下一步动作；
工况4：若Xw2＜Xrmin，此时索股在右侧完全脱离托滚，此时通过异常状态预警模块将异常报警信息发送给后台的接收端，同时通过卷扬机控制模块控制卷扬机停机。
7.如权利要求6所述的基于机器视觉的索股无人跟随牵引智能识别方法，其特征在于，所述步骤3.1中索股姿态图像进行语义分割的具体步骤如下：
3.1.1、数据标注：采集大量数据采集模块采集的索股姿态图像，包括索股正常姿态及异常姿态图像，利用标注工具进行标注；
3.1.2、模型训练：采用基于深度学习的语义分割模型对数据进行训练；
3.1.3、模型推理：利用3.1.2训练好的模型，对新输入的图像进行语义分割，得到索股姿态语义分割图像，可得到图像中的托滚像素语义分割区域和索股像素语义分割区域。
8.如权利要求6所述的基于机器视觉的索股无人跟随牵引智能识别方法，其特征在于，所述步骤3.4中，阈值threshold1取值为0.45。
9.如权利要求7所述的基于机器视觉的索股无人跟随牵引智能识别方法，其特征在于，所述步骤3.1.2采用DeeplabV3+模型对数据进行训练，得到索股姿态图像语义分割模型。
CN202280002803.3A 2022-08-04 2022-08-04 基于机器视觉的索股无人跟随牵引智能识别系统和方法 Pending CN115485744A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/110218 WO2024026769A1 (zh) 2022-08-04 2022-08-04 基于机器视觉的索股无人跟随牵引智能识别系统和方法

Publications (1)

Publication Number Publication Date
CN115485744A true CN115485744A (zh) 2022-12-16

Family

ID=84396621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280002803.3A Pending CN115485744A (zh) 2022-08-04 2022-08-04 基于机器视觉的索股无人跟随牵引智能识别系统和方法

Country Status (3)

Country Link
CN (1) CN115485744A (zh)
LU (1) LU503713B1 (zh)
WO (1) WO2024026769A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001508547A (ja) * 1997-06-11 2001-06-26 ピュア テクノロジーズ エルティーディー． 引張状態のケーブルをモニターする方法及び装置
US7343684B2 (en) * 2006-02-16 2008-03-18 Brian Carlisle Robotic system with traction drive
JP6815174B2 (ja) * 2016-11-29 2021-01-20 株式会社明電舎 エレベータロープ監視装置及びエレベータロープ監視方法
CN107944342A (zh) * 2017-10-27 2018-04-20 天津美腾科技有限公司 一种基于机器视觉的刮板机异常状态检测系统
CN112947240A (zh) * 2021-03-16 2021-06-11 武汉智汇高桥科技股份有限公司 牵引系统智能数控平台
CN114757905A (zh) * 2022-04-08 2022-07-15 中科领目(常州)智能科技有限公司 一种基于视觉的卷绳缠绕异常检测装置及方法

Also Published As

Publication number Publication date
WO2024026769A1 (zh) 2024-02-08
LU503713B1 (en) 2023-09-25

Similar Documents

Publication Publication Date Title
CN111884333B (zh) 无人值守巡检无人机协同工作系统及其方法
CN107578012A (zh) 一种基于聚类算法选择敏感区域的驾驶辅助系统
CN210466599U (zh) 一种电力施工现场违章识别报警系统
CN114132842A (zh) 集装箱门式起重机堆场作业状态实时监测系统及监测方法
CN116177396A (zh) 塔机监控系统、方法和塔机
CN110703760A (zh) 一种用于安防巡检机器人的新增可疑物体检测方法
CN111879308A (zh) 一种基于位姿感知技术的智能塔机安全监控系统及实现方法
CN115485744A (zh) 基于机器视觉的索股无人跟随牵引智能识别系统和方法
CN109800661A (zh) 一种道路识别模型训练方法、道路识别方法及装置
CN113092502A (zh) 一种无人机路面破损检测方法与系统
WO2018211489A1 (en) A crane ground control operating system
CN112479037A (zh) 一种穿戴式监控系统、起重机及工程机械
CN116360447A (zh) 一种巡检机器人系统及其控制方法
Mansoor et al. Conceptual framework for safety improvement in mobile cranes
CN113743214B (zh) 一种智能云台摄像机
CN114757905A (zh) 一种基于视觉的卷绳缠绕异常检测装置及方法
KR20190080142A (ko) 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템 및 표시 방법
CN110977292A (zh) 一种海洋平台模块结构焊缝自动检测方法
CN110516551B (zh) 一种基于视觉的巡线位置偏移识别系统、方法及无人机
CN210093392U (zh) 一种重型救援车辆作业过程记录及远程监控系统
CN112839214A (zh) 一种基于无人机与地面小车多视野的巡检系统
CN111447363A (zh) 隧道无线全景视频监控系统
CN216613787U (zh) 集装箱门式起重机堆场作业状态实时监测系统
CN105338314B (zh) 一种无线网络条件下的视频云台控制方法及系统
CN110139082A (zh) 通过视频处理算法对设备工况的识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination