CN115082865B - 基于视觉图像识别的桥机入侵危险行为预警方法及系统 - Google Patents

基于视觉图像识别的桥机入侵危险行为预警方法及系统 Download PDF

Info

Publication number
CN115082865B
CN115082865B CN202210890533.6A CN202210890533A CN115082865B CN 115082865 B CN115082865 B CN 115082865B CN 202210890533 A CN202210890533 A CN 202210890533A CN 115082865 B CN115082865 B CN 115082865B
Authority
CN
China
Prior art keywords
bridge crane
image
early warning
gray level
intrusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210890533.6A
Other languages
English (en)
Other versions
CN115082865A (zh
Inventor
王勇飞
冯治国
李晓飞
蔡银辉
李昂
王浩宇
王彤
余聪毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoneng Daduhe Maintenance And Installation Co ltd
Original Assignee
Guoneng Daduhe Maintenance And Installation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoneng Daduhe Maintenance And Installation Co ltd filed Critical Guoneng Daduhe Maintenance And Installation Co ltd
Priority to CN202210890533.6A priority Critical patent/CN115082865B/zh
Publication of CN115082865A publication Critical patent/CN115082865A/zh
Application granted granted Critical
Publication of CN115082865B publication Critical patent/CN115082865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Control And Safety Of Cranes (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉图像识别的桥机入侵危险行为预警方法及系统，属于桥机监测技术领域，首先采集桥机环境中的原始图像，并进行预处理，得到桥机图像；再提取桥机图像的关键特征；然后根据桥机图像的关键特征，确定桥机入侵危险行为的预警区域；最后在桥机入侵危险行为的预警区域内，进行分级预警。本发明能够获取多个时段桥机环境中出现违规行为的图像，并判断监测区域的预警级别，通过筛选关键特征去除对桥机环境中出现违规行为预警相关性较小的特征，提高计算效率，有效提高预警准确度。

Description

基于视觉图像识别的桥机入侵危险行为预警方法及系统
技术领域
本发明属于桥机监测技术领域，具体涉及一种基于视觉图像识别的桥机入侵危险行为预警方法及系统。
背景技术
根据生产需要，目前利用AI、大数据、GIS地图和云计算等技术对现有的视频监控升级改造的需求越来越大，目的是实现桥机智能安防事前感知、事中处理和事后快速追溯，提高桥机安防水平，守护桥机工作行为的人身安全。
在各种的监控方式中视频监控是应用最普遍的一种，在实际应用中也起到了一定效果，但是由于传统的视频监控存在一定的缺陷，大量的视频内容在分析和查证的过程中也需要大量的人力来完成这项工作，准确性和效率通常都很低，传统的视频监控系统需要中控行为对着大屏幕看来判断是否有异常发生，人的因素和监控系统的局限性往往导致不能及时全面发现桥机环境中安全事故的发生，更多的只是作为事后的记录凭证。
发明内容
本发明为了解决上述问题，提出了一种基于视觉图像识别的桥机入侵危险行为预警方法及系统。
本发明的技术方案是：一种基于视觉图像识别的桥机入侵危险行为预警方法包括以下步骤：
S1：采集桥机环境中的原始图像，并进行预处理，得到桥机图像；
S2：提取桥机图像的关键特征；
S3：根据桥机图像的关键特征，确定桥机入侵危险行为的预警区域；
S4：在桥机入侵危险行为的预警区域内，进行分级预警。
本发明的有益效果是：（1）本发明提供了一种基于视觉图像识别的桥机入侵危险行为预警方法，能够获取多个时段桥机环境中出现违规行为的图像，并判断监测区域的预警级别，通过筛选关键特征去除对桥机环境中出现违规行为预警相关性较小的特征，提高计算效率，有效提高预警准确度。
（2）本发明在短时间内可完成传统视频监控中大量的数据分析和事件提取工作，为桥机工作的安全性提供保障，实现起重设备安全事故的分析预警，提高检修质量和检修水平。
进一步地，步骤S1包括以下子步骤：
S11：确定原始图像中各个样本点的高维空间矩阵，并根据各个样本点的高维空间矩阵计算各个样本点与其近邻点的高维距离；
S12：对各个样本点的高维空间矩阵进行降维，得到各个样本点的低维空间矩阵，并根据各个样本点的低维空间矩阵计算各个样本点与其近邻点的低维距离；
S13：判断各个样本点的高维距离和低维距离是否一致，若是则结束降维处理，否则继续对各个样本点的高维空间矩阵进行降维，直至各个样本点的高维距离和低维距离一致，完成对原始图像的降维处理；
S14：对进行降维处理后的原始图像进行灰度处理，得到桥机图像。
上述进一步方案的有益效果是：本发明在关键特征提取之前，将高维数据映射至低维，使低维数据能够反映高维数据的特征，从而实现对原始数据的维数简化和可视化。
进一步地，步骤S2包括以下子步骤：
S21：确定桥机图像的灰度直方图，并根据灰度直方图对桥机图像进行分类，得到第一灰度级图像和第二灰度级图像；
S22：分别计算第一灰度级图像和第二灰度级图像的灰度均值；
S23：根据第一灰度级图像和第二灰度级图像的灰度均值，提取桥机图像的关键特征。
上述进一步方案的有益效果是：本发明可以有效地提取低维灰度图像的边缘特征，提取出的关键特征更加清楚连续。
进一步地，步骤S21中，设定灰度阈值t，将灰度直方图中灰度级为
Figure 37686DEST_PATH_IMAGE002
的图像作为第一灰度级图像，将灰度直方图中灰度级为
Figure 158088DEST_PATH_IMAGE004
的图像作为第二灰度级图像；其中，L表示灰度级。
上述进一步方案的有益效果是：本发明将低维图像特征提取问题转换为灰度处理，可以直接利用步骤S1灰度处理的结果，简化算法流程。
进一步地，步骤S23中，提取桥机图像的关键特征的具体方法为：提取第一灰度级图像和第二灰度级图像的灰度均值的极值点，将极值点对应的坐标位置作为桥机图像的关键特征。
上述进一步方案的有益效果是：本发明的特征提取方法具有更高的普适性，有效提高数字图像特征提取的效率。
进一步地，步骤S3包括以下子步骤：
S31：根据桥机图像的关键特征，确定桥机环境中的人员工作区域和部件工作区域，将人员工作区域和部件工作区域的集合作为监测区域；
S32：在监测区域中，识别桥机工作的实际权重得分；
S33：设定桥机工作的理想权重得分，将桥机工作的实际权重得分小于理想权重得分的监测区域作为桥机入侵危险行为的预警区域。
上述进一步方案的有益效果是：本发明通过对实际权重得分和理想权重得分进行训练对比，在尽可能多地保留人员工作区域和部件工作区域的基础上，确定预警区域。同时，考虑桥机工作时人员和部件这两方面可能出现危险行为的情况，可全面进行区域划分。
进一步地，步骤S31中，确定人员工作区域的具体方法为：将桥机图像的关键特征输入至多层神经网络中，利用多层神经网络的人员识别框进行人员标记，得到人员工作区域；
其中，多层神经网络包括特征输入层、双隐层和标记输出层；特征输入层用于计算关键特征在多层神经网络的偏置值；双隐层用于根据关键特征的偏置值进行位置标定；标记输出层用于对标定位置进行加速收敛，并输出人员工作区域；
步骤S31中，确定部件工作区域的具体方法为：根据桥机图像的关键特征，计算部件的工作状态得分，将工作状态得分小于设定阈值的部件剔除，将其余部件所在区域作为桥机的部件工作区域。
上述进一步方案的有益效果是：本发明确定后期进行分级预警的区域，通过在多层神经网络加入人员识别框，获取人员实时坐标，即可进行位置标定。
进一步地，步骤S4包括以下子步骤：
S41：设定桥机各个工作部件的理想权重得分，随机选择一个理想权重得分作为初始节点，将小于初始节点的理想权重得分作为第一分支集合，将大于等于初始节点的理想权重得分作为第二分支集合；
S42：在第一分支集合中，随机选择一个理想权重得分作为第一分支节点，将小于第一分支节点的理想权重得分作为最新第一分支集合，在第二分支集合中，随机选择一个理想权重得分作为第二分支节点，将小于第二分支节点的理想权重得分作为最新第二分支集合；
S43：重复步骤S42，直至得到最终的第一分支集合和第二分支集合；
S44：将最终的第一分支集合对应的理想权重得分作为第一分级阈值，将最终的第二分支集合对应的理想权重得分作为第二分级阈值；
S45：根据第一分级阈值和第二分级阈值，进行分级预警。
上述进一步方案的有益效果是：本发明进行不断切分，将最后的切分结果作为分级阈值，该分级阈值深度反映了桥机工作部件的疏离程度，并可根据该分级阈值进行合理预警。
进一步地，步骤S45中，若实际权重得分小于第一分级阈值，则桥机不存在入侵危险行为；若实际权重得分大于等于第一分级阈值且小于第二分级阈值，则进行一级预警；若实际权重得分大于等于第二分级阈值，则进行二级预警。
上述进一步方案的有益效果是：鉴于分级阈值的准确获取，利用分级阈值直接进行无预警、一级预警或二级预警，可以全方位地监控桥机所处工作状态，保证预警的准确性和及时性。
本发明还提供了一种基于视觉图像识别的桥机入侵危险行为预警系统，包括：
图像采集模块，用于采集桥机环境中的原始图像；
图像处理模块，用于对原始图像进行预处理，得到桥机图像，并提取桥机图像的关键特征；
预警区域提取模块，用于确定桥机入侵危险行为的预警区域；
入侵危险行为预警模块，用于在桥机入侵危险行为的预警区域内进行分级预警。
本发明的有益效果是：本发明的桥机入侵危险行为预警系统可以对原始图像进行预处理，提取图像的关键特征，便于后续确定预警区域，缩小分级预警的范围，可以在预警区域内及时有效发现桥机的异常变化，最终达到对桥机工作环境和工作状态有效监测的目的。
附图说明
图1所示为本发明实施例1提供的基于视觉图像识别的桥机入侵危险行为预警方法流程图。
图2所示为本发明实施例7提供的多层神经网络示意图。
图3所示为本发明实施例10提供的基于视觉图像识别的桥机入侵危险行为预警系统结构框图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
实施例1：
本发明实施例提供了一种基于视觉图像识别的桥机入侵危险行为预警方法，如图1所示，包括以下步骤S1~S4：
S1：采集桥机环境中的原始图像，并进行预处理，得到桥机图像；
S2：提取桥机图像的关键特征；
S3：根据桥机图像的关键特征，确定桥机入侵危险行为的预警区域；
S4：在桥机入侵危险行为的预警区域内，进行分级预警。
本发明实施例提供的一种基于视觉图像识别的桥机入侵危险行为预警方法能够获取多个时段桥机环境中出现违规行为的图像，并判断监测区域的预警级别，通过筛选关键特征去除对桥机环境中出现违规行为预警相关性较小的特征，提高计算效率，有效提高预警准确度；同时，本发明实施例在短时间内可完成传统视频监控中大量的数据分析和事件提取工作，为桥机工作的安全性提供保障，实现起重设备安全事故的分析预警，提高检修质量和检修水平。
实施例2：
针对实施例1中的步骤S1，包括以下分步骤S11~S14：
S11：确定原始图像中各个样本点的高维空间矩阵，并根据各个样本点的高维空间矩阵计算各个样本点与其近邻点的高维距离；
S12：对各个样本点的高维空间矩阵进行降维，得到各个样本点的低维空间矩阵，并根据各个样本点的低维空间矩阵计算各个样本点与其近邻点的低维距离；
本发明实施例中，各个样本点与其近邻点的低维距离h uv 的计算公式为：
Figure DEST_PATH_IMAGE005
式中，
Figure 328039DEST_PATH_IMAGE006
为低维矩阵的第
Figure DEST_PATH_IMAGE007
行的元素，
Figure 132702DEST_PATH_IMAGE008
为低维矩阵的第v列的元素，N表示低维矩阵的维度。
S13：判断各个样本点的高维距离和低维距离是否一致，若是则结束降维处理，否则继续对各个样本点的高维空间矩阵进行降维，直至各个样本点的高维距离和低维距离一致，完成对原始图像的降维处理；
S14：对进行降维处理后的原始图像进行灰度处理，得到桥机图像。
本发明实施例的原始图像是包含多种样本点的高维数据，高维数据的存在容易导致预警方法陷入维数灾难，还会导致后续步骤失效，从而达不到有效的预警结果。所以在关键特征提取之前，将高维数据映射至低维，使低维数据能够反映高维数据的特征，从而实现对原始数据的维数简化和可视化。
实施例3：
针对实施例1中的步骤S2，包括以下分步骤S21~S23：
S21：确定桥机图像的灰度直方图，并根据灰度直方图对桥机图像进行分类，得到第一灰度级图像和第二灰度级图像；
S22：分别计算第一灰度级图像和第二灰度级图像的灰度均值；
S23：根据第一灰度级图像和第二灰度级图像的灰度均值，提取桥机图像的关键特征。
本发明实施例根据特征提取需求，对灰度直方图进行分类，计算灰度均值，将其极值点对应的边缘特征位置作为关键特征，可以有效地提取低维灰度图像的边缘特征，提取出的关键特征更加清楚连续。
实施例4：
针对实施例3中的步骤S21，设定灰度阈值
Figure DEST_PATH_IMAGE009
，将灰度直方图中灰度级为
Figure DEST_PATH_IMAGE011
的图像作为第一灰度级图像，将灰度直方图中灰度级为
Figure DEST_PATH_IMAGE013
的图像作为第二灰度级图像；其中，L表示灰度级；
本发明将低维图像特征提取问题转换为灰度处理，可以直接利用步骤S1灰度处理的结果，简化算法流程。
在本发明实施例中，灰度阈值t还可根据桥机环境对危险行为的分级需求进行选择。
针对实施例3中的步骤S22，第一灰度级图像的灰度均值
Figure 494544DEST_PATH_IMAGE014
的计算公式为：
Figure DEST_PATH_IMAGE015
式中，
Figure 989111DEST_PATH_IMAGE016
表示直方图中灰度为i的概率值，
Figure DEST_PATH_IMAGE017
表示第一灰度级图像的发生概率；
第二灰度级图像的灰度均值
Figure 911936DEST_PATH_IMAGE018
的计算公式为：
Figure DEST_PATH_IMAGE019
式中，
Figure 521954DEST_PATH_IMAGE020
表示第二灰度级图像的发生概率。
实施例5：
针对实施例3中的步骤S23，提取桥机图像的关键特征的具体方法为：提取第一灰度级图像和第二灰度级图像的灰度均值的极值点，将极值点对应的坐标位置作为桥机图像的关键特征。
在本发明实施例中，将极值点对应的坐标位置的水平方向作为关键特征位置，同时，提取满足危险行为预警分级需求的竖直方向也作为关键特征位置。
本发明实施例将低维图像特征提取问题转换为灰度处理，既可以直接利用步骤S1灰度处理的结果，简化算法流程，使特征提取方法具有更高的普适性，又有效提高数字图像特征提取的效率。
实施例6：
针对实施例1中的步骤S3，包括以下分步骤S31~S33：
S31：根据桥机图像的关键特征，确定桥机环境中的人员工作区域和部件工作区域，将人员工作区域和部件工作区域的集合作为监测区域；
S32：在监测区域中，识别桥机工作的实际权重得分；
S33：设定桥机工作的理想权重得分，将桥机工作的实际权重得分小于理想权重得分的监测区域作为桥机入侵危险行为的预警区域。
本发明实施例通过对实际权重得分和理想权重得分进行训练对比，在尽可能多地保留人员工作区域和部件工作区域的基础上，确定预警区域。同时，考虑桥机工作时人员和部件这两方面可能出现危险行为的情况，可全面进行区域划分。
实施例7：
针对实施例3中的步骤S31，确定人员工作区域的具体方法为：将桥机图像的关键特征输入至多层神经网络中，利用多层神经网络的人员识别框进行人员标记，得到人员工作区域；
其中，多层神经网络包括特征输入层、双隐层和标记输出层；特征输入层用于计算关键特征在多层神经网络的偏置值；双隐层用于根据关键特征的偏置值进行位置标定；标记输出层用于对标定位置进行加速收敛，并输出人员工作区域；双隐层进行位置标定的计算公式为：
Figure DEST_PATH_IMAGE021
式中，
Figure 128516DEST_PATH_IMAGE022
表示关键特征的坐标位置，
Figure DEST_PATH_IMAGE023
表示激活函数，
Figure 43251DEST_PATH_IMAGE024
表示双隐层中第
Figure DEST_PATH_IMAGE025
层的偏置值，
Figure 735264DEST_PATH_IMAGE026
表示双隐层中第
Figure DEST_PATH_IMAGE027
层的偏置值，
Figure 895112DEST_PATH_IMAGE028
表示双隐层中第
Figure DEST_PATH_IMAGE029
层到第
Figure 339868DEST_PATH_IMAGE030
层之间坐标
Figure DEST_PATH_IMAGE031
的连接索引，
Figure 707396DEST_PATH_IMAGE032
表示双隐层中池化层的层数，
Figure 152284DEST_PATH_IMAGE034
表示双隐层中卷积层的层数；
在本发明实施例中，如图2所示，通过权重配比和神经元连接等操作形成包含有特征输入层、双隐层和标记输出层的完整卷积神经网络，其中，双隐层以减少工作量为出发点，进行位置标定，经过对标定位置的多次加速收敛，确定人员工作区域。
本发明实施例确定后期进行分级预警的区域，通过在多层神经网络加入人员识别框，获取人员实时坐标，即可进行位置标定。
针对实施例3中的步骤S31，确定部件工作区域的具体方法为：根据桥机图像的关键特征，计算部件的工作状态得分，将工作状态得分小于设定阈值的部件剔除，将其余部件所在区域作为桥机的部件工作区域；其中，各个部件的工作状态得分
Figure DEST_PATH_IMAGE035
的计算公式为：
Figure 115823DEST_PATH_IMAGE036
式中，
Figure DEST_PATH_IMAGE037
表示关键特征的综合权重值，
Figure 680665DEST_PATH_IMAGE038
表示第
Figure DEST_PATH_IMAGE039
个关键特征的综合评价值，
Figure 687935DEST_PATH_IMAGE040
表示关键特征个数。
实施例8：
针对实施例1中的步骤S4，包括以下分步骤S41~S45：
步骤S4包括以下子步骤：
S41：设定桥机各个工作部件的理想权重得分，随机选择一个理想权重得分作为初始节点，将小于初始节点的理想权重得分作为第一分支集合，将大于等于初始节点的理想权重得分作为第二分支集合；
S42：在第一分支集合中，随机选择一个理想权重得分作为第一分支节点，将小于第一分支节点的理想权重得分作为最新第一分支集合，在第二分支集合中，随机选择一个理想权重得分作为第二分支节点，将小于第二分支节点的理想权重得分作为最新第二分支集合；
S43：重复步骤S42，直至得到最终的第一分支集合和第二分支集合；
在分支集合中确定分支节点，得到最终的分支集合，这一过程可以看做是构建二叉树来确定分级阈值。因为分级阈值可能与实际权重得分较为疏离，所以此处不能人为设定分级阈值，否则将会导致最终分级预警结果不准确，故本发明进行不断切分，将最后的切分结果作为分级阈值，该分级阈值深度反映了桥机工作部件的疏离程度，并可根据该分级阈值进行合理预警。
S44：将最终的第一分支集合对应的理想权重得分作为第一分级阈值，将最终的第二分支集合对应的理想权重得分作为第二分级阈值；
S45：根据第一分级阈值和第二分级阈值，进行分级预警。
实施例9：
针对实施例8中的步骤S45中，若实际权重得分小于第一分级阈值，则桥机不存在入侵危险行为；若实际权重得分大于等于第一分级阈值且小于第二分级阈值，则进行一级预警；若实际权重得分大于等于第二分级阈值，则进行二级预警。
在本发明实施例中，二级预警的优先级高于一级预警。在一级预警时，此时表明桥机可能出现部分部件工作故障或人员进入危险区域，需通知工作人员进行入侵危险行为人为判断，采取相应措施；在二级预警时，此时表明桥机部件出现较大故障或人员进入危险区域，可能存在迅速恶化的严重故障，需通知工作人员及管理人员立即切断桥机工作电源或工作协调，并及时处理。
实施例10：
本发明实施例提供了一种基于视觉图像识别的桥机入侵危险行为预警系统，如图3所示，包括：
图像采集模块，用于采集桥机环境中的原始图像；
图像处理模块，用于对原始图像进行预处理，得到桥机图像，并提取桥机图像的关键特征；
预警区域提取模块，用于确定桥机入侵危险行为的预警区域；
入侵危险行为预警模块，用于在桥机入侵危险行为的预警区域内进行分级预警。
本发明实施例提供的一种桥机入侵危险行为预警系统可以对原始图像进行预处理，提取图像的关键特征，便于后续确定预警区域，缩小分级预警的范围，可以在预警区域内及时有效发现桥机的异常变化，最终达到对桥机工作环境和工作状态有效监测的目的。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于视觉图像识别的桥机入侵危险行为预警方法，其特征在于，包括以下步骤：
S1：采集桥机环境中的原始图像，并进行预处理，得到桥机图像；
S2：提取桥机图像的关键特征；
S3：根据桥机图像的关键特征，确定桥机入侵危险行为的预警区域；
S4：在桥机入侵危险行为的预警区域内，进行分级预警；
所述步骤S2包括以下子步骤：
S21：确定桥机图像的灰度直方图，并根据灰度直方图对桥机图像进行分类，得到第一灰度级图像和第二灰度级图像；
S22：分别计算第一灰度级图像和第二灰度级图像的灰度均值；
S23：根据第一灰度级图像和第二灰度级图像的灰度均值，提取桥机图像的关键特征；
所述步骤S21中，设定灰度阈值t，将灰度直方图中灰度级为[0,t]的图像作为第一灰度级图像，将灰度直方图中灰度级为[t+1,L-1]的图像作为第二灰度级图像；其中，L表示灰度级；
所述步骤S23中，提取桥机图像的关键特征的具体方法为：提取第一灰度级图像的灰度均值和第二灰度级图像的灰度均值之间灰度序列的极值点，将极值点对应的坐标位置作为桥机图像的关键特征；
所述步骤S4包括以下子步骤：
S41：设定桥机各个工作部件的理想权重得分，随机选择一个理想权重得分作为初始节点，将小于初始节点的理想权重得分作为第一分支集合，将大于等于初始节点的理想权重得分作为第二分支集合；
S42：在第一分支集合中，随机选择一个理想权重得分作为第一分支节点，将小于第一分支节点的理想权重得分作为最新第一分支集合，在第二分支集合中，随机选择一个理想权重得分作为第二分支节点，将小于第二分支节点的理想权重得分作为最新第二分支集合；
S43：重复步骤S42，直至得到最终的第一分支集合和第二分支集合；
S44：将最终的第一分支集合对应的理想权重得分作为第一分级阈值，将最终的第二分支集合对应的理想权重得分作为第二分级阈值；
S45：根据第一分级阈值和第二分级阈值，进行分级预警；
所述步骤S45中，若实际权重得分小于第一分级阈值，则桥机不存在入侵危险行为；若实际权重得分大于等于第一分级阈值且小于第二分级阈值，则进行一级预警；若实际权重得分大于等于第二分级阈值，则进行二级预警。
2.根据权利要求1所述的基于视觉图像识别的桥机入侵危险行为预警方法，其特征在于，所述步骤S1包括以下子步骤：
S11：确定原始图像中各个样本点的高维空间矩阵，并根据各个样本点的高维空间矩阵计算各个样本点与其近邻点的高维距离；
S12：对各个样本点的高维空间矩阵进行降维，得到各个样本点的低维空间矩阵，并根据各个样本点的低维空间矩阵计算各个样本点与其近邻点的低维距离；
S13：判断各个样本点的高维距离和低维距离是否一致，若是则结束降维处理，否则继续对各个样本点的高维空间矩阵进行降维，直至各个样本点的高维距离和低维距离一致，完成对原始图像的降维处理；
S14：对进行降维处理后的原始图像进行灰度处理，得到桥机图像。
3.根据权利要求1所述的基于视觉图像识别的桥机入侵危险行为预警方法，其特征在于，所述步骤S3包括以下子步骤：
S31：根据桥机图像的关键特征，确定桥机环境中的人员工作区域和部件工作区域，将人员工作区域和部件工作区域的集合作为监测区域；
S32：在监测区域中，识别桥机工作的实际权重得分；
S33：设定桥机工作的理想权重得分，将桥机工作的实际权重得分小于理想权重得分的监测区域作为桥机入侵危险行为的预警区域。
4.根据权利要求3所述的基于视觉图像识别的桥机入侵危险行为预警方法，其特征在于，所述步骤S31中，确定人员工作区域的具体方法为：将桥机图像的关键特征输入至多层神经网络中，利用多层神经网络的人员识别框进行人员标记，得到人员工作区域；
其中，所述多层神经网络包括特征输入层、双隐层和标记输出层；所述特征输入层用于计算关键特征在多层神经网络的偏置值；所述双隐层用于根据关键特征的偏置值进行位置标定；所述标记输出层用于对标定位置进行加速收敛，并输出人员工作区域；
所述步骤S31中，确定部件工作区域的具体方法为：根据桥机图像的关键特征，计算部件的工作状态得分，将工作状态得分小于设定阈值的部件剔除，将其余部件所在区域作为桥机的部件工作区域。
5.一种基于视觉图像识别的桥机入侵危险行为预警系统，其特征在于，所述基于视觉图像识别的桥机入侵危险行为预警系统用于执行如权利要求1-4任一所述的基于视觉图像识别的桥机入侵危险行为预警方法，所述基于视觉图像识别的桥机入侵危险行为预警系统包括：
图像采集模块，用于采集桥机环境中的原始图像；
图像处理模块，用于对原始图像进行预处理，得到桥机图像，并提取桥机图像的关键特征；
预警区域提取模块，用于确定桥机入侵危险行为的预警区域；
入侵危险行为预警模块，用于在桥机入侵危险行为的预警区域内进行分级预警。
CN202210890533.6A 2022-07-27 2022-07-27 基于视觉图像识别的桥机入侵危险行为预警方法及系统 Active CN115082865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210890533.6A CN115082865B (zh) 2022-07-27 2022-07-27 基于视觉图像识别的桥机入侵危险行为预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210890533.6A CN115082865B (zh) 2022-07-27 2022-07-27 基于视觉图像识别的桥机入侵危险行为预警方法及系统

Publications (2)

Publication Number Publication Date
CN115082865A CN115082865A (zh) 2022-09-20
CN115082865B true CN115082865B (zh) 2022-11-11

Family

ID=83243554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210890533.6A Active CN115082865B (zh) 2022-07-27 2022-07-27 基于视觉图像识别的桥机入侵危险行为预警方法及系统

Country Status (1)

Country Link
CN (1) CN115082865B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000344461A (ja) * 1999-06-03 2000-12-12 Taisei Corp 立坑内における吊荷下の危険表示・監視装置
CN102496163A (zh) * 2011-11-03 2012-06-13 长安大学 一种基于灰度极值的背景重构方法
CN108792947A (zh) * 2018-07-10 2018-11-13 赵先 一种垃圾抓斗桥式起重机监控系统
CN109635823A (zh) * 2018-12-07 2019-04-16 湖南中联重科智能技术有限公司 用于识别卷扬乱绳的方法和装置及工程机械
CN110745704A (zh) * 2019-12-20 2020-02-04 广东博智林机器人有限公司 一种塔吊预警方法及装置
CN111553381A (zh) * 2020-03-23 2020-08-18 北京邮电大学 基于多网络模型的网络入侵检测方法、装置及电子设备
CN112735097A (zh) * 2020-12-29 2021-04-30 中国地质环境监测院 一种区域滑坡预警方法及系统
CN112990313A (zh) * 2021-03-16 2021-06-18 中国科学院长春光学精密机械与物理研究所 高光谱图像异常检测方法、装置、计算机设备及存储介质
CN113012124A (zh) * 2021-03-15 2021-06-22 大连海事大学 一种鞋印孔洞和嵌入物特征检测及描述方法
CN113111840A (zh) * 2021-04-26 2021-07-13 常州典宏自动化科技有限公司 一种煤矿综采工作面作业人员违规和危险行为预警方法
CN113361968A (zh) * 2021-07-05 2021-09-07 广东电网有限责任公司佛山供电局 基于人工智能和大数据的电网基建人员安全风险评估方法
CN114782897A (zh) * 2022-05-09 2022-07-22 江西交通职业技术学院 基于机器视觉及深度学习的危险行为检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200273560A1 (en) * 2019-02-21 2020-08-27 Theator inc. Surgical image analysis to determine insurance reimbursement
CN110110657A (zh) * 2019-05-07 2019-08-09 中冶赛迪重庆信息技术有限公司 视觉识别危险的预警方法、装置、设备及存储介质
CN113205178B (zh) * 2021-04-27 2021-11-30 特斯联科技集团有限公司 人工智能红外图像传感系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000344461A (ja) * 1999-06-03 2000-12-12 Taisei Corp 立坑内における吊荷下の危険表示・監視装置
CN102496163A (zh) * 2011-11-03 2012-06-13 长安大学 一种基于灰度极值的背景重构方法
CN108792947A (zh) * 2018-07-10 2018-11-13 赵先 一种垃圾抓斗桥式起重机监控系统
CN109635823A (zh) * 2018-12-07 2019-04-16 湖南中联重科智能技术有限公司 用于识别卷扬乱绳的方法和装置及工程机械
CN110745704A (zh) * 2019-12-20 2020-02-04 广东博智林机器人有限公司 一种塔吊预警方法及装置
CN111553381A (zh) * 2020-03-23 2020-08-18 北京邮电大学 基于多网络模型的网络入侵检测方法、装置及电子设备
CN112735097A (zh) * 2020-12-29 2021-04-30 中国地质环境监测院 一种区域滑坡预警方法及系统
CN113012124A (zh) * 2021-03-15 2021-06-22 大连海事大学 一种鞋印孔洞和嵌入物特征检测及描述方法
CN112990313A (zh) * 2021-03-16 2021-06-18 中国科学院长春光学精密机械与物理研究所 高光谱图像异常检测方法、装置、计算机设备及存储介质
CN113111840A (zh) * 2021-04-26 2021-07-13 常州典宏自动化科技有限公司 一种煤矿综采工作面作业人员违规和危险行为预警方法
CN113361968A (zh) * 2021-07-05 2021-09-07 广东电网有限责任公司佛山供电局 基于人工智能和大数据的电网基建人员安全风险评估方法
CN114782897A (zh) * 2022-05-09 2022-07-22 江西交通职业技术学院 基于机器视觉及深度学习的危险行为检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Attacks and intrusion detection in wireless sensor networks of industrial SCADA systems》;Kamaev V.A等;《NASA Astrophysics Data System (ADS)》;20170101;第1-6页 *
《基于低质量数据的水电机组变工况状态指标构建方法》;段然 等;《水电能源科学》;20220625;第40卷(第06期);第183-187页 *
《基于改进ISOMAP和WkNN的电力变压器故障诊断方法研究》;梅婷;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20210115(第01期);第C042-900页 *
《基于组态王和PLC控制的桥式起重机安全监视系统》;孙子阿伍 等;《四川水力发电》;20201215;第39卷(第06期);第52-55页 *

Also Published As

Publication number Publication date
CN115082865A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
CN113139521B (zh) 一种用于电力监控的行人越界标监测方法
CN111339883A (zh) 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN112347916A (zh) 基于视频图像分析的电力现场作业安全监控方法及装置
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN116385948B (zh) 一种预警铁路边坡异常的系统和方法
CN114998234A (zh) 一种基于数据增强策略的自监督弹簧缺陷检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN116168356A (zh) 一种基于计算机视觉的车辆损伤判别方法
CN112598865B (zh) 一种电缆线路防外力破坏的监控方法及系统
CN114494994A (zh) 车辆异常聚集监控方法、装置、计算机设备及存储介质
CN112232235B (zh) 基于5g和算法的智慧工厂远程监控方法及系统
CN113179389A (zh) 一种输电线路危险车辆吊车扬臂识别系统及识别方法
CN112734702A (zh) 基于大数据分析和机器视觉的桥梁安全监测方法及云平台
CN117197746A (zh) 基于深度学习的安全监测系统及方法
CN115082865B (zh) 基于视觉图像识别的桥机入侵危险行为预警方法及系统
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN116778460A (zh) 一种基于图像识别的疲劳驾驶识别方法
CN114140731B (zh) 一种牵引变电所异常检测方法
CN115410114A (zh) 一种基于多特征的城轨防汛预警方法及系统
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN117830032B (zh) 一种输电线网监控抓拍及风险评估方法及系统
CN116579609B (zh) 一种基于巡检过程中的违规操作分析方法
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant