CN113128393A - 一种检测大型机械吊臂下是否有人的方法和系统 - Google Patents

一种检测大型机械吊臂下是否有人的方法和系统 Download PDF

Info

Publication number
CN113128393A
CN113128393A CN202110406524.0A CN202110406524A CN113128393A CN 113128393 A CN113128393 A CN 113128393A CN 202110406524 A CN202110406524 A CN 202110406524A CN 113128393 A CN113128393 A CN 113128393A
Authority
CN
China
Prior art keywords
suspension arm
marking
personnel
images
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110406524.0A
Other languages
English (en)
Inventor
凌永标
毛峰
朱兵
袁保平
耿浩
吴坚强
王建铎
邱兴卫
王文林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Huanshang Power Supply Co of State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Huanshang Power Supply Co of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Huanshang Power Supply Co of State Grid Anhui Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110406524.0A priority Critical patent/CN113128393A/zh
Publication of CN113128393A publication Critical patent/CN113128393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于检测大型机械吊臂下是否有人的方法和系统，该方法包括：采集包含整个大型机械的工作场景图像；利用标记框对采集的图像进行标注，将标记后的图像所构成的数据集输入深度学习神经网络Faster RCNN中进行训练和测试，得到识别模型；将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；使用边缘检测Canny算子对输入图像进行边缘检测，然后使用分水岭算法，得到吊臂的覆盖范围；提取与人员对应的所有标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集即视为违规，发出警报。本发明提升了施工现场的安全性，同时减轻了监控人员的工作负担。

Description

一种检测大型机械吊臂下是否有人的方法和系统
技术领域
本发明属于深度学习计算机视觉技术领域，尤其涉及一种用于检测大型机械吊臂下是否有人的方法和系统。
背景技术
电力施工现场中对于机械吊臂的安全性有着极高的要求。在开始作业前，起重机指挥人员应当全面了解被吊物的具体信息，合适吊臂的作业半径，并且被吊物的重量不宜超过额定重量的80％。
在电力施工场景中，常常会有各类人员分散在场景各处，对于大型机械吊臂下是否有人的检测和警告常常是由现场巡逻人员人工干预的，这一机制具有很大的弊端。其滞后性太高，不管现场巡逻人员或安检人员如何检测并干预，总会存在检查死角和一定时间滞后，这样就具有了很大的安全隐患。
还有一部分施工现场采用监控摄像头摄录现场内容，让专人在监控室进行监控并警告违规人员，这样做也只是相对巡逻检测方便一些，并没有在流程上做更多简化。
发明内容
本发明的目的在于提供一种检测大型机械吊臂下是否有人的方法和系统，其将传统图像处理和深度学习方法进行结合，使得在电力监控场景中针对机械吊臂下有无人员的检测成为可能。
为此，本发明一方面提供了一种用于检测大型机械吊臂下是否有人的方法，包括以下步骤：采集包含整个大型机械的工作场景图像；利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及对应的类别，将标记后的图像所构成的数据集输入深度学习神经网络Faster RCNN中进行训练和测试，得到识别模型；将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；使用边缘检测Canny算子对输入图像进行边缘检测；然后将带有边缘信息的图像作为输入，使用分水领算法，得到吊臂的覆盖范围；提取与人员对应的所有标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
根据本发明的另一方面，提供了一种用于检测大型机械吊臂下是否有人的方法，包括以下步骤：采集包含整个大型机械的工作场景图像；利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及整个吊臂及对应的类别，将标记后的图像所构成的训练集输入深度学习神经网络Faster RCNN中进行训练，得到识别模型；将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；提取吊臂对应的标记框和整个大型机械对应的标记框，然后根据两标记框的几何位置关系判断吊臂的位置，然后通过估算获得吊臂的覆盖范围；提取所有人员对应的标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
本发明还提供了一种用于检测大型机械吊臂下是否有人的系统，包括：采集装置，用于采集包含整个大型机械的工作场景图像；检测装置，在上存储有检测程序，该检测程序在执行时用于实现以下步骤：将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；使用边缘检测Canny算子对输入图像进行边缘检测；然后将带有边缘信息的图像作为输入，使用分水岭算法，得到吊臂的覆盖范围；提取与人员对应的所有标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报，其中，所述识别模型的获取方法如下：利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及对应的类别，将标记后的图像所构成的数据集输入深度学习神经网络Faster RCNN中进行训练和测试，得到识别模型。
本发明还提供了一种用于检测大型机械吊臂下是否有人的系统，包括：采集装置，用于采集包含整个大型机械的工作场景图像；检测装置，在上存储有检测程序，该检测程序在执行时用于实现以下步骤：将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；提取吊臂对应的标记框和整个大型机械对应的标记框，然后根据两标记框的几何位置关系判断吊臂的位置，然后通过估算获得吊臂的覆盖范围；提取所有人员对应的标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报，其中，所述识别模型的获取方法如下：利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及对应的类别，将标记后的图像所构成的数据集输入深度学习神经网络Faster RCNN中进行训练和测试，得到识别模型。
本发明在使用“深度学习目标检测”这一技术手段的基础上，利用图像处理技术或几何手段获得吊臂的覆盖范围，进而实现吊臂的覆盖范围下是否有人的判断，相比较现如今常用的人工检查“吊臂下是否有人员”这一方式，减轻了施工现场工作人员的工作压力，提升了施工现场的安全性，同时减轻了监控人员的工作负担。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明一实施例的检测大型机械吊臂下是否有人的方法的流程图；
图2是根据本发明一实施例的检测方法中对采集的图像进行标注的示意图；
图3是根据本发明的检测方法中所使用Faster RCNN网络的结构示意图；
图4是根据本发明一实施例的检测方法中采用图像处理方式获得吊臂的覆盖范围的示意图；
图5是根据本发明另一实施例的检测大型机械吊臂下是否有人的方法的流程图；
图6是根据本发明的利用标记框几何关系确定吊臂的覆盖范围的示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。
传统基于深度学习的人员检测算法中，仅仅能识别出画面中是否出现人，而无法检测出人员出现的位置是否合乎规定。为了解决这种问题，在深度学习部分之后，获得机械吊臂的覆盖范围，然后再进行是否有人员的判断。
如图1所示，根据本发明的一实施例，提供了一种检测大型机械吊臂下是否有人的方法，其包括以下步骤：
S1、采集包含整个大型机械的工作场景图像；
S2、利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及对应的类别，将标记后的图像所构成的数据集分为训练集和测试集，将训练集输入深度学习神经网络Faster RCNN中进行训练，然后由测试集进行测试，得到识别模型；
S3、将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；
S4、对原图像使用边缘检测Canny算子对输入图像进行边缘检测；然后将带有边缘信息的图像作为输入，使用分水岭算法，得到机械吊臂的覆盖范围；
S5、提取与人员对应的所有标记框，并且计算各标记框与覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
本发明提供了一种用于识别大型机械吊臂下是否有人的检测方法，基于检测性能较强的Faster RCNN树算法进行改动，使其能够端到端的处理输入数据，对于是否处于机械吊臂下的人员能够有效甄别，提升了施工现场的安全性。
本方法使用了“传统图像处理”结合“深度学习目标检测”这一流程，相比较现如今常用的人工检查“吊臂下是否有人员”这一方式，减轻了施工现场工作人员的工作压力，提升了施工现场的安全性，同时减轻了监控人员的工作负担。
在步骤S1中，数据来源主要是人工拍摄或者施工现场监控摄录，画面要求需要完整体现出大型机械全貌和机械吊臂下工作人员。
在步骤S2中，如图2所示，使用Labelimg对图像进行标注，标注内容为带有吊臂的机械和图片中位于所有位置的人。为了方便训练，将xml格式文件转为txt格式文件，使得标注文件和图像文件的文件名一一对应。
转换完成的txt标注文件样式1如下：
5376.jpg 1051 711 2448 2628 machine
5376.jpg 770 2099 886 2355 person
5376.jpg 931 2061 1019 2355 person
5376.jpg 714 2210 796 2352 person
5376.jpg 1234 2032 1422 2595 person
5376.jpg 1236 1993 1403 2204 person。
在上述标注文件中，从左到右分别是标注矩形框的：左上角点，左下角点，右上角点，右下角点，数值就是所在像素位置，machine、person是类别，分别对应带有吊臂的机械、人员，5376.jpg是图像文件的文件名。
在步骤S2中，构建Faster RCNN网络，使用Pytorch框架对网络进行代码编写，语言为Python。
如图3所示，深度学习部分我们采用的是经典的Two-stage网络-“Faster-RCNN”，Faster-RCNN主要可分为两阶段，第一阶段为特征提取部分，即根据送入的图片通过神经网络提取各目标及背景的特征；第二阶段将根据第一部分的特征图，对我们所要检测的目标进行分类和回归。
S2-1、Faster RCNN网络的特征提取网络的构造如下：
构造卷积模块，使用3×3的卷积模块和1×3的卷积模块构建一个多分支卷积模块，均采用padding＝1的方式保证输出的特征大小相同。两个分支的输出经过特征连接后进行Batch-Normalization(BN)和非线性函数ReLu后得到输出。
S2-2、基于ResNet50结构将S2-1中每一个卷积模块替换进ResNet中，并保留残差结构，最后的输出为融合了残差连接和S2-1中卷积模块后的特征。
S2-3、采用S2-1和S2-2的构建方法，特征提取网络由47层的卷积层构成，共分为5段，每一段间使用了2倍下采样，一共对特征下采样32倍。输入大小为224×224，输出大小为7×7。
S2-4、Faster RCNN网络的网络损失函数的设计过程如下：
Faster RCNN中的loss为Smooth L1 loss，该Loss在Fast RCNN中提出，但是对正负样本的控制效果不好。本方法所应用场景多为检测大型机械吊臂和现场人员，目标尺度差异大，因此使用对目标正负样本控制更好的Focal loss替换Smooth L1 loss,其形式如下：
FL(pt)＝-αt(1-pt)γlog(pt)
Figure BDA0003022583970000051
在构建好Faster RCNN网络后，对数据集进行划分，并将划分好的训练集送入网络进行训练，并保存最终模型。由于施工场景中人员分布不可预测，可能有距离吊臂很远的地方也有人员出现。因此对这类人员需要剔除方可进行后续训练操作。然后使用模型对测试集数据进行测试，并使用模型将测试集中的目标(机械吊臂和图片场景中人员)进行画框标注处理。
在步骤S3中，将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别，
其中，识别输出结果txt样式如下：
5468.jpg 631 193 2381 2970 machine
5468.jpg 446 2572 543 2709 person
5468.jpg 563 2508 670 2755 person
5468.jpg 1362 2597 1507 3105 person
5468.jpg 1662 2579 2001 3641 person
5468.jpg 1870 2522 2112 3571 person。
上述输出结果的含义同标注文件。
在步骤S4中，如图4所示，提取整个大型机械对应的标记框，并且获得标记框中的吊臂覆盖区域，具体过程如下：
S4-1、使用边缘检测Canny算子对输入图像进行边缘检测；
S4-2、以S4-1处理后的带有边缘信息的图像作为输入，使用分水岭算法，进一步得到边缘信息更多的图片；
4-3、结合S4-1和S4-2所得到的信息，可以得到机械吊臂的覆盖范围，可将覆盖范围的形式用图像中的像素坐标表示。
本方法中利用“传统图像处理”的方式对施工现场采集的图片进行预处理，充分利用了场景中大型机械及吊臂的外观特征，使得可以准确的定位到大型机械吊臂的覆盖范围。
在步骤S5中，提取所有人员对应的标记框，并且计算各标记框与覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
经过以上流程，即可判断出大型机械吊臂下是否有人。经过训练后得到的模型可通过Pytorch或者经转换后通过TensorFlow部署到各式台式计算机或者笔记本电脑中方便外出使用。
如图5所示，本发明还提供了一种检测大型机械吊臂下是否有人的方法的第二实施例，其通过几何计算方式获得吊臂的覆盖范围，其计算量相对较小。其包括以下步骤：
S11、采集包含整个大型机械的工作场景图像；
S12、利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及整个吊臂及对应的类别，将标记后的图像所构成的数据集按照比例如8:2分成训练集和测试集，将训练集输入深度学习神经网络Faster RCNN中进行训练，然后由测试集进行测试，最后得到识别模型；
S13、将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；
S14、提取吊臂对应的标记框和整个大型机械对应的标记框，然后判断吊臂的位置，然后估算吊臂的覆盖范围；
S15、提取所有人员对应的标记框，并且计算各标记框与覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
在第一实施例不同之处在于，在步骤S12中还对整个吊臂采用标记框进行标注。在步骤S13中识别模型所输出的类别包含整个吊臂。在步骤S14，通过提取吊臂对应的标记框和整个大型机械对应的标记框，通过几何计算即可判断吊臂的位置，进而给出在整个大型机械的标记框范围内的吊臂的覆盖范围。
对于整个吊臂而言，其标记框的两个对角线均有可能是吊臂的延伸方向，此时可通过吊臂对应的标记框和整个大型机械对应的标记框的几何位置来甄别吊臂所处的位置。
通过几何计算即可判断吊臂的位置的原理如下：如图6所示，获取两个标记框A1B1C1D1和A2B2C2D2近似重合的上角点，即A1和A2，由几何知识可知，A2为吊臂的末端点(自由端)，则C2为吊臂的起始点，如此吊臂的延伸方向对应的对角线为A2C2，从而确定了吊臂的位置，即起始端和末端的像素坐标。
关于吊臂的覆盖范围的估算，吊臂的覆盖范围可认为是吊臂倾倒至水平面时波及的范围，其范围最小值为吊臂的长度，即A2C2，为安全起见，将范围最小值扩大一个系数m，作为吊臂的覆盖范围，即以整个大型机械的标记框的高程为高、以m倍吊臂标记框对角线长度为长、以吊臂的起始点为角点的矩形框A3B3C3D3、且去除吊臂上方面积的缺角矩形区域A2C2C3B3A3。其中，m的取值1.0～1.2，其中L可由标记框的两个角点的像素坐标计算求出。
可以理解，在获知吊臂的位置的基础上，吊臂的覆盖范围也可采用其他方法测算，例如吊臂以起始点为转动中心转动下落时所包含的区域作为覆盖范围。
在步骤S15中，提取所有人员对应的标记框A4B4C4D4，求其与吊臂的覆盖范围A2C2C3B3A3的交集，若有交集，则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于检测大型机械吊臂下是否有人的方法，其特征在于，包括以下步骤：
采集包含整个大型机械的工作场景图像；
利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及对应的类别，将标记后的图像所构成的数据集输入深度学习神经网络Faster RCNN中进行训练和测试，得到识别模型；
将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；
使用边缘检测Canny算子对输入图像进行边缘检测，然后将带有边缘信息的图像作为输入，使用分水岭算法，得到吊臂的覆盖范围；
提取与人员对应的所有标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
2.一种用于检测大型机械吊臂下是否有人的系统，其特征在于，包括：
采集装置，用于采集包含整个大型机械的工作场景图像；
检测装置，在上存储有检测程序，该检测程序在执行时用于实现以下步骤：
将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；
使用边缘检测Canny算子对输入图像进行边缘检测；然后将带有边缘信息的图像作为输入，使用分水岭算法，得到吊臂的覆盖范围；
提取与人员对应的所有标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报，其中，所述识别模型的获取方法如下：利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及对应的类别，将标记后的图像所构成的数据集输入深度学习神经网络Faster RCNN中进行训练和测试，得到识别模型。
3.一种用于检测大型机械吊臂下是否有人的方法，其特征在于，包括以下步骤：
采集包含整个大型机械的工作场景图像；
利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及整个吊臂及对应的类别，将标记后的图像所构成的数据集输入深度学习神经网络FasterRCNN中进行训练和测试，得到识别模型；
将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；
提取吊臂对应的标记框和整个大型机械对应的标记框，然后根据两标记框的几何位置关系判断吊臂位置，然后通过估算获得吊臂的覆盖范围；
提取所有人员对应的标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现即视为违规，发出警报。
4.根据权利要求3所述的用于检测大型机械吊臂下是否有人的方法，其特征在于，判断吊臂位置的方法包括：获取吊臂对应的标记框和整个大型机械对应的标记框的近似重合的上角点，并将该上角点作为吊臂的末端点，然而将与该上角点对应的下角点作为吊臂的起始点。
5.一种用于检测大型机械吊臂下是否有人的系统，其特征在于，包括：
采集装置，用于采集包含整个大型机械的工作场景图像；
检测装置，在上存储有检测程序，该检测程序在执行时用于实现以下步骤：
将采集的工作场景图像输入到训练后的识别模型中，获得各个标记框的位置坐标及对应的类别；
提取吊臂对应的标记框和整个大型机械对应的标记框，然后根据两标记框的几何位置关系判断吊臂的位置，然后通过估算获得吊臂的覆盖范围；
提取所有人员对应的标记框，并且计算各标记框与吊臂的覆盖范围是否有交集，若有交集则视为吊臂的覆盖范围内有人员出现，即视为违规，发出警报，
其中，所述识别模型的获取方法如下：利用标记框对采集的图像进行标注，标注对象包括所有的人员、整个大型机械、以及对应的类别，将标记后的图像所构成的数据集输入深度学习神经网络Faster RCNN中进行训练和测试，得到识别模型。
CN202110406524.0A 2021-04-15 2021-04-15 一种检测大型机械吊臂下是否有人的方法和系统 Pending CN113128393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110406524.0A CN113128393A (zh) 2021-04-15 2021-04-15 一种检测大型机械吊臂下是否有人的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110406524.0A CN113128393A (zh) 2021-04-15 2021-04-15 一种检测大型机械吊臂下是否有人的方法和系统

Publications (1)

Publication Number Publication Date
CN113128393A true CN113128393A (zh) 2021-07-16

Family

ID=76776761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110406524.0A Pending CN113128393A (zh) 2021-04-15 2021-04-15 一种检测大型机械吊臂下是否有人的方法和系统

Country Status (1)

Country Link
CN (1) CN113128393A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485277A (zh) * 2021-08-03 2021-10-08 大唐海南能源开发有限公司 一种智慧电厂视频识别监控管理系统和方法
CN113869236A (zh) * 2021-09-29 2021-12-31 中冶华天工程技术有限公司 一种移动式工地安全智慧分析系统和方法
CN113888825A (zh) * 2021-09-16 2022-01-04 无锡湖山智能科技有限公司 一种用于行车安全的监控系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032840A1 (en) * 2016-07-27 2018-02-01 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for neural network training and construction and method and apparatus for object detection
CN111461079A (zh) * 2020-05-18 2020-07-28 江苏电力信息技术有限公司 一种基于双目图像的吊臂下人员检测方法
CN112131951A (zh) * 2020-08-26 2020-12-25 中通服咨询设计研究院有限公司 一种自动化识别施工中违规使用梯子行为的系统
CN112183264A (zh) * 2020-09-17 2021-01-05 国网天津静海供电有限公司 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法
CN112602087A (zh) * 2018-05-25 2021-04-02 皇家飞利浦有限公司 人识别系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180032840A1 (en) * 2016-07-27 2018-02-01 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for neural network training and construction and method and apparatus for object detection
CN112602087A (zh) * 2018-05-25 2021-04-02 皇家飞利浦有限公司 人识别系统和方法
CN111461079A (zh) * 2020-05-18 2020-07-28 江苏电力信息技术有限公司 一种基于双目图像的吊臂下人员检测方法
CN112131951A (zh) * 2020-08-26 2020-12-25 中通服咨询设计研究院有限公司 一种自动化识别施工中违规使用梯子行为的系统
CN112183264A (zh) * 2020-09-17 2021-01-05 国网天津静海供电有限公司 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485277A (zh) * 2021-08-03 2021-10-08 大唐海南能源开发有限公司 一种智慧电厂视频识别监控管理系统和方法
CN113485277B (zh) * 2021-08-03 2023-02-24 大唐海南能源开发有限公司 一种智慧电厂视频识别监控管理系统和方法
CN113888825A (zh) * 2021-09-16 2022-01-04 无锡湖山智能科技有限公司 一种用于行车安全的监控系统及方法
CN113869236A (zh) * 2021-09-29 2021-12-31 中冶华天工程技术有限公司 一种移动式工地安全智慧分析系统和方法

Similar Documents

Publication Publication Date Title
CN113128393A (zh) 一种检测大型机械吊臂下是否有人的方法和系统
CN108037133B (zh) 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统
CN110807429B (zh) 基于tiny-YOLOv3的施工安全检测方法及系统
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN107977639A (zh) 一种人脸清晰度判断方法
CN107081765A (zh) 一种变电站巡视机器人自主识别方法和一种巡视机器人
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN114812403B (zh) 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法
CN110796372A (zh) 一种工业企业安全生产风险辨识系统及其方法
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN113850562A (zh) 一种智能旁站监理方法及系统
CN107705291A (zh) 一种基于图像识别的外脚手架安全性自动检查方法
CN109949289A (zh) 一种基于人工智能的混凝土表面缺陷图像识别系统及方法
CN109829458A (zh) 实时自动生成记录系统操作行为的日志文件的方法
CN117078661B (zh) 一种高空作业车结构件生产质量智能检测方法
CN115993096A (zh) 一种高层建筑变形测量方法
CN113128555B (zh) 一种用于列车闸片部件异常检测的方法
CN113537019A (zh) 基于关键点识别变电站人员安全帽佩戴的检测方法
CN111047731A (zh) 一种基于ar技术的电信机房巡检方法及系统
CN113222947B (zh) 一种非金属材料焊接缺陷智能检测方法及系统
CN114330477A (zh) 一种基于混合现实设备的电力设备缺陷检测系统及方法
CN209946948U (zh) 一种pc构件的智能复检设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination