CN111062373A - 一种基于深度学习的吊装过程危险识别方法及系统 - Google Patents

一种基于深度学习的吊装过程危险识别方法及系统 Download PDF

Info

Publication number
CN111062373A
CN111062373A CN202010188962.XA CN202010188962A CN111062373A CN 111062373 A CN111062373 A CN 111062373A CN 202010188962 A CN202010188962 A CN 202010188962A CN 111062373 A CN111062373 A CN 111062373A
Authority
CN
China
Prior art keywords
worker
path
hoisting
hook
lifting hook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010188962.XA
Other languages
English (en)
Inventor
董梅
张亮
胡辉
宋杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruhr Technology Co Ltd
Original Assignee
Hangzhou Ruhr Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruhr Technology Co Ltd filed Critical Hangzhou Ruhr Technology Co Ltd
Priority to CN202010188962.XA priority Critical patent/CN111062373A/zh
Publication of CN111062373A publication Critical patent/CN111062373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的吊装过程危险识别方法及系统，其中，识别方法包括：S1、训练生成Faster R‑CNN工人、吊钩检测网络；S2、利用所述检测网络检测吊装场地拍摄视频中当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩；S3、判断当前帧图像中是否检测到工人，若是，执行步骤S4；若否，提取拍摄视频下一帧图像，继续执行步骤S2；S4、判断吊装场地是否允许人进入，若否，触发警报；若是，执行步骤S5；S5、判断当前帧图像中是否检测到未正确佩戴安全帽的工人，若是，触发警报；若否，执行步骤S6；S6、基于检测到的工人及吊钩的位置，生成工人及吊钩的路径；S7、判断工人及吊钩预测路径中，是否存在某一时刻工人及吊钩的距离小于预设距离，若是，触发警报。本发明对吊装过程中的危险进行全面、及时的识别，能够有效预防吊装事故的发生。

Description

一种基于深度学习的吊装过程危险识别方法及系统
技术领域
本发明涉及土木工程施工机械安全技术领域，具体涉及一种基于深度学习的吊装过程危险识别方法及系统。
背景技术
随着城镇人口的不断增加，对高层和超高层建筑的需求越来越大，为了提高施工机械化和工业化，塔吊被广泛应用在高层、超高层建筑的施工过程中。据不完全统计，目前各种特殊类型的工作中，吊装事故发生的次数几乎都是最高的，事故的后果至关重要，重伤和死亡的比例也很高，造成了非常关注。
目前吊装安全监测主要使用数字摄像机，确定建筑工人的位置，或者使用静态放置的和动态移动的摄像机来跟踪施工现场的工人。此外，现有技术提出了一种基于机器学习的跟踪方法，用于追踪施工现场的工人。然而，上述方法只是跟踪工人，无法识别吊装过程是否安全，无法对工人进行预警。
公开号为CN 109019335A的发明专利申请公开了一种基手深度学习的吊装安全距离检测方法，其包括：通过摄像头获取塔吊结构中吊钩周围的图像；针对获取图像中的工人和吊钩进行标记、制作成数据集；利用深度学习中的faster R-CNN对数据集进行训练；利用训练好的检测模型对图像中的工人和吊钩进行识别和定位；根据检测结果中的定位信息计算出图像中工人和吊钩的像素距离，再根据吊钩和摄像头的高度以及吊钩的真实长度和像素长度，将工人与吊钩的像素距离换算成工人与吊钩垂直投影点的实际距离，进而实现对吊装安全距离的监测。
上述申请虽然能通过工人与吊钩间的距离检测来提高吊装过程中的安全性，但是对吊装过程的危险识别方式单一，且在检测到工人与吊钩间的距离低于一定值时才进行安全预警，并不能有效预防吊装事故的发生。因此，如何实现全面、及时的吊装过程危险识别，有效预防吊装事故的发生，这是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于深度学习的吊装过程危险识别方法及系统。本发明对吊装过程中的危险进行全面、及时的识别，能够有效预防吊装事故的发生。
为了实现以上目的，本发明采用以下技术方案：
一种基于深度学习的吊装过程危险识别方法，包括：
S1、训练生成Faster R-CNN工人、吊钩检测网络；
S2、利用所述检测网络检测吊装场地拍摄视频中当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩；
S3、判断当前帧图像中是否检测到工人，若是，执行步骤S4；若否，提取拍摄视频下一帧图像，继续执行步骤S2；
S4、判断吊装场地是否允许人进入，若否，触发警报；若是，执行步骤S5；
S5、判断当前帧图像中是否检测到未正确佩戴安全帽的工人，若是，触发警报；若否，执行步骤S6；
S6、基于检测到的工人及吊钩的位置，生成工人及吊钩的路径；
S7、判断工人及吊钩预测路径中，是否存在某一时刻工人及吊钩的距离小于预设距离，若是，触发警报。
进一步地，所述步骤S1包括：
构建Faster R-CNN网络结构，其中，CNN基础网络为VGG16，包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面为最大值池化；RPN 网络包括 512通道、3×3 核的卷积层、两个并行的 1×1 核的卷积层；选择吊装场地帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊钩，将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成所述Faster R-CNN工人、吊钩检测网络。
进一步地，所述步骤S6中采用卷积神经网络生成工人的路径；所述卷积神经网络包括输入层、卷积层、采样层、全连接层、输出层；输入层输入的是由工人多个时刻位置信息组成的已有运动路径，输出层对全连接层映射过来的输入向量进行分类，输出候选位置集中概率最大的位置向量，作为预测的工人下一时刻的位置；预测出的位置加入工人已有运动路径中，再对下一时刻的位置进行预测，由此得到工人在未来一段时间内、在吊装场地的运动路径。
所述卷积神经网络的损失函数为：
Figure 263092DEST_PATH_IMAGE001
其中，
Figure 914653DEST_PATH_IMAGE002
为工人在时刻i的预测位置，
Figure 694391DEST_PATH_IMAGE003
为工人在时刻i的真实位置，t为路径预测中进行位置预测的时刻数。
进一步地，所述步骤S6中生成吊钩的路径具体为：以吊钩在当前帧图像的位置作为初始位置，从初始位置逐步生长树来搜索空间，直到树生长到目标位置；在每次迭代中，在搜索空间中随机生成一个采样点rand，然后找到已有树上距离rand 最近的点near，进而向前扩展，最后实现初始位置init 和目标位置goal 的连接；扩展函数选择树中最接近采样节点rand 的节点near，然后依据固定步长ε 向rand 拓展；经检测，如无碰撞，节点new 被添加到树中；否则返回到上一节点重新开始下次采样；上述过程持续迭代直到goal 被添加到树中。
进一步地，所述步骤S7具体为：
对于工人的路径
Figure 558441DEST_PATH_IMAGE004
，吊钩的路径
Figure 28606DEST_PATH_IMAGE005
，判断
Figure 116648DEST_PATH_IMAGE006
是否成立，若是，触发警报；其中，
Figure 852522DEST_PATH_IMAGE007
为工人在第i时刻的位置坐标，
Figure 785843DEST_PATH_IMAGE008
为吊钩在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊钩的运行时间；
Figure 189143DEST_PATH_IMAGE009
为两点间的距离。
本发明还提出一种基于深度学习的吊装过程危险识别系统，包括：
训练模块，用于训练生成Faster R-CNN工人、吊钩检测网络；
检测模块，用于利用所述检测网络检测吊装场地拍摄视频中当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩；
第一判断模块，用于判断当前帧图像中是否检测到工人，若是，调用第二判断模块；若否，提取拍摄视频下一帧图像，调用检测模块；
第二判断模块，用于判断吊装场地是否允许人进入，若否，触发警报；若是，调用第三判断模块；
第三判断模块，用于判断当前帧图像中是否检测到未正确佩戴安全帽的工人，若是，触发警报；若否，调用路径生成模块；
路径生成模块，用于基于检测到的工人及吊钩的位置，生成工人及吊钩的路径；
第四判断模块，用于判断工人及吊钩预测路径中，是否存在某一时刻工人及吊钩的距离小于预设距离，若是，触发警报。
进一步地，所述训练模块包括：
构建Faster R-CNN网络结构，其中，CNN基础网络为VGG16，包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面为最大值池化；RPN 网络包括 512通道、3×3 核的卷积层、两个并行的 1×1 核的卷积层；选择吊装场地帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊钩，将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成所述Faster R-CNN工人、吊钩检测网络。
进一步地，所述路径生成模块采用卷积神经网络生成工人的路径；所述卷积神经网络包括输入层、卷积层、采样层、全连接层、输出层；输入层输入的是由工人多个时刻位置信息组成的已有运动路径，输出层对全连接层映射过来的输入向量进行分类，输出候选位置集中概率最大的位置向量，作为预测的工人下一时刻的位置；预测出的位置加入工人已有运动路径中，再对下一时刻的位置进行预测，由此得到工人在未来一段时间内、在吊装场地的运动路径；
所述卷积神经网络的损失函数为：
Figure 369457DEST_PATH_IMAGE001
其中，
Figure 592628DEST_PATH_IMAGE002
为工人在时刻i的预测位置，
Figure 64061DEST_PATH_IMAGE003
为工人在时刻i的真实位置，t为路径预测中进行位置预测的时刻数。
进一步地，所述路径生成模块生成吊钩的路径具体为：以吊钩在当前帧图像的位置作为初始位置，从初始位置逐步生长树来搜索空间，直到树生长到目标位置；在每次迭代中，在搜索空间中随机生成一个采样点rand，然后找到已有树上距离rand 最近的点near，进而向前扩展，最后实现初始位置init 和目标位置goal 的连接；扩展函数选择树中最接近采样节点rand 的节点near，然后依据固定步长ε 向rand 拓展；经检测，如无碰撞，节点new 被添加到树中；否则返回到上一节点重新开始下次采样；上述过程持续迭代直到goal 被添加到树中。
进一步地，所述第四判断模块具体为：
对于工人的路径
Figure 587446DEST_PATH_IMAGE004
，吊钩的路径
Figure 741259DEST_PATH_IMAGE005
，判断
Figure 389409DEST_PATH_IMAGE006
是否成立，若是，触发警报；其中，
Figure 398953DEST_PATH_IMAGE007
为工人在第i时刻的位置坐标，
Figure 42424DEST_PATH_IMAGE008
为吊钩在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊钩的运行时间；
Figure 361279DEST_PATH_IMAGE009
为两点间的距离。
与现有技术相比，本发明具有如下优点：
（1）本发明结合吊装场地限制、工人安全帽检测、工人及吊钩路径预测，对吊装过程的危险进行识别，识别方式全面，能够有效识别吊装过程中的危险，适用于不同的吊装过程及场景，实用性强，危险识别效果好；
（2）本发明对工人及吊钩的路径进行预测，通过路径的预测判断工人及吊钩在未来一段时间内发生碰撞等事故的概率，能够有效预防吊装事故的发生，提高了吊装过程的安全性；
（3）本发明通过Faster R-CNN能够对各个角度、各个形态的工人及吊钩进行检测，检测准确性强，进一步提高了危险识别的准确性；
（4）本发明通过卷积神经网络对工人的运动路径进行预测，所预测出的路径与工人的真实路径差异小，能够准确预测吊装过程中的危险；
（5）本发明通过扩音设备等方式对吊装现场的工人进行实时预警，提高了吊装危险的应急效率。
附图说明
图1是实施例一提供的一种基于深度学习的吊装过程危险识别方法流程图；
图2是实施例二提供的一种基于深度学习的吊装过程危险识别系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
如图1 所示，本实施例提出了一种基于深度学习的吊装过程危险识别方法，包括：
S1、训练生成Faster R-CNN工人、吊钩检测网络；
为了提高吊装过程危险识别的效率，本发明利用Faster R-CNN进行工人及吊钩的检测。Faster RCNN网络是目前比较流行的通用多目标检测框架之一。现有的Faster RCNN算法主要分成三个部分：第一部分是CNN基础网络，用来完成图像特征的提取；第二部分是RPN(Region Proposal Networks）网络，其主要是利用卷积神经网络直接产生区域目标，使用的方法本质上就是滑动窗口。在CNN基础网络的最后一层特征图上使用固定大小的窗口滑动，每个窗口会输出一个固定大小维度的特征向量（这个维度和CNN基础网络有关，如VGG16为512维），然后对每一个窗口产生的9个候选框，进行判断是否是目标及进行坐标回归；最后一部分是判别网络，即分类与边框回归，它是对RPN网络提取的目标区域进行分类与坐标回归修正。
具体地，首先构建Faster R-CNN网络结构，优选地，CNN基础网络选择VGG16，具体包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面紧接着是最大值池化。RPN 是全卷积网络，其采用基础网络输出的卷积特征图作为输入。具体地，采用 512通道、3×3 核的卷积层，然后是两个并行的 1×1 核的卷积层。构建好Faster R-CNN网络结构后，基于训练数据集进行训练。选取某吊装场地进行视频拍摄，东西方向、南北方向分别固定放置一个摄像头，水平拍摄。视频拍摄频率为 30FPS，分辨率 1920*1280 像素。注意拍摄内容尽量包含各种形态的人（正面、侧面、背面、蹲、弯腰、站立、行走等）。同时需要被吊装物体和工人有一定的相对运动，不做固定要求，随机即可。挑选其中的某段视频中 600 帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊钩。将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成Faster R-CNN工人、吊钩检测网络。本发明通过对吊钩及工人各个角度、各个形态图像的训练，能够提高工人、吊钩检测网络的准确性。
S2、利用所述检测网络检测吊装场地拍摄视频中当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩；
对于需要进行吊装过程危险识别的场景，不断通过摄像头对吊装场地进行视频拍摄。具体地，可以在东西方向、南北方向分别固定放置一个摄像头，水平拍摄。拍摄视频包括多帧图像，本发明逐帧对各图像进行处理，例如，每秒1帧进行图像的采集。对于同时获取的同一场景中的多个图像，选择能够同时包括工人和吊钩的图像，当多张图像都包括吊钩及工人时，任意选择一张图像，提高了目标检测的效率。由于本发明训练生成的Faster R-CNN工人、吊钩检测网络对各个角度的图像进行训练，因此，即使任意选择一张图像，也能实现对工人、吊钩的准确检测。
本发明将摄像头采集的图像输入Faster R-CNN工人、吊钩检测网络，利用FasterR-CNN工人、吊钩检测网络对图像中的工人和吊钩进行识别和定位。显示输出当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩，分别采用“r”、“b”、“w”进行标记。
S3、判断当前帧图像中是否检测到工人，若是，执行步骤S4；若否，提取拍摄视频下一帧图像，继续执行步骤S2；
吊装场地中，部分极度危险场地是不允许工人擅自进入的。因此，为了及时发现此类吊装场地中的危险，本发明首先判断当前帧图像中是否检测到工人，如果检测到工人，进行下一步的危险识别，否则，不进行进一步的判断与处理，基于提取视频中的下一帧图像进行工人及吊钩检测。
S4、判断吊装场地是否允许人进入，若否，触发警报；若是，执行步骤S5；
如上所述，对于部分极度危险、不允许工人擅自进入的吊装场地，一旦检测到工人进入，立即触发报警。因此，在检测到图像中包括工人时，对吊装场地进行判断，判断该场地是否允许人进入，如果该场地属于禁止人进入的吊装场地，进行报警。吊装场地是否允许人进入，管理人员可以根据需求预先设置，在此不作限定。
触发警报时，可以向管理人员发送报警信息，报警信息可以通过短信、电话、管理界面等方式显示，管理人员在收到报警信息时，及时进行处理。此外，为了增强报警处理的实时性，本发明可以在吊装场地装设扩音设备，识别到危险后，触发扩音设备对吊装场地人员进行实时的预警。
S5、判断当前帧图像中是否检测到未正确佩戴安全帽的工人，若是，触发警报；若否，执行步骤S6；
吊装过程中，没有佩戴安全帽的工人也是极其危险的场景。因此，本发明基于步骤S2的检测结果，判断当前帧图像中是否存在未正确佩戴安全帽的工人。如果有，触发警报。与步骤S4一样，可以向管理人员发送报警信息，也可以通过吊装场地的扩音设备进行预警，在此不作限定。
S6、基于检测到的工人及吊钩的位置，生成工人及吊钩的路径；
为了有效预防吊装事故的发生，本发明对工人及吊钩的路径进行预测。具体地，本发明逐帧或者每秒 1 帧进行目标检测和定位，并提取检测目标的中心点作为检测目标的位置，在检测出多个帧图像中工人及吊钩位置的基础上，对工人及吊钩的未来路径进行预测，以有效预防工人与吊钩间碰撞等安全事故的发生。
路径的预测实质是预测对象下一时刻的位置，对于工人的路径，本发明采用卷积神经网络进行各个时刻的位置预测。卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，主要由输入层、卷积层、采样层、全连接层、输出层组成。输入层输入的是由工人多个时刻位置信息组成的已有运动路径，对于计算机而言可将其理解为若干矩阵。本发明通过检测网络检测吊装场地拍摄视频中帧图像的工人，得到视频帧图像中的工人位置，多个时刻帧图像中的位置形成工人的已有的运动路径。本发明基于已检测的工人运动路径，对工人未来的运动路径进行预测。卷积层是卷积神经网络的重要组成部分，通过输入层和卷积层之间的矩阵卷积运算，提取输入数据的特征。全连接层位于最后一个池化层和输出层之间，其中每一个神经元都与前一层的全部神经元相连接，并根据位置预测的需要，有针对性地将特征向量映射到输出层。输出层位于神经网络的最后，其作用是对全连接层映射过来的输入向量进行分类，输出候选位置集中概率最大的位置向量，作为预测的工人下一时刻的位置。卷积层与采样层可以根据需要重复多次，其中不同的卷积核负责提取多种特征。预测出的位置加入工人已有运动路径中，再对下一时刻的位置进行预测，由此得到工人在未来一段时间内、在吊装场地的运动路径。
本发明利用大量的工人已有路径数据对卷积神经网络进行训练，得到最终使用的卷积神经网络。工人已有路径需要进行去噪等预处理，工人路径训练数据集生成后，将数据集中的工人路径数据输入卷积神经网络，卷积神经网络输出工人下一时刻的位置，多个时刻的预测位置共同组成工人的预测路径。本发明计算工人路径预测卷积神经网络的损失函数对工人路径预测模型进行迭代、优化、更新，训练生成工人路径预测模型。具体地，工人路径预测模型的损失函数为：
Figure 762305DEST_PATH_IMAGE001
其中，
Figure 309961DEST_PATH_IMAGE002
为工人路径预测模型预测出的工人在时刻i的位置向量，
Figure 807938DEST_PATH_IMAGE003
为路径训练样本中的工人在时刻i的位置标签，即真实的工人在时刻i的位置，t为路径预测中进行位置预测的时刻数。
目前，吊装过程还主要是以人工吊装的方式为主，因此，与工人路径一样，本发明对于吊钩的路径进行预测。与工人目标位置具有随机性不同，吊装机在一次吊装过程中通常具有明确的目标位置，因此，本发明基于吊钩的初始位置及目标位置进行吊钩路径的预测。在每次吊装任务开始时，即当首次在图像帧中检测到吊钩移动后，获取此次吊装任务的目标位置，基于吊钩当前的位置及目标位置对吊钩的运动路径进行预测。具体地，本发明采用快速扩展随机树(Rapidly Exploring Random Tree，RRT)算法进行吊钩的路径预测。以吊钩当前帧的位置作为初始位置，从初始位置逐步生长树来搜索空间，直到树生长到目标位置。在每次迭代中，在搜索空间中随机生成一个采样点rand，然后找到已有树上距离rand 最近的点near，进而向前扩展，最后实现初始位置init 和目标位置goal 的连接。在初始RRT 算法中，扩展函数选择树中最接近采样节点rand 的节点near，然后依据固定步长ε 向rand 拓展。经检测，如无碰撞，节点new 被添加到树中；否则返回到上一节点重新开始下次采样。该过程将持续迭代直到goal 被添加到树中，由此生成吊钩由初始位置到目标位置间的路径。
人工吊装有着一系列的问题，劳动强度大、效率低、工期长、吊装准确性不佳等问题拖慢了装配式建筑的吊装效率。随着机器视觉的发展，用机器视觉的方法把人解放出来，自动实现障碍物识别及吊装路径规划。对于此类吊装过程，通常在吊装开始前进行了吊装路径规划，即预先设置了吊装吊钩的行驶路径。优选地，对于自动吊装过程，本发明可以直接获取预先规划的吊钩路径，不需要实时进行吊钩路径的预测，提高了吊钩路径获取的效率。智能吊装过程中，吊装的路径可以保存在吊车中，也可以保存在用于控制吊车的终端设备上，在此不作限定。本发明检测吊车或终端设备上是否存在相应吊钩的路径，若存在，直接获取吊钩路径，否则对吊钩的路径进行预测。
S7、判断工人及吊钩预测路径中，是否存在某一时刻工人及吊钩的距离小于预设距离，若是，触发警报。
吊装过程中，当工人与吊钩间的距离小于一定阈值时，存在发生安全事故的风险。因此，本发明基于预测的工人路径及吊钩路径，对工人及吊钩间的距离进行预测，当工人及吊钩在某一时刻的距离小于预设距离时，触发警报。对于工人的路径
Figure 297694DEST_PATH_IMAGE004
，吊钩的路径
Figure 982753DEST_PATH_IMAGE005
，其中，
Figure 865259DEST_PATH_IMAGE007
为工人在第i时刻的位置坐标，
Figure 889847DEST_PATH_IMAGE008
为吊钩在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊钩的运行时间，p值与q值的大小不作限定。因此，工人及吊钩在时刻i的距离值为：
Figure 550504DEST_PATH_IMAGE010
，具体地，本发明采用欧几里得距离计算工人及吊钩间的距离。当存在
Figure 722859DEST_PATH_IMAGE011
时，触发警报。
实施例二
如图2所示，本实施例提出了一种基于深度学习的吊装过程危险识别系统，包括：
训练模块，用于训练生成Faster R-CNN工人、吊钩检测网络；
为了提高吊装过程危险识别的效率，本发明利用Faster R-CNN进行工人及吊钩的检测。Faster RCNN网络是目前比较流行的通用多目标检测框架之一。现有的Faster RCNN算法主要分成三个部分：第一部分是CNN基础网络，用来完成图像特征的提取；第二部分是RPN(Region Proposal Networks）网络，其主要是利用卷积神经网络直接产生区域目标，使用的方法本质上就是滑动窗口。在CNN基础网络的最后一层特征图上使用固定大小的窗口滑动，每个窗口会输出一个固定大小维度的特征向量（这个维度和CNN基础网络有关，如VGG16为512维），然后对每一个窗口产生的9个候选框，进行判断是否是目标及进行坐标回归；最后一部分是判别网络，即分类与边框回归，它是对RPN网络提取的目标区域进行分类与坐标回归修正。
具体地，首先构建Faster R-CNN网络结构，优选地，CNN基础网络选择VGG16，具体包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面紧接着是最大值池化。RPN 是全卷积网络，其采用基础网络输出的卷积特征图作为输入。具体地，采用 512通道、3×3 核的卷积层，然后是两个并行的 1×1 核的卷积层。构建好Faster R-CNN网络结构后，基于训练数据集进行训练。选取某吊装场地进行视频拍摄，东西方向、南北方向分别固定放置一个摄像头，水平拍摄。视频拍摄频率为 30FPS，分辨率 1920*1280 像素。注意拍摄内容尽量包含各种形态的人（正面、侧面、背面、蹲、弯腰、站立、行走等）。同时需要被吊装物体和工人有一定的相对运动，不做固定要求，随机即可。挑选其中的某段视频中 600 帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊钩。将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成Faster R-CNN工人、吊钩检测网络。本发明通过对吊钩及工人各个角度、各个形态图像的训练，能够提高工人、吊钩检测网络的准确性。
检测模块，用于利用所述检测网络检测吊装场地拍摄视频中当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩；
对于需要进行吊装过程危险识别的场景，不断通过摄像头对吊装场地进行视频拍摄。具体地，可以在东西方向、南北方向分别固定放置一个摄像头，水平拍摄。拍摄视频包括多帧图像，本发明逐帧对各图像进行处理，例如，每秒1帧进行图像的采集。对于同时获取的同一场景中的多个图像，选择能够同时包括工人和吊钩的图像，当多张图像都包括吊钩及工人时，任意选择一张图像，提高了目标检测的效率。由于本发明训练生成的Faster R-CNN工人、吊钩检测网络对各个角度的图像进行训练，因此，即使任意选择一张图像，也能实现对工人、吊钩的准确检测。
本发明将摄像头采集的图像输入Faster R-CNN工人、吊钩检测网络，利用FasterR-CNN工人、吊钩检测网络对图像中的工人和吊钩进行识别和定位。显示输出当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩，分别采用“r”、“b”、“w”进行标记。
第一判断模块，用于判断当前帧图像中是否检测到工人，若是，调用第二判断模块；若否，提取拍摄视频下一帧图像，调用检测模块；
吊装场地中，部分极度危险场地是不允许工人擅自进入的。因此，为了及时发现此类吊装场地中的危险，本发明首先判断当前帧图像中是否检测到工人，如果检测到工人，进行下一步的危险识别，否则，不进行进一步的判断与处理，基于提取视频中的下一帧图像进行工人及吊钩检测。
第二判断模块，用于判断吊装场地是否允许人进入，若否，触发警报；若是，调用第三判断模块；
如上所述，对于部分极度危险、不允许工人擅自进入的吊装场地，一旦检测到工人进入，立即触发报警。因此，在检测到图像中包括工人时，对吊装场地进行判断，判断该场地是否允许人进入，如果该场地属于禁止人进入的吊装场地，进行报警。吊装场地是否允许人进入，管理人员可以根据需求预先设置，在此不作限定。
触发警报时，可以向管理人员发送报警信息，报警信息可以通过短信、电话、管理界面等方式显示，管理人员在收到报警信息时，及时进行处理。此外，为了增强报警处理的实时性，本发明可以在吊装场地装设扩音设备，识别到危险后，触发扩音设备对吊装场地人员进行实时的预警。
第三判断模块，用于判断当前帧图像中是否检测到未正确佩戴安全帽的工人，若是，触发警报；若否，调用路径生成模块；
吊装过程中，没有佩戴安全帽的工人也是极其危险的场景。因此，本发明基于检测模块的检测结果，判断当前帧图像中是否存在未正确佩戴安全帽的工人。如果有，触发警报。与检测模块一样，可以向管理人员发送报警信息，也可以通过吊装场地的扩音设备进行预警，在此不作限定。
路径生成模块，用于基于检测到的工人及吊钩的位置，生成工人及吊钩的路径；
为了有效预防吊装事故的发生，本发明对工人及吊钩的路径进行预测。具体地，本发明逐帧或者每秒 1 帧进行目标检测和定位，并提取检测目标的中心点作为检测目标的位置，在检测出多个帧图像中工人及吊钩位置的基础上，对工人及吊钩的未来路径进行预测，以有效预防工人与吊钩间碰撞等安全事故的发生。
路径的预测实质是预测对象下一时刻的位置，对于工人的路径，本发明采用卷积神经网络进行各个时刻的位置预测。卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，主要由输入层、卷积层、采样层、全连接层、输出层组成。输入层输入的是由工人多个时刻位置信息组成的已有运动路径，对于计算机而言可将其理解为若干矩阵。本发明通过检测网络检测吊装场地拍摄视频中帧图像的工人，得到视频帧图像中的工人位置，多个时刻帧图像中的位置形成工人的已有的运动路径。本发明基于已检测的工人运动路径，对工人未来的运动路径进行预测。卷积层是卷积神经网络的重要组成部分，通过输入层和卷积层之间的矩阵卷积运算，提取输入数据的特征。全连接层位于最后一个池化层和输出层之间，其中每一个神经元都与前一层的全部神经元相连接，并根据位置预测的需要，有针对性地将特征向量映射到输出层。输出层位于神经网络的最后，其作用是对全连接层映射过来的输入向量进行分类，输出候选位置集中概率最大的位置向量，作为预测的工人下一时刻的位置。卷积层与采样层可以根据需要重复多次，其中不同的卷积核负责提取多种特征。预测出的位置加入工人已有运动路径中，再对下一时刻的位置进行预测，由此得到工人在未来一段时间内、在吊装场地的运动路径。
本发明利用大量的工人已有路径数据对卷积神经网络进行训练，得到最终使用的卷积神经网络。工人已有路径需要进行去噪等预处理，工人路径训练数据集生成后，将数据集中的工人路径数据输入卷积神经网络，卷积神经网络输出工人下一时刻的位置，多个时刻的预测位置共同组成工人的预测路径。本发明计算工人路径预测卷积神经网络的损失函数对工人路径预测模型进行迭代、优化、更新，训练生成工人路径预测模型。具体地，工人路径预测模型的损失函数为：
Figure 143476DEST_PATH_IMAGE001
其中，
Figure 84887DEST_PATH_IMAGE002
为工人路径预测模型预测出的工人在时刻i的位置向量，
Figure 854129DEST_PATH_IMAGE003
为路径训练样本中的工人在时刻i的位置标签，即真实的工人在时刻i的位置，t为路径预测中进行位置预测的时刻数。
目前，吊装过程还主要是以人工吊装的方式为主，因此，与工人路径一样，本发明对于吊钩的路径进行预测。与工人目标位置具有随机性不同，吊装机在一次吊装过程中通常具有明确的目标位置，因此，本发明基于吊钩的初始位置及目标位置进行吊钩路径的预测。在每次吊装任务开始时，即当首次在图像帧中检测到吊钩移动后，获取此次吊装任务的目标位置，基于吊钩当前的位置及目标位置对吊钩的运动路径进行预测。具体地，本发明采用快速扩展随机树(Rapidly Exploring Random Tree，RRT)算法进行吊钩的路径预测。以吊钩当前帧的位置作为初始位置，从初始位置逐步生长树来搜索空间，直到树生长到目标位置。在每次迭代中，在搜索空间中随机生成一个采样点rand，然后找到已有树上距离rand 最近的点near，进而向前扩展，最后实现初始位置init 和目标位置goal 的连接。在初始RRT 算法中，扩展函数选择树中最接近采样节点rand 的节点near，然后依据固定步长ε 向rand 拓展。经检测，如无碰撞，节点new 被添加到树中；否则返回到上一节点重新开始下次采样。该过程将持续迭代直到goal 被添加到树中，由此生成吊钩由初始位置到目标位置间的路径。
人工吊装有着一系列的问题，劳动强度大、效率低、工期长、吊装准确性不佳等问题拖慢了装配式建筑的吊装效率。随着机器视觉的发展，用机器视觉的方法把人解放出来，自动实现障碍物识别及吊装路径规划。对于此类吊装过程，通常在吊装开始前进行了吊装路径规划，即预先设置了吊装吊钩的行驶路径。优选地，对于自动吊装过程，本发明可以直接获取预先规划的吊钩路径，不需要实时进行吊钩路径的预测，提高了吊钩路径获取的效率。智能吊装过程中，吊装的路径可以保存在吊车中，也可以保存在用于控制吊车的终端设备上，在此不作限定。本发明检测吊车或终端设备上是否存在相应吊钩的路径，若存在，直接获取吊钩路径，否则对吊钩的路径进行预测。
第四判断模块，用于判断工人及吊钩预测路径中，是否存在某一时刻工人及吊钩的距离小于预设距离，若是，触发警报。
吊装过程中，当工人与吊钩间的距离小于一定阈值时，存在发生安全事故的风险。因此，本发明基于预测的工人路径及吊钩路径，对工人及吊钩间的距离进行预测，当工人及吊钩在某一时刻的距离小于预设距离时，触发警报。对于工人的路径
Figure 779360DEST_PATH_IMAGE004
，吊钩的路径
Figure 738089DEST_PATH_IMAGE005
，其中，
Figure 534006DEST_PATH_IMAGE007
为工人在第i时刻的位置坐标，
Figure 739729DEST_PATH_IMAGE008
为吊钩在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊钩的运行时间，p值与q值的大小不作限定。因此，工人及吊钩在时刻i的距离值为：
Figure 152255DEST_PATH_IMAGE010
，具体地，本发明采用欧几里得距离计算工人及吊钩间的距离。当存在
Figure 383517DEST_PATH_IMAGE011
时，触发警报。
由此可知，本发明提出的基于深度学习的吊装过程危险识别方法及系统，结合吊装场地限制、工人安全帽检测、工人及吊钩路径预测，对吊装过程的危险进行识别，识别方式全面，能够有效识别吊装过程中的危险，适用于不同的吊装过程及场景，实用性强，危险识别效果好；对工人及吊钩的路径进行预测，通过路径的预测判断工人及吊钩在未来一段时间内发生碰撞等事故的概率，能够有效预防吊装事故的发生，提高了吊装过程的安全性；通过Faster R-CNN能够对各个角度、各个形态的工人及吊钩进行检测，检测准确性强，进一步提高了危险识别的准确性；通过卷积神经网络对工人的运动路径进行预测，所预测出的路径与工人的真实路径差异小，能够准确预测吊装过程中的危险；通过扩音设备等方式对吊装现场的工人进行实时预警，提高了吊装危险的应急效率。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于深度学习的吊装过程危险识别方法，其特征在于，包括：
S1、训练生成Faster R-CNN工人、吊钩检测网络；
S2、利用所述检测网络检测吊装场地拍摄视频中当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩；
S3、判断当前帧图像中是否检测到工人，若是，执行步骤S4；若否，提取拍摄视频下一帧图像，继续执行步骤S2；
S4、判断吊装场地是否允许人进入，若否，触发警报；若是，执行步骤S5；
S5、判断当前帧图像中是否检测到未正确佩戴安全帽的工人，若是，触发警报；若否，执行步骤S6；
S6、基于检测到的工人及吊钩的位置，生成工人及吊钩的路径；
S7、判断工人及吊钩预测路径中，是否存在某一时刻工人及吊钩的距离小于预设距离，若是，触发警报。
2.根据权利要求1所述的吊装过程危险识别方法，其特征在于，所述步骤S1包括：
构建Faster R-CNN网络结构，其中，CNN基础网络为VGG16，包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面为最大值池化；RPN 网络包括 512通道、3×3 核的卷积层、两个并行的 1×1 核的卷积层；选择吊装场地帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊钩，将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成所述Faster R-CNN工人、吊钩检测网络。
3.根据权利要求1所述的吊装过程危险识别方法，其特征在于，所述步骤S6中采用卷积神经网络生成工人的路径；所述卷积神经网络包括输入层、卷积层、采样层、全连接层、输出层；输入层输入的是由工人多个时刻位置信息组成的已有运动路径，输出层对全连接层映射过来的输入向量进行分类，输出候选位置集中概率最大的位置向量，作为预测的工人下一时刻的位置；预测出的位置加入工人已有运动路径中，再对下一时刻的位置进行预测，由此得到工人在未来一段时间内、在吊装场地的运动路径；
所述卷积神经网络的损失函数为：
Figure DEST_PATH_IMAGE001
其中，
Figure 120977DEST_PATH_IMAGE002
为工人在时刻i的预测位置，
Figure DEST_PATH_IMAGE003
为工人在时刻i的真实位置，t为路径预测中进行位置预测的时刻数。
4.根据权利要求1所述的吊装过程危险识别方法，其特征在于，所述步骤S6中生成吊钩的路径具体为：以吊钩在当前帧图像的位置作为初始位置，从初始位置逐步生长树来搜索空间，直到树生长到目标位置；在每次迭代中，在搜索空间中随机生成一个采样点rand，然后找到已有树上距离rand 最近的点near，进而向前扩展，最后实现初始位置init 和目标位置goal 的连接；扩展函数选择树中最接近采样节点rand 的节点near，然后依据固定步长ε 向rand 拓展；经检测，如无碰撞，节点new 被添加到树中；否则返回到上一节点重新开始下次采样；上述过程持续迭代直到goal 被添加到树中。
5.根据权利要求1所述的吊装过程危险识别方法，其特征在于，所述步骤S7具体为：
对于工人的路径
Figure 28759DEST_PATH_IMAGE004
，吊钩的路径
Figure DEST_PATH_IMAGE005
，判断
Figure 53216DEST_PATH_IMAGE006
是否成立，若是，触发警报；其中，
Figure DEST_PATH_IMAGE007
为工人在第i时刻的位置坐标，
Figure 478381DEST_PATH_IMAGE008
为吊钩在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊钩的运行时间；
Figure DEST_PATH_IMAGE009
为两点间的距离。
6.一种基于深度学习的吊装过程危险识别系统，其特征在于，包括：
训练模块，用于训练生成Faster R-CNN工人、吊钩检测网络；
检测模块，用于利用所述检测网络检测吊装场地拍摄视频中当前帧图像正确佩戴安全帽的工人、未正确佩戴安全帽的工人及吊钩；
第一判断模块，用于判断当前帧图像中是否检测到工人，若是，调用第二判断模块；若否，提取拍摄视频下一帧图像，调用检测模块；
第二判断模块，用于判断吊装场地是否允许人进入，若否，触发警报；若是，调用第三判断模块；
第三判断模块，用于判断当前帧图像中是否检测到未正确佩戴安全帽的工人，若是，触发警报；若否，调用路径生成模块；
路径生成模块，用于基于检测到的工人及吊钩的位置，生成工人及吊钩的路径；
第四判断模块，用于判断工人及吊钩预测路径中，是否存在某一时刻工人及吊钩的距离小于预设距离，若是，触发警报。
7.根据权利要求6所述的吊装过程危险识别系统，其特征在于，所述训练模块包括：
构建Faster R-CNN网络结构，其中，CNN基础网络为VGG16，包括13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面为最大值池化；RPN 网络包括 512通道、3×3 核的卷积层、两个并行的 1×1 核的卷积层；选择吊装场地帧图像进行标记：“r”代表正确佩戴安全帽的工人；“b”代表未正确佩戴安全帽的工人；“w”代表吊钩，将标记好的数据集作为训练数据集，对构建的Faster R-CNN网络进行训练，生成所述Faster R-CNN工人、吊钩检测网络。
8.根据权利要求6所述的吊装过程危险识别系统，其特征在于，所述路径生成模块采用卷积神经网络生成工人的路径；所述卷积神经网络包括输入层、卷积层、采样层、全连接层、输出层；输入层输入的是由工人多个时刻位置信息组成的已有运动路径，输出层对全连接层映射过来的输入向量进行分类，输出候选位置集中概率最大的位置向量，作为预测的工人下一时刻的位置；预测出的位置加入工人已有运动路径中，再对下一时刻的位置进行预测，由此得到工人在未来一段时间内、在吊装场地的运动路径；
所述卷积神经网络的损失函数为：
Figure 717732DEST_PATH_IMAGE001
其中，
Figure 734099DEST_PATH_IMAGE002
为工人在时刻i的预测位置，
Figure 855638DEST_PATH_IMAGE003
为工人在时刻i的真实位置，t为路径预测中进行位置预测的时刻数。
9.根据权利要求6所述的吊装过程危险识别系统，其特征在于，所述路径生成模块生成吊钩的路径具体为：以吊钩在当前帧图像的位置作为初始位置，从初始位置逐步生长树来搜索空间，直到树生长到目标位置；在每次迭代中，在搜索空间中随机生成一个采样点rand，然后找到已有树上距离rand 最近的点near，进而向前扩展，最后实现初始位置init 和目标位置goal 的连接；扩展函数选择树中最接近采样节点rand 的节点near，然后依据固定步长ε 向rand 拓展；经检测，如无碰撞，节点new 被添加到树中；否则返回到上一节点重新开始下次采样；上述过程持续迭代直到goal 被添加到树中。
10.根据权利要求6所述的吊装过程危险识别系统，其特征在于，所述第四判断模块具体为：
对于工人的路径
Figure 881232DEST_PATH_IMAGE004
，吊钩的路径
Figure 240669DEST_PATH_IMAGE005
，判断
Figure 506565DEST_PATH_IMAGE006
是否成立，若是，触发警报；其中，
Figure 30913DEST_PATH_IMAGE007
为工人在第i时刻的位置坐标，
Figure 673247DEST_PATH_IMAGE008
为吊钩在第i时刻的位置坐标，p为工人在吊装场地的运行时间，q为吊钩的运行时间；
Figure 418349DEST_PATH_IMAGE009
为两点间的距离。
CN202010188962.XA 2020-03-18 2020-03-18 一种基于深度学习的吊装过程危险识别方法及系统 Pending CN111062373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010188962.XA CN111062373A (zh) 2020-03-18 2020-03-18 一种基于深度学习的吊装过程危险识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010188962.XA CN111062373A (zh) 2020-03-18 2020-03-18 一种基于深度学习的吊装过程危险识别方法及系统

Publications (1)

Publication Number Publication Date
CN111062373A true CN111062373A (zh) 2020-04-24

Family

ID=70307951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010188962.XA Pending CN111062373A (zh) 2020-03-18 2020-03-18 一种基于深度学习的吊装过程危险识别方法及系统

Country Status (1)

Country Link
CN (1) CN111062373A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113155070A (zh) * 2021-03-25 2021-07-23 深圳英飞拓科技股份有限公司 一种脚手架攀爬安全检测方法及系统
CN113903002A (zh) * 2021-10-12 2022-01-07 广东电网有限责任公司广州供电局 基于塔吊下方人员检测模型的塔吊下方异常闯入检测方法
CN114120583A (zh) * 2021-11-15 2022-03-01 机械科学研究总院青岛分院有限公司 一种基于机器视觉的行车安全预警装置
CN114885133A (zh) * 2022-07-04 2022-08-09 中科航迈数控软件(深圳)有限公司 基于深度图像的设备安全实时监控方法、系统及相关设备
US20220398283A1 (en) * 2021-05-25 2022-12-15 Nvidia Corporation Method for fast and better tree search for reinforcement learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737773A (zh) * 2017-04-21 2018-11-02 路志宏 一种工程智能视觉检测设备
CN109019335A (zh) * 2018-09-04 2018-12-18 大连理工大学 一种基于深度学习的吊装安全距离检测方法
CN110032555A (zh) * 2019-04-16 2019-07-19 上海建科工程咨询有限公司 一种神经网络塔吊风险预测方法及系统
CN110745704A (zh) * 2019-12-20 2020-02-04 广东博智林机器人有限公司 一种塔吊预警方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737773A (zh) * 2017-04-21 2018-11-02 路志宏 一种工程智能视觉检测设备
CN109019335A (zh) * 2018-09-04 2018-12-18 大连理工大学 一种基于深度学习的吊装安全距离检测方法
CN110032555A (zh) * 2019-04-16 2019-07-19 上海建科工程咨询有限公司 一种神经网络塔吊风险预测方法及系统
CN110745704A (zh) * 2019-12-20 2020-02-04 广东博智林机器人有限公司 一种塔吊预警方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈敏: "基于采样算法的移动机器人路径规划", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄俊洁: "施工场景下工程车检测与车型识别研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113155070A (zh) * 2021-03-25 2021-07-23 深圳英飞拓科技股份有限公司 一种脚手架攀爬安全检测方法及系统
CN113155070B (zh) * 2021-03-25 2023-03-24 深圳英飞拓科技股份有限公司 一种脚手架攀爬安全检测方法及系统
US20220398283A1 (en) * 2021-05-25 2022-12-15 Nvidia Corporation Method for fast and better tree search for reinforcement learning
CN113903002A (zh) * 2021-10-12 2022-01-07 广东电网有限责任公司广州供电局 基于塔吊下方人员检测模型的塔吊下方异常闯入检测方法
CN114120583A (zh) * 2021-11-15 2022-03-01 机械科学研究总院青岛分院有限公司 一种基于机器视觉的行车安全预警装置
CN114885133A (zh) * 2022-07-04 2022-08-09 中科航迈数控软件(深圳)有限公司 基于深度图像的设备安全实时监控方法、系统及相关设备
CN114885133B (zh) * 2022-07-04 2022-10-04 中科航迈数控软件(深圳)有限公司 基于深度图像的设备安全实时监控方法、系统及相关设备

Similar Documents

Publication Publication Date Title
CN111062373A (zh) 一种基于深度学习的吊装过程危险识别方法及系统
CN111079722B (zh) 一种吊装过程人员安全监测方法及系统
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
CN111241959B (zh) 一种通过工地视频流检测未佩戴安全帽人员的方法
CN103106766B (zh) 林火识别方法与系统
CN111144263A (zh) 一种建筑工人高坠事故预警方法及装置
CN104123544A (zh) 基于视频分析的异常行为检测方法及系统
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN111275923B (zh) 施工现场的人机碰撞预警方法及系统
CN111428617A (zh) 一种基于视频图像的配网违规检修行为的识别方法和系统
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN113076683A (zh) 用于变电站行为监测的卷积神经网络模型的建模方法
Zhang et al. Transmission line abnormal target detection based on machine learning yolo v3
Ding et al. Intelligent emergency digital twin system for monitoring building fire evacuation
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN110852179A (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN113506416A (zh) 一种基于智能视觉分析的工程异常预警方法及系统
CN114677640A (zh) 基于机器视觉的智慧工地安全监测系统及方法
CN112669294B (zh) 相机遮挡检测方法、装置、电子设备及存储介质
CN114359825A (zh) 监测方法和相关产品
CN117612249A (zh) 一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置
CN114821486B (zh) 一种电力作业场景下人员识别方法
CN116052035A (zh) 一种基于卷积神经网络的电厂人员周界入侵检测方法
JP2005284652A (ja) 動きベクトルを用いた映像監視方法及び装置
KR20240040530A (ko) 딥러닝 기반 감염병 예방 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424