CN116311534B - 基于ai的智慧工地的危险违规动作识别方法及系统 - Google Patents

基于ai的智慧工地的危险违规动作识别方法及系统 Download PDF

Info

Publication number
CN116311534B
CN116311534B CN202310551484.8A CN202310551484A CN116311534B CN 116311534 B CN116311534 B CN 116311534B CN 202310551484 A CN202310551484 A CN 202310551484A CN 116311534 B CN116311534 B CN 116311534B
Authority
CN
China
Prior art keywords
entity
personnel
state
action
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310551484.8A
Other languages
English (en)
Other versions
CN116311534A (zh
Inventor
汤云祥
朱广
李宝金
徐晋超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Runbangzeye Information Technology Co ltd
Original Assignee
Qingdao Runbangzeye Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Runbangzeye Information Technology Co ltd filed Critical Qingdao Runbangzeye Information Technology Co ltd
Priority to CN202310551484.8A priority Critical patent/CN116311534B/zh
Publication of CN116311534A publication Critical patent/CN116311534A/zh
Application granted granted Critical
Publication of CN116311534B publication Critical patent/CN116311534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及施工安全技术领域，具体公开了一种基于AI的智慧工地的危险违规动作识别方法及系统，该方法包括获取施工现场的图像序列数据；识别图像序列数据以得到实体数据；对实体的动作信息进行分类；对分类后的动作信息依次进行危险判断。本发明通过获取施工现场的图像序列数据，并对图像序列进行识别以得到实体数据，接着根据实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，最后对分类后的动作信息依次进行危险判断，在判断结果存在危险时进行预警，对施工现场的场内人员进行有效的安全性监控，确保人员的人身安全，并对安全隐患进行前置预警，减少安全事故的发生率，确保了施工现场的安全性。

Description

基于AI的智慧工地的危险违规动作识别方法及系统
技术领域
本发明具体涉及施工安全技术领域，具体是一种基于AI的智慧工地的危险违规动作识别方法及系统。
背景技术
目前，针对安全隐患绝大部分的工地还是依靠人工利用传统的监测方法，多为接触式测量或者为人工巡检等，这种检测方式存在许多的缺点：无法对全部作业面进行覆盖，存在诸多盲区；无法实现对于工人全天候的有效监管，不仅耗时耗力，对于某些隐蔽工程的安全隐患还很难发现。
为改变这种情况，施工企业也在积极探索，创新管理模式建设信息化工地，但目前相关技术还不够成熟，现有技术中利用神经网络模型对施工现场的图像进行识别处理以得到危险动作的识别结果，例如公开号为：CN112613476A的发明专利公开了 一种基于机器视觉自动检测工人不安全行为的方法，通过建立工人不安全行为数据库，通过深度学习算法自动识别工人的不安全动作并显示结果，从而降低工人不安全行为的发生率。虽然该发明专利相比于传统的监测方法具有自动化、监测效果好、操作简单等优点，但由于施工人员动作的多样性、多变性和难识别性，仅依靠神经网络模型对多种类型的施工人员动作信息进行统一识别的方式误差较大，无法满足智慧工地对危险违规动作准确识别的要求，导致施工现场仍然存在较大的安全隐患。
发明内容
本发明的目的在于提供一种基于AI的智慧工地的危险违规动作识别方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于AI的智慧工地的危险违规动作识别方法，包括以下步骤：
S10、获取施工现场的图像序列数据，所述图像序列数据包括施工现场的二维彩色图像数据和三维点云数据；
S20、识别图像序列数据以得到实体数据，所述实体数据包括实体的特征信息和实体的动作信息；
S30、基于实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，所述动作类别包括人员状态类别和人、物交互状态类别；
S40、对分类后的动作信息依次进行危险判断，当判断结果存在危险时进行预警。
作为本发明进一步的方案：所述二维彩色图像数据用于识别实体的特征信息，三维点云数据用于识别实体的动作信息；所述实体包括施工现场的人员和物体，施工现场的人员包括施工人员、管理人员和参观人员；施工现场的物体包括动态机械和静态构筑物。
作为本发明再进一步的方案：所述实体的特征信息为辨识实体的信息；所述实体的动作信息包括人员和动态机械的施工动作，人员的施工动作包括状态行为和动作行为，其中，状态行为包括采取主动安全措施的状态、与危险源之间的距离状态；动作行为即为执行施工动作的行为。
作为本发明再进一步的方案：步骤S20中，识别图像序列数据中的实体的特征信息的方法，包括以下步骤：
S21、构建识别模型，将训练图像序列数据输入识别模型中对该模型进行训练，以获取具有实体识别能力的识别模型；
S22、在训练过程中，通过不断改变模型参数，以获得更高质量的模型；
S23、将待识别的图像序列数据输入训练后的识别模型中，以得到识别结果。
作为本发明再进一步的方案：步骤S20中，识别图像序列数据中的实体的动作信息的方法，包括以下步骤：
步骤一、根据实体信息选取三维点云数据中的目标实体；
步骤二、获取构建目标实体的要素点，所述要素点包括人员的关节点以及物体的外围轮廓点；
步骤三、基于要素点生成目标实体的要素点图，在预设图库中查找该要素点图，根据查找结果确定目标实体的动作信息。
作为本发明再进一步的方案：所述人员状态类别包括人员采取主动安全措施的状态、与危险源之间的距离状态以及执行施工动作的状态；所述人、物交互状态包括处于运动状态的人员与物体的交互状态，该交互状态的特征包括人员与物体的实时空间位置、运动方向、运动速度和运动范围。
作为本发明再进一步的方案：步骤S40中，对分类后的动作信息依次进行危险判断的方法为：
S41、获取分类后的动作信息，首先对动作类别为人员状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警；
S42、接着对动作类别为人、物交互状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警。
作为本发明再进一步的方案：步骤S41中，对动作类别为人员状态类别的动作信息进行危险判断的方法为：
S411、获取人员状态类别的动作信息，选取目标人员作为判断主体；
S412、对判断主体依次进行采取主动安全措施、与危险源之间的距离以及执行施工动作的危险判断，当判断结果为是，即存在危险时进行报警。
作为本发明再进一步的方案：步骤S42中，对动作类别为人、物交互状态类别的动作信息进行危险判断的方法，包括以下步骤：
S421、获取人、物交互状态类别的动作信息，识别该动作信息中包含的人员实体与物体实体；
S422、基于包含该动作信息的图像序列数据中的时序特征计算人员实体与物体实体的运动数据，该运动数据包括运动方向、加速度和持续运动时间；
S423、根据人员实体与物体实体的运动数据判断两者是否存在交互区域，当存在交互区域时进行预警。
一种基于AI的智慧工地的危险违规动作识别系统，包括：
数据采集模块，用于获取施工现场的图像序列数据，所述图像序列数据包括施工现场的二维彩色图像数据和三维点云数据；
数据识别模块，用于识别图像序列数据以得到实体数据，所述实体数据包括实体的特征信息和实体的动作信息；
数据分类模块，用于基于实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，所述动作类别包括人员状态类别和人、物交互状态类别；
数据判断模块，用于对分类后的动作信息依次进行危险判断，当判断结果存在危险时进行预警。
与现有技术相比，本发明的有益效果是：本发明通过获取施工现场的图像序列数据，并对图像序列进行识别以得到实体数据，接着根据实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，最后对分类后的动作信息依次进行危险判断，在判断结果存在危险时进行预警，从而对施工现场的场内人员进行有效的安全性监控，确保人员的人身安全，并对安全隐患进行前置预警，减少安全事故的发生率，确保了施工现场的安全性。
附图说明
图1为基于AI的智慧工地的危险违规动作识别方法的流程图。
图2为基于AI的智慧工地的危险违规动作识别方法中识别图像序列数据中的实体的特征信息的方法的流程图。
图3为基于AI的智慧工地的危险违规动作识别方法中识别图像序列数据中的实体的动作信息的方法的流程图。
图4为基于AI的智慧工地的危险违规动作识别方法中步骤S40的流程图。
图5为基于AI的智慧工地的危险违规动作识别系统的结构框图。
图6为基于AI的智慧工地的危险违规动作识别方法中人员佩戴安全帽的预设图像一的示意图。
图7为基于AI的智慧工地的危险违规动作识别方法中人员实体A和危险源实体C的要素点图的示意图。
图8为基于AI的智慧工地的危险违规动作识别方法中人员实体与物体实体的交互示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。
基于此，请参阅图1～图4，本发明实施例中，一种基于AI的智慧工地的危险违规动作识别方法，包括以下步骤：
S10、获取施工现场的图像序列数据，所述图像序列数据包括施工现场的二维彩色图像数据和三维点云数据，其中，二维彩色图像数据用于识别实体的特征信息，三维点云数据用于识别实体的动作信息。所述实体包括施工现场的人员和物体，施工现场的人员包括施工人员、管理人员和参观人员；施工现场的物体包括动态机械（例如挖掘机、卡车、工程机械）和静态构筑物（例如柱子、楼板、基坑）。
另外，所述实体的特征信息为辨识实体的信息，例如，人员的姓名、工种、所属施工单位等信息；实体的特征信息还包括动态机械和静态构筑物的名称、是否为危险源、材质、危险范围等信息；所述实体的动作信息包括人员和动态机械的施工动作，人员的施工动作包括状态行为和动作行为，其中，状态行为包括采取主动安全措施的状态（例如佩戴安全帽、安全面罩、安全带等）、与危险源之间的距离状态；动作行为即为执行施工动作的行为，例如爬梯、点焊作业、开挖作业等。
在本发明实施例中，需要说明的是，在进行图像序列数据采集时需要考虑相机的布置方法，对于二维彩色图像，一方面，需考虑识别对象的活动范围，例如，若需要识别高处作业，则需将相机角度向上调节，保证目标对象能在相机拍摄范围之内；另一方面，应尽量选取遮挡情况较少的位置。施工现场遮挡问题严重，不利于实体识别，本实施例中，可通过红外相机或立体相机（两个及以上经过标定的单筒相机）获得，其中，红外相机主要适用于室内环境，而立体相机可同时适用于室内环境与室外环境。
由于施工现场环境复杂多变，遮挡问题严重，仅凭借二维彩色图像往往难以准确、可靠地识别实体之间的关系，需使用更为可靠的三维空间坐标以支持实体间关系识别，三维点云数据即二维像素点对应的三维空间坐标数据，其获取方式为通过立体相机同时从不同角度拍摄图像，找到不同图像上的对应点，结合不同相机中心点间的基线距离、相机的焦距等参数，基于数学原理计算出目标点到相机的空间距离，从而获得目标点相对于相机的三维空间坐标，后续可通过坐标系转换转化为世界坐标，本实施例中，所述立体相机包括双目相机、三目相机等。
S20、识别图像序列数据以得到实体数据，所述实体数据包括实体的特征信息和实体的动作信息；
步骤S20中，识别图像序列数据中的实体的特征信息的方法，包括以下步骤：
S21、构建识别模型，将训练图像序列数据输入识别模型中对该模型进行训练，以获取具有实体识别能力的识别模型；
步骤S21中，训练图像序列数据需满足训练所需的图像数量、质量、清晰度、多样性等，使得实体识别模型在不同情况下都能取得较好的识别能力。从数量维度而言，一般需要千级别以上的图像进行训练，以防止模型过拟合；从质量维度而言，可从清晰度与多样性等细分维度进行考虑，其中，清晰度是指所采集的图像清晰可辨，才能使卷积网络更好地提取特征；而多样性是针对施工现场复杂多变的特性，需对不同情况下的图像进行采集，即涵盖不同视角、不同光照条件、不同遮挡情况、不同大小以及不同状态下的实体对象。
需要说明的是，步骤S21中构建的识别模型为CNN－神经网络识别模型，该识别模型包括输入层、卷积模块、全连接层和输出层，所述输入层与卷积模块连接，卷积模块与全连接层连接、全连接层与输出层连接，其中，卷积模块包括有卷积层、ReLu激活层和池化层，卷积层完成特征提取后与全连接层连接，整合卷积模块提取得到的特征，得到一个识别结果。
还有，步骤S21中，对识别模型进行训练的方法，包括以下步骤：
（1）将训练图像序列数据输入识别模型进行迭代，当迭代次数达到预设次数时，得到训练后的识别模型；
（2）利用测试数据对训练后的识别模型进行验证，判断识别模型的识别结果是否符合识别要求，若符合，该识别模型即为具有实体识别能力的识别模型，否则，对模型参数进行调整，并进行步骤（1）和步骤（2）；说要说明的是，该测试数据即为用于模型验证图像序列数据，该测试数据对应一个标准的识别结果，判断识别模型的识别结果是否符合识别要求时需要将识别模型获得的识别结果与标准的识别结果进行对比；另外，步骤（2）中所提及的模型参数为卷积模块的参数，包括卷积层中卷积层的数量、卷积核的大小等。
S22、在训练过程中，通过不断改变模型参数，以获得更高质量的模型；
S23、将待识别的图像序列数据输入训练后的识别模型中，以得到识别结果，该识别结果即为实体的特征信息。
步骤S20中，识别图像序列数据中的实体的动作信息的方法，包括以下步骤：
步骤一、根据实体信息选取三维点云数据中的目标实体；
步骤二、获取构建目标实体的要素点，所述要素点包括人员的关节点以及物体的外围轮廓点；
步骤三、基于要素点生成目标实体的要素点图，在预设图库中查找该要素点图，根据查找结果确定目标实体的动作信息。
S30、基于实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，所述动作类别包括人员状态类别和人、物交互状态类别；
步骤S30中，所述人员状态类别包括人员采取主动安全措施的状态、与危险源之间的距离状态以及执行施工动作的状态，人员采取被动安全措施的状态包括佩戴防护面罩、安全帽、安全带（安全带钩子位置）、穿戴工作服等；人员动作行为状态，例如攀爬施工梯、进行施工作业等；执行施工动作的状态包括爬梯、点焊作业、开挖作业等；
所述人、物交互状态包括人员与物体的交互状态，具体为处于运动状态的人员与物体的交互状态，该交互状态的特征为人员与物体的实时空间位置、运动方向、运动速度和运动范围等。
S40、对分类后的动作信息依次进行危险判断，当判断结果存在危险时进行预警；
在本发明实施例步骤S40中，对分类后的动作信息依次进行危险判断的方法为：
S41、获取分类后的动作信息，首先对动作类别为人员状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警；
S42、接着对动作类别为人、物交互状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警。
进一步的，步骤S41中，对动作类别为人员状态类别的动作信息进行危险判断的方法为：
S411、获取人员状态类别的动作信息，选取目标人员作为判断主体；
S412、对判断主体依次进行采取主动安全措施、与危险源之间的距离以及执行施工动作的危险判断，当判断结果为是，即存在危险时进行报警，其中：
采取主动安全措施的判断方法为：将人员状态类别动作信息中的要素点图与预设图像一进行对比，对比结果不一致时，判断该动作信息存在危险（或违规），如图6所示，图6为人员佩戴安全帽的预设图像一，包括人员实体A和安全帽实体B，当待判断的动作信息要素点图与该图像的对比结果不一致时，表示该动作信息存在危险或违规情况，此时需要进行预警。
与危险源之间的距离的判断方法为：获取人员状态类别动作信息中的人员实体和危险源实体的要素点图；根据要素点图定位人员实体的中心点和危险源实体的中心点，计算两个中心点之间的距离；判断该距离是否在预设的安全距离范围内，当判断结果为否时，判断该动作信息存在危险（或违规），如图7所示，图7包含了人员实体A和危险源实体C的要素点图。
还有，步骤S42中，对动作类别为人、物交互状态类别的动作信息进行危险判断的方法，包括以下步骤：
S421、获取人、物交互状态类别的动作信息，识别该动作信息中包含的人员实体与物体实体；
S422、基于包含该动作信息的图像序列数据中的时序特征计算人员实体与物体实体的运动数据，该运动数据包括运动方向、加速度和持续运动时间；
S423、根据人员实体与物体实体的运动数据判断两者是否存在交互区域，当存在交互区域时进行预警；如图8所示，图8为人员实体与物体实体的交互示意图，处于运动状态的人员实体A和处于运动状态的机械实体D（吊车）存在交互区域，表示人员实体A具有安全隐患，需要及时进行预警。
请参阅图5，本发明还公开了一种基于AI的智慧工地的危险违规动作识别系统，包括：
数据采集模块100，用于获取施工现场的图像序列数据，所述图像序列数据包括施工现场的二维彩色图像数据和三维点云数据；
数据识别模块200，用于识别图像序列数据以得到实体数据，所述实体数据包括实体的特征信息和实体的动作信息；
数据分类模块300，用于基于实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，所述动作类别包括人员状态类别和人、物交互状态类别；
数据判断模块400，用于对分类后的动作信息依次进行危险判断，当判断结果存在危险时进行预警。
此外，一些实施例可包括具有用于在计算机上执行本说明书中记载的方法的程序的存储介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集被处理器加载并执行时实现上述各方法实施例中的步骤，计算机可读记录介质的示例包括为了存储并执行程序命令而专门构成的硬件装置：诸如硬盘、软盘及磁带的磁介质、诸如CD-ROM、DVD的光记录介质、诸如软盘的磁光介质及ROM、RAM、闪存等。程序命令的示例可包括：由编译器编写的机器语言代码以及使用解释器等而由计算机来执行的高级语言。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过至少一条指令、至少一段程序、代码集或指令集来指令相关的硬件来完成，的至少一条指令、至少一段程序、代码集或指令集可存储于一非易失性计算机可读取存储介质中，该至少一条指令、至少一段程序、代码集或指令集在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明通过获取施工现场的图像序列数据，并对图像序列进行识别以得到实体数据，接着根据实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，最后对分类后的动作信息依次进行危险判断，在判断结果存在危险时进行预警，从而对施工现场的场内人员进行有效地安全性监控，确保人员的人身安全，并对安全隐患进行前置预警，减少安全事故的发生率，确保了施工现场的安全性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种基于AI的智慧工地的危险违规动作识别方法，其特征在于，包括以下步骤：
S10、获取施工现场的图像序列数据，所述图像序列数据包括施工现场的二维彩色图像数据和三维点云数据；所述二维彩色图像数据用于识别实体的特征信息，三维点云数据用于识别实体的动作信息；所述实体包括施工现场的人员和物体，施工现场的人员包括施工人员、管理人员和参观人员；施工现场的物体包括动态机械和静态构筑物；
所述实体的特征信息为辨识实体的信息；所述实体的动作信息包括人员和动态机械的施工动作，人员的施工动作包括状态行为和动作行为，其中，状态行为包括采取主动安全措施的状态、与危险源之间的距离状态；动作行为即为执行施工动作的行为；
S20、识别图像序列数据以得到实体数据，所述实体数据包括实体的特征信息和实体的动作信息；
S30、基于实体数据对实体的动作信息进行分类，得到多个用于判断人员是否处于危险违规状态的动作类别，所述动作类别包括人员状态类别和人、物交互状态类别；
所述人员状态类别包括人员采取主动安全措施的状态、与危险源之间的距离状态以及执行施工动作的状态；所述人、物交互状态包括处于运动状态的人员与物体的交互状态，该交互状态的特征包括人员与物体的实时空间位置、运动方向、运动速度和运动范围；
其中，人员采取被动安全措施的状态包括佩戴防护面罩、安全帽、安全带、穿戴工作服；执行施工动作的状态包括爬梯、点焊作业、开挖作业；
S40、对分类后的动作信息依次进行危险判断，当判断结果存在危险时进行预警；
步骤S40中，对分类后的动作信息依次进行危险判断的方法为：
S41、获取分类后的动作信息，首先对动作类别为人员状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警；
S42、接着对动作类别为人、物交互状态类别的动作信息进行危险判断，根据判断结果选择是否进行预警；
步骤S41中，对动作类别为人员状态类别的动作信息进行危险判断的方法为：
S411、获取人员状态类别的动作信息，选取目标人员作为判断主体；
S412、对判断主体依次进行采取主动安全措施、与危险源之间的距离以及执行施工动作的危险判断，当判断结果为是，即存在危险时进行报警；
步骤S42中，对动作类别为人、物交互状态类别的动作信息进行危险判断的方法，包括以下步骤：
S421、获取人、物交互状态类别的动作信息，识别该动作信息中包含的人员实体与物体实体；
S422、基于包含该动作信息的图像序列数据中的时序特征计算人员实体与物体实体的运动数据，该运动数据包括运动方向、加速度和持续运动时间；
S423、根据人员实体与物体实体的运动数据判断两者是否存在交互区域，当存在交互区域时进行预警；
步骤S20中，识别图像序列数据中的实体的特征信息的方法，包括以下步骤：
S21、构建识别模型，将训练图像序列数据输入识别模型中对该模型进行训练，以获取具有实体识别能力的识别模型；在步骤S21中，训练图像序列数据需满足训练所需的图像数量、质量、清晰度、多样性，使得实体识别模型在不同情况下都能取得较好的识别能力；其中，清晰度是指所采集的图像清晰可辨，才能使卷积网络更好地提取特征；多样性是针对施工现场复杂多变的特性，需对不同情况下的图像进行采集，即涵盖不同视角、不同光照条件、不同遮挡情况、不同大小以及不同状态下的实体对象；步骤S21中构建的识别模型为CNN－神经网络识别模型，该识别模型包括输入层、卷积模块、全连接层和输出层，所述输入层与卷积模块连接，卷积模块与全连接层连接、全连接层与输出层连接，其中，卷积模块包括有卷积层、ReLu激活层和池化层，卷积层完成特征提取后与全连接层连接，整合卷积模块提取得到的特征，得到一个识别结果；
在步骤S21中，对识别模型进行训练的方法，包括以下步骤：
（1）将训练图像序列数据输入识别模型进行迭代，当迭代次数达到预设次数时，得到训练后的识别模型；
（2）利用测试数据对训练后的识别模型进行验证，判断识别模型的识别结果是否符合识别要求，若符合，该识别模型即为具有实体识别能力的识别模型，否则，对模型参数进行调整，并重复进行步骤（1）和步骤（2）；
S22、在训练过程中，通过不断改变模型参数，以获得更高质量的模型；
S23、将待识别的图像序列数据输入训练后的识别模型中，以得到识别结果；
步骤S20中，识别图像序列数据中的实体的动作信息的方法，包括以下步骤：
步骤一、根据实体信息选取三维点云数据中的目标实体；
步骤二、获取构建目标实体的要素点，所述要素点包括人员的关节点以及物体的外围轮廓点；
步骤三、基于要素点生成目标实体的要素点图，在预设图库中查找该要素点图，根据查找结果确定目标实体的动作信息。
CN202310551484.8A 2023-05-17 2023-05-17 基于ai的智慧工地的危险违规动作识别方法及系统 Active CN116311534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310551484.8A CN116311534B (zh) 2023-05-17 2023-05-17 基于ai的智慧工地的危险违规动作识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310551484.8A CN116311534B (zh) 2023-05-17 2023-05-17 基于ai的智慧工地的危险违规动作识别方法及系统

Publications (2)

Publication Number Publication Date
CN116311534A CN116311534A (zh) 2023-06-23
CN116311534B true CN116311534B (zh) 2023-12-22

Family

ID=86801667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310551484.8A Active CN116311534B (zh) 2023-05-17 2023-05-17 基于ai的智慧工地的危险违规动作识别方法及系统

Country Status (1)

Country Link
CN (1) CN116311534B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913559A (zh) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 一种基于体感技术的银行atm机智能监控方法
US10325485B1 (en) * 2018-09-11 2019-06-18 Rockwell Automation Technologies, Inc. System or process to detect, discriminate, aggregate, track, and rank safety related information in a collaborative workspace
CN111445524A (zh) * 2020-03-31 2020-07-24 清华大学 基于场景理解的施工现场工人不安全行为识别方法
CN111553229A (zh) * 2020-04-21 2020-08-18 清华大学 基于三维骨骼与lstm的工人动作识别方法及装置
CA3094424A1 (en) * 2019-06-21 2020-12-21 China University Of Mining And Technology Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
CN113223311A (zh) * 2021-03-26 2021-08-06 南京市德赛西威汽车电子有限公司 一种基于v2x的车辆开门防碰撞预警方法
CN115359406A (zh) * 2022-08-31 2022-11-18 江南大学 一种邮局场景人物交互行为识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015118325A1 (en) * 2014-02-04 2015-08-13 Sudak Menachem Monitoring system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913559A (zh) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 一种基于体感技术的银行atm机智能监控方法
US10325485B1 (en) * 2018-09-11 2019-06-18 Rockwell Automation Technologies, Inc. System or process to detect, discriminate, aggregate, track, and rank safety related information in a collaborative workspace
CA3094424A1 (en) * 2019-06-21 2020-12-21 China University Of Mining And Technology Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
CN111445524A (zh) * 2020-03-31 2020-07-24 清华大学 基于场景理解的施工现场工人不安全行为识别方法
CN111553229A (zh) * 2020-04-21 2020-08-18 清华大学 基于三维骨骼与lstm的工人动作识别方法及装置
CN113223311A (zh) * 2021-03-26 2021-08-06 南京市德赛西威汽车电子有限公司 一种基于v2x的车辆开门防碰撞预警方法
CN115359406A (zh) * 2022-08-31 2022-11-18 江南大学 一种邮局场景人物交互行为识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Novel Face Super-Resolution-Based Framework for Identity Recognition of Unsafe Behavior Workers;Liu Bo等;《2020 Chinese Automation Congress (CAC)》;全文 *
公路施工危险区闯入智能识别技术研究;李鑫;;《黑龙江交通科技》(第03期);全文 *

Also Published As

Publication number Publication date
CN116311534A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Fang et al. Falls from heights: A computer vision-based approach for safety harness detection
Fang et al. Computer vision aided inspection on falling prevention measures for steeplejacks in an aerial environment
Kim et al. Image-based construction hazard avoidance system using augmented reality in wearable device
Yu et al. An experimental study of real-time identification of construction workers' unsafe behaviors
CN111445524B (zh) 基于场景理解的施工现场工人不安全行为识别方法
Fang et al. A deep learning-based approach for mitigating falls from height with computer vision: Convolutional neural network
Park et al. Hardhat-wearing detection for enhancing on-site safety of construction workers
Cheng et al. Modeling tower crane operator visibility to minimize the risk of limited situational awareness
Fang et al. A sematic and prior‐knowledge‐aided monocular localization method for construction‐related entities
Xu et al. Dynamic safety prewarning mechanism of human–machine–environment using computer vision
Anjum et al. Fall prevention from ladders utilizing a deep learning-based height assessment method
CN112685812A (zh) 一种动态监管方法、装置、设备及存储介质
WO2023104557A1 (en) Machine-learning for safety rule violation determination
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
Assadzadeh et al. Excavator 3D pose estimation using deep learning and hybrid datasets
Konstantinidis et al. AROWA: An autonomous robot framework for Warehouse 4.0 health and safety inspection operations
Huang et al. Skeleton-based automatic assessment and prediction of intrusion risk in construction hazardous areas
Awadallah et al. Automated multiclass structural damage detection and quantification using augmented reality
CN116311534B (zh) 基于ai的智慧工地的危险违规动作识别方法及系统
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
CN114495421B (zh) 智能化开放式道路施工作业监测预警方法及系统
Ojha et al. Developing an affordable robotic system for automated fall hazard detection and localization in indoor construction environments
KR20240040530A (ko) 딥러닝 기반 감염병 예방 시스템
Li et al. Using Unmanned Aerial Systems (UAS) for Assessing and Monitoring Fall Hazard Prevention Systems in High-rise Building Projects
CN113989335A (zh) 一种对厂房内工人自动定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant