CN111368806B - 一种基于人工智能的工人施工状态监测方法 - Google Patents

一种基于人工智能的工人施工状态监测方法 Download PDF

Info

Publication number
CN111368806B
CN111368806B CN202010248170.7A CN202010248170A CN111368806B CN 111368806 B CN111368806 B CN 111368806B CN 202010248170 A CN202010248170 A CN 202010248170A CN 111368806 B CN111368806 B CN 111368806B
Authority
CN
China
Prior art keywords
worker
workers
construction
network model
construction state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010248170.7A
Other languages
English (en)
Other versions
CN111368806A (zh
Inventor
李子奇
李冬生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010248170.7A priority Critical patent/CN111368806B/zh
Publication of CN111368806A publication Critical patent/CN111368806A/zh
Application granted granted Critical
Publication of CN111368806B publication Critical patent/CN111368806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于人工智能领域，涉及一种基于人工智能的工人施工状态监测方法。本发明运用深度学习姿态估计框架Openpose来获取工人的骨架关节点坐标，将坐标进行向量化处理，将向量化处理后的坐标运用LSTM网络进行训练，以此模型输出建筑工人的行为。同时运用目标检测框架Yolov3检测出工人所在画面中的标志物，将之前检测出的工人行为与工地上的标志物作为新特征，将其对应的工人施工状态作为标签，训练xgboost网络模型，最后实现实时施工状态实时监测。本发明可以基于人工智能理论准确的监测施工现场工人的施工状态，减少了施工时对于人力的需求。

Description

一种基于人工智能的工人施工状态监测方法
技术领域
本发明属于人工智能领域，涉及一种基于人工智能的工人施工状态监测方法。
背景技术
随着人工智能的飞速发展，其在各个工程领域中应用越来越广泛。在建筑工程中也有人工智能算法应用于其中，例如计算机视觉、深度学习、机器学习等等。
工人的施工状态识别对于建筑工程中有重要的意义，通过对于工人施工状态的识别，可以了解工人的工作进度，工人是否具有安全风险以及操作是否规范。
在现有的施工管理技术中，对于工人施工状态的监控都是由施工现场管理人员来完成，但是管理人员的数量和精力有限，很难做到对于工人施工状态的实时监控。若使用以往的行为监测技术只针对于人物本身进行监测，这样当工人有相似动作时很难分辨工人具体的施工状态。
发明内容
为解决上述问题，本发明提出了一种基于人工智能的施工状态监测方法，运用深度学习姿态估计框架Openpose来获取工人的骨架关节点坐标，将坐标进行向量化处理，将向量化处理后的坐标运用LSTM网络进行训练，以此模型输出建筑工人的行为。同时运用目标检测框架Yolov3检测出工人所在画面中的标志物，将之前检测出的工人行为与工地上的标志物作为新特征，将其对应的工人施工状态作为标签，训练xgboost网络模型，最后实现实时施工状态实时监测。
本发明的技术方案：
一种基于人工智能的工人施工状态监测方法，具体步骤如下：
步骤一、采集数据集
采集建筑工程中工人施工时的状态的视频作为数据集，每一个工人施工状态采集至少一百段视频；将视频做上三个类别标签，标签包含工人的行为、视频画面中工人附近的标志物和工人施工状态；其中，工人的行为包括蹲着、站立、俯身和抬手，视频画面中工人附近的标志物包括钢筋、墙、砖、梁、板和柱，工人施工状态包括砌砖、支模板和绑扎钢筋；将视频采用k折交叉法分为k个子数据集，然后将其中一个子数据集作为测试集进行模型评估，剩余k-1个作为训练集。
步骤二、提取特征
运用深度学习姿态估计框架Openpose对步骤一中的视频进行识别，使其输出视频中工人18个关节点坐标，关节点包括鼻子、左肘、左膝盖、颈部、左腕、左踝、右肩、右臀、右眼、右肘、右膝、左眼、右腕、右踝、右耳、左肩、左臀部和左耳朵，若部分身体关节点被遮挡，则无需识别。
步骤三、向量化处理
将步骤二产生的工人关节点坐标进行向量化处理，每个向量为相邻两个关节点坐标之差，代表一节骨架，被遮挡的骨架用零向量代替，一共产生17个2维向量。
步骤四、训练LSTM网络模型
搭建LSTM网络模型，输入层设置17个神经元对应17个二维向量，设置隐藏层以及与最后一层连接的Softmax分类器，并设定损失函数和优化器，用步骤三生成的向量及其所属标签训练搭建好的LSTM模型，使其输出工人行为。
步骤五、训练Yolov3网络模型
搭建Yolov3网络模型，将步骤一中的数据集以及所属标签用对其进行训练，使其识别出视频画面中的标志物。
步骤六、制作施工状态数据集
将步骤四中输出的工人行为以及步骤五中识别的标志物作为新的特征，将工人施工状态作为标签，制作数据集。
步骤七、搭建xgboost网络模型
搭建xgboost网络模型，输入步骤六中的数据集进行训练，使用训练好的xgboost网络模型对视频画面中的行为及标志物进行打分，xgboost网络模型依据得分输出工人最可能的施工状态。
本发明有益效果：
(1)本发明可以基于人工智能理论准确的监测施工现场工人的施工状态，减少了施工时对于人力的需求。
(2)相对于传统行为识别方式，加入了标志物识别，将标志物信息与工人行为综合考虑，得到工人的准确施工状态。
附图说明
图1为本发明的流程图；
图2为人体关节点对应图；
图3为工人施工状态数据集示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明的一种基于人工智能的工人施工状态监测方法，如图1所示，具体步骤如下：
步骤一、采集数据集
在建筑工地安装摄像头，拍摄200段工人施工时的视频，将拍摄的视频进行分段，将每一个完整行为作为一段视频，每一段视频做好三个标签，分别为工人行为(蹲着、站立、俯身、抬手等)、视频画面中工人附近的标志物(钢筋、墙、砖、梁、柱等)以及工人所处施工状态(砌砖、支模板、绑扎钢筋等)。将视频采用k折交叉法分为10个子集，然后将其中1个子数据集作为测试集进行模型评估，剩余9个作为训练集。
步骤二、提取关节坐标
将步骤一中数据集作为输入端用Openpose框架进行识别，输出关节点坐标，关节点编号与人体部位对应关系如图2所示。
步骤三、向量化处理
将步骤二产生的工人关节点坐标进行向量化处理，每个向量为相邻两个关节点坐标之差，一共17个2维向量。例如图2中7节点坐标为(x7，y7)，6节点坐标为(x6，y6)，则6-7骨架向量为(x7-x6，y7-y6)，依此方法求出17个骨架向量，被遮挡的骨架用零向量代替。
步骤四、训练LSTM网络模型
将步骤三所得17个二维向量作为LSTM网络的输入端，分别对应网络中首层(输入层)的17个神经元，然后设置隐藏层，然后设置损失函数和优化器，在最后一层连接Softmax分类器，输出工人的行为。
步骤五、训练YOLOV3网络模型
将步骤一中抽帧后所得的图片作为数据集，对图片中的工人操作的物体作为标志物，用深度学习目标识别框架YOLOV3进行训练，使其可以输出图片中的标志物。
步骤六、制作施工状态数据集
将步骤四中输出的工人行为以及步骤五中输出的标志物作为新的特征，将工人的施工状态作为标签，创建数据集，例如图3中的工人，其特征为蹲着、钢筋，标签为绑扎钢筋。
步骤六、训练xgboost网络模型
搭建xgboost网络模型，输入步骤六中数据集进行训练，使训练好的模型对照片中的行为及标志物进行打分，模型会输出得分最高的工作状态即为工人此时的施工状态。

Claims (1)

1.一种基于人工智能的工人施工状态监测方法，其特征在于，具体步骤如下：
步骤一、采集数据集
采集建筑工程中工人施工时的状态的视频作为数据集，每一个工人施工状态采集至少一百段视频；将视频做上三个类别标签，标签包含工人的行为、视频画面中工人附近的标志物和工人施工状态；其中，工人的行为包括蹲着、站立、俯身和抬手，视频画面中工人附近的标志物包括钢筋、墙、砖、梁、板和柱，工人施工状态包括砌砖、支模板和绑扎钢筋；将视频采用k折交叉法分为k个子数据集，然后将其中一个子数据集作为测试集进行模型评估，剩余k-1个作为训练集；
步骤二、提取特征
运用深度学习姿态估计框架Openpose对步骤一中的视频进行识别，使其输出视频中工人18个关节点坐标，关节点包括鼻子、左肘、左膝盖、颈部、左腕、左踝、右肩、右臀、右眼、右肘、右膝、左眼、右腕、右踝、右耳、左肩、左臀部和左耳朵，若部分身体关节点被遮挡，则无需识别；
步骤三、向量化处理
将步骤二产生的工人关节点坐标进行向量化处理，每个向量为相邻两个关节点坐标之差，代表一节骨架，被遮挡的骨架用零向量代替，一共产生17个2维向量；
步骤四、训练LSTM网络模型
搭建LSTM网络模型，输入层设置17个神经元对应17个二维向量，设置隐藏层以及与最后一层连接的Softmax分类器，并设定损失函数和优化器，用步骤三生成的向量及其所属标签训练搭建的LSTM模型，使其输出工人行为；
步骤五、训练Yolov3网络模型
搭建Yolov3网络模型，将步骤一中的数据集以及所属标签用对其进行训练，使其识别出视频画面中的标志物；
步骤六、制作施工状态数据集
将步骤四中输出的工人行为以及步骤五中识别的标志物作为新的特征，将工人施工状态作为标签，制作数据集；
步骤七、搭建xgboost网络模型
搭建xgboost网络模型，输入步骤六中的数据集进行训练，使用训练好的xgboost网络模型对视频画面中的行为及标志物进行打分，xgboost网络模型依据得分输出工人最可能的施工状态。
CN202010248170.7A 2020-04-01 2020-04-01 一种基于人工智能的工人施工状态监测方法 Active CN111368806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010248170.7A CN111368806B (zh) 2020-04-01 2020-04-01 一种基于人工智能的工人施工状态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010248170.7A CN111368806B (zh) 2020-04-01 2020-04-01 一种基于人工智能的工人施工状态监测方法

Publications (2)

Publication Number Publication Date
CN111368806A CN111368806A (zh) 2020-07-03
CN111368806B true CN111368806B (zh) 2023-06-13

Family

ID=71207741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010248170.7A Active CN111368806B (zh) 2020-04-01 2020-04-01 一种基于人工智能的工人施工状态监测方法

Country Status (1)

Country Link
CN (1) CN111368806B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111825A (zh) * 2021-04-22 2021-07-13 北京房江湖科技有限公司 施工监控方法和装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897670A (zh) * 2017-01-19 2017-06-27 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109933688A (zh) * 2019-02-13 2019-06-25 北京百度网讯科技有限公司 确定视频标注信息的方法、装置、设备和计算机存储介质
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN110688980A (zh) * 2019-10-12 2020-01-14 南京工程学院 基于计算机视觉的人体姿态分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489570B2 (en) * 2013-12-31 2016-11-08 Konica Minolta Laboratory U.S.A., Inc. Method and system for emotion and behavior recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897670A (zh) * 2017-01-19 2017-06-27 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法
CN108764066A (zh) * 2018-05-08 2018-11-06 南京邮电大学 一种基于深度学习的快件分拣操作规范检测方法
CN109933688A (zh) * 2019-02-13 2019-06-25 北京百度网讯科技有限公司 确定视频标注信息的方法、装置、设备和计算机存储介质
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN110688980A (zh) * 2019-10-12 2020-01-14 南京工程学院 基于计算机视觉的人体姿态分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于BSCPs-RF的人体关节点行为识别与预测;尹燕芳 等;机器人(第06期);全文 *

Also Published As

Publication number Publication date
CN111368806A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN112395945A (zh) 基于骨骼关节点的图卷积行为识别方法及装置
CN109145446B (zh) 一种基于模态应变能和卷积神经网络的结构损伤识别方法
Wang et al. Risk assessment for musculoskeletal disorders based on the characteristics of work posture
CN111368806B (zh) 一种基于人工智能的工人施工状态监测方法
CN113920326A (zh) 基于人体骨骼关键点检测的摔倒行为识别方法
CN111553229A (zh) 基于三维骨骼与lstm的工人动作识别方法及装置
CN107818563A (zh) 一种输电线路分裂导线间距空间测量与定位方法
CN105787521A (zh) 一种面向标签不平衡性的半监督众包标注数据整合方法
CN116207388A (zh) 一种基于数字孪生的人机协作动力锂电池拆解方法
CN113435293B (zh) 一种基于关节关系的人体姿态估计方法
CN113516232B (zh) 一种基于自注意力机制的穿墙雷达人体姿态重构方法
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
Liu et al. Intention estimation in physical human-robot interaction in construction: Empowering robots to gauge workers’ posture
CN114187653A (zh) 一种基于多流融合图卷积网络的行为识别方法
CN116665312B (zh) 一种基于多尺度图卷积神经网络的人机协作方法
CN117152844A (zh) 基于计算机视觉的高完整性工人施工姿态检测方法及系统
CN111539364B (zh) 基于特征融合和多分类器投票的多体感人体行为识别算法
CN113139432A (zh) 基于人体骨架和局部图像的工业包装行为识别方法
Rozaliev et al. Methods and applications for controlling the correctness of physical exercises performance
CN116129467A (zh) 一种变电运维人员姿态与行为以及工器具姿态的识别方法
CN106909212A (zh) 一种基于虚拟仿真的人机工程分析方法与系统
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及系统
CN114757293A (zh) 基于动作识别和人机距离的人机共融风险预警方法及系统
CN113327267A (zh) 一种基于单目rgb视频的动作评价方法
CN114548950A (zh) 一种隧道富水断层破碎带快速施工方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant