CN114842560B - 基于计算机视觉的建筑工地人员危险行为识别方法 - Google Patents

基于计算机视觉的建筑工地人员危险行为识别方法 Download PDF

Info

Publication number
CN114842560B
CN114842560B CN202210776516.XA CN202210776516A CN114842560B CN 114842560 B CN114842560 B CN 114842560B CN 202210776516 A CN202210776516 A CN 202210776516A CN 114842560 B CN114842560 B CN 114842560B
Authority
CN
China
Prior art keywords
key point
target person
image
detected
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210776516.XA
Other languages
English (en)
Other versions
CN114842560A (zh
Inventor
吴成锐
吴成福
李银凤
徐伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ryan Technology Co ltd
Original Assignee
Guangdong Ryan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ryan Technology Co ltd filed Critical Guangdong Ryan Technology Co ltd
Priority to CN202210776516.XA priority Critical patent/CN114842560B/zh
Publication of CN114842560A publication Critical patent/CN114842560A/zh
Application granted granted Critical
Publication of CN114842560B publication Critical patent/CN114842560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及基于计算机视觉的建筑工地人员危险行为识别方法。方法包括：获取当前时间段内各帧待检测图像中目标人员的各关键点和空间坐标；根据所述目标人员的各关键点，构建所述目标人员的人体图；根据所述目标人员对应的右脚关键点的空间坐标和左脚关键点的空间坐标，得到所述目标人员的最小边界距离；根据所述目标人员对应的各关键点的空间坐标，得到当前时间段内目标人员的重心影响量；根据各帧待检测图像中目标人员的人体图，构建时空人体图；根据时空人体图、重心影响量、所述最小边界距离和训练好的目标识别网络，得到目标人员的动作行为。本发明提高了对建筑工人的搬运行为进行判断的可靠性。

Description

基于计算机视觉的建筑工地人员危险行为识别方法
技术领域
本发明涉及数据处理技术领域，具体涉及基于计算机视觉的建筑工地人员危险行为识别方法。
背景技术
建筑行业是一种基础的建设行业，由于建筑工地的地形复杂，容易发生安全事故，因此建筑工人是一种高危职业；一方面在建筑工地中由于物体打击造成的人员死亡事故占了很大一部分，另一方面是有些建筑工人面对大量重的建筑材料时，可能会抱有侥幸心理，贪图方便，不进行搬运，而是直接向高于所在平面或低于所在平面的地方抛掷钢管水泥等建筑材料，进而可能砸到其他的建筑工人，引发严重的生命安全事故。因此，人们安排了监工来监督建筑工人，使建筑工人按照规定对建筑材料进行搬运，并对违反者进行警告。
考虑到监工难以时时刻刻的监视所有的建筑工人，并且观察具有主观性，难以对建筑工人的搬运行为进行准确的判断，可靠性较低。
发明内容
为了解决现有技术难以对建筑工人的搬运行为进行准确判断的问题，本发明的目的在于提供一种基于计算机视觉的建筑工地人员危险行为识别方法，所采用的技术方案具体如下：
本发明提供了一种基于计算机视觉的建筑工地人员危险行为识别方法包括以下步骤：
获取建筑工地中目标人员在当前时间段内的待分析视频片段；所述待分析视频片段包括连续帧待检测图像，所述待检测图像中每个像素点对应一个深度值；
获取各帧待检测图像中目标人员对应的各关键点和所述各关键点对应的特征向量；根据各帧待检测图像中目标人员对应的各关键点，构建各帧待检测图像中目标人员对应的人体图；所述特征向量由关键点对应的空间坐标和关键点编码构建得到；
根据各帧待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，得到各帧待检测图像中目标人员对应的最小边界距离；所述最小边界距离为目标人员与建筑物边界的最近距离；
根据各帧待检测图像中目标人员对应的各关键点对应的空间坐标，得到当前时间段内目标人员对应的平均重心高度；根据所述平均重心高度，得到当前时间段内目标人员对应的重心影响量；
根据各帧待检测图像中目标人员对应的人体图，构建待分析视频片段对应的时空人体图；根据所述时空人体图、所述重心影响量、各帧待检测图像中目标人员对应的最小边界距离和训练好的目标识别网络，得到当前时间段内目标人员的动作行为。
优选的，获取各帧待检测图像中目标人员对应的各关键点和所述各关键点对应的特征向量；根据各帧待检测图像中目标人员对应的各关键点，构建各帧待检测图像中目标人员对应的人体图，包括：
利用OpenPose模型分别对各帧待检测图像进行处理，得到各帧待检测图像中各目标人员对应的各关键点；
以各帧待检测图像的左下角的顶点为坐标原点，获取各帧待检测图像中目标人员对应的各关键点对应的空间坐标；所述空间坐标包括关键点在对应待检测图像中的横坐标、纵坐标和关键点对应的深度值；
对于任一待检测图像中的目标人员：
对该目标人员对应的各关键点进行One-Hot编码，得到该待检测图像中的目标人员对应的各关键点对应的关键点编码；将该待检测图像中的目标人员对应的各关键点对应的空间坐标和关键点编码进行拼接，构建该待检测图像中的目标人员对应的各关键点对应的特征向量；
将该目标人员对应的各关键点按照预设连接规则进行连接，得到该目标人员对应的人体图。
优选的，所述根据各帧待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，得到各帧待检测图像中目标人员对应的最小边界距离，包括：
对于任一待检测图像中的目标人员：
根据该待检测图像中的目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，计算得到该待检测图像中目标人员对应的定位点的空间坐标；
以该待检测图像中目标人员对应的定位点为原点，根据该待检测图像中各像素点的横坐标和纵坐标，对该待检测图像进行霍夫变换，得到对应的参数空间；
根据所述参数空间，获取该待检测图像中的所有直线和所有直线到原点的距离；
获取该待检测图像中每条直线上的各像素点以及各像素点对应的深度值；对于任一直线：判断该直线上各像素点对应的深度值之和是否大于等于预设的判断阈值，若大于等于，则判定该直线为建筑物边缘对应的直线，若小于，则判定该直线为承重柱对应的直线；
从各目标直线中选取出到原点的距离最小的目标直线，将该目标直线到原点的距离作为该待检测图像中目标人员对应的最小边界距离；所述目标直线为建筑物边缘对应的直线。
优选的，根据该待检测图像中的目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，计算得到该待检测图像中目标人员对应的定位点的空间坐标，包括：
计算该待检测图像中的目标人员对应的右脚关键点对应的横坐标和左脚关键点对应的横坐标的平均值，作为所述定位点对应的横坐标；
计算该待检测图像中的目标人员对应的右脚关键点对应的纵坐标和左脚关键点对应的纵坐标的平均值，作为所述定位点对应的纵坐标；
计算该待检测图像中的目标人员对应的右脚关键点对应的深度值和左脚关键点对应的深度值的平均值，作为所述定位点对应的深度值；
根据所述定位点对应的横坐标、纵坐标和深度值，得到所述定位点对应的空间坐标。
优选的，所述根据各帧待检测图像中目标人员对应的各关键点对应的空间坐标，得到当前时间段内目标人员对应的平均重心高度；根据所述平均重心高度，得到当前时间段内目标人员对应的重心影响量，包括：
对于任一待检测图像中目标人员：计算该待检测图像中目标人员对应的各关键点对应的横坐标的均值，作为该待检测图像中目标人员对应的重心的横坐标；计算该待检测图像中目标人员对应的各关键点对应的纵坐标的均值，作为该待检测图像中目标人员对应的重心的纵坐标；计算该待检测图像中目标人员对应的各关键点对应的深度值的均值，作为该待检测图像中目标人员对应的重心的深度值；根据所述重心的横坐标、纵坐标和深度值，得到所述重心的空间坐标；
根据各帧待检测图像中目标人员对应的重心的空间坐标和各帧待检测图像中目标人员对应的定位点的空间坐标，计算得到各帧待检测图像中目标人员对应的重心的高度；
根据各帧待检测图像中目标人员对应的重心的高度，构建重心变化函数，所述重心变化函数的自变量为帧数；根据所述重心变化函数，计算所述重心变化函数的样本熵；
根据所述重心变化函数，计算当前时间段内目标人员的平均重心高度；
计算当前时间段内目标人员的平均重心高度与所述上一个时间段内目标人员对应的平均重心高度的差值的绝对值，记为差异程度；
根据所述重心变化函数的样本熵和所述差异程度，计算当前时间段内目标人员对应的重心影响量；
所述根据重心变化函数，计算当前时间段内目标人员的平均重心高度的公式为：
Figure 621012DEST_PATH_IMAGE001
其中，
Figure 958584DEST_PATH_IMAGE002
为当前时间段内目标人员的平均重心高度，
Figure 775230DEST_PATH_IMAGE003
为所述重心变化函数，
Figure 777821DEST_PATH_IMAGE004
为当前时间段包含的帧数。
优选的，根据所述重心变化函数的样本熵和所述差异程度，计算当前时间段内目标人员对应的重心影响量的公式为：
Figure 878370DEST_PATH_IMAGE005
其中，
Figure 370531DEST_PATH_IMAGE006
为当前时间段内目标人员对应的重心影响量，
Figure 362889DEST_PATH_IMAGE007
为所述重心变化函数的样本熵，
Figure 231488DEST_PATH_IMAGE008
为所述差异程度，
Figure 140538DEST_PATH_IMAGE009
为比例参数。
优选的，根据各帧待检测图像中目标人员对应的人体图，构建待分析视频片段对应的时空人体图，包括：
获取各帧待检测图像中目标人员对应的各关键点的序号；
按照时间顺序将当前时间段内各时刻下目标人员对应的人体图中的序号相同的关键点相连，得到待分析视频片段对应的时空人体图；所述各时刻下目标人员为各帧待检测图像中的目标人员，一个时刻对应一帧待检测图像。
优选的，根据所述时空人体图、所述重心影响量、各帧待检测图像中目标人员对应的最小边界距离和训练好的目标识别网络，得到当前时间段内目标人员的动作行为，包括：
对于时空人体图中任一时刻下目标人员对应的任一关键点：根据当前时间段对应的重心影响量，得到该关键点对应的空间宽度；根据该时刻对应的待检测图像中目标人员对应的最小边界距离，得到该关键点对应的时间宽度；根据该关键点对应的空间宽度，获取该关键点对应的空间邻域集合；根据该关键点对应的时间宽度，获取该关键点对应的时间邻域集合；根据该关键点对应的空间邻域集合和时间邻域集合，得到该关键点对应的邻域集合；
将当前时间段对应的时空人体图、时空人体图中各时刻对应的人体图中各关键点对应的时间宽度和各关键点对应的空间宽度输入到训练好的目标识别网络中，得到当前时间段内目标人员的动作行为；
所述将当前时间段对应的时空人体图、时空人体图中各时刻对应的人体图中各关键点对应的时间宽度和各关键点对应的空间宽度输入到训练好的目标识别网络中，得到当前时间段内目标人员的动作行为，包括：
所述目标识别网络包括注意力机制和多层感知器；
对于注意力机制：计算输入到网络中的时空人体图中各时刻对应的人体图中各关键点与对应的邻域集合中各关键点之间的权重；根据时空人体图中各时刻对应的人体图中各关键点与对应的邻域集合中各关键点之间的权重，对输入的时空人体图中各时刻对应的人体图中各关键点对应的特征向量进行聚合处理，得到时空人体图中各时刻对应的人体图中各关键点对应的目标特征向量；
对于多层感知器：按照时空人体图中各时刻对应的人体图中各关键点的序号的排列顺序，将各时刻对应的人体图中各关键点对应的目标特征向量依次拼接在一起，得到各时刻对应的片段向量；将各时刻对应的片段向量按照时间顺序进行首尾拼接，得到当前时间段对应的综合向量；将所述综合向量输入到多层感知器中，得到当前时间段内目标人员的动作行为；所述动作行为包括正常搬运和违规抛物。
优选的，所述根据当前时间段对应的重心影响量，得到该关键点对应的空间宽度的计算公式为：
Figure 790219DEST_PATH_IMAGE010
其中，
Figure 581457DEST_PATH_IMAGE011
为该关键点对应的空间宽度，
Figure 942163DEST_PATH_IMAGE012
为空间宽度上限，
Figure 502457DEST_PATH_IMAGE006
为当前时间段内目标人员对应的重心影响量，
Figure 320109DEST_PATH_IMAGE013
为第一比例系数，
Figure 598644DEST_PATH_IMAGE014
为取整函数；
所述根据该时刻对应的待检测图像中目标人员对应的最小边界距离，得到该关键点对应的时间宽度的计算公式为：
Figure 559778DEST_PATH_IMAGE015
其中，
Figure 974579DEST_PATH_IMAGE016
为该关键点对应的时间宽度，
Figure 182706DEST_PATH_IMAGE017
为该时刻对应的目标人员对应的最小边界距离，
Figure 935155DEST_PATH_IMAGE018
为第二比例系数，
Figure 418089DEST_PATH_IMAGE019
为时间宽度上限。
优选的，所述该关键点对应的空间邻域集合包括：以该关键点对应的空间宽度为第一邻域范围，在该时刻对应的人体图中选取该关键点的第一邻域范围内的各关键点作为该关键点对应的空间邻域集合；所述该关键点对应的时间邻域集合包括：以该关键点对应的时间宽度为第二邻域范围，在当前时间段内选取该时刻的第一邻域范围内各时刻对应的人体图中与该关键点的序号和该关键点对应的空间邻域集合中的各关键点的序号相同的各关键点作为该关键点对应的时间邻域集合。
本发明具有如下有益效果：
本发明首先获取建筑工地中目标人员在当前时间段内的待分析视频片段和待分析视频片段中各帧待检测图像中目标人员对应的各关键点和所述各关键点对应的空间坐标；根据获取的数据，本发明根据各帧待检测图像中目标人员对应的各关键点，构建各帧待检测图像中目标人员对应的人体图；然后根据各帧待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，得到各帧待检测图像中目标人员对应的最小边界距离，并根据各帧待检测图像中目标人员对应的各关键点对应的空间坐标，得到当前时间段内目标人员对应的重心影响量；最后根据各帧待检测图像中目标人员对应的人体图，构建待分析视频片段对应的时空人体图，进而根据所述时空人体图、所述重心影响量、各帧待检测图像中目标人员对应的最小边界距离和训练好的目标识别网络，得到当前时间段内目标人员的动作行为。本发明引入了计算机视觉技术代替监工来识别建筑工人的行为，克服了监工对建筑工人的搬运行为进行判断存在主观性的问题，提高了对建筑工人的搬运行为进行判断的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明提供的一种基于计算机视觉的建筑工地人员危险行为识别方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功能效果，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的建筑工地人员危险行为识别方法进行详细说明如下。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于计算机视觉的建筑工地人员危险行为识别方法的具体方案。
基于计算机视觉的建筑工地人员危险行为识别方法实施例：
如图1所示，本实施例的一种基于计算机视觉的建筑工地人员危险行为识别方法包括以下步骤：
步骤S1，获取建筑工地中目标人员在当前时间段内的待分析视频片段；所述待分析视频片段包括连续帧待检测图像。
考虑到在建筑工地中监工难以时时刻刻的监视所有的建筑工人，并且由于观察具有主观性，难以对建筑工人的搬运行为进行准确的判断，可靠性较低；本实施例引入了计算机视觉技术代替监工来识别建筑工人的行为，判断施工现场建筑工人是否存在违规抛掷建筑材料的行为，进而对由于事故造成的人身伤害的情况进行预防。
由于建筑工人的行为较为复杂，日常也有很多搬运的动作，因此对建筑工人的行为识别的过程也是比较困难的。本实施例利用计算机视觉和人工智能技术来解决以上问题。
本实施例在易发生违规抛物的场地中安装高分辨率RGBD相机，以实时录制工地的视频，其帧率为30FPS，即每秒有30帧图像，每帧图像中的每个像素点对应一个深度值；本实施例在对工地进行视频录制时，每隔2秒截取一个视频片段，然后对视频片段中的人员的行为进行分析。本实施例以当前时间段内的视频片段中任意一个建筑人员为例进行分析，所述当前时间段为当前时刻之前2秒的时间段，本实施例将当前时间段内的视频片段记为待检测视频片段，将待检测视频片段中的连续帧图像记为待检测图像，将所述任意一个建筑人员记为目标人员。
步骤S2，获取各帧待检测图像中目标人员对应的各关键点和所述各关键点对应的特征向量；根据各帧待检测图像中目标人员对应的各关键点，构建各帧待检测图像中目标人员对应的人体图。
本实施例以待检测图像的左下角的顶点为坐标原点构建三维直角坐标系，其中，x轴为图像的水平方向（即横坐标），y轴为图像的竖直方向（即纵坐标），z轴为垂直于图像的方向，z轴表示的各像素点对应的深度值，进而可以得到待检测图像中各像素点对应的三维空间坐标（记为空间坐标），以得到对应的三维图像。
本实施例为了对待分析视频片段中目标人员的行为进行识别，本实施例首先利用OpenPose模型分别对待分析视频片段对应的各帧待检测图像进行处理，得到各帧待检测图像中各目标人员对应的各关键点；目标人员对应的各关键点包括：鼻子关键点
Figure 969287DEST_PATH_IMAGE020
，脖子关键点
Figure 879474DEST_PATH_IMAGE021
，右肩膀关键点
Figure 319552DEST_PATH_IMAGE022
，右手肘关键点
Figure 871756DEST_PATH_IMAGE023
，右手手腕关键点
Figure 11881DEST_PATH_IMAGE024
，右手中指指尖关键点
Figure 561811DEST_PATH_IMAGE025
，左肩膀关键点
Figure 36655DEST_PATH_IMAGE026
，左手肘关键点
Figure 113589DEST_PATH_IMAGE027
，左手手腕关键点
Figure 623067DEST_PATH_IMAGE028
，左手中指指尖关键点
Figure 94631DEST_PATH_IMAGE029
，右胯关键点
Figure 56771DEST_PATH_IMAGE030
、右膝关键点
Figure 934466DEST_PATH_IMAGE031
、右脚关键点
Figure 32872DEST_PATH_IMAGE032
、左胯关键点
Figure 472075DEST_PATH_IMAGE033
、左膝关键点
Figure 921511DEST_PATH_IMAGE034
、左脚关键点
Figure 492911DEST_PATH_IMAGE035
、右眼关键点
Figure 711403DEST_PATH_IMAGE036
、左眼关键点
Figure 774037DEST_PATH_IMAGE037
、右耳关键点
Figure 694457DEST_PATH_IMAGE038
、左耳关键点
Figure 930266DEST_PATH_IMAGE039
，共20个关键点（即一张待检测图像中目标人员对应20个关键点），上述顺序为各关键点的排列顺序，其角标为对应关键点的序号，例如右脚关键点
Figure 19576DEST_PATH_IMAGE032
，则右脚关键点是序号为13的关键点；OpenPose模型中的相关组件可以解决关键点的归属问题，得到属于目标人员的各关键点；所述OpenPose模型为现有技术，在此就不再赘述。
至此本实施例能够得到各帧待检测图像中目标人员对应的各关键点，以及各关键点对应的空间坐标，所述各关键点对应的空间坐标为各关键点在对应待检测图像中的对应的像素点的空间坐标。
对于任一待检测图像中的目标人员：对该待检测图像中的目标人员对应的各关键点进行One-Hot编码，得到该待检测图像中的目标人员对应的各关键点对应的编码，记为关键点编码，例如鼻子关键点
Figure 49849DEST_PATH_IMAGE020
对应的关键点编码为(1,0,0,…,0)；所述关键点编码能够反映对应关键点为哪一个身体部位，以便后续进行关键点的连接。本实施例中所述One-Hot编码为现有技术，在此就不再赘述。
本实施例根据各帧待检测图像中的目标人员对应的各关键点对应的空间坐标和关键点编码，构建各帧待检测图像中的目标人员对应的各关键点对应的特征向量，所述特征向量是由对应的空间坐标和关键点编码拼接得到的；所述特征向量用来作为后续的网络的输入。
本实施例根据各帧待检测图像中的目标人员对应的各关键点，构建各帧待检测图像中的目标人员对应的人体图；对于任一待检测图像中的目标人员：本实施例按照预设连接规则将该待检测图像中的目标人员对应的各关键点进行连接（即根据人体不同部位的位置来进行连接），即预设连接规则为：
Figure 460495DEST_PATH_IMAGE040
，
Figure 968837DEST_PATH_IMAGE041
，
Figure 115916DEST_PATH_IMAGE042
，
Figure 317090DEST_PATH_IMAGE043
，
Figure 212102DEST_PATH_IMAGE044
，
Figure 789714DEST_PATH_IMAGE045
，
Figure 40567DEST_PATH_IMAGE046
，
Figure 428954DEST_PATH_IMAGE047
，
Figure 561995DEST_PATH_IMAGE048
，
Figure 929916DEST_PATH_IMAGE049
，
Figure 35275DEST_PATH_IMAGE050
，
Figure 594564DEST_PATH_IMAGE051
，
Figure 949322DEST_PATH_IMAGE052
，
Figure 118004DEST_PATH_IMAGE053
，
Figure 874607DEST_PATH_IMAGE054
，
Figure 339218DEST_PATH_IMAGE055
，
Figure 915693DEST_PATH_IMAGE056
，
Figure 373219DEST_PATH_IMAGE057
，
Figure 439788DEST_PATH_IMAGE058
；将该待检测图像中的目标人员对应的各关键点进行连接后，得到该待检测图像中的目标人员对应的人体图；所述人体图中的每个关键点对应一个特征向量。
步骤S3，根据各帧待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，得到各帧待检测图像中目标人员对应的最小边界距离；所述最小边界距离为目标人员与建筑物边界的最近距离。
考虑到违规抛掷建筑材料的动作的特点是执行动作的建筑工人需要使用一定的力量才能进行抛掷，并且执行动作的地点一般在建筑结构的边缘；因此本实施例分别对各帧待检测图像中目标人员与建筑物边缘的距离进行分析，具体的：
对于任一待检测图像中的目标人员：
首先获取该待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标；根据所述右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，计算得到该待检测图像中目标人员对应的定位点的空间坐标，所述定位点用来确定该待检测图像中目标人员所处位置的点；所述定位点的空间坐标为：
Figure 590147DEST_PATH_IMAGE059
其中，
Figure 935809DEST_PATH_IMAGE060
为该待检测图像中目标人员对应的定位点的空间坐标，
Figure 931447DEST_PATH_IMAGE061
为该待检测图像中目标人员对应的定位点的横坐标，
Figure 865905DEST_PATH_IMAGE062
为该待检测图像中目标人员对应的定位点的纵坐标，
Figure 702011DEST_PATH_IMAGE063
为该待检测图像中目标人员对应的定位点的深度值，
Figure 253078DEST_PATH_IMAGE064
为该待检测图像中目标人员对应的右脚关键点的横坐标，
Figure 271981DEST_PATH_IMAGE065
为该待检测图像中目标人员对应的左脚关键点的横坐标，
Figure 857683DEST_PATH_IMAGE066
为该待检测图像中目标人员对应的右脚关键点的纵坐标，
Figure 324744DEST_PATH_IMAGE067
为该待检测图像中目标人员对应的左脚关键点的纵坐标，
Figure 894265DEST_PATH_IMAGE068
为该待检测图像中目标人员对应的右脚关键点的深度值，
Figure 700547DEST_PATH_IMAGE069
为该待检测图像中目标人员对应的左脚关键点的深度值；则该待检测图像中目标人员对应的定位点的空间坐标为：
Figure 157067DEST_PATH_IMAGE070
。
然后本实施例将三维图像转换为二维图像（即仅关注该待检测图像中各像素点的横坐标和纵坐标）；使用霍夫直线拟合该目标人员所在的建筑物的边界，进而得到该目标人员与建筑物边缘的最近距离（记为最小边缘距离），具体的：
根据该待检测图像中各像素点的横坐标和纵坐标，对该待检测图像进行霍夫变换，转化为参数空间；在参数空间中，以该待检测图像中目标人员对应的定位点
Figure 23392DEST_PATH_IMAGE060
作为参数空间坐标系的原点，且图像中每个像素点都转化成了一条直线；然后根据霍夫变换中的算法得到图像中的所有直线，每条直线表示为
Figure 798319DEST_PATH_IMAGE071
，其中，
Figure 470609DEST_PATH_IMAGE072
为直线到原点的距离，
Figure 234166DEST_PATH_IMAGE073
为方向角。
进一步地，获取该待检测图像中每条直线上的各像素点以及各像素点对应的深度值；根据该待检测图像中每条直线上的各像素点对应的深度值判断直线是否为承重柱；考虑到图像中承重柱对应的直线上的像素点的深度值基本上是相同的，因此对于任一直线：判断该直线上各像素点对应的深度值之和是否大于等于预设的判断阈值，若大于等于，则判定该直线为建筑物边缘对应的直线，若小于，则判定该直线为承重柱对应的直线。所述预设的判断阈值的大小根据实际需要进行设置。
判断一条直线是否为建筑物中垂直的承重柱对应的直线，便于后续将其忽视，因为违规抛物行为考虑的是建筑物边缘的直线，而不是承重柱的直线；至此，本实施例得到了该待检测图像中建筑物边缘对应的直线，记为目标直线；本实施例从各目标直线中选取
Figure 818862DEST_PATH_IMAGE072
最小的目标直线（即到原点的距离最小的目标直线），将该目标直线对应的
Figure 300659DEST_PATH_IMAGE072
作为该待检测图像中目标人员对应的最小边界距离。
至此本实施例能够得到各帧待检测图像中目标人员对应的最小边界距离。
步骤S4，根据各帧待检测图像中目标人员对应的各关键点对应的空间坐标，得到当前时间段内目标人员对应的平均重心高度；根据所述平均重心高度，得到当前时间段内目标人员对应的重心影响量。
考虑到当建筑工人进行建筑材料搬运时，由于手持重物会影响建筑工人的行走速度，并且由于建筑材料的重量不同，建筑工人的重心也会发生不同的变化，即在建筑工人的重心发生变化的时间点，往往是由于建筑材料的重量发生了变化；因此在建筑工人搬运或抛掷的过程中必然会导致重心位置的变化。
接下来，本实施例根据各帧待检测图像中目标人员的重心的位置，得到当前时间段内目标人员对应的重心影响量；所述重心影响量反映了当前时间段内目标人员的重心的变化情况，具体的：
首先获取各帧待检测图像中目标人员对应的重心的空间坐标，对于任一待检测图像中目标人员，该待检测图像中目标人员对应的重心的空间坐标为：
Figure 497678DEST_PATH_IMAGE074
其中，
Figure 178058DEST_PATH_IMAGE075
为该待检测图像中目标人员对应的重心的空间坐标，
Figure 120607DEST_PATH_IMAGE076
为该待检测图像中目标人员对应的重心的横坐标，
Figure 637170DEST_PATH_IMAGE077
为该待检测图像中目标人员对应的重心的纵坐标，
Figure 588945DEST_PATH_IMAGE078
为该待检测图像中目标人员对应的重心的深度值，
Figure 107520DEST_PATH_IMAGE079
为该待检测图像中目标人员对应的序号为i的关键点对应的横坐标，
Figure 548866DEST_PATH_IMAGE080
为该待检测图像中目标人员对应的序号为i的关键点对应的纵坐标，
Figure 287146DEST_PATH_IMAGE081
为该待检测图像中目标人员对应的序号为i的关键点对应的深度值；即该待检测图像中目标人员对应的重心的空间坐标为：
Figure 777033DEST_PATH_IMAGE082
。
然后，本实施例根据各帧待检测图像中目标人员对应的重心的空间坐标和各帧待检测图像中目标人员对应的定位点的空间坐标，计算得到各帧待检测图像中目标人员对应的重心的高度，对于任一待检测图像中目标人员对应的重心的高度，即：
Figure 166426DEST_PATH_IMAGE083
其中，
Figure 30870DEST_PATH_IMAGE084
为该待检测图像中目标人员对应的重心的高度。至此，本实施例能够得到各帧待检测图像中目标人员对应的重心的高度。
本实施例根据各帧待检测图像中目标人员对应的重心的高度，得到随帧数变化而变化的重心变化函数
Figure 240135DEST_PATH_IMAGE003
，即所述重心变化函数的自变量为帧数；根据所述重心变化函数
Figure 284445DEST_PATH_IMAGE003
，计算所述重心变化函数的样本熵，所述样本熵能够反映重心高度变化的无序程度，样本熵越大，说明在当前时间段内重心变化的越无序，重心变化越不稳定；样本熵越小，说明在当前时间段内重心变化的越有序，重心变化越稳定；本实施例中计算样本熵的过程为公知技术，在此就不再赘述。
根据重心变化函数，计算当前时间段内目标人员的平均重心高度，即：
Figure 528345DEST_PATH_IMAGE001
其中，
Figure 295181DEST_PATH_IMAGE002
为当前时间段内目标人员的平均重心高度，m为当前时间段对应的帧数，本实施例中当前时间段对应60帧待检测图像，即m=60。
同理，本实施例根据上述过程，获取当前时间段的上一个时间段内目标人员对应的平均重心高度
Figure 522900DEST_PATH_IMAGE085
；计算当前时间段内目标人员的平均重心高度与所述上一个时间段内目标人员对应的平均重心高度的差值的绝对值，记为差异程度。
最后本实施例根据所述重心变化函数的样本熵和所述差异程度，计算当前时间段内目标人员对应的重心影响量，即：
Figure 902060DEST_PATH_IMAGE005
其中，
Figure 466DEST_PATH_IMAGE006
为当前时间段内目标人员对应的重心影响量，
Figure 892199DEST_PATH_IMAGE007
为所述重心变化函数的样本熵，
Figure 124990DEST_PATH_IMAGE008
为所述差异程度，
Figure 760371DEST_PATH_IMAGE009
为比例参数，所述比例参数用来衡量
Figure 995174DEST_PATH_IMAGE007
和
Figure 854546DEST_PATH_IMAGE008
的比例，
Figure 774966DEST_PATH_IMAGE009
的取值根据实际需要进行设置。
至此本实施例得到了当前时间段内目标人员对应的重心影响量。
步骤S5，根据各帧待检测图像中目标人员对应的人体图，构建待分析视频片段对应的时空人体图；根据所述时空人体图、所述重心影响量、各帧待检测图像中目标人员对应的最小边界距离和训练好的目标识别网络，得到当前时间段内目标人员的动作行为。
为了对待分析视频片段中目标人员的行为进行分析，本实施例根据各帧待检测图像中目标人员对应的人体图，来构建待分析视频片段对应时空人体图，具体的：
当前时间段对应的每一帧对应当前时间段内的一个时刻，每一个时刻对应一个待检测图像中目标人员的人体图；即每一个时刻对应一个该时刻下目标人员的人体图。
本实施例按照时间顺序将当前时间段内各时刻下目标人员对应的人体图中的序号相同的关键点相连，进而得到待分析视频片段对应的时空人体图。
本实施例根据步骤S3和步骤S4得到了的各帧待检测图像中目标人员对应的最小边界距离和当前时间段内目标人员对应的重心影响量，自适应地构建时空人体图中每个时刻对应的人体图中各关键点对应的邻域集合，所述邻域集合包括空间邻域集合和时间邻域集合，具体的：
对于时空人体图中任一时刻下目标人员对应的任一关键点：
第一，根据当前时间段对应的重心影响量，得到该关键点对应的空间宽度。本实施例将该时刻对应的人体图中与该关键点直接相连的关键点称为该关键点对应的一阶关键点；将该时刻对应的人体图中不包括一阶关键点的剩下的各关键点中凡是与一阶关键点相连的关键点称为该关键点对应的二阶关键点；将该时刻对应的人体图中除去该关键点对应的一阶关键点和二阶关键点外的其他关键点中凡是与二阶关键点相连的关键点称为该关键点对应的三阶关键点，以此类推；该关键点对应的所有阶关键点属于该时刻对应的人体图中的各关键点，不超出该人体图。本实施例将该关键点对应的空间宽度作为第一邻域范围，用来确定该关键点对应的空间邻域集合，例如，若该关键点对应的空间宽度为2（即此时第一邻域范围为2），则该关键点对应的空间邻域集合包括该关键点对应的各一阶关键点和各二阶关键点（即在该时刻对应的人体图中该关键点的第一邻域范围内的各关键点）；若该关键点对应的空间宽度为3（即此时第一邻域范围为3），则该关键点对应的空间邻域集合包括该关键点对应的各一阶关键点、各二阶关键点和各三阶关键点（即在该时刻对应的人体图中该关键点的第一邻域范围内的各关键点）。本实施例中该关键点对应的空间宽度的计算公式为：
Figure 479617DEST_PATH_IMAGE010
其中，
Figure 568927DEST_PATH_IMAGE011
为该关键点对应的空间宽度，
Figure 802462DEST_PATH_IMAGE012
为空间宽度上限，
Figure 224827DEST_PATH_IMAGE006
为当前时间段内目标人员对应的重心影响量，
Figure 998748DEST_PATH_IMAGE013
为第一比例系数，
Figure 208144DEST_PATH_IMAGE014
为取整函数（向下取整）；
Figure 143739DEST_PATH_IMAGE013
的取值根据实际需要来设置；
Figure 38751DEST_PATH_IMAGE012
的大小应与该关键点对应的最高阶关键点的阶数相同，所以
Figure 819625DEST_PATH_IMAGE086
的大小需根据实际需要来设置；根据上述公式，G越大，说明当前时间段内目标人员对应的重心越不稳定，越需要增加空间邻域的感知范围。
第二，根据该时刻对应的待检测图像中目标人员对应的最小边界距离，得到该关键点对应的时间宽度。本实施例将该关键点对应的时间宽度作为该时刻的第二邻域范围T，选取当前时间段内该时刻之前的T个时刻对应的人体图中与该关键点的序号和该关键点对应的空间邻域集合中的各关键点的序号相同的各关键点，选取当前时间段内该时刻之后的T个时刻对应的人体图中与该关键点的序号和该关键点对应的空间邻域集合中的各关键点的序号相同的各关键点，作为该关键点对应的时间邻域集合（若该时刻之前或之后不足T个时刻，则将当前时间段内该时刻之前或之后的所有时刻对应的人体图中获取该关键点对应的时间邻域集合），即当前时刻之前的T个时刻时间和之后的T个时刻作为该时刻的第二邻域范围；本实施例中该关键点对应的时间宽度的计算公式为：
Figure 867216DEST_PATH_IMAGE087
其中，
Figure 255603DEST_PATH_IMAGE016
为该关键点对应的时间宽度，
Figure 326327DEST_PATH_IMAGE017
为该时刻对应的目标人员对应的最小边界距离（即该帧待检测图像中目标人员对应的最小边界距离），
Figure 694248DEST_PATH_IMAGE018
为第二比例系数，
Figure 596345DEST_PATH_IMAGE019
为时间宽度上限；本实施例中
Figure 890054DEST_PATH_IMAGE018
根据实际需要来设置；
Figure 510391DEST_PATH_IMAGE088
为可取的最大时间宽度，其大小需根据当前时间段包含的各时刻的数量（即帧数）来设置；根据上述公式，最小边界距离越小，说明目标人员与建筑物边缘越接近，应增加时间邻域的范围。
至此本实施例能够得到时空人体图中各时刻对应的人体图中各关键点对应的空间邻域集合和时间邻域集合，进而得到时空人体图中各时刻对应的人体图中的各关键点对应的邻域集合。本实施例根据重心影响量、各帧待检测图像中目标人员对应的最小边界距离来调节时空人体图中各关键点的感知域，将越可能是违规抛物的行为进行更深层次的聚合，越不可能是违规抛物的行为进行少的聚合，以此降低计算量。
然后本实施例将当前时间段对应的时空人体图、时空人体图中各时刻对应的人体图中各关键点对应的时间宽度和各关键点对应的空间宽度输入到训练好的目标识别网络中，以得到当前时间段内目标人员的动作行为。所述目标识别网络为多层神经网络，包括注意力机制（GAT）和多层感知器（MLP），其注意力网络的输出为多层感知器的输入。
本实施例利用注意力机制对输入的时空人体图中各时刻对应的人体图中各关键点对应的特征向量进行多次的聚合处理，最终得到时空人体图中各时刻对应的人体图中各关键点对应的目标特征向量，具体的：
本实施例首先计算时空人体图中各时刻对应的人体图中各关键点与对应的邻域集合中各关键点之间的权重；然后根据时空人体图中各时刻对应的人体图中各关键点与对应的邻域集合中各关键点之间的权重，对输入的时空人体图中各时刻对应的人体图中各关键点对应的特征向量进行多次的聚合处理，聚合完成后，得到时空人体图中各时刻对应的人体图中各关键点对应的目标特征向量；本实施例中聚合次数需根据实际需要来决定。本实施例中所述邻域集合根据输入到网络中的各关键对应的时间宽度和空间宽度来确定；所述注意力机制为现有技术，其计算权重和聚合的过程在此就不再详细赘述。
接下来本实施例按照时空人体图中各时刻对应的人体图中各关键点的序号的排列顺序，将各时刻对应的人体图中各关键点对应的目标特征向量依次拼接在一起，得到各时刻对应的片段向量；然后再将各时刻对应的片段向量按照时间顺序进行首尾拼接，得到当前时间段对应的综合向量。
最后将注意力机制输出得到的当前时间段对应的综合向量作为多层感知器MLP的输入，进而基于该多层感知器MLP输出目标人员在当前时间段内的动作行为，所述动作行为包括正常搬运、违规抛物、其它，具体可根据实际需要来调整。
本实施例训练目标识别网络的训练过程为：
首先使用MMact公开数据集进行无监督的预训练，然后对预训练过的目标识别网络进行微调，即：录制真人模拟正常搬运、违规抛物和日常工作等行为的视频片段，然后利用本实施例的处理方法对视频片段进行处理，进而获取对目标识别网络进行训练的训练样本；训练目标识别网络的损失函数为交叉熵损失函数，优化器为Adam，具体训练过程为现有技术，在此就不再赘述。
对于训练好的目标识别网络能够准确识别建筑工人违规抛掷建筑材料的动作行为，若识别到建筑人员的行为是危险行为，则及时提醒管理人员进行制止，以保证有关建筑工人的安全。
本实施例首先获取建筑工地中目标人员在当前时间段内的待分析视频片段和待分析视频片段中各帧待检测图像中目标人员对应的各关键点和所述各关键点对应的空间坐标；根据获取的数据，本实施例根据各帧待检测图像中目标人员对应的各关键点，构建各帧待检测图像中目标人员对应的人体图；然后根据各帧待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，得到各帧待检测图像中目标人员对应的最小边界距离，并根据各帧待检测图像中目标人员对应的各关键点对应的空间坐标，得到当前时间段内目标人员对应的重心影响量；最后根据各帧待检测图像中目标人员对应的人体图，构建待分析视频片段对应的时空人体图，进而根据所述时空人体图、所述重心影响量、各帧待检测图像中目标人员对应的最小边界距离和训练好的目标识别网络，得到当前时间段内目标人员的动作行为。本实施例引入了计算机视觉技术代替监工来识别建筑工人的行为，克服了监工对建筑工人的搬运行为进行判断存在主观性的问题，提高了对建筑工人的搬运行为进行判断的可靠性。
需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于计算机视觉的建筑工地人员危险行为识别方法，其特征在于，该方法包括以下步骤：
获取建筑工地中目标人员在当前时间段内的待分析视频片段；所述待分析视频片段包括连续帧待检测图像，所述待检测图像中每个像素点对应一个深度值；
获取各帧待检测图像中目标人员对应的各关键点和所述各关键点对应的特征向量；根据各帧待检测图像中目标人员对应的各关键点，构建各帧待检测图像中目标人员对应的人体图；所述特征向量由关键点对应的空间坐标和关键点编码构建得到；
根据各帧待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，得到各帧待检测图像中目标人员对应的最小边界距离；所述最小边界距离为目标人员与建筑物边界的最近距离；
根据各帧待检测图像中目标人员对应的各关键点对应的空间坐标，得到当前时间段内目标人员对应的平均重心高度；根据所述平均重心高度，得到当前时间段内目标人员对应的重心影响量；
根据各帧待检测图像中目标人员对应的人体图，构建待分析视频片段对应的时空人体图；根据所述时空人体图、所述重心影响量、各帧待检测图像中目标人员对应的最小边界距离和训练好的目标识别网络，得到当前时间段内目标人员的动作行为；
获取各帧待检测图像中目标人员对应的各关键点和所述各关键点对应的特征向量；根据各帧待检测图像中目标人员对应的各关键点，构建各帧待检测图像中目标人员对应的人体图，包括：
利用OpenPose模型分别对各帧待检测图像进行处理，得到各帧待检测图像中各目标人员对应的各关键点；
以各帧待检测图像的左下角的顶点为坐标原点，获取各帧待检测图像中目标人员对应的各关键点对应的空间坐标；所述空间坐标包括关键点在对应待检测图像中的横坐标、纵坐标和关键点对应的深度值；
对于任一待检测图像中的目标人员：
对该目标人员对应的各关键点进行One-Hot编码，得到该待检测图像中的目标人员对应的各关键点对应的关键点编码；将该待检测图像中的目标人员对应的各关键点对应的空间坐标和关键点编码进行拼接，构建该待检测图像中的目标人员对应的各关键点对应的特征向量；
将该目标人员对应的各关键点按照预设连接规则进行连接，得到该目标人员对应的人体图；
所述根据各帧待检测图像中目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，得到各帧待检测图像中目标人员对应的最小边界距离，包括：
对于任一待检测图像中的目标人员：
根据该待检测图像中的目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，计算得到该待检测图像中目标人员对应的定位点的空间坐标；
以该待检测图像中目标人员对应的定位点为原点，根据该待检测图像中各像素点的横坐标和纵坐标，对该待检测图像进行霍夫变换，得到对应的参数空间；
根据所述参数空间，获取该待检测图像中的所有直线和所有直线到原点的距离；
获取该待检测图像中每条直线上的各像素点以及各像素点对应的深度值；对于任一直线：判断该直线上各像素点对应的深度值之和是否大于等于预设的判断阈值，若大于等于，则判定该直线为建筑物边缘对应的直线，若小于，则判定该直线为承重柱对应的直线；
从各目标直线中选取出到原点的距离最小的目标直线，将该目标直线到原点的距离作为该待检测图像中目标人员对应的最小边界距离；所述目标直线为建筑物边缘对应的直线；
所述根据各帧待检测图像中目标人员对应的各关键点对应的空间坐标，得到当前时间段内目标人员对应的平均重心高度；根据所述平均重心高度，得到当前时间段内目标人员对应的重心影响量，包括：
对于任一待检测图像中目标人员：计算该待检测图像中目标人员对应的各关键点对应的横坐标的均值，作为该待检测图像中目标人员对应的重心的横坐标；计算该待检测图像中目标人员对应的各关键点对应的纵坐标的均值，作为该待检测图像中目标人员对应的重心的纵坐标；计算该待检测图像中目标人员对应的各关键点对应的深度值的均值，作为该待检测图像中目标人员对应的重心的深度值；根据所述重心的横坐标、纵坐标和深度值，得到所述重心的空间坐标；
根据各帧待检测图像中目标人员对应的重心的空间坐标和各帧待检测图像中目标人员对应的定位点的空间坐标，计算得到各帧待检测图像中目标人员对应的重心的高度；
根据各帧待检测图像中目标人员对应的重心的高度，构建重心变化函数，所述重心变化函数的自变量为帧数；根据所述重心变化函数，计算所述重心变化函数的样本熵；
根据所述重心变化函数，计算当前时间段内目标人员的平均重心高度；
计算当前时间段内目标人员的平均重心高度与上一个时间段内目标人员对应的平均重心高度的差值的绝对值，记为差异程度；
根据所述重心变化函数的样本熵和所述差异程度，计算当前时间段内目标人员对应的重心影响量；
所述根据所述重心变化函数，计算当前时间段内目标人员的平均重心高度的公式为：
Figure 799078DEST_PATH_IMAGE001
其中，
Figure 485406DEST_PATH_IMAGE002
为当前时间段内目标人员的平均重心高度，
Figure 396730DEST_PATH_IMAGE003
为所述重心变化函数，
Figure 972679DEST_PATH_IMAGE004
为当前时间段包含的帧数。
2.根据权利要求1所述的基于计算机视觉的建筑工地人员危险行为识别方法，其特征在于，根据该待检测图像中的目标人员对应的右脚关键点对应的空间坐标和左脚关键点对应的空间坐标，计算得到该待检测图像中目标人员对应的定位点的空间坐标，包括：
计算该待检测图像中的目标人员对应的右脚关键点对应的横坐标和左脚关键点对应的横坐标的平均值，作为所述定位点对应的横坐标；
计算该待检测图像中的目标人员对应的右脚关键点对应的纵坐标和左脚关键点对应的纵坐标的平均值，作为所述定位点对应的纵坐标；
计算该待检测图像中的目标人员对应的右脚关键点对应的深度值和左脚关键点对应的深度值的平均值，作为所述定位点对应的深度值；
根据所述定位点对应的横坐标、纵坐标和深度值，得到所述定位点对应的空间坐标。
3.根据权利要求1所述的基于计算机视觉的建筑工地人员危险行为识别方法，其特征在于，根据所述重心变化函数的样本熵和所述差异程度，计算当前时间段内目标人员对应的重心影响量的公式为：
Figure 20269DEST_PATH_IMAGE005
其中，
Figure 346339DEST_PATH_IMAGE006
为当前时间段内目标人员对应的重心影响量，
Figure 479380DEST_PATH_IMAGE007
为所述重心变化函数的样本熵，
Figure 844372DEST_PATH_IMAGE008
为所述差异程度，
Figure 746468DEST_PATH_IMAGE009
为比例参数。
4.根据权利要求1所述的基于计算机视觉的建筑工地人员危险行为识别方法，其特征在于，根据各帧待检测图像中目标人员对应的人体图，构建待分析视频片段对应的时空人体图，包括：
获取各帧待检测图像中目标人员对应的各关键点的序号；
按照时间顺序将当前时间段内各时刻下目标人员对应的人体图中的序号相同的关键点相连，得到待分析视频片段对应的时空人体图；所述各时刻下目标人员为各帧待检测图像中的目标人员，一个时刻对应一帧待检测图像。
5.根据权利要求4所述的基于计算机视觉的建筑工地人员危险行为识别方法，其特征在于，根据所述时空人体图、所述重心影响量、各帧待检测图像中目标人员对应的最小边界距离和训练好的目标识别网络，得到当前时间段内目标人员的动作行为，包括：
对于时空人体图中任一时刻下目标人员对应的任一关键点：根据当前时间段对应的重心影响量，得到该关键点对应的空间宽度；根据该时刻对应的待检测图像中目标人员对应的最小边界距离，得到该关键点对应的时间宽度；根据该关键点对应的空间宽度，获取该关键点对应的空间邻域集合；根据该关键点对应的时间宽度，获取该关键点对应的时间邻域集合；根据该关键点对应的空间邻域集合和时间邻域集合，得到该关键点对应的邻域集合；
将当前时间段对应的时空人体图、时空人体图中各时刻对应的人体图中各关键点对应的时间宽度和各关键点对应的空间宽度输入到训练好的目标识别网络中，得到当前时间段内目标人员的动作行为；
所述将当前时间段对应的时空人体图、时空人体图中各时刻对应的人体图中各关键点对应的时间宽度和各关键点对应的空间宽度输入到训练好的目标识别网络中，得到当前时间段内目标人员的动作行为，包括：
所述目标识别网络包括注意力机制和多层感知器；
对于注意力机制：计算输入到网络中的时空人体图中各时刻对应的人体图中各关键点与对应的邻域集合中各关键点之间的权重；根据时空人体图中各时刻对应的人体图中各关键点与对应的邻域集合中各关键点之间的权重，对输入的时空人体图中各时刻对应的人体图中各关键点对应的特征向量进行聚合处理，得到时空人体图中各时刻对应的人体图中各关键点对应的目标特征向量；
对于多层感知器：按照时空人体图中各时刻对应的人体图中各关键点的序号的排列顺序，将各时刻对应的人体图中各关键点对应的目标特征向量依次拼接在一起，得到各时刻对应的片段向量；将各时刻对应的片段向量按照时间顺序进行首尾拼接，得到当前时间段对应的综合向量；将所述综合向量输入到多层感知器中，得到当前时间段内目标人员的动作行为；所述动作行为包括正常搬运和违规抛物。
6.根据权利要求5所述的基于计算机视觉的建筑工地人员危险行为识别方法，其特征在于，所述根据当前时间段对应的重心影响量，得到该关键点对应的空间宽度的计算公式为：
Figure 305757DEST_PATH_IMAGE010
其中，
Figure 660515DEST_PATH_IMAGE011
为该关键点对应的空间宽度，
Figure 783192DEST_PATH_IMAGE012
为空间宽度上限，
Figure 588730DEST_PATH_IMAGE006
为当前时间段内目标人员对应的重心影响量，
Figure 505870DEST_PATH_IMAGE013
为第一比例系数，
Figure 364236DEST_PATH_IMAGE014
为取整函数；
所述根据该时刻对应的待检测图像中目标人员对应的最小边界距离，得到该关键点对应的时间宽度的计算公式为：
Figure 87342DEST_PATH_IMAGE015
其中，
Figure 947719DEST_PATH_IMAGE016
为该关键点对应的时间宽度，
Figure 301340DEST_PATH_IMAGE017
为该时刻对应的目标人员对应的最小边界距离，
Figure 617308DEST_PATH_IMAGE018
为第二比例系数，
Figure 629258DEST_PATH_IMAGE019
为时间宽度上限。
7.根据权利要求5所述的基于计算机视觉的建筑工地人员危险行为识别方法，其特征在于，所述该关键点对应的空间邻域集合包括：以该关键点对应的空间宽度为第一邻域范围，在该时刻对应的人体图中选取该关键点的第一邻域范围内的各关键点作为该关键点对应的空间邻域集合；所述该关键点对应的时间邻域集合包括：以该关键点对应的时间宽度为第二邻域范围，在当前时间段内选取该时刻的第一邻域范围内各时刻对应的人体图中与该关键点的序号和该关键点对应的空间邻域集合中的各关键点的序号相同的各关键点作为该关键点对应的时间邻域集合。
CN202210776516.XA 2022-07-04 2022-07-04 基于计算机视觉的建筑工地人员危险行为识别方法 Active CN114842560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776516.XA CN114842560B (zh) 2022-07-04 2022-07-04 基于计算机视觉的建筑工地人员危险行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776516.XA CN114842560B (zh) 2022-07-04 2022-07-04 基于计算机视觉的建筑工地人员危险行为识别方法

Publications (2)

Publication Number Publication Date
CN114842560A CN114842560A (zh) 2022-08-02
CN114842560B true CN114842560B (zh) 2022-09-20

Family

ID=82574234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776516.XA Active CN114842560B (zh) 2022-07-04 2022-07-04 基于计算机视觉的建筑工地人员危险行为识别方法

Country Status (1)

Country Link
CN (1) CN114842560B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019261B (zh) * 2022-08-10 2022-10-28 山东美特钢材有限公司 一种基于神经网络的行人翻越交通护栏的检测识别方法
CN115471874B (zh) * 2022-10-28 2023-02-07 山东新众通信息科技有限公司 基于监控视频的施工现场危险行为识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016049385A (ja) * 2014-09-02 2016-04-11 アニマ株式会社 重心動揺解析装置
WO2016106955A1 (zh) * 2014-12-30 2016-07-07 华中科技大学 一种激光红外复合的地面建筑物识别及导航方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785456B2 (ja) * 2002-07-25 2006-06-14 独立行政法人産業技術総合研究所 駅ホームにおける安全監視装置
US20140267736A1 (en) * 2013-03-15 2014-09-18 Bruno Delean Vision based system for detecting a breach of security in a monitored location
CN109492581B (zh) * 2018-11-09 2023-07-18 中国石油大学(华东) 一种基于tp-stg框架的人体动作识别方法
CN113128379A (zh) * 2021-04-06 2021-07-16 深圳市真元天芮智能软件有限公司 人体跌倒检测方法、计算机可读存储介质和电子装置
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016049385A (ja) * 2014-09-02 2016-04-11 アニマ株式会社 重心動揺解析装置
WO2016106955A1 (zh) * 2014-12-30 2016-07-07 华中科技大学 一种激光红外复合的地面建筑物识别及导航方法

Also Published As

Publication number Publication date
CN114842560A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN114842560B (zh) 基于计算机视觉的建筑工地人员危险行为识别方法
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN110569772B (zh) 一种泳池内人员状态检测方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN113255509A (zh) 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN108363953B (zh) 一种行人检测的方法及双目监控设备
JP2007128513A (ja) シーン解析
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN109145696B (zh) 一种基于深度学习的老人跌倒检测方法及系统
CN112446896B (zh) 一种基于图像识别的输送物料掉落监控方法、装置及系统
CN111738336A (zh) 基于多尺度特征融合的图像检测方法
CN107358155A (zh) 一种鬼脸动作检测方法和装置及活体识别方法和系统
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN110674680A (zh) 活体识别的方法、装置、存储介质
CN116129135A (zh) 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法
CN113112151A (zh) 基于多维感知和企业数据量化的智慧风控评估方法与系统
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
Chen et al. Vision-based skeleton motion phase to evaluate working behavior: case study of ladder climbing safety
CN111626109A (zh) 一种基于双流卷积神经网络的跌倒行为分析检测方法
CN112382068B (zh) 基于bim与dnn的车站候车线跨越检测系统
CN111914659A (zh) 一种物品检测方法、装置、设备及介质
CN113569801A (zh) 一种配电施工现场带电设备及其带电区域识别方法及装置
CN110909606A (zh) 基于深度学习的变电站人员行为检测方法
CN114979567B (zh) 一种应用于视频智能监控的物体与区域交互方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant