CN112084878B - 一种用于判别作业人员姿态规范程度的方法 - Google Patents

一种用于判别作业人员姿态规范程度的方法 Download PDF

Info

Publication number
CN112084878B
CN112084878B CN202010815977.4A CN202010815977A CN112084878B CN 112084878 B CN112084878 B CN 112084878B CN 202010815977 A CN202010815977 A CN 202010815977A CN 112084878 B CN112084878 B CN 112084878B
Authority
CN
China
Prior art keywords
convolution
included angle
pooling
network
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010815977.4A
Other languages
English (en)
Other versions
CN112084878A (zh
Inventor
张烨
樊一超
陈威慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010815977.4A priority Critical patent/CN112084878B/zh
Publication of CN112084878A publication Critical patent/CN112084878A/zh
Application granted granted Critical
Publication of CN112084878B publication Critical patent/CN112084878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于判别作业人员姿态规范程度的方法，首先，构建人体姿态特征提取网络并设计网络参数，用于提取人体姿态特征图；其次，将所得人体姿态特征图输入到并行网络结构中，得到人体骨骼关键点，并将人体骨骼关键点进行连接使其成为人体主要躯干；然后，利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，从而判断其夹角是否在规定阈值范围内，进而判别作业人员姿态是否规范。本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。

Description

一种用于判别作业人员姿态规范程度的方法
技术领域
本发明涉及一种用于判别作业人员姿态规范程度的方法。
技术背景
制造业作为我国国民经济的重要产业，是我国经济发展的强大后盾，随着“中国制造2025”的提出，我国制造业在自主创新能力、结构产业、信息化程度和质量效能等方面均有很大的突破，更是兴起了“互联网+制造业”的发展模式。虽然现如今信息化和智能化已经成为制造业的主导方向，但是对制造过程中作业人员动作和行为的分析依然是十分重要的，由于“人”的不确定性因素或将直接导致其与机器、环境的配合能力下降，从而对整个生产节拍造成影响。为了使整个生产系统得以高质量、高效能运行，同时保障员工在良好的状态下进行作业，则对作业人员的姿态分析显得尤为重要。
判别作业人员姿态规范程度主要有三个方面的目的。其一，提高作业人员在制造过程中的规范性，虽然对于正规的制造业来讲，在员工上岗前都会进行岗位操作及安全培训，但当上岗一段时间后，部分员工已对自己的工作内容比较熟练，从而按照其比较熟练的方式来进行作业，甚至擅自改变流程顺序或者省略部分流程，从而给生产效率和质量带来很大的波动性；其二，了解作业人员的疲劳程度，对于大多数密集型加工企业来讲，均采用计件制的方式给予员工薪酬，这就意味着作业人员工作量越多收益越高，甚至有些员工为了获得更好的收益，超出了自身工作负荷，所以制定一个合理的方法用于判别作业人员姿态规范程度可以对疲劳操作进行有效的预警；其三，由于长时间的不规范操作极易导致作业人员罹患职业性疾病，为了保证员工身体状况及避免由员工患病所导致长久请假带来的经济损失，则关注作业人员的姿态规范程度迫在眉睫。
发明内容
为了克服现有技术的上述不足，本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。
首先，构建人体姿态特征提取网络并设计网络参数，用于提取人体姿态特征图；其次，将所得人体姿态特征图输入到并行网络结构中，得到人体骨骼关键点，并将人体骨骼关键点进行连接使其成为人体主要躯干；然后，利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，从而判断其夹角是否在规定阈值范围内，进而判别作业人员姿态是否规范。
为实现上述目的，本发明采用以下技术方案：
一种用于判别作业人员姿态规范程度的方法，包括如下步骤：
步骤一，构建人体姿态特征提取网络，并对其网络结构参数进行设计；
本发明使用截断的VGG-16网络和额外的卷积层来构建人体姿态特征提取网络。当输入一副尺寸大小为w*h的图像时，经过该网络的分析处理，生成一个多尺度的特征图F。
本发明构建的人体姿态特征提取网络结构设计如下：
(1)输入层：分辨率为w*h像素大小的多人视频帧RGB三通道图像；
(2)截断的VGG-16网络结构：该结构一共包含4组卷积和池化操作，其中包括10个卷积层和3个池化层。第一组：Conv1_1、Conv1_2、Pool1；第二组：Conv2_1、Conv2_2、Pool2；第三组：Conv3_1、Conv3_2、Conv3_3、Pool3；第四组：Conv4_1、Conv4_2、Conv4_3。其中，在Conv4_3后又连接了附加的卷积层。
(3)额外的卷积层：在截断的VGG-16网络之后，本网络连接了两个附加的卷积层，即Conv4_4、Conv4_5。为了输出多维特征图，所设计的人体姿态特征提取网络在其附加的卷积层之后增加了一个池化操作，即Pool4。
对于每一层网络具体的参数设计，本发明将从卷积层和池化层的核结构、操作步长及操作方式入手。其网络具体参数设计如下：
(S1)在第一组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv1_1和Conv1_2中卷积核大小均为3*3，卷积通道均为64，卷积步长均为1；Pool1中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第一组操作中，最终得到的特征图大小为
(S2)在第二组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv2_1和Conv2_2中卷积核大小均为3*3，卷积通道均为128，卷积步长均为1；Pool2中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第二组操作中，最终得到的特征图大小为
(S3)在第三组卷积和池化操作中，有三个卷积分层和一个池化层。其中，Conv3_1、Conv3_2及Conv3_3中卷积核大小均为3*3，卷积通道均为256，卷积步长均为1；Pool3中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第三组操作中，最终得到的特征图大小为
(S4)在第四组卷积操作中，有三个卷积分层，即Conv4_1、Conv4_2、Conv4_3。其中，每个卷积分层中卷积核大小均为3*3，卷积通道均为512，卷积步长均为1。此操作过程中由于没有经过池化操作，故其特征图像素保持不变，最终得到的特征图大小为
(S5)在额外的卷积层中，共有两个卷积分层组成，即Conv4_4和Conv4_5。其中，每个卷积分层中卷积核大小均为3*3，卷积步长均为1，卷积通道分别为256和128。为了得到固定维度的特征图，最后在Conv4_5之后增加一个池化层Pool4，其池化核大小为3*3，滑动步长为1，池化方式为平均池化，最终得到的特征图为
(S6)在人体姿态特征提取网络中，关于全部卷积层后连接的激活函数，本发明使用的均为ReLu激活函数：
ReLu(x)＝max(0,x) (1)
步骤二，构建并行网络结构，识别骨骼关键点并将相邻关键点连接成为人体主要躯干；
将步骤一中得到的人体姿态特征图输入到该步骤所设计的并行网络结构中，将输出人体骨骼关键点和相应的主要躯干；
该并行网络结构分为上下两个分支，各分支都是一个迭代预测的体系结构。第一个分支用于估计人体骨骼关键点，主要是对单张图像进行卷积操作生成关键点的置信图集合，其表示为S＝(S1,S2,S3,...,SJ)；第二个分支用于分析像素点在骨架中的走向，即预测关键点的亲和场集合，其表示为L＝(L1,L2,L3,...,LC)。其中，J表示骨骼关键点总个数，C表示连接关键点的躯干的数量。
该并行网络共包含T个阶段，其中第一阶段为初始化阶段卷积网络，其余阶段为细化阶段卷积网络，每两个阶段之间通过加入中间监督来解决梯度消失问题。其结构设计如下：
1)初始化阶段卷积网络：每个分支均由五个卷积层构成，其中前三层的卷积核大小为3*3，卷积步长为1，通道个数为128；第四层的卷积核大小为1*1，卷积步长为1，通道个数为512；第五层的卷积核大小为1*1，卷积步长为1，通道个数为13。
2)细化阶段卷积网络：每个分支均由七个卷积层构成，其中前五层的卷积核大小为7*7，卷机步长为1，通道个数为128；后两层的卷积核大小为1*1，卷积步长为1，通道个数为128。
将所得特征图F输入初始阶段卷积网络来对骨骼关键点和相关躯干进行初始估计，然后执行细化阶段的卷积网络，找到所标记的13种类型的关键点和每个关键点的最佳对应躯干。
该并行网络结构中所应用到的函数设计如下：
(Q1)在初始化卷积网络阶段中，输出一组骨骼关键点置信度图和骨架走向矢量集合，其分别表示为下式：
S1＝ρ1(F) (2)
L1＝φ1(F) (3)
其中，ρ1(·)和φ1(·)表示初始阶段卷积网络结构，F表示步骤一网络所输出的特征。在后续的细化阶段卷积网络中，将上一阶段的输出结果和特征F相加作为下一阶段的输入，则在第t阶段的骨骼关键点置信度图St和骨架走向矢量集合Lt分别表示为下式：
St＝ρt(St-1,Lt-1,F) (4)
Lt＝φt(St-1,Lt-1,F) (5)
(Q2)为了使得并行网络在各阶段的不同分支上能够预测各自的任务，须对每个分支设置其损失函数，则将第t阶段用于估计人体骨骼关键点分支的损失函数表示为用于分析像素点在骨架中的走向分支的损失函数表示为/>其具体公式用L2范式表示如下：
其中，表示标定好的j个真实关键点的置信图；/>表示标定好的c个真实的骨架走向，即部分亲和场；W(·)是一个布尔值，当图像中p点位置的标注数据缺失时，其值为0，否则为1。
在整个并行网络结构中(共T阶段)，总的损失函数表示为：
(Q3)计算损失函数中每个真实关键点的置信图/>当单幅图像中有k个人，每个人有j个可见关键点时，则每张置信图均有j个峰值。将特征图F传输至并行网络结构中进行关键点检测，会预测出一批关键点置信图，将预测所得的关键点Xj,k和真实的关键点p点经过下式计算可以得到矫正后的关键点：
其中，σ表示峰值蔓延程度；p和Xj,k分别表示真实关键点和并行网络预测关键点的坐标。
将求得的集合通过非极大值抑制来获得最终输出的预测置信图，具体公式如下所示：
(Q4)计算损失函数中真实的骨架走向/>所谓骨架走向即是指两个关键点所连接的二维向量(躯干)。
对于第k个人骨骼关键点连接方式而言，通过并行网络预测出两个关键点j1和j2的坐标值Xj1,k及Xj2,k，则由这两个关键点组成的一个骨架走向C表示为向量当点p在此骨架上时，只有从点j1指向点j2时，向量/>才为单位向量，否则为零向量，其判别公式如下所示：
骨架走向C上的点p满足下式约束：
0≤v*(p-xj1,k)≤lc,k&|v⊥*(p-xj1,k)|≤σl (13)
lc,k＝||xj2,k-xj1,k||2 (14)
其中，lc,k表示第k个人骨架走向C的长度；v⊥表示垂直于单位向量的矢量，σl表示骨架宽度。如若多个骨架C重合时，则需要利用下式求平均值：
其中，nc(p)表示不为零向量的的个数。
(Q5)通过两个关键点匹配最佳人体骨干连接方式。
对于单人而言，在预测过程中，通过计算Xj1,k及Xj2,k两点之间的亲和域来判别所预测两点是否属于同一个人，具体的计算公式如下所示：
其中，dj1和dj2分别表示Xj1,k及Xj2,k两点所对应的像素点。
当单幅图像中存在k个人时，可利用上式(10)预测出一组离散的关键点集合，但对于这些关键点而言，存在很多连接方式，但并不是所有连接方式均来自同一个人，也就意味着虽然将两个关键点进行了连接，但其并没有组成人体躯干，所以无法用公式(16)来预测。为此，通过下式来匹配关键点，从而形成人体躯干：
其中，Dj1和Dj2分别表示所预测关键点j1和j2的坐标集合，其可以表示为j∈{1,2,...,J}&m∈{1,2,...,Nj}，Nj代表关键点j的个数；/>表示两个预测关键点/>和是否可以连接，Emn表示权重，可以由公式(16)求得。
最终通过公式(17)计算得到人体骨骼连接的最佳匹配方案。
步骤三，利用反余弦函数计算主要躯干之间的夹角；
根据步骤二所设计的并行网络结构可以求得13个人体关键点最佳坐标，即鼻子(x1,y1)、脖子(x2,y2)、右肩(x3,y3)、右肘(x4,y4)、右手腕(x5,y5)、左肩(x6,y6)、左肘(x7,y7)、左手腕(x8,y8)、臀部(x9,y9)、右膝(x10,y10)、右脚裸(x11,y11)、左膝(x12,y12)、左脚裸(x13,y13)；同时得到12个人体躯干，包括鼻子与脖子连接的颈部躯干、脖子与右肩连接的右膀躯干、右肩与右肘连接的右大臂躯干、右肘与右手腕连接的右小臂躯干、脖子与左肩连接的左膀躯干、左肩与左肘连接的左大臂躯干、左肘与左手腕连接的左小臂躯干、脖子与臀部连接的上肢躯干、臀部与右膝连接的右大腿躯干、右膝与右脚裸连接的右小腿躯干、臀部与左膝连接的左大腿躯干、左膝与左脚裸连接的左小腿躯干。
为了在最大程度上反应作业人员姿态规范程度，本步骤选择的主要躯干之间的夹角有6个，即颈部与上肢之间的夹角θ1、右大臂与右小臂之间的夹角θ2、左大臂与左小臂之间的夹角θ3、上肢与大腿之间的夹角θ4、右大腿与右小腿之间的夹角θ5及左大腿与左小腿之间的夹角θ6。
(P1)计算颈部与上肢之间的夹角来判别作业状态下头部的下垂程度。根据步骤二预测得到鼻子、颈部和臀部三点的坐标，然后利用反余弦函数求得此夹角θ1的大小，具体的计算公式如下所示：
(P2)计算右大臂与右小臂之间的夹角来判别作业状态下右臂的弯曲程度。根据步骤二预测得到右肩、右肘和右手腕三点的坐标，然后利用反余弦函数求得此夹角θ2的大小，具体的计算公式如下所示：
(P3)计算左大臂与左小臂之间的夹角来判别作业状态下左臂的弯曲程度。根据步骤二预测得到左肩、左肘和左手腕三点的坐标，然后利用反余弦函数求得此夹角θ3的大小，具体的计算公式如下所示：
(P4)计算上肢与大腿之间的夹角来判别作业状态下腰部的弯曲程度。根据步骤二预测得到脖子、臀部、左膝和右膝四点的坐标，然后求得左膝和右膝的中点坐标作为两膝重心，随后利用反余弦函数求得此夹角θ4的大小；
两膝重心坐标记为(x14,y14)，表示为下式：
则：
(P5)计算右大腿与右小腿之间的夹角来判别作业状态下右腿的弯曲程度。根据步骤二预测得到臀部、右膝和右脚裸三点的坐标，然后利用反余弦函数求得此夹角θ5的大小，具体的计算公式如下所示：
(P6)计算左大腿与左小腿之间的夹角来判别作业状态下左腿的弯曲程度。根据步骤二预测得到臀部、左膝和左脚裸三点的坐标，然后利用反余弦函数求得此夹角θ6的大小，具体的计算公式如下所示：
(P7)预先设定本步骤所提出的6个夹角的阈值，即设置颈部与上肢之间的夹角阈值为T1、右大臂与右小臂之间的夹角阈值为T2、左大臂与左小臂之间的夹角阈值为T3、上肢与大腿之间的夹角阈值为T4、右大腿与右小腿之间的夹角阈值为T5及左大腿与左小腿之间的夹角阈值为T6。然后将利用反余弦函数求得的夹角与对应夹角的阈值进行比较，如若对应夹角在其阈值范围内，则认为作业人员该操作姿态较规范，否则认为其不按规范操作。
优选地，步骤P7中对于T1的设置：当T1∈(150°,180°]时，认定为平视操作；当T1∈(120°,150°]时，认定为俯视(低头)操作；当T1∈(90°,120°]时，认定为疲劳操作；头部下垂程度(T1)需根据所属作业要求进行合理设定。
优选地，步骤P7中对于T2和T3的设置：当T2,3∈(120°,180°]时，认定为手臂轻度弯曲操作；当T2,3∈(60°,120°]时，认定为手臂中度弯曲操作；当T2,3∈(0°,60°]时，认定为手臂重度弯曲操作；手臂弯曲程度(T2和T3)需根据所属作业要求进行合理设定。
优选地，步骤P7中对于T4的设置：当T4∈(170°,180°]时，认定为直立操作；当T4∈(120°,170°]时，认定为轻度弯腰操作；当T4∈(60°,120°]时，认定为中度弯腰或坐立操作，是否为坐立操作将根据T5和T6的设置进一步判断；当T4∈(0°,60°]时，认定为在地面上所进行的复杂且短暂的操作或下蹲操作，是否为下蹲操作将根据T5和T6的设置进一步判断；腰部弯曲程度(T4)需根据所属作业要求进行合理设定。
优选地，步骤P7中对于T5和T6的设置：当T5,6∈(170°,180°]时，认定为直立操作；当T5,6∈(60°,120°]时，认定为坐立操作；当T5,6∈(0°,30°]时，认定为下蹲操作；否则认定其为不规范操作；腿部弯曲程度(T5和T6)需根据所属作业要求进行合理设定。
本发明的优点是：
本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。首先通过设计卷积神经网络求得人体姿态特征图；然后将其传输至本发明所设计的并行网络结构中获得人体骨骼关键点坐标和人体主要躯干；随后利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，进而判别作业人员姿态是否规范。因此，本发明在制造过程中对作业人员的姿态规范程度检测与判别优于传统的观察和监视等方法，能够很好的解决员工操作规范性、作业疲劳度等问题，具有一定的实用价值和应用前景。
附图说明
图1是本发明的人体姿态特征提取网络结构图；
图2是本发明的骨骼关键点检测和躯干连接并行网络结构图；
图3是本发明所设计并行网络结构中单人骨骼关键点连接方式；
图4是本发明选取的人体主要骨骼关键点示意图；
图5是本发明的流程图。
具体实施方式
为了克服现有技术的上述不足，本发明针对作业人员在制造过程中的操作规范性、作业疲劳度、罹患职业性疾病等问题提供了一种用于判别作业人员姿态规范程度的方法。首先，构建人体姿态特征提取网络并设计网络参数，用于提取人体姿态特征图；其次，将所得人体姿态特征图输入到并行网络结构中，得到人体骨骼关键点，并将人体骨骼关键点进行连接使其成为人体主要躯干；然后，利用反余弦函数，根据关键点坐标求得主要相邻躯干间的夹角；最后，将求得的主要相邻躯干间的夹角与预先设定的夹角阈值进行比较，从而判断其夹角是否在规定阈值范围内，进而判别作业人员姿态是否规范。
为实现上述目的，本发明采用以下技术方案：
一种用于判别作业人员姿态规范程度的方法，包括如下步骤：
步骤一，构建人体姿态特征提取网络，并对其网络结构参数进行设计；
本发明使用截断的VGG-16网络和额外的卷积层来构建人体姿态特征提取网络。当输入一副尺寸大小为w*h的图像时，经过该网络的分析处理，生成一个多尺度的特征图F。
本发明构建的人体姿态特征提取网络结构设计如下：
(1)输入层：分辨率为w*h像素大小的多人视频帧RGB三通道图像；
(2)截断的VGG-16网络结构：该结构一共包含4组卷积和池化操作，其中包括10个卷积层和3个池化层。第一组：Conv1_1、Conv1_2、Pool1；第二组：Conv2_1、Conv2_2、Pool2；第三组：Conv3_1、Conv3_2、Conv3_3、Pool3；第四组：Conv4_1、Conv4_2、Conv4_3。其中，在Conv4_3后又连接了附加的卷积层。
(3)额外的卷积层：在截断的VGG-16网络之后，本网络连接了两个附加的卷积层，即Conv4_4、Conv4_5。为了输出多维特征图，所设计的人体姿态特征提取网络在其附加的卷积层之后增加了一个池化操作，即Pool4。
对于每一层网络具体的参数设计，本发明将从卷积层和池化层的核结构、操作步长及操作方式入手。其网络具体参数设计如下：
(S1)在第一组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv1_1和Conv1_2中卷积核大小均为3*3，卷积通道均为64，卷积步长均为1；Pool1中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第一组操作中，最终得到的特征图大小为
(S2)在第二组卷积和池化操作中，有两个卷积分层和一个池化层。其中，Conv2_1和Conv2_2中卷积核大小均为3*3，卷积通道均为128，卷积步长均为1；Pool2中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第二组操作中，最终得到的特征图大小为
(S3)在第三组卷积和池化操作中，有三个卷积分层和一个池化层。其中，Conv3_1、Conv3_2及Conv3_3中卷积核大小均为3*3，卷积通道均为256，卷积步长均为1；Pool3中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作。在第三组操作中，最终得到的特征图大小为
(S4)在第四组卷积操作中，有三个卷积分层，即Conv4_1、Conv4_2、Conv4_3。其中，每个卷积分层中卷积核大小均为3*3，卷积通道均为512，卷积步长均为1。此操作过程中由于没有经过池化操作，故其特征图像素保持不变，最终得到的特征图大小为
(S5)在额外的卷积层中，共有两个卷积分层组成，即Conv4_4和Conv4_5。其中，每个卷积分层中卷积核大小均为3*3，卷积步长均为1，卷积通道分别为256和128。为了得到固定维度的特征图，最后在Conv4_5之后增加一个池化层Pool4，其池化核大小为3*3，滑动步长为1，池化方式为平均池化，最终得到的特征图为
(S6)在人体姿态特征提取网络中，关于全部卷积层后连接的激活函数，本发明使用的均为ReLu激活函数：
ReLu(x)＝max(0,x) (1)
步骤二，构建并行网络结构，识别骨骼关键点并将相邻关键点连接成为人体主要躯干；
将步骤一中得到的人体姿态特征图输入到该步骤所设计的并行网络结构中，将输出人体骨骼关键点和相应的主要躯干；
该并行网络结构分为上下两个分支，各分支都是一个迭代预测的体系结构。第一个分支用于估计人体骨骼关键点，主要是对单张图像进行卷积操作生成关键点的置信图集合，其表示为S＝(S1,S2,S3,...,SJ)；第二个分支用于分析像素点在骨架中的走向，即预测关键点的亲和场集合，其表示为L＝(L1,L2,L3,...,LC)。其中，J表示骨骼关键点总个数，C表示连接关键点的躯干的数量。
该并行网络共包含T个阶段，其中第一阶段为初始化阶段卷积网络，其余阶段为细化阶段卷积网络，每两个阶段之间通过加入中间监督来解决梯度消失问题。其结构设计如下：
1)初始化阶段卷积网络：每个分支均由五个卷积层构成，其中前三层的卷积核大小为3*3，卷积步长为1，通道个数为128；第四层的卷积核大小为1*1，卷积步长为1，通道个数为512；第五层的卷积核大小为1*1，卷积步长为1，通道个数为13。
2)细化阶段卷积网络：每个分支均由七个卷积层构成，其中前五层的卷积核大小为7*7，卷机步长为1，通道个数为128；后两层的卷积核大小为1*1，卷积步长为1，通道个数为128。
将所得特征图F输入初始阶段卷积网络来对骨骼关键点和相关躯干进行初始估计，然后执行细化阶段的卷积网络，找到所标记的13种类型的关键点和每个关键点的最佳对应躯干。
该并行网络结构中所应用到的函数设计如下：
(Q1)在初始化卷积网络阶段中，输出一组骨骼关键点置信度图和骨架走向矢量集合，其分别表示为下式：
S1＝ρ1(F) (2)
L1＝φ1(F) (3)
其中，ρ1(·)和φ1(·)表示初始阶段卷积网络结构，F表示步骤一网络所输出的特征。在后续的细化阶段卷积网络中，将上一阶段的输出结果和特征F相加作为下一阶段的输入，则在第t阶段的骨骼关键点置信度图St和骨架走向矢量集合Lt分别表示为下式：
St＝ρt(St-1,Lt-1,F) (4)
Lt＝φt(St-1,Lt-1,F) (5)
(Q2)为了使得并行网络在各阶段的不同分支上能够预测各自的任务，须对每个分支设置其损失函数，则将第t阶段用于估计人体骨骼关键点分支的损失函数表示为用于分析像素点在骨架中的走向分支的损失函数表示为/>其具体公式用L2范式表示如下：
其中，表示标定好的j个真实关键点的置信图；/>表示标定好的c个真实的骨架走向，即部分亲和场；W(·)是一个布尔值，当图像中p点位置的标注数据缺失时，其值为0，否则为1。
在整个并行网络结构中(共T阶段)，总的损失函数表示为：
(Q3)计算损失函数中每个真实关键点的置信图/>当单幅图像中有k个人，每个人有j个可见关键点时，则每张置信图均有j个峰值。将特征图F传输至并行网络结构中进行关键点检测，会预测出一批关键点置信图，将预测所得的关键点Xj,k和真实的关键点p点经过下式计算可以得到矫正后的关键点：
其中，σ表示峰值蔓延程度；p和Xj,k分别表示真实关键点和并行网络预测关键点的坐标。
将求得的集合通过非极大值抑制来获得最终输出的预测置信图，具体公式如下所示：
(Q4)计算损失函数中真实的骨架走向/>所谓骨架走向即是指两个关键点所连接的二维向量(躯干)。
对于第k个人骨骼关键点连接方式而言，通过并行网络预测出两个关键点j1和j2的坐标值Xj1,k及Xj2,k，则由这两个关键点组成的一个骨架走向C表示为向量当点p在此骨架上时，只有从点j1指向点j2时，向量/>才为单位向量，否则为零向量，其判别公式如下所示：
骨架走向C上的点p满足下式约束：
0≤v*(p-xj1,k)≤lc,k&|v⊥*(p-xj1,k)|≤σl (13)
lc,k＝||xj2,k-xj1,k||2 (14)
其中，lc,k表示第k个人骨架走向C的长度；v⊥表示垂直于单位向量的矢量，σl表示骨架宽度。如若多个骨架C重合时，则需要利用下式求平均值：
其中，nc(p)表示不为零向量的的个数。
(Q5)通过两个关键点匹配最佳人体骨干连接方式。
对于单人而言，在预测过程中，通过计算Xj1,k及Xj2,k两点之间的亲和域来判别所预测两点是否属于同一个人，具体的计算公式如下所示：
其中，dj1和dj2分别表示Xj1,k及Xj2,k两点所对应的像素点。
当单幅图像中存在k个人时，可利用上式(10)预测出一组离散的关键点集合，但对于这些关键点而言，存在很多连接方式，但并不是所有连接方式均来自同一个人，也就意味着虽然将两个关键点进行了连接，但其并没有组成人体躯干，所以无法用公式(16)来预测。为此，通过下式来匹配关键点，从而形成人体躯干：
其中，Dj1和Dj2分别表示所预测关键点j1和j2的坐标集合，其可以表示为j∈{1,2,...,J}&m∈{1,2,...,Nj}，Nj代表关键点j的个数；/>表示两个预测关键点/>和是否可以连接，Emn表示权重，可以由公式(16)求得。
最终通过公式(17)计算得到人体骨骼连接的最佳匹配方案。
步骤三，利用反余弦函数计算主要躯干之间的夹角；
根据步骤二所设计的并行网络结构可以求得13个人体关键点最佳坐标，即鼻子(x1,y1)、脖子(x2,y2)、右肩(x3,y3)、右肘(x4,y4)、右手腕(x5,y5)、左肩(x6,y6)、左肘(x7,y7)、左手腕(x8,y8)、臀部(x9,y9)、右膝(x10,y10)、右脚裸(x11,y11)、左膝(x12,y12)、左脚裸(x13,y13)；同时得到12个人体躯干，包括鼻子与脖子连接的颈部躯干、脖子与右肩连接的右膀躯干、右肩与右肘连接的右大臂躯干、右肘与右手腕连接的右小臂躯干、脖子与左肩连接的左膀躯干、左肩与左肘连接的左大臂躯干、左肘与左手腕连接的左小臂躯干、脖子与臀部连接的上肢躯干、臀部与右膝连接的右大腿躯干、右膝与右脚裸连接的右小腿躯干、臀部与左膝连接的左大腿躯干、左膝与左脚裸连接的左小腿躯干。
为了在最大程度上反应作业人员姿态规范程度，本步骤选择的主要躯干之间的夹角有6个，即颈部与上肢之间的夹角θ1、右大臂与右小臂之间的夹角θ2、左大臂与左小臂之间的夹角θ3、上肢与大腿之间的夹角θ4、右大腿与右小腿之间的夹角θ5及左大腿与左小腿之间的夹角θ6。
(P1)计算颈部与上肢之间的夹角来判别作业状态下头部的下垂程度。根据步骤二预测得到鼻子、颈部和臀部三点的坐标，然后利用反余弦函数求得此夹角θ1的大小，具体的计算公式如下所示：
(P2)计算右大臂与右小臂之间的夹角来判别作业状态下右臂的弯曲程度。根据步骤二预测得到右肩、右肘和右手腕三点的坐标，然后利用反余弦函数求得此夹角θ2的大小，具体的计算公式如下所示：
(P3)计算左大臂与左小臂之间的夹角来判别作业状态下左臂的弯曲程度。根据步骤二预测得到左肩、左肘和左手腕三点的坐标，然后利用反余弦函数求得此夹角θ3的大小，具体的计算公式如下所示：
(P4)计算上肢与大腿之间的夹角来判别作业状态下腰部的弯曲程度。根据步骤二预测得到脖子、臀部、左膝和右膝四点的坐标，然后求得左膝和右膝的中点坐标作为两膝重心，随后利用反余弦函数求得此夹角θ4的大小；
两膝重心坐标记为(x14,y14)，表示为下式：
则：
(P5)计算右大腿与右小腿之间的夹角来判别作业状态下右腿的弯曲程度。根据步骤二预测得到臀部、右膝和右脚裸三点的坐标，然后利用反余弦函数求得此夹角θ5的大小，具体的计算公式如下所示：
(P6)计算左大腿与左小腿之间的夹角来判别作业状态下左腿的弯曲程度。根据步骤二预测得到臀部、左膝和左脚裸三点的坐标，然后利用反余弦函数求得此夹角θ6的大小，具体的计算公式如下所示：
(P7)预先设定本步骤所提出的6个夹角的阈值，即设置颈部与上肢之间的夹角阈值为T1、右大臂与右小臂之间的夹角阈值为T2、左大臂与左小臂之间的夹角阈值为T3、上肢与大腿之间的夹角阈值为T4、右大腿与右小腿之间的夹角阈值为T5及左大腿与左小腿之间的夹角阈值为T6。然后将利用反余弦函数求得的夹角与对应夹角的阈值进行比较，如若对应夹角在其阈值范围内，则认为作业人员该操作姿态较规范，否则认为其不按规范操作。
步骤P7中对于T1的设置：当T1∈(150°,180°]时，认定为平视操作；当T1∈(120°,150°]时，认定为俯视(低头)操作；当T1∈(90°,120°]时，认定为疲劳操作；头部下垂程度(T1)需根据所属作业要求进行合理设定。
步骤P7中对于T2和T3的设置：当T2,3∈(120°,180°]时，认定为手臂轻度弯曲操作；当T2,3∈(60°,120°]时，认定为手臂中度弯曲操作；当T2,3∈(0°,60°]时，认定为手臂重度弯曲操作；手臂弯曲程度(T2和T3)需根据所属作业要求进行合理设定。
步骤P7中对于T4的设置：当T4∈(170°,180°]时，认定为直立操作；当T4∈(120°,170°]时，认定为轻度弯腰操作；当T4∈(60°,120°]时，认定为中度弯腰或坐立操作，是否为坐立操作将根据T5和T6的设置进一步判断；当T4∈(0°,60°]时，认定为在地面上所进行的复杂且短暂的操作或下蹲操作，是否为下蹲操作将根据T5和T6的设置进一步判断；腰部弯曲程度(T4)需根据所属作业要求进行合理设定。
步骤P7中对于T5和T6的设置：当T5,6∈(170°,180°]时，认定为直立操作；当T5,6∈(60°,120°]时，认定为坐立操作；当T5,6∈(0°,30°]时，认定为下蹲操作；否则认定其为不规范操作；腿部弯曲程度(T5和T6)需根据所属作业要求进行合理设定。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种用于判别作业人员姿态规范程度的方法，包括如下步骤：
步骤一，构建人体姿态特征提取网络，并对其网络结构参数进行设计；
使用截断的VGG-16网络和额外的卷积层来构建人体姿态特征提取网络；当输入一副尺寸大小为w*h的图像时，经过该网络的分析处理，生成一个多尺度的特征图F；
所构建的人体姿态特征提取网络结构设计如下：
(1)输入层：分辨率为w*h像素大小的多人视频帧RGB三通道图像；
(2)截断的VGG-16网络结构：该结构一共包含4组卷积和池化操作，其中包括10个卷积层和3个池化层；第一组：Conv1_1、Conv1_2、Pool1；第二组：Conv2_1、Conv2_2、Pool2；第三组：Conv3_1、Conv3_2、Conv3_3、Pool3；第四组：Conv4_1、Conv4_2、Conv4_3；其中，在Conv4_3后又连接了附加的卷积层；
(3)额外的卷积层：在截断的VGG-16网络之后，本网络连接了两个附加的卷积层，即Conv4_4、Conv4_5；为了输出多维特征图，所设计的人体姿态特征提取网络在其附加的卷积层之后增加了一个池化操作，即Pool4；
对于每一层网络具体的参数设计，将从卷积层和池化层的核结构、操作步长及操作方式入手；其网络具体参数设计如下：
(S1)在第一组卷积和池化操作中，有两个卷积分层和一个池化层；其中，Conv1_1和Conv1_2中卷积核大小均为3*3，卷积通道均为64，卷积步长均为1；Pool1中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作；在第一组操作中，最终得到的特征图大小为
(S2)在第二组卷积和池化操作中，有两个卷积分层和一个池化层；其中，Conv2_1和Conv2_2中卷积核大小均为3*3，卷积通道均为128，卷积步长均为1；Pool2中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作；在第二组操作中，最终得到的特征图大小为
(S3)在第三组卷积和池化操作中，有三个卷积分层和一个池化层；其中，Conv3_1、Conv3_2及Conv3_3中卷积核大小均为3*3，卷积通道均为256，卷积步长均为1；Pool3中池化核为2*2，池化核滑动步长为2，采用最大池化的方式进行池化操作；在第三组操作中，最终得到的特征图大小为
(S4)在第四组卷积操作中，有三个卷积分层，即Conv4_1、Conv4_2、Conv4_3；其中，每个卷积分层中卷积核大小均为3*3，卷积通道均为512，卷积步长均为1；此操作过程中由于没有经过池化操作，故其特征图像素保持不变，最终得到的特征图大小为
(S5)在额外的卷积层中，共有两个卷积分层组成，即Conv4_4和Conv4_5；其中，每个卷积分层中卷积核大小均为3*3，卷积步长均为1，卷积通道分别为256和128；为了得到固定维度的特征图，最后在Conv4_5之后增加一个池化层Pool4，其池化核大小为3*3，滑动步长为1，池化方式为平均池化，最终得到的特征图为
(S6)在人体姿态特征提取网络中，关于全部卷积层后连接的激活函数，本发明使用的均为ReLu激活函数：
ReLu(x)＝max(0,x) (1)
步骤二，构建并行网络结构，识别骨骼关键点并将相邻关键点连接成为人体主要躯干；
将步骤一中得到的人体姿态特征图输入到该步骤所设计的并行网络结构中，将输出人体骨骼关键点和相应的主要躯干；
该并行网络结构分为上下两个分支，各分支都是一个迭代预测的体系结构；第一个分支用于估计人体骨骼关键点，主要是对单张图像进行卷积操作生成关键点的置信图集合，其表示为S＝(S1,S2,S3,...,SJ)；第二个分支用于分析像素点在骨架中的走向，即预测关键点的亲和场集合，其表示为L＝(L1,L2,L3,...,LC)；其中，J表示骨骼关键点总个数，C表示连接关键点的躯干的数量；
该并行网络共包含T个阶段，其中第一阶段为初始化阶段卷积网络，其余阶段为细化阶段卷积网络，每两个阶段之间通过加入中间监督来解决梯度消失问题；其结构设计如下：
1)初始化阶段卷积网络：每个分支均由五个卷积层构成，其中前三层的卷积核大小为3*3，卷积步长为1，通道个数为128；第四层的卷积核大小为1*1，卷积步长为1，通道个数为512；第五层的卷积核大小为1*1，卷积步长为1，通道个数为13；
2)细化阶段卷积网络：每个分支均由七个卷积层构成，其中前五层的卷积核大小为7*7，卷机步长为1，通道个数为128；后两层的卷积核大小为1*1，卷积步长为1，通道个数为128；
将所得特征图F输入初始阶段卷积网络来对骨骼关键点和相关躯干进行初始估计，然后执行细化阶段的卷积网络，找到所标记的13种类型的关键点和每个关键点的最佳对应躯干；
该并行网络结构中所应用到的函数设计如下：
(Q1)在初始化卷积网络阶段中，输出一组骨骼关键点置信度图和骨架走向矢量集合，其分别表示为下式：
S1＝ρ1(F) (2)
L1＝φ1(F) (3)
其中，ρ1(·)和φ1(·)表示初始阶段卷积网络结构，F表示步骤一网络所输出的特征；在后续的细化阶段卷积网络中，将上一阶段的输出结果和特征F相加作为下一阶段的输入，则在第t阶段的骨骼关键点置信度图St和骨架走向矢量集合Lt分别表示为下式：
St＝ρt(St-1,Lt-1,F) (4)
Lt＝φt(St-1,Lt-1,F) (5)
(Q2)为了使得并行网络在各阶段的不同分支上能够预测各自的任务，须对每个分支设置其损失函数，则将第t阶段用于估计人体骨骼关键点分支的损失函数表示为用于分析像素点在骨架中的走向分支的损失函数表示为/>其具体公式用L2范式表示如下：
其中，表示标定好的第j个真实关键点的置信图；/>表示标定好的第c个真实的骨架走向，即部分亲和场；W(·)是一个布尔值，当图像中p点位置的标注数据缺失时，其值为0，否则为1；
在整个并行网络结构中，共T阶段，总的损失函数表示为：
(Q3)计算损失函数中每个真实关键点的置信图/>当单幅图像中有k个人，每个人有j个可见关键点时，则每张置信图均有j个峰值；将特征图F传输至并行网络结构中进行关键点检测，会预测出一批关键点置信图，将预测所得的关键点Xj,k和真实的关键点p点经过下式计算可以得到矫正后的关键点：
其中，σ表示峰值蔓延程度；p和Xj,k分别表示真实关键点和并行网络预测关键点的坐标；
将求得的集合通过非极大值抑制来获得最终输出的预测置信图，具体公式如下所示：
(Q4)计算损失函数中真实的骨架走向/>所谓骨架走向即是指两个关键点所连接的二维向量；
对于第k个人骨骼关键点连接方式而言，通过并行网络预测出两个关键点j1和j2的坐标值Xj1,k及Xj2,k，则由这两个关键点组成的一个骨架走向C表示为向量当点p在此骨架上时，只有从点j1指向点j2时，向量/>才为单位向量，否则为零向量，其判别公式如下所示：
骨架走向C上的点p满足下式约束：
0≤v*(p-xj1,k)≤lc,k&|v⊥*(p-xj1,k)|≤σl (13)
lc,k＝||xj2,k-xj1,k||2 (14)
其中，lc,k表示第k个人骨架走向C的长度；v⊥表示垂直于单位向量的矢量，σl表示骨架宽度；如若多个骨架C重合时，则需要利用下式求平均值：
其中，nc(p)表示不为零向量的的个数；
(Q5)通过两个关键点匹配最佳人体骨干连接方式；
对于单人而言，在预测过程中，通过计算Xj1,k及Xj2,k两点之间的亲和域来判别所预测两点是否属于同一个人，具体的计算公式如下所示：
其中，dj1和dj2分别表示Xj1,k及Xj2,k两点所对应的像素点；
当单幅图像中存在k个人时，可利用上式(10)预测出一组离散的关键点集合，但对于这些关键点而言，存在很多连接方式，但并不是所有连接方式均来自同一个人，也就意味着虽然将两个关键点进行了连接，但其并没有组成人体躯干，所以无法用公式(16)来预测；为此，通过下式来匹配关键点，从而形成人体躯干：
其中，Dj1和Dj2分别表示所预测关键点j1和j2的坐标集合，其可以表示为j∈{1,2,...,J}&m∈{1,2,...,Nj}，Nj代表关键点j的个数；/>表示两个预测关键点/>和/>是否可以连接，Emn表示权重，可以由公式(16)求得；
最终通过公式(17)计算得到人体骨骼连接的最佳匹配方案；
步骤三，利用反余弦函数计算主要躯干之间的夹角；
根据步骤二所设计的并行网络结构可以求得13个人体关键点最佳坐标，即鼻子(x1,y1)、脖子(x2,y2)、右肩(x3,y3)、右肘(x4,y4)、右手腕(x5,y5)、左肩(x6,y6)、左肘(x7,y7)、左手腕(x8,y8)、臀部(x9,y9)、右膝(x10,y10)、右脚裸(x11,y11)、左膝(x12,y12)、左脚裸(x13,y13)；同时得到12个人体躯干，包括鼻子与脖子连接的颈部躯干、脖子与右肩连接的右膀躯干、右肩与右肘连接的右大臂躯干、右肘与右手腕连接的右小臂躯干、脖子与左肩连接的左膀躯干、左肩与左肘连接的左大臂躯干、左肘与左手腕连接的左小臂躯干、脖子与臀部连接的上肢躯干、臀部与右膝连接的右大腿躯干、右膝与右脚裸连接的右小腿躯干、臀部与左膝连接的左大腿躯干、左膝与左脚裸连接的左小腿躯干；
为了在最大程度上反应作业人员姿态规范程度，本步骤选择的主要躯干之间的夹角有6个，即颈部与上肢之间的夹角θ1、右大臂与右小臂之间的夹角θ2、左大臂与左小臂之间的夹角θ3、上肢与大腿之间的夹角θ4、右大腿与右小腿之间的夹角θ5及左大腿与左小腿之间的夹角θ6；
(P1)计算颈部与上肢之间的夹角来判别作业状态下头部的下垂程度；根据步骤二预测得到鼻子、颈部和臀部三点的坐标，然后利用反余弦函数求得此夹角θ1的大小，具体的计算公式如下所示：
(P2)计算右大臂与右小臂之间的夹角来判别作业状态下右臂的弯曲程度；根据步骤二预测得到右肩、右肘和右手腕三点的坐标，然后利用反余弦函数求得此夹角θ2的大小，具体的计算公式如下所示：
(P3)计算左大臂与左小臂之间的夹角来判别作业状态下左臂的弯曲程度；根据步骤二预测得到左肩、左肘和左手腕三点的坐标，然后利用反余弦函数求得此夹角θ3的大小，具体的计算公式如下所示：
(P4)计算上肢与大腿之间的夹角来判别作业状态下腰部的弯曲程度；根据步骤二预测得到脖子、臀部、左膝和右膝四点的坐标，然后求得左膝和右膝的中点坐标作为两膝重心，随后利用反余弦函数求得此夹角θ4的大小；
两膝重心坐标记为(x14,y14)，表示为下式：
则：
(P5)计算右大腿与右小腿之间的夹角来判别作业状态下右腿的弯曲程度；根据步骤二预测得到臀部、右膝和右脚裸三点的坐标，然后利用反余弦函数求得此夹角θ5的大小，具体的计算公式如下所示：
(P6)计算左大腿与左小腿之间的夹角来判别作业状态下左腿的弯曲程度；根据步骤二预测得到臀部、左膝和左脚裸三点的坐标，然后利用反余弦函数求得此夹角θ6的大小，具体的计算公式如下所示：
(P7)预先设定本步骤所提出的6个夹角的阈值，即设置颈部与上肢之间的夹角阈值为T1、右大臂与右小臂之间的夹角阈值为T2、左大臂与左小臂之间的夹角阈值为T3、上肢与大腿之间的夹角阈值为T4、右大腿与右小腿之间的夹角阈值为T5及左大腿与左小腿之间的夹角阈值为T6；然后将利用反余弦函数求得的夹角与对应夹角的阈值进行比较，如若对应夹角在其阈值范围内，则认为作业人员该操作姿态较规范，否则认为其不按规范操作。
2.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中对于T1的设置：当T1∈(150°,180°]时，认定为平视操作；当T1∈(120°,150°]时，认定为俯视操作；当T1∈(90°,120°]时，认定为疲劳操作；头部下垂程度T1需根据所属作业要求进行合理设定。
3.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中对于T2和T3的设置：当T2,3∈(120°,180°]时，认定为手臂轻度弯曲操作；当T2,3∈(60°,120°]时，认定为手臂中度弯曲操作；当T2,3∈(0°,60°]时，认定为手臂重度弯曲操作；手臂弯曲程度T2和T3需根据所属作业要求进行合理设定。
4.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中对于T4的设置：当T4∈(170°,180°]时，认定为直立操作；当T4∈(120°,170°]时，认定为轻度弯腰操作；当T4∈(60°,120°]时，认定为中度弯腰或坐立操作，是否为坐立操作将根据T5和T6的设置进一步判断；当T4∈(0°,60°]时，认定为在地面上所进行的复杂且短暂的操作或下蹲操作，是否为下蹲操作将根据T5和T6的设置进一步判断；腰部弯曲程度T4需根据所属作业要求进行合理设定。
5.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法，其特征在于：步骤P7中T5和T6的设置：当T5,6∈(170°,180°]时，认定为直立操作；当T5,6∈(60°,120°]时，认定为坐立操作；当T5,6∈(0°,30°]时，认定为下蹲操作；否则认定其为不规范操作；腿部弯曲程度T5和T6需根据所属作业要求进行合理设定。
CN202010815977.4A 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法 Active CN112084878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010815977.4A CN112084878B (zh) 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010815977.4A CN112084878B (zh) 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法

Publications (2)

Publication Number Publication Date
CN112084878A CN112084878A (zh) 2020-12-15
CN112084878B true CN112084878B (zh) 2024-02-20

Family

ID=73728056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010815977.4A Active CN112084878B (zh) 2020-08-14 2020-08-14 一种用于判别作业人员姿态规范程度的方法

Country Status (1)

Country Link
CN (1) CN112084878B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN113435236A (zh) * 2021-02-20 2021-09-24 哈尔滨工业大学（威海） 居家老人姿态检测方法、系统、存储介质、设备及应用
CN113147176B (zh) * 2021-04-06 2021-11-02 东莞先知大数据有限公司 丝印环节操作规范检测方法
CN113743255A (zh) * 2021-08-18 2021-12-03 广东机电职业技术学院 基于神经网络的儿童坐姿识别纠正方法及系统
CN116246421A (zh) * 2023-05-04 2023-06-09 山东领创信息科技有限公司 一种基于智能穿戴的安全预警方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪（北京）教育科技有限公司 姿态问题检测方法及装置
CN111079554A (zh) * 2019-11-25 2020-04-28 恒安嘉新（北京）科技股份公司 分析学生课堂表现的方法、装置、电子设备、及存储介质
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111160162A (zh) * 2019-12-18 2020-05-15 江苏比特达信息技术有限公司 一种级联的驾驶员人体姿态估计方法
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948590A (zh) * 2019-04-01 2019-06-28 启霖世纪（北京）教育科技有限公司 姿态问题检测方法及装置
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111079554A (zh) * 2019-11-25 2020-04-28 恒安嘉新（北京）科技股份公司 分析学生课堂表现的方法、装置、电子设备、及存储介质
CN111160162A (zh) * 2019-12-18 2020-05-15 江苏比特达信息技术有限公司 一种级联的驾驶员人体姿态估计方法
CN111242004A (zh) * 2020-01-10 2020-06-05 厦门瑞为信息技术有限公司 一种基于电梯监控数据处理的自动告警方法及系统

Also Published As

Publication number Publication date
CN112084878A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112084878B (zh) 一种用于判别作业人员姿态规范程度的方法
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
WO2020107847A1 (zh) 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN110222665A (zh) 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN103793721B (zh) 一种基于区域相关反馈的行人重识别方法及系统
CN112861624A (zh) 一种人体姿态检测方法、系统、存储介质、设备及终端
CN108052896A (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
Li et al. Abnormal sitting posture recognition based on multi-scale spatiotemporal features of skeleton graph
CN109241881A (zh) 一种人体姿态估计方法
CN112800905A (zh) 一种基于rgbd相机姿态估计的引体向上计数方法
CN114898285A (zh) 一种生产行为数字孪生模型的构建方法
CN112101235B (zh) 一种基于老年人行为特征的老年人行为识别检测方法
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质
Almasi et al. Human action recognition through the first-person point of view, case study two basic task
CN115083015A (zh) 一种3d人体姿态估计数据标注方式和对应的模型构建方法
CN112766165A (zh) 基于深度神经网络与全景分割的跌倒预判方法
CN111079481B (zh) 一种基于二维骨架信息的攻击性行为识别方法
CN114202722A (zh) 基于卷积神经网络和多判别特征的跌倒检测方法
Solongontuya et al. Novel side pose classification model of stretching gestures using three-layer LSTM
CN113435293A (zh) 一种基于关节关系的人体姿态估计方法
Jangade et al. Study on Deep Learning Models for Human Pose Estimation and its Real Time Application
CN115937969A (zh) 仰卧起坐考核中目标人物的确定方法、装置、设备及介质
CN115953834A (zh) 面向仰卧起坐的多头注意力姿态估计方法及检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant