CN117237706A - 基于姿态特征的施工人员重度疲劳检测方法 - Google Patents

Abstract

本发明提供了基于姿态特征的施工人员重度疲劳检测方法，包括以下步骤：S1、自建施工人员过度疲劳数据集；S2、设计多个与施工人员疲劳作业相关的特征表示；S3、根据疲劳特征的变化，计算疲劳特征的离散程度；S4、将具有时间特性的疲劳特征的变化序列，输入至长短期记忆递归神经网络，挖掘施工人员的疲劳状态信息，最终分类预测输出施工人员的疲劳状态。引入人体姿态变化作为施工人员疲劳特征提取的依据，通过分析施工人员在作业过程中的姿态变化对施工人员的疲劳状态进行预测，克服了面部遮挡以及头部姿态变化对疲劳特征提取的影响。

Description

基于姿态特征的施工人员重度疲劳检测方法

技术领域

本发明涉及疲劳检测技术领域，尤其涉及基于姿态特征的施工人员重度疲劳检测方法。

背景技术

疲劳是人体正常的生理反应，只要休息调节适当，本身并没有严重危害性。但是在各个施工生产事故原因中，疲劳因素成为了主要的因素。在检测施工人员疲劳的方法中，通常采用两种检测方法，一种是基于生理信号的疲劳检测方法，一种是基于计算机视觉的疲劳检测方法。

基于生理信号的疲劳检测方法，生理信号是通过穿戴在施工人员身体上的电极或传感器进行采集，长时间使用会导致采集信号存在些许误差，数据不精准。对于工地上强制限定工人佩戴传感器时，他们是没有选择余地的。

基于计算机视觉的疲劳检测方法，在检测过程中，如果施工人员面部被遮挡或者头部姿态变化较大时，会因丢失面部关键点造成无法提取疲劳特征，使疲劳检测的准确率和鲁棒性受到限制。

发明内容

针对现有技术中所存在的不足，本发明提供了基于姿态特征的施工人员重度疲劳检测方法，其解决了现有技术中存在的基于生理信号的疲劳检测方法会导致采集信号存在些许误差，数据不精准，基于计算机视觉的疲劳检测方法会因丢失面部关键点造成无法提取疲劳特征，使疲劳检测的准确率和鲁棒性受到限制的问题。

根据本发明的一个技术方案，基于姿态特征的施工人员重度疲劳检测方法，包括以下步骤：

S1、自建施工人员过度疲劳数据集，根据卡罗琳斯卡嗜睡量表的评价标准，定义“过度疲劳”和“非过度疲劳”两种状态类别，采集施工人员在不同状态类别下的作业数据及自我评估数据，构建由若干个“非过度疲劳状态”和“过度疲劳状态”类型视频片段组成的数据集；

S2、设计多个与施工人员疲劳作业相关的特征表示，通过单级多人关键点检测器YOLOv7-Pose网络获取空间特征，即施工人员骨架关键点及其坐标，将与疲劳程度相关性高的人体关键点模块化，以计算施工人员的疲劳特征；

S3、根据疲劳特征的变化，计算疲劳特征的离散程度，即D_S，D_L，D_θ，反映施工人员疲劳状态的变化，离散程度的计算通过固定滑动窗口区间长度Δ对疲劳特征进行等分，每滑动一定的滑动步长，依据每一个窗口内的数据，计算该窗口内的数据离散度，其计算公式为：

其中，D_p为不同特征下的离散程度，Δ为滑动窗口长度，在数据长度为Δ的滑动窗口内， 分别为不同疲劳特征的单个值和在Δ的滑动窗口内的平均值；

S4、将具有时间特性的疲劳特征D_p＝[D_S，D_L，D_θ]的变化序列，输入至长短期记忆递归神经网络，挖掘施工人员的疲劳状态信息，最终分类预测输出施工人员的疲劳状态。

更进一步的，在步骤S2中，人体关键点模块化需要对人体姿态关键点进行分组，具体包括头部模块、手肘模块、胯部模块及脚踝模块。

更进一步的，结合四个模块的中心点建立疲劳特征即P＝[S，L，θ]，其疲劳特征包括模块中心面积S、人体重心离地的距离L及人体中心线与地面之间的夹角，可使选取的特征更好地反应施工人员的精神状态，其计算公式为：

其中，(C_x,C_y)为每一个模块的中心点，(X_i，Y_i)为模块内的关键点坐标，N为模块中包含关键点的个数。

更进一步的，利用模块中心面积的变化可以反应施工人员不同精神状态下的肢体运动情况，模块中心面积S，计算公式为：

其中，(x,y)为每一个模块的中心点。

更进一步的，施工人员在作业时人体重心会发生变化，将人体的胯部模块作为人体重心的代表特征，以胯部模块中心点(x,y)的纵向坐标y，构建人体重心离地的距离L，L的变化大小，即可反映人体重心移动情况：

L＝y。

更进一步的，结合人体的头部模块中心点和人体的脚踝模块中心点，计算人体中心线与地面之间的夹角θ，之后对夹角θ与施工人员的精神状态结合并分析，其计算公式为：

其中，(x_i，y_i)为头部模块中心点，(x_j，y_j)为脚踝模块中心点。

相比于现有技术，本发明具有如下有益效果：

本发明以施工人员人体姿态为研究对象，分析作业动作变化与施工人员疲劳状态之间的联系，提出基于姿态特征的施工人员过度疲劳检测模型，为施工人员过度疲劳状态的预测提供更加准确的数据支撑，引入人体姿态变化作为施工人员疲劳特征提取的依据，通过分析施工人员在作业过程中的姿态变化对施工人员的疲劳状态进行预测，克服了面部遮挡以及头部姿态变化对疲劳特征提取的影响。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明实施例流程示意图；

图2为本发明实施例疲劳特征中心点示意图。

具体实施方式

下面结合附图及实施例对本发明中的技术方案进一步说明。

本发明实施例提出了基于姿态特征的施工人员重度疲劳检测方法，如图1～2所示，包括以下步骤：

S1、自建施工人员过度疲劳数据集，根据卡罗琳斯卡嗜睡量表(KSS)的评价标准，定义“过度疲劳”和“非过度疲劳”两种状态类别，采集施工人员在不同状态类别下的作业数据及自我评估数据，构建由若干个“非过度疲劳状态”和“过度疲劳状态”类型视频片段组成的数据集；

S2、设计多个与施工人员疲劳作业相关的特征表示，通过单级多人关键点检测器YOLOv7-Pose网络获取空间特征，即施工人员骨架关键点及其坐标，将与疲劳程度相关性高的人体关键点模块化，以计算施工人员的疲劳特征；

S3、根据疲劳特征的变化，计算疲劳特征的离散程度，即D_S，D_L，D_θ，反映施工人员疲劳状态的变化，离散程度的计算通过固定滑动窗口区间长度Δ对疲劳特征进行等分，每滑动一定的滑动步长，依据每一个窗口内的数据，计算该窗口内的数据离散度，其计算公式为：

其中，D_p为不同特征下的离散程度，Δ为滑动窗口长度，在数据长度为Δ的滑动窗口内， 分别为不同疲劳特征的单个值和在Δ的滑动窗口内的平均值；

S4、将具有时间特性的疲劳特征D_p＝[D_S，D_L，D_θ]的变化序列，输入至长短期记忆递归神经网络，挖掘施工人员的疲劳状态信息，最终分类预测输出施工人员的疲劳状态。

本发明以施工人员人体姿态为研究对象，分析作业动作变化与施工人员疲劳状态之间的联系，提出基于姿态特征的施工人员过度疲劳检测模型。首先，以单级多人关键点检测器YOLOv7-Pose网络定位施工人员骨架关键点(空间特征)；其次，分析作业过程中人体姿态的变化特点，依据“高内聚、低耦合”的原则将人体关键点模块化，以此为基础设计多个与施工人员疲劳作业相关的特征表示；最后，引入滑动窗口计算各疲劳特征的离散程度(时间特征)，将其作为长短期记忆递归神经网络(Long Short Term Memory，LSTM)的输入，从而实现对施工人员过度疲劳状态的预测。

所发明引入人体姿态变化作为施工人员疲劳特征提取的依据，通过分析施工人员在作业过程中的姿态变化对施工人员的疲劳状态进行预测，克服了面部遮挡以及头部姿态变化对疲劳特征提取的影响。

优选的，如图2所示，不同模块之间的运动规律有较低的耦合性，但模块内部各关键点的语义信息具有高度的内聚性，其中心点的运动与所在模块的整体保持高度一致。故结合模块的中心点建立疲劳特征，可使选取的特征更好地反应施工人员的精神状态，其计算公式为：

其中，(C_x,C_y)为每一个模块的中心点，(X_i，Y_i)为模块内的关键点坐标，N为模块中包含关键点的个数。

由四个模块中心点，即头部模块、手肘模块、胯部模块与脚踝模块，围成的模块中心面积在施工人员作业时不停变化，计算出模块中心面积并将其作为疲劳特征之一，利用模块中心面积的变化可以反应施工人员不同精神状态下的肢体运动情况。模块中心面积S，计算公式为：

其中，(x,y)为每一个模块的中心点，

考虑到施工人员作业时人体重心的变化，将人体的胯部模块作为人体重心的代表特征。以胯部模块中心点(x,y)的纵向坐标y，构建人体重心离地的距离L，L的变化大小，即可反映人体重心移动情况：

L＝y

施工人员作业过程中，由于疲劳的状态会导致身体倾斜，为了反映人体身体倾斜的特征，结合人体的头部模块中心点和人体的脚踝模块中心点，计算人体中心线与地面之间的夹角θ，之后对夹角θ与施工人员的精神状态结合并分析，其计算公式为：

其中，(x_i，y_i)为头部模块中心点，(x_j，y_j)为脚踝模块中心点。

最终，获得疲劳特征结果P＝[S，L，θ]，其结果数值的大小会受到施工人员作业的姿态移动影响。

根据疲劳特征的变化，计算疲劳特征的离散程度，即D_S，D_L，D_θ，反映施工人员疲劳状态的变化。离散程度的计算通过固定滑动窗口区间长度Δ对疲劳特征进行等分，每滑动一定的滑动步长，依据每一个窗口内的数据，计算该窗口内的数据离散度，其计算公式为：

其中，P＝[S，L，θ]为不同疲劳特征，包括模块中心面积S，人体重心离地的距离L，人体中心线与地面之间的夹角θ；D_p为不同特征下的离散程度；Δ为滑动窗口长度；在数据长度为Δ的滑动窗口内， 分别为不同疲劳特征(S，L，θ)的单个值和在Δ的滑动窗口内的平均值。

将具有时间特性的疲劳特征D_p＝[D_S，D_L，D_θ]的变化序列，输入至长短期记忆递归神经网络(Long Short Term Memory，LSTM)，挖掘施工人员的疲劳状态信息，最终分类预测输出施工人员的疲劳状态(过度疲劳/非过度疲劳)。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.基于姿态特征的施工人员重度疲劳检测方法，其特征在于，包括以下步骤：

S1、自建施工人员过度疲劳数据集，根据卡罗琳斯卡嗜睡量表的评价标准，定义“过度疲劳”和“非过度疲劳”两种状态类别，采集施工人员在不同状态类别下的作业数据及自我评估数据，构建由若干个“非过度疲劳状态”和“过度疲劳状态”类型视频片段组成的数据集；

S2、设计多个与施工人员疲劳作业相关的特征表示，通过单级多人关键点检测器YOLOv7-Pose网络获取空间特征，即施工人员骨架关键点及其坐标，将与疲劳程度相关性高的人体关键点模块化，以计算施工人员的疲劳特征；

S3、根据疲劳特征的变化，计算疲劳特征的离散程度，即D_S，D_L，D_θ，反映施工人员疲劳状态的变化，离散程度的计算通过固定滑动窗口区间长度Δ对疲劳特征进行等分，每滑动一定的滑动步长，依据每一个窗口内的数据，计算该窗口内的数据离散度，其计算公式为：

其中，D_p为不同特征下的离散程度，Δ为滑动窗口长度，在数据长度为Δ的滑动窗口内， 分别为不同疲劳特征的单个值和在Δ的滑动窗口内的平均值；

S4、将具有时间特性的疲劳特征D_p＝[D_S，D_L，D_θ]的变化序列，输入至长短期记忆递归神经网络，挖掘施工人员的疲劳状态信息，最终分类预测输出施工人员的疲劳状态。

2.如权利要求1所述的基于姿态特征的施工人员重度疲劳检测方法，其特征在于，在步骤S2中，人体关键点模块化需要对人体姿态关键点进行分组，具体包括头部模块、手肘模块、胯部模块及脚踝模块。

3.如权利要求2所述的基于姿态特征的施工人员重度疲劳检测方法，其特征在于，结合四个模块的中心点建立疲劳特征即P＝[S，L，θ]，其疲劳特征包括模块中心面积S、人体重心离地的距离L及人体中心线与地面之间的夹角，可使选取的特征更好地反应施工人员的精神状态，其计算公式为：

其中，(C_x,C_y)为每一个模块的中心点，(X_i，Y_i)为模块内的关键点坐标，N为模块中包含关键点的个数。

4.如权利要求3所述的基于姿态特征的施工人员重度疲劳检测方法，其特征在于，利用模块中心面积的变化可以反应施工人员不同精神状态下的肢体运动情况，模块中心面积S，计算公式为：

其中，(x,y)为每一个模块的中心点。

5.如权利要求3所述的基于姿态特征的施工人员重度疲劳检测方法，其特征在于，施工人员在作业时人体重心会发生变化，将人体的胯部模块作为人体重心的代表特征，以胯部模块中心点(x,y)的纵向坐标y，构建人体重心离地的距离L，L的变化大小，即可反映人体重心移动情况：

L＝y。

6.如权利要求3所述的基于姿态特征的施工人员重度疲劳检测方法，其特征在于，结合人体的头部模块中心点和人体的脚踝模块中心点，计算人体中心线与地面之间的夹角θ，之后对夹角θ与施工人员的精神状态结合并分析，其计算公式为：

其中，(x_i，y_i)为头部模块中心点，(x_j，y_j)为脚踝模块中心点。