CN111914807A

CN111914807A - 一种基于传感器和骨架信息的矿工行为识别方法

Info

Publication number: CN111914807A
Application number: CN202010833944.2A
Authority: CN
Inventors: 乔铁柱; 陈宝全
Original assignee: Taiyuan University of Technology
Current assignee: Taiyuan University of Technology
Priority date: 2020-08-18
Filing date: 2020-08-18
Publication date: 2020-11-10
Anticipated expiration: 2040-08-18
Also published as: CN111914807B

Abstract

本发明一种基于传感器和骨架信息的矿工行为识别方法，属于矿工行为识别技术领域；所要解决的技术问题为：提供一种基于传感器和骨架信息的矿工行为识别方法的改进；解决上述技术问题采用的技术方案为：将矿工运动时小腿和腰部的所佩戴的传感器的加速度信息和骨架坐标信息融合生成运动信息矩阵，并通过CNN‑LSTM组合神经网络来实现行为的识别，通过两种数据量的结合来提高行为识别的准确率；本发明应用于煤矿。

Description

一种基于传感器和骨架信息的矿工行为识别方法

技术领域

本发明一种基于传感器和骨架信息的矿工行为识别方法，属于矿工行为识别方法技术领域。

背景技术

我国是煤炭生产及消耗大国，随着国内煤矿机械化和智能化程度的提高，煤矿生产安全状况得到改善，但煤矿事故仍时有发生。而据统计和分析，煤矿事故的发生大多是由于矿工违规行为导致的。因此准确、高效的监控和识别矿工的行为，对降低煤矿事故发生率、保障企业财产安全十分重要。

现有技术中，对人体行为的识别包括很多方法，其中以基于RGB图像的深度学习方法和基于骨架信息的深度学习方法为主，但由于煤矿井下的特殊环境，大多数对矿工行为的识别主要采用的是基于RGB图像提取的特征方法，这类方法通过提取图像特征再使用卷积神经网络来实现行为的识别。该类方法随着深度学习的发展，准确率不断提高，但会受到井下光照等因素的影响，识别率降低，且随着网络深度的加深，所消耗的资源就越大，从而导致实时性较差。而基于骨架信息的行为识别多使用Kinect深度相机来获取数据，虽然Kinect深度相机内自带三轴加速度传感器，但其主要目的是倾斜补偿，以更准确地获取骨架信息。当这种方法应用于煤矿环境的矿工时，可能会因环境影响而使骨架信息不准确，申请号为CN201910633168.9的专利采用仅通过骨架信息进行行为识别。

因此，需要提供一种能够基于传感器和骨架信息的矿工行为识别方法，通过在矿工身上设置三轴加速度传感器并与骨架信息结合实现行为识别，可以很大程度上克服环境因素的影响，与Kinect深度相机的骨架信息形成互补。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于传感器和骨架信息的矿工行为识别方法的改进。

为了解决上述技术问题，本发明采用的技术方案为：一种基于传感器和骨架信息的矿工行为识别方法，包括如下步骤：

步骤一：数据的获取：通过传感器采集工人动作时的运动信息，通过深度相机采集工人动作同时的骨架信息，将所述运动信息和骨架信息发送至微控制器，所述微控制器提取骨架信息的关键点的空间坐标（xi，yi，zi）；

步骤二：动作信息矩阵的建立及数据集的建立：将步骤一中采集的工人每个动作的各帧运动信息及骨架信息拼接生成每个动作的运动信息矩阵Xi，将所述运动信息矩阵Xi标注动作标签构成动作数据（Xi，Yi），Yi为工人运动动作的名称标签，由不同的工人多次重复需要识别的动作生成训练数据集{Xn，Yn}，n为需要识别的动作数；

步骤三：深度学习网络模型的建立：

步骤3.1：特征提取网络CNN层的建立；

步骤3.2：分类识别层LSTM层的建立；

步骤四：模型的训练：

步骤4.1：通过卷积网络部分提取训练集的特征，将所述训练集的特征输入到LSTM网络中，采用Adam作为优化函数，设置学习率，并随着网络的训练，不断调整学习率，通过交叉验证的方法来测试网络的性能；

步骤4.2：使用测试集测试训练好的网络模型；

步骤五：矿工行为的识别：将运动信息矩阵Xi送入步骤四中训练好的网络模型中，通过LSTM网络输出动作类型。

所述步骤一中的运动信息通过安装在工人腰部的第一传感器和安装在工人小腿部位的第二传感器采集，所述运动信息包括加速度信息、陀螺仪信息、欧拉角信息；

所述骨架信息通过安装在矿井中工作场景的深度相机采集。

所述步骤二的具体步骤为：

步骤2.1：将每一帧骨架信息对应的20个关键点坐标进行预处理，包括：1）数据去噪，2）坐标变换，3）姿态归一化，将预处理后的坐标展开得到一帧骨架信息矩阵Ai=[x1,x2,……,x60]，上式中x1、x2、x3为第1个关键点的空间坐标,x4、x5、x6第2个关键点的空间坐标，依次类推，x58、x59、x60为第20个关键点的空间坐标；

步骤2.2：将与骨架信息对应帧的加速度传感器数据Bi=[a1,b1,c1,a2,b2,c2]与Ai拼接，得到Ci=[x1,x2,…x60,a1,b1,c1,a2,b2,c2]，上式中：a1为第一传感器的加速度信息，b1为第一传感器的陀螺仪信息，c1为第一传感器的欧拉角信息，a2为第二传感器的加速度信息，b2为第二传感器的陀螺仪信息，c2为第二传感器的欧拉角信息；

步骤2.3：将一个动作的所有Ci合并为一个矩阵Xi’=[C1,C2,C3,…,Ck]，并随机对Xi’抽取的信息得到运动信息矩阵Xi，其中信息抽取率为90%-100%的范围，其中k表示一个动作所包含的帧数。

所述步骤3.1中的特征提取网络CNN层的建立的具体步骤为：

构建一个输入为0.9k*66的二维卷积神经网络，所述二维卷积神经网络包括两个卷积层、一个最大池化层、两个Dropout层和一个全连接层，其中0.9为从Xi’中随机抽取的数量的比例，k为一个动作所包含的帧数，66为每个动作帧矩阵中Ci包含的元素数；

两个卷积层的参数分别为：32个2*2的卷积核，Stride=1，Padding=1；32个1*1的卷积核，Stride=1，Padding=1；

最大池化层的参数为32个2*2的卷积核，Stride=2，Padding=SAME；

两个Dropout层分别位于第二个卷积层和全连接层之前，Dropout比例为0.2-0.6；

全连接层的激活函数为RELU，并将全连接层的输出作为LSTM网络部分的输入。

所述步骤3.2中的分类识别层LSTM层的建立的具体步骤为：

构建一个由两层LSTM单元组成的LSTM网络，所述LSTM网络的输入是卷积网络部分提取训练集的特征，输出为动作类别。

所述训练集数据的70%-80%用于训练，20%-30%用于测试。

所述加速度传感器数据通过无线模块与远程控制室的控制终端无线连接，所述无线模块具体采用ZigBee无线模块。

所述骨架信息的关键点具体设置有20个。

本发明相对于现有技术具备的有益效果为：本发明将传统的基于RGB图像的行为识别方法转变为基于三轴加速度传感器和Kinect骨架坐标信息的运动信息识别方法，从而克服RGB图像受光照遮挡等因素引起的准确率下降的问题，提高了行为识别的准确率；将LSTM网络与CNN网络相融合，由于动作的实现具有前后的关联，而LSTM网络单元具有能够处理和联系长时间连续输入的前后信息关系的特性，因此融合的网络模型更加适合用于行为的识别，比仅用CNN网络的识别模型更加可靠；本发明使用了基于三轴加速度传感器和Kinect深度相机获得的运动信息融合矩阵用于CNN-LSTM网络，实现矿工的行为识别，较仅基于骨架的行为识别方法，识别结果更具鲁棒性。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明的行为识别方法流程图；

图2为本发明的预处理后的骨架关节点的结构示意图；

图3为本发明建立CNN-LSTM网络结构的流程图。

具体实施方式

如图1至图3所示，本发明一种基于传感器和骨架信息的矿工行为识别方法，通过基于三轴加速度传感器和骨架信息的矿工行为识别方法并使用CNN-LSTM混合网络提取特征并识别行为来解决现有方法准确率受光照、遮挡等因素的影响和实时性无法满足要求的缺点。

本发明一种基于传感器和骨架信息的矿工行为识别方法，包括如下步骤：

步骤三：深度学习网络模型的建立：

步骤3.1：特征提取网络CNN层的建立；

步骤3.2：分类识别层LSTM层的建立；

步骤四：模型的训练：

步骤4.2：使用测试集测试训练好的网络模型；

所述骨架信息通过安装在矿井中工作场景的深度相机采集。

所述步骤二的具体步骤为：

所述步骤3.1中的特征提取网络CNN层的建立的具体步骤为：

最大池化层的参数为32个2*2的卷积核，Stride=2，Padding=SAME；

所述步骤3.2中的分类识别层LSTM层的建立的具体步骤为：

所述训练集数据的70%-80%用于训练，20%-30%用于测试。

所述骨架信息的关键点具体设置有20个。

如图1所示，为本发明方法实现矿工行为识别的流程图，本发明提供的基于加速度传感器和骨架信息的矿工行为识别，其主要包括4个步骤：

S1：数据集的建立；S2：深度学习网络模型的建立；S3：模型的训练；S4：矿工行为的识别。

进一步，所述步骤S1的具体内容为：

S11：通过安装在工人腰部的第一传感器和小腿部位的第二传感器采集工人某一动作的两路运动信息，运动信息其包括：加速度信息，陀螺仪信息和欧拉角信息，第以传感器和第二传感器具体为三轴加速度传感器；同时通过Kinect深度相机采集相同时间内的骨架信息并提取骨架包含的20个关键节点的空间坐标（xi，yi，zi），该组空间坐标的获得是以Kinect感应器为原点， Kinect感应器镜头的朝向为z轴，以Kinect感应器朝向向上延伸为y轴正半轴，以Kinect感应器朝向向左延伸建立的空间坐标；将上述获得的每个动作的各帧信息拼接生成一个动作的信息矩阵Xi并标注动作标签构成动作数据（Xi，Yi），其中Xi表示某一运动的全部信息生成的矩阵，Yi表示工人运动动作的名称标签。其中加速度传感器的信息通过ZigBee模块传输到远程控制室内的电脑的接收端。

所采用的ZigBee模块是一种低功耗、低速率的无线传输技术，由于加速度传感器体积小且数据量低，因此结合ZigBee模块依靠电池供电可连续工作数月，在实际工人佩戴时不易产生不适感且性能稳定持久。

S12：由不同的工人多次重复需要识别的动作生成训练数据集{Xn，Yn}，并将数据集的80%用于训练，20%用于测试，或者将数据集的70%用于训练，30%用于测试，其中n取决于需要识别的动作数。

目前，现有的基于骨架的公开数据集可达几十种，但同时不包含基于加速度的运动信息，而且几乎没有围绕矿工行为而建立的数据库，因此在实现本方法时，需要自己建立满足需求的数据库。矿工在井下生产工作时，会作出许多动作，但具有监视意义的动作主要是违反安全规程的违规动作，因此在建立数据集时，在保证安全的情况下可尽可能模仿矿工在实际生产过程中的危险行为，如：攀爬割煤机、攀爬皮带运输机、脱安全帽、坐下休息等行为。

进一步，所述步骤S11中包含以下步骤：

S111：将每一帧骨架对应的20个关键点坐标进行预处理包括：1）数据去噪2）坐标变换3）姿态归一化，将预处理后的坐标展开得到一帧骨架信息矩阵Ai=[x1,x2,…..,x60]，上式中每个骨骼关键点坐标将展开为3个点即xi，xi+1，xi+2，因此20个骨骼关键点将展开为x1至x60这60个点。。

如图2所示，为本发明经预处理后的骨架信息示意图，其中黑点以Ji标号，表示骨架信息的参照点；灰点以Ri标号，表示骨架参照点的相关点。图2中R1、R2、R3以J5为参照点，R4、R5、R6以J6为参照点，R7、R8、R9以J7为参照点，R10、R11、R12以J8为参照点。通过这些参照点重新计算Ri的坐标并归一化得到骨架信息矩阵Ai。

其中，20个骨架关键点具体为：J1：头，J2：胸腔，J3：脊椎中央，J4：盆骨，J5：右肩胛骨，J6：左肩胛骨，J7：右腿根部，J8：左腿根部，R1：右臂肘关节，R2：右臂腕关节，R3：右手，R4：左臂肘关节，R5：左臂腕关节，R6：左手，R7：右腿膝关节，R8：右脚腕关节，R9：右脚，R10：左腿膝关节，R11：左脚腕关节，R12：左脚。

S112：将对应帧的加速度传感器数据Bi=[a1,b1,c1,a2,b2,c2]与Ai拼接，得到Ci=[x1,x2,…x60,a1,b1,c1,a2,b2,c2]，a1为第一传感器的加速度信息，b1为第以传感器的陀螺仪信息，c1为第一传感器的欧拉角信息，a2为第二传感器的加速度信息，b2为第二传感器的陀螺仪信息，c2为第二传感器的欧拉角信息；

S113：将一个动作的所有Ci合并为一个矩阵Xi’=[C1,C2,C3,…,Ck]，并随机对Xi’抽取90%的信息得到Xi，其中k表示一个动作所包含的帧数，同时保证0.9k取整。

如图3所示为本发明所建立的CNN-LSTM网络结构图，其建立过程如步骤S2所述，其主要分为两个部分：

第一步是特征提取网络CNN层的建立。

构建一个输入为0.9k*66的二维卷积神经网络，该网络包含两个卷积层和一个最大池化层、两个Dropout层和一个全连接层，其中两个卷积层的参数分别为：32个2*2的卷积核，Stride=1，Padding=1；32个1*1的卷积核，Stride=1，Padding=1；最大池化层的参数为32个2*2的卷积核，Stride=2，Padding=SAME；两个Dropout层分别位于第二个卷积层和全连接层之前，本实施例中的Dropout比例为0.2，并在测试时，不断调整该数值，以得到最佳效果，Dropout的一般范围可在0.2-0.6之间，全连接层的激活函数为RELU，并将全连接层的输出作为LSTM网络部分的输入。

0.9k*66的二维卷积神经网络中的0.9表示从Xi中随机抽取的数量的比例，k表示一个动作所包含的帧数，66表示每个动作帧矩阵中Ci 包含的元素数，其中采用Dropout可保证在数据集不大的情况下抑制过拟合。

第二步是分类识别层LSTM层的建立。

构建一个由两层LSTM单元组成的LSTM网络，其输入是卷积层提取的特征，输出为动作类别。

进一步，所述步骤S3的具体内容为：

S31：由卷积网络部分提取训练集的特征，并输入至LSTM网络部分，其中采用Adam作为优化函数，设置学习率并随着网络的训练，不断调整学习率，通过交叉验证的方法来测试网络的性能。由于学习率是神经网络训练中的超参数，其初始数值过大时可能错过最优点。而数值过小时则会使网络收敛速度过慢，因此学习率的具体数值需要在实验时依网络的收敛情况来确定，本实施例中的学习率为α=0.0001。

S32：使用测试集测试训练好的网络模型。

进一步，所述步骤S4包括以下步骤：

S41：将两个三轴加速度传感器分别安装在工人的腰部和小腿部，并将Kinect相机安装在工人工作场景的合适位置，当工人作业时，可获得每帧动作对应的信息矩阵Ci并生成动作的运动信息矩阵Xi。

S42：将获得的运动信息矩阵Xi送入训练好的网络模型中，由LSTM网络输出动作类型。

通过以上步骤，便可在井下监测和识别矿工的行为，其中可重点监测矿工的违规行为，已达到降低煤炭生产安全事故的发生率。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：包括如下步骤：

步骤二：动作信息矩阵的建立及数据集的建立：将步骤一中采集的工人每个动作的各帧运动信息及骨架信息拼接生成每个动作的运动信息矩阵Xi，将所述运动信息矩阵Xi标注动作标签构成动作数据（Xi，Yi），Yi为工人运动动作的名称标签，由不同的工人多次重复需要识别的动作生成训练数据集{

,

}，n为需要识别的动作数；

步骤三：深度学习网络模型的建立：

步骤3.1：特征提取网络CNN层的建立；

步骤3.2：分类识别层LSTM层的建立；

步骤四：模型的训练：

步骤4.2：使用测试集测试训练好的网络模型；

2.根据权利要求1所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述步骤一中的运动信息通过安装在工人腰部的第一传感器和安装在工人小腿部位的第二传感器采集，所述运动信息包括加速度信息、陀螺仪信息、欧拉角信息；

所述骨架信息通过安装在矿井中工作场景的深度相机采集。

3.根据权利要求2所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述步骤二的具体步骤为：

4.根据权利要求3所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述步骤3.1中的特征提取网络CNN层的建立的具体步骤为：

最大池化层的参数为32个2*2的卷积核，Stride=2，Padding=SAME；

5.根据权利要求4所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述步骤3.2中的分类识别层LSTM层的建立的具体步骤为：

6.根据权利要求5所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述训练集数据的70%-80%用于训练，20%-30%用于测试。

7.根据权利要求6所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述加速度传感器数据通过无线模块与远程控制室的控制终端无线连接，所述无线模块具体采用ZigBee无线模块。

8.根据权利要求7所述的一种基于传感器和骨架信息的矿工行为识别方法，其特征在于：所述骨架信息的关键点具体设置有20个。