CN110738163A - 一种矿井人员违规动作识别系统 - Google Patents

Abstract

本发明涉及一种矿井人员违规动作识别系统，属于行为识别技术领域。该系统包括：动作捕捉模块，用于利用Kinect体感传感器获取矿井人员的人体三维骨骼点数据，并对人体三维骨骼点数据进行均值滤波处理；模板训练模块，用于采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；模板加载模板，用于接收并存储训练得到的违规动作模板；动作识别模块，用于采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将相应的动作判定为违规动作。本发明解决了目前对矿井人员行为的主流识别方式存在奇异点以及时间复杂度问题。

Description

一种矿井人员违规动作识别系统

技术领域

本发明涉及行为识别技术领域，尤其涉及一种矿井人员违规动作识别系统。

背景技术

煤矿井下是一个环境多变复杂，工作环节较多，作业人员数量较多，设备庞大集中的综合性危险系数较大的产业，每时每刻都可能出现安全隐患，容易发生安全事故。通过对海量的煤矿安全事故案例分析可得，由于煤矿技术原因引起的灾害事故在逐年减少，近些年来发生的重特大事故最根本的原因都是在于作业人员的违规行为，它成为了煤矿灾害事故发生的主要原因。通过从大量的煤矿死亡事故统计中可以发现，80％以上的死亡事故都是由于作业人员的不安全行为所导致的。如今我国绝大部分煤炭企业在井下已经安装了视频监控系统，调度中心的工作人员通过传输到地面上的监控视频查看以及调度井下的生产情况。目前井下作业人员的违规行为还是通过传统的RGB摄像头进行监控，监控的方式还是依靠人工进行监控。这样就会产生两个很突出的问题，第一是随着监控时间的增加，监控人员可能会产生视觉疲劳，由于井下工作人员的违规行为可能只是一瞬间，监控人员可能无法发现违规行为，这样很可能会导致安全事故的发生；第二是由于井下使用传统的RGB摄像头进行视频监控，由于井下某些区域照度极低或是无光源，那么监控人员将根本无法在该区域的监控视频中发现井下工作人员的违规行为，这便产生了矿井安全监控的一个监控盲点。

人体的行为识别总体来说有很多不同种类的识别方式，目前有基于传统视频图像和基于骨骼点两种主流的识别方式。视频图像的识别方式的主要特别之处有，从视频图像中提取出像素点，然后再提取需要的特征，进行特征的降维，使用机器学习的方式获得行为识别结果。而基于骨骼点的识别方式，首先是取出骨骼点数据，然后使用骨骼点数据时空间的变化和骨骼点数据间的数学关系，降维、滤波由描述算子获得的骨骼表示，然后整合成所需的特征向量，最后使用机器学习算法训练得到行为识别结果。目前主流识别方式存在以下缺陷：

第一，井下某些地方照度极低，普通摄像头无法进行违规行为识别。

第二，使用动态时间规整(Dynamic Time Warping，DTW)算法进行违规行为识别，会出现奇异点问题及时间复杂度问题。奇异点问题会影响到识别的准确率，时间复杂度问题会影响到识别的时间。

发明内容

鉴于上述的分析，本发明旨在提供一种矿井人员违规动作识别系统，用以解决目前针对井下作业人员行为的主流识别方式存在奇异点导致识别的准确率降低，以及时间复杂度导致识别时间过长的问题。

本发明的目的主要是通过以下技术方案实现的：

本发明提供了一种矿井人员违规动作识别系统，包括动作捕捉模块、模板训练模块、模板加载模块和动作识别模块；所述动作捕捉模块，包括Kinect体感传感器和滤波处理模块，Kinect体感传感器用于获取矿井人员的人体三维骨骼点数据，滤波处理模块用于对所述人体三维骨骼点数据进行均值滤波处理；所述模板训练模块，用于采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；所述模板加载模板，用于接收并存储训练得到的所述违规动作模板；所述动作识别模块，用于采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。

进一步地，所述动作识别模块包括算法切换器、数据比对器、动作判定器；所述算法切换器，用于根据用户需求在分段线性逼近结合自适应权重动态时间规整算法和动态全局规划算法之间进行择一切换；所述数据比对器，用于根据所述算法切换器切换选定的算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对；所述动作判定器，用于根据所述数据比对一致的帧数不低于指定阈值，将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。

进一步地，所述数据对比器采用分段线性逼近结合自适应权重动态时间规整算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，执行的流程包括：通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列；通过最小化时间序列的局部距离来判定所述待测试的人体三维骨骼点数据与所述违规动作模板相似性。

进一步地，通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列，具体包括：首先将整个原始时间序列近似整合成一条直线，把距离直线最远的点当作划分点，分成两部分后分别合成直线，再次选择最远点作为划分点，分成两部分后，反复进行直到所有部分最远的点小于一定阈值后，根据分段的划分点得到每段时间序列；所述时间序列的公式如下：

其中，x_a(1≤a≤p)表示第a段分段的时间下标，这其中P代表分段的数目，Q_PLA是原始非线性时间序列，由每段时间序列线段的起点及终点组成，S_i为分段线性逼近后的每段时间序列，1≤i≤P。

进一步地，所述时间序列的局部距离的计算公式如下：

l(p_m,d_n)＝(M_sw(p_m)-M_sw(d_n))²；

其中，p_m为待测试的人体三维骨骼点数据的时间序列，d_n为所述违规动作模板的时间序列，M_sw为时间序列的梯度信息。

进一步地，所述时间序列的梯度信息的计算公式分别为：

其中，max(|Δp|)和max(|Δd|)分别表示时间序列p_m和d_n中全部时间点的最大梯度，p_m-p_m-1和d_n-d_n-1分别表示p_m和d_n的梯度，m和n分别表示时间序列上的点，x和y分别表示时间序列的长度。

进一步地，所述数据对比器采用动态全局规划算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，执行的流程包括：将全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，通过最优匹配路径找到待测试的特征矢量和违规动作模板矢量的最大行为相似来完成行为识别。

进一步地，所述静态平行四边形为斜率1/2及2的平行四边形，所述动态平行四边形斜率的大小由待测试的特征矢量与违规动作模板矢量的比值决定。

进一步地，所述待测试的特征矢量长度及违规动作模板矢量长度需满足以下公式：

其中，X为待测试的特征矢量长度，Y为违规动作模板矢量长度，动态平行四边形为斜率a和1/a的平行四边形。

进一步地，所述最优匹配路径在动态平行四边形起点和终点的连线上，第一次动作的特征参数作为待测试的特征矢量，第二次动作的特征参数作为违规动作模板矢量，根据如下公式进行匹配：

其中，T₁(A_j)和T₂(A_j)为部分行为特性A_j相对应的第一次动作的特征参数和第二次动作的特征参数。

本发明技术方案的有益效果：本发明公开了一种矿井人员违规动作识别系统，使用Kinect捕捉人体骨骼图像，并利用人体骨骼点数据训练出违规动作模板矢量，进而使用改进的DTW算法进行违规动作的识别，提出分段线性逼近结合自适应权重动态时间规整算法有效地解决两条时间序列中一条时间序列的一点向另一条时间序列大部分映射的问题，即奇异点问题(简称为PLA-SWDTW)，同时提出在全局匹配路径中使用动态全局规划算法使得搜索范围减小，从而减少了时间复杂度问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本现有行为识别模型建立过程示意图；

图2为本发明实施例的一种矿井人员违规动作识别系统结构示意图；

图3为本发明实施例的违规行为识别时奇异点示意图；

图4为本发明实施例的一种矿井人员违规动作识别算法框架图；

图5为本发明实施例的动态平行四边形的斜率a随X/Y变化示意图；

图6为本发明实施例的待测试特征矢量与模板矢量匹配路径示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的技术基础：Kinect是微软公司在2010年发布的一款拥有强大功能的外部体感捕捉摄像机，Kinect最初在开发阶段曾经使用拉丁语“Natal”的名称，带有初生(To beborn)的意思，展现了微软公司对Kincet在人机交互方面的强大信心。由于Kincet在行为识别领域内展现出了突出优势，可以高效地获取人体的骨骼数据。此外，Kinect还拥有动态实时追踪，物体识别以及音源方向识别等多项功能。所以，它在人体行为识别，跌倒检测以及手势识别领域获得了广泛的应用。2012年2月Kinect for Windows的版本正式发布，并且相应发布了官方正式版的开发包(Kinfor Windows SDK v1.0)，由于其强大的深度感知能力以及关节点行为识别能力，引发了人体行为识别研究的新热潮。

人体的行为识别总体来说有很多不同种类的识别方式，目前有基于传统视频图像和基于骨骼点两种主流的识别方式，图1所示为目前行为识别模型建立的过程。视频图像的识别方式的主要特别之处有，从视频图像中提取出像素点，然后再提取需要的特征，进行特征的降维，使用机器学习的方式获得行为识别结果。而基于骨骼点的识别方式，首先是取出骨骼点数据，然后使用骨骼点数据时空间的变化和骨骼点数据间的数学关系，降维、滤波由描述算子获得的骨骼表示，然后整合成所需的特征向量，最后使用机器学习算法训练得到行为识别结果。

本发明技术方案所解决的问题在于：第一，现在的矿井人员违规行为识别，由于某些低照度的原因，会出现监控盲点。但是使用Kinect体感传感器就可以排除该照度的影响，并使用骨骼图像进行违规行为的识别。第二，使用PLA-SWDTW算法可以有效地解决两条时间序列中一条时间序列的一点向令一条时间序列大部分映射的问题，即奇异点问题。使用在全局匹配路径中使用动态时间规划算法可以使得搜索范围减小，从而减少时间复杂度问题。

本发明的一个具体实施例，如图2所示，公开了一种矿井人员违规动作识别系统，包括动作捕捉模块201、模板训练模块202、模板加载模块203和动作识别模块204；所述动作捕捉模块201，包括Kinect体感传感器和滤波处理模块，Kinect体感传感器用于获取矿井人员的人体三维骨骼点数据，滤波处理模块用于对所述人体三维骨骼点数据进行均值滤波处理；所述模板训练模块202，用于采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；所述模板加载模板203，用于接收并存储训练得到的所述违规动作模板；所述动作识别模块204，用于采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。

与现有技术相比，本发明实施例能够解决目前技术在照度极低情况下普通摄像头无法进行违规行为识别，以及使用动态时间规整(Dynamic Time Warping，DTW)算法进行违规行为识别时会出现奇异点问题及时间复杂度问题，从而有效避免了奇异点问题影响到识别的准确率，时间复杂度问题影响到识别的时间长度。

需要说明的是，动作识别可以分成两个部分。第一个部分为动作模板训练；第二个部分为测试部分，即动作识别。DTW算法广泛应用于人体行为识别，是最常用的行为识别算法之一。DTW算法属于模板匹配算法，适用于不相同时间序列间的匹配，它是把一个繁杂的全局最优化问题分解成很多局部最优化的问题，求出所有的局部最优化问题的解，最终完成复杂全局最优化问题的最优解。动态时间规整(Dynamic Time Warping，DTW)算法是融合了时间规整以及距离测度，是一种对不同长度的时间序列规整的模板匹配算法。该算法在匹配时需要将待测的特征向量时间序列进行线性调整，使待测信号和模板信号间的匹配度达到最高。

从时间以及空间两个维度来看，DTW中的数值信息应当隶属于空间维度。时间和空间维度信息两者是相互作用的，解决空间维度上偏移或者尺度伸缩问题可以利用时间维度信息的计算去处理，同理时间维度上的偏移及尺度伸缩问题也可以通过计算空间维度信息去解决。目前DTW算法只是考虑了空间维度的信息，而没有考虑时间维度的信息，故它仅仅可以解决时间维度上的偏移以及尺度伸缩问题，空间维度上的偏移将无法解决，这直接导致了奇异点的产生。如图3中所示，b)图是a)图中两个时间序列的DTW映射，从图b)中发现奇异点最明显的是x点和y点。

假设两条时间序列P和D上分别有点p_m和d_n，两个点在时间序列上的值相等。但是，p_m在时间序列的上坡部分，d_n在时间序列的下坡部分，又由于两点的距离l(p_m,d_n)＝0，最优的规整路径必经过(p_m,d_n)，这样DTW算法将会把这两点进行映射，但实际上这两点没有存在映射关系。因此，一条时间序列上的其中某点和另一条时间序列上的多个点发生了映射，就是因为这个点和另外一条时间序列的多个点“太近”，把这种现象叫做“奇异点”问题。“奇异点(singularity)”情况是非常典型的一个问题，它对识别结果的影响也较为严重。奇异点问题就是一个时间序列的点映射到另一个时间序列时，一个点映射到多点的情况，这样会导致DTW距离不准确。

此外，动态时间规整算法还有一个十分严重的问题，那就是时间复杂度问题。对于传统的DTW算法，设其时间复杂度为T(xy)，x和y代表两个单维时间序列的长度。随着时间序列长度的增加，DTW算法的计算时间就会增加，算法的时间复杂度就会增加。

图4为本发明实施例的矿井人员违规动作识别算法框架图。

本发明的一个具体实施例，结合图2，所述动作识别模块204包括算法切换器、数据比对器、动作判定器；所述算法切换器，用于根据用户需求在分段线性逼近结合自适应权重动态时间规整算法和动态全局规划算法之间进行择一切换；所述数据比对器，用于根据所述算法切换器切换选定的算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对；所述动作判定器，用于根据所述数据比对一致的帧数不低于指定阈值，将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。

需要说明的是，如图4所示，采用聚类算法对Kincet骨骼图像训练得到违规动作模板后，动作识别模块中的算法切换器实现分段线性逼近结合自适应权重动态时间规整算法和动态全局规划算法之间的切换使用：使用分段线性逼近结合自适应权重动态时间规整算法解决奇异点问题或者在全局路径匹配中使用动态全局规划算法解决时间复杂度问题。

本发明的一个具体实施例，结合图4，所述数据对比器采用分段线性逼近结合自适应权重动态时间规整算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，执行的流程包括：通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列；通过最小化时间序列的局部距离来判定所述待测试的人体三维骨骼点数据与所述违规动作模板相似性。

需要说明的是，本发明实施例的自适应权重动态时间规整算法(Self-adaptionWeight Dynamic Time Warping，SWDTW)同时兼顾了时间序列的数值信息以及时间信息。定义新的特征M_sw(p_m)如下式：

其中，max(|Δp|)代表了时间序列p_m中全部时间点的最大梯度，时间序列中点的梯度用相邻点的差分来表示，即用p_m-p_m-1表示p_m的梯度。max(|Δp|)的用处在于把各个梯度的值限制在[-1,1]之内，方便以比值的形式把梯度信息放入到特征之中。可知，新的特征中同时包含了数值信息以及梯度信息，梯度信息以比值的方式融入到特征中。因为数值信息和梯度信息所产生的偏差，都可以让DTW的距离增大，所以SWDTW的优点就在于可以同时改善时间轴及数值轴上的偏移以及尺度伸缩。在此发现数值信息的比值为1，要大于梯度信息的比值，可以得出数值信息占主要地位，梯度信息为次要地位。因此，SWDTW对数值上比较小的误差不会特别敏感。

从时间维度以及空间维度的方面来分析，数值p_m代表的是空间维度的信息，而其p_m的梯度代表的是时间维度的信息。由上述新的特征公式可知，对两种维度的信息都考虑在内，并且都可以改善数值轴及时间轴上的偏移以及尺度伸缩。

本发明的一个具体实施例，通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列，具体包括：首先将整个原始时间序列近似整合成一条直线，把距离直线最远的点当作划分点，分成两部分后分别合成直线，再次选择最远点作为划分点，分成两部分后，反复进行直到所有部分最远的点小于一定阈值后，根据分段的划分点得到每段时间序列；所述时间序列的公式如下：

其中，x_a(1≤a≤p)表示第a段分段的时间下标，这其中P代表分段的数目，Q_PLA是原始非线性时间序列，由每段时间序列线段的起点及终点组成，S_i为分段线性逼近后的每段时间序列，1≤i≤P。

需要说明的是，本发明实施例在SWDTW算法的基础上提出了一种把PLA(PiecewiseLinear Approximation,PLA)和SWDTW融合的新算法，将该算法称为PLA-SWDTW。开始先使用PLA对初始的时间序列进行特征提取以及降维，这样可以大大减小初始时间序列的长度，最后在使用SWDTW对处理后的时间序列计算距离，此算法在解决奇异点问题的同时，可以一定程度地减小时间复杂度。分段线性逼近是一种利用分段线性近似的方式对非线性时间序列进行降维和去噪的方法。PLA就是一种对时间序列分段线性表示而且还可以特征提取和降维的方法，它具有计算便捷、提取的特征明显以及原始信息损耗小等特点。

设定非线性时间序列为Q＝{t₁,t₂,…,t_M}，使用PLA进行表示，可得公式如下：

其中，x_a(1≤a≤p)代表第a段分段的时间下标，这其中p代表分段的数目，Q_PLA也是一个时间序列，由每段线段的起点及终点组成。

本发明的一个具体实施例，所述时间序列的局部距离的计算公式如下：

l(p_m,d_n)＝(M_sw(p_m)-M_sw(d_n))²；

其中，p_m为待测试的人体三维骨骼点数据的时间序列，d_n为所述违规动作模板的时间序列，M_sw为时间序列的梯度信息。

本发明的一个具体实施例，所述时间序列的梯度信息的计算公式分别为：

其中，max(|Δp|)和max(|Δd|)分别表示时间序列p_m和d_n中全部时间点的最大梯度，p_m-p_m-1和d_n-d_n-1分别表示p_m和d_n的梯度，m和n分别表示时间序列上的点，x和y分别表示时间序列的长度。也就是说，两个时间序列P和D上分别有点p_m和d_n，根据新的特征公式分别得到相应时间序列的梯度信息。

本发明的一个具体实施例，结合图4，所述数据对比器采用动态全局规划算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，执行的流程包括：将全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，通过最优匹配路径找到待测试的特征矢量和违规动作模板矢量的最大行为相似来完成行为识别。

需要说明的是，设定待测试特征矢量的长度为X，模板矢量的长度为Y，最优路径匹配可以动态限定在斜率为a和1/a的动态平行四边形里，以下是a的两种表达方式。

(1)线性变换如式：

(2)非线性变换如式：

两式中，b1和b2为加权系数并且有0≤b1≤1,0≤b2≤2。如图5中所示a随着X/Y变化，其中，b1＝0.5，b2＝1。图5中传统限制代表的是全局路径限制范围为静态平行四边形也就是斜率始终为1/2和2的平行四边形，不随X/Y的变化而改变。

本发明的一个具体实施例，所述静态平行四边形为斜率1/2及2的平行四边形，所述动态平行四边形斜率的大小由待测试的特征矢量与违规动作模板矢量的比值决定。

需要说明的是，本发明实施例对全局路径限制进行改进，用于改善算法的时间复杂度。该新的改进算法是把全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，静态平行四边形为斜率1/2及2的平行四边形，并且规定动态平行四边形在该斜率为1/2及2的静态平行四边形范围内，且该动态平行四边形斜率的大小是由模板矢量Y及特征矢量X的比值组成。

本发明的一个具体实施例，所述待测试的特征矢量长度及违规动作模板矢量长度需满足以下公式：

其中，X为待测试的特征矢量长度，Y为违规动作模板矢量长度，动态平行四边形为斜率a和1/a的平行四边形。

需要说明的是，为了保证DTW算法可以在平行四边形范围内分段计算规整函数，则待测试特征矢量长度X及模板矢量长度Y必须满足以下公式：

如图5所示，当1/2≤X/Y≤1时，1/2≤a≤X/Y；当1≤X/Y≤2时，X/Y≤a≤2。因此，动态全局路径限制的范围也就是斜率a和1/a组成的动态平行四边形可以确保始终包含起点和终点的连线，并且始终在斜率为1/2和2构成的静态平行四边形内。

本发明的一个具体实施例，所述最优匹配路径在动态平行四边形起点和终点的连线上，第一次动作的特征参数作为待测试的特征矢量，第二次动作的特征参数作为违规动作模板矢量，根据如下公式进行匹配：

其中，T₁(A_j)和T₂(A_j)为部分行为特性A_j相对应的第一次动作的特征参数和第二次动作的特征参数。

需要说明的是，动态时间规整算法的核心就是找到一个最优匹配路径，找到特征矢量和模板矢量的最大的行为相似性进而完成行为识别。

具体举例来说，人多次重复做同一个动作所产生的动作信号的长度是不一样的。但是现实中人在任意一次做同一个动作时，整体动作速率是没有特别明显变化的，也可以说人在每一次做动作时，同一个动作的行为特性在时间上是均匀分布的。已知“摘安全帽”这个行为可以由“伸手”、“摘帽”和“手放下”三个行为状态构成，设定“摘安全帽”的动作行为特性可大约分成三个部分，分别为A1、A2和A3，其中A1对应“伸手”，A2对应“摘帽”，A3对应“手放下”。同一个人先后完成两次违规行为“摘安全帽”，时间长度分别为T1和T2且T1≠T2，其中第一次做该动作时，行为特性A1、A2和A3分别对应时长T1(A1)、T1(A2)、T1(A3)；第二次做该动作时，行为特性A1、A2和A3分别对应时长T2(A1)、T2(A2)、T2(A3)，同时满足下式：

虽然每次违规行为“摘安全帽”的动作时间长度不可能完全一致，但是基本上都是匀速的，因此它的各部分行为特性与所占的时间长度比值是大致相等的，如下式：

将第一次“摘安全帽”的特征参数作为特征矢量，第二次“摘安全帽”的特征参数作为模板矢量，使用该算法进行计算匹配，这“摘安全帽”部分行为特性A1、A2和A3相对应的第一次动作的特征参数和第二次动作的特征参数一定相互匹配，如下式：

通过上式可知，所求的最优匹配路径一定在起点和终点的连线之上起伏。如图6表示两段时间信号的特征矢量与对应的模板矢量的匹配路径，从中可以看出最优匹配路径始终在起点和终点的连线上起伏，这是因为动作是一个随机过程，只能满足整体时间轴上的均匀分布，不一定满足局部上的均匀分布。

综上所述，本发明公开了一种矿井人员违规动作识别系统，包括动作捕捉模块、模板训练模块、模板加载模块和动作识别模块；所述动作捕捉模块，包括Kinect体感传感器和滤波处理模块，Kinect体感传感器用于获取矿井人员的人体三维骨骼点数据，滤波处理模块用于对所述人体三维骨骼点数据进行均值滤波处理；所述模板训练模块，用于采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；所述模板加载模板，用于接收并存储训练得到的所述违规动作模板；所述动作识别模块，用于采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。本发明实施例为了能更好的将DTW算法应用于矿井人员违规行为识别系统中，提出了一种新的识别系统结构，该系统采用改进的DTW模板训练及动作识别算法，针对DTW算法的两个典型缺点，即奇异点和时间复杂度问题，采用了算法切换器，用于切换分段线性逼近结合自适应权重动态时间规整算法和动态全局规划算法，这两种改进算法改善了这两类典型缺点，有效避免了奇异点问题影响到识别的准确率以及时间复杂度问题影响到识别的时间长度。

本领域技术人员可以理解，实现上述实施例中方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种矿井人员违规动作识别系统，其特征在于，包括动作捕捉模块、模板训练模块、模板加载模块和动作识别模块；

所述动作捕捉模块，包括Kinect体感传感器和滤波处理模块，Kinect体感传感器用于获取矿井人员的人体三维骨骼点数据，滤波处理模块用于对所述人体三维骨骼点数据进行均值滤波处理；

所述模板训练模块，用于采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；

所述模板加载模板，用于接收并存储训练得到的所述违规动作模板；

所述动作识别模块，用于采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。

2.根据权利要求1所述的系统，其特征在于，所述动作识别模块包括算法切换器、数据比对器、动作判定器；

所述算法切换器，用于根据用户需求在分段线性逼近结合自适应权重动态时间规整算法和动态全局规划算法之间进行择一切换；

所述数据比对器，用于根据所述算法切换器切换选定的算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对；

所述动作判定器，用于根据所述数据比对一致的帧数不低于指定阈值，将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。

3.根据权利要求2所述的系统，其特征在于，所述数据比对器采用分段线性逼近结合自适应权重动态时间规整算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，执行的流程包括：通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列；通过最小化时间序列的局部距离来判定所述待测试的人体三维骨骼点数据与所述违规动作模板相似性。

4.根据权利要求3所述的系统，其特征在于，通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列，具体包括：首先将整个原始时间序列近似整合成一条直线，把距离直线最远的点当作划分点，分成两部分后分别合成直线，再次选择最远点作为划分点，分成两部分后，反复进行直到所有部分最远的点小于一定阈值后，根据分段的划分点得到每段时间序列；所述时间序列的公式如下：

其中，x_a(1≤a≤p)表示第a段分段的时间下标，这其中P代表分段的数目，Q_PLA是原始非线性时间序列，由每段时间序列线段的起点及终点组成，S_i为分段线性逼近后的每段时间序列，1≤i≤P。

5.根据权利要求4所述的系统，其特征在于，所述时间序列的局部距离的计算公式如下：

l(p_m,d_n)＝(M_sw(p_m)-M_sw(d_n))²；

其中，p_m为待测试的人体三维骨骼点数据的时间序列，d_n为所述违规动作模板的时间序列，M_sw为时间序列的梯度信息。

6.根据权利要求5所述的系统，其特征在于，所述时间序列的梯度信息的计算公式分别为：

其中，max(|Δp|)和max(|Δd|)分别表示时间序列p_m和d_n中全部时间点的最大梯度，p_m-p_m-1和d_n-d_n-1分别表示p_m和d_n的梯度，m和n分别表示时间序列上的点，x和y分别表示时间序列的长度。

7.根据权利要求2所述的系统，其特征在于，所述数据比对器采用动态全局规划算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，执行的流程包括：将全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，通过最优匹配路径找到待测试的特征矢量和违规动作模板矢量的最大行为相似来完成行为识别。

8.根据权利要求7所述的系统，其特征在于，所述静态平行四边形为斜率1/2及2的平行四边形，所述动态平行四边形斜率的大小由待测试的特征矢量与违规动作模板矢量的比值决定。

9.根据权利要求8所述的系统，其特征在于，所述待测试的特征矢量长度及违规动作模板矢量长度需满足以下公式：

其中，X为待测试的特征矢量长度，Y为违规动作模板矢量长度，动态平行四边形为斜率a和1/a的平行四边形。

10.根据权利要求7所述的系统，其特征在于，所述最优匹配路径在动态平行四边形起点和终点的连线上，第一次动作的特征参数作为待测试的特征矢量，第二次动作的特征参数作为违规动作模板矢量，根据如下公式进行匹配：

其中，T₁(A_j)和T₂(A_j)为部分行为特性A_j相对应的第一次动作的特征参数和第二次动作的特征参数。

Images