CN110717460A - 一种矿井人员违规动作识别方法 - Google Patents

一种矿井人员违规动作识别方法 Download PDF

Info

Publication number
CN110717460A
CN110717460A CN201910968534.6A CN201910968534A CN110717460A CN 110717460 A CN110717460 A CN 110717460A CN 201910968534 A CN201910968534 A CN 201910968534A CN 110717460 A CN110717460 A CN 110717460A
Authority
CN
China
Prior art keywords
time
action
tested
human body
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910968534.6A
Other languages
English (en)
Inventor
赵小虎
有鹏
黄程龙
张凯
闫坤程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910968534.6A priority Critical patent/CN110717460A/zh
Publication of CN110717460A publication Critical patent/CN110717460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Agronomy & Crop Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种矿井人员违规动作识别方法，属于行为识别技术领域。该方法包括：S1，利用Kinect体感传感器获取矿井人员的人体三维骨骼点数据，并对所述人体三维骨骼点数据进行均值滤波处理；S2，采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；S3，采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。本发明解决了目前针对井下作业人员行为的主流识别方式存在奇异点导致识别的准确率降低，以及时间复杂度导致识别时间过长的问题。

Description

一种矿井人员违规动作识别方法
技术领域
本发明涉及行为识别技术领域，尤其涉及一种矿井人员违规动作识别方法。
背景技术
煤矿井下是一个环境多变复杂，工作环节较多，作业人员数量较多，设备庞大集中的综合性危险系数较大的产业，每时每刻都可能出现安全隐患，容易发生安全事故。通过对海量的煤矿安全事故案例分析可得，由于煤矿技术原因引起的灾害事故在逐年减少，近些年来发生的重特大事故最根本的原因都是在于作业人员的违规行为，它成为了煤矿灾害事故发生的主要原因。通过从大量的煤矿死亡事故统计中可以发现，80％以上的死亡事故都是由于作业人员的不安全行为所导致的。如今我国绝大部分煤炭企业在井下已经安装了视频监控系统，调度中心的工作人员通过传输到地面上的监控视频查看以及调度井下的生产情况。目前井下作业人员的违规行为还是通过传统的RGB摄像头进行监控，监控的方式还是依靠人工进行监控。这样就会产生两个很突出的问题，第一是随着监控时间的增加，监控人员可能会产生视觉疲劳，由于井下工作人员的违规行为可能只是一瞬间，监控人员可能无法发现违规行为，这样很可能会导致安全事故的发生；第二是由于井下使用传统的RGB摄像头进行视频监控，由于井下某些区域照度极低或是无光源，那么监控人员将根本无法在该区域的监控视频中发现井下工作人员的违规行为，这便产生了矿井安全监控的一个监控盲点。
人体的行为识别总体来说有很多不同种类的识别方式，目前有基于传统视频图像和基于骨骼点两种主流的识别方式。视频图像的识别方式的主要特别之处有，从视频图像中提取出像素点，然后再提取需要的特征，进行特征的降维，使用机器学习的方式获得行为识别结果。而基于骨骼点的识别方式，首先是取出骨骼点数据，然后使用骨骼点数据时空间的变化和骨骼点数据间的数学关系，降维、滤波由描述算子获得的骨骼表示，然后整合成所需的特征向量，最后使用机器学习算法训练得到行为识别结果。目前主流识别方式存在以下缺陷：
第一，井下某些地方照度极低，普通摄像头无法进行违规行为识别。
第二，使用动态时间规整(Dynamic Time Warping，DTW)算法进行违规行为识别，会出现奇异点问题及时间复杂度问题。奇异点问题会影响到识别的准确率，时间复杂度问题会影响到识别的时间。
发明内容
鉴于上述的分析，本发明旨在提供一种矿井人员违规动作识别方法，用以解决目前针对井下作业人员行为的主流识别方式存在奇异点导致识别的准确率降低，以及时间复杂度导致识别时间过长的问题。
本发明的目的主要是通过以下技术方案实现的：
本发明提供了一种矿井人员违规动作识别方法，包括以下步骤：
S1，利用Kinect体感传感器获取矿井人员的人体三维骨骼点数据，并对所述人体三维骨骼点数据进行均值滤波处理；
S2，采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；
S3，采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。
进一步地，采用分段线性逼近结合自适应权重动态时间规整算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，包括：通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列；通过最小化时间序列的局部距离来判定所述待测试的人体三维骨骼点数据与所述违规动作模板相似性。
进一步地，所述时间序列的局部距离的计算公式如下：
l(pm,dn)＝(Msw(pm)-Msw(dn))2；
其中，pm为待测试的人体三维骨骼点数据的时间序列，dn为所述违规动作模板的时间序列，Msw为时间序列的梯度信息。
进一步地，所述时间序列的梯度信息的计算公式分别为：
Figure BDA0002231313360000031
其中，max(|Δp|)和max(|Δd|)分别表示时间序列pm和dn中全部时间点的最大梯度，pm-pm-1和dn-dn-1分别表示pm和dn的梯度，m和n分别表示时间序列上的点，x和y分别表示时间序列的长度。
进一步地，通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列，具体包括：首先将整个原始时间序列近似整合成一条直线，把距离直线最远的点当作划分点，分成两部分后分别合成直线，再次选择最远点作为划分点，分成两部分后，反复进行直到所有部分最远的点小于一定阈值后，根据分段的划分点得到每段时间序列。
进一步地，采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列的公式如下：
Figure BDA0002231313360000041
其中，xa(1≤a≤p)表示第a段分段的时间下标，这其中P代表分段的数目，QPLA是原始非线性时间序列，由每段时间序列线段的起点及终点组成，Si为分段线性逼近后的每段时间序列，1≤i≤P。
进一步地，采用动态全局规划算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，包括：将全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，通过最优匹配路径找到待测试的特征矢量和违规动作模板矢量的最大行为相似来完成行为识别。
进一步地，所述静态平行四边形为斜率1/2及2的平行四边形，所述动态平行四边形斜率的大小由待测试的特征矢量与违规动作模板矢量的比值决定。
进一步地，所述待测试的特征矢量长度X及违规动作模板矢量长度Y需满足以下公式：
Figure BDA0002231313360000042
其中，X为待测试的特征矢量长度，Y为违规动作模板矢量长度，动态平行四边形为斜率a和1/a的平行四边形。
进一步地，所述最优匹配路径在动态平行四边形起点和终点的连线上，第一次动作的特征参数作为待测试的特征矢量，第二次动作的特征参数作为违规动作模板矢量，根据如下公式进行匹配：
Figure BDA0002231313360000043
其中，T1(Aj)和T2(Aj)为部分行为特性Aj相对应的第一次动作的特征参数和第二次动作的特征参数。
本发明技术方案的有益效果：本发明公开了一种矿井人员违规动作识别方法，使用Kinect捕捉人体骨骼图像，进而使用改进的DTW算法进行违规动作的识别，提出分段线性逼近结合自适应权重动态时间规整算法有效地解决两条时间序列中一条时间序列的一点向另一条时间序列大部分映射的问题，即奇异点问题(简称为PLA-SWDTW)，同时提出在全局匹配路径中使用动态全局规划算法使得搜索范围减小，从而减少了时间复杂度问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例的一种矿井人员违规动作识别方法流程图；
图2为本发明实施例的违规行为识别时奇异点示意图；
图3为本发明实施例的动态平行四边形的斜率a随X/Y变化示意图；
图4为本发明实施例的待测试特征矢量与模板矢量匹配路径示意图；
图5为本发明实施例的DTW、DDTW和PLA-SWDTW三种算法对原始时间序列的映射结果对比图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的技术构思：动作识别可以分成两个部分。第一个部分为动作模板训练；第二个部分为测试部分，即动作识别。DTW算法广泛应用于人体行为识别，是最常用的行为识别算法之一。DTW算法属于模板匹配算法，适用于不相同时间序列间的匹配，它是把一个繁杂的全局最优化问题分解成很多局部最优化的问题，求出所有的局部最优化问题的解，最终完成复杂全局最优化问题的最优解。动态时间规整(Dynamic Time Warping，DTW)算法是融合了时间规整以及距离测度，是一种对不同长度的时间序列规整的模板匹配算法。该算法在匹配时需要将待测的特征向量时间序列进行线性调整，使待测信号和模板信号间的匹配度达到最高。
假设两条时间序列P和D上分别有点pm和dn，两个点在时间序列上的值相等。但是，pm在时间序列的上坡部分，dn在时间序列的下坡部分，又由于两点的距离l(pm,dn)＝0，最优的规整路径必经过(pm,dn)，这样DTW算法将会把这两点进行映射，但实际上这两点没有存在映射关系。因此，一条时间序列上的其中某点和另一条时间序列上的多个点发生了映射，就是因为这个点和另外一条时间序列的多个点“太近”，把这种现象叫做“奇异点”问题。“奇异点(singularity)”情况是非常典型的一个问题，它对识别结果的影响也较为严重。奇异点问题就是一个时间序列的点映射到另一个时间序列时，一个点映射到多点的情况，这样会导致DTW距离不准确。
本发明的一个具体实施例，如图1所示，本发明公开了一种矿井人员违规动作识别方法，包括以下步骤：
S1，利用Kinect体感传感器获取矿井人员的人体三维骨骼点数据，并对所述人体三维骨骼点数据进行均值滤波处理；
具体地，所述人体三维骨骼点数据为包括数值信息和梯度信息的时间序列。
S2，采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；
具体地，聚类算法由两个模块完成，分别是初始化模块以及调整模块。初始化模块用于确定子集的划分数量K以及为所有子集都建立一个初始化模板矢量。
初始化模块中算法步骤包括：寻找出人体三维骨骼点数据训练集中全部特征矢量的长度，找出最大长度dmax以及最小长度dmin。将最大长度dmax以及最小长度dmin做差，再将所得差K等分得到dave。将训练集中全部特征矢量的长度与dave对比，落在同一等分中的特征矢量就属于同一个初始化的子集，计算出各等分的中心点qx，它代表对应子集长度中心点，1≤x≤K。从每个初始化子集中找到距离自己长度中心点qx最近的那个特征矢量，该矢量即为该子集的初始化模板矢量。如果某个子集为空，在保持中心点不变的情况下，扩大子集的范围，继续搜索最接近子集中心点的特征矢量，把该矢量作为初始化模板矢量。
调整模块首先是重新划分训练集，使用迭代法进行划分，然后再求出划分后能够达到收敛的新子集的模板矢量。调整模块中算法的思路是：首先利用动态时间规整算法将训练集中每个特征矢量和初始化模板矢量的累积距离计算出来，然后将该矢量与所有模板矢量的累积距离进行比对，最小的那个就放到那个模板矢量所表示的子集中。如果存在空集现象，就把平均内距最大的子集进行分解，在内距仍大于一定阈值的原则下为分解后的新子集选取一个新的模板矢量，这样就不会再出现空集现象。将每个新子集中全部的特征矢量都映射到其模板矢量上，该子集新的模板矢量就是映射后的平均值。最后旧的模板矢量将会被新的模板矢量所替代，再次进行调整模块运算最终得到违规动作模板。
S3，采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。
具体地，所述指定阈值根据两个时间序列之间错误映射的次数Q确定，Q越大则该指定阈值占数据集帧序列的比例越大，错误映射的次数作为错误映射的度量公式如下：
Figure BDA0002231313360000081
其中，y'(x)代表时间序列P里的点px和时间序列P'里的点p'y相互映射，Wi表示时间序列P中的点px对应实际算法结果中时间P'中的点集，q为时间序列P的长度。
与现有技术相比，本发明实施例能够解决目前技术在照度极低情况下普通摄像头无法进行违规行为识别，以及使用动态时间规整(Dynamic Time Warping，DTW)算法进行违规行为识别时会出现奇异点问题及时间复杂度问题，从而有效避免了奇异点问题影响到识别的准确率，时间复杂度问题影响到识别的时间长度。
需要说明的是，从时间以及空间两个维度来看，DTW中的数值信息应当隶属于空间维度。时间和空间维度信息两者是相互作用的，解决空间维度上偏移或者尺度伸缩问题可以利用时间维度信息的计算去处理，同理时间维度上的偏移及尺度伸缩问题也可以通过计算空间维度信息去解决。目前DTW算法只是考虑了空间维度的信息，而没有考虑时间维度的信息，故它仅仅可以解决时间维度上的偏移以及尺度伸缩问题，空间维度上的偏移将无法解决，这直接导致了奇异点的产生。如图2中所示，b)图是a)图中两个时间序列的DTW映射，从图b)中发现奇异点最明显的是x点和y点。
此外，动态时间规整算法还有一个十分严重的问题，那就是时间复杂度问题。对于传统的DTW算法，设其时间复杂度为T(xy)，x和y代表两个单维时间序列的长度。随着时间序列长度的增加，DTW算法的计算时间就会增加，算法的时间复杂度就会增加。
本发明的一个具体实施例，采用分段线性逼近结合自适应权重动态时间规整算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，包括：通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列；通过最小化时间序列的局部距离来判定所述待测试的人体三维骨骼点数据与所述违规动作模板相似性。
需要说明的是，本发明实施例的自适应权重动态时间规整算法(Self-adaptionWeight Dynamic Time Warping，SWDTW)同时兼顾了时间序列的数值信息以及时间信息。定义新的特征Msw(pm)如下式：
Figure BDA0002231313360000091
其中，max(|Δp|)代表了时间序列pm中全部时间点的最大梯度，时间序列中点的梯度用相邻点的差分来表示，即用pm-pm-1表示pm的梯度。max(|Δp|)的用处在于把各个梯度的值限制在[-1,1]之内，方便以比值的形式把梯度信息放入到特征之中。可知，新的特征中同时包含了数值信息以及梯度信息，梯度信息以比值的方式融入到特征中。因为数值信息和梯度信息所产生的偏差，都可以让DTW的距离增大，所以SWDTW的优点就在于可以同时改善时间轴及数值轴上的偏移以及尺度伸缩。在此发现数值信息的比值为1，要大于梯度信息的比值，可以得出数值信息占主要地位，梯度信息为次要地位。因此，SWDTW对数值上比较小的误差不会特别敏感。
从时间维度以及空间维度的方面来分析，数值pm代表的是空间维度的信息，而其pm的梯度代表的是时间维度的信息。由上述新的特征公式可知，对两种维度的信息都考虑在内，并且都可以改善数值轴及时间轴上的偏移以及尺度伸缩。
本发明的一个具体实施例，所述时间序列的局部距离的计算公式如下：
l(pm,dn)＝(Msw(pm)-Msw(dn))2；
其中，pm为待测试的人体三维骨骼点数据的时间序列，dn为所述违规动作模板的时间序列，Msw为时间序列的梯度信息。
本发明的一个具体实施例，所述时间序列的梯度信息的计算公式分别为：
Figure BDA0002231313360000101
其中，max(|Δp|)和max(|Δd|)分别表示时间序列pm和dn中全部时间点的最大梯度，pm-pm-1和dn-dn-1分别表示pm和dn的梯度，m和n分别表示时间序列上的点，x和y分别表示时间序列的长度。也就是说，两个时间序列P和D上分别有点pm和dn，根据新的特征公式分别得到相应时间序列的梯度信息。
本发明的一个具体实施例，通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列，具体包括：首先将整个原始时间序列近似整合成一条直线，把距离直线最远的点当作划分点，分成两部分后分别合成直线，再次选择最远点作为划分点，分成两部分后，反复进行直到所有部分最远的点小于一定阈值后，根据分段的划分点得到每段时间序列。
需要说明的是，本发明实施例在SWDTW算法的基础上提出了一种把PLA(PiecewiseLinear Approximation,PLA)和SWDTW融合的新算法，将该算法称为PLA-SWDTW。开始先使用PLA对初始的时间序列进行特征提取以及降维，这样可以大大减小初始时间序列的长度，最后在使用SWDTW对处理后的时间序列计算距离，此算法在解决奇异点问题的同时，可以一定程度地减小时间复杂度。
本发明的一个具体实施例，采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列的公式如下：
Figure BDA0002231313360000111
其中，xa(1≤a≤p)表示第a段分段的时间下标，这其中P代表分段的数目，QPLA是原始非线性时间序列，由每段时间序列线段的起点及终点组成，Si为分段线性逼近后的每段时间序列，1≤i≤P。
需要说明的是，分段线性逼近(Piecewise Linear Approximation,PLA)是一种利用分段线性近似的方式对非线性时间序列进行降维和去噪的方法。PLA就是一种对时间序列分段线性表示而且还可以特征提取和降维的方法，它具有计算便捷、提取的特征明显以及原始信息损耗小等特点。
设定非线性时间序列为Q＝{t1,t2,…,tM}，使用PLA进行表示，可得公式如下：
Figure BDA0002231313360000121
其中，xa(1≤a≤p)代表第a段分段的时间下标，这其中p代表分段的数目，QPLA也是一个时间序列，由每段线段的起点及终点组成。
本发明的一个具体实施例，采用动态全局规划算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，包括：将全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，通过最优匹配路径找到待测试的特征矢量和违规动作模板矢量的最大行为相似来完成行为识别。
需要说明的是，设定待测试特征矢量的长度为X，模板矢量的长度为Y，最优路径匹配可以动态限定在斜率为a和1/a的动态平行四边形里，以下是a的两种表达方式。
(1)线性变换如式：
Figure BDA0002231313360000122
(2)非线性变换如式：
Figure BDA0002231313360000123
两式中，b1和b2为加权系数并且有0≤b1≤1,0≤b2≤2。如图3中所示a随着X/Y变化，其中，b1＝0.5，b2＝1。图3中传统限制代表的是全局路径限制范围为静态平行四边形也就是斜率始终为1/2和2的平行四边形，不随X/Y的变化而改变。
本发明的一个具体实施例，所述静态平行四边形为斜率1/2及2的平行四边形，所述动态平行四边形斜率的大小由待测试的特征矢量与违规动作模板矢量的比值决定。
需要说明的是，本发明实施例对全局路径限制进行改进，用于改善算法的时间复杂度。该新的改进算法是把全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，静态平行四边形为斜率1/2及2的平行四边形，并且规定动态平行四边形在该斜率为1/2及2的静态平行四边形范围内，且该动态平行四边形斜率的大小是由模板矢量Y及特征矢量X的比值组成。
本发明的一个具体实施例，所述待测试的特征矢量长度X及违规动作模板矢量长度Y需满足以下公式：
Figure BDA0002231313360000131
其中，X为待测试的特征矢量长度，Y为违规动作模板矢量长度，动态平行四边形为斜率a和1/a的平行四边形。
需要说明的是，为了保证DTW算法可以在平行四边形范围内分段计算规整函数，则待测试特征矢量长度X及模板矢量长度Y必须满足以下公式：
Figure BDA0002231313360000132
如图3所示，当1/2≤X/Y≤1时，1/2≤a≤X/Y；当1≤X/Y≤2时，X/Y≤a≤2。因此，动态全局路径限制的范围也就是斜率a和1/a组成的动态平行四边形可以确保始终包含起点和终点的连线，并且始终在斜率为1/2和2构成的静态平行四边形内。
本发明的一个具体实施例，所述最优匹配路径在动态平行四边形起点和终点的连线上，第一次动作的特征参数作为待测试的特征矢量，第二次动作的特征参数作为违规动作模板矢量，根据如下公式进行匹配：
Figure BDA0002231313360000141
其中，T1(Aj)和T2(Aj)为部分行为特性Aj相对应的第一次动作的特征参数和第二次动作的特征参数。
需要说明的是，动态时间规整算法的核心就是找到一个最优匹配路径，找到特征矢量和模板矢量的最大的行为相似性进而完成行为识别。
具体举例来说，人多次重复做同一个动作所产生的动作信号的长度是不一样的。但是现实中人在任意一次做同一个动作时，整体动作速率是没有特别明显变化的，也可以说人在每一次做动作时，同一个动作的行为特性在时间上是均匀分布的。已知“摘安全帽”这个行为可以由“伸手”、“摘帽”和“手放下”三个行为状态构成，设定“摘安全帽”的动作行为特性可大约分成三个部分，分别为A1、A2和A3，其中A1对应“伸手”，A2对应“摘帽”，A3对应“手放下”。同一个人先后完成两次违规行为“摘安全帽”，时间长度分别为T1和T2且T1≠T2，其中第一次做该动作时，行为特性A1、A2和A3分别对应时长T1(A1)、T1(A2)、T1(A3)；第二次做该动作时，行为特性A1、A2和A3分别对应时长T2(A1)、T2(A2)、T2(A3)，同时满足下式：
Figure BDA0002231313360000142
虽然每次违规行为“摘安全帽”的动作时间长度不可能完全一致，但是基本上都是匀速的，因此它的各部分行为特性与所占的时间长度比值是大致相等的，如下式：
将第一次“摘安全帽”的特征参数作为特征矢量，第二次“摘安全帽”的特征参数作为模板矢量，使用该算法进行计算匹配，这“摘安全帽”部分行为特性A1、A2和A3相对应的第一次动作的特征参数和第二次动作的特征参数一定相互匹配，如下式：
Figure BDA0002231313360000152
通过上式可知，所求的最优匹配路径一定在起点和终点的连线之上起伏。如图4表示两段时间信号的特征矢量与对应的模板矢量的匹配路径，从中可以看出最优匹配路径始终在起点和终点的连线上起伏，这是因为动作是一个随机过程，只能满足整体时间轴上的均匀分布，不一定满足局部上的均匀分布。
本发明技术方案中分段线性逼近结合自适应权重动态时间规整算法采用SDUFallDataset数据集进行算法性能的验证，该数据集包括了弯腰、跌倒、躺下、坐下、蹲下以及行走等六个动作，这六个动作由二十个人分别完成，每个试验者对这六个动作都执行十次，每个动作都将拍摄角度、身体部分被遮挡以及光照强弱等因素考虑在内。拍摄视频格式的帧数是30帧/秒，像素分辨率是640×480，动作长度为5.6秒。使用DTW、DDTW和PLA-SWDTW三种算法分别对该数据集的六个动作进行映射实验。图5a为数据集中初始时间序列(实线)及其变形序列(虚线)。图5a-d分别代表DTW、DDTW和PLA-SWDTW对图5a中序列的映射结果。表3-1为三种算法的平均错误映射数量。
表3-1三种算法的平均错误映射数量
Figure BDA0002231313360000161
为了全面地验证改进算法能够有效解决奇异点问题并且还可以一定程度地减少DTW算法的时间复杂度，不仅使用三种算法对上述时间序列进行了映射实验，而且在三种算法对数据集的测试过程中使用了python中的confusion_matrix函数绘制了三种算法对该数据集中六种动作的分类混淆矩阵，并计算了每个动作的平均识别准确率以及识别时间，分类精度对比表如表3-2所示。每一类动作的准确率公式如下：
Figure BDA0002231313360000162
表3-2三种算法的识别准确率
Figure BDA0002231313360000163
从表3-1中可知，DTW的平均错误映射要远大于DDTW和PLA-SWDTW，而DDTW的平均错误映射略大于PLA-SWDTW，这就可以表明后两种算法在解决传统的DTW算法奇异点问题上效果显著，并且PLA-SWDTW解决奇异点问题的性能要比DDTW更加优秀，同时在获得规整路径方面也比DTW及DDTW更加的精准。可知，在有效解决奇异点问题上，PLA-SWDTW最为优秀。从表3-2可以看出，DDTW和PLA-SWDTW这两种算法的识别准确率要明显高于传统的DTW算法，这也可以印证表3-1所得出的结论，这两种算法确实显著改善了传统DTW算法奇异点问题，并且后者的准确率还略高于前者，确实在解决奇异点问题上，后者的性能为最佳。从表3-2还可以看出PLA-SWDTW算法在识别时间上小于前两者，这样也证明了该算法确实在一定程度上减少了时间复杂度。
本发明技术方案中采用动态全局规划算法指的是通过动态全局路径限制(分为线性变换和非线性变换)的DTW算法，而传统DTW算法是通过静态全局路径限制的DTW算法。
通过实验中的原始数据验证算法，该原始数据由30个男生，20个女生的行为采集得到，内容包括了摘安全帽，脱工作服以及坐下睡觉三个违规行为。其中每个人做这三个行为动作各10次，共1500组数据。由于实验数据来自非指定人，所以实验采用聚类算法进行模板训练，对每个行为所有人做的第一次行为进行聚类训练出5个模板，3个行为共15个模板，再一次训练出10个模板，3个行为共30个模板。在改进的DTW算法中，设置平行四边形的斜率加权系数为b1＝0.5(线性变换)和b2＝1(非线性变化)。两种算法的性能对比如表3-3所示。
表3-3两种算法的性能对比
Figure BDA0002231313360000181
从表3-3可以得知，改进的DTW算法与传统的DTW算法在识别率方面差别不大，但是改进算法的识别速度比传统的DTW算法明显快很多，其识别速度大约是传统DTW算法识别速度的2倍左右，因此可以得出该改进算法可以明显减少违规行为识别的时间损耗，可以得出以下结论，就是改进的DTW算法在保证识别精度基本不变的情况下，其时间损耗明显减小，即是明显减小了时间复杂度。
综上所述，本发明公开了一种矿井人员违规动作识别方法，包括以下步骤：S1，利用Kinect体感传感器获取矿井人员的人体三维骨骼点数据，并对所述人体三维骨骼点数据进行均值滤波处理；S2，采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；S3，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。本发明实施例为了能更好的将DTW算法应用于矿井人员违规行为识别方法中，提出改进DTW的模板训练算法，分别针对DTW算法的两个典型缺点，即奇异点和时间复杂度问题，分别提出了分段线性逼近结合自适应权重动态时间规整算法和动态全局规划算法，这两种改进算法改善了这两类典型缺点，有效避免了奇异点问题影响到识别的准确率，时间复杂度问题影响到识别的时间长度。
本领域技术人员可以理解，实现上述实施例中方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种矿井人员违规动作识别方法，其特征在于，包括以下步骤：
S1，利用Kinect体感传感器获取矿井人员的人体三维骨骼点数据，并对所述人体三维骨骼点数据进行均值滤波处理；
S2，采用聚类算法对滤波处理后的人体三维骨骼点数据进行训练得到违规动作模板；
S3，采用分段线性逼近结合自适应权重动态时间规整算法或动态全局规划算法，将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，若数据一致的帧数不低于指定阈值，则将与待测试的人体三维骨骼点数据相应的动作判定为违规动作。
2.根据权利要求1所述的方法，其特征在于，采用分段线性逼近结合自适应权重动态时间规整算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，包括：通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列；通过最小化时间序列的局部距离来判定所述待测试的人体三维骨骼点数据与所述违规动作模板相似性。
3.根据权利要求2所述的方法，其特征在于，所述时间序列的局部距离的计算公式如下：
l(pm,dn)＝(Msw(pm)-Msw(dn))2；
其中，pm为待测试的人体三维骨骼点数据的时间序列，dn为所述违规动作模板的时间序列，Msw为时间序列的梯度信息。
4.根据权利要求3所述的方法，其特征在于，所述时间序列的梯度信息的计算公式分别为：
其中，max(|Δp|)和max(|Δd|)分别表示时间序列pm和dn中全部时间点的最大梯度，pm-pm-1和dn-dn-1分别表示pm和dn的梯度，m和n分别表示时间序列上的点，x和y分别表示时间序列的长度。
5.根据权利要求4所述的方法，其特征在于，通过采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列，具体包括：首先将整个原始时间序列近似整合成一条直线，把距离直线最远的点当作划分点，分成两部分后分别合成直线，再次选择最远点作为划分点，分成两部分后，反复进行直到所有部分最远的点小于一定阈值后，根据分段的划分点得到每段时间序列。
6.根据权利要求5所述的方法，其特征在于，采用分段线性逼近对原始非线性时间序列进行降维和去噪后得到所述时间序列的公式如下：
Figure FDA0002231313350000021
其中，xa(1≤a≤p)表示第a段分段的时间下标，这其中P代表分段的数目，QPLA是原始非线性时间序列，由每段时间序列线段的起点及终点组成，Si为分段线性逼近后的每段时间序列，1≤i≤P。
7.根据权利要求1所述的方法，其特征在于，采用动态全局规划算法将待测试的人体三维骨骼点数据与所述违规动作模板进行比对，包括：将全局路径限制的范围由一个静态平行四边形变成一个始终包括起点及终点连线的动态平行四边形，通过最优匹配路径找到待测试的特征矢量和违规动作模板矢量的最大行为相似来完成行为识别。
8.根据权利要求7所述的方法，其特征在于，所述静态平行四边形为斜率1/2及2的平行四边形，所述动态平行四边形斜率的大小由待测试的特征矢量与违规动作模板矢量的比值决定。
9.根据权利要求8所述的方法，其特征在于，所述待测试的特征矢量长度X及违规动作模板矢量长度Y需满足以下公式：
其中，X为待测试的特征矢量长度，Y为违规动作模板矢量长度，动态平行四边形为斜率a和1/a的平行四边形。
10.根据权利要求7所述的方法，其特征在于，所述最优匹配路径在动态平行四边形起点和终点的连线上，第一次动作的特征参数作为待测试的特征矢量，第二次动作的特征参数作为违规动作模板矢量，根据如下公式进行匹配：
Figure FDA0002231313350000032
其中，T1(Aj)和T2(Aj)为部分行为特性Aj相对应的第一次动作的特征参数和第二次动作的特征参数。
CN201910968534.6A 2019-10-12 2019-10-12 一种矿井人员违规动作识别方法 Pending CN110717460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910968534.6A CN110717460A (zh) 2019-10-12 2019-10-12 一种矿井人员违规动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910968534.6A CN110717460A (zh) 2019-10-12 2019-10-12 一种矿井人员违规动作识别方法

Publications (1)

Publication Number Publication Date
CN110717460A true CN110717460A (zh) 2020-01-21

Family

ID=69212566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910968534.6A Pending CN110717460A (zh) 2019-10-12 2019-10-12 一种矿井人员违规动作识别方法

Country Status (1)

Country Link
CN (1) CN110717460A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN107392098A (zh) * 2017-06-15 2017-11-24 北京小轮科技有限公司 一种基于人体骨架信息的动作完成度识别方法
CN108596148A (zh) * 2018-05-10 2018-09-28 华南理工大学 一种基于计算机视觉的建筑工人劳动状态分析系统及方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110163113A (zh) * 2019-04-25 2019-08-23 上海师范大学 一种人体行为相似度计算方法及装置
CN110210284A (zh) * 2019-04-12 2019-09-06 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能评价方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN107392098A (zh) * 2017-06-15 2017-11-24 北京小轮科技有限公司 一种基于人体骨架信息的动作完成度识别方法
CN108596148A (zh) * 2018-05-10 2018-09-28 华南理工大学 一种基于计算机视觉的建筑工人劳动状态分析系统及方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110210284A (zh) * 2019-04-12 2019-09-06 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能评价方法
CN110163113A (zh) * 2019-04-25 2019-08-23 上海师范大学 一种人体行为相似度计算方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周炳良: "《非特定人孤立词语音识别算法研究》", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
沈静逸: "《基于DTW和LMNN的多维时间序列相似性分析方法》", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Similar Documents

Publication Publication Date Title
CN111160440B (zh) 一种基于深度学习的安全帽佩戴检测方法及装置
CN110399905B (zh) 施工场景中安全帽佩戴情况的检测及描述方法
CN106023185B (zh) 一种输电设备故障诊断方法
CN101236608B (zh) 基于图片几何结构的人脸检测方法
CN103186904B (zh) 图片轮廓提取方法及装置
CN103632158B (zh) 森林防火监控方法及森林防火监控系统
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN104008538A (zh) 基于单张图像超分辨率方法
WO2021057069A1 (zh) 计算机执行的车辆定损方法及装置
CN110738163A (zh) 一种矿井人员违规动作识别系统
CN108364278B (zh) 一种岩心裂缝提取方法和系统
CN117115147B (zh) 一种基于机器视觉的纺织品检测方法及系统
CN109002792B (zh) 基于分层多模型度量学习的sar图像变化检测方法
CN104809463A (zh) 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN111563896A (zh) 一种用于接触网异常检测的图像处理方法
CN113837154B (zh) 一种基于多任务辅助的开放集过滤系统及方法
CN111738164A (zh) 一种基于深度学习的行人检测方法
CN106127813B (zh) 基于视觉感知能量的监控视频运动片段分割方法
CN112686872A (zh) 基于深度学习的木材计数方法
CN116994206A (zh) 基于多元数据融合的室内人员计数方法及系统
CN116704208A (zh) 基于特征关系的局部可解释方法
CN110717460A (zh) 一种矿井人员违规动作识别方法
CN112232102A (zh) 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统
CN115995097A (zh) 一种基于深度学习的安全头盔佩戴标准判断方法
CN110135274A (zh) 一种基于人脸识别的人流量统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination