CN110598569A - 一种基于人体姿态数据的动作识别方法 - Google Patents

Abstract

本发明公开了一种基于人体姿态数据的动作识别方法，该识别方法旨在解决现今人体动作识别存在对应用场景要求较高，普适性差、工作量大，并容易产生逻辑漏洞，且优化和项目维护工作复杂，同时检测效果上限较低，在其基础上难有较大提升的技术问题；该识别方法基于现有的人体姿态识别技术，采用神经网络对人体运动姿态的运动规律进行归纳，并基于这些归纳在检测时进行快速判断，同时结合运动规律的归纳，满足各种新需求。该识别方法能极快地实现人体动作识别，而且对应用场景要求较低，在不同需求下的普适性极高，可应对不同的需求，并且又避免了人工多次编码带来的各种问题，降低工作量的同时，极大地提高了检测效果的上限。

Description

一种基于人体姿态数据的动作识别方法

技术领域

本发明属于人体动作识别方法，具体属于一种对人体姿态识别后的数据进行采集和处理，并以处理后的数据对神经网络进行训练得出动作模型，再以此模型作为判断依据，对待检测的人体姿态数据进行判断，最终得出对其动作的识别方法。

背景技术

现今，针对特殊场合的视频监控，部分会通过视频分析对某些异常行为进行检测，即对场所内活动人员的动作进行检测，从而实现对公共安全的自动化管理，例如公共场合对打架斗殴的动作进行检测判定，从而及时报警；又如对老人摔倒的动作进行检测判定，从而及时救援等。

目前，静态的人体图像的检测、识别和感知已经取得较大进步，在姿态识别上，现有技术已完全可以提取出人体在一张图像中的姿态，并拥有较高准确度，而且有较快的检测速度，实用性较强。而对于一个连续的人体动作的识别，就现今的技术来说，绝大部分依然还是使用传统的图像识别处理方法，即通过人工编码的方式，利用大量的条件判断、逻辑处理来实现。但现有的这种方法对应用场景较高要求，而且普适性差，往往换了一个需求或场景，就又需要人工再次进行编码，因此这种方式对编码人的素质要求也较高，而且工作量大；同时，由于针对不同的需求或场景都需要人工进行大量的编码，因此难免会存在一定逻辑漏洞，并且优化和项目维护工作复杂；此外，这种方法的检测效果上限较低，在其基础上难以再产生较大的提升。

发明内容

(1)要解决的技术问题

针对现有技术的不足，本发明的目的在于提供一种基于人体姿态数据的动作识别方法，该识别方法旨在解决现今人体动作识别存在对应用场景要求较高，普适性差、工作量大，并容易产生逻辑漏洞，且优化和项目维护工作复杂，同时检测效果上限较低，在其基础上难有较大提升的技术问题；该识别方法能极快地实现人体动作识别，而且对应用场景要求较低，在不同需求下的普适性极高，可应对不同的需求，并且又避免了人工多次编码带来的各种问题，降低工作量的同时，极大地提高了检测效果的上限。

(2)技术方案

为了解决上述技术问题，本发明提供了这样一种基于人体姿态数据的动作识别方法，该识别方法的具体步骤为：

步骤一、对于一个需识别的人体动作A，沿水平方向均匀地在人体四周设置多个图像采集点N，通过采集点N，对各类人进行A动作的完整形态以及完整动作过程进行图像信息采集，得到动作A的图像信息数据，并将其保存为原始图像集I0；

在该步骤中，大量图像采集点N均沿水平方向的角度，均匀地排布在人体四周，利用大量的图像采集点N对各式各样人群动作A的完整形态以及完整动作过程进行图像信息采集。

步骤二、在原始图像集I0中，对所有人物的形体进行调整，以普通人体形体为标准，对于不符合的人体形体样本，通过拉伸将其调至标准，得到图像集I1，并通过姿态识别技术识别图像集I1，得到人体姿态数据集P0；

在该步骤中，对所有人物的形体进行调整，是因为各式各样的人群高矮胖瘦各式各不相同，可以通过拉伸将其调至标准体型，从而可以避免识别错误，同时，其中的姿态识别技术为现有较为常用的技术，即静态地提取出人体在一张图像中的姿态。

步骤三、对人体姿态数据集P0中的每一帧数据，均统一设定人体的某一部位作为参考点B，并将人体各关节点位置转换为相对于参考点B的平面向量，从而得出新的数据集P1，再对数据集P1中每个人体的关节点，按照时间顺序与各帧中关节点位置的平面向量，将其数据放入一个集合中，得到一个动作A的运动形态集Pa0；

在该步骤中，即通过以人体的某一部位作为参考点，将人体各关节点位置转换为平面向量，并根据每个人体关节点在时间顺序中不同位置的平面向量，得到以时间为顺序的运动形态集。

步骤四、对运动形态集Pa0中的每一个关节点的运动数据，均采用数学模型为Ax²+Bxy+Cy²+D+Ey+F＝0的椭圆二次曲线方程进行线性回归，得出一般形态，其中，位置x、y在时间轴上的运动规律分别为两者的拟合，对应产生2个运动分量曲线分别为Pfx、Pfy，之后再将一个动作各关节点的运动分量曲线(Pfx、Pfy)代入进行计算，得出一个在平面上运动的轨迹Pt，并将其放入一个集合中，得出动作A的运动形态集Pa；

步骤五、对每一个关节点，均建立一个统计出现率的三维矩阵图，并对其每一次出现的位置进行统计，并在该位置上，往该位置本平面的四周进行衰减性地扩散，同时在矩阵中对相应帧进行叠加，得到关节点的出现率分布图Pp，之后，对于图像采集点N中所有的采集点，将其得到的运动形态集Pa与出现率分布图Pp均放入一个集合中，得出动作A的模型Am；

在该步骤中，其中的三维矩阵图，一二维可以以图像大小为基准，第三维是帧时间索引。

步骤六、对一个待检测识别其动作A的目标进行检测时，使用姿态识别技术对每个画面中的对象获取其姿态数据，并根据时间顺序均放入一个集合Pd中，并对集合Pd中的各个关节点，将同一关节点按照时间顺序将各帧的位置连接起来，形成一条折线L；

步骤七、取模型Am对应关节点的轨迹Pt，使其与折线L进行对比，得出形态相似值V0，取模型Am对应关节点的出现率分布图Pp，对出现率分布图Pd中所有点在出现率分布图Pp矩阵中保存的值进行累加统计，得出该关节点运动出现在正确位置的置信值V1，同时，结合预先设置V0和V1的阈值，当V0或V1满足阈值条件时，则判定为进行了动作A，而当V0和V1都不满足阈值条件时，则挑选符合度最高的值判定其进行了该动作。

在该步骤中，关节点的轨迹Pt与折线L进行对比可以通过在两线之间统计差异面积的方法来进行；另外，由于人体经常性地沿水平面转向，所以本发明方法采用对照模型Am中每一个观察点的模型都进行一次判断，满足阈值则判定符合，若都不满足，也可提供相似度作为参考，并挑选符合度最高的值判定该动作。

优选地，在步骤三中，参考点B为头部；头部特征明显，不容易出错。

(3)有益效果

与现有技术相比，本发明的有益效果在于：

本发明的识别方法基于现有的人体姿态识别技术，突破性地采用神经网络对人体运动姿态的运动规律进行归纳，并基于这些归纳在检测时进行快速判断，同时结合运动规律的归纳，极大地降低了对应用场景的要求，从而可以满足各种新需求，即只需按照要求采集样本，就可识别新的动作。另外，本发明的识别方法仅需对程序本身进行一次人工编码，从而避免了人工多次编码带来的各种问题，降低工作量的同时，极大地提高了检测效果的上限。此外，本发明的识别方法在检测时对计算量需求不高，每一帧只需一次姿态识别，而且识别过的可以暂存并重复使用，因此该过程计算量小。

本发明的识别方法能极快地实现人体动作识别，而且对应用场景要求较低，在不同需求下的普适性极高，可应对不同的需求，并且又避免了人工多次编码带来的各种问题，降低工作量的同时，极大地提高了检测效果的上限。

附图说明

为了更清楚的说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术中描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施方式，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明动作识别方法一种实施方式中获取运动点数据的提取图。

图2为本发明动作识别方法一种实施方式中敬礼动作的连续捕捉图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明具体实施方式中的技术方案进行清楚、完整的描述，以进一步阐述本发明，显然，所描述的具体实施方式仅仅是本发明的一部分实施方式，而不是全部的样式。

本实施例为通过系统方法对敬礼的动作进行识别，具体步骤为：

步骤一、对于人体敬礼动作，先沿水平方向均匀地在人体四周设置16个图像采集点N，通过采集点N，对各类人进行敬礼动作的完整形态以及完整动作过程进行图像信息采集，得到敬礼动作的图像信息数据，并将其保存为原始图像集I0，如图1和图2所示，图1即为其获取运动点数据的提取图，图2即为敬礼动作的连续捕捉图；

步骤二、在原始图像集I0中，对所有人物的形体进行调整，以普通人体形体为标准，对于不符合的人体形体样本，通过拉伸将其调至标准，得到图像集I1，并通过姿态识别技术识别图像集I1，得到人体姿态数据集P0；

步骤三、对人体姿态数据集P0中的每一帧数据，均统一设定人体的头部位作为参考点B，并将人体各关节点位置转换为相对于参考点B的平面向量，从而得出新的数据集P1，再对数据集P1中每个人体的关节点，按照时间顺序与各帧中关节点位置的平面向量，将其数据放入一个集合中，得到一个敬礼动作的运动形态集Pa0；

步骤四、对运动形态集Pa0中的每一个关节点的运动数据，均采用数学模型为Ax²+Bxy+Cy²+D+Ey+F＝0的椭圆二次曲线方程进行线性回归，得出一般形态，其中，位置x、y在时间轴上的运动规律分别为两者的拟合，对应产生2个运动分量曲线分别为Pfx、Pfy，之后再将一个动作各关节点的运动分量曲线(Pfx、Pfy)代入进行计算，得出一个在平面上运动的轨迹Pt，并将其放入一个集合中，得出敬礼动作的运动形态集Pa；

步骤五、对每一个关节点，均建立一个统计出现率的三维矩阵图，其中一二维可以以图像大小为基准，第三维是帧时间索引，并对其每一次出现的位置进行统计，并在该位置上，往该位置本平面的四周进行衰减性地扩散，同时在矩阵中对相应帧进行叠加，得到关节点的出现率分布图Pp，之后，对于图像采集点N中所有的采集点，将其得到的运动形态集Pa与出现率分布图Pp均放入一个集合中，得出敬礼动作的模型Am；

步骤六、对一个待检测识别其敬礼动作的目标进行检测时，使用姿态识别技术对每个画面中的对象获取其姿态数据，并根据时间顺序均放入一个集合Pd中，并对集合Pd中的各个关节点，将同一关节点按照时间顺序将各帧的位置连接起来，形成一条折线L；

步骤七、取模型Am对应关节点的轨迹Pt，使其与折线L进行对比，得出形态相似值V0，取模型Am对应关节点的出现率分布图Pp，对出现率分布图Pd中所有点在出现率分布图Pp矩阵中保存的值进行累加统计，得出该关节点运动出现在正确位置的置信值V1，同时，结合预先设置V0和V1的阈值，当V0或V1满足阈值条件时，则判定为进行了敬礼动作，而当V0和V1都不满足阈值条件时，则挑选符合度最高的值判定其进行了该动作。

以上描述了本发明的主要技术特征和基本原理及相关优点,对于本领域技术人员而言，显然本发明不限于上述示范性具体实施方式的细节，而且在不背离本发明的构思或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将上述具体实施方式看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照各实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种基于人体姿态数据的动作识别方法，其特征在于，该识别方法的具体步骤为：

步骤一、对于一个需识别的人体动作A，沿水平方向均匀地在人体四周设置多个图像采集点N，通过采集点N，对各类人进行A动作的完整形态以及完整动作过程进行图像信息采集，得到动作A的图像信息数据，并将其保存为原始图像集I0；

步骤二、在原始图像集I0中，对所有人物的形体进行调整，以普通人体形体为标准，对于不符合的人体形体样本，通过拉伸将其调至标准，得到图像集I1，并通过姿态识别技术识别图像集I1，得到人体姿态数据集P0；

步骤三、对人体姿态数据集P0中的每一帧数据，均统一设定人体的某一部位作为参考点B，并将人体各关节点位置转换为相对于参考点B的平面向量，从而得出新的数据集P1，再对数据集P1中每个人体的关节点，按照时间顺序与各帧中关节点位置的平面向量，将其数据放入一个集合中，得到一个动作A的运动形态集Pa0；

步骤四、对运动形态集Pa0中的每一个关节点的运动数据，均采用数学模型为Ax²+Bxy+Cy²+D+Ey+F＝0的椭圆二次曲线方程进行线性回归，得出一般形态，其中，位置x、y在时间轴上的运动规律分别为两者的拟合，对应产生2个运动分量曲线分别为Pfx、Pfy，之后再将一个动作各关节点的运动分量曲线(Pfx、Pfy)代入进行计算，得出一个在平面上运动的轨迹Pt，并将其放入一个集合中，得出动作A的运动形态集Pa；

步骤五、对每一个关节点，均建立一个统计出现率的三维矩阵图，并对其每一次出现的位置进行统计，并在该位置上，往该位置本平面的四周进行衰减性地扩散，同时在矩阵中对相应帧进行叠加，得到关节点的出现率分布图Pp，之后，对于图像采集点N中所有的采集点，将其得到的运动形态集Pa与出现率分布图Pp均放入一个集合中，得出动作A的模型Am；

步骤六、对一个待检测识别其动作A的目标进行检测时，使用姿态识别技术对每个画面中的对象获取其姿态数据，并根据时间顺序均放入一个集合Pd中，并对集合Pd中的各个关节点，将同一关节点按照时间顺序将各帧的位置连接起来，形成一条折线L；

步骤七、取模型Am对应关节点的轨迹Pt，使其与折线L进行对比，得出形态相似值V0，取模型Am对应关节点的出现率分布图Pp，对出现率分布图Pd中所有点在出现率分布图Pp矩阵中保存的值进行累加统计，得出该关节点运动出现在正确位置的置信值V1，同时，结合预先设置V0和V1的阈值，当V0或V1满足阈值条件时，则判定为进行了动作A，而当V0和V1都不满足阈值条件时，则挑选符合度最高的值判定其进行了该动作。

2.根据权利要求1所述的一种基于人体姿态数据的动作识别方法，其特征在于，在步骤三中，所述参考点B为头部。