CN110210284A - 一种人体姿态行为智能评价方法 - Google Patents

Abstract

本发明公开了一种人体姿态行为智能评价方法。它包括以下步骤：S1：人体关节点信息提取；S2：特征向量构造；S3：动作对齐；S4：动作匹配相似度分析；S5：行为评价。本发明利用人体关节点信息，构造人体部件特征向量，在制定的行为相似度评分体系上，实现基于参考人体姿态行为对待评价人体姿态行为的规范度智能评分，评价准确率高。

Description

一种人体姿态行为智能评价方法

技术领域

本发明涉及姿态行为评价技术领域，尤其涉及一种人体姿态行为智能评价方法。

背景技术

现有技术一般先通过摄像头拍摄包含人体的图像；然后，从图像中提取人体姿态数据，将测试人体的姿态数据与参考人体的姿态做比较；最后，给出人体姿态的评价、判定结果。

人体姿态静态评价需要采集人体4个面的姿态图像，综合分析测试人体4个面的姿态，获得测试人体整体的姿态数据，与数据库中的参考人体姿态数据作对比，对测试人体的姿态做评价判断，但是，这种方法只能分析人体静态姿态，没有采集分析人体运动时所包含的丰富的姿态信息，人体姿态的评价不够全面。

人体动态姿态的评价目前主要是通过对一段视频中的测试人体姿态进行分析，获得测试人体运动过程中的姿态数据，然后与参考人体运动视频中的人体姿态数据作比对，给出评价判断结果。但是，现有人体动态姿态的评价技术还不成熟，行为匹配准确率较低，人体姿态评价的实时性还没有得到较好的解决。

现如今年轻人工作繁忙，空巢老人、孩子日常行为习惯规范等问题的解决非常迫切。孩子的坐姿、笔姿、走姿等行为习惯需要时刻被监督，及时纠正不良行为习惯，如基于标准坐姿对孩子的坐姿评分，并给出矫正建议，可以督促孩子养成良好的坐姿习惯，预防近视，有助于塑立良好的身姿；这一技术的实现，还可用于体育锻炼，对运动员训练时的姿态动作进行评分，提升训练效果和效率。

发明内容

本发明为了解决现有人体动态姿态评价方法准确率较低的技术问题，提供了一种评价准确率高的人体姿态行为智能评价方法。

为了解决上述问题，本发明采用以下技术方案予以实现：

本发明的一种人体姿态行为智能评价方法，包括以下步骤：

S1：人体关节点信息提取：提取输入的待评价人体姿态行为视频中每一帧图像中人体的所有关节点，将人体关节点组合，获得视频中人体的所有关节点构成的骨骼框架数据；

S2：特征向量构造：将人体关节点按肢体构造成多个人体部件，通过人体部件构造多个人体特征平面；

S3：动作对齐：基于动态时间规整算法(DTW)对待评价人体姿态行为视频和预先存储的参考人体姿态行为视频的人体姿态动作进行匹配，找出最匹配的图像对，实现两视频中人体动作的对齐；

S4：动作匹配相似度分析：将最匹配的图像对中人体关节点信息映射到同一个人体坐标系中，计算最匹配的图像对中人体姿态行为的相似度；

S5：行为评价：根据最匹配的图像对中人体姿态行为的相似度对待评价人体姿态行为视频中的姿态行为进行评分。

在本方案中，首先，通过摄像头采集人体运动的视频，提取视频中每一帧图像中的人体关节点信息(人体关节点在图像中的坐标)；然后，根据人肢体构造将人体关节点连接成多个人体部件，并求得人体部件的特征向量，如正头部、左头部、左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿等，按照人体运动平面，两两人体部件的特征向量叉乘，得到多个人体运动平面的特征向量，如头部、左臂、右臂、左腿、右腿、胸部等；最后，根据其动作类别，调取MySQL数据库中同类别的参考人体姿态行为的信息，最后将两行为进行对齐、匹配，计算二者的相似度，根据二者的匹配度对视频中的行为进行评分、矫正。

作为优选，所述步骤S1中人体的所有关节点构成的骨骼框架数据包括所有人体关节点信息，每个人体关节点信息由人体关节点在图像中的二维坐标信息和关节点置信度构成。

作为优选，所述步骤S1中提取的人体关节点为18个，包括鼻、颈、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右髋、右膝、右脚踝、左髋、左膝、左脚踝、右眼、左眼、右耳、左耳。

作为优选，所述步骤S2中将人体关节点按肢体构造成的人体部件为10个，包括正头部、左头部、左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿。

作为优选，所述步骤S2中通过人体部件构造的人体特征平面为6个，包括头部、左臂、右臂、左腿、右腿、胸部。

作为优选，所述步骤S3具体步骤如下：

采用归一化的方法，将鼻作为人体关节点0，将颈作为人体关节点1，以人体关节点1为坐标原点，人体关节点1和人体关节点0构成的特征向量V₀为X轴建立人体坐标系，计算各人体部件V_i在人体坐标系中与X轴间夹角的余弦值其中，i表示人体部件的编号，将各人体部件特征向量与X轴夹角的余弦值联合求和得每一帧图像中人体姿态行为的特征值d，最终形成一个视频的人体姿态行为特征序列D＝[d₁，d₂，d₃，...，d_m]，其中，m为视频的帧数；

参考人体姿态行为视频的特征序列，记为RD，待评价人体姿态行为视频的特征序列，记为TD，将RD、TD两个特征序列用动态时间规整算法(DTW)计算最优匹配路径，从而找出最匹配的图像对，实现两视频中人体动作的对齐。

作为优选，所述步骤S4中计算最匹配的图像对中人体姿态行为的相似度的方法如下：

将最匹配的图像对中对应人体部件夹角的余弦值作为相似度评价的度量值其中，V_i为参考人体姿态行为视频的图像中人体的第i个人体部件，V_i′为待评价人体姿态行为视频的图像中人体的第i个人体部件，SIM_i为两个图像中对应的人体部件夹角余弦值，即人体部件相似度，所有人体部件的相似度之和为两个图像中人体姿态行为整体的相似度，记为S；

当两个图像中人体姿态行为完全相同时，各人体部件重合，二者整体相似度S＝θ，因此，两个图像中人体姿态行为的相似度的百分比为P_S＝(S/θ)×100％。

本发明的有益效果是：利用人体关节点信息，构造人体部件特征向量，在制定的行为相似度评分体系上，实现基于参考人体姿态行为对待评价人体姿态行为的规范度智能评分，评价准确率高。

附图说明

图1是实施例的流程图；

图2是人体关节点示意图；

图3是从人体运动视频提取到的人体关节点示意图；

图4是两待匹配动作对应的人体部件夹角。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

本实施例的一种人体姿态行为智能评价方法，如图1所示，包括以下步骤：

S1：人体关节点信息提取：基于CPM算法采用级联结构，自底向上的方式先将输入的待评价人体姿态行为视频中每一帧图像中的18个人体关节点找出，然后将人体关节点组合(将人体的所有关节点分段分部位地进行连接，把属于同一个人体的所有关节点连接起来)，获得视频中人体的所有关节点构成的骨骼框架数据；

18个人体关节点包括鼻、颈、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右髋、右膝、右脚踝、左髋、左膝、左脚踝、右眼、左眼、右耳、左耳等，为这些关节点编号，如图2所示，鼻为人体关节点0，颈为人体关节点1，等等；

S2：特征向量构造：将人体关节点按肢体构造成10个人体部件，包括正头部、左头部、左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿，通过人体部件构造头部、左臂、右臂、左腿、右腿、胸部这6个人体特征平面；

人体关节点的坐标用C表示，如，第j个关节点的坐标用C_j表示，其中j＝0，1，2，...，17，为10个人体部件和6个人体运动平面构造空间特征向量，如表一所示，

人体姿态	特征向量
		正头部	V<sub>1</sub>＝C<sub>1</sub>-C<sub>0</sub>
左头部	V<sub>2</sub>＝C<sub>14</sub>-C<sub>0</sub>
		左上臂	V<sub>3</sub>＝C<sub>3</sub>-C<sub>2</sub>
左下臂	V<sub>4</sub>＝C<sub>4</sub>-C<sub>3</sub>
		右上臂	V<sub>5</sub>＝C<sub>6</sub>-C<sub>5</sub>
右下臂	V<sub>6</sub>＝C<sub>7</sub>-C<sub>6</sub>
		左大腿	V<sub>7</sub>＝C<sub>9</sub>-C<sub>8</sub>
左小腿	V<sub>8</sub>＝C<sub>10</sub>-C9
		右大腿	V<sub>9</sub>＝C<sub>12</sub>-C<sub>11</sub>
右小腿	V<sub>10</sub>＝C<sub>13</sub>-C<sub>12</sub>
		头部特征平面	V<sub>11</sub>＝V<sub>1</sub>×V<sub>2</sub>
左臂特征平面	V<sub>12</sub>＝V<sub>3</sub>×V<sub>4</sub>
		右臂特征平面	V<sub>13</sub>＝V<sub>5</sub>×V<sub>6</sub>
左腿特征平面	V<sub>14</sub>＝V<sub>7</sub>×V<sub>8</sub>
		右腿特征平面	V<sub>15</sub>＝V<sub>9</sub>×V<sub>10</sub>
胸部特征平面	V<sub>16</sub>＝(C<sub>8</sub>-C<sub>1</sub>)×(C<sub>11</sub>-C<sub>1</sub>)

表一

S3：动作对齐：基于动态时间规整算法(DTW)对待评价人体姿态行为视频和预先存储的参考人体姿态行为视频的人体姿态动作进行匹配，找出最匹配的图像对，实现两视频中人体动作的对齐；

S4：动作匹配相似度分析：将最匹配的图像对中人体关节点信息映射到同一个人体坐标系中，计算最匹配的图像对中人体姿态行为的相似度；

S5：行为评价：根据最匹配的图像对中人体姿态行为的相似度对待评价人体姿态行为视频中的姿态行为进行评分，给出矫正建议。

步骤S3具体步骤如下：

采用归一化的方法，将鼻作为人体关节点0，将颈作为人体关节点1，以人体关节点1为坐标原点，人体关节点1和人体关节点0构成的特征向量V₀为X轴建立人体坐标系，计算各人体部件V_i在人体坐标系中与X轴间夹角的余弦值其中，i表示人体部件的编号，将各人体部件特征向量与X轴夹角的余弦值联合求和得每一帧图像中人体姿态行为的特征值d，最终形成一个视频的人体姿态行为特征序列D＝[d₁，d₂，d₃，...，d_m]，其中，m为视频的帧数；

参考人体姿态行为视频的特征序列，记为RD，待评价人体姿态行为视频的特征序列，记为TD，将RD、TD两个特征序列用动态时间规整算法(DTW)计算最优匹配路径，从而找出最匹配的图像对，实现两视频中人体动作的对齐。

步骤S4中计算最匹配的图像对中人体姿态行为的相似度的方法如下：

将最匹配的图像对中对应人体部件夹角的余弦值作为相似度评价的度量值其中，V_i为参考人体姿态行为视频的图像中人体的第i个人体部件，V_i′为待评价人体姿态行为视频的图像中人体的第i个人体部件，SIM_i为两个图像中对应的人体部件夹角余弦值，即人体部件相似度，所有人体部件的相似度之和为两个图像中人体姿态行为整体的相似度，记为S；

当两个图像中人体姿态行为完全相同时，各人体部件重合，二者整体相似度S＝16，因此，两个图像中人体姿态行为的相似度的百分比为P_S＝(S/16)×100％。

步骤S1中人体的所有关节点构成的骨骼框架数据包括所有人体关节点信息，每个人体关节点信息由人体关节点在图像中的二维坐标信息(即人体关节点在x，y上的坐标值)和关节点置信度构成。

图3所示为从人体运动视频提取到的人体关节点。从视频中提取到的人体关节点信息以帧为单位依次存储为json文件，每个人体关节点信息由人体关节点在图像中的二维坐标信息(即关节点在x，y上的坐标值)和关节点置信度构成。按帧序从json文件依次提取人体关节点的二维坐标信息，形成一个人体关节点信息列表。

在本方案中，首先，通过摄像头采集人体运动的视频，提取视频中每一帧图像中的人体关节点信息(人体关节点在图像中的坐标)；然后，根据人肢体构造将人体关节点连接成多个人体部件，并求得人体部件的特征向量，按照人体运动平面，两两人体部件的特征向量叉乘，得到多个人体运动平面的特征向量；最后，根据其动作类别，调取MySQL数据库中同类别的参考人体姿态行为的信息，最后将两行为进行对齐、匹配，计算二者的相似度，根据二者的匹配度对视频中的行为进行评分、矫正。

对两张图像中的人体姿态行为进行匹配，需要先构造匹配特征，若直接基于各关节点间的欧氏距离来进行比较，不能真实反映行为匹配的准确性，因为每个人的身高不同，在空间中所处的位置差异比较大，其次因每个人身材高矮胖瘦的不同，即使两人做同一动作，其关节点在空间中的位置差异也会很大，但其肢体段的方向大致相同。本发明将人体关节点按肢体构造成10个人体部件。人体行为姿态主要分为头部运动、四肢运动及胸部运动，且以四肢运动为主，因此通过人体部件构造头部、左臂、右臂、左腿、右腿、胸部6个人体特征平面。

两个视频中的人体姿态行为匹配前，需要先对人体姿态动作对齐，这种时间序列的相似度计算存在两个问题：一是，不同的人做相同的动作，动作的快慢不同；二是，两个时间序列的长度可能不相等。本发明基于动态时间规整算法(DTW)对两个视频中的人体姿态动作进行对齐。

人在做不同的动作时，各人体部件的特征向量与X轴夹角不同。将两个不同人体动作图像中人体关节点信息映射到同一个人体坐标系中；如果待匹配的两个动作相同，则它们对应的各人体部件特征向量一一重合，即部件间的夹角为0；反之，则待匹配的两个动作对应的各人体部件间有存在夹角α，如图4所示。

本发明可以输出参考人体姿态行为和待评价人体姿态行为的运动信息，并给出动作矫正建议。本发明可以应用于儿童坐姿矫正、瑜伽训练、羽毛球训练、交互娱乐等。本发明抗干扰能力强，在人体行为视频开源数据库和自己采集的人体行为视频数集上进行测试，尽管测试视频的光照环境不同、测试对象的胖瘦高矮不同、运动速度不同，同类别的动作的相似度准确率仍能达到90％以上，行为评价的效率可以达到40fps以上。

Claims (7)

1.一种人体姿态行为智能评价方法，其特征在于，包括以下步骤：

S1：人体关节点信息提取：提取输入的待评价人体姿态行为视频中每一帧图像中人体的所有关节点，将人体关节点组合，获得视频中人体的所有关节点构成的骨骼框架数据；

S2：特征向量构造：将人体关节点按肢体构造成多个人体部件，通过人体部件构造多个人体特征平面；

S3：动作对齐：基于动态时间规整算法对待评价人体姿态行为视频和预先存储的参考人体姿态行为视频的人体姿态动作进行匹配，找出最匹配的图像对，实现两视频中人体动作的对齐；

S4：动作匹配相似度分析：将最匹配的图像对中人体关节点信息映射到同一个人体坐标系中，计算最匹配的图像对中人体姿态行为的相似度；

S5：行为评价：根据最匹配的图像对中人体姿态行为的相似度对待评价人体姿态行为视频中的姿态行为进行评分。

2.根据权利要求1所述的一种人体姿态行为智能评价方法，其特征在于，所述步骤S1中人体的所有关节点构成的骨骼框架数据包括所有人体关节点信息，每个人体关节点信息由人体关节点在图像中的二维坐标信息和关节点置信度构成。

3.根据权利要求1所述的一种人体姿态行为智能评价方法，其特征在于，所述步骤S1中提取的人体关节点为18个，包括鼻、颈、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右髋、右膝、右脚踝、左髋、左膝、左脚踝、右眼、左眼、右耳、左耳。

4.根据权利要求3所述的一种人体姿态行为智能评价方法，其特征在于，所述步骤S2中将人体关节点按肢体构造成的人体部件为10个，包括正头部、左头部、左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿。

5.根据权利要求4所述的一种人体姿态行为智能评价方法，其特征在于，所述步骤S2中通过人体部件构造的人体特征平面为6个，包括头部、左臂、右臂、左腿、右腿、胸部。

6.根据权利要求1或2或3或4或5所述的一种人体姿态行为智能评价方法，其特征在于，所述步骤S3具体步骤如下：

采用归一化的方法，将鼻作为人体关节点0，将颈作为人体关节点1，以人体关节点1为坐标原点，人体关节点1和人体关节点0构成的特征向量V₀为X轴建立人体坐标系，计算各人体部件V_i在人体坐标系中与X轴间夹角的余弦值其中，i表示人体部件的编号，将各人体部件特征向量与X轴夹角的余弦值联合求和得每一帧图像中人体姿态行为的特征值d，最终形成一个视频的人体姿态行为特征序列D＝[d₁，d₂，d₃，...，d_m]，其中，m为视频的帧数；

参考人体姿态行为视频的特征序列，记为RD，待评价人体姿态行为视频的特征序列，记为TD，将RD、TD两个特征序列用动态时间规整算法计算最优匹配路径，从而找出最匹配的图像对，实现两视频中人体动作的对齐。

7.根据权利要求1或2或3或4或5所述的一种人体姿态行为智能评价方法，其特征在于，所述步骤S4中计算最匹配的图像对中人体姿态行为的相似度的方法如下：

将最匹配的图像对中对应人体部件夹角的余弦值作为相似度评价的度量值其中，V_i为参考人体姿态行为视频的图像中人体的第i个人体部件，V_i′为待评价人体姿态行为视频的图像中人体的第i个人体部件，SIM_i为两个图像中对应的人体部件夹角余弦值，即人体部件相似度，所有人体部件的相似度之和为两个图像中人体姿态行为整体的相似度，记为S；

当两个图像中人体姿态行为完全相同时，各人体部件重合，二者整体相似度S＝θ，因此，两个图像中人体姿态行为的相似度的百分比为P_S＝(S/θ)×100％。