CN112085105B - 一种基于人体形状与姿态估计的动作相似度评价方法 - Google Patents

Abstract

一种基于人体形状与姿态估计的动作相似度评价方法，使用人体形状估计参数与姿态估计参数更准确的描述动态的人体模型，进而使用人体3D蒙皮结构提取真实的人体骨骼坐标位置，代替传统的人体表面骨骼点提取方法；基于这些人体形状参数、姿态参数以及真实人体骨骼坐标位置，构造出对人体动作对比敏感的特征指标，实现准确、智能的动作相似度对比评估方法。该方法对人体形状、姿态、真实骨骼的提取，以及动作相似度的评价更加准确。

Description

一种基于人体形状与姿态估计的动作相似度评价方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种人体动作相似度评价方法。

背景技术

随着深度学习技术和高性能计算技术的进步，实时视频的人体姿态评估、行为理解已经成为了目前计算机视觉领域的研究热点。一些研究成果已经成功的应用到了很多领域中，例如抖音尬舞机。在体育视频分析、体育教学等任务中，人体动作评估与相似度评价方法有着广泛的应用前景。

人体行为是由一组时序动作构成，有效的判断标准动作(教练动作)与输入动作(学生动作)差距，是衡量这两个动作相似程度的重要任务。

目前动作相似度评估方法有以下两种方法：

(1)采用RGB相机，使用RGB图像，提取二维骨骼信息，然后设计一些简单的特征指标，使用DTW或欧式距离相似度度量。如专利201810394685.0、201910143782.7。

(2)采用RGB-D相机，使用RGB图像和深度图像，提取三维骨骼信息，然后设计一些简单特征指标，使用DTW或欧式距离相似度度量。如专利201310529096.6、201910338737.7。

根据上述的这些方法可以将人体动作相似度评价过程简述如下：通过一种方法提取人体骨骼，然后手动设计一些简易的差异性特征，然后采用度量的方式比较这些差异性特征，给出相似度评价。

上述第(1)类方法中只采用了二维骨骼信息，二维骨骼信息无法反映真实的物理量，如关节的空间角度等重要的真实信息。另外，二维骨骼信息会因为关节遮挡的问题导致关节丢失或测不到，当缺失了重要骨骼点，则动作评价就会不准确。

第(2)类方法中采用了三维骨骼信息，深度的信息来自于深度图像，当关节被遮挡时，会导致深度图像的深度距离会误测，提取的三维骨骼信息会有极大的误差。例如当手在肢体的后方，这时会测量到肚子的距离，而不是手的距离，这样就会产生一个身体厚度的误差。另外，深度相机测量的深度距离只能测量到表皮的距离，没法测量真实关节点的位置，这样也会产生很大的误差。

发明内容

本公开提供一种基于人体形状与姿态估计的动作相似度评价方法，其能够避免传统人体骨骼点模型对人体骨骼空间位置的测量误差、以及因关节受遮挡而导致的关节点缺失问题，实现对人体动态更准确的描述，进而实现动作相似度的对比评估。

本公开提供的基于人体形状与姿态估计的动作相似度评价方法，包括以下步骤：

采用人体形状与姿态估计模型，分别从待评价视频和标准动作视频中逐帧估计各自的人体形状参数序列和姿态参数序列，得到其形状与姿态特征值序列；

利用所述人体形状参数序列与姿态参数序列，生成3D蒙皮人体模型，然后根据蒙皮生成真实人体的关节点坐标；

根据所述形状与姿态特征值序列，得到待评价视频和标准动作视频之间的人体形状与姿态差异性序列；

根据各帧的所述人体关节点坐标，得到待评价视频和标准动作视频之间的关节位置变化差异性序列和关节速度变化差异性序列；

根据所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列，对待评价视频与标准动作视频之间的动作相似性进行度量。

可选的，所述动作相似度评价方法还包括视频数据预处理的步骤，包括：

对待评价视频和/或标准动作视频的起止点进行裁剪；以及

将待评价视频与标准动作视频的帧数对齐。

可选的，所述视频数据预处理的步骤，还包括：

识别并画出视频中人的位置识别框，仅保留所述识别框内的视频图像用于动作相似度评价。

可选的，所述人体形状参数序列和姿态参数序列，采用基于SMPL的形状参数和姿态参数模型。

可选的，采用人体形状与姿态估计模型，分别从待评价视频和标准动作视频中逐帧估计各自的人体形状参数序列和姿态参数序列，得到各自人体形状与姿态特征值序列的步骤包括：

将待评价视频图像和标准动作视频图像，分别送入训练好的人体形状与姿态估计模型，逐帧估计各自的人体形状参数序列Sⁱ和姿态参数序列Pⁱ，其中i表示第i帧；

分别构建各自的人体参数化模型[Sⁱ,Pⁱ]；

对所述人体参数化模型进行降维处理，得到各自的人体形状与姿态特征值序列Fⁱ。

可选的，所述待评价视频和标准动作视频之间的人体形状与姿态差异性序列表示为：

其中，为待评价视频第i帧的人体形状与姿态特征值，为标准动作视频第i帧的人体形状与姿态特征值，ρ函数为皮尔逊相关系数，N表示每种视频的总帧数。

可选的，所述待评价视频和标准动作视频之间的关节位置变化差异性序列表示为：

其中，i表示第i帧，N表示每种视频的总帧数，C_{k in}表示待评价视频的第k个关节相对于躯干坐标的变化值，C_{k s}表示标准动作视频的第k个关节相对于躯干坐标的变化值，K表示关节总数，关节ρ函数为皮尔逊相关系数。

可选的，所述待评价视频和标准动作视频之间的关节速度变化差异性序列表示为：

其中，i表示第i帧，N表示每种视频的总帧数，k表示第k个关节，K表示关节总数，为待评价视频的关节坐标变化速度，为标准动作视频的关节坐标变化速度，所述关节坐标变化速度由该关节在第i帧的坐标减去第i-1帧的坐标得到。

可选的，根据所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列，对待评价动作和标准动作之间的相似性进行度量的步骤包括：

将所述人体形状与姿态差异性序列，关节位置变化差异性序列，和关节速度变化差异性序列，组成为一个向量；

采用自适应回归的方法进行相似性度量。

可选的，所述采用自适应回归的方式进行相似性度量的方法，步骤包括：

建立所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列组成的向量R与相似度similarity之间的关系式如下：

其中，w^T＝{w₁,w₂,w₃,...,w_3N-1}；

similarity∈[-1,1]；

采用少量由专家标注的动作相似度评价视频，分别将依照三种所述差异性序列构建的R，和专家标注的相似度值代入上式，采用梯度上升的方式求解出w^T；

然后将similarity从[-1,1]映射到[0,1]中：

最后输出为similarity_out，表示待评价视频与标准动作视频的相似度，数值越接近1，则表示相似程度越高。

本公开提供的基于人体形状与姿态估计的动作相似度评价方法，使用人体形状估计参数与姿态估计参数更准确的描述动态的人体模型，进而使用人体3D蒙皮结构提取真实的人体骨骼坐标位置，代替传统的人体表面骨骼点提取方法；基于这些人体形状参数、姿态参数以及真实人体骨骼坐标位置，构造出对人体动作对比敏感的特征指标，实现准确、智能的动作相似度对比评估方法。

与现有技术相比，本公开的有益效果是：①引入人体形状参数与姿态参数，全面、稳定反映人体静态特征与动态变化，基于这些参数提取人体骨骼，能够避免帧与帧之间的波动，并解决一时的关节遮挡问题；②相对于传统人体骨骼提取方法只能提取人体表皮骨骼信息，使用基于3D蒙皮模型提取真实人体骨骼更加准确；③采用少量专家标注的相似度数据来训练自适应的相似度度量，比使用简单指标的相似度，度量结果更加准确。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例方式中，相同的参考标号通常代表相同部件。

图1显示传统的人体表面骨骼点提取示意图；

图2显示基于人体形状与姿态估计的动作相似度评价方法实施例流程图；

图3显示基于SMPL的人体形状参数与姿态参数模型；

图4显示基于人体3D蒙皮结构提取的真实人体骨骼坐标位置。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本公开的示例性实施例，使用RGB相机获取教练的标准动作视频流数据和学员的待评价视频流数据。然后使用人体形状与姿态估计模型，分别从两个视频中估计出人体的形状参数和姿态参数，构建人体参数化模型，如图3所示。再根据人体的3D蒙皮结构估计出人体真实骨骼点的位置，如图4所示。人体参数化模型的构建能够将模型的注意力集中到视频中人身上来，从而忽略了数据的背景信息，从而极大的降低了背景噪声对评价的影响。

图2显示了示例性实施例的流程图，包括以下步骤：

(1)步骤S101：采用人体形状与姿态估计模型，分别从待评价视频和标准动作视频中估计出各自的人体形状参数序列和姿态参数序列，得到各自的人体形状与姿态特征值。其中，人体形状参数序列描述人的高矮胖瘦等静态特征，姿态参数序列则用于描述人的动态特征，衡量动作的变化。

优选的，本实施例中，人的形状参数和姿态参数采用SMPL参数模型，SMPL参数模型是一种蒙皮多人线性参数模型的简写(Skinned Multi-Person Linear Model)，可以通过输入的形状参数与动作参数，输出人体的形状与姿态模型，如附图3所示，包括：10个形状参数，用于构建与人类认知极度相似的体型要素，和72个姿态参数，构建与人类认知极度相似的动作要素。

可选的，从两种视频图像中分别估计各自的人体形状参数序列和姿态参数序列，得到其形状与姿态特征值的方法包括以下步骤：

将预处理好的待评价视频图像流和标准动作视频图像流，利用训练好的人体形状与姿态估计模型，分别从两种图像中估计出人的形状参数序列 和姿态参数序列构建人体参数化模型[Sⁱ,Pⁱ]，其中Sⁱ为图像流中第i帧的人体形状参数，表示第i帧的第k个人体形状参数分量；Pⁱ为图像流中第i帧的人体姿态参数，表示第i帧的第k个人体姿态参数分量；

当人体形状与姿态参数较多，上述人体参数化模型维度过高时，需要对其进行降维处理，如PCA降维，得到代表第i帧人体形状与姿态的特征值 其中表示使用第i帧的人体参数化模型[Sⁱ,Pⁱ]经过PCA降维后的第k个特征值分量。PCA优选采用99.9％方差时的特征维度。

如果动作涉及参数较少、无需降维处理，则直接用上述人体参数化模型作为人体形状与姿态特征值序列。

(3)步骤S102：利用所述人体形状参数与姿态参数，生成3D蒙皮人体模型，得到真实人体各关节点坐标。

可选的，S102包括以下步骤：

使用所述形状参数与姿态参数生成3D蒙皮人体模型；

根据蒙皮生成表示真实人体骨骼的各关节点坐标，其中第0个关节表示躯干。

当使用SMPL的参数模型时，输入10个形状参数与72个姿态参数，生成6890*3形态的3D蒙皮人体模型，然后根据蒙皮生成24个真实人体的骨骼点即关节点坐标。如附图4所示。此时生成的人体骨骼为真实人体骨架坐标，而不是人体表皮的坐标。

(4)差异序列生成：包括人体形状与姿态的差异和人体骨骼的差异两个方面。其中，人体形状与姿态的差异可以用步骤S101中得到的人体形状与姿态特征值来表示，该特征值能够充分反映人体形状与姿态；真实人体骨骼差异主要采用关节的位置变化和关节的速度变化来衡量。具体包括：

步骤S103：根据所述人体形状与姿态特征值序列，得到待评价视频和标准动作视频之间的人体形状与姿态差异性序列。

可选的，人体形状与姿态的差异性序列表示为：

其中，i表示第i帧，为待评动作的人体形状与姿态特征值，为标准动作的人体形状与姿态特征值，ρ函数为皮尔逊相关系数，N表示每种视频有N帧。

步骤S104：根据所述人体关节点坐标，得到待评价视频和标准动作视频之间的关节位置变化差异性序列。

可选的，关节位置变化的差异性序列可以表示为

其中，i表示第i帧，N表示每种视频的帧数，C_{k in}表示待评价动作的第k个关节相对于躯干坐标的变化值，C_{k s}表示标准动作的第k个关节相对于躯干坐标的变化值，K表示关节总数，关节ρ函数为皮尔逊相关系数。

对关节位置变化的计算方法进一步举例解释如下：

在3D蒙皮人体模型生成的人体关节中，0位置为躯干，设置为根关节，坐标为V₀＝(0,0,0)，其余的第k个关节点坐标设为V_k，则第k个关节相对于躯干的位置变化C_k＝V_k-V₀。

步骤S105：根据所述人体关节点坐标，得到待评价视频和标准动作视频之间的关节速度变化差异性序列。

可选的，待评价视频和标准动作视频之间的关节速度变化差异性序列表示为：

其中，i表示第i帧，N表示每种视频的总帧数，k表示第k个关节，K表示关节总数，为待评价视频中的关节坐标变化速度，为标准动作视频中的关节坐标变化速度，所述关节坐标变化速度由该关节在第i帧的坐标减去第i-1帧的坐标得到，即：

i表示第i帧，k表示第k个关节点。

(5)步骤S106：根据所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列，对待评价视频与标准动作视频之间的相似性进行度量。

可选的，S106的具体步骤包括：

将人体形状与姿态差异性序列M，关节位置变化差异性序列D，关节速度变化差异性序列CS，组合为一个向量：

R＝{m₁,m₂,..,m_N,d₁,d₂,..,d_N,Cs₁,cs₂,..,cs_N]

采用自适应回归的方式来进行相似度度量。

可选的，所述采用自适应回归的方式来进行相似度度量的步骤包括：

y＝w^TR

其中w^T＝{w₁,w₂,w₃,...,w_3N}。在少量由专家标注的动作相似度视频中，给出[视频，相似度]的形式，然后采用每个视频对应的相似度，采用梯度上升的方式求解出w^T。然后将similarity从[-1,1]映射到[0,1]中，采用如下公式：

最后的输出为similarity_out，表示输入动作与标准动作的相似度，数值越接近1，则表示相似程度越高。

作为优选方案，该实施例还包括步骤S201：视频数据预处理，包括：

对视频进行裁剪；以及将待评价视频的帧数与标准动作视频帧数对齐。

其中：

(1)可选的，对视频进行裁剪的步骤包括：

人为设定开始标志位与终止标志位；

自动裁剪从开始标志位到终止标志位之间的视频。

(2)可选的，将待评价视频帧数与标准动作视频对齐的步骤包括：

如果标准动作视频的帧数大，则采用帧间插值的方式对姿态参数进行插值，增加待评价视频帧数，而不改变形状参数；

反之，则采用重新采样的方法，在待评价视频中均匀采样与标准动作帧数相同的帧数。

作为优选方案，为了减少不必要的图像计算，S201的视频数据预处理还包括以下步骤：

识别并画出所述待评价视频中人的位置识别框；

截取所述识别框内的视频图像用于相似度评价。

优选采用剪枝过的YOLOv3-tiny方法。

上述技术方案只是本发明的示例性实施例，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施例所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (7)

1.一种基于人体形状与姿态估计的动作相似度评价方法，包括以下步骤：

采用人体形状与姿态估计模型，分别从待评价视频和标准动作视频中逐帧估计各自的人体形状参数序列和姿态参数序列，得到其形状与姿态特征值序列；

利用所述人体形状参数序列与姿态参数序列，生成3D蒙皮人体模型，然后根据蒙皮生成真实人体的关节点坐标；

根据所述形状与姿态特征值序列，得到待评价视频和标准动作视频之间的人体形状与姿态差异性序列；

根据各帧的所述人体关节点坐标，得到待评价视频和标准动作视频之间的关节位置变化差异性序列和关节速度变化差异性序列；

根据所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列，对待评价视频与标准动作视频之间的动作相似性进行度量；

所述待评价视频和标准动作视频之间的人体形状与姿态差异性序列表示为：

其中，为待评价视频第i帧的人体形状与姿态特征值，为标准动作视频第i帧的人体形状与姿态特征值，ρ函数为皮尔逊相关系数，N表示每种视频的总帧数；

所述待评价视频和标准动作视频之间的关节位置变化差异性序列表示为：

其中，i表示第i帧，N表示每种视频的总帧数，C_{k in}表示待评价视频的第k个关节相对于躯干坐标的变化值，C_ks表示标准动作视频的第k个关节相对于躯干坐标的变化值，K表示关节总数，关节ρ函数为皮尔逊相关系数；

所述待评价视频和标准动作视频之间的关节速度变化差异性序列表示为：

其中，i表示第i帧，N表示每种视频的总帧数，k表示第k个关节，K表示关节总数，为待评价视频的关节坐标变化速度，为标准动作视频的关节坐标变化速度，所述关节坐标变化速度由该关节在第i帧的坐标减去第i-1帧的坐标得到。

2.根据权利要求1所述的动作相似度评价方法，其特征在于，还包括视频数据预处理的步骤，包括：

对待评价视频和/或标准动作视频的起止点进行裁剪；以及

将待评价视频与标准动作视频的帧数对齐。

3.根据权利要求2所述的动作相似度评价方法，其特征在于，所述视频数据预处理的步骤，还包括：

识别并画出视频中人的位置识别框，仅保留所述识别框内的视频图像用于动作相似度评价。

4.根据权利要求1所述的动作相似度评价方法，其特征在于，所述人体形状参数序列和姿态参数序列，采用基于SMPL的形状参数和姿态参数模型。

5.根据权利要求1所述的动作相似度评价方法，其特征在于，采用人体形状与姿态估计模型，分别从待评价视频和标准动作视频中逐帧估计各自的人体形状参数序列和姿态参数序列，得到各自人体形状与姿态特征值序列的步骤包括；

将待评价视频图像和标准动作视频图像，分别送入训练好的人体形状与姿态估计模型，逐帧估计各自的人体形状参数序列Sⁱ和姿态参数序列Pⁱ，其中i表示第i帧；

分别构建各自的人体参数化模型[Sⁱ,Pⁱ]；

对所述人体参数化模型进行降维处理，得到各自的人体形状与姿态特征值序列Fⁱ。

6.根据权利要求1所述的动作相似度评价方法，其特征在于，根据所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列，对待评价动作和标准动作之间的相似性进行度量的步骤包括：

将所述人体形状与姿态差异性序列，关节位置变化差异性序列，和关节速度变化差异性序列，组成为一个向量；

采用自适应回归的方法进行相似性度量。

7.根据权利要求6所述的动作相似度评价方法，其特征在于，所述采用自适应回归的方式进行相似性度量的方法，步骤包括：

建立所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列组成的向量R与相似度similarity之间的关系式如下：

其中，w^T＝{w₁,w₂,w₃,…,w_3N-1}；

similarity∈[-1,1]；

采用少量由专家标注的动作相似度评价视频，分别将依照三种所述差异性序列构建的R，和专家标注的相似度值代入上式，采用梯度上升的方式求解出w^T；

然后将similarity从[-1,1]映射到[0,1]中：

最后输出为similarity_out，表示待评价视频与标准动作视频的相似度，数值越接近1，则表示相似程度越高。