CN112183316B - 一种运动员人体姿态测量方法 - Google Patents

Abstract

本发明公开一种运动员人体姿态测量方法，包括如下步骤：获取待测运动员在运动过程中按时间排序的多方位视图，作为待测图像组序列；基于待测图像组序列得到待测运动员各关节点的二维图像坐标序列；基于待测运动员各关节点的二维图像坐标序列得到待测运动员各关节点的初步三维空间坐标序列；基于待测运动员各关节点的初步三维空间坐标序列构建待测运动员的人体三维骨架模板；基于骨架各关节点之间的运动链关系驱动人体三维骨架模板，并与待测运动员各关节点的初步三维空间坐标序列进行匹配优化，得到待测运动员各关节点的实际三维空间坐标序列。能够有效的对运动员运动过程中的姿态进行测量，具有测量过程简单、成本低、实时性高等特点。

Description

一种运动员人体姿态测量方法

技术领域

本发明涉及姿态测量技术领域，具体是一种运动员人体姿态测量方法。

背景技术

姿态测量特别是人体的姿态测量已经有越来越广泛的应用，对姿态测量的方法有广泛的使用需求。现有技术中姿态测量，多采用以下几种方法或装置：

1，使用有机械连接的角度传感器测量作为被测目标的目标物的位置。如机械式的虚拟现实输入手套。利用该手套的五个手指均连接有多个角度传感器，将人手的动作状态输入到计算机。这种输入多用于远程机械手控制、虚拟显示仿真、人手仿生学研究，还有三维动画制作过程中的人手姿态测量。也可在人体躯干、四肢和头部安装类似的角度传感器，以输入整个人体的姿态。其缺点是由于有机械连接，无法使被测姿态的人或物自由运动，测量角度和精度均受限制，且被测目标的人感觉非常不舒服。

2，光球摄像法姿态测量。这种方法是将作为被测目标的人体身着全黑色紧身服装，身体的各个关节和关键点绑定若干对特定波长光线有强烈反射作用的光球，以测量人体状态。使用时人体在黑色不反光的幕布前做出各种需要测量的动作，并用前述的特定波长的灯光照射被测人体，有若干台带有该特定波长滤色片的摄像机从多个角度对目标进行摄像。由多个摄像机摄到的图像经过高速计算机进行三维重构，得出被测目标的运动姿态。这种方法广为使用，特别是电影特技拍摄、人体运动姿态测量、互动娱乐角色建模等方面运用最为广泛。其好处是对于快速的运动相应较好，但是设备昂贵，因为要进行大量三维图像处理。如果要实时测量姿态，那对于处理设备的计算能力要求则更高，多采用大型图形工作站等进行处理。

3，三维激光线扫描摄影建模。利用两只或多只激光线立体扫描器，通过测距的方法得到被测目标的轮廓模型，进而将多个方向的轮廓模型用计算机进行组合，成为一个静态三维模型，而以随时间的多个三维模型经过插值，得到被测目标的姿态变化。其缺点是不能测量高速运动的目标。

以上三种姿态测量方法皆限于过程复杂、费用高、使用不方便等问题，无法有效的适用于运动员在运动过程中的实时姿态测量。

发明内容

针对现有技术中姿态测量过程复杂、费用高、使用不方便等问题，本发明提供一种运动员人体姿态测量方法，能够有效的对运动员运动过程中的姿态进行测量，具有测量过程简单、成本低、实时性高等特点。

为实现上述目的，本发明提供一种运动员人体姿态测量方法，包括如下步骤：

步骤1，获取待测运动员在运动过程中按时间排序的多方位视图，作为待测图像组序列；

步骤2，基于待测图像组序列得到待测运动员各关节点的二维图像坐标序列；

步骤3，基于待测运动员各关节点的二维图像坐标序列得到待测运动员各关节点的初步三维空间坐标序列；

步骤4，基于待测运动员各关节点的初步三维空间坐标序列构建待测运动员的人体三维骨架模板；

步骤5，基于骨架各关节点之间的运动链关系驱动人体三维骨架模板，并与待测运动员各关节点的初步三维空间坐标序列进行匹配优化，得到待测运动员各关节点的实际三维空间坐标序列。

进一步优选的，步骤1中，所述待测图像组序列包括若干按时间排序的待测图像组，每一个待测图像组中包括至少四张待测运动员在不同拍摄视角下的图像，其中，同一个待测图像组中的所有图像均在同一时刻通过不同的相机拍摄获得。

进一步优选的，步骤2的具体包括：

步骤2.1，采集运动员在多种场景下的视图作为样本图像，并对样本图像中运动员各关节点的二维图像坐标进行标注；

步骤2.2，通过标注后的样本图像训练卷积神经网络模型；

步骤2.3，通过训练完成后的卷积神经网络模型识别待测图像组序列中的各图像，得到待测运动员各关节点的二维图像坐标。

进一步优选的，步骤2.1中，所述对样本图像中运动员各关节点的二维图像坐标进行标注，具体为：

对样本图像中运动员的头、颈、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝、右脚腕、左臀、左膝、左脚腕、胸的二维图像坐标进行标注。

进一步优选的，步骤3具体包括：

步骤3.1，获取待测图像组序列中每一个图像对应相机的转移矩阵；

步骤3.2，对待测图像组序列中的所有待测图像组通过各相机的转移矩阵建立待测运动员各关节点的交会模型：

joint_i＝M^j·Joint_i

式中，joint_i表示第i个关节点的三维空间坐标，Joint_i表示第i个关节点的二维图像坐标，M^j表示第i个关节点所在图像对应相机的转移矩阵，j＝1、2、3、4···；

步骤3.3，对待测各运动员各关节点的交会模型进行求解，即得到待测运动员各关节点的初步三维空间坐标序列。

进一步优选的，步骤4具体包括：

步骤4.1，对待测运动员各关节点的初步三维空间坐标序列进行时序平滑；

步骤4.2，通过时序平滑后的待测运动员各关节点的初步三维空间坐标序列对运动员人体的骨骼长度进行统计，将其统计均值作为约束初始化人体模板，即得到待测运动员的人体三维骨架模板。

进一步优选的，步骤4.1中，所述对待测运动员各关节点的初步三维空间坐标序列进行时序平滑，具体为：采用经验模态分解待测图像中每个运动员关节点的三维空间坐标的时间序列x_t,y_t,z_t，得到待测图像中运动员关节点的三维空间坐标的时间序列x_t,y_t,z_t在各模态下的本征模态函数，并剔除其中的高频分量。

进一步优选的，步骤5具体包括：

步骤5.1，构建人体运动链模型：

式中，T_i表示人体中第i个关节点的运动变换矩阵，θ_k表示第k个关节点的运动角度参数，K表示关节点个数，δ_ki为指示函数，δ_ki＝1表示关节点k是关节点i的父节点，δ_ki＝0表示关节点k不是关节点i的父节点，

和/>

分别代表关节点的全局变换关系和局部关节点k处的变换关系；；

步骤5.2，将时序平滑后的待测运动员各关节点的初步三维空间坐标序列作为人体运动链模型的参照值

获取人体运动链模型参数为x_t时的待测运动员各关节点的实际三维空间坐标序列作为实际值P_t(x_t)；；

步骤5.3，基于参照值

与实际值P_t(x_t)建立匹配误差模型：

式中，e(x_t)表示关节点在三维空间中的匹配误差，K表示关节点个数；

步骤5.4，基于匹配误差模型进行迭代优化，得到人体运动链模型参数xt的最优取值，并通过该人体运动链模型参数x_t的最优取值与待测运动员各关节点的初步三维空间坐标序列得到待测运动员各关节点的实际三维空间坐标序列。

本发明提供的一种运动员人体姿态测量方法，通过获取待测运动员在运动过程中按时间排序的多方位视图来得到运动过程中待测运动员各关节点的二维图像坐标，随后进一步得到各关节点的初步三维空间坐标，随后通过建立人体三维骨架模板，并通过骨架各关节点之间的运动链关系驱动人体三维骨架模板，完成对待测运动员各关节点的初步三维空间坐标进行匹配优化，最终得到待测运动员各关节点的实际三维空间坐标，完成待测运动员在运动过程中的姿态测量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中运动员人体姿态测量方法的流程示意图；

图2为本发明实施例中滑雪运动员运动拍摄过程的示意图；

图3为本发明实施例中获取二维图像坐标序列的流程示意图；

图4为本发明实施例中获取初步三维空间坐标序列的流程示意图；

图5为本发明实施例中构建人体三维骨架模板的流程示意图；

图6为本发明实施例中获取实际三维空间坐标序列的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示的一种运动员人体姿态测量方法，包括如下步骤：

步骤1，获取待测运动员在运动过程中按时间排序的多方位视图，作为待测图像组序列。

具体的，待测图像组序列包括若干按时间排序的待测图像组，每一个待测图像组中包括至少四张待测运动员在不同拍摄视角下的图像，同一个待测图像组中的所有图像均在同一时刻通过不同的相机拍摄获得。

参考图2，本实施例中的示例运动员为滑雪运动员，通过四台相机拍摄该滑雪运动员在滑雪过程中不同方位的图像，每台相机拍摄30张照片，则待测图像组序列为{(A₁,B₁,C₁,D₁)、(A₂,B₂,C₂,D₂)、(A₃,B₃,C₃,D₃)、(A₄,B₄,C₄,D₄)、···、(A₃₀,B₃₀,C₃₀,D₃₀)}中共有30个待测图像组，每一个待测图像组中都具有四张照片。在该待测图像组序列种，A₁、A₂、A₃、A₄、···、A₃₀由第一台相机拍摄获得，B₁、B₂、B₃、B₄、···、B₃₀由第二台相机拍摄获得，C₁、C₂、C₃、C₄、···、C₃₀由第三台相机拍摄获得，D₁、D₂、D₃、D₄、···、D₃₀由第四台相机拍摄获得；1、2、3、4、···、30按时间的先后顺序排列。

步骤2，基于待测图像组序列得到待测运动员各关节点的二维图像坐标序列，参考图3，其具体过程为：

步骤2.1，采集运动员在多种场景下的视图作为样本图像，并对样本图像中运动员各关节点的二维图像坐标进行标注；

步骤2.2，通过标注后的样本图像训练卷积神经网络模型；

步骤2.3，通过训练完成后的卷积神经网络模型识别待测图像组序列中的各图像，得到待测运动员各关节点的二维图像坐标。

在步骤2.1中，所述对样本图像中运动员各关节点的二维图像坐标进行标注，具体为：

对样本图像中运动员的头、颈、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝、右脚腕、左臀、左膝、左脚腕、胸的中心点的二维图像坐标进行标注，其中，二维图像坐标以MPII输出格式体现。

在步骤2.2中，本实施例中的卷积神经网络模型采用现有技术中已有的开源项目OpenPose实现。

步骤3，基于待测运动员各关节点的二维图像坐标序列得到待测运动员各关节点的初步三维空间坐标序列，参考图4，其具体过程为：

步骤3.1，获取待测图像组序列中每一个图像对应相机的转移矩阵，即本实施例中四台相机的转移矩阵M¹、M²、M³、M⁴；

步骤3.2，对待测图像组序列中的所有待测图像组通过各相机的转移矩阵建立待测运动员各关节点的交会模型：

joint_i＝M^j·Joint_i

式中，joint_i表示第i个关节点的三维空间坐标，Joint_i表示第i个关节点的二维图像坐标，M^j表示第i个关节点所在图像对应相机的转移矩阵，j＝1、2、3、4。

步骤3.3，对待测各运动员各关节点的交会模型进行求解，即得到待测运动员各关节点的初步三维空间坐标序列。

本实施例中步骤3.3的求解过程为:由于待测图像组序列通过四台相机获得,因此可以通过交会模型联立四个相机下第i个关节点的共线方程：

采用最小二乘法对该方程组求解即得到待测运动员各关节点的初步三维空间坐标序列。

步骤4，基于待测运动员各关节点的初步三维空间坐标序列构建待测运动员的人体三维骨架模板，参考图5，其具体过程为：

步骤4.1，对待测运动员各关节点的初步三维空间坐标序列进行时序平滑，具体过程为：采用经验模态分解待测图像中每个运动员关节点的三维空间坐标的时间序列x_t,y_t,z_t，得到待测图像中运动员关节点的三维空间坐标的时间序列x_t,y_t,z_t在各模态下的本征模态函数，并剔除其中的高频分量；

步骤4.2，通过时序平滑后的待测运动员各关节点的初步三维空间坐标序列对运动员人体的骨骼长度进行统计，将其统计均值作为约束初始化人体模板，即得到待测运动员的人体三维骨架模板，其中，初始化人体模板的过程为常规技术手段，因此本实施例中不再赘述。

步骤5，基于骨架各关节点之间的运动链关系驱动人体三维骨架模板，并与待测运动员各关节点的初步三维空间坐标序列进行匹配优化，得到待测运动员各关节点的实际三维空间坐标序列，参考图6，其具体过程为：

步骤5.1，构建人体运动链模型：

式中，T_i表示人体中第i个关节点的运动变换矩阵，θ_k表示第k个关节点的运动角度参数，K表示关节点个数，δ_ki为指示函数，δ_ki＝1表示关节点k是关节点i的父节点，δ_ki＝0表示关节点k不是关节点i的父节点，

和/>

分别代表关节点的全局变换关系和局部关节点k处的变换关系；；

步骤5.2，步骤5.2，将时序平滑后的待测运动员各关节点的初步三维空间坐标序列作为人体运动链模型的参照值

获取人体运动链模型参数为x_t时的待测运动员各关节点的实际三维空间坐标序列作为实际值P_t(x_t)；；

步骤5.3，基于参照值

与实际值P_t(x_t)建立匹配误差模型：

式中，e(x_t)表示关节点在三维空间中的匹配误差，K表示关节点个数；

步骤5.4，基于匹配误差模型进行迭代优化，得到人体运动链模型参数xt的最优取值，并通过该人体运动链模型参数x_t的最优取值与待测运动员各关节点的初步三维空间坐标序列得到待测运动员各关节点的实际三维空间坐标序列。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (5)

1.一种运动员人体姿态测量方法，其特征在于，包括如下步骤：

步骤1，获取待测运动员在运动过程中按时间排序的多方位视图，作为待测图像组序列；

步骤2，基于待测图像组序列得到待测运动员各关节点的二维图像坐标序列；

步骤3，基于待测运动员各关节点的二维图像坐标序列得到待测运动员各关节点的初步三维空间坐标序列；

步骤4，基于待测运动员各关节点的初步三维空间坐标序列构建待测运动员的人体三维骨架模板，具体包括：

步骤4.1，对待测运动员各关节点的初步三维空间坐标序列进行时序平滑，具体为：采用经验模态分解待测图像中每个运动员关节点的三维空间坐标的时间序列x_t,y_t,z_t，得到待测图像中运动员关节点的三维空间坐标的时间序列x_t,y_t,z_t在各模态下的本征模态函数，并剔除其中的高频分量；

步骤4.2，通过时序平滑后的待测运动员各关节点的初步三维空间坐标序列对运动员人体的骨骼长度进行统计，将其统计均值作为约束初始化人体模板，即得到待测运动员的人体三维骨架模板；；

步骤5，基于骨架各关节点之间的运动链关系驱动人体三维骨架模板，并与待测运动员各关节点的初步三维空间坐标序列进行匹配优化，得到待测运动员各关节点的实际三维空间坐标序列，具体包括：

步骤5.1，构建人体运动链模型：

式中，T_i表示人体中第i个关节点的运动变换矩阵，θ_k表示第k个关节点的运动角度参数，K表示关节点个数，δ_ki为指示函数，δ_ki＝1表示关节点k是关节点i的父节点，δ_ki＝0表示关节点k不是关节点i的父节点，

和/>

分别代表关节点的全局变换关系和局部关节点k处的变换关系；

步骤5.2，将时序平滑后的待测运动员各关节点的初步三维空间坐标序列作为人体运动链模型的参照值

获取人体运动链模型参数为x_t时的待测运动员各关节点的实际三维空间坐标序列作为实际值P_t(x_t)；

步骤5.3，基于参照值

与实际值P_t(x_t)建立匹配误差模型：

式中，e(x_t)表示关节点在三维空间中的匹配误差，K表示关节点个数；

步骤5.4，基于匹配误差模型进行迭代优化，得到人体运动链模型参数xt的最优取值，并通过该人体运动链模型参数x_t的最优取值与待测运动员各关节点的初步三维空间坐标序列得到待测运动员各关节点的实际三维空间坐标序列。

2.根据权利要求1所述运动员人体姿态测量方法，其特征在于，步骤1中，所述待测图像组序列包括若干按时间排序的待测图像组，每一个待测图像组中包括至少四张待测运动员在不同拍摄视角下的图像，其中，同一个待测图像组中的所有图像均在同一时刻通过不同的相机拍摄获得。

3.根据权利要求2所述运动员人体姿态测量方法，其特征在于，步骤2的具体包括：

步骤2.1，采集运动员在多种场景下的视图作为样本图像，并对样本图像中运动员各关节点的二维图像坐标进行标注；

步骤2.2，通过标注后的样本图像训练卷积神经网络模型；

步骤2.3，通过训练完成后的卷积神经网络模型识别待测图像组序列中的各图像，得到待测运动员各关节点的二维图像坐标。

4.根据权利要求3所述运动员人体姿态测量方法，其特征在于，步骤2.1中，所述对样本图像中运动员各关节点的二维图像坐标进行标注，具体为：

对样本图像中运动员的头、颈、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝、右脚腕、左臀、左膝、左脚腕、胸的二维图像坐标进行标注。

5.根据权利要求2所述运动员人体姿态测量方法，其特征在于，步骤3具体包括：

步骤3.1，获取待测图像组序列中每一个图像对应相机的转移矩阵；

步骤3.2，对待测图像组序列中的所有待测图像组通过各相机的转移矩阵建立待测运动员各关节点的交会模型：

joint_i＝M^j·Joint_i

式中，joint_i表示第i个关节点的三维空间坐标，Joint_i表示第i个关节点的二维图像坐标，M^j表示第i个关节点所在图像对应相机的转移矩阵，j＝1、2、3、4···；

步骤3.3，对待测各运动员各关节点的交会模型进行求解，即得到待测运动员各关节点的初步三维空间坐标序列。

Images