CN112215928A - 基于视觉图像的动作捕捉方法及数字动画制作方法 - Google Patents

Abstract

本发明涉及一种基于视觉图像的动作捕捉方法及数字动画制作方法。本发明的目的是提供一种基于视觉图像的动作捕捉方法及数字动画制作方法。本发明的技术方案是：一种基于视觉图像的动作捕捉方法，其特征在于：获取多角度相机同步采集的人体动作图像；对不同角度人体动作图像进行分析得到图像上的人体关节点坐标；将不同角度人体关节坐标融合计算得到3D关节点坐标。本发明适用于计算机图像处理领域。

Description

基于视觉图像的动作捕捉方法及数字动画制作方法

技术领域

本发明涉及一种基于视觉图像的动作捕捉方法及数字动画制作方法。适用于计算机图像处理领域。

背景技术

目前，现有的三维数字动画制作主要依靠动捕设备对演员进行动作捕捉，再对数字动画人物模型进行驱动，以达到相应的表演效果。传统的动捕系统需要演员穿戴有相应传感器(光学球、蓝牙传感器、惯性传感器等)的设备，并且需要在相应要求(无静电、无金属物、指定强度的光照等)的场地内进行表演，通过相应设备获取的数据由人工进行后期合成并输出到动画人物模型上进行表演。

由上可知，传统的动捕系统具有设备昂贵，对演员约束性强、场地要求高、后期制作人工成本高等缺点。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，提供一种基于视觉图像的动作捕捉方法及数字动画制作方法。

本发明所采用的技术方案是：一种基于视觉图像的动作捕捉方法，其特征在于：

获取多角度相机同步采集的人体动作图像；

对不同角度人体动作图像进行分析得到图像上的人体关节点坐标；

将不同角度人体关节坐标融合计算得到3D关节点坐标。

将人体3D关节点坐标结合人体运动学规律对不同关节不同维度解算，得到人体的运动参数。

所述对不同角度人体动作图像进行分析得到图像上的人体关节点坐标，包括：

通过深度学习算法计算得到相机o图像上关节点i坐标(x_oi,y_oi,s_oi)，其中x_oi表示为关节点i的水平像素坐标，y_oi表示为关节点i的垂直像素坐标，s_oi表示为关节点i的深度学习算法置信度；

人体动作图像上关节点i被遮挡时，则其置信度s_oi为0；未被遮挡时，置信度s_oi会根据关节点i在图中的具体位置判别，越靠近关节点中心时s_oi值越大，最大值为1；

图像中关节点i的坐标和其置信度由深度学习神经网络计算获得，所用的训练数据是由人工标定；人工判别关节点中心位置，根据人工对关节点中心位置的确定程度进行标定，最大值为1，越偏离关节中点心置信度越小，离开关节或关节被遮挡则置信度为0。

所述将不同角度人体关节坐标融合计算得到3D关节点坐标，包括：

通过相机本身内部参数和相机本身所安装的位置和角度得到空间点到相机像素坐标投影矩阵M；

计算相机o图像中关节点i的3D点位置得到(X_oi,Y_oi,Z_oi)＝M^-1*(x_oi,y_oi)；

任意两个相机a、b结合得到一个关节点i的3D点(X_abi,Y_abi,Z_abi)，其对应置信度s_abi＝s_ai*s_bi；(X_ai,Y_ai,Z_ai)与(X_bi,Y_bi,Z_bi)结合通过双目标定匹配算法计算得到(X_abi,Y_abi,Z_abi)；

将任意两个相机结合得到的N组3D点融合得到关节点i的3D关节点坐标

将人体3D关节点坐标结合人体运动学规律对不同关节不同维度解算，包括：

根据人体运动学规律求取最小运动角度，将人体关节按照人体关节自由度分为3个类别，并采用对应公式进行欧拉角计算；

自由度为1的关节连接采用以下公式进行计算：

或

求得关节点a的欧拉角(关节点roll,0,0)或(0,pitch,0)；

自由度为2的关节连接采用以下公式进行计算：

求得关节点a的欧拉角(0,pitch,yaw)；

自由度为3的关节连接采用以下公式进行计算：

或

求得关节点a的欧拉角(roll,pitch,yaw)；

对所有人体关节按照自由度由小到大依次进行计算求得最终结果；

其中，

为人体在标准T姿态下的关节点a、b的连接向量；

为人体在标准T姿态下的关节点b、c的连接向量；

为人体在标准T姿态下的关节点a、c的连接向量；

为当前人体动作姿态下的关节点a、b的连接向量；

为当前人体动作姿态下的关节点b、c的连接向量；

为当前人体动作姿态下的关节点a、c的连接向量。

所述人体关节点包括左髋关节、右髋关节、胸口、左肩、右肩、左肘、右肘、左腕、右腕、左大拇指、左小拇指、右大拇指、右小拇指、左耳、右耳、眉心、左膝、右膝、左踝、右踝、左大脚趾、左小脚趾、右大脚趾和右小脚趾。

一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被执行器执行时实现所述基于视觉图像的动作捕捉方法的步骤。

一种基于视觉图像的动作捕捉系统，其特征在于，包括：

相机，具有若干，用于多角度采集人体的动作图像；

同步信号发生器，用于向若干相机同时发出能触发相机采集图像的同步信号；

数据处理模块，具有存储器和执行器，存储器上存储有计算机程序，所述计算机程序被执行器执行时实现所述基于视觉图像的动作捕捉方法的步骤。

一种数字动画制作方法，其特征在于：将所述基于视觉图像的动作捕捉方法得到的运动参数传输到动画制作软件中对数字动画人物模型进行驱动表演。

本发明的有益效果是：本发明通过采用多角度相机同步采集的人体动作图像，可以通过不同视角相机下采集图像弥补人体运动时造成的局部遮挡导致的结果不准，实现了人体运动无约束的功能，大大降低了设备成本。

本发明通过深度学习算法对视觉图像进行分析并提取人体关节点，增加系统的鲁棒性，同时，无需演员穿戴任何设备，实现了在不同场地不同光照等环境下均可以进行动作捕捉的功能，并大大降低了对演员的约束性。

本发明通过对多相机2D关节点进行融合，准确的确定人体关节点的空间坐标，实现了不同姿态下、不同视角下和存在遮挡等各种情况下均可高效的获取准确结果的功能。

通过本发明中的关节连接方式结合人体运动学规律进行人体关节点欧拉角计算，可以不需要人工后期进行数据处理等人工操作，直接进行最终结果的计算，同时对不同关节采用不同自由度解算算法，大大降低了计算量，实现了高效、准确的实时动画制作功能，并大大降低了人工成本。

附图说明

图1为实施例的流程图。

具体实施方式

本实施例为一种基于视觉图像的动作捕捉方法，包括以下步骤：

S1、获取8台相机多角度同步采集的同一人的人体动作图像。

S2、通过深度学习算法从不同角度的人体动作图像中提取图像上人体关节点的坐标。

通过对图像进行前向推理得到人体的24个关节点，主要包括：左髋关节(关节点1)、右髋关节(关节点2)、胸口(关节点3)、左肩(关节点4)、右肩(关节点5)、左肘(关节点6)、右肘(关节点7)、左腕(关节点8)、右腕(关节点9)、左大拇指(关节点10)、左小拇指(关节点11)、右大拇指(关节点12)、右小拇指(关节点13)、左耳(关节点14)、右耳(关节点15)、眉心(关节点16)、左膝(关节点17)、右膝(关节点18)、左踝(关节点19)、右踝(关节点20)、左大脚趾(关节点21)、左小脚趾(关节点22)、右大脚趾(关节点23)和右小脚趾(关节点24)。

通过深度学习算法计算得到相机o采集的人体动作图像中关节点i的坐标为(x_oi,y_oi,s_oi)_{i＝1,....,24},其中x_oi表示为关节点i在图像中的水平像素坐标，y_oi表示为关节点i在图像中的垂直像素坐标，s_oi表示为关节点i的深度学习算法置信度。本实施例中基于深度学习算法模块对图像进行人体关节点提取，其中，每个人包含上述24个关节点，深度学习算法模块提取到人体关节点均为图像中的像素坐标，并获取该人体关节点的置信度，如果该关节点被遮挡则其置信度为0。

人体动作图像上关节点i被遮挡时，则其置信度s_oi为0；未被遮挡时，置信度s_oi会根据关节点i在图中的具体位置判别，越靠近关节点中心时s_oi值越大，最大值为1。

图像中关节点i的坐标和其置信度由深度学习神经网络计算获得，所用的训练数据是由人工标定；人工判别关节点中心位置，根据人工对关节点中心位置的确定程度进行标定，最大值为1，越偏离关节中点心置信度越小，离开关节或关节被遮挡则置信度为0。

S3、通过多相机信息融合将不同角度图像中的人体关节点坐标进行计算，得到人体3D关节点坐标。

通过相机本身内部参数和相机本身所安装的位置和角度得到空间点到相机像素坐标投影矩阵M；

根据相机o图像上的人体关节点坐标计算图像中关节点i的3D点位置，得到关节点i坐标为(X_oi,Y_oi,Z_oi)＝M^-1*(x_oi,y_oi)；

任意两个相机a、b结合得到一个关节点i的3D点(X_abi,Y_abi,Z_abi)，其对应置信度s_abi＝s_ai*s_bi；(X_ai,Y_ai,Z_ai)与(X_bi,Y_bi,Z_bi)结合通过双目标定匹配算法计算得到(X_abi,Y_abi,Z_abi)；

将8台相机中任意两台相机结合得到N(N＝28)组3D点坐标，N组3D点融合得到关节点i的3D关节点坐标

本实施例中任意两个相机的相同关节点均可以计算出一个该关节点的3D坐标，8台相机则可以计算得到每个关节点28个3D坐标，通过28个3D坐标和其置信度则可以计算得到每个关节点更加准确的3D点坐标。

S4、将人体3D关节点坐标结合人体运动学规律对不同关节不同维度欧拉角解算，进而得到人体的运动参数。

根据人体骨骼连接规律，将人体骨骼按照下列方式进行连接(以人体关节点序号表示)：

a、关节点1和关节点2-->关节点3-->关节点14和关节点15-->关节点16；

b、关节点3-->关节点5-->关节点7-->关节点9-->关节点12和关节点13；

c、关节点3-->关节点4-->关节点6-->关节点8-->关节点10和关节点11；

d、关节点2-->关节点18-->关节点20-->关节点23和关节点24；

e、关节点1-->关节点17-->关节点19-->关节点21和关节点22；

按照不同的关节连接方式，得到不同的连接向量：

关节点a-->关节点b：

(关节点a和关节点b-->关节点c)和(关节a-->关节点b和关节点c)：

根据人体运动学规律求取最小运动角度，将人体关节按照人体关节自由度分为3个类别，并采用对应公式进行欧拉角计算：

一、自由度为1的关节连接包含：

对(关节点18-->关节点20)和(关节点17-->关节点19)采用下面公式进行计算：

求得关节点a的欧拉角(roll,0,0)；

对(关节点7-->关节点9)和(关节点6-->关节点8)采用下面公式进行计算：

求得关节点a的欧拉角(0,pitch,0)；

二、自由度为2的关节连接包含：

对(关节点3-->关节点4)和(关节点3-->关节点5)采用下面公式进行计算：

求得关节点a的欧拉角(0,pitch,yaw)；

三、自由度为3的关节连接包含：

对(关节点1和关节点2-->关节点3)、(关节点3-->关节点14和关节点15)、(关节点14和关节点15-->关节点16)、(关节点9-->关节点12和关节点13)、(关节点8-->关节点10和关节点11)、(关节点20-->关节点23和关节点24)和(关节点19-->关节点21和关节点22)按照下面公式进行计算：

求得关节点a的欧拉角(roll,pitch,yaw)；

对(关节点5-->关节点7-->关节点9)、(关节点4-->关节点6-->关节点8)、(关节点2-->关节点18-->关节点20)和(关节点1-->关节点17-->关节点19)，按照(关节点a-->关节点b-->关节点c)应用下面公式进行计算：

求得关节点a的欧拉角(roll,pitch,yaw)；

其中，

为人体在标准T姿态下的关节点a、b的连接向量；

为人体在标准T姿态下的关节点b、c的连接向量；

为人体在标准T姿态下的关节点a、c的连接向量。

对所有人体关节按照自由度由小到大依次进行计算求得最终结果。

本实施例中按照上述公式依次计算求得人体在T姿态时标准位置通过欧拉角旋转后得到当前人体动作姿态，则求得的欧拉角则为每个关节点对应的旋转欧拉角度，并且该角度与Maya等专业制作软件中骨骼旋转量相匹配，因此不需要后续人工进行二次处理。

本实施例还提供一种基于视觉图像的动作捕捉系统，包括8台相机、1同步信号发生器和1数据处理模块，其中8台相机用于多角度采集同一人的人体动作图像；同步信号发生器同时发出同步信号，并由相机接收同步信号继而同步触发8台相机同时采集图像；数据处理模块具有存储器和执行器，存储器上存储有计算机程序，计算机程序被执行器执行时实现本实施例基于视觉图像的动作捕捉方法的步骤。

本实施例还提供一种存储介质，其上存储有计算机程序，计算机程序被执行器执行时实现本实施例基于视觉图像的动作捕捉方法的步骤。

本实施例还提供一种数字动画制作方法，将步骤S4中的运动参数等传输到Maya等软件中对数字动画人物模型进行驱动表演，由本系统计算所得欧拉角度等参数可以直接传输给Maya等软件进行实时动画渲染显示，并且显示结果为动画制作结果。

Claims (9)

1.一种基于视觉图像的动作捕捉方法，其特征在于：

获取多角度相机同步采集的人体动作图像；

对不同角度人体动作图像进行分析得到图像上的人体关节点坐标；

将不同角度人体关节坐标融合计算得到3D关节点坐标。

2.根据权利要求1所述的基于视觉图像的动作捕捉方法，其特征在于：

将人体3D关节点坐标结合人体运动学规律对不同关节不同维度解算，得到人体的运动参数。

3.根据权利要求1或2所述的基于视觉图像的动作捕捉方法，其特征在于，所述对不同角度人体动作图像进行分析得到图像上的人体关节点坐标，包括：

通过深度学习算法计算得到相机o图像上关节点i坐标(x_oi,y_oi,s_oi)，其中x_oi表示为关节点i的水平像素坐标，y_oi表示为关节点i的垂直像素坐标，s_oi表示为关节点i的深度学习算法置信度；

人体动作图像上关节点i被遮挡时，则其置信度s_oi为0；未被遮挡时，置信度s_oi会根据关节点i在图中的具体位置判别，越靠近关节点中心时s_oi值越大，最大值为1；

图像中关节点i的坐标和其置信度由深度学习神经网络计算获得，所用的训练数据是由人工标定；人工判别关节点中心位置，根据人工对关节点中心位置的确定程度进行标定，最大值为1，越偏离关节中点心置信度越小，离开关节或关节被遮挡则置信度为0。

4.根据权利要求1或2所述的基于视觉图像的动作捕捉方法，其特征在于，所述将不同角度人体关节坐标融合计算得到3D关节点坐标，包括：

通过相机本身内部参数和相机本身所安装的位置和角度得到空间点到相机像素坐标投影矩阵M；

计算相机o图像中关节点i的3D点位置得到(X_oi,Y_oi,Z_oi)＝M^-1*(x_oi,y_oi)；

任意两个相机a、b结合得到一个关节点i的3D点(X_abi,Y_abi,Z_abi)，其对应置信度s_abi＝s_ai*s_bi；(X_ai,Y_ai,Z_ai)与(X_bi,Y_bi,Z_bi)结合通过双目标定匹配算法计算得到(X_abi,Y_abi,Z_abi)。

将任意两个相机结合得到的N组3D点融合得到关节点i的3D关节点坐标

5.根据权利要求2所述的基于视觉图像的动作捕捉方法，其特征在于，将人体3D关节点坐标结合人体运动学规律对不同关节不同维度解算，包括：

根据人体运动学规律求取最小运动角度，将人体关节按照人体关节自由度分为3个类别，并采用对应公式进行欧拉角计算；

自由度为1的关节连接采用以下公式进行计算：

或

求得关节点a的欧拉角(roll,0,0)或(0,pitch,0)；

自由度为2的关节连接采用以下公式进行计算：

求得关节点a的欧拉角(0,pitch,yaw)；

自由度为3的关节连接采用以下公式进行计算：

或

求得关节点a的欧拉角(roll,pitch,yaw)；

对所有人体关节按照自由度由小到大依次进行计算求得最终结果；

其中，

为人体在标准T姿态下的关节点a、b的连接向量；

为人体在标准T姿态下的关节点b、c的连接向量；

为人体在标准T姿态下的关节点a、c的连接向量；

为当前人体动作姿态下的关节点a、b的连接向量；

为当前人体动作姿态下的关节点b、c的连接向量；

为当前人体动作姿态下的关节点a、c的连接向量。

6.根据权利要求1或2所述的基于视觉图像的动作捕捉方法，其特征在于：所述人体关节点包括左髋关节、右髋关节、胸口、左肩、右肩、左肘、右肘、左腕、右腕、左大拇指、左小拇指、右大拇指、右小拇指、左耳、右耳、眉心、左膝、右膝、左踝、右踝、左大脚趾、左小脚趾、右大脚趾和右小脚趾。

7.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被执行器执行时实现权利要求1～6任意一项所述基于视觉图像的动作捕捉方法的步骤。

8.一种基于视觉图像的动作捕捉系统，其特征在于，包括：

相机，具有若干，用于多角度采集人体的动作图像；

同步信号发生器，用于向若干相机同时发出能触发相机采集图像的同步信号；

数据处理模块，具有存储器和执行器，存储器上存储有计算机程序，所述计算机程序被执行器执行时实现权利要求1～6任意一项所述基于视觉图像的动作捕捉方法的步骤。

9.一种数字动画制作方法，其特征在于：将权利要求2～6任意一项所述基于视觉图像的动作捕捉方法得到的运动参数传输到动画制作软件中对数字动画人物模型进行驱动表演。

Images