CN109785416A - 一种三维动作捕捉系统及其方法 - Google Patents

Abstract

本发明的技术方案包括一种三维动作捕捉系统及其方法，用于实现：面部采集模块，用于捕捉待测对象面部区域数据；动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；数据传输模块，用于接收面部采集模块和动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；数据处理模块，用于接收数据传输模块发送的信息并进行对应处理得到处理后的动作数据；骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据，从而实现骨骼模型的驱动。本发明的有益效果为：有着便携，可以随演员进行流动，方便易用，且价格特别低廉的优点，更利于动作捕捉系统的普及。

Description

一种三维动作捕捉系统及其方法

技术领域

本发明涉及一种三维动作捕捉系统及其方法，属于动作捕捉领域。

背景技术

动作捕捉(MOCAP)——技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。在运动物体的关键部位设置跟踪器，由Motioncapture系统捕捉跟踪器位置，再经过计算机处理后得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画制作，步态分析，生物力学，人机工程等领域。这种技术发明已经多年，最早被美国和日本所发明和使用，多用于好莱坞电影拍摄和后期制作中，日本主要在游戏中用来制作游戏或过场动画中角色的动作信息。

动作捕捉系统比传统人工手调动画更加优秀的方面在于，这提供了一个更加精准的动作效果，而且速度更快更方面快捷。

不过传统的动作捕捉系统必须部署到专业的动作捕捉室中，不能随演员进行流动，且价格特别昂贵。

发明内容

为解决上述问题，本发明的目的在于提供一种三维动作捕捉系统及其方法，包括面部采集模块，用于捕捉待测对象面部区域数据；动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；数据传输模块，用于接收面部采集模块和动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；数据处理模块，用于接收数据传输模块发送的信息并进行对应处理得到处理后的动作数据；骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据，从而实现骨骼模型的驱动。

本发明解决其问题所采用的技术方案一方面是：一种三维动作捕捉系统，其特征在于，该系统包括以下模块：面部采集模块，用于捕捉待测对象面部区域数据；动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；数据传输模块，用于接收面部采集模块和动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；数据处理模块，用于接收数据传输模块发送的信息并进行对应处理得到处理后的动作数据；骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据。

进一步的，所述动作采集模块包括：加速度传感器，用于测量关节节点的加速度信号；

角速度传感器，用于测量关节节点的角速度信号；位置传感器，用于测量待测对象在地磁坐标系中的坐标。

进一步的，所述采集模块还包括手指关节采集模块。

进一步的，所述数据传输模块为无线蓝牙传输模块。

进一步的，所述面部采集模块为红外高感度摄像机。

进一步的，所述数据处理模块包括：角速度处理模块，用于将角速度信号进行一次积分得到角度姿态；加速度处理模块，用于根据加速度信号进行重力分量估算关节点的横滚角和俯仰角。

进一步的，所述数据处理模块还包括：二次数据判断模块，根据角速度处理模块和加速度处理模块得到的数据，与对比库模块中储存的正常动作数据做对比，判断获得的动作数据是否正常。对比库模块，用于存储正常动作数据。

进一步的，所述骨骼模型建立模块还包括：姿态编辑模块，用于根据动作数据构建运动结构和姿态并驱动骨骼模型；模型建立模块，用于从曲线图到曲面图最终到3ds模型，建立骨骼模型；

本发明解决其问题所采用的技术方案另一方面是：一种应用权利要求1-8任一所述的三维动作捕捉方法，其特征在于，包括以下步骤：对面部采集模块进行预先设置，包括采集区域大小以及采集频率；面部采集模块捕捉待测对象面部区域信息，建立面部区域三维模型；动作采集模块实时采集被测对象自身局部位置的位置、角速度和加速度；数据传输模块获取面部采集模块和动作采集模块的数据，并将其发送给数据处理模块；数据处理模块对采集到的原始数据进行处理分析，得到处理后的动作数据；骨骼模型建立模块建立骨骼模型，并将处理后的动作数据应用在骨骼模型的面部和肢体动作。

进一步的，所述对采集到的原始数据进行处理分析包括：将角速度信号进行一次积分得到角度姿态；加速度信号进行重力分量估算关节点的横滚角和俯仰角；将处理后的数据使用方向余弦矩阵或欧拉角或四元素进行处理得到计算机可读取的数据格式；所述将处理后的动作数据应用在骨骼模型的面部和肢体动作中使用动作数据应用在肢体动作包括：计算各个骨骼之间的旋转矩阵；根据旋转矩阵得到指定节点的骨骼空间位置；使用深度优先的原则对整个骨骼关节按顺序遍历，得到完整的骨骼空间位置。

本发明的有益效果是：有着便携，可以随演员进行流动，方便易用，且价格特别低廉的优点，更利于动作捕捉系统的普及。

附图说明

图1所示为三维动作捕捉系统结构示意图；

图2所示为三维动作捕捉方法流程示意图；

图3所示为三维动作捕捉方法实施例一示意图；

图4所示为根据本发明的实施例示意图；

图5所示为根据本发明的采集装备示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参照图1所示为三维动作捕捉系统结构示意图，系统包括面部采集模块，用于捕捉待测对象面部区域数据；动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；数据传输模块，用于接收面部采集模块和动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；数据处理模块，用于接收数据传输模块发送的信息并进行对应处理得到处理后的动作数据；骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据。

以3D SUIT为例，3D SUIT是一套惯性动作捕捉系统，主要包括以下4个部分：(1)传感器，其主要用来向PC机提供运动物体的相关信息；(2)信号捕捉设备，主要负责信号的捕捉；(3)数据传输设备，将捕捉到的数据实时地传输至PC机(3D SUIT使用的是无线蓝牙技术或USB接口传输技术)；(4)数据处理设备，主要负责对采集到的数据进行加工、处理，包括数据处理硬件(如PC机等)和软件设备(如MotionBuilder等动画制作软件)。3D SUIT的操作过程非常简单，并且与光学动作捕捉系统相比对环境的要求相对较低，只需要将衣服设备穿在被捕捉的物体上，将各个传感器连接起来，记录传感器在人体相应位置的编号后即可进行实时地动作捕捉。

由于3D SUIT动作捕捉系统总共需17个传感器，以便捕捉人体主要关节点的数据，因此在将传感器与三维人体进行绑定时，需首先将传感器与人体对应的部位进行衔接，并记录传感器编号。

参照图2所示为三维动作捕捉方法流程示意图，对面部采集模块进行预先设置，包括采集区域大小以及采集频率；

面部采集模块捕捉待测对象面部区域信息，建立面部区域三维模型；

对脸部执行特征扫描，包括五官大小、局部深度信息，脸部轮廓等参数，根据扫描结果建立脸部三维模型

动作采集模块实时采集被测对象自身局部位置的位置、角速度和加速度；

数据采集是传感器自动采集人体的位置、角速度和旋转角度等信息的过程。为了能直观演示人体的相关信息，需要为人体的骨骼创建皮肤。皮肤模型是举例利用3D MAX2009来制作的。骨骼模型的创建采用的是Biped骨骼，骨骼与皮肤通过蒙皮来实现它们之间的关联。在制作蒙皮的过程中，分别对模型使用了Physique蒙皮修改器和Skin蒙皮修改器进行了对比，使用Skin蒙皮制作过程较繁琐，而Physique蒙皮相对简单，在蒙皮制作过程中需要不断地测试，并调整蒙皮参数。蒙皮过程完成后将.max三维模型导出格式为.fbx的文件，将模型导入Motionbuilder中，进行人体的运动捕捉。

数据传输模块获取面部采集模块和动作采集模块的数据，并将其发送给数据处理模块；

将捕捉到的数据实时地传输至PC机，使用无线蓝牙技术或USB接口传输技术。

数据处理模块对采集到的原始数据进行处理分析，得到处理后的动作数据；

详细步骤参考图3。

骨骼模型建立模块建立骨骼模型，并将处理后的动作数据应用在骨骼模型的面部和肢体动作。

人体是一个非常复杂的系统，由200多个旋转关节组成，如果需要模拟出更逼真的人体运动，需提供人体所有关节的旋转角度值和位置等相关信息。因此，对于人体运动姿态的模拟，首先要建立逼真的人体骨架模型，再通过数据驱动人体模型的运动，模拟人体的运动姿态。本文所使用的人体骨架模型利用VC++和OpenGL自定义函数绘出，利用DrawTheGuy_WC()函数绘制人体线型简化模型，DrawTheGuy_SL()函数绘制人体曲面模型，利用DrawTheGuy_MAN()函数读取3DMAX创建的.3ds模型。

在读取人体模型man.3ds模型之前，将一个完整的man.3ds人体模型，按照人体结构进行分解，分离出11个部分，利用OpenGL和VC++函数编写的.3ds模型解析文件3ds.cpp读取人体四肢模型。读取到的关节数据都用列表进行存储，用OpenGL中的函数glCallist调用需要的列表，即骨架模型，并将其组合成完整的三维人体模型。通过调用OpenGL的glTranslatef()函数以及glRotatef()函数完成对整个人体骨架模型矩阵的变换运算，利用函数glPushMatrix()和glPopMatrix()完成模型父子关系之间的压栈操作，以免影响后续节点。

人体运动姿态研究是运用动作捕捉技术，捕捉人体运动，获取人体运动参数，并从运动中重建人体的结构和姿态，实现人体运动姿态的分析和模拟。本实施例主要采用贝塞尔曲线和数值数据2种方法对人体运动姿态进行编辑，运用动作捕捉技术获取人体运动参数，模拟人体运动姿态。

参照图3所示为三维动作捕捉方法实施例一示意图，具体为数据处理模块对采集到的原始数据进行处理分析和在骨骼模型上套用动作数据的具体步骤：

将角速度信号进行一次积分得到角度姿态；

加速度信号进行重力分量估算关节点的横滚角和俯仰角；

将处理后的数据使用方向余弦矩阵或欧拉角或四元素进行处理得到计算机可读取的数据格式；

所述将处理后的动作数据应用在骨骼模型的面部和肢体动作中使用动作数据应用在肢体动作包括：

计算各个骨骼之间的旋转矩阵；

根据旋转矩阵得到指定节点的骨骼空间位置；

使用深度优先的原则对整个骨骼关节按顺序遍历，得到完整的骨骼空间位置。

为了完成对人体整个运动过程的姿态捕捉，必须要将惯性传感器获得的人体运动过程中人直观容易理解的关节特征的姿态角数据转换为计算机系统易于理解和计算的数据格式。本一般采用3种方法分别为：方向余弦矩阵、欧拉角和四元数。

在人体关节上绑定好惯性传感器，并完成姿态初始化的标定以后，就可以开始用传感器采集数据实现在计算机上对三维人体模型的运动姿态实时驱动的目的。对人体模型实时驱动是根据人体身上的各个惯性传感器获得的关节姿态的数据，通过实时的姿态解算处理在计算机上来完成对人体模型的所有关节的实时驱动。通过绑定在人肢体上的惯性传感器来获取我们需要的姿态数据，在根据方向余弦矩阵、欧拉角和四元数等方式下，计算出各个骨骼之间的旋转矩阵。

参照图4所示为根据本发明的实施例示意图，在待测对象上安装如下采集节点，头部采集节点、左大臂采集节点、左小臂采集节点、胸腔采集节点、右大臂采集节点、右小臂采集节点、骨盆采集节点、左大腿采集节点、左小腿采集节点、右大腿采集节点以及右小腿采集节点。其中左小臂和右小臂采集节点还包括手指关节采集节点，其中头部采集节点还包括红外高感度摄像机和惯性采集节点，其余采集节点为三轴加速度计、三轴陀螺仪、三轴磁力计及惯性动作采集节点的微处理器，将得到的数据进行汇总，通过无线蓝牙或者USB传输到处理终端，实现对XML动作数据的读取和存储，以及可以将来集到的人体数据导出为BVH的数据格式，X文件模型的导入等。能够从保存的文件中读取人体运动数据根据需求进行人体运动的重现。

(l)系统的初始化，首先在人体关键位置绑定好若干个惯性传感器，完成标准的初始化姿态，系统将会根据人体的标准姿态来初始化传感器与人体骨路之间相对的旋转矩阵。

(2)人体的动作捕捉，人体在运动捕捉的过程中做出期望的动作，系统会实时采集运动过程中的姿态数据，从而达到实时的人体运动仿真的目的。

(3)人体动作的再现，在动作捕捉完成以后，系统可以保存的采集到的人体运动数据，用这些数据可以对虚拟人模型动作再现的仿真，用于人体运动学的研究和分析。

然后执行骨骼模型的建立，主要是是在DirectX图形库中对己建立好了的人体骨髓文件按照构建的顺序和处理后的人体姿态数据对人体骨髓进行三维构建。其中描述了人体骨髓模型的三维特征，例如骨髓的材质、骨酷的长度以及骨髓旋转的角度。整个人体骨架中还包括了每块骨憾的三维空间位置的参数，骨髓之间相互连接的关节，关节之间旋转的角度。

首先在3ds MAX中对三维人物模型进行创建、添加骨髓、蒙皮、编辑封套等，完成具有蒙皮的虚拟人模型源文件的创建。然后利用Conv3ds.exe导出插件将3DS MAX中的三维人物模型导出DirectX中所支持的格式的人体模型。最后在DirectX三维渲染平台中对人体骨髓模型进行加载，并编程实现对三维人物的运动动画的绘制和更新。

参照图5所示为根据本发明的采集装备示意图，演员穿戴带面部摄像头的头盔，在身体关节处佩戴陀螺仪，如膝盖，臂膀，手指处，陀螺仪和头盔与供电电池组相连，对采集设备持续供电。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种三维动作捕捉系统，其特征在于，该系统包括以下模块：

面部采集模块，用于捕捉待测对象面部区域数据；

动作采集模块，用于安装在待测对象全身及关节点上，采集待测对象的地磁坐标系中的坐标、角速度和加速度；

数据传输模块，用于接收面部采集模块和动作采集模块采集到的信息，并将信息汇总发送到数据处理模块；

数据处理模块，用于接收数据传输模块发送的信息并进行对应处理得到处理后的动作数据；

骨骼模型建立模块，用于建立骨骼模型并套用数据处理模块处理后的动作数据。

2.根据权利要求1所述的三维动作捕捉系统，其特征在于，所述动作采集模块包括：

加速度传感器，用于测量关节节点的加速度信号；

角速度传感器，用于测量关节节点的角速度信号；

位置传感器，用于测量待测对象在地磁坐标系中的坐标。

3.根据权利要求1所述的三维动作捕捉系统，其特征在于，所述采集模块还包括手指关节采集模块。

4.根据权利要求1所述的三维动作捕捉系统，其特征在于，所述数据传输模块为无线蓝牙传输模块。

5.根据权利要求1所述的三维动作捕捉系统，其特征在于，所述面部采集模块为红外高感度摄像机。

6.根据权利要求1所述的三维动作捕捉系统，其特征在于，所述数据处理模块包括：

角速度处理模块，用于将角速度信号进行一次积分得到角度姿态；

加速度处理模块，用于根据加速度信号进行重力分量估算关节点的横滚角和俯仰角。

7.根据权利要求6所述的三维动作捕捉系统，其特征在，所述数据处理模块还包括：

二次数据判断模块，根据角速度处理模块和加速度处理模块得到的数据，与对比库模块中储存的正常动作数据做对比，判断获得的动作数据是否正常。

对比库模块，用于存储正常动作数据。

8.根据权利要求1所述的三维动作捕捉系统，其特征在于，所述骨骼模型建立模块还包括：

姿态编辑模块，用于根据动作数据构建运动结构和姿态并驱动骨骼模型；

模型建立模块，用于从曲线图到曲面图最终到3ds模型，建立骨骼模型。

9.一种应用权利要求1-8任一所述的三维动作捕捉方法，其特征在于，包括以下步骤：

对面部采集模块进行预先设置，包括采集区域大小以及采集频率；

面部采集模块捕捉待测对象面部区域信息，建立面部区域三维模型；

动作采集模块实时采集被测对象自身局部位置的位置、角速度和加速度；

数据传输模块获取面部采集模块和动作采集模块的数据，并将其发送给数据处理模块；

数据处理模块对采集到的原始数据进行处理分析，得到处理后的动作数据；

骨骼模型建立模块建立骨骼模型，并将处理后的动作数据应用在骨骼模型的面部和肢体动作。

10.根据权利要求9所述的三维动作捕捉系统及其方法，其特征在于，所述对采集到的原始数据进行处理分析包括：

将角速度信号进行一次积分得到角度姿态；

加速度信号进行重力分量估算关节点的横滚角和俯仰角；

将处理后的数据使用方向余弦矩阵或欧拉角或四元素进行处理得到计算机可读取的数据格式；

所述将处理后的动作数据应用在骨骼模型的面部和肢体动作中使用动作数据应用在肢体动作包括：

计算各个骨骼之间的旋转矩阵；

根据旋转矩阵得到指定节点的骨骼空间位置；

使用深度优先的原则对整个骨骼关节按顺序遍历，得到完整的骨骼空间位置。