CN106970705A - 动作捕捉方法、装置和电子设备 - Google Patents

Abstract

本发明实施例公开了一种动作捕捉方法、装置和电子设备，其中，方法包括：通过至少两个测量单元测量被测物的动态变化，得到至少两组姿态动作信息，其中每个测量单元设置在被测物的不同位置；信号处理单元对所有姿态动作信息进行融合，得到对应被测物的动作信息。本发明实施例可以通过将多个测量单元设置在被测物上，实现快速采集姿态动作信息，保证了采集的动作信息的流畅性，并且，通过信号处理单元的融合，保证了获得的被测物的动作信息的准确性。

Description

动作捕捉方法、装置和电子设备

技术领域

本发明涉及动作捕捉技术，尤其是一种动作捕捉方法、装置和电子设备。

背景技术

动作捕捉是用于采集人体在三维空间中运动轨迹的高科技设备。计算机通过动作捕捉设备获得人体运动数据，用户便可通过体态、方位、手势等模态向计算机发出指令、传达信息。动作捕捉设备应用非常广，在教学训练、影视特效制作、运动科学研究、医疗健康康复、机械辅助控制、互动游戏开发等领域均体现了巨大的应用价值。尤其是运动捕捉设备还可应用在军事用途上，比如单兵训练、维修训练、机器人外骨骼系统等。

随着计算机软硬件技术的飞速发展和动画制作要求的提高，在发达国家，动作捕捉已经进入了实用化阶段，有多家厂商相继推出了多种商品化的运动捕捉设备，如MotionAnalysis、Polhemus、Sega Interactive、MAC、X-Ist、FilmBox等，成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面。这些动作捕捉的解决方案大多采用的是机械式、声学式、电磁式、和光学式。使用这些原理实现的动作捕捉解决方案，要么穿戴设备臃肿，对采集目标有动作上的约束，比如机械式解决方案；要么不能达到实时性，动作有延迟和滞后，精度不高，比如声学式的解决方案；要么就是对环境的要求比较高，比如电磁式解决方案，在采集现场不能有金属物品，否则就会影响到采集的精度；光学式的动作捕捉解决方案是目前动作捕捉最理想的解决方案，但其复杂的实现方案以及高昂的价格都令普通的用户对其望而却步。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种方便快捷的实现动作捕捉的动作捕捉方法。

本发明实施例提供的一种动作捕捉方法，包括：

通过至少两个测量单元测量被测物的动态变化，得到至少两组姿态动作信息，其中每个所述测量单元设置在被测物的不同位置；

信号处理单元对所有所述姿态动作信息进行融合，得到对应所述被测物的动作信息。

基于上述方法的另一实施例中，所述姿态动作信息包括：加速度值、角速度值和参考方向值。

基于上述方法的另一实施例中，所述通过一个测量单元测量被测物的动态变化，得到一组姿态动作信息，包括：

通过加速度测量模块测量所述被测物设置所述测量单元的位置的加速度值；

通过角速度测量模块测量所述被测物设置所述测量单元的位置的角速度值；

通过方向模块测量所述被测物设置所述测量单元的位置的参考方向值。

基于上述方法的另一实施例中，还包括：根据预设的活动极限值对得到的动作信息进行约束，得到对应所述被测物的标准动作信息。

基于上述方法的另一实施例中，所述信号处理单元对所有所述姿态动作信息进行融合之前，还包括：

所述信号处理单元通过无线网络接收得到的所有姿态动作信息。

基于上述方法的另一实施例中，还包括：

通过中心节点单元将所有所述姿态动作信息通过预设通信协议发送给信号处理单元。

基于上述方法的另一实施例中，还包括：

将设置有所述至少两个测量单元的被测物设置为预设标准动作，通过所有测量单元采集被测物在预设标准动作下的至少两组姿态动作信息；

融合所有在预设标准动作下的姿态动作信息得到对应的动作信息，将动作信息与所述预设标准动作进行比对，实现校准。

根据本发明实施例的另一个方面，还提供一种动作捕捉的装置，包括：

至少两个测量单元，用于测量被测物的动态变化，得到至少两组姿态动作信息，每个所述测量单元设置在被测物的不同位置；

信号处理单元，用于对所有所述姿态动作信息进行融合，得到对应所述被测物的动作信息。

根据本发明实施例的另一个方面，还提供一种电子设备，包括如上所述的动作捕捉装置。

基于本发明上述实施例提供的动作捕捉方法、装置和电子设备，通过将多个测量单元设置在被测物上，实现快速采集姿态动作信息，保证了采集的动作信息的流畅性，并且，通过信号处理单元的融合，保证了获得的被测物的动作信息的准确性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明动作捕捉方法一个实施例的流程图。

图2为本发明动作捕捉方法另一个实施例的流程图。

图3为本发明动作捕捉方法又一个实施例的流程图。

图4为本发明动作捕捉装置一个实施例的结构示意图。

图5为本发明动作捕捉装置另一个实施例的结构示意图。

图6为本发明动作捕捉装置又一个实施例的结构示意图。

图7为本发明实施例中的人体模型节点示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

图1为本发明动作捕捉方法一个实施例的流程图。如图1所示，该实施例方法包括：

步骤30，通过至少两个测量单元测量被测物的动态变化，得到至少两组姿态动作信息，其中每个测量单元设置在被测物的不同位置。

其中，被测物可以是人、动物或模型等，只要需要对其的姿态动作信息进行采集，均可采用本实施例方法进行采集信息。

步骤50，信号处理单元对所有姿态动作信息进行融合，得到对应被测物的动作信息。

基于本发明上述实施例提供的动作捕捉方法，通过将多个测量单元设置在被测物上，实现快速采集姿态动作信息，保证了采集的动作信息的流畅性，并且，通过信号处理单元的融合，保证了获得的被测物的动作信息的准确性。

在本发明上述实施例的一个具体示例中，姿态动作信息包括：加速度值、角速度值和参考方向值。

在本发明上述实施例的一个具体示例中，步骤3中通过一个测量单元测量被测物的动态变化，得到一组姿态动作信息，具体可以包括：

通过加速度测量模块测量所述被测物设置所述测量单元的位置的加速度值；

通过角速度测量模块测量所述被测物设置所述测量单元的位置的角速度值；

通过方向模块测量所述被测物设置所述测量单元的位置的参考方向值。

图2为本发明动作捕捉方法另一个实施例的流程图。在上述实施例的基础上，还包括：

步骤60，根据预设的活动极限值对得到的动作信息进行约束，得到对应被测物的标准动作信息。

在本发明上述实施例的一个具体示例中，信号处理单元对所有所述姿态动作信息进行融合之前，还包括：

步骤40，信号处理单元通过无线网络接收得到的所有姿态动作信息。

在本发明上述实施例的一个具体示例中，还包括：

通过中心节点单元将所有姿态动作信息通过预设通信协议发送给信号处理单元。

图3为本发明动作捕捉方法又一个实施例的流程图。在上述实施例的基础上，如图3所示，还包括：

步骤10，将设置有所述至少两个测量单元的被测物设置为预设标准动作，通过所有测量单元采集被测物在预设标准动作下的至少两组姿态动作信息。

步骤20，融合所有在预设标准动作下的姿态动作信息得到对应的动作信息，将动作信息与所述预设标准动作进行比对，实现校准。

采用的惯性动作捕捉技术与基于摄像机的光学追踪系统方式技术完全不同。惯性动作捕捉系统包括多个运动传感设备组成的网络连接到被安装到捕捉人的身体上。每个传感器可以直接测量三维转动量以及加速度。采用摄像机的动作追踪系统需要三个标记点进行测量转动量，而惯性系统仅需要在骨骼上采用单个传感器就可以完成转动量的测量。

每个测量单元可以包括陀螺仪、加速度计和磁传感器，加速度测量重力向量获得roll、pitch参考量，磁传感器通过地磁测量获得yaw的参考方向，通过采用陀螺仪传感器对运动进行测量得到动作捕捉数据，信号处理单元采用数字信号处理器，通过数字信号处理器对所有的传感器信息的数据融合(sensor fusion)，以获得精确、稳定的动作捕捉数据。姿态融合算法通过大量数据验证，一般的应用中其测量精度可以达到0.1度以内。惯性动作捕捉系统可以直接获得加速度与角速度量，非常适合计算生物力学量。

具体主要实现以下功能：

1.穿戴式的设计：采集节点和中心节点可以使用绑带固定在指定的采集节点上，也可以直接嵌入特制的衣服、鞋帽之中，用户只需简单操作就能完成设备的穿戴。

2.平台的快速搭建：中心节点采用Smartconfig方式，中心节点无需任何配置，只需穿戴后，用PC机WIFI或手机WIFI连接到无线路由器，并在操作界面输入该无线路由器的密码，即可实现中心节点自动查找并连接该无线路由器。

3.实时高精度的人物姿态还原：采集的数据直接通过WIFI传回显示设备，设备采用高速采样速率，保证人体姿态再现时的流畅性。同时原始数据经过三大算法的优化，保证了被捕获人体姿态的准确性。

4.姿态的可再现性：对于捕获的动作姿态数据，该系统提供软件保存和中心节点SD卡保存两种方式，两种途径保存的数据均可以通过PC端软件读取显示。

并且具有以下技术特点：

系统安装便捷性：惯性传感器设备可以被内置在莱卡材质中的紧身衣中，捕捉演员穿上衣服就可以进行动作捕捉，或是通过绑带固定在17个设定的节点中，没有场地施工的需求，从收到设备到进行捕捉，在短时间内就可以完成安装与校准，非常方便。由于输出的数据就是直接的动作捕捉数据，无需进行二次处理，可以直接与第三方软件集成，实时显示看到最终的捕捉结果。

采样率：采用惯性技术能够获得100Hz的运动数据，尽管比采用摄像机的光学系统系统1000Hz低很多，但是其测量的加速度和角速度是直接量，无需计算获得，所以获得的100Hz更新率数据价值要远远高于摄像机获得的高采样率数据，由于惯性系统获得的100Hz数据是有效的运动数据，使得动作捕捉数据更加流程，减少了冗余数据的处理，减小了后期处理时间。

人体模型的定制：惯性动作捕捉系统是专门为人体的动作捕捉设计的，提供的是多个关节的构成的人体模型，可以根据需要增加传感器数量，获得更多的自由度测量，以及更加流畅的动画效果，并且可以通过引入非人体的动物模型，可以完成实现非人体的动物模型的动作捕捉，例如猫、狗与马等的动作捕捉。

标记遮挡和不匹配：惯性动作捕捉系统用来测量的运动数据取决于地心引力与地磁场指向，所以标记点的遮挡问题不存在，由于每一个传感器具有唯一的ID标识的安装位置，所以测量点的不匹配也不会出现。

校准：惯性系统的校准是一个非常简单的过程，最基本的校准只需要捕捉人进行T-Pose站立即可，标定的时间不到20秒就可以完成。

此外惯性动捕设备没有使用空间的限制、数据测量精准、可以快速的进行安装部署并且人体动作的动态性非常好。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图4为本发明动作捕捉装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图4所示，该实施例的装置包括：

至少两个测量单元3，用于测量被测物的动态变化，得到至少两组姿态动作信息，每个所述测量单元设置在被测物的不同位置；

信号处理单元5，用于对所有所述姿态动作信息进行融合，得到对应所述被测物的动作信息。

在本发明上述实施例的一个具体示例中，姿态动作信息包括：加速度值、角速度值和参考方向值。

在本发明上述实施例的一个具体示例中，测量单元测量包括：

加速度测量模块，用于测量所述被测物设置所述测量单元的位置的加速度值；

角速度测量模块，用于测量所述被测物设置所述测量单元的位置的角速度值；

方向模块，用于测量所述被测物设置所述测量单元的位置的参考方向值。

图5为本发明动作捕捉装置另一个实施例的结构示意图。在上述实施例的基础上，如图5所示，还包括约束单元6，用于根据预设的活动极限值对得到的动作信息进行约束，得到对应所述被测物的标准动作信息。

在本发明上述实施例的一个具体示例中，所述信号处理单元对所有所述姿态动作信息进行融合之前，还用于通过无线网络接收得到的所有姿态动作信息。

在本发明上述实施例的一个具体示例中，还包括：

中心节点单元4，用于将所有姿态动作信息通过预设通信协议发送给信号处理单元。

图6为本发明动作捕捉装置又一个实施例的结构示意图。在上述实施例的基础上，如图6所示，还包括：

标准动作采集单元1，用于将设置有至少两个测量单元的被测物设置为预设标准动作，通过所有测量单元采集被测物在预设标准动作下的至少两组姿态动作信息；

校准单元2，用于融合所有在预设标准动作下的姿态动作信息得到对应的动作信息，将动作信息与所述预设标准动作进行比对，实现校准。

采用的是惯性导航式动作捕捉解决方案，参考航姿参考系统，通过采集原始的加速度、陀螺仪、地磁，经过AHRS算法计算出被采集者在该点姿态变化，通过多点的采集，就可以获取被采集者身体主要节点的姿态变化，根据人体骨骼的极限运动参数，对采集到的各点数据加以融合和约束，就能准确的捕获到被采集者的动作。

在具体示例中，本发明采用节点式的设计方式，因此可以根据不同的需求对节点的个数进行调整，从而满足了不同的动作捕捉需求。同时我们采用常用的WIFI作为数据传输的方式，采集到的数据可直接通过中心节点整合后利用WIFI将数据发送到具备WIFI功能的设备上，这也就是说便携式的设备如果性能足够强大(比如高性能的手机或是特制的手持型嵌入式设备)，那么一台手持式的显示设备加上轻便的穿戴设备就足以完成动作捕捉。这是那些采用机械式、声学式、电磁式、和光学式的动作捕捉设备所无法想象的。

通过九轴数据解算出姿态，再融合人体骨骼约束算法使人体的动作更加的准确，同时依据采集到的三轴加速度数据计算出采集点在三维空间中的位移，就可以准确的捕捉到人体的移动和跳跃等动作。

本发明提供的电子设备产品分为两个部分，一部分是采集节点，负责人体骨骼主要节点的姿态采集和运算处理，另一部分是中心节点，负责对总线上采集节点的数据进行收集和整理并通过WIFI、USB等接口发送给处理设备。

采集节点采用ST公司的Cortex-M4内核STM32F4系列高性能芯片作为主控芯片，它具有高性能浮点计算能力，可以用于复杂的算法计算。九轴传感器采用的是Invensense公司的MPU9250，单片集成了三轴加速度传感器、三轴陀螺仪传感器和三轴磁力计传感器，封装尺寸小，功耗低。

整体的设计思想是STM32F4芯片通过MPU9250采集原始的九轴数据，通过姿态解算算法和位移积分误差消除算法计算出该点的姿态和在三维空间中相对于原点的三个轴的位移，分别以四元数和数值输出，在接收到中心节点发送数据的指令时，将这些数据通过RS485总线发送到中心节点。

由于不用进行复杂的运算，中心节点采用的是ST公司的STM32F1系列的芯片作为主控芯片，中心节点在整套系统中的作用就是负责整理总线上节点的数据，然后以指定的通讯协议将数据发送出去。

针对人进行测量时，为了叙述方便，本发明采用典型的17采集节点。通过对人体骨骼模型建模分析，将人体骨骼划分为典型17个活动关节，所述17个惯性传感节点分别一一对应的设置在人体的骨骼上划分的17个信息捕捉节点上，用于测量人体不同位置点的三维运动，并通过RS485方式与中心节点通信，中心节点用于接收所有惯性传感节点所发送的数据，并将数据转交给主控机进行处理；中心节点还用于将主控机所发出的控制命令发送给所有的或指定的惯性传感节点。采用分布补偿模式和统一控制模式两种方法控制17个惯性传感节点在同一时间点进行数据采集，以得到准确地还原人体的动作。

对于人体进行动作捕捉时，涉及以下三个核心技术：

①人体模型建立：

本发明采用了逆向运动学(Inverse Kinematics)算法构建了人体模型，逆向运动学通过子节点或叶子节点的旋转角度和位移量信息来计算父节点的相关参数，在求解的过程中，根据人体运动规律，逐步求出中间节点的相关信息，进而得出所需父节点的相关信息。如图7所示，为本发明实施例中的人体模型节点示意图。

②人体动作数据的预处理和特征提取：

在实验中发现，通过东部系统采集动作数据存在数据中存在噪声导致数据曲线不平滑、同样动作，不同的认知形式的幅度和速度不同和不同时间做同样动作，同一人的幅度和速度上都有差异的问题，因此对姿态角数据进行了预处理再使用的方式，本发明主要采用了一个4阶Butterworth低通IIR滤波器对信号进行滤波，以实现不同频率振动产生的噪声的移除。

③对于步长误差问题的解决：

为了能够准确采准确检测加速度传感器的运动状态，需将对加速度传感器的数据进行滤波处理，采用matlab中“buffer”函数，滤除频率过高或过低的噪声数据，通过设定门限K值判断运动的状态。数据处理之后，可以检测出运动状态，给出了加速度计采集的原始数据，“stationary”为1时，说明处于站立状态，在此状态，可以从图中看出，加速度计x、y、z采集到的数据波动较小，只是受到重力场的作用，采集到的数据是重力作用的值。“stationary”为0时，说明处于行走状态，加速度计x、y、z三个方向采集到的数据波动大，此时脚步受到其他力矩的强烈作用。

通过“stationary”为1时的站立状态，将速度做强制归零处理，从而极大的减少了噪声对通过速度积分求位移的干扰。同时通过计算积分误差，在最后计算位移中减去误差值，就能得到高精度的位移值。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (15)

1.一种动作捕捉方法，其特征在于，包括：

通过至少两个测量单元测量被测物的动态变化，得到至少两组姿态动作信息，其中每个所述测量单元设置在被测物的不同位置；

信号处理单元对所有所述姿态动作信息进行融合，得到对应所述被测物的动作信息。

2.根据权利要求1所述的方法，其特征在于，所述姿态动作信息包括：加速度值、角速度值和参考方向值。

3.根据权利要求2所述的方法，其特征在于，所述通过一个测量单元测量被测物的动态变化，得到一组姿态动作信息，包括：

通过加速度测量模块测量所述被测物设置所述测量单元的位置的加速度值；

通过角速度测量模块测量所述被测物设置所述测量单元的位置的角速度值；

通过方向模块测量所述被测物设置所述测量单元的位置的参考方向值。

4.根据权利要求1至3任意一项所述的方法，其特征在于，还包括：根据预设的活动极限值对得到的动作信息进行约束，得到对应所述被测物的标准动作信息。

5.根据权利要求4所述的方法，其特征在于，所述信号处理单元对所有所述姿态动作信息进行融合之前，还包括：

所述信号处理单元通过无线网络接收得到的所有姿态动作信息。

6.根据权利要求5所述的方法，其特征在于，还包括：

通过中心节点单元将所有所述姿态动作信息通过预设通信协议发送给信号处理单元。

7.根据权利要求1至6任意一项所述的方法，其特征在于，还包括：

将设置有所述至少两个测量单元的被测物设置为预设标准动作，通过所有测量单元采集被测物在预设标准动作下的至少两组姿态动作信息；

融合所有在预设标准动作下的姿态动作信息得到对应的动作信息，将动作信息与所述预设标准动作进行比对，实现校准。

8.一种动作捕捉的装置，其特征在于，包括：

至少两个测量单元，用于测量被测物的动态变化，得到至少两组姿态动作信息，每个所述测量单元设置在被测物的不同位置；

信号处理单元，用于对所有所述姿态动作信息进行融合，得到对应所述被测物的动作信息。

9.根据权利要求8所述的装置，其特征在于，所述姿态动作信息包括：加速度值、角速度值和参考方向值。

10.根据权利要求9所述的装置，其特征在于，所述测量单元测量包括：

加速度测量模块，用于测量所述被测物设置所述测量单元的位置的加速度值；

角速度测量模块，用于测量所述被测物设置所述测量单元的位置的角速度值；

方向模块，用于测量所述被测物设置所述测量单元的位置的参考方向值。

11.根据权利要求8至10任意一项所述的装置，其特征在于，还包括约束单元，用于根据预设的活动极限值对得到的动作信息进行约束，得到对应所述被测物的标准动作信息。

12.根据权利要求11所述的装置，其特征在于，所述信号处理单元对所有所述姿态动作信息进行融合之前，还用于通过无线网络接收得到的所有姿态动作信息。

13.根据权利要求12所述的装置，其特征在于，还包括：

中心节点单元，用于将所有所述姿态动作信息通过预设通信协议发送给信号处理单元。

14.根据权利要求8至13任意一项所述的装置，其特征在于，还包括：

标准动作采集单元，用于将设置有所述至少两个测量单元的被测物设置为预设标准动作，通过所有测量单元采集被测物在预设标准动作下的至少两组姿态动作信息；

校准单元，用于融合所有在预设标准动作下的姿态动作信息得到对应的动作信息，将动作信息与所述预设标准动作进行比对，实现校准。

15.一种电子设备，其特征在于，包括如权利要求8至14任意一项所述的动作捕捉装置。