CN101579238B - 人体运动捕获三维再现系统及其方法 - Google Patents

Abstract

本发明公开了人体运动捕获三维再现系统及其方法，其特征在于，包括：人体运动捕获子系统和人体运动再现子系统，所述人体运动捕获子系统由微型传感器运动测量模块和运动参数估计模块组成；所述的微型传感器运动测量模块，其由多个附着在人体各肢体的微型传感器单元，分别测量相应肢体运动数据；所述的运动参数估计模块将每一微型传感器单元的不同种类的微型传感器数据融合起来，推导出人体的整体运动；所述人体运动再现子系统用于接收人体运动捕获子系统所推导出的人体整体运动参数；本发明的优点在于：结构简单，精度高，成本低，体积小，功耗低，使用方便，具有便携性和实时性的特点，在众多领域具有广泛应用，具有较强的实用价值和应用前景。

Description

人体运动捕获三维再现系统及其方法

技术领域

本发明涉及人体运动捕获三维再现系统及其方法，属于人体运动感知获取技术领域。

技术背景

现在，通过对人体的姿态和运动信息的准确获取和分析，能够根据步态的变化推断可能存在的疾病；能够根据运动员的起跳和击球时身体和四肢的轨迹分析问题的所在，从而改进训练；能够准确地跟踪姿态和运动，理解肢体语言，建立高水平的游戏和模拟训练的人机交互，为数字电影、虚拟世界构建栩栩如生的角色。但是由于人体运动的随意性和复杂性，以及人体所在的周围环境的多样性，给实时准确人体运动感知获取技术带来了巨大的挑战。因此，目前急需一种能够不受时空限制和外界环境干扰的人体运动感知和合成技术，实现人体姿态和运动自由式获取和重现，为健康监测、康复训练、舞蹈训练、体育运动分析、电影数字特技、虚拟现实、游戏和人机交互等领域的应用提供技术。

目前，常用的运动捕获技术根据操作和所使用的传感器的类型不同，大致可以分为两类。一类主要使用摄像机阵列，另一类是使用附着在身体上的微型传感器组。使用摄像机的运动捕获系统利用多个高精度高采样率的摄像头捕捉运动者关节上的反射标志，如市场上的产品Vicon。这类系统造价极其昂贵，并且处理的数据量巨大。这方面的专利技术有：申请号为20080192116的美国专利Real-time objects tracking and motion capture in sports events是一个实时运动目标跟踪系统。它使用多个摄像机来检测和跟踪运动目标，但不涉及目标本身的运动细节。专利号为7457439的美国专利System and method for motion capture使用摄像机所获得的运动者身上标志的位置信息以及运动者三维运动模型，恢复出身体的三维运动信息，并利用三维运动模型，比对运动状态。中国专利“基于运动获取的彩色紧身衣”，申请号00264404，设计了一种用色块来编码人体部位的运动获取衣。中国专利“处理被动光学运动获取数据的方法”申请03120688，是一种处理被动光学运动获取数据的方法，包括：获取带有被动光学标记的被摄体的同步多摄像机图像，从获取的数据获得标记的一组三维坐标，确定连续获取中各标记之间在时间上的对应，从而确定附有标记的被摄体的身体部分的位置，以一组所作的标记为基础，确定被摄体运动投影到的运动模型的每个连接的角度，并且计算被摄体的姿势。中国专利“一种对多相机系统的标定方法及装置”，申请号200710062825，是一种多摄像机基于标志点的三维运动信息重建的新方法。

微电子机械系统(MEMS)、微型传感器和无线通信技术的发展使得一种全新的人体运动获取和分析技术成为可能。这类微型传感器体积小、能耗低、测量直接、穿戴方便，同时不受时空限制，非常适合做成穿戴或手持式的运动分析装置。美国专利System and Method forMotion Capture in Natural Environments，IPC8类：AG01C2300FI，USPC类：73510使用放在身体各部位的超声发射源和接收器，测出相应部位的位置，再用惯性传感器测量出的转角来校准位置测量，从而得出身体的运动参数。由于使用了超声传感器和惯性传感器，例如加速度传感器和陀螺仪，从而使整个运动获取系统变得复杂。

发明内容

本发明的目的是为了克服上述已有技术的不足之处，提供一种便携式实时人体运动捕获三维再现系统及其方法。

本发明是使用了微型传感器的运动获取系统。整个系统以人体运动模型为基础：传感器的放置穿戴、运动参数的估计、运动参数之间的约束、人体三维形象的运动再现，都建立在三维模型的基础之上。

本发明包括穿戴式微型传感器实时运动获取装置和人体三维运动形象(Avatar)的实时再现子系统两部分，所获取的运动参数是在整个人体三维坐标下的，是三个自由度；另一方面，也可以推导出该人体相对于全局空间坐标的位置，这样又增加了三个自由度，从而变成六个自由度。本发明的这两部分都以人体的运动模型为基础。由于人体由多个相互关联的活动肢体组成，人体运动系统由骨骼通过关节链接在一起组成，人体姿态的变化由人体关节的运动带动人体骨骼和下一层关节的运动来实现。因此，本发明建立了一个层次化的人体运动结构模型。在这个模型中，运用了关节之间的相对运动和骨骼位置的变化来描述人体模型的运动。当关节位置发生变化时，依附于该关节的骨骼以及其子关节的位置也随之发生变化。为了描述人体运动，本发明定义了人体全局坐标系和各个关节的局部坐标系。

为了测量身体各个活动肢体的运动参数，穿戴式微型传感器实时运动获取装置在每个活动肢体上至少放置一个微型传感器单元。每个微型传感器单元包括全部或部分下述传感器：三轴加速度传感器、三轴微型陀螺仪、三轴微型磁力计、超声传感器，等等。使用微型传感器单元测得三轴加速度、三轴角速度和方向作为输入，系统的贝叶斯滤波可以估计出每一个时刻该活动肢体的运动参数：三维角度、角速度和角加速度。

在整个人体运动系统中，各个活动肢体的运动是受整个人体运动系统制约的。当穿戴式微型传感器实时运动获取装置在对某一个活动肢体使用微型传感器单元测量值进行位置和运动估值时，估值的误差和长时间积累的漂移可能会破坏人的整体运动模型的基本约束条件。因此，本发明在估值中，也将人体运动系统约束条件融合进估值计算方法之中，从而纠正估值误差和漂移。

为了进一步提高测量精度，穿戴式微型传感器实时运动获取装置也在关键部位，如躯干、上臂、下肢等部位加上超声传感器，精确测量它们的相对位置，以校准运动估值误差和漂移。同时，加入超声传感器或磁传感器，也可以比较方便地测出人体在整体坐标中的位置。

当穿戴式微型传感器实时运动获取装置向人体三维运动形象实时再现子系统输出各活动肢体的运动参数后，三维运动形象实时再现子系统使用这些运动参数，驱动三维人体模型。为了达到逼真的效果，虚拟人体模型在人体骨骼模型之上加了表面皮肤，它用多边形网格组成，可以表示任意的拓扑结构，适用人体这种复杂的带分支的结构，不同部位之间也可以方便的连接在一起。当人体骨骼模型由运动参数驱动时，会带动皮肤模型变形，产生好的逼真度。

本发明的直接应用之一是实时三维动画动作设计。由演员穿上本发明的便携式实时人体运动获取系统，本发明中的三维再现系统中的人体三维运动形象即为动画中的角色，人体运动获取系统将运动参数输出给动画中的角色，使得该角色完全按照演员的动作而动。由于是实时，并直接看到效果，使得动画的制作时间大大缩短，制作成本大大降低。

本发明的直接应用之二是交互试游戏、模拟训练和舞蹈定量化教学。游戏方或被训练方穿上本发明的便携式实时人体运动获取系统，本发明中的三维再现系统中的人体三维运动形象也即混合现实游戏和模拟训练中的游戏方或被训练方的虚拟角色。人体运动获取系统将运动参数输出给混合现实游戏或模拟训练中的游戏方或被训练方的虚拟角色，使得该虚拟角色完全按照的真人的动作而动作。由于真人的运动肢体的运动参数包括了角度、位移、速度和加速度，如果是拳击，由此可以推出出拳的位置、速度和力量，并可以进而根据对方的动作，确定该拳的结果。也可以对该拳的动作做出评述和演示，达到训练的目的。

本发明的直接应用之三是混合现实(Mixed reality)及其应用，如沉浸式学习(ImmersiveLearning)。学习者穿上本发明的便携式实时人体运动获取系统，与其它真实或虚拟的学习者一起参与真实的、远程的、微观的、不可及的、或虚拟的学习场景。学习者的虚拟形象(Avatar)，也即本发明中的三维再现系统中的人体三维运动形象出现在场景之中，他们的肢体语言和话语一起被理解，共同构成真实的学习体验。

本发明人体运动捕获三维再现系统，其特征在于，包括：

人体运动捕获子系统和人体运动再现子系统，所述人体运动捕获子系统由微型传感器运动测量模块和运动参数估计模块组成；

所述的微型传感器运动测量模块，其由多个附着在人体各肢体的微型传感器单元，分别测量相应肢体运动数据；

所述的运动参数估计模块，其将每一微型传感器单元的不同种类的微型传感器数据融合起来，估计出相应肢体的运动参数，然后整合人体各肢体运动，推导出人体的整体运动，包括人体的整体位移和各肢体的方位；

所述人体运动再现子系统用于接收人体运动捕获子系统所推导出的人体整体运动参数，驱动人体三维运动形象，以动画的形式在虚拟世界再现相应真人运动；

所述微型传感器单元穿戴和附着于人体的每个被测肢体上。

所述微型传感器单元包括：

微型三维加速度计、微型陀螺仪、微型磁力计、微型超声测距仪、微型电容测距仪；

前置放大器和模数转换器，用以接收微型传感器所采集的信号，把它放大到模数转换器所要求的信号幅度动态范围，进而转换为数字信号；

控制器，用于将各微型传感器数据打包；

无线通信芯片。

所述人体运动获取子系统的微型传感器运动测量模块有两种结构：

结构一为有线连接结构。所有传感器单元中均无无线通信芯片，微型传感器运动测量模块包括一个或几个控制单元，模块为每一传感器单元分配一唯一地址，由一数据总线将所有传感器单元和模块中的控制单元连接到一起，控制单元通过地址总线选择不同的传感器，向各传感器单元分布控制命令，如激活、同步、设定采样率等，获取每个微型传感器单元的各路测量数据；

结构二为无线连接结构，所有传感器单元中均有无线通信芯片和独立的控制器，以便与微型传感器运动参数估计模块直接通信，微型传感器运动测量模块中没有独立的控制器，只有一组相互平行的具有无线通信能力的传感器单元。

本发明的优点在于：结构简单，精度高，成本低，体积小，功耗低，使用方便，具有便携性和实时性的特点，在众多领域具有广泛应用，具有较强的实用价值和应用前景。

附图说明

图1是本发明所述人体运动捕获三维再现系统及其方法的整体逻辑结构方框图；

图2是本发明人体运动捕获子系统信号采集、处理结构框图及实施方案之一；

图3是本发明人体运动捕获子系统信号采集、处理结构框图及实施方案之二；

图4是本发明所述人体运动捕获三维再现系统及其方法的人体骨骼模型的树型表示图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的介绍，图1是本发明的整体逻辑结构方框图，本发明由人体运动捕获子系统100和三维再现子系统200组成。人体运动捕获子系统100由微型传感器运动材料模块110和运动参数估计模块120组成。微型传感器运动测量模块110实时采集人体各活动肢体的运动数据，使用这些数据，并融合进人体运动模型的限制条件，运动参数估计模块120估计出相应的活动肢体的姿态信息和相对于全局坐标系的位移。人体运动再现子系统200根据运动参数估计模块120估计出的活动肢体的姿态信息和全局位移信息，驱动人体三维模型，以人体动画的再现穿戴者的运动形象。

人体所有活动肢体以脊椎为根，派生出颈头、下肢和上肢共5个分支。人体模型是运动测量、运动参数估计和运动形象再现的基础。人体骨骼模型清晰地定义了人体各活动肢体，因此，在每一个要测量的肢体上，都要放置至少一个微型传感器单元。这就是说，如果是做全身运动测量，需要20个左右微型传感器，分别放置在头、脊椎(本发明仅在颈椎、胸椎和腰椎三个部位放置传感器)、两上臂、前臂、手掌、手指，两大腿、小腿、脚掌、脚趾等。

每一个微型传感器单元包括三维微型加速度传感器、微型三维陀螺仪、微型三维磁力计、超声测距仪等的全部或部分。

由于放置于某个活动肢体的微型传感器测量的是该活动肢体的动态数据，由测得的数据估计出的该活动肢体的运动参数也是在该肢体的坐标系之下。任何测量和估计误差的积累都将会造成该肢体的位置和运动参数比较大的偏移其正常值，进而与相邻肢体的不一致。因此，融合多种测量数据和人体模型限制和知识，提高测量和估计精度，降低累积估计误差，保证各肢体参数的一致性，并进而估计出人体在全局坐标系中的位置，是难点，也是本发明的技术重点之一。

本发明的第一种实施方案，如图2所示，微型传感器运动测量模块110由数个微型传感器单元、数个超声测距单元和一个或数个控制单元组成。微型传感器单元可以只使用微型惯性传感器，即三维加速度传感器和三维陀螺仪，需要时也可增加磁力计。超声测距单元由放置在身体两个部位(如胸和上臂、胸和头、胸和大腿等)的时间精确同步的发射器和接收器组成。发射和接收间的时间差可以精确地计算出两个肢体间的距离。如超声频率是40k，测量精度可达2毫米。这可以用于校准肢体之间的相对距离。

微型传感器单元和超声测距单元可以数据总线的有线方式与控制单元相联，控制单元进而以无线或有线的方式与主计算机相联，所述主计算机为台式或便携式。运动参数估计模块120和运动再现子系统200都以软件形式在主计算机上实现，运动参数估计模块120也可以在便携式计算机上实现。便携式计算机进而以无线传输方式实现运动参数估计模块120与运动再现子系统200的连接。

下面详细介绍本发明六自由度人体运动获取子系统的工作流程及系统结构。

人体运动获取子系统的实现方法之一：

图2是六自由度人体运动获取子系统实现方法一的详细的构成图。它同时给出了信号采集、处理流程。假设系统有一组n个微型传感器单元(a₁，a₂，…，a_n)，它们采集的往往是模拟信号，有些是微弱信号。因此，需要有一组相应的前置放大和模数转换器，对模拟信号进行前置放大，使之满足模数转换器的输入电平的要求，然后获得数字信号。

如有若干超声测距单元，每一单元由一发射器、接收器和一控制器组成。当被控制单元设定了取样率之后，测距单元控制器按照取样率，驱动发射器和计时器，当接收器收到发射器所发射的信号时，计时器的读数即可用于计算距离。

控制单元以总线的方式与所有的微型传感器单元和超声测距单元相联，并为每一个微型传感器单元和每一个超声测距单元分配一个地址，通过地址总线选择不同的传感器。通过控制总线控制单元控制所有微型传感器和超声测距单元的工作方式，如激活、同步、设定采样率等，获取每个微型传感器单元和超声测距单元的各路测量数据。控制单元的所有操作都由时钟触发。控制单元以时分方法读取各微型传感器单元和超声测距单元的数据：例如，当控制单元需要读取A传感器的数据时，首先通过地址总线发送一条选择命令，各个传感器接收到这条命令后，与系统分配的地址做比较，如果地址匹配，则将数据以通过数据总线发送到控制单元。控制单元接收到数据后，将数据进行缓存打包后发送至通信接口。通信接口可以选择有线通信，如USB口，或者无线通信，如蓝牙等，发送到主计算机中的运动参数估计模块120。

人体运动获取子系统的实现方法之二：

图3是本发明六自由度人体运动获取子系统实现方法二的详细的结构示意图。整个系统由多个传感器单元、多个超声测距单元和一个随身微计算机组成。与图2中人体运动获取子系统的硬件实现方法一不同，每一个传感器单元和超声测距单元都以无线通信的方式和运行在随身微计算机上的运动参数估计模块相联。为了降低能源消耗和减小体积，传感器单元和超声测距单元的无线传输距离不可太远，因此，这里选择将运动参数估计模块120运行在随身微计算机上。

超声传感器加上存储、控制和通信(无线或有线)构成超声传感器单元。三维加速度传感器、三维陀螺仪、三维磁力计和麦克风与它们的前置放大器和模数转换器共同存在于一个嵌入式系统之中，加上存储、控制和通信，形成一个独立的微型传感器单元，进行信号的采集、暂存和传送。如果该微型传感器单元有一定的处理能力，也会对微型传感器信号进行一定的预处理，甚至进行人体各肢体方位信息估计，从而降低与随身微计算机的通信信息量。随身微计算机实现运动参数估计模块120中在传感单元中没有实现的功能模块。

随身微计算机可以以无线通信的方式与各微型传感单元连接。如使用蓝牙、Zigbee等。这时，整个系统是一个身体无线传感网络。其中随身微计算机是网关。各微型传感单元与网关进行时间同步，在与网关进行通信时，微型传感单元根据网关指定的时间与网关通信，或各微型传感单元竞争与网关的通信时间。由于这里是一个网关对多个微型传感单元，分时的通信方式能比较有效地防止冲突和数据丢失。

在前述两种实现方法中，所述超声传感器、磁传感器、加速度传感器和陀螺仪都是可选的。根据应用的不同，可以选择其中的一种或两种，甚至不选择其中的任何一种，删减相应的硬件，构成新的实现方法。

使用传感器数据估计人体运动参数分三个方面进行：1)使用一个或多个传感器数据估计该肢体的运动参数，2)根据人体运动模型融合所有肢体运动参数和各肢体之间的相互限制和运动边界条件，推导出人体整体姿态；3)推导人体在全局坐标系中的位置。

当主计算机中的运动参数估计模块120接收到微型传感器运动测量模块110采集的数据后，首先利用三维加速度数据、三维陀螺仪测得的角速度数据来估计人体各肢体的方位、速度和加速度。这里，为了提高估计精度，本发明采用多运动模型和多噪声模型的贝叶斯估值方法。为了解决非线性运动问题，同时不至于过分复杂，本发明采用扩展的卡尔曼滤波(KalmanFilter)或Unscented Kalman filter。

为了解决肢体运动的不确定性，本发明采用多噪声模型和多运动模型，并将交互多模型方法引入人体肢体运动的运动参数估计。

由于加速度传感器受地球重力加速度影响，微型陀螺仪的噪声比较大，在很多情况下，必须融合进磁力计数据，或加入超声测距来提高估值精度，减少位置和速度估值的漂移。

本发明融合了人体运动模型中人体肢体间相互位置限制和运动模型的技术，一是使用机器人学中的位置运动学的正运动学原理，将几个人体肢体放到一起来考虑，运用人体运动学模型中的相关，减少估值参数的数量。例如，运用机器人学中关于机器臂的D-H表示方法，降低人的肩-上臂-小臂-手的自由度和参数数目：大臂可以有三个自由度，即向两个方向的摆动和旋转；小臂只有两个自由度，即向一个方向的摆动和旋转；手腕也只有两个自由度，即向两个方向的摆动。

另一种方法是利用估计方位信息的时候加入人体肢体之间的限制信息和人体某肢体的运动规律。人体肢体之间的限制信息和人体肢体的运动规律是人体姿态分析的先验知识，融合了这些信息和技术能够显著提高人体姿态估计的准确度，避免违反常规的运动参数取值。以胳膊为例，下臂相对于上臂只能够做两种运动，扭转和屈伸。下臂不能够相对于上臂摆动，下臂的摆动必然带动上臂的扭转，同时下臂的扭转和屈伸都必须集中在特定的角度内。

有三种方法可以获得人体在全局坐标中的位置和位移：1)使用超声传感器测量人体对固定参考物的距离。在获得人体离三个或以上固定点(它们必须互相之间有足够的间隔，以保证定位精度)的距离后，便可以计算出人体在全局坐标系中的位置了。2)获取了人体的姿态信息后，有两种方式计算人体相对于全局坐标系的位移：一是基于步态分析的方法。当人体姿态已知后，可以知道腿部的运动轨迹，从运动轨迹中估计人体整体的位移；二是基于加速度的方法估计人体相对于全局坐标系的各个时刻的加速度，然后对加速度去漂移和二次积分。

如何利用微型传感器单元提供的人体姿态信息(三自由度)和人体相对于已知参考坐标系的位移信息(三自由度)，将其转化为人体运动模型的输入参数，实时驱动虚拟人体模型进行动画重现是此人体运动子系统的关键。

本发明子系统的人体三维模型主要包括：

1)根据实际人体的关节运动特征所建立的模型，人体运动模型采用基于表面模型的建模方式，分为骨架层和表面皮肤层，由平面或曲面片组成的表面模拟皮肤，环绕在骨架周围。第一层是关节体结构或称为骨架，骨架层是人体运动控制的基础，用于指定人体的精确运动，表示人体的内部结构。其参数由树状层次结构的骨骼、关节链接参数、关节角度约束以及物理属性组成。本发明的虚拟人体模型参照虚拟人模型的国际标准：VRML/X3D中的H-Anim标准，并将其改造以满足本系统的应用需求。虚拟人体模型的骨骼段之间由关节相联，人体重心、每个骨骼段以及关节的运动会影响到与它相联的其他关节节点的状态。骨骼的层次结构是由嵌套的关节节点来实现的。以脊柱末端的骶骨关节作为整个骨架结构的根，并由此分别向上、下遍历整个骨架结构，按照遇到各关节的顺序，将所有关节组织成树形的继承结构，如图4所示。每一关节节点均是排在其后的关节节点的父节点，例如：肩关节的节点定义中，又包含有肘关节、前臂节点作为它的子节点，而在肘关节节点定义中又有腕关节作为它的子节点等，从而形成了虚拟人体模型的骨架。第二层为表面皮肤层，外部的几何表面或称为皮肤，皮肤的变形由底层的关节体结构驱动，可以看作是骨架姿态的函数。皮肤模型用于描述人体的外部形状，刻画逼真的人物形象。为便于实现人体动画及皮肤变形，本系统采用多边形模型，按人体生理结构将表面皮肤分成若干个部位，每一部位均附着在人体骨架的某段骨骼上。虚拟人体模型运动时，运动数据文件提供当前时刻人体骨架上各个关节的角度，驱动骨架至某一运动姿态，再由骨架上的各个骨骼带动相应部位的人体表面皮肤运动，变形控制点受底层骨架关节的位置(角度)和力(关节扭矩)的约束，最终这些变形共同产生几何皮肤环绕在骨架上的变形效果。该模型运算速度快，可以表示任意的拓扑结构，适用人体这种复杂的带分支的结构，不同部位之间可以方便的连接在一起，提供一种快速、逼真的皮肤变形方法，真实地表现运动状态下人体全身皮肤的变形效果。

2)人体运动信息与虚拟人体模型的参数信息之间实时有效的转化模式，微型传感器实时捕获的人体运动原始信息经过运动参数估计模块预处理，转化为实际人体运动的参数信息，并输入到虚拟人体模型。在模型中每个人体骨骼都有一个管道，实时接受所依附的传感器提供的人体运动的参数信息。参数估计模块得出的运动信息是相应肢体在其独立坐标系下的运动信息，而人体虚拟模型中肢体的运动是在树状模型下表示的。因此，必须将运动参数估计模块120输入的参数信息转化为驱动模型运动时所需的角度旋转信息和位置移动信息。这些信息需要根据骨骼之间的所存在的树状结构关系，从最高的父节点到子节点依次进行转换，并满足人体运动的关节约束和关节间联动限制，才最终转化为驱动虚拟人体模型的坐标转换参数。

为了便于坐标参数转换，本发明把运动参数表示为四元数(Quaternion)。这样，从父节点到子节点的坐标转换就变成简单的四元数相乘。

3)以数据驱动的方式实时再现人体真实的运动姿态，人体运动姿态的实时重现，本质上是虚拟人体模型的坐标转化。大致涉及三个彼此嵌套的坐标系：子骨骼坐标系、父骨骼坐标系和全局坐标系。虚拟人体模型的初始姿态，又称参考姿势为：两臂张开平伸，两眼平视前方，双腿微分放松站立。系统中的(1)全局坐标系的定义与显示坐标系的定义一致。(2)人体坐标系的设定规则为：取腰部身体段与腰椎身体段项链部分的骶骨关节为人体重心，并在该关节处定义人体的基坐标系，其方向与全局坐标系一致，即水平面与矢状面交线为Z轴。(3)关节局部坐标系的定义为：关节轴线方向为Z轴正方向，取上一关节与该关节连接方向为X轴正方向，然后按照右手规则确定Y轴方向。

4)肢体绕所附关节转动的角度均相对于初始姿态坐标系转过的角度，为了便于刻画人体姿态变化，将人体骨骼运动分解成为相对于身体局部坐标系的旋转和平移(一般是先旋转、再平移)，其旋转、平移通过一个旋转四元组和一个平移矢量来表示。基于以上运动分解，可以将人体姿态的连续变换细化为骨骼运动积累变换的计算。对于任何一个骨骼，根据顶点在该骨骼局部坐标系中的位置，求出骨骼运动之后其在全局坐标系下的新位置，其变换过程大致为：局部坐标系内变换→变换到父坐标系→父坐标系内变换→父骨骼的积累变换→…直到变换到全局坐标系的过程。而依附于骨骼层的表面皮肤层的变化则遵循骨架驱动变形的原则。皮肤网格的每一个顶点关联一组关节，称为影响关节，并设定相应的权值。对于每一根骨骼，都存在着一个参考姿势下的骨骼初始逆变换与之相关联，其作用是将参考姿势下与该骨骼相关联节点的全局坐标转换成为骨骼的局部坐标。表面皮肤层的变化过程归结为：参考姿势下的骨骼初始逆变换→骨骼的运动积累变换(遍历骨骼树形结构)→全局坐标转换。同时在变化过程中，变形控制点受到底层骨架的位置、长度以及关节的旋转角度的约束和限制，保证虚拟人体模型满足正常人的运动约束。

系统初始化包括人体运动捕获子系统100和人体运动再现子系统200的初始参数的确定以及这两个子系统的一致性和同步。

首先，若要精确地定位人体各肢体在全局坐标系中的位置，必须精确地测量人体各肢体的长度，将它们用到运动获取系统的估值方程中，以及用来赋值人体模型。系统初始化以几个简单的动作为标准，尽量使各肢体的角度为零。这两个动作是：两腿自然站直，双臂自然下垂，或侧平伸直。

人体模型的初始姿态。在初始标准动作下，确定人体模型的基本参数，包括关节位置、关节的名称、肢体(骨骼)长度和角度、皮肤网格数量、网格类型、关节运动对网格的影响度。然后绘制和存储人体模型。把关节位置作为再现系统中人体模型的关节位置，并用树形结构把关节连接起来组成人体骨架结构，父子关节间的距离定义为关节间的骨骼长度。模型的皮肤网格有平面多边形网格和曲面多边形网格。把曲面多边形网格转化为以规则排列的控制点构成的数据点集(躯干和四肢等变形部位)；平面多边形网格以多边形为控制点数据点集(头、脚和手等部位)。通过把每个网格映射到特定关节上，获得随骨架一起运动的刚性皮肤。

在本发明中，对每一个肢体而言，估计出它的方位角和旋转角，以及角速度。根据该肢体的长度，可以估计出该肢体下端关节的位置和速度。由此，可以得出人体某部位(如拳)的运动轨迹和力度。这样，几个直接的应用如下：

1、以附着于某一肢体的单一传感单元所估计出的方位角、旋转角和角速度，作为人机交互的参数。例如，将一传感器单元，以帽子的形式，戴在头上。头的前后、左右运动的角度，以及旋转角度，可以作为计算机对游戏或其它应用的输入，也可以用作鼠标。

2、将一传感器单元，制成无线手持遥控器的形式。当手持器件指向屏幕时，其上下左右运动的角度，以及旋转角度，可以作为计算机的输入，用作鼠标。该遥控器的运动位置、速度、加速度和力度也可以估计出来，和角度一起，作为游戏(如拳击、打球等)交互的手段。

3、根据对人的腰部、上臂、小臂和手腕的即时角度、以及相应关节的即时位置和速度，可以分析拳、剑、球拍的力度和身体主要部位的运动轨迹之间的关系，从而将体育训练推向定量化的水平。对腿、脚和其它部位的分析，对相应的运动也有同样的效果。

4、步态是人体某些疾病的表征，也可以作为人的生理特征。附着在大腿、小腿和脚上的传感器单元，可以测量出这些肢体的即时角度，以及膝盖和脚踝和脚掌的位置、速度和受力。这些数据为步态的定量表征和分析提供了技术和方法。

本发明不限于上述实施例，对于本领域技术人员来说，对本发明的上述实施例所做出的任何改进或变更都不会超出仅以举例的方式示出的本发明的实施例和所附权利要求的保护范围，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

Claims (1)

1.人体运动捕获三维再现系统，其特征在于，包括：人体运动捕获子系统(100)和人体运动再现子系统(200)，所述人体运动捕获子系统(100)由微型传感器运动测量模块(110)和运动参数估计模块(120)组成；

所述的微型传感器运动测量模块(110)，其由多个附着在人体各肢体的微型传感器单元，分别测量相应肢体运动数据；

所述的运动参数估计模块(120)，其将每一微型传感器单元的不同种类的微型传感器数据融合起来，估计出相应肢体的运动参数，然后使用人体运动学模型，整合人体各肢体运动，推导出人体的整体运动，包括人体的整体位移和各肢体的方位，所述肢体的运动参数包括三维角度、角速度和角加速度；为了获得精确和稳定的估值，在加速度传感器和微型陀螺仪数据之外，融合进磁力计数据，或加入超声测距，所述运动参数估计模块采用多运动模型和多噪声模型的贝叶斯估值方法；

所述人体运动再现子系统(200)用于接收人体运动捕获子系统(100)所推导出的人体整体运动参数，驱动人体三维运动形象，以动画的形式在虚拟世界再现相应真人运动；

所述微型传感器单元穿戴和附着于人体的每个被测肢体上；

所述人体运动捕获子系统(100)中的微型传感器运动测量模块(110)采用以下两种结构中一种：

结构一中所有传感器单元与控制单元有线连接，微型传感器运动测量模块(110)包括多个传感器单元，以及一个或几个控制单元，模块为每一传感器单元分配一唯一地址，由一数据总线将所有传感器单元和模块中的控制单元连接到一起，控制单元通过地址总线选择不同的传感器，向各传感器单元发布控制命令，获取每个微型传感器单元的各路测量数据，此后控制单元通过无线或有线方式与便携式微计算机连接，将所获取数据统一发往运动参数估计模块(120)；

结构二为全无线连接结构，所有传感器单元中，除各种微型传感器外，还包含无线通信芯片和控制器，都能够独立进行传感器数据获取，与便携式微计算机直接进行无线通信，接受命令，采集和发送数据，便携式微计算机可以选择分时或竞争的方式与多个传感器单元进行无线通信；

所述无线连接结构的微型传感器运动测量模块(110)中的微型传感器单元包括下述几种微型传感器的部分或全部：

微型三维加速度计、微型陀螺仪、微型磁力计、微型超声测距仪、微型电容测距仪；

前置放大器和模数转换器，用以接收微型传感器所采集的信号，把它放大到模数转换器所要求的信号幅度动态范围，进而转换为数字信号；

控制器，控制对各微型传感器的数据采样，将所采数据打包送往通信芯片，与微计算机交换；

无线通信芯片；

所述人体运动再现子系统(200)中的人体运动模型采用基于表面模型的建模方式，分为骨架层和表面皮肤层；

第一层，即骨架层是人体运动控制的基础，其关节体结构由树状层次结构的骨骼、关节链接参数、关节角度约束以及物理属性组成；

第二层为表面皮肤层，皮肤的变形由骨架层的关节体结构驱动。

Images