CN103279186B - 融合光学定位与惯性传感的多目标运动捕捉系统 - Google Patents

Abstract

本发明公开了一种融合光学定位与惯性传感的多目标运动捕捉系统，包括目标动作捕捉单元、目标定位单元、数据同步控制单元、数据接收与处理单元，所述目标动作捕捉单元为多个；在数据同步控制单元的控制下，所述目标动作捕捉单元和所述目标定位单元将数据传输给数据接收与处理单元。通过融合光学定位和机械式运动捕捉技术，只取各目标表面一处最无遮挡位置作为光学定位点来获取各目标的精确定位数据，再通过机械式运动捕捉技术捕捉各目标的运动姿态数据，之后将两种数据进行融合计算得到多目标的完整运动姿态。达到实现各个目标的精确定位和精确捕捉人体运动姿态的目的。

Description

融合光学定位与惯性传感的多目标运动捕捉系统

技术领域

本发明具体地，涉及一种融合光学定位与惯性传感的多目标运动捕捉系统。

背景技术

随着数字处理速度的加快和传感器的应用，各种人机互动系统被开发，目前，主流的人机互动，有机械式运动捕捉系统和光学式运动捕捉系统，两者对于单目标的运动捕捉精度较高，但对于多目标的运动捕捉系统，以上两者均存在一定的缺点无法准确实现多目标的运动姿态捕捉，首先，多目标的运动捕捉系统如果基于机械式运动捕捉技术，则没有办法获取各目标在三维空间中的绝对坐标数据，即无法对运动目标进行实时精确定位，从而无法重现多运动目标的真实的运动画面，如各目标的跳动动作系统就无法实现。其次，对于光学式运动捕捉技术可以精确获取目标的绝对坐标数据，它是通过高速摄像机实时捕捉目标体表面多个发光的标记点来实现的，但多目标的运动捕捉系统如果基于光学式运动捕捉技术情况就有所不同，多目标的运动捕捉系统被捕捉的运动目标不只一个，由于运动过程中多目标表面的多个标记点容易出现相互遮挡的情况，一旦某目标表面某一个或几个标记点被遮挡，则高速摄像机就无法拍摄到该时刻的图像，从而无法确定相应位置在三维空间中的坐标数据。

发明内容

本发明的目的在于，针对上述问题，提出一种融合光学定位与惯性传感的多目标运动捕捉系统，以实现各个目标的精确定位和精确捕捉人体运动姿态的优点。

为实现上述目的，本发明采用的技术方案是：

一种融合光学定位与惯性传感的多目标运动捕捉系统，包括目标动作捕捉单元、目标定位单元、数据同步控制单元、数据接收与处理单元，所述目标动作捕捉单元为多个；

所述目标动作捕捉单元：在数据同步控制单元的控制下，获取目标对象各关节点处的运动数据，并对各关节点处的运动数据进行融合计算，并将计算的结果传输给数据接收与处理单元进行数据处理；

所述目标定位单元：在数据同步控制单元的控制下，获得各目标对象的准确位置数据，即目标定位点的三维空间坐标数值，并将各个目标对象的三维空间坐标数据传输给数据接收与处理单元；

所述数据同步控制单元：保证上述目标动作捕捉单元和目标定位单元之间数据采集的同步性；

所述数据接收与处理单元：接收上述目标动作捕捉单元和目标定位单元传输的各目标对象的姿态数据和坐标位置数据，运用反向运动学方法对各目标对象的姿态数据与坐标位置数据进行融合计算，得到控制三维动画角色运动的完整的运动姿态数据。

根据本发明的优选实施例，所述目标动作捕捉单元包括多个惯性传感器、节点控制器、无线传输模块和动作捕捉主机，所述惯性传感器固设在采集节点上，在节点控制器的控制下对节点的运动数据进行采集，并将采集的运动数据通过无线传输模块传输给动作捕捉主机，经动作捕捉主机对采集的运动数据分析后传输给数据接收与处理单元。

根据本发明的优选实施例，所述惯性传感器为三轴加速度传感器、三轴角速度传感器和三轴地磁传感器。

根据本发明的优选实施例，所述目标定位单元包括多台高速摄像机、发光标记点（定位点）、数据网络交互装置和定位主机，在每个目标对象的最大程度无遮挡的部位放置一个发光标记点，通过排布在空间中的多台高速摄像机将各目标对象的运动状况以图像的形式记录下来，然后将记录下来的图像数据通过网络交互装置传输给定位主机进行处理，即定位主机计算识别图像中各发光标记点的运动轨迹，对于空间的任意一个点，只要它能同时至少被两台高速摄像机所采集，则根据同一瞬间两台高速摄像机所拍摄的图像和相机参数，得到该发光标记点在三维空间中的绝对坐标数据。

根据本发明的优选实施例，所述数据同步控制单元包括控制器和无线传输模块，所述控制器的命令通过无线传输模块传输给目标动作捕捉单元和目标定位单元。

根据本发明的优选实施例，所述数据接收与处理单元包括系统主机和HUB，所述目标动作捕捉单元和目标定位单元采集的数据经HUB接收后，传输给系统主机。

根据本发明的优选实施例，所述捕捉的目标对象为人体，并将人体骨骼模型分为17个关键节点。

根据本发明的优选实施例，该17个关键节点分别为臀腹关节、左胸肩关节、右胸肩关节、左肩关节、右肩关节、左肘关节、右肘关节、左腕关节、右腕关节、胸颈关节、头颈关节、左腿根关节、右腿根关节、左膝关节、右膝关节、左踝关节和右踝关节，通过上述17个节点来确定人体在空间的位置和朝向。

根据本发明的优选实施例，所述目标定位单元选取人体的头颈关节为定位点，在人体的头颈关节上放置发光标记点。

本发明的技术方案具有以下有益效果：

本发明的技术方案，通过融合光学定位和机械式运动捕捉技术，只取各目标表面一处最无遮挡位置作为光学定位点来获取各目标的精确定位数据，再通过机械式运动捕捉技术捕捉各目标的运动姿态数据，之后将两种数据进行融合计算得到多目标的完整运动姿态。达到实现各个目标的精确定位和精确捕捉人体运动姿态的目的。而将人体分为17个关节点，并将头颈关节作为发光标记点，可以更优的捕捉人体的运动姿态数据。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例所述的融合光学定位与惯性传感的多目标运动捕捉系统的原理框图；

图2为本发明实施例所述的人体运动姿态数据采集原理框图；

图3为本发明实施例所述的人体关节层次结构图；

图4为本发明实施例所述的传感器网络节点分布图；

图5为发明实施例所述的反向运动学方法中关节链及末端效应器位置关系示意图；

图6为发明实施例所述的反向运动学方法中起始节点和关节点的位置关系示意图；

图7为发明实施例所述的反向运动学方法中关节点的旋转四元数位置关系图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

一种融合光学定位与惯性传感的多目标运动捕捉系统，包括目标动作捕捉单元、目标定位单元、数据同步控制单元、数据接收与处理单元，所述目标动作捕捉单元为多个；

目标动作捕捉单元：在数据同步控制单元的控制下，获取目标对象各关节点处的运动数据，并对各关节点处的运动数据进行融合计算，并将计算的结果传输给数据接收与处理单元进行数据处理；

目标定位单元：在数据同步控制单元的控制下，获得各目标对象的准确位置数据，即目标定位点的三维空间坐标数值，并将各目标定位点的坐标数据传输给数据接收与处理单元；

数据同步控制单元：保证上述目标动作捕捉单元和目标定位单元之间数据采集的同步性；

数据接收与处理单元：接收目标动作捕捉单元和目标定位单元传输的各目标对象的姿态数据和坐标位置数据，运用反向运动学方法对各目标对象的姿态数据与坐标位置数据进行融合计算，得到控制三维动画角色运动的完整的运动姿态数据。

其中，目标动作捕捉单元包括多个惯性传感器、节点控制器、无线传输模块和动作捕捉主机，惯性传感器固设在采集节点上，在节点控制器的控制下对节点的运动数据进行采集，并将采集的运动数据通过无线传输模块传输给动作捕捉主机，经动作捕捉主机对采集的运动数据分析后传输给数据接收与处理单元。惯性传感器为三轴加速度传感器、三轴角速度传感器和三轴地磁传感器。目标定位单元包括多台高速摄像机、发光标记点（定位点）、数据网络交互装置和定位主机，在每个目标对象的最大程度无遮挡的部位放置一个发光标记点，通过排布在空间中的多台高速摄像机将各目标对象的运动状况以图像的形式记录下来，然后将记录下来的图像数据通过网络交互装置传输给定位主机进行处理，即定位主机计算识别图像中各发光标记点的运动轨迹，对于空间的任意一个点，只要它能同时至少被两台高速摄像机所采集，则根据同一瞬间两台高速摄像机所拍摄的图像和相机参数，得到该发光标记点在三维空间中的坐标数据。数据同步控制单元包括控制器和无线传输模块，控制器的命令通过无线传输模块传输给目标动作捕捉单元和目标定位单元。数据接收与处理单元包括系统主机和HUB，目标动作捕捉单元和目标定位单元采集的数据经HUB接收后，传输给系统主机。

捕捉的目标对象为人体，并将人体骨骼模型分为17个关键节点。该17个关键节点分别为臀腹关节、左胸肩关节、右胸肩关节、左肩关节、右肩关节、左肘关节、右肘关节、左腕关节、右腕关节、胸颈关节、头颈关节、左腿根关节、右腿根关节、左膝关节、右膝关节、左踝关节和右踝关节，通过上述17个节点来确定人体在空间的位置和朝向。目标定位单元选取人体的头颈关节为定位点，在人体的头颈关节上放置发光标记点。

本发明的技术方案以机械式运动捕捉技术获取人体的运动姿态数据，应用光学定位技术对多目标运动捕捉系统中的各表演者进行三维空间定位，以获取各被捕捉对象的精确坐标位置数据。在系统内部对以上两种数据进行融合计算，得到各被捕捉目标的完整运动姿态，同时，为使系统内各目标的位置信息和运动姿态信息这两种不同源数据的采集具有很好的同步性，系统内部还设有同步控制装置以保证以上两种数据的同步采集。该系统的主要原理如下图1所示：

该系统主要由四个单元组成：目标动作捕捉单元、目标定位单元、数据同步控制单元、数据接收与处理单元

目标动作捕捉单元：

由分布在捕捉对象全身关节点上的多个惯性传感器及控制单元组成，主要作用是在“数据同步控制单元”控制下，利用惯性传感器网络获取人体各关节点处的运动数据(即四元数)，并以无线透传方式传送至工作站进行数据处理。

系统中可包含多个目标动作捕捉单元，每个目标动作捕捉单元负责捕捉一个目标的动作姿态数据。从而实现了多目标运动捕捉与定位功能。

人体运动姿态数据的采集由惯性传感器实现，传感器网络中的每个传感单元都有独立的控制器，多个传感器节点组成传感器网络。将传感器网络的各节点布置在人体待测的特征点上。控制器系统接收到同步控制子系统命令，并及时向各节点控制器发出采集数据的命令，各节点控制器与系统控制器之间利用总线形式进行通信。控制器集中各传感器节点上传的信息，对信息进行分析并作相应处理后输出有效数据，通过无线模块传送至动作捕捉主机。

如图2所示为详细的人体运动姿态数据采集原理，传感器网络的作用主要是获取人体各特征点处的运动姿态数据。系统对人体骨骼模型进行抽象划分，如图3所示，将其抽象出17个关键关节点：臀腹关节、左胸肩关节、右胸肩关节、左肩关节、右肩关节、左肘关节、右肘关节、左腕关节、右腕关节、胸颈关节、头颈关节、左腿根关节、右腿根关节、左膝关节、右膝关节、左踝关节及右踝关节，用来确定人体在世界空间的位置和朝向。

每个关键关节点处均放置一个微机械传感节点，构成传感器网络，如图4所示，图中每个菱形代表传感器网络节点，人体模型头部的黑色实心菱形即代表一个传感器网络节点又代表人体模型根节点，同时也是被捕捉目标在三维空间中坐标位置的代表点(即目标定位子系统中的定位点)。

动作姿态数据主控制器由同步控制模块控制，通过编程实现对各传感器网络节点的控制并获取传感器网络各节点数据；集成无线传输模块实现数据的无线透传。

目标定位单元：

该子系统由高速摄像机、发光的标记点、数据网络交互装置、工作站(定位主机)组成，主要作用是在“数据同步控制单元”控制下，获得各目标对象的准确位置数据，即目标定位点的三维空间坐标数值，并以无线透传方式传送至相应的工作站。该单元对目标对象的位置数据的获得是基于光学式定位技术，首先在每个目标对象的最大程度无遮挡的部位放置一个特制的发光标记点(即定位点)，选择人体头颈关节点作为该定位点。通过排布在空间中的数个高速摄像机将各目标对象的运动状况以图像的形式记录下来，然后利用计算机对这些图像数据进行处理，即利用计算机图像处理技术来计算识别图像中各定位点的运动轨迹，对于空间的任意一个点，只要它能同时至少被两台摄像机所见，则根据同一瞬间两相机所拍摄的图像和相机参数，即可以确定这一时刻该点的空间位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。从而得到不同时间计量单位上不同目标对象的定位点的空间坐标（X,Y,Z)，进而得到各目标对象在三维空间中绝对的坐标位置数据，该多目标运动捕捉系统就实现了对各目标对象运动位置的实时精确定位。

数据同步控制单元：

利用光学定位技术获得捕捉对象的位置数据，利用机械式人体运动捕捉技术获得被捕捉对象的运动姿态数据，为保证所测各运动目标的运动姿态的完整性和逼真度，多目标运动捕捉系统必须对以上两种数据进行同步采集，因此在该系统内部设置了同步控制单元，该单元要由微处理器和无线透传模块（无线传输模块）构成，并同步发出数据采集信号，以保证动作姿态捕捉单元和目标定位单元之间数据采集的同步性。

数据接收与处理单元：

该单元主要由图像处理模块(PC机系统主机)、无线数据接收模块HUB（集线器），在图像处理模块中安装公知的图形化人体运动模型重建软件，各目标对象的姿态数据和坐标位置数据传输至图像处理模块，图像处理模块的软件采用一种解析的反向运动学方法对各目标的动作姿态数据与坐标位置数据进行融合计算，得到控制三维动画角色运动的完整的运动姿态数据。本系统中将人体头颈关节处的传感器节点作为人体运动模型的根节点又作为目标定位单元的定位点，该解析的反向运动学算法将头颈关节点作为根节点，是因为目标定位单元可以实时测得每个目标的根节点在三维空间中的绝对坐标位置数据，因此算法中每个根节点在三维空间的坐标位置数据是已知的，于是，在此前提下算法便可以依次计算求得人体模型的每个节点在三维空间中的准确位移量，从而获得被捕捉目标的完整运动姿态，实现对各目标运动姿态的实时测量。

解析的反向运动学方法直接用公式来求解关节链中每个关节的位置和旋转角度量，求解效率较高。具体方法如下：

首先，对解的存在性进行两种情况的判断，即有解和无解。若起始节点到末端效应器的长度大于关节链的长度，则为无解，否则为有解情况。在有解的情况下,采用逐步简化的方法,先给出解析的方法来确定关节点Pn-1的新位置,从而将n个关节的反向运动学问题转换为n-1个关节的反向运动学问题;依次求解Pn-2、Pn-3、…、P3的位置及其旋转变量,直到剩下的关节个数为3。当n=3时,对其应用解析的反向运动学方法求解即可。

确定关节点Pn-1的新位置和旋转四元数是要解决的关键问题，具体如下：

假设关节链及末端效应器如图5所示,待求的Pn-1′必在以Pn′为球心dn-1为半径的球面上。在此以Pn-1到Pn-1′移动最小为原则来确定Pn-1′。画Pn-1与Pn′的连线,单位化该连线向量,并求出Pn-1′:

n=(Pn-1-Pn′)/|Pn-1-Pn′|

Pn-1′=Pn′+dn-1n

计算起始节点P0到Pn-1′的距离d,如果d<,则所求的Pn-1′位置合法；否则，如图6所示，取起始点P0为球心,以为半径,该球将切以Pn′为球心、dn-1为半径的球为一球冠,则合法的点一定在此球冠上。因此求出的Pn-1′位置可为

Pn-1′=Pn′+dn-1(P0-Pn′)/|P0-Pn′|

求关节Pn-1的旋转四元数,如图7所示。先对向量Pn-1Pn、Pn-1′Pn′作单位化处理,如下:

n1=Pn-1Pn=(Pn-Pn-1)/|Pn-Pn-1|

n2=Pn-1′Pn′=(Pn′-Pn-1)/|Pn′-Pn-1′|

则由向量n1旋转到向量n2的角度a和单位旋转轴e,分别求得

cos(a)=n1·n2，a=argcos(n1·n2)

e=n1×n2/|n1×n2|

则N′的旋转四元数可以表示为

Q=(qx,qy,qz,qw)

其中:qx=sin(a/2)ex,qy=sin(a/2)ey,qz=sin(a/2)ez,qw=cos(a/2)。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种融合光学定位与惯性传感的多目标运动捕捉系统，包括目标动作捕捉单元、目标定位单元、数据同步控制单元、数据接收与处理单元，所述目标动作捕捉单元为多个；

所述目标动作捕捉单元：在数据同步控制单元的控制下，获取目标对象各关节点处的运动数据，并对各关节点处的运动数据进行融合计算，并将计算的结果传输给数据接收与处理单元进行数据处理；

所述目标定位单元：在数据同步控制单元的控制下，获得各目标对象的准确位置数据，即目标定位点的三维空间坐标数值，并将该坐标数值数据传输给数据接收与处理单元；

所述数据同步控制单元：保证上述目标动作捕捉单元和目标定位单元之间数据采集的同步性；

所述数据接收与处理单元：接收上述目标动作捕捉单元和目标定位单元传输的各目标对象的姿态数据和坐标位置数据，运用反向运动学方法对各目标对象的姿态数据与坐标位置数据进行融合计算，得到控制三维动画角色运动的完整的运动姿态数据；

其特征在于，所述目标动作捕捉单元包括多个惯性传感器、节点控制器、无线传输模块和动作捕捉主机，所述惯性传感器固设在采集节点上，在节点控制器的控制下对节点的运动数据进行采集，并将采集的运动数据通过无线传输模块传输给动作捕捉主机，经动作捕捉主机对采集的运动数据分析后传输给数据接收与处理单元。

2.根据权利要求1所述的融合光学定位与惯性传感的多目标运动捕捉系统，其特征在于，所述惯性传感器为三轴加速度传感器、三轴角速度传感器和三轴地磁传感器。

3.根据权利要求1所述的融合光学定位与惯性传感的多目标运动捕捉系统，其特征在于，所述目标定位单元包括多台高速摄像机、发光标记点（定位点）、数据网络交互装置和定位主机，在每个目标对象的最大程度无遮挡的部位放置一个发光标记点，通过排布在空间中的多台高速摄像机将各目标对象的运动状况以图像的形式记录下来，然后将记录下来的图像数据通过网络交互装置传输给定位主机进行处理，即定位主机计算识别图像中各发光标记点的运动轨迹，对于空间的任意一个点，只要它能同时至少被两台高速摄像机所采集，则根据同一瞬间两台高速摄像机所拍摄的图像和相机参数，得到该发光标记点的坐标位置数据。

4.根据权利要求1、2或3或所述的融合光学定位与惯性传感的多目标运动捕捉系统，其特征在于，所述数据同步控制单元包括控制器和无线传输模块，所述控制器的命令通过无线传输模块传输给目标动作捕捉单元和目标定位单元。

5.根据权利要求4所述的融合光学定位与惯性传感的多目标运动捕捉系统，其特征在于，所述数据接收与处理单元包括系统主机和HUB，所述目标动作捕捉单元和目标定位单元采集的数据经HUB接收后，传输给系统主机。

6.根据权利要求5所述的融合光学定位与惯性传感的多目标运动捕捉系统，其特征在于，所述捕捉的目标对象为人体，并将人体骨骼模型分为17个关键节点。

7.根据权利要求6所述的融合光学定位与惯性传感的多目标运动捕捉系统，其特征在于，该17个关键节点分别为臀腹关节、左胸肩关节、右胸肩关节、左肩关节、右肩关节、左肘关节、右肘关节、左腕关节、右腕关节、胸颈关节、头颈关节、左腿根关节、右腿根关节、左膝关节、右膝关节、左踝关节和右踝关节，通过上述17个节点来确定人体在空间的位置和朝向。

8.根据权利要求7所述的融合光学定位与惯性传感的多目标运动捕捉系统，其特征在于，所述目标定位单元选取人体的头颈关节为定位点，在人体的头颈关节上放置发光标记点。