CN101533527B

CN101533527B - 基于时空搜索数据处理的光学运动捕捉数据处理方法

Info

Publication number: CN101533527B
Application number: CN2009100112260A
Authority: CN
Inventors: 张强; 吴升; 魏小鹏
Original assignee: Dalian University
Current assignee: Dalian University
Priority date: 2009-04-18
Filing date: 2009-04-18
Publication date: 2011-05-11
Anticipated expiration: 2029-04-18
Also published as: CN101533527A

Abstract

本发明公开了基于时空搜索数据处理的光学运动捕捉数据处理方法。该方法基于光学人体运动捕捉散乱数据的时空信息，提出了时空搜索数据处理算法。由于光学运动数据采集频率高，运动数据的前后帧之间在时间轴上成平滑线性关系，人体骨架关系的约束使得各帧数据在空间位置上遵循一定的拓扑关系。时空搜索数据处理算法合理地利用了运动数据时间轴上的线性关系和空间位置上的拓扑关系作为约束条件，有效地对三维运动数据进行了预测和跟踪，并对噪声数据进行去噪处理，对缺失运动数据提出基于刚体的补点算法，进行合理的补缺。本发明的有益效果是，在处理过程中无需人工干预，并能满足实时性要求。提高了匹配效率。

Description

基于时空搜索数据处理的光学运动捕捉数据处理方法

技术领域

本发明涉及光学人体运动捕捉散乱数据处理，特别是对于单由运动数据的形状匹配处理或单由时间轴上的数据跟踪处理所造成的失配和误差累积问题的技术和方法。

背景技术

随着虚拟产业的飞速发展，运动捕捉已日趋成熟，已经成为目前广泛使用的能够真实地再现人体运动细节的方法。该方法在电影制作、虚拟现实、运动医学、机器人控制、游戏制作等方面有着广泛的应用前景。人体运动捕捉可以分为：电磁式运动捕捉、机电式运动捕捉和光学运动捕捉。光学运动捕获是较为精确的一种，在人体关节点涂抹一种特殊的反光材料作为标记点，利用多个摄像机从不同角度拍摄，然后利用软件分析图像上标记点的图像坐标，利用计算机视觉原理进行三维重建，得出标记点的运动数据。光学运动捕捉系统的关键技术主要有三方面：摄像机标定、标记点跟踪和三维重建技术。

利用光学运动捕捉的数据有以下三个特点：1采集到的信息仅有Marker点的三维坐标信息，数据以散乱无序的形式存在；2由于标记点被道具、四肢、躯干或者其他标记点遮挡，存在缺失点数据；3由于摄像延迟会出现噪声点。因此数据后续处理运算复杂度较大，如何剔除噪声点弥补缺失点对运动数据进行有序标定并满足实时性要求是光学运动散乱数据处理的核心内容。

本发明提出一种基于时空搜索数据处理和基于刚体的补点方法，有效地解决了单由运动数据的形状匹配处理或单由时间轴上的数据跟踪处理所造成的失配和误差累积问题。本方法有效地利用了散乱数据各点、各帧之间的关联信息，单帧数据处理耗时满足运动捕捉的实时性要求，并且在处理过程中无需手工干预自动完成。

发明内容

本发明的目的在于：提出了一种用于被动式光学人体运动捕捉数据方法，该方法通过利用运动数据的前后帧之间在时间轴上成平滑线性约束关系和各帧数据在空间位置上遵循一定的拓扑约束关系。有效地对三维运动数据进行了预测和跟踪，并对噪声数据进行去噪处理，对缺失运动数据提出基于刚体的补点算法，进行合理的补缺。以此来提高运动数据处理的效率和精度。该方法在处理过程中无需人工干预，并能满足实时性要求。

本发明的技术方案是：基于时空搜索数据处理的光学运动捕捉数据处理方法，包括如下步骤：

1)建立人体几何模型和确立人体标记点摆放方式，导入人体模型和参数；

2)建立人体生理结构分块模型。导入人体生理结构分块模型参数；

3)建立具有人体运动学约束的树形人体结构骨架模型；

4)利用当前帧的前几帧一匹配刚体结合二次Lagrange插值函数和人体运动学原理，预测当前刚体大致空间位置；

5)建立一种改进的刚体匹配模型。处理在运动过程中，当肌肉和皮肤发生比较大的变化和捕获数据滞后而导致的刚性结构被破坏问题，改进的刚体匹配模型能够合理地还原数据到模版结构，达到数据的精确跟踪匹配，调用改进刚体匹配方法进行刚体匹配；

6)建立基于刚体的补点算法模型。在以上步骤的约束下进行运动数据的跟踪匹配处理，检查是否成功匹配，对未成功匹配的数据调用基于刚体的补点算法进行补点处理；

7)对每帧跟踪匹配后的运动数据进行结构校验，得到最终的标定数据；

8)将成功标定的运动数据按照读入的格式写入数据文件。

所述的步骤4)中利用二次Lagrange插值多项式原理进行范围预测方法为：处理方法自顶向下，首先查询根节点，然后由根节点预测子节点范围，在此范围内进行形状匹配查询该子节点，类推直到所有节点遍历完结束。

所述的步骤5)中还原不同模块数据点的刚体结构的方法是：手部由空间四边形ABCD构成，但在运动过程中，由于手指的弯曲会导致空间四边形ABCD发生形变，表现在几何上就是由三角形ABC和三角形CBD之间二面角的变化，匹配手部的方法是把手部、肩部和脚部看成一个固定的刚体四边形。具体包括以下技术环节：

1.数据采集

本专利所述方法针对被动式光学运动捕捉系统，数据采集设备为大连东锐软件有限公司自主研发的DVMC-8820运动捕捉系统，数据采集现场环绕布置32台摄像机，采集频率为60帧/秒。表演者为专业舞蹈演员，演员身体关键部位和关节处放置Marker点，在摄像机可见范围内作出一系列具有代表性的表演动作。

该人体模型为16刚体：头部、上躯干、下躯干、骨盆、左上臂、左前臂、左手、左大腿、左小腿、左脚、右上臂、右前臂、右手、右大腿、右小腿、右脚，由三十二个标记点描绘，基本上表达了人体的运动变化，其Marker点标记方式如图1。

2.建立具有人体运动学约束的树形人体结构骨架模型

人体运动系统由骨、骨连接和骨骼肌通过运动关节组成，运动中各骨骼的长度和形状是不变的，身体各部分通过关节联系在一起在神经系统的调节和其他系统的配合下相互驱动形成运动。由人体运动力学原理可知在运动中各关节点的自由度是不同的并且子节点受动于父节点，由此我们在进行跟踪时可以利用人体运动学原理进行约束跟踪。形结构体骨架模型如图3所示。结合本采集的数据特征，规定：腰关节点坐标为标记点19、20、21、22四点平均点，胸关节坐标点为标记点5、6、7、8四点的平均点，左、右膝关节点坐标分别为标记点28、23的坐标，颈肩关节点坐标为标记点5、9、8、14四点的平均点，左、右踝关节点坐标分别为标记点29、30、31、32，24、25、26、27的坐标平均点，左、右肘关节点坐标分别为标记点15、16、17、18，10、11、12、13的坐标平均点，头关节点坐标为标记点1、2、3、4四点的平均点。根节点为腰关节点p，根节点具有平动和转动，其他局部节点绕其父节点转动。

3.利用二次Lagrange插值多项式原理进行范围预测

处理方法自顶向下，首先查询根节点，然后由根节点预测子节点范围，在此范围内进行形状匹配查询该子节点，类推直到所有节点遍历完结束。例如当预测胸关节的坐标范围时，利用已求得的腰关节位置，在腰关节的局部坐标系下，根据胸关节相对于腰关节的相对局部坐标求出胸关节的全局坐标。

预测当前帧数据位置时，要用到前三帧已匹配的数据信息。提出利用二次Lagrange插值多项式的方法预测每一刚体的大致位置，从而缩小搜索空间，有利于随后的刚体匹配。

令：p_i(A_i，T₁)，i＝0，1，2，3.A_i代表三维点(x_i，y_i，z_i)，T_i代表点A_i所在的时间帧。利用前三帧已处理数据p₁、p₂、p₃运用二次Lagrange插值多项式预测出当前点的坐标。

Lagrange插值多项式的基函数为：

L₀(x)＝(x-x₁)(x-x₂)/(x₀-x₁)(x₀-x₂)

L₁(x)＝(x-x₀)(x-x₂)/(x₁-x₀)(x₁-x₂)

L₂(x)＝(x-x₀)(x-x₁)/(x₂-x₀)(x₂-x₁)

二次Lagrange插值多项式为：L(x)＝T₀*L₀(x)+T₁*L₁(x)+T₂*L₂(x)

4.改进的刚体匹配

人体骨骼结构为相对刚性铰链结构，标记点是帖在个关节点上的，理想状态下标记点的三维信息也应该满足刚体结构，我们可以运用刚体相对位置的拓扑结构如直线、三角形、四边形和四面体来进行刚体匹配。但在运动过程中，当肌肉和皮肤发生比较大的变化和捕获数据滞后时会破坏数据点的刚体结构。因此如何还原数据点的刚体结构是刚体匹配的重点难点问题。

根据一般人体刚性结构和实际需求把人体拆分为以下几部分，如图4所示。由图分析，人体刚体结构一般有两种几何图形：三角形和四边形。显然四边形要比三角行包含的信息多，而在空间中任意三点都能构成一个三角形，当人体运动出现一些较复杂的动作时，如蹲、抱头、触摸等Marker点会相互交织，这样以来仅用三角形信息进行匹配很容易出现误配现象，一旦误配会导致其它的形状难以匹配和动作的变形，基于这个问题本专利提出合并骨架的思想，把人体骨架分为几部分，使这些骨架尽可能满足四边形形状或能合理地转化成四边形形状，然后进行分模块近似刚体匹配。根据人体结构和标识点的帖位，把人体分为：头部、肩部、胸部、腰部、手部、大腿部和脚部七大模块。由图4分析，头部、腰部和胸部已经很近似刚体四边形，在实验中对这两部分的数据跟踪也十分容易实现，主要的问题是其它四个模块，由于这四个模块是运动特征的主要表现者，在运动过程中会出现局部变形，因此我们对这四模块进行特殊话处理。

4.1手部

手可有空间四边形ABCD构成，但在运动过程中，由于手指的弯曲会导致空间四边形ABCD发生形变，表现在几何上就是由三角形ABC和三角形CBD之间二面角的变化，而线段AB、AC、CD、BD的长度不会发生大的变化。如图5，匹配手部的方法是把手部看成一个固定的刚体四边形，从图5看很显然手部不是刚性的，假如我们以CB为轴，让D点绕轴旋转直到使D点在有ABC三点确定的面上且在三角形ABC外部。那么图5中的2、3经过旋转后会变为图5中的1一样的形状。进行手部模块匹配时的约束条件是：求出模版手(图4中1)情况下，线段AB、AC、CB、CD、BD、AD的长度，在散乱的运动数据中找到这样的四个点A₁、B₁、C₁、D₁，求点D₁通过上面的方法旋转得到的点D₁₁，使得A₁B₁＝AB、A₁C₁＝AC、C₁B₁＝CB、C₁D₁₁＝CD、B₁D₁₁＝BD、A₁D₁₁＝AD。根据具体情况可设置一定的误差范围进行约束协调。

4.2肩部

对于肩部的情况可以用同样的方法，见图6，图6.1表示两手臂伸直且垂直于胸部状态，6.2表示两手臂都下垂状态，6.3表示两手臂都高举状态，6.4表示有一手臂高举状态。

4.3脚部

对于脚部的情况亦可用此方法，但考虑到脚部的结构还是相对稳定的，很少出现和其他部位交叉的现象，对其影响最大的是两只脚之间的相互交叉现象。当标号24和29的位置相近时，有可能把29跟踪为24，造成了误配，基于这种考虑我们做一个简化的处理，如图7：在面BCD上求点A的射影点A₁，那么有A₁BCD组成的四边形可近似地看为刚体进行形状匹配，实验结果显示此方法效率高匹配效果好。

4.4大腿部

在腰部得到匹配后，大腿部和其组成一个刚体三角形结构，进行三角形匹配。

5.基于刚体的补点算法

在进行形状匹配时，如果刚体中有缺失点，会导致此刚体得不到匹配，有可能连带其他未缺失数据也得不到匹配，从而降低匹配率并影响下一帧此刚体的匹配。本专利提出的基于刚体的补点算法要求刚体中不能缺点太多，例如腰部的四个点，只有在缺一点的情况下才能得到匹配补点。以腰部刚体为例，具体方法如下：

步骤1：腰部在缺少一个点的时候，仍然是一个刚体结构，是一个三角形结构，设p₁、p₂、p₃、p₄分别对应腰部的四个点标号19，20，21，22。那么在有三个点的情况下会产生四种三角形情况：p₁p₂p₃，p₁p₂p₄，p₂p₃p₄，p₁p₃p₄。我们首先在散乱数据中找到满足这四个中的一个，如果未找到说明缺点多于一个，算法结束。如果找到，例如找到的是p₁p₂p₃三点，转到步骤二进行p₄的补点。

步骤2：用已经选好的模版数据，组成腰部刚体的四个点分别是：x₁，x₂，x₃，x₄分别对应腰部的四个点标号19，20，21，22。在步骤一中找到的三点是p₁p₂p₃，把点x₁平移到点p₁的矩阵是A₁，则经过A₁的旋转后x₁，x₂，x₃，x₄变为x₁₁，x₂₁，x₃₁，x₄₁，其中x₁₁与p₁重合；把点x₂₁平移到点p₂的矩阵是A₂，则经过A₂的旋转后x₂₁，x₃₁，x₄₁变为x₂₂，x₃₂，x₄₂，其中x₂₂与p₂重合；设把点x₃₂平移到点p₃的矩阵是A₃，则经过A₃的旋转后x₃₂，x₄₂变为x₃₃，x₄₃，其中x₃₃与p₃重合。

步骤3：经过三步平移旋转后当前帧刚体和模版帧刚体重合，显然点x₄₃就是我们所要求的点p₄，从而精确无误地补上所缺点。对于其它部位刚体补点方法雷同不再详述。

6.基于时空搜索数据处理的运动数据预测与跟踪算法

在进行刚性匹配或是进行基于人体运动学原理的标记点跟踪时，会出现以下问题：由于没有其它约束条件的约束，在进行匹配时为了取得匹配成功会加大误差系数，而且误差系数一旦设定对于自动匹配的程序来说将不再改变，从而导致可能会有多个匹配结果；由于遮挡等原因，会出现缺点现象，如何合理的补点成为问题。基于模块特征统计算法，会在提高精度和利用已匹配的统计结果分段拟合出曲线方程，利用曲线方程进行缺点插值将很合理。模块分段归纳统计算法另一个优势在于，归纳结果是按照分模块进行，我们在进行运动数据预测与跟踪时可以根据模块在时间轴上的变化幅度设定匹配优先度，幅度小者先匹配原则。当然每帧匹配后要进行结构校验。详细步骤：

步骤1：手动处理前三帧数据，作为模版数据。

步骤2：数据预处理，针对噪声数据如幻点(由于摄像机的延迟导致的一个关节点记录多于一个数据的情况)，利用幻点之间距离近的特点进行去噪处理。

步骤3：建立人体树状模型数据结构：树节点类，递归初始化树形结构。

步骤4：利用当前帧的前几帧一匹配刚体结合二次Lagrange插值函数和人体运动学原理，预测当前刚体大致空间位置。

步骤5：在步骤4中预测的范围内，结合4节提到的一种改进刚体匹配方法进行刚体匹配，并根据运动学原理进行结构效验。如匹配成功，把匹配的节点数据从散乱数据中删除，以不影响其它刚体的匹配。如匹配不成功转向步骤6.

步骤6：对未匹配的刚体，认为缺点所导致，调用基于刚体的补点算法进行补点操作，完成匹配。

本发明与现有技术相比具有以下优点：

1、本发明提出的时空搜索数据处理算法，更加合理有效地利用了三维数据点之间的信息。有效地解决了单由刚体匹配所导致的误配现象和单由前后帧之间的关系进行跟踪所导致的误差累积现象。

2、提出的基于刚体的补点算法不仅精确地弥补缺失点，而且大大地提高了匹配效率，使得数据自动处理，无需人工调整，满足实时性要求。

附图说明

图1本发明算法流程图。

图2标记点摆放方法。

图3树形人体骨架结构。

图4人体拆分结构图。

图5手部状态图。

图6肩部状态图。

图7脚部状态图。

图8系统实现结果，上图是散乱数据下图对应处理数据。

具体实施方式

下面通过具体的实施方式对本发明的方法做进一步说明。

在一个实施例中，本发明的基于模块分段线性模型的人体运动光学捕捉数据处理是在一台CPU主频为2.8GHz，内存为1G的计算机上实现，该计算机采用Windows XP操作系统。实例选取一组体操运动进行验证，运动人体标记点的贴点方式如图2所示，标记点个数为32，采样频率60fps。

具体实施步骤为：

步骤1：采集原始数据。原始数据存储格式如下：

FRAME1

MK1 -72.833487 -6.4336454 164.089618

MK2 -83.1846355 -34.9390373 140.8892545

MK3 -65.8305848 8.2243241 99.080741

MK4 -71.1568802 -41.3193921 88.5589882

MK5 -89.3190698 -34.4957468 47.3119536

MK6 -70.9234899 1.0339106 3.557194

FRAME2

其中FRAMEn表示为第n帧数据

MKm表示第m个特征标记点，随后的三个数分别表示其x，y，z坐标，单位cm。

步骤2：载入运动数据。

步骤3：数据载入后，建立树形人体骨架结构模型，完成运动数据世界坐标和局部坐标的转化。

步骤4：建立人体分块模型。拓扑结构上相近和在生理结构上相关的原则，把人体骨架拆分为七大模块。并导入模板参数。

步骤5：数据预处理。针对噪声数据如幻点(由于摄像机的延迟导致的一个关节点记录多于一个数据的情况)，利用幻点之间距离近的特点进行去噪处理。

步骤6：利用当前帧的前几帧一匹配刚体结合二次Lagrange插值函数和人体运动学原理，预测当前刚体大致空间位置。

步骤7：调用改进刚体匹配方法进行刚体匹配。

步骤8：在步骤6-7的约束下进行运动数据的跟踪匹配处理，检查是否成功匹配，对未成功匹配的数据调用基于刚体的补点算法进行补点处理。

步骤9：进行结构校验，检查左右肢体是否颠倒，人体整体结构是否合理等。

步骤10：通过步骤6-9，循环处理所有帧数据。

步骤11：处理后的运动数据输出，以文件形式输出，数据格式为：

FRAME1

MK1 -70.9234899 1.0339106 3.557194

MK2 -92.3550745 2.4693848 8.6305617

MK3 -89.3190698 -34.4957468 47.3119536

MK4 -80.6494206 6.5291331 1.8305233

MK5 -73.2634378 18.9424266 87.9340281

MK6 -84.9055888 2.997319 46.607917

MK7 -85.0722076 8.7370353 138.5120934

FRAME2

其中FRAMEn表示为第n帧数据，具体帧数和原始数据一样。

MKm表示第m个特征标记点，随后的三个数分别表示其x，y，z坐标，单位mm。在本专利中数据处理后m的最大值固定为32，与原始数据对比对应值不变，变化的是原始数据中每帧数据可能不为32个。且标记点顺序与模板中标记点顺序一致。

本专利选取一些有代表性的运动来验证所提方法的有效性，把运动按动作幅度和在运动过程中肢体之间的遮挡情况进行分类，并统计不同运动的单帧耗时情况。处理结果显示准确处理率根据动作复杂度不同分布在70％-100％之间。对于一般交叉较少且运动幅度不大的常规数据，例如慢走、慢跑、踢腿等运动成功匹配率能达到90％以上；对于有部分交叉(标记点受到遮挡)或者运动幅度变化较快的运动，例如跳远运动、上楼梯运动、跳绳运动等成功匹配率能达到85％左右；对于运动中肢体遮挡较多特别是连续遮挡时或者运动幅度变化尖锐时，例如投掷运动和俯卧撑运动成功匹配率保持在70％以上。由于运动数据处理的应用需要，数据处理效率要满足实时性要求，该算法经过优化后自动递归处理，无需手动调整参数高效合理充分地运用数据信息，数据处理算法效率高，经测试，对于以每秒60帧采集的散乱数据，单帧数据处理过程耗时t＜1/60s，每帧处理耗时相近，处理效率能够满足实时性要求。具体数据匹配率及单帧耗时如表一所示。图8为系统进行数据处理效果的界面截图，分别显示了散乱数据和对应的处理结果。

表一：各组运动数据实验结果

运动数据	总帧数	准确定标率	单帧耗时(ms)
				慢走	300	100％	5.9
快跑	290	90％	6.7
				弯腰	250	92％	8.5
跳远运动	270	82％	8.8
				踢腿运动	295	90％	6.4
跳绳运动	273	80％	8.3
				投掷运动	260	76％	10.6
上楼梯运动	275	85％	8.6
				俯卧撑运动	266	73％	12.9

Claims

1.基于时空搜索数据处理的光学运动捕捉数据处理方法，其特征在于，包括如下步骤：

2)建立人体生理结构分块模型，导入人体生理结构分块模型参数；

3)建立具有人体运动学约束的树形人体结构骨架模型；

5)建立一种改进的刚体匹配模型，处理在运动过程中，当肌肉和皮肤发生比较大的变化和捕获数据滞后而导致的刚性结构被破坏问题，改进的刚体匹配模型能够合理地还原数据到模版结构，达到数据的精确跟踪匹配，调用改进刚体匹配方法进行刚体匹配；

6)建立基于刚体的补点算法模型，在以上步骤的约束下进行运动数据的跟踪匹配处理，检查是否成功匹配，对未成功匹配的数据调用基于刚体的补点算法进行补点处理；

8)将成功标定的运动数据按照读入的格式写入数据文件。

2.根据权利要求1所述的基于时空搜索数据处理的光学运动捕捉数据处理方法，其特征在于，所述的步骤4)中利用二次Lagrange插值多项式原理进行范围预测方法为：处理方法自顶向下，首先查询根节点，然后由根节点预测子节点范围，在此范围内进行形状匹配查询该子节点，类推直到所有节点遍历完结束。

3.根据权利要求1所述的基于时空搜索数据处理的光学运动捕捉数据处理方法，其特征在于，所述的步骤5)中还原不同模块数据点的刚体结构的方法是：手部由空间四边形ABCD构成，但在运动过程中，由于手指的弯曲会导致空间四边形ABCD发生形变，表现在几何上就是由三角形ABC和三角形CBD之间二面角的变化，匹配手部的方法是把手部、肩部和脚部看成一个固定的刚体四边形。