CN101520902A - 低成本动作捕捉与演示系统及方法 - Google Patents

Abstract

本发明涉及一种低成本动作捕捉与演示系统及方法。表演者身穿一套具有关节标志点的演示服，该演示服以黑色为底色，在各主要关节处绑上不同颜色的色带作为标志点，双CCD摄像头采集到表演者运动图像信息后，所获得的数据经图像采集卡直接传递给嵌入式处理器，嵌入式处理器利用自适应算法动态捕捉标志点，通过双目立体视觉技术，计算出标志点的三维坐标存储在数据库中，根据数据库中的坐标在显示器上实现骨架模型重现及三维动画重现，直观地展现系统采集到的标志点当前位置，方便调试及演示。

Description

低成本动作捕捉与演示系统及方法

技术领域

本发明涉及一种根据双目视觉技术设计开发的低成本动作捕捉与演示系统及方法，利用两个摄像机动态捕捉表演者的运动状态，并使用三维动画模型实时演示表演者的动作。

背景技术

动作捕捉技术出现于20世纪70年代，当时迪斯尼公司期望捕捉演员的动作以改进动画制作效果。当计算机技术刚刚得到大规模应用，纽约计算机图形技术实验室的Rebecca Allen就设计出一些光学装置作为动画制作的参考，演员的表演姿势可以被投射在计算机屏幕上。随着计算机软硬件技术的飞速发展和动画制作要求的提高，动作捕捉技术吸引了越来越多的研究人员和开发商的目光，并从试用性研究逐步走向实用化。到现在，市场上大量涌现各种同类别不同特点动作捕捉系统。但是一套动作捕捉及演示设备往往价格上百万，令个人用户及相当一部分企业望而却步，本设计正是基于Intel Core Duo处理器的EC5-1719CLDNA(嵌入之星)的系统平台，开发出一套低成本动作捕捉及演示系统。

本系统可以应用于宣传展示动画制作，支持家庭个人娱乐。动作捕捉系统所获得的表演者运动状态也可以直接应用于其它如动作模拟、生物学研究、人体工程学等领域。

发明内容

本发明的目的是解决现有动作捕捉设备成本高，设计方法复杂的特点，开发了一套面向用户的低成本动作捕捉与演示系统及方法。

为达到上述目的，本发明的构思是：

动作捕捉技术是实时实地捕获表演者的动作，转化为数字化的“抽象运动”。动作捕捉的实质就是要跟踪物体在三维空间中的运动轨迹。在动作捕捉系统中，并不需要捕捉表演者身上每一处位置，只需要捕捉表演者身上若干个关键点的运动轨迹，再根据模型中各部分的物理、生理约束就可以合成最终的运动画面。

目前，最自然最基础的方法是仿照人眼，设立两个观察点，即双目视觉。从两个观察点同时将三维物体二维化以得到双目图像，对图像中目标及其属性的分析，能够得到该图像三维环境的表述，并能够恢复三维信息。在动作捕捉中另一个关建技术是立体匹配，即如何确认左摄像机与右摄像机所跟踪的是同一目标，而本发明采用在表演者身上绑定不同颜色的色带作为标志点，可以解决这个问题。

根据上述发明构思，本发明采用下述技术方案：

一种低成本动作捕捉与演示系统，包括表演者、摄像机和显示器，其特征在于：所述表演者身穿具有关节标志点的演示服；所述摄像机为双CCD摄像机，其摄像头对准表演者；所述双CCD摄像机的输出经一个图像采集卡连接到一个嵌入式处理器；所述双摄像机捕捉到的运动图像通过所述图像采集卡传输到所述嵌入式处理器；所述嵌入式处理器连接一个数据库和一个显示器；所述嵌入式处理器将实时表演者关节处数据保存到所述数据库，同时，将处理后的结果在所述显示器上演示。

上述表演服以黑色为底色，在14个主要关节处绑上不同颜色的色带作为标志点；所述14个主要关节处为：腰关节、颈关节、左\右肩关节、左\右肘、左\右腕、左\右腿跟关节、左\右膝、左\右踝。

上述双CCD摄像机放置在相对固定位置相对距离50cm±5cm。

一种低成本动作捕捉与演示方法，采用上述系统进行捕捉和演示，其特征在于：操作步骤如下：

第一步骤，对动作捕捉与演示系统进行初始化。

第二步骤，所述嵌入式处理器计算出各关节处色带中心位置二维数据；

第三步骤，所述嵌入式处理器比较所述双CCD摄像机传输的数据，计算出各关节处色带中心位置的三维数据；

第四步骤，所述嵌入式处理器将所述的关节处色带中心位置三维数据存储到所述数据库中；

第五步骤，所述嵌入式处理器将所述存储的数据显示于所述显示器。

上述初始化包括对所述双CCD摄像机的标定。

上述第五步骤将存储的数据以骨架姿态模型和三维动画模型两种形式同时显示于所述显示器。

本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：

(1)成本低廉，设备简单，易于普及，有较大升级空间。本发明使用的设备主要有嵌入式主板，两台CCD摄像机、图像采集卡和显示器。相比同类产品动辄几十万以至百万的价格，具有很大优势。

(2)演示条件简单，使用被动光学捕捉系统。彻底取消了市场上出现的电磁式，机电式等捕捉系统复杂，沉重的演示装备。演示者只需站在黑色幕布前，穿上黑色为底，缀有色带的演示服即可表演，方便快捷。

(3)适应条件好，本发明利用统计模型跟踪标志点，对光照变化有一定的鲁棒性，具有一定的环境适应性，不用特意控制光照等条件。使用的场合较广，无论公众场合，或是私人家庭娱乐，本系统都可以得到应用。

附图说明

图1是表示本发明的一个实施方式中的动作捕捉系统的结构框图。

图2是表演者关节模型标志点分布图。

图3是算法主流程图。

图4色带中心三维坐标获取流程图。

图5是骨架结构的二叉树模型。

图6是三维模型重现流程图。

表1是人体关节运动范围。

具体实施方式

下面，参照附图详细说明本发明的一个优选实施例：

参见图1，本低成本动作捕捉与演示系统构成具备以下部分：安装在相对固定位置上(相对距离50cm±5cm)的两台CCD摄像机1L、1R；通过DH-VT121图像采集卡2将摄像机采集的图像传递给EC5-1719CLDNA嵌入式处理器3，保存实时关节点数据的数据库4，嵌入式处理器3提取数据库中关节点重现人体姿态模型和三维动画人物姿态于显示器5。

标志点：表演者6身穿特制的纯黑表演服，在服装上合理位置处绑定14块不同颜色的色带，作为标志点。色带绑定关节位置如图2所示。把人体的运动看成这些关节点所带动的骨骼运动，只要捕捉这些关节点的运动，就可以确定骨架的运动。由此来确定表演者当前的运动状态，降低了对硬件捕捉信息速度的要求，提高了捕捉信息的抗干扰性，并在一定程度上保证了捕捉信息的精度和数据转换速度，提高了重构质量，并满足了实时性的要求。

图3是本发明方法的算法主流程图，算法的实现在嵌入式处理器3中完成。

以下作进一步详细说明：本低成本动作捕捉与演示方法是采用上述系统进行的，具体操作步骤如下：

第一步骤，对动作捕捉与演示系统进行初始化。

第二步骤，所述嵌入式处理器3计算出各关节处色带中心位置二维数据；

第三步骤，所述嵌入式处理器3比较所述双CCD摄像机1L、1R传输的数据，计算出各关节处色带中心位置的三维数据；

第四步骤，所述嵌入式处理器3将所述的关节处色带中心位置三维数据存储到所述数据库中；

第五步骤，所述嵌入式处理器3将所述存储的数据显示于所述显示器5。

初始化：对CCD摄像机1L、1R进行标定，标定一个双目立体系统的方法有好几种。首先，标定每个摄像机，以确定摄像机常数、主点位置、透镜形变的修正表以及它固有的参数，完成标定后，使用立体系统中的摄像机有三种方法：

(1)求解相对定位问题，并通过其他的方法确定基线。例如：使用立体摄像机测定已知距离的一个点，从而实现两个摄像机之间的刚体变换标定。

(2)求解相对定位问题，并得到任意测量系统中的点在单位基线距离意义上的测量值。除了比较系数为未知系数外，所有点测量值都可以得到修正，甚至在未知距离单位的情况下，距离比值和角度也可以得到修正。

(3)求解每个立体摄像机的外部定位问题，从而实现从左、右摄像机坐标系到绝对坐标系的变换。

本实施方式例中采用了上述的第一种方法。

自适应跟踪算法：本发明采用了自适应中心跟踪算法确定色带中心，自适应中心算法的具体实时步骤是：

(1)将图像的R、G、B(红色、绿色、蓝色)依次进行适当的分层，然后将所有的像素点统计到相应的子层中。

(2)对每个色带，找出其属于的子层，计算该层的质心，并初步认为质心在色带内，或色带附近。

(3)以质心为中心，半径为R对图像扫描来查找颜色RGB值与已标志好的色带RGB值在颜色空间距离小于阈值T1的所有像素，并进行统计。R和T的值由所属色带RGB确定。

(4)判断当前帧中备选像素点与上帧色带中心位置的距离是否小于阈值T2，大于T2的值被排除。T2的值由所属色带RGB确定。

(5)判断剩下的备选像素点离本色带主色的颜色空间距离是否小于离其它任意一个色带主色的距离，是则排除该点。

(6)求取剩余备选像素点RGB均值作为备选更新色带中心值，在进入下一帧处理的时候进行判断，如果符合以下条件则将色带中心值更新。

具体条件为：如果下一帧通过色带主色RGB值计算得到的中心跟上一帧的备选更新色带中心值之差小于阈值T3，则更新为色带主色；或者下一帧用色带主色RGB值识别不到中心，而备选更新色带中心值可以识别到中心，则更新色带主色。T3的值由所属色带RGB确定。

(7)进入下一帧循环。

色带中心三维坐标确定：通过双目视觉原理求取色带中心点深度信息，从二维图像获得色带中心点的三维数据，色带中心点的三维数据作为关节点数据存储到数据库4中。色带中心三维坐标求取流程图如图4所示。

三维动画演示：包括骨架姿态重现和三维动画重现，完成最后的效果展示。骨架姿态重现模块由OpenGL实现骨架模型姿态重现，直观地展现了表演者的各个标志点位置，三维动画重现则由3ds max来实现，特制的动画模型可以实时地跟随表演者运动。

OpenGL是SGL公司开发的一套高性能的图形处理系统，是图形硬件的软件界面，GL即代表图形库(Graphics Library)。在实时的三维仿真领域，由于其对环境及实体的渲染达到了高度逼真的视觉效果，从而显示出强大的生命力。

3ds max是Autodesk公司开发的一套应用广泛的三维建模、动画渲染软件，可以完全满足制作高质量动画、最新游戏、设计效果等领域的需要。

重现骨架姿态模型的顺序如图5所示。表演者可以被看成多个刚体的连接，而关节处则被看成是有自由度限制的球体。为了进行有效的控制，需要建立至少两个坐标系，即固定不动的全局坐标系和原点变化的每个关节上的局部坐标系。采用运动捕捉数据直接驱动的方法，即运动捕捉数据的空间坐标赋给三维模型，经过三维模型骨架本身的刚体约束修正数据后，让模型根据修正的数据运动。为了避免误差产生的影响，在姿态重现部中添加了关节生理约束，即人体的生理结构决定骨骼上关节的动作活动范围与角度的限制，人体关节运动范围如表1所示。

表1

根据约束对标志点空间坐标进行有效性判别，越界则自动修正。约束算法的实现过程如下：

1.给定某父关节及子关节位置，可以求得关节的旋转角度

。

2.判断该旋转角度氏是否超出关节的活动范围

。如果没有超出该关节的活动范围，则取即可。否则，取

或

。

三维动画重现实现流程如图6所示，利用人体骨骼中14个主要关节点，并把人体的运动看成这些关节点的运动，运动捕捉时只要捕捉这些关节点的运动，对骨骼关键点进行旋转，位移，缩放，插值等操作。就可以确定骨架的运动。通过对骨架的设置进行改进，降低了对硬件捕捉信息速度的要求，提高了捕捉信息的抗干扰性，并在一定程度上保证了捕捉信息的精度和数据转换速度，提高了重构质量，并满足了实时性的要求。

三维动画重现的关键算法包括：骨骼约束和关键帧差值。

骨骼约束：模型内部骨骼必然是刚体结构，各自长度严格固定，骨骼之间是由关节链接，关节分成两部分，腰部以下共七个节点一部分，头颈及胳膊部七个节点一部分。两部分在一定程度上独立计算运动情况。本发明采用了层次化方法来进行匹配，过程如下：

1 设定腰关节为根节点，该节点附着一个固定坐标系，只允许平移运动。其他关节处建立运动坐标系。如以腰关节为父节点，与之链接的右腿跟关节，左腿跟关节等相邻关节被视为子关节。

2 再次计算运动角度，根据计算出的关节旋转角度，再对三维动画模型进行匹配，根据动画模型的骨骼计算出动画模型各个关节的坐标，用以直接驱动模型运动。

关键帧差值：计算机动画中通用的有三种插值算法。即：线性插值算法，移动点约束条件插补算法和骨架插补法。

线性插值算法：选取两副关键帧，然后计算机计算出两副关键帧上的对应点间的直线距离，从而计算出中间的插值点，生成插补中间画，即中间帧。

移动点约束条件插值算法：将一条随时间和空间变化的曲线与动画形体上的某些点相联系。

骨架结构插值：通过对三维骨架结构的运动模拟，生成中间帧。

本发明方法采用了骨架结构插值法，结合物体在真实世界的力学特征、三维动画模型的骨架结构等特点，通过关键帧的骨架运动状态预测出中间帧的运动状态，而不用考虑动画模型的具体运动细节。

Claims (6)

1.一种低成本动作捕捉与演示系统，包括表演者(6)、摄像机和显示器(5)，其特征在于：

a.所述表演者(6)身穿具有关节标志点的演示服；

b.所述摄像机为双CCD摄像机(1L、1R)，其摄像头对准表演者(6)；

c.所述双CCD摄像机(1L、1R)的输出经一个图像采集卡(2)连接到一个嵌入式处理器(3)；所述双摄像机(1L、1R)捕捉到的运动图像通过所述图像采集卡(2)传输到所述嵌入式处理器(3)；

d.所述嵌入式处理器(3)连接一个数据库(4)和一个显示器(5)；所述嵌入式处理器(3)将实时表演者(6)关节处数据保存到所述数据库(4)，同时，将处理后的结果在所述显示器(5)上演示。

2.如权利要求1所述低成本动作捕捉与演示系统，其特征在于：所述表演服以黑色为底色，在14个主要关节处绑上不同颜色的色带作为标志点；所述14个主要关节处为：腰关节、颈关节、左\右肩关节、左\右肘、左\右腕、左\右腿跟关节、左\右膝、左\右踝。

3.如权利要求1所述低成本动作捕捉与演示系统，其特征在于：所述双CCD摄像机(1L、1R)放置在相对固定位置相对距离50cm±5cm。

4.一种低成本动作捕捉与演示方法，采用权利要求1所述的低成本动作捕捉与演示系统进行捕捉和演示，其特征在于：操作步骤如下：

第一步骤，对动作捕捉与演示系统进行初始化。

第二步骤，所述嵌入式处理器(3)计算出各关节处色带中心位置二维数据；

第三步骤，所述嵌入式处理器(3)比较所述双CCD摄像机(1L、1R)传输的数据，计算出各关节处色带中心位置的三维数据；

第四步骤，所述嵌入式处理器(3)将所述的关节处色带中心位置三维数据存储到所述数据库(4)中；

第五步骤，所述嵌入式处理器(3)将所述存储的数据显示于所述显示器(5)。

5.如权利要求4所述的低成本动作捕捉与演示方法，其特征在于，所述初始化包括对所述双CCD摄像机(1L、1R)的标定。

6.如权利要求4所述的低成本动作捕捉与演示方法，其特征在于，所述第五步骤将存储的数据以骨架姿态模型和三维动画模型两种形式同时显示于所述显示器(5)。

Images