CN1148702C - 基于视频的人体动画系统 - Google Patents
基于视频的人体动画系统 Download PDFInfo
- Publication number
- CN1148702C CN1148702C CNB001347977A CN00134797A CN1148702C CN 1148702 C CN1148702 C CN 1148702C CN B001347977 A CNB001347977 A CN B001347977A CN 00134797 A CN00134797 A CN 00134797A CN 1148702 C CN1148702 C CN 1148702C
- Authority
- CN
- China
- Prior art keywords
- video
- color lump
- human body
- circle formula
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于视频的人体动画系统包括视频采集装置和彩色紧身衣，所说的视频采集装置是用双绞线连接数字摄像机的视频输出口和视频采集卡的视频输入口，其中，视频采集卡是安装在计算机的主机内，并与显示器相接，摄像机安装在升降架上；本发明的优点：是一种高效、经济，且运动不受限制的基于视频的人体动画技术。当利用视频采集装置采集穿上该紧身衣的模特的运动的视频后，系统就能自动地处理该视频。
Description
本发明涉及多媒体应用，尤其涉及一种基于视频的人体动画系统。
传统的人体动画又称为关节动画。关节模型指的是一种n元树的表示，其每个内节点是具有一个自由度的旋转关节。关节的运动可通过正向运动学或逆向运动学的方法来控制。正向运动学是通过对关节旋转角设置关键帧来得到相关联的各个肢体的位置。逆向运动学则是通过指定末端关节位置，由计算机自动计算出各中间关节的位置。虽然它较前者简单，但随着关节复杂度的增加，它的求解代价将是巨大的。可以看到关节动画不仅需要动画师的繁琐工作，而且计算量非常大。由于它只是对真实人体运动的一种模拟，最终获得的人体运动往往缺乏真实感。
相比较关节动画，基于运动获取的动画正变得越来越普通，当演员作出特定的动作时，附在演员身上各关节部位的传感器会将关节位置返回给计算机。将这些数据作用在一个三维人体模型上就得到了真实的人体运动。虽然这一技术能比关节动画产生更真实的人体运动，但它的获取运动信息的过程往往耗资巨大，又需要专门的工作室，或者有电缆线附在人体上，而这又限制了演员的自由运动，造成一定程度的动作失真。
近年来，有人提出了一种新的基于视频的人体动画软件算法。该软件算法的主要思想介绍如下：
1.定义人体模型为由若干个关节点连接而成的刚体集合。
2.拍摄人体运动，并通过2维跟踪软件算法从视频序列中跟踪各个关节点标记物的位置信息，获得2维人体运动数据。该算法具体实现如下：在跟踪过程中，采用基于自适应策略的聚类算法利用标记物的信息估计关节点位置的可能存在区域。接着采用基于Robert算子的边界勾勒算法利用标记物的边界信息获得同一关节点位置的可能存在区域(见文献“Machine Perception ofThree-dimensional Solids”，Optical and Electro-optical Information Processing，MITPress 1965)。然后，对这两块结果区域进行合并。最后根据合并后的新区域，分别做出区域边界上点的X，Y坐标的直方图，选取相距最远的峰值作为最后跟踪所得的标记物边界，以计算标记物的中心位置，从而获得2维人体运动信息。
3.进行摄像机定标，从已得到的2维人体运动信息恢复3维人体运动。定标算法实现如下：根据跟踪出的二维关节位置与三维人体模型之间的对应采用基于5点的Tsai单相机线形定标(见文献″An Efficient and Accurate CameraCalibration Technique for 3D Machine Vision″，Proceedings of IEEE Conferenceon Computer Vision and Pattem Recognition，Miami Beach，FL，1986，pages364-374.)获得摄像机参数。三维运动重建算法实现如下：利用透视投影关系和人体骨骼的比例关系，求解人体模型上各个三维特征点的坐标(见文献″VideoBased Human Animation Technique″.ACM Multimedia 99，Orlando，Florida，USA，Nov.1999.pp.353-362)；同时在帧序列中，利用运动连续性和人体关节位置的合理性来有效地消除了三维运动信息的二义性(见文献“运动图像序列的人体三维运动骨架重建”《计算机辅助设计与图形学学报》，2000，Vol.12，No.4：245-250)。
4.把恢复得到的3维人体运动数据按照标准动画文件BVH格式输出并保存。该动画文件可被当今流行的Poser，3Dmax等人体动画制作软件使用，将存在该文件中的人体运动信息赋给新的角色，从而生成动画(参见http：//www.metamotion.com/)。
本发明的目的是提供一种基于视频的人体动画系统。
为了达到上述目的本发明采取下列措施：
基于视频的人体动画系统包括视频采集装置和彩色紧身衣，它包括视频采集装置和彩色紧身衣，所说的视频采集装置具有显示器、主机、视频采集卡、双绞线、数字摄像机和升降架，其中，用双绞线连接数字摄像机的视频输出口和视频采集卡的视频输入口，视频采集卡安装在计算机的主机内，主机的视频输出口与显示器的视频输入口相接，数字摄像机的镜头安放在升降架上；所说的紧身衣前面从上到下依次设有颈部蓝色圈式色块、右肩紫色马鞍式色块、左肩褐色马鞍式色块、胸部黑色色块、右肘墨绿色圈式色块、左肘黄色圈式色块、骨盆墨绿色块、前右臀紫色色块、前左臀褐色色块、右手腕浅绿圈式色块、左手腕青色圈式色块、右膝褐色圈式色块、左膝黄色圈式色块、右踝蓝色圈式色块、左踝黑色圈式色块，背面从上到下还依次设有背部黑色色块、后骨盆墨绿色色块、后左臀褐色色块、后右臀紫色色块；各色块与人体的各相关关节对应；在运用该系统的过程中，首先由所说的视频采集装置中的数字摄像机拍摄穿上所说的彩色紧身衣的模特的运动，通过视频采集卡输入到主机中，得到包含模特运动信息的数字视频，然后采用系统中的2维运动跟踪软件模块从视频序列中捕获各个关节点标记物的位置信息，获得2维人体运动数据，接着，采用系统中的摄像机定标软件模块，根据跟踪出的二维关节位置与三维人体模型之间的对应获得摄像机参数，并利用三维重建软件模块根据透视投影关系和人体骨骼的比例关系恢复3维人体运动，最后通过运动输出软件模块将3维运动数据以BVH动画格式输出给商业动画软件生成人体动画。
本发明的优点：高效、经济，且运动不受限制，在计算机视觉领域中对人体运动分析的研究中，我们得到了启发，开发出了基于视频的人体动画技术。在不同的应用领域，我们的方法可以针对不同的视频种类。当在一些需要尽可能少的动画师手工干预的领域，我们制作了一件紧身衣，其上对应于不同人体部位的地方都贴上颜色块。当利用视频采集装置采集穿上该紧身衣的模特的运动的视频后，系统就能自动地处理该视频。最终，我们能根据视频流中人体运动状况获取三维运动信息，并建立运动信息库，这样动画师就能根据已有的运动信息生成新的人体动画。
下面结合附图对本发明作详细说明。
图1是本发明系统结构示意图；
图2是视频采集装置示意图；
图3(a)是彩色紧身衣正面结构示意图；
图3(b)是彩色紧身衣背面结构示意图。
基于视频的人体动画系统包括视频采集装置和彩色紧身衣，它包括视频采集装置和彩色紧身衣，所说的视频采集装置具有显示器20、主机21、视频采集卡22、双绞线23、数字摄像机24和升降架25，其中，用双绞线23连接数字摄像机24的视频输出口和视频采集卡22的视频输入口，视频采集卡22安装在计算机的主机21内，主机21的视频输出口与显示器20的视频输入口相接，数字摄像机24的镜头安放在升降架25上；所说的紧身衣前面从上到下依次设有颈部蓝色圈式色块1、右肩紫色马鞍式色块15、左肩褐色马鞍式色块2、胸部黑色色块14、右肘墨绿色圈式色块13、左肘黄色圈式色块3、骨盆墨绿色块4、前右臀紫色色块12、前左臀褐色色块5、右手腕浅绿圈式色块11、左手腕青色圈式色块6、右膝褐色圈式色块10、左膝黄色圈式色块7、右踝蓝色圈式色块9、左踝黑色圈式色块8，背面从上到下还依次设有背部黑色色块16、后骨盆墨绿色色块17、后左臀褐色色块19、后右臀紫色色块18；各色块与人体的各相关关节对应；在运用该系统的过程中，首先由所说的视频采集装置中的数字摄像机拍摄穿上所说的彩色紧身衣的模特的运动，通过视频采集卡输入到主机中，得到包含模特运动信息的数字视频，然后采用系统中的2维运动跟踪软件模块从视频序列中捕获各个关节点标记物的位置信息，获得2维人体运动数据，接着，采用系统中的摄像机定标软件模块，根据跟踪出的二维关节位置与三维人体模型之间的对应获得摄像机参数，并利用三维重建软件模块根据透视投影关系和人体骨骼的比例关系恢复3维人体运动，最后通过运动输出软件模块将3维运动数据以BVH动画格式输出给商业动画软件生成人体动画。
Claims (1)
1.基于视频的人体动画系统，其特征在于：它包括视频采集装置和彩色紧身衣，所说的视频采集装置具有显示器(20)、主机(21)、视频采集卡(22)、双绞线(23)、数字摄像机(24)和升降架(25)，其中，用双绞线(23)连接数字摄像机(24)的视频输出口和视频采集卡(22)的视频输入口，视频采集卡(22)安装在计算机的主机(21)内，主机(21)的视频输出口与显示器(20)的视频输入口相接，数字摄像机(24)的镜头安放在升降架(25)上；所说的紧身衣前面从上到下依次设有颈部蓝色圈式色块(1)、右肩紫色马鞍式色块(15)、左肩褐色马鞍式色块(2)、胸部黑色色块(14)、右肘墨绿色圈式色块(13)、左肘黄色圈式色块(3)、骨盆墨绿色块(4)、前右臀紫色色块(12)、前左臀褐色色块(5)、右手腕浅绿圈式色块(11)、左手腕青色圈式色块(6)、右膝褐色圈式色块(10)、左膝黄色圈式色块(7)、右踝蓝色圈式色块(9)、左踝黑色圈式色块(8)，背面从上到下还依次设有背部黑色色块(16)、后骨盆墨绿色色块(17)、后左臀褐色色块(19)、后右臀紫色色块(18)；各色块与人体的各相关关节对应；在运用该系统的过程中，首先由所说的视频采集装置中的数字摄像机拍摄穿上所说的彩色紧身衣的模特的运动，通过视频采集卡输入到主机中，得到包含模特运动信息的数字视频，然后采用系统中的2维运动跟踪软件模块从视频序列中捕获各个关节点标记物的位置信息，获得2维人体运动数据，接着，采用系统中的摄像机定标软件模块，根据跟踪出的二维关节位置与三维人体模型之间的对应获得摄像机参数，并利用三维重建软件模块根据透视投影关系和人体骨骼的比例关系恢复3维人体运动，最后通过运动输出软件模块将3维运动数据以BVH动画格式输出给商业动画软件生成人体动画。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB001347977A CN1148702C (zh) | 2000-12-04 | 2000-12-04 | 基于视频的人体动画系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB001347977A CN1148702C (zh) | 2000-12-04 | 2000-12-04 | 基于视频的人体动画系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1356671A CN1356671A (zh) | 2002-07-03 |
| CN1148702C true CN1148702C (zh) | 2004-05-05 |
Family
ID=4596420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB001347977A Expired - Fee Related CN1148702C (zh) | 2000-12-04 | 2000-12-04 | 基于视频的人体动画系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1148702C (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8014565B2 (en) * | 2005-08-26 | 2011-09-06 | Sony Corporation | Labeling used in motion capture |
| CN101989075B (zh) * | 2010-08-24 | 2012-06-27 | 北京水晶石数字科技股份有限公司 | 一种三维软件控制演出的方法 |
| CN102915553B (zh) * | 2012-09-12 | 2016-02-10 | 珠海金山网络游戏科技有限公司 | 一种3d游戏视频拍摄系统及其方法 |
| WO2016154554A1 (en) | 2015-03-26 | 2016-09-29 | Biomet Manufacturing, Llc | Method and system for planning and performing arthroplasty procedures using motion-capture data |
-
2000
- 2000-12-04 CN CNB001347977A patent/CN1148702C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1356671A (zh) | 2002-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bogo et al. | Dynamic FAUST: Registering human bodies in motion | |
| CN108629801B (zh) | 一种视频序列的三维人体模型姿态与形状重构方法 | |
| CN108830150B (zh) | 一种基于三维人体姿态估计方法及装置 | |
| Wang et al. | Region ensemble network: Towards good practices for deep 3D hand pose estimation | |
| Cheng et al. | Parametric modeling of 3D human body shape—A survey | |
| Varanasi et al. | Temporal surface tracking using mesh evolution | |
| CN104794722A (zh) | 利用单个Kinect计算着装人体三维净体模型的方法 | |
| CN111950477B (zh) | 一种基于视频监督的单图像三维人脸重建方法 | |
| CN102622766A (zh) | 多目标优化的多镜头人体运动跟踪方法 | |
| CN110148217A (zh) | 一种实时三维重建方法、装置及设备 | |
| Huang et al. | Global temporal registration of multiple non-rigid surface sequences | |
| CN108363973A (zh) | 一种无约束的3d表情迁移方法 | |
| Dibra et al. | Monocular RGB hand pose inference from unsupervised refinable nets | |
| CN103942829A (zh) | 单幅图像的人体三维姿态重构方法 | |
| Cheng et al. | Capture and representation of human walking in live video sequences | |
| CN102306390A (zh) | 基于骨架和面片插值的运动捕捉方法及装置 | |
| Zou et al. | Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking | |
| CN1148702C (zh) | 基于视频的人体动画系统 | |
| CN110223368A (zh) | 一种基于深度学习的面部无标记运动捕捉方法 | |
| CN113256789A (zh) | 一种三维实时人体姿态重建方法 | |
| Iwasawa et al. | Human body postures from trinocular camera images | |
| Kuang et al. | An effective skeleton extraction method based on Kinect depth image | |
| Nobuhara et al. | Heterogeneous deformation model for 3D shape and motion recovery from multi-viewpoint images | |
| Nobuhara et al. | Deformable mesh model for complex multi-object 3D motion estimation from multi-viewpoint video | |
| CN113763536A (zh) | 一种基于rgb图像的三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C06 | Publication | ||
| PB01 | Publication | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |