CN110232729A - 基于深度学习的卡通角色运动技术 - Google Patents

基于深度学习的卡通角色运动技术 Download PDF

Info

Publication number
CN110232729A
CN110232729A CN201910396950.3A CN201910396950A CN110232729A CN 110232729 A CN110232729 A CN 110232729A CN 201910396950 A CN201910396950 A CN 201910396950A CN 110232729 A CN110232729 A CN 110232729A
Authority
CN
China
Prior art keywords
movement
motion
cartoon character
deep learning
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910396950.3A
Other languages
English (en)
Inventor
池前程
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Obesavi Digital Technology Co Ltd
Original Assignee
Wuhan Obesavi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Obesavi Digital Technology Co Ltd filed Critical Wuhan Obesavi Digital Technology Co Ltd
Priority to CN201910396950.3A priority Critical patent/CN110232729A/zh
Publication of CN110232729A publication Critical patent/CN110232729A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F13/00—Illuminated signs; Luminous advertising
    • G09F13/20—Illuminated signs; Luminous advertising with luminescent surfaces or parts

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了基于深度学习的卡通角色运动技术，包括S1、按剧情需要，完成卡通角色动作剧本设计；S2、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；S3、表演者在面部、四肢关节和躯干主体处粘贴Marker；S4、动作捕捉相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的Marker，并计算其在每一瞬间的空间位置，进而得到其运动轨迹；S5、通过动作赋予及动作生成软件，将所得到的Marker运动轨迹导入3D角色模型，驱动得到3D角色模型运动，得到与运动轨迹一致的动画序列，能有效地同时捕捉人体的肢体动作与面部表情，改变了以往卡通人员形象呆板、动作表情不自然的情况，使其形象更加逼真。

Description

基于深度学习的卡通角色运动技术
技术领域
本发明涉及计算机视觉及计算机图形学技术领域，特别涉及基于深度学习的卡通角色运动技术。
背景技术
计算机特技的应用在现代影视特技制作中已成为不可或缺的手段，各种各样的平面、三维计算机特技制作技术给观众带来了全新的感受，而表演动画技术则可以说是当前最高级、最热门的计算机动画技术之一。在传统的动画制作中，制作者必须将画面根据剧情要求逐帧画出，工作量非常巨大。引入计算机动画技术后，可以利用计算机先设计造型，再按照剧情确定关键帧，然后动画师调整关键帧的造型姿势，动画软件则根据关键帧生成图象序列。但是，对于一个长的动画作品，逐个确定关键帧仍然是一项相当麻烦的工作。表演动画技术的诞生，彻底改变了这一局面。它综合运用计算机图形学、电子、机械、光学、计算机视觉、计算机动画等技术，捕捉表演者的动作甚至表情，用这些动作或表情数据直接驱动动画形象模型，
目前，应用最广的是基于运动跟踪方法，运动跟踪方法主要是利用运动捕捉系统来进行表情捕捉，它主要是利用已有的捕获数据将源模型的人脸表情迁移到目标模型上，从而实现人脸的面部表情捕获，获得逼真的面部表情。现有的运动捕捉技术根据捕捉设备和原理不同主要分为四大类：机械式、声学式、电学式以及光学式运动捕捉，其中，光学运动捕捉方式具有获取数据便捷、采样精度高、频率高、使用范围广等优点，它采集的数据是以帧为单位的序列标识点(Marker)点集数据，在表演者的脸部关键点贴上Marker，视觉系统将识别和处理这些Maker，就可以实现表情捕捉，本发明通过在表演者的脸部关键点和关节处贴上Marker和利用已有的捕获数据将源模型的人脸表情和关节处微动作迁移到目标模型上，从而实现对卡通人物运动细节和面部表情的精准捕捉。
发明内容
本发明的主要目的在于提供基于深度学习的卡通角色运动技术，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
基于深度学习的卡通角色运动技术，包括：
S1、按剧情需要，完成卡通角色动作剧本设计；
S2、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；
S3、表演者在面部、四肢关节和躯干主体处粘贴Marker；
S4、动作捕捉相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的Marker，并计算其在每一瞬间的空间位置，进而得到其运动轨迹；
S5、通过动作赋予及动作生成软件，将所得到的Marker运动轨迹导入3D角色模型，驱动得到3D角色模型运动，得到与运动轨迹一致的动画序列。
作为本发明的一种优选技术方案，所述表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点（Marker）。
作为本发明的一种优选技术方案，所述动作捕捉相机至少设置有6～8个，且所述动作捕捉相机环绕表演场地排列，所述动作捕捉相机的视野重叠区域就是表演者的动作范围。
作为本发明的一种优选技术方案，检测所述表演者做出动作时所述动作的运动轨迹，对所述运动轨迹进行分解，提取所述运动轨迹中符合动作剧本设计的组合作为所述动作的动作特征。
作为本发明的一种优选技术方案，所述动作捕捉相机具体由TOF深度相机和ViconT40S动作捕捉摄像机组成。
作为本发明的一种优选技术方案，所述TOF深度相机获取三维人脸的彩色数据流与深度数据流，并将彩色数据流转换成彩色图像，将深度数据流转换成深度图像，然后利用捕捉到的面部Marker运动轨迹，进一步细化面部表情，从而建立面部表情判断模型。
作为本发明的一种优选技术方案，建立运动轨迹数据库，对每次捕捉到的运动轨迹数据进行记录、储存。
作为本发明的一种优选技术方案，提取所述运动轨迹中符合动作剧本设计的组合作为所述动作的动作特征，对所提取的动作组合进行微调，最终获得卡通角色运动动作。
与现有技术相比，本发明具有如下有益效果：本发明通过在表演者的脸部关键点和关节处贴上Marker和利用已有的捕获数据将源模型的人脸表情和关节处微动作迁移到目标模型上，能有效地同时捕捉人体的肢体动作与面部表情，改变了以往卡通人员形象呆板、动作表情不自然的情况，使其形象更加逼真，极大地缩短动画制作的时间，降低成本，使得动画制作过程更为直观，效果更为生动、逼真，甚至能使影片中的人物、动物等做出不可能作出的动作，达到惊人的特技效果。
附图说明
图1为本发明基于深度学习的卡通角色运动技术的系统框架图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
实施例1：
基于深度学习的卡通角色运动技术，包括：
S1、按剧情需要，完成卡通角色动作剧本设计；
S2、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；
S3、表演者在面部、四肢关节和躯干主体处粘贴Marker；
S4、动作捕捉相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的Marker，并计算其在每一瞬间的空间位置，进而得到其运动轨迹；
S5、通过动作赋予及动作生成软件，将所得到的Marker运动轨迹导入3D角色模型，驱动得到3D角色模型运动，得到与运动轨迹一致的动画序列。
实施例2：
所述表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点（Marker）。
实施例3：
所述动作捕捉相机至少设置有6～8个，且所述动作捕捉相机环绕表演场地排列，所述动作捕捉相机的视野重叠区域就是表演者的动作范围。
实施例4：所述检测所述表演者做出动作时所述动作的运动轨迹，对所述运动轨迹进行分解，提取所述运动轨迹中符合动作剧本设计的组合作为所述动作的动作特征。
实施例5：所述TOF深度相机获取三维人脸的彩色数据流与深度数据流，并将彩色数据流转换成彩色图像，将深度数据流转换成深度图像，然后利用捕捉到的面部Marker运动轨迹，进一步细化面部表情，从而建立面部表情判断模型。
实施例6：所述建立运动轨迹数据库，对每次捕捉到的运动轨迹数据进行记录、储存。
实施例7：建立运动轨迹数据库，对每次捕捉到的运动轨迹数据进行记录、储存。
实施例8：提取所述运动轨迹中符合动作剧本设计的组合作为所述动作的动作特征，对所提取的动作组合进行微调，最终获得卡通角色运动动作。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于深度学习的卡通角色运动技术，其特征在于：所述技术包括：
S1、按剧情需要，完成卡通角色动作剧本设计；
S2、通过三维软件，创建虚拟的3D角色，并导入至图形引擎，生成角色模型；
S3、表演者在面部、四肢关节和躯干主体处粘贴Marker；
S4、动作捕捉相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的Marker，并计算其在每一瞬间的空间位置，进而得到其运动轨迹；
S5、通过动作赋予及动作生成软件，将所得到的Marker运动轨迹导入3D角色模型，驱动得到3D角色模型运动，得到与运动轨迹一致的动画序列。
2.根据权利要求1所述的基于深度学习的卡通角色运动技术，其特征在于：所述表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点（Marker）。
3.根据权利要求1所述的基于深度学习的卡通角色运动技术，其特征在于：所述动作捕捉相机至少设置有6～8个，且所述动作捕捉相机环绕表演场地排列，所述动作捕捉相机的视野重叠区域就是表演者的动作范围。
4.根据权利要求1所述的基于深度学习的卡通角色运动技术，其特征在于：检测所述表演者做出动作时所述动作的运动轨迹，对所述运动轨迹进行分解，提取所述运动轨迹中符合动作剧本设计的组合作为所述动作的动作特征。
5.根据权利要求1所述的基于深度学习的卡通角色运动技术，其特征在于：所述动作捕捉相机具体由TOF深度相机和ViconT40S动作捕捉摄像机组成。
6.根据权利要求5所述的基于深度学习的卡通角色运动技术，其特征在于：所述TOF深度相机获取三维人脸的彩色数据流与深度数据流，并将彩色数据流转换成彩色图像，将深度数据流转换成深度图像，然后利用捕捉到的面部Marker运动轨迹，进一步细化面部表情，从而建立面部表情判断模型。
7.根据权利要求1所述的基于深度学习的卡通角色运动技术，其特征在于：建立运动轨迹数据库，对每次捕捉到的运动轨迹数据进行记录、储存。
8.根据权利要求4所述的基于深度学习的卡通角色运动技术，其特征在于：提取所述运动轨迹中符合动作剧本设计的组合作为所述动作的动作特征，对所提取的动作组合进行微调，最终获得卡通角色运动动作。
CN201910396950.3A 2019-05-14 2019-05-14 基于深度学习的卡通角色运动技术 Withdrawn CN110232729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910396950.3A CN110232729A (zh) 2019-05-14 2019-05-14 基于深度学习的卡通角色运动技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910396950.3A CN110232729A (zh) 2019-05-14 2019-05-14 基于深度学习的卡通角色运动技术

Publications (1)

Publication Number Publication Date
CN110232729A true CN110232729A (zh) 2019-09-13

Family

ID=67861234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910396950.3A Withdrawn CN110232729A (zh) 2019-05-14 2019-05-14 基于深度学习的卡通角色运动技术

Country Status (1)

Country Link
CN (1) CN110232729A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077550A (zh) * 2021-04-29 2021-07-06 广东工业大学 一种基于网络教学的虚拟偶像系统
CN114357768A (zh) * 2022-01-04 2022-04-15 华东师范大学 基于sha的信物融合智能系统的原型生成方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077550A (zh) * 2021-04-29 2021-07-06 广东工业大学 一种基于网络教学的虚拟偶像系统
CN114357768A (zh) * 2022-01-04 2022-04-15 华东师范大学 基于sha的信物融合智能系统的原型生成方法及系统

Similar Documents

Publication Publication Date Title
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和系统
CN109145788B (zh) 基于视频的姿态数据捕捉方法和系统
US8330823B2 (en) Capturing surface in motion picture
CN107231531A (zh) 一种网络虚拟现实技术与实拍结合影视制作系统
CN108154550A (zh) 基于rgbd相机的人脸实时三维重建方法
CN109087379B (zh) 人脸表情的迁移方法和人脸表情的迁移装置
US20090324017A1 (en) Capturing and processing facial motion data
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
ATE335247T1 (de) Verfahren und system zum aufnehmen und repräsentieren von dreidimensionaler geometrie, farbe und schatten von animierten objekten
CN109829976A (zh) 一种基于全息技术实时表演方法及其系统
CN108986190A (zh) 一种基于三维动画中非人形角色的虚拟主播的方法和系统
CN104268138A (zh) 融合深度图和三维模型的人体运动捕捉方法
CN104766345A (zh) 基于衣服特征点的身体扫描及运动捕捉方法
CN110232729A (zh) 基于深度学习的卡通角色运动技术
CN110223368A (zh) 一种基于深度学习的面部无标记运动捕捉方法
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制系统及方法
CN102111565B (zh) 虚拟演播室系统中的摄像机初始定位方法及装置
Zeng et al. Research status of data application based on optical motion capture technology
Ma et al. An Identity-Preserved Framework for Human Motion Transfer
Zhang et al. Face animation making method based on facial motion capture
CN113888681A (zh) 虚拟动画的制作方法及装置、存储介质、终端
Wang et al. A markerless body motion capture system for character animation based on multi-view cameras
CN109407840A (zh) 一种动作捕捉技术的视角转换方法
Schreer et al. Real-time avatar animation steered by live body motion
CN110503710A (zh) 一种基于现实增强技术的复杂场景康复训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190913

WW01 Invention patent application withdrawn after publication