CN108805966A - 基于多模态捕捉的快速动画成片方法和系统 - Google Patents

基于多模态捕捉的快速动画成片方法和系统 Download PDF

Info

Publication number
CN108805966A
CN108805966A CN201810519308.5A CN201810519308A CN108805966A CN 108805966 A CN108805966 A CN 108805966A CN 201810519308 A CN201810519308 A CN 201810519308A CN 108805966 A CN108805966 A CN 108805966A
Authority
CN
China
Prior art keywords
capture
data
modal
module
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810519308.5A
Other languages
English (en)
Inventor
苗鹏
余哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810519308.5A priority Critical patent/CN108805966A/zh
Publication of CN108805966A publication Critical patent/CN108805966A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于多模态捕捉的快速动画成片方法和系统,方法基于混合动作捕捉与表情捕捉,首先对对演员进行多模态捕捉;然后将多模数据融合处理;之后传输捕捉数据至动画制作端;最后在动画制作端将动作与表情数据复现至虚拟模型上实时录制动画成片。系统包括多模态捕捉模块、数据融合处理模块、数据传输模块、内容制作模块。应用本发明不仅可以减小动画制作工作量、减小渲染制作周期,而且可以实时制作沉浸感更强的全景动画,丰富了动画制作形式。

Description

基于多模态捕捉的快速动画成片方法和系统
技术领域
本发明涉及一种基于多模态捕捉的快速动画成片方法和系统,属于人机交互领域,尤其涉及动作捕捉、表情捕捉、数据传输与动画制作领域。
背景技术
近些年来随着制作技术的不断革新,计算机动画产业呈现蓬勃发展之势,聚集了高额资本的同时形成了一个庞大的市场。优质动画与动画电影的不断推出,不仅丰富了儿童青少年的娱乐生活,对成年人来说也有着广泛巨大的吸引力。三维动画制作逐步成为动画产业的主流,带来了前所未有的观看体验。传统三维动画制作主要利用“关键帧控制模型”方法,即制作人员在关键帧设置模型动画,再通过计算机插值生成图像序列,最后再渲染成片。由于涉及到不同身体结构、不同面部结构的三维模型的动作和表情的手动控制,这种动画制作方法工作量很大,也需要专门的动画软件进行长时间的后期渲染,难以提高三维动画制作的效率。传统三维动画也同样只能提供平面视频式动画,观众的沉浸感不够强烈。
动作捕捉,指记录并处理表演者的动作在三维空间的运动状况的技术,主要分为光学式与惯性式。光学式运动捕捉,一般是使用红外对目标标记点所代表的刚体三维运动进行捕捉,捕捉精度高,但对场地光照以及标记点遮挡比较敏感,并且受相机分辨率影响对小目标的精细运动捕捉效果不佳;惯性式动作捕捉,通过在捕捉目标的重要节点佩戴集成加速度计,陀螺仪和磁力计等惯性传感器设备,对使用环境的适应性高,但是由于累积误差和测量噪声等因素的影响,无法对多节点进行长时间的精确跟踪。表情捕捉则是针对人脸面部运动进行捕捉记录,再在三维空间中完成对面部表情的重建。
发明内容
针对现有技术存在的问题,本发明的目的在于提供一种基于多模态捕捉的快速动画成片方法及系统,利用光学式、惯性式动作捕捉与表情捕捉结合的多模态捕捉,以克服当前动画成片工作量大、渲染成片时间长、动画沉浸感不够强的问题。
为达到上述目的,本发明采用如下技术方案:
一种基于多模态捕捉的快速动画成片方法,包括以下步骤:
101.对演员进行多模态捕捉;
102.将多模数据融合处理;
103.传输捕捉数据至动画制作端;
104.在动画制作端将动作与表情数据复现至虚拟模型上实时录制成片。
在所述步骤101对演员进行多模态捕捉之前,进一步包括:对多模态捕捉模块进行标定和校准,以减小捕捉误差。
所述步骤101对演员进行多模态捕捉,包括通过光学式与惯性式捕捉单元对演员进行混合动作捕捉,对视野清晰的较大部位采用光学动捕,对易遮挡或者分辨率不够的小部位使用惯性捕捉,并通过对无线相机对脸部进行表情捕捉。
所述步骤102将多模数据融合处理,包括将步骤101取得的光学式动捕数据、惯性式动捕数据、表情捕捉数据整合为统一的捕捉数据,计算表征演员特定身形、面部的特征参数。
在所述步骤103传输捕捉数据至动画制作端之前,进一步包括:记录所传输数据为离线数据,供之后重复利用。
所述步骤103传输捕捉数据至动画制作段,传输接口采用C/S,即客户机/服务器结构,实现两端的网络透明传输。
所述步骤104动画制作端将动作与表情数据复现至虚拟模型上实时录制成片的步骤或包括:
a.在动画制作端获取目标模型的运动与表情控制对象;
b.将捕捉数据直接通过控制对象传递控制目标模型的动作与表情;
c.通过虚拟摄像机组件录制场景成片。
所述步骤104动画制作端将动作与表情数据复现至虚拟模型上实时录制成片的步骤或包括:
a.在动画制作端计算目标模型的身形、面部的特征参数;
b.根据捕捉演员与目标模型的特征参数完成对捕捉数据的非线性映射处理;
c.用非线性映射处理后的捕捉数据控制目标模型的动作与表情;
d.通过虚拟摄像机组件录制场景成片。
所述步骤104动画制作端使用3D游戏制作引擎,在游戏场景中进行内容制作,固定与移动机位的虚拟摄像机对虚拟场景进行平面拍摄与全景拍摄,形成平面动画或全景动画。
一种基于多模态捕捉的快速动画成片系统,包括依次连接的多模态捕捉模块、数据融合处理模块、数据传输模块、内容制作模块,其中:
多模态捕捉模块,用于多模态捕捉演员表演数据;
数据融合处理模块,用于对捕捉数据进行融合处理;
数据传输模块,用于数据传输至内容制作模块;
内容制作模块,用于处理使用捕捉数据,将运动与表情复现至目标模型上并录制成片。
在多模态捕捉模块前还包括标定校准模块用以对多模态捕捉模块标定校准,降低捕捉误差。
所述多模态捕捉模块包括光学动作捕捉单元、惯性动作捕捉单元和表情捕捉单元,多模态全方面地捕捉演员表演信息。
在数据传输模块前还包括数据记录模块,以一定格式记录所传输数据为离线数据,包括产生时间、帧数、关节点ID号、人脸ID号、运动数据、表情数据,供之后重复利用。
本发明同现有技术相比,具有以下优点及效果:
本发明采用多模态捕捉,多种运动捕捉数据互相弥补了捕捉方式的不足,加上表情捕捉,提供了更全面更精确的演员表演信息;数据传输采用客户机/服务器结构,数据捕捉与动画内容制作两端解耦,可以在不同的电脑上分别运行数据捕捉与动画内容制作,也可以直接通过离线数据制作动画内容,降低动画制作的硬件要求;真实捕捉数据使得动画效果更为真实,数据的非线性映射增加了数据可扩展性,都降低了动画设计师的工作量;使用3D游戏引擎进行动画制作,场景可实时渲染,虚拟摄像机提供平面录制与全景录制两种模式,缩短制作周期的同时丰富了动画形式,给观众带来更具沉浸感的选择。
附图说明
图1为本发明实施例所述的一种基于多模态捕捉的快速动画成片方法流程示意图。
图2为本发明实施例所述的一种基于多模态捕捉的快速动画成片系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明优选实施例和附图,对本发明的技术方案进行清楚、完整地描述。
如图1所示,一种基于多模态捕捉的快速动画成片方法,包括:101.对演员进行多模态捕捉;102.将多模数据融合处理;103.传输捕捉数据至动画制作端;104.在动画制作端将动作与表情数据复现至虚拟模型上实时录制成片。
其中,为了减小捕捉误差,在步骤101之前,还可以进一步包括步骤:对光学动捕相机与表情捕捉相机进行标定,对惯性传感器进行校准。
所述步骤101,包括通过光学式与惯性式捕捉单元对演员进行混合动作捕捉,演员穿着光学动作捕捉服,通过捕捉服上的红外标记点光学捕捉人体的整体动作,同时佩戴惯性捕捉手套通过惯性动作捕捉手部的精细动作。捕捉的运动数据由人体各关节点的旋转和位移来表示,分别用四维的四元数与三维的空间位移表示。并通过对无线相机对脸部进行表情捕捉,在头盔上固定的无线相机以固定视角捕捉人脸图像进行计算处理。捕捉的表情数据,可以根据Blendshape技术,任意表情可以表示为一系列预定义的子表情的线性组合,由一系列预制Blendshape表情基的子表情权重表示。
所述步骤102,可以将光学式动捕数据、惯性式动捕数据、表情捕捉数据整合为统一的捕捉数据,计算表征演员特定身形、面部的特征参数。
其中,如有数据记录需求,在步骤103之前,还可以进一步包括步骤:记录所传输数据为离线数据,产生数据记录文件,包括产生时间、帧数、关节点ID号、人脸ID号、运动数据、表情数据等,供之后重复利用。
所述步骤103,采用C/S(客户机/服务器)结构,捕捉模块为服务器端,动画内容制作软件为客户机端,实现两端的网络透明传输。
所述步骤104,可以通过多种方式实现。例如,首先在动画制作端获取目标模型的运动与表情控制对象;然后将捕捉数据直接通过控制对象传递控制目标模型的动作与表情;再通过虚拟摄像机组件录制场景成片。或者是首先在动画制作端计算目标模型的身形、面部的特征参数;然后根据捕捉演员与目标模型的特征参数完成对捕捉数据的非线性映射处理;再用非线性映射处理后的捕捉数据控制目标模型的动作与表情;通过虚拟摄像机组件录制场景成片。
所述步骤104,动画制作端使用3D游戏制作引擎,在游戏场景中进行内容制作,固定与移动机位的虚拟摄像机对虚拟场景进行平面拍摄与全景拍摄,形成平面动画或全景动画。使用虚拟摄像机组件录制动画成片,虚拟摄像机组件除了平面摄像还有全景摄像功能,可录制虚拟场景的全景动画。
如图2所示,一种基于多模态捕捉的快速动画成片系统,包括依次连接的多模态捕捉模块21、数据融合处理模块22、数据传输模块23、内容制作模块24,其中:
多模态捕捉模块21,用于多模态捕捉演员表演数据;
数据融合处理模块22,用于对捕捉数据进行融合处理;
数据传输模块23,用于数据传输至内容制作模块24;
内容制作模块24,用于处理使用捕捉数据,将运动与表情复现至目标模型上并录制成片。
在多模态捕捉前还可以包括标定校准模块20用以对多模态捕捉模块21标定校准,降低捕捉误差。
所述的多模态捕捉模块21包括光学动作捕捉单元211、惯性动作捕捉单元212和表情捕捉单元213,可以是红外捕捉服与红外相机、惯性捕捉手套、带有无线相机的运动头盔等捕捉设备,多模态全方面地捕捉演员表演信息。
所述数据融合处理模块22通过对不同人体不同部位关节的不同运动数据进行整合,并与对应的表情数据融合为同一演员统一的捕捉信息表示,并计算该演员特定的身形与面部特征参数。
在数据传输前还可以包括数据记录模块25,以一定格式记录所传输数据为离线数据,包括产生时间、帧数、关节点ID号、人脸ID号、运动数据、表情数据等,供之后重复利用。
所述数据传输模块23,数据接口采用C/S(客户机/服务器)结构,捕捉模块为服务器端,动画内容制作软件为客户机端,实现两端的网络透明传输。
所述的内容制作模块24为3D游戏制作引擎,在游戏场景中进行内容制作,包括播音、相声、打斗等多种形式的剧本表演形式,固定与移动机位对虚拟场景进行平面拍摄与全景拍摄,形成平面动画或全景动画。

Claims (13)

1.一种基于多模态捕捉的快速动画成片方法,其特征在于,包括以下步骤:
101.对演员进行多模态捕捉;
102.将多模数据融合处理;
103.传输捕捉数据至动画制作端;
104.在动画制作端将动作与表情数据复现至虚拟模型上实时录制成片。
2.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,在所述步骤101对演员进行多模态捕捉之前,进一步包括:对多模态捕捉模块(21)进行标定和校准,以减小捕捉误差。
3.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,所述步骤101对演员进行多模态捕捉,包括通过光学式与惯性式捕捉单元对演员进行混合动作捕捉,对视野清晰的较大部位采用光学动捕,对易遮挡或者分辨率不够的小部位使用惯性捕捉,并通过对无线相机对脸部进行表情捕捉。
4.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,所述步骤102将多模数据融合处理,包括将步骤101取得的光学式动捕数据、惯性式动捕数据、表情捕捉数据整合为统一的捕捉数据,计算表征演员特定身形、面部的特征参数。
5.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,在所述步骤103传输捕捉数据至动画制作端之前,进一步包括:记录所传输数据为离线数据,供之后重复利用。
6.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,所述步骤103传输捕捉数据至动画制作段,传输接口采用C/S,即客户机/服务器结构,实现两端的网络透明传输。
7.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,所述步骤104动画制作端将动作与表情数据复现至虚拟模型上实时录制成片的步骤或包括:
a.在动画制作端获取目标模型的运动与表情控制对象;
b.将捕捉数据直接通过控制对象传递控制目标模型的动作与表情;
c.通过虚拟摄像机组件录制场景成片。
8.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,所述步骤104动画制作端将动作与表情数据复现至虚拟模型上实时录制成片的步骤或包括:
a.在动画制作端计算目标模型的身形、面部的特征参数;
b.根据捕捉演员与目标模型的特征参数完成对捕捉数据的非线性映射处理;
c.用非线性映射处理后的捕捉数据控制目标模型的动作与表情;
d.通过虚拟摄像机组件录制场景成片。
9.如权利要求1所述的基于多模态捕捉的快速动画成片方法,其特征在于,所述步骤104动画制作端使用3D游戏制作引擎,在游戏场景中进行内容制作,固定与移动机位的虚拟摄像机对虚拟场景进行平面拍摄与全景拍摄,形成平面动画或全景动画。
10.一种基于多模态捕捉的快速动画成片系统,其特征在于,包括依次连接的多模态捕捉模块(21)、数据融合处理模块(22)、数据传输模块(23)、内容制作模块(24),其中:
多模态捕捉模块(21),用于多模态捕捉演员表演数据;
数据融合处理模块(22),用于对捕捉数据进行融合处理;
数据传输模块(23),用于数据传输至内容制作模块(24);
内容制作模块(24),用于处理使用捕捉数据,将运动与表情复现至目标模型上并录制成片。
11.如权利要求10所述的基于多模态捕捉的快速动画成片系统,其特征在于,在多模态捕捉模块(21)前还包括标定校准模块(20)用以对多模态捕捉模块(21)标定校准,降低捕捉误差。
12.如权利要求10所述的基于多模态捕捉的快速动画成片系统,其特征在于,所述多模态捕捉模块(21)包括光学动作捕捉单元(211)、惯性动作捕捉单元(212)和表情捕捉单元(213),多模态全方面地捕捉演员表演信息。
13.如权利要求10所述的基于多模态捕捉的快速动画成片系统,其特征在于,在数据传输模块(23)前还包括数据记录模块(25),以一定格式记录所传输数据为离线数据,包括产生时间、帧数、关节点ID号、人脸ID号、运动数据、表情数据,供之后重复利用。
CN201810519308.5A 2018-05-28 2018-05-28 基于多模态捕捉的快速动画成片方法和系统 Pending CN108805966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810519308.5A CN108805966A (zh) 2018-05-28 2018-05-28 基于多模态捕捉的快速动画成片方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810519308.5A CN108805966A (zh) 2018-05-28 2018-05-28 基于多模态捕捉的快速动画成片方法和系统

Publications (1)

Publication Number Publication Date
CN108805966A true CN108805966A (zh) 2018-11-13

Family

ID=64090400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810519308.5A Pending CN108805966A (zh) 2018-05-28 2018-05-28 基于多模态捕捉的快速动画成片方法和系统

Country Status (1)

Country Link
CN (1) CN108805966A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570498A (zh) * 2019-08-30 2019-12-13 常熟理工学院 一种影视动画轨迹跟踪捕捉系统
CN111369653A (zh) * 2020-03-27 2020-07-03 四川长江职业学院 一种基于人体面部的三维动画系统
CN112132963A (zh) * 2020-10-27 2020-12-25 苏州光魔方智能数字科技有限公司 一种VirtualStar系统智能化交互平台
CN115695852A (zh) * 2022-12-30 2023-02-03 成都华栖云科技有限公司 一种基于多模态信息融合的视频镜头自动挑选组合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2043049A2 (en) * 2007-09-11 2009-04-01 Sony Computer Entertainment America Inc. Facial animation using motion capture data
CN102725038A (zh) * 2009-09-15 2012-10-10 索尼公司 组合多传感输入以用于数字动画
CN106256394A (zh) * 2016-07-14 2016-12-28 广东技术师范学院 混合动作捕捉的训练装置及系统
CN206340066U (zh) * 2016-12-07 2017-07-18 西安蒜泥电子科技有限责任公司 虚拟人现场互动表演系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2043049A2 (en) * 2007-09-11 2009-04-01 Sony Computer Entertainment America Inc. Facial animation using motion capture data
CN102725038A (zh) * 2009-09-15 2012-10-10 索尼公司 组合多传感输入以用于数字动画
CN106256394A (zh) * 2016-07-14 2016-12-28 广东技术师范学院 混合动作捕捉的训练装置及系统
CN206340066U (zh) * 2016-12-07 2017-07-18 西安蒜泥电子科技有限责任公司 虚拟人现场互动表演系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王嶺 等: "基于视觉识别的3D动画制作辅助系统", 《工业控制计算机》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570498A (zh) * 2019-08-30 2019-12-13 常熟理工学院 一种影视动画轨迹跟踪捕捉系统
CN111369653A (zh) * 2020-03-27 2020-07-03 四川长江职业学院 一种基于人体面部的三维动画系统
CN112132963A (zh) * 2020-10-27 2020-12-25 苏州光魔方智能数字科技有限公司 一种VirtualStar系统智能化交互平台
CN115695852A (zh) * 2022-12-30 2023-02-03 成都华栖云科技有限公司 一种基于多模态信息融合的视频镜头自动挑选组合方法
CN115695852B (zh) * 2022-12-30 2023-03-28 成都华栖云科技有限公司 一种基于多模态信息融合的视频镜头自动挑选组合方法

Similar Documents

Publication Publication Date Title
US11087555B2 (en) Recognizing objects in a passable world model in augmented or virtual reality systems
CN108805966A (zh) 基于多模态捕捉的快速动画成片方法和系统
CN107315470B (zh) 图形处理方法、处理器和虚拟现实系统
US10324522B2 (en) Methods and systems of a motion-capture body suit with wearable body-position sensors
US9299184B2 (en) Simulating performance of virtual camera
CN104252712B (zh) 图像生成装置、图像生成方法和记录介质
US9268406B2 (en) Virtual spectator experience with a personal audio/visual apparatus
US20160088286A1 (en) Method and system for an automatic sensing, analysis, composition and direction of a 3d space, scene, object, and equipment
CN109069933A (zh) 在vr环境中的观众视角
EP2771877A1 (en) System and method for augmented and virtual reality
CN113706699A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN105488801A (zh) 球幕电影实拍和三维虚拟场景结合的方法及系统
CN109547806A (zh) 一种ar替身直播方法
CN108073909A (zh) 合成模糊人脸图像的方法和装置、计算机装置及存储介质
Zhang et al. Multiscale-vr: Multiscale gigapixel 3d panoramic videography for virtual reality
CN104732560B (zh) 基于动作捕捉系统的虚拟摄像机拍摄方法
Wang et al. Applied research on real-time film and television animation virtual shooting for multiplayer action capture technology based on optical positioning and inertial attitude sensing technology
Kim et al. Human motion reconstruction from sparse 3D motion sensors using kernel CCA‐based regression
Baker The History of Motion Capture Within The Entertainment Industry
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
WO2021157691A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN107993247A (zh) 追踪定位方法、系统、介质和计算设备
Menache Motion capture primer
US20150375109A1 (en) Method of Integrating Ad Hoc Camera Networks in Interactive Mesh Systems
CN108833741A (zh) 用于ar与实时动捕相结合的虚拟摄影棚系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113

RJ01 Rejection of invention patent application after publication