CN110070594B - 一种演绎时实时渲染输出的三维动画制作方法 - Google Patents

一种演绎时实时渲染输出的三维动画制作方法 Download PDF

Info

Publication number
CN110070594B
CN110070594B CN201910340957.3A CN201910340957A CN110070594B CN 110070594 B CN110070594 B CN 110070594B CN 201910340957 A CN201910340957 A CN 201910340957A CN 110070594 B CN110070594 B CN 110070594B
Authority
CN
China
Prior art keywords
deduction
animation
real
time
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910340957.3A
Other languages
English (en)
Other versions
CN110070594A (zh
Inventor
张政祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jinmao Creative Technology Products Co ltd
Original Assignee
Shenzhen Jinmao Creative Technology Products Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jinmao Creative Technology Products Co ltd filed Critical Shenzhen Jinmao Creative Technology Products Co ltd
Priority to CN201910340957.3A priority Critical patent/CN110070594B/zh
Publication of CN110070594A publication Critical patent/CN110070594A/zh
Application granted granted Critical
Publication of CN110070594B publication Critical patent/CN110070594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种演绎时实时渲染输出的三维动画制作方法,主要包括:创建三维动画所需的表演数据库,所述表演数据库包括:角色动作/表情/口型数据库和场景数据库,所述角色动作/表情/口型数据库分为角色动作数据库、角色表情数据库和角色口型数据库;所述场景数据库包括至少一种表演场景;制作三维动画,制作过程包括:三维动画预设环节和三维动画实时演绎控制环节;录制完成后将实时渲染的视频和同步录制的配音合成输出三维动画。本发明极大地提升了动画影片的生产效率,提升了三维动画角色表演的丰富度与精度,降低了三维动画制作成本。

Description

一种演绎时实时渲染输出的三维动画制作方法
技术领域
本发明涉及动画制作技术领域,尤其涉及一种演绎时实时渲染输出的三维动画制作方法。
背景技术
传统三维动画/影视制作流程主要包括前期设计环节和生产制作环节。通常在剧本定稿后,就会进入前期设计环节会。前期设计环节主要包括角色、场景与道具设计,故事版分镜绘制,各角色的台词配音等。而生产制作环节会主要包括以下过程:角色、场景、道具三维模型→材质→绑定设置→动画→场景灯光→特效→渲染→后期合成等。前期设计环节完成后,生产制作环节就需要经过上述每个子环节层层推进,业界通常形象地把这一环节比喻成“爬楼梯”的生产方式,相邻的下一个子环节在当前子环节完成的基础上进行,产生的影片镜头、故事效果要到最后一个子环节“后期合成”才能看到,对导演控制故事艺术没有直观的效果反馈;如遇到需要调整角色的动作、表情、台词等时,就要返回上述动画子环节,重新设计制作动画关键帧,渲染子环节也要针对修改的部分重新渲染素材,这就导致牵一发动全身,这样的方式不仅效果上的反馈效率很低,使导演在整体把握上有很多盲区,而且使任何一个环节的修改需要付出高昂的人力和时间成本。
目前业界还有另一种制作流程用游戏引擎的实时渲染技术制作动画片。这种制作流程只是将渲染这一环节花费的时间和成本节省下来,整个生产链依旧保持前面生产制作环节的流程,并没有从本质上改进动画片的制作效率。
目前两种三维动画/影视制作流程都没办法有效打通“前期预想效果”和“影片呈现效果”是一致的。不仅对动画导演控制故事的能力有很高要求,而且对动画师的要求也非常高,即便是高水平的动画师也是要投入一定的时间去修改调整。这两种三维动画/影视制作流程因为反馈效率低、制作成本高,只有少数顶级的动画公司才会在前期设计环节投入大量的人力和时间,做到对制作环节非常精准精细的控制,减少制作上的返工,而一般的动画公司在前期设计环节投入很少、精度不细,这必然会导致生产制作环节会出现许多需要反复修改和调整甚至失控的问题。
有鉴于此,现有技术中的三维动画制作方法亟待需要进一步改进。
发明内容
本发明的主要目的在于提出一种演绎时实时渲染输出的三维动画制作方法,用以解决现有技术中三维动画在生产制作环节中“爬楼梯”式生产方式导致的人力、物力成本高昂的技术问题。
本发明提供了一种演绎时实时渲染输出的三维动画制作方法,所述方法包括:
创建三维动画所需的表演数据库,所述表演数据库包括:角色动作/表情/口型数据库和场景数据库,所述角色动作/表情/口型数据库分为角色动作数据库、角色表情数据库和角色口型数据库;所述场景数据库包括至少一种表演场景;
制作三维动画,制作过程包括:三维动画预设环节和三维动画实时演绎控制环节;在所述三维动画预设环节时,依据预设的分镜脚本,接收第一演绎操作人员在“角色动作的情绪预设”显示界面显示的情绪时间轴上输入对应动画角色的情绪起伏预设指令,设置好情绪时间轴上情绪起伏的情绪值,接收第二演绎操作人员在“摄像机/场景元素预设”显示界面下为实时渲染表演场景设置的动画角色站位控制信息、摄像机机位控制信息、道具、灯光、特效和环境氛围设置信息中至少之一,搭建出所述摄像机拍摄时所需的表演情境;在所述三维动画实时演绎控制环节,控制预设程序按所述情绪时间轴上预设好的所述情绪值播放出所述动画角色与所述情绪值对应的动作,指示第一演绎操作人员依据情绪时间轴上情绪起伏的情绪值,同时演绎出动画角色表情并同步演说动画角色台词,并依据接收到的动画角色台词演说声音驱动动画角色口型张合变化;接收所述第二演绎操作人员对摄像机机位、道具、灯光、特效和环境氛围中至少一个的调节控制信息,协调所述第一演绎操作人员与第二演绎操作人员实现表演录制;其中,所述动作、表情和口型分别来自于所述角色动作数据库、角色表情数据库和角色口型数据库;
录制完成后将实时渲染的视频和同步录制的配音合成输出三维动画。
优选地,所述第一演绎操作人员通过第一电子设备输入声音、表情和动作信息;所述第二演绎操作人员通过第二电子设备输入表演情景设置信息。
优选地,所述第一电子设备包括:麦克风和触控显示屏以及角色控制计算机;所述第二电子设备包括:实时渲染服务器,所述实时渲染服务器设有触控显示屏或按键输入装置。
优选地,所述第一演绎操作人员为多个,每一所述演绎操作人员对应操作一台所述第一电子设备。
优选地,所述动作数据库包括预设的若干类动作,每类动作的动作幅度与情绪等级相对应。
优选地,所述依据接收到的动画角色台词演说声音驱动动画角色口型张合变化包括:在动画实时演绎环节通过麦克风采集所述第一演绎操作人员的声音,或者用事先录制好所述第一演绎操作人员的声音在所述角色控制计算机进行播放,在动画实时演绎过程中实时计算出声音口型数据,将所述口型数据实时传递给所述实时渲染服务器中的动画角色。
优选地,所述动画角色表情通过触控角色控制计算机触摸显示屏界面中的滑块控件进行实时控制,实时发送表情指令到实时渲染服务器端以实时操控角色表情变化。
优选地,所述控制预设程序按所述情绪时间轴上预设好的所述情绪值播放出所述动画角色与所述情绪值对应的动作包括:在确定的情绪时间轴上,预先设定若干情绪关键点,实时演绎开始时,根据剧情需要通过触摸显示屏上的动作按钮触发调用动作库中动作品类,触发的动作根据当时的情绪轴上情绪起伏的情绪值平滑过渡,切换出对应所述情绪值的动作。
优选地,所述摄像机拍摄时设定一个时间轴,在所述时间轴上设定所述摄像机的镜头参数,或在三维动画镜头演绎过程中实时控制或微调摄像机机位。
优选地,所述摄像机的镜头参数包括:摄像机机位的预设位置、移位信息以及焦距信息。
本发明提供的一种演绎时实时渲染输出的三维动画制作方法具有以下有益效果:在演绎同时进行实时渲染,可以快速的根据演绎构想实时进行生产制作环节的操作。主要包含“角色表情、口型和动作的预设及控制”和“场景灯光、道具、摄像机机位、特效的预设及控制”,并在此基础上进行三维动画片表演,录制输出即可成片。在系统中,动画艺术家可以直接将故事表现构想和生产制作环节融合在一起进行演绎上的操作,快速进行动画片的表演编排、实时演绎动画和镜头、直观看到演绎效果,打通了故事构想和生产制作相对独立的状态。对于没有达到预想动画效果的可以当即看出不足,且当即可进行演绎上的调整,以便产生更理想的动画影片,极大提高动画生产的效率和动画片的品质。极大地提升了动画影片的生产效率,提升了三维动画角色表演的丰富度与精度,降低了三维动画制作成本。
附图说明
图1为本发明实施例中演绎时实时渲染输出的三维动画制作方法的流程事宜图。
图2为本发明实施例中在情绪时间轴上设置的情绪起伏变化示意图。
图3为本发明实施例中演绎时实时渲染输出的三维动画制作方法主要步骤构成示意图。
图4为本发明的演绎时实时渲染输出的三维动画制作方法的硬件运行环境示意图。
图5为采用本发明上述实施例的演绎时实时渲染输出的三维动画制作方法的应用实施例示意图。
图6为本发明一实施例中第二演绎操作人员控制虚拟摄像头拍摄场景并显示的示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
请参见图1,本发明提供一种演绎时实时渲染输出的三维动画制作方法,所述方法包括:
S10、创建三维动画所需的表演数据库,所述表演数据库包括:角色动作/表情/口型数据库和场景数据库,所述角色动作/表情/口型数据库分为角色动作数据库、角色表情数据库和角色口型数据库;所述场景数据库包括至少一种表演场景;
S20、制作三维动画,制作过程包括:三维动画预设环节和三维动画实时演绎控制环节;其中,在所述三维动画预设环节时,依据预设的分镜脚本,接收第一演绎操作人员在“角色动作的情绪预设”显示界面显示的情绪时间轴上输入对应动画角色的情绪起伏预设指令,设置好情绪时间轴上情绪起伏的情绪值,接收第二演绎操作人员在“摄像机/场景元素预设”显示界面中为实时渲染场景设置出的动画角色站位控制信息、摄像机机位控制信息、道具、灯光、特效和环境氛围设置信息,搭建出所述摄像机拍摄时所需的表演情境;在所述三维动画实时演绎控制环节,控制预设程序按所述情绪时间轴上预设好的所述情绪值播放出所述动画角色与所述情绪值对应的动作,指示第一演绎操作人员依据情绪时间轴上情绪起伏的情绪值,同时演绎出动画角色表情并同步演说动画角色台词,并依据接收到的动画角色台词演说声音驱动动画角色口型张合变化;接收所述第二演绎操作人员对摄像机机位、道具、灯光、特效和环境氛围中至少一个的调节控制信息,协调所述第一演绎操作人员与第二演绎操作人员实现表演录制;其中,所述动作、表情和口型分别来自于所述角色动作数据库、角色表情数据库和角色口型数据库。如图2所示,在情绪时间轴上,将情绪幅度分为高中低三个等级,在一个时间轴上,情绪起伏波形在0轴上方(往high方向)的表示情绪高亢,在0轴处则表示情绪平静,在0轴下方(往down方向)则表示情绪低落。
S30、录制完成后将实时渲染的视频和同步录制的配音合成输出三维动画。
本发明上述的演绎时实时渲染输出的三维动画制作方法主要将传统制作三维动画的方式进行颠覆性改良,极大提升了动画影片的生产效率,提升动画角色表演的丰富度与精度,降低了三维动画制作成本。主要体现在:
第一,把前期动画设计和动画制作环节打通融合在一起,改变了以往两个环节相互独立的状况,使艺术构想即时呈现,使影片效果实时直观得到反馈、修正。
第二,该系统中角色表情表演的动画不再是传统纯依赖动画K帧制作的方式,而是用实时控制表情面板的方式演绎出来,角色的“演技”是动画表演的灵魂,这样带来的好处是可以精准调配呈现表情变化,一句话的台词都可有不同程度的神情推演,真正落实到动画角色表演“演技”的本身,极大拥有表演的丰富性。
第三,以往动画一个镜头的动作做完后就没办法为别的镜头所用,需要重新进行动画K帧或者调整修改动画制作,而该系统中采用的动作库调用的方式,做到只需一次动画制作后建立丰富不同的库类,将不同的动作进行智能叠加融合,就可以在需要的镜头中重复调取使用,极大的提高了动画师制作三维动画的重复利用率及丰富程度。本发明提出的预设情绪时间轴的方式,将情绪预设和动作融合调用结合起来,简化了动作操作;建立的动作情绪库,将动作幅度可以根据情绪等级进行细分,同种情绪动作之间在动作的幅度上和动作快慢频率方面做智能的阈值融合,也就是说,动作幅度和动作快慢频率根据情绪等级来控制实现,如将情绪等级设置为高中低三个等级,当情绪等级为高级时,这时动作幅度比正常大且动作快慢频率也比常规高,而情绪值在高级中的大小也决定了幅度比正常大多少,动作快慢频率比常规高多少,这些是成正比设置;当情绪等级为中级时,此时动作幅度正常,动作快慢频率也正常,比如以匀速的动作幅度,动作快慢频率固定;当情绪等级为低级时,则动作幅度比正常小和动作快慢频率比正常低,依据情绪值大小确定动作幅度比正常小多少,动作快慢频率比正常低多少,这样就可以细分出变化丰富的情绪动作。实际中,等级不止于存在高中低三种幅度,可以根据需要细分远超三种幅度的情绪值刻度,以达到更具体的情绪程度以便在三维动画片中真实准确地表达出角色的情绪动作。
此外,需要详细说明的是,上述步骤S10中的前期备库环节:在开始正式的动画片制作之前需要搭建一套完整的表演库系统,该系统包含:“角色动作/表情/口型库系统”和“场景库系统”。“角色动作/表情/口型库系统”集成了表情库、口型库、动作库和相应的角色表情口型动作控制系统,每个角色都有相应的角色动作库、表情库、口型库和相对应的角色动作表情口型控制系统。对每个角色的控制都是单独控制。相应的控制系统的构成是通过在相对应角色的表情库、口型库、动作库中调用表情、口型、动作的方式来实现对角色的表情、口型、动作的控制,完整的控制系统通过指令(可以是系统外的电脑发送的指令)即可实现对角色表演的控制。例如当系统接收到某个角色的动作指令后系统将在相应角色库上寻找出相匹配的动作然后赋予角色相应的动作。若某个动作指令在现有的库中没有现成的动作,那么系统将根据现有的动作库系统对现有的动作进行调整(如改变动作播放时间来改变某个动作的快慢程度,如通过在两个不同程度的同类动作之间进行相应比例的融合来出输出一个相应程度的动作)。
上述步骤S10的前期备库环节与步骤S20的三维动画制作环节之间具有以下关系:前期备库环节简单说就是建立完整的实时控制角色表演的各个系统(各种库、每个角色的表演控制系统、场景库及场景空间的布置和道具镜头的控制系统等)及系统要素。在三维动画制作环节就是在前期备库环节搭建好完整的软硬件系统后通过实时发送指令给到系统来实现角色的实时表演。
优选地,所述第一演绎操作人员通过第一电子设备输入声音、表情和动作信息;所述第二演绎操作人员通过第二电子设备输入表演情景设置信息。
优选地,所述第一电子设备包括:麦克风和触控显示屏以及角色控制计算机;所述第二电子设备包括:实时渲染服务器,所述实时渲染服务器设有触控显示屏或按键输入装置。因此,本发明还有第四个有益效果:可以在实际应用中采用一台实时渲染服务器加若干台角色控制计算机的方式,分开进行声音的采集、录制、实时变声、语音识别口型数据的计算。这充分打破了在一台实时渲染服务器中无法同时录制和采集多路音频数据并进行口型数据计算的弊端;分成若干台角色控制计算机的控制方式,不同角色的预设操作和实时控制操作互相不受干扰,且可以承担部分的任务计算提高系统运行效率。动画角色数量不受单台计算机服务器硬件的限制,在动画影视制作上自由度空前提升。
优选地,所述第一演绎操作人员为多个,每一所述演绎操作人员对应操作一台所述第一电子设备。
优选地,所述动作数据库包括预设的若干类动作,每类动作的动作幅度与情绪等级相对应。具体来说,设定好若干类动作,每类动作都有高中低情绪所带来的动作表现幅度,把它们融合到情绪轴指令中,演绎过程中根据时间线设定好不同时间点的情绪刻度。实时演绎时只需触发动作库中的动作类别,计算机程序即可自动对应该时间点的曲线状态,匹配出相应情绪的动作;对于细分的情绪刻度上的动作,由计算机在实时演绎时根据细分刻度所占的阈值融合出两个情绪刻度之间的情绪动作。
优选地,所述由依据接收到的动画角色台词演说声音驱动动画角色口型张合变化包括:在动画实时演绎环节通过麦克风采集所述第一演绎操作人员的声音,或者用事先录制好所述第一演绎操作人员的声音在所述角色控制计算机进行播放,在动画实时演绎过程中实时计算出声音口型数据,将所述口型数据实时传递给所述实时渲染服务器中的动画角色。这里声音口型数据的计算和声音的实时变声采用CPU(处理器)+GPU(图像处理器)并行架构的方式进行处理。
优选地,所述动画角色表情通过触控角色控制计算机触摸显示屏界面中的滑块控件进行实时控制,实时发送表情指令到实时渲染服务器端以实时操控角色表情变化。
优选地,所述控制预设程序按所述情绪时间轴上预设好的所述情绪值播放出所述动画角色与所述情绪值对应的动作包括:在确定的情绪时间轴上,预先设定若干情绪关键点,实时演绎开始时,根据剧情需要通过触摸显示屏上的动作按钮触发调用动作库中动作品类,触发的动作根据当时的情绪轴上情绪起伏的情绪值平滑过渡,切换出对应所述情绪值的动作。
优选地,所述摄像机拍摄时设定一个时间轴,在所述时间轴上设定所述摄像机的镜头参数,或在三维动画镜头演绎过程中实时控制或微调摄像机机位。进一步地,所述摄像机的镜头参数包括:摄像机机位的预设位置、移位信息以及焦距信息。
在一个具体实施例中,请参加图3和图4,本发明的演绎时实时渲染输出的三维动画制作方法包括:前期备库环节(对应图1中的步骤S10),动画制作环节(对应图1中的步骤S20),音视频合成输出(对应图1中的步骤S30)。其中,前期备库环节主要包括实时渲染引擎角色场景系统(表演数据库)搭建,而这个表演数据库又进一步包括角色动作/表情/口型库系统(角色动作/表情/口型数据库)以及场景库系统(场景数据库)。在开始正式的三维动画片制作之前需要搭建一套完整的表演数据库,角色动作/表情/口型库系统集成了丰富的表情库、口型库、动作库,通过人工智能程序,在角色演绎过程中根据需要充分调用指定的动作、表情、口型进行故事表演,且动作与动作之间的切换实现无缝平滑过渡;“场景库系统”集成了完整的场景后,可实现实时控制其灯光、道具、特效、摄像机镜头机位等元素,也可根据镜头需要更换场景。由此做到实时控制角色表演和控制场景空间的表现。角色动作/表情/口型库系统和场景库系统的主程序在实时渲染服务器上运行,实时渲染服务器承载着角色和场景的实时渲染输出,并完成音视频合成输出三维动画片;在实时渲染服务器端进行场景的控制;在角色控制计算机上运行相应的角色控制程序,通过角色控制计算机及相应的终端来输入角色控制指令将相应的数据通信传输到实时渲染服务器上。
动画制作环节主要分为“动画预设环节”和“实时演绎控制环节”。将传统流程中的前期设计融入到这两个环节中。
(1)在“动画预设环节”中加入“角色动作的情绪预设模块”和“摄像机/场景元素预设模块”。按照动画前期设计师的分镜脚本,第一演绎操作人员使用“角色动作的情绪预设模块”中的情绪时间轴(如图2所示),预设出该镜头中该角色表演所需情绪起伏的关键节点,在“实时演绎控制环节”操作表演时直接调用动作库某一动作指令后,计算机程序即可根据此时的情绪节点轨迹,匹配出该动作表达情绪的相应幅度或频率。本实施例中该角色动作的情绪预设模块仅针对角色肢体动作的情绪幅度进行预设,此外,在“动画预设环节”中还包括:表情模块,表情模块是实时单独控制表情的控制模块。这样艺术家们可以更好地演绎出角色动作上情绪的张力,也可以精确控制不同动作在不同情境下所表达不同幅度频率的表演,预设后“实时演绎控制环节”第一演绎操作人员只需关注调用动作的类别而无需关注具体的动作幅度,简化了操作,集中了表演的专注度。按照动画前期设计师的构图构想,第二演绎操作人员(如导演人员)可直接用“摄像机/场景元素预设模块”在实时渲染场景中设置出角色站位、摄像机机位、道具、灯光、特效和环境氛围,精准地搭建出该镜头所需要的表演情境。
(2)在“实时演绎控制环节”中,同步启动几组并行的表演控制:系统程序启动三维动画片“开拍”,预设程序会按该分镜时间线上预设好的情绪值播放出角色的动作情绪;第一演绎操作人员按该分镜时间线通过“角色动作表情控制模块”操作演绎角色的动作表情,且同步演说角色台词,经语音麦克风实时输入“同步口型控制模块”驱动角色口型张合变化;导演通过“摄像机/场景元素控制模块”同步控制场景的摄像机机位的调用及灯光、道具、音效、特效等元素的配合,各方协调表演,独立镜头可一镜到底。最后停止录制后实时渲染服务器实现角色和场景的实时渲染输出,结合同步录制的配音,完成音视频合成输出三维动画片。
请进一步参见图4,在本发明的演绎时实时渲染输出的三维动画制作方法的硬件运行环境中,主要包括的硬件有:角色1控制计算机、触摸显示屏1和麦克风1,由演绎操作人员1对第一动画角色进行控制,包括声音、动作和表情的控制;角色2控制计算机、触摸显示屏2和麦克风2,由演绎操作人员2对第二动画角色进行控制,包括声音、动作和表情的控制;实时渲染服务器和触摸显示屏3,由导演人员(第二演绎操作人员)对表演情景进行控制。大屏幕实时显示渲染后输出的三维动画片。在大屏幕周围放置有两台音箱,用于播放录制的音频,并受到调音台的控制,实现音箱与视频播放同步,实现较佳的配音效果。
请参见图5,在本发明一个制作三维动画的具体应用实施例中,一第一演绎操作人员11和另一第一演绎操作人员12分别面向不同的角色控制计算机13和14、麦克风和触摸显示屏,二者之间间隔一定的距离,彼此的声音可以无需干扰。在演绎时,两位第一演绎操作人员11和12分别控制各自触摸显示屏上显示的表情和动作,并通过麦克风输入口型。而导演人员15也可以位于其它地方,导演人员15在两位第一演绎操作人员11和12在进行各自角色的表情、动作以及口型时,同步控制场景中摄像机机位及灯光、道具、音效、特效等元素的配合,当表演情景被渲染后,实时在大屏幕上16上显示出来场景中动画角色A和动画角色B之间的实时动画。这时,两位第一演绎操作人员11和12以及导演人员15等各个工作环节的人员都可以通过大屏幕16显示出来的三维动画,即时完整地观看实时演绎的效果。
如图6所示,当需要用预先的虚拟摄像机来调整场景时,在另一显示操作界面下进行,虚拟摄像机17位于触摸显示屏的显示画面上,在虚拟摄像机周围设置有多个虚拟的触控按钮18,通过触摸相应的虚拟触控按钮18实现对表演情景的调整完善。本发明的第一演绎操作人员在操作表演时同步进行声音关联卡通角色的口型,也即第一演绎操作人员在控制该角色动作表情表演的同时,发出念台词的声音,这个声音同时匹配口型动画,仅需一个第一演绎操作人员就能完成一个角色的全套操作表演,这样就比现有技术需要多个演绎操作人员完成分工完成一个角色的动作、表情及口型,或者同一演绎操作人员分阶段完成动作、表情及口型简单许多,减少了第一演绎操作人员的人数,也缩短了制作一部三维动画片的时间。
动画设计师在这个过程全程参与了动画的录制。对于导演人员和第一演绎操作人员演绎出的动画片有了及时的掌握。通过现场的大屏幕可以实时观看动画效果,也可以通过录制回放观察动画片演绎效果的不足。重新组织导演人员和第一演绎操作人员进行该镜头的调整、录制,并实时在大屏幕16上显示出画面。
在一个变形实施例中,角色控制计算机连接的触摸显示屏中的程序界面、UI按钮滑块等控件可以实时控制角色表情变化。也可以通过移动终端如平板触摸屏上的程序界面、UI按钮滑块等控件实时控制角色的表情变化;移动终端与电脑的数据传输通过局域网WiFi、蓝牙等无线通信方式连接至同一个路由器。表情的控制除了通过界面的方式外还可以通过关联游戏手柄摇杆的方式控制。触发动作除了触摸屏的触摸按钮外也可以关联键盘按钮;通过键盘按钮触发动作。角色动画演绎过程中的“口型控制方式”也可以使用摄像头面部捕捉,操作表演人员通过面部嘴型的变化来驱动虚拟角色的口型变化。
以上是对本发明提供的一种演绎时实时渲染输出的三维动画制作方法的详细说明。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者打印机小车防撞不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者打印机小车防撞所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者打印机小车防撞中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台打印机小车防撞(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (7)

1.一种演绎时实时渲染输出的三维动画制作方法,其特征在于,所述方法包括:
创建三维动画所需的表演数据库,所述表演数据库包括:角色动作/表情/口型数据库和场景数据库,所述角色动作/表情/口型数据库分为角色动作数据库、角色表情数据库和角色口型数据库;所述场景数据库包括至少一种表演场景;
制作三维动画,制作过程包括:三维动画预设环节和三维动画实时演绎控制环节;在所述三维动画预设环节时,依据预设的分镜脚本,接收第一演绎操作人员在“角色动作的情绪预设”显示界面显示的情绪时间轴上输入对应动画角色的情绪起伏预设指令,设置好情绪时间轴上情绪起伏的情绪值,接收第二演绎操作人员在“摄像机/场景元素预设”显示界面下为实时渲染表演场景设置的动画角色站位控制信息、摄像机机位控制信息、道具、灯光、特效和环境氛围设置信息中至少之一,搭建出所述摄像机拍摄时所需的表演情境;在所述三维动画实时演绎控制环节,控制预设程序按所述情绪时间轴上预设好的所述情绪值播放出所述动画角色与所述情绪值对应的动作,其中,将动作幅度根据情绪等级进行细分,同种情绪动作之间在动作的幅度上和动作快慢频率方面做智能的阈值融合,指示第一演绎操作人员依据情绪时间轴上情绪起伏的情绪值,同时演绎出动画角色表情并同步演说动画角色台词,并依据接收到的动画角色台词演说声音驱动动画角色口型张合变化;接收所述第二演绎操作人员对摄像机机位、道具、灯光、特效和环境氛围中至少一个的调节控制信息,协调所述第一演绎操作人员与第二演绎操作人员实现表演录制;其中,所述动作、表情和口型分别来自于所述角色动作数据库、角色表情数据库和角色口型数据库;
录制完成后将实时渲染的视频和同步录制的配音合成输出三维动画;其中,所述第一演绎操作人员通过第一电子设备输入声音、表情和动作信息;所述第二演绎操作人员通过第二电子设备输入表演情景设置信息,所述第一电子设备包括:麦克风和触控显示屏以及角色控制计算机;所述第二电子设备包括:实时渲染服务器,所述实时渲染服务器设有触控显示屏或按键输入装置;一第一演绎操作人员和另一第一演绎操作人员分别面向不同的角色控制计算机、麦克风和触摸显示屏,二者之间间隔一定的距离,在演绎时,两位第一演绎操作人员分别控制各自触摸显示屏上显示的表情和动作,并通过麦克风输入口型,导演人员在两位第一演绎操作人员在进行各自角色的表情、动作以及口型时,同步控制场景中摄像机机位及灯光、道具、音效、特效元素配合,当表演情景被渲染后,实时在大屏幕上上显示出来场景中动画角色A和动画角色B之间的实时动画,所述摄像机为虚拟摄像机,当调整场景时,在另一显示操作界面下进行,虚拟摄像机位于触摸显示屏的显示画面上,在虚拟摄像机周围设置有多个虚拟的触控按钮,通过触摸相应的虚拟触控按钮实现对表演情景的调整完善;按所述情绪时间轴上预设好的所述情绪值播放出所述动画角色与所述情绪值对应的动作包括:在确定的情绪时间轴上,预先设定若干情绪关键点,实时演绎开始时,根据剧情需要通过触摸显示屏上的动作按钮触发调用动作库中动作品类,触发的动作根据当时的情绪轴上情绪起伏的情绪值平滑过渡,切换出对应所述情绪值的动作。
2.根据权利要求1所述的演绎时实时渲染输出的三维动画制作方法,其特征在于,所述第一演绎操作人员为多个,每一所述演绎操作人员对应操作一台所述第一电子设备。
3.根据权利要求1或2所述的演绎时实时渲染输出的三维动画制作方法,其特征在于,所述动作数据库包括预设的若干类动作,每类动作的动作幅度与情绪等级相对应。
4.根据权利要求1所述的演绎时实时渲染输出的三维动画制作方法,其特征在于,所述依据接收到的动画角色台词演说声音驱动动画角色口型张合变化包括:在动画实时演绎环节通过麦克风采集所述第一演绎操作人员的声音,或者用事先录制好所述第一演绎操作人员的声音在所述角色控制计算机进行播放,在动画实时演绎过程中实时计算出声音口型数据,将所述口型数据实时传递给所述实时渲染服务器中的动画角色。
5.根据权利要求1所述的演绎时实时渲染输出的三维动画制作方法,其特征在于,所述动画角色表情通过触控角色控制计算机触摸显示屏界面中的滑块控件进行实时控制,实时发送表情指令到实时渲染服务器端以实时操控角色表情变化。
6.根据权利要求1、2、4及5中任一项所述的演绎时实时渲染输出的三维动画制作方法,其特征在于,所述摄像机拍摄时设定一个时间轴,在所述时间轴上设定所述摄像机的镜头参数,或在三维动画镜头演绎过程中实时控制或微调摄像机机位。
7.根据权利要求6所述的演绎时实时渲染输出的三维动画制作方法,其特征在于,所述摄像机的镜头参数包括:摄像机机位的预设位置、移位信息以及焦距信息。
CN201910340957.3A 2019-04-25 2019-04-25 一种演绎时实时渲染输出的三维动画制作方法 Active CN110070594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910340957.3A CN110070594B (zh) 2019-04-25 2019-04-25 一种演绎时实时渲染输出的三维动画制作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910340957.3A CN110070594B (zh) 2019-04-25 2019-04-25 一种演绎时实时渲染输出的三维动画制作方法

Publications (2)

Publication Number Publication Date
CN110070594A CN110070594A (zh) 2019-07-30
CN110070594B true CN110070594B (zh) 2024-01-02

Family

ID=67369045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910340957.3A Active CN110070594B (zh) 2019-04-25 2019-04-25 一种演绎时实时渲染输出的三维动画制作方法

Country Status (1)

Country Link
CN (1) CN110070594B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351222B (zh) * 2019-08-09 2022-05-24 北京字节跳动网络技术有限公司 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN111443852A (zh) * 2020-03-25 2020-07-24 北京百度网讯科技有限公司 一种数字人动作的控制方法、装置、电子设备及存储介质
CN111598983A (zh) * 2020-05-18 2020-08-28 北京乐元素文化发展有限公司 动画制作系统、方法、存储介质及程序产品
CN111698390B (zh) * 2020-06-23 2023-01-10 网易(杭州)网络有限公司 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
CN112348932A (zh) * 2020-11-13 2021-02-09 广州博冠信息科技有限公司 口型动画录制方法及装置、电子设备、存储介质
CN113240781A (zh) * 2021-05-20 2021-08-10 东营友帮建安有限公司 基于语音驱动及图像识别的影视动画制作方法、系统
CN113538640A (zh) * 2021-07-08 2021-10-22 潘宁馨 一种动画片制作方法
CN115002358B (zh) * 2022-03-22 2023-10-10 神力视界(深圳)文化科技有限公司 数字背景拍摄中的控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693091A (zh) * 2012-05-22 2012-09-26 深圳市环球数码创意科技有限公司 一种三维虚拟角色的实现方法及其系统
CN104866101A (zh) * 2015-05-27 2015-08-26 世优(北京)科技有限公司 虚拟对象的实时互动控制方法及装置
CN105957129A (zh) * 2016-04-27 2016-09-21 上海河马动画设计股份有限公司 一种基于语音驱动及图像识别的影视动画制作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693091A (zh) * 2012-05-22 2012-09-26 深圳市环球数码创意科技有限公司 一种三维虚拟角色的实现方法及其系统
CN104866101A (zh) * 2015-05-27 2015-08-26 世优(北京)科技有限公司 虚拟对象的实时互动控制方法及装置
CN105957129A (zh) * 2016-04-27 2016-09-21 上海河马动画设计股份有限公司 一种基于语音驱动及图像识别的影视动画制作方法

Also Published As

Publication number Publication date
CN110070594A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070594B (zh) 一种演绎时实时渲染输出的三维动画制作方法
US6654031B1 (en) Method of editing a video program with variable view point of picked-up image and computer program product for displaying video program
CN110225224B (zh) 虚拟形象的导播方法、装置及系统
US6624853B1 (en) Method and system for creating video programs with interaction of an actor with objects of a virtual space and the objects to one another
US20090046097A1 (en) Method of making animated video
US8456487B2 (en) Virtual staging apparatus and method
Musburger et al. Introduction to media production: the path to digital media production
US20080012866A1 (en) System and method of producing an animated performance utilizing multiple cameras
KR20200024441A (ko) 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
Greenhalgh et al. Creating a live broadcast from a virtual environment
JPH09501274A (ja) 映画の移行部を製作し、特定し、調節する方法及びユーザインターフェイス
JPH11219446A (ja) 映像音響再生システム
WO2012105318A1 (ja) 入力支援装置、入力支援方法及び記録媒体
KR102186607B1 (ko) 증강현실을 통한 발레 공연 시스템 및 방법
WO2008011352A2 (en) System and method of animating a character through a single person performance
WO2020133372A1 (zh) 视频的字幕处理方法和导播系统
CN112565555B (zh) 虚拟相机拍摄方法、装置、电子设备及存储介质
US11972167B2 (en) Device, system, and method for video shooting in virtual production
US20140357386A1 (en) System and Method for Integrating Digital Background with Stage Performance
CN101164648A (zh) 机器人剧场
Sannier et al. VHD: a system for directing real-time virtual actors
CN114466232A (zh) 视频处理方法、装置、电子设备和介质
WO2022221902A1 (en) System and method for performance in a virtual reality environment
CN107888890A (zh) 一种基于在线合成的场景包装装置及方法
KR20110107428A (ko) 컨텐츠 제작을 위한 그래픽 유저 인터페이스를 제공하는 디지털 기기 및 그의 그래픽 유저 인터페이스 제공 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant