CN105096366A - 3d虚拟服务公开平台系统 - Google Patents

3d虚拟服务公开平台系统 Download PDF

Info

Publication number
CN105096366A
CN105096366A CN201510433769.7A CN201510433769A CN105096366A CN 105096366 A CN105096366 A CN 105096366A CN 201510433769 A CN201510433769 A CN 201510433769A CN 105096366 A CN105096366 A CN 105096366A
Authority
CN
China
Prior art keywords
animation
parameter
expression
virtual service
personage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510433769.7A
Other languages
English (en)
Inventor
胡天宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Culture com Technology Macau Ltd
Original Assignee
Culture com Technology Macau Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Culture com Technology Macau Ltd filed Critical Culture com Technology Macau Ltd
Priority to CN201510433769.7A priority Critical patent/CN105096366A/zh
Publication of CN105096366A publication Critical patent/CN105096366A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了3D虚拟服务公开平台系统,包括:由表情指令参数来改变人物脸部3D点位控制器生成相应的脸部表情动画的表情控制模组;由肢体语言动作指令参数结合肢体语言动作预设的控制参数来改变人物骨骼控制器生成相应的人物肢体动作动画的肢体语言动作模组;由行为动作指令参数结合人物骨骼控制模组计算出行为动作相应的骨骼动画资料生成相应的人物行为动作动画的行为动作模组;由语音波形资料分析程序计算出控制人物口形3D点位控制器的参数资料生成和语音对应的人物口形动画的语音自动对嘴模组。本发明用于动画剧本理解、分镜生成创作,为动画制作提供技术支撑。还能用于家庭助手、虚拟医生、酒店服务生等虚拟服务以及培养个性化虚拟伙伴。

Description

3D虚拟服务公开平台系统
技术领域
本发明涉及动画技术领域,具体是3D虚拟服务公开平台系统。
背景技术
随着信息科技与网络通信等多媒体传播媒介种类与技术的提高,以往仅能通过纸笔才能产生著作物的时代已不复存在。无论是文字、音乐、图画或电影等著作物的创作,利用信息科技与网络通信实现早已成为一股无法抵挡的风潮,其中又以利用如工作站、个人计算机等数据处理装置辅助创作最为普遍。
以动画创作为例,动画是通过把人物的表情、动作、变化等分解后画成许多动作瞬间的画幅,再用摄影机连续拍摄成一系列画面,给视觉造成连续变化的图画。它的基本原理与电影、电视一样,都是视觉暂留原理。医学证明人类具有“视觉暂留”的特性,人的眼睛看到一幅画或一个物体后,在0.34秒内不会消失。利用这一原理,在一幅画还没有消失前播放下一幅画,就会给人造成一种流畅的视觉变化效果。动画制作是一项非常繁琐的工作,分工极为细致。通常分为前期制作、中期制作、后期制作。前期制作又包括了企划、作品设定、资金募集等;中期制作包括了分镜、原画、中间画、动画、上色、背景作画、摄影、配音、录音等;后期制作包括剪接、特效、字幕、合成、试映等。
现时的动画已非单纯的静态图画的快速连续播放,必须如同电影拍摄一般利用镜头运作的技巧,以适时适情的表达剧本的内容与导演的意念;但是现在的动画不能通过一段语音或一段文字,虚拟人物就能会自动产生表情、肢体动作,还需要通过复杂的动画创作才能完成,使用不方便。
发明内容
本发明的目的在于提供用于动画剧本理解、分镜生成创作的3D虚拟服务公开平台系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
3D虚拟服务公开平台系统,包括:
表情控制模组:由表情指令参数来改变人物脸部3D点位控制器,生成相应的脸部表情动画;
肢体语言动作模组:由肢体语言动作指令参数结合肢体语言动作预设的控制参数,来改变人物骨骼控制器,生成相应的人物肢体动作动画;
行为动作模组:由行为动作指令参数结合人物骨骼控制模组计算出行为动作相应的骨骼动画资料,生成相应的人物行为动作动画;
语音自动对嘴模组:由语音波形资料分析程序计算出控制人物口形3D点位控制器的参数资料生成和语音对应的人物口形动画。
作为本发明进一步的方案:表情指令参数包括表情编码参数、持续时间参数、对象参数、程度参数。
作为本发明进一步的方案:肢体语言动作指令参数包括肢语动作编码参数、持续时间参数、对象参数、程度参数。
作为本发明进一步的方案:行为动作指令参数包括行为动作编码参数、持续时间参数、对象参数、程度参数。
与现有技术相比,本发明的有益效果是:
本发明通过对语音的理解得到的人物动画控制参数与回应的文字,进行处理后,虚拟人物会自动产生表情、肢体动作、记忆,然后以语音与使用者沟通,用于家庭助手、虚拟医生、教师、酒店服务生等虚拟服务,还能培养自己的个性化虚拟伙伴。特别是对于不会输入文字的老人或小孩,本发明可给予极便利的协助。本发明应用于动画剧本理解、分镜生成创作,还可为专门领域的动画制作提供技术支撑。
附图说明
图1是本发明的工作流程图。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例中,3D虚拟服务公开平台系统,包括:1)表情控制模组:由表情指令参数(有表情编码、持续时间、对象、程度等参数)来改变人物脸部3D点位控制器(即脸部肌肉控制参数),生成相应的脸部表情动画。2)肢体语言动作模组:由肢体语言动作指令参数(有肢语动作编码、持续时间、对象、程度等参数)结合肢体语言动作预设的控制参数,来改变人物骨骼控制器,生成相应的人物肢体动作动画。3)行为动作模组:由行为动作指令参数(有行为动作编码、持续时间、对象、程度等参数)结合人物骨骼控制模组(人物平衡机制、骨骼动力学原理、最省力原则等)计算出行为动作相应的骨骼动画资料,生成相应的人物行为动作动画。4)语音自动对嘴模组:由语音波形资料分析程序计算出控制人物口形3D点位控制器的参数资料生成和语音对应的人物口形动画。
请参阅图1,本发明的工作过程如下所述。
对于一份语音,经过语音识别转换成文字,该文字通过理解服务器进行理解,并分为理解输出的人物动画控制参数与理解回应的文字,经过本发明的处理后输出语音及人物动画。其中人物动画控制参数包括表情指令参数、肢体语言动作指令参数与行为动作指令参数,回应的文字再进行语音合成,表情指令通过表情控制模组进行处理得到相应的脸部表情动画。肢体语言动作指令参数通过肢体语言动作模组处理得到相应的人物肢体动作动画。行为动作指令参数通过行为动作模组进行处理得到相应的人物行为动作动画。回应的文字以及新合成的语音通过语音自动对嘴模组处理得到人物口形动画。例如:肢体语言动作指令参数,走路姿态为例,通过计算最佳路径、脚印贴地、调整姿态得到动画结果。
表情控制模组中的表情基因包括:眉向上、嘴角向外、脸颊向外、舌尖上下、眉向内、嘴角向下、鼻翼向上、舌尖左右、眉向下、嘴角向内、上唇尖向上、嘴向前、上眼皮向上、上唇向上、下唇尖向下、脸颊鼓起、上眼皮向下、上唇向下、嘴张、眉向中挤、下眼皮向内、下唇向上、下巴左右移、嘴角向上、下眼皮向下、下唇向下、舌伸、嘴角相合等。
语音自动对嘴模组中的发声基因包括声母b、p;声母h;声母s;声母m;声母j,q;韵母a;声母f;声母x;韵母o;声母d,t;声母zh,z;韵母e;声母n;声母ch,c;韵母er;声母l;声母sh;韵母i;声母g,k;声母r;韵母u等。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.3D虚拟服务公开平台系统,其特征在于,包括:
表情控制模组:由表情指令参数来改变人物脸部3D点位控制器,生成相应的脸部表情动画;
肢体语言动作模组:由肢体语言动作指令参数结合肢体语言动作预设的控制参数,来改变人物骨骼控制器,生成相应的人物肢体动作动画;
行为动作模组:由行为动作指令参数结合人物骨骼控制模组计算出行为动作相应的骨骼动画资料,生成相应的人物行为动作动画;
语音自动对嘴模组:由语音波形资料分析程序计算出控制人物口形3D点位控制器的参数资料生成和语音对应的人物口形动画。
2.根据权利要求1所述的3D虚拟服务公开平台系统,其特征在于,表情指令参数包括表情编码参数、持续时间参数、对象参数、程度参数。
3.根据权利要求1所述的3D虚拟服务公开平台系统,其特征在于,肢体语言动作指令参数包括肢语动作编码参数、持续时间参数、对象参数、程度参数。
4.根据权利要求1所述的3D虚拟服务公开平台系统,其特征在于,行为动作指令参数包括行为动作编码参数、持续时间参数、对象参数、程度参数。
CN201510433769.7A 2015-07-23 2015-07-23 3d虚拟服务公开平台系统 Pending CN105096366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510433769.7A CN105096366A (zh) 2015-07-23 2015-07-23 3d虚拟服务公开平台系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510433769.7A CN105096366A (zh) 2015-07-23 2015-07-23 3d虚拟服务公开平台系统

Publications (1)

Publication Number Publication Date
CN105096366A true CN105096366A (zh) 2015-11-25

Family

ID=54576700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510433769.7A Pending CN105096366A (zh) 2015-07-23 2015-07-23 3d虚拟服务公开平台系统

Country Status (1)

Country Link
CN (1) CN105096366A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485774A (zh) * 2016-12-30 2017-03-08 当家移动绿色互联网技术集团有限公司 基于语音实时驱动人物模型的表情和姿态的方法
CN108874114A (zh) * 2017-05-08 2018-11-23 腾讯科技(深圳)有限公司 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN111292856A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 交互方法、装置及计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870744A (zh) * 2005-05-25 2006-11-29 冲电气工业株式会社 图像合成装置、通信终端、图像通信系统以及聊天服务器
CN1936889A (zh) * 2005-09-20 2007-03-28 文化传信科技(澳门)有限公司 动画生成系统以及方法
CN101923726A (zh) * 2009-06-09 2010-12-22 华为技术有限公司 一种语音动画生成方法及系统
US20120075424A1 (en) * 2010-09-24 2012-03-29 Hal Laboratory Inc. Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method
CN102693091A (zh) * 2012-05-22 2012-09-26 深圳市环球数码创意科技有限公司 一种三维虚拟角色的实现方法及其系统
CN103729871A (zh) * 2012-10-16 2014-04-16 林世仁 云动漫制作方法
US20140267313A1 (en) * 2013-03-14 2014-09-18 University Of Southern California Generating instructions for nonverbal movements of a virtual character
CN104599309A (zh) * 2015-01-09 2015-05-06 北京科艺有容科技有限责任公司 一种基于元表情的三维动画角色的表情生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870744A (zh) * 2005-05-25 2006-11-29 冲电气工业株式会社 图像合成装置、通信终端、图像通信系统以及聊天服务器
CN1936889A (zh) * 2005-09-20 2007-03-28 文化传信科技(澳门)有限公司 动画生成系统以及方法
CN101923726A (zh) * 2009-06-09 2010-12-22 华为技术有限公司 一种语音动画生成方法及系统
US20120075424A1 (en) * 2010-09-24 2012-03-29 Hal Laboratory Inc. Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method
CN102693091A (zh) * 2012-05-22 2012-09-26 深圳市环球数码创意科技有限公司 一种三维虚拟角色的实现方法及其系统
CN103729871A (zh) * 2012-10-16 2014-04-16 林世仁 云动漫制作方法
US20140267313A1 (en) * 2013-03-14 2014-09-18 University Of Southern California Generating instructions for nonverbal movements of a virtual character
CN104599309A (zh) * 2015-01-09 2015-05-06 北京科艺有容科技有限责任公司 一种基于元表情的三维动画角色的表情生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485774A (zh) * 2016-12-30 2017-03-08 当家移动绿色互联网技术集团有限公司 基于语音实时驱动人物模型的表情和姿态的方法
CN108874114A (zh) * 2017-05-08 2018-11-23 腾讯科技(深圳)有限公司 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN111292856A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 交互方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
McDonald et al. An automated technique for real-time production of lifelike animations of American Sign Language
CN111145322B (zh) 用于驱动虚拟形象的方法、设备和计算机可读存储介质
US9361722B2 (en) Synthetic audiovisual storyteller
Levine et al. Gesture controllers
Françoise et al. Motion-sound mapping through interaction: An approach to user-centered design of auditory feedback using machine learning
Forlizzi et al. The kinedit system: affective messages using dynamic texts
Mattheyses et al. Audiovisual speech synthesis: An overview of the state-of-the-art
US8224652B2 (en) Speech and text driven HMM-based body animation synthesis
WO2021248473A1 (en) Personalized speech-to-video with three-dimensional (3d) skeleton regularization and expressive body poses
WO2007098560A1 (en) An emotion recognition system and method
JP2022518721A (ja) 発話アニメーションのリアルタイム生成
Naert et al. A survey on the animation of signing avatars: From sign representation to utterance synthesis
Wan et al. Photo-realistic expressive text to talking head synthesis.
EP4154093A1 (en) Speech-driven gesture synthesis
Gibbon et al. Audio-visual and multimodal speech-based systems
CN105096366A (zh) 3d虚拟服务公开平台系统
Baldassarri et al. Maxine: A platform for embodied animated agents
Xie et al. A statistical parametric approach to video-realistic text-driven talking avatar
Čereković et al. Multimodal behavior realization for embodied conversational agents
Neff et al. Aesthetic edits for character animation
Tang et al. Real-time conversion from a single 2D face image to a 3D text-driven emotive audio-visual avatar
Neff Hand gesture synthesis for conversational characters
Ma et al. CU Animate tools for enabling conversations with animated characters
Kim et al. ASAP: auto-generating storyboard and previz with virtual humans
Brügmann et al. Phase-based gesture motion parametrization and transitions for conversational agents with mpml3d

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151125

RJ01 Rejection of invention patent application after publication