CN108986190A - 一种基于三维动画中非人形角色的虚拟主播的方法和系统 - Google Patents

一种基于三维动画中非人形角色的虚拟主播的方法和系统 Download PDF

Info

Publication number
CN108986190A
CN108986190A CN201810640692.4A CN201810640692A CN108986190A CN 108986190 A CN108986190 A CN 108986190A CN 201810640692 A CN201810640692 A CN 201810640692A CN 108986190 A CN108986190 A CN 108986190A
Authority
CN
China
Prior art keywords
performer
virtual newscaster
file
real
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810640692.4A
Other languages
English (en)
Inventor
周湘君
芦振华
胡文彬
蒋晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jinshan Shiyou Technology Co ltd
Original Assignee
Western Hills Residence Guangzhou Shi You Network Technology Co Ltd
Zhuhai Kingsoft Online Game Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Hills Residence Guangzhou Shi You Network Technology Co Ltd, Zhuhai Kingsoft Online Game Technology Co Ltd filed Critical Western Hills Residence Guangzhou Shi You Network Technology Co Ltd
Priority to CN201810640692.4A priority Critical patent/CN108986190A/zh
Publication of CN108986190A publication Critical patent/CN108986190A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于三维动画中非人形角色的虚拟主播的方法,包括创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动所述非人形虚拟主播的工作模型;将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。本发明还涉及到一种基于三维动画中非人形角色的虚拟主播的装置和系统。本发明的有益效果为:通过实时捕捉演员的动作甚至表情,生成三维动画中非人形角色的动作,提高了虚拟主播过程中与观众的互动性。

Description

一种基于三维动画中非人形角色的虚拟主播的方法和系统
技术领域
本发明涉及动画制作领域,尤其涉及到一种基于三维动画中非人形角色的虚拟主播的方法和系统。
背景技术
随着电子娱乐产业的发展,推销广告和视频主播等相关产业对三维动画的需求量越来越大。其中,推销广告和视频主播等交互性较强的应用领域中,往往需要虚拟主播即使做出相应的动作和/或谈话,以实现与观众的交流互动。
目前,三维动画的制作仍然需要耗费创作人员相当的精力。对于一般的三维动画,除了创建相关的动画场景和设计人物模型外(人物模型可以是人类的形态或者是非人类的形态),还需要设置人物模型的相应动作。为了实现虚拟主播与观众的实时交流互动,创作人员往往预先为人物模型设计多套常用的简单动作(例如摆手、摇头和微笑等),并在进行虚拟主播的过程中由演员根据现场情景选择恰当的动作以实现与观众的实时交流互动。
然而,由于为人物模型预先设计的动作只能是几套常规的简单动作,因此在进行虚拟主播的过程中往往只能上述几套简单动作的重复组合,而且动作与动作之间无法自然地过渡,容易让观众感到机械单调,降低了与观众的互动性。尤其当人物模型是非人类形态时,虽然其可对一些年幼观众产生较大的吸引例,但是由于其本身的非真实性,所以让观众更容易地感到单调重复。
发明内容
本发明提供一种基于三维动画中非人形角色的虚拟主播的方法和系统,通过实时捕捉演员的动作,获得提高虚拟主播的演员与观众实时互动的技术效果。
本发明的技术方案第一方面为一种基于三维动画中非人形角色的虚拟主播的方法,其包括以下步骤:A、创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;B、将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;C、将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动上述非人形虚拟主播的工作模型;D、将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。
进一步地,在上述方法的步骤A中,将三维动画的非人形角色的人设文件直接转换为三维模型文件、贴图文件、面部表情融合文件和动作文件,然后配对相关场景文件。
进一步地,在上述方法的步骤B中,将三维模型文件、贴图文件、面部表情融合文件和动作文件导入到3D实时图形引擎中,并保证可以在三维实时引擎中可以被正常调用。
进一步地,在上述方法的步骤C中,通过演员穿戴的动作捕捉服,捕捉上述演员的肢体动作、面部表情和声音,转换为与上述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎中的相应的非人形虚拟主播模型,并且配置上述演员的肢体动作、面部表情和声音与上述非人形虚拟主播模型动画的肢体动作、面部表情和声音能够实时同步。
进一步地,上述方法的步骤C中还包括以下的子步骤:制作上述演员的面部模型,以匹配上述非人形虚拟主播的面部表情动画;根据该面部骨骼来实时捕捉和转换演员的面部动作数据,将实时捕捉的面部动作数据生成面部表情控制指令,通过上述图形引擎生成相应的非人形虚拟主播模型的面部表情形状;在非人形虚拟主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。
进一步地,上述方法的步骤D中还包括以下的子步骤:当动捕演员在动捕房间中进行表演时,使动作信息实时传输进3D实时图形引擎,生成最终合成画面;通过画面采集卡采集画面通过网络输出到直播平台供用户观看。
进一步地,上述方法还包括以下步骤:使非人形角色的非人类的动作特征与演员的动作捕捉服捕捉的指定肢体动作对应;或者使非人形角色的非人类的动作特征与演员操作动作捕捉服上的输入按键对应。
本发明的技术方案第二方面为一种计算机装置,包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序。上述处理器执行上述程序时实现以下步骤:A、创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;B、将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;C、将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动上述非人形虚拟主播的工作模型;D、将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。
进一步地,在上述装置在执行步骤A时,将三维动画的非人形角色的人设文件直接转换为三维模型文件、贴图文件、面部表情融合文件和动作文件,然后配对相关场景文件。
进一步地,在上述装置在执行步骤B时,将三维模型文件、贴图文件、面部表情融合文件和动作文件导入到3D实时图形引擎中,并保证可以在三维实时引擎中可以被正常调用。
进一步地,在上述装置在执行步骤C时,通过演员穿戴的动作捕捉服,捕捉上述演员的肢体动作、面部表情和声音,转换为与上述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎中的相应的非人形虚拟主播模型,并且配置上述演员的肢体动作、面部表情和声音与上述非人形虚拟主播模型动画的肢体动作、面部表情和声音能够实时同步。
进一步地,上述装置在执行步骤C时还执行以下的子步骤:制作上述演员的面部模型,以匹配上述非人形虚拟主播的面部表情动画;根据该面部骨骼来实时捕捉和转换演员的面部动作数据,将实时捕捉的面部动作数据生成面部表情控制指令,通过上述图形引擎生成相应的非人形虚拟主播模型的面部表情形状;在非人形虚拟主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。
进一步地,上述装置在执行步骤D时还执行以下的子步骤:当动捕演员在动捕房间中进行表演时,使动作信息实时传输进3D实时图形引擎,生成最终合成画面;通过画面采集卡采集画面通过网络输出到直播平台供用户观看。
进一步地,上述装置还执行以下步骤:使非人形角色的非人类的动作特征与演员的动作捕捉服捕捉的指定肢体动作对应;或者使非人形角色的非人类的动作特征与演员操作动作捕捉服上的输入按键对应。
本发明的技术方案第三方面为一种基于三维动画中非人形角色的虚拟主播的系统,其包括:上述计算机装置;为所述计算机装置提供基于三维动画中非人形角色数据的模型动画数据平台;穿戴在演员身上的动作捕捉服;穿戴在演员头部的面部表情捕捉器;用于演员拍摄的摄像设备和灯光系统。
进一步地,在上述系统在执行步骤A时,将三维动画的非人形角色的人设文件直接转换为三维模型文件、贴图文件、面部表情融合文件和动作文件,然后配对相关场景文件。
进一步地,在上述系统在执行步骤B时,将三维模型文件、贴图文件、面部表情融合文件和动作文件导入到3D实时图形引擎中,并保证可以在三维实时引擎中可以被正常调用。
进一步地,在上述系统在执行步骤C时,通过演员穿戴的动作捕捉服,捕捉上述演员的肢体动作、面部表情和声音,转换为与上述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎中的相应的非人形虚拟主播模型,并且配置上述演员的肢体动作、面部表情和声音与上述非人形虚拟主播模型动画的肢体动作、面部表情和声音能够实时同步。
进一步地,上述系统在执行步骤C时还执行以下的子步骤:制作上述演员的面部模型,以匹配上述非人形虚拟主播的面部表情动画;根据该面部骨骼来实时捕捉和转换演员的面部动作数据,将实时捕捉的面部动作数据生成面部表情控制指令,通过上述图形引擎生成相应的非人形虚拟主播模型的面部表情形状;在非人形虚拟主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。
进一步地,上述系统在执行步骤D时还执行以下的子步骤:当动捕演员在动捕房间中进行表演时,使动作信息实时传输进3D实时图形引擎,生成最终合成画面;通过画面采集卡采集画面通过网络输出到直播平台供用户观看。
进一步地,上述系统还执行以下步骤:使非人形角色的非人类的动作特征与演员的动作捕捉服捕捉的指定肢体动作对应;或者使非人形角色的非人类的动作特征与演员操作动作捕捉服上的输入按键对应。
本发明的技术方案第四方面为一种计算机可读存储介质,其上储存有计算机程序,上述计算机程序被处理器执行时实现以下步骤:A、创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;B、将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;C、将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动上述非人形虚拟主播的工作模型;D、将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。
进一步地,在上述计算机程序被处理器执行步骤A时,将三维动画的非人形角色的人设文件直接转换为三维模型文件、贴图文件、面部表情融合文件和动作文件,然后配对相关场景文件。
进一步地,在上述计算机程序被处理器执行步骤B时,将三维模型文件、贴图文件、面部表情融合文件和动作文件导入到3D实时图形引擎中,并保证可以在三维实时引擎中可以被正常调用。
进一步地,在上述计算机程序被处理器执行步骤C时,通过演员穿戴的动作捕捉服,捕捉上述演员的肢体动作、面部表情和声音,转换为与上述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎中的相应的非人形虚拟主播模型,并且配置上述演员的肢体动作、面部表情和声音与上述非人形虚拟主播模型动画的肢体动作、面部表情和声音能够实时同步。
进一步地,上述计算机程序被处理器执行步骤C时还执行以下的子步骤:制作上述演员的面部模型,以匹配上述非人形虚拟主播的面部表情动画;根据该面部骨骼来实时捕捉和转换演员的面部动作数据,将实时捕捉的面部动作数据生成面部表情控制指令,通过上述图形引擎生成相应的非人形虚拟主播模型的面部表情形状;在非人形虚拟主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。
进一步地,上述计算机程序被处理器执行步骤D时还执行以下的子步骤:当动捕演员在动捕房间中进行表演时,使动作信息实时传输进3D实时图形引擎,生成最终合成画面;通过画面采集卡采集画面通过网络输出到直播平台供用户观看。
进一步地,上述计算机程序还被处理器执行以下步骤:使非人形角色的非人类的动作特征与演员的动作捕捉服捕捉的指定肢体动作对应;或者使非人形角色的非人类的动作特征与演员操作动作捕捉服上的输入按键对应。
本发明的有益效果为:通过实时捕捉演员的动作甚至表情,生成三维动画中非人形角色的动作,提高了虚拟主播过程中与观众的互动性。
附图说明
图1所示为根据本发明的方法的总体流程图。
图2所示为制作三维动画中非人形虚拟主播的模型、贴图和定义动作的示意图。
图3所示为根据本发明的系统的结构框图。
图4所示为根据本发明的实施例的示意图。
图5和图6所示为根据本发明的应用场景示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、方案和效果。
需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。此外,除非另有定义,本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本公开范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例,并且除非另外要求,否则不会对本发明的范围施加限制。
参考图1,根据本发明的方法,包括以下步骤:
A、创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;
B、将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;
C、将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动所述非人形虚拟主播的工作模型;
D、将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。
在步骤A中,将三维动画的非人形角色的人设文件直接转换为三维模型文件、贴图文件、面部表情融合文件和动作文件,然后配对相关场景文件。如图2所示,根据三维动画里面的角色,先在3DMAX或MAYA中制作非人形虚拟主播的动画角色原始模型11,接着可以绘制三维动画角色贴图模型12,然后可以保存在模型动画数据平台62中供调用。
在步骤B中,将三维模型文件、贴图文件、面部表情融合文件和动作文件导入到3D实时图形引擎61中,并保证可以在三维实时引擎中可以被正常调用。
在步骤C中,制作所述演员的面部模型,以匹配所述非人形虚拟主播的面部表情动画;根据该面部骨骼来实时捕捉和转换演员的面部动作数据,将实时捕捉的面部动作数据生成面部表情控制指令,通过所述图形引擎61生成相应的非人形虚拟主播模型的面部表情形状;在非人形虚拟主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。此外,可以通过演员穿戴的动作捕捉服63,捕捉所述演员的肢体动作、面部表情和声音,转换为与所述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎61中的相应的非人形虚拟主播模型,并且配置所述演员的肢体动作、面部表情和声音与所述非人形虚拟主播模型动画的肢体动作、面部表情和声音能够实时同步。
在一些实施例中,因为非人形动画角色1(比如龙类的动画角色1、鸟类的角色等)与人体的体态特征不同,此时需要将演员的动作与角色的某些动作进行指定。可以使非人形角色的非人类的动作特征与演员的动作捕捉服63捕捉的指定肢体动作对应;或者使非人形角色的非人类的动作特征与演员操作动作捕捉服63上的输入按键对应。
在步骤D中,当动捕演员在动捕房间中进行表演时,使动作信息实时传输进3D实时图形引擎61,生成最终合成画面;通过画面采集卡采集画面通过网络输出到直播平台供用户观看。
图3所示为根据本发明的系统的结构框图。该系统包括应用程序60、图形引擎61、模型动画数据平台62、动作捕捉服63、面部表情捕捉器64、摄像设备65、灯光系统66等。动作捕捉服63用于实时捕捉真实演员的肢体动作。面部表情捕捉器64用于捕捉真实演员的面部表情。图形引擎61用于生成和处理3D角色模型,运算3D角色模型的物理动力学动作,转换动画视频输出至视频传播软件。灯光系统66和特效生成模块,可以整合用于协调灯光和场景,增加特效。应用程序60用于执行上述步骤A-D。
下面通过图4至图6进一步描述本发明的优选实施例。
如图4所示,使一名真实的演员戴上面部表情捕捉器64,然后通过穿戴的动作捕捉服63来捕捉演员的肢体运动。动作捕捉服63和面部表情捕捉器64采集的数据传输到图形引擎61(比如是3D实时引擎),从而关联控制AR角色的角色模型。如图4中,演员右手摆出“双举手”动作和微笑的表情后,图形引擎61可以运算出面部特征和肢体动作特征,然后分别匹配到三维非人型角色的面部特征匹配模型31和肢体特征匹配模型32,控制该角色模型做出相应的微笑表情和举手动作,然后实时生成三维动画角色动态合成图像33。
图5示出了一个双主播的实施例的现场拍摄示意图。其中有一名真实的主播在左边。在右边留有空位给虚拟的非人形虚拟主播。开始直播后,现场真实主播可以根据事前定好的剧本和对白、进行播放。后台演员“变身”成为虚拟的非人形虚拟主播(如图6所示),并不时和现场真实主播以及观众进行互动。本发明的方案能够实现非人形虚拟主播的即时互动,不需要预先制作好AR动画,获得更好的临场体验。比如,演员可以在后台举手跟观众问好,前台显示的虚拟三维角色也跟着举手问好;软件还可以将演员的声音转换为三维人形角色的声音。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于三维动画中非人形角色的虚拟主播的方法,其特征在于,所述方法包括以下步骤:
A、创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;
B、将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;
C、将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动所述非人形虚拟主播的工作模型;
D、将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。
2.根据权利要求1所述的方法,其特征在于,所述步骤A包括:
将三维动画的非人形角色的人设文件直接转换为三维模型文件、贴图文件、面部表情融合文件和动作文件,然后配对相关场景文件。
3.根据权利要求2所述的方法,其特征在于,所述步骤B包括:
将三维模型文件、贴图文件、面部表情融合文件和动作文件导入到3D实时图形引擎中,并保证可以在三维实时引擎中可以被正常调用。
4.根据权利要求1所述的方法,其特征在于,所述步骤C包括:
通过演员穿戴的动作捕捉服,捕捉所述演员的肢体动作、面部表情和声音,转换为与所述虚拟现实主播角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据,然后关联至图形引擎中的相应的非人形虚拟主播模型,并且配置所述演员的肢体动作、面部表情和声音与所述非人形虚拟主播模型动画的肢体动作、面部表情和声音能够实时同步。
5.根据权利要求1所述的方法,其特征在于,所述步骤C包括:
制作所述演员的面部模型,以匹配所述非人形虚拟主播的面部表情动画;
根据该面部骨骼来实时捕捉和转换演员的面部动作数据,将实时捕捉的面部动作数据生成面部表情控制指令,通过所述图形引擎生成相应的非人形虚拟主播模型的面部表情形状;
在非人形虚拟主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。
6.根据权利要求1所述的方法,其特征在于,所述步骤D包括:
当动捕演员在动捕房间中进行表演时,使动作信息实时传输进3D实时图形引擎,生成最终合成画面;
通过画面采集卡采集画面通过网络输出到直播平台供用户观看。
7.根据权利要求1所述的方法,其特征在于,还包括:
使非人形角色的非人类的动作特征与演员的动作捕捉服捕捉的指定肢体动作对应;或者使非人形角色的非人类的动作特征与演员操作动作捕捉服上的输入按键对应。
8.一种计算机装置,包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现以下步骤:
A、创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;
B、将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;
C、将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动所述非人形虚拟主播的工作模型;
D、将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。
9.一种基于三维动画中非人形角色的虚拟主播的系统,包括:
根据权利要求8所述的计算机装置;
为所述计算机装置提供基于三维动画中非人形角色数据的模型动画数据平台(62);
穿戴在演员身上的动作捕捉服(63);
穿戴在演员头部的面部表情捕捉器(64);
用于演员拍摄的摄像设备(65)和灯光系统(66)。
10.一种计算机可读存储介质,其上储存有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
A、创建三维动画中非人形虚拟主播的三维模型,加入贴图文件,建立动作模型;
B、将三维动画中的非人形虚拟主播的相关创建的数据文件导入到三维实时引擎中;
C、将动捕演员匹配到非人形虚拟主播,实时捕捉真实的演员动作信息,然后关联和驱动所述非人形虚拟主播的工作模型;
D、将非人形角色的虚拟主播的实时合成动画叠加至录制的视频画面,并直播传输。
CN201810640692.4A 2018-06-21 2018-06-21 一种基于三维动画中非人形角色的虚拟主播的方法和系统 Pending CN108986190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810640692.4A CN108986190A (zh) 2018-06-21 2018-06-21 一种基于三维动画中非人形角色的虚拟主播的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810640692.4A CN108986190A (zh) 2018-06-21 2018-06-21 一种基于三维动画中非人形角色的虚拟主播的方法和系统

Publications (1)

Publication Number Publication Date
CN108986190A true CN108986190A (zh) 2018-12-11

Family

ID=64541565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810640692.4A Pending CN108986190A (zh) 2018-06-21 2018-06-21 一种基于三维动画中非人形角色的虚拟主播的方法和系统

Country Status (1)

Country Link
CN (1) CN108986190A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085244A (zh) * 2019-05-05 2019-08-02 广州虎牙信息科技有限公司 直播互动方法、装置、电子设备及可读存储介质
CN110379259A (zh) * 2019-08-07 2019-10-25 泉州师范学院 基于动作捕捉的演员培训方法
CN110490956A (zh) * 2019-08-14 2019-11-22 北京金山安全软件有限公司 动效素材生成方法、装置、电子设备和存储介质
CN111063024A (zh) * 2019-12-11 2020-04-24 腾讯科技(深圳)有限公司 三维虚拟人驱动方法、装置、电子设备及存储介质
CN111179392A (zh) * 2019-12-19 2020-05-19 武汉西山艺创文化有限公司 一种基于5g通信的虚拟偶像综艺直播的方法及系统
CN111311712A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频帧处理方法和装置
CN112241203A (zh) * 2020-10-21 2021-01-19 广州博冠信息科技有限公司 三维虚拟角色的控制装置及方法、存储介质及电子设备
CN113473159A (zh) * 2020-03-11 2021-10-01 广州虎牙科技有限公司 数字人直播方法、装置、直播管理设备及可读存储介质
CN114051148A (zh) * 2021-11-10 2022-02-15 拓胜(北京)科技发展有限公司 一种虚拟主播生成方法、装置及电子设备
WO2022062678A1 (zh) * 2020-09-25 2022-03-31 魔珐(上海)信息科技有限公司 虚拟直播方法、装置、系统及存储介质
CN114979683A (zh) * 2022-04-21 2022-08-30 澳克多普有限公司 多平台智能主播的应用方法及系统
CN115619912A (zh) * 2022-10-27 2023-01-17 深圳市诸葛瓜科技有限公司 一种基于虚拟现实技术的动漫人物展示系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101636745A (zh) * 2006-12-29 2010-01-27 格斯图尔泰克股份有限公司 使用增强型交互系统操纵虚拟对象
CN102340690A (zh) * 2011-09-13 2012-02-01 苏州美娱网络科技有限公司 一种互动电视节目系统及实现方法
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法
CN104658038A (zh) * 2015-03-12 2015-05-27 南京梦宇三维技术有限公司 基于动作捕捉的三维数字内容智能制作方法及制作系统
CN104867176A (zh) * 2015-05-05 2015-08-26 中国科学院自动化研究所 一种基于Cryengine的互动式虚拟演绎系统
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN107170030A (zh) * 2017-05-31 2017-09-15 珠海金山网络游戏科技有限公司 一种虚拟主播直播方法及系统
CN107248195A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种增强现实的主播方法、装置和系统
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和系统
CN107274465A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的主播方法、装置和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101636745A (zh) * 2006-12-29 2010-01-27 格斯图尔泰克股份有限公司 使用增强型交互系统操纵虚拟对象
CN102340690A (zh) * 2011-09-13 2012-02-01 苏州美娱网络科技有限公司 一种互动电视节目系统及实现方法
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法
CN104658038A (zh) * 2015-03-12 2015-05-27 南京梦宇三维技术有限公司 基于动作捕捉的三维数字内容智能制作方法及制作系统
CN104867176A (zh) * 2015-05-05 2015-08-26 中国科学院自动化研究所 一种基于Cryengine的互动式虚拟演绎系统
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN107170030A (zh) * 2017-05-31 2017-09-15 珠海金山网络游戏科技有限公司 一种虚拟主播直播方法及系统
CN107248195A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种增强现实的主播方法、装置和系统
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和系统
CN107274465A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的主播方法、装置和系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110085244A (zh) * 2019-05-05 2019-08-02 广州虎牙信息科技有限公司 直播互动方法、装置、电子设备及可读存储介质
CN110379259A (zh) * 2019-08-07 2019-10-25 泉州师范学院 基于动作捕捉的演员培训方法
CN110379259B (zh) * 2019-08-07 2024-01-26 泉州师范学院 基于动作捕捉的演员培训方法
CN110490956A (zh) * 2019-08-14 2019-11-22 北京金山安全软件有限公司 动效素材生成方法、装置、电子设备和存储介质
CN111063024A (zh) * 2019-12-11 2020-04-24 腾讯科技(深圳)有限公司 三维虚拟人驱动方法、装置、电子设备及存储介质
CN111179392A (zh) * 2019-12-19 2020-05-19 武汉西山艺创文化有限公司 一种基于5g通信的虚拟偶像综艺直播的方法及系统
CN111311712A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频帧处理方法和装置
CN113473159A (zh) * 2020-03-11 2021-10-01 广州虎牙科技有限公司 数字人直播方法、装置、直播管理设备及可读存储介质
CN113473159B (zh) * 2020-03-11 2023-08-18 广州虎牙科技有限公司 数字人直播方法、装置、直播管理设备及可读存储介质
WO2022062678A1 (zh) * 2020-09-25 2022-03-31 魔珐(上海)信息科技有限公司 虚拟直播方法、装置、系统及存储介质
US11785267B1 (en) 2020-09-25 2023-10-10 Mofa (Shanghai) Information Technology Co., Ltd. Virtual livestreaming method, apparatus, system, and storage medium
CN112241203A (zh) * 2020-10-21 2021-01-19 广州博冠信息科技有限公司 三维虚拟角色的控制装置及方法、存储介质及电子设备
CN114051148A (zh) * 2021-11-10 2022-02-15 拓胜(北京)科技发展有限公司 一种虚拟主播生成方法、装置及电子设备
CN114979683A (zh) * 2022-04-21 2022-08-30 澳克多普有限公司 多平台智能主播的应用方法及系统
CN115619912A (zh) * 2022-10-27 2023-01-17 深圳市诸葛瓜科技有限公司 一种基于虚拟现实技术的动漫人物展示系统及方法

Similar Documents

Publication Publication Date Title
CN108986190A (zh) 一种基于三维动画中非人形角色的虚拟主播的方法和系统
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和系统
CN108961367A (zh) 三维虚拟偶像直播中角色形象变形的方法、系统及装置
CN111968207B (zh) 动画生成方法、装置、系统及存储介质
CN107274464A (zh) 一种实时交互3d动画的方法、装置和系统
CN107274466A (zh) 一种实时全身动作捕捉的方法、装置和系统
US9196074B1 (en) Refining facial animation models
CN107231531A (zh) 一种网络虚拟现实技术与实拍结合影视制作系统
CN107197385A (zh) 一种实时虚拟偶像直播方法及系统
CN107248185A (zh) 一种虚拟仿真偶像实时直播方法及系统
CN108810561A (zh) 一种基于人工智能的三维偶像直播方法及装置
CN108961368A (zh) 三维动画环境中实时直播综艺节目的方法和系统
CN108961376A (zh) 虚拟偶像直播中实时绘制三维场景的方法及系统
US11170523B2 (en) Analyzing screen coverage
CN111179392A (zh) 一种基于5g通信的虚拟偶像综艺直播的方法及系统
CN110503707A (zh) 一种真人动作捕捉实时动画系统及其方法
CN114419204A (zh) 一种视频生成方法、装置、设备和存储介质
US20220050497A1 (en) Wearable article with conduits for a performance capture system
CN108848286A (zh) 基于威亚辅助设备的三维虚拟偶像直播方法、装置及系统
CN115631287A (zh) 一种虚拟舞台人物数字化展现系统
CN116503522A (zh) 互动画面的渲染方法、装置、设备、存储介质及程序产品
US20220076409A1 (en) Systems and Methods for Building a Skin-to-Muscle Transformation in Computer Animation
CN108122273A (zh) 一种数字动漫生成系统及方法
Huang et al. A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection
US11450054B2 (en) Method for operating a character rig in an image-generation system using constraints on reference nodes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 519000 building 3, Jinshan Software Park, 325 Qiandao Ring Road, Xiangzhou District, Zhuhai City, Guangdong Province

Applicant after: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd.

Applicant after: Guangzhou Xishanju Network Technology Co.,Ltd.

Address before: 519000 building 3, Jinshan Software Park, 325 Qiandao Ring Road, Xiangzhou District, Zhuhai City, Guangdong Province

Applicant before: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd.

Applicant before: GUANGZHOU SEASUN ENTERTAINMENT NETWORK TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20211220

Address after: 430000 Room 408, floor 4, building B24, phase 2.7, financial background service center base construction project, No. 77, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Applicant after: Wuhan Jinshan Shiyou Technology Co.,Ltd.

Address before: 519000 building 3, Jinshan Software Park, 325 Qiandao Ring Road, Xiangzhou District, Zhuhai City, Guangdong Province

Applicant before: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd.

Applicant before: Guangzhou Xishanju Network Technology Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211