CN107274465A - 一种虚拟现实的主播方法、装置和系统 - Google Patents

Abstract

本发明公开了一种虚拟现实的主播方法、装置和系统。方法包括以下步骤：创建虚拟的角色，并导入至图形引擎，生成VR主播模型；实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；将所述VR主播模型合成至VR场景。装置包括对应于所述方法各个步骤的模块。系统包括：动捕装置，用于实时捕捉真实演员的肢体动作；面部表情捕捉器，用于捕捉真实演员的面部表情；图形引擎，用于生成和处理角色模型，运算角色模型的物理动力学动作，转换动画视频输出至视频传播软件；特效生成模块，用于协调VR场景，增加特效；用于执行上述方法的应用程序。本发明的方案能有效提高VR主播的临场感和观众互动性。

Description

一种虚拟现实的主播方法、装置和系统

技术领域

本发明涉及视频合成技术领域，尤其涉及一种虚拟现实的主播方法、装置和系统。

背景技术

视频播放表演平台成为时下热门的娱乐媒体。主播们可以在任意的合法场所都可以进行视频直播或者演播。但是现有主播内容比较单调，而且与观众参与感不强，临场感不强。

虚拟现实(VR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，通过电脑等前沿技术，把原本在现实世界中无法体验到的真实与虚幻相结合。模拟仿真后再叠加，将虚幻的角色或物体叠加到真实的世界中，被人类视觉感官所感知，从而达到超越现实的体验。这样就可以将真实环境和虚幻的物体实时地叠加到同一个空间中。

而业界当前还没有出现VR虚拟主播。现有的VR的播放内容单一，缺少与观众的沟通与互动。

发明内容

本发明通过提供一种虚拟现实的主播方法、装置和系统，以解决上述技术问题，提高VR主播的临场感和观众互动性。

本发明采用的技术方案一方面为一种虚拟现实的主播方法，包括以下步骤：A、创建虚拟的3D角色，并导入至图形引擎，生成VR主播模型；B、实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型，其中，所述动作信息包括肢体动作、面部表情和声音；C、将所述VR主播模型合成至VR场景。

进一步，其中所述步骤A包括：根据原画资料，为所述虚拟的3D角色配置人设特性数据，人设特性数据包含职业信息、性格信息或人物背景特性，并且为所述VR主播模型配置贴图、材质和角色动画骨骼。

进一步，其中所述步骤A还包括：将所述VR主播模型及其匹配的3D动画骨骼导入至所述图形引擎中运算骨骼动画。

进一步，其中所述步骤B包括：捕捉所述演员的肢体动作、面部表情和声音，转换为与所述3D角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的VR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述VR主播模型动画的肢体动作、面部表情和声音能够实时同步。

进一步，其中所述步骤B还包括：提取所述演员的骨骼模型，然后导入至所述图形引擎 中，以匹配所述VR主播模型的角色动画骨骼；根据该骨骼模型来实时捕捉和转换演员的肢体动作数据，将实时捕捉的肢体动作数据生成动作控制指令，通过所述图形引擎生成相应的VR主播模型的动作姿态；在VR主播模型的动作姿态之间运算生成肢体动画。

进一步，其中所述步骤B还包括：提取所述演员的面部骨骼，然后导入至所述图形引擎中，以匹配所述VR主播模型的面部骨骼蒙皮；根据该面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的VR主播模型的面部表情形状；在VR主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。

进一步，其中所述步骤C包括：实时地计算摄影机影像的位置及角度，并配置到所述虚拟的角色中，以进行交互及应对拍摄。

本发明的技术方案第二方面为一种虚拟现实的主播装置，包括：第一模块，用于创建虚拟的角色，并导入至图形引擎，生成VR主播模型；第二模块，用于实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；第三模块，将所述VR主播模型合成至VR场景；其中，所述动作信息包括肢体动作、面部表情和声音。

进一步，所述第一模块还包括捕捉模块，用于：捕捉所述演员的肢体动作、面部表情和声音，转换为与所述角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的VR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述VR主播模型动画的肢体动作、面部表情和声音能够实时同步。

本发明的技术方案第三方面为一种虚拟现实的主播系统，包括：动捕装置，用于实时捕捉真实演员的肢体动作；面部表情捕捉器，用于捕捉真实演员的面部表情；图形引擎，用于生成和处理角色模型，运算角色模型的物理动力学动作，转换动画视频输出至视频传播软件；特效生成模块，用于协调VR场景，增加特效；以及应用程序。该应用程序用于执行以下步骤：创建虚拟的角色，并导入至图形引擎，生成VR主播模型；实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；将所述VR主播模型合成至VR场景。

本发明的有益效果为：1)解决了以前主播内容单调，形象呆板无变化的问题；2)解决了主播内容不具有临场感的问题；3)解决了真人形象无法做出违反真实世界定律行为的限制，同时解决了虚拟形象无法实时与人互动交流的问题。

附图说明

图1为根据本发明的实施例的虚拟现实的主播方法的流程图；

图2为根据本发明的实施例中的VR主播模型制作过程的示意图；

图3为根据本发明的实施例中的VR主播骨骼制作过程的示意图；

图4为根据本发明的实施例中的VR主播动力学模型配置过程的示意图；

图5为根据本发明的实施例中的对进行VR实时播放过程的示意图；

图6为根据本发明的实施例中的虚拟现实的主播系统的框图；

图7为根据本发明的具体实施例中的VR主播模型制作过程的示意图；

图8为根据本发明的具体实施例中的VR主播动力学模型配置过程的示意图；

图9为根据本发明的具体实施例中的实时捕捉真实的演员动作信息然后关联和控制所述VR主播模型的示意图；

图10为根据本发明的具体实施例中的VR特效生成画面的示意图。

具体实施方式

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

在下文中，还将参照附图更详细地解释本发明。在所有附图中，相同的附图标记表示相同的特征。

参照图1所示的虚拟现实的主播方法的流程图。该方法包括以下主要步骤：A、创建虚拟的角色，并导入至图形引擎，生成VR主播模型；B、实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型，其中，所述动作信息包括肢体动作、面部表情和声音；C、将所述VR主播模型合成至VR场景。

如图2所示，在主步骤A中包含VR主播模型制作过程：

S201，根据原画资料制作角色模型，为所述虚拟的角色模型配置人设特性数据。人设特性数据包含职业信息、性格信息或人物背景特性。

S202，进行VR主播的初步角色建模。根据实际情况，可以在步骤S204中继续进一步修改，以符合角色人设要求，或者满足新修改的要求。

S203，为所述VR主播模型配置贴图、材质。

如图3所示，在主步骤A中包含VR主播骨骼制作过程：

S301、制作角色的角色动画骨骼；

S302、为所述动画骨骼模型绑定和制作权重。

如图4所示，在主步骤A中还包含VR主播动力学模型配置过程：

S401、分析动力学模型物体，比如角色模型的身体、头发和衣服。这些物体可以使用物理动力学方面的技术，按照物理规律移动。

S402、为所述模型配置动力学参数和动力学应用。

S403、将VR主播模型及其匹配的角色动画骨骼导入至图形引擎中，引导所设的动力学模型物体进行预演动作。根据实际所需，还可以在步骤S404中调整动力学配置和修改动力学模型物体。优选地，所诉图形引擎可以采用先进的次世代游戏引擎。与其它的游戏图形引擎不同，这里采用的游戏引擎不需要第三方软件的支持就能处理物理效果、声音及动画。

进一步，其中所述步骤B包括：捕捉所述演员的肢体动作、面部表情和声音，转换为与所述3D角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的VR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述VR主播模型动画的肢体动作、面部表情和声音能够实时同步。

如图5所示，优选地进行VR实时播放的过程如下：

S501、设置一名演员，为其调整动捕设备，以捕捉其肢体动作、面部表情和声音。演员可以根据事先策划的台词和剧本，进行动作测试和表情测试。这里，需要对演员的声音进行处理，转换为符合所述角色人设的音色。比如，可以将录制演员的声音音调修改。还可以预先选用声优预先录制该角色的基本发音，然后将演员的声音识别出文字，然后再用预先录制该角色的基本发音组合出角色的发音。

S502、与图形引擎进行联调。将捕捉所述演员的肢体动作、面部表情和声音转换为与所述3D角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的VR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述VR主播模型动画的肢体动作、面部表情和声音能够实时同步。如果遇到问题，则返回步骤S501调整动捕设备。

S503、导入场景和灯光文件。用于在虚拟现实的物体附近展现光影效果。优选地，可以预先配置场景参数和灯光参数，然后实时地计算摄影机影像的位置及角度，并配置到所述虚拟的3D角色中，以进行交互。

S504、在播放平台(例如直播平台)中开始播放。让服务端用户看见VR主播加入至VR场景的画面。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作-根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要， 该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

进一步，该方法可以在可操作地连接至合适的断层摄影数据扫描装置的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

具体地参照图6-10，本发明通过一种虚拟现实的主播系统，以实施上述方法。该系统包括应用程序60、图形引擎61、模型创建平台62、动捕装置63、面部表情捕捉器64、摄像设备65、和特效生成模块67。动捕装置63用于实时捕捉真实演员的肢体动作。面部表情捕捉器64用于捕捉真实演员的面部表情。图形引擎61用于生成和处理角色模型，运算角色模型的物理动力学动作，转换动画视频输出至视频传播软件。特效生成模块67，可以整合用于协调场景，增加特效。应用程序60，用于：通过模型创建平台62创建虚拟的角色，并导入至图形引擎61，生成VR主播模型；通过动捕装置63、面部表情捕捉器64和录音设备实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；以及将所述VR主播模型合成至VR场景。

下面通过图7-10进一步描述本发明的优选实施例。

根据本发明的系统首先提供模型创建平台，使用户可以依照原画和人设绘制用于VR合成的虚拟角色1，如图7左边所示。生成角色模型时需要处理各种肢体子模型、头发、衣物，然后配色、贴图和配置材质。接着对角色模型的细节进行调整，使其尽可能达到原设中的神韵。然后制作该角色1对应的虚拟角色骨骼2，绑定到角色模型上，并调整权重，使其有尽可能真实的人类的肌肉感觉。这和骨骼动画的原理类似，由于骨骼系统与模型是相互独立的，为了让骨骼能驱动模型产生合理的变形运动。把模型与骨骼进行关联，发生关系叫绑定。骨 骼以蒙皮控制器为中介，来控制模型的各个面。每个关节对模型的影响范围通过权重来控制和调节。如果想要改变每个关节的影响模型表面的范围，那么可以通过多次改变权重来实现。蒙皮简单地说就是：把模型上的点，匹配到骨骼上，然后用骨骼的运动带动模型运动。优选地，同样还可以采用骨骼蒙皮的方式来制作角色模型的面部表情10，这种方法更灵活，可以轻松实现多种表情。首先为面部模型创建骨骼，例如可以对眉毛、眼皮、脸颊、鼻子、嘴唇、下颚分别创建好骨骼。一侧骨骼创建好后，镜像给另一侧，需要注意的是要有一根主骨骼，这样在刷权重时更方便一些。第二步，依次选择骨骼，然后加选模型，进行蒙皮。然后对骨骼做好动画，以便完成各种表情。

此外，还可以设置角色模型的身体和头发、衣服的物理运动参数。如图8所示，为角色模型1的头发11、领带12、裙13配置摆动参数，例如在风吹的环境下，这些物体可以按照物理运动规律摆动。

然后，将上述VR角色的模型、骨骼以及相应的配置参数导入图形引擎。

如图9所示，使一名真实的演员戴上面部表情捕捉器64，然后穿戴动捕装置63(比如是动作捕捉服)捕捉演员的肢体运动。这里可以采用现有的面部表情实时动捕技术(如业内的Face Moca软件产品)来实施。动捕装置63和面部表情捕捉器64采集的数据传输到图形引擎61，从而关联控制VR角色的模型。如图9中，演员右手摆出“剪刀手”动作和表演卖萌表情后，图形引擎可以运算出面部特征和肢体骨骼特征，然后匹配到VR角色的模型，控制该角色模型做出相应的动作。

在本实施例中，后台演员(图9)“变身”成为虚拟的VR主播(图10)，并不时和现场真实主播以及观众进行互动。本发明的方案能够实现VR主播的即时互动，不需要预先制作好VR动画，获得更好的临场体验。而且，还可以根据动作需要，生成各种虚拟现实的特效，比如图10中的卖萌表情可以触发“闪光”特效。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (10)

1.一种虚拟现实的主播方法，其特征在于，包括以下步骤：

A、创建虚拟的3D角色，并导入至图形引擎，得到VR主播的模型；

B、实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；

C、将所述VR主播模型合成至VR场景；

其中，所述动作信息包括肢体动作、面部表情和声音。

2.根据权利要求1所述的虚拟现实的主播方法，其中所述步骤A包括：

根据原画资料，为所述虚拟的角色配置人设特性数据，人设特性数据包含职业信息、性格信息或人物背景特性，并且为所述VR主播模型配置贴图、材质和角色动画骨骼。

3.根据权利要求2所述的虚拟现实的主播方法，其中所述步骤A还包括：

将所述VR主播模型及其匹配的角色动画骨骼导入至所述图形引擎中运算骨骼动画。

4.根据权利要求1所述的虚拟现实的主播方法，其中所述步骤B包括：

捕捉所述演员的肢体动作、面部表情和声音，转换为与所述角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的VR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述VR主播模型动画的肢体动作、面部表情和声音能够实时同步。

5.根据权利要求4所述的虚拟现实的主播方法，其中所述步骤B还包括：

提取所述演员的骨骼模型，然后导入至所述图形引擎中，以匹配所述VR主播模型的角色动画骨骼；

根据该骨骼模型来实时捕捉和转换演员的肢体动作数据，将实时捕捉的肢体动作数据生成动作控制指令，通过所述图形引擎生成相应的VR主播模型的动作姿态；

在VR主播模型的动作姿态之间运算生成肢体动画。

6.根据权利要求4所述的虚拟现实的主播方法，其中所述步骤B还包括：

提取所述演员的面部骨骼，然后导入至所述图形引擎中，以匹配所述VR主播模型的面部骨骼蒙皮；

根据该面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的VR主播模型的面部表情形状；

在VR主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。

7.根据权利要求1所述的虚拟现实的主播方法，其中所述步骤C包括：

实时地计算摄影机影像的位置及角度，并配置到所述虚拟的3D角色中，以进行交互及应对拍摄。

8.一种虚拟现实的主播装置，其特征在于，包括：

第一模块，用于创建虚拟的3D角色，并导入至图形引擎，生成VR主播模型；

第二模块，用于实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；

第三模块，将所述VR主播模型合成至VR场景；

其中，所述动作信息包括肢体动作、面部表情和声音。

9.根据权利要求8所述的虚拟现实的主播装置，所述第一模块还包括捕捉模块，用于：

捕捉所述演员的肢体动作、面部表情和声音，转换为与所述角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的VR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述VR主播模型动画的肢体动作、面部表情和声音能够实时同步。

10.一种虚拟现实的主播系统，其特征在于，包括：

动捕装置，用于实时捕捉真实演员的肢体动作；

面部表情捕捉器，用于捕捉真实演员的面部表情；

图形引擎，用于生成和处理角色模型，运算角色模型的物理动力学动作，转换动画视频输出至视频传播软件；

特效生成模块，用于协调VR场景，增加特效；以及

应用程序，该应用程序用于执行以下步骤：

创建虚拟的角色，并导入至图形引擎，生成VR主播模型；

实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；

将所述VR主播模型合成至VR场景。