CN107170030A - 一种虚拟主播直播方法及系统 - Google Patents

Abstract

本发明公开了一种虚拟主播直播方法及系统，该系统包括模型创建模块、数据关联模块及直播模块。该方法包括基于主播角色设定信息来得到虚拟主播角色模型；实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作；将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。通过使用本发明，能以任何形式的虚拟角色作为主播来进行直播，提高观众的交互体验感。本发明作为一种虚拟主播直播方法及系统可广泛应用于直播领域中。

Description

一种虚拟主播直播方法及系统

技术领域

本发明涉及动画技术和网络直播技术，尤其涉及一种虚拟主播直播方法及系统。

背景技术

网络直播吸取和延续了互联网的优势，利用视频方式进行网上现场直播，主播(可为演员、群众)可以将自己的故事演播、与观众对话、演唱歌曲、表演舞蹈等内容现场实时发布到互联网上进行实时播放，这一主播直播方式具有直观、快速、表现形式好、内容丰富、交互性强、地域不受限制等优点，因此，这一主播直播方式目前非常受广大群众欢迎及喜爱。然而，目前这一主播直播方式，其仅以真人来进行主播，表现形式单一，这样不仅会令观众的交互体验感低下，而且还不利于网络直播平台的市场推广和扩展。

发明内容

为了解决上述技术问题，本发明的目的是提供一种虚拟主播直播方法，能以任何形式的虚拟角色作为主播来进行网络直播，提高交互体验感。

本发明的另一目的是提供一种虚拟主播直播系统，，能以任何形式的虚拟角色作为主播来进行网络直播，提高交互体验感。

本发明所采用的技术方案是：一种虚拟主播直播方法，该方法包括的步骤有：

采用预设的主播角色设定信息来创建虚拟主播角色，将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作；

将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。

进一步，所述采用预设的主播角色设定信息来创建虚拟主播角色这一步骤，其具体包括：

设定主播角色的原画、文案和脚本；

根据主播角色的原画，制作出虚拟主播的初始角色模型，然后为初始角色模型配置贴图和材质后得到所需的虚拟主播的角色模型；

为虚拟主播的角色模型配置相对应的角色动画骨骼后，将虚拟主播的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟主播角色的创建。

进一步，所述将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型这一步骤，其具体包括：

将虚拟主播的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并为虚拟主播的角色模型配置相对应的材质和程序插件，从而得到虚拟主播角色模型。

进一步，所述采用预设的主播角色设定信息来创建虚拟主播角色这一步骤，其还包括：

为虚拟主播的角色模型配置基于物理动力学而制作出的服装。

进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述实时采集动作者的动作数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作这一步骤，其具体包括：

利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

将肢体动作数据与虚拟主播角色模型进行肢体动作关联，将面部表情动作数据与虚拟主播角色模型进行面部动作关联，令虚拟主播角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

本发明所采用的另一技术方案是：一种虚拟主播直播系统，该系统包括：

模型创建模块，用于采用预设的主播角色设定信息来创建虚拟主播角色，将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。

进一步，所述模型创建模块具体包括有：

设定子模块，用于设定主播角色的原画、文案和脚本；

模型制作子模块，用于根据主播角色的原画，制作出虚拟主播的初始角色模型，然后为初始角色模型配置贴图和材质后得到所需的虚拟主播的角色模型；

角色创建子模块，用于为虚拟主播的角色模型配置相对应的角色动画骨骼后，将虚拟主播的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟主播角色的创建；

模型生成子模块，用于将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型。

进一步，所述模型生成子模块具体用于将虚拟主播的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并为虚拟主播的角色模型配置相对应的材质和程序插件，从而得到虚拟主播角色模型。

进一步，所述模型创建模块具体还包括有用于为虚拟主播的角色模型配置基于物理动力学而制作出的服装的配置子模块。

进一步，所述动作数据包括有肢体动作数据和面部表情动作数据，所述数据关联模块具体包括：

第一数据采集模块，用于实时采集声音数据；

第二数据采集模块，用于利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

第三数据采集模块，用于利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

关联控制子模块，用于将肢体动作数据与虚拟主播角色模型进行肢体动作关联，将面部表情动作数据与虚拟主播角色模型进行面部动作关联，令虚拟主播角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

本发明的有益效果是：本发明的方法通过实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作，然后将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。由此可见，本发明的方法能够以任何形式的虚拟角色作为主播来进行直播，提高观众的交互体验感，令主播者更容易受到观众的喜爱，而且还能令直播平台的主播互动方式多样化，提高直播平台的商用价值性，有利于直播平台的市场推广和扩展。此外，通过实时采集动作者的动作数据来控制驱动虚拟主播角色模型执行相对应的动作，能够解决传统CG动画角色动作僵硬不流畅、面部表情僵硬、角色制作周期长难以实现实时观看等问题。

本发明的另一有益效果是：本发明的系统通过模型创建模块采用预设的主播角色设定信息来得到虚拟主播角色模型，然后利用数据关联模块来将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作，接着通过直播模块将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。由此可见，本发明的系统能够以任何形式的虚拟角色作为主播来进行直播，提高观众的交互体验感，令主播者更容易受到观众的喜爱，而且还能令直播平台的主播互动方式多样化，提高直播平台的商用价值性，有利于直播平台的市场推广和扩展。此外，通过实时采集动作者的动作数据来控制驱动虚拟主播角色模型执行相对应的动作，能够解决传统CG动画角色动作僵硬不流畅、面部表情僵硬、角色制作周期长难以实现实时观看等问题。

附图说明

图1是本发明一种虚拟主播直播方法的步骤流程示意图；

图2是本发明一种虚拟主播直播系统的结构框图；

图3是本发明一种虚拟主播直播方法一具体实施例步骤流程示意图；

图4是虚拟主播角色的创建步骤流程示意图；

图5是角色动画骨骼制作流程示意图；

图6是基于物理动力学进行制作的流程示意图；

图7是以虚拟主播进行实时直播过程的示意图。

具体实施方式

如图1所示，一种虚拟主播直播方法，该方法包括的步骤有：

采用预设的主播角色设定信息来创建虚拟主播角色，将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作；

将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。

如图2所示，一种虚拟主播直播系统，该系统包括：

模型创建模块，用于采用预设的主播角色设定信息来创建虚拟主播角色，将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。对于所述模型生成模块、数据关联模块以及直播模块，其可为应用程序模块，也为可硬件设备，如处理器等。

结合以下实施例来对本发明进行详细阐述。

如图3所示，一种虚拟主播直播方法具体步骤如下所示。

S1：制作步骤，其包括的步骤如下所示。

S101、制作虚拟主播美术资源：根据预设的主播角色设定信息，在游戏软件中制作出虚拟主播的角色模型；

如图4所示，所述步骤S101包括有：

S1011、设定主播角色的原画、文案和脚本；

S1012、根据主播角色的原画制作虚拟主播角色；

S1013、在MAYA或3D MAX等3D软件中制作虚拟主播的初始角色模型；

S1014、为虚拟主播的初始角色模型配置贴图和材质后得到所需的虚拟主播的角色模型；

优选地，为了令创建的虚拟主播的角色模型更为精细和符合原画的设定，设置步骤S1015，所述步骤S1015为：对初始角色模型或主播角色进行细节修改，以满足角色模型制作要求和/或主播角色的设定要求；

S102、制作虚拟主播骨骼系统：为虚拟主播的角色模型配置相对应的角色动画骨骼后，将虚拟主播的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟主播角色的创建；

如图5所示，所述步骤S102包括有：

S1021、制作出与虚拟主播的角色模型相对应的角色动画骨骼；

S1022、将虚拟主播的角色模型与角色动画骨骼进行绑定以及权重配置，并进行细化和整理，最终完成虚拟主播角色的制作。

作为上述制作步骤的优选实施方式，为了提高虚拟主播的真实感，所述步骤S1中还可包括有步骤S103，其为，为虚拟主播的角色模型配置基于物理动力学而制作出的物体，如服装；

如图6所示，所述步骤S103包括有：

S1031、分析动力学模型物体，如虚拟主播的身体、头发和服装，令这些物体利用物理动力学技术，按照物理规律移动；

S1032、在本实施例中，虚拟主播的角色模型加入基于物理动力学而制作出的服装，即加入动力学物体模型；

S1033、将其导入图形引擎来确认效果；

为了符合虚拟主播的设定要求，所述步骤S103中还包括有步骤S1034，对基于物理动力学而制作出的服装模型进行调整修改。

作为本实施例的优选实施方式，所述图形引擎(游戏图形引擎)可以采用先进的次世代游戏引擎来实现。与其它的游戏图形引擎不同，本实施例中所述采用图形引擎无需第三方软件的支持便能处理物理效果、声音及动画。

S2：生成步骤。

S201、将虚拟主播的角色模型、角色动画骨骼、基于物理动力学而制作出的服装导入游戏图形引擎中进行整合处理，并为虚拟主播的角色模型配置相对应的材质和程序插件，从而得到虚拟主播角色模型。

S3：以创建的虚拟主播来实现网络直播步骤。

如图7所示，所述步骤S3包括：

S301、邀请一名演员或普通主播者，即动作者，令其穿戴上动作捕捉装置和面部表情捕捉器，并调整捕捉设备，同时也对虚拟主播直播系统中的硬件环境进行调试；

S302、捕捉演员的肢体动作数据和面部表情动作数据，将肢体动作数据与虚拟主播角色模型进行肢体动作关联，将面部表情动作数据与虚拟主播角色模型进行面部动作关联，令虚拟主播角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作，实现根据捕捉到的动作数据来实时驱动控制虚拟主播角色模型执行相应动作；

其中，对于将面部表情动作数据与虚拟主播角色模型进行面部动作关联，令虚拟主播角色模型按照面部表情动作数据执行相应的面部表情动作，其具体采用真实表情系统来实现，这样在进行真实面部表情动作捕捉时，无需任何标记点或油漆标志来进行面部标定，可通过跟踪和分析面部的嘴唇、眉毛、眼睛和眼珠等肌肉运动来生成表情动画，令虚拟主播角色模型与真实动作者进行实时表情联动；

S303、导入用户所选择的场景文件、灯光文件和/或音乐文件；

S304、开始直播时，将实现关联控制的虚拟主播角色模型、采集到的动作者的声音数据、场景、灯光、音乐叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，通过图形引擎，将实时生成的虚拟主播角色视频画面进行直播，从而达到演员/主播者按照定好的剧本和对白来进行实时演播，并且可与观众进行互动的效果。优选地，所述步骤S3还包括步骤S305，当设备调试和与图像引擎进行联调时出现问题，继续执行步骤S301和步骤S302，进行设备的调整以及与引擎进行联调。

作为本实施例的优选实施方式，所述灯光以真实光照技术来将光影效果完美展现在虚拟主播角色视频画面中，并将受到直接光源和全局光的共同作用展现出来。

作为本实施例的优选实施方式，所述场景通过虚拟场景技术实现，在游戏图形软件中制作出3D场景，将该场景文件导入游戏图形引擎中可实时渲染出高品质的场景画面。

由上述可得，本发明的方法及系统所具有的优点有：

1、能够以任何形式的虚拟角色作为主播来进行网络直播，提高观众的交互体验感，令主播者更容易受到观众的喜爱；

2、解决传统CG动画角色动作僵硬不流畅、面部表情僵硬问题；

3、解决传统主播直播内容单调问题；

4、解决传统CG动画角色制作成本高、制作周期长而无法实现实时直播的问题；

5、解决传统虚拟主播缺乏互动问题。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种虚拟主播直播方法，其特征在于：该方法包括的步骤有：

采用预设的主播角色设定信息来创建虚拟主播角色，将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型；

实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作；

将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。

2.根据权利要求1所述一种虚拟主播直播方法，其特征在于：所述采用预设的主播角色设定信息来创建虚拟主播角色这一步骤，其具体包括：

设定主播角色的原画、文案和脚本；

根据主播角色的原画，制作出虚拟主播的初始角色模型，然后为初始角色模型配置贴图和材质后得到所需的虚拟主播的角色模型；

为虚拟主播的角色模型配置相对应的角色动画骨骼后，将虚拟主播的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟主播角色的创建。

3.根据权利要求2所述一种虚拟主播直播方法，其特征在于：所述将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型这一步骤，其具体包括：

将虚拟主播的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并为虚拟主播的角色模型配置相对应的材质和程序插件，从而得到虚拟主播角色模型。

4.根据权利要求2或3所述一种虚拟主播直播方法，其特征在于：所述采用预设的主播角色设定信息来创建虚拟主播角色这一步骤，其还包括：

为虚拟主播的角色模型配置基于物理动力学而制作出的服装。

5.根据权利要求3所述一种虚拟主播直播方法，其特征在于：所述动作数据包括有肢体动作数据和面部表情动作数据，所述实时采集动作者的动作数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作这一步骤，其具体包括：

利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

将肢体动作数据与虚拟主播角色模型进行肢体动作关联，将面部表情动作数据与虚拟主播角色模型进行面部动作关联，令虚拟主播角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。

6.一种虚拟主播直播系统，其特征在于：该系统包括：

模型创建模块，用于采用预设的主播角色设定信息来创建虚拟主播角色，将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型；

数据关联模块，用于实时采集动作者的动作数据以及声音数据，将采集到的动作数据与虚拟主播角色模型进行关联，令虚拟主播角色模型按照动作数据执行相应动作；

直播模块，用于将虚拟主播角色模型和声音数据叠加至摄录的视频画面中后合成得到虚拟主播角色视频画面，然后将实时生成的虚拟主播角色视频画面进行直播。

7.根据权利要求6所述一种虚拟主播直播系统，其特征在于：所述模型创建模块具体包括有：

设定子模块，用于设定主播角色的原画、文案和脚本；

模型制作子模块，用于根据主播角色的原画，制作出虚拟主播的初始角色模型，然后为初始角色模型配置贴图和材质后得到所需的虚拟主播的角色模型；

角色创建子模块，用于为虚拟主播的角色模型配置相对应的角色动画骨骼后，将虚拟主播的角色模型与角色动画骨骼进行绑定以及权重配置，从而完成虚拟主播角色的创建；

模型生成子模块，用于将创建的虚拟主播角色导入图形引擎中得到虚拟主播角色模型。

8.根据权利要求7所述一种虚拟主播直播系统，其特征在于：所述模型生成子模块具体用于将虚拟主播的角色模型与角色动画骨骼导入图形引擎中进行整合处理，并为虚拟主播的角色模型配置相对应的材质和程序插件，从而得到虚拟主播角色模型。

9.根据权利要求7或8所述一种虚拟主播直播系统，其特征在于：所述模型创建模块具体还包括有用于为虚拟主播的角色模型配置基于物理动力学而制作出的服装的配置子模块。

10.根据权利要求8所述一种虚拟主播直播系统，其特征在于：所述动作数据包括有肢体动作数据和面部表情动作数据，所述数据关联模块具体包括：

第一数据采集模块，用于实时采集声音数据；

第二数据采集模块，用于利用动作捕捉装置来实时捕捉动作者的肢体动作数据；

第三数据采集模块，用于利用面部表情捕捉器来实时捕捉动作者的面部表情动作数据；

关联控制子模块，用于将肢体动作数据与虚拟主播角色模型进行肢体动作关联，将面部表情动作数据与虚拟主播角色模型进行面部动作关联，令虚拟主播角色模型按照肢体动作数据和面部表情动作数据执行相应的肢体动作和面部表情动作。