CN108833740B - 一种基于三维动画直播的实时提词器方法和装置 - Google Patents

Abstract

本发明涉及一种基于三维动画直播的实时提词方法，包括以下步骤：基于三维动画的直播场景及其对应的视角，确定三维动画实时提词器的位置；为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型；在将三维动画实时提词器连接至直播导播工作站后，开始进行直播。本发明还涉及到一种基于三维动画直播的实时提词器系统。本发明的有益效果为：通过三维动画虚拟技术，将字幕文件投射到主播的面前，使主播观看到提词的同时又能在镜头面前表现自然。

Description

一种基于三维动画直播的实时提词器方法和装置

技术领域

本发明涉及三维动画虚拟偶像直播的领域，尤其涉及到基于三维动画虚拟偶像直播的实时提词方法和系统。

背景技术

随着电子娱乐产业的发展，直播行业也迅速崛起，受众群体越来越大，包括各个年龄层的人。因此，对于新生代群体或动漫爱好者等追求新潮的人群，传统的直播节目已经无法满足这类人群的需求了，因此，开始出现虚拟偶像直播，在直播中，主播是一个虚拟形象，可能是可爱的动物，负责搞笑卖萌，也可能是用户所喜爱的动漫形象。

在这种虚拟偶像直播中，主要采用混合现实仿真融合和交互控制技术，是一种可以实现真人面部控制的实时混合现实内容生产技术，不仅如此，它还能输出为视频或VR/AR设备兼容的其它数据形式。就是这项技术，让动漫形象的平面人物，升维到3D形象，背后的声优只要通过自己面部表情的改变，就能控制动漫形象的一切语言行为，最终让他变成一个“真人”，拥有说话、卖萌、耍宝、大笑以及眨眼的能力了。

在直播过程中，直播的效果完全取决于控制虚拟形象的主播，主播能否生动自然的表现决定了直播是否精彩和受人喜欢。在直播节目中通常需要用到提词器以帮助主播顺利进行节目表演，在虚拟直播中，主播往往容易因为注视提词器而显得眼神飘忽，使节目效果大打折扣，因此需要一种提词器可以让主播观看到提词的同时又能在镜头面前表现自然。

发明内容

本申请提供一种基于三维动画虚拟偶像直播的实时提词方法和系统，通过三维动画虚拟技术，将字幕文件投射到主播的面前，使主播观看到提词的同时又能在镜头面前表现自然。

为实现上述效果，本申请公开了以下方案。

首先，本申请提供公开了一种基于三维动画直播的实时提词方法，包括以下步骤：基于三维动画的直播场景及其对应的视角，确定三维动画实时提词器的位置；为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型；在将三维动画实时提词器连接至直播导播工作站后，开始进行直播。

进一步地，在本申请的上述方法中，上述三维动画实时提词器可以至少还包括视角提示标识物。

进一步地，在本申请的上述方法中，上述三维动画实时提词器至少还包括用于实时检测与动捕演员距离的距离传感器。

进一步地，在本申请的上述方法中，在将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还可包括以下的子步骤：将三维动画实时提词器的辅助设备安装在三维动画实时提词器主干支架上；基于当前的三维动画场景，调整三维动画实时提词器的位置。其中，所述辅助设备至少包括遮光罩、分光镜、显示屏、虚拟摄像机、电源和视频线。

进一步地，在本申请的上述方法中，在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据的步骤中，还可包括以下子步骤：动捕演员在进入动捕房间、穿戴标记点动捕服和佩戴头盔式面部表情捕捉系统后，执行预设的动捕校验动作；基于动作捕捉器所接收到的动作数据，计算对应动作捕捉器的动作补偿值。

进一步地，在本申请的上述方法中，将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还可包括以下的子步骤：基于动捕演员在佩戴头盔式面部表情捕捉系统后的视角位置，调整三维动画实时提词器的角度及三维动画实时提词器所显示字幕尺寸。

进一步地，在本申请的上述方法中，还可包括以下步骤：捕捉演员的肢体动作，并转换为与角色的人设特性关联的肢体动作数据和角色混音数据；将肢体动作数据关联至图形引擎中的相应的三维角色模型，使得演员的肢体动作与三维角色模型的肢体动作能够实时同步。

其次，本申请还提出一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序。上述处理器执行上述计算机程序时实现以下步骤：基于三维动画的直播场景及其对应的视角，确定三维动画实时提词器的位置；为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型；在将三维动画实时提词器连接至直播导播工作站后，开始进行直播。

进一步地，在上述装置执行上述计算机程序时，上述三维动画实时提词器可以至少还包括视角提示标识物。

进一步地，在上述装置执行上述计算机程序时，上述三维动画实时提词器至少还包括用于实时检测与动捕演员距离的距离传感器。

进一步地，上述装置执行上述计算机程序，在将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还可包括以下的子步骤：将三维动画实时提词器的辅助设备安装在三维动画实时提词器主干支架上；基于当前的三维动画场景，调整三维动画实时提词器的位置。其中，所述辅助设备至少包括遮光罩、分光镜、显示屏、虚拟摄像机、电源和视频线。

进一步地，上述装置执行上述计算机程序时，在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据的步骤中，还可包括以下子步骤：动捕演员在进入动捕房间、穿戴标记点动捕服和佩戴头盔式面部表情捕捉系统后，执行预设的动捕校验动作；基于动作捕捉器所接收到的动作数据，计算对应动作捕捉器的动作补偿值。

进一步地，上述装置执行上述计算机程序时，在将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还可包括以下的子步骤：基于动捕演员在佩戴头盔式面部表情捕捉系统后的视角位置，调整三维动画实时提词器的角度及三维动画实时提词器所显示字幕尺寸。

进一步地，上述装置执行上述计算机程序时，还可包括以下步骤：捕捉演员的肢体动作，并转换为与角色的人设特性关联的肢体动作数据和角色混音数据；将肢体动作数据关联至图形引擎中的相应的三维角色模型，使得演员的肢体动作与三维角色模型的肢体动作能够实时同步。

再次，本申请还公开了一种基于三维动画直播的实时提词器系统，包括前述任意一项计算机装置；与所述计算机装置连接的图形引擎；穿戴在演员身上的动作捕捉服；穿戴在演员头部的面部表情捕捉器；以及用于收集动作数据的动作捕捉器。

最后，本申请还还公开了一种计算机可读存储介质，其上储存有计算机程序。上述计算机程序被处理器执行时实现以下步骤：基于三维动画的直播场景及其对应的视角，确定三维动画实时提词器的位置；为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型；在将三维动画实时提词器连接至直播导播工作站后，开始进行直播。

进一步地，在处理器执行上述计算机程序时，上述三维动画实时提词器可以至少还包括视角提示标识物。

进一步地，在处理器执行上述计算机程序时，上述三维动画实时提词器至少还包括用于实时检测与动捕演员距离的距离传感器。

进一步地，处理器执行上述计算机程序，在将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还可包括以下的子步骤：将三维动画实时提词器的辅助设备安装在三维动画实时提词器主干支架上；基于当前的三维动画场景，调整三维动画实时提词器的位置。其中，所述辅助设备至少包括遮光罩、分光镜、显示屏、虚拟摄像机、电源和视频线。

进一步地，处理器执行上述计算机程序时，在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据的步骤中，还可包括以下子步骤：动捕演员在进入动捕房间、穿戴标记点动捕服和佩戴头盔式面部表情捕捉系统后，执行预设的动捕校验动作；基于动作捕捉器所接收到的动作数据，计算对应动作捕捉器的动作补偿值。

进一步地，处理器执行上述计算机程序时，在将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还可包括以下的子步骤：基于动捕演员在佩戴头盔式面部表情捕捉系统后的视角位置，调整三维动画实时提词器的角度及三维动画实时提词器所显示字幕尺寸。

进一步地，处理器执行上述计算机程序时，还可包括以下步骤：捕捉演员的肢体动作，并转换为与角色的人设特性关联的肢体动作数据和角色混音数据；将肢体动作数据关联至图形引擎中的相应的三维角色模型，使得演员的肢体动作与三维角色模型的肢体动作能够实时同步。

本发明的有益效果为：实时将工作站中的字幕文件投射到主播的面前，使主播观看到提词的同时又能在镜头面前表现自然。

附图说明

图1所示为根据本发明的方法的总体流程图；

图2所示为根据本发明的第一实施例的子步骤方法流程图；

图3所示为根据本发明的第二实施例的子步骤方法流程图；

图4所示为根据本发明的第二实施例的子步骤方法流程图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参考图1，在根据本申请的基于三维动画直播的实时提词器方法的一个或多个实施例中，可以包括以下步骤：基于三维动画的直播场景及其对应的视角，确定三维动画实时提词器的位置；为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型；在将三维动画实时提词器连接至直播导播工作站后，开始进行直播。其中，图形引擎可以是三维游戏引擎，本领域技术人员可以根据具体的应用场景选择合适的三维动画创作引擎，本申请对此不予限定。在上述的一个或多个实施例中，由于三维动画实时提词器设置在动捕演员前方的恰当位置，因此动捕演员的注意力会被自然地集中到恰当的位置，使得所制作的三维动画显得更为自然。同时，基于多动作捕捉器所采集动捕演员的动作数据的补偿以匹配对应的骨骼模型，使得对应的三维角色模型的动作能被正确地渲染在三维动画中。

进一步地，在本申请的一个或多个实施例中，三维动画实时提词器至少还包括视角提示标识物。上述视角提示标识物可设置三维动画实时提词器的外壳上且可被遥控以发出指令，从而更加精确地向动捕演员作出提示。例如该视角提示标识物可以是指示灯，通过其所放出的光源信号指示动捕演员相对于三维动画实时提词器前进或后退。

优选地，在本申请的一个或多个实施例中，三维动画实时提词器至少还包括用于实时检测与动捕演员距离的距离传感器。当距离传感器检测到动捕演员与三维动画实时提词器之间的距离过近或过远时，可以通过自动调整三维动画实时提词器的字幕字体或者直接在三维动画实时提词器上显示相关的提示信息(例如“稍微退后两步”)，向动捕演员发出指示。

进一步地，参照图2所示的子方法流程图，在本申请的一个或多个方法实施例中，将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还包括以下的子步骤：将三维动画实时提词器的辅助设备安装在三维动画实时提词器主干支架上；基于当前的三维动画场景，调整三维动画实时提词器的位置。其中，所述辅助设备至少包括遮光罩、分光镜、显示屏、虚拟摄像机、电源和视频线。通过在正式直播前对三维动画实时提词器的微调，排除上述辅助设备对三维动画实时提词器本身所在位置的影响，从而提高直播的效果。

可替代地，参照图3所示的子方法流程图，在本申请的一个或多个方法实施例中，在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据包括以下子步骤：动捕演员在进入动捕房间、穿戴标记点动捕服和佩戴头盔式面部表情捕捉系统后，执行预设的动捕校验动作；基于动作捕捉器所接收到的动作数据，计算对应动作捕捉器的动作补偿值。其中，动捕校验动作可以是简单的基本动作，例如站立、坐下、举手和蹲下等。动作捕捉器通过采集上述基本动作的动作数据，并与预设的模板相比较后，即可获得在当前位置下动作数据的在各个方向上的动作补偿值。本领域技术人员可以根据具体的应用场景设置动捕校验动作和对应的动作补偿值计算公式，本申请对此不予限定。

进一步地，将三维动画实时提词器连接至直播导播工作站后，开始进行直播的步骤中，还包括以下的子步骤：基于动捕演员在佩戴头盔式面部表情捕捉系统后的视角位置，调整三维动画实时提词器的角度及三维动画实时提词器所显示字幕尺寸，从而实时地向动捕演员发出位置调整的指令，以确保在整个直播期间，动捕演员都位于恰当的位置。

进一步地，参照图4所示的子方法流程图，在本申请的一个或多个方法实施例中，还包括以下步骤：捕捉演员的肢体动作，并转换为与角色的人设特性关联的肢体动作数据和角色混音数据；将肢体动作数据关联至图形引擎中的相应的三维角色模型，使得演员的肢体动作与三维角色模型的肢体动作能够实时同步。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (7)

1.一种基于三维动画直播的实时提词方法，其特征在于，包括以下步骤：

基于三维动画的直播场景及动捕演员对应的视角，确定三维动画实时提词器的位置，包括：将三维动画实时提词器的辅助设备安装在三维动画实时提词器主干支架上，其中，所述辅助设备至少包括遮光罩、分光镜、显示屏、虚拟摄像机、电源和视频线；基于动捕演员在佩戴头盔式面部表情捕捉系统后的视角位置，调整三维动画实时提词器的角度及三维动画实时提词器所显示字幕尺寸；

为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；

在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型，还包括若动捕演员在进入动捕房间、穿戴标记点动捕服和佩戴头盔式面部表情捕捉系统后，执行预设的动捕校验动作，以及，基于动作捕捉器所接收到的动作数据，计算对应动作捕捉器的动作补偿值。

2.根据权利要求1所述的方法，其特征在于，所述三维动画实时提词器至少还包括视角提示标识物。

3.根据权利要求1所述的方法，其特征在于，所述三维动画实时提词器至少还包括用于实时检测与动捕演员距离的距离传感器。

4.根据权利要求1所述的方法，其特征在于，还包括以下步骤：

捕捉演员的肢体动作，并转换为与角色的人设特性关联的肢体动作数据和角色混音数据；

将肢体动作数据关联至图形引擎中的相应的三维角色模型，使得演员的肢体动作与三维角色模型的肢体动作实时同步。

5.一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

基于三维动画的直播场景及动捕演员对应的视角，确定三维动画实时提词器的位置，包括：将三维动画实时提词器的辅助设备安装在三维动画实时提词器主干支架上，其中，所述辅助设备至少包括遮光罩、分光镜、显示屏、虚拟摄像机、电源和视频线；基于动捕演员在佩戴头盔式面部表情捕捉系统后的视角位置，调整三维动画实时提词器的角度及三维动画实时提词器所显示字幕尺寸；

为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；

在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型，还包括：检测到动捕演员在进入动捕房间、穿戴标记点动捕服和佩戴头盔式面部表情捕捉系统后，执行预设的动捕校验动作，以及，基于动作捕捉器所接收到的动作数据，计算对应动作捕捉器的动作补偿值。

6.一种基于三维动画直播的实时提词器系统，包括

根据权利要求5所述的计算机装置；

与所述计算机装置连接的图形引擎；

穿戴在演员身上的动捕服；

穿戴在演员头部的面部表情捕捉系统；以及

用于收集动作数据的动作捕捉器。

7.一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

基于三维动画的直播场景及动捕演员对应的视角，确定三维动画实时提词器的位置，包括：将三维动画实时提词器的辅助设备安装在三维动画实时提词器主干支架上，其中，所述辅助设备至少包括遮光罩、分光镜、显示屏、虚拟摄像机、电源和视频线；基于动捕演员在佩戴头盔式面部表情捕捉系统后的视角位置，调整三维动画实时提词器的角度及三维动画实时提词器所显示字幕尺寸；

为三维动画中的三维角色模型绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；

在动捕室内通过设置与三维动画实时提词器相错位的动作捕捉器，并基于动作捕捉器的位置补偿实时采集动捕演员的动作数据，以匹配对应的骨骼模型，还包括：检测到动捕演员在进入动捕房间、穿戴标记点动捕服和佩戴头盔式面部表情捕捉系统后，执行预设的动捕校验动作，以及，基于动作捕捉器所接收到的动作数据，计算对应动作捕捉器的动作补偿值。

Images