CN109829958B - 一种基于透明液晶显示屏的虚拟偶像演播方法和装置 - Google Patents

Abstract

本发明涉及一种基于透明液晶显示屏的虚拟偶像演播方法和装置，包括：用于实时生成一个或多个虚拟角色的动作动画的虚拟角色动作系统；设置在舞台上的横置的透明显示屏，用于全息显示一个或多个虚拟角色；与透明显示屏关联的演播场景控制系统；与所述透明显示屏连接的一个或多个交互设备；以及用于控制所述透明显示屏的显示屏控制模块，其中，所述显示屏控制模块设置在舞台下方，所述显示屏控制模块模块化地集成基于透明液晶显示屏的底层驱动接口工具和扩展功能接口工具。本发明以科技化的硬件提供新潮的影音体验。

Description

一种基于透明液晶显示屏的虚拟偶像演播方法和装置

技术领域

本发明涉及一种基于透明液晶显示屏的虚拟偶像演播方法和装置。

背景技术

虚拟偶像技术是近年来新兴的一种娱乐载体，简单讲就是设计一名虚拟的角色，通过3D技术让其进行活灵活现的表演，可以是唱歌跳舞，也可以是讲实事新闻等等，在直播界，游戏界等等，非常受广大观众的喜爱。OLED显示技术，是近年来发明出的另外一种新技术，他通过有机发光二极管技术的微型化，可以将屏幕做的非常的轻薄，而且可以做出透明的效果。

本文提供基于OLED的透明液晶显示屏技术的虚拟偶像实时动捕演播方法和装置就是结合了上述的两种最前沿的技术，将虚拟偶像和新型OLED透明显示全息设备和动作捕捉这三个发明有机的结合起来。创造出一种新的演播的表现形式。

发明内容

本发明提供一种基于透明液晶显示屏的虚拟偶像演播方法和装置，以科技化的硬件提供新潮的影音体验。

本发明的技术方案第一方面为一种基于透明液晶显示屏的虚拟偶像演播方法，包括：

S1、基于三维动画中的角色创建每一个三维角色模型，加入贴图文件，设置肢体动作参数；

S2、为三维模型建立和绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；

S3、提取每个真实的动捕演员的骨骼数据，然后配置对应的三维角色模型；

S4、在动捕室内通过动捕设备实时采集动捕演员的动作信息，将动捕设备的数据传输到图形引擎中，然后实时渲染和驱动相应的角色模型，生成实时视频，并进行直播。

进一步，所述步骤S1包括：

制作基于三维动画中的三维角色模型，配置制作三维角色的法线光滑组，并调整三维角色模型的UV；

根据模型UV制作贴图，根据贴图制作相对应的材质，最后检查角色模型并在图形引擎关联的数据库中归档保存。

进一步，所述步骤S2包括：

基于三维动画中的三维角色模型，制作动画骨骼，并将骨骼绑定到各自的模型中；

并制作相对应的动画，并调整模型的权重和控制器，然后导入到图形引擎关联的数据库中进行归档。

进一步，所述步骤S3包括：

多名动捕演员进入动捕房间，穿戴标记点动捕服，佩戴头盔式面部表情捕捉系统，然后各自演员对应各自的三维角色模型；

通过动捕软件根据骨骼大小比例进行区分，各自演员绑定各自的三维动画模型，然后调试，完成准备工作。

进一步，所述步骤S4包括：

在进行多人动捕期间，通过红外动捕摄像头实时记录演员的动作并传输到动捕软件；

将处理后的动作数据传输到图形引擎工作站中，完成实时渲染；

将渲染的画面采集并传输到直播服务器，推送上直播平台进行实时直播。

进一步，上述的方法还包括：

捕捉演员的肢体动作和/或面部表情，转换为与角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的三维角色模型，并且配置演员的肢体动作和/或面部表情与三维角色模型动画的肢体动作和/或面部表情能够实时同步。

进一步，上述的方法还包括：

根据该面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的角色模型的面部表情形状；

在角色模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。

本发明的技术方案第二方面为一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。

本发明的有益效果为：提出改进的基于透明液晶显示屏的虚拟偶像演播方法和装置；解决了以往的综艺节目或者舞台现场表演中，全息的虚拟偶像多是采用录制好的节目，无法和观众和主持人互动的弊端；解决了以前的虚拟偶像全息显示，多为固定的玻璃幕布投影，且只能在正面观看的弊端，且不能移动的弊端。

附图说明

图1是本发明的方法的实施系统的总体示意图。

图2是根据本发明实施例中的透明显示屏驱动接口部署的示意图。

图3是根据本发明实施例中的演员动作捕捉示意图。

图4是根据本发明的应用情形实施例的示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

图1是本发明方法的应用硬件总体示意图。根据本发明的虚拟偶像演播方法和装置，包括：用于实时生成一个或多个虚拟角色的动作动画的虚拟角色动作系统30；设置在舞台上的横置的透明显示屏10，用于全息显示一个或多个虚拟角色；与透明显示屏10关联的演播场景控制系统40；与所述透明显示屏10连接的一个或多个交互设备；以及用于控制所述透明显示屏10的显示屏控制模块20。所述透明显示屏10包括OLED显示器件。

这里的透明OLED显示器件要求构成OLED的衬底，电极的材料均为透明材料，器件关闭时透光率达到85％以上，而开启时，从两侧均能观察到发光，其关键之处在于采用高透光率的透明电极和透明TFT。优选地，采用磁控溅射法制备的ZAO薄膜作为透明电极，使得OLED显示器件具有较低的电阻率和较高的透光率，其可见光透过率已超过85％。

此外，透明显示屏10还模块化地连接有显示屏控制模块20，所述显示屏控制模块20不是透明的，需要设置在舞台下方。此外，虚拟角色动作系统30包括：用于储存虚拟角色的模型数据的模型数据库31、用于捕捉演员51实时肢体动作的动作捕捉模块32和用于计算动作数据的模型动作运算模块33。所述动作捕捉模块32包括动捕服和头盔式面部表情捕捉设备。演播场景控制系统40包括设置在表演场地的灯光设备41和录播设备42，该录播设备42被配置为将渲染的画面采集并传输到直播服务器，推送上直播平台进行实时直播。

图2是根据本发明实施例中的透明显示屏10驱动接口部署的示意图。所述显示屏控制模块20的中断处理优先级可以高于其它用户硬件的驱动程序的优先级，并且由虚拟偶像演播方法和装置的GPU优先运行优化加速。所述显示屏控制模块20模块化地集成基于透明液晶显示屏的底层驱动接口工具和扩展功能接口工具。其中所述底层驱动接口工具包括：屏幕分辨率控制单元、屏幕亮度控制单元、屏幕对比度控制单元、屏幕透光率控制单元、屏幕显示饱和度控制单元、屏幕反向显示控制单元、屏幕光感监测单元、屏幕触感或变形监测单元。其中所述扩展功能接口工具是基于所述底层驱动接口工具的模块化定制整合，例如将光感监测和亮度整合以自动调节屏幕亮度等。所述扩展功能接口工具包括：AR模式切换单元(例如，整合透光率、分辨率控制等)、演唱模式切换单元(例如，整合刷新率、分辨率控制、响应速度等)、光影增强模式切换单元(例如整合光感监测、亮度控制、灯光映射控制等)、用户定制模式切换单元。

在一些具体实施例中，设计和制作根据本发明的虚拟偶像演播方法和装置的实现过程如下。

A.制定项目方案，设计设备外观，设计设备电路板，定制内部元器件；

B.打印3D设备外壳，印刷电路板，安装内部元器件，完成组装；

C.设计系统与驱动，开发系统与驱动，设计虚拟偶像，制作虚拟偶像物料；

D.部署OLED显示设备，动捕演员51进场，画面投射到OLED设备，开始直播；

其中步骤A包括：制定基于OLED的透明液晶显示屏技术的虚拟偶像实时动捕综艺的项目方案，设计基于OLED的透明液晶显示屏虚拟偶像设备的外观，并根据设计图制作基于OLED的透明液晶显示屏技术的虚拟偶像设备的CAD数位模型文件，并设计基于OLED的透明液晶显示屏虚拟偶像设备的内部电子印刷电路板，并定制相关的内部电子元器件。

其中步骤B包括：打印基于OLED的透明液晶显示屏技术的虚拟偶像实时动捕综艺设备的3D外壳，并印刷其内部主电路板，安装配件，安装主板，安装OLED透明液晶显示器，安装供电模组，并完成组装工作，同时对设备进行调试。

其中步骤C包括：设计基于OLED的透明液晶显示屏技术的虚拟偶像显示系统的内部主操作系统，并设计相关的硬件驱动程序，基于安卓8.0操作系统定制基于OLED的透明液晶显示屏技术的虚拟偶像显示系统的主操作系统，并开发硬件驱动。设计虚拟偶像，制作虚拟偶像的模型，骨骼，动画。

其中步骤D包括：将基于OLED的透明液晶显示屏技术的虚拟偶像显示设备部署到综艺直播舞台的现场，并连通远程图形工作站。

图3是根据本发明实施例中的演员51动作捕捉示意图。在准备阶段，使每个真实演员51的骨骼模型的参数与表演的相应三维角色的骨骼模型参数进行匹配和映射，并记录在图形引擎中。骨骼模型参数包括人体肢体动作关节之间的距离、每个关节的转动角度限制等。进一步，将演员51的面部骨骼来实时捕捉和转换演员51的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过图形引擎生成相应的角色模型的面部表情形状。在角色模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。继续参照图3，使一名真实的演员51戴上面部表情捕捉器，然后通过穿戴的动作捕捉服来捕捉演员51的肢体运动。动作捕捉服和面部表情捕捉器采集的数据传输到图形引擎(比如是3D实时引擎)，从而关联控制三维角色模型。

图4是根据本发明的一个应用情形实施例的示意图。扮演虚拟偶像的演员51，穿上动捕服进入场地后台的动作捕捉房间，进行动作捕捉表演；然后驱动虚拟偶像，在前台表演，并且通过录播设备42将画面传输到远程的综艺直播舞台上的OLED透明液晶显示器上，开始进行综艺节目。

具体地，上述的动作捕捉和虚拟偶像演播过程可以在下面的方法步骤中进一步描述。

S1、基于三维动画中的角色创建每一个三维角色模型，加入贴图文件，设置肢体动作参数；

S2、为三维模型建立和绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；

S3、提取每个真实的动捕演员的骨骼数据，然后配置对应的三维角色模型；

S4、在动捕室内通过动捕设备实时采集动捕演员的动作信息，将动捕设备的数据传输到图形引擎中，然后实时渲染和驱动相应的角色模型，生成实时视频，并进行直播。

进一步在步骤S1中包括：

S11、制作基于三维动画中的三维角色模型；

S12、配置制作三维角色的法线光滑组；

S13、调整三维角色模型的UV坐标；

S14、根据模型UV制作贴图，根据贴图制作相对应的材质，最后检查角色模型并在图形引擎关联的数据库中归档保存。

在步骤S2中包括步骤：

S21、对于三维动画中的3D角色模型，为它们制作动画骨骼；

S22、将骨骼绑定到各自的模型中；

S23、调整模型的权重和控制器；

S24、制作相对应的骨骼动画，然后导入到3D游戏引擎中进行归档。

步骤S3可以作为准备步骤。在执行步骤S3之后，多名动捕演员进入动捕房间。穿戴标记点动捕服，佩戴头盔式面部表情捕捉系统；然后各自演员对应各自的3D模型，通过动捕软件根据骨骼大小比例进行区分，各自演员绑定各自的3D动画模型，然后调试，完成准备工作。

在步骤S4中，可以包括以下步骤：

S33、进行多人动捕，多名动捕演员根据各自剧本和分镜头进行节目表演时，红外动捕摄像头实时记录演员的动作并传输到动捕软件；

S34、数据传输到三维游戏引擎工作站中，完成实时渲染；

S35、将渲染的画面采集并传输到直播服务器，推送到直播平台进行实时直播。

应当认识到，本文的方法实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (6)

1.一种用于透明液晶显示屏的虚拟偶像演播系统的演播方法，该系统包括用于实时生成一个或多个虚拟角色的动作动画的虚拟角色动作系统（30）；设置在舞台上的横置的透明显示屏（10），用于全息显示一个或多个虚拟角色；与透明显示屏（10）关联的演播场景控制系统（40）；与所述透明显示屏（10）连接的一个或多个交互设备；以及用于控制所述透明显示屏（10）的显示屏控制模块（20），其中，所述显示屏控制模块（20）设置在舞台下方，所述显示屏控制模块（20）模块化地集成基于透明液晶显示屏的底层驱动接口工具和扩展功能接口工具，其特征在于，所述方法包括以下步骤：

S1、基于三维动画中的角色创建每一个三维角色模型，加入贴图文件，设置肢体动作参数；

S2、为三维模型建立和绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；

S3、提取每个真实的动捕演员的骨骼数据，然后配置对应的三维角色模型；

S4、在动捕室内通过动捕设备实时采集动捕演员的动作信息，将动捕设备的数据传输到图形引擎中，然后实时渲染和驱动相应的角色模型，生成实时视频，并进行直播；

其中，步骤S2包括：

基于三维动画中的三维角色模型，制作动画骨骼，将骨骼绑定到各自的模型中；

调整模型的权重和控制器，制作相对应的动画，导入到图形引擎关联的数据库中归档；以及

步骤S4包括：

在进行多人动捕期间，通过红外动捕摄像头实时记录演员的动作并传输到动捕软件；

将处理后的动作数据传输到图形引擎工作站中，完成实时渲染；

将渲染的画面采集并传输到直播服务器，推送至直播平台进行实时直播。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

制作基于三维动画中的三维角色模型，配置制作三维角色的法线光滑组，并调整三维角色模型的UV；

根据模型UV制作贴图，根据贴图制作相对应的材质，最后检查角色模型并在图形引擎关联的数据库中归档保存。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：

多名动捕演员进入动捕房间，穿戴标记点动捕服，佩戴头盔式面部表情捕捉系统，然后各自演员对应各自的三维角色模型；

通过动捕软件根据骨骼大小比例进行区分，各自演员绑定各自的三维动画模型，然后调试，完成准备工作。

4.根据权利要求1所述的方法，其特征在于，还包括：

捕捉演员的肢体动作和/或面部表情，转换为与角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的三维角色模型，并且配置演员的肢体动作和/或面部表情与三维角色模型动画的肢体动作和/或面部表情能够实时同步。

5.根据权利要求1所述的方法，其特征在于，还包括：

根据面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的角色模型的面部表情形状；

在角色模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。

6.一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的方法。

Images