CN108848286A - 基于威亚辅助设备的三维虚拟偶像直播方法、装置及系统 - Google Patents

Abstract

本发明涉及一种基于威亚辅助设备的三维虚拟偶像直播方法、装置及系统，用于解决：在威亚辅助设备中的安全带安装多个标记点；将威亚辅助设备中的起重机、滑轨及吊绳部署至动作捕捉房间指定的区域；对穿戴有威亚安全带的动捕演员与三维虚拟偶像的3D角色模型进行匹配；对动捕演员的行为动作进行捕捉，采集动捕演员的行为数据并基于3D角色模型进行渲染，进而生成动画数据并通过交互直播平台进行直播。本发明的有益效果为：实现现有技术无法在虚拟偶像直播吊威亚的空白。

Description

基于威亚辅助设备的三维虚拟偶像直播方法、装置及系统

技术领域

本发明涉及基于威亚辅助设备的三维虚拟偶像直播方法、装置及系统，属于计算机人工智能直播领域。

背景技术

虚拟偶像的历史由来已久，但国内开始注意到虚拟偶像的商业价值还得从日本初音未来说起，初音未来在国内外的成功，让虚拟偶像产业成为资本的关注对象。国内虚拟偶像产业的发展得益于近几年直播平台的兴起，虚拟偶像直播在国内外成绩不菲，“爱酱”等虚拟偶像借着视频直播的丰厚土壤收获了大量的人气。虚拟偶像借着直播经济的丰厚土壤收获了大量的人气。

我们开发的三维虚拟偶像直播中使用威压和吊钢丝的技术，将大大扩展虚拟偶像直播中表现形式，通过使用威压和吊钢丝等技术来辅助动捕演员，三维虚拟偶像将在直播中可以进行上天入地等各种表演，提高了节目的观赏性。

发明内容

提供本概述是为了读者的方便，以提供对这些实施例的基本理解而不是完全地限定本发明的范围。本概述不是所有预期实施例的广泛综述，并且既不旨在标识所有方面的关键或重要元素，也不描述任何或所有方面的范围。其唯一目的在于以简化的形式呈现一个或多个实施例的一些概念，作为稍后呈现的更详细描述的前奏。为了方便，在本文中术语“一些实施例”可用于指本公开的单一实施例或者多个实施例。

本发明提供一种基于威亚辅助设备的三维虚拟偶像直播方法、装置及系统，用于解决现有技术问题的不足。

本发明的技术方案公开了基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，该方法包括以下步骤：A.在威亚辅助设备中的安全带安装多个标记点；B.将威亚辅助设备中的起重机、滑轨及吊绳部署至动作捕捉房间指定的区域；C.对穿戴有威亚安全带的动捕演员与三维虚拟偶像的3D角色模型进行匹配；D.对动捕演员的行为动作进行捕捉，采集动捕演员的行为数据并基于3D角色模型进行渲染，进而生成动画数据并通过交互直播平台进行直播。

根据权利要求1所述的基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，所述步骤C还包括：对穿戴有威亚安全带的动捕演员的与三维虚拟偶像的3D角色模型进行匹配包括：使用三维动捕装置对威亚安全带的标记点与3D角色模型的骨骼进行逐一匹配，直至调整并完成3D角色模型与所有标记点的匹配；将威亚辅助设备中安全带连接到威压起重机的吊绳上，并测试安全性，同时在动作捕捉房间地面铺设软垫。

根据所述的基于威亚辅助设备的三维虚拟偶像直播方法，其中步骤D还包括：使用设置于动捕装置对动捕演员执行预设动作时的安全带的标记点进行匹配采集，得到动捕演员的行动数据；将动捕演员的行动数据发送至三维图形引擎，提取对应的3D角色模型的骨骼，通过所述图形引擎生成动捕演员的行动对应的三维虚拟偶像行为动画，进而执行实时渲染；将实时渲染的三维虚拟偶像行为动画通过视频采集卡对动画画面进行采集，并将动画画面推流至实时直播平台。

本发明的技术方案还包括基于威亚辅助设备的三维虚拟偶像直播装置，包括：安全带，包括威亚辅助设备中的安全带，安装有多个标记点，用于实现动捕演员执行预设的一组或多组动作；起重装置，包括威亚辅助设备中的起重机、滑轨及吊绳，部署于动作捕捉房间指定的区域，用于起吊动捕演员；匹配装置，对穿戴有威亚安全带的动捕演员与三维虚拟偶像的3D角色模型进行匹配；渲染装置，用于对动捕演员的行为动作进行捕捉，采集动捕演员的行为数据并基于3D角色模型进行渲染，进而生成动画数据并通过交互直播平台进行直播。

根据所述的基于威亚辅助设备的三维虚拟偶像直播装置，其中安全带还包括：所述威亚辅助设备中的安全带为五点式黑色不反光的安全带；所述威亚辅助设备中的安全带内部材料为聚酯纤维和凯夫拉纤维制成；所述威亚辅助设备中的安全带外表面采用部分氨纶成分的魔术贴抓绒面材料；所述威亚辅助设备中的安全带关节部位为凯夫拉纤维。

根据所述的基于威亚辅助设备的三维虚拟偶像直播装置，其中安全带还包括：所述威亚辅助设备中的安全带为契合动捕演员身材的安全带；所述威亚辅助设备中的安全带安装的标记点为红外反射标记点。

根据所述的基于威亚辅助设备的三维虚拟偶像直播装置，其中步骤B还包括：将用于起吊威压辅助设备的小型钢丝绳起重机、滑轨、电源及控制开关部署到动捕房间对应的区域。

本发明的技术方案还包括基于威亚辅助设备的三维虚拟偶像直播系统，其特征在于，包括：存储器，用于存储一计算机应用程序；处理器，用于运行所述计算机应用程序以执行以下步骤：实时捕捉真实的演员动作信息；通过图形引擎将演员动作信息及3D角色模型的合成动画叠加至录制的视频画面，生成动画数据并通过交互直播平台进行直播。

本发明的有益效果为：实现现有技术无法在虚拟偶像直播吊威亚的空白。

附图说明

图1所示为根据本发明实施方式的总体流程图；

图2为所示为根据本发明实施方式的附带标记点的威压安全带安装流程图；

图3为所示为根据本发明实施方式的威亚起吊装置安装流程图；

图4为所示为根据本发明实施方式的动捕演员准备流程图；

图5为所示为根据本发明实施方式的动作捕捉流程图；

图6为所示为根据本发明实施方式的吊威压和钢丝的设备的硬件装置图；

图7为所示为根据本发明实施方式的吊威压和钢丝的设备的系统装置图；

图8为所示为根据本发明实施方式的示意图。

具体实施方式

本发明的技术方案包括一种基于威亚辅助设备的三维虚拟偶像直播装置，适用于虚拟偶像直播吊威亚。以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

图1所示为根据本发明实施方式的总体流程图。其如图所示，具体包括以下步骤：A.在威亚辅助设备中的安全带安装多个标记点；B.将威亚辅助设备中的起重机、滑轨及吊绳部署至动作捕捉房间指定的区域；C.对穿戴有威亚安全带的动捕演员与三维虚拟偶像的3D角色模型进行匹配；D.对动捕演员的行为动作进行捕捉，采集动捕演员的行为数据并基于3D角色模型进行渲染，进而生成动画数据并通过交互直播平台进行直播。

图2为所示为根据本发明实施方式的附带标记点的威压安全带安装流程图。其包括：制作基于聚酯纤维和凯夫拉纤维制成的五点式黑色不反光威压安全带，外表面采用类似魔术贴抓绒面的材料，材料中含有部分氨纶成分，既提高了强度，又具有魔术贴的可抓取性，关键部位采用凯夫拉纤维带，具有很高的安全性，并根据动捕演员的身材，量身定做并裁剪，并为其安装红外反射标记点。

图3为所示为根据本发明实施方式的威亚起吊装置安装流程图。其具体包括：将吊威压的小型钢丝绳起重机，相关的威压滑轨，电源，控制开关部署到动捕房间。

图4为所示为根据本发明实施方式的动捕演员准备流程图。其具体包括以下步骤：扮演三维虚拟偶像的动捕演员穿戴好动捕威压安全带，并安装好红外动捕标记点，进入动捕房间，匹配好动捕软件中的三维虚拟偶像的骨骼。然后将威压安全带连接到威压起重机的吊绳上，并测试安全性，房间地面铺设软垫，保证安全。

图5为所示为根据本发明实施方式的动作捕捉流程图。其包括：动捕演员根据剧本进行动捕表演，并使用威压做出一些高难度的腾空，旋转，飞行等动作，动作数据进入动捕软件进行处理，然后通过动捕软件传出，进入安装了三维游戏引擎的实时工作站，完成实时渲染，视频采集卡对画面进行采集并通过推流软件实时直播到各大直播平台。

图6为所示为根据本发明实施方式的吊威压和钢丝的设备的硬件装置图。其包括：定制动作捕捉威压安全带；动作捕捉房间；动作捕捉处理软件工作站；三维引擎实时渲染工作站；实时推流直播导播工作站。

图7为所示为根据本发明实施方式的吊威压和钢丝的设备的系统装置图。其包括存储器，用于存储一计算机应用程序，

处理器，用于运行所述计算机应用程序以执行以下步骤：动作捕捉处理软件执行动作捕捉；三维渲染游戏引擎工作站执行实时图形渲染，得到视频；视频推流直播导播软件用于将视频进行推送至直播平台进行直播。

图8为所示为根据本发明实施方式的示意图。用于表示虚拟偶像直播吊威亚的情况图。

根据本发明所述的方法、装置及系统可用于实现以下功能：1)通过本发明实现了在三维虚拟偶像直播中，虚拟偶像主角实时可以改变的自己的形象，而根据不同的形象可以延伸出不同的节目表演风格，提升了节目的娱乐性和可观赏性；2)通过本发明解决了以往的三维虚拟偶像直播中主角替换形象只能替换其3D模型，原本的模型突然消失替换为其他模型，表现突兀不自然；3)解决了以往的三维偶像直播中，无法表现主角的变形过程，由人变为人狼的具体变形过程，成为了现实；本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (8)

1.基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，该方法包括以下步骤：

A.在威亚辅助设备中的安全带安装多个标记点；

B.将威亚辅助设备中的起重机、滑轨及吊绳部署至动作捕捉房间指定的区域；

C.对穿戴有威亚安全带的动捕演员与三维虚拟偶像的3D角色模型进行匹配；

D.对动捕演员的行为动作进行捕捉，采集动捕演员的行为数据并基于3D角色模型进行渲染，进而生成动画数据并通过交互直播平台进行直播。

2.根据权利要求1所述的基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，所述步骤C还包括：

对穿戴有威亚安全带的动捕演员的与三维虚拟偶像的3D角色模型进行匹配包括：

使用三维动捕装置对威亚安全带的标记点与3D角色模型的骨骼进行逐一匹配，直至调整并完成3D角色模型与所有标记点的匹配；

将威亚辅助设备中安全带连接到威压起重机的吊绳上，并测试安全性，同时在动作捕捉房间地面铺设软垫。

3.根据权利要求1所述的基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，所述步骤D还包括：

使用设置于动捕装置对动捕演员执行预设动作时的安全带的标记点进行匹配采集，得到动捕演员的行动数据；

将动捕演员的行动数据发送至三维图形引擎，提取对应的3D角色模型的骨骼，通过所述图形引擎生成动捕演员的行动对应的三维虚拟偶像行为动画，进而执行实时渲染；

将实时渲染的三维虚拟偶像行为动画通过视频采集卡对动画画面进行采集，并将动画画面推流至实时直播平台。

4.根基于威亚辅助设备的三维虚拟偶像直播装置，其特征在于，包括：

安全带，包括威亚辅助设备中的安全带，安装有多个标记点，用于实现动捕演员执行预设的一组或多组动作；

起重装置，包括威亚辅助设备中的起重机、滑轨及吊绳，部署于动作捕捉房间指定的区域，用于起吊动捕演员；

匹配装置，对穿戴有威亚安全带的动捕演员与三维虚拟偶像的3D角色模型进行匹配；

渲染装置，用于对动捕演员的行为动作进行捕捉，采集动捕演员的行为数据并基于3D角色模型进行渲染，进而生成动画数据并通过交互直播平台进行直播。

5.根据权利要求4所述的基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，所述安全带还包括：

所述威亚辅助设备中的安全带为五点式黑色不反光的安全带；

所述威亚辅助设备中的安全带内部材料为聚酯纤维和凯夫拉纤维制成；

所述威亚辅助设备中的安全带外表面采用部分氨纶成分的魔术贴抓绒面材料；

所述威亚辅助设备中的安全带关节部位为凯夫拉纤维。

6.根据权利要求4所述的基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，所述安全带还包括：

所述威亚辅助设备中的安全带为契合动捕演员身材的安全带；

所述威亚辅助设备中的安全带安装的标记点为红外反射标记点。

7.根据权利要求4所述的基于威亚辅助设备的三维虚拟偶像直播方法，其特征在于，所述步骤B还包括：

将用于起吊威压辅助设备的小型钢丝绳起重机、滑轨、电源及控制开关部署到动捕房间对应的区域。

8.基于威亚辅助设备的三维虚拟偶像直播，其特征在于，包括：

存储器，用于存储一计算机应用程序，

处理器，用于运行所述计算机应用程序以执行以下步骤：

实时捕捉真实的演员动作信息；

通过图形引擎将演员动作信息及3D角色模型的合成动画叠加至录制的视频画面，生成动画数据并通过交互直播平台进行直播。