CN112995706B - 基于人工智能的直播方法、装置、设备及存储介质 - Google Patents

基于人工智能的直播方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112995706B
CN112995706B CN202110184746.2A CN202110184746A CN112995706B CN 112995706 B CN112995706 B CN 112995706B CN 202110184746 A CN202110184746 A CN 202110184746A CN 112995706 B CN112995706 B CN 112995706B
Authority
CN
China
Prior art keywords
given text
text
image
data packet
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110184746.2A
Other languages
English (en)
Other versions
CN112995706A (zh
Inventor
朱绍明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110184746.2A priority Critical patent/CN112995706B/zh
Publication of CN112995706A publication Critical patent/CN112995706A/zh
Application granted granted Critical
Publication of CN112995706B publication Critical patent/CN112995706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于人工智能的直播方法、装置、设备及存储介质；方法包括：接收用于供虚拟主播表演的给定文本；对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；向客户端发送所述推流数据包，通过本发明，能够将文本数据自动实时合成为视频推送到客户端，从而有效提高直播的实时性、并降低直播劳动力成本。

Description

基于人工智能的直播方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术，尤其涉及一种基于人工智能的直播方法、装置、设备及存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。
随着通信技术的发展，网络通信带宽得到很大的提高，视频直播技术也日趋成熟，在各个方面得到应用，同时随着人工智能技术的发展，文本转语音技术与图像合成技术也成为研究热点，视频直播技术与人工智能技术的结合可以在许多地方发挥作用，比如代替真人进行新闻虚拟播报、代替游戏主播进行游戏虚拟解说等，具有广阔的应用前景，但是，在虚拟视频直播技术中，音频与图像的生成需要耗费大量的计算时间，难以保证虚拟视频直播的实时性。
发明内容
本发明实施例提供一种基于人工智能的直播方法、装置、设备及存储介质，能够将文本数据自动实时合成为视频推送到客户端，从而有效提高视频播放的实时性、并降低直播劳动力成本。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于人工智能的直播方法，包括：
接收用于供虚拟主播表演的给定文本；
对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；
对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；
基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；
向客户端发送所述推流数据包。
本发明实施例提供一种基于人工智能的直播装置，包括：
文本转语音请求模块，用于接收用于供虚拟主播表演的给定文本；
渲染模块，用于对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；
视频推流模块，用于向客户端发送所述推流数据包。
在上述方案中，所述文本转语音请求模块，还用于：所述接收用于供虚拟主播表演的给定文本之后，对所述给定文本进行划分处理，得到对应所述给定文本的多个语段；生成对应任意一个所述语段的媒体数据包，并继续实时处理下一个语段，以生成对应所述下一个语段的媒体数据包；其中，所述媒体数据包包括根据所述语段获取的音频数据和脸部特征，且所述音频数据和所述脸部特征与所述虚拟主播对应。
在上述方案中，所述文本转语音请求模块，还用于：所述接收用于供虚拟主播表演的给定文本之后，根据所述给定文本实时获取对应所述虚拟主播的音频数据和脸部特征；基于所述虚拟主播的音频数据和脸部特征，形成至少一个媒体数据包，并继续处理下一个所述给定文本。
在上述方案中，所述文本转语音请求模块，还用于：
当接收到所述给定文本时，实时将所述给定文本转化为对应所述给定文本的词向量；
对所述词向量进行编码处理以及解码处理，得到对应所述词向量的音频特征；
对所述音频特征进行合成处理，得到对应所述虚拟主播的音频数据。
在上述方案中，所述文本转语音请求模块，还用于：
根据对应所述给定文本的音频数据，预测所述虚拟主播的嘴部关键点，并对所述嘴部关键点进行归一化处理，以使所述嘴部关键点适应于标准面部模板；
对经过归一化处理的嘴部关键点进行降维处理，得到对应所述虚拟主播的口型特征；
对所述给定文本进行语义分析，得到所述给定文本所表征的语义；
根据所述给定文本所表征的语义，确定与所述语义匹配的脸部表情特征，并结合所述口型特征以及所述脸部表情特征形成对应所述虚拟主播的脸部特征。
在上述方案中，所述文本转语音请求模块，还用于：
向区块链网络发送查询交易，其中，所述查询交易指示了用于查询所述区块链网络中账本的智能合约，以使
所述区块链网络中的共识节点通过执行所述智能合约的方式来查询所述账本，得到所述账本中存储的所述标准面部模板；或者
根据所述标准面部模板的标识，从标准面部模板数据库中查询所述标识对应的所述标准面部模板，并确定所述查询到的标准面部模板的哈希值；
从区块链网络中查询所述标识对应的哈希值，当所查询到的哈希值与所述确定的哈希值一致时，确定所述查询到的标准面部模板未经篡改。
在上述方案中，所述文本转语音请求模块，还用于：
将所述给定文本发送至区块链网络，以使
所述区块链网络中的共识节点通过执行智能合约的方式来对所述给定文本进行合规性检查；
当接收到超过预设数目的共识节点返回的合规性确认时，确定所述给定文本通过所述合规性检查。
在上述方案中，所述文本转语音请求模块，还用于：
将所述给定文本划分为至少两个语段，并基于所述至少两个语段，将所述音频数据划分为与所述至少两个语段分别匹配的音频数据；
基于所述至少两个语段，对所述脸部特征进行分类，得到分别匹配于所述至少两个语段的脸部特征；
将对应于同一语段的脸部特征和音频数据组合，得到对应所述语段的媒体数据包。
在上述方案中，所述渲染模块，还用于：
将所述脸部特征转化为对应所述脸部特征的特征向量；
从对应所述脸部特征的特征向量中，提取与所述图像帧数目相同数目的特征向量；
其中，所述图像帧数目为所述音频数据的播放时长以及帧率参数的乘积；
基于所述提取的特征向量进行特效渲染处理，得到与所述图像帧数目相同数目的脸部图像。
在上述方案中，所述渲染模块，还用于：
基于所述给定语段所表征的语义，提取对应所述语义的背景图像；
其中，所述背景图像中包括所述虚拟主播的模型、动作以及所处的直播场景；
将所述脸部图像与所述背景图像进行合成，得到所述虚拟主播的图像帧，其中，所述虚拟主播处于所述直播场景中、且具备所述动作以及所述脸部图像中相应的脸部表情和口型。
在上述方案中，所述渲染模块，还用于：
向区块链网络发送查询交易，其中，所述查询交易指示了用于查询所述区块链网络中账本的智能合约以及对应所述语义的查询参数，以使
所述区块链网络中的共识节点通过执行所述智能合约的方式来查询所述账本，得到所述账本中符合所述查询参数的背景图像；或者
根据所述语义从背景图像数据库中查询所述语义对应的背景图像，并确定所述查询到的背景图像的哈希值；
从区块链网络中查询所述语义对应的哈希值，当所查询到的哈希值与所述确定的哈希值一致时，确定所述查询到的背景图像未经篡改。
在上述方案中，所述渲染模块，还用于：
确定所述音频数据所表征的音素顺序；
基于所述音素顺序，确定包含所述口型特征的图像帧的顺序，以使所述图像帧的顺序所表征的口型变化和所述音素顺序相匹配。
在上述方案中，所述渲染模块，还用于：
确定所述音频数据所表征的音素顺序；
基于所述音素顺序，确定包含所述虚拟主播的动作特征的图像帧的顺序，以使所述图像帧的顺序所表征的动作变化和所述音素顺序相匹配。
在上述方案中，所述装置还包括：
流媒体服务模块，用于响应于客户端发送的直播请求，为所述直播请求分配流媒体播放地址，并将所述流媒体播放地址返回至所述客户端；
所述视频推流模块，还用于：
将所述图像帧集合与音频数据推送至对应所述流媒体播放地址的流媒体接口，以使所述客户端基于所述流媒体播放地址拉取所述图像帧集合与音频数据，通过所述客户端的播放界面实时呈现所述图像帧集合中的图像帧，并同步播放所述音频数据。
在上述方案中，所述文本转语音请求模块，还用于：响应于客户端发送的互动文本，执行以下处理至少之一：查询与互动文本匹配的话术资源，作为所述给定文本；获取直播内容提供商上传的用于回答所述互动文本的给定文本；根据所述互动文本爬取用于回答所述互动文本的给定文本。
本发明实施例提供一种基于人工智能的直播设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的直播方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的直播方法。
本发明实施例具有以下有益效果：
通过本发明实施例提供的基于人工智能的直播方法，能够将文本数据自动实时合成为视频推送到客户端，从而有效提高视频播放的实时性、并降低直播劳动力成本。
附图说明
图1是本发明实施例提供的基于人工智能的直播系统架构的一个可选的结构示意图；
图2是本发明实施例提供的基于人工智能的直播设备的一个可选的结构示意图；
图3A-3E是本发明实施例提供的基于人工智能的直播方法的一个可选的流程示意图；
图4是本发明实施例提供的基于人工智能的直播方法的实现架构图；
图5A-5B是本发明实施例提供的虚拟视频直播服务的整体框架示意图；
图6是本发明实施例提供的虚拟视频推流服务的实现框架。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本邻域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术邻域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)文本转语音(Text To Speech)：通过人工智能(例如，神经网络)，把文本智能地转化为自然语音流。
2)虚拟视频直播：由虚拟角色所合成的视频直播，由虚拟角色担任虚拟主播的角色，在新闻、游戏等场景下进行直播。
随着通信技术的发展，网络通信带宽得到很大的提高，视频直播技术也日趋成熟，在各个方面得到应用。同时随着人工智能技术的发展，文本转语音技术与图像合成技术也成为了人们的研究热点，发展迅速。视频直播技术与人工智能技术的结合可以在许多地方发挥作用，比如代替真人进行新闻虚拟播报、代替游戏主播进行游戏虚拟解说等，具有广阔的应用前景。在虚拟视频直播技术中，音频与图像的生成需要耗费大量的计算时间，为保证虚拟视频直播的实时性，虚拟视频实时推流的实现成为影响最终直播视频质量的重要因素，相关技术中的直播方法大都是针对已有稳定的音频、图像数据输入(如本地视频推流)，或者是能够快速获取到音频、图像数据(如摄像头获取数据)等应用场景，无法在虚拟视频直播中得到很好应用，具体而言，上述相关技术中的技术方案在实际应用中存在以下缺陷：过分依赖稳定的数据源，且在需要较大计算力的场景下，相关技术中的技术方案无法适用，基于此，本发明实施例提出了一种基于人工智能的直播方法，通过并行处理的方式，解决在需要耗费较大计算力用于获取音视频数据的前提下，虚拟视频实时直播的问题，能够有效增强虚拟视频直播的实时性并提高直播视频流畅性。
本发明实施例提供一种基于人工智能的直播方法、装置、设备和存储介质，能够解决在需要耗费较大计算力用于获取音视频数据的前提下，虚拟视频实时直播的问题，下面说明本发明实施例提供的基于人工智能的直播设备的示例性应用，本发明实施例提供的设备可以实施为服务器。下面，将说明设备实施为服务器时示例性应用。
参见图1，图1是本发明实施例提供的基于人工智能的直播系统100的一个可选的架构示意图，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。终端400-1和终端400-2上分别设置有直播客户端410-1和410-2，这里的直播客户端具备提供直播内容的功能以及对直播视频进行呈现的功能，服务器200中包括文本转语音请求模块2551、渲染模块2552和视频推流模块2553，文本转语音请求模块2551基于终端400-1和400-2返回的给定文本，流式获取到对应的口型特征与音频数据，形成媒体数据包，渲染模块2552对每次获取到的媒体数据包中的口型特征通过渲染处理，获取虚拟角色的表情图像，形成推流数据包，视频推流模块2553将每次获取到的表情图像(图像帧集合)与音频数据实时合成为虚拟视频推送给客户端，文本转语音请求模块2551、渲染模块2552和视频推流模块2553是相互独立并行协助的方式对所接收到的数据进行处理，能够将文本数据自动实时合成为视频推送到直播客户端410-1和410-2，在渲染模块2552对每次获取到的口型特征通过渲染处理的过程中，还可以调用基于人工智能的直播系统100中的数据库500中的形象资源，以实现更加丰富的视频直播呈现，这里，还可以将口型特征替换为脸部特征，脸部特征包括口型特征和脸部表情特征。
参见图2，图2是本发明实施例提供的基于人工智能的直播服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器250中的基于人工智能的直播装置255，其可以是程序和插件等形式的软件，包括以下软件模块：文本转语音请求模块2551、渲染模块2552、视频推流模块2553和流媒体服务模块2554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的基于人工智能的直播装置255可以采用硬件方式实现，作为示例，本发明实施例提供的基于人工智能的直播装置255可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于人工智能的直播方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面将结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的基于人工智能的直播方法。
参见图3A，图3A是本发明实施例提供的基于人工智能的直播方法的一个可选的流程示意图。
在步骤201中，接收用于供虚拟主播表演的给定文本。
在步骤202中，对给定文本对应的脸部特征进行特效渲染处理，得到包括脸部特征的脸部图像。
在步骤203中，对脸部图像和背景图像进行合成处理，得到对应虚拟主播的图像帧。
在步骤204中，基于虚拟主播的图像帧和对应给定文本的音频数据，合成对应给定文本的推流数据包。
在步骤205中，向客户端发送推流数据包。
参见图3B，图3B是本发明实施例提供的基于人工智能的直播方法的一个可选的流程示意图，将结合图3B示出的步骤101-106进行说明。
在步骤101中，服务器接收来自于客户端的用于供虚拟主播表演的给定文本。
在一些实施例中，客户端将用于供虚拟主播表演的给定文本发送至服务器，这里的给定文本可以是用户输入的，还可以是通过网络爬去的，这里的给定文本来源于直播内容提供商，这里的给定文本还可以来源于观看直播的用户，虚拟主播可以实时基于观看直播的用户通过客户端输入的文本进行表演，另外在直播过程中，观看直播的用户可以和虚拟主播进行互动，在虚拟主播进行直播表演的过程中，用户输入互动文本后，客户端可以根据互动文本查询对应的话术，生成对应话术的给定文本，或者将互动文本发送至服务器，由服务器根据互动文本查询对应的话术，生成对应话术的给定文本，使得虚拟主播根据对应话术的给定文本进行直播表演，实现了观看用户和虚拟主播之间的互动。
在步骤102中，服务器根据给定文本实时获取对应虚拟主播的音频数据和脸部特征，以形成至少一个媒体数据包并继续实时处理下一个给定文本。
在一些实施例中，在步骤102中，服务器根据给定文本实时获取对应虚拟主播的音频数据和脸部特征，以形成至少一个媒体数据包并继续实时处理下一个给定文本，可以由文本转语音请求模块请求文本转语音服务来获取媒体数据包，文本转语音服务用于根据给定文本实时获取对应虚拟主播的音频数据和脸部特征，以形成至少一个媒体数据包并继续实时处理下一个给定文本，或者也可以由文本转语音模块直接根据给定文本实时获取对应虚拟主播的音频数据和脸部特征，以形成至少一个媒体数据包并继续实时处理下一个给定文本，这里实时处理下一个给定文本意味着，文本转语音请求模块不会等待完成整个推流过程之后才处理下一个给定文本，即只要处理完一个给定文本之后，就开始处理下一个给定文本，下一个给定文本可以是来自于同一个客户端的，也可以是来自于不同客户端的，给定文本可以是针对同一场直播的，接收到的不同给定文本也可以是针对不同直播的，对应形成的媒体数据包中会携带有直播标识，不同直播对应有不同直播标识，进一步的，文本转语音请求模块基于处理器所配置的处理能力，该模块自身也会具有对应于处理器配置的处理能的并行处理能力，即同时处理多个给定文本，这多个给定文本可以是来自于不同客户端或者是针对不同直播的给定文本。在处理过程中，还可以对给定文本进行划分，在划分之后再生成对应各个语段的媒体数据包，每处理完一个语段以生成一个媒体数据包之后，就紧接着处理下一个语段以产生下一个媒体数据包，或者基于处理器所配置的并行处理能力来同时对多个语段产生多个媒体数据包。
参见图3C，图3C是本发明实施例提供的基于人工智能的直播方法的一个可选流程示意图，步骤102中服务器根据给定文本实时获取对应虚拟主播的音频数据，可以具体通过步骤1021-1023实现。
在步骤1021中，当接收到给定文本时，服务器实时将给定文本转化为对应给定文本的词向量。
在步骤1022中，服务器对词向量进行编码处理以及解码处理，得到对应词向量的音频特征。
在步骤1023中，服务器对音频特征进行合成处理，得到对应虚拟主播的音频数据。
在一些实施例中，可以构建一个端到端的深度学习文本转语音模型，直接用深度学习的方法训练出一个文本转语音模型，模型训练完成后，针对给定文本，模型就能生成对应的音频，服务器中的文本转语音请求模块可以将接收到的给定文本实时转化为对应给定文本的词向量，对于文本转语音模型而言，需要先把文本转化为对应的词向量，这里的给定文本可以是一句话，对给定文本进行分词，以确定对应各个词的词向量，可以通过查询字典的方式确定词向量，使用字典下标作为字典中每一个字对应的标识，然后每一条文本就可以通过遍历字典转化成其对应的词向量；对词向量进行编码处理得到中间语义表示，再通过解码处理得到对应词向量的音频特征，基于各音频合成算法，对最终得到的音频特征进行合成，得到对应虚拟主播的音频数据。
在一些实施例中，步骤102中服务器根据给定文本实时获取对应虚拟主播的脸部特征，可以根据以下技术方案实现，根据对应给定文本的音频数据，预测虚拟主播的嘴部关键点，并对嘴部关键点进行归一化处理，以使嘴部关键点适应于标准面部模板；对经过归一化处理的嘴部关键点进行降维处理，得到对应虚拟主播的口型特征；对给定文本进行语义分析，得到给定文本所表征的语义；根据给定文本所表征的语义，确定与语义匹配的脸部表情特征，并结合口型特征以及脸部表情特征形成对应虚拟主播的脸部特征。
在一些实施例中，根据给定文本的对应的音频数据，预测口型的表达，这里使用谱特征来表示音频，为了计算口型表示，需要从面部提取嘴部关键点，并做归一化处理从而不受图像大小、面部位置、面部旋转、面部大小的影响，归一化在此过程中非常重要，因为，它能使生成的嘴部关键点兼容于任何图像，从而归一化处理后的嘴部关键点能够适应于标准面部模板，这里的标准面部模板是虚拟主播的标准面部模板，不同的虚拟主播角色对应于不同的标准面部模板，虚拟主播可以为动物，则标准面部模板可以是动物头像，虚拟主播也可以是卡通人物，则标准面部模板可以是卡通人物头像，对归一化处理过的嘴部关键点进行降维处理，对嘴部关键点特征去相关，只使用最重要部分作为口型的表征，对于脸部特征而言，除了口型特征还有脸部表情特征，口型特征是和音频数据相关，而脸部表情特征则是和给定文本相关，对给定文本进行语义分析，对于给定文本所表征的语义而言，虚拟主播会呈现适应于语义的脸部表情特征，结合口型特征和脸部表情特征形成虚拟主播的脸部特征。
在一些实施例中，在对嘴部关键点进行归一化处理之前，可以通过以下技术方案获取标准面部模板，向区块链网络发送查询交易，其中，查询交易指示了用于查询区块链网络中账本的智能合约，以使区块链网络中的共识节点通过执行智能合约的方式来查询账本，得到账本中存储的标准面部模板；或者根据标准面部模板的标识，从标准面部模板数据库中查询标识对应的标准面部模板，并确定查询到的标准面部模板的哈希值；从区块链网络中查询标识对应的哈希值，当所查询到的哈希值与确定的哈希值一致时，确定查询到的标准面部模板未经篡改。
在一些实施例中，任意一个用户都可以通过直播客户端向区块链网络或者标准面部模板数据库提交标准面部模板，向区块链网络提交标准面部模板可以是通过查询交易的方式实现，查询交易通过执行对应查询的智能合约来查询共识节点中的账本，得到账本中存储的标准面部模板，除此之外，还可以从标准面部模板数据库中查询标准面部模板，查询依据是标准面部模板的标识，标识和标准面部模板一一对应，根据唯一标识查询到标准面模板，并确定查询到的标准面部模板的哈希值，以对查询到的标准面部模板进行哈希验证，当查询到的哈希值和预置的确定的哈希值一致时，则查询到的标准面部模板未经篡改，从而，基于此标准面部模板对嘴部关键点进行归一化处理。
在一些实施例中，用户上传的一些标准面部模板会存在暴力等不符合社会公序良俗的元素，因此，共识节点将调用对应合规性检查的智能合约来对标准面部模板进行合规性检查，智能合约可以采用人工智能模型来进行合规性检查，根据合规来训练人工智能模型，通过执行智能合约，以使用人工智能模型对输入的标准面部模板进行识别，以识别出不符合合规的标准面部模板，对于不符合合规的标准面部模板，将不会存储到区块链网络上。
在一些实施例中，在形成至少一个媒体数据包之前，还可以执行以下技术方案，将给定文本发送至区块链网络，以使区块链网络中的共识节点通过执行智能合约的方式来对给定文本进行合规性检查；当接收到超过预设数目的共识节点返回的合规性确认时，确定给定文本通过合规性检查。
在一些实施例中，除了对标准面部模板进行合规性检查之外，还可以对给定文本进行合规性检查，在形成媒体数据包之前，将给定文本发送到区块链网络进行合规性检查，通过共识节点对给定文本进行共识验证，该共识验证基于合规来进行，以实现合规性检查，当接收到超出数目阈值个共识节点返回的共识验证确认通过时，才确定给定位本通过合规性检查，可以进行后续处理，为了避免合规检查的延迟，可以在接收到一个共识节点的确认时就进行后续处理，当在后续的等待时间内没有接收到足够数量的共识节点返回的确认，则终止处理并返回原因，这里终止处理的时机可以出现在形成媒体数据包的时候，也可以是在进行特效渲染处理的时候，以及进行视频推流的时候，原因可以是对给定文本的合规性检查不通过，要求客户端重新提交给定文本。
参见图3D，基于图3B，图3D是本发明实施例提供的基于人工智能的直播方法的一个可选流程示意图，步骤102中形成至少一个媒体数据包并继续实时处理下一个给定文本，可以具体通过步骤1024-1026实现。
在步骤1024中，服务器将给定文本划分为至少两个语段，并基于至少两个语段，将音频数据划分为与至少两个语段分别匹配的音频数据。
在步骤1025中，基于至少两个语段，服务器对脸部特征进行分类，得到分别匹配于至少两个语段的脸部特征。
在步骤1026中，服务器将对应于同一语段的脸部特征和音频数据组合，得到对应语段的媒体数据包。
在一些实施例中，将给定文本划分为至少两个语段，例如，针对给定文本“大家好，我是主播小A”而言，可以将其划分为两个语段“大家好”和“我是主播小A”，或者三个语段“大家好”“我是”和“主播小A”，对应于不同的语段，基于语段，将“大家好，我是主播小A”的音频数据划分为两个部分“大家好”的音频数据和“我是主播小A”的音频数据，同样是基于划分后得到的语段，对脸部特征进行分类，分别得到对应“大家好”的脸部特征和对应“我是主播小A”的脸部特征，“大家好”的脸部特征中包括对应“大家好”的口型特征和脸部表情特征，“我是主播小A”的脸部特征中包括对应“我是主播小A”的口型特征和脸部表情特征，将对应“大家好”的脸部特征和音频数据组合成对应“大家好”的媒体数据包。
在步骤103中，服务器实时对媒体数据包中的脸部特征进行特效渲染处理，得到对应虚拟主播的图像帧集合，并结合音频数据形成对应媒体数据包的推流数据包，并继续实时处理下一个媒体数据包。
在一些实施例中，在步骤103中，服务器实时对媒体数据包中的脸部特征进行特效渲染处理，得到对应虚拟主播的图像帧集合，并结合音频数据形成对应媒体数据包的推流数据包，并继续实时处理下一个媒体数据包，通过渲染模块实现，这里的实时处理下一个媒体数据包意味着，渲染模块不会等待完成整个推流过程之后才处理下一个媒体数据包，即只要处理完一个媒体数据包之后，就开始处理下一个媒体数据包，媒体数据包可以是针对同一场直播的，接收到的不同媒体数据包也可以是针对不同直播的，对应形成的推流数据包中会携带有直播标识，不同直播对应有不同直播标识，进一步的，渲染模块基于处理器所配置的处理能力，该模块自身也会具有对应于处理器配置的处理能力的并行处理能力，即同时处理多个媒体数据包，这多个媒体数据包可以是针对不同直播的媒体数据包。
参见图3E，基于图3B，图3E是本发明实施例提供的基于人工智能的直播方法的一个可选流程示意图，步骤103中服务器实时对媒体数据包中的脸部特征进行特效渲染处理，得到对应虚拟主播的图像帧集合，可以具体通过步骤1031-1033实现。
在步骤1031中，服务器提取媒体数据包中的音频数据，将媒体数据包中的音频数据的播放时长以及帧率参数的乘积确定为对应音频数据的图像帧数目。
在步骤1032中，服务器提取媒体数据包中的脸部特征，并对脸部特征进行特效渲染处理，得到包括脸部特征的脸部图像。
在步骤1033中，服务器对脸部图像和背景图像进行合成处理，得到对应虚拟主播的图像帧，并将合成得到的多个图像帧组成为对应音频数据的图像帧集合，其中，图像帧集合中图像帧的数目为图像帧数目。
在一些实施例中，服务器中的渲染模块提取媒体数据包中的音频数据，将媒体数据包中的音频数据的播放时长以及帧率参数的乘积确定为对应音频数据的图像帧数目；提取媒体数据包中的脸部特征，并对脸部特征进行特效渲染处理，得到包括脸部特征的脸部图像；对脸部图像和背景图像进行合成处理，得到对应虚拟主播的图像帧，并将合成得到的多个图像帧组成为对应音频数据的图像帧集合，其中，图像帧集合中图像帧的数目为图像帧数目。
在一些实施例中，媒体数据包中具有相互匹配的音频数据和脸部特征，渲染模块负责基于脸部特征生成图像帧集合，图像帧集合中的图像帧集合中图像帧的数目和对应的音频数据的长度相关，例如，音频数据的长度为1秒，帧率是每秒25帧，则对应该音频数据所在的媒体数据包中的图像帧集合中的图像帧的数目为25帧。图像帧的生成过程主要是对脸部特征进行特效渲染处理，使得到的脸部图像上能够表征出对应的脸部特征，这里的脸部特征包括口型特征和脸部表情特征，例如，对于“大家好”这个语段所对应的媒体数据包，其所得到的脸部图像上的口型是对应于“大家好”的口型，其所得到的脸部图像上的表情是对应于“大家好”的表情，且这里的口型特征可以是适应于标准面部模板的，标准面部模板包括真实人物面部模板、卡通人物面部模板、动物面部模板或者图形模板，在虚拟直播中，可以让一个普通的长方体开口说话进行直播，将脸部图像和背景图像进行合成，则得到了虚拟主播的图像帧，在对脸部特征进行特效渲染处理的过程中会生成多个脸部图像，从而和多个背景图像合成形成多个图像帧，多个图像帧组成了图像帧集合，这里的脸部图像的数目、背景图像的数目以及图像帧的数目一致。
在一些实施例中，上述提取媒体数据包中的脸部特征，并对脸部特征进行特效渲染处理，得到对应脸部特征的脸部图像的过程可以通过以下技术方案实现，将脸部特征转化为对应脸部特征的特征向量；从对应脸部特征的特征向量中，提取与图像帧数目相同数目的特征向量；基于提取的特征向量进行特效渲染处理，得到与图像帧数目相同数目的脸部图像。
在一些实施例中，图像帧集合中图像帧的数目是根据音频数据所确定的，音频数据的长度为1秒，帧率是每秒25帧，则对应该音频数据所在的媒体数据包中的图像帧集合中的图像帧的数目为25帧，即意味着需要合成25帧图像帧，即意味着需要得到25个脸部图像，这里，通过特征向量来对脸部特征进行数学上的表达，将1秒音频数据所在的媒体数据包中的脸部特征全部转化为特征向量，不同的特征向量可以表征不同的口型，因为口型变化是一个动态的过程，即便只是1秒的音频数据，其口型变化也是一个动态的过程，其中，需要25帧图像来呈现该动态过程，因而，从特征向量中提取与图像帧数目相同数目的特征向量，基于提取的特征向量进行特效渲染处理，得到与图像帧数目相同数目的脸部图像。
在一些实施例中，上述步骤中对脸部图像和背景图像进行合成处理的过程可以通过以下技术方案实现，对媒体数据包进行解析处理，得到媒体数据包中所包含的音频数据，并确定对应音频数据的语段；基于语段所表征的语义，提取对应语义的背景图像；其中，背景图像中包括虚拟主播的模型、动作以及所处的直播场景；将脸部图像与背景图像进行合成，得到虚拟主播的图像帧，其中，虚拟主播处于直播场景中、且具备动作以及脸部图像中相应的脸部表情和口型。
在一些实施例中，在进行合成的过程中，需要确定脸部图像所适应的背景图像，背景图像中包括虚拟主播的模型、动作以及所处的直播场景，虚拟主播的模型可以是三维模型，不同的虚拟主播模型对应了不同的体态，以及不同的整体形象，背景图像中的动作是虚拟主播会呈现的动作，例如摆手或者跳舞等动作，直播场景是虚拟主播所处的环境，例如可以是在野外、森林或者是具有特定环境的房间等等，背景图像的确定也和语义相关，媒体数据包中的音频数据或者脸部特征是与语段一一对应的，每个语段会有其表征的语义，基于语义来选择适应于该语义的背景图像，将脸部图像和背景图像合成之后，得到的虚拟主播的图像帧中可以呈现以下信息，虚拟主播处于直播场景中、且虚拟主播具备动作以及脸部图像中相应的脸部表情和口型。
在一些实施例中，上述提取对应语义的背景图像的过程，可以通过以下技术方案实现，向区块链网络发送查询交易，其中，查询交易指示了用于查询区块链网络中账本的智能合约以及对应语义的查询参数，以使区块链网络中的共识节点通过执行智能合约的方式来查询账本，得到账本中符合查询参数的背景图像；或者根据语义从背景图像数据库中查询语义对应的背景图像，并确定查询到的背景图像的哈希值；从区块链网络中查询语义对应的哈希值，当所查询到的哈希值与确定的哈希值一致时，确定查询到的背景图像未经篡改。
在一些实施例中，背景图像可以由专门的美术内容提供商提供，或者由直播发起用户提供，可以将背景图像上传到区块链网络中，使得背景图像不易被篡改，防止在进行直播生成的过程中，所合成出的图像帧中出现有违社会工序良俗的内容，或者故意损害直播发起用户的内容，因而，获取背景图像的过程可以通过向区块链网络发起查询交易来实现，查询交易中指示了用于查询区块链网络中账本的智能合约以及对应语义的查询参数，查询参数可以是背景图像的标识，或者是背景图像的上传者信息等，通过执行对应于查询交易的智能合约可以得到账本中符合查询参数的背景图像，在另一种实施方式中，根据语义从背景图像数据库中查询背景图像以及背景图像的哈希值，对查询到的哈希值进行哈希验证，将背景图像的哈希值和区块链网络中存储的语义的哈希值和背景图像的哈希值进行比对，比对结果一致，则表征查询到的背景图像未被篡改。
在一些实施例中，在得到图像帧集合后，可以确定图像帧集合中的图像帧的顺序，通过以下技术方案实现，确定所述音频数据所表征的音素顺序；基于所述音素顺序，确定包含所述口型特征的图像帧的顺序，以使所述图像帧的顺序所表征的口型变化和所述音素顺序相匹配。
在一些实施例中，图像帧集合中的图像帧本身是不具备顺序属性的，但是图像帧的呈现是具备顺序的，从口型的角度而言，口型变化和音频的输出应该保持一致，否则将会出现口型和音频不一致的情形，因而，确定音频数据中的音素顺序，基于音素顺序确定口型特征的顺序，由于口型特征与图像帧对应，因而，可以确定包含口型特征的图像帧的顺序，对每个图像帧进行顺序编号，使图像帧的顺序所表征的口型变化和音素顺序相匹配，于是，在输出音频时，按照编号的顺序来呈现图像帧。
在一些实施例中，除了将口型变化考虑到图像帧的排序中，还可以将背景图像中的动作也考虑到图像帧的排序中，对于同一个媒体数据包的背景图像而言，同一个媒体数据包的背景图像可以表征同一组动作，而一组动作的呈现也可以是动态的过程，将一组动作的背景图像和包含口型特征的脸部图像均按照音素顺序进行排序，使得口型变化和动作的呈现均符合音频数据的输出，使得图像帧和音频数据匹配且同步。
在一些实施例中，排序过程可以还可以发生在其他阶段，这里的排序是针对图像帧进行的，实际上排序过程还可以通过文本转语音请求模块来实现，在获得媒体数据包时，对脸部特征中的口型特征进行排序，使得口型特征和音素一一对应，口型特征所表征的口型变化和音素输出顺序匹配。
在步骤104中，服务器实时提取推流数据包中的图像帧集合与音频数据。
在步骤105中，服务器将图像帧集合与音频数据推送至客户端。
在步骤106中，客户端根据接收的图像帧集合实时呈现虚拟主播的图像帧，以及对应的音频数据。
在一些实施例中，服务器中的视频推流模块可以直接将提取到的图像帧集合和音频数据推送至客户端进行直播，还可以响应于客户端发送的直播请求，为直播请求分配流媒体播放地址，并将流媒体播放地址返回至客户端。
在一些实施例中，在客户端向服务器发送包括给定文本的直播请求时，可以由服务器为客户端分配流媒体服务器地址，使得客户端不断从该地址拉取直播视频，服务器选择合适的流媒体服务器地址发送给直播客户端，流媒体服务器地址的选择方式可以是固定的，也可以是预分配选择范围等方式。
在一些实施例中，步骤105和106中服务器将图像帧集合与音频数据推送至客户端，客户端根据接收的图像帧集合实时呈现虚拟主播的图像帧，以及对应的音频数据，可以通过以下技术方案实现，将图像帧集合与音频数据推送至对应流媒体播放地址的流媒体接口，以使客户端基于流媒体播放地址拉取图像帧集合与音频数据，通过客户端的播放界面实时呈现图像帧集合中的图像帧，并同步播放音频数据。
在一些实施例中，在直播的过程中，客户端可以接收到来自于直播观看用户的互动文本，这里的互动文本是指在直播过程中和虚拟主播的互动，例如，对于美食直播而言，互动文本的内容可以是询问餐厅的地址或者菜品，这时，客户端或者服务器查询与互动文本匹配的形象资源和话术资源，这里的话术资源可以是预先配置好的，可以用于回答观看用户提问的话术，以使得直播观看用户可以获得及时的响应，同时，这里的话术可以设定快捷回复话术，快捷回复话术可以实时响应互动文本，在通过快捷回复话术响应互动文本的同时，客户端可以获取直播内容提供商上传的具体用于回答互动文本的具备实质性内容的给定文本，或者由服务器直接根据互动文本在网上爬取具体用于回答互动文本的具备实质性内容的给定文本，对话术资源进行语音合成处理，并结合形象资源，确定用于响应互动文本的音频数据以及脸部特征，后续的处理过程和本发明实施例提供的基于人工智能的直播方法相同。
在一些实施例中，还可以对虚拟主播的话术资源和形象资源进行配置，接收美术资源提供方上传的虚拟主播的形象资源，并创建虚拟主播的话术资源；其中，形象资源包括以下至少之一：场景资源，模型资源和动作资源；当接收到新虚拟主播的形象资源时，为接收的形象资源分配新版本标识，并生成对应新版本的配置信息，配置信息包括以下至少之一：场景资源配置项目，模型资源配置项目，动作资源配置项目和话术资源配置项目；当接收到虚拟主播的形象资源是已有虚拟主播的更新资源时，更新已有虚拟主播的对应版本的形象资源和配置信息。
参见图4，图4是本发明实施例提供的基于人工智能的直播方法的实现架构图，文本转语音请求模块基于给定文本获取到脸部特征与音频数据(对应于图4中的步骤101-102，在步骤101中，服务器接收来自于客户端的用于供虚拟主播表演的给定文本，在步骤102中，服务器根据给定文本实时获取对应虚拟主播的音频数据和脸部特征，以形成至少一个媒体数据包并继续实时处理下一个给定文本)，渲染模块对每次获取到的脸部特征通过三维渲染处理(对应于图4中的步骤103，在步骤103中，服务器实时对媒体数据包中的脸部特征进行特效渲染处理，得到对应虚拟主播的图像帧集合，并结合音频数据形成对应媒体数据包的推流数据包，并继续实时处理下一个媒体数据包)，获取虚拟角色的脸部图像，视频推流模块将每次获取到的脸部图像与音频数据实时合成为虚拟视频推送给客户端(对应于图4中的步骤104和105，在步骤104中，服务器实时提取推流数据包中的图像帧集合与音频数据，在步骤105中，服务器将图像帧集合与音频数据推送至客户端)，从而在步骤106中，客户端根据接收的图像帧集合实时呈现虚拟主播的图像帧，以及对应的音频数据。文本转语音请求模块、渲染模块以及视频推流模块相互独立并行协助的方式，能够将文本数据自动实时合成为视频推送到客户端。这里三个模块是相互独立并行的，相互独立并行表征文本转语音请求模块对第一个给定文本处理完毕后，将得到的第一个媒体数据包发送至渲染模块，且继续对第二个给定文本进行处理以得到第二个媒体数据包，渲染模块对接收到的第一个媒体数据包进行处理生成第一个推流数据包，此时渲染模块会继续对接收到的第二个媒体数据包进行处理以生成第二个推流数据包，即文本转语音请求模块不会等待第一个给定文本完成全部推流过程之后再进行下一步处理，而是继续处理接收到的给定文本，渲染模块也不会受其他模块处理进度的影响，而会继续处理其所接收到的下一个媒体数据包。
下面，将说明本发明实施例提供的基于人工智能的直播方法在一个实际的应用场景中的示例性应用。
本发明实施例提供的基于人工智能的直播方法能应用到包括虚拟新闻直播、虚拟游戏解说等多个项目和产品应用中，从而有效提高直播的实时性。
在虚拟直播的场景中，通过本发明实施例提供的基于人工智能的直播方法可以根据输入文本(给定文本)，并行地获取到音频数据与图像数据，并实时推流给客户端以实现实时直播。
图5A-5B是本发明实施例提供的虚拟视频直播服务的整体框架示意图，参见图5A-5B，虚拟视频直播服务的整体框架包括直播客户端、文本转语音服务和虚拟视频推流服务，其中虚拟视频推流服务的实现方法为本发明的主要创新所在。图5A中，直播客户端向虚拟视频推流服务发送直播请求，直播请求中携带有给定文本，虚拟视频推流服务向文本转语音服务请求获取音频数据和脸部特征，文本转语音服务返回音频数据和脸部特征作为响应，虚拟视频推流服务根据获取到的响应执行本发明实施例提供的直播方法，将图像帧集合和音频数据推送至直播客户端。图5B中，直播客户端向虚拟视频推流服务发送直播请求，直播请求中携带有给定文本，虚拟视频推流服务将流媒体服务地址作为响应返回给客户端，且向文本转语音服务请求获取音频数据和脸部特征，文本转语音服务返回音频数据和脸部特征作为响应，虚拟视频推流服务根据获取到的响应执行本发明实施例提供的直播方法，将图像帧集合和音频数据推送至流媒体服务，直播客户端从对应流媒体服务的流媒体服务地址拉取视频。
图6是本发明实施例提供的虚拟视频推流服务的实现框架，参见图6，虚拟视频推流服务中包括文本转语音请求模块、三维渲染模块和视频推流模块。直播客户端向虚拟视频直播服务端发送文本请求，客户端发送的文本请求中的给定文本是直播视频的虚拟角色将会说出的文字；文本转语音请求模块向文本转语音服务发起请求，流式获取给定文本相对应的音频数据与口型特征，文本转语音请求模块每从文本转语音服务获取到一个包含音频和口型特征的数据包，就将数据包推送给三维渲染模块，直到接收到文本转语音服务的结束包时，发送结束包给三维渲染模块；三维渲染模块每获取到一个文本转语音数据包，提取其中的口型特征进行空间上的三维渲染获取一组对应脸部图像，同时将一张脸部图像与一张背景图像合成为一张完整的图像，得到一组完整的直播视频图像帧，并与音频数据打包，一起推送给视频推流模块，直到接收到一个结束包时，发送结束包给视频推流模块；视频推流模块每获取到一个三维渲染模块推送过来的数据包，提取其中的音频数据与图像帧数据，通过快进动态图像专家组(FFMPEG，Fast Forward Moving Picture Expert Group)工具将音频、图像帧数据同步推送给客户端，直到接收到结束包后，结束该视频的推送。
这里，文本转语音请求模块、三维渲染模块、视频推流模块是独立运行的模块，这种相互独立地数据包并行处理方式，是实现虚拟视频实时推流的关键所在。在获取文本转语音服务的流式数据前，需要先请求文本转语音服务以获取给定文本最终生成的音频的时长，从而估算最终生成的直播视频时长，从文本转语音服务流式获取音频与口型特征，能够快速获取到音频和视频数据，实现实时直播。
三维渲染模块进行渲染的过程可以由开放图形库工具与卷积神经网络进行实现，背景图像包括人物的肢体动作以及背景环境信息，本发明实施例提供的基于人工智能的直播方法根据给定文本确定视频长度，在渲染的过程中，从预先保存的通用背景图像中选择n组合适的背景图像与脸部表情进行匹配合成，每一组背景图像都是一个完整的动作，n组背景图像正好能够在视频结束时完成n个动作，这里的视频长度还和帧率相关，如果帧率为25帧每秒，则10秒中的视频需要250帧图像。
视频推流模块主要使用了FFMPEG工具进行视频推流，当收到第一个数据包时，进行推流初始化，并推送音频和视频，当接收到结束包时，结束推流过程，此时完成一个完整的视频推流。
上述文本转语音请求模块、三维渲染模块、视频推流模块所进行的处理都是十分耗时的过程，如果将这些处理用串行的方式进行实现、那么数据处理时长必将大于生成视频的时长，无法实现虚拟视频的直播，因此，文本转语音请求模块、三维渲染模块和视频推流模块相互独立并行协作，只要各个模块的处理时间小于视频时长，同时客户端仅需要在发送请求后，等待一个固定延时后就能够实现虚拟视频实时直播，该固定延时等于文本转语音请求模块获取的第一个数据传递到视频推流模块并推流成功的耗时。
下面继续说明本发明实施例提供的基于人工智能的直播装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的基于人工智能的直播装置255中的软件模块可以包括：文本转语音请求模块2551，用于接收用于供虚拟主播表演的给定文本，根据所述给定文本实时获取对应所述虚拟主播的音频数据和脸部特征，以形成至少一个媒体数据包；渲染模块2552，用于实时对所述媒体数据包中的脸部特征进行特效渲染处理，得到对应所述虚拟主播的图像帧集合，并结合所述音频数据形成对应所述媒体数据包的推流数据包；视频推流模块2553，用于实时提取所述推流数据包中的图像帧集合与音频数据，并推送至客户端，以使所述客户端根据接收的图像帧集合实时呈现所述虚拟主播的图像帧，以及对应的音频数据。
在一些实施例中，所述文本转语音请求模块2551，还用于：当接收到所述给定文本时，实时将所述给定文本转化为对应所述给定文本的词向量；对所述词向量进行编码处理以及解码处理，得到对应所述词向量的音频特征；对所述音频特征进行合成处理，得到对应所述虚拟主播的音频数据。
在一些实施例中，所述文本转语音请求模块2551，还用于：根据对应所述给定文本的音频数据，预测所述虚拟主播的嘴部关键点，并对所述嘴部关键点进行归一化处理，以使所述嘴部关键点适应于标准面部模板；对经过归一化处理的嘴部关键点进行降维处理，得到对应所述虚拟主播的口型特征；对所述给定文本进行语义分析，得到所述给定文本所表征的语义；根据所述给定文本所表征的语义，确定与所述语义匹配的脸部表情特征，并结合所述口型特征以及所述脸部表情特征形成对应所述虚拟主播的脸部特征。
在一些实施例中，所述文本转语音请求模块2551，还用于：向区块链网络发送查询交易，其中，所述查询交易指示了用于查询所述区块链网络中账本的智能合约，以使所述区块链网络中的共识节点通过执行所述智能合约的方式来查询所述账本，得到所述账本中存储的所述标准面部模板；或者根据所述标准面部模板的标识，从标准面部模板数据库中查询所述标识对应的所述标准面部模板，并确定所述查询到的标准面部模板的哈希值；从区块链网络中查询所述标识对应的哈希值，当所查询到的哈希值与所述确定的哈希值一致时，确定所述查询到的标准面部模板未经篡改。
在一些实施例中，所述文本转语音请求模块2551，还用于：将所述给定文本发送至区块链网络，以使所述区块链网络中的共识节点通过执行智能合约的方式来对所述给定文本进行合规性检查；当接收到超过预设数目的共识节点返回的合规性确认时，确定所述给定文本通过所述合规性检查。
在一些实施例中，所述文本转语音请求模块2551，还用于：将所述给定文本划分为至少两个语段，并基于所述至少两个语段，将所述音频数据划分为与所述至少两个语段分别匹配的音频数据；基于所述至少两个语段，对所述脸部特征进行分类，得到分别匹配于所述至少两个语段的脸部特征；将对应于同一语段的脸部特征和音频数据组合，得到对应所述语段的媒体数据包。
在一些实施例中，所述渲染模块2552，还用于：提取所述媒体数据包中的音频数据，将所述媒体数据包中的音频数据的播放时长以及帧率参数的乘积确定为对应所述音频数据的图像帧数目；提取所述媒体数据包中的脸部特征，并对所述脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧，并将合成得到的多个所述图像帧组成为对应所述音频数据的图像帧集合；其中，所述图像帧集合中图像帧的数目为所述图像帧数目。
在一些实施例中，所述渲染模块2552，还用于：将所述脸部特征转化为对应所述脸部特征的特征向量；从对应所述脸部特征的特征向量中，提取与所述图像帧数目相同数目的特征向量；基于所述提取的特征向量进行特效渲染处理，得到与所述图像帧数目相同数目的脸部图像。
在一些实施例中，所述渲染模块2552，还用于：对所述媒体数据包进行解析处理，得到所述媒体数据包中所包含的音频数据，并确定对应所述音频数据的语段；基于所述语段所表征的语义，提取对应所述语义的背景图像；其中，所述背景图像中包括所述虚拟主播的模型、动作以及所处的直播场景；将所述脸部图像与所述背景图像进行合成，得到所述虚拟主播的图像帧，其中，所述虚拟主播处于所述直播场景中、且具备所述动作以及所述脸部图像中相应的脸部表情和口型。
在一些实施例中，所述渲染模块2552，还用于：向区块链网络发送查询交易，其中，所述查询交易指示了用于查询所述区块链网络中账本的智能合约以及对应所述语义的查询参数，以使所述区块链网络中的共识节点通过执行所述智能合约的方式来查询所述账本，得到所述账本中符合所述查询参数的背景图像；或者根据所述语义从背景图像数据库中查询所述语义对应的背景图像，并确定所述查询到的背景图像的哈希值；从区块链网络中查询所述语义对应的哈希值，当所查询到的哈希值与所述确定的哈希值一致时，确定所述查询到的背景图像未经篡改。
在一些实施例中，所述渲染模块2552，还用于：确定所述音频数据所表征的音素顺序；基于所述音素顺序，确定包含所述口型特征的图像帧的顺序，以使所述图像帧的顺序所表征的口型变化和所述音素顺序相匹配。
在一些实施例中，所述基于人工智能的直播装置255还包括：流媒体服务模块2554，用于响应于客户端发送的直播请求，为所述直播请求分配流媒体播放地址，并将所述流媒体播放地址返回至所述客户端；所述视频推流模块2553，还用于：将所述图像帧集合与音频数据推送至对应所述流媒体播放地址的流媒体接口，以使所述客户端基于所述流媒体播放地址拉取所述图像帧集合与音频数据，通过所述客户端的播放界面实时呈现所述图像帧集合中的图像帧，并同步播放所述音频数据。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图3A-3E示出的基于人工智能的直播方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本发明实施例提供的基于人工智能的直播方法，通过并行处理的方式，解决在需要耗费较大计算力用于获取音视频数据的前提下，虚拟视频实时直播的问题，有效增强虚拟视频直播的实时性，提高直播视频流畅性且促进了人工智能在直播服务中的发展，解放了真人直播，降低了劳动力成本。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (17)

1.一种基于人工智能的直播方法，其特征在于，所述方法包括：
接收用于供虚拟主播表演的给定文本；
根据所述给定文本实时获取对应所述虚拟主播的音频数据和脸部特征；
基于所述虚拟主播的音频数据和脸部特征，形成至少一个媒体数据包，并继续处理下一个给定文本，以得到对应下一个给定文本的至少一个媒体数据包；
从对应所述给定文本的至少一个媒体数据包中提取出对应所述给定文本的脸部特征；
对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像，并对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；
基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包，并继续处理对应下一个给定文本的至少一个媒体数据包，以得到对应下一个给定文本的推流数据包；
当形成对应任意一个给定文本的推流数据包时，向客户端发送形成的推流数据包。
2.根据权利要求1所述的方法，其特征在于，所述基于所述虚拟主播的音频数据和脸部特征，形成至少一个媒体数据包，包括：
对所述给定文本进行划分处理，得到对应所述给定文本的多个语段；
生成对应任意一个所述语段的媒体数据包，并继续实时处理下一个语段，以生成对应所述下一个语段的媒体数据包；
其中，所述媒体数据包包括对应所述语段的音频数据和脸部特征，且对应所述语段的音频数据和脸部特征与所述虚拟主播对应。
3.根据权利要求1所述的方法，其特征在于，所述根据所述给定文本实时获取对应所述虚拟主播的音频数据，包括：
当接收到所述给定文本时，实时将所述给定文本转化为对应所述给定文本的词向量；
对所述词向量进行编码处理以及解码处理，得到对应所述词向量的音频特征；
对所述音频特征进行合成处理，得到对应所述虚拟主播的音频数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述给定文本实时获取对应所述虚拟主播的脸部特征，包括：
根据对应所述给定文本的音频数据，预测所述虚拟主播的嘴部关键点，并对所述嘴部关键点进行归一化处理，以使所述嘴部关键点适应于标准面部模板；
对经过归一化处理的嘴部关键点进行降维处理，得到对应所述虚拟主播的口型特征；
对所述给定文本进行语义分析，得到所述给定文本所表征的语义；
根据所述给定文本所表征的语义，确定与所述语义匹配的脸部表情特征，并结合所述口型特征以及所述脸部表情特征形成对应所述虚拟主播的脸部特征。
5.根据权利要求4所述的方法，其特征在于，对所述嘴部关键点进行归一化处理之前，所述方法还包括：
向区块链网络发送查询交易，其中，所述查询交易指示了用于查询所述区块链网络中账本的智能合约，以使
所述区块链网络中的共识节点通过执行所述智能合约的方式来查询所述账本，得到所述账本中存储的所述标准面部模板；或者
根据所述标准面部模板的标识，从标准面部模板数据库中查询所述标识对应的所述标准面部模板，并确定所述查询到的标准面部模板的哈希值；
从区块链网络中查询所述标识对应的哈希值，当所查询到的哈希值与所述确定的哈希值一致时，确定所述查询到的标准面部模板未经篡改。
6.根据权利要求1所述的方法，其特征在于，在形成至少一个媒体数据包之前，所述方法还包括：
将所述给定文本发送至区块链网络，以使
所述区块链网络中的共识节点通过执行智能合约的方式来对所述给定文本进行合规性检查；
当接收到超过预设数目的共识节点返回的合规性确认时，确定所述给定文本通过所述合规性检查。
7.根据权利要求1所述的方法，其特征在于，所述形成至少一个媒体数据包，包括：
将所述给定文本划分为至少两个语段，并基于所述至少两个语段，将所述音频数据划分为与所述至少两个语段分别匹配的音频数据；
基于所述至少两个语段，对所述脸部特征进行分类，得到分别匹配于所述至少两个语段的脸部特征；
将对应于同一语段的脸部特征和音频数据组合，得到对应所述语段的媒体数据包。
8.根据权利要求1所述的方法，其特征在于，所述对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像，包括：
将所述脸部特征转化为对应所述脸部特征的特征向量；
从对应所述脸部特征的特征向量中，提取与图像帧数目相同数目的特征向量；
其中，所述图像帧数目为所述音频数据的播放时长以及帧率参数的乘积；
基于所述提取的特征向量进行特效渲染处理，得到与所述图像帧数目相同数目的脸部图像。
9.根据权利要求1所述的方法，其特征在于，所述对所述脸部图像和背景图像进行合成处理，包括：
基于所述给定文本所表征的语义，提取对应所述语义的背景图像；
其中，所述背景图像中包括所述虚拟主播的模型、动作以及所处的直播场景；
将所述脸部图像与所述背景图像进行合成，得到所述虚拟主播的图像帧，其中，所述虚拟主播处于所述直播场景中、且具备所述动作以及所述脸部图像中相应的脸部表情和口型。
10.根据权利要求9所述的方法，其特征在于，所述提取对应所述语义的背景图像，包括：
向区块链网络发送查询交易，其中，所述查询交易指示了用于查询所述区块链网络中账本的智能合约以及对应所述语义的查询参数，以使
所述区块链网络中的共识节点通过执行所述智能合约的方式来查询所述账本，得到所述账本中符合所述查询参数的背景图像；或者
根据所述语义从背景图像数据库中查询所述语义对应的背景图像，并确定所述查询到的背景图像的哈希值；
从区块链网络中查询所述语义对应的哈希值，当所查询到的哈希值与所述确定的哈希值一致时，确定所述查询到的背景图像未经篡改。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
确定所述音频数据所表征的音素顺序；
基于所述音素顺序，确定包含所述口型的图像帧的顺序，以使所述图像帧的顺序所表征的口型变化和所述音素顺序相匹配。
12.根据权利要求9所述的方法，其特征在于，所述方法还包括：
确定所述音频数据所表征的音素顺序；
基于所述音素顺序，确定包含所述虚拟主播的动作特征的图像帧的顺序，以使所述图像帧的顺序所表征的动作变化和所述音素顺序相匹配。
13.根据权利要求1-12任一项所述的方法，其特征在于，所述方法还包括：
响应于客户端发送的直播请求，为所述直播请求分配流媒体播放地址，并将所述流媒体播放地址返回至所述客户端；
所述向客户端发送形成的推流数据包，包括：
将图像帧集合与音频数据推送至对应所述流媒体播放地址的流媒体接口，以使所述客户端基于所述流媒体播放地址拉取所述图像帧集合与音频数据，通过所述客户端的播放界面实时呈现所述图像帧集合中的图像帧，并同步播放所述音频数据。
14.根据权利要求1-12任一项所述的方法，其特征在于，所述接收用于供虚拟主播表演的给定文本，包括：
响应于客户端发送的互动文本，执行以下处理至少之一：
查询与互动文本匹配的话术资源，作为所述给定文本；
获取直播内容提供商上传的用于回答所述互动文本的给定文本；
根据所述互动文本爬取用于回答所述互动文本的给定文本。
15.一种基于人工智能的直播装置，其特征在于，所述装置包括：
文本转语音请求模块，用于接收用于供虚拟主播表演的给定文本；
所述文本转语音请求模块，还用于根据所述给定文本实时获取对应所述虚拟主播的音频数据和脸部特征；基于所述虚拟主播的音频数据和脸部特征，形成至少一个媒体数据包，并继续处理下一个给定文本，以得到对应下一个给定文本的至少一个媒体数据包；从对应所述给定文本的至少一个媒体数据包中提取出对应所述给定文本的脸部特征；
渲染模块，用于对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像，并对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包，并继续处理对应下一个给定文本的至少一个媒体数据包，以得到对应下一个给定文本的推流数据包；
视频推流模块，用于当形成对应任意一个给定文本的推流数据包时，向客户端发送形成的推流数据包。
16.一种基于人工智能的直播设备，其特征在于，所述设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至14任一项所述的基于人工智能的直播方法。
17.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至14任一项所述的基于人工智能的直播方法。
CN202110184746.2A 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质 Active CN112995706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110184746.2A CN112995706B (zh) 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911319847.5A CN111010586B (zh) 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质
CN202110184746.2A CN112995706B (zh) 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911319847.5A Division CN111010586B (zh) 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112995706A CN112995706A (zh) 2021-06-18
CN112995706B true CN112995706B (zh) 2022-04-19

Family

ID=70116920

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110184746.2A Active CN112995706B (zh) 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质
CN201911319847.5A Active CN111010586B (zh) 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911319847.5A Active CN111010586B (zh) 2019-12-19 2019-12-19 基于人工智能的直播方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (2) CN112995706B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540055B (zh) * 2020-04-16 2024-03-08 广州虎牙科技有限公司 三维模型驱动方法、装置、电子设备及存储介质
CN113691833B (zh) * 2020-05-18 2023-02-03 北京搜狗科技发展有限公司 虚拟主播换脸方法、装置、电子设备及存储介质
CN111787417B (zh) * 2020-06-23 2024-05-17 刘叶 基于人工智能ai的音视频的传输控制方法及相关设备
CN111970521B (zh) * 2020-07-16 2022-03-11 深圳追一科技有限公司 虚拟主播的直播方法、装置、计算机设备和存储介质
CN112543342B (zh) * 2020-11-26 2023-03-14 腾讯科技（深圳）有限公司 虚拟视频直播处理方法及装置、存储介质、电子设备
CN112601100A (zh) * 2020-12-11 2021-04-02 北京字跳网络技术有限公司 一种直播互动方法、装置、设备及介质
CN112616063B (zh) * 2020-12-11 2022-10-28 北京字跳网络技术有限公司 一种直播互动方法、装置、设备及介质
CN114630135A (zh) * 2020-12-11 2022-06-14 北京字跳网络技术有限公司 一种直播互动方法及装置
CN113094698B (zh) * 2021-04-21 2022-05-24 杭州天宽科技有限公司 一种安卓应用虚拟化环境中的权限管理方法
CN113194350B (zh) * 2021-04-30 2022-08-19 百度在线网络技术（北京）有限公司 推送待播报数据、播报数据的方法和装置
CN113923462A (zh) * 2021-09-10 2022-01-11 阿里巴巴达摩院(杭州)科技有限公司 视频生成、直播处理方法、设备和可读介质
CN113891150A (zh) * 2021-09-24 2022-01-04 北京搜狗科技发展有限公司 一种视频处理方法、装置和介质
CN114363652A (zh) * 2022-01-04 2022-04-15 阿里巴巴（中国）有限公司 视频直播方法、系统及计算机存储介质
CN115002491A (zh) * 2022-04-26 2022-09-02 未鲲(上海)科技服务有限公司 基于智能机器的网络直播方法、装置、设备及存储介质
CN115426536B (zh) * 2022-11-02 2023-01-20 北京优幕科技有限责任公司 音视频生成方法及装置
CN116389777A (zh) * 2023-03-10 2023-07-04 启朔(深圳)科技有限公司 云端数字人直播方法、云端设备、主播端设备和系统
CN116095357B (zh) * 2023-04-07 2023-07-04 世优（北京）科技有限公司 虚拟主播的直播方法、装置及系统
CN116668796B (zh) * 2023-07-03 2024-01-23 佛山市炫新智能科技有限公司 一种互动式仿真人直播信息管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106653052A (zh) * 2016-12-29 2017-05-10 Tcl集团股份有限公司 虚拟人脸动画的生成方法及装置
CN107682328A (zh) * 2017-09-26 2018-02-09 武汉斗鱼网络科技有限公司 一种数据校验方法及客户端
CN107920256A (zh) * 2017-11-30 2018-04-17 广州酷狗计算机科技有限公司 直播数据播放方法、装置及存储介质
CN108833810A (zh) * 2018-06-21 2018-11-16 珠海金山网络游戏科技有限公司 一种三维虚拟偶像直播中实时生成字幕的方法及装置
CN109118562A (zh) * 2018-08-31 2019-01-01 百度在线网络技术（北京）有限公司 虚拟形象的讲解视频制作方法、装置以及终端
CN109637518A (zh) * 2018-11-07 2019-04-16 北京搜狗科技发展有限公司 虚拟主播实现方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8467443B2 (en) * 2005-04-01 2013-06-18 Korea Electronics Technology Institute Object priority order compositor for MPEG-4 player
WO2019055703A2 (en) * 2017-09-13 2019-03-21 Magical Technologies, Llc VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT
CN110365996B (zh) * 2019-07-25 2021-08-10 深圳市元征科技股份有限公司 直播管理方法、直播管理平台、电子设备及存储介质
CN110505223B (zh) * 2019-08-15 2021-09-14 腾讯科技（深圳）有限公司 区块链多链管理方法、装置和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106653052A (zh) * 2016-12-29 2017-05-10 Tcl集团股份有限公司 虚拟人脸动画的生成方法及装置
CN107682328A (zh) * 2017-09-26 2018-02-09 武汉斗鱼网络科技有限公司 一种数据校验方法及客户端
CN107920256A (zh) * 2017-11-30 2018-04-17 广州酷狗计算机科技有限公司 直播数据播放方法、装置及存储介质
CN108833810A (zh) * 2018-06-21 2018-11-16 珠海金山网络游戏科技有限公司 一种三维虚拟偶像直播中实时生成字幕的方法及装置
CN109118562A (zh) * 2018-08-31 2019-01-01 百度在线网络技术（北京）有限公司 虚拟形象的讲解视频制作方法、装置以及终端
CN109637518A (zh) * 2018-11-07 2019-04-16 北京搜狗科技发展有限公司 虚拟主播实现方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Effective E-learning using 3D Virtual Tutors and WebRTC Based Multimedia Chat;Amol Kokane等;《2014 International Conference on Recent Trends in Information Technology》;20141229;1-6 *
虚拟现实技术在虚拟演播室中的应用与实现;陈珺;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20160315;全文 *

Also Published As

Publication number Publication date
CN111010586A (zh) 2020-04-14
CN112995706A (zh) 2021-06-18
CN111010586B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112995706B (zh) 基于人工智能的直播方法、装置、设备及存储介质
CN111010589B (zh) 基于人工智能的直播方法、装置、设备及存储介质
WO2022166709A1 (zh) 虚拟视频直播处理方法及装置、存储介质、电子设备
WO2021238631A1 (zh) 物品信息的显示方法、装置、设备及可读存储介质
JP7479750B2 (ja) 仮想ビデオライブ放送処理方法及び装置、電子機器
CN109547819B (zh) 直播列表展示方法、装置以及电子设备
JP2020034895A (ja) 応答方法及び装置
CN112333179A (zh) 虚拟视频的直播方法、装置、设备及可读存储介质
CN111626049B (zh) 多媒体信息的标题修正方法、装置、电子设备及存储介质
US20230252785A1 (en) Video processing
CN110472099B (zh) 互动视频生成方法及装置、存储介质
CN109271533A (zh) 一种多媒体文件检索方法
CN109474843A (zh) 语音操控终端的方法、客户端、服务器
CN113392201A (zh) 信息交互方法、装置、电子设备、介质和程序产品
CN113923462A (zh) 视频生成、直播处理方法、设备和可读介质
CN114495927A (zh) 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端
CN113282791B (zh) 视频生成方法和装置
CN114694651A (zh) 智能终端控制方法、装置、电子设备及存储介质
CN114286154A (zh) 多媒体文件的字幕处理方法、装置、电子设备及存储介质
CN116756285A (zh) 虚拟机器人的互动方法、设备和存储介质
WO2023197580A1 (zh) 香氛开启的控制方法、装置、设备及存储介质
CN116561294A (zh) 手语视频的生成方法、装置、计算机设备及存储介质
CN113742473A (zh) 一种数字虚拟人交互系统及其计算传输优化方法
CN109241331B (zh) 一种面向智能机器人的故事数据处理方法
CN111966803A (zh) 对话模拟方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40047296

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant