CN107438183A - 一种虚拟人物直播方法、装置及系统 - Google Patents

Abstract

本申请公开了一种虚拟人物直播方法、装置及系统，涉及直播技术，该方法通过获取主播的实时动作数据及语音数据，再基于该实时动作数据及语音数据进行虚拟人物进行直播，即可实现基于真人动作的虚拟人物的直播。

Description

一种虚拟人物直播方法、装置及系统

技术领域

本公开一般涉及计算机领域，具体涉及虚拟现实技术，尤其涉及 一种虚拟人物直播方法、装置及系统。

背景技术

现有的直播模式根据内容不同主要分为以下四大类：秀场直播、 游戏直播、明星直播和全民直播。其中秀场直播模式经过10多年的发 展，已经相对成熟，商业模式清晰，已经进入精细化运营的阶段；游 戏直播处于爆发增长期，但商业模式还不明确，各平台处于抢市场阶 段；明星直播主要在移动领域，目前更多的是作为明星扩大影响力的 一种传播方式；全民直播正在兴起，各平台正在大力推广，是未来直 播行业的爆点，该业务低门槛，人人可参与，可以增加用户活跃度、 黏度，有利于平台内容的多元化和丰富性，但其盈利模式尚未发展起 来。

搭建视频直播平台的传统需要有以下：cache(缓存)服务器、存 储服务器、编码服务器、调度服务器、其它应用服务器、带宽、IDC (Internet Data Center，互联网数据中心)机房、CDN(Content Delivery Network，内容分发网络)节点、系统维护人员和开发人员。这里秀场 直播为例，其技术实现流程如图1所示。

2015年以来，市场上出现了200多家直播平台，覆盖了2亿的直 播用户，这个市场的成长速度不容小觑。这其中，以秀场直播的模式 发展相对成熟，是目前市场进入门槛最低的直播模式。如图2所示， 一个完整的移动直播大致包括四个模块，即推流端、服务端、播放端 和个性服务。推流端主要是视频的采集、处理、编码和推流，服务端 包含适配转码、频道管理、获取录制文件等，播放器主要是拉流、解 码、渲染等功能，而个性服务则比较宽泛，比如鉴黄、直播认证、互 动系统、数据统计等。

但是，现有的网络直播都是以视频为基础的，具有以下缺点：

数据流量大，对网络带宽和速度的要求很高；

对于观看直播的用户来讲，网络直播体验受限于视频本身的分辨 率、帧率和码率；

由于受限于摄像头的拍摄范围，观众无法获得更大视野范围、更 具沉浸感的体验；

为了降低延时和提高画质等要求，在硬件等基础设施上往往需要 投入巨大的成本，网络直播空闲时期容易造成巨大的硬件资源浪费；

只是以视频的方式呈现，形式相对单一；

主播真人数据的实时直播，容易泄露主播的个人隐私。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种虚拟人物直播 方法、装置及系统，以实现基于真人动作的虚拟人物的直播。

第一方面，本发明实施例提供一种虚拟人物直播方法，该方法包 括：

获取主播的实时动作数据及语音数据；

基于所述实时动作数据及语音数据进行虚拟人物的直播。

进一步，所述基于所述实时动作数据及语音数据进行虚拟人物的 直播，具体包括：

将所述实时动作数据及语音数据上传至虚拟人物直播服务器，由 观看直播的用户端获取所述实时动作数据及语音数据并结合虚拟人物 进行播放。

优选的，所述将所述实时动作数据及语音数据上传至虚拟人物直 播服务器，具体包括：

将所述实时动作数据及语音数据转换成二进制数据，上传所述二 进制数据至虚拟人物直播服务器。

进一步，所述基于所述实时动作数据及语音数据进行虚拟人物的 直播之前，还包括：

同步所述实时动作数据和所述语音数据。

更进一步，所述同步所述实时动作数据和所述语音数据，具体包 括：

同步所述实时动作数据中的口型的动作数据和所述语音数据。

优选的，所述实时动作数据包括：

实时运动数据；和/或

实时面部表情数据；

进一步，所述实时动作数据具体为：

预先设定的主播的关键节点的相对位置信息。

第二方面，本发明实施例还提供一种虚拟人物直播方法，该方法 包括：

接收主播用户端传输的主播的实时动作数据及语音数据；

向观看直播的用户端发送所述实时动作数据及语音数据，由观看 直播的用户端结合虚拟人物进行播放。

第三方面，本发明实施例还提供一种虚拟人物直播方法，该方法 包括：

从虚拟人物直播服务器获取主播的实时动作数据及语音数据；

基于所述实时动作数据及语音数据结合虚拟人物进行播放。

进一步，所述基于所述实时动作数据及语音数据结合虚拟人物进 行播放，具体包括：

将所述实时动作数据及语音数据绑定用户预先选定的虚拟人物模 型，进行渲染后进行播放。

第四方面，本发明实施例还提供一种虚拟人物直播装置，该装置 包括：

获取单元，用于获取主播的实时动作数据及语音数据；

直播单元，用于基于所述实时动作数据及语音数据进行虚拟人物 的直播。

进一步，直播单元具体用于：

将所述实时动作数据及语音数据上传至虚拟人物直播服务器，由 观看直播的用户端获取所述实时动作数据及语音数据并结合虚拟人物 进行播放。

优选的，所述直播单元将所述实时动作数据及语音数据上传至虚 拟人物直播服务器，具体包括：

将所述实时动作数据及语音数据转换成二进制数据，上传所述二 进制数据至虚拟人物直播服务器。

进一步，所述直播单元基于所述实时动作数据及语音数据进行虚 拟人物的直播之前，还包括：

同步所述实时动作数据和所述语音数据。

更进一步，所述直播单元同步所述实时动作数据和所述语音数据， 具体包括：

同步所述实时动作数据中的口型的动作数据和所述语音数据。

进一步，所述实时动作数据包括：

实时运动数据；和/或

实时面部表情数据；

优选的，所述实时动作数据具体为：

预先设定的主播的关键节点的相对位置信息。

第五方面，本发明实施例还提供一种虚拟人物直播装置，该装置 包括：

接收单元，用于接收主播用户端传输的主播的实时动作数据及语 音数据；

发送单元，用于向观看直播的用户端发送所述实时动作数据及语 音数据，由观看直播的用户端结合虚拟人物进行播放。

第六方面，本发明实施例还提供一种虚拟人物直播装置，该装置 包括：

数据获取单元，用于从虚拟人物直播服务器获取主播的实时动作 数据及语音数据；

播放单元，用于基于所述实时动作数据及语音数据结合虚拟人物 进行播放。

进一步，所述播放单元具体用于：

将所述实时动作数据及语音数据绑定用户预先选定的虚拟人物模 型，进行渲染后进行播放。

第七方面，本发明实施例还提供一种虚拟人物直播系统，该系统 包括：主播端用户端、虚拟人物直播服务器及观看直播的用户端，其 中

主播端用户端，用于获取主播的实时动作数据及语音数据；基于 所述实时动作数据及语音数据进行虚拟人物的直播；

虚拟人物直播服务器，用于接收主播用户端传输的主播的实时动 作数据及语音数据；向观看直播的用户端发送所述实时动作数据及语 音数据，由观看直播的用户端结合虚拟人物进行播放；

观看直播的用户端，用于从虚拟人物直播服务器获取主播的实时 动作数据及语音数据；基于所述实时动作数据及语音数据结合虚拟人 物进行播放。

进一步，所述主播端用户端基于所述实时动作数据及语音数据进 行虚拟人物的直播，具体包括：

将所述实时动作数据及语音数据上传至虚拟人物直播服务器，由 观看直播的用户端获取所述实时动作数据及语音数据并结合虚拟人物 进行播放。

更进一步，所述主播端用户端将所述实时动作数据及语音数据上 传至虚拟人物直播服务器，具体包括：

将所述实时动作数据及语音数据转换成二进制数据，上传所述二 进制数据至虚拟人物直播服务器。

进一步，所述主播端用户端还用于：

基于所述实时动作数据及语音数据进行虚拟人物的直播之前，同 步所述实时动作数据和所述语音数据。

更进一步，所述主播端用户端同步所述实时动作数据和所述语音 数据，具体包括：

同步所述实时动作数据中的口型的动作数据和所述语音数据。

优选的，所述实时动作数据包括：

实时运动数据；和/或

实时面部表情数据；

进一步，所述实时动作数据具体为：

预先设定的主播的关键节点的相对位置信息。

优选的，所述观看直播的用户端基于所述实时动作数据及语音数 据结合虚拟人物进行播放，具体包括：

将所述实时动作数据及语音数据绑定用户预先选定的虚拟人物模 型，进行渲染后进行播放。

第八方面，本发明实施例还提供一种设备，包括处理器和存储器；

所述存储器包含可由所述处理器执行的指令以使得所述处理器执 行如第一方面中所述的方法。

第九方面，本发明实施例还提供一种计算机可读存储介质，其上 存储有计算机程序，所述计算机程序用于实现如第一方面中所述的方 法。

第十方面，本发明实施例还提供一种设备，包括处理器和存储器；

所述存储器包含可由所述处理器执行的指令以使得所述处理器执 行如第二方面中所述的方法。

第十一方面，本发明实施例还提供一种计算机可读存储介质，其 上存储有计算机程序，所述计算机程序用于实现如第二方面中所述的 方法。

第十二方面，本发明实施例还提供一种设备，包括处理器和存储 器；

所述存储器包含可由所述处理器执行的指令以使得所述处理器执 行如第三方面中所述的方法。

第十三方面，本发明实施例还提供一种计算机可读存储介质，其 上存储有计算机程序，所述计算机程序用于实现如第三方面中所述的 方法。

本发明实施例提供一种虚拟人物直播方法、装置及系统，通过获 取主播的实时动作数据及语音数据，再基于该实时动作数据及语音数 据进行虚拟人物进行直播，即可实现基于真人动作的虚拟人物的直播。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描 述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的虚拟人物直播方法流程图之一；

图2为本发明实施例提供的CrazyTalk动画制作工具示意图；

图3为本发明实施例提供的Sabinetek SMIC示意图；

图4为本发明实施例提供的后期语音数据传输模式结构示意图；

图5为本发明实施例提供的诺亦腾的惯性动作捕捉系统 Perception Neuron的示意图；

图6为本发明实施例提供的3D脸模制作软件FaceShift Studio示 意图；

图7和图8为本发明实施例提供的动作捕捉关键节点示意图；

图9为本发明实施例提供的虚拟人物直播方法流程图之二；

图10为本发明实施例提供的虚拟人物直播方法流程图之三；

图11为本发明实施例提供的虚拟人物直播装置结构示意图之一；

图12为本发明实施例提供的虚拟人物直播装置结构示意图之二；

图13为本发明实施例提供的虚拟人物直播装置结构示意图之三；

图14为本发明实施例提供的虚拟人物直播系统结构示意图；

图15为本发明实施例提供的虚拟人物直播设备结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解 的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发 明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与 发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例 中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本 申请。

请参考图1，本发明实施例提供的虚拟人物直播方法，包括：

步骤S101、获取主播的实时动作数据及语音数据；

步骤S102、基于实时动作数据及语音数据进行虚拟人物的直播。

在获取主播的实时动作数据及语音数据后，再基于该实时动作数 据及语音数据进行虚拟人物进行直播，即可实现基于真人动作的虚拟 人物的直播。

具体的，可以对人物的肢体动作、面部表情、语音等进行捕捉和 识别，然后传输至虚拟人物直播服务器上，观看直播的用户端获取实 时动作数据及语音数据并结合虚拟人物进行播放，这样用户使用VR (Virtual Reality，虚拟现实)设备看到的是带有真人实时动作的3D 虚拟形象，从而实现基于真人的VR直播方法。用户通过这种方法看 到的虚拟人物形象却有着真人动作的感受，真实的动作和语音，加上 虚拟的3D形象，给人一种亦真亦幻的体验。例如，用户看到的是一 个卡通恐龙的虚拟人物形象，但这只卡通恐龙的动作却来自真人主播 动作的实时数据传递。

一种实现直播的方式是，将实时动作数据及语音数据上传至虚拟 人物直播服务器，由观看直播的用户端获取实时动作数据及语音数据 并结合虚拟人物进行播放，通过该方式，数据传输量较少；另一种实 现直播的方式是，将实时动作数据及语音数据上传至虚拟人物直播服 务器，服务器进行数据和虚拟人物的绑定及渲染，形成视频文件，观 看直播的用户端获取视频文件直接播放即可，通过该方式可以使得用 户端进行更少的处理，对用户端的设备配置要求较低；第三种实现直 播的方式是，主播端用户端获取主播的实时动作数据及语音数据后， 直接进行数据和虚拟人物的绑定及渲染，形成视频文件，再将视频文件上传至虚拟人物直播服务器，由观看直播的用户端获取视频文件进 行播放，通过该方式也能够实现基于真人动作的虚拟人物的直播。

当通过第一种方式进行虚拟人物的直播时，步骤S102中，基于实 时动作数据及语音数据进行虚拟人物的直播，具体包括：

将实时动作数据及语音数据上传至虚拟人物直播服务器，由观看 直播的用户端获取实时动作数据及语音数据并结合虚拟人物进行播 放。

在实施时，为传播和识别方便，可以上传二进制数据，此时，将 实时动作数据及语音数据上传至虚拟人物直播服务器，具体包括：

将实时动作数据及语音数据转换成二进制数据，上传二进制数据 至虚拟人物直播服务器。

为使得用户有更好的直播体验，实时动作数据和语音数据需要进 行较好的同步，该同步可以由主播端用户端进行，也可以由服务器进 行，当由主播端用户端进行时，在步骤S102，基于实时动作数据及语 音数据进行虚拟人物的直播之前，还包括：

同步实时动作数据和语音数据。

同步实时动作数据和语音数据的重点是同步口型的动作数据和语 音数据，可以采用CrazyTalk(一款能制作出人物说话时的口形动画的 软件)进行同步，CrazyTalk是一款动画制作工具，如图2所示，该软 件主要针对于面部动画捕捉，可用在普通静态照片上加特效，比如常 见的JPG、BMP、PNG等格式照片，只要指定面部特征点，和录制的 声音组合成唇语，就能自动生成3D动画影片，CrazyTalk还支持文字 转语音技术，还能根据声音改变口型，其他器官比如眼镜、鼻子等也 会跟着实时改变。

在采集音频时，可以使用空间声麦克风，空间声(Spatial Audio) 跟Stereo(立体声)、Surround(环绕)这些音频模式都有很大区别。 在制作过程中侧重于的是声源和声场这两个概念。较佳的，可以使用 Sabinetek SMIC(一种仿生学设计的全景声学模拟终端)作为声音采 集设备，该设备如图3所示，它支持实时监听智能降噪、双模低延迟 编解码、高品质混响和混音。

Sabinetek SMIC工具有三个主要的功能：

1、3D Panner(3D过滤)；

2、Room Model(室内模式)；

3、Ambisonic Decoder(立体混响声解码器)。

有了这些实用的功能之后，可以较方便的在音频引擎中去定位声 源、创造声场和空间感。

在获得音频数据之后，需要对这些音频数据进行传输。若使用 Unity(游戏引擎)插件uSpeak，可以在较短的时间内获得原型Demo (样本)。uSpeak调用Unity的麦克风录制音频，此时的音频是wav 格式，占用空间较大，所以可以转换为amr格式后，再输出为二进制文件上传至服务器，观看直播的用户端从服务器获取该二进制文件， 再转换为wav进行播放。

后期语音数据传输可以采用ZEGO(即构)平台直播连麦开发整 体解决方案。它是一个自研的语音视频引擎，在语音前处理(回声消除、 噪音抑制、自动增益)、复杂网络自适应及跨平台兼容性等方面性能较 佳。它包括单主播模式，连麦模式和混流模式，其模式结构示意图如 图4所示，其中，每条箭头都代表一条音频数据流，根据代码flagPublic 中flag参数值，进入相应的直播模式。

在本发明实施例中，实时动作数据包括：

实时运动数据；和/或

实时面部表情数据。

运动捕捉硬件设备是可以采用微软的Kinect(体感周边外设)，它 是一种3D体感传感器，支持实时动态捕捉、影像辨识、麦克风输入、 语音辨识、社群互动等功能。玩家可以通过这项技术在游戏中开车、 与其他玩家互动、通过互联网与其他玩家分享图片和信息等。

软件开发工具可以选用SDK 2.0，基本开发流程如下：

1、使用GetDefaultKinectSensor(IKinectSensor)来获取当前的 Kinect设备；

2、使用IKinectSensor::open()方法来打开Kinect设备；

3、使用IKinectSensor::get_CoordinateMapper(ICoordinateMapper*) 方法来获取坐标变换器；

4、使用IKinectSensor::get_*FrameSource(I*FrameSource*)获得某 种数据流的数据源；

5、I*FrameSource::OpenReader(I*FrameReader*)连接数据源与读 取翻译接口；

6、在主循环中不断询问是否有新的数据帧： I*FrameReader::AcquireLatestFrame(I*Frame*)；

7、根据需要对数据进行处理。

也可以采用诺亦腾的惯性动作捕捉系统Perception Neuron(基于 MEMS惯性传感器的动作捕捉系统)来进行运动捕捉，如图5所示

面部表情采集软件可以通过摄像头对主播面部肌肉表情进行采集 分析，识别关键节点，同步数据至用户端，然后解析并应用在虚拟人 物面部，达到虚拟人物形象和真人主播面部表情同步的目标。例如， FaceShift Studio是一款3D脸模制作软件，它内置了面部表情实时捕 捉系统，可以从扫描真实人物获取表情动作并添加到3D模型头像上， 其精确度较高，即使是很轻微的肌肉抽动也能捕捉，且延迟较小，最 后还提供了各种参数让用户进行细节的修改。除了从拍摄的视频中提 取所需要的数据，FaceShift还能与Maya和Unity这些3D建模工具之 中进行连接，可用作制作电影或者游戏里的动画虚拟人物，也可制作 各种丰富的动画表情，如图6所示。

在具体实施时，可以设置一些关键节点，例如，眼睛、头顶、肩 膀、手肘、膝盖等等，通过这些关键节点的位置信息，即可确定主播 的动作，如图7及图8所示，通过该方法采集实时动作数据时，实时 动作数据具体为：预先设定的主播的关键节点的相对位置信息。

关键节点的数量可以根据用户的选择设置，例如，对于肢体动作， 标准设置为23-27个关键节点，当主播需要流畅度更高而对动作精确 度要求不高时，可以减少关键节点数量，当主播要求动作更加精确时， 可以增加关键节点数量。

本发明实施例还提供一种虚拟人物直播方法，该方法由虚拟人物 直播服务器执行，如图9所示，该方法包括：

步骤S301、接收主播用户端传输的主播的实时动作数据及语音数 据；

步骤S302、向观看直播的用户端发送实时动作数据及语音数据， 由观看直播的用户端结合虚拟人物进行播放。

本发明实施例还提供一种虚拟人物直播方法，该方法由观看直播 的用户端执行，如图10所示，该方法包括：

步骤S401、从虚拟人物直播服务器获取主播的实时动作数据及语 音数据；

步骤S402、基于实时动作数据及语音数据结合虚拟人物进行播 放。

虚拟人物模型可以由主播方选定，也可以由观看直播的用户选择， 将获取到的动作数据及语音数据绑定在选定的虚拟人物模型上，再进 行相应的渲染，即可观看具有主播动作和声音的虚拟人物直播。

此时，步骤S402，基于实时动作数据及语音数据结合虚拟人物进 行播放，具体包括：

将实时动作数据及语音数据绑定用户预先选定的虚拟人物模型， 进行渲染后进行播放。

具体的，基于用户描述的完整的直播流程如下：

主播侧设备为：连接有摄像头和Xbox Kinect等硬件、以及 FaceShift和CrazyTalk等软件的个人电脑。

在全身动作捕捉模式时，基于Kinect驱动程序将肢体动作所对应 的25个关键节点相对位置信息转化为二进制数据上传至服务器；在面 部表情捕捉模式时，通过FaceShift软件获取面部关键节点的位置信息 并转换为人脸关键节点的位置数据，通过CrazyTalk获取嘴唇关键节 点的位置信息并转换为唇部关键节点的位置数据，再经过Kinect SDK 底层算法过滤后保存出有效数据，转为二进制数据上传至虚拟人物直 播服务器。

观看直播的用户端通过网络获取虚拟人物直播服务器上的实时动 作数据，将这些数据应用至虚拟场景中的虚拟人物关键节点上，使得 虚拟人物信息和真人主播关键节点位置信息一致，从而实现虚拟人物 的直播。

本发明实施例提供的虚拟人物直播方法，除了可以使用传统的摄 像头将主播的实际画面传输给用户之外，还可以使用动作捕捉、面部 表情识别和语音口型动画同步的方式应用到VR直播领域，控制VR 直播间的虚拟人物形象，丰富虚拟场景的趣味性，给主播更大的发挥 空间，给用户带来身临其境的体验和超越现实的感受。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作， 但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或 是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描 绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤， 将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执 行。

本发明实施例还相应提供一种虚拟人物直播装置，该装置可以具 体为主播端用户端，如图11所示，该装置包括：

获取单元501，用于获取主播的实时动作数据及语音数据；

直播单元502，用于基于实时动作数据及语音数据进行虚拟人物 的直播。

其中，直播单元502具体用于：

将实时动作数据及语音数据上传至虚拟人物直播服务器，由观看 直播的用户端获取实时动作数据及语音数据并结合虚拟人物进行播 放。

优选的，直播单元502将实时动作数据及语音数据上传至虚拟人 物直播服务器，具体包括：

将实时动作数据及语音数据转换成二进制数据，上传二进制数据 至虚拟人物直播服务器。

进一步，直播单元502基于实时动作数据及语音数据进行虚拟人 物的直播之前，还包括：

同步实时动作数据和语音数据。

更进一步，直播单元502同步实时动作数据和语音数据，具体包 括：

同步实时动作数据中的口型的动作数据和语音数据。

优选的，实时动作数据包括：

实时运动数据；和/或

实时面部表情数据；

优选的，实时动作数据具体为：

预先设定的主播的关键节点的相对位置信息。

应当理解，该装置中记载的诸单元或模块与参考图1描述的方法 中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适 用于该装置及其中包含的单元，在此不再赘述。该装置可以预先实现 在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加 载到电子设备的浏览器或其安全应用中。该装置中的相应单元可以与 电子设备中的单元相互配合以实现本申请实施例的方案。

本发明实施例还提供一种虚拟人物直播装置，该装置可以具体为 虚拟人物直播服务器，如图12所示，该装置包括：

接收单元601，用于接收主播用户端传输的主播的实时动作数据 及语音数据；

发送单元602，用于向观看直播的用户端发送实时动作数据及语 音数据，由观看直播的用户端结合虚拟人物进行播放。

应当理解，该装置中记载的诸单元或模块与参考图3描述的方法 中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适 用于该装置及其中包含的单元，在此不再赘述。该装置可以预先实现 在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加 载到电子设备的浏览器或其安全应用中。该装置中的相应单元可以与 电子设备中的单元相互配合以实现本申请实施例的方案。

本发明实施例还提供一种虚拟人物直播装置，该装置可以具体为 观看直播的用户端，如图13所示，该装置包括：

数据获取单元701，用于从虚拟人物直播服务器获取主播的实时 动作数据及语音数据；

播放单元702，用于基于实时动作数据及语音数据结合虚拟人物 进行播放。

进一步，播放单元702具体用于：

将实时动作数据及语音数据绑定用户预先选定的虚拟人物模型， 进行渲染后进行播放。

应当理解，该装置中记载的诸单元或模块与参考图4描述的方法 中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适 用于该装置及其中包含的单元，在此不再赘述。该装置可以预先实现 在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加 载到电子设备的浏览器或其安全应用中。该装置中的相应单元可以与 电子设备中的单元相互配合以实现本申请实施例的方案。

本发明实施例还相应提供一种虚拟人物直播系统，如图14所示， 该系统包括：主播端用户端801、虚拟人物直播服务器802及观看直 播的用户端803，其中

主播端用户端801，用于获取主播的实时动作数据及语音数据； 基于实时动作数据及语音数据进行虚拟人物的直播；

虚拟人物直播服务器802，用于接收主播用户端801传输的主播 的实时动作数据及语音数据；向观看直播的用户端803发送实时动作 数据及语音数据，由观看直播的用户端结合虚拟人物进行播放；

观看直播的用户端803，用于从虚拟人物直播服务器获取主播的 实时动作数据及语音数据；基于实时动作数据及语音数据结合虚拟人 物进行播放。

进一步，主播端用户端801基于实时动作数据及语音数据进行虚 拟人物的直播，具体包括：

将实时动作数据及语音数据上传至虚拟人物直播服务器802，由 观看直播的用户端803获取实时动作数据及语音数据并结合虚拟人物 进行播放。

优选的，主播端用户端801将实时动作数据及语音数据上传至虚 拟人物直播服务器802，具体包括：

将实时动作数据及语音数据转换成二进制数据，上传二进制数据 至虚拟人物直播服务器802。

进一步，主播端用户端801还用于：

基于实时动作数据及语音数据进行虚拟人物的直播之前，同步实 时动作数据和语音数据。

更进一步，主播端用户端801同步实时动作数据和语音数据，具 体包括：

同步实时动作数据中的口型的动作数据和语音数据。

优选的，实时动作数据包括：

实时运动数据；和/或

实时面部表情数据；

进一步，实时动作数据具体为：

预先设定的主播的关键节点的相对位置信息。

优选的，观看直播的用户端803基于实时动作数据及语音数据结 合虚拟人物进行播放，具体包括：

将实时动作数据及语音数据绑定用户预先选定的虚拟人物模型， 进行渲染后进行播放。

下面参考图15，其示出了适于用来实现本申请实施例的终端设备 或服务器的计算机系统的结构示意图。

如图15所示，计算机系统包括中央处理单元(CPU)901，其可 以根据存储在只读存储器(ROM)902中的程序或者从存储部分908 加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作 和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入 /输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905；输入部分906；包括诸如阴极射线 管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包 括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网 络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质 911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在 驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存 储部分908。

当该计算机系统作为主播端用户端时，其输入部分906需要包括 摄像头和XboxKinect等硬件，当该计算机系统作为观看直播的用户 端时，其输出部分907可以包括用于观看虚拟现实场景的头显装置。

特别地，根据本公开的实施例，上文参考图1或图9或图10描述 的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一 种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程 序，所述计算机程序包含用于执行图1或图9或图10的方法的程序代 码。在这样的实施例中，该计算机程序可以通过通信部分909从网络 上被下载和安装，和/或从可拆卸介质911被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、 方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点 上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码 的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于 实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的 实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发 生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们 有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的 是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的 组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现， 或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方 式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以 设置在处理器中，例如，可以描述为：一种处理器包括XX单元、YY 单元以及ZZ单元。其中，这些单元或模块的名称在某种情况下并不 构成对该单元或模块本身的限定，例如，XX单元还可以被描述为“用 于XX的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计 算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可 读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储 介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序 被一个或者一个以上的处理器用来执行描述于本申请的公式输入方 法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说 明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限 于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离 所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合 而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于) 具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (17)

1.一种虚拟人物直播方法，该方法包括：

获取主播的实时动作数据及语音数据；

基于所述实时动作数据及语音数据进行虚拟人物的直播。

2.如权利要求1所述的方法，其特征在于，所述基于所述实时动作数据及语音数据进行虚拟人物的直播，具体包括：

将所述实时动作数据及语音数据上传至虚拟人物直播服务器，由观看直播的用户端获取所述实时动作数据及语音数据并结合虚拟人物进行播放。

3.如权利要求1所述的方法，其特征在于，所述基于所述实时动作数据及语音数据进行虚拟人物的直播之前，还包括：

同步所述实时动作数据和所述语音数据。

4.如权利要求3所述的方法，其特征在于，所述同步所述实时动作数据和所述语音数据，具体包括：

同步所述实时动作数据中的口型的动作数据和所述语音数据。

5.如权利要求1所述的方法，其特征在于，所述实时动作数据包括：

实时运动数据；和/或

实时面部表情数据；

所述实时动作数据具体为：

预先设定的主播的关键节点的相对位置信息。

6.一种虚拟人物直播方法，该方法包括：

接收主播用户端传输的主播的实时动作数据及语音数据；

向观看直播的用户端发送所述实时动作数据及语音数据，由观看直播的用户端结合虚拟人物进行播放。

7.一种虚拟人物直播方法，该方法包括：

从虚拟人物直播服务器获取主播的实时动作数据及语音数据；

基于所述实时动作数据及语音数据结合虚拟人物进行播放。

8.如权利要求7所述的方法，其特征在于，所述基于所述实时动作数据及语音数据结合虚拟人物进行播放，具体包括：

将所述实时动作数据及语音数据绑定用户预先选定的虚拟人物模型，进行渲染后进行播放。

9.一种虚拟人物直播装置，该装置包括：

获取单元，用于获取主播的实时动作数据及语音数据；

直播单元，用于基于所述实时动作数据及语音数据进行虚拟人物的直播。

10.如权利要求9所述的装置，其特征在于，直播单元具体用于：

将所述实时动作数据及语音数据上传至虚拟人物直播服务器，由观看直播的用户端获取所述实时动作数据及语音数据并结合虚拟人物进行播放。

11.如权利要求9所述的装置，其特征在于，所述直播单元基于所述实时动作数据及语音数据进行虚拟人物的直播之前，还包括：

同步所述实时动作数据和所述语音数据。

12.如权利要求11所述的装置，其特征在于，所述直播单元同步所述实时动作数据和所述语音数据，具体包括：

同步所述实时动作数据中的口型的动作数据和所述语音数据。

13.如权利要求9所述的装置，其特征在于，所述实时动作数据包括：

实时运动数据；和/或

实时面部表情数据；

所述实时动作数据具体为：

预先设定的主播的关键节点的相对位置信息。

14.一种虚拟人物直播装置，该装置包括：

接收单元，用于接收主播用户端传输的主播的实时动作数据及语音数据；

发送单元，用于向观看直播的用户端发送所述实时动作数据及语音数据，由观看直播的用户端结合虚拟人物进行播放。

15.一种虚拟人物直播装置，该装置包括：

数据获取单元，用于从虚拟人物直播服务器获取主播的实时动作数据及语音数据；

播放单元，用于基于所述实时动作数据及语音数据结合虚拟人物进行播放。

16.如权利要求15所述的装置，其特征在于，所述播放单元具体用于：

将所述实时动作数据及语音数据绑定用户预先选定的虚拟人物模型，进行渲染后进行播放。

17.一种虚拟人物直播系统，该系统包括：主播端用户端、虚拟人物直播服务器及观看直播的用户端，其中

主播端用户端，用于获取主播的实时动作数据及语音数据；基于所述实时动作数据及语音数据进行虚拟人物的直播；

虚拟人物直播服务器，用于接收主播用户端传输的主播的实时动作数据及语音数据；向观看直播的用户端发送所述实时动作数据及语音数据，由观看直播的用户端结合虚拟人物进行播放；

观看直播的用户端，用于从虚拟人物直播服务器获取主播的实时动作数据及语音数据；基于所述实时动作数据及语音数据结合虚拟人物进行播放。