CN103179437A - 虚拟人物视频录制及播放系统和方法 - Google Patents

Abstract

本发明的一种虚拟人物视频录制及播放系统及方法，包括用于采集终端，服务器和用户终端，服务器包括：动作解析模块，用于将采集终端采集的人物帧数据中的人物的肢体动作分解成由若干个单一的肢体动作组成的动作记录；动作重现指令模块，用于根据动作记录生成在3D虚拟人模型上重现人物的肢体动作的动作操控指令集；用户终端包括：动作驱动模块，用于根据动作操控指令集驱动3D虚拟人模型重现人物的肢体动作；显示模块，用于在用户终端显示3D虚拟人模型及其动作。本发明的虚拟人物视频录制及播放系统通过录制真实人的动作、表情和语言，并转换成虚拟主持人的动作、表情和语言，从而兼具虚拟主持人及真实主持人的优点。

Description

虚拟人物视频录制及播放系统和方法

技术领域

本发明涉及3D信息技术，尤其涉及一种将真实人物视频和音频通过3D虚拟人重现的信息技术。

背景技术

虚拟主持人是指数字技术处理出来通过广播、网络等通信传媒与受众形成交互的仿真人形象，他们的行为设计符合主持人的行业标准，由于这类主持人是与存在于现实生活当中的真实主持人相对应的，虽然具有主持人的功能和作用，但是却没有真实主持人的现实生活体验，因此被人们称之为虚拟主持人。虚拟主持人虽然可以存在于互联网当中，但是他们也是由真实人物来进行配音或者解说以后才能成为一个完整的主持人。很多网络公司或广播公司都推出了自己的虚拟主持人。和虚拟主持人，真实主持人具有以下缺点：

1.在拍摄外景场景时，通常会受场地的气候、环境等因素影响，推迟拍摄时间，增加拍摄次数，加大拍摄的成本；尤其是直播类的节目更需要特别注意现场的各种突发状况。

2.因为档期的关系，很难将多个主持人或演员安排在同一时间和地点进行节目录制。

3.每次录制节目前都需要很长的时间对主持人进行化妆造型。

4.不同地域的主持人只能通过电话或分镜头参与节目录制。

5.主持人每次节目录制都需要昂贵的专业设备和专业人员进行操作。

6.主持人在节目中的表情神态经常被网友制作成负面图片广泛传播，对人物形象造成不良影响。

7.将现有的节目制作为其他风格版本时将额外花费时间和资金进行专门的制作。

8.节目是通过视频流的方式在终端上播放，需要很大的数据流量，尤其是通过互联网共享节目时，只能牺牲节目的质量、减少视频流量来确保视频的流畅。

但是，和教条化的虚拟主持人相比，真实的主持人通常具备自己独特的主持风格，包括表情、动作和语言，更容易获得观众的认可。

如何能综合虚拟主持人和真实主持人的优点，为观众提供既具有独特风格又适宜网络播放的清晰的视频节目是目前亟待解决的问题。其中一个解决方案是室内录制真实主持人的动作、表情和语言，并将其转换成虚拟主持人的动作、表情和语言。专利号为“201210159755.7”、发明名称为“一种三维虚拟角色的实现方法及其系统”的专利中就公开类似的一种方法。但是，这种依赖于通过触摸屏输入指令的方法来重现动作，显然费时费力且效果不佳。

发明内容

针对现有技术中的上述缺陷，本发明提供了一种使用简单、效果好的虚拟人物视频录制及播放系统。

本发明提供一种虚拟人物视频录制及播放系统，其特征在于：其包括：

3D虚拟人模型;

采集终端，用于采集人物的动作的帧数据；

动作解析模块，用于将所述帧数据中的人物的肢体动作分解成由若干个单一的肢体动作组成的动作记录；

动作重现指令模块，用于根据所述动作记录生成在所述3D虚拟人模型上重现人物的肢体动作的动作操控指令集；

动作驱动模块，用于根据所述动作操控指令集驱动所述3D虚拟人模型重现人物的肢体动作；

显示模块，用于显示所述3D虚拟人模型及其动作。

优选的，所述采集终端还采集人物的音频信息，所述服务器接收到所述音频信息后发送给所述用户终端，所述用户终端包括播放所述音频信息的播放模块。 

优选的，还包括：

表情解析模块，用于将所述采集终端采集的人物帧数据中的人物的表情分解成由若干个由单一五官或脸部肌肉动作组成的表情记录；

表情重现指令模块，用于根据所述表情记录生成在所述3D虚拟人模型上重现人物的表情的表情操控指令集；

表情驱动模块，用于根据所述表情操控指令集驱动所述3D虚拟人模型重现人物的表情。

优选的，还包括服务器和通过网络连接所述服务器的用户终端，所述显示模块设置在所述用户终端。

优选的，所述采集终端包括将所述帧数据和音频信号发送给所述服务器的上传模块。 

优选的，所述上传模块通过互联网或3G网络将所述帧数据和音频信号发送给所述服务器。

优选的，所述3D虚拟人模型为由3D建模软件制作的3D带骨骼的虚拟人物模型。

本发明还提供一种虚拟人物视频录制及播放方法，其包括以下步骤：

通过采集终端采集人物动作的帧数据并上传至服务器；

通过服务器的动作解析模块将所述采集终端采集的人物帧数据中的人物的肢体动作分解成由若干个单一的肢体动作组成的动作记录；

通过服务器的动作重现指令模块根据所述动作记录生成在3D虚拟人模型上重现人物的肢体动作的动作操控指令集；

通过用户终端的动作驱动模块根据所述动作操控指令集驱动所述3D虚拟人模型重现人物的肢体动作；

通过用户终端的显示模块在所述用户终端显示所述3D虚拟人模型及其动作。

优选的，所述方法进一步包括：通过所述采集终端采集人物的音频信息并上传至所述服务器，所述服务器接收到所述音频信息后发送给所述用户终端，通过所述用户终端的播放模块播放所述音频信息。

优选的，所述方法进一步包括：通过所述服务器的表情解析模块，将所述采集终端采集的人物帧数据中的人物的表情分解成由若干个由单一五官或脸部肌肉动作组成的表情记录；

通过所述服务器的表情重现指令模块，根据所述表情记录生成在所述3D虚拟人模型上重现人物的表情的表情操控指令集；

通过所述用户终端的表情驱动模块，根据所述表情操控指令集驱动所述3D虚拟人模型重现人物的表情。

本发明的虚拟人物视频录制及播放系统和方法通过录制真实（主持）人的动作、表情和语言，直接在服务器转换成虚拟主持人的动作、表情和语言，并通过网络共享给众多播放终端观看，从而兼具虚拟主持人及真实主持人的优点。其具有操作简单、效率高等优点，极具市场前景。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例的整体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合实施例及实施例附图对本发明作进一步详细的说明。

如图1所示，本发明的一种虚拟人物视频录制及播放系统的最佳实施例包括采集终端10，服务器20和用户终端30。其中采集终端可以根据需要通过视频、红外线或热感应等方式采集人物动作的视频信息并录制真实人音频，服务器架设于互联网40上，用户终端为通过互联网或3G网络连接服务器20的计算机、平板电脑或智能手机等。

服务器20包括：

动作解析模块，用于将采集终端采集的人物帧数据中的人物的肢体动作分解成由若干个单一的肢体动作组成的动作记录；

动作重现指令模块，用于根据动作记录生成在3D虚拟人模型上重现人物的肢体动作的动作操控指令集；

表情解析模块，用于将采集终端采集的人物帧数据中的人物的表情分解成由若干个由单一五官或脸部肌肉动作组成的表情记录；包括例如眼睛睁开、闭合，嘴巴张开、闭合等信息；

表情重现指令模块，用于根据表情记录生成在3D虚拟人模型上重现人物的表情的表情操控指令集。

用户终端30包括：

动作驱动模块，用于根据动作操控指令集驱动3D虚拟人模型重现人物的肢体动作；

显示模块，用于在用户终端显示3D虚拟人模型及其动作；

表情驱动模块，用于根据表情操控指令集驱动3D虚拟人模型重现人物的表情；

播放模块，用于播放音频信息。

其中的3D虚拟人模型为由3D建模软件制作的3D带骨骼的虚拟人物模型。 

采集终端10包括通过互联网或3G网络将帧数据和音频信号发送给服务器的上传模块。 

当然，动作解析模块、动作重现指令模块、表情解析模块和表情重现指令模块等也可以设置在采集终端中，不由服务器处理而是直接由采集终端处理；或者将动作重现指令模块、表情重现指令模块等设置在用户终端。以上几种组合方式都可以实现本发明的目的。

本发明在使用时，包括以下步骤：

1）通过3DMAX、MAYA等3D建模软件制作的3D带骨骼的虚拟人物模型并通过APP安装于手机等用户终端或可执行文件安装于电脑等用户终端；

2）通过采集终端采集人物的帧数据和音频信号并上传至服务器；

通过服务器的动作解析模块将采集终端采集的人物帧数据中的人物的肢体动作分解成由若干个单一的肢体动作组成的动作记录；

通过服务器的动作重现指令模块根据动作记录生成在3D虚拟人模型上重现人物的肢体动作的动作操控指令集。

3）通过服务器的表情解析模块，将采集终端采集的人物帧数据中的人物的表情分解成由若干个由单一五官或脸部肌肉动作组成的表情记录；

通过服务器的表情重现指令模块，根据表情记录生成在3D虚拟人模型上重现人物的表情的表情操控指令集。

4）通过用户终端的动作驱动模块根据动作操控指令集驱动3D虚拟人模型重现人物的肢体动作；

5）通过用户终端的表情驱动模块，根据表情操控指令集驱动3D虚拟人模型重现人物的表情

6）通过用户终端的显示模块在用户终端显示3D虚拟人模型及其动作。

7）通过用户终端的播放模块同步播放音频信息。

以上所述，仅为本发明的具体实施方式，本发明还可以应用在其它控制设备中，如电脑系统、游戏系统、手机系统等。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (10)

1.一种虚拟人物视频录制及播放系统，其特征在于：其包括：

3D虚拟人模型;

采集终端，用于采集人物的动作的帧数据；

动作解析模块，用于将所述帧数据中的人物的肢体动作分解成由若干个单一的肢体动作组成的动作记录；

动作重现指令模块，用于根据所述动作记录生成在所述3D虚拟人模型上重现人物的肢体动作的动作操控指令集；

动作驱动模块，用于根据所述动作操控指令集驱动所述3D虚拟人模型重现人物的肢体动作；

显示模块，用于显示所述3D虚拟人模型及其动作。

2.根据权利要求1所述的系统，其特征在于：所述采集终端还采集人物的音频信息，所述服务器接收到所述音频信息后发送给所述用户终端，所述用户终端包括播放所述音频信息的播放模块。

3.根据权利要求1或2其中之一所述的系统，其特征在于：还包括：

表情解析模块，用于将所述采集终端采集的人物帧数据中的人物的表情分解成由若干个由单一五官或脸部肌肉动作组成的表情记录；

表情重现指令模块，用于根据所述表情记录生成在所述3D虚拟人模型上重现人物的表情的表情操控指令集；

表情驱动模块，用于根据所述表情操控指令集驱动所述3D虚拟人模型重现人物的表情。

4.根据权利要求1至3其中之一所述的系统，其特征在于：还包括服务器和通过网络连接所述服务器的用户终端，所述显示模块设置在所述用户终端。

5.根据权利要求4所述的系统，其特征在于：所述采集终端包括将所述帧数据和音频信号发送给所述服务器的上传模块。

6.根据权利要求5所述的系统，其特征在于：所述上传模块通过互联网或3G网络将所述帧数据和音频信号发送给所述服务器。

7.根据权利要求1所述的系统，其特征在于：所述3D虚拟人模型为由3D建模软件制作的3D带骨骼的虚拟人物模型。

8.一种虚拟人物视频录制及播放方法，其特征在于：包括以下步骤：

通过采集终端采集人物动作的帧数据并上传至服务器；

通过服务器的动作解析模块将所述采集终端采集的人物帧数据中的人物的肢体动作分解成由若干个单一的肢体动作组成的动作记录；

通过服务器的动作重现指令模块根据所述动作记录生成在3D虚拟人模型上重现人物的肢体动作的动作操控指令集；

通过用户终端的动作驱动模块根据所述动作操控指令集驱动所述3D虚拟人模型重现人物的肢体动作；

通过用户终端的显示模块在所述用户终端显示所述3D虚拟人模型及其动作。

9.根据权利要求8所述的方法，其特征在于：所述方法进一步包括：通过所述采集终端采集人物的音频信息并上传至所述服务器，所述服务器接收到所述音频信息后发送给所述用户终端，通过所述用户终端的播放模块播放所述音频信息。

10.根据权利要求8所述的方法，其特征在于:所述方法进一步包括：通过所述服务器的表情解析模块，将所述采集终端采集的人物帧数据中的人物的表情分解成由若干个由单一五官或脸部肌肉动作组成的表情记录；

通过所述服务器的表情重现指令模块，根据所述表情记录生成在所述3D虚拟人模型上重现人物的表情的表情操控指令集；

通过所述用户终端的表情驱动模块，根据所述表情操控指令集驱动所述3D虚拟人模型重现人物的表情。

Images