CN108446027A - 一种多个虚拟角色同时互动表演的控制系统及其控制方法 - Google Patents

Abstract

本发明公开了一种多个虚拟角色同时互动表演的控制系统及其控制方法，所述控制系统包括：荧幕；路由器；多个麦克风；多个音频处理器，用于处理来自麦克风的多个用户的实时声音，计算得到多个用户的实时口型数据；多个移动终端，用于接收多个用户的操控信息，产生多个用户的操控信息数据；控制主机，用于接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及用于接收来自多个移动终端的多个用户的操控信息，驱动多个虚拟角色实现其实时表情变化和实时动作变化。本发明可实现通过一台控制主机对多个虚拟角色进行同时互动表演的控制，使得对多个虚拟角色的控制更加简便全面。

Description

一种多个虚拟角色同时互动表演的控制系统及其控制方法

技术领域

本发明涉及虚拟角色控制技术领域，特别涉及一种多个虚拟角色同时互动表演的控制系统及其控制方法。

背景技术

在主题公园游乐项目中的互动脱口秀剧场项目类型中，会运用到对荧幕中的虚拟角色进行表演控制。并在该项目中，虚拟角色幕后的操作人员会通过麦克风说话，向电脑主机输入音频数据，并经过对音频数据计算后得到相应的口型数据的驱动信号使荧幕中虚拟角色的口型变化，同时麦克风接收的声音还将经过电脑变声处理后作为虚拟角色的说话声输出给观众。故可在单台电脑上通过麦克风声音的变声处理，通过麦克风说话驱动虚拟角色口型实现相应的变化，此过程中虚拟角色的表情和动作变化的控制是通过键盘、游戏手柄、触摸显示器的按键进行实时切换控制的。

但是，目前在单台电脑上通过声卡采集麦克风输入声音，或者声卡Line in 输入声音来对虚拟角色的口型控制，只能做到对一个角色的口型控制，无法做到同时对多个角色进行控制。而独立声卡虽然可以有mic和Line in 两路输入，但是电脑不能单独分离出这两路声音，电脑获得的是这两路声音混合后的声音，是无法在多个虚拟角色互动演绎中使用的。而且通过键盘、触摸显示器、游戏手柄这三种输入方式对虚拟角色的表情动作进行指令控制，操作上会过于分散，无法简便控制角色动作。

因而现有技术还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种多个虚拟角色同时互动表演的控制系统，从而可以方便的同时控制荧幕上的多个虚拟角色的口型变化、表情变化和动作变化等，实现其互动表演操作。

为了达到上述目的，本发明采取了以下技术方案：

一种多个虚拟角色同时互动表演的控制系统，包括：

荧幕，用于显示多个虚拟角色；

多个麦克风，用于接收多个用户的实时声音；

多个音频处理器，用于处理来自麦克风的多个用户的实时声音，计算得到多个用户的实时口型数据；

多个移动终端，用于接收多个用户的操控信息，产生多个用户的操控信息数据；

控制主机，用于接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及用于接收来自多个移动终端的多个用户的操控信息，驱动多个虚拟角色实现其实时表情变化和实时动作变化；

路由器，用于使多个移动终端与控制主机之间实现无线网络连接；

所述多个虚拟角色分别与多个用户、多个麦克风、多个音频处理器和多个移动终端一一对应。

所述多个虚拟角色同时互动表演的控制系统中，还包括调音台，用于接收多个音频处理器对多个用户的实时声音进行处理后得到的多个用户的实时变声数据。

所述多个虚拟角色同时互动表演的控制系统中，所述音频处理器包括麦克输入电路、耳机孔接口输出电路、音频处理芯片、数字信号处理芯片和通信串口，所述通信串口包括串口信号处理芯片，所述麦克输入电路连接音频处理芯片的第17脚和第18脚，所述耳机孔接口输出电路连接音频处理芯片的第9脚和第10脚，所述数字信号处理芯片的XINT端连接音频处理芯片的第21脚、数字信号处理芯片的GPIO12端连接音频处理芯片的第23脚、数字信号处理芯片的GPIO61端连接音频处理芯片的第24脚、数字信号处理芯片的MCLKXA端连接音频处理芯片的第3脚、数字信号处理芯片的MDXA端连接音频处理芯片的第4脚、数字信号处理芯片的MDRA端连接音频处理芯片的第6脚、数字信号处理芯片的MFSXA端连接音频处理芯片的第5脚、数字信号处理芯片的MFSRA端连接音频处理芯片的第7脚，所述数字信号处理芯片的SCITXDB端连接串口信号处理芯片的第11脚、数字信号处理芯片的SCIRXDB端连接串口信号处理芯片的第12脚。

所述多个虚拟角色同时互动表演的控制系统中，所述音频处理器还包括线路输入电路，所述线路输入电路连接音频处理芯片的第19脚和第20脚。

所述多个虚拟角色同时互动表演的控制系统中，所述音频处理芯片的型号为TLV320AIC23B。

所述多个虚拟角色同时互动表演的控制系统中，所述通信串口为RS232串口，所述串口信号处理芯片的型号为MAX3232。

所述多个虚拟角色同时互动表演的控制系统中，所述数字信号处理芯片的型号为TMS320F28335。

所述多个虚拟角色同时互动表演的控制系统中，所述多个移动终端与控制主机之间通过UDP网络协议进行无线网络连接，各个移动终端和对应的虚拟角色之间绑定不同的固有UDP端口号进行数据通信。

所述多个虚拟角色同时互动表演的控制系统中，所述路由器还用于使多个音频处理器与控制主机实现无线网络连接。

一种根据如上述任意一项所述的多个虚拟角色同时互动表演的控制系统的控制方法，包括如下步骤：

多个麦克风分别接收多个用户的实时声音；

多个移动终端分别接收多个用户的操控信息，产生多个用户的操控信息数据；

多个音频处理器分别接收来自多个麦克风的多个用户的实时声音，并分别处理后得到多个用户的实时口型数据；

控制主机接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及接收来自多个移动终端的多个用户的操控信息，分别驱动多个虚拟角色实现其实时表情变化和实时动作变化。

相较于现有技术，本发明提供的一种多个虚拟角色同时互动表演的控制系统及其控制方法，所述控制系统包括：荧幕，用于显示多个虚拟角色；多个麦克风，用于接收多个用户的实时声音；多个音频处理器，用于处理来自麦克风的多个用户的实时声音，计算得到多个用户的实时口型数据；多个移动终端，用于接收多个用户的操控信息，产生多个用户的操控信息数据；控制主机，用于接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及用于接收来自多个移动终端的多个用户的操控信息，驱动多个虚拟角色实现其实时表情变化和实时动作变化；路由器，用于使多个移动终端与控制主机之间实现无线网络连接；所述多个虚拟角色分别与多个用户、多个麦克风、多个音频处理器和多个移动终端一一对应。本发明可实现通过一台控制主机对多个虚拟角色进行同时互动表演的控制，使得对虚拟角色的控制更加简便，并增加了其互动性。

附图说明

图1为本发明提供的多个虚拟角色同时互动表演的控制系统的结构框图一；

图2为本发明提供的多个虚拟角色同时互动表演的控制系统的结构框图二；

图3为本发明提供的多个虚拟角色同时互动表演的控制系统的音频处理器结构示意图；

图4为本发明提供的多个虚拟角色同时互动表演的控制系统的音频处理器的电路原理图一；

图5为本发明提供的多个虚拟角色同时互动表演的控制系统的音频处理器的电路原理图二；

图6为本发明提供的多个虚拟角色同时互动表演的控制系统的音频处理器的电路原理图三。

具体实施方式

鉴于上述现有技术的不足之处，本发明的目的在于提供一种多个虚拟角色同时互动表演的控制系统，可以简便的同时控制荧幕上的多个虚拟角色的口型变化、表情变化和动作变化等，实现其互动表演操作。

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明提供的多个虚拟角色同时互动表演的控制系统的结构框图一，所述多个虚拟角色同时互动表演的控制系统包括：

荧幕（图中未示出），用于显示多个虚拟角色；

多个麦克风10，用于接收多个用户的实时声音；

多个音频处理器20，用于处理来自麦克风的多个用户的实时声音，计算得到多个用户的实时口型数据；

多个移动终端30，用于接收多个用户的操控信息，产生多个用户的操控信息数据；

控制主机40，用于接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及用于接收来自多个移动终端的多个用户的操控信息，驱动多个虚拟角色实现其实时表情变化和实时动作变化；

路由器50，用于使多个移动终端与控制主机之间实现无线网络连接；

所述多个虚拟角色分别与多个用户、多个麦克风、多个音频处理器和多个移动终端一一对应。

其中，所述控制主机为电脑主机，所述移动终端可以是pad、手机等常用的移动电子设备，可通过将传统的键盘、触摸显示器、游戏手柄的功能都集中在移动终端上，用多个移动终端通过路由器WIFI对多个不同的虚拟角色分别进行控制。优选的，所述多个移动终端与控制主机之间通过UDP网络协议进行无线网络连接，各个移动终端和对应的虚拟角色之间绑定不同的固有UDP端口号进行数据通信，可通过移动终端上的按钮对虚拟角色的表情、动作进行实时控制。

较佳的，请参阅图2，所述多个虚拟角色同时互动表演的控制系统还包括调音台60，其用于接收多个音频处理器对多个用户的实时声音进行处理后得到的多个用户的实时变声数据。即音频处理器还可实时对麦克风声音进行变声处理，并使每个虚拟角色对应固定的音频处理器；变声处理后的声音不进入控制主机直接输出给调音台，由调音台进行放大、音质修饰和音响效果加工后，播放出具有对应不同的虚拟角色特点的声音。

在进一步的实施例中，请参阅图3，所述音频处理器20包括麦克输入电路21、耳机孔接口输出电路22、音频处理芯片23、数字信号处理芯片24和通信串口25，所述通信串口25包括串口信号处理芯片251。并请继续参阅图4、图5和图6，所述麦克输入电路连接音频处理芯片的第17脚和第18脚，所述耳机孔接口输出电路连接音频处理芯片的第9脚和第10脚，所述数字信号处理芯片的XINT端连接音频处理芯片的第21脚、数字信号处理芯片的GPIO12端（或称TZ1端）连接音频处理芯片的第23脚、数字信号处理芯片的GPIO61端（或称MFSRB端）连接音频处理芯片的第24脚、数字信号处理芯片的MCLKXA端连接音频处理芯片的第3脚、数字信号处理芯片的MDXA端连接音频处理芯片的第4脚、数字信号处理芯片的MDRA端连接音频处理芯片的第6脚、数字信号处理芯片的MFSXA端连接音频处理芯片的第5脚、数字信号处理芯片的MFSRA端连接音频处理芯片的第7脚，所述数字信号处理芯片的SCITXDB端连接串口信号处理芯片的第11脚、数字信号处理芯片的SCIRXDB端连接串口信号处理芯片的第12脚。其中，在不影响本领域技术人员理解的前提下，为了方便表示，数字处理芯片的其它引脚并未示出。

在具体的实施例中，所述音频处理芯片的型号为TLV320AIC23B。所述音频处理芯片是TI推出的一款高性能的立体声音频Codec芯片，简称为AIC23芯片，用来实现声音的采集和输出。所述数字信号处理芯片的型号为TMS320F28335，其又称DSP芯片，是一种特别适合于进行数字信号处理运算的微处理器，其主要应用是实时快速地实现各种数字信号处理算法。所述通信串口为RS232串口，又称标准9针串口，其为电脑上常用的通讯接口之一，所述串口信号处理芯片的型号为MAX3232。并且，为了使电脑主机可以连接更多的音频处理器，电脑主机上可以设置多个USB转RS232串口，增加可用通讯接口的数量。当然，在其他的实施例中，还可采用其它可实现本发明功能的音频处理芯片、数字信号处理芯片和通信串口，本发明对此不作限定。

当用户的实时声音通过麦克风经麦克输入电路传入AIC23芯片后，AIC23芯片将实时声音（模拟信号）转换为实时音频数据（数字信号）传输给DSP芯片；DSP芯片对实时音频数据进行变声处理后传输给AIC23芯片，AIC23芯片将数字信号转换为模拟信号经耳机孔接口输出电路进行输出。DSP芯片除了对声音做变声处理外还对音频数据进行计算求出实时的口型数据，并将实时的口型数据通过通信串口传输到控制主机控制相应的虚拟角色的口型变化。

在更进一步的实施例中，所述音频处理器还包括线路输入电路26，所述线路输入电路连接音频处理芯片的第19脚和第20脚，使音频处理器除了能采集麦克风的声音模拟信号外，还可通过其他音频设备采集音频信号，增加音频处理器的适用范围。并且值得一提的是，线路输入电路、麦克输入电路、耳机孔接口输出电路和音频处理芯片的附加电路的具体电路结构设置较为常规，对本领域技术人员而言均可通过经验设置实现这些电路功能的具体电路连接方式，并具体可如图4和图5所示，故本发明在此对这些电路的具体结构不再赘述。

此外，所述路由器还可用于使多个音频处理器与控制主机实现无线网络连接。本实施例通过采用通信串口实现音频处理器与控制主机的通信连接，能可靠并快捷的在音频处理器和控制主机传输实时口型数据。当然也可在音频处理器中增加无线通信模块，通过路由器的wifi网络实现控制主机和音频处理器的无线网络连接，通过这种连接方式相比于采用通信串口连接的方式更加方便，且避免了复杂的线缆连接。

本发明还提供一种根据上述的多个虚拟角色同时互动表演的控制系统的控制方法，包括如下步骤：

S100、多个麦克风分别接收多个用户的实时声音；

S200、多个移动终端分别接收多个用户的操控信息，产生多个用户的操控信息数据；

S300、多个音频处理器分别接收来自多个麦克风的多个用户的实时声音，并分别处理后得到多个用户的实时口型数据；

S400、控制主机接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及接收来自多个移动终端的多个用户的操控信息，分别驱动多个虚拟角色实现其实时表情变化和实时动作变化。

所述的步骤S300具体包括如下步骤：

S310、多个音频处理器分别接收来自多个麦克风的多个用户的实时声音，并分别处理后得到多个用户的实时口型数据；

S320、多个音频处理器分别接收来自多个麦克风的多个用户的实时声音，分别处理后得到多个用户的实时变声数据，并将多个用户的实时变声数据发送到调音台。

综上所述，本发明提供的一种多个虚拟角色同时互动表演的控制系统及其控制方法，所述控制系统包括：荧幕，用于显示多个虚拟角色；多个麦克风，用于接收多个用户的实时声音；多个音频处理器，用于处理来自麦克风的多个用户的实时声音，计算得到多个用户的实时口型数据；多个移动终端，用于接收多个用户的操控信息，产生多个用户的操控信息数据；控制主机，用于接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及用于接收来自多个移动终端的多个用户的操控信息，驱动多个虚拟角色实现其实时表情变化和实时动作变化；路由器，用于使多个移动终端与控制主机之间实现无线网络连接；所述多个虚拟角色分别与多个用户、多个麦克风、多个音频处理器和多个移动终端一一对应。本发明可实现通过一台控制主机对多个虚拟角色进行同时互动表演的控制，使得对虚拟角色的控制更加简便，并增加了其互动性。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种多个虚拟角色同时互动表演的控制系统，其特征在于，包括：

荧幕，用于显示多个虚拟角色；

多个麦克风，用于接收多个用户的实时声音;

多个音频处理器，用于处理来自麦克风的多个用户的实时声音，计算得到多个用户的实时口型数据；

多个移动终端，用于接收多个用户的操控信息，产生多个用户的操控信息数据；

控制主机，用于接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及用于接收来自多个移动终端的多个用户的操控信息，驱动多个虚拟角色实现其实时表情变化和实时动作变化；

路由器，用于使多个移动终端与控制主机之间实现无线网络连接；

所述多个虚拟角色分别与多个用户、多个麦克风、多个音频处理器和多个移动终端一一对应。

2.根据权利要求1所述的多个虚拟角色同时互动表演的控制系统，其特征在于，还包括调音台，用于接收多个音频处理器对多个用户的实时声音进行处理后得到的多个用户的实时变声数据。

3.根据权利要求1所述的多个虚拟角色同时互动表演的控制系统，其特征在于，所述音频处理器包括麦克输入电路、耳机孔接口输出电路、音频处理芯片、数字信号处理芯片和通信串口，所述通信串口包括串口信号处理芯片，所述麦克输入电路连接音频处理芯片的第17脚和第18脚，所述耳机孔接口输出电路连接音频处理芯片的第9脚和第10脚，所述数字信号处理芯片的XINT端连接音频处理芯片的第21脚、数字信号处理芯片的GPIO12端连接音频处理芯片的第23脚、数字信号处理芯片的GPIO61端连接音频处理芯片的第24脚、数字信号处理芯片的MCLKXA端连接音频处理芯片的第3脚、数字信号处理芯片的MDXA端连接音频处理芯片的第4脚、数字信号处理芯片的MDRA端连接音频处理芯片的第6脚、数字信号处理芯片的MFSXA端连接音频处理芯片的第5脚、数字信号处理芯片的MFSRA端连接音频处理芯片的第7脚，所述数字信号处理芯片的SCITXDB端连接串口信号处理芯片的第11脚、数字信号处理芯片的SCIRXDB端连接串口信号处理芯片的第12脚。

4.根据权利要求3所述的多个虚拟角色同时互动表演的控制系统，其特征在于，所述音频处理器还包括线路输入电路，所述线路输入电路连接音频处理芯片的第19脚和第20脚。

5.根据权利要求3所述的多个虚拟角色同时互动表演的控制系统，其特征在于，所述音频处理芯片的型号为TLV320AIC23B。

6.根据权利要求3所述的多个虚拟角色同时互动表演的控制系统，其特征在于，所述通信串口为RS232串口，所述串口信号处理芯片的型号为MAX3232。

7.根据权利要求3所述的多个虚拟角色同时互动表演的控制系统，其特征在于，所述数字信号处理芯片的型号为TMS320F28335。

8.根据权利要求1所述的多个虚拟角色同时互动表演的控制系统，其特征在于，所述多个移动终端与控制主机之间通过UDP网络协议进行无线网络连接，各个移动终端和对应的虚拟角色之间绑定不同的固有UDP端口号进行数据通信。

9.根据权利要求1所述的多个虚拟角色同时互动表演的控制系统，其特征在于，所述路由器还用于使多个音频处理器与控制主机实现无线网络连接。

10.一种根据权利要求1-9中任意一项所述的多个虚拟角色同时互动表演的控制系统的控制方法，其特征在于，包括如下步骤：

多个麦克风分别接收多个用户的实时声音；

多个移动终端分别接收多个用户的操控信息，产生多个用户的操控信息数据；

多个音频处理器分别接收来自多个麦克风的多个用户的实时声音，并分别处理后得到多个用户的实时口型数据；

控制主机接收来自多个音频处理器的多个用户的实时口型数据，驱动多个虚拟角色实现其实时口型变化，以及接收来自多个移动终端的多个用户的操控信息，分别驱动多个虚拟角色实现其实时表情变化和实时动作变化。