CN110215683A - 一种角色模仿游戏的电子游戏系统 - Google Patents

Abstract

本发明公开了通过本发明提供的角色模仿游戏的游戏系统，实现了游戏者角色模仿游戏进行角色模仿表现的识别，使得角色模仿游戏的进行更加便捷，改善用户的体验，解决了现有技术中的体感游戏设备采用需要外设装置的用户输入技术，其不适用于进行角色模仿游戏的技术问题。

Description

一种角色模仿游戏的电子游戏系统

技术领域

本发明涉及电子游戏系统，特别是一种用于角色模仿游戏的电子游戏系统。

背景技术

角色模仿游戏，是一种古老的、历久不衰的线下娱乐活动，参与者通过对角色（人或动物）的模仿，可以获得快乐、交流互动、增进感情。角色模仿游戏已成为现代人们休闲互动的新形式。甚至有研究表明，通过特定的角色模仿活动，会使游戏者发现问题，了解问题的症结所在，进而更好地调整心理状态，解决心理问题。在这些角色模仿中，人们能亲身体验和实践所模仿的角色，从而能够更好地理解他人的处境，体验他人在不同情况下的内心情感，同时，反映出个体深藏于内心的感情。在这种角色模仿游戏中，通过赋予游戏者一个模仿的角色，要求其按照需要模仿的角色的要求进行模仿，从而表现自己的行为、语言和情感，最后评价游戏者角色模仿的接近程度。

如今体感类游戏非常受到人们的欢迎，游戏者通过自己的肢体动作控制游戏，其有非常好的沉浸感与交互感，并且游戏者能够一边游戏一边运动，游戏者活动整个身体而进行游戏，游戏方式更加健康。

目前市场上的体感类游戏中的体感识别控制大多是通过外设装置实现的，通过专用游戏手柄实现对用户身体动作的判断，包括利用加速计的控制器来物理地检索身体活动，或者通过控制板、触摸感应地毯、手动操纵杆等等，相关产品有联想公司的无线动感游戏手柄、小霸王的体感游戏机、任天堂公司的wii及Nintendo Switch、微软的XBOX。

由于现有技术中的这些体感游戏设备采用需要外设装置的用户输入技术，其不适用于进行角色模仿游戏。

发明内容

本发明涉及一种角色模仿游戏的电子游戏系统，以解决现有技术中的体感游戏设备采用需要外设装置的用户输入技术，其不适用于进行角色模仿游戏的技术问题。

根据一个实施方式，所述角色模仿游戏的电子游戏系统包括与显示器关联的电子设备、用于检测游戏者身体动作以及将检测到的身体动作的动作信息作为角色模仿游戏的至少一个输入的身体动作检测器、用于检测游戏者语言表达以及将检测到的语言表达的语音信息作为角色模仿游戏的至少一个输入的声音检测器、用于检测游戏者表情表达以及将检测到的表情表达的脸部信息表达作为角色模仿游戏的至少一个输入的表情检测器。该角色模仿电子游戏系统通过显示器将角色模仿表达提供给一个或多个游戏者以引导游戏者按该角色模仿表达进行角色模仿而表现出各种身体动作、语言表达、感情表达。该角色模仿表达提示所述的一个或多个游戏者表现出与该角色模仿相应的各种身体动作、语言表达、情感表达。该游戏系统可以根据游戏者被检测到的身体动作的动作信息、语言表达的语音信息、表情表达的表情信息确定的身体动作参数、语音参数、情感参数与角色模仿表达的参考身体动作参数、参考语音参数、参考情感参数作比较，以得到基于各种准则确定匹配或不匹配的程度。基于比较结果，该游戏可以产生分数或其它反馈以显示或以其它形式输出。

本发明的角色模仿游戏可以在各种电子游戏平台上实现。现有技术中的各种电子游戏平台通常包括至少一个能够运行计算机软件游戏的基于处理器的装置（例如，计算机、平板电脑、游戏机和/或其它基于处理器的装置）、至少一个输入装置和至少一个相关显示器。本发明的游戏系统与现有的游戏系统不同的一个方面在于其还可包括身体动作检测器、声音检测器和表情检测器，下面进行详述。

身体动作检测器可以配置成可操作以检测限定游戏者角色模仿过程进行动作模仿的身体动作的一个或多个动作信息。通过非限制性示例，身体动作检测器可以配置成捕捉限定一个或多个游戏者的角色模仿的二维和/或三维动作信息。该二维和/或三维动作信息可以包括连续和/或同时捕捉的一个或多个游戏者的一个或多个图像（例如，从不同的视角）、在二维空间中的一个或多个游戏者的身体动作的概图、在三维空间中的一个或多个游戏者的身体动作的概图和/或其他动作信息。根据身体动作检测器捕捉到的动作信息，可以确定游戏者的一个或多个身体动作参数。该一个或多个身体动作参数可以包括游戏者的两个或更多身体部位的相对位置、游戏者的外形和/或轮廓、游戏者的体积和/或其他身体动作参数。例如，游戏者的两个或更多身体部位的相对位置可以包括头、躯干、腿、臂、脚和/或手中的两个或更多部位相对于彼此的位置。

声音检测器可以配置成可操作以检测限定游戏者角色模仿过程进行语言模仿的语言表达的一个或多个语音信息。通过非限制性示例，声音检测器可以配置成捕捉限定一个或多个游戏者的语言表达的语音信息。该语音信息可以包括连接和/或同时捕捉的一个或多个游戏者的语言表达的语调和语速、一个或多个游戏者的语言表达的语种（例如，普通话或者各地方言）、一个或多个游戏者进行角色模仿时的语言表达的语义（意思表达的正确和完整性）、一个或多个游戏者进行角色模仿时的语言表达的语言情感（例如，情绪激动、情绪高昂、情绪低落）。

表情检测器可以配置成可操作以检测限定游戏者角色模仿过程进行表情模仿的表情表达的一个或多个脸部信息。通过非限制性示例，表情检测器可以配置成捕捉限定眼神、一个或多个游戏者表情表达的脸部肌肉、一个或多个游戏者表情表达的嘴形、一个或多个游戏者表情表达的头部的朝向、一个或多个游戏者表情表达的脸部的整体表情表达。

根据所述身体动作检测器捕捉的所述动作信息，可以确定所述游戏者的身体动作的身体动作参数。例如，一个或多个身体动作参数可能包括表示游戏者肢体动作的参数（例如，肢体动作的幅度、肢体动作的变化速度）、与手势有关的参数（例如，手势外形轮廓、手势变化速度）、与朝向有关的参数、与运动有关的参数（例如，速度、惯性、加速度、节奏、协调性）、与体积有关的参数和其它信息。

根据所述声音检测器捕捉的所述语音信息确定游戏者的语言表达的语音参数。例如，一个或多个语音参数可能包括表示游戏者语言表达的流畅程度（例如，台词的错误率、表达的停顿次数、语速的快慢）、与情感有关的参数（语调的高低变化、表达语速的快慢）、与语种有送的参数和其它信息。

根据所述表情检测器捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定游戏者的情感表达的情感参数。情感参数可以由语音参数中与情感有关的参数和/或由脸部表情来确定。例如，一个或多个情感参数包括各种情感种类型有关的参数（悲痛、恐惧、惊奇、接受、狂喜、狂怒、警惕、憎恨）、与情感性质有关的参数（强度、紧张度、快感度、复杂度），与情感有关的生理参数和其它信息。

所述一个或多个处理器可以包括配置制成模块的一个或多个处理单元。所述模块可以配置成处理从所述身体动作检测器、从所述声音检测器、从所述表情检测器接收到的作为输入的游戏者的信息，所述游戏者的信息包括：所述身体动作检测器捕捉的所述动作信息、捕捉的所述语音信息、从所述表情检测器捕捉的所述脸部信息。所述模块可以配置成根据所述身体动作检测器捕捉的所述动作信息确定所述游戏者的身体动作的身体动作参数，根据所述声音检测器捕捉的所述语音信息确定游戏者的语言表达的语音参数，根据所述表情检测器捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定游戏者的情感表达的情感参数。

所述身体动作检测器、所述声音检测器、所述表情检测器是非接触式的，游戏者无需手持穿戴或者在游戏过程中与上述的检测器进行直接或间接的接触。

游戏系统可以配置成将上述确定的游戏者游戏过程的身体动作参数、语音参数、情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较，以得到基于各种准则确定匹配或不匹配的程度。基于比较结果和/或其它准则，该游戏可以产生分数或其它反馈以显示或其它形式输出。当比赛结果为以分数的形式输出时，该游戏系统可设置为当所述分数的分数值大于预设值时，所述游戏者的游戏结果为通过，并以闯关的形式进入下一关的难度系数更高的角色模仿游戏。

游戏系统可以配置成响应于游戏者的指令，根据游戏者游戏过程的所述动作信息、语音信息、脸部信息生成游戏者角色模仿过程的视频。同时，响应于游戏者的指令，将所述生成的游戏者角色模仿过程的视频在社交网络进行分享。

为了使该角色模仿游戏能够被不止一个人玩，可以使用多于一个的身体动作检测器、多于一个的声音检测器和多于一个的表情检测器，或者，每一身体动作检测器可以能够同时分辨并确定两个或更多游戏者、每一声音检测器可以能够同时分辨并确定两个或更多游戏者、每一表情检测器可以能够同时分辨并确定两个或更多游戏者。同时，游戏系统可以配置成将上述多于一个的游戏者游戏过程的身体动作参数、语音参数、情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较，以得到基于各种准则确定匹配或不匹配的程度。基于比较结果，分别产生分数或其它反馈以显示或其它形式输出。其中，两个游戏者的角色模仿表达可以是相同的，也可以是不相同的。两个游戏者同时进行游戏时，可以通过比较两个游戏者的分数值，分数值大的一方胜出。

本发明实施例的有益效果在于：通过本发明提供的角色模仿游戏的游戏系统，实现了游戏者角色模仿游戏进行角色模仿表现的识别，使得角色模仿游戏的进行更加便捷，改善用户的体验，解决了现有技术中的体感游戏设备采用需要外设装置的用户输入技术，其不适用于进行角色模仿游戏的技术问题。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点更为清楚，在附图中：

图1是本发明的一个实施例提供的一种角色模仿游戏的电子游戏系统的框图；

图2是本发明的一个实施例提供的一种角色模仿游戏的结印手势。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下方对本发明的细节描述中，详尽描述了一些特定的细节部分，为了避免混淆本发明的实质，公知的方法、过程、流程、元件并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书的“包括”、“包含”等类似词语应当解释为包含的含义而还是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明中的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

下面参考附图描述本发明实施例的基于多模态识别的角色模仿游戏系统、方法及电子设备。

图1是本发明的一个实施例提供的一种角色模仿游戏的电子游戏系统的框图。电子游戏系统10提供的角色模仿游戏可以包括向一个或多个游戏者提供各种目标角色模仿表达的角色模仿。可以通过显示角色模仿表达来将角色模仿提供给一个或多个游戏者，所述的角色模仿表达提示该一个或多个游戏者呈现出与角色模仿相对应的身体动作、语言表达、感情表达。电子游戏系统10可以将检测到的游戏者的各种身体动作、语言表达、情感表达与角色模仿表达的参考身体动作参数、参考语音参数、参考情感参数作比较，以得到基于各种准则确定匹配或不匹配的程度。基于比较结果，该游戏可以产生分数或其它反馈以显示或以其它形式输出。在一些实施方式中，电子游戏系统10可以包括显示器20、存储器30、身体动作检测器12、声音检测器14、表情检测器16、一个或多个外围设备40、处理器50和/或一个或多个其他元件。

显示器20可以包括一个或多个显示装置，该一个或多个显示装置可以被控制以将视觉显示呈现给一个或多个游戏者。例如，显示器20可以包括电视机、监测器、手持式电子显示器和/或其他显示装置。

在一些实施方式中，存储器30可以包括以电子方式存储信息的电子存储介质。存储器30的电子存储介质可以包括以下中的一个或两个：与电子游戏系统10 —体提供的存储系统（即，基本上不可移除）和/或通过例如端口（例如，USB端口、固件端口等）或驱动器（例如，硬盘驱动器等）可移除地连接到电子游戏系统10的可移除存储器。存储器30可以包括以下中的一个或多个：光可读存储介质（例如，光碟等）、磁可读存储介质（例如，磁带、磁盘驱动器、软盘驱动器等）、基于电荷的存储介质（例如，EEPR0M、RAM等）、固态存储介质（例如，闪盘驱动器等）和/或其他电子可读存储介质。存储器30可以存储软件算法、处理器50确定的信息和/或能够使电子游戏系统10正常运行的其他信息。存储器30可以包括电子游戏系统10内的一个或多个独立元件。存储器30可以包括与电子游戏系统10的一个或多个其他元件（例如，处理器10）—体设置的一个或多个元件。

身体动作检测器12可以配置成可操作以检测限定游戏者角色模仿过程进行动作模仿的身体动作的一个或多个动作信息。通过非限制性示例，身体动作检测器12可以配置成捕捉限定一个或多个游戏者的角色模仿的二维和/或三维信息。该二维和/或三维信息可以包括连续和/或同时捕捉的一个或多个游戏者的一个或多个图像（例如，从不同的视角）、在二维空间中的一个或多个游戏者的身体动作的概图、在三维空间中的一个或多个游戏者的身体动作的概图和/或其他动作信息。根据身体动作检测器12捕捉到的动作信息，可以确定游戏者的一个或多个身体动作参数。该一个或多个身体动作参数可以包括游戏者的两个或更多身体部位的相对位置、游戏者的外形和/或轮廓、游戏者的体积和/或其他身体动作参数。例如，游戏者的两个或更多身体部位的相对位置可以包括头、躯干、腿、臂、脚和/或手中的两个或更多部位相对于彼此的位置。例如，身体动作检测器12可以包括TOF镜头（Timeof flight）、3D结构光模组和/或其他身体动作检测装置。

声音检测器14可以配置成可操作以检测限定游戏者角色模仿过程进行语言模仿的语言表达的一个或多个语音信息。通过非限制性示例，声音检测器14可以配置成捕捉限定一个或多个游戏者的语言表达的语音信息。该语音信息可以包括连接和/或同时捕捉的一个或多个游戏者的语言表达的语调和语速、一个或多个游戏者的语言表达的语种（例如，普通话或者各地方言）、一个或多个游戏者进行角色模仿时的语言表达的语义（意思表达的正确和完整性）、一个或多个游戏者进行角色模仿时的语言表达的语言情感（例如，情绪激动、情绪高昂、情绪低落）。例如，声音检测器14可以包括麦克风、麦克风阵列和/或其他声音检测装置。

表情检测器16可以配置成可操作以检测限定游戏者角色模仿过程进行表情模仿的表情表达的一个或多个脸部信息。通过非限制性示例，表情检测器16可以配置成捕捉限定眼神、一个或多个游戏者表情表达的脸部肌肉、一个或多个游戏者表情表达的嘴形、一个或多个游戏者表情表达的头部的朝向、一个或多个游戏者表情表达的脸部的整体表情表达。例如，表情检测器16可以包括TOF镜头（Time of flight）、3D结构光模组和/或其他表情检测装置。

身体动作检测器12、声音检测器14、表情检测器16是非接触式的，游戏者无需手持穿戴或者在游戏过程中与上述的检测器进行直接或间接的接触。

外围设备40可以包括一个或多个装置，该一个或多个装置配置成与电子游戏系统10的其他元件协调操作以将该角色模仿游戏提供给一个或多个游戏者。例如，外围设备40可以包括将身体动作检测器12、声音检测器14、表情检测器16固定到合适位置的固定支架。外围设备40可以包括配置成能够使用户向电子游戏系统10输入信息的一个或多个输入装置。一个或多个输入装置的示例可以包括按钮、开关、键盘、旋钮、方向盘和/或其他输入装置。

处理器50可以配置成用以提供电子游戏系统10中的信息处理能力。就这一点而言，处理器50可以包括以下中的一个或多个：数字处理器、模拟处理器、设计成处理信息的数字电路、设计成处理信息的模拟电路、状态机和/或用于以电子方式处理信息的其他机构。尽管图1中示出的处理器50为单一实体，但这仅仅是为了说明。在一些实施方式中，处理器50可以包括多个处理单元。这些处理单元可以物理地位于同一装置内，或者处理器50可以表现出多个装置协作工作的处理功能。例如，在一些实施方式中，属于处理器50的一些功能可以通过身体动作检测器12、声音检测器14、表情检测器16—体提供的处理能力提供，而属于处理器50的其他功能可以通过物理地位于和身体动作检测器12、声音检测器14、表情检测器16分离的平台或终端中的一个或多个处理单元提供。

处理器50可以配置成根据所述身体动作检测器12捕捉的所述动作信息，可以确定所述游戏者的身体动作的身体动作参数。例如，一个或多个身体动作参数可能包括表示游戏者肢体动作的参数（例如，肢体动作的幅度、肢体动作的变化速度）、与手势有关的参数（例如，手势外形轮廓、手势变化速度）、与朝向有关的参数、与运动有关的参数（例如，速度、惯性、加速度、节奏、协调性）、与体积有关的参数和其它信息。

处理器50可以配置成根据所述声音检测器14捕捉的所述语音信息确定游戏者的语言表达的语音参数。例如，一个或多个语音参数可能包括表示游戏者语言表达的流畅程度（例如，台词的错误率、表达的停顿次数、语速的快慢）、与情感有关的参数（语调的高低变化、表达语速的快慢）、与语种有送的参数和其它信息。

处理器50可以配置成根据所述表情检测器16捕捉的所述脸部信息和/或所述声音检测器14捕捉的所述语音信息确定游戏者的情感表达的情感参数。情感参数可以由语音参数中与情感有关的参数和/或由脸部表情来确定。例如，一个或多个情感参数包括各种情感种类型有关的参数（悲痛、恐惧、惊奇、接受、狂喜、狂怒、警惕、憎恨）、与情感性质有关的参数（强度、紧张度、快感度、复杂度），与情感有关的生理参数和其它信息。如图1中所示，在一个实施方式中，处理器50执行一个或多个模块，所述一个或多个模块包括参数模块51、比较模块52、计分模块53、反馈模块54、视频生成模块55、分享模块56和/或其他模块。各个模块可以通过以下实现：软件，硬件，固件，软件、硬件和/或固件的组合，和/或以其他方式实现。应当注意的是，尽管图1中示出的各个模块共同位于单一处理单元内，但在处理器50包括多个处理单元的实施方式中，各个模块可以与其他模块分开地放置。而且，下文描述的由不同的各个模块提供的功能描述出于说明性目的，不用于限制，因为各个模块中的任一模块提供的功能可以比所描述的功能多或少。例如，各个模块的一个或多个可以被去除，被去除的模块的一些或所有功能可以由各个模块中的其他模块提供。作为另一示例，处理器50可以包括一个或多个其他模块，所述一个或多个其他模块可以执行属于各个的一个模块的一些或所有功能。

参数模块51可以配置成获得该角色模仿游戏的一个或多个游戏者进行角色模仿游戏过程的身体动作参数、语言表达的语音参数、情感表达的情感参数和/或其他参数。所述参数可以包括身体动作检测器12、声音检测器14、表情检测器16直接获得的参数和/或游戏者输入到角色模仿游戏系统10的信息（例如，通过外围设备18）、由电子存储器14存储的信息和/或其他信息确定的参数。

参数模块51获得的游戏者参数可以包括下列中的一个或多个：游戏者的数目、单个游戏者的确定的身体部位、与动作有关的信息和/或其他游戏者参数。参数模块51针对给定的游戏者获得的角色模仿参数可以包括下列中的一个或多个：外形/轮廓参数、描述两个或更多部位（例如，头、躯干、腿、臂、手、脚和/或其他身体部位）的相对位置的参数、体积或面积参数和/或其他角色模仿参数。参数模块51确定的其他参数可以包括下列中的一个或多个：与游戏者距离真实或虚拟参考平面的距离有关的深度参数、身体动作参数（例如，将游戏者的动作参数化）、手势参数、位置参数、方向参数、运动参数、节奏参数、计时参数、尺寸参数和/或其他参数。

参数模块51根据所述声音检测器捕捉的所述语音信息确定游戏者的语言表达的语音参数。例如，一个或多个语音参数可能包括表示游戏者语言表达的流畅程度（例如，台词的错误率、表达的停顿次数、语速的快慢）、与情感有关的参数（语调的高低变化、表达语速的快慢）、与语种有送的参数和其它信息。

参数模块51根据所述表情检测器捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定游戏者的情感表达的情感参数。情感参数可以由语音参数中与情感有关的参数和/或由脸部表情来确定。例如，一个或多个情感参数包括各种情感种类型有关的参数（悲痛、恐惧、惊奇、接受、狂喜、狂怒、警惕、憎恨）、与情感性质有关的参数（强度、紧张度、快感度、复杂度），与情感有关的生理参数和其它信息。

比较模块52可以配置成将所述一个或多个游戏者的身体动作参数、语音参数、情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较，以得到基于各种准则确定匹配或不匹配的程度。基于比较结果和/或其它准则，计分模块53可以产生分数或其它反馈以显示或其它形式输出。

根据各个实施方式，计分模块53可以管理在游戏内提供给游戏者的鼓励。除了简单地提高授予游戏者的分数之外，鼓励可包括提供给该游戏内的游戏者的奖赏。例如，鼓励可以包括分数附加(例如，进一步成倍计分和/或其他分数附加)。

反馈模块54可以管理提供给游戏者的关于游戏者的角色模仿游戏表现的反馈。该反馈可以包括在与角色模仿游戏相对应的时间或者该时间之前的反馈。反馈可以包括与指示给游戏者的关于其角色模仿游戏的表现的信息不同的信息。在与角色模仿游戏相对应的时间或该时间之后展示给游戏者的反馈可以指示给游戏者其执行的角色模仿游戏如何。反馈可以包括视觉反馈(例如，通过显示器12提供)、音频反馈、触觉反馈和/或其他反馈。

反馈模块54可以将与先前角色模仿的表现有关的反馈提供给游戏者(不是分数)。例如，该反馈可以包括传递游戏者的表现水平的音频信息或视觉信息。例如，如果游戏者接收到在预定临界值或者预定临界值以上的分数，则音频和/或视觉信息可以将其指示给游戏者。相反，如果游戏者接收到低于预定临界值以下的分数，则可以将提供鼓舞、取笑表现水平不佳的音频和/或视觉信息传递给游戏者，和/或传递给用户表现水平差。

除了别的形式的反馈外，其他形式的反馈可以包括文字、听觉反馈和/或触觉反馈。

视频生成模块55可以根据游戏者游戏过程的所述动作信息、语音信息、脸部信息生成游戏者角色模仿过程的视频。同时，分享模块56将所述生成的游戏者角色模仿过程的视频在社交网络进行分享。

根据各种实施方式，角色模仿游戏系统10提供的角色模仿游戏可以作为单一游戏者游戏玩。在单一游戏者游戏中，该游戏者是玩该游戏的唯一个体。在单一游戏者游戏中，该游戏者可以与先前的分数竞争(例如，通过执行角色模仿游戏)以竞争“等级”、开启新的游戏内容和/或其他目的。

根据各个实施方式，角色模仿游戏可以作为两个或更多游戏者玩的多人游戏。在该多人游戏中，参与到该角色模仿游戏中的两个或更多游戏者可以出现在相同的物理位置中或者在不同的物理位置(例如，通过网络)中。当两个或更多游戏者存在于相同的物理位置中时，他们的身体姿势的参数可以由同一身体动作检测器12、声音检测器14、表情检测器16捕捉以作为该角色模仿游戏的输入进行处理。

如果两个或更多游戏者从不同的物理位置参与，每一游戏者可以通过由网络连接的不同的身体动作检测器12、声音检测器14、表情检测器16、显示器20和处理器50系统参与。上述检测器12、声音检测器14、表情检测器16、显示器20和处理器50在两个或更多游戏者进行角色模仿游戏时，具有与上述实施例中的相同的功能，在此不再重复说明。在一些实施方式中，为了能够使所述系统互相进行通信，处理器50可以与服务器进行通信，服务器管理游戏信息在游戏系统之间进行传递。在一些实施方式中，处理器50可以以点对点的形式进行通信，而不需要中介服务器。

在一些实施方式中，一个或多个身体动作检测器12，所述一个或多个身体动作检测器12配置成捕捉限定所述第一游戏者和所述第二游戏者游戏过程的身体动作的动作信息；一个或多个声音检测器14，所述一个或多个声音检测器14配置成捕捉限定所述第一游戏者和所述第二游戏者游戏过程的语言表达的语音信息；一个或多个表情检测器16，所述一个或多个表情检测器16配置成捕捉限定所述第一游戏者和所述第二游戏者表情表达的脸部信息；一个或多个显示器20，所述一个或多个显示器20配置成将角色模仿表达连续地显示给所述第一游戏者和所述第二游戏者，所述角色模仿表达表示角色模仿对应的参考身体动作参数、参考语音参数和参考情感参数；一个或多个处理器50，所述一个或多个处理器50配置成：（i）根据所述身体动作检测器12捕捉的所述动作信息确定所述第一游戏者的身体动作的身体动作参数，根据所述声音检测器14捕捉的所述语音信息确定所述第一游戏者的语言表达的语音参数，根据所述表情检测器16捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定所述第一游戏者的情感表达的情感参数，将所述第一游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较；（ii）根据所述身体动作检测器12捕捉的所述动作信息确定所述第二游戏者的身体动作的身体动作参数，根据所述声音检测器14捕捉的所述语音信息确定所述第二游戏者的语言表达的语音参数，根据所述表情检测器16捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定所述第二游戏者的情感表达的情感参数，将所述第二游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较；以及（iii）将比较结果通过所述显示器20传递给所述第一游戏者和所述第二游戏者。

所述第一游戏者和所述第二游戏者的角色模仿表达可以是相同的，也可以是不相同的。当所述第一游戏者和所述第二游戏者的角色模仿表达不相同时，即包括第一角色模仿表达和第二角色模仿表达，所述第一角色模仿表达表示角色模仿对应的第一参考身体动作参数、第一参考语音参数和第一参考情感参数，所述第二角色模仿表达表示角色模仿对应的第二参考身体动作参数、第二参考语音参数和第一参考情感参数。所述第一游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较的结果以第一分数值的形式传递给所述第一游戏者和所述第二游戏者；所述第二游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较的结果以第二分数值的形式传递给所述第一游戏者和所述第二游戏者；比较所述第一分数值和所述第二分数值，分数值大的一方胜出。

下面用具体的角色模仿游戏进行进一步的说明：

当单个游戏者需要进行角色模仿的是漫画《火影忍者》里的“大火球术”，又称“豪火球之术”。游戏者进行模仿时，需要做出如图2所示的结印手势：“巳－未－申－亥－午－寅”，同时还要配合喊出“大火球术”，此外，游戏者还需要表现出“积极的”、“激昂的”情绪。

在游戏者进行角色模仿之前，电子游戏系统10通过显示器20和其实装置显示一段“大火球术”的角色模仿表达（即角色模仿对象的一段视频片段），同时还伴有声音的播放，以视觉和听觉的表达，提示一个或多个游戏者呈现出与角色模仿相对应的身体动作、语言表达、感情表达。

游戏者开始进行角色模仿后，游戏者进行角色模仿游戏过程的身体动作的一个或多个动作信息将被身体动作检测器12捕捉，所述一个或多个动作信息是限定一个或多个游戏者的角色模仿的二维和/或三维动作信息。具体方法如下：

根据一些实施方式，游戏者进行角色模仿游戏过程的身体动作的动作信息，可以是身体动作的完成速度和准确度。身体动作检测器12对游戏者进行角色模仿过程的与动作速度有关的动作信息进行捕捉，例如，身体动作检测器12可以捕捉游戏者身体动作身体部位的相对位置以及相同时间内的相对位置变化情况。再通过参数模块51获得游戏者进行角色模仿游戏过程关于完成速度和准确度的身体动作参数，例如可以将采集到的肢体动作输入到预先训练好的识别模型，得到相关的身体动作参数。

游戏者进行角色模仿游戏过程的的语言表达的语音信息将被声音检测器14捕捉。例如，声音检测器14可以捕捉游戏者进行角色模仿过程的发出的声音，然后通过参数模块51获得游戏者进行角色模仿过程的语言表达的语种、语义和语速的语音参数。具体而言，首先是进行语种识别，参数模块51可以采用常见的深度神经网络模型对语种进行识别，另外我们可以创建中文语言模型，英文语言模型，龙语语言模型（游戏《上古卷轴5》的创作的一种语言）等模型。然后是语义识别，即语音转文字，语言识别将声音转成与之相对应的文字。此处我们采用音素模型，如CMU Sphinx （语音识别工具）或者是kaldi（语音识别工具）等开源项目，可以将语音转成汉语拼音/或者英语音素等，我们可以根据拼音/音素得到用户语音念出的文字内容和个个拼音/音素的音节长度。

最后再根据语速识别，通过采用上述音素模型，将用户的语音“大火球术”转成相应的文字“大火球术”。如游戏者的喊出的“大火球术”的拼音语速为“d-a-a-a-a-a，hhhhhh-u-o，q-iu，shu”语速识别可以采用音素模型的CTC(Connectionist TemporalClassification)解码，从而得到相应的文字。此外音素模型还能给我们提供用户的语音的语调，如“大火球术”对应的预设语调为“da4 huo3 qiu2 shu0”，最后一个“术”应该为轻读。

游戏者进行角色模仿游戏过程的的表情表达的表情信息将被表情检测器16捕捉。游戏者的面部表情将被表情检测器16捕捉，然后参数模块51根据采集到的游戏者的语音信息和/或脸部信息获得进行情感参数，具体方法如下：

对于情感识别，我们采用两种方式进行，一种是语音情感识别，另一种是面部表情情感识别，两种方式都将输出游戏者的情感及对应的置信度，最后我们将采取置信度高的情感作为最后的判定情感。首先是语音情感识别：我们还将使用神经网络情感模型，此模型输入采取到的游戏者的语音，输出则是情感种类。如“大火球术”的情感应该是，“积极的”、“激昂的”。然后进行面部表情情感识别：在识别模型中输入采集到的游戏者的面部表情视频，输出结果为情绪类别，与语音情感识别相同，如“大火球术”的情感应该是，“积极的”、“激昂的”。

比较模块52将上述一个或多个游戏者确定的身体动作参数（完成速度和准确度）、语音参数（语种、语义和语速）、情感参数（“积极的”、“激昂的”）与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较，以得到基于各种准则确定匹配或不匹配的程度。基于比较结果，计分模块53可以产生分数或其它反馈以显示或其它形式输出。

在一些实施方式中，计分模块53可以根据以下准则将比较模块52确定的身体动作参数、语音参数、情感参数进行计算分数。

对于语音参数的语种参数，根据不同语言种类赋予一个系数a。如龙语则a = 3,汉语则a = 2,英语则 a = 1；对于语音参数的语义参数，根据模型对游戏者的语音“大火球术”转成相应的文字“大火球术”的准确率，赋予一个系数b；对于语音参数的语速参数，与预设的语速做比较，如“大火球术”的预设拼音语速为“d-a-a-a-a-a，hhhhhh-u-o，q-iu，shu”，与之相似度越高的语音，我们给予越高的分数，给一个系数c。此外语音的语调参数，如“大火球术”对应的预设语调为“da4 huo3 qiu2 shu0”，最后一个“术”应该为轻读，与之契合则给予语调系数d =1,不契合则d=0.5。

对于语音参数的语音情感参数，与预设情感参数比较，契合则为1，不契合则为0.5，f为系数。对于语音参数的面部表情参数，与预设情感参数比较，契合则为1，不契合则为0.5，为系数g。

对于身体动作参数，根据不同情况，给予速度和准确度不同的权重w、m，根据权重求平均的值为系数f。如“大火球术”在游戏背景中要求动作精确度高，而速度无关紧要，则权重可以为w=0.1和m= 0.9，即系数f=w*速度值+m*精确度值。

在另外的一些实施例中，所述游戏系统还包括协调性判断模块，用于判断对所述采集到的游戏者进行角色模仿时的语音与肢体动作的协调情况。即还可以进行协调性识别，即声音与肢体动作的协调性，如“大火球术”法术的释放，用户声音读到“大火球”的三个音节时候应该分别对应完成三个手势：“da”音节对应手势“子”。“huo”音节对应手势“丑”。“qiu”音节对应手势“寅”。将用户声音与肢体动作完成的时间轴进行对齐后，与预设的声音与肢体动作完成的时间轴比较。time =（|慢于的时间| + |超出的时间| - 法术释放的总时间×10%），然后把time作为sigmod函数输入，最后的惩罚系数为h=sigmod（time）。Sigmod函数为：

最后，利用计分模块53按以下公式计算：

分数值 = sigmod（a*b*c*d*e*f*g*h）* 模仿难度系数

例如“大火球术”的模仿难度系数为 100，“火球术”的模仿难度系数为60，则一个游戏者模仿“大火球术”的模仿得分值为100×sigmod( a*b*c*d*e*f*g*h)。

反馈模块54将上述计分模块53计算得到的游戏者的角色模仿游戏表现分数反馈给游戏者。

尽管已出于说明性目的且基于目前认为是最可行且最优选的实施方式详细描述本发明，但应当理解，这样的细节仅是为了该说明性目的且本发明不局限于所公开的实施方式，相反，本发明意欲涵盖所附权利要求的精神和范围内的改动和等同布置。例如，应当理解本发明尽可能地考虑到任一实施方式的一个或多个特征可以与任一其他实施方式的一个或多个特征结合。

Claims (10)

1.一种配置成将角色模仿游戏提供给游戏者的系统，所述系统包括：

身体动作检测器，所述身体动作检测器配置成捕捉限定游戏者游戏过程的身体动作的动作信息；

声音检测器，所述声音检测器配置成捕捉限定游戏者游戏过程的语言表达的语音信息；

表情检测器，所述表情检测器配置成捕捉限定游戏者表情表达的脸部信息；

显示器，所述显示器配置成将角色模仿表达连续地显示给所述游戏者，所述角色模仿表达表示角色模仿对应的参考身体动作参数、参考语音参数和参考情感参数；

处理器，所述处理器配置成：根据所述身体动作检测器捕捉的所述动作信息确定所述游戏者的身体动作的身体动作参数，根据所述声音检测器捕捉的所述语音信息确定游戏者的语言表达的语音参数，根据所述表情检测器捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定游戏者的情感表达的情感参数，将所述游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较，以及将比较结果通过所述显示器传递给所述游戏者。

2.根据权利要求1所述的系统，其特征在于，所述身体动作参数包括身体外形轮廓、具体身体部位的相对位置、一个或多个身体部位的三维形状；和/或，所述语音参数包括语种、语义、语速、语调；和/或，所述情感参数包括语音情感、脸部表情。

3.根据权利要求1所述的系统，其特征在于，所述身体动作检测器、所述声音检测器、所述表情检测器是非接触式的。

4.根据权利要求1所述的系统，其特征在于，所述处理器还配置成根据游戏者游戏过程的所述动作信息、语音信息、脸部信息生成游戏者角色模仿过程的视频。

5.如权利要求4所述的系统，其特征在于，所述系统配置为：响应于游戏者的指令，将所述生成的游戏者角色模仿过程的视频在社交网络进行分享。

6.根据权利要求1-5任意一项所述的系统，其特征在于，其中所述游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数比较的比较结果以分数的形式传递给游戏者；

当所述分数的分数值大于预设值时，所述游戏者的游戏结果为通过。

7.一种配置成向第一游戏者和第二游戏者提供角色模仿游戏的系统，所述系统包括：

一个或多个身体动作检测器，所述一个或多个身体动作检测器配置成捕捉限定所述第一游戏者和所述第二游戏者游戏过程的身体动作的动作信息；

一个或多个声音检测器，所述一个或多个声音检测器配置成捕捉限定所述第一游戏者和所述第二游戏者游戏过程的语言表达的语音信息；

一个或多个表情检测器，所述一个或多个表情检测器配置成捕捉限定所述第一游戏者和所述第二游戏者表情表达的脸部信息；

一个或多个显示器，所述一个或多个显示器配置成将角色模仿表达连续地显示给所述第一游戏者和所述第二游戏者，所述角色模仿表达表示角色模仿对应的参考身体动作参数、参考语音参数和参考情感参数；

一个或多个处理器，所述一个或多个处理器配置成：

（i）根据所述身体动作检测器捕捉的所述动作信息确定所述第一游戏者的身体动作的身体动作参数，根据所述声音检测器捕捉的所述语音信息确定所述第一游戏者的语言表达的语音参数，根据所述表情检测器捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定所述第一游戏者的情感表达的情感参数，将所述第一游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较；

（ii）根据所述身体动作检测器捕捉的所述动作信息确定所述第二游戏者的身体动作的身体动作参数，根据所述声音检测器捕捉的所述语音信息确定所述第二游戏者的语言表达的语音参数，根据所述表情检测器捕捉的所述脸部信息和/或所述声音检测器捕捉的所述语音信息确定所述第二游戏者的情感表达的情感参数，将所述第二游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较；以及

（iii）将比较结果通过所述显示器传递给所述第一游戏者和所述第二游戏者。

8.根据权利要求7所述的系统，其特征在于，所述身体动作参数包括身体外形轮廓、具体身体部位的相对位置、一个或多个身体部位的三维形状；和/或，所述语音参数包括语种、语义、语速、语调；和/或，所述情感参数包括语音情感、脸部表情。

9.根据权利要求7或8所述的系统，其特征在于，所述第一游戏者和所述第二游戏者的角色模仿表达是相同的；或者，

所述第一游戏者和所述第二游戏者的角色模仿表达是不相同的，包括第一角色模仿表达和第二角色模仿表达，所述第一角色模仿表达表示角色模仿对应的第一参考身体动作参数、第一参考语音参数和第一参考情感参数，所述第二角色模仿表达表示角色模仿对应的第二参考身体动作参数、第二参考语音参数和第一参考情感参数。

10.根据权利要求9所述的系统，其特征在于，所述第一游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较的结果以第一分数值的形式传递给所述第一游戏者和所述第二游戏者；所述第二游戏者的所述身体动作参数、所述语音参数、所述情感参数与所述角色模仿对应的参考身体动作参数、参考语音参数、参考情感参数作比较的结果以第二分数值的形式传递给所述第一游戏者和所述第二游戏者；比较所述第一分数值和所述第二分数值，分数值大的一方胜出。