CN109453517B - 虚拟角色控制方法和装置、存储介质、移动终端 - Google Patents

Abstract

本申请涉及一种虚拟角色控制方法和装置、存储介质、移动终端，采集用户做出肢体动作时的深度图，根据深度图确定用户在做出肢体动作时的肢体运动数据。从数据库中获取与肢体运动数据对应的游戏操作指令，控制虚拟角色执行游戏操作指令。整个通过肢体动作来对游戏进行控制的过程，都是由移动终端单独来完成的，即采集深度图、确定肢体运动数据、从数据库中获取与肢体运动数据对应的游戏操作指令以及在移动终端的显示界面上控制虚拟角色执行游戏操作指令等过程都是通过移动终端实现的，并不需要借助于其他设备。从而提高了在游戏中用户通过肢体动作来进行虚拟角色控制的便捷性、随时随地都可以进行。

Description

虚拟角色控制方法和装置、存储介质、移动终端

技术领域

本申请涉及计算机技术领域，特别是涉及一种虚拟角色控制方法和装置、存储介质、移动终端。

背景技术

体感游戏(英文：Motion Sensing Game)顾名思义：用身体去感受的电子游戏。体感游戏突破以往单纯以手柄按键输入的操作方式，是一种通过肢体动作变化来进行操作的新型电子游戏。体感游戏能够让用户“全身”投入到游戏当中来，既享受了游戏的乐趣，又可以达到锻炼身体的目的。

发明内容

本申请实施例提供一种虚拟角色控制方法和装置、存储介质、移动终端，通过移动终端就可以实现，根据用户的肢体动作来控制虚拟角色执行所述游戏操作指令。

一种虚拟角色控制方法，应用于移动终端，包括：

采集用户做出肢体动作时的深度图；

根据所述深度图确定所述用户在做出所述肢体动作时的肢体运动数据；

从数据库中获取与所述肢体运动数据对应的游戏操作指令；

控制所述虚拟角色执行所述游戏操作指令。

一种虚拟角色控制装置，所述装置包括：

深度图采集模块，用于采集用户做出肢体动作时的深度图；

肢体运动数据计算模块，用于根据所述深度图确定所述用户在做出所述肢体动作时的肢体运动数据；

游戏操作指令获取模块，用于从数据库中获取与所述肢体运动数据对应的游戏操作指令；

游戏操作指令执行模块，用于控制所述虚拟角色执行所述游戏操作指令。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的游戏控制方法的步骤。

一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时执行如上所述的游戏控制方法的步骤。

上述虚拟角色控制方法和装置、存储介质、移动终端，采集用户做出肢体动作时的深度图，根据深度图确定用户在做出肢体动作时的肢体运动数据。从数据库中获取与肢体运动数据对应的游戏操作指令，控制虚拟角色执行游戏操作指令。整个通过肢体动作来对游戏进行控制的过程，都是由移动终端单独来完成的，即采集深度图、确定肢体运动数据、从数据库中获取与肢体运动数据对应的游戏操作指令以及在移动终端的显示界面上控制虚拟角色执行游戏操作指令等过程都是通过移动终端实现的，并不需要借助于其他设备。从而提高了在游戏中用户通过肢体动作来进行虚拟角色控制的便捷性、随时随地都可以进行。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中移动终端的内部结构图；

图2为一个实施例中虚拟角色控制方法的流程图；

图3为图2中根据深度图确定用户在做出肢体动作时的肢体运动数据方法的流程图；

图4为另一个实施例中虚拟角色控制方法的流程图；

图5为图2中控制虚拟角色执行游戏操作指令方法的流程图；

图6为再一个实施例中虚拟角色控制方法的流程图；

图7为一个实施例中虚拟角色控制装置的结构示意图；

图8为图7中肢体运动数据确定模块的结构示意图；

图9为另一个实施例中虚拟角色控制装置的结构示意图；

图10为再一个实施例中虚拟角色控制装置的结构示意图；

图11为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中移动终端的内部结构示意图。如图1所示，该移动终端包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个移动终端的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于移动终端的场景识别方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种虚拟角色控制方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的移动终端进行通信。该移动终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

在一个实施例中，如图2所示，提供了一种虚拟角色控制方法，以该方法应用于图1中的移动终端为例进行说明，包括：

步骤220，采集用户做出肢体动作时的深度图。

体感游戏突破以往单纯以手柄按键输入的操作方式，是一种通过肢体动作变化来进行操作的新型电子游戏。体感游戏能够让用户“全身”投入到游戏当中来，既享受了游戏的乐趣，又可以达到锻炼身体的目的。在体感游戏中移动终端通过摄像头采集用户在做出肢体动作时的深度图。具体的，该摄像头可以是TOF摄像头、双目摄像头或结构光摄像头等可以捕捉3D图像的摄像头。在用户做出肢体动作的时候，摄像头需要不断地采集用户做出肢体动作时的深度图，以便后续根据多张连续的深度图确定用户在做出肢体动作时的肢体运动数据。

其中，TOF是Time of flight的简写，直译为飞行时间的意思。TOF摄像头是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离，从而得到深度图。结构光(Structured Light)技术则要相对复杂一些，该技术将编码的光栅或线光源等投射到被测物上，根据它们产生的畸变来解调出被测物的三维信息。双目视觉则是和人眼一样用两个普通摄像头以视差的方式来计算被测物距离。

步骤240，根据深度图确定用户在做出肢体动作时的肢体运动数据。

深度图中的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近。从每张深度图中可以获取到用户每一个肢体部分距离摄像头的距离的深度数据。然后根据多张连续的深度图就可以得到用户在做出肢体动作时的肢体运动数据。肢体运动数据是指对从连续拍摄的深度图中所提取的图像数据，再根据3D体感算法确定出用户的肢体运动状况所对应的数据，例如，肢体运动数据主要包括身体动作(扭动或转向等)、头部动作(左右上下摇动等)、脚步动作(前进或后退等)和手势(射击或投掷等)等所对应的数据。例如，从前后几张连续的深度图的深度数据，得出用户的脚步是向前移动，那么此时得出用户在做出肢体动作时的肢体运动数据是脚步向前移动，且可以得出具体在左前还是右前方向移动。

步骤260，从数据库中获取与肢体运动数据对应的游戏操作指令。

数据库中预先储存了肢体运动数据与游戏操作指令的对应关系。例如，数据库中存储了，当检测到的肢体运动数据是脚步向左前移动的时候，则对应的游戏操作指令为与该用户对应的虚拟人物也向左前移动。所以，当移动终端通过采集用户在做出肢体动作时的深度图得到了用户的肢体运动数据之后，就可以直接从数据库中获取到，与该肢体运动数据对应的游戏操作指令。

步骤280，控制虚拟角色执行游戏操作指令。

在经过上述获取到了游戏操作指令之后，在移动终端上所运行的虚拟游戏中就可以控制与用户对应的虚拟角色执行游戏操作指令。例如，控制与用户对应的虚拟角色也向左前移动。

本申请实施例中，采集用户做出肢体动作时的深度图，根据深度图确定用户在做出肢体动作时的肢体运动数据。从数据库中获取与肢体运动数据对应的游戏操作指令，控制虚拟角色执行游戏操作指令。整个通过肢体动作来对游戏进行控制的过程，都是由移动终端单独来完成的，即采集深度图、确定肢体运动数据、从数据库中获取与肢体运动数据对应的游戏操作指令以及在移动终端的显示界面上控制虚拟角色执行游戏操作指令等过程都是通过移动终端实现的，并不需要借助于其他设备。从而提高了在游戏中用户通过肢体动作来进行虚拟角色控制的便捷性、随时随地都可以进行。传统的体感游戏，则一般情况下采集深度图的摄像设备、存储了3D体感算法可以对深度图进行计算的计算设备及显示虚拟游戏的显示界面的显示器等都是单独的设备，并非将实现整个体感游戏的所有设备都集成在一个终端设备上。所以在用户体验体感游戏时，需要组装设备且这些设备一般体积较大不易便携，进而就不能够满足用户随时随地体验体感游戏的需求。

在一个实施例中，深度图为一组连续的深度图。

本申请实施例中，采集用户做出肢体动作时的深度图，是为了根据深度图确定用户在做出肢体动作时的肢体运动数据。用户做出肢体动作时一般是连续的，因此，就需要在用户做出肢体动作时不断地采集用户的深度图，就得到了一组连续的深度图。根据连续的深度图就可以更加清晰准确地记录用户在做出肢体动作时的肢体运动数据。

在一个实施例中，如图3所示，步骤240，根据深度图确定用户在做出肢体动作时的肢体运动数据，包括：

步骤242，根据深度图构建用户的三维人物肢体模型。

具体地，从所采集的深度图中进行前景部分和背景部分的识别，获取所识别出的前景部分。当所采集的为用户在做出肢体动作时的深度图时，则该深度图的前景部分一般就是该用户对应的人物图像。因此，只需要从深度图的前景部分中就获取到了该用户的深度数据，不需要考虑背景部分。然后根据该用户的深度数据构建该用户的三维人物肢体模型。例如，可以采用骨骼追踪技术，从用户的深度数据中提取用户各个关节点的三维坐标，并按照人体部位对提取的各个关节点进行分类，生成用户的三维骨骼框架，即构建了用户的三维人物肢体模型。对所采集的每一张深度图都构建用户的三维人物肢体模型。

步骤244，从三维人物肢体模型中识别出肢体特征点。

在对所采集的每一张深度图都构建了用户的三维人物肢体模型之后，从每一个三维人物肢体模型中识别出肢体特征点。肢体特征点可以是三维人物肢体模型中与人物关节点相对应的特征点。例如，对于用户上肢部分，所选取的肢体特征点，可以是肩关节在三维人物肢体模型中对应的点、肘关节在三维人物肢体模型中对应的点及腕关节在三维人物肢体模型中对应的点，对这3个关键节点的运动数据进行追踪就可以得出用户一个上肢的运动情况。在三维人物肢体模型中的左上肢和右上肢上，分别识别出肩关节、肘关节及腕关节对应的特征点，进而就可以得出用户两个上肢的运动情况。

步骤246，根据连续的深度图及三维人物肢体模型中的肢体特征点，确定肢体特征点的运动数据。

具体地，从每一张深度图中所构建的三维人物肢体模型中识别出肢体特征点之后，对每一张深度图建立相同的坐标系。从而可以从连续的深度图中分别获取三维人物肢体模型中的肢体特征点的位置信息。因为是基于同一个坐标系，所以根据三维人物肢体模型中的肢体特征点的位置信息及位置信息对应的时间信息，就可以计算出每一个相同的肢体特征点的运动数据。例如，对于左上肢的肘关节在三维人物肢体模型中对应的肢体特征点，在上一张深度图中和下一张深度图中，该肢体特征点的位置信息发生了变化。假设，在上一张深度图中该肢体特征点的位置信息为(x,y,z)，而在下一张深度图中该肢体特征点的位置信息为(x,y+2,z-10)，其中x,y,z的单位都为厘米。则此时得出左上肢的肘关节在三维人物肢体模型中对应的肢体特征点的运动数据为向正前方运动了10厘米。同理，可以对三维人物肢体模型中对应的每一个肢体特征点都得出相应的运动数据。

步骤248，根据肢体特征点的运动数据得出用户在做出肢体动作时的肢体运动数据。

在得出了三维人物肢体模型中每一个肢体特征点的运动数据之后，将每一个肢体部分上的肢体特征点的运动数据进行综合分析，从而得出每一个肢体部分的肢体运动数据。例如，对于左上肢部分，对左上肢部分所包含的3个关节点进行综合分析，最终得出整个左上肢部分的肢体运动数据。若此时左上肢的肘关节在三维人物肢体模型中对应的肢体特征点的运动数据为向正前方运动了10厘米。且左上肢的腕关节在三维人物肢体模型中对应的肢体特征点的运动数据为向正前方运动了20厘米。而左上肢的肩关节在三维人物肢体模型中对应的肢体特征点的运动数据未发生位置变化。则此时就可以对左上肢部分所包含的3个关节点进行综合分析得出，此时用户的左上肢的肢体运动数据为整体向正前方向摆动，且左上肢的肘关节为向正前方运动了10厘米，左上肢的腕关节为向正前方运动了20厘米，当然上述数据只是举例，在实际中可能是其他合理的数据。同理，对用户的右上肢、左下肢、右下肢及头部、躯干部等部分依次进行综合分析，最终就得出了用户整体的肢体运动数据。例如，在数据库中规定若仅仅是用户的左上肢的肢体运动数据为整体向正前方向摆动，而其他肢体部分未发生任何移动，则可以判定此时用户整体的肢体运动数据为正在进行投掷动作，对应到虚拟游戏中可以是由用户所对应的虚拟人物的左上肢投掷手榴弹这个动作。

本申请实施例中，对所采集的深度图采用骨骼追踪技术构建用户的三维人物肢体模型，骨骼追踪技术具体为从用户的深度数据中提取用户各个关节点的三维坐标，并按照人体部位对提取的各个关节点进行分类，生成用户的三维骨骼框架，即构建了用户的三维人物肢体模型。然后，从三维人物肢体模型中识别出肢体特征点。对每一个肢体特征点确定运动数据。最后，将每一个肢体部分上的肢体特征点的运动数据进行综合分析，从而得出每一个肢体部分的肢体运动数据，进而由每一个肢体部分的肢体运动数据，得出用户整体的肢体运动数据。这样从小到大，依次从肢体特征点的运动数据，得到每一个肢体部分的运动数据，再最终由每一个肢体部分的运动数据进而得到用户整体的肢体运动数据。计算过程非常清晰准确，保证所得出的用户整体的肢体运动数据的准确性。且整个计算过程可以由移动终端完成，不需要借助于其他的计算设备，因此，采用该移动终端进行体感游戏的时候，在保证便捷性的同时提高计算精准度。

在一个实施例中，步骤246，根据连续的深度图及三维人物肢体模型中的肢体特征点，确定肢体特征点的运动数据，包括：

从连续的深度图中分别获取三维人物肢体模型中的肢体特征点的位置信息；

根据三维人物肢体模型中的肢体特征点的位置信息及位置信息对应的时间信息，计算出肢体特征点的运动数据。

具体地，从每一张深度图中所构建的三维人物肢体模型中识别出肢体特征点之后，对每一张深度图建立相同的坐标系。从而从连续的深度图中分别获取三维人物肢体模型中的肢体特征点的位置信息。因为是基于同一个坐标系，所以根据三维人物肢体模型中的肢体特征点的位置信息及位置信息对应的时间信息，就可以计算出每一个相同的肢体特征点的运动数据。例如，对于左上肢的肘关节在三维人物肢体模型中对应的肢体特征点，在上一张深度图中和下一张深度图中，该肢体特征点的位置信息发生了变化。假设，在上一张深度图中该肢体特征点的位置信息为(x,y,z)，而在下一张深度图中该肢体特征点的位置信息为(x,y+2,z-10)，其中x,y,z的单位都为厘米。则此时得出左上肢的肘关节在三维人物肢体模型中对应的肢体特征点的运动数据为向正前方运动了10厘米。同理，可以对三维人物肢体模型中对应的每一个肢体特征点都得出相应的运动数据。

本申请实施例中，从连续的深度图中分别获取三维人物肢体模型中的肢体特征点的位置信息。且连续的深度图具有时间信息，根据三维人物肢体模型中的肢体特征点的位置信息及位置信息对应的时间信息，计算出肢体特征点的运动数据。如此，便可以得出用户在一个时间段内的每一个肢体特征点的运动数据。

在一个实施例中，如图4所示，方法还包括：

步骤210，预先建立数据库，数据库中存储了肢体运动数据与游戏操作指令的对应关系。

本申请实施例中，预先建立数据库，数据库中存储了肢体运动数据与游戏操作指令之间的对应关系。如此，则当对用户所做出的肢体动作进行检测时，当检测到了某种类型的肢体运动数据的时候，则就可以直接从数据库中找到与该肢体运动数据对应的游戏操作指令。然后移动终端就可以直接控制虚拟游戏中与该用户对应的虚拟角色执行该游戏操作指令。例如，若数据库中存储了肢体运动数据与游戏操作指令之间的对应关系为：肢体运动数据为奔跑时，则对应到虚拟游戏中的游戏操作指令也为奔跑，则当检测到用户的肢体运动数据为奔跑时，则移动终端控制与用户对应的虚拟角色进行奔跑。

在一个实施例中，如图5所示，步骤280，控制虚拟角色执行游戏操作指令，包括：

步骤280a，获取移动终端的显示界面，显示界面包括虚拟角色；

步骤280b，将移动终端的显示界面投影至显示器上进行显示，显示器的显示界面比移动终端的显示界面大；

步骤280c，在显示器的显示界面上同时控制虚拟角色执行游戏操作指令。

本申请实施例中，整个通过肢体动作来对游戏进行控制的过程，都是由移动终端单独来完成的，即采集深度图、确定肢体运动数据、从数据库中获取与肢体运动数据对应的游戏操作指令以及在移动终端的显示界面上控制虚拟角色执行游戏操作指令等过程都是通过移动终端实现的，并不需要借助于其他设备。但是，当用户在实际使用过程中，觉得移动终端的屏幕太小(虽然现在的移动终端显示屏越来越大)，不能实现更好的游戏操控的时候。可以将移动终端与大屏幕显示器通过有线或无线的方式相连，从而可以获取移动终端的显示界面，将移动终端的显示界面投影至显示器上进行显示，该显示器的显示界面比移动终端的显示界面大。即实现了移动终端和大屏幕显示器之间的同步显示，以便用户在大屏幕显示器的显示界面上同时控制虚拟角色执行游戏操作指令。此处的大屏幕显示器可以时家用智能电视或电脑等。将移动终端与大屏幕显示器完美结合，用户不必再拘泥于移动终端屏幕的微小和显示器(家用智能电视或电脑)功能的单一，体验好玩的虚拟游戏内容的同时，享受酷炫的大屏幕效果。

在一个实施例中，如图6所示，还提供了一种虚拟角色控制方法，应用于移动终端，包括：

步骤620，采集用户做出肢体动作时的深度图及用户所发出的音频信号。

在体感游戏中移动终端通过摄像头采集用户在做出肢体动作时的深度图。具体的，该摄像头可以是TOF摄像头、双目摄像头或结构光摄像头等可以捕捉3D图像的摄像头。在用户做出肢体动作的时候，摄像头需要不断地采集用户做出肢体动作时的深度图，以便后续根据多张连续的深度图确定用户在做出肢体动作时的肢体运动数据。

同时，移动终端采集用户所发出的音频信号，具体地，可以是采集用户做出某个肢体动作的时候，所喊出的声音。

步骤640，根据深度图确定用户在做出肢体动作时的肢体运动数据。

根据多张连续的深度图就可以得到用户在做出肢体动作时的肢体运动数据。肢体运动数据是指对从连续拍摄的深度图中所提取的图像数据，再根据3D体感算法确定出用户的肢体运动状况所对应的数据，例如，肢体运动数据主要包括身体动作(扭动或转向等)、头部动作(左右上下摇动等)、脚步动作(前进或后退等)和手势(射击或投掷等)等所对应的数据。例如，从前后几张连续的深度图中的得出的深度数据，得出用户的脚步是向前移动，那么此时得出用户在做出肢体动作时的肢体运动数据是脚步向前移动，且可以得出具体在左前还是右前方向移动。

步骤660，从数据库中获取与肢体运动数据及音频信号对应的游戏操作指令。

数据库中预先存储了肢体运动数据及音频信号与对应的游戏操作指令的对应关系。如此，则就可以直接从数据库中，根据肢体运动数据及音频信号去获取对应的游戏操作指令。例如，数据库中存储了，当用户出现的肢体运动数据为射击动作时，且用户此时发出“最大火力”的声音，则此时虚拟游戏中与该用户对应的虚拟人物手中的武器就发挥最大火力进行射击。所以，当用户出现上述情景时，则从数据库中所获取到的信息就为同时在虚拟游戏中控制与该用户对应的虚拟人物手中的武器就发挥最大火力进行射击。

步骤680，控制虚拟角色执行游戏操作指令。

在上述根据用户的肢体运动数据及音频信号，从数据库中获取了与肢体运动数据及音频信号对应的游戏操作指令之后。移动终端就可以在虚拟游戏中控制与该用户对应的虚拟角色执行该游戏指令。

本申请实施例中，移动终端只根据用户做出肢体动作时的深度图区确定用户的肢体运动数据，再从数据库中根据肢体运动数据获取与肢体运动数据对应的游戏操作指令。最后移动终端再控制虚拟角色执行游戏操作指令。显然，用户在真人CS(CENTER STRIKE)或一些真人游戏中，一般不仅会出现肢体动作，与之同步的语言也对游戏起到非常重要的作用。因此，在采集用户做出肢体动作时的深度图的同时，也采集用户所发出的音频信号，因此，所采集到的用户信息就会更加全面，便于后续更准确地分析用户的行为，从而控制虚拟角色执行相应的游戏操作指令。

在一个实施例中，如图7所示，提供了一种虚拟角色控制装置700，应用于移动终端，包括：深度图采集模块720、肢体运动数据确定模块740、游戏操作指令获取模块760及游戏操作指令执行模块780。其中，

深度图采集模块720，用于采集用户做出肢体动作时的深度图；

肢体运动数据确定模块740，用于根据深度图确定用户在做出肢体动作时的肢体运动数据；

游戏操作指令获取模块760，用于从数据库中获取与肢体运动数据对应的游戏操作指令；

游戏操作指令执行模块780，用于控制虚拟角色执行游戏操作指令。

在一个实施例中，如图8所示，肢体运动数据确定模块740，包括：

三维人物肢体模型构建模块742，根据深度图构建用户的三维人物肢体模型；

肢体特征点识别模块744，从三维人物肢体模型中识别出肢体特征点；

肢体特征点的运动数据确定模块746，根据连续的深度图及三维人物肢体模型中的肢体特征点，确定肢体特征点的运动数据；

肢体运动数据获取模块748，根据肢体特征点的运动数据得出用户在做出肢体动作时的肢体运动数据。

在一个实施例中，肢体特征点的运动数据确定模块746，还用于从连续的深度图中分别获取三维人物肢体模型中的肢体特征点的位置信息；根据三维人物肢体模型中的肢体特征点的位置信息及位置信息对应的时间信息，计算出肢体特征点的运动数据。

在一个实施例中，如图9所示，提供了一种虚拟角色控制装置700，应用于移动终端，还包括：数据库建立模块710，用于预先建立数据库，数据库中存储了肢体运动数据与游戏操作指令的对应关系。

在一个实施例中，游戏操作指令执行模块780，用于获取移动终端的显示界面，显示界面包括虚拟角色；将移动终端的显示界面投影至显示器上进行显示，显示器的显示界面比移动终端的显示界面大；在显示器的显示界面上同时控制虚拟角色执行游戏操作指令。

在一个实施例中，如图10所示，提供了一种虚拟角色控制装置800，应用于移动终端，包括：深度图及音频信号采集模块820、肢体运动数据确定模块840、游戏操作指令获取模块860及游戏操作指令执行模块880。其中，

深度图及音频信号采集模块820，用于采集用户做出肢体动作时的深度图及用户所发出的音频信号；

肢体运动数据确定模块840，用于根据深度图确定用户在做出肢体动作时的肢体运动数据；

游戏操作指令获取模块860，用于从数据库中获取与肢体运动数据及音频信号对应的游戏操作指令；

游戏操作指令执行模块880，用于控制虚拟角色执行游戏操作指令。

上述虚拟角色控制装置中各个模块的划分仅用于举例说明，在其他实施例中，可将虚拟角色控制装置按照需要划分为不同的模块，以完成上述虚拟角色控制装置的全部或部分功能。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的虚拟角色控制方法的步骤。

在一个实施例中，提供了一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例所提供的虚拟角色控制方法的步骤。

本申请实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的虚拟角色控制方法的步骤。

本申请实施例还提供一种移动终端。该移动终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备，以移动终端为手机为例：上述移动终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图11所示，图像处理电路包括第一ISP处理器930、第二ISP处理器940和控制逻辑器950。第一摄像头910包括一个或多个第一透镜912和第一图像传感器914。第一图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器914可获取用第一图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器930处理的一组图像数据。第二摄像头920包括一个或多个第二透镜922和第二图像传感器924。第二图像传感器924可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器924可获取用第二图像传感器924的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器940处理的一组图像数据。

第一摄像头910采集的第一图像传输给第一ISP处理器930进行处理，第一ISP处理器930处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第一摄像头910的控制参数，从而第一摄像头910可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器930进行处理后可存储至图像存储器960中，第一ISP处理器930也可以读取图像存储器960中存储的图像以对进行处理。另外，第一图像经过ISP处理器930进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。

其中，第一ISP处理器930按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器930可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度计算精度进行。

图像存储器960可为存储器装置的一部分、存储设备、或移动终端内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器914接口时，第一ISP处理器930可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器960，以便在被显示之前进行另外的处理。第一ISP处理器930从图像存储器960接收处理数据，并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器930处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器930的输出还可发送给图像存储器960，且显示器970可从图像存储器960读取图像数据。在一个实施例中，图像存储器960可被配置为实现一个或多个帧缓冲器。

第一ISP处理器930确定的统计数据可发送给控制逻辑器950。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜912阴影校正等第一图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头910的控制参数及第一ISP处理器930的控制参数。例如，第一摄像头910的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜912阴影校正参数。

同样地，第二摄像头920采集的第二图像传输给第二ISP处理器940进行处理，第二ISP处理器940处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第二摄像头920的控制参数，从而第二摄像头920可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器940进行处理后可存储至图像存储器960中，第二ISP处理器940也可以读取图像存储器960中存储的图像以对进行处理。另外，第二图像经过ISP处理器940进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。第二摄像头920和第二ISP处理器940也可以实现如第一摄像头910和第一ISP处理器930所描述的处理过程。

以下为运用图11中图像处理技术实现图像处理方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种虚拟角色控制方法，其特征在于，应用于移动终端，包括：

采集用户做出肢体动作时的深度图及所述用户所发出的音频信号；所述深度图为一组连续的深度图；所述音频信号为所述用户在做出所述肢体动作时所发出的音频信号；

根据所述连续的深度图采用骨骼追踪技术构建用户的三维人物肢体模型；所述根据所述连续的深度图采用骨骼追踪技术构建用户的三维人物肢体模型，包括：从所述深度图的前景部分中获取用户的深度数据，再从所述用户的深度数据中提取所述用户各个关节点的三维坐标；将所提取的各个关节点的三维坐标按照人体部位进行分类，生成所述用户的三维人物肢体模型；

从所述三维人物肢体模型中识别出肢体特征点；

根据所述连续的深度图及所述三维人物肢体模型中的肢体特征点，确定所述肢体特征点的运动数据；

根据所述肢体特征点的运动数据得出所述用户在做出所述肢体动作时的肢体运动数据；

从数据库中获取与所述肢体运动数据及所述音频信号对应的游戏操作指令；

控制所述虚拟角色执行所述游戏操作指令。

2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图采用骨骼追踪技术构建用户的三维人物肢体模型，包括：

从所述深度图中识别出前景部分及背景部分；

从所述深度图的前景部分中获取用户的深度数据；

根据所述用户的深度数据构建所述用户的三维人物肢体模型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述连续的深度图及所述三维人物肢体模型中的肢体特征点，确定所述肢体特征点的运动数据，包括：

从所述连续的深度图中分别获取所述三维人物肢体模型中的肢体特征点的位置信息；

根据所述三维人物肢体模型中的肢体特征点的位置信息及所述位置信息对应的时间信息，计算出所述肢体特征点的运动数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先建立所述数据库，所述数据库中存储了所述肢体运动数据与所述游戏操作指令的对应关系。

5.根据权利要求1所述的方法，其特征在于，所述控制所述虚拟角色执行所述游戏操作指令，包括：

获取所述移动终端的显示界面，所述显示界面包括所述虚拟角色；

将所述移动终端的显示界面投影至显示器上进行显示，所述显示器的显示界面比所述移动终端的显示界面大；

在所述显示器的显示界面上同时控制所述虚拟角色执行所述游戏操作指令。

6.根据权利要求1所述的方法，其特征在于，所述根据所述连续的深度图采用骨骼追踪技术构建用户的三维人物肢体模型，包括：

针对所述连续的深度图中的每一张深度图，构建与所述深度图对应的用户的三维人物肢体模型。

7.一种虚拟角色控制装置，其特征在于，应用于移动终端，所述装置包括：

深度图采集模块，用于采集用户做出肢体动作时的深度图及所述用户所发出的音频信号；所述深度图为一组连续的深度图；所述音频信号为所述用户在做出所述肢体动作时所发出的音频信号；

肢体运动数据确定模块，用于根据所述连续的深度图采用骨骼追踪技术构建用户的三维人物肢体模型；所述根据所述连续的深度图采用骨骼追踪技术构建用户的三维人物肢体模型，包括：从所述深度图的前景部分中获取用户的深度数据，再从所述用户的深度数据中提取所述用户各个关节点的三维坐标；将所提取的各个关节点的三维坐标按照人体部位进行分类，生成所述用户的三维人物肢体模型；从所述三维人物肢体模型中识别出肢体特征点；根据所述连续的深度图及所述三维人物肢体模型中的肢体特征点，确定所述肢体特征点的运动数据；根据所述肢体特征点的运动数据得出所述用户在做出所述肢体动作时的肢体运动数据；

游戏操作指令获取模块，用于从数据库中获取与所述肢体运动数据及所述音频信号对应的游戏操作指令；

游戏操作指令执行模块，用于控制所述虚拟角色执行所述游戏操作指令。

8.根据权利要求7所述的装置，其特征在于，所述肢体运动数据确定模块，用于从所述深度图中识别出前景部分及背景部分；从所述深度图的前景部分中获取用户的深度数据；根据所述用户的深度数据构建所述用户的三维人物肢体模型。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的虚拟角色控制方法的步骤。

10.一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的虚拟角色控制方法的步骤。

Images