CN107038455A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理方法及装置，该图像处理方法包括：获取图像处理请求；根据该图像处理请求获取人物的深度图像信息；获取交互界面上预设图像的显示区域和显示时间；根据该深度图像信息、显示区域和显示时间生成该人物的评价信息，从而能较准确的分析出用户在舞蹈过程中的舞蹈节奏感和模仿准确度，方法简单。

Description

一种图像处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法及装置。

背景技术

随着网络应用的不断发展，大型的跳舞类单机游戏和网络游戏逐渐丰富和成熟起来。

早期针对跳舞类游戏的操作方式是通过键盘、鼠标、游戏手柄或跳舞毯，这些人机交互方式只能允许用户通过手指或者脚步的平面运动进行互动，比较简单，局限性较强。近年来在市面上出现了大量的体感类跳舞设备，这种跳舞设备不需要手柄，主要依靠相机捕捉三维空间中玩家的舞蹈动作(即肢体动作)并在大屏幕上显示，从而实现人机交互。由于这种体感式舞蹈游戏的互动方式可使玩家在尽情享受音乐和舞蹈的同时，还能起到减压和减肥的目的，故越来越流行，但是现有技术中，大多数体感式舞蹈游戏仅仅提示玩家在指定的时间点做出指定的动作，通过将玩家在指定时间点的实际动作和指定动作进行比较分析来计算游戏得分，从而容易造成玩家无需连续的进行舞蹈，只需在关键时刻作出指定舞蹈动作即可获得高分的现象产生，导致难以正确评判玩家的舞蹈水平，误差较大。

发明内容

本发明的目的在于提供一种图像处理方法及装置，以解决现有体感游戏系统难以准确评价玩家的舞蹈水平，评价误差较大的技术问题。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种图像处理方法，包括：

获取图像处理请求；

根据所述图像处理请求获取人物的深度图像信息；

获取交互界面上预设图像的显示区域和显示时间；

根据所述深度图像信息、显示区域和显示时间生成所述人物的评价信息。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种图像处理装置，包括：

第一获取模块，用于获取图像处理请求；

第二获取模块，用于根据所述图像处理请求获取人物的深度图像信息；

第三获取模块，用于获取交互界面上预设图像的显示区域和显示时间；

生成模块，用于根据所述深度图像信息、显示区域和显示时间生成所述人物的评价信息。

本发明所述的图像处理方法及装置，通过获取图像处理请求，并根据所述图像处理请求获取人物的深度图像信息，之后，获取交互界面上预设图像的显示区域和显示时间，并根据所述深度图像信息、显示区域和显示时间生成所述人物的评价信息，从而能较准确的分析出用户在舞蹈过程中的舞蹈节奏感和模仿准确度，方法简单。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1为本发明实施例提供的图像处理方法的流程示意图；

图2a为本发明实施例提供的图像处理方法的流程示意图；

图2b为本发明实施例提供的舞蹈游戏过程中交互界面的示意图；

图2c为本发明实施例提供的人体骨骼点的划分示意图；

图2d为本发明实施例提供的人体骨骼的划分示意图；

图3a本发明实施例提供的图像处理装置的结构示意图；

图3b本发明实施例提供的生成模块的结构示意图；

图4本发明实施例提供的终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像处理方法和装置。以下分别进行详细说明。需说明的是，以下实施例的编号并不作为对实施例优选顺序的限定。

第一实施例

本实施例将从图像处理装置的角度进行描述，该图像处理装置具体可以作为独立的实体来实现，也可以集成在其他的设备，比如终端中来实现，该终端具体可以包括手机、平板电脑、笔记本电脑、或个人计算机(PC，Personal Computer)、智能电视、游戏盒子等设备中。

一种图像处理方法，包括：通过获取图像处理请求，并根据该图像处理请求获取人物的深度图像信息，之后，获取交互界面上预设图像的显示区域和显示时间，并根据该深度图像信息、显示区域和显示时间生成该人物的评价信息。

如图1所示，该图像处理方法的具体流程可以如下：

S101、获取图像处理请求。

本实施例中，可以在用户点击交互界面上的某个按键时，比如“开始游戏”按键，生成该图像处理请求。

S102、根据该图像处理请求获取人物的深度图像信息。

本实施例中，该深度图像信息可以是由深度摄像头采集到的图像信息，该深度摄像头可以为体感摄像头等。通常，深度摄像头采集到的图像包括人物图像和背景图像，可以通过背景去除算法从采集到的图像中提取出人物的深度图像信息。

在获取人物的深度图像信息时，具体可以从本地数据库中提取该深度图像信息，实际应用过程中，在接收信息获取请求之前，需要与深度摄像头建立连接，接着，初始化深度摄像头并通过该深度摄像头实时采集当前显示范围内的图像信息，并从该图像信息中提取出人物的深度图像信息，之后将人物的深度图像信息存储在本地数据库中。

S103、获取交互界面上预设图像的显示区域和显示时间。

本实施例中，该预设图像可以是设置好的文字、卡通人物或者光圈等内容，其设置的目的主要用于引导用户进行流畅的舞蹈，而不仅仅是模仿指定动作。该显示时间可以是从舞蹈开始到舞蹈结束这段时间内的任意时间，且为准确评价用户的舞蹈水平，该显示时间可以由多个非连续的时间段组成，每一时间段代表预设图像从出现到消失的时间，相应的，该显示区域可以由多个子区域组成，每一时间段对应一个子区域，也即在一套舞蹈动作中，预设图像可以出现多次，每次出现的时间可以预先设定好。

该显示区域是指该预设图像在交互界面上显示的图像坐标范围，其可以根据实际需求而定，比如，该显示区域的显示方位可以根据舞蹈动作来确定，比如舞蹈动作为举左手时，可以选择用户的左手边作为显示区域。该显示区域相对于用户的显示距离可以根据用户在交互界面中所站的位置来确定，比如，由于用户在游戏中跳舞时，通常是四肢舞动，颈部和身体重心几乎不会移动，为避免该预设图像离用户过远，可将以身体重心为原点，颈部到身体重心的距离为半径画圆所形成的圆形区域作为该显示区域的可选择区域，然后，根据显示方位随机或者按照指定算法从该可选择区域中选择一个子区域作为该显示区域，其中，该子区域的大小可以根据预设图像的显示大小而定，通常可以略大于该预设图像的显示大小。

实际应用过程中，当用户指定了某套舞蹈动作进行舞蹈时，需要根据舞蹈时长预先设置好该预设图像的显示时间，并且，当用户图像首次显示在交互界面上时，可以从该用户图像中获取用户颈部和重心的图像坐标，根据该颈部和重心的图像坐标确定可选择区域，进而从该可选择区域中确定该预设图像的显示区域，当一切提前设定好后，若到达该显示时间，则可以在交互界面的显示区域对该预设图像进行渲染，以使用户根据渲染出的预设图像进行触碰操作。

S104、根据该深度图像信息、显示区域和显示时间生成该人物的评价信息。

本实施例中，该评价信息主要指示用户在当前舞蹈中的舞蹈水平，其可以包括舞蹈评分，以及评定的舞蹈等级等信息，该舞蹈等级可以包括初级、中级和高级等，该舞蹈评分可以为具体的数值，比如70分、80分等。

例如，上述步骤S104具体可以包括：

从该深度图像信息中获取在预设时间生成的第一人物图像集；

从该深度图像信息中获取在该显示时间生成的第二人物图像集；

根据该第一人物图像集、第二人物图像集和显示区域生成该人物的评价信息。

本实施例中，该预设时间可以由多个非连续的时间点组成，该时间点可以根据舞蹈的播放时间而定，比如可以是舞蹈进行到五分之一或三分之一的时间，每个时间点对应一张第一人物图像。该第一人物图像可以是单帧图像，也可以是多帧图像的合集，考虑到很多舞蹈动作并非瞬间就可完成，取单帧图像进行分析难免会造成较大的误差，故每一第一人物图像通常是多帧图像的合集，相应的，该时间点就是多个瞬时时刻的合集，每一瞬时时刻对应一帧图像。每一张第二人物图像也是多帧图像的合集，该显示时间中的每一时间段对应一张第二人物图像。

例如，上述步骤“根据该第一人物图像集、第二人物图像集和显示区域生成该人物的评价信息”具体可以包括：

1-1、根据该第一人物图像集计算相似度。

本实施例中，该相似度指用户的舞蹈动作和模板动作的相似程度，其反映的是用户舞蹈动作的准确度。

例如，上述步骤1-1具体可以包括：

1-1-1、从每一第一人物图像中，获取人物骨骼点的骨骼点坐标。

本实施例中，该骨骼点坐标指骨骼点在人体中的分布位置，通常是三维坐标，可以由深度摄像头来采集人物的骨骼点坐标，具体可以通过深度摄像头上的红外传感器来采集。

1-1-2、获取目标骨骼对应的骨骼点坐标集合、以及第一目标骨骼点对应的目标骨骼点坐标，该目标骨骼由至少两个该人物骨骼点组成。

本实施例中，由于直接利用骨骼点不能有效表达人体的动作，且跳舞主要是四肢运动，故需要先将骨骼点转化为骨骼，然后取人体四肢上的骨骼作为目标骨骼，其中，每一骨骼至少由两个人物骨骼点组成。该第一目标骨骼点可以是人体的质心(重心)对应的骨骼点。

1-1-3、根据该骨骼点坐标集合和目标骨骼点坐标计算相似度。

例如，上述步骤1-1-3具体可以包括：

根据该骨骼点坐标集合和目标骨骼点坐标计算骨骼角度；

计算该骨骼角度与预设角度的差值；

根据该差值计算相似度。

本实施例中，由于人体的动作本质上为各个骨骼的角度，不同身高、体态和胖瘦的人，做相同动作时骨骼的角度基本是相同的，故对于一个特定的舞蹈动作，可以转化成一系列骨骼的骨骼角度，然后根据骨骼角度与预设角度的差值来衡量动作的相似度，通常，差值越小，相似度越高。该预设角度可以基于需对比的模板动作而定，比如可以将需要对比的模板动作转化为骨骼的骨骼角度后，得到的四肢的骨骼角度即为每个目标骨骼的预设角度。

具体的，每一目标骨骼的骨骼角度可以是该目标骨骼上的某个骨骼点与质心对应的骨骼点之间的直线，与该目标骨骼所在的直线之间的夹角，也即，需要从骨骼点坐标集合中选择一个坐标作为顶点坐标，计算该顶点坐标与质心对应的骨骼点坐标之间的第一向量，并从骨骼点坐标集合中任意选择两个骨骼点坐标来计算该骨骼的第二向量，第一向量和第二向量之间的夹角也即该目标骨骼的骨骼角度，之后，计算该骨骼角度与预设角度之间的差值，并根据该差值和该目标骨骼在模板动作中的权重信息计算相似度。该权重信息主要指人体骨骼在指定动作中的重要程度，其可以表现为百分比形式，比如在某个手势动作中，左上肢骨骼的权重信息为70％，右上肢骨骼的权重信息为30％，右下肢和左下肢骨骼的权重信息均为0％，等等。

1-2、显示区域和第二人物图像集计算基本分值，该基本分值为该人物触碰该预设图像所得的分值。

例如，上述步骤1-2具体可以包括：

1-2-1、从每一第二人物图像中，获取人物骨骼点在该交互界面上的图像坐标。

本实施例中，可以先由深度摄像头来采集人物的骨骼点坐标，然后将三维的骨骼点坐标转化为二维的图像坐标。

1-2-2、获取第二目标骨骼点对应的图像坐标，得到目标图像坐标。

本实施例中，该第二目标骨骼点可以根据实际需求而定，比如可以是手、脚这些部位对应的骨骼点，通常，为便于触碰操作，可以选择手对应的骨骼点作为第二目标骨骼点。

1-2-3、根据该目标图像坐标和显示区域计算该人物的基本分值。

本实施例中，上述步骤1-2-3具体可以包括：

判断该第二人物图像集中是否存在目标图像坐标位于该显示区域内的第二人物图像；

若存在，则获取所有目标图像坐标位于该显示区域内的第二人物图像的生成时间；

根据获取的所有生成时间计算该人物的基本分值。

本实施例中，若第二目标骨骼点的目标图像坐标位于显示区域内，则说明人的指定部位触碰到了该预设图像，若不位于显示区域内，则说明人的指定部位未触碰到该预设图像。

需要解释的是，由于每次预设图像出现时，都需要获取一张第二人物图像以判断用户是否触碰到该预设图像，进而计算触碰得分，而每次预设图像从出现到消失并非是瞬时的，而是一个时间段，故每一张第二人物图像是该时间段内多帧图像的合集，并且由于人类的触碰操作从开始到结束也需要一定的反应时间，故每一张第二人物图像中可能存在至少两帧图像的目标图像坐标均位于显示区域内的情况，也即存在至少两帧图像符合条件，为此，需要从符合条件的这些图像帧中选出生成时间最早的图像帧，也即用户的指定部位最早触碰到该预设图像的时间，并根据该最早生成时间计算用户在该舞蹈中的基本分值。

例如，上述步骤“根据获取的所有生成时间计算该人物的基本分值”具体可以包括：

根据获取的每一生成时间查找对应的预设生效时间段；

根据该预设生效时间段查找对应的预设分值；

将获取的每一生成时间对应的预设分值累计相加，得到该人物的基本分值。

本实施例中，该预设分值可以根据实际需求而定，比如可以是10分、30分等。该预设生效时间段主要用于检测用户在舞蹈过程中触碰预设图像的反映速度，预设生效时间段的时间越早，代表反映速度越快，节奏感越好。具体的，该预设生效时间段可以根据预设图像的显示时间而定，比如可以将预设图像每次出现的显示时间划分成多个区间，每个区间就是一个预设生效时间段，每个预设生效时间段对应一个预设分值，并且，预设生效时间段的时间越早，对应的预设分值也应设置的越高。由于在一套舞蹈动作中，预设图像会多次出现，在计算出每次出现时用户得到的预设分值时，可以将所有预设分值累计相加，得到的总分值即为用户在这套舞蹈动作中的基本分值。

1-3、根据该基本分值和相似度生成该人物的评价信息。

例如，上述步骤1-3具体可以包括：

计算该基本分值和相似度之间的乘积，得到总分值；

根据该总分值生成该人物的评价信息。

本实施例中，由于基本分值主要针对的是用户的节奏感，并不反映用户舞蹈动作的准确度，故若需要评价用户的舞蹈水平，还需结合准确度，也即需要根据基本分值和相似度一起来评价。具体的，可以将基本分值乘以相似度，得到的乘积即为该用户此次舞蹈的评分，之后，可以根据该评分确定对应的舞蹈等级，比如70分对应中级，90分对应高级等等，并可以将评分和舞蹈等级等信息作为评价信息显示在交互界面中。

由上述可知，本实施例提供的图像处理方法，通过获取图像处理请求，并根据该图像处理请求获取人物的深度图像信息，之后，获取交互界面上预设图像的显示区域和显示时间，并根据该深度图像信息、显示区域和显示时间生成该人物的评价信息，从而能较准确的分析出用户在舞蹈过程中的舞蹈节奏感和模仿准确度，方法简单。

第二实施例

根据实施例一所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以图像处理装置集成在终端中为例进行详细说明。

如图2a所示，一种图像处理方法，具体流程可以如下：

S201、终端获取图像处理请求。

譬如，终端可以在用户点击交互界面上的某个按键，比如“开始游戏”按键时，生成该图像处理请求。

S202、终端根据该图像处理请求获取人物的深度图像信息。

譬如，可以根据图像处理请求从本地数据库中获取该深度图像信息，该深度图像信息可以是由终端连接的深度摄像头采集到的，具体的，深度摄像头可以实时获取当前拍摄区域的图像信息，并从该图像信息中提取出人物的深度图像信息，之后将人物的深度图像信息存储在本地数据库中。

S203、终端获取交互界面上预设图像的显示区域和显示时间。

譬如，如图2b所示，该预设图像可以是光圈特效，该显示区域可以是{A₁、A₂…A_n}，相应的，该显示时间可以由n个非连续的时间段组成，每一时间段代表预设图像从出现到消失的时间。

S204、终端从该深度图像信息中获取在预设时间生成的第一人物图像集，从该深度图像信息中获取在该显示时间生成的第二人物图像集。

譬如，该预设时间可以由多个非连续的时间点组成，该时间点可以根据舞蹈的播放时间而定，比如可以是舞蹈进行到五分之一或三分之一的时间。该第一人物图像集主要用于评价用户在舞蹈过程中模仿指定舞蹈动作的准确度，该第二人物图像集主要用于评价用户在舞蹈过程中触碰光圈特效的反应速度，也即舞蹈节奏感。

S205、终端从每一第一人物图像中，获取人物骨骼点的骨骼点坐标。

譬如，通常可将人体划分成15个骨骼点，每一骨骼点的大致分布请参见图2c，该骨骼点坐标可以以人体的质心对应的骨骼点T₁为参考点，根据该参考点建立坐标系。

S206、终端获取目标骨骼对应的骨骼点坐标集合、以及第一目标骨骼点对应的目标骨骼点坐标，该目标骨骼由至少两个该人物骨骼点组成。

譬如，请参见图2d，可以将人体四肢转化为8个主要的骨骼{B₁、B₂…B₈},也即目标骨骼，每一目标骨骼的骨骼点坐标集合由两个人物骨骼点坐标组成，该人物骨骼点坐标为三维坐标。该第一目标骨骼点可以是质心对应的骨骼点T₁。

S207、终端根据该骨骼点坐标集合和目标骨骼点坐标计算骨骼角度，并计算该骨骼角度与预设角度的差值。

譬如，可以从目标骨骼B_i所包括的两个骨骼点坐标中选择一个作为顶点坐标b1，计算该顶点坐标b1与T₁之间的第一向量，并根据目标骨骼B_i所包括的两个骨骼点坐标计算第二向量，第一向量和第二向量之间的夹角即为骨骼角度θ_i，i∈(1，2…8)。

S208、终端根据该差值计算相似度。

譬如，预设角度为Φ_i，可以计算(θ_i-Φ_i)²的值，并获取每个目标骨骼B_i对应的权重比例k_j，其中，j∈(1，2…8)，k_j的总和为1，比如在某个手势动作中，左上肢骨骼的权重信息为70％，右上肢骨骼的权重信息为30％，右下肢和左下肢骨骼的权重信息均为0％，等等。之后，计算k_j*(θ_i-Φ_i)²，并对k_j*(θ_i-Φ_i)²进行求和并开根号，得到相似度。

S209、终端从每一第二人物图像中，获取人物骨骼点在该交互界面上的图像坐标。

譬如，可以先由深度摄像头来采集人物的骨骼点坐标，然后将三维的骨骼点坐标转化为二维的图像坐标。

S210、终端获取第二目标骨骼点对应的图像坐标，得到目标图像坐标。

譬如，可以选择左手对应的骨骼点作为第二目标骨骼点T₂，并获取T₂对应的图像坐标，该图像坐标为二维坐标。

S211、终端判断该第二人物图像集中是否存在目标图像坐标位于该显示区域内的第二人物图像，若存在，则执行下述步骤S212，若不存在，则将基本分值设为零。

譬如，对于显示区域{A₁、A₂…A_n}，该第二人物图像集可以包括{P₁、P₂…P_n}，可以判断P_k的目标图像坐标是否位于对应A_q中，其中，q∈(1，2…n)，若是，则获取P_q的生成时间。

S212、终端获取所有目标图像坐标位于该显示区域内的第二人物图像的生成时间，并根据获取的每一生成时间查找对应的预设生效时间段。

譬如，可以获取所有P_q的生成时间，并根据每一生成时间确定对应的预设生效时间段。

S213、终端根据该预设生效时间段查找对应的预设分值，并将获取的每一生成时间对应的预设分值累计相加，得到该人物的基本分值。

譬如，根据P₁的预设生效时间段获取到的预设分值为8分，根据P₃的预设生效时间段获取到的预设分值为10分，等等，之后，可以将所有P_q的生成时间对应的预设分值累计相加，得到的总分值即为基本分值。

S214、终端计算该基本分值和相似度之间的乘积，得到总分值，并根据该总分值生成该人物的评价信息。

譬如，若累计相加出的分数为80分，则对应的舞蹈等级为中级，则生成的评价信息包括80分和中级等信息。

由上述可知，本实施例提供的图像处理方法，其中终端可以获取图像处理请求，并根据该图像处理请求获取人物的深度图像信息，接着，获取交互界面上预设图像的显示区域和显示时间，并从该深度图像信息中获取在预设时间生成的第一人物图像集，从该深度图像信息中获取在该显示时间生成的第二人物图像集，之后，从每一第一人物图像中，获取人物骨骼点的骨骼点坐标，并获取目标骨骼对应的骨骼点坐标集合、以及第一目标骨骼点对应的目标骨骼点坐标，该目标骨骼由至少两个该人物骨骼点组成，接着，根据该骨骼点坐标集合和目标骨骼点坐标计算骨骼角度，并计算该骨骼角度与预设角度的差值，根据该差值计算相似度，也即用户针对关键帧动作的模仿准确度，同时，从每一第二人物图像中，获取人物骨骼点在该交互界面上的图像坐标，并获取第二目标骨骼点对应的图像坐标，得到目标图像坐标，接着，判断该第二人物图像集中是否存在目标图像坐标位于该显示区域内的第二人物图像，若存在，则获取所有目标图像坐标位于该显示区域内的第二人物图像的生成时间，并根据获取的每一生成时间查找对应的预设生效时间段，根据该预设生效时间段查找对应的预设分值，若不存在，则将基本分值设为零，之后，将获取的每一生成时间对应的预设分值累计相加，得到该人物的基本分值，也即用户触碰预设图像所得的分值，最后，计算该基本分值和相似度之间的乘积，得到总分值，并根据该总分值生成该人物的评价信息，从而能结合指定渲染图像的触碰情况和关键帧动作的模仿情况较准确的分析出用户在舞蹈过程中的舞蹈节奏感和模仿准确度，方法简单，准确度高。

第三实施例

根据实施例一和实施例二所描述的方法，本实施例将从图像处理装置的角度进一步进行描述，该图像处理装置可以集成在终端中。

请参阅图3a，图3a具体描述了本发明第三实施例提供的图像处理装置，其可以包括：第一获取模块10、第二获取模块20、第三获取模块30和生成模块40，其中：

(1)第一获取模块10

第一获取模块10，用于获取图像处理请求。

本实施例中，终端可以在用户点击交互界面上的某个按键时，比如“开始游戏”按键，生成该图像处理请求。

(2)第二获取模块20

第二获取模块20，用于根据该图像处理请求获取人物的深度图像信息。

本实施例中，该深度图像信息可以是由深度摄像头采集到的图像信息，该深度摄像头可以为体感摄像头等。通常，深度摄像头采集到的图像包括人物图像和背景图像，可以通过背景去除算法从采集到的图像中提取出人物的深度图像信息。

在获取人物的深度图像信息时，第二获取模块20具体可以从本地数据库中提取该深度图像信息，实际应用过程中，在接收信息获取请求之前，终端需要与深度摄像头建立连接，接着，初始化深度摄像头并通过该深度摄像头实时采集当前显示范围内的图像信息，并从该图像信息中提取出人物的深度图像信息，之后将人物的深度图像信息存储在本地数据库中。

(3)第三获取模块30

第三获取模块30，用于获取交互界面上预设图像的显示区域和显示时间。

本实施例中，该预设图像可以是设置好的文字、卡通人物或者光圈等内容，其设置的目的主要用于引导用户进行流畅的舞蹈，而不仅仅是模仿指定动作。该显示时间可以是从舞蹈开始到舞蹈结束这段时间内的任意时间，且为准确评价用户的舞蹈水平，该显示时间可以由多个非连续的时间段组成，每一时间段代表预设图像从出现到消失的时间，相应的，该显示区域可以由多个子区域组成，每一时间段对应一个子区域，也即在一套舞蹈动作中，预设图像可以出现多次，每次出现的时间可以预先设定好。

该显示区域是指该预设图像在交互界面上显示的图像坐标范围，其可以根据实际需求而定，比如，该显示区域的显示方位可以根据舞蹈动作来确定，比如舞蹈动作为举左手时，可以选择用户的左手边作为显示区域。该显示区域相对于用户的显示距离可以根据用户在交互界面中所站的位置来确定，比如，由于用户在游戏中跳舞时，通常是四肢舞动，颈部和身体重心几乎不会移动，为避免该预设图像离用户过远，可将以身体重心为原点，颈部到身体重心的距离为半径画圆所形成的圆形区域作为该显示区域的可选择区域，然后，根据显示方位随机或者按照指定算法从该可选择区域中选择一个子区域作为该显示区域，其中，该子区域的大小可以根据预设图像的显示大小而定，通常可以略大于该预设图像的显示大小。

实际应用过程中，当用户指定了某套舞蹈动作进行舞蹈时，需要根据舞蹈时长预先设置好该预设图像的显示时间，并且，当用户图像首次显示在交互界面上时，可以从该用户图像中获取用户颈部和重心的图像坐标，根据该颈部和重心的图像坐标确定可选择区域，进而从该可选择区域中确定该预设图像的显示区域，当一切提前设定好后，若到达该显示时间，则可以在交互界面的显示区域对该预设图像进行渲染，以使用户根据渲染出的预设图像进行触碰操作。

(4)生成模块40

生成模块40，用于根据该深度图像信息、显示区域和显示时间生成该人物的评价信息。

本实施例中，该评价信息主要指示用户在当前舞蹈中的舞蹈水平，其可以包括舞蹈评分，以及评定的舞蹈等级等信息，该舞蹈等级可以包括初级、中级和高级等，该舞蹈评分可以为具体的数值，比如70分、80分等。

例如，请参阅图3b，该生成模块40具体可以包括第一获取子模块41、第二获取子模块42和生成子模块43，其中：

第一获取子模块41，用于从该深度图像信息中获取在预设时间生成的第一人物图像集；

第二获取子模块42，用于从该深度图像信息中获取在该显示时间生成的第二人物图像集；

生成子模块43，用于根据该第一人物图像集、第二人物图像集和显示区域生成该人物的评价信息。

本实施例中，该预设时间可以由多个非连续的时间点组成，该时间点可以根据舞蹈的播放时间而定，比如可以是舞蹈进行到五分之一或三分之一的时间，每个时间点对应一张第一人物图像。该第一人物图像可以是单帧图像，也可以是多帧图像的合集，考虑到很多舞蹈动作并非瞬间就可完成，取单帧图像进行分析难免会造成较大的误差，故每一第一人物图像通常是多帧图像的合集，相应的，该时间点就是多个瞬时时刻的合集，每一瞬时时刻对应一帧图像。每一张第二人物图像也是多帧图像的合集，该显示时间中的每一时间段对应一张第二人物图像。

例如，该生成子模块43具体可以包括第一计算单元431、第二计算单元432和生成单元433，其中：

第一计算单元431，用于根据该第一人物图像集计算相似度。

本实施例中，该相似度指用户的舞蹈动作和模板动作的相似程度，其反映的是用户舞蹈动作的准确度。

例如，该第一计算单元431具体可以用于：

从每一第一人物图像中，获取人物骨骼点的骨骼点坐标；

获取目标骨骼对应的骨骼点坐标集合、以及第一目标骨骼点对应的目标骨骼点坐标，该目标骨骼由至少两个该人物骨骼点组成；

根据该骨骼点坐标集合和目标骨骼点坐标计算相似度。

本实施例中，第一计算单元431需要先将骨骼点转化为骨骼，然后取人体四肢上的骨骼作为目标骨骼，其中，每一骨骼至少由两个人物骨骼点组成。该第一目标骨骼点可以是人体的质心(重心)对应的骨骼点。

进一步地，该第一计算单元431具体可以用于：

根据该骨骼点坐标集合和目标骨骼点坐标计算骨骼角度；

计算该骨骼角度与预设角度的差值；

根据该差值计算相似度。

本实施例中，由于人体的动作本质上为各个骨骼的角度，不同身高、体态和胖瘦的人，做相同动作时骨骼的角度基本是相同的，故对于一个特定的舞蹈动作，可以转化成一系列骨骼的骨骼角度，然后根据骨骼角度与预设角度的差值来衡量动作的相似度，通常，差值越小，相似度越高。该预设角度可以基于需对比的模板动作而定，比如可以将需要对比的模板动作转化为骨骼的骨骼角度后，得到的四肢的骨骼角度即为每个目标骨骼的预设角度。

具体的，每一目标骨骼的骨骼角度可以是该目标骨骼上的某个骨骼点与质心对应的骨骼点之间的直线，与该目标骨骼所在的直线之间的夹角，也即，第一计算单元431需要从骨骼点坐标集合中选择一个坐标作为顶点坐标，计算该顶点坐标与质心对应的骨骼点坐标之间的第一向量，并从骨骼点坐标集合中任意选择两个骨骼点坐标来计算该骨骼的第二向量，第一向量和第二向量之间的夹角也即该目标骨骼的骨骼角度，之后，计算该骨骼角度与预设角度之间的差值，并根据该差值和该目标骨骼在模板动作中的权重信息计算相似度。该权重信息主要指人体骨骼在指定动作中的重要程度，其可以表现为百分比形式，比如在某个手势动作中，左上肢骨骼的权重信息为70％，右上肢骨骼的权重信息为30％，右下肢和左下肢骨骼的权重信息均为0％，等等。

第二计算单元432，用于根据该显示区域和第二人物图像集计算基本分值，该基本分值为该人物触碰该预设图像所得的分值。

例如，该第二计算单元432具体可以用于：

从每一第二人物图像中，获取人物骨骼点在该交互界面上的图像坐标；

获取第二目标骨骼点对应的图像坐标，得到目标图像坐标；

根据该目标图像坐标和显示区域计算该人物的基本分值。

本实施例中，第二计算单元432可以先由深度摄像头来采集人物的骨骼点坐标，然后将三维的骨骼点坐标转化为二维的图像坐标。该第二目标骨骼点可以根据实际需求而定，比如可以是手、脚这些部位对应的骨骼点，通常，为便于触碰操作，可以选择手对应的骨骼点作为第二目标骨骼点。

进一步地，该第二计算单元432具体可以用于：

判断该第二人物图像集中是否存在目标图像坐标位于该显示区域内的第二人物图像；

若存在，则获取所有目标图像坐标位于该显示区域内的第二人物图像的生成时间；

根据获取的所有生成时间计算该人物的基本分值。

本实施例中，若第二目标骨骼点的目标图像坐标位于显示区域内，则说明人的指定部位触碰到了该预设图像，若不位于显示区域内，则说明人的指定部位未触碰到该预设图像。

需要解释的是，由于每次预设图像出现时，都需要获取一张第二人物图像以判断用户是否触碰到该预设图像，进而计算触碰得分，而每次预设图像从出现到消失并非是瞬时的，而是一个时间段，故每一张第二人物图像是该时间段内多帧图像的合集，并且由于人类的触碰操作从开始到结束也需要一定的反应时间，故每一张第二人物图像中可能存在至少两帧图像的目标图像坐标均位于显示区域内的情况，也即存在至少两帧图像符合条件，为此，第二计算单元432需要从符合条件的这些图像帧中选出生成时间最早的图像帧，也即用户的指定部位最早触碰到该预设图像的时间，并根据该最早生成时间计算用户在该舞蹈中的基本分值。

进一步地，该第二计算单元432具体可以用于：

根据获取的每一生成时间查找对应的预设生效时间段；

根据该预设生效时间段查找对应的预设分值；

将获取的每一生成时间对应的预设分值累计相加，得到该人物的基本分值。

本实施例中，该预设分值可以根据实际需求而定，比如可以是10分、30分等。该预设生效时间段主要用于检测用户在舞蹈过程中触碰预设图像的反映速度，预设生效时间段的时间越早，代表反映速度越快，节奏感越好。具体的，该预设生效时间段可以根据预设图像的显示时间而定，比如可以将预设图像每次出现的显示时间划分成多个区间，每个区间就是一个预设生效时间段，每个预设生效时间段对应一个预设分值，并且，预设生效时间段的时间越早，对应的预设分值也应设置的越高。由于在一套舞蹈动作中，预设图像会多次出现，第二计算单元432在计算出每次出现时用户得到的预设分值时，可以将所有预设分值累计相加，得到的总分值即为用户在这套舞蹈动作中的基本分值。

生成单元433，用于根据该基本分值和相似度生成该人物的评价信息。

例如，该生成单元433具体可以用于：

计算该基本分值和相似度之间的乘积，得到总分值；

根据该总分值生成该人物的评价信息。

本实施例中，由于基本分值主要针对的是用户的节奏感，并不反映用户舞蹈动作的准确度，故若需要评价用户的舞蹈水平，还需结合准确度，也即需要根据基本分值和相似度一起来评价。具体的，可以将基本分值乘以相似度，得到的乘积即为该用户此次舞蹈的评分，之后，可以根据该评分确定对应的舞蹈等级，比如70分对应中级，90分对应高级等等，并可以将评分和舞蹈等级等信息作为评价信息显示在交互界面中。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上述可知，本实施例提供的图像处理装置，通过第一获取模块10获取图像处理请求，第二获取模块20根据该图像处理请求获取人物的深度图像信息，之后，第三获取模块30获取交互界面上预设图像的显示区域和显示时间，生成模块400根据该深度图像信息、显示区域和显示时间生成该人物的评价信息，从而能较准确的分析出用户在舞蹈过程中的舞蹈节奏感和模仿准确度，方法简单。

第四实施例

相应的，本发明实施例还提供一种图像处理系统，包括本发明实施例所提供的任一种图像处理装置，该图像处理装置可以集成在终端中。

其中，终端获取图像处理请求；根据该图像处理请求获取人物的深度图像信息；获取交互界面上预设图像的显示区域和显示时间；根据该深度图像信息、显示区域和显示时间生成该人物的评价信息

以上各个设备的具体实施可参见前面的实施例，在此不再赘述。

由于该路况信息的生成系统可以包括本发明实施例所提供的任一种图像处理装置，因此，可以实现本发明实施例所提供的任一种图像处理装置所能实现的有益效果，详见前面的实施例，在此不再赘述。

第五实施例

相应的，本发明实施例还提供一种终端，如图4所示，该终端可以包括射频(RF，Radio Frequency)电路501、包括有一个或一个以上计算机可读存储介质的存储器502、输入单元503、显示单元504、传感器505、音频电路506、无线保真(WiFi，Wireless Fidelity)模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路501可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器508处理；另外，将涉及上行的数据发送给基站。通常，RF电路501包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路501还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。

存储器502可用于存储软件程序以及模块，处理器508通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器508和输入单元503对存储器502的访问。

输入单元503可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元503可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器508，并能接收处理器508发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元503还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元504可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元504可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器508以确定触摸事件的类型，随后处理器508根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

终端还可包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路506、扬声器，传声器可提供用户与终端之间的音频接口。音频电路506可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路506接收后转换为音频数据，再将音频数据输出处理器508处理后，经RF电路501以发送给比如另一终端，或者将音频数据输出至存储器502以便进一步处理。音频电路506还可能包括耳塞插孔，以提供外设耳机与终端的通信。

WiFi属于短距离无线传输技术，终端通过WiFi模块507可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块507，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器508是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器508可包括一个或多个处理核心；优选的，处理器508可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器508中。

终端还包括给各个部件供电的电源509(比如电池)，优选的，电源可以通过电源管理系统与处理器508逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源509还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器508会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器508来运行存储在存储器502中的应用程序，从而实现各种功能：

获取图像处理请求；

根据该图像处理请求获取人物的深度图像信息；

获取交互界面上预设图像的显示区域和显示时间；

根据该深度图像信息、显示区域和显示时间生成该人物的评价信息。

该终端可以实现本发明实施例所提供的任一种图像处理装置所能实现的有效效果，详见前面的实施例，在此不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种图像处理方法、装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

获取图像处理请求；

根据所述图像处理请求获取人物的深度图像信息；

获取交互界面上预设图像的显示区域和显示时间；

根据所述深度图像信息、显示区域和显示时间生成所述人物的评价信息。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述深度图像信息、显示区域和显示时间生成所述人物的评价信息，包括：

从所述深度图像信息中获取在预设时间生成的第一人物图像集；

从所述深度图像信息中获取在所述显示时间生成的第二人物图像集；

根据所述第一人物图像集、第二人物图像集和显示区域生成所述人物的评价信息。

3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第一人物图像集、第二人物图像集和显示区域生成所述人物的评价信息，包括：

根据所述第一人物图像集计算相似度；

根据所述显示区域和第二人物图像集计算基本分值，所述基本分值为所述人物触碰所述预设图像所得的分值；

根据所述基本分值和相似度生成所述人物的评价信息。

4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述显示区域和第二人物图像集计算所述人物的基本分值，包括:

从每一第二人物图像中，获取人物骨骼点在所述交互界面上的图像坐标；

获取第二目标骨骼点对应的图像坐标，得到目标图像坐标；

根据所述目标图像坐标和显示区域计算所述人物的基本分值。

5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述目标图像坐标和显示区域计算所述人物的基本分值，包括：

判断所述第二人物图像集中是否存在目标图像坐标位于所述显示区域内的第二人物图像；

若存在，则获取所有目标图像坐标位于所述显示区域内的第二人物图像的生成时间；

根据获取的所有生成时间计算所述人物的基本分值。

6.根据权利要求5所述的图像处理方法，其特征在于，所述根据获取的所有生成时间计算所述人物的基本分值，包括：

根据获取的每一生成时间查找对应的预设生效时间段；

根据所述预设生效时间段查找对应的预设分值；

将获取的每一生成时间对应的预设分值累计相加，得到所述人物的基本分值。

7.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述第一人物图像集计算相似度，包括：

从每一第一人物图像中，获取人物骨骼点的骨骼点坐标；

获取目标骨骼对应的骨骼点坐标集合、以及第一目标骨骼点对应的目标骨骼点坐标，所述目标骨骼由至少两个所述人物骨骼点组成；

根据所述骨骼点坐标集合和目标骨骼点坐标计算相似度。

8.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述骨骼点坐标集合和目标骨骼点坐标计算相似度，包括：

根据所述骨骼点坐标集合和目标骨骼点坐标计算骨骼角度；

计算所述骨骼角度与预设角度的差值；

根据所述差值计算相似度。

9.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述基本分值和相似度生成所述人物的评价信息，包括：

计算所述基本分值和相似度之间的乘积，得到总分值；

根据所述总分值生成所述人物的评价信息。

10.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取图像处理请求；

第二获取模块，用于根据所述图像处理请求获取人物的深度图像信息；

第三获取模块，用于获取交互界面上预设图像的显示区域和显示时间；

生成模块，用于根据所述深度图像信息、显示区域和显示时间生成所述人物的评价信息。

11.根据权利要求10所述的图像处理装置，其特征在于，所述生成模块包括：

第一获取子模块，用于从所述深度图像信息中获取在预设时间生成的第一人物图像集；

第二获取子模块，用于从所述深度图像信息中获取在所述显示时间生成的第二人物图像集；

生成子模块，用于根据所述第一人物图像集、第二人物图像集和显示区域生成所述人物的评价信息。

12.根据权利要求11所述的图像处理装置，其特征在于，所述生成子模块包括：

第一计算单元，用于根据所述第一人物图像集计算相似度；

第二计算单元，用于根据所述显示区域和第二人物图像集计算基本分值，所述基本分值为所述人物触碰所述预设图像所得的分值；

生成单元，用于根据所述基本分值和相似度生成所述人物的评价信息。

13.根据权利要求12所述的图像处理装置，其特征在于，所述第二计算单元用于：

从每一第二人物图像中，获取人物骨骼点在所述交互界面上的图像坐标；

获取第二目标骨骼点对应的图像坐标，得到目标图像坐标；

根据所述目标图像坐标和显示区域计算所述人物的基本分值。

14.根据权利要求13所述的图像处理装置，其特征在于，所述第二计算单元用于：

判断所述第二人物图像集中是否存在目标图像坐标位于所述显示区域内的第二人物图像；

若存在，则获取所有目标图像坐标位于所述显示区域内的第二人物图像的生成时间；

根据获取的所有生成时间计算所述人物的基本分值。

15.根据权利要求14所述的图像处理装置，其特征在于，所述第二计算单元用于：

根据获取的每一生成时间查找对应的预设生效时间段；

根据所述预设生效时间段查找对应的预设分值；

将获取的每一生成时间对应的预设分值累计相加，得到所述人物的基本分值。

16.根据权利要求12所述的图像处理装置，其特征在于，所述第一计算单元用于：

从每一第一人物图像中，获取人物骨骼点的骨骼点坐标；

获取目标骨骼对应的骨骼点坐标集合、以及第一目标骨骼点对应的目标骨骼点坐标，所述目标骨骼由至少两个所述人物骨骼点组成；

根据所述骨骼点坐标集合和目标骨骼点坐标计算相似度。

17.根据权利要求16所述的图像处理装置，其特征在于，所述第一计算单元用于：

根据所述骨骼点坐标集合和目标骨骼点坐标计算骨骼角度；

计算所述骨骼角度与预设角度的差值；

根据所述差值计算相似度。

18.根据权利要求12所述的图像处理装置，其特征在于，所述生成单元用于：

计算所述基本分值和相似度之间的乘积，得到总分值；

根据所述总分值生成所述人物的评价信息。