CN111626168B - 手势识别方法、装置、设备和介质 - Google Patents

Abstract

本申请公开了手势识别方法、装置、设备和介质。该方法包括：在所获取的包含目标手部的第一图像中，确定表征目标手部的中心位置的种子点；基于种子点，从所获取的包含目标手部的第二图像中分割出目标手部区域，并从目标手部区域中分割出手掌区域；对手掌区域对目标手部区域进行差分处理，得到手指区域；在预设的手势模板集合中，确定与手指区域相匹配的目标手势模板，从而得到手势识别结果。根据本申请实施例提供的手势识别方案，可以提高手势识别的准确率。

Description

手势识别方法、装置、设备和介质

技术领域

本申请涉及通信领域，尤其涉及手势识别方法、装置、设备和介质。

背景技术

随着社会的发展，人机交互(Human Computer Interaction，HCI)技术也愈受重视。手势识别是人机交互的一个重要手段，用户的不同手势可以代表着不同人机交互信息。

图像处理方法是手势识别的重要途径之一。现阶段，往往需要将采集的图片输入机器识别模型进行手势识别，识别准确率较低。

发明内容

本申请实施例提供的手势识别方法、装置、设备和介质，可以提高手势识别的准确率。

第一方面，提供一种手势识别方法，包括：在所获取的包含目标手部的第一图像中，确定表征目标手部的中心位置的种子点；基于种子点，从所获取的包含目标手部的第二图像中分割出目标手部区域，并从目标手部区域中分割出手掌区域；对手掌区域对目标手部区域进行差分处理，得到手指区域；在预设的手势模板集合中，确定与手指区域相匹配的目标手势模板，得到手势识别结果。

在一种可选的实施方式中，基于种子点，从包含目标手部的第二图像中分割出目标手部区域，包括：在第二图像中，确定一个包含种子点的第一连通区域，其中，第一连通区域内像素的像素值与种子点的像素值的差值在预设取值范围内；从第二图像中，分割出第一连通区域，并将分割出的目标连通区域作为目标手部区域。

在一种可选的实施方式中，从目标手部区域中分割出手掌区域，包括：在待处理手部区域中，确定目标圆，目标圆是候选圆中的最大圆，其中，候选圆以种子点为圆心、且候选圆内所有像素的像素值均大于第二预设阈值；利用目标圆对目标手部区域进行形态学腐蚀操作，得到手掌区域。

在一种可选的实施方式中，在所获取的包含目标手部的待处理图像中，确定表征目标手部的中心位置的种子点，包括：获取目标手部区域中每个像素点与目标手部区域的边界的最小距离；确定每个像素点对应的最小距离中的最大值，将最大值对应的像素点选取为种子点。

在一种可选的实施方式中，手势模板集合包括多个手势模板组，每个手势模板组中的手势具有同一手势含义；在预设的手势模板集合中，确定与手指区域相匹配的目标手势模板，得到手势识别结果，包括：基于手指区域的连通子区域的数量，确定与目标手部对应的手势模板组；若仅对应一个手势模板组，则将对应的手势模板组的手势含义作为手势识别结果。

在一种可选的实施方式中，手势模板集合包括多组手势模板，每组手势模板中的手势样本图像具有同一手势含义；在预设的手势模板集合中，确定与手指区域相匹配的目标手势模板，得到手势识别结果，包括：若对应多个手势模板组，获取N组评估数据，其中，每一组评估数据中包括对应的多个手势模板组中每一手势模板组的多个手势样本图像的距离参数，每一手势样本图像的距离参数表征每一手势样本图像与手指区域的距离；针对每一组评估数据，确定每一组评估数据所包含的距离参数中的最小距离参数，将最小距离参数对应的手势模板组选定为目标手势模板组；在N 组评估参数的模板手势模板组中，将被选定为目标手势模板组次数最多的手势模板组，选定为最优手势模板组；若最优手势模板组被选定为目标手势模板组的次数大于等于预设阈值，将最优手势模板组的手势含义作为手势识别结果。

在一种可选的实施方式中，方法还包括：若最优手势模板组被选定为目标手势模板组的次数小于预设阈值，计算对应多个手势模板组中每一手势模板组的成本；将对应多个手势模板组中成本最低的手势模板组的手势含义作为手势识别结果。

在一种可选的实施方式中，手势样本图像包括多个超级像素点；获取N组评估数据，包括：获取N组待评估样本图像，其中，每一组待评估样本图像中包括对应的多个手势模板组中每一手势模板组的多个手势样本图像；针对每一组待评估样本图像中每一个手势样本图像，基于手指区域的多个超级像素点的位置信息和每一个手势样本图像的多个超级像素点的位置信息，计算每一个手势样本图像的距离参数；将每一组待评估样本图像的手势样本图像的距离参数作为一组评估数据，得到N组评估数据。

第二方面，提供一种手势识别装置，包括：种子点确定模块，用于在所获取的包含目标手部的第一图像中，确定表征目标手部的中心位置的种子点；第一图像分割模块，用于基于种子点从所获取的包含目标手部的第二图像中分割出目标手部区域，并从目标手部区域中分割出手掌区域；第二图像分割模块，用于对手掌区域对目标手部区域进行差分处理，得到手指区域；手势识别模块，用于在预设的手势模板集合中，确定与手指区域相匹配的目标手势模板，得到手势识别结果。

第三方面，提供一种手势识别设备，包括：存储器，用于存储程序；处理器，用于运行存储器中存储的程序，以执行第一方面或第一方面的任一可选的实施方式提供的手势识别方法。

第四方面，提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的任一可选的实施方式提供的手势识别方法。

根据本申请实施例中的手势识别方法、装置、设备和介质，由于先在图像上确定表征中心位置的种子点，再在中心位置的基础上能够准确的确定手部区域；并且由于不同的手势之间往往手指位置不同而手掌变化较小，手掌识别的准确度高于手指识别的准确度，在准确的获取目标手部区域和手掌区域之后，利用差分算法，能准确地从图像中识别出手指区域。从而利用准确度高的手指区域通过模板匹配方法进行手势识别，能够提高手势识别的准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种示例性的手势示意图；

图1B是本申请实施例提供的另一种示例性的手势示意图；

图1C是本申请实施例提供的又一种示例性的手势示意图；

图1D是本申请实施例提供的再一种示例性的手势示意图；

图2是本申请实施例提供的一种手势识别方法的示意流程图；

图3是本申请实施例提供的另一种手势识别方法的流程示意图；

图4是本申请实施例提供的又一种手势识别方法的流程示意图；

图5是本申请实施例提供的再一种手势识别方法的流程示意图；

图6是本申请实施例提供的一种手势识别装置的结构示意图；

图7是本申请实施例提供的一种手势识别设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请实施例提供了一种手势识别方法、装置、设备和介质，可应用于从包含手部的图像中识别出手部所代表具体手势含义的具体场景中。在本申请实施例中，图1A-图1D是本申请实施例提供的示例性的手势示意图。如图1A-图1D所示，4张示意图中不同的手势可以代表不同的手势含义，例如图1A中的手势可以代表数字“5”，图1B中的手势可以代表数字“4”，图1C中的手势可以代表数字“6”，图1D中的手势可以代表数字“0”。此外，还可以根据具体场景和具体需求为各手势赋予不同的含义，对此不作限制。

为了更好的理解本申请，下面将结合附图，详细描述根据本申请实施例的手势识别方法、装置、设备和介质，应注意，这些实施例并不用来限制本申请公开的范围。

图2是本申请实施例提供的一种手势识别方法的示意流程图。如图2 所示，本实施例中的手势识别方法200可以包括S210至S240。

S210，在所获取的包含目标手部的第一图像中，确定表征目标手部的中心位置的种子点。

首先，对于包含目标手部的第一图像，第一图像可以是深度图像或者彩色图像。其中，当第一图像为深度图像时，可以是直接对目标手部采集得到的，也可以是对包含目标手部的彩色图像处理后得到的，对此不做限制。示例性地，第一图像可以是利用Kinect(即XBOX360的体感周边外设，其中，XBOX360为某软的第2代家用游戏主机)。比如，Kinect 1.0或者Kinect 2.0等。当选用Kinect采集第一图像时，Kinect可以采集对应的深度图像和彩色图像。具体地，可以将采集的深度图像作为第一图像，采集的彩色图像可以在后续步骤中作为第二图像使用。可选地，为了提高准确率，在获取Kinect采集的对应的深度图像和彩色图像之后，可以先对深度图像和彩色图像进行图像配准。

其次，对于目标手部，在一些实施例中，若第一图像为深度图像，则可以将第一图像中的最大连通区域识别为目标手部区域。在另一些实施例中，可以根据目标手部区域中像素的深度值，区分目标手部区域与背景区域。具体地，可以将深度值小于预设深度阈值的像素的集合作为目标手部区域。

然后，对于种子点，在一些实施例中，确定种子点的具体实施步骤包括下述第一步骤和第二步骤。

第一步骤、获取目标手部区域中每个像素点与目标手部区域的边界的最小距离。也就是说，目标手部区域中各像素点越靠近手部边界区域，则该像素点与目标手部区域的边界的最小距离的取值越小，目标手部区域的边界上的像素点与目标手部区域的边界的最小距离等于0。目标手部区域中各像素点越靠近手部的中心区域，该像素点与目标手部区域的边界的最小距离越大。

具体地，目标手部区域中任意像素点与目标手部区域的边界的最小距离D_p的计算公式包括下述公式(1)：

其中，LCR表示目标手部区域内所有像素点的集合，p为LCR中任意一个像素点，B表示目标手部的边界点集合，b表示边界点集合中的任意一点。

第二步骤、确定目标手部区域中每个像素点对应的最小距离中的最大值，将最大值对应的像素点选取为种子点。也就是说，若目标手部区域包括K个像素点，则通过第一步骤可以获取K个最小距离，然后从K个最小距离中选择一个最大值，将最大值对应的像素点作为种子点。

具体地，选取种子点的公式包括下述公式(2)：

其中，P_s为D_p中的最大值，D_p对应的像素为种子点。

S220，基于该种子点，从所获取的包含目标手部的第二图像中分割出目标手部区域，并从目标手部区域中分割出手掌区域。

首先，对于第二图像，第二图像可以与第一图像是同一张图像，也可以是不同图像。可选地，第二图像可以是彩色图像。

其次，对于目标手部区域，本申请实施例的手部包括手掌和手指，相应地，目标手部区域是指第二图像上手掌和手指所在区域。在一些实施例中，确定目标手部区域的具体实施方式可以包括下述两个步骤。

第一步骤、在第二图像中，确定一个包含种子点的第一连通区域。其中，第一连通区域内像素的像素值与种子点的像素值的差值在预设取值范围内。也就是说，第一连通区域内各像素的像素值与种子点的像素值的差异不能过大。具体地，预设取值范围可以是一个根据具体场景和具体需求设置的取值范围，例如可以考虑手部颜色变化情况等范围。示例性地，若第二图像为彩色图像，则本步骤中的像素值可以是RGB值。若第二图像为深度图像，则本步骤中的像素值可以是灰度值。若第二图像是二值化处理后得到的图像，则本步骤中的像素值可以是0或者1。

在本步骤中，由于手部区域的颜色差异性较小，在第二图像中，在确定表征手部中心位置的种子点之后，在种子点周围确定一个颜色差异较小的连通区域，能够较为准确的在第二图像中识别手部区域。

第二步骤、从第二图像中，分割出第一连通区域，并将分割出的目标连通区域作为目标手部区域。

在本步骤中，从第二图像中分割出第一连通区域的方法可以具体包括：将第二图像中第一连通区域内像素的像素值保持不变，将第一连通区域之外的像素点的像素值设为0。也就是说，分割得到的图像中保留了手部区域的色彩，其他区域为黑色。

在一些实施例中，在第二步骤之后，还可以基于吉布斯能量场理论在分割得到的图像上围绕种子点优化手部分割结果图。

然后，对于手掌区域，手掌区域在图像是一个连通的区域。在一些实施例中，确定目标手部区域的具体实施方式包括下述两个步骤。

第一步骤、在待处理手部区域中，确定目标圆。目标圆是以种子点为圆心、且范围内所有像素的像素值均大于第二预设阈值的候选圆中的最大圆。也就是说，要确定一个以种子点为中心，范围内所有像素的灰度值均大于第二预设阈值的最大圆。若这个圆继续增大，则可能会包括小于第二预设阈值的像素点。可选地，为了提高处理速率，在执行该第一步骤之前，可以先对目标手部区域进行二值化处理，得到待处理手部区域。经二值化处理后的待处理手部区域的像素值为1，待处理手部区域之外的其他区域的像素值为0。若第一步骤是在二值化处理后的待处理手部区域中确定目标圆，则目标圆中的所有像素的像素值等于1，相应地，第二预设阈值可以取小于1的任意值。

第二步骤、利用目标圆对目标手部区域进行形态学腐蚀操作，得到手掌区域。在该步骤中，可以利用目标圆对目标手部区域进行腐蚀操作，得到手掌区域。可选地，为了能够提高对较小的手部的识别精度，可以对目标手部区域进行先腐蚀后膨胀的形态学操作。

S230，对手掌区域对目标手部区域进行差分处理，得到手指区域。

在本步骤中，进行差分处理，也叫对两张图片做减法。因为手部图像区域和手掌区域都是基于第二图像处理得到的，所以两个区域上的像素点一一对应。针对对应的两个像素点，若两个像素点的取值为0和1，则差分处理得到的图像上该像素点的取值是1；若两个像素点的取值为均1或均为0，则差分处理得到的图像上该像素点的取值是0。由于手掌区域和目标手部区域中的手掌区域相对应，且两者的像素点的取值为1，因此差分运算得到的手指区域图像中手掌区域的像素点的取值为0。而目标手部区域中的手指区域的像素的取值为1，而手指区域在手掌区域图像中对应的像素的取值均为0，因此差分得到的手指区域图像中仅有手指所在区域的像素点的取值为1。

S240，在预设的手势模板集合中，确定与手指区域相匹配的目标手势模板，得到手势识别结果。比如，如果手指区域与表示数字1的模板相匹配，则从第二图像中识别出的手势为“1”。可选地，由于用户做同一手势动作为有所差异，为了提高识别准确度，每一手势模板集合包括多组手势模板，每组手势模板中的手势样本图像具有同一手势含义。

根据本申请实施例中的手势识别方法，由于先在图像上确定表征中心位置的种子点，再在中心位置的基础上能够准确的确定手部区域；并且由于不同的手势之间往往手指位置不同而手掌变化较小，手掌识别的准确度高于手指识别的准确度，在准确的获取目标手部区域和手掌区域之后，利用差分算法，能准确地从图像中识别出手指区域。从而利用准确度高的手指区域通过模板匹配方法进行手势识别，能够提高手势识别的准确率。

在一些实施例中，如果与手指区域相匹配的目标手势模板是唯一的，则可以直接根据目标手势模板确定手势识别结果。具体地，图3是本申请实施例提供的另一种手势识别方法的流程示意图。图3与图2的不同之处在，S240的具体实施方式包括S241和S242。

S241，基于手指区域的连通子区域的数量，确定与目标手部对应的手势模板组。其中，手指区域中1个连通子区域可以对应1根手指所在的区域。由于用户在做手势时，伸出不同的手指可以表示不同的含义。例如伸出一根手指可以表示数字1，伸出五根手指可以表示数字5。因此，若手指区域的连通子区域的数量为5，则手指区域会于数字5对应的手势模板组匹配。

S242，若仅对应一个手势模板组，则将对应的手势模板组的手势含义作为手势识别结果。示例性地，当不同手势表示不同数字时，1个连通子区域表征从第二图像中识别出1根手指，唯一对应表示数字1的手势模板组。因此，手势识别结果为数字1。

以识别出2个连通子区域为例，由于2个连通子区域表征从第二图像中识别出2根手指，数字2、数字6和数字8的手势模板组中的手势样本均对应2根手指，此时无法直接确定手势识别结果。本申请实施例下述部分对手指区域对应多个手势模板组的具体手势识别过程做详细介绍。

在另一些实施例中，图4是本申请实施例提供的又一种手势识别方法的流程示意图。图4与图3的不同之处在，通过上述步骤S241可能匹配出两个对应的手势模板组，此时无法直接确定手势识别结果。S241之后，图 3示出的手势识别方法包括。

S243，若对应多个手势模板组，获取N组评估数据。其中N可以根据具体场景和具体需求设置，当需要提高精度时，可以适当调大N的取值，当需要提高运算速度时，可以适当减小N的取值。

其中，每一组评估数据中包括对应的多个手势模板组中每一手势模板组的多个手势样本图像的距离参数。示例性地，若对应3个手势模板A、 B、C，一组评估数据中可以包括手势样本图像A₁的距离参数、手势样本图像A₂的距离参数、……、手势样本图像A_L的距离参数、手势样本图像B₁的距离参数、手势样本图像B₂的距离参数、……、手势样本图像B_L的距离参数、手势样本图像C₁的距离参数、手势样本图像C₂的距离参数、……、手势样本图像C_L的距离参数。

其中，每一手势样本图像的距离参数表征每一手势样本图像与手指区域的距离。可选地，每一手势样本图像与手指区域的距离，可以是地球移动距离(Earth Mover’sDistance，EDM)。

在一些实施例中，为了能够反映待识别手势的整体形状和结构，在获取N组评估数据的过程中，可以利用超级像素点计算距离。此时，S243中获取N组评估数据的具体实施方式包括下述三个步骤。

第一步骤、获取N组待评估样本图像，其中，每一组待评估样本图像中包括对应的多个手势模板组中每一手势模板组的多个手势样本图像。若获取10组待评估样本图像，每组待评估样本图像中包括每个手势模板组的 100个手势样本图像。则一组待评估样本图像包括手势样本图像A₁、手势样本图像A₂、……、手势样本图像A₁₀₀、手势样本图像B₁、手势样本图像 B₂、……、手势样本图像B₁₀₀、手势样本图像C₁、手势样本图像C₂、……、手势样本图像C₁₀₀。

第二步骤、针对每一组待评估样本图像中每一个手势样本图像，基于手指区域的多个超级像素点的位置信息和每一个手势样本图像的多个超级像素点的位置信息，计算每一个手势样本图像的距离参数。可选地，每一手势样本图像与手指区域的距离，可以是EDM。又或者，还可以是两个像素点之间的位置距离。

第三步骤、将每一组待评估样本图像的手势样本图像的距离参数作为一组评估数据，从而得到N组评估数据。

S244，针对每一组评估数据，确定每一组评估数据所包含的距离参数中的最小距离参数，将最小距离参数对应的手势模板组选定为目标手势模板组。

在本步骤中，可以利用下述公式(3)每一组评估数据所包含的距离参数中的最小距离参数。

其中，SPFEMD(,)表示两个参数之间的距离，一组评估数据中共有K个样本，C表示三维度量权值，Sm表示手指区域，t表示从0开始的迭代索引，

表示K个样本中的第i个样本图像，

表示K个样本中对应最小距离参数的第i个样本。

具体地，针对每组评估数据，可以从对应同一手势模板组的多个手势样本图像的距离参数中先选择一个局部最小距离参数，然后从各手势模板组对应的局部最小距离参数作为该组评估数据所包含的距离参数中的最小距离参数。

此外，在确定各组最小距离参数时，可以从头开始，判断相邻的两个距离参数中，后一个距离参数是否小于前一个距离参数，若小于，则将后一个距离参数更新为最小距离参数。当判断完最后一个距离参数之后，将最后得到的最小距离参数作为该组最小距离参数。

S245，在N组评估参数的模板手势模板组中，将被选定为目标手势模板组次数最多的手势模板组，选定为最优手势模板组。也就是说每一组评估参数都要选出一个目标手势模板组，若在某一组评估参数中，手势模板组A的手势样本图像a1的距离参数是本组评估参数中的最小距离参数，则手势模板组A为该组评估参数对应的目标手势模板组。N组评估参数总会选出N次目标手势模板组，确定每一手势模板组当选目标手势模板组的次数，那个手势模板组当选次数最高，则其为最优手势模板组。示例性地，若N等于10，N 组 评估参数对应的目标手势模板组依次是A、C、A、B、 C、A、A、A、B、C，其中A当选次数为5次，B当选次数2次，C当选次数3次，则A被选为最优手势模板组。

S246，若最优手势模板组被选定为目标手势模板组的次数大于等于预设阈值，将最优手势模板组的手势含义作为手势识别结果。预设阈值可以根据具体情况设置，对此不再赘述。

此外，若最优手势模板组当选目标手势模板组的次数不高于预设阈值，则可能其他手势模板组当选次数也很高，证明手势含义可能是最优手势模板组的手势含义，也可能是其他手势模板组的手势含义，此时无法准确确定真实的手势含义。本申请实施例下述部分将通过一个实施例对此种情况进行具体地解释说明。

在又一些实施例中，图5是本申请实施例提供的再一种手势识别方法的流程示意图。图5与图4的不同之处在，S245之后，方法还包括S247和 S248。

S247，若最优手势模板组被选定为目标手势模板组的次数小于预设阈值，计算对应多个手势模板组中每一手势模板组的成本。其中，成本用于反映手势模板组整体与手指区域的距离。

具体地，每一手势模板组的成本可以是该手势模板组的M个手势样本图像的距离参数的叠加值。此时，成本c_med(C^t)公式可以满足下述公式(4)：

S248，将对应多个手势模板组中成本最低的手势模板组的手势含义作为手势识别结果。例如手势2的手势模板组的成本高于手势6的手势目标组的成本，则手势6作为手势识别结果。

下面结合附图，详细介绍根据本申请实施例的装置。

基于相同的申请构思，本申请实施例提供了一种手势识别装置。图6 是本申请实施例提供的一种手势识别装置的结构示意图。如图6所示，手势识别装置600包括种子点确定模块610、第一图像分割模块620、第二图像分割模块630和手势识别模块640。

种子点确定模块610，用于在所获取的包含目标手部的第一图像中，确定表征目标手部的中心位置的种子点。

第一图像分割模块620，用于基于种子点从所获取的包含目标手部的第二图像中分割出目标手部区域，并从目标手部区域中分割出手掌区域。

第二图像分割模块630，用于对手掌区域对目标手部区域进行差分处理，得到手指区域。

手势识别模块640，用于在预设的手势模板集合中，确定与手指区域相匹配的目标手势模板，从而得到手势识别结果。

在一种可选的实施方式中，第一图像分割模块620具体用于：在第二图像中，确定一个包含种子点的第一连通区域，其中，第一连通区域内像素的像素值与种子点的像素值的差值在预设取值范围内。以及，从第二图像中，分割出第一连通区域，并将分割出的目标连通区域作为目标手部区域。

在一种可选的实施方式中，第一图像分割模块620具体用于：在待处理手部区域中，确定目标圆。其中，目标圆是以种子点为圆心、且范围内所有像素的像素值均大于第二预设阈值的候选圆中的最大圆。以及，还用于利用目标圆对目标手部区域进行形态学腐蚀操作，得到手掌区域。

在一种可选的实施方式中，种子点确定模块610具体用于：获取目标手部区域中每个像素点与目标手部区域的边界的最小距离；确定每个像素点对应的最小距离中的最大值，将最大值对应的像素点选取为种子点。

在一种可选的实施方式中，手势模板集合包括多个手势模板组，每个手势模板组中的手势具有同一手势含义。

手势识别模块640具体用于：基于手指区域的连通子区域的数量，确定与目标手部对应的手势模板组；若仅对应一个手势模板组，则将对应的手势模板组的手势含义作为手势识别结果。

在一种可选的实施方式中，手势模板集合包括多组手势模板，每组手势模板中的手势样本图像具有同一手势含义。

手势识别模块640具体用于：若对应多个手势模板组，获取N组评估数据，其中，每一组评估数据中包括对应的多个手势模板组中每一手势模板组的多个手势样本图像的距离参数，每一手势样本图像的距离参数表征每一手势样本图像与手指区域的距离；针对每一组评估数据，确定每一组评估数据所包含的距离参数中的最小距离参数，将最小距离参数对应的手势模板组选定为目标手势模板组；在N组评估参数的模板手势模板组中，将被选定为目标手势模板组次数最多的手势模板组，选定为最优手势模板组；若最优手势模板组被选定为目标手势模板组的次数大于等于预设阈值，将最优手势模板组的手势含义作为手势识别结果。

在一种可选的实施方式中，手势识别装置600还包括：若最优手势模板组被选定为目标手势模板组的次数小于预设阈值，计算对应多个手势模板组中每一手势模板组的成本；将对应多个手势模板组中成本最低的手势模板组的手势含义作为手势识别结果。

在一种可选的实施方式中，手势样本图像包括多个超级像素点。

手势识别模块640具体用于：获取N组待评估样本图像，其中，每一组待评估样本图像中包括对应的多个手势模板组中每一手势模板组的多个手势样本图像；针对每一组待评估样本图像中每一个手势样本图像，基于手指区域的多个超级像素点的位置信息和每一个手势样本图像的多个超级像素点的位置信息，计算每一个手势样本图像的距离参数；将每一组待评估样本图像的手势样本图像的距离参数作为一组评估数据，从而得到N组评估数据。

根据本申请实施例的手势识别装置，由于先在图像上确定表征中心位置的种子点，再在中心位置的基础上能够准确的确定手部区域；并且由于不同的手势之间往往手指位置不同而手掌变化较小，手掌识别的准确度高于手指识别的准确度，在准确的获取目标手部区域和手掌区域之后，利用差分算法，能准确地从图像中识别出手指区域。从而利用准确度高的手指区域通过模板匹配方法进行手势识别，能够提高手势识别的准确率。

根据本申请实施例的手势识别装置的其他细节，与以上结合图2至图 5所示实例描述的手势识别方法类似，并能达到其相应的技术效果，为简洁描述，在此不再赘述。

图7是本申请实施例中手势识别设备的示例性硬件架构的结构图。

如图7所示，手势识别设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线710 相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与手势识别设备700的其他组件连接。

具体地，输入设备701接收来自外部的输入信息，并通过输入接口702 将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到手势识别设备700的外部供用户使用。

也就是说，图7所示的手势识别设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图2至图5描述的手势识别设备的方法。

在一个实施例中，图7所示的手势识别设备700可以被实现为一种设备，该设备可以包括：存储器，用于存储程序；处理器，用于运行所述存储器中存储的所述程序，以执行本申请实施例的手势识别方法。

本申请实施例还提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现本申请实施例的手势识别方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

Claims (9)

1.一种手势识别方法，其特征在于，所述方法包括：

在所获取的包含目标手部的第一图像中，确定表征所述目标手部的中心位置的种子点；

基于所述种子点，从所获取的包含目标手部的第二图像中分割出所述目标手部区域，并从所述目标手部区域中分割出手掌区域；

对所述手掌区域和所述目标手部区域进行差分处理，得到手指区域；

在预设的手势模板集合中，确定与所述手指区域相匹配的目标手势模板，得到手势识别结果；

所述手势模板集合包括多组手势模板，每组手势模板中的手势样本图像具有同一手势含义；

所述在预设的手势模板集合中，确定与所述手指区域相匹配的目标手势模板，得到手势识别结果，包括：

若对应多个手势模板组，获取N组评估数据，其中，每一组评估数据中包括所述对应的多个手势模板组中每一手势模板组的多个手势样本图像的距离参数，每一手势样本图像的距离参数表征所述每一手势样本图像与所述手指区域的距离；

针对每一组评估数据，确定所述每一组评估数据所包含的距离参数中的最小距离参数，将所述最小距离参数对应的手势模板组选定为目标手势模板组；

在N组评估参数的模板手势模板组中，将被选定为目标手势模板组次数最多的手势模板组，确定为最优手势模板组；

若所述最优手势模板组被确定为目标手势模板组的次数大于等于预设阈值，将所述最优手势模板组的手势含义确定为所述手势识别结果；

若所述最优手势模板组被选定为目标手势模板组的次数小于预设阈值，计算所述对应多个手势模板组中每一手势模板组的成本，其中，所述成本用于反映手势模板组整体与手指区域的距离；

将所述对应多个手势模板组中成本最低的手势模板组的手势含义确定为所述手势识别结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述种子点，从包含目标手部的第二图像中分割出所述目标手部区域，包括：

在所述第二图像中，确定一个包含所述种子点的第一连通区域，其中，所述第一连通区域内像素的像素值与所述种子点的像素值的差值在预设取值范围内；

从所述第二图像中，分割出所述第一连通区域，并将分割出的所述第一 连通区域作为所述目标手部区域。

3.根据权利要求1所述的方法，其特征在于，所述从所述目标手部区域中分割出手掌区域，包括：

在待处理手部区域中，确定目标圆，所述目标圆是候选圆中的最大圆，其中，所述候选圆以所述种子点为圆心、且所述候选圆内所有像素的像素值均大于第二预设阈值；

利用所述目标圆对所述目标手部区域进行形态学腐蚀操作，得到所述手掌区域。

4.根据权利要求1所述的方法，其特征在于，所述在所获取的包含目标手部的待处理图像中，确定表征所述目标手部的中心位置的种子点，包括：

获取所述目标手部区域中每个像素点与所述目标手部区域的边界的最小距离；

确定所述每个像素点对应的最小距离中的最大值，将所述最大值对应的像素点确定为所述种子点。

5.根据权利要求1所述的方法，其特征在于，所述手势模板集合包括多个手势模板组，每个手势模板组中的手势具有同一手势含义；

所述在预设的手势模板集合中，确定与所述手指区域相匹配的目标手势模板，得到手势识别结果，包括：

基于所述手指区域的连通子区域的数量，确定与所述目标手部对应的手势模板组；

若仅对应一个手势模板组，则将所述对应的手势模板组的手势含义确定为所述手势识别结果。

6.根据权利要求1所述的方法，其特征在于，所述手势样本图像包括多个超级像素点；

所述获取N组评估数据，包括：

获取N组待评估样本图像，其中，每一组待评估样本图像中包括所述对应的多个手势模板组中每一手势模板组的多个手势样本图像；

针对每一组待评估样本图像中每一个手势样本图像，基于所述手指区域的多个超级像素点的位置信息和所述每一个手势样本图像的多个超级像素点的位置信息，计算所述每一个手势样本图像的所述距离参数；

将所述每一组待评估样本图像的手势样本图像的所述距离参数作为一组评估数据，得到N组评估数据。

7.一种手势识别装置，其特征在于，所述装置包括：

种子点确定模块，用于在所获取的包含目标手部的第一图像中，确定表征所述目标手部的中心位置的种子点；

第一图像分割模块，用于基于所述种子点从所获取的包含目标手部的第二图像中分割出所述目标手部区域，并从所述目标手部区域中分割出手掌区域；

第二图像分割模块，用于对所述手掌区域和所述目标手部区域进行差分处理，得到手指区域；

手势识别模块，用于在预设的手势模板集合中，确定与所述手指区域相匹配的目标手势模板，得到手势识别结果；

手势模板集合包括多个手势模板组，每个手势模板组中的手势具有同一手势含义；

所述手势识别模块具体用于：若对应多个手势模板组，获取N组评估数据，其中，每一组评估数据中包括对应的多个手势模板组中每一手势模板组的多个手势样本图像的距离参数，每一手势样本图像的距离参数表征每一手势样本图像与手指区域的距离；针对每一组评估数据，确定每一组评估数据所包含的距离参数中的最小距离参数，将最小距离参数对应的手势模板组选定为目标手势模板组；在N组评估参数的模板手势模板组中，将被选定为目标手势模板组次数最多的手势模板组，选定为最优手势模板组；若最优手势模板组被选定为目标手势模板组的次数大于等于预设阈值，将最优手势模板组的手势含义作为手势识别结果；

所述手势识别模块还用于：若最优手势模板组被选定为目标手势模板组的次数小于预设阈值，计算对应多个手势模板组中每一手势模板组的成本，其中，所述成本用于反映手势模板组整体与手指区域的距离；将对应多个手势模板组中成本最低的手势模板组的手势含义作为手势识别结果。

8.一种手势识别设备，其特征在于，所述设备包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1-6任一权利要求所述的手势识别方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1-6任一权利要求所述的手势识别方法。

Images