CN114973394A - 手势动作识别方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本申请涉及一种手势动作识别方法、装置、电子设备及计算机存储介质，所述方法包括：对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置；对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI图像；对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果。该技术方案，将检测和分类的过程进行了解耦，将分类模型拆分为全局检测、局部跟踪检测和分类识别等过程，便于在嵌入式上部署多个对应的小模型，从而可以解决耗时长、系统资源开销较大、分类精度低等缺陷。

Description

手势动作识别方法、装置、电子设备及计算机存储介质

技术领域

本申请涉及图像识别领域，具体涉及一种手势动作识别方法、装置、电子设备及计算机存储介质。

背景技术

基于视觉的手势识别是当前重要的人机交互方式，手势识别算法的核心是对输入的灰度图(或RGB图)进行手势位置识别、手势分类和语义分析。例如，常用的手势识别技术，提取5帧手势图像信息会保留，结合手势识别SDK(软件开发工具包)与外围策略，结合手势语义输出手势识别结果，从而为上层App提供实时的手势位置、分类信息以及手势状态信息等等。

传统的手势识别SDK在进行目标检测时，一般都是通过训练的分类模型对检测和分类同时完成，在此过程中，分类模型耦合了检测和分类过程，当在嵌入式终端上部署这种分类模型，容易出现耗时长、系统资源开销较大、分类精度低等缺陷。

发明内容

为克服以上技术问题，特别是耗时长、系统资源开销较大、分类精度低等缺陷，提供以下技术方案：

第一方面，本申请提供了一种手势动作识别方法，包括以下步骤：

对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置；

对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI图像；

对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果。

第二方面，本申请提供一种手势动作识别装置，包括：

全局检测模块，用于对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置；

局部跟踪检测模块，用于对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI图像；

手势分类模块，用于对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果。

在一个实施例中，所述手势动作识别装置还包括：

误检过滤模块，用于对所述手势ROI图像进行筛查，剔除误检的手势ROI图像并保留真实的手势ROI图像。

第三方面，本申请提供一种电子设备，包括：

一个或多个处理器；

存储器；

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行上述的手势动作识别方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的手势动作识别方法。

本申请与现有技术相比，具有以下有益效果：

本申请先对输入的原始图像进行全局检测得到的目标位置，再对目标位置所在区域进行精确检测截取局部的手势ROI图像，最后对手势ROI图像进行手势类型识别确定手势分类结果。该技术方案，将检测和分类的过程进行了解耦，将分类模型拆分为全局检测、局部跟踪检测和分类识别等过程，便于在嵌入式上部署多个对应的小模型，从而可以解决耗时长、系统资源开销较大、分类精度低等缺陷。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实测中的原始图像；

图2为一个实施例的手势动作识别方法的流程图；

图3是一个示例的全局检测过程示意图；

图4是一个示例的跟踪检测过程示意图；

图5为另一个实施例的手势动作识别方法的流程图；

图6是一个示例的误检过滤过程示意图；

图7是一个示例的手势分类过程示意图；

图8是一个示例的完整手势识别过程示意图；

图9是双线程分解加速时序图；

图10是手势识别SDK的多步骤和双线程流程示意图；

图11是一个实施例的手势动作识别装置结构示意图；

图12是另一个实施例的手势动作识别装置结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本申请针对于手势识别这种人机交互方式在实际应用中，当在嵌入式终端上部署手势识别SDK的分类模型时出现耗时长、系统资源开销较大、分类精度低等缺陷，由此而提供了一种手势识别的实现方案，经过实测验证，本申请的技术方案可以使得手势识别的有效识别精度提高23％，并将手势识别时间由43ms的检测速度提速至5ms；参考图1所示，图1是本申请实测中的原始图像，该原始图像是通过OV580摄像头拍摄，标准的50fps灰度图输入，图片格式为RAW8(每一个像素保存为一个字节)，单目分辨率为640x481，下面就本申请是如何从一帧原始图像开始进行手势识别进行阐述。

本申请实施例提供一种手势动作识别方法，如图2所示，图2为本申请一实施例的手势动作识别方法的流程图，包括以下步骤：

S100：对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置。

具体的，可以将拍摄的包含手势的原始图像，以帧为单位进行识别，此步骤中，对输入的一帧原始图像进行全局检测，通过全局检测确定原始图像中手势图像所在的目标位置。

在一个实施例中，对于全局检测过程，可以具体如下：

首先接收输入的一帧原始图像；然后将所述原始图像输入全检测器模型，检测出所述原始图像中的手势图像的目标位置，其中，所述全检测器模型为预先训练的用于对图像中手势图像进行检测的模型。

具体的，全检测器模型可以对一帧原图像进行全局检测，检测出一帧内所有出现手势的目标位置，对于全检测器模型，可以采用YOLO、mobilenet ssd等目标检测模型。

参考图3所示，图3是一个示例的全局检测过程示意图，图中可见，左侧的原始图像经过全局检测器模型YOLO v5后，可以检测出右侧的含有手势图像的目标位置。

S210：对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI(Region of interest，感兴趣区域)图像。

此过程中，主要是实现跟踪检测过程，利用机器视觉检测技术ROI负责对局部的ROI图像进行精确检测。

在一个实施例中，对于跟踪检测过程，可以具体如下：

(1)根据所述目标位置在所述原始图像中的区域截取ROI图像，并对所述ROI图像的四边方向进行扩展；

(2)将所述扩展后的ROI图像输入跟踪检测器，确定手势图像在所述扩展ROI图像中的位置，并截取出局部的手势ROI图像；其中，所述跟踪检测器为预先训练的用于对图像中手势图像进行精确检测的模型。

例如，首先依据目标位置从原始图像中截取ROI图像，并对ROI图像进行上下左右10％的拓展(extend_rect)，然后在拓展后的ROI图像中检测出给定的ROI区域内的单一手势图像的精确目标位置；对于跟踪检测器，可以采用YOLO、mobilenet ssd、resnet等目标检测模型。

参考图4所示，图4是一个示例的跟踪检测过程示意图，图中可见，左侧的ROI图像经过跟踪检测器模型mobilenet ssd后，可以精确检测出图像中的手势图像。

S220：对所述手势ROI图像进行筛查，剔除误检的手势ROI图像并保留真实的手势ROI图像。

对于步骤S220的过程，需要说明的是其为进一步改进过程，实际过程，如图1所示流程图中，执行该流程图对应方案即可获得所需技术效果。为了在手势分类前对手势ROI图像进行过滤，据此，参考图5所示，本申请的另一个实施例，手势动作识别方法流程还可以包括步骤S220的过程。

此步骤中，通过对手势ROI图像进行过滤筛查，查验出误检的手势ROI图像。

在一个实施例中，对于误检过滤过程，可以具体如下：

将所述手势ROI图像输入误检过滤器进行分类识别，将识别为非手势的手势ROI图像进行剔除，将识别为手势的手势ROI图像保留；其中，所述误检过滤器为预先训练的用于对图像中手势进行识别的网络模型。

具体的，误检过滤主要作用是将截取出来的手势ROI图像进行筛查，查出误检的手势ROI图像，将其剔除。对于误检过滤器，可以使用mobilenet v2网络模型，输入为ROI手势图片，输出为“手势”和“非手势”两个类别的置信度值；对于误检过滤器，可以采用mobilenet、resnet等图像分类模型。

参考图6所示，图6是一个示例的误检过滤过程示意图，图中可见，左侧的手势ROI图像输入误检过滤器mobilenet v2后，可以判断出是手势还是非手势，如果是手势则保留下来继续处理，如果是非手势则剔除结果。

S230：对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果。

此过程中，可以对步骤S210输出的手势ROI图像进行处理，也可以是对经过步骤S220误检过滤后的保留的手势ROI图像进行分类识别，通过分类识别得到具体的手势分类结果，这个手势分类结果可以提供给上层App进行使用。

在一个实施例中，对于手势分类过程，可以具体如下：

将所述手势ROI图像输入手势分类器，通过所述手势分类器判断手势ROI图像中的手势形状，得到所述手势ROI图像对应的原始图像的手势分类结果；其中，所述手势分类器为预先训练的识别手势形状类型的分类器模型。

具体的，手势分类器的作用是识别并输出手势类别识别结果，例如，经过手势误检过滤之后，将判断为手势ROI图像的输入到手势分类器，手势分类器将判断该手势为具体的手势形状所对应的分类结果，比如：握拳、食指向上、点赞、抱拳及剪刀手等等。对于手势分类器，可以采用mobilenet、resnet等图像分类模型。

参考图7所示，图7是一个示例的手势分类过程示意图，图中可见，左侧的手势ROI图像输入手势分类器mobilenet v2后，可以识别出手势形状的具体类型。

上述实施例的技术方案，

先对输入的原始图像进行全局检测得到的目标位置，再对目标位置所在区域进行精确检测截取局部的手势ROI图像，并还可以对手势ROI图像进行筛查剔除误检的手势ROI图像，最后对手势ROI图像进行手势类型识别确定手势分类结果。该技术方案，将检测和分类的过程进行了解耦，将分类模型拆分为全局检测、局部跟踪检测和分类识别等过程，便于在嵌入式上部署多个对应的小模型。

参考图8所示，图8是一个示例的完整手势识别过程示意图，本申请的技术方案，首先对分类模型进行了解耦，打破了传统目标检测时检测和分类一步完成的方式，对手势识别的整个过程进行解耦，拆分成全局检测、局部跟踪检测、误检过滤及手势分类四个步骤，分别通过4个小模型来完成相关功能，从而可以解决耗时长、系统资源开销较大、分类精度低等缺陷。

为了更加清晰本申请的技术方案的优点，下面阐述其他实施例。

基于本申请提供技术架构基础上，为了进一步降低耗时时长和提升检测速度，本实施例提供了双线程运行方案。

具体的，设计了主线程和子线程同步运行模式，在主线程执行对输入的上一帧原始图像进行全局检测得到的手势图像的目标位置所在的区域进行精确检测的步骤，以及执行对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果的步骤；

在对输入的上一帧原始图像进行全局检测，获取所述原始图像中手势图像的目标位置之后，启动子线程对输入的下一帧原始图像进行全局检测，并在得到上一帧原始图像的手势分类结果后，将识别的下一帧的原始图像中手势图像的目标位置发送给所述主线程，对该对下一帧原始图像的所述目标位置所在区域进行精确检测。

本实施例中，在主线程中，当第一帧原始图像输入后，利用全局检测器对其进行识别，当识别到手势图像的目标位置时，得到一帧原始图像的目标位置识别结果，此时主线程继续对目标位置进行精确检测，并同时启动一个子线程，该子线程即可执行对下一帧原始图像的全局检测，识别到下一帧原始图像的手势图像的目标位置。由于主线程执行了跟踪检测后，继续执行误检过滤流程和手势分类流程，从而输出了手势识别结果；此时主线程执行完这三个过程周，即可获取到子线程对下一帧原始图像的全局检测结果，即实现了全局检测与三个处理过程(局部跟踪检测/误检过滤/手势分类)的同步，从而可以降低耗时时长，提升手势识别速度。

下面对双线程技术方案进一步阐述，参考图9，图9是双线程分解加速时序图，包括主线程和子线程。

主线程：在主线程中，跟踪器tracker的内部实现是通过上一帧的全局检测得到的目标位置所确定的ROI区域，进行边框在“上下左右”方向进行拓展，拓展比例可以目前是2.5倍长边，并将拓展边缘之后的ROI进行图片裁剪crop操作，形成最小矩形extend_rect，把最小矩形extend_rect通过跟踪检测器Track Detector进行小区域定位，该跟踪检测器通过目标检测模型(如darknet神经网络)检测出手势在最小矩形extend_rect中的精确位置fix_boxes。

WAIT：当前为第一帧或者到达800ms间隔；

TH_DETECH：子线程启动并分离；

TRACK：局部精确检测；

MT(merge_tracker)：对IOU值重复性高的跟踪器tracker进行筛检；

FLITER：误检过滤；

CLASSIFY：手势分类。

子线程：子线程Detection完成两个全局检测的步骤，并将全局检测结果通过更新临界区的跟踪器tracker，达到与主线程同步更新的效果。

ALL DETECT：对整张图片进行全局检测，结果输出为目标位置boxes；

MDWT(match detector with trackers)：将ALL DETECT和TRACK的检测结果进行融合后更新。

本实施例中，提出了双线程分解加速方法，基于将手势识别划分为多个子功能进行解耦后，用“double combo”进行双线程分时组合加速，主线程负责局部跟踪检测、误检过滤及手势分类，子线程负责全局检测，从而可以进一步提升手势识别速度。

本实施例的，参考图10所示，图10是手势识别SDK的多步骤和双线程流程示意图，手势识别SDK的作用是传入单帧灰度/彩色的原始图片，经过检测和分类处理，输出包含手势信息gesinfo容器，其中gesinfo包含手部跟踪ID号、手势分类、置信度、手势位置等信息；然后通过JNI接口转换为JAVA中的类进行，从而实现跨层的数据传输。传统的mobilenetssd为一个识别过程，而本申请的技术方案，从图中可以看出，首先一帧原始图像frame输入到SDK中，通过Hand API加载所需要使用的模型，然后开始主线程流程，第一帧由全局检测器进行，然后主线程由

可以从单帧输入到输出GesInfo手势识别结果，整合了全局检测、局部跟踪检测、误检过滤和手势分类四个检测过程，子线程每隔一段时间(800ms)进行全局检测，并将全局检测结果输入跟踪器进行刷新，主线程循环对全局检结果进行跟踪，在产生新的全局检测结果时，依次执行局部跟踪检测、误检过滤和手势分类过程。

下面阐述手势动作识别装置的实施例。

如图11所示，图11是一个实施例的手势动作识别装置结构示意图，包括：

全局检测模块100，用于对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置；

局部跟踪检测模块210，用于对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI图像；

手势分类模块230，用于对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果。

进一步的，参考图12所示，图12是另一个实施例的手势动作识别装置结构示意图，本申请的手势动作识别装置，还可以包括：

误检过滤模块220，用于对所述手势ROI图像进行筛查，剔除误检的手势ROI图像并保留真实的手势ROI图像。

本申请的手势动作识别装置与手势动作识别方法一一对应，在手势动作识别方法实施例当中相关技术特征及其技术效果，均适用于手势动作识别装置实施例中，特此声明。

下面阐述本申请的电子设备和计算机可读存储介质的实施例。

下面阐述电子设备的实施例。

一种电子设备，包括：一个或多个处理器和存储器；一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行上述的手势动作识别方法。

对于其具体功能实现，参见方法实施例中的说明，在此不再赘述。

本申请提供的计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例所述的手势动作识别方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。

本申请实施例提供的计算机可读存储介质可以实现上述手势动作识别方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种手势动作识别方法，其特征在于，包括以下步骤：

对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置；

对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI图像；

对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果。

2.根据权利要求1所述的手势动作识别方法，其特征在于，所述对所述手势ROI图像进行手势类型识别之前，还包括：

对所述手势ROI图像进行筛查，剔除误检的手势ROI图像并保留真实的手势ROI图像。

3.根据权利要求2所述的手势动作识别方法，其特征在于，在主线程执行对输入的上一帧原始图像进行全局检测得到的手势图像的目标位置所在的区域进行精确检测的步骤，以及执行对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果的步骤；

在对输入的上一帧原始图像进行全局检测，获取所述原始图像中手势图像的目标位置之后，启动子线程对输入的下一帧原始图像进行全局检测，并在得到上一帧原始图像的手势分类结果后，将识别的下一帧的原始图像中手势图像的目标位置发送给所述主线程，对该对下一帧原始图像的所述目标位置所在区域进行精确检测。

4.根据权利要求1所述的手势动作识别方法，其特征在于，所述对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置，包括：

接收输入的一帧原始图像；

将所述原始图像输入全检测器模型，检测出所述原始图像中的手势图像的目标位置，其中，所述全检测器模型为预先训练的用于对图像中手势图像进行检测的模型。

5.根据权利要求1所述的手势动作识别方法，其特征在于，所述对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI图像，包括：

根据所述目标位置在所述原始图像中的区域截取ROI图像，并对所述ROI图像的四边方向进行扩展；

将所述扩展后的ROI图像输入跟踪检测器，确定手势图像在所述扩展ROI图像中的位置，并截取出局部的手势ROI图像；其中，所述跟踪检测器为预先训练的用于对图像中手势图像进行精确检测的模型。

6.根据权利要求2所述的手势动作识别方法，其特征在于，所述对所述手势ROI图像进行筛查，剔除误检的手势ROI图像并保留真实的手势ROI图像，包括：

将所述手势ROI图像输入误检过滤器进行分类识别，将识别为非手势的手势ROI图像进行剔除，将识别为手势的手势ROI图像保留；其中，所述误检过滤器为预先训练的用于对图像中手势进行识别的网络模型。

7.根据权利要求1所述的手势动作识别方法，其特征在于，所述对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果，包括：

将所述手势ROI图像输入手势分类器，通过所述手势分类器判断手势ROI图像中的手势形状，得到所述手势ROI图像对应的原始图像的手势分类结果；其中，所述手势分类器为预先训练的识别手势形状类型的分类器模型。

8.一种手势动作识别装置，其特征在于，包括：

全局检测模块，用于对输入的原始图像进行全局检测，获取所述原始图像中手势图像的目标位置；

局部跟踪检测模块，用于对所述原始图像的所述目标位置所在区域进行精确检测，截取局部的手势ROI图像；

手势分类模块，用于对所述手势ROI图像进行手势类型识别，确定所述手势ROI图像所在的原始图像的手势分类结果。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行根据权利要求1至7任一项所述的手势动作识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的手势动作识别方法。

Images