CN110298314A - 手势区域的识别方法及装置 - Google Patents

Abstract

本申请提供了一种手势区域的识别方法及装置，其中，该方法包括：采集第一对象的多个动作的帧数据；对多个所述帧数据进行图像差分处理后得到差分图像；依据预设模板检测到所述差分图像中存在的手势位置；为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。采用上述方案，通过采集目标对象的多个动作的帧数据，综合上述多个帧数据确定出与预设模板相符合的区域，标记为手势区域，识别结果精确高效，基于动态图像进行处理，避免了可能存在的静态环境干扰导致的识别错误，解决了相关技术中利用计算机视觉识别出手势位置的效率低的问题。

Description

手势区域的识别方法及装置

技术领域

本申请涉及但不限于计算机领域，具体而言，涉及一种手势区域的识别方法及装置。

背景技术

在相关技术中，手势识别技术是当今人机交互领域的一项关键技术，由于手势的可变性与个体的差异性，正确的进行手势识别一直是研究的热点与难点。手势识别技术的研究可以大致分为两个方向，第一是基于计算机视觉技术，通过摄像设备采集手势信息；第二是依赖传感器设备，要求交互者佩戴数据手套等设备。计算机视觉相比利用传感器更加便捷，客观条件要求低。

相关技术中，基于计算机视觉的手势识别又可细分为静态手势识别和动态手势识别。其中静态手势识别主要关注手势的形状，轮廓等信息；动态手势识别主要记录运动轨迹，手的挥动方位等。在相关技术中静态手势识别的过程，容易被拍摄环境中的类手势的物体所干扰，例如树枝，或者衣服上的手指图像。

针对相关技术中利用计算机视觉识别手势位置的效率低下的问题，目前还没有有效的解决方案。

发明内容

本申请实施例提供了一种手势区域的识别方法及装置，以至少解决相关技术中利用计算机视觉识别出手势位置的效率低的问题。

根据本申请的一个实施例，提供了一种手势区域的识别方法，包括：采集第一对象的多个动作的帧数据；对多个所述帧数据进行图像差分处理后得到差分图像；依据预设模板检测到所述差分图像中存在的手势位置；为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

根据本申请的另一个实施例，还提供了一种手势区域的识别装置，包括：采集模块，用于采集第一对象的多个动作的帧数据；处理模块，用于对多个所述帧数据进行图像差分处理后得到差分图像；检测模块，用于依据预设模板检测到所述差分图像中存在的手势位置；设置模块，用于为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本申请，采集第一对象的多个动作的帧数据；对多个所述帧数据进行图像差分处理后得到差分图像；依据预设模板检测到所述差分图像中存在的手势位置；为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。采用上述方案，通过采集目标对象的多个动作的帧数据，综合上述多个帧数据确定出与预设模板相符合的区域，标记为手势区域，识别结果精确高效，基于动态图像进行处理，避免了可能存在的静态环境干扰导致的识别错误，解决了相关技术中利用计算机视觉识别出手势位置的效率低的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例的一种手势区域的识别方法的计算机终端的硬件结构框图；

图2是根据本申请实施例的手势区域的识别方法的流程图；

图3是根据相关技术中的基于计算机视觉的静态手势识别流程图；

图4是根据本申请另一个实施例的基于计算机视觉的静态手势识别流程图；

图5是根据本申请另一个实施例的图像预处理的流程图；

图6是根据本申请另一个实施例的相邻图像差分示意图；

图7是根据本申请另一个实施例的手势区域定位示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例一

本申请实施例一所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本申请实施例的一种手势区域的识别方法的计算机终端的硬件结构框图，如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输装置106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的手势区域的识别方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述计算机终端的手势区域的识别方法，图2是根据本申请实施例的手势区域的识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，采集第一对象的多个动作的帧数据；

第一对象可以是人，多个动作可以手部的连贯动作，例如手部的晃动。帧数据可以为图像，即人物做手掌晃动动作，此时采集多张图像。

步骤S204，对多个所述帧数据进行图像差分处理后得到差分图像；

步骤S206，依据预设模板检测到所述差分图像中存在的手势位置；

步骤S208，为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

通过上述步骤，采集第一对象的多个动作的帧数据；对多个所述帧数据进行图像差分处理后得到差分图像；依据预设模板检测到所述差分图像中存在的手势位置；为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。采用上述方案，通过采集目标对象的多个动作的帧数据，综合上述多个帧数据确定出与预设模板相符合的区域，标记为手势区域，识别结果精确高效，基于动态图像进行处理，避免了可能存在的静态环境干扰导致的识别错误，解决了相关技术中利用计算机视觉识别出手势位置的效率低的问题。

可选地，通过以下方式获取最小外接矩形：保存多张差分图的手势位置区域的最低点和最高点，确定手势区域的最小包围框为包含所有最高点和最低点的最小外接矩形。

可选地，采集第一对象的多个动作的帧数据之前，所述方法还包括：向所述第一对象发送提示信息，用于提示所述第一对象以下信息至少之一：做出以手肘为中心晃动手臂的动作；做出以手腕为中心晃动手掌的动作。此处的提升方式可以文字提示，语音提示，或者视频动作示范。采用该方案，预先规定好便于手势区域的动作，然后通知目标对象照做，以此来提高识别精确度。

可选地，对多个帧数据进行图像差分处理前，可以对帧数据进行灰度化及去噪预处理。

可选地，在采用相邻帧间差分的方式处理多个帧数据之前，可以对第一图像做阈值处理。

可选地，对多个所述帧数据进行图像差分处理后得到差分图像，包括：采用相邻帧间差分的方式处理多个所述帧数据，获取一个或多个第一图像；对所述一个或多个所述第一图像进行形态学处理，输出为所述差分图像，其中，相邻帧间差分可以针对相邻两帧或多帧，所述形态学处理用于消除干扰和图像降噪。消除干扰主要依据动态和静态的区别，将拍摄背景中类似手掌的树枝等过滤掉。采用该方案，在识别手势区域之前，对多个帧数据进行预处理，便于后续的区域识别。

可选地，采用相邻帧间差分的方式处理多个所述帧数据，获取一个或多个第一图像，包括：如果以三帧图像为一组，则相邻帧间差分的方式可以如下，将前两帧数据和后两帧数据分别作差分并进行阈值化处理，得到两个差分图像，将两个差分图像进行掩膜相乘，得到最终的差分结果。

可选地，依据预设模板检测到所述差分图像中存在的手势位置之前，设置所述模板为呈现扇形的形状。采用该方案，因为手指的晃动区域类似扇形，所以将预设模板设置为扇形，以此寻找到手势位置。

可选地，依据预设模板检测到所述差分图像中存在的手势位置，包括：依据所述预设模板检测出所述差分图像中呈现扇形形状的区域，作为所述手势位置。

可选地，为所述手势位置设置最小外接矩形，包括：获取所述手势位置的多个边界点；设置一个包围所述多个边界点的最小外接矩形。采用该方案，最小外接矩形将手势位置全部包围，包括处于边界的最低点和最高点，以保证不漏掉重要的区域。

下面结合本申请的另一个实施例进行说明。

本申请另一个实施例中结合智能家居人机交互的实际应用，主要针对静态手势识别进行改进。图3是根据相关技术中的基于计算机视觉的静态手势识别流程图，如图3所示，主要包括：图像的采集，预处理，特征提取和选择，分类器设计，以及手势识别。

本申请另一个实施例基于模糊差分的手势区域检测方法，主要应用在图3中图像预处理阶段，实现手势区域的定位与分割。相关技术中的手势区域定位方法基于肤色具有分布聚类性的特点，采用HSV和Ycbcr混合空间模型来进行肤色检测，提取手势的最小外接矩阵。

因为相关技术中的静态手势识别普遍缺少手势定位和分割的步骤，手势目标所占全图的比重过小，原始图像包含的背景信息往往会对手势识别造成较大的干扰，导致最终识别准确率不高。本申请另一个实施例提出的基于模糊差分的手势区域检测方法补充了该漏洞，准确定位并分割手势区域供后续进行手势识别，提高最终识别准确率。

因为相关技术中的进行手势区域定位的方法依靠肤色信息进行检测，该信息不具有唯一代表性且容易受到光照等因素的影响，导致对手部区域检测造成较大的干扰。本申请另一个实施例采用的基于模糊差分的方法不依赖肤色信息，解决了该相似信息的干扰问题。

图4是根据本申请另一个实施例的基于计算机视觉的静态手势识别流程图，如图4所示，包括以下步骤：其中本申请另一个实施例与相关技术相比的区域点见图4中虚线框标注。

步骤S401，图像采集。和传统的相关技术中的图像采集有些区别，本申请另一个实施例需要被拍摄者配合，被拍摄者相当于上述实施例中的第一对象，以特定的姿势晃动手部，摄像头进行连续拍摄，采集5张图片进行后续差分处理，此处的5张图片相当于上述实施例中的多个动作的帧数据。

步骤S402，图像预处理。首先进行灰度化及去噪预处理。其次可以参见图5，图像预处理中包括根据手挥动的规律采用帧间差分进行定位，然后分割出手势所在的区域。采用相邻帧间差分的方法得到三张差分图并进行阈值化处理，阈值化处理需要遍历每一帧像素以达到检测物体的目的，阈值是一个转换临界点，不管原图像是什么样的彩色，阈值化处理中都会作为转换为黑白图像处理，即每个像素点的像素值大于阈值，则转换为白色，如果低于该阈值则转换为黑色；

步骤S403，特征提取和选择。在特征提取和选择后，还可以使用提取的特征进行分类器设计。进行形态学处理消除干扰区域。

步骤S404，手势识别。根据特定的挥动姿势锁定运动区域，准确估计出手臂挥动范围，根据该范围进一步缩小手势区域，获取挥动范围的最小包围框作为最终手势区域

步骤S405，获取识别结果。

图5是根据本申请另一个实施例的图像预处理的流程图，如图5所示，包括以下步骤：

步骤S501，得到5张手部晃动的图像。相当于上述实施例中的采集第一对象的多个动作的帧数据，第一对象可以是人，或者是手部。

步骤S502，进行灰度化及去噪预处理；

步骤S503，相邻帧间图像进行差分。在该实施例中，可以以相邻的三帧图像为一组，将每相邻的三帧图像之间进行差分，将5张图像进行差分处理后可以得到三张差分图。

三帧图像差分的示意图如图6所示，图6是根据本申请另一个实施例的相邻图像差分示意图。图像序列中的相邻的三帧图像F(x,y,t-1)，F(x,y,t)，F(x,y,t+1)，对前两帧和后两帧分别做差分进行阈值化，得到两个差分图像Diff1和Diff2，最后将得到的两个差分结果Diff1和Diff2的二值掩膜相乘，得到最终的差分结果Diff，即可认为将目标从背景中提取出来。

步骤S504，对上述步骤处理后的图像进行形态学处理。形态学处理为开运算和闭运算，目的是给差分图像降噪，去除不必要的背景等干扰信息。

步骤S505，定位并分割手势区域，叠加上一步骤得到的三幅差分图得到最终差分图，由于本实施例中规定采集图像时是以手肘为中心晃动手臂，所以手势位置区域应当呈现近似扇形的形状。保存三幅差分图的手势位置区域的最低点和最高点，最终确定手势区域的最小包围框为包含所有最高点和最低点的最小外接矩形，即该扇形区域的最小外接矩形。

图7是根据本申请另一个实施例的手势区域定位示意图，如图7所在，黑色背景中的白色区域即为识别出来的手势位置所在区域，虚线即最小外接矩形。

采用上述方案，实现了以下技术效果：精准定位手势区域：传统的静态手势识别一般直接在原始图像上进行手势识别，如此背景信息会对手势的识别造成较大的干扰。本申请另一个实施例将手势区域在预处理阶段准确定位并分割出来，尽可能扩大手势目标在原图中的占比，减少背景等因素的干扰，使后续手势识别更具有针对性，提高最终识别准确率。简单有效易于实现：应用肤色信息进行手势区域定位容易受到光照等因素的影响，并且肤色信息不具有唯一性，如人的脸部的皮肤会导致包围框过大。本申请另一个实施例通过被拍摄者配合晃动手部，拍摄一组连续帧，采用帧间差分的方法，简单快速的寻找到手势目标区域进行分割，对外界条件依赖性较低，易于实现。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

实施例二

在本实施例中还提供了一种手势区域的识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本申请的另一个实施例，提供了一种手势区域的识别装置，包括：

采集模块，用于采集第一对象的多个动作的帧数据；

处理模块，用于对多个所述帧数据进行图像差分处理后得到差分图像；

检测模块，用于依据预设模板检测到所述差分图像中存在的手势位置；

设置模块，用于为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

采集第一对象的多个动作的帧数据；对多个所述帧数据进行图像差分处理后得到差分图像；依据预设模板检测到所述差分图像中存在的手势位置；为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。采用上述方案，通过采集目标对象的多个动作的帧数据，综合上述多个帧数据确定出与预设模板相符合的区域，标记为手势区域，识别结果精确高效，基于动态图像进行处理，避免了可能存在的静态环境干扰导致的识别错误，解决了相关技术中利用计算机视觉识别出手势位置的效率低的问题。

可选地，所述采集模块在采集第一对象的多个动作的帧数据之前，还用于向所述第一对象发送提示信息，用于提示所述第一对象以下信息至少之一：做出以手肘为中心晃动手臂的动作；做出以手腕为中心晃动手掌的动作。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例三

本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，采集第一对象的多个动作的帧数据；

S2，对多个所述帧数据进行图像差分处理后得到差分图像；

S3，依据预设模板检测到所述差分图像中存在的手势位置；

S4，为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输装置以及输入输出设备，其中，该传输装置和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，采集第一对象的多个动作的帧数据；

S2，对多个所述帧数据进行图像差分处理后得到差分图像；

S3，依据预设模板检测到所述差分图像中存在的手势位置；

S4，为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种手势区域的识别方法，其特征在于，包括：

采集第一对象的多个动作的帧数据；

对多个所述帧数据进行图像差分处理后得到差分图像；

依据预设模板检测到所述差分图像中存在的手势位置；

为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

2.根据权利要求1所述的方法，其特征在于，采集第一对象的多个动作的帧数据之前，所述方法还包括：向所述第一对象发送提示信息，用于提示所述第一对象以下信息至少之一：

做出以手肘为中心晃动手臂的动作；

做出以手腕为中心晃动手掌的动作。

3.根据权利要求1所述的方法，其特征在于，对多个所述帧数据进行图像差分处理后得到差分图像，包括：

采用相邻帧间差分的方式处理多个所述帧数据，获取一个或多个第一图像；

对所述一个或多个所述第一图像进行形态学处理，输出为所述差分图像，其中，所述形态学处理用于消除干扰和图像降噪。

4.根据权利要求1所述的方法，其特征在于，依据预设模板检测到所述差分图像中存在的手势位置之前，所述方法包括：

设置所述模板为呈现扇形的形状。

5.根据权利要求1所述的方法，其特征在于，依据预设模板检测到所述差分图像中存在的手势位置，包括：

依据所述预设模板检测出所述差分图像中呈现扇形形状的区域，作为所述手势位置。

6.根据权利要求1所述的方法，其特征在于，为所述手势位置设置最小外接矩形，包括：

获取所述手势位置的多个边界点；

设置一个包围所述多个边界点的最小外接矩形。

7.一种手势区域的识别装置，其特征在于，包括：

采集模块，用于采集第一对象的多个动作的帧数据；

处理模块，用于对多个所述帧数据进行图像差分处理后得到差分图像；

检测模块，用于依据预设模板检测到所述差分图像中存在的手势位置；

设置模块，用于为所述手势位置设置最小外接矩形，将所述最小外接矩形确定为手势区域。

8.根据权利要求7所述的装置，其特征在于，所述采集模块在采集第一对象的多个动作的帧数据之前，还用于向所述第一对象发送提示信息，用于提示所述第一对象以下信息至少之一：

做出以手肘为中心晃动手臂的动作；

做出以手腕为中心晃动手掌的动作。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。