CN111753771A - 一种手势事件的识别方法、系统及介质 - Google Patents

Abstract

本发明提供一种手势事件的识别方法，该方法包括：定义手势事件，设定手势移动阈值；在连续采集的N帧手势图像上提取手势轮廓图像，并根据手势轮廓的凹凸形状确定手势形状；在N帧手势轮廓图像中，标定与手势轮廓内部相切/相接最大圆形的圆心位置；定位N帧手势轮廓图像中圆心位置变化信息，并结合手势移动阈值判定手势移动方向；根据手势形状和手势移动方向确定手势事件；其中，N为大于等于10的正整数。本发明提供的手势事件的识别方法、系统及介质能检测到手势移动方向和手势形状，并将手势的移动方向和手势形状形成二维信息得到手势事件，该方法使得手势事件种类更丰富，手势事件的判断上更不易出错。

Description

一种手势事件的识别方法、系统及介质

技术领域

本发明涉及手势图像识别技术领域，具体涉及一种手势事件的识别方法、系统及介质。

背景技术

随着智能时代的到来利用手势来进行人机交互的场景会越来越多，如游戏中对角色的控制，工业生产中对机器人或机械设备的控制。它们往往是利用手势形状的不同来产生手势事件做相应控制，单利用手势形状产生的手势事件容易确认但手势事件种类比较有限，因为单手能产生的手势形状大概十多种。

因此，现有的手势识别技术的识别处理过程中可识别的手势事件种类比较有限，而且识别手势的精度较低、准确度较差。此外，基于模式识别的现有手势识别技术的实时性较差，不适合即时交互需求的场合。

发明内容

有鉴于此，本发明提供一种手势事件的识别方法、系统及介质。其中，本发明在检测手势形状的同时引入手势移动方向这一维度与手势形状相结合产生手势事件，使得手势事件的种类更丰富，在事件判断上有更多比对信息不易出错。

为实现上述目的，按照本发明的第一方面，提供一种手势事件的识别方法，该方法包括：

定义手势事件，设定手势移动阈值；

在连续采集的N帧手势图像上提取手势轮廓图像，并根据所述手势轮廓的凹凸形状确定手势形状；

在N帧所述手势轮廓图像中，标定与所述手势轮廓内部相切/相接最大圆形的圆心位置；

定位N帧所述手势轮廓图像中所述圆心位置变化信息，并结合所述手势移动阈值判定手势移动方向；

根据所述手势形状和手势移动方向确定手势事件；

其中，所述N为大于等于10的正整数。

进一步地，所述定义手势事件包括：

根据可识别的手势形状定义M种手势形状类型，再根据手势形状类型定义M*(M-1)种手势形状变化类型，所述M为大于等于10的正整数；根据可识别的移动方向定义8种手势移动方向类型，所述移动方向包括上、下、左、右、左上、右上、左下、右下；

定义手势形状变化且未移动事件，可识别类型为M*(M-1)种；

定义手势形状未变化且移动事件，可识别类型为8*M种；

定义手势形状变化且移动事件，可识别类型为8*M*(M-1)种。

进一步地，所述设定手势移动阈值包括：

创建图像坐标体系，分别设定x轴和y轴移动阈值量Tx和Ty。

进一步地，所述定位N帧所述手势轮廓图像中所述圆心位置变化信息，并结合所述手势移动阈值判定手势移动方向包括：

将所述N帧所述手势轮廓图像中对应的圆心坐标存入集合；

分别计算相邻两个圆点坐标x轴、y轴方向差值Δx和Δy；

将(N-1)个所述Δx进行相加，并将(N-1)个所述Δy进行相加，以获取累计坐标差(∑Δx，∑Δy)；

将所述∑Δx、∑Δy分别与所述Tx、Ty进行比较，以判定所述手势在x轴、y轴方向是否移动，从而确定所述手势移动方向。

进一步地，所述在连续采集的N帧手势图像上提取手势轮廓图像包括：

剔除所述手势图像的背景噪声，根据手势特征在连续采集的N帧手势图像上提取ROI，并对所述ROI进行二值化处理获取手势轮廓图像。

进一步地，所述根据手势特征在连续采集的N帧手势图像上提取ROI，并对所述ROI进行二值化处理获取手势轮廓图像包括：

以人体皮肤颜色的RGB值设定阈值范围，在连续采集的N帧手势图像上提取对应像素点生成ROI，并对所述ROI进行二值化处理，将获取的最大面积轮廓确定为手势轮廓图像。

按照本发明的第二方面，提供一种游戏场景中手势的控制方法，包括：

在所述游戏场景中输入的手势事件和与所述手势事件匹配的界面操作；

采用如上所述的方法进行手势事件的识别；

所述手势事件识别成功后触发相应的界面操作。

按照本发明的第三方面，提供一种手势事件的识别系统，该系统包括：

手势采集模块，用于连续采集的N帧手势图像；

手势定义模块，用于定义手势事件，设定手势移动阈值；

第一处理模块，用于在N帧所述手势图像上提取手势轮廓图像，并根据所述手势轮廓的凹凸形状确定手势形状；

第二处理模块，用于在N帧所述手势轮廓图像中，标定与所述手势轮廓内部相切/相接最大圆形的圆心位置；定位N帧所述手势轮廓图像中所述圆心位置变化信息，并结合所述手势移动阈值判定手势移动方向；

手势识别模块，用于根据所述手势形状和手势移动方向确定手势事件；

其中，所述N为大于等于10的正整数。

进一步地，所述手势定义模块用于：

根据可识别的手势形状定义M种手势形状类型，再根据手势形状类型定义M*(M-1)种手势形状变化类型，所述M为大于等于10的正整数。

根据可识别的移动方向定义8种手势移动方向类型，所述移动方向包括上、下、左、右、左上、右上、左下、右下；

定义手势形状变化且未移动事件，可识别类型为M*(M-1)种；

定义手势形状未变化且移动事件，可识别类型为8*M种；

定义手势形状变化且移动事件，可识别类型为8*M*(M-1)种。

按照本发明的第四方面，提供一种计算机可读介质，其存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如上所述的方法。

和现有技术相比，本发明提供的一种手势事件的识别方法、系统及介质，具有以下有益技术效果：

本发明提供的手势事件的识别方法、系统及介质能检测到手势移动方向和手势形状，并将手势的移动方向和手势形状形成二维信息得到手势事件，该方法使得手势事件种类更丰富，手势事件的判断上更不易出错。

具体地，本发明提供的手势事件的识别方法包括定义手势事件、设定手势移动阈值。对视频/图像帧中手部位置进行定位和轮廓检测确定手势形状，采集连续多帧手势根据手部位置变化得到其移动方向并综合手势形状变化确定手势事件。该方法同时利用手势位置和手势形状的变化使得手势事件种类更加丰富，同时使手势事件的判断上更不易出错。

附图说明

图1为按照本发明实现的一种手势事件的识别方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

需要说明的是，本发明涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里描述或图示的那些以外的顺序实施。

需要说明的是，本发明涉及的运算符号“*”为运算符号表示前后两个常量或者向量相乘，“-”为运算符号表示前后两个常量或者向量相减，本发明中所有函数方程遵循数学的加减乘除运算法则。

根据本发明的一种实施方式，提供一种手势事件的识别方法，该方法包括：

S01：定义手势事件，设定手势移动阈值；

S02：在连续采集的N帧手势图像上提取手势轮廓图像，并根据手势轮廓的凹凸形状确定手势形状；

S03：在N帧手势轮廓图像中，标定与手势轮廓内部相切/相接最大圆形的圆心位置；

S04：定位N帧手势轮廓图像中圆心位置变化信息，并结合手势移动阈值判定手势移动方向；

S05：根据手势形状和手势移动方向确定手势事件；

进一步地，N为大于等于10的正整数。

在本实施方式中，在步骤S01中，定义手势事件包括：

进一步地，根据可识别的手势形状定义M种手势形状类型，再根据手势形状类型定义M*(M-1)种手势形状变化类型，M为大于等于10的正整数；

进一步地，根据可识别的移动方向定义8种手势移动方向类型，移动方向包括上、下、左、右、左上、右上、左下、右下；

更进一步地，定义手势形状变化且未移动事件，可识别类型为M*(M-1)种；因为可识别M种手势形状类型，那么由一种手势形状变为另一种手势形状的可识别类型为M*(M-1)种，其中由一种手势形状变为同一种手势形状的类型我们进行了剔除，因此为M*(M-1)种。定义手势形状未变化且移动事件，可识别类型为8*M种；因为可识别8种手势移动方向类型和M种手势形状类型，那么手势形状未变化且移动的可识别类型为8*M。定义手势形状变化且移动事件，可识别类型为8*M*(M-1)种；因为可识别8种手势移动方向类型，由一种手势形状变为另一种手势形状的可识别类型为M*(M-1)种，可识别手势形状变化且移动类型为8*M*(M-1)种。

进一步地，对于手势事件的定义如手势形状可以设定为“1”、“2”……“M”等M种类型手势形状，移动方向设定为“上移”、“下移”、“左移”、“右移”、“左上移”、“右上移”、“左下移”、“右下移”等8种手势移动方向类型，当然也可不限于此。

更进一步地，定义手势形状变化且未移动事件，可设定为“1”变为“2”未移动事件，“1”变为“3”未移动事件，“1”变为“M”未移动事件等M*(M-1)种；定义手势形状未变化且移动事件，可设定为左移事件，右移事件，上移事件，下移事件等8*M种；定义手势形状变化且移动事件，可设定为“1”变为“2”左移事件，“1”变为“2”右移事件，“1”变为“2”上移事件，“1”变为“2”下移事件等8*M*(M-1)种。

在本实施方式中，在步骤S01中，设定手势移动阈值包括：创建图像坐标体系，分别设定x轴和y轴移动阈值量Tx和Ty。其中，阈值越小，手势移动识别检测越灵敏。优选地，本实施例中x轴和y轴移动阈值量Tx和Ty可设为30～50像素，更优选为40像素。

在本实施方式中，在步骤S01中，手势图像来自摄像头实时视频流或者视频文件，需要提前设定采集手势图像的数量N，每次检测识别最新的N帧，N值设定大于等于10。

在本实施方式中，在步骤S02中，在连续采集的N帧手势图像上提取手势轮廓图像包括：剔除手势图像的背景噪声，根据手势特征在连续采集的N帧手势图像上提取ROI，并对ROI进行二值化处理获取手势轮廓图像。

进一步地，对采集的手势图像进行检测识别以确定手的位置，并对手提取轮廓信息，根据轮廓信息确定手势形状。具体包括：移除每帧手势图像的背景噪声，以人体皮肤颜色范围为阈值对图像做二值化处理，检测图像轮廓得到的最大面积轮廓即为手势轮廓，检测轮廓凹凸点据此判断手势形状。

更进一步地，移除每帧手势图像的背景噪声包括利用BackgroundSubtractorMOG2算法，该算法是一个以混合高斯模型为基础的前景/背景分割算法，首先运用createBackgroundSubtractorMOG()方法得到背景对象，然后再整个视频中使用backgroundsubtractor.apply()得到前景掩模，即移除背景噪声后的图像。更进一步地，根据手势特征在连续采集的N帧手势图像上提取ROI，并对ROI进行二值化处理获取手势轮廓图像包括：以人体皮肤颜色的RGB值设定阈值范围，在连续采集的N帧手势图像上提取对应像素点生成ROI，并对ROI进行二值化处理，将获取的最大面积轮廓确定为手势轮廓图像。对每帧手势图移除背景噪声，以人体皮肤颜色RGB值范围为阈值，因为人体皮肤颜色在RGB上有一个范围，检测手势图像中各像素点，在对应RGB范围内认为是肤色像素，其他为黑点。再对提取的特征区域的图像做二值化处理，检测图像轮廓得到的最大面积轮廓即为手势轮廓，检测轮廓凹凸点据此判断手势形状。其中，ROI全称为region of interest，即感兴趣区域；在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。

在本实施方式中，在步骤S03和S04中，定位N帧手势轮廓图像中圆心位置变化信息，并结合手势移动阈值判定手势移动方向包括：

将N帧手势轮廓图像中对应的圆心坐标存入集合；

分别计算相邻两个圆点坐标x轴、y轴方向差值Δx和Δy；

将(N-1)个Δx进行相加，和将(N-1)个Δy进行相加，以获取累计坐标差(∑Δx，∑Δy)；

将∑Δx、∑Δy分别与Tx、Ty进行比较，以判定手势在x轴、y轴方向是否移动，从而确定手势移动方向。

进一步地，每一帧提取的手势图像都使用大圆形内接手势轮廓，确定圆心位置并存储采集到的连续N帧手势图圆心。依次累加两相邻圆点x轴方向差值Δx和y轴方向差值Δy，得到累计值(∑Δx，∑Δy)。将∑Δx和∑Δy分别与设定的x轴和y轴移动阈值Tx和Ty进行比较：

(1)当∑Δx为正整数，∑Δy为正整数

∑Δx＜Tx、∑Δy＞Ty确定移动方向为上；

∑Δx＞Tx、∑Δy＞Ty确定移动方向为右上；

∑Δx＞Tx、∑Δy＜Ty确定移动方向为右；

∑Δx＜Tx、∑Δy＜Ty确定为未移动；

(2)当∑Δx为负整数，∑Δy为正整数

∑Δx＜-Tx、∑Δy＞Ty确定移动方向为左上；

∑Δx＞-Tx、∑Δy＞Ty确定移动方向为上；

∑Δx＞-Tx、∑Δy＜Ty确定为未移动；

∑Δx＜-Tx、∑Δy＜Ty确定移动方向为左；

(3)当∑Δx为正整数，∑Δy为负整数

∑Δx＜Tx、∑Δy＞-Ty确定为未移动；

∑Δx＞Tx、∑Δy＞-Ty确定移动方向为右下；

∑Δx＞Tx、∑Δy＜-Ty确定移动方向为右；

∑Δx＜Tx、∑Δy＜-Ty确定移动方向为下；

(4)当∑Δx为负整数，∑Δy为负整数

∑Δx＜-Tx、∑Δy＞-Ty确定移动方向为左；

∑Δx＞-Tx、∑Δy＞-Ty确定为未移动；

∑Δx＞-Tx、∑Δy＜-Ty确定移动方向为下；

∑Δx＜-Tx、∑Δy＜-Ty确定移动方向为左下；

更进一步地，利用最大圆形内接手势轮廓，圆心定义为手的中心位置。采集连续多帧记录圆心点，根据圆心点位置变化确定手势移动方向。具体步骤包括：根据获取的最大轮廓通过最大内接圆的方式确定圆心，这里采用内接圆而不使用外接圆可以减小因为手势变化导致的圆心位置产生的偏移，定义该圆心即为手势中心。采集N帧，将对应N的个圆心点存入集合，依次累加两相邻圆点x轴方向差值Δx和y轴方向差值Δy，得到累计值(∑Δx，∑Δy)。根据自己设定的x轴和y轴移动阈值Tx和Ty，比较∑Δx和Tx值确定x轴移动方向，∑Δy和Ty值确定y轴移动方向，综合二者确定手势移动方向。

在本实施方式中，在步骤S05中，根据N帧手势图中的手势形状确定手势形状变化情况，结合手势移动方向确定手势事件。

根据本发明的另一种实施方式，提供一种游戏场景中手势的控制方法，该包括：

S06:在游戏场景中输入的手势事件和与手势事件匹配的界面操作；

S07:采用步骤S01～S05进行手势事件的识别；

S08:手势事件识别成功后触发相应的界面操作。

根据本发明的一种具体地实施方式，提供一种手势事件的识别系统，该系统包括：

手势采集模块，用于连续采集的N帧手势图像；

手势定义模块，用于定义手势事件，设定手势移动阈值；

第一处理模块，用于在N帧手势图像上提取手势轮廓图像，并根据手势轮廓的凹凸形状确定手势形状；

第二处理模块，用于在N帧手势轮廓图像中，标定与手势轮廓内部相切/相接最大圆形的圆心位置；定位N帧手势轮廓图像中圆心位置变化信息，并结合手势移动阈值判定手势移动方向；

手势识别模块，用于根据手势形状和手势移动方向确定手势事件；

其中，N为大于等于10的正整数。

根据本发明的一种具体地实施方式，提供一种计算机可读介质，其存储电子设备执行的计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如上所述的方法。

应当理解，本发明的方法、流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种手势事件的识别方法，其特征在于，所述方法包括：

定义手势事件，设定手势移动阈值；

在连续采集的N帧手势图像上提取手势轮廓图像，并根据所述手势轮廓的凹凸形状确定手势形状；

在N帧所述手势轮廓图像中，标定与所述手势轮廓内部相切/相接最大圆形的圆心位置；

定位N帧所述手势轮廓图像中所述圆心位置变化信息，并结合所述手势移动阈值判定手势移动方向；

根据所述手势形状和手势移动方向确定手势事件；

其中，所述N为大于等于10的正整数。

2.根据权利要求1所述的手势事件的识别方法，其特征在于，所述定义手势事件包括：

根据可识别的手势形状定义M种手势形状类型，再根据手势形状类型定义M*(M-1)种手势形状变化类型，所述M为大于等于10的正整数；

根据可识别的移动方向定义8种手势移动方向类型，所述移动方向包括上、下、左、右、左上、右上、左下、右下；

定义手势形状变化且未移动事件，可识别类型为M*(M-1)种；

定义手势形状未变化且移动事件，可识别类型为8*M种；

定义手势形状变化且移动事件，可识别类型为8*M*(M-1)种。

3.根据权利要求1所述的手势事件的识别方法，其特征在于，所述设定手势移动阈值包括：

创建图像坐标体系，分别设定x轴和y轴移动阈值量Tx和Ty。

4.根据权利要求3所述的手势事件的识别方法，其特征在于，所述定位N帧所述手势轮廓图像中所述圆心位置变化信息，并结合所述手势移动阈值判定手势移动方向包括：

将所述N帧所述手势轮廓图像中对应的圆心坐标存入集合；

分别计算相邻两个圆点坐标x轴、y轴方向差值Δx和Δy；

将(N-1)个所述Δx进行相加，以及将(N-1)个所述Δy进行相加，以获取累计坐标差(∑Δx，∑Δy)；

将所述∑Δx、∑Δy分别与所述Tx、Ty进行比较，以判定所述手势在x轴、y轴方向是否移动，从而确定所述手势移动方向。

5.根据权利要求1所述的手势事件的识别方法，其特征在于，所述在连续采集的N帧手势图像上提取手势轮廓图像包括：

剔除所述手势图像的背景噪声，根据手势特征在连续采集的N帧手势图像上提取ROI，并对所述ROI进行二值化处理获取手势轮廓图像。

6.根据权利要求5所述的手势事件的识别方法，其特征在于，所述根据手势特征在连续采集的N帧手势图像上提取ROI，并对所述ROI进行二值化处理获取手势轮廓图像包括：

以人体皮肤颜色的RGB值设定阈值范围，在连续采集的N帧手势图像上提取对应像素点生成ROI，并对所述ROI进行二值化处理，将获取的最大面积轮廓确定为手势轮廓图像。

7.一种游戏场景中手势的控制方法，其特征在于，所述方法包括：

在所述游戏场景中输入的手势事件和与所述手势事件匹配的界面操作；

采用如权利要求1至6中任一项所述的方法进行手势事件的识别；

所述手势事件识别成功后触发相应的界面操作。

8.一种手势事件的识别系统，其特征在于，所述系统包括：

手势采集模块，用于连续采集的N帧手势图像；

手势定义模块，用于定义手势事件，设定手势移动阈值；

第一处理模块，用于在N帧所述手势图像上提取手势轮廓图像，并根据所述手势轮廓的凹凸形状确定手势形状；

第二处理模块，用于在N帧所述手势轮廓图像中，标定与所述手势轮廓内部相切/相接最大圆形的圆心位置；定位N帧所述手势轮廓图像中所述圆心位置变化信息，并结合所述手势移动阈值判定手势移动方向；

手势识别模块，用于根据所述手势形状和手势移动方向确定手势事件；

其中，所述N为大于等于10的正整数。

9.根据权利要求8所述的手势事件的识别系统，其特征在于，所述手势定义模块用于：

根据可识别的手势形状定义M种手势形状类型，再根据手势形状类型定义M*(M-1)种手势形状变化类型，所述M为大于等于10的正整数。

根据可识别的移动方向定义8种手势移动方向类型，所述移动方向包括上、下、左、右、左上、右上、左下、右下；

定义手势形状变化且未移动事件，可识别类型为M*(M-1)种；

定义手势形状未变化且移动事件，可识别类型为8*M种；

定义手势形状变化且移动事件，可识别类型为8*M*(M-1)种。

10.一种计算机可读介质，其特征在于，其存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至6任一项所述的方法。

Images