CN106650391A - 一种基于手势识别的解锁装置及其解锁方法 - Google Patents

Abstract

本发明提供一种基于手势识别的解锁装置及其解锁方法，包括：显示模块、图像采集模块、图像处理与识别模块和指尖及其运动轨迹跟踪模块。显示模块用于显示密码解锁界面；图像采集模块，用于采集垂直方向上的图像信息；图像处理与识别模块，用于处理和识别所采集到的图像信息，并与预设的密码解锁界面的启动手势比较，匹配则密码解锁界面启动，否则，就不启动；指尖及其运动轨迹跟踪模块，用于从手部区域中找到指尖，并将其运动轨迹作为解锁信号，与预存的解锁信号对比，若匹配则解锁装置变更状态，否则就维持不变。本发明的手势锁定和解锁功能可以避免操作失误，同时能快速准确的定位手部区域，且不需要进行机器学习，计算量小，识别速度快。

Description

一种基于手势识别的解锁装置及其解锁方法

【技术领域】

本发明涉及生物特征识别技术领域，具体涉及一种基于手势识别的解锁装置及其解锁方法。

【背景技术】

基于机器视觉的人体动作和手势识别是实现新一代人机交互系统所不可缺少的一项关键技术。手势控制一般可分为接触式手势控制和非接触式手势控制，接触式手势控制包括手机等智能移动终端上使用的触摸屏，用户可以在触摸屏显示界面上进行人机交互。基于机器视觉的非接触式手势控制，是实现新一代人机交互系统所不可缺少的一项关键技术，其应用日益广泛。通过在设备上安装视觉采集装置，实时获取并识别用户的手势控制信号，从而达到良好的人机交互。

对于一些大屏幕的电子设备，如智能电视等，不适合使用接触式手势解锁，用户体验也不好，而非接触式手势解锁，可以弥补这一不足。因此，目前越来越多的家庭娱乐设备和电子产品采用非接触式手势控制作为人机交互方式。然而，在非接触式手势控制系统中，系统会根据用户的肢体动作做出相应的响应，用户无意的一个手势动作可能会导致控制系统的误操作。因此，在非接触式控制系统中需要具备手势控制的锁定和解锁功能。

【发明内容】

本发明的发明目的在于：针对上述存在的问题，提供一种基于手势的解锁装置和方法，旨在提高手势解锁的识别效率，使得解锁操作更加方便快捷，且能够避免操作失误。

为了实现上述目的，本发明采用的技术方案如下：

一种基于手势识别的解锁装置，其特征在于，包括：

显示模块，用于显示密码解锁界面；

图像采集模块，用于采集与所述密码解锁界面相对应的垂直方向上的图像信息；

图像处理与识别模块，用于处理和识别所述图像信息，从检测到的手部区域中识别手势变化，若该变化的手势与预设的密码解锁界面的启动手势匹配，则所述密码解锁界面启动；若不匹配，则密码解锁界面不启动；

指尖及其运动轨迹跟踪模块，用于从所述的手部区域中找到指尖，并跟踪指尖在密码解锁界面上的运动轨迹，该运动轨迹作为解锁信号，与所述图像处理与识别模块中预存的解锁信号对比，若匹配则解锁装置由第一状态变更到第二状态，若不匹配，则解锁装置状态维持不变。

优选的，所述手势变化为由手掌变为拳头或由拳头变为手掌。

优选的，所述手掌表示至少有一个手指伸出的手势；所述拳头表示手握紧时，五指向内弯曲握拢的手势。

优选的，所述第一状态为锁定状态。

优选的，所述第二状态为解锁状态。

优选的，所述密码解锁界面采用九宫格图案。

本发明还提供一种基于手势识别的解锁方法，其特征在于，包括以下步骤：

S1：初始化图像处理与识别模块中的手势库，预设密码解锁界面启动的手势和解锁手指轨迹；

S2：由图像采集模块采集与密码解锁界面相对应的垂直方向上的图像信息；

S3：图像处理与识别模块获取步骤S2中的图像信息，采用肤色分割的方法来检测手部区域；

S4：图像处理与识别模块从检测到的手部区域中识别手势变化，若变化的手势与步骤S1中预设的密码解锁界面的启动手势匹配，则密码解锁界面启动，进入步骤S5；若不匹配，则密码解锁界面不启动；

S5：指尖及其运动轨迹检测模块从检测到的手部区域中识别出指尖，并跟踪指尖在密码解锁界面上的运动轨迹，并与步骤S1中预设的解锁手指轨迹对比：若匹配，则解锁装置由锁定状态变更为解锁状态；若不匹配，则解锁装置维持不变。

优选的，所述步骤S3中图像处理与识别模块检测手部区域的步骤具体为：

S31：对步骤S2中所采集到的RGB图像信息提取肤色区域，并转换到YCbCr空间，提取Cb和Cr分量，设定阈值，将图像二值化，其中140<Cr<200并且80<Cb<200；

S32：对二值化后的图像进行中值滤波和形态学操作，用于消除噪声的干扰；其中，形态学操作包括膨胀和腐蚀；

S33：对去噪后的二值图像进行连通域查找，并计算每个连通域的面积，提取两个面积最大的连通域，所述两个面积最大的连通域分别为手的区域和脸部区域；若连通域的面积小于预设阈值，则该连通域非手部区域，将小于该阈值的连通域内的像素值置零；

S34：在提取的两个面积最大的连通域中，采用基于Adaboost的人脸检测算法进行人脸检测；若存在人脸，则将人脸区域所对应的连通域内的像素值置零。

优选的，所述步骤S5识别手部区域中指尖的位置的方法为：

首先确定手部区域的中心，计算手部区域的中心到手部边缘的平均距离u；然后确定手部区域中距离手部区域中心的最远点的位置，以及该点与手部区域中心点之间的距离d；若d与平均距离u之比大于2，表示该位置为指尖所在位置。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)本发明能够快速准确地定位手部区域，用于后续操作，既可以用于手手势识别，也可以用于手势跟踪；

(2)在非接触式手势控制系统中，系统会根据用户的肢体动作做出相应的响应，用户无意的一个手势动作可能会导致控制系统的误操作。本发明的手势锁定和解锁功能可以避免操作失误。

(3)本发明结构简单有效，不需要采用机器学习的方法进行学习，计算量小，识别速度快。

【附图说明】

图1是本发明一种基于手势识别的解锁装置一较佳实施方式的结构示意图。

图2是本发明一种基于手势识别的解锁方法一较佳实施方式的流程图。

其中，1为显示模块；2为图像采集模块；3为图像处理与识别模块；4为指尖及其运动轨迹跟踪模块。

【具体实施方式】

本发明一较佳实施方式提供一种基于手势识别的解锁装置，包括显示模块1、图像采集模块2、图像处理与识别模块3和指尖及其运动轨迹跟踪模块4。其中显示模块1、图像采集模块2和指尖及其运动轨迹跟踪模块4分别与图像处理与识别模块3相连接。

其中：

显示模块1，用于显示密码解锁界面，本实施例中，密码解锁界面采用九宫格图案；

图像采集模块2，用于采集与密码解锁界面相对应的垂直方向上的图像信息；

图像处理与识别模块3，用于处理和识别图像采集模块采集到的图像信息，从检测到的手部区域中识别手势变化，若该变化的手势与预设的密码解锁界面的启动手势匹配，则密码解锁界面启动；若不匹配，则密码解锁界面不启动。在本实施例中，手势变化是指由手掌变为拳头或由拳头变为手掌的变化。手掌表示至少有一个手指伸出的手势，拳头则表示手握紧时，五指向内弯曲握拢的手势。

指尖及其运动轨迹跟踪模块4，用于从图像的手部区域中找到指尖，并跟踪指尖在密码解锁界面上的运动轨迹，该运动轨迹作为解锁信号，与图像处理与识别模块中预存的解锁信号对比，若匹配则解锁装置由第一状态变更到第二状态，若不匹配，则解锁装置状态维持不变。本实施例中，第一状态为锁定状态，第二状态为解锁状态。

本发明还提供了一种基于手势识别的解锁方法，如图2所示，它包括以下步骤：

S1：初始化图像处理与识别模块3中的手势库，预设密码解锁界面启动的手势和解锁手指轨迹；

S2：由图像采集模块2采集与密码解锁界面相对应的垂直方向上的图像信息；

S3：图像处理与识别模块3获取步骤S2中的图像信息，采用肤色分割的方法来检测手部区域，其具体步骤为：

S31：对步骤S2中所采集到的RGB图像信息提取肤色区域，并转换到YCbCr空间，提取Cb和Cr分量，设定阈值，将图像二值化，其中140<Cr<200并且80<Cb<200；

S32：对二值化后的图像进行中值滤波和形态学操作，用于消除噪声的干扰；其中，形态学操作包括膨胀和腐蚀；

S33：对去噪后的二值图像进行连通域查找，并计算每个连通域的面积，提取两个面积最大的连通域；所述两个面积最大的连通域分别为手的区域和脸部区域；若连通域的面积小于预设阈值，则该连通域非手部区域，将小于该阈值的连通域内的像素值置零；

S34：在提取的两个面积最大的连通域中，采用基于Adaboost的人脸检测算法进行人脸检测；若存在人脸，则将人脸区域所对应的连通域内的像素值置零。

S4：图像处理与识别模块从检测到的手部区域中识别手势变化，若该变化的手势与步骤S1中预设的密码解锁界面的启动手势匹配，则密码解锁界面启动，进入S5；若不匹配，则密码解锁界面不启动；

S5：指尖及其运动轨迹检测模块从检测到的手部区域中识别出指尖，并跟踪指尖在密码解锁界面上的运动轨迹，并与步骤S1中预设的解锁手指轨迹对比：若匹配，则解锁装置由锁定状态变更为解锁状态；若不匹配，则解锁装置维持不变。其中识别手部区域中指尖的位置的具体方法为：

首先确定手部区域的中心，计算手部区域中心到手部边缘的平均距离u；然后确定手部区域中距离手部区域中心的最远点的位置，以及该点与手部区域中心点之间的距离d；若d与平均距离u之比大于2，表示该位置为指尖所在位置。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (9)

1.一种基于手势识别的解锁装置，其特征在于，包括：

显示模块，用于显示密码解锁界面；

图像采集模块，用于采集与所述密码解锁界面相对应的垂直方向上的图像信息；

图像处理与识别模块，用于处理和识别所述图像信息，从检测到的手部区域中识别手势变化，若该变化的手势与预设的密码解锁界面的启动手势匹配，则所述密码解锁界面启动；若不匹配，则密码解锁界面不启动；

指尖及其运动轨迹跟踪模块，用于从所述的手部区域中找到指尖，并跟踪指尖在密码解锁界面上的运动轨迹，该运动轨迹作为解锁信号，与所述图像处理与识别模块中预存的解锁信号对比，若匹配则解锁装置由第一状态变更到第二状态，若不匹配，则解锁装置状态维持不变。

2.根据权利要求1所述的一种基于手势识别的解锁装置，其特征在于，所述手势变化为由手掌变为拳头或由拳头变为手掌。

3.根据权利要求2所述的一种基于手势识别的解锁装置，其特征在于，所述手掌表示至少有一个手指伸出的手势；所述拳头表示手握紧时，五指向内弯曲握拢的手势。

4.根据权利要求1所述的一种基于手势识别的解锁装置，其特征在于，所述第一状态为锁定状态。

5.根据权利要求1所述的一种基于手势识别的解锁装置，其特征在于，所述第二状态为解锁状态。

6.根据权利要求1所述的一种基于手势识别的解锁装置，其特征在于，所述密码解锁界面采用九宫格图案。

7.一种基于手势识别的解锁方法，其特征在于，包括以下步骤：

S1：初始化图像处理与识别模块中的手势库，预设密码解锁界面启动的手势和解锁手指轨迹；

S2：由图像采集模块采集与密码解锁界面相对应的垂直方向上的图像信息；

S3：图像处理与识别模块获取步骤S2中的图像信息，采用肤色分割的方法来检测手部区域；

S4：图像处理与识别模块从检测到的手部区域中识别手势变化，若变化的手势与步骤S1中预设的密码解锁界面的启动手势匹配，则密码解锁界面启动，进入步骤S5；若不匹配，则密码解锁界面不启动；

S5：指尖及其运动轨迹检测模块从检测到的手部区域中识别出指尖，并跟踪指尖在密码解锁界面上的运动轨迹，并与步骤S1中预设的解锁手指轨迹对比：若匹配，则解锁装置由锁定状态变更为解锁状态；若不匹配，则解锁装置维持不变。

8.根据权利要求7所述的一种基于手势识别的解锁方法，其特征在于，所述步骤S3中图像处理与识别模块检测手部区域的步骤具体为：

S31：对步骤S2中所采集到的RGB图像信息提取肤色区域，并转换到YCbCr空间，提取Cb和Cr分量，设定阈值，将图像二值化，其中140<Cr<200并且80<Cb<200；

S32：对二值化后的图像进行中值滤波和形态学操作，用于消除噪声的干扰；其中，形态学操作包括膨胀和腐蚀；

S33：对去噪后的二值图像进行连通域查找，并计算每个连通域的面积，提取两个面积最大的连通域，所述两个面积最大的连通域分别为手的区域和脸部区域；若连通域的面积小于预设阈值，则该连通域非手部区域，将小于该阈值的连通域内的像素值置零；

S34：在提取的两个面积最大的连通域中，采用基于Adaboost的人脸检测算法进行人脸检测；若存在人脸，则将人脸区域所对应的连通域内的像素值置零。

9.根据权利要求7所述的一种基于手势识别的解锁方法，其特征在于，所述步骤S5识别手部区域中指尖的位置的方法为：

首先确定手部区域的中心，计算手部区域的中心到手部边缘的平均距离u；然后确定手部区域中距离手部区域中心的最远点的位置，以及该点与手部区域中心点之间的距离d；若d与平均距离u之比大于2，表示该位置为指尖所在位置。