CN106203236A - 一种基于视觉的手势识别方法和系统 - Google Patents

Abstract

本发明提供一种基于视觉的手势识别方法和系统，包括：分别获取在红外LED灯关和开的情况下的手势的红外图像R和L；对所述红外图像R和红外图像L进行灰度对比，提取得到手势区域图；利用图像检测边缘算法在所述手势区域图上获取手势边缘图；通过视频滤波算法在所述手势边缘图上计算出手势特征点，再根据所述手势特征点对用户的手势进行识别。本发明所述基于视觉的手势识别方法和系统可实现快速、精确、实时的手势识别功能。

Description

一种基于视觉的手势识别方法和系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种基于视觉的手势识别方法和系统。

背景技术

近年来计算机已经成为人们日常生活的一部分，人们与计算机的交互也日益成为科研领域的热点。传统的人机交互方式已经不能满足人们对“智能化”人机交互领域的需求。但是如何让机器理解人一直是一个难题，因此如果能够借助各种传感设备实时提取人的行为的三维操控信息并设定某些规则使机器理解这些信息，将是解决这个问题的关键。

目前实现3D目标重建的方法主要有三种技术路线：(1)结构光技术：结构光技术利用可控光源和图像处理技术结合来进行目标重建。其基本思想是利用光源中的几何信息来帮助提取目标的几何信息。这种技术的缺点是物体需要跟光源保持一定的距离，不能用于过短或过长的距离，而且其精度也不高。(2)飞行时间技术：是基于测量激光或者其它光源脉冲光束的飞行时间来进行物体深度测量，这种技术的缺点是成本高，不利于大范围推广。(3)双目立体视觉技术：属于计算机视觉领域，它是通过两台不同位置的摄像机拍摄同一幅场景，并通过计算对应点在两幅图像中的位置偏差，来获得该点的三维坐标值。它系统结构简单，精度较高，成本低，在很多领域都极具应用价值。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术。

已有的传统的手势识别方法有很多的缺点。目前较为典型的手势识别技术是基于RGB彩色相机的手势动作识别方法，例如已公开的专利文献(公开号为CN102592113A)。这种识别方法通常采用基于皮肤颜色来确定手的位置，利用摄像头对拍摄图像，通过对图像进行肤色识别，识别出用户的手部。由于图像对可见光线敏感，容易受光照、复杂背景等因素的影响，导致这种识别方式的提取效果、通用性差。

已公开的专利文献(公开号为CN103714322A)提出了一种实时手势识别方法及装置，能在一帧内边进行图像实时输出边进行该算法图像处理，但是其计算和处理信息量大，识别速度低。

发明内容

针对以上问题，本发明专利目的在于设计了一种基于视觉的手势识别方法和系统，可实现快速、精确、实时的手势识别功能。

本发明是通过以下技术方案实现的：

一种基于视觉的手势识别方法，包括：

分别获取在红外LED灯关和开的情况下的手势的红外图像R和L；

对所述红外图像R和红外图像L进行灰度对比，提取得到手势区域图；

利用图像检测边缘算法在所述手势区域图上获取手势边缘图；

通过视频滤波算法在所述手势边缘图上计算出手势特征点，再根据所述手势特征点对用户的手势进行识别。

进一步，本发明所述获取手势区域图进一步包括：

设置一个灰度阈值；

逐点计算红外图像R和红外图像L中每个像素点灰度值的差值；

提取差值超过所述灰度阈值的区域，得到手势区域图。

进一步，本发明所述图像检测边缘算法为Canny算子或者Sobel算子。

进一步，本发明选取手指尖位置作为所述手势特征点。

本发明还提供一种基于视觉的手势识别系统，包括：

视频采集模块，用于获取手势红外图像；

图像处理模块，用于对所述红外图像进行灰度对比，得到手势区域图；

边缘提取模块，用于在所述手势区域图上获取手势边缘图；

特征提取模块，用于在所述手势边缘图上计算出手势特征点。

进一步，本发明所述视频采集模块包括红外摄像头、红外LED、红外滤光片和控制器。

进一步，本发明所述边缘提取模块采用Canny算子或者Sobel算子获取手势边缘图。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1是本发明基于视觉的手势识别方法的流程图；

图2是本发明基于视觉的手势识别系统的视频采集模块示意图；

图3是本发明基于视觉的手势识别方法的提取手势区域图的流程图；

图4是本发明基于视觉的手势识别方法的原理图；

图5是本发明基于视觉的手势识别系统的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明。

本发明提出了一种基于视觉的手势识别方法，主要是针对近距离应用条件下，结合红外LED的辅助，精确提取有效区域，去除无效点，通过模式识别达到实现实时手势识别的目的，同时利用这些信息结合操作规则实现体感操控。

请参阅图1是本发明基于视觉的手势识别方法的流程图，包括如下步骤：

步骤S101，分别获取在红外LED灯关和开的情况下的手势的红外图像R和L；

具体的，视频获取利用视频采集模块实现视频的获取，请参阅图2是本发明的基于视觉的手势识别系统的视频采集模块示意图，主要部件包括：红外摄像头，红外LED，红外滤光片以及相应的控制器。通过该模块结合算法可以实现区域选择与操作点计算功能。

首先，红外LED灯处于关闭状态，先利用摄像头拍摄一张图片，得到红外图像R；然后打开红外LED灯，得到由摄像头拍摄到的红外图像L。

步骤S102，对所述红外图像R和红外图像L进行灰度对比，提取得到手势区域图；

具体的，将红外图像R和红外图像L通过逐点计算每个像素灰度值的大小差值，把差值超过一个设定阈值的点提取出来，从而得到有效区域的信息，提取得到手势区域图。请参阅图3是本发明基于视觉的手势识别方法的提取手势区域图的流程图，为实现实时区域选择，需要使LED以一定的频率闪烁。

步骤S103，利用图像检测边缘算法在所述手势区域图上获取手势边缘图；

具体的，对得到的手势区域图进行腐蚀操作，去除边缘处由于遮挡产生的无效的边缘点，得到可靠的手势区域图，利用图像边缘检测算法，比如Canny算子、Sobel算子等方法计算得到手势边缘图。

步骤S104，通过视频滤波算法在所述手势边缘图上计算出手势特征点；

具体的，为了得到可靠应用点，通过滤波计算算法所述手势边缘图上计算出手指尖位置作为特征点。为了重构出完整物体，通过抓取边缘得到边缘点，内部的点在计算完成后通过对边缘点进行插值得到。由于我们在近距离中绝大多数情况下得到的内部区域满足平滑条件，这样的插值理论上是比较精确的。

请参阅图4是本发明基于视觉的手势识别方法的原理图，通过上述的计算，可以得到目标的手势特征点点在视场内X方向、Y方向的实时坐标，通过该实时坐标，并结合一定的规则，就可以利用该设备进行体感操作。

本发明还提供一种基于视觉的手势识别系统，请参阅图5是本发明基于视觉的手势识别系统的示意图，包括：

视频采集模块，用于获取手势红外图像，主要部件包括红外摄像头，红外LED，红外滤光片以及相应的控制器；

图像处理模块，用于对所述红外图像进行灰度对比，得到手势区域图；

边缘提取模块，用于在所述手势区域图上获取手势边缘图；

特征提取模块，用于在所述手势边缘图上计算出手势特征点。

本发明主要是针对近距离应用条件下，结合红外LED的辅助，精确提取有效区域，去除无效点，通过模式识别达到实现实时手势识别的目的，同时利用这些信息结合操作规则实现体感操控。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (7)

1.一种基于视觉的手势识别方法和系统，其特征在于，包括：分别获取在红外LED灯关和开的情况下的手势的红外图像R和L；

对所述红外图像R和红外图像L进行灰度对比，提取得到手势区域图；

利用图像检测边缘算法在所述手势区域图上获取手势边缘图；

通过视频滤波算法在所述手势边缘图上计算出手势特征点，再根据所述手势特征点对用户的手势进行识别。

2.根据权利要求1所述的基于视觉的手势识别方法，其特征在于，所述得到手势区域图进一步包括：

设置一个灰度阈值；

逐点计算红外图像R和红外图像L中每个像素点灰度值的差值；

提取差值超过所述灰度阈值的区域，得到手势区域图。

3.根据权利要求1所述的基于视觉的手势识别方法，其特征在于，所述图像检测边缘算法为Canny算子或者Sobel算子。

4.根据权利要求1所述的基于视觉的手势识别方法，其特征在于，选取手指尖位置作为所述手势特征点。

5.一种基于视觉的手势识别系统，其特征在于，包括：

视频采集模块，用于获取手势红外图像；

图像处理模块，用于对所述红外图像进行灰度对比，得到手势区域图；

边缘提取模块，用于在所述手势区域图上获取手势边缘图；

特征提取模块，用于在所述手势边缘图上计算得到手势特征点。

6.根据权利要求5所述的基于视觉的手势识别系统，其特征在于，所述视频采集模块包括红外摄像头、红外LED、红外滤光片和控制器。

7.根据权利要求5所述的基于视觉的手势识别系统，其特征在于，所述边缘提取模块采用Canny算子或者Sobel算子获取手势边缘图。