CN104063703A - 基于倒排索引方式的手势识别方法 - Google Patents

基于倒排索引方式的手势识别方法 Download PDF

Info

Publication number
CN104063703A
CN104063703A CN201410350194.8A CN201410350194A CN104063703A CN 104063703 A CN104063703 A CN 104063703A CN 201410350194 A CN201410350194 A CN 201410350194A CN 104063703 A CN104063703 A CN 104063703A
Authority
CN
China
Prior art keywords
gesture
identification method
feature information
inverted index
outline map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410350194.8A
Other languages
English (en)
Inventor
张长水
侯广东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201410350194.8A priority Critical patent/CN104063703A/zh
Publication of CN104063703A publication Critical patent/CN104063703A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于倒排索引方式的手势识别方法，包括以下步骤：获取输入图像中待识别的静态手势的手势区域信息；获取所述手势区域信息的手势特征信息；将获取的手势特征信息与预设数据集中存储的手势特征信息进行分类匹配；根据分类匹配结果获取待识别的静态手势的姿势信息并输出。本发明属于利用数据进行手势识别，避免了使用模型方法识别手势所带来的大量计算，并且相对于模型方法可以识别更大量的姿势。而本发明利用线段方向加强形状上下文特征，并利用倒排索引方法进行检索操作，相比现有数据识别手势方法更快速准确。

Description

基于倒排索引方式的手势识别方法
技术领域
本发明涉及一种基于倒排索引方式的手势识别方法。
背景技术
对于手势识别的问题，目前已有的技术方案大体可以分为两类：1、使用模型的方法：这一类方法包括为手的关节结构或外形轮廓等建立模型，利用模型来推断出手的各个部位在图像上的位置，从而完成手的姿态的识别。利用模型的方法一般需要大量的计算，依靠个人计算机在实际使用中很难实时完成。2、使用数据的方法：这一类方法首先需要采集较大量的各种手势的图片，可以通过摄像头采集真实的图片，也可以通过软件合成。在这些图片上建立起数据集。数据集中的图片通过人工标注等途径，可以得到各部位的标签，即有关手的姿势的信息。对于待识别的图像，首先在数据集中找到最相似的图片，利用数据集中图片的信息作为(或推断出)待识别的图像的信息。
利用模型的方法一般需要大量的计算，依靠个人计算机在实际使用中很难实时实现。同时由于模型的限制，这类方法一般只能识别特定的几种姿势。利用数据的方法，关键之处在于，快速而比较准确地在已建立的数据集中找出姿势与待识别图像最相似的图像。现有的方法，使用Chamfer距离衡量两幅手势图像的相似程度，这样需要与数据集中图像逐一比较，虽然对这一过程进行了加速，但仍然难以满足精度和速度的要求。
发明内容
针对上述问题，本发明的目的在于提供一种基于倒排索引方式的手势识别方法。
为达到上述目的，本发明所述一种基于倒排索引方式的手势识别方法，包括以下步骤：
获取输入图像中待识别的静态手势的手势区域信息，并获取所述手势区域信息的手势特征信息；
将获取的手势特征信息与预设数据集中存储的手势特征信息进行分类匹配；
根据分类匹配结果获取待识别的静态手势的姿势信息并输出。
优选地，获取所述手势区域信息的手势特征信息具体包括以下步骤：
将图像转化成灰度图；
利用检测边缘的算法在灰度图上获取手势的边缘图；
利用线段拟合算法对手势的边缘图进行处理，获得手势的方向边缘图；
对方向边缘图中的每个边缘点利用直方图算法获得加强的形状上下文特征。
优选地，所述利用线段拟合算法对手势的边缘图进行提取获得手势的方向边缘图的具体步骤包括：
1)以边缘图中的多个交点为分叉点，获得多条互不交叉的曲线{Si}，每条曲线由多个依次相邻的点组成，即Si＝{p1，p2，…，pNi}；
2)连接每个曲线Si的两个端点p1和pNi的线段L1，Ni；
3)计算Si中各点到线段L1，Ni的距离，选取最大距离Hm和对应的点pm，将最大距离Hm与预设阈值ε进行比较：
若Hm＞ε，则将Si以pm为端点划分为两个集合，即Si1＝{p1，p2，…，pm}和Si2＝{pm，pm+1，…，pNi}；
反之，则以当前线段作为拟合线段；
4)对Si1和Si2分别重复步骤2)和步骤3)操作，直到最大距离Hm小于或等于ε。
优选地，实现所述预设数据集中存储的手势特征信息的具体步骤为：
1)对多个摄取图像进行采集并分割得到预设大小的图像；
2)将每个图像均转化成灰度图，并利用检测边缘的算法在灰度图上获取手势的边缘图，并进一步利用线段拟合算法获取方向边缘图；
3)对方向边缘图中的每个边缘点利用直方图算法获得形状上下文特征；
4)对每个形状上下文特征通过层次的C均值聚类法进行分类以获得多个视觉单词；
5)建立视觉单词-图像的倒排索引表并存储。
优选地，将获取的手势特征信息与预设数据集中存储的手势特征信息进行分类匹配具体为：将获取的手势特征信息转化为视觉单词，与预设数据集内视觉单词进行匹配，使数据集中的具有最多匹配视觉单词的姿势作为识别的姿势。
本发明的有益效果为：
本发明属于利用数据进行手势识别，避免了使用模型方法识别手势所带来的大量计算，并且相对于模型方法可以识别更大量的姿势。而本发明利用线段方向加强形状上下文特征，利用倒排索引方法进行检索操作，相比现有数据识别手势方法更快速准确。
附图说明：
图1为本发明实施例经过处理得到方向边缘图的每步变化示意图；
图2为本发明实施例利用线段拟合算法得到方向边缘图的过程示意图；
图3为本发明实施例利用直方图算法获得加强的形状上下文特征的转换示意图；
图4为本发明实施例所述方法的流程图。
具体实施方式
下面结合说明书附图对本发明做进一步的描述。
首先需要建立一个预设数据集，以便于对待识别手势进行识别处理。建立预设数据集主要包括以下步骤：
通过摄像头采集很多手势图像，并对所拍摄的图像进行分割得到预设大小的图像。将每个图像均转化成灰度图，并利用检测边缘的算法在灰度图上获取手势的边缘图，并进一步利用线段拟合算法获取方向边缘图。对方向边缘图中的每个边缘点利用直方图算法获得加强的形状上下文特征。对所有特征通过层次的C均值聚类法进行分类以获得多个视觉单词，并用各自的ID表示。建立视觉单词-图像的倒排索引表并存储。表中的每一行对应一个视觉单词，记录每个视觉单词出现的图像ID。
对于上述步骤，需要说明的是：
获取手势的边缘图所使用的边缘检测方法可以是Canny边缘检测法，该检测方法是John F.Canny提出的一种边缘检测算法，该算法使用较广泛。形状上下文特征的提出是用来描述图像中物体形状的描述子，该方法已广泛应用。倒排索引也被称为反向索引，常用于文档的检索。使用倒排索引，可以快速的检索出某个单词出现的文档的列表。该检索方法较为常用。
如图4所示，本发明实施例所述一种基于倒排索引方式的手势识别方法，包括以下步骤：获取输入图像中待识别的静态手势的手势区域信息；获取所述手势区域信息的手势特征信息；将获取的手势特征信息与预设数据集中存储的手势特征信息进行分类匹配；根据分类匹配结果获取待识别的静态手势的姿势信息并输出。
如图1所示为经过处理得到方向边缘图的每步变化示意图。在进行得到方向边缘图之前，需要确定所述获取输入图像中待识别的静态手势的手势区域信息，该信息的确定目前可以采用很多方法进行处理，比如肤色分割方法，该方法为现有技术。确定手势区域信息后，接着获取手势特征信息。在图中可以看出，获取所述手势区域信息的手势特征信息具体包括以下步骤：将图像转化成灰度图；利用检测边缘的算法在灰度图上获取手势的边缘图；利用线段拟合算法对手势的边缘图进行提取获得手势的方向边缘图。该线段拟合算法得到方向边缘图的过程由图2所示可以看出。
在处理步骤上，所述利用线段拟合算法对手势的边缘图进行提取获得手势的方向边缘图的具体步骤包括：
1.1)以边缘图中的多个交点为分叉点，获得多条互不交叉的曲线{Si}，每条曲线由多个依次相邻的点组成，即Si＝{p1，p2，…，pNi}；
1.2)连接每个曲线Si的两个端点p1和pNi的线段L1，Ni；
1.3)计算Si中各点到线段L1，Ni的距离，选取最大距离Hm和对应的点pm，将最大距离Hm与预设阈值ε进行比较：
若Hm＞ε，则将Si以pm为端点划分为两个集合，即Si1＝{p1，p2，…，pm}和Si2＝{pm，pm+1，…，pNi}；
反之，则以当前线段作为拟合线段。
4)对Si1和Si2分别重复步骤2)和步骤3)操作，直到最大距离Hm小于或等于ε。
2、对方向边缘图中的每个边缘点利用直方图算法以加强形状上下文特征。该直方图算法具体可见附图3所示。在图中，左图中的不同箭头表示由上述方法计算得到的不同的角度值。而右图是对这些角度值在直方图中的具体体现。对所有特征通过层次的C均值聚类法进行分类以获得多个视觉单词；建立视觉单词-图像的倒排索引表并存储。
在识别过程中，将获取的手势特征信息与预设数据集内各个视觉单词内的特征信息进行匹配，以使其中一个视觉单词内特性信息与所获取的手势特性信息匹配数最多。对得到的这个视觉单词利用倒排索引方法在倒排索引表内进行检索，找到数据集中与待检测图片具有相同单词的图片，并将数据集中检索出的图片的姿势信息作为待检测图片的姿势信息。
以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (5)

1.一种基于倒排索引方式的手势识别方法，其特征在于，包括以下步骤：
获取输入图像中待识别的静态手势的手势区域信息，并获取所述手势区域信息的手势特征信息；
将获取的手势特征信息与预设数据集中存储的手势特征信息进行分类匹配；
根据分类匹配结果获取待识别的静态手势的姿势信息并输出。
2.根据权利要求1所述的基于倒排索引方式的手势识别方法，其特征在于，获取所述手势区域信息的手势特征信息具体包括以下步骤：
将图像转化成灰度图；
利用检测边缘的算法在灰度图上获取手势的边缘图；
利用线段拟合算法对手势的边缘图进行处理，获得手势的方向边缘图；
对方向边缘图中的每个边缘点利用直方图算法获得加强的形状上下文特征。
3.根据权利要求2所述的基于倒排索引方式的手势识别方法，其特征在于，所述利用线段拟合算法对手势的边缘图进行提取获得手势的方向边缘图的具体步骤包括：
1)以边缘图中的多个交点为分叉点，获得多条互不交叉的曲线{Si}，每条曲线由多个依次相邻的点组成，即Si＝{p1，p2，…，pNi}；
2)连接每个曲线Si的两个端点p1和pNi的线段L1，Ni；
3)计算Si中各点到线段L1，Ni的距离，选取最大距离Hm和对应的点pm，将最大距离Hm与预设阈值ε进行比较：
若Hm＞ε，则将Si以pm为端点划分为两个集合，即Si1＝{p1，p2，…，pm}和Si2＝{pm，pm+1，…，pNi}；
反之，则以当前线段作为拟合线段；
4)对Si1和Si2分别重复步骤2)和步骤3)操作，直到最大距离Hm小于或等于ε。
4.根据权利要求1所述的基于倒排索引方式的手势识别方法，其特征在于，实现所述预设数据集中存储的手势特征信息的具体步骤为：
1)对多个摄取图像进行采集并分割得到预设大小的图像；
2)将每个图像均转化成灰度图，并利用检测边缘的算法在灰度图上获取手势的边缘图，并进一步利用线段拟合算法获取方向边缘图；
3)对方向边缘图中的每个边缘点利用直方图算法加强形状上下文特征；
4)对每个形状上下文特征通过层次的C均值聚类法进行分类以获得多个视觉单词；
5)建立视觉单词-图像的倒排索引表并存储。
5.根据权利要求4所述的基于倒排索引方式的手势识别方法，其特征在于，将获取的手势特征信息与预设数据集中存储的手势特征信息进行分类匹配具体为：将获取的手势特征信息转化为视觉单词，与预设数据集内视觉单词进行匹配，使数据集中的具有最多匹配视觉单词的姿势作为识别的姿势。
CN201410350194.8A 2014-07-22 2014-07-22 基于倒排索引方式的手势识别方法 Pending CN104063703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410350194.8A CN104063703A (zh) 2014-07-22 2014-07-22 基于倒排索引方式的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410350194.8A CN104063703A (zh) 2014-07-22 2014-07-22 基于倒排索引方式的手势识别方法

Publications (1)

Publication Number Publication Date
CN104063703A true CN104063703A (zh) 2014-09-24

Family

ID=51551408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410350194.8A Pending CN104063703A (zh) 2014-07-22 2014-07-22 基于倒排索引方式的手势识别方法

Country Status (1)

Country Link
CN (1) CN104063703A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
CN102254015A (zh) * 2011-07-21 2011-11-23 上海交通大学 基于视觉词组的图像检索方法
US20120027263A1 (en) * 2010-08-02 2012-02-02 Sony Corporation Hand gesture detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
US20120027263A1 (en) * 2010-08-02 2012-02-02 Sony Corporation Hand gesture detection
CN102254015A (zh) * 2011-07-21 2011-11-23 上海交通大学 基于视觉词组的图像检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EDGAR ROMAN-RANGEL ET AL.: "Analyzing Ancient Maya Glyph Collections with Contextual Shape Descriptors", 《INT J COMPUT VIS(2011)》 *
LINDA G.SHAPIRO等: "《计算机视觉》", 31 March 2005 *
侯广东: "基于形状上下文特征和概率权重的手势识别方法", 《清华大学博士生学术论坛暨自研联学术论坛论文集2013（4）》 *
刘俊梅: "基于视觉的手势识别技术研究", 《万方数据知识服务平台》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法

Similar Documents

Publication Publication Date Title
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN110458805B (zh) 一种平面检测方法、计算设备以及电路系统
CN103207898B (zh) 一种基于局部敏感哈希的相似人脸快速检索方法
CN105844669B (zh) 一种基于局部哈希特征的视频目标实时跟踪方法
Gomez-Ojeda et al. Training a convolutional neural network for appearance-invariant place recognition
CN105740780B (zh) 人脸活体检测的方法和装置
WO2016054802A1 (en) Hierarchical interlinked multi-scale convolutional network for image parsing
CN105493078B (zh) 彩色草图图像搜索
CN106991370B (zh) 基于颜色和深度的行人检索方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN109858476B (zh) 标签的扩充方法和电子设备
CN104915949A (zh) 一种结合点特征和线特征的图像匹配算法
CN105320945A (zh) 图像分类的方法及装置
CN110188217A (zh) 图像查重方法、装置、设备和计算机可读储存介质
CN108287833A (zh) 一种用于艺术品鉴定的以图搜图方法
Redondo-Cabrera et al. All together now: Simultaneous object detection and continuous pose estimation using a hough forest with probabilistic locally enhanced voting
Wang et al. Real-time hand posture recognition based on hand dominant line using kinect
CN104517101A (zh) 一种基于像素平方差匹配的游戏扑克牌识别方法
AU2018202767A1 (en) Data structure and algorithm for tag less search and svg retrieval
CN103984942A (zh) 一种物象识别的方法及移动终端
CN112037180B (zh) 染色体分割方法及装置
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN106611030B (zh) 基于视频的对象相似度比较方法和检索方法及其系统
CN110879983B (zh) 一种人脸特征关键点的提取方法和一种人脸图像合成方法
CN113628113A (zh) 一种图像拼接方法及其相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140924

WD01 Invention patent application deemed withdrawn after publication