CN110334644B - 基于机器视觉的手势识别方法 - Google Patents

基于机器视觉的手势识别方法 Download PDF

Info

Publication number
CN110334644B
CN110334644B CN201910588097.5A CN201910588097A CN110334644B CN 110334644 B CN110334644 B CN 110334644B CN 201910588097 A CN201910588097 A CN 201910588097A CN 110334644 B CN110334644 B CN 110334644B
Authority
CN
China
Prior art keywords
gesture
gestures
recognition
image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910588097.5A
Other languages
English (en)
Other versions
CN110334644A (zh
Inventor
马宏宾
罗嫚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gongji Intelligent Technology Suzhou Co ltd
Original Assignee
Gongji Intelligent Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gongji Intelligent Technology Suzhou Co ltd filed Critical Gongji Intelligent Technology Suzhou Co ltd
Priority to CN201910588097.5A priority Critical patent/CN110334644B/zh
Publication of CN110334644A publication Critical patent/CN110334644A/zh
Application granted granted Critical
Publication of CN110334644B publication Critical patent/CN110334644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于机器视觉的手势识别方法，在深度图像上，利用支持向量机训练基于HOG特征的手势分类器，用于图像序列中手势位置的检测；通过检测得到初始位置后，使用CAMSHIFT跟踪手势目标，定位出每一帧图像中手所在的区域；通过种子点生长算法和基于形状、深度信息的弱分割器交替级联，可以实现对手势区域的精确分割；采用基于手势几何特征的模板匹配法和实现端到端识别的卷积神经网络进行识别手势。实现高精度以及高鲁棒性的识别效果及实现对同一图像中多个手势的检出和识别。

Description

基于机器视觉的手势识别方法
技术领域
本发明涉及智能控制技术，特别涉及智能识别技术领域，具体的，其展示一种基于机器视觉的手势识别方法。
背景技术
人机交互技术(Human-Computer Interface, HCI）主要关注于人类和计算设备之间如何进行有效的信息交换。现阶段而言，发展较为成熟的人机交互方式包括基于语音分析的交互技术、基于脑电分析的技术、人类肢体动作的识别技术以及手势识别技术等等。
这些交互方式都在各自的应用领域发挥着革命性的作用。对比上述几种人机交互手段，手势作为一种简单的肢体语言，有很强的表意功能，它在人们的日常交流中发挥着等同于语音的重要作用。
随着计算机处理性能的提高，手势识别相关理论算法的成熟，手势交互作为一种自然、高效的交互手段，正在逐步成为智能人机交互的重要组成部分。
因此，有必要提供一种机器视觉的手势识别方法来实现上述目的。
发明内容
本发明的目的是提供一种基于机器视觉的手势识别方法。
技术方案如下：
一种基于机器视觉的手势识别方法，使用摄像头来获取图像信息，通过检测图像中的手势的位置并提取手势特征进行手势识别；具体步骤为：
1）手势检测：采用HOG+SVM 的方法去检测图像中手势所在的位置；
2）利用跟踪算法来对手势进行连续跟踪：跟踪算法为CAMSHIFT 跟踪算法可以很好的适应手势的变化，它会自适应的调整跟踪窗口的尺寸以适配图像中手势区域，且可应用于多个手势的同时跟踪，实现对多个手势快速、精准的跟踪；
3）对手势区域进行进一步精确的分割：基于手势检测和跟踪算法得到的手势所在局部区域，通过多次区域种子点生长和基于深度、形状信息的弱分割方法交替级联操作，以实现对手势实现像素级的高精度分割；
4）采用基于几何特征的模板匹配法或实现端到端识别的卷积神经网络对分割得到的手势区域完成识别。
进一步的，步骤1）中，考虑到手势的多变性，如果针对每一个手势均训练一个分类器，会极大的提高系统的复杂性以及加大手势检测所需时间，基于HOG 描述子，通过支持向量机训练用于检测该手势的分类器。
进一步的，步骤4）中，基于几何特征的模板匹配算法，为手工编辑手势几何特征，再利用模板匹配法衡量新样本手势和模板手势在特征空间的距离，找到和样本最近的模板即为匹配的结果。
进一步的，步骤4）中实现端到端识别的卷积神经网络为对于训练好的网络，仅需要输入单独的手势图像，即可直接计算得到手势的分类结果，通过卷积网络自动产生大量的抽象特征，并用利用Softmax 回归基于抽象特征对手势进行识别。
与现有技术相比，本发明通过手势检测和跟踪算法来预定位手势位置，再利用分割算法进行分割的方法。该方法可以极大的提高分割的精度，且分割效果受环境影响小；手势检测和跟踪算法的组合可以实现对一副图像中多个手势的同时检出和跟踪，克服常规方法一般默认图像中仅含有一个手势的弊端；通过多次区域生长和弱约束条件分割操作，相比采用单一分割条件，可以更精确的分割出前景区域的像素点；基于几何特征的模板匹配法依赖于手工编辑的手势轮廓和形状特征，利用欧氏距离，衡量样本与模板间的相似度，根据相似度来确定样本的分类；卷积神经网络的方法通过参数训练可以实现自动提取目标的抽象特征，利用Softmax 回归对手势进行分类需要较少的人工干预，可以实现更好的识别准确率。
具体实施方式
实施例：
一种基于机器视觉的手势识别方法，使用摄像头来获取图像信息，通过检测图像中的手势的位置并提取手势特征进行手势识别；具体步骤为；具体步骤为：
1）手势检测：采用HOG+SVM 的方法去检测图像中手势所在的位置；
2）利用跟踪算法来对手势进行连续跟踪：跟踪算法为CAMSHIFT 跟踪算法可以很好的适应手势的变化，它会自适应的调整跟踪窗口的尺寸以适配图像中手势区域，且可应用于多个手势的同时跟踪，实现对多个手势快速、精准的跟踪；
3）对手势区域进行进一步精确的分割：基于手势检测和跟踪算法得到的手势所在局部区域，通过多次区域种子点生长和基于深度、形状信息的弱分割方法交替级联操作，以实现对手势实现像素级的高精度分割；
4）采用基于几何特征的模板匹配法或实现端到端识别的卷积神经网络对分割得到的手势区域完成识别。
步骤1）中，考虑到手势的多变性，如果针对每一个手势均训练一个分类器，会极大的提高系统的复杂性以及加大手势检测所需时间，基于HOG 描述子，通过支持向量机训练用于检测该手势的分类器。
步骤4）中，基于几何特征的模板匹配算法，为手工编辑手势几何特征，再利用模板匹配法衡量新样本手势和模板手势在特征空间的距离，找到和样本最近的模板即为匹配的结果。
步骤4）中实现端到端识别的卷积神经网络为对于训练好的网络，仅需要输入单独的手势图像，即可直接计算得到手势的分类结果，通过卷积网络自动产生大量的抽象特征，并用利用Softmax 回归基于抽象特征对手势进行识别。
与现有技术相比，本发明通过手势检测和跟踪算法来预定位手势位置，再利用分割算法进行分割的方法。该方法可以极大的提高分割的精度，且分割效果受环境影响小；手势检测和跟踪算法的组合可以实现对一副图像中多个手势的同时检出和跟踪，克服常规方法一般默认图像中仅含有一个手势的弊端；通过多次区域生长和弱约束条件分割操作，相比采用单一分割条件，可以更精确的分割出前景区域的像素点；基于几何特征的模板匹配法依赖于手工编辑的手势轮廓和形状特征，利用欧氏距离，衡量样本与模板间的相似度，根据相似度来确定样本的分类；卷积神经网络的方法通过参数训练可以实现自动提取目标的抽象特征，利用Softmax 回归对手势进行分类需要较少的人工干预，可以实现更好的识别准确率。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种基于机器视觉的手势识别方法，其特征在于：使用摄像头来获取图像信息，通过检测图像中的手势的位置并提取手势特征进行手势识别；具体步骤为：
1）手势检测：采用HOG+SVM 的方法去检测图像中手势所在的位置；
2）利用跟踪算法来对手势进行连续跟踪：跟踪算法为CAMSHIFT 跟踪算法可以很好的适应手势的变化，它会自适应的调整跟踪窗口的尺寸以适配图像中手势区域，且可应用于多个手势的同时跟踪，实现对多个手势快速、精准的跟踪；
3）对手势区域进行进一步精确的分割：基于手势检测和跟踪算法得到的手势所在局部区域，通过多次区域种子点生长和基于深度、形状信息的弱分割方法交替级联操作，以实现对手势实现像素级的高精度分割；
4）采用基于几何特征的模板匹配法或实现端到端识别的卷积神经网络对分割得到的手势区域完成识别；实现端到端识别的卷积神经网络为对于训练好的网络，仅需要输入单独的手势图像，即可直接计算得到手势的分类结果，通过卷积网络自动产生大量的抽象特征，并用利用Softmax回归基于抽象特征对手势进行识别。
2. 根据权利要求1所述的一种基于机器视觉的手势识别方法，其特征在于：步骤1）中，考虑到手势的多变性，如果针对每一个手势均训练一个分类器，会极大的提高系统的复杂性以及加大手势检测所需时间，采用基于HOG 描述子，通过支持向量机训练用于检测该手势的分类器。
3.根据权利要求2所述的一种基于机器视觉的手势识别方法，其特征在于：步骤4）中，基于几何特征的模板匹配算法，为手工编辑手势几何特征，再利用模板匹配法衡量新样本手势和模板手势在特征空间的距离，找到和样本最近的模板即为匹配的结果。
CN201910588097.5A 2019-07-02 2019-07-02 基于机器视觉的手势识别方法 Active CN110334644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910588097.5A CN110334644B (zh) 2019-07-02 2019-07-02 基于机器视觉的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910588097.5A CN110334644B (zh) 2019-07-02 2019-07-02 基于机器视觉的手势识别方法

Publications (2)

Publication Number Publication Date
CN110334644A CN110334644A (zh) 2019-10-15
CN110334644B true CN110334644B (zh) 2024-01-12

Family

ID=68144717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910588097.5A Active CN110334644B (zh) 2019-07-02 2019-07-02 基于机器视觉的手势识别方法

Country Status (1)

Country Link
CN (1) CN110334644B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336967A (zh) * 2013-05-27 2013-10-02 东软集团股份有限公司 一种手部运动轨迹检测方法及装置
WO2018032703A1 (zh) * 2016-08-16 2018-02-22 广州视源电子科技股份有限公司 跟踪指部轮廓的方法及其装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336967A (zh) * 2013-05-27 2013-10-02 东软集团股份有限公司 一种手部运动轨迹检测方法及装置
WO2018032703A1 (zh) * 2016-08-16 2018-02-22 广州视源电子科技股份有限公司 跟踪指部轮廓的方法及其装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Real-time Hand Postures Estimation Method;Sunjie Chen;《The 7th Annual IEEE International Conference on Cyber Technology in Automation, Control and Intelligent Systems》;第1059-1064页 *
基于多线索的运动手部分割方法;阮晓钢;林佳;于乃功;朱晓庆;Ouattara Sie;;电子与信息学报(第05期);第1088-1095页 *
基于深度图像HOG特征的实时手势识别方法;VanBang L E等;《华东理工大学学报(自然科学版)》;20151030(第05期);全文 *
基于视觉的手势识别系统;陈孙杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180131;第I页摘要，第22页第3章，第35、40-41页第4章，第51、55-59、65页第6章 *

Also Published As

Publication number Publication date
CN110334644A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
US9489561B2 (en) Method and system for estimating fingerprint pose
CN103971102A (zh) 基于手指轮廓和决策树的静态手势识别方法
CN110232308B (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN106909909B (zh) 一种基于共享卷积特征的人脸检测与对齐方法
CN108427942A (zh) 一种基于深度学习的手掌检测与关键点定位方法
DE102008052928A1 (de) Vorrichtung, Verfahren und Computerprogramm zur Erkennung einer Geste in einem Bild, sowie Vorrichtung, Verfahren und Computerprogramm zur Steuerung eines Geräts
CN108876795A (zh) 一种图像中物体的分割方法及系统
CN111368762A (zh) 基于改进的K-means聚类算法的机器人手势识别方法
WO2018076484A1 (zh) 一种基于视频的捏合指尖跟踪方法
CN104217192A (zh) 基于深度图像的手定位方法和设备
CN110414340A (zh) 一种船闸监控系统中的船舶识别方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN103034851A (zh) 自学习的基于肤色模型的手部跟踪装置及方法
CN110781761A (zh) 一种具有监督环节的指尖实时跟踪方法
WO2019085060A1 (zh) 一种机器人的挥手检测方法、系统及一种机器人
Ikram et al. Real time hand gesture recognition using leap motion controller based on CNN-SVM architechture
Xiao et al. Trajectories-based motion neighborhood feature for human action recognition
CN110334644B (zh) 基于机器视觉的手势识别方法
CN111145216B (zh) 一种视频图像目标的跟踪方法
Bao et al. A new approach to hand tracking and gesture recognition by a new feature type and HMM
CN111191510B (zh) 基于关系网络的复杂场景下遥感图像小样本目标识别方法
CN110163888B (zh) 一种新型的运动分割模型数量检测方法
WO2019223763A1 (zh) 图像检测方法、装置、设备及介质，图案化控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant