CN112308041A - 一种基于视觉的无人平台手势控制方法 - Google Patents

一种基于视觉的无人平台手势控制方法 Download PDF

Info

Publication number
CN112308041A
CN112308041A CN202011346791.5A CN202011346791A CN112308041A CN 112308041 A CN112308041 A CN 112308041A CN 202011346791 A CN202011346791 A CN 202011346791A CN 112308041 A CN112308041 A CN 112308041A
Authority
CN
China
Prior art keywords
gesture
image
area
vision
unmanned platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011346791.5A
Other languages
English (en)
Inventor
任国全
唐香珺
王怀光
范红波
李晓磊
周景涛
吴定海
曹凤利
韩兰懿
张云强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN202011346791.5A priority Critical patent/CN112308041A/zh
Publication of CN112308041A publication Critical patent/CN112308041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的无人平台手势控制方法，所述方法具体如下：第一步，图像获取，第二步，图像预处理，对存储数据进行处理，包括手势图像的去噪、分割与二值化操作；第三步，特征提取，采用基于形状特征的识别算法，在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类；按照手势图像中手指的方向及数目区分为指向手势图像；然后分别在边界图像和二值图像中提取手势图像面积、周长、重心特征，构成三维特征向量；第四步，手势识别，本发明的基于视觉的无人平台手势控制方法，通过摄像机获取手势图像，通过图像预处理及特征提取，识别并读取手势数据，并将其发送给无人平台，对无人平台进行遥控。

Description

一种基于视觉的无人平台手势控制方法
技术领域
本发明涉及一种无人平台控制系统，具体涉及一种基于视觉的无人平台手势控制方法，属于无人平台控制系统技术领域。
背景技术
无论是在民用领域还是在国防安全领域，无人平台技术都得到了广泛的关注和迅猛的发展；在无人平台的使用过程中，由于工作环境的复杂性和变化性，目前仍无法完全自主地完成任务，需要操作者通过遥控技术完成无人平台的运动规划。无人平台的遥控方式有很多种，主要分为接触式遥控方式和非接触式遥控方式。传统意义上的接触式遥控方式依赖于触摸屏、键盘等交互方式。随着科技水平的不断发展，传统的接触式遥控方式在无人平台遥控中逐渐不能满足需求，由此产生了一些非接触式遥控方式越来越多被人们所使用，如手势、语音、眼动及脑电等遥控方式；手势遥控方式相比其他非接触式遥控方式在遥控过程中更为直观和自然，也更加符合人们一般操作的习惯和特点，因此应用更为广泛；根据手势的采集设备可以把手势识别系统分为两类：基于视觉的手势识别系统和基于数据手套的手势识别系统；基于数据手套的手势识别系统是最早的手势识别系统；需要用户佩戴数据手套，通过数据手套来测量出手指或者手臂的关节角度和位置等信息，进而来识别用户的手势；随着目前计算机视觉技术的发展，基于视觉的手势识别技术也越来越成熟；它主要通过摄像机来采集手势的视觉信息；从视频图像中提取手势，并进行识别；用户不需要佩戴任何的设备，可以直接与计算机之间进行交互；因为基于视觉的手势识别技术对输入设备的成本低，对用户的限制少，且人手是处于一种自然状态，使人能够以自然的方式与计算机之间进行交互的优点；所以基于视觉的手势识别技术符合人机交互技术发展的方向，也是未来手势识别技术发展的趋势和目标；但目前，无人平台的遥控主要以传统接触式遥控为主，其还无法将手势识别应用到无人平台。
发明内容
为解决上述问题，本发明提出了一种基于视觉的无人平台手势控制方法，通过构建基于视觉的手势识别系统的基本运行框架，实现无人平台的手势识别与遥控功能；对于无人平台，能够实现基于视觉的手势控制。
本发明的基于视觉的无人平台手势控制方法，所述方法具体如下：
第一步，图像获取，选用基于双目视觉的手势识别，即采用两个摄像机采集人手动作，采集后进行存储；
第二步，图像预处理，对存储数据进行处理，包括手势图像的去噪、分割与二值化操作；
第三步，特征提取，采用基于形状特征的识别算法，在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类；按照手势图像中手指的方向及数目区分为指向手势图像；然后分别在边界图像和二值图像中提取手势图像面积、周长、重心特征，构成三维特征向量；最后采用类似度进行模板匹配，实现对手势的细分类；
第四步，手势识别，在进行识别之前，通过数据建模，创建一个标准手势的样本库，当两个摄像头分别捕捉到手势，首先通过图像预处理及特征提取，获得遥控命令手势，继而与样本库进行比对，通过计算输入手势的特征向量与样本库中每一图像的特征向量的欧式距离，判定输入图像与样本图像间的匹配程度，最后选择匹配度最高的样本图像为操作指令手势。
进一步地，所述特征提取具体如下：在基于形状特征的识别算法中，通过在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类，按照手势图像中手指的方向及数目把手势图像分成向上、向右、向下和向左类型；然后分别在边界图像和二值图像中提取手势图像面积、周长、重心特征，构成三维特征向量；最后采用类似度进行模板匹配，实现对字母手势的细分类；在基于傅里叶描述的识别算法中，首先采用八邻域搜索法对二值化的手势图像进行边缘检测，得到连通的手势外轮廓，然后计算边界点序列的傅里叶系数得到傅里叶描述子，并将傅里叶描述子进行归一化，构建手势图像的特征向量，最后通过计算输入手势的特征向量与样本库中每一图像的特征向量的欧式距离，判定输入图像与样本图像间的匹配程度。
进一步地，所述图像预处理具体如下：包括手势区域的检测、分割与二值化操作，首先在较大尺度下，通过对人体躯干等结构的识别并在彩色图像中检测手势所在区域，其次利用图像分割，将手势区域分割出来，然后将得到的手势区域利用自适应阈值对图像进行二值化操作，并将背景区域置0，手势区域置1，最后再将手势区域平移至图像中心，并将图像规范为统一大小作为神经网络的输入。
进一步地，所述手势识别还包括基于CNN神经网络的动态手势识别。
本发明与现有技术相比较，本发明的基于视觉的无人平台手势控制方法，通过摄像机获取手势图像，通过图像预处理及特征提取，识别并读取手势数据，并将其发送给无人平台，对无人平台进行遥控。同时随着无人平台的实际运行，将实际运行轨迹反馈给手势操控端，通过手势操控使得无人平台能够按理想的轨迹运行。
附图说明
图1是本发明的手势控制方法流程示意图。
图2是本发明的手势识别流程示意图。
图3是本发明的图像预处理示意图。
图4是本发明的图像预处理结果示意图。
图5是本发明的常见的手势的最小外接矩形识别示意图。
具体实施方式
实施例1：
如图1至图4所示的基于视觉的无人平台手势控制方法，所述方法具体如下：
第一步，图像获取，选用基于双目视觉的手势识别，即采用两个摄像机采集人手动作，采集后进行存储；
第二步，图像预处理，对存储数据进行处理，包括手势图像的去噪、分割与二值化操作；
第三步，特征提取，采用基于形状特征的识别算法，在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类；按照手势图像中手指的方向及数目区分为指向手势图像；然后分别在边界图像和二值图像中提取手势图像面积、周长、重心特征，构成三维特征向量；最后采用类似度进行模板匹配，实现对手势的细分类；
第四步，手势识别，在进行识别之前，通过数据建模，创建一个标准手势的样本库，当两个摄像头分别捕捉到手势，首先通过图像预处理及特征提取，获得遥控命令手势，继而与样本库进行比对，通过计算输入手势的特征向量与样本库中每一图像的特征向量的欧式距离，判定输入图像与样本图像间的匹配程度，最后选择匹配度最高的样本图像为操作指令手势；为减少识别时的计算量，引入手势轮廓最小外接矩形的宽长比作为特征，进行初步识别，手势轮廓的宽长比作为手势的全局特征，计算简单且能快速找到相似手势，其如图5所示。
其中，所述特征提取具体如下：在基于形状特征的识别算法中，通过在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类，按照手势图像中手指的方向及数目把手势图像分成向上、向右、向下和向左类型；然后分别在边界图像和二值图像中提取手势图像面积、周长、重心特征，构成三维特征向量；最后采用类似度进行模板匹配，实现对字母手势的细分类；在基于傅里叶描述的识别算法中，首先采用八邻域搜索法对二值化的手势图像进行边缘检测，得到连通的手势外轮廓，然后计算边界点序列的傅里叶系数得到傅里叶描述子，并将傅里叶描述子进行归一化，构建手势图像的特征向量，最后通过计算输入手势的特征向量与样本库中每一图像的特征向量的欧式距离，判定输入图像与样本图像间的匹配程度。
其中，所述图像预处理具体如下：包括手势区域的检测、分割与二值化操作，首先在较大尺度下，通过对人体躯干等结构的识别并在彩色图像中检测手势所在区域，其次利用图像分割，将手势区域分割出来，然后将得到的手势区域利用自适应阈值对图像进行二值化操作，并将背景区域置0，手势区域置1，最后再将手势区域平移至图像中心，并将图像规范为统一大小作为神经网络的输入。
其中，所述手势识别还包括基于CNN神经网络的动态手势识别，其通过模仿大脑神经突触的信息处理过程而建立的网络模型，CNN是一种局部激活的前馈型神经网络，具有局部感受、权值共享与降采样三大基本特征，典型的CNN主要由输入层、输出层、卷积层、池化层以及全连接层组成，其具有较强的容错能力与适应性。
上述实施例，仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (4)

1.一种基于视觉的无人平台手势控制方法，其特征在于：所述方法具体如下：
第一步，图像获取，选用基于双目视觉的手势识别，即采用两个摄像机采集人手动作，采集后进行存储；
第二步，图像预处理，对存储数据进行处理，包括手势图像的去噪、分割与二值化操作；
第三步，特征提取，采用基于形状特征的识别算法，在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类；按照手势图像中手指的方向及数目区分为指向手势图像；然后分别在边界图像和二值图像中提取手势图像面积、周长、重心特征，构成三维特征向量；最后采用类似度进行模板匹配，实现对手势的细分类；
第四步，手势识别，在进行识别之前，通过数据建模，创建一个标准手势的样本库，当两个摄像头分别捕捉到手势，首先通过图像预处理及特征提取，获得遥控命令手势，继而与样本库进行比对，通过计算输入手势的特征向量与样本库中每一图像的特征向量的欧式距离，判定输入图像与样本图像间的匹配程度，最后选择匹配度最高的样本图像为操作指令手势。
2.根据权利要求1所述的基于视觉的无人平台手势控制方法，其特征在于：所述特征提取具体如下：
在基于形状特征的识别算法中，通过在边界图像的基础上根据手势区域的形状特征对手势图像进行粗分类，按照手势图像中手指的方向及数目把手势图像分成向上、向右、向下和向左类型；然后分别在边界图像和二值图像中提取手势图像面积、周长、重心特征，构成三维特征向量；最后采用类似度进行模板匹配，实现对字母手势的细分类；在基于傅里叶描述的识别算法中，首先采用八邻域搜索法对二值化的手势图像进行边缘检测，得到连通的手势外轮廓，然后计算边界点序列的傅里叶系数得到傅里叶描述子，并将傅里叶描述子进行归一化，构建手势图像的特征向量，最后通过计算输入手势的特征向量与样本库中每一图像的特征向量的欧式距离，判定输入图像与样本图像间的匹配程度。
3.根据权利要求1所述的基于视觉的无人平台手势控制方法，其特征在于：所述图像预处理具体如下：包括手势区域的检测、分割与二值化操作，首先在较大尺度下，通过对人体躯干等结构的识别并在彩色图像中检测手势所在区域，其次利用图像分割，将手势区域分割出来，然后将得到的手势区域利用自适应阈值对图像进行二值化操作，并将背景区域置0，手势区域置1，最后再将手势区域平移至图像中心，并将图像规范为统一大小作为神经网络的输入。
4.根据权利要求1所述的基于视觉的无人平台手势控制方法，其特征在于：所述手势识别还包括基于CNN神经网络的动态手势识别。
CN202011346791.5A 2020-11-26 2020-11-26 一种基于视觉的无人平台手势控制方法 Pending CN112308041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011346791.5A CN112308041A (zh) 2020-11-26 2020-11-26 一种基于视觉的无人平台手势控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011346791.5A CN112308041A (zh) 2020-11-26 2020-11-26 一种基于视觉的无人平台手势控制方法

Publications (1)

Publication Number Publication Date
CN112308041A true CN112308041A (zh) 2021-02-02

Family

ID=74487843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011346791.5A Pending CN112308041A (zh) 2020-11-26 2020-11-26 一种基于视觉的无人平台手势控制方法

Country Status (1)

Country Link
CN (1) CN112308041A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400812A (zh) * 2023-06-05 2023-07-07 中国科学院自动化研究所 基于表面肌电信号的应急救援手势识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679145A (zh) * 2013-12-06 2014-03-26 河海大学 一种手势自动识别方法
CN109886225A (zh) * 2019-02-27 2019-06-14 浙江理工大学 一种基于深度学习的图像手势动作在线检测与识别方法
CN110796033A (zh) * 2019-10-12 2020-02-14 江苏科技大学 一种基于包围盒模型的静态手势识别方法
CN111860346A (zh) * 2020-07-22 2020-10-30 苏州臻迪智能科技有限公司 动态手势识别方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679145A (zh) * 2013-12-06 2014-03-26 河海大学 一种手势自动识别方法
CN109886225A (zh) * 2019-02-27 2019-06-14 浙江理工大学 一种基于深度学习的图像手势动作在线检测与识别方法
CN110796033A (zh) * 2019-10-12 2020-02-14 江苏科技大学 一种基于包围盒模型的静态手势识别方法
CN111860346A (zh) * 2020-07-22 2020-10-30 苏州臻迪智能科技有限公司 动态手势识别方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪成为 等: "《灵境 虚拟现实 技术的理论、实现及应用》", 30 September 1993, 清华大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400812A (zh) * 2023-06-05 2023-07-07 中国科学院自动化研究所 基于表面肌电信号的应急救援手势识别方法及装置
CN116400812B (zh) * 2023-06-05 2023-09-12 中国科学院自动化研究所 基于表面肌电信号的应急救援手势识别方法及装置

Similar Documents

Publication Publication Date Title
Sagayam et al. Hand posture and gesture recognition techniques for virtual reality applications: a survey
Chen et al. Repetitive assembly action recognition based on object detection and pose estimation
Sarkar et al. Hand gesture recognition systems: a survey
Ibraheem et al. Survey on various gesture recognition technologies and techniques
Khan et al. Hand gesture recognition: a literature review
Hasan et al. Hand gesture modeling and recognition using geometric features: a review
US8570383B2 (en) Apparatus, method and computer program for recognizing a gesture in a picture, and apparatus, method and computer program for controlling a device
Lahiani et al. Real time hand gesture recognition system for android devices
Li Gesture recognition based on fuzzy c-means clustering algorithm
CN111444488A (zh) 一种基于动态手势的身份认证方法
Lee et al. Robust fingertip extraction with improved skin color segmentation for finger gesture recognition in Human-robot interaction
CN114792443A (zh) 一种基于图像识别的智能设备手势识别控制方法
Choudhury et al. A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition
Hu et al. Temporal interframe pattern analysis for static and dynamic hand gesture recognition
Sarma et al. Hand gesture recognition using deep network through trajectory-to-contour based images
Lahiani et al. Real Time Static Hand Gesture Recognition System for Mobile Devices.
CN112308041A (zh) 一种基于视觉的无人平台手势控制方法
Achari et al. Gesture based wireless control of robotic hand using image processing
Thomas et al. A comprehensive review on vision based hand gesture recognition technology
Dhamanskar et al. Human computer interaction using hand gestures and voice
Heer et al. An improved hand gesture recognition system based on optimized msvm and sift feature extraction algorithm
Karthik et al. Survey on Gestures Translation System for Hearing Impaired People in Emergency Situation using Deep Learning Approach
Bakheet A fuzzy framework for real-time gesture spotting and recognition
Li Vision based gesture recognition system with high accuracy
Yoon et al. Human computer interface for gesture-based editing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication