CN106354262A - 基于gl优化的神经网络手势识别人机交互方法 - Google Patents

基于gl优化的神经网络手势识别人机交互方法 Download PDF

Info

Publication number
CN106354262A
CN106354262A CN201610811148.2A CN201610811148A CN106354262A CN 106354262 A CN106354262 A CN 106354262A CN 201610811148 A CN201610811148 A CN 201610811148A CN 106354262 A CN106354262 A CN 106354262A
Authority
CN
China
Prior art keywords
gesture
algorithm
neutral net
data
interaction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610811148.2A
Other languages
English (en)
Other versions
CN106354262B (zh
Inventor
李东洁
李洋洋
杨柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201610811148.2A priority Critical patent/CN106354262B/zh
Publication of CN106354262A publication Critical patent/CN106354262A/zh
Application granted granted Critical
Publication of CN106354262B publication Critical patent/CN106354262B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Abstract

本发明涉及基于GL优化的神经网络手势识别人机交互方法，通过Data Glove 14 Ultra数据手套对操作者的手势进行采集，再将采集到的数据进行处理，然后通过基于GL算法优化的神经网络进行网络学习训练，最后将其训练好的算法应用到基于数据手套的手势识别中，实现机器人的遥操作。

Description

基于GL优化的神经网络手势识别人机交互方法
技术领域
本发明涉及智能识别领域技术，特别是基于数据手套手势识别的人机交互方法。
背景技术
随着虚拟现实技术的发展，数据手套作为一种自然高效的人机交互设备，广泛应用于手语识别、机器人控制及远程虚拟装配等多个领域，提供了一种新的信息交互方式。数据手套通过传感器采集手势数据，并将数据输人到计算机，计算机对数据进行处理分析，以便对虚拟手做出不同的手势控制，实现与虚拟环境的交互，为充分发挥手的自然灵活性创造条件。目前的产品已经能够利用传感器在三维空间中精确检测手指的弯曲程度，再结合空间定位测试，可以为用户提供一种真实自然的三维交互手段。为了保证数据手套与所控制的机器人运动的实时性与控制精度，手势识别的控制方法成为一个聚焦点。
针对基于数据手套的机器人远程控制系统，其技术核心是保证手势识别的准确性和实时性，因此控制机器人运动的手势数据信息的采集和训练周期成为设计算法的关键点。
发明内容
本发明所要解决的技术问题是提供一种基于GL优化的神经网络手势识别人机交互方法，解决现有的手势识别算法存在延时及周期较长等问题，实现基于数据手套的机器人遥操作系统的实时性，给操作者带来更好的操作体验及较高精度的机器人控制设备。
本发明解决其技术问题所采取的技术方案是：提供一种基于GL优化的神经网络手势识别人机交互方法，通过Data Glove 14 Ultra数据手套对操作者的手势进行采集，再将采集到的数据进行处理，然后通过基于GL算法优化的神经网络进行网络学习训练，最后将其训练好的算法应用到基于数据手套的手势识别中，与其定义的手势匹配，实现机器人的遥操作。
所谓的基于GL优化的神经网络手势识别人机交互方法包括手势定义、GL优化RBF网络算法及手势的提取与匹配。
在手势定义时，首先通过数据手套的传感器采集手势数据，其次对采集到的数据进行分析及归一化处理，使得每个传感器的输出值在 0~1 之间，最后根据机器人的几个主要运动轴定义其控制手势。
GL算法优化RBF神经网络，首先建立RBF神经网络，借助遗传算法并通过最近邻聚类法获得神经网络的参数，在给定遗传代数内进行初步计算得到权值系数的一组初值；其次，采用遗传算法和LM交替训练神经网络，进行最优化求解；然后根据所要求的训练精度及构造函数的逼近性能对函数模板进行调整，对通过LM算法与遗传算法经反复交替训练，直到满足我们限制的精度或者达到训练的最大次数时输出其最优值。
手势提取匹配，首先将采集到的连续流数据进行分割提取，其方法是通过软件上设计将采样时间设置为100ms，将连续的手势数据流变为离散的静态手势片段，s1到sn则表示为连续数据流切割后的手势片段。将每个待测的手势片段与目标手势模板按照相似度进行逐点累加比对，输出局部最优解，为避免不必要局部最优值，设置一个误差阈值δ用于排除干扰，最后输出全局最优解作为最终的手势匹配，实现基于手势数据手套手势识别的机器人遥操作。
由于采用上述技术方案，本发明同现有技术相比，克服了神经网络的局部最优缺陷，通过LM算法和遗传算法的优缺互补，很好的完成神经网络的权值训练，使得神经网络的训练质量增加，具有较好的收敛速度和逼近能力，该算法大大降低了手势识别过程中的数据处理的复杂性，能够有效的提高训练速度，减少训练时间，使得数据手套与机器人操作系统的实时性和控制精度有明显的改善。
附图说明
图1为基于数据手套的虚拟手交互操作系统框图
图2为Data Glove 14 Ultra数据手套传感器分布图
图3为手势定义图
图4为GL算法优化RBF神经网络权值流程图
图5为手势识别曲线图。
具体实施方式
操作者戴上数据手套通过传感器采集手势数据，并将数据输人到计算机，计算机对数据进行处理分析，然后通过基于GL算法优化的神经网络进行网络学习训练，最后将其训练好的算法应用到基于数据手套的手势识别中，实现与虚拟环境的交互，为充分发挥手的自然灵活性创造条件，如图1所示为基于数据手套的虚拟手交互操作系统框图。
所谓的基于GL优化的神经网络手势识别人机交互方法包括手势定义、GL优化RBF网络算法及手势的提取与匹配。
在手势定义时包括以下步骤：
（1）通过数据手套的传感器采集手势数据，Data Glove 14 Ultra数据手套的传感器分布图如图2所示；
（2）为保证每个传感器的输出值在 0~1 之间，对采集到的数据进行分析及归一化处理，即，其中和表示原始数据的最大值和最小值，要通过多次试验来设定；Max表示校正数据的最大值，即校正数据的范围为[0…Max]；表示原始数据的当前测量值；out表示经计算之后的校正数据。这样就极大地方便了用户的使用，便于用户直接获取数据手套的校正数据；
（3）根据机器人的主要运动轴L、S、U、R、B、T定义其控制手势，手势定义如图3所示。
GL算法优化RBF神经网络流程如图4所示，其操作步骤：
（1）基函数的中心位置及基宽度的选取在RBF神经网络学习过程中是十分重要的，我们采用最近邻聚类法，对经预处理的输入数据进行聚类，从而确定隐含层各个神经元的基函数中心，然后依据聚类的结果选取适当的基宽度，本文我们取基宽值为聚类中心与训练样本之间的平均距离，即：
式中b为基宽度，M j 为样本类中的模式数，x为网络的输入向量，C j 为基函数中心，在给定遗传代数内进行初步计算得到权值系数的一组初值；
（2）其次，运用GA算法微调一下步骤（1）中得到的初值，然后采用遗传算法和LM交替训练神经网络，进行最优化求解；
（3）根据所要求的训练精度及构造函数的逼近性能对函数模板进行调整，在重复步骤（2）中LM算法与遗传算法的交替训练，直到满足设定的精度或者达到训练的最大次数时输出其最优值，详细算法流程见图4。
手势提取匹配包括一下步骤：
（1）将采集到的连续流数据进行分割提取，其方法是通过软件设计设置采样时间，将连续的手势数据流变为离散的静态手势片段。设想St=（s1，s2，…，sn），即St表示时间长度为t的连续数据流，s1到sn则表示为连续数据流切割后的手势片段。将每个待测的手势片段与目标手势模板按照相似度进行逐点累加比对，输出局部最优解，最后输出全局最优解作为最终的手势匹配。其误差判别方法为Δ(si，mi)= 1/2(si-mi)2 ,Δ(si，mi)则表示为待测片段si与目标手势模板mi的误差度；
（2）为了减小手势片段对比过程中产生的不必要局部最优值，设置一个误差阈值δ用于排除干扰，进行误差判断。如图5所示为一段20s的手势数据流匹配曲线，从图中我们可以看出每个手势都有各自的识别时间，不会相互干扰。手势匹配后根据手势定义的指令要求进行运动指令控制。

Claims (4)

1.基于GL优化的神经网络手势识别人机交互方法，通过Data Glove 14 Ultra数据手套对操作者的手势进行采集，再将采集到的数据进行处理，进行手势定义，然后通过GL算法优化的神经网络进行网络学习训练，最后将其训练好的算法应用到基于数据手套的手势识别中，与其定义的手势匹配，实现机器人的遥操作。
2.根据权利要求1所述的基于GL优化的神经网络手势识别人机交互方法，其特征在于，GL算法优化RBF神经网络，首先建立RBF神经网络，借助遗传算法并通过最近邻聚类法获得神经网络的参数，在给定遗传代数内进行初步计算得到权值系数的一组初值。
3.根据权利要求2所述的基于GL优化的神经网络手势识别人机交互方法，运用GA算法对参数进行粗调，采用GA算法和LM交替训练神经网络，进行最优化求解；然后根据所要求的训练精度及构造函数的逼近性能对函数模板进行调整，通过LM算法与遗传算法经反复交替训练，直到满足我们限制的精度或者达到训练的最大次数时输出其最优值。
4.根据权利要求1所述的基于GL优化的神经网络手势识别人机交互方法，其特征在于，手势提取匹配，将采集到的连续流数据通过进行分割提取，采样时间设置为100ms，将连续的手势数据流变为离散的静态手势片段，s1到sn则表示为连续数据流切割后的手势片段；将每个待测的手势片段与目标手势模板按照相似度进行逐点累加比对，输出局部最优解，为避免不必要局部最优值，设置一个误差阈值δ用于排除干扰，最后输出全局最优解作为最终的手势匹配，手势匹配后根据定义的指令要求进行运动控制。
CN201610811148.2A 2016-09-09 2016-09-09 基于gl优化的神经网络手势识别人机交互方法 Expired - Fee Related CN106354262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610811148.2A CN106354262B (zh) 2016-09-09 2016-09-09 基于gl优化的神经网络手势识别人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610811148.2A CN106354262B (zh) 2016-09-09 2016-09-09 基于gl优化的神经网络手势识别人机交互方法

Publications (2)

Publication Number Publication Date
CN106354262A true CN106354262A (zh) 2017-01-25
CN106354262B CN106354262B (zh) 2019-06-07

Family

ID=57857840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610811148.2A Expired - Fee Related CN106354262B (zh) 2016-09-09 2016-09-09 基于gl优化的神经网络手势识别人机交互方法

Country Status (1)

Country Link
CN (1) CN106354262B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106896796A (zh) * 2017-02-13 2017-06-27 上海交通大学 基于数据手套的工业机器人主从式示教编程方法
CN106990846A (zh) * 2017-04-06 2017-07-28 哈尔滨理工大学 基于lvq‑ga‑bp的数据手套手势识别算法
CN109992093A (zh) * 2017-12-29 2019-07-09 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN110188879A (zh) * 2019-05-31 2019-08-30 北京中科寒武纪科技有限公司 运算方法、装置及相关产品
CN110348323A (zh) * 2019-06-19 2019-10-18 广东工业大学 一种基于神经网络优化的穿戴式设备手势识别方法
CN107909042B (zh) * 2017-11-21 2019-12-10 华南理工大学 一种连续手势切分识别方法
CN110692032A (zh) * 2017-06-01 2020-01-14 奥迪股份公司 用于自动的手势识别的方法以及装置
CN111382699A (zh) * 2020-03-09 2020-07-07 金陵科技学院 基于粒子群优化lstm算法的动态手势识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573621A (zh) * 2014-09-30 2015-04-29 李文生 基于Chebyshev神经网络的动态手势学习和识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573621A (zh) * 2014-09-30 2015-04-29 李文生 基于Chebyshev神经网络的动态手势学习和识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
卫洁: "基于Kinect传感器的动静态手势识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
姜鹏飞等: "基于遗传算法和梯度下降的RBF神经网络组合训练方法", 《计算机应用》 *
郑韡等: "基于连续数据流的动态手势识别算法", 《北京航空航天大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106896796A (zh) * 2017-02-13 2017-06-27 上海交通大学 基于数据手套的工业机器人主从式示教编程方法
CN106896796B (zh) * 2017-02-13 2020-09-04 上海交通大学 基于数据手套的工业机器人主从式示教编程方法
CN106990846A (zh) * 2017-04-06 2017-07-28 哈尔滨理工大学 基于lvq‑ga‑bp的数据手套手势识别算法
CN110692032A (zh) * 2017-06-01 2020-01-14 奥迪股份公司 用于自动的手势识别的方法以及装置
CN107909042B (zh) * 2017-11-21 2019-12-10 华南理工大学 一种连续手势切分识别方法
CN109992093A (zh) * 2017-12-29 2019-07-09 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN109992093B (zh) * 2017-12-29 2024-05-03 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN110188879A (zh) * 2019-05-31 2019-08-30 北京中科寒武纪科技有限公司 运算方法、装置及相关产品
CN110188879B (zh) * 2019-05-31 2021-01-15 安徽寒武纪信息科技有限公司 运算方法、装置及相关产品
CN110348323A (zh) * 2019-06-19 2019-10-18 广东工业大学 一种基于神经网络优化的穿戴式设备手势识别方法
CN110348323B (zh) * 2019-06-19 2022-12-16 广东工业大学 一种基于神经网络优化的穿戴式设备手势识别方法
CN111382699A (zh) * 2020-03-09 2020-07-07 金陵科技学院 基于粒子群优化lstm算法的动态手势识别方法

Also Published As

Publication number Publication date
CN106354262B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN106354262A (zh) 基于gl优化的神经网络手势识别人机交互方法
CN109814513B (zh) 一种基于数据模型的催化裂化装置优化方法
CN103745273B (zh) 一种半导体制造过程的多性能预测方法
CN107742168B (zh) 一种基于物联技术的生产车间动态瓶颈预测方法
CN111950191B (zh) 基于混合深度神经网络的回转窑烧结温度预测方法
CN108760829A (zh) 一种基于仿生嗅球模型和卷积神经网络的电子鼻识别方法
CN103488561B (zh) 一种在线升级主样本模型的kNN故障检测方法
CN110942472B (zh) 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN109919055B (zh) 一种基于AdaBoost-KNN的动态人脸情感识别方法
CN113837000A (zh) 一种基于任务排序元学习的小样本故障诊断方法
CN107766856A (zh) 一种基于Adaboost机器学习的矿石可见光图像分选方法
CN110363214A (zh) 一种基于gwa-svm的机器人装配的接触状态识别方法
CN111368762A (zh) 基于改进的K-means聚类算法的机器人手势识别方法
Yuan et al. Abnormal condition identification modeling method based on Bayesian network parameters transfer learning for the electro-fused magnesia smelting process
CN105447506A (zh) 一种基于区间分布概率特征的手势识别方法
CN117421618B (zh) 一种建筑能耗监测方法及系统
CN110320802B (zh) 基于数据可视化的复杂系统信号时序识别方法
CN107229944B (zh) 基于认知信息粒子的半监督主动识别方法
CN115171211A (zh) 信道状态信息的动作和位置的联合估计方法
CN114372181A (zh) 一种基于多模态数据的设备生产智能规划方法
CN109614929A (zh) 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统
CN110348323B (zh) 一种基于神经网络优化的穿戴式设备手势识别方法
CN109583323B (zh) 基于门控制循环单元的地铁振动信号识别方法
CN107256453B (zh) 一种基于改进elm算法的毛管质量预报方法
Xin et al. ICB-MOEA/D: An interactive classification-based multi-objective optimization algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190607

Termination date: 20200909