CN116009695A - 一种基于数据手套的动态手势识别方法及系统 - Google Patents

一种基于数据手套的动态手势识别方法及系统 Download PDF

Info

Publication number
CN116009695A
CN116009695A CN202211687195.2A CN202211687195A CN116009695A CN 116009695 A CN116009695 A CN 116009695A CN 202211687195 A CN202211687195 A CN 202211687195A CN 116009695 A CN116009695 A CN 116009695A
Authority
CN
China
Prior art keywords
data
gesture
glove
dynamic
dynamic gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211687195.2A
Other languages
English (en)
Inventor
尚杰
胡振宇
王璕
陶烨豪
方建波
李润伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202211687195.2A priority Critical patent/CN116009695A/zh
Publication of CN116009695A publication Critical patent/CN116009695A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种基于数据手套的动态手势识别方法及系统，涉及信号处理与模式识别技术领域，本方法包括步骤S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1‑2s，并进行记录和保存；S2：对采集到的传感数据信息进行手势识别模型的训练，采用MS‑1D‑CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；S3：利用多段阈值检测流程分析手势起始结束位置点。本方法能够对受试者佩戴数据手套时的手势动作进行准确的实时识别。

Description

一种基于数据手套的动态手势识别方法及系统
技术领域
本发明涉及信号处理与模式识别技术领域，具体而言，涉及一种基于数据手套的动态手势识别方法及系统。
背景技术
随着信息技术的发展，手势识别技术已经逐渐由人工识别变更为机器智能识别，并且在AR/VR，智能家居等发明有着重要意义。目前的手势识别技术主要分为基于视觉的识别技术、基于肌电传感器的识别技术和基于惯性传感系统的识别技术。三种技术由于其不同的应用场景各有特点，视觉识别技术主要依靠光学传感器手势图像，经过特征提取、融合后利用分类算法进行手势识别，它的缺点是十分依赖光学图像清晰度以及环境复杂度，在很多情况复杂场景下性能不够优良；肌电传感信号识别技术主要通过肌电传感器检测肌肉活动，提取特征后进行识别，它的缺陷是会对佩戴者的动作产生一定制约；而惯性传感器识别技术是可穿戴计算的重要研究方向，它不依赖于限定环境，主要依靠IMU捕捉人体和手势动作，通过姿态解算等方法提取特征，利用机器学习方法SVM等进行模式分类，它比较受限于传感器精度，而且惯性传感器难以安置在手部，且多个IMU(惯性测量单元)的安置给手部灵活性带来挑战。
发明内容
本发明解决的问题是如何对受试者佩戴数据手套时的手势动作进行准确的实时识别。
为解决上述问题，本发明提供一种基于数据手套的动态手势识别方法，包括步骤：
S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；
S2：对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
S3：利用多段阈值检测流程分析手势起始结束位置点；
S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
在上述方法中，获取数据手套的传感数据，受试者穿戴数据手套，做出相应手势动作，程序采样数据点和标注动作类型；每个手势动作中选取30-60个数据点。对原始数据进行预处理，包括滤波去噪、数据切片与归一化等；对大量手势传感数据进行数据分析，设计动态手势识别算法，采用多流MS-1D-CNN神经网络训练动态手势；选择在验证集上具有最高识别率的训练模型应用于实时识别阶段。本发明识别方法能够对受试者佩戴数据手套时的手势动作进行准确的实时识别，且该方法具有识别率高，分析速度快的优点，能够将其推广应用到各种场景中。
进一步地，所述步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
进一步地，所述步骤S2包括：
S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
S22：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
S23：将处理后的动态手势数据样本的测试集输入到Multi-Stream1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
进一步地，所述步骤S3中阈值检测流程包括：
S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。
一种基于数据手套的动态手势识别系统，包括：
数据采集模块：用于获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；
训练模块：用于对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
分析模块：用于利用多段阈值检测流程分析手势起始结束位置点；
动作识别模块：用于将训练完成的两种手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
进一步地，数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
进一步地，训练模块包括：
划分单元：用于将数据采集模块中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
特征提取单元：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
测试单元：用于将处理后的动态手势数据样本的测试集输入到Multi-Stream 1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
进一步地，分析模块包括：
分割单元：用于通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
第一判断单元：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
第二判断单元：用于读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。
本发明采用上述技术方案包括以下有益效果：
本发明能够通过设计Multi-Stream 1D-CNN神经网络模型识别动态手势，并简易实现了实时反馈。该方法通过活动端阈值检测算法区别提取动态手势数据段，通过滤波、归一化等预处理操作，再利用多传感器数据特性，综合挖掘和融合了多模态数据，取得动态手势的高识别率。该模型的训练在高识别率的同时也保证了识别速度，能够用在嵌入式系统识别方案中。该方法具有模型易训练，鲁棒性强，识别率高的优势，具有一定的推广价值。
附图说明
图1为本发明实施例一提供的基于数据手套的动态手势识别方法流程图一；
图2为本发明实施例一提供的基于数据手套的动态手势识别方法流程图二；
图3为本发明实施例一提供的基于数据手套的动态手势识别方法中数据手套数据处理流程示意图；
图4为本发明实施例一提供的基于数据手套的动态手势识别方法中Multi-Stream1D-CNN神经网络的架构图；
图5为本发明实施例二提供的基于数据手套的动态手势识别系统结构图一；
图6为本发明实施例二提供的基于数据手套的动态手势识别系统结构图二。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
本实施例提供了一种基于数据手套的动态手势识别方法，如图1和图2所示，本方法包括步骤：
S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；
S2：对采集到的传感数据信息进行手势识别模型的训练，采用1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
S3：利用多段阈值检测流程分析手势起始结束位置点；
S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
其中，步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
具体的，根据受试者佩戴数据手套进行数据采集和实时识别，并通过准确有效手势段划分提高识别准确率与性能。
其中，步骤S2包括：
S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
S22：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
S23：将处理后的动态手势数据样本的测试集输入到Multi-Stream1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
其中，步骤S3中阈值检测流程包括：
S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。
参阅图3，具体的，数据手套动态手势识别流程，首先是通过传感数据手套将数据传输至上位机进行预处理，预处理的过程包括归一化、数据段切片和对滤波、异常值的处理。其中，对下位机串口数据制定配套的上位机程序，对不同手势动作进行定时定周期的数据点采样功能；对采集的不同手势数据文件进行统一标注动作类别；对多种手势数据csv文件进行划分与保存。再经过多流一维卷积手势识别受试者手势动作的含义。
具体的，受试者需要穿戴上数据手套。通过手套的无线通信模组并点击按钮与上位机进行连接和传输数据，同时PC端上位机数据采集软件通过串口采集11路传感数据，分别为大拇指、食指、中指、无名指和小拇指的弯曲角度数据，以及手套背部惯性测量单元的三轴加速度和三轴角速度数据。
具体的，上位机程序需要对接收到的数据进行预处理，采用去极值均值滤波算法来平滑惯性测量单元的六轴信号和五路弯曲传感信号，提高数据在训练和推理上的精度。对采集到的手势传感数据进行数据段切片和重采样，将每个数据样本的长度放缩到60个单位。再通过MAX-MIN归一化方法对11路传感器数据进行量纲消除，得到一系列数据样本。
经过上述步骤S1至S4，可得数据样本格式：N*11维，其中，N为样本数，每个样本包括五应变传感器、三加速度以及三角速度。在上位机程序中利用数据存取模块将批量数据生成数据集Data_Dynamic，并将数据集存到本地。采用多个一维卷积模块分流提取弹性及惯性数据的数据特征，融合后再进行分类，避免了特征工程。将动态手势数据集DATA_DYNAMIC数据集进行划分，按照四比一的比例划分训练集与测试集，生成相应的数据集文件。神经网络的输入定义为batch*60*11。多流一维卷积神经网络将分别得到三个模态流输入，其规格为batch*60*5，batch*60*3，batch*60*3，对每个样本数据，逐步计算该数据及其邻域范围内数据和卷积核矩阵对应位置处权值的内积，形成下一层的特征图。采用一维卷积，一维卷积即卷积核矩阵为一维向量，以单核卷积为例介绍卷积模型的工作原理：通常将输入层设为第0层：
Figure BDA0004019825240000081
其中，M表示数据预处理后时间窗口的大小，卷积层的输出为：
Figure BDA0004019825240000082
i＝1,…,M-φ+1；
其中，f(·)为激活函数；b为偏置项；q为一维卷积核向量；φ为q的长度。再将数据送入池化层MP，降低特征空间维度，抑制过拟合，MP输出为：
Figure BDA0004019825240000083
其中，R表示池化窗口的尺寸，池化层的输出即卷积层输出的特征图P。
经过上述的算法处理能够得到一组CNN的输出x，将其flatten为n*1维序列数据DATA_CNN_OUT。
将数据输出DATA_CNN_OUT送入softmax函数。将输出的一维特征图首尾拼接，形成一维特征向量：
s＝[p1,…,pn]；
其中，n表示卷积核数。特征向量s进入全连接层处理，输出为：
h＝f(Ws+ε)；
其中，W为全连接层的权重矩阵，ε为偏置向量。送入sotfmax层，得到最后的输出结果为：
Figure BDA0004019825240000084
其中，x为softmax的输入，即全连接层的输出；K为活动类别个数，K为10。softmax的结果为各类别的概率，其和为1。
参阅图4，在算法识别的过程中，对新输入的传感器信号也要做如上述方式进行数据预处理，然后将该一维识别向量输入到步已训练完成的神经网络模型中，即可对数据手套的数据进行实时的读取和识别，实现数据手套动态手势的识别。
具体的，基于QT编写界面实现人机交互，对于穿戴传感器手套的人员作出的手势，可以实时反馈相应的手势识别结果。
本方法通过设计Multi-Stream 1D-CNN神经网络模型识别动态手势，并简易实现了实时反馈。该方法通过活动端阈值检测算法区别提取动态手势数据段，通过滤波、归一化等预处理操作，再利用多传感器数据特性，综合挖掘和融合了多模态数据，取得动态手势的高识别率。该模型的训练在高识别率的同时也保证了识别速度，能够用在嵌入式系统识别方案中。该方法具有模型易训练，鲁棒性强，识别率高的优势，具有一定的推广价值。
实施例二
本实施例提供了一种基于数据手套的动态手势识别系统，如图5和图6所示，本系统包括：
数据采集模块：用于获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；
训练模块：用于对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
分析模块：用于利用多段阈值检测流程分析手势起始结束位置点；
动作识别模块：用于将训练完成的两种手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
其中，数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
参阅图6，其中，训练模块包括：
划分单元：用于将数据采集模块中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
特征提取单元：使用动态手势数据集，设计Multi-Stream 1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
测试单元：用于将处理后的动态手势数据样本的测试集输入到Multi-Stream 1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
其中，分析模块包括：
分割单元：用于通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
第一判断单元：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
第二判断单元：用于读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。
本系统通过设计Multi-Stream 1D-CNN神经网络模型识别动态手势，并简易实现了实时反馈。通过活动端阈值检测算法区别提取动态手势数据段，通过滤波、归一化等预处理操作，再利用多传感器数据特性，综合挖掘和融合了多模态数据，取得动态手势的高识别率。该模型的训练在高识别率的同时也保证了识别速度，能够用在嵌入式系统识别方案中。根据受试者佩戴数据手套进行数据采集和实时识别，并通过准确有效手势段划分提高识别准确率与性能。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (8)

1.一种基于数据手套的动态手势识别方法，其特征在于，包括步骤：
S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；
S2：对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
S3：利用多段阈值检测流程分析手势起始结束位置点；
S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
2.根据权利要求1所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
3.根据权利要求2所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S2包括：
S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
S22：使用动态手势数据集，设计Multi-Stream1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
S23：将处理后的动态手势数据样本的测试集输入到Multi-Stream1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
4.根据权利要求1所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S3中阈值检测流程包括：
S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。
5.一种基于数据手套的动态手势识别系统，其特征在于，包括：
数据采集模块：用于获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；
训练模块：用于对采集到的传感数据信息进行手势识别模型的训练，采用1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；
分析模块：用于利用多段阈值检测流程分析手势起始结束位置点；
动作识别模块：用于将训练完成的两种手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。
6.根据权利要求5所述的基于数据手套的动态手势识别系统，其特征在于，所述数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；
上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；
在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。
7.根据权利要求6所述的基于数据手套的动态手势识别系统，其特征在于，所述训练模块包括：
划分单元：用于将数据采集模块中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；
特征提取单元：使用动态手势数据集，设计Multi-Stream1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；
测试单元：用于将处理后的动态手势数据样本的测试集输入到Multi-Stream1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。
8.根据权利要求5所述的基于数据手套的动态手势识别系统，其特征在于，所述分析模块包括：
分割单元：用于通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；
第一判断单元：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；
第二判断单元：用于读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。
CN202211687195.2A 2022-12-27 2022-12-27 一种基于数据手套的动态手势识别方法及系统 Pending CN116009695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211687195.2A CN116009695A (zh) 2022-12-27 2022-12-27 一种基于数据手套的动态手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211687195.2A CN116009695A (zh) 2022-12-27 2022-12-27 一种基于数据手套的动态手势识别方法及系统

Publications (1)

Publication Number Publication Date
CN116009695A true CN116009695A (zh) 2023-04-25

Family

ID=86032939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211687195.2A Pending CN116009695A (zh) 2022-12-27 2022-12-27 一种基于数据手套的动态手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN116009695A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116520990A (zh) * 2023-04-28 2023-08-01 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116520990A (zh) * 2023-04-28 2023-08-01 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套
CN116520990B (zh) * 2023-04-28 2023-11-24 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套

Similar Documents

Publication Publication Date Title
Ibraheem et al. Survey on various gesture recognition technologies and techniques
Gu et al. Human gesture recognition through a kinect sensor
Lee et al. Deep learning based real-time recognition of dynamic finger gestures using a data glove
CN116226691B (zh) 用于手势姿态感知的智能戒指数据处理方法
Simão et al. Unsupervised gesture segmentation by motion detection of a real-time data stream
CN112148128B (zh) 一种实时手势识别方法、装置及人机交互系统
CN114265498B (zh) 一种多模态手势识别和视觉反馈机制结合的方法
CN106502390B (zh) 一种基于动态3d手写数字识别的虚拟人交互系统及方法
CN112464738B (zh) 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法
CN113849068B (zh) 一种手势多模态信息融合的理解与交互方法及其系统
Ali et al. DeepHAR-Net: a novel machine intelligence approach for human activity recognition from inertial sensors
CN116009695A (zh) 一种基于数据手套的动态手势识别方法及系统
CN109634408B (zh) 一种Hololens手势识别的扩展方法
Nogales et al. Real-time hand gesture recognition using the leap motion controller and machine learning
Alhersh et al. Learning human activity from visual data using deep learning
Adhikari et al. A Novel Machine Learning-Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform.
CN111914724B (zh) 基于滑动窗口分割的连续中国手语识别方法及其系统
CN110680337A (zh) 一种识别动作种类的方法
Liu et al. Ultrasonic positioning and IMU data fusion for pen-based 3D hand gesture recognition
Simão et al. Unsupervised gesture segmentation of a real-time data stream in MATLAB
CN110390281B (zh) 一种基于感知设备的手语识别系统及其工作方法
Bao et al. Operation action recognition using wearable devices with inertial sensors
Nurrahma et al. Indonesian Sign Language Fingerspelling Recognition using Vision-based Machine Learning
Bamwenda et al. Static hand gesture recognition system using artificial neural networks and support vector machine
Zhang et al. Stacked LSTM-Based Dynamic Hand Gesture Recognition with Six-Axis Motion Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination