CN111782039A - 一种适用于手势识别的方法及系统 - Google Patents

一种适用于手势识别的方法及系统 Download PDF

Info

Publication number
CN111782039A
CN111782039A CN202010584065.0A CN202010584065A CN111782039A CN 111782039 A CN111782039 A CN 111782039A CN 202010584065 A CN202010584065 A CN 202010584065A CN 111782039 A CN111782039 A CN 111782039A
Authority
CN
China
Prior art keywords
gesture recognition
gesture
sensing unit
recognition model
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010584065.0A
Other languages
English (en)
Inventor
王爱国
陈荟慧
郑春弟
王东
朱珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202010584065.0A priority Critical patent/CN111782039A/zh
Publication of CN111782039A publication Critical patent/CN111782039A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition

Abstract

本发明公开了一种适用于手势识别的方法，包括：通过感知单元获取手部活动信息；将手部活动信息传送至云服务平台；建立手势识别模型，并通过手势识别模型分析手部活动信息，得到手势识别结果；云服务平台将手势识别结果推送到用户端，用户端通过开放访问接口控制相应装置；本发明构建迁移学习与主动学习相结合的手势识别模型，以解决手势识别模型的个性化训练和冷启动问题，其能够将已有的手势识别模型的知识迁移到特定个体的手势识别模型中，提高模型在新用户、新环境、新场景中的快速适应能力及性能。

Description

一种适用于手势识别的方法及系统
技术领域
本发明涉及手势识别的研究领域，特别涉及一种适用于手势识别的方法及系统。
背景技术
手势识别作为一种细粒度的人体行为分析广泛地应用于人机交互、娱乐、教育、军事、康复训练等领域，其目的是利用计算机理解手势并基于手势执行指令的一种能力。例如在智能家居环境中，通过手势控制家用机器人、智能家电等硬件设备，提高人机交互方式的智能化和自然化水平；在军事环境中，可用于辅助军事教学训练、远程装备控制等方面。对于自动化的手势识别方案，手部区域信息的取得方式是关键。
目前常用的获取方式大致可分为两类：基于视觉技术的方式和基于硬件辅助的方式。前者利用视频、图像等视觉处理技术获得手部区域信息，但该方式易光照条件、背景、遮挡等因素影响。基于硬件辅助的方式借助传感器获取手部活动相关的信息，具有不受光照条件和物体遮挡影响、使用范围广的特点，特别是感知芯片的尺寸不断减小以及数据处理、通信和存储能力不断提高，使得基于可穿戴传感器的普适手势识别成为可能。对于基于可穿戴设备的手势识别，如何挖掘原始流式传感器数据中隐藏的非线性语义信息，构建云端协同的手势识别方法决定着所设计的手势识别方案的可行性、普适性与用户接受度。
然而，由于个体手势的复杂性，手部动作体现出动态性、多样性以及时序性等特点，对构建鲁棒的活动识别模型提出了严峻挑战。与典型的模式识别、机器学习等任务不同，手势动作存在个体间差异，不同的个体能够以不同的方式执行同一手势动作，即个性化的手势识别模型，需要针对每个用户训练、优化手势识别模型，而目前已有的方法主要是面向用户群体的。其次，基于数据驱动的手势识别方法需要大量高质量、有标记的传感器数据来优化手势识别模型，而获取大量的有标记数据需要花费大量的人力、物力和财力，并且往往难以在短时间内收集足够的数据。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种适用于手势识别的方法，通过云与端协同的手势识别模型，前端智能硬件和云服务端形成信息反馈，优化硬件端工作模式和手势识别算法的性能；其手势识别模型具有动态更新能力、快速适应于新用户、新环境、新场景等新情景的个性化。
本发明的另一目的在于提供一种适用于手势识别的系统。
本发明的主要目的通过以下的技术方案实现：
一种适用于手势识别的方法，其特征在于，包括：
通过感知单元获取手部活动信息；即第一感知单元获取第一手部活动信息，第二感知单元获取第二手部活动信息，第三感知单元获取第三手部活动信息，第四感知单元获取第四手部活动信息；
将手部活动信息传送至云服务平台；
训练手势识别模型，并通过手势识别模型分析手部活动信息，推断用户的手势，得到手势识别结果；
云服务平台将手势识别结果推送至用户端，用户端通过开放访问接口控制相应装置。
进一步地，所述第一感知单元为加速度计；所述第二感知单元为陀螺仪；所述第三感知单元为磁力计；所述第四感知单元为肌电传感器。
进一步地，所述通过感知单元获取手部活动信息，具体为：通过加速度计获取手部加速度信息，通过陀螺仪获取手部角速度信息，通过磁力计获取手部活动的磁场强度和方向信息，通过肌电传感器获取手部肌电信号。
进一步地，所述将手部活动信息传送至云服务平台，具体为：通过无线传输方式传送。
进一步地，对于已标记的时序手势数据，以大小为w的滑动窗口分割时序手势数据，得到训练集，并将其输入到基于深度学习的手势识别模型中；
所述手势识别模块由输入层、输出层、以及N个隐藏层构成，N>0；输出层由L层全连接神经网络和一个Softmax层组成，L>0；该模型可以是卷积神经网络、循环神经网络、自编码器网络、基于注意力的模型等深度学习模型，甚至是上述模型的串行或并行结构；
设置需要识别的手势集合为{C1,C2,...,Cc}，c为需要识别的手势的数目，则Softmax层中节点数目为c；
所述的手势识别模型中的参数集，记为θ，在有监督学习范式下，以最小化预测的手势与实际手势之间的差别为损失函数，优化模型中的参数θ，获得手势识别模型M，对应的最优参数为θ0；对于新用户、新环境或新场景，已有的手势识别模型泛化能力下降，需结合特定用户、环境或场景优化手势识别模型；
对于新用户、新环境或新场景下的手势数据，将手部活动信息传送至云服务平台；然后，以大小为w的滑动窗口分割时序手势数据，得到待识别的手势数据xtest，并将其输入到手势识别模型M中，由
Figure BDA0002553974500000031
得到手势Ci的概率
Figure BDA0002553974500000032
1≤i≤c，且满足以下公式:
Figure BDA0002553974500000033
Figure BDA0002553974500000034
对于新用户、新环境或新场景下的手势识别模型更新，具有高信息量的手势数据能够提高手势识别模型的收敛速率，同时减少用户标注数据的成本；构建基于主动学习的典型样本选择策略，具体地，对于手势数据xtest，由
Figure BDA0002553974500000035
得到手势Ci,1≤i≤C的概率
Figure BDA0002553974500000036
并基于以下公式，得到对于样本xtest的重要性v(xtest)评价：
v(xtest)＝α*uncertainty(xtest)+β*margin(xtest) (3)
其中uncertainty(xtest)表示样本的不确定程度，margin(xtest)表示类别之间的混淆程度，α和β表示uncertainty(xtest)和margin(xtest)之间的折中，0≤α,β≤1；
对于不确定性，采用下述公式度量，
Figure BDA0002553974500000037
对于混淆程度，采用下述公式度量，
Figure BDA0002553974500000038
其中，
Figure BDA0002553974500000039
和
Figure BDA00025539745000000310
表示
Figure BDA00025539745000000311
预测的xtest的两个最可能的手势的概率；
则有，v(xtest)的值越大，xtest重要性越高，使用xtest训练手势识别模型M能够提高其分类性能；具体地，对于给定的阈值γ，当v(xtest)≥γ时，主动向用户询问xtest所对应的实际手势CX，1≤X≤c；以手势识别模型M中的参数值θ0为初始值，利用通过主动方式获得的数据集(xtest,CX)，以最小化预测的手势与实际手势之间的差别为损失函数，优化模型中的参数θ，获得手势识别模型M1，对应的最优参数为θ1，并将θ1赋值为θ0，M1赋值为M，以此完成新数据下，个性化手势识别模型的更新；当新的手势数据xtest上传到云平台后，重复上述过程完成，不断优化手势识别模型M的性能。
本发明的另一目的通过以下技术方案实现：
一种适用于手势识别的系统，其特征在于，包括：
感知单元，所述感知单元用于获取手部活动信息，并通过用户端传送至云服务平台；
用户端，所述用户端用于将手部活动信息传送至云服务平台，以及获取手势识别结果；
云服务平台，所述云服务平台建立手势识别模型，通过手势识别模型根据手部活动信息进行手势识别，将手势识别结果反馈至感知单元，优化感知单元工作模式。
进一步地，所述感知单元包括：
第一感知单元，所述第一感知单元用于获取第一手部活动信息；
第二感知单元，所述第二感知单元用于获取第二手部活动信息；
第三感知单元，所述第三感知单元用于获取第三手部活动信息；
第四感知单元，所述第四感知单元用于获取第四手部活动信息。
进一步地，所述第一感知单元为单轴或多轴加速度计，用于获取手部加速度信息；所述第二感知单元为单轴或多轴陀螺仪，用于获取手部角速度信息；所述第三感知单元为单轴或多轴磁力计，用于获取手部活动的测试磁场强度和方向信息；第四感知单元为肌电传感器，用于获取手部肌电信号。
进一步地，所述感知单元通过嵌入式电路集成。
进一步地，所述云服务平台包括：
手势识别模型模块，所述手势识别模型模块用于根据手部活动信息进行手势识别；
主动学习模块，用于对感知单元获取的手部活动信息进行标记学习，进而优化手势识别模型模块。
本发明的工作原理如下：
本发明通过集成在可穿戴设备中的加速度计、陀螺仪、磁力计等感知单元获得用户的手部活动信息，然后通过移动应用程序或无线传输的方式传到云服务平台；云服务平台收集到原始传感器数据后，利用所优化的模型识别手势，并将识别结果推送到app；在app提供相应的开放访问接口达到控制相应设备和器件的目的。特别地，为挖掘原始传感器读数中隐含的局部共享性、时序性等语义关系，本发明专利构建基于深度学习技术的手势识别模型以分析信号之间的非线性关系。针对个性化手势识别模型的冷启动问题，本发明专利借鉴迁移学习和主动学习的思想进行模型初始化和高质量有标记数据的收集，以构建具有动态更新能力的个性化手势识别模型，并在用户使用过程中，优化可穿戴设备中的感知单元的采样频率。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明提出前端硬件与后端服务器协同的手势识别解决方案，可利用服务器端的手势识别结果自适应地调整硬件端的采样频率。
2、本发明构建基于深度学习模型的手势识别模型，与传统的手工特征工程、浅层分类模型等方法相比，能够学习原始传感器信号中隐藏的高度非线性的时序关系和语义关系。
3、本发明构建迁移学习和主动学习相结合的手势识别模型，以解决模型的冷启动和个性化问题，其能够将已有的手势识别模型的知识迁移到个体特定的手势识别模型，提高模型在新环境、新场景、新用户中的快速适应能力。
附图说明
图1为本发明所述一种适用于手势识别的方法的流程图；
图2为本发明所述实施例中手势识别的系统框图；
图3为本发明所述实施例中手势识别的系统工作原理图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
一种适用于手势识别的方法，如图1所示，包括：
通过感知单元获取手部活动信息；即第一感知单元获取第一手部活动信息，第二感知单元获取第二手部活动信息，第三感知单元获取第三手部活动信息，第四感知单元获取第四手部活动信息；具体为：所述第一感知单元为加速度计，通过加速度计获取手部加速度信息；所述第二感知单元为陀螺仪，通过陀螺仪获取手部角速度信息；所述第三感知单元为磁力计，通过磁力计获取手部活动的磁场强度和方向信息；所述第四感知单元为肌电传感器，通过肌电传感器获取手部肌电信号。
将手部活动信息通过无线传输方式传送至云服务平台；
建立手势识别模型，并通过手势识别模型对手部活动信息进行手势识别，得到手势识别结果；
对于已标记的时序手势数据，以大小为w的滑动窗口分割时序手势数据，得到训练集，并将其输入到基于深度学习的手势识别模型中；
所述手势识别模块由输入层、输出层、以及N个隐藏层构成，N>0；输出层由L层全连接神经网络和一个Softmax层组成，L>0；该模型可以是卷积神经网络、循环神经网络、自编码器网络、基于注意力的模型等深度学习模型，甚至是上述模型的串行或并行结构；
设置需要识别的手势集合为{C1,C2,…,Cc}，c为需要识别的手势的数目，则Softmax层中节点数目为c，
所述的手势识别模型中的参数集，记为θ，在有监督学习范式下，以最小化预测的手势与实际手势之间的差别为损失函数，优化模型中的参数θ，获得手势识别模型M，对应的最优参数为θ0；对于新用户、新环境或新场景，已有的手势识别模型泛化能力下降，需结合特定用户、环境或场景优化手势识别模型；
对于新用户、新环境或新场景下的手势数据，将手部活动信息传送至云服务平台；然后，以大小为w的滑动窗口分割时序手势数据，得到待识别的手势数据xtest，并将其输入到手势识别模型M中，由
Figure BDA0002553974500000061
得到手势Ci的概率
Figure BDA0002553974500000062
1≤i≤c，且满足以下公式。
Figure BDA0002553974500000063
Figure BDA0002553974500000064
对于新用户、新环境或新场景下的手势识别模型更新，具有高信息量的手势数据能够提高手势识别模型的收敛速率，同时减少用户标注数据的成本；构建基于主动学习的典型样本选择策略，具体地，对于手势数据xtest，由
Figure BDA0002553974500000065
得到手势Ci,1≤i≤c的概率
Figure BDA0002553974500000066
并基于以下公式，得到对于样本xtest的重要性v(xtest)评价：
v(xtest)＝α*uncertainty(xtest)+β*margin(xtest) (3)
其中uncertainty(xtest)表示样本的不确定程度，margin(xtest)表示类别之间的混淆程度，α和β表示uncertainty(xtest)和margin(xtest)之间的折中，0≤α,β≤1；
对于不确定性，采用下述公式度量，
Figure BDA0002553974500000071
对于混淆度，采用下述公式度量，
Figure BDA0002553974500000072
其中，
Figure BDA0002553974500000073
和
Figure BDA0002553974500000074
表示
Figure BDA0002553974500000075
预测的xtest的两个最可能的手势的概率；
则有，v(xtest)的值越大，xtest的重要性越高，使用xtest训练手势识别模型M能够提高其分类性能；具体地，对于给定的阈值γ，当v(xtest)≥γ时，主动向用户询问xtest所对应的实际手势CX，1≤X≤c；以手势识别模型M中的参数值θ0为初始值，利用通过主动方式获得的数据集(xtest,CX)，以最小化预测的手势与实际手势之间的差别为损失函数，优化模型中的参数θ，获得手势识别模型M1，对应的最优参数为θ1，并将θ1赋值为θ0，M1赋值为M，以此完成新数据下，个性化手势识别模型的更新；当新的手势数据xtest上传到云平台后，重复上述过程完成，不断优化手势识别模型M的性能。
具体为：
(1)对于已标记的手势数据集Train，基于滑动窗口技术，采用大小为w的窗口在数据集Train上滑动，窗口之间的重叠率为p(0≤p<100％)，产生训练集D，每个窗口对应一个手势实例。
(2)构建输入层、输出层、以及N(N>0)个隐藏层组成的深度学习模型M，其中输出层由L层(L>0)全连接神经网络和一个Softmax层组成。假设需要识别的手势集合为{C1,C2,…,Cc}，c为需要识别的手势的数目，则Softmax层中节点数目为c。随机初始化模型M中的参数θ。
(3)在有监督学习模式下，以预测的手势与实际手势之间的差别为损失函数loss，通过式(6)最小化D上的Loss值，优化所述的M的参数θ，得到θ0。
Figure BDA0002553974500000076
其中|D|表示D中的样本数目，yi表示D中第i个样本xi∈D的实际手势(1≤i≤|D|)，
Figure BDA0002553974500000077
表示M预测的xi的手势，
Figure BDA0002553974500000078
表示yi与
Figure BDA0002553974500000079
之间的差距，R(θ)表示对参数的正则化项，β表示
Figure BDA00025539745000000710
和R(θ)之间的折中。
(4)在新用户、新环境或新场景环境下，通过手势感知单元收集传感器数据Dnew，并将Dnew上传到云服务平台，采用所述的大小为w、重叠率为p的窗口分割传感器数据Dnew，获得手势数据xtest。
(5)由于起始情况下，有标记的数据缺少，不能训练相应的活动识别模型。借鉴迁移学习理论与技术，将M中的参数迁移到新用户、新环境或新场景环境下的手势模型M1上。特别地，如果M1中待识别的手势集合与原有模型M中的手势集合不同，调整M1中输出层大小为新的手势集合的大小，并保留从M中迁移的参数值。
(6)将所述xtest输入到所述的模型M1中，由
Figure BDA0002553974500000081
得到手势Ci的概率
Figure BDA0002553974500000082
(1≤i≤c)。将预测概率最大的手势Ck作为识别的手势推送到用户端。
Figure BDA0002553974500000083
(7)进一步地，构建基于主动学习策略的方法获取高信息量的样本xtest，优化模型M，获取特定用户、环境或场景下的手势识别模型M1。对于xtest，利用v(xtest)＝α*uncertainty(xtest)+β*margin(xtest)评价xtest的重要性，0≤α,β≤1。
a)当v(xtest)≥γ时(γ为给定的阈值，γ＞0)，主动向用户询问xtest所对应的实际手势CX，1≤X≤c，然后，以模型M中的参数值θ0为初始值，利用通过主动方式获得的数据集(xtest,CX)，以最小化预测的手势与实际手势之间的差别为损失函数，优化模型中的参数θ，获得手势识别模型M1。
b)当v(xtest)＜γ时，不对xtest作进一步处理。
(8)通过手势感知单元收集数据Dnew，并将Dnew上传到云服务平台，采用所述的大小为w、重叠率为p的窗口分割传感器数据Dnew，获得手势数据xtest。重复步骤(6)-(8)，不断优化M1以不断增强个体化的手势识别模型的性能。当M1的分类准确率acc(M1)超过某个阈值η时，0＜η≤1，停止步骤(7)-(8)的迭代过程，并将最终优化后的模型M1应用于实际问题。
云服务平台将手势识别结果推送到用户端，用户端开放访问接口以控制相应装置。
一种适用于手势识别的系统，如图2所示，包括：
感知单元，所述感知单元用于获取手部活动信息，并通过用户端传送至云服务平台；用户端，所述用户端用于将手部活动信息传送至云服务平台，以及获取手势识别结果；云服务平台，所述云服务平台建立手势识别模型，通过手势识别模型根据手部活动信息进行手势识别，将手势识别结果反馈至感知单元，优化感知单元工作模式。
进一步地，所述感知单元包括：所述感知单元包括：
第一感知单元，所述第一感知单元用于获取第一手部活动信息；
第二感知单元，所述第二感知单元用于获取第二手部活动信息；
第三感知单元，所述第三感知单元用于获取第三手部活动信息；
第四感知单元，所述第四感知单元用于获取第四手部活动信息。
进一步地，所述第一感知单元为单轴或多轴加速度计，用于获取手部加速度信息；所述第二感知单元为单轴或多轴陀螺仪，用于获取手部角速度信息；所述第三感知单元为单轴或多轴磁力计，用于获取手部活动的磁场强度和方向信息；第四感知单元为肌电传感器，用于获取手部肌电信号。
进一步地，所述云服务平台包括：手势识别模型模块，所述手势识别模型模块用于根据手部活动信息进行手势识别；主动学习模块，用于对感知单元获取的手部活动信息进行标记学习，进而优化手势识别模型模块。
工作原理如图3所示，本发明通过集成在可穿戴设备中的加速度计、陀螺仪、磁力计等感知单元获得用户的手部活动信息，然后通过移动应用程序或无线传输的方式传到云服务平台；云服务平台收集到原始传感器数据后，利用所优化的模型识别手势，并将识别结果推送到app；在app提供相应的开放访问接口达到控制相应设备和器件的目的。特别地，为挖掘原始传感器读数中隐含的局部共享性、时序性等语义关系，本发明专利构建基于深度神经网络的手势识别模型以分析信号之间的非线性关系。针对个性化手势识别模型的冷启动问题，本发明专利借鉴迁移学习和主动学习的思想进行模型初始化和有标记数据的收集，以构建具有动态更新能力的个性化手势识别模型，并在用户使用过程中，优化可穿戴设备中的感知单元的采样频率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种适用于手势识别的方法，其特征在于，包括：
通过感知单元获取手部活动信息；即第一感知单元获取第一手部活动信息，第二感知单元获取第二手部活动信息，第三感知单元获取第三手部活动信息，第四感知单元获取第四手部活动信息；
将手部活动信息传送至云服务平台；
训练手势识别模型，并通过手势识别模型分析手部活动信息，推断用户的手势，得到手势识别结果；
云服务平台将手势识别结果推送至用户端，用户端通过开放访问接口控制相应装置。
2.根据权利要求1所述的一种适用于手势识别的方法，其特征在于，所述第一感知单元为加速度计；所述第二感知单元为陀螺仪；所述第三感知单元为磁力计；所述第四感知单元为肌电传感器。
3.根据权利要求2所述的一种适用于手势识别的方法，其特征在于，所述通过感知单元获取手部活动信息，具体为：通过加速度计获取手部加速度信息，通过陀螺仪获取手部角速度信息，通过磁力计获取手部活动的磁场强度和方向信息，通过肌电传感器获取手部肌电信号。
4.根据权利要求1所述的一种适用于手势识别的方法，其特征在于，所述将手部活动信息传送至云服务平台，具体为：通过无线传输方式传送。
5.根据权利要求1所述的一种适用于手势识别的方法，其特征在于，对于已标记的时序手势数据，以大小为w的滑动窗口分割时序手势数据，得到训练集，并将其输入到基于深度学习的手势识别模型中；
所述手势识别模块由输入层、输出层、以及N个隐藏层构成，N>0；输出层由L层全连接神经网络和一个Softmax层组成，L>0；
设置需要识别的手势集合为{C1,C2,...,Cc}，c为需要识别的手势的个数，则Softmax层中节点的数目为c；
所述的手势识别模型中的参数集，记为θ，在有监督学习范式下，以最小化预测的手势与实际手势之间的差别为损失函数，优化模型中的参数θ，获得手势识别模型M，对应的最优参数为θ0；对于新用户、新环境或新场景，已有的手势识别模型泛化能力下降，需结合特定用户、环境或场景优化手势识别模型；
对于新用户、新环境或新场景下的手势数据，将手部活动信息传送至云服务平台；然后，以大小为w的滑动窗口分割时序手势数据，得到待识别的手势数据xtest，并将其输入到手势识别模型M中，由
Figure FDA0002553974490000011
得到手势Ci的概率
Figure FDA0002553974490000012
1≤i≤c，且满足以下公式：
Figure FDA0002553974490000021
Figure FDA0002553974490000022
对于新用户、新环境或新场景下的手势识别模型更新，具有高信息量的手势数据能够提高手势识别模型的收敛速率，同时减少用户标注数据的成本；构建基于主动学习的典型样本选择策略，具体地，对于手势数据xtest，由
Figure FDA0002553974490000023
得到手势Ci的概率
Figure FDA0002553974490000024
并基于以下公式，得到对于样本xtest的重要性v(xtest)评价：
v(xtest)＝α*uncertainty(xtest)+β*margin(xtest) (3)
其中uncertainty(xtest)表示样本的不确定程度，margin(xtest)表示类别之间的混淆程度，α和β表示uncertainty(xtest)和margin(xtest)之间的折中；
对于不确定性，采用下述公式度量，
Figure FDA0002553974490000025
对于混淆程度，采用下述公式度量，
Figure FDA0002553974490000026
其中，
Figure FDA0002553974490000027
和
Figure FDA0002553974490000028
表示
Figure FDA0002553974490000029
预测的xtest的两个最可能的手势的概率；
则有，v(xtest)的值越大，xtest的重要性越高，使用xtest训练手势识别模型M能够提高其分类性能；具体地，对于给定的阈值γ，当v(xtest)≥γ时，主动向用户询问xtest所对应的实际手势CX，1≤X≤c；以手势识别模型M中的参数值θ0为初始值，利用通过主动方式获得的数据集(xtest,CX)，以最小化预测的手势与实际手势之间的差别为损失函数，优化模型中的参数θ，获得手势识别模型M1，对应的最优参数为θ1，并将θ1赋值为θ0，M1赋值为M，以此完成新数据下，个性化手势识别模型的更新；当新的手势数据xtest上传到云平台后，重复上述过程完成，不断优化手势识别模型M的性能。
6.一种适用于手势识别的系统，其特征在于，包括：
感知单元，所述感知单元用于获取手部活动信息，并通过用户端传送至云服务平台；
用户端，所述用户端用于将手部活动信息传送至云服务平台，以及获取手势识别结果；
云服务平台，所述云服务平台建立手势识别模型，通过手势识别模型根据手部活动信息进行手势识别，将手势识别结果反馈至感知单元，优化感知单元工作模式。
7.根据权利要求6所述的一种适用于手势识别的系统，其特征在于，所述感知单元包括：
第一感知单元，所述第一感知单元用于获取第一手部活动信息；
第二感知单元，所述第二感知单元用于获取第二手部活动信息；
第三感知单元，所述第三感知单元用于获取第三手部活动信息；
第四感知单元，所述第四感知单元用于获取第四手部活动信息。
8.根据权利要求7所述的一种适用于手势识别的系统，其特征在于，所述第一感知单元为单轴或多轴加速度计，用于获取手部加速度信息；所述第二感知单元为单轴或多轴陀螺仪，用于获取手部角速度信息；所述第三感知单元为单轴或多轴磁力计，用于获取手部活动的磁场强度和方向信息；第四感知单元为肌电传感器，用于获取手部肌电信号。
9.根据权利要求7所述的一种适用于手势识别的系统，其特征在于，所述感知单元通过嵌入式电路集成。
10.根据权利要求6所述的一种适用于手势识别的系统，其特征在于，所述云服务平台包括：
手势识别模型模块，所述手势识别模型模块分析手部活动信息以推断对应的手势；
主动学习模块，用于对感知单元获取的手部活动信息进行标记学习，进而优化手势识别模型模块的性能。
CN202010584065.0A 2020-06-24 2020-06-24 一种适用于手势识别的方法及系统 Withdrawn CN111782039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010584065.0A CN111782039A (zh) 2020-06-24 2020-06-24 一种适用于手势识别的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010584065.0A CN111782039A (zh) 2020-06-24 2020-06-24 一种适用于手势识别的方法及系统

Publications (1)

Publication Number Publication Date
CN111782039A true CN111782039A (zh) 2020-10-16

Family

ID=72757108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010584065.0A Withdrawn CN111782039A (zh) 2020-06-24 2020-06-24 一种适用于手势识别的方法及系统

Country Status (1)

Country Link
CN (1) CN111782039A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230057060A (ko) * 2021-10-21 2023-04-28 고려대학교 산학협력단 두경부 이미지 구획화 방법 및 장치
WO2023123473A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种人机交互方法、系统以及处理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230057060A (ko) * 2021-10-21 2023-04-28 고려대학교 산학협력단 두경부 이미지 구획화 방법 및 장치
KR102647652B1 (ko) * 2021-10-21 2024-03-15 고려대학교 산학협력단 두경부 이미지 구획화 방법 및 장치
WO2023123473A1 (zh) * 2021-12-31 2023-07-06 华为技术有限公司 一种人机交互方法、系统以及处理装置

Similar Documents

Publication Publication Date Title
Lv et al. Artificial intelligence for securing industrial-based cyber–physical systems
WO2021208771A1 (zh) 强化学习的方法和装置
Lv et al. Generative adversarial networks for parallel transportation systems
CN110826453B (zh) 一种通过提取人体关节点坐标的行为识别方法
CN108406767A (zh) 面向人机协作的机器人自主学习方法
CN110909762B (zh) 基于多传感器融合的机器人姿态识别方法及装置
CN111782039A (zh) 一种适用于手势识别的方法及系统
WO2023178737A1 (zh) 一种基于脉冲神经网络的数据增强方法及装置
US20220156587A1 (en) Multi-head deep metric machine-learning architecture
WO2021200392A1 (ja) データ調整システム、データ調整装置、データ調整方法、端末装置及び情報処理装置
CN114970640B (zh) 一种基于知识蒸馏的手势识别方法及系统
KR102619200B1 (ko) 인공지능 기반 환경설비 자동제어를 위한 뉴럴 네트워크 모델 생성 방법 및 컴퓨터 프로그램
CN114724245A (zh) 基于csi的增量学习人体动作识别方法
CN115438691A (zh) 一种基于无线信号的小样本手势识别方法
KR102153360B1 (ko) 클라우드 컴퓨팅 기반 로봇의 상황 인지 시스템 및 그 처리 방법
Du et al. The innovation of ideological and political education integrating artificial intelligence big data with the support of wireless network
CN115171211A (zh) 信道状态信息的动作和位置的联合估计方法
CN113300750A (zh) 基于wifi信号的人员身份认证和手写字母识别方法
CN110751869B (zh) 一种基于对抗鉴别式迁移法的拟态环境与战场态势策略转移技术
Yang et al. Broad learning system for human activity recognition using sensor data
CN114118371A (zh) 一种智能体深度强化学习方法及计算机可读介质
Luna-Romero et al. A domotics control tool based on MYO devices and neural networks
Singh et al. A novel procedure for recognising human activity using machine learning
Zhang et al. Prediction of human actions in assembly process by a spatial-temporal end-to-end learning model
Manolova et al. Human activity recognition with semantically guided graph-convolutional network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201016