CN113269157A - 隐秘环境下融合IMU和sEMG的加密手势识别方法 - Google Patents

隐秘环境下融合IMU和sEMG的加密手势识别方法 Download PDF

Info

Publication number
CN113269157A
CN113269157A CN202110772691.7A CN202110772691A CN113269157A CN 113269157 A CN113269157 A CN 113269157A CN 202110772691 A CN202110772691 A CN 202110772691A CN 113269157 A CN113269157 A CN 113269157A
Authority
CN
China
Prior art keywords
semg
signal
imu
pressure
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110772691.7A
Other languages
English (en)
Other versions
CN113269157B (zh
Inventor
闫野
沈瑞
印二威
谢良
张亚坤
闫慧炯
罗治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Publication of CN113269157A publication Critical patent/CN113269157A/zh
Application granted granted Critical
Publication of CN113269157B publication Critical patent/CN113269157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种隐秘环境下融合IMU和sEMG的加密手势识别方法，其步骤包括：在肌电手环的稀疏电极间加入一个压力传感器，使用肌电手环采集sEMG，并由压力传感器获得压力数据，同时使用数据手套采集IMU信号；将所采集的肌电信号传入压力补偿模块，根据获得的压力数据对所述采集的sEMG进行补偿；通过sEMG识别使用者身份后自动按照预先设定的加密融合方法对sEMG与IMU进行融合；然后将融合模块输出的融合图像传至手势识别模块进行手势的分类与识别，得到识别结果。本方法无需任何视觉信号，可以在隐秘环境下进行操控，并且通过sEMG信号加密与所提出的sEMG与IMU信号融合方法更加保证了控制的安全性。

Description

隐秘环境下融合IMU和sEMG的加密手势识别方法
技术领域
本发明涉及手势识别技术领域，特别涉及一种隐秘环境下融合IMU和sEMG的加密手势识别方法。
背景技术
本发明来自于肌电信号与IMU的手势识别问题，在人与人的日常交流中，手势是一种使用广泛且频繁的交互方式，多年来，研究人员对手势识别技术的探索愈发深入，手势识别早已成为人机交互领域的热点之一。
实现手势识别的技术有很多种，目前基于视觉的手势识别技术研究与应用最为广泛，也最为便利，但是基于视觉的手势识别技术隐蔽性较差，同时基于视觉的识别收到的干扰较多。与之相比，基于表面肌电信号(sEMG)的手势识别技术和基于运动传感器(IMU)的手势识别技术就更具有应用前景，这两类技术因为无需视觉数据，不受背景条件、光线等外界环境的影响，相比于基于视觉的手势识别技术，具有更优的隐蔽性。另外，相比于密码、身份证等信息很容易被盗取，使用生物特征来进行用户认证具有更高的安全性，而在生物特征中，DNA可以通过毛发、唾液等获得，脸部、虹膜等特征可通过相机、深度相机来捕捉，指纹信息通过任何接触面即可轻易盗取等等，基于生理信号，如脑电信号、肌电信号等，的生物识别方法就显示出很大的应用前景。
基于上述背景，考虑到在军事与商业等领域对控制的隐蔽性与安全性要求较高，为满足这一需求，本发明中提出了一种隐秘环境下融合IMU和sEMG的加密手势识别方法，采用基于表面肌电信号的身份识别方法，可以进行更加安全的控制同时又相比于采集其他生理信号操作简单，保证了基于此方法的手势识别与控制具有极高的隐蔽性与安全性。
发明内容
本发明的目的是为了提升手势识别与控制的隐蔽性与安全性，同时也为了提升加密手势识别的便捷性。
本发明公开了一种隐秘环境下融合运动传感器(IMU)和表面肌电信号(sEMG)的加密手势识别方法，其包括以下步骤：
S1，通过肌电-压力手环采集使用者的sEMG信号与压力信号，同时使用惯性测量单元数据手套采集使用者的IMU信号；
S2，将肌电-压力手环采集到的sEMG信号传递至压力补偿模块，对sEMG信号进行压力补偿；
S3，利用经过压力补偿模块后的sEMG信号进行身份识别，识别方式为根据预先录入系统的所有允许使用者的sEMG信号与所述经过压力补偿模块后的sEMG信号进行匹配，若匹配成功，身份识别成功，则可进行后续操作，否则，身份识别失败，无法进行后续操作；
S4，在步骤S3身份识别成功后，将经过压力补偿模块后的sEMG信号与IMU信号进行融合，得到融合后的灰度图像；
S5，将所述灰度图像发送至手势识别模块进行识别分类，得到识别结果。
所述的步骤S1，具体包括：
将所述肌电-压力手环与惯性测量单元数据手套同时佩戴于被采集者上，肌电-压力手环紧密贴合肌肉佩戴于被采集者上臂，惯性测量单元数据手套戴于被采集者手上，等待所采集信号平稳后，再进行sEMG信号、压力信号和IMU信号的数据采集。
所述的肌电-压力手环，肌电-压力手环共包括17个模块，其中1个是压力传感器，另外16个是用于采集稀疏多通道肌电信号的16个电极，该17个模块并联连接；
所述惯性测量单元数据手套，其包括惯性测量单元运动传感器模块、蓝牙发送模块，所述传感器模块采集数据后通过蓝牙发送模块传至上位计算机进行处理，惯性测量单元数据手套共采集36个通道的惯性测量数据；
所述惯性测量单元运动传感器模块，其采用六轴惯性测量单元运动传感器，用于记录双手在做动作时的运动信息，其运动信息包括三轴的加速度和三轴的角速度信息，该传感器位于五根手指以及手背处，手指处的传感器分别与手背处的传感器连接。
所述的步骤S2，具体包括：
首先采集sENG数据与压力数据F，并设定一个标准的压力值F0；
对采集的sEMG数据进行滤波预处理，过滤掉工作频率干扰及噪声，得到预处理后的sEMG数据E0；
对sEMG数据进行压力补偿：
E＝E0-k(E0-Es)(F-F0)，
其中，E为压力补偿后的sEMG数据能量值；E0为进行压力补偿前的能量值；k为可调节系数；Es为所有被采集者sEMG数据静止段能量值均值；F为所采集的压力值；F0为设定的标准压力值；
其中，Es的计算公式为：
Figure BDA0003154414780000031
其中，N为所有被采集者总数，Esi为第i个被采集者的静止段能量值的平均值；
所述的步骤S4，具体包括：
设定压力补偿后的稀疏多通道sEMG信号的16个通道分别对应52行二维网格的中的某16行，如第1、4、5、7、10、14、15、16、21、23、24、28、35、45、46、49行；每个sEMG信号通道取连续100帧的信号值；
根据设定的16行索引，将每个sEMG信号通道取的连续100帧的信号值，按照通道依次排列在52行的二维信号网格中的前16行中，所述二维信号网格的每行对应一个通道，每列对应帧数，所述二维信号网格中的每个点对应一个通道一帧的信号值；
将采集的36通道的IMU信号取与sEMG信号相同时间的连续100帧信号值；
将IMU信号100帧数据按照通道数由低到高，分别排列在所述52行二维信号网格中的剩余36行，得到完整的52*100维的二维信号网格；将该52*100维的二维信号网格中的每个点的信号值线性变换为灰度图中的像素值，得到sEMG信号与IMU信号融合后的灰度图像。
所述的步骤S5，其手势识别模块为基于深度卷积神经网络的图像分类模块；
深度卷积神经网络的相关计算实现过程包括：
卷积层正向传播的映射过程为，
Figure BDA0003154414780000041
其中，
Figure BDA0003154414780000042
为所述手势识别卷积神经网络第l层的输出；i和j是卷积层输出图像的行和列的下标；f为relu激活函数；s为第l层输入图像的大小；
Figure BDA0003154414780000043
为第l层的输入；
Figure BDA0003154414780000044
为第l层卷积的卷积核；b(l)为第l层的偏置项；
深度卷积神经网络中，使用的损失函数如下：
Figure BDA0003154414780000045
其中，N为样本总数；C为手势类别数；yi,k为第i个样本预测的第k个真实手势标签值；Pi，k为第i个样本预测为第k个手势标签值的概率；
假设手势类别数为C，则输出层使用softmax函数对输入为C×1的向量进行分类，输出如下：
Figure BDA0003154414780000046
其中，Sj为softmax输出向量S的第j个值；aj为所述C×1向量中的第j个值；ak为所述C×1向量中的第k个值；
根据损失函数Llog(Y,P)，采用反向传播算法进行模型的训练；
所述模型在预测时，选取样本经过softmax层输出的C×1向量中数值最大的索引值作为该样本的预测手势标签。
本发明的有益效果包括：
(1)本发明融合了压力模块的肌电手环通过采集压力信号，在后续处理中可以通过对sEMG信号的补偿提高手势的特征辨识；通过基于sEMG信号的身份识别模块对控制系统进行加密控制系统全程无需视觉信息，可以保证基于本方法的控制系统的隐蔽性与安全性。
(2)本发明在应用过程中，使用者的肌电信号无法窃取，极大保障了身份识别的安全性，另一方面，被迫与主动动作所产生的肌电信号不同，指定使用者可以按照自身意愿进行控制，可以确保控制的安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本发明的隐秘环境下融合IMU和sEMG的加密手势识别方法流程图；
图2是本发明中的肌电-压力手环示意图；
图3是本发明中的压力补偿方法流程图；
图4是本发明中的经过压力补偿模块后的sEMG信号与IMU信号融合方法流程图。
具体实施方式
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明提供了一种隐秘环境下融合IMU和sEMG的加密手势识别方法。本发明提供的技术方案中，由于本发明利用了压力补偿来使sEMG更容易提取特征，并通过sEMG进行身份识别，在使用肌电信号与IMU信号进行手势控制的同时进行手势识别，简化了身份识别的方式，更加便捷，并且安全性极高。
下面将结合附图1-附图4，对本发明实施例提供的隐秘环境下融合IMU和sEMG的加密手势识别方法进行详细介绍。
图1为本发明实施例提供的一种隐秘环境下融合IMU和sEMG的加密手势识别方法的流程图。本发明的方法包括以下步骤：
S1，通过肌电-压力手环采集使用者的sEMG信号与压力信号，同时使用惯性测量单元数据手套采集使用者的IMU信号；
将所述肌电-压力手环与惯性测量单元数据手套同时佩戴于被采集者上，肌电-压力手环紧密贴合肌肉佩戴于被采集者上臂，惯性测量单元数据手套戴于被采集者手上，等待所采集信号平稳后，再进行sEMG信号、压力信号和IMU信号的数据采集；
所述的肌电-压力手环示意图如图2所示，图2中101为电极(共16个)，102为压力传感器，103为肌肉-压力手环。肌电-压力手环共包括17个模块，其中1个是压力传感器，另外16个是用于采集稀疏多通道肌电信号的16个电极，该17个模块并联；
所述惯性测量单元数据手套，包括惯性测量单元运动传感器模块、蓝牙发送模块，所述传感器模块采集数据后通过蓝牙发送模块传至上位计算机进行处理，惯性测量单元数据手套共采集36个通道的惯性测量数据；
所述惯性测量单元运动传感器模块采用六轴惯性测量单元运动传感器，用于记录双手在做动作时的运动信息，其运动信息包括三轴的加速度和三轴的角速度信息，该传感器位于五根手指以及手背处，手指处的传感器分别与手背处的传感器连接。
S2，将肌电-压力手环采集到的sEMG信号传递至压力补偿模块，对sEMG信号进行压力补偿；
压力补偿方法流程图如图3所示。首先采集sENG数据与压力数据F，并设定一个标准的压力值F0；
对采集的sEMG数据进行滤波预处理，过滤掉工作频率干扰及噪声，得到预处理后的sEMG数据E0；
对sEMG数据进行压力补偿：
E＝E0-k(E0-Es)(F-F0)，
其中，E为压力补偿后的sEMG数据能量值；E0为进行压力补偿前的能量值；k为可调节系数；Es为所有被采集者sEMG数据静止段能量值均值；F为所采集的压力值；F0为设定的标准压力值；
其中，Es的计算公式为：
Figure BDA0003154414780000071
其中，N为所有被采集者总数，Esi为第i个被采集者的静止段能量值的平均值；
S3，利用经过压力补偿模块后的sEMG信号进行身份识别，识别方式为根据预先录入系统的所有允许使用者的sEMG信号与所述经过压力补偿模块后的sEMG信号进行匹配，若匹配成功，身份识别成功，则可进行后续操作，否则，身份识别失败，无法进行后续操作；
S4，在步骤S3身份识别成功后，将经过压力补偿模块后的sEMG信号与IMU信号进行融合，得到融合后的灰度图像；
所述经过压力补偿模块后的sEMG信号与IMU信号融合方法流程图如图4所示；
设定压力补偿后的稀疏多通道sEMG信号的16个通道分别对应52行二维网格的中的某16行，如第1、4、5、7、10、14、15、16、21、23、24、28、35、45、46、49行；每个sEMG信号通道取连续100帧的信号值；
根据设定的16行索引，将每个sEMG信号通道取的连续100帧的信号值，按照通道依次排列在52行的二维信号网格中的前16行中，所述二维信号网格的每行对应一个通道，每列对应帧数，所述二维信号网格中的每个点对应一个通道一帧的信号值；
将采集的36通道的IMU信号取与sEMG信号相同时间的连续100帧信号值；
将IMU信号100帧数据按照通道数由低到高，分别排列在所述52行二维信号网格中的剩余36行，得到完整的52*100维的二维信号网格；将该52*100维的二维信号网格中的每个点的信号值线性变换为灰度图中的像素值，得到sEMG信号与IMU信号融合后的灰度图像。
S5，将所述灰度图像发送至手势识别模块进行识别分类，并得到识别结果；
手势识别模块为基于深度卷积神经网络的图像分类模块；
深度卷积神经网络的相关计算实现过程包括：
卷积层正向传播的映射过程为，
Figure BDA0003154414780000081
其中，
Figure BDA0003154414780000082
为所述手势识别卷积神经网络第l层的输出；i和j是卷积层输出图像的行和列的下标；f为relu激活函数；s为第l层输入图像的大小；
Figure BDA0003154414780000083
为第l层的输入；
Figure BDA0003154414780000084
为第l层卷积的卷积核；b(l)为第l层的偏置项；
深度卷积神经网络中，使用的损失函数如下：
Figure BDA0003154414780000085
其中，N为样本总数；C为手势类别数；yi,k为第i个样本预测的第k个真实手势标签值；Pi，k为第i个样本预测为第k个手势标签值的概率；
假设手势类别数为C，则输出层使用softmax函数对输入为C×1的向量进行分类，输出如下：
Figure BDA0003154414780000086
其中，Sj为softmax输出向量S的第j个值；aj为所述C×1向量中的第j个值；ak为所述C×1向量中的第k个值；
根据损失函数Llog(Y，P)，采用反向传播算法进行模型的训练。
所述模型在预测时，选取样本经过softmax层输出的C×1向量中数值最大的索引值作为该样本的预测手势标签。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法、系统、装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解的是，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，包括以下步骤：
S1，通过肌电-压力手环采集使用者的sEMG信号与压力信号，同时使用惯性测量单元数据手套采集使用者的IMU信号；
S2，将肌电-压力手环采集到的sEMG信号传递至压力补偿模块，对sEMG信号进行压力补偿；
S3，利用经过压力补偿模块后的sEMG信号进行身份识别，识别方式为根据预先录入系统的所有允许使用者的sEMG信号与所述经过压力补偿模块后的sEMG信号进行匹配，若匹配成功，身份识别成功，则可进行后续操作，否则，身份识别失败，无法进行后续操作；
S4，在步骤S3身份识别成功后，将经过压力补偿模块后的sEMG信号与IMU信号进行融合，得到融合后的灰度图像；
S5，将所述灰度图像发送至手势识别模块进行识别分类，得到识别结果。
2.一种如权利要求1所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的步骤S1，具体包括：
将所述肌电-压力手环与惯性测量单元数据手套同时佩戴于被采集者上，肌电-压力手环紧密贴合肌肉佩戴于被采集者上臂，惯性测量单元数据手套戴于被采集者手上，等待所采集信号平稳后，再进行sEMG信号、压力信号和IMU信号的数据采集。
3.一种如权利要求1或2所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的肌电-压力手环，肌电-压力手环共包括17个模块，其中1个是压力传感器，另外16个是用于采集稀疏多通道肌电信号的16个电极，该17个模块并联连接。
4.一种如权利要求1或2所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述惯性测量单元数据手套，其包括惯性测量单元运动传感器模块、蓝牙发送模块，所述传感器模块采集数据后通过蓝牙发送模块传至上位计算机进行处理，惯性测量单元数据手套共采集36个通道的惯性测量数据。
5.一种如权利要求4所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述惯性测量单元运动传感器模块，其采用六轴惯性测量单元运动传感器，用于记录双手在做动作时的运动信息，其运动信息包括三轴的加速度和三轴的角速度信息，该传感器位于五根手指以及手背处，手指处的传感器分别与手背处的传感器连接。
6.一种如权利要求1所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的步骤S2，具体包括：
首先采集sENG数据与压力数据F，并设定一个标准的压力值F0；
对采集的sEMG数据进行滤波预处理，过滤掉工作频率干扰及噪声，得到预处理后的sEMG数据E0；
对sEMG数据进行压力补偿：
E＝E0-k(E0-Es)(F-F0)，
其中，E为压力补偿后的sEMG数据能量值；E0为进行压力补偿前的能量值；k为可调节系数；Es为所有被采集者sEMG数据静止段能量值均值；F为所采集的压力值；F0为设定的标准压力值；
其中，Es的计算公式为：
Figure FDA0003154414770000021
其中，N为所有被采集者总数，Esi为第i个被采集者的静止段能量值的平均值。
7.一种如权利要求1所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的步骤S4，具体包括：
设定压力补偿后的稀疏多通道sEMG信号的16个通道分别对应52行二维网格的中的某16行，每个sEMG信号通道取连续100帧的信号值；
根据设定的16行索引，将每个sEMG信号通道取的连续100帧的信号值，按照通道依次排列在52行的二维信号网格中的前16行中，所述二维信号网格的每行对应一个通道，每列对应帧数，所述二维信号网格中的每个点对应一个通道一帧的信号值；
将采集的36通道的IMU信号取与sEMG信号相同时间的连续100帧信号值；
将IMU信号100帧数据按照通道数由低到高，分别排列在所述52行二维信号网格中的剩余36行，得到完整的52*100维的二维信号网格；将该52*100维的二维信号网格中的每个点的信号值线性变换为灰度图中的像素值，得到sEMG信号与IMU信号融合后的灰度图像。
8.一种如权利要求1所述的隐秘环境下融合IMU和sEMG的加密手势识别方法，其特征在于，所述的步骤S5，其手势识别模块为基于深度卷积神经网络的图像分类模块；
深度卷积神经网络的相关计算实现过程包括：
卷积层正向传播的映射过程为，
Figure FDA0003154414770000031
其中，
Figure FDA0003154414770000032
为所述手势识别卷积神经网络第l层的输出；i和j是卷积层输出图像的行和列的下标；f为relu激活函数；s为第l层输入图像的大小；
Figure FDA0003154414770000033
为第l层的输入；
Figure FDA0003154414770000034
为第l层卷积的卷积核；b(l)为第l层的偏置项；
深度卷积神经网络中，使用的损失函数如下：
Figure FDA0003154414770000035
其中，N为样本总数；C为手势类别数；yi，k为第i个样本预测的第k个真实手势标签值；Pi，k为第i个样本预测为第k个手势标签值的概率；
假设手势类别数为C，则输出层使用softmax函数对输入为C×1的向量进行分类，输出如下：
Figure FDA0003154414770000036
其中，Sj为softmax输出向量S的第j个值；aj为所述C×1向量中的第j个值；ak为所述C×1向量中的第k个值；
根据损失函数Llog(Y,P)，采用反向传播算法进行模型的训练；
所述模型在预测时，选取样本经过softmax层输出的C×1向量中数值最大的索引值作为该样本的预测手势标签。
CN202110772691.7A 2020-09-29 2021-07-08 隐秘环境下融合IMU和sEMG的加密手势识别方法 Active CN113269157B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011053480.XA CN112183377A (zh) 2020-09-29 2020-09-29 隐秘环境下融合IMU和sEMG的加密手势识别方法
CN202011053480X 2020-09-29

Publications (2)

Publication Number Publication Date
CN113269157A true CN113269157A (zh) 2021-08-17
CN113269157B CN113269157B (zh) 2022-09-16

Family

ID=73947286

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011053480.XA Pending CN112183377A (zh) 2020-09-29 2020-09-29 隐秘环境下融合IMU和sEMG的加密手势识别方法
CN202110772691.7A Active CN113269157B (zh) 2020-09-29 2021-07-08 隐秘环境下融合IMU和sEMG的加密手势识别方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011053480.XA Pending CN112183377A (zh) 2020-09-29 2020-09-29 隐秘环境下融合IMU和sEMG的加密手势识别方法

Country Status (1)

Country Link
CN (2) CN112183377A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114265498B (zh) * 2021-12-16 2023-10-27 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160133151A1 (en) * 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc Modular wearable device for conveying affective state
US20160378193A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Wearable Device with Gesture Recognition Mechanism
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN106530926A (zh) * 2016-11-29 2017-03-22 东南大学 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法
CN107526952A (zh) * 2016-06-22 2017-12-29 宁波工程学院 基于多通道表面肌电信号的身份识别方法
CN109271901A (zh) * 2018-08-31 2019-01-25 武汉大学 一种基于多源信息融合的手语识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160133151A1 (en) * 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc Modular wearable device for conveying affective state
US20160378193A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Wearable Device with Gesture Recognition Mechanism
CN107526952A (zh) * 2016-06-22 2017-12-29 宁波工程学院 基于多通道表面肌电信号的身份识别方法
CN106530926A (zh) * 2016-11-29 2017-03-22 东南大学 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN109271901A (zh) * 2018-08-31 2019-01-25 武汉大学 一种基于多源信息融合的手语识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU HU等: "A novel attention-based hybrid CNN-RNN architecture for sEMG-based gesture recognition", 《PLOS ONE》 *
石军梅: "基于表面肌电信号的手部动作模式识别方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Also Published As

Publication number Publication date
CN113269157B (zh) 2022-09-16
CN112183377A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
Zhang et al. A convolutional recurrent attention model for subject-independent EEG signal analysis
CN111209885B (zh) 一种手势信息处理方法、装置、电子设备及存储介质
EP3836836B1 (en) Real-time spike detection and identification
Li et al. Deep Fisher discriminant learning for mobile hand gesture recognition
US10467548B2 (en) Method, apparatus and system for biometric identification
CN108983973B (zh) 一种基于手势识别的仿人灵巧肌电假手控制方法
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
CN108334766B (zh) 电子装置、解锁方法及相关产品
Fahim et al. A visual analytic in deep learning approach to eye movement for human-machine interaction based on inertia measurement
CN115294658B (zh) 一种面向多应用场景的个性化手势识别系统及其手势识别方法
CN111680660B (zh) 基于多源异构数据流的人体行为检测方法
CN113269157B (zh) 隐秘环境下融合IMU和sEMG的加密手势识别方法
Li et al. Adaptive deep feature fusion for continuous authentication with data augmentation
Tripathi et al. SurfMyoAiR: A surface electromyography-based framework for airwriting recognition
Zhang et al. Artificial intelligence in physiological characteristics recognition for internet of things authentication
Duivenvoorden et al. Sensor fusion in upper limb area networks: A survey
CN110231864A (zh) 变电站虚拟环境中的精准手势识别方法
CN116524380A (zh) 一种基于脑-机信号融合的目标检测方法
CN111444489B (zh) 一种基于光电容积脉搏波传感器的双因子认证方法
Zhang et al. Stacked LSTM-Based Dynamic Hand Gesture Recognition with Six-Axis Motion Sensors
Zhang et al. WristMouse: Wearable mouse controller based on pressure sensors
Jin et al. Integration of a Lightweight Customized 2D CNN Model to an Edge Computing System for Real-Time Multiple Gesture Recognition
Li et al. SNNAuth: Sensor-Based Continuous Authentication on Smartphones Using Spiking Neural Networks
CN117290773B (zh) 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别系统
CN114077723B (zh) 使用柔性传感器进行人体姿势跟踪的用户身份验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant