CN111857349B - 一种带自修复和自校准功能的腕带式手势识别设备及方法 - Google Patents

一种带自修复和自校准功能的腕带式手势识别设备及方法 Download PDF

Info

Publication number
CN111857349B
CN111857349B CN202010735102.3A CN202010735102A CN111857349B CN 111857349 B CN111857349 B CN 111857349B CN 202010735102 A CN202010735102 A CN 202010735102A CN 111857349 B CN111857349 B CN 111857349B
Authority
CN
China
Prior art keywords
gesture recognition
abnormal
ratio
module
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010735102.3A
Other languages
English (en)
Other versions
CN111857349A (zh
Inventor
陈香
秦文博
曹帅
张旭
胡若晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202010735102.3A priority Critical patent/CN111857349B/zh
Publication of CN111857349A publication Critical patent/CN111857349A/zh
Application granted granted Critical
Publication of CN111857349B publication Critical patent/CN111857349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种带自修复和自校准功能的腕带式手势识别设备及方法，包括：腕带式阵列表面肌电采集模块和控制核心模块，其中：所述腕带式阵列表面肌电采集模块，用于采集手势动作产生的腕部表面肌电信号，并对信号进行放大、滤波及数字采样；所述控制核心模块，用于系统时序控制、信号预处理、手势识别和控制指令发送，包括：异常信号检测及修复模块、电极校准模块、手势识别模块、无线传输模块。该手势识别设备通过腕带式阵列电极设计、异常信号检测及修复算法以及电极校准算法实现对手势动作的高鲁棒性识别，本发明提出的高鲁棒性腕带式手势识别设备，对基于手势动作的人机交互技术具有重要的应用价值。

Description

一种带自修复和自校准功能的腕带式手势识别设备及方法
技术领域
本发明涉及穿戴式人机交互领域，尤其涉及一种高鲁棒性的腕带式手势识别设备。
背景技术
近年来，手势识别成为了新型人机交互技术的一个主流研究方向。相较于鼠标、键盘等机械设备，手势交互是一种更自然、更符合人类习惯的人机交互方式。随着虚拟现实技术(VR)的不断发展，手势识别及交互将会有更大的发展前景。
肌电图是肌肉收缩时伴随的电信号，能在一定程度上反映神经肌肉的活动。表面肌电信号由于在测量上具有非入侵性、无创伤、操作简单等优点，在基于手势识别的人机交互领域中被广泛采用。基于表面肌电的手势识别设备在使用中存在的共性问题是：
1.在佩戴较长时间后，由于大幅度动作、出汗等因素影响，经常会出现由电极触点与皮肤接触不良带来的异常信号，从而导致识别性能下降。因此，实现对使用过程中出现的异常信号的有效检测和恢复，对提高手势识别设备的鲁棒性具有重要的意义。当前研究中对于异常信号的处理多采用人为参与的方法，即让专业人员人工确定异常通道并采用相邻通道取代的方式进行修复。然而，现有的基于表面肌电的手势识别设备多采用单电极或分立式电极采集表面肌电信号，由于电极密度较低，即通道间距离较远，使用相邻通道取代的恢复方法会引入一定的误差，无法保证识别性能。同时，人工参与的方式会增加人工成本，且无法应用在实时交互领场景中。
2.由于用户每次佩戴设备的位置和角度不同，在重复穿戴的过程中无法避免电极偏移的发生，而电极偏移则会导致分类器性能大幅度下降甚至不再适用。电极偏移之所以会影响分类器性能，其原因在于改变了肌电信号与电极通道间的对应关系。通过匹配算法确定偏移量，并恢复原本对应关系是一种常用的电极校准方法。然而，实际使用中的电极偏移量不总是电极间距的整倍数，且分立式电极由于电极密度较低，无法实现全覆盖，因此在偏移发生时会采集到原本没有电极覆盖的区域的肌电信号，导致校准方法失效。为防止电极偏移，现有设备多通过设置参考点的方法规定设备的佩戴位置。该方法虽然能有效对抗电极偏移，但是在长时间的佩戴过程中，手势动作会导致设备的佩戴位置发生变化，要求用户频繁地调整设备佩戴位置以保证识别效果，极大地降低了用户体验。
3.当前设备的佩戴部位多为前臂或后臂。将肌电传感器佩戴于前臂而非腕部虽有利于提高采集信号的质量，但便携性不足，不符合用户习惯。
由上述问题可以看出，在进行手势识别之前，保证信号的有效性和一致性对提高手势识别设备的鲁棒性具有重要意义。然而，肌电信号作为一种电生理信号，具有个体差异性大的特点，导致无论是对于异常信号检测及修复还是电极校准，都难以提出一种通用的判别标准和实施方案。因此，要想实现高鲁棒性的自修复和自校准功能，需要充分利用肌电信号自身的空间分布信息和规律。而要想获取充足的空间分布信息，则需要保证电极的高密度和高覆盖率。现有手势识别设备多采用单电极或分立式电极采集肌电信号，电极的密度与覆盖率较低，因此难以有效地对抗异常信号和电极偏移。
发明内容
为了解决现有设备的缺陷，本发明提出一种带有自修复和自校准功能的高鲁棒性腕带式手势识别设备，采用腕带式设计的阵列电极采集腕部表面肌电信号，通过异常信号检测及修复算法和电极校准算法提高数据的可靠性，从而实现对手势动作的高鲁棒性识别。本发明提出的高鲁棒性腕带式手势识别设备，对基于手势动作的人机交互技术具有重要的应用价值。
本发明的目的是通过以下技术方案实现的：一种带自修复和自校准功能的腕带式手势识别设备，包括：腕带式阵列表面肌电采集模块和控制核心模块，其中：
所述腕带式阵列表面肌电采集模块，用于采集手势动作产生的腕部表面肌电信号，并对信号进行放大、滤波及数字采样；
所述控制核心模块，用于系统时序控制、信号预处理、手势识别和控制指令发送，包括：异常信号检测及修复模块、电极校准模块、手势识别模块、无线传输模块，其中：
所述异常信号检测及修复模块，用于检测阵列表面肌电中的异常信号，并进行修复处理；
所述电极校准模块，用于校准偏移后的肌电信号；
所述手势识别模块，基于校准后的表面肌电信号进行手势动作识别。
进一步的，所述腕带式阵列表面肌电采集模块包括：肌电采集腕带、信号调理模块以及数字采样单元；其中：
所述肌电采集腕带，用于从腕部采集手势动作产生的表面肌电信号；
所述信号调理模块，用于对采集到的表面肌电信号进行放大滤波处理；
所述数字采样单元，用于对信号调理模块输出的模拟信号进行数字采样。
进一步的，述肌电采集腕带，包括：
柔性电极阵列、弹性绑带以及软体材料，其中，所述柔性电极阵列以列为单位固定在软体材料上，软体材料以间距D1固定于弹性绑带内侧，形成环状弹性阵列电极。
进一步的，所述柔性电极阵列的行通道数为p，列通道数为q，电极行间距为D2，电极列间距为D3。
进一步的，所述列通道数q≥3，电极行间距D2≤8mm。
根据本发明的另一方面，提出一种用于对腕带式手势识别设备进行自修复和校准的方法，用于的腕带式手势识别设备，检测及修复过程包括如下步骤：
步骤(1)对数据取绝对值，计算每个通道的平均值以及标准差；
步骤(2)计算同列通道两两间的平均值比值，得到平均值比值矩阵；计算同列通道两两间的标准差比值，得到标准差比值矩阵；
步骤(3)以行为单位，对均值比值矩阵和标准差比值矩阵进行异常值检测，通过设定的阈值Th确定异常比值和正常比值；
步骤(4)依据异常比值和正常比值确定异常通道，利用相邻通道数据修复异常通道。
进一步的，步骤(2)中所述平均值比值矩阵，其尺寸为M*N，对于行通道数为p、列通道数为q的电极阵列，有：
Figure BDA0002604721040000031
其中，同列的M个元素依次为
Figure BDA0002604721040000032
其中，
Figure BDA0002604721040000033
代表第n列第i个通道与第j个通道的均值比值。
进一步的，步骤(2)中所述标准差比值矩阵，其尺寸为M*N，对于行通道数为p、列通道数为q的电极阵列，有：
Figure BDA0002604721040000034
其中，同列的M个元素依次为
Figure BDA0002604721040000035
其中，
Figure BDA0002604721040000036
代表第n列第i个通道与第j个通道的标准差比值。
进一步的，所述步骤(3)中，对平均值比值矩阵和标准差比值矩阵进行的异常值检测，包括：
对矩阵的每一行，计算每个元素的标准分数(Zscore)；
若标准分数小于阈值Th，则判定该比值为正常比值，否则判定为异常比值。
进一步的，所述阈值Th基于人工标定好异常通道的数据确定。
进一步的，所述步骤(4)中依据异常比值和正常比值确定异常通道，包括：
若
Figure BDA0002604721040000041
和
Figure BDA0002604721040000042
均被判定为正常值，则第n列第i个通道与第j个通道被判定为正常通道；
将所有未被判定为正常通道的通道判定为异常通道。
进一步的，所述步骤(4)中利用相邻通道数据修复异常通道，采用相邻通道加权的方式修复异常通道。
进一步的，所述电极校准模块采用主激活区域提取算法。
进一步的，所述手势识别模块适用于多种分类器，所述手势识别模块采用神经网络实现，包括两层卷积层、一层门控逻辑单元、一层全连接层和一层softmax层，并使用迁移学习方法训练网络，其中：
两层卷积层的网络参数迁移自源网络，源网络使用来自多名用户的多个批次的数据进行训练；
新用户在首次使用设备前，先使用设备采集少量目标手势集数据，将数据放入PC端进行目标网络训练；目标网络中的卷积层参数迁移自源网络，卷积层参数在目标网络训练过程中保持不变，目标网络训练只改变门控逻辑单元和全连接层的参数，训练完成后，将新的网络参数重新导入设备。
有益效果：
由上述发明提供的技术方案可以看出，本发明提出了一种带有自修复和自校准功能的腕带式手势识别设备，通过提高数据的可靠性提高了手势识别精度。本发明使用腕带式设计，能集成至智能手表、手环等传统腕带式设备上，适用于作为一种可长时间佩戴的手势识别解决方案。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的带自修复和自校准功能的腕带式手势识别设备的示意图；
图2为本发明实施例提供的肌电采集腕带示；
图3为本发明实施例提供的柔性电极阵列；
图4为本发明实施例提供的异常信号检测及修复算法流程图；
图5为本发明实施例提供的特征比值矩阵中元素的排列示意图；
图6为本发明实施例提供的主激活区域提取示意图；
图7为本发明实施例提供的手势识别网络结构示意图。
附图标记说明：1—弹性绑带，2—柔性电极阵列，3—软体材料，4—信号调理模块及控制核心，5—主激活区域，6—主发力肌肉。
具体实施方式
以下参考说明书附图介绍本发明的一个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非限于本文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更加清晰，附图中有些地方适当地夸大了部件地尺寸。
本发明实施例提出一种带自修复和自校准功能的腕带式手势识别设备，如图1所示，主要包括腕带式阵列表面肌电采集模块和控制核心模块。
所述腕带式阵列表面肌电采集模块，用于采集手势动作产生的腕部表面肌电信号，并对信号进行放大、滤波及数字采样；所述控制核心模块，用于系统时序控制、信号预处理、手势识别和控制指令发送，包括：异常信号检测及修复模块、电极校准模块、手势识别模块、无线传输模块，其中：
所述异常信号检测及修复模块，用于检测阵列表面肌电中的异常信号，并进行修复处理；
所述电极校准模块，用于校准偏移后的肌电信号；
所述手势识别模块，基于校准后的表面肌电信号进行手势动作识别；
为了便于理解，下面针对设备中的各部分做详细介绍。
1.腕带式阵列表面肌电采集模块
本发明实施例中，腕带式阵列表肌电采集模块主要包括肌电采集腕带、信号调理模块以及数字采样单元，其中：
所述肌电采集腕带如图2所示，基于现有穿戴式手势识别设备的不足和自修复、自校准算法对电极密度及覆盖率的要求，采集腕带采用了腕带式阵列的设计，包括：柔性电极阵列、弹性绑带以及软体材料。所述柔性电极阵列2以列为单位固定在软体材料3 上，软体材料3等间距固定于弹性绑带1内侧，形成环状弹性阵列电极。软体材料3在弹性绑带上的固定间距D1决定了电极在环绕手臂方向的最大密度，示例性地，可以设置 D1＝5mm。
所述柔性电极阵列结构如图3所示。在佩戴时，柔性电极阵列会由于自身应力出现隆起，导致电极与皮肤接触不良。因此，为保证电极贴合效果，除必要走线外，镂去了每列电极之间的大部分柔性材料，以减小柔性阵列自身应力。所述柔性电极阵列的行电极数为p，列电极数为q，电极行间距为D2，电极列间距为D3。示例性地，可以设置 p＝24，q＝4，D2＝6mm。为适应不同粗细的手腕，肌电采集腕带在环绕手臂方向应具有伸缩性，因此电极列间距在设计时应大于D1，示例性地，可以设置D3＝10mm。
所述信号调理模块用于对信号进行放大滤波处理；示例性地，可以设置信号滤波通带为20～500Hz。
所述数字采样单元用于对信号调理模块输出的模拟信号进行数字采样，示例性地，可以设置采样频率为1KHz。
示例性地，采用数字输出的32路放大器RHD2132芯片实现信号调理模块和数字采样单元功能。
示例性地，所述信号调理模块、数字采样单元以及控制核心模块4一同固定于腕带外侧处。
2.异常信号检测及修复模块
本发明实施例中，异常信号检测及修复模块进行异常信号检测及修复，如图4所示。进行异常信号检测及修复的过程包括如下步骤：
步骤1、对肌电数据取绝对值，并提取若干各特征。示例性地，将特征个数设置为2，特征种类设置为均值以及标准差。
步骤2、计算同列通道两两间的平均值比值，得到平均值比值矩阵。计算同列通道两两间的标准差比值，得到标准差比值矩阵。比值矩阵尺寸为M*N，对于行电极数为p，列电极数为q的柔性电极阵列，有：
Figure BDA0002604721040000061
比值矩阵中元素的排列方式如图5所示，其中：
Figure BDA0002604721040000062
为均值比值矩阵中的元素，表第n列电极的第i个通道与第j个通道的均值比值；
Figure BDA0002604721040000063
为标准差比值矩阵中的元素，表第n列电极的第i个通道与第j个通道的标准差比值。
步骤3、以行为单位，对均值比值矩阵和标准差比值矩阵进行异常值检测，通过设定的阈值Th确定异常比值和正常比值。就腕部表面肌电信号采集而言，规定环绕手臂方向为行，越远离腕部的行电极采集到的肌电信号越强烈，且当电极列密度较大时，不同行、同列电极之间信号强度呈统一的比例关系。当出现信号伪迹时，该比例关系被破坏，在比值矩阵中表现为在一行比值中存在离群值，依此可以判定两个通道中至少有一个通道存在异常信号。示例性地，异常检测使用标准分数(Zscore)实现，将标准分数小于阈值Th的比值判定为正常比值，其余比值判定为异常比值。
其中，阈值Th的确定方法为：采集10名用户的肌电信号，通过人为参与的方式标定出异常通道。将标定后的数据按异常信号检测及修复算法流程处理至步骤3，则标定为异常通道的通道信号参与计算出的比值均为异常比值。在不将正常比值误判为异常比值的前提下，取最小的阈值作为Th。
步骤4、依据异常比值和正常比值确定异常通道，利用原始数据相邻通道数据修复异常通道。若比值矩阵中的
Figure BDA0002604721040000071
和
Figure BDA0002604721040000072
均被判定为正常值，则判定第n列电极的第i个通道与第j个通道为正常通道；将所有未被判定为正常通道的通道判定为异常通道。
示例性地，对位于第一行的异常通道，使用左、右、下三个相邻通道等比加权恢复信号；对位于最后一行的异常通道，使用左、右、上三个相邻通道等比加权恢复信号；对位于其他位置的异常通道，使用左、右、上、下四个相邻通道等比加权恢复信号。
3.电极校准模块
本发明实施例中，电极校准模块使用主激活区域提取算法实现电极校准。虽然手势动作由前臂多块肌肉共同发力完成，但是不同动作中各块肌肉的发力程度存在差异，发力程度最高的一块或几块肌肉称为主发力肌肉，在肌电图中主发力区域的肌电信号强大明显大于其他区域，称为主激活区域。研究表明，仅使用主激活区域的肌电信号同样可以取得良好的手势识别效果。
电极偏移会改变肌电信号与电极通道之间的对应关系，但不会改变电极间的相对位置。因此，如图6所示，在保证电极覆盖率和密度的前提下，对同一类手势动作，无论电极发生怎样的偏移，只要柔性电极阵列2仍然将主发力区域6覆盖在内，就可以从中提取出相同的主激活区域5，从而在电极偏移发生时保证了数据的一致性，实现了电极校准。对于使用主激活区域数据训练的分类器，由于主激活区域的提取不受电极偏移的影响，因此分类器的性能不会因电极偏移下降。
示例性地，可以使用PCA算法提取主激活区域。
4.手势识别模块
本发明实施例中，手势识别模块采用神经网络实现，神经网络的结构如图7所示。手势识别神经网络包括两层卷积层、一层门控逻辑单元、一层全连接层和一层softmax 层，并使用迁移学习方法训练网络，其中：
两层卷积层的网络参数迁移自源网络，源网络使用来自多名用户的大批次的数据进行训练；
新用户在首次使用设备前，先使用设备采集少量目标手势集数据，将数据放入PC端进行目标网络训练。目标网络中的卷积层参数迁移自源网络，卷积层参数在目标网络训练过程中保持不变，目标网络训练只改变门控逻辑单元和全连接层的参数。训练完成后，将新的网络参数重新导入设备。
5.控制核心
本发明实施例中，控制核心用于系统时序控制、控制指令发送以及手势识别分类器的载入。示例性地，选用STM32F767作为控制核心；示例性地，选用CC2541蓝牙模块用于无线传输；示例性地，使用CMSIS NN库在STM32上搭载深度学习算法。
以上所述，仅为本发明较佳地具体实施方式，但本发明地保护范围不局限于此，任何熟悉本技术领域地技术人员在本发明披露的技术范围内，可以轻易想到的变化或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种用于对腕带式手势识别设备进行自修复和校准的方法，所述腕带式手势识别设备包括：腕带式阵列表面肌电采集模块和控制核心模块，其中：
所述腕带式阵列表面肌电采集模块，用于采集手势动作产生的腕部表面肌电信号，并对信号进行放大、滤波及数字采样；
所述控制核心模块，用于系统时序控制、信号预处理、手势识别和控制指令发送，包括：异常信号检测及修复模块、电极校准模块、手势识别模块、无线传输模块，其中：
所述异常信号检测及修复模块，用于检测阵列表面肌电中的异常信号，并进行修复处理；
所述电极校准模块，用于校准偏移后的肌电信号；
所述手势识别模块，基于校准后的表面肌电信号进行手势动作识别；
其特征在于，所述异常信号检测及修复模块的检测及修复过程包括如下步骤：
步骤(1)对数据取绝对值，计算每个通道的平均值以及标准差；
步骤(2)计算同列通道两两间的平均值比值，得到平均值比值矩阵；计算同列通道两两间的标准差比值，得到标准差比值矩阵；
步骤(3)以行为单位，对均值比值矩阵和标准差比值矩阵进行异常值检测，通过设定的阈值Th确定异常比值和正常比值；
步骤(4)依据异常比值和正常比值确定异常通道，利用相邻通道数据修复异常通道。
2.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于：
步骤(2)中所述平均值比值矩阵，其尺寸为M*N，对于行通道数为p、列通道数为q的电极阵列，有：
Figure FDA0003309623350000011
N＝p；
其中，同列的M个元素依次为
Figure FDA0003309623350000012
其中，
Figure FDA0003309623350000013
代表第n列第i个通道与第j个通道的均值比值。
3.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于：
步骤(2)中所述标准差比值矩阵，其尺寸为M*N，对于行通道数为p、列通道数为q的电极阵列，有：
Figure FDA0003309623350000021
N＝p；
其中，同列的M个元素依次为
Figure FDA0003309623350000022
其中，
Figure FDA0003309623350000023
代表第n列第i个通道与第j个通道的标准差比值。
4.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于：
所述步骤(3)中，对平均值比值矩阵和标准差比值矩阵进行的异常值检测，包括：
对矩阵的每一行，计算每个元素的标准分数(Zscore)；
若标准分数小于阈值Th，则判定该比值为正常比值，否则判定为异常比值。
5.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于，所述阈值Th基于人工标定好异常通道的数据确定。
6.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于：
所述步骤(4)中依据异常比值和正常比值确定异常通道，包括：
若
Figure FDA0003309623350000024
和
Figure FDA0003309623350000025
均被判定为正常值，则第n列第i个通道与第j个通道被判定为正常通道；
将所有未被判定为正常通道的通道判定为异常通道。
7.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于：
所述步骤(4)中利用相邻通道数据修复异常通道，采用相邻通道加权的方式修复异常通道。
8.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于，所述电极校准模块采用主激活区域提取算法。
9.根据权利要求1所述的一种用于对腕带式手势识别设备进行自修复和校准的方法，其特征在于：
所述手势识别模块适用于多种分类器。
CN202010735102.3A 2020-07-28 2020-07-28 一种带自修复和自校准功能的腕带式手势识别设备及方法 Active CN111857349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010735102.3A CN111857349B (zh) 2020-07-28 2020-07-28 一种带自修复和自校准功能的腕带式手势识别设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010735102.3A CN111857349B (zh) 2020-07-28 2020-07-28 一种带自修复和自校准功能的腕带式手势识别设备及方法

Publications (2)

Publication Number Publication Date
CN111857349A CN111857349A (zh) 2020-10-30
CN111857349B true CN111857349B (zh) 2022-03-01

Family

ID=72948228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010735102.3A Active CN111857349B (zh) 2020-07-28 2020-07-28 一种带自修复和自校准功能的腕带式手势识别设备及方法

Country Status (1)

Country Link
CN (1) CN111857349B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
CN105653039A (zh) * 2016-01-20 2016-06-08 同济大学 一种基于脑电信号检测的手部动作自动矫正识别方法
CN105943042A (zh) * 2016-06-07 2016-09-21 中国人民解放军国防科学技术大学 基于肌电信号的操作者手部行为感知系统
CN107608524A (zh) * 2017-10-13 2018-01-19 中国科学院软件研究所 一种基于肌电的多目标控制指令生成装置
CN109598219A (zh) * 2018-11-20 2019-04-09 中国科学技术大学 一种用于鲁棒肌电控制的自适应电极配准方法
CN109758146A (zh) * 2019-01-09 2019-05-17 大悦创新（苏州）医疗科技股份有限公司 用于肌电信号采集装置的校准方法和装置
CN109998542A (zh) * 2019-04-29 2019-07-12 东北大学 基于织物电极的多通道手部肌电采集腕带
CN110811598A (zh) * 2019-11-14 2020-02-21 深圳先进技术研究院 腕带式生物信号采集设备及其制作方法
CN111297354A (zh) * 2020-02-17 2020-06-19 中国人民解放军军事科学院军事医学研究院 具有自校准功能的肌电与压力结合的混合式传感器系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6789903B2 (ja) * 2017-09-13 2020-11-25 株式会社東芝 筋電位測定装置
CN108196677A (zh) * 2018-01-15 2018-06-22 上海交通大学 一种手势识别腕带
US20200000355A1 (en) * 2018-07-02 2020-01-02 Mohammad Mohammad Khair Electric biopotential signal mapping calibration, estimation, source separation, source localization, stimulation, and neutralization.

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102349037A (zh) * 2009-03-13 2012-02-08 微软公司 用于人机接口的基于肌电图的可佩戴控制器
CN105653039A (zh) * 2016-01-20 2016-06-08 同济大学 一种基于脑电信号检测的手部动作自动矫正识别方法
CN105943042A (zh) * 2016-06-07 2016-09-21 中国人民解放军国防科学技术大学 基于肌电信号的操作者手部行为感知系统
CN107608524A (zh) * 2017-10-13 2018-01-19 中国科学院软件研究所 一种基于肌电的多目标控制指令生成装置
CN109598219A (zh) * 2018-11-20 2019-04-09 中国科学技术大学 一种用于鲁棒肌电控制的自适应电极配准方法
CN109758146A (zh) * 2019-01-09 2019-05-17 大悦创新（苏州）医疗科技股份有限公司 用于肌电信号采集装置的校准方法和装置
CN109998542A (zh) * 2019-04-29 2019-07-12 东北大学 基于织物电极的多通道手部肌电采集腕带
CN110811598A (zh) * 2019-11-14 2020-02-21 深圳先进技术研究院 腕带式生物信号采集设备及其制作方法
CN111297354A (zh) * 2020-02-17 2020-06-19 中国人民解放军军事科学院军事医学研究院 具有自校准功能的肌电与压力结合的混合式传感器系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
有源柔性表面肌电电极阵列设计;张恒毅等;《电子测量与仪器学报》;20140831;第901-908页 *

Also Published As

Publication number Publication date
CN111857349A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US11422623B2 (en) Wrist worn computing device control systems and methods
CN113288183B (zh) 一种基于面颈部表面肌电的无声语音识别方法
CN110141232B (zh) 用于鲁棒肌电信号识别的数据增强方法
Hu et al. Finger movement recognition via high-density electromyography of intrinsic and extrinsic hand muscles
CN111857349B (zh) 一种带自修复和自校准功能的腕带式手势识别设备及方法
US11759138B2 (en) Physiological signal sensing system and method
CN111783719A (zh) 一种肌电控制方法及装置
Chuckravanen Approximate entropy as a measure of cognitive fatigue: an eeg pilot study
Lafe et al. Bimanual coordination and the intermittency of visual information in isometric force tracking
Liu et al. A wearable system for sign language recognition enabled by a convolutional neural network
Chan et al. Unsupervised domain adaptation for gesture identification against electrode shift
Wang et al. Electrode shift fast adaptive correction for improving myoelectric control interface performance
Roy et al. A generic neural network model to estimate populational neural activity for robust neural decoding
Fang et al. Real-Time Monitoring of Mental Fatigue of Construction Workers Using Enhanced Sequential Learning and Timeliness
US20220319689A1 (en) Systems and methods for improved interface noise tolerance of myoelectric pattern recognition controllers using deep learning and data augmentation
Fazil et al. CNN-based controller for multi-DoF prosthetic wrist using SEMG data during activities of daily living
Rahimian et al. Hybrid deep neural networks for sparse surface emg-based hand gesture recognition
CN109717831A (zh) 一种基于触控手势的非干扰式神经系统疾病辅助检测系统
Pradeepkumar et al. Decoding of hand gestures from electrocorticography with LSTM based deep neural network
CN110850979B (zh) 基于航天医监医保信号的手势识别人机交互方法
Zhang et al. Non-uniform sample assignment in training set improving recognition of hand gestures dominated with similar muscle activities
US11592901B2 (en) Control device and control method for robot arm
CN112380943A (zh) 一种基于电阻抗的多部位肢体动作捕捉方法
CN112710415A (zh) 一种高精度平面压阻传感器系统及其使用方法
CN110825232A (zh) 基于航天医监医保信号的手势识别人机交互装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant