CN107193374A - 一种主动故意手势动作的检测装置及检测方法 - Google Patents
一种主动故意手势动作的检测装置及检测方法 Download PDFInfo
- Publication number
- CN107193374A CN107193374A CN201710349322.0A CN201710349322A CN107193374A CN 107193374 A CN107193374 A CN 107193374A CN 201710349322 A CN201710349322 A CN 201710349322A CN 107193374 A CN107193374 A CN 107193374A
- Authority
- CN
- China
- Prior art keywords
- gesture
- signals
- electroencephalogram
- signal
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 84
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 105
- 210000004556 brain Anatomy 0.000 claims abstract description 48
- 210000001061 forehead Anatomy 0.000 claims abstract description 10
- 210000000078 claw Anatomy 0.000 claims abstract description 6
- 210000000245 forearm Anatomy 0.000 claims abstract description 4
- 210000003205 muscle Anatomy 0.000 claims description 44
- 230000003183 myoelectrical effect Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 9
- 101800004637 Communis Proteins 0.000 claims description 8
- 238000012880 independent component analysis Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 210000000624 ear auricle Anatomy 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001936 parietal effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000021615 conjugation Effects 0.000 claims description 3
- 230000002747 voluntary effect Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 240000006409 Acacia auriculiformis Species 0.000 abstract 1
- 210000005069 ears Anatomy 0.000 abstract 1
- 230000008092 positive effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000002269 spontaneous effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种主动故意手势动作的检测装置，包括：肌电信号获取装置，用于获取操控者的手势肌电信号，包括以环形阵列方式布置在操控者小臂上的若干个肌电电极；脑电信号获取装置，用于获取操控者的脑电信号，包括布置在右耳垂A2区域、右前额Fp2区域、右头顶中央C4区域的三个爪式干电极；脑肌信号采集装置，用于采集手势肌电信号和脑电信号；脑肌信号处理装置，用于对采集到的操控者的手势肌电信号和脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作。本发明还公开了一种主动故意手势动作的检测方法。本发明的有益效果：可以检测出操控者是否是有意主观手势，提高手势交互控制的可靠性。
Description
技术领域
本发明涉及人机交互技术领域，具体而言，涉及一种主动故意手势动作的检测装置及检测方法。
背景技术
手势动作作为人体行为动作的一种，具有方便快捷、含义丰富、通俗易懂的特点，能够让人们在日常生活中以一种更自然、更直接的方式进行交互。因此，如何利用手势动作实现人机交互的问题越来越受到研究学者的重视。
手势识别技术是一种融合基于先进感知技术与计算机模式识别技术的新型人机自然交互控制技术，可以分为基于视觉传感器的手势识别和基于可穿戴传感器的手势识别。由于手势识别交互系统具有安装方便、成本低廉以及用户体验好的特点，在智能无人系统、养老助残、虚拟现实等领域有着广阔的应用前景。
现有的手势动作检测方法无法识别手势是主动手势还是被动手势，因此，影响了手势交互控制的可靠性。
发明内容
为解决上述问题，本发明的目的在于提供一种主动故意手势动作的检测装置及检测方法，可以穿在在操控者的身上，检测出操控者是否是有意主观手势，提高手势交互控制的可靠性。
本发明提供了一种主动故意手势动作的检测装置，该检测装置包括：
肌电信号获取装置，用于获取操控者的手势肌电信号，所述肌电信号获取装置包括以环形阵列方式布置在操控者小臂上的若干个肌电电极，每个小臂上分别布置四个肌电电极，拇短伸肌处布置第一肌电电极，指总伸肌处布置第二肌电电极，尺侧腕屈肌处布置第三肌电电极，指浅屈肌处布置第四肌电电极，分别对应采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；
脑电信号获取装置，用于获取操控者的脑电信号，所述脑电信号获取装置包括分别布置在右耳垂A2区域、右前额Fp2区域、右头顶中央C4区域的三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，A2区域的第一电极的电压作为基准电压，Fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，C4区域的第三电极用于采集判断是否是主动动作的脑电信号；
脑肌信号采集装置，用于采集所述肌电信号获取装置获取的手势肌电信号和所述脑电信号获取装置获取的脑电信号，所述脑肌信号采集装置分别与所述肌电信号获取装置、所述脑电信号获取装置连接；
脑肌信号处理装置，用于对采集到的操控者的手势肌电信号和脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，所述脑肌信号处理装置与所述脑肌信号采集装置连接。
作为本发明进一步的改进，所述脑肌信号采集装置采用ADS1298芯片。
作为本发明进一步的改进，所述脑肌信号处理装置包括去噪模块和处理模块；
所述去噪模块用于对采集到的脑电信号进行去噪处理，包括：
进行陷波滤波去除脑电信号中的工频干扰；
进行共空间模式滤波提高脑电信号的空间分辨率；
进行独立成分分析去除脑电信号中的伪迹；
所述处理模块对采集到手势肌电信号和去噪后的脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，包括：
对Fp2区域的第二电极采集到的脑电信号和和手势肌电信号同步化后进行相关性分析，判断出操控者的手势动作是故意动作还是无意动作；
对C4区域的第三电极采集到的脑电信号和手势肌电信号同步化进行相关性分析，判断出操控者的手势动作是主动动作还是被动动作。
作为本发明进一步的改进，所述处理模块对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时：
对操控者Fp2区的脑电信号的频率范围进行检测，当其频率在14Hz-30Hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；
对操控者C4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。
本发明还提供了一种主动故意手势动作的检测方法，该检测方法包括：
步骤1，分别对肌电信号获取装置和脑电信号获取装置进行设置：
在操控者小臂的指总伸肌、拇短伸肌、拇短伸肌和尺侧腕屈肌处以环形阵列方式分别布置四个肌电电极，用于采集操控者的手势肌电信号；
在操控者脑部的右耳垂A2区域、右前额Fp2区域和右头顶中央C4区域分别布置三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，A2区域的第一电极的电压作为基准电压，Fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，C4区域的第三电极用于采集判断是否是主动动作的脑电信号；
步骤2，操控者开始进行手势动作，所述肌电信号获取装置和所述脑电信号获取装置获取手势肌电信号和脑电信号；
步骤3，对肌电信号获取装置获取的手势肌电信号进行采集，包括指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；
对脑电信号获取装置获取的脑电信号号进行采集，包括A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号；
步骤4，脑肌信号处理装置对采集到的脑电信号进行去噪处理；
步骤5，脑肌信号处理装置对采集到的脑电信号和手势肌电信号进行处理，包括：
采用小波变换对采集到的手势动作的手势肌电信号的时域信息和频域信息进行分析；
采用小波变换对去噪处理后的脑电信号的时域信息和频域信息进行分析；
同时，对Fp2区域的第二电极采集到的脑电信号和和手势肌电信号进行同步化，对C4区域的第三电极采集到的脑电信号和手势肌电信号进行同步化；
步骤6，对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时，对手势动作的肌电信号和脑电信号的相干性进行分析，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作。
作为本发明进一步的改进，步骤4具体包括：
步骤401，进行陷波滤波，去除脑电信号中的工频干扰；
步骤402，进行共空间模式滤波，提高脑电信号的空间分辨率；
步骤403，进行独立成分分析，去除脑电信号中的伪迹。
作为本发明进一步的改进，步骤6具体包括：
步骤601，将操控者A2区域的第一电极的脑电信号的电压作为基准电压；
步骤602，对操控者Fp2区的脑电信号的频率范围进行检测，当其频率在14Hz-30Hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；
步骤603，对操控者C4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。
作为本发明进一步的改进，步骤603中，脑电信号和肌电信号的相干系数为：
其中，
SJ,N(f)为脑电信号和肌电信号的互谱，
SJJ(f)为肌电信号的自谱，
SNN(f)为脑电信号的自谱，
其中，Ji(f)为手势肌电信号函数，Ni(f)为脑电信号函数，Ji *(f)为手势肌电信号共轭函数，Ni *(f)为脑电信号共轭函数。
作为本发明进一步的改进，步骤603还包括：
让操控者做出20组的手势动作，相同的手势动作主动动作、被动动作各做一次，分别记录做主动动作与被动动作时的C4区域脑电信号、手臂肌电信号，对记录的C4区域脑电信号、手臂肌电信号分别进行相干性计算，确定出判断主动动作和被动动作的相干系数阈值为0.15。
本发明的有益效果为：
可以穿在在操控者的身上，检测出操控者是否是有意主观手势，提高手势交互控制的可靠性。
附图说明
图1为本发明实施例所述的一种主动故意手势动作的检测装置中第一肌电电极、第二肌电电极的布置位置示意图；
图2为本发明第一实施例所述的一种主动故意手势动作的检测装置中第三肌电电极、第四肌电电极的布置位置示意图；
图3为本发明第一实施例所述的一种主动故意手势动作的检测装置中Fp2区域的第二电极的布置位置示意图；
图4为本发明第一实施例所述的一种主动故意手势动作的检测装置中C4区域的第三电极的布置位置示意图；
图5为本发明第一实施例所述的一种主动故意手势动作的检测装置中三个爪式干电极在头部的布置位置示意图；
图6为本发明第二实施例所述的一种主动故意手势动作的检测方法的原理图。
图中，
1、第一肌电电极；2、第二肌电电极；3、第三肌电电极；4、第四肌电电极。
具体实施方式
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例1，本发明实施例的一种主动故意手势动作的检测装置，其特征在于，该检测装置包括肌电信号获取装置、脑电信号获取装置、脑肌信号采集装置和脑肌信号处理装置。
肌电信号获取装置，用于获取操控者的手势肌电信号，手势肌电信号包括：指总伸肌、拇短伸肌、指浅屈肌、尺侧腕屈肌的信号。如图1和2所示，肌电信号获取装置包括以环形阵列方式布置在操控者小臂上的若干个肌电电极，每个小臂上分别布置四个肌电电极，拇短伸肌处布置第一肌电电极1，指总伸肌处布置第二肌电电极2，尺侧腕屈肌处布置第三肌电电极3，指浅屈肌处布置第四肌电电极4，分别对应采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号。
脑电信号获取装置，用于获取操控者的脑电信号，脑电信号包括自发性脑电信号(Fp2区域脑电信号)和手势运动诱发性脑电信号(C4区域脑电信号)。自发性脑电信号是大脑自发产生的有节律的电位信号，可以通过在头部的Fp2区域(如图3所示)布置的第二电极进行检测。Fp2区域脑电波与人所处的精神状态可以通过检测Fp2区脑电波的频率范围来确定意识状态。手势运动诱发性脑电信号可以通过在头部C4区域(如图4所示)布置的第三电极进行检测，C4区域脑电信号与手势动作肌肉信号的相关程度最高。具体的，如图5所示，脑电信号获取装置包括分别布置在右耳垂A2区域、右前额Fp2区域、右头顶中央C4区域的三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，A2区域的第一电极的电压作为基准电压，Fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，C4区域的第三电极用于采集判断是否是主动动作的脑电信号。10-20标准系统，其前后方向的测量是以从鼻根到枕骨粗隆连成的正中线为基准，将该距离分成10等份，按10，20，20，20，20，10(％)的顺序做好标记，在此线左右等距的相应部位标定出左右前额点(Fp1，Fp2)、额点(F3，F4)、中间点(C3，C4)、顶点(P3，P4)和枕点(O1，O2)，前额点的位置在鼻根上相当于鼻根至枕骨粗隆的10％处，额点在前额点之后相当于鼻根至前额点距离的两倍，即鼻根正中线距离20％处，向后中央、顶、枕诸点的间隔均为20％。
脑肌信号采集装置用于采集肌电信号获取装置获取的手势肌电信号和脑电信号获取装置获取的脑电信号，脑肌信号采集装置分别与肌电信号获取装置、脑电信号获取装置连接。脑肌信号采集装置采用ADS1298芯片。ADS1298芯片内部集成了8个低噪音可编程增益放大器(PGA)和8个24位高分辨率模数转换器，共模抑制比达到-115dB，内置的驱动电路可有效抑制工频干扰。集成了SPI数字接口，采样频率最高可达32kHz。使用该芯片可以使系统集成度大大提高，同时也提高了系统的稳定性。ADS1298的主要功能是通过控制其内部寄存器来实现的，如信号输入模式、采样速率、放大倍数等。ADS1298通过SPI与外部处理器进行通信，实现数据的同步收发。ADS1298的参考电压可设置为2.4V或4V，因为它的分辨率为24b，所以最低可分辨的电压分别为0.286μF、0.477μF。而脑电信号的幅度一般为0.001～0.1mV，所以在信号进入ADS1298之前不需要再经过放大处理，其自带的放大模块就能满足要求，这样就大大简化了信号调理电路，极大地缩小了整体脑肌信号采集装置的面积和体积。
脑肌信号处理装置，用于对采集到的操控者的手势肌电信号和脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，脑肌信号处理装置与脑肌信号采集装置连接。其中，脑肌信号处理装置包括去噪模块和处理模块；
去噪模块用于对采集到的脑电信号进行去噪处理，包括：
进行陷波滤波去除脑电信号中的工频干扰；
进行共空间模式滤波提高脑电信号的空间分辨率；
进行独立成分分析去除脑电信号中的伪迹；
处理模块对采集到手势肌电信号和去噪后的脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，包括：
对Fp2区域的第二电极采集到的脑电信号和和手势肌电信号同步化后进行相关性分析，判断出操控者的手势动作是故意动作还是无意动作；
对C4区域的第三电极采集到的脑电信号和手势肌电信号同步化进行相关性分析，判断出操控者的手势动作是主动动作还是被动动作。
处理模块对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时：
对操控者Fp2区的脑电信号的频率范围进行检测，当其频率在14Hz-30Hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；
对操控者C4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。
实施例2，本发明第二实施例所述的一种主动故意手势动作的检测方法，如图6所示，该检测方法包括：
步骤1，分别对肌电信号获取装置和脑电信号获取装置进行设置：
在操控者小臂的指总伸肌、拇短伸肌、拇短伸肌和尺侧腕屈肌处以环形阵列方式分别布置四个肌电电极，用于采集操控者的手势肌电信号；如图1和2所示，拇短伸肌处布置第一肌电电极1，指总伸肌处布置第二肌电电极2，尺侧腕屈肌处布置第三肌电电极3，指浅屈肌处布置第四肌电电极4。
如图5所示，在操控者脑部的右耳垂A2区域、右前额Fp2区域和右头顶中央C4区域分别布置三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，A2区域的第一电极的电压作为基准电压，Fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，C4区域的第三电极用于采集判断是否是主动动作的脑电信号。
步骤2，操控者开始进行手势动作，肌电信号获取装置和脑电信号获取装置获取手势肌电信号和脑电信号。拇短伸肌处布置第一肌电电极1、指总伸肌处布置第二肌电电极2、尺侧腕屈肌处布置第三肌电电极3和指浅屈肌处布置第四肌电电极4，分别对应获取指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号。Fp2区域的第二电极获取自发性脑电信号(Fp2区域脑电信号)，C4区域的第三电极获取手势运动诱发性脑电信号(C4区域脑电信号)。
步骤3，对肌电信号获取装置获取的手势肌电信号进行采集，包括指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；
对脑电信号获取装置获取的脑电信号号进行采集，包括A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号。
步骤4，脑肌信号处理装置对采集到的脑电信号进行去噪处理，具体包括：
步骤401，进行陷波滤波，去除脑电信号中的工频干扰；
步骤402，进行共空间模式滤波，提高脑电信号的空间分辨率；
步骤403，进行独立成分分析(ICA)，去除脑电信号中的伪迹，提取脑电信号的有用信息。
步骤5，脑肌信号处理装置对采集到的脑电信号和手势肌电信号进行处理，包括：
采用小波变换对采集到的手势动作的手势肌电信号的时域信息和频域信息进行分析；
采用小波变换对去噪处理后的脑电信号的时域信息和频域信息进行分析；
同时，对Fp2区域的第二电极采集到的脑电信号和和手势肌电信号进行同步化，对C4区域的第三电极采集到的脑电信号和手势肌电信号进行同步化。
大脑是一个非常复杂的由大量神经元相互作用组成的动力学系统，各个区域的脑电信号之间存在着耦合，通过同步化可以将不同区域的脑电信号和手势肌电信号相互联系，便于后面的脑肌信号的相干分析。
步骤6，对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时，对手势动作的手势肌电信号和脑电信号的相干性进行分析，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，步骤6具体包括：
步骤601，将操控者A2区域的第一电极的脑电信号的电压作为基准电压；
步骤602，对操控者Fp2区的脑电信号的频率范围进行检测，当其频率在14Hz-30Hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；
步骤603，对操控者C4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作；
其中，脑电信号和手势肌电信号的相干系数为：
其中，
SJ,N(f)为脑电信号和肌电信号的互谱，
SJJ(f)为肌电信号的自谱，
SNN(f)为脑电信号的自谱，
其中，Ji(f)为手势肌电信号函数，Ni(f)为脑电信号函数，Ji *(f)为手势肌电信号共轭函数，Ni *(f)为脑电信号共轭函数。
本发明中对四种肌电信号(指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号)和C4区域脑电信号都需要分别计算相干系数，分别判断出各种组合动作的主被动性。
进一步的，为了确定步骤603中的相干性判断阈值，让操控者做出20组的手势动作，相同的手势动作主动动作、被动动作各做一次，分别记录做主动动作与被动动作时的C4区域脑电信号、手臂肌电信号的时域、频域信息，对记录的C4区域脑电信号、手臂肌电信号分别进行相干性计算，确定出判断主动动作和被动动作的相干系数阈值为0.15。
本发明通过手势肌电信号与自发性脑电波信号即Fp2区域脑电信号的相干性来判断操控者所发出的动作是故意动作还是无意动作；通过佩戴在操作者头部Fp2区的电极检测Fp2区脑电波的频率范围来确定意识状态，包括Fp2区脑电信号与操作者所处的精神状态。通过手势肌电信号与手势运动诱发性脑电信号即C4区域脑电信号的相干性来判断操控者所发出的动作是主动动作还是被动动作。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种主动故意手势动作的检测装置，其特征在于，该检测装置包括：
肌电信号获取装置，用于获取操控者的手势肌电信号，所述肌电信号获取装置包括以环形阵列方式布置在操控者小臂上的若干个肌电电极，每个小臂上分别布置四个肌电电极，拇短伸肌处布置第一肌电电极(1)，指总伸肌处布置第二肌电电极(2)，尺侧腕屈肌处布置第三肌电电极(3)，指浅屈肌处布置第四肌电电极(4)，分别对应采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；
脑电信号获取装置，用于获取操控者的脑电信号，所述脑电信号获取装置包括分别布置在右耳垂A2区域、右前额Fp2区域、右头顶中央C4区域的三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，A2区域的第一电极的电压作为基准电压，Fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，C4区域的第三电极用于采集判断是否是主动动作的脑电信号；
脑肌信号采集装置，用于采集所述肌电信号获取装置获取的手势肌电信号和所述脑电信号获取装置获取的脑电信号，所述脑肌信号采集装置分别与所述肌电信号获取装置、所述脑电信号获取装置连接；
脑肌信号处理装置，用于对采集到的操控者的手势肌电信号和脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，所述脑肌信号处理装置与所述脑肌信号采集装置连接。
2.根据权利要求1所述的检测装置，其特征在于，所述脑肌信号采集装置采用ADS1298芯片。
3.根据权利要求1所述的检测装置，其特征在于，所述脑肌信号处理装置包括去噪模块和处理模块；
所述去噪模块用于对采集到的脑电信号进行去噪处理，包括：
进行陷波滤波去除脑电信号中的工频干扰；
进行共空间模式滤波提高脑电信号的空间分辨率；
进行独立成分分析去除脑电信号中的伪迹；
所述处理模块对采集到手势肌电信号和去噪后的脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，包括：
对Fp2区域的第二电极采集到的脑电信号和和手势肌电信号同步化后进行相关性分析，判断出操控者的手势动作是故意动作还是无意动作；
对C4区域的第三电极采集到的脑电信号和手势肌电信号同步化进行相关性分析，判断出操控者的手势动作是主动动作还是被动动作。
4.根据权利要求3所述的检测装置，其特征在于，所述处理模块对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时：
对操控者Fp2区的脑电信号的频率范围进行检测，当其频率在14Hz-30Hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；
对操控者C4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。
5.一种主动故意手势动作的检测方法，其特征在于，该检测方法包括：
步骤1，分别对肌电信号获取装置和脑电信号获取装置进行设置：
在操控者小臂的指总伸肌、拇短伸肌、拇短伸肌和尺侧腕屈肌处以环形阵列方式分别布置四个肌电电极，用于采集操控者的手势肌电信号；
在操控者脑部的右耳垂A2区域、右前额Fp2区域和右头顶中央C4区域分别布置三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，A2区域的第一电极的电压作为基准电压，Fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，C4区域的第三电极用于采集判断是否是主动动作的脑电信号；
步骤2，操控者开始进行手势动作，所述肌电信号获取装置和所述脑电信号获取装置获取手势肌电信号和脑电信号；
步骤3，对肌电信号获取装置获取的手势肌电信号进行采集，包括指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；
对脑电信号获取装置获取的脑电信号号进行采集，包括A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号；
步骤4，脑肌信号处理装置对采集到的脑电信号进行去噪处理；
步骤5，脑肌信号处理装置对采集到的脑电信号和手势肌电信号进行处理，包括：
采用小波变换对采集到的手势动作的手势肌电信号的时域信息和频域信息进行分析；
采用小波变换对去噪处理后的脑电信号的时域信息和频域信息进行分析；
同时，对Fp2区域的第二电极采集到的脑电信号和和手势肌电信号进行同步化，对C4区域的第三电极采集到的脑电信号和手势肌电信号进行同步化；
步骤6，对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时，对手势动作的肌电信号和脑电信号的相干性进行分析，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作。
6.根据权利要求5所述的检测方法，其特征在于，步骤4具体包括：
步骤401，进行陷波滤波，去除脑电信号中的工频干扰；
步骤402，进行共空间模式滤波，提高脑电信号的空间分辨率；
步骤403，进行独立成分分析，去除脑电信号中的伪迹。
7.根据权利要求5所述的检测方法，其特征在于，步骤6具体包括：
步骤601，将操控者A2区域的第一电极的脑电信号的电压作为基准电压；
步骤602，对操控者Fp2区的脑电信号的频率范围进行检测，当其频率在14Hz-30Hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；
步骤603，对操控者C4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。
8.根据权利要求5所述的检测方法，其特征在于，步骤603中，脑电信号和手势肌电信号的相干系数为：
<mrow>
<msub>
<mi>Coh</mi>
<mrow>
<mi>J</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>J</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>J</mi>
<mi>J</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>N</mi>
<mi>N</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
<mo>;</mo>
</mrow>
其中，
SJ,N(f)为脑电信号和手势肌电信号的互谱，
SJJ(f)为手势肌电信号的自谱，
SNN(f)为脑电信号的自谱，
其中，Ji(f)为手势肌电信号函数，Ni(f)为脑电信号函数，Ji *(f)为手势肌电信号共轭函数，Ni *(f)为脑电信号共轭函数。
9.根据权利要求5所述的检测方法，其特征在于，步骤603还包括：
让操控者做出20组的手势动作，相同的手势动作主动动作、被动动作各做一次，分别记录做主动动作与被动动作时的C4区域脑电信号、手臂肌电信号，对记录的C4区域脑电信号、手臂肌电信号分别进行相干性计算，确定出判断主动动作和被动动作的相干系数阈值为0.15。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710349322.0A CN107193374B (zh) | 2017-05-17 | 2017-05-17 | 一种主动故意手势动作的检测装置及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710349322.0A CN107193374B (zh) | 2017-05-17 | 2017-05-17 | 一种主动故意手势动作的检测装置及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107193374A true CN107193374A (zh) | 2017-09-22 |
| CN107193374B CN107193374B (zh) | 2020-04-03 |
Family
ID=59872800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710349322.0A Active CN107193374B (zh) | 2017-05-17 | 2017-05-17 | 一种主动故意手势动作的检测装置及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107193374B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107817731A (zh) * | 2017-11-27 | 2018-03-20 | 中国兵器工业计算机应用技术研究所 | 融合肌电和脑电信息的无人平台操控系统及操控方法 |
| CN107943294A (zh) * | 2017-11-27 | 2018-04-20 | 中国兵器工业计算机应用技术研究所 | 可用手语操控的无人机飞行控制系统及控制方法 |
| CN109199371A (zh) * | 2018-09-29 | 2019-01-15 | 北京机械设备研究所 | 一种穿戴式脑电采集装置 |
| CN109846481A (zh) * | 2018-12-25 | 2019-06-07 | 北京津发科技股份有限公司 | 表面肌电信号处理方法和装置、数据处理设备和存储介质 |
| CN114569139A (zh) * | 2022-02-25 | 2022-06-03 | 之江实验室 | 复杂脑肌交互闭环功能网络框架的构建方法 |
| CN116449966A (zh) * | 2023-06-20 | 2023-07-18 | 浙江强脑科技有限公司 | 仿生手教具及其控制方法、主控设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080262367A1 (en) * | 2004-08-31 | 2008-10-23 | The University Of Akron | General diagnostic and real-time applications of discrete hermite functions to digital data |
| CN101874758A (zh) * | 2010-05-07 | 2010-11-03 | 中国科学院深圳先进技术研究院 | 辅助运动系统及其控制方法 |
| CN102488514A (zh) * | 2011-12-09 | 2012-06-13 | 天津大学 | 基于自主、刺激动作模态下的脑肌电相关性的分析方法 |
| CN102488515A (zh) * | 2011-12-09 | 2012-06-13 | 天津大学 | 基于自主动作、想象动作下脑肌电信号联合分析方法 |
-
2017
- 2017-05-17 CN CN201710349322.0A patent/CN107193374B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080262367A1 (en) * | 2004-08-31 | 2008-10-23 | The University Of Akron | General diagnostic and real-time applications of discrete hermite functions to digital data |
| CN101874758A (zh) * | 2010-05-07 | 2010-11-03 | 中国科学院深圳先进技术研究院 | 辅助运动系统及其控制方法 |
| CN102488514A (zh) * | 2011-12-09 | 2012-06-13 | 天津大学 | 基于自主、刺激动作模态下的脑肌电相关性的分析方法 |
| CN102488515A (zh) * | 2011-12-09 | 2012-06-13 | 天津大学 | 基于自主动作、想象动作下脑肌电信号联合分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄淦: "生物表面电信号建模、分析及其在人机交互中的应用", 《万方数据》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107817731A (zh) * | 2017-11-27 | 2018-03-20 | 中国兵器工业计算机应用技术研究所 | 融合肌电和脑电信息的无人平台操控系统及操控方法 |
| CN107943294A (zh) * | 2017-11-27 | 2018-04-20 | 中国兵器工业计算机应用技术研究所 | 可用手语操控的无人机飞行控制系统及控制方法 |
| CN109199371A (zh) * | 2018-09-29 | 2019-01-15 | 北京机械设备研究所 | 一种穿戴式脑电采集装置 |
| CN109846481A (zh) * | 2018-12-25 | 2019-06-07 | 北京津发科技股份有限公司 | 表面肌电信号处理方法和装置、数据处理设备和存储介质 |
| CN114569139A (zh) * | 2022-02-25 | 2022-06-03 | 之江实验室 | 复杂脑肌交互闭环功能网络框架的构建方法 |
| CN114569139B (zh) * | 2022-02-25 | 2022-11-01 | 之江实验室 | 复杂脑肌交互闭环功能网络框架的构建方法 |
| CN116449966A (zh) * | 2023-06-20 | 2023-07-18 | 浙江强脑科技有限公司 | 仿生手教具及其控制方法、主控设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107193374B (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107193374B (zh) | 一种主动故意手势动作的检测装置及检测方法 | |
| Rodríguez-Tapia et al. | Myoelectric interfaces and related applications: current state of EMG signal processing–a systematic review | |
| Usakli et al. | Design of a novel efficient human–computer interface: An electrooculagram based virtual keyboard | |
| Barbosa et al. | Activation of a mobile robot through a brain computer interface | |
| Li et al. | Classification of single-trial electroencephalogram during finger movement | |
| Merlo et al. | Technical aspects of surface electromyography for clinicians | |
| CN111631907B (zh) | 基于脑机交互混合智能的脑卒中患者手部康复系统 | |
| CN106963372B (zh) | 一种脑电-肌电信号融合装置及融合方法 | |
| CN103699226B (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| Farina et al. | High-density EMG E-textile systems for the control of active prostheses | |
| CN107817731A (zh) | 融合肌电和脑电信息的无人平台操控系统及操控方法 | |
| Lee et al. | A brain-wave-actuated small robot car using ensemble empirical mode decomposition-based approach | |
| CN108968952A (zh) | 一种脑肌电及惯性信息同步采集装置 | |
| CN110123313B (zh) | 一种自训练脑机接口系统及相关训练方法 | |
| Ramkumar et al. | A review-classification of electrooculogram based human computer interfaces | |
| CN101339455A (zh) | 基于人脸识别特异性波n170成分的脑机接口系统 | |
| CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| Gorur et al. | Glossokinetic potential based tongue–machine interface for 1-D extraction | |
| CN113871028A (zh) | 一种基于肌电智能穿戴的交互式康复系统 | |
| López et al. | EOG-based system for mouse control | |
| Martinho et al. | Towards continuous user recognition by exploring physiological multimodality: An electrocardiogram (ECG) and blood volume pulse (BVP) approach | |
| Lin et al. | Design of smart EEG cap | |
| CN214434253U (zh) | 一种上肢康复穿戴式设备及系统 | |
| US20210022641A1 (en) | Wearable multi-modal bio-sensing system | |
| Oh et al. | Wireless brain-machine interface using EEG and EOG: brain wave classification and robot control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |