CN109743656B - 基于脑电意念的智能运动耳机及其实现方法与系统 - Google Patents
基于脑电意念的智能运动耳机及其实现方法与系统 Download PDFInfo
- Publication number
- CN109743656B CN109743656B CN201910201269.9A CN201910201269A CN109743656B CN 109743656 B CN109743656 B CN 109743656B CN 201910201269 A CN201910201269 A CN 201910201269A CN 109743656 B CN109743656 B CN 109743656B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- module
- earphone
- electrode sensor
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 38
- 210000004556 brain Anatomy 0.000 claims abstract description 56
- 238000007781 pre-processing Methods 0.000 claims abstract description 56
- 238000004519 manufacturing process Methods 0.000 claims abstract description 42
- 238000003860 storage Methods 0.000 claims abstract description 32
- 230000005611 electricity Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000012880 independent component analysis Methods 0.000 claims description 37
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 28
- 210000002569 neuron Anatomy 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000010223 real-time analysis Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000002364 input neuron Anatomy 0.000 claims description 2
- 210000004205 output neuron Anatomy 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 6
- 230000033764 rhythmic process Effects 0.000 description 20
- 210000003128 head Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种基于脑电意念的智能运动耳机的实现方法与系统，该运动耳机包括电源和耳机本体，耳机本体包括头戴、耳机控制模块和发声单元，头戴的两端分别设有发声单元，耳机控制模块内置在头戴中，还包括脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块，脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块分别内置在头戴中，脑电信号采集模块包括干态电极传感器1a、干态电极传感器1b、干态电极传感器1c和干态电极传感器1d；该种基于脑电意念的智能运动耳机，能够通过对脑电信号的采集、预处理，进而识别后实现对耳机本体的控制，结构设计合理，便于使用。
Description
技术领域
本发明涉及一种基于脑电意念的智能运动耳机及其实现方法与系统，基于脑电波信号采集、脑电数据深度学习模型设计和嵌入式软硬件设计的实现方案，旨在实现基于脑电意念和深度学习的智能运动耳机，属于脑电波技术和嵌入式系统的交叉领域。
背景技术
目前，随着生活水平的提高，越来越多的人选择在早晨或夜间跑步锻炼身体。而跑步时听歌，有助于人们放松和保持节奏感。跑步时听歌的人越来越多，对于能够在跑步时佩戴的耳机的需求也越来越高。目前市场上的耳机均为有线耳机或无线蓝牙耳机。然而，即便是无线蓝牙耳机，在人们跑步时需要暂停歌曲、停止音乐或者是要切歌的时候，都需要人们手动操作，而这种操作，无疑会打乱人们原有的运动节奏，使人们不得不重新花费一段时间进行调整。若是正在进行计时跑步，这种对节奏的打乱更会使得计时结果不精准，导致锻炼计划的效果不佳。因此，一种在不打乱人们运动节奏的前提下便可以实现灵活操作和控制的耳机，对人们来说十分便利。
此外，对于人们来说，运动的一个苦恼是因担心错过重要信息，而在运动时不得不携带手机在身上。这导致了人们在运动时需时刻关注手机在不在身边，有没有因运动剧烈而被甩出口袋等问题。人们也因此不敢做过于剧烈的运动。而目前世界上，还没有一款耳机能够使人们不携带手机便能听音乐且不错过任何重要的信息。
除此之外，人们运动节奏控制的好坏，对运动的效果有十分显著的影响。然而，目前还没有一款智能穿戴设备能够实现帮助人们控制运动的节奏。辅助人们控制运动节奏的设备，可以大大增加人们运动的效益。
发明内容
本发明的目的是提供一种基于脑电意念的智能运动耳机及其实现方法与系统，实现对耳机的控制，解决现有技术中存在的在运动时因听歌需要手动控制的问题。
本发明的技术解决方案是：
一种基于脑电意念的智能运动耳机，包括电源和耳机本体，耳机本体包括头戴、耳机控制模块和发声单元，头戴的两端分别设有发声单元，耳机控制模块内置在头戴中，还包括脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块，脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块分别内置在头戴中，脑电信号采集模块包括干态电极传感器1a、干态电极传感器1b、干态电极传感器1c和干态电极传感器1d，干态电极传感器1a、干态电极传感器1b、干态电极传感器1c和干态电极传感器1d分别设于头戴上，脑电信号采集模块通过脑电信号预处理模块连接识别模块，识别模块连接储存模块。
进一步地，还包括eSIM模块，eSIM模块内置在头戴中，eSIM模块与耳机控制模块连接，eSIM模块采用eSIM NB-IOT通信模组M5310，识别模块采用STM32F072RB芯片。
进一步地，干态电极传感器1a与干态电极传感器1d、干态电极传感器1b与干态电极传感器1c分别双极并联，干态电极传感器1a与干态电极传感器1d分别设于头戴的两端，干态电极传感器1b与干态电极传感器1c分别设于头戴的两端且设于干态电极传感器1a与干态电极传感器1d之间；干态电极传感器1a与干态电极传感器1d、干态电极传感器1b与干态电极传感器1c均采用主动型干态电极传感器。
进一步地，识别模块采用STM32F072RB芯片。
一种采用上述任一项所述的基于脑电意念的智能运动耳机的实现方法，包括以下步骤，
S1、进行脑电信号采集，采用干电极脑电采集技术，由脑电信号采集模块中的四个单数据通道采集的干态电极传感器1a、1b、1c、1d通过设定的采样频率进行脑电信号采集；
S2、对采集的脑电信号进行预处理，由脑电信号预处理模块接收脑电采集模块采集到的脑电信号，脑电信号预处理模块进行脑电信号的滤波与放大；
S3、通过脑电特征提取模型获得分类结果，对步骤S2预处理后的脑电信号，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果；
S4、采用反向传播算法将步骤S3中所得分类结果带入前馈神经网络训练，求取参数隐含层神经元数n、权重矩阵W，得到本方法使用的基于前馈神经网络的脑电特征深度学习模型；
S5、对实时采集的脑电信号进行识别，将步骤S4得到的参数直接预设在识别模块中，即，将S4建立的脑电特征深度学习模型预置在识别模块中，将运动者运动过程中实时采集到的脑电信号数据，通过预处理模块预处理后，输入识别模块后，得到相应的分类结果；
S6、对耳机控制模块发送指令，经识别模块的处理器运算后得到的分类结果，与存储模块中的分类结果进行比对，得到对应的嵌入式指令，将嵌入式指令发送给耳机控制模块。
进一步地，还包括步骤S7，通过eSIM模块进行通话控制，实现收到来电、接听电话、挂断电话的控制，并将相关控制信息发送给耳机控制模块。
进一步地，步骤S3中，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果，具体为，
S31、对步骤S2预处理后的脑电信号进行二进小波变换，脑波信号的二进小波变换的定义式为：
其中，ci,j二进小波系数，k为整数，
为小波函数，
为二进小波函数，其逆变换式为：
其中，xj(t)表示信号x(t)在某一刻度(2j)下的分量；
对于从脑电信号采集模块测得的2导脑电数据，对每导数据xi进行正交小波分解；采用长度为4的Daubechis小波，以层数为4，按如上公式分解，每导数据被分解为5个子带信号：
原信号与每个子带的频率分布关系为：
其中，fs为采样频率；
S32、选取子带，具体为，根据需要选择同一尺度或多个尺度下的各导脑电多个子带的组合，来组成独立分量分析的输入：
其中，
式中，n、m为所选择的子带范围；
脑电信号有5个主要频带：Delta(0-4Hz)、Theta(4-8Hz)、Alpha(8-15Hz)、Beta(15-30Hz)和Gamma(30-60Hz)，由上述子带信号的频率范围公式，得到五个脑电频带对应的子带：Delta：
为了增强5个脑电频带特征，选择n＝1，m＝5，即：
将上述结果作为独立分量分析的输入；
S33、通过扩展Infomax算法求取分离矩阵，具体为，独立分量分析即从n个通道获得n个观测信号xi，每个观测信号是n个独立源信号si的线性混合，即：x＝As，其中，x＝(x1,x2,…xn)T，s＝(s1,s2,…sn)T，A为常数且A不为0；ICA通过分离矩阵W将独立分量将多通道信源中分离出来，即：u＝Wx，其中，u是对真实信源s的逼近；考虑到脑电信号同时包含超高斯和亚高斯分布的独立分量成分，采用基于信息极大准则的扩展Infomax算法进行分离矩阵估计，扩展最大熵算法的解混矩阵调节公式为：
其中，μ为学习步长，依具体情况进行自适应调整，I为单位矩阵，K为对角矩阵，对角元素如下：
kii＝1(超高斯信号)
kii＝-1(亚高斯信号)
故由递推公式W(k+1)＝W(k)+μΔW可求得矩阵W。
S34、求解独立分量，具体为，将矩阵W代回上述公式，得到独立分量u＝(u1,u2,…un)T。
进一步地，步骤S4中，采用反向传播算法训练前馈神经网络学习模型，具体为：
S41、建立前向传导神经网络，采用单极性Sigmoid函数作为神经网络的激活函数，即：
其中，x取值范围为(0,1)，将一个实数映射到(0,1)的区间，用来做二分类；
S42、计算各层激活值，具体为，L2,L3,...，Ln层各神经元的激活值为：
其中，
表示第n-1层第j个神经元对第n层第i个神经元的权重，
表示第n-1层第j个神经元的输入，bn-1表示第n-1层的偏置；
S43、计算输出层残差，具体为，向前传播的步骤如下：zn＝Wn-1f(zn-1)+bn-1
其后进行反向传播算法计算，定义残差为：
其中，zl为第l输入，W为第l层至第l+1层权重矩阵，b为第l层至第l+1层偏置，x为第l层各神经元的值，y为第l+1层各神经元的值，J为雅可比矩阵；
那么对于输出层的n层，残差的计算公式如下：
其中，⊙为哈密顿积，an表示第n层的输出；
S44、计算其余各层残差，具体为，对于其它n＝n1，n2，…ni网络层，残差按如下公式计算：
S45、计算最终的偏导数值：
利用上述偏导数值修正梯度，包括权重矩阵梯度和偏置梯度，提高神经网络的识别率；修正后的权重矩阵梯度为：
式中，ΔWn′为修正后的第n层权重矩阵梯度，ΔWn为修正前的第n层权重矩阵梯度；
修正后的偏置梯度为：
式中，Δb′为修正后的第n层偏置梯度，Δbn为修正前的第n层偏置梯度；
S46、隐层神经元的数目按照经验公式选择：
其中，n为隐层神经元数，ni为输入神经元数，n0为输出神经元数，a为介于1～10之间的常数。
S47、将步骤S3中提取到的独立分量，加入标签，按上述步骤输入反向传播的前馈神经网络模型中，即可训练得到网络模型中的各参数。
进一步地，耳机控制模块中，耳机控制模块接收识别模块传入的嵌入式指令，并按照如下优先级顺序，向发声单元发出指令，具体为，
若接收到eSIM模块传入的来电信息，则优先向发声单元发送来电警示信息，并使发声单元暂停当前任务，向用户播放有来电的警示音乐；在向发声单元发送来电警示信息后，耳机控制模块进入等待状态，直至接收到识别模块传入的接听电话的嵌入式指令或挂断电话的嵌入式指令；
若在等待状态下接收到接听电话的嵌入式指令，则耳机控制模块向eSIM模块发送接听电话的指令，向发声单元发送播放通话语音的信息，随后继续进入等待状态；eSIM模块选择接听电话，而控制器则使耳机开始传输通话语音；
若在等待状态下接收到挂断电话的嵌入式指令，则耳机控制模块向eSIM模块发送挂断电话的指令，向发声单元发送继续先前任务的指令；
若在非智能音乐模式下接收到进入智能音乐模式的嵌入式指令，则向发声单元发送播放来自智能音乐控制模块的音乐的指令；若在智能音乐模式下接收到退出智能音乐模式的嵌入式指令，则向发声单元发送播放来自存储模块的音乐的指令；
若接收到开始音乐、暂停音乐、停止音乐、切换下一首、切换上一首的嵌入式指令，则向发声单元发送相应指令。
一种采用上述任一项所述的基于脑电意念的智能运动耳机的实现方法的基于脑电意念的智能运动耳机的实现系统，包括脑电信号采集模块、脑电信号预处理模块、识别模块、eSIM模块和储存模块，
脑电信号采集模块：进行脑电信号采集，采用干电极脑电采集技术，由脑电信号采集模块中的四个单数据通道采集的干态电极传感器1a、1b、1c、1d通过设定的采样频率进行脑电信号采集；
脑电信号预处理模块：对采集的脑电信号进行预处理，由脑电信号预处理模块接收脑电采集模块采集到的脑电信号，脑电信号预处理模块进行脑电信号的滤波与放大；
识别模块：通过脑电特征提取模型获得分类结果，对步骤S2预处理后的脑电信号，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果；建立脑电特征深度学习模型：采用反向传播算法训练前馈神经网络学习模型；对实时采集的脑电信号进行识别，将步骤S3、S4得到的参数直接预设在识别模块中，将运动者运动过程中实时采集到的脑电信号数据，通过预处理模块预处理后，输入识别模块后，得到相应的分类结果；对耳机控制模块发送指令，经识别模块的处理器运算后得到的分类结果，与存储模块中的分类结果进行比对，得到对应的嵌入式指令，将嵌入式指令发送给耳机控制模块；
eSIM模块：通过eSIM模块进行通话控制，实现收到来电、接听电话、挂断电话的控制，并将相关控制信息发送给耳机控制模块；
存储模块：用于存储脑电信号的分类结果以及与其对应的嵌入式指令。
进一步地，还包括智能音乐控制模块：接收心率传感器采集的实时心率数据，实现音乐的音量和频率随运动者的实时心率数据的变化而进行相应变化，具体为，
接收到心率传感器传入的实时心率数据后，对当前心率所代表的运动强度进行实时分析，运动者的运动强度与运动者的实时心率的关系为：
式中，Rt为有氧运动的实时心率，Rm为有氧运动的最大心率，Rq为安静心率，Y为运动者的年龄，QR为由心率测得的运动者的实时运动强度；
除使用心率衡量运动强度外，还需使用脑电波衡量，使用脑电波相对功率的增长率来衡量运动者的运动强度，其定义如下：
式中，P为运动者安静时的脑电波相对功率，ΔP为运动者运动时脑电波相对功率的变化量；
使用如下公式最终确定音乐频率和音量的变化情况，实时音乐频率和音量为：
式中，f0表示初始音乐频率，v0表示初始音乐音量。
本发明的有益效果是：
一、该种基于脑电意念的智能运动耳机，能够通过对脑电信号的采集、预处理，进而识别后实现对耳机本体的控制，结构设计合理，便于使用。通过脑电信号采集模块实现对脑电信号的采集，并通过脑电信号预处理模块实现对采集脑电信号的预处理，通过识别模块实现对脑电信号的识别，进而发送控制指令给耳机控制模块，实现对发声单元的控制。该种基于脑电意念的智能运动耳机，创造性地将eSIM模组内置于无线耳机中，通过所属设计耳机控制模块，实现了在不携带手机的情况下，用脑电意念控制接听重要来电，使用户在运动时彻底摆脱手机的羁绊。
二、该种基于脑电意念的智能运动耳机及其实现方法与系统，将特征提取、神经网络各项参数预先输入至处理模块中，省去传统脑电处理中的预处理、特征提取等步骤，能够快速、准确的获得脑电特征并进行分类。
三、本发明采用小波分析与独立分量分析相结合的特征提取方法，采用反向传播的前馈神经网络，使分类结果更精准。
四、本发明实现了对脑电信号的采集、分析处理、分类结果转化、无线耳机控制、来电接听、智能音乐的一体式服务，最终实现了基于脑电意念的智能运动耳机。
五、该种基于脑电意念的智能运动耳机及其实现方法与系统，创造性地将脑电波技术和无线插卡耳机技术的控制结合在一起，实现一种全新的耳机控制方式，能够很好地帮助运动者摆脱因需要手动控制耳机而打乱运动节奏的烦恼问题。
附图说明
图1是实施例中耳机本体的结构示意图。
图2是本发明实施例基于脑电意念的智能运动耳机实现系统的说明框图；
图3是实施例中特征提取、分类识别参数确定流程示意图。
图4是实施例中耳机控制模块的ASM图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种基于脑电意念的智能运动耳机，如图1，包括电源和耳机本体，耳机本体包括头戴、耳机控制模块和发声单元，头戴的两端分别设有发声单元，耳机控制模块内置在头戴中，还包括脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块，脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块分别内置在头戴中，脑电信号采集模块包括干态电极传感器1a、干态电极传感器1b、干态电极传感器1c和干态电极传感器1d，干态电极传感器1a、干态电极传感器1b、干态电极传感器1c和干态电极传感器1d分别设于头戴上，脑电信号采集模块通过脑电信号预处理模块连接识别模块，识别模块连接储存模块。
该种基于脑电意念的智能运动耳机，能够实现对耳机本体的控制，通过脑电信号采集模块实现对脑电信号的采集，并通过脑电信号预处理模块实现对采集脑电信号的预处理，通过识别模块实现对脑电信号的识别，进而发送控制指令给耳机控制模块，实现对发声单元的控制。该种基于脑电意念的智能运动耳机，创造性地将eSIM模组内置于无线耳机中，通过所属设计耳机控制模块，实现了在不携带手机的情况下，用脑电意念控制接听重要来电，使用户在运动时彻底摆脱手机的羁绊。
该种基于脑电意念的智能运动耳机，还包括eSIM模块，eSIM模块内置在头戴中，eSIM模块与耳机控制模块连接，eSIM模块采用eSIM NB-IOT通信模组M5310，识别模块采用STM32F072RB芯片。为减少耳机的重量和体积，增加耳机的便携度和信号强度，实施例优选采用由中国移动公司发布的eSIM NB-IOT通信模组M5310。该模组拥有世界上同类产品中较小的尺寸，仅19×18.4×2.7mm，节省布板面积达30％以上。模组采用的是海思Hi2110芯片，支持eSIM技术以及OneNET平台协议。
识别模块采用STM32F072RB芯片。为提高运算速度，减少运动者运动想象至耳机反映的迟滞时间，识别模块采用STM32F072RB芯片。STM32F072RB芯片是基于ARM Cortex-M7的32位微处理器。其拥有一个64位AXI系统总线接口、一个指令和数据高速缓存、64位指令紧耦合存储器(ITCM)、双32位数据紧耦合存储器(DTCM)，具有极高的运算性能。
脑电信号采集模块中，干态电极传感器1a与干态电极传感器1d、干态电极传感器1b与干态电极传感器1c分别双极并联，干态电极传感器1a与干态电极传感器1d分别设于头戴的两端，干态电极传感器1b与干态电极传感器1c分别设于头戴的两端且设于干态电极传感器1a与干态电极传感器1d之间；干态电极传感器1a与干态电极传感器1d、干态电极传感器1b与干态电极传感器1c均采用主动型干态电极传感器。
传统的脑电波数据采集技术通常采用湿电极采集技术，被测试者在测试前，通常需要涂抹导电介质。运动人员在运动过程中通常头部会出现汗水，采用传统的脑电波数据采集技术，会影响数据的准确性。另外，在每次运动前涂抹导电介质，会大大增加每次运动的繁琐度。因此，实施例的脑电信号采集模块，脑电波的数据采集采用干电极脑电采集技术。相比传统脑电数据采集技术，干电极采集技术借助微针技术、超高输入阻抗放大器等技术，摆脱对导电介质的依赖，具有简便易使用性。
为保证数据的稳定性，实施例的脑电信号采集模块由四个干态电极传感器1a、1b、1c、1d构成。1a与1d采用双极并联的方式，分别位于无线插卡耳机上方的头皮区域的两侧。1b与1c同样采用双极并联的方式，分别位于预处理模块和存储模块的下方。脑电信号采集模块的采样频率为128Hz。采集到的2路脑电信号分别为两组活动电极之间的电位差。干电极传感器采用由g.tec公司生产的g.SAHARA型号的主动型干电极。
一种采用上述任一项所述的基于脑电意念的智能运动耳机的实现方法，如图2，包括以下步骤，
S1、采集：进行脑电信号采集，采用干电极脑电采集技术，由脑电信号采集模块中的四个单数据通道采集的干态电极传感器1a、1b、1c、1d通过设定的采样频率进行脑电信号采集。
S2、预处理：对采集的脑电信号进行预处理，由脑电信号预处理模块接收脑电采集模块采集到的脑电信号，脑电信号预处理模块进行脑电信号的滤波与放大；
步骤S1采集到的2导脑电信号，通过USB接口，发送到脑电信号预处理模块。脑电信号预处理模块进行脑电信号的滤波与放大。脑电信号预处理模块依次包含第一级放大器、50Hz陷波器、低通滤波器、带通滤波器、第二级放大器。
S3、分类：通过脑电特征提取模型获得分类结果，对步骤S2预处理后的脑电信号，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果；
步骤S3中，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果，如图3，具体为，
S31、对步骤S2预处理后的脑电信号进行二进小波变换，脑波信号的二进小波变换的定义式为：
其逆变换式为：
其中，xj(t)表示信号x(t)在某一刻度(2j)下的分量；
对于从脑电信号采集模块测得的2导脑电数据，对每导数据xi进行正交小波分解；采用长度为4的Daubechis小波，以层数为4，按如上公式分解，每导数据被分解为5个子带信号：
原信号与每个子带的频率分布关系为：
其中，fs为采样频率；
S32、选取子带，具体为，根据需要选择同一尺度或多个尺度下的各导脑电多个子带的组合，来组成独立分量分析的输入：
其中，
式中，n、m为所选择的子带范围；
脑电信号有5个主要频带：Delta(0-4Hz)、Theta(4-8Hz)、Alpha(8-15Hz)、Beta(15-30Hz)和Gamma(30-60Hz)，由上述子带信号的频率范围公式，得到五个脑电频带对应的子带：
为了增强5个脑电频带特征，选择n＝1，m＝5，即：
将上述结果作为独立分量分析的输入；
S33、通过扩展Infomax算法求取分离矩阵，具体为，独立分量分析即从n个通道获得n个观测信号xi，每个观测信号是n个独立源信号si的线性混合，即：x＝As，其中，x＝(x1,x2,…xn)T，s＝(s1,s2,…sn)T；ICA通过分离矩阵W将独立分量将多通道信源中分离出来，即：u＝Wx，其中，u是对真实信源s的逼近；考虑到脑电信号同时包含超高斯和亚高斯分布的独立分量成分，采用基于信息极大准则的扩展Infomax算法进行分离矩阵估计。扩展Infomax算法，即扩展最大熵算法，是根据自然梯度法求解分离矩阵W。其目标判据为独立分量通过非线性环节后目标熵极大。该算法能够同时适用于超高斯和亚高斯信号，而且避免了矩阵求逆的问题，使收敛速度得到提升。
扩展最大熵算法的解混矩阵调节公式为：
其中，I为单位矩阵，K为对角矩阵，对角元素如下：
kii＝1(超高斯信号)
kii＝-1(亚高斯信号)
S34、求解独立分量，具体为，将矩阵W代回上述公式，得到独立分量u＝(u1,u2,…un)T。
独立分量分析(ICA)的优势在于收敛精度高和速度快。与主成分分析(PCA)等传统特征分析方法相比，ICA是基于高阶统计特性的分析方法。在很多应用中，对高阶统计特性的分析更符合实际。小波分析的优势在于分析非平稳信号。它通过时频窗口对信号进行分解，能够增强脑电信号中的瞬态信息。实施例方法将独立分量分析与小波分析相结合，可获得更为有效的分类结果。
S4、训练：建立脑电特征深度学习模型：采用反向传播算法训练前馈神经网络学习模型；
为使神经网络训练效果更佳，神经网络每一层的权重参数和偏置参数的获取更迅速和合理，实施例方法采用反向传播算法训练前馈神经网络学习模型。
步骤S4中，采用反向传播算法训练前馈神经网络学习模型，具体为：
S41、建立前向传导神经网络，为了增加系统的非线性，采用单极性Sigmoid函数作为神经网络的激活函数，即：
S42、计算各层激活值，具体为，L2,L3,...，Ln层各神经元的激活值为：
其中，
表示第n-1层第j个神经元对第n层第i个神经元的权重，
表示第n-1层第j个神经元的输入，bn-1表示第n-1层的偏置；
S43、计算输出层残差，具体为，向前传播的步骤如下：zn＝Wn-1f(zn-1)+bn-1
其后进行反向传播算法计算，定义残差为：
那么对于输出层(n层)，残差的计算公式如下：
其中，⊙为哈密顿积，an表示第n层的输出；
S44、计算其余各层残差，具体为，对于其它n＝n1，n2，…ni网络层，残差按如下公式计算：
S45、计算最终的偏导数值：
利用上述偏导数值修正梯度，包括权重矩阵梯度和偏置梯度，提高神经网络的识别率；修正后的权重矩阵梯度为：
式中，ΔWn′为修正后的第n层权重矩阵梯度，ΔWn为修正前的第n层权重矩阵梯度；
修正后的偏置梯度为：
式中，Δb′为修正后的第n层偏置梯度，Δbn为修正前的第n层偏置梯度；
S46、利用上述偏导数值修正梯度，提高神经网络的识别率；
隐层神经元的数目按照经验公式选择：
其中，n为隐层神经元数，ni为输入神经元数，n0为输出神经元数，a为介于1～10之间的常数。
S47、将步骤S3中提取到的独立分量，加入标签，按上述步骤输入反向传播的前馈神经网络模型中，即可训练得到网络模型中的各参数。
S5、识别：对实时采集的脑电信号进行识别，将步骤S3、S4得到的参数直接预设在识别模块中，将运动者运动过程中实时采集到的脑电信号数据，通过预处理模块预处理后，输入识别模块后，得到相应的分类结果；
S6、控制：对耳机控制模块发送指令，经识别模块的处理器运算后得到的分类结果，与存储模块中的分类结果进行比对，得到对应的嵌入式指令，将嵌入式指令发送给耳机控制模块。
实施例还包括步骤S7，通过eSIM模块进行通话控制，实现收到来电、接听电话、挂断电话的控制，并将相关控制信息发送给耳机控制模块。为了能使用户真正地在出行时摆脱手机，无线插卡耳机必须具备使用户得知来电等通知信息的功能。为了能使用户接收到来电信息，实施例创造性地将eSIM模组内嵌于耳机本体的头戴中。
实施例的耳机控制模块中，耳机控制模块接收识别模块传入的嵌入式指令，并按照如下优先级顺序，向发声单元发出指令，具体为，
若接收到eSIM模块传入的来电信息，则优先向发声单元发送来电警示信息，并使发声单元暂停当前任务，向用户播放有来电的警示音乐；在向发声单元发送来电警示信息后，耳机控制模块进入等待状态，直至接收到识别模块传入的接听电话的嵌入式指令或挂断电话的嵌入式指令；
若在等待状态下接收到接听电话的嵌入式指令，则耳机控制模块向eSIM模块发送接听电话的指令，向发声单元发送播放通话语音的信息，随后继续进入等待状态；eSIM模块选择接听电话，而控制器则使耳机开始传输通话语音；
若在等待状态下接收到挂断电话的嵌入式指令，则耳机控制模块向eSIM模块发送挂断电话的指令，向发声单元发送继续先前任务的指令；
若在非智能音乐模式下接收到进入智能音乐模式的嵌入式指令，则向发声单元发送播放来自智能音乐控制模块的音乐的指令；若在智能音乐模式下接收到退出智能音乐模式的嵌入式指令，则向发声单元发送播放来自存储模块的音乐的指令；
若接收到开始音乐、暂停音乐、停止音乐、切换下一首、切换上一首的嵌入式指令，则向发声单元发送相应指令。
实施例中，eSIM模块内置上述eSIM NB-IOT通信模组，实现收到来电、接听电话、挂断电话的功能，并将相关信息传入控制系统。
实施例中，耳机控制模块接收识别模块传入的各类嵌入式指令，并按照如下的优先级顺序，如图4，向耳机的发声单元发出指令：
1)若接收到eSIM模块传入的来电信息，则优先向发声单元发送来电警示信息，并使发声单元暂停当前任务，向用户播放有来电的警示音乐。
2)在向发声单元发送来电警示信息后，控制系统进入等待状态，直至接收到识别模块传入的接听电话的嵌入式指令或挂断电话的嵌入式指令。
3)若在等待状态下接收到接听电话的嵌入式指令，则控制系统向eSIM模块发送接听电话的指令，向发声单元发送播放通话语音的信息，随后继续进入等待状态。eSIM模块选择接听电话，而控制器则使耳机开始传输通话语音。
4)若在等待状态下接收到挂断电话的嵌入式指令，则控制系统向eSIM模块发送挂断电话的指令，向控制器发送继续先前任务的指令。
5)若在非智能音乐模式下接收到进入智能音乐模式的嵌入式指令，则向发声单元发送播放来自智能音乐控制模块的音乐的指令。
6)若在智能音乐模式下接收到退出智能音乐模式的嵌入式指令，则向发声单元发送播放来自存储模块的音乐的指令。
7)若在接收到开始音乐、暂停音乐、停止音乐、切换下一首、切换上一首的嵌入式指令，则向发声单元发送相应指令。
由以上优先级顺序生成的ASM图详见附图3。其明细表如下表格所示：
由于耳机控制模块执行的指令并不复杂，为降低功耗和节省成本，优选采用微控制器STC89C52RC。该控制器是CMOS8位微控制器，具有以下标准功能：8k字节Flash，512字节RAM，32位I/O口线，看门狗定时器，内置4KBEEPROM，MAX810复位电路，3个16位定时器/计数器，4个外部中断，一个7向量4级中断结构(兼容传统51的5向量2级中断结构)，全双工串行口。
一种采用上述任一项所述的基于脑电意念的智能运动耳机的实现方法的基于脑电意念的智能运动耳机的实现系统，包括脑电信号采集模块、脑电信号预处理模块、识别模块、eSIM模块和储存模块，
脑电信号采集模块：进行脑电信号采集，采用干电极脑电采集技术，由脑电信号采集模块中的四个单数据通道采集的干态电极传感器1a、1b、1c、1d通过设定的采样频率进行脑电信号采集；
脑电信号预处理模块：对采集的脑电信号进行预处理，由脑电信号预处理模块接收脑电采集模块采集到的脑电信号，脑电信号预处理模块进行脑电信号的滤波与放大；
识别模块：通过脑电特征提取模型获得分类结果，对步骤S2预处理后的脑电信号，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果；建立脑电特征深度学习模型：采用反向传播算法训练前馈神经网络学习模型；对实时采集的脑电信号进行识别，将步骤S3、S4得到的参数直接预设在识别模块中，将运动者运动过程中实时采集到的脑电信号数据，通过预处理模块预处理后，输入识别模块后，得到相应的分类结果；对耳机控制模块发送指令，经识别模块的处理器运算后得到的分类结果，与存储模块中的分类结果进行比对，得到对应的嵌入式指令，将嵌入式指令发送给耳机控制模块；
eSIM模块：通过eSIM模块进行通话控制，实现收到来电、接听电话、挂断电话的控制，并将相关控制信息发送给耳机控制模块；
存储模块：用于存储脑电信号的分类结果以及与其对应的嵌入式指令。
实施例系统使用小波分析与独立分量分析结合的方法进行特征提取，使用反向传播算法进行神经网络模型的参数训练，具有较高的准确度。实施例系统通过提前训练大量带标签的脑电数据，获得神经网络参数，预置在识别模块中。对于运动者的实时脑电数据，直接由识别模块代入运算，可节省大量时间，减少脑电波操控耳机的迟滞感。实施例系统中识别模块在获得分类结果后，将其与存储模块中的分类结果进行对比，直接获取对应的嵌入式指令，发送给耳机控制模块，减少中间过程时间。实施例系统将eSIM模组内置于无线耳机中，通过所属设计耳机控制模块，实现了在不携带手机的情况下，用脑电意念控制接听重要来电，使用户在运动时彻底摆脱手机的羁绊。
实施例的基于脑电意念的智能运动耳机的实现系统，具有在免于与手机连接的情况下接听来电、挂断来电的功能和一种可以随人们运动节奏而改变音乐频率与音量的智能音乐模式，可以帮助人们解决在运动时因听歌需要手动切换或暂停歌曲而打乱原有运动节奏的苦恼、因需听歌和接听重要来电而需携带手机导致运动不便的烦恼，并且还可以通过智能音乐帮助人们增加运动节奏感、增强运动效果。
实施例中，脑电信号采集模块的功能是利用四个干电极，实时采集运动者脑部的EEG数据，并通过USB接口将脑电原始信号发送至脑电信号处理模块中。在运动想象阶段，受试者佩戴该耳机坐在显示屏幕前，依据屏幕发出的指令做出相应的脑部想象活动。每次实验显示屏幕发出一个指令，受试者根据指令完成一种任务的想象，持续时间为T，采样频率为128Hz，每个通道产生T·128个数据点。在每个任务周期中，需反复执行同一个任务n次。为保证脑电数据库的准确性和广泛性，n应尽可能取最大值。任务一共由九种类型，包括开始音乐任务、暂停音乐任务、停止音乐任务、切换上一首音乐任务、切换下一首音乐任务、接听来电任务、挂断来电任务、进入智能音乐模式任务、退出智能音乐模式任务。在每一任务下，屏幕持续T时间出现开始音乐的提示，受试者根据此提示想象该任务下的音乐，记录此周期的脑电数据并设置分类结果为任务下的音乐。
脑电信号预处理模块的功能是对接收到的原始脑电波信号进行滤波和放大处理，再通过USB接口将经预处理后的数据发送至识别模块中。识别模块的功能是利用预置的参数，对经预处理模块处理后的脑电波进行分类识别，判断其属于开始音乐、暂停音乐、停止音乐、切换下一首、切换上一首、接听电话、挂断电话、进入智能音乐模式、退出智能音乐模式中的某一种或均不属于。若属于上述九种行为的某一种，则将分类结果与存储模块中存储的分类结果进行比对，得到对应的嵌入式指令。并通过蓝牙向耳机控制模块发送该指令。若不属于上述行为的某一种，则不发出任何指令。
实施例的耳机控制模块是基于脑电意念控制而专门设计的控制系统，有效地实现了利用脑电意念对耳机开始音乐、暂停音乐、停止音乐、切换上一首、切换下一首5个耳机基本功能的操控。除此之外，该控制系统还实现了利用脑电意念以第一优先级对接听电话、挂断电话的控制。该控制系统还实现了利用脑电意念自由进入和退出智能音乐模式。
智能音乐控制模块的智能音乐模式能够根据运动者当前的运动节奏和强度，实时调节音乐的节奏和音量，使得音乐不再像过往一样，常常与运动者的运动节奏不合，对运动者的运动起到阻碍作用，而是能够与运动者的运动节奏相吻合，增加运动者运动的节奏感和效果，更好的辅助运动者的运动。
实施例创造性地将心率检测和脑电波检测结合起来，综合衡量运动者的实时运动强度，将能有效地减缓运动者运动节奏测量值的陡峭度，使结果更为精准。
对心率的测量需使用心率传感器。心率传感器置于运动者头部顶端的耳机内测，实时检测运动者运动时的心率，并将心率数据通过USB接口实时传输给智能音乐控制模块。智能音乐控制模块接收到心率传感器传入的实时心率数据后，对当前心率所代表的运动强度进行实时分析。对于普通运动者而言，有氧运动中的实时心率与安静心率、最大心率、运动强度的关系式为：
Rt＝(Rm-Rq-Y)×QR-Rq
式中，Rt为有氧运动的实时心率，Rm为有氧运动的最大心率，在本式中为210次每分钟，Rq为安静心率，Y为运动者的年龄，QR为由心率测得的运动者的实时运动强度。
由上述公式可以得到运动者的运动强度与运动者的实时心率的关系为：
其中，QR在0.5以下为低运动强度，0.5～0.75为中运动强度，0.75以上为高运动强度。
除使用心率衡量运动强度外，还需使用脑电波衡量。智能音乐控制模块使用的脑电波由预处理模块传入。对于不同采样点的δ波(0.5～3Hz)、θ波(4～7Hz)、α波(8～13Hz)、β波(14～40Hz)频率，脑电波的慢波(δ、θ波)频率之和为δ+θ，快波(α、β波)频率之和为α+β。
运动者在进行大量有氧运动时，慢波功率值将显著增加，快波功率值则显著减少，脑电波的相对功率即慢波频率之和与快波频率之和的比值将会增加。实施例使用脑电波相对功率的增长率来衡量运动者的运动强度。其定义如下：
式中，P为运动者安静时的脑电波相对功率，ΔP为运动者运动时脑电波相对功率的变化量。
为了能够综合利用由心率和脑电测得的运动强度值，并消除量纲的影响，且要尽量减少运动者运动强度测量值的陡峭度，增加运动强度测量值的精确度和平缓性，使音乐变化平稳而不刺耳，实施例使用如下公式最终确定音乐频率和音量的变化情况：
式中，f表示实时音乐频率，v表示实时音乐音量。
由上式可推得实时音乐频率和音量为：
式中，f0表示初始音乐频率，v0表示初始音乐音量。
上述音乐频率和音乐音量实现了随运动者运动节奏而变化的特征，却更加的平缓动听，可以有效地使运动者保持运动的节奏感，可以给运动者带来较好的体验，帮助运动者增加运动效果。
实施例的基于脑电意念的智能运动耳机，实现了对脑电信号的采集、分析处理、分类结果转化、无线耳机控制、来电接听、智能音乐的一体式服务，最终实现了基于脑电意念的智能运动耳机。
由于脑电信号的特征提取和分类识别比较耗时，实施例方法与系统预先利用大量脑电数据进行特征提取、分类识别，并利用这些数据进行脑电神经网络模型的训练，将训练好的参数预先输入至识别模块中。实施例中，特征提取方法采用小波分析与独立分量分析结合的方法，深度学习模型采用反向传播的前馈神经网络，使分类准确度较好。
实施例中，eSIM模块内置eSIM NB-IOT通信模组，可以实现收到来电、接听电话、挂断电话的功能，并将相关信息传入耳机控制模块。耳机控制模块的功能是接收识别模块发送的各类嵌入式指令，并以某种优先级顺序执行各类指令，实现脑电意念对各类功能的控制。智能音乐控制模块通过接收预处理模块的脑电信息和心率传感器的心率信息，综合衡量运动者当前运动节奏和强度，并使音乐的频率和音量做出相应的改变。
实施例中，为了增加读写速度，减少反映迟滞时间，存储模块使用IS903主控的SLC闪存。另外，存储模块支持插入SD卡，用于存储运动者下载的歌曲，方便运动者在不携带手机、连接蓝牙的情况下听歌。
Claims (5)
1.一种基于脑电意念的智能运动耳机的实现方法，其特征在于：基于脑电意念的智能运动耳机包括电源和耳机本体，耳机本体包括头戴、耳机控制模块和发声单元，头戴的两端分别设有发声单元，耳机控制模块内置在头戴中，其特征在于：还包括脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块，脑电信号采集模块、脑电信号预处理模块、识别模块和储存模块分别内置在头戴中，脑电信号采集模块包括干态电极传感器1a、干态电极传感器1b、干态电极传感器1c和干态电极传感器1d，干态电极传感器1a、干态电极传感器1b、干态电极传感器1c和干态电极传感器1d分别设于头戴上，脑电信号采集模块通过脑电信号预处理模块连接识别模块，识别模块连接储存模块；还包括eSIM模块，eSIM模块内置在头戴中，eSIM模块与耳机控制模块连接，eSIM模块采用eSIM NB-IOT通信模组M5310，识别模块采用STM32F072RB芯片；干态电极传感器1a与干态电极传感器1d、干态电极传感器1b与干态电极传感器1c分别双极并联，干态电极传感器1a与干态电极传感器1d分别设于头戴的两端，干态电极传感器1b与干态电极传感器1c分别设于头戴的两端且设于干态电极传感器1a与干态电极传感器1d之间；干态电极传感器1a与干态电极传感器1d、干态电极传感器1b与干态电极传感器1c均采用主动型干态电极传感器，该基于脑电意念的智能运动耳机的实现包括以下步骤，
S1、采集：进行脑电信号采集，采用干电极脑电采集技术，由脑电信号采集模块中的四个单数据通道采集的干态电极传感器1a、1b、1c、1d通过设定的采样频率进行脑电信号采集；
S2、预处理：对采集的脑电信号进行预处理，由脑电信号预处理模块接收脑电采集模块采集到的脑电信号，脑电信号预处理模块进行脑电信号的滤波与放大；
S3、分类：通过脑电特征提取模型获得分类结果，对步骤S2预处理后的脑电信号，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果；
步骤S3中，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果，具体为，
S31、对步骤S2预处理后的脑电信号进行二进小波变换，脑波信号的二进小波变换的定义式为：
其中，ci，j二进小波系数，k为整数，
为小波函数，
为二进小波函数，其逆变换式为：
其中，xj(t)表示信号x(t)在某一刻度(2j)下的分量；
对于从脑电信号采集模块测得的2导脑电数据，对每导数据xi进行正交小波分解；采用长度为4的Daubechis小波，以层数为4，按如上公式分解，每导数据被分解为5个子带信号：
原信号与每个子带的频率分布关系为：
其中，fs为采样频率；
S32、选取子带，具体为，根据需要选择同一尺度或多个尺度下的各导脑电多个子带的组合，来组成独立分量分析的输入：
其中，
式中，n、m为所选择的子带范围；
脑电信号有5个主要频带：Delta(0-4Hz)、Theta(4-8Hz)、Alpha(8-15Hz)、Beta(15-30Hz)和Gamma(30-60Hz)，由上述子带信号的频率范围公式，得到五个脑电频带对应的子带：
为了增强5个脑电频带特征，选择n＝1，m＝5，即：
将上述结果作为独立分量分析的输入；
S33、通过扩展Infomax算法求取分离矩阵，具体为，独立分量分析即从n个通道获得n个观测信号xi，每个观测信号是n个独立源信号si的线性混合，即：x＝As，其中，x＝(x1，x2，...xn)T，s＝(s1，s2，...sn)T，A为常数且A不为0；ICA通过分离矩阵W将独立分量将多通道信源中分离出来，即：u＝Wx，其中，u是对真实信源s的逼近；考虑到脑电信号同时包含超高斯和亚高斯分布的独立分量成分，采用基于信息极大准则的扩展Infomax算法进行分离矩阵估计，扩展最大熵算法的解混矩阵调节公式为：
其中，μ为学习步长，依具体情况进行自适应调整，I为单位矩阵，K为对角矩阵，对角元素如下：
kii＝1(超高斯信号)
kii＝-1(亚高斯信号)
故由递推公式W(k+1)＝W(k)+μΔW可求得矩阵W；
S34、求解独立分量，具体为，将矩阵W代回上述公式，得到独立分量u＝(u1,u2,…un)T；
S4、训练：采用反向传播算法将步骤S3中所得分类结果带入前馈神经网络训练，求取参数隐含层神经元数n、权重矩阵W，得到基于前馈神经网络的脑电特征深度学习模型；
S5、识别：对实时采集的脑电信号进行识别，将步骤S4得到的参数直接预设在识别模块中，即，将S4建立的脑电特征深度学习模型预置在识别模块中，将运动者运动过程中实时采集到的脑电信号数据，通过预处理模块预处理后，输入识别模块后，得到相应的分类结果；
S6、控制：对耳机控制模块发送指令，经识别模块的处理器运算后得到的分类结果，与存储模块中的分类结果进行比对，得到对应的嵌入式指令，将嵌入式指令发送给耳机控制模块；
步骤S7、通过eSIM模块进行通话控制，实现收到来电、接听电话、挂断电话的控制，并将相关控制信息发送给耳机控制模块。
2.如权利要求1所述的基于脑电意念的智能运动耳机的实现方法，其特征在于：步骤S4中，采用反向传播算法训练前馈神经网络学习模型，具体为：
S41、建立前向传导神经网络，采用单极性Sigmoid函数作为神经网络的激活函数，即：
其中，x取值范围为(0,1)，将一个实数映射到(0,1)的区间，用来做二分类；
S42、计算各层激活值，具体为，L2,L3,...，Ln层各神经元的激活值为：
其中，
表示第n-1层第j个神经元对第n层第i个神经元的权重，
表示第n-1层第j个神经元的输入，bn-1表示第n-1层的偏置；
S43、计算输出层残差，具体为，向前传播的步骤如下：zn＝Wn-1f(zn-1)+bn-1
其后进行反向传播算法计算，定义残差为：
其中，zl为第l输入，W为第l层至第l+1层权重矩阵，b为第l层至第l+1层偏置，x为第l层各神经元的值，y为第l+1层各神经元的值，J为雅可比矩阵；
那么对于输出层的n层，残差的计算公式如下：
其中，⊙为哈密顿积，an表示第n层的输出；
S44、计算其余各层残差，具体为，对于其它n＝n1，n2，…ni网络层，残差按如下公式计算：
S45、计算最终的偏导数值：
利用上述偏导数值修正梯度，包括权重矩阵梯度和偏置梯度，提高神经网络的识别率；修正后的权重矩阵梯度为：
式中，ΔWn ′为修正后的第n层权重矩阵梯度，ΔWn为修正前的第n层权重矩阵梯度；
修正后的偏置梯度为：
式中，Δb′为修正后的第n层偏置梯度，Δbn为修正前的第n层偏置梯度；
S46、隐层神经元的数目按照经验公式选择：
其中，n为隐层神经元数，ni为输入神经元数，n0为输出神经元数，a为介于1～10之间的常数；
S47、将步骤S3中提取到的独立分量，加入标签，按上述步骤输入反向传播的前馈神经网络模型中，即可训练得到网络模型中的各参数。
3.如权利要求1所述的基于脑电意念的智能运动耳机的实现方法，其特征在于：耳机控制模块中，耳机控制模块接收识别模块传入的嵌入式指令，并按照如下优先级顺序，向发声单元发出指令，具体为，
若接收到eSIM模块传入的来电信息，则优先向发声单元发送来电警示信息，并使发声单元暂停当前任务，向用户播放有来电的警示音乐；在向发声单元发送来电警示信息后，耳机控制模块进入等待状态，直至接收到识别模块传入的接听电话的嵌入式指令或挂断电话的嵌入式指令；
若在等待状态下接收到接听电话的嵌入式指令，则耳机控制模块向eSIM模块发送接听电话的指令，向发声单元发送播放通话语音的信息，随后继续进入等待状态；eSIM模块选择接听电话，而控制器则使耳机开始传输通话语音；
若在等待状态下接收到挂断电话的嵌入式指令，则耳机控制模块向eSIM模块发送挂断电话的指令，向发声单元发送继续先前任务的指令；
若在非智能音乐模式下接收到进入智能音乐模式的嵌入式指令，则向发声单元发送播放来自智能音乐控制模块的音乐的指令；若在智能音乐模式下接收到退出智能音乐模式的嵌入式指令，则向发声单元发送播放来自存储模块的音乐的指令；
若接收到开始音乐、暂停音乐、停止音乐、切换下一首、切换上一首的嵌入式指令，则向发声单元发送相应指令。
4.一种采用权利要求1-3任一项所述的基于脑电意念的智能运动耳机的实现方法的基于脑电意念的智能运动耳机的实现系统，其特征在于：包括脑电信号采集模块、脑电信号预处理模块、识别模块、eSIM模块和储存模块，
脑电信号采集模块：进行脑电信号采集，采用干电极脑电采集技术，由脑电信号采集模块中的四个单数据通道采集的干态电极传感器1a、1b、1c、1d通过设定的采样频率进行脑电信号采集；
脑电信号预处理模块：对采集的脑电信号进行预处理，由脑电信号预处理模块接收脑电采集模块采集到的脑电信号，脑电信号预处理模块进行脑电信号的滤波与放大；
识别模块：通过脑电特征提取模型获得分类结果，对步骤S2预处理后的脑电信号，采用结合独立分量分析ICA和小波分析的脑电特征提取方法进行特征提取，获得分类结果；建立脑电特征深度学习模型：采用反向传播算法训练前馈神经网络学习模型；对实时采集的脑电信号进行识别，将步骤S3、S4得到的参数直接预设在识别模块中，将运动者运动过程中实时采集到的脑电信号数据，通过预处理模块预处理后，输入识别模块后，得到相应的分类结果；对耳机控制模块发送指令，经识别模块的处理器运算后得到的分类结果，与存储模块中的分类结果进行比对，得到对应的嵌入式指令，将嵌入式指令发送给耳机控制模块；
eSIM模块：通过eSIM模块进行通话控制，实现收到来电、接听电话、挂断电话的控制，并将相关控制信息发送给耳机控制模块；
存储模块：用于存储脑电信号的分类结果以及与其对应的嵌入式指令。
5.如权利要求4所述的基于脑电意念的智能运动耳机的实现系统，其特征在于：还包括智能音乐控制模块：接收心率传感器采集的实时心率数据，实现音乐的音量和频率随运动者的实时心率数据的变化而进行相应变化，具体为，
接收到心率传感器传入的实时心率数据后，对当前心率所代表的运动强度进行实时分析，运动者的运动强度与运动者的实时心率的关系为：
式中，Rt为有氧运动的实时心率，Rm为有氧运动的最大心率，Rq为安静心率，Y为运动者的年龄，QR为由心率测得的运动者的实时运动强度；
除使用心率衡量运动强度外，还需使用脑电波衡量，使用脑电波相对功率的增长率来衡量运动者的运动强度，其定义如下：
式中，P为运动者安静时的脑电波相对功率，ΔP为运动者运动时脑电波相对功率的变化量；
使用如下公式最终确定音乐频率和音量的变化情况，实时音乐频率和音量为：
式中，f0表示初始音乐频率，v0表示初始音乐音量。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910201269.9A CN109743656B (zh) | 2019-03-15 | 2019-03-15 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
| PCT/CN2019/092880 WO2020186651A1 (zh) | 2019-03-15 | 2019-06-26 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910201269.9A CN109743656B (zh) | 2019-03-15 | 2019-03-15 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109743656A CN109743656A (zh) | 2019-05-10 |
| CN109743656B true CN109743656B (zh) | 2023-04-11 |
Family
ID=66370686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910201269.9A Active CN109743656B (zh) | 2019-03-15 | 2019-03-15 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109743656B (zh) |
| WO (1) | WO2020186651A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109743656B (zh) * | 2019-03-15 | 2023-04-11 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
| CN110163436A (zh) * | 2019-05-23 | 2019-08-23 | 西北工业大学 | 基于动态瓶颈预测的智能车间生产优化方法 |
| CN110200625A (zh) * | 2019-07-05 | 2019-09-06 | 郭长娥 | 一种大脑脑部神经强化训练装置及方法 |
| CN110324774A (zh) * | 2019-07-18 | 2019-10-11 | 河海大学常州校区 | 基于脑电eeg的骨传导助听器自动增益控制系统 |
| CN110650408B (zh) * | 2019-10-29 | 2022-04-19 | 歌尔股份有限公司 | 一种耳机及防丢方法、系统、计算机可读存储介质 |
| CN110974219A (zh) * | 2019-12-20 | 2020-04-10 | 北京脑陆科技有限公司 | 一种基于侵入式bci的人脑意念识别系统 |
| CN114431867B (zh) * | 2020-11-02 | 2024-05-10 | 北京机械设备研究所 | 一种脑电采集装置、脑电目标识别方法和装置 |
| CN112799505B (zh) * | 2020-12-21 | 2022-08-26 | 杭州电子科技大学 | 一种基于脑电信号的音乐音调想象区分方法 |
| CN112969117B (zh) * | 2021-02-02 | 2022-05-17 | 深圳市宏智力科技有限公司 | 多功能脑波智能设备和多功能脑波耳机 |
| CN113002558B (zh) * | 2021-03-30 | 2024-06-28 | 复旦大学 | 一种基于脑电信号的残疾人辅助智能驾驶系统和方法 |
| CN113239744B (zh) * | 2021-04-25 | 2024-04-19 | 西安电子科技大学 | 基于深度学习的脑电-肌电信号融合识别方法 |
| CN114209340B (zh) * | 2021-12-16 | 2024-07-30 | 湖南大学 | 用卷积神经网络识别概念衍生阶段设计思维的系统和方法 |
| CN114489097B (zh) * | 2021-12-20 | 2023-06-30 | 西安理工大学 | 基于精密运动手势的无人机飞行姿态脑控方法 |
| CN115154828B (zh) * | 2022-08-05 | 2023-06-30 | 安徽大学 | 一种基于脑机接口技术的大脑功能重塑方法、系统、设备 |
| CN116841386B (zh) * | 2023-03-06 | 2024-05-24 | 湖南工商大学 | 结合深度学习与运动想象脑机接口的意念观影系统及方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6154669A (en) * | 1998-11-06 | 2000-11-28 | Capita Systems, Inc. | Headset for EEG measurements |
| CN101515200B (zh) * | 2009-04-03 | 2010-12-01 | 北京工业大学 | 基于瞬态视觉诱发脑电的目标选择方法 |
| CN105147282A (zh) * | 2015-08-25 | 2015-12-16 | 上海医疗器械高等专科学校 | 认知功能障碍脑电识别系统 |
| CN105446492A (zh) * | 2015-12-29 | 2016-03-30 | 武汉华星光电技术有限公司 | 基于脑电波感应耳机和智能穿戴设备的信息交互系统 |
| CN107527634A (zh) * | 2017-07-14 | 2017-12-29 | 昆明理工大学 | 一种脑电波控制音乐播放的装置 |
| CN207099301U (zh) * | 2017-07-26 | 2018-03-13 | 歌尔科技有限公司 | 一种无线耳机 |
| CN108834012B (zh) * | 2018-03-27 | 2021-06-22 | 江苏大学 | 一种能够提高运动质量的蓝牙耳机系统及其控制方法 |
| CN208434108U (zh) * | 2018-06-22 | 2019-01-25 | 罗令 | 具有eSIM卡功能的发夹助听器 |
| CN109743656B (zh) * | 2019-03-15 | 2023-04-11 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
-
2019
- 2019-03-15 CN CN201910201269.9A patent/CN109743656B/zh active Active
- 2019-06-26 WO PCT/CN2019/092880 patent/WO2020186651A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020186651A1 (zh) | 2020-09-24 |
| CN109743656A (zh) | 2019-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109743656B (zh) | 基于脑电意念的智能运动耳机及其实现方法与系统 | |
| CN110123314B (zh) | 基于脑电信号判断大脑专注放松状态的方法 | |
| CN109350051B (zh) | 用于精神状态评估与调节的头部可穿戴设备及其工作方法 | |
| CN109999314B (zh) | 一种基于脑电波监测智能助眠系统及其睡眠耳机 | |
| CN106345034A (zh) | 基于脑电采集终端的用于认知情绪调节的装置 | |
| CN104644165B (zh) | 一种佩戴式的脑电采集装置 | |
| WO2020187109A1 (zh) | 一种用户睡眠检测方法及系统 | |
| CN106943258A (zh) | 一种多功能无线智能床垫及其人体生理信号测量方法 | |
| CN203898306U (zh) | 基于无线传输的脑电波采集装置 | |
| CA2993636C (en) | Devices, systems and methods for monitoring brain activity and for enabling brain to rebalance | |
| CN103190905A (zh) | 基于Wi-Fi的多通道表面肌电信号采集系统及处理方法 | |
| CN110368005A (zh) | 一种智能耳机及基于智能耳机的情绪及生理健康监控方法 | |
| CN105078448A (zh) | 脑电波的采集和无线传输装置 | |
| CN104571504B (zh) | 一种基于想象动作的在线脑‑机接口方法 | |
| US20180353128A1 (en) | Active unipolar dry electrode open ear wireless headset and brain computer interface | |
| CN105249961A (zh) | 基于蓝牙脑电耳机的实时驾驶疲劳检测系统及检测方法 | |
| CN111973177A (zh) | 一种基于便携式脑电设备的睡眠辅助系统及方法 | |
| CN117421539B (zh) | 一种脑机接口系统数据优化处理方法 | |
| CN110742603A (zh) | 一种脑电波可听化精神状态检测方法及实现该方法的系统 | |
| CN113907709B (zh) | 一种基于耳部eeg的便携式睡眠监测系统 | |
| CN103816007A (zh) | 一种基于脑电频域特征指标化算法的耳鸣治疗设备及方法 | |
| CN104856666B (zh) | 一种基于LabVIEW的生物电信号监测系统 | |
| CN207037600U (zh) | 一种手语识别翻译臂环 | |
| CN117562554A (zh) | 一种便携式睡眠监测及质量评估方法及系统 | |
| CN112998711A (zh) | 一种基于可穿戴装置的情绪识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |