CN115251909B - 基于时空卷积神经网络的脑电信号评估听力的方法及装置 - Google Patents
基于时空卷积神经网络的脑电信号评估听力的方法及装置 Download PDFInfo
- Publication number
- CN115251909B CN115251909B CN202210833107.9A CN202210833107A CN115251909B CN 115251909 B CN115251909 B CN 115251909B CN 202210833107 A CN202210833107 A CN 202210833107A CN 115251909 B CN115251909 B CN 115251909B
- Authority
- CN
- China
- Prior art keywords
- filtering
- time
- neural network
- hearing
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 31
- 238000001914 filtration Methods 0.000 claims abstract description 145
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 34
- 210000004556 brain Anatomy 0.000 claims abstract description 26
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 230000006698 induction Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 21
- 230000000763 evoking effect Effects 0.000 claims description 13
- 210000004205 output neuron Anatomy 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000005611 electricity Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
- A61B5/125—Audiometering evaluating hearing capacity objective methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Neurology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Acoustics & Sound (AREA)
- Psychology (AREA)
- Fuzzy Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Otolaryngology (AREA)
- Multimedia (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于时空卷积神经网络的脑电评估听力的方法及装置，所述方法包括：获取在特定范式音频诱发下得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；基于预处理后的脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，得到听力评估分类结果；其中，时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。本发明的时空卷积神经网络可以有效提升模型的可解释性，提高模型的泛化性能，降低模型的参数量，提高分类准确率。
Description
技术领域
本发明涉及听力检测技术领域，尤其涉及一种基于时空卷积神经网络的脑电信号评估听力的方法及装置。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成现有技术。
听觉系统是感知声音的重要器官，目前全球五分之一的人有听力受损症状，面临听力康复问题。而听力康复需要结合适时预测和评估人耳的听力状况，以高效、及时判断治疗效果和指导康复方法。
脑电图技术在脑认知研究、脑疾病临床诊断方面获得了广泛的应用，具有时间分辨率高、安全无创、成本低等优点。当前，深度神经网络在计算机视觉、语音识别等领域已经实现了超过传统机器学习方法的精确度，包括语音、视觉等许多领域。深度学习能够通过反向传播算法从海量训练数据中自行学习样本的统计规律，免去了需要专家设计的复杂特征工程，并且通常会实现良好的识别性能，具有适应性强、易于转换的优点。
虽然深度神经网络在EEG(脑电)信号处理方面已经取得了一定成果，但通过深度学习方法进行听觉诱发脑电信号分类的相关研究仍不多，即便采用常规卷积神经网络作听觉诱发脑电信号分类，其效果也有待提高。此外，深度学习目前存在对小规模训练数据库泛化能力差、可解释性弱等关键问题。
发明内容
为了解决上述问题，本发明提出了一种基于时空卷积神经网络的脑电信号评估听力的方法及装置，将首个卷积层设置为采用Sinc函数调制的可学习时域滤波器组，将第二个卷积层设置为动态空域滤波器组；将经过时域和空域滤波后的特征向量送入常规卷积神经网络中，最终实现高性能的听觉诱发脑电信号分类。
在一些实施方式中，采用如下技术方案：
一种基于时空卷积神经网络的脑电信号评估听力的方法，包括：
获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号的滤波和分段预处理；
基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；
其中，所述时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，所述时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
作为可选的方案，所述的对多通道脑电信号进行时域滤波，具体为：
其中，Ft为时域滤波特征向量，x为预处理后的多通道脑电信号，为窗函数，*为卷积运算算子。
作为可选的方案，所述的对时域滤波特征向量进行动态空域滤波，具体为：
Fc＝Ft*Sc
其中，Fc为空域滤波后的特征，Ft为时域滤波特征向量，Sc为动态通道加权矩阵。
进一步地，所述动态通道加权矩阵Sc针对每个不同的样本产生不同的通道加权系数，具体为：
Sc＝G(x,θc)
其中，θc为动态神经网络参数，为时空滤波听觉诱发脑电分类模型训练过程中学习获得；x为预处理后的多通道脑电信号；G为动态神经网络，为包含动态神经网络参数θc的密集连接层：G(x,θc)＝ReLu(x×θc)；ReLu为一种非线性激活函数，当自变量大于零时，ReLu函数的输出为自变量本身，当自变量小于或等于零时，ReLu函数的输出为零。
作为可选的方案，所述时空滤波后的特征矩阵经过神经网络进行分类，具体为：
将时空滤波后的特征矩阵送入输出神经元等于分类类别数的全连接层进行加权，输出神经元经过softmax函数进行映射获得每个类别对应的后验概率，选取后验概率最大的值对应的类别作为最终的分类结果。
作为可选的方案，对时空滤波听觉诱发脑电分类模型进行训练时，代价损失函数J为：
其中，与θ相关的代表第i个样本在最后一个神经网络层的全连接层的第j个神经元的输出；sij是判断第i个样本是否属于第j个类别的示性函数；m和q分别表示训练样本数和分类类别数。
作为可选的方案，对时空滤波听觉诱发脑电分类模型进行训练时，参数更新方法为：
其中，θk+1为迭代k+1次后的参数，θk为迭代k次后的参数，Lr为学习率，mk为利用梯度一阶矩计算的梯度动量，vk为利用梯度二阶矩计算的学习率动量，ε为常量。
在另一些实施方式中，采用如下技术方案：
一种基于时空卷积神经网络的脑电信号评估听力的系统，包括：
数据获取模块，用于获取在特定范式的音频信号诱发下得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；
听力评估分类模块，用于基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；
其中，所述时空滤波听觉诱发脑电分类模型具体包括：
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
在另一些实施方式中，采用如下技术方案：
一种听觉诱发脑电分类的装置，包括：依次连接的脑电数据采集单元、脑电信号放大单元、A/D转换单元和主控制器，所述主控制器内分别设有：
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；
所述主控制器与外部受控设备连接，用于将得到的听力评估分类结果，转化为对外部受控设备的控制指令。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于时空卷积神经网络的脑电信号评估听力的方法。
与现有技术相比，本发明的有益效果是：
(1)本发明针对听觉诱发脑电信号，充分考虑听觉诱发ERP(事件相关电位)脑电信号时空特征分布，基于新型的Sinc函数滤波和动态空域滤波模块，设计卷积神经网络架构，可增强神经网络模型在听觉脑电分类任务上的性能优势。
(2)本发明通过加入Sinc函数，去除卷积网络的黑盒特性，可以在减少模型参数量的同时提高听觉诱发EEG的识别精度。另外用动态通道加权模块，通过动态网络训练通道加权参数实现对滤波后信号加权重组。时空卷积神经网络可以有效提升模型的可解释性，提高模型的泛化性能，降低模型的参数量，提高分类准确率。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
图1为本发明实施例中基于时空卷积神经网络的音频诱发脑电信号评估听力的方法流程图；
图2为发明实施例中时空滤波听觉诱发脑电分类模型训练过程示意图；
图3为本发明实施例中的基于时空卷积神经网络的音频诱发脑电信号评估听力的装置结构示意图；
图4为本发明实施例中的经时空卷积神经网络模型与常规无时空卷积神经网络模型的听力评估分类效果对比图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
训练：向神经网络的输入一组数据，将得到的输出结果与这组数据对应的标签进行对比并计算误差，通过反向传播算法得到每个参数的梯度值并对其更新。
深度神经网络：深度神经网络是一种在输入和输出层之间具有多个层级结构的人工神经网络，具有神经元、权重、偏置等组成部分。其中权重和偏置等通过反向传播算法进行训练得到。
实施例一
在一个或多个实施方式中，公开了一种基于时空卷积神经网络的音频诱发脑电信号评估听力的方法，参照图1，具体包括如下过程：
(1)获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；
(2)基于预处理后的脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估，得到听力评估分类结果；
其中，时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
本实施例中，由多个Sinc函数调制的滤波器构成时域滤波单元，对多通道脑电信号进行时域滤波，得到时域滤波特征向量，具体过程如下：
Sinc函数调制的滤波器w可被表示为：
w[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n) (I)
其中Sinc函数为sinc(x)＝sin(x)/x，f1和f2表示滤波器的3dB截止频率。Sinc函数对应的频域滤波器的参数是可学习的，其频域特性W如下：
其中，fs为信号的采样频率，比如可以选择fs＝250Hz；而为了平滑sinc函数的截断特性，需要在窗参数上点乘一个窗函数w：
其中，⊙为哈达玛积，g[n]为窗函数，可以取汉宁窗、汉明窗、凯撒窗等。
Sinc滤波器输出的时域滤波特征向量Ft为：
其中，*为卷积运算算子。
本实施例中，由多组与通道数目相等长度的空域滤波器函数组成可学习空域滤波器单元，利用空域滤波器单元对得到的时域滤波特征向量Ft进行动态空域滤波，得到时空滤波后的特征矩阵，具体过程如下：
通过训练一组动态的通道加权参数，对时域滤波后脑电信号的不同通道进行动态加权。令为动态通道加权矩阵，/>为时域滤波后的特征向量，/>为空域滤波后的特征矩阵，则动态空域滤波过程可以表示为：
Fc＝Ft*Sc (V)
动态通道加权矩阵Sc是通过一个动态神经网络学习出的。设动态神经网络参数为θc，则可以表示为：
Sc＝G(x,θc) (VI)
其中，x为网络的输入预处理后的脑电样本数据，G为动态神经网络；动态神经网络G为一个包含权值矩阵θc的密集连接层，即为：
G(x,θc)＝ReLu(x×θc) (VII)
其中，ReLu为一种非线性激活函数，当自变量大于零时，ReLu函数的输出为自变量本身，若自变量小于等于零，ReLu函数的输出为零。
这样，动态通道加权矩阵是通过输入数据经过卷积神经网络变换直接学习出来的，针对每个不同的脑电样本将产生不同的通道加权系数。
将得到的时空滤波后的特征向量Fc送入下一层卷积神经网络中进行处理，卷积神经网络包括卷积层和全连接层，用于对学习到的时空特征进行分类。将得到的时空滤波后的特征矩阵Fc送入一个输出神经元等于分类类别数的全连接层进行加权。输出神经元经过softmax函数进行映射获得网络输出P，即每个类别对应的后验概率，选取后验概率最大的值对应的类别作为最终的分类结果。作为一种示例，分类结果可以是：音调高低感知或乐音种类感知等。
本实施例中，结合图2，对于时空滤波听觉诱发脑电分类模型的训练过程具体如下：
1)采集多通道听觉诱发脑电信号x(t)作为训练集，对训练集数据进行预处理，预处理步骤包括脑电信号滤波和分段，通道数目为C，信号长度为T。设置最大迭代次数Ne，学习率Lr。
作为一种具体的实施方案，按经典Go-Nogo的ERP范式，为受试者播放频率为200Hz和2000Hz的两种音频信号，记录并标记听觉诱发脑电信号；然后执行预处理操作，即采用5阶巴特沃兹滤波器对原始脑电信号进行1-30Hz带通滤波，并从中切分出听觉刺激部分的多通道听觉诱发脑电信号x(t)作为训练集，每段脑电数据长度为T＝1000点，通道数为C＝60，采样频率fs为250Hz，共有100条样本数据，设置最大迭代次数Ne＝200，学习率Lr＝0.0001。
2)训练时空滤波听觉诱发脑电分类模型。用i代表迭代次数，从i＝1开始进行以下迭代循环：
a)对多通道听觉诱发脑电信号进行时空滤波，得到时域滤波特征向量Ft，将得到的时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵Fc，将得到的时空滤波后的特征矩阵/>送入一个输出神经元等于分类类别数的全连接层进行加权。输出神经元经过softmax函数进行映射获得网络输出P，即每个类别对应的后验概率。
b)将网络输出P与相应的标签进行对比，通过网络的代价损失函数J计算出当前模型的损失值。其中，网络的代价损失函数J具体为：
其中，与θ相关的代表第i个样本在最后一个神经网络层的全连接层的第j个神经元的输出；sij是判断第i个样本是否属于第j个类别的示性函数。
c)根据得到的模型损失值，通过反向传播算法计算网络中每个参数对应的梯度。
d)根据学习率Lr＝0.0001对模型的所有参数进行更新。
本实施例中，反向传播算法及参数更新方法为：
其中，设θk为迭代k次后的参数，mk为利用梯度一阶矩计算的梯度动量，vk为利用梯度二阶矩计算的学习率动量，定义如下：
其中，β1与β2可以调整两种动量的大小，可选的，β1＝β2＝0.9。
e)若i＝Ne＝200，则模型训练完毕，否则，令i加1，返回步骤a)。
结合图4，将本实施例基于时空卷积神经网络的脑电信号评估听力的方法与常规无时空卷积神经网络模型得到的分类结果进行对比，可以看出，本实施例方法能够得到更加准确的分类结果。
实施例二
在一个或多个实施方式中，公开了一种基于时空卷积神经网络的脑电信号评估听力的系统，包括：
数据获取模块，用于获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；
听力评估分类模块，用于基于预处理后的脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估，得到听力评估分类结果；
其中，所述时空滤波听觉诱发脑电分类模型包括：
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果。
需要说明的是，上述各模块的具体实现过程已经在实施例一中进行了说明，此处不再详述。
实施例三
在一个或多个实施方式中，公开了一种听觉诱发脑电分类的装置，结合图3，具体包括：依次连接的脑电数据采集单元、脑电信号放大单元、A/D转换单元和主控制器，主控制器连接外部受控设备。
其中，主控制器内分别设有：
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；
主控制器能够将得到的听力评估分类结果，转化为对外部受控设备的控制指令，实现对外部受控设备的控制。比如：控制在“音频诱发脑电测听分析仪”屏幕上输出可视化预测结果，进而参照某种标准，提示医生被测者的听力水平或辨音能力。
实施例四
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于时空卷积神经网络的脑电信号评估听力的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，包括：
获取特定范式音频信号诱发得到的多通道脑电信号，并进行脑电信号的滤波和分段预处理；
基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；
其中，所述时空滤波听觉诱发脑电分类模型首先对多通道脑电信号进行时域滤波，得到时域滤波特征向量，然后对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵，所述时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；
所述的对多通道脑电信号进行时域滤波，具体为：
其中，Ft为时域滤波特征向量，x为预处理后的多通道脑电信号，*为卷积运算算子，为时域滤波窗函数，时域滤波窗函数/>具体为：
其中，⊙为哈达玛积，g[n]为窗函数，Sinc函数调制的滤波器w可被表示为：
w[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)
其中，Sinc函数为sinc(x)＝sin(x)/x，f1和f2表示滤波器的3dB截止频率；
所述的对时域滤波特征向量进行动态空域滤波，具体为：
Fc＝Ft*Sc
其中，Fc为空域滤波后的特征，Sc为动态通道加权矩阵；所述动态通道加权矩阵Sc针对每个不同的脑电样本产生不同的通道加权系数，具体为：
Sc＝G(x,θc)
其中，θc为动态神经网络参数，为时空滤波听觉诱发脑电分类模型训练过程中学习获得；G为动态神经网络，为包含动态神经网络参数θc的密集连接层：G(x,θc)＝ReLu(x×θc)；ReLu为一种非线性激活函数，当自变量大于零时，ReLu函数的输出为自变量本身，当自变量小于或等于零时，ReLu函数的输出为零。
2.如权利要求1所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，所述时空滤波后的特征矩阵经过神经网络进行分类，具体为：
将时空滤波后的特征矩阵送入输出神经元等于分类类别数的全连接层进行加权，输出神经元经过softmax函数进行映射获得每个类别对应的后验概率，选取后验概率最大的值对应的类别作为最终的分类结果。
3.如权利要求1所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，对时空滤波听觉诱发脑电分类模型进行训练时，代价损失函数J为：
其中，与θ相关的代表第i个样本在最后一个神经网络层的全连接层的第j个神经元的输出；sij是判断第i个样本是否属于第j个类别的示性函数；m和q分别表示训练样本数和分类类别数。
4.权利要求1所述的一种基于时空卷积神经网络的脑电信号评估听力的方法，其特征在于，对时空滤波听觉诱发脑电分类模型进行训练时，参数更新方法为：
其中，θk+1为迭代k+1次后的参数，θk为迭代k次后的参数，Lr为学习率，mk为利用梯度一阶矩计算的梯度动量，vk为利用梯度二阶矩计算的学习率动量，ε为常量。
5.一种基于时空卷积神经网络的脑电信号评估听力的系统，其特征在于，包括：
数据获取模块，用于获取在特定范式的音频信号诱发下得到的多通道脑电信号，并进行脑电信号滤波和分段预处理；
听力评估分类模块，用于基于预处理后的多通道脑电信号，利用训练好的时空滤波听觉诱发脑电分类模型，进行听力评估分类；
其中，所述时空滤波听觉诱发脑电分类模型具体包括：
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；
所述的对多通道脑电信号进行时域滤波，具体为：
其中，Ft为时域滤波特征向量，x为预处理后的多通道脑电信号，*为卷积运算算子，为时域滤波窗函数，时域滤波窗函数/>具体为：
其中，⊙为哈达玛积，g[n]为窗函数，Sinc函数调制的滤波器w可被表示为：
w[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)
其中，Sinc函数为sinc(x)＝sin(x)/x，f1和f2表示滤波器的3dB截止频率；
所述的对时域滤波特征向量进行动态空域滤波，具体为：
Fc＝Ft*Sc
其中，Fc为空域滤波后的特征，Sc为动态通道加权矩阵；所述动态通道加权矩阵Sc针对每个不同的脑电样本产生不同的通道加权系数，具体为：
Sc＝G(x,θc)
其中，θc为动态神经网络参数，为时空滤波听觉诱发脑电分类模型训练过程中学习获得；G为动态神经网络，为包含动态神经网络参数θc的密集连接层：G(x,θc)＝ReLu(x×θc)；ReLu为一种非线性激活函数，当自变量大于零时，ReLu函数的输出为自变量本身，当自变量小于或等于零时，ReLu函数的输出为零。
6.一种听觉诱发脑电分类的装置，其特征在于，包括：依次连接的脑电数据采集单元、脑电信号放大单元、A/D转换单元和主控制器，所述主控制器内分别设有：
时域滤波单元，用于对多通道脑电信号进行时域滤波，得到时域滤波特征向量；
动态空域滤波单元，用于对时域滤波特征向量进行动态空域滤波，得到时空滤波后的特征矩阵；
神经网络分类单元，用于将时空滤波后的特征矩阵经过神经网络进行分类，得到听力评估分类结果；
所述主控制器与外部受控设备连接，用于将得到的听力评估分类结果，转化为对外部受控设备的控制指令；
所述的对多通道脑电信号进行时域滤波，具体为：
其中，Ft为时域滤波特征向量，x为预处理后的多通道脑电信号，*为卷积运算算子，为时域滤波窗函数，时域滤波窗函数/>具体为：
其中，⊙为哈达玛积，g[n]为窗函数，Sinc函数调制的滤波器w可被表示为：
w[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)
其中，Sinc函数为sinc(x)＝sin(x)/x，f1和f2表示滤波器的3dB截止频率；
所述的对时域滤波特征向量进行动态空域滤波，具体为：
Fc＝Ft*Sc
其中，Fc为空域滤波后的特征，Sc为动态通道加权矩阵；所述动态通道加权矩阵Sc针对每个不同的脑电样本产生不同的通道加权系数，具体为：
Sc＝G(x,θc)
其中，θc为动态神经网络参数，为时空滤波听觉诱发脑电分类模型训练过程中学习获得；G为动态神经网络，为包含动态神经网络参数θc的密集连接层：G(x,θc)＝ReLu(x×θc)；ReLu为一种非线性激活函数，当自变量大于零时，ReLu函数的输出为自变量本身，当自变量小于或等于零时，ReLu函数的输出为零。
7.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-4任一项所述的基于时空卷积神经网络的脑电信号评估听力的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210833107.9A CN115251909B (zh) | 2022-07-15 | 2022-07-15 | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210833107.9A CN115251909B (zh) | 2022-07-15 | 2022-07-15 | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115251909A CN115251909A (zh) | 2022-11-01 |
| CN115251909B true CN115251909B (zh) | 2024-04-30 |
Family
ID=83766243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210833107.9A Active CN115251909B (zh) | 2022-07-15 | 2022-07-15 | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115251909B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117725490B (zh) * | 2024-02-08 | 2024-04-26 | 山东大学 | 跨被试被动式音高感知eeg自动分类方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103270779A (zh) * | 2011-02-10 | 2013-08-28 | 松下电器产业株式会社 | 脑电波记录装置、助听器、脑电波记录方法以及其程序 |
| CN107168524A (zh) * | 2017-04-19 | 2017-09-15 | 华南理工大学 | 一种基于深度学习混合模型的稳态视觉诱发电位分类方法 |
| CN107864440A (zh) * | 2016-07-08 | 2018-03-30 | 奥迪康有限公司 | 包括eeg记录和分析系统的助听系统 |
| CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
| CN111820876A (zh) * | 2020-07-24 | 2020-10-27 | 天津大学 | 一种脑电空间滤波器的动态构建方法 |
| CN113017645A (zh) * | 2021-02-25 | 2021-06-25 | 华南理工大学 | 一种基于空洞卷积神经网络的p300信号检测方法 |
| CN113869382A (zh) * | 2021-09-16 | 2021-12-31 | 常州大学 | 基于领域嵌入概率的半监督学习癫痫脑电信号识别方法 |
| CN113974557A (zh) * | 2021-10-28 | 2022-01-28 | 中国人民解放军陆军军医大学第二附属医院 | 基于脑电奇异谱分析的深度神经网络麻醉深度分析方法 |
| CN114418026A (zh) * | 2022-01-26 | 2022-04-29 | 重庆邮电大学 | 一种脑电信号识别模型训练方法、识别方法、装置及设备 |
| CN114519367A (zh) * | 2022-01-14 | 2022-05-20 | 安徽大学 | 基于样本学习的运动想象脑电频率特性分析方法及其系统 |
| CN114662547A (zh) * | 2022-04-07 | 2022-06-24 | 天津大学 | 基于脑电信号的mscrnn情绪识别方法及装置 |
-
2022
- 2022-07-15 CN CN202210833107.9A patent/CN115251909B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103270779A (zh) * | 2011-02-10 | 2013-08-28 | 松下电器产业株式会社 | 脑电波记录装置、助听器、脑电波记录方法以及其程序 |
| CN107864440A (zh) * | 2016-07-08 | 2018-03-30 | 奥迪康有限公司 | 包括eeg记录和分析系统的助听系统 |
| CN107168524A (zh) * | 2017-04-19 | 2017-09-15 | 华南理工大学 | 一种基于深度学习混合模型的稳态视觉诱发电位分类方法 |
| CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
| CN111820876A (zh) * | 2020-07-24 | 2020-10-27 | 天津大学 | 一种脑电空间滤波器的动态构建方法 |
| CN113017645A (zh) * | 2021-02-25 | 2021-06-25 | 华南理工大学 | 一种基于空洞卷积神经网络的p300信号检测方法 |
| CN113869382A (zh) * | 2021-09-16 | 2021-12-31 | 常州大学 | 基于领域嵌入概率的半监督学习癫痫脑电信号识别方法 |
| CN113974557A (zh) * | 2021-10-28 | 2022-01-28 | 中国人民解放军陆军军医大学第二附属医院 | 基于脑电奇异谱分析的深度神经网络麻醉深度分析方法 |
| CN114519367A (zh) * | 2022-01-14 | 2022-05-20 | 安徽大学 | 基于样本学习的运动想象脑电频率特性分析方法及其系统 |
| CN114418026A (zh) * | 2022-01-26 | 2022-04-29 | 重庆邮电大学 | 一种脑电信号识别模型训练方法、识别方法、装置及设备 |
| CN114662547A (zh) * | 2022-04-07 | 2022-06-24 | 天津大学 | 基于脑电信号的mscrnn情绪识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于时间、频率和空间域的自发脑电信号提取;唐艳;中国博士学位论文;20081215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115251909A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136731B (zh) | 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法 | |
| US20220172708A1 (en) | Speech separation model training method and apparatus, storage medium and computer device | |
| CN105841961A (zh) | 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法 | |
| CN109598222B (zh) | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 | |
| CN113158964B (zh) | 一种基于残差学习和多粒度特征融合的睡眠分期方法 | |
| CN115251909B (zh) | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 | |
| CN110289081A (zh) | 深度网络堆栈模型自适应加权特征融合的癫痫检测方法 | |
| CN113065526A (zh) | 一种基于改进深度残差分组卷积网络的脑电信号分类方法 | |
| CN115689008A (zh) | 基于集合经验模态分解的CNN-BiLSTM短期光伏功率预测方法及其系统 | |
| CN115964670B (zh) | 一种频谱异常检测方法 | |
| CN112712819A (zh) | 视觉辅助跨模态音频信号分离方法 | |
| CN112465069A (zh) | 一种基于多尺度卷积核cnn的脑电情绪分类方法 | |
| CN113707175B (zh) | 基于特征分解分类器与自适应后处理的声学事件检测系统 | |
| CN116189681A (zh) | 一种智能语音交互系统及方法 | |
| CN111368649A (zh) | 一种运行于树莓派的情绪感知方法 | |
| CN112562698B (zh) | 一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法 | |
| CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其系统 | |
| CN113052099B (zh) | 一种基于卷积神经网络的ssvep分类方法 | |
| CN112466284B (zh) | 一种口罩语音鉴别方法 | |
| CN108538301A (zh) | 一种基于神经网络音频技术的智能数码乐器 | |
| CN112329819A (zh) | 基于多网络融合的水下目标识别方法 | |
| CN117369418A (zh) | 数控机床进给系统故障诊断方法、系统、存储介质及设备 | |
| CN116236209A (zh) | 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 | |
| CN116467672A (zh) | 基于脑电-语音双模态决策融合的抑郁症识别系统 | |
| Wang et al. | Improved brain–computer interface signal recognition algorithm based on few-channel motor imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |