CN116778968B - 一种基于深度可分离卷积与注意力机制的心音分类方法 - Google Patents
一种基于深度可分离卷积与注意力机制的心音分类方法 Download PDFInfo
- Publication number
- CN116778968B CN116778968B CN202310732859.0A CN202310732859A CN116778968B CN 116778968 B CN116778968 B CN 116778968B CN 202310732859 A CN202310732859 A CN 202310732859A CN 116778968 B CN116778968 B CN 116778968B
- Authority
- CN
- China
- Prior art keywords
- heart sound
- layer
- convolution
- module
- outputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000005236 sound signal Effects 0.000 claims abstract description 30
- 238000010606 normalization Methods 0.000 claims description 57
- 230000004913 activation Effects 0.000 claims description 33
- 238000013145 classification model Methods 0.000 claims description 32
- 230000004927 fusion Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
一种基于深度可分离卷积与注意力机制的心音分类方法，涉及心音信号技术领域，把心音信号分段，利用注意力机制算法提取到重要心音特征，然后通过深度卷积对每个通道平面上进行卷积运算，提取特征的局部信息，大大降低参数以及运算量，再利用多头注意力机制提取心音特征的全局信息，再对通道进行卷积运算，即在通道维度上提取局部特征，在关注局部特征的同时，也充分兼顾了心音的全局特征信息。
Description
技术领域
本发明涉及心音信号技术领域，具体涉及一种基于深度可分离卷积与注意力机制的心音分类方法。
背景技术
心音是由心脏以及心血管系统机械运动产生的声音信号，通过听诊器判断心音的异常非常依赖人们的先验知识，并且极易出现错误。当前的心音分类方法有只关注心音信号局部特征的卷积神经网络方法，以及只关注心音信号全局特征的循环神经网络方法，如RNN循环神经网络，LSTM长短时记忆网络，这些方法没有很好的兼顾局部特征和全局特征的信心对心音信号进行分类。
发明内容
本发明为了克服以上技术的不足，提供了一种既考虑了心音信号的局部特征又考虑了心音信号的全局特征的基于深度可分离卷积与注意力机制的心音分类方法。本发明克服其技术问题所采用的技术方案是：
一种基于深度可分离卷积与注意力机制的心音分类方法，包括如下步骤：
a)获取原始心音信号X；
b)将原始心音信号X划分为n条心音段x1,x2,...,xi,...,xn，xi为第i条心音段，i∈{1,2,...,n}，每个心音段的长度为m秒；
c)提取第i条心音段xi的梅尔倒谱系数，得到第i条心音段xi的特征x′i；
d)建立心音分类模型，心音分类模型由FAP模块、TC模块、DPT模块、FC模块构成；
e)将第i条心音段xi的特征x′i输入到心音分类模型的FAP模块中，输出得到特征矩阵X1；
f)将特征矩阵X1输入到心音分类模型的TC模块中，输出得到心音特征
g)将心音特征输入到心音分类模型的DPT模块中，输出得到心音特征X5；
h)将心音特征X5输入到心音分类模型的FC模块中，输出得到分类结果。
优选的，步骤a)中从Physionet2016心音数据库获取原始心音信号X。
进一步的，步骤b)中m取值为5，不足5秒长的心音段进行补零操作。
优选的，步骤c)中梅尔倒谱系数维度设置为40。
进一步的，步骤e)包括如下步骤：
e-1)通过公式Qi＝x′i×Wi计算得到第i条心音段xi的特征矩阵Qi，i∈{1,2,...,n}，Wi为随机生成的权重矩阵；
e-2)通过公式计算得到特征矩阵X1，式中ω为参数，WQ为随机生成的权重矩阵，softmax(·)为Softmax函数，T为转置，α为阈值，α＝0.25。
进一步的，步骤f)包括如下步骤：
f-1)心音分类模型的TC模块由第一卷积块、第二卷积块、第三卷积块构成；
f-2)TC模块的第一卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为2，将特征矩阵X1输入到第一卷积块中，输出得到心音特征
f-3)TC模块的第二卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为1、填充为0，将心音特征输入到第二卷积块中，输出得到心音特征/>
f-4)TC模块的第三卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为1，将心音特征输入到第三卷积块中，输出得到心音特征/>进一步的，步骤g)包括如下步骤：
g-1)心音分类模型的FAP模块由Transformer模型的位置编码层、第一深度卷积层、第一LayerNorm层批处理归一化层、多头注意力机制、第二LayerNorm层批处理归一化层、卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层、第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层构成，第一深度卷积层的卷积核大小为3×3、通道数为32、步长设置为same，卷积层的的卷积核大小为1×1、通道数为32、步长设置为same，第二深度卷积层的卷积核大小为3×3、通道数为32、步长设置为same；
g-2)将心音特征输入到FAP模块的位置编码层中，输出得到心音特征X2，将心音特征X2输入到FAP模块的第一深度卷积层中，输出得到心音特征X′2，将心音特征X2与心音特征X′2进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>g-3)将心音特征/>输入到FAP模块的位置编码层中，输出得到心音特征X3，将心音特征X3输入到FAP模块的第一深度卷积层中，输出得到心音特征X′3，将心音特征X3与心音特征X3′进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>g-4)将心音特征/>输入到FAP模块的位置编码层中，输出得到心音特征X4，将心音特征X4输入到FAP模块的第一深度卷积层中，输出得到心音特征X4′，将心音特征X4与心音特征X4′进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征X5。
进一步的，步骤h)包括如下步骤：
h-1)心音分类模型的FC模块由全局平均池化层、第一Droupout层、第一Dense层、第二Droupout层、第二Dense层、Softmax层构成；
h-2)将心音特征X5依次输入到FC模块的全局平均池化层、第一Droupout层、第一Dense层、第二Droupout层、第二Dense层中，输出得到心音特征X′5；
h-3)将心音特征X′5输入到FC模块的Softmax层中输出得到0到1区间的两个概率分布，为0时表示心音信号为正常信号，为1时表示心音信号为异常信号。优选的，步骤h-1)中第一Dense层的隐藏单元设置为512，第二Dense层的隐藏单元设置为2。
本发明的有益效果是：把心音信号分段，利用注意力机制算法提取到重要心音特征，然后通过深度卷积对每个通道平面上进行卷积运算，提取特征的局部信息，大大降低参数以及运算量，再利用多头注意力机制提取心音特征的全局信息，再对通道进行卷积运算，即在通道维度上提取局部特征，在关注局部特征的同时，也充分兼顾了心音的全局特征信息。
附图说明
图1为本发明的方法流程图；
图2为本发明的FAP模块的结构示意图；
图3为本发明的TC模块的结构示意图；
图4为本发明的DPT模块的结构示意图；
图5为本发明的FC模块的结构示意图。
具体实施方式
下面结合附图1至附图5对本发明做进一步说明。
一种基于深度可分离卷积与注意力机制的心音分类方法，包括如下步骤：
a)获取原始心音信号X。
b)将原始心音信号X划分为n条心音段x1,x2,...,xi,...,xn，xi为第i条心音段，i∈{1,2,...,n}，每个心音段的长度为m秒。
c)提取第i条心音段xi的梅尔倒谱系数，得到第i条心音段xi的特征x′i，采样率设置为16000Hz，作为心音分类模型的输入。
d)建立心音分类模型，心音分类模型由FAP模块、TC模块、DPT模块、FC模块构成。
e)将第i条心音段xi的特征x′i输入到心音分类模型的FAP模块中，将第一个特征x′1分别于其它特征x′2,x′3,...,x′n做注意力操作，将特征x′2,x′3,...,x′n与特征x′1相似的重要特征信息权重放大，不相似的特征权重缩小，然后把这些权重乘以个字的心音段特征矩阵，最后再融合到第一个特征x′1上，得到特征矩阵X1。
f)将特征矩阵X1输入到心音分类模型的TC模块中，输出得到心音特征
g)将心音特征输入到心音分类模型的DPT模块中，输出得到心音特征X5。
h)将心音特征X5输入到心音分类模型的FC模块中，输出得到分类结果。
本发明构建的心音分类模型，既考虑了心音信号的局部特征又考虑了心音信号的全局特征，尽可能的充分利用心音信号特征信息。在关注局部特征的同时，也充分兼顾了心音的全局特征信息。
在本发明的一个实施例中，步骤a)中从Physionet2016心音数据库获取原始心音信号X。步骤b)中m取值为5，不足5秒长的心音段进行补零操作。步骤c)中梅尔倒谱系数维度设置为40。
在本发明的一个实施例中，步骤e)包括如下步骤：
e-1)通过公式Qi＝x′i×Wi计算得到第i条心音段xi的特征矩阵Qi，i∈{1,2,...,n}，Wi为随机生成的权重矩阵。
e-2)通过公式计算得到特征矩阵X1，式中ω为参数，WQ为随机生成的权重矩阵，softmax(·)为Softmax函数，T为转置，α为阈值，α＝0.25。
在本发明的一个实施例中，步骤f)包括如下步骤：
f-1)心音分类模型的TC模块由第一卷积块、第二卷积块、第三卷积块构成。
f-2)TC模块的第一卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为2，将特征矩阵X1输入到第一卷积块中，输出得到心音特征
f-3)TC模块的第二卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为1、填充为0，将心音特征输入到第二卷积块中，输出得到心音特征/>
f-4)TC模块的第三卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为1，将心音特征输入到第三卷积块中，输出得到心音特征/>
在本发明的一个实施例中，步骤g)包括如下步骤：
g-1)心音分类模型的FAP模块由Transformer模型的位置编码层、第一深度卷积层、第一LayerNorm层批处理归一化层、多头注意力机制、第二LayerNorm层批处理归一化层、卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层、第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层构成，第一深度卷积层的卷积核大小为3×3、通道数为32、步长设置为same，卷积层的的卷积核大小为1×1、通道数为32、步长设置为same，第二深度卷积层的卷积核大小为3×3、通道数为32、步长设置为same。
g-2)将心音特征输入到FAP模块的位置编码层中，输出得到心音特征X2，将心音特征X2输入到FAP模块的第一深度卷积层中，在通道上对输入特征做卷积运算，降低参数和运算量，输出得到心音特征X2′，将心音特征X2与心音特征X2′进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>g-3)将心音特征/>输入到FAP模块的位置编码层中，输出得到心音特征X3，将心音特征X3输入到FAP模块的第一深度卷积层中，输出得到心音特征X3′，将心音特征X3与心音特征X3′进行融合操作，得到心音特征将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>g-4)将心音特征/>输入到FAP模块的位置编码层中，输出得到心音特征X4，将心音特征X4输入到FAP模块的第一深度卷积层中，输出得到心音特征X4′，将心音特征X4与心音特征X4′进行融合操作，得到心音特征将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征X5。
在本发明的一个实施例中，步骤h)包括如下步骤：
h-1)心音分类模型的FC模块由全局平均池化层、第一Droupout层、第一Dense层、第二Droupout层、第二Dense层、Softmax层构成。
h-2)将心音特征X5依次输入到FC模块的全局平均池化层、第一Droupout层、第一Dense层、第二Droupout层、第二Dense层中，输出得到心音特征X5′。h-3)将心音特征X5′输入到FC模块的Softmax层中输出得到0到1区间的两个概率分布，为0时表示心音信号为正常信号，为1时表示心音信号为异常信号，实现心音信号正常和心音信号异常的分类。
在该实施例中，优选的第一Dense层的隐藏单元设置为512，第二Dense层的隐藏单元设置为2。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于深度可分离卷积与注意力机制的心音分类方法，其特征在于，包括如下步骤：
a)获取原始心音信号X；
b)将原始心音信号X划分为n条心音段x1,x2,...,xi,...,xn，xi为第i条心音段，i∈{1,2,...,n}，每个心音段的长度为m秒；
c)提取第i条心音段xi的梅尔倒谱系数，得到第i条心音段xi的特征x′i；
d)建立心音分类模型，心音分类模型由FAP模块、TC模块、DPT模块、FC模块构成；
e)将第i条心音段xi的特征x′i输入到心音分类模型的FAP模块中，输出得到特征矩阵X1；
f)将特征矩阵X1输入到心音分类模型的TC模块中，输出得到心音特征
g)将心音特征输入到心音分类模型的DPT模块中，输出得到心音特征X5；
h)将心音特征X5输入到心音分类模型的FC模块中，输出得到分类结果；
步骤e)包括如下步骤：
e-1)通过公式Qi＝x′i×Wi计算得到第i条心音段xi的特征矩阵Qi，i∈{1,2,...,n}，Wi为随机生成的权重矩阵；
e-2)通过公式计算得到特征矩阵X1，式中ω为参数，WQ为随机生成的权重矩阵，softmax(·)为Softmax函数，T为转置，α为阈值，α＝0.25；
步骤f)包括如下步骤：
f-1)心音分类模型的TC模块由第一卷积块、第二卷积块、第三卷积块构成；
f-2)TC模块的第一卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为2，将特征矩阵X1输入到第一卷积块中，输出得到心音特征
f-3)TC模块的第二卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为1、填充为0，将心音特征输入到第二卷积块中，输出得到心音特征/>
f-4)TC模块的第三卷积块依次由卷积层、Relu激活函数层、BatchNormalization批处理归一化层构成，卷积层的积核大小为3×3、通道数为64、步长为1，将心音特征输入到第三卷积块中，输出得到心音特征/>步骤g)包括如下步骤：
g-1)心音分类模型的FAP模块由Transformer模型的位置编码层、第一深度卷积层、第一LayerNorm层批处理归一化层、多头注意力机制、第二LayerNorm层批处理归一化层、卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层、第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层构成，第一深度卷积层的卷积核大小为3×3、通道数为32、步长设置为same，卷积层的卷积核大小为1×1、通道数为32、步长设置为same，第二深度卷积层的卷积核大小为3×3、通道数为32、步长设置为same；
g-2)将心音特征输入到FAP模块的位置编码层中，输出得到心音特征X2，将心音特征X2输入到FAP模块的第一深度卷积层中，输出得到心音特征X2′，将心音特征X2与心音特征X2′进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>
g-3)将心音特征输入到FAP模块的位置编码层中，输出得到心音特征X3，将心音特征X3输入到FAP模块的第一深度卷积层中，输出得到心音特征X′3，将心音特征X3与心音特征X′3进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征/>
g-4)将心音特征输入到FAP模块的位置编码层中，输出得到心音特征X4，将心音特征X4输入到FAP模块的第一深度卷积层中，输出得到心音特征X′4，将心音特征X4与心音特征X′4进行融合操作，得到心音特征/>将心音特征/>输入到FAP模块的第一LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>输入到FAP模块的多头注意力机制中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征将心音特征/>输入到FAP模块的第二LayerNorm层批处理归一化层中，输出得到心音特征/>将心音特征/>依次输入到FAP模块的卷积层、第一Relu激活函数层、第一BatchNormalization批处理归一化层后，输出得到心音特征/>将心音特征/>依次输入到FAP模块的第二深度卷积层、第二Relu激活函数层、第二BatchNormalization批处理归一化层中，输出得到心音特征/>将心音特征/>与心音特征/>进行融合操作，得到心音特征X5；
步骤h)包括如下步骤：
h-1)心音分类模型的FC模块由全局平均池化层、第一Droupout层、第一Dense层、第二Droupout层、第二Dense层、Softmax层构成；
h-2)将心音特征X5依次输入到FC模块的全局平均池化层、第一Droupout层、第一Dense层、第二Droupout层、第二Dense层中，输出得到心音特征X′5；
h-3)将心音特征X′5输入到FC模块的Softmax层中输出得到0到1区间的两个概率分布，为0时表示心音信号为正常信号，为1时表示心音信号为异常信号。
2.根据权利要求1所述的基于深度可分离卷积与注意力机制的心音分类方法，其特征在于：步骤a)中从Physionet2016心音数据库获取原始心音信号X。
3.根据权利要求1所述的基于深度可分离卷积与注意力机制的心音分类方法，其特征在于：步骤b)中m取值为5，不足5秒长的心音段进行补零操作。
4.根据权利要求1所述的基于深度可分离卷积与注意力机制的心音分类方法，其特征在于：步骤c)中梅尔倒谱系数维度设置为40。
5.根据权利要求1所述的基于深度可分离卷积与注意力机制的心音分类方法，其特征在于：步骤h-1)中第一Dense层的隐藏单元设置为512，第二Dense层的隐藏单元设置为2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732859.0A CN116778968B (zh) | 2023-06-20 | 2023-06-20 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732859.0A CN116778968B (zh) | 2023-06-20 | 2023-06-20 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116778968A CN116778968A (zh) | 2023-09-19 |
| CN116778968B true CN116778968B (zh) | 2024-03-12 |
Family
ID=88005858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310732859.0A Active CN116778968B (zh) | 2023-06-20 | 2023-06-20 | 一种基于深度可分离卷积与注意力机制的心音分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778968B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117995170B (zh) * | 2024-03-04 | 2024-09-17 | 齐鲁工业大学(山东省科学院) | 一种基于卷积与通道注意力机制的心音信号分类方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| DE102019208031A1 (de) * | 2018-06-04 | 2019-12-05 | Robert Bosch Gmbh | Verfahren und system zur detektion anormaler herztöne |
| CN113288163A (zh) * | 2021-06-04 | 2021-08-24 | 浙江理工大学 | 基于注意力机制的多特征融合心电信号分类模型建模方法 |
| WO2022121150A1 (zh) * | 2020-12-10 | 2022-06-16 | 平安科技（深圳）有限公司 | 基于自注意力机制和记忆网络的语音识别方法及装置 |
| CN115470828A (zh) * | 2022-09-23 | 2022-12-13 | 华东师范大学 | 基于卷积与自注意力机制的多导联心电图分类识别方法 |
| CN115486865A (zh) * | 2022-09-15 | 2022-12-20 | 安徽财经大学 | 一种基于卷积循环神经网络的心音分类方法 |
| CN115568860A (zh) * | 2022-09-30 | 2023-01-06 | 厦门大学 | 基于双注意力机制的十二导联心电信号的自动分类方法 |
| CN116226763A (zh) * | 2023-03-03 | 2023-06-06 | 山东省人工智能研究院 | 基于改进型注意力机制的多标签心电信号分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11538585B2 (en) * | 2018-06-08 | 2022-12-27 | Cambridge Heartwear Limited | Detecting abnormalities in ECG signals |
-
2023
- 2023-06-20 CN CN202310732859.0A patent/CN116778968B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019208031A1 (de) * | 2018-06-04 | 2019-12-05 | Robert Bosch Gmbh | Verfahren und system zur detektion anormaler herztöne |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| WO2022121150A1 (zh) * | 2020-12-10 | 2022-06-16 | 平安科技（深圳）有限公司 | 基于自注意力机制和记忆网络的语音识别方法及装置 |
| CN113288163A (zh) * | 2021-06-04 | 2021-08-24 | 浙江理工大学 | 基于注意力机制的多特征融合心电信号分类模型建模方法 |
| CN115486865A (zh) * | 2022-09-15 | 2022-12-20 | 安徽财经大学 | 一种基于卷积循环神经网络的心音分类方法 |
| CN115470828A (zh) * | 2022-09-23 | 2022-12-13 | 华东师范大学 | 基于卷积与自注意力机制的多导联心电图分类识别方法 |
| CN115568860A (zh) * | 2022-09-30 | 2023-01-06 | 厦门大学 | 基于双注意力机制的十二导联心电信号的自动分类方法 |
| CN116226763A (zh) * | 2023-03-03 | 2023-06-06 | 山东省人工智能研究院 | 基于改进型注意力机制的多标签心电信号分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于CNN和RNN联合网络的心音自动分类;李伟;杨向东;陈恳;;计算机工程与设计(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116778968A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113191215B (zh) | 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法 | |
| CN109410917B (zh) | 基于改进型胶囊网络的语音数据分类方法 | |
| CN103038765B (zh) | 用于适配情境模型的方法和装置 | |
| CN116778968B (zh) | 一种基于深度可分离卷积与注意力机制的心音分类方法 | |
| CN112508085A (zh) | 基于感知神经网络的社交网络链路预测方法 | |
| CN112818861A (zh) | 一种基于多模态上下文语义特征的情感分类方法及系统 | |
| CN112989977A (zh) | 一种基于跨模态注意力机制的视听事件定位方法及装置 | |
| CN109492129B (zh) | 一种基于双流神经网络的相似视频搜索方法和系统 | |
| CN110287879B (zh) | 一种基于注意力机制的视频行为识别方法 | |
| CN116584951B (zh) | 一种基于弱监督学习的心电信号检测和定位方法 | |
| CN113806609B (zh) | 一种基于mit和fsm的多模态情感分析方法 | |
| CN114783034B (zh) | 基于局部敏感特征与全局特征融合的人脸表情识别方法 | |
| WO2021139351A1 (zh) | 图像分割方法、装置、介质及电子设备 | |
| CN111191742B (zh) | 一种用于多源异构数据流的滑动窗口长度自适应调整方法 | |
| WO2023134549A1 (zh) | 编码器的生成方法、指纹提取方法、介质及电子设备 | |
| CN114861875A (zh) | 基于自监督学习和自知识蒸馏的物联网入侵检测方法 | |
| CN118051831B (zh) | 基于CNN-Transformer合作网络模型的水声目标识别方法 | |
| CN117789911A (zh) | 基于跨模态融合和记忆监督放射学报告生成方法及系统 | |
| CN114492755A (zh) | 基于知识蒸馏的目标检测模型压缩方法 | |
| CN108446718B (zh) | 一种动态深度置信网络分析方法 | |
| CN116432664A (zh) | 一种高质量数据扩增的对话意图分类方法及系统 | |
| CN115101093A (zh) | 一种无监督异常音频事件检测方法 | |
| CN115937672A (zh) | 一种基于深度神经网络的遥感旋转目标检测方法 | |
| CN114220145A (zh) | 人脸检测模型生成方法和装置、伪造人脸检测方法和装置 | |
| CN117995170B (zh) | 一种基于卷积与通道注意力机制的心音信号分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |