CN113313045A - 基于多任务学习和类激活图反馈的人机不同步识别方法 - Google Patents
基于多任务学习和类激活图反馈的人机不同步识别方法 Download PDFInfo
- Publication number
- CN113313045A CN113313045A CN202110651445.6A CN202110651445A CN113313045A CN 113313045 A CN113313045 A CN 113313045A CN 202110651445 A CN202110651445 A CN 202110651445A CN 113313045 A CN113313045 A CN 113313045A
- Authority
- CN
- China
- Prior art keywords
- man
- class
- class activation
- machine asynchronous
- activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004913 activation Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013136 deep learning model Methods 0.000 claims abstract description 37
- 230000000241 respiratory effect Effects 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 16
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000005399 mechanical ventilation Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003434 inspiratory effect Effects 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多任务学习和类激活图反馈的人机不同步识别方法，通过利用多任务学习以参数硬共享的方式训练深度学习模型，通过类激活映射的方式，获得训练好的深度学习模型对输出结果的可视化解释；同时根据每种人机不同步类型的类激活图激活域设定特征区域。再将实际采集的原始呼吸信号输入已训练的深度学习模型里，获得当前呼吸信号的识别结果；最后根据人机不同步类型设定的特征区域对识别结果作修正。本发明以多任务结合参数硬共享的方式只训练一个网络模型，使得一次前向计算即可同时输出识别的多种人机不同步类型，提高了现有方法的识别效率。基于类激活图反馈的自修正分类结果，使得方法具有高准确度和可解释性。
Description
技术领域
本发明涉及一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法。属于机械通气人机不同步自动化识别领域。
背景技术
随着深度学习理论的发展和完善，神经网络被广泛应用于医学领域。在机械通气人机不同步自动化识别方面，有学者提出基于循环神经网络、一维卷积神经网络和二维卷积神经网络的人机不同步识别方法。但在该领域，目前大多数基于神经网络的检测方法都是单任务学习的二分类网络，只能完成某种特定人机不同步类型的识别。如果想要将方法模块化嵌入分析平台来识别多种人机不同步类型，只能后期将算法集成，这无疑会增加方法在前向计算阶段消耗的时间成本。虽然在二分类网络的研究上取得了一定的成果，但现有方法做到真正落地临床，在性能上还有很大的提升空间。同时，类激活图或梯度类激活图被引入神经网络来可视化分类决策过程，增强方法在临床的可解释性。然而现有方法都只是通过可视化类激活图作为网络输出分类结果的依据，忽视了其能作为人机不同步波形特征区域的定位功能以此来进一步提升网络识别精度的可能性。
发明内容
本发明的目的是为了端到端的集成多个二分类网络以缩短网络在前向计算阶段耗费的时间以及通过类激活图修正网络分类结果降低分类假阳性率，提供了一种多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法。其中多任务学习是指一个一维卷积神经网络结构主体以参数硬共享的方式学习多种人机不同步的二分类模式。
本发明的目的是这样实现的：
一种基于多任务学习和类激活图反馈的人机不同步识别方法，该方法包括：
用于人机不同步类型识别的深度学习模型训练和多种人机不同步类型的类激活图特征区域限定规则获取步骤：
采集标记的包含多种人机不同步类型和其他类型的呼吸信号，所述呼吸信号由一路流速和一路压力数据组成。对每个呼吸信号先进行数据标准化，再通过重采样，将数据集中的所有样本处理成等长的序列；
根据采集的数据所属的类别，构建多组训练标签，以呼吸信号为输入、类别为输出，采用多任务学习的方式训练获得用于人机不同步类型识别的深度学习模型；
通过类激活映射的方式，获得训练好的深度学习模型对每个样本输出结果的可视化解释；同时根据所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则。所述特征区域的限定规则为类激活图激活域的阈值。
根据训练好的深度学习模型和特征区域的限定规则进行人机不同步类型识别步骤：
将原始呼吸信号经过预处理后，输入已训练的深度学习模型里，即可获得当前呼吸信号的人机不同步识别结果；同时通过类激活映射的方式，获得识别结果中识别类型的类激活图；若识别类型的类激活图的激活域满足对应人机不同步类型的特征区域的限定规则，则判为相应的人机不同步类型，否则，判为其他类型。
进一步地，以欠采样的方式，通过随机抽取与人机不同步样本数量相当的非人机不同步样本，对数据集进行样本均衡；所有样本先进行z-score标准化处理：
其中，xi是每个独立样本中第i个采样点的信号幅值，L是每个独立样本的信号长度，μ和σ分别是每个独立样本的信号幅值的均值和标准差。
进一步地，每个样本的数据重采样到300长度，使所有样本序列等长。
进一步地，所述多任务学习通过参数硬共享的方式，将不同任务的特征提取能力都固化在一个深度学习模型结构中，所述深度学习模型结构包括多层一维卷积神经网络、特征融合层、全局平均池化层和多个分类头；一维卷积神经网络为双通道并行结构，分别用于提取压力和流速波形特征，最后再采用特征融合层Add将两路特征信息相加经全局平均池化层后利用多个分类头进行分类。
进一步地，所述一维卷积神经网络包含一维卷积层、批归一化层和一维最大池化层。
进一步地，所述深度学习模型训练的结束条件为所述深度学习模型的损失函数收敛或所述深度学习模型的迭代次数达到预设迭代次数。
进一步地，所述训练标签采用独热编码进行构建。
进一步地，通过类激活映射的方式，获得训练好的深度学习模型对每个样本输出结果的可视化解释，具体为：
a、将样本在深度学习模型最后一层卷积层输出的特征图经过特征融合层Add后，把两路卷积后提取的特征图以相加的方式合并：
其中
代表压力数据在时间t上被最后一层卷积层滤波单元k所激活的特征图，
代表流速数据在时间t上被滤波单元k所激活的特征图；
b、经过全局平均池化操作，特征融合层Add输出的特征维度会被缩减至1：
Fk＝∑tfk(t)
其中，Fk代表全局平均池化层的输出，t代表时间维度，k代表滤波单元；
c、对于某一特定类别c，分类头h首先计算该类别在分类结果输出之前的输入Sc；
其中，
表示最后一层一维卷积神经网络中每个滤波单元k对应的特征图的权重，即每个滤波单元k对应的特征图经过全局平均池化后的输出，对分类头h将其判为类别c所做出的贡献程度；
其中，
代表了对于分类头h输出类别c对应的类激活图，直接表示了卷积后的特征被滤波单元k激活后导致分类头h将输入呼吸信号判别为类别c的重要程度。
d、将类激活图上采样到原始输入呼吸信号的维度，再以热力图的方式映射到原始呼吸数据上，得到深度学习模型在分类决策过程中的可视化解释。
进一步地，所述根据所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则，具体为：
将每个样本的类激活图的激活域做最大最小归一化，即
其中，X是类激活图的激活域，Xmin是激活域中的最小值，Xmax是激活域中的最大值，Xnorm是归一化后的激活域。
设定调整阈值N，直至所有样本的类激活图激活域中连续大于N的连通域最接近对应样本类激活图的标准特征区域。所述标准特征区域由专业人员标注获得。
与现有技术相比，本发明的有益效果是：
本发明是一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法，通过多任务学习结合模型参数硬共享的方式，使得一个模型主体具备了识别多种人机不同步类型的能力，而且端到端的集成多个二分类网络极大程度缩短了网络在前向计算阶段耗费的时间。同时，多任务学习大大降低了训练过拟合的风险。因为一个网络主体同时学习的识别任务越多，就越难找到一个含有所有任务的表征，所以过拟合原始任务的可能性就越小。另外，通过可视化类激活图映射分类决策过程中重要的特征区域，增强了方法的可解释性。利用类激活图结合相应的人机不同步区域特征的限定规则，降低了模型的假阳性率，进一步提升了模型的准确率。
本发明是一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法，不限于某类特定类型的人机不同步的检测，对其他类型人机不同步的识别和分析具有普遍适用性。与现有技术比较，本发明提出的人机不同步识别方法在只训练一个网络模型的条件下，一次前向计算即可同时输出识别的多种人机不同步类型，降低了方法在训练阶段和测试阶段的时间复杂度。并且基于类激活图的自修正分类结果技术，进一步提升了现有方法的准确度。
附图说明
图1为本发明一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法的流程示意图。
图2为本发明提出的基于一维卷积神经网络的多任务学习与可视化方案示意图。
图3为本发明的实施例中周期过长分类结果可视化效果图。
图4为本发明的实施例中周期过短分类结果可视化效果图。
图5为本发明的实施例中双触发分类结果可视化效果图。
图6为本发明的实施例中无效吸气努力分类结果可视化效果图。
具体实施方式
本发明基于多任务学习和类激活图反馈的人机不同步识别方法，在保证算法精确度和临床可解释性的前提下，通过在训练过程中增加识别任务以及端到端的集成多个二分类网络，不但达到了一个网络能识别多种人机不同步类型的效果，而且大幅度降低了算法在训练阶段和检测阶段所耗费的时长。此外，基于类激活图的自修正网络分类结果技术，降低了假阳性率，进一步提升所提出方法对人机不同步识别的精度。
下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制发明的保护范围。
参见图1，本发明的一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法，该方法包括：用于人机不同步类型识别的深度学习模型训练和多种人机不同步类型的类激活图特征区域的限定规则获取步骤和根据训练好的深度学习模型和特征区域的限定规则进行人机不同步类型识别步骤。其中用于人机不同步类型识别的深度学习模型训练和多种人机不同步类型的类激活图特征区域的限定规则获取步骤具体包括：
S1、预处理；
采集标记的包含多种人机不同步类型和非人机不同步类型的呼吸信号，对每个呼吸信号先进行数据标准化，再通过重采样，将数据集中的所有样本处理成等长的序列；
具体如下：呼吸波形数据由专业医生进行标注。由于标记的数据集中非人机不同步样本数要远多于人机不同步样本数，所以以欠采样的方式，通过随机抽取与人机不同步样本数量大致相当的非人机不同步样本，来对数据集进行样本均衡；所有样本先进行z-score标准化处理：
其中，xi是每个独立样本中第i个采样点的信号幅值，L是每个独立样本的信号长度，μ和σ分别是每个独立样本的信号幅值的均值和标准差。
由于一维卷积神经网络只能以固定的张量作为输入，所以将每个样本的数据重采样到300长度，使所有样本序列等长。
S2、构建一个多层以一维卷积神经网络为核心的深度学习模型，多任务通过参数硬共享的方式，将不同任务的特征提取能力都固化在一个模型结构中；
优选地，此步骤的具体实施例为：一次呼吸信号由一路流速和一路压力数据组成，构建一个双通道并行的五层一维卷积神经网络，在特征提取后通过特征融合层Add将分别提取的流速和压力维度的特征信息相加。与常见的卷积神经网络不同的是，在由多层一维卷积神经网络构成的卷积模块后设置全局平均池化层代替了传统的全连接层，目的在于减轻参数量的同时提取类激活图为输出结果做可视化分析。最后一层采用多个以softmax为激活函数的分类头全连接层进行二分类。表1列出了实施例中使用的详细的网络参数的定义。
表1实施例中使用的详细的网络参数定义
S3、将预处理后的呼吸波形数据样本分为训练集、验证集和测试集；
本实施例中，获得了周期过长、周期过短、双触发、无效吸气努力和其他5类标签的样本。根据由单次呼吸周期组成的其他类标签样本，另外构建与人机不同步类型数量相当的由两次呼吸周期组成的其他类样本，目的是为了训练网络能区分双触发与两次呼吸周期形成的波形特征。在本实施例中，共得到7521例周期过长样本，4407例周期过短样本，4639例双触发样本，7696例无效吸气努力样本和5000例单次呼吸组成的其他类样本，以及创建的4693例由两次呼吸组成的其他类样本。然后将每一类样本按9:1随机划分为训练部分和测试部分的数据，再按7:3将训练部分的数据随机划分为训练集和验证集。将训练集输入深度学习模型进行训练，分别利用验证集和测试集来优化模型参数，评估模型分类性能。
S4、根据数据所属的类别和识别任务要求，构建多组二值训练标签并转换为独热编码，然后以多任务学习的方式训练深度学习模型；
在具体实施例中，设置了四个二分类头。对于一个训练样本，根据多组训练标签，多个二分类头并行训练，训练的总损失函数为多个二分类头的损失函数相加，每个分类头的损失函数都是交叉熵损失函数：
L＝∑iωi×Li
其中，L为总损失函数，i表示对应的任务即分类头，ω表示对应的任务所分配的权重。Li为对应分类头的交叉熵损失函数。在本实施例中，所有分类任务所对应权重均为1。
表2给出了实施例在多任务学习方式下训练的网络模型的分类性能。
表2实施例在多任务学习方式下所训练的网络分类结果
S5、本实施例中还基于对深度学习模型输出的特征图进行参数推导，通过类激活映射的方式，获得模型在每个样本分类决策过程中的可视化解释，具体如下：
S5-1、对于一次呼吸信号，
和
是序列数据经过并行的两路特征提取后最后一层卷积层的输出；
代表了压力数据在时间t上被滤波单元k所激活，
代表了流速数据在时间t上被滤波单元k所激活；
S5-2、经过特征融合层Add后，把两路卷积后提取的特征图以相加的方式合并起来，即
S5-3、经过全局平均池化操作，融合层输出的特征维度会被缩减至1；
Fk＝∑tfk(t)
其中，Fk代表全局平均池化层的输出，t代表时间维度，k代表滤波单元；
S5-4、对于某一特定类别c，分类头h首先计算该类别在softmax分类结果输出之前的输入Sc；
其中，
表示最后一层一维卷积神经网络中每个滤波单元k对应的特征图的权重，即每个滤波单元k对应的特征图经过全局平均池化后的输出，对分类头h将其判为类别c所做出的贡献程度；
S5-5、将Fk＝∑tfk(t)代入分类得分公式
即
其中，
代表了对于分类头h输出类别c对应的类激活图，直接表示了卷积后的特征被滤波单元k激活后导致分类头h将输入呼吸信号判别为类别c的重要程度。
S5-6、将类激活图上采样到原始输入呼吸信号的维度，再以热力图的方式映射到原始呼吸数据上，便可得到模型在分类决策过程中的可视化解释。图3、4、5和6分别展示了多任务学习下训练的模型的多个二分类头输出的分类结果可视化效果图。图中，高亮区域就是特征区域，是模型判断的主要依据，通过可视化特征局域，可以说明模型训练是有效的，学到的不是虚假特征，使人信服。
S6、进一步地，所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则，具体如下：
S6-1、获得最后一层的特征图上的类别响应图即类激活图后，对类激活图的激活域即输出值做最大最小归一化，即
其中，X是类激活图的输出值，Xmin是输出值中的最小值，Xmax是输出值中的最大值，Xnorm是归一化后的输出值。
S6-2、设定和调整阈值N，直至所有样本的类激活图激活域中连续大于N的连通域最接近对应样本类激活图的标准特征区域。所述标准特征区域由专业人员标注获得。本实施例中，医生规定周期过长类型的特征区域发生在吸气相开始至结束，周期过短类型的特征区域发生在呼气相开始至400ms之间，双触发类型的特征区域发生在第一个呼吸周期的呼气相开始至第二次呼吸周期的吸气相结束之间，无效吸气努力类型的特征区域发生在呼气相开始的400ms之后至呼气相结束之间。
N通常大于0.5，本实施例中最终调整为0.9，但在应用中，可根据实际情况分析后做适当调整，将实时获取的呼吸信号经步骤S1方法预处理后输入至训练好的深度学习模型，获得识别结果，并根据分类头输出的类激活图，若激活域大于0.9的连通域落在相应的人机不同步类型的特征区域内，则判定为该类人机不同步，否则判为其他类型。
本发明是一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法。实施例中对周期过长、周期过短、双触发和无效吸气努力四种人机不同步类型进行检测、识别并做可视化分析，但本发明不限于上述类型人机不同步的检测，对其他类型人机不同步的识别和分析具有普遍适用性。
本发明提出的人机不同步识别方法可在只训练一个网络模型的条件下，基于多任务学习的方式，训练出较高检测精度的模型，一次前向计算即可同时输出识别的多种人机不同步类型，避免了后期需要集成多个二分类网络来完成多任务识别的要求，极大程度缩短了网络在检测阶段耗费的时间。同时，在网络结构中引入全局平均池化，不但减少了模型的参数量，而且通过可视化类激活图分析分类结果，增强了方法的可解释性。当多个分类头同时获得识别类型时，利用类激活图结合相应的人机不同步区域特征的限定规则可对识别结果进行修正，可降低模型的假阳性率，进一步提升了模型识别精度。
在上述实施例中，仅对本发明进行示范性描述，但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。
Claims (9)
1.一种基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于，该方法包括：
用于人机不同步类型识别的深度学习模型训练和多种人机不同步类型的类激活图特征区域限定规则获取步骤：
采集标记的包含多种人机不同步类型和非人机不同步的呼吸信号，所述呼吸信号由一路流速和一路压力数据组成。对每个呼吸信号先进行数据标准化，再通过重采样，将数据集中的所有样本处理成等长的序列；
根据采集的数据所属的类别，构建多组训练标签，以呼吸信号为输入、类别为输出，采用多任务学习的方式训练获得用于人机不同步类型识别的深度学习模型；
通过类激活映射的方式，获得训练好的深度学习模型对每个样本输出结果的可视化解释；同时根据所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则。所述特征区域的限定规则为类激活图激活域的阈值。
根据训练好的深度学习模型和特征区域的限定规则进行人机不同步类型识别步骤：
将原始呼吸信号经过预处理后，输入已训练的深度学习模型里，即可获得当前呼吸信号的人机不同步识别结果；同时通过类激活映射的方式，获得识别结果中识别类型的类激活图；若识别类型的类激活图的激活域满足特征区域的限定规则，则判为相应的人机不同步类型，否则，判为其他类型。
2.根据权利要求1所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：以欠采样的方式，通过随机抽取与人机不同步样本数量相当的非人机不同步样本，对数据集进行样本均衡；所有样本进行z-score标准化处理：
其中，xi是每个独立样本中第i个采样点的信号幅值，L是每个独立样本的信号长度，μ和σ分别是每个独立样本的信号幅值的均值和标准差。
3.根据权利要求2所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：每个样本的数据重采样到300长度，使所有样本序列等长。
4.根据权利要求1所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：所述多任务学习通过参数硬共享的方式，将不同任务的特征提取能力都固化在一个深度学习模型结构中，所述深度学习模型结构包括多层一维卷积神经网络、特征融合层、全局平均池化层和多个分类头；一维卷积神经网络为双通道并行结构，分别用于提取压力和流速波形特征，最后再采用特征融合层Add将两路特征信息相加经全局平均池化层后利用多个分类头进行分类。
5.根据权利要求1所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：所述一维卷积神经网络包含一维卷积层、批归一化层和一维最大池化层。
6.根据权利要求1所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：所述深度学习模型训练的结束条件为所述深度学习模型的损失函数收敛或所述深度学习模型的迭代次数达到预设迭代次数。
7.根据权利要求1所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：所述训练标签采用独热编码进行构建。
8.根据权利要求1所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：通过类激活映射的方式，获得训练好的深度学习模型对每个样本输出结果的可视化解释，具体为：
a、将样本在深度学习模型最后一层卷积层输出的特征图经过特征融合层Add后，把两路卷积后提取的特征图以相加的方式合并：
其中
代表压力数据在时间t上被最后一层卷积层滤波单元k所激活的特征图，
代表流速数据在时间t上被滤波单元k所激活的特征图；
b、经过全局平均池化操作，特征融合层Add输出的特征维度会被缩减至1：
Fk＝∑tfk(t)
其中，Fk代表全局平均池化层的输出，t代表时间维度，k代表滤波单元；
c、对于某一特定类别c，分类头h首先计算该类别在分类结果输出之前的输入Sc；
其中，
表示最后一层一维卷积神经网络中每个滤波单元k对应的特征图的权重，即每个滤波单元k对应的特征图经过全局平均池化后的输出，对分类头h将其判为类别c所做出的贡献程度；
其中，
代表了对于分类头h输出类别c对应的类激活图，直接表示了卷积后的特征被滤波单元k激活后导致分类头h将输入呼吸信号判别为类别c的重要程度。
d、将类激活图上采样到原始输入呼吸信号的维度，再以热力图的方式映射到原始呼吸数据上，得到深度学习模型在分类决策过程中的可视化解释。
9.根据权利要求8所述的基于多任务学习和类激活图反馈的人机不同步识别方法，其特征在于：所述根据所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则，具体为：
将每个样本的类激活图的激活域做最大最小归一化，即
其中，X是类激活图的激活域，Xmin是激活域中的最小值，Xmax是激活域中的最大值，Xnorm是归一化后的激活域。
设定调整阈值N，直至所有样本的类激活图激活域中连续大于N的连通域最接近对应样本类激活图的标准特征区域，获得的阈值N即为特征区域的限定规则。所述标准特征区域由专业人员标注获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110651445.6A CN113313045A (zh) | 2021-06-11 | 2021-06-11 | 基于多任务学习和类激活图反馈的人机不同步识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110651445.6A CN113313045A (zh) | 2021-06-11 | 2021-06-11 | 基于多任务学习和类激活图反馈的人机不同步识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313045A true CN113313045A (zh) | 2021-08-27 |
Family
ID=77378572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110651445.6A Pending CN113313045A (zh) | 2021-06-11 | 2021-06-11 | 基于多任务学习和类激活图反馈的人机不同步识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313045A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113730755A (zh) * | 2021-09-23 | 2021-12-03 | 深圳先进技术研究院 | 一种基于注意力机制的机械通气人机异步检测识别方法 |
| CN113868941A (zh) * | 2021-09-02 | 2021-12-31 | 深圳先进技术研究院 | 基于dqn增强学习的通气人机异步检测模型训练方法及装置 |
| CN113951868A (zh) * | 2021-10-29 | 2022-01-21 | 北京富通东方科技有限公司 | 机械通气患者人机不同步检测方法及装置 |
| CN114489321A (zh) * | 2021-12-13 | 2022-05-13 | 重庆邮电大学 | 基于多任务深度学习的稳态视觉诱发电位目标识别方法 |
| CN114743251A (zh) * | 2022-05-23 | 2022-07-12 | 西北大学 | 一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法 |
| CN115406852A (zh) * | 2021-12-28 | 2022-11-29 | 中山小池科技有限公司 | 基于多标签卷积神经网络的织物纤维成分定性方法 |
| WO2023060478A1 (zh) * | 2021-10-13 | 2023-04-20 | 中国科学院深圳先进技术研究院 | 一种人机不同步识别方法、系统、终端以及存储介质 |
| CN117233723A (zh) * | 2023-11-14 | 2023-12-15 | 中国电子科技集团公司第二十九研究所 | 一种基于cnn类激活图的雷达跟踪包络提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560919A (zh) * | 2020-12-07 | 2021-03-26 | 杭州智瑞思科技有限公司 | 基于一维可解释卷积神经网络的人机不同步识别方法 |
| CN112819093A (zh) * | 2021-02-24 | 2021-05-18 | 浙江工业大学 | 基于小数据集与卷积神经网络的人机不同步识别方法 |
-
2021
- 2021-06-11 CN CN202110651445.6A patent/CN113313045A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560919A (zh) * | 2020-12-07 | 2021-03-26 | 杭州智瑞思科技有限公司 | 基于一维可解释卷积神经网络的人机不同步识别方法 |
| CN112819093A (zh) * | 2021-02-24 | 2021-05-18 | 浙江工业大学 | 基于小数据集与卷积神经网络的人机不同步识别方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113868941A (zh) * | 2021-09-02 | 2021-12-31 | 深圳先进技术研究院 | 基于dqn增强学习的通气人机异步检测模型训练方法及装置 |
| CN113730755A (zh) * | 2021-09-23 | 2021-12-03 | 深圳先进技术研究院 | 一种基于注意力机制的机械通气人机异步检测识别方法 |
| CN113730755B (zh) * | 2021-09-23 | 2023-09-05 | 深圳先进技术研究院 | 一种基于注意力机制的机械通气人机异步检测识别方法 |
| WO2023060478A1 (zh) * | 2021-10-13 | 2023-04-20 | 中国科学院深圳先进技术研究院 | 一种人机不同步识别方法、系统、终端以及存储介质 |
| CN113951868A (zh) * | 2021-10-29 | 2022-01-21 | 北京富通东方科技有限公司 | 机械通气患者人机不同步检测方法及装置 |
| CN113951868B (zh) * | 2021-10-29 | 2024-04-09 | 北京富通东方科技有限公司 | 机械通气患者人机不同步检测方法及装置 |
| CN114489321A (zh) * | 2021-12-13 | 2022-05-13 | 重庆邮电大学 | 基于多任务深度学习的稳态视觉诱发电位目标识别方法 |
| CN114489321B (zh) * | 2021-12-13 | 2024-04-09 | 广州大鱼创福科技有限公司 | 基于多任务深度学习的稳态视觉诱发电位目标识别方法 |
| CN115406852A (zh) * | 2021-12-28 | 2022-11-29 | 中山小池科技有限公司 | 基于多标签卷积神经网络的织物纤维成分定性方法 |
| CN114743251B (zh) * | 2022-05-23 | 2024-02-27 | 西北大学 | 一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法 |
| CN114743251A (zh) * | 2022-05-23 | 2022-07-12 | 西北大学 | 一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法 |
| CN117233723A (zh) * | 2023-11-14 | 2023-12-15 | 中国电子科技集团公司第二十九研究所 | 一种基于cnn类激活图的雷达跟踪包络提取方法 |
| CN117233723B (zh) * | 2023-11-14 | 2024-01-30 | 中国电子科技集团公司第二十九研究所 | 一种基于cnn类激活图的雷达跟踪包络提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113313045A (zh) | 基于多任务学习和类激活图反馈的人机不同步识别方法 | |
| CN106682616B (zh) | 基于双通道特征深度学习的新生儿疼痛表情识别方法 | |
| CN107273845B (zh) | 一种基于置信区域和多特征加权融合的人脸表情识别方法 | |
| CN112560919A (zh) | 基于一维可解释卷积神经网络的人机不同步识别方法 | |
| CN111160139A (zh) | 心电信号的处理方法、装置及终端设备 | |
| CN105739688A (zh) | 一种基于情感体系的人机交互方法、装置和交互系统 | |
| CN113724880A (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
| CN110147732A (zh) | 指静脉识别方法、装置、计算机设备及存储介质 | |
| CN106372622A (zh) | 一种人脸表情分类方法及装置 | |
| CN105005765A (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
| CN109543526A (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN113111968B (zh) | 图像识别模型训练方法、装置、电子设备和可读存储介质 | |
| CN112819093A (zh) | 基于小数据集与卷积神经网络的人机不同步识别方法 | |
| CN110197235B (zh) | 一种基于独特性注意力机制的人体活动识别方法 | |
| CN112257441B (zh) | 一种基于反事实生成的命名实体识别增强方法 | |
| CN113722474A (zh) | 文本分类方法、装置、设备及存储介质 | |
| Xu et al. | Intelligent emotion detection method based on deep learning in medical and health data | |
| CN110969073B (zh) | 一种基于特征融合与bp神经网络的人脸表情识别方法 | |
| CN105117707A (zh) | 一种基于区域图像的人脸表情识别方法 | |
| CN113128585B (zh) | 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法 | |
| CN109003677A (zh) | 病历数据结构化分析处理方法 | |
| CN116343284A (zh) | 基于注意力机制的多特征户外环境情绪识别方法 | |
| CN115937873A (zh) | 一种基于可辨识单字字符的在线笔迹验证系统及方法 | |
| CN110874576A (zh) | 一种基于典型相关分析融合特征的行人再识别方法 | |
| CN106529470A (zh) | 一种基于多级深度卷积神经网络的手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |