CN110349676B - 时序生理数据分类方法、装置、存储介质和处理器 - Google Patents

时序生理数据分类方法、装置、存储介质和处理器 Download PDF

Info

Publication number
CN110349676B
CN110349676B CN201910515452.6A CN201910515452A CN110349676B CN 110349676 B CN110349676 B CN 110349676B CN 201910515452 A CN201910515452 A CN 201910515452A CN 110349676 B CN110349676 B CN 110349676B
Authority
CN
China
Prior art keywords
data
model
deepphysionet
training
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910515452.6A
Other languages
English (en)
Other versions
CN110349676A (zh
Inventor
聂瑞华
李铮
席云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201910515452.6A priority Critical patent/CN110349676B/zh
Publication of CN110349676A publication Critical patent/CN110349676A/zh
Application granted granted Critical
Publication of CN110349676B publication Critical patent/CN110349676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种时序生理数据分类方法、装置、存储介质和处理器。其中方法包括：从数据库中提取多源体征数据，将数据分为训练数据和测试数据并进行预处理；构建深度学习模型DeepPhysioNet，该模型采用编码器‑解码器的神经网络架构，编码器是由基础的特征学习单元、序列残差单元以及表示学习单元组成，能进行强力特征抽取，而解码器利用提取的特征，针对不同目标的分类任务计算分类结果；离线训练阶段，将训练数据输入到模型中进行初步训练，通过测试数据对初步训练完成的模型进行测试，不断重复直至符合预设条件；在线推断阶段将待检测的数据输入到训练好的DeepPhysioNet模型，输出分类结果。本发明具有避免专家偏向、适用于多源时序生理数据、引入注意力机制的优点。

Description

时序生理数据分类方法、装置、存储介质和处理器
技术领域
本发明涉及数据处理领域，特别涉及一种基于深度学习的时序生理数据分类方法、装置、存储介质和处理器。
背景技术
虽然深度学习技术已经广泛应用在各种智慧医疗的场景中，但是基于时间维度产生的海量时序生理信号数据的挖掘尚处于起步阶段。主要表现在时序生理体征数据存在超长时序依赖，采集设备差异导致的数据量纲不统一，以及通用骨干网络模型的瓶颈。
针对时序生理数据分析在疾病预测方面的分析，医师决策过程是从给定数据中圈出异常部分，睡眠呼吸暂停疾病中的“心电信号突然密集”。目前的研究大多数都将此问题转化为固定时间窗口下的分类问题。如图1(a)所示，在载入原始数据后，将原始数据划分为固定窗口模式，根据切分后的数据进行建模，得到每种类别的概率。具体的，如图1(b)所示，通过固定窗口下的数据切分后，交给分类器去建模，得到每个窗口的分类概率，对应当前窗口下不同疾病的概率。最终通过统计病人的全集合表现，例如睡眠呼吸暂停计算AHI指标来衡量该病人的是否患病极其轻重程度。
现有技术中，对时序生理信号进行处理的方法如图2所示，包含传统特征工程建模与简单的深度学习模型。这类装置的缺点是：
1.通用性较差。针对不同数据集或不同细分任务，即使都属于监督学习中的分类问题，仍需要重新进行特征工程步骤。特征工程不仅耗时，且对不同细分任务都需要较强的领域知识。
2.特征工程与特征选择步骤必不可少。模型决策时起决定作用的是少数重要特征，所以特征选择步骤也是非常重要的一环。
3.泛化能力较弱。此类方法在大数据集任务上通常表现较差，因为手动特征工程一类特征刻画一部分数据分布，很难刻画大数据中的全部内在模式。
因此，需要提供随着数据量的增大，不仅可减少对领域先验知识的要求，模型效果与泛化能力也会相应增强的时序生理数据分类方法、装置。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种时序生理数据分类方法、装置，其具有避免专家偏向、适用于多源时序生理数据、引入注意力机制的优点。
本发明的另一个目的在于提供一种存储介质，其上存储有计算机程序，该程序运行时执行所述时序生理数据分类方法。
本发明的另一个目的在于提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述时序生理数据分类方法。
本发明的目的通过以下的技术方案实现：时序生理数据分类方法，包括步骤：
(1)从数据库中提取出多源体征数据，将数据分为训练数据和测试数据，并进行数据的预处理；
(2)构建深度学习模型DeepPhysioNet，所述DeepPhysioNet模型采用编码器-解码器(Encoder-Decoder)的神经网络架构，编码器的首部是由卷积神经网络构成的基础的特征学习单元，然后通过跳字连接构成序列残差单元(Sequence Residual Block，SRB)以加深网络及避免网络出现梯度退化的问题，最后由表示学习单元(Represent Learning)引入注意力机制，解码器自动对时序生理数据进行强力的特征抽取，而解码器利用提取到的特征，针对不同目标的分类任务计算分类结果；
(3)离线训练阶段，以步骤(1)中的训练数据作为输入，输入到DeepPhysionet模型中进行初步训练，再通过步骤(1)中的测试数据对初步训练完成的模型进行测试，不断重复此过程直至模型符合预设条件为止；
(4)在线推断阶段，将待检测的数据输入到所述DeepPhysioNet模型，输出分类结果。
优选的，对数据库中的数据进行预处理，首先使用标准差标准化的方法进行归一化，然后通过整数分解进行降采样，把不同采样频率的数据规整到固定尺度。
优选的，步骤(2)中，DeepPhysioNet模型中基础的特征学习单元包括五层卷积神经网络，其中每层卷积神经网络由两个卷积核大小为3的卷积层、一个线性整流单元和一个最大池化层组成。
优选的，步骤(2)中，DeepPhysioNet模型的序列残差单元由多个序列残差子单元堆叠而成，每个序列残差子单元由两个卷积层堆叠一个线性整流单元组成，通过加入跳字连接(skip connection)用于加深网络，同时避免网络出现梯度退化问题。
优选的，步骤(2)中，DeepPhysioNet模型的表示学习单元由多头注意力机制(Multi-head Attention)层与前馈神经网络(Feed-Forward Network，FFN)组成，所述多头注意力机制层与前馈神经网络都由一个残差连接链路(Residual Connection)连接着归一化层(Layer Norm)。此结构能够将模型的注意力集中于对模型输出结果有贡献的部分，而将数据中冗余部分的权重降低。
优选的，步骤(2)中，DeepPhysioNet模型中的解码器由m个目标任务Softmax函数层拼接组成，根据数据集的目标任务数量变化，用于处理多目标任务与单目标任务的数据。
更进一步的，当待处理的数据为单目标多类型的任务时，DeepPhysioNet模型的损失函数如下式所示：
Figure BDA0002094887290000031
其中i∈m，表示多任务的数量；x是输入样本，y是标签，N表示样本数量，n∈N；
当待处理的数据为多目标任务，损失函数为多个目标任务的加权损失函数，公式如下：
Lsum＝w1l1+w2l2+...wili
其中，ω1、ω2、ωi表示各目标任务的权重，l1、l2、li表示各目标任务的损失函数。
时序生理数据分类装置，包括：
原始数据获取及预处理模块，用于从数据库中提取出多源体征数据，将数据分为训练数据和测试数据，并进行数据的预处理；
模型构建模块，用于构建深度学习模型DeepPhysioNet，所述DeepPhysioNet模型采用编码器-解码器的神经网络架构，编码器的首部是由卷积神经网络构成的基础的特征学习单元，然后通过跳字连接构成序列残差单元以加深网络及避免网络出现梯度退化的问题，最后由表示学习单元引入注意力机制，解码器自动对时序生理数据进行强力的特征抽取，而解码器利用提取到的特征，针对不同目标的分类任务计算分类结果；
离线训练模块，用于以训练数据作为输入，输入到DeepPhysionet模型中进行初步训练，再通过测试数据对初步训练完成的模型进行测试，不断重复此过程直至模型符合预设条件为止；
在线推断模块，用于将待检测的数据输入到所述DeepPhysioNet模型，输出分类结果。
优选的，所述原始数据获取及预处理模块中对数据进行预处理，方法是：首先使用标准差标准化的方法进行归一化，然后通过整数分解进行降采样，把不同采样频率的数据规整到固定尺度。
优选的，DeepPhysioNet模型的序列残差单元由多个序列残差子单元堆叠而成，每个序列残差子单元由两个卷积层堆叠一个线性整流单元组成，通过加入跳字连接用于加深网络，同时避免网络出现梯度退化问题。
优选的，DeepPhysioNet模型的表示学习单元由多头注意力机制层与前馈神经网络组成，所述多头注意力机制层与前馈神经网络都由一个残差连接链路连接着归一化层。
优选的，DeepPhysioNet模型中的解码器由m个目标任务Softmax函数层拼接组成，当待处理的数据为单目标多类型的任务时，DeepPhysioNet模型的损失函数如下式所示：
Figure BDA0002094887290000041
其中i∈m，表示多任务的数量；x是输入样本，y是标签，N表示样本数量，n∈N；
当待处理的数据为多目标任务，损失函数为多个目标任务的加权损失函数，公式如下：
Lsum＝w1l1+w2l2+...wili
其中，ω1、ω2、ωi表示各目标任务的权重，l1、l2、li表示各目标任务的损失函数。
本发明与现有技术相比，具有如下优点和有益效果：
1.本发明针对时序生理数据的特性与医师观测决策的方式，用深度学习方法构建了一个端到端的面向时序生理数据领域的分类问题的模型。通过多头注意力机制建模不同空间下的注意力策略，引入残差学习的思想将卷积神经网络模型堆叠的更深，使模型具备更广阔的感受野大小。并且深度学习模型能够自动抽取交叉体征数据间的模式。
2.本发明采用原始体征数据直接建模的方式，避免了人工特征工程介入造成的专家偏向与信息损失。且通过卷积操作编码的方式，抓取交叉特征范式，解决了传统方式特征工程时多源体征数据间的交叉特征难以表示转化的问题。
3.此外医师在观测体征信号数据的时候，对不同数据片段有不同程度的注意力。本发明引入自注意力机制来让模型编码学习“倾向性”。注意力机制不仅可以直接抽取任意长度的时序依赖关系，还能让模型习得“偏好”。
4.本发明采用多头注意力机制构成的Transformer结构进行注意力建模及语义表示特征构建，多头注意力机制学习到多个空间中的注意力表示，多头注意力的并行计算也使得模型能够高效运算。
附图说明
图1(a)是现有技术中时序生理数据建模的流程图。
图1(b)是现有技术中时序生理数据建模的示例图。
图2是现有技术中建立分类器的方法。
图3是本发明方法中时序生理数据分类方法的流程框架。
图4是本发明方法数据预处理流程示意图。
图5是本发明方法中DeepPhysionet模型的结构图。
图6是现有技术中的Transformer结构图。
图7是本发明中多头注意力机制示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
如图3-7所示，本实施例提供一种时序生理数据分类方法，该方法基于深度学习，可实现端到端的决策输出，主要包括数据预处理、模型的构建、离线训练和在线决策四个阶段。
一、数据预处理
参见图4，在进行模型训练之前，从原始医疗数据库中提取出多源体征数据与相应标注，然后对数据进行数据预处理。数据预处理的第一步为数据归一化，由于时序生理数据采集自不同器官，且采集设备不同，会导致原始数据中信噪比不同。例如非接触式设备采集的数据，会因为患者体态(侧身与正身)的差异，导致采集到的信号幅值波动较大。同样一种病症模式，存在多种幅值尺度下的不同表现形式。本实施例所述归一化方法可采用标准差标准化。
不同类型设备采集到的时序生理数据通常拥有不同大小的采样率，为了能够统一建模，此类数据通常需要降采样操作，把不同采样频率的数据规整到固定尺度，如把不同采样频率的数据降采样至50赫兹。本实施例所述降采样可采用整数分解等方法实现。
为了便于后面模型的训练，此处预处理的数据可分为训练数据和测试数据。
二、模型构建
对于传统机器学习模型，需要先经过特征提取再分类的流程，本发明构建的深度学习模型DeepPhysioNet，可自动实现特征提取和分类，避免了手工特征提取带来的弊端，如图5所示。本发明针对端到端的深度学习模型，只需将预处理后的训练数据与测试数据分别输入深度学习模型DeepPhysioNet，在GPU设备上进行模型参数离线更新、调优，即可得到训练完成的模型。
本发明的核心创新点在于构建了深度学习模型DeepPhysioNet，结构如图5所示，本质上属于编码器-解码器结构，不同于其他编码器-解码器模型的是DeepPhysiNet模型的解码器根据数据集的目标类型任务数量变化，此设计保障模型可以处理单目标多类型任务与多目标多类型任务的数据。编码器由基础的特征学习单元、序列残差单元与表示学习单元三部分组成。
DeepPhysioNet模型的基础的特征学习单元包括五层卷积神经网络，其中每层卷积神经网络由两个卷积核大小为3的卷积层、一个线性整流单元和一个最大池化层组成。用来对多源的时序生理数据进行初步的特征学习，该结构能够比卷积核大小为5的模型在保证模型足够感受野的前提下，减少模型学习的参数量，从而降低模型的复杂度，使模型更适用于超长时序的生理数据，提高模型的性能。
DeepPhysioNet模型的序列残差单元由多个序列残差子单元堆叠而成，每个序列残差子单元由两个卷积层堆叠一个线性整流单元组成，为了更好的加深网络，一般通过加入跳字连接减缓梯度消失、梯度弥散问题，从而可以让模型堆叠的更深，增加其非线性拟合能力。单独的Transformer结构属于浅层宽模型(shadow)，本发明通过加入序列残差单元，将深层模型(deep)与浅层宽模型结合，实现粗粒度与细粒度并进的模型结构。其中VSRB为该结构学习到的隐层向量。
DeepPhysioNet模型的表示学习单元如图5右半部分所示，由多头注意力机制(Multi-head Attention)层与前馈神经网络(Feed-Forward Network，FFN)组成。两部分都由一个残差连接链路(Residual Connection)接着归一化层(Layer Norm)。值得注意的是，本发明去除了原始Transformer结构中的位置编码部分(Position Encoding)，因为时序体征数据数值上的微小波动都会引起表示模式上的变化。其中Vrepresent为该模块抽取到的特征表示。表示学习单元的细节参见图6所示的现有技术中的Transformer结构，本发明在Transformer结构的基础上，该模型将序列残差单元与上层基础特征抽取的不同“视角”信息融入到缩放自注意力机制中，进行时序生理数据的有效语义表征，从而能从超长时序依赖中学到特征。多头注意力机制能够从不同的角度关注时序生理数据中不同片段的信息，如图7所示，头1代表该机制集中关注心电信号的中部，而头2代表该机制集中关注心电信号的前半部分，
DeepPhysioNet模型中的解码器(Specific Decoder)由m个任务类型的Softmax函数层拼接组成，如图5右上角所示，当待处理的数据为单目标多类型任务(例如：判断心拍类型)时，DeepPhysioNet模型的损失函数如下公式所示：
Figure BDA0002094887290000071
其中i∈m，表示多类型任务(如m个心拍类型)的数量；
当待处理的数据为多目标任务时(如心拍类型与睡眠呼吸暂停等不同的目标任务)，损失函数为多个目标任务的加权损失函数，公式如下：
Lsum＝w1l1+w2l2+...wili
其中，ω1、ω2、ωi表示各目标任务的权重，l1、l2、li表示各目标任务的损失函数。
本发明采用离线训练、在线预测的形式进行模型应用。
三、离线训练
通过训练数据作为输入，输入到DeepPhysionet模型中进行初步训练，再通过测试数据对初步训练完成的DeepPhysioNet模型进行测试，不断重复此过程直至符合预设条件后，完成DeepPhysioNet模型的训练。
四、在线决策
加载预训练后的DeepPhysioNet模型，对新数据进行预处理或特征变换后得到预测集合上的结果，并对新数据进行落表与评估模型在新数据上的表现。相较于现有技术在在线推断时需要特征提取的步骤，本发明只需要将数据输入到DeepPhysioNet模型即可实现在线决策，通过模型对未知标签的数据进行推理预测，得到模型的辅助诊疗结果，从而为医师诊断提供参照，大大减少了医师工作量的同时也在一定程度上提高了医师诊断准确率。
本发明利用深度学习技术进行端到端的时序生理数据分类，采用固定时间窗口分类方案，将时序医师决策时圈出患病区域数据，这种过程转化为标准的机器学习分类问题，从而便捷高效的进行时序生理数据建模，辅助医师决策，不仅能够减少医师的工作量，还能提高医师的诊断准确程度。
实施例2
对应于实施例1所详细说明的时序生理数据分类方法，本实施例提供一种时序生理数据分类装置，包括：
原始数据获取及预处理模块，用于从数据库中提取出多源体征数据，将数据分为训练数据和测试数据，并进行数据的预处理；
模型构建模块，用于构建深度学习模型DeepPhysioNet，所述DeepPhysioNet模型采用编码器-解码器的神经网络架构，编码器的首部是由卷积神经网络构成的基础的特征学习单元，然后通过跳字连接构成序列残差单元以加深网络及避免网络出现梯度退化的问题，最后由表示学习单元引入注意力机制，解码器自动对时序生理数据进行强力的特征抽取，而解码器利用提取到的特征，针对不同目标的分类任务计算分类结果；
离线训练模块，用于以训练数据作为输入，输入到DeepPhysionet模型中进行初步训练，再通过测试数据对初步训练完成的模型进行测试，不断重复此过程直至模型符合预设条件为止；
在线推断模块，用于将待检测的数据输入到所述DeepPhysioNet模型，输出分类结果。
本实施例中，原始数据获取及预处理模块中对数据进行预处理，使用标准差标准化的方法进行归一化，然后通过整数分解进行降采样，把不同采样频率的数据规整到固定尺度。
本实施例中，DeepPhysioNet模型的序列残差单元由多个序列残差子单元堆叠而成，每个序列残差子单元由两个卷积层堆叠一个线性整流单元组成，通过加入跳字连接用于加深网络，同时避免网络出现梯度退化问题。
本实施例中，DeepPhysioNet模型的表示学习单元由多头注意力机制层与前馈神经网络组成，所述多头注意力机制层与前馈神经网络都由一个残差连接链路连接着归一化层。
本实施例中，DeepPhysioNet模型中的解码器由m个目标任务Softmax函数层拼接组成，当待处理的数据为单目标多类型的任务时，DeepPhysioNet模型的损失函数如下式所示：
Figure BDA0002094887290000091
其中i∈m，表示多任务的数量；
当待处理的数据为多目标任务，损失函数为多个目标任务的加权损失函数，公式如下：
Lsum＝w1l1+w2l2+...wili
其中，ω1、ω2、ωi表示各目标任务的权重，l1、l2、li表示各目标任务的损失函数。
实施例3
本实施例提供一种存储介质，其上存储有计算机程序，该程序运行时执行实施例1所述时序生理数据分类方法。
实施例4
本实施例提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行实施例1所述时序生理数据分类方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种时序生理数据分类方法，其特征在于，包括步骤：
(1)从数据库中提取出多源体征数据，将数据分为训练数据和测试数据，并进行数据的预处理；
(2)构建深度学习模型DeepPhysioNet，所述DeepPhysioNet模型采用编码器-解码器的神经网络架构，编码器的首部是由卷积神经网络构成的基础的特征学习单元，然后通过跳字连接构成序列残差单元以加深网络及避免网络出现梯度退化的问题，最后由表示学习单元引入注意力机制，解码器自动对时序生理数据进行强力的特征抽取，而解码器利用提取到的特征，针对不同目标的分类任务计算分类结果；
DeepPhysioNet模型中基础的特征学习单元包括五层卷积神经网络，其中每层卷积神经网络由两个卷积核大小为3的卷积层、一个线性整流单元和一个最大池化层组成；
DeepPhysioNet模型的序列残差单元由多个序列残差子单元堆叠而成，每个序列残差子单元由两个卷积层堆叠一个线性整流单元组成，通过加入跳字连接用于加深网络；
DeepPhysioNet模型的表示学习单元由多头注意力机制层与前馈神经网络组成，所述多头注意力机制层与前馈神经网络都由一个残差连接链路连接着归一化层；
(3)离线训练阶段，以步骤(1)中的训练数据作为输入，输入到DeepPhysionet模型中进行初步训练，再通过步骤(1)中的测试数据对初步训练完成的模型进行测试，不断重复此过程直至模型符合预设条件为止；
(4)在线推断阶段，将待检测的数据输入到所述DeepPhysioNet模型，输出分类结果。
2.根据权利要求1所述的时序生理数据分类方法，其特征在于，对数据库中的数据进行预处理，首先使用标准差标准化的方法进行归一化，然后通过整数分解进行降采样，把不同采样频率的数据规整到固定尺度。
3.根据权利要求1所述的时序生理数据分类方法，其特征在于，步骤(2)中，DeepPhysioNet模型中的解码器由m个任务类型的Softmax函数层拼接组成，当待处理的数据为单目标多类型的任务时，DeepPhysioNet模型的损失函数如下式所示：
Figure FDA0003225980860000021
其中i∈m，表示多类型任务的数量；x是输入样本，y是标签，N表示样本数量，n∈N；
当待处理的数据为多目标任务时，损失函数为多个目标任务的加权损失函数，公式如下：
Lsum＝w1l1+w2l2+...wili
其中，ω1、ω2、ωi表示各目标任务的权重，l1、l2、li表示各目标任务的损失函数。
4.一种时序生理数据分类装置，其特征在于，包括：
原始数据获取及预处理模块，用于从数据库中提取出多源体征数据，将数据分为训练数据和测试数据，并进行数据的预处理；
模型构建模块，用于构建深度学习模型DeepPhysioNet，所述DeepPhysioNet模型采用编码器-解码器的神经网络架构，编码器的首部是由卷积神经网络构成的基础的特征学习单元，然后通过跳字连接构成序列残差单元以加深网络及避免网络出现梯度退化的问题，最后由表示学习单元引入注意力机制，解码器自动对时序生理数据进行强力的特征抽取，而解码器利用提取到的特征，针对不同目标的分类任务计算分类结果；
DeepPhysioNet模型中基础的特征学习单元包括五层卷积神经网络，其中每层卷积神经网络由两个卷积核大小为3的卷积层、一个线性整流单元和一个最大池化层组成；
DeepPhysioNet模型的序列残差单元由多个序列残差子单元堆叠而成，每个序列残差子单元由两个卷积层堆叠一个线性整流单元组成，通过加入跳字连接用于加深网络；
DeepPhysioNet模型的表示学习单元由多头注意力机制层与前馈神经网络组成，所述多头注意力机制层与前馈神经网络都由一个残差连接链路连接着归一化层；
离线训练模块，用于以训练数据作为输入，输入到DeepPhysionet模型中进行初步训练，再通过测试数据对初步训练完成的模型进行测试，不断重复此过程直至模型符合预设条件为止；
在线推断模块，用于将待检测的数据输入到所述DeepPhysioNet模型，输出分类结果。
5.根据权利要求4所述的时序生理数据分类装置，其特征在于，所述原始数据获取及预处理模块中对数据进行预处理，方法是：首先使用标准差标准化的方法进行归一化，然后通过整数分解进行降采样，把不同采样频率的数据规整到固定尺度；
DeepPhysioNet模型的序列残差单元由多个序列残差子单元堆叠而成，每个序列残差子单元由两个卷积层堆叠一个线性整流单元组成，通过加入跳字连接用于加深网络，同时避免网络出现梯度退化问题；
DeepPhysioNet模型的表示学习单元由多头注意力机制层与前馈神经网络组成，所述多头注意力机制层与前馈神经网络都由一个残差连接链路连接着归一化层。
6.一种存储介质，其上存储有计算机程序，其特征在于，该程序运行时执行如权利要求1-3任一项所述的时序生理数据分类方法。
7.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1-3任一项所述的时序生理数据分类方法。
CN201910515452.6A 2019-06-14 2019-06-14 时序生理数据分类方法、装置、存储介质和处理器 Active CN110349676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910515452.6A CN110349676B (zh) 2019-06-14 2019-06-14 时序生理数据分类方法、装置、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910515452.6A CN110349676B (zh) 2019-06-14 2019-06-14 时序生理数据分类方法、装置、存储介质和处理器

Publications (2)

Publication Number Publication Date
CN110349676A CN110349676A (zh) 2019-10-18
CN110349676B true CN110349676B (zh) 2021-10-29

Family

ID=68182089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910515452.6A Active CN110349676B (zh) 2019-06-14 2019-06-14 时序生理数据分类方法、装置、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN110349676B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110811558B (zh) * 2019-11-18 2022-07-05 郑州大学 基于深度学习的睡眠觉醒分析方法
CN111291673A (zh) * 2020-02-04 2020-06-16 贵州省人民医院 一种预测时序信号分类的方法、装置、服务器及存储介质
CN111461225B (zh) * 2020-04-01 2022-04-01 支付宝(杭州)信息技术有限公司 客户聚类系统及其方法
CN111696660B (zh) * 2020-05-13 2023-07-25 平安科技（深圳）有限公司 基于人工智能的患者分群方法、装置、设备及存储介质
CN112288075B (zh) * 2020-09-29 2024-02-02 华为技术有限公司 一种数据处理方法及相关设备
CN112380098B (zh) * 2020-11-19 2024-03-19 平安科技（深圳）有限公司 一种时序异常检测方法、装置、计算机设备及存储介质
CN113129122A (zh) * 2021-04-30 2021-07-16 国家电网有限公司 财务风险预警审计方法、装置、电子设备、及存储介质
CN113033710A (zh) * 2021-05-19 2021-06-25 广东众聚人工智能科技有限公司 一种时间序列分类方法、装置及计算机设备
CN113034500A (zh) * 2021-05-25 2021-06-25 紫东信息科技(苏州)有限公司 基于多通道结构的消化道内窥镜图片病灶识别系统
CN113313177A (zh) * 2021-06-03 2021-08-27 紫东信息科技(苏州)有限公司 消化道内窥镜图片多标签分类系统
WO2023091468A1 (en) * 2021-11-17 2023-05-25 Oracle International Corporation Path dropout for natural language processing
CN114129138B (zh) * 2021-12-29 2023-09-22 北京工业大学 一种基于时序多尺度混合注意力模型的自动睡眠分期方法
CN114566295A (zh) * 2022-03-04 2022-05-31 康键信息技术（深圳）有限公司 线上问诊方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106963369A (zh) * 2017-03-27 2017-07-21 广州视源电子科技股份有限公司 一种基于神经网络模型的脑电放松度识别方法及装置
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN109446187A (zh) * 2018-10-16 2019-03-08 浙江大学 基于注意力机制与神经网络的复杂装备健康状态监测方法
CN109492232A (zh) * 2018-10-22 2019-03-19 内蒙古工业大学 一种基于Transformer的增强语义特征信息的蒙汉机器翻译方法
CN109543901A (zh) * 2018-11-20 2019-03-29 国网辽宁省电力有限公司经济技术研究院 基于信息融合卷积神经网络模型的短期电力负荷预测方法
CN109805898A (zh) * 2019-03-22 2019-05-28 中国科学院重庆绿色智能技术研究院 基于注意力机制时序卷积网络算法的危重症死亡预测方法
CN109846477A (zh) * 2019-01-29 2019-06-07 北京工业大学 一种基于频带注意力残差网络的脑电分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839790B2 (en) * 2017-02-06 2020-11-17 Facebook, Inc. Sequence-to-sequence convolutional architecture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106963369A (zh) * 2017-03-27 2017-07-21 广州视源电子科技股份有限公司 一种基于神经网络模型的脑电放松度识别方法及装置
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN109446187A (zh) * 2018-10-16 2019-03-08 浙江大学 基于注意力机制与神经网络的复杂装备健康状态监测方法
CN109492232A (zh) * 2018-10-22 2019-03-19 内蒙古工业大学 一种基于Transformer的增强语义特征信息的蒙汉机器翻译方法
CN109543901A (zh) * 2018-11-20 2019-03-29 国网辽宁省电力有限公司经济技术研究院 基于信息融合卷积神经网络模型的短期电力负荷预测方法
CN109846477A (zh) * 2019-01-29 2019-06-07 北京工业大学 一种基于频带注意力残差网络的脑电分类方法
CN109805898A (zh) * 2019-03-22 2019-05-28 中国科学院重庆绿色智能技术研究院 基于注意力机制时序卷积网络算法的危重症死亡预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DILATED RESIDUAL NETWORK WITH MULTI-HEAD SELF-ATTENTION;Runnan Li；Zhiyong Wu 等;《IEEE》;20190517;全文 *
基于残差修正的灰色神经网络;孙金岭，庞娟;《吉林大学学报（理学版）》;20151130;全文 *
基于残差神经网络的视频内容快速检索系统研究;李瞳 等;《吉林大学学报（信息科学版）》;20180731;全文 *

Also Published As

Publication number Publication date
CN110349676A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110349676B (zh) 时序生理数据分类方法、装置、存储介质和处理器
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
Shiri et al. A comprehensive overview and comparative analysis on deep learning models: CNN, RNN, LSTM, GRU
CN111178288B (zh) 基于局部误差逐层训练的人体姿态识别方法和装置
CN112732921B (zh) 一种虚假用户评论检测方法及系统
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN116662552A (zh) 金融文本数据分类方法、装置、终端设备及介质
CN113705715B (zh) 一种基于lstm和多尺度fcn的时间序列分类方法
Ding et al. A convolutional transformer architecture for remaining useful life estimation
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
Zhou et al. Shoulder implant x-ray manufacturer classification: Exploring with vision transformer
CN114999628B (zh) 一种利用机器学习寻找退行性膝骨关节炎显著性特征方法
Sachnev An efficient classification scheme for ADHD problem based on Binary Coded Genetic Algorithm and McFIS
CN115588486A (zh) 一种基于Transformer的中医诊断生成装置及其应用
CN113705092B (zh) 基于机器学习的疾病预测方法及装置
CN112465054B (zh) 一种基于fcn的多变量时间序列数据分类方法
Sathya et al. OQCNN: optimal quantum convolutional neural network for classification of facial expression
CN107506461A (zh) 一种关于影视剧本的智能分析与风险评估的方法
Suresh et al. AI Based Automated Essay Grading System Using NLP
Reddy et al. Diabetes Prediction using Extreme Learning Machine: Application of Health Systems
Remzan et al. Advancing brain tumor classification accuracy through deep learning: harnessing radimagenet pre-trained convolutional neural networks, ensemble learning, and machine learning classifiers on MRI brain images
CN116226629B (zh) 一种基于特征贡献的多模型特征选择方法及系统
Salih et al. Data analysis using rough set theory and Q-learning algorithm
Perumal et al. A comprehensive overview and comparative analysis on deep learning models: CNN, RNN, LSTM, GRU

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant