CN109493933A - 一种基于注意力机制的不良心血管事件的预测装置 - Google Patents

Abstract

本发明公开了一种基于注意力机制的急性冠脉综合征不良心血管事件的预测方法，包括：(1)构建训练样本；(2)以双向长短时效记忆网络为基础，并根据患者静态特征‑动态特征关系，引入注意力机制对训练样本进行权重计算，构建预训练模型；(3)以训练样本和训练样本对应的真值标签，对预训练模型进行训练，得到不良心血管事件预测模型；(4)利用预测模型预测待测样本发生不良心血管事件的概率。本发明提供的预测方法可对急性冠脉综合征患者的缺血事件和出血事件发生概率进行预测，从而辅助医生制定合理的诊疗措施，支持临床决策，降低医疗开支。

Description

一种基于注意力机制的不良心血管事件的预测装置

技术领域

本发明属于数据处理领域，具体涉及一种基于注意力机制的急性冠脉综合征患者不良心血管事件的预测装置。

背景技术

急性冠脉综合征(Acute coronary syndrome,ACS)是一种发病急、影响广、死亡率和致残率极高的心血管疾病。主要不良心血管事件是急性冠脉综合征预后可预测性最有力的结局指标。因此，早期主要不良心血管事件的临床风险预测对及时精准治疗急性冠脉综合征十分重要。

ACS患者住院期间可能会发生诸如缺血、失血等主要不良心血管事件。临床上使用抗栓药物(包括抗血小板药物和抗凝药物)治疗可降低急性冠脉综合征患者发生主要不良心血管事件的概率。增强急性冠脉综合征抗栓力度可降低ACS患者的缺血事件发生率，却增加了患者出血的风险，而大出血事件往往会引发患者发生缺血事件，因此平衡好抗缺血作用和出血的风险，在临床上显得尤为重要。

现今已有的预测急性冠脉综合征患者临床风险的方法，比如全球急性冠脉综合事件注册(Global Registry of Acute Coronary Events,GRACE)和心肌梗死溶栓治疗(Thrombolysis in Myocardial Infarction,TIMI)，可用来估计ACS患者发生缺血事件的风险等级。这些工具已经在临床实践中得到应用，并在指导缺血性心脏病的护理和治疗方面取得了巨大的成就，仍然存在以下局限性，仅有少量特征作为风险因子，虽然简化了计算，方便其在临床环境中使用，然而这也导致了评分工具缺乏可概括性。除此之外，GRACE和TIMI评分均无法同时评估患者缺血事件和出血事件的风险等级。

随着医疗信息化的迅速发展，可基于电子健康记录构建机器学习模型，来预测ACS患者主要不良心血管事件发生概率。其中，注意力机制(Attention Mechanism,AM)是一种模拟人脑注意力机制的模型，基本原理就是在每次识别时，首先计算每个输入特征的权值，然后对特征进行加权求和。假如求出来的特征的权值较大，说明该特征对当前识别作出的贡献就越大。作为一个独立的框架，注意力机制还可以使用更加复杂的网络结构来改善其效果。

总的来说，注意力机制有以下两个优点：

⑴减小处理高维输入数据的计算负担，结构化地选取输入的子集，降低数据维度。

⑵更专注于找到输入数据中与当前输出显著相关的有用信息，从而提高输出的质量。

发明内容

本发明的目的是提供一种基于注意力机制的不良心血管事件的预测装置，本发明提供的预测装置可对急性冠脉综合征患者的缺血事件和出血事件发生概率进行预测，从而辅助医生制定合理的诊疗措施，支持临床决策，降低医疗开支。

为实现上述目的，本发明提供以下技术方案：

一种基于注意力机制的不良心血管事件的预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序：

所述计算机存储器中存有不良心血管事件结果预测模型，其包括；动态特征提取模块、注意力机制模块和分类模块；

所述计算机处理器执行所述计算机程序时实现以下步骤：

接收患者的动态特征和静态特征，动态特征提取模块以急性冠脉综合征患者的动态特征作为输入，得到输出集；

以患者的动态特征与其入院记录的静态特征结合起来作为注意力机制模块的输入，输出注意力权重值ω；并将输出集与注意力权重值ω点乘，输出结果γ；

以输出结果γ作为输入，分类模块输出不良心血管事件结果的预测概率，所述预测概率包括缺血事件发生的概率和出血时间发生的概率。

所述不良心血管事件结果预测模型的获得过程为：

(1)采集急性冠脉综合征患者的电子健康记录，所述电子健康记录包括患者的静态特征和动态特征，并对该电子健康记录进行预清洗，对样本是否发生缺血事件或者出血事件这两种不良心血管事件来进行标注，得到训练样本标签，构建训练样本；

(2)以双向长短时效记忆网络为基础，根据患者的静态特征-动态特征关系，引入注意力机制，构建预训练模型；

所述预训练模型的网络结构为：

双向长短时效记忆网络，以急性冠脉综合征患者的动态特征作为输入，得到输出集；

深度注意力网络，以患者的动态特征与其入院记录的静态特征结合起来作为深度注意力网络的输入，输出注意力权重值ω；再将双向长短时效记忆网络的输出集与注意力权重值ω点乘，输出结果γ；

分类器，将γ作为输入，输出分类结果；

(3)以步骤(1)中的训练样本作为步骤(2)中预训练模型的输入层，以所述训练样本对应的真值标签作为所述预训练模型的输出层，对所述预训练模型进行训练，获得对应的动态特征提取模块、注意力机制模块和分类模块，组成不良心血管事件结果预测模型。

本发明将清洗预处理后的待测样本输入不良心血管事件结果预测模型，经计算得到待测样本发生缺血或出血事件的概率，实现对急性冠脉综合征患者发生不良心血管事件的预测。

在步骤(1)中，所述的构建训练样本的方法包括以下步骤：

(1-1)对患者的电子健康记录数据集进行预处理操作，处理实验数据缺失值，提取急性冠脉综合征患者的特征样本，将特征分组为静态特征和动态特征，得到样本数据集；

(2-2)将样本数据集设为数据集D＝{P₁，P₂，…，P_N}，N代表病人总数，P代表每一个病人的特征；假设每个病人由静态特征X_s和动态特征X_d组成，表示为：P＝{X_s，X_d}，X_s∈R^S，X_d∈R^T×D，S代表静态特征的维度，T代表病人在院记录的天数，D代表动态特征的维度；得到训练样本。

所述的深度注意力网络根据注意力机制构建。

所述的预测模型为二分类预测模型，输出患者急性冠脉综合征患者是否发生缺血或出血事件。预测结果为缺血事件和出血事件发生的概率值。

在步骤(3)中，所述的对预训练模型进行训练的过程中，对深度注意力网络训练的方法为：

将N位病人的动态特征X_d与其入院记录时的静态特征X_s拼接起来，共同作为深度注意力网络的特征输入X_i；

接着，针对输入集X＝{X₁，X₂，...，X_N}做一个非线性映射，得到一个一维的行向量α，α的维度是(1，T)；

最后，用softmax函数对α进行归一化，得到注意力权重ω：

ω＝softmax(α)。

在步骤(3)中，所述的对预训练模型进行训练的过程中，所述的双向长短时效记忆网络中的元胞的状态更新方式为：

s^(t)＝f^(t)⊙s^(t-1)+i^(t)⊙φ(W_sxx^(t)+W_shh^(t-1))

其中，x表示输入样本，s代表元胞更新后的状态，t代表当前时刻，W表示权重，f表示遗忘门的输出，h表示隐藏层的输出，σ表示sigmoid激活函数，φ代表tanh激活函数，计算公式为：

f^(t)＝σ(W_fxx^(t)+W_fhh^(t-1)+W_fss^(t-1))

h(t)＝o^(t)⊙φ(s^(t))

将双向长短时效记忆网络的输出O与深度注意力网络输出的权重ω作点乘，得到输出结果γ：

γ＝O·ω

在步骤(3)中，选择使用交叉熵代价函数作为损失函数表示不良心血管事件预测模型拟合的好坏，所述交叉熵代价函数的计算方法如下：

其中，n是所有输入x的个数，j则代表第几个输入；并通过梯度下降算法来更新参数w和b，表达式如下：

与现有技术相比，本发明具有的优点为：

本发明提供的预测装置通过可导入患者电子健康记录，同时预测ACS患者的缺血事件和出血事件发生概率，从而辅助医生制定合理的诊疗措施，支持临床决策，降低医疗开支，改善ACS患者预后。

用注意力机制计算的权重可表示急性冠脉综合征患者静态特征对动态治疗干预的影响，可以通过注意力权重确定对于干预治疗的影响最大的因素，确定该干预行为对急性冠脉综合征预后的影响，再去确认该干预行为是否具备研究急性冠脉综合征预后的临床医学上的意义以及广泛的社会效益。

附图说明

图1为本发明提供的不良心血管事件结果预测模型的网络结构图；

图2为Bi-LSTM-MLP模型的网络结构图；

图3为实施例提供的Bi-LSTM-AM模型与五个对比模型的ROC曲线图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明利用深度注意力网络来同时预测ACS患者缺血事件和出血事件发生概率，首先计算出患者静态特征对动态特征的权重影响，结合双向长短时效记忆网络，最终构成不良血管事件结果预测模型。

本发明提供的基于注意力机制的不良心血管事件的预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机存储器中存有不良心血管事件结果预测模型，该预测模型在线上或线下通过以下三个阶段获得：

S101，采集急性冠脉综合征患者的电子健康记录，电子健康记录包括患者的数据特征和动态特征，并对该电子健康记录进行预清洗，对样本是否发生缺血事件或者出血事件这两种不良心血管事件来进行标注，得到训练样本标签，构建训练样本。

构建训练样本的具体步骤为：

S1011，从原始记录提取了2194项急性冠脉综合征患者的动态特征，包括患者每天的护理常规、二级护理、普食等；除此之外，还提取了326项患者的入院记录特征性作为静态特征集，包含了患者的体重、身高、体温、脉搏等特征项；组成样本数据集。

S1012，将该样本数据集设为数据集D＝{P₁，P₂，…，P_N}，其中N代表病人总数，P代表每一个病人的特征。假设每个病人由静态特征X_s、动态特征X_d组成，表示为：P＝{X_s，X_d}。其中，X_s∈R^S，X_d∈R^T×D，S代表静态特征的维度，T代表病人在院记录的天数，D代表动态特征的维度。

在所使用的数据集中，N＝2930，代表一共有2930个病人样本。S＝326，表示数据集使用的病人静态特征维度为S；D＝2194，表示数据集使用的病人动态特征的维度为D。

S102，以双向长短时效记忆网络为基础，根据患者的静态特征-动态特征关系，引入注意力机制，构建预训练模型。

如图1所示，预训练模型的网络结构包括：

双向长短时效记忆网络，以N位急性冠脉综合征患者的动态特征作为输入，得到输出集；

深度注意力网络，以患者的动态特征与其入院记录的静态特征结合起来作为深度注意力网络的输入，输出注意力权重值ω，再将双向长短时效记忆网络的输出集与注意力权重值点乘ω，输出结果γ；

分类器，将γ起来作为输入，输出分类结果。

S103，以步骤(1)中的训练样本作为步骤(2)中预训练模型的输入层，以所述训练样本对应的真值标签作为所述预训练模型的输出层，对所述预训练模型进行训练，获得对应的动态特征提取模块、注意力机制模块和分类模块，组成不良心血管事件结果预测模型。

在深度注意力网络中，将N位病人的动态治疗特征X_d与其入院记录时的静态特征X_s拼接起来，共同作为注意力模型的特征输入X_i。

接着，针对输入集X＝{X₁，X₂，...，X_N}做一个非线性映射，得到一个一维的行向量α，α的维度是(1，T)。

最后，用softmax函数对α进行归一化，得到注意力权重ω：

ω＝softmax(α)

在双向长短时效记忆网络中，将N位病人T天的动态治疗特征X_di(i＝1，2，...，N)输入双向长短时效记忆网络中，迭代训练模型后将会得到输出集O。双向长短时效记忆网络的元胞的状态更新方式为：

s^(t)＝f^(t)⊙s^(t-1)+i^(t)⊙φ(W_sxx^(t)+W_shh^(t-1))

其中，x表示输入样本，s代表元胞更新后的状态，t代表当前时刻，W表示权重，f表示遗忘门的输出，h表示隐藏层的输出，σ表示sigmoid激活函数，φ代表tanh激活函数，计算公式为：

f^(t)＝σ(W_fxx^(t)+W_fhh^(t-1)+W_fss^(t-1))

h(t)＝o^(t)⊙φ(s^(t))

将双向长短时效记忆网络的输出O与深度注意力网络输出的权重ω作点乘，得到新的输出γ：

γ＝O·ω

最后，用逻辑回归对其进行二分类，得到无不良心血管事件和发生出血或缺血事件的分类结果ψ。

在以上模型训练过程中，假设给定一个输入x，都会得到一个预测值输出f(x)，而这个预测值输出与的真实值Y相比，不一定会是相同的。为了表示拟合的好坏，就用一个函数来度量拟合的程度，也就是损失函数。在一定范围内，损失函数越小，就代表模型拟合的越好。但是若损失函数为0时，表示模型过拟合，此时尽管模型在训练集上完美拟合，但是却很可能在其他测试集上的拟合效果不如人意。

因此，为了直观地看出模型的拟合效果，需要设置损失函数来验证模型的效果。所选择使用交叉熵代价函数作为损失函数，其计算方法如下：

其中，n是所有输入x的个数，j则代表第几个输入。

在训练神经网络过程中，本文通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数。而交叉熵代价函数可以克服方差代价函数更新权重过慢的问题，表达式如下：

因此，权重的更新是受f(x)-Y的影响，即受模型误差的影响。当模型的误差越大时，权重更新越快；当模型的误差越小时，权重的更新越慢。

模型训练时观察到输出的损失函数的大小后，可以调整模型的迭代次数以及模型的隐藏单元的大小，进而改变损失函数的输出，从而判断模型的拟合效果。

获得的不良心血管事件结果预测模型存储在预测装置的存储器中，应用时，接收患者的动态特征和静态特征，动态特征提取模块以急性冠脉综合征患者的动态特征作为输入，得到输出集；以患者的动态特征与其入院记录的静态特征结合起来作为注意力机制模块的输入，输出注意力权重值ω；并将输出集与注意力权重值ω点乘，输出结果γ；以输出结果γ作为输入，分类模块输出不良心血管事件结果的预测概率，该预测概率包括缺血事件发生的概率和出血时间发生的概率。

实施例

本实施例采用的急性冠脉综合征患者病例数据中共有2930份，由国内某三甲医院提供，不包括姓名等私人信息。在整个数据集中，没有发生不良事件的患者共有2070例，占全部样本数的70.65％；发生出血缺血的不良心血管事件的患者共有860例，占比29.35％，整理如表1。

表1主要不良心血管事件占比

然后，按照上述步骤流程进行训练。

为了更好地比较本发明所提出模型的优越性，这里分两个方面进行对比试验。

第一个方面，体现深度注意力网络同时预测急性冠脉综合征患者发生出血事件和出血事件的准确性与稳定性。本发明采用五折交叉验证，与两个基准模型(MLP模型、Bi-LSTM模型)进行比较，进行比较的模型分别是多层感知机MLP模型(以N位急性冠脉综合征患者的静态特征作为输入，得到输出集，得到预测概率)、Bi-LSTM-D模型(将患者动态特征数据输入Bi-LSTM模型进行训练，得到预测概率)、Bi-LSTM-SD模型(将患者动态特征数据和静态数据拼接之后输入Bi-LSTM模型进行训练，得到预测概率)、Bi-LSTM-MLP模型(将多层感知机MLP模型和双向长短时效记忆网络模型Bi-LSTM结合的模型)。Bi-LSTM-MLP模型的网络结构如图2所示。本发明提供的预测装置中存储的不良心血管事件结果预测模型标记为Bi-LSTM-AM。

从训练这五个模型后得到的AUC值(Area Under Curve)、和F分数(F-Score)来比较并衡量各个模型的性能表现。为了得到更加直观的结果，分别画出了不同模型的接收者操作曲线(Receiver Operating Characteristic Curve，ROC)。如图3所示，引入注意力机制的Bi-LSTM-AM模型的曲线最接近左上方，说明分类效果最理想。

如表2所示，除了MLP模型，其他模型的AUC值都达到0.8以上，其中Bi-LSTM-AM模型的准确率更是高达0.841±0.003，取得了最好的效果。Bi-LSTM模型次之，其中用拼接的静态特征和动态特征训练该模型的效果更好。从F分数可见，分类出无主要不良心血管事件和有主要不良心血管事件的效果最好的模型是Bi-LSTM-AM模型，达到了0.675±0.005。综上，可以看出Bi-LSTM-AM模型的分类效果最理想。

表2各个模型的各项指标

Model	AUC	F-score
			MLP	0.620±0.002	0.461±0.005
Bi-LSTM-D	0.816±0.003	0.661±0.003
			Bi-LSTM-SD	0.817±0.003	0.656±0.007
Bi-LSTM-MLP	0.805±0.005	0.650±0.006
			Bi-LSTM-AM	0.841±0.003	0.675±0.005

第二个方面，对这五个模型进行假设检验分析。

如表3所示t检验结果，若计算结果p大于0.05，认为两个模型之间不存在显著性差异；若p小于0.05，则认为两个模型之间不存在显著性差异。Bi-LSTM-AM模型与其它模型之中都存在着显著性差异。唯一不存在显著性差异的两个模型是Bi-LSTM-SD模型与Bi-LSTM-D模型，二者之间的p值达到0.08以上。二者都是基于双向长短时效记忆模型，唯一的区别是输入数据不同。综上可以得出，Bi-LSTM-AM模型与基准模型都存在显著性差异，且AUC值又高于基准模型，分类效果理想，证明引入的注意力机制的有效性。

表3模型之间的t检验结果

Model	Bi-LSTM-MLP	Bi-LSTM-SD	Bi-LSTM-D	MLP
					Bi-LSTM-AM	5.39994E-12	0.004471805	0.020853743	2.65984E-25
Bi-LSTM-MLP		2.19973E-09	1.95874E-12	4.23946E-23
					Bi-LSTM-SD			0.089679022	4.23313E-24
Bi-LSTM-D				4.23313E-24

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于注意力机制的不良心血管事件的预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：

所述计算机存储器中存有不良心血管事件结果预测模型，其包括；动态特征提取模块、注意力机制模块和分类模块；

所述计算机处理器执行所述计算机程序时实现以下步骤：

接收患者的动态特征和静态特征，动态特征提取模块以急性冠脉综合征患者的动态特征作为输入，得到输出集；

以患者的动态特征与其入院记录的静态特征结合起来作为注意力机制模块的输入，输出注意力权重值ω；并将输出集与注意力权重值ω点乘，输出结果γ；

以输出结果γ作为输入，分类模块输出不良心血管事件结果的预测概率，所述预测概率包括缺血事件发生的概率和出血时间发生的概率。

2.如权利要求1所述的基于注意力机制的不良心血管事件的预测装置，其特征在于，所述不良心血管事件结果预测模型的获得过程为：

(1)采集急性冠脉综合征患者的电子健康记录，所述电子健康记录包括患者的静态特征和动态特征，并对该电子健康记录进行预清洗，对样本是否发生缺血事件或者出血事件这两种不良心血管事件来进行标注，得到训练样本标签，构建训练样本；

(2)以双向长短时效记忆网络为基础，根据患者的静态特征-动态特征关系，引入注意力机制，构建预训练模型；

所述预训练模型的网络结构为：

双向长短时效记忆网络，以急性冠脉综合征患者的动态特征作为输入，得到输出集；

深度注意力网络，以患者的动态特征与其入院记录的静态特征结合起来作为深度注意力网络的输入，输出注意力权重值ω；再将双向长短时效记忆网络的输出集与注意力权重值ω点乘，输出结果γ；

分类器，将γ作为输入，输出分类结果；

(3)以步骤(1)中的训练样本作为步骤(2)中预训练模型的输入层，以所述训练样本对应的真值标签作为所述预训练模型的输出层，对所述预训练模型进行训练，获得对应的动态特征提取模块、注意力机制模块和分类模块，组成不良心血管事件结果预测模型。

3.如权利要求2所述的基于注意力机制的不良心血管事件的预测装置，其特征在于，在步骤(1)中，所述的构建训练样本的方法包括以下步骤：

(1-1)对患者的电子健康记录数据集进行预处理操作，处理实验数据缺失值，提取急性冠脉综合征患者的特征样本，将特征分组为静态特征和动态特征，得到样本数据集；

(2-2)将样本数据集设为数据集D＝{P₁，P₂，…，P_N}，N代表病人总数，P代表每一个病人的特征；假设每个病人由静态特征X_s、动态特征X_d组成，表示为：P＝{X_s，X_d}，X_s∈R^S，X_d∈R^{T ×D}，S代表静态特征的维度，T代表病人在院记录的天数，D代表动态特征的维度；得到训练样本。

4.如权利要求2所述的基于注意力机制的不良心血管事件的预测装置，其特征在于，在步骤(3)中，所述的对预训练模型进行训练的过程中，对深度注意力网络训练的方法为：

将N位病人的动态特征X_d与其入院记录时的静态特征X_s拼接起来，共同作为深度注意力网络的特征输入X_i；

接着，针对输入集X＝{X₁，X₂，...，X_N}做一个非线性映射，得到一个一维的行向量α，α的维度是(1，T)；

最后，用softmax函数对α进行归一化，得到注意力权重ω：

ω＝softmax(α)。

5.如权利要求3所述的基于注意力机制的不良心血管事件的预测装置，其特征在于，在步骤(3)中，所述的对预训练模型进行训练的过程中，所述的双向长短时效记忆网络中的元胞的状态更新方式为：

s^(t)＝f^(t)⊙s^(t-1)+i^(t)⊙φ(W_sxx^(t)+W_shh^(t-1))

其中，x表示输入样本，s代表元胞更新后的状态，t代表当前时刻，W表示权重，f表示遗忘门的输出，h表示隐藏层的输出，σ表示sigmoid激活函数，φ代表tanh激活函数，计算公式为：

f^(t)＝σ(W_fxx^(t)+W_fhh^(t-1)+W_fss^(t-1))

h(t)＝o^(t)⊙φ(s^(t))

6.如权利要求3所述的基于注意力机制的不良心血管事件的预测装置，其特征在于，在步骤(3)中，选择使用交叉熵代价函数作为损失函数表示不良心血管事件预测模型拟合的好坏，所述交叉熵代价函数的计算方法如下：

其中，n是所有输入x的个数，j则代表第几个输入；并通过梯度下降算法来更新参数w和b，表达式如下：