CN113509185A - 基于多模态病人信息注意力建模的心肌梗塞分类方法 - Google Patents

Abstract

本发明涉及信号处理技术领域，具体涉及一种基于多模态病人信息注意力建模的心肌梗塞分类方法。该基于多模态病人信息注意力建模的心肌梗塞分类方法包括以下步骤：S1：读入12导联的心电信号的数据，进行数据预处理；S2：提取心拍数据；S3：病历会诊记录数据预处理，对于病人电子病历会诊记录进行特征学习，提取出与心肌梗塞可能相关的特征；S4：模型搭建；S5：训练模型参数；S6:模型预测，对测试集样本进行自动识别，获得心肌梗塞的二分类结果，提升心肌梗塞的检测效果。

Description

基于多模态病人信息注意力建模的心肌梗塞分类方法

技术领域

本发明涉及信号处理技术领域，具体涉及一种基于多模态病人信息注意力建模的心肌梗塞分类方法。

背景技术

心肌梗塞(MI)，通常称为心脏病发作，会对心肌造成不可逆转的损害，甚至导致死亡。快速而准确的MI诊断对于避免死亡至关重要。血液测试和心电图(ECG)信号用于诊断急性心肌梗塞。但是，要增加血液中的酶含量，必须在发作后经过一定时间。此时间延迟可能会延迟MI诊断。因此，心电图诊断仍然非常重要。

手动心电图解释需要专业知识，并且容易出现观察者之间的差异。因此，计算机辅助诊断可能对自动检测ECG上的MI有用。但是，由于心电信号变化不规律且较为复杂，单一地使用心电图诊断病人心肌梗塞的患病情况往往效果达不到预期临床效果，并且在实际诊断场景中，医生往往还会结合病人其他诸如往期医生会诊记录、病人自述等病历文本信息进行辅助判断，从而尝试提升心肌梗塞判别的准确率。因此，考虑联合病人病历会诊信息与心电图检测功能于一体的智能辅助诊断系统对辅助医生进行更深层次的诊断而言是必不可少的。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种基于多模态病人信息注意力建模的心肌梗塞分类方法，在对病人病情推断时，联合考虑到病人ECG数据及病历文本数据，提升心肌梗塞的检测效果。

本发明为解决其技术问题所采用的技术方案为：基于多模态病人信息注意力建模的心肌梗塞分类方法，包括以下步骤：

S1：读入12导联的心电信号的数据，进行数据预处理；

S2：提取心拍数据：通过小波变换检测R波位置，进而对R波前后数据点进行固定长度截取，从而完成对原始ECG数据提取过程；

S3：病历会诊记录数据预处理，对于病人电子病历会诊记录进行特征学习，提取出与心肌梗塞可能相关的特征；

S4：模型搭建，搭建联结12导联的ECG数据与病历会诊记录数据的多模态注意力神经网络模型，对两种模态数据进行分别提取后，使用注意力机制对两种特征心急梗塞检测的重要性权重进行学习，最终建立端到端联合建模神经网络分类预测模型，其输出为病人患心肌梗塞的预测概率；

S5：训练模型参数，初始化所述多模态注意力神经网络模型的参数，将构建好的数据集拆分为训练集和测试集；利用训练集样本对模型结构参数进行训练，生成所述多模态注意力神经网络模型的最佳参数并保存；

S6:模型预测，对测试集样本进行自动识别，获得心肌梗塞的二分类结果。

所述步骤S1中数据预处理包括采用简单整系数滤波器过滤原始ECG中的工频干扰，采用切比雪夫数字低通滤波器过滤肌电干扰，采用曲线拟合法过滤原始ECG中的基线漂移。

步骤S2中，读取去噪后12导联ECG数据，对每个导联ECG数据利用小波变换来识别R波峰值处，固定向前截取150个样本点，向后截取350个样本点，使得每个导联的心拍统一截取500个ECG样本点，然后对每个导联对应的这500个样本点的ECG特征采用行联拼接，此时原始每个样本的ECG数据可提取成12*500维的心电信号特征，作为多模态注意力神经网络模型的输入数据X₁∈R^12×500，其中12为导联的个数，500为每个心拍上截取的样本点数。

步骤S3中，对电子病历会诊信息进行特征学习包括以下子步骤：

3-1：:对医生会诊文本信息和病人自述文本信息进行jieba分词操作，

3-2：对每个词采用one-hot编码，映射为独热编码向量I_word，其中I_word∈R^{1×单词总数}，每个独热编码向量仅在id索引位置为1，其余位置都为0；

3-3：:通过embedding方式将每个词映射成一个64维词向量，即对独热向量I_word利用嵌入矩阵Y∈R^{单词总数×64}将其转化为网络嵌入表示Embedding_word，这里Embedding_word＝I_word×Y，

3-4：基于TextCNN，将多个词向量Embedding_word组成的电子病历记录依次送入病历文本特征抽取模块，设定一定的字数阈值，从而保证提取文本的语义特征为X₂∈R^12×500，12×500为每个病人病历文本特征维度。

病历文本特征抽取模块包括卷积层、激活层和池化层。

所述步骤S4中多模态注意力神经网络模型包括:

特征提取模块：用于获取原始ECG特征和病历会诊文本特征；

注意力模块：对获取的ECG特征和病历会诊文本特征进行重要性学习，区分这两种模态特征对于心急梗塞预测任务的重要性权重；

预测模块：将注意力模块获得的综合加权特征输入到由四层全连接层组成的分类器，采用Sigmoid为最终分类函数，采用二元交叉熵作为多模态注意力神经网络模型的损失函数，进行心肌梗塞概率预测。

所述注意力模块，将ECG特征X₁和病历会诊文本特征X₂采用自注意力机制学习这两种模态特征的重要性权重，然后输出这两类特征为x_t∈R^12×500，其中

t＝{1,2}。其中，每个特征的权重系数a_ti可以使用Softmax函数进行计算，即

最终对两类特征进行行联拼接为最终的联合特征X＝[X₁，X₂]。

所述预测模块为四层全连接神经网络，输入的数据为X；

第一个全连接层的神经元数为6000个，激活函数为Relu，输出维度为6000；

第二个全连接层的神经元数为3000个，激活函数为Relu，输出维度为3000；

第三个全连接层的神经元数为500个，激活函数为Relu，输出维度为500；

第四个全连接层的神经元数为1个，激活函数为Sigmoid，输出维度为1。

所述全连接神经网络采用的公式如下：

其中a^l是第l-1层的输出，a^l-1，W^l-1，b^l-1，f依次为第l-1层的激活值、权重、偏置项和激活函数；

多模态注意力神经网络模型最终输出心肌梗塞预测结果，输出结果表示为：

其中，a⁴，W⁴，b⁴，f依次最终输出层神经网络的输入特征、权重、偏置项和激活函数；采用二元交叉熵函数作为宽深神经网络模型的损失函数，表示为：

L＝-(y*log(output_deep)+(1-y)*log(1-output_deep))

其中，y为真实的标签，用0或1表示。

所述步骤S5中初始化所述多模态注意力网络模型的参数，将构建好的数据集随机抽取80％数目的样本当作训练集，其他20％的样本视为测试集；将训练集中的样本数据输入到初始化后的多模态注意力网络中，以最小化二元交叉熵损失函数为目标训练模型，具体来说，使用SGD优化算法训练各个模块，迭代更新参数，直至最后多模态注意力网络的损失值稳定在某一数值附近，停止训练并保存当前网络的训练参数和模型结构信息。

所述步骤S6中将测试集样本输入到已训练好的模型中，进行自动识别，获得心急梗塞的二分类预测结果。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种基于多模态病人信息注意力建模的心肌梗塞分类方法，降低了现有的心肌梗塞检测方法中因只利用单一病人ECG数据而导致的检测效果不佳的问题；

本发明改进了现有的神经网络模型在心肌梗塞检测中的应用方法，适用于在临床上辅助心肌梗塞的检测。传统的心肌梗塞检测方法仅仅利用了病人ECG数据，并没有融合病人会诊文本记录，本发明提出的方法基于多模态注意力网络，通过对病人ECG特征以及异构病历文本特征进行联合提取，充分利用已有信息，缓解了心肌梗塞检测难度，使得算法更贴近临床检测实际，提升诊断精度；

本发明使用病历会诊文本信息作为额外模态信息，相对于传统的心肌梗塞算法中仅单一使用ECG信息，更可以深层次反映病人状态，对于因心电信号变化复杂而导致准确度达不到临床要求的检测可以提供更为可靠的实施效果；

本发明可用于各种具有电子会诊病历信息及心电信息的患者，通过对病人ECG特征以及病历会诊文本信息进行联合提取，充分利用已有信息，缓解了心肌梗塞检测难度，使得算法更贴近临床检测实际，提升了病人的满意度。

附图说明

图1是本发明流程图。

图2是本发明多模态注意力神经网络模型框架图。

具体实施方式

下面结合附图对本发明实施例做进一步描述：

实施例

如图1至图2所示，本发明实施例就是将传统的基于心电信号的辅助诊断系统引入病人病历文本信息进行心肌梗塞检测，构建多模态注意力网路，使得本发明实施例检测效果更加可靠。

具体地说，包括以下步骤：

S1：读入12导联的心电信号的数据，进行数据预处理；所述步骤S1中数据预处理包括采用简单整系数滤波器过滤原始ECG中的工频干扰，采用切比雪夫数字低通滤波器过滤肌电干扰，采用曲线拟合法过滤原始ECG中的基线漂移。

S2：提取心拍数据：通过小波变换检测R波位置，进而对R波前后数据点进行固定长度截取，从而完成对原始ECG数据提取过程；具体地说，读取去噪后12导联ECG数据，对每个导联ECG数据利用小波变换来识别R波峰值处，固定向前截取150个样本点，向后截取350个样本点，使得每个导联的心拍统一截取500个ECG样本点，然后对每个导联对应的这500个样本点的ECG特征采用行联拼接，此时原始每个样本的ECG数据可提取成12*500维的心电信号特征，作为多模态注意力神经网络模型的输入数据X₁∈R^12×500，其中12为导联的个数，500为每个心拍上截取的样本点数。

S3：病历会诊记录数据预处理，对于病人病历电子会诊记录进行特征学习，提取出与心肌梗塞可能相关的特征；

具体地说，对电子病历会诊信息进行特征学习包括以下子步骤：

3-1：:对医生会诊文本信息和病人自述文本信息进行jieba分词操作，

3-2：对每个词采用one-hot编码，映射为独热编码向量I_word，其中I_word∈R^{1×单词总数}，每个独热编码向量仅在id索引位置为1，其余位置都为0；

3-3：:通过embedding方式将每个词成映射成一个64维词向量，即对独热向量I_word利用嵌入矩阵Y∈R^{单词总数×64}将其转化为网络嵌入表示Embedding_word，这里Embedding_word＝I_word×Y，

3-4：基于TextCNN，将多个词向量Embedding_word组成的电子病历记录依次送入病历文本特征抽取模块，病历文本特征抽取模块包括卷积层、激活层和池化层。设定一定的字数阈值，从而保证提取文本的语义特征为X₂∈R^12×500，12×500为每个病人病历文本特征维度。

S4：模型搭建，搭建联结12导联的ECG数据与病历会诊记录数据的多模态注意力神经网络模型，对两种模态数据进行分别提取后，使用注意力机制对两种特征之于心急梗塞检测的重要性权重进行学习，最终建立端到端联合建模神经网络分类预测模型，其输出为病人患心肌梗塞的预测概率；具体地说，如图2所示，所述步骤S4中多模态注意力神经网络模型包括以下三个模块：

特征提取模块：用于获取原始ECG特征和病历会诊文本特征；

注意力模块：对获取的ECG特征和病历会诊文本特征进行重要性学习，区分这两种模态特征对于心急梗塞预测任务的重要性权重；具体地说所述注意力模块，将ECG特征X₁和病历会诊文本特征X₂采用自注意力机制学习这两种模态特征的重要性权重，然后输出这两类特征为x_t∈R^12×500，其中

其中，每个特征的权重系数a_ti可以使用Softmax函数进行计算，即

最终对两类特征进行行联拼接为最终的联合特征X＝[X₁，X₂]。

预测模块：将注意力模块获得的综合加权特征输入到由四层全连接层组成的分类器，采用Sigmoid为最终分类函数，采用二元交叉熵作为多模态注意力神经网络模型的损失函数，进行心肌梗塞概率预测。具体地说所述预测模块为四层全连接神经网络，输入的数据为X；

第一个全连接层的神经元数为6000个，激活函数为Relu，输出维度为6000；

第二个全连接层的神经元数为3000个，激活函数为Relu，输出维度为3000；

第三个全连接层的神经元数为500个，激活函数为Relu，输出维度为500；

第四个全连接层的神经元数为1个，激活函数为Sigmoid，输出维度为1。

所述全连接神经网络采用的公式如下：

其中a^l是第l-1层的输出，a^l-1，W^l-1，b^l-1，f依次为第l-1层的激活值、权重、偏置项和激活函数；

多模态注意力神经网络模型最终输出心肌梗塞预测结果，输出结果表示为：

其中，a⁴，W⁴，b⁴，f依次最终输出层神经网络的输入特征、权重、偏置项和激活函数；采用二元交叉熵函数作为宽深神经网络模型的损失函数，表示为：

L＝-(y*log(output_deep)+(1-y)*log(1-output_deep))

其中，y为真实的标签，用0或1表示。

S5：训练模型参数，初始化所述多模态注意力神经网络模型的参数，将构建好的数据集拆分为训练集和测试集；利用训练集样本对模型结构参数进行训练，生成所述多模态注意力神经网络模型的最佳参数并保存；所述步骤S5中初始化所述多模态注意力网络模型的参数，将构建好的数据集随机抽取80％数目的样本当作训练集，其他20％的样本视为测试集；将训练集中的样本数据输入到初始化后的多模态注意力网络中，以最小化二元交叉熵损失函数为目标训练模型，具体来说，使用SGD优化算法训练各个模块，迭代更新参数，直至最后多模态注意力网络的损失值稳定在某一数值附近，停止训练并保存当前网络的训练参数和模型结构信息。

S6:模型预测，对测试集样本进行自动识别，获得心肌梗塞的二分类结果。

所述步骤S6中将测试集样本输入到已训练好的模型中，进行自动识别，获得心急梗塞的二分类预测结果。

Claims (10)

1.一种基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，包括以下步骤：

S1：读入12导联的心电信号的数据，进行数据预处理；

S2：提取心拍数据：通过小波变换检测R波位置，进而对R波前后数据点进行固定长度截取，从而完成对原始ECG数据提取过程；

S3：病历会诊记录数据预处理，对于病人电子病历会诊记录进行特征学习，提取出与心肌梗塞可能相关的特征；

S4：模型搭建，搭建联结12导联的ECG数据与病历会诊记录数据的多模态注意力神经网络模型，对两种模态数据进行分别提取后，使用注意力机制对两种特征心急梗塞检测的重要性权重进行学习，最终建立端到端联合建模神经网络分类预测模型，其输出为病人患心肌梗塞的预测概率；

S5：训练模型参数，初始化所述多模态注意力神经网络模型的参数，将构建好的数据集拆分为训练集和测试集；利用训练集样本对模型结构参数进行训练，生成所述多模态注意力神经网络模型的最佳参数并保存；

S6:模型预测，对测试集样本进行自动识别，获得心肌梗塞的二分类结果。

2.根据权利要求1所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，所述步骤S1中数据预处理包括采用简单整系数滤波器过滤原始ECG中的工频干扰，采用切比雪夫数字低通滤波器过滤肌电干扰，采用曲线拟合法过滤原始ECG中的基线漂移。

3.根据权利要求1所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，步骤S2中，读取去噪后12导联ECG数据，对每个导联ECG数据利用小波变换来识别R波峰值处，固定向前截取150个样本点，向后截取350个样本点，使得每个导联的心拍统一截取500个ECG样本点，然后对每个导联对应的这500个样本点的ECG特征采用行联拼接，此时原始每个样本的ECG数据可提取成12*500维的心电信号特征，作为多模态注意力神经网络模型的输入数据X₁∈R^12×500，其中12为导联的个数，500为每个心拍上截取的样本点数。

4.根据权利要求3所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，步骤S3中，对电子病历会诊信息进行特征学习包括以下子步骤：

3-1：:对医生会诊文本信息和病人自述文本信息进行jieba分词操作，

3-2：对每个词采用one-hot编码，映射为独热编码向量I_word，其中I_word∈R^{1×单词总数}，每个独热编码向量仅在id索引位置为1，其余位置都为0；

3-3：:通过embedding方式将每个词映射成一个64维词向量，即对独热向量I_word利用嵌入矩阵Y∈R^{单词总数×64}将其转化为网络嵌入表示Embedding_word，这里Embedding_word＝I_word×Y，

3-4：基于TextCNN，将多个词向量Embedding_word组成的电子病历记录依次送入病历文本特征抽取模块，设定一定的字数阈值，从而保证提取文本的语义特征为X₂∈R^12×500，12×500为每个病人病历文本特征维度。

5.根据权利要求4所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，病历文本特征抽取模块包括卷积层、激活层和池化层。

6.根据权利要求5所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，所述步骤S4中多模态注意力神经网络模型包括特征提取模块：用于获取原始ECG特征和病历会诊文本特征；

注意力模块：对获取的ECG特征和病历会诊文本特征进行重要性学习，区分这两种模态特征对于心急梗塞预测任务的重要性权重；

预测模块：将注意力模块获得的综合加权特征输入到由四层全连接层组成的分类器，采用Sigmoid为最终分类函数，采用二元交叉熵作为多模态注意力神经网络模型的损失函数，进行心肌梗塞概率预测。

7.根据权利要求6所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，所述注意力模块，将ECG特征X₁和病历会诊文本特征X₂采用自注意力机制学习这两种模态特征的重要性权重，然后输出这两类特征为x_t∈R^12×500，其中

t＝{1,2}。其中，每个特征的权重系数a_ti可以使用Softmax函数进行计算，即

最终对两类特征进行行联拼接为最终的联合特征X＝[X₁，X₂]。

8.根据权利要求7所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，所述预测模块为四层全连接神经网络，输入的数据为X；

第一个全连接层的神经元数为6000个，激活函数为Relu，输出维度为6000；

第二个全连接层的神经元数为3000个，激活函数为Relu，输出维度为3000；

第三个全连接层的神经元数为500个，激活函数为Relu，输出维度为500；

第四个全连接层的神经元数为1个，激活函数为Sigmoid，输出维度为1。

所述全连接神经网络采用的公式如下：

其中a^l是第l-1层的输出，a^l-1，W^l-1，b^l-1，f依次为第l-1层的激活值、权重、偏置项和激活函数；

多模态注意力神经网络模型最终输出心肌梗塞预测结果，输出结果表示为：

其中，a⁴，W⁴，b⁴，f依次最终输出层神经网络的输入特征、权重、偏置项和激活函数；采用二元交叉熵函数作为宽深神经网络模型的损失函数，表示为：

L＝-(y*log(output_deep)+(1-y)*log(1-output_deep))

其中，y为真实的标签，用0或1表示。

9.根据权利要求8所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，所述步骤S5中初始化所述多模态注意力网络模型的参数，将构建好的数据集随机抽取80％数目的样本当作训练集，其他20％的样本视为测试集；将训练集中的样本数据输入到初始化后的多模态注意力网络中，以最小化二元交叉熵损失函数为目标训练模型，具体来说，使用SGD优化算法训练各个模块，迭代更新参数，直至最后多模态注意力网络的损失值稳定在某一数值附近，停止训练并保存当前网络的训练参数和模型结构信息。

10.根据权利要求9所述的基于多模态病人信息注意力建模的心肌梗塞分类方法，其特征在于，所述步骤S6中将测试集样本输入到已训练好的模型中，进行自动识别，获得心急梗塞的二分类预测结果。

Images