CN115691788A - 一种基于异构数据的双重注意力耦合网络糖尿病分类系统 - Google Patents

一种基于异构数据的双重注意力耦合网络糖尿病分类系统 Download PDF

Info

Publication number
CN115691788A
CN115691788A CN202211339943.8A CN202211339943A CN115691788A CN 115691788 A CN115691788 A CN 115691788A CN 202211339943 A CN202211339943 A CN 202211339943A CN 115691788 A CN115691788 A CN 115691788A
Authority
CN
China
Prior art keywords
data
network
module
fgm
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211339943.8A
Other languages
English (en)
Other versions
CN115691788B (zh
Inventor
史大威
王磊
蒋思成
潘政霖
刘蔚
王军政
纪立农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202211339943.8A priority Critical patent/CN115691788B/zh
Publication of CN115691788A publication Critical patent/CN115691788A/zh
Application granted granted Critical
Publication of CN115691788B publication Critical patent/CN115691788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种基于异构数据的双重注意力耦合网络糖尿病分类系统,该系统基于双重注意力的LSTM‑CNN耦合网络,构造一种自适应地调整不同数据源重要性的融合方法,来学习和集成异构数据中的特征,解决了机器学习的糖尿病诊断问题中,数据的复杂和高度不稳定的问题;在FGM子网络中嵌入卷积块注意力模块(Convolutional Block Attention Module,CBAM),为复杂序列的学习引入注意力模块来表达对特定位置的信息偏好,显著提高了网络学习性能;利用真实医学临床数据对本发明提出的系统进行了验证,基于60名受试者的真实实验数据,糖尿病类型的分类准确率达到95.835%,Matthews相关系数、F1值和G‑mean等综合性能指标分别为91.333%、94.939%和94.937%。所提方法的结果优于所有基准方法的结果,表明了糖尿病类型分类的可行性。

Description

一种基于异构数据的双重注意力耦合网络糖尿病分类系统
技术领域
本发明属于糖尿病类型诊断技术领域,具体涉及一种基于异构数据的双重注意力耦合网络糖尿病分类系统。
背景技术
糖尿病是由于胰岛素的生产或利用不足而引起的以慢性高血糖为特征的代谢紊乱。根据世界卫生组织的报告[1](W.H.Organization,Classification of diabetesmellitus,World Health Organization,2019.),糖尿病个体出现酮症和酮症酸中毒的临床诊断主要集中在1型和2型糖尿病(Type 1 and 2 Diabetes Mellitus,T1DM和T2DM)上。这两种类型的糖尿病伴随着不同的诊断和治疗方法,因此,构建糖尿病类别诊断系统可以有效地协助医生制定合适的治疗方案。
现有的糖尿病类型诊断方法依赖于临床标准(例如空腹血糖水平、75克口服葡萄糖耐量试验中的2小时血糖标准、血红蛋白检测标准等)和疾病进展观察,这必然要求医生参与诊断。然而,据估计,全世界有5.37亿成年人患有糖尿病,而且这个数字还在增加,这给医疗资源带来了巨大压力。本发明考虑到糖尿病相关数据的可获得性,构建基于机器学习方法的诊断系统来数据驱动糖尿病类型的判定,缓解上述矛盾。
前人已经尝试多个数据驱动的系统进行糖尿病分类。例如,文献[2](Longato E,Acciaroli G,Facchinetti A,et al.Glycaemic variability-based classification ofimpaired glucose tolerance vs.type 2 diabetes using continuous glucosemonitoring data[J].Computers in Biology&Medicine,2018:141.)基于从CGM数据中提取的多个血糖变异性指标,提出了一种多项式核支持向量机方法来分类健康受试者和其他受糖耐量受损或T2DM影响的受试者。文献[3](Cheruku R,Edla D R,Kuppili V.SM-RuleMiner:Spider monkey based rule miner using novel fitness function fordiabetes classification[J].Computers in Biology&Medicine,2016,81:79.)提出了一个蜘蛛猴优化的糖尿病分类规则挖掘器,并引入了一个新的适应度函数来生成一个综合的最优规则集,而不区分具体的糖尿病类型。此外,多种基于神经网络的智能方法也已公开用于糖尿病分类。文献[4](Liu Y,Liu W,Chen H,et al.Graph Convolutional NetworkEnabled Two-Stream Learning Architecture for Diabetes Classification based onFlash Glucose Monitoring Data[J].Biomedical Signal Processing and Control,2021,69(5):102896.)提出了一种基于图神经网络的数据重组拓扑方法,并构建了一个框架,用于对FGM数据的日间和日内特征进行双流学习,以实现对糖尿病类型的分类。文献[5](Hu Y,Luo S,Han L,et al.Deep supervised learning with mixture of neuralnetworks[J].Artificial intelligence in medicine,2020,102(Jan.):101764.1-101764.6.)提出了一种基于门控网络和多个本地专家模型的混合神经网络模型来执行糖尿病分类任务。然而,大多数前人的研究基于同质数据,无法从不同角度识别糖尿病的表征。
事实上,异构数据的融合提供了多维互补的信息表示,这比使用同构数据有很大的优势。文献[6](Guo K,Xu T,Kui X,et al.iFusion:Towards efficient intelligencefusion for deep learning from real-time and heterogeneous data[J].InformationFusion,2019,51:215-223.)提出了iFusion框架,实现了基于深度学习的实时异构数据的高效智能融合。对于异构数据,分别对不同类型的数据进行训练,然后采用基于Dempster-Shafer理论的方法融合判别模型。异构数据作为一种全新的研究维度,可以突破同质研究的性能瓶颈。然而,很少有研究报道融合异构数据对糖尿病类型进行分类。
发明内容
有鉴于此,本发明的目的是提供一种基于异构数据的双重注意力耦合网络糖尿病分类系统,解决数据的复杂和高度不稳定问题,提高了分类诊断的准确性。
一种基于异构数据的双重注意力耦合网络糖尿病分类系统,包括数据收集模块、FGM子网络模块、生理指标子网络模块、异构数据融合模块以及全局优化模块;
所述数据收集模块采集用于诊断糖尿病的生理指标数据X以及糖尿病患者的FGM数据
Figure BDA0003912878260000021
所述FGM子网络模块用于:
Figure BDA0003912878260000022
数据进行预处理,得到输入的真实值,记为
Figure BDA0003912878260000023
然后将其送入LSTM网络以获得原始特征Fr
Figure BDA0003912878260000024
其中,L100是一个包含100个单元的LSTM网络;
特征Fr先被送入第一卷积层,然后再送入批归一化处理层输出Fl,继而再利用CBAM模块对通道注意力和空间注意力进行处理,最后得到细化的特征Frf,其中:
通道注意力Mc定义为:
Mc(Fl)=σ(M1(Pmax(Fl))+M1(Pavg(Fl)))
式中:σ为sigmoid算子;M1表示一个两层全连接层;Pmax(·)和Pavg(·)分别表示最大池化和平均池化;通道注意力提供中间特征Ft1=Mc(Fl);通过逐元素乘以Fl,得到进一步的特征向量Fl’:
Fl’=Fl·Ft1
Fl’作为空间注意力Ms的输入,表示为:
Ms(Fl′)=σ(C3(Pmax(Fl′)⊙Pavg(Fl′)))
其中,⊙是一个串联算子,C3是一个内核大小为3的一维卷积层,其过滤器大小为1;在连接最大池化和平均池化之后,通过执行卷积运算符和在其上应用sigmoid激活函数来获得另一个中间特征向量Ft2=Ms(Fl′);最后由中间特征向量Ft2和Fl之间的逐元素乘积的结果给出细化后的特征:
Frf=Fl′·Ft2
将CBAM模块的输入Fl与其输出Frf合并,依次通过第一整流线性单元、第一全连接层、第二整流线性单元、第二全连接层以及第一Softmax函数激活层,得到FGM子网络模块的输出Ofgm
所述生理指标子网络模块用于:
将生理指标数据X依次经过第二卷积层、第二批归一化层、第三整流线性单元层、全局平均池化层、第三全连接层、第四整流线性单元层后,得到生理指标数据的特征向量Obm
所述异构数据融合模块用于:
将特征向量Ofgm和Obm串联起来以获得混合特性F:
F=Ofgm⊙Obm
其中,F包含M个元素,M是特征数;⊙表示两个特性的串联运算符;
将F中对应于每一个特征的数据Fi∈F作为输入,在自注意力神经网络中计算输出Ki如下:
Ki=tanh(Fi*wi+bi);
式中,wi和bi表示网络训练参数;
然后,将Ki放入Softmax函数进行归一化,以计算每个输入的权重值Wi,如下所示:
Figure BDA0003912878260000031
输入向量Fi的得分可以通过Wi乘以输入值Fi得到;
然后,对所有M个元素的加权得分求和,得到自注意力网络的输出结果:
Figure BDA0003912878260000041
令S依次通过一个批归一化层、一个ReLU激活函数层和一个全局平均池化层,得到特征图并将之送入分类器,在分类器中采用Softmax函数对糖尿病所属类型进行分类;
所述全局优化模块用于:
分批次将数据采集模块的生理指标数据X和FGM数据对应送入FGM子网络模块和生理指标子网络模块,计算异构数据融合模块输出的糖尿病所属类型分类结果与数据采集模块给定的糖尿病类型的误差,基于误差对FGM子网络模块和生理指标子网络模块参数进行优化;优化完成后,将待检测患者的生理指标数据X和FGM数据送入FGM子网络模块和生理指标子网络模块,得到异构数据融合模块输出的糖尿病所属类型分类结果。
较佳的,生理指标包括体重指数、糖化血红蛋白、丙氨酸氨基转移酶、天冬氨酸氨基转移酶、C肽、平均尿白蛋白-肌酐比、肌酐、谷氨酸脱羧酶抗体测定、胰岛素;其中,C肽和胰岛素分别为其释放试验检查开始以及在120分钟时的测试值。较佳的,对于数据采集模块采集的FGM数据,得到设定天数的FGM数据的均值
Figure BDA0003912878260000042
通过线性回归得到X的预测值
Figure BDA0003912878260000043
最终送入LSTM的数据表示为:
Figure BDA0003912878260000044
较佳的,所述第一卷积层的卷积核数目为64,感受野大小为3。
较佳的,两层全连接层M1的单元数分别设置为Fl通道的八分之一和整数倍。
较佳的,所述全局优化模块使用Adam优化器对FGM子网络模块和生理指标子网络模块参数较佳的,所述全局优化模块按照每一批次数据样本数为32的方式将数据送入FGM子网络模块和生理指标子网络模块。
本发明具有如下有益效果:
本发明提供一种基于异构数据的双重注意力耦合网络糖尿病分类系统,该系统基于双重注意力的LSTM-CNN耦合网络,构造一种自适应地调整不同数据源重要性的融合方法,来学习和集成异构数据中的特征,解决了机器学习的糖尿病诊断问题中,数据的复杂和高度不稳定的问题;在FGM子网络中嵌入卷积块注意力模块(Convolutional BlockAttention Module,CBAM),为复杂序列的学习引入注意力模块来表达对特定位置的信息偏好,显著提高了网络学习性能。
利用真实医学临床数据对本发明提出的系统进行了验证,基于60名受试者的真实实验数据,糖尿病类型的分类准确率达到95.835%,Matthews相关系数、F1值和G-mean等综合性能指标分别为91.333%、94.939%和94.937%。所提方法的结果优于所有基准方法的结果,表明了糖尿病类型分类的可行性。通过与其他耦合网络的比较,本发明提出的系统不仅在这些综合指标上保持领先,而且在其他指标上也优于其他耦合网络,包括准确性、精确性和特异性。
附图说明
图1为本发明的系统的整体框架图;
图2为单源网络对比的小提琴图;
图3为不同耦合网络的ROC曲线;
图4为不同注意力机制组合的ROC曲线;
图5为不同注意力机制组合的耦合网络对比小提琴图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明基于电子病历(Electronic Medical Records,EMR)数据中各类生理指标和扫描式葡萄糖监测系统(Flash Glucose Monitoring,FGM)序列等异构数据,构建多维互补特征与糖尿病类型之间的映射关系,实现1型和2型糖尿病分类。
本发明的一种基于异构数据的双重注意力耦合网络糖尿病分类系统,包括以下五个模块:
一、数据收集模块:
根据真实情况,糖尿病患者会进行医学测试,记测试结果为:
X={x1,…,xi,…,xN}
其中,xi是第i个生理指标值,N是生理指标值总采样数。
Figure BDA0003912878260000051
表示FGM设备采集糖尿病患者的FGM数据,可以将其视为序列数据;其中,t表示FGM序列数据的时间刻度,m表示受试者样本序号。
二、结合CBAM模块的FGM子网络模块
本发明基于糖尿病的病理学特点(如高血糖和低血糖症状),针对FGM序列的特征,采用LSTM网络处理FGM长期序列,并使用CBAM卷积注意力模块引入通道注意模块和空间注意模块,从而提高网络学习性能。该技术过程如下所述:
首先,对
Figure BDA0003912878260000052
数据进行预处理,得到输入的真实值,记为
Figure BDA0003912878260000053
然后将其送入FGM子网络进行特征提取,这个过程可以表述为:
Figure BDA0003912878260000054
其中,N1是构建的结合CBAM模块的FGM子网络,处理后的FGM数据
Figure BDA0003912878260000061
首先被送入LSTM网络以获得原始特征Fr,定义为:
Figure BDA0003912878260000062
其中,L100是一个包含100个单元的LSTM网络。紧接着,特征Fr被发送到一个卷积层,该卷积层卷积核数目为64,感受野大小为3,然后再送入批归一化处理层输出Fl,作为CBAM模块的输入,并对通道注意力和空间注意力进行处理,最后得到细化的特征Frf
其中的通道注意力Mc定义为:
Mc(Fl)=σ(M1(Pmaa(Fl))+M1(Pavg(Fl)))
式中:σ为sigmoid算子。M1表示一个两层全连接层,其单元数(8和64)分别设置为Fl通道的八分之一和整数倍。Pmax(·)和Pavg(·)分别表示最大池化和平均池化。两种不同的池化策略使本发明能够从原始数据中获得不同的特征表示。因此,通道注意力提供了中间特征Ft1=Mc(Fl)。通过逐元素乘以Fl,得到进一步的特征向量Fl’:
Fk’=Fk·Ft1
Fl’是空间注意力Ms的输入,Ms表示为:
Ms(Fl′)=σ(C3(Pmax(Fl′)⊙Pavg(Fl′)))
其中,⊙是一个串联算子,C3是一个一维卷积层。右上角的数字表示内核大小为3,其过滤器大小为1。在连接最大池化和平均池化之后,可以通过执行卷积运算符和在其上应用sigmoid激活函数来获得另一个中间特征向量Ft2=Ms(Fl′)。最后由中间特征向量Ft2和Fl之间的逐元素乘积的结果给出精化后的特征向量,如下所示:
Frf=Fl′·Ft2
本发明将CBAM块的输入(即上一批次归一化层的输出Fl)与其输出Frf合并为下一个网络部分的合并输入,从而保留了经过CBAM块后的原始特征信息。此外,FGM子网络的输出Ofgm由FGM数据依次通过第一整流线性单元(ReLU)、第一全连接层、第二整流线性单元(ReLU)、第二全连接层以及第一Softmax函数激活层获得。
三、生理指标子网络模块
本发明将CNN用作一个子网络来学习生理指标数据的未知特性。其网络结构如图1所示。该子网络的输入为生理指标数据X,输出Obm定义为:
Obm=N2(X)
式中,N2为生理指标子网络。考虑到生理指标数据获取的困难性及其数据量的有限性,进一步的,本发明通过选用具有一维卷积层的卷积神经网络以避免过拟合。这个卷积神经网络的卷积核数目设计为128,卷积移动的步幅设置为1,感受野大小设置为8。在卷积操作之前,本发明用相同的填充填满原始特征矩阵的边界,从而使卷积滤波器可以不受输入特征图边界的限制。然后,在卷积层后面紧跟一个批归一化层和一个整流线性单元层,分别加快收敛速度并增强模型的非线性。同时,考虑到批量归一化层在一定程度上缓解了深度神经网络中的梯度弥散问题,进一步增强了网络在训练过程中的简洁性和稳定性。此外,全局平均池化层、全连接层、整流线性单元层依次连接作为生理指标子网络的末端,并输出生理指标数据的特征向量Obm
四、基于注意力网络的异构数据融合模块
为了进行异构数据多维互补,本发明将结合CBAM模块的FGM子网络和生理指标子网络的两个输出特征向量进行数据融合。上述两个子网络分别从FGM和生理指标数据中提取特征向量Ofgm和Obm。将这两组子网络结合起来用于耦合训练。首先,需要将它们串联起来以获得混合特性F,该过程如下所示:
F=Ofgm⊙Obm
其中F包含M个特征元素,⊙表示两个特性的串联运算符。
混合特征向量F被用作自注意力网络的输入。
由于从异构数据中提取的两个特征向量Ofgm和Obm与最终的分类结果相关,但也存在程度上的差异。很难说特征向量的哪个部分更有可能影响最终结果。进一步的,本发明建立了一个基于自注意力的网络,通过从异构数据的所有可用和有效的信息来学习特征和糖尿病类型之间的关系。动态调整网络的模型参数,以达到最佳的融合策略。
特征向量F由Ofgm和Obm混合给出。以Fi∈F作为输入,在自注意力神经网络中计算输出Ki如下:
Ki=anh(Fi*wi+bi)
式中:wi和bi表示网络训练参数。
然后,将Ki放入Softmax函数进行归一化,以计算每个输入的权重值Wi,如下所示:
Figure BDA0003912878260000071
输入向量的得分通过Wi乘以输入值Fi得到。然后,对所有M个元素的加权得分求和,得到自注意力网络的输出结果:
Figure BDA0003912878260000081
令S依次通过一个批归一化层、一个ReLU激活函数层和一个全局平均池化层,得到特征图并将之送入分类器,采用Softmax函数进行糖尿病分类(I型或II型)。
五、全局优化模块
本发明以X和
Figure BDA0003912878260000082
为异构数据,以医生的诊断得出的病人糖尿病类型(记为Y)为网络学习目标,基于双注意力的耦合网络学习一个将异构数据X,
Figure BDA0003912878260000083
映射到Y的非线性函数
Figure BDA0003912878260000084
全局优化问题可以描述如下:
Figure BDA0003912878260000085
Figure BDA0003912878260000086
其中,
Figure BDA0003912878260000087
是Y的估计值,
Figure BDA0003912878260000088
是计算
Figure BDA0003912878260000089
和Y之间误差的函数。
计算最终输出与预期结果之间的误差
Figure BDA00039128782600000810
为了将误差减小到收敛,本发明使用Adam优化器对两个子网络参数进行优化,以便对耦合训练进行平衡调整。全局优化模块分批次将数据样本输入给两个子网络,依据得到的误差进行参数优化;其中,每一批次数据样本可以设定为32。
实施例:
一、收集数据并处理
本实施例所用数据从北京大学人民医院医学数据库中收集。原始BG数据是由FGM设备(FreestyleLibreH,Abbott)采样的。该装置使用皮下电极通过葡萄糖氧化酶测量穿戴者的血糖浓度,并以每15分钟一次的频率工作14天。此外,本实施例从电子病历(Electronic Medical Record,EMR)中获取多种生理指标,本发明使用的生理指标包括体重指数、糖化血红蛋白、丙氨酸氨基转移酶、天冬氨酸氨基转移酶、C肽、平均尿白蛋白-肌酐比、肌酐、谷氨酸脱羧酶抗体测定、胰岛素;其中,C肽和胰岛素分别为其释放试验检查开始以及在120分钟时的测试值。
本发明将专业医生的诊断作为模型训练标签的可靠来源,并在医生的确认下排除那些复杂情况导致明显血糖异常的个人。本实施例最终从60例研究对象中共获得182个有效序列进行后续处理,其中包括78例T1DM和104例T2DM。本实施例中使用的所有数据均经北京大学人民医院伦理委员会批准,参与者均知情同意并签署书面知情同意书。
收集数据后,需要进行数据处理。实际数据显示,大多数患者佩戴该设备超过6天,在这样规模的序列有足够的内部复杂性,以维持鉴别特征,他们不会过度延伸网络学习。因此,本发明将系列保持在6天(576个样本)的长度,并放弃其余的。对于那些长度超过12天的人,本发明将他们分成两个连续的不重叠的部分,并删除了多余的部分。我们注意到原始BG数据中的一些显著特征:具有相同类型糖尿病的患者具有相似的血糖水平,而不同类型的患者之间的血糖波动差异很大。
为保持数据相对原始,本实施例没有对它们实施缩放,从而使LSTM可以提取一些额外的信息。由于相当一部分患者在患病期间接受了医疗治疗,为了消除长期去趋势对提取高层特征的潜在不利影响,对其进行了长期去趋势处理。首先,采用顺序线性拟合实现:假设
Figure BDA0003912878260000091
为6天原始FGM序列X的均值,
Figure BDA0003912878260000092
为X的预测值并通过线性回归得到,最终送入LSTM的数据X’可以表示为:
Figure BDA0003912878260000093
经过数据正则化后,每个X’作为LSTM的输入是一个大小为576×1的数组。对于生理指标数据,绝大多数患者只在他们的EMR中提供少数指标,少数群体甚至没有做相关监测而没有提供任何信息,这导致数据缺失的问题。本发明采用补零的方法来解决这个问题,以填补缺失数据的位置,从而使数据可用于特征提取。
二、测量指标与实验设置
对于测量指标,本发明基于经典的二分类,使用ACCuracy(ACC)、RECall(REC)、PREcision(PRE)、Negative Precision Value(NPV)、SPEcificity(SPE)和F1值评估网络性能的标准。更佳的,为了解决当训练数据类型之间存在不平衡时上述指标存在不准确性的问题,本发明引入G-mean和Matthews相关系数(MCC)来表示T1DM和T2DM具有不同样本量的情况下网络的性能。
对于实验设置,研究中实施了多个基准测试。在各种传统机器学习网络和主流深度学习模型上,本发明通过并行测试来评估模型的有效性。训练和测试基于5折交叉验证,本发明以个体为单位,以确保5折之间没有重叠的数据。特别地,在实验中强调了两个方面:
(1)对异质数据不同模态的学习能力。
(2)双注意力机制策略的有效性。
三、多源数据评估的析因实验
如前所述,LSTM和CNN是分别从FGM和生理指标中学习特征的子网络。然而当网络耦合后,我们尚不可知是否能保留两个子网络的优异性能。因此,本发明进行了L9(32)的析因实验来评估。L9(32)中的两个因子分别指两个数据源和三个级别,是单源数据测试(用于FGM的LSTM、CNN、ResNet网络结构和用于生理指标的CNN、Inception和MLP网络结构)中排名前三的子网络。实验是在双重注意机制的条件下进行的。
通过图3中的受试者工作特征(ReceiverOperating Characteristic,ROC)曲线,LSTM-CNN在TPR和FPR方面均优于其他所有耦合网络。在除LSTM-CNN外的所有线条中,以饱和度较高而非较低线条为代表的方法表现较好。同样的结果也可以从ROC曲线下面积(AUC)中反映出来。所提耦合网络的AUC值达到0.9428,比AUC性能排名第二的CNN-Inception方法高0.0449(5.00%),比AUC性能最差的耦合方法高0.2956(45.67%)。此外,在生理指标网络中使用CNN时,性能更好,三个网络分别排名第一、第三和第四。与之形成鲜明对比的是,耦合网络在与LSTM网络耦合时表现出巨大的差异,分别从第1、第5和第9中散射出来。因此,用于生理指标特征提取的CNN比用于FGM数据特征提取的LSTM具有更强的鲁棒性。
四、双重注意力机制的消融研究
本发明通过消融研究来检验双注意力的有效性。将两个不同的注意力块逐步集成到网络结构中,以比较它们的效果并测试其有效性。结果呈现在如图4所示的ROC曲线和如图5所示的小提琴图中,其中图5(a)-(h)分别表示不同指标的耦合网络的结果。小提琴图不仅可以让本发明学习在相同训练策略下交叉验证方法的结果分布,还可以比较不同注意力的表现。
(1)CBAM注意模块。在图5(a)-(h)的不同度量下,值得注意的是带有CBAM的LSTM-CNN网络的性能优于没有引入注意力的原始耦合网络,这一点无论是IQR(中间的粗灰条)还是均值(中间的水平线)都显示了。除此之外,两种策略之间的中间值(粗棒上的圆点)也存在显著差异。在图5(f)-(h)中,通过MCC、F1值和G-mean,带有CBAM的耦合网络的最小值明显高于没有引入注意力的耦合网络的第三个四分位数。这些结果表明CBAM有利于大幅度提高所提出的耦合网络的整体性能。
(2)自注意模块。单独使用自注意力的耦合网络在一定程度上提高了性能。如图5所示,在每个度量中,具有自注意力的耦合网络的中值和平均值都高于非注意力。虽然自注意力耦合网络的IQR在MCC、F1-score和G-mean中的范围更广,但其更宽的小提琴图部分向顶端倾斜,这意味着交叉验证结果在高值处分布密集。一般来说,具有自注意力而非无注意力的耦合网络的性能改善有限。
(3)双重注意力网络。根据自注意力与结合了CBAM注意力的耦合网络实验证据,我们得出,具有双注意力的耦合网络进一步提升了方法的整体性能。在图5所示的八个度量指标中,在结果分布的均值、中位数和紧凑度方面,当包含非注意力或自注意力时,具有双注意力的耦合网络具有优势。与使用CBAM相比,双注意力策略在大多数指标上获得了更高的意义,如准确性、精确性、特异性等。尽管单独的CBAM在召回率指标上表现略胜一筹,然而双重注意力策略的F1值存在绝对优势。其中,F1值是一个精确和召回的综合指标。综上,在耦合网络中加入CBAM注意力后,均值、中位值和紧密性等指标的数值均有提升。在此基础上,充分利用对融合部分的自注意力来动态调整不同数据源的权重,使得分类结果的平均水平上升且大多数度量指标的异常值较少。
五、定量评估
在这一部分中,本发明通过数值量化的方法来分析网络性能。如表1所示,我们进行了四组定量评价。
表1量化分析结果
Figure BDA0003912878260000111
组1和组2使用FGM或生理指标(BMs)的两个单一数据源,组3和组4使用异构数据。从整体来看,后两组糖尿病分类实验的表现要好于前两组。此外,在前两组实验中,使用相同的网络进行学习,但是对于不同来源的数据得到了不同的结果。在大多数指标中,使用生理指标数据集的结果在FGM数据源上至少高出10个百分点。一个例子是,在相同的CNN网络中,两组之间的数值差异为25.538%,而F1值和G-均值的结果相差近30个百分点。两者的标准差之差超过2.5个百分点。这足以证明,本发明采用的具有多维医疗记录的生理指标数据集比FGM数据集具有更多的鉴别特征。
第3组采用LSTM和CNN耦合的方案处理异构数据。这个小组的实验是评估注意力的表现。与无注意力或单注意力的方案相比,双注意力在除召回率以外的几乎所有指标的平均值和标准差上取得了最好的结果。聚焦于MCC、F1值和G-mean,双注意力耦合网络的均值分别为91.333%、94.939%和94.937%,比无注意力网络分别高出87.84%、35.08%和30.02%,比CBAM方案分别高出10.46%、5.43%和3.51%。第四组实验是双注意力条件下不同网络耦合方案的性能评估结果。而LSTM-CNN耦合网络在REC(2.472%)和NPV(2.269%)上的得分略低于ResNet-CNN,但在ACC(高出6.224%)、PRE(高出17.082%)、SPE(高出11.751%)、MCC(高出12.046%)、F1值(高出7.975%)和G-mean(高出4.754%)等指标上都显著优于ResNet-CNN,是最优方案。除此之外,综合指标MCC、F1和G-mean的标准差(即5折交叉验证的结果分布)分别为10.669%、6.450%和6.238%。这足以表明,本发明采用的耦合方案在所有网络中具有更可靠的可能性分布函数。
六、结论
结合实施例实践,综合上述分析,本发明的技术路线简述及其特点如下:首先,结合了CBAM的FGM子网络和生理指标子网络分别从双源数据中学习潜在的特征。对于FGM序列数据,本发明利用CBAM注意力机制依次从通道和空间两个维度推断注意力,提升了网络的学习能力。其次,两个最优子网络的耦合通过自注意力完成了特征融合,对两部分得到的特征图的重要性进行了动态分配。最后,本发明使用T1DM和T2DM的真实数据集对所提方法的性能进行了评估。模型达到了95.835%的最佳精度,MCC、F1值和G-mean分别达到了91.333%、94.939%和94.937%。ROC曲线下的面积为0.9428,这足以证明,本发明能够对糖尿病的类型进行可靠的分类。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于异构数据的双重注意力耦合网络糖尿病分类系统,其特征在于,包括数据收集模块、FGM子网络模块、生理指标子网络模块、异构数据融合模块以及全局优化模块;
所述数据收集模块采集用于诊断糖尿病的生理指标数据X以及糖尿病患者的FGM数据
Figure FDA0003912878250000011
所述FGM子网络模块用于:
Figure FDA0003912878250000012
数据进行预处理,得到输入的真实值,记为
Figure FDA0003912878250000013
然后将其送入LSTM网络以获得原始特征Fr
Figure FDA0003912878250000014
其中,L100是一个包含100个单元的LSTM网络;
特征Fr先被送入第一卷积层,然后再送入批归一化处理层输出Fl,继而再利用CBAM模块对通道注意力和空间注意力进行处理,最后得到细化的特征Frf,其中:
通道注意力Mc定义为:
Mc(Fl)=σ(M1(Pmax(Fl))+M1(Pavg(Fl)))
式中:σ为sigmoid算子;M1表示一个两层全连接层;Pmax(·)和Pavg(·)分别表示最大池化和平均池化;通道注意力提供中间特征Ft1=Mc(Fl);通过逐元素乘以Fl,得到进一步的特征向量Fl’:
Fl’=Fl·Ft1
Fl′作为空间注意力Ms的输入,表示为:
Ms(Fl′)=σ(C3(Pmax(Fl′)⊙Pavg(Fl′)))
其中,⊙是一个串联算子,C3是一个内核大小为3的一维卷积层,其过滤器大小为1;在连接最大池化和平均池化之后,通过执行卷积运算符和在其上应用sigmoid激活函数来获得另一个中间特征向量Ft2=Ms(Fl′);最后由中间特征向量Ft2和Fl之间的逐元素乘积的结果给出细化后的特征:
Frf=Fl′·Ft2
将CBAM模块的输入Fl与其输出Frf合并,依次通过第一整流线性单元、第一全连接层、第二整流线性单元、第二全连接层以及第一Softmax函数激活层,得到FGM子网络模块的输出Ofgm
所述生理指标子网络模块用于:
将生理指标数据X依次经过第二卷积层、第二批归一化层、第三整流线性单元层、全局平均池化层、第三全连接层、第四整流线性单元层后,得到生理指标数据的特征向量Obm
所述异构数据融合模块用于:
将特征向量Ofgm和Obm串联起来以获得混合特性F:
F=Ofgm⊙Obm
其中,F包含M个元素,M是特征数;⊙表示两个特性的串联运算符;
将F中对应于每一个特征的数据Fi∈F作为输入,在自注意力神经网络中计算输出Ki如下:
Ki=tanh(Fi*wi+bi);
式中,wi和bi表示网络训练参数;
然后,将Ki放入Softmax函数进行归一化,以计算每个输入的权重值Wi,如下所示:
Figure FDA0003912878250000021
输入向量Fi的得分可以通过Wi乘以输入值Fi得到;
然后,对所有M个元素的加权得分求和,得到自注意力网络的输出结果:
Figure FDA0003912878250000022
令S依次通过一个批归一化层、一个ReLU激活函数层和一个全局平均池化层,得到特征图并将之送入分类器,在分类器中采用Softmax函数对糖尿病所属类型进行分类;
所述全局优化模块用于:
分批次将数据采集模块的生理指标数据X和FGM数据对应送入FGM子网络模块和生理指标子网络模块,计算异构数据融合模块输出的糖尿病所属类型分类结果与数据采集模块给定的糖尿病类型的误差,基于误差对FGM子网络模块和生理指标子网络模块参数进行优化;优化完成后,将待检测患者的生理指标数据X和FGM数据送入FGM子网络模块和生理指标子网络模块,得到异构数据融合模块输出的糖尿病所属类型分类结果。
2.如权利要求1所述的基于异构数据的双重注意力耦合网络糖尿病分类系统,其特征在于,生理指标包括体重指数、糖化血红蛋白、丙氨酸氨基转移酶、天冬氨酸氨基转移酶、C肽、平均尿白蛋白-肌酐比、肌酐、谷氨酸脱羧酶抗体测定、胰岛素;其中,C肽和胰岛素分别为其释放试验检查开始以及在120分钟时的测试值。
3.如权利要求1所述的基于异构数据的双重注意力耦合网络糖尿病分类系统,其特征在于,对于数据采集模块采集的FGM数据,得到设定天数的FGM数据的均值
Figure FDA0003912878250000023
通过线性回归得到X的预测值
Figure FDA0003912878250000024
最终送入LSTM的数据表示为:
Figure FDA0003912878250000025
4.如权利要求1所述的基于异构数据的双重注意力耦合网络糖尿病分类系统,其特征在于,所述第一卷积层的卷积核数目为64,感受野大小为3。
5.如权利要求1所述的基于异构数据的双重注意力耦合网络糖尿病分类系统,其特征在于,两层全连接层M1的单元数分别设置为Fl通道的八分之一和整数倍。
6.如权利要求1所述的基于异构数据的双重注意力耦合网络糖尿病分类系统,其特征在于,所述全局优化模块使用Adam优化器对FGM子网络模块和生理指标子网络模块参数进行优化。
7.如权利要求1所述的基于异构数据的双重注意力耦合网络糖尿病分类系统,其特征在于,所述全局优化模块按照每一批次数据样本数为32的方式将数据送入FGM子网络模块和生理指标子网络模块。
CN202211339943.8A 2022-10-27 2022-10-27 一种基于异构数据的双重注意力耦合网络糖尿病分类系统 Active CN115691788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211339943.8A CN115691788B (zh) 2022-10-27 2022-10-27 一种基于异构数据的双重注意力耦合网络糖尿病分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211339943.8A CN115691788B (zh) 2022-10-27 2022-10-27 一种基于异构数据的双重注意力耦合网络糖尿病分类系统

Publications (2)

Publication Number Publication Date
CN115691788A true CN115691788A (zh) 2023-02-03
CN115691788B CN115691788B (zh) 2023-07-14

Family

ID=85047042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211339943.8A Active CN115691788B (zh) 2022-10-27 2022-10-27 一种基于异构数据的双重注意力耦合网络糖尿病分类系统

Country Status (1)

Country Link
CN (1) CN115691788B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373656A (zh) * 2023-10-30 2024-01-09 北京理工大学 一种基于异构数据的糖尿病弱监督分类方法
CN117379044A (zh) * 2023-11-15 2024-01-12 北京理工大学 基于阵列式阻抗检测和图神经网络的无创血糖监测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717869A (zh) * 2018-05-03 2018-10-30 中国石油大学(华东) 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统
US20200410355A1 (en) * 2019-06-28 2020-12-31 International Business Machines Corporation Explainable machine learning based on heterogeneous data
US20210216862A1 (en) * 2020-01-15 2021-07-15 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for semantic analysis of multimedia data using attention-based fusion network
WO2022007526A1 (zh) * 2020-07-07 2022-01-13 云境商务智能研究院南京有限公司 一种基于多视图注意力机制的旅游包推荐方法
CN114898147A (zh) * 2022-05-09 2022-08-12 桂林电子科技大学 一种基于双端多注意力学习的新冠肺炎胸片图像分类系统
WO2023280065A1 (zh) * 2021-07-09 2023-01-12 南京邮电大学 一种面向跨模态通信系统的图像重建方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717869A (zh) * 2018-05-03 2018-10-30 中国石油大学(华东) 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统
US20200410355A1 (en) * 2019-06-28 2020-12-31 International Business Machines Corporation Explainable machine learning based on heterogeneous data
US20210216862A1 (en) * 2020-01-15 2021-07-15 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for semantic analysis of multimedia data using attention-based fusion network
WO2022007526A1 (zh) * 2020-07-07 2022-01-13 云境商务智能研究院南京有限公司 一种基于多视图注意力机制的旅游包推荐方法
WO2023280065A1 (zh) * 2021-07-09 2023-01-12 南京邮电大学 一种面向跨模态通信系统的图像重建方法及装置
CN114898147A (zh) * 2022-05-09 2022-08-12 桂林电子科技大学 一种基于双端多注意力学习的新冠肺炎胸片图像分类系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG ZHUO: "A survey on computer aided diagnosis for ocular diseases", 《PUBMED期刊》, pages 74 - 78 *
钟雅婷: "多组学数据整合分析和应用研究综述", 《计算机工程与应用》, pages 1 - 17 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373656A (zh) * 2023-10-30 2024-01-09 北京理工大学 一种基于异构数据的糖尿病弱监督分类方法
CN117379044A (zh) * 2023-11-15 2024-01-12 北京理工大学 基于阵列式阻抗检测和图神经网络的无创血糖监测方法

Also Published As

Publication number Publication date
CN115691788B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
Shamshirband et al. A review on deep learning approaches in healthcare systems: Taxonomies, challenges, and open issues
WO2021120936A1 (zh) 一种基于多任务学习模型的慢病预测系统
Deng et al. A retinal blood vessel segmentation based on improved D-MNet and pulse-coupled neural network
CN115691788A (zh) 一种基于异构数据的双重注意力耦合网络糖尿病分类系统
CN107358014B (zh) 一种生理数据的临床前处理方法及系统
Wee et al. Diabetes detection based on machine learning and deep learning approaches
CN114023441A (zh) 基于可解释机器学习模型的严重aki早期风险评估模型、装置及其开发方法
CN108511056A (zh) 基于脑卒中患者相似性分析的治疗方案推荐方法及系统
WO2021073255A1 (zh) 基于时序聚类的用药提醒方法及相关设备
CN113470816A (zh) 一种基于机器学习的糖尿病肾病预测方法、系统和预测装置
Xiong et al. Prediction of hemodialysis timing based on LVW feature selection and ensemble learning
CN109949941A (zh) 基于大数据精准医疗的心血管疾病风险监控系统
CN114974585A (zh) 一种妊娠期代谢综合征早期风险预测评估模型构建方法
CN114023440A (zh) 可解释分层老年mods早期死亡风险评估模型、装置及其建立方法
CN117116477A (zh) 基于随机森林和XGBoost的前列腺癌患病风险预测模型的构建方法及系统
CN112052874A (zh) 一种基于生成对抗网络的生理数据分类方法及系统
Wang et al. A dual-attention based coupling network for diabetes classification with heterogeneous data
CN114300126A (zh) 一种基于早癌筛查问卷与前馈神经网络的癌症预测系统
CN111261283B (zh) 基于金字塔型卷积层的心电信号深度神经网络建模方法
Zhang et al. Meddet: Generative adversarial distillation for efficient cervical disc herniation detection
Das et al. Accurate recognition of coronary artery disease by applying machine learning classifiers
Aboalnaser et al. Comprehensive study of diabetes miletus prediction using different classification algorithms
CN114983341A (zh) 基于多模态特征融合的阿尔茨海默病多分类预测系统
CN114550910A (zh) 基于人工智能的射血分数保留型心衰诊断及分型系统
Qin A Prediction Model of Diabetes Based on Ensemble Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant