CN116189906B - 脓毒症实时预警的神经网络模型、方法和电子设备 - Google Patents

脓毒症实时预警的神经网络模型、方法和电子设备 Download PDF

Info

Publication number
CN116189906B
CN116189906B CN202310476267.7A CN202310476267A CN116189906B CN 116189906 B CN116189906 B CN 116189906B CN 202310476267 A CN202310476267 A CN 202310476267A CN 116189906 B CN116189906 B CN 116189906B
Authority
CN
China
Prior art keywords
time sequence
point
output
sequence point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310476267.7A
Other languages
English (en)
Other versions
CN116189906A (zh
Inventor
陈虎
涂燕晖
姚振杰
程海博
陈一昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Future Network Group Co ltd
Original Assignee
Jiangsu Future Network Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Future Network Group Co ltd filed Critical Jiangsu Future Network Group Co ltd
Priority to CN202310476267.7A priority Critical patent/CN116189906B/zh
Publication of CN116189906A publication Critical patent/CN116189906A/zh
Application granted granted Critical
Publication of CN116189906B publication Critical patent/CN116189906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Genetics & Genomics (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请公开了一种脓毒症实时预警的神经网络模型、方法和电子设备，采用了一种新的神经网络模型由此进行脓毒血症的预警，该神经网络模型综合了双向时序循环网络和注意力机制，能够将特征缺失值的数值回归预测任务以及序列点结局分类预测任务，在一次训练中同时进行，无需将回归和分类任务拆分成两个独立任务分别独立训练，提高模型开发效率，减轻部署难度；该算法充分利用相同特征在不同时序点的关联性以及不同特征在相同时序点上的关联性，并对这两种关联性进行数学建模，以提高算法预测性能。在正反两个方向分别增加注意力机制模块，大幅消除长序列预测功能丧失的问题。

Description

脓毒症实时预警的神经网络模型、方法和电子设备
技术领域
本申请涉及到医学检测技术领域，具体涉及一种脓毒症实时预警的神经网络模型、方法、装置、存储介质和电子设备。
背景技术
脓毒症是一种由机体对感染反应异常引起的危及生命的器官功能障碍，在全球范围内，其影响的人群达数百万之多，其中三分之一到六分之一的人死于此病。
通常使用SIRS、SOFA和qSOFA等临床方法别脓毒症，但存在如下瑕疵：(1)临床方法存在主观误判风险，其准确度与临床医生专业素养及经验强相关；(2)临床方法不具备实时预警功能，临床医生需要一系列复杂的定性及定量记录及检测才能完成一次评估，每日最多可完成2~3次。(3)临床方法不具备早期预警功能，临床方法确定潜在患者为脓毒症患者的时刻落后于患者罹患脓毒症的临界时刻，已经不存在疾病预警期，患者失去规避疾病发生的机会。
相比临床方法，以机器学习为主导的脓毒症判别算法是一种完全数字驱动的决策系统，一种全天候的实时预警系统，一种可自定义预警期的早期预警系统。Li等在Li X, XuX, Xie F, Xu X, Sun Y, Liu X, Jia X, Kang Y, Xie L, Wang F, Xie G. A Time-Phased Machine Learning Model for Real-Time Prediction of Sepsis in CriticalCare. Crit Care Med. 2020 Oct;48(10):e884-e888. doi: 10.1097/CCM.0000000000004494. PMID: 32931194中使用lightGBM算法可以提前6小时实时预测出患者是否患有脓毒症，性能指标AUC达到0.845。 需要说明的是该方法采用的脓毒症数据集来自真实医疗环境的时序化数据，其多数特征缺失率达80%以上，数据的时序化以及高缺失率是脓毒症数据的显著特点，也是创建机器学习算法的难点。对于时序化数据，lightGBM并不是最佳选择，lightGBM处理时序化样本数据时，默认相同特征在不同时序点上相互独立，这显然与实际不符。另外，在处理缺失值时，该方法并未对空值插值，大量的空值会降低模型预测准确度。在与临床医生探讨中发现，医生不仅关注预测结果，更注重缺失值的估计，某些特定时间戳上的缺失值很可能是造成脓毒症发生的主因。针对该算法存在的问题，Cao等在W. Cao, D. Wang, J. Li, H. Zhou, L. Li, Y. Li, BRITS: Bidirectionalrecurrent imputation for time series, in: Adv. Neural Inf. Process. Syst.31,2018, pp. 6774–6784.中提出的BRITS算法可以解决时序化数据插值和时序特征关联性建模等问题。BRITS实质是双向循环神经网络，它认为相同特征在不同时间戳上的值存在关联性，并充分利用这种关系提高了算法预测性能，同时它使用循环神经网络完成缺失值的估计，进一步提高算法预测性能。然而循环神经网络在处理较长序列数据时，容易出现梯度消失，这将导致未来多个时序点上训练停止，失去预测功能。采用双向循环神经网络可以小幅度抵消梯度消失问题，但效果不明显。
发明内容
本申请实施例提供了一种脓毒症实时预警的神经网络模型、方法和电子设备，用于解决现有技术中对脓毒血症预测不准确的技术问题。
本申请的一个方面，提供了一种脓毒症实时预警的神经网络模型，包括：
数据处理模块，用于根据监测得到的每个时序点的变量观测数据，获得每个时序点的遮蔽数据以及每个时序点的时间间隔数据；
编码器模块，用于根据所述每个时序点的变量观测数据、所述每个时序点的遮蔽数据、每个时序点的时间间隔数据以及每个时序点的前一时序点的隐藏状态按照时序点排列的从前向后的顺序和按照时序点排列的从后向前的顺序分别获得上述两个顺序方向上每个时序点的隐藏状态；
注意力机制模块，用于在每个所述顺序方向上根据所有时序点的隐藏状态、所有第一译码器输入进行注意力机制调节获得注意力机制输出；
译码器模块，用于在每个所述顺序方向上根据所述每个时序点的第一译码器输入和每个时序点的第二译码器输入获得每个时序点的译码器输出；在按照时序点排列的从前向后的顺序上，所述每个时序点的第一译码器输入为前一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；在按照时序点排列的从后向前的顺序上，所述每个时序点的第一译码器输入为后一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；
求和模块，用于将所述两个顺序方向上获得的同一时序点的译码器输出进行加权求和获得每个时序点的输出；
回归输出模块，用于根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据；
分类输出模块，用于根据所述每个时序点的输出获得所述每个时序点发生脓毒血症的预测分类结果。
进一步的，在本发明中，所述遮蔽数据中第t个时序点的第d个变量
Figure SMS_1
的遮蔽值为
Figure SMS_2
；
所述时间间隔数据中第t个时序点的第d个变量
Figure SMS_3
的值为
Figure SMS_4
，其中，/>
Figure SMS_5
为第t个时序点的变量观测数据/>
Figure SMS_6
对应的时间戳。
进一步的，在本发明中，所述隐藏状态的获得方法包括：在按照时序点排列的从前向后的顺序上，建立时序点t对应的输出端衰减函数
Figure SMS_7
；
其中，
Figure SMS_8
，H为单个时序点对应隐藏单元的个数，D为所述变量观测数据中变量种类的数量；/>
Figure SMS_9
均为输出端衰减函数/>
Figure SMS_10
的待定系数、且/>
Figure SMS_11
的初始值均由高斯分布抽样确定；/>
Figure SMS_12
为所述时间间隔数据中时序点t的时间间隔向量，/>
Figure SMS_13
；
时序点t对应的隐藏状态
Figure SMS_14
；
其中，
Figure SMS_15
为矩阵取内积符号，/>
Figure SMS_20
代表纵向拼接；/>
Figure SMS_24
，默认初始值/>
Figure SMS_18
由高斯分布抽样确定；/>
Figure SMS_21
，/>
Figure SMS_22
为第t 个序列点对应的遮蔽向量且 />
Figure SMS_25
，
Figure SMS_16
为sigmoid激活函数；B，C，d均为隐藏状态/>
Figure SMS_19
的待定系数、且B，C，d初始值均由高斯分布抽样确定；/>
Figure SMS_23
为/>
Figure SMS_26
完成最终插值后的值，/>
Figure SMS_17
；
在按照时序点排列的从后向前的顺序上，建立时序点t对应的输出端衰减函数
Figure SMS_27
；其中，/>
Figure SMS_28
，/>
Figure SMS_29
均为输出端衰减函数H/>
Figure SMS_30
的待定系数、且/>
Figure SMS_31
初始值均由高斯分布抽样确定；
按照时序点排列的从前向后的顺序建立时序点t对应的隐藏状态
Figure SMS_32
；其中，/>
Figure SMS_33
，默认初始值/>
Figure SMS_34
由高斯分布抽样确定；
Figure SMS_35
；/>
Figure SMS_36
均为隐藏状态/>
Figure SMS_37
的待定系数、且/>
Figure SMS_38
初始值均由高斯分布抽样确定。
进一步的，在本发明中，所述每个顺序方向上各有一个注意力机制模块，所述每个注意力机制模块包括第一全连接层、第一softmax层和加权求和模块；所述注意力机制输出的获得方法包括：
将所有时序点的隐藏状态、所有时序点的第一译码器的输入,输入至所述第一全连接层获得第一全连接层的输出；将所述第一全连接层的输出，输入至所述第一softmax层后得到所述第一softmax层输出；
将所有时序点的隐藏状态和第一全连接层的输出在所述加权求和模块中进行矩阵运算后获得注意力机制输出。
进一步的，在本发明中，按照时序点排列的从前向后的顺序上，所述时序点的译码器输出为
Figure SMS_39
；
其中，
Figure SMS_40
，W和b均为译码器输出/>
Figure SMS_41
的待定系数且W和b均使用高斯分布抽样初始化，/>
Figure SMS_42
为按照时序点排列的从前向后的顺序上的时序点t的注意力机制输出，/>
Figure SMS_43
；
按照时序点排列的从后向前的顺序上，所述时序点的译码器输出为
Figure SMS_44
；其中，/>
Figure SMS_45
均为译码器输出/>
Figure SMS_46
的待定系数且/>
Figure SMS_47
均使用高斯分布抽样初始化，/>
Figure SMS_48
为按照时序点排列的从前向后的顺序上的时序点t的注意力机制输出，
Figure SMS_49
。
进一步的，在本发明中，所述将所述两个顺序方向上获得的同一时序点t的译码器输出进行加权求和获得时序点t的输出为
Figure SMS_50
；其中/>
Figure SMS_51
为时序点t的输出/>
Figure SMS_52
的待定系数且/>
Figure SMS_53
初始值由高斯分布抽样确定。
进一步的，在本发明中，根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据包括：利用相同变量在不同时序点上的关系得到插值结果
Figure SMS_56
；其中，/>
Figure SMS_58
为时序点t上所有变量的预测值；
Figure SMS_60
为/>
Figure SMS_54
的待定系数且/>
Figure SMS_57
使用高斯分布抽样初始化；/>
Figure SMS_59
使用预测值/>
Figure SMS_61
填充自身的缺失值后得到/>
Figure SMS_55
；
利用不同变量在相同时序点上的关系得到插值结果
Figure SMS_62
；其中，
Figure SMS_63
，E和e为/>
Figure SMS_64
的待定系数且E和e使用高斯分布抽样初始化；E的主对角线上数值全部为0；
所述时序点t的插值为
Figure SMS_68
，其中，/>
Figure SMS_71
，
Figure SMS_76
，/>
Figure SMS_66
，/>
Figure SMS_72
，/>
Figure SMS_75
均为/>
Figure SMS_77
的待定系数且/>
Figure SMS_65
初始值均由高斯分布抽样确定，/>
Figure SMS_70
为sigmoid函数，/>
Figure SMS_73
作为/>
Figure SMS_78
与/>
Figure SMS_67
的融合系数，/>
Figure SMS_69
中的每个元素的取值为/>
Figure SMS_74
区间。
进一步的，在本发明中，所述分类输出模块包括第二全连接层和第二softmax层，根据所述每个时序点的输出获得所述每个时序点是否会发生脓毒血症的预测分类结果的方法包括：
将所述每个时序点的输出输入至所述第二全连接层获得第二全连接层输出；
将所述第二全连接层输出输入至所述第二softmax层获得所述softmax层输出作为发生脓毒血症的预测分类结果。
进一步的，在本发明中，还包括：
特征值贡献计算模块，用于针对每个样本
Figure SMS_79
，使用KernelSHAP算法计算出样本/>
Figure SMS_80
中每个特征j在每个时序点上的贡献值/>
Figure SMS_81
，并根据/>
Figure SMS_82
与0之间的关系获得特征j对发生脓毒血症的贡献；
和/或，
干预方案提供模块，用于针对每个样本
Figure SMS_83
，采用DiCE算法获得与所述样本/>
Figure SMS_84
对应的患者的指标调整方案作为干预发生脓毒血症的参考方案。
本发明的第二个方面，提供一种脓毒症实时预警的方法，包括：
根据监测得到的每个时序点的变量观测数据，获得每个时序点的遮蔽数据以及每个时序点的时间间隔数据；
根据所述每个时序点的变量观测数据、所述每个时序点的遮蔽数据、每个时序点的时间间隔数据以及每个时序点的前一时序点的隐藏状态按照时序点排列的从前向后的顺序和按照时序点排列的从后向前的顺序分别获得上述两个顺序方向上每个时序点的隐藏状态；
在每个所述顺序方向上根据所述所有时序点的隐藏状态、所有时序点的第一译码器输入进行注意力机制调节获得每个时序点的注意力机制输出；
用于在每个所述顺序方向上根据所述每个时序点的第一译码器输入和每个时序点的第二译码器输入获得每个时序点的译码器输出；在按照时序点排列的从前向后的顺序上，所述每个时序点的第一译码器输入为前一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；在按照时序点排列的从后向前的顺序上，所述每个时序点的第一译码器输入为后一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；
将所述两个顺序方向上获得的同一时序点的译码器输出进行加权求和获得每个时序点的输出；
根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据；
根据所述每个时序点的输出获得所述每个时序点发生脓毒血症的预测分类结果。
进一步的，在本发明中，所述方法还包括：
针对每个样本，使用KernelSHAP算法计算出样本
Figure SMS_85
中每个特征j在每个时序点上的贡献值/>
Figure SMS_86
，并根据/>
Figure SMS_87
与0之间的关系获得特征j对发生脓毒血症的贡献；
和/或，
针对每个样本
Figure SMS_88
，采用DiCE算法获得与所述样本/>
Figure SMS_89
对应的患者的指标调整方案作为干预发生脓毒血症的参考方案。
本申请的第三个方面，提供一种电子设备，包括处理器、存储器和存储在所述存储器内的计算机程序，所述计算机程序被配置为被所述处理器运行时采用本申请第一方面所述模型获得所述脓毒血症的预测分类结果。
在本申请实施例中，采用了一种新的神经网络模型由此进行脓毒血症的预警，该神经网络模型综合了双向时序循环网络和注意力机制，能够将特征缺失值的数值回归预测任务以及序列点结局分类预测任务，在一次训练中同时进行，无需将回归和分类任务拆分成两个独立任务分别独立训练，提高模型开发效率，减轻部署难度；该算法充分利用相同特征在不同时序点的关联性以及不同特征在相同时序点上的关联性，并对这两种关联性进行数学建模，以提高算法预测性能。在正反两个方向分别增加注意力机制模块，大幅消除长序列预测功能丧失的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种脓毒症实时预警的神经网络模型建立方法；
图2是根据本申请实施例在数学建模时涉及的
Figure SMS_90
之间的关系示例；
图3是根据本申请实施例中一种脓毒症实时预警的神经网络模型结构示意图；
图4是根据本申请实施例中利用遗传算法确定神经网络模型超参数的流程图；
图5是根据本申请实施例中利用遗传算法优化神经网络模型超参数结果的可视化图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明的具体实施例提供一种新的脓毒症实时预警的神经网络模型，以针对脓毒症预警场景下常出现的数据缺失、预测性能差的技术问题。
如图1所示，上述一种脓毒症实时预警的神经网络模型的建立方法，包括如下步骤：
步骤S1、输入数据的数学建模。
步骤S2、构建ABRITS算法模型。
步骤S3、遗传算法确定ABRITS的超参数。
步骤S4、SHAP归因分析及DiCE干预方案推荐。
上述模型的建立方法的过程中，步骤S1具体包括，根据监测得到的每个时序点的变量观测数据，获得每个时序点的遮蔽数据以及每个时序点的时间间隔数据。上述过程在图3中通过所述数据处理模块完成。具体该步骤的处理过程如下：
本发明的实施例的输入数据为多变量序列X，
Figure SMS_92
作为观测值序列，/>
Figure SMS_97
。每个时序点上的任一变量均对应一个指标特征。第t个序列点的观测值集合
Figure SMS_102
表示第t个序列点的第d个变量值。/>
Figure SMS_94
对应的时间戳用
Figure SMS_98
表示。需要特别说明的是/>
Figure SMS_101
之间的时间间隔并不是相同的。/>
Figure SMS_103
很可能存在缺失值，因此本发明的实施例中引入遮蔽矩阵/>
Figure SMS_91
，其中/>
Figure SMS_95
为第t个序列点对应的遮蔽向量，
Figure SMS_99
，即/>
Figure SMS_104
为D行1列向量。使用/>
Figure SMS_93
表示/>
Figure SMS_96
中的第d变量的遮蔽值，其表达式如公式(1)所示。/>
Figure SMS_100
。
许多实际场景中出现连续多个缺失值的情形，所以需要构建衰减单元，因此本发明的具体实施例中引入时间间隔矩阵
Figure SMS_105
，其中/>
Figure SMS_106
为第t个序列点对应的时间间隔向量，/>
Figure SMS_107
，衰减单元的重要输入参数就是/>
Figure SMS_108
。使用/>
Figure SMS_109
表示时间间隔矩阵/>
Figure SMS_110
的第d个变量的时间间隔值，具体表达式如公式(2)所示。/>
Figure SMS_111
。
上述
Figure SMS_113
之间关系的图解说明如图2所示。由图2可以看出/>
Figure SMS_116
对应的时间戳/>
Figure SMS_118
分别为0，2，7，9，14，15，对应的遮蔽向量为/>
Figure SMS_114
，对应的时间间隔向量为
Figure SMS_117
。现在考察/>
Figure SMS_119
，根据定义，/>
Figure SMS_122
对应的缺失值/>
Figure SMS_112
的上一次真实观测到的值是/>
Figure SMS_115
，其时间戳之差/>
Figure SMS_120
，同理可得其余/>
Figure SMS_121
值。
上述模型的建立方法的过程中，步骤S2中构建的模型ABRITS即为本发明实施例中带有注意力的双向时序循环插值模型(Attentional Bidirectional RecurrentImputation for Time Series, 简称ABRITS)，如图3所示处所述数据处理模块以外的部分，该部分主要包括分布于图3左右两侧的一个前向循环神经网络和一个后向循环神经网络，该模型的具体组成如下：
编码器模块，用于根据所述每个时序点的变量观测数据、所述每个时序点的遮蔽数据、每个时序点的时间间隔数据以及每个时序点的前一时序点的隐藏状态按照时序点排列的从前向后的顺序和按照时序点排列的从后向前的顺序分别获得上述两个顺序方向上每个时序点的隐藏状态。
注意力机制模块，用于在每个所述顺序方向上根据所有时序点的隐藏状态、所有第一译码器输入进行注意力机制调节获得注意力机制输出。
译码器模块，用于在每个所述顺序方向上根据所述每个时序点的第一译码器输入和每个时序点的第二译码器输入获得每个时序点的译码器输出；在按照时序点排列的从前向后的顺序上，所述每个时序点的第一译码器输入为前一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；在按照时序点排列的从后向前的顺序上，所述每个时序点的第一译码器输入为后一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出。
求和模块，用于将所述两个顺序方向上获得的同一时序点的译码器输出进行加权求和获得每个时序点的输出。
回归输出模块，用于根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据。
分类输出模块，用于根据所述每个时序点的输出获得所述每个时序点发生脓毒血症的预测分类结果。
下面介绍前向循环神经网络中涉及的编码器模块、注意力机制模块和译码器模块的具体工作过程。
如图3所示，多维变量X输入到所述数据处理模块，数据处理模块输出X、m以及
Figure SMS_123
，获得时序点t对应编码器的输入为向量/>
Figure SMS_124
、/>
Figure SMS_125
、/>
Figure SMS_126
以及/>
Figure SMS_127
，通过编码器获得的输出为/>
Figure SMS_128
，
Figure SMS_129
，H为隐藏层神经元的个数，所有时序点共享编码器。其中编码器内部包含如下过程：
1) 根据时间间隔矩阵建立输出端衰减函数
Figure SMS_130
。
Figure SMS_131
H表示单个时序点对应隐藏单元的个数；/>
Figure SMS_132
均为输出端衰减函数/>
Figure SMS_133
的待定系数、且/>
Figure SMS_134
的初始值均由高斯分布抽样确定。
2) 根据输出端衰减函数构建模型的隐藏状态
Figure SMS_153
。
Figure SMS_156
。/>
Figure SMS_159
为矩阵取内积符号，“/>
Figure SMS_138
”代表纵向拼接；
Figure SMS_142
，表示第t个时序点对应的隐藏层输出状态，/>
Figure SMS_146
表示第t-1个时序点对应的隐藏层输出状态，默认初始值/>
Figure SMS_149
由高斯分布抽样确定；/>
Figure SMS_151
，
Figure SMS_155
为sigmoid激活函数；B，C，d均为隐藏状态/>
Figure SMS_158
的待定系数、且B，C，d初始值均由高斯分布抽样确定；/>
Figure SMS_161
为/>
Figure SMS_154
完成最终插值后的值当前编码器中不包含其计算公式，但不影响首次迭代计算，因为可以使用初始值进行插值，在公式(21)中包含/>
Figure SMS_157
计算公式，/>
Figure SMS_160
。/>
Figure SMS_162
时序点对应的衰减单元，正常来说，/>
Figure SMS_140
越大，/>
Figure SMS_143
受长时间缺失值的影响，包含的错误信息就越大，那么/>
Figure SMS_148
也相应失真(公式4)。为了削弱/>
Figure SMS_152
错误信息影响，引入衰减单元/>
Figure SMS_136
，/>
Figure SMS_139
越大，/>
Figure SMS_145
越小(公式3)，相应的/>
Figure SMS_150
也减小，比如/>
Figure SMS_135
减小到0，则公式(4)变为
Figure SMS_141
，隐藏状态/>
Figure SMS_144
输出只受/>
Figure SMS_147
影响，避免了失真。由于/>
Figure SMS_137
削弱了失真，相对容易收敛到准确值，那么模型收敛速度也会加快。
注意力机制模块包括第一全连接层、第一softmax层和加权求和模块；所述注意力机制输出的获得方法包括：将所有时序点的隐藏状态、所有时序点的第一译码器的输入,输入至所述第一全连接层获得第一全连接层的输出；将所述第一全连接层的输出，输入至所述第一softmax层后得到所述第一softmax层输出；将所有时序点的隐藏状态和第一全连接层的输出在所述加权求和模块中进行矩阵运算后获得注意力机制输出。
具体如图3所示，所述注意力机制模块中的加权求和标志
Figure SMS_166
对应的输入为softmax层的输出以及/>
Figure SMS_170
；注意力机制模块的全连接层输入为
Figure SMS_171
以及/>
Figure SMS_163
，其中/>
Figure SMS_167
是译码器输出值，/>
Figure SMS_172
，首次迭代训练可以随机初始化，公式(8)为/>
Figure SMS_174
计算公式。注意力机制模块的输出为/>
Figure SMS_164
，/>
Figure SMS_169
被称为上下文向量，/>
Figure SMS_173
。该模块的注意力权重矩阵为/>
Figure SMS_175
，
Figure SMS_165
，/>
Figure SMS_168
计算步骤如下：
1) 计算全连接层的输出
Figure SMS_177
。/>
Figure SMS_179
。其中
Figure SMS_182
为/>
Figure SMS_178
与/>
Figure SMS_180
拼接得到的向量，/>
Figure SMS_181
；F为全连接层权重矩阵，/>
Figure SMS_183
，采用高斯分布抽样初始化。所有/>
Figure SMS_176
使用同一个全连接层的权重矩阵进行计算及F的迭代更新。
2) 计算softmax层的输出
Figure SMS_185
。/>
Figure SMS_188
。softmax层内部包含softmax函数，它是将/>
Figure SMS_190
放缩到0~1之间，即/>
Figure SMS_184
表示第t个序列点的输入数据/>
Figure SMS_187
对第d个序列点回归和分类综合预测结果准确性的影响程度，/>
Figure SMS_189
越大则影响越大。计算出所有/>
Figure SMS_191
，则注意力权重矩阵为/>
Figure SMS_186
得解。
进而我们可以得到加权求和标志
Figure SMS_192
对应的输出为/>
Figure SMS_193
。/>
Figure SMS_194
为介于编码器和译码器之间的上下文向量，/>
Figure SMS_195
。
前向循环神经网络框架中的译码器的输出为
Figure SMS_196
。前向循环神经网络框架中的/>
Figure SMS_197
使用同一个译码器，共享W和b，/>
Figure SMS_198
，W和b均为译码器输出/>
Figure SMS_199
的待定系数且W和b均使用高斯分布抽样初始化。
接着，下面介绍后向循环神经网络中涉及的编码器模块、注意力机制模块和译码器模块的具体工作过程。对于后向循环神经网络，多维变量X输入到数据处理模块，数据处理模块输出X、m以及
Figure SMS_200
，时序点t对应编码器的输入为向量/>
Figure SMS_201
以及/>
Figure SMS_202
，输出为
Figure SMS_203
，H为隐藏层神经元的个数，所有时序点共享编码器。其中编码器内部包含如下过程：
1) 根据时间间隔矩阵建立输出端衰减函数
Figure SMS_204
。/>
Figure SMS_205
。
Figure SMS_206
表示单个时序点对应隐藏单元的个数；/>
Figure SMS_207
均为输出端衰减函数
Figure SMS_208
的待定系数、且/>
Figure SMS_209
初始值均由高斯分布抽样确定。
2) 根据输出端衰减函数构建模型的隐藏状态
Figure SMS_228
。
Figure SMS_231
。/>
Figure SMS_234
为矩阵取内积符号，“/>
Figure SMS_212
”代表纵向拼接；/>
Figure SMS_215
表示第t+1个时序点对应的隐藏层输出状态，默认初始值/>
Figure SMS_218
由高斯分布抽样确定；
Figure SMS_224
，/>
Figure SMS_210
为sigmoid激活函数；
Figure SMS_214
均为隐藏状态/>
Figure SMS_219
的待定系数、且/>
Figure SMS_223
初始值均由高斯分布抽样确定；/>
Figure SMS_213
为/>
Figure SMS_216
完成最终插值后的值，当前编码器中不包含其计算公式，但不影响首次迭代计算，因为可以使用初始值进行插值，在公式(21)中包含/>
Figure SMS_220
计算公式，/>
Figure SMS_222
为时序点对应的衰减单元，正常来说，/>
Figure SMS_227
越大，/>
Figure SMS_230
受长时间缺失值的影响，包含的错误信息就越大，那么/>
Figure SMS_232
也相应失真(公式10)。为了削弱/>
Figure SMS_235
错误信息影响，引入衰减单元/>
Figure SMS_211
越大，/>
Figure SMS_217
越小(公式9)，相应的/>
Figure SMS_221
也减小，比如/>
Figure SMS_225
减小到0，则公式(10)变为/>
Figure SMS_226
，隐藏状态
Figure SMS_229
输出只受/>
Figure SMS_233
影响，避免了失真。由于/>
Figure SMS_236
削弱了失真，相对容易收敛到准确值，那么模型收敛速度也会加快。
同样的，后向循环神经网络中的注意力机制模块所述每个注意力机制模块的结构与前向循环神经网络中的注意力机制模块结构相同但具体参数因训练数据不同而不同。具体的，该注意力机制模块中的加权求和标志
Figure SMS_247
对应的输入为softmax层的输出以及
Figure SMS_239
；注意力机制模块的全连接层输入为/>
Figure SMS_242
以及
Figure SMS_250
，其中/>
Figure SMS_256
是译码器输出值，/>
Figure SMS_253
，首次迭代训练可以随机初始化，公式(14)为/>
Figure SMS_258
计算公式。注意力机制模块的输出为/>
Figure SMS_245
被称为上下文向量，
Figure SMS_252
。该模块的注意力权重矩阵为/>
Figure SMS_237
，/>
Figure SMS_244
，
Figure SMS_240
，/>
Figure SMS_241
计算步骤如下1) 计算全连接层的输出/>
Figure SMS_246
。
Figure SMS_249
。其中/>
Figure SMS_251
为/>
Figure SMS_254
与/>
Figure SMS_255
拼接得到的向量，
Figure SMS_257
全连接层权重矩阵，/>
Figure SMS_238
采用高斯分布抽样初始化。所有/>
Figure SMS_243
使用同一个全连接层的权重矩阵进行计算及/>
Figure SMS_248
的迭代更新。
2) 计算softmax层的输出
Figure SMS_259
。/>
Figure SMS_263
。softmax层内部包含softmax函数，它是将/>
Figure SMS_264
放缩到0~1之间，即/>
Figure SMS_261
表示第t个序列点的输入数据/>
Figure SMS_262
对第d个序列点回归和分类综合预测结果准确性的影响程度，/>
Figure SMS_265
越大则影响越大。计算出所有/>
Figure SMS_266
，则注意力权重矩阵为/>
Figure SMS_260
得解。
进而我们可以得到加权求和标志
Figure SMS_267
对应的输出为/>
Figure SMS_268
。/>
Figure SMS_269
为介于编码器和译码器之间的上下文向量，/>
Figure SMS_270
。
前向循环神经网络框架中的译码器的输出为
Figure SMS_271
。前向循环神经网络框架中的/>
Figure SMS_272
使用同一个译码器，共享/>
Figure SMS_273
，W'和b'均为均为译码器输出/>
Figure SMS_274
的待定系数且W'和b'均使用高斯分布抽样初始化。
前向循环神经网络和后向循环神经网络的处理结果通过求和模块进一步融合，如 图3所示的输出模块，具体包括求和模块和分类输出模块，所述求和模块为图3上方左右两 个神经网络的结果按照时序交汇的位置，其中的加权求和标志
Figure SMS_275
的输入为
Figure SMS_276
和
Figure SMS_277
，输出 为
Figure SMS_278
。其中
Figure SMS_279
为时序点t的输出
Figure SMS_280
的待定系数且
Figure SMS_281
初始值由高斯分布抽样确定。
将求和模块的结果输入到回归输出模块以进行缺失值的补全，具体通过回归译码器实现，所述回归译码器的输出为
Figure SMS_282
，它是/>
Figure SMS_283
完成最终插值后的值，所述回归译码器内部具有如下机制：
1) 利用相同变量在不同时序点上的关系得到插值结果
Figure SMS_285
。/>
Figure SMS_288
。
Figure SMS_290
。/>
Figure SMS_284
为时序点t上所有变量的预测值；
Figure SMS_289
为/>
Figure SMS_291
的待定系数且/>
Figure SMS_293
使用高斯分布抽样初始化；/>
Figure SMS_286
使用预测值/>
Figure SMS_287
填充自身的缺失值后得到/>
Figure SMS_292
。
2) 利用不同变量在相同时序点上的关系得到插值结果
Figure SMS_294
。/>
Figure SMS_295
。
Figure SMS_296
为/>
Figure SMS_297
的待定系数且E和e使用高斯分布抽样初始化；E的主对角线上数值全部为0，如此就可以利用其它变量在相同时序点上得到自身变量。
3)利用相同变量在不同时序点以及不同变量在相同时序点上的关系得到插值结果
Figure SMS_298
。/>
Figure SMS_303
。/>
Figure SMS_306
。
Figure SMS_300
均为/>
Figure SMS_302
的待定系数且/>
Figure SMS_305
初始值均由高斯分布抽样确定，/>
Figure SMS_308
为sigmoid函数。/>
Figure SMS_299
作为/>
Figure SMS_301
与/>
Figure SMS_304
的融合系数，其中，/>
Figure SMS_307
中的每个元素的取值介于0~1，含端值。
4) 最终插值结果为
Figure SMS_309
。/>
Figure SMS_310
。同时还将求和模块的结果输入到分类输出模块进行分类预测，所述分类输出模块包括第二全连接层和第二softmax层，根据所述每个时序点的输出获得所述每个时序点是否会发生脓毒血症的预测分类结果的方法包括：将所述每个时序点的输出输入至所述第二全连接层获得第二全连接层输出；将所述第二全连接层输出输入至所述第二softmax层获得所述softmax层输出作为发生脓毒血症的预测分类结果。上述具体通过分类译码器实现，所述分类译码器的输出为/>
Figure SMS_311
，所述分类译码器的内部具有如下机制：
1)
Figure SMS_312
输入到全连接层，全连接层输出/>
Figure SMS_313
。/>
Figure SMS_314
。
Figure SMS_315
均为/>
Figure SMS_316
的待定系数且/>
Figure SMS_317
均使用高斯分布抽样初始化。
2)
Figure SMS_318
输入到softmax函数，输出为/>
Figure SMS_319
。/>
Figure SMS_320
。N表示该模型为N分类任务，/>
Figure SMS_321
；使用softmax函数目的是将各分类预测的结果放缩到0~1之间，如此便可以使用概率的定义，/>
Figure SMS_322
中数值最大元素对应的类别即为分类预测结果。
上述模型在训练过程中，为了在一阶段同时完成插值回归预测和分类预测，损失函数要包含回归损失函数和分类损失函数两个部分。
回归损失函数包含的机理如下：1) 一个样本的回归损失函数为
Figure SMS_323
。
Figure SMS_327
。/>
Figure SMS_330
的转置。为了完成回归算法的训练，必须随机选择/>
Figure SMS_325
中一定比例/>
Figure SMS_328
的非空缺真实值/>
Figure SMS_331
用于回归损失计算，/>
Figure SMS_333
为/>
Figure SMS_324
的回归预测结果。2) 一个训练批次，/>
Figure SMS_326
个样本的回归损失函数为/>
Figure SMS_329
。/>
Figure SMS_332
。
分类损失函数包含的机理如下：1) 一个样本的分类损失函数为
Figure SMS_334
。/>
Figure SMS_335
。表示交叉熵损失函数；/>
Figure SMS_336
表示时序点t对应的真实的标签One-Hot编码向量。2) 一个训练批次，/>
Figure SMS_337
个样本的分类损失函数为/>
Figure SMS_338
。
Figure SMS_339
。
分类和损失函数加权求和得综合损失函数为L。
Figure SMS_340
。
Figure SMS_341
取值由人工确定，根据应用场景更关注回归或分类的程度设定。
遗传算法是一种高效、并行、全局搜索的方法，能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程以求得最佳解。通过上述过程，建模已经完成，超参数的优化也是后续必须的步骤，当前主流算法优化基本都采用经验判断以及网格穷举搜索，但这种方式耗时耗力，无法获得全局最优解。如图4所示，为本申请优化超参数的方法的流程图，首先需要初始化种群规模、演化代数、交叉概率以及变异概率。交叉概率就是模仿遗传学的子代继承父母基因的概率，变异概率模仿子代本身受环境影响发生基因变异的概率。然后初始化ABRITS模型的超参数，超参数通常为类别参数或数值参数，对于数值型参数需要离散化处理，然后对类别参数以及离散化的数值参数按照设定的规则进行二进制编码。将S次独立试验获得的综合损失函数L的均值作为适应度，适应度越小，模型参数越接近最优解。当当前子代中的所有个体都完成适应度计算，记录下最小的适应度以及对应的个体超参数取值，然后使用轮盘赌算法赋予适应度更大的个体遗传到下一代，反之，尽可能将适应度较小的个体去除。随后，按照交叉概率，随机抽取两个个体进行部分编码交换，完成交叉。交叉完毕后，再按照变异概率，随机选取个体，并将个体的编码由1变0，由0变1。完成轮盘赌以及交叉和变异，则生成新一代超参数的二进制编码。最后根据编码规则进行译码获取新一代的入模参数，再判断演化代数目是否达到设定值，如果未达到设定值则重复上述过程，若达到设定值则输出最佳超参数集合以及对应的适应度。
依赖上述模型，本发明的实施例提供一种脓毒症实时预警的方法，包括：
步骤S101、根据监测得到的每个时序点的变量观测数据，获得每个时序点的遮蔽数据以及每个时序点的时间间隔数据。
步骤S102、根据所述每个时序点的变量观测数据、所述每个时序点的遮蔽数据、每个时序点的时间间隔数据以及每个时序点的前一时序点的隐藏状态按照时序点排列的从前向后的顺序和按照时序点排列的从后向前的顺序分别获得上述两个顺序方向上每个时序点的隐藏状态。
步骤S103、在每个顺序方向上根据所述所有时序点的隐藏状态、所有时序点的第一译码器输入进行注意力机制调节获得每个时序点的注意力机制输出。
步骤S104、用于在每个所述顺序方向上根据所述每个时序点的第一译码器输入和每个时序点的第二译码器输入获得每个时序点的译码器输出；在按照时序点排列的从前向后的顺序上，所述每个时序点的第一译码器输入为前一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；在按照时序点排列的从后向前的顺序上，所述每个时序点的第一译码器输入为后一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出。
步骤S105、将所述两个顺序方向上获得的同一时序点的译码器输出进行加权求和获得每个时序点的输出。
步骤S106、根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据。
步骤S107、根据所述每个时序点的输出获得所述每个时序点发生脓毒血症的预测分类结果。
上述模型结合双向循环神经网络和能够同时完成缺失值的补齐和脓毒症发生与否的预测，模型开发效率高。上述方法充分利用相同特征在不同时序点的关联性以及不同特征在相同时序点上的关联性，并对这两种关联性进行数学建模，以提高算法预测性能。在正反两个方向分别增加注意力机制模块，大幅消除长序列预测功能丧失的问题。
为了进一步提高本发明实施例中模型的功能，本发明的实施例在上述模块的基础上的还具有模块特征值贡献计算模块和/或干预方案提供模块，用于执行步骤S4，具体的，所述模块特征值贡献计算模块用于针对每个样本
Figure SMS_343
，使用KernelSHAP算法计算出样本/>
Figure SMS_346
中每个特征/>
Figure SMS_347
在每个时序点上的贡献值/>
Figure SMS_342
，并根据/>
Figure SMS_345
与0之间的关系获得特征/>
Figure SMS_348
对发生脓毒血症的贡献；所述干预方案提供模块，用于针对每个样本/>
Figure SMS_349
，采用DiCE算法获得与所述样本/>
Figure SMS_344
对应的患者的指标调整方案作为干预发生脓毒血症的参考方案。
KernelSHAP为Kernel SHapley Additive exPlanations 的缩写，是一种归因分析方法，本发明实施例的上述模型与KernelSHAP算法结合可以筛查出有利因素、有害因素和无关系因素。我们将样本的数据输入到已训练的本发明实施例的上述模型模型预测分类结果，并使用KernelSHAP算法自动计算出样本
Figure SMS_350
的SHAP值为/>
Figure SMS_351
。
Figure SMS_352
。
Figure SMS_355
表示所有参与SHAP计算的样本SHAP值的均值；/>
Figure SMS_357
表示样本/>
Figure SMS_360
的第/>
Figure SMS_354
个因素对预测结果的贡献值；当/>
Figure SMS_358
＜0时，表明增大特征/>
Figure SMS_359
的值会减弱脓毒症的风险；当/>
Figure SMS_362
＞0时，表明增大特征/>
Figure SMS_353
的值会增大脓毒症的风险；当/>
Figure SMS_356
=0时，表明特征/>
Figure SMS_361
与脓毒症没有关系。
KernelSHAP是一种静态解释方法，它能够筛查出预测结果对应的高风险因素。以往临床专家在筛查出高风险因素后，通过主观决策调整患者身体指标以规避脓毒症发生，但这种主观决策误差大。因此该发明将DiCE算法引入到脓毒症的干预中来，DiCE是reversed by diverse counterfactual explanations 的简称，DiCE与已经训练的本发明实施例的模型结合，实现脓毒症干预方案的自动推荐，每一个方案都有具体量化指标，患者选择性价比最高的一个方案并实践落实，就可以规避脓毒症的发生。当然，DiCE是以两个假设为前提的，即模型预测能力不受时间轴变化影响且特征之间相互独立。为了尽可能抵消假设造成的误差，我们建议对DiCE的干预方案设置多轮约束筛查，比如年龄不可降低，性别不能变等，另外患者预后要尽快落实干预方案。DiCE的具体建模过程如下：
DiCE推荐的方案要具有多样性、合理性并且可以反转预测结果。DiCE产生的推荐方案过少，医生和/或患者无法查找到合适的推荐方案，这显然是不合理的。但是过多的推荐方案意味着需要同时修正的指标要多，患者无法在同一时期约束如此大量身体指标，这样反而又不合理。所以我们要兼顾DiCE产生推荐方案的多样性和合理性，在二者中确定最佳折中点。
基于推荐方案多样性的损失函数为
Figure SMS_363
。
Figure SMS_367
表示第/>
Figure SMS_369
个推荐方案。K表示产生的推荐方案的个数；
Figure SMS_364
表示/>
Figure SMS_366
与/>
Figure SMS_368
之间的曼哈顿距离；/>
Figure SMS_370
表示行列式的值，且对角线增加了扰动以防止行列式为0；推荐方案之间多样性越明显，则/>
Figure SMS_365
越大，由于我们计算损失函数，所以要加上负号。
基于推荐方案合理性的损失函数为
Figure SMS_371
。x表示对应于预测结果的真实观测特征；/>
Figure SMS_372
通过更改x某个或多个特征观测值得到的反转预测结果的推荐方案。当/>
Figure SMS_373
与x之间距离越近，意味着/>
Figure SMS_374
较x更改的特征少，患者更加容易落实推荐方案。
成功反转预测结果的损失函数为
Figure SMS_375
。/>
Figure SMS_382
表示将/>
Figure SMS_384
带入已训练模型的预测概率。我们可以把/>
Figure SMS_377
看做发生脓毒症。当
Figure SMS_379
时，相应的惩罚值即/>
Figure SMS_385
为0。当/>
Figure SMS_389
且
Figure SMS_376
时，意味着推荐方案没有反转预测结果，相应的惩罚值为/>
Figure SMS_380
。当
Figure SMS_386
且/>
Figure SMS_388
，相应惩罚值为/>
Figure SMS_378
。/>
Figure SMS_381
函数并不唯一，比如对于/>
Figure SMS_383
且/>
Figure SMS_387
时，可以增加惩罚值。
DiCE总体的损失函数为
Figure SMS_390
。
Figure SMS_391
和/>
Figure SMS_392
是用于平衡损失函数的超参数。事先我们需确定生成候选方案的个数，然后使用梯度下降法降低损失函数，损失函数已经收敛或进行5000次迭代作为训练停止条件。最后我们将可以反转预测结果的推荐方案送入特征约束程序进行多轮筛查，直到性价比最高的推荐方案被找到为止。
通过上述方法，尽管本发明的实施例的输入数据为矩阵型数据，但选取特定的输入及输出建立映射关系，仍可以采用KernelSHAP量化任意时序点上任意特征值的贡献大小，即用KernelSHAP量量化风险因素贡献，可以使用DiCE自动推荐干预方案，患者只要在预警期将生命体征等指标调整到DiCE推荐的数值后，即可规避特定时序点上的脓毒症。
在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
上述程序可以运行在处理器中，或者也可以存储在存储器中（或称为计算机可读介质），计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
模型训练测试
本发明实施例的模型训练及测试的数据集来自2019年脓毒症预测挑战赛，该数据集为时序化数据集，竞赛要求完成脓毒症分类任务，但在本发明的实施例中，不仅完成了脓毒症早期预警的分类任务，还完成了特征插值任务。
数据网址为：https://physionet.org/content/challenge-2019/1.0.0/，需要使用到的特征值如表1所示。
表1 特征及标签信息表
特征缩写 特征 释义
HR Heart rate (beats per minute) 每分钟心跳次数
O2Sat Pulse oximetry (%) 脉搏血氧饱和度(%)
Temp Temperature (deg C) 温度(摄氏度)
SBP Systolic BP (mm Hg) 收缩压(mm hg)
MAP Mean arterial pressure (mm Hg) 平均动脉压(毫米汞)
DBP Diastolic BP (mm Hg) 舒张压(毫米汞柱)
Resp Respiration rate (breaths per minute) 呼吸速率(每分钟呼吸次数)
EtCO2 End tidal carbon dioxide (mm Hg) 呼吸末二氧化碳分压(毫米汞)
BaseExcess Excess bicarbonate (mmol/L) 过量碳酸氢盐(mmol/l)
HCO3 Bicarbonate (mmol/L) 碳酸氢盐(mmol/l)
FiO2 Fraction of inspired oxygen (%) 吸入氧的分数(%)
pH pH pH
PaCO2 Partial pressure of carbon dioxide from arterial blood (mm Hg) 动脉血二氧化碳分压(毫米汞柱)
SaO2 Oxygen saturation from arterial blood (%) 来自动脉血的血氧饱和度(%)
AST Aspartate transaminase (IU/L) 天冬氨酸氨基转移酶(IU/L)
BUN Blood urea nitrogen (mg/dL) 尿素氮(mg/dL)
Alkalinephos Alkaline phosphatase (IU/L) 碱性磷酸酶 (IU/L)
Calcium Calcium (mg/dL) 钙(mg/dL)
Chloride Chloride (mmol/L) 氯化物(mmol/l)
Creatinine (mg/dL) 肌酐(mg/dL)
Bilirubin_direct Direct bilirubin (mg/dL) 直接胆红素(mg/dl)
Glucose Serum glucose (mg/dL) 血清葡萄糖(mg/dl)
Lactate Lactic acid (mmol/L) 乳酸(mmol/L)
Magnesium Magnesium (mmol/dL) 镁(mmol/dl)
Phosphate Phosphate (mg/dL) 磷酸盐(mg/dl)
Potassium Potassiam (mmol/L) 钾(mmol/l)
Bilirubin_total Total bilirubin (mg/dL) 总胆红素(毫克/分升)
TroponinI Troponin I (ng/mL) 肌钙蛋白 i (ng/ml)
Hct Hematocrit (%) 红细胞压积(%)
Hgb Hemoglobin (g/dL) 血红蛋白(g/dl)
PTT Partial thromboplastin time (seconds) 部分凝血活酶时间(秒)
WBC Leukocyte count (count/L) 白细胞计数(计数/升)
Fibrinogen Fibrinogen concentration (mg/dL) 纤维蛋白原浓度(mg/dl)
Platelets Platelet count (count/mL) 血小板计数(计数/毫升)
Age Age (years) 年龄
Gender Female (0) or male (1) 性别
Unit1 Administrative identififier for ICU unit (MICU); false (0) or true (1) 进入医药ICU
Unit2 Administrative identififier for ICU unit (SICU); false (0) or true (1) 进入外科ICU
HospAdmTime Time between hospital and ICU admission (hours since ICU admission) 从进入医院到进入ICU之间的时间
ICULOS ICU length of stay (hours since ICU admission) 入住ICU的时长
从上述脓毒症数据集中随机抽取5000个样本，每个样本对应一名入住ICU的患者，每个样本包含入住ICU的第1~32小时的时序化数据，以及每个时序点上是否有脓毒症发生的标签。每一次试验都随机将5000个样本按照2:8的比例拆分为测试集和训练集。
需要人工设定的参数包括：时序点个数T取32；
Figure SMS_393
取0.5，即回归损失函数与分类损失函数各占综合损失函数的一半；/>
Figure SMS_394
取0.2，即随机选择/>
Figure SMS_395
中20%的非空缺真实值/>
Figure SMS_396
用于回归损失计算；取40，即每个时序点上有40个特征变量。
另外，涉及遗传算法需要人工设定的参数包括：S取100，即重复试验100次，100次试验的综合损失函数的均值作为适应度；并设定种群大小为30，演化更新的子代数目为30，交叉概率为0.7，变异概率为0.15。
需要使用遗传算法优化的超参数包括：学习率为0.08；隐藏层神经元个数为60；用于训练的单批次样本数为32(如图5所示)。
为了比较出本发明实施例的优劣势，我们还使用遗传算法优化了BRITS、lightGBM、random forest以及Logistic regression。其中，BRITS最优超参数包括：学习率为0.075；隐藏层神经元个数为55；用于训练的单批次样本数为16。lightGBM最优超参数包括：训练迭代次数为150，学习率为0.115，树最大深度为6，以最小叶子节点样本权重为3。random forest最优超参数包括：最大特征个数为25，决策树最大深度为5，弱学习器最大迭代次数为200，叶结点最少样本数为2。Logistic regression最优超参数包括：正则化参数为L2，损失函数优化器为‘lbfgs’。遗传算法优化的五种机器学习算法性能如表2。
表2 五种算法性能比较
模型 综合损失函数值 分类评价指标 AUC
Logistic regression —— 0.802
random forest —— 0.833
lightGBM —— 0.845
BRITS 2.01 0.847
本发明的实施例 1.82 0.861
表2中BRITS和本发明的实施例同时具备插值和分类预测功能。Random forest、Logistic regression以及lightGBM直接使用零值填充，不具备特征缺失值预测功能，仅考察分类性能。很显然，本发明的实施例的综合损失函数值最小，分类评价指标AUC为0.861，为最高，所以本发明的实施例的插值和分类性能优异。
模型的迁移应用
采用与北京某三甲医院合作的方式，进一步验证训练完的本发明实施例的模型的泛化能力。随机抽取该医院2020年~2022年间的500名患者入住ICU的时序化样本数据进行预测评估，最终得到分类评价指标AUC为0.852，综合损失函数值为2.12。模型迁移应用后其AUC有了较小幅度降低，综合损失函数也有小幅度升高，但性能总体仍优异，在不同国度、不同时间段上仍表现较强的泛化能力。
进一步的，随机选择一名潜在脓毒症患者，使用本发明实施例中的模型和算法完成该潜在患者的第7~38小时是否发生脓毒症，并且量化造成该时序点脓毒症发生的特征贡献值，表3显示了第1个时序点预测发生脓毒症，即第7小时发生脓毒症，对应的特征贡献绝对值较大的前5个特征。
表3 KernelSHAP 量化特征贡献值
Figure SMS_397
由于在第一个时序点上预测出了脓毒症，因此只考察了第一个时序点的特征贡献值。由表3可以看出，呼吸率Resp的特征贡献为-0.91，说明Resp为有利因素，剩余四个特征因素的贡献值为正值，所以为不利因素。为了能规避时序点1预测出的脓毒症，需要在6小时的预警期内调整身体指标，很显然年龄Age与脓毒症正相关，然而无法通过降低年龄来规避脓毒症，但可以通过调整乳酸(Lactate)、呼吸末CO2分压(EtCO2)以及氧合指数(FiO2)来规避时序点1的脓毒症预测结果。因此我们可以使用DiCE自动推荐这四个参数的调整值以规避脓毒症，具体调整结果见表4。
表4 DiCE推荐方案
Figure SMS_398
表4中“——”表示不对特征观测值进行调整。只要在6小时预警期内将患者的乳酸由4mmol/L调整到2mmol/L；EtCO2由70mmHg调整到40mmHg；FiO2由80%调整到55%，则患者可以规避第7小时脓毒症的发生。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.脓毒症实时预警的神经网络模型，其特征在于，包括：
数据处理模块，用于根据监测得到的每个时序点的变量观测数据，获得每个时序点的遮蔽数据以及每个时序点的时间间隔数据；
编码器模块，用于根据所述每个时序点的变量观测数据、所述每个时序点的遮蔽数据、每个时序点的时间间隔数据以及每个时序点的前一时序点的隐藏状态按照时序点排列的从前向后的顺序和按照时序点排列的从后向前的顺序分别获得上述两个顺序方向上每个时序点的隐藏状态；
注意力机制模块，用于在每个所述顺序方向上根据所有时序点的隐藏状态、所有第一译码器输入进行注意力机制调节获得注意力机制输出；
译码器模块，用于在每个所述顺序方向上根据所述每个时序点的第一译码器输入和每个时序点的第二译码器输入获得每个时序点的译码器输出；在按照时序点排列的从前向后的顺序上，所述每个时序点的第一译码器输入为前一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；在按照时序点排列的从后向前的顺序上，所述每个时序点的第一译码器输入为后一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；
求和模块，用于将所述两个顺序方向上获得的同一时序点的译码器输出进行加权求和获得每个时序点的输出；
回归输出模块，用于根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据；
分类输出模块，用于根据所述每个时序点的输出获得所述每个时序点发生脓毒血症的预测分类结果；
其中，所述隐藏状态的获得方法包括：
在按照时序点排列的从前向后的顺序上，建立时序点t对应的输出端衰减函数
Figure QLYQS_1
；
其中，
Figure QLYQS_2
，H为单个时序点对应隐藏单元的个数，D为所述变量观测数据中变量种类的数量；/>
Figure QLYQS_3
初始值均由高斯分布抽样确定；/>
Figure QLYQS_4
为所述时间间隔数据中时序点t的时间间隔向量，/>
Figure QLYQS_5
；
时序点t对应的隐藏状态
Figure QLYQS_6
；
其中，
Figure QLYQS_9
为矩阵取内积符号，/>
Figure QLYQS_11
代表纵向拼接；/>
Figure QLYQS_13
，默认初始值/>
Figure QLYQS_8
由高斯分布抽样确定；/>
Figure QLYQS_10
为sigmoid激活函数；
Figure QLYQS_14
初始值均由高斯分布抽样确定；/>
Figure QLYQS_15
为/>
Figure QLYQS_7
完成最终插值后的值，/>
Figure QLYQS_12
；
在按照时序点排列的从后向前的顺序上，建立时序点t对应的输出端衰减函数
Figure QLYQS_16
；
其中，
Figure QLYQS_17
初始值均由高斯分布抽样确定；
按照时序点排列的从前向后的顺序建立时序点t对应的隐藏状态
Figure QLYQS_18
；
其中，
Figure QLYQS_19
，默认初始值/>
Figure QLYQS_20
由高斯分布抽样确定；/>
Figure QLYQS_21
；/>
Figure QLYQS_22
初始值均由高斯分布抽样确定；
其中，根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据包括：
利用相同变量在不同时序点上的关系得到插值结果
Figure QLYQS_23
；其中，
Figure QLYQS_24
为时序点t上所有变量的预测值；/>
Figure QLYQS_25
使用高斯分布抽样初始化；/>
Figure QLYQS_26
使用预测值/>
Figure QLYQS_27
填充自身的缺失值后得到/>
Figure QLYQS_28
；
利用不同变量在相同时序点上的关系得到插值结果
Figure QLYQS_29
；其中，
Figure QLYQS_30
使用高斯分布抽样初始化；E的主对角线上数值全部为0；
所述时序点t的插值为
Figure QLYQS_33
，其中，/>
Figure QLYQS_36
，
Figure QLYQS_39
，/>
Figure QLYQS_34
，/>
Figure QLYQS_35
，/>
Figure QLYQS_38
初始值均由高斯分布抽样确定，/>
Figure QLYQS_41
为sigmoid函数，/>
Figure QLYQS_31
作为/>
Figure QLYQS_37
与/>
Figure QLYQS_40
的融合系数，/>
Figure QLYQS_42
中的每个元素的取值为/>
Figure QLYQS_32
区间。
2.根据权利要求1所述的模型，其特征在于：
所述遮蔽数据中第t个时序点的第d个变量
Figure QLYQS_43
的遮蔽值为/>
Figure QLYQS_44
；
所述时间间隔数据中第t个时序点的第d个变量
Figure QLYQS_45
的值为
Figure QLYQS_46
，其中，/>
Figure QLYQS_47
为第t个时序点的变量观测数据/>
Figure QLYQS_48
对应的时间戳。
3.根据权利要求1所述的模型，其特征在于：所述每个顺序方向上各有一个注意力机制模块，所述每个注意力机制模块包括第一全连接层、第一softmax层和加权求和模块；所述注意力机制输出的获得方法包括：
将所有时序点的隐藏状态、所有时序点的第一译码器的输入,输入至所述第一全连接层获得第一全连接层的输出；
将所述第一全连接层的输出，输入至所述第一softmax层后得到所述第一softmax层输出；
将所有时序点的隐藏状态和第一全连接层的输出在所述加权求和模块中进行矩阵运算后获得注意力机制输出。
4.根据权利要求3所述的模型，其特征在于：按照时序点排列的从前向后的顺序上，所述时序点的译码器输出为
Figure QLYQS_49
；
其中，
Figure QLYQS_50
使用高斯分布抽样初始化，/>
Figure QLYQS_51
为按照时序点排列的从前向后的顺序上的时序点t的注意力机制输出，/>
Figure QLYQS_52
；
按照时序点排列的从后向前的顺序上，所述时序点的译码器输出为
Figure QLYQS_53
；
其中，
Figure QLYQS_54
使用高斯分布抽样初始化，/>
Figure QLYQS_55
为按照时序点排列的从前向后的顺序上的时序点t的注意力机制输出，/>
Figure QLYQS_56
。
5.根据权利要求4所述的模型，其特征在于：所述将所述两个顺序方向上获得的同一时序点t的译码器输出进行加权求和获得时序点t的输出为
Figure QLYQS_57
；
其中
Figure QLYQS_58
初始值由高斯分布抽样确定。
6.根据权利要求1所述的模型，其特征在于：所述分类输出模块包括第二全连接层和第二softmax层，根据所述每个时序点的输出获得所述每个时序点是否会发生脓毒血症的预测分类结果的方法包括：
将所述每个时序点的输出输入至所述第二全连接层获得第二全连接层输出；
将所述第二全连接层输出输入至所述第二softmax层获得所述softmax层输出作为发生脓毒血症的预测分类结果。
7.根据权利要求1~6中任意一项所述的模型，其特征在于，还包括：
特征值贡献计算模块，用于针对每个样本
Figure QLYQS_59
，使用KernelSHAP算法计算出样本/>
Figure QLYQS_60
中每个特征/>
Figure QLYQS_61
在每个时序点上的贡献值/>
Figure QLYQS_62
，并根据/>
Figure QLYQS_63
与0之间的关系获得特征/>
Figure QLYQS_64
对发生脓毒血症的贡献；
和/或，
干预方案提供模块，用于针对每个样本
Figure QLYQS_65
，采用DiCE算法获得与所述样本/>
Figure QLYQS_66
对应的患者的指标调整方案作为干预发生脓毒血症的参考方案。
8.脓毒症实时预警的方法，采用权利要求1所述模型，其特征在于，包括：
根据监测得到的每个时序点的变量观测数据，获得每个时序点的遮蔽数据以及每个时序点的时间间隔数据；
根据所述每个时序点的变量观测数据、所述每个时序点的遮蔽数据、每个时序点的时间间隔数据以及每个时序点的前一时序点的隐藏状态按照时序点排列的从前向后的顺序和按照时序点排列的从后向前的顺序分别获得上述两个顺序方向上每个时序点的隐藏状态；
在每个所述顺序方向上根据所述所有时序点的隐藏状态、所有时序点的第一译码器输入进行注意力机制调节获得每个时序点的注意力机制输出；
用于在每个所述顺序方向上根据所述每个时序点的第一译码器输入和每个时序点的第二译码器输入获得每个时序点的译码器输出；在按照时序点排列的从前向后的顺序上，所述每个时序点的第一译码器输入为前一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；在按照时序点排列的从后向前的顺序上，所述每个时序点的第一译码器输入为后一时序点的译码器输出，所述每个时序点的第二译码器输入为所述每个时序点的注意力机制输出；
将所述两个顺序方向上获得的同一时序点的译码器输出进行加权求和获得每个时序点的输出；
根据所述每个时序点的输出获得所述每个时序点的插值以代替对应时序点上缺失的变量观测数据；
根据所述每个时序点的输出获得所述每个时序点发生脓毒血症的预测分类结果。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
针对每个样本
Figure QLYQS_67
，使用KernelSHAP算法计算出样本/>
Figure QLYQS_68
中每个特征/>
Figure QLYQS_69
在每个时序点上的贡献值/>
Figure QLYQS_70
并根据/>
Figure QLYQS_71
与0之间的关系获得特征/>
Figure QLYQS_72
对发生脓毒血症的贡献；
和/或，
针对每个样本
Figure QLYQS_73
，采用DiCE算法获得与所述样本/>
Figure QLYQS_74
对应的患者的指标调整方案作为干预发生脓毒血症的参考方案。
10.一种电子设备，其特征在于：包括处理器、存储器和存储在所述存储器内的计算机程序，所述计算机程序被配置为被所述处理器运行时采用所述权利要求1~7中任意一项所述的模型获得所述脓毒血症的预测分类结果。
CN202310476267.7A 2023-04-28 2023-04-28 脓毒症实时预警的神经网络模型、方法和电子设备 Active CN116189906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310476267.7A CN116189906B (zh) 2023-04-28 2023-04-28 脓毒症实时预警的神经网络模型、方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310476267.7A CN116189906B (zh) 2023-04-28 2023-04-28 脓毒症实时预警的神经网络模型、方法和电子设备

Publications (2)

Publication Number Publication Date
CN116189906A CN116189906A (zh) 2023-05-30
CN116189906B true CN116189906B (zh) 2023-07-14

Family

ID=86452724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310476267.7A Active CN116189906B (zh) 2023-04-28 2023-04-28 脓毒症实时预警的神经网络模型、方法和电子设备

Country Status (1)

Country Link
CN (1) CN116189906B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208602A (zh) * 2005-04-15 2008-06-25 贝克顿迪金森公司 脓毒症的诊断
US10845769B2 (en) * 2018-09-13 2020-11-24 Diveplane Corporation Feature and case importance and confidence for imputation in computer-based reasoning systems
CN110123274A (zh) * 2019-04-29 2019-08-16 上海电气集团股份有限公司 一种脓毒血症的监测系统
US20210183484A1 (en) * 2019-12-06 2021-06-17 Surgical Safety Technologies Inc. Hierarchical cnn-transformer based machine learning
CN111951975B (zh) * 2020-08-19 2022-03-25 哈尔滨工业大学 一种基于深度学习模型gpt-2的脓毒症早期预警方法
CN114742209A (zh) * 2022-04-24 2022-07-12 北京建筑大学 一种短时交通流预测方法及系统
CN115458158B (zh) * 2022-09-23 2023-09-15 深圳大学 一种针对脓毒症患者的急性肾损伤预测系统
CN115456460A (zh) * 2022-09-30 2022-12-09 昆明理工大学 一种制丝松散回潮工艺的多质量指标输出预测方法、系统

Also Published As

Publication number Publication date
CN116189906A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US9959390B2 (en) Modeling techniques for predicting mortality in intensive care units
Zhang et al. Lstm for septic shock: Adding unreliable labels to reliable predictions
EP2614480A2 (en) Medical scoring systems and methods
Teisseyre et al. Cost-sensitive classifier chains: Selecting low-cost features in multi-label classification
CN114420231B (zh) 一种可解释的急性肾损伤持续预警方法、系统、存储介质及电子设备
Carrara et al. Mortality prediction model of septic shock patients based on routinely recorded data
Nanayakkara et al. Unifying cardiovascular modelling with deep reinforcement learning for uncertainty aware control of sepsis treatment
Khoshnevisan et al. An adversarial domain separation framework for septic shock early prediction across ehr systems
Ali et al. Multitask deep learning for cost-effective prediction of patient's length of stay and readmission state using multimodal physical activity sensory data
Moreno-Sánchez Data-driven early diagnosis of chronic kidney disease: development and evaluation of an explainable AI model
Qiu et al. A latent batch-constrained deep reinforcement learning approach for precision dosing clinical decision support
CN115116612A (zh) 一种儿童患者病情智能风险评估系统及方法
Nesaragi et al. A correlation matrix-based tensor decomposition method for early prediction of sepsis from clinical data
Duan et al. Early prediction of sepsis using double fusion of deep features and handcrafted features
CN114611879A (zh) 一种基于多任务学习的临床风险预测系统
Yang et al. Development of a machine learning model for the prediction of the short-term mortality in patients in the intensive care unit
Du et al. The effects of deep network topology on mortality prediction
CN116189906B (zh) 脓毒症实时预警的神经网络模型、方法和电子设备
Macias et al. Mortality prediction enhancement in end-stage renal disease: A machine learning approach
KR102615261B1 (ko) 섬망 예측 방법 및 이의 장치
Arzeno et al. Designing optimal mortality risk prediction scores that preserve clinical knowledge
Kausch et al. Individual illness dynamics: an analysis of children with sepsis admitted to the pediatric intensive care unit
Liu et al. Interpretable machine learning model for early prediction of mortality in elderly patients with multiple organ dysfunction syndrome (MODS): a multicenter retrospective study and cross validation
Zhang et al. Modelling EHR timeseries by restricting feature interaction
Ge et al. Using deep learning with attention mechanism for identification of novel temporal data patterns for prediction of ICU mortality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant