CN109805898B - 基于注意力机制时序卷积网络算法的危重症死亡预测方法 - Google Patents
基于注意力机制时序卷积网络算法的危重症死亡预测方法 Download PDFInfo
- Publication number
- CN109805898B CN109805898B CN201910223555.5A CN201910223555A CN109805898B CN 109805898 B CN109805898 B CN 109805898B CN 201910223555 A CN201910223555 A CN 201910223555A CN 109805898 B CN109805898 B CN 109805898B
- Authority
- CN
- China
- Prior art keywords
- convolution
- attention
- critical
- time sequence
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 231100000517 death Toxicity 0.000 title claims abstract description 27
- 230000034994 death Effects 0.000 title claims abstract description 27
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 230000001364 causal effect Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004083 survival effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 208000028399 Critical Illness Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 206010002091 Anaesthesia Diseases 0.000 description 2
- 230000037005 anaesthesia Effects 0.000 description 2
- 206010003497 Asphyxia Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010019663 Hepatic failure Diseases 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 206010040047 Sepsis Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 208000007903 liver failure Diseases 0.000 description 1
- 231100000835 liver failure Toxicity 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种基于注意力机制时序卷积网络算法的危重症死亡预测方法，属于人工智能与医疗应用领域。该方法包括步骤1.重症和手术多源监护数据的采集与分析；2.将数据输入到时序卷积网络(TCN)中抽取特征；3.将时序卷积网络中抽取的特征通过注意力机制计算每个特征的注意力权重；4.通过线性层计算死亡风险系数来预测危重症死亡风险。本发明作为一种危重症死亡预测工具，是对危重症患者进行死亡预测从而提高危重病人生存几率以及客观制定医疗护理计划的一种有效方法。
Description
技术领域
本发明属于人工智能和医疗应用领域涉及一种基于注意力机制时序卷积网络算法的危重症死亡预测方法。
背景技术
在全球范围内，围术期危重不良事件每年导致数百万人死亡。因此对危重症患者的生死预测研究具有十分重要的意义。首先，准确地对危重症患者进行生死预测能够提高危重病人的生存几率；其次，危重症患者的早期生死预测作为衡量医疗水平的有用指标，能够帮助医生评估患者的病情，客观的制定和修正医疗护理计划，确定最佳的出院时间，减少对患者的过度治疗，从而降低患者的救治费用；再次，准确预测危重症患者的生死有利于评价医治措施和医生工作的效果，提高医疗质量；最后还对合理配置医疗资源，营造良好的医患关系发挥着重要作用。目前临床上已经有很多评分系统用于患者病情评估和生死预测。由于危重症患者生理数据具有高维型与复杂性，采用传统的评分系统处理生死预测问题无法有效处理，对不同疾病的预测效果也不稳定，不能满足的临床要求。如何对病人的海量生理数据进行分析，并从中提取隐含的有价值的、有意义的信息，同时降低预测成本，成为目前医学领域和数据挖掘领域的热点和难点。
发明内容
有鉴于此，本发明的目的在于提供一种基于注意力机制时序卷积网络算法的危重症死亡预测方法。
为达到上述目的，本发明提供如下技术方案：
一种基于注意力机制时序卷积网络算法的危重症死亡预测方法，该方法包括以下步骤：
S1：重症和手术多源监护数据的采集与分析；
S2：将数据输入到时序卷积网络TCN中抽取特征；
S3：将时序卷积网络中抽取的特征通过注意力机制计算每个特征的注意力权重；
S4：通过线性层计算死亡风险系数来预测危重症死亡风险。
进一步，在所述步骤S1中，对临床监护数据进行采集，分析与危重症事件相关的异常监护数据，并融合HIS、PACS、EMR临床数据，形成大数据集。
进一步，在所述步骤S2中，时序卷积网络TCN架构中的卷积存在因果关系，意味前面时间步的预测不会使用未来的信息,因为时间步t的输出只会根据t-1及之前时间步上的卷积运算得出。
进一步，在所述步骤S2中通过使用一维全卷积网络，TCN产生和输入序列等长的输出序列，且每一个隐藏层通过使用Padding保持和输出层等长。
进一步，在所述步骤S2中，卷积架构将任意长度的序列映射到固定长度的序列。
进一步，在所述步骤S2中，TCN还强调利用残差模块和空洞卷积来构建长期依赖关系；
所述空洞卷积运算定义如下：
其中，d为膨胀系数，k为卷积核的大小，s-d*i使用的是上层的元素；膨胀系数控制每两个卷积核之间插入多少个零；当d＝1时，空卷积变为一般卷积运算。
进一步，在所述步骤S3中，将attention层接入时序卷积的最后层，Attention模型模拟的是人脑的注意力机制，医生对患者的整体数据的关注不是均衡的，是有一定的权重区分的。
进一步，在所述步骤S3中，通过注意力机制将特定的神经网络的预测与输入特征联系起来，通过模型的注意力权重，分析模型识别出死亡的关注点在那些特征上，便于医生对模型进行理解。
所述注意力机制定义如下：
其中，Z是归一化因子，q、K和V分别是query，key，value的简写；K,V是一一对应的，它们类似于key-value的关系，上式的意思是通过计算qt与各个vs的相似度，然后加权求和，得到一个dv维的向量。其中，dk起调节作用，使内积不至于太大。
进一步，在所述步骤S4中，根据模型识别出的死亡关注特征来计算死亡风险系数，并以此预测病人死亡风险。
本发明的有益效果在于：通过本发明的危重症死亡预测方法，可以准确地对危重症患者进行生死预测能够提高危重病人的生存几率；其次，危重症患者的早期生死预测作为衡量医疗水平的有用指标，能够帮助医生评估患者的病情，客观的制定和修正医疗护理计划，确定最佳的出院时间，减少对患者的过度治疗，从而降低患者的救治费用，合理配置医疗资源；再次，准确预测危重症患者的生死有利于评价医治措施和医生工作的效果，可以提高医疗质量，营造良好的医患关系。因此,有效的危重症死亡预测对现代化医疗有着极其重要的作用。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明实施例所述基于注意力机制时序卷积网络模型的结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，一种基于注意力机制时序卷积网络算法的围术期危重不良事件预测方法，包括以下步骤：
100：重症和手术多源监护数据的采集与分析；
200：将数据输入到时序卷积网络模型中抽取特征；
300：将时序卷积网络中抽取的特征通过注意力机制计算每个特征的注意力权重；
400：通过线性层计算死亡风险系数来预测危重症死亡风险。
步骤100中，对临床监护数据进行采集，分析与危重症事件相关的异常监护数据，并融合HIS、PACS、EMR临床数据，形成大数据集。
步骤200中，时序卷积网络(TCN)架构中的卷积存在因果关系，这意味着前面时间步的预测不会使用未来的信息,因为时间步t的输出只会根据t-1及之前时间步上的卷积运算得出。
步骤200中，通过使用一维全卷积网络，TCN可以产生和输入序列等长的输出序列，且每一个隐藏层通过使用Padding可以保持和输出层等长。
步骤200中，卷积架构可以将任意长度的序列映射到固定长度的序列。
步骤200中，TCN还强调利用残差模块和空洞卷积来构建长期依赖关系。
步骤200中，空洞卷积运算定义如下：
其中，d为膨胀系数，k为卷积核的大小，s-d*i使用的是上层的元素。膨胀系数控制着每两个卷积核之间插入多少个零。当d＝1时，空卷积变为一般卷积运算。
步骤300中，将attention层接入时序卷积的最后层，Attention模型模拟的是人脑的注意力机制，医生对患者的整体数据的关注不是均衡的，是有一定的权重区分的。
步骤300中，通过注意力机制将特定的神经网络的预测与输入特征联系起来，通过模型的注意力权重，可以分析模型识别出死亡的关注点在那些特征上。便于医生对模型进行理解。
步骤300中，注意力机制定义如下：
其中，Z是归一化因子，q、K和V分别是query，key，value的简写；K,V是一一对应的，它们类似于key-value的关系，上式的意思是通过计算qt与各个vs的相似度，然后加权求和，得到一个dv维的向量。其中，dk起调节作用，使内积不至于太大。
可选地，在步骤100中：重症和手术多源监护数据可来源于多种医疗设备。例如：面向呼吸机、血压监测仪、血氧监测仪、脑电图仪、心电图仪、麻醉机、麻醉深度检测仪等。
可选地，在步骤200中，由于TCN的接受域依赖于网络n的深度、卷积核K的大小以及空卷积中的膨胀系数D，所以较深的TCN对稳定性有较强的要求。例如，当预测依赖于2^12的历史时间步长和高维输入空间时，网络需要达到12个层次。
可选地，在步骤200中，在TCN模型中，利用残差模块对卷积网络进行深化。在TCN残差模块中，有两层空卷积和ReLU非线性函数，并且通过权重将卷积核的权值归一化。此外，TCN在残差模块的每个孔上都增加了dropout来达到正则化的目的。
可选地，在步骤400中：可进行多种危重症死亡风险预测。例如：窒息、昏厥、呼衰、心衰、肾衰、脓毒血症、肝衰、死亡等。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.基于注意力机制时序卷积网络算法的危重症死亡预测方法，其特征在于：该方法包括以下步骤：
S1：重症和手术多源监护数据的采集与分析；
S2：将数据输入到时序卷积网络TCN中抽取特征；
S3：将时序卷积网络中抽取的特征通过注意力机制计算每个特征的注意力权重；
S4：通过线性层计算死亡风险系数来预测危重症死亡风险；
在所述步骤S1中，对临床监护数据进行采集，分析与危重症事件相关的异常监护数据，并融合HIS、PACS、EMR临床数据，形成大数据集；
在所述步骤S2中，时序卷积网络TCN架构中的卷积存在因果关系，意味前面时间步的预测不会使用未来的信息，时间步t的输出只会根据t-1及之前时间步上的卷积运算得出；
在所述步骤S2中通过使用一维全卷积网络，TCN产生和输入序列等长的输出序列，且每一个隐藏层通过使用Padding保持和输出层等长；
在所述步骤S2中，卷积架构将任意长度的序列映射到固定长度的序列；
在所述步骤S2中，TCN还强调利用残差模块和空洞卷积来构建长期依赖关系；
所述空洞卷积运算定义如下：
其中，d为膨胀系数，k为卷积核的大小，d·i使用的是上层的元素；膨胀系数控制每两个卷积核之间插入多少个零；当d＝1时，空洞卷积变为一般卷积运算；
在所述步骤S3中，将Attention层接入时序卷积的最后层，Attention模型模拟的是人脑的注意力机制，医生对患者的整体数据的关注不是均衡的，是有一定的权重区分的；
在所述步骤S3中，通过注意力机制将特定的神经网络的预测与输入特征联系起来，通过模型的注意力权重，分析模型识别出死亡的关注点在哪些特征上，便于医生对模型进行理解；
所述注意力机制定义如下：
其中，Z是归一化因子，通过计算qt与各个vs的相似度，然后加权求和，得到一个dv维的向量；其中，dk起调节作用，使内积不至于太大；
在所述步骤S4中，根据模型识别出的死亡关注特征来计算死亡风险系数，并以此预测病人死亡风险。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910223555.5A CN109805898B (zh) | 2019-03-22 | 2019-03-22 | 基于注意力机制时序卷积网络算法的危重症死亡预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910223555.5A CN109805898B (zh) | 2019-03-22 | 2019-03-22 | 基于注意力机制时序卷积网络算法的危重症死亡预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109805898A CN109805898A (zh) | 2019-05-28 |
| CN109805898B true CN109805898B (zh) | 2024-04-05 |
Family
ID=66610094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910223555.5A Active CN109805898B (zh) | 2019-03-22 | 2019-03-22 | 基于注意力机制时序卷积网络算法的危重症死亡预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109805898B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349676B (zh) * | 2019-06-14 | 2021-10-29 | 华南师范大学 | 时序生理数据分类方法、装置、存储介质和处理器 |
| CN110852563A (zh) * | 2019-10-09 | 2020-02-28 | 天津大学 | 基于深度学习注意力机制的社会风险多目标优化生成方法 |
| CN111012336B (zh) * | 2019-12-06 | 2022-08-23 | 重庆邮电大学 | 时空特征融合的并行卷积网络运动想象脑电图分类方法 |
| CN111612278A (zh) * | 2020-06-01 | 2020-09-01 | 戴松世 | 生命状态预测方法、装置、电子设备及存储介质 |
| CN111798975A (zh) * | 2020-06-01 | 2020-10-20 | 山东师范大学 | 基于循环时间卷积网络的疾病诊断系统、设备及介质 |
| CN111803059A (zh) * | 2020-06-30 | 2020-10-23 | 武汉中旗生物医疗电子有限公司 | 一种基于时域卷积网络的心电信号分类方法及装置 |
| CN111859005B (zh) * | 2020-07-01 | 2022-03-29 | 江西理工大学 | 一种跨层多模型特征融合与基于卷积解码的图像描述方法 |
| CN111983922A (zh) * | 2020-07-13 | 2020-11-24 | 广州中国科学院先进技术研究所 | 一种基于元模仿学习的机器人演示示教方法 |
| CN113017568A (zh) * | 2021-03-03 | 2021-06-25 | 中国人民解放军海军军医大学 | 一种严重创伤患者生理变化及死亡风险预测方法及系统 |
| CN113069117A (zh) * | 2021-04-02 | 2021-07-06 | 中山大学 | 一种基于时间卷积神经网络的脑电情绪识别方法及系统 |
| CN114041780B (zh) * | 2021-12-08 | 2022-08-30 | 中国科学院计算技术研究所 | 一种基于惯性传感器采集的数据进行呼吸监测的方法 |
| CN114444663A (zh) * | 2022-01-28 | 2022-05-06 | 吉林大学 | 一种基于时间卷积网络的供水管网泄漏检测与定位方法 |
| CN116839900B (zh) * | 2023-07-06 | 2024-01-30 | 昌辉汽车转向系统（黄山）有限公司 | 基于因果注意的时序卷积网络的故障诊断方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1358074A (zh) * | 1999-03-02 | 2002-07-10 | 杜克L·奇尔德 | 用于促进生理相干和自主平衡的方法和设备 |
| CN104508471A (zh) * | 2012-06-08 | 2015-04-08 | 力保科学公司 | Glyca的nmr测量 |
| CN109009074A (zh) * | 2018-07-19 | 2018-12-18 | 上海工程技术大学 | 一种基于深度学习的心脏性猝死辅助预警装置 |
| JP2019023790A (ja) * | 2017-07-24 | 2019-02-14 | 公立大学法人横浜市立大学 | 死亡予測装置及び死亡予測プログラム |
| CN109717833A (zh) * | 2018-11-26 | 2019-05-07 | 中国科学院软件研究所 | 一种基于人体运动姿态的神经疾病辅助诊断系统 |
-
2019
- 2019-03-22 CN CN201910223555.5A patent/CN109805898B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1358074A (zh) * | 1999-03-02 | 2002-07-10 | 杜克L·奇尔德 | 用于促进生理相干和自主平衡的方法和设备 |
| CN104508471A (zh) * | 2012-06-08 | 2015-04-08 | 力保科学公司 | Glyca的nmr测量 |
| JP2019023790A (ja) * | 2017-07-24 | 2019-02-14 | 公立大学法人横浜市立大学 | 死亡予測装置及び死亡予測プログラム |
| CN109009074A (zh) * | 2018-07-19 | 2018-12-18 | 上海工程技术大学 | 一种基于深度学习的心脏性猝死辅助预警装置 |
| CN109717833A (zh) * | 2018-11-26 | 2019-05-07 | 中国科学院软件研究所 | 一种基于人体运动姿态的神经疾病辅助诊断系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109805898A (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109805898B (zh) | 基于注意力机制时序卷积网络算法的危重症死亡预测方法 | |
| Chang et al. | Pima Indians diabetes mellitus classification based on machine learning (ML) algorithms | |
| Sharma et al. | A smart ontology-based IoT framework for remote patient monitoring | |
| Albahri et al. | IoT-based telemedicine for disease prevention and health promotion: State-of-the-Art | |
| Abdel-Basset et al. | A novel group decision making model based on neutrosophic sets for heart disease diagnosis | |
| US11017902B2 (en) | System and method for processing human related data including physiological signals to make context aware decisions with distributed machine learning at edge and cloud | |
| Al-Dmour et al. | A fuzzy logic–based warning system for patients classification | |
| Dami et al. | Predicting cardiovascular events with deep learning approach in the context of the internet of things | |
| Pal et al. | Deep learning techniques for prediction and diagnosis of diabetes mellitus | |
| Ali et al. | Multitask deep learning for cost-effective prediction of patient's length of stay and readmission state using multimodal physical activity sensory data | |
| Refaee et al. | A computing system that integrates deep learning and the internet of things for effective disease diagnosis in smart health care systems | |
| Choi et al. | Longitudinal Healthcare Data Management Platform of Healthcare IoT Devices for Personalized Services. | |
| Mahadi et al. | Machine learning assisted decision support system for prediction of prostrate cancer | |
| Liao et al. | Recognizing diseases with multivariate physiological signals by a DeepCNN-LSTM network | |
| Irshad et al. | Convolutional neural network enable optoelectronic system for predicting cardiac response by analyzing auction-based optimization algorithms | |
| Philip et al. | Smart Health Monitoring Using Deep Learning and Artificial Intelligence. | |
| Karimi Moridani | An automated method for sleep apnoea detection using HRV | |
| Bhattacharya et al. | Remote cardiovascular health monitoring system with auto-diagnosis | |
| Strobel et al. | Healthcare in the Era of Digital twins: towards a Domain-Specific Taxonomy. | |
| Wang | Identification of cardiovascular diseases based on machine learning | |
| Zhang et al. | Intelligent alert system for predicting invasive mechanical ventilation needs via noninvasive parameters: employing an integrated machine learning method with integration of multicenter databases | |
| Li et al. | XAI for In-hospital Mortality Prediction via Multimodal ICU Data | |
| Dey et al. | U-Healthcare Monitoring Systems: Volume 1: Design and Applications | |
| Ramesh et al. | A remote health monitoring framework for heart disease and diabetes prediction using advanced artificial intelligence model. | |
| Huang et al. | Personalized disease treatment plan suggestion system based on big data and knowledge base |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |