CN115862842A - 慢性病的风险预测方法及相关设备 - Google Patents
慢性病的风险预测方法及相关设备 Download PDFInfo
- Publication number
- CN115862842A CN115862842A CN202211583777.6A CN202211583777A CN115862842A CN 115862842 A CN115862842 A CN 115862842A CN 202211583777 A CN202211583777 A CN 202211583777A CN 115862842 A CN115862842 A CN 115862842A
- Authority
- CN
- China
- Prior art keywords
- network
- matrix
- feature
- self
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 208000017667 Chronic Disease Diseases 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 106
- 238000013528 artificial neural network Methods 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000010606 normalization Methods 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000001684 chronic effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007211 cardiovascular event Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001631 haemodialysis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000322 hemodialysis Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请提供一种慢性病的风险预测方法及相关装置；该方法包括：对患者数据进行筛选并统一维度，得到初始数据并输入深度神经网络；将初始数据映射为输入矩阵，进行各个特征头的自注意力计算操作，联合各个特征头的输出，得到自注意力得分矩阵，对输入矩阵和自注意力得分矩阵设置残差连接操作和层归一化操作，来构建梯度向前传播的特征提取网络；根据初始数据所覆盖的时间长度，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络，并将各个特征其提取层输出的局部特征信息拼接为输入全局风险预测网络的全局特征信息；对全局特征信息和局部特征信息进行风险概率的预测，并得到预测结果。
Description
技术领域
本申请的实施例涉及计算机技术与医疗卫生技术领域，尤其涉及一种慢性病的风险预测方法及相关装置。
背景技术
在相关的慢性病风险的预测中，临床医生却仍然难以针对某一个体、一定时间内的死亡风险给出精确的量化预测，基于现有观察性队列研究而采用的统计学等方法，应用于慢性病人群的风险预测时存在诸多局限性。
基于此，需要一种能够精确给出量化的风险预警提示的方案。
发明内容
有鉴于此，本申请的目的在于提出一种慢性病的风险预测方法及相关装置。
基于上述目的，本申请提供了慢性病的风险预测方法，包括：
利用预置的患者数据的均值和标准差，对所述患者数据进行筛选，并统一所述患者数据的维度，得到初始数据并输入预置的深度神经网络；
在所述深度神经网络中，将所述初始数据映射为输入矩阵，依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作并输出，联合所述各个特征头的输出后进行线性转换，得到自注意力得分矩阵，对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，以将梯度向前传播并输出局部特征信息；
在所述深度神经网络中，设置局部风险预测网络和全局风险预测网络，根据所述初始数据所覆盖的时间长度，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络，并将各个特征其提取层输出的局部特征信息拼接为输入所述全局风险预测网络的全局特征信息；
基于对所述深度神经网络的预训练，来对输入所述全局风险预测网络的所述全局特征信息，和输入所述对应的局部风险预测网络的局部特征信息进行风险概率的预测，并得到预测结果。
进一步地，对所述深度神经网络的预训练，包括：
采用迁移学习预置所述深度神经网络的网络参数；
利用交叉熵构建损失函数；
基于预置的所述患者数据的类别，利用所述损失函数，确定所述类别与所述对应的局部风险预测网络和所述全局风险预测网络的预测结果之间的误差；
通过对所述误差进行反向传播，来更新所述网络参数；
响应于更新后的网络参数令所述深度神经网络的误差小于预设的误差阈值，完成对所述深度神经网络的训练。
进一步地，对所述患者数据进行筛选，包括：
利用所述均值和所述标准差，设置筛选范围；
并保留取值在所述筛选范围内的患者数据。
进一步地，依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作，包括：
为所述输入矩阵设置第一权重矩阵、第二权重矩阵和第三权重矩阵，并分别与所述输入矩阵相乘；
得到待匹配特征矩阵、特征查询矩阵和特征值矩阵；
对于各个特征头，利用预置的自注意力激活函数进行关于该特征头的自注意力计算操作，并确定关于该特征头的输出。
进一步地，得到自注意力得分矩阵之前，还包括：
确定所述输入矩阵中的缺失值；
为所述缺失值设立缺失值掩码，得到掩码矩阵，其中，所述缺失值掩码由表示数值缺失的0和表示数值存在的1组成；
将所述联合所述各个特征头的输出后进行线性转换之后的结果与所述掩码矩阵中的对应元素点乘后得到所述自注意力得分矩阵。
进一步地，对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，包括：
通过将所述输入矩阵和所述自注意力得分矩阵相加，来进行所述残差连接操作；
利用如下所示的公式进行层归一化操作：
H＝LayerNorm(FFN(H′)+H′)
其中，
表示所述输入矩阵，/>
表示所述自注意力得分矩阵，FFN表示前馈神经网络，H表示层归一化操作的结果；
进一步地，将所述自注意力计算、所述残差连接操作和所述层归一化操作、梯度向前传播和再次进行所述所述残差连接操作和所述层归一化操作进行串联，得到所述特征提取网络。
进一步地，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络之前，包括：
根据所初始数据所覆盖的时间长度，为不同时序长度的各个初始数据配置不同的序列长度；
设置多个特征提取网络，并分别对应配置不同序列长度的初始数据。
基于同一发明构思，本申请还提供了一种慢性病的风险预测装置，包括：异构数据处理模块、风险因子提取模块、多时间序列联合预测模块和训练与预测模块；
其中，所述异构数据处理模块，被配置为，利用预置的患者数据的均值和标准差，对所述患者数据进行筛选，并统一所述患者数据的维度，得到初始数据并输入预置的深度神经网络；
所述风险因子提取模块，被配置为，在所述深度神经网络中，将所述初始数据映射为输入矩阵，依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作并输出，联合所述各个特征头的输出后进行线性转换，得到自注意力得分矩阵，对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，以将梯度向前传播并输出局部特征信息；
所述多时间序列联合预测模块，被配置为，在所述深度神经网络中，设置局部风险预测网络和全局风险预测网络，根据所述初始数据所覆盖的时间长度，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络，并将各个特征其提取层输出的局部特征信息拼接为输入所述全局风险预测网络的全局特征信息；
所述训练与预测模块，被配置为，基于对所述深度神经网络的预训练，来对输入所述全局风险预测网络的所述全局特征信息，和输入所述对应的局部风险预测网络的局部特征信息进行风险概率的预测，并得到预测结果。
基于同一发明构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的慢性病的风险预测方法。
基于同一发明构思，本申请还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述慢性病的风险预测方法。
从上面所述可以看出，本申请提供的慢性病的风险预测方法及相关装置，基于对患者数据的筛选，并在同一患者数据的维度后，解决了存在异构数据的问题，使得所得到的数据适用于深度神经网络，在构建深度神经网络时，基于自注意力机制构建了风险因子的特征提取网络，并联合了各个特征头的自注意力计算操作的结果，并在构建的风险因子的特征提取网络中，综合考虑了关联特征和时序特征，根据数据不同的时间长度分别构建多个信息提取模块，联合多个时间序列的风险因子特征来进行特征提取，从而实现利用训练好的深度神经网络预测患者的慢性病发展的风险。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的慢性病的风险预测方法及相关装置方法的流程图；
图2为本申请实施例的总体执行逻辑图；
图3为本申请实施例的数据类型示意图；
图4为本申请实施例的异构数据处理的流程图；
图5为本申请实施例的风险因子的特征提取网络的结构图；
图6为本申请实施例的多时间序列联合预测逻辑示意图；
图7为本申请实施例的训练步骤流程图；
图8为本申请实施例的慢性病的风险预测方法及相关装置装置结构示意图；
图9为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请的实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
可以理解的是，在使用本公开中各个实施例的技术方案之前，均会通过恰当的方式对所涉及的个人信息的类型、使用范围、使用场景等告知用户，并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确的提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主的选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定的实现方式，响应于接受到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
如背景技术部分所述，相关的慢性病的风险预测方法还难以满足实际医疗工作中，对患者进行慢性病发展预测的需要。
申请人在实现本申请的过程中发现，相关的慢性病的风险预测方法存在的主要问题在于：既往研究虽然揭示了众多慢性病的风险因子，但难以精准地个体化预测近期是否发生心血管事件，也就是说，临床医生却仍然难以针对某一个体、一定时间内的死亡风险给出精确的量化预测，基于现有观察性队列研究而采用的统计学等方法，应用于慢性病人群的风险预测时存在诸多局限性。
具体地，首先，统计学方法通常分析预测变量，也即，潜在风险因子和结局变量，也即，死亡风险概率的线性相关性，如皮尔逊相关分析，逻辑回归和Cox回归分析等，或假定某种函数关系来分析非线性相关性，如样条回归分析，然而，但真实世界中预测变量如血压和风险和概率却很难用简单的线性或非线性关系来描述。
进一步地，现有方法对时间序列变量的处理并不理想，无论采用基线、时间平均、时间依存变量，均各有利弊，很难反映出动态变化中某个预测变量对结局的累积效应。
基于此，本申请中的一个或多个实施例提供了慢性病的风险预测方法。
以下结合附图详细说明本申请的实施例。
参考图1，本申请一个实施例的慢性病的风险预测方法方法，包括以下步骤：
步骤S101、利用预置的患者数据的均值和标准差，对所述患者数据进行筛选，并统一所述患者数据的维度，得到初始数据并输入预置的深度神经网络。
在本申请的实施例中，如图2所示，通过对患者的相关数据的采集，并分别对基线数据和随访数据进行不同的处理，来实现对异构数据的整合，并将整合后的初始数据输入至深度神经网络中。
在本实施例中，以慢性病患者及其数据作为具体的示例，对于每个患者来说，可以将该患者的患者数依据其转归实践的类别，分别标注为相应的转归类别，也即该患者数据的类别，例如持续慢性病、转血透和死亡等，并将其作为该患者的标签，将标注好标签的慢性病患者的患者数据作为训练本申请中深度神经网络的训练数据集。
其中，转归事件包括患者的病情发生变化，或者转入另一病情阶段，例如，将转归事件为死亡的患者数据的标签标注为1，将非死亡的患者数据的标签标注为0。
进一步地，在患者数据中，如图3所示，包括了大量不同结构和不同类型的数据，例如，患者的人口学信息、疾病特征信息、各项生化检查数据、营养数据和慢性病治疗信息等。
进一步地，可以将数据分为基线变量，也即基线数据，和随访变量，也即随访数据；其中，基线数据为采集一次，且在多次采集过程中不发生变化，的数据，例如，患者的性别和身高等，随访变量包括随病情发生变化，且每次均需采集的数据，例如各项生化检查数据等。
进一步地，由于患者的原始随访记录在采集时的时间间隔是不规则的，为保证输入神经网络的数据，其时间序列间隔相同，因此，需要按照一定的时间间隔tstep对原始的随访数据进行采样。
具体地，如图4所示，例如，对于采集到的原始随访变量，采取从其记录的起始时间tstart，也即，患者录入平台或第一次化验数据的时间，每三个月作为一个时间间隔tstep选取一条数据的方式来选取数据，该数据为三个月中最接近选取时间点的数据，若三个月内无记录则填充空值，从而使得到的随访变量是以三个月为时间间隔的数据向量，直到达到患者出现转归事件的时间tend。
在本实施例中，起始时间处的数据为该患者的第一次采样值r1，并在上述采样方式采集后，得到随访变量的采集结果r＝[r1,r2,…,rn]，其中，n表示患者数据的序列长度。
进一步地，为统一患者数据的维度，设定统一的序列长度w，对序列长度少于w的数据，将其空值填充至w长度，并对序列长度大于w的数据以转归事件的时间为终点，选取最后w个数据，根据上述随访变量的采集结果得到的随访变量为：
进一步地，对于基线变量来说，仅记录有一条数据，则以空值填充的方式将基线变量填充至与随访变量相同的向量维度。
具体地，将基线变量的空值填充为长度w的向量，再与随访变量合并，得到维度为(b+v)×w的患者数据矩阵，其中b为基线变量数目，v为随访变量数目。
进一步地，由于患者数据中包含无法直接使用的类别变量，例如性别等，因此需要将类别变量数据值化，以数值编码的方式来代表不同的类别信息。
在本实施例中，对于上述得到的患者数据来说，由于记录数据的过程中存在的不规范操作，因此患者数据中存在异常数据，需要筛选并清除出异常数据，来保证准确性。
具体地，以化验指标变量为例，统计其均值μ和标准差σ，并依据3σ准则，对于超出取值范围(μ-3σ，μ+3σ)的患者数据，视为潜在的异常数据，将取值范围(μ-3σ，μ+3σ)之内的患者数据，视为正常数据。
进一步地，基于判断结果，保留正常数据，剔除异常数据，并对异常数据进行空值替换，并将筛选后保留的正常数据作为初始数据。
在本实施例中，基于上述得到的初始数据，可以将其输入至预置的深度神经网络。
步骤S102、在所述深度神经网络中，将所述初始数据映射为输入矩阵，依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作并输出，联合所述各个特征头的输出后进行线性转换，得到自注意力得分矩阵，对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，以将梯度向前传播并输出局部特征信息。
在本申请的实施例中，如图2所示，可以通过编码映射，将初始数据输入至深度神经网络，并基于自注意力机制，构建特征提取网络，用以提取初始数据中各个变量之间的关联特征。
在本实施例中，如图5所示，将上述的初始数据作为深度神经网络的训练样本，并将初始数据中的各个变量视为潜在的风险因子，并利用构建的深度神经网络来提取风险因子的多层次的特征信息。
在具体的示例中，将初始数据
的时间长度为设置为上述的w，并包含m＝b+v个不同的变量，也即，每个变量/>
的序列长度为w，/>
其中，xt表示第t个变量。
进一步地，对每个变量xt进行归一化处理，统计整个初始数据的均值和标准差，对每个维度的数据减去均值再除以标准差。
进一步地，可以将变量xt线性投影到d维向量空间中，得到ut，并将ut作为输入向量，其中，d是自注意力机制中每个序列种元素的维度，也即深度神经网络的维度。
进一步地，对于深度神经网络，其中的参数和输入向量具备如下所示的关系：
ut＝Wpxt+bp
其中，
均为深度神经网络中可学习的参数，/>
表示深度神经网络的输入向量，并以/>
表示由输入向量所组成的输入矩阵。
进一步地，如图5所示，由于自注意力的架构对输入数据的顺序缺少感知能力，基于此，需要加入位置编码来使深度神经网络学习时间序列的序列特征。
具体地，输入矩阵
加入位置编码Wpos使得/>
其中，/>
表示进行位置编码后的输入矩阵。
在一些其他实施例中，位置编码有多种选取方式，在本实施例中设定位置编码为全部可学习的参数矩阵。
在本实施例中，对于位置编码后的输入矩阵，可以采取自注意力机制来提取深层语义信息和关联性关系，其自注意力计算操作的表达式如下所示：
MultiHeadAttn(Q,K,V)＝Concact(head1,…,headH)WO＝Y
其中，矩阵Wq,Wk,Wv均为可学习的权重矩阵，可以通过将输入矩阵
分别乘以三个系数矩阵，来分别得到待匹配特征矩阵Q、特征查询矩阵K和特征值矩阵V。
进一步地，在上述自注意力计算操作中的Attn(Q,K,V)中，基于自注意力矩阵
的表达式，可以看出，自注意力矩阵中的每一个元素的值记录了对应的两个输入向量，例如Q和K，在关联性上的计算结果；其中，dk表示特征查询矩阵K的维度，Concact(·)表示矩阵的连接操作，softmax(·)为归一化指数函数，Headi表示第i个特征头。
进一步地，基于计算出的各个特征头的自注意力计算结果，可以联合多个特征头的计算结果，其中，不同的特征头可以分别提取输入数据的不同层次的特征，从而提高网络的鲁棒性。
具体地，设立H个特征头，根据上述的MultiHeadAttn(Q,K,V)计算操作，将所有特征头的输出进行首尾拼接后，再进行线性转换，以获取最终的自注意力得分矩阵Y。
其中，进行线性转换可以通过乘以权重矩阵WO的方式实现。
在本实施例中，由于输入矩阵中存在缺失值，也就是说，某个变量无记录值或某个时间点无记录值，其中，前述过程中所填充的空值也可视为缺失值。
进一步地，可以在自注意力计算过程中设立缺失值掩码，并构成掩码矩阵，具体地，掩码矩阵
由元素0或1组成，0代表该位置的数值缺失，1代表该位置数值存在。
进一步地，将输入矩阵与掩码矩阵中各自的对应元素进行点乘，可以得到自注意力得分矩阵
其中，⊙为哈达玛积。
在本实施例中，获取自注意力得分后，深度神经网络还需要将该自注意力得分用于前向传播过程中，使用残差连接操作和层归一化操作相结合的方法可以有效提高深度神经网络向前传播的性能，其中计算过程如下公式所示：
H＝LayerNorm(FFN(H′)+H′)
其中，基于上述的输入矩阵和自注意力得分矩阵，在计算残差时，
和/>
分别表示自注意力计算的输入和输出，残差连接的过程即为将该自注意力计算的输入和输出相加，以实现增强梯度传播的效果。
进一步地，LayerNorm(·)表示层归一化操作，FFN(·)则表示前馈神经网络，也即梯度向前传播的神经网络，其中，可以使用Relu(·)作为激活函数用于线性变换。
在本实施例中，如图5所示，可以将自注意力计算，残差连接操作和层归一化操作，前向传播，以及，再次进行残差连接操作和层归一化操作四个主要操作串联执行，并视为一个自注意力特征提取层。
进一步地，经过编码后的输入矩阵在输入到自注意力特征提取层后，会得到相同维度大小的输出，因此，可以将多个自注意力特征提取层首尾相接，得到特征提取网络，以进行多层次的特征信息的提取，并在提取特征信息后进入风险预测阶段。
步骤S103、在所述深度神经网络中，设置局部风险预测网络和全局风险预测网络，根据所述初始数据所覆盖的时间长度，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络，并将各个特征其提取层输出的局部特征信息拼接为输入所述全局风险预测网络的全局特征信息。
在本申请的实施例中，随访数据中包含患者从开始记录到转归事件的多个时间点的数据信息，其中，不同时间点的数据信息对结预测结果有不同程度的影响，因此，如图2所示，可以通过使用不同时间长度的数据，构建相应的特征提取网络来提取特征信息，并将不同特征提取网络提取的特征进行拼接，并将拼接后的数据送入风险预测网络，得到风险概率的预测结果。
在本实施例中，特征提取网络以自注意力机制为基础，重点关注变量之间的关系，而对变量内部的时间序列关系的提取能力较弱，因此，如图6所示，可以设立多个时间序列长度的特征提取网络，分别提取对应时间长度的输入数据的特征，再将输出结果拼接后送入风险预测网络。
具体地，分别设置K个序列长度T1,…,TK，由此得到在时间长度上相对应的输入数据，构建K个特征提取网络Net1,…,Netk。
其中，Net1网络负责处理基线变量和仅取一个时间点的随访变量，Netk负责处理时间长度为TK的随访变量。
在具体地示例中，在取值上可以选取例如，K＝3,T1＝1,T2＝10,T3＝20。
进一步地，构建三个上述的特征提取网络，并将其各自输出的局部特征信息分别表示
分别针对每个特征提取网络设置分别对应的局部风险预测网络：Pred1,Pred2,Pred3。
进一步地，将输出的三个局部特征信息按照如下所示的方式进行拼接，得到全局特征信息：
并作为全局风险预测网络Predout的输入。
其中，每个局部风险预测网络，以及，全局风险预测网络均由一层全连接神经网络组成，将输出结果通过softmax(·)函数得到对应类别的风险概率。
步骤S104、基于对所述深度神经网络的预训练，来对输入所述全局风险预测网络的所述全局特征信息，和输入所述对应的局部风险预测网络的局部特征信息进行风险概率的预测，并得到预测结果。
在本申请的实施例中，基于上述构建的深度神经网络，可以通过对其进行训练，来确定每层网络的参数设置，并将其保存后用于对患者数据的预测。
在本实施例中，深度神经网络训练前需要初始化参数，其中的自注意力特征提取网络使用迁移学习的方法，可加快网络的训练速度，减少训练开销，而其他网络则使用随机初始化的方法，基于此，使用损失函数计算该结果与标签之间的误差，并基于梯度下降算法和反向传播原理，来更新网络参数直至网络收敛，得到训练好的网络。
在具体的示例中，如图7所示，基于自注意力机制的特征提取网络Net1,…,Netk可以使用迁移学习预置网络参数，其余神经网络随机初始化网络参数。
进一步地，如上所述，每个患者慢性病数据的转归事件作为标签labeli，训练神经网络时，使用损失函数计算神经网络的风险预测结果与标签之间的误差Loss：
Loss＝J(labeli,F(Xi；Θ))
其中，Xi表示网络中第i个患者的输入数据，i＝2,3,...,S，S为数据集总患者的数量，F(Xi；Θ)表示网络参数为Θ时，神经网络的预测结果。J(·)表示损失函数，计算神经网络风险预测结果与标签之间的误差。
在本实施例的具体示例中，局部风险预测网络和全局风险预测网络中的全连接神经网络Pred1,Pred2,Pred3和Predout作为整体深度神经网络的最后一层，可以输出预测结果，并直接和标签计算网络误差。
具体地，使用交叉熵作为损失函数，计算公式如下所示：
其中，Li为第i个病人的损失函数；j＝1,…C为第j个类别；C为样本的类别数；yij表示符号函数，例如，若病人i的真实类别等于j则取1，否则取0；pij为网络输出风险结果的预测概率，也即，病人i属于类别j的概率。
进一步地，使用双数损失函数分别计算得到网络损失L1,L2,L3,Lout，网络的总损失L可以按照如下所示的公式确定：
L＝α1L1+α2L2+α3L3+αoutLout
其中，α1,α2,α3,αout均表示可调整的超参数，用以控制各局部损失对网络的影响。
进一步地，利用梯度下降法，最小化上述的损失函数，通过误差反向传播机制更新网络参数，直至训练次数达到预设的次数阈值后，或者，网络的误差波动小于预设的误差阈值，则可以认为网络收敛，并保存网络每层的参数设置，得到训练好的深度神经网络。
进一步地，利用训练好的深度神经网络进行慢性病患者的风险预测时，可以将数据集中未参与训练的患者数据，或者其他待预测的患者数据输入至深度神经网络中，并输出预测的分类结果和风险概率。
进一步地，可以根据得到的预测结果，根据其准确性等各类评价指标评估网络性能。
本方法构建多时间序列风险因子特征提取网络，来提取出慢性病病人数据的关联特征和时序特征，风险预测网络的输出基于损失函数与标签进行计算，通过梯度下降方法反馈给网络，使网络根据标签学习到慢性病临床医生的专业知识和慢性病数据与转归结果之间的医学联系。
可见，本申请的实施例的慢性病的风险预测方法，基于对患者数据的筛选，并在同一患者数据的维度后，解决了存在异构数据的问题，使得所得到的数据适用于深度神经网络，在构建深度神经网络时，基于自注意力机制构建了风险因子的特征提取网络，并联合了各个特征头的自注意力计算操作的结果，并在构建的风险因子的特征提取网络中，综合考虑了关联特征和时序特征，根据数据不同的时间长度分别构建多个信息提取模块，联合多个时间序列的风险因子特征来进行特征提取，从而实现利用训练好的深度神经网络预测患者的慢性病发展的风险。
需要说明的是，本申请的实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请的实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种慢性病的风险预测装置。
参考图8，所述慢性病的风险预测装置，包括：异构数据处理模块801、风险因子提取模块802、多时间序列联合预测模块803和训练与预测模块804；
其中，所述异构数据处理模块801，被配置为，利用预置的患者数据的均值和标准差，对所述患者数据进行筛选，并统一所述患者数据的维度，得到初始数据并输入预置的深度神经网络；
所述风险因子提取模块802，被配置为，在所述深度神经网络中，将所述初始数据映射为输入矩阵，依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作并输出，联合所述各个特征头的输出后进行线性转换，得到自注意力得分矩阵，对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，以将梯度向前传播并输出局部特征信息；
所述多时间序列联合预测模块803，被配置为，在所述深度神经网络中，设置局部风险预测网络和全局风险预测网络，根据所述初始数据所覆盖的时间长度，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络，并将各个特征其提取层输出的局部特征信息拼接为输入所述全局风险预测网络的全局特征信息；
所述训练与预测模块804，被配置为，基于对所述深度神经网络的预训练，来对输入所述全局风险预测网络的所述全局特征信息，和输入所述对应的局部风险预测网络的局部特征信息进行风险概率的预测，并得到预测结果。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请的实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的慢性病的风险预测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的慢性病的风险预测方法。
图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备、动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本申请实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的装置用于实现前述任一实施例中相应的慢性病的风险预测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的慢性病的风险预测方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的慢性病的风险预测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请的实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请的实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请的实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请的实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请的实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种慢性病的风险预测方法，其特征在于，包括：
利用预置的患者数据的均值和标准差，对所述患者数据进行筛选，并统一所述患者数据的维度，得到初始数据并输入预置的深度神经网络；
在所述深度神经网络中，将所述初始数据映射为输入矩阵，依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作并输出，联合所述各个特征头的输出后进行线性转换，得到自注意力得分矩阵，对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，以将梯度向前传播并输出局部特征信息；
在所述深度神经网络中，设置局部风险预测网络和全局风险预测网络，根据所述初始数据所覆盖的时间长度，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络，并将各个特征其提取层输出的局部特征信息拼接为输入所述全局风险预测网络的全局特征信息；
基于对所述深度神经网络的预训练，来对输入所述全局风险预测网络的所述全局特征信息，和输入所述对应的局部风险预测网络的局部特征信息进行风险概率的预测，并得到预测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述深度神经网络的预训练，包括：
采用迁移学习预置所述深度神经网络的网络参数；
利用交叉熵构建损失函数；
基于预置的所述患者数据的类别，利用所述损失函数，确定所述类别与所述对应的局部风险预测网络和所述全局风险预测网络的预测结果之间的误差；
通过对所述误差进行反向传播，来更新所述网络参数；
响应于更新后的网络参数令所述深度神经网络的误差小于预设的误差阈值，完成对所述深度神经网络的训练。
3.根据权利要求1所述的方法，其特征在于，所述对所述患者数据进行筛选，包括：
利用所述均值和所述标准差，设置筛选范围；
并保留取值在所述筛选范围内的患者数据。
4.根据权利要求1所述的方法，其特征在于，所述依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作，包括：
为所述输入矩阵设置第一权重矩阵、第二权重矩阵和第三权重矩阵，并分别与所述输入矩阵相乘；
得到待匹配特征矩阵、特征查询矩阵和特征值矩阵；
对于各个特征头，利用预置的自注意力激活函数进行关于该特征头的自注意力计算操作，并确定关于该特征头的输出。
5.根据权利要求1所述的方法，其特征在于，所述得到自注意力得分矩阵之前，还包括：
确定所述输入矩阵中的缺失值；
为所述缺失值设立缺失值掩码，得到掩码矩阵，其中，所述缺失值掩码由表示数值缺失的0和表示数值存在的1组成；
将所述联合所述各个特征头的输出后进行线性转换之后的结果与所述掩码矩阵中的对应元素点乘后得到所述自注意力得分矩阵。
6.根据权利要求1所述的方法，其特征在于，所述对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，包括：
通过将所述输入矩阵和所述自注意力得分矩阵相加，来进行所述残差连接操作；
利用如下所示的公式进行层归一化操作：
H＝LayerNorm(FFN(H′)+H′)
其中，
表示所述输入矩阵，/>
表示所述自注意力得分矩阵，FFN表示前馈神经网络，H表示层归一化操作的结果；
进一步地，将所述自注意力计算、所述残差连接操作和所述层归一化操作、梯度向前传播和再次进行所述所述残差连接操作和所述层归一化操作进行串联，得到所述特征提取网络。
7.根据权利要求1所述的方法，其特征在于，所述将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络之前，包括：
根据所初始数据所覆盖的时间长度，为不同时序长度的各个初始数据配置不同的序列长度；
设置多个特征提取网络，并分别对应配置不同序列长度的初始数据。
8.一种慢性病的风险装置，其特征在于，包括：异构数据处理模块、风险因子提取模块、多时间序列联合预测模块和训练与预测模块；
其中，所述异构数据处理模块，被配置为，利用预置的患者数据的均值和标准差，对所述患者数据进行筛选，并统一所述患者数据的维度，得到初始数据并输入预置的深度神经网络；
所述风险因子提取模块，被配置为，在所述深度神经网络中，将所述初始数据映射为输入矩阵，依据为所述输入矩阵分配的多个系数矩阵，来进行各个特征头的自注意力计算操作并输出，联合所述各个特征头的输出后进行线性转换，得到自注意力得分矩阵，对所述输入矩阵和所述自注意力得分矩阵设置残差连接操作和层归一化操作，来构建特征提取网络，以将梯度向前传播并输出局部特征信息；
所述多时间序列联合预测模块，被配置为，在所述深度神经网络中，设置局部风险预测网络和全局风险预测网络，根据所述初始数据所覆盖的时间长度，将时序长度对应的特征提取网络的输出的局部特征信息输入至对应的局部风险预测网络，并将各个特征其提取层输出的局部特征信息拼接为输入所述全局风险预测网络的全局特征信息；
所述训练与预测模块，被配置为，基于对所述深度神经网络的预训练，来对输入所述全局风险预测网络的所述全局特征信息，和输入所述对应的局部风险预测网络的局部特征信息进行风险概率的预测，并得到预测结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211583777.6A CN115862842A (zh) | 2022-12-09 | 2022-12-09 | 慢性病的风险预测方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211583777.6A CN115862842A (zh) | 2022-12-09 | 2022-12-09 | 慢性病的风险预测方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115862842A true CN115862842A (zh) | 2023-03-28 |
Family
ID=85671809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211583777.6A Pending CN115862842A (zh) | 2022-12-09 | 2022-12-09 | 慢性病的风险预测方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862842A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116936103A (zh) * | 2023-09-12 | 2023-10-24 | 神州医疗科技股份有限公司 | 一种基于同向网络的用户健康预测管理方法及系统 |
| CN117079815A (zh) * | 2023-08-21 | 2023-11-17 | 哈尔滨工业大学 | 一种基于图神经网络的心血管疾病风险预测模型构建方法 |
-
2022
- 2022-12-09 CN CN202211583777.6A patent/CN115862842A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079815A (zh) * | 2023-08-21 | 2023-11-17 | 哈尔滨工业大学 | 一种基于图神经网络的心血管疾病风险预测模型构建方法 |
| CN116936103A (zh) * | 2023-09-12 | 2023-10-24 | 神州医疗科技股份有限公司 | 一种基于同向网络的用户健康预测管理方法及系统 |
| CN116936103B (zh) * | 2023-09-12 | 2023-12-15 | 神州医疗科技股份有限公司 | 一种基于同向网络的用户健康预测管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110516160B (zh) | 基于知识图谱的用户建模方法、序列推荐方法 | |
| Theis et al. | Improving the in-hospital mortality prediction of diabetes ICU patients using a process mining/deep learning architecture | |
| CN115862842A (zh) | 慢性病的风险预测方法及相关设备 | |
| JP6916310B2 (ja) | 人間参加型対話式モデル訓練 | |
| CN115862848B (zh) | 基于临床数据筛选和医学知识图谱的疾病预测系统和装置 | |
| CN111368656A (zh) | 一种视频内容描述方法和视频内容描述装置 | |
| CN112017742B (zh) | 分诊数据处理方法、装置、计算机设备及存储介质 | |
| Kale et al. | Causal phenotype discovery via deep networks | |
| JP7145059B2 (ja) | モデルの予測根拠提示システム及びモデルの予測根拠提示方法 | |
| US20210375441A1 (en) | Using clinical notes for icu management | |
| CN111477329B (zh) | 一种基于图文结合评估心理状态的方法 | |
| CN106096286A (zh) | 临床路径制定方法及装置 | |
| US20190221294A1 (en) | Time series data processing device, health prediction system including the same, and method for operating the time series data processing device | |
| CN117219268A (zh) | 一种基于多模态电子病历数据的院内死亡风险预测方法 | |
| CN109887606A (zh) | 一种基于注意力的双向递归神经网络的诊断预测方法 | |
| CN110704668B (zh) | 基于网格的协同注意力vqa方法和装置 | |
| US20200312432A1 (en) | Computer architecture for labeling documents | |
| CN111785372A (zh) | 基于关联规则的协同过滤疾病预测系统及其电子设备 | |
| JP2021149423A (ja) | 患者状態の予測装置、予測方法、及び、予測プログラム | |
| KR102415220B1 (ko) | 시계열 데이터 처리 장치 및 이의 동작 방법 | |
| US20210174229A1 (en) | Device for ensembling data received from prediction devices and operating method thereof | |
| JP2020042645A (ja) | 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム | |
| CN116543911A (zh) | 一种疾病风险预测模型训练方法及装置 | |
| Bahanshal et al. | Hybrid fuzzy weighted K-Nearest neighbor to predict hospital readmission for diabetic patients | |
| Harerimana et al. | HSGA: A Hybrid LSTM-CNN Self-Guided Attention to predict the future diagnosis from discharge narratives |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |