CN113035368A - 一种基于差分迁移图神经网络的疾病传播预测方法 - Google Patents

Abstract

本发明公开了一种基于差分迁移图神经网络的疾病传播预测方法，其特征在于，包括如下步骤：1)构建图模型；2)划分数据集；3)模型参数设置；4)对元训练集M_tr＝{D⁽¹⁾,...,D^(p)}和元测试集M_te＝{D}训练；5)测试模型、预测结果。这种方法能提高疾病传播预测的准确率。

Description

一种基于差分迁移图神经网络的疾病传播预测方法

技术领域

本发明涉及传染病学预测领域，具体来说是一种基于差分迁移图神经网络的疾病传播预测方法。

背景技术

在医学研究领域中，“预测模型”常被用来预测某种疾病未来的发病情况。而传染病预测模型在疾病预测模型中占着及其重要的地位。根据传染病的模型建立研究进而推广产生了传染病动力学模型。传染病动力学是对进行理论性定量研究的一种重要方法，是根据种群生长的特性、疾病的发生及在种群内的传播、发展规律，以及与之有关的社会等因素，建立能反映传染病动力学特性的数学模型。通过对模型动力学形态的定性、定量分析和数值模拟，来分析疾病的发展过程、揭示流行规律、预测变化趋势、分析疾病流行的原因，加以采取措施可以对传染病的遏制起到至关重要的作用。

2020年爆发了新型冠状病毒肺炎(COVID-19)影响了世界各地数千万人，对全球医疗卫生系统构成了重大的挑战。近期来很多科学家提出了基于机器学习和人工智能的方法去预测COVID-19的传播演化特性，例如Lorch等人提出了一个基于参数化计数过程的分区SEIR模型，该模型利用贝叶斯优化算法对模型参数进行了估计并在德国和瑞士的部分地区进行了评估；基于时间序列的模型也取得了良好的效果，Chimmula等人使用了长短期记忆人工神经网络(LSTM)去预测加拿大的确诊病例数量，Kufel等人研究了差分整合移动平均自回归模型(ARIMA)在某些欧洲国家预测病毒传播的动态有效性；Kapoor等人提出了静态图神经网络，其利用移动图的实例来构建超图，地区之间的移动性构建成空间的边权；Deng等人提出了基于图神经网络的交叉定位注意力模型(Cola-GNN)，其使用了循环神经网络(RNN)学习每个位置的隐藏状态，然后从这些表示中推导出一个注意力矩阵来捕捉位置关系产生的相互影响，这个矩阵形成了传递给图神经网络(GNN)的图以此产生输出；Gao等人提出的时空注意力网络(STAN)利用流行病的性质，得到神经网络中的多个输出预测模型的参数以及感染和恢复病例用来进行长期预测，但是局限于构建图的大小和可用训练数据的数量。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于差分迁移图神经网络的疾病传播预测方法。这种方法能提高疾病传播预测的准确率。

实现本发明目的的技术方案是：

一种基于差分迁移图神经网络的疾病传播预测方法，包括如下步骤：

1)构建图模型：假设每一个国家代表一个图G＝(V,E),其中V表示节点，代表国家中的地区，E表示边，代表地区与地区之间的流动性，即移动的人数，n＝|V|表示节点的个数，代表一个国家中地区的个数，对于不同的时间t，构建一系列的图即G⁽¹⁾,...,G^(T)，对于特定时间t的网络的消息传递矩阵如公式(1)所示：

其中A^(t)为图G^(t)的邻接矩阵，权重

表示在t时间从区域v到区域u的移动人数，

为区域u的特征属性，且

表示区域u的t时刻的病例数，则

包含地区u从t时刻算起过去d天的病例数的差分信息，在这种情况下，z_u∈R^d+1是一个包含区域u内和所有区域向区域u的流动性以及地区u的病例数量相结合的媒介，同时消息传递矩阵也可以表示如公式(2)所示：

消息传递网络(Message Passing Neural Network,简称MPNN)方案如公式(3)所示：

其中Hⁱ是包含了上一层节点表示的矩阵，且H⁰＝X，Wⁱ为第i层的可训练参数矩阵，f是非线性激活函数，例如ReLU，

表示归一化的邻接矩阵，每个节点入度的权值之和为1，上述模型应用于所有的输入图G⁽¹⁾,...,G^(T)分别各自输入，给定一个具有K阶邻域聚合层的模型，

和H⁰,...,H^K只用于特定的但单一图，但是权重矩阵W¹,...,W^K+1适用于所有图，通常来说，随着邻域聚合层的增加，最终的节点特征会捕获越来越多的全局信息，但是也有可能将节点的特征泛化，导致最后所有节点特征都趋于相同，然而维持局部的信息也可能是有效的，因此在本模型中采用2阶邻域聚合层，即K＝2，因此，最终的节点表示如公式(4)所示：

这里的output是输出的差异病例数，则实际预测病例数为公式(5)所示：

其中y^(t)为t时刻的真实病例人数；

2)划分数据集：在传染病传播的初始阶段，考虑到疾病传播的时效性和突发性较高，而且训练样本会在比较少的情况下导致模型过拟合，预测准确样本的难度会大大提高，因此采用模型无关元学习算法(Model-Agnostic Meta-Learning，简称MAML)算法训练模型，目的是为了模型具备更好的适应能力，也就是模型迁移的能力，弥补了训练样本较小的缺陷，具体来说训练模型有两个过程即元训练Meta Training阶段和元测试Meta Testing阶段，与此相对应把数据集分为元训练集和元测试集,其中元训练集为M_tr＝{D⁽¹⁾,...,D^(p)}，元测试集为M_te＝{D}，D^(k)为某个国家的数据集,对于每一个数据集D^(k)划分为多个任务Tasks，

其中

对应这第k个国家从第i天起往后预测j天之内的训练集和测试集；

3)模型参数设置：首先初始化模型参数θ、α、α_m，这里的θ对应着MPNN模型所有层的权重w和偏置b，α、α_m对应不同的学习率，采用梯度下降算法优化元训练集M_tr中的

每个任务的损失Loss，以此更新得到θ_t，再用θ_t去验证

更新得到θ，最终θ再作用于元测试集M_te，微调之后产生最终的输出，梯度更新公式如公式(6)、公式(7)所示：

可以看出，更新θ_t和θ梯度过程中会产生海森(Hessian)矩阵如公式(8)所示：

要优化的均方差损失函数如公式(9)所示：

其中

是t+1时刻地区v的真实病例数，

则表示预测的病例人数；

4)设置模型参数完毕后，对元训练集M_tr＝{D⁽¹⁾,...,D^(p)}和元测试集M_te＝{D}进行训练；

5)当模型训练完之后，对元测试集M_te的测试集

进行测试，将测试得出的结果与真实标签进行对比，采用误差公式进行量化，以此评估模型性能，误差公式如公式(10)所示：

本技术方案提供了差分迁移图神经网络模型，该模型既能捕捉空间信息又能捕捉时间信息，从而可将移动数据与目前每天的新病例数量结合起来，实际运用中考虑到了相邻日期病例数具有连续变化的特点，其差分包含了重要的信息，利用其增强了时间相关性，同时采用了迁移学习的方法去训练模型，避免了训练数据较少而导致的模型过拟合，从而提高预测的准确率。

这种方法能提高疾病传播预测的准确率。

附图说明

图1英国前dt天内平均每个地区每天的偏差人数图；

图2法国前dt天内平均每个地区每天的偏差人数图；

图3意大利前dt天内平均每个地区每天的偏差人数图；

图4西班牙前dt天内平均每个地区每天的偏差人数图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

一种基于差分迁移图神经网络的疾病传播预测方法，包括如下步骤：

1)构建图模型：假设每一个国家代表一个图G＝(V,E),其中V表示节点，代表国家中的地区，E表示边，代表地区与地区之间的流动性，即移动的人数，n＝|V|表示节点的个数，代表一个国家中地区的个数，对于不同的时间t，构建一系列的图即G⁽¹⁾,...,G^(T)，对于特定时间t的网络的消息传递矩阵如公式(1)所示：

其中A^(t)为图G^(t)的邻接矩阵，权重

表示在t时间从区域v到区域u的移动人数，

为区域u的特征属性，且

表示区域u的t时刻的病例数，则

包含地区u从t时刻算起过去d天的病例数的差分信息，在这种情况下，z_u∈R^d+1是一个包含区域u内和所有区域向区域u的流动性以及地区u的病例数量相结合的媒介，同时消息传递矩阵也可以表示如公式(2)所示：

消息传递网络MPNN方案如公式(3)所示：

其中Hⁱ是包含了上一层节点表示的矩阵，且H⁰＝X，Wⁱ为第i层的可训练参数矩阵，f是非线性激活函数，例如ReLU，

表示归一化的邻接矩阵，每个节点入度的权值之和为1，上述模型应用于所有的输入图G⁽¹⁾,...,G^(T)分别各自输入，给定一个具有K阶邻域聚合层的模型，

和H⁰,...,H^K只用于特定的但单一图，但是权重矩阵W¹,...,W^K+1适用于所有图，通常来说，随着邻域聚合层的增加，最终的节点特征会捕获越来越多的全局信息，但是也有可能将节点的特征泛化，导致最后所有节点特征都趋于相同，然而维持局部的信息也可能是有效的，因此在本模型中采用2阶邻域聚合层，即K＝2，因此，最终的节点表示如公式(4)所示：

这里的output是输出的差异病例数，则实际预测病例数为公式(5)所示：

其中y^(t)为t时刻的真实病例人数；

2)划分数据集：在传染病传播的初始阶段，考虑到疾病传播的时效性和突发性较高，而且训练样本会在比较少的情况下导致模型过拟合，预测准确样本的难度会大大提高，本例采用模型无关元学习算法MAML算法训练模型，目的是为了模型具备更好的适应能力，也就是模型迁移的能力，弥补了训练样本较小的缺陷，具体来说训练模型有两个过程即元训练Meta Training阶段和元测试Meta Testing阶段，与此相对应把数据集分为元训练集和元测试集,其中元训练集为M_tr＝{D⁽¹⁾,...,D^(p)}，元测试集为M_te＝{D}，D^(k)为某个国家的数据集,对于每一个数据集D^(k)划分为多个任务Tasks，

其中

对应这第k个国家从第i天起往后预测j天之内的训练集和测试集；

3)模型参数设置：首先初始化模型参数θ、α、α_m，这里的θ对应着MPNN模型所有层的权重w和偏置b，α、α_m对应不同的学习率，采用梯度下降算法优化元训练集M_tr中的

每个任务的损失Loss，以此更新得到θ_t，再用θ_t去验证

更新得到θ，最终θ再作用于元测试集M_te，微调之后产生最终的输出，梯度更新公式如公式(6)、公式(7)所示：

可以看出，更新θ_t和θ梯度过程中会产生海森(Hessian)矩阵如公式(8)所示：

要优化的均方差损失函数如公式(9)所示：

其中

是t+1时刻地区v的真实病例数，

则表示预测的病例人数；

4)设置模型参数完毕后，对元训练集M_tr＝{D⁽¹⁾,...,D^(p)}和元测试集M_te＝{D}进行训练，采用第1天到第T天的数据训练模型，然后采用模型对后dt天内进行预测，即预测第T+1至第T+dt天，本例探究了模型在短期、中期和长期的预测效果，设置dt为21，注意到对于预测第T+i与第T+j(i,j＞0且i≠j)所训练的模型不同，也就是说对于不同日期的预测都需要训练一次模型，设置T＝21，随着推移每次增加一天，训练集随着时间的增加而增加，也就不同的日期训练不同的模型，接下来是具体的超参数设置，训练模型的Epochs设置为300，采用早停法防止模型的过拟合，防止模型在训练集上的表现很好但是在验证集上的表现很差，早停法Epochs设置为100为一个周期，即当模型在一个周期内验证集的误差比上一次训练结果差的时候停止训练，然后使用上一次训练结果中的参数作为模型最终的参数继续训练；设置Batch size为8，采用2阶邻域聚合层，训练模型Adam优化器学习率，α设置为0.001，元学习率α_m设置为0.01，元学习率用于手动执行二次梯度下降算法，聚合层隐藏单元的数目设置为64，批量归一化和Drop out操作应用于每一次聚合层的输出，其中批量归一化可以让数据具有统一的规格,能让机器学习更容易学习到数据之中的规律，Drop out可以使模型泛化性更强，不太依赖某些局部特征，防止过拟合，Drop out率设置为0.5，在实验中，记录下验证集到达最高正确率的模型参数，就可以在每次进行测试时用最好的模型参数进行预测，以此达到最好的效果；

5)当模型训练完之后，对元测试集M_te的测试集

进行测试，将测试得出的结果与真实标签进行对比，采用误差公式进行量化，以此评估模型性能，误差公式如公式(10)所示：

本例具体为：

划分数据集和初始化模型参数完毕后，在元训练阶段，对元训练集M_tr＝{D⁽¹⁾,...,D^(p)}中的每个国家D^(k)的数据集划分成训练集Tr和测试集Te，对Tr抽取Batch b训练一次模型，再用得到的模型参数去验证Te的性能，以此把M_tr中所有国家遍历完毕，在元测试阶段，对某个国家M_te＝{D}进行微调，把D国家数据集划分为训练集Tr和测试集Te，对Tr抽取Batchb去训练n_epochs次模型，最后对Te进行测试得到输出，经过误差函数处理后得到error，过程为：

输入：M_tr，M_te，α，α_m，n_epochs

输出：θ

1：随机初始化θ

2：for D∈M_tr do

3：for(Tr,Te)∈D do

4：for Batch b∈Tr do

5：

6：

7：for(Tr,Te)∈M_te do

8：for Epoch e∈n_epochs do

9：for Batch b∈Tr do

10：

11：error+＝E(f_θ(Te)+y^(t))

12：return error/|M_te|

其中f是MPNN，E是误差函数：

L是要优化的均方误差函数：

将得出的结果可视化与其他模型进行比较，评估模型性能。

仿真例1：

实验过程中，总共有四个国家的数据集可以使用,如表1所示，因此，想要预测某个国家的病例数，可以将另外其他三个国家的数据集作为元训练集，本国家则当作元测试集，依次循环，直至将所有国家测试完毕，将本例方法与简单平均法(AVG)、Chimmula等人提出的长短期记忆网络(LSTM)、George等人提出的基于消息传递和迁移学习模型(MPNN+TL)方法进行对比，将短期(dt＝1-7)、中期(dt＝1-14)、长期(dt＝1-21)的预测误差制成表2、表3、表4，同时将英国、法国、意大利、西班牙每个国家的数据进行可视化得到如图1、图2、图3、图4所示，观察短期、中期、长期预测效果，从中长期预测来看本例方法(DTGNN)均优于上述现有的技术方案。

表1实验数据

国家	时间段	地区数
			意大利	2020.2.24-2020.5.12	105
英国	2020.3.13-2020.5.12	129
			西班牙	2020.3.12-2020.5.12	35
法国	2020.3.10-2020.5.12	81

表2dt＝1-7时各个国家每个地区的平均错误人数

表3 dt＝1-14时各个国家每个地区的平均错误人数

表4 dt＝1-21时各个国家每个地区的平均错误人数

。

Claims (1)

1.一种基于差分迁移图神经网络的疾病传播预测方法，其特征在于，包括如下步骤：

1)构建图模型：假设每一个国家代表一个图G＝(V,E),其中V表示节点，代表国家中的地区，E表示边，代表地区与地区之间的流动性，即移动的人数，n＝|V|表示节点的个数，代表一个国家中地区的个数，对于不同的时间t，构建一系列的图即G⁽¹⁾,...,G^(T)，对于特定时间t的网络的消息传递矩阵如公式(1)所示：

其中A^(t)为图G^(t)的邻接矩阵，权重

表示在t时间从区域v到区域u的移动人数，

为区域u的特征属性，且

表示区域u的t时刻的病例数，则

包含地区u从t时刻算起过去d天的病例数的差分信息，z_u∈R^d+1是包含区域u内和所有区域向区域u的流动性以及地区u的病例数量相结合的媒介，同时消息传递矩阵也表示如公式(2)所示：

消息传递网络方案如公式(3)所示：

其中Hⁱ是包含了上一层节点表示的矩阵，且H⁰＝X，Wⁱ为第i层的可训练参数矩阵，f是非线性激活函数，

表示归一化的邻接矩阵，每个节点入度的权值之和为1，上述模型应用于所有的输入图G⁽¹⁾,...,G^(T)分别各自输入，给定一个具有K阶邻域聚合层的模型，

和H⁰,...,H^K只用于特定的但单一图，但是权重矩阵W¹,...,W^K+1适用于所有图，在本模型中采用2阶邻域聚合层，即K＝2，因此，最终的节点表示如公式(4)所示：

这里的output是输出的差异病例数，则实际预测病例数为公式(5)所示：

其中y^(t)为t时刻的真实病例人数；

2)划分数据集：采用模型无关元学习算法训练模型，训练模型有两个过程即元训练MetaTraining阶段和元测试Meta Testing阶段，把数据集分为元训练集和元测试集,其中元训练集为M_tr＝{D⁽¹⁾,...,D^(p)}，元测试集为M_te＝{D}，D^(k)为某个国家的数据集,对于每一个数据集D^(k)划分为多个任务Tasks，

其中

对应这第k个国家从第i天起往后预测j天之内的训练集和测试集；

3)模型参数设置：首先初始化模型参数θ、α、α_m，这里的θ对应着MPNN模型所有层的权重w和偏置b，α、θ_m对应不同的学习率，采用梯度下降算法优化元训练集M_tr中的

每个任务的损失Loss，更新得到θ_t，再用θ_t去验证

更新得到θ，最终θ再作用于元测试集M_te，微调之后产生最终的输出，梯度更新公式如公式(6)、公式(7)所示：

更新θ_t和θ梯度过程中会产生海森(Hessian)矩阵如公式(8)所示：

要优化的均方差损失函数如公式(9)所示：

其中

是t+1时刻地区v的真实病例数，

则表示预测的病例人数；

4)设置模型参数完毕后，对元训练集M_tr＝{D⁽¹⁾,...,D^(p)}和元测试集M_te＝{D}进行训练；

5)模型训练完之后，对元测试集M_te的测试集

进行测试，将测试得出的结果与真实标签进行对比，采用误差公式进行量化，评估模型性能，误差公式如公式(10)所示：

Images