CN107993723A

CN107993723A - 一种基于集成进化学习的华法林剂量预测建模方法

Info

Publication number: CN107993723A
Application number: CN201711378986.6A
Authority: CN
Inventors: 陶砚蕴; 张宇祯; 姜鑫; 王沁宇
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2018-05-04

Abstract

本发明公开了一种基于集成进化学习的华法林剂量预测建模方法，包括如下步骤：（1）、基于遗传编码进化基函数；（2）、基于进化策略演算系数；（3）、基于遗传算法框架的选择、优化得到M个候选模型;（4）、在M个候选模型基础上,选择m个模型进行权重和的集成,得到最终的预测模型；集成学习得到的回归预测模型进行测试集合数据上的实际预测。本发明采用集成进化学习的方式构建模型，集成进化学习是构建出准确预测华法林剂量模型的关键点；相比于贝叶斯决策系统、人工神经网络和支持向量机等建模方法，集成进化回归模型有着更好的泛化能力；相比于个体进化回归模型，集成进化回归模型有着更好的稳定性。

Description

一种基于集成进化学习的华法林剂量预测建模方法

技术领域

本发明涉及一种基于集成进化学习的华法林剂量预测建模方法。

背景技术

华法林是世界上用于预防和治疗血栓栓塞性病症的使用最广泛的口服抗凝血剂。最近，国际华法林遗传药理学联盟IWPC有效的工作表明，临床因素对华法林剂量的影响占26%，CYP2C9和VKORC1基因型的影响会增长到43%。然而，目前尚无证据表明，一些如饮酒、性别、肾功能等临床变量是否明确影响华法林的剂量。由于存在如此大的个体差异，抗凝治疗中华法林剂量通常很复杂而且不可预测。事实上这给华法林剂量的准确预测增加了难度。抗凝治疗中，凝血酶元的国际标准化比值INR (International normalized ratio)应密切监测，以确保选取适当的安全的华法林剂量。虽然一些医生已经开始使用类似于IWPC计算器和药理学计量模型的剂量预测模型，但是对华法林剂量抗凝的预测使INR处于目标治疗范围内的仍然是主要取决于医生的经验。即使是一个有经验的临床医生想要提供准确的维持剂量预测也是很困难的。因此，病人在每日剂量要求趋于稳定之前必须通过长时间的华法林剂量调整和血液监测。为了降低相关反应引起的病情转变风险，研究人员和临床医生都在全身心地制定策略来进行改进，希望能通过预测控制抗凝剂剂量来降低患者的出血量。回归分析仍然是华法林剂量效应分析及剂量预测的最主要的方式。

目前，人工智能的大进展已经实现，随之机器学习技术在已经被用于如分类、函数逼近、数据分析等多个领域。当然，机器学习也是解决医疗方面问题的一个潜在方法。基于各种技术的建模方法已被发现，贝叶斯决策系统、人工神经网络和支持向量机是最受欢迎的技术。贝叶斯网络是一种基于概率的不确定性推理网络，适用于处理AI中的不确定性信息。许多研究者利用贝叶斯网络决定解决医疗问题。Wright等人旨在开发一个基于贝叶斯网络的华法林剂量个性化工具，已经被纳入免费使用TCIWorks为临床使用。此外，他们预期地评估了基于贝叶斯决策系统的计量方式的预测表现，并确定了INR在治疗范围的预期时间。Yet等人还用贝叶斯网络为华法林治疗管理开发了决策系统。然而，贝叶斯决策系统无法在剂量上准确地给出高精度预测。神经网络已经广泛应用在华法林剂量预测建模。例如，Enzo等人使用人工神经网络预测最优华法林维持剂量，以及Zhou等人使用人工神经网络预测华法林个体化剂量。对人工神经网络，当只有有限个单位和数量可用的时候，人工神经网络表示复杂函数的能力很差。支持向量机是一种结构风险最小化的建模方法，也是被Erdal等人用于华法林剂量预测的一种建模方法。为了提高泛化能力，支持向量机不仅通过最小化经验风险，也通过极大风险去近似函数。相比于人工神经网络，支持向量机可以工作在一个相对较小数量的称作支持向量的训练数据上。尽管已经实现了支持向量机的许多进展，但是特定内核函数只适用于某种问题，为华法林剂量预测建模时选择合适的核函数是一个相当艰巨的任务。

有鉴于此，开发一种基于集成进化学习的华法林剂量预测建模方法，解决现有技术中存在的缺陷显然是有必要的。

发明内容

本发明的发明目的是提供一种基于集成进化学习的华法林剂量预测建模方法，该方法是构造准确的华法林剂量预测模型，通过遗传程序设计和进化策略结合进化出多样的高精度回归模型；使用遗传算法作为 “进化壳” 为遗传程序设计和进化策略设计找到最好的进化参数，并得到最优的基础回归模型，在此基础上集成为最终的强预测模型。

为达到上述发明目的，本发明采用的技术方案是：一种基于集成进化学习的华法林剂量预测建模方法，所述方法基于遗传程序设计、进化策略方法和集成模型，所述方法包括如下步骤：

步骤：基于遗传程序设计和进化策略的回归模型，包括下述步骤：

（1）、基于遗传程序设计方法的回归模型基函数设计；

（2）、基于进化策略的回归模型回归系数设计；

（3）、基于遗传算法框架选择、优化基函数和回归参数设计，得到M个候选回归模型；

（4）、在M个候选模型基础上,选择m个模型进行权重和的集成,得到最终的预测模型,M>m；预测模型进行测试集合数据上的实际预测。

优选地，步骤（1）中，所述回归模型表示为：

其中x={x ₁, x ₂,... x _n}是一个回归模型的输入向量，g(x)是一个非线性函数，负责低维特征映射到高维空间；{g ₁(x), g ₂(x),... g _i(x)} 表示模型的基函数，β ₀是一个常数项，β ₁, β ₂, …β _i (i>0)表示部分回归系数。此模型中，输出实际上是基函数{ g ₁(x),g ₂(x),...g _i(x)} 的线性组合，基函数构成回归模型的核心，而系数量化这些基函数的重要性，两个一起确定发现模型的质量。

优选地，步骤（1）中，所述遗传程序设计方法使用树作为基函数的表示法，所述基函数初始由终端集和函数集的元素随机选择生成（已知一个回归模型由一组基函数和一组回归参数组成），因此，相应的，遗传程序设计的一个个体就含有多颗子树（多个基函数表达式）。

优选地，步骤（1）中，在进化过程中，利用遗传算子、选择算子、复制、交叉和变异使个体（基函数）进化，利用轮盘转（概率选择方法）与精英策略（保留最优个体）为下一代选择优良个体，交叉和变异在进化过程中通过改变个体的结构和元素，且在每一代中，参与交叉的个体数大于变异的个体数。交叉主要通过交换个体之间的子树来改变个体，而且他们个体上的交叉点等概率选择。

优选地，步骤（2）中所述进化策略使用一个实数串表示回归系数，其中实数串定义为δ={β, σ}，其中β表示系数矢量，σ是指策略参数矢量，σ用作与β共同进化的参数变化的突变步长。变异和选择作为进化算子，变异对回归系数改变的唯一算子，系数向量通过添加来自正态分布的随机值进行变化（σ是正态分布的方差）。同时，变异步长σ通过添加指数函数的一个随机值与β进化，指数函数取决于学习速率lr（Learning rate），即lrµ 1/i½.。

优选地，步骤中，所述进化策略设计的一组系数对应于遗传程序设计进化的一组基函数，遗传程序设计和进化策略进化的个体评价使用了相同的函数，所述函数fit表示为，其中X _i表示第i个输入向量，V _i表示训练数据集的输出值。y(X _i)指回归模型的关于X _i的输出，n表示训练数据集的大小，目标是使fit最小化，遗传程序设计和进化策略停止的判据是fit<ɛ，ɛ是一个小的基于现实世界中应用精度要求的实际值。

优选地，步骤（3）中，采用遗传算法对遗传程序设计和进化策略的参数进行优化，遗传算法的染色体是遗传程序设计和进化策略进化参数编码构成的。染色体可以表示如下：

{pop_size, max_ gen ^GP, max_depth, p _c, p _m,σ, lr, max_gen ^ES | 模型池}，

其中

pop_size：表示在一个过程中遗传程序设计和进化策略总体的大小；

max_gen：表示进化终端的最多一代(max_gen ^ES>> max_gen ^GP)；

P _c, P _m ：遗传程序设计交叉和变异的概率；

max_depth：树状结构的最大深度；

σ：进化策略的策略参数的初始值；

lr：用于策略参数变化的学习速率；

模型池：存储多个个最优进化回归模型；

我们令一个（遗传程序设计和进化策略）进程为P={y _i}，y _i是进化得到的第i个回归模型，对P在遗传算法优化过程中的评价可以用一个函数表示为：

优选地，步骤（3）中，根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，遗传算法利用遗传算子、选择、交叉和变异通过多次迭代优化遗传程序设计和进化策略参数，迭代多次后选取最优的遗传程序设计和进化策略参数，其算法的流程描述如下：

（1）随机生成一个初始数量40, 染色体（遗传程序和演化策略使用的参数）长度为8的种群；

（2）通过解码遗传算法染色体，得到的算法参数创建40个遗传程序设计和进化策略进化过程；

（3）运行这些进化过程去演化多个回归候选模型；

（4）在训练集和验证集中通过公式来评估进化过程；

（5）进化过程如果出现了优秀的个体（回归模型的基函数和系数），则把相应的回归模型添加到模型池，所述模型池存储最优的回归模型；

（6）应用选择算子，交叉算子，变异算子对染色体进行改变产生后代；

（7）重复步骤(2)至(6)直至达到遗传算法的终止准则。

优选地，步骤（4）中，由（1）~（3）得到的m个回归模型集成为一个最终的预测模型Y，可以表示为：

其中y _i是回归模型，w ₁, w ₂, …w _m (i>0)表示权重，w ₁+w ₂+…+w _m=1。w _m的值可以通过最小二乘方法确定。

上文中，在一个遗传程序设计和进化策略的过程内，初始化回归模型具有相同的结构，但彼此之间在不同的进程有不同结构。此外，存储在模型池中回归模型作为集成模型的弱模型，弱模型的多样性使集成模型有更好的泛化能力。在遗传算法进化过程发展种群时，选筛选出良好的遗传程序设计和进化策略的算法参数。遗传算法的下一次迭代，新的遗传程序设计和进化策略从模型池中选取模型创建新的基函数和回归参数，遗传程序设计和进化策略使用的参数由遗传算法的新染色体解码而成。这种新方法的目的是开发可以实现高精度和良好泛化的集成模型。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

本发明中采用集成进化学习的方式构建预测模型，集成进化学习是构建出准确预测华法林剂量模型的关键点；预测药物剂量模型必须保证其准确性、稳定性和泛化能力，相比于贝叶斯决策系统、人工神经网络和支持向量机等建模方法，集成进化回归模型有着更好的泛化能力；相比于个体进化回归模型，集成进化回归模型有着更好的稳定性。

附图说明

图1是本发明基于遗传程序设计和进化策略的进化回归模型的示意图。

图2是本发明基于遗传程序设计的进化基函数的示意图。

图3是本发明基于进化策略的回归模型系数进化设计示意图。

图4是本发明基于集成进化学习的预测模型设计示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例一：参见图1所示，一种基于集成进化学习的华法林剂量预测建模方法，所述方法基于遗传程序设计算法和进化策略设计方法，所述方法包括如下步骤：

包括下述步骤：

（1）、基于遗传编码进化基函数，原理可参见图2所示；

（2）、基于进化策略演算系数，原理可参见图3所示；

（3）、基于遗传算法框架的选择、优化得到M个候选模型;

（4）、在M个候选模型基础上,选择m个模型进行权重和的集成,得到最终的预测模型，原理可参见图4所示；集成学习得到的回归预测模型进行测试集合数据上的实际预测。

我们收集到一个包含有100个通过华法林治疗的中国患者的数据集，这些数据由苏州大学附属第一医院心内科提供。这项研究理论上由苏州大学附属第一医院的卫生局伦理委员会批准。病人对华法林剂量要求至少在三个月不变的情况下我们收集了这些患者的临床变量和基因型的数据。我们在收集到的数据集上测试我们提出的建模方法，并采取人工神经网络、支持向量机和目前流行的预测工具"IPWC"去与本发明的模型进行比较。

表1列举了华法林治疗时的临床变量。通过使用不同的变量和基因型去模型化预测函数，可以观测和研究不同特征对华法林剂量的影响。

表1 临床变量和基因型与华法林治疗的关系

表2中M1包括除了CYP2C9和VKORC1十个临床变量因素。这是因为有些患者由于时间长、费用高而不愿意进行基因检测，将在这些患者中使用一种没有遗传因素预测模型。模型2是类似于先前测试模型，包括五个临床变量。模型3包括模型1中的所有变量以及两个相关的基因变异。可以通过比较模型1和模型3观察到两个遗传因素的影响。通过比较模型2和模型3，我们可以观察华法林剂量函数建模中的不同复杂模型的应用效果。

表2 具有不同临床变量和基因型的模型

表3列举了基于集成进化学习的回归模型、进化回归模型（遗传程序设计和进化策略的过程）、RBF神经网络、BP神经网络和支持向量回归在训练集和测试集上得到的每个被发现的函数的R ²值。本发明方法的模型开发函数的性能用R ²来衡量(R ²是模型和实际数据输出之间的平方关系)。

我们可以观察到使用机器学习技术和传统回归模型得到的两种不同模型的R ²，M2中的支持向量回归与RBF神经网络、BP神经网络相比取得了更好的预测精度(R ²=59.4%) 。这是因为支持向量回归可以构建一个在数据空间中只支持向量的广义函数，这使得支持向量回归在小型数据集可以具有更优越的性能。对于人工神经网络，BP神经网络在M1取得了解决方案（R ²=57.6 %)而且RBF神经网络在这些案例中得到了最差的解决方案。实验结果表明回归模型得到了比机器学习方法更小的R ²值。个体进化回归模型使用单一的进化过程构建函数，而基于集成进化学习的回归模型则利用多种集成元素为M1、M2和M3搭建模型。表中可以看出基于集成进化学习的回归模型在M3得到了最好的R ²，在M2和 M1得到了相近的R ²。这个结果证明了该模型包括在基因型上的优越性。M3的R ²与其他的机器学习方法、个体进化回归模型还有传统回归模型相比具有着优越性，而且与IWPC计算器计算出的华法林剂量相比也要准确一点，这无疑在训练集和测试集都给出了非常准确的剂量值。这说明了基于集成进化学习的回归模型的预测准确性较高。

表3 备选模型方案的测试集和训练集的R ²

如表3所示，通过使用基于集成进化学习的回归模型，变量选择在基函数推演过程中完成。基于集成进化学习的回归模型可以利用集成模型的优越性超越个体回归模型并且使用遗传程序设计和进化策略构建模型。相比较于机器学习方法，基于集成进化学习的回归模型虽然能得到更好的精确度，但是要花费更长的计算时间来得到解决方案。有时候，基于集成进化学习的回归模型可能会得到具有很高的精确度但是很难被人为解释（通过人的理解和知识）的大尺度解决方案。在这个领域中的一些研究声称，大量包含在模型中的基因型变量对于提高预测准确性是有益的。在这项研究中的实验结果与这些报告是一致的。然而，基于集成进化学习的回归模型提供的是只使用临床变量而不包括基因型的模型（即M1）。虽然在M1中取得的R ²的准确性没有及得上M3，但是这种模型可以不需要血液和基因检测来预测患者的华法林用量，这对于在如中国这样的发展中国家的患者是非常必要的。

Claims

1.一种基于集成进化学习的华法林剂量预测建模方法，其特征在于，所述方法基于遗传程序设计、进化策略方法和集成模型，所述方法包括如下步骤：

（1）、基于遗传程序设计方法的回归模型基函数设计，基函数用g(x)表示，x为病理特征输入；

（2）、基于进化策略的回归模型回归系数设计，回归系数用β表示；

（4）、在M个候选模型的基础上，选择m个模型进行权重和的集成,得到最终的预测模型,M>m；然后利用预测模型进行测试集合数据上的实际预测。

2.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（1）中，所述回归模型表示为：

其中x={x ₁, x ₂,... x _n}是一个回归模型的输入向量，g(x)是一个非线性函数，负责低维特征映射到高维空间；{ g ₁(x), g ₂(x),...， g _i(x)} 表示模型的基函数，β ₀是一个常数项，β ₁, β ₂, …β _i (i>0)表示部分回归系数。

3.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（1）中，所述遗传程序设计方法使用树作为基函数的代表法，所述基函数初始由终端集{x ₁, x ₂,... x _n}和函数集{sin，cos，+，-，*，/，exp}等元素随机选择生成。

4.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（1）中，在遗传程序设计方法的进化过程中，利用遗传算子、选择性、复制、交叉和变异使基函数进化，利用轮盘转与精英策略为下一代选择优良个体，交叉和变异在进化过程中通过改变个体的结构和元素，且参与交叉的个体数大于变异的个体数。

5.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（2）中所述进化策略使用一个实数字符串为回归系数的表达形式，其中真值字符串定义为δ={β, σ}，其中β表示系数矢量，σ是指策略参数矢量，σ用作与β共同进化的参数变化的突变步长；每一次迭代时，使用选择算子对优秀的β进行筛选，利用变异算子对β进行调整。

6.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（1）中，所述进化策略设计的一组回归系数{β}对应于遗传程序设计进化的一组基函数g(x)，遗传程序设计和进化策略中的个体的评价使用相同的函数，所述函数fit表示为，其中X _i表示第i个输入向量，V _i表示训练数据集的输出值；y(X _i)指回归模型的关于X _i的输出，n表示训练数据集的大小，目标是使fit最小化，遗传程序设计和进化策略停止的判据是fit<ɛ，ɛ是一个小的基于现实世界中应用精度要求的实际值。

7.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（3）中，采用遗传算法对遗传程序设计和进化策略的参数进行优化，遗传算法的染色体是遗传程序设计和进化策略进化参数编码构成的，每个染色体对应一个遗传程序设计和进化策略演化进程，染色体可以表示如下：

其中

max_gen：表示进化终端的最多一代(max_gen ^ES>> max_gen ^GP)；

P _c, P _m ：遗传程序设计交叉和变异的概率；

max_depth：树状结构的最大深度；

σ：进化策略的策略参数的初始值；

lr：用于策略参数变化的学习速率；

模型池：存储多个个最优进化回归模型；

令种群P={M _i}是进化过程中的{M _i}的一部分且M _i是第i个不断变化的回归模型，对种群P在遗传算法中的进化可以用一个适应函数表示为：

。

8.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（3）中，遗传算法利用遗传算子、选择、交叉和变异通过多次迭代优化遗传程序设计和进化策略参数，迭代多次后选取最优的遗传程序设计和进化策略参数，其算法的流程描述如下：

（3）运行这些进化过程去演化多个回归候选模型；

（4）在训练集和验证集中通过公式来评估进化过程；

（7）重复步骤(2)至(6)直至达到遗传算法的终止准则。

9.根据权利要求1所述的基于集成进化学习的华法林剂量预测建模方法，其特征在于，步骤（4）中，由步骤（1）~（3）得到的m个回归模型集成为一个最终的预测模型Y，表示为：

其中y _i是回归模型，w ₁, w ₂, …w _m (i>0)表示权重，w ₁+w ₂+…+w _m=1，w _m的值可以通过最小二乘方法确定。