CN109346184A - 医学药物领域高维数据变量选择与预测方法及装置 - Google Patents

Abstract

本发明提供了一种医学药物领域高维数据变量选择与预测方法及装置，可以提前预知患者出现严重并发症的风险如何，在肝移植前给予适当处理，能够降低出现严重并发症的风险。一种医学药物领域高维数据变量选择与预测方法包括：建立带有弹性网约束的Expectile回归模型，得到ER‑EN模型；对所述ER‑EN模型进行求解；采用十折交叉验证方法对所述ER‑EN模型进行参数选择；验证所述ER‑EN模型的预测能力。本发明实施例中通过建立的带有弹性网约束的Expectile回归模型(ER‑EN模型)，调节调整参数可以控制变量选择压缩程度，具有较大的灵活性和实用性。并且，ER‑EN模型能够对医学药物领域高维数据进行变量选择与准确预测，提供更多有效信息进行科学决策，降低了误判的风险。

Description

医学药物领域高维数据变量选择与预测方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种医学药物领域高维数据变量选择与预测方法及装置。

背景技术

在医学领域中，药物高维数据变量选择具有十分重要的意义，其中高维数据是指变量数目大于或远远大于样本数目的数据集。因此，高维数据中变量选择和预测将直接关系到病理分析结果，以通过在模型中施加权重约束，将无关变量权重约束到0，从而筛选出权重较大的变量进行分析。

随着大数据分析方法在医药领域中将发挥越来越重要的作用,基于现代生物医学技术的个性化医疗,即精准医学,是未来医学的发展方向。在实际应用中，回归分析为探寻病症与其影响因素之间关系提供了有效工具。目前，最为常用的三种回归方法，主要有：1)基于平方损失的均值回归OLS；2)基于非对称绝对值损失的分位数回归；3)基于非对称平方损失的Expectile回归。比较而言，第三种Expectile回归较前两种回归方法优势明显，不仅可以使用标准的梯度优化算法进行求解，具有计算上的优势；而且可以完整刻画响应变量条件分布特征，提供更多有用信息，便于医药领域的科学决策。

如何获取、分类、存储医药大数据,如何挖掘医药大数据中有价值的信息,以及如何将医药大数据有效地应用于医药领域是目前研究的热点领域。医药领域数据普遍高维特征，数据处理难度较大，如何从众多病症影响因素中筛选出关键因素，也为亟待解决的现实问题，基于正则化方法的变量选择为此提供了基本工具。为此，针对医学领域变量选择，通常在损失函数后添加惩罚项(正则项)，实现变量选择同时防止过拟合。一般地，常用的惩罚函数包括：LASSO、SCAD、MCP和弹性网。LASSO的目标函数为凸函数，计算较为简易，但不适用于变量间高度相关情形；SCAD满足渐进无偏性，但计算复杂；MCP是可微的连续非凸惩罚函数，保留了SCAD的渐进无偏估计优点，同样计算较为复杂。而弹性网惩罚项结合了LASSO和Ridge的优点，有效地解决了连续收缩和自动变量选择问题，同时回归模型能够较为准确的刻画医学高维数据的变动规律，表现出强大的功能。

发明内容

针对现有技术中的缺陷，本发明提供了一种医学药物领域高维数据变量选择与预测方法及装置，用于解决相关技术中存在的技术问题。

第一方面，本发明提供了一种医学药物领域高维数据变量选择与预测方法，包括：

建立带有弹性网约束的Expectile回归模型，得到ER-EN模型；

对所述ER-EN模型进行求解；

采用十折交叉验证方法对所述ER-EN模型进行参数选择；

验证所述ER-EN模型的预测能力。

可选地，所述ER-EN模型为：

其中，l(u)≡ρ_θ(u)＝u²·(θ-I(u＜0))表示非对称平方损失，θ∈(0,1)为损失函数不对称区间；(y_i,x_1,i,x_2,i,…,x_p,i)表示观测值；表示Expectile回归损失函数；β(θ)≡[β₁(θ),β₂(θ),…,β_p(θ)]^T；γ表示调整参数。

可选地，对所述ER-EN模型进行求解包括：

设置Karush-Kuhn-Tucker条件，以得到给定范围内的全局最小值；

采用半平滑牛顿坐标下降算法SNCD对所述ER-EN模型的解。

可选地，KKT条件方程为：

式中，S是软阈值算子；S(z)＝sgn(z)(|z|-1)₊，当且仅当u＝S(u+s)；ρ′_θ(u)表示ρ_θ(·)的导数；

对于β₀，KKT条件为

对于(β_j,s_j)，KKT条件为

可选地，采用半平滑牛顿坐标下降算法SNCD对所述ER-EN模型的解包括：

(i)更新β₀：

得到：

(ii)更新(β_j,s_j)：

若z＝(z₁,z₂)^T，则

(a)若对于z，当|z₁+z₂|＞1时，则

更新为：

(b)若对于z，当|z₁+z₂|≤1时，则

更新为：

可选地，采用十折交叉验证方法对所述ER-EN模型进行参数选择包括：

获取预设数量个观测值的数据集；

通过十折交叉验证选择ER-EN模型的调整参数；所述调整参数λ；

从变量选择、系数估计和预测能力三个方面对ER-EN模型进行评价；

重复上述步骤预设数量次，获取平均值和标准偏差。

可选地，验证所述ER-EN模型的预测能力包括：

获取反映所述ER-EN模型的预测能力的指标；所述指标包括：均方误差、平均绝对误差和基于Expectile的预测误差；

根据所述均方误差、所述平均绝对误差和所述基于Expectile的预测误差验证所述ER-EN模型的预测能力。

第二方面，本发明实施例提供了一种医学药物领域高维数据变量选择与预测装置，包括：

模型建立模块，用于建立带有弹性网约束的Expectile回归模型，得到ER-EN模型；

模型求解模块，用于对所述ER-EN模型进行求解；

参数选择模块，用于采用十折交叉验证方法对所述ER-EN模型进行参数选择；

能力预测模块，用于验证所述ER-EN模型的预测能力。

由上述技术方案可知，本发明实施例中通过建立的带有弹性网约束的Expectile回归模型(ER-EN模型)，调节调整参数可以控制变量选择压缩程度，具有较大的灵活性和实用性。并且，ER-EN模型能够对医学药物领域高维数据进行变量选择与预测，提供更多有效信息进行科学决策，降低了误判的风险。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种医学药物领域高维数据变量选择与预测方法的流程示意图；

图2为本发明一实施例提供的LSR-EN、HR-EN、ER模型和ER-EN模型的RMSE箱线图；

图3为本发明一实施例提供的LSR-EN、HR-EN、ER模型和ER-EN模型的MAE箱线图；

图4为本发明一实施例提供的LSR-EN、HR-EN、ER模型和ER-EN模型的EPE箱线图；

图5为本发明一实施例提供的医学药物领域高维数据变量选择与预测装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提供的医学药物领域高维数据变量选择与预测方法的流程示意图。参见图1，一种医学药物领域高维数据变量选择与预测方法包括：

101，建立带有弹性网约束的Expectile回归模型，得到ER-EN模型；

102，对所述ER-EN模型进行求解；

103，采用十折交叉验证方法对所述ER-EN模型进行参数选择；

104，验证所述ER-EN模型的预测能力。

下面结合附图和实施例对医学药物领域高维数据变量选择与预测方法的各步骤作详细描述。

首先，介绍101，建立带有弹性网约束的Expectile回归模型，得到ER-EN模型的步骤。

本实施例中，考虑非对称平方损失：

l(u)≡ρ_θ(u)＝u²·(θ-I(u＜0)) (1)

式(1)中，I(·)是指示函数，θ∈(0,1)定义损失函数不对称区间。观测值(y_i,x_1,i,x_2,i,…,x_p,i)，i＝1,2,…,N，则Expectile回归损失函数为：

式(2)中，β(θ)≡[β₁(θ),β₂(θ),′,β_p(θ)]^T。将惩罚项添加到式(2)中，得到ER-EN模型：

式(3)中，γ是调整参数。

其次，介绍102，对所述ER-EN模型进行求解的步骤。

本实施例中，使用Karush-Kuhn-Tucker(KKT)条件进行优化问题求解，以得到给定范围内的全局最小值。

让表示绝对值函数的一组次梯度，那么可以得到：

当且仅当u＝S(u+s) (4)

其中S(z)＝sgn(z)(|z|-1)₊，S是软阈值算子，KKT条件方程可以写为：

式中ρ_θ(·)的导数记为ρ′_θ(·)，则可以得到：

进一步求解步骤如下：

(1)对于β₀：

式中KKT条件记为：

(2)对于(β_j,s_j)：

KKT条件记为：

得到：

ψ_θ(u)＝2(θ-I(u＜0)) (11)

那么，有

SNCD算法的迭代过程如下：

(i)更新β₀：

那么得到：

(ii)更新(β_j,s_j)：

式中z＝(z₁,z₂)^T。那么

(a)对于z，当|z₁+z₂|＞1：

因此，更新为：

(b)对于z，当|z₁+z₂|≤1：

更新为：

再次，介绍103，采用十折交叉验证方法对所述ER-EN模型进行参数选择的步骤。

为了保证全局收敛，防止过拟合，本实施例中采用十折交叉验证方法对带有弹性网约束的Expectile回归模型进行参数选择。

本实施例中，使用如下线性模型生成数据：

y＝x^Tβ+σε (21)

式(21)中，x是多元正态分布，x～N_p(0,Σ)，Σ_i,j＝ρ^|i-j|。同时，ρ＝0.5，β＝(3,1.5,0,0,2,0,0,0)^T，σ是控制信噪比的参数。

本实施例中，考虑三种随机误差：正态分布N(0,1)、t分布t(3)和卡方分布χ²(2)。设置σ＝3，样本量为n＝1200，重复500次，即k＝500。

本实施例中，设计整个仿真过程如下：

(1)生成数据。生成一个具有1200个观测值的数据集。样本内1000个观测值，样本外200个观测值。

(2)估计模型。通过十折交叉验证选择ER-EN调整参数。此外，我们还估计了其他模型用于比较，包括带有弹性网约束的最小二乘回归模型(LSR-EN)、带有弹性网约束的Huber回归模型(HR-EN)和Expectile回归模型(ER)。

(3)评估性能。从变量选择、系数估计和预测能力三个方面对模型进行了评价。

(4)比较结果。重复上述步骤(1)～(3)共500次，并报告平均值和标准偏差。

参见表1，表1中展示了通过十折交叉验证方法，ER-EN模型调整参数λ的最优值结果。

表1.十折交叉验证ER-EN模型调整参数λ的最优值

表2.变量选择、系数评估和预测能力的仿真结果

注：(1)括号内数值表示标准偏差；(2)粗体表示最佳结果；(3)时间表示CPU计算时间(秒)。

表2从变量选择、系数评价和预测能力等方面对LSR-EN、HR-EN、R-EN和ER四种模型的性能进行了比较，得到以下结论：

第一，ER-EN模型在系数估计方面具有更好的性能。

第二，ER-EN模型在RMSE、MAE和EPE的平均值和标准偏差方面是稳健的，尤其是在不同的分位点。

第三，对于选择非零变量个数，ER-EN模型比HR-EN和LSR-EN模型的选择更接近真实情况，而ER模型不具有变量选择功能。

第四，当重复500次操作时，ER-EN模型所用时间最少。

总的来说，ER-EN模型比其他模型更具稳定性和可扩展性，其在变量选择、系数估计、预测精度和计算时间方面优于LSR-EN、HR-EN和ER模型。参见图1～图3，图1-图3给出了不同模型的RMSE、MAE和EPE的箱线图。通过箱线图发现，ER-EN模型在预测精度和鲁棒性方面优于LSR-EN、HR-EN和ER模型。同时LSR-EN和HR-EN模型的预测偏差显著高于其他两个模型。特别地，在RMSE方面，带有弹性网约束的回归模型比没有弹性网约束的模型更稳定。

最后，介绍104，验证所述ER-EN模型的预测能力的步骤。

本实施例中，通过三个指标反映模型预测能力：

(1)均方误差(RMSE)：

(2)平均绝对误差(MAE)：

(3)基于Expectile的预测误差(EPE)：

本实施例中，重点考虑临床医学领域中的生化指标与药物代谢之间的关系，以他克莫司(Tac)药物代谢数据集为例，验证ER-EN模型的有效性。

表3.他克莫司(TAC)药物数据集的代谢分析

本实施例中，他克莫司(Tac)药物代谢数据集来自中国肝移植登记处(CLTR)数据库(http://www.cltr.org/pages/./._livercount.jsp)，包含390个生化指标作为变量，但只有180个观测值，是一个典型的高维数据。本实施例中，随机地将数据按3:2分成两组：108个观测值作为样本数据，72个观测值作为样本外。

表3示出了ER-EN、LSR-EN、HR-EN和ER四种模型在非零回归系数数目、预期预测误差(EPE)和计算时间方面的比较结果。通过四种模型的比较，可以看出ER-EN模型具有最小EPE值，说明其在预测能力方面具有非常显著的优势。此外，本实施例中这种精确的预测结果是通过只使用一部分(大约50％)变量来实现的。然而，ER模型在处理高维数据集时是无效的。对于计算时间，ER-EN模型非常占优势。综上所述，ER-EN模型能够提供准确、可靠的对他克莫司(Tac)药物代谢进行预测，对了解肝移植术后患者的代谢具有重要意义。

至此，本实施例中通过建立带有弹性网约束的Expectile回归模型，惩罚项结合了LASSO和Ridge的优点，有效地解决了连续收缩和自动变量选择问题，同时回归模型能够较为准确的刻画医学高维数据的变动规律，表现出强大的功能。另外，通过调整参数，还可以控制控制变量选择压缩程度，具有较大的灵活性和实用性。

本实施例中，采用半平滑牛顿坐标下降算法求解带有弹性网约束的Expectile回归模型，可以在提升模型估计精度的同时，减少计算时间。

本实施例中，通过十折交叉验证方法选择带有弹性网约束的Expectile回归模型的参数，可以选择恰当的模型结构，可以避免模型过于复杂、陷入过度拟合的问题。

图5为本发明一实施例提供的医学领域高维数据变量选择与预测装置。参见图5，本发明实施例还提供了一种医学领域高维数据变量选择与预测装置，所述装置包括：

模型建立模块501，用于建立带有弹性网约束的Expectile回归模型，得到ER-EN模型；

模型求解模块502，用于对所述ER-EN模型进行求解；

参数选择模块503，用于采用十折交叉验证方法对所述ER-EN模型进行参数选择；

能力预测模块504，用于验证所述ER-EN模型的预测能力。

需要说明的是，本发明实施例提供的医学领域高维数据变量选择与预测装置与上述方法是一一对应的关系，上述方法的实施细节同样适用于上述装置，本发明实施例不再对上述系统进行详细说明。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种医学药物领域高维数据变量选择与预测方法，其特征在于，包括：

建立带有弹性网约束的Expectile回归模型，得到ER-EN(Elastic-Net PenalizedExpectile Regression)模型；

对所述ER-EN模型进行求解；

采用十折交叉验证方法对所述ER-EN模型进行参数选择；

验证所述ER-EN模型的预测能力。

2.根据权利要求1所述的医学药物领域高维数据变量选择与预测方法，其特征在于，所述ER-EN模型为：

其中，l(u)≡ρ_θ(u)＝u²·(θ-I(u＜0))表示非对称平方损失，θ∈(0,1)为损失函数不对称区间；(y_i,x_1,i,x_2,i,…,x_p,i)表示观测值；表示Expectile回归损失函数；β(θ)≡[β₁(θ),β₂(θ),…,β_p(θ)]^T；γ表示调整参数。

3.根据权利要求1所述的医学药物领域高维数据变量选择与预测方法，其特征在于，对所述ER-EN模型进行求解包括：

设置Karush-Kuhn-Tucker条件，以得到给定范围内的全局最小值；

采用半平滑牛顿坐标下降算法SNCD对所述ER-EN模型的解。

4.根据权利要求3所述的医学药物领域高维数据变量选择与预测方法，其特征在于，KKT条件方程为：

式中，S是软阈值算子；S(z)＝sgn(z)(|z|-1)₊，当且仅当u＝S(u+s)；ρ′_θ(u)表示ρ_θ(·)的导数；

对于β₀，i＝1,…,N；KKT条件为

对于(β_j,s_j)，KKT条件为

5.根据权利要求3所述的医学药物领域高维数据变量选择与预测方法，其特征在于，采用半平滑牛顿坐标下降算法SNCD对所述ER-EN模型的解包括：

(i)更新β₀：

得到：

(ii)更新(β_j,s_j)：

若z＝(z₁,z₂)^T，则

(a)若对于z，当|z₁+z₂|＞1时，则

更新为：

(b)若对于z，当|z₁+z₂|≤1时，则

更新为：

6.根据权利要求1所述的医学药物领域高维数据变量选择与预测方法，其特征在于，采用十折交叉验证方法对所述ER-EN模型进行参数选择包括：

获取预设数量个初始调整参数的数据集；

通过十折交叉验证选择ER-EN模型的调整参数；所述调整参数为λ；

通过仿真模拟实验，从变量选择、系数估计和预测能力三个方面对ER-EN模型进行评价；

重复上述步骤预设数量次，获取平均值和标准偏差进行实验结果对比。

7.根据权利要求1所述的医学药物领域高维数据变量选择与预测方法，其特征在于，验证所述ER-EN模型的预测能力包括：

获取反映所述ER-EN模型的预测能力的指标；所述指标包括：均方误差、平均绝对误差和基于Expectile的预测误差；

根据所述均方误差、所述平均绝对误差和所述基于Expectile的预测误差验证所述ER-EN模型的预测能力。

8.一种医学药物领域高维数据变量选择与预测装置，其特征包括：

模型建立模块，用于建立带有弹性网约束的Expectile回归模型，得到ER-EN模型；

模型求解模块，用于对所述ER-EN模型进行求解；

参数选择模块，用于采用十折交叉验证方法对所述ER-EN模型进行参数选择；

能力预测模块，用于验证所述ER-EN模型的预测能力。