CN110060781A - 一种基于特征权重的lars糖尿病预测方法 - Google Patents

Abstract

本发明涉及医疗信息化技术领域，公开了一种基于特征权重的LARS糖尿病预测方法，具体包括以下步骤：步骤1，归一化糖尿病数据集矩阵，初始化当前拟合值向量和残差向量；步骤2，计算自变量特征权重向量和原始相关度向量；步骤3，计算单位向量、回归系数向量、新相关度向量和最大相关度；步骤4，更新回归系数向量，拟合值向量、残差向量和指标集；步骤5，判断残差向量的L2范数是否小于容忍度，若是则结束，若否则重复步骤3到5，本发明从糖尿病数据集特征出发，筛选出糖尿病关键特征变量，简化了糖尿病预测模型；提高了糖尿病预测模型的准确性，从而有助于提供准确的糖尿病预防与治疗措施。

Description

一种基于特征权重的LARS糖尿病预测方法

技术领域

本发明涉及医疗信息化技术领域，具体涉及一种基于特征权重的 LARS糖尿病预测方法。

背景技术

随着糖尿病预测模型的数据特征越来越多、数据维数越来越大，预测模型也变得越来越复杂，传统预测方法难于直接应用于糖尿病的预测中。

数据特征与数据维数的增加使得神经网络预测模型的训练时间复杂度增加、决策树和逻辑回归预测模型的预测准确率和泛化能力降低、支持向量机预测模型难以直接找到关键特征，这对糖尿病预测模型提出了新的挑战。

lasso模型具有回归分类准确率高、泛化能力强等优点，但由于传统的最小角回归LARS算法在求解Lasso回归系数时存在逼近速度慢且准确度不高的问题，因此难以实现将LARS算法用于糖尿病预测。

发明内容

本发明的目的是在于提供一种基于特征权重的LARS糖尿病预测方法，针对现有LARS糖尿病预测方法的不足，根据PCA主成分分析，充分考虑到不同糖尿病特征对预测结果的影响，给出了改进的特征自变量与因变量相关度的计算方法，简化糖尿病预测模型，提出了基于特征权重的LARS糖尿病预测方法。

为解决上述发明的目的，本发明提供技术方案如下：

一种基于特征权重的LARS糖尿病预测方法，包括如下步骤：

步骤1，归一化糖尿病数据集矩阵，初始化当前拟合值向量和残差向量；

步骤2，计算自变量特征权重向量和原始相关度向量；

步骤3，计算角平分向量、回归系数向量、新相关度向量和最大相关度；

步骤4，更新回归系数向量，拟合值向量、残差向量和指标集；

步骤5，判断残差向量的L2范数是否小于容忍度，若是则结束，否则重复步骤3至步骤5。

进一步的，所述步骤1的糖尿病数据集特征之间差值大，需对每个特征值进行归一化；所述当前拟合值为当前迭代的预测值，残差为真实值与当前预测值的差，其计算方式为：

式中，μ为当前拟合值向量；y为真实值向量。

进一步的，所述步骤2中计算原始特征自变量与y的相关度公式为：c＝X^Ty

所述计算特征自变量的特征权重的公式为：

式中，为特征方程的特征值，

特征方程中R为糖尿病数据集矩阵的协方差矩阵，其计算公式为：

式中，θ_i为第i个特征的均值。

进一步的，所述步骤3中，计算新相关度的计算公式为：C＝c^Tβ

式中，c＝X^T(y-μ_A)，μ_A为前一步的拟合值；β为求得各特征自变量的特征权重向量，其相关度最大值为：C_max＝max{|C|}

当前最大相关时，则A自变量与y的相关度都为最大。

回归系数向量和角平分的计算公式分别为：

u_A＝X_Aω_A

其中，是一个指标集，X_A为X从中取出的A 指标集里的列向量，并使其与y同向，则有：

进一步的，所述步骤4中，

更新回归系数向量的计算公式为：ω_A＝ω_A+γω_A

拟合值向量的计算公式为：μ_A＝μ_A+γu_A

残差向量的计算公式为：

随着γ的减小，残差增大，进而与各自变量的相关度也增大。记a＝X^Tu_A，因此算法沿u_A方向的前进长度为：

式中，min上的+表示只计算集合中正数的最小值；

C_i为C中的第i个元素，a_i为a中的第i个元素，

且i的取值为使得取得最小值的i。

Lasso模型可以得到稀疏解，得到的糖尿病预测模型泛化能力更好，LARS算法可以求解Lasso模型，但应用与糖尿病数据集时存在逼近速度慢和准确率不高的问题，PCA主成分分析根据得到不同特征的权重，区分各特征自变量的重要程度，因此提供基于特征权重的 LARS糖尿病预测方法。

本发明相对于现有技术的有益效果是：

采用Lasso模型可进行特征选择得到糖尿病关键特征，根据PCA 主成分分析，筛选出糖尿病关键特征变量，简化了糖尿病预测模型；提高了糖尿病预测模型的准确性，为提供更准确的糖尿病预防与治疗措施作前期铺垫。

本发明附加技术特征所具有的有益效果将在本说明书具体实施方式部分进行说明。

附图说明

图1是本发明实施例中基于特征权重的LARS糖尿病预测方法的流程图；

图2是标准的LARS算法的求解图；

图3是本发明实施例中加入特征权重的LARS算法求解图；

图4是标准LARS算法的回归变量ω的变化路径图；

图5是基于特征权重的LARS算法的回归变量ω的变化路径；

图6是标准LARS算法和本发明基于特征权重的LARS算法随着迭代次数ACC的变化曲线图；

图7是标准LARS算法和本发明基于特征权重的LARS算法随着迭代次数ROC的变化曲线图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

由机器学习和PCA理论可知，一个多维的样本中通常存在少数几个关键特征或者主成份；在糖尿病的众多特征中同样只有少数几个关键特征，研究发现采用LARS算法可以得到由关键特征表示的泛化能力更好的预测模型；另外，在LARS算法求解步骤中结合PCA算法得到的特征权重可以加快算法向关键特征的逼近速度，从而可以加快算法求解速度和准确率。

首先定义糖尿病数据集特征矩阵：

即为m条n维特征组成的矩阵，x_k1,x_k2,...,x_kn为各特征自变量。

真实结果标签：y＝(y₁,y₂,…,y_m)^T。

结合图1所示，本发明提供一种基于特征权重的LARS糖尿病预测方法，具体步骤如下：

步骤1，归一化糖尿病数据集矩阵X，使糖尿病数据集不同特征的范围值映射到相同的0-1固定范围中；初始化当前拟合值和当前的残差，拟合值指每次迭代对真实结果的拟合，初始化为0，残差为真实结果与拟合值的差，计算公式1为：

y为真实结果标签向量，μ为当前拟合值。

步骤2，计算每个特征自变量初始权重，计算方式3为：

式中，为特征方程的特征值，特征方程中R为糖尿病数据集矩阵X的协方差矩阵，其计算公式4为：

其中，θ_i为第i个特征的均值。

再计算每个特征自变量与真实结果的初始相关度，计算公式2 为：c＝X^Ty

结合图3所示，步骤3：从X中取出与y同向的列向量，令其为X_A，再通过公式8和公式7计算角平分线u_A：

u_A＝X_Aω_A

计算新相关度，计算公式5为：C＝c^Tβ

其中c＝X^T(y-μ_A)，μ_A为前一步的拟合值，β为通过PCA算法求得各权重的度量值向量，再得到C中的最大值公式6为：

C_max＝max{|C|}

由步骤4计算公式即可以更新回归系数，当前拟合值和当前残差，更新回归系数向量的计算公式9：ω_A＝ω_A+γω_A

拟合值向量的计算公式10：μ_A＝μ_A+γu_A

残差向量的计算公式11：

其中γ为沿着角平分线u_A的前进步长，设a＝X^Tu_A，γ计算公式12 为：

式中，min上的+表示只计算集合中正数的最小值；

C_i为C中的第i个元素，a_i为a中的第i个元素，

且i的取值为使得取得最小值的i。

步骤5，判断步骤4中残差的L2范数是否小于某个容忍度，若是则结束，输出回归系数；否则重复步骤3到步骤5。

本实施例将本发明提出糖尿病预测方法与标准的LARS方法进行对比，以回归系数路径、预测准确率(ACC)曲线和模型的受试者特征(ROC)曲线等为评判指标。回归系数路径可以直观的看出各特征自变量系数的变化情况，ACC曲线则可以直观的比较算法的逼近速度与准确率，ROC曲线则是一种度量非均衡问题的工具，曲线下面积越大则模型越好。

结合图2和图3，分别为标准的LARS算法和加入特征权重的 LARS算法求解图，以两个特征自变量为例，在每次逼近前都会进行相关度计算，由附图2可以看出加入了特征权重后，两个特征自变量因权重不同被选入的可能性发生了改变，逼近方向也发生了改变，最终导致回归系数的发生改变。

结合图4和图5，分别为标准LARS算法和基于特征权重的LARS 算法的回归变量ω的变化路径。坐标纵轴为ω值大小，横轴为迭代次数，比较图4和图5发现基于特征权重的LARS算法8个特征自变量的回归系数路径都发生了改变，由于使用PCA算法得到了初始权重，对各自变量的变化进行了约束，因此回归系数并不会差别太大，模型的鲁棒性增加，其次，由于，较大权重的自变量的回归系数会增加更快，使结果更加合理，如糖尿病遗传函数和年龄比怀孕次数对是否患病的影响更大。

结合图6两种算法随着迭代次数ACC的变化曲线。可以看出基于特征权重的LARS在逼近速度和准确率均高于标准的LARS，基于特征权重的LARS算法在迭代3次后就达到了标准LARS最好的 ACC，在迭代第5次后。基于特征权重的LARS和标准LARS的ACC 都达到最高，基于特征权重的LARS的ACC比标准LARS高了约0.8 个百分点。同时可以看出两条曲线在迭代后面几次时ACC都下降了，由于每次迭代回归系数被压缩的程度在减小，当压缩系数α为0时已无法对回归系数进行压缩，反而使得ACC下降。结合表1、表2分别是标准LARS和基于特征权重的LARS不同的迭代次数n对应的压缩系数α值以及回归系数ω值，从两张表中可以看出第五次迭代ω都有三个为0，表明最后的模型中三个自变量的回归系数为0。这时模型得到精简同时ACC达到最高。

表1标准LARS不同的迭代次数n对应的压缩系数α值以及回归系数ω

表2基于特征权重的LARS不同的迭代次数n对应的压缩系数α值以及回归系数ω值

结合图7为阈值t从0开始以0.01为步长增至1计算得出的100 个伪阳率和真阳率，进而得到的两种LARS算法的ROC曲线，红色虚线为随机猜测的ROC曲线，可以看出基于特征权重的LARS的 ROC曲线更加靠近左上角，通过计算ROC曲线下面积AUC，基于特征权重的LARS的AUC为0.8953，标准LARS的AUC为0.8664，特征权重的LARS算法的AUC最高。

综上，基于特征权重的LARS算法计算得到的糖尿病预测模型的 ACC要高于标准LARS，且可以更快的逼近到最优模型。另外处理此次糖尿病不均衡样本的时候，基于特征权重的LARS算法的ROC曲线的AUC值要高于标准LARS。因此基于特征权重LARS算法在求解糖尿病预测模型时优于标准LARS算法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (5)

1.一种基于特征权重的LARS糖尿病预测方法，其特征在于，包括如下步骤：

步骤1，归一化糖尿病数据集矩阵，初始化当前拟合值向量和残差向量；

步骤2，计算自变量特征权重向量和原始相关度向量；

步骤3，计算角平分向量、回归系数向量、新相关度向量和最大相关度；

步骤4，更新回归系数向量，拟合值向量、残差向量和指标集；

步骤5，判断残差向量的L2范数是否小于容忍度，若是则结束，否则重复步骤3至步骤5。

2.根据权利要求1所述基于特征权重的LARS糖尿病预测方法，其特征在于，所述步骤1的糖尿病数据集特征之间差值大，需对每个特征值进行归一化；所述当前拟合值为当前迭代的预测值，残差为真实值与当前预测值的差，其计算方式(1)为：

式中，μ为当前拟合值向量；y为真实值向量。

3.根据权利要求1所述基于特征权重的LARS糖尿病预测方法，其特征在于，所述步骤2中计算原始特征自变量与y的相关度公式(2)为：c＝X^Ty

所述计算特征自变量的特征权重的公式(3)为：

式中，为特征方程的特征值，

特征方程中R为糖尿病数据集矩阵的协方差矩阵，其计算公式(4)为：

式中，θ_i为第i个特征的均值。

4.根据权利要求3所述基于特征权重的LARS糖尿病预测方法，其特征在于，所述步骤3中，计算新相关度的计算公式(5)为：C＝c^Tβ

式中，c＝X^T(y-μ_A)，μ_A为前一步的拟合值；β为求得各特征自变量的特征权重向量，其相关度最大值公式(6)为：C_max＝max{|C|}

当前最大相关时，则A自变量与y的相关度都为最大。

回归系数向量和角平分的计算公式(7)分别为：

其中，是一个指标集，X_A为X从中取出的A指标集里的列向量，并使其与y同向，则公式(8)分别为：

5.根据权利要求4所述基于特征权重的LARS糖尿病预测方法，其特征在于，所述步骤4中，更新回归系数向量，拟合值向量，残差向量的计算公式分别为：

ω_A＝ω_A+γω_A (9)

μ_A＝μ_A+γu_A (10)

随着γ的减小，残差增大，进而与各自变量的相关度也增大，得a＝X^Tu_A，因此算法沿u_A方向的前进长度公式(12)为：