CN109785976B - 一种基于Soft-Voting的痛风病分期预测系统 - Google Patents

Abstract

本发明公开了一种基于Soft‑Voting的痛风病分期预测系统，包括数据获取单元；数据预处理单元；样本均衡单元，用于解决不同类样本之间的数据不均衡问题；特征选择单元，用于进行特征选择，用于表示患者的发病情况，用于机器学习模型的训练；模型构建与优化单元，用于将不同的模型通过Soft‑Voting的方式组合优化，提高预测的准确率；模型评估单元，用于评估Soft‑Voting方法在测试集上的准确率；模型应用单元，用于将模型应用到实际场景，实现痛风的分期预测；模型更新单元，用于定期获取数据，实现模型的定期更新。本发明利用大量的痛风患者数据训练模型，最大化的利用了患者的病例数据及检查结果，能够精准地诊断痛风病及患者所处的分期，为痛风患者提供可靠的诊断结果。

Description

一种基于Soft-Voting的痛风病分期预测系统

技术领域

本发明涉及一种计算机学习系统，特别涉及一种基于Soft-Voting的痛风病分期预测系统。

背景技术

痛风是最常见的关节炎性疾病，其发病率呈上升趋势。痛风的发病机制是尿酸水平逐渐 升高达到饱和后形成晶体，尿酸盐晶体沉积在周围关节中，最终导致不可逆的关节损伤和畸 形。一般可将痛风分为以下几期进行描述，但并不表示每位痛风病人都须依序经过这几个时 期；包括：

无症状的高尿酸血症，是指正常嘌呤饮食状态下，非同日两次空腹血尿酸水平：男性>420μmol/L，女性>360μmol/L；急性痛风关节炎，是关节内尿酸浓度过饱和形成结晶， 作为异物进而触发机体固有免疫机制，导致关节及其周围组织的急性炎症反应；间歇期，两次痛风发作之间称为间歇期；慢性关节炎期，是尿酸炎晶体或痛风石在骨关节内及其周围组 织引起持续性炎症损伤；痛风性肾病期，当尿酸盐结晶沉积于肾脏引起病变就导致了痛风性 肾病；慢性关节炎急性发作；慢性关节炎急性发作，有慢性期症状的患者，出现关节及周围 组织的急性炎症反应。

机器学习是研究如何利用计算机程序对人类的学习行为进行模拟的一门交叉学科。机器 学习可以分为有监督学习、无监督学习和半监督学习。监督学习指通过对己知特征和结果的 数据集进行学习，然后建立起特征和结果之间的关系，对未知结果的数据进行预测。本发明 就是利用监督学习建立痛风患者数据和医生给定标签之间的关系，对新的患者进行痛风病及 其分期的诊断。

随着现实世界中数据量的增大，机器学习方法也得到了普遍的应用。目前，机器学习方 法在许多应用领域取得了显著的成果，但在痛风病的诊断以及不同分期的精准预测中，尚属 于空白。

发明内容

为解决上述技术问题，本发明提供了一种基于Soft-Voting的痛风病分期预测系统，以达 到利用大量的痛风患者数据训练模型，最大化的利用了患者的病例数据及检查结果，能够精 准地诊断痛风病的分期，为痛风患者提供可靠的诊断结果。

为达到上述目的，本发明的技术方案如下：

一种基于Soft-Voting的痛风病分期预测系统，包括以下组成单元：

数据获取单元，用于从门诊系统后台数据库获取患者诊断数据；

数据预处理单元，用于对从数据库获取的数据进行预处理；

样本均衡单元，用于解决不同类样本之间的数据不均衡问题；

特征选择单元，用于进行特征选择，用于表示患者的发病情况，用于机器学习模型的训 练；

模型构建与优化单元，用于将不同的模型通过Soft-Voting的方式组合优化，提高预测的 准确率；

模型评估单元，用于评估Soft-Voting方法在测试集上的准确率；

模型应用单元，用于将模型应用到实际场景，实现痛风的分期预测；

模型更新单元，用于定期获取数据，实现模型的定期更新。

上述方案中，所述数据预处理单元具体包括：

异常值识别单元，用于识别出数据中存在的异常值，将得到的异常值视为缺失值；

缺失值处理单元，用于处理数据中存在的缺失值和异常值单元识别出来的异常值。

上述方案中，所述样本均衡单元具体包括：

样本欠采样单元，用于减少多数类样本的数量，缓解样本不均衡问题；

样本过采样单元，用于增加少数类样本的数量，缓解样本不均衡问题。

上述方案中，所述异常值利用箱线图来识别，识别出的异常值视为缺失值，按缺失值的 处理方法进程处理。

上述方案中，所述缺失值的处理方法如下：

首先对数据进行归一化，采用离差归一化方法，使结果落到[0,1]区间，转化函数如下：

其中，x^*为归一化后的变量数据，x为原始变量数据，x_min为该变量的最 小值，x_max为该变量最大值，利用转化后的数据进行缺失值处理；

其次，使用热卡填充法处理缺失值，对于一个包含空值变量的患者数据，热卡填充法在 完整数据中找到一个与它最为相似的对象，然后用这个相似对象的值来进行填充，以样本间 的欧式距离定义相似标准，距离越近，对象越相似。

上述方案中，所述样本欠采样单元是对数量较多的类别样本数据采用随机欠采样方法， 即从所有样本中随机抽取部分样本进入后期的建模步骤，减少样本数量。

上述方案中，所述样本过采样单元是对较少类别样本数据采用随机过采样和SMOTE过 采样算法结合，分别使用随机过采样和SMOTE过采样算法各自产生一部分新的样本，从而 增加样本数量。

上述方案中，所述SMOTE过采样算法如下：选取部分样本数据，寻找样本x_i最近邻的 K个该类样本；K个中随机挑选出一个样本x_j，在x_i和x_j之间随机的进行线性差值，从而构造出一个新的样本。

上述方案中，所述模型构建与优化单元中，Soft-Voting方法是对多个算法的分类概率值 进行加权平均，采用随机森林、梯度提升树、XGBoost三种算法作为Soft-Voting方法的基本 分类器，并使用网格搜索方法将三种算法调至最优参数模型。所述模型评估单元的处理方法 如下：评估模型在测试集上准确率和F1-Score指标，给定阈值，以F1-Score为标准，若 F1-Score<阈值，则再次进入模型构建与优化步骤；若F1-Score>阈值，则进入模型应用。

上述方案中，所述Soft-Voting的具体方法如下：Soft-Voting的标签Label＝argmax[P(j)]，

其中，j代表对象类别；W_i表示第i个分类器的权重；P_ij表示在第i个分类器上样本属于 第j类的概率；P(j)表示样本属于第j类的概率；其中，分类器的权重数值采用网格搜索调参 的方法选取最优权重。

通过上述技术方案，本发明提供的基于Soft-Voting的痛风病分期预测系统具有以下优点：

1、本发明以痛风病的分期诊断为背景，通过大量的实际看诊数据训练基于Soft-Voting 的诊断模型，使得该系统能够有效提取与疾病诊断相关的特征，并实现痛风病的分期诊断， 其诊断准确率达到82％.同时提供了一套相关疾病诊断系统的构建流程和关键技术。

2、本发明的数据预处理单元，基于痛风领域业务知识和统计方法相结合进行特征选择， 将医生的诊疗经验和统计理论相结合，选取的特征结果能最大限度描述患者的病情。

3、本发明中的样本均衡单元，对样本不均衡问题提出了良好的解决思路，通过数量较多 类别样本欠采样，对类别较少样本过采样和SMOTE过采样相结合，有效避免了样本不均衡 情况下，对于模型训练的干扰问题。

4、本发明引入投票机制，使用Soft-Voting方法，选取采用随机森林、梯度提升树、XGBoost 三种算法作为Soft-Voting方法的基本分类器，对每个算法的分类概率值进行加权平均，综合 多个模型在不同特征上的表达能力，使得系统的分类预测能力更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种基于Soft-Voting的痛风病分期预测系统的工作流程示 意图；

图2为本发明实施例所公开的样本均衡过程示意图；

图3为本发明实施例所公开的Soft-Voting方法示意图；

图4为XGBoost算法对特征的重要性排序。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述。

本发明提供了一种基于Soft-Voting的痛风病分期预测系统，如图1所示，该系统利用大 量的痛风患者数据训练模型，最大化的利用了患者的病例数据及检查结果，能够精准地诊断 痛风病及患者所处的分期，为痛风患者提供可靠的诊断结果。具体工作过程如下：

步骤一，患者病历数据采集

从医院痛风门诊系统获取2300条痛风患者数据，包括从患者的个人主诉、既往史、家族 史、现病史、化验结果、查体以及初步诊断结果等中提取的与痛风病诊断相关的患者体征数 据，主要有：痛风评分表结果、痛风石、尿酸、肌酐、疼痛打分、肿胀打分等20多个变量， 以及医生最终给患者的诊断结果。

步骤二，患者数据预处理

患者病历数据中存在部分数据缺失、数据异常等问题，无法直接进行后续的数据建模， 针对患者数据集进行异常值和缺失值的处理。

1、异常值处理：对于患者的20多个变量，绘制每一个变量的箱线图，利用箱线图识别 出变量存在的异常值，将异常值记为缺失值。

2、缺失值处理：在进行缺失值处理之前，要先对患者的各个变量进行归一化，采用离差 归一化方法，使结果落到[0，1]区间，转化函数如下：

其中，x^*为归一化 后的变量数据，x为原始变量数据，x_min为该变量的最小值，x_max为该变量最大值，利用转化后的数据进行缺失值处理；检查20多个变量中是否存在缺失值，对于包含缺失值的样本采 用热卡填充法进行填补，即利用欧式距离找到与之最近的样本，使用该变量值填补缺失值。

步骤三，样本均衡

从医院痛风门诊系统导出的患者数据中，间歇期、慢性关节炎期患者占大多数，高尿酸 血症和慢性期急性发作的患者数量较少，不同分期之间的样本量分布：慢性关节炎期：937、 间歇期：691、痛风性肾病期：255、急性关节炎期：227、高尿酸血症：87、慢性期急性发作： 57，样本不均衡会影响最终模型的预测能力。

如图3所示，对于数量较多的间歇期和慢性关节炎期，我们采取随机欠采样算法减少样 本数量。即从所有样本中随机抽取部分样本进入后期的建模步骤，减少样本数量。

对于数量较少的类别，如高尿酸血症期、急性关节炎期和慢性期急性发作的样本，采用 随机过采样和SMOTE过采样算法结合，分别使用随机过采样和SMOTE过采样算法各自产 生一部分新的样本，从而增加对应类别的样本数量。

首先进行随机过采样，随机选取某一类别(如急性关节炎期)的部分样本重复增加到数 据集中，由于该方法是将数据集中的少数类样本进行重复添加，因此，过多使用会出现过拟 合的现象。在这基础上，又结合了SMOTE过采样算法，其主要通过选取同一类别的部分样 本，以急性关节炎期为例，寻找样本x_i最近邻的K个该类样本；K个中随机挑选出一个样本 x_j，在x_i和x_j之间随机的进行线性差值，从而构造出新的急性关节炎期样本。按照上述方法 直至少数类别样本与多数类别样本数量达到均衡为止。

步骤四，特征选择

从门诊系统采集的患者数据共有24项特征，由于并不是所有特征都对痛风的诊断有效， 过多的特征维数之间也存在相互关联的特征和一些噪声。本专利基于痛风诊断业务知识和统 计方法相结合进行特征选择。

1)对于20多项特征，首先基于痛风诊断知识和历史诊断数据进行特征排序，利用专家 经验以及医学知识获取与疾病诊断相关的患者信息作为特征，有些特征需要预处理，并根据 专家经验对特征排序，作为统计学习方法的参考。

2)在上一步骤的基础上，基于XGBoost算法对特征的重要性进行度量。利用所有特征 构建XGBoost模型，得到所有特征的重要性得分和排序，和医生对特征的排序相结合，舍弃 部分特征，防止模型过拟合。

基于上述步骤处理后的数据，最后选取的特征有6个，分别是：血肌酐(CREA)、血尿酸(UA)、血尿素氮(BUN)、现病史综合(GoutStage)、痛风石(Uratoma)、疼痛程度(PainScore)。

步骤五，模型构建与优化

Soft-Voting和Hard-Voting相对，Hard-Voting采用的是少数服从多数原理，Soft-Voting则 是对每个算法的分类概率值进行加权平均，选取采用随机森林、梯度提升树、XGBoost三种 算法作为Soft-Voting方法的基本分类器。

随机森林是从数据集中有放回的抽取k个样本集，用它们创建k个树分类器。输入待 分类样本之后，每个树分类器都会对它进行分类，然后所有分类器按照少数服从多数原则， 确定分类结果。梯度提升树通过多轮迭代，每轮迭代产生一个弱分类器，每个分类器在上一 轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏 差的。当样本存在缺失值是，XGBoost能自动学习分裂方向，XGBoost借鉴随机森林的做法， 支持列抽样，这样不仅能防止过拟合，还能降低计算复杂度。

如图4所示，首先对经过上述步骤处理的患者数据划分训练集、验证集、测试集，选取 样本的70％为训练集，15％为验证集，15％为测试集。选取随机森林、梯度提升树、XGBoost 三种算法分别用训练集数据训练模型，为了使得三种基本算法能够最大化提取数据中的潜在 关系，本专利通过对验证集数据使用网格搜索方法调节算法参数。然后使用Soft-Voting方法 对分类器的预测概率进行加权组合，得到属于每个类别的一个新的概率值，选取概率值最大 的一个类别作为最终的分类结果。为了避免权重选取的主观性随机性，对权重进行网格搜索 寻找最优权重，最后随机森林、梯度提升树、XGBoost对应的权重分别是0.5，0.375，0.125。

Soft-Voting的具体方法如下：Soft-Voting的标签Label＝argmax[P(j)]，

其中，j代表对象类别；W_i表示第i个分类器的权重；P_ij表示在第i个分类器上样本属于 第j类的概率；P(j)表示样本属于第j类的概率。

其中，网格搜索调参的具体实施方式如下：

将各个参数可能的取值进行排列组合，列出所有可能的组合结果生成“网格”。然后将各 组合用于训练，并使用交叉验证计算参数组合的准确率。在拟合函数尝试了所有的参数组合 后，返回一个合适的分类器，自动调整至最佳参数组合。

步骤六，模型评估

将构建和优化完成的Soft-Voting模型应用于划分的测试集上，利用混淆矩阵、精确率、 准确率、召回率、F1-Score指标对模型进行评估，由于痛风分期属于多分类问题，不是简单 的正负样本，对于各项评估指标需要做一个新的定义，以高尿酸血症为例，该值的各项评估 指标如下：

TP(True Positive)：真实为高尿酸血症样本，预测也为高尿酸血症样本的数量；

FN(False Negative)：真实为高尿酸血症样本，预测不为高尿酸血症样本的数量；

FP(False Positive)：真实不为高尿酸血症样本，预测为高尿酸血症样本的数量；

TN(True Negative)：真实不为高尿酸血症样本，预测也不为高尿酸血症的数量；

精确率：

召回率：

F1值：

准确率：

最终的模型的评估结果见表1的混淆矩阵和表2的相关指标值。选取F1-Score的阈值为 75％，由表2可知，总体的F1-Score为80％，通过评估要求。

表1 Soft-Voting应用到测试集上的标准化混淆矩阵

表2：Soft-Voting应用到测试集上的各个类别评估指标

	Precision	Recall	F1-score	Accuracy
					高尿酸血症	1	0.88	0.94	0.88
急性期	0.6	0.62	0.61	0.62
					间歇期	0.79	0.84	0.81	0.84
慢性期	0.84	0.82	0.83	0.82
					肾病期	0.88	0.91	0.89	0.91
慢性期急性发作	0.45	0.28	0.34	0.28

步骤七，模型应用

将经过以上步骤得到的模型应用到实际场景，对于新患者，通过获取患者数据，并提取 相关特征，用我们训练的模型进行预测，最终实现痛风病的诊断和分期的预测。

步骤八，模型更新

如图2所示，定期收集数据，将数据预处理为模型需要的格式，学习新数据，再次构建 和优化模型，将新模型应用到实际场景，实现对模型的定期更新。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些 实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理 可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被 限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的 范围。

Claims (10)

1.一种基于Soft-Voting的痛风病分期预测系统，其特征在于，包括以下组成单元：

数据获取单元，用于从门诊系统后台数据库获取患者诊断数据；

数据预处理单元，用于对从数据库获取的数据进行预处理；

样本均衡单元，用于解决不同类样本之间的数据不均衡问题；

特征选择单元，用于进行特征选择，用于表示患者的发病情况，用于机器学习模型的训练；最后选取的特征有6个，分别是：血肌酐、血尿酸、血尿素氮、现病史综合、痛风石、疼痛程度；

模型构建与优化单元，用于将不同的模型通过Soft-Voting的方式组合优化，提高预测的准确率；

模型评估单元，用于评估Soft-Voting方法在测试集上的准确率；

模型应用单元，用于将模型应用到实际场景，实现痛风的分期预测；

模型更新单元，用于定期获取数据，实现模型的定期更新；

所述模型构建与优化单元中，Soft-Voting方法是对多个算法的分类概率值进行加权平均，采用随机森林、梯度提升树、XGBoost三种算法作为Soft-Voting方法的基本分类器，并使用网格搜索方法将三种算法调至最优参数模型。

2.根据权利要求1所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述数据预处理单元具体包括：

异常值识别单元，用于识别出数据中存在的异常值，将得到的异常值视为缺失值；

缺失值处理单元，用于处理数据中存在的缺失值和异常值单元识别出来的异常值。

3.根据权利要求1所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述样本均衡单元具体包括：

样本欠采样单元，用于减少多数类样本的数量，缓解样本不均衡问题；

样本过采样单元，用于增加少数类样本的数量，缓解样本不均衡问题。

4.根据权利要求2所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述异常值利用箱线图来识别，识别出的异常值视为缺失值，按缺失值的处理方法进程处理。

5.根据权利要求4所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述缺失值的处理方法如下：

首先对数据进行归一化，采用离差归一化方法，使结果落到[0，1]区间，转化函数如下：

其中，x^*为归一化后的变量数据，x为原始变量数据，x_min为该变量的最小值，x_max为该变量最大值，利用转化后的数据进行缺失值处理；

其次，使用热卡填充法处理缺失值，对于一个包含空值变量的患者数据，热卡填充法在完整数据中找到一个与它最为相似的对象，然后用这个相似对象的值来进行填充，以样本间的欧式距离定义相似标准，距离越近，对象越相似。

6.根据权利要求3所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述样本欠采样单元是对数量较多的类别样本数据采用随机欠采样方法，即从所有样本中随机抽取部分样本进入后期的建模步骤，减少样本数量。

7.根据权利要求3所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述样本过采样单元是对较少类别样本数据采用随机过采样和SMOTE过采样算法结合，分别使用随机过采样和SMOTE过采样算法各自产生一部分新的样本，从而增加样本数量。

8.根据权利要求7所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述SMOTE过采样算法如下：选取部分样本数据，寻找样本x_i最近邻的K个该类样本；K个中随机挑选出一个样本x_j，在x_i和x_j之间随机的进行线性差值，从而构造出一个新的样本。

9.根据权利要求1所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述模型评估单元的处理方法如下：评估模型在测试集上准确率和F1-Score指标，给定阈值，以F1-Score为标准，若F1-Score<阈值，则再次进入模型构建与优化步骤；若F1-Score>阈值，则进入模型应用。

10.根据权利要求9所述的一种基于Soft-Voting的痛风病分期预测系统，其特征在于，所述Soft-Voting的具体方法如下：Soft-Voting的标签Label＝argmax[P(j)]，

其中，j代表对象类别；W_i表示第i个分类器的权重；P_ij表示在第i个分类器上样本属于第j类的概率；P(j)表示样本属于第j类的概率；其中，分类器的权重数值采用网格搜索调参的方法选取最优权重。

Images