CN104615894A - 一种基于k近邻标签特定权重特征的中医诊断方法及系统 - Google Patents

Abstract

本发明提供一种基于k近邻标签特定权重特征的中医诊断方法及系统，以解决上述问题。上述方法包括以下步骤：按照预设权重确定策略获取不同类别下事例的特征数据权重信息；根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例；对选择的所述事例采用k近邻标签特定权重特征多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标，充分考虑了特征加权对分类的影响，大大提高了分类的精度。

Description

一种基于k近邻标签特定权重特征的中医诊断方法及系统

技术领域

本发明属于中医信息处理领域，尤其涉及一种基于k近邻标签特定权重特征的多标记中医证候诊断方法及系统。

背景技术

辨证论治是中医学的特点和精华，证候是对人体疾病病理生理变化整体反应的概括，是辨证的结果和论治的依据，是中医诊治疾病的基础，体现了中医学理论特色与优势。传统的辨证方法体系内涵丰富，经历了长期的中医临床实践考验，但是在传统中医辨证方法体系中，中医证候诊断是建立在望、闻、问、切的直观方法基础上，靠有经验的中医医生主观判断，这种人为的判断难免要带入诊断误差。

随着计算机技术的发展，尤其是模式识别、机器学习、数据挖掘等技术逐步引入到中医证候的客观化研究中，借助设计计算机专家系统对病症进行辅助判断，并取得了阶段性的成果。但中医临床实际中，证候往往不会单一出现，时常交织在一起，传统的数据挖掘技术无法同时进行建模和分析，并且在传统分析过程中均忽略了症状(体征)特征本身权重，因此目前中医证候诊断的客观化还未取得满意的效果。

发明内容

本发明提供一种基于k近邻标签特定权重特征的中医诊断方法及系统以解决上述问题。

本发明提供一种基于k近邻标签特定权重特征的中医诊断方法，上述方法包括以下步骤：

按照预设权重确定策略获取不同类别下事例的特征数据权重信息；

根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例；

对选择的所述事例采用k近邻标签特定权重特征多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标。

本发明还提供一种基于k近邻标签特定权重特征的中医诊断系统，包括特征数据权重信息确定模块、事例筛选模块、评价指标获取模块；其中，所述特征数据权重信息确定模块通过所述事例筛选模块与所述评价指标获取模块相连；

所述特征数据权重信息确定模块，用于按照预设权重确定策略获取不同类别下事例的特征数据权重信息并将所述不同类别下事例的特征数据权重信息发送至所述事例筛选模块；

所述事例筛选模块，用于根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例并将选择的所述事例发送至所述评价指标获取模块；

所述评价指标获取模块，用于对选择的所述事例采用k近邻标签特定权重特征的多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标。

通过以下方案：按照预设权重确定策略获取不同类别下事例的特征数据权重信息；根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例；对选择的所述事例采用k近邻标签特定权重特征多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标，充分考虑了特征加权对分类的影响，大大提高了分类的精度。

通过以下方案：若每个事例由n个特征数据组成，两个事例x1＝{x₁₁-,x₂₁,…,x_n1,x_c1}和x2＝{x₁₂,x₂₂,…,x_n2,x_c2}，其中x_c1、x_c2为类别值，则加权欧几里得距离为：

$\mathrm{Dist}(x^1,x^2)=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(w_j\right)}^{\∂}{(x_j^1-x_j^2)}^2},$

其中，x₁₁,x₂₁,…,x_n1为特征值；x₁₂,x₂₂,…,x_n2为特征值；x¹为事例x1中的特征值，x²为事例x2中的特征值，x_j ¹为事例x1中的第j个特征值，x_j ²为事例x2中的第j个特征值；所述w_j为第j个特征数据权重，所述α为放大系数，α越大，权重的影响越突出，以加权欧几里得距离确定事例之间的相似度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的基于k近邻标签特定权重特征的中医诊断方法流程图；

图2所示为本发明实施例2的基于k近邻标签特定权重特征的中医诊断系统结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为本发明实施例1的基于k近邻标签特定权重特征的中医诊断方法流程图，包括以下步骤：

步骤101：按照预设权重确定策略获取不同类别下事例的特征数据权重信息；

预设权重确定策略包括互信息判定方法、信息增益判定方法、随机森林重要度判定方法、频数判定方法。

按照预设权重确定策略获取不同类别下事例的特征数据权重信息的过程为：

按照预设权重确定策略获取不同类别下事例的特征数据重要度；

对所述特征数据重要度进行标准化处理，获取所述特征数据权重信息。

按照预设权重确定策略获取不同类别下事例的特征数据重要度的过程为：

在森林每一棵树的构建过程中，获取不同类别事例集并记下分类投票正确的个数；

随机改变所述事例集中的一个特征数据m，把所述事例训练成树；

获取未受所述特征数据m影响情况下正确分类投票数与改变所述事例集中所述特征数据m后的正确分类票数的票差值；

对每棵树做相同处理，获取每棵树的票数差取平均值即所述特征数据m的重要度(raw importance)。

对所述特征数据重要度进行标准化处理，获取所述特征数据权重信息的过程为：

获取所述特征数据m重要度参向量importance＝(ipt₁,ipt₂,….,ipt_n)，则所述特征数据m的权重向量W＝(w₁,w₂,…w_k,…w_n)，其中，

备注：

Breiman(2001)提出随机森林，增加一个额外的层随机性对装袋，除了构建每棵树都使用不同的临界值的数据样本，随机森林改变了分类回归树的构造。

在标准树中，每个节点以所有可能的分裂中选择好的来作为分裂，而在随机森林中，每个节点分裂在最好的预测中随机抽取的一个子集作为那个节点的分裂。这看似有点违反直觉策略，但与原先许多其他分类器如判别分析、支持向量机和神经网络相比却有这非常好的性能，并在过拟合问题上具有良好的鲁棒性(Breiman,2001)。

本研究直接利用Abhishek Jaiantilal的R package randomForest工具包训练出中医慢性胃炎数据的分类模型(Modal)以确定特征重要度。

步骤102：根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例；

根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例的过程为：

若每个事例由n个特征数据组成，两个事例x1＝{x₁₁,x₂₁,…,x_n1,x_c1}和x2＝{x₁₂,x₂₂,…,x_n2,x_c2}，其中x_c1、x_c2为类别值，则加权欧几里得距离为：

$\mathrm{Dist}(x^1,x^2)=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(w_j\right)}^{\∂}{(x_j^1-x_j^2)}^2}---\left(1\right),$

其中，x₁₁,x₂₁,…,x_n1为特征值；x₁₂,x₂₂,…,x_n2为特征值；x¹为事例x1中的特征值，x²为事例x2中的特征值，x_j ¹为事例x1中的第j个特征值，x_j ²为事例x2中的第j个特征值；所述w_j为第j个特征数据权重，所述α为放大系数，α越大，权重的影响越突出。

步骤103：对选择的所述事例采用k近邻标签特定权重特征的多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标。

所述评价指标包括：汉明损失Hamming loss、首标记错误One-error、覆盖距离Coverage、排序损失Ranking loss、平均精度Average precision。

基于k近邻标签特定权重特征的多标记学习方法详细步骤表述如下：

步骤一、确定训练数据train_data和测试数据test_data；

步骤二、For标签向量L中的每个标签l执行步骤三-步骤六；

步骤三、依照权重确定方法，利用train_data数据计算各个特征的重要度，然后将重要度标准化作为每个特征的权重信息；

步骤四、在所有test_data数据中，依照公式(1)计算取自test_data数据的每一个未知事例与train_data事例之间的加权距离，选出K个距离最小的事例N(K)；

步骤五、统计N(K)中属于标签l的事例个数m，则该事例属于特征l的概率p＝m/K；若p>0.5，则l＝1，否则l＝0；

步骤六、End for。

图2所示为本发明实施例2的基于k近邻标签特定权重特征的中医诊断系统结构图，包括：特征数据权重信息确定模块、事例筛选模块、评价指标获取模块；其中，所述特征数据权重信息确定模块通过所述事例筛选模块与所述评价指标获取模块相连；

所述特征数据权重信息确定模块，用于按照预设权重确定策略获取不同类别下事例的特征数据权重信息并将所述不同类别下事例的特征数据权重信息发送至所述事例筛选模块；

所述事例筛选模块，用于根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例并将选择的所述事例发送至所述评价指标获取模块；

所述评价指标获取模块，用于对选择的所述事例采用k近邻标签特定权重特征的多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标。

实验情况说明：

1、研究数据来自2008.9～2010.10上海中医药大学附属龙华医院、新华医院、市中医医院、杨浦区中医院胃镜检查室、病房和门诊采集病例。经结合临床、内镜及病理组织学结果确诊为慢性胃炎患者CG(Chronic Gastritis)，去除信息不完整及不符合慢性胃炎诊断的量表，共采集有效样本919例。其中样本中男性354例(占38.5℅，平均年龄44.61±14.54)，女性565例(占61.5℅，平均年龄：48.70±12.74)；问诊表是由具有中级职称以上(或具有博士学位)的医师根据问诊量表进行病史和症状、体征的收集，并记录其面色、舌象及脉象，记录常见证型6个，分别为脾胃湿热、湿浊中阻、脾胃气虚、脾胃虚寒、肝气郁滞、肝胃郁热证型。

2、评价指标

传统的单标记学习的评价指标通常是准确率、召回率、F₁测试值、精确度等，但多标记学习相对于单标记学习更复杂。本文实验结果的评价用五种在多标记学习用的比较常见的评价指标：汉明损失(Hamming loss)、首标记错误(One-error)、覆盖距离(Coverage)、排序损失(Ranking loss)、平均精度(Average precision)。

假定是一个d-维输入空间，Y＝{1,2,...,q}是样本空间属于的q个可能的特征集。设事例集为 $D=\{(x_1,Y_1),...,(x_i,Y_i),...,(x_m,Y_m)\}(x_i\∈X,Y_i\⊆Y),$ 其中x_i∈X是一个特征示例，Y_i∈Y是特征示例x_i可能属于的特征集。

(1)平均精度：表示预测标记集合中的标记排序等级比实际中的某个y∈Y的特定标记更高的统计概率。实际反映了预测标记的平均准确率，该值avgprec_D(f)越大分类性能越好。

${\mathrm{avgprec}}_D\left(f\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{1}{\left|y_i\right|}\underset{{y\∈y}_i}{\mathrm{\Σ}}\frac{\left|\right\{y^{\′}|{\mathrm{rank}}_f(x_i,y^{\′})\≤{\mathrm{rank}}_f(x_i,y),y^{\′}\∈Y\}|}{{\mathrm{rsnk}}_f(x_i,y)}$

(2)覆盖距离：代表覆盖预测样本标记的平均距离，该值avgprec_D(f)越小分类性能越好。

${\mathrm{avgprec}}_D\left(f\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{y\∈y_i}{\max }{\mathrm{rank}}_f(x_i,y)-1$

(3)汉明损失:评价示例-特征对错分的次数，该值hloss_D(f)越小越好。也就是不属于某个事例的标记被预测为该事例了，或者属于某个事例的标记却没有被预测出来。

${\mathrm{hloss}}_D\left(f\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{1}{m}\left|h\left(x_i\right)\mathrm{\Δ}{y}_i\right|$

其中△表示两个事例-标记对相应位置上数值的区别。

(4)首标记错误：计算预测的最高等级标记不在样本标记集合的次数，该值one-error_S(f)越小越好。在单标记分类问题中，该评价准则被视作普通的分类错误。

$\mathrm{one}-{\mathrm{error}}_s\left(f\right)=\frac{1}{n}\mathrm{\Σ}\left|\right|[\underset{y\∈Y}{\arg \max f}(x_i,y)\∉y]\left|\right|$

(5)排序损失：表示不相关标记比相关标记排序更高的次数，该值rloss_D(f)越小分类性能越好。

${\mathrm{rloss}}_D\left(f\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{1}{\left|y_i\right|\left|\stackrel{\‾}{y_i}\right|}\left|\right\{(y_1,y_2)|f(x_i,y_1)\≤f(x_i,y_2),(y_1,y_2){\∈}_{y}i\×{\stackrel{\‾}{y}}_i\}|$

其中代表Y中Yi的补集。

3、实验结果讨论

为了说明特征加权的KNN方法在多标记分类中的效果，我们进行了相关的实验，首先我们比较了不同加权方法对中医慢性胃炎问诊数据分类的优劣，其次将效果较好的加权方法下特征加权的KNN方法与其他常见多标记学习算法进行比较。所有的算法对中医慢性胃炎数据集进行计算时，都用10倍交叉检验，最后结果用十次计算结果的平均值和整体方差，用符号“±”连接均值和标准方差。

4、特征重要度分析

表1到表6列出了根据随机森林重要度对症状前30进行排序，由排序我们可以看出，对于脾胃湿热，关键症状有苔黄、苔白、腻、舌色红、厚、舌色淡白、苔薄、黄白相间、胖大、齿痕等；对于湿浊中阻，关键症状有腻、厚、苔白、苔黄、苔薄、舌色淡白、舌色红、齿痕、胖大、滑等；对于脾胃气虚，关键症状有乏力、齿痕、苔白、苔黄、舌色红、腻、厚、舌色淡白、胖大、苔薄等；对于脾胃虚寒，关键特征有肢冷/手足欠温、冷痛、大便便质偏稀、苔薄、拒按、舌色淡白、口渴、痛有定处、乏力、头晕等；对于肝气郁滞，关键症状有因情绪而加重、肋胀或痛、苔薄、腻、喜按、口苦、乏力、喜暖、厚、嗳气等；对于肝胃郁热，舌色红、腻、灼痛、肋胀或痛、唇色红、苔白、大便便质偏稀、苔薄、苔黄、厚等。

以下表是随机森林分别确定6个症型的重要度前30。

表1：脾胃湿热随机森林前30排序

表2：湿浊中阻随机森林前30排序

表3：脾胃气虚随机森林前30排序

表4：脾胃虚寒随机森林前30排序

表5：肝气郁滞随机森林前30排序

表6：肝胃郁热随机森林前30排序

5、与其他常见多标记学习算法比较

在与其他常见多标记学习算法的比较上，我们选择ML-KNN、ML-LSWAKNN、BP-MLL、ECC、BSVM、Rank-SVM六种算法进行性能比较。结果见下表。

Table 3Performance of different Multi-Label learning algorithms

如表所示，分类平均精度上k近邻标签特定权重特征多标记学习方法即ML-LSWAKNN达到最高为83％，而BP-MLL最低仅为54％。对于数值越小分类性能越好的覆盖距离、汉明损失、首标记错误和排序损失，ML-LSWAKNN分别为0.152、0.140、0.268和0.108，在所有方法中最小，达到了满意的结果。ML-LSWAKNN获得的结果是准确的结果。

6、不同分类算法结果中各个特征的准确率

与ML-KNN、ML-LSWAKNN、BP-MLL、ECC、BSVM、Rank-SVM算法比较各个特征的准确率如下表所示，

Table 4Comparison of recognition accuracy for six common syndromes

对于脾胃湿热，ML-LSWAKNN获得了最高的准确率为90.1％，其后依次是ECC，BSVM，Rank-SVM，ML-kNN，和BP-MLL。对于湿浊中阻，ML-LSWAKNN同样也获得了最高的准确率为80.8％，其后依次为BSVM，ECC，Rank-SVM，ML-kNN，和BP-MLL。对于脾胃气虚，ML-LSWAKNN表现稍差，以正确率73.8％排名第二，排名第一为ECC算法，之后依次为BSVM，ML-KNN，Rank-SVM，BP-MLL。对于脾胃虚寒，ML-LSWAKNN与ML-KNN和BP-MLL不相上下，正确率均达到96.5％，之后ECC和BSVM表现稍差，而Rank-SVM仅为79.3％。对于肝气郁滞，ML-LSWAKNN以正确率84.1％排名第一，其后依次为BP-MLL，ML-KNN，BSVM，ECC，Rank-SVM。对于肝胃预郁热，BP-MLL算法以正确率91％排名第一，ML-LSWAKNN表现稍差，但与ML-KNN，ECC和BSVM表现相当，正确率为90.5％，Rank-SVM仅为79.9％。对各个特征比较总的来说，ML-LSWAKNN取得了最好的准确率。

7、结论

在中医证候诊断过程中，不同症状对证候的判断作用不一样，我们将赋予特征权重的KNN引入到多标记学习中形成ML-LSWAKNN算法，并应用于慢性胃炎的中医辨证诊断研究中。实验表明，ML-LSWAKNN在分类准确率上优于MLKNN等其他同类算法，并且时间复杂度上与KNN算法相当，可以很好的胜任多标记学习任务。

通过以下方案：按照预设权重确定策略获取不同类别下事例的特征数据权重信息；根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例；对选择的所述事例采用k近邻标签特定权重特征多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标，充分考虑了特征加权对分类的影响，大大提高了分类的精度。

通过以下方案：若每个事例由n个特征数据组成，两个事例x1＝{x₁₁-,x₂₁,…,x_n1,x_c1}和x2＝{x₁₂,x₂₂,…,x_n2,x_c2}，其中x_c1、x_c2为类别值，则加权欧几里得距离为：

$\mathrm{Dist}(x^1,x^2)=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(w_j\right)}^{\∂}{(x_j^1-x_j^2)}^2},$

其中，x₁₁,x₂₁,…,x_n1为特征值；x₁₂,x₂₂,…,x_n2为特征值；x¹为事例x1中的特征值，x²为事例x2中的特征值，x_j ¹为事例x1中的第j个特征值，x_j ²为事例x2中的第j个特征值；所述w_j为第j个特征数据权重，所述α为放大系数，α越大，权重的影响越突出，以加权欧几里得距离确定事例之间的相似度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于k近邻标签特定权重特征的中医诊断方法，其特征在于，包括以下步骤：

按照预设权重确定策略获取不同类别下事例的特征数据权重信息；

根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例；

对选择的所述事例采用k近邻标签特定权重特征多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标。

2.根据权利要求1所述的方法，其特征在于，所述评价指标包括：汉明损失Hamming loss、首标记错误One-error、覆盖距离Coverage、排序损失Rankingloss、平均精度Average precision。

3.根据权利要求1所述的方法，其特征在于，预设权重确定策略包括互信息判定方法、信息增益判定方法、随机森林重要度判定方法、频数判定方法。

4.根据权利要求3所述的方法，其特征在于，按照预设权重确定策略获取不同类别下事例的特征数据权重信息的过程为：

按照预设权重确定策略获取不同类别下事例的特征数据重要度；

对所述特征数据重要度进行标准化处理，获取特征数据权重信息。

5.根据权利要求4所述的方法，其特征在于，若预设权重确定策略为随机森林重要度判定方法，则按照预设权重确定策略获取不同类别下事例的特征数据重要度的过程为：

在森林每一棵树的构建过程中，获取不同类别事例集并记下分类投票正确的个数；

随机改变所述事例集中的一个特征数据m，把所述事例训练成树；

获取未受所述特征数据m影响情况下正确分类投票数与改变所述事例集中所述特征数据m后的正确分类票数的票差值；

对每棵树做相同处理，获取每棵树的票数差取平均值即所述特征数据m的重要度。

6.根据权利要求5所述的方法，其特征在于，对特征数据重要度进行标准化处理，获取特征数据权重信息的过程为：

获取特征数据m重要度参向量importance＝(ipt₁,ipt₂,….,ipt_n)，则所述特征数据m的权重向量W＝(w₁,w₂,…w_k,…w_n)，其中，

7.根据权利要求1所述的方法，其特征在于，根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例的过程为：

若每个事例由n个特征数据组成，两个事例x1＝{x₁₁,x₂₁,…,x_n1,x_c1}和x2＝{x₁₂,x₂₂,…,x_n2,x_c2}，其中x_c1、x_c2为类别值，则加权欧几里得距离为：

$\mathrm{Dist}(x^1,x^2)=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(w_j\right)}^2\×{(x_j^1-x_j^2)}^2},$

其中，x₁₁,x₂₁,…,x_n1为特征值；x₁₂,x₂₂,…,x_n2为特征值；x¹为事例x1中的特征值，x²为事例x2中的特征值，x_j ¹为事例x1中的第j个特征值，x_j ²为事例x2中的第j个特征值；所述w_j为第j个特征数据权重，所述α为放大系数，α越大，权重的影响越突出。

8.一种基于k近邻标签特定权重特征的中医诊断系统，其特征在于，包括特征数据权重信息确定模块、事例筛选模块、评价指标获取模块；其中，所述特征数据权重信息确定模块通过所述事例筛选模块与所述评价指标获取模块相连；

所述特征数据权重信息确定模块，用于按照预设权重确定策略获取不同类别下事例的特征数据权重信息并将所述不同类别下事例的特征数据权重信息发送至所述事例筛选模块；

所述事例筛选模块，用于根据不同类别下事例的特征数据权重信息，获取任意两个事例的加权欧几里得距离并选择预设数目加权欧几里得距离最小的事例并将选择的所述事例发送至所述评价指标获取模块；

所述评价指标获取模块，用于对选择的所述事例采用k近邻标签特定权重特征的多标记学习方法即ML-LSWAKNN进行处理，获取所述事例对应的评价指标。