CN106096273A - 一种基于tf‑idf改进算法的疾病症状推导方法 - Google Patents

Abstract

本发明提供一种基于TF‑IDF改进算法的疾病症状推导方法，包括下列步骤：1)请医学专家根据科室分类编写疾病症状对应字典；2)分析每一个科室的文档，统计症状词频TF；3)分析所有的文档，统计计算反向词频ITF；4)查询每个疾病的搜索引擎月查询量，并找出最大的查询量，进而计算出搜索引擎查询指数。5)基于以上计算出的TF，IDF和搜索引擎查询指数按照公式计算出最终的权重。本发明解决了目前传统疾病症状推导方法推理逻辑复杂，依赖于医学专家经验知识，并且医学知识形式化困难等缺陷，通过TF‑IDF算法计算出的词频和搜索引擎搜索指数加权求和的方法，极大的提高了目前推导方法的效率，并利用搜索引擎大数据提高了导诊的准确性。

Description

一种基于TF-IDF改进算法的疾病症状推导方法

技术领域

本软件方法涉及一种基于TF-IDF的疾病症状推导方法，对现有的TF-IDF算法做了改进，综合运用了大数据技术和机器学习算法来提高疾病导诊的有效性。

背景技术

随着互联网和传统行业的结合越来越紧密，人们通过网络获取一些简单疾病的初步诊断结果来指导就医行为已经变得越来越普遍。在这样的大趋势下，应用计算机技术，人工智能技术进行疾病初步诊断、导医的应用如雨后春笋般涌现。智能疾病导诊系统本质上属于一种医疗专家系统。国外较早出现的有MYCIN系统和Internist-1/QMR系统；国内有2006年胡波设计实现的基于知识库的AISCP导医系统，2011年习明实现的基于web的社区智能医疗服务系统。但这些系统几乎都是基于知识库和推理规则的专家系统，需要医疗专家根据自己的知识经验制定一套完整的推理规则。然而由于医学专家诊断疾病是一个创造性的过程，很难将这种知识、经验用计算机语言表达出来，所以专家系统在医学领域一直没有得到很好的利用。

发明内容

为了克服现有疾病症状推导方法的缺陷，本方法提出一种基于TF-IDF算法的疾病权重计算方法。并以该计算方法为指导，构建了自己的智能导诊系统。用户输入自己的症状，年龄，性别信息，系统能根据动态调整的症状疾病权重，查询出最可能患的疾病。

TF-IDF(term frequency-inverse document frequency)是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。它的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TF-IDF实际上是：TF*IDF，TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)。TF表示词条在文档中出现的频率。

${\mathrm{tf}}_{i,n}=\frac{n_i}{{\Σ}_k{n}_k}$

其中n_i表示词t_i在文档n中出现的次数；∑_kn_k表示文档n中词的总个数；

IDF逆向文件频率的主要思想是：如果包含词条t_i的文档越少，也就是|{d：t_i∈d}|越小，IDF越大，则说明词条t具有很好的类别区分能力。公式如下：

${\mathrm{idf}}_i=log\frac{\left|D\right|}{\left|\{d:t_i\∈d\}\right|}$

其中|D|表示文档的总数目；|{d：t_i∈d}|表示包含词t_i的文档的数目；

在本推导方法中，对TF-IDF算法做了一定程度的改进，计算方法如下：

${\mathrm{tf}}_{i,n}=\frac{n_i}{{\Σ}_k{n}_k}$

其中n_i表示症状t_i在同科室疾病n中出现的次数；∑_kn_k表示同科室疾病n中症状词出现的总个数；

${\mathrm{idf}}_i=log\frac{\left|D\right|}{\left|\{d:t_i\∈d\}\right|}$

其中|D|表示疾病的总数目；|{d：t_i∈d}|表示包含症状t_i的疾病的数目；

TFIdf_i，n＝tf_i，n×idf_i

TFIdf_i，n表示症状t_i与疾病n的相关度。

由于医学领域的诊断是一个不确定的推理过程，疾病有好几种症状，但症状不是一种疾病特有的，根据症状推理出的疾病不一定正确。考虑到用户查询的疾病一般都是常见疾病，所以引入疾病在搜索引擎指数中的用户关注度作为疾病常见度，用不同疾病用户关注度的值ua_n的比值来计算疾病j的权重W_n，以权重的大小来区分不同疾病的常见都，则疾病的常见度参数值为：

$W_n=\frac{{\mathrm{ua}}_n}{max\left({\mathrm{ua}}_n\right)}$

有了常见度这个参数后，和上文中的TFIdf_i，n结合，最终得到的症状t_i与疾病n的相关度为：

CF_n＝α₁*TFIdf_i，n+α₂*W_n

其中α₁+α₂＝1

本方法的特点是：

1.和疾病辅助诊断专家系统相比，该方法简单高效，不用复杂的推理演绎，不用将复杂的医学知识形式化，适合用计算机程序实现。

2.运用了大数据技术(搜索引擎关键词搜索指数的引入)提高了导诊的准确性。相比较局限于医生个人经验的专家系统，本方法运用大数据技术，挖掘当前一段时间互联网用户搜索频率较高的疾病，来对TF-IDF算法结果进行矫正，只要数据足够真实可靠就可以很大程度的提高了计算的准确性。

附图说明

图1为本发明整体方法流程图

图2为计算词频TF的方法流程图

图3为计算反向词频ITF的方法流程图

图4为计算搜索引擎搜索指数的方法流程图

具体实施方式

为了了解本发明的技术内容，特举具体实施例并配合附图说明如下。

图1为本发明实施例的一种基于TF-IDF改进算法的疾病症状推导方法整体流程图。其特征在于包含以下步骤：

1)请医生准备程序输入材料，按科室分类的疾病症状对应文档。以内科文档为例，具体形式如下：

1.1.2肺炎(胸部)(男与女)(全部年龄)

症状：

寒战(全身)；发热(全身)；头痛(头部)；肌肉酸痛(全身)；纳差(腹部)；咳嗽(胸部)；咳痰(胸部)；血痰(胸部)；脓痰(胸部)；气促(胸部)；胸痛(胸部)；腹痛(腹部)；恶心(腹部)；呕吐(腹部)；腹胀(腹部)；腹泻(腹部)；烦躁(全身)；神志模糊(全身)；嗜睡(全身)；昏迷(全身)；咽痛(颈部)；

2)写程序计算每一个症状的TF词频，具体做法是，读取某一个科室文档，统计每一个症状出现的次数，以及该文档中所有症状词语出现的总个数。假设第i个症状出现次数为n_i，文档中所有症状词的总个数∑_kn_k。然后计算词频

3)写程序计算IDF逆向文件频率。具体做法是，读取所有文档，先统计和某个症状t_i有关联的所有疾病个数为|{d：t_i∈d}|，然后统计所有文档中疾病的总个数|D|。则

4)然后计算TFIdf_i，n＝tf_i，n×idf_i，并把结果保存在数据库TFIdf表里。

写定时程序获取每个疾病的搜索引擎指数。统计得到最大的疾病搜索引擎指数max(ua_n)，然后计算比值并保存在数据库疾病指数表中。

当用户选择症状查询时，去TFIdf表取出TFIdf_i，n，去搜索引擎指数表中取出疾病n的W_n。计算总权重CF_n＝α₁*TFIdf_i，n+α₂*W_n。对多个症状分别计算出CF后直接相加，然后倒序排列，找出前10个结果展示给用户。

图2为计算词频TF的流程图。其思想是读取一个科室文档，分析每一个症状词语出现的次数和整个文档中出现的症状总个数，然后求他们的商。TF反映了某个症状在该科室中的重要性。具体步骤如下：步骤1：建立Map<String，Integer>map保存症状和该症状在该文档中出现的总次数。步骤2：逐个读取文档中的症状词，并将症状出现次数统计信息保存在map中。步骤3：遍历map中的症状信息，统计出该文档中的总症状数allCount。步骤4：对于每一个症状S，计算它的TF＝map.get(S)/allCount；

图3为计算反向词频ITF的流程图。具体步骤是：步骤1：建立Map<String，List<String>>map1保存疾病和对应的症状列表，建立Map<String，Integer>map2保存症状和对应关联疾病的个数。步骤2：读取所有科室文档中的数据。由于准备的文档素材都是疾病和症状对应的段落，因此读取每一个疾病症状段落，保存疾病和它对应的症状到map1。步骤3：遍历map1，分离出症状和它对应的疾病个数保存到map2。步骤3：计算每一个症状s的idf＝log(map1.getKeys().count()/map2.get(s))；

图4为计算搜索引擎指数的流程图。具体步骤是：步骤1：读取疾病库中的所有疾病名称，并建立疾病和搜索量的对应关系对象Map<String，Integer>map。步骤2：取每一个疾病名称D，去搜索引擎api查询它的月搜索量count，并作保存操作map.put(D，count)；步骤3：遍历map找出max(count)；4：计算每一个疾病Dn的搜索引擎搜索指数Wn＝map.get(Dn)/max(count)；

综上所述，通过该方法可以比较准确的判断出用户的一些常见病症，用户去医院之前能给出一些必要的指导，并做一些准备工作。

Claims (3)

1.一种基于TF-IDF改进算法的疾病症状推导方法，其特征在于，通过分析医学专家编写的疾病症状对应文档，应用TF-IDF算法建立症状和疾病之前的对应权重。为了进一步提高权重的准确性，本方法实时爬取疾病搜索引擎查询次数，计算出搜索引擎搜索指数，对TF-IDF算法所求权重进行进一步修正。疾病症状权重建立后，用户输入症状，系统查询预先计算好的保存在数据库中的症状疾病对应权重，倒排序后返回给用户。应用该推导方法可以有效的分析出症状和疾病的对应关系强弱，最终实现通过多个症状组合判定用户可能患的疾病，为用户就医前提供更多指导。该方法包含以下步骤：

1)基于TF-IDF算法计算疾病症状权重。TF即词频，在本方法中指的是症状在某科室文档中出现的频率。TF＝症状在该文档中出现的次数/文档中所有症状词出现的次数。IDF表示的是一个症状和其他科室疾病的关联强弱，如果一个症状在所有科室文档中都出现的比较多，则该症状和每个疾病的关联度就不是很强。IDF＝症状关联疾病个数/文档中所有疾病个数。

2)计算某一个疾病在搜索引擎中的查询指数。搜索引擎查询指数指的是某疾病在搜索引擎中被查询的次数和疾病在搜索引擎中的查询次数的最大值的比值。

2.根据权利1所述的基于TF-IDF算法的疾病权重计算方法，其特征在于，包括以下步骤；

步骤1：医学专家准备疾病症状字典文档。按科室对疾病进行分类，每个分类的疾病放在一个文档中。多个文档组成一个集合放在同一个文件夹下。

步骤2：计算每一个症状的词频TF。选取某一个科室的疾病症状字典文档，读入计算机内存，对文档中的文本进行分词，分别统计每一个症状在该文档中出现的次数和该文档中所有症状词出现的次数。并对这两个统计值相除。即词频TF＝症状在该文档中出现的次数/文档中所有症状词出现的次数。

步骤3：计算逆向文档频率IDF。在本方法中IDF表征的是一个症状和其他科室疾病的关联强弱，如果一个症状词的词频TF在某一个科室文档中出现的频率高，并且在其他整个文档中出现的频率低，则可以认为该症状在该科室文档中的疾病中比较重要。具体计算步骤是读取所有字典文档，统计每个症状关联的疾病个数，以及所有文档中所有的疾病个数，则逆向文档频率IDF＝症状关联疾病个数/文档中所有疾病个数。

步骤4：计算TFIDF＝TF*IDF，然后将结果保存到数据库中做持久化。

3.根据权利1所述的搜索引擎搜索指数计算方法，其特征在于，包括以下步骤：

步骤1：写定时程序去搜索引擎爬取每个疾病关键词的搜索指数。在所有指数中找出最大的搜索引擎月查询次数，然后将每一个搜索引擎月搜索量和该最大月搜索量的比值作为搜索指数。

步骤2：最后对TFIDF和搜索引擎搜索指数两个值做加权求和。