CN116168844A - 基于大数据分析的医疗数据处理系统 - Google Patents

Abstract

本发明公开了一种基于大数据分析的医疗数据处理方法，应用于一种基于大数据分析的医疗数据处理系统，该方法包括：大数据获取相关医疗数据以及在线医患问答数据，并将数据处理后存储于数据库中；通过知识抽取算法对非结构化数据进行数据抽取；进一步对所有数据进行格式上的预处理；进一步构建医疗知识图谱，并进行图形化展示，通过数据融合技术，将不同数据源中重复数据合并、格式不同的数据丢弃；医学数据的融合主要包括：实体的对齐、属性融合以及数值的规范化；自动更新构建完毕的知识图谱；解析在线医疗过程中的医学问句，并向用户提供专业性的回答以及疾病的分析，本发明，具有提升用户满意度和提高医疗信息服务质量的特点。

Description

基于大数据分析的医疗数据处理系统

技术领域

本发明涉及医疗数据分析技术领域，具体为基于大数据分析的医疗数据处理系统。

背景技术

随着社会的发展，人们的生活水平显著提高，对医疗健康越来越重视。人们会通过手机等终端设备查询疾病医疗等相关信息，如疾病的预防措施、并发症、症状和治愈率等，使用的手段是以百度代表的一系列搜索引擎，但搜索引擎主要是靠用户自己提供的关键词来进行搜索匹配，搜索结果是否符合用户的意图与用户提炼的关键词有着十分密切的关系，除此之外对于返回的海量信息需要用户自行取舍。

在医疗方面，有些用户在身体出现不适后，首先会根据自身症状上网查询可能患上的疾病，由于其缺乏医学知识和传统搜索引擎比较依赖关键词等条件，常常会检索出错误的信息，非常容易给他们带来不必要的心理负担，并有可能产生更加严重的后果，因此，设计提升用户满意度和提高医疗信息服务质量的基于大数据分析的医疗数据处理系统是很有必要的。

发明内容

本发明的目的在于提供基于大数据分析的医疗数据处理系统，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据分析的医疗数据处理方法，该方法包括：

大数据获取相关医疗数据以及在线医患问答数据，并将数据处理后存储于数据库中；

进一步构建医疗知识图谱，并进行图形化展示；

解析在线医疗过程中的医学问句，并向用户提供专业性的回答以及疾病的分析。

根据上述技术方案，所述大数据获取相关医疗数据以及在线医患问答数据，并将数据处理后存储于数据库中包括：

相关医疗数据包括：来自互联网开源的医疗知识图谱、各大医疗网站上存储的半结构化医疗数据，以及以医学文献、电子病历或者医学百科为主的非结构化数据；

通过知识抽取算法对非结构化数据进行数据抽取；

进一步对所有数据进行格式上的预处理。

根据上述技术方案，所述进一步构建医疗知识图谱，并进行图形化展示包括：

通过数据融合技术，将不同数据源中重复数据合并、格式不同的数据丢弃；

医学数据的融合主要包括：实体的对齐、属性融合以及数值的规范化；

自动更新构建完毕的知识图谱。

根据上述技术方案，所述自动更新构建完毕的知识图谱包括：

将待更新的实体放置于指定路径下，在指定时间读取；

判断是否到达更新所指定的时间点；

达到时间点则读取CSV文件，并统计待更新的实体的数目，在判断实体条件后选择插入数据库中或者数据融合。

根据上述技术方案，所述解析在线医疗过程中的医学问句，并向用户提供专业性的回答以及疾病的分析包括：

在知识图谱检索式算法上结合生成式模型的问句分析方式，解析在线医疗过程中的医学问句。

根据上述技术方案，所述一种基于大数据分析的医疗数据处理系统，该系统包括：

数据获取模块，用于获取医疗数据；

知识图谱构建模块，用于构建医疗知识图谱；

问句解析模块，用于对用户医疗问句进行解析。

根据上述技术方案，所述数据获取模块包括：

数据库存储模块，用于存储医疗数据；

数据分类获取模块，用于对获取的数据进行分类；

知识抽取模块，用于对非结构化数据进行知识抽取。

根据上述技术方案，所述知识图谱构建模块包括：

数据处理模块，用于对获取到的数据进行处理；

数据融合模块，用于对相似数据进行融合；

自动更新模块，用于自动更新知识图谱。

根据上述技术方案，所述问句解析模块包括：

数据集构建模块，用于构建实体识别数据集和问句意图分类数据集；

实体识别模块，用于识别疾病、症状和科室三类实体；

数据查询模块，用于查询知识图谱及医疗数据。

与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有数据获取模块、知识图谱构建模块和问句解析模块，获取相关医疗数据以及在线医患问答数据，并对其进行处理融合得到最终的数据源，存入图形数据库中，提高数据的一致性与准确率；在系统运行中定时读取待更新的疾病数据文件，自动扩充知识图谱规模，在使用中慢慢扩大其中的数据量，进一步提升使用过程中的信息服务质量及用户体验感。以图谱实体为基础，通过数据增强策略生成大量问句，将医疗问句打上标签得到命名实体识别数据集和意图分类数据集，提升用户使用过程中的问诊准确性，提升系统的准确率和召回率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例一提供的基于大数据分析的医疗数据处理方法的流程图；

图2是本发明实施例二提供的基于大数据分析的医疗数据处理系统的模块构成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

图1为本发明实施例一提供的基于大数据分析的医疗数据处理方法的流程图，本实施例可应用于在线医疗信息服务的环境中，该方法可以由本发明实施例提供的基于大数据分析的医疗数据处理系统来执行，该系统由多个软硬件模块组成，该方法具体包括以下步骤：

S101、大数据获取相关医疗数据以及在线医患问答数据，并将数据处理后存储于数据库中；

在本发明的一些实施例中，在线医患问答数据通过大数据从医药网站获取并存储于数据库中；相关医疗数据包括：来自互联网开源的医疗知识图谱，该类数据主要存放于图形数据库中，通过免费或收费的方式放置于互联网，供用户访问及使用；各大医疗网站上存储的半结构化医疗数据，该类数据存储结构不统一，存储结构变化较大，通过利用Scrapy框架从网站获取疾病相关的信息，并将获取到的数据以表格形式进行存储；以及以医学文献、电子病历或者医学百科为主的非结构化数据，通过知识抽取算法进行数据抽取。

示例性的，在本发明实施例中，通过知识抽取算法进行数据抽取具体包括：通过前期的数据预处理，包括去除停用词、去除非中文字符等操作，得到高质量的源数据后，采用基于Bi-LSTM-CRF的实体与关系联合抽取模型来从非结构化数据源中抽取知识，通过将实体之间的关系都转化为序列的标注问题，然后通过模型去预测每个词的标签，从而识别出实体和实体间的关系，最后通过校验的方式得出识别出的三元组，具体抽取的知识为疾病这一实体，以及疾病-别名、疾病-症状、疾病-推荐药物三种实体关系，进一步对文本进行标注实体；得到标注策略的训练数据后，将知识抽取转换为序列标注，并通过Bi-LSTM-CRF模型实现，输入语句首先在词嵌入层进行编码，再将编码后的结果输入到长短时记忆网络中，将这层的输出结果通过CRF模型进行长序列的标注，输出最终分类的结果。

在本发明的一些实施例中，对于结构化数据来说，其来源于现存的知识图谱，数据规则有效，因此无需对其进行清理；互联网上的数据通过人工手段获取后往往含有大量噪声，如数据缺失、数据乱码、数据重复等，对构建完备的知识图谱有很大的影响，因此对于互联网上获取的半结构化数据进行数据清理以及降噪处理；由于半结构化数据收集完后是保存在一份表格中的，因此对半结构化数据的清洗也就是对表格中的数据进行清洗，主要包括：首先将含有空值的行的数据全部删除，其次对于每个数据项，使用正则表达式的规则去除其中的特殊字符和一些中文符号，并调整中英文字符为标准格式。

S102、进一步构建医疗知识图谱，并进行图形化展示；

在本发明的一些实施例中，对信息进行的提取和处理后，结构化、半结构化、非结构化的数据均被表示为标准的关系型数据存储于数据库中，通过数据融合技术，将不同数据源中重复数据合并、格式不同的数据丢弃，从而得到所需要的知识图谱的数据源。医学数据的融合主要包括：实体的对齐、属性融合以及数值的规范化，由于各个数据源的来源不一，格式不同，通过实体对齐可提高数据的一致性与准确率。

示例性的，在本发明实施例中，由于同一个医学实体可能存在不同的表述方式，即同义词，而数据源中存在过多的同义词实体一定会导致融合后的知识图谱产生信息的冗余，增大了不必要的内存开销，降低了系统的性能；因此为了保证融合后的知识图谱中实体语义的一致性，通过实体对齐的方式合并三种数据源中的同义实体，为搭建知识图谱提供可靠的、低耦合的、具备一定规模的数据源。具体的，根据医疗实体间的相似度大小决定是否进行融合，若两个字符串间相似度超过设定的相似阈值则认为相似，进行实体的对齐。示例性的，在数据的融合过程中，定义各文件的融合优先级中，结构化数据源得到的CSV文件＞半结构化数据源得到的CSV文件＞非结构化数据源得到的CSV文件，以高优先级为主，先融合结构化与半结构化文件，再将融合后的文件于非结构化文件再次融合，已得到最终的数据源，并将数据源导入到图形数据库中完成医疗知识图谱的构建，同时向查询用户或管理员用户进行图形化展示。

在本发明的一些实施例中，在知识图谱构建完后，设置定时自动更新，每当到达指定的更新时间，就将待更新的实体、实体属性或者实体关系根据规则导入到数据库中，在使用中慢慢扩大其中的数据量，进一步提升使用过程中的信息服务质量及用户体验感；具体的步骤包括：

S1：将待更新的实体以CSV表格的形式放置于指定路径下供系统在指定时间去读取，CSV表格的数据格式必须与融合后的数据格式一致。

S2：判断是否到达更新所指定的时间点；若到达了执行S2，否则不执行任何的操作，线程进入睡眠状态。

S3：读取CSV文件，并统计待更新的实体的数目；依次读取CSV表格中的每一行数据，其中每一行数据都是代表一个实体的相关信息。

S4：将一个待更新的实体与数据库中的实体做字符相似度计算，若相似度超过指定的阈值，则执行实体合并操作；否则将该实体、实体属性和实体关系均插入数据库。在判定两个实体相似后，必须要判断两个实体的每个属性和实体关系是否相似，若属性或者关系相似则必须合并属性和关系，否则将其作为新的属性和关系直接插入到数据库中；合并的过程都是以数据库中已存在的数据为主，将待插入的数据根据条件决定是插入数据库中还是与数据库中的数据融合。

S5：不断重复S4，直至待更新的实体的数目为0，即待更新CSV文件中的所有实体都被处理完，就结束更新并关闭CSV文件。

S103、解析在线医疗过程中的医学问句，并向用户提供专业性的回答以及疾病的分析；

在本发明的一些实施例中，通过在知识图谱检索式算法上结合生成式模型的问句分析方式，解析在线医疗过程中的医学问句，并向用户提供专业性的回答以及疾病的分析，以解决由于医疗类的开源知识图谱较少，即使是人工构建的知识图谱，其疾病数量是有限的，若医学问句中的实体不在知识库内，系统就会出现无法正常解析医学问句的情况；以及由于用户的输入具有随机性，会对系统输入各种各样的医学问句，而导致系统的准确率和召回率偏低的问题；具体的，使用深度学习的方法实现医学实体识别、意图分类和生成式模型，对于系统能回答的医学问句，将语句通过医学实体识别和问句分类解析，并转化为三元组形式后在知识图谱中查询，返回结果。示例性的，利用数据冷启动和数据增强，自动构建大量用于训练模型的数据集，初始的数据源来自知识图谱中的实体，通过定义标准模板的方法生成大量问句，然后对问句进行数据增强，比如句式的重构、同义替换、添加一些语气词或随机插入无关紧要的词等等；在语料的生成过程中打上标签，即同时生成命名实体识别数据集和问句意图分类数据集；进一步使用生成的命名体识别数据集对BERT-BiLSTM-CRF模型进行训练，达到识别疾病、症状和科室这三类实体的目的。

示例性的，在本发明实施例中，在数据集的构建过程中，将字符个数少于10的短文全部剔除；同时通过模式匹配方式将含有大量乱码的问句也剔除，以提高模型的泛化能力；通过人工模板的关键词匹配方式和人工复核方式对问句打上意图标签；通过关键词匹配定义各意图下的关键词表，再在问句中查询是否有某个词与该关键词匹配，若有则该关键词对应的意图类别就是该问句的意图类别，并将单意图问句与多意图问句分开存储；在知识图谱的查询过程中，根据不同的实体和意图构建对应的查询语句，调用数据库的查询接口查询数据库，最终将查询出的答案进行封装并返回给用户。

实施例二：

本发明实施例二提供了基于大数据分析的医疗数据处理系统，图2为本实施例二提供的基于大数据分析的医疗数据处理系统的模块构成示意图，如图2所示，该系统包括：

数据获取模块，用于获取医疗数据；

知识图谱构建模块，用于构建医疗知识图谱；

问句解析模块，用于对用户医疗问句进行解析。

在本发明的一些实施例中，数据获取模块包括：

数据库存储模块，用于存储医疗数据；

数据分类获取模块，用于对获取的数据进行分类；

知识抽取模块，用于对非结构化数据进行知识抽取。

在本发明的一些实施例中，知识图谱构建模块包括：

数据处理模块，用于对获取到的数据进行处理；

数据融合模块，用于对相似数据进行融合；

自动更新模块，用于自动更新知识图谱。

在本发明的一些实施例中，问句解析模块包括：

数据集构建模块，用于构建实体识别数据集和问句意图分类数据集；

实体识别模块，用于识别疾病、症状和科室三类实体；

数据查询模块，用于查询知识图谱及医疗数据。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于大数据分析的医疗数据处理方法，其特征在于：该方法包括：

大数据获取相关医疗数据以及在线医患问答数据，并将数据处理后存储于数据库中；

进一步构建医疗知识图谱，并进行图形化展示；

解析在线医疗过程中的医学问句，并向用户提供专业性的回答以及疾病的分析。

2.根据权利要求1所述的一种基于大数据分析的医疗数据处理方法，其特征在于：所述大数据获取相关医疗数据以及在线医患问答数据，并将数据处理后存储于数据库中包括：

相关医疗数据包括：来自互联网开源的医疗知识图谱、各大医疗网站上存储的半结构化医疗数据，以及以医学文献、电子病历或者医学百科为主的非结构化数据；

通过知识抽取算法对非结构化数据进行数据抽取；

进一步对所有数据进行格式上的预处理。

3.根据权利要求1所述的一种基于大数据分析的医疗数据处理方法，其特征在于：所述进一步构建医疗知识图谱，并进行图形化展示包括：

通过数据融合技术，将不同数据源中重复数据合并、格式不同的数据丢弃；

医学数据的融合主要包括：实体的对齐、属性融合以及数值的规范化；

自动更新构建完毕的知识图谱。

4.根据权利要求3所述的一种基于大数据分析的医疗数据处理方法，其特征在于：所述自动更新构建完毕的知识图谱包括：

将待更新的实体放置于指定路径下，在指定时间读取；

判断是否到达更新所指定的时间点；

达到时间点则读取CSV文件，并统计待更新的实体的数目，在判断实体条件后选择插入数据库中或者数据融合。

5.根据权利要求1所述的一种基于大数据分析的医疗数据处理方法，其特征在于：所述解析在线医疗过程中的医学问句，并向用户提供专业性的回答以及疾病的分析包括：

在知识图谱检索式算法上结合生成式模型的问句分析方式，解析在线医疗过程中的医学问句。

6.一种基于大数据分析的医疗数据处理系统，其特征在于：该系统包括：

数据获取模块，用于获取医疗数据；

知识图谱构建模块，用于构建医疗知识图谱；

问句解析模块，用于对用户医疗问句进行解析。

7.根据权利要求6所述的一种基于大数据分析的医疗数据处理系统，其特征在于：所述数据获取模块包括：

数据库存储模块，用于存储医疗数据；

数据分类获取模块，用于对获取的数据进行分类；

知识抽取模块，用于对非结构化数据进行知识抽取。

8.根据权利要求6所述的一种基于大数据分析的医疗数据处理系统，其特征在于：所述知识图谱构建模块包括：

数据处理模块，用于对获取到的数据进行处理；

数据融合模块，用于对相似数据进行融合；

自动更新模块，用于自动更新知识图谱。

9.根据权利要求6所述的一种基于大数据分析的医疗数据处理系统，其特征在于：所述问句解析模块包括：

数据集构建模块，用于构建实体识别数据集和问句意图分类数据集；

实体识别模块，用于识别疾病、症状和科室三类实体；

数据查询模块，用于查询知识图谱及医疗数据。

Images