CN108920634A - 基于知识图谱的皮肤病特征分析系统 - Google Patents

Abstract

本发明涉及一种基于知识图谱的皮肤病特征分析系统，包括以卷积神经网络为内核的“望”单元、以循环神经网络为内核的“闻”与“问”单元、汇总各类信息的数据库及知识图谱单元，其中，数据库及知识图谱单元包括资料库，标准数据库，皮肤病知识图谱，其中资料库储存电子病历，医学文献，医学指南，医学规则，治疗信息和病理图片；资料库里存储的资料标准化后汇入标准数据库，标准数据库为“望”单元的卷积神经网络提供皮肤病标准图库训练集，为“闻”与“问”单元提供皮肤病专业名词训练集，通过对标准数据库的知识抽取，构建皮肤病知识图谱。

Description

基于知识图谱的皮肤病特征分析系统

技术领域

本发明属于医疗数据处理技术领域，具体而言，涉及一种基于知识图谱兼具“望闻问切”功能的皮肤病特征分析系统。

背景技术

皮肤病的病种繁多，发病因素错综复杂，损害形态多种多样，部分皮肤病皮损外观也非常相似，使得皮肤病的诊疗层层受阻。由于医务人员本身存在知识储备和临床经验等方面的差异性，往往不同的医务人员针对同一种疾病或者症状的诊断方式也不尽相同，而且效果不一。而对患者来说，皮肤病不像感冒发烧可以根据症状在网上查找资料，且很难用语言来描述。这给皮肤科医生、特别是基层皮肤科医生的临床诊断带来了巨大的挑战。

知识图谱是基于信息系统建立的知识体系，通过数据采集、数据挖掘、信息处理、知识计量和图形绘制等技术把复杂的知识领域系统地显示出来，揭示知识领域的动态发展规律。借助人工智能深度神经网络，结合医学大数据和医学知识等，可以创造出高效的辅助诊断工具，从而为医疗提供更有效的帮助。

皮肤病看似简单，但鉴于种类繁多，使得在模型训练过程中需要非常多的数据。通常的做法是用人工智能进行单一的对皮损进行图像识别或是对病例中的主诉进行文字识别，然后将识别出的信息同内容标签进行映射。其存在训练数据有限，从而导致识别准确率低，误判率较高。这些形式单一的识别模式，缺乏直观性和灵活性，不适用于规模数量大或具有结构化层次的医学知识的表达，不便于医学知识体系内容的扩充，也不能为医护人员提供直观的参考。

发明内容

为解决上述技术问题的不足，本发明借鉴诊断中“望闻问切”的流程方法，提供一种基于知识图谱兼具“望闻问切”功能的皮肤病特征分析系统。结合各种识别模式的优点，并在知识图谱的框架下进行综合分析，便于大规模数量的医学知识的表达，为皮肤科医生与皮肤镜临床专家在诊断期间提供更直观的参考，提高医疗服务质量。本发明所采用的技术方案是：

一种基于知识图谱的皮肤病特征分析系统，包括以卷积神经网络为内核的“望”单元、以循环神经网络为内核的“闻”与“问”单元、汇总各类信息的数据库及知识图谱单元，其中，

数据库及知识图谱单元包括资料库，标准数据库，皮肤病知识图谱，其中资料库储存电子病历，医学文献，医学指南，医学规则，治疗信息和病理图片；资料库里存储的资料标准化后汇入标准数据库，标准数据库为“望”单元的卷积神经网络提供皮肤病标准图库训练集，为“闻”与“问”单元提供皮肤病专业名词训练集，通过对标准数据库的知识抽取，构建皮肤病知识图谱；

“望”单元包括皮肤病标准图库训练集，卷积神经网络模块，向量模型集合，图像分类器，皮肤病患图像采集模块，其中皮肤病标准图库训练集由标准数据库提供，包括收集到的皮损图及皮肤镜下状态图，图像经过权威医生的诊断及标注后储存至标准数据库内，皮肤病标准图库训练集用于训练卷积神经网络模块，之后提取特征向量构建向量模型组成向量模型集合，运用映射关系对图像分类器进行标记；将皮肤病患图像采集模块中的样本输入训练完成的卷积神经网络中，图像分类器将具有相同标签的病患图像样本的特征向量采样后对应到一个输出结果上，每个输出结果对应该病名称的标签，以此确定皮肤病图像信息标签；最后将这些信息汇入数据库与知识图谱单元；

“闻”与“问”单元包括皮肤病专业名词训练集，循环神经网络，向量模型网络，文字分类器，患者病情叙述模块，自然语言处理模块，主诉管理模块，提问管理模块，智能问诊模块，其中皮肤病专业名词训练集由标准数据库提供，包括收集到的与皮肤病主诉有关的各类专业名词术语；皮肤病专业名词训练集用于训练循环神经网络模块，之后提取特征向量构建向量模型组成向量模型集合，运用映射关系对文字分类器进行标记；患者病情叙述模块对患者的叙述进行语音识别，转化为文字信息后输入自然语言处理模块进行关键词提取，将关键词输入循环神经网络中，输出结果交由主诉管理模块判断信息是否完善；主诉管理模块由知识图谱的框架提供词库，其中包括起病情况与患病时间，主要症状的特征，伴随症状，健康情况；如果收集到的关键词缺少以上信息，则将缺少的部分反馈给提问管理模块，提问管理模块由知识图谱框架监督并规范，将汇总的问题输入到智能问诊模块并向患者提问；直至主诉信息完整，最后输出主诉名词标签并汇入数据库与知识图谱单元。

1.根据权利要求1所述的皮肤病特征分析系统，其特征在于，还包括“切”单元，负责对病症进行分类处理，“望”、“闻”与“问”单元获得的图片与文字信息在知识图谱框架下经融合分类器进行标签的整理与比较，最终输出判断结果与推荐的治疗方案；对于无法分类的个例，记录权威专家的综合诊断分析后得出结果，输入标准数据库，从而完善知识图谱框架。

本发明的基于知识图谱的皮肤病特征分析系统，结合各种识别模式的优点，对识别出的所述实体进行实体关系抽取，获取所述实体之间的映射关系。通过标准数据库中整理出医学知识生成医学知识图谱，并在知识图谱的框架下对皮肤病进行综合分析，使得大规模医学知识的表达更加直观，通过技术支持，可以间接地提高医护人员的效率，减少医疗事故的发生，提高医疗服务质量。

附图说明

图1为皮肤病特征分析系统各单元协作的工作原理图。

图2为皮肤病特征分析系统中数据库与知识图谱单元各个模块详解图。

图3为皮肤病特征分析系统中组成“望”单元各个模块详解图，其核心是卷积神经网络。

图4为皮肤病特征分析系统中组成“闻”与“问”单元各个模块详解图，其核心是循环神经网络。

图5为皮肤病特征分析系统中组成“切”单元详解图，主要是记录经过深入确切的综合诊断后的结果。

图6为皮肤病图像特征（具体实施例中皮肤病图像特征），其中：

图(a)皮肤病图像颜色特征；

图(b)皮肤病图像形态特征之一，色素性皮损的基本结构；

图(c)皮肤病图像形态特征之一，血管病变的基本结构和形态；

图(d)皮肤病发病具体部位；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明本借鉴诊断中“望闻问切”的流程方法，提供一种基于知识图谱兼具“望闻问切”功能的皮肤病特征分析系统，其工作原理图如图1所示。

数据库及知识图谱单元结构如图2，海量的电子病历，医学文献，医学指南，医学规则，治疗信息，病理图片储存在资料库中，资料经标准化后汇入标准数据库。通过对标准数据库的知识抽取，可构建皮肤病知识图谱。知识图谱融合数据库中的各种资料，将不同来源、不同类型、不同结构的知识单元通过链接关联成图，基于各医学知识的元数据，为本套系统提供更广度、更深度的知识体系并不断扩充，将皮肤病领域知识数据体系化、关系化，可视化。

“望”单元结构如图3，其中皮肤病标准图库训练集由标准数据库提供，包括收集到的皮损图及皮肤镜下状态图，图像经过权威医生的诊断及标注后储存至标准数据库内，录入了几十余种皮肤镜下的模式特征图，有别于肉眼所见的皮损，可以更细致地在形态学上对皮肤病进行区分，每一种皮肤镜下模式特征图的名称下又分许多子类，子类具体到每一种皮肤病的名称，囊括了目前已知的数百种皮肤病。皮肤病标准图库训练集用于训练卷积神经网络模块，之后提取特征向量构建向量模型组成向量模型集合，运用映射关系对图像分类器进行标记。皮肤病患图像采集模块使用先进的皮肤镜设备，医学中的很多诊断要依靠形态学做决定：一是皮损，二是病理。使用偏振光下的皮肤镜可以打入真皮层并观察到肉眼观察不到的皮损特点。将皮肤病患图像采集模块中的样本输入训练完成的卷积神经网络中，图像分类器将具有相同标签的病患图像样本的特征向量采样后对应到一个输出结果上，每个输出结果对应该病名称的标签，以此确定皮肤病图像信息标签。图6展示了皮肤病图像特征信息，主要包括皮肤病图像颜色特征，皮肤病图像形态特征以及皮肤病发病具体部位。其中皮肤病图像形态特征种类繁多，仅列出色素性皮损的基本结构，如图6b。血管病变的基本结构和形态，如图 6c。最后将这些信息汇入数据库与知识图谱单元。

“闻”与“问”单元结构如图4，其中皮肤病专业名词训练集由标准数据库提供包括收集到的与皮肤病主诉有关的各类专业名词术语。皮肤病专业名词训练集用于训练循环神经网络模块，之后提取特征向量构建向量模型组成向量模型集合，运用映射关系对文字分类器进行标记。患者病情叙述模块可以识别对患者的叙述进行语音识别，将病情陈述音频转化为文字信息后输入自然语言处理模块进行关键词提取，将关键词输入循环神经网络中，输出结果交由主诉管理模块判断信息是否完善。主诉管理模块由知识图谱的框架提供词库中，由四大类组成。1起病情况与患病时间：包括病因或诱因。2主要症状的特征特点：包括主要症状的部位、性质、持续时间、程度、缓解和加剧的因素等。3伴随症状：同时出现的一些其他症状。 4健康情况：包括精神状态、食欲食量、睡眠、大小便等。如果收集到的关键词缺少以上信息，则将缺少的部分反馈给提问管理模块，提问管理模块由知识图谱框架监督并规范，将汇总的问题输入到智能问诊模块并向患者提问。直至主诉信息完整，最后输出主诉名词标签并汇入数据库与知识图谱单元。

在现有的知识图谱框架下，“望”单元皮肤病特征图目前统计有50多种，之后结合“闻”与“问”单元收集到的主诉信息获取致病原因等病理学再向下细分200多种小类以提高精度。“望”、“闻”与“问”单元获得的图片与文字信息在知识图谱框架下经融合分类器进行标签的整理与比较，最终将可分类的疾病输出诊断结果与治疗方案。举例说明由“望”单元提供的皮肤病图像形态颜色特征红色丘疹或斑块上覆有多层银白色鳞屑。发病具体部位于四肢伸侧、头皮和背部，严重皮损可泛发全身。由“闻”与“问”单元提供的主诉信息出现高热、脓疱、红皮病样改变以及全身大小关节病变症状并有肾损害，还可伴有肝，眼，胃肠道，心血管等脏器病变等并发症。经由知识图谱框架知识体系的对比，由融和分类器输出判断结果为银屑病，最终输出判断及推荐的治疗方案。

但一些无法进行分类的疑难杂，将这些个例输入“切”单元，“切”单元结构如图5，这里的“切”不是指切脉，主要记录权威专家的诊断结果。疑难疾病经过病例组织切片，临床试验方案，药物实验治疗，在权威专家的组合诊断分析后得出结果后输入标准数据库，从而完善知识图谱框架。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种基于知识图谱的皮肤病特征分析系统，包括以卷积神经网络为内核的“望”单元、以循环神经网络为内核的“闻”与“问”单元、汇总各类信息的数据库及知识图谱单元，其中，

数据库及知识图谱单元包括资料库，标准数据库，皮肤病知识图谱，其中资料库储存电子病历，医学文献，医学指南，医学规则，治疗信息和病理图片；资料库里存储的资料标准化后汇入标准数据库，标准数据库为“望”单元的卷积神经网络提供皮肤病标准图库训练集，为“闻”与“问”单元提供皮肤病专业名词训练集，通过对标准数据库的知识抽取，构建皮肤病知识图谱；

“望”单元包括皮肤病标准图库训练集，卷积神经网络模块，向量模型集合，图像分类器，皮肤病患图像采集模块，其中皮肤病标准图库训练集由标准数据库提供，包括收集到的皮损图及皮肤镜下状态图，图像经过权威医生的诊断及标注后储存至标准数据库内，皮肤病标准图库训练集用于训练卷积神经网络模块，之后提取特征向量构建向量模型组成向量模型集合，运用映射关系对图像分类器进行标记；将皮肤病患图像采集模块中的样本输入训练完成的卷积神经网络中，图像分类器将具有相同标签的病患图像样本的特征向量采样后对应到一个输出结果上，每个输出结果对应该病名称的标签，以此确定皮肤病图像信息标签；最后将这些信息汇入数据库与知识图谱单元；

“闻”与“问”单元包括皮肤病专业名词训练集，循环神经网络，向量模型网络，文字分类器，患者病情叙述模块，自然语言处理模块，主诉管理模块，提问管理模块，智能问诊模块，其中皮肤病专业名词训练集由标准数据库提供，包括收集到的与皮肤病主诉有关的各类专业名词术语；皮肤病专业名词训练集用于训练循环神经网络模块，之后提取特征向量构建向量模型组成向量模型集合，运用映射关系对文字分类器进行标记；患者病情叙述模块对患者的叙述进行语音识别，转化为文字信息后输入自然语言处理模块进行关键词提取，将关键词输入循环神经网络中，输出结果交由主诉管理模块判断信息是否完善；主诉管理模块由知识图谱的框架提供词库，其中包括起病情况与患病时间，主要症状的特征，伴随症状，健康情况；如果收集到的关键词缺少以上信息，则将缺少的部分反馈给提问管理模块，提问管理模块由知识图谱框架监督并规范，将汇总的问题输入到智能问诊模块并向患者提问；直至主诉信息完整，最后输出主诉名词标签并汇入数据库与知识图谱单元。

2.根据权利要求1所述的皮肤病特征分析系统，其特征在于，还包括“切”单元，负责对病症进行分类处理，“望”、“闻”与“问”单元获得的图片与文字信息在知识图谱框架下经融合分类器进行标签的整理与比较，最终输出判断结果与推荐的治疗方案；对于无法分类的个例，记录权威专家的综合诊断分析后得出结果，输入标准数据库，从而完善知识图谱框架。