CN108198620B - 一种基于深度学习的皮肤疾病智能辅助诊断系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的皮肤疾病智能辅助诊断系统，包括分类器训练单元、语言模型单元以及智能辅助诊断单元，智能辅助诊断单元包括图像采集模块、语音问诊模块、语音识别及关键字提取模块、概率分类模型、RNN病情分析模块以及融合分类器；分类器训练单元包括皮肤镜下状态图训练集、皮损及皮肤镜下状态标准数据库、CNN网络卷积模块以及采样与分类模块；语言模型单元包括医学术语标准库、RNN提问管理模块、RNN主诉管理模块以及皮肤病医疗知识库。本发明的辅助诊断系统应用深度学习对皮肤损伤图像进行分类，推断出可能的结果，之后检索预先安装的皮肤镜图片以及组织学诊断标签数据库供医生参考，从而大幅度提高皮肤疾病诊断的准确率。

Description

一种基于深度学习的皮肤疾病智能辅助诊断系统

技术领域

本发明涉及皮肤病诊断设备技术领域，具体涉及一种基于深度学习的皮肤疾病智能辅助诊断系统。

背景技术

皮肤病的病种繁多，发病因素错综复杂，仅记载在册的就有2000多种。此外，皮肤损害形态多种多样，部分皮肤病皮损外观也非常相似，使得皮肤病的诊疗层层受阻。在这种情况下，年轻的皮肤科医生需要学习多年才能成熟掌握技能，这给皮肤科医生、特别是基层皮肤科医生的临床诊断带来了巨大的挑战。而对患者来说，皮肤病不像感冒发烧可以根据症状在网上查找资料，皮疹却很难用语言来描述。

借助人工智能深度神经网络，结合医学大数据和医学知识等，创造出高效的辅助诊断工具，从而为医疗提供更有效的帮助，这便是人工智能辅助诊断系统。

皮肤病看似简单，但鉴于种类繁多，使得在模型训练过程中需要非常多的数据。通常的做法是仅利用人工智能对大量图片进行学习，随后与此前建立好的图库进行比对，之后提示是哪种疾病。但皮肤病除了种类多外其临床诊断过程非常复杂。当医生看到部分皮损后会想到好几种皮肤病，随后进行进一步观察、检查、用药，逐一确认皮肤病的种类。而目前市面上大部分人工智能模型还不能做到一次性识别这一点。

发明内容

本发明的目的是为解决上述技术问题的不足，提供一种基于深度学习的皮肤疾病智能辅助诊断系统，能对皮肤科医生与皮肤镜临床专家在诊断期间的可视化支持，提高诊断的准确性。

本发明为解决上述技术问题的不足，所采用的技术方案是：一种基于深度学习的皮肤疾病智能辅助诊断系统，包括分类器训练单元、语言模型单元以及智能辅助诊断单元；

智能辅助诊断单元包括图像采集模块、语音问诊模块、语音识别及关键字提取模块、概率分类模型、RNN病情分析模块以及融合分类器，图像采集模块用于采集皮肤病患者的患处图像并输入至概率分类模型，语音问诊模块采集患者根据语言模型单元输出的智能提问得到的病情陈述并输入至语音识别及关键字提取模块，语音识别及关键字提取模块将病情陈述音频转化为文字并提取出症状、体征、部位以及持续时间等关键词，最后将关键词信息输入至语言模型单元，概率分类模型由分类器训练单元训练生成，RNN病情分析模块接受来语言模型单元的信息，根据症状，体征，部位以及持续时间等主诉信息，判断出患者皮肤病的种类以及范围并排除不可能的状况，实现疾病的粗分类，概率分类模型和RNN病情分析模块的数据信息输入至融合分类器，融合分类器根据RNN病情分析模块判断出患者皮肤病的种类及范围中找到概率分类模型输出的概率值排名靠前的皮肤病以及皮肤病医疗知识库中记载的每种疾病对应的治疗方案，最终输出辅助诊断结果；

分类器训练单元包括皮肤镜下状态图训练集、皮损及皮肤镜下状态标准数据库、CNN网络卷积模块以及采样与分类模块，皮肤镜下状态图训练集包括收集到的皮损图及皮肤镜下状态图，皮肤镜下状态图训练集的图像经过权威医生的诊断及标注后储存至皮损及皮肤镜下状态标准数据库内，皮肤镜下状态图训练集的图像还经过预处理后输入至CNN网络卷积模块，CNN网络卷积模块由多重CNN网络组成，对皮肤图像进行镜下模式特征向提取，并将图像提取结果输入至采样与分类模块，采样与分类模块接收到CNN网络卷积模块输入的皮肤镜下模式特征向提取数据和皮损及皮肤镜下状态标准数据库输入的分类标签数据，将具有相同标签的皮肤镜下状态图集的特征向量采样后对应到一个输出结果上，每个输出结果对应该病名称的标签，最后训练与生成智能辅助诊断单元的概率分类模型；

语言模型单元包括医学术语标准库、RNN提问管理模块、RNN主诉管理模块以及皮肤病医疗知识库，医学术语标准库将病例与问诊记录规范为标准医学术语，医学术语标准库的训练结果分别输入至RNN提问管理模块和RNN主诉管理模块，RNN提问管理模块将对患者提问的信息输入至智能辅助诊断单元的语音问诊模块，RNN主诉管理模块接受语音识别及关键字提取模块输入的信息，对患者病情自述中的症状、体征、部位以及持续时间等关键词进行对比，结合医学术语标准库的训练结果规范化为相应的医学术语输入至RNN病情分析模块，RNN病情分析模块根据RNN主诉管理模块输入的信息以及皮肤病医疗知识库的信息判断出患者皮肤病的种类及范围，并输入至智能辅助诊断单元的融合分类器。

作为本发明一种基于深度学习的皮肤疾病智能辅助诊断系统的进一步优化：所述智能辅助诊断单元的融合分类器还将确诊后的皮肤病图片加标签后归入皮损及皮肤镜下状态标准数据库。

作为本发明一种基于深度学习的皮肤疾病智能辅助诊断系统的进一步优化：所述图像采集模块包括偏振光接触型皮肤镜。

作为本发明一种基于深度学习的皮肤疾病智能辅助诊断系统的进一步优化：所述语音问诊模块包括用于向患者提问的扬声器以及用于接受患者回答信息的麦克风。

作为本发明一种基于深度学习的皮肤疾病智能辅助诊断系统的进一步优化：所述皮肤病医疗知识库内收录有医学期刊、医学书籍、医学论文，记载各种症状对应的疾病，用以训练RNN病情分析模块。

有益效果

一、本发明的辅助诊断系统应用深度学习对皮肤损伤图像进行分类，推断出可能的结果，之后检索预先安装的皮肤镜图片以及组织学诊断标签数据库供医生参考，从而大幅度提高皮肤疾病诊断的准确率。

二、本发明的辅助诊断系统可以准确地识别图片、医学影像，并且可以模拟人类医生诊断出疾病，并提供诊断建议、疾病预测预警评估等，通过技术支持，提高医疗成像的分析能力，协助医生在治疗过程中进行准确分析，降低医生因主客观因素的干扰。

附图说明

图1为本发明皮肤疾病智能辅助诊断系统的工作流程图；

图2为本发明皮肤疾病智能辅助诊断系统结构示意图。

具体实施方式

以下结合具体实施方式进一步对本发明的技术方案进行阐述。

如图所示：一种基于深度学习的皮肤疾病智能辅助诊断系统：包括分类器训练单元、语言模型单元以及智能辅助诊断单元；

智能辅助诊断单元包括图像采集模块、语音问诊模块、语音识别及关键字提取模块、概率分类模型、RNN病情分析模块以及融合分类器，图像采集模块（包括偏振光接触型皮肤镜，）用于采集皮肤病患者的患处图像并输入至概率分类模型，由皮肤镜采集，偏振光去除皮肤表面杂质和反光，直接打入真皮层，让皮肤镜下模式特征一览无遗。语音问诊模块（语音问诊模块包括用于向患者提问的扬声器以及用于接受患者回答信息的麦克风）采集患者根据语言模型单元输出的智能提问得到的病情陈述并输入至语音识别及关键字提取模块，语音识别及关键字提取模块将病情陈述音频转化为文字并提取出症状、体征、部位以及持续时间等关键词，最后将关键词信息输入至语言模型单元，概率分类模型由分类器训练单元训练生成，RNN病情分析模块接受来语言模型单元的信息，根据症状，体征，部位以及持续时间等主诉信息，判断出患者皮肤病的种类以及范围并排除不可能的状况，实现疾病的粗分类，概率分类模型和RNN病情分析模块的数据信息输入至融合分类器，融合分类器根据RNN病情分析模块判断出患者皮肤病的种类及范围中找到概率分类模型输出的概率值排名靠前的皮肤病以及皮肤病医疗知识库中记载的每种疾病对应的治疗方案，最终输出辅助诊断结果（智能辅助诊断单元的融合分类器还将确诊后的皮肤病图片加标签后归入皮损及皮肤镜下状态标准数据库）。

分类器训练单元包括皮肤镜下状态图训练集、皮损及皮肤镜下状态标准数据库、CNN网络卷积模块以及采样与分类模块，皮肤镜下状态图训练集包括收集到的皮损图及皮肤镜下状态图，皮肤镜下状态图训练集的图像经过权威医生的诊断及标注后储存至皮损及皮肤镜下状态标准数据库内，皮肤镜下状态图训练集的图像还经过预处理后输入至CNN网络卷积模块，CNN网络卷积模块由多重CNN网络组成，对皮肤图像进行镜下模式特征向提取，并将图像提取结果输入至采样与分类模块，采样与分类模块接收到CNN网络卷积模块输入的皮肤镜下模式特征向提取数据和皮损及皮肤镜下状态标准数据库输入的分类标签数据，将具有相同标签的皮肤镜下状态图集的特征向量采样后对应到一个输出结果上，每个输出结果对应该病名称的标签，最后训练与生成智能辅助诊断单元的概率分类模型，概率分类模型经过CNN网络的训练，会对一张输入的皮肤镜图像进行特征分析，最后在所有输出端皮肤病标签后显示出概率值，哪个输出端概率值越大，表明是这一输出端对应的疾病的可能性越大。

语言模型单元包括医学术语标准库、RNN提问管理模块、RNN主诉管理模块以及皮肤病医疗知识库，医学术语标准库将病例与问诊记录规范为标准医学术语，医学术语标准库的训练结果分别输入至RNN提问管理模块和RNN主诉管理模块，RNN提问管理模块将对患者提问的信息输入至智能辅助诊断单元的语音问诊模块，RNN主诉管理模块接受语音识别及关键字提取模块输入的信息，对患者病情自述中的症状、体征、部位以及持续时间等关键词进行对比，并结合医学术语标准库的训练结果规范化为相应的医学术语输入至RNN病情分析模块，RNN病情分析模块根据RNN主诉管理模块输入的信息以及皮肤病医疗知识库的信息判断出患者皮肤病的种类及范围，并输入至智能辅助诊断单元的融合分类器。

医学中的很多诊断要依靠形态学做决定：一是皮损，二是病理。使用偏振光下的皮肤镜可以打入真皮层并观察到肉眼观察不到的皮损特点，皮肤镜下的模式特征图目前统计有50多种，之后使用树状结构结合致病原因等病理学再向下细分200多种小类以提高精度。

病人的皮肤镜下图片通过深度学习CNN网络进行分类，CNN网络经过深度改造与迁移学习，录入了几十余种皮肤镜下的模式特征图，有别于肉眼所见的皮损，可以更细致地在形态学上对皮肤病进行区分，每一种皮肤镜下模式特征图的名称下又分许多子类，子类具体到每一种皮肤病的名称，囊括了目前已知的数百种皮肤病。通过这套CNN网络的分类，得到病人的皮肤镜下图片的输出类别，我们取出概率排名靠前的疾病名称。RNN网络提取到病人病情描述中的关键词，即主诉。之后使用RNN主诉分析模块划定出疾病的大致范围，最后将CNN与RNN网络的输出结果取交集，找出概率排名靠前的疾病名称。概率排名靠前的疾病会输出供医生参考。

我们会将产品引入到各大主流医院，由各大常年工作在一线的皮肤科领域专家对新增的病例进行分类和标记，每一张图片都会进行严格的认证，去除患者隐私相关信息，由多位专家进行评估，从而极大降低错误率，这些图片我们称之为精准判定的图像，之后存入本系统的标准数据库。随着标准数据库的不断扩大，深度学习网络的参数被不断更新，相当于数十位各大主流医院的一线医生一起去训练这套人工智能，最终本套系统对于皮肤病诊断的正确率必然会大于这些专家的平均水平。通过对海量病例的学习挖掘其中的重要信息和疾病内在规律，建立起一套完善的皮肤病特征归纳和疾病诊断模型。最终实现对皮肤病的人工智能辅助诊断。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (5)

1.一种基于深度学习的皮肤疾病智能辅助诊断系统，其特征在于：包括分类器训练单元、语言模型单元以及智能辅助诊断单元；

智能辅助诊断单元包括图像采集模块、语音问诊模块、语音识别及关键字提取模块、概率分类模型、RNN病情分析模块以及融合分类器，图像采集模块用于采集皮肤病患者的患处图像并输入至概率分类模型，语音问诊模块采集患者根据语言模型单元输出的智能提问得到的病情陈述并输入至语音识别及关键字提取模块，语音识别及关键字提取模块将病情陈述音频转化为文字并提取出症状、体征、部位以及持续时间关键词，最后将关键词信息输入至语言模型单元，概率分类模型由分类器训练单元训练生成，RNN病情分析模块接受来语言模型单元的信息，根据症状，体征，部位以及持续时间主诉信息，判断出患者皮肤病的种类以及范围并排除不可能的状况，实现疾病的粗分类，概率分类模型和RNN病情分析模块的数据信息输入至融合分类器，融合分类器根据RNN病情分析模块判断出患者皮肤病的种类及范围中找到概率分类模型输出的概率值排名靠前的皮肤病以及皮肤病医疗知识库中记载的每种疾病对应的治疗方案，最终输出辅助诊断结果；

分类器训练单元包括皮肤镜下状态图训练集、皮损及皮肤镜下状态标准数据库、CNN网络卷积模块以及采样与分类模块，皮肤镜下状态图训练集包括收集到的皮损图及皮肤镜下状态图，皮肤镜下状态图训练集的图像经过权威医生的诊断及标注后储存至皮损及皮肤镜下状态标准数据库内，皮肤镜下状态图训练集的图像还经过预处理后输入至CNN网络卷积模块，CNN网络卷积模块由多重CNN网络组成，对皮肤图像进行镜下模式特征向量提取，并将图像提取结果输入至采样与分类模块，采样与分类模块接收到CNN网络卷积模块输入的皮肤镜下模式特征向量提取数据和皮损及皮肤镜下状态标准数据库输入的分类标签数据，将具有相同标签的皮肤镜下状态图集的特征向量采样后对应到一个输出结果上，每个输出结果对应该病名称的标签，最后训练与生成智能辅助诊断单元的概率分类模型；

语言模型单元包括医学术语标准库、RNN提问管理模块、RNN主诉管理模块以及皮肤病医疗知识库，医学术语标准库将病例与问诊记录规范为标准医学术语，医学术语标准库的训练结果分别输入至RNN提问管理模块和RNN主诉管理模块，RNN提问管理模块将对患者提问的信息输入至智能辅助诊断单元的语音问诊模块，RNN主诉管理模块接受语音识别及关键字提取模块输入的信息，对患者病情自述中的症状、体征、部位以及持续时间关键词进行对比，结合医学术语标准库的训练结果规范化为相应的医学术语输入至RNN病情分析模块，RNN病情分析模块根据RNN主诉管理模块输入的信息以及皮肤病医疗知识库的信息判断出患者皮肤病的种类及范围，并输入至智能辅助诊断单元的融合分类器。

2.如权利要求1所述一种基于深度学习的皮肤疾病智能辅助诊断系统，其特征在于：所述智能辅助诊断单元的融合分类器还将确诊后的皮肤病图片加标签后归入皮损及皮肤镜下状态标准数据库。

3.如权利要求1所述一种基于深度学习的皮肤疾病智能辅助诊断系统，其特征在于：所述图像采集模块包括偏振光接触型皮肤镜。

4.如权利要求1所述一种基于深度学习的皮肤疾病智能辅助诊断系统，其特征在于：所述语音问诊模块包括用于向患者提问的扬声器以及用于接受患者回答信息的麦克风。

5.如权利要求1所述一种基于深度学习的皮肤疾病智能辅助诊断系统，其特征在于：所述皮肤病医疗知识库内收录有医学期刊、医学书籍、医学论文，记载各种症状对应的疾病，用以训练RNN病情分析模块。

Images