CN110755045B - 一种皮肤病综合数据分析诊断辅助系统 - Google Patents

一种皮肤病综合数据分析诊断辅助系统 Download PDF

Info

Publication number
CN110755045B
CN110755045B CN201911041543.7A CN201911041543A CN110755045B CN 110755045 B CN110755045 B CN 110755045B CN 201911041543 A CN201911041543 A CN 201911041543A CN 110755045 B CN110755045 B CN 110755045B
Authority
CN
China
Prior art keywords
skin
disease
data
database
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911041543.7A
Other languages
English (en)
Other versions
CN110755045A (zh
Inventor
王茜
徐阳婷
周大维
康健
杨思为
王彤
康丽阳
童晓亮
唐祯
黄健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University Of Finance And Economics
Original Assignee
Hunan University Of Finance And Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University Of Finance And Economics filed Critical Hunan University Of Finance And Economics
Priority to CN201911041543.7A priority Critical patent/CN110755045B/zh
Publication of CN110755045A publication Critical patent/CN110755045A/zh
Application granted granted Critical
Publication of CN110755045B publication Critical patent/CN110755045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种皮肤病综合数据分析诊断辅助系统及其信息处理方法,所述皮肤病综合数据分析诊断辅助系统包括有:信息提取系统;患者信息数据库;电子病历学习系统;病史‑疾病数据库;图像数据库;皮肤影像学图像特征识别、分析系统;特征‑疾病数据库;专家数据库。本发明在利用人工智能分析含有大量皮肤病特征的皮肤影像学图像数据的基础上,结合临床电子病历文本数据,综合皮肤影像学图片与电子病历的双重诊断结果,提出一种皮肤病综合数据分析诊断辅助系统,该系统能自动生成并反馈目标疾病范围,给出相较现有人工智能诊断系统更加客观可靠的诊疗意见。所述一种皮肤病综合数据分析诊断辅助系统的信息处理方法为该系统运行时处理皮肤影像学图片数据信息的方法。

Description

一种皮肤病综合数据分析诊断辅助系统
技术领域
本发明涉及皮肤病诊断领域,具体为一种皮肤病综合数据分析诊断辅助系统及信息处理方法。
背景技术
皮肤病种类繁多且一般病因病理较为复杂,部分病因至今尚未完全明了,对病患正常生活产生巨大影响。然而,目前临床上针对皮肤病的优质医疗资源相对失衡,面对医患供需严重不对称的现状和人工智能的普及,出现了使用人工智能辅助疾病诊断的应用。
目前被广泛应用与皮肤病诊断的人工智能辅助诊断大多依靠提取皮肤外观大体图像特征,学习特征与疾病的关系,从而给出可能疾病范围,如申请号为CN201810199870.4、的一种智能辅助诊断系统和申请号为CN201810805410.1的一种基于人工智能的黑色素瘤辅助诊断方法。但因皮肤发病原因一般较为复杂,而皮肤病病理特征呈现“冰山”式的分布,仅仅通过表层的病理特征提取,只能获取皮肤病病理信息的“冰山一角”。故皮肤病的现有的传统外观图像算法准确性较差。
发明内容
本发明旨在解决上述现有技术存在的问题而提供一种皮肤病综合数据分析诊断辅助系统及信息处理方法,本发明在利用人工智能分析含有大量皮肤病特征的皮肤影像学图像数据的基础上,结合临床电子病历文本数据,综合皮肤影像学图片与电子病历的双重诊断结果,构建一种皮肤病综合数据分析诊断辅助系统,该系统能自动生成并反馈目标疾病范围,并给出相较其他人工智能诊断系统更加客观可靠的诊疗意见。
为解决上述技术问题,本发明所采用的技术方案是:一种皮肤病综合数据分析诊断辅助系统及信息处理方法,该系统包括信息提取系统、患者信息数据库、电子病历学习系统、病史-疾病数据库、皮肤影像学图像分类处理系统、图像数据库、皮肤影像学图像特征识别、分析系统、特征-疾病数据库和专家数据库。该系统区别于一般人工智能皮肤病辅助诊断系统,在考虑更多病理因素后提供更加准确的辅助诊断意见。信息处理方法为该系统中所应用的信息处理方法。
所述信息提取系统用于从电子病历中提取患者信息。
所述患者信息数据库,用于存储从电子病历中提取到的患者信息。
所述的患者信息包括患者ID、性别、年龄、病种、病史、禁忌、重点生活环境;优选地,重点生活环境作为评价,依据将病患患有目标疾病的概率量化为极易,一般和不易三个等级。患者信息是病例学习系统中患者信息与目标疾病之间映射关系的“阈值”以及初始构建映射关系的训练集,同时重点生活环境作为评价依据将病患患有目标疾病的概率量化为极易(概率大于60%),一般(概率介于60%至30%之间)和不易(概率小于30%)三个等级。
所述患者信息数据库,用于存储从电子病历中提取到的患者信息。
所述电子病历学习系统,利用反向传播网络构建算法学习、建立电子病历中的患者信息与目标疾病的映射关系;
所述病史-疾病数据库,用于存储患者电子病历信息映射患者可能患病的范围。电子病例学习系统所学习构建的映射关系存储在病史-疾病数据库中,病史-疾病数据库中的病患范围将作为重要参考供专家数据库调用。电子病历学习系统构建过程中应用了具有非常强的非线性映射能力的反向传播神经网络求解病历内联关系,很大程度地降低了整体模型的复杂度。
所述皮肤影像学图像分类处理系统,用于对皮肤影像学图像矩阵进行预处理,预处理包括:将皮肤影像学图像归一化和人为标记处理;将皮肤影像学图像数据转换为矩阵像素数据并作去均值处理,皮肤影像图像的预处理作为对图像数据的转化修整,是皮肤影像学图像特征识别、分析系统计算运行的前期基础工作。
所述图像数据库,用于储存经皮肤影像学图像分类处理系统预处理后的皮肤影像学图像。
所述皮肤影像学图像特征识别、分析系统,用于识别皮肤影像学图像特征,对预处理后的图像进行直方图均衡化处理、利用卷积神经网络对图像进行特征提取并输出特征信息到特征-疾病数据库中、利用卷积神经网络学习录入特征与疾病之间的映射关系、将特征与疾病的映射关系数据化、一致化、无量纲化处理后存入特征-疾病数据库。
所述卷积神经网络为VGG16卷积神经网络,并针对过拟合现象引用迁移学习对卷积神经网络进行优化。
所述直方图均衡化处理为对卷积神经网络输出的特征进行分析和量化,得到包括:色度、表皮厚度、色素含量、平均灰度、真皮血管密度、炎症细胞个数、胶原密度在内的结构性参数。表皮厚度按照所拍摄患者不同皮损位置分为正常、增生和可能存在皮损三种情况(以手掌、足跖为例,0.8~1.4mm为正常,>1.4mm为可能存在增生,<0.8mm 为可能存在皮损)。皮肤影像学图像特征识别、分析系统是人工智能临床辅助诊断核心步骤,用于输出根据临床图像输出可能患病范围。
所述特征-疾病数据库,用于存储、分析系统提取到的病损部位特征信息及特征信息所映射的可能疾病范围。
所述专家数据库,用于储存人工智能辅助皮肤病诊断的综合数据分析系统的最终输出结果以及补充检索工具的建立,补充检索工具作用在于方便门诊医生对存疑诊断结果的调查与补正。专家数据库供医生操作与参考,是系统借鉴意义的核心。
所述的皮肤病综合数据分析诊断辅助系统的信息处理方法,其特征在于,所述信息处理方法包括:
S1:利用信息提取系统从电子病历中提取患者信息并传输到患者信息数据库进行储存。患者信息数据库中所储存的患者信息包括:患者ID、性别、年龄、病种、病史、禁忌、重点生活环境,其中利用专家指南及临床数据统计结果,将重点生活环境按此种环境下生活者患某种皮肤病的概率α大小分为三级:极易α>60%,一般30%≤α≤60%,不易α>60%。
S2:利用反向传播网络构建算法学习电子病历中的患者信息与目标疾病的逻辑关系,所述算法具体分为:确认训练数据集、数据准备、网络模型建立、遗传算法优化四步骤,算法步骤具体参见图4。应用数学模型,将病历与疾病的相关性数据化、一致化、无量纲化处理,得出目标疾病范围,将计算得出的患者电子病例信息映射的可能疾病范围存储在病史疾病数据库中。
S3:利用皮肤影像学图像分类处理系统对皮肤影像学图像矩阵进行预处理,预处理后的皮肤影像学图像存储在图像数据库中。所述皮肤影像学图像特征识别和分类系统中的图像预处理包括:对皮肤影像学图像进行归一化和人为标记处理后输入系统,将皮肤影像学图像数据转换为矩阵像素数据输入到卷积神经网络中,运用去均值方法进行预处理:把像素数据各个维度都中心化到0,也就是算出所有样本的平均值,再让所有样本减去此均值。特征-疾病数据库在所述图像数据库基础上,将皮肤影像学图像进行直方图均衡化处理后,网络进行权值的初始化,输出图像特征信息并储存。
S4:采用VGG16卷积神经网络对图像数据库中图像数据的进行特征提取,并引入迁移学习对CNN(卷积神经网络)进行优化解决过拟合现象,将提取到的病损部位特征信息及特征信息所映射的可能疾病范围存储在特征-疾病数据库中。所述直方图均衡化处理为图像特征的量化过程为将CNN(卷积神经网络)得到的图片特征进行分析和量化,得到作为主要判断指标的各种结构性参数。
S5:调用专家数据库中结合病史-疾病数据库以及特征-疾病数据库综合数据分析系统的最终输出结果,建立补充检索工具。所述检索工具的建立方便医生通过该系统回顾与判断患者疾病过程与结果是否准确,并通过人为纠错逐渐提高一种皮肤病综合数据分析诊断辅助系统诊断准确率。
所述皮肤影像学图像信息特征提取包括以下步骤:
S1:皮肤影像学图像的矩阵像素数据经过卷积层、下采样层、全连接层的向前传播得到皮肤病预测输出值;
S2:求出网络的皮肤病预测输出值与目标值之间的误差;
S3:当最终皮肤病预测误差大于我们的期望值时,将误差传回网络中,依次求得全连接层,下采样层,卷积层的误差。各层的误差可以理解为对于网络的总误差;当误差等于或小于我们的期望值时,结束训练,根据求得误差进行权值更新;
所述卷积层主要用来提取皮肤影像学图像信息,将输入的皮肤影像学图片通过卷积核进行卷积,卷积后经过激活函数后输出,采用的激活函数为Relu函数:
Figure BDA0002252965550000041
Relu函数相激活函数的目的是通过引入一些非线性因素,避免神经网络出现梯度消失的情况,使皮肤影像学图像的数据更完整的保留下来,计算公式如下:
Figure BDA0002252965550000042
式中ωi为权重,b为偏置;
所述池化层的处理主要有两种方式:最大池化(Max Pooing)和平均值池化(MeanPooling);池化层能够减少皮肤影像学图像数据处理量,加快训练网络的速度,进而提高了整体诊断效率;
池化层通过如下公式采样:
Figure BDA0002252965550000043
式中,
Figure BDA0002252965550000044
表示所述池化层使用降采样
所述全连接层通常将从卷积层与池化层得到的皮肤影像学图像特征转化为一维向量进行分类;卷积神经网络训练使用的是反向传播算法;通过反向传播算法不断优化各个全连接层损失函数(Loss)的权值与偏置,从而使得真实皮肤病预测输出与计算皮肤病预测输出间的误差达到最小损失函数定义为误差的平方:
Figure BDA0002252965550000051
式中,n表示皮肤影像学图片训练数据的个数,a为输出预测值;当Loss的值越小,则表示通过网络训练出的权重与偏置的值越好;
Softmax函数如下:
Figure BDA0002252965550000053
式中,Pk对应输出层第k个神经元的输出,也就是预测此为第k种皮肤病的概率, d表示输出层神经元总数。
本发明对卷积神经网络进行优化,引入迁移学习,利用基于boosting思想的迁移算法TrAdaBoost来解决数据分布之间的分类问题,并利用boosting技术过滤掉与源训练数据最不拟合的辅助数据,具体技术如下:
输入:两个训练数据集Ta-辅助训练数据集和Tb-源训练数据集,和一个未标注的测试数据集S,一个基本分类算法Learner。
初始化://数学符号输入
初始权重向量
Figure BDA0002252965550000054
其中
Figure BDA0002252965550000055
设置
Figure BDA0002252965550000056
For i=1……N
设置权重分布Pt满足
Figure BDA0002252965550000057
调用Learner调,根据合并后的训练数据T以及T上的权重分布Pt和标注数据S,得到一个在S的分类器ht:X→Y
计算上ht在Tb的错误率:
Figure BDA0002252965550000061
设置βt=Ct/(1-ct)b
设置新的权重向量如下:
Figure BDA0002252965550000062
输出:最终分类器
Figure BDA0002252965550000063
所述boosting的作用是建立一种自动调整权重的机制,以使重要的辅助训练数据的权重增加,不重要的辅助训练数据权重减小;调整权重后,这些带权重的辅助训练数据将会作为额外的训练数据,与源训练数据一起来提高分类模型的可靠性;
所述TrAdaBoost被用在源训练数据中,以保证分类模型的准确性。其基本思想为当一个训练样本被误分类后,TrAdaBoost增加该训练样本的权重,用以强调该样本;之后的分类训练中,该样本出错的概率就会减小;
所述特征-疾病数据库中的作为主要判断指标的各种结构性参数包括:患者皮损周围正常皮肤的信息和数据,色度、表皮厚度、色素含量、平均灰度、真皮血管密度、炎症细胞个数、胶原密度;
其中色度采用L*a*b*均匀颜色空间作为表色体系,将所有的颜色用L*,a*,b* 三个值表示,并用三维的坐标来定义;L*为垂直轴代表亮度,其值从0-黑至100-白,皮肤L*值越大肤色越白;a*、b*轴是水平轴,a*值代表绿红轴上颜色的饱和度,负值表示绿色,正值表示红色,a*值越大肤色越红;b*值代表蓝黄轴上颜色的饱和度,负值表示蓝色,正值表示黄色,b*值越大肤色越黄;
表皮厚度按照所拍摄患者的皮损位置与正常同位置表皮厚度对比,以手掌、足跖为例,0.8~1.4mm为正常,>1.4mm为可能存在增生,<0.8mm为可能存在皮损;
色素含量以所拍摄患者的患病位置在正常状态下的色素含量为标准,分为色素正常与色素异常,色素异常又进一步分为色素沉积与色素缺乏,以皮肤CT为例,利用所摄部位折光性与此部位正常皮肤折光性比较以得出结论。
所述的皮肤病综合数据分析诊断辅助系统的用户信息处理方法,其特征在于包括:
S1:皮肤影像学图像分类处理系统处理照片:医生将病人皮肤影像学图像上传至系统,系统对图像进行预处理后储存在图像数据库中;
S2:皮肤影像学图像特征识别、分析系统提取特征并量化:将图像数据库中的图像输入至已训练完毕的基于CNN(卷积神经网络)网络构建的皮肤影像学图像特征识别、分析系统。CNN(卷积神经网络)网络中的输入层对其进行去均值、归一化、白化等操作后传入卷积计算层进行卷积计算和池化,最终得到相应的图片特征;
将卷积神经网络得到的图片特征进行分析和量化,得到作为主要判断指标的各种结构性参数,如正常皮肤的色度、表皮厚度、色素含量、平均灰度、真皮血管密度、炎症细胞个数、胶原密度等;患者皮损部位的信息和数据:皮损面积、色度、色素含量、皮损平均灰度、真皮血管密度、炎症细胞个数、胶原密度等;
S3:综合电子病历学习系统判断:将本权利要求S2得到的量化结果与所述特征-疾病数据库中的患病样本比较,结合所述以BP神经网络为基础构建的电子病历学习系统与病史-疾病数据库的预测皮肤病,根据患病的可能性得到相应的最终诊断结果储存在专家数据库中,并呈现给医生。
与现有技术相比,本发明所具有的有益效果为:本发明在利用人工智能分析含有大量皮肤病特征的皮肤影像学图像数据的基础上,结合临床电子病历文本数据以及皮肤影像学图片与电子病历的双重诊断结果,提出一种皮肤病综合数据分析诊断辅助系统,该系统能自动生成并反馈目标疾病范围,在考虑更多影响因素后能给出相较现有人工智能诊断系统更加客观可靠的诊疗意见。
附图说明
图1是本发明一种皮肤病综合数据分析诊断辅助系统运行示意图
图2为一种皮肤病综合数据分析诊断辅助系统相关数据库信息处理示意图
图3为反向传播神经网络处理病历信息示意图
图4为初步构建的反向传播神经网络算法样例示意图
图5卷积神经网络用于特征-疾病数据库中的示意图
图6结合迁移学习后的CNN(卷积神经网络)示意图
具体实施方式
如图1所示,一种皮肤病综合数据分析诊断辅助系统的信息处理方法,其用户信息处理具体流程如下:
S1:皮肤影像学图像分类处理系统处理照片:医生将病人皮肤影像学图像上传至系统,系统对图像进行预处理后储存在图像数据库中。
S2:皮肤影像学图像特征识别、分析系统提取特征并量化:将图像数据库中的图像输入至已训练完毕的基于CNN(卷积神经网络)网络构建的皮肤影像学图像特征识别、分析系统。CNN(卷积神经网络)网络中的输入层对其进行去均值、归一化、白化等操作后传入卷积计算层进行卷积计算和池化,最终得到相应的图片特征。
将CNN(卷积神经网络)得到的图片特征进行分析和量化,得到作为主要判断指标的各种结构性参数,如正常皮肤的色度、表皮厚度、色素含量、平均灰度、真皮血管密度、炎症细胞个数、胶原密度等;患者皮损部位的信息和数据:皮损面积、色度、色素含量、皮损平均灰度、真皮血管密度、炎症细胞个数、胶原密度等。
S3:综合电子病历学习系统判断:将S2得到的量化结果与所述特征-疾病数据库中的患病样本比较,结合所述以BP神经网络为基础构建的电子病历学习系统与病史-疾病数据库的预测皮肤病,根据患病的可能性得到相应的最终诊断结果储存在专家数据库中,并呈现给医生。
如图2所示,本发明的信息处理方法如下:
S1:利用信息提取系统从电子病历中提取患者信息并传输到患者信息数据库进行储存。患者信息数据库中所储存的患者信息包括:患者ID、性别、年龄、病种、病史、禁忌、重点生活环境,其中利用专家指南及临床数据统计结果,将重点生活环境按此种环境下生活者患某种皮肤病的概率(α)大小分为三级:极易(α>60%),一般(30%≤α≤60%),不易(α>60%)。
S2:利用反向传播网络构建算法学习电子病历中的患者信息与目标疾病的逻辑关系,所述算法具体分为:确认训练数据集、数据准备、网络模型建立、遗传算法优化四步骤,算法步骤具体参见图4。应用数学模型,将病历与疾病的相关性数据化、一致化、无量纲化处理,得出目标疾病范围,将计算得出的患者电子病例信息映射的可能疾病范围存储在病史疾病数据库中。具体步骤如下:
1)确认训练数据集:此阶段要确定反向传播网络挖掘目标和结论的评估标准,初步确定需要的数据属性。属性能够说明患者的基本状况,如年龄、家族病史、既往病史、现病史、重点生活环境等等。将所述属性作为反向传播网络模型的输入流,将预期皮肤病种类作为输出流。另外按照一定的比例来选择一些病历用于测试集来进行相关预测和样本的保留,保证网络模型的稳定。
2)数据准备:对病历中的各种数据进行预处理,将数据归一化处理,并确定输入数据个数。
3)网络模型建立:建立反向传播网络模型需确定网络层数及神经元个数。
对于输出层,存在以下关系:
Ok=f(netk)k=1,2…
Figure BDA0002252965550000091
对于隐含层,存在以下关系:
yj=f(netj)j=1,2…
Figure BDA0002252965550000092
以上两式中,设转移函数都为单极性Sigmoid函数:
Figure BDA0002252965550000093
4)遗传算法优化:根据已有反向传播神经网络模型的构建,采用遗传算法对其进行优化。基于2)数据准备进行编码,由各病历输入反向传播神经网络得到的初始权值和阈值,构造适应度函数:
Figure BDA0002252965550000094
此中n为网络输出节点数,yi为反向传播神经网络第i节点的期望输出,oi为第i 节点的实际输出。
对编码的实数串进行交叉操作与变异操作寻找最优电子病历预测疾病:
akj=akj(1-b)+aljb
alj=alj(1-b)+akjb
交叉操作(b为[0,1]内随机数)
Figure BDA0002252965550000101
变异操作(是基因上界,为下界,g为迭代次数,Gmax为最大进化次数,r为[0,1] 内随机数)
反向传播神经网络在训练时,通过学习自动提取病历输入数据、输出皮肤病预测结果间的“合理规则”,并自适应的将学习内容记忆于网络的权值中。极力传播和权重更新阶段可以反复循环迭代,直到网络的对输入的响应达到满意的预定的目标范围为止。具体步骤参见图3。
S3:利用皮肤影像学图像分类处理系统对皮肤影像学图像矩阵进行预处理,预处理后的皮肤影像学图像存储在图像数据库中。
所述皮肤影像学图像特征识别和分类系统中的图像预处理包括:对皮肤影像学图像进行归一化和人为标记处理后输入系统,将皮肤影像学图像数据转换为矩阵像素数据输入到CNN(卷积神经网络)中,运用去均值方法进行预处理:把像素数据各个维度都中心化到0,也就是算出所有样本的平均值,再让所有样本减去此均值。特征-疾病数据库在所述图像数据库基础上,将皮肤影像学图像进行直方图均衡化处理后,网络进行权值的初始化,输出图像特征信息并储存。
S4:采用VGG16卷积神经网络对图像数据库中图像数据的进行特征提取,并引入迁移学习对CNN(卷积神经网络)进行优化解决过拟合现象,将提取到的病损部位特征信息及特征信息所映射的可能疾病范围存储在特征-疾病数据库中。所述直方图均衡化处理为图像特征的量化过程为将CNN得到的图片特征进行分析和量化,得到作为主要判断指标的各种结构性参数。
参见图5,皮肤影像学图像特征识别、分析系统,采用VGG16卷积神经网络对皮肤影像学图像数据进行特征提取,具体实现步骤如下:
1)皮肤影像学图像的矩阵像素数据经过卷积层、下采样层、全连接层的向前传播得到皮肤病预测输出值;
2)求出网络的皮肤病预测输出值与目标值之间的误差
3)当最终皮肤病预测误差大于我们的期望值时,将误差传回网络中,依次求得全连接层,下采样层,卷积层的误差。各层的误差可以理解为对于网络的总误差;当误差等于或小于我们的期望值时,结束训练,根据求得误差进行权值更新。
所述卷积层主要用来提取皮肤影像学图像信息,将输入的皮肤影像学图片通过卷积核进行卷积,卷积后经过激活函数后输出。采用的激活函数为Relu函数:
Figure BDA0002252965550000111
Relu函数相激活函数的目的是通过引入一些非线性因素,避免神经网络出现梯度消失的情况,使皮肤CT影像学图像的数据更完整的保留下来。计算公式如下:
Figure BDA0002252965550000112
式中ωi为权重,b为偏置。
所述池化层的处理主要有两种方式:最大池化(Max Pooing)和平均值池化(MeanPooling)。池化层能够减少皮肤影像学图像数据处理量,加快训练网络的速度,进而提高了整体诊断效率。
池化层通过如下公式采样:
Figure BDA0002252965550000113
式中,
Figure BDA0002252965550000114
表示所述池化层使用降采样
所述全连接层通常将从卷积层与池化层得到的皮肤影像学图像特征转化为一维向量进行分类。卷积神经网络训练使用的是反向传播算法。通过反向传播算法不断优化各个全连接层损失函数(Loss)的权值与偏置,从而使得真实皮肤病预测输出与计算皮肤病预测输出间的误差达到最小损失函数定义为误差的平方:
Figure BDA0002252965550000115
式中,n表示皮肤影像学训练数据的个数,a为输出预测值。当Loss的值越小,则表示通过网络训练出的权重与偏置的值越好。
Softmax函数如下:
Figure BDA0002252965550000116
式中,Pk对应输出层第k个神经元的输出,也就是预测此为第k种皮肤病的概率, d表示输出层神经元总数
参见图6,本发明对CNN(卷积神经网络)进行优化,引入迁移学习,利用基于boosting 思想的迁移算法TrAdaBoost来解决数据分布之间的分类问题,并利用boosting技术过滤掉与源训练数据最不拟合的辅助数据。具体技术如下:
输入:两个训练数据集Ta(辅助训练数据集)和Tb(源训练数据集),和一个未标注的测试数据集S,一个基本分类算法Learner。
初始化://数学符号输入
初始权重向量
Figure BDA0002252965550000121
其中
Figure BDA0002252965550000122
设置
Figure BDA0002252965550000123
For i=1……N
设置权重分布Pt满足
Figure BDA0002252965550000124
调用Learner调,根据合并后的训练数据T以及T上的权重分布Pt和标注数据S,
得到一个在S的分类器ht:X→Y
计算上ht在Tb的错误率:
Figure BDA0002252965550000125
设置βt=Ct/(1-ct)b
设置新的权重向量如下
Figure BDA0002252965550000126
输出:最终分类器
Figure BDA0002252965550000127
所述boosting的作用是建立一种自动调整权重的机制,以使重要的辅助训练数据的权重增加,不重要的辅助训练数据权重减小。调整权重后,这些带权重的辅助训练数据将会作为额外的训练数据,与源训练数据一起来提高分类模型的可靠性。
所述TrAdaBoost被用在源训练数据中,以保证分类模型的准确性。其基本思想为当一个训练样本被误分类后,TrAdaBoost增加该训练样本的权重,用以强调该样本。之后的分类训练中,该样本出错的概率就会减小。
所述特征-疾病数据库中的作为主要判断指标的各种结构性参数包括:患者皮损周围正常皮肤的信息和数据:色度、表皮厚度、色素含量、平均灰度、真皮血管密度、炎症细胞个数、胶原密度。患者皮损部位的信息和数据:皮损面积、色度、色素含量、皮损平均灰度、真皮血管密度、炎症细胞个数、胶原密度。
其中色度采用L*a*b*均匀颜色空间作为表色体系,将所有的颜色用L*,a*,b* 三个值表示,并用三维的坐标来定义。L*为垂直轴代表亮度,其值从0(黑)到100(白),皮肤L*值越大肤色越白。a*、b*轴是水平轴,a*值代表绿红轴上颜色的饱和度,负值表示绿色,正值表示红色,a*值越大肤色越红;b*值代表蓝黄轴上颜色的饱和度,负值表示蓝色,正值表示黄色,b*值越大肤色越黄。
表皮厚度按照所拍摄患者的皮损位置与正常同位置表皮厚度对比,以手掌、足跖为例,0.8~1.4mm为正常,>1.4mm为可能存在增生,<0.8mm为可能存在皮损;色素含量以所拍摄患者的患病位置在正常状态下的色素含量为标准,分为色素正常与色素异常,色素异常又进一步分为色素沉积与色素缺乏,以皮肤CT为例,利用所摄部位折光性与此部位正常皮肤折光性比较以得出结论。
S5:调用专家数据库中结合病史-疾病数据库以及特征-疾病数据库综合数据分析系统的最终输出结果,建立补充检索工具。所述检索工具的建立方便医生通过该系统回顾与判断患者疾病过程与结果是否准确,并通过人为纠错逐渐提高一种皮肤病综合数据分析诊断辅助系统诊断准确率。

Claims (6)

1.一种皮肤病综合数据分析诊断辅助系统,其特征在于,包括:
信息提取系统,用于从电子病历中提取患者信息;
患者信息数据库,用于存储从电子病历中提取到的患者信息;
电子病历学习系统,利用反向传播网络构建算法学习建立电子病历中的患者信息与目标疾病的映射关系;
病史-疾病数据库,用于存储患者电子病历信息映射患者可能患病的范围;
皮肤影像学图像分类处理系统,用于对皮肤影像学图像矩阵进行预处理;
图像数据库,用于储存经皮肤影像学图像分类处理系统预处理后的皮肤影像学图像;
皮肤影像学图像特征识别、分析系统,包括:对预处理后的图像进行直方图均衡化处理、利用卷积神经网络对图像进行特征提取并输出特征信息到特征-疾病数据库中、利用卷积神经网络学习录入特征与疾病之间的映射关系、将特征与疾病的映射关系数据化、一致化、无量纲化处理后存入特征-疾病数据库;
所述卷积神经网络为VGG16卷积神经网络,并针对过拟合现象引用迁移学习对卷积神经网络进行优化;利用基于boosting思想的迁移算法TrAdaBoost来解决数据分布之间的分类问题,并利用boosting技术过滤掉与源训练数据最不拟合的辅助数据,具体技术如下:
输入:两个训练数据集Ta-辅助训练数据集和Tb-源训练数据集,和一个未标注的测试数据集S,一个基本分类算法Learner;
初始化://数学符号输入
初始权重向量:
Figure FDA0003603277360000011
其中:
Figure FDA0003603277360000012
设置:
Figure FDA0003603277360000013
Fori=1……N
设置权重分布Pt满足:
Figure FDA0003603277360000021
调用Learner调,根据合并后的训练数据T以及T上的权重分布Pt和标注数据S,得到一个在S的分类器ht:X→Y
计算上ht在Tb的错误率:
Figure FDA0003603277360000022
设置βt=Ct/(1-ct)b
设置新的权重向量如下:
Figure FDA0003603277360000023
输出:最终分类器
Figure FDA0003603277360000024
所述boosting的作用是建立一种自动调整权重的机制,以使重要的辅助训练数据的权重增加,不重要的辅助训练数据权重减小;调整权重后,这些带权重的辅助训练数据将会作为额外的训练数据,与源训练数据一起来提高分类模型的可靠性;
所述TrAdaBoost被用在源训练数据中,以保证分类模型的准确性;其基本思想为当一个训练样本被误分类后,TrAdaBoost增加该训练样本的权重,用以强调该样本;之后的分类训练中,该样本出错的概率就会减小;
所述特征-疾病数据库中的作为主要判断指标的各种结构性参数包括:患者皮损周围正常皮肤的信息和数据,色度、表皮厚度、色素含量、平均灰度、真皮血管密度、炎症细胞个数、胶原密度;
其中色度采用L*a*b*均匀颜色空间作为表色体系,将所有的颜色用L*,a*,b*三个值表示,并用三维的坐标来定义;L*为垂直轴代表亮度,其值从0-黑至100-白,皮肤L*值越大肤色越白;a*、b*轴是水平轴,a*值代表绿红轴上颜色的饱和度,负值表示绿色,正值表示红色,a*值越大肤色越红;b*值代表蓝黄轴上颜色的饱和度,负值表示蓝色,正值表示黄色,b*值越大肤色越黄;
表皮厚度按照所拍摄的患者皮损位置的表皮厚度与正常群体同一位置的表皮厚度对比分为三等级,以手掌、足跖为例,0.8~1.4mm为正常,>1.4mm为可能存在增生,<0.8mm为可能存在皮损;
色素含量以所拍摄患者的患病位置在正常状态下的色素含量为标准,分为色素正常与色素异常,色素异常又进一步分为色素沉积与色素缺乏,以皮肤CT为例,利用所摄部位折光性与此部位正常皮肤折光性比较以得出结论;特征-疾病数据库,用于存储、分析系统提取到的病损部位特征信息及特征信息所映射的可能疾病范围;
专家数据库,用于储存一种皮肤病综合数据分析诊断辅助系统的最终输出结果以及补充检索工具的建立。
2.根据权利要求1所述的一种皮肤病综合数据分析诊断辅助系统,其特征在于,所述患者信息包括患者ID、性别、年龄、病种、病史、禁忌、重点生活环境。
3.根据权利要求1所述的一种皮肤病综合数据分析诊断辅助系统,其特征在于所述皮肤影像学图像分类处理系统预处理包括:将皮肤影像学图像归一化和人为标记处理;将皮肤影像学图像数据转换为矩阵像素数据并作去均值处理;皮肤影像图像的预处理作为对图像数据的转化修整,是皮肤影像学图像特征识别、分析系统计算运行的前期基础工作。
4.根据权利要求1~3任一所述的一种皮肤病综合数据分析诊断辅助系统,其特征在于,所述直方图均衡化处理为对卷积神经网络输出的特征进行分析和量化,得到包括:色度、表皮厚度、色素含量、平均灰度、真皮血管密度、炎症细胞个数、胶原密度在内的结构性参数。
5.根据权利要求1~3任一所述的一种皮肤病综合数据分析诊断辅助系统,其特征在于,所述表皮厚度按照所拍摄患者的皮损位置与正常同位置表皮厚度对比,分为正常、增生和可能存在皮损三种情况。
6.根据权利要求1~3任一所述的一种皮肤病综合数据分析诊断辅助系统,其特征在于,所述的补充检索工具作用在于方便门诊医生对存疑诊断结果的调查与补正。
CN201911041543.7A 2019-10-30 2019-10-30 一种皮肤病综合数据分析诊断辅助系统 Active CN110755045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911041543.7A CN110755045B (zh) 2019-10-30 2019-10-30 一种皮肤病综合数据分析诊断辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911041543.7A CN110755045B (zh) 2019-10-30 2019-10-30 一种皮肤病综合数据分析诊断辅助系统

Publications (2)

Publication Number Publication Date
CN110755045A CN110755045A (zh) 2020-02-07
CN110755045B true CN110755045B (zh) 2022-06-07

Family

ID=69334765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911041543.7A Active CN110755045B (zh) 2019-10-30 2019-10-30 一种皮肤病综合数据分析诊断辅助系统

Country Status (1)

Country Link
CN (1) CN110755045B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538581B2 (en) * 2020-02-14 2022-12-27 Taipei Medical University Monitoring system, device and computer-implemented method for monitoring pressure ulcers
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统
CN113558570A (zh) * 2020-04-29 2021-10-29 皮智股份有限公司 人工智慧云端肤质与皮肤病灶识别方法及其系统
CN111863232B (zh) * 2020-08-06 2021-02-19 深圳市柯尼达巨茂医疗设备有限公司 基于区块链和医学影像的远程疾病智能诊断系统
CN112530552A (zh) * 2020-12-24 2021-03-19 中国医学科学院北京协和医院 一种分布式计算病患诊断系统
CN112717282B (zh) * 2021-01-14 2023-01-10 重庆翰恒医疗科技有限公司 一种光诊疗装置及全自动光诊疗系统
CN113205490A (zh) * 2021-04-19 2021-08-03 华中科技大学 基于Mask R-CNN网络的辅助诊断系统和辅助诊断信息生成方法
CN113160986B (zh) * 2021-04-23 2023-12-15 桥恩(北京)生物科技有限公司 用于预测全身炎症反应综合征发展的模型构建方法及系统
CN113180971B (zh) * 2021-04-29 2023-09-22 新乡市中心医院 一种中医护理装置和控制方法
CN113053524B (zh) * 2021-06-02 2021-08-27 杭州咏柳科技有限公司 基于皮肤影像的线上辅助诊疗系统
CN113569140A (zh) * 2021-07-13 2021-10-29 深圳Tcl新技术有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统
CN114820615B (zh) * 2022-06-29 2022-09-09 江苏优创生物医学科技有限公司 基于人工智能的骨科牵引辅助方法
CN115375684A (zh) * 2022-10-24 2022-11-22 南京邮电大学 一种基于机器学习的肺结核图像辅助诊断系统
CN118777173A (zh) * 2023-03-30 2024-10-15 深圳市帝迈生物技术有限公司 辅助诊断信息提供装置及血液分析系统
CN117831757B (zh) * 2024-03-05 2024-05-28 之江实验室 基于病理ct多模态先验知识引导的肺癌诊断方法及系统
CN118070133B (zh) * 2024-04-24 2024-08-20 深圳市布宜诺实业有限公司 一种移动电源性能自动化测试方法及系统
CN118161131B (zh) * 2024-05-10 2024-07-19 四川省医学科学院·四川省人民医院 一种放疗期间皮肤防辐射管理调节系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040013291A1 (en) * 2000-11-14 2004-01-22 Yitzchak Hillman Method and a system for combining automated psychiatric profiling from combined input images of brain scans with observed expert and automated interpreter using a neural network
CN103164615A (zh) * 2013-02-01 2013-06-19 尹新平 一种皮肤影像分析管理系统
CN107247958A (zh) * 2017-04-14 2017-10-13 安徽工程大学 一种基于图像识别的皮肤病特征提取方法
CN107863147A (zh) * 2017-10-24 2018-03-30 清华大学 基于深度卷积神经网络的医疗诊断的方法
US20180263551A1 (en) * 2015-01-29 2018-09-20 Sony Corporation Information processing apparatus, information processing method, and program
CN108920634A (zh) * 2018-06-30 2018-11-30 天津大学 基于知识图谱的皮肤病特征分析系统
CN109243600A (zh) * 2018-08-06 2019-01-18 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技(深圳)有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN110033448A (zh) * 2019-04-15 2019-07-19 中国医学科学院皮肤病医院 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040013291A1 (en) * 2000-11-14 2004-01-22 Yitzchak Hillman Method and a system for combining automated psychiatric profiling from combined input images of brain scans with observed expert and automated interpreter using a neural network
CN103164615A (zh) * 2013-02-01 2013-06-19 尹新平 一种皮肤影像分析管理系统
US20180263551A1 (en) * 2015-01-29 2018-09-20 Sony Corporation Information processing apparatus, information processing method, and program
CN107247958A (zh) * 2017-04-14 2017-10-13 安徽工程大学 一种基于图像识别的皮肤病特征提取方法
CN107863147A (zh) * 2017-10-24 2018-03-30 清华大学 基于深度卷积神经网络的医疗诊断的方法
CN108920634A (zh) * 2018-06-30 2018-11-30 天津大学 基于知识图谱的皮肤病特征分析系统
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技(深圳)有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN109243600A (zh) * 2018-08-06 2019-01-18 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN110033448A (zh) * 2019-04-15 2019-07-19 中国医学科学院皮肤病医院 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于大数据的皮肤影像分析策略;马维民;《皮肤科学通报》;20180430;第35卷(第2期);全文 *

Also Published As

Publication number Publication date
CN110755045A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110755045B (zh) 一种皮肤病综合数据分析诊断辅助系统
CN111444960A (zh) 基于多模态数据输入的皮肤病图像分类系统
CN108230296B (zh) 图像特征的识别方法和装置、存储介质、电子装置
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN109977955B (zh) 一种基于深度学习的宫颈癌前病变识别的方法
CN113077434B (zh) 基于多模态信息的肺癌识别方法、装置及存储介质
CN112085745B (zh) 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
CN108664976B (zh) 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN117010971B (zh) 一种基于人像识别的智能健康险提供方法及系统
CN111508016B (zh) 一种基于图像处理的白癜风区域色度值和面积计算的方法
CN112215807A (zh) 基于深度学习的细胞图像自动分类方法及系统
CN111914696A (zh) 一种基于迁移学习的高光谱遥感影像分类方法
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
CN115147376A (zh) 一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法
CN116630289A (zh) 一种基于多模态mri的脑胶质瘤cdkn2a/b基因状态分类预测方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN115147640A (zh) 一种基于改进胶囊网络的脑肿瘤图像分类方法
CN117078697B (zh) 一种基于级联模型融合的眼底病种检测方法
CN114078137A (zh) 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备
CN114093507A (zh) 边缘计算网络中基于对比学习的皮肤病智能分类方法
CN111340807A (zh) 病灶定位核心数据提取方法、系统、电子设备及存储介质
CN116739988A (zh) 一种基于多难度课程学习的深度学习脑出血分类方法
CN116433679A (zh) 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant