CN109363640A - 基于皮肤病理图像的识别方法及系统 - Google Patents
基于皮肤病理图像的识别方法及系统 Download PDFInfo
- Publication number
- CN109363640A CN109363640A CN201811475109.5A CN201811475109A CN109363640A CN 109363640 A CN109363640 A CN 109363640A CN 201811475109 A CN201811475109 A CN 201811475109A CN 109363640 A CN109363640 A CN 109363640A
- Authority
- CN
- China
- Prior art keywords
- dermal pathology
- image pattern
- pathology image
- label
- tissue regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Dermatology (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明实施例公开了一种基于皮肤病理图像的识别方法及系统,采用多任务学习的深度学习技术,依次完成组织区域分割、病理特征提取和疾病分类识别三个任务,对应建立组织区域分割模型、病理特征提取模型和疾病分类模型三个深度学习模型,遵循了医生临床的结构型式分析法进行系统化建模,实现了人工智能用于病理诊断的关键环节和指标可控;组织区域分割和病理特征提取模型,以像素为最小单位训练学习,所需样本数量规模可控,突破了海量样本限制,并且最终学习结果用于处理病种繁多的炎症性皮肤病病理特性识别,大大提升我国皮肤病理诊断和识别效率,自动化技术程度高,可节省大量的人力、物力资源。
Description
技术领域
本发明涉及医疗影像识别技术领域,具体涉及一种基于皮肤病理图像的识别方法及系统。
背景技术
皮肤病理检查是医生在临床进行皮肤特性判断的“金标准”,其过程为借助病变组织病理切片(通常将病变组织包埋在石蜡块里,用切片机切成薄片,再用苏木精-伊红(H-E)染色,并非以有生命的人体或者动物体为直接实施对象),进行显微镜下的皮肤组织及细胞的微观层面观察,确认疾病类型。目前炎症性皮肤病患者数量在我国皮肤科临床占据主要部分,并且其病理检查数量在逐年增长。由于炎症性皮肤病为病变组织中所有浸润细胞均为炎症细胞,包含种类繁多,既包括全局组织结构信息,又包括局部差异变化,模式复杂,十分具有专业性,目前炎症性皮肤特性识别均需皮肤科医生或病理科资深医生来完成。
现阶段,计算机视觉和机器学习技术虽然在医学领域已经取得了广泛的应用,在皮肤病识别方面也有诸多探索,但主要是针对皮肤镜和皮损图像,而对于直接表征疾病内在特征的皮肤病理切片图像,国内外尚没有能够覆盖炎症性皮肤病病理模式和疾病类型自动识别的方法,仍需要依靠医生的经验来进行判断,不仅筛查效率和准确率低,而且成本相当高,造成优质皮肤病理医生资源的紧张。因此,亟需一种新的技术方案针对炎症性皮肤病病理图像进行快速、准确的病理特征及疾病类型识别。
发明内容
本发明实施例的目的在于提供一种基于皮肤病理图像的识别方法及系统,作用于病理特征复杂的炎症性皮肤病病理图像(并非以有生命的人体或者动物体为直接实施对象),克服目前炎症性皮肤特性识别自动化水平低、效率低等问题,可辅助医生判断,提高根据皮肤病理图像的筛查率和准确率。
为实现上述目的,本发明实施例提供一种基于皮肤病理图像的识别方法,包括如下步骤:
1)数据预处理:
101)根据炎症性皮肤病的亚型所包含的细分类型,选取经临床明确确诊属于所述细分类型的病例作为对应样本;
102)通过数字切片扫描仪对皮肤病理切片进行扫描,采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本;
103)对所述皮肤病理图像样本进行组织区域和病理学特征标注,形成组织区域划分标签和病理学特征标签;
2)生成组织区域分割模型:
根据所述皮肤病理图像样本和组织区域划分标签,应用全卷积神经网络FCN模型进行皮肤病理图像样本深度学习训练,迭代优化调整网络参数,性能稳定后保存训练为组织区域分割模型;
3)生成病理特征提取模型:
根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,对皮肤病理图像样本进行深度学习训练,迭代优化调整生成新的网络参数,性能稳定后保存训练为病理特征提取模型,在获取所述组织区域分割模型后,加载所述病理特征提取模型生成图像样本的病理学特征结果;
4)生成疾病类型分类模型:
根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,对皮肤病理图像样本进行深度学习训练,迭代优化调整网络层数和宽度,生成权重参数,性能稳定后保存为疾病类型分类模型,在获取所述病理学特征结果后,加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。
作为基于皮肤病理图像的识别方法的优选方案,所述步骤101)中,将炎症性皮肤病分为九个亚型,九个亚型及每个亚型所包含的细分类型如下:
a)真皮浅层血管周围炎:单纯型、界面皮炎型、海绵水肿型、银屑病样型;
b)真皮浅层和深层血管周围炎:单纯型、界面皮炎型、海绵水肿型、银屑病样型;
c)结节性和弥漫性皮炎:结节性、弥漫性;
d)表皮内水疱和脓疱型皮肤病:海绵水肿性、气球变性、棘层松解性、表皮内脓疱性;
e)表皮下水疱性:无或很少炎症细胞浸润、有炎症细胞浸润;
f)毛囊炎及毛囊周围炎:毛囊炎、毛囊周围炎、脱发;
g)纤维性皮炎:纤维生成前病变、纤维化、硬化;
h)血管炎:嗜中性粒细胞性、淋巴细胞性、组织细胞性、静脉血栓性;
i)脂膜炎:间隔性、小叶性。
作为基于皮肤病理图像的识别方法的优选方案,所述步骤102)中,将采集的皮肤病理图像样本保存为4倍率图像样本,皮肤病理图像样本的存储格式为jpg或bmp。
作为基于皮肤病理图像的识别方法的优选方案,所述步骤103)中,对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括:角质层、棘层、真皮乳头层和真皮网状层;
所述步骤103)中,对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括:角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死;
所述步骤103)中,在对所述皮肤病理图像样本进行组织区域标注时,皮肤病理图像样本的每个像素点有一个区域划分标签,皮肤病理图像样本的每个像素点有若干个病理学特征标签。
作为基于皮肤病理图像的识别方法的优选方案,所述步骤3)中,根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,应用基于TensorFlow环境的UNet和ResNet结合模型对皮肤病理图像样本进行深度学习训练。
作为基于皮肤病理图像的识别方法的优选方案,所述步骤4)中,根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,通过SVM分类识别模型对皮肤病理图像样本进行深度学习训练。
本发明实施例还提供一种基于皮肤病理图像的识别系统,包括:数据预处理模块、组织区域分割模型生成模块、病理特征提取模型生成模块和疾病类型分类模型生成模块;
所述数据预处理模块包括样本选取单元、样本采集单元和样本标注单元,所述样本选取单元用于根据炎症性皮肤病的亚型所包含的细分类型,选取经临床明确确诊属于所述细分类型的病例作为对应样本;所述样本采集单元用于通过数字切片扫描仪对皮肤病理切片进行扫描,采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本;所述样本标注单元用于对皮肤病理图像样本进行组织区域和病理学特征标注形成组织区域划分标签和病理学特征标签;
所述组织区域分割模型生成模块用于根据所述皮肤病理图像样本和组织区域划分标签,应用全卷积神经网络FCN模型进行皮肤病理图像样本深度学习训练,迭代优化调整网络参数,性能稳定后保存训练为组织区域分割模型;
所述病理特征提取模型生成模块用于根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,对皮肤病理图像样本进行深度学习训练,迭代优化调整生成新的网络参数,性能稳定后保存训练为病理特征提取模型,在获取所述组织区域分割模型后,加载所述病理特征提取模型生成图像样本的病理学特征结果;
所述疾病类型分类模型生成模块用于根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,对皮肤病理图像样本进行深度学习训练,迭代优化调整网络层数和宽度,生成权重参数,性能稳定后保存为疾病类型分类模型,在获取所述病理学特征结果后,加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。
作为基于皮肤病理图像的识别系统的优选方案,所述样本采集单元中,将采集的皮肤病理图像样本保存为4倍率图像样本,皮肤病理图像样本的存储格式为jpg或bmp。
作为基于皮肤病理图像的识别系统的优选方案,所述样本标注单元中对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括:角质层、棘层、真皮乳头层和真皮网状层;
所述样本标注单元中对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括:角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死;
所述样本标注单元中在对所述皮肤病理图像样本进行组织区域标注时,皮肤病理图像样本的每个像素点有一个区域划分标签,皮肤病理图像样本的每个像素点有若干个病理学特征标签。
作为基于皮肤病理图像的识别系统的优选方案,所述病理特征提取模型生成模块中,根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,应用基于TensorFlow环境的UNet和ResNet结合模型对皮肤病理图像样本进行深度学习训练;
所述疾病类型分类模型生成模块中,根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,通过SVM分类识别模型对皮肤病理图像样本进行深度学习训练。
本发明实施例具有如下优点:采用多任务学习(Multi-Task Learning)的深度学习技术,依次完成组织区域分割、病理特征提取和疾病分类识别三个任务,对应建立组织区域分割模型、病理特征提取模型和疾病分类模型三个深度学习模型,遵循了医生临床的结构型式分析法进行系统化建模,实现了人工智能用于病理诊断的关键环节和指标可控;组织区域分割和病理特征提取模型,以像素为最小单位训练学习,所需样本数量规模可控,突破了海量样本限制,并且最终学习结果用于处理病种繁多的炎症性皮肤病病理特性识别,大大提升我国皮肤病理诊断和识别效率,自动化技术程度高,可节省大量的人力、物力资源。
附图说明
图1为本发明实施例提供的基于皮肤病理图像的识别方法流程图。
图2为本发明实施例提供的基于皮肤病理图像的识别方法架构图。
图3为本发明实施例提供的基于皮肤病理图像的识别过程中病理图像样本标注示意图。
图4为本发明实施例提供的基于皮肤病理图像的识别系统示意图。
图中:1、数据预处理模块;2、组织区域分割模型生成模块;3、病理特征提取模型生成模块;4、疾病类型分类模型生成模块;5、样本选取单元;6、样本采集单元;7、样本标注单元。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
参见图1、图2和图3,本实施例提供一种基于皮肤病理图像的识别方法,包括如下步骤:
S1:数据预处理:
S101:根据炎症性皮肤病的亚型所包含的细分类型,选取经临床明确确诊属于所述细分类型的病例作为对应样本;
S102:通过数字切片扫描仪对皮肤病理切片进行扫描,采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本;
S103:对所述皮肤病理图像样本进行组织区域和病理学特征标注,形成组织区域划分标签和病理学特征标签;
S2:生成组织区域分割模型:
根据所述皮肤病理图像样本和组织区域划分标签,应用全卷积神经网络FCN模型进行皮肤病理图像样本深度学习训练,迭代优化调整网络参数,性能稳定后保存训练为组织区域分割模型;
S3:生成病理特征提取模型:
根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,对皮肤病理图像样本进行深度学习训练,迭代优化调整生成新的网络参数,性能稳定后保存训练为病理特征提取模型,在获取所述组织区域分割模型后,加载所述病理特征提取模型生成图像样本的病理学特征结果;
S4:生成疾病类型分类模型:
根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,对皮肤病理图像样本进行深度学习训练,迭代优化调整网络层数和宽度,生成权重参数,性能稳定后保存为疾病类型分类模型,在获取所述病理学特征结果后,加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。
基于皮肤病理图像的识别方法的一个实施例中,步骤S1,将炎症性皮肤病分为九个亚型,具体的九个亚型及每个亚型所包含的细分类型参见表1,
表1炎症性皮肤病九个亚型及每个亚型所包含的细分类型
基于皮肤病理图像的识别方法的一个实施例中,所述步骤S101将采集的皮肤病理图像样本保存为4倍率图像样本,皮肤病理图像样本的存储格式为jpg(JointPhotographic Experts Group)或bmp(Bitmap)。应用数字切片扫描仪对皮肤病理切片扫描后保存为4倍率图像,保证皮肤病理图像的清洗度,满足特性识别的需求。
基于皮肤病理图像的识别方法的一个实施例中,所述步骤S103中,对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括:角质层、棘层、真皮乳头层和真皮网状层;对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括:角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死;在对所述皮肤病理图像样本进行组织区域标注时,皮肤病理图像样本的每个像素点有一个区域划分标签,皮肤病理图像样本的每个像素点有若干个病理学特征标签。对应标注时的组织区域,每个像素点只能有一个区域划分标签,而病理学特征标签可以有若干个,并且区域划分和特征标签直接可以重复标记,例如,一块区域即可以标记为棘层,也可以标记为棘层肥厚。
基于皮肤病理图像的识别方法的一个实施例中,所述步骤S3中,根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,应用基于TensorFlow环境的UNet和ResNet结合模型对皮肤病理图像样本进行深度学习训练。具体的,TensorFlow是一个基于数据流编程(dataflow programming)的符号数学系统,可以应用于皮肤病理图像的炎症性皮肤特性识别过程中深度学习(machine learning)算法的编程实现。Tensorflow拥有多层级结构,可部署于各类服务器、PC终端和网页,并支持GPU和TPU高性能数值计算。具体的,UNet是基于FCN(Fully Convolutional Networks)的一个语义分割网络,UNet前半部分作用是特征提取,后半部分是上采样。UNet是一种编码器-解码器结构。具体的,ResNet又名残差神经网络,是在传统卷积神经网络中加入残差学习(residual learning)的思想,解决了深层网络中梯度弥散和精度下降(训练集)的问题,使网络能够越来越深,既保证了精度,又控制了速度。
基于皮肤病理图像的识别方法的一个实施例中,所述步骤S4中,根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,通过SVM(Support Vector Machine)分类识别模型对皮肤病理图像样本进行深度学习训练。SVM指的是支持向量机,针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而实现高维特征空间采用线性算法对样本的非线性特征进行线性分析。基于结构风险最小化理论之上在特征空间中构建最优超平面,使得学习器得到全局最优化,并且在整个皮肤病理图像样本空间的期望以某个概率满足一定上界。
参见图4,本发明实施例还提供一种基于皮肤病理图像的识别系统,包括数据预处理模块1、组织区域分割模型生成模块2、病理特征提取模型生成模块3和疾病类型分类模型生成模块4;
所述数据预处理模块1包括样本选取单元5、样本采集单元6和样本标注单元7,所述样本选取单元5用于根据炎症性皮肤病的亚型所包含的细分类型,选取经临床明确确诊属于所述细分类型的病例作为对应样本;所述样本采集单元6用于通过数字切片扫描仪对皮肤病理切片进行扫描,采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本;所述样本标注单元7用于对皮肤病理图像样本进行组织区域和病理学特征标注形成组织区域划分标签和病理学特征标签;
所述组织区域分割模型生成模块2用于根据所述皮肤病理图像样本和组织区域划分标签,应用全卷积神经网络FCN模型进行皮肤病理图像样本深度学习训练,迭代优化调整网络参数,性能稳定后保存训练为组织区域分割模型;
所述病理特征提取模型生成模块3用于根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,对皮肤病理图像样本进行深度学习训练,迭代优化调整生成新的网络参数,性能稳定后保存训练为病理特征提取模型,在获取所述组织区域分割模型后,加载所述病理特征提取模型生成图像样本的病理学特征结果;
所述疾病类型分类模型生成模块4用于根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,对皮肤病理图像样本进行深度学习训练,迭代优化调整网络层数和宽度,生成权重参数,性能稳定后保存为疾病类型分类模型,在获取所述病理学特征结果后,加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。
基于皮肤病理图像的识别系统的一个实施例中,所述样本采集单元6中,将采集的皮肤病理图像样本保存为4倍率图像样本,皮肤病理图像样本的存储格式为jpg或bmp。保证皮肤病理图像的清洗度,满足特性识别的需求。
基于皮肤病理图像的识别系统的一个实施例中,所述样本标注单元7中对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括:角质层、棘层、真皮乳头层和真皮网状层;所述样本标注单元7中对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括:角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死;所述样本标注单元7中在对所述皮肤病理图像样本进行组织区域标注时,皮肤病理图像样本的每个像素点有一个区域划分标签,皮肤病理图像样本的每个像素点有若干个病理学特征标签。
基于皮肤病理图像的识别系统的一个实施例中,所述病理特征提取模型生成模块3中,根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,应用基于TensorFlow环境的UNet和ResNet结合模型对皮肤病理图像样本进行深度学习训练;所述疾病类型分类模型生成模块4中,根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,通过SVM分类识别模型对皮肤病理图像样本进行深度学习训练。
本发明采用多任务学习(Multi-Task Learning)的深度学习技术,依次完成组织区域分割、病理特征提取和疾病分类识别三个任务,对应建立组织区域分割模型、病理特征提取模型和疾病分类模型三个深度学习模型,遵循了医生临床的结构型式分析法进行系统化建模,实现了人工智能用于病理诊断的关键环节和指标可控;组织区域分割和病理特征提取模型,以像素为最小单位训练学习,所需样本数量规模可控,突破了海量样本限制,并且最终学习结果用于处理病种繁多的炎症性皮肤病病理特性识别,大大提升我国皮肤病理诊断和识别效率,自动化技术程度高,可节省大量的人力、物力资源。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (10)
1.基于皮肤病理图像的识别方法,其特征在于,包括如下步骤:
1)数据预处理:
101)根据炎症性皮肤病的亚型所包含的细分类型,选取经临床明确确诊属于所述细分类型的病例作为对应样本;
102)通过数字切片扫描仪对皮肤病理切片进行扫描,采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本;
103)对所述皮肤病理图像样本进行组织区域和病理学特征标注,形成组织区域划分标签和病理学特征标签;
2)生成组织区域分割模型:
根据所述皮肤病理图像样本和组织区域划分标签,应用全卷积神经网络FCN模型进行皮肤病理图像样本深度学习训练,迭代优化调整网络参数,性能稳定后保存训练为组织区域分割模型;
3)生成病理特征提取模型:
根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,对皮肤病理图像样本进行深度学习训练,迭代优化调整生成新的网络参数,性能稳定后保存训练为病理特征提取模型,在获取所述组织区域分割模型后,加载所述病理特征提取模型生成图像样本的病理学特征结果;
4)生成疾病类型分类模型:
根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,对皮肤病理图像样本进行深度学习训练,迭代优化调整网络层数和宽度,生成权重参数,性能稳定后保存为疾病类型分类模型,在获取所述病理学特征结果后,加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。
2.根据权利要求1所述的基于皮肤病理图像的识别方法,其特征在于,所述步骤101)中,将炎症性皮肤病分为九个亚型,九个亚型及每个亚型所包含的细分类型如下:
a)真皮浅层血管周围炎:单纯型、界面皮炎型、海绵水肿型、银屑病样型;
b)真皮浅层和深层血管周围炎:单纯型、界面皮炎型、海绵水肿型、银屑病样型;
c)结节性和弥漫性皮炎:结节性、弥漫性;
d)表皮内水疱和脓疱型皮肤病:海绵水肿性、气球变性、棘层松解性、表皮内脓疱性;
e)表皮下水疱性:无或很少炎症细胞浸润、有炎症细胞浸润;
f)毛囊炎及毛囊周围炎:毛囊炎、毛囊周围炎、脱发;
g)纤维性皮炎:纤维生成前病变、纤维化、硬化;
h)血管炎:嗜中性粒细胞性、淋巴细胞性、组织细胞性、静脉血栓性;
i)脂膜炎:间隔性、小叶性。
3.根据权利要求1所述的基于皮肤病理图像的识别方法,其特征在于,所述步骤102)中,将采集的皮肤病理图像样本保存为4倍率图像样本,皮肤病理图像样本的存储格式为jpg或bmp。
4.根据权利要求1所述的基于皮肤病理图像的识别方法,其特征在于,所述步骤103)中,对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括:角质层、棘层、真皮乳头层和真皮网状层;
所述步骤103)中,对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括:角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死;
所述步骤103)中,在对所述皮肤病理图像样本进行组织区域标注时,皮肤病理图像样本的每个像素点有一个区域划分标签,皮肤病理图像样本的每个像素点有若干个病理学特征标签。
5.根据权利要求1所述的基于皮肤病理图像的识别方法,其特征在于,所述步骤3)中,根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,应用基于TensorFlow环境的UNet和ResNet结合模型对皮肤病理图像样本进行深度学习训练。
6.根据权利要求1所述的基于皮肤病理图像的识别方法,其特征在于,所述步骤4)中,根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,通过SVM分类识别模型对皮肤病理图像样本进行深度学习训练。
7.基于皮肤病理图像的识别系统,其特征在于,包括:数据预处理模块、组织区域分割模型生成模块、病理特征提取模型生成模块和疾病类型分类模型生成模块;
所述数据预处理模块包括样本选取单元、样本采集单元和样本标注单元,所述样本选取单元用于根据炎症性皮肤病的亚型所包含的细分类型,选取经临床明确确诊属于所述细分类型的病例作为对应样本;所述样本采集单元用于通过数字切片扫描仪对皮肤病理切片进行扫描,采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本;所述样本标注单元用于对皮肤病理图像样本进行组织区域和病理学特征标注形成组织区域划分标签和病理学特征标签;
所述组织区域分割模型生成模块用于根据所述皮肤病理图像样本和组织区域划分标签,应用全卷积神经网络FCN模型进行皮肤病理图像样本深度学习训练,迭代优化调整网络参数,性能稳定后保存训练为组织区域分割模型;
所述病理特征提取模型生成模块用于根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,对皮肤病理图像样本进行深度学习训练,迭代优化调整生成新的网络参数,性能稳定后保存训练为病理特征提取模型,在获取所述组织区域分割模型后,加载所述病理特征提取模型生成图像样本的病理学特征结果;
所述疾病类型分类模型生成模块用于根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,对皮肤病理图像样本进行深度学习训练,迭代优化调整网络层数和宽度,生成权重参数,性能稳定后保存为疾病类型分类模型,在获取所述病理学特征结果后,加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。
8.根据权利要求7所述的基于皮肤病理图像的识别系统,其特征在于,所述样本采集单元中,将采集的皮肤病理图像样本保存为4倍率图像样本,皮肤病理图像样本的存储格式为jpg或bmp。
9.根据权利要求7所述的基于皮肤病理图像的识别系统,其特征在于,所述样本标注单元中对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括:角质层、棘层、真皮乳头层和真皮网状层;
所述样本标注单元中对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括:角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死;
所述样本标注单元中在对所述皮肤病理图像样本进行组织区域标注时,皮肤病理图像样本的每个像素点有一个区域划分标签,皮肤病理图像样本的每个像素点有若干个病理学特征标签。
10.根据权利要求7所述的基于皮肤病理图像的识别系统,其特征在于,所述病理特征提取模型生成模块中,根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签,应用基于TensorFlow环境的UNet和ResNet结合模型对皮肤病理图像样本进行深度学习训练;
所述疾病类型分类模型生成模块中,根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型,通过SVM分类识别模型对皮肤病理图像样本进行深度学习训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811475109.5A CN109363640A (zh) | 2018-12-04 | 2018-12-04 | 基于皮肤病理图像的识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811475109.5A CN109363640A (zh) | 2018-12-04 | 2018-12-04 | 基于皮肤病理图像的识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109363640A true CN109363640A (zh) | 2019-02-22 |
Family
ID=65375540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811475109.5A Pending CN109363640A (zh) | 2018-12-04 | 2018-12-04 | 基于皮肤病理图像的识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109363640A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110021019A (zh) * | 2019-04-15 | 2019-07-16 | 中国医学科学院皮肤病医院 | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 |
CN110148121A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 一种皮肤图像处理方法、装置、电子设备及介质 |
CN110584618A (zh) * | 2019-08-15 | 2019-12-20 | 济南市疾病预防控制中心 | 基于人工智能的传染病机器识别系统 |
CN110648318A (zh) * | 2019-09-19 | 2020-01-03 | 泰康保险集团股份有限公司 | 用于皮肤病的辅助分析方法及装置、电子设备、存储介质 |
CN110895968A (zh) * | 2019-04-24 | 2020-03-20 | 南京图灵微生物科技有限公司 | 人工智能医学图像自动诊断系统和方法 |
CN111784704A (zh) * | 2020-06-24 | 2020-10-16 | 中国人民解放军空军军医大学 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
CN111798428A (zh) * | 2020-07-03 | 2020-10-20 | 南京信息工程大学 | 一种皮肤病理图像多种组织自动分割方法 |
CN111956188A (zh) * | 2020-08-27 | 2020-11-20 | 澜锡(浙江)生物科技有限公司 | 一种皮肤问题检测和精准护理的方法及应用 |
CN112017162A (zh) * | 2020-08-10 | 2020-12-01 | 上海杏脉信息科技有限公司 | 病理图像处理方法、装置、存储介质和处理器 |
CN112184618A (zh) * | 2020-08-17 | 2021-01-05 | 清华大学 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
CN113053512A (zh) * | 2019-12-27 | 2021-06-29 | 无锡祥生医疗科技股份有限公司 | 适用于超声诊断的进化学习方法、系统及存储介质 |
CN113057593A (zh) * | 2021-03-18 | 2021-07-02 | 杭州睿胜软件有限公司 | 图像识别方法、可读存储介质及电子设备 |
CN116842436A (zh) * | 2023-06-07 | 2023-10-03 | 中国医学科学院北京协和医院 | 一种多光谱组合的皮肤基底细胞癌识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1795812A (zh) * | 2004-12-28 | 2006-07-05 | 中田泰尊 | 皮肤分析方法 |
US20080226151A1 (en) * | 2007-03-07 | 2008-09-18 | George Zouridakis | Device and software for screening the skin |
CN103324940A (zh) * | 2013-05-02 | 2013-09-25 | 广东工业大学 | 基于多示例多标签学习的皮肤病理图片特征识别方法 |
CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
CN108272437A (zh) * | 2017-12-27 | 2018-07-13 | 中国科学院西安光学精密机械研究所 | 用于皮肤病诊断的光谱检测系统和分类器模型构建方法 |
-
2018
- 2018-12-04 CN CN201811475109.5A patent/CN109363640A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1795812A (zh) * | 2004-12-28 | 2006-07-05 | 中田泰尊 | 皮肤分析方法 |
US20080226151A1 (en) * | 2007-03-07 | 2008-09-18 | George Zouridakis | Device and software for screening the skin |
CN103324940A (zh) * | 2013-05-02 | 2013-09-25 | 广东工业大学 | 基于多示例多标签学习的皮肤病理图片特征识别方法 |
CN105469100A (zh) * | 2015-11-30 | 2016-04-06 | 广东工业大学 | 基于深度学习的皮肤活检图像病理特性识别方法 |
CN108272437A (zh) * | 2017-12-27 | 2018-07-13 | 中国科学院西安光学精密机械研究所 | 用于皮肤病诊断的光谱检测系统和分类器模型构建方法 |
Non-Patent Citations (2)
Title |
---|
ANDRE ESTEVA1 等: "Dermatologist-level classification of skin cancer with deep neural networks", 《NATURE》 * |
张钢 等: "一种病理图像自动标注的机器学习方法", 《计算机研究与发展》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110021019A (zh) * | 2019-04-15 | 2019-07-16 | 中国医学科学院皮肤病医院 | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 |
CN110895968A (zh) * | 2019-04-24 | 2020-03-20 | 南京图灵微生物科技有限公司 | 人工智能医学图像自动诊断系统和方法 |
CN110895968B (zh) * | 2019-04-24 | 2023-12-15 | 苏州图灵微生物科技有限公司 | 人工智能医学图像自动诊断系统和方法 |
CN110148121A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 一种皮肤图像处理方法、装置、电子设备及介质 |
CN110148121B (zh) * | 2019-05-09 | 2022-11-22 | 腾讯科技(深圳)有限公司 | 一种皮肤图像处理方法、装置、电子设备及介质 |
CN110584618A (zh) * | 2019-08-15 | 2019-12-20 | 济南市疾病预防控制中心 | 基于人工智能的传染病机器识别系统 |
CN110648318A (zh) * | 2019-09-19 | 2020-01-03 | 泰康保险集团股份有限公司 | 用于皮肤病的辅助分析方法及装置、电子设备、存储介质 |
CN113053512A (zh) * | 2019-12-27 | 2021-06-29 | 无锡祥生医疗科技股份有限公司 | 适用于超声诊断的进化学习方法、系统及存储介质 |
CN113053512B (zh) * | 2019-12-27 | 2024-04-09 | 无锡祥生医疗科技股份有限公司 | 适用于超声诊断的进化学习方法、系统及存储介质 |
CN111784704A (zh) * | 2020-06-24 | 2020-10-16 | 中国人民解放军空军军医大学 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
CN111784704B (zh) * | 2020-06-24 | 2023-11-24 | 中国人民解放军空军军医大学 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
CN111798428B (zh) * | 2020-07-03 | 2023-05-30 | 南京信息工程大学 | 一种皮肤病理图像多种组织自动分割方法 |
CN111798428A (zh) * | 2020-07-03 | 2020-10-20 | 南京信息工程大学 | 一种皮肤病理图像多种组织自动分割方法 |
CN112017162A (zh) * | 2020-08-10 | 2020-12-01 | 上海杏脉信息科技有限公司 | 病理图像处理方法、装置、存储介质和处理器 |
CN112017162B (zh) * | 2020-08-10 | 2022-12-06 | 上海杏脉信息科技有限公司 | 病理图像处理方法、装置、存储介质和处理器 |
CN112184618A (zh) * | 2020-08-17 | 2021-01-05 | 清华大学 | 一种基于深度学习的葡萄胎切片图像处理方法及装置 |
CN111956188A (zh) * | 2020-08-27 | 2020-11-20 | 澜锡(浙江)生物科技有限公司 | 一种皮肤问题检测和精准护理的方法及应用 |
CN113057593A (zh) * | 2021-03-18 | 2021-07-02 | 杭州睿胜软件有限公司 | 图像识别方法、可读存储介质及电子设备 |
CN116842436A (zh) * | 2023-06-07 | 2023-10-03 | 中国医学科学院北京协和医院 | 一种多光谱组合的皮肤基底细胞癌识别方法 |
CN116842436B (zh) * | 2023-06-07 | 2024-01-16 | 中国医学科学院北京协和医院 | 一种多光谱组合的皮肤基底细胞癌识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109363640A (zh) | 基于皮肤病理图像的识别方法及系统 | |
Ng et al. | Deep learning for fabrication and maturation of 3D bioprinted tissues and organs | |
Velasco et al. | A smartphone-based skin disease classification using mobilenet cnn | |
Liu et al. | A framework of wound segmentation based on deep convolutional networks | |
CN106815481A (zh) | 一种基于影像组学的生存期预测方法及装置 | |
Hao et al. | Breast cancer histopathological images classification based on deep semantic features and gray level co-occurrence matrix | |
Yuan et al. | MDL constrained 3-D grayscale skeletonization algorithm for automated extraction of dendrites and spines from fluorescence confocal images | |
Li et al. | Superpixel-guided label softening for medical image segmentation | |
Manvel et al. | Radiologist-level stroke classification on non-contrast ct scans with deep u-net | |
Cao et al. | An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features | |
Patil et al. | Generating region of interests for invasive breast cancer in histopathological whole-slide-image | |
Alqudah et al. | Sliding window based deep ensemble system for breast cancer classification | |
Shanker et al. | Brain tumor segmentation of normal and lesion tissues using hybrid clustering and hierarchical centroid shape descriptor | |
Chitsaz et al. | Software agent with reinforcement learning approach for medical image segmentation | |
Tong et al. | Improving classification of breast cancer by utilizing the image pyramids of whole-slide imaging and multi-scale convolutional neural networks | |
Akbar et al. | The transition module: a method for preventing overfitting in convolutional neural networks | |
Hacking et al. | Deep learning for the classification of medical kidney disease: a pilot study for electron microscopy | |
Bansal et al. | An improved hybrid classification of brain tumor MRI images based on conglomeration feature extraction techniques | |
Özdil et al. | Automatic body part and pose detection in medical infrared thermal images | |
Zhao et al. | Nn-TransUNet: an automatic deep learning pipeline for heart MRI segmentation | |
Bozkurt et al. | Skin strata delineation in reflectance confocal microscopy images using recurrent convolutional networks with attention | |
Khattar et al. | Computer assisted diagnosis of skin cancer: a survey and future recommendations | |
Zhang et al. | Malignant brain tumor classification using the random forest method | |
Yang et al. | Cancer detection in breast cells using a hybrid method based on deep complex neural network and data mining | |
CN109816665A (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190222 |
|
RJ01 | Rejection of invention patent application after publication |