CN114224289A - 基于深度学习的银屑病甲图像处理方法及系统 - Google Patents
基于深度学习的银屑病甲图像处理方法及系统 Download PDFInfo
- Publication number
- CN114224289A CN114224289A CN202111543692.0A CN202111543692A CN114224289A CN 114224289 A CN114224289 A CN 114224289A CN 202111543692 A CN202111543692 A CN 202111543692A CN 114224289 A CN114224289 A CN 114224289A
- Authority
- CN
- China
- Prior art keywords
- nail
- area
- cover
- region
- roi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000004681 Psoriasis Diseases 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 73
- 230000006378 damage Effects 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 208000024891 symptom Diseases 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000000740 bleeding effect Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 19
- 208000014674 injury Diseases 0.000 claims description 16
- 208000027418 Wounds and injury Diseases 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 14
- 230000001185 psoriatic effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008014 freezing Effects 0.000 claims description 5
- 238000007710 freezing Methods 0.000 claims description 5
- 206010040882 skin lesion Diseases 0.000 claims description 5
- 231100000444 skin lesion Toxicity 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 abstract description 2
- 210000000282 nail Anatomy 0.000 description 229
- 206010068655 Nail injury Diseases 0.000 description 19
- 210000003811 finger Anatomy 0.000 description 17
- 230000003902 lesion Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 238000013077 scoring method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000037380 skin damage Effects 0.000 description 4
- 208000010195 Onychomycosis Diseases 0.000 description 3
- 230000003796 beauty Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000004904 fingernail bed Anatomy 0.000 description 3
- 230000002989 hypothyroidism Effects 0.000 description 3
- 208000003532 hypothyroidism Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 201000004624 Dermatitis Diseases 0.000 description 1
- 206010015150 Erythema Diseases 0.000 description 1
- 206010017533 Fungal infection Diseases 0.000 description 1
- 206010020649 Hyperkeratosis Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000031888 Mycoses Diseases 0.000 description 1
- 206010048886 Onychoclasis Diseases 0.000 description 1
- 208000005775 Parakeratosis Diseases 0.000 description 1
- 208000028990 Skin injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001804 debridement Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 231100000321 erythema Toxicity 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 210000000498 stratum granulosum Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/449—Nail evaluation, e.g. for nail disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Psychiatry (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Dermatology (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的银屑病甲图像处理方法及系统，包括：通过检测网络从指甲图像中剪裁出甲盖ROI区域，通过粗分割模型从甲盖ROI区域中分割出甲盖区域和甲损伤区域，通过细分割模型将甲盖ROI区域和甲损伤区域进行图像通道合并，细分割出每个症状的细分甲损伤区域。计算甲损伤区域的总面积占甲盖区域的比例，或者，将多个症状的细分甲损伤区域合并，增加多个症状的细分甲损伤区域重合部分的权重，计算合并后的甲损伤区域的总面积占甲盖区域的比例，或者，计算细分甲损伤区域总面积占甲盖区域的比例。本发明能够检测网络从患者手部照片中检测并提取出指甲区域，进行图像分割以便识别出甲盖区域和指甲损伤的图像区域。
Description
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种基于深度学习的银屑病甲图像处理方法及系统。
背景技术
银屑病(俗称牛皮癣)是一种世界范围内常见的易于复发的慢性炎症性皮肤病，在人群中的发病率大约为0.1-5％，银屑病的病因和发病机制均不十分清楚，银屑病甲是银屑病的重要特征，在银屑病中较常见，有文献表明，在寻常型银屑病患者中，银屑病甲患病率超过50％，终生发病率为80-90％，在关节型银屑病患者中，银屑病甲的患病率可能大于80％。银屑病甲不仅影响美观,还可能引起病甲疼痛、麻木等不适，且极易引起甲周围的炎症反应及继发甲真菌感染。虽然银屑病甲的发病率很高，对患者身心造成了明显的伤害，但由于早期药物治疗对指甲症状的清除率低，疗效有限，临床上没有引起足够的重视。
在临床上，银屑病甲主要表现在甲床和甲母质的损害，甲母质病变主要表现为点状凹陷、白甲、新月形出血点、甲碎裂。点状凹陷凹点的形成是由于近端甲母角化不全导致的，一般多发且形状不规则，比其他疾病引起的凹点更深更粗糙；甲脆裂是由于近端甲母质永久改变的结果，表现为指甲表面粗糙，失去光泽；白甲是甲母质中央受累的结果，表现为甲板部位变白；新月形出血点是由于近端甲母质破坏，甲板变薄，甲下血流量增加更易透过甲板而形成红斑。甲床银屑病的病变主要表现为甲分离、甲下角化过度、油滴状改变、甲下线状出血等。甲分离指甲板从甲床脱离，是银屑病甲最常见的特征和症状之一；甲下角化过度也是银屑病甲很常见的表现，与加分离可同时存在，由于甲下皮角化不全和颗粒层缺失，引起甲增厚和以白色或黄褐色鳞屑为特征的甲损害，与银屑病活动程度密切相关；油滴状改变是银屑病甲特有的改变，表现为黄褐色油滴状区域；甲下线状出血是由于毛细血管破裂导致血液从甲板下面的沟槽中渗出，从而生成“线性”形状的痕迹。
随着免疫制剂等新兴疗法的发展，银屑病的治疗中甲部改善更加明显，银屑病甲可以被认为是银屑病患者皮损程度的一个重要指标，对于银屑病甲的有效评估有助于临床上更有效快捷的判断银屑病的病情发展和治疗程度。
银屑病甲的不同症状表现包括：点状凹陷、白甲、新月形出血点、甲碎裂、甲分离、油滴状改变、甲下角化过度、甲下线状出血，对这些症状的分析和评价需要极高的专业性，因此，通过自动化的图像处理技术来辅助医护人员的医疗评估工作是非常必要的。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的银屑病甲图像处理方法及系统。
根据本发明提供的一种基于深度学习的银屑病甲图像处理方法，包括：
检测步骤：利用带有标注信息的指甲图像训练检测网络，通过所述检测网络从指甲图像中剪裁出甲盖ROI区域；
粗分割步骤：利用所述甲盖ROI区域训练粗分割模型，通过所述粗分割模型从所述甲盖ROI区域中分割出甲盖区域和甲损伤区域；
细分割步骤：利用所述甲盖ROI区域和所述甲损伤区域训练细分割模型，通过所述细分割模型将所述甲盖ROI区域和所述甲损伤区域进行图像通道合并，细分割出每个症状的细分甲损伤区域；
计算步骤：计算所述甲损伤区域的总面积占所述甲盖区域的比例，或者，将多个症状的细分甲损伤区域合并，增加多个症状的细分甲损伤区域重合部分的权重，计算合并后的所述甲损伤区域的总面积占所述甲盖区域的比例，或者，计算所述细分甲损伤区域总面积占所述甲盖区域的比例。
优选地，所述标注信息包括：甲盖区域、点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲以及干扰皮损。
优选地，在所述检测步骤之后还包括：
数据预处理步骤：利用带有标注信息的指甲图像生成甲盖区域的检测标签和甲盖区域、甲损伤的分割标签；
所述甲盖区域的检测标签包括利用标注的甲盖区域mask生成bounding box。
优选地，在训练所述粗分割模型和所述细分割模型时，引入深度监督，通过交叉熵损失、MS-SSIM loss、iou loss的混合损失函数来训练所述粗分割模型，再冻结所述粗分割模型的权重参数训练所述细分割模型，采用Focal loss、iou loss的混合损失函数来对所述细分割模型的各层进行监督。
优选地，所述指甲图像还包括辅助信息，所述辅助信息包括：患者的病史信息、指甲位置或拍摄的角度信息。
根据本发明提供的一种基于深度学习的银屑病甲图像处理系统，包括：
检测模块：利用带有标注信息的指甲图像训练检测网络，通过所述检测网络从指甲图像中剪裁出甲盖ROI区域；
粗分割模块：利用所述甲盖ROI区域训练粗分割模型，通过所述粗分割模型从所述甲盖ROI区域中分割出甲盖区域和甲损伤区域；
细分割模块：利用所述甲盖ROI区域和所述甲损伤区域训练细分割模型，通过所述细分割模型将所述甲盖ROI区域和所述甲损伤区域进行图像通道合并，细分割出每个症状的细分甲损伤区域；
计算模块：计算所述甲损伤区域的总面积占所述甲盖区域的比例，或者，将多个症状的细分甲损伤区域合并，增加多个症状的细分甲损伤区域重合部分的权重，计算合并后的所述甲损伤区域的总面积占所述甲盖区域的比例，或者，计算所述细分甲损伤区域总面积占所述甲盖区域的比例。
优选地，所述标注信息包括：甲盖区域、点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲以及干扰皮损。
优选地，在所述检测模块之后还包括：
数据预处理模块：利用带有标注信息的指甲图像生成甲盖区域的检测标签和甲盖区域、甲损伤的分割标签；
所述甲盖区域的检测标签包括利用标注的甲盖区域mask生成bounding box。
优选地，在训练所述粗分割模型和所述细分割模型时，引入深度监督，通过交叉熵损失、MS-SSIM loss、iou loss的混合损失函数来训练所述粗分割模型，再冻结所述粗分割模型的权重参数训练所述细分割模型，采用Focal loss、iou loss的混合损失函数来对所述细分割模型的各层进行监督。
优选地，所述指甲图像还包括辅助信息，所述辅助信息包括：患者的病史信息、指甲位置或拍摄的角度信息。
与现有技术相比，本发明具有如下的有益效果：
本发明能够检测网络从患者手部照片中检测并提取出指甲区域，其次针对检测出的指甲区域进行图像分割，以便识别出甲盖区域和指甲损伤(包括甲分离,甲下角化过度,出血等多种甲损伤)的图像区域，从而辅助医护人员进行病情的评估。
本发明稳定性更强，减少了甲损伤的位置相关性，增加了甲损伤面积的相关性，为后续的进一步实现银屑病甲的自动量化评估提供了可能。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例的工作流程图；
图2为甲盖区域检测模型结构示例图；
图3为甲盖区域及甲损伤分割卷积神经网络架构图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本实施例提供的一种基于深度学习的银屑病甲图像处理方法，包括：
1).数据采集：
(1)病例入组标准：正规医院明确诊断为银屑病的患者，双手十指中至少有一处显著甲损害，且甲真菌检查结果为阴性(银屑病患者甲真菌病的患病率为18％，普通人群中甲真菌病的患病率为9.1％)。要求患者双手清洗干净，剪掉长指甲，并去除指甲上的涂抹物(指甲油、药膏等)，如果指甲周围有皮损，先进行适当的清创。
(2)拍摄要求：拍摄空间无强烈光照直射，拍摄环境明亮，拍照背景使用深色底板(比如鼠标垫背面)。拍照时建议使用美容灯，避免使用强烈的点状光源做辅助(如手机闪光灯)避免造成点状反光，辅助光源柔和。使用手机拍摄时注意关闭美颜效果。拍摄时，手部占图像面积三分之二以上，尽量保持手指平面和手机/相机平面平行，避免产生斜角，充分暴露全部甲面的象限。拍摄后确认细节清晰，无严重反光干扰。
(3)拍摄步骤：对所有病例，均拍摄双手十指指甲图像，拍摄分四步：
第一步：拍摄双手拇指，双手虚握拳，掌心相对，拇指自然伸直并完整暴露指甲。拍照区域至少包含拇指指甲和第一关节；
第二步：拍摄双手其他手指，手指自然伸直，平行摆放，完整暴露所有手指的指甲、甲床和第一关节；
第三步：对于特别严重的个别甲面可单独拍摄，确保评分准确性；
第四步：当肉眼看到病人指甲有纹理的改变，比如出现凹凸不平或者增厚的情况时，从侧面角度也拍摄照片,侧面照片仅用于辅助标注医生鉴别，不需要标注，所有标注都标注在正面图像上。
(4)辅助信息收集：拍摄时记录患者的性别、年龄、拍摄时间、患病史、用药史(大类别)等病史信息；单独拍摄个别甲面时记录该指甲位置，比如左/右手、大拇指/食指/中指/无名指/小拇指等，另外记录每张照片拍摄的角度信息(如正面、左侧、右侧等)。
2)数据标注：
由三甲医院的皮肤科工作副主任医师进行皮损类型的培训，由2名工作2年及以上的皮肤科主治医师及以上进行标注，1名皮肤科副主任医师及以上进行审核。此流程为了保证2名标注医生的标准内容一致性和准确性符合要求。
对于每个甲盖，标注医生需要标记甲盖区域、点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲以及其他干扰皮损(外伤、染色等其他原因或者其他不明皮损)，以用于分割模型训练、验证和测试。
在标注过程中，为了确保标注的准确性，将通过标注医生选择的皮损的颜色、纹理等属性特征来双重校验标记的准确性。将根据甲损伤的特异性，进行凹凸变化的判断，如是否有点状凹陷，甲脆裂，甲横嵴；甲侧面观的厚度变化如甲下角化过度；最后观察甲面的颜色变化，是否有油滴状变，出血，甲分离，白甲的症状。比如点状凹陷的纹理应为‘凹陷’，颜色应该为‘正常’。当出现颜色为‘黄色’、纹理为‘增厚’的点状凹陷皮损时，由于属性特征前后矛盾，此项标记将打上‘存疑’标签，需要二次确认。
3)数据预处理：
由于数据集拍摄情况不同，数据集样本之间情况需要对数据集中的图像进行预处理。首先，利用收集的数据信息和标注的标签，生成甲盖区域的检测标签(利用标注的甲盖区域mask生成bounding box)和甲盖区域、甲损伤的分割标签。
采用图像反转，旋转，缩放，高斯模糊，运动模糊，随机亮度调整等操作对原始数据进行数据增强处理，增加训练数据的数量来提高训练效果，并对图像进行归一化处理，使模型的训练更为稳定。
4)深度卷积神经网络架构搭建及模型训练
(1)检测模型
如图2所示，利用收集和标注的数据信息，包括指甲的部位信息(左/右、大拇指/食指/中指/无名指/小拇指)、拍摄角度信息以及标注的甲盖区域分割标签，训练一个检测网络,本发明实例中采用先进的轻量检测网络MobileNet-FPN-SSD为例(结合mobileNetv1，FPN和SSD等业界领先算法)，从患者手部照片中检测出指甲区域，并能分类出指甲的位置(大拇指/食指/中指/无名指/小拇指)，针对检测模型检测出的指甲区域，剪裁甲盖ROI区域，作为分割网络的输入数据。
(2)分割模型
本发明的实例中，主要包括两个编码解码结构(S1,S2),如图3所示，编码部分主要用于获取图像中的特征，解码部分主要用于精确分割，为了提高甲损伤分割模型的准确性，本发明中编码解码结构以采用业界先进的分割网络Unet++为例。
S1编码部分是一个下采样过程，由5个编码层组成，每个编码层先做一组卷积层的运算，生成一个特征编码图的集合，再进行ReLU激活函数的运算，编码层之间通过最大池化进行下采样。解码部分与编码部分相似，同样用卷积层来输出解码的特征图，解码层之间通过反卷积进行上采样。编码层和解码层之间经过密集的卷积块进行跳跃连接，抓取不同层次的特征图通过叠加的方式整合，将特征图从编码层传递到对应的上采样解码层。最后用一个1*1的带simoid激活函数的卷积层来进行一个像素级的分类，生成甲盖区域和甲损伤分割(融合点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲的甲损伤区域)的概率图。
S2采用与S1结构相似的网络结构，为了提高对目标较小且数据量相对较少的白甲、甲横嵴、新月形出血点等甲损伤分割准确率，将S1输出的甲损伤区域特征图与甲盖ROI区域通道合并，输入S2，细分割出点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲的概率图。
分割模型训练时，首先训练S1。引入深度监督，通过交叉熵损失、MS-SSIM loss、iou loss的混合损失函数来训练分割网络S1，再冻结S1的权重参数训练S2，采用Focalloss、iou loss的混合损失函数来对各层进行监督。
Loss＝γLS1+(1-γ)LS2
其中，LS1为训练S1的损失函数，LS2为训练S2的损失函数，Loss为联合训练S1和S2的损失函数，α1、α2、β、γ为系数，
分别为bce loss、iou loss、focal loss以及MS-SSIM loss，其中MS-SSIM loss用于衡量S1预测概率图像和标签Groundtruth之间的多尺度结构相似性，保留更多的图像边缘和细节信息，其表达式为：
M表示不同尺度，μp、μg分别表示预测概率图和Ground truth的均值，σp、σg表示预测概率图像和Ground truth的标准差，σpg表示预测概率图像和Ground truth的协方差，βm、γm表示两项之间的相对重要性，C1、C2常数项防止除数为0。
在上述步骤的基础上，还可以进行银屑病甲的辅助评分。
5)银屑病甲评分
基于深度学习分割模型的分割结果，本发明提出三种银屑病甲评分方法：
(1)计算甲损伤总面积占甲盖区域的比例。
只用分割模型S1即可，利用模型S1的输出计算甲盖区域和甲损伤总面积，该评分取值范围在[0-1]范围内，分值越大，甲银屑病程度越高。
其中，S表示甲损伤总面积，Snail表示甲盖区域面积。
(2)合并甲损伤面积时，如果两种甲损伤区域重合，则增加重合部位权重(例如非重合部位权重为1，2种皮损重合部位权重为2)，最终总面积占甲盖区域的面积之比。
该评分方法考虑到同一部位可能发生不同的甲损伤，利用S1输出的甲盖区域分割结果计算甲盖区域面积和S2输出的不同的点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲分割结果计算加权总面积，该评分最大取值可能大于1。
其中，
表示甲损伤加权总面积。
(3)分别计算不同的甲损伤面积占甲盖区域面积的比值，最后加权求和，权重的值根据临床上该甲损伤的重要性和严重性计算。
其中，N表示甲损伤的类别数量，wi为不同类别的甲损伤权重，该权重值根据临床上甲损伤的重要性和严重性统计计算获得，Si分别对应不同甲损伤面积即点状凹陷面积、甲脆裂面积、甲横嵴面积、甲下角化过度面积、油滴状改变面积、新月形出血点面积、甲下线状出血面积、甲分离面积、白甲面积。
这三种评分方法从不同角度考虑银屑病甲的严重程度，第一种评分方法NS从整体损伤面积上评估甲损伤程度,不考虑甲损伤类别，其取值范围在[0-1]。第二种评分方法NWS是对NS从严重程度上的改进，考虑到同一个部位发生多种甲损伤比只发生一种甲损伤更严重。而第三种评分方法WNS则是在第二种评分方法上进一步改进，考虑临床上不同甲损伤的重要性和严重程度不同，加权计算不同甲损伤面积与甲盖区域面积比之和。
本发明还提供的一种基于深度学习的银屑病甲图像处理系统，包括：
检测模块：利用带有标注信息的指甲图像训练检测网络，通过检测网络从指甲图像中剪裁出甲盖ROI区域。标注信息包括：甲盖区域、点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲以及其他干扰皮损。指甲图像还包括辅助信息，辅助信息包括：患者的病史信息、指甲位置或拍摄的角度信息。
数据预处理模块：利用带有标注信息的指甲图像生成甲盖区域的检测标签和甲盖区域、甲损伤的分割标签；甲盖区域的检测标签包括利用标注的甲盖区域mask生成bounding box。
粗分割模块：利用甲盖ROI区域训练粗分割模型，通过粗分割模型从甲盖ROI区域中分割出甲盖区域和甲损伤区域。
细分割模块：利用甲盖ROI区域和甲损伤区域训练细分割模型，通过细分割模型将甲盖ROI区域和甲损伤区域进行图像通道合并，细分割出每个症状的细分甲损伤区域。
计算模块：计算甲损伤区域的总面积占甲盖区域的比例，或者，将多个症状的细分甲损伤区域合并，增加多个症状的细分甲损伤区域重合部分的权重，计算合并后的甲损伤区域的总面积占甲盖区域的比例，或者，计算细分甲损伤区域总面积占甲盖区域的比例。
在训练粗分割模型和细分割模型时，引入深度监督，通过交叉熵损失、MS-SSIMloss、iou loss的混合损失函数来训练粗分割模型，再冻结粗分割模型的权重参数训练细分割模型，采用Focal loss、iou loss的混合损失函数来对细分割模型的各层进行监督。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于深度学习的银屑病甲图像处理方法，其特征在于，包括：
检测步骤：利用带有标注信息的指甲图像训练检测网络，通过所述检测网络从指甲图像中剪裁出甲盖ROI区域；
粗分割步骤：利用所述甲盖ROI区域训练粗分割模型，通过所述粗分割模型从所述甲盖ROI区域中分割出甲盖区域和甲损伤区域；
细分割步骤：利用所述甲盖ROI区域和所述甲损伤区域训练细分割模型，通过所述细分割模型将所述甲盖ROI区域和所述甲损伤区域进行图像通道合并，细分割出每个症状的细分甲损伤区域；
计算步骤：计算所述甲损伤区域的总面积占所述甲盖区域的比例，或者，将多个症状的细分甲损伤区域合并，增加多个症状的细分甲损伤区域重合部分的权重，计算合并后的所述甲损伤区域的总面积占所述甲盖区域的比例，或者，计算所述细分甲损伤区域总面积占所述甲盖区域的比例。
2.根据权利要求1所述的基于深度学习的银屑病甲图像处理方法，其特征在于，所述标注信息包括：甲盖区域、点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲以及干扰皮损。
3.根据权利要求1所述的基于深度学习的银屑病甲图像处理方法，其特征在于，在所述检测步骤之后还包括：
数据预处理步骤：利用带有标注信息的指甲图像生成甲盖区域的检测标签和甲盖区域、甲损伤的分割标签；
所述甲盖区域的检测标签包括利用标注的甲盖区域mask生成bounding box。
4.根据权利要求1所述的基于深度学习的银屑病甲图像处理方法，其特征在于，在训练所述粗分割模型和所述细分割模型时，引入深度监督，通过交叉熵损失、MS-SSIM loss、iouloss的混合损失函数来训练所述粗分割模型，再冻结所述粗分割模型的权重参数训练所述细分割模型，采用Focal loss、iou loss的混合损失函数来对所述细分割模型的各层进行监督。
5.根据权利要求1所述的基于深度学习的银屑病甲图像处理方法，其特征在于，所述指甲图像还包括辅助信息，所述辅助信息包括：患者的病史信息、指甲位置或拍摄的角度信息。
6.一种基于深度学习的银屑病甲图像处理系统，其特征在于，包括：
检测模块：利用带有标注信息的指甲图像训练检测网络，通过所述检测网络从指甲图像中剪裁出甲盖ROI区域；
粗分割模块：利用所述甲盖ROI区域训练粗分割模型，通过所述粗分割模型从所述甲盖ROI区域中分割出甲盖区域和甲损伤区域；
细分割模块：利用所述甲盖ROI区域和所述甲损伤区域训练细分割模型，通过所述细分割模型将所述甲盖ROI区域和所述甲损伤区域进行图像通道合并，细分割出每个症状的细分甲损伤区域；
计算模块：计算所述甲损伤区域的总面积占所述甲盖区域的比例，或者，将多个症状的细分甲损伤区域合并，增加多个症状的细分甲损伤区域重合部分的权重，计算合并后的所述甲损伤区域的总面积占所述甲盖区域的比例，或者，计算所述细分甲损伤区域总面积占所述甲盖区域的比例。
7.根据权利要求6所述的基于深度学习的银屑病甲图像处理系统，其特征在于，所述标注信息包括：甲盖区域、点状凹陷、甲脆裂、甲横嵴、甲下角化过度、油滴状改变、新月形出血点、甲下线状出血、甲分离、白甲以及干扰皮损。
8.根据权利要求6所述的基于深度学习的银屑病甲图像处理系统，其特征在于，在所述检测模块之后还包括：
数据预处理模块：利用带有标注信息的指甲图像生成甲盖区域的检测标签和甲盖区域、甲损伤的分割标签；
所述甲盖区域的检测标签包括利用标注的甲盖区域mask生成bounding box。
9.根据权利要求6所述的基于深度学习的银屑病甲图像处理系统，其特征在于，在训练所述粗分割模型和所述细分割模型时，引入深度监督，通过交叉熵损失、MS-SSIM loss、iouloss的混合损失函数来训练所述粗分割模型，再冻结所述粗分割模型的权重参数训练所述细分割模型，采用Focal loss、iou loss的混合损失函数来对所述细分割模型的各层进行监督。
10.根据权利要求6所述的基于深度学习的银屑病甲图像处理系统，其特征在于，所述指甲图像还包括辅助信息，所述辅助信息包括：患者的病史信息、指甲位置或拍摄的角度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111543692.0A CN114224289B (zh) | 2021-12-16 | 2021-12-16 | 基于深度学习的银屑病甲图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111543692.0A CN114224289B (zh) | 2021-12-16 | 2021-12-16 | 基于深度学习的银屑病甲图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114224289A true CN114224289A (zh) | 2022-03-25 |
| CN114224289B CN114224289B (zh) | 2023-08-22 |
Family
ID=80757467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111543692.0A Active CN114224289B (zh) | 2021-12-16 | 2021-12-16 | 基于深度学习的银屑病甲图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114224289B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882018A (zh) * | 2022-06-30 | 2022-08-09 | 杭州咏柳科技有限公司 | 一种基于图像的银屑病严重程度的评估系统 |
| CN117456283A (zh) * | 2023-12-18 | 2024-01-26 | 南京江北新区生物医药公共服务平台有限公司 | 一种基于深度学习的指甲病图像智能诊断方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101065061A (zh) * | 2004-10-29 | 2007-10-31 | 强生消费者公司 | 拍摄并观看皮肤的图像的装置和方法 |
| CN105664366A (zh) * | 2016-01-07 | 2016-06-15 | 青岛紫元光电有限公司 | 新型灰指甲治疗系统及其实现方法 |
| US20200135310A1 (en) * | 2017-06-21 | 2020-04-30 | H3Alth Technologies Inc. | System and method for manufacturing custom nails |
| JPWO2018216680A1 (ja) * | 2017-05-25 | 2020-05-21 | 学校法人早稲田大学 | 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム |
| KR20210067815A (ko) * | 2019-11-29 | 2021-06-08 | 광운대학교 산학협력단 | 사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치 |
| CN113012138A (zh) * | 2021-03-26 | 2021-06-22 | 华南理工大学 | 一种甲黑线皮肤镜图像分析方法及系统 |
| CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
-
2021
- 2021-12-16 CN CN202111543692.0A patent/CN114224289B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101065061A (zh) * | 2004-10-29 | 2007-10-31 | 强生消费者公司 | 拍摄并观看皮肤的图像的装置和方法 |
| CN105664366A (zh) * | 2016-01-07 | 2016-06-15 | 青岛紫元光电有限公司 | 新型灰指甲治疗系统及其实现方法 |
| JPWO2018216680A1 (ja) * | 2017-05-25 | 2020-05-21 | 学校法人早稲田大学 | 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム |
| US20200135310A1 (en) * | 2017-06-21 | 2020-04-30 | H3Alth Technologies Inc. | System and method for manufacturing custom nails |
| KR20210067815A (ko) * | 2019-11-29 | 2021-06-08 | 광운대학교 산학협력단 | 사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치 |
| CN113012138A (zh) * | 2021-03-26 | 2021-06-22 | 华南理工大学 | 一种甲黑线皮肤镜图像分析方法及系统 |
| CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882018A (zh) * | 2022-06-30 | 2022-08-09 | 杭州咏柳科技有限公司 | 一种基于图像的银屑病严重程度的评估系统 |
| CN117456283A (zh) * | 2023-12-18 | 2024-01-26 | 南京江北新区生物医药公共服务平台有限公司 | 一种基于深度学习的指甲病图像智能诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114224289B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alzubaidi et al. | DFU_QUTNet: diabetic foot ulcer classification using novel deep convolutional neural network | |
| Li et al. | Cov-Net: A computer-aided diagnosis method for recognizing COVID-19 from chest X-ray images via machine vision | |
| Quan et al. | An effective convolutional neural network for classifying red blood cells in malaria diseases | |
| Goyal et al. | Fully convolutional networks for diabetic foot ulcer segmentation | |
| CN114224289A (zh) | 基于深度学习的银屑病甲图像处理方法及系统 | |
| Rania et al. | Semantic segmentation of diabetic foot ulcer images: dealing with small dataset in DL approaches | |
| Moura et al. | ABCD rule and pre-trained CNNs for melanoma diagnosis | |
| Wijesinghe et al. | A smart telemedicine system with deep learning to manage diabetic retinopathy and foot ulcers | |
| Shahsavari et al. | Skin lesion detection using an ensemble of deep models: SLDED | |
| Asare et al. | Detection of anaemia using medical images: A comparative study of machine learning algorithms–A systematic literature review | |
| Celebi et al. | Guest editorial skin image analysis in the age of deep learning | |
| Mustafa et al. | Hybrid Color Texture Features Classification Through ANN for Melanoma. | |
| Raj et al. | PsLSNetV2: End to end deep learning system for measurement of area score of psoriasis regions in color images | |
| Biswas et al. | DFU_MultiNet: A deep neural network approach for detecting diabetic foot ulcers through multi-scale feature fusion using the DFU dataset | |
| Swerdlow et al. | Simultaneous Segmentation and Classification of Pressure Injury Image Data Using Mask‐R‐CNN | |
| Nagaraj et al. | Optimized TSA ResNet Architecture with TSH—Discriminatory Features for Kidney Stone Classification from QUS Images | |
| Karimi et al. | DEU-Net: Dual-Encoder U-Net for Automated Skin Lesion Segmentation | |
| CN114529718B (zh) | 一种结外鼻型nk/t细胞淋巴瘤诊断与预后模型的构建方法 | |
| Arooj et al. | Machine Learning Models for the Classification of Skin Cancer | |
| Manudhas et al. | Automatic Kidney Stone Detection using XResNet 152 Model for CT Images | |
| Liu et al. | Multi-class skin lesion segmentation for cutaneous T-cell lymphomas on high-resolution clinical images | |
| Anandhi et al. | Color and Texture Prior Based Segmentation and Analysis of Psoriatic Disease Types Using MPSO | |
| Guo et al. | The gap in the thickness: estimating effectiveness of pulmonary nodule detection in thick-and thin-section CT images with 3D deep neural networks | |
| Prakash et al. | Development of Automatic Segmentation Techniques using Convolutional Neural Networks to Differentiate Diabetic Foot Ulcers | |
| Singh et al. | Automated Skin Cancer Detection using Deep Learning with Self-Attention Mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |