CN112669959B - 一种基于图像的白癜风病情自动评估方法 - Google Patents
一种基于图像的白癜风病情自动评估方法 Download PDFInfo
- Publication number
- CN112669959B CN112669959B CN202011500721.0A CN202011500721A CN112669959B CN 112669959 B CN112669959 B CN 112669959B CN 202011500721 A CN202011500721 A CN 202011500721A CN 112669959 B CN112669959 B CN 112669959B
- Authority
- CN
- China
- Prior art keywords
- vitiligo
- area
- training
- pictures
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010047642 Vitiligo Diseases 0.000 title claims abstract description 75
- 238000011156 evaluation Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 34
- 241000519995 Stachys sylvatica Species 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 3
- 230000037380 skin damage Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000009432 framing Methods 0.000 claims 1
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000017520 skin disease Diseases 0.000 description 2
- 206010048768 Dermatosis Diseases 0.000 description 1
- 206010024380 Leukoderma Diseases 0.000 description 1
- 208000012641 Pigmentation disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000002741 leukoplakia Diseases 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于图像的白癜风病情自动评估方法，本方法首先采用YOLO V3网络对图像中皮肤进行检测得到白癜风区域，然后应用UNet++网络对白癜风区域进行精细分割，得到白癜风的精准区域，然后再计算白癜风区域像素面积，作为评估白癜风病情的指标，从而实现基于图像自动评估患者的白癜风病情。本发明操作自动简便，摆脱以往繁复的操作流程，用白癜风白斑面积作为评估标准更加客观真实，该评估方法也可以用于以白癜风为代表的其他色素性皮肤。
Description
【技术领域】
本发明涉及智慧医疗领域，具体为一种基于图像的白癜风病情自动评估方法。
【背景技术】
智慧医疗是一套融合物联网、云计算等技术，以患者数据为中心的医疗服务模式，白癜风是一种获得性慢性色素沉着疾病，该病的主要表现为在身体的表面形成大小没有规则的白班皮损区域，该疾病严重影响儿童和成人的生活质量和外貌美观。通过对白癜风区域进行检测和分割，通过计算白癜风的白斑区域面积，进而获得白癜风病情的合理评估。
传统的白癜风评分标准有欧洲白癜风特别工作小组(VETFa)和白癜风面积评分指数(VASI)。中国中西医结合学会皮肤性病专业委员会色素病学组也提出了白癜风的诊疗标准,通过对白癜风区域进行分型和分割，再通过九分法和点数法对面积进行计算，进而对白癜风有一个综合的评分。
但是昂贵的设备和软件以及此类方法中的存在的一些低效操作并不实用，例如：
(1)将透明薄片放置在白癜风病变上并用普通笔勾画边界，然后用计算网格上的点或者用CAD软件来测量，这些步骤较为繁琐，不能够简洁快速进行测量以评估患者病情。
(2)白癜风范围评分(VES)使用六个精心设计的评估流程，将患者和专家的交互增强，实现了更好的评估者内部可靠性。然而，这些方法基于人眼视觉评估，并且需要医疗人员进行一定程度的主观干预。
(3)通过Photoshop和ImageJ等图像处理软件来进行手动分割白癜风区域，计算白斑面积在临床上操作不便并且较为繁琐。
(4)到目前为止，国内大多数的临床采用的是主观判断来评价治疗前后肤色情况，缺乏较客观的评价标准。
由此可见，提出了一套客观的自动评估白癜风的方法是本领域亟需解决的问题。
【发明内容】
针对上述问题，本发明提出了一种基于图像的白癜风病情自动评估方法，本方法首先采用YOLOV3网络对图像中皮肤进行检测得到白癜风区域，然后应用UNet++网络对白癜风区域进行精细分割，得到白癜风的精准区域，然后再计算白癜风区域像素面积，作为评估白癜风病情的指标，从而实现基于图像自动评估患者的白癜风病情；本方法具体包括以下步骤：
步骤一：对待评估的白癜风患者图像进行白癜风区域的检测；
步骤二：对获得的白癜风区域进行高精度的白斑分割；
步骤三：对分割获得的白癜风白斑进行面积计算，得到的结果作为白癜风病情的评估指标，进而对病情进行评估。
进一步的，所述步骤一包括准备训练检测网络的数据集、用数据集对YOLOV3神经网络进行训练、训练完成后用验证集照片进行验证。
进一步的，所述步骤二包括准备训练分割网络的数据集、用分割好的数据集对UNet++神经网络进行训练。
进一步的，所述步骤三包括计算皮损区域面积、计算图片上像素值、根据像素值判断病情。
进一步的，所述数据集是使用label-image软件将多张照片的白癜风区域进行框定标注，分为训练集、测试集和验证集，数据集间无交叉，完全独立。
进一步的，所述数据集中80％作为训练集用于训练模型，10％作为测试集用于测试模型表现是否良好，10％作为验证集用来对模型进行调整优化，各个数据集之间无交叉且完全独立。
与现有技术相比，本发明具有以下有益效果：
(1)操作自动简便，摆脱以往繁复的操作流程。
(2)用白癜风白斑面积作为评估标准更加客观真实。
(3)该评估方法也可以用于以白癜风为代表的其他色素性皮肤病上。
【附图说明】
图1是本发明基于图像的白癜风病情自动评估方法的流程图。
【具体实施方式】
本发明所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。
参见图1，本发明提出了一种基于图像的白癜风病情自动评估方法，本方法首先采用YOLOV3网络对图像中皮肤进行检测得到白癜风区域，然后应用UNet++网络对白癜风区域进行精细分割，得到白癜风的精准区域，然后再计算白癜风区域像素面积，作为评估白癜风病情的指标，从而实现基于图像自动评估患者的白癜风病情。
该方法包括如下步骤：
步骤一：对待评估的白癜风患者图像进行白癜风区域的检测，待评估的白癜风患者图像应当整体清晰，毛发、背景等遮挡物应当尽量减少，图像中皮肤高光应当尽量减少，以免造成检测的干扰；
1.1准备训练检测网络的数据集：采集多位白癜风患者的共2000张白癜风的数码照片，筛除了聚焦差、图像质量差的照片，使用label-image软件将采集的2000张照片的白癜风区域进行框定标注，分为训练集、测试集和验证集，数据集间无交叉，完全独立；
1.2用上述标注好的数据集对YOLOV3神经网络进行训练：首先使用卷积层对输入到网络的训练集照片提取细小的特征，得到照片的特征图；然后将照片以特征图的大小分成多个小方格，若标注图中某个待检测区域的中心坐标落在某一个小方格中，就由该小方格来对此待检测区域进行预测，每个小方格都会预测一定个数的外接矩形框；YOLOv3中对小方格的预测的矩形框是3个，并且这些预测矩形框的初始大小都不同，预测框中只有和真值的IOU最大的外接矩形框才是用来预测该目标的；
1.3训练完成后用验证集照片进行验证，对出现的错标、漏标情况进行分析：进行数据集的扩充以及对模型算法进行修改和优化，对错标、漏标图片进行纠正，然后再投入模型中进行学习训练，反复进行多轮，最后将待检测患者的照片通过检测模型，得到白癜风检测的结果。
步骤二：对获得的白癜风区域进行高精度的白斑分割；
2.1准备训练分割网络的数据集：采集多位白癜风患者的1000张临床照片，通过光影魔术手手动对白癜风白斑区域进行分割出来作为样本，选取的白癜风区域大部分位于图片中心，且没有衣物、头发等遮挡物。这些样本中80％作为训练集用于训练模型，10％作为测试集用于测试模型表现是否良好，10％作为验证集用来对模型进行调整优化，各个数据集之间无交叉且完全独立；
2.2用上述分割好的数据集对UNet++神经网络进行训练：首先进行数据集的扩充，需要注意图像的平移和旋转不变性，接着在3×3的网格上使用随机位移矢量进行变形操作，然后使用三次插值法计算每个像素的位移，训练时由于卷积的时候没有进行填充操作，因此输出的照片尺寸会小于输入的照片尺寸，为了减少开销并最大程度地利用GPU内存，训练时使用图块，将批处理减少为单图像处理，最后通过UNet++里面的参数，在训练集上将输入与真实输出进行非线性映射，从而得到的这组参数也可以用来预测测试集中的数据，从而完成白癜风区域的预测诊断。
步骤三：对分割获得的白癜风白斑进行面积计算，得到的结果作为白癜风病情的评估指标，进而对病情进行评估；
3.1计算皮损区域面积：将UNet++分割出来的白癜风白斑区域定位到患者图片的具体位置上，然后将除了该白癜风区域的其他区域的像素值都赋值为0，即黑色；
3.2在待评估患者的照片上依次遍历，计算该照片上像素值，即白色像素的个数，最后的总和即视为白癜风白斑区域的面积。
3.3根据像素值判断病情；临床医生根据获得的白癜风白斑区域面积直观的判断患者病情，方便给出治疗方案。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (1)
1.一种基于图像的白癜风病情自动评估方法，其特征在于，本方法首先采用YOLO V3网络对照片中皮肤进行检测得到白癜风区域，然后应用UNet++网络对白癜风区域进行精细分割，得到白癜风的精准区域，然后再计算白癜风区域像素面积，作为评估白癜风病情的指标，从而实现基于图像自动评估患者的白癜风病情；
方法包括如下步骤：
步骤1：对待评估的白癜风患者图像进行白癜风区域的检测；
步骤1.1准备训练检测网络的数据集：采集多位白癜风患者的共2000张白癜风的数码照片，使用label-image软件将采集的2000张照片的白癜风区域进行框定标注，分为训练集、测试集和验证集，数据集间无交叉，完全独立；
步骤1.2用上述标注好的数据集对YOLOV3神经网络进行训练：首先使用卷积层对输入到网络的训练集照片提取细小的特征，得到照片的特征图；然后将照片以特征图的大小分成多个小方格，若标注图中某个待检测区域的中心坐标落在某一个小方格中，就由该小方格来对此待检测区域进行预测，每个小方格都会预测一定个数的外接矩形框；YOLOV3中对小方格的预测的外接矩形框是3个，并且这些预测外接矩形框的初始大小都不同，预测框中只有和真值的IOU最大的外接矩形框才是用来预测目标的；
步骤1.3训练完成后用验证集照片进行验证，对出现的错标、漏标情况进行分析：进行数据集的扩充以及对模型算法进行修改和优化，对错标、漏标图片进行纠正，然后再投入模型中进行学习训练，反复进行多轮，最后将待检测患者的照片通过检测模型，得到白癜风检测的结果；
步骤2：对获得的白癜风区域进行高精度的白斑分割；
步骤2.1准备训练分割网络的数据集：采集多位白癜风患者的1000张临床照片，通过光影魔术手手动对白癜风白斑区域进行分割出来作为样本，选取的白癜风区域大部分位于图片中心，且没有衣物、头发遮挡物；这些样本中80％作为训练集用于训练模型，10％作为测试集用于测试模型表现是否良好，10％作为验证集用来对模型进行调整优化，各个数据集之间无交叉且完全独立；
步骤2.2用上述分割好的数据集对UNet++神经网络进行训练：首先进行数据集的扩充，需要注意图像的平移和旋转不变性，接着在3×3的网格上使用随机位移矢量进行变形操作，然后使用三次插值法计算每个像素的位移，训练时使用图块，将批处理减少为单图像处理，最后通过UNet++里面的参数，在训练集上将输入与真实输出进行非线性映射，得到参数用来预测测试集中的数据，从而完成白癜风区域的预测诊断；
步骤3：对分割获得的白癜风白斑进行面积计算，得到的结果作为白癜风病情的评估指标，进而对病情进行评估；
步骤3.1计算皮损区域面积：将UNet++分割出来的白癜风白斑区域定位到患者图片的具体位置上，然后将除了该白癜风区域的其他区域的像素值都赋值为0，即黑色；
步骤3.2在待评估患者的照片上依次遍历，计算该照片上像素值，即白色像素的个数，最后的总和即视为白癜风白斑区域的面积；
步骤3.3根据像素值判断病情；临床医生根据获得的白癜风白斑区域面积直观的判断患者病情。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011500721.0A CN112669959B (zh) | 2020-12-17 | 2020-12-17 | 一种基于图像的白癜风病情自动评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011500721.0A CN112669959B (zh) | 2020-12-17 | 2020-12-17 | 一种基于图像的白癜风病情自动评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112669959A CN112669959A (zh) | 2021-04-16 |
| CN112669959B true CN112669959B (zh) | 2024-03-29 |
Family
ID=75405156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011500721.0A Active CN112669959B (zh) | 2020-12-17 | 2020-12-17 | 一种基于图像的白癜风病情自动评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112669959B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299068A (zh) * | 2022-03-07 | 2022-04-08 | 中南大学湘雅医院 | 基于皮肤图像评估银屑病严重程度的智能决策系统 |
| CN116269217B (zh) * | 2023-02-10 | 2024-04-26 | 安徽医科大学 | 一种基于深度学习的白癜风治疗效果量化评估方法 |
| CN117314949B (zh) * | 2023-11-28 | 2024-02-20 | 山东远硕上池健康科技有限公司 | 基于人工智能的人员伤情检测鉴定方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648825A (zh) * | 2018-05-30 | 2018-10-12 | 江苏大学附属医院 | 一种基于图像识别的白癜风白斑评估方法 |
| WO2019091509A1 (de) * | 2017-11-09 | 2019-05-16 | FotoFinder Systems GmbH | Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb |
| CN110648318A (zh) * | 2019-09-19 | 2020-01-03 | 泰康保险集团股份有限公司 | 用于皮肤病的辅助分析方法及装置、电子设备、存储介质 |
| CN111508016A (zh) * | 2020-04-14 | 2020-08-07 | 南京泓图人工智能技术研究院有限公司 | 一种基于图像处理的白癜风区域色度值和面积计算的方法 |
-
2020
- 2020-12-17 CN CN202011500721.0A patent/CN112669959B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019091509A1 (de) * | 2017-11-09 | 2019-05-16 | FotoFinder Systems GmbH | Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb |
| CN108648825A (zh) * | 2018-05-30 | 2018-10-12 | 江苏大学附属医院 | 一种基于图像识别的白癜风白斑评估方法 |
| CN110648318A (zh) * | 2019-09-19 | 2020-01-03 | 泰康保险集团股份有限公司 | 用于皮肤病的辅助分析方法及装置、电子设备、存储介质 |
| CN111508016A (zh) * | 2020-04-14 | 2020-08-07 | 南京泓图人工智能技术研究院有限公司 | 一种基于图像处理的白癜风区域色度值和面积计算的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于YOLOv3 和YCrCb 的人脸口罩检测与规范佩戴识别;肖俊杰;《软件》;第41卷(第7期);正文第0-3节 * |
| 基于卷积神经网络UNet 构建糖尿病性黄斑水肿自动识别 模型;许冬 等;《眼科新进展》;第40卷(第4期);正文第1-3节 * |
| 深度学习在医学影像中的应用综述;施俊;汪琳琳;王珊珊;陈艳霞;王乾;魏冬铭;梁淑君;彭佳林;易佳锦;刘盛锋;倪东;王明亮;张道强;沈定刚;;中国图象图形学报(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112669959A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669959B (zh) | 一种基于图像的白癜风病情自动评估方法 | |
| CN108764286B (zh) | 一种基于迁移学习的血管图像中特征点的分类识别方法 | |
| CN102525381B (zh) | 图像处理装置、图像处理方法及计算机可读取的记录装置 | |
| Ding et al. | A novel deep learning pipeline for retinal vessel detection in fluorescein angiography | |
| CN110786824B (zh) | 基于边界框修正网络的粗标注眼底照出血病变检测方法及系统 | |
| CN111407245A (zh) | 一种基于摄像头的非接触式心率、体温测量方法 | |
| CN111047610A (zh) | 病灶区域呈现方法和装置 | |
| Fu et al. | Optic disc segmentation by U-net and probability bubble in abnormal fundus images | |
| CN113420826A (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| CN111986157B (zh) | 一种数字病理图像质量评价系统 | |
| CN117152507B (zh) | 一种牙齿健康状态检测方法、装置、设备及存储介质 | |
| CN111797900B (zh) | 一种oct-a图像的动静脉分类方法及装置 | |
| CN114694236A (zh) | 一种基于循环残差卷积神经网络的眼球运动分割定位方法 | |
| CN112349391A (zh) | 一种优化肋骨自动标号方法 | |
| CN112509079A (zh) | 颅内血管造影增强三维狭窄化分析模型的建立方法 | |
| CN112509075A (zh) | 基于智慧医疗的颅内血管病灶标记与三维显示方法 | |
| CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
| CN114445328A (zh) | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 | |
| CN112200794A (zh) | 一种基于卷积神经网络的多模型糖网病变自动筛查方法 | |
| CN112420199A (zh) | 一种基于白癜风色度的疗效评估方法 | |
| CN112509081A (zh) | 颅内血管造影增强三维狭窄化分析模型的建立方法 | |
| CN113011333A (zh) | 基于近红外图像获取最佳静脉穿刺点和方向的系统及方法 | |
| CN117764985B (zh) | 眼底图像分割模型训练方法、设备和青光眼辅助诊断系统 | |
| CN117315357B (zh) | 基于中医虚实辨证分类的图像识别方法以及相关装置 | |
| CN116228545B (zh) | 基于视网膜特征点的眼底彩色照相图像拼接方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |