CN110008887A - 一种基于深度学习的痤疮自动分级方法 - Google Patents
一种基于深度学习的痤疮自动分级方法 Download PDFInfo
- Publication number
- CN110008887A CN110008887A CN201910250510.7A CN201910250510A CN110008887A CN 110008887 A CN110008887 A CN 110008887A CN 201910250510 A CN201910250510 A CN 201910250510A CN 110008887 A CN110008887 A CN 110008887A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- acne
- convolutional neural
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000002874 Acne Vulgaris Diseases 0.000 title claims abstract description 36
- 206010000496 acne Diseases 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000001815 facial effect Effects 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 208000020154 Acnes Diseases 0.000 abstract description 2
- 238000011221 initial treatment Methods 0.000 description 3
- 206010040882 skin lesion Diseases 0.000 description 3
- 231100000444 skin lesion Toxicity 0.000 description 3
- 206010033733 Papule Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明涉及一种基于深度学习的痤疮严重性自动分级方法,包括如下步骤:S1,制作人脸面部样本数据集,训练深度卷积神经网络分级模型;S2,采集待检测人脸面部图像,利用人脸特征点检测网络识别图像中的人脸特征点并区域切割,同时去除无效区域;S3,拼接切割后的图像得到皮肤区域图像,输入深度卷积神经网络分级模型,得到分级结果。通过摄像头获取患者正脸、左侧脸、右侧脸面部图像,计算机利用预先训练好的深度卷积神经网络分级模型自动对面部痤疮进行严重度分级,为患者病情的诊断提供准确的辅助信息。
Description
技术领域
本发明涉及皮肤痤疮检测技术领域,尤其涉及一种基于深度学习的痤疮自动分级方法。
背景技术
痤疮是毛囊皮脂腺单位的一种慢性炎症性皮肤病,主要好发于青少年,对青少年的心理和社交影响很大,但青春期后往往能自然减轻或痊愈。临床表现以好发于面部的粉刺、丘疹、脓疱、结节等多形性皮损为特点。痤疮分级是根据病人面部皮损类别以及皮损数目对痤疮进行的严重性级别分类,对于不同的痤疮严重性级别,临床可以采用不同的治疗方案进行治疗。目前医院比较常见的分类方法一般将痤疮分为四级:轻度(1级):仅有粉刺;中度(2级):炎性丘疹;中度(3级):脓包;重度(4级):结节、囊肿。对于不同的级别,临床选择不同的治疗方案进行治疗,所以痤疮分级的判断对于病人的治疗起到了至关重要的作用。
传统的痤疮分级手段需要比较强的专业知识及临床经验,而随着痤疮患病患者日渐增加,人们开始探求一种新型的自动分级方法。
发明内容
本发明的目的在于提供一种基于深度学习的痤疮自动分级方法,通过摄像头获取患者正脸、左侧脸、右侧脸面部图像,计算机利用预先训练好的深度卷积神经网络分级模型自动对面部痤疮进行严重度分级,为患者病情的诊断提供准确的辅助信息。
为实现上述目的,本发明的技术方案如下:
一种基于深度学习的痤疮严重性自动分级方法,包括如下步骤:
S1,制作人脸面部样本数据集,训练深度卷积神经网络分级模型;
S2,采集待检测人脸面部图像,利用人脸特征点检测网络识别图像中的人脸特征点并区域切割,同时去除无效区域;
S3,拼接切割后的图像得到皮肤区域图像,输入深度卷积神经网络分级模型,得到分级结果。
进一步地,步骤1中,收集面部图像,提取人脸特征点,分割后拼接得到数据集,再根据临床经验进行分级,将分级后的数据输入深度卷积神经网络模型,训练得到深度卷积神经网络分级模型。
进一步地,步骤2具体为,待检测人脸面部图像包括左侧脸、正脸和右侧脸图像,利用人脸特征点检测网络检测并提取面部若干个特征点位置并归一化处理,根据特征点位置对人脸面部图像分割,得到左侧脸部分、右侧脸部分、正脸上半部分和正脸下半部分,且去除面部无效区域。
进一步地,将步骤2中分割得到的四幅部分图片按照在人脸中的位置拼接,得到人脸面部出现痤疮的皮肤区域图像,最后,经深度卷积神经网络分级模型得到分级结果并根据痤疮等级给出初步治疗意见。
本发明的基于深度学习的痤疮自动分级方法,通过训练好的深度卷积神经网络分级模型,自动对患者面部痤疮进行严重性诊断,本分级方法有效的将人工智能技术、图像处理技术应用到临床医学诊断中,无需医生介入便能自动给出对病人的诊断意见,并且具有一定的实时性,同时,能够为各大皮肤病诊室提供辅助医疗,节约诊疗时间,方便广大医生和患病群众。
附图说明
图1是本发明一实施例中基于深度学习的痤疮自动分级方法的流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的详细说明。
本发明的一种基于深度学习的痤疮严重性自动分级方法,如图1所示,具体包括如下步骤:
步骤一,采集待检测人脸面部图像,待检测人脸面部图像包括左侧脸、正脸和右侧脸图像,利用人脸特征点检测网络检测并提取面部若干个特征点位置并归一化处理,根据特征点位置对人脸面部图像分割,得到左侧脸部分、右侧脸部分、正脸上半部分和正脸下半部分,去除面部五官等无效区域。
步骤二,将分割得到的四幅部分图片按照在人脸中的位置拼接,得到人脸面部出现痤疮的皮肤区域图像,最后,经深度卷积神经网络分级模型得到分级结果并根据痤疮等级给出初步治疗意见。
自动分级前,先制作面部图像样本数据集,收集大量痤疮患者的面部图像,提取面部图像中若干个特征点,根据特征点位置分割后拼接得到样本数据集,由专业医生根据临床经验进行分级,将分级后的数据集输入事先设计好的深度卷积神经网络模型,训练得到深度卷积神经网络分级模型。
在一实施例中,特征点检测的具体方法为,将正脸图像、左侧脸图像和右侧脸图像输入人脸特征点检测网络进行检测,输出68个特征点的像素位置,利用特征点的像素位置先对三幅图像进行归一化处理,具体为单张照片中左右眼高度对齐且保持左右眼连线为一固定长度。
分割时,对于正脸图像,选择额头部分和下巴部分,其余部分切除;对于左、右侧脸图像,选择左侧和右侧面部区域,其余部分切除;将得到的四个人脸部分区域图片按照在人脸中的位置紧凑拼接,从而得出患者脸部可能出现痤疮的皮肤区域图像。
以检测某一患者面部痤疮等级的具体分级方法为例:
首先,采集患者面部图像,为了全面获取面部区域信息,利用固定在患者面部左侧、正前、右侧三个方向的高清摄像头获取患者左侧脸、正脸、右侧脸的面部图像,为了使图像采集环境更加稳定,摄像头与拍摄位置固定,拍摄周围设置为纯色背景,以减少环境干扰。
其次,利用人脸特征点检测网络对患者面部图像进行检测并提取出人脸图像中68个特征点位置,通过特征点位置将人脸图像中皮肤区域进行分割,同时去除鼻孔、嘴巴、毛发等无效部分,得到左侧脸部分、右侧脸部分、正脸上半部分、正脸下半部分四个部分,再经过合理的拼接得到患者脸部可能出现痤疮的皮肤区域图像。
最后,将皮肤区域图像输入深度神经网络分级模型分级,得到患者痤疮分级结果,并针对分级结果,对患者的痤疮严重程度给出初步治疗意见。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的具体实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于深度学习的痤疮严重性自动分级方法,其特征在于,包括如下步骤:
S1,制作人脸面部样本数据集,训练深度卷积神经网络分级模型;
S2,采集待检测人脸面部图像,利用人脸特征点检测网络识别图像中的人脸特征点并区域切割,同时去除无效区域;
S3,拼接切割后的图像得到皮肤区域图像,输入深度卷积神经网络分级模型,得出分级结果。
2.根据权利要求1所述的基于深度学习的痤疮严重性自动分级方法,其特征在于:步骤1中,收集面部图像,提取人脸特征点,分割后拼接得到数据集,再根据临床经验进行分级,将分级后的数据输入深度卷积神经网络模型,训练得到深度卷积神经网络分级模型。
3.根据权利要求1所述的基于深度学习的痤疮严重性自动分级方法,其特征在于:步骤2具体为,待检测人脸面部图像包括左侧脸、正脸和右侧脸图像,利用人脸特征点检测网络检测并提取面部若干个特征点位置并归一化处理,根据特征点位置对人脸面部图像分割,得到左侧脸部分、右侧脸部分、正脸上半部分和正脸下半部分,且去除面部无效区域。
4.根据权利要求3所述的基于深度学习的痤疮严重性自动分级方法,其特征在于:将步骤2中分割得到的四幅部分图片按照在人脸中的位置拼接,得到人脸面部出现痤疮的皮肤区域图像,最后,经深度卷积神经网络分级模型得到分级结果并根据痤疮等级给出初步治疗意见。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910250510.7A CN110008887A (zh) | 2019-03-29 | 2019-03-29 | 一种基于深度学习的痤疮自动分级方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910250510.7A CN110008887A (zh) | 2019-03-29 | 2019-03-29 | 一种基于深度学习的痤疮自动分级方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110008887A true CN110008887A (zh) | 2019-07-12 |
Family
ID=67168915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910250510.7A Pending CN110008887A (zh) | 2019-03-29 | 2019-03-29 | 一种基于深度学习的痤疮自动分级方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110008887A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751661A (zh) * | 2019-10-28 | 2020-02-04 | 南京泓图人工智能技术研究院有限公司 | 一种基于聚类算法的面部黄褐斑区域自动分割方法 |
CN110796648A (zh) * | 2019-10-28 | 2020-02-14 | 南京泓图人工智能技术研究院有限公司 | 一种基于黑色素提取的面部黄褐斑区域自动分割方法 |
CN112509688A (zh) * | 2020-09-25 | 2021-03-16 | 卫宁健康科技集团股份有限公司 | 压疮图片自动分析系统、方法、设备和介质 |
CN112837304A (zh) * | 2021-02-10 | 2021-05-25 | 姜京池 | 一种皮肤检测方法、计算机存储介质及计算设备 |
CN113128375A (zh) * | 2021-04-02 | 2021-07-16 | 西安融智芙科技有限责任公司 | 图像识别方法及电子设备、计算机可读存储介质 |
CN113159227A (zh) * | 2021-05-18 | 2021-07-23 | 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) | 一种基于神经网络的痤疮图像识别方法、系统和装置 |
US20210287797A1 (en) * | 2020-03-11 | 2021-09-16 | Memorial Sloan Kettering Cancer Center | Parameter selection model using image analysis |
CN116935388A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学 | 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统 |
CN117392484A (zh) * | 2023-12-06 | 2024-01-12 | 深圳市宗匠科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324952A (zh) * | 2013-05-27 | 2013-09-25 | 北京工业大学 | 基于特征提取的痤疮分类方法 |
CN104299011A (zh) * | 2014-10-13 | 2015-01-21 | 吴亮 | 一种基于人脸图像识别的肤质与皮肤问题识别检测方法 |
CN108921825A (zh) * | 2018-06-12 | 2018-11-30 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的检测面部皮肤点状缺陷的方法及装置 |
-
2019
- 2019-03-29 CN CN201910250510.7A patent/CN110008887A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324952A (zh) * | 2013-05-27 | 2013-09-25 | 北京工业大学 | 基于特征提取的痤疮分类方法 |
CN104299011A (zh) * | 2014-10-13 | 2015-01-21 | 吴亮 | 一种基于人脸图像识别的肤质与皮肤问题识别检测方法 |
CN108921825A (zh) * | 2018-06-12 | 2018-11-30 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的检测面部皮肤点状缺陷的方法及装置 |
Non-Patent Citations (1)
Title |
---|
温妮: ""基于卷积神经网络的面部痤疮分级评估方法研究"", 《中国博士学位论文全文数据库医药卫生科技辑》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751661A (zh) * | 2019-10-28 | 2020-02-04 | 南京泓图人工智能技术研究院有限公司 | 一种基于聚类算法的面部黄褐斑区域自动分割方法 |
CN110796648A (zh) * | 2019-10-28 | 2020-02-14 | 南京泓图人工智能技术研究院有限公司 | 一种基于黑色素提取的面部黄褐斑区域自动分割方法 |
US20210287797A1 (en) * | 2020-03-11 | 2021-09-16 | Memorial Sloan Kettering Cancer Center | Parameter selection model using image analysis |
US11887732B2 (en) * | 2020-03-11 | 2024-01-30 | Memorial Sloan Kettering Cancer Center | Parameter selection model using image analysis |
CN112509688A (zh) * | 2020-09-25 | 2021-03-16 | 卫宁健康科技集团股份有限公司 | 压疮图片自动分析系统、方法、设备和介质 |
CN112837304A (zh) * | 2021-02-10 | 2021-05-25 | 姜京池 | 一种皮肤检测方法、计算机存储介质及计算设备 |
CN112837304B (zh) * | 2021-02-10 | 2024-03-12 | 姜京池 | 一种皮肤检测方法、计算机存储介质及计算设备 |
CN113128375A (zh) * | 2021-04-02 | 2021-07-16 | 西安融智芙科技有限责任公司 | 图像识别方法及电子设备、计算机可读存储介质 |
CN113159227A (zh) * | 2021-05-18 | 2021-07-23 | 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) | 一种基于神经网络的痤疮图像识别方法、系统和装置 |
CN116935388A (zh) * | 2023-09-18 | 2023-10-24 | 四川大学 | 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统 |
CN116935388B (zh) * | 2023-09-18 | 2023-11-21 | 四川大学 | 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统 |
CN117392484A (zh) * | 2023-12-06 | 2024-01-12 | 深圳市宗匠科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110008887A (zh) | 一种基于深度学习的痤疮自动分级方法 | |
Ngai et al. | Emotion recognition based on convolutional neural networks and heterogeneous bio-signal data sources | |
US20200160521A1 (en) | Diabetic retinopathy recognition system based on fundus image | |
WO2018201632A1 (zh) | 用于识别眼底图像病变的人工神经网络及系统 | |
Cohen et al. | Disability in Meniere's disease | |
WO2020119355A1 (zh) | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 | |
Wang et al. | Automated explainable multidimensional deep learning platform of retinal images for retinopathy of prematurity screening | |
US8388529B2 (en) | Differential diagnosis of neuropsychiatric conditions | |
US20190392953A1 (en) | A system and method of diagnosis skin and tissue lesions and abnormalities | |
Yang et al. | Undisturbed mental state assessment in the 5G era: a case study of depression detection based on facial expressions | |
Nespolo et al. | Evaluation of artificial intelligence–based intraoperative guidance tools for phacoemulsification cataract surgery | |
KR102111775B1 (ko) | 진료 데이터 수집 관리 시스템 및 방법 | |
CN116746885A (zh) | 麻醉深度监测系统及其方法 | |
CA3111668A1 (en) | Systems and methods of pain treatment | |
GB2593824A (en) | Analysis method and system for feature data change of diabetic retinopathy fundus, and storage device | |
Ugon et al. | Decision system integrating preferences to support sleep staging | |
WO2020190648A1 (en) | Method and system for measuring pupillary light reflex with a mobile phone | |
US20230298306A1 (en) | Systems and methods for comparing images of event indicators | |
Wu et al. | Training deep learning models to work on multiple devices by cross-domain learning with no additional annotations | |
Keskinarkaus et al. | Pain fingerprinting using multimodal sensing: pilot study | |
Jaiswal et al. | A cropping algorithm for automatically extracting regions of ınterest from panoramic radiographs based on maxilla and mandible parts | |
hamzah Abed et al. | Diabetic retinopathy diagnosis based on convolutional neural network | |
Urina-Triana et al. | Machine Learning and AI Approaches for Analyzing Diabetic and Hypertensive Retinopathy in Ocular Images: A Literature Review | |
TWI811013B (zh) | 醫療決策修正方法 | |
CN113887311B (zh) | 一种保护眼科患者隐私的方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190712 |