CN110008887A - 一种基于深度学习的痤疮自动分级方法 - Google Patents

一种基于深度学习的痤疮自动分级方法 Download PDF

Info

Publication number
CN110008887A
CN110008887A CN201910250510.7A CN201910250510A CN110008887A CN 110008887 A CN110008887 A CN 110008887A CN 201910250510 A CN201910250510 A CN 201910250510A CN 110008887 A CN110008887 A CN 110008887A
Authority
CN
China
Prior art keywords
face
image
acne
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910250510.7A
Other languages
English (en)
Inventor
张守纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute Of Information Technology Co Ltd
Original Assignee
Nanjing Institute Of Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute Of Information Technology Co Ltd filed Critical Nanjing Institute Of Information Technology Co Ltd
Priority to CN201910250510.7A priority Critical patent/CN110008887A/zh
Publication of CN110008887A publication Critical patent/CN110008887A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本发明涉及一种基于深度学习的痤疮严重性自动分级方法,包括如下步骤:S1,制作人脸面部样本数据集,训练深度卷积神经网络分级模型;S2,采集待检测人脸面部图像,利用人脸特征点检测网络识别图像中的人脸特征点并区域切割,同时去除无效区域;S3,拼接切割后的图像得到皮肤区域图像,输入深度卷积神经网络分级模型,得到分级结果。通过摄像头获取患者正脸、左侧脸、右侧脸面部图像,计算机利用预先训练好的深度卷积神经网络分级模型自动对面部痤疮进行严重度分级,为患者病情的诊断提供准确的辅助信息。

Description

一种基于深度学习的痤疮自动分级方法
技术领域
本发明涉及皮肤痤疮检测技术领域,尤其涉及一种基于深度学习的痤疮自动分级方法。
背景技术
痤疮是毛囊皮脂腺单位的一种慢性炎症性皮肤病,主要好发于青少年,对青少年的心理和社交影响很大,但青春期后往往能自然减轻或痊愈。临床表现以好发于面部的粉刺、丘疹、脓疱、结节等多形性皮损为特点。痤疮分级是根据病人面部皮损类别以及皮损数目对痤疮进行的严重性级别分类,对于不同的痤疮严重性级别,临床可以采用不同的治疗方案进行治疗。目前医院比较常见的分类方法一般将痤疮分为四级:轻度(1级):仅有粉刺;中度(2级):炎性丘疹;中度(3级):脓包;重度(4级):结节、囊肿。对于不同的级别,临床选择不同的治疗方案进行治疗,所以痤疮分级的判断对于病人的治疗起到了至关重要的作用。
传统的痤疮分级手段需要比较强的专业知识及临床经验,而随着痤疮患病患者日渐增加,人们开始探求一种新型的自动分级方法。
发明内容
本发明的目的在于提供一种基于深度学习的痤疮自动分级方法,通过摄像头获取患者正脸、左侧脸、右侧脸面部图像,计算机利用预先训练好的深度卷积神经网络分级模型自动对面部痤疮进行严重度分级,为患者病情的诊断提供准确的辅助信息。
为实现上述目的,本发明的技术方案如下:
一种基于深度学习的痤疮严重性自动分级方法,包括如下步骤:
S1,制作人脸面部样本数据集,训练深度卷积神经网络分级模型;
S2,采集待检测人脸面部图像,利用人脸特征点检测网络识别图像中的人脸特征点并区域切割,同时去除无效区域;
S3,拼接切割后的图像得到皮肤区域图像,输入深度卷积神经网络分级模型,得到分级结果。
进一步地,步骤1中,收集面部图像,提取人脸特征点,分割后拼接得到数据集,再根据临床经验进行分级,将分级后的数据输入深度卷积神经网络模型,训练得到深度卷积神经网络分级模型。
进一步地,步骤2具体为,待检测人脸面部图像包括左侧脸、正脸和右侧脸图像,利用人脸特征点检测网络检测并提取面部若干个特征点位置并归一化处理,根据特征点位置对人脸面部图像分割,得到左侧脸部分、右侧脸部分、正脸上半部分和正脸下半部分,且去除面部无效区域。
进一步地,将步骤2中分割得到的四幅部分图片按照在人脸中的位置拼接,得到人脸面部出现痤疮的皮肤区域图像,最后,经深度卷积神经网络分级模型得到分级结果并根据痤疮等级给出初步治疗意见。
本发明的基于深度学习的痤疮自动分级方法,通过训练好的深度卷积神经网络分级模型,自动对患者面部痤疮进行严重性诊断,本分级方法有效的将人工智能技术、图像处理技术应用到临床医学诊断中,无需医生介入便能自动给出对病人的诊断意见,并且具有一定的实时性,同时,能够为各大皮肤病诊室提供辅助医疗,节约诊疗时间,方便广大医生和患病群众。
附图说明
图1是本发明一实施例中基于深度学习的痤疮自动分级方法的流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的详细说明。
本发明的一种基于深度学习的痤疮严重性自动分级方法,如图1所示,具体包括如下步骤:
步骤一,采集待检测人脸面部图像,待检测人脸面部图像包括左侧脸、正脸和右侧脸图像,利用人脸特征点检测网络检测并提取面部若干个特征点位置并归一化处理,根据特征点位置对人脸面部图像分割,得到左侧脸部分、右侧脸部分、正脸上半部分和正脸下半部分,去除面部五官等无效区域。
步骤二,将分割得到的四幅部分图片按照在人脸中的位置拼接,得到人脸面部出现痤疮的皮肤区域图像,最后,经深度卷积神经网络分级模型得到分级结果并根据痤疮等级给出初步治疗意见。
自动分级前,先制作面部图像样本数据集,收集大量痤疮患者的面部图像,提取面部图像中若干个特征点,根据特征点位置分割后拼接得到样本数据集,由专业医生根据临床经验进行分级,将分级后的数据集输入事先设计好的深度卷积神经网络模型,训练得到深度卷积神经网络分级模型。
在一实施例中,特征点检测的具体方法为,将正脸图像、左侧脸图像和右侧脸图像输入人脸特征点检测网络进行检测,输出68个特征点的像素位置,利用特征点的像素位置先对三幅图像进行归一化处理,具体为单张照片中左右眼高度对齐且保持左右眼连线为一固定长度。
分割时,对于正脸图像,选择额头部分和下巴部分,其余部分切除;对于左、右侧脸图像,选择左侧和右侧面部区域,其余部分切除;将得到的四个人脸部分区域图片按照在人脸中的位置紧凑拼接,从而得出患者脸部可能出现痤疮的皮肤区域图像。
以检测某一患者面部痤疮等级的具体分级方法为例:
首先,采集患者面部图像,为了全面获取面部区域信息,利用固定在患者面部左侧、正前、右侧三个方向的高清摄像头获取患者左侧脸、正脸、右侧脸的面部图像,为了使图像采集环境更加稳定,摄像头与拍摄位置固定,拍摄周围设置为纯色背景,以减少环境干扰。
其次,利用人脸特征点检测网络对患者面部图像进行检测并提取出人脸图像中68个特征点位置,通过特征点位置将人脸图像中皮肤区域进行分割,同时去除鼻孔、嘴巴、毛发等无效部分,得到左侧脸部分、右侧脸部分、正脸上半部分、正脸下半部分四个部分,再经过合理的拼接得到患者脸部可能出现痤疮的皮肤区域图像。
最后,将皮肤区域图像输入深度神经网络分级模型分级,得到患者痤疮分级结果,并针对分级结果,对患者的痤疮严重程度给出初步治疗意见。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的具体实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的痤疮严重性自动分级方法,其特征在于,包括如下步骤:
S1,制作人脸面部样本数据集,训练深度卷积神经网络分级模型;
S2,采集待检测人脸面部图像,利用人脸特征点检测网络识别图像中的人脸特征点并区域切割,同时去除无效区域;
S3,拼接切割后的图像得到皮肤区域图像,输入深度卷积神经网络分级模型,得出分级结果。
2.根据权利要求1所述的基于深度学习的痤疮严重性自动分级方法,其特征在于:步骤1中,收集面部图像,提取人脸特征点,分割后拼接得到数据集,再根据临床经验进行分级,将分级后的数据输入深度卷积神经网络模型,训练得到深度卷积神经网络分级模型。
3.根据权利要求1所述的基于深度学习的痤疮严重性自动分级方法,其特征在于:步骤2具体为,待检测人脸面部图像包括左侧脸、正脸和右侧脸图像,利用人脸特征点检测网络检测并提取面部若干个特征点位置并归一化处理,根据特征点位置对人脸面部图像分割,得到左侧脸部分、右侧脸部分、正脸上半部分和正脸下半部分,且去除面部无效区域。
4.根据权利要求3所述的基于深度学习的痤疮严重性自动分级方法,其特征在于:将步骤2中分割得到的四幅部分图片按照在人脸中的位置拼接,得到人脸面部出现痤疮的皮肤区域图像,最后,经深度卷积神经网络分级模型得到分级结果并根据痤疮等级给出初步治疗意见。
CN201910250510.7A 2019-03-29 2019-03-29 一种基于深度学习的痤疮自动分级方法 Pending CN110008887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910250510.7A CN110008887A (zh) 2019-03-29 2019-03-29 一种基于深度学习的痤疮自动分级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910250510.7A CN110008887A (zh) 2019-03-29 2019-03-29 一种基于深度学习的痤疮自动分级方法

Publications (1)

Publication Number Publication Date
CN110008887A true CN110008887A (zh) 2019-07-12

Family

ID=67168915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910250510.7A Pending CN110008887A (zh) 2019-03-29 2019-03-29 一种基于深度学习的痤疮自动分级方法

Country Status (1)

Country Link
CN (1) CN110008887A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751661A (zh) * 2019-10-28 2020-02-04 南京泓图人工智能技术研究院有限公司 一种基于聚类算法的面部黄褐斑区域自动分割方法
CN110796648A (zh) * 2019-10-28 2020-02-14 南京泓图人工智能技术研究院有限公司 一种基于黑色素提取的面部黄褐斑区域自动分割方法
CN112509688A (zh) * 2020-09-25 2021-03-16 卫宁健康科技集团股份有限公司 压疮图片自动分析系统、方法、设备和介质
CN112837304A (zh) * 2021-02-10 2021-05-25 姜京池 一种皮肤检测方法、计算机存储介质及计算设备
CN113128375A (zh) * 2021-04-02 2021-07-16 西安融智芙科技有限责任公司 图像识别方法及电子设备、计算机可读存储介质
CN113159227A (zh) * 2021-05-18 2021-07-23 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于神经网络的痤疮图像识别方法、系统和装置
US20210287797A1 (en) * 2020-03-11 2021-09-16 Memorial Sloan Kettering Cancer Center Parameter selection model using image analysis
CN116935388A (zh) * 2023-09-18 2023-10-24 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN117392484A (zh) * 2023-12-06 2024-01-12 深圳市宗匠科技有限公司 一种模型训练方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324952A (zh) * 2013-05-27 2013-09-25 北京工业大学 基于特征提取的痤疮分类方法
CN104299011A (zh) * 2014-10-13 2015-01-21 吴亮 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324952A (zh) * 2013-05-27 2013-09-25 北京工业大学 基于特征提取的痤疮分类方法
CN104299011A (zh) * 2014-10-13 2015-01-21 吴亮 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
温妮: ""基于卷积神经网络的面部痤疮分级评估方法研究"", 《中国博士学位论文全文数据库医药卫生科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751661A (zh) * 2019-10-28 2020-02-04 南京泓图人工智能技术研究院有限公司 一种基于聚类算法的面部黄褐斑区域自动分割方法
CN110796648A (zh) * 2019-10-28 2020-02-14 南京泓图人工智能技术研究院有限公司 一种基于黑色素提取的面部黄褐斑区域自动分割方法
US20210287797A1 (en) * 2020-03-11 2021-09-16 Memorial Sloan Kettering Cancer Center Parameter selection model using image analysis
US11887732B2 (en) * 2020-03-11 2024-01-30 Memorial Sloan Kettering Cancer Center Parameter selection model using image analysis
CN112509688A (zh) * 2020-09-25 2021-03-16 卫宁健康科技集团股份有限公司 压疮图片自动分析系统、方法、设备和介质
CN112837304A (zh) * 2021-02-10 2021-05-25 姜京池 一种皮肤检测方法、计算机存储介质及计算设备
CN112837304B (zh) * 2021-02-10 2024-03-12 姜京池 一种皮肤检测方法、计算机存储介质及计算设备
CN113128375A (zh) * 2021-04-02 2021-07-16 西安融智芙科技有限责任公司 图像识别方法及电子设备、计算机可读存储介质
CN113159227A (zh) * 2021-05-18 2021-07-23 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于神经网络的痤疮图像识别方法、系统和装置
CN116935388A (zh) * 2023-09-18 2023-10-24 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN116935388B (zh) * 2023-09-18 2023-11-21 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN117392484A (zh) * 2023-12-06 2024-01-12 深圳市宗匠科技有限公司 一种模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110008887A (zh) 一种基于深度学习的痤疮自动分级方法
Ngai et al. Emotion recognition based on convolutional neural networks and heterogeneous bio-signal data sources
US20200160521A1 (en) Diabetic retinopathy recognition system based on fundus image
WO2018201632A1 (zh) 用于识别眼底图像病变的人工神经网络及系统
Cohen et al. Disability in Meniere's disease
WO2020119355A1 (zh) 自闭症谱系障碍患者的多模态情感认知能力的评估方法
Wang et al. Automated explainable multidimensional deep learning platform of retinal images for retinopathy of prematurity screening
US8388529B2 (en) Differential diagnosis of neuropsychiatric conditions
US20190392953A1 (en) A system and method of diagnosis skin and tissue lesions and abnormalities
Yang et al. Undisturbed mental state assessment in the 5G era: a case study of depression detection based on facial expressions
Nespolo et al. Evaluation of artificial intelligence–based intraoperative guidance tools for phacoemulsification cataract surgery
KR102111775B1 (ko) 진료 데이터 수집 관리 시스템 및 방법
CN116746885A (zh) 麻醉深度监测系统及其方法
CA3111668A1 (en) Systems and methods of pain treatment
GB2593824A (en) Analysis method and system for feature data change of diabetic retinopathy fundus, and storage device
Ugon et al. Decision system integrating preferences to support sleep staging
WO2020190648A1 (en) Method and system for measuring pupillary light reflex with a mobile phone
US20230298306A1 (en) Systems and methods for comparing images of event indicators
Wu et al. Training deep learning models to work on multiple devices by cross-domain learning with no additional annotations
Keskinarkaus et al. Pain fingerprinting using multimodal sensing: pilot study
Jaiswal et al. A cropping algorithm for automatically extracting regions of ınterest from panoramic radiographs based on maxilla and mandible parts
hamzah Abed et al. Diabetic retinopathy diagnosis based on convolutional neural network
Urina-Triana et al. Machine Learning and AI Approaches for Analyzing Diabetic and Hypertensive Retinopathy in Ocular Images: A Literature Review
TWI811013B (zh) 醫療決策修正方法
CN113887311B (zh) 一种保护眼科患者隐私的方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712