CN115440346A - 基于半监督学习的痤疮分级方法、系统、设备及存储介质 - Google Patents

基于半监督学习的痤疮分级方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115440346A
CN115440346A CN202211386719.4A CN202211386719A CN115440346A CN 115440346 A CN115440346 A CN 115440346A CN 202211386719 A CN202211386719 A CN 202211386719A CN 115440346 A CN115440346 A CN 115440346A
Authority
CN
China
Prior art keywords
acne
network
semi
label
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211386719.4A
Other languages
English (en)
Other versions
CN115440346B (zh
Inventor
蒋献
张蕾
刘文杰
李佳奇
杜丹
张楗伟
魏新
王君有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202211386719.4A priority Critical patent/CN115440346B/zh
Publication of CN115440346A publication Critical patent/CN115440346A/zh
Application granted granted Critical
Publication of CN115440346B publication Critical patent/CN115440346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Dermatology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于半监督学习的痤疮分级方法、系统、设备与存储介质，涉及面部痤疮的识别与分级，其目的在于解决现有技术中存在的因模型没有包含分级所需的痤疮计数信息而导致的分级预测准确率低的技术问题。其通过搭建半监督学习网络模型，模型训练时先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值。本申请基于半监督面部痤疮分级，在训练时不需要过多的有标签数据，可以从大量的无标签数据中自动学习特征，从而达到有标签和无标签数据之间互补。

Description

基于半监督学习的痤疮分级方法、系统、设备及存储介质
技术领域
本发明属于医疗影像处理技术领域，涉及面部痤疮的识别与分级，尤其涉及一种基于半监督学习的痤疮分级方法、系统、设备及存储介质。
背景技术
痤疮是一种在成年人和青少年人群中常见的皮肤疾病。痤疮是毛囊皮脂腺单位的一种多因素疾病，临床表现从轻度的粉刺型痤疮到暴发型伴有系统性症状的痤疮。痤疮的主要表现形态有粉刺、丘疹、脓疱、结节、囊肿等等。根据调查，80%的青少年患有痤疮，并且这种慢性疾病在某些情况下可能会持续到成年。更严重的是，患有严重痤疮疾病的患者脸上不可避免地会留下疤痕和色素沉着，这会影响患者的外观和情绪。因此，一个准确的痤疮严重程度分级评估和相应的治疗方案对患者是必不可少的。
痤疮严重程度分级通常结合了基于标准的病变计数和基于经验的整图评估，通过分析患者脸部的皮损数量并结合医生对患者整个脸部的判断经验而划分的一种分类方法。判断的标准不同，同一个病人的分级也不完全相同。常用的分级方法如Hayashi分级法将患者面部图片分为了四个等级，包括：“mild”（轻微），“moderate”（中等），“severe”（严重）和“very severe”（非常严重）四个等级。
随着人工智能技术的发展，越来越多的人工智能方面的技术应用于医学领域，用于医学图像是识别、分类等。
申请号为201910250510.7的发明专利申请就公开了一种基于深度学习的痤疮自动分级方法，其包括如下步骤：S1，制作人脸面部样本数据集，训练深度卷积神经网络分级模型；S2，采集待检测人脸面部图像，利用人脸特征点检测网络识别图像中的人脸特征点并区域切割，同时去除无效区域；S3，拼接切割后的图像得到皮肤区域图像，输入深度卷积神经网络分级模型，得到分级结果。通过摄像头获取患者正脸、左侧脸、右侧脸面部图像，计算机利用预先训练好的深度卷积神经网络分级模型自动对面部痤疮进行严重度分级，为患者病情的诊断提供准确的辅助信息。
除了基于深度学习的方法实现自动分级外，还有基于半监督学习的方法。申请号为202111059104.6的发明专利就公开了糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，包括如下步骤：1）构建联合分级网络，其中MobileNet V2为模型的骨干网，并含有自适应注意力模块，模型在PyTorch架构上实现，并以端到端的方式进行训练；2）构建基于半监督学习的网络训练，所述半监督学习的网络训练采用一个学生模型和一个教师模型，同时进行训练，并且都使用提出的联合分级网络；3）进行网络分级测试。本发明实现糖尿病视网膜病变和糖尿病性黄斑水肿联合分级任务，在训练过程中进行自适应调整，灵活性高；半监督学习策略可以充分利用未标记数据，在一定程度上缓解标记数据不足的问题。
现有技术中，半监督学习的应用也越来越广泛，逐渐成为一种重要的自动分级方法，但并未采用半监督学习的方法用于痤疮的分级。此外，现有的痤疮分级中,样本数据大多只有分级的标签信息，没有关于痤疮病变计数的信息，导致模型并不能包含分级所需的痤疮计数信息，分级预测的准确率较低。
发明内容
本发明的目的在于：为了解决现有技术中存在的因模型没有包含分级所需的痤疮计数信息而导致的分级预测准确率低的技术问题，本发明提供一种基于半监督学习的痤疮分级方法、系统、设备及存储介质。
本发明为了实现上述目的具体采用以下技术方案：
一种基于半监督学习的痤疮分级方法，包括如下步骤：
步骤S1，获取样本数据
从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
步骤S2，搭建模型
搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
步骤S3，训练模型
利用步骤S1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤S2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
步骤S4，实时分级
将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在步骤S3进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 100002_DEST_PATH_IMAGE002
；
其中，
Figure 100002_DEST_PATH_IMAGE004
表示在t时刻时学生网络的权值参数，
Figure 100002_DEST_PATH_IMAGE006
表示在t时刻时教师网络的权值参数，
Figure 100002_DEST_PATH_IMAGE008
表示在t-1时刻时教师网络的权值参数，
Figure 100002_DEST_PATH_IMAGE010
是一个平滑系数的超参数。
优选地，脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04。
优选地，步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的分级损失函数
Figure 100002_DEST_PATH_IMAGE012
为：
Figure 100002_DEST_PATH_IMAGE014
其中，
Figure 100002_DEST_PATH_IMAGE016
表示输入的第
Figure 100002_DEST_PATH_IMAGE018
张图片，
Figure 100002_DEST_PATH_IMAGE020
表示第
Figure 812969DEST_PATH_IMAGE018
张图片的分级标签，
Figure 100002_DEST_PATH_IMAGE022
表示控制分布的维度的参数，被设置为1，
Figure 100002_DEST_PATH_IMAGE024
表示有序分分级值，其中
Figure 100002_DEST_PATH_IMAGE026
，
Figure 100002_DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure 100002_DEST_PATH_IMAGE030
表示实际分布概率，
Figure 100002_DEST_PATH_IMAGE032
表示学生模型预测的属于
Figure 900749DEST_PATH_IMAGE024
分级的预测概率分布；
在计算实际分布概率
Figure 211644DEST_PATH_IMAGE030
时，具体公式计算为:
Figure 100002_DEST_PATH_IMAGE034
其中，
Figure 154324DEST_PATH_IMAGE022
是控制分布的维度的参数，被设置为1，
Figure 499855DEST_PATH_IMAGE024
为有序分级值，其中
Figure 853475DEST_PATH_IMAGE026
，
Figure 386088DEST_PATH_IMAGE028
表示痤疮严重程度的分数总数，
Figure 116147DEST_PATH_IMAGE020
表示第
Figure 299872DEST_PATH_IMAGE018
张图片的分级标签，
Figure 100002_DEST_PATH_IMAGE036
是一个正则化参数以确保整个部分的概率总和为1。
优选地，步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的计数损失函数
Figure 100002_DEST_PATH_IMAGE038
为：
Figure 100002_DEST_PATH_IMAGE040
其中，
Figure 886711DEST_PATH_IMAGE016
表示输入的第
Figure 922931DEST_PATH_IMAGE018
张图片，
Figure 100002_DEST_PATH_IMAGE042
表示第
Figure 456681DEST_PATH_IMAGE018
张图片的痤疮计数标签，
Figure 100002_DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 100002_DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 100002_DEST_PATH_IMAGE048
，
Figure 100002_DEST_PATH_IMAGE050
表示痤疮总个数，
Figure 100002_DEST_PATH_IMAGE052
表示
Figure 619547DEST_PATH_IMAGE016
作为输入时学生网络输出的预测计数概率；
在计算实际计数概率
Figure 100002_DEST_PATH_IMAGE054
时，具体公式计算为：
Figure 100002_DEST_PATH_IMAGE056
其中，
Figure 924757DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 697541DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 753091DEST_PATH_IMAGE048
，
Figure 662141DEST_PATH_IMAGE050
表示痤疮总个数；
Figure 528466DEST_PATH_IMAGE042
表示第
Figure 522967DEST_PATH_IMAGE018
张图片的痤疮计数标签。
优选地，步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，累计分级损失函数
Figure 100002_DEST_PATH_IMAGE058
为：
Figure 100002_DEST_PATH_IMAGE060
其中，
Figure 680410DEST_PATH_IMAGE016
表示输入的第
Figure 709546DEST_PATH_IMAGE018
张图片，
Figure 323935DEST_PATH_IMAGE020
表示第
Figure 540153DEST_PATH_IMAGE018
张图片的分级标签，
Figure 953817DEST_PATH_IMAGE042
表示第
Figure 837459DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 45587DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 765412DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 451608DEST_PATH_IMAGE026
，
Figure 455337DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure 100002_DEST_PATH_IMAGE062
表示属于
Figure 365524DEST_PATH_IMAGE024
分级的痤疮计算范围；
在计算实际计数概率
Figure 100002_DEST_PATH_IMAGE064
时，具体计算公式为：
Figure 100002_DEST_PATH_IMAGE066
其中，
Figure 867918DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 357805DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 684881DEST_PATH_IMAGE048
，
Figure 251123DEST_PATH_IMAGE050
表示痤疮总个数；
Figure 194808DEST_PATH_IMAGE042
表示第
Figure 753966DEST_PATH_IMAGE018
张图片的痤疮计数标签；
在计算累计实际分级概率
Figure 100002_DEST_PATH_IMAGE068
时，具体计算公式为：
Figure 100002_DEST_PATH_IMAGE070
其中，
Figure 247133DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 702385DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 133366DEST_PATH_IMAGE026
，
Figure 965056DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure 797883DEST_PATH_IMAGE042
表示第
Figure 440348DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 93046DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 994006DEST_PATH_IMAGE048
，
Figure 150181DEST_PATH_IMAGE050
表示痤疮总个数;
Figure 478394DEST_PATH_IMAGE062
表示属于
Figure 352809DEST_PATH_IMAGE024
分级的痤疮计算范围。
优选地，步骤S3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的一致性损失函数
Figure DEST_PATH_IMAGE072
为：
Figure DEST_PATH_IMAGE074
其中，
Figure 923640DEST_PATH_IMAGE016
表示输入的第
Figure 950633DEST_PATH_IMAGE018
张图片，
Figure 449748DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 77038DEST_PATH_IMAGE026
，
Figure 54221DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure DEST_PATH_IMAGE076
表示学生网络输出的学生预测分级概率，
Figure DEST_PATH_IMAGE078
表示教师网络输出的教师预测分级概率。
优选地，步骤S3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的特征相似度损失函数
Figure DEST_PATH_IMAGE080
为：
Figure DEST_PATH_IMAGE082
其中，
Figure DEST_PATH_IMAGE084
代表
Figure DEST_PATH_IMAGE086
正则，
Figure DEST_PATH_IMAGE088
、
Figure DEST_PATH_IMAGE090
分别对应学生网络和教师网络的第
Figure 168677DEST_PATH_IMAGE018
个相似度列向量，
Figure DEST_PATH_IMAGE092
表示训练时从数据集
Figure DEST_PATH_IMAGE094
中采样的数据，B表示计算相似度时一次采样的图片的张数
Figure DEST_PATH_IMAGE096
表示无标签数据集，
Figure DEST_PATH_IMAGE098
表示有标签数据集。
一种基于半监督学习的痤疮分级系统，包括：
样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在模型训练模块进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 681435DEST_PATH_IMAGE002
；
其中，
Figure 530443DEST_PATH_IMAGE004
表示在t时刻时学生网络的权值参数，
Figure 45738DEST_PATH_IMAGE006
表示在t时刻时教师网络的权值参数，
Figure 100002_DEST_PATH_IMAGE099
表示在t-1时刻时教师网络的权值参数，
Figure 578481DEST_PATH_IMAGE010
是一个平滑系数的超参数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
本发明的有益效果如下：
1、本发明中，考虑了痤疮计数特征，在标准的痤疮严重分级中，医生需要结合整图以及痤疮个数两个信息共同判断病人，但是以往的模型只用到了整图信息，忽视了痤疮计数特征，使得模型缺少必要的训练信息。这个优点是通过本方法中提到的“标签分布设计”技术实现的。
2、本发明中，采用半监督面部痤疮分级方法，优点在于在训练时不需要过多的有标签数据，可以从大量的无标签数据中自动学习特征，从而达到有标签和无标签数据之间互补；而现有的其他方法都是有监督训练的，只能使用有标签数据来训练，这些优点时由本发明提出的半监督训练框架实现的。
3、本发明中，节省标注时间，有标签数据需要医生专门标注，费时费力，在数据量大的情况下短时间很难完成标注，而我们的模型则只需要很少的一部分标签，就可以开始训练，同时能从无标签数据中自动学习。
4、本发明中，考虑到了痤疮分级标签的分布特征，以往的方法是将标签转化为one-hot形式来训练模型，会造成单一类别预测值特别大，而忽视其他分级；但痤疮分级的特点在于分级可能是一个区间而非一个固定的值，所以本发明将其转化成了分布，以适应数据的特点，这个优点是通过本方法中提到的“标签分布设计”技术实现的。
5、本发明中，充分考虑痤疮数据之间的相似性，有些痤疮在图片形式上存在相似性，但以往的模型都没有考虑到这一点，因此我们在模型中添加了这种痤疮相似度特征，以加强模型的预测性能，这个优点是通过本申请中提到的“特征一致性设计”一节的技术实现的。
附图说明
图1是本发明的流程示意图；
图2是本发明中半监督学习网络模型的结构示意图；
图3是本发明中分级映射的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供一种基于半监督学习的痤疮分级方法，用于对脸部痤疮进行分级。如图1所示，其包括如下步骤：
步骤S1，获取样本数据
从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签。
脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04，该数据集包括1475张面部痤疮图片，且这些图片均有标签，标签包括分级标签和痤疮计数标签，分级标签标示图片中痤疮的严重程度分级，分级标签包括四个痤疮严重程度分级，痤疮计数标签为图片中痤疮的病变计数总数。
获取到上述面部痤疮图像样本数据后，对样本数据进行预处理，以适应计算机模型的输入格式。在数据预处理时，所有的样本图像统一采用3维格式（通道数×图片长×图片宽），即采用差值形式将样本图像调整成3×224×224大小。
步骤S2，搭建模型
搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络。
如图2所示，将样本数据输入教师网络、学生网络，EMA表示更新教师模型权值的方式采取的是指数移动平均方式，且
Figure 419398DEST_PATH_IMAGE012
、
Figure 21281DEST_PATH_IMAGE038
和
Figure 340267DEST_PATH_IMAGE058
表示训练有标签数据时采取的三种损失函数，
Figure 960473DEST_PATH_IMAGE072
和
Figure 706712DEST_PATH_IMAGE080
表示训练无标签数据时采用的两种损失函数，图中的实线表示训练时的正向传播计算，带有数据集的虚线表示半监督训练时的一致性训练。
步骤S3，训练模型
利用步骤S1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤S2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练。
具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 530312DEST_PATH_IMAGE002
；
其中，
Figure 652988DEST_PATH_IMAGE004
表示在t时刻时学生网络的权值参数，
Figure 878433DEST_PATH_IMAGE006
表示在t时刻时教师网络的权值参数，
Figure 546306DEST_PATH_IMAGE099
表示在t-1时刻时教师网络的权值参数，
Figure 122781DEST_PATH_IMAGE010
是一个平滑系数的超参数。
在进行模型训练时，针对不同的样本数据，采用不同的损失函数，即
Figure 783570DEST_PATH_IMAGE012
、
Figure 863521DEST_PATH_IMAGE038
和
Figure 217142DEST_PATH_IMAGE058
表示训练有标签数据时采取的三种损失函数，
Figure 264601DEST_PATH_IMAGE072
和
Figure 729081DEST_PATH_IMAGE080
表示训练无标签数据时采用的两种损失函数。
分级损失函数
Figure 663539DEST_PATH_IMAGE012
：用于半监督学习网络模型预测的痤疮图片的分级与真实分级之间的差异，使得半监督学习网络模型在更新权重时能考虑到不同分级之间的差异特征。
计数损失函数
Figure 188061DEST_PATH_IMAGE038
：用于半监督学习网络模型预测的痤疮个数与真实的痤疮个数之间的差异，使得半监督学习网络模型在更新权重时能考虑到图片中包含的痤疮个数信息。
累计分级损失函数
Figure 473549DEST_PATH_IMAGE058
：该函数能将痤疮个数转化为累积的分级概率，通过计算预测的累积分级和实际的累积分级之间的差异，能使得半监督学习网络模型在更新权重时能将痤疮个数信息与痤疮分级信息相互融合，提升性能。
特征相似度损失函数
Figure 476140DEST_PATH_IMAGE080
：该函数通过约束不同图片之间的特征相似度矩阵，从而使得教师网络和学生网络之间学习到的信息更接近，进而增强半监督学习网络模型的鲁棒性并降低对同一图片在不同噪声下的干扰因素。
一致性损失函数
Figure 281416DEST_PATH_IMAGE072
：该函数通过限制教师网络和学生网络之间的输出结果，能拉进两个网络之间的预测结果的距离，使得两个网络之间的权重更为接近，并且也能通过一致性学习让半监督学习网络模型更新权重时融入无标签数据的信息。
在采用有标签样本数据对学生网络进行有监督训练时，其采用的损失函数具体为：
采用的分级损失函数
Figure 976839DEST_PATH_IMAGE012
为：
Figure DEST_PATH_IMAGE100
其中，
Figure 15203DEST_PATH_IMAGE016
表示输入的第
Figure 821485DEST_PATH_IMAGE018
张图片，
Figure 245382DEST_PATH_IMAGE020
表示第
Figure 846127DEST_PATH_IMAGE018
张图片的分级标签，
Figure 106207DEST_PATH_IMAGE022
表示控制分布的维度的参数，被设置为1，
Figure 450601DEST_PATH_IMAGE024
表示有序分分级值，其中
Figure 479737DEST_PATH_IMAGE026
，
Figure 2116DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure 749492DEST_PATH_IMAGE030
表示实际分布概率，
Figure 897577DEST_PATH_IMAGE032
表示学生模型预测的属于
Figure 781219DEST_PATH_IMAGE024
分级的预测概率分布；
在训练时，由于其他模型并没有将痤疮病变计数信息融入到模型的训练，因而本实施采用高斯函数，将痤疮病变计数信息转化为分布信息并融入到模型中。在计算实际分布概率
Figure 989347DEST_PATH_IMAGE030
时，具体公式计算为:
Figure DEST_PATH_IMAGE101
其中，
Figure 738866DEST_PATH_IMAGE022
是控制分布的维度的参数，被设置为1，
Figure 425062DEST_PATH_IMAGE024
为有序分级值，其中
Figure 428790DEST_PATH_IMAGE026
，
Figure 542240DEST_PATH_IMAGE028
表示痤疮严重程度的分数总数，
Figure 749361DEST_PATH_IMAGE020
表示第
Figure 239248DEST_PATH_IMAGE018
张图片的分级标签，
Figure 97483DEST_PATH_IMAGE036
是一个正则化参数以确保整个部分的概率总和为1。
Figure 912992DEST_PATH_IMAGE012
即为计算出的分级损失用于更新模型，为了提高学生网络和教师教师之间预测的一致性，所提出的框架采用了一致性机制，确保样本在不同扰动下的分布尽可能相同。在标签分布学习下的一致性损失函数
Figure 591098DEST_PATH_IMAGE072
表示为：
Figure 133944DEST_PATH_IMAGE074
其中，
Figure 581106DEST_PATH_IMAGE016
表示输入的第
Figure 567516DEST_PATH_IMAGE018
张图片，
Figure 732918DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 830187DEST_PATH_IMAGE026
，
Figure 148167DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure 39900DEST_PATH_IMAGE076
表示学生网络输出的学生预测分级概率，
Figure 958177DEST_PATH_IMAGE078
表示教师网络输出的教师预测分级概率。
采用的计数损失函数
Figure 327979DEST_PATH_IMAGE038
为：
Figure DEST_PATH_IMAGE102
其中，
Figure 280891DEST_PATH_IMAGE016
表示输入的第
Figure 858372DEST_PATH_IMAGE018
张图片，
Figure 732787DEST_PATH_IMAGE042
表示第
Figure 437438DEST_PATH_IMAGE018
张图片的痤疮计数标签，
Figure 713699DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 212813DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 325257DEST_PATH_IMAGE048
，
Figure 302440DEST_PATH_IMAGE050
表示痤疮总个数，
Figure 964365DEST_PATH_IMAGE052
表示
Figure 368802DEST_PATH_IMAGE016
作为输入时学生网络输出的预测计数概率；
即在计算实际计数概率
Figure 217809DEST_PATH_IMAGE054
时，具体公式计算为：
Figure DEST_PATH_IMAGE103
其中，
Figure 513530DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 29962DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 605300DEST_PATH_IMAGE048
，
Figure 207183DEST_PATH_IMAGE050
表示痤疮总个数；
Figure DEST_PATH_IMAGE104
表示第
Figure 808059DEST_PATH_IMAGE018
张图片的痤疮计数标签。
在Hayashi标准下的分级中，计数信息和分级信息之间是可以相互转化的，所以本实施例还提出了一种累积损失以计算由分布转化后的累积分级之间的分布概率差值，这样就可以将分级信息和痤疮病变计数信息联系起来以提升模型的性能。即累计分级损失函数
Figure 913419DEST_PATH_IMAGE058
为：
Figure 925237DEST_PATH_IMAGE060
其中，
Figure 483257DEST_PATH_IMAGE016
表示输入的第
Figure 871513DEST_PATH_IMAGE018
张图片，
Figure 346226DEST_PATH_IMAGE020
表示第
Figure 263366DEST_PATH_IMAGE018
张图片的分级标签，
Figure 574262DEST_PATH_IMAGE042
表示第
Figure 500630DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 315002DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 684934DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 217547DEST_PATH_IMAGE026
，
Figure 682026DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure 882064DEST_PATH_IMAGE062
表示属于
Figure 406586DEST_PATH_IMAGE024
分级的痤疮计算范围；
在计算实际计数概率
Figure 675762DEST_PATH_IMAGE064
时，具体计算公式为：
Figure DEST_PATH_IMAGE105
其中，
Figure 475091DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 264055DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 959479DEST_PATH_IMAGE048
，
Figure 482995DEST_PATH_IMAGE050
表示痤疮总个数；
Figure 289277DEST_PATH_IMAGE042
表示第
Figure 198327DEST_PATH_IMAGE018
张图片的痤疮计数标签；
在计算累计实际分级概率
Figure 64652DEST_PATH_IMAGE068
时，具体计算公式为：
Figure 793574DEST_PATH_IMAGE070
其中，
Figure 669126DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 947529DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 719176DEST_PATH_IMAGE026
，
Figure 466552DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure 614637DEST_PATH_IMAGE042
表示第
Figure 498279DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 191560DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 895074DEST_PATH_IMAGE048
，
Figure 112428DEST_PATH_IMAGE050
表示痤疮总个数;
Figure 850577DEST_PATH_IMAGE062
表示属于
Figure 229606DEST_PATH_IMAGE024
分级的痤疮计算范围。
通过将上述三种损失全部累加起来，就可以得到采用有标签样本数据进行半监督训练时，使用的全部损失函数
Figure DEST_PATH_IMAGE107
为：
Figure DEST_PATH_IMAGE109
其中λ是一个平衡分级和计数的经验超参数，其值被设定为0.6, N表示整个数据集中有标签的图片的个数，M表示整个数据集中无标签的图片的个数。由于有监督训练的损失发生了调整，所以相应的在半监督训练中的一致性损失也添加了这些损失函数，所以最终的一致性损失
Figure 732000DEST_PATH_IMAGE072
被定义为：
Figure DEST_PATH_IMAGE111
式中所有参数的含义都在前述中出现过。通过在有监督训练中添加痤疮损伤计数信息，该模型能够获得更多的多维特征，从而提高预测结果。
在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的损失函数具体包括：
采用的一致性损失函数
Figure 753046DEST_PATH_IMAGE072
为：
Figure 362013DEST_PATH_IMAGE074
其中，
Figure 911943DEST_PATH_IMAGE016
表示输入的第
Figure 590049DEST_PATH_IMAGE018
张图片，
Figure 883627DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 330789DEST_PATH_IMAGE026
，
Figure 317200DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure 997449DEST_PATH_IMAGE076
表示学生网络输出的学生预测分级概率，
Figure 829138DEST_PATH_IMAGE078
表示教师网络输出的教师预测分级概率。
采用的特征相似度损失函数
Figure 396386DEST_PATH_IMAGE080
为：
Figure 288118DEST_PATH_IMAGE082
其中，
Figure 940817DEST_PATH_IMAGE084
代表
Figure 326930DEST_PATH_IMAGE086
正则，
Figure 748684DEST_PATH_IMAGE088
、
Figure 342476DEST_PATH_IMAGE090
分别对应学生网络和教师网络的第
Figure 216891DEST_PATH_IMAGE018
个相似度列向量，
Figure 655963DEST_PATH_IMAGE092
表示训练时从数据集
Figure DEST_PATH_IMAGE112
中采样的数据，B表示计算相似度时一次采样的图片的张数
Figure 712650DEST_PATH_IMAGE096
表示无标签数据集，
Figure DEST_PATH_IMAGE113
表示有标签数据集。
综上所述，在训练中所用到的所有损失函数，包括有监督训练过程中用到的分级损失函数
Figure 477343DEST_PATH_IMAGE012
、计数损失函数
Figure 104634DEST_PATH_IMAGE038
、由计数转化为分级的累计分级损失函数
Figure 832549DEST_PATH_IMAGE058
以及在无标签数据训练中用到的一致性损失函数
Figure 494475DEST_PATH_IMAGE072
、特征相似度损失函数
Figure 898911DEST_PATH_IMAGE080
。于是，整个训练的总损失
Figure DEST_PATH_IMAGE114
可以定义如下：
Figure DEST_PATH_IMAGE116
Figure DEST_PATH_IMAGE118
其中，N表示整个数据集中有标签的图片的个数，M表示整个数据集中无标签的图片的个数,
Figure DEST_PATH_IMAGE119
表示采用的数据集为有标签和无标签数据集的总和，
Figure DEST_PATH_IMAGE121
和
Figure DEST_PATH_IMAGE123
分别代表有监督的损失和无监督的损失，其余参数的解释则都在前文中提到过。在训练过程中，通过最小化
Figure DEST_PATH_IMAGE124
，该网络将在训练期间捕获痤疮病变计数信息和不同痤疮图像之间的特征相似性，使半监督学习网络模型学习的更鲁棒和更有区别的表征。
在训练时，样本数据中的每张图片均采用RGB三通道编码方式将其转化为对应的数值，同时压缩每张图片为同一大小以适应网络输入。对于每个输入的图片
Figure DEST_PATH_IMAGE126
，其输入网络的维度为3×图片长度×图片宽度。其对应分级标签
Figure DEST_PATH_IMAGE128
则介于0到分级上限之间，其对应病变计数标签
Figure DEST_PATH_IMAGE130
则介于0到最大痤疮数之间，标签值越大，代表图片的痤疮严重程度越高。此外，在网络训练中添加了干扰噪声项，这是为了增强图片从而形成与原图不同的形式。干扰项包括了随机裁剪、水平翻转、以及旋转图片。
此外，在整个训练过程中，由于本实施例将预测标签全部都转化为了预测分布，所以最终模型的输出也是一个分布，因此，本实施例取整个分布的峰值对应的X轴的值即为预测的分级，如图3所示。图3中，总共有四列，代表四类不同的痤疮分级；其中，0-5、5-20、20-50、50-65分别代表四种痤疮的病变计数个数范围，第一行表示输入图片对应的分级标签，横轴为计数值，纵轴P代表每一个实例的概率值。第二行表示痤疮的计数标签，横轴为严重程度分级，纵轴P代表每一个分级的预测概率。第三行则表示为示例的四个分级图片。在输入图片后，模型则会计算预测的两个分布，通过选择两个分布的最高峰值所对应的X轴的值即可得到模型预测的分级和预测的痤疮总数。
本实施例在进行训练时，还采用误差反向传播，即：对于一个输入，模型会计算出一个预测值，通过计算预测值和真实值之间的差值，则可以得到模型的预测误差，之后，模型会将该误差反向传播到整个网络权值中以更新网络参数，同时设定学习率来微调网络中每一处的权值，在本申请中，学习率被设置为0.01，整个训练过程采用Adam优化器来训练，其权值衰减权重被设置为0.0001，且参数β= (0.9, 0.999)，训练时的batch大小被设置为32，包括8张有标签的图片和24张无标签的图片。
步骤S4，实时分级
将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果。
模型测试一：
分别采用模型Baseline、模型MeanTeacher、模型SRC-MT、模型MixMatch以及本实施例的模型，测试样本数据采用公开的ACNE04数据集，测试结果具体如下：
模型名 准确率 平均均方误差 F1分数 敏感性 特异性
Baseline 0.667 0.345 0.595 0.569 0.866
MeanTeacher 0.657 0.390 0.608 0.580 0.863
SRC-MT 0.671 0.366 0.609 0.583 0.870
MixMatch 0.678 0.363 0.520 0.505 0.868
本实施例 0.705 0.311 0.722 0.889 0.613
在本次测试中，采取了10%的数据作为有标签数据、其余90%的数据都是无标签数据，五个指标的含义解释如下：
准确率：衡量模型的分级预测准确性，越高越好；
平均均方误差：衡量预测所有的所有图片的误差的总和，越低越好；
F1分数：模型精准率和召回率的调和平均，越高越好；
敏感性：诊断疾病的时候不漏诊的机会有多大，越高越好；
特异性：诊断疾病的时候不误诊的机会有多大，越高越好；
通过上表可以看出，本实施例所提出的方法和现有的方法比较，在所有的指标上都取得了最好的效果，而且和Baseline相比，本实施例通过利用大量的无标签数据，使得痤疮分级的准确率有了很大的提升。
实施例2
本实施例提供一种基于半监督学习的痤疮分级系统，用于对脸部痤疮进行分级。其包括：
样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签。
脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04，该数据集包括1475张面部痤疮图片，且这些图片均有标签，标签包括分级标签和痤疮计数标签，分级标签标示图片中痤疮的严重程度分级，分级标签包括四个痤疮严重程度分级，痤疮计数标签为图片中痤疮的病变计数总数。
获取到上述面部痤疮图像样本数据后，对样本数据进行预处理，以适应计算机模型的输入格式。在数据预处理时，所有的样本图像统一采用3维格式（通道数×图片长×图片宽），即采用差值形式将样本图像调整成3×224×224大小。
模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络。
将样本数据输入教师网络、学生网络，EMA表示更新教师模型权值的方式采取的是指数移动平均方式，且
Figure 755045DEST_PATH_IMAGE012
、
Figure 535919DEST_PATH_IMAGE038
和
Figure 52351DEST_PATH_IMAGE058
表示训练有标签数据时采取的三种损失函数，
Figure 876956DEST_PATH_IMAGE072
和
Figure 213260DEST_PATH_IMAGE080
表示训练无标签数据时采用的两种损失函数，图中的实线表示训练时的正向传播计算，带有数据集的虚线表示半监督训练时的一致性训练。
模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练。
具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 532245DEST_PATH_IMAGE002
；
其中，
Figure 903184DEST_PATH_IMAGE004
表示在t时刻时学生网络的权值参数，
Figure DEST_PATH_IMAGE131
表示在t时刻时教师网络的权值参数，
Figure DEST_PATH_IMAGE132
表示在t-1时刻时教师网络的权值参数，
Figure 196893DEST_PATH_IMAGE010
是一个平滑系数的超参数。
在进行模型训练时，针对不同的样本数据，采用不同的损失函数，即
Figure 286072DEST_PATH_IMAGE012
、
Figure 143169DEST_PATH_IMAGE038
和
Figure 634194DEST_PATH_IMAGE058
表示训练有标签数据时采取的三种损失函数，
Figure 551334DEST_PATH_IMAGE072
和
Figure 111497DEST_PATH_IMAGE080
表示训练无标签数据时采用的两种损失函数。
分级损失函数
Figure 772286DEST_PATH_IMAGE012
：用于半监督学习网络模型预测的痤疮图片的分级与真实分级之间的差异，使得半监督学习网络模型在更新权重时能考虑到不同分级之间的差异特征。
计数损失函数
Figure 117816DEST_PATH_IMAGE038
：用于半监督学习网络模型预测的痤疮个数与真实的痤疮个数之间的差异，使得半监督学习网络模型在更新权重时能考虑到图片中包含的痤疮个数信息。
累计分级损失函数
Figure 471437DEST_PATH_IMAGE058
：该函数能将痤疮个数转化为累积的分级概率，通过计算预测的累积分级和实际的累积分级之间的差异，能使得半监督学习网络模型在更新权重时能将痤疮个数信息与痤疮分级信息相互融合，提升性能。
特征相似度损失函数
Figure 20361DEST_PATH_IMAGE080
：该函数通过约束不同图片之间的特征相似度矩阵，从而使得教师网络和学生网络之间学习到的信息更接近，进而增强半监督学习网络模型的鲁棒性并降低对同一图片在不同噪声下的干扰因素。
一致性损失函数
Figure 484841DEST_PATH_IMAGE072
：该函数通过限制教师网络和学生网络之间的输出结果，能拉进两个网络之间的预测结果的距离，使得两个网络之间的权重更为接近，并且也能通过一致性学习让半监督学习网络模型更新权重时融入无标签数据的信息。
在采用有标签样本数据对学生网络进行有监督训练时，其采用的损失函数具体为：
采用的分级损失函数
Figure 419299DEST_PATH_IMAGE012
为：
Figure DEST_PATH_IMAGE133
其中，
Figure 474980DEST_PATH_IMAGE016
表示输入的第
Figure 494888DEST_PATH_IMAGE018
张图片，
Figure 277905DEST_PATH_IMAGE020
表示第
Figure 66870DEST_PATH_IMAGE018
张图片的分级标签，
Figure 762293DEST_PATH_IMAGE022
表示控制分布的维度的参数，被设置为1，
Figure 269498DEST_PATH_IMAGE024
表示有序分分级值，其中
Figure 341359DEST_PATH_IMAGE026
，
Figure 735563DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure 867467DEST_PATH_IMAGE030
表示实际分布概率，
Figure 861967DEST_PATH_IMAGE032
表示学生模型预测的属于
Figure 471940DEST_PATH_IMAGE024
分级的预测概率分布；
在训练时，由于其他模型并没有将痤疮病变计数信息融入到模型的训练，因而本实施采用高斯函数，将痤疮病变计数信息转化为分布信息并融入到模型中。在计算实际分布概率
Figure 235497DEST_PATH_IMAGE030
时，具体公式计算为:
Figure 521991DEST_PATH_IMAGE034
其中，
Figure 3788DEST_PATH_IMAGE022
是控制分布的维度的参数，被设置为1，
Figure 151872DEST_PATH_IMAGE024
为有序分级值，其中
Figure 35515DEST_PATH_IMAGE026
，
Figure 243642DEST_PATH_IMAGE028
表示痤疮严重程度的分数总数，
Figure 963467DEST_PATH_IMAGE020
表示第
Figure 915243DEST_PATH_IMAGE018
张图片的分级标签，
Figure 653392DEST_PATH_IMAGE036
是一个正则化参数以确保整个部分的概率总和为1。
Figure 298000DEST_PATH_IMAGE012
即为计算出的分级损失用于更新模型，为了提高学生网络和教师教师之间预测的一致性，所提出的框架采用了一致性机制，确保样本在不同扰动下的分布尽可能相同。在标签分布学习下的一致性损失函数
Figure 488810DEST_PATH_IMAGE072
表示为：
Figure 978697DEST_PATH_IMAGE074
其中，
Figure 86199DEST_PATH_IMAGE016
表示输入的第
Figure 370550DEST_PATH_IMAGE018
张图片，
Figure 314235DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 873392DEST_PATH_IMAGE026
，
Figure 320554DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure 792118DEST_PATH_IMAGE076
表示学生网络输出的学生预测分级概率，
Figure 957520DEST_PATH_IMAGE078
表示教师网络输出的教师预测分级概率。
采用的计数损失函数
Figure 789210DEST_PATH_IMAGE038
为：
Figure 622037DEST_PATH_IMAGE102
其中，
Figure 513769DEST_PATH_IMAGE016
表示输入的第
Figure 415735DEST_PATH_IMAGE018
张图片，
Figure 51116DEST_PATH_IMAGE042
表示第
Figure 738449DEST_PATH_IMAGE018
张图片的痤疮计数标签，
Figure 801083DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 941077DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 114570DEST_PATH_IMAGE048
，
Figure 407142DEST_PATH_IMAGE050
表示痤疮总个数，
Figure 640677DEST_PATH_IMAGE052
表示
Figure 267968DEST_PATH_IMAGE016
作为输入时学生网络输出的预测计数概率；
即在计算实际计数概率
Figure 510730DEST_PATH_IMAGE054
时，具体公式计算为：
Figure 641497DEST_PATH_IMAGE103
其中，
Figure 560780DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 409788DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 252979DEST_PATH_IMAGE048
，
Figure 254564DEST_PATH_IMAGE050
表示痤疮总个数；
Figure 95481DEST_PATH_IMAGE104
表示第
Figure 431784DEST_PATH_IMAGE018
张图片的痤疮计数标签。
在Hayashi标准下的分级中，计数信息和分级信息之间是可以相互转化的，所以本实施例还提出了一种累积损失以计算由分布转化后的累积分级之间的分布概率差值，这样就可以将分级信息和痤疮病变计数信息联系起来以提升模型的性能。即累计分级损失函数
Figure 16350DEST_PATH_IMAGE058
为：
Figure 121709DEST_PATH_IMAGE060
其中，
Figure 382795DEST_PATH_IMAGE016
表示输入的第
Figure 206394DEST_PATH_IMAGE018
张图片，
Figure 329071DEST_PATH_IMAGE020
表示第
Figure 288937DEST_PATH_IMAGE018
张图片的分级标签，
Figure 737236DEST_PATH_IMAGE042
表示第
Figure 533284DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 459652DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 539604DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 893225DEST_PATH_IMAGE026
，
Figure 425837DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure 405163DEST_PATH_IMAGE062
表示属于
Figure 339621DEST_PATH_IMAGE024
分级的痤疮计算范围；
在计算实际计数概率
Figure 598564DEST_PATH_IMAGE064
时，具体计算公式为：
Figure DEST_PATH_IMAGE134
其中，
Figure 962681DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 230851DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 19815DEST_PATH_IMAGE048
，
Figure 980818DEST_PATH_IMAGE050
表示痤疮总个数；
Figure 488023DEST_PATH_IMAGE042
表示第
Figure 543572DEST_PATH_IMAGE018
张图片的痤疮计数标签；
在计算累计实际分级概率
Figure 718202DEST_PATH_IMAGE068
时，具体计算公式为：
Figure 584527DEST_PATH_IMAGE070
其中，
Figure 579027DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 939733DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 703289DEST_PATH_IMAGE026
，
Figure 6095DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure 222313DEST_PATH_IMAGE042
表示第
Figure 635976DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 254039DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 977014DEST_PATH_IMAGE048
，
Figure 680528DEST_PATH_IMAGE050
表示痤疮总个数;
Figure 632303DEST_PATH_IMAGE062
表示属于
Figure 370452DEST_PATH_IMAGE024
分级的痤疮计算范围。
通过将上述三种损失全部累加起来，就可以得到采用有标签样本数据进行半监督训练时，使用的全部损失函数
Figure DEST_PATH_IMAGE135
为：
Figure DEST_PATH_IMAGE136
其中λ是一个平衡分级和计数的经验超参数，其值被设定为0.6, N表示整个数据集中有标签的图片的个数，M表示整个数据集中无标签的图片的个数。由于有监督训练的损失发生了调整，所以相应的在半监督训练中的一致性损失也添加了这些损失函数，所以最终的一致性损失
Figure 562530DEST_PATH_IMAGE072
被定义为：
Figure DEST_PATH_IMAGE137
式中所有参数的含义都在前述中出现过。通过在有监督训练中添加痤疮损伤计数信息，该模型能够获得更多的多维特征，从而提高预测结果。
在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的损失函数具体包括：
采用的一致性损失函数
Figure 284498DEST_PATH_IMAGE072
为：
Figure 774385DEST_PATH_IMAGE074
其中，
Figure 616308DEST_PATH_IMAGE016
表示输入的第
Figure 431818DEST_PATH_IMAGE018
张图片，
Figure 109924DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 403502DEST_PATH_IMAGE026
，
Figure 116243DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure 571495DEST_PATH_IMAGE076
表示学生网络输出的学生预测分级概率，
Figure 753209DEST_PATH_IMAGE078
表示教师网络输出的教师预测分级概率。
采用的特征相似度损失函数
Figure 584898DEST_PATH_IMAGE080
为：
Figure 417725DEST_PATH_IMAGE082
其中，
Figure 43879DEST_PATH_IMAGE084
代表
Figure 962156DEST_PATH_IMAGE086
正则，
Figure 846804DEST_PATH_IMAGE088
、
Figure 268558DEST_PATH_IMAGE090
分别对应学生网络和教师网络的第
Figure 331192DEST_PATH_IMAGE018
个相似度列向量，
Figure 471187DEST_PATH_IMAGE092
表示训练时从数据集
Figure 910258DEST_PATH_IMAGE112
中采样的数据，B表示计算相似度时一次采样的图片的张数
Figure 202830DEST_PATH_IMAGE096
表示无标签数据集，
Figure 436366DEST_PATH_IMAGE113
表示有标签数据集。
综上所述，在训练中所用到的所有损失函数，包括有监督训练过程中用到的分级损失函数
Figure 63656DEST_PATH_IMAGE012
、计数损失函数
Figure 40839DEST_PATH_IMAGE038
、由计数转化为分级的累计分级损失函数
Figure 437186DEST_PATH_IMAGE058
以及在无标签数据训练中用到的一致性损失函数
Figure 841622DEST_PATH_IMAGE072
、特征相似度损失函数
Figure 205476DEST_PATH_IMAGE080
。于是，整个训练的总损失
Figure 720771DEST_PATH_IMAGE114
可以定义如下：
Figure DEST_PATH_IMAGE138
Figure DEST_PATH_IMAGE139
其中，N表示整个数据集中有标签的图片的个数，M表示整个数据集中无标签的图片的个数,
Figure DEST_PATH_IMAGE140
表示采用的数据集为有标签和无标签数据集的总和，
Figure DEST_PATH_IMAGE141
和
Figure DEST_PATH_IMAGE142
分别代表有监督的损失和无监督的损失，其余参数的解释则都在前文中提到过。在训练过程中，通过最小化
Figure DEST_PATH_IMAGE143
，该网络将在训练期间捕获痤疮病变计数信息和不同痤疮图像之间的特征相似性，使半监督学习网络模型学习的更鲁棒和更有区别的表征。
在训练时，样本数据中的每张图片均采用RGB三通道编码方式将其转化为对应的数值，同时压缩每张图片为同一大小以适应网络输入。对于每个输入的图片
Figure 112570DEST_PATH_IMAGE126
，其输入网络的维度为3×图片长度×图片宽度。其对应分级标签
Figure 953487DEST_PATH_IMAGE128
则介于0到分级上限之间，其对应病变计数标签
Figure 289790DEST_PATH_IMAGE130
则介于0到最大痤疮数之间，标签值越大，代表图片的痤疮严重程度越高。此外，在网络训练中添加了干扰噪声项，这是为了增强图片从而形成与原图不同的形式。干扰项包括了随机裁剪、水平翻转、以及旋转图片。
此外，在整个训练过程中，由于本实施例将预测标签全部都转化为了预测分布，所以最终模型的输出也是一个分布，因此，本实施例取整个分布的峰值对应的X轴的值即为预测的分级，如图3所示。图3中，总共有四列，代表四类不同的痤疮分级；其中，0-5、5-20、20-50、50-65分别代表四种痤疮的病变计数个数范围，第一行表示输入图片对应的分级标签，横轴为计数值，纵轴P代表每一个实例的概率值。第二行表示痤疮的计数标签，横轴为严重程度分级，纵轴P代表每一个分级的预测概率。第三行则表示为示例的四个分级图片。在输入图片后，模型则会计算预测的两个分布，通过选择两个分布的最高峰值所对应的X轴的值即可得到模型预测的分级和预测的痤疮总数。
本实施例在进行训练时，还采用误差反向传播，即：对于一个输入，模型会计算出一个预测值，通过计算预测值和真实值之间的差值，则可以得到模型的预测误差，之后，模型会将该误差反向传播到整个网络权值中以更新网络参数，同时设定学习率来微调网络中每一处的权值，在本申请中，学习率被设置为0.01，整个训练过程采用Adam优化器来训练，其权值衰减权重被设置为0.0001，且参数β= (0.9, 0.999)，训练时的batch大小被设置为32，包括8张有标签的图片和24张无标签的图片。
实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果。
实施例3
本实施例还公开了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述的基于半监督学习的痤疮分级方法的步骤。
其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述基于半监督学习的痤疮分级方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行上述的基于半监督学习的痤疮分级方法的程序代码。
实施例4
本实施例还公开了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述的基于半监督学习的痤疮分级方法的步骤。
其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于半监督学习的痤疮分级方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
如上即为本申请的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述申请的验证过程，并非用以限制本申请的专利保护范围，本申请的专利保护范围仍然以其权利要求书为准，凡是运用本申请的说明书及附图内容所作的等同结构变化，同理均应包含在本申请的保护范围内。

Claims (10)

1.一种基于半监督学习的痤疮分级方法，其特征在于，包括如下步骤：
步骤S1，获取样本数据
从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
步骤S2，搭建模型
搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
步骤S3，训练模型
利用步骤S1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤S2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
步骤S4，实时分级
将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在步骤S3进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure DEST_PATH_IMAGE002
；
其中，
Figure DEST_PATH_IMAGE004
表示在t时刻时学生网络的权值参数，
Figure DEST_PATH_IMAGE006
表示在t时刻时教师网络的权值参数，
Figure DEST_PATH_IMAGE008
表示在t-1时刻时教师网络的权值参数，
Figure DEST_PATH_IMAGE010
是一个平滑系数的超参数。
2.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：脸部痤疮公开数据集为脸部痤疮公开数据集ACNE04。
3.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的分级损失函数
Figure DEST_PATH_IMAGE012
为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
表示输入的第
Figure DEST_PATH_IMAGE018
张图片，
Figure DEST_PATH_IMAGE020
表示第
Figure 301006DEST_PATH_IMAGE018
张图片的分级标签，
Figure DEST_PATH_IMAGE022
表示控制分布的维度的参数，被设置为1，
Figure DEST_PATH_IMAGE024
表示有序分分级值，其中
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure DEST_PATH_IMAGE030
表示实际分布概率，
Figure DEST_PATH_IMAGE032
表示学生模型预测的属于
Figure 326469DEST_PATH_IMAGE024
分级的预测概率分布；
在计算实际分布概率
Figure 309469DEST_PATH_IMAGE030
时，具体公式计算为:
Figure DEST_PATH_IMAGE034
其中，
Figure 439099DEST_PATH_IMAGE022
是控制分布的维度的参数，被设置为1，
Figure 456733DEST_PATH_IMAGE024
为有序分级值，其中
Figure 997305DEST_PATH_IMAGE026
，
Figure 529917DEST_PATH_IMAGE028
表示痤疮严重程度的分数总数，
Figure 197659DEST_PATH_IMAGE020
表示第
Figure 335379DEST_PATH_IMAGE018
张图片的分级标签，
Figure DEST_PATH_IMAGE036
是一个正则化参数以确保整个部分的概率总和为1。
4.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的计数损失函数
Figure DEST_PATH_IMAGE038
为：
Figure DEST_PATH_IMAGE040
其中，
Figure 718956DEST_PATH_IMAGE016
表示输入的第
Figure 942127DEST_PATH_IMAGE018
张图片，
Figure DEST_PATH_IMAGE042
表示第
Figure 413560DEST_PATH_IMAGE018
张图片的痤疮计数标签，
Figure DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure DEST_PATH_IMAGE048
，
Figure DEST_PATH_IMAGE050
表示痤疮总个数，
Figure DEST_PATH_IMAGE052
表示
Figure 514109DEST_PATH_IMAGE016
作为输入时学生网络输出的预测计数概率；
在计算实际计数概率
Figure DEST_PATH_IMAGE054
时，具体公式计算为：
Figure DEST_PATH_IMAGE056
其中，
Figure 881636DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 592103DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 132806DEST_PATH_IMAGE048
，
Figure 494386DEST_PATH_IMAGE050
表示痤疮总个数；
Figure 32815DEST_PATH_IMAGE042
表示第
Figure 230578DEST_PATH_IMAGE018
张图片的痤疮计数标签。
5.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中，在采用有标签样本数据对学生网络进行有监督训练时，累计分级损失函数
Figure DEST_PATH_IMAGE058
为：
Figure DEST_PATH_IMAGE060
其中，
Figure 496343DEST_PATH_IMAGE016
表示输入的第
Figure 463162DEST_PATH_IMAGE018
张图片，
Figure 500388DEST_PATH_IMAGE020
表示第
Figure 919868DEST_PATH_IMAGE018
张图片的分级标签，
Figure 5636DEST_PATH_IMAGE042
表示第
Figure 76229DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 284356DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 191132DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 815012DEST_PATH_IMAGE026
，
Figure 756423DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure DEST_PATH_IMAGE062
表示属于
Figure 853561DEST_PATH_IMAGE024
分级的痤疮计算范围；
在计算实际计数概率
Figure DEST_PATH_IMAGE064
时，具体计算公式为：
Figure DEST_PATH_IMAGE066
其中，
Figure 919737DEST_PATH_IMAGE044
是分布的标准差，被设置为3，
Figure 409624DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 923651DEST_PATH_IMAGE048
，
Figure 676843DEST_PATH_IMAGE050
表示痤疮总个数；
Figure 558212DEST_PATH_IMAGE042
表示第
Figure 851790DEST_PATH_IMAGE018
张图片的痤疮计数标签；
在计算累计实际分级概率
Figure DEST_PATH_IMAGE068
时，具体计算公式为：
Figure DEST_PATH_IMAGE070
其中，
Figure 220323DEST_PATH_IMAGE044
是分布的标准差，被设置为3;
Figure 878837DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 981923DEST_PATH_IMAGE026
，
Figure 16875DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数;
Figure DEST_PATH_IMAGE071
表示第
Figure 302231DEST_PATH_IMAGE018
张图片的痤疮计数标签；
Figure 866068DEST_PATH_IMAGE046
是痤疮病变的数量，
Figure 722029DEST_PATH_IMAGE048
，
Figure 357409DEST_PATH_IMAGE050
表示痤疮总个数;
Figure 716846DEST_PATH_IMAGE062
表示属于
Figure 966431DEST_PATH_IMAGE024
分级的痤疮计算范围。
6.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的一致性损失函数
Figure DEST_PATH_IMAGE073
为：
Figure DEST_PATH_IMAGE075
其中，
Figure 778529DEST_PATH_IMAGE016
表示输入的第
Figure 155284DEST_PATH_IMAGE018
张图片，
Figure 431544DEST_PATH_IMAGE024
是有序分分级值，其中
Figure 117610DEST_PATH_IMAGE026
，
Figure 417004DEST_PATH_IMAGE028
表示表示痤疮严重程度的分数总数；
Figure DEST_PATH_IMAGE077
表示学生网络输出的学生预测分级概率，
Figure DEST_PATH_IMAGE079
表示教师网络输出的教师预测分级概率。
7.如权利要求1所述的一种基于半监督学习的痤疮分级方法，其特征在于：步骤S3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的特征相似度损失函数
Figure DEST_PATH_IMAGE081
为：
Figure DEST_PATH_IMAGE083
其中，
Figure DEST_PATH_IMAGE085
代表
Figure DEST_PATH_IMAGE087
正则，
Figure DEST_PATH_IMAGE089
、
Figure DEST_PATH_IMAGE091
分别对应学生网络和教师网络的第
Figure 174613DEST_PATH_IMAGE018
个相似度列向量，
Figure DEST_PATH_IMAGE093
表示训练时从数据集
Figure DEST_PATH_IMAGE095
中采样的数据，B表示计算相似度时一次采样的图片的张数，
Figure DEST_PATH_IMAGE097
表示无标签数据集，
Figure DEST_PATH_IMAGE099
表示有标签数据集。
8.一种基于半监督学习的痤疮分级系统，其特征在于，包括：
样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；
模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；
模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；
实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；
在模型训练模块进行模型的训练时，具体的训练方法为：
先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：
Figure 898856DEST_PATH_IMAGE002
；
其中，
Figure 303292DEST_PATH_IMAGE004
表示在t时刻时学生网络的权值参数，
Figure 355562DEST_PATH_IMAGE006
表示在t时刻时教师网络的权值参数，
Figure 808540DEST_PATH_IMAGE008
表示在t-1时刻时教师网络的权值参数，
Figure 262655DEST_PATH_IMAGE010
是一个平滑系数的超参数。
9.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202211386719.4A 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、系统、设备及存储介质 Active CN115440346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211386719.4A CN115440346B (zh) 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211386719.4A CN115440346B (zh) 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115440346A true CN115440346A (zh) 2022-12-06
CN115440346B CN115440346B (zh) 2023-02-24

Family

ID=84252639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211386719.4A Active CN115440346B (zh) 2022-11-07 2022-11-07 基于半监督学习的痤疮分级方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115440346B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596916A (zh) * 2023-06-09 2023-08-15 北京百度网讯科技有限公司 缺陷检测模型的训练和缺陷检测方法及其装置
CN116935388A (zh) * 2023-09-18 2023-10-24 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN117649683A (zh) * 2024-01-30 2024-03-05 深圳市宗匠科技有限公司 一种痤疮分级方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835692A (zh) * 2015-04-13 2018-03-23 优比欧迈公司 用于皮肤系统状况的微生物组来源的表征、诊断和治疗的方法及系统
US20180253840A1 (en) * 2017-03-06 2018-09-06 Bao Tran Smart mirror
CN108597604A (zh) * 2018-05-11 2018-09-28 广西大学 一种基于云数据库的色素障碍性皮肤病分类专家系统
US20190292577A1 (en) * 2018-03-26 2019-09-26 Prodermiq, Inc. Compositions and method for the treatment of acne
CN113159227A (zh) * 2021-05-18 2021-07-23 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于神经网络的痤疮图像识别方法、系统和装置
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、系统、计算机设备和存储介质
CN115035068A (zh) * 2022-06-15 2022-09-09 杭州电子科技大学 一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835692A (zh) * 2015-04-13 2018-03-23 优比欧迈公司 用于皮肤系统状况的微生物组来源的表征、诊断和治疗的方法及系统
US20180253840A1 (en) * 2017-03-06 2018-09-06 Bao Tran Smart mirror
US20190292577A1 (en) * 2018-03-26 2019-09-26 Prodermiq, Inc. Compositions and method for the treatment of acne
CN108597604A (zh) * 2018-05-11 2018-09-28 广西大学 一种基于云数据库的色素障碍性皮肤病分类专家系统
CN113159227A (zh) * 2021-05-18 2021-07-23 中国医学科学院皮肤病医院(中国医学科学院皮肤病研究所) 一种基于神经网络的痤疮图像识别方法、系统和装置
CN115035068A (zh) * 2022-06-15 2022-09-09 杭州电子科技大学 一种自适应肤色的跨域自拍人脸痘痘分级的图像分类方法
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、系统、计算机设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KULADECH RASHATAPRUCKSA 等: "Acne Detection with Deep Neural Networks", 《2020 2ND INTERNATIONAL CONFERENCE ON IMAGE PROCESSING AND MACHINE VISION》 *
XIAOPING WU 等: "Joint Acne Image Grading and Counting via Label Distribution Learning", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
冯相辉: "人脸图像中毛孔的检测及定量评价研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
吴意平 等: "深度学习方法建立痤疮分级系统的探索", 《中国医药》 *
杜丹 等: "玫瑰痤疮发病机制和治疗的最新进展", 《中国美容医学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596916A (zh) * 2023-06-09 2023-08-15 北京百度网讯科技有限公司 缺陷检测模型的训练和缺陷检测方法及其装置
CN116935388A (zh) * 2023-09-18 2023-10-24 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN116935388B (zh) * 2023-09-18 2023-11-21 四川大学 一种皮肤痤疮图像辅助标注方法与系统、分级方法与系统
CN117649683A (zh) * 2024-01-30 2024-03-05 深圳市宗匠科技有限公司 一种痤疮分级方法、装置、设备及存储介质
CN117649683B (zh) * 2024-01-30 2024-04-09 深圳市宗匠科技有限公司 一种痤疮分级方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115440346B (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN115440346B (zh) 基于半监督学习的痤疮分级方法、系统、设备及存储介质
CN106897573B (zh) 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN110969626B (zh) 基于3d神经网络的人脑核磁共振影像的海马体提取方法
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
WO2016192612A1 (zh) 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN110660484B (zh) 骨龄预测方法、装置、介质及电子设备
CN110490242B (zh) 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN113077434B (zh) 基于多模态信息的肺癌识别方法、装置及存储介质
CN111626994A (zh) 基于改进U-Net神经网络的设备故障缺陷诊断方法
CN113094476A (zh) 基于自然语言处理风险预警方法、系统、设备及介质
CN113469272B (zh) 基于Faster R-CNN-FFS模型的酒店场景图片的目标检测方法
Zhang et al. QA-USTNet: yarn-dyed fabric defect detection via U-shaped swin transformer network based on quadtree attention
CN117036834B (zh) 基于人工智能的数据分类方法、装置及电子设备
Lin et al. Ded: Diagnostic evidence distillation for acne severity grading on face images
CN116228759B (zh) 肾细胞癌类型的计算机辅助诊断系统及设备
Guo Art teaching interaction based on multimodal information fusion under the background of deep learning
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
Yu et al. Pyramid multi-loss vision transformer for thyroid cancer classification using cytological smear
Ji et al. Blog text quality assessment using a 3D CNN-based statistical framework
CN114187033A (zh) 一种基于深度迁移学习的可解释性房屋价格评估分类方法
CN113724017A (zh) 基于神经网络的定价方法、装置、电子设备和存储介质
CN113724069B (zh) 基于深度学习的定价方法、装置、电子设备和存储介质
US11989243B2 (en) Ranking similar users based on values and personal journeys
CN117497111B (zh) 一种基于深度学习实现疾病名称标准化分级的系统
CN112182165B (zh) 基于在线评论的新产品质量规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant