CN119600331B - 基于软标签的面部痤疮分类方法、系统、设备及介质 - Google Patents

基于软标签的面部痤疮分类方法、系统、设备及介质 Download PDF

Info

Publication number
CN119600331B
CN119600331B CN202411609086.8A CN202411609086A CN119600331B CN 119600331 B CN119600331 B CN 119600331B CN 202411609086 A CN202411609086 A CN 202411609086A CN 119600331 B CN119600331 B CN 119600331B
Authority
CN
China
Prior art keywords
representing
acne
network
facial acne
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411609086.8A
Other languages
English (en)
Other versions
CN119600331A (zh
Inventor
张蕾
蒋献
周新阳
刘文杰
李佳奇
陈家强
李林峰
魏新
张显良
张楗伟
杜丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202411609086.8A priority Critical patent/CN119600331B/zh
Publication of CN119600331A publication Critical patent/CN119600331A/zh
Application granted granted Critical
Publication of CN119600331B publication Critical patent/CN119600331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于软标签的面部痤疮分类方法、系统、设备及介质，涉及人工智能领域中的面部痤疮分类，其目的在于解决现有技术中因不同等级之间的痤疮图像存在耦合致使模型对痤疮图像的分类准确度低的问题。其通过构建包括教师网络、学生网络在内的分类模型，并采用具有硬标签的面部痤疮样本图像对教师网络进行预训练，采用无标签的面部痤疮样本图像输入预训练后的教师网络，教师网络输出软标签；采用无标签的面部痤疮样本图像、教师网络输出的软标签对学生网络进行训练，并结合创新的损失函数，本申请根据模型对样本的认知能力动态的强调每个类的特征，使得模型能从一个样本学到更多关于对抗混淆的知识，有效解决对痤疮图像的分类准确度低。

Description

基于软标签的面部痤疮分类方法、系统、设备及介质
技术领域
本发明属于人工智能技术领域，涉及面部痤疮的分类，尤其涉及一种基于软标签的面部痤疮分类方法、系统、设备及介质。
背景技术
痤疮是一种非常常见的皮肤疾病。痤疮是毛囊皮脂腺单位的一种多因素疾病，临床上可表现为轻度的粉刺型痤疮，或者暴发型的具有系统性症状的痤疮。根据相关研究显示，约80%的青少年曾患有过痤疮，其中3%的男孩和12%的女孩即使到了成年其痤疮也未治愈。痤疮带来的疤痕和色素沉着无疑会对患者的心理和精神健康带来极大的损害。痤疮严重程度分级作为痤疮诊疗的一个关键步骤，精确的对痤疮进行严重程度分级对得出适用于患者的诊疗方案而言是非常重要的。
在进行痤疮分类时，大多会由医生根据患者的整个脸部情况结合其经验进行分类，在进行分类时，通常结合了基于标准的病变计数和基于经验的整图评估。常用的分级方法比如Hayashi分级方法或者是Pillsbury分级方法都将痤疮严重等级分为了四级，包括：“mild”(轻微)，“moderate”(中等)，“severe”(严重)以及“very severe”(非常严重)。通过医生进行人工分类，这不仅大大增加了医生的工作量，而且标注的效率较低。
随着近年来人工智能、深度神经网络技术的发展，借助计算机进行痤疮严重程度的自动分级对于患者了解自身病情、辅助医生制定治疗方案都十分必要。
申请号为202310795157.7的发明专利申请就公开了一种痤疮分级方法、装置、设备及介质，该方法包括：获取目标用户的面部图像，其中，所述面部图像包括痤疮对应的图像；通过预训练的检测模型，对所述面部图像进行检测，得到至少一个痤疮类型以及与所述痤疮类型对应的痤疮数量；通过预训练的分级模型，对所述痤疮类型和所述痤疮类型对应的痤疮数量进行分级处理，得到所述目标用户的痤疮等级。该方案实现了对目标用户的面部图像的分析，得到目标用户的痤疮等级，使得痤疮等级不依赖于医生的经验，使得痤疮等级的划分更加客观准确。
如上述发明专利申请一样，现有技术在对模型进行训练时，其标签大多都是采用的硬标签，即标签数值为非0即1的标签，这样的标签存在的问题是信息过于集中。在自然图像上，因此即便是使用硬标签来训练模型，由于类和类之间的差异较大，这样也能取得较好的结果。但是在痤疮图像的分类上，由于不同等级之间的痤疮图像存在耦合的部分，因此，如果还是使用硬标签来对模型进行训练，模型对痤疮图像的分类准确度较低，亟需提高模型对痤疮图像的分类准确度。
发明内容
本发明的目的在于：为了解决现有技术中因不同等级之间的痤疮图像存在耦合致使模型对痤疮图像的分类准确度低的问题，提供一种基于软标签的面部痤疮分类方法、系统、设备及介质。
本发明为了实现上述目的具体采用以下技术方案：
一种基于软标签的面部痤疮分类方法，包括以下步骤：
步骤S1，获取面部痤疮样本数据；
获取面部痤疮样本图像，面部痤疮样本图像包括具有硬标签的面部痤疮样本图像、无标签的面部痤疮样本图像；
步骤S2，搭建面部痤疮分类模型；
搭建面部痤疮分类模型，面部痤疮分类模型包括教师网络、学生网络；
步骤S3，训练面部痤疮分类模型；
采用步骤S1中的具有硬标签的面部痤疮样本图像对步骤S2中的教师网络进行预训练，采用步骤S1中的无标签的面部痤疮样本图像输入预训练后的教师网络，教师网络输出软标签；采用步骤S1中的无标签的面部痤疮样本图像、教师网络输出的软标签对步骤S2中的学生网络进行训练；
训练面部痤疮分类模型时，损失函数为：
其中，表示目标类别损失函数，表示非目标类别损失函数，表示教师网络对目标类别的预测概率，表示学生网络对目标类别的预测概率，表示教师网络对非目标类别的预测概率，表示学生网络对非目标类别的预测概率，表示用以强调特征的动态权重向量，表示教师网络与学生网络在非目标类别上的差异，表示第个类别，表示类别总数，表示目标类别，表示动态权重向量的第i个分量，表示向量的第i个分量，表示向量的第i个分量，表示教师网络对应的独立目标类别概率，表示学生网络对应的独立目标类别概率；
步骤S4，面部痤疮分类；
获取待分类的面部痤疮图像，并输入学生网络，学生网络输出分类结果。
进一步地，步骤S1中，对面部痤疮样本图像进行预处理，将面部痤疮样本图像的大小调整为224*224*3。
进一步地，进一步地，教师网络、学生网络的结构相同，均包括依次设置的横向第一卷积层、横向第二卷积层、横向第三卷积层以及横向全连接层，横向第一卷积层的输出作为横向第二卷积层、纵向第一卷积层的输入，纵向第一卷积层的输出作为纵向第一全连接层的输入；横向第二卷积层的输出作为横向第三卷积层、纵向第二卷积层的输入，纵向第二卷积层的输出作为纵向第二全连接层的输入；横向第三卷积层的输出作为横向全连接层、纵向第三卷积层的输入，纵向第三卷积层的输出作为纵向第三全连接层的输入。
进一步地，步骤S3中，训练面部痤疮分类模型时，每个全连接层的输出与前面每一个全连接层的输出之间均分别采用损失函数计算损失。
进一步地，步骤S3中，权重的每个分量表示为：
其中，表示第个类别，表示教师网络的输出在目标类上的值，表示教师网络的输出在第个非目标类上的值，表示调节因子，用于将动态权重放缩到一个合适的范围，表示动态权重的初始值，用以提高方法的稳定性。
进一步地，步骤S3中，训练时，学习率设置为0.001，设置为0.0001，batch大小设置为32，参数、分别设置为1.3、8，整个训练过程使用SGD优化器进行优化。
一种基于软标签的面部痤疮分类系统，包括：
面部痤疮样本数据获取模块，用于获取面部痤疮样本图像，面部痤疮样本图像包括具有硬标签的面部痤疮样本图像、无标签的面部痤疮样本图像；
面部痤疮分类模型搭建模块，用于搭建面部痤疮分类模型，面部痤疮分类模型包括教师网络、学生网络；
面部痤疮分类模型训练模块，用于采用面部痤疮样本数据获取模块中的具有硬标签的面部痤疮样本图像对面部痤疮分类模型搭建模块中的教师网络进行预训练，采用面部痤疮样本数据获取模块中的无标签的面部痤疮样本图像输入预训练后的教师网络，教师网络输出软标签；采用面部痤疮样本数据获取模块中的无标签的面部痤疮样本图像、教师网络输出的软标签对面部痤疮分类模型搭建模块中的学生网络进行训练；
训练面部痤疮分类模型时，损失函数为：
其中，表示目标类别损失函数，表示非目标类别损失函数，表示教师网络对目标类别的预测概率，表示学生网络对目标类别的预测概率，表示教师网络对非目标类别的预测概率，表示学生网络对非目标类别的预测概率，表示用以强调特征的动态权重向量，表示教师网络与学生网络在非目标类别上的差异，表示第个类别，表示类别总数，表示目标类别，表示动态权重向量的第i个分量，表示向量的第i个分量，表示向量的第i个分量，表示教师网络对应的独立目标类别概率，表示学生网络对应的独立目标类别概率；
面部痤疮分类模块，用于获取待分类的面部痤疮图像，并输入学生网络，学生网络输出分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
本发明的有益效果如下：
1、本发明对于特征精确到了分量级。以往的方法中忽略了痤疮样本与其他类别之间的联系和差异程度不同，因此只是粗略的赋予给模型每个类同等的注意力，导致在难以辨别的样本上更加难以辨别，易混淆的样本上更加易于混淆。本发明则根据模型对样本的认知能力动态的强调每个类的特征，使得模型能从一个样本学到更多关于对抗混淆的知识，有效解决因不同等级之间的痤疮图像存在耦合致使模型对痤疮图像的分类准确度低，这个优点是由本方法提出的实现的。
2、本发明可实现更密集的特征传递。现有方法在进行特征传递时，大多只考虑到了最高层与标签之间或者相邻两层之间的特征。本发明通过高层向每一层传递特征的方法，使得低层能够学到不同粒度的特征，从而加强了低层的学习效率，提高对痤疮图像的分类准确度。
3、本发明考虑痤疮特征相似度。现在的大部分方法大都忽略了痤疮图像之间存在相似性这一特点，只是简单的将其按照自然图像处理。而本发明的方法考虑每一个样本与每个类之间的差异程度。这个优点是通过本发明提出的再蒸馏模块实现的，提高对痤疮图像的分类准确度。
4、本发明痤疮样本的分布特征。以往的模型大都使用硬标签进行模型的训练，而信息过于集中的硬标签往往对图像之间存在相似性的痤疮图像而言并不适用，再者，现有的软标签生成的方法大都以类为单位，即每一类对应一个软标签，而这忽略了痤疮图像之间存在的类内差异性。而本申请的方法根据每个样本不同的情况动态地生成独属于样本的软标签，更能反应样本的真实情况。这个优点是通过知识蒸馏的点对点架构实现的，也是第一个将知识蒸馏架构用于痤疮分类的方法。
附图说明
图1是本发明的流程示意图；
图2是本发明中教师网络、学生网络的结构示意图；
图3是本发明中教师网络、学生网络训练时的示意图；
图4是本发明中各种知识蒸馏方法的可视化对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供一种基于软标签的面部痤疮分类方法，用于对面部痤疮图像进行分类，得到分类结果。如图1所示，该分类方法具体包括以下步骤：
步骤S1，获取面部痤疮样本数据；
获取面部痤疮样本图像，面部痤疮样本图像包括具有硬标签的面部痤疮样本图像、无标签的面部痤疮样本图像。
本实施例的样本数据主要包括两部分，一是公开的面部痤疮数据集ACNE04，二是从四川大学华西医院收集的数据集ACNE-HX。其中，数据集ACNE04包含了1457张面部痤疮图像，并将所有数据集中的痤疮数据分成了四个痤疮严重等级。数据集ACNE-HX包括1189张面部痤疮图像，并将其中包含的痤疮数据划分为八个痤疮严重等级。为了使两个数据集中的痤疮严重等级一样，即都设置成四个等级，比如将数据集ACNE-HX中的第一二个等级划分为一个新的等级，将第三四个等级划分为另一个新的等级，以此内推，将两个数据集的等级都划分为了四个痤疮严重等级。
样本数据收集完以后，需要对数据进行相应的预处理，以符合模型的要求。本实施例中，数据采用三维格式（图片长*图片宽*通道数），将面部痤疮样本图像的大小调整为224*224*3。
样本数据预处理完成后，将样本数据进行数据集划分。本实施例将样本数据集划分为训练集和测试集两个部分，训练集用于训练模型，调整模型权重；测试集用于测试最终得到的模型的性能。对于所使用的数据集，训练集和测试集按照4:1的比例进行划分。
步骤S2，搭建面部痤疮分类模型；
搭建面部痤疮分类模型，面部痤疮分类模型包括教师网络、学生网络。其中，教师模型会先经过预训练，而后通过教师模型指导学生模型的训练，学生模型的高层也会经过再蒸馏指导低层的训练，最后使用学生模型来做相应的预测。
教师网络、学生网络的结构相同，具体结构如图2所示，其均包括依次设置的横向第一卷积层、横向第二卷积层、横向第三卷积层以及横向全连接层，横向第一卷积层的输出作为横向第二卷积层、纵向第一卷积层的输入，纵向第一卷积层的输出作为纵向第一全连接层的输入；横向第二卷积层的输出作为横向第三卷积层、纵向第二卷积层的输入，纵向第二卷积层的输出作为纵向第二全连接层的输入；横向第三卷积层的输出作为横向全连接层、纵向第三卷积层的输入，纵向第三卷积层的输出作为纵向第三全连接层的输入。
步骤S3，训练面部痤疮分类模型；
采用步骤S1中的具有硬标签的面部痤疮样本图像对步骤S2中的教师网络进行预训练，采用步骤S1中的无标签的面部痤疮样本图像输入预训练后的教师网络，教师网络输出软标签；采用步骤S1中的无标签的面部痤疮样本图像、教师网络输出的软标签对步骤S2中的学生网络进行训练。
如图3所示，样本图像分别输入教师网络、学生网络，通过教师网络引导学生网络进行学习，并更新学生网络的参数；通过教师模型的硬标签（预测分类、二分类分步以及非目标分步）与学生模型输出的预测结果（二分类分步、非目标类分步以及预测分步）进行损失计算、更新学生网络参数。训练面部痤疮分类模型时，每个全连接层的输出与前面每一个全连接层的输出之间均分别采用损失函数计算损失。其中，损失函数表示为：
其中，表示目标类别损失函数，表示非目标类别损失函数，表示教师网络对目标类别的预测概率，表示学生网络对目标类别的预测概率，表示教师网络对非目标类别的预测概率，表示学生网络对非目标类别的预测概率，表示用以强调特征的动态权重向量，表示教师网络与学生网络在非目标类别上的差异，表示第个类别，表示类别总数，表示目标类别，表示动态权重向量的第i个分量，表示向量的第i个分量，表示向量的第i个分量，表示教师网络对应的独立目标类别概率，表示学生网络对应的独立目标类别概率。
本实施例中，由于教师网络往往具有较大的拟合能力，因此其在目标类上的预测会非常自信，会导致倾向于0，当它作为的系数时，会导致贡献的损失倾向于0。而与非目标类相关联，因此会损害模型对于非目标类的认知能力，导致模型混淆于目标类和非目标类。因此，本实施例需要将的权重换成一个更为合理的值来提升教师网络和学生网络之间的蒸馏效率，这也是本实施例的核心创新之一。
痤疮图像具有顺序性，即相邻严重等级额痤疮图像会显示出更多的相似性。的每一个分量代表了模型对相应类的接下来的优化力度。因此，每一个分量的权重也需要动态决定。对于邻近目标的那些类，由于其特征与当前样本相似，因此需要分配给其中的分量一个较小的权重，防止过大的权重对其的过渡强调使得模型在它与目标类之间产生混淆；对于离目标比较远的那些类，由于其与目标类的相似性较低，因此可以分配给它们一个较大的权重用来强调它们的特征。同时，应该注意的是，权重的分配也是动态的，因为每个样本和每个样本之间的情况有所不同。
令上述权重，则关于可以被表示为：
其中，由教师网络的全连接层的输出生成。教师网络的输出隐藏着其要传递给学生网络的知识，对其进行变换处理可以提取出更精细的知识。
权重的每个分量可以被计算为：
其中，表示第个类别，，表示教师网络的输出在目标类上的值，表示教师网络的输出在第个非目标类上的值，表示调节因子，用于将动态权重放缩到一个合适的范围，表示动态权重的初始值，用以提高方法的稳定性。由于与的差值可能波动很大，因此在本实施例中用于将其放缩到一个合适的范围；同时，为了防止差值过小阻碍模型学习的情况，还需要加上一个参数，用于提供初始值。
误差反向传播过程用于优化模型参数，在计算完相应损失后，即可使用该损失计算每个模型参数对应的梯度，并使用梯度下降算法对参数进行优化。在实际执行时，会添加一些参数来控制优化的过程。在本实施例中，学习率设置为0.001，设置为0.0001，训练时的batch大小被设置为32，参数、分别设置为1.3、8，整个训练过程使用SGD优化器进行优化。
如图2所示，学生网络最后的概率输出与教师模型生成的软标签之间会计算损失，除此以外，学生网络中每个横向卷积层会通过添加一个额外分类器（纵向卷积层和纵向全连接层）的方式得到该层的预测概率，并且会和其之前的每一个横向卷积层的预测概率之间计算损失，由于位于后面的横向卷积层含有的信息比前面的横向卷积层含有的信息更加丰富，因此通过这样传递的方式将后面的横向卷积层的信息传递给前面的横向卷积层，实现了学生网络自己对自己的蒸馏，并且通过全连接层的方式传递信息，可以提高高层信息的传递效率，也即实现了再蒸馏。
待学生网络训练完成后，对学生网络进行测试，以验证模型的实际性能。
本实施例测试用的数据集包括公开的痤疮图像数据集ACNE04，以及四川大学华西医院收集的ACNE-HX数据集。在ACNE04数据集的测试结果如下：
其中，上述五个指标的含义分别如下：
1）准确率：衡量模型的分级预测准确性，越高越好；
2）精准度：检测出的正例中，真正是正例的个数占检测出的正例的比例，越高越好；
3）敏感度：检测出正例占所有真正正例的比例，越高越好；
4）特异性：检测出负例占所有真正负例的比例，越高越好；
5）约登指数：衡量模型的综合能力，越高越好。
通过上表可以看出，本申请提出的方法与其余方法相比，在所有指标上都取得了最优的性能。此外，在ACNE-HX数据集上的测试结果如下：
可以看到，本申请的方法在ACNE-HX上同样显示出了卓越的性能。此外，还将本申请的方法与另外相似的方法的可视化结果做了对比，结果如图4所示。
图4中，每一列代表一个病例，每一行代表相应模型的结果，红色的区域代表模型在做出预测时对于样本的关注区域。从图4可以看到，本申请的方法对于痤疮所在区域更加敏感，因此对于原本与相邻等级特征相似而容易导致误判的样本可以更好的将其正确归类。
步骤S4，面部痤疮分类；
获取待分类的面部痤疮图像，并输入学生网络，学生网络输出分类结果。
实施例2
本实施例提供一种基于软标签的面部痤疮分类系统，用于对面部痤疮图像进行分类，得到分类结果。该分类系统具体包括：
面部痤疮样本数据获取模块，用于获取面部痤疮样本图像，面部痤疮样本图像包括具有硬标签的面部痤疮样本图像、无标签的面部痤疮样本图像。
本实施例的样本数据主要包括两部分，一是公开的面部痤疮数据集ACNE04，二是从四川大学华西医院收集的数据集ACNE-HX。其中，数据集ACNE04包含了1457张面部痤疮图像，并将所有数据集中的痤疮数据分成了四个痤疮严重等级。数据集ACNE-HX包括1189张面部痤疮图像，并将其中包含的痤疮数据划分为八个痤疮严重等级。为了使两个数据集中的痤疮严重等级一样，即都设置成四个等级，比如将数据集ACNE-HX中的第一二个等级划分为一个新的等级，将第三四个等级划分为另一个新的等级，以此内推，将两个数据集的等级都划分为了四个痤疮严重等级。
样本数据收集完以后，需要对数据进行相应的预处理，以符合模型的要求。本实施例中，数据采用三维格式（图片长*图片宽*通道数），将面部痤疮样本图像的大小调整为224*224*3。
样本数据预处理完成后，将样本数据进行数据集划分。本实施例将样本数据集划分为训练集和测试集两个部分，训练集用于训练模型，调整模型权重；测试集用于测试最终得到的模型的性能。对于所使用的数据集，训练集和测试集按照4:1的比例进行划分。
面部痤疮分类模型搭建模块，用于搭建面部痤疮分类模型，面部痤疮分类模型包括教师网络、学生网络。其中，教师模型会先经过预训练，而后通过教师模型指导学生模型的训练，学生模型的高层也会经过再蒸馏指导低层的训练，最后使用学生模型来做相应的预测。
教师网络、学生网络的结构相同，具体结构如图2所示，其均包括依次设置的横向第一卷积层、横向第二卷积层、横向第三卷积层以及横向全连接层，横向第一卷积层的输出作为横向第二卷积层、纵向第一卷积层的输入，纵向第一卷积层的输出作为纵向第一全连接层的输入；横向第二卷积层的输出作为横向第三卷积层、纵向第二卷积层的输入，纵向第二卷积层的输出作为纵向第二全连接层的输入；横向第三卷积层的输出作为横向全连接层、纵向第三卷积层的输入，纵向第三卷积层的输出作为纵向第三全连接层的输入。
面部痤疮分类模型训练模块，用于采用面部痤疮样本数据获取模块中的具有硬标签的面部痤疮样本图像对面部痤疮分类模型搭建模块中的教师网络进行预训练，采用面部痤疮样本数据获取模块中的无标签的面部痤疮样本图像输入预训练后的教师网络，教师网络输出软标签；采用面部痤疮样本数据获取模块中的无标签的面部痤疮样本图像、教师网络输出的软标签对面部痤疮分类模型搭建模块中的学生网络进行训练；
训练面部痤疮分类模型时，每个全连接层的输出与前面每一个全连接层的输出之间均分别采用损失函数计算损失。其中，损失函数表示为：
其中，表示目标类别损失函数，表示非目标类别损失函数，表示教师网络对目标类别的预测概率，表示学生网络对目标类别的预测概率，表示教师网络对非目标类别的预测概率，表示学生网络对非目标类别的预测概率，表示用以强调特征的动态权重向量，表示教师网络与学生网络在非目标类别上的差异，表示第个类别，表示类别总数，表示目标类别，表示动态权重向量的第i个分量，表示向量的第i个分量，表示向量的第i个分量，表示教师网络对应的独立目标类别概率，表示学生网络对应的独立目标类别概率。
本实施例中，由于教师网络往往具有较大的拟合能力，因此其在目标类上的预测会非常自信，会导致倾向于0，当它作为的系数时，会导致贡献的损失倾向于0。而与非目标类相关联，因此会损害模型对于非目标类的认知能力，导致模型混淆于目标类和非目标类。因此，本实施例需要将的权重换成一个更为合理的值来提升教师网络和学生网络之间的蒸馏效率，这也是本实施例的核心创新之一。
痤疮图像具有顺序性，即相邻严重等级额痤疮图像会显示出更多的相似性。的每一个分量代表了模型对相应类的接下来的优化力度。因此，每一个分量的权重也需要动态决定。对于邻近目标的那些类，由于其特征与当前样本相似，因此需要分配给其中的分量一个较小的权重，防止过大的权重对其的过渡强调使得模型在它与目标类之间产生混淆；对于离目标比较远的那些类，由于其与目标类的相似性较低，因此可以分配给它们一个较大的权重用来强调它们的特征。同时，应该注意的是，权重的分配也是动态的，因为每个样本和每个样本之间的情况有所不同。
令上述权重，则关于可以被表示为：
其中，由教师网络的全连接层的输出生成。教师网络的输出隐藏着其要传递给学生网络的知识，对其进行变换处理可以提取出更精细的知识。
权重的每个分量可以被计算为：
其中，表示第个类别，，表示教师网络的输出在目标类上的值，表示教师网络的输出在第个非目标类上的值，表示调节因子，用于将动态权重放缩到一个合适的范围，表示动态权重的初始值，用以提高方法的稳定性。由于与的差值可能波动很大，因此在本实施例中用于将其放缩到一个合适的范围；同时，为了防止差值过小阻碍模型学习的情况，还需要加上一个参数，用于提供初始值。
误差反向传播过程用于优化模型参数，在计算完相应损失后，即可使用该损失计算每个模型参数对应的梯度，并使用梯度下降算法对参数进行优化。在实际执行时，会添加一些参数来控制优化的过程。在本实施例中，学习率设置为0.001，设置为0.0001，训练时的batch大小被设置为32，参数、分别设置为1.3、8，整个训练过程使用SGD优化器进行优化。
如图2所示，学生网络最后的概率输出与教师模型生成的软标签之间会计算损失，除此以外，学生网络中每个横向卷积层会通过添加一个额外分类器（纵向卷积层和纵向全连接层）的方式得到该层的预测概率，并且会和其之前的每一个横向卷积层的预测概率之间计算损失，由于位于后面的横向卷积层含有的信息比前面的横向卷积层含有的信息更加丰富，因此通过这样传递的方式将后面的横向卷积层的信息传递给前面的横向卷积层，实现了学生网络自己对自己的蒸馏，并且通过全连接层的方式传递信息，可以提高高层信息的传递效率，也即实现了再蒸馏。
面部痤疮分类模块，用于获取待分类的面部痤疮图像，并输入学生网络，学生网络输出分类结果。
实施例3
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行基于软标签的面部痤疮分类方法的步骤。
其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述基于软标签的面部痤疮分类方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述基于软标签的面部痤疮分类方法的程序代码。
实施例4
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行基于软标签的面部痤疮分类方法的步骤。
其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于软标签的面部痤疮分类方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请实施例所述基于软标签的面部痤疮分类方法。

Claims (8)

1.一种基于软标签的面部痤疮分类方法，其特征在于，包括以下步骤：
步骤S1，获取面部痤疮样本数据；
获取面部痤疮样本图像，面部痤疮样本图像包括具有硬标签的面部痤疮样本图像、无标签的面部痤疮样本图像；
步骤S2，搭建面部痤疮分类模型；
搭建面部痤疮分类模型，面部痤疮分类模型包括教师网络、学生网络；
步骤S3，训练面部痤疮分类模型；
采用步骤S1中的具有硬标签的面部痤疮样本图像对步骤S2中的教师网络进行预训练，采用步骤S1中的无标签的面部痤疮样本图像输入预训练后的教师网络，教师网络输出软标签；采用步骤S1中的无标签的面部痤疮样本图像、教师网络输出的软标签对步骤S2中的学生网络进行训练；
训练面部痤疮分类模型时，损失函数为：
其中，表示目标类别损失函数，表示非目标类别损失函数， 表示教师网络对目标类别的预测概率，表示学生网络对目标类别的预测概率，表示教师网络对非目标类别的预测概率，表示学生网络对非目标类别的预测概率，表示用以强调特征的动态权重向量，表示教师网络与学生网络在非目标类别上的差异，表示第个类别，表示类别总数，表示目标类别，表示动态权重向量的第i个分量，表示向量的第i个分量，表示向量的第i个分量，表示教师网络对应的独立目标类别概率，表示学生网络对应的独立目标类别概率；
步骤S4，面部痤疮分类；
获取待分类的面部痤疮图像，并输入学生网络，学生网络输出分类结果；
步骤S3中，权重的每个分量表示为：
其中，表示第个类别，表示教师网络的输出在目标类上的值，表示教师网络的输出在第个非目标类上的值，表示调节因子，用于将动态权重放缩到一个合适的范围，表示动态权重的初始值，用以提高方法的稳定性。
2.如权利要求1所述的一种基于软标签的面部痤疮分类方法，其特征在于，步骤S1中，对面部痤疮样本图像进行预处理，将面部痤疮样本图像的大小调整为224*224*3。
3.如权利要求1所述的一种基于软标签的面部痤疮分类方法，其特征在于，教师网络、学生网络的结构相同，均包括依次设置的横向第一卷积层、横向第二卷积层、横向第三卷积层以及横向全连接层，横向第一卷积层的输出作为横向第二卷积层、纵向第一卷积层的输入，纵向第一卷积层的输出作为纵向第一全连接层的输入；横向第二卷积层的输出作为横向第三卷积层、纵向第二卷积层的输入，纵向第二卷积层的输出作为纵向第二全连接层的输入；横向第三卷积层的输出作为横向全连接层、纵向第三卷积层的输入，纵向第三卷积层的输出作为纵向第三全连接层的输入。
4.如权利要求3所述的一种基于软标签的面部痤疮分类方法，其特征在于，步骤S3中，训练面部痤疮分类模型时，每个全连接层的输出与前面每一个全连接层的输出之间均分别采用损失函数计算损失。
5.如权利要求1所述的一种基于软标签的面部痤疮分类方法，其特征在于，步骤S3中，训练时，学习率设置为0.001，设置为0.0001，batch大小设置为32，参数、分别设置为1.3、8，整个训练过程使用SGD优化器进行优化。
6.一种基于软标签的面部痤疮分类系统，其特征在于，包括：
面部痤疮样本数据获取模块，用于获取面部痤疮样本图像，面部痤疮样本图像包括具有硬标签的面部痤疮样本图像、无标签的面部痤疮样本图像；
面部痤疮分类模型搭建模块，用于搭建面部痤疮分类模型，面部痤疮分类模型包括教师网络、学生网络；
面部痤疮分类模型训练模块，用于采用面部痤疮样本数据获取模块中的具有硬标签的面部痤疮样本图像对面部痤疮分类模型搭建模块中的教师网络进行预训练，采用面部痤疮样本数据获取模块中的无标签的面部痤疮样本图像输入预训练后的教师网络，教师网络输出软标签；采用面部痤疮样本数据获取模块中的无标签的面部痤疮样本图像、教师网络输出的软标签对面部痤疮分类模型搭建模块中的学生网络进行训练；
训练面部痤疮分类模型时，损失函数为：
其中，表示目标类别损失函数，表示非目标类别损失函数， 表示教师网络对目标类别的预测概率，表示学生网络对目标类别的预测概率，表示教师网络对非目标类别的预测概率，表示学生网络对非目标类别的预测概率，表示用以强调特征的动态权重向量，表示教师网络与学生网络在非目标类别上的差异，表示第个类别，表示类别总数，表示目标类别，表示动态权重向量的第i个分量，表示向量的第i个分量，表示向量的第i个分量，表示教师网络对应的独立目标类别概率，表示学生网络对应的独立目标类别概率；
面部痤疮分类模块，用于获取待分类的面部痤疮图像，并输入学生网络，学生网络输出分类结果；
面部痤疮分类模型训练模块中，权重的每个分量表示为：
其中，表示第个类别，表示教师网络的输出在目标类上的值，表示教师网络的输出在第个非目标类上的值，表示调节因子，用于将动态权重放缩到一个合适的范围，表示动态权重的初始值，用以提高方法的稳定性。
7.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
CN202411609086.8A 2024-11-12 2024-11-12 基于软标签的面部痤疮分类方法、系统、设备及介质 Active CN119600331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411609086.8A CN119600331B (zh) 2024-11-12 2024-11-12 基于软标签的面部痤疮分类方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411609086.8A CN119600331B (zh) 2024-11-12 2024-11-12 基于软标签的面部痤疮分类方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN119600331A CN119600331A (zh) 2025-03-11
CN119600331B true CN119600331B (zh) 2025-07-01

Family

ID=94836382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411609086.8A Active CN119600331B (zh) 2024-11-12 2024-11-12 基于软标签的面部痤疮分类方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN119600331B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073285A1 (zh) * 2020-10-09 2022-04-14 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN117392484A (zh) * 2023-12-06 2024-01-12 深圳市宗匠科技有限公司 一种模型训练方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947196A (zh) * 2021-10-25 2022-01-18 中兴通讯股份有限公司 网络模型训练方法、装置和计算机可读存储介质
CN115294407B (zh) * 2022-09-30 2023-01-03 山东大学 基于预习机制知识蒸馏的模型压缩方法及系统
CN115440346B (zh) * 2022-11-07 2023-02-24 四川大学华西医院 基于半监督学习的痤疮分级方法、系统、设备及存储介质
CN117523295B (zh) * 2023-11-17 2024-09-24 电子科技大学 基于类引导元学习的无源域适应的图像分类方法
CN118350460B (zh) * 2024-05-08 2024-10-15 江苏大学 面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073285A1 (zh) * 2020-10-09 2022-04-14 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN117392484A (zh) * 2023-12-06 2024-01-12 深圳市宗匠科技有限公司 一种模型训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN119600331A (zh) 2025-03-11

Similar Documents

Publication Publication Date Title
Liao et al. Deep facial spatiotemporal network for engagement prediction in online learning
Xiang et al. Towards interpretable skin lesion classification with deep learning models
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN110097000A (zh) 基于局部特征聚合描述符和时序关系网络的视频行为识别方法
Liu et al. A semi-supervised convolutional transfer neural network for 3D pulmonary nodules detection
CN113094476A (zh) 基于自然语言处理风险预警方法、系统、设备及介质
Ma et al. A new classifier fusion method based on historical and on-line classification reliability for recognizing common CT imaging signs of lung diseases
CN107563409A (zh) 一种基于区域图像特征关注网络与最近邻排序的描述方法
CN119397349B (zh) 一种基于cip肺炎多模态数据的多阶段分类方法
CN114511759A (zh) 一种皮肤状态图像的类别识别和特征确定方法及系统
Maruthai et al. Multi-axis transformer based U-Net with class balanced ensemble model for lung disease classification using X-ray images
Subasi Applications of artificial intelligence in medical imaging
Salam et al. A Hybrid Deep Learning and Machine Learning Model for Multi-Class Lung Disease Detection in Medical Imaging.
CN121458728B (zh) 基于解剖环境感知的淋巴结检测方法、系统、设备及介质
Liang et al. A spatiotemporal network using a local spatial difference stack block for facial micro-expression recognition
Prasad et al. A fine-tuned deep transfer learning model in classifying multiclass brain tumors for preclinical MRI image analysis
CN119889649B (zh) 基于隐含知识增强的疾病预测方法、装置、设备及介质
Ajami Disentangled Representation Learning vs. Resnet 18 for White Matter Lesion Detection in Multiple Sclerosis: A Comparative Study Including PCAEClassifier, BetaVAEClassifier, and ResNet 18
Zhang et al. A universal multiple instance learning framework for whole slide image analysis
Du et al. Merge loss calculation method for highly imbalanced data multiclass classification
Goindi et al. Improved Skin Disease Classification By Segmentation and Feature Mapping using Deep Learning
CN113724069B (zh) 基于深度学习的定价方法、装置、电子设备和存储介质
CN119600331A (zh) 基于软标签的面部痤疮分类方法、系统、设备及介质
CN117315320A (zh) 基于轴通道注意力模型的湿疹银屑病分类判定方法
CN117197477A (zh) 图像处理方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant