CN115862112A - 一种人脸图像痤疮疗效评估用目标检测模型 - Google Patents
一种人脸图像痤疮疗效评估用目标检测模型 Download PDFInfo
- Publication number
- CN115862112A CN115862112A CN202211609942.0A CN202211609942A CN115862112A CN 115862112 A CN115862112 A CN 115862112A CN 202211609942 A CN202211609942 A CN 202211609942A CN 115862112 A CN115862112 A CN 115862112A
- Authority
- CN
- China
- Prior art keywords
- acne
- network
- model
- detection model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种人脸图像痤疮疗效评估用目标检测模型，通过以下设计方法构建，具体包括以下步骤：S1，采用人脸痤疮图像数据并进行预处理；S2，痤疮检测网络模型的构建：S3，模型预训练及微调；S4，模型评估与测试。本发明融合了一种多尺度训练和迁移训练等方法，将其应用于面部痤疮的检测和疗效评估中，显著提高了痤疮检测和疗效评估的准确度。
Description
技术领域
本发明属于医疗图像，深度学习计以及计算机视觉领域，尤其涉及利用双阶段目标检测模型以及迁移学习。
背景技术
痤疮是一种慢性炎症性皮肤病，主要好发于青少年时期。临床表现以好发于面部的粉刺、丘疹、脓疱、结节等多形性皮损为特点，对青少年的健康状况和心里健康造成不同程度的影响。传统的痤疮诊断及疗效评估方法往往依赖于皮肤科医生的经验和临床特征，即费时又费力。目前，基于深度学习的医学图像分析技术在众多医学图像处理任务上都表现出卓越的性能。
发明内容
本发明提出了一种基于双阶段目标检测模型的人脸图像痤疮疗效评估方法。通过比对治疗前后面部算法检测出的痤疮个数和种类变化，评估痤疮的治疗疗效。在检测和识别算法部分，从痤疮尺寸小、正样本少的角度出发，结合双阶段检测模型的预选框生成和筛选以及多尺度训练及迁移训练等方法，设计了双阶段人脸痤疮检测模型。再将患者面部痤疮治疗前后的图片作为输入送入本专利提出的训练好的痤疮检测和识别模型，通过统计检测出的痤疮类别和个数变化，量化评估实际的痤疮治疗疗效。
本发明公开了一种人脸图像痤疮疗效评估用目标检测模型，能够精准进行人脸痤疮图像的检测和疗效评估的方案。一般场景下的单阶段目标检测模型，由于大量先验预选框所产生的负样本，导致痤疮的检测精度较低。而本发明双阶段目标检测模型，通过将先验预选框的精细化过滤掉大量的负样本，提高了检测精度。但是，由于痤疮固有的小目标特性，使得两种目标检测模型均不能得到很好的检测效果。本发明融合了一种多尺度训练和迁移训练等方法，将其应用于面部痤疮的检测和疗效评估中，显著提高了痤疮检测和疗效评估的准确度。
一种人脸图像痤疮疗效评估用目标检测模型，通过以下设计方法构建，具体包括以下步骤：
S1，采用人脸痤疮图像数据并进行预处理；
S2，痤疮检测网络模型的构建：将预处理得到的连续图像作为输入，使用深度残差网络作为骨干网络进行特征提取，通过残差连接帮助网络更好的学习特征。得到图像特征后，在第一阶段使用区域建议网络生成预选框，输出生成的预选框及其二分类结果，判断该预选框属于前景还是背景。得到预选框后，在第二个阶段，分类预测每个预选框所属的类别，回归预测每个预选框的位置坐标；并设计多任务协同损失函数，监督网络学习检测目标的类别和位置坐标；得到最后的训练检测结果；
S3，模型预训练及微调：首先，对检测模型进行基于coco数据集的预训练，预训练后的模型学习到的特征更加容易泛化。再次，在面部痤疮图像上进一步迁移训练预训练后的双阶段检测模型。具体的，使用多尺度面部痤疮图像训练，帮助网络学习不同尺寸目标的特征；同时微调网络参数，增强网络对于痤疮图像的表达能力。
S4，模型评估与测试：首先，使用查准率、查全率、召回率和准确率等检测任务评估指标对算法模型的效果进行评估，使得模型得以收敛。再测试S3步得到的双阶段痤疮检测模型，即对某一患者治疗前后的左右脸图片，分别输入检测模型，根据设定的置信度阈值，筛选预测结果，并根据预测结果自动统计对应图片上各个痤疮类别的数量，通过对比治疗前后痤疮的种类和数量的变化，实现疗效的量化评估。具体的，对比各种类痤疮的数量变化，统计痤疮数量减少的占比，占比大小即反映治疗效果的显著程度。
其中，上述数据集图像预处理过程S1中，具体包括以下步骤：
S11，读取数据集中的图片；
S12，在该模块中对输入的图片进行多尺度尺寸的缩放和随机左右反转，实际实验中采用六种尺度的组合,具体为(1333,640),(1333,672),(1333,704),(1333,736),(1333,768),(1333,800)六种尺度。
S13，使用基于大型数据集ImageNet统计得到图像均值和标准差，对图片进行归一化处理。
上述步骤S2中，构建的痤疮检测预训练网络模型主要由一个主干网络用于特征提取、一个区域建议网络用于选出预选框和一个ROI Align进行各大小不同的预选框的特征对齐。在该检测模型的第二阶段网络部分包含两个预测分支：分类预测和回归预测。通过两个预测分支分别预测预选框的物体类别和位置坐标。进一步的，上述步骤S2具体包括以下步骤：
S21，将预处理后的图片送入到主干网络中进行特征提取。该主干网络由若干个卷积层组成，每个卷积层后都会有一个归一化层和激活函数，从而使得网络拥有拟合非线性函数的能力。在若干卷积层后，会有一条残差边直接将某一层的输出加到网络更深层中，从而避免梯度消失的问题，使得深度网络能够拥有更强的表达能力。
S22，通过主干特征提取得到的特征图送入区域建议网络中，输出生成的目标区域预选框以及该预选框属于前景和背景的二分类结果。区域建议网络由全卷积网络组成，全卷积网络由若干卷积层组成，通过共享卷积核在减少计算量的同时，通过区域建议网络过滤掉背景。
S23，将区域建议网络生成得到的预选框，送入ROI Align，进行特征提取和维度对齐。ROI Pooling的两次量化操作会造成预选框较大的偏差，而ROI Align使用双线性插值进行不同大小预选框的特征维度对齐。
S24,将对齐后的特征分别送入第二阶段的分类预测分支进行痤疮识别。该分类预测分支由共享的两层全连接层构成和一个独立的全连接层，分类预测每个预选框对应的类别；
S25,同时，将对齐后的特征送入第二阶段的回归预测分支进行位置坐标的判定。该回归预测分支由与分类分支共享的两层全连接层和一个独立的全连接层构成，回归预测预选框的中心点纵横坐标、长、宽共四个值。
上述步骤S3中，具体包含以下步骤：
S31，在进行多尺度训练时，每隔一定的迭代次数时，就对输入图片的尺寸进行缩放和随机左右翻转，随机缩放为六种尺寸中的其中一种，用于之后的训练。
S32，加载基于coco数据集预训练好的模型，利用预训练模型的泛化特征进一步在人脸痤疮图像上进行微调，帮助网络更好地学习到人脸特征和痤疮特征。
S33,评估算法效果，根据模型预测结果和医生标注的真实结果进行对比，分别计算查准率，查全率，召回率和准确率等指标。比较相关指标和已有检测模型结果的提升幅度。
附图说明
图1是本发明模型在应用中的方法流程图。
图2是本发明实施例中痤疮检测模型的完整网络结构示意图。
图3是实施例中A患者治疗前后效果对比。
图4是实施例中A患者治疗前后痤疮数量统计表。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步信息说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明预测模型针对皮肤痤疮治疗这一医学场景，旨在通过机器自动化检测和识别治疗前后患者面部痤疮类别和个数，实现疗效的量化评估任务。本发明模型的算法部分针对皮肤痤疮尺寸小，样本密集等难点，利用双阶段目标检测网络精细化先验框的生成，避免过多的负样本干扰网络的学习，同时通过多尺度训练，帮助网络充分学习小目标的特征结合预训练模型和网络微调，设计了一种基于双阶段目标检测模型的人脸图像痤疮检测算法。通过该算法构建的预测模型，精准化检测出患者治疗前后脸部图像中各类型痤疮(诸如：丘疹、脓疱、结节等)的位置及个数，再通过统计及计算各类别痤疮的个数及变化趋势，达到定量化评估痤疮治疗疗效的目的。
以下通过实施例进一步说明书本发明技术方案。
实施例
本发明实施提供的基于双阶段目标检测模型的人脸图像痤疮疗效评估方法包括以下步骤：
步骤一，数据预处理模块，在该模块中对输入的图片进行多尺度尺寸的缩放，实际实验中采用六种尺度的组合。同时，使用基于大型数据集ImageNet统计得到均值和标准差，对图片进行归一化处理。
步骤二，痤疮检测模型的完整网络结构示意图，如图2所示：构建双阶段检测模型，由一个主干网络，一个区域建议网络和两个预测分支组成。其中，主干网络主要使用残差连接网络实现图像特征提取的功能，通过残差边使得网络在深层次也能学到很好的特征。(注：主干网络的具体实现功能是特征提取，具体的网络结构形式是残差链接网络。)
在模型的第一阶段使用区域建议网络生成预选框，区域建议网络由若干卷积层组成，输出生成的预选框及其二分类结果，即该预选框属于前景还是背景。随后使用ROIAlign，对生成的预选框进行特征提取和维度对齐，ROI Align层通过双线性插值对预选框的维度进行对齐，以便于第二阶段进行预测。
在模型的第二阶段，由两个分支组成：分类预测分支和回归预测分支，通过两个预测分支分别预测预选框的类别和坐标。分类预测头由若干卷积层替代常见的全连接层，减少计算量的同时预测每个预选框对应的类别；回归预测头由若干卷积层替代常见的全连接层，回归预测预选框长、宽、中心点横坐标和中心点纵坐标四个值，得到更加精确的检测结果。为模型设计多任务协同损失函数，对分类和回归问题做监督训，最终的损失函数如下所示：
损失函数公示中，Pi是模型预测当前预选框为真实类别的概率，
是真实类别，值为0或1，Lcls是分类损失函数，表示为/>
Ncls是经过区域建议网络生成的预选框的数量，第一部分/>
是整体的分类损失；ti是模型预测的每一个预选框的偏移量，通常表示为一个向量{tx,ty,tw,th}，/>
为实际的偏移量，Nreg为正负样本的总数，第二部分/>
是回归损失，λ用来平衡回归损失相较于分类损失的权重。在实验过程中，需要根据实验中的实际损失，调整这一参数的值。
步骤三，模型训练和实验验证，以实际采集的数据集为例，总共将痤疮划分成了四个种类，将其中216张作为训练集，38张作为测试集。训练使用SGD优化器更新参数，设置动量为0.9，初始学习率设置为0.002，并分别在16和22个epoch后降低为之前的0.1倍，与其他算法的比较也依照这套统一标准来训练和测试不同的模型。训练过程中，对模型采用迁移训练，预先加载基于coco数据进行了预训练的模型；同时使用多尺度训练，在一定迭代次数后对输入图片的尺寸进行变换，提高网络对于不同尺寸图片的特征表达能力。
步骤四，统计治疗前后，模型检测的痤疮个数。具体分为治疗前患者的左脸和右脸4种痤疮的数量以及治疗后患者的左脸和右脸4种痤疮的数量。根据数量的变化，统计痤疮数量减少占比，通过该指标反映治疗效果的显著程度。
图3为患者A的治疗前后的左右两边的脸的痤疮检测结果显示。第一列为治疗前右脸，第二列为治疗后右脸。第三列为治疗前左脸检测结果，第四列为治疗后左脸检测结果。从该患者的检测结果看出，其痤疮治疗的效果显著。
图4所示的表1：患者A治疗前后不同痤疮的计数及治疗疗效评估结果。
Claims (8)
1.一种人脸图像痤疮疗效评估用目标检测模型，其特征在于，通过以下设计方法构建，具体包括以下步骤：
S1，采用人脸痤疮图像数据并进行预处理；
S2，痤疮检测网络模型的构建：将预处理得到的连续图像作为输入，使用深度残差网络作为骨干网络进行特征提取，通过残差连接帮助网络更好的学习特征；得到图像特征后，在第一阶段使用区域建议网络生成预选框，输出生成的预选框及其二分类结果，判断该预选框属于前景还是背景；得到预选框后，在第二个阶段，分类预测每个预选框所属的类别，回归预测每个预选框的位置坐标；并设计多任务协同损失函数，监督网络学习检测目标的类别和位置坐标；得到最后的训练检测结果；
S3，模型预训练及微调：首先，对检测模型进行基于coco数据集的预训练，预训练后的模型学习到的特征更加容易泛化；再次，在面部痤疮图像上进一步迁移训练预训练后的双阶段检测模型；
S4，模型评估与测试：首先，使用查准率、查全率、召回率和准确率检测任务评估指标对算法模型的效果进行评估，使得模型得以收敛；再测试S3步得到的双阶段痤疮检测模型，即对某一患者治疗前后的左右脸图片，分别输入检测模型，根据设定的置信度阈值，筛选预测结果，并根据预测结果自动统计对应图片上各个痤疮类别的数量，通过对比治疗前后痤疮的种类和数量的变化，实现疗效的量化评估。
2.如权利要求1所述的人脸图像痤疮疗效评估用目标检测模型，其特征在于，步骤S1中，数据集图像预处理过程，具体包括以下步骤：
S11，读取数据集中的图片；
S12，在该模块中对输入的图片进行多尺度尺寸的缩放和随机左右反转，实际实验中采用六种尺度的组合,具体为(1333,640),(1333,672),(1333,704),(1333,736),(1333,768),(1333,800)六种尺度；
S13，使用基于大型数据集ImageNet统计得到图像均值和标准差，对图片进行归一化处理。
3.如权利要求1所述的人脸图像痤疮疗效评估用目标检测模型，其特征在于，步骤S2中，构建的痤疮检测预训练网络模型主要由一个主干网络用于特征提取、一个区域建议网络用于选出预选框和一个ROI Align进行各大小不同的预选框的特征对齐；在该检测模型的第二阶段网络部分包含两个预测分支：分类预测和回归预测；通过两个预测分支分别预测预选框的物体类别和位置坐标。
4.如权利要求3所述的人脸图像痤疮疗效评估用目标检测模型，其特征在于，步骤S2中，具体包括以下步骤：
S21，将预处理后的图片送入到主干网络中进行特征提取；该主干网络由若干个卷积层组成，每个卷积层后都会有一个归一化层和激活函数，从而使得网络拥有拟合非线性函数的能力；在若干卷积层后，会有一条残差边直接将某一层的输出加到网络更深层中，从而避免梯度消失的问题，使得深度网络能够拥有更强的表达能力；
S22，通过主干特征提取得到的特征图送入区域建议网络中，输出生成的目标区域预选框以及该预选框属于前景和背景的二分类结果；区域建议网络由全卷积网络组成，全卷积网络由若干卷积层组成，通过共享卷积核在减少计算量的同时，通过区域建议网络过滤掉背景；
S23，将区域建议网络生成得到的预选框，送入ROI Align，进行特征提取和维度对齐；ROI Pooling的两次量化操作会造成预选框较大的偏差，而ROI Align使用双线性插值进行不同大小预选框的特征维度对齐；
S24,将对齐后的特征分别送入第二阶段的分类预测分支进行痤疮识别；该分类预测分支由共享的两层全连接层构成和一个独立的全连接层，分类预测每个预选框对应的类别；
S25,同时，将对齐后的特征送入第二阶段的回归预测分支进行位置坐标的判定；该回归预测分支由与分类分支共享的两层全连接层和一个独立的全连接层构成，回归预测预选框的中心点纵横坐标、长、宽共四个值。
5.如权利要求1所述的人脸图像痤疮疗效评估用目标检测模型，其特征在于，步骤S2，为模型设计多任务协同损失函数，对分类和回归问题做监督训，最终的损失函数如下所示：
损失函数公示中，Pi是模型预测当前预选框为真实类别的概率，
是真实类别，值为0或1，Lcls是分类损失函数，表示为/>
Ncls是经过区域建议网络生成的预选框的数量，第一部分/>
是整体的分类损失；ti是模型预测的每一个预选框的偏移量，通常表示为一个向量{tx,ty,tw,th}，/>
为实际的偏移量，Nreg为正负样本的总数，第二部分/>
是回归损失，λ用来平衡回归损失相较于分类损失的权重；在实验过程中，根据实验中的实际损失，调整这一参数的值。
6.如权利要求1所述的人脸图像痤疮疗效评估用目标检测模型，其特征在于，步骤S3中，具体包含以下步骤：
S31，在进行多尺度训练时，每隔一定的迭代次数时，就对输入图片的尺寸进行缩放和随机左右翻转，随机缩放为六种尺寸中的其中一种，用于之后的训练；
S32，加载基于coco数据集预训练好的模型，利用预训练模型的泛化特征进一步在人脸痤疮图像上进行微调，帮助网络更好地学习到人脸特征和痤疮特征；
S33,评估算法效果，根据模型预测结果和医生标注的真实结果进行对比，分别计算查准率，查全率，召回率和准确率指标；比较相关指标和已有检测模型结果的提升幅度。
7.如权利要求1所述的人脸图像痤疮疗效评估用目标检测模型，其特征在于，步骤S3，使用多尺度面部痤疮图像训练，帮助网络学习不同尺寸目标的特征；同时微调网络参数，增强网络对于痤疮图像的表达能力。
8.如权利要求1所述的人脸图像痤疮疗效评估用目标检测模型，其特征在于，步骤S4，对比各种类痤疮的数量变化，统计痤疮数量减少的占比，占比大小即反映治疗效果的显著程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211609942.0A CN115862112A (zh) | 2022-12-12 | 2022-12-12 | 一种人脸图像痤疮疗效评估用目标检测模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211609942.0A CN115862112A (zh) | 2022-12-12 | 2022-12-12 | 一种人脸图像痤疮疗效评估用目标检测模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115862112A true CN115862112A (zh) | 2023-03-28 |
Family
ID=85672985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211609942.0A Pending CN115862112A (zh) | 2022-12-12 | 2022-12-12 | 一种人脸图像痤疮疗效评估用目标检测模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862112A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351307A (zh) * | 2023-12-06 | 2024-01-05 | 深圳市宗匠科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
-
2022
- 2022-12-12 CN CN202211609942.0A patent/CN115862112A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351307A (zh) * | 2023-12-06 | 2024-01-05 | 深圳市宗匠科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
| CN117351307B (zh) * | 2023-12-06 | 2024-05-17 | 深圳市宗匠科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
| Xie et al. | Scut-fbp: A benchmark dataset for facial beauty perception | |
| CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
| CN111274916B (zh) | 人脸识别方法和人脸识别装置 | |
| WO2019227479A1 (zh) | 人脸旋转图像的生成方法及装置 | |
| CN114445670B (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
| CN110555481A (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| WO2021218238A1 (zh) | 图像处理方法和图像处理装置 | |
| Wang et al. | GKFC-CNN: Modified Gaussian kernel fuzzy C-means and convolutional neural network for apple segmentation and recognition | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| CN114022718B (zh) | 消化系统病理图像识别方法、系统及计算机存储介质 | |
| CN112446891A (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN113592894B (zh) | 一种基于边界框和同现特征预测的图像分割方法 | |
| Zhang et al. | Urine sediment recognition method based on multi-view deep residual learning in microscopic image | |
| Chen et al. | Skin lesion segmentation using recurrent attentional convolutional networks | |
| CN115862112A (zh) | 一种人脸图像痤疮疗效评估用目标检测模型 | |
| CN113592893B (zh) | 一种确定主体和精准化边缘相结合的图像前景分割方法 | |
| CN114972202A (zh) | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| Ding et al. | Efficient Unet with depth-aware gated fusion for automatic skin lesion segmentation | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| Xiao et al. | A feature extraction method for lung nodules based on a multichannel principal component analysis network (PCANet) | |
| CN116503932A (zh) | 重点区域加权的眼周特征提取方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |