CN117789263A - 皱纹检测方法、装置、设备及存储介质 - Google Patents
皱纹检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117789263A CN117789263A CN202211176099.1A CN202211176099A CN117789263A CN 117789263 A CN117789263 A CN 117789263A CN 202211176099 A CN202211176099 A CN 202211176099A CN 117789263 A CN117789263 A CN 117789263A
- Authority
- CN
- China
- Prior art keywords
- wrinkle
- wrinkle detection
- training
- label
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000037303 wrinkles Effects 0.000 title claims abstract description 226
- 238000001514 detection method Methods 0.000 title claims abstract description 125
- 238000012549 training Methods 0.000 claims abstract description 84
- 230000004913 activation Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提出一种皱纹检测方法、装置、设备及存储介质,该方法包括:获取训练集,训练集包括标注有多种皱纹标签的人脸样本图像;构建用于进行皱纹分类的网络模型结构,网络模型结构包括多个激活层,激活层的数目与皱纹标签的种类数目相等;根据训练集训练网络模型结构,得到训练好的皱纹检测模型。本申请使用具有多个激活层的皱纹检测模型来检测人脸图像中的皱纹类别。皱纹检测模型的结构简单,运算量小。进一步地,在皱纹检测模型中添加多头注意力机制,能学习到不同皱纹标签之间的关联性,提高多标签分类的准确性。皱纹检测模型具有更轻的网络结构,训练时能更快收敛,提高模型训练效率,在相同资源情况下该皱纹检测模型具有更高的服务性能。
Description
技术领域
本申请属于图像处理技术领域,具体涉及一种皱纹检测方法、装置、设备及存储介质。
背景技术
目前,对于人脸图像处理应用越来越多,在医美领域,对人脸进行皱纹检测是模拟整形应用之一。
相关技术中通常采用检测和语义分割模型对人脸图像进行分类来识别皱纹,但该方式更适合对象是一个较大的具体事物的情况,对于皱纹这种细微纹路,很难进行检测目标框和语义分割的掩码定义,检测的准确性很低。
发明内容
本申请提出一种皱纹检测方法、装置、设备及存储介质,使用具有多个激活层的皱纹检测模型进行皱纹检测。皱纹检测模型的结构简单,运算量小,具有更轻的网络结构,训练时能更快收敛,提高模型训练效率,在相同资源情况下该皱纹检测模型具有更高的服务性能。
本申请第一方面实施例提出了一种皱纹检测方法,包括:
获取训练集,所述训练集包括标注有多种皱纹标签的人脸样本图像;
构建用于进行皱纹分类的网络模型结构,所述网络模型结构包括多个激活层,所述激活层的数目与所述皱纹标签的种类数目相等;
根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型。
在本申请的一些实施例中,所述构建用于进行多标签分类的网络模型结构,包括:
构建主干分类器,将所述主干分类器与所述多个激活层连接。
在本申请的一些实施例中,所述构建用于进行多标签分类的网络模型结构,包括:
构建主干分类器,将所述主干分类器与多头注意力层连接;
将所述多头注意力层与所述多个激活层连接。
在本申请的一些实施例中,所述主干分类器包括CSPnet网络,所述将所述主干分类器与多头注意力层连接,包括:
将所述CSPnet网络中过渡层的输出端依次连接卷积层、池化层和全连接层;
将所述全连接层与多头注意力层连接。
在本申请的一些实施例中,所述根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型,包括:
从所述训练集中获取人脸样本图像;
将所述人脸样本图像输入所述主干分类器,输出每种皱纹标签对应的特征向量;
将每个所述特征向量分别输入所述多个激活层中,得到每种皱纹标签对应的预测概率;
根据每种皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
在本申请的一些实施例中,所述根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型,包括:
从所述训练集中获取人脸样本图像;
将所述人脸样本图像输入所述主干分类器,输出每种皱纹标签对应的特征向量;
将每种皱纹标签对应的特征向量输入所述多头注意力层,输出每种皱纹标签对应的多头注意力矩阵;
将每个所述多头注意力矩阵分别输入所述多个激活层中,得到每种皱纹标签对应的预测概率;
根据每种皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
在本申请的一些实施例中,所述方法还包括:
获取待检测的人脸图像;
通过训练好的所述皱纹检测模型对所述待检测的人脸图像进行皱纹检测。
在本申请的一些实施例中,所述通过训练好的所述皱纹检测模型对所述待检测的人脸图像进行皱纹检测,包括:
将所述待检测的人脸图像输入训练好的所述皱纹检测模型中,获得每种皱纹标签对应的预测概率;
将预测概率大于预设阈值的皱纹标签确定为所述待检测的人脸图像所具有的皱纹类别。
本申请第二方面的实施例提供了一种皱纹检测装置,包括:
获取模块,用于获取训练集,所述训练集包括标注有多种皱纹标签的人脸样本图像;
模型构建模块,用于构建用于进行皱纹分类的网络模型结构,所述网络模型结构包括多个激活层,所述激活层的数目与所述皱纹标签的种类数目相等;
模型训练模块,用于根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型。
本申请第三方面的实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序以实现上述第一方面所述的方法。
本申请第四方面的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行实现上述第一方面所述的方法。
本申请实施例中提供的技术方案,至少具有如下技术效果或优点:
在本申请实施例中,使用具有多个激活层的皱纹检测模型来对人脸图像进行皱纹检测。皱纹检测模型的结构简单,运算量小。进一步地,在皱纹检测模型中添加多头注意力机制,使得皱纹检测模型能够学习到不同皱纹标签之间的关联性,提高皱纹检测的准确性。本申请提供的这两种皱纹检测模型都具有更轻的网络结构,在训练过程中能够更快地收敛,提高模型训练效率,在相同的资源情况下本申请训练的皱纹检测模型具有更高的服务性能。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变的明显,或通过本申请的实践了解到。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。
在附图中:
图1示出了本申请一实施例所提供的一种皱纹检测方法流程图;
图2示出了本申请一实施例所提供的一种用于皱纹检测的网络模型的结构示意图;
图3示出了本申请一实施例所提供的CSPnet网络的结构示意图;
图4示出了本申请一实施例所提供的以CSPnet网络为主干分类器的皱纹检测模型的结构示意图;
图5示出了本申请一实施例所提供的另一种用于皱纹检测的网络模型的结构示意图;
图6示出了本申请一实施例所提供的注意力机制的结构示意图;
图7示出了本申请一实施例所提供的多头注意力机制的结构示意图;
图8示出了本申请一实施例所提供的多头注意力机制的另一结构示意图;
图9示出了本申请一实施例所提供的以CSPnet网络为主干分类器的另一皱纹检测模型的结构示意图;
图10示出了本申请一实施例所提供的一种皱纹检测装置的结构示意图;
图11示出了本申请一实施例所提供的一种电子设备的结构示意图;
图12示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种皱纹检测方法、装置、设备及存储介质。
目前,在医美领域需要对人脸进行皱纹检测。现有的皱纹检测处理方式主要集中于检测和语义分割等。检测和语义分割可以解决多标签分类的问题,但更适合对象是一个较大的具体事物的情况,对于皱纹这种细微纹路,很难进行检测目标框和语义分割的掩码定义,检测的准确性很低。
相关技术中采用TresnetASL模型来对图像进行多标签分类,但该模型的网络结构较大。有些场景追求不降低网络性能的情况下,使用更轻量级的网络。
基于此本申请实施例提供一种皱纹检测方法,该方法使用具有多个激活层的皱纹检测模型来检测人脸图像中的皱纹。皱纹检测模型的结构简单,运算量小。进一步地,在皱纹检测模型中添加多头注意力机制,使得皱纹检测模型能够学习到不同皱纹标签之间的关联性,提高皱纹检测模型的准确性。
参见图1,该方法具体包括以下步骤:
步骤101:获取训练集,该训练集包括标注有多种皱纹标签的人脸样本图像。
获取大量的人脸样本图像,在每个人脸样本图像中标注多种皱纹标签。皱纹标签可以包括抬头纹、鱼尾纹、川字纹、木偶纹等。每种皱纹标签都是一个二分类问题,通过不同的取值来表示具体的类别,如木偶纹的皱纹标签的取值为1,表示图像中的人脸具有木偶纹;而木偶纹的皱纹标签的取值为0,则表示图中的人脸没有木偶纹。
需要说明的是,一个人脸样本图像可以同时属于多个皱纹分类,假设用1表示人脸样本图像属于某个分类,则一个人脸样本图像标注的多个皱纹标签中可以同时有多个皱纹标签的取值为1。
步骤102:构建用于进行皱纹分类的网络模型结构,该网络模型结构包括多个激活层,激活层的数目与皱纹标签的种类数目相等。
在本申请的一些实施例中,构建主干分类器。将主干分类器与多个激活层连接,得到用于检测皱纹的网络模型结构。图2示出了该网络模型结构的示意图,图中示意性地画出了激活层1、激活层2、……、激活层N。实际应用中激活层的数目与皱纹标签的数目相等。
主干分类器可以为CSPnet网络、resnet、vittransform等。本申请实施例以CSPnet网络为例进行具体说明。其中,CSPnet网络的一个阶段由部分dense block和部分过渡层组成,dense block由K个dense layer组成,dense block的输出通道数很多,通过过渡层进行降维。图3示出了CSPnet网络的结构示意图,如图3所示,在部分dense block中,通过通道x0=[x0’,x0”],将一个阶段中基础层的特征图分成两部分。在x0”和x0’之间,前者直接连接到阶段的末尾,后者将通过dense block。部分过渡层涉及的步骤如下,dense layer的输出[x0’,x1,……,xk]将经历过渡层,其次这个转换层的x_T的输出将与x0”连接,并经过另一个转换层,最后生成输出x_U。
CSPnet网络通过分裂合并策略,可以使梯度路径的数目翻倍。另外,由于部分dense block中的dense layer操作所涉及的底层信道只占原始信道的一半,因此可以有效地解决近一半的计算瓶颈,同时可以节省网络内存流量。
将CSPnet网络作为主干网络,将CSPnet网络中过渡层的输出端依次连接卷积层、池化层和全连接层,将全连接层与多个激活层连接,得到用于进行皱纹分类的网络模型结构。其中,激活层的数目与皱纹标签的数目相等,每个激活层均采用sigmoid函数作为激活函数。
图4示出了该网络模型结构的示意图,对全连接输出的每一个神经元,进行sigmoid计算,以表示该类别的预测概率值。图4中多个Sigmoid层即为多个激活层,每个激活层分别输出一种皱纹标签的预测概率。图4中示意性地画出了4个激活层Sigmoid,每个激活层Sigmoid对应于一个输出值(即预测概率)。
在本申请的另一些实施例中,构建主干分类器。然后先将主干分类器与多头注意力层连接,再将多头注意力层与多个激活层连接,得到用于进行皱纹检测的网络模型结构。其中,构建主干分类器的过程与上文所述的构建过程相同,在此不再赘述。图5示出了包括多头注意力层的网络模型结构的示意图,图中示意性地画出了激活层1、激活层2、……、激活层N。实际应用中激活层的数目与皱纹标签的数目相等。
注意力机制Attention用于计算"相关程度",表示为将query(Q)和键值对key-value映射到输出上,映射公式如下所示。其中query、每个key、每个value都是向量,输出是V中所有values的加权,其中权重是由query和每个key计算出来的,注意力机制Attention的结构如图6所示。
通过上述公式首先计算Q和K的相似度,将得到的相似度进行Softmax操作,进行归一化。最后针对计算出来的权重,对V中所有的values进行加权求和计算,得到Attention向量。
多头注意力机制是在上述注意力机制的基础上,对Q,K,V进行分组计算,最后将结果拼接得到的,多头注意力机制的结构如图7和8所示。多头注意力机制的公式表示为:
MultiHead(Q,K,V)=Concat(head1,...,headh)WO
其中,Q、K、V分别表示query、key、value的向量,W表示权重,WQ、WK、WV、WO分别表示query、key、value及输出Out的权重矩阵,headi表示第i个头。
本申请实施例在主干分类器与多个激活层之间增加多头注意力层,主干分类器以CSPnet网络为例,则构建的用于进行皱纹检测的网络模型结构如图9所示。图9中多个Sigmoid层即为多个激活层,每个激活层分别输出一种皱纹标签的预测概率。图9中示意性地画出了5个激活层Sigmoid,每个激活层Sigmoid对应于一个输出值(即预测概率)。
通过多头注意力层学习不同类别之间的关联性多头注意力层输出每个皱纹标签对应的特征向量,再通过多个激活层采用sigmoid函数分别根据每个皱纹标签对应的特征向量计算每个皱纹标签对应的预测概率,实现基于人脸图像的多种皱纹类别的检测,提高皱纹检测的准确性。
步骤103:根据训练集训练网络模型结构,得到训练好的皱纹检测模型。
在本申请的一些实施例中,步骤102构建了如图2所示的网络模型结构。对该网络模型结构进行训练,首先从训练集中获取人脸样本图像,获取的人脸样本图像的数目可以为图2所示的网络模型结构对应的batch size个人脸样本图像。将获取的人脸样本图像输入主干分类器,输出每个皱纹标签对应的特征向量。将每个特征向量分别输入多个激活层中,主干分类器输出的特征向量的数目与皱纹标签的数目及激活层的数目均相等,将每个特征向量分别输入到不同的激活层中,每个激活层均输出各自接收的特征向量对应的预测概率,即得到了每个皱纹标签对应的预测概率。根据每个皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
预设损失函数可以为ASL(Auto Seg-Loss,自动损失函数),或其他任意二分类损失函数。ASL损失函数的公式如下所示:
其中,L+是正样本损失值,L-是负样本损失值,p是激活层输出的预测概率,γ是focusing参数。pm=max(p-m,0),m是超参数,用于调节p调整的幅度。
在上述模型训练过程中使用AdamW优化器,该优化器容易调参,同时可以训练出与SGD(随机梯度下降)+Moment等同的模型性能。学习率调度器可以采用如下所示的CosineAnnealingWarmRestarts学习率调度公式,余弦退火学习率可以让模型跳出局部最优解,从而训练得到更好的模型。
其中,ηmin为最小学习率,ηmax为初始学习率,Tcur为上次学习率重置后的epochs(训练轮数),Ti表示经过多少epochs(训练轮数)后,学习率进行重置,当Tcur=Ti时,设置ηt=ηmin,当学习率重置后Tcur=0时,设置ηt=ηmax。
本申请实施例并不限定具体使用何种损失函数、优化器和学习率调度器,上述仅以示例的方式给出了一些损失函数、优化器和学习率调度器,实际应用中可根据需求选用合适的损失函数、优化器和学习率调度器。
通过上述方式计算出当前训练周期的损失值之后,判断当前已训练的周期数目是否达到了预设次数,如果是,则停止训练,根据已训练的周期中损失值最小的训练周期的模型参数以及图2所示的网络模型结构,获得训练好的皱纹检测模型。如果当前已训练的周期数目未达到预设次数,则继续训练,直至训练次数达到预设次数后,按照上述方式获得最终训练好的皱纹检测模型。
在本申请的一些实施例中,步骤102构建了如图5所示的网络模型结构。对该网络模型结构进行训练,首先从训练集中获取人脸样本图像,获取的人脸样本图像的数目可以为图5所示的网络模型结构对应的batch size个人脸样本图像。将获取的人脸样本图像输入主干分类器,输出每个皱纹标签对应的特征向量。主干分类器输出的特征向量的数目与皱纹标签的数目相等,将每个皱纹标签对应的特征向量输入多头注意力层,输出每个皱纹标签对应的多头注意力矩阵。多头注意力层输出的多头注意力矩阵的数目与皱纹标签的数目及激活层的数目均相等,将每个多头注意力矩阵分别输入每个激活层中,每个激活层均输出各自接收的多头注意力矩阵对应的预测概率,即得到了每个皱纹标签对应的预测概率。根据每个皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
计算当前训练周期的损失值的过程以及模型训练的收敛过程,均与上述训练图2所示的模型网络结构的过程相同,按照上述方式训练出图5所示结构的皱纹检测模型。
通过上述方式训练出皱纹检测模型之后,即可将皱纹检测模型部署在需要提供皱纹检测服务的设备上。部署该服务之后即可利用皱纹检测模型来检测人脸图像中的皱纹类别。
具体地,获取待检测的人脸图像;通过训练好的皱纹检测模型对待检测的人脸图像进行皱纹检测。将待检测的人脸图像输入训练好的皱纹检测模型中,获得每个皱纹标签对应的预测概率。将预测概率大于预设阈值的皱纹标签确定为待检测的人脸图像所具有的皱纹类别。
若部署的皱纹检测模型的结构如图2所示,则将待检测的人脸图像输入皱纹检测模型的主干分类器中,输出每个皱纹标签对应的特征向量。将每个特征向量分别输入不同的激活层中,每个激活层都根据各自接收到的特征向量,采用sigmoid算法计算各自的特征向量对应的皱纹标签的预测概率。将预测概率大于预设阈值的皱纹标签确定为待检测的人脸图像所具有的皱纹类别,将确定的待检测的人脸图像所具有的皱纹标签返回给调用该服务的用户端。
图2所示结构的皱纹检测模型具有更轻量级的网络结构,在训练过程中能够更快收敛,提高模型的训练效率。且利用该皱纹检测模型能够准确地实现对图像的多标签分类。
若部署的皱纹检测模型的结构如图5所示,则将待检测的人脸图像输入皱纹检测模型的主干分类器中,输出每个皱纹标签对应的特征向量。将每个特征向量输入多头注意力层,输出每个皱纹标签对应的多头注意力矩阵。将每个多头注意力矩阵分别输入不同的激活层中,每个激活层都根据各自接收到的多头注意力矩阵,采用sigmoid算法计算各自的多头注意力矩阵对应的皱纹标签的预测概率。将预测概率大于预设阈值的皱纹标签确定为待检测的人脸图像所具有的皱纹类别,将确定的待检测的人脸图像所具有的皱纹标签返回给调用该服务的用户端。
图5所示结构的皱纹检测模型的量级较小,在训练过程中能够更快收敛,提高模型的训练效率。且该皱纹检测模型中包括多头注意力层,在训练过程中多头注意力层学习了不同皱纹标签之间的关联性。在通过该皱纹检测模型对待检测的人脸图像进行皱纹检测时,多头注意力层将其学习到的不同皱纹标签之间的关联性应用于各皱纹标签之间的区分,使得最终的多标签分类的准确性更高。
在本申请实施例中,使用具有多个激活层的皱纹检测模型来对图像进行皱纹检测。皱纹检测模型的结构简单,运算量小。进一步地,在皱纹检测模型中添加多头注意力机制,使得皱纹检测模型能够学习到不同皱纹标签之间的关联性,提高多皱纹检测的准确性。本申请提供的这两种皱纹检测模型都具有更轻的网络结构,在训练过程中能够更快地收敛,提高模型训练效率,在相同的资源情况下本申请训练的皱纹检测模型具有更高的服务性能。
本申请实施例还提供一种皱纹检测装置,该用于执行上述任一实施例提供的皱纹检测方法。如图10所示,该装置包括:
获取模块201,用于获取训练集,训练集包括标注有多种皱纹标签的人脸样本图像;
模型构建模块202,用于构建用于进行皱纹分类的网络模型结构,网络模型结构包括多个激活层,激活层的数目与皱纹标签的种类数目相等;
模型训练模块203,用于根据训练集训练网络模型结构,得到训练好的皱纹检测模型。
模型构建模块202,用于构建主干分类器,将主干分类器与多个激活层连接。
模型构建模块202,用于构建主干分类器,将主干分类器与多头注意力层连接;将多头注意力层与多个激活层连接。
主干分类器包括CSPnet网络,模型构建模块202,用于将CSPnet网络中过渡层的输出端依次连接卷积层、池化层和全连接层;将全连接层与多头注意力层连接。
模型训练模块203,用于从训练集中获取人脸样本图像;将人脸样本图像输入主干分类器,输出每种皱纹标签对应的特征向量;将每个特征向量分别输入多个激活层中,得到每种皱纹标签对应的预测概率;根据每种皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
模型训练模块203,用于从训练集中获取人脸样本图像;将人脸样本图像输入主干分类器,输出每种皱纹标签对应的特征向量;将每种皱纹标签对应的特征向量输入多头注意力层,输出每种皱纹标签对应的多头注意力矩阵;将每个多头注意力矩阵分别输入多个激活层中,得到每种皱纹标签对应的预测概率;根据每种皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
该装置还包括:检测模块,用于获取待检测的人脸图像;通过训练好的皱纹检测模型对待检测的人脸图像进行皱纹检测。
检测模块,具体用于将待检测的人脸图像输入训练好的皱纹检测模型中,获得每种皱纹标签对应的预测概率;将预测概率大于预设阈值的皱纹标签确定为待检测的人脸图像所具有的皱纹类别。
在本申请实施例中,使用具有多个激活层的皱纹检测模型来对图像进行皱纹检测。皱纹检测模型的结构简单,运算量小。进一步地,在皱纹检测模型中添加多头注意力机制,使得皱纹检测模型能够学习到不同皱纹标签之间的关联性,提高多皱纹检测的准确性。本申请提供的这两种皱纹检测模型都具有更轻的网络结构,在训练过程中能够更快地收敛,提高模型训练效率,在相同的资源情况下本申请训练的皱纹检测模型具有更高的服务性能。
本申请实施方式还提供一种电子设备,以执行上述皱纹检测方法。请参考图11其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图11所示,电子设备8包括:处理器800,存储器801,总线802和通信接口803,所述处理器800、通信接口803和存储器801通过总线802连接;所述存储器801中存储有可在所述处理器800上运行的计算机程序,所述处理器800运行所述计算机程序时执行本申请前述任一实施方式所提供的皱纹检测方法。
其中,存储器801可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口803(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线802可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器801用于存储程序,所述处理器800在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述皱纹检测方法可以应用于处理器800中,或者由处理器800实现。
处理器800可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器800中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器800可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801,处理器800读取存储器801中的信息,结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的皱纹检测方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的皱纹检测方法对应的计算机可读存储介质,请参考图12,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的皱纹检测方法。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的皱纹检测方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是:
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下示意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种皱纹检测方法,其特征在于,包括:
获取训练集,所述训练集包括标注有多种皱纹标签的人脸样本图像;
构建用于进行皱纹分类的网络模型结构,所述网络模型结构包括多个激活层,所述激活层的数目与所述皱纹标签的种类数目相等;
根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型。
2.根据权利要求1所述的方法,其特征在于,所述构建用于进行皱纹分类的网络模型结构,包括:
构建主干分类器,将所述主干分类器与所述多个激活层连接。
3.根据权利要求1所述的方法,其特征在于,所述构建用于进行皱纹分类的网络模型结构,包括:
构建主干分类器,将所述主干分类器与多头注意力层连接;
将所述多头注意力层与所述多个激活层连接。
4.根据权利要求3所述的方法,其特征在于,所述主干分类器包括CSPnet网络,所述将所述主干分类器与多头注意力层连接,包括:
将所述CSPnet网络中过渡层的输出端依次连接卷积层、池化层和全连接层;
将所述全连接层与多头注意力层连接。
5.根据权利要求2所述的方法,其特征在于,所述根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型,包括:
从所述训练集中获取人脸样本图像;
将所述人脸样本图像输入所述主干分类器,输出每种皱纹标签对应的特征向量;
将每个所述特征向量分别输入所述多个激活层中,得到每种皱纹标签对应的预测概率;
根据每种皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
6.根据权利要求3或4所述的方法,其特征在于,所述根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型,包括:
从所述训练集中获取人脸样本图像;
将所述人脸样本图像输入所述主干分类器,输出每种皱纹标签对应的特征向量;
将每种皱纹标签对应的特征向量输入所述多头注意力层,输出每种皱纹标签对应的多头注意力矩阵;
将每个所述多头注意力矩阵分别输入所述多个激活层中,得到每种皱纹标签对应的预测概率;
根据每种皱纹标签对应的预测概率,通过预设损失函数计算当前训练周期的损失值。
7.根据权利要求1-3、5任一项所述的方法,其特征在于,所述方法还包括:
获取待检测的人脸图像;
通过训练好的所述皱纹检测模型对所述待检测的人脸图像进行皱纹检测。
8.根据权利要求7所述的方法,其特征在于,所述通过训练好的所述皱纹检测模型对所述待检测的人脸图像进行皱纹检测,包括:
将所述待检测的人脸图像输入训练好的所述皱纹检测模型中,获得每种皱纹标签对应的预测概率;
将预测概率大于预设阈值的皱纹标签确定为所述待检测的人脸图像所具有的皱纹类别。
9.一种皱纹检测装置,其特征在于,包括:
获取模块,用于获取训练集,所述训练集包括标注有多种皱纹标签的人脸样本图像;
模型构建模块,用于构建用于进行皱纹分类的网络模型结构,所述网络模型结构包括多个激活层,所述激活层的数目与所述皱纹标签的种类数目相等;
模型训练模块,用于根据所述训练集训练所述网络模型结构,得到训练好的皱纹检测模型。
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序以实现如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211176099.1A CN117789263A (zh) | 2022-09-26 | 2022-09-26 | 皱纹检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211176099.1A CN117789263A (zh) | 2022-09-26 | 2022-09-26 | 皱纹检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117789263A true CN117789263A (zh) | 2024-03-29 |
Family
ID=90395079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211176099.1A Pending CN117789263A (zh) | 2022-09-26 | 2022-09-26 | 皱纹检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117789263A (zh) |
-
2022
- 2022-09-26 CN CN202211176099.1A patent/CN117789263A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10275719B2 (en) | Hyper-parameter selection for deep convolutional networks | |
CN112990432B (zh) | 目标识别模型训练方法、装置及电子设备 | |
US9928213B2 (en) | Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals | |
CN111191526B (zh) | 行人属性识别网络训练方法、系统、介质及终端 | |
WO2019100723A1 (zh) | 训练多标签分类模型的方法和装置 | |
US20220198339A1 (en) | Systems and methods for training machine learning model based on cross-domain data | |
US20170091619A1 (en) | Selective backpropagation | |
US20170061326A1 (en) | Method for improving performance of a trained machine learning model | |
US20160321540A1 (en) | Filter specificity as training criterion for neural networks | |
US11908457B2 (en) | Orthogonally constrained multi-head attention for speech tasks | |
US11551076B2 (en) | Event-driven temporal convolution for asynchronous pulse-modulated sampled signals | |
US20220121949A1 (en) | Personalized neural network pruning | |
CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
CN114511023B (zh) | 分类模型训练方法以及分类方法 | |
CN111914949B (zh) | 基于强化学习的零样本学习模型的训练方法及装置 | |
CN113870863A (zh) | 声纹识别方法及装置、存储介质及电子设备 | |
WO2024016949A1 (zh) | 标签生成、图像分类模型的方法、图像分类方法及装置 | |
CN114443877A (zh) | 图像多标签分类的方法、装置、设备及存储介质 | |
CN111858999A (zh) | 一种基于分段困难样本生成的检索方法及装置 | |
CN117789263A (zh) | 皱纹检测方法、装置、设备及存储介质 | |
US11875555B2 (en) | Applying self-confidence in multi-label classification to model training | |
CN115393914A (zh) | 多任务模型训练方法、装置、设备及存储介质 | |
WO2024016945A1 (zh) | 图像分类模型的训练方法、图像分类方法及相关设备 | |
WO2023220892A1 (en) | Expanded neural network training layers for convolution | |
CN117854129A (zh) | 衰老检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |