CN111368790A - 细粒度人脸识别模型的构建方法、识别方法以及构建装置 - Google Patents
细粒度人脸识别模型的构建方法、识别方法以及构建装置 Download PDFInfo
- Publication number
- CN111368790A CN111368790A CN202010191336.6A CN202010191336A CN111368790A CN 111368790 A CN111368790 A CN 111368790A CN 202010191336 A CN202010191336 A CN 202010191336A CN 111368790 A CN111368790 A CN 111368790A
- Authority
- CN
- China
- Prior art keywords
- network
- face
- resolution
- super
- fine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000010276 construction Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 92
- 230000006870 function Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 210000000744 eyelid Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 241000124033 Salix Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种细粒度人脸识别模型的构建方法、识别方法以及构建装置，所述方法包括：确定超分辨率网络和人脸属性识别网络；将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；对所述人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。通过将超分辨率网络引入人脸属性识别网络，缓解了不同分辨率对分类任务造成的影响；并且通过上述联合训练方式，给超分辨率网络引入高层次的语义监督信息，并且通过端到端的训练，极大地提高了分类性能增益。
Description
技术领域
本申请涉及细粒度图形分类技术领域，具体涉及一种细粒度人脸识别模型的构建方法、识别方法、构建装置、电子设备和可读存储介质。
背景技术
细粒度图像分类是计算机视觉领域的一个热门研究课题，其目的是对属于同一基础类别的图像进行更加细致的子类划分,但由于子类别间细微的类间差异以及较大的类内差异,较之普通的图像分类任务,细粒度图像分类难度更大。
目前细粒度图像分类方案主要通过分割出图片的强区分性区域和姿态对齐两种方式来提升分类精度。对于不同分辨率的图像，仅通过简单的上采样和下采样进行尺度对齐，而没有考虑到实际场景中不同分辨率造成的图像模糊带来的影响。且现有的超分辨率方案主要是低层次的像素级图像复原，没有考虑高层次的图像语义信息，将超分辨率应用到其他图像相关任务的过程中，现有技术大多采用分阶段训练的方式，分别优化超分辨率网络和其他图像任务相关的网络。这种情况下，超分辨率在图像去模糊的同时，无法针对具体任务对图像的强区分性区域进行有针对性的加强。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种细粒度人脸识别模型的构建方法、识别方法、构建装置、电子设备和可读存储介质。
依据本申请的一个方面，提供了一种细粒度人脸识别模型的构建方法，所述方法包括：
确定超分辨率网络和人脸属性识别网络；
将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；
对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。
可选的，所述确定超分辨率网络和人脸属性识别网络的步骤包括：
以EDSR网络为基础，构建所述超分辨率网络；
以ResNet系列网络为基础，构建所述人脸属性识别网络，且所述人脸属性识别网络包括如下的一个或多个网络层：拼接层、卷积层、全局平均池化层以及全连接层。
可选的，所述确定超分辨率网络和人脸属性识别网络包括：
采用经对齐的高分辨率的图像组成的训练集分别对所述超分辨率网络和所述人脸属性识别网络进行预训练；
采用高分辨率的图像或低分辨率的图像组成的不同测试集分别对所述超分辨率网络和所述人脸属性识别网络进行验证；
其中所述低分辨率的图像是由高分辨率的图像下采样后再通过线性插值上采样回原尺寸得到。
可选的，所述将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型包括：
将所述超分辨率网络中损失函数之前部分的输出端连接至所述人脸属性识别网络的输入端，得到细粒度人脸识别模型。
可选的，所述对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件包括：
采用经对齐的低分辨率的图像组成的训练集对所述细粒度人脸识别模型进行端到端的联合训练，并根据所述超分辨率网络的损失函数的输出监督所述超分辨率网络的训练结果。
可选的，所述目标识别包括人脸属性的分类识别，所述对所述细粒度人脸识别模型进行端到端的联合训练包括：
对人脸图像进行裁剪和对齐后，获取人脸属性的至少两个强区分性的局部区域图像；
将所述至少两个局部区域图像输入到所述超分辨率网络，得到至少两个输出图像；
然后将所述至少两个输出图像输入至所述人脸属性识别网络得到至少两个特征图；
将所述至少两个特征图输出至拼接层进行拼接，将拼接后的特征图经过卷积网络层进行卷积处理；
卷积处理后的特征图经过全局平均池化层后输出到全连接层，最后经过损失函数处理后得到分类结果。
依据本申请的另一方面，提供了一种细粒度目标识别方法，所述方法包括：
获取人脸图像；
将所述人脸图像输入至如上任一项所述方法获得的细粒度人脸识别模型中，输出所述人脸图像对应的人脸属性。
依据本申请的再一方面，提供了一种细粒度人脸识别模型的构建装置，所述装置包括：
网络确定单元，适于确定超分辨率网络和人脸属性识别网络；
模型组合单元，适于将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；
联合训练单元，适于对所述人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。
依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的构建方法或识别方法。
依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的构建方法或识别方法。
由上述可知，本申请公开的细粒度人脸识别模型的构建方法包括：确定超分辨率网络和人脸属性识别网络；将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；对所述人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。通过将超分辨率网络引入人脸属性识别网络，缓解了不同分辨率对分类任务造成的影响；并且通过上述联合训练方式，给超分辨率网络引入高层次的语义信息，并且通过端到端的联合训练方式，极大地提高了分类性能增益。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的细粒度人脸识别模型的构建方法的流程示意图；
图2示出了根据本申请一个实施例的细粒度人脸识别模型的构建装置的结构示意图；
图3示出了根据本申请一个实施例的电子设备的结构示意图；
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；
图5示出了根据本申请一个实施例的人脸属性识别网络的结构示意图；
图6示出了根据本申请一个实施例的人脸识别模型的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
细粒度人脸属性识别，是细粒度图像分类的一个子问题，其目的是基于人脸细纹等局部细微差异对人脸进行属性分类(如单双眼皮分类等)，具体任务是：给定人脸面部图像、预测多种人脸属性；如性别、发型、年龄、种族、表情等。例如：将人脸属性分为主观属性和客观属性两类，所述主观属性包括柳叶眉、有魅力、眼袋大嘴唇、大鼻子、睡眼惺松等主观人脸属性；所述客观属性包括单双眼皮、胡子、刘海、头发颜色等客观人脸属性。
超分辨率技术(Super-Resolution,简称SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像，高分辨率意味着可以提供更多的细节，而这些细节往往在应用中起到关键作用。
图1示出了根据本申请一个实施例的细粒度人脸识别模型的构建方法的流程示意图；该方法包括：
步骤S110，确定超分辨率网络和人脸属性识别网络。
现有人脸属性识别方案大都基于通用分类方法，通过数据增强和注意力机制来提升模型的准确率和泛化能力。
本实施例以联合训练的方式将超分辨率任务与细粒度目标识别任务相结合生成一个人脸识别模型，其中人脸识别任务包括人脸属性比如单双眼皮的分类识别，在统一的框架下通过端到端的训练以图像重建为目标的超分辨率网络和以细粒度分类为目标的识别网络。
在该实施例中步骤S110中首先确定超分辨率网络和人脸属性识别网络，超分辨率网络可以是SRCNN、FSRCNN、ESPCN、VDSR、DRCN、RED、DRRN、LapSRN、SRDenseNet、SRGAN、ESPCN、EDSR等网络。而人脸属性识别网络可以是现有的如ResNet系列的分类识别网络，也可以根据实际需要进行特定设计的网络。
基于深度学习的单一图像超分辨率技术(Single Image Super-Resolution,SISR)是从SRCNN不断发展到EDSR。其中，EDSR(Enhanced Deep Residual Networks forSingle Image Super-Resolution，用于单一图像超分辨率的增强型深度残差网络)主要改进点在于去除掉了SRResNet多余的模块，从而可以扩大模型的尺寸来提升结果质量。由于上述模块消耗了与它前面的卷积层相同大小的内存，在去掉这一步操作后，相同的计算资源下，EDSR就可以堆叠更多的网络层或者使每层提取更多的特征，从而得到更好的性能表现。
ResNet(Residual Network，残差网络)是为了解决常规网络如VGG随着网络加深而出现梯度消失的“退化现象”而产生的，它是在输入与输出之间引入一个前向反馈的“短路”连接，也就是引入恒等映射y＝x，假设原来的常规网络是学习输入到输出的映射H(x)，而残差网络学习的是F(x)＝H(x)-x。由于上述恒等映射直接连接浅层网络与深层网络，使得梯度能够很好的传递到浅层网络，从而克服上述“退化现象”。
上述超分辨率网络和人脸属性识别网络可以分别预先训练，也可以不预先训练各自网络，而只在人脸识别模型组合后再进行联合训练。
步骤S120，将所述超分辨率网络和所述人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型。
为了获取更好的目标识别效果，将超分辨率网络和人脸属性识别网络以级联的方式组合，从而得到细粒度人脸识别模型。该步骤将超分辨率网络设置在人脸属性识别网络之前，为人脸属性识别网络增加更多信息，从而获取比超分辨率网络和人脸属性识别网络分别训练和识别再简单叠加的更优的效果。
步骤S130，对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。
其中端到端的学习就是不做其他额外处理，从原始数据输入到任务结果输出，整个训练和识别过程，都是在细粒度人脸识别模型里完成，这种训练方式也明显区别于首先在超分辨率网络中训练获得结果，然后将结果图像再输入到人脸属性识别网络中进行分开训练的方式。联合训练停止条件包括预设训练的次数，或者损失函数的值不再下降，或者设置一定的准确性阈值，当达到预设的阈值后即停止训练。
该实施例通过联合优化利用超分辨率网络将细节还原后的图像作为分类网络的输入，达到联合优化、提升分类准确率的目的，根据训练以及实验结果，通过上述联合方式，分类准确率获得了预料不到的提升。
在一个实施例中，所述步骤S110包括：以EDSR网络为基础，构建所述超分辨率网络；以ResNet系列网络为基础，构建所述人脸属性识别网络，且所述人脸属性识别网络包括如下的一个或多个网络层：拼接层、卷积层、全局平均池化层以及全连接层。
该实施例中为了减少超分辨率网络占用太多的计算资源，以轻量级EDSR网络为基础，在结合均方差损失函数等构建出所述超分辨率网络。为了提高人脸属性分类识别的针对性，提出了一种新型的人脸属性识别网络，上述人脸属性识别网络是以ResNet系列网络为基础，在该网络的后端还包括了拼接层、卷积层、全局平均池化层、全连接层中的至少一项，从而形成所述人脸属性识别网络。
除了ResNet系列网络还可选择AlexNet、VGG-Net、Inception系列、DenseNet等组成人脸属性识别网络。
优选的，所述人脸属性识别网络由依次串联的ResNet系列等基础网络、拼接层、卷积层、全局平均池化层、全连接层构建。以人脸属性中单双眼皮的分类识别为例，其应用的结构参见图5所示，将左眼和右眼的图片经过基础网络ResNet34处理后利用拼接层(Concat)将获得的特征拼接在一起，然后再利用卷积层(Conv_3×3)、全局平均池化层(AvgPool)、全连接层(FC)做进一步的优化处理。
在一个实施例中，所述步骤S110包括对上述确定的网络进行预训练的步骤，具体包括：采用经对齐的高分辨率的图像组成的训练集分别对所述超分辨率网络和所述人脸属性识别网络进行预训练；采用高分辨率的图像或低分辨率的图像组成的不同测试集分别对所述超分辨率网络和所述人脸属性识别网络进行验证；其中所述低分辨率的图像是由高分辨率的图像下采样后再通过线性插值上采样回到原尺寸得到。
在现有技术中，根据常规识别模型进行验证发现，对于高分辨率测试集，模型的分类准确率达到98.83％，而对于低分辨率测试集，分类准确率仅为92.50％。可以看出，常规分类模型的性能在细粒度人脸属性识别任务上受图像质量影响较大。在实际应用场景中，由于采集到的人脸图像分辨率大小不一，若采用常规分类模型进行属性判断，易导致较大误差。
为此，在该实施例中，采用EDSR和ResNet系列网络作为超分辨率网络和识别网络的基础，它们在各自领域有着较好的表现。优选的，由于超分辨率任务主要考虑人脸图像复原，相比于通用图像复原更简单，而使用原生EDSR网络参数相对冗余，故本实施例还包括了对网络结构进行适当简化，采用了一种轻量级的EDSR网络。
为了实现人脸属性较好的识别，在该实施例中还实现了对所述超分辨率网络和所述人脸属性识别网络的预训练和测试。
为了实现联合训练阶段端到端的训练，超分辨率网络的输入图像可采用3通道RGB图像，为了使得训练或测试图像在上述两个网络均能够正常使用，在预训练阶段二者输入图像还进行了对齐等预处理，且采用的图像均为高分辨率人脸图像(HR Image)。
在对上述网络以及细粒度人脸识别模型进行测试时，采用高分辨率图像和低分辨率图像(LR Image)组成的两种不同的测试集对性能进行评估。其中低分辨率模糊图像由高分辨率图像随机下采样后再通过双线性插值上采样回原尺寸得到。
在一个实施例中，所述步骤S120包括：将所述超分辨率网络中损失函数之前部分的输出端连接至所述人脸属性识别网络的输入端，得到细粒度人脸识别模型。
所述步骤S130包括：采用经对齐的低分辨率的图像组成的训练集对所述细粒度人脸识别模型进行端到端的联合训练，并根据所述超分辨率网络的损失函数的输出监督所述超分辨率网络的训练结果。
以人脸属性中单双眼皮分类模型为例，图6示出了细粒度人脸识别模型的结构，以左右眼的单双眼皮识别为例，将对齐后的单双眼图像输入到轻量级EDSR(EDSR-Light)中，然后再输入到图5所示的人脸属性识别网络中。其中EDSR网络输出的图像可采用均方差损失函数(SR Loss)进行处理，在进行联合训练时，可以根据均方差损失函数的输出端得到的高分辨率图像与原始高分辨率的图像进行对比，从而监督EDSR网络的训练结果。图6所示的模型将超分辨任务和人脸属性识别任务结合，并且可以生成左右眼睛的关于单双眼皮的分类信息，从而对人脸识别模型引入了分类和监督的语义信息，且对于局部强区分性的特征(如眼部细纹等)还原有加强，也进一步促进了分类网络性能的提升。
在一个实施例中，所述步骤S130包括：
对人脸图像进行裁剪和对齐后，获取人脸属性的至少两个强区分性的局部区域图像；
将所述至少两个局部区域图像输入到所述超分辨率网络，得到至少两个输出图像；
然后将所述至少两个输出图像输入至所述人脸属性识别网络得到至少两个特征图；
将所述至少两个特征图输出至拼接层进行拼接，将拼接后的特征图经过卷积网络层进行卷积处理；
然后卷积处理后的特征图经过全局平均池化层后输出到全连接层，最后经过损失函数处理后得到分类结果。
以人脸属性中单双眼皮的分类识别为例，利用模型进行预训练的具体过程包括：首先对一张图像中左右眼部区域分别进行裁剪和对齐，形成一个强区分性的局部区域图像对，将该图像对同时输入EDSR网络中，然后将EDSR网络输出图像再输入至ResNet34-conv3*3-avgPool-FC网络，然后根据需要利用Softmax Loss函数输出单双眼皮的分类识别结果。
为进一步证明该实施例公开方案的有效性，将重建得到的低分辨率模糊图像作为测试集，以单人脸属性识别网络预训练的测试结果作为基线结果，对比上述EDSR网络和ResNet34-conv3*3-avgPool-FC网络的非联合训练和联合训练两种方式，结果如下表所示。
其中，HR为高分辨率图像，LR为是由高分辨率的图像随机下采样后再通过双线性插值上采样回原尺寸得到图像，SR为低分辨率图像LREDSR网络训练后获得图像。
根据表1中的数据可知，该实施例中公开的联合模型获得了预料不到的准确率上的提升。
表1
| 训练方式 | 训练集 | 测试集 | 准确率 |
| 单网络 | HR | LR | 92.50％ |
| 非联合方式 | HR | SR | 93.34％ |
| 联合方式 | SR | SR | 97.12％ |
作为本申请的另一个方面，在一个实施例中，还公开了一种细粒度目标识别方法，利用上述任一项所述的细粒度人脸识别模型对目标进行识别。具体包括获取人脸图像；将所述人脸图像输入至如上任一项所述方法获得的细粒度人脸识别模型中，输出所述人脸图像对应的人脸属性。
优选地，对人脸属性进行分类识别，以提高人脸属性识别的准确性。
图2示出了根据本申请一个实施例的细粒度人脸识别模型的构建装置的结构示意图；所述装置200包括：
网络确定单元210，适于确定超分辨率网络和人脸属性识别网络。
该单元首先确定超分辨率网络和人脸属性识别网络，超分辨率网络可以是EDSR、SRCNN、FSRCNN、ESPCN、VDSR、DRCN、RED、DRRN、LapSRN、SRDenseNet、SRGAN、ESPCN等网络。而人脸属性识别网络可以是现有的分类识别网络，也可以根据实际需要进行特定设计的网络。
该超分辨率网络和人脸属性识别网络可以分别预先训练，也可以不预先训练各自网络，而只在人脸识别模型组合后再进行联合训练。
模型组合单元220，适于将所述超分辨率网络和所述人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型。
为了获取更好的目标识别效果，将超分辨率网络和人脸属性识别网络以级联的方式组合，从而得到细粒度人脸识别模型。该单元将超分辨率网络设置在人脸属性识别网络之前，为人脸属性识别网络增加更多信息，从而获取比超分辨率网络和人脸属性识别网络分别训练和识别再简单叠加的更优的效果。
模型训练单元230，适于对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。
其中端到端的训练就是不做其他额外处理，从原始数据输入到任务结果输出，整个训练和识别过程，都是在细粒度人脸识别模型里完成，这种训练方式也明显区别于首先在超分辨率网络中训练获得结果，然后将结果图像再输入到人脸属性识别网络中进行分开训练的方式。
该实施例通过联合优化利用超分辨率网络将细节还原后的图像作为分类网络的输入，达到联合优化、提升分类准确率的目的，根据训练以及实验结果，通过上述联合方式，分类准确率获得了预料不到的提升。
在一个实施例中，所述网络确定单元210适于：以EDSR网络为基础，构建所述超分辨率网络；以ResNet系列网络为基础，构建所述人脸属性识别网络，且所述人脸属性识别网络包括如下的一个或多个网络层：拼接层、卷积层、全局平均池化层以及全连接层。
该实施例中为了减少超分辨率网络占用太多的计算资源，以轻量级EDSR网络为基础，在结合均方差损失函数等构建出所述超分辨率网络。优选的，所述人脸属性识别网络由依次串联的基础网络、拼接层、卷积层、全局平均池化层、全连接层构建，以人脸属性中单双眼皮的分类识别为例，其应用的结构参见图5所示，将左眼和右眼的图片经过基础网络ResNet34处理后利用拼接层(Concat)将获得的特征拼接在一起，然后再利用卷积层(Conv_3×3)、全局平均池化层(AvgPool)、全连接层(FC)做进一步的优化处理。
在一个实施例中，所述网络确定单元210适于：采用经对齐的高分辨率的图像组成的训练集分别对所述超分辨率网络和所述人脸属性识别网络进行预训练；采用高分辨率的图像或低分辨率的图像组成的不同测试集分别对所述超分辨率网络和所述人脸属性识别网络进行验证；其中所述低分辨率的图像是由高分辨率的图像下采样后再通过线性插值上采样回到原尺寸得到。
在一个实施例中，所述模型组合单元220适于：将所述超分辨率网络中损失函数之前部分的输出端连接至所述人脸属性识别网络的输入端，得到细粒度人脸识别模型。
所述模型训练单元230适于：采用经对齐的低分辨率的图像组成的训练集对所述细粒度人脸识别模型进行端到端的联合训练，并根据所述超分辨率网络的损失函数的输出监督所述超分辨率网络的训练结果。
以人脸属性中单双眼皮分类模型为例，图6示出了细粒度人脸识别模型的结构，其中EDSR网络中的SR Loss可采用均方差损失函数，在进行联合训练时，可以根据SR Loss的输出端得到的高分辨率图像与原始高分辨率的图像进行对比，监督EDSR网络的训练结果，结合对左右眼睛的分类信息一起，从而对人脸识别模型引入了分类和监督的语义信息，且对于局部强区分性的特征(如眼部细纹等)还原有加强，而这些细节信息也进一步促进了分类网络性能的提升。
在一个实施例中，所述模型训练单元230适于：
对人脸图像进行裁剪和对齐后，获取人脸属性的至少两个强区分性的局部区域图像；
将所述至少两个局部区域图像输入到所述超分辨率网络，得到至少两个输出图像；
然后将所述至少两个输出图像输入至所述人脸属性识别网络得到至少两个特征图；
将所述至少两个特征图输出至拼接层进行拼接，将拼接后的特征图经过卷积网络层进行卷积处理；
然后卷积处理后的特征图经过全局平均池化层后输出到全连接层，最后经过损失函数处理后得到分类结果。
综上所述，本申请的技术方案，本申请公开的细粒度人脸识别模型的构建方法包括：确定超分辨率网络和人脸属性识别网络；将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；对所述人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。通过将超分辨率网络引入人脸属性识别网络，缓解了不同分辨率对分类任务造成的影响；并且通过上述联合训练方式，给超分辨率网络引入高层次的语义信息，并且通过端到端的联合训练方式，极大地提高了分类性能增益。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的细粒度人脸识别模型的构建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种细粒度人脸识别模型的构建方法，其特征在于，所述方法包括：
确定超分辨率网络和人脸属性识别网络；
将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；
对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。
2.如权利要求1所述的构建方法，其特征在于，所述确定超分辨率网络和人脸属性识别网络的步骤包括：
以EDSR网络为基础，构建所述超分辨率网络；
以ResNet系列网络为基础，构建所述人脸属性识别网络，且所述人脸属性识别网络包括如下的一个或多个网络层：拼接层、卷积层、全局平均池化层以及全连接层。
3.如权利要求1或2所述的构建方法，其特征在于，所述确定超分辨率网络和人脸属性识别网络包括：
采用经对齐的高分辨率的图像组成的训练集分别对所述超分辨率网络和所述人脸属性识别网络进行预训练；
采用高分辨率的图像和/或低分辨率的图像组成的不同测试集分别对所述超分辨率网络和所述人脸属性识别网络进行验证；
其中所述低分辨率的图像是由高分辨率的图像下采样后再通过线性插值上采样回原尺寸得到。
4.如权利要求1或2所述的构建方法，其特征在于，所述将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型包括：
将所述超分辨率网络中损失函数之前部分的输出端连接至所述人脸属性识别网络的输入端，得到细粒度人脸识别模型。
5.如权利要求4所述的构建方法，其特征在于，所述对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件包括：
采用经对齐的低分辨率的图像组成的训练集对所述细粒度人脸识别模型进行端到端的联合训练，并根据所述超分辨率网络的损失函数的输出监督所述超分辨率网络的训练结果。
6.如权利要求1或2所述的构建方法，其特征在于，所述对所述细粒度人脸识别模型进行端到端的联合训练包括：
对人脸图像进行裁剪和对齐后，获取人脸属性的至少两个强区分性的局部区域图像；
将所述至少两个局部区域图像输入到所述超分辨率网络，得到至少两个输出图像；
然后将所述至少两个输出图像输入至所述人脸属性识别网络得到至少两个特征图；
将所述至少两个特征图输出至拼接层进行拼接，将拼接后的特征图经过卷积网络层进行卷积处理；
卷积处理后的特征图经过全局平均池化层后输出到全连接层，最后经过损失函数处理后得到分类结果。
7.一种细粒度人脸识别方法，其特征在于，所述方法包括：
获取人脸图像；
将所述人脸图像输入至如权利要求1-6任一项所述细粒度人脸识别模型的构建方法获得的细粒度人脸识别模型中，输出所述人脸图像对应的人脸属性。
8.一种细粒度人脸识别模型的构建装置，其特征在于，所述装置包括：
网络确定单元，适于确定超分辨率网络和人脸属性识别网络；
模型组合单元，适于将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；
联合训练单元，适于对所述目标识别模型进行端到端的联合训练，直至满足联合训练停止条件。
9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-6中任一项所述的细粒度人脸识别模型的构建方法或如权利要求7所述的细粒度人脸识别方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-6中任一项所述的细粒度人脸识别模型的构建方法或如权利要求7所述的细粒度人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010191336.6A CN111368790A (zh) | 2020-03-18 | 2020-03-18 | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010191336.6A CN111368790A (zh) | 2020-03-18 | 2020-03-18 | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111368790A true CN111368790A (zh) | 2020-07-03 |
Family
ID=71208964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010191336.6A Pending CN111368790A (zh) | 2020-03-18 | 2020-03-18 | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111368790A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016507A (zh) * | 2020-09-07 | 2020-12-01 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
| CN113537086A (zh) * | 2021-07-20 | 2021-10-22 | 科大讯飞股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN113591675A (zh) * | 2021-07-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 图像识别模型的构建方法、装置、设备以及存储介质 |
| CN113705374A (zh) * | 2021-08-10 | 2021-11-26 | 深圳市安软科技股份有限公司 | 基于深度学习的图像识别方法、装置及相关设备 |
| CN114020951A (zh) * | 2020-07-17 | 2022-02-08 | 北京搜狗科技发展有限公司 | 一种人脸质量增强模型的训练方法、图片搜索方法及装置 |
| CN114333011A (zh) * | 2021-12-28 | 2022-04-12 | 北京的卢深视科技有限公司 | 网络训练、人脸识别方法、电子设备及存储介质 |
| CN114820603A (zh) * | 2022-06-27 | 2022-07-29 | 深圳中易健康科技有限公司 | 基于ai舌诊图像处理的智能健康管理方法及相关装置 |
| CN116416656A (zh) * | 2021-12-29 | 2023-07-11 | 荣耀终端有限公司 | 基于屏下图像的图像处理方法、装置及存储介质 |
| CN113591675B (zh) * | 2021-07-28 | 2024-11-19 | 北京百度网讯科技有限公司 | 图像识别模型的构建方法、装置、设备以及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
| CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
| CN110490802A (zh) * | 2019-08-06 | 2019-11-22 | 北京观微科技有限公司 | 一种基于超分辨率的卫星影像飞机目标型号识别方法 |
| CN110647820A (zh) * | 2019-08-28 | 2020-01-03 | 电子科技大学 | 基于特征空间超分辨映射的低分辨率人脸识别方法 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
-
2020
- 2020-03-18 CN CN202010191336.6A patent/CN111368790A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
| CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
| CN110490802A (zh) * | 2019-08-06 | 2019-11-22 | 北京观微科技有限公司 | 一种基于超分辨率的卫星影像飞机目标型号识别方法 |
| CN110647820A (zh) * | 2019-08-28 | 2020-01-03 | 电子科技大学 | 基于特征空间超分辨映射的低分辨率人脸识别方法 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙毅堂;宋慧慧;张开华;严飞;: "基于极深卷积神经网络的人脸超分辨率重建算法" * |
| 徐培超;陈雯柏;陈祥凤;韩琥;: "多任务及Resnet网络在人脸多属性识别中的应用" * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114020951A (zh) * | 2020-07-17 | 2022-02-08 | 北京搜狗科技发展有限公司 | 一种人脸质量增强模型的训练方法、图片搜索方法及装置 |
| CN114020951B (zh) * | 2020-07-17 | 2024-08-23 | 北京搜狗科技发展有限公司 | 一种人脸质量增强模型的训练方法、图片搜索方法及装置 |
| CN112016507B (zh) * | 2020-09-07 | 2023-10-31 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112016507A (zh) * | 2020-09-07 | 2020-12-01 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112784857A (zh) * | 2021-01-29 | 2021-05-11 | 北京三快在线科技有限公司 | 一种模型训练以及图像处理方法及装置 |
| CN113537086A (zh) * | 2021-07-20 | 2021-10-22 | 科大讯飞股份有限公司 | 图像识别方法、装置、电子设备和存储介质 |
| CN113591675A (zh) * | 2021-07-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 图像识别模型的构建方法、装置、设备以及存储介质 |
| CN113591675B (zh) * | 2021-07-28 | 2024-11-19 | 北京百度网讯科技有限公司 | 图像识别模型的构建方法、装置、设备以及存储介质 |
| CN113705374A (zh) * | 2021-08-10 | 2021-11-26 | 深圳市安软科技股份有限公司 | 基于深度学习的图像识别方法、装置及相关设备 |
| CN114333011A (zh) * | 2021-12-28 | 2022-04-12 | 北京的卢深视科技有限公司 | 网络训练、人脸识别方法、电子设备及存储介质 |
| CN116416656A (zh) * | 2021-12-29 | 2023-07-11 | 荣耀终端有限公司 | 基于屏下图像的图像处理方法、装置及存储介质 |
| CN114820603B (zh) * | 2022-06-27 | 2022-09-16 | 深圳中易健康科技有限公司 | 基于ai舌诊图像处理的智能健康管理方法及相关装置 |
| CN114820603A (zh) * | 2022-06-27 | 2022-07-29 | 深圳中易健康科技有限公司 | 基于ai舌诊图像处理的智能健康管理方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368790A (zh) | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 | |
| Ozcelik et al. | Natural scene reconstruction from fMRI signals using generative latent diffusion | |
| Liu et al. | Cross-SRN: Structure-preserving super-resolution network with cross convolution | |
| CN109410219B (zh) | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 | |
| CN112651979B (zh) | 肺部x光图像分割方法、系统、计算机设备及存储介质 | |
| Zhang et al. | Accurate and fast image denoising via attention guided scaling | |
| CN106530320B (zh) | 一种端到端的图像分割处理方法及系统 | |
| He et al. | A hybrid-attention nested UNet for nuclear segmentation in histopathological images | |
| WO2021051547A1 (zh) | 暴力行为检测方法及系统 | |
| CN105631466B (zh) | 图像分类的方法及装置 | |
| WO2021238420A1 (zh) | 图像去雾方法、终端及计算机存储介质 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
| Srinivas et al. | A novel framework for facial emotion recognition with noisy and de noisy techniques applied in data pre-processing | |
| CN111461211B (zh) | 一种用于轻量级目标检测的特征提取方法及相应检测方法 | |
| Wang et al. | A multi-scale attentive recurrent network for image dehazing | |
| Gao et al. | TEGAN: Transformer embedded generative adversarial network for underwater image enhancement | |
| CN114202457A (zh) | 低分辨率图像的处理方法、电子设备及计算机程序产品 | |
| Yoon et al. | Multi-scale attention-guided non-local network for HDR image reconstruction | |
| US20230196838A1 (en) | Video recognition method and apparatus, and storage medium | |
| US12112524B2 (en) | Image augmentation method, electronic device and readable storage medium | |
| Borji et al. | Bottom-up attention, models of | |
| Wang et al. | Dual-path dehazing network with spatial-frequency feature fusion | |
| CN112529949A (zh) | 一种基于t2图像生成dwi图像的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200703 |