CN112528956A - 基于特征重标定的人脸特征提取方法、系统、设备及介质 - Google Patents
基于特征重标定的人脸特征提取方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112528956A CN112528956A CN202011576094.9A CN202011576094A CN112528956A CN 112528956 A CN112528956 A CN 112528956A CN 202011576094 A CN202011576094 A CN 202011576094A CN 112528956 A CN112528956 A CN 112528956A
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- feature
- block
- face
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 226
- 238000012216 screening Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000007906 compression Methods 0.000 claims description 27
- 230000006835 compression Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于特征重标定的人脸特征提取方法、系统、设备及介质，所述方法包括：构建人脸特征提取网络，所述人脸特征提取网络包括多块特征提取块；获取待识别用户的人脸图像；将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。本发明利用特征通道之间的关系可以对特征进行筛选，起到特征重标定的作用，在保持较高的特征提取速度的同时能兼顾较好的特征提取效果。
Description
技术领域
本发明涉及一种基于特征重标定的人脸特征提取方法、系统、设备及介质，属于深度学习和图像处理领域。
背景技术
人脸识别是一种依据人的面部特征(如统计或几何特征等)，自动进行身份识别的一种生物识别技术，又称为面像识别、人像识别、相貌识别、面孔识别、面部识别等。通常我们所说的人脸识别是基于光学人脸图像的身份识别与验证的简称。
人脸识别的流程主要分为三部分：人脸检测、人脸特征提取和人脸特征比对。其中人脸特征提取是人脸识别中最为关键的一步，它的能力直接决定着整个算法的识别精度和抗干扰能力。过去大部分人脸特征提取算法均围绕着颜色、纹理和梯度直方图等传统的手工特征进行改进，由此产生的算法虽然运行速度快，但是识别精度不高并且抗干扰能力也较差。随着2014年深度学习热潮的兴起，使用图像的深度特征代替传统的手工特征的方法在图像处理领域越来越受到重视。VGGNet模型通过增加网络的深度，显著提高了神经网络模型提取图像的能力；通过调节输入到每个层的分布，批量归一化为深度网络中特征提取的学习增加了稳定性，并产生了更平滑的优化面；GoogleNet在网络中嵌入多尺度信息，聚合多种不同感受野上的特征来获得性能增益；ResNet通过跳跃连接，将低维特征与高维特征进行融合，这不仅大幅提高了网络特征提取的能力，还防止了网络训练过程中梯度弥散现象的发生；Xception通过将标准卷积产分成深度卷积和逐点卷积的方式，在获得较好特征提取效果的同时大幅减少了计算量。
近年来，由于深度学习技术的不断进步，产生了众多高效的人脸特征提取算法，使得人脸识别的准确率相比过去有了极大的提高，促使人脸识别技术在教育、安防和零售等领域得到普及。
现有众多的人脸特征提取算法存在以下问题：
1)重量级网络特征提取效果好，但延时严重。重量级人脸特征提取网络通过不断增加网络深度和拓宽网络宽度的方式，以获得更加抽象的图像高维特征，凭借多参数的优势可以挖掘更多图像特征信息。但是由于参数众多，网络太深，使得图像数据在前向传播过程中需要大量计算，时间消耗严重。在分布式训练的过程中，与服务器通信需求更大，占用资源更多，训练所产生的模型体积更大，不容易部署在一些移动设备或者是内存较小的设备中。
2)轻量级网络实时性好，但特征提取效果不理想。轻量级人脸特征提取网络通过使用众多减负措施(如使用深度可分离卷积)，使得训练时占用服务器资源更少，实际运行时，速度更快，模型体积更小，但是轻量级网络特征抽取能力有限，导致鲁棒性更差，其提取特征时容易受图像的亮度、模糊度等客观因素影响。
3)现有深层网络较少考虑利用特征通道之间的关系提升网络特征提取能力。卷积核作为卷积神经网络的核心，通常被看作是在局部感受野上，将空间上的信息和特征维度上的信息进行聚合的信息聚合体，然而只使用空间信息来训练一个性能强悍的网络是相当困难的。
发明内容
有鉴于此，本发明提供了一种基于特征重标定的人脸特征提取方法、系统、设备及介质，其利用特征通道之间的关系可以对特征进行筛选，起到特征重标定的作用，在保持较高的特征提取速度的同时能兼顾较好的特征提取效果。
本发明的第一个目的在于提供一种基于特征重标定的人脸特征提取方法。
本发明的第二个目的在于提供一种基于特征重标定的人脸特征提取系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于特征重标定的人脸特征提取方法，所述方法包括：
构建人脸特征提取网络；其中，所述人脸特征提取网络包括多块特征提取块；
获取待识别用户的人脸图像；
将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
进一步的，所述人脸特征提取网络具体包括依次连接的标准卷积层、第一特征提取块、第二特征提取块、第三特征提取块、第四特征提取块、全局平均池化层和全连接层；
其中，第一特征提取块的输入通道数为32，输出通道数为64，所述第二特征提取块的输入通道数为64，输出通道数为128，所述第三特征提取块的输入通道数为128，输出通道数为256，所述第四特征提取块的输入通道数和输出通道数均为256。
进一步的，所述第一特征提取块为两块，所述第二特征提取块为三块，所述第三特征提取块为八块，所述第四特征提取块为一块。
进一步的，所述特征提取块包括缩放块和特征选择块，所述缩放块用于对输入图像进行初步特征提取，所述特征选择块用于对输入通道进行压缩、筛选和重标定。
进一步的，所述缩放块包括压缩层和扩张层，所述压缩层用于对上层的输出通道进行压缩，所述扩张层用于通过不同卷积核对应不同感受野进行从局部到全局的特征提取。
进一步的，所述将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息，具体包括：
将待识别用户的人脸图像输入人脸特征提取网络，经过标准卷积层处理；
将标准卷积层处理后的图像输入缩放块，进行初步特征提取，输出产生两个分支，其中一个分支不操作，另一个分支输入特征选择块；
通过特征选择块的全局平均池化层对输入的初步特征信息进行特征压缩，将每个二维的特征通道变成一个实数；
通过特征选择块的第一个全连接层对全局平均池化层输出的数据进行进一步特征压缩并使用ReLU函数进行激活，并通过第二个全连接层将数据的维数上升到原来的输出通道，为每个特征通道生成权重，将所有数据送入Sigmiod函数，获得0到1之间的归一化权重，以表示每个特征的重要程度，完成特征筛选；
将经过特征筛选后的数据与缩放块产生的数据相乘，对缩放块提取的初步特征信息的重要程度进行重新标定；
将重新标定后的特征信息依次通过全局平均池化层、全连接层进行处理，得到人脸特征信息。
进一步的，所述特征筛选的表达式如下：
s＝σ(W2δ(W1Z))
其中，s表示0到1之间的归一化权重集合，Z为全局平均池化层压缩后的所有特征，W1为第一个全连接层权重，W2为第二个全连接层权重，δ为ReLU函数，σ为Sigmoid函数。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于特征重标定的人脸特征提取系统，所述系统包括：
人脸特征提取网络构建单元，用于构建人脸特征提取网络；其中，所述人脸特征提取网络包括多块特征提取块；
图像获取单元，用于获取待识别用户的人脸图像；
特征提取单元，用于将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的人脸特征提取方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的人脸特征提取方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明通过构建具有多个特征提取块的人脸特征提取网络，将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息，在保持较高的特征提取速度的同时能兼顾较好的特征提取效果；此外，由于本发明的人脸特征提取网络较小，可以植入到移动设备或者内存较小设备上运行，具有广泛的实用价值。
2、本发明的特征提取块中的缩放块通过使用压缩层，不但可以使参数量成为一般卷积层参数量的1/9，还可以通过对上层输出通道进行压缩的方式减少本层输入通道数，进而减少本层的计算量；缩放块的扩张层通过在本层采用多种卷积核采样的方式，在网络中嵌入多尺度信息，聚合多种不同感受野上的特征来获得性能增益增强了网络提取特征的能力，增大了特征图信息的利用率。
3、本发明加入了通道之间关系信息，对特征的重要程度进行了重标定，通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，可以最大化利用有用特征，帮助人脸特征提取网络提升特征提取能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于特征重标定的人脸特征提取方法的流程图。
图2为本发明实施例1的人脸特征提取网络的具体结构图。
图3为本发明实施例1的特征提取块的运行流程图。
图4为本发明实施例1的特征提取块中缩放块的具体结构图。
图5为本发明实施例1的特征提取块中特征选择块的具体结构图。
图6为本发明实施例2的基于特征重标定的人脸特征提取系统的结构框图。
图7为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种基于特征重标定的人脸特征提取方法，该方法包括以下步骤：
S101、构建人脸特征提取网络。
其中，人脸特征提取网络主要由多块特征提取块堆叠构成，人脸特征提取网络的具体结构如图2所示，具体包括依次连接的标准卷积层、第一特征提取块、第二特征提取块、第三特征提取块、第四特征提取块、全局平均池化(Global Average Pooling，GAP)层和全连接(Fully Connected，FC)层，图2中的提取块均指本实施例的特征提取块，227x227、55x55、28x28等均指图像分辨率。
第一特征提取块为两块(提取块1_1、提取块1_2)，输入通道数为32，输出通道数为64。
第二特征提取块为三块(提取块2_1、提取块2_2、提取块2_3)，输入通道数为64，输出通道数为128。
第三特征提取块为八块(提取块3_1、提取块3_2、提取块3_3、提取块3_4、提取块3_5、提取块3_6、提取块3_7和提取块3_8)，输入通道数为128，输出通道数为256。
第四特征提取块为一块(提取块4_1)，输入通道数和输出通道数均为256。
全连接层为输出为512维的全连接层。
本实施例考虑到卷积神经网络在图形处理器(Graphics Processing Unit，GPU)上加速计算时，网络前面层的计算效率比较低，因而减少了前面特征提取块的数量，增加了后面特征提取块的数量。
上述所有特征提取块(第一特征提取块、第二特征提取块、第三特征提取块、第四特征提取块)都采用相同的结构，特征提取块的运行流程如图3所示，包括缩放块和特征选择块，缩放块由一系列1x1卷积和3x3卷积组成，作用是对输入图像进行初步特征提取。特征选择块是一种带有注意机制的模块，主要由全局平均池化层和一系列全连接层等组成，作用是对输入通道进行压缩、筛选和重标定，通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。
缩放块和特征选择块的具体说明如下：
1)缩放块
缩放块的具体结构如图4所示，包括压缩层和扩张层，压缩层中1x1卷积数量为s1，本实施例中s1＝4，扩张层中1x1卷积数量为e1，3x3卷积数量为e2，本实施例中e1＝2，e2＝3。
压缩层：本实施例在压缩层使用1x1卷积进行计算，相比传统的网络只是用3x3卷积进行操作，在计算量不变的情况下，参数量前者是后者的1/9，同时通过压缩层对上层的输出通道进行压缩，减小本层的输入通道数，可以在很大程度上降低计算量。
扩张层：本实施例结合GoogleNet在网络中嵌入多尺度信息，聚合多种不同感受野上的特征来获得性能增益的思想，对扩张层进行设计，扩张层包含1x1卷积、3x3卷积两种常用卷积，通过不同卷积核对应不同感受野进行从局部到全局的特征提取，可以更好地实现特征提取效果。同时依据矩阵相乘原理，本实施例将3x3卷积进一步拆分成3x1卷积和1x3卷积，将原来的3x3＝9参数量降为3x1+1x3＝6，对人脸特征提取网络的参数量进行了更好的优化，并且计算效果不变。
2)特征选择块
特征选择块如图5所示，其中H、W、C分别表示图像的高、宽、输出通道，输入数据通过缩放块进行初步特征提取后，输出产生两个分支，一个分支不操作，另一个分支进行特征选择，具体过程如下：
特征压缩：输入数据通过全局平均池化层顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配，它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，全局平均池化表达式如下式(1)：
其中，H、W、C分别表示特征图像的高、宽、输出通道，ZC表示第C个通道压缩后的特征，uc(i,j)表示第C个通道在坐标(i,j)处的像素值。
特征筛选：第一个全连接层(全连接层_1)将全局平均池化层输出数据进一步特征压缩并使用ReLU函数进行激活，本实施例的压缩因子为r，促使模型(人脸特征提取网络)具有更多的非线性，可以更好地拟合通道间复杂的相关性，并且极大地减少了参数量和计算量。数据再经过第二个全连接层(全连接层_2)将数据的维数上升到原来的输出通道，通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性，然后将所有数据送入Sigmiod函数，获得0到1之间的归一化权重，以表示每个特征的重要程度，特征筛选表达式如下式(2)：
s＝σ(W2δ(W1Z)) (2)
其中，s表示0到1之间的归一化权重集合，Z为全局平均池化层压缩后的所有特征，W1为第一层全连接层权重，W2为第二层全连接层权重，δ为ReLU函数，σ为Sigmoid函数。
特征重标定：将经过了特征筛选后的数据与缩放块产生的数据相乘，即对缩放块得到的特征的重要程度进行重新标定。
本实施例的人脸特征提取网络参数(包括压缩层中1x1卷积数量为s1、扩张层中1x1卷积数量e1、扩张层中3x3卷积数量e2、压缩因子r等)设置如表1所示。
表1人脸特征提取网络参数
S102、获取待识别用户的人脸图像。
具体地，待识别用户的人脸图像可以通过摄像头等设备采集获取。
S103、将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
参见上述步骤S101中对特征提取块的说明，该步骤S103具体包括：
S1031、将待识别用户的人脸图像输入人脸特征提取网络，经过标准卷积层处理。
S1032、将标准卷积层处理后的图像输入缩放块，进行初步特征提取，输出产生两个分支，其中一个分支不操作，另一个分支输入特征选择块。
S1033、通过特征选择块的全局平均池化层对输入的初步特征信息进行特征压缩，将每个二维的特征通道变成一个实数。
S1034、通过特征选择块的第一个全连接层对全局平均池化层输出的数据进行进一步特征压缩并使用ReLU函数进行激活，并通过第二个全连接层将数据的维数上升到原来的输出通道，为每个特征通道生成权重，将所有数据送入Sigmiod函数，获得0到1之间的归一化权重，以表示每个特征的重要程度，完成特征筛选。
S1035、将经过特征筛选后的数据与缩放块产生的数据相乘，对缩放块提取的初步特征信息的重要程度进行重新标定；
S1036、将重新标定后的特征信息依次通过全局平均池化层、全连接层进行处理，得到人脸特征信息。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图6所示，本实施例提供了一种基于特征重标定的人脸特征提取系统，该系统包括人脸特征提取网络构建单元601、图像获取单元602和特征提取单元603，各个单元的具体功能如下：
人脸特征提取网络构建单元601，用于构建人脸特征提取网络；其中，所述人脸特征提取网络包括多块特征提取块。
图像获取单元602，用于获取待识别用户的人脸图像。
特征提取单元603，用于将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
本实施例中各个单元的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图7所示，其通过系统总线701连接的处理器702、存储器、输入装置703、显示器704和网络接口705，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质706和内存储器707，该非易失性存储介质706存储有操作系统、计算机程序和数据库，该内存储器707为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器702执行存储器存储的计算机程序时，实现上述实施例1的人脸特征提取方法，如下：
构建人脸特征提取网络；其中，所述人脸特征提取网络包括多块特征提取块；
获取待识别用户的人脸图像；
将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的人脸特征提取方法，如下：
构建人脸特征提取网络；其中，所述人脸特征提取网络包括多块特征提取块；
获取待识别用户的人脸图像；
将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明通过构建具有多个特征提取块的人脸特征提取网络，将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息，在保持较高的特征提取速度的同时能兼顾较好的特征提取效果；此外，由于本发明的人脸特征提取网络较小，可以植入到移动设备或者内存较小设备上运行，具有广泛的实用价值；本发明的特征提取块中的缩放块通过使用压缩层，不但可以使参数量成为一般卷积层参数量的1/9，还可以通过对上层输出通道进行压缩的方式减少本层输入通道数，进而减少本层的计算量；缩放块的扩张层通过在本层采用多种卷积核采样的方式，在网络中嵌入多尺度信息，聚合多种不同感受野上的特征来获得性能增益增强了网络提取特征的能力，增大了特征图信息的利用率；此外，本发明加入了通道之间关系信息，对特征的重要程度进行了重标定，通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，可以最大化利用有用特征，帮助人脸特征提取网络提升特征提取能力。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (10)
1.一种基于特征重标定的人脸特征提取方法，其特征在于，所述方法包括：
构建人脸特征提取网络；其中，所述人脸特征提取网络包括多块特征提取块；
获取待识别用户的人脸图像；
将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
2.根据权利要求1所述的人脸特征提取方法，其特征在于，所述人脸特征提取网络具体包括依次连接的标准卷积层、第一特征提取块、第二特征提取块、第三特征提取块、第四特征提取块、全局平均池化层和全连接层；
其中，第一特征提取块的输入通道数为32，输出通道数为64，所述第二特征提取块的输入通道数为64，输出通道数为128，所述第三特征提取块的输入通道数为128，输出通道数为256，所述第四特征提取块的输入通道数和输出通道数均为256。
3.根据权利要求2所述的人脸特征提取方法，其特征在于，所述第一特征提取块为两块，所述第二特征提取块为三块，所述第三特征提取块为八块，所述第四特征提取块为一块。
4.根据权利要求1所述的人脸特征提取方法，其特征在于，所述特征提取块包括缩放块和特征选择块，所述缩放块用于对输入图像进行初步特征提取，所述特征选择块用于对输入通道进行压缩、筛选和重标定。
5.根据权利要求4所述的人脸特征提取方法，其特征在于，所述缩放块包括压缩层和扩张层，所述压缩层用于对上层的输出通道进行压缩，所述扩张层用于通过不同卷积核对应不同感受野进行从局部到全局的特征提取。
6.根据权利要求4-5任一项所述的人脸特征提取方法，其特征在于，所述将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息，具体包括：
将待识别用户的人脸图像输入人脸特征提取网络，经过标准卷积层处理；
将标准卷积层处理后的图像输入缩放块，进行初步特征提取，输出产生两个分支，其中一个分支不操作，另一个分支输入特征选择块；
通过特征选择块的全局平均池化层对输入的初步特征信息进行特征压缩，将每个二维的特征通道变成一个实数；
通过特征选择块的第一个全连接层对全局平均池化层输出的数据进行进一步特征压缩并使用ReLU函数进行激活，并通过第二个全连接层将数据的维数上升到原来的输出通道，为每个特征通道生成权重，将所有数据送入Sigmiod函数，获得0到1之间的归一化权重，以表示每个特征的重要程度，完成特征筛选；
将经过特征筛选后的数据与缩放块产生的数据相乘，对缩放块提取的初步特征信息的重要程度进行重新标定；
将重新标定后的特征信息依次通过全局平均池化层、全连接层进行处理，得到人脸特征信息。
7.根据权利要求6所述的人脸特征提取方法，其特征在于，所述特征筛选的表达式如下：
s＝σ(W2δ(W1Z))
其中，s表示0到1之间的归一化权重集合，Z为全局平均池化层压缩后的所有特征，W1为第一个全连接层权重，W2为第二个全连接层权重，δ为ReLU函数，σ为Sigmoid函数。
8.一种基于特征重标定的人脸特征提取系统，其特征在于，所述系统包括：
人脸特征提取网络构建单元，用于构建人脸特征提取网络；其中，所述人脸特征提取网络包括多块特征提取块；
图像获取单元，用于获取待识别用户的人脸图像；
特征提取单元，用于将待识别用户的人脸图像输入人脸特征提取网络，通过特征提取块进行初步特征提取，并对提取的初步特征信息进行压缩、筛选和重标定，得到人脸特征信息。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的人脸特征提取方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的人脸特征提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576094.9A CN112528956A (zh) | 2020-12-28 | 2020-12-28 | 基于特征重标定的人脸特征提取方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576094.9A CN112528956A (zh) | 2020-12-28 | 2020-12-28 | 基于特征重标定的人脸特征提取方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528956A true CN112528956A (zh) | 2021-03-19 |
Family
ID=74976690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011576094.9A Pending CN112528956A (zh) | 2020-12-28 | 2020-12-28 | 基于特征重标定的人脸特征提取方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528956A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516616A (zh) * | 2019-08-29 | 2019-11-29 | 河南中原大数据研究院有限公司 | 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法 |
| CN111062871A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
| CN111428689A (zh) * | 2020-04-20 | 2020-07-17 | 重庆邮电大学 | 一种多池化信息融合的人脸图像特征提取方法 |
| CN111626330A (zh) * | 2020-04-23 | 2020-09-04 | 南京邮电大学 | 基于多尺度特征图重构和知识蒸馏的目标检测方法与系统 |
| US20200349736A1 (en) * | 2019-05-02 | 2020-11-05 | Salesforce.Com, Inc. | Object localization framework for unannotated image data |
-
2020
- 2020-12-28 CN CN202011576094.9A patent/CN112528956A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200349736A1 (en) * | 2019-05-02 | 2020-11-05 | Salesforce.Com, Inc. | Object localization framework for unannotated image data |
| CN110516616A (zh) * | 2019-08-29 | 2019-11-29 | 河南中原大数据研究院有限公司 | 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法 |
| CN111062871A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
| CN111428689A (zh) * | 2020-04-20 | 2020-07-17 | 重庆邮电大学 | 一种多池化信息融合的人脸图像特征提取方法 |
| CN111626330A (zh) * | 2020-04-23 | 2020-09-04 | 南京邮电大学 | 基于多尺度特征图重构和知识蒸馏的目标检测方法与系统 |
Non-Patent Citations (4)
| Title |
|---|
| GUANGXI CHEN 等: "Seatbelt Recognition Method Based on Convolutional Attention Mechanism", 《2019 IEEE 2ND INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATION ENGINEERING TECHNOLOGY-CCET》, 10 February 2020 (2020-02-10), pages 187 - 192 * |
| RAVI TEJA N.V.S CHAPPA 等: "Squeeze-and-Excitation SqueezeNext:An Efficient DNN for Hardware Deployment", 《2020 10TH ANNUAL COMPUTING AND COMMUNICATION WORKSHOP AND CONFERENCE》, 12 March 2020 (2020-03-12), pages 0691 - 0697 * |
| 李亚辉 等: "基于轻量级深度网络的目标识别方法", 《计算机应用研究》, vol. 37, no. 3, 31 March 2020 (2020-03-31), pages 919 - 923 * |
| 邹磊: "基于活体检测与图像去模糊的人脸识别考勤系统实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 March 2023 (2023-03-15), pages 138 - 470 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473141B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109949255B (zh) | 图像重建方法及设备 | |
| KR102493075B1 (ko) | 콘텐츠 검출에 대한 이미지 프로세싱 방법 | |
| CN108875696A (zh) | 基于深度可分离卷积神经网络的脱机手写汉字识别方法 | |
| CN110598781A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2021164550A1 (zh) | 图像分类方法及装置 | |
| Wang et al. | Deeply supervised face completion with multi-context generative adversarial network | |
| CN111862294A (zh) | 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法 | |
| US20230153965A1 (en) | Image processing method and related device | |
| Zhang et al. | Multimodal image outpainting with regularized normalized diversification | |
| CN113095206A (zh) | 虚拟主播生成方法、装置和终端设备 | |
| Wu | Expression recognition method using improved VGG16 network model in robot interaction | |
| Han | Texture image compression algorithm based on self-organizing neural network | |
| CN116958324A (zh) | 图像生成模型的训练方法、装置、设备及存储介质 | |
| CN111639537A (zh) | 人脸动作单元识别方法、装置、电子设备及存储介质 | |
| CN110163049B (zh) | 一种人脸属性预测方法、装置及存储介质 | |
| CN112528956A (zh) | 基于特征重标定的人脸特征提取方法、系统、设备及介质 | |
| CN113076890B (zh) | 基于改进的通道注意力机制的人脸表情识别方法及系统 | |
| CN111539420B (zh) | 基于注意力感知特征的全景图像显著性预测方法及系统 | |
| TWI722383B (zh) | 應用於深度學習之預特徵萃取方法 | |
| CN107247944A (zh) | 基于深度学习的人脸检测速度优化方法及装置 | |
| CN112381064A (zh) | 一种基于时空图卷积网络的人脸检测方法及装置 | |
| CN111611852A (zh) | 一种表情识别模型的训练方法、装置及设备 | |
| CN113793627B (zh) | 一种基于注意力的多尺度卷积语音情感识别方法及装置 | |
| CN112439200B (zh) | 数据处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |