CN110991210A - 一种基于深度学习的嵌入式人脸识别方法及装置 - Google Patents
一种基于深度学习的嵌入式人脸识别方法及装置 Download PDFInfo
- Publication number
- CN110991210A CN110991210A CN201910092586.1A CN201910092586A CN110991210A CN 110991210 A CN110991210 A CN 110991210A CN 201910092586 A CN201910092586 A CN 201910092586A CN 110991210 A CN110991210 A CN 110991210A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- network model
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
为提供一种在识别准确率以及速率上综合考虑优于现有方法的嵌入式人脸识别方法及装置，本发明提供了一种基于深度学习的嵌入式人脸识别方法及装置，包括如下步骤：步骤S1，构建卷积神经网络模型并进行训练；步骤S2，对目标图像进行预处理并对待判定图像进行预处理；步骤S3，将预处理待判定图像及预处理目标图像依次输入特征提取模型，得到待判定特征向量以及目标特征向量；步骤S4，根据目标特征向量以及待判定向量判定一致的人脸图像，其中，步骤S3包括了在训练阶段时，对模型性能进行评估的角度误差评估函数。本发明还提供了基于深度学习的嵌入式人脸识别装置。
Description
技术领域
本发明属于机器学习领域，涉及嵌入式人脸识别方法，具体涉及一种基于深度学习的嵌入式人脸识别方法。
背景技术
人脸识别是利用人类脸部的生物特征信息，通过一定的技术识别对应人的身份，例如，获得目标人物的人脸图像后从大量待判定的人脸图像中判定出与该目标人物一致人脸图像。人脸识别在计算机视觉与模式识别领域是一项重要的研究工作，也具有丰富的实际生活应用场景，如社区安防、罪犯追逃、移动支付等等。
人脸识别技术的发展已有数十年，早些年的许多相关的机器学习算法被提出，包括基于几何特征的方法和基于统计的方法等等。不过，受到光照亮度、呈现姿态、面部妆容以及环境遮挡等问题的影响，这些早期的机器学习方法识别精度都不理想，一旦环境或人物妆容发生较大变化，则难以准确地进行人脸识别。
近几年中，基于卷积神经网络的方法被广泛用于人脸识别上，并取得了较好的识别精度。其主要流程为利用训练集对卷积神经网络进行训练，并采用训练好的卷积神经网络进行特征提取获得目标图像以及待判定图像的向量，再通过基于向量的相似度判定方法，即可将相似度最高的待判定图像判定为目标人物。
由于人脸图像较为复杂、相关特征难以准确表示，而各种卷积神经网络模型及算法中，基于残差学习机制的卷积神经网络具有良好的学习能力和泛化能力，因此能够适用于人脸识别任务。现有技术中，有科研人员采用了残差卷积神经网络结构，用三个公开数据集超过1.7万人的约70万张图像训练模型，并在人脸识别数据集LFW上取得了优异的精度。
然而，尽管现有的残差卷积神经网络已经能够在人脸识别数据集LFW上取得优异的精度，但是该神经网络在实际的应用场景中，对于人脸的辨别能力仍然不尽如人意。其主要表现在，对于未经过训练的人存在较为严重的误识别问题，导致在实际的应用中，常常会将一个人的人脸信息误识别为另外一个人。
发明内容
为解决上述问题，提供一种能够有效降低人脸误识别率的人脸识别方法及装置，本发明采用了如下技术方案：
本发明提供了一种基于深度学习的嵌入式人脸识别方法及装置，用于对目标图像进行人脸识别并从多个待判定图像中判定出与目标图像相一致的人脸图像，并可应用于嵌入式设备，其特征在于，包括如下步骤：步骤S1，构建卷积神经网络模型并采用多个现有人脸图像作为训练集对该卷积神经网络模型进行训练，得到训练后的卷积神经网络模型作为特征提取模型；步骤S2，对目标图像进行预处理获得预处理目标图像，并对待判定图像进行预处理获得对应的预处理待判定图像；步骤S3，将预处理待判定图像及预处理目标图像依次输入特征提取模型，从而得到分别与预处理待判定图像相对应的多个待判定特征向量以及与预处理目标图像相对应的目标特征向量；步骤S4，根据目标特征向量以及待判定向量判定出待判定图像中的与目标图像一致的人脸图像，其中，步骤S1包括如下子步骤：步骤S1-1，对用于作为训练集的多个现有人脸图像进行预处理从而获得尺寸统一并且分别与现有人脸图像相对应的预处理训练图像；步骤S1-2，构建含有输入层、卷积模块、残差计算模块以及全连接模块的卷积神经网络模型，该卷积神经网络模型中各层的参数矩阵中的参数为随机设置；步骤S1-3，将预处理图像作为训练集输入卷积神经网络模型；步骤S1-4，对卷积神经网络模型进行前向传递计算角度误差以及标准误差；步骤S1-5，采用反向传播算法传递误差更新参数；步骤S1-6，重复步骤S1-3至步骤S1-5直至达到训练完成条件，得到训练后的卷积神经网络模型作为特征提取模型。
本发明提供的基于深度学习的嵌入式人脸识别方法，还可以具有这样的技术特征，其中，卷积模块包含第一卷积模块，残差计算模块分为：第一残差计算部件包含三个残差计算子部件，第二残差计算部件，包含十三个残差计算子部件，第三残差计算部件，包含十个残差计算子部件；以及第四残差计算部件，包含三个残差计算子部件，全连接模块包含第一全连接部件。
本发明提供的基于深度学习的嵌入式人脸识别方法，还可以具有这样的技术特征，其中，第一卷积部件包括顺次连接的卷积层、批标准化层、非线性层以及最大池化层，残差计算子部件包括顺次连接的第一批标准化模块、第一卷积层、第二批标准化模块、第一非线性层、第二卷积层、第三批标准化层、残差计算层，第一全连接部件包括顺次连接的第一批标准化层、随机丢弃层、全连接层以及第二批标准化层。
本发明提供的基于深度学习的嵌入式人脸识别方法，还可以具有这样的技术特征，其中，步骤S1-4中，角度误差的计算如下式(1)所示：
所述标准误差的计算如下式(2)所示：
式中，xi表示第i个特征向量，yi表示第i个权重向量，
表示第yi个权重向量与第i个特征向量之间的夹角，s为扩张系数，m为角度距离，N为批大小，La为角度误差，Ls为标准误差，j为不为向量yi的其他权重向量。
本发明提供的基于深度学习的嵌入式人脸识别方法，还可以具有这样的技术特征，其中，在步骤S1-4中，针对不同的数据集，所选择的参数以及训练的步骤也不同，具体步骤如下：数据集分类步骤，按照数据集的图像数量以及类别数量进行分类，将图像数量小于四十万且类别数小于一万的数据集设定为标准数据集，将图像数量大于四十万的数据集设定为庞大数据集；数据集处理步骤，对于标准数据集，在卷积神经网络模型训练时直接进行该卷积神经网络模型的参数初始化并直接完成该卷积神经网络模型的训练，对于庞大数据集，需要先使用标准误差对卷积神经网络模型的参数进行更新，待该卷积神经网络模型收敛后再将改成角度误差对该卷积神经网络模型进行更进一步的调优直到收敛。
本发明提供的基于深度学习的嵌入式人脸识别方法，还可以具有这样的技术特征，其中，步骤S2中的预处理包括如下子步骤：步骤S2-1，对待处理图像进行人脸检测，找出其中的人脸位置；步骤S2-2，检测步骤S2-1中找出的人脸的至少包括双眼中心、鼻头以及两侧嘴角在内的多个关键位置点；步骤S2-3，根据关键位置点对待处理图像进行对齐操作并将待处理图像进行尺寸统一化；步骤S2-4，将尺寸统一化后的待处理图像进行中心剪裁，得到对应的预处理图像。
本发明提供的基于深度学习的嵌入式人脸识别方法，还可以具有这样的技术特征，其中，步骤S1-6中的训练完成条件为完成了预定的循环次数、参数已经收敛或消除了训练误差。
一种基于深度学习的嵌入式人脸识别装置，用于对目标图像进行人脸识别并从多个待判定图像中判定出与目标图像相一致的人脸图像，其特征在于，包括：预处理部，对待判定图像以及目标图像进行预处理从而分别得到对应的预处理待判定图像及预处理目标图像；特征提取部，对预处理待判定图像进行特征提取得到对应的待判定特征向量以及对预处理目标图像进行特征提取得到对应的目标特征向量，该特征提取部含有经过采用多个现有人脸图像作为训练集训练得到的特征提取模型；一致判定部，根据目标特征向量以及待判定向量判定出待判定图像中的与目标图像一致的人脸图像，其中，特征提取模型采用如下方法获得：步骤T1，对用于作为训练集的多个现有人脸图像进行预处理从而获得尺寸统一并且分别与现有人脸图像相对应的预处理训练图像；步骤T2，构建含有输入层、卷积模块、残差计算模块以及全连接模块的卷积神经网络模型，该卷积神经网络模型中各层初始的参数为随机设置；步骤T3，将预处理图像作为训练集输入卷积神经网络模型；步骤T4，对卷积神经网络模型进行前向传递计算角度误差；步骤T5，采用反向传播算法传递误差并更新参数；步骤T6，重复步骤T3及至步骤T5直至达到训练完成条件，得到训练后的卷积神经网络模型作为特征提取模型。
发明作用与效果
根据本发明提供的基于深度学习的嵌入式人脸识别方法及装置，由于在参数更新的阶段，使用了基于标准误差优化过的角度误差进行的更新，因此最终得到的卷积神经网络不仅能够在分类方面(即将不同的人分为不同的类别)，也能在聚类方面(即不同人之间误识别的概率降低)达到很好的效果。同时，由于本发明所使用的卷积神经网络基于之前在人脸识别方面性能较为优异的基于残差的卷积神经网络的结构，因此本方法能够在降低人脸识别过程中的误识别率的过程中进一步保证了人脸识别的准确率。
附图说明
图1是本发明实施例中基于深度学习的嵌入式人脸识别方法的流程图；以及
图2是本发明实施例中卷积神经网络的结构示意图；以及
图3是本发明实施例中基于深度学习的嵌入式人脸识别装置的结构框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于卷积神经网络的人脸识别方法作具体阐述。
<实施例>
本实施例中的模型构建等方法的实施均在Linux平台上实现，该平台具有至少一张图形处理单元GPU卡的支持。
图1是本发明实施例中基于深度学习的嵌入式人脸识别方法的流程图。
如图1所示，基于深度学习的嵌入式人脸识别方法主要包括以下步骤：
步骤S1，构建并训练卷积神经网络模型。即，构建卷积神经网络模型并采用多个现有人脸图像作为训练集对该卷积神经网络模型进行训练，得到的训练后卷积神经网络模型即可作为特征提取模型。该模型构建及训练的具体步骤见步骤S1-1至S1-6。
步骤S1-1，对用于作为训练集的多个现有人脸图像进行预处理从而获得大小统一并且分别与现有人脸图像相对应的预处理训练图像。
本实施例的步骤S1-1中，作为训练集的现有人脸图像来源于清洗后MS-Celeb-1M数据集，该数据集包括79077个人的约400张人脸图像，其中的每个人脸图像均作为待处理图像进行预处理，该预处理的具体过程包括如下子步骤：
步骤S1-1-1，对待处理图像进行人脸检测，找出其中的人脸位置。本实施例中，采用现有技术中的MTCNN来检测图像中的人脸。
步骤S1-1-2，检测步骤S1-1-1找出的人脸中的多个关键位置点，即至少包括双眼中心、鼻头以及两侧嘴角在内的关键位置点。
步骤S1-1-3，根据关键位置点对待处理图像进行对齐操作并将待处理图像进行尺寸统一化(即调整为统一尺寸)。本实施例中，待处理图像的对齐操作均依据双眼中心、鼻头以及两侧嘴角这样的关键点进行，在对齐后各个待处理图像就通过通常的图像调整手段被统一调整为128×128像素的尺寸。另外，各个待处理图像的通道数均不作改变。
步骤S1-1-4，将尺寸统一化后的待处理图像进行剪裁，得到对应的预处理图像。
本实施例中，作为训练集的各个图像所采用的剪裁方式为随机剪裁，得到128×128大小的剪裁后图像。剪裁后，这些图像的各个像素点的像素值均减去127.5并除以128，使得各个像素值均归一化到-1与+1之间，以便将对应的像素值输入至模型。
步骤S1-2，构建卷积神经网络模型。本实施例中所采用的模型为基于深度学习的卷积神经网络，该卷积神经网络模型含有输入层、卷积模块、残差计算模块以及全连接模块。
图2是本发明实施例中卷积神经网络的结构示意图。
如图2所示，本实施例所构建出的卷积神经网络模型包括输入层1、卷积模块2、残差计算模块3以及全连接模块4。
其中，卷积模块2包括第一卷积部件，该第一卷积部件由依次连接的卷积层Conv、批标准化层BN1、非线性层PReLU以及最大池化层MaxPool构成。
残差计算模块3由依次连接第一残差部件RB1、第二残差部件RB2、第三残差部件RB3、第四残差部件RB4构成。其中RB1、RB2、RB3、RB4依次包括3、13、10、3个残差子部件SRB。每一个残差子部件包括顺次连接的第一批标准化模块BN0、第一卷积层Conv1、第二批标准化模块BN1、第一非线性层PReLU、第二卷积层Conv2、第三批标准化层BN2。
全连接模块3包括第一全连接部件，该第一全连接部件由第一批标准化层BN4、随机丢弃层DP1、全连接层FC5以及第二批标准化层BN5构成。
上述各层中均含有用于计算向下一层传递的数据的计算权重数值(即参数)。本实施例中，各层参数如表1所示。
表1本发明实施例的卷积神经网络模型各层参数
如表1所示，本实施例的卷积神经网络模型的总层数为100层。模型构建完成后，即可采用训练集对其进行训练。
步骤S1-3，将预处理训练图像作为训练集输入卷积神经网络模型。
步骤S1-4，对卷积神经网络模型进行前向传递计算角度误差以及标准误差。本实施例中，角度误差L的计算方法如下式(1)所示：
式中，xi表示第i个特征向量，yi表示第i个权重向量，
表示第yi个权重向量与第i个特征向量之间的夹角，s为扩张系数，m为角度距离，N为批大小，La为角度误差，j为不为向量yi的其他权重向量。在本实施例中的公式(1)中，s取值为64，m取值为0.5，N取值为256。
本实施例中，标准误差L的计算方法如下式(2)所示：
式中，xi表示第i个特征向量，yi表示第i个权重向量，
表示第yi个权重向量与第i个特征向量之间的夹角，N为批大小，Ls为标准误差，j为不为向量yi的其他权重向量。在本实施例中的公式(2)中，N取值为256。
步骤S1-5，采用反向传播算法传递误差更新参数。即根据训练误差在卷积神经网络模型中进行反向传播计算，并逐渐调整各层参数，使得训练误差逐渐降低。
步骤S1-6，重复步骤S1-3至步骤S1-5，直至达到了完成训练的条件(即完成了预定的循环次数、参数已经收敛或基本消除了训练误差)，得到训练后的卷积神经网络模型作为特征提取模型。
本实施例的上述训练过程中，采用了分批输入处理的方式从而方便图像输入、加快模型训练速度。每批次输入320张图像，然后每批次分别进行步骤S1-4至S1-5的处理；进一步，在全部批次均完成输入及处理后，一次循环就完成了，随后即可进行下一个循环的分批次输入处理过程。
本实施例中，对卷积神经网络模型进行训练的循环总次数为50次。另外，在输入时模型的初始学习率设置为0.1，并在10、20、30和40个循环时分别缩小10倍。卷积神经网络模型采用角度误差损失函数进行监督，通过步骤S1-5的设置进行反向传播更新参数。
经过上述步骤，本实施例的卷积神经网络模型就完成了构建及训练，能够作为用于进行人脸识别的特征提取模型。
步骤S2，对所述目标图像进行预处理获得预处理目标图像，并对所述待判定图像进行预处理获得对应的预处理待判定图像，具体步骤见步骤S2-1至S2-4。
本实施例中，采用LFW数据集作为测试数据集并对特征提取模型进行识别测试，该LFW数据集包含5749人的共13233张图像。
进一步，将目标图像和待判定图像输入训练好的模型前还需要进行相应的预处理，以获得尺寸大小一致的图像，即利用步骤S2的方法对目标图像进行预处理获得预处理目标图像，并对待判定图像进行预处理获得对应的预处理待判定图像。本实施例中，在进行识别测试前，先将各个人脸图像进行镜像翻转得到镜像图像作为待判定图像，而各个原图像则分别作为目标图像。
这些待判定图像及目标图像在输入训练好的模型前同样需要进行预处理，该预处理过程与作为训练集的人脸图像的预处理过程(即步骤S1-1-1至S1-1-4)基本相同，其具体步骤如下：
步骤S2-1，对待处理图像进行人脸检测，找出其中的人脸位置；
步骤S2-2，检测步骤S2-1找出的人脸的至少包括双眼中心、鼻头以及两侧嘴角在内的多个关键位置点；
步骤S2-3，根据关键位置点对待处理图像进行对齐操作并将待处理图像进行尺寸统一化；
步骤S2-4，将尺寸统一化后的待处理图像进行中心剪裁，得到对应的预处理图像。本实施例中，与训练集不同，作为测试集的各个人脸图像的剪裁不采用随机剪裁而是采用中心剪裁。
同样地，经过上述预处理的图像的各个像素点的像素值均减去127.5并处以128，使得各个像素值均归一化到-1与+1之间，以便将对应的像素值输入至模型。
上述待判定图像及目标图像经过预处理后即可进行特征提取及判定，即进入步骤S3。
步骤S3，将预处理待判定图像及预处理目标图像依次输入特征提取模型，从而得到分别与预处理待判定图像相对应的多个待判定特征向量以及与预处理目标图像相对应的目标特征向量。
步骤S4，根据目标特征向量以及待判定向量判定出待判定图像中的与目标图像一致的人脸图像。
本实施例中，为了方便进行训练后模型判定精度的考察，将预处理目标图像及对应的预处理待判定图像(即经过翻转及预处理后得到的图像)设置为图片对。在分别输入模型得到对应的特征向量后，采用余弦距离来对一个图片对中的两个特征向量的相似度进行计算，当计算得到的余弦距离大于预设值时，则判定图片对中的目标图像及待判定图像中不是同一个人，而小于预设值时则判定二者中的为同一个人。
显然，由于图片对中的待判定仅仅是目标图像翻转后形成的，因此实际上二者均为同一个人。当经过上述图像预处理、输入模型获得特征向量、计算余弦距离并判定的过程后，若一个图片对的判定结果为不是同一个人，则说明该次人脸识别结果有误，而若判定结果为同一个人，则说明该次人脸识别结果是正确的。
表2是本发明实施例的基于深度学习的嵌入式人脸识别方法的判定精度结果，包含了采用了基于同样误差函数的不同网络对本实施例的测试集进行人脸识别的判定精度结果。
其中，“本发明方法”指本实施例的基于深度学习的嵌入式人脸识别方法。“DPN107”、“DenseNet161”以及“MobileNet”是现有技术中常用的优秀的网络结构。
表2本发明实施例的方法与其他优秀方法模型精度、速度以及模型大小的对比
| 方法 | 准确率 | 速度(ms) | 模型大小(MB) |
| DPN107 | 0.9976 | 58.8 | 581 |
| DenseNet161 | 0.9971 | 29.3 | 315 |
| MobileNet | 0.9963 | 4.2 | 112 |
| 本发明方法 | 0.9975 | 15.4 | 250 |
从表2可以看出，本实施例所选择的网络结构，相较于其他的网络结构，在LFW测试集上表现非常优秀，达到了0.9975的准确率。同时运算速度以及模型大小方面仅次于MobileNet。在模型大小以及运算速度方面都令人满意，同时也保证了很高的准确率。
表3本发明实施例的角度误差与其他的误差函数的对比
如表3所示，其中的测试数据是基于AgeDB-30数据集。“Softmax”、“SphereFace”、“CosineFace”都是现有技术中较为优秀的误差评价方法。从表3可以看出，本实施例的基于深度学习的嵌入式人脸识别方法的角度误差评价方法在该测试数据集上的表现较之于“Softmax”、“SphereFace”、“CosineFace”都方法都优秀得多。
图3是本发明实施例中基于深度学习的嵌入式人脸识别装置的结构框图。
如图3所示，基于深度学习的嵌入式人脸识别装置100包括预处理部11、特征提取部12以及一致判定部13。本实施例中，基于深度学习的嵌入式人脸识别装置100基于本发明的基于深度学习的嵌入式人脸识别方法，用于对目标图像进行人脸识别并从多个待判定图像中判定出与目标图像相一致的人脸图像，并可应用于嵌入式设备。
预处理部11用于对待判定图像以及目标图像进行预处理从而分别得到对应的预处理待判定图像及预处理目标图像。
本实施例中，预处理部11采用步骤S2的图像处理方法，具有分别对应步骤S2-1至S2-4的人脸位置检测单元、关键位置点检测单元、待处理图像处理单元以及预处理图像获取单元。
特征提取部12用于对预处理待判定图像进行特征提取得到对应的待判定特征向量以及对预处理目标图像进行特征提取得到对应的目标特征向量。
本实施例中，通过步骤S1训练后的卷积神经网络模型(即特征提取模型)能够在平台中作为特征提取部12运行，用于进行目标图像和待判定图像的特征向量提取，从而利用得到的特征向量判定目标图像与各个待判定图像的相似程度。
一致判定部13用于根据特征提取部提取的目标特征向量以及待判定向量判定出待判定图像中的与目标图像一致的人脸图像。
实施例作用与效果
根据本实施例提供的基于深度学习的嵌入式人脸识别方法及装置，由于采用了改进的误差函数，使得模型在泛化效果上表现更为优秀。同时由于模型的层数较少，使得模型训练能够更快完成，并且采用训练后的模型进行的特征向量提取也能够更快完成，从而让人脸识别的模型训练速度、目标图像和待判定图像的特征提取速度均得到加快。本实施例的方法的识别精度优于目前多种优秀的人脸识别方法，同时在泛化的表现方面也表现的较为出色。因此本方法不仅有效提升了模型的准确率、泛化能力，同时也很好的控制了模型的大小。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
例如，实施例中提供的是基于深度学习的嵌入式人脸识别方法，该方法中包含深度学习模型的构建及训练步骤。根据该方法，本发明也可以提供相应的人脸识别装置，即，将经过上述构建及训练得到的卷积神经网络模型进行封装形成特征提取部，再增加用于对待判定图像以及目标图像进行预处理的预处理部以及用于根据特征提取部提取出的目标特征向量和待判定向量进行一致性判定的一致判定部，即可形成基于深度学习的嵌入式人脸识别装置。
实施例中，扩张系数s的取值为64，角度距离m的取值范围为0.5，m的取值会影响到最终在测试集上的准确率，m取的过大或者过小都会导致准确率下降。
实施例中，目标图像与待判定图像之间是否一致是通过二者的特征向量之间的余弦距离计算来判定的。在本发明中，也可以利用其他的向量距离计算方式来判定目标图像与待判定图像之间的一致性。
实施例中，为了方便图像输入、加快模型训练速度，训练过程采用了分批输入处理的方式。但在采用图像数量不多的其他训练集时，也可以不采用分批输入处理的方式，而是直接将训练集全部输入，然后进行步骤S1-4至S1-5的处理过程。
Claims (8)
1.一种基于深度学习的嵌入式人脸识别方法，用于对目标图像进行人脸识别并从多个待判定图像中判定出与所述目标图像相一致的人脸图像，其特征在于，包括如下步骤：
步骤S1，构建卷积神经网络模型并采用多个现有人脸图像作为训练集对该卷积神经网络模型进行训练，得到训练后的卷积神经网络模型作为特征提取模型；
步骤S2，对所述目标图像进行预处理获得预处理目标图像，并对所述待判定图像进行预处理获得对应的预处理待判定图像；
步骤S3，将所述预处理待判定图像及所述预处理目标图像依次输入所述特征提取模型，从而得到分别与所述预处理待判定图像相对应的多个待判定特征向量以及与所述预处理目标图像相对应的目标特征向量；
步骤S4，根据所述目标特征向量以及所述待判定向量判定出所述待判定图像中的与所述目标图像一致的人脸图像，
其中，所述步骤S1包括如下子步骤：
步骤S1-1，对用于作为所述训练集的多个所述现有人脸图像进行预处理从而获得尺寸统一并且分别与所述现有人脸图像相对应的预处理训练图像；
步骤S1-2，构建含有输入层、卷积模块、残差计算模块以及全连接模块的卷积神经网络模型，该卷积神经网络模型中各层的参数矩阵中的参数为随机设置；
步骤S1-3，将所述预处理图像作为训练集输入所述卷积神经网络模型；
步骤S1-4，对所述卷积神经网络模型进行前向传递计算角度误差以及标准误差；
步骤S1-5，采用反向传播算法传递误差更新所述参数；
步骤S1-6，重复步骤S1-3至步骤S1-5直至达到训练完成条件，得到训练后的卷积神经网络模型作为所述特征提取模型。
2.根据权利要求1所述的基于深度学习的嵌入式人脸识别方法，其特征在于：
其中，所述卷积模块包含第一卷积部件，
所述全连接模块包含第一全连接部件，
所述残差计算模块分为：
第一残差计算部件，包含三个残差计算子部件；
第二残差计算部件，包含十三个残差计算子部件；
第三残差计算部件，包含十个残差计算子部件；以及
第四残差计算部件，包含三个残差计算子部件。
3.根据权利要求2所述的基于深度学习的嵌入式人脸识别方法，其特征在于：
其中，所述第一卷积部件包括顺次连接的卷积层、批标准化层、非线性层以及最大池化层，
所述残差计算子部件包括顺次连接的第一批标准化模块、第一卷积层、第二批标准化模块、第一非线性层、第二卷积层、第三批标准化层、残差计算层，
所述第一全连接部件包括顺次连接的第一批标准化层、随机丢弃层、全连接层以及第二批标准化层。
4.根据权利要求1所述的基于深度学习的嵌入式人脸识别方法，其特征在于：
其中，所述步骤S1-4中，所述角度误差的计算如下式(1)所示：
所述标准误差的计算如下式(2)所示：
式中，xi表示第i个特征向量，yi表示第i个权重向量，
表示第yi个向量与第i个向量之间的夹角，s为扩张系数，m为角度距离，N为批大小，La为角度误差，Ls为标准误差，j为不为向量yi的其他权重向量。
5.根据权利要求1所述的基于深度学习的嵌入式人脸识别方法，其特征在于：
其中，在所述步骤S1-4中，针对不同的数据集，所选择的参数以及训练的步骤也不同，具体步骤如下：
数据集分类步骤，按照所述数据集的图像数量以及类别数量进行分类，将图像数量小于四十万且类别数小于一万的数据集设定为标准数据集，将图像数量大于四十万的数据集设定为庞大数据集；
数据集处理步骤，对于所述标准数据集，在所述卷积神经网络模型训练时直接进行该卷积神经网络模型的参数初始化并直接完成该卷积神经网络模型的训练，对于所述庞大数据集，需要先使用标准误差对所述卷积神经网络模型的参数进行更新，待该卷积神经网络模型收敛后再将改成角度误差对该卷积神经网络模型进行更进一步的调优直到收敛。
6.根据权利要求1所述的基于深度学习的嵌入式人脸识别方法，其特征在于：
其中，所述步骤S2中的所述预处理包括如下子步骤：
步骤S2-1，对待处理图像进行人脸检测，找出其中的人脸位置；
步骤S2-2，检测所述步骤S2-1中找出的人脸的至少包括双眼中心、鼻头以及两侧嘴角在内的多个关键位置点；
步骤S2-3，根据所述关键位置点对所述待处理图像进行对齐操作并将所述待处理图像进行尺寸统一化；
步骤S2-4，将尺寸统一化后的所述待处理图像进行中心剪裁，得到对应的预处理图像。
7.根据权利要求1所述的基于深度学习的嵌入式人脸识别方法，其特征在于：
其中，所述步骤S1-6中的所述训练完成条件为完成了预定的循环次数、参数已经收敛或消除了训练误差。
8.一种基于深度学习的嵌入式人脸识别装置，用于对目标图像进行人脸识别并从多个待判定图像中判定出与所述目标图像相一致的人脸图像，其特征在于，包括：
预处理部，对所述待判定图像以及所述目标图像进行预处理从而分别得到对应的预处理待判定图像及预处理目标图像；
特征提取部，对所述预处理待判定图像进行特征提取得到对应的待判定特征向量以及对所述预处理目标图像进行特征提取得到对应的目标特征向量，该特征提取部含有经过采用多个现有人脸图像作为训练集训练得到的特征提取模型；
一致判定部，根据所述目标特征向量以及所述待判定向量判定出所述待判定图像中的与所述目标图像一致的人脸图像，
其中，所述特征提取模型采用如下方法获得：
步骤T1，对用于作为所述训练集的所述多个现有人脸图像进行预处理从而获得尺寸统一并且分别与所述现有人脸图像相对应的预处理训练图像；
步骤T2，构建含有输入层、卷积模块、残差计算模块以及全连接模块的卷积神经网络模型，该卷积神经网络模型中各层初始的参数为随机设置；
步骤T3，将所述预处理图像作为训练集输入所述卷积神经网络模型；
步骤T4，对所述卷积神经网络模型进行前向传递计算角度误差；
步骤T5，采用反向传播算法传递误差并更新所述参数；
步骤T6，重复步骤T3及至步骤T5直至达到训练完成条件，得到训练后的卷积神经网络模型作为所述特征提取模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910092586.1A CN110991210A (zh) | 2019-01-30 | 2019-01-30 | 一种基于深度学习的嵌入式人脸识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910092586.1A CN110991210A (zh) | 2019-01-30 | 2019-01-30 | 一种基于深度学习的嵌入式人脸识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110991210A true CN110991210A (zh) | 2020-04-10 |
Family
ID=70081573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910092586.1A Pending CN110991210A (zh) | 2019-01-30 | 2019-01-30 | 一种基于深度学习的嵌入式人脸识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991210A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673345A (zh) * | 2021-07-20 | 2021-11-19 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 人脸识别方法及系统 |
| US11461384B2 (en) * | 2018-09-10 | 2022-10-04 | Algoface, Inc. | Facial images retrieval system |
| CN116524327A (zh) * | 2023-06-25 | 2023-08-01 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247949A (zh) * | 2017-08-02 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 基于深度学习的人脸识别方法、装置和电子设备 |
| CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
| CN108596143A (zh) * | 2018-05-03 | 2018-09-28 | 复旦大学 | 基于残差量化卷积神经网络的人脸识别方法及装置 |
-
2019
- 2019-01-30 CN CN201910092586.1A patent/CN110991210A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247949A (zh) * | 2017-08-02 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 基于深度学习的人脸识别方法、装置和电子设备 |
| CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
| CN108596143A (zh) * | 2018-05-03 | 2018-09-28 | 复旦大学 | 基于残差量化卷积神经网络的人脸识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 王飞等: "基于捷径的卷积神经网络在人脸识别中的应用研究" * |
| 龙鑫等: "一种基于角度距离损失函数和卷积神经网络的人脸识别算法" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11461384B2 (en) * | 2018-09-10 | 2022-10-04 | Algoface, Inc. | Facial images retrieval system |
| CN113673345A (zh) * | 2021-07-20 | 2021-11-19 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 人脸识别方法及系统 |
| CN113673345B (zh) * | 2021-07-20 | 2024-04-02 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 人脸识别方法及系统 |
| CN116524327A (zh) * | 2023-06-25 | 2023-08-01 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
| CN116524327B (zh) * | 2023-06-25 | 2023-08-25 | 云账户技术(天津)有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596143B (zh) | 基于残差量化卷积神经网络的人脸识别方法及装置 | |
| CN110443203B (zh) | 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| US11487995B2 (en) | Method and apparatus for determining image quality | |
| CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN106897675B (zh) | 双目视觉深度特征与表观特征相结合的人脸活体检测方法 | |
| CN108921019B (zh) | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
| CN109271930B (zh) | 微表情识别方法、装置与存储介质 | |
| CN104268539A (zh) | 一种高性能的人脸识别方法及系统 | |
| CN112818722B (zh) | 模块化动态可配置的活体人脸识别系统 | |
| CN110991210A (zh) | 一种基于深度学习的嵌入式人脸识别方法及装置 | |
| CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
| CN110175506B (zh) | 基于并行降维卷积神经网络的行人重识别方法及装置 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
| CN112052772A (zh) | 一种人脸遮挡检测算法 | |
| CN113673510A (zh) | 一种结合特征点和锚框共同预测和回归的目标检测算法 | |
| CN111832405A (zh) | 一种基于hog和深度残差网络的人脸识别方法 | |
| CN111709305B (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| CN114882537B (zh) | 一种基于神经辐射场的手指新视角图像生成方法 | |
| CN116229528A (zh) | 一种活体掌静脉检测方法、装置、设备及存储介质 | |
| CN114821736A (zh) | 基于对比学习的多模态人脸识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |