CN111401257A - 一种基于余弦损失非约束条件人脸识别方法 - Google Patents

一种基于余弦损失非约束条件人脸识别方法 Download PDF

Info

Publication number
CN111401257A
CN111401257A CN202010188585.XA CN202010188585A CN111401257A CN 111401257 A CN111401257 A CN 111401257A CN 202010188585 A CN202010188585 A CN 202010188585A CN 111401257 A CN111401257 A CN 111401257A
Authority
CN
China
Prior art keywords
face
image
network
recognition method
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010188585.XA
Other languages
English (en)
Other versions
CN111401257B (zh
Inventor
董恩增
乔逸凡
佟吉钢
于航
张达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN202010188585.XA priority Critical patent/CN111401257B/zh
Publication of CN111401257A publication Critical patent/CN111401257A/zh
Application granted granted Critical
Publication of CN111401257B publication Critical patent/CN111401257B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体涉及一种基于余弦损失非约束条件人脸识别方法。一种基于余弦损失非约束条件人脸识别方法，它包括以下步骤，S1、获取待识别图像，对待识别图像进行多尺度变换，得到图像金字塔；S2、将步骤S1得到的图像金字塔输入到MTCNN网络，MTCNN网络对图像进行处理后，得到面部特征点；S3、根据步骤S2的面部特征点，进行人脸校正；S4、利用步骤S3处理后的数据训练Inception‑ResnetV1卷积神经网络，采用余弦损失函数作为监督信号，进行分类器模型的训练，得到特征提取模型，利用该特征提取模型进行人脸数据的验证与识别。

Description

一种基于余弦损失非约束条件人脸识别方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于余弦损失非约束条件人脸识别方法。
背景技术
人脸识别是身份认证的重要生物识别技术，已广泛应用于军事、金融、公共安全和日常生活等领域。尽管在人脸方面的研究已经长达五十年之久，但是仍会因为自然因素的影响，例如光照强度不同，人脸姿态表情的变化，面部的部分遮挡以及年龄等多种外在因素的影响。人脸识别技术主要是通过人脸的面部几何特征来进行身份的一种认证。就姿态问题，如头部在因为脸部的旋转导致面部特征信息的丢失，而当前的识别算法应用中，主要针对正面和准正面的人脸信息图像才可以进行较快的信息识别，当面部信息采如图像时出现了仰视或者俯视等侧脸比较严重的情况之下，识别的准确率会出现很大的下降。因而当前人类就针对这种不受约束情况下的识别进行。
随着深度学习展现了图像识别方面强大的学习能力后，基于这种深层卷积神经网络在人脸识别方面的效果取得了巨大的突破，研究重点由此转向深度学习的方法。随着特征通道变得越来越宽，网路层数变得更加深，LFW识别结果得到很大提升。在本申请中，提出了一个统一的人脸识别系统。通过一个深度卷积网络在每个图像上学习余弦距离下的人脸特征。该网络经过训练，使得特征空间的余弦距离直接对应人脸的相似度，即同一个人的人脸余弦距离小，不同人脸的余弦距离较大。基于人脸识别的识别难度方法一般分为一对一人脸验证和一对多的人脸识别，由于数据库对模型训练和测试至关重要，如LFW、 IJBA/B/C、Megaface和MS-Celeb-1M等，这些数据主要针对四个方面进行比较与应用：训练网络、评估指标、识别场景及训练和测试Deep FR提供有用的参考。自2014年起，DeepFace采用多层CNN网络模型做训练，在LFW测试精度达到97.35％。2015年，FaceNet使用大型私有数据集来训练Inception 的网络结构，并使用基于Triplet Loss损失算法的目标函数作监督，在LFW上获得了高达99.63％的测评结果，针对数据样本缺少以及数据匹配挖掘的问题，提出了一种基于余弦角度改进的损失函数 (L-softmax)，随后在为专门针对移动设备上设计的网络模型，可以实现快速的下采样与识别，提出了如SqueezeNet，MobileNet，ShuffleNet和Xception等一些轻量级卷积网络模型。
发明内容
本发明针对现有技术对人脸识别精度不足之处进行了优化，提出一种基于余弦损失非约束条件人脸识别方法。通过对MTCNN算法进行了改进，本发明在网络模型训练效果和识别精度都有明显的提升，尤其在基于非控制条件下的人脸识别有着更好的泛化能力和更强的实用性。
为实现上述目的，本发明采用如下技术方案：
一种基于余弦损失非约束条件人脸识别方法，它包括以下步骤，
S1、获取待识别图像，对待识别图像进行多尺度变换，得到图像金字塔；
S2、将步骤S1得到的图像金字塔输入到MTCNN网络，MTCNN网络对图像进行处理后，得到面部特征点；
S3、根据步骤S2的面部特征点，进行人脸校正；
S4、利用步骤S3处理后的数据训练Inception-ResnetV1卷积神经网络，采用余弦损失函数作为监督信号，进行分类器模型的训练，得到特征提取模型，利用该特征提取模型进行人脸数据的验证与识别。
本技术方案进一步的优化，步骤S3中人脸校正如下，根据面部特征点，进行人脸倾斜的仿射变换，将人脸进行向右倾斜的公式如下：
Figure BDA0002415058050000021
面部图像向左边倾斜公式如下：
Figure BDA0002415058050000022
式中的x,y表示像素点的原先坐标位置，x',y'代表是矫正变换后的像素位置，θ1为实际关键点与中心点的旋转角。
本技术方案进一步的优化，步骤S4的损失函数为
Figure BDA0002415058050000023
其中t作为超前参数，基于t＞1的条件下，数值越大，训练也越困难，其中k参数用于是否对错误分类的样本进行训练:
Figure BDA0002415058050000024
本技术方案进一步的优化，步骤S1中，对待识别图像采用OpenCV进行多尺度变换，得到图像金字塔。
本技术方案进一步的优化，步骤S3根据人脸关键点进行人脸校正。
本技术方案进一步的优化，所述步骤S4利用训练好的特征提取模型对需要识别的目标进行特征提取，再与数据库里的特征进行欧式距离的计算，根据阈值判断人脸目标的身份。
本技术方案进一步的优化，所述MTCNN网络包括P-Net，R-Net以及O-Net三个级联网络。
本技术方案更进一步的优化，所述P-Net网络对图像处理，获得脸部区域的窗口与边界Generate Bounding Box回归，对获得脸部区域窗口，经过框回归结果进行矫正，再利用非最大值抑制算法对重叠的窗口进行合并，P-Net网络用于检测候选回归框。
本技术方案更进一步的优化，所述P-Net网络的输出作为R-Net网络的输入，该网络会对框回归进行再次计算，去除掉非面部的框回归，再通过边框回归变量对结果进行检测，之后采用非最大值抑制进行框合并。
本技术方案更进一步的优化，所述R-Net网络的输出作为O-Net网络的输入，损失监督来进行检测，得到最终的人脸概率、中心点坐标及宽高和人脸关键点的定位。
人脸检测、关键点矫正与特征提取是人脸识别的关键技术。针对非控制条件下的人脸识别的高准确度的要求，本文提出基于MTCNN与余弦为目标函数的人脸识别的方法，采用联级网络作为人脸检测模型，利用预处理之后的数据作为输入，训练Inception-ResnetV1网络以及使用余弦损失目标函数作为训练实验法，结合公用数据集以及私有的亚洲人脸数据库。实验结果表明本算法对识别的准确率有很大的提升，尤其在基于非约束环境的识别精度有很大的提高。
附图说明
图1为人脸识别方法流程图；
图2为图像金字塔结构示意图；
图3为MTCNN训练流程图；
图4为人脸检测网络模型架构示意图；
图5为P-Net、R-Net、O-Net输出图；
图6为人脸校正对比图；
图7为Inception-ResNet-V1结构图；
图8为Inception-ResNet-A/B/C结构图；
图9为LFW验证集图；
图10为LFW测试集ROC曲线图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
参阅图1所示，为人脸识别方法流程图。一种基于余弦损失非约束条件人脸识别方法，它包括以下步骤，
S1、获取待识别图像，对待识别图像进行多尺度变换，得到图像金字塔。
在无约束环境下，人脸的检测与识别对于不同的姿势，灯光和遮挡是非常有挑战性的。具体的实现方案主要是人脸的检测与矫正，以及人脸识别模型的训练，对于检测矫正模块，提出一个深度级联多任务的框架，于是设计一个多任务级联的卷积神经网络人脸检测深度学习的模型MTCNN，由粗糙到细致来逐步检测面部整体和特征点的坐标，这种轻量级的卷积网络框架可以实现实时的检测效果，对于输入图片，先进性图片多尺度的变换，构成图像金字塔。
参阅图2所示，为图像金字塔结构示意图。图像多尺度变换，首先先对参数进行初始化，创建金字塔的比例系数，在使用OpenCV对图像进行缩放，然后就可以对不同尺度的图像进行卷积操作，因为在原始图片中，目标的大小存在差异，对于较小的目标，可以通过大尺寸图像上检测，对于小目标的人脸，可以在缩小的图像上进行检测，于是做到在相同尺寸下对面部进行检测。
S2、将步骤S1得到的图像金字塔输入到MTCNN网络，MTCNN网络对图像进行处理后，得到面部特征点。
参阅图3所示，为MTCNN训练流程图。给检测模型主要有三个卷积神经网络，分为P-Net，R-Net 以及O-Net三个级联网络，三个网络的任务都大致一样，都要依据训练图片的真实数据，进行候选框的计算以及边框回归的向量获取，再利用非极大值抑制来去除掉网络输出预测的候选框中高度重合的候选框，O-Net与前两个网络功能相似，但不同的是O-Net不仅会输出回归矿的分类和回归框位置的信息，还有包含人脸特征关键点向量的位置。
送入三个级联神经网络的数据只需要使用WIDER FACE数据集，此时不需要进行特征点的定位任务，因此当前的目标函数不需要加入关键点来进行训练，由于原始数据集不可直接使用于训练，只能在原始数据上进行候选框的选定。根据初始值，直接随机选择候选框，然后依据IOU值计算候选框所属类别，每个网络都是单独训练的，并且使用同样的损失函数，虽然都是单独训练，但是每一个网络的输入都是前一个网络的候选框的位置，再进行训练缩小候选框的数量。
参阅图4所示，为人脸检测网络模型架构示意图。根据P-Net网络的输入尺寸，将图片缩放到尺寸为12x12的尺寸，之后再按照预先设定好的缩放因子，将改变后的尺寸进行不断地缩放。利用缩放结果12x12x3的数据作为P-Net网络输入图像，经过三次卷积操作和一次池化操作后，原先的是数据变为 1x1x32，再经过三次并列卷积操作后，得到人脸概率，中心点坐标及宽高和人脸关键点的定位。
R-Net网络利用上述的检测数据框作为输入图像，同样经过三次卷积操作和一次池化操作后，原先的是数据变为128维的向量数组，通过全连接，得到更为精确的人脸概率、中心点坐标及宽高和人脸关键点的定位。
O-Net网络利用上述的检测数据框作为输入图像，同样经过四次卷积操作和一次池化操作后，原先的是数据变为256维的向量数组，通过全连接，得到最终的人脸概率、中心点坐标及宽高和人脸关键点的定位。
参阅图5所示，为P-Net、R-Net、O-Net输出图。对于三个网络的输出既可用于人脸分类、边界框回归和关键点定位三个任务，其中用于人脸分类的损失函数如式(1)
Figure BDA0002415058050000051
上式即为人脸分类的交叉熵损失函数，其中pi是人脸的概率值，
Figure BDA0002415058050000052
为背景的真是标签。
边框向量的回归计算，主要通过欧氏距离来计算两者之间的回归损失，对于每一个预测的候选框，都要计算和真实值之间的偏移量，如式(2)
Figure BDA0002415058050000053
其中
Figure BDA0002415058050000054
是通过网络预测值，
Figure BDA0002415058050000055
为实际的真事背景的坐标值。
Figure BDA0002415058050000056
为四维数组，分别带边左上角的x,y坐标值以及长宽值。
关键点定位于框回归一样，利用计算出的网络预测的坐标与真实的实际坐标进行欧式距离的计算，并缩小两者之间的距离，如式(3)
Figure BDA0002415058050000061
其中
Figure BDA0002415058050000062
是通过网络预测值，
Figure BDA0002415058050000063
为实际的真事背景的坐标值。
Figure BDA0002415058050000064
为十维数组，分别代表左眼、右眼、鼻尖、两个嘴角的x,y坐标值。由于每个卷积网络训练任务目标不同，所以训练数据集也不同，在计算损失函数时候也不同，如式(4)
Figure BDA0002415058050000065
其中N表示是训练样本的数量，αj表示每种任务重要性的权值，
Figure BDA0002415058050000066
表示样本的真实标签值，
Figure BDA0002415058050000069
为总损失函数，其中P-Net，R-Net取αdet＝1,αbox＝0.5,αlandmark＝0.5，O-net取αdet＝1,αbox＝0.5,αlandmark＝1。
S3、根据步骤S2的面部特征点，进行人脸校正。相比于传统Facenet没有校正这一步，矫正后的面部数据，可以对提高特征提取模型的识别精度，尤其对倾斜的面部识别精度的提升。
由于MTCNN检测出五官关键点的检测点的精确位置，但并不会进行脸部的矫正，直接根据关键点的位置以及候选框的输出，进行一个人脸的倾斜的仿射变换，将人脸进行向右倾斜的公式如下：
Figure BDA0002415058050000067
面部图像向左边倾斜公式如下：
Figure BDA0002415058050000068
式中的x,y表示像素点的原先坐标位置，x',y'代表是矫正变换后的像素位置，θ1为实际关键点与中心点的旋转角。变换效果如下，第一列代表了原始的图像，第二列是MTCNN网络输出结果，第三列是对网络输出结果进行旋转处理后仿射变换的结果。参阅图6所示，为人脸校正对比图。
S4、利用步骤S3处理后的数据训练Inception-ResnetV1卷积神经网络，采用余弦损失函数作为监督信号，进行分类器模型的训练，得到特征提取模型，利用该特征提取模型进行人脸数据的验证与识别。
图像的分类是基于深度卷积网络提取图片的特征，然后通过这些特征数值对图像进行分类。因此，将输出层的前一层的全连接层的输出结果作为对图像提取的特征向量，用这些向量直接计算深度卷积神经网络提取特征向量空间的相似度，以此来判断当前图片与数据库图片是否匹配，所以讲网络作为分类器来训练只是实现对当前图像提取特征的一种方法，在通过训练好的卷积网络提取特征向量，在余弦度量与softmax结合情况下对模型进行强监督训练。损失函数式(5)
Figure BDA0002415058050000071
人脸识别取得了长足的进步，其主要任务是如何改善特征识别能力。为此，已经提出了几种基于角度边界的softmax损失函数以增加不同类别之间的特征余量。然而，尽管已经特征分类上取得巨大的进步，但它们依旧存在问题，对于错误分类的样本并没有很好地处理，其次这种损失函数只是在加大真正类别的的特征余量，并没有意识到与不同类别之间的可区分性，而且不同类别之间的特征余量设置固定，无法很好地适应一些具体的样本分类，对此的解决办法，本申请对损失函数进行了相应的改进：
相比于原先的损失函数，改进后的损失函数加强对困难样本的学习，不仅加强类别之间的可区分性，也加大对错误分类样本的可区分性。
Figure BDA0002415058050000072
其中t作为超前参数，基于t＞1的条件下，数值越大，训练也越困难，其中k参数用于是否对错误分类的样本进行训练:
Figure BDA0002415058050000073
采用CASIA-WebFace、VGGFace2、MS1M-DeepGlin和Asian-DeepGlint等数据集。在经过检测裁剪后的图片都采用112×112的尺寸，RGB图像中的每个像素通过减去127.5然后除以128来进行数据的归一化处理。下表为训练集和测试集的。
表1训练集和测试集数据库
Figure BDA0002415058050000074
用于分类的特征提取卷积网络选取Inception-ResNet-V1，该网络的主要采用Residual Learning的思想应用于Inception网络中，也证明了残差模块确实对于Inception网络的训练速度有所提高。参阅图7 所示，为Inception-ResNet-V1结构图。该图是Inception-ResNet-V1的主干网络，由于前面的几层Stem模块用于提取局部特征，以此不适用Inception模块来节省计算量，Reduction-A和Reduction-B模块进行进行模块的训练。
参阅图8所示，为Inception-ResNet-A/B/C结构图，其中的Inception-Resnet-A/B/C模块由Inception 模块和Resnet模块结合，Inception模块的目的就是采用不同的尺寸的卷积核对图像进行卷积，有 1×1,3×3,5×5不同卷积核对同一个特征通道进行卷积，为了降低使用3×3,5×5的卷积浪费计算资源，降低计算成本，在不丢失特征的前提下，通常会在之前使用1×1的卷积，来降低计算成本以及提高通道数，以Inception-ResNet-A为例，在3×3模块前，加入1×1的卷积进行特征的提取以及通道数的升维，最后进行1×1将维度升到256，这样的模块重复5次，假设输入是35×35×256，输出还是35×35×256，为了节省计算资源，也可以将N×N拆分成1×N和N×1模块进行计算卷积，以Inception-ResNet-B/C为例，将3×3拆成1×3和3×1进行卷积和7×7拆成1×7和7×1进行卷积，Inception-ResNet-B模块重复10次，Inception-ResNet-C模块重复5次。
参阅图9所示，为LFW验证集图，采用上述方法对LFW的数据集进行了验证。该数据库从中随机选择了6000对人脸组成了人脸辨识图片对，其中3000对属于同一个人2张人脸照片，3000对属于不同的人每人1张人脸照片。测试过程LFW给出一对照片，查看测试中的系统两张照片是不是同一个人，系统给出“是”或“否”的答案。通过6000对人脸测试结果的系统答案与真实答案的比值可以得到人脸识别准确率。
ROC曲线是一个二分类问题，待识别的目标只有正类(positive)和负类(negative)，将正类的实例判定为正类即真正类(True positive)，如果负类的实例被判定为正类，则命为假正类(False positive)，将负类的实例判定为负例即真负类(Truenegative)，将正类的实例判定为负类即假负类(False positive)。其中(True positiverate)
Figure BDA0002415058050000081
即为判定为正类实例是正类的占所有真正正类的比例，(Falsepositive rate)
Figure BDA0002415058050000082
即预测为正类实际为负类占所有负类的比例，一个有价值的分类器，需要在TPR高的时候FPR依旧很小，体现在ROC曲线上，在取相同的FPR值的时候，TPR要越大的越好，在从阈值设置为0开始，每次的阈值提升0.01，以余弦距离作为阈值的衡量标准，画出如下的ROC 曲线图，参阅图10所示。
其中
Figure BDA0002415058050000091
代表着错判的比列，
Figure BDA0002415058050000092
表示正确接收的比例，下表为我们在设置在不同FAR值时，得出的在不同参数设置下，测试集上TAR的准确率，结果测试准确度如下表所示：
表2测试集评测数据
Figure BDA0002415058050000093
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于余弦损失非约束条件人脸识别方法，其特征在于：它包括以下步骤，
S1、获取待识别图像，对待识别图像进行多尺度变换，得到图像金字塔；
S2、将步骤S1得到的图像金字塔输入到MTCNN网络，MTCNN网络对图像进行处理后，得到面部特征点；
S3、根据步骤S2的面部特征点，进行人脸校正；
S4、利用步骤S3处理后的数据训练Inception-ResnetV1卷积神经网络，采用余弦损失函数作为监督信号，进行分类器模型的训练，得到特征提取模型，利用该特征提取模型进行人脸数据的验证与识别。
2.如权利要求1所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述步骤S3中人脸校正如下，根据面部特征点，进行人脸倾斜的仿射变换，将人脸进行向右倾斜的公式如下：
Figure FDA0002415058040000011
面部图像向左边倾斜公式如下：
Figure FDA0002415058040000012
式中的x,y表示像素点的原先坐标位置，x′,y′代表是矫正变换后的像素位置，θ1为实际关键点与中心点的旋转角。
3.如权利要求1所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述步骤S3根据人脸关键点进行人脸校正。
4.如权利要求1所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述步骤S4的损失函数为
Figure FDA0002415058040000013
其中t作为超前参数，基于t＞1的条件下，数值越大，训练也越困难，其中k参数用于是否对错误分类的样本进行训练:
Figure FDA0002415058040000014
5.如权利要求1所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述步骤S1中，对待识别图像采用OpenCV进行多尺度变换，得到图像金字塔。
6.如权利要求1所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述步骤S4利用训练好的特征提取模型对需要识别的目标进行特征提取，再与数据库里的特征进行欧式距离的计算，根据阈值判断人脸目标的身份。
7.如权利要求1所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述MTCNN网络包括P-Net，R-Net以及O-Net三个级联网络。
8.如权利要求7所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述P-Net网络对图像处理，获得脸部区域的窗口与边界Generate Bounding Box回归，对获得脸部区域窗口，经过框回归结果进行矫正，再利用非最大值抑制算法对重叠的窗口进行合并，P-Net网络用于检测候选回归框。
9.如权利要求8所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述P-Net网络的输出作为R-Net网络的输入，该网络会对框回归进行再次计算，去除掉非面部的框回归，再通过边框回归变量对结果进行检测，之后采用非最大值抑制进行框合并。
10.如权利要求9所述的基于余弦损失非约束条件人脸识别方法，其特征在于：所述R-Net网络的输出作为O-Net网络的输入，损失监督来进行检测，得到最终的人脸概率、中心点坐标及宽高和人脸关键点的定位。
CN202010188585.XA 2020-03-17 2020-03-17 一种基于余弦损失在非约束条件下的人脸识别方法 Expired - Fee Related CN111401257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010188585.XA CN111401257B (zh) 2020-03-17 2020-03-17 一种基于余弦损失在非约束条件下的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010188585.XA CN111401257B (zh) 2020-03-17 2020-03-17 一种基于余弦损失在非约束条件下的人脸识别方法

Publications (2)

Publication Number Publication Date
CN111401257A true CN111401257A (zh) 2020-07-10
CN111401257B CN111401257B (zh) 2022-10-04

Family

ID=71428873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010188585.XA Expired - Fee Related CN111401257B (zh) 2020-03-17 2020-03-17 一种基于余弦损失在非约束条件下的人脸识别方法

Country Status (1)

Country Link
CN (1) CN111401257B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783725A (zh) * 2020-07-14 2020-10-16 珠海市卓轩科技有限公司 人脸识别方法、装置及存储介质
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN112073684A (zh) * 2020-08-20 2020-12-11 浪潮软件科技有限公司 一种通用图像视频资源采集的方法
CN112132839A (zh) * 2020-08-27 2020-12-25 杭州英歌智达科技有限公司 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN112270221A (zh) * 2020-10-14 2021-01-26 西安工程大学 一种融合四季色彩理论的服装个性化推荐方法
CN112329878A (zh) * 2020-11-16 2021-02-05 山西三友和智慧信息技术股份有限公司 一种基于卷积神经网络的卫星图像移动物体滑窗检测方法
CN112949618A (zh) * 2021-05-17 2021-06-11 成都市威虎科技有限公司 一种人脸特征码转换方法及装置和电子设备
CN112949499A (zh) * 2021-03-04 2021-06-11 北京联合大学 一种基于ShuffleNet改进的MTCNN人脸检测方法
CN113011370A (zh) * 2021-03-31 2021-06-22 重庆理工大学 一种基于深度学习的多状态人脸识别方法
CN113011556A (zh) * 2021-02-20 2021-06-22 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN113076929A (zh) * 2021-04-27 2021-07-06 东南大学 一种角度余量自适应的人脸识别模型训练方法
CN113111698A (zh) * 2020-12-30 2021-07-13 无锡乐骐科技有限公司 一种基于语义感知损失的人脸标志点检测方法
CN113191201A (zh) * 2021-04-06 2021-07-30 上海夏数网络科技有限公司 基于视觉的鸡雏公母智能鉴别方法及系统
CN113255544A (zh) * 2021-06-02 2021-08-13 通号智慧城市研究设计院有限公司 一种基于深度学习模型的人脸识别方法和系统
CN113313010A (zh) * 2021-05-26 2021-08-27 广州织点智能科技有限公司 一种人脸关键点检测模型训练方法、装置和设备
CN113989519A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 一种长尾目标检测方法及系统
CN114049250A (zh) * 2022-01-13 2022-02-15 广州卓腾科技有限公司 一种证件照人脸姿态矫正方法、装置及介质
CN114549402A (zh) * 2022-01-05 2022-05-27 江苏海洋大学 一种不需要参考图像的水下图像质量比较方法
CN115223278A (zh) * 2022-07-15 2022-10-21 深圳牛智技术科技有限公司 一种基于人脸识别的智能门锁及开锁方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109784219A (zh) * 2018-12-28 2019-05-21 广州海昇计算机科技有限公司 一种基于集中协调学习的人脸识别方法、系统及装置
CN109902553A (zh) * 2019-01-03 2019-06-18 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109784219A (zh) * 2018-12-28 2019-05-21 广州海昇计算机科技有限公司 一种基于集中协调学习的人脸识别方法、系统及装置
CN109902553A (zh) * 2019-01-03 2019-06-18 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783725A (zh) * 2020-07-14 2020-10-16 珠海市卓轩科技有限公司 人脸识别方法、装置及存储介质
CN111931598B (zh) * 2020-07-20 2024-05-17 武汉美和易思数字科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN112073684A (zh) * 2020-08-20 2020-12-11 浪潮软件科技有限公司 一种通用图像视频资源采集的方法
CN112132839A (zh) * 2020-08-27 2020-12-25 杭州英歌智达科技有限公司 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN112132839B (zh) * 2020-08-27 2024-04-30 杭州英歌智达科技有限公司 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN112270221A (zh) * 2020-10-14 2021-01-26 西安工程大学 一种融合四季色彩理论的服装个性化推荐方法
CN112329878A (zh) * 2020-11-16 2021-02-05 山西三友和智慧信息技术股份有限公司 一种基于卷积神经网络的卫星图像移动物体滑窗检测方法
CN113111698B (zh) * 2020-12-30 2022-04-01 无锡乐骐科技股份有限公司 一种基于语义感知损失的人脸标志点检测方法
CN113111698A (zh) * 2020-12-30 2021-07-13 无锡乐骐科技有限公司 一种基于语义感知损失的人脸标志点检测方法
CN113011556A (zh) * 2021-02-20 2021-06-22 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN113011556B (zh) * 2021-02-20 2022-10-11 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN112949499A (zh) * 2021-03-04 2021-06-11 北京联合大学 一种基于ShuffleNet改进的MTCNN人脸检测方法
CN113011370A (zh) * 2021-03-31 2021-06-22 重庆理工大学 一种基于深度学习的多状态人脸识别方法
CN113191201A (zh) * 2021-04-06 2021-07-30 上海夏数网络科技有限公司 基于视觉的鸡雏公母智能鉴别方法及系统
CN113076929A (zh) * 2021-04-27 2021-07-06 东南大学 一种角度余量自适应的人脸识别模型训练方法
CN112949618A (zh) * 2021-05-17 2021-06-11 成都市威虎科技有限公司 一种人脸特征码转换方法及装置和电子设备
CN113313010A (zh) * 2021-05-26 2021-08-27 广州织点智能科技有限公司 一种人脸关键点检测模型训练方法、装置和设备
CN113255544A (zh) * 2021-06-02 2021-08-13 通号智慧城市研究设计院有限公司 一种基于深度学习模型的人脸识别方法和系统
CN113989519A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 一种长尾目标检测方法及系统
CN114549402A (zh) * 2022-01-05 2022-05-27 江苏海洋大学 一种不需要参考图像的水下图像质量比较方法
CN114049250A (zh) * 2022-01-13 2022-02-15 广州卓腾科技有限公司 一种证件照人脸姿态矫正方法、装置及介质
CN115223278A (zh) * 2022-07-15 2022-10-21 深圳牛智技术科技有限公司 一种基于人脸识别的智能门锁及开锁方法

Also Published As

Publication number Publication date
CN111401257B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN111401257B (zh) 一种基于余弦损失在非约束条件下的人脸识别方法
US11657525B2 (en) Extracting information from images
WO2016149944A1 (zh) 用于识别人脸的方法、系统和计算机程序产品
US11941918B2 (en) Extracting information from images
US7929771B2 (en) Apparatus and method for detecting a face
US7912253B2 (en) Object recognition method and apparatus therefor
CN105550657B (zh) 基于关键点的改进sift人脸特征提取方法
KR20230107415A (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을실행하기 위한 모바일 디바이스
CN108416291B (zh) 人脸检测识别方法、装置和系统
WO2008072622A1 (ja) 顔認証装置
Jun et al. Robust real-time face detection using face certainty map
Kim et al. A new biased discriminant analysis using composite vectors for eye detection
Rai et al. An illumination, expression, and noise invariant gender classifier using two-directional 2DPCA on real Gabor space
TW201635197A (zh) 人臉辨識方法及系統
Ananthakumar Efficient face and gesture recognition for time sensitive application
Mccullagh Face detection by using haar cascade classifier
Bhanushree et al. Feature Based Face Recognition using Machine Learning Technniques
Yoon et al. Frontal face classifier using AdaBoost with MCT features
Bindu et al. Kernel-based scale-invariant feature transform and spherical SVM classifier for face recognition
Xu et al. A novel multi-view face detection method based on improved real adaboost algorithm
Talele et al. Face detection and geometric face normalization
Kwon Face recognition using depth and infrared pictures
Vivekanandam et al. Face recognition from video frames using hidden markov model classification model based on modified random feature extraction
Paliy et al. Fast and robust face detection and tracking framework
Nikisins et al. Reduced complexity automatic face recognition algorithm based on local binary patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221004