CN110263603A - 基于中心损失和残差视觉仿真网络的人脸识别方法及装置 - Google Patents

基于中心损失和残差视觉仿真网络的人脸识别方法及装置 Download PDF

Info

Publication number
CN110263603A
CN110263603A CN201810455983.6A CN201810455983A CN110263603A CN 110263603 A CN110263603 A CN 110263603A CN 201810455983 A CN201810455983 A CN 201810455983A CN 110263603 A CN110263603 A CN 110263603A
Authority
CN
China
Prior art keywords
residual error
face
facial image
visual simulation
simulation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810455983.6A
Other languages
English (en)
Other versions
CN110263603B (zh
Inventor
蔡晓东
梁晓曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Original Assignee
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd filed Critical GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority to CN201810455983.6A priority Critical patent/CN110263603B/zh
Publication of CN110263603A publication Critical patent/CN110263603A/zh
Application granted granted Critical
Publication of CN110263603B publication Critical patent/CN110263603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于中心损失和残差视觉仿真网络的人脸识别方法及装置，该方法包括：构建基于中心损失函数的残差视觉仿真网络框架；将训练库人脸图像进行人脸检测和对齐预处理；通过预处理后的所述训练库人脸图像对所述残差视觉仿真网络进行训练，生成残差视觉仿真网络模型；通过所述残差视觉仿真网络模型，进行人脸识别。本发明在对待识别人脸图像进行识别时，可以不受外界环境条件变化的影响，对待识别人脸图像进行人脸检测和对齐预处理，能够通过残差连接的方式加速训练，提升性能；而中心损失在增加特征类间距离的同时，有效地减小类内距离；可以提取更加有区分力的特征用于人脸识别，提高了人脸识别的准确性。

Description

基于中心损失和残差视觉仿真网络的人脸识别方法及装置
技术领域
本发明涉及图像处理领域，特别涉及一种基于中心损失和残差视觉仿真网络的人脸识别方法及装置。
背景技术
随着社会的不断进步及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。当前的生物特征识别技术主要包括有：指纹识别，虹膜识别，步态识别，人脸识别等。人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。而人脸识别与其他识别方法相比，由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。随着机器学习和计算机硬件的快速发展，深度学习方法快速兴起，它是一种特征学习方法，通过构建包含多个隐藏层的神经网络模型，使用大规模的样本数据训练来获取表征能力强大的深度特征。卷积神经网络是深度学习方法中使用最为广泛的模型之一，它是受到生物自然视觉认知机制而产生的。
由于卷积神经网络对图像具有高度的位移不变性、缩放不变性、形变不变性等特点，其主要用于二维图像的分类以及识别任务。人脸图像由于经常受到外界环境条件变化的影响，所以其特征往往是高度非线性的，而传统算法因其人工设计特征提取器的局限性，无法提取到这些高度非线性的特征。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于中心损失和残差视觉仿真网络的人脸识别方法及装置。
第一方面，本发明实施例提供一种基于中心损失和残差视觉仿真网络的人脸识别方法，包括：构建基于中心损失函数的残差视觉仿真网络框架；
将训练库人脸图像进行人脸检测和对齐预处理；
通过预处理后的所述训练库人脸图像对所述残差视觉仿真网络进行训练，生成残差视觉仿真网络模型；
通过所述残差视觉仿真网络模型，进行人脸识别。
在一个实施例中，在通过所述残差视觉仿真网络模型，进行人脸识别步骤之前，所述方法还包括：
将测试库人脸图像和待识别的人脸图像，进行人脸检测和对齐预处理；
通过所述残差视觉仿真网络模型，进行人脸识别，包括：
将所述预处理后的测试库人脸图像和待识别的人脸图像，输入所述残差视觉仿真网络模型中，分别提取特征；
根据所述提取特征的余弦相似度，确定所述待识别的人脸图像是否与所述测试库中的人脸图像匹配。
在一个实施例中，所述进行人脸检测和对齐预处理，为基于多任务卷积神经网络进行人脸检测和对齐预处理；所述多任务卷积神经网络由P-Net、R-Net和O-Net，3个网络结构组成；
所述进行人脸检测和对齐预处理，包括：
通过P-Net，获得人脸区域的候选窗口和边界框的回归向量；
R-Net通过边界框回归和NMS去除误检区域；
O-Net输出5个关键点；所述5个关键点包含两只眼睛、鼻尖和两个嘴角；
根据所述两只眼睛的关键点进行图像旋转校正，使两个关键点之间连线水平，完成人脸对齐。
在一个实施例中，所述基于中心损失函数的残差视觉仿真网络框架为：
从输入图像开始依次经过卷积层Conv1，最大池化层Pool1，8个级联残差模块，最大池化层Pool2，8个级联残差模块，最大池化层Pool3，8个级联残差模块，最大池化层Pool4，全连接层Fc1，全连接层Fc2，最后连接Softmax Loss层；
所述网络框架中加入中心损失Center Loss层，连接于全连接层Fc1。
在一个实施例中，所述残差模块由1*1卷积层，1*3卷积层，3*1卷积层构建而成，通过Eltwise层进行残差连接。
在一个实施例中，所述Center Loss层的具体公式为：
其中，m为训练批次的大小；xi是此批次中第k类的第i个样本的特征向量；ck为第k类的中心特征向量。
在一个实施例中，所述Softmax Loss和Center Loss的加权作为最终损失函数进行后续的训练优化，计算公式为：
其中，公式的前半部分为Softmax Loss函数，后半部分为Center Loss函数；N为训练数据类别总数；w为最后一个全连接层的权重集合；b为对应的偏置值；λ为Center Loss的权重值。
在一个实施例中，所述余弦相似度的计算公式为：
其中A、B是待识别图像和测试库里某一张图像的特征向量，||A||、||B||是特征向量A和B的二范数，cosine的取值范围为[-1,1]。
在一个实施例中，根据所述提取特征的余弦相似度，确定所述待识别的人脸图像是否与所述测试库中的人脸图像匹配，包括：
通过公式:
sim＝0.5+0.5×cosine (4)
将相似度范围缩小到[0,1]；其中，sim为待识别人脸图像与测试库中某一张人脸图像的最终相似度值；
计算待识别人脸图像和测试库中每一张图像的相似度，当所述相似度超过预设阈值时，则将匹配测试库中得到的图像结果输出。
第二方面，本发明实施例提供一种基于中心损失和残差视觉仿真网络的人脸识别装置，包括：构建模块，用于构建基于中心损失函数的残差视觉仿真网络框架；
检测处理模块，用于将训练库人脸图像进行人脸检测和对齐预处理；
生成模块，用于将所述检测处理模块预处理后的所述训练库人脸图像对所述残差视觉仿真网络进行训练，生成残差视觉仿真网络模型；
识别模块，用于通过所述生成模块生成的残差视觉仿真网络模型，进行人脸识别。
在一个实施例中，所述识别模块，包括：
提取子模块，用于将所述预处理后的测试库人脸图像和待识别的人脸图像，输入所述残差视觉仿真网络模型中，分别提取特征；
确定子模块，用于根据所述提取特征的余弦相似度，确定所述待识别的人脸图像是否与所述测试库中的人脸图像匹配。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明实施例提供的基于中心损失和残差视觉仿真网络的人脸识别方法及装置，该方法在对待识别人脸图像进行识别时，不受外界环境条件变化的影响，对待识别人脸图像进行人脸检测和对齐预处理，能够通过残差连接的方式加速训练，提升性能；而中心损失在增加特征类间距离的同时，有效地减小类内距离；可以提取更加有区分力的特征用于人脸识别，提高了人脸识别的准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的基于中心损失和残差视觉仿真网络的人脸识别方法的流程图；
图2为本发明实施例提供的步骤S104的流程图；
图3为本发明实施例提供的进行人脸检测和对齐预处理的流程图；
图4为本发明实施例提供的基于中心损失和残差视觉仿真网络的人脸识别的实现逻辑示意图；
图5为本发明实施例提供的残差视觉仿真网络的结构图；
图6为本发明实施例提供的视觉仿真网络中残差模块的结构图；
图7为本发明实施例提供的基于中心损失和残差视觉仿真网络的人脸识别装置的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1所示，本发明实施例提供的基于中心损失和残差视觉仿真网络的人脸识别方法，包括以下步骤：
S101、构建基于中心损失函数的残差视觉仿真网络框架；
S102、将训练库人脸图像进行人脸检测和对齐预处理；
S103、通过预处理后的所述训练库人脸图像对所述残差视觉仿真网络进行训练，生成残差视觉仿真网络模型；
S104、通过所述残差视觉仿真网络模型，进行人脸识别。
本发明中所称的图像则是指由输入设备捕捉的实际场景画面或以数字化形式存储的任意画面，也包括静态的图片。训练库人脸图像，是指该方法学习过程中所用到的训练数据库，存储大量人脸图像。测试库，是指待查找的数据库，存储大量人脸图像，通过本方法去判断待识别人脸图像，是否存在上述测试数据中。上述人脸识别是指：将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。其中，本发明所涉及到的中心损失，是一种可以在网络的训练过程中减小类内距离的度量学习方法。
本实施例中，通过已经预处理的训练库人脸样本图像对残差视觉仿真网络进行训练，得到训练好的残差视觉仿真网络模型；并通过训练好的残差视觉仿真网络模型，对待识别图像提取特征，进行识别人脸，比如通过比对特征的似度来判断待识别图像属于测试库中的哪一个人。该方法在对待识别人脸图像进行识别时，不受外界环境条件变化的影响，对待识别人脸图像进行人脸检测和对齐预处理，本发明能够通过残差连接的方式加速训练，提升性能；而中心损失在增加特征类间距离的同时，有效地减小类内距离；可以提取更加有区分力的特征用于人脸识别，提高了人脸识别的准确性。
在一个实施例中，上述识别方法，在执行步骤S104之前，还包括：
将测试库人脸图像和待识别的人脸图像，进行人脸检测和对齐预处理；即对待查找的测试数据库和待识别的人脸图像(可以是多张)中分别进行人脸检测和对齐预处理。
进一步地，上述步骤S104，参照图2，具体包括：
S1041、将所述预处理后的测试库人脸图像和待识别的人脸图像，输入所述残差视觉仿真网络模型中，分别提取特征；
S1042、根据所述提取特征的余弦相似度，确定所述待识别的人脸图像是否与所述测试库中的人脸图像匹配。
本实施例中，识别的过程如下，将预处理好的测试库人脸图像和待识别的人脸图像输入训练好的上述残差视觉仿真网络模型中提取特征，可以根据特征的余弦相似度来判断待识别图像属于测试库中的哪一个人。
在一个实施例中，利用基于多任务卷积神经网络的方法对训练库人脸图像，测试库人脸图像和一张待识别的人脸图像进行人脸检测和对齐预处理。多任务卷积神经网络由3个网络结构组成(P-Net，R-Net，O-Net)。进行人脸检测和对齐预处理，参照图3所示，具体过程为：
S301、通过P-Net，获得人脸区域的候选窗口和边界框的回归向量。通过建议网络Proposal Network(P-Net)获得了人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(NMS)来合并高度重叠的候选框；
S302、R-Net通过边界框回归和NMS去除误检区域。精炼网络Refine Network(R-Net)通过边界框回归和NMS来去掉那些误检(false-positive)区域。只是由于该网络结构和P-Net网络结构有差异，多了一个全连接层，所以会取得更好的抑制false-positive的作用；
S303、O-Net输出5个关键点；上述5个关键点包含两只眼睛、鼻尖和两个嘴角。输出网络Output Network(O-Net)比R-Net层又多了一层卷积层，所以处理的结果会更加精细；其作用和R-Net层作用一样。但是该层对人脸区域进行了更多的监督，同时还会输出5个地标(landmark)，分别为两只眼睛、鼻尖和两个嘴角。
S304、根据所述两只眼睛的关键点进行图像旋转校正，使两个关键点之间连线水平，完成人脸对齐。根据两个眼睛的地标进行图像旋转校正，使两点连线水平，即完成人脸对齐过程。
参照图4所示，为本发明实施例提供的基于中心损失和残差视觉仿真网络的人脸识别的实现逻辑示意图。
在一个实施例中，构建基于中心损失函数的残差视觉仿真网络框架，如图5所示，其具体结构为：
从输入图像开始依次经过卷积层Conv1，最大池化层Pool1，8个级联残差模块，最大池化层Pool2，8个级联残差模块，最大池化层Pool3，8个级联残差模块，最大池化层Pool4，全连接层Fc1，全连接层Fc2，最后连接Softmax Loss层。
其中，如图6所示，残差模块由1*1卷积层，1*3卷积层，3*1卷积层构建而成，并且通过Eltwise层进行残差连接。所设计的残差视觉仿真网络中的残差模块具有少量参数，并且残差连接方式，可以极大地加速训练，同时性能也有提升。
上述基于中心损失的残差视觉仿真网络中加入了中心损失Center Loss层，连接于全连接层Fc1。Center loss的具体公式如(1)所示：
其中，m为训练批次的大小；xi是此批次中第k类的第i个样本的特征向量；ck为第k类的中心特征向量。
把分类损失和中心损失以一定权重比例组合起来，使用Softmax Loss和CenterLoss的加权作为最终损失函数进行后续的训练优化，具体计算如公式(2)所示：
其中，公式的前半部分为Softmax Loss函数，后半部分为Center Loss函数；N为训练数据类别总数；w为最后一个全连接层的权重集合；b为对应的偏置值；λ为Center Loss的权重值。
损失函数使用了Softmax Loss+Center Loss的方法，可以在增加特征类间距离的同时，有效地减小类内距离。Center Loss通过减小同一类特征的方差，聚合了同类特征，该方法可以提取更加有区分力的特征用于人脸识别。
在一个实施例中，上述步骤S1042中余弦相似度的计算公式如(3)所示：
其中A、B是待识别图像和测试库里某一张图像的特征向量，||A||、||B||是特征向量A和B的二范数，cosine的取值范围为[-1,1]。
通过下面公式(4)将相似度范围缩小到[0,1]，
sim＝0.5+0.5×cosine (4)
其中，sim为待识别人脸图像与测试库中某一张人脸图像的最终相似度值。计算待识别图像和测试库每一张图像的相似度，并从高到低排序，比如，当上述相似度超过预设阈值(比如0.9)时，将匹配测试库中得到的图像结果输出，即完成人脸识别。还比如匹配结果是，可以确定与待识别图像相似度最高的测试库图像所在的类即为待识别图像的类。
基于同一发明构思，本发明实施例还提供了基于中心损失和残差视觉仿真网络的人脸识别装置，由于该装置所解决问题的原理与前述基于中心损失和残差视觉仿真网络的人脸识别方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。
本发明实施例还提供了一种基于中心损失和残差视觉仿真网络的人脸识别装置，参照图7所示，包括：
构建模块71，用于构建基于中心损失函数的残差视觉仿真网络框架；
检测处理模块72，用于将训练库人脸图像进行人脸检测和对齐预处理；
生成模块73，用于将所述检测处理模块预处理后的所述训练库人脸图像对所述残差视觉仿真网络进行训练，生成残差视觉仿真网络模型；
识别模块74，用于通过所述生成模块生成的残差视觉仿真网络模型，进行人脸识别。
在一个实施例中，将测试库人脸图像和待识别的人脸图像，通过检测处理模块72进行人脸检测和对齐预处理；
所述识别模块74，包括：
提取子模块741，用于将所述预处理后的测试库人脸图像和待识别的人脸图像，输入所述残差视觉仿真网络模型中，分别提取特征；
确定子模块742，用于根据所述提取特征的余弦相似度，确定所述待识别的人脸图像是否与所述测试库中的人脸图像匹配。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于中心损失和残差视觉仿真网络的人脸识别方法，其特征在于，包括：
构建基于中心损失函数的残差视觉仿真网络框架；
将训练库人脸图像进行人脸检测和对齐预处理；
通过预处理后的所述训练库人脸图像对所述残差视觉仿真网络进行训练，生成残差视觉仿真网络模型；
通过所述残差视觉仿真网络模型，进行人脸识别。
2.如权利要求1所述的人脸识别方法，其特征在于，在通过所述残差视觉仿真网络模型，进行人脸识别步骤之前，所述方法还包括：
将测试库人脸图像和待识别的人脸图像，进行人脸检测和对齐预处理；
通过所述残差视觉仿真网络模型，进行人脸识别，包括：
将所述预处理后的测试库人脸图像和待识别的人脸图像，输入所述残差视觉仿真网络模型中，分别提取特征；
根据所述提取特征的余弦相似度，确定所述待识别的人脸图像是否与所述测试库中的人脸图像匹配。
3.如权利要求2所述的人脸识别方法，其特征在于，所述进行人脸检测和对齐预处理，为基于多任务卷积神经网络进行人脸检测和对齐预处理；
所述多任务卷积神经网络由P-Net、R-Net和O-Net，3个网络结构组成；
所述进行人脸检测和对齐预处理，包括：
通过P-Net，获得人脸区域的候选窗口和边界框的回归向量；
R-Net通过边界框回归和NMS去除误检区域；
O-Net输出5个关键点；所述5个关键点包含两只眼睛、鼻尖和两个嘴角；
根据所述两只眼睛的关键点进行图像旋转校正，使两个关键点之间连线水平，完成人脸对齐。
4.如权利要求1所述的人脸识别方法，其特征在于，所述基于中心损失函数的残差视觉仿真网络框架为：
从输入图像开始依次经过卷积层Conv1，最大池化层Pool1，8个级联残差模块，最大池化层Pool2，8个级联残差模块，最大池化层Pool3，8个级联残差模块，最大池化层Pool4，全连接层Fc1，全连接层Fc2，最后连接Softmax Loss层；
所述网络框架中加入中心损失Center Loss层，连接于全连接层Fc1。
5.如权利要求4所述的人脸识别方法，其特征在于，所述残差模块由1*1卷积层，1*3卷积层，3*1卷积层构建而成，通过Eltwise层进行残差连接。
6.如权利要求4所述的人脸识别方法，其特征在于，所述Center Loss层的具体公式为：
其中，m为训练批次的大小；xi是此批次中第k类的第i个样本的特征向量；ck为第k类的中心特征向量。
7.如权利要求6所述的人脸识别方法，其特征在于，所述Softmax Loss和Center Loss的加权作为最终损失函数进行后续的训练优化，计算公式为：
其中，公式的前半部分为Softmax Loss函数，后半部分为Center Loss函数；N为训练数据类别总数；w为最后一个全连接层的权重集合；b为对应的偏置值；λ为Center Loss的权重值。
8.如权利要求2所述的人脸识别方法，其特征在于，所述余弦相似度的计算公式为：
其中A、B是待识别图像和测试库里某一张图像的特征向量，||A||、||B||是特征向量A和B的二范数，cosine的取值范围为[-1,1]。
9.如权利要求7所述的人脸识别方法，其特征在于，根据所述提取特征的余弦相似度，确定所述待识别的人脸图像是否与所述测试库中的人脸图像匹配，包括：
通过公式:
sim＝0.5+0.5×cosine (4)
将相似度范围缩小到[0,1]；其中，sim为待识别人脸图像与测试库中某一张人脸图像的最终相似度值；
计算待识别人脸图像和测试库中每一张图像的相似度，当所述相似度超过预设阈值时，则将匹配测试库中得到的图像结果输出。
10.一种基于中心损失和残差视觉仿真网络的人脸识别装置，其特征在于，包括：
构建模块，用于构建基于中心损失函数的残差视觉仿真网络框架；
检测处理模块，用于将训练库人脸图像进行人脸检测和对齐预处理；
生成模块，用于将所述检测处理模块预处理后的所述训练库人脸图像对所述残差视觉仿真网络进行训练，生成残差视觉仿真网络模型；
识别模块，用于通过所述生成模块生成的残差视觉仿真网络模型，进行人脸识别。
CN201810455983.6A 2018-05-14 2018-05-14 基于中心损失和残差视觉仿真网络的人脸识别方法及装置 Active CN110263603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810455983.6A CN110263603B (zh) 2018-05-14 2018-05-14 基于中心损失和残差视觉仿真网络的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810455983.6A CN110263603B (zh) 2018-05-14 2018-05-14 基于中心损失和残差视觉仿真网络的人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN110263603A true CN110263603A (zh) 2019-09-20
CN110263603B CN110263603B (zh) 2021-08-06

Family

ID=67911630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810455983.6A Active CN110263603B (zh) 2018-05-14 2018-05-14 基于中心损失和残差视觉仿真网络的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN110263603B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
CN110837781A (zh) * 2019-10-16 2020-02-25 平安科技（深圳）有限公司 一种人脸识别方法、人脸识别装置及电子设备
CN111079638A (zh) * 2019-12-13 2020-04-28 河北爱尔工业互联网科技有限公司 基于卷积神经网络的目标检测模型训练方法、设备和介质
CN111144338A (zh) * 2019-12-30 2020-05-12 深圳纹通科技有限公司 一种基于特征点拓扑结构的特征匹配算法
CN111325094A (zh) * 2020-01-16 2020-06-23 中国人民解放军海军航空大学 一种基于高分辨距离像的舰船类型的识别方法及系统
CN111325239A (zh) * 2020-01-21 2020-06-23 上海眼控科技股份有限公司 一种基于图像的天气识别的方法及设备
CN112001268A (zh) * 2020-07-31 2020-11-27 中科智云科技有限公司 人脸校准方法及设备
CN113177808A (zh) * 2021-05-21 2021-07-27 贵州车秘科技有限公司 一种基于视觉算法的广告推荐系统及方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1510973A2 (en) * 2003-08-29 2005-03-02 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
US20140063236A1 (en) * 2012-08-29 2014-03-06 Xerox Corporation Method and system for automatically recognizing facial expressions via algorithmic periocular localization
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107358223A (zh) * 2017-08-16 2017-11-17 上海荷福人工智能科技（集团）有限公司 一种基于yolo的人脸检测与人脸对齐方法
CN107403173A (zh) * 2017-08-21 2017-11-28 合肥麟图信息科技有限公司 一种人脸识别系统及方法
CN107423700A (zh) * 2017-07-17 2017-12-01 广州广电卓识智能科技有限公司 人证核实的方法及装置
CN107506717A (zh) * 2017-08-17 2017-12-22 南京东方网信网络科技有限公司 无约束场景中基于深度变换学习的人脸识别方法
CN107563328A (zh) * 2017-09-01 2018-01-09 广州智慧城市发展研究院 一种基于复杂环境下的人脸识别方法及系统
CN107577990A (zh) * 2017-08-09 2018-01-12 武汉世纪金桥安全技术有限公司 一种基于gpu加速检索的大规模人脸识别方法
CN107609512A (zh) * 2017-09-12 2018-01-19 上海敏识网络科技有限公司 一种基于神经网络的视频人脸捕捉方法
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及系统
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN107784296A (zh) * 2017-11-21 2018-03-09 中山大学 一种低分辨率图像的人脸识别方法
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1510973A2 (en) * 2003-08-29 2005-03-02 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
US20140063236A1 (en) * 2012-08-29 2014-03-06 Xerox Corporation Method and system for automatically recognizing facial expressions via algorithmic periocular localization
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN107423700A (zh) * 2017-07-17 2017-12-01 广州广电卓识智能科技有限公司 人证核实的方法及装置
CN107577990A (zh) * 2017-08-09 2018-01-12 武汉世纪金桥安全技术有限公司 一种基于gpu加速检索的大规模人脸识别方法
CN107358223A (zh) * 2017-08-16 2017-11-17 上海荷福人工智能科技（集团）有限公司 一种基于yolo的人脸检测与人脸对齐方法
CN107506717A (zh) * 2017-08-17 2017-12-22 南京东方网信网络科技有限公司 无约束场景中基于深度变换学习的人脸识别方法
CN107403173A (zh) * 2017-08-21 2017-11-28 合肥麟图信息科技有限公司 一种人脸识别系统及方法
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及系统
CN107563328A (zh) * 2017-09-01 2018-01-09 广州智慧城市发展研究院 一种基于复杂环境下的人脸识别方法及系统
CN107609512A (zh) * 2017-09-12 2018-01-19 上海敏识网络科技有限公司 一种基于神经网络的视频人脸捕捉方法
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN107784296A (zh) * 2017-11-21 2018-03-09 中山大学 一种低分辨率图像的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HE K等: "Deep residual learning for image recognition", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
许超: "基于通道池化的深度人脸识别网络", 《科技视界》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837781A (zh) * 2019-10-16 2020-02-25 平安科技（深圳）有限公司 一种人脸识别方法、人脸识别装置及电子设备
CN110837781B (zh) * 2019-10-16 2024-03-15 平安科技（深圳）有限公司 一种人脸识别方法、人脸识别装置及电子设备
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
CN111079638A (zh) * 2019-12-13 2020-04-28 河北爱尔工业互联网科技有限公司 基于卷积神经网络的目标检测模型训练方法、设备和介质
CN111144338A (zh) * 2019-12-30 2020-05-12 深圳纹通科技有限公司 一种基于特征点拓扑结构的特征匹配算法
CN111144338B (zh) * 2019-12-30 2022-03-22 深圳纹通科技有限公司 一种基于特征点拓扑结构的特征匹配算法
CN111325094A (zh) * 2020-01-16 2020-06-23 中国人民解放军海军航空大学 一种基于高分辨距离像的舰船类型的识别方法及系统
CN111325239A (zh) * 2020-01-21 2020-06-23 上海眼控科技股份有限公司 一种基于图像的天气识别的方法及设备
CN112001268A (zh) * 2020-07-31 2020-11-27 中科智云科技有限公司 人脸校准方法及设备
CN112001268B (zh) * 2020-07-31 2024-01-12 中科智云科技有限公司 人脸校准方法及设备
CN113177808A (zh) * 2021-05-21 2021-07-27 贵州车秘科技有限公司 一种基于视觉算法的广告推荐系统及方法

Also Published As

Publication number Publication date
CN110263603B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110263603A (zh) 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
Wang et al. RGB-D salient object detection via minimum barrier distance transform and saliency fusion
Zhou et al. Salient object detection in stereoscopic 3D images using a deep convolutional residual autoencoder
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
Wang et al. Learning multi-granularity temporal characteristics for face anti-spoofing
CN108537136A (zh) 基于姿态归一化图像生成的行人重识别方法
CN108010045A (zh) 基于orb的视觉图像特征点误匹配提纯方法
CN111160264B (zh) 一种基于生成对抗网络的漫画人物身份识别方法
Zheng et al. Attention-based spatial-temporal multi-scale network for face anti-spoofing
Huang et al. Deepfinger: A cascade convolutional neuron network approach to finger key point detection in egocentric vision with mobile camera
Huang et al. RGB-D salient object detection by a CNN with multiple layers fusion
CN103279936A (zh) 基于画像的人脸伪照片自动合成及修正方法
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
Paul et al. Extraction of facial feature points using cumulative histogram
CN110688897A (zh) 一种基于联合判断与生成学习的行人重识别方法及装置
CN115205903B (zh) 一种基于身份迁移生成对抗网络的行人重识别方法
Wang et al. Occluded person re-identification via defending against attacks from obstacles
Xu et al. Visual-semantic transformer for face forgery detection
CN111428730A (zh) 弱监督细粒度物体分类方法
CN116994332A (zh) 基于轮廓图引导的跨模态行人重识别方法及系统
Wu et al. Temporal action detection based on action temporal semantic continuity
CN114519865A (zh) 一种融合集成注意力的2d人体姿态估计方法
CN114445649A (zh) 用多尺度超像素融合检测rgb-d单幅图像阴影的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant