CN109657595A - 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 - Google Patents

基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 Download PDF

Info

Publication number
CN109657595A
CN109657595A CN201811520482.8A CN201811520482A CN109657595A CN 109657595 A CN109657595 A CN 109657595A CN 201811520482 A CN201811520482 A CN 201811520482A CN 109657595 A CN109657595 A CN 109657595A
Authority
CN
China
Prior art keywords
picture
face
key
network
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811520482.8A
Other languages
English (en)
Other versions
CN109657595B (zh
Inventor
胡海峰
冯燊明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201811520482.8A priority Critical patent/CN109657595B/zh
Publication of CN109657595A publication Critical patent/CN109657595A/zh
Application granted granted Critical
Publication of CN109657595B publication Critical patent/CN109657595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉识别技术领域，提出一种基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，包括以下步骤：采集训练集，并进行预处理；对输入人脸图片进行预处理；将图片输入堆叠沙漏网络中进行特征提取，输出人脸关键点热图和关键点位置信息；对原图片进行关键区域裁剪，并从训练集中选取三元组；将关键区域进行特征提取，得到特征图F；将特征图F输入嵌入层中得到标签E；根据特征图的L2范数计算三元损失函数，重复上述步骤至三元损失函数收敛；将待识别的人脸图片输入完成训练的堆叠沙漏网络和人脸识别模块中，输出识别的标签E。本发明引入堆叠沙漏网络进行人脸识别，排除非关键区域的影响，有效提高人脸识别效果，具有较强的鲁棒性。

Description

基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
技术领域
本发明涉及计算机视觉识别技术领域，更具体地，涉及一种基于堆叠沙漏网络的关键特征区域匹配人脸识别方法。
背景技术
近年随着深度卷积神经网络的提出，人们将其运用到人脸识别任务上，并取得良好效果，这很大一部分归功于深度卷积神经网络能够提取到具有鲁棒性的特征。
在人脸关键点检测领域，有相关科研人员提出利用堆叠沙漏网络进行人脸关键点定位，该方法首先对输入的人脸图片进行校正，然后经过堆叠沙漏网络提取多尺度且具有辨别力的特征，最后对关键点进行回归定位。现有技术中，有大量算法都是基于上述堆叠沙漏网络进行改进，但目前仍存在的一个具有挑战性问题是对于不同光照、不同姿态、不同表情下，现有技术中已有的算法对人脸图片输入均不具有很强的鲁棒性。
发明内容
本发明为克服上述现有技术所述的对输入的人脸图片不具备很强鲁棒性等至少一种缺陷，提供一种基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，该方法对输入的人脸图片具有更强的鲁棒性，能更精确地提取人脸关键点信息。
为解决上述技术问题，本发明的技术方案如下：
S1：采集人脸图片作为训练集，并对训练集的图片进行预处理；
S2：将训练集的任意一张人脸图片输入堆叠沙漏网络中进行特征提取，输出人脸关键点热图和关键点位置信息；
S3：根据所述关键点位置信息对原输入人脸图片进行区域裁剪得到关键区域，并从训练集中随机选出一张图片作为A组，再分别随机选出与A组图片属同一标签的样本图片作为P组，与A组图片不同标签的样本图片作为N组，组成三元组；
S4：将关键区域和三元组输入人脸识别模块中的卷积神经网络进行特征提取，得到特征图F；
S5：对特征图F求取L2范数，然后通过人脸识别模块中的嵌入层，输出完成识别的人脸图片的标签E；
S6：根据L2范数计算三元损失函数，通过梯度下降法对三元损失函数进行优化；
S7：重复S2～S6至三元损失函数收敛，完成堆叠沙漏网络和人脸识别模块的训练；
S8：将待识别的人脸图片输入堆叠沙漏网络中进行特征提取，裁剪图片的关键区域，然后输入卷积神经网络中进行特征提取，最后通过嵌入层输出识别的人脸图片标签。
本技术方案中，采用堆叠沙漏网络输入人脸图片进行人脸关键点定位，精确地提取关键点信息，再输入人脸识别模块中生成更具身份信息的特征，从而进行人脸识别。使用堆叠沙漏网络与单独使用一个沙漏结构网络相比，堆叠沙漏网络能够复用脸部信息来提高各个关键点的精度，在人脸识别过程中，可根据关键点的位置预测其他关键点的位置。如确认了人脸图片中的人脸位置信息后，可预测鼻子等其他五官的位置，因此可通过堆叠沙漏网络利用关键点之间的相互关系，能够进一步提升人脸识别的精度。同时，在对关键区域的特征提取之前，对关键区域进行裁剪，能够进一步对关键区域进行限制，去除非关键区域的信息干扰，有效提高鲁棒性。
优选地，S1步骤中对训练集图片的预处理包括人脸检测、裁剪、人脸矫正以及人工标记，对图片进行预处理可以去除大部分的非关键区域的干扰因素，并把图片进行矫正，避免人脸图片的模糊或畸变影响后续的人脸识别，以及人工对训练集图片进行标记可以对后续识别结果进行验证对比，从而优化网络参数。
优选地，堆叠沙漏网络包括4个密集连接的沙漏结构网络。
优选地，S2步骤的具体步骤如下：
S2.1：将人脸图片输入第一个沙漏结构网络中进行四次下采样，保留每次下采样的图片，记为d1,d2,d3,d4；
S2.2：将d4输入到残差模块中，再进行四次上采样，同时每次上采样时和下采样对应尺寸的特征图进行连接，输出特征图y1，同时保留每次上采样的图片；
S2.3：将特征图y1输入第二个沙漏结构网络中进行四次下采样，每次下采样时和上一个沙漏结构网络上采样中对应尺寸的特征图进行连接，再输入残差模块中进行四次上采样，每次上采样时和该沙漏结构网络中下采样对应尺寸的特征图进行连接，输出特征图y2，保留每次采样时的图片；
S2.4：重复S2.3步骤，至输入第4个沙漏结构网络，输出带有关键点位置信息的特征图y4。
本技术方案中，对于同一个沙漏结构网络，每一次下采样所输出的特征图与上采样时对应尺寸大小的特征图进行连接，而在堆叠沙漏网络中，已通过的沙漏结构网络会传递其上采样和下采样的多个特征图到后方沙漏网络对应的位置进行特征图连接，有助于准确地得到人脸关键点位置信息。
优选地，S3步骤的具体步骤如下：
S3.1：根据关键点位置信息对原输入人脸图片进行关键区域裁剪，得到若干个关键区域；
S3.2：从训练集中随机选出一张图片作为A(Anchor)组，从与A(Anchor)组图片属于同一类的图片中随机选取一张图片作为P(Positive)组，从与A(Anchor)组图片不属于同一类的图片中随机选取一张图片作为N(Negative)组，组成三元组。
本技术方案中，由于非关键区域包含大量除身份信息以外的特征，如光照、姿态等，因此通过根据关键点位置信息对人脸图片进行关键区域裁剪，能够有效提高人脸识别的效果以及提高堆叠沙漏网络的鲁棒性。
优选地，关键区域裁剪的裁剪尺寸为p，其中p为人为设置的阈值。
优选地，S4步骤中的具体步骤如下：将裁剪得到的关键区域及三元组输入人脸识别模块中的卷积神经网络进行特征提取并进行串接，得到特征图F。
优选地，卷积神经网络包括Inception模块。
优选地，S5步骤的具体步骤如下：
S5.1：对特征图F求取L2范数，其计算公式如下：
其中，||x||2表示特征图F的L2范数，xi表示特征图F的权重值组成的向量中的第i个元素；
S5.2：将求取的L2范数输入到人脸识别模块的嵌入层中，使特征映射到超球面上，输出完成识别的人脸图片的标签E。本技术方案中通过对特征图F求取L2范数，可以有效防止模型过拟合。
优选地，S6步骤的三元损失函数的计算公式如下：
其中，表示A组图片，表示P组图片，表示N组图片，f(*)表示对应图片的特征图，α为A、P的类内距离与A、N的类间距离的间隔大小，+表示当括号内数值大于0时，取该值为损失，当括号内数值小于或等于0时，取0位损失。本技术方案通过三元损失函数对堆叠沙漏网络代替二元损失函数，如Softmax函数，能使A、P的类内距离尽可能小的同时，对A、N的类间距离进行约束，使A、N的类间距离尽可能拉大，并通过梯度下降法对损失函数不断进行优化，使人脸识别模块能更好地区分不同类别的人脸，提高识别能力。
与现有技术相比，本发明技术方案的有益效果是：通过堆叠沙漏网络对人脸图片获取关键点信息，使人脸关键点信息的提取更加精确，且能够有效提高人脸识别模型的识别能力及鲁棒性，能够更精确地对人脸图片进行识别。
附图说明
图1为本实施例的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法的流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示，为本实施例的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法的流程图。
本实施例的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法包括以下步骤：
步骤一：采集人脸图片作为训练集，并对训练集的图片进行预处理。
本步骤中，对训练集的图片进行预处理，主要是通过对输入的人脸图片进行人脸检测和裁剪，简单地去除非关键区域，减少干扰因素，然后对完成裁剪的人脸图片进行图片矫正，避免人脸图片的模糊或畸变影响后续的人脸识别，以及对训练集的图片进行人工标记，以便与识别结果进行对比验证。
步骤二：将训练集的任意一张人脸图片输入堆叠沙漏网络中进行特征提取，输出人脸关键点热图和关键点位置信息。
本步骤中的堆叠沙漏网络包括4个密集连接的沙漏结构网络，其具体步骤如下：
S2.1：将人脸图片输入第一个沙漏结构网络中进行四次下采样，保留每次下采样的图片，记为d1,d2,d3,d4；
S2.2：将d4输入到残差模块中，再进行四次上采样，同时每次上采样时和下采样对应尺寸的特征图进行连接，输出特征图y1，同时保留每次上采样的图片；
S2.3：将特征图y1输入第二个沙漏结构网络中进行四次下采样，每次下采样时和上一个沙漏结构网络上采样中对应尺寸的特征图进行连接，再输入残差模块中进行四次上采样，每次上采样时和该沙漏结构网络中下采样对应尺寸的特征图进行连接，输出特征图y2，保留每次采样时的图片；
S2.4：重复S2.3步骤，至输入第4个沙漏结构网络，输出带有关键点位置信息的特征图y4。
步骤三：根据所述关键点位置信息对原输入人脸图片进行区域裁剪得到关键区域，并从训练集中随机选出一张图片作为A组，再分别随机选出与A组图片属同一标签的样本图片作为P组，与A组图片不同标签的样本图片作为N组，组成三元组。
其具体步骤如下：
S3.1：根据关键点位置信息对原输入人脸图片进行关键区域裁剪，得到若干个关键区域，其中，对原输入人脸图片进行关键区域裁剪时，其裁剪尺寸为人为设置的阈值p；
S3.2：从训练集中随机选出一张图片作为A(Anchor)组，从与A(Anchor)组图片属于同一类的图片中随机选取一张图片作为P(Positive)组，从与A(Anchor)组图片不属于同一类的图片中随机选取一张图片作为N(Negative)组，组成三元组。
步骤四：将关键区域和三元组输入人脸识别模块中的卷积神经网络进行特征提取，得到特征图F。
本步骤中的人脸识别模块包括含Inception模块的卷积神经网络以及嵌入层，具体地，将裁剪得到的关键区域及三元组输入人脸识别模块中的卷积神经网络进行特征提取并进行串接，得到特征图F。
步骤五：对特征图F求取L2范数，然后通过人脸识别模块中的嵌入层，输出完成识别的人脸图片的标签E。
其具体步骤如下：
S5.1：对特征图F求取L2范数，其计算公式如下：
其中，||x||2表示特征图F的L2范数，xi表示特征图F的权重值组成的向量中的第i个元素；
S5.2：将求取的L2范数输入到人脸识别模块的嵌入层中，使特征映射到超球面上，输出完成识别的人脸图片的标签E。
步骤六：根据L2范数计算三元损失函数，通过梯度下降法对三元损失函数进行优化。
本步骤中的三元损失函数的计算公式如下：
其中，表示A组图片，表示P组图片，表示N组图片，f(*)表示对应图片的特征图，α为A、P的类内距离与A、N的类间距离的间隔大小，+表示当括号内数值大于0时，取该值为损失，当括号内数值小于或等于0时，取0位损失。本步骤主要通过优化三元损失函数，使使A、P的类内距离尽可能小的同时，对A、N的类间距离进行约束，使A、N的类间距离尽可能拉大。
步骤七：重复步骤二至六，直到三元损失函数收敛，即完成堆叠沙漏网络和人脸识别模块的训练。
步骤八：将待识别的人脸图片输入堆叠沙漏网络中进行特征提取，裁剪图片的关键区域，然后输入卷积神经网络中进行特征提取，最后通过嵌入层输出识别的人脸图片标签。
本实施例中，通过采用密集连接的堆叠沙漏网络对人脸图片的关键点进行定位，获取关键点的位置信息，然后通过人脸识别模块根据人脸图片的关键点位置信息进行识别分类。
在密集连接的堆叠沙漏网络中，对于同一个沙漏结构网络内，每一次进行上采样时的特征图会和相同尺寸的完成下采样输出的特征图进行连接，保留各层特征图的特征。而在堆叠的沙漏结构网络间，前方沙漏结构网络会传递其下采样和上采样的多个特征图到后方沙漏结构网络对应的位置进行特征图连接，通过复用脸部信息提高各个关键点的精度，有助于提高后续人脸识别的识别效果。
而在人脸识别模块中，首先需要对特征图进行关键区域裁剪。因为人脸的关键点主要位于眼睛、鼻子等器官以及人脸的轮廓上，这些特征通常区别性较大，即这些关键区域中包含了大量的身份信息，因此通过这些人脸的关键区域的关键点进行人脸识别能够有效提高人脸识别的效果。此外，由于特征图中仍包含其他除身份信息外的特征信息，如光照、姿态等，例如微笑和皱眉等两种表情变化，人脸的形变主要发生在非关键区域，因此忽略这些非关键区域能够在一定程度上提高人脸识别模块的鲁棒性。然后再将完成关键区域裁剪的图片输入人脸识别模块中，经过卷积神经网络提取特征后将多个关键区域的特征图进行串接，求取其L2范数，再经过嵌入层选取适当的三元组进行人脸识别。
本实施例的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，具有较强的鲁棒性，能够有效对人脸图片进行特征提取、获取关键点位置信息以及人脸识别。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于，包括以下步骤：
S1：采集人脸图片作为训练集，并对训练集的图片进行预处理；
S2：将训练集的任意一张人脸图片输入堆叠沙漏网络中进行特征提取，输出人脸关键点热图和关键点位置信息；
S3：根据所述关键点位置信息对原输入人脸图片进行区域裁剪得到关键区域，并从训练集中选取三元组；
S4：将关键区域输入人脸识别模块中的卷积神经网络进行特征提取，得到特征图F；
S5：对特征图F求取L2范数，然后通过人脸识别模块中的嵌入层，输出完成识别的人脸图片的标签E；
S6：根据L2范数计算三元损失函数，通过梯度下降法对三元损失函数进行优化；
S7：重复S2～S6至三元损失函数收敛，完成堆叠沙漏网络和人脸识别模块的训练；
S8：将待识别的人脸图片输入堆叠沙漏网络中进行特征提取，裁剪图片的关键区域，然后输入卷积神经网络中进行特征提取，最后通过嵌入层输出识别的人脸图片标签。
2.根据权利要求1所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述S1步骤中对训练集图片的预处理包括人脸检测、裁剪、人脸矫正以及人工标记。
3.根据权利要求2所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述堆叠沙漏网络包括4个密集连接的沙漏结构网络。
4.根据权利要求3所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述S2步骤的具体步骤如下：
S2.1：将人脸图片输入第一个沙漏结构网络中进行四次下采样，保留每次下采样的图片，记为d1,d2,d3,d4；
S2.2：将d4输入到残差模块中，再进行四次上采样，同时每次上采样时和下采样对应尺寸的特征图进行连接，输出特征图y1，同时保留每次上采样的图片；
S2.3：将特征图y1输入第二个沙漏结构网络中进行四次下采样，每次下采样时和上一个沙漏结构网络上采样中对应尺寸的特征图进行连接，再输入残差模块中进行四次上采样，每次上采样时和该沙漏结构网络中下采样对应尺寸的特征图进行连接，输出特征图y2，保留每次采样时的图片；
S2.4：重复S2.3步骤，至输入第4个沙漏结构网络，输出带有关键点位置信息的特征图y4。
5.根据权利要求4所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述S3步骤的具体步骤如下：
S3.1：根据关键点位置信息对原输入人脸图片进行关键区域裁剪，得到若干个关键区域；
S3.2：从训练集中随机选出一张图片作为A组，从与A组图片属于同一类的图片中随机选取一张图片作为P组，从与A组图片不属于同一类的图片中随机选取一张图片作为N组，组成三元组。
6.根据权利要求5所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述关键区域裁剪的裁剪尺寸为p，其中p为人为设置的阈值。
7.根据权利要求6所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述S4步骤中的具体步骤如下：将关键区域输入人脸识别模块中的卷积神经网络进行特征提取并进行串接，得到特征图F。
8.根据权利要求7所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述卷积神经网络包括Inception模块。
9.根据权利要求8所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述S5步骤的具体步骤如下：
S5.1：对特征图F求取L2范数，其计算公式如下：
其中，||x||2表示特征图F的L2范数，xi表示特征图F的权重值组成的向量中的第i个元素；
S5.2：将求取的L2范数输入到人脸识别模块的嵌入层中，使特征映射到超球面上，输出完成识别的人脸图片的标签E。
10.根据权利要求9所述的基于堆叠沙漏网络的关键特征区域匹配人脸识别方法，其特征在于：所述S6步骤的三元损失函数的计算公式如下：
其中，表示A组图片，表示P组图片，表示N组图片，f(*)表示对应图片的特征图，α为A、P类内的距离与A、N的类间距离的间隔大小，+表示当括号内数值大于0时，取该值为损失，当括号内数值小于或等于0时，取0位损失。
CN201811520482.8A 2018-12-12 2018-12-12 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 Active CN109657595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811520482.8A CN109657595B (zh) 2018-12-12 2018-12-12 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811520482.8A CN109657595B (zh) 2018-12-12 2018-12-12 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

Publications (2)

Publication Number Publication Date
CN109657595A true CN109657595A (zh) 2019-04-19
CN109657595B CN109657595B (zh) 2023-05-02

Family

ID=66114404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811520482.8A Active CN109657595B (zh) 2018-12-12 2018-12-12 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法

Country Status (1)

Country Link
CN (1) CN109657595B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN110188780A (zh) * 2019-06-03 2019-08-30 电子科技大学中山学院 用于定位多目标特征点的深度学习模型的构建方法及装置
CN110232436A (zh) * 2019-05-08 2019-09-13 华为技术有限公司 卷积神经网络的修剪方法、装置及存储介质
CN110459301A (zh) * 2019-07-29 2019-11-15 清华大学 基于热力图和面部关键点的脑部神经外科导航配准方法
CN110569724A (zh) * 2019-08-05 2019-12-13 湖北工业大学 一种基于残差沙漏网络的人脸对齐方法
CN110826403A (zh) * 2019-09-27 2020-02-21 深圳云天励飞技术有限公司 跟踪目标确定方法及相关设备
CN110889858A (zh) * 2019-12-03 2020-03-17 中国太平洋保险（集团）股份有限公司 一种基于点回归的汽车部件分割方法及装置
CN111126416A (zh) * 2019-12-12 2020-05-08 创新奇智(重庆)科技有限公司 基于关键点检测的发动机链轮识别系统及识别方法
CN111274977A (zh) * 2020-01-22 2020-06-12 中能国际建筑投资集团有限公司 多任务卷积神经网络模型及使用方法、装置和存储介质
CN111783725A (zh) * 2020-07-14 2020-10-16 珠海市卓轩科技有限公司 人脸识别方法、装置及存储介质
CN112417991A (zh) * 2020-11-02 2021-02-26 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法
CN112699847A (zh) * 2021-01-15 2021-04-23 苏州大学 基于深度学习的人脸特征点检测方法
CN113128277A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸关键点检测模型的生成方法及相关设备
CN113255497A (zh) * 2021-05-17 2021-08-13 南京甄视智能科技有限公司 基于数据合成的多场景活体检测方法、系统、服务器与可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
CN108932693A (zh) * 2018-06-15 2018-12-04 中国科学院自动化研究所 基于人脸几何信息的人脸编辑补全方法及装置
CN108960212A (zh) * 2018-08-13 2018-12-07 电子科技大学 基于端到端的人体关节点检测与分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN108932693A (zh) * 2018-06-15 2018-12-04 中国科学院自动化研究所 基于人脸几何信息的人脸编辑补全方法及装置
CN108960212A (zh) * 2018-08-13 2018-12-07 电子科技大学 基于端到端的人体关节点检测与分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. YANG: ""Stacked Hourglass Network for Robust Facial Landmark Localisation"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
王耀玮等: "基于多任务卷积神经网络的车辆多属性识别", 《计算机工程与应用》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232436A (zh) * 2019-05-08 2019-09-13 华为技术有限公司 卷积神经网络的修剪方法、装置及存储介质
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN110188780A (zh) * 2019-06-03 2019-08-30 电子科技大学中山学院 用于定位多目标特征点的深度学习模型的构建方法及装置
CN110188780B (zh) * 2019-06-03 2021-10-08 电子科技大学中山学院 用于定位多目标特征点的深度学习模型的构建方法及装置
CN110459301A (zh) * 2019-07-29 2019-11-15 清华大学 基于热力图和面部关键点的脑部神经外科导航配准方法
CN110459301B (zh) * 2019-07-29 2021-11-02 清华大学 基于热力图和面部关键点的脑部神经外科导航配准方法
CN110569724B (zh) * 2019-08-05 2021-06-04 湖北工业大学 一种基于残差沙漏网络的人脸对齐方法
CN110569724A (zh) * 2019-08-05 2019-12-13 湖北工业大学 一种基于残差沙漏网络的人脸对齐方法
CN110826403A (zh) * 2019-09-27 2020-02-21 深圳云天励飞技术有限公司 跟踪目标确定方法及相关设备
CN110889858A (zh) * 2019-12-03 2020-03-17 中国太平洋保险（集团）股份有限公司 一种基于点回归的汽车部件分割方法及装置
CN111126416A (zh) * 2019-12-12 2020-05-08 创新奇智(重庆)科技有限公司 基于关键点检测的发动机链轮识别系统及识别方法
CN113128277A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种人脸关键点检测模型的生成方法及相关设备
CN111274977A (zh) * 2020-01-22 2020-06-12 中能国际建筑投资集团有限公司 多任务卷积神经网络模型及使用方法、装置和存储介质
CN111274977B (zh) * 2020-01-22 2023-05-23 中能国际高新科技研究院有限公司 多任务卷积神经网络模型及使用方法、装置和存储介质
CN111783725A (zh) * 2020-07-14 2020-10-16 珠海市卓轩科技有限公司 人脸识别方法、装置及存储介质
CN112417991A (zh) * 2020-11-02 2021-02-26 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法
CN112417991B (zh) * 2020-11-02 2022-04-29 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法
CN112699847A (zh) * 2021-01-15 2021-04-23 苏州大学 基于深度学习的人脸特征点检测方法
CN112699847B (zh) * 2021-01-15 2021-12-07 苏州大学 基于深度学习的人脸特征点检测方法
CN113255497A (zh) * 2021-05-17 2021-08-13 南京甄视智能科技有限公司 基于数据合成的多场景活体检测方法、系统、服务器与可读介质
CN113255497B (zh) * 2021-05-17 2022-08-16 南京甄视智能科技有限公司 基于数据合成的多场景活体检测方法、系统、服务器与可读介质

Also Published As

Publication number Publication date
CN109657595B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN109657595A (zh) 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN109409297B (zh) 一种基于双通道卷积神经网络的身份识别方法
CN110543846B (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN105069400B (zh) 基于栈式稀疏自编码的人脸图像性别识别系统
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN108520216B (zh) 一种基于步态图像的身份识别方法
WO2018125580A1 (en) Gland segmentation with deeply-supervised multi-level deconvolution networks
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN106096538A (zh) 基于定序神经网络模型的人脸识别方法及装置
CN110321870B (zh) 一种基于lstm的掌静脉识别方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN108062543A (zh) 一种面部识别方法及装置
CN109086659B (zh) 一种基于多模道特征融合的人体行为识别方法和装置
CN105095870A (zh) 基于迁移学习的行人重识别方法
CN106408037A (zh) 图像识别方法及装置
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN115830652B (zh) 一种深度掌纹识别装置及方法
CN110119695A (zh) 一种基于特征融合和机器学习的虹膜活性检测方法
HN et al. Human Facial Expression Recognition from static images using shape and appearance feature
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
CN108875559A (zh) 基于证件照与现场照的人脸识别方法及系统
Shindo et al. An optimization of facial feature point detection program by using several types of convolutional neural network
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant