CN107330381A - 一种人脸识别方法 - Google Patents

一种人脸识别方法 Download PDF

Info

Publication number
CN107330381A
CN107330381A CN201710453347.5A CN201710453347A CN107330381A CN 107330381 A CN107330381 A CN 107330381A CN 201710453347 A CN201710453347 A CN 201710453347A CN 107330381 A CN107330381 A CN 107330381A
Authority
CN
China
Prior art keywords
face
network
resolution
super
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710453347.5A
Other languages
English (en)
Inventor
尚凌辉
王弘玥
张兆生
林国锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201710453347.5A priority Critical patent/CN107330381A/zh
Publication of CN107330381A publication Critical patent/CN107330381A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸识别方法。本发明区别对待清晰人脸和低分辨人脸，对于低分辨人脸在识别过程中引入超分辨模块，并且采用端对端的训练方式使得深度学习网络同时具备清晰人脸和低分辨人脸的有效特征提取能力。本发明可以有效提升低分辨人脸的识别效果，同时又不影响清晰人脸的识别性能。

Description

一种人脸识别方法
技术领域
本发明属于视频监控技术领域，涉及一种人脸识别方法。
背景技术
近年来基于深度学习的人脸识别方法层出不穷，每年都有大量的高质量的文献、专利发表，人脸相关的产品也迎来了爆发期，在人脸检索、人证比对等方向应用取得了非常显著的成绩，可以说在很多场合人脸识别的性能已经超过人类，但是在监控视频中的应用仍然存在很多未能解决的问题，其中监控场景下的人脸分辨率是一个主要原因，虽然近年来很多摄像头已经从原来的标清升级到高清，但是大多数摄像头都是监控大场景下的人类活动，同时人脸在场景中又存在远近的问题，所以低分辨率的人脸在监控视频中是普遍存在的，这种情况对现有人脸识别方法的性能有很大影响，甚至出现大面积无法识别的问题。
发明内容
本发明针对现有人脸识别算法对低分辨率人脸识别性能低下的问题，提出一种有效的人脸识别方法，可以比较好的解决该问题。
针对低分辨率人脸问题，本发明在深度学习识别网络中加入超分辨模块，能够有效提高人脸分辨率，恢复更多的有利于识别的人脸信息，从而提高低分辨率人脸的识别效果。
为克服现有识别技术对低分辨人脸识别性能低下的问题，本发明提供一种人脸识别方法，具体步骤包含：
步骤1、输入人脸图像。
步骤2、根据人脸大小，将人脸分为清晰人脸和低分辨率人脸。
步骤3、根据步骤2的分类结果，利用预先训练好的深度学习网络计算人脸特征。
步骤4、根据不同图像的人脸特征计算人脸之间的相似度。
其中所述的预先训练好的深度学习网络其网络结构包含两个子网络，分别是超分辨网络和识别网络，其中超分辨网络的输出为识别网络的输入，在人脸识别特征计算过程中低分辨率人脸从超分辨网络输入，依次经过识别网络得到人脸识别特征，清晰人脸直接输入到识别网络计算人脸识别特征。
以上所述的深度学习网络训练步骤如下：
1、准备清晰的人脸训练数据，其中包含n个人，每个人至少两张以上的人脸照片。
2、每张人脸图像按固定比例α下采样得到低分辨率人脸，并和清晰人脸一一对应形成样本对。
3、低分辨率人脸输入到超分辨网络，利用超分辨网络的loss和对应的清晰图像，训练超分辨网络。
4、超分辨网络的输出作为识别网络的输入，同时利用识别网络的loss及人脸图像的身份类别信息训练识别网络。
5、识别网络的梯度能够直接反传到超分辨网络。
6、超分辨网络和识别网络同步训练直到所有的参数稳定。
本发明的重点是区别对待清晰人脸和低分辨人脸，对于低分辨人脸在识别过程中引入超分辨模块，并且采用端对端的训练方式使得深度学习网络同时具备清晰人脸和低分辨人脸的有效特征提取能力。
本发明的有益效果：
本发明区别对待清晰人脸和低分辨率人脸，有效提升低分辨人脸的识别效果，同时又不影响清晰人脸的识别性能。
本发明将超分辨网络和识别网络集成在一起并且同步训练，能够实现超分辨信息促进识别效果，同时识别网络又反过来指导超分辨网络恢复更有利于识别的人脸信息的良性循环，使得最大限度的利用超分辨提升识别性能。
附图说明
图1为本发明方法流程图。
图2为人脸特征计算流程图。
图3为深度学习网络训练示意图。
具体实施方式
这里结合附图对本发明做一个详细介绍，并给出具体实施细节，如图1所示本发明提供一种人脸识别方法，具体步骤包含：
1、输入人脸图像；
2、根据人脸大小，将人脸分为清晰人脸和低分辨率人脸；
3、根据步骤2的分类结果，利用预先训练好的深度学习网络计算人脸特征；
4、根据不同图像的人脸特征计算人脸之间的相似度。
本实施例根据人脸大小划分人脸类别，以人脸大小100×100为界，小于100×100判为低分辨人脸，否则为正常清晰人脸。
人脸特征计算如图2所示，低分辨人脸从超分辨网络输入，依次经过识别网络，清晰人脸直接从识别网络输入，从而得到人脸识别特征。
人脸相似度计算如公式(1)所示，fi、fj表示两张不同人脸图像的特征向量。
以上所述的深度学习网络训练示意图如图3所示，其训练步骤如下：
1、准备清晰的人脸训练数据，其中包含n个人，每个人至少两张以上的人脸照片，本实施例利用了5万人，平均每人40张人脸图像。
2、每张人脸图像按固定比例α下采样得到低分辨率人脸，并和清晰人脸一一对应形成样本对，本实施方案采用α＝0.4，即人脸图像的宽、高都下采样到原来40％。
3、低分辨率人脸输入到超分辨网络(srnet)，利用超分辨网络的loss和对应的清晰图像，训练超分辨网络。
4、超分辨网络的输出作为识别网络(recnet)的输入，同时利用识别网络的loss及人脸图像的身份类别信息训练识别网络。
5、识别网络的梯度能够直接反传到超分辨网络。
6、超分辨网络和识别网络同步训练直到所有的参数稳定。
上述训练过程中提到的超分辨网络的loss(sr-loss)，本实施例以超分辨图像和清晰图像的欧式距离为loss，其具体公式如下所示：
sr-loss＝||srnet(Li)-Hi||2 (2)
其中srnet(Li)是低分辨率图像Li的超分辨结果，Hj是对应的清晰图。
识别网络的loss，本实施例采用softmax loss，其具体公式如下说是：
其中pj表示在k类样本中属于第j类概率，yj表示当前样本的类别信息。
本实施例对上述超分辨网络采用三层的全卷积网络，卷积核数目分别是64、32、3，卷积核的大小分别是9、5、5，识别网络采用30层的残差网络。
本实施例以caffe为训练工具，其中batch size为100，初始学习率为0.1，每24000降低10倍直到0.0001，训练策略采用SDG，weight decay为0.0005，迭代10万次左右能得到比较稳定的模型。
按照本实施例，经具体测试，相比没有对低分辨人脸做针对性优化的方案其识别性能上有非常显著的提升。

Claims (4)

1.一种人脸识别方法，包括以下步骤：
步骤1、输入人脸图像；
步骤2、根据人脸大小，将人脸分为清晰人脸和低分辨率人脸；
步骤3、根据上述分类结果，利用预先训练好的深度学习网络计算人脸特征；
步骤4、根据不同图像的人脸特征计算人脸之间的相似度；
其特征在于：
其中所述的预先训练好的深度学习网络其网络结构包含两个子网络，分别是超分辨网络和识别网络，其中超分辨网络的输出为识别网络的输入，在人脸识别特征计算过程中低分辨率人脸从超分辨网络输入，依次经过识别网络得到人脸识别特征，清晰人脸直接输入到识别网络计算人脸识别特征；
以上所述的深度学习网络训练步骤如下：
A、准备清晰的人脸训练数据，其中包含n个人，每个人至少两张以上的人脸照片；
B、每张人脸图像按固定比例下采样得到低分辨率人脸，并和清晰人脸一一对应形成样本对；
C、低分辨率人脸输入到超分辨网络，利用超分辨网络的loss和对应的清晰图像，训练超分辨网络；
D、超分辨网络的输出作为识别网络的输入，同时利用识别网络的loss及人脸图像的身份类别信息训练识别网络；
E、识别网络的梯度直接反传到超分辨网络；
F、超分辨网络和识别网络同步训练直到所有的参数稳定。
2.根据权利要求1所述的一种人脸识别方法，其特征在于：所述的下采样中固定比例为40%，即人脸图像的宽、高都下采样到原来的40%。
3.根据权利要求1所述的一种人脸识别方法，其特征在于：所述的超分辨网络的loss为超分辨图像与清晰图像的欧式距离。
4.根据权利要求1所述的一种人脸识别方法，其特征在于：所述的超分辨网络采用三层的全卷积网络，卷积核数目分别是64、32、3，卷积核的大小分别是9、5、5。
CN201710453347.5A 2017-06-15 2017-06-15 一种人脸识别方法 Pending CN107330381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710453347.5A CN107330381A (zh) 2017-06-15 2017-06-15 一种人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710453347.5A CN107330381A (zh) 2017-06-15 2017-06-15 一种人脸识别方法

Publications (1)

Publication Number Publication Date
CN107330381A true CN107330381A (zh) 2017-11-07

Family

ID=60195382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710453347.5A Pending CN107330381A (zh) 2017-06-15 2017-06-15 一种人脸识别方法

Country Status (1)

Country Link
CN (1) CN107330381A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832753A (zh) * 2017-12-21 2018-03-23 中通服公众信息产业股份有限公司 一种基于四值权重与多重分类的人脸特征提取方法
CN110245659A (zh) * 2019-05-21 2019-09-17 北京航空航天大学 基于前背景相互关系的图像显著对象分割方法及装置
JP2020027504A (ja) * 2018-08-14 2020-02-20 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
CN111807173A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 基于深度学习的电梯控制方法、电子设备及存储介质
US11551333B2 (en) * 2017-12-20 2023-01-10 Huawei Technologies Co., Ltd. Image reconstruction method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697197A (zh) * 2009-10-20 2010-04-21 西安交通大学 一种基于典型相关分析空间超分辨率的人脸识别方法
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN106548159A (zh) * 2016-11-08 2017-03-29 中国科学院自动化研究所 基于全卷积神经网络的网纹人脸图像识别方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697197A (zh) * 2009-10-20 2010-04-21 西安交通大学 一种基于典型相关分析空间超分辨率的人脸识别方法
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN106548159A (zh) * 2016-11-08 2017-03-29 中国科学院自动化研究所 基于全卷积神经网络的网纹人脸图像识别方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANGYANG WANG ET AL.: "Studying Very Low Resolution Recognition Using Deep Networks", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551333B2 (en) * 2017-12-20 2023-01-10 Huawei Technologies Co., Ltd. Image reconstruction method and device
CN107832753A (zh) * 2017-12-21 2018-03-23 中通服公众信息产业股份有限公司 一种基于四值权重与多重分类的人脸特征提取方法
JP2020027504A (ja) * 2018-08-14 2020-02-20 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
WO2020036124A1 (ja) * 2018-08-14 2020-02-20 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
JP7131195B2 (ja) 2018-08-14 2022-09-06 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
US11928790B2 (en) 2018-08-14 2024-03-12 Nippon Telegraph And Telephone Corporation Object recognition device, object recognition learning device, method, and program
CN110245659A (zh) * 2019-05-21 2019-09-17 北京航空航天大学 基于前背景相互关系的图像显著对象分割方法及装置
CN110245659B (zh) * 2019-05-21 2021-08-13 北京航空航天大学 基于前背景相互关系的图像显著对象分割方法及装置
US11151725B2 (en) 2019-05-21 2021-10-19 Beihang University Image salient object segmentation method and apparatus based on reciprocal attention between foreground and background
CN111807173A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 基于深度学习的电梯控制方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110706157B (zh) 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN107330381A (zh) 一种人脸识别方法
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
WO2021098261A1 (zh) 一种目标检测方法与装置
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN106096535A (zh) 一种基于双线性联合cnn的人脸验证方法
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
WO2021213158A1 (zh) 一种智能视频会议终端的实时人脸摘要服务的方法及系统
CN106096568A (zh) 一种基于cnn和卷积lstm网络的行人再识别方法
CN109255284B (zh) 一种基于运动轨迹的3d卷积神经网络的行为识别方法
CN104463172A (zh) 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN106845329A (zh) 一种基于深度卷积特征多通道金字塔池化的动作识别方法
CN109583507A (zh) 一种基于深度卷积神经网络的猪体识别方法
CN110378234A (zh) 基于TensorFlow构建的卷积神经网络热像人脸识别方法及系统
CN110309770A (zh) 一种基于四元组损失度量学习的车辆再辨识方法
CN102402784A (zh) 一种基于最近特征线流形学习的人脸图像超分辨率方法
CN110310238A (zh) 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN109241814A (zh) 基于yolo神经网络的行人检测方法
CN109583334A (zh) 一种基于时空关联神经网络的动作识别方法及其系统
CN106611156A (zh) 一种自适应深度空间特征的行人识别方法和系统
CN107832713A (zh) 一种基于OptiTrack的人体姿态识别方法
CN110008876A (zh) 一种基于数据增强与特征融合的人脸验证方法
CN111027440A (zh) 一种基于神经网络的人群异常行为检测装置和检测方法
CN109685118A (zh) 一种基于卷积神经网络特征的弱分类器Adaboost车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171107