CN109241315B - 一种基于深度学习的快速人脸检索方法 - Google Patents

一种基于深度学习的快速人脸检索方法 Download PDF

Info

Publication number
CN109241315B
CN109241315B CN201810987143.4A CN201810987143A CN109241315B CN 109241315 B CN109241315 B CN 109241315B CN 201810987143 A CN201810987143 A CN 201810987143A CN 109241315 B CN109241315 B CN 109241315B
Authority
CN
China
Prior art keywords
retrieval
loss function
neural network
training
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810987143.4A
Other languages
English (en)
Other versions
CN109241315A (zh
Inventor
陶冰洁
王酉祥
马沪敏
廖龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810987143.4A priority Critical patent/CN109241315B/zh
Publication of CN109241315A publication Critical patent/CN109241315A/zh
Application granted granted Critical
Publication of CN109241315B publication Critical patent/CN109241315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度学习的快速人脸检索方法，属于计算机视觉目标识别应用领域。本发明主要利用深度神经网络和提取人脸二值特征，结合局部敏感哈希(Locality Sensitive Hashing,LSH)最近邻检索算法，提出了一种快速高效的人脸检索算法。首先通过大量标定人脸数据训练深度神经网络，然后将数据库中的所有图片代入神经网络进行计算，得到对应的二值特征库，然后设计哈希函数，构造哈希结构。对于待检索的图片，同样代入神经网络进行计算，得到二值特征后，通过LSH算法完成检索。通过大量的数据库测试发现，该方法检索准确率高，速度快，并在工程环境应用时有很好的鲁棒性。

Description

一种基于深度学习的快速人脸检索方法
技术领域
本发明涉及计算机视觉目标检索应用领域，具体涉及到大数据集中基于深度学习的快速人脸检索方法。
背景技术
人脸识别系统以人脸识别技术为核心，是一项新兴的生物识别技术，是当今国际科技领域攻关的高精尖技术。它广泛采用区域特征分析算法，融合了计算机图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从视频中提取人像特征点，利用生物统计学的原理进行分析建立数学模型，具有广阔的发展前景。人脸检索技术广泛应用在刑侦、监控以及治安等多个领域和场景，有着非常高的研究价值。随着应用场景的复杂度不断增加，数据库的规模也越来越大，在数据库中快速检索出目标人脸的难度也随着增加。在实际的应用中，样本数一般比较大并且会频繁变化(如公民的身份证库)，所以对于人脸识别问题，大多数研究人员的重点在于验证，即比较两张图片是否属于同一个个体，然而验证算法的应用场景有限，对于海量数据库的检索只能通过一一比对的方式，效率比较低下，因此，如何在海量数据库中快速检索人脸是人脸识别的一个重点研究方向。
本文提出了一种基于深度学习的快速人脸检索算法，利用深度神经网络提取人脸二值特征，结合LSH算法，实现海量数据库中的人脸快速检索。
发明内容
本发明的目的在于:为解决目前基于二值特征的快速人脸检索方法的准确率不高的问题，本发明提供一种基于深度学习的二值特征提取算法，用于人脸快速检索。
为了解决上述技术问题，达到上述目的，本发明采用如下技术方案：
一种基于深度学习的快速人脸检索方法，包括如下步骤：
步骤1：设计卷积神经网络结构和损失函数；
卷积神经网络以Inception-ResNet-v2为主要结构，以Sigmoid函数为激活函数，损失函数包括交叉熵损失函数、中心距离损失层损失函数和类间损失层损失函数；
(1)交叉熵损失函数：
交叉熵损失函数表达式如下：
Figure BDA0001779953490000011
其中a为网络实际的输出，y为期望值；
(2)中心距离损失层损失函数：
中心距离损失函数的表达式如下：
Figure BDA0001779953490000021
其中
Figure BDA0001779953490000022
表示数据块中第yi个个体所有样本的特征中心值，xi表示该个体的某一样本的特征值；
(3)类间损失层损失函数：
类间损失函数表达式如下：
Figure BDA0001779953490000023
其中，α为自定义常量，xn i代表第i个个体的第n张图片，xm j同理；
步骤2：通过损失函数训练卷积神经网络；
步骤3：对于检索数据库的所有图片，通过训练好的卷积神经网络计算人脸二值特征；
步骤4：根据二值特征设计哈希函数，构造哈希结构；
步骤5：对于待检索的图片，代入卷积神经网络中得到二值特征，通过LSH算法在检索数据中进行检索；
步骤6：根据步骤5中的检索结果，找到正确匹配的人脸图片，完成检索。
具体地，所述步骤2的具体步骤为：
步骤2.1：训练数据集和数据分块
选择CASIA-WebFace人脸数据库作为训练集，随机选择10000个体约40w图片，首先进行对齐预处理，训练数据块大小为500，每个数据块包含12个个体，每个个体约有40个样本；
步骤2.2：交叉熵损失层训练
根据每个样本对应的类别，计算交叉熵损失层损失，进行训练；
步骤2.3：中心距离损失层训练
每个数据块所有样本前向传播得到Sigmoid层的特征值，再计算相同个体的特征均值，根据损失函数开始训练，并更新特征均值；
步骤2.4：类间距离损失层训练
先计算所有样本传播至Sigmoid层后的特征值，然后随机选择部分不同个体样本，根据损失函数进行训练。
具体地，所述步骤3具体为：
对检索数据库的所有图片，通过卷积神经网络计算得到128维的特征后，以0.5为阈值，将人脸特征二值化。
具体地，所述步骤4具体为：
根据LSH算法，设计哈希函数，根据哈希函数建立特征的哈希结构。
具体地，所述步骤5的具体流程为：
对于待检索的图片，代入卷积神经网络中得到二值特征，通过LSH算法在检索库中进行检索，根据相似度得到检索排序。
具体地，所述步骤6的具体流程为：
步骤5最终得到了检索的相似度排序，然后找到正确匹配人脸的排序作为评价标准，完成检索。
因为本发明采用上述技术方案，因此具备以下有益效果：
(1)本发明创新性的提出一种类间损失层，结合交叉熵损失和中心距离损失，使得最终得到的二值特征更为稳定和可区分性，最后结合最近邻检索算法，提升目前人脸检索算法检索效率并拓展应用场景。
(2)算法鲁棒性较好，人脸特征提取稳定在复杂背景下的应用十分稳定。
附图说明
图1为人脸检索流程图；
图2为神经网络结构图；
图3为通过神经网络计算图片特征示意图；
图4为根据特征相似度进行检索示意图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
如图1所示，一种基于深度学习的快速人脸检索方法，包括如下步骤：
步骤1：如图2所示，设计卷积神经网络结构和损失函数；
卷积神经网络以Inception-ResNet-v2为主要结构，以Sigmoid函数为激活函数，损失函数包括交叉熵损失函数、中心距离损失层损失函数和类间损失层损失函数；
(1)交叉熵损失函数：
交叉熵损失函数表达式如下：
Figure BDA0001779953490000031
其中a为网络实际的输出，y为期望值。
(2)中心距离损失层损失函数：
中心距离损失函数的表达式如下：
Figure BDA0001779953490000041
其中
Figure BDA0001779953490000042
表示数据块中第yi个个体所有样本的特征中心值，xi表示该个体的某一样本的特征值；
(3)类间损失层损失函数：
类间损失函数表达式如下。
Figure BDA0001779953490000043
其中，α为自定义常量，xn i代表第i个个体的第n张图片，xm j同理，通过引入类间损失层，有效的增大类间距离；
步骤2：通过损失函数训练卷积神经网络；具体地，所述步骤2的具体步骤为：
步骤2.1：训练数据集和数据分块
选择CASIA-WebFace人脸数据库作为训练集，随机选择10000个体约40w图片，首先进行对齐预处理，训练数据块大小为500，每个数据块包含12个个体，每个个体约有40个样本；
步骤2.2：交叉熵损失层训练
根据每个样本对应的类别，计算交叉熵损失层损失，进行训练；
步骤2.3：中心距离损失层训练
每个数据块所有样本前向传播得到Sigmoid层的特征值，再计算相同个体的特征均值，根据损失函数开始训练，并更新特征均值；
步骤2.4：类间距离损失层训练
先计算所有样本传播至Sigmoid层后的特征值，然后随机选择部分不同个体样本，根据损失函数进行训练。
步骤3：对于检索数据库的所有图片，通过训练好的卷积神经网络计算人脸二值特征；所述步骤3具体为：
对检索数据库的所有图片，通过卷积神经网络计算得到128维的特征后，以0.5为阈值，将人脸特征二值化，如图3所示。
步骤4：据LSH算法，设计哈希函数，根据哈希函数建立特征的哈希结构。
步骤5：对于待检索的图片，代入卷积神经网络中得到二值特征，通过LSH算法在检索库中进行检索，根据相似度得到检索排序。
步骤6：根据步骤5最终得到了检索的相似度排序，然后找到正确匹配人脸的排序作为评价标准，完成检索，如图4所示。
步骤6：根据步骤5中的检索结果，找到正确匹配的人脸图片，完成检索。通过引入Sigmoid层以及三种损失函数间的相互作用，本文提取到的二值特征在实际的应用中既简化了特征的复杂度，又保持了特征的可区分性，这种二值特征提取算法同样适用于其他场景。
按照上述步骤进行实验后，引入类间损失和不引入类间损失算法在LFW上的人脸验证准确率分别为92.3％和90.1％，在检索的过程中，也有更好的表现。

Claims (6)

1.一种基于深度学习的快速人脸检索方法，其特征在于，包括如下步骤：
步骤1：设计卷积神经网络结构和损失函数；
卷积神经网络以Inception-ResNet-v2为主要结构，以Sigmoid函数为激活函数，损失函数包括交叉熵损失函数、中心距离损失层损失函数和类间损失层损失函数；
(1)交叉熵损失函数：
交叉熵损失函数表达式如下：
Figure FDA0003287784290000011
其中a为网络实际的输出，y为期望值；
(2)中心距离损失层损失函数：
中心距离损失函数的表达式如下：
Figure FDA0003287784290000012
其中cyi表示数据块中第yi个个体所有样本的特征中心值，xi表示该个体的某一样本的特征值；
(3)类间损失层损失函数：
类间损失函数表达式如下：
Figure FDA0003287784290000013
其中，α为自定义常量，xn i代表第i个个体的第n张图片，xm j同理；
步骤2：通过损失函数训练卷积神经网络；
步骤3：对于检索数据库的所有图片，通过训练好的卷积神经网络计算人脸二值特征；
步骤4：根据二值特征设计哈希函数，构造哈希结构；
步骤5：对于待检索的图片，代入卷积神经网络中得到二值特征，通过LSH算法在检索数据中进行检索；
步骤6：根据步骤5中的检索结果，找到正确匹配的人脸图片，完成检索。
2.根据权利要求1所述的一种基于深度学习的快速人脸检索方法，其特征在于，所述步骤2的具体步骤为：
步骤2.1：训练数据集和数据分块
选择CASIA-WebFace人脸数据库作为训练集，随机选择10000个体，总共40万图片，首先进行对齐预处理，训练数据块大小为500，每个数据块包含12个个体，每个个体包含40个样本；
步骤2.2：交叉熵损失层训练
根据每个样本对应的类别，计算交叉熵损失层损失，进行训练；
步骤2.3：中心距离损失层训练
每个数据块所有样本前向传播得到Sigmoid层的特征值，再计算相同个体的特征均值，根据损失函数开始训练，并更新特征均值；
步骤2.4：类间距离损失层训练
先计算所有样本传播至Sigmoid层后的特征值，然后随机选择部分不同个体样本，根据损失函数进行训练。
3.根据权利要求1所述的一种基于深度学习的快速人脸检索方法，其特征在于，所述步骤3具体为：
对检索数据库的所有图片，通过卷积神经网络计算得到128维的特征后，以0.5为阈值，将人脸特征二值化。
4.根据权利要求1所述的一种基于深度学习的快速人脸检索方法，其特征在于，所述步骤4具体为：
根据LSH算法，设计哈希函数，根据哈希函数建立特征的哈希结构。
5.根据权利要求1所述的一种基于深度学习的快速人脸检索方法，其特征在于，所述步骤5的具体流程为：
对于待检索的图片，代入卷积神经网络中得到二值特征，通过LSH算法在检索库中进行检索，根据相似度得到检索排序。
6.根据权利要求1所述的一种基于深度学习的快速人脸检索方法，其特征在于，所述步骤6的具体流程为：
步骤5最终得到了检索的相似度排序，然后找到正确匹配人脸的排序作为评价标准，完成检索。
CN201810987143.4A 2018-08-28 2018-08-28 一种基于深度学习的快速人脸检索方法 Active CN109241315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810987143.4A CN109241315B (zh) 2018-08-28 2018-08-28 一种基于深度学习的快速人脸检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810987143.4A CN109241315B (zh) 2018-08-28 2018-08-28 一种基于深度学习的快速人脸检索方法

Publications (2)

Publication Number Publication Date
CN109241315A CN109241315A (zh) 2019-01-18
CN109241315B true CN109241315B (zh) 2022-01-04

Family

ID=65068573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810987143.4A Active CN109241315B (zh) 2018-08-28 2018-08-28 一种基于深度学习的快速人脸检索方法

Country Status (1)

Country Link
CN (1) CN109241315B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871461B (zh) * 2019-02-13 2020-12-22 华南理工大学 基于深度哈希网络和子块重排序的大规模图像子块检索方法
CN110175248B (zh) * 2019-04-04 2021-08-31 中国科学院信息工程研究所 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN110059634B (zh) * 2019-04-19 2023-04-18 山东博昂信息科技有限公司 一种大场景人脸抓拍方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107480261A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技（集团）有限公司 一种基于深度学习细粒度人脸图像快速检索方法
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN107918636A (zh) * 2017-09-07 2018-04-17 北京飞搜科技有限公司 一种人脸快速检索方法、系统
CN108171270A (zh) * 2018-01-05 2018-06-15 大连海事大学 一种基于哈希学习的高光谱图像分类方法
CN108235770A (zh) * 2017-12-29 2018-06-29 深圳前海达闼云端智能科技有限公司 图像识别方法及云端系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US10909459B2 (en) * 2016-06-09 2021-02-02 Cognizant Technology Solutions U.S. Corporation Content embedding using deep metric learning algorithms

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107480261A (zh) * 2017-08-16 2017-12-15 上海荷福人工智能科技（集团）有限公司 一种基于深度学习细粒度人脸图像快速检索方法
CN107918636A (zh) * 2017-09-07 2018-04-17 北京飞搜科技有限公司 一种人脸快速检索方法、系统
CN107818314A (zh) * 2017-11-22 2018-03-20 北京达佳互联信息技术有限公司 脸部图像处理方法、装置及服务器
CN108235770A (zh) * 2017-12-29 2018-06-29 深圳前海达闼云端智能科技有限公司 图像识别方法及云端系统
CN108171270A (zh) * 2018-01-05 2018-06-15 大连海事大学 一种基于哈希学习的高光谱图像分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Simple Triplet Loss Based on Intra/Inter-Class Metric Learning for Face Verification;Zuheng Ming等;《2017 IEEE International Conference on Computer Vision Workshops (ICCVW)》;20180123;1656-1664 *
一种融合重力信息的快速海量图像检索方法;张运超等;《自动化学报》;20161015;第42卷(第10期);1501-1511 *
基于图像内容理解的图片自动管理方法研究;杜佳慧;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第6期);I138-1320 *
损失函数loss大大总结;watersink;《https://blog.csdn.net/qq_14845119/article/details/80787753?utm_source=blogxgwz8》;20180623;1-10 *
监控视频中基于深度学习的人脸检测与识别算法研究;王酉祥;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180915(第9期);I138-231 *

Also Published As

Publication number Publication date
CN109241315A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN113516012B (zh) 一种基于多层级特征融合的行人重识别方法及系统
Chen et al. Hierarchical online instance matching for person search
CN108228915B (zh) 一种基于深度学习的视频检索方法
CN111126360A (zh) 基于无监督联合多损失模型的跨域行人重识别方法
Unar et al. Detected text‐based image retrieval approach for textual images
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
CN109241315B (zh) 一种基于深度学习的快速人脸检索方法
CN103226585A (zh) 面向图像检索的自适应哈希重排方法
CN111104555A (zh) 基于注意力机制的视频哈希检索方法
Zhang et al. Automatic discrimination of text and non-text natural images
CN112036511B (zh) 基于注意力机制图卷积神经网络的图像检索方法
CN106780639A (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN113282754A (zh) 针对新闻事件的舆情检测方法、装置、设备和存储介质
CN116680420B (zh) 基于知识表示增强的低资源跨语言文本检索方法及装置
CN116861022A (zh) 一种基于深度卷积神经网络和局部敏感哈希算法相结合的图像检索方法
CN114896436B (zh) 一种基于表征互信息的网络结构搜索方法
Khare et al. Keyframe extraction using binary robust invariant scalable keypoint features
Liang et al. Deep hashing with multi-task learning for large-scale instance-level vehicle search
CN113553947B (zh) 生成描述多模态行人重识别方法、装置及电子设备
CN106557533B (zh) 一种单目标多图像联合检索的方法和装置
Yang et al. Multimodal short video rumor detection system based on contrastive learning
Dong et al. Research on fast face retrieval optimization algorithm based on fuzzy clustering
Fu et al. A Near-Duplicate Video Cleaning Method Based on AFENet Adaptive Clustering
Vadivukarassi et al. A framework of keyword based image retrieval using proposed Hog_Sift feature extraction method from Twitter Dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Tao Bingjie

Inventor after: Wang Youxiang

Inventor after: Ma Humin

Inventor after: Liao Long

Inventor before: Tao Bingjie

Inventor before: Wang Youxiang

Inventor before: Ma Lumin

Inventor before: Liao Long

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant