CN107944398A - 基于深度特征联合表示图像集人脸识别方法、装置和介质 - Google Patents

基于深度特征联合表示图像集人脸识别方法、装置和介质 Download PDF

Info

Publication number
CN107944398A
CN107944398A CN201711210885.8A CN201711210885A CN107944398A CN 107944398 A CN107944398 A CN 107944398A CN 201711210885 A CN201711210885 A CN 201711210885A CN 107944398 A CN107944398 A CN 107944398A
Authority
CN
China
Prior art keywords
face
image
depth
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711210885.8A
Other languages
English (en)
Inventor
杨猛
李辉
于仕琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201711210885.8A priority Critical patent/CN107944398A/zh
Publication of CN107944398A publication Critical patent/CN107944398A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度特征联合表示的图像集人脸识别方法、装置和介质，其方法包括获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取人脸图像集中人脸图像的深度特征；根据预设的人脸图像深度特征的提取策略，提取预设图像训练集的人脸图像深度特征，创建联合协同表示模型对测试集进行表示；基于联合协同表示模型及卷积神经网络的训练模型进行图像集人脸识别。本发明利用深度特征做基于图像集的人脸识别，很好地将稀疏表示和深度特征相结合，使得基于图像集的人脸识别精度得到很大提升，在增加鲁棒性的同时，有效地利用深度特征比传统特征更具有区分度，使得得到的特征会有更好的鉴别力，进而提高识别率。

Description

基于深度特征联合表示图像集人脸识别方法、装置和介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于深度特征联合表示的图像集人脸识别方法、装置及存储介质。
背景技术
人脸识别在计算机视觉和生物特征识别领域一直以来都是一个很热门，同时也很有价值的研究课题，受到很多学术和工业界人士的广泛关注。由于相同的人脸图像在不同的环境中拍摄得到，所以同一个人的图像可能存在较大的差异，这就对人脸识别的算法要求有更好的鲁棒性，以方便在实际应用场景能准确的确定待识别的人脸图像的身份。此外，在实际应用场景中，人脸识别已经不仅仅是类似护照、门禁系统、驾驶证等情况下的单样本人脸识别。更常用于类似安检、公安“天网”系统等情况下的图像集的人脸识别。在一个或多个摄像头的连续拍摄下，会得到每个人脸的一系列图像。此情况下的人脸识别称为图像集的人脸识别。由于每个人脸会得到很多图像，图像集的人脸识别相比单测试样本的人脸识别具有天然优势。然而图像是在监控或者非限制性条件下拍摄的，图像不可避免地会受到光照、姿态、表情等情况的影响，甚至每个集合图像之间并不存在时间上的关系。这对图像集人脸的识别带来了很大挑战。
一般来说，图像集的人脸识别方法可以分为参数模型和非参数模型。但是，参数模型太过于依赖训练图像的每一帧之间的关系。当集合之间的图像是无序的，或者时间上没有联系的视频时，该方法则并不适用。此外，基于参数模型的方法对参数问题的确定是很困难的，需要测试集和训练集之间有一定的统计学相关性。而对于许多基于线性子空间的非参数方法，却又不能很好的处理人脸变化的情况。随后，基于表示的方法被提出。如稀疏表示分类器(SANP)、正则化最近点的表示方法(RNP)，然而SANP和RNP逐个计算测试集和每个单一训练集的距离，此计算忽略了于不同类别训练数据的协同和竞争，这将会导致其他类别的训练集与测试集之间也具有很小间距距离。为了克服这个缺点，提出了协同正则化最近点的表示方法(CRNP)，但是它并没有明确地将测试集与每类训练集的表达距离最小化。
上述方法对图像集人脸所提的人脸特征如LBP特征，在图像集的识别领域存在很明显的缺陷，不能克服每个人脸中因为光照、姿态、表情等情况的识别问题。这导致这些方法(SANP、RNP、CRNP)识别准确率并不是很高。
因此，当前的图像集人脸识别算法存在诸多不足：如对人脸图像在光照、姿态、表情变化等情况下的鲁棒性不好；用传统方法对人脸图像所提特征已经不能很好的满足图像集识别所有面临的上述问题。
发明内容
本发明提供一种基于深度特征联合表示的图像集人脸识别方法、装置及存储介质，旨在提高图像集的人脸识别方法的鲁棒性、识别性能，降低算法复杂度。
为实现上述目的，本发明提供一种基于深度特征联合表示的图像集人脸识别方法，包括：
获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取所述人脸图像集中人脸图像的深度特征；
根据预设的人脸图像深度特征的提取策略，提取预设图像训练集的人脸图像深度特征，创建联合协同表示模型对测试集进行表示；
基于所述联合协同表示模型以及预先创建的卷积神经网络的训练模型进行图像集人脸识别。
可选地，所述联合协同表示模型包括：测试集上虚拟最近点表示、真实样本表示、类级联合表示。
可选地，所述获取待识别的人脸图像集的步骤之前，还包括：
配置人脸图像深度特征的提取策略。
可选地，所述配置人脸图像深度特征的提取策略的步骤包括：
对于预设实验数据库中的人脸图像，利用人脸特征点检测器检测得到人脸上的5个关键特征点，所述5个关键特征点分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；
根据所述5个关键特征点及对图像进行空间变换提供的5个模板点，对所述实验数据库中的人脸图像进行空间变换，将所述实验数据库中的人脸图像数据裁剪为预定尺寸；
部署对人脸图像进行提取特征的网络训练模型；
利用已训练好的网络训练模型对所述实验数据库中的人脸图像进行特征提取，得到每张图像的深度特征。
可选地，所述获取待识别的人脸图像集的步骤之前，还包括：
创建卷积神经网络的训练模型。
可选地，所述创建卷积神经网络的训练模型的步骤包括：
对于CASIA-WebFace数据库中的每个人脸图像，依据所述人脸图像深度特征的提取策略，得到固定尺寸的需要训练的所有人脸图像；
将所有得到的人脸图像划分为验证集和训练集；
依据所述验证集和训练集，训练所述人脸图像深度特征的提取策略中部署的对人脸图像进行提取特征的网络模型，当网络收敛达到最佳效果时，保存训练模型。
可选地，所述方法还包括：
对基于深度特征联合协同表示的图像集人脸识别方法进行验证。
本发明实施例还提出一种图像集人脸识别装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤。
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方法的步骤。
相比现有技术，本发明提出的基于深度特征联合表示的图像集人脸识别方法、装置及存储介质，通过获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取人脸图像集中人脸图像的深度特征；根据预设的人脸图像深度特征的提取策略，提取预设图像训练集的人脸图像深度特征，创建联合协同表示模型对测试集进行表示；；基于联合协同表示模型以及预先创建的卷积神经网络的训练模型进行图像集人脸识别。本发明利用深度特征做基于图像集的人脸识别，很好地将稀疏表示和深度特征相结合，使得基于图像集的人脸识别精度得到很大提升，在增加鲁棒性的同时，有效地利用深度特征比传统特征更具有区分度，使得得到的特征会有更好的鉴别力，进而提高识别率。
相比现有的SANP、RNP、CRNP方法，本发明具有如下优点：
与SANP相比，本发明没有像SANP模型中含有较多的表示项和未知的变量，同时SANP中稀疏约束和许多的未知变量，增加了解决SANP模型的难度和复杂性相比，本发明明显要简洁明了得多。
与RNP相比，RNP的模型是分别在每类中的训练集中寻找正则化最近邻的点，但是它忽略了与其他类之间的协作和竞争关系。本发明则充分考虑与其他类之间的协作和竞争这一点。
与CRNP相比，CRNP旨在测试集和整个训练集之间的距离，并没有明确最小化测试集与不同类别训练集的表达距离。本发明则充分考虑这一点，明确了最小化测试集与单个类别训练集的表达距离。
同时，相比以上提到的三种方法，以及实验中验证的的方法，本发明的优点还体现在，充分利用了测试集中的虚拟最近点和原始测试集中样本在整个训练集上的协同表示，以及提出类层次相似性约束可以联合使用测试集中的所有信息。
因此，与目前传统的技术方案相比，本发明方法有更好的鲁棒性、识别性能和较低的算法复杂度。
附图说明
图1是本发明提出的基于深度特征联合表示的图像集人脸识别方法第一实施例的流程示意图；
图2是本发明提出的基于深度特征联合表示的图像集人脸识别方法第二实施例的流程示意图；
图3是本发明实施例中检测得到人脸上的5个关键特征点的示意图；
图4是本发明提出的图像集人脸识别方法第三实施例的流程示意图；
图5是本发明实施例涉及的硬件运行环境示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明考虑到，深度学习在人脸识别领域具有很大优势，而传统方法对图像集人脸所提的人脸特征如LBP特征，在图像集的识别领域存在很明显的缺陷，不能克服每个人脸中因为光照、姿态、表情等情况的识别问题。这导致现有的一些方法(SANP、RNP、CRNP)识别准确率并不是很高。
本发明提出的解决方案可以提高图像集的人脸识别方法的鲁棒性、识别性能，降低算法复杂度。
具体地，请参照图1，图1是本发明提出的图像集人脸识别方法第一实施例的流程示意图。
如图1所示，本发明第一实施例提出一种基于深度特征联合表示的图像集人脸识别方法，包括：
步骤S101，获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取所述人脸图像集中人脸图像的深度特征；
本发明基于深度特征联合协同表示的图像集人脸识别方法的实施基于人脸图像深度特征的提取策略以及人脸图像训练集和卷积神经网络的训练模型来实现。
因此，本实施例预先创建人脸图像深度特征的提取策略，以及人脸图像训练集和卷积神经网络的训练模型。
首先，获取待识别的人脸图像集，作为测试集。
根据预设的人脸图像深度特征的提取策略，提取所述人脸图像集中人脸图像的深度特征。
步骤S102，根据预设的人脸图像深度特征的提取策略，提取预设图像训练集的人脸图像深度特征，创建联合协同表示模型对测试集进行表示；
步骤S103，基于所述联合协同表示模型以及预先创建的卷积神经网络的训练模型进行图像集人脸识别。
其中，所述联合协同表示模型包括：测试集上虚拟最近点表示、真实样本表示、类级联合表示。
由此，利用深度特征做基于图像集的人脸识别，很好地将稀疏表示和深度特征相结合，使得基于图像集的人脸识别精度得到很大提升，在增加鲁棒性的同时，有效地利用深度特征比传统特征更具有区分度，使得得到的特征会有更好的鉴别力，进而提高识别率。
如图2所示，本发明第二实施例提出一种基于深度特征联合表示的图像集人脸识别方法，基于上述图1所示的实施例，在上述步骤S101：获取待识别的人脸图像集之前，还包括：
步骤S100，配置人脸图像深度特征的提取策略。
具体地，所述配置人脸图像深度特征的提取策略的步骤包括：
对于预设实验数据库中的人脸图像，利用人脸特征点检测器检测得到人脸上的5个关键特征点，所述5个关键特征点分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；
根据所述5个关键特征点及对图像进行空间变换提供的5个模板点，对所有实验数据库中的人脸图像进行空间变换，将所有实验数据库中的人脸图像数据裁剪为预定尺寸；
部署对人脸图像进行提取特征的网络训练模型；
利用已训练好的网络训练模型对所有实验数据库中的人脸图像进行特征提取，得到每张图像的深度特征。
以下对本实施例人脸图像深度特征的提取策略进行详细阐述：
(1)、对于所有实验的数据库中的人脸图像，利用人脸特征点检测器检测得到人脸上的5个关键特征点，这5个关键特征点分别是左眼睛中心点。右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点，如图3中人脸上的白点所示。
(2)、由(1)中得到的5个关键特征点，根据对图像进行空间变换提供的5个模板点，对所有实验的数据库中的人脸图像的进行空间变换，从而将所有试验数据库中的人脸图像数据裁剪为112x 96的尺寸。
(3)、部署好对人脸图像进行提取特征的网络训练模型。
(4)、利用(3)中部署的网络训练模型，用已经训练好的模型对所有数据库中的人脸图像进行特征提取，得到每张图像的深度特征，其维度为512。
本实施例通过上述方案，利用深度特征做基于图像集的人脸识别，很好的将稀疏表示和深度特征相结合，使得基于图像集的人脸识别精度得到很大提升，在增加鲁棒性的同时，有效的利用深度特征比传统特征更具有区分度，使得得到的特征会有更好的鉴别力，进而提高识别率。
如图3所示，本发明第三实施例提出一种基于深度特征联合表示的图像集人脸识别方法，基于上述图2所示的实施例，在上述步骤S101：获取待识别的人脸图像集之前，还包括：
步骤S90，创建卷积神经网络的训练模型。
其中，所述创建卷积神经网络的训练模型的步骤包括：
对于CASIA-WebFace数据库中的每个人脸图像，依据所述人脸图像深度特征的提取策略，得到固定尺寸的需要训练的所有人脸图像；
将所有得到的人脸图像划分为验证集和训练集；
依据所述验证集和训练集，训练所述人脸图像深度特征的提取策略中部署的对人脸图像进行提取特征的网络模型，当网络收敛达到最佳效果时，保存训练模型。
本发明方案的实施分为两大阶段：阶段1为网络模型训练阶段，即创建图像集人脸识别卷积神经网络的训练模型，阶段2为识别阶段，即基于联合协同表示模型进行图像集人脸识别。必须先完成阶段1才能进行阶段2。
以下对本实施例阶段1-创建图像集人脸识别卷积神经网络的训练模型，以及阶段2-基于所述联合协同表示模型进行图像集人脸识别进行详细阐述：
阶段1—训练阶段
阶段1需要完成图像集人脸识别卷积神经网络的训练的任务，图像集人脸识别卷积神经网络的训练采用CASIA-WebFace数据库。具体步骤为：
(1)对于CASIA-WebFace数据库中的每个人脸图像，按照上述人脸图像深度特征的提取策略中的(1)、(2)两部分进行操作，得到固定尺寸的需要训练的所有人脸图像。
(2)将(1)中所有得到的人脸图像划分为测试集Y＝[y1,y2,…,yN]和训练集X＝[X1,X2,…,Xc]，训练上述人脸图像深度特征的提取策略中(3)所提到的网络模型，当网络收敛达到最好效果时，保存训练模型，用来提取特征。
阶段2—识别阶段，分为两个子任务：
子任务1—分类模型参数的解决
此阶段每个对象输入一系列人脸图像，输出其身份ID。
对于输入的人脸图像，根据上述人脸图像深度特征的提取策略，提取每个对象的所有人脸图像的深度特征，识别步骤如下：
根据深度网络提取的深度特征，提出联合协同表示模型公式，具体模型公式如下：
(1)模型如下：
该模型包括三部分：虚拟最近点表示、真实样本表示、类级联合表示。其中：
这一项是测试集上虚拟最近点的表示；
这一项是实际样本的表示；
和是类级联合表示。
(2)其中，λ1、λ2和γ是常数，正则化的类层次上系数α≥0和αj≥0是预定义的矩阵，是为了表示更有意义，由(1)式可以看出，P矩阵生成不同训练集相关系统的总和。例如：两个训练集，每个训练集三个样本，则P被定义为[1 1 1 0 0 0；0 0 0 1 1 1]；
(3)释放β的约束项，并加入(1)式，初始化β＝1T/N；然后通过以下模型来初始化α和αj
按如下公式迭代更新αm；
其中αm的一个解决方法是：
(4)令y＝Yβ按照如下公式，迭代更新αj和α；
从(5)式中可以看出，αj和α求解优化过程是相似的，以α的求解优化为例，如下公式所示为α的优化模型：
通过以下式子，经过t次的迭代不断更新α的值，可以得到α；
αt＝max(αt-1,0) (7)
其中
(5)为了更新β，(1)式中的联合协同表示模型可以改写为(8)式，通过(8)式迭代更新β。
其中β的一个解决方法为：
子任务2—协同联合表示模型的分类
具体步骤如下：
在经过若干次的迭代更新之后，求得αj、αm、β和α后，根据以下式子计算重构误差：
其中，是为了计算每个测试集和所有训练集的重构误差，则是根据类标签计算测试集中每个样本和所有训练集的重构误差，通过这两项，得到最小误差，确认当前对象所输出的一系列人脸图像的ID。
此外，本发明还可以对基于深度特征联合协同表示的图像集人脸识别方法进行验证。
下面结合具体的实施结果对本发明作进一步的说明：
将本发明与现有的一些技术(SANP、RNP和CRANP等)方法做比较。为了比较的客观公正，本实验采用YouTube Faces的标准人脸数据库，和在Labeled Faced in the Wild(LFW)基础上建立的数据库来对本发明进行验证。详细的实验设置为：
a.对YouTube Faces的数据库，选取包括200个图像集在内的100类不同对象，并设置50、75和100三种不同帧率。
b.对LFW的数据库，选取包括626个图像集在内的100个不同对象，每个对象的样本数在15到20之间，每个图像集有5个样本(如剩余不足5个样本，将剩余样本加入该对象的其中一个图像集中)。
c.对每个对象的图像集，选择第一个图像集作为分类时的训练集，剩余的全部作为测试集。
d.提取a中所有图像集的LBP特征和深度特征来验证本发明。
e.提取b中所有图像集的深度特征来验证本发明。
对于YouTube Faces数据库，识别的精度比较如表2所示，从表2可以看到本发明无论是LBP特征还是深度特征，都好于现有技术。
表1 YouTube Faces识别精度
由表1中可以看出，不采用图像集深度特征的情况下，现有方法的识别率明显很低，很难到达实际应用的场景。在应用了图像集深度特征后，实际精度明显提升很多，而同样采用深度特征的情况下，本发明所采用的技术又比现有技术的识别精度更高。
表2 LFW数据库识别精度
同样，在LFW数据库上的识别精度，在同样采用深度特征的情况下，本发明的识别精度很明显高于现有技术。
相比现有技术，本发明结合联合协同表示和深度特征对图像集进行分类，通过深度特征做基于图像集的人脸识别，很好的将稀疏表示和深度特征相结合，使得基于图像集的人脸识别精度得到很大提升，在增加鲁棒性的同时，有效的利用深度特征比传统特征更具有区分度，使得得到的特征会用更好的鉴别力，进而提高识别率。
此外，本发明提出一个新颖的对图像集人脸识别的分类模型，采用了协同联合表示的模型，测试集中的虚拟最近点和原始的测试集中的样本在训练集上联合协同表示。其系数在类标签层次上是相似的，提出类层次相似性约束可以联合使用测试集中的所有信息。
因此，相比SANP、RNP、CRNP方法，本发明具有如下优点：
与SANP相比。本发明没有像SANP模型中含有较多的表示项和未知的变量。同时SANP中稀疏约束和许多的未知变量，增加了解决SANP模型的难度和复杂性相比，本发明明显要简洁明了得多。
与RNP相比。RNP的模型是分别在每类中的训练集中寻找正则化最近邻的点，但是它忽略了与其他类之间的协作和竞争关系。本发明则充分考虑与其他类之间的协作和竞争这一点。
与CRNP相比。CRNP旨在测试集和整个训练集之间的距离，并没有明确最小化测试集与不同类别训练集的表达距离。本发明则充分考虑这一点，明确了最小化测试集与单个类别训练集的表达距离。
同时，相比以上提到的三种方法，以及实验中验证的的方法，本发明的优点还体现在，充分利用了测试集中的虚拟最近点和原始测试集中样本在整个训练集上的协同表示，以及提出类层次相似性约束可以联合使用测试集中的所有信息。
总之，与目前传统的技术方案相比，本发明方法有更好的鲁棒性、识别性能和较低的算法复杂度。
此外，本发明还提出一种基于深度特征联合表示的图像集人脸识别装置，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上述实施例所述的方法的步骤。
具体地，如图5所示，本实施例图像集人脸识别装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图5中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及图像集人脸识别程序。
在图5所示的装置中，网络接口1004主要用于连接网络服务器，与网络服务器进行数据通信；用户接口1003主要用于与用户终端交互，接收用户输入的指令；而处理器1001可以用于调用存储器1005中存储的图像集人脸识别程序，并执行以下操作：
获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取所述人脸图像集中人脸图像的深度特征；
根据预设的人脸图像深度特征的提取策略，提取预设图像训练集的人脸图像深度特征，创建联合协同表示模型对测试集进行表示；
基于所述联合协同表示模型以及预先创建的卷积神经网络的训练模型进行图像集人脸识别。
进一步地，处理器1001还可以用于调用存储器1005中存储的图像集人脸识别程序，并执行以下操作：
配置人脸图像深度特征的提取策略。
进一步地，处理器1001还可以用于调用存储器1005中存储的图像集人脸识别程序，并执行以下操作：
对于所有实验数据库中的人脸图像，利用人脸特征点检测器检测得到人脸上的5个关键特征点，所述5个关键特征点分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；
根据所述5个关键特征点及对图像进行空间变换提供的5个模板点，对所有实验数据库中的人脸图像进行空间变换，将所有实验数据库中的人脸图像数据裁剪为预定尺寸；
部署对人脸图像进行提取特征的网络训练模型；
利用已训练好的网络训练模型对所有实验数据库中的人脸图像进行特征提取，得到每张图像的深度特征。
进一步地，处理器1001还可以用于调用存储器1005中存储的图像集人脸识别程序，并执行以下操作：
创建图像集人脸识别卷积神经网络的训练模型。
进一步地，处理器1001还可以用于调用存储器1005中存储的图像集人脸识别程序，并执行以下操作：
对于CASIA-WebFace数据库中的每个人脸图像，依据所述人脸图像深度特征的提取策略，得到固定尺寸的需要训练的所有人脸图像；
将所有得到的人脸图像划分为验证集和训练集；
依据所述验证集和训练集，训练所述人脸图像深度特征的提取策略中部署的对人脸图像进行提取特征的网络模型，当网络收敛达到最佳效果时，保存训练模型。
进一步地，处理器1001还可以用于调用存储器1005中存储的图像集人脸识别程序，并执行以下操作：
基于深度特征联合协同表示的图像集人脸识别方法进行验证。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器运行时实现如下操作：
获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取所述人脸图像集中人脸图像的深度特征；
根据预设的人脸图像深度特征的提取策略，提取预设图像训练集的人脸图像深度特征，创建联合协同表示模型对测试集进行表示；
基于所述联合协同表示模型以及预先创建的卷积神经网络的训练模型进行图像集人脸识别。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
配置人脸图像深度特征的提取策略。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
对于所有实验数据库中的人脸图像，利用人脸特征点检测器检测得到人脸上的5个关键特征点，所述5个关键特征点分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；
根据所述5个关键特征点及对图像进行空间变换提供的5个模板点，对所有实验数据库中的人脸图像进行空间变换，将所有实验数据库中的人脸图像数据裁剪为预定尺寸；
部署对人脸图像进行提取特征的网络训练模型；
利用已训练好的网络训练模型对所有实验数据库中的人脸图像进行特征提取，得到每张图像的深度特征。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
创建卷积神经网络的训练模型。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
对于CASIA-WebFace数据库中的每个人脸图像，依据所述人脸图像深度特征的提取策略，得到固定尺寸的需要训练的所有人脸图像；
将所有得到的人脸图像划分为验证集和训练集；
依据所述验证集和训练集，训练所述人脸图像深度特征的提取策略中部署的对人脸图像进行提取特征的网络模型，当网络收敛达到最佳效果时，保存训练模型。
相比现有技术，本发明提出的基于深度特征联合表示的图像集人脸识别方法、装置及存储介质，通过获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取人脸图像集中人脸图像的深度特征；根据提取的人脸图像集中人脸图像的深度特征，以及预先创建的图像集人脸识别卷积神经网络的训练模型，创建联合协同表示模型；基于联合协同表示模型进行图像集人脸识别。本发明利用深度特征做基于图像集的人脸识别，很好地将稀疏表示和深度特征相结合，使得基于图像集的人脸识别精度得到很大提升，在增加鲁棒性的同时，有效地利用深度特征比传统特征更具有区分度，使得得到的特征会有更好的鉴别力，进而提高识别率。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于深度特征联合表示的图像集人脸识别方法，其特征在于，包括：
获取待识别的人脸图像集，作为测试集，根据预设的人脸图像深度特征的提取策略，提取所述人脸图像集中人脸图像的深度特征；
根据预设的人脸图像深度特征的提取策略，提取预设图像训练集的人脸图像深度特征，创建联合协同表示模型对测试集进行表示；
基于所述联合协同表示模型以及预先创建的卷积神经网络的训练模型进行图像集人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述联合协同表示模型包括：测试集上虚拟最近点表示、真实样本表示、类级联合表示。
3.根据权利要求1所述的方法，其特征在于，所述获取待识别的人脸图像集的步骤之前，还包括：
配置人脸图像深度特征的提取策略。
4.根据权利要求3所述的方法，其特征在于，所述配置人脸图像深度特征的提取策略的步骤包括：
对于预设实验数据库中的人脸图像，利用人脸特征点检测器检测得到人脸上的5个关键特征点，所述5个关键特征点分别是左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点；
根据所述5个关键特征点及对图像进行空间变换提供的5个模板点，对所述实验数据库中的人脸图像进行空间变换，将所述实验数据库中的人脸图像数据裁剪为预定尺寸；
部署对人脸图像进行提取特征的网络训练模型；
利用已训练好的网络训练模型对所述实验数据库中的人脸图像进行特征提取，得到每张人脸图像的深度特征。
5.根据权利要求4所述的方法，其特征在于，所述获取待识别的人脸图像集的步骤之前，还包括：
创建卷积神经网络的训练模型。
6.根据权利要求5所述的方法，其特征在于，所述创建卷积神经网络的训练模型的步骤包括：
对于CASIA-WebFace数据库中的每个人脸图像，依据所述人脸图像深度特征的提取策略，得到固定尺寸的需要训练的所有人脸图像；
将所有得到的人脸图像划分为验证集和训练集；
依据所述验证集和训练集，训练所述人脸图像深度特征的提取策略中部署的对人脸图像进行提取特征的网络模型，当网络收敛达到最佳效果时，保存训练模型。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
对基于深度特征联合协同表示的图像集人脸识别方法进行验证。
8.一种图像集人脸识别装置，其特征在于，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如权利要求1-7任意一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如权利要求1-7中任一项所述的方法的步骤。
CN201711210885.8A 2017-11-27 2017-11-27 基于深度特征联合表示图像集人脸识别方法、装置和介质 Pending CN107944398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711210885.8A CN107944398A (zh) 2017-11-27 2017-11-27 基于深度特征联合表示图像集人脸识别方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711210885.8A CN107944398A (zh) 2017-11-27 2017-11-27 基于深度特征联合表示图像集人脸识别方法、装置和介质

Publications (1)

Publication Number Publication Date
CN107944398A true CN107944398A (zh) 2018-04-20

Family

ID=61949277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711210885.8A Pending CN107944398A (zh) 2017-11-27 2017-11-27 基于深度特征联合表示图像集人脸识别方法、装置和介质

Country Status (1)

Country Link
CN (1) CN107944398A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564051A (zh) * 2018-04-23 2018-09-21 广州大学 一种正则化仿射包模型人脸图像集识别的核快速算法
CN109034133A (zh) * 2018-09-03 2018-12-18 北京诚志重科海图科技有限公司 一种人脸识别方法及装置
CN109922355A (zh) * 2019-03-29 2019-06-21 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备
CN110111466A (zh) * 2019-05-08 2019-08-09 广东赛翼智能科技有限公司 一种基于人脸识别技术的门禁系统及控制方法
CN110222566A (zh) * 2019-04-30 2019-09-10 北京迈格威科技有限公司 一种人脸特征的获取方法、装置、终端及存储介质
CN111862040A (zh) * 2020-07-20 2020-10-30 中移（杭州）信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN113836980A (zh) * 2020-06-24 2021-12-24 中兴通讯股份有限公司 人脸识别方法、电子设备以及存储介质
CN114241546A (zh) * 2021-11-18 2022-03-25 南通大学 一种基于多方向局部二值模式的人脸识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809107A (zh) * 2016-02-23 2016-07-27 深圳大学 基于面部特征点的单样本人脸识别方法及系统
CN105825192A (zh) * 2016-03-24 2016-08-03 深圳大学 一种人脸表情识别方法及系统
CN106650694A (zh) * 2016-12-30 2017-05-10 江苏四点灵机器人有限公司 一种以卷积神经网络作为特征提取器的人脸识别方法
CN107016370A (zh) * 2017-04-10 2017-08-04 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809107A (zh) * 2016-02-23 2016-07-27 深圳大学 基于面部特征点的单样本人脸识别方法及系统
CN105825192A (zh) * 2016-03-24 2016-08-03 深圳大学 一种人脸表情识别方法及系统
CN106650694A (zh) * 2016-12-30 2017-05-10 江苏四点灵机器人有限公司 一种以卷积神经网络作为特征提取器的人脸识别方法
CN107016370A (zh) * 2017-04-10 2017-08-04 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUI LI ET AL: "Joint Collaborative Representation with Deep Feature for Image-Set Face Recognition", 《12TH CHINESE CONFERENCE ON BIOMETRIC RECOGNITION》 *
XING WANG ET AL: "Robust Local Representation for Face Recognition with Single Sample Per Person", 《2015 3RD IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION》 *
YI SUN ET AL: "Deep Convolutional Network Cascade for Facial Point Detection", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564051A (zh) * 2018-04-23 2018-09-21 广州大学 一种正则化仿射包模型人脸图像集识别的核快速算法
CN108564051B (zh) * 2018-04-23 2021-10-01 广州大学 一种正则化仿射包模型人脸图像集识别的核快速计算方法
CN109034133A (zh) * 2018-09-03 2018-12-18 北京诚志重科海图科技有限公司 一种人脸识别方法及装置
CN109922355A (zh) * 2019-03-29 2019-06-21 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备
CN110222566A (zh) * 2019-04-30 2019-09-10 北京迈格威科技有限公司 一种人脸特征的获取方法、装置、终端及存储介质
CN110111466A (zh) * 2019-05-08 2019-08-09 广东赛翼智能科技有限公司 一种基于人脸识别技术的门禁系统及控制方法
CN113836980A (zh) * 2020-06-24 2021-12-24 中兴通讯股份有限公司 人脸识别方法、电子设备以及存储介质
CN111862040A (zh) * 2020-07-20 2020-10-30 中移（杭州）信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN111862040B (zh) * 2020-07-20 2023-10-31 中移（杭州）信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN114241546A (zh) * 2021-11-18 2022-03-25 南通大学 一种基于多方向局部二值模式的人脸识别方法

Similar Documents

Publication Publication Date Title
CN107944398A (zh) 基于深度特征联合表示图像集人脸识别方法、装置和介质
US10354159B2 (en) Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network
WO2021077984A1 (zh) 对象识别方法、装置、电子设备及可读存储介质
JP6754619B2 (ja) 顔認識方法及び装置
CN108629168B (zh) 脸部验证方法、设备以及计算设备
KR102174595B1 (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
EP3023911B1 (en) Method and apparatus for recognizing object, and method and apparatus for training recognizer
JP6403233B2 (ja) ユーザー認証方法、これを実行する装置及びこれを保存した記録媒体
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
US20180096457A1 (en) Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
Martinez et al. Local evidence aggregation for regression-based facial point detection
Sagonas et al. 300 faces in-the-wild challenge: The first facial landmark localization challenge
CN106778796B (zh) 基于混合式协同训练的人体动作识别方法及系统
US20180157892A1 (en) Eye detection method and apparatus
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
US20160092726A1 (en) Using gestures to train hand detection in ego-centric video
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN111582027B (zh) 身份认证方法、装置、计算机设备和存储介质
US20220129670A1 (en) Distractor classifier
CN111667001A (zh) 目标重识别方法、装置、计算机设备和存储介质
WO2022103684A1 (en) Face-aware person re-identification system
WO2020037962A1 (zh) 面部图像校正方法、装置及存储介质
Robert et al. Mouth features extraction for emotion classification
KR101961462B1 (ko) 객체 인식 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication