CN107330382A - 基于局部卷积特征联合表示的单样本人脸识别方法及装置 - Google Patents

基于局部卷积特征联合表示的单样本人脸识别方法及装置 Download PDF

Info

Publication number
CN107330382A
CN107330382A CN201710456730.6A CN201710456730A CN107330382A CN 107330382 A CN107330382 A CN 107330382A CN 201710456730 A CN201710456730 A CN 201710456730A CN 107330382 A CN107330382 A CN 107330382A
Authority
CN
China
Prior art keywords
feature
characteristic point
class
image
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710456730.6A
Other languages
English (en)
Inventor
杨猛
王兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710456730.6A priority Critical patent/CN107330382A/zh
Publication of CN107330382A publication Critical patent/CN107330382A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明适用计算机视觉和模式识别技术领域,提供了一种基于局部卷积特征联合表示的单样本人脸识别方法及装置,该方法包括:通过特征点划分方式在待识别人脸图像的预设数量个特征点处提取对应的待识别图像块;将每个待识别图像块输入每个特征点对应的局部自适应卷积网络,以提取每个特征点的特征;根据类内变化字典和查询字典计算待识别人脸图像上所有特征点特征的联合表示,根据投影矩阵和临时矩阵,计算在联合表示中每个特征点特征的表示系数;根据表示系数、类内变化字典和待识别人脸图像上每个特征点的特征,确定待识别人脸图像的身份,从而有效地提高了人脸识别的鲁棒性,降低了人脸识别的时间消耗,有效地提高了人脸识别效率和识别准确率。

Description

基于局部卷积特征联合表示的单样本人脸识别方法及装置
技术领域
本发明属于计算机视觉和模式识别技术领域,尤其涉及一种基于局部卷积特征联合表示的单样本人脸识别方法及装置。
背景技术
在计算机视觉和模式识别邻域,人脸识别存在巨大的市场价值,一直受到学术界和工业界的广泛关注。在人脸识别过程中,同一个人在不同环境下拍摄得到的人脸图像通常存在较大差异,例如人脸局部遮挡、光照不同、表情不同以及姿态不同等,因此要求人脸识别算法具备较好的鲁棒性。在实际应用中,数据库中的每个人可能只存在一张人脸图像(例如电子护照人脸图像、驾驶证人脸图像等),这种情况下的人脸识别被称为单样本人脸识别,单样本人脸识别非常困难,数据库中可以利用的信息非常有限,难以预测待识别人脸图像的变化。
目前的单样本人脸识别方法可被分为两类,不需要利用广义训练集的方法和利用了广义训练集的方法。不需要利用广义训练集的方法在一定程度上提高了人脸识别的性能,但未对单样本组成的训练集引入附加的变化信息,识别能力不足。利用了广义训练集的方法能够从广义集中提取人脸变化信息来补偿单样本训练集表达能力不足的缺点,以便处理待识别人脸图像的各种变化,提高识别能力。
目前,研究人员对利用了广义训练集的单样本人脸识别方法进行了一定的研究,并取得一定的成果,例如,Deng等在2012年提出了扩展的稀疏表示分类器(ESRC),Zhu等在2014年提出了局部广义表示方法(LGR)。然而,ESRC使用整体人脸图像作为特征向量且需要求解有稀疏约束的优化问题,存在鲁棒性能不太好、计算复杂度高的问题,LGR通过将整体图像按照行列均等划分为多个小块,对每个小块进行编码表示,综合各个小块的表示误差推断出人类身份,LGR的鲁棒性有所提高,但忽略了对人脸某些易于鉴别的局部部位(如眼睛、鼻子、嘴巴)的利用,此外,LGR识别时涉及对此矩阵求逆运算,导致识别时计算非常耗时。另外,ESRC和LGR都是用灰度特征来表示人脸图像,灰度特征对人脸图像的非线性变化(如表情变化、姿态变化)鲁棒性不足,导致识别性能下降,LGR在对每个小块进行表示时忽略了各个小块来自同一个人的事实。可见,在对人脸图像的非线性变换进行识别时,现有的人脸识别算法存在鲁棒性不好、识别耗时的缺点。
发明内容
本发明的目的在于提供一种基于局部卷积特征联合表示的单样本人脸识别方法及装置,旨在解决在现有技术中的单样本人脸识别方法的鲁棒性较差、识别效率低且识别准确度不高的问题。
一方面,本发明提供了一种基于局部卷积特征联合表示的单样本人脸识别方法,所述方法包括下述步骤:
接收待识别人脸图像,通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块;
将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络,以提取所述待识别人脸图像上所述每个特征点的特征;
根据预设类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示,根据预设投影矩阵和临时矩阵,计算在所述联合表示中所述待识别人脸图像上所述每个特征点特征的表示系数;
根据所述表示系数、类内变化字典和所述待识别人脸图像上所述每个特征点的特征,确定所述待识别人脸图像的身份。
另一方面,本发明提供了一种基于局部卷积特征联合表示的单样本人脸识别装置,所述装置包括:
图像划分单元,用于接收待识别人脸图像,通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块;
特征提取单元,用于将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络,以提取所述待识别人脸图像上所述每个特征点的特征;
系数计算单元,用于根据预设类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示,根据预设投影矩阵和临时矩阵,计算在所述联合表示中所述待识别人脸图像上所述每个特征点特征的表示系数;以及
身份确定单元,用于根据所述表示系数、类内变化字典和所述待识别人脸图像上所述每个特征点的特征,确定所述待识别人脸图像的身份。
本发明通过预设的特征划分方法将待识别人脸图像划分为每个特征点对应的待识别图像块,通过训练好的局部自适应卷积网络提取对应待识别图像块的特征,使得提取到的特征具备较好的鲁棒性和鉴别能力,根据类别变化字典和查询字典计算待识别人脸图像上所有特征点特征的联合表示,并计算联合表示中待识别人脸图像上每个特征点特征的表示系数,通过采用联合表示的思想,无需求解复杂的稀疏约束优化问题就可以直接得到表示系数,也无需在识别阶段计算每个特征点的投影矩阵和临时矩阵,大大降低了人脸识别的时间消耗,从而有效地提高了人脸识别的效率和识别准确度。
附图说明
图1是本发明实施例一提供的基于局部卷积特征联合表示的单样本人脸识别方法的实现流程图;
图2是本发明实施例二提供的基于局部卷积特征联合表示的单样本人脸识别方法中局部自适应卷积网络训练、类内变化字典、查询字典、投影矩阵和临时矩阵计算的实现流程图;
图3是本发明实施例三提供的基于局部卷积特征联合表示的单样本人脸识别装置的结构示意图;以及
图4是本发明实施例三提供的基于局部卷积特征联合表示的单样本人脸识别装置的优选结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的基于局部卷积特征联合表示的单样本人脸识别方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,接收待识别人脸图像,通过预设特征点划分方式在待识别人脸图像的预设数量个特征点处提取对应的待识别图像块。
在本发明实施例中,通过特征点划分方法,在待识别人脸图像的预设数量个特征点处提取对应的待识别图像块,即将待识别人脸图像划分为预设数量个待识别图像块。
具体地,先通过预设的人脸特征点检测器检测待识别人脸图像上人脸的关键特征点,以充分利用人脸中具备高鉴别能力的关键特征点,这些关键特征点可包括左眼睛中心点、右眼睛中心点、鼻尖、嘴巴左角点、嘴巴右角点,再在待识别人脸图像上进行特征点的均匀采样,由关键特征点和采样后的采样点一起构成所有的特征点,以所有特征点为中心,在待识别人脸图像上提取每个特征点对应的块区域,其中所有采样点对应的块区域之和可大致覆盖整个人脸区域。
作为示例地,假设待识别人脸图像的图像分辨率大小为L×L,每个特征点对应的块区域大小为d×d,则采样点数目为S=(L÷d)×(L÷d)。
在步骤S102中,将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络,以提取待识别人脸图像上每个特征点的特征。
在本发明实施例中,局部自适应卷积网络与特征点一一对应,用来提取每个特征点对应待识别图像块中的局部自适应卷积特征,从而通过训练出的局部自适应卷积网络提取待识别人脸图像局部区域的高层语义特征,有效地提高了提取到的特征的鲁棒性和鉴别能力。局部自适应卷积网络的训练可参照实施例二的内容。
在步骤S103中,根据预设类内变化字典和查询字典计算待识别人脸图像上所有特征点特征的联合表示,根据预设投影矩阵和临时矩阵,计算在联合表示中待识别人脸图像上每个特征点特征的表示系数。
在本发明实施例中,类内变化字典根据每类人脸图像中参考图像和变化图像的特征差别计算得到,查询字典根据预设查询人脸库中的人脸图像的特征计算得到,其中,查询人脸库为待识别人脸图像的查询范围,在这个库中每个人只存储了一张人脸图像,对应于单样本人脸识别的情形。
类内变化字典、查询字典、投影矩阵和临时矩阵的生成可参照实施例二的内容。根据类内变化字典、查询字典,计算待识别人脸图像上所有特征点的特征的联合表示,计算公式为:
其中,yk为待识别人脸图像上第k个特征点的特征,Gk为第k个特征点对应的查询字典,Dk为第k个特征点对应的类内变化字典,αk为待识别人脸图像上第k个特征点特征的表示系数,K为特征点的数量,λ、μ为预设参数。因此,通过计算联合表示可得到下述计算待识别人脸图像上每个特征点特征的表示系数的公式:
其中,αk,0=Pk[GkDk]TykPk为第k个特征点对应的投影矩阵,M为临时矩阵。
在本发明实施例中,通过特征的联合表示实现对待识别人脸图像各个局部区域的联合表示,使得各个局部区域的表示系数相似,从而可以充分利用这些局部区域来自同一张人脸的先验知识,进而提高人脸识别率。
在步骤S104中,根据表示系数、类内变化字典、查询字典和待识别人脸图像上每个特征点的特征,确定待识别人脸图像的身份。
在本发明实施例中,待识别人脸图像上每个特征点特征的表示系数αk可写成αk=[ρk;βk],ρk为第k个特征点的特征对应于查询字典的表示系数,βk为第k个特征点的特征对应于类内变化字典的表示系数,ρk又可写为ρk=[ρ1k2k,…ρjk,…,ρJk],ρjk为第k个特征点的特征对应于查询字典中第j个特征的表示系数,因此可通过下列公式计算待识别人脸图像的身份ID为:
在本发明实施例中,基于特征点对待识别人脸图像进行划分,通过训练好的局部自适应卷积网络对划分得到的待识别图形块进行特征提取,在增加特征的鲁棒性的同时充分利用了人脸中易鉴别的关键特征点,有效地提高人脸识别率,通过特征的联合表示计算得到每个特征的表示系数,无需进行复杂的运算,也无需在识别过程中计算临时矩阵、为每个特征点计算投影矩阵,有效地降低了人脸识别的耗时,从而有效地提高了人脸识别的识别效率和识别准确度。
实施例二:
图2示出了本发明实施例二提供的基于局部卷积特征联合表示的单样本人脸识别方法中局部自适应卷积网络训练、类内变化字典、查询字典、投影矩阵和临时矩阵计算过程的流程,为了便于说明,仅示出了与本发明实施例相关的部分。
在本发明实施例里中,人脸识别方法中的训练过程训练得到了局部自适应卷积网络、并计算出类内变化字典、查询字典、投影矩阵和临时矩阵,详述如下:
在步骤S201中,在预设第一训练库人脸图像上每个特征点处提取对应的第一图像块,根据每个第一图像块,训练每个特征点对应的局部自适应卷积网络。
在本发明实施例中,可根据实施例一种的特征点划分方式,在第一训练库中每张人脸库上的每个特征点处提取对应的第一图像块,并将每个特征点对应的第一图像块输入每个特征点对应的局部自适应卷积网络,以训练每个特征点对应的局部自适应卷积网络。作为示例地,可采用CASIA-WebFace数据库作为第一训练库。
在步骤S202中,通过局部自适应卷积网络,分别在预设第二训练库中参考图像和变化图像上提取每个特征点的特征,根据参考图像和变化图像上每个特征点的特征,构建类内变化字典。
在本发明实施例中,第二训练库可为学术界标准的人脸数据库AR数据库、Multi-PIE数据库等,这些数据库是在实验室环境中拍摄得到的,包括各种不同的光照变化、表情变化以及姿态变化,在这些数据库的每类人脸图像(即每个人的人脸图像)中都存在一张中性表情、标准光照的正脸图像,将该图形作为相应类别人脸图像中的参考图像,在每类人脸图像中的其它图像则为变化图像。
在本发明实施例中,通过特征点划分方式分别提取每类人脸图像中参考图形上每个特征点对应的图像块、变化图像上每个特征点对应的图像块,再通过局部自适应卷积网络提取参考图像上每个特征点的特征、变化图像上特征点的特征,根据每类人脸图像的参考图像上每个特征点的特征、变化图像上特征点的特征,可构造得到每类人脸图像对应的类内变化子字典:
其中,Dqk为第二训练库中第q类人脸图像对应的第k个类内变化子字典,即第q类人脸图像上第k个特征点对应的类内变化字典,分别为第q类人脸图像的第一张变化图像中、参考图像中的第k个特征点的特征,N为第q类人脸图像中变化图像的数量。由所有类别的人脸图像在特征点处的类内变化子字典即可构成该特征点处的类内变化字典:
Dk=[D1k,D2k,…,DQk],其中,Dk为第k个特征点对应的类内变化字典,Q为第二训练库中人脸图像的类别数量。
在步骤S203中,通过局部自适应卷积网络,在预设查询人脸库中人脸图像上提取每个特征点的特征,根据查询人脸库人脸图像上每个特征点的特征,构建查询字典。
在本发明实施例中,查询人脸库中为待识别人脸图像的查询范围,查询人脸库中的每个人只对应一张人脸图像,以模拟实际情况中的单样本人脸识别。通过局部自适应卷积网络提取查询人脸库中每张人脸图像上每个特征点的特征,由每个特征点的所有特征构成该特征点对应的查询字典。具体地,查询字典的构建公式为:
Gk=[g1k,g2k,…,gjk,…,gJk],其中,Gk为第k个特征点对应的查询字典,gjk为查询人脸库中第j张图像上第k个特征点的特征,j=1,2,…,J,J为查询人脸库中图像总数。
在步骤S204中,根据类内变化字典和查询字典,计算每个特征点对应的投影矩阵,根据所有投影矩阵计算临时矩阵。
在本发明实施例中,每个特征点对应的投影矩阵的计算公式可为:
Pk=([GkDk]T[GkDk]+(λ+μ)I)-1,其中,I为单位矩阵,Pk为第k个特征点对应的投影矩阵。根据所有的投影矩阵,临时矩阵的计算公式为:
其中,M为临时矩阵。
在本发明实施例中,通过基于特征点的人脸图像划分方式,训练得到局部自适应卷积网络,并通过局部自适应卷积网络进行人脸特征提取,构建得到类内变化字典、查询字典、投影矩阵以及临时矩阵,不仅有效地提高了人脸特征的鲁棒性并充分利用了人脸中易于鉴别的关节特征点,还有效地降低了人脸识别的耗时时长,有效地提高了人脸识别的识别效率和识别准确度。
实施例三:
图3示出了本发明实施例三提供的基于局部卷积特征联合表示的单样本人脸识别装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
图像划分单元31,用于接收待识别人脸图像,通过预设特征点划分方式在待识别人脸图像的预设数量个特征点处提取对应的待识别图像块;
特征提取单元32,用于将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络,以提取待识别人脸图像上每个特征点的特征;
系数计算单元33,用于根据预设类内变化字典和查询字典计算待识别人脸图像上所有特征点特征的联合表示,根据预设投影矩阵和临时矩阵,计算在联合表示中待识别人脸图像上每个特征点特征的表示系数;以及
身份确定单元34,用于根据表示系数、类内变化字典和待识别人脸图像上每个特征点的特征,确定待识别人脸图像的身份。
优选地,如图4所示,基于局部卷积特征联合表示的单样本人脸识别装置还包括网络训练单元41、类内变化字典构建单元42、查询字典构建单元43和矩阵计算单元44,其中:
网络训练单元41,用于在预设第一训练库人脸图像上每个特征点处提取对应的第一图像块,根据每个第一图像块,训练每个特征点对应的局部自适应卷积网络;
类内变化字典构建单元42,用于通过局部自适应卷积网络,分别在预设第二训练库中参考图像和变化图像上提取每个特征点的特征,根据参考图像和变化图像上每个特征点的特征,构建类内变化字典;
查询字典构建单元43,用于通过局部自适应卷积网络,在预设查询人脸库中人脸图像上提取每个特征点的特征,根据查询人脸库人脸图像上每个特征点的特征,构建查询字典;以及
矩阵计算单元44,用于根据类内变化字典和查询字典,计算每个特征点对应的投影矩阵,根据所有投影矩阵计算临时矩阵。
优选地,类内变化字典构建单元42包括图像获取单元421、特征提取单元422、子字典构建单元423和字典构建单元424,其中:
图像获取单元421,用于获取第二训练库中每类人脸图像中的参考图像和变化图像,参考图像为表情中性、光照标准的正脸图像,每类人脸图像中除参考图像以外的图像为变化图像;
特征分别提取单元422,用于通过局部自适应卷积网络,分别提取第二训练库中每类人脸图像中参考图像和变化图像上特征点的特征;
子字典构建单元423,用于根据第二训练库中每类人脸图像中参考图像和变化图像上特征点的特征,构建第二训练库中每类人脸图像对应的类内变化子字典,类内变化子字典的构造公式为:
其中,Dqk为第二训练库中第q类人脸图像对应的第k个类内变化子字典,分别为第q类人脸图像的第一张变化图像中、参考图像中的第k个特征点的特征,N为第q类人脸图像中变化图像的数量;以及
字典构建单元424,用于将所有类内变化子字典组合为每个特征点对应的类内变化字典,类内变化字典的构造公式为:
Dk=[D1k,D2k,…,DQk],其中,Dk为第k个特征点对应的类内变化字典,Q为第二训练库中人脸图像的类别数量。
在本发明实施例中,基于特征点对待识别人脸图像进行划分,通过训练好的局部自适应卷积网络对划分得到的待识别图形块进行特征提取,在增加特征的鲁棒性的同时充分利用了人脸中易鉴别的关键特征点,有效地提高人脸识别率,通过特征的联合表示计算得到每个特征的表示系数,无需进行复杂的运算,也无需在识别过程中计算临时矩阵、为每个特征点计算投影矩阵,有效地降低了人脸识别的耗时,从而有效地提高了人脸识别的识别效率和识别准确度。本发明实施例的各单元的具体实施内容可参照实施例一、实施例二中对应步骤中的描述,不再赘述。
在本发明实施例中,基于局部卷积特征联合表示的单样本人脸识别装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。

Claims (8)

1.一种基于局部卷积特征联合表示的单样本人脸识别方法,其特征在于,所述方法包括下述步骤:
接收待识别人脸图像,通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块;
将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络,以提取所述待识别人脸图像上所述每个特征点的特征;
根据预设类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示,根据预设投影矩阵和临时矩阵,计算在所述联合表示中所述待识别人脸图像上所述每个特征点特征的表示系数;
根据所述表示系数、类内变化字典、查询字典和所述待识别人脸图像上所述每个特征点的特征,确定所述待识别人脸图像的身份。
2.如权利要求1所述的方法,其特征在于,接收待识别人脸图像,通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块的步骤之前,所述方法还包括:
在预设第一训练库人脸图像上所述每个特征点处提取对应的第一图像块,根据每个第一图像块,训练所述每个特征点对应的局部自适应卷积网络;
通过所述局部自适应卷积网络,分别在预设第二训练库中参考图像和变化图像上提取所述每个特征点的特征,根据所述参考图像和变化图像上所述每个特征点的特征,构建所述类内变化字典;
通过所述局部自适应卷积网络,在预设查询人脸库中人脸图像上提取所述每个特征点的特征,根据所述查询人脸库人脸图像上所述每个特征点的特征,构建所述查询字典;
根据所述类内变化字典和查询字典,计算所述每个特征点对应的投影矩阵,根据所有投影矩阵计算所述临时矩阵。
3.如权利要求2所述的方法,其特征在于,通过所述局部自适应卷积网络,分别在预设第二训练库中每人的参考图像和变化图像上提取所述每个特征点的特征,根据所述参考图像和变化图像上所述每个特征点的特征,构建所述类内变化字典的步骤包括:
获取所述第二训练库中每类人脸图像中的参考图像和变化图像,所述参考图像为表情中性、光照标准的正脸图像,所述每类人脸图像中除所述参考图像以外的图像为变化图像;
通过所述局部自适应卷积网络,分别提取所述第二训练库中每类人脸图像中参考图像和变化图像上所述特征点的特征;
根据所述第二训练库中每类人脸图像中参考图像和变化图像上所述特征点的特征,构建所述第二训练库中每类人脸图像对应的类内变化子字典,所述类内变化子字典的构造公式为:
其中,所述Dqk为所述第二训练库中第q类人脸图像对应的第k个类内变化子字典,所述分别为所述第q类人脸图像的第一张变化图像中、参考图像中的第k个特征点的特征,所述N为所述第q类人脸图像中变化图像的数量;
将所述所有类内变化子字典组合为所述每个特征点对应的类内变化字典,所述类内变化字典的构造公式为:
Dk=[D1k,D2k,…,DQk],其中,Dk为第k个特征点对应的类内变化字典,Q为所述第二训练库中人脸图像的类别数量。
4.如权利要求2所述的方法,其特征在于,接收待识别人脸图像,通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块的步骤,包括:
检测所述待识别人脸图像上人脸的关键特征点,并在所述该识别人脸图像上进行所述特征点的均匀采样;
将所述关键特征点和所述均匀采样后的采样点一起构成所述所有特征点,以所述每个特征点为中心,提取所述每个特征点对应的块区域。
5.如权利要求1所述的方法,其特征在于,根据预设类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示,根据预设投影矩阵和临时矩阵,计算在所述联合表示中所述待识别人脸图像上所述每个特征点特征的表示系数的步骤,包括:
根据所述类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示,所述联合表示的计算公式为:
其中,所述yk为所述待识别人脸图像上第k个特征点的特征,所述Gk为所述第k个特征点对应的查询字典,所述αk为所述待识别人脸图像上第k个特征点特征的表示系数,所述K为所述预设数量,所述λ、μ为预设参数;
根据所述投影矩阵、临时矩阵和联合表示的计算结果,计算所述待识别人脸图像上所述每个特征点特征的表示系数,所述表示系数的计算公式为:
其中,所述Pk为所述第k个特征点对应的投影矩阵,所述M为所述临时矩阵。
6.一种基于局部卷积特征联合表示的单样本人脸识别装置,其特征在于,所述装置包括:
图像划分单元,用于接收待识别人脸图像,通过预设特征点划分方式在所述待识别人脸图像的预设数量个特征点处提取对应的待识别图像块;
特征提取单元,用于将每个待识别图像块输入每个特征点对应的训练好的局部自适应卷积网络,以提取所述待识别人脸图像上所述每个特征点的特征;
系数计算单元,用于根据预设类内变化字典和查询字典计算所述待识别人脸图像上所述所有特征点特征的联合表示,根据预设投影矩阵和临时矩阵,计算在所述联合表示中所述待识别人脸图像上所述每个特征点特征的表示系数;以及
身份确定单元,用于根据所述表示系数、类内变化字典和所述待识别人脸图像上所述每个特征点的特征,确定所述待识别人脸图像的身份。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
网络训练单元,用于在预设第一训练库人脸图像上所述每个特征点处提取对应的第一图像块,根据每个第一图像块,训练所述每个特征点对应的局部自适应卷积网络;
类内变化字典构建单元,用于通过所述局部自适应卷积网络,分别在预设第二训练库中参考图像和变化图像上提取所述每个特征点的特征,根据所述参考图像和变化图像上所述每个特征点的特征,构建所述类内变化字典;
查询字典构建单元,用于通过所述局部自适应卷积网络,在预设查询人脸库中人脸图像上提取所述每个特征点的特征,根据所述查询人脸库人脸图像上所述每个特征点的特征,构建所述查询字典;以及
矩阵计算单元,用于根据所述类内变化字典和查询字典,计算所述每个特征点对应的投影矩阵,根据所有投影矩阵计算所述临时矩阵。
8.如权利要求7所述的装置,其特征在于,所述类内变化字典构建单元包括:
图像获取单元,用于获取所述第二训练库中每类人脸图像中的参考图像和变化图像,所述参考图像为表情中性、光照标准的正脸图像,所述每类人脸图像中除所述参考图像以外的图像为变化图像;
特征分别提取单元,用于通过所述局部自适应卷积网络,分别提取所述第二训练库中每类人脸图像中参考图像和变化图像上所述特征点的特征;
子字典构建单元,用于根据所述第二训练库中每类人脸图像中参考图像和变化图像上所述特征点的特征,构建所述第二训练库中每类人脸图像对应的类内变化子字典,所述类内变化子字典的构造公式为:
其中,所述Dqk为所述第二训练库中第q类人脸图像对应的第k个类内变化子字典,所述分别为所述第q类人脸图像的第一张变化图像中、参考图像中的第k个特征点的特征,所述N为所述第q类人脸图像中变化图像的数量;以及
字典构建单元,用于将所述所有类内变化子字典组合为所述每个特征点对应的类内变化字典,所述类内变化字典的构造公式为:
Dk=[D1k,D2k,…,DQk],其中,Dk为第k个特征点对应的类内变化字典,Q为所述第二训练库中人脸图像的类别数量。
CN201710456730.6A 2017-06-16 2017-06-16 基于局部卷积特征联合表示的单样本人脸识别方法及装置 Pending CN107330382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710456730.6A CN107330382A (zh) 2017-06-16 2017-06-16 基于局部卷积特征联合表示的单样本人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710456730.6A CN107330382A (zh) 2017-06-16 2017-06-16 基于局部卷积特征联合表示的单样本人脸识别方法及装置

Publications (1)

Publication Number Publication Date
CN107330382A true CN107330382A (zh) 2017-11-07

Family

ID=60195505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710456730.6A Pending CN107330382A (zh) 2017-06-16 2017-06-16 基于局部卷积特征联合表示的单样本人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN107330382A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020185525A1 (en) 2019-03-08 2020-09-17 Stone Lock Global, Inc. Methods and apparatus for facial recognition
CN113657259A (zh) * 2021-08-16 2021-11-16 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法
US11651623B2 (en) 2012-09-07 2023-05-16 Stone Lock Global, Inc. Methods and apparatus for outdoor access control using biometric verification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737234A (zh) * 2012-06-21 2012-10-17 北京工业大学 基于Gabor滤波和联合稀疏模型的人脸识别方法
CN104166842A (zh) * 2014-07-25 2014-11-26 同济大学 一种基于分块统计特征与联合表示的三维掌纹识别方法
CN104392246A (zh) * 2014-12-03 2015-03-04 北京理工大学 一种基于类间类内面部变化字典的单样本人脸识别方法
CN105809107A (zh) * 2016-02-23 2016-07-27 深圳大学 基于面部特征点的单样本人脸识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737234A (zh) * 2012-06-21 2012-10-17 北京工业大学 基于Gabor滤波和联合稀疏模型的人脸识别方法
CN104166842A (zh) * 2014-07-25 2014-11-26 同济大学 一种基于分块统计特征与联合表示的三维掌纹识别方法
CN104392246A (zh) * 2014-12-03 2015-03-04 北京理工大学 一种基于类间类内面部变化字典的单样本人脸识别方法
CN105809107A (zh) * 2016-02-23 2016-07-27 深圳大学 基于面部特征点的单样本人脸识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MENG YANG ET AL: "Joint and collaborative representation with local adaptive convolution feature for face recognition with single sample per person", 《PATTERN RECOGNITION》 *
MENG YANG ET AL: "Local Variation Joint Representation for Face Recognition with Single Sample per Person", 《CHINESE CONFERENCE ON COMPUTER VISION》 *
XING WANG ET AL: "Robust Local Representation for Face Recognition with Single Sample Per Person", 《2015 3RD IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651623B2 (en) 2012-09-07 2023-05-16 Stone Lock Global, Inc. Methods and apparatus for outdoor access control using biometric verification
WO2020185525A1 (en) 2019-03-08 2020-09-17 Stone Lock Global, Inc. Methods and apparatus for facial recognition
EP3935563A4 (en) * 2019-03-08 2023-03-29 Stone Lock Global, Inc. FACIAL RECOGNITION METHODS AND APPARATUS
CN113657259A (zh) * 2021-08-16 2021-11-16 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法
CN113657259B (zh) * 2021-08-16 2023-07-21 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法

Similar Documents

Publication Publication Date Title
CN104850825B (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN100361138C (zh) 视频序列中人脸的实时检测与持续跟踪的方法及系统
CN106096535A (zh) 一种基于双线性联合cnn的人脸验证方法
CN110084156A (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN108764041A (zh) 用于下部遮挡人脸图像的人脸识别方法
CN104392246B (zh) 一种基于类间类内面部变化字典的单样本人脸识别方法
CN106599797A (zh) 一种基于局部并行神经网络的红外人脸识别方法
CN106529504B (zh) 一种复合时空特征的双模态视频情感识别方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN103605972A (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN106203284B (zh) 基于卷积神经网络和条件随机场的人脸检测方法
CN109145717A (zh) 一种在线学习的人脸识别方法
CN104008375A (zh) 基于特征融合的集成人脸识别方法
CN102799872B (zh) 基于面部图像特征的图像处理方法
CN105335719A (zh) 活体检测方法及装置
CN108960288B (zh) 基于卷积神经网络的三维模型分类方法及系统
CN109902585A (zh) 一种基于图模型的手指三模态融合识别方法
CN108875907A (zh) 一种基于深度学习的指纹识别方法和装置
CN105956570B (zh) 基于唇部特征和深度学习的笑脸识别方法
CN101169830A (zh) 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
CN113792635A (zh) 一种基于轻量化卷积神经网络的手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication