CN106462724B - 基于规范化图像校验面部图像的方法和系统 - Google Patents

基于规范化图像校验面部图像的方法和系统 Download PDF

Info

Publication number
CN106462724B
CN106462724B CN201480077597.8A CN201480077597A CN106462724B CN 106462724 B CN106462724 B CN 106462724B CN 201480077597 A CN201480077597 A CN 201480077597A CN 106462724 B CN106462724 B CN 106462724B
Authority
CN
China
Prior art keywords
image
network
face
normalized images
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480077597.8A
Other languages
English (en)
Other versions
CN106462724A (zh
Inventor
汤晓鸥
朱臻垚
罗平
王晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of CN106462724A publication Critical patent/CN106462724A/zh
Application granted granted Critical
Publication of CN106462724B publication Critical patent/CN106462724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了基于规范化图像校验面部图像的系统和方法。该方法包括：从标识的多个面部图像中获得具有最小正面测量值的面部图像以作为标识的代表图像；基于所获得的代表图像与标识的多个面部图像之间的映射确定图像重建网络的参数；通过具有所确定的参数的图像重建网络将至少两个输入面部图像分别重建成相应的规范化图像；以及比较所重建的规范化图像以校验所重建的规范化图像是否属于同一标识，其中代表图像是正面图像以及正面测量值代表每个面部图像的对称性以及面部图像的锐度。通过本方法和系统，可通过仅使用来自原始的处于任意姿态和光照条件下的面部图像的2D信息容易地重建规范化面部图像。

Description

基于规范化图像校验面部图像的方法和系统
技术领域
本申请涉及校验面部图像的方法和系统，具体地，涉及基于规范化图像校验面部图像的方法和系统。
背景技术
在自然环境下获得的面部图像会存在很多个人内在(intra-personal)的变化，诸如在姿态、照明条件、遮挡和分辨率方面。处理面部图像的变化是许多面部相关应用中的主要挑战。
为了处理面部变化，具有多种面部标准化的方法，这些方法从处于许多姿态和不同光照条件下的面部图像复原规范化视图形式(具有正面姿态和中性光照条件)的图像。面部标准化方法可大体分为两类：基于3D的面部重建方法和基于2D的面部重建方法。基于3D的方法旨在通过3D几何转换复原正面姿态。基于2D的方法利用图形模型推导出正面姿态，这些图形模型诸如MRF(Markov Random Field，马尔可夫随机场)，其中，对应物是从处于不同姿态的图像学习得到的。上述方法具有一定的限制，诸如捕捉3D数据增加了额外的成本和资源，而2D面部分析严重依赖于良好的对准，然而标准化的结果往往不平滑。此外，这些方法大部分是基于受控条件下采集的面部图像而评估的，该受控条件如采用的3D信息或受控的2D环境。
因此，为了解决上述问题中的至少一个或多个，期望提供基于规范化图像校验面部图像的系统和方法，其中，每个身份的规范化图像可被自动地选择或分析，从而使得个人内在的变化得以降低而人与人(inter-person)之间的区分能力得以维持。
发明内容
本申请提出了新的面部重建网络，该面部重建网络可从处于任意原始条件下的面部图像重建出规范化图像。这些重建的图像可显著降低个人内在的变化而保持人与人之间的区分能力。此外，该面部重建方法可用于面部校验。
本申请的一方面公开了基于规范化图像校验面部图像的方法。该方法可包括以下步骤：
从一个身份的多个面部图像中获得具有最小正面测量值的面部图像以作为身份的代表图像；
基于所获得的代表图像与身份的多个面部图像之间的映射确定图像重建网络的参数；
通过具有所确定的参数的图像重建网络将至少两个输入面部图像分别重建成相应的规范化图像；以及
比较所重建的规范化图像以校验所重建的规范化图像是否属于同一身份，
其中代表图像是正面图像以及正面测量值代表每个面部图像的对称性和锐度。
本申请的另一方面公开了基于规范化图像校验面部图像的系统。该系统可包括：
获得单元，配置为从一个身份的多个面部图像中获得具有最小正面测量值的面部图像以作为身份的代表图像；
图像重建单元，配置为将输入面部图像分别重建成相应的规范化图像；
确定单元，配置为确定图像重建单元的参数，其中该参数基于由获得单元获得的代表图像与身份的多个面部图像之间的映射确定；以及
比较单元，配置为比较由图像重建网络重建的规范化图像以校验所重建的规范化图像是否属于同一身份，
其中代表图像是正面图像以及正面测量值代表每个面部图像的对称性和锐度。
附图说明
图1是示出了根据本申请一个实施方式的、基于规范化图像校验面部图像的系统的示意图。
图2是示出了根据本申请另一个实施方式的、基于规范化图像校验面部图像的系统的示意图。
图3是示出了根据本申请一个实施方式的、基于规范化图像校验面部图像的方法的示意图。
图4是示出了根据本申请一个实施方式的图像重建网络的流程的示意图。
图5是示出了根据本申请一个实施方式的、图像校验网络的架构的示意图。
具体实施方式
现在将具体参照在附图中示出的示例性实施方式。在适当的情况下，在全文中使用相同的附图标记表示相同或相似的部件。
图1是示出了根据本申请一个实施方式的、基于规范化图像校验面部图像的系统100的示意图。应理解，系统100可使用特定的硬件、软件或其组合来实现。此外，本发明的实施方式可适用于以包含有计算机程序代码的一个或多个计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)的形式实现的计算机程序产品。在系统100通过软件实现的情况下，系统100可包括通用计算机、计算机群组、主流计算机、专用于提供在线内容的计算设备或者包括以集中或分布式的方式运行的一组计算机的计算机网络。
如图1所示，根据本申请一个实施方式的系统100可包括获得单元101、确定单元103、图像重建单元105和比较单元107。
获得单元101可从身份(identity)的多个面部图像获得具有最小正面测量值的面部图像以作为该身份的代表图像，其中，代表图像是正面图像，以及正面测量值代表每个面部图像的对称性和每个面部图像的锐度。本文中，图像的锐度指的是图像矩阵的秩。
在本申请的实施方式中，获得单元101可包括计算单元(未示出)。计算单元可计算多个面部图像中的每个的正面测量值，这将在下文中进行讨论。这些面部图像可从现有的面部数据库或者网络上采集。在本申请的另一实施方式中，获得单元101可包括排序单元(未示出)，该排序单元可按照升序或者降序的方式对计算单元计算出的正面测量值进行排序。相应地，获得单元101可设定第一个面部图像或最后一个面部图像作为身份的代表图像。
确定单元103可确定图像重建单元105的参数。图像重建单元105可将任何输入面部图像重建成相应的规范化图像，其中，规范化图像是处于中性(neutral)照明条件下的正面面部图像。如图4所示，图像重建单元105可通过图像重建网络的形式形成，该图像重建网络可以是多层的神经网络。在本申请的一个实施方式中，图像重建单元105的参数可基于由获得单元101获得的代表图像与身份的多个面部图像之间的映射来确定。随后，具有所确定的参数的图像重建单元105可将任何输入面部图像重建成规范化图像。在本申请的另一实施方式中，确定单元103也可基于身份的面部图像与该同一身份的由图像重建网络105重建的规范化图像之间的转换确定图像重建网络105的参数。即，确定的步骤和重建的步骤可重复地执行以使得单元105的参数可被持续地优化。
比较单元107可比较由图像重建网络105重建的规范化图像以校验其是否属于同一身份。在本申请的一个实施方式中，图像重建网络105可包括具有多个层的子网络，以及确定单元103可基于通过输入图像训练集的映射确定图像重建神经网络的每层的初步参数，其中，在确定图像重建神经网络的每层的初步参数的期间，子网络的前一层的输出被输入到子网络的当前层中；将子网络的最后一层的输出与预期目标比较从而获得它们之间的误差；以及基于所获得的误差微调初步参数以使得图像重建网络的全部参数具体化。例如，如图4所示，网络包括多个卷积层、子采样层和全连接层。下文中将详细讨论确定的步骤。
在本申请的一个实施方式中，如图2所示，系统100还可包括获取单元106和图像校验单元108，其中图像校验单元108可通过如图5所示的多层图像校验神经网络的形式形成。具体地，获取单元106可获取任意两个重建的规范化图像之间的相似度。图像校验网络108可校验一对面部图像是否属于同一身份。根据本申请的一个实施方式，图像校验网络108的参数可由确定单元103基于由获取单元106获取的任意两个重建的规范化图像之间的相似度而确定。
在本申请的一个实施方式中，系统100还可包括选择单元(未示出)，该选择单元可分别从重建的规范化图像中的每个中选择一个或多个面部成分以形成一个或多个面部成分对，每个面部成分对分别包括在规范化图像中与同一面部区域对应的面部成分。获取单元106可获取面部成分对之间的相似度，以及确定单元103可基于由获取单元106获取的面部成分对之间的相似度确定图像校验网络108的参数。在本申请的实施方式中，确定单元103可同时基于重建的面部图像之间的相似度以及面部成分对之间的相似度确定网络108的参数。
在本申请的一个实施方式中，系统100可包括一个或多个处理器(未示出)。处理器可包括中央处理单元(“CPU”)、图形处理单元(“GPU”)或其它适当的信息处理设备。根据使用的硬件类型，处理器可包括一个或多个印刷电路板和/或一个或多个微处理器芯片。此外，处理器可执行计算机程序指令的序列以执行将在下文中更详细地说明的过程1000。
总体而言，本系统具有三个重要贡献。第一，就目前可知，可通过仅使用来自原始面部图像的2D信息重建规范化面部图像。提出了一种新的深度重建网络，其将代表性的面部选择与面部重建相结合，展现出了达到原始面部校验领域的当前技术发展水平的性能。第二，重建的图像具有高的质量。当采用本方法作为标准化步骤时可证实对现有方法具有显著的改善。第三，可贡献比LFW数据集大6倍的面部数据集。
图3示出了根据本申请一个实施方式的、基于规范化图像校验面部图像的过程1000的流程图，这将在下文中详细讨论。
在步骤S1001，可从身份的多个面部图像获得具有最小正面测量值的面部图像作为身份的代表图像。
在该步骤，可从诸如现有的图像数据库或者网络中采集身份的多个面部图像。该多个面部图像处于任意的姿态和照明条件。随后，计算多个面部图像中的每个的正面测量值。随后可将具有最小值的面部图像设定为身份的代表图像。代表图像是身份的处于中性照明条件下的正面面部图像。在本申请的实施方式中，在计算出正面测量值之后，可按照降序对这些值排序并将最后一个设定为身份的代表图像。可替代地，在计算出正面测量值之后，可按照升序对这些值排序并将第一个设定为身份的代表图像。
具体地，从图像集合Di中采集了身份i的多个面部图像，其中，矩阵Υi∈Di表示面部图像集合Di中的面部图像。上述正面测量值通过如下公式(1)来描述：
其中Υi∈R2a×2a，λ是常系数，||·||F是Frobenius范数，||·||*表示作为矩阵奇值的总和的核范数，Ρ,Q∈R2a×2a是两个常矩阵，其中Ρ＝diag([1a,0a])且Q＝diag([0a,1a])，其中diag(·)表示对角矩阵。
公式(1)中的M(Yi)表示身份的面部图像的对称性和锐度。公式(1)中的第一项测量面部的对称性，即面部的左半侧与右半侧之间的差异。明显地，第一项的值越小表示面部越对称。公式(1)的第二项测量面部图像的矩阵的秩。秩是指矩阵中线性独立列的最大值。例如，如果面部图像是模糊的或者是侧脸(背景出现在图像的另一侧，通常作为单色的块，其尺度类似于“特写镜头”)，则线性独立列的数目相对较小，因此第二项的值(具有负号)相对较大。因此，公式(1)的值越小则表示面部越可能是正面视图、更对称、更清晰且几乎没有姿态变化。通过结合对称性和矩阵的秩的这种测量，可高效地自动获得身份处于中性光照条件下身份的正面图像。
在步骤S1002，可基于在步骤S1001获得的代表图像与身份的多个面部图像之间的映射来确定图像重建网络105(如图4所示)的参数。
需要注意的是，可针对任何身份重复执行确定的步骤。例如，在本申请的另一实施方式中，针对身份i，可通过稀疏线性组合Yi＝αi1Di1+αi2Di2+...+αikDik从图像集合Di中选出代表图像Yi，其中Dik是集合Di中的第k个图像(本文中，也称作面部选择，如图4所示)。设定Yi＝αiDi，其中αi＝[αi1,αi2,...,αik,]是系数矢量并且期望该系数矢量是稀疏的。此外，需要增强所选择出的不同身份的面部图像之间的不相关性，这是通过添加正则项来实现的。这是为了维持重建的正面视图图像的区分能力。因此，面部选择可通过下式描述：
其中M(Yi)由公式(1)限定。公式(2)中就Y和α而言的优化问题不是凸象的。然而，如果Y是固定的，则关于α的问题就成为了凸象的Lasso问题，而如果α是固定的，则Y的函数分成了凸象项和凹象项，这是负的核范数。这可通过CCCP(concave-convex procedure，凹凸程序)求解。
在步骤S1003，至少两个输入面部图像通过图像重建网络重建成它们的相应规范化图像。即，图像重建网络可将处于任意姿态下的任何面部图像重建成相应规范化图像，该规范化图像是正面的且处于中性照明条件下(本文中也称作面部复原，如图4所示)。具体地，可通过最小化如下所示的损失误差来重建面部图像：和
其中i是身份的序号，以及k表示身份i的第k个样本，X0和Y分别表示训练图像和目标图像。W是图像重建网络的一组参数。
在本申请的实施方式中，也可基于输入面部图像与由网络105重建的相应规范化图像之间的转换确定图像重建网络的参数。随后，可通过使用参数已被确定的图像重建网络重建任何面部图像。映射是指从一个矢量到另一个矢量的转换。本文中，映射可指代依次进行的非线性映射，从而将身份的多个面部图像的输入图像转换成同一身份的规范化视图图像。
如图4所示，图像重建网络包括多个卷积层。例如，可存在如图4所示的3个层，以及前两个卷积层之后跟随最大池化层以及最后一个层之后跟随全连接层。与传统CNN(convolutional neural network，卷积神经网络)不同(传统CNN的筛选器共享权重)，该网络中的筛选器是局域化的且不共享权重，这是因为本文中假设不同的面部区域应当采用不同的特征。应注意，虽然图4中仅以64×64的尺寸示出了输入X0、输出(预测的图像)以及目标Y，但是这些矩阵可以是本领域技术人员所知的任何尺寸。
再次参照图4，首先所有图像转换成灰阶形式以及它们的照明条件通过本领域所公知的方式修正，因此本文中省略了对该部分内容的详细描述。在每个卷积层，通过学习非共享的筛选器来获得多个(例如，32个)输出通道，其中每个非共享的筛选器例如是5×5的尺寸。子采样层的单元尺寸是2×2。第l个卷积层可通过下式描述：
其中和分别表示图像位置(u,v)处的筛选器和图像包。p和q是输入通道和输出通道的序号。例如，在第一卷积层，p＝1,q＝1,...,32。因此，表示在位置(u,v)处的第q个通道输出；即，向第l+1层的输入。σ(x)＝max(0,x)是修正的线性函数，以及。表示元素间的乘积。偏置矢量用b表示。在全连接层，面部图像通过以下公式重建：
在本申请的实施方式中，面部选择和面部复原可通过结合公式(2)和公式(3)联合学习以及通过下式来对每个身份单独优化：
其中γ,τ,λ,η'是正则项的平衡参数。公式(6)表示每个所选择的图像Yi必须具有正面图像、维持区分性以及最小化损失误差。通过以下步骤迭代地搜索Yi,αi,W的值：
1.固定Yi和W来更新αi：关于αi，公式(6)变成Lasso问题，其可通过FISTA(fastiterative shrinkage-thresholding algorithm，快速迭代收缩阈值算法)有效地求解。
2.固定αi和W来更新Yi：该问题包括三个凸象项(Frobenius范数)和一个凹象项(核范数)，这意味着无法保证得到最优解。迭代更新规则是
其中和是U和V对第一秩列的截断，其中是的SVD。
3.固定αi和Yi来更新W：由于图像重建网络中的激活函数而导致该问题是非线性的。该问题可利用SGD(stochastic gradient descent，随机梯度下降)进行反向传播来求解。
在本申请的实施方式中，如以下算法所示的简单实用的训练过程设计成首先通过使用所有训练样品估计W然后为每个身份选择目标，从而加速上述三个步骤的迭代过程。
随后，在步骤S1004，比较在步骤S1003重建的规范化图像以校验它们是否属于同一身份，即，校验分别与规范化图像对应的面部图像是否属于同一身份。
在本申请的实施方式中，方法1000还可包括获取任意两个重建的规范化图像之间的相似度的步骤以确定图像校验网络的参数，以及该网络的架构如图5所示。随后，具有确定的参数的图像校验网络可校验重建的规范化图像是否属于同一身份。
在本申请的另一实施方式中，方法1000还可包括以下步骤：分别从重建的规范化图像中的每个中选择一个或多个面部成分以形成一个或多个面部成分对，每个面部成分对包括分别与规范化图像中的同一面部区域对应的面部成分。在本申请的另一实施方式中，方法1000还可包括获取面部成分对之间的相似度的步骤以训练图像校验网络的参数。
根据本申请，图像校验网络开发成从成对重建的规范化面部图像中学习分层特征表现。这些特征对于面部校验来说是具有鲁棒性的，因为重建的图像已经去除了大的面部变化。其也具有应用于其它问题的潜力，诸如面部幻觉、面部素描分析和识别。
如图5所示，重建的规范化图像可用作图像校验网络的输入，基于面部成分对之间的相似度以及重建的规范化图像之间的相似度训练图像校验网络的参数。
参照图5，图像校验网络包括五个CNN，每个CNN采用成对的整个面部图像或者面部成分作为输入，面部成分诸如前额、鼻子、眼睛和嘴。图5中示出的整个面部、前额、眼睛、鼻子和嘴的尺寸分别是64×64、22×64、24×64、28×30和20×56。应注意，虽然在图5中将前额、眼睛、鼻子和嘴示作为选择的面部区域，但是在本申请中可选择具有不同尺寸的其它面部区域。在图5中示出的图像校验网络中，每个CNN具有以交替形式布置的两个卷积层和两个子采样层。每个CNN还包括全连接层。类似于图像重建网络，不共享卷积层的筛选器。
在图像校验网络中，每个CNN学习面部成分对或者面部图像的联合表示从而训练CNN的每层的初步参数。在训练期间，前一层的输出被输入到当前层中。随后，最后一层的输出与预期目标作比较从而获得误差。随后，基于所获得的误差，逻辑回归层微调初步参数从而将所有联合表示具体化为特征，以预测两个面部图像是否属于同一身份。
具体地，对于图像校验网络的训练，首先通过无监管的特征学习来训练筛选器。随后，如本领域所公知的，通过利用SGD(stochastic gradient descent，随机梯度下降)进行反向传播来微调图像校验网络。类似于对图像重建网络的训练，将反向传播误差进行反向传递以及随后在每层中更新全连接权重或筛选器。采用熵误差而非损失误差，这是因为需要按照下式预测标签y：
其中是预测的标签，以及等于1表示输入图像属于同一身份，而0则表示输入图像不属于同一身份。
可使用特定的硬件、软件或其组合来实施本申请的实施方式。此外，本发明的实施方式可适用于以包含有计算机程序代码的一个或多个计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)的形式实现的计算机程序产品。
在以上描述中，为了说明的目的，在单个实施方式中结合了各种方面、步骤或部件。本公开不应被解释成为了所要求保护的主题而需要全部公开的变型。以下权利要求并入到该示例性实施方式的说明书中，其中各个权利要求以其自身作为本公开的单独的实施方式。
已经示出和描述了本申请的实施方式及实施例，并且应理解在不背离本申请的范围的前提下可对其作出各种其它改变。

Claims (17)

1.基于规范化图像校验面部图像的方法，包括：
从一个身份的多个面部图像中获得具有最小正面测量值的面部图像以作为所述身份的代表图像；
基于获得的所述代表图像与所述身份的所述多个面部图像之间的映射确定图像重建网络的参数；
通过具有所确定的参数的所述图像重建网络，将至少两个输入面部图像分别重建成相应的规范化图像；以及
比较所重建的规范化图像以校验所重建的规范化图像是否属于同一身份，
其中，所述代表图像是正面图像，所述正面测量值表示每个所述面部图像的对称性和锐度。
2.根据权利要求1所述的方法，在所述重建步骤之后，所述方法还包括：
基于输入面部图像与所重建的相应的规范化图像之间的转换，调节所述图像重建网络的参数。
3.根据权利要求1所述的方法，其中所述图像重建网络包括具有多个层的子网络，以及所述确定的步骤还包括：
基于通过输入图像训练集的映射确定所述图像重建网络的每层的初步参数，其中，在确定所述图像重建网络的每层的初步参数的期间，所述子网络的前一层的输出输入到所述子网络的当前层；
将所述子网络的最后一层的输出与预期目标比较以获得所述子网络的最后一层的输出与所述预期目标之间的误差；以及
基于所获得的误差微调所述初步参数以使得所述图像重建网络的全部参数具体化。
4.根据权利要求1所述的方法，其中，在所述比较之前，所述方法还包括：
获取任意两个重建的规范化图像之间的相似度以用于确定图像校验网络的参数。
5.根据权利要求4所述的方法，还包括：
分别从所重建的规范化图像中的每个中选择一个或多个面部成分以形成一个或多个面部成分对，所述面部成分对中的每个分别包括在所述规范化图像中与同一面部区域对应的面部成分；以及
获取所述面部成分对之间的相似度，以用于确定所述图像校验网络的参数。
6.根据权利要求1所述的方法，其中，所述正面测量值M(Yi)通过下式表示：
其中，Υi∈Di表示面部图像集合Di中的面部图像，
λ是常数，
||·||F是Frobenius范数，
||·||*是核范数，
P、Q表示两个常数矩阵，其中，Ρ＝diag([1a,0a])且Q＝diag([0a,1a])，其中diag(·)表示对角矩阵。
7.基于规范化图像校验面部图像的系统，包括：
获得单元，配置为从一个身份的多个面部图像中获得具有最小正面测量值的面部图像以作为所述身份的代表图像；
图像重建单元，配置为将输入面部图像分别重建成相应的规范化图像；
确定单元，配置为确定所述图像重建单元的参数，其中所述参数基于由所述获得单元获得的所述代表图像与所述身份的所述多个面部图像之间的映射确定；以及
比较单元，配置为比较由所述图像重建单元重建的所述规范化图像以校验所重建的规范化图像是否属于同一身份，
其中所述代表图像是正面图像以及所述正面测量值代表每个所述面部图像的对称性和锐度。
8.根据权利要求7所述的系统，其中所述确定单元还配置为基于输入面部图像与所重建的相应的规范化图像之间的转换，调节所述图像重建网络的参数。
9.根据权利要求7所述的系统，其中所述图像重建单元形成为多层的图像重建神经网络。
10.根据权利要求9所述的系统，其中所述图像重建神经网络包括具有多个层的子网络，以及所述确定单元还配置为基于通过输入图像训练集的映射确定所述图像重建神经网络的每层的初步参数，其中，在所述确定所述图像重建神经网络的每层的初步参数的期间，所述子网络的前一层的输出输入到所述子网络的当前层；
所述确定单元还配置为将所述子网络的最后一层的输出与预期目标比较以获得所述子网络的最后一层的输出与所述预期目标之间的误差，以及基于所获得的误差微调所述初步参数以使得所述图像重建网络的全部参数具体化。
11.根据权利要求8所述的系统，还包括：
获取单元，配置为获取任意两个重建的规范化图像之间的相似度；以及
图像校验单元，配置为校验成对的面部图像是否属于同一身份；
其中，所述确定单元还配置为基于由所述获取单元获取的任意两个重建的规范化图像之间的相似度确定所述图像校验单元的参数。
12.根据权利要求11所述的系统，还包括：
选择单元，配置为分别从所重建的规范化图像中的每个中选择一个或多个面部成分以形成一个或多个面部成分对，所述面部成分对中的每个分别包括在所述规范化图像中与同一面部区域对应的面部成分；以及
其中，所述获取单元还配置为获取所述面部成分对之间的相似度；以及
所述确定单元还配置为基于由所述获取单元获取的所述面部成分对之间的相似度确定所述图像校验单元的参数。
13.根据权利要求7所述的系统，其中，所述正面测量值M(Yi)通过下式表示：
其中，Υi∈Di表示面部图像集合Di中的面部图像，
λ是常数，
||·||F是Frobenius范数，
||·||*是核范数，
P、Q表示两个常数矩阵，其中，Ρ＝diag([1a,0a])且Q＝diag([0a,1a])，其中diag(·)表示对角矩阵。
14.根据权利要求11所述的系统，其中，所述图像校验单元形成为多层的图像校验神经网络。
15.基于规范化图像校验面部图像的方法，包括：
从一个身份的多个面部图像中获得面部图像以作为所述身份的代表图像，其中所述代表图像是正面图像；
基于所获得的代表图像与所述身份的所述多个面部图像之间的映射确定图像重建网络的参数；
通过具有所确定的参数的所述图像重建网络将至少两个输入面部图像分别重建成相应的规范化图像；以及
获取任意两个重建的规范化图像之间的相似度以确定图像校验网络的参数；以及
通过具有所确定的参数的所述图像校验网络校验所重建的规范化图像是否属于同一身份。
16.根据权利要求15所述的方法，其中，所述图像重建网络包括具有多个子网络层，以及所述确定步骤还包括：
基于所述映射通过输入图像训练集确定所述图像重建网络的每层的初步参数，其中，在所述确定期间，子网络的前一层的输出输入到子网络的当前层；
比较子网络的最后一层的输出与预期目标以获得所述子网络的最后一层的输出与所述预期目标之间的误差；以及
基于所获得的误差微调所述初步参数以使得所述图像重建网络的全部参数具体化。
17.根据权利要求15所述的方法，还包括：
分别从所述重建的规范化图像中的每个中选择一个或多个面部成分以形成一个或多个面部成分对，所述面部成分对中的每个分别包括在所述规范化图像中与同一面部区域对应的面部成分；
获取所述面部成分对之间的相似度；
基于所获取的任意两个重建的规范化图像之间的相似度以及所获取的所述面部成分对之间的相似度确定所述图像校验网络的参数。
CN201480077597.8A 2014-04-11 2014-04-11 基于规范化图像校验面部图像的方法和系统 Active CN106462724B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/000389 WO2015154205A1 (en) 2014-04-11 2014-04-11 Methods and systems for verifying face images based on canonical images

Publications (2)

Publication Number Publication Date
CN106462724A CN106462724A (zh) 2017-02-22
CN106462724B true CN106462724B (zh) 2019-08-02

Family

ID=54287072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077597.8A Active CN106462724B (zh) 2014-04-11 2014-04-11 基于规范化图像校验面部图像的方法和系统

Country Status (4)

Country Link
US (1) US10037457B2 (zh)
JP (1) JP6244059B2 (zh)
CN (1) CN106462724B (zh)
WO (1) WO2015154205A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
US9836669B2 (en) 2016-02-22 2017-12-05 International Business Machines Corporation Generating a reference digital image based on an indicated time frame and searching for other images using the reference digital image
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US10043254B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal image transformation based on professionalism score of subject
US10043240B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal cropping of digital image based on professionalism score of subject
CN106127120B (zh) * 2016-06-16 2018-03-13 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机系统
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10691923B2 (en) * 2016-09-30 2020-06-23 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
WO2018063460A1 (en) * 2016-09-30 2018-04-05 General Electric Company System and method for optimization of deep learning architecture
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技（深圳）有限公司 人脸验证方法及装置
US10339408B2 (en) * 2016-12-22 2019-07-02 TCL Research America Inc. Method and device for Quasi-Gibbs structure sampling by deep permutation for person identity inference
US10657446B2 (en) 2017-06-02 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. Sparsity enforcing neural network
US10769261B2 (en) * 2018-05-09 2020-09-08 Futurewei Technologies, Inc. User image verification
EP3853616A4 (en) * 2018-09-20 2021-11-17 Siemens Healthcare Diagnostics, Inc. HYPOTHESIS AND VERIFICATION NETWORKS AND PROCEDURES FOR SAMPLE CLASSIFICATION
CN109636886B (zh) * 2018-12-19 2020-05-12 网易（杭州）网络有限公司 图像的处理方法、装置、存储介质和电子装置
KR20210073135A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
US11302063B2 (en) 2020-07-21 2022-04-12 Facebook Technologies, Llc 3D conversations in an artificial reality environment
US11810397B2 (en) 2020-08-18 2023-11-07 Samsung Electronics Co., Ltd. Method and apparatus with facial image generating
US11461962B1 (en) * 2021-06-28 2022-10-04 Meta Platforms Technologies, Llc Holographic calling for artificial reality
US12099327B2 (en) 2021-06-28 2024-09-24 Meta Platforms Technologies, Llc Holographic calling for artificial reality
US11676329B1 (en) 2022-01-07 2023-06-13 Meta Platforms Technologies, Llc Mobile device holographic calling with front and back camera capture

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
CN101271521A (zh) * 2008-05-13 2008-09-24 清华大学 基于各向异性双树复小波包变换的人脸识别方法
CN101739546A (zh) * 2008-11-05 2010-06-16 沈阳工业大学 基于图像交叉重建的单样本注册图像人脸识别方法
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN102855463A (zh) * 2011-05-16 2013-01-02 佳能株式会社 面部识别装置及其控制方法和面部识别方法
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN103426190A (zh) * 2013-07-23 2013-12-04 北京航空航天大学 图像重构的方法及系统
CN103605972A (zh) * 2013-12-10 2014-02-26 康江科技(北京)有限责任公司 一种基于分块深度神经网络的非限制环境人脸验证方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9909611B1 (pt) * 1998-04-13 2012-08-07 mÉtodo e aparelho para detectar caracterÍsticas faciais em uma sequÊncia de quadros de imagem compreendendo uma imagem de um rosto.
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US20070086627A1 (en) * 2005-10-18 2007-04-19 Samsung Electronics Co., Ltd. Face identification apparatus, medium, and method
JP4697106B2 (ja) * 2006-09-25 2011-06-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP2115662B1 (en) * 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
US8831293B2 (en) * 2008-04-21 2014-09-09 Mts Investments Inc. System and method for statistical mapping between genetic information and facial image data
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
US9251402B2 (en) * 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
US8655029B2 (en) * 2012-04-10 2014-02-18 Seiko Epson Corporation Hash-based face recognition system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
CN101271521A (zh) * 2008-05-13 2008-09-24 清华大学 基于各向异性双树复小波包变换的人脸识别方法
CN101739546A (zh) * 2008-11-05 2010-06-16 沈阳工业大学 基于图像交叉重建的单样本注册图像人脸识别方法
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN102855463A (zh) * 2011-05-16 2013-01-02 佳能株式会社 面部识别装置及其控制方法和面部识别方法
CN103377367A (zh) * 2012-04-28 2013-10-30 中兴通讯股份有限公司 面部图像的获取方法及装置
CN103426190A (zh) * 2013-07-23 2013-12-04 北京航空航天大学 图像重构的方法及系统
CN103605972A (zh) * 2013-12-10 2014-02-26 康江科技(北京)有限责任公司 一种基于分块深度神经网络的非限制环境人脸验证方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于子模式纹理分析的鲁棒人脸识别研究";郑先锋等;《科学技术与工程》;20130731;第13卷(第20期);第5964-5968页

Also Published As

Publication number Publication date
WO2015154205A1 (en) 2015-10-15
US20170083754A1 (en) 2017-03-23
JP6244059B2 (ja) 2017-12-06
JP2017510927A (ja) 2017-04-13
US10037457B2 (en) 2018-07-31
CN106462724A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106462724B (zh) 基于规范化图像校验面部图像的方法和系统
Kim et al. Deep monocular depth estimation via integration of global and local predictions
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
Dou et al. End-to-end 3D face reconstruction with deep neural networks
CN109670576B (zh) 一种多尺度视觉关注图像描述方法
CN110659727A (zh) 一种基于草图的图像生成方法
CN112200266B (zh) 基于图结构数据的网络训练方法、装置以及节点分类方法
CN113177616B (zh) 图像分类方法、装置、设备及存储介质
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
CN105981050A (zh) 用于从人脸图像的数据提取人脸特征的方法和系统
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN104268140A (zh) 基于权重自学习超图和多元信息融合的图像检索方法
CN112132770A (zh) 图像修复的方法、装置、计算机可读介质及电子设备
CN111210382A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112509021A (zh) 一种基于注意力机制的视差优化方法
Woźniak et al. Soft trees with neural components as image-processing technique for archeological excavations
CN112861659A (zh) 一种图像模型训练方法、装置及电子设备、存储介质
Chen et al. Polydiffuse: Polygonal shape reconstruction via guided set diffusion models
CN116385660A (zh) 室内单视图场景语义重建方法及系统
CN111553296A (zh) 一种基于fpga实现的二值神经网络立体视觉匹配方法
CN111626212B (zh) 图片中对象的识别方法和装置、存储介质及电子装置
WO2016015170A1 (en) A method for face recognition and a system thereof
CN116152645A (zh) 一种融合多种表征平衡策略的室内场景视觉识别方法及系统
CN116958027A (zh) 三维工业异常检测方法、装置、存储介质及电子设备
RU2640331C2 (ru) Способ идентификации протяженных объектов земной поверхности

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant