CN105814582B - 用于识别人脸的方法和系统 - Google Patents

用于识别人脸的方法和系统 Download PDF

Info

Publication number
CN105814582B
CN105814582B CN201380081310.4A CN201380081310A CN105814582B CN 105814582 B CN105814582 B CN 105814582B CN 201380081310 A CN201380081310 A CN 201380081310A CN 105814582 B CN105814582 B CN 105814582B
Authority
CN
China
Prior art keywords
similarity
pair
blocks
knn
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380081310.4A
Other languages
English (en)
Other versions
CN105814582A (zh
Inventor
汤晓鸥
陆超超
赵德丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of CN105814582A publication Critical patent/CN105814582A/zh
Application granted granted Critical
Publication of CN105814582B publication Critical patent/CN105814582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Collating Specific Patterns (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了用于识别人脸的方法和系统。所述方法可以包括：获取一对人脸图像；将所获取的人脸图像中的每一个分割成多个图像区块，其中一个图像中的每个区块和另一个图像中的对应区块形成一对区块；确定每对区块的第一相似度；由所有区块对确定所述一对人脸图像的第二相似度；和融合为所述每对区块确定的第一相似度和为所述一对人脸图像确定的第二相似度。

Description

用于识别人脸的方法和系统
技术领域
本申请涉及用于识别人脸的方法和系统。
背景技术
在过去的二十年中已经广泛地研究了人脸识别。然而，大的个体内部变化，例如姿态、光照和表情的变化对于现实生活照片中的鲁棒人脸识别而言仍具有挑战性。
用于人脸识别的传统测量方法具有若干局限性，这些局限性限制了这些方法在大的个体内部变化的情况中更广泛的应用。例如，在本领域中已经公开了用于一个人的、人脸图像多样化分布的方法。事实上，由于人脸数据中的高复杂性，这些分布通常具有不同的密度、大小和形状。此外，在人脸空间中经常包含噪声和异常值。当前的测量方法无法应对所有这些挑战。基于相似度(相异度)测量的许多方法直接使用成对距离计算人脸之间相似度(相异度)，这些方法不能捕获用于高质量辨别的结构信息。尽管一些研究将所述结构信息应用于测量中，但是一般而言，所开发的算法对噪声和异常值是敏感的。例如，网络中最短路径的长度的计算对噪声节点是非常敏感的。
发明内容
本申请提出一种称为随机路径(RP)测量的新的人脸相似度测量，其被设计为克服上述问题。还公开了两种新颖的人脸区块网络：人脸内网络和人脸外网络。
在本申请的一些实施例中，人脸被分成具有相同大小的多个重叠区块。针对任何人脸对，定义人脸内网络。对于每对人脸，在每个区块的位置处，利用两个相对应的区块对以及它们的八个相邻区块来形成称为人脸内网络的KNN图形。对于每个这样的人脸内网络，提出随机路径(RP)测量作为相对应的区块对的区块相似度。给定一个网络，通过生成函数来整合任意两个节点之间的所有路径。RP测量包括网络中具有不同长度的所有路径，这使得RP测量能够捕获人脸中更多的辨别信息并且显著地降低噪声和异常值的影响。因此，对于一对具有M个区块的人脸，确定M个RP测量以形成两个人脸之间的相似度特征向量。因为在本方法中该网络仅在两个人脸内构建，所以该网络被称为人脸内网络。在本公开中，该网络也称为第一KNN。
以类似的方式构建人脸外网络(第二KNN)。人脸外网络不是使用局部相邻区块来形成的，而是针对每个区块搜索人脸区块数据库并且在与所述区块具有相同位置的相邻区块中寻找相似区块以及所述相似区块的8个相邻区块以形成区块对网络。由于搜索是在训练空间上全局进行的，所以人脸外网络捕获更多的全局结构信息。因为两个网络分别描述局部结构信息和全局结构信息，所以从这两个网络上的RP测量中所得到的相似度能够被结合以提升识别性能。借助于在人脸内网络和人脸外网络上的RP测量，对于在两个具有挑战性的人脸数据集上的人脸验证来说，RP测量比现有测量表现得好得多。
一方面，本申请提供一种用于识别人脸的方法，所述方法包括：
获取一对人脸图像；
将所获取的人脸图像中的每一个分割成多个图像区块，其中一个图像中的每个区块和另一个图像中的对应区块形成一对区块；
确定每对区块的第一相似度；
由所有区块对，确定所述一对人脸图像的第二相似度；和
融合为所述每对区块确定的第一相似度和为所述一对人脸图像确定的第二相似度。
在一个示例中，所述确定每对区块的第一相似度的步骤包括：
获得所述每对区块和围绕所获得的区块的K个相邻区块，其中K是整数且大于1；
由所获得的区块形成第一KNN；和
在所形成的第一KNN中确定每对区块的第一相似度。
在另一个示例中，通过在所形成的第一KNN中执行随机行走来确定所述第一相似度。
在另一个示例中，由所有区块对确定第二相似度的步骤包括：
从所述多个图像区块获得每对区块；
在第二KNN中获得围绕所获得的区块的多个相邻区块；
从所述第二KNN，获取所述相邻区块的子网络；和
在所获取的子网络中确定所述第二相似度。
在另一个示例中，上述方法还包括形成所述第二KNN的步骤，包括：
获取N个训练人脸图像，其中N是整数且大于1；
将所述训练人脸图像中的每一个分割成M个图像区块；
针对N个训练人脸图像的M个图像区块，由所分割的区块形成M个KNN；
使每个区块与该区块的在所形成的每个KNN中的相邻区块相连，以形成所述第二KNN。
在另一个示例中，通过在网络中执行随机行走来确定所述第二相似度。
在另一个示例中，通过以下步骤来确定所述第一相似度和所述第二相似度中的每一个：
确定由所述区块形成的第一子网络Gi、由所述区块形成的第二子网络Gj、以及所述第一子网络和所述第二子网络的组合网络Gi∪Gj；
为Gi、Gj和Gi∪Gj分别确定相邻矩阵；
为所确定的相邻矩阵分别确定路径集中性
Figure GDA0002356720050000041
和
Figure GDA0002356720050000042
通过规则
Figure GDA0002356720050000043
确定Gi和Gj之间的相应相似度。
所提供的方法可以由计算机中的一个或更多个处理器实施。
另一方面，本申请提供一种用于识别人脸的系统，所述系统包括：
分割单元，其被配置为获取一对人脸图像并且将所述人脸图像中的每一个分割成多个图像区块，一个图像中的每个区块和另一个图像中的对应区块形成一对区块；
第一相似度确定单元，其被配置为确定每对区块的第一相似度；
第二相似度确定单元，其被配置为由所有区块对确定所述一对人脸图像的第二相似度；和
融合单元，其被配置为融合为每对区块确定的第一相似度和为所述一对人脸图像确定的第二相似度。
在一个示例中，所述第一相似度确定单元被配置为，
获得每对区块和围绕所获得的区块的K个相邻区块，其中K是整数且大于1；
由所获得的区块形成第一KNN；和
在所形成的第一KNN中确定每对区块的第一相似度。
在另一个示例中，通过在所形成的第一KNN中执行随机行走来确定所述第一相似度。
在另一个示例中，通过以下方式确定所述第一相似度：
确定由所述区块所形成的第一子网络Gi、由所述区块所形成的第二子网络Gj、以及所述第一子网络和所述第二子网络的组合网络Gi∪Gj；
为Gi、Gj和Gi∪Gj分别确定相邻矩阵；
为所确定的相邻矩阵分别确定路径集中性
Figure GDA0002356720050000044
和
Figure GDA0002356720050000045
通过规则
Figure GDA0002356720050000051
确定Gi和Gj之间的第一相似度。
在另一个示例中，所述第二相似度确定单元被配置为：
从所述多个图像区块获得每对区块；
在第二KNN中获得围绕所获得的区块的多个相邻区块；
从所述第二KNN，获取所述相邻区块的子网络；和
在所获取的子网络中确定所述第二相似度。
在另一个示例中，所述第二相似度确定单元运行以通过以下方式形成所述第二KNN：
获取N个训练人脸图像，其中N是整数且大于1；
将所述训练人脸图像中的每一个分割成M个图像区块；
针对N个训练人脸图像的M个图像区块，由所分割的区块形成M个KNN；
使每个区块与该区块的在所形成的每个KNN中的相邻区块相连以形成所述第二KNN。
在另一个示例中，通过在网络中执行随机行走来确定所述第二相似度。
在另一个示例中，通过以下方式确定所述第二相似度：确定由所述区块所形成的第一子网络Gi、由所述区块所形成的第二子网络Gj、以及所述第一子网络和所述第二子网络的组合网络Gi∪Gj；
为Gi、Gj和Gi∪Gj分别确定相邻矩阵；
为所确定的相邻矩阵分别确定路径集中性
Figure GDA0002356720050000052
和
Figure GDA0002356720050000053
和
通过规则
Figure GDA0002356720050000054
确定Gi和Gj之间的第二相似度。
另一方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质包括：
用于获取一对人脸图像的指令；
用于将所获取的人脸图像中的每一个分割成多个图像区块的指令，其中一个图像中的每个区块和另一个图像中的对应区块形成一对区块；
用于确定每对区块的第一相似度的指令；
用于由所有区块对确定所述一对人脸图像的第二相似度的指令；和
用于融合为所述每对区块确定的第一相似度和为所述一对人脸图像确定的第二相似度的指令。
附图说明
图1图示了根据本申请的一个实施例的、用于识别人脸的方法的流程图。
图2(a)至(d)图示了根据本申请的一个实施例的人脸内网络的形成流程。
图3(a)至(f)图示了根据本申请的一个实施例的人脸外网络的形成流程。
图4图示了根据本申请的一个实施例的、用于在人脸内网络中确定每对区块的相似度的方法的流程图。
图5图示了根据本申请的一个实施例的、用于在人脸外网络中确定一对人脸图像的相似度的方法的流程图。
图6图示了根据本申请的一个实施例的、用于形成人脸外网络的方法的流程图。
图7图示了根据本申请的一个实施例的、用于在人脸内网络中确定每对区块的相似度的示例性系统的框图。
具体实施方式
现在将详细参照示例性实施例，所述实施例的示例图示在附图中。在适当的时候，在所有附图中使用相同的附图标记表示相同或相似的部分。
图1图示了根据本申请的一个实施例的、用于识别人脸的过程100的流程图，下面将详细讨论该过程。
在步骤S101
如图1中所示，从人脸图像数据库中获取一对人脸图像，并且然后将所述人脸图像中的每一个分割成多个图像区块，其中一个图像中的每个区块和另一个图像中的对应区块形成一对区块。如图2a中所示，人脸a和人脸b形成一对人脸图像，并且人脸a中的区块p和人脸b中的区块q形成一对区块。
在步骤S102
在该步骤中，将通过第一人脸图像KNN(K-相邻网络)确定每对区块的第一相似度。在如图4中所示的本申请的一个实施例中，在步骤S1021，获得每对区块和围绕所获得的区块的K个相邻区块，其中K是整数且大于1，并且然后在步骤S1022，由所获得的区块形成第一人脸图像KNN，并且在步骤S1023，在所形成的第一KNN中确定每对区块的第一相似度，在下面将对此进行详细讨论。
如在本领域中所知晓的，人脸是整体构型的。即使对于从人脸a中所剪裁的区块p，其微结构也是与区块p周围的区块的微结构连续地连接的。例如，如图2(a)和(b)中所示，眼角的区块结构与其相邻区块的结构联接。因此，当基于区块对局部比较两个人脸之间的相似度时，将相邻区块列入考虑是更加有说服力的。为此，在本申请的实施例中，采样了区块p周围的r个相邻区块。图2(b)示出了对于人脸a和人脸b来说在r＝8的情况下的区块示例。对不同的人脸在相同点处裁剪的局部区块的视觉语义可以是高度关联的。例如，不同人脸的眼角是非常相似的。因此，如果将2×(r+1)个相邻区块表示为空间向量点，那么它们可以在空间上混合。为了对这样的混合结构建模，混合的区块通过KNN网络根据它们在特征空间中的空间位置而局部连接。图2(c)示出了人脸区块的2-NN网络。在两个人脸之间所构造的网络称为人脸内网络。
图2(c)示出，同一人的一些区块并未直接相连。为了在这种情况下对所述结构建模，应用路径来连接网络中的远距离节点。基于路径的测量被广泛地应用在社交网络中以计算节点的相似度。例如，(I-zP)-1的每个元表示对应节点的全局相似度，其中P是网络的相邻矩阵。通过节点之间的所有连接路径来定义节点的相似度。利用相似度矩阵(I-zP)-1，可以通过所有节点之间的平均相似度来测量网络的结构紧凑度。为此，路径集中性可以被定义为：
Figure GDA0002356720050000081
网络越紧凑，路径集中性就越高。利用路径集中性CG，将容易测量网络框架中的区块对的相似度。为了使分析更清楚，使
Figure GDA0002356720050000082
表示由人脸a中的区块p和人脸b中的区块q所构造的网络，其中
Figure GDA0002356720050000083
是区块p的子网络并且
Figure GDA0002356720050000084
是区块q的子网络。直接可知，区块p和区块q越相似，则在
Figure GDA0002356720050000085
和
Figure GDA0002356720050000086
之间的互连路径就越多。因此，路径集中性
Figure GDA0002356720050000087
的增量相对于子网络的
Figure GDA0002356720050000088
和
Figure GDA0002356720050000089
将是很大的，这促使我们去定义用于测量区块对的相似度的随机路径测量
Figure GDA00023567200500000810
后面将单独讨论随机路径测量。
再次返回到图2，在本申请的实施例中，将人脸图像密集地分割成尺寸为n×n(在本设置中n＝16)的M＝K×K个重叠区块。例如，可以设置8-像素的重叠，并且应用局部图像描述元提取尺寸为n×n的每个区块的特征。由此，通过由局部图像描述元所形成的一组M＝K×K个特征向量表示每个人脸
F＝{f11,...,fij,...,fM}, 2)
其中，fij是位于人脸中(i,j)处的区块的特征向量。Fa和Fb分别表示人脸a和人脸b的特征集。为了针对(i,j)处的区块建立人脸内网络，取Fa中的
Figure GDA00023567200500000811
和Fb中的
Figure GDA00023567200500000812
同时，还取围绕(i,j)的
Figure GDA00023567200500000813
的r个相邻特征向量。对
Figure GDA00023567200500000814
也执行相同的操作。例如，r＝8。由此，将获得区块的(2+2r)个特征向量，所述特征向量被用于为区块对
Figure GDA00023567200500000815
和
Figure GDA00023567200500000816
构建KNN网络Gij。该KNN网络Gij的加权相邻矩阵通过
Figure GDA0002356720050000091
表示。因此，与
Figure GDA0002356720050000092
及其r个相邻特征向量相对应的网络
Figure GDA0002356720050000093
的相邻矩阵
Figure GDA0002356720050000094
是由
Figure GDA0002356720050000095
及其r个相邻特征向量的索引所标识的、Gij的子矩阵。以类似方式，获得
Figure GDA0002356720050000096
及其相邻矩阵
Figure GDA0002356720050000097
为了更好地理解，本申请定义
Figure GDA0002356720050000098
其表示Gij的节点集是
Figure GDA0002356720050000099
和
Figure GDA00023567200500000910
的节点集的并集。对于
Figure GDA00023567200500000911
和
Figure GDA00023567200500000912
的区块对而言，如下计算它们的路径集中性：
Figure GDA00023567200500000913
Figure GDA00023567200500000914
Figure GDA00023567200500000915
随后，使用RP测量来获得区块对的相似度测量
Figure GDA00023567200500000916
类似于该操作，能够得到来自Fa和Fb的M个区块对的相似度。所述相似度可以填充为相似度向量
Figure GDA00023567200500000917
以上讨论的网络被称为人脸内网络，这是因为该网络仅在两个人脸图像内构建。仅考虑了区块对和其相邻区块的结构信息，因此人脸内网络主要传达局部信息。
在步骤S103
在该步骤中，将通过第二人脸图像KNN由所有区块对获得所述一对人脸图像的第二相似度。在本申请中，第二人脸图像KNN也被称作人脸外网络。
对许多人脸而言，在不同人脸的相同部分之间也存在关联性。例如，彼得的眼睛看起来像汤姆的眼睛。为了对这样的结构关联性建模，进一步地由处于所有人脸的相同位置的区块构建网络。因此，如图3(a)和(b)所图示的，如果在一个人脸中有M个不同区块，那么就能够建立M个网络。如在图3(c)中所图示的，为了整合这些组成部分网络，对于人脸中的每个区块而言，在训练数据中将该区块与其相邻位置中的r个最相似的区块相连。由此得到作为人脸外网络的全局网络，所述全局网络涵盖人脸之间和人脸之内的结构关联性。特别地，如在图6中所示，人脸外网络可以通过以下方式获得：在步骤s601从图像数据库获取N个训练人脸图像；在步骤s602将训练人脸图像中的每一个分割成M个图像区块；在步骤s603，针对N个训练人脸图像的M个图像区块(M<N)，由所分割的区块形成M个KNN；并且在步骤s604，将每个区块与该区块的在所形成的每个KNN中的相邻区块相连，以便形成第二KNN。
与人脸内网络不同，人脸外网络的构建需要无监督方式的训练数据。以与在步骤S102中所讨论的方式相同的方式执行区块分割和特征提取。
假设T是训练集中人脸图像的数量。将特征集写为
Ψ＝{F1,...,FT}, 6)
其中，Ft是第t个人脸的特征集。首先采用在训练集中(i,j)处的所有特征向量来构建KNN网络
Figure GDA0002356720050000101
作为第二KNN(人脸外网络)。这样，构建了依赖性最小的
Figure GDA0002356720050000102
表示在它们之间不存在任何连接。为了保留每个人脸中(i,j)处的
Figure GDA0002356720050000103
与其相邻特征向量之间的结构接近度，将
Figure GDA0002356720050000104
与其所有8个相邻特征向量连接。这里，“连接”表示：在选择了一个区块时，也将选择该区块的所有r个相邻区块。因此，通过相邻区块的连接，M个独立
Figure GDA0002356720050000105
相连在一起以形成具有加权相邻矩阵Pglobal的最终全局网络Gglobal。
将网络中的边缘连接节点xi和节点xj的权重值P(i,j)定义为
Figure GDA0002356720050000106
这里，dist(xi,xj)是xi和xj之间的成对距离，Ni K是xi的KNN的集合，以及
Figure GDA0002356720050000111
为了获得转移概率矩阵，需要执行
Figure GDA0002356720050000112
图5图示了根据本申请的一个实施例的、用于在人脸外网络中确定一对人脸图像的相似度的方法的流程图。在步骤S1031，也获得每对区块并且获得围绕所获得的区块的多个相邻区块，并且随后在步骤S1032，从第二KNN，获取相邻区块的子网络，在所述子网络中在步骤S1033由所有区块对，确定所述一对人脸图像的相似度。
再次参照图2(b)，给定测试人脸图像a，将针对每个
Figure GDA0002356720050000113
搜索在
Figure GDA0002356720050000114
中的该区块的rNN个最相似的区块，并且随后对于每个所选区块而言，其8个相邻区块将被一起选择以形成初始的Ga。该搜索方法能够保证所获得的相似区块处于
Figure GDA0002356720050000115
在其它人脸图像中的空间语义相邻区块之中。因此，最终从Gglobal选择了(rNN+1)×M个区块节点。在一个实施例中，从所述区块节点中删除一些重复节点，并且使用剩余节点从Gglobal提取子网络Ga，而从Pglobal提取该子网络Ga对应的子矩阵
Figure GDA00023567200500001114
能够以相同的方式为人脸b获得Gb和
Figure GDA0002356720050000116
通过合并Ga和Gb中的节点，能够从Gglobal和Pglobal得到并集网络GaGb及其相邻矩阵
Figure GDA0002356720050000117
在为人脸a和人脸b获得
Figure GDA0002356720050000118
和
Figure GDA0002356720050000119
之后，能够直接计算它们的路径集中性：根据定义1的
Figure GDA00023567200500001110
和
Figure GDA00023567200500001111
随后利用RP测量来计算它们的相似度
Figure GDA00023567200500001112
相似度sout从全局视角描述了两个人脸图像的结构信息。
因为该网络的构建需要训练数据，并且需要将每个测试人脸投射到所述训练数据上，所以该网络被称为人脸外网络。因为搜索操作仅在
Figure GDA00023567200500001113
中而不是在Gglobal中进行，所以针对每个区块搜索最近的相邻区块是快速的。
在步骤S104
从上述分析可明晰，人脸内网络和人脸外网络在结构上是互补的。为了提升网络的辨别能力，使用简单的融合方法来通过如下公式使在步骤S102中所获得的第一相似度Sin和在步骤S103中所获得的第二相似度Sout相组合
sfinal＝[αsin,(1-α)sout] 7)
其中Sfinal是两个人脸图像的组合相似度向量，并且α是从训练数据中所得到的自由参数。例如，α＝0.5。该融合/组合方法能够将人脸内网络和人脸外网络的优点有效结合。组合的Sfinal可以提供给常规线性SVM(支持向量机)以便训练用于识别的分类器。
在本申请的一个实施例中，过程100还可以包括识别人脸图像的步骤(未示出)。为此，应通过将N对加权相似度向量sfinal与它们的对应标记(其可以是0或1)一起输入到线性支持向量机中来获得线性模式。然后将两个人脸的向量sfinal输入到线性支持向量机模式中以确定所述两个人脸是否是属于一个人的标记。例如，0表示它们属于同一个人，1表示它们属于不同的人，反之亦然。
在下文中，将讨论如在本申请中所提出的随机路径测量。
令G表示具有N个节点{x1,...,xN}的网络，并且P表示所述网络的加权相邻矩阵。矩阵P中的每个元是相关联节点之间的相似度。概括地讲，假设G是有向的，这意味着P可以是不对称的。在P上定义的、长度为t的路径由pt＝{υ0→υ1→...→υt-1→υt}表示。St是长度为t的所有路径的集合。使T表示矩阵的转置算符，1表示全一向量，并且I表示单位矩阵。
受本领域内所公开的社交网络分析中的概念的启发，将引入用于网络G的路径集中性CG的定义。
定义1路径集中性
Figure GDA0002356720050000121
其中
Figure GDA0002356720050000122
且ρ(P)是P的谱半径。
矩阵(I-zP)-1的(i,j)元代表节点xi和节点xj之间的一类全局相似度。该全局相似度被引入以测量社交网络中参与者的影响程度。为了清楚起见，展开(I-zP)-1并且将其视为生成矩阵函数
Figure GDA0002356720050000131
矩阵Pt中的每个元能够被写作
Figure GDA0002356720050000132
其是在G中的从节点xi开始并且在节点xj处终止的长度为t的所有路径上的权重值的乘积之和。在机器学习中，以上所定义的全局相似度在本领域中也称为语义相似度。在我们的框架中，加权相邻矩阵P满足每个元是非负的，并且每行之和被归一化为1。因此，能够将元
Figure GDA0002356720050000136
视为随机行走者从节点xi开始并且在t步之后到达节点xj的概率。从这个观点看，路径集中性就是通过在G中的所有连接节点之间的、所有长度的所有路径来测量网络G的结构紧凑性。由于在G中的行走随机性，路径集中性也被称为随机路径测量。
利用路径集中性的定义，能够将RP测量自然地用于计算两个网络之间的相似度。根据路径集中性的定义，有道理的是，如果G中的两个子网络共享最多的路径，那么就路径集中性的意义而言，所述两个子网络具有最相似的结构。换言之，从结构识别的观点看，所述两个网络是最相关的。因此，对于两个给定的网络Gi和Gj，能够如下定义RP测量。
定义2随机路径测量
Figure GDA0002356720050000133
被视为两个网络Gi和Gj之间的相似度。
在上面的定义中，联合路径集中性
Figure GDA0002356720050000134
被写作
Figure GDA0002356720050000135
其中
Figure GDA0002356720050000141
是与Gi和Gj中的节点相对应的联合相邻矩阵。RP测量
Figure GDA0002356720050000142
体现了关于Gi和Gj之间所有路径的结构信息。为了直观理解所述定义，考虑图4中所示的情况。
Figure GDA0002356720050000143
和
Figure GDA0002356720050000144
分别测量Gi和Gj中的结构信息。
Figure GDA0002356720050000145
不仅测量Gi和Gj内的结构信息，还测量通过Gi和Gj之间所有路径的结构信息。
Figure GDA0002356720050000146
的值越大，两个网络共享的结构信息就越多，这表示这两个网络具有更相似的结构。因此，能够利用
Figure GDA0002356720050000147
测量两个网络之间的结构相似度。
RP测量将两个网络之间的所有路径列入考虑以测量它们的相似度，而不仅仅只考虑最短路径。因此，此处的测量对于噪声和异常值是鲁棒的。此外，还取节点集中性(I-zP)- 11的平均值。利用该操作，使网络的结构信息分布到每个节点，这意味着RP测量对多重分布和多重尺度也是不敏感的。
以上已经讨论了用于识别人脸的方法。下文中，将参照图7讨论用于识别人脸的系统200。
如图7中所示，系统200包括分割单元10、第一相似度确定单元20、第二相似度确定单元30、融合单元40和识别单元50。
如在步骤S101中所讨论的，分割单元10被配置为获取一对人脸图像，并且将人脸图像中的每一个分割成多个图像区块，一个图像中的每个区块和另一个图像中的对应区块形成一对区块。
第一相似度确定单元20被配置为确定每对区块的第一相似度。如在步骤S102中讨论的，在本申请中，可以经由人脸内网络通过获得每对区块和围绕所获得的区块的K个相邻区块来确定每对区块的第一相似度，其中K是整数且大于1；由所获得的区块形成第一KNN；并且确定每对区块的第一相似度。
第二相似度确定单元30被配置为由所有区块对确定所述一对人脸图像的第二相似度。特别地，第二相似度确定单元30被配置为：获得每对区块并且获得第二KNN中围绕着所获得的区块的多个相邻区块；从第二KNN，获取相邻区块的子网络；并且在所获取的子网络中确定第二相似度。第二KNN是指上面所讨论的人脸外网络，并且可以通过如下方法形成：获取来自图像数据库的N个训练人脸图像；将训练人脸图像中的每一个分割成M个图像区块；针对N个训练人脸图像的M个图像区块，由所分割的区块形成M个KNN；并且将每个区块与该区块的在所形成的每个KNN中的相邻区块相连以形成第二KNN。在实施例中，如上文中所讨论的，通过在第二网络中执行随机行走来确定第二相似度。
融合单元40和识别单元50被配置为通过如上所述的公式(7)的规则来融合/组合第一相似度和第二相似度。
本发明的实施例可以利用使用特定硬件、软件或其结合来实施。此外，本发明的实施例可以适用于收录在包含计算机程序代码的一个或更多个计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等等)上的计算机程序产品。例如，上文提到的方法可以由一个或更多个处理器来实施，以执行在计算机可读介质中所存储的指令。具体地说，介质可以存储：用于获取一对人脸图像的指令；用于将人脸图像中的每一个分割成多个图像区块的指令，一个图像中的每个区块和另一个图像中的对应区块形成一对区块；用于确定每对区块的第一相似度的指令；用于由所有区块对确定所述一对人脸图像的第二相似度的指令；以及用于融合第一相似度和第二相似度的指令，以及用于识别人脸图像的指令。
在上述描述中，为了说明目的而将各个方面、步骤或部件组合在单个实施例中。本公开不应被解释为对于要求保护的主题而言需要所公开的所有变型。所附权利要求被并入到示例性实施例的描述中，其中每个权利要求本身作为本公开的单独实施例。
此外，对本领域中的技术人员而言通过考虑本公开的说明书和实践将显而易见的是，如所要求保护的，在不脱离本公开的范围的情况下，能够对所公开的系统和方法进行各种修改和变化。因此，这意味着说明书和示例仅被认为是示例性的，本公开的真实范围由所附权利要求及其等同物来表示。

Claims (8)

1.一种用于识别人脸的方法，包括：
获取一对人脸图像；
将所获取的人脸图像中的每一个分割成多个图像区块，其中一个图像中的每个区块和另一个图像中的对应区块形成一对区块；
确定每对区块的第一相似度；
由所有区块对，确定所述一对人脸图像的第二相似度；和
融合为所述每对区块确定的第一相似度和为所述一对人脸图像确定的第二相似度，
其中，所述方法还包括：
获取N个训练人脸图像，其中N是整数且大于1；
将所述训练人脸图像中的每一个分割成M个图像区块；
针对N个训练人脸图像的M个图像区块，由所分割的区块形成M个KNN；
使每个区块与该区块的在所形成的每个KNN中的相邻区块相连，以形成第二KNN，并且
其中，由所有区块对确定第二相似度的步骤包括：
从所述多个图像区块获得每对区块；
在所述第二KNN中获得围绕所获得的区块的多个相邻区块；
从所述第二KNN，获取所述相邻区块的子网络；和
在所获取的子网络中确定所述第二相似度。
2.根据权利要求1所述的方法，其中，所述确定每对区块的第一相似度的步骤包括：
获得所述每对区块和围绕所获得的区块的K个相邻区块，其中K是整数且大于1；
由所获得的区块形成第一KNN；和
在所形成的第一KNN中确定每对区块的第一相似度。
3.根据权利要求2所述的方法，其中，通过在所形成的第一KNN中执行随机行走来确定所述第一相似度。
4.根据权利要求1所述的方法，其中，通过在所述第二KNN中执行随机行走来确定所述第二相似度。
5.一种用于识别人脸的系统，包括：
分割单元，其被配置为获取一对人脸图像并且将所述人脸图像中的每一个分割成多个图像区块，一个图像中的每个区块和另一个图像中的对应区块形成一对区块；
第一相似度确定单元，其被配置为确定每对区块的第一相似度；
第二相似度确定单元，其被配置为由所有区块对确定所述一对人脸图像的第二相似度；和
融合单元，其被配置为融合为所述每对区块确定的第一相似度和为所述一对人脸图像确定的第二相似度，
其中，所述第二相似度确定单元运行以通过以下方式形成第二KNN：
获取N个训练人脸图像，其中N是整数且大于1；
将所述训练人脸图像中的每一个分割成M个图像区块；
针对N个训练人脸图像的M个图像区块，由所分割的区块形成M个KNN；
使每个区块与该区块的在所形成的每个KNN中的相邻区块相连以形成第二KNN，并且
其中，所述第二相似度确定单元被配置为：
从所述多个图像区块获得每对区块；
在所述第二KNN中获得围绕所获得的区块的多个相邻区块；
从所述第二KNN，获取所述相邻区块的子网络；和
在所获取的子网络中确定所述第二相似度。
6.根据权利要求5 所述的系统，其中，所述第一相似度确定单元被配置为，
获得每对区块和围绕所获得的区块的K个相邻区块，其中K是整数且大于1；
由所获得的区块形成第一KNN；和
在所形成的第一KNN中确定每对区块的第一相似度。
7.根据权利要求6所述的系统，其中，通过在所形成的第一KNN中执行随机行走来确定所述第一相似度。
8.根据权利要求5所述的系统，其中，通过在所述第二KNN中执行随机行走来确定所述第二相似度。
CN201380081310.4A 2013-11-30 2013-11-30 用于识别人脸的方法和系统 Active CN105814582B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/088255 WO2015078019A1 (en) 2013-11-30 2013-11-30 Method and system for recognizing faces

Publications (2)

Publication Number Publication Date
CN105814582A CN105814582A (zh) 2016-07-27
CN105814582B true CN105814582B (zh) 2020-04-24

Family

ID=53198258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081310.4A Active CN105814582B (zh) 2013-11-30 2013-11-30 用于识别人脸的方法和系统

Country Status (8)

Country Link
US (1) US9798959B2 (zh)
EP (1) EP3074919A4 (zh)
JP (1) JP6235730B2 (zh)
KR (1) KR102047953B1 (zh)
CN (1) CN105814582B (zh)
HK (1) HK1221536A1 (zh)
MY (1) MY187577A (zh)
WO (1) WO2015078019A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127120B (zh) * 2016-06-16 2018-03-13 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机系统
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107563336A (zh) * 2017-09-07 2018-01-09 廖海斌 用于名人匹配游戏的人脸相似度分析方法、装置和系统
CN110019722B (zh) * 2017-12-21 2023-11-24 株式会社理光 对话模型的回复排序方法、装置及计算机可读存储介质
US11308313B2 (en) 2018-04-25 2022-04-19 Shutterfly, Llc Hybrid deep learning method for recognizing facial expressions
US10679041B2 (en) 2018-04-25 2020-06-09 Shutterfly, Llc Hybrid deep learning method for recognizing facial expressions
CN108875016A (zh) * 2018-06-20 2018-11-23 上海百林通信网络科技服务股份有限公司 一种基于人脸识别应用的样本共享技术和评价方法
CN109117808B (zh) * 2018-08-24 2020-11-03 深圳前海达闼云端智能科技有限公司 面部识别方法、装置、电子设备及计算机可读介质
CN117372911A (zh) * 2022-06-28 2024-01-09 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
CN102800080A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100423020C (zh) * 2006-12-15 2008-10-01 中山大学 一种基于结构主元分析的人脸识别方法
US20090232365A1 (en) * 2008-03-11 2009-09-17 Cognimatics Ab Method and device for face recognition
US9158976B2 (en) * 2011-05-18 2015-10-13 International Business Machines Corporation Efficient retrieval of anomalous events with priority learning
CN103207986A (zh) 2013-02-06 2013-07-17 江苏清大维森科技有限责任公司 一种基于lbp-hf的人脸识别方法
CN103150561A (zh) 2013-03-19 2013-06-12 华为技术有限公司 人脸识别方法和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217803A (ja) * 2002-02-27 2008-09-18 Nec Corp 画像認識システム及びその認識方法並びにプログラム
CN102800080A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Face Recognition Using Face Patch Networks;Chaochao Lu 等;《http://www.cv-foundation.org/openaccess/content iccv_2013/papers/Lu_Face_Recognition_Using_2013_ICCV_paper.pdf》;20131109;第3288-3295页 *

Also Published As

Publication number Publication date
JP2016538674A (ja) 2016-12-08
EP3074919A1 (en) 2016-10-05
US9798959B2 (en) 2017-10-24
HK1221536A1 (zh) 2017-06-02
MY187577A (en) 2021-09-30
WO2015078019A1 (en) 2015-06-04
US20170004387A1 (en) 2017-01-05
EP3074919A4 (en) 2017-06-21
CN105814582A (zh) 2016-07-27
KR20160075738A (ko) 2016-06-29
KR102047953B1 (ko) 2019-12-04
JP6235730B2 (ja) 2017-11-22

Similar Documents

Publication Publication Date Title
CN105814582B (zh) 用于识别人脸的方法和系统
CN107688823B (zh) 一种图像特征获取方法及装置，电子设备
US10891468B2 (en) Method and apparatus with expression recognition
Nie et al. Clique-graph matching by preserving global & local structure
KR20230021043A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
Mi et al. The nearest-farthest subspace classification for face recognition
US11341770B2 (en) Facial image identification system, identifier generation device, identification device, image identification system, and identification system
Zhang et al. Multi-observation visual recognition via joint dynamic sparse representation
US9626552B2 (en) Calculating facial image similarity
Zheng et al. Attention-based spatial-temporal multi-scale network for face anti-spoofing
Suárez et al. ELSED: Enhanced line segment drawing
BR102014023780B1 (pt) Método para classificação multiclasse em cenários abertos e usos do mesmo
US10614312B2 (en) Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor
US10007678B2 (en) Image processing apparatus, image processing method, and recording medium
CN107291760A (zh) 无监督的特征选择方法、装置
CN110175515B (zh) 一种基于大数据的人脸识别算法
TW202109357A (zh) 視覺定位方法、電子設備及電腦可讀儲存介質
WO2018069836A1 (en) Quasi-clique prototype-based hybrid clustering
Shao et al. Identity and kinship relations in group pictures
Mckenzie et al. Power weighted shortest paths for clustering Euclidean data
Wang et al. Multi-manifold clustering
CN112232147B (zh) 用于人脸模型超参数自适应获取的方法、装置和系统
CN104850820B (zh) 一种脸部识别方法及装置
Yang et al. Privileged information-based conditional structured output regression forest for facial point detection
WO2012140315A1 (en) Method, apparatus and computer program product for providing incremental clustering of faces in digital images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1221536

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant