CN104021380B - 通过计算装置进行面部识别的方法和装置 - Google Patents

通过计算装置进行面部识别的方法和装置 Download PDF

Info

Publication number
CN104021380B
CN104021380B CN201410262274.8A CN201410262274A CN104021380B CN 104021380 B CN104021380 B CN 104021380B CN 201410262274 A CN201410262274 A CN 201410262274A CN 104021380 B CN104021380 B CN 104021380B
Authority
CN
China
Prior art keywords
matching
face recognition
face
matching characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410262274.8A
Other languages
English (en)
Other versions
CN104021380A (zh
Inventor
胡金晖
田艺
陈珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN104021380A publication Critical patent/CN104021380A/zh
Application granted granted Critical
Publication of CN104021380B publication Critical patent/CN104021380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明披露了一种通过计算装置使用自适应搜索窗口和局部相似度分布分析以进行面部识别的方法和装置。所述方法包括：通过所述计算装置的处理器，识别一个目标图像的一个或多个特征；通过所述处理器将所述目标图像的一个或多个特征中的至少一个特征与一个参考图像的一个或多个特征进行匹配；通过所述处理器确定至少一个匹配特征的一个权重贡献；和通过所述处理器，部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度，其中确定一个权重贡献包括：至少部分地根据与所述至少一个匹配特征相对的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征。

Description

通过计算装置进行面部识别的方法和装置
【技术领域】
本发明涉及面部识别。
【背景技术】
人脸识别、面部识别技术变得越来越普遍。例如，在社交网络、图像存储和共享技术里，面部识别功能正日益成为常见功能。例如，当照片上传到社交网络上或一些图像存储/分享网站上时，照片需要被扫描，需要识别人脸并与社交网络上或图像储存/共享网站上其它用户进行比对。面部识别还可以为安全领域提供好处。例如，某些设备可以提供面部识别技术，以访问该设备的内容，如在锁定屏幕时解锁该设备。此外，面部识别技术还可在监视和/或警察工作等领域提供好处。例如，使用面部识别在监视视频或一大群人中检测出一个犯罪嫌疑人，凸显了面部识别的潜在效用。
但是，也有许多因素会限制面部识别技术的有用性。例如，这些会妨碍面部识别匹配能力的因素包括：化妆，外观上的改变、配饰和面部表情等等。另外，部分目标面孔可能部分模糊，这也会导致做面部识别匹配更加困难。
【附图说明】
将参照以下描述非限制性和非穷尽的实施例，其中相同的附图标记指代相同的部分，除非另有规定进行说明。
图1显示可能的面部图像。
图2显示执行特征匹配的一种方法。
图3显示一个实施例的特征匹配的方法。
图4显示另一个实施例的面部识别匹配流程。
图5显示一个实施例的面部识别方法。
图6显示一个实施例的一个示例性面部识别功能。
图7显示一个实施例的另一个示例性面部识别功能。
图8显示一个实施例的计算设备的步骤图。
【具体实施方式】
在以下详细描述中陈述了许多具体细节，以对本发明主题有全面的了解。然而，所属领域的技术人员将了解，可在没有这些具体细节的情况下实践本发明主题。在其它例子中，未详细描述一般技术人员已知晓的方法、设备或系统，以免混淆本发明主题。
在整个说明书中，“一个实施例”或“一实施例”是指结合特定实施例而描述的特定特征、结构或特性可包含在本发明主题的至少一个实施例中。因此，短语“在一个实施例中”或“一实施例”出现在整个此说明书中各个地方不一定意在指代同一实施例或所描述的任一特定实施例。此外，应了解，可在一个或一个以上实施例中以各种方式来组合所描述的特定特征、结构或特性。当然，一般来说，这些和其它问题可随用途的具体情形而变化。因此，描述的具体情形或者这些术语的用途可提供关于将对所述情形得出的推论的有益的指导。
在整个说明书中，可以参照一个“装置”或者一个或多个“装置”。如本文所使用的，“装置”可以指能够支持和/或促进本文讨论的面部识别功能的任何设备、机器或制品。此外，即使一个具体描述是指一个“装置”，也要理解为该功能性可以在多个装置上执行且并不偏离本公开范围。该描述也可以包括讨论的一个或多个“计算设备”。如本文所用，“计算设备”指的是能够执行后面讨论的面部识别功能的任何一个或多个设备。一个计算设备可包括有指令在其上的非临时性计算机可读介质。该计算设备能够执行非临时性计算机可读介质上的指令，以实施在此讨论的面部识别功能。计算设备的非限制性例子包括：一个或多个客户端计算机，一个或多个服务器，笔记本电脑或台式电脑，平板电脑，智能手机，和/或它们通信联网的任何组合(如一个计算系统)。事实上，与前面的描述相一致，计算设备包括能够执行或参与面部识别性能的任何设备。将会结合图8对计算设备进行更详细的讨论。
本发明的描述可以包括过程和/或方法描述。这些描述可以包括信号和/或状态的存储、传输和/或处理。面部识别过程包括这些信号和/或状态的变换，使得它具有不同的功能和/或适于不同的用途。举例来说，对应于一个目标图像，接收信号和/或状态，进行面部识别，将所接收的信号和/或状态变换，以具有不同功能和/或适合于不同的使用(如面部识别)。
关于执行面部识别的方法和/或过程，本说明书中使用术语如“识别”、“面部识别”、“面部识别匹配”，和/或“匹配”。在特定实施方式中，面部识别可以是指确定人脸出现、比较人脸和人脸记录、和/或获得一个识别人脸和人脸记录里的一个人脸之间的一个匹配的计算机实施过程。因此，“识别”、“面部识别匹配”和/或“匹配”可以是指获得一个识别人脸和人脸记录里的一个人脸之间的一个匹配的方法和/或过程。可以理解，至少在某些情况下，所识别的人脸可以是从一个图像里识别的，其可以通过信号和/或状态的组合来表示。例如，能够进行面部识别的计算系统可能接收到包含一个或多个人脸的图像。分析该图像并识别人脸。该计算系统可以在面部识别过程中使用一个或多个检测帧。如本文所用，检测帧是指一个图像的一个部分或子部分，用于执行面部识别功能。例如，一个图像可以包括多个人脸，该图像的一部分可以是通过一个检测帧的方式来提取。
在一个特定的实施方式中，面部识别可指由一个或多个计算设备识别出面部的一个过程。在某些情况下，面部识别可以使用给定用户的一个参考图像101，以确定目标图像102a或102b是否是给定用户。例如，一个或多个计算设备可以访问一个人的一个或多个与用户A相关联的图像。例如，有可能有一个或多个数据库包括用户图像，其可被用作参考图像。与用户A相关联的一个或多个图像中的任何一个图像(或图像的任意组合)可以是参考图像，用于面部识别。例如，参照图1，参考图像101可以是与用户A相关联的一个或多个图像。
一种方式是，一个或多个计算设备通过参照参考图像101来识别目标图像中的人。例如，一个或多个计算设备可以针对一个目标图像102a，通过比较目标图像102a和参考图像101，确定目标图像102a中的人脸是否是用户A的面部。有一种情况，目标图像102a中的人脸可能有参考图像101中没有的面部表情，例如，目标图像102a中的嘴部区域有一个表情105b，但是在参考图像101中没有相应的匹配表情。在某些情况下，当参考图像中的表情不匹配目标图像中的表情时，一个或多个计算设备就无法识别脸部，即使目标图像和参考图像都是同一个人。这种情况，即使图像目标和参考图像是同一个人，如果目标图像和参考图像中的表情是不同的，那么一个或多个计算设备也不能够匹配或识别目标图像中的人。因此，对于计算系统来说，任何可能的面部表情和/或面部扭曲会使脸部识别更具挑战性。例如，如表情105a所示的皮肤表面的皱纹，可能在识别目标图像102a里人脸的过程中出现困难。当然，这只是面部表情可能会影响到面部识别过程的几个例子和方式，本公开内容不应被理解为限制性意义。
这样，在一个面部识别系统里，除了面部表情会影响面部识别过程，配饰和/或变化也会使面部识别更具挑战性。例如，参见图1的目标图像2，目标图像里的人可能会穿戴一些配饰，如眼镜110，这会形成遮掩，或使得实现面部识别匹配更加困难。这些配饰包括但不限于验光眼镜、太阳眼镜、帽子、面罩、头巾、耳环、穿环、隐形眼镜、围巾等，都可能会影响到面部识别过程。类似于前面提到的面部表情的例子，目标图像或参考图像里出现的一个或多个配饰会影响一个或多个计算设备进行面部识别匹配的能力。
此外，外貌的改变也会影响一个或多个计算装置进行面部识别匹配的能力。例如，面部毛发的生长(或去除)，如图1所示的胡须115，会给面部识别过程带来挑战。本申请考虑了外貌的任何变化，包括但不限于皮肤瑕疵、痣、胎记、烧伤、疤痕、割伤以及其它。
在一个实施例中，面部识别是将一个目标图像的“特征”跟一个参考图像的特征进行匹配的过程。本文所用的，特征是指图像里面部的识别特征或“标志”。例如，特征可以是指眼睛、鼻子、颧骨、颚、口等的大小、位置、和/或形状。在一个实施例中，图像里的面部特征可以是指皮肤详情，如皱纹、疤痕、痣、酒窝、雀斑、胎记等。此外，特征可以包括和/或是指“局部特征”。局部特征是指包括独特纹理和/结构的局部面部图像小块。例如，眼角区域可以是一个局部特征，可以与标志(如一个或多个眼睛或鼻子)相比。应该注意，标志(如眼睛)可以包括多个局部特征。在一个实施例中，局部特征可以通过使用特定过程和/或算法来检测到,例如Harris,Hessian,Harris-Laplace,Hessian-Laplace，尺度不变特征变换(SIFT)，高斯差(DoG)，加速稳健特征(SURF)，或最大稳定极值区域(MSER)及其它。
举个例子，图2包括目标图像202和参考图像201。可以对目标图像202和参考图像201执行一个过程或方法，使得目标图像202里的面部能够被面部识别。在一个实施例中，该过程可以实时进行。该过程包括特征的使用及其匹配。例如，可以在目标图像202和参考图像201里找出一个或多个特征。在一个实施例中，对找出的特征进行比较，以确定是否有任何匹配的特征。例如，目标图像202的一个特征220可以与参考图像201的相应特征(如特征222a和222b)进行比较。
在一个实施例中，执行面部识别的过程可以包括将目标图像202和参考图像201划分成多个区域。例如，可以将目标图像和参考图像中的面部进行缩放和/或居中，并使得面部被划分为相等区域。在一个实施例中，在图像中的一个或多个面部可以被安置在检测帧的中心以方便面部识别。如图2所示，先找到目标图像202里的一个特征，然后目标图像202的相应区域225可与参考图像201的相应区域(如区域226)进行比较。在一个实施例中，参考图像201中的一个或多个找到特征的各个区域也可以与上述目标图像的相应区域进行比较。因此，与参考图像的局部特征222a和222b对应的区域可以与目标图像中的对应区域进行比较。根据目标图像和参考图像的特征/区域比较，判断是否有一个面部识别匹配。例如，如果确定目标图像和参考图像没有足够的共同特征，那么可以判定不存在面部识别匹配。相反，如果匹配特征的数量或分布满足或超过某个阈值，那么可以判定在目标图像和参考图像之间存在一个面部识别匹配。
在本发明另一个实施例中，无需将目标图像和参考图像划分成固定区域，可以使用一个自适应的搜索窗口。例如，自适应搜索窗口可以是指目标图像或参考图像的一个具有适应性大小、形状和/或位置的区域。在一个实施例中，自适应搜索窗口能够被安置在目标图像或参考图像的给定特征的中心，并且自适应搜索窗口可以与其它图像的对应的自适应搜索窗口相比。在一个实施例中，一个将被匹配的特征可以用做自适应搜索窗口的中心。
图3显示目标图像302和参考图像301。目标图像302里的一个特征320被找出来，在参考图像301里使用一个自适应搜索窗口328，以便于将特征320匹配到参考图像301里的一个特征。自适应搜索窗口328的大小、形式和/或形状可以是通过以下任何因子而定，包括但不限于所考虑特征的大小、参考图像301里可能匹配特征的数量、在特征320区域内的特征数目或分布、和/或图像或检测帧的大小。例如，在一个实施例中，可以选择自适应搜索窗口328，使得特征322a、322b、322c落在自适应搜索窗口内。此外，在一个实施例中，自适应搜索窗口328可以位于一个给定特征的中心。
在一个实施例中，接收一个目标图像用于面部识别。使用一个检测帧来方便面部识别过程。在目标图像的检测帧中检测出多个特征。至少部分地根据所检测到的特征，从数据库选择一个或多个参考图像。在一个例子中，使用一个自适应搜索窗口，提取目标图像的第一特征，并与一个或多个参考图像中的特征进行比较。可以确定，至少部分地根据所述自适应搜索窗口，所述第一特征在一个或多个参考图像中有一个匹配。然后使用另一个自适应搜索窗口，提取目标图像的第二个特征，与一个或多个参考图像中的特征进行比较。可以确定，至少部分地根据自适应搜索窗口，所述第二特征在一个或多个参考图像中有一个匹配。其他特征可以使用一个或多个自适应搜索窗口，进行比较，以确定他们在一个或多个参考图像中是否有一个匹配。这个过程通常如图4所述，并在以下段落中讨论。
图4显示确定参考图像和目标图像之间面部识别匹配的方法400。在步骤405，从目标图像和参考图像中提取特征。在某些情况下，参考图像中的特征可能已经找到了。在步骤410，如前所述，所提取的特征可使用自适应搜索窗口进行匹配。接下来，在步骤415，在匹配特征上进行区域相似度分布分析(RSDA)。RSDA是指对匹配特征进行加权以得到一个面部识别匹配的置信度值(confidence value)的一个过程。例如，如果有大量的匹配特征不符合一定条件，那么可以判定该面部识别匹配的置信度不高。也就是，如果确定因为某些可能因素，匹配特征不符合某些最低条件，那么这些匹配特征对整个面部检测过程中的贡献的权重可以减少。例如，匹配特征的总权重或贡献会产生一个置信度值，该值大致对应于在整体面部识别匹配中的统计置信度。同样，如果确定匹配特征符合某些最低条件，则这些匹配特征的权重可以增加，从而可以提高置信度值。
图5显示本发明一个实施例的面部识别匹配流程500。请注意流程500将参照前面的和后续的附图进行说明。在一个实施例中，流程500开始于步骤505，比较一个或多个目标图像和一个或多个参考图像，以确定一个匹配特征池。确定匹配特征已经在以上附图1-4描述了。在一个例子中，当确定了匹配特征时，它们可以被包含在一个匹配特征池中。在一种情况下，使用一个自适应搜索窗口，如附图3的自适应搜索窗口328，以形成一个匹配特征池。另一个例子，图6(a)描述一个示范图像，其显示一个匹配特征集合，如面部上的圆点和星点(如650a,650b,651a,651b,和651c)所示。请注意特征650a和650b被标记为星点以便于讨论流程500，但标记为星点的特征并不是不同于标记为圆点的其它特征。在一个示例中，至少部分地根据一个或多个自适应搜索窗口如自适应搜索窗口628，可以确定图6(a)中的匹配特征。
在步骤510，从匹配特征池中提取一个特征。在图5，这被标记为第i个特征，并在整个流程500内对每个后续循环而递增(如i+1，i+2，...，i+n)。因此，举例来说，在一个实施例中，提取匹配特征650a进行分析。在本实施例中，匹配特征650a可以被传递下去以进一步处理和/或分析。在步骤515，确定该特征是否是几何孤立的。特征的几何隔离可以是指例如在一个自适应搜索窗口内，被提取的特征周围是否还有其它匹配特征。因此，在一个实施例中，提取匹配特征650a，并确定特征650a是否是几何隔离的。因此，在一个实施例中，如图6(a)所示，在特征650a附近还有其它匹配特征(特征651a和651b)。在这种情况下，特征650a可以被确定为不是几何隔离的。因此，在步骤515，流程500可以继续到步骤525，更新可信度(credibility)。在一个例子中，在步骤525上的更新可信度包括提供一个更高的权重给匹配特征。但是，在匹配特征650b的例子中，在几何隔离判定步骤515上，可以确定特征650b是几何隔离的，如图6(a)和6(c)所示，然后流程500继续到步骤520。在一种情况下，在步骤520上的降低可信度包括提供一个更低的或负的权重贡献给匹配特征。
在步骤525，更新面部识别匹配的可信度。面部识别匹配的可信度可以是指一个潜在面部识别匹配的可靠性。本发明公开了一个过程，每个匹配特征进行比较，并分配给一个可信度或权重贡献。然后，该过程使用所有匹配特征的权重贡献或权重的总和，以形成一个面部识别匹配的整体可信度。在一个实施例中，面部识别匹配的可信度可以通过以下公式建模：
其中r是指一个分析区域(如自适应搜索窗口)的半径，di是指分析区域中心和给定相关特征之间的距离，fi是指关于中心提取特征的第i个特征的权重或可信度贡献，fs是指一个相似度系数，其可以被看作是一个提取特征匹配和/或一个面部识别匹配的权重或可信度。此外，r大约介于：
之间
其中a是指检测图像面部高度，而b是指检测图像面部宽度。
使用图6(a)所示的特征，可以说明一个前述过程的可能实施。例如，在一个实施例中，有可能计算一个匹配特征的可信度或权重，如匹配特征650a。在这个例子中，在匹配特征650a周围提取匹配特征，以确定匹配特征650a的可信度，如图5的步骤510所示。例如，如图6(b)所示，以匹配特征650a为中心定义一个半径r的自适应搜索窗口628。而且与以上一致，半径r的选择要使得半径r和检测图像面部之间的比率是常数，并且介于之间。在一个实施例中，一个自适应搜索窗口的大小选择可能与诸如面部识别过程的限制、速度、以及误差阈值(如假正或负阈值，false positive and negativethreshold)等有关。
参见图6(a)，通过计算特征651b的贡献，可以确定匹配特征650a的一个可信度值。该贡献可以根据fi＝+r/(di+r)而确定。该贡献可以加入到在自适应搜索窗口内的任何其他特征的贡献。在一个例子中，加入该贡献可以包括提供一个更高的权重给匹配特征。接下来，通过计算特征651a的一个贡献，可以确定匹配特征650a的一个可信度贡献。类似地，特征651a的贡献可以根据fi＝+r/(di+r)而确定。在步骤530，确定任何相关特征是否对匹配特征的可信度应该有贡献。该确定可以是至少部分地基于半径r，如果半径r越大，则越多匹配特征被认为是相关的。因此，通过该例子，过程通过匹配特征651a和651b，然后确定没有更多的相关特征。
在步骤535，判定匹配特征池里是否有额外的特征需要计算可信度值。此外，在一个实施例中，可以计算匹配特征650b的一个可信度值。在这个例子中，确定特征650b是几何隔离的，如图6(a)和6(c)所示。所以，在一个例子中，同样计算特征650b的可信度值fi＝-r/(r+r)，其中半径r的确定和前述讨论的使用特征651a的例子一致。在一个例子中，将特征650b的可信度加入到面部识别匹配的可信度，包括提供一个更低或负的权重给特征650b。所有匹配特征的可信度被加总，以获得面部识别匹配的总可信度。例如，特征650a,650b,651a,651b和651c的可信度值可以加入到任何其他特征的可信度值上，以获得面部识别匹配的总可信度。
根据上面描述，本领域普通技术人员应当理解，互相靠近的匹配特征的数目或分布越大，面部识别匹配的可信度越大。也就是，如果一个给定目标图像与第一和第二参考图像具有相同数量的匹配特征，那么与第一和第二参考图像匹配的可信度，是至少部分地基于相互靠近的匹配特征的数目。在一个例子中，如果第一个参考图像中的50％或更多的匹配特征是靠近的，而第二参考图像中小于50％的匹配特征是靠近的，那么与第一参考图像的面部识别匹配会有一个更高的可信度值。类似地，还应当注意到，匹配特征越接近，或匹配特征之间的距离越短，匹配的可信度就越高。
除了确定每个匹配特征的可信度，RSDA的另一个方面可以包括：确定一个面部信息利用率。面部信息利用率是指在进行面部识别匹配中使用的面部信息数量。在特定实施方式中，利用率是指匹配的图像或者检测帧的表面区域的百分比。也就是，利用率是指在一个匹配区域和一个检测帧或图像的表面区域之间的比率。在一个实施例中，通过分割检测帧并计算具有匹配特征的对应分段的检测区域，可以确定利用率。如图7，图7(a)显示一个包括人脸的图像或检测帧，具有检测区域760，根据一个面部检测过程，检测区域760表示面部已经匹配的一个区域。看上去检测区域760的面积比图7(a)中图像或检测帧的总表面积的四分之一还要小。因此，图7(a)的利用率可以被认为是小于1/4。
在一个例子中，利用率UR可以通过UR＝Smax/I来确定，其中Smax是指数据库里覆盖所有种类(如人)的图像(或检测帧)匹配对的最大区域，而I是指图像或检测帧的总表面积。在一个示例中，可以使用利用率来计算面部识别匹配的最终相似度因子Fs：Fs＝fs/UR。此外，在一个实施例中，如果Smax被确定在某个阈值以下，则可以忽略利用率，因为很有可能确定目标图像中的人脸不在相关图像数据库里。
例如，参见图7(b)和(c)，都有一个检测区域760。在图7(c)，一部分面部被遮盖物765遮挡。在一个实施例中，这可能是一个配饰如围巾。然而，应当理解，遮盖物765可以是任何遮挡一部分目标图像面部的遮盖物。但是，根据本发明，即使一部分面部被遮挡，计算设备也能够获得一个面部识别匹配。例如，如果假定图7(c)的面部识别匹配有一个相似度因子fs’，而图7(b)的面部识别匹配有一个相似度因子fs，考虑到遮盖物765，我们可以通过下列等式将相似度因子关联：
此外，遮盖物765也使得相应图片的表面积可以根据以下等式得出：
其中，与前述等式一致，Smax’是指图7(c)的匹配区域，而Smax是指图7(b)的匹配区域。使用该信息来计算图7(c)范例的一个最终相似度因子，得到：
其可以简化为：
即Fs。否则Fs′＝Fs。因此，在至少一个实施例中，本发明提出一个过程，其使用一个利用率来获得遮挡面部识别示例的一个最终相似度因子，等同于无遮挡面部识别示例的相似度因子。当然，前述仅是描述功能和运作概念和原理，并不能看作是限制性的意义。本领域普通技术人员能够容易理解，本发明的范围不仅仅限于前述讨论和示例。
事实上，本领域技术人员将认识到，上述描述可能有各种变化，这些例子和附图仅仅是为了说明一个或多个特定实施方式。因此，它们不应被限制性地理解。
本申请涉及用于实施本文所述方法和功能的计算装置。图8是一个实施例的计算装置800的一个模块图。如图所示，与上述一致，计算装置800包括一总线，其能够促进计算装置800不同部分之间的信号和/或状况的发送和接收。例如，总线812可以连接到处理器802、存储器804、图像传感器806、用户接口808、和/或I/O810。处理器802可以包括能够处理和/或执行指令的硬件、软件和/或固件的任何合适组合。存储器804可以包括一个或多个存储器单元，可以包括任何适当的存储器，包括但不限于易失性和非易失性存储器。例如，存储器804可包括RAM、闪存、磁存储器、以及相变存储器。在一个实施例中，存储器804上存储有由处理器802执行的指令。在另一个实施例中，存储器804可以存储与图像和/或面部识别功能相关的信号和/或状态。
图像传感器806可包括能拍摄和存储图像的硬件、软件和/或固件的适当组合。例如，在一个实施例中，图像传感器806可以包括一个电荷耦合器件(CCD)，其能够捕获光线并将入射光光子转换成电荷。电荷可以由图像传感器806进行操纵或处理，或者它们可通过总线812被发送到处理器和/或存储器804用于存储。在另一个实施例中，图像传感器806可包括一个基于CMOS的图像传感器。当然，本发明涵盖任何其他合适形式的传感器。请注意，在一些实施例中，计算装置800可以不包括图像传感器806，但可以从一个外部源接收与图像有关的信号和/或状态。
用户接口808可包括与用户、设备和/或计算装置800的其他模块有关的任何合适模块。例如，用户接口808可以包括能够形成接口与用户交互的硬件、软件和/或固件的组合。在一个实施例中，用户接口808可以发送和接收与用户交互的一个图形用户界面有关的数据。在另一个实施例中，用户接口808可以促进与计算装置800的一个外部装置进行通信，例如，用户接口808可以发送和/或接收与面部识别有关的计算装置800的一个外部装置有关的通信。
I/O810可以包括与设备输入/输出有关的任何模块。例如，I/O810可以包括促进与计算装置800输入和输出功能有关功能的硬件、软件和/或固件的组合。
在一个实施例中，与面部识别有关的信号和/或状态可/或从用户接口808和I/O810被发送和接收。
如本文中所使用，术语“和”、“和/或”以及“或”可包含多种意义，所述意义至少部分地取决于所述术语所使用的上下文。通常，“和/或”以及“或”如果是用于使列表相关联，那么例如A、B或C意指A、B和C(此处按包含性意义使用)以及A、B或C(此处按排他性意义使用)。另外，本文使用的术语“一个或多个”可以被用来描述任何特征、结构或特性，或可以被用来描述特征、结构或特性的组合。因此，应该注意到，这仅是一个描述性范例，而本发明权利要求并不受限于该范例。
尽管已经显示和描述了示例实施例，但本领域技术人员可以理解，可以作出各种其它的修改，可以有等同物替代，而不会脱离要求保护的主题内容。此外，为了适应特定的情况，根据本发明主题的教示可以作出许多修改，而不会脱离本文中所描述的中心思想。因此，要求保护的主题并不限于所公开的具体实施例，但要求保护的主题也可以包括落在所附权利要求范围之内的所有实施例及其等同物。

Claims (17)

1.一种通过计算装置进行面部识别的方法，本方法包括：
通过所述计算装置的处理器，识别一个目标图像的一个或多个特征；
通过所述处理器将所述目标图像的一个或多个特征中的至少一个特征与一个参考图像的一个或多个特征进行匹配；
通过所述处理器确定至少一个匹配特征的一个权重贡献；和
通过所述处理器，部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度，其中确定一个权重贡献包括：至少部分地根据与所述至少一个匹配特征相对的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征；
至少部分地根据一个检测帧的匹配面积对表面积的比率，确定一个利用率，并至少部分地根据所述利用率，确定面部识别匹配的一个最终相似度因子；
一部分面部被遮挡的面部识别的最终相似度因子等同于无遮挡面部识别的最终相似度因子，从而即使一部分面部被遮挡，所述计算装置也能够获得一个面部识别匹配。
2.如权利要求1所述的方法，其中所述确定一个权重贡献包括：至少部分地根据到一个或多个其他匹配特征的距离，提供一个更高权重给所述至少一个匹配特征。
3.如权利要求1所述的方法，其中匹配所述一个或多个特征中的至少一个特征包括：使用一个自适应窗口。
4.如权利要求1所述的方法，其中所述确定一个权重贡献包括：至少部分地根据一个几何隔离判定，提供一个更低权重给所述至少一个匹配特征。
5.如权利要求3所述的方法，还包括：将所述自适应窗口的中心置于所述至少一个匹配特征上。
6.如权利要求3所述的方法，其中所述自适应窗口是一个半径介于之间的圆，其中a是指一个检测帧高度，而b是指一个检测帧宽度。
7.如权利要求1所述的方法，其中所述至少一个匹配特征包含在一个匹配特征池里。
8.一种装置，其包括一个其上有指令的非临时性计算机可读介质，所述指令可被执行以：
识别一个目标图像的一个或多个特征；
使用一个自适应窗口，将所述目标图像的一个或多个特征中的至少一个特征与一个参考图像的一个或多个特征进行匹配；
确定至少一个匹配特征的一个权重贡献；
至少部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度；和
至少部分地根据一个检测帧的匹配面积对表面积的比率，确定一个利用率，并至少部分地根据所述利用率，确定面部识别匹配的一个最终相似度因子；
一部分面部被遮挡的面部识别的最终相似度因子等同于无遮挡面部识别的最终相似度因子，从而即使一部分面部被遮挡，所述装置也能够获得一个面部识别匹配。
9.如权利要求8所述的装置，其中可执行确定一个权重贡献的指令还包括：至少部分地根据到一个或多个其他匹配特征的距离，提供一个更高权重给所述至少一个匹配特征。
10.如权利要求9所述的装置，其中所述可执行确定一个权重贡献的指令还包括：至少部分地根据也在所述自适应窗口内的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征。
11.如权利要求9所述的装置，其中所述可执行确定一个权重贡献的指令还包括：至少部分地根据一个几何隔离判定，提供一个更低权重给所述至少一个匹配特征。
12.如权利要求9所述的装置，其中可执行使用一个自适应窗口将一个或多个特征中的至少一个特征匹配的指令还包括：将所述自适应窗口的中心置于所述至少一个匹配特征上。
13.一种通过计算装置进行面部识别的方法，包括：
通过一个计算装置的处理器，使用一个自适应窗口，将一个目标图像的至少一个特征与一个参考图像的至少一个特征进行匹配；
通过所述处理器，确定至少一个匹配特征的一个权重贡献；
通过所述处理器，至少部分地根据所述至少一个匹配特征的权重贡献，确定一个面部识别匹配的可信度；和
至少部分地根据一个检测帧的匹配面积对表面积的比率，确定一个利用率，并至少部分地根据所述利用率，确定面部识别匹配的一个最终相似度因子；
一部分面部被遮挡的面部识别的最终相似度因子等同于无遮挡面部识别的最终相似度因子，从而即使一部分面部被遮挡，所述计算装置也能够获得一个面部识别匹配。
14.如权利要求13所述的方法，其中确定所述至少一个匹配特征的权重贡献包括：至少部分地根据到一个或多个其他匹配特征的距离，提供一个更高权重给所述至少一个匹配特征。
15.如权利要求13所述的方法，其中确定所述至少一个匹配特征的权重贡献包括：至少部分地根据在自适应窗口内的多个其他匹配特征的数量，提供一个更高权重给所述至少一个匹配特征。
16.如权利要求13所述的方法，其中确定所述至少一个匹配特征的权重贡献包括：至少部分地根据一个几何隔离判定，提供一个更低权重给所述至少一个匹配特征。
17.如权利要求13所述的方法，其中所述自适应窗口是一个半径介于之间的圆，其中a是指一个检测帧高度，而b是指一个检测帧宽度。
CN201410262274.8A 2014-05-02 2014-06-12 通过计算装置进行面部识别的方法和装置 Active CN104021380B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/268,149 US9436892B2 (en) 2014-05-02 2014-05-02 Method and apparatus for facial detection using regional similarity distribution analysis
US14/268,149 2014-05-02

Publications (2)

Publication Number Publication Date
CN104021380A CN104021380A (zh) 2014-09-03
CN104021380B true CN104021380B (zh) 2017-12-12

Family

ID=51438125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410262274.8A Active CN104021380B (zh) 2014-05-02 2014-06-12 通过计算装置进行面部识别的方法和装置

Country Status (2)

Country Link
US (1) US9436892B2 (zh)
CN (1) CN104021380B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875394B2 (en) * 2013-07-31 2018-01-23 Panasonic Intellectual Property Corporation Of America Skin analysis method, skin analysis device, and method for controlling skin analysis device
US20150199872A1 (en) * 2013-09-23 2015-07-16 Konami Gaming, Inc. System and methods for operating gaming environments
AU2015261614A1 (en) * 2015-09-04 2017-03-23 Musigma Business Solutions Pvt. Ltd. Analytics system and method
RU2613734C1 (ru) * 2015-10-22 2017-03-21 Общество с ограниченной ответственностью "Аби Девелопмент" Захват видео в сценарии ввода данных
CN105335726B (zh) * 2015-11-06 2018-11-27 广州视源电子科技股份有限公司 人脸识别置信度获取方法和系统
WO2018110490A1 (ja) * 2016-12-12 2018-06-21 日本電気株式会社 情報処理装置、遺伝情報作成方法及びプログラム
CN107066923A (zh) * 2016-12-30 2017-08-18 易瓦特科技股份公司 基于无人机进行目标识别的方法及设备
CN106778673A (zh) * 2016-12-30 2017-05-31 易瓦特科技股份公司 应用于无人机的可识别方法及系统
CN106874839A (zh) * 2016-12-30 2017-06-20 易瓦特科技股份公司 脸部信息识别的方法及装置
CN106778669A (zh) * 2016-12-30 2017-05-31 易瓦特科技股份公司 基于无人机进行目标对象进行识别的方法及装置
CN106815568A (zh) * 2016-12-30 2017-06-09 易瓦特科技股份公司 用于针对目标对象进行识别的方法及系统
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
US10303932B2 (en) * 2017-07-05 2019-05-28 Midea Group Co., Ltd. Face recognition in a residential environment
US10896318B2 (en) * 2017-09-09 2021-01-19 Apple Inc. Occlusion detection for facial recognition processes
CN107622243B (zh) * 2017-09-21 2021-03-12 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN107527046B (zh) * 2017-09-21 2021-04-02 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN109086688A (zh) * 2018-07-13 2018-12-25 北京科莱普云技术有限公司 脸部皱纹检测方法、装置、计算机设备和存储介质
CN110689557A (zh) * 2019-09-21 2020-01-14 天津大学 一种基于kcf的改进型抗遮挡目标跟踪方法
CN110798726A (zh) * 2019-10-21 2020-02-14 北京达佳互联信息技术有限公司 弹幕显示方法、装置、电子设备及存储介质
CN111107064B (zh) * 2019-12-04 2022-07-12 北京奇虎科技有限公司 终端设备识别方法、装置、设备及可读存储介质
EP4141784A4 (en) * 2020-04-21 2023-06-14 NEC Corporation MAPPING DEVICE, MAPPING SYSTEM, MAPPING METHOD, AND NON-TRANSITORY COMPUTER READABLE MEDIA STORING A MAPPING PROGRAM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201133357A (en) * 2009-10-08 2011-10-01 Hewlett Packard Development Co Detecting near duplicate images
CN103646234A (zh) * 2013-11-15 2014-03-19 天津天地伟业数码科技有限公司 基于lgbph特征的人脸识别方法
CN103745207A (zh) * 2014-01-27 2014-04-23 中国科学院深圳先进技术研究院 一种人脸识别的特征提取方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
KR101514327B1 (ko) * 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
KR20120066462A (ko) 2010-12-14 2012-06-22 한국전자통신연구원 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치
KR101326691B1 (ko) 2011-11-28 2013-11-08 경북대학교 산학협력단 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201133357A (en) * 2009-10-08 2011-10-01 Hewlett Packard Development Co Detecting near duplicate images
CN103646234A (zh) * 2013-11-15 2014-03-19 天津天地伟业数码科技有限公司 基于lgbph特征的人脸识别方法
CN103745207A (zh) * 2014-01-27 2014-04-23 中国科学院深圳先进技术研究院 一种人脸识别的特征提取方法及装置

Also Published As

Publication number Publication date
US9436892B2 (en) 2016-09-06
US20150317513A1 (en) 2015-11-05
CN104021380A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
CN104021380B (zh) 通过计算装置进行面部识别的方法和装置
US11288504B2 (en) Iris liveness detection for mobile devices
CN105893920B (zh) 一种人脸活体检测方法和装置
Galdi et al. Multimodal authentication on smartphones: Combining iris and sensor recognition for a double check of user identity
US8064653B2 (en) Method and system of person identification by facial image
US20170032182A1 (en) System for adaptive real-time facial recognition using fixed video and still cameras
CN107590430A (zh) 活体检测方法、装置、设备及存储介质
CN108388878A (zh) 用于识别人脸的方法和装置
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
Reese et al. A comparison of face detection algorithms in visible and thermal spectrums
US20200302041A1 (en) Authentication verification using soft biometric traits
EP3540638B1 (en) Methods and systems for detecting user liveness
US9378406B2 (en) System for estimating gender from fingerprints
WO2020172870A1 (zh) 一种目标对象的移动轨迹确定方法和装置
CN108595278A (zh) 防偷窥提示方法及相关产品
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
CN108549853A (zh) 一种图像处理方法、移动终端以及计算机可读存储介质
CN105184236A (zh) 机器人人脸识别系统
Ebrahimpour et al. Liveness control in face recognition with deep learning methods
CN113158712A (zh) 人员管理系统
Zhong et al. VeinDeep: Smartphone unlock using vein patterns
de Oliveira et al. A fast eye localization and verification method to improve face matching in surveillance videos
Amjed et al. A robust geometric skin colour face detection method under unconstrained environment of smartphone database
Yuan et al. Rotation and illumination invariant texture analysis: matching clothes with complex patterns for blind people
CN111368644B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant