CN106922192A - 利用查找表的面部检测方法和装置 - Google Patents

利用查找表的面部检测方法和装置 Download PDF

Info

Publication number
CN106922192A
CN106922192A CN201580061026.XA CN201580061026A CN106922192A CN 106922192 A CN106922192 A CN 106922192A CN 201580061026 A CN201580061026 A CN 201580061026A CN 106922192 A CN106922192 A CN 106922192A
Authority
CN
China
Prior art keywords
image
feature mode
face
feature
look
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580061026.XA
Other languages
English (en)
Other versions
CN106922192B (zh
Inventor
J·李
B·君
T-H·金姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106922192A publication Critical patent/CN106922192A/zh
Application granted granted Critical
Publication of CN106922192B publication Critical patent/CN106922192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

公开了与面部检测相关联的装置、方法以及存储介质。在实施例中，装置可以包括一个或多个处理器、高速缓存存储器、特征模式的查找表、以及面部检测器。在操作期间，查找表将被加载到高速缓存存储器中，以用于检测图像中是否存在面部。查找表内的特征模式根据特征模式的相对连接性被组织在查找表内。用于检测图像中是否存在面部的面部检测器可以在检测面部期间使用加载到高速缓存存储器中的特征模式的查找表。可以描述和/或要求保护其它实施例。

Description

利用查找表的面部检测方法和装置
相关申请
本申请要求于2014年12月10日提交的题为“FACE DETECTION METHOD ANDAPPARATUS WITH LOOKUP TABLE(利用查找表的面部检测方法和装置)”的美国专利申请14/566,312的优先权。
技术领域
本公开涉及计算领域。更具体地，本公开涉及采用高效组织的查找表在图像中进行面部检测。
背景技术
本文提供的背景描述是出于一般性地呈现本公开的上下文的目的。除非另有说明，否则本节中描述的材料不是本申请中权利要求书的现有技术，并且不应因包括在本节中而被认为是现有技术。
面部检测广泛应用于许多应用。大多数面部检测技术涉及查找表(LUT)的大量随机访问，查找表LUT将其特征的模式映射到针对模式的分数值以表示面部的一部分。由于面部检测的复杂性，LUT通常太大而不能完全装入许多客户端计算设备(例如，智能手机、计算平板电脑等)的高速缓存存储器中。因此，在这些客户端计算设备上，在面部检测期间在设备上频繁发生高速缓存未命中，并且作为结果，面部检测通常不能如期望得那样快速地完成。
附图说明
通过结合附图的以下详细描述将容易理解实施例。为了有助于该描述，同样的附图标记指定同样的结构元素。在附图中的图中，实施例以示例而非限制的方式示出。
图1示出了根据各种实施例的与本公开的面部检测教导合并的示例计算系统。
图2示出了根据各种实施例的用于面部检测的示例过程。
图3-图4示出了根据各种实施例的用于生成高效LUT以用于面部检测的示例过程。
图5示出了根据所公开的实施例的具有用于实践参考图1-图4所描述的方法的指令的存储介质。
具体实施方式
公开了与面部检测相关联的装置、方法和存储介质。在实施例中，装置可以包括一个或多个处理器、高速缓存存储器、特征模式的查找表、以及面部检测器。在操作期间，查找表将被加载到高速缓存存储器中，以用于检测图像中是否存在面部。查找表内的特征模式根据特征模式的相对连接性被组织在查找表内。用于检测图像中是否存在面部的面部检测器可以在检测面部期间使用加载到高速缓存存储器中的特征模式的查找表。
在下面的详细描述中，参考形成其一部分的附图，其中同样的附图标记始终指定同样的部分，并且其中通过图示的方式示出了可以被实践的实施例。应当理解，在不脱离本公开的范围的情况下，可以使用其它实施例并且可以进行结构或逻辑改变。因此，以下详细描述不应被认为是限制意义的，并且实施例的范围由所附权利要求及其等同物限定。
在所附的说明书中公开了公开内容的方面。可以在不脱离本公开的精神或范围的情况下设计出本公开的替代实施例及其等同物。应当注意，下面公开的同样的元素在附图中由同样的附图标记指示。
各种操作可以依次被描述为多个离散动作或操作，以对于理解所要求保护的主题最有帮助的方式。然而，描述的顺序不应被解释为意味着这些操作必须是顺序相关的。特别地，这些操作可以不按照呈现的顺序执行。所描述的操作可以以不同于所描述的实施例的顺序执行。在附加实施例中，可以执行各种附加操作和/或可以省略所描述的操作。
出于本公开的目的，短语“A和/或B”表示(A)、(B)、或(A和B)。出于本公开的目的，短语“A、B和/或C”是指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)、或(A、B和C)。
说明书可以使用短语“在实施例中”或“在多个实施例中”，其每个均可以指示相同或不同的实施例中的一个或多个。此外，如关于本公开的实施例使用的术语“包含”、“包括”、“具有”等是同义的。
如本文所使用的，术语“模块”可以指示以下的部分或者包括：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或组)和/或存储器(共享的、专用的、或组)、组合逻辑电路、和/或提供所描述的功能的其它合适的组件。
现在参考图1，其中示出了根据各种实施例的与本公开的面部检测教导合并的示例计算系统。如所示出的，计算系统100可以包括一个或多个处理器102、高速缓存存储器103、以及系统存储器104。每个处理器102可以包括一个或多个处理器核心。高速缓存存储器103可以包括LUT 114，并且系统存储器104可以包括LUT生成器116和面部检测器(FD)118的非持久副本。在实施例中，高速缓存存储器103可以是处理器102的一部分。LUT 114可以被配置为包括能够用于检测图像中是否存在面部的多个特征模式。LUT生成器116可以被配置为生成LUT 114。FD 118可以被配置为基于预存储在LUT 114中的特征模式来检测图像中是否存在面部，FD 118在确定图像帧中是否存在面部的过程中反复地访问LUT 114。此外，如下面将更详细地描述的，LUT生成器116可以被配置为生成根据特征模式的相对连接性被高效地组织的LUT 114。作为结果，即使在具有相对小的高速缓存存储器103的较小客户端设备(例如，智能电话、计算平板电脑等)中，也可以通过FD 118高效地执行面部检测。在实施例中，系统存储器104还可以包括操作系统和/或各种其它应用(未示出)的非持久副本。在进一步描述LUT生成器116和FD 118之前，应当注意，虽然LUT 114、其组织、生成、使用等被设计为有助于在具有相对较小的高速缓存存储器(与笔记本电脑、台式机、或服务器相比)的客户端计算设备上高效操作，但是可以预期，如所公开的，LUT 114、其组织、生成、使用等可以在具有较大的高速缓存存储器的计算设备(例如，笔记本电脑、台式机、和/或服务器)上实践。
仍然参考图1，计算系统100还可以包括大容量存储设备106、输入/输出设备108、以及通信接口110。大容量存储设备106可以包括LUT生成器116和FD 118的持久副本。元件102-110可以经由系统总线112彼此耦合，系统总线112可以表示一条或多条总线。在多条总线的情况下，它们可以通过一个或多个总线桥(未示出)桥接。大容量存储设备106的示例可以包括但不限于软盘、硬盘驱动器、光盘只读存储器(CD-ROM)等。输入/输出设备108的示例可以包括但不限于显示器、键盘、光标控件等。通信接口110的示例可以包括但不限于有线和/或无线网络接口卡、调制解调器等。通信接口110可以支持各种有线或无线通信，包括但不限于3G/4G/5G、WiFi、以太网等。
除了LUT 114、LUT生成器116、以及FD 118之外，这些元件102-110中的每一个元件可以执行其本领域已知的常规功能。这些元件102-110的数量、性能和/或容量可以根据计算系统100是用作客户端设备还是用作服务器而变化。当计算系统100用作客户端设备时，这些元件102-110的性能和/或容量可以根据客户端设备是固定设备还是移动设备(如可穿戴设备、智能电话、计算平板电脑、超级笔记本、或笔记本电脑)而变化。在其它情况下，元件102-110的结构是已知的，并且因此将不再进一步描述。
现在参考图2，其中示出了根据各种实施例的用于面部检测的示例过程。如所示出的，用于面部检测的过程200可以包括在框202-208中执行的操作。例如，操作可以由图1的FD 118执行。在其它实施例中，可以在不具有操作中的一些操作、具有附加操作、和/或具有不同顺序的操作的情况下执行过程200。
如所示出的，过程200可以在框202处开始。在框202处，在接收到图像时，可以生成不同缩放的图像的集合。在实施例中，可以经由金字塔(pyramid)技术生成不同缩放的图像的集合。
在框204处，可以将不同缩放的图像变换成不同缩放的特征图像。在实施例中，可以将不同缩放的图像变换成不同缩放的修改统计变换(MCT)图像。在其它实施例中，可以将不同缩放的图像变换成不同缩放的局部二进制模式(LBP)图像。
在框206处，可以利用检测窗口来扫描每个特征图像，以检测在检测窗口内是否存在面部。在实施例中，检测窗口可以是固定大小的。此外，可以将级联的面部分类器应用于每个检测窗口以确定检测窗口内是否存在面部。每个分类器可以是预训练的，例如，使用AdaBoost学习方法。在实施例中，为了操作的效率，可以使用预存储在设置于高速缓存存储器中的LUT中的特征模式来应用每个分类器。特别地，可以将特征模式预存储在基于特征模式的相对连接性被高效地组织的高速缓存驻留LUT中。在实施例中，可以通过评分函数来测量特征模式的相对连接性，评分函数对在分析图像以检测面部的过程中一个特征模式被另一个特征模式跟随的可能性进行评分。示例评分函数是概率函数，其提供在遇到特征B之后立即遇到特征模式A的条件概率P{A|B}。
在框208处，可以至少部分地基于框206处的扫描的结果来做出关于图像中是否存在面部的确定。
现在参考图3-图4，其中示出了根据各种实施例的用于生成高效LUT以用于面部检测的示例过程。如所示出的，用于生成高效组织的LUT以用于面部检测的过程300可以包括在框302-310中执行的操作。例如，操作可以由图1的LUT生成器116执行。在其它实施例中，可以在不具有操作中的一些操作、具有附加操作、和/或具有不同操作的顺序的情况下执行过程300。
过程300可以在框302处开始。在框302处，可以从训练样本图像中收集特征模式连接性数据。在实施例中，如早前描述过的，可以按照在分析图像以检测面部的过程中特征模式将被另一个特征模式跟随的分数来测量特征模式连接性数据。在实施例中，可以从100000个训练样本图像中收集特征模式连接性数据。
在框304处，可以将收集到的特征模式连接性数据(例如，分数或概率)组织成特征模式连接性表或矩阵402。
在框306处，可以计算行404或列406的平均连接性(例如，平均分数或概率)。
在框308处，可以选择具有最大平均连接性(例如，平均分数或概率)的行或列作为参考行或列408。
在框310处，可以将训练样本图像的特征模式按它们的所选择的参考行或列的相对连接性存储到LUT中。
如本领域的技术人员将认识到的，对于9位模式的MCT特征，表或矩阵402具有512×512的大小，因此过程300提供了高效方法来定位要设置在缓存存储器中以用于在面部检测期间使用的高效组织的LUT 114，这降低高速缓存未命中的可能性。本领域的技术人员将会因此认识到，因为如果要考虑所有排列来选择最优的LUT，则不得不考虑2×620！×512！个排列(如果我们考虑620个验证点以及LUT的转置的话)。即使不考虑验证点，如果考虑LUT的转置，则仍然不得不考虑2×512！个排列。
可以将本公开实施为方法或计算机程序产品。因此，除了如早前所描述的以硬件实施之外，本公开可以采取完全软件的实施例(包括固件、驻留软件、微代码等)、或者将一般可以被称为“电路”、“模块”或“系统”的软件和硬件方面进行组合的实施例的形式。此外，本公开可以采取实施在任何有形的或非暂时性的表达介质中的计算机程序产品的形式，其具有实施在介质中的计算机可用程序代码。图5示出了可以适于用来存储指令的示例计算机可读非暂时性存储介质，响应于由装置执行指令而使得该装置实践本公开的所选择的方面。如所示出的，非暂时性计算机可读存储介质502可以包括多个编程指令504。编程指令504可以被配置为使得诸如计算系统100的设备能够响应于编程指令的执行来执行：例如，与图1的LUT生成器116、FD 118相关联的各种操作、图2-图4的过程200和/或过程300。在替代实施例中，可以代替地将编程指令504设置在多个计算机可读非暂时性存储介质502上。在替代实施例中，可以将编程指令504设置在计算机可读暂时性存储介质502上，例如，信号。
可以利用一种或多种计算机可用或计算机可读介质的任何组合。计算机可用或计算机可读介质可以是(例如但不限于)电子、磁性、光学、电磁、红外、或半导体系统、装置、设备、或传播介质。计算机可读介质的更具体的示例(非穷尽性列表)将包括以下：具有一条或多条电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、传输介质(例如，支持互联网或内联网的传输介质)、或磁存储设备。注意，计算机可用或计算机可读介质甚至可以是在其上打印程序的纸张或其它合适的介质，因为可以经由例如对纸张或其它介质进行光学扫描而电子地捕获程序，然后如果有必要则以合适的方式进行编译、解释、或以其它方式处理，并且然后存储在计算机存储器中。在本文档的上下文中，计算机可用或计算机可读介质可以是能够包含、存储、通信、传播、或传送程序以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的任何介质。计算机可用介质可以包括具有实施在其中的计算机可用程序代码的传播数据信号，或者以基带的形式，或者作为载波的一部分。计算机可用程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤电缆、RF等。
用于执行本公开的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，一种或多种编程语言包括面向对象的编程语言(例如Java、Smalltalk、C++等)和常规过程编程语言(例如，“C”编程语言或类似的编程语言)。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包、部分地在用户的计算机上且部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种场景下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者可以进行到外部计算机的连接(例如，通过使用互联网服务提供商的互联网)。
参考根据本公开的实施例的方法、装置(系统)以及计算机程序产品的流程图图示和/或框图来描述本公开。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实现。可以将这些计算机程序指令提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器以产生机器，以使得经由计算机的处理器或其它可编程数据处理装置执行的指令创建用于实现在流程图和/或框图的框或多个框中指定的功能/动作的模块。
这些计算机程序指令还可以存储在计算机可读介质中，其可以使得计算机或其它可编程数据处理装置以特定的方式工作，以使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图的框或多个框中指定的功能/动作的指令模块的制品。
还可以将计算机程序指令加载到计算机或其它可编程数据处理装置上，以使得在计算机或其它可编程装置上执行一系列操作步骤以产生计算机实现的过程，以使得在计算机或其它可编程装置上执行的指令提供用于实现在流程图和/或框图的框或多个框中指定的功能/动作的过程。
附图中的流程图和框图示出了根据本公开的各种实施例的系统、方法以及计算机程序产品的可能实施方式的架构、功能以及操作。在这方面，流程图或框图中的每个框可以表示模块、段、或代码的部分，其包括用于实现指定的(多个)逻辑功能的一个或多个可执行指令。还应当注意的是，在一些替代实施方式中，框中指出的功能可以不按照附图中所指出的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统、或者专用硬件和计算机指令的组合来实现。
本文使用的术语仅出于描述特定实施例的目的，而并非旨在限制本公开。如本文所使用的，单数形式“一(a)”、“一个(an)”以及“该(the)”旨在也包括复数形式，除非上下文另有明确指出。将进一步理解，当在本说明书中使用时，术语“包含(comprises)”和/或“包含有(comprising)”指定所述特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。
可以将实施例实现为计算机过程、计算系统、或者诸如计算机可读介质的计算机程序产品的制品。计算机程序产品可以是计算机系统可读并编码用于执行计算机过程的计算机程序指令的计算机存储介质。
所附权利要求书中的所有模块或步骤加功能元件的相应结构、材料、动作以及等同物旨在包括用于与如特别要求保护的其它要求保护的元件结合执行功能的任何结构、材料、或动作。本公开的描述是出于说明和描述的目的呈现的，而并非旨在穷尽性的或限制于以所公开的形式的公开内容。在不脱离本公开的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择并描述实施例以使得最好地解释本公开的原理和实际应用，并且使得其他本领域的普通技术人员能够理解具有适合于所设想的特定用途的各种修改的实施例的公开内容。
返回参考图1，对于一个实施例，可以将处理器102中的至少一个处理器102与具有LUT生成器116和/或FD 118的存储器封装在一起。对于一个实施例，可以将处理器102中的至少一个处理器102与具有LUT生成器116和/或FD 118封装在一起以形成系统级封装(SiP)。对于一个实施例，可以将处理器102中的至少一个处理器102与具有LUT生成器116和/或FD 118的存储器集成在同一管芯上。对于一个实施例，可以将处理器102中的至少一个处理器102与具有LUT生成器116和/或FD 118的存储器封装在一起以形成片上系统(SoC)。对于至少一个实施例，SoC可以用于例如但不限于可穿戴设备、智能电话、或计算平板电脑。
因此，已经描述了本公开的各种示例实施例，包括但不限于：
示例1可以是用于计算的装置，计算包括检测图像中的面部。该装置可以包括：一个或多个处理器；高速缓存存储器；以及在操作期间要加载到高速缓存存储器中以用于检测图像中是否存在面部的特征模式的查找表。查找表内的特征模式可以根据特征模式的相对连接性被组织在查找表内。该装置还可以包括由一个或多个处理器操作以检测图像中是否存在面部的面部检测器，其在检测面部期间使用加载到高速缓存存储器中的特征模式的查找表。
示例2可以是示例1，其中，特征模式的第一特征模式和第二特征模式的相对连接性可以通过指示在分析图像以检测面部时第一特征模式被第二特征模式跟随的可能性的分数来测量。
示例3可以是示例1，还包括查找表生成器，其用于从一组训练图像中生成特征模式，并计算在分析图像以检测面部时一个特征模式被另一个特征模式跟随的相应概率。
示例4可以是示例3，其中，查找表生成器可以被配置为基于计算出的概率来生成特征模式连接性矩阵，并且其中，查找表生成器将进一步针对每行或每列计算概率的平均值。
示例5可以是示例4，其中，查找表生成器可以被配置为进一步选择行(或列)中具有最大的概率平均值的行(或列)作为参考行(或列)。
示例6可以是示例5，其中，查找表生成器还可以被配置为根据参考行或列中的概率将特征模式存储到查找表中。
示例7可以是示例1-6中的任何一个示例，其中，面部检测器可以被配置为：接收图像，生成多个不同缩放的图像，并且使用扫描窗口来扫描不同缩放的图像，以至少部分地基于存储在被加载到高速缓存存储器中的查找表中的特征模式来检测扫描窗口中是否存在面部。
示例8可以是示例7，其中，面部检测器可以被配置为至少部分地基于扫描的结果来确定图像中是否存在面部。
示例9可以是用于计算的计算机实现的方法，计算包括检测图像中的面部。该方法可以包括：由计算设备的面部检测器接收图像；由面部检测器基于接收到的图像来生成多个不同缩放的图像；由面部检测器使用扫描窗口来扫描不同缩放的图像，以至少部分地基于预存储在被加载在高速缓存存储器中的查找表中的特征模式来确定扫描窗口中是否存在面部，在扫描期间访问查找表，其中查找表内的特征模式根据特征模式的相对连接性被组织在查找表内；以及由面部检测器至少部分地基于扫描的结果来确定图像中是否存在面部。
示例10可以是示例9，其中，特征模式的第一特征模式和第二特征模式的相对连接性可以通过指示在分析图像以检测面部时第一特征模式被第二特征模式跟随的可能性的分数来测量。
示例11可以是示例9或10，还包括：由在计算设备上操作的查找表生成器处理一组训练图像，以识别要预存储在查找表中的特征模式；由查找表生成器确定特征模式的相对连接性；以及由查找表生成器根据特征模式的相对连接性将特征模式存储到查找表中。
示例12可以是示例11，其中，确定相对连接性可以包括计算在分析图像以检测面部时一个特征模式被另一个特征模式跟随的相应概率。
示例13可以是示例12，其中，确定相对连接性还可以包括基于计算出的概率来生成特征模式连接性矩阵，以及针对每行或每列计算概率的平均值。
示例14可以是示例13，其中，确定相对连接性还可以包括选择行(或列)中具有最大的概率平均值的行(或列)作为参考行(或列)。
示例15可以是示例14，其中，存储可以包括根据参考行或列中的概率将特征模式存储到查找表中。
示例16可以是至少一种计算机可读介质(CRM)，其包括指令，以响应于由计算装置执行指令而提供面部检测器，以用于：接收图像；基于接收到的图像来生成多个不同缩放的图像；使用扫描窗口来扫描不同缩放的图像，以至少部分地基于预存储在被加载在高速缓存存储器中的查找表中的特征模式来确定扫描窗口中是否存在面部，在扫描期间访问查找表，其中查找表内的特征模式根据特征模式的相对连接性被组织在查找表内；以及至少部分地基于扫描的结果来确定图像中是否存在面部。
示例17可以是示例16，其中，特征模式的第一特征模式和第二特征模式的相对连接性通过指示在分析图像以检测面部时第一特征模式被第二特征模式跟随的可能性的分数来测量。
示例18可以是示例16，其中，指令还可以提供查找表生成器，以用于：处理一组训练图像以识别特征模式；确定特征模式的相对连接性；以及根据特征模式的相对连接性将特征模式存储到查找表中。
示例19可以是示例18，其中，查找表生成器还可以从一组训练图像中生成特征模式，并计算在分析图像以检测面部时一个特征模式被另一个特征模式跟随的相应概率。
示例20可以是示例19，其中，查找表生成器还可以基于计算出的概率来生成特征模式连接性矩阵，并且其中，查找表生成器将进一步针对每行或每列计算概率的平均值。
示例21可以是示例20，其中，查找表生成器还可以选择行(或列)中具有最大的概率平均值的行(或列)作为参考行(或列)。
示例22可以是示例21，其中，查找表生成器可以根据参考行或列中的概率将特征模式存储到查找表中。
实施例23可以是用于计算的装置，计算包括检测图像中的面部。该装置可以包括：用于接收图像的模块；用于基于接收到的图像来生成多个不同缩放的图像的模块；以及用于针对预存储在高速缓存存储器中的查找表中的特征模式扫描不同的缩放图像的模块，其中查找表的特征模式根据特征模式的相对连接性被组织。
示例24可以是示例23，其中，特征模式的第一特征模式和第二特征模式的相对连接性通过指示在分析图像以检测面部时第一特征模式被第二特征模式跟随的可能性的分数来测量。
示例25可以是示例23，还包括：用于处理一组训练图像以识别多个特征模式的模块；用于确定特征模式的相对连接性的模块；以及用于根据特征模式的相对连接性将特征模式存储到查找表中的模块。
示例26可以是示例25，其中，用于处理的模块可以包括用于从一组训练图像中生成特征模式并计算在分析图像以检测面部时一个特征模式被另一个特征模式跟随的相应概率的模块。
示例27可以是示例26，其中，用于确定相对连接性的模块可以包括用于基于计算出的概率来生成特征模式连接性矩阵的模块，并且其中，查找表生成器将进一步针对每行或每列计算概率的平均值。
示例28可以是示例27，其中，用于确定相对连接性的模块还可以包括用于选择行(或列)中具有最大的概率平均值的行(或列)作为参考行(或列)的模块。
示例29可以是示例28，其中，用于存储的模块可以包括用于根据参考行或列中的概率将特征模式存储到查找表中的模块。
对于本领域的技术人员显而易见的是，可以在所公开的设备和相关联的方法的所公开的实施例中进行各种修改和变化，而不脱离本公开的精神或范围。因此，本公开旨在覆盖上文公开的实施例的修改和变化，只要修改和变化落入任何权利要求及其等同物的范围内。

Claims (24)

1.一种用于计算的装置，所述计算包括检测图像中的面部，所述装置包括：
一个或多个处理器；
高速缓存存储器；
特征模式的查找表，其在操作期间要加载到所述高速缓存存储器中以用于检测图像中是否存在面部，其中，所述查找表内的所述特征模式根据所述特征模式的相对连接性被组织在所述查找表内；以及
面部检测器，其由所述一个或多个处理器操作以检测图像中是否存在面部，所述面部检测器在检测所述面部期间使用加载到所述高速缓存存储器中的所述特征模式的查找表。
2.根据权利要求1所述的装置，其中，所述特征模式的第一特征模式和第二特征模式的相对连接性是通过指示在分析图像以检测面部时所述第一特征模式被所述第二特征模式跟随的可能性的分数来测量的。
3.根据权利要求2所述的装置，还包括查找表生成器，其用于从一组训练图像中生成所述特征模式，并计算在分析图像以检测面部时一个特征模式被另一个特征模式跟随的相应概率。
4.根据权利要求3所述的装置，其中，所述查找表生成器将基于计算出的概率来生成特征模式连接性矩阵，并且其中，所述查找表生成器将进一步针对每行或每列计算所述概率的平均值。
5.根据权利要求4所述的装置，其中，所述查找表生成器将进一步选择行(或列)中具有最大的概率平均值的行(或列)作为参考行(或列)。
6.根据权利要求5所述的装置，其中，所述查找表生成器将根据所述参考行或列中的所述概率将所述特征模式存储到所述查找表中。
7.根据权利要求1-6中的任一项所述的装置，其中，所述面部检测器将接收所述图像，生成多个不同缩放的图像，并且使用扫描窗口来扫描所述不同缩放的图像，以至少部分地基于存储在被加载到所述高速缓存存储器中的所述查找表中的所述特征模式来检测所述扫描窗口中是否存在面部。
8.根据权利要求7所述的装置，其中，所述面部检测器将至少部分地基于所述扫描的结果来确定所述图像中是否存在面部。
9.一种用于计算的计算机实现的方法，所述计算包括检测图像中的面部，所述方法包括：
由所述计算设备的面部检测器接收图像；
由所述面部检测器基于接收到的所述图像来生成多个不同缩放的图像；
由所述面部检测器使用扫描窗口来扫描所述不同缩放的图像，以至少部分地基于预存储在被加载在高速缓存存储器中的查找表中的特征模式来确定所述扫描窗口中是否存在面部，在所述扫描期间访问所述查找表，其中所述查找表内的所述特征模式根据所述特征模式的相对连接性被组织在所述查找表内；以及
由所述面部检测器至少部分地基于所述扫描的结果来确定所述图像中是否存在面部。
10.根据权利要求9所述的计算机实现的方法，其中，所述特征模式的第一特征模式和第二特征模式的相对连接性是通过指示在分析图像以检测面部时所述第一特征模式被所述第二特征模式跟随的可能性的分数来测量的。
11.根据权利要求9所述的计算机实现的方法，还包括：
由在计算设备上操作的查找表生成器处理一组训练图像，以识别要预存储在所述查找表中的所述特征模式；
由所述查找表生成器确定所述特征模式的相对连接性；以及
由所述查找表生成器根据所述特征模式的相对连接性将所述特征模式存储到所述查找表中。
12.根据权利要求11所述的方法，其中，确定相对连接性包括计算在分析图像以检测面部时一个特征模式被另一个特征模式跟随的相应概率。
13.根据权利要求12所述的方法，其中，确定相对连接性还包括基于计算出的所述概率来生成特征模式连接性矩阵，以及针对每行或每列计算所述概率的平均值。
14.根据权利要求13所述的方法，其中，确定相对连接性还包括选择行(或列)中具有最大的概率平均值的行(或列)作为参考行(或列)。
15.根据权利要求14所述的方法，其中，存储包括根据所述参考行或列中的所述概率将所述特征模式存储到所述查找表中。
16.至少一种计算机可读介质(CRM)，其包括指令，以响应于由计算装置执行所述指令而提供用于实践权利要求9-10中的任一项所述的方法的面部检测器。
17.根据权利要求16所述的CRM，还包括指令，以响应于由所述计算装置执行所述指令而提供用于实践权利要求11-15中的任一项所述的方法的查找表生成器。
18.一种用于计算的装置，所述计算包括检测图像中的面部，所述装置包括：
用于接收图像的模块；
用于基于接收到的所述图像来生成多个不同缩放的图像的模块；以及
用于针对预存储在高速缓存存储器中的所述查找表中的特征模式扫描所述不同缩放的图像的模块，其中，所述查找表的所述特征模式根据所述特征模式的相对连接性被组织。
19.根据权利要求18所述的装置，其中，所述特征模式的第一特征模式和第二特征模式的相对连接性是通过指示在分析图像以检测面部时所述第一特征模式被所述第二特征模式跟随的可能性的分数来测量的。
20.根据权利要求18或19所述的装置，还包括：
用于处理一组训练图像以识别多个特征模式的模块；
用于确定所述特征模式的相对连接性的模块；以及
用于根据所述特征模式的相对连接性将所述特征模式存储到所述查找表中的模块。
21.根据权利要求20所述的装置，其中，用于处理的模块包括用于从一组训练图像中生成所述特征模式并计算在分析图像以检测面部时一个特征模式被另一个特征模式跟随的相应概率的模块。
22.根据权利要求21所述的装置，其中，用于确定相对连接性的模块包括用于基于计算出的所述概率来生成特征模式连接性矩阵的模块，并且其中所述查找表生成器将进一步针对每行或每列计算所述概率的平均值。
23.根据权利要求22所述的装置，其中，用于确定相对连接性的模块还包括用于选择行(或列)中具有最大的概率平均值的行(或列)作为参考行(或列)的模块。
24.根据权利要求23所述的装置，其中，用于存储的模块包括用于根据所述参考行或列中的所述概率将所述特征模式存储到所述查找表中的模块。
CN201580061026.XA 2014-12-10 2015-11-09 利用查找表的面部检测方法和装置 Active CN106922192B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/566,312 US9460338B2 (en) 2014-12-10 2014-12-10 Face detection method and apparatus with lookup table
US14/566,312 2014-12-10
PCT/US2015/059736 WO2016094002A1 (en) 2014-12-10 2015-11-09 Face detection method and apparatus with lookup table

Publications (2)

Publication Number Publication Date
CN106922192A true CN106922192A (zh) 2017-07-04
CN106922192B CN106922192B (zh) 2021-08-24

Family

ID=56107912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580061026.XA Active CN106922192B (zh) 2014-12-10 2015-11-09 利用查找表的面部检测方法和装置

Country Status (5)

Country Link
US (1) US9460338B2 (zh)
EP (1) EP3230923A4 (zh)
CN (1) CN106922192B (zh)
TW (1) TWI582709B (zh)
WO (1) WO2016094002A1 (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952954A (zh) * 2005-10-09 2007-04-25 欧姆龙株式会社 特定被摄体检测装置及方法
CN101187977A (zh) * 2007-12-18 2008-05-28 北京中星微电子有限公司 一种人脸认证的方法和装置
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN102622589A (zh) * 2012-03-13 2012-08-01 辉路科技（北京）有限公司 一种基于gpu的多光谱人脸检测方法
CN102834843A (zh) * 2010-04-02 2012-12-19 诺基亚公司 用于面部检测的方法和装置
CN102842042A (zh) * 2011-06-07 2012-12-26 埃森哲环球服务有限公司 生物特征认证技术
CN102930278A (zh) * 2012-10-16 2013-02-13 天津大学 一种人眼视线估计方法及其装置
CN103093124A (zh) * 2013-02-07 2013-05-08 歌尔声学股份有限公司 一种实现限制使用电子设备的方法和一种电子设备
CN103188427A (zh) * 2011-12-30 2013-07-03 华晶科技股份有限公司 可简化影像特征值组的影像撷取装置及其控制方法
CN103279765A (zh) * 2013-06-14 2013-09-04 重庆大学 基于图像匹配的钢丝绳表面损伤检测方法
CN103430604A (zh) * 2011-02-21 2013-12-04 英派尔科技开发有限公司 利用带外信息改进无线通信
CN103440472A (zh) * 2013-08-01 2013-12-11 西安交通大学 一种文字图像特征差异的快速计算方法
CN103826059A (zh) * 2012-11-19 2014-05-28 三星电子株式会社 拍摄装置及其控制方法
US20140147034A1 (en) * 2012-11-27 2014-05-29 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and electronic device
EP2804144A1 (en) * 2013-05-16 2014-11-19 SMR Patents S.à.r.l. Method and device for processing input image data

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999036880A1 (en) 1997-12-30 1999-07-22 Precise Biometrics Ab A method for a device for matching images of body-specific patterns
US6931539B2 (en) 2003-06-23 2005-08-16 Guri Walia Methods and system for improved searching of biometric data
US8032485B2 (en) 2008-02-01 2011-10-04 American Express Travel Related Services Company, Inc. Rapid caching and data delivery system and method
US8391590B2 (en) 2010-03-04 2013-03-05 Flashscan3D, Llc System and method for three-dimensional biometric data feature detection and recognition
US20140286527A1 (en) * 2013-03-20 2014-09-25 Qualcomm Incorporated Systems and methods for accelerated face detection
US9286217B2 (en) * 2013-08-26 2016-03-15 Qualcomm Incorporated Systems and methods for memory utilization for object detection

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952954A (zh) * 2005-10-09 2007-04-25 欧姆龙株式会社 特定被摄体检测装置及方法
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN101187977A (zh) * 2007-12-18 2008-05-28 北京中星微电子有限公司 一种人脸认证的方法和装置
CN102834843A (zh) * 2010-04-02 2012-12-19 诺基亚公司 用于面部检测的方法和装置
CN103430604A (zh) * 2011-02-21 2013-12-04 英派尔科技开发有限公司 利用带外信息改进无线通信
CN102842042A (zh) * 2011-06-07 2012-12-26 埃森哲环球服务有限公司 生物特征认证技术
CN103188427A (zh) * 2011-12-30 2013-07-03 华晶科技股份有限公司 可简化影像特征值组的影像撷取装置及其控制方法
CN102622589A (zh) * 2012-03-13 2012-08-01 辉路科技（北京）有限公司 一种基于gpu的多光谱人脸检测方法
CN102930278A (zh) * 2012-10-16 2013-02-13 天津大学 一种人眼视线估计方法及其装置
CN103826059A (zh) * 2012-11-19 2014-05-28 三星电子株式会社 拍摄装置及其控制方法
US20140147034A1 (en) * 2012-11-27 2014-05-29 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and electronic device
CN103838570A (zh) * 2012-11-27 2014-06-04 佳能株式会社 信息处理装置及其控制方法、以及电子设备
CN103093124A (zh) * 2013-02-07 2013-05-08 歌尔声学股份有限公司 一种实现限制使用电子设备的方法和一种电子设备
EP2804144A1 (en) * 2013-05-16 2014-11-19 SMR Patents S.à.r.l. Method and device for processing input image data
CN103279765A (zh) * 2013-06-14 2013-09-04 重庆大学 基于图像匹配的钢丝绳表面损伤检测方法
CN103440472A (zh) * 2013-08-01 2013-12-11 西安交通大学 一种文字图像特征差异的快速计算方法

Also Published As

Publication number Publication date
US9460338B2 (en) 2016-10-04
US20160171286A1 (en) 2016-06-16
WO2016094002A1 (en) 2016-06-16
CN106922192B (zh) 2021-08-24
TW201631520A (zh) 2016-09-01
TWI582709B (zh) 2017-05-11
EP3230923A4 (en) 2018-08-15
EP3230923A1 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
CN104573640B (zh) 数据处理系统及其生成设备、面部检测方法
JP6397144B2 (ja) 画像からの事業発見
CN108520229A (zh) 图像检测方法、装置、电子设备和计算机可读介质
TW202139183A (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
US8031947B2 (en) Method and system for rapid matching of video streams
CN108875722A (zh) 字符识别与识别模型训练方法、装置和系统及存储介质
CN105917354A (zh) 用于图像处理的空间金字塔池化网络
CN110210571A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
US11908183B2 (en) Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN109522790A (zh) 人体属性识别方法、装置、存储介质及电子设备
CN109034206A (zh) 图像分类识别方法、装置、电子设备及计算机可读介质
CN109345553A (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
CN108229289B (zh) 目标检索方法、装置和电子设备
CN109464148A (zh) 测量脊柱弯曲的装置及系统
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN110333267A (zh) 一种基于rsbss红外无损检测热成像缺陷图像处理方法及系统
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN110490058A (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
US20140307938A1 (en) Techniques for Generating a Representative Image and Radiographic Interpretation Information for a Case
CN110428012A (zh) 脑网络模型建立方法、脑图像分类方法、装置及电子设备
CN106922192A (zh) 利用查找表的面部检测方法和装置
CN109410187A (zh) 用于在全片图像中检测癌症转移的系统、方法和介质
CN108875503A (zh) 人脸检测方法、装置、系统、存储介质和抓拍机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant