CN102834843A - 用于面部检测的方法和装置 - Google Patents

用于面部检测的方法和装置 Download PDF

Info

Publication number
CN102834843A
CN102834843A CN2010800658482A CN201080065848A CN102834843A CN 102834843 A CN102834843 A CN 102834843A CN 2010800658482 A CN2010800658482 A CN 2010800658482A CN 201080065848 A CN201080065848 A CN 201080065848A CN 102834843 A CN102834843 A CN 102834843A
Authority
CN
China
Prior art keywords
facial
subclass
detected parameters
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800658482A
Other languages
English (en)
Other versions
CN102834843B (zh
Inventor
徐磊
汪孔桥
李江伟
J·W·T·万
J·贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102834843A publication Critical patent/CN102834843A/zh
Application granted granted Critical
Publication of CN102834843B publication Critical patent/CN102834843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

提供用于面部检测的方法和装置。一种方法可以包括从多个面部检测参数子集选择面部检测参数子集。每个面部检测参数子集可以包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集。该方法还可以包括将选择的面部检测参数子集用于在图像中执行面部检测。也提供对应装置。

Description

用于面部检测的方法和装置
技术领域
本发明的实施例主要地涉及图像处理技术并且更具体地涉及用于面部检测的方法和装置。
背景技术
面部检测和跟踪正在变成一种越来越重要的技术。就这一点而言，面部检测例如可以在生物测定、用户接口、游戏和其它领域(比如在移动领域中创建用于访问社区的上下文)中有用。微处理器计算能力的发展也已经使面部分析功能在移动设备如蜂窝电话和其它智能设备上可用。针对如元数据标准化的创新面部分析也是重要的。
虽然面部检测技术继续改进，但是许多当前方法需要高计算能力(例如通过在多个比例上以穿越方式扫描图像来检测面部的统计方法)或者受限于面部检测性能(例如具有相对高面部检测误警的基于结构的方法)。关于正面面部检测，另外一些统计面部检测机制针对多视图面部检测具有降低的性能。作为另一复杂化问题，在特定图像中遇到的面部可能未总是在相对于相机的相同方向上定向，这可能负面地影响面部检测。例如平面内旋转(例如沿着从面部到观察者的轴旋转的面部)可能在一些情况下使面部检测变复杂。
因而，开发在按照请求相对快地创建内容、存储内容和/或接收内容的能力方面继续增加的设备的趋向、朝着在现代世界中变得越来越普及的电子设备(例如移动电子设备如移动电话)发展的趋势以及驱使继续改进接口和访问机制以释放这样的设备的能力可能使得希望在面部检测领域中提供进一步改进。
发明内容
这里提供用于面部检测的方法、装置和计算机程序产品。根据各种实施例的系统、方法、装置和计算机程序产品可以向计算设备和计算设备用户提供若干优点。示例实施例以比先前面部跟踪方法更少计算负担的方式实时或者接近实时提供多视图面部检测和跟踪。一些示例实施例提供一种一帧一视图的检测方案，其中面部检测参数子集用于特定帧中的面部检测。就这一点而言，用面部检测参数子集执行面部检测可以比用整个面部检测参数集执行面部检测更少计算负担。另外，一些这样的示例实施例在视频帧序列中迭代地旋转面部检测参数子集的使用。因此如果用视频帧中使用的参数子集未检测到面部，则可以用后续视频帧中使用的参数子集检测它。因而这样的实施例可以降低为了在给定帧中执行面部检测而需要的计算复杂度而同时在假设视频帧速率充分时仍然提供至少基本上实时面部跟踪。
一些示例实施例还可以通过在帧的、至少部分基于在先前帧中检测到面部的位置所确定的部分中执行面部检测来减少面部跟踪的计算复杂度。例如一些示例实施例利用螺旋网格扫描图案以在先前帧中检测到面部的位置起始的扩展螺旋网格中扫描。因而，由于面部位置可以未从帧到帧大量变化，所以可以基于面部在先前帧中的位置的先验知识减少为了扫描帧而需要的扫描时间和计算资源。
一些示例实施例还可以通过在图像块中执行面部检测之前估计图像块的图像姿态来减少计算复杂度。这些示例实施例利用估计的图像姿态缩小用来在图像块中执行面部检测的面部姿态模型集。因而可以通过基于估计的图像姿态减少用于图像块的姿态模型数目来减少针对在图像块内执行面部检测的计算要求。
在第一示例实施例中，提供一种方法，该方法包括从多个面部检测参数子集选择面部检测参数子集。这一实施例的每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集。这一实施例的方法还包括将选择的面部检测参数子集用于在图像中执行面部检测。
在另一示例实施例中，提供一种装置。这一实施例的装置包括至少一个处理器和存储计算机程序代码的至少一个存储器，其中至少一个存储器和存储的计算机程序代码被配置成与至少一个处理器一起使装置从多个面部检测参数子集选择面部检测参数子集。这一实施例的每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集。至少一个存储器和存储的计算机程序代码被配置成与至少一个处理器一起还使这一实施例的装置将选择的面部检测参数子集用于在图像中执行面部检测。
在另一示例实施例中，提供一种计算机程序产品。这一实施例的计算机程序产品包括至少一个计算机可读存储介质，至少一个计算机可读存储介质具有存储于其中的计算机可读程序指令。这一实施例的程序指令包括配置成从多个面部检测参数子集选择面部检测参数子集的程序指令。这一实施例的每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集。这一实施例的程序指令还包括配置成将选择的面部检测参数子集用于在图像中执行面部检测的程序指令。
在另一示例实施例中，提供一种载有计算机可读程序指令的计算机可读存储介质。这一实施例的程序指令包括配置成从多个面部检测参数子集选择面部检测参数子集的程序指令。这一实施例的每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集。这一实施例的程序指令还包括配置成将选择的面部检测参数子集用于在图像中执行面部检测的程序指令。
在另一示例实施例中，提供一种装置，该装置包括用于从多个面部检测参数子集选择面部检测参数子集。这一实施例的每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集的装置。这一实施例的装置还包括用于将选择的面部检测参数子集用于在图像中执行面部检测的装置。
提供上述发明内容仅为了概括本发明的一些示例实施例以便提供对本发明一些方面的基本理解。因而将理解上文描述的示例实施例仅为例子而不应解释为以任何方式缩小本发明的范围或者精神实质。将理解本发明的范围除了这里概括的实施例之外还涵盖许多潜在实施例，下文将进一步描述这些潜在实施例中的一些实施例。
附图说明
已经这样用一般措词描述了本发明的实施例，现在将参照未必按比例绘制的以下附图，其中：
图1图示了根据本发明一个示例实施例的用于执行面部检测的面部检测装置的框图；
图2是根据本发明一个示例实施例的移动终端的示意框图；
图3图示了根据本发明一个示例实施例的用于执行面部检测的系统；
图4图示了根据用于统计面部检测和跟踪的例子方法的图；
图5图示了根据本发明一个示例实施例的将面部检测参数集划分成多个面部检测参数子集；
图6图示了根据本发明一个示例实施例的向视频帧序列迭代分配面部检测参数子集；
图7图示了根据本发明一个示例实施例的螺旋网格扫描；
图8图示了根据本发明一个示例实施例的姿态估计；
图9图示了根据本发明一个示例实施例的用于执行面部检测的例子方法的流程图；并且
图10图示了根据本发明一个示例实施例的用于执行面部跟踪的例子方法的流程图。
具体实施方式
现在下文将参照附图更完全描述本发明的一些实施例，在这些附图中示出了本发明的一些、但是并非所有实施例。实际上，本发明可以用许多不同形式来实施而不应解释为限于这里阐述的实施例；实际上，提供这些实施例使得本公开内容将满足适用法律要求。相似标号全篇指代相似要素。
如这里所用，术语“电路”指代：(a)仅硬件的电路实施方式(例如在模拟和/或数字电路中的实施方式)；(b)电路与计算机程序产品的组合，该计算机程序产品包括存储于一个或者多个计算机可读存储器上的软件和/或固件指令，这些电路和计算机程序产品一起工作以使装置执行这里描述的一个或者多个功能；以及(c)如下电路(比如微处理器或者微处理器的部分)，这些电路需要用于操作的软件或者固件(即使该软件或者固件未在物理上存在))。“电路”的这一定义适用于这一术语在这里(包括在权利要求书中)的所有使用。作为又一例子，如这里所用，术语“电路”也包括如下实施方式，该实施方式包括一个或者多个处理器和/或其部分以及附带软件和/或固件。作为另一例子，术语‘电路’如这里所用也例如包括基带集成电路或者用于移动电话的应用处理器集成电路或者在服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的相似集成电路。
多个视图(包括不同比例和多个姿态)是必须在实施基于面部的应用时考虑的关键问题之一。可以通过在输入图像序列的全局或者局部区域中检测面部来进行面部跟踪。用预定义滑动窗口和模型扫描输入图像的基于增强的统计面部跟踪是一种用于面部检测和跟踪的方法。然而现有基于增强的统计面部跟踪方法可能具有程度不合需要的计算复杂度。因而本发明的实施例(这里讨论这些实施例中的一些实施例)提供改进的面部检测和跟踪。
图1图示了根据本发明一个示例实施例的用于执行面部检测的面部检测装置102的框图。将理解面部检测装置102是作为本发明一个实施例的例子而提供的并且不应解释为以任何方式缩小本发明的范围或者精神实质。就这一点而言，公开内容的范围除了这里图示和描述的实施例之外还涵盖许多潜在实施例。这样，尽管图1图示了用于这些面部检测的装置的配置的一个例子，但是许多其它配置也可以用来实施本发明的实施例。
面部检测装置102可以实施为桌面型计算机、膝上型计算机、移动终端、移动计算机、移动电话、移动通信设备、一个或者多个服务器、一个或者多个网络节点、游戏设备、数字相机/可携式摄像机、音频/视频播放器、电视设备、无线电接收器、数字视频记录器、定位设备、其任何组合等。在一个示例实施例中，面部检测装置102实施为移动终端(比如图2中所示移动终端)。
就这一点而言，图2图示了代表面部检测装置102的一个实施例的移动终端10的框图。然而应当理解图示的并且下文描述的移动终端10仅举例说明可以实施本发明实施例和/或受益于本发明实施例的一类面部检测装置102、因此不应视为限制本发明的范围。尽管出于例子的目的而图示并且下文将描述电子设备的若干实施例，但是其它类型的电子设备(比如移动电话、移动计算机、便携数字助理(PDA)、寻呼机、膝上型计算机、桌面型计算机、游戏设备、电视和其它类型的电子系统)可以运用本发明的实施例。
如图所示，移动终端10可以包括与发送器14和接收器16通信的一个天线12(或者多个天线12)。移动终端10也可以包括配置成分别向发送器提供信号并且从接收器接收信号的处理器20。处理器20可以例如实施为各种装置(包括电路、具有附带数字信号处理器的一个或者多个微处理器、无附带数字信号处理器的一个或者多个处理器、一个或者多个协同处理器、一个或者多个多芯处理器、一个或者多个控制器、处理电路、一个或者多个计算机、各种其它处理单元(包括集成电路(如比如ASIC(专用集成电路)或者FPGA(现场可编程门阵列)))或者其某一组合)。因而，虽然在图2中图示为单个处理器，但是在一些实施例中，处理器20包括多个处理器。处理器20发送和接收的这些信号可以包括根据适用蜂窝系统的空中接口标准和/或任何数目的不同有线或者无线联网技术(包括但不限于无线保真(Wi-Fi)、无线本地接入网(WLAN)技术(比如电气和电子工程师协会(IEEE)802.11、802.16等))的信令信息。此外，这些信号还可以包括话音数据、用户生成的数据、用户请求的数据等。就这一点而言，移动终端可以能够用一个或者多个空中接口标准、通信协议、调制类型、接入类型等操作。更具体而言，移动终端可以能够根据各种一代(1G)、二代(2G)、2.5G、三代(3G)通信协议、四代(4G)通信协议、网际协议多媒体子系统(IMS)通信协议(例如话路发起协议(SIP)等)操作。例如移动终端可以能够根据2G无线通信协议IS-136(时分多址(TDMA))、全球移动通信系统(GSM)、IS-95(码分多址(CDMA))等操作。又例如，移动终端可以能够根据2.5G无线通信协议(通用分组无线电服务(GPRS)、增强型数据GSM环境(EDGE)等)操作。又例如，移动终端可以能够根据3G无线通信协议(比如通用移动电信系统(UMTS)、码分多址2000(CDMA2000)、宽带码分多址(WCDMA)、时分-同步码分多址(TD-SCDMA)等)操作。移动终端还可以能够根据3.9G无线通信协议(比如长期演进(LTE)或者演进型通用地面无线电接入网络(E-UTRAN)等)操作。此外例如移动终端还可以能够根据四代(4G)无线通信协议等以及将来可以开发的相似无线通信协议操作。
如双模或者更高模式的电话(例如数字/模拟或者TDMA/CDMA/模拟电话)应当的那样，一些窄带高级移动电话系统(NAMPS)以及全接入通信系统(TACS)、移动终端也可以受益于本发明实施例。此外，移动终端10还可以能够根据无线保真(Wi-Fi)或者全球微波接入互操作性(WiMAX)协议操作。
理解处理器20可以包括用于实施移动终端10的音频/视频和逻辑功能的电路。例如处理器20可以包括数字信号处理器设备、微处理器设备、模数转换器、数模转换器等。可以在这些设备之间根据它们的相应能力分配移动终端的控制和信号处理功能。处理器还可以包括内部音码器(VC)20a、内部数据调制解调器(DM)20b等。另外，处理器可以包括用于操作可以存储于存储器中的一个或者多个软件程序的功能。例如处理器20可以能够操作连通程序如网上浏览器。连通程序可以允许移动终端10根据诸如无线应用协议(WAP)、超文本传送协议(HTTP))等协议发送和接收网上内容如基于位置的内容。移动终端10可以能够使用传输控制协议/网际协议(TCP/IP)以越过因特网或者其它网络发送和接收网上内容。
移动终端10也可以包括可以操作地耦合到处理器20的用户接口，该用户接口例如包括耳机或者扬声器24、振铃器22、麦克风26、显示器28、用户输入设备等。就这一点而言，处理器20可以包括配置成控制用户接口的一个或者多个单元如比如扬声器24、振铃器22、麦克风26、显示器28等的至少一些功能的用户接口电路。处理器20和/或包括处理器20的用户接口电路可以被配置成通过在处理器20可访问的存储器(例如易失性存储器40、非易失性存储器42等)上存储的计算机程序指令(例如软件和/或固件)控制用户接口的一个或者多个单元的一个或者多个功能。虽然未示出，但是移动终端可以包括用于向与移动终端有关的各种电路如用于提供机械振动作为可检测输出的电路供电的电池。用户输入接口可以包括允许移动终端接收数据的设备如小键盘30、触摸显示器(未示出)、操纵杆(未示出)和/或其它输入设备。在包括小键盘的实施例中，小键盘可以包括数字键(0-9)和有关键(#、*)和/或用于操作移动终端的其它键。
如图2中所示，移动终端10也可以包括用于共享和/或获得数据的一个或者多个装置。例如移动终端可以包括短程射频(RF)收发器和/或询问器64，因而可以根据RF技术与电子设备共享和/或从电子设备获得数据。移动终端可以包括其它短程收发器如比如红外线(IR)收发器66、使用BluetoothTM特别兴趣小组开发的BluetoothTM品牌无线技术来操作的BluetoothTM(BT)收发器68、无线通用串行总线(USB)收发器70等。BluetoothTM收发器68可以能够根据超低功率BluetoothTM技术(例如WibreeTM)无线电标准来操作。就这一点而言，移动终端10并且具体为短程收发器可以能够向在移动终端的邻域内如比如在10米内的电子设备发送数据和/或从这些电子设备接收数据。虽然未示出，但是移动终端可以能够根据各种无线联网技术(包括无线保真(Wi-Fi)、WLAN技术(比如IEEE 802.11技术、IEEE 802.15技术、IEEE 802.16技术等))发送和/或接收来自电子设备的数据。
移动终端10可以包括与处理器20通信的媒体捕获单元如相机、视频和/或音频模块。媒体捕获单元可以包括用于捕获图像、视频和/或音频用于存储、显示或者传输的任何装置。例如在其中媒体捕获单元包括相机电路36的一个示例实施例中，相机电路36包括配置成根据捕获的图像形成数字图像文件的数字相机。此外，相机电路36的数字相机还可以被配置成捕获视频剪辑。这样，相机电路36可以包括为了根据捕获的图像创建数字图像文件以及根据捕获的视频剪辑创建数字视频文件而必需的所有硬件如透镜或者其它光学部件以及软件。取而代之，相机电路36可以仅包括为了查看图像而需要的硬件，而移动终端10的存储器设备以为了根据捕获的图像创建数字图像文件的软件这一形式存储用于由处理器20执行的指令。作为又一替代，在相机电路36的视野内的一个或者多个对象可以显示于移动终端10的显示器28上以图示如果用户希望则可以捕获的当前显示的图像的视图。这样，捕获的图像例如可以包括相机电路36捕获的并且存储于图像文件中的图像。作为另一例子，捕获的图像可以包括移动终端10的显示器或者取景器当前显示的、但是未必存储于图像文件中的一个或者多个对象。在一个示例实施例中，相机电路36还可以包括配置成辅助处理器20处理图像数据的处理单元如协同处理器以及用于压缩和/或解压图像数据的编码器和/或解码器。编码器和/或解码器可以例如根据联合图片专家组(JPEG)标准、运动图像专家组(MPEG)标准或者其它格式来编码和/或解码。
移动终端10可以包括可以存储与移动用户有关的信元的存储器如用户标识模块(SIM)38、可拆卸用户标识模块(R-UIM)等。除了SIM之外，移动终端还可以存储其它可拆卸和/或固定存储器。移动终端10可以包括易失性存储器40和/或非易失性存储器42。例如易失性存储器40可以包括随机存取存储器(RAM)(包括动态和/或静态RAM、片上或者片外高速缓存存储器等)。可以嵌入和/或可拆卸的非易失性存储器42可以例如包括只读存储器、闪存、磁存储设备(例如硬盘、软盘驱动、磁带等)、光盘驱动和/或介质、非易失性随机存取存储器(NVRAM)等。类似于易失性存储器40，非易失性存储器42可以包括用于暂时存储数据的高速缓存区域。存储器可以存储可以由移动终端用于执行移动终端的功能的一个或者多个软件程序、指令、一条或者多条信息、数据等。例如存储器可以包括能够唯一标识移动终端10的标识符如国际移动设备标识(IMEI)代码。
回顾图1，在一个示例实施例中，面部检测装置102包括用于执行这里描述的各种功能的各种装置。这些装置可以包括处理器110、存储器112、通信接口114、用户接口116、图像捕获电路118或者检测电路120中的一项或者多项。如这里描述的面部检测装置102的装置可以例如实施为电路、诸如适当编程的处理器、组合逻辑电路等硬件单元、计算机程序产品(包括适当配置的处理设备(比如处理器110)可执行的在计算机可读介质(比如存储器112)上存储的计算机可读程序指令如软件或者固件)或者其某一组合。
处理器110可以例如实施为各种装置(包括具有附带数字信号处理器的一个或者多个微处理器、无附带数字信号处理器的一个或者多个处理器、一个或者多个协同处理器、一个或者多个多芯处理器、一个或者多个控制器、处理电路、一个或者多个计算机、各种其它处理单元(包括集成电路(如比如ASIC(专用集成电路)或者FPGA(现场可编程门阵列)))或者其某一组合)。因而，虽然在图1中图示为单个处理器，但是在一些实施例中，处理器110包括多个处理器。多个处理器可以相互操作通信并且可以被共同配置成执行如这里描述的面部检测装置102的一个或者多个功能。多个处理器可以实施于单个计算设备上或者分布于共同配置成作为面部检测装置102来工作的多个计算设备。在其中面部检测装置102实施为移动终端10的实施例中，处理器110可以实施为或者包括处理器20。在一个示例实施例中，处理器110被配置成执行存储器112中存储的或者以别的方式可由处理器110访问的指令。这些指令在由处理器110执行时可以使面部检测装置102执行如这里描述的面部检测装置102的功能中的一个或者多个功能。这样，无论是通过硬件还是软件方法或者通过其组合来配置，处理器110可以包括能够在被相应地配置之时根据本发明的实施例执行操作的实体。因此例如当处理器110实施为ASIC、FGPA等时，处理器110可以包括用于进行这里描述的一个或者多个操作的具体配置的硬件。取而代之，作为另一例子，当处理器110实施为比如可以存储于存储器112中的指令的执行器时，指令可以具体配置处理器110以执行这里描述的一个或者多个算法和操作。
存储器112可以例如包括易失性存储器、非易失性存储器或者其某一组合。虽然在图1中图示为单个存储器，但是存储器112可以包括多个存储器。多个存储器可以实施于单个计算设备上或者可以分布于共同配置成作为面部检测装置102来工作的多个计算设备。在各种实施例中，存储器112可以例如包括硬盘、随机存取存储器、高速缓存存储器、闪存、光盘只读存储器(CD-ROM)、数字万用盘只读存储器(DVD-ROM)、光盘、配置成存储信息的电路或者其某一组合。在其中面部检测装置102实施为移动终端10的实施例中，存储器112可以包括易失性存储器40和/或非易失性存储器42。存储器112可以被配置成存储用于使面部检测装置102能够根据各种示例实施例实现各种功能的信息、数据、应用、指令等。例如在至少一些实施例中，存储器112被配置成缓冲用于由处理器110处理的输入数据。除此之外或者取而代之，在至少一些实施例中，存储器112被配置成存储用于由处理器110执行的程序指令。存储器112可以用静态和/或动态信息的形式存储信息。存储的信息可以例如包括用于面部检测的模型、图像、视频、视频帧等。这一存储的信息可以由图像捕获电路118和/或检测电路120在执行它们的功能的过程期间存储和/或使用。
通信接口114可以实施为任何配置成从另一计算设备接收和/或向另一计算设备发送数据的设备或者装置，该设备或者装置用电路、硬件、计算机程序产品(包括存储于计算机可读介质(比如存储器112)上并且由处理设备(比如处理器110)执行的计算机可读程序指令)或者其组合来实施。例如通信接口114可以被配置成通过网络接收代表图像或者视频的数据。就这一点而言，在其中面部检测装置102包括服务器、网络节点等的实施例中，通信接口114可以被配置成与远程用户终端(例如用户终端304)通信以允许用户终端和/或其用户访问面部检测装置102提供的面部检测功能。在一个示例实施例中，通信接口114至少部分实施为处理器110或者以别的方式由处理器110控制。就这一点而言，通信接口114可以比如经由总线与处理器110通信。通信接口114可以例如包括用于实现与一个或者多个远程计算设备通信的天线、发送器、接收器、收发器和/或支持硬件或者软件。通信接口114可以被配置成使用任何可以用于在计算设备之间通信的协议来接收和/或发送数据。就这一点而言，通信接口114可以被配置成使用任何可以用于通过无线网络、有线网络、其某一组合等(面部检测装置102和一个或者多个远程计算设备通过该网络通信)传输数据的协议来接收和/或发送数据。通信接口114还可以比如经由总线与存储器112、用户接口116、图像捕获电路118和/或检测电路120通信。
用户接口116可以与处理器110通信以接收对用户输入的指示和/或向用户提供可听、可视、机械或者其它输出。这样，用户接口116可以例如包括键盘、鼠标、操纵杆、显示器、触屏显示器、麦克风、扬声器和/或其它输入/输出机制。在其中面部检测装置102实施为一个或者多个服务器的实施例中，可以减少用户接口116的方面或者可以甚至消除用户接口116。用户接口116可以比如经由总线与存储器112、通信接口114、图像捕获电路118和/或检测电路120通信。
图像捕获电路118可以实施为各种装置如电路、硬件、计算机程序产品(包括存储于计算机可读介质(比如存储器112)上并且由处理设备(比如处理器110)执行的计算机可读程序指令)或者其某一组合并且在一个实施例中实施为处理器110或者以别的方式由处理器110控制。在其中图像捕获电路118与处理器110分开实施的实施例中，图像捕获电路118可以与处理器110通信。图像捕获电路118还可以比如经由总线与存储器112、通信接口114、用户接口116或者检测电路120中的一项或者多项通信。
图像捕获电路118可以包括配置成捕获图像和/或视频的硬件。就这一点而言，图像捕获电路118可以包括用于捕获数字图像的相机透镜和/或其它光学部件。作为另一例子，图像捕获电路118可以包括配置成指引实施于面部检测装置102上或者以别的方式操作地连接到面部检测装置102的分离相机模块捕获图像的电路、硬件、计算机程序产品或者其某一组合。在其中面部检测装置102实施为移动终端10的实施例中，图像捕获电路118可以包括相机电路36。在其中面部检测装置102实施为与用户终端(该用户终端被配置成向面部检测装置102提供图像或者视频以使面部检测装置102能够对图像或者视频执行面部检测)远离的一个或者多个服务器或者其它网络节点的实施例中，可以减少图像捕获电路118的方面或者甚至可以消除图像捕获电路118。
检测电路120实施为各种装置如电路、硬件、计算机程序产品(包括存储于计算机可读介质(比如存储器112)上并且由处理设备(比如处理器110)执行的计算机可读程序指令)或者其某一组合并且在一个实施例中实施为处理器110或者以别的方式由处理器110控制。在其中检测电路120与处理器110分离实施的实施例中，检测电路120可以与处理器110通信。检测电路120还可以比如经由总线与存储器112、通信接口114、用户接口116或者图像捕获电路118中的一项或者多项通信。
图3图示了根据本发明一个示例实施例的用于执行面部检测的系统300。系统300包括配置成通过网络306通信的面部检测装置302和用户终端304。面部检测装置302例如可以包括面部检测装置102的一个实施例，在该实施例中，面部检测装置102实施为配置成向远程用户终端和/或其用户提供面部检测服务的一个或者多个服务器、一个或者多个网络节点等。用户终端304可以包括配置成访问网络306并且与面部检测装置302通信以便访问面部检测装置302提供的面部检测服务的任何计算设备。用户终端304可以例如实施为桌面型计算机、膝上型计算机、移动终端、移动计算机、移动电话、移动通信设备、移动终端10、游戏设备、数字相机/可携式摄像机、音频/视频播放器、电视设备、无线电接收器、数字视频记录器、定位设备、其任何组合等。网络306可以包括有线网络、无线网络(例如蜂窝网络、无线局域网、无线广域网、其某一组合等)或者其组合，并且在一个实施例中包括因特网。
在图3所示例子中，面部检测装置302可以被配置成接收用户终端304发送的图像、视频剪辑、视频帧等。面部检测装置302(例如检测电路120)可以被配置成根据下文关于面部检测装置102描述的实施例中的任何实施例对接收的图像、视频剪辑和/或视频帧执行面部检测。面部检测装置302(例如检测电路120和/或通信接口114)还可以被配置成向用户终端304发送面部检测装置302执行的面部检测和/或面部跟踪的结果。
在系统300的另一实施例中，检测电路120的方面可以分布于用户终端304与面部检测装置302之间。在这一示例实施例中，面部检测装置302可以处置为了执行面部检测而需要的处理任务中的一些处理任务。就这一点而言，可以无需用户终端304执行用于执行面部检测的更计算密集的步骤。
图4图示了根据用于基于统计的面部检测和跟踪的例子方法的图。就这一点而言，可以使用面部样本池402来训练若干分类器。每个面部样本可以具有预定义尺寸如20X20。面部样本可以用来通过统计学习过程404训练分类器。任何适当的基于统计的训练方法可以用来训练分类器。一种可以用于训练分类器的作为例子的基于统计的训练方法是Adaboost(自适应增强)。基于统计的训练方法的其它例子可以包括Gentle-Boost(温和增强)、RealBoost(实增强)、FloatBoost(浮动增强)等。
为了有助于统计学习过程，样本池402可以根据视图或者姿态(例如正面面部、侧面面部、仰视表面和俯视面部)划分成系列组，并且可以针对每组训练每个分类器以实现高分类速率。就这一点而言，可以使用具有特定视图或者姿态中的一项或者多项的多个面部样本来训练每个分类器以在图像块内检测具有特定视图或者姿态中的一项或者多项的面部。下文将这些分类器称为模型，因为它们针对不同视图或者姿态。因而统计学习过程404可以产生具有多个模型的模型池406，每个模型可以涉及特定视图或者姿态。图4中所示例子方法包括正面模型、侧面模型、仰视模型和俯视模型。此外，还可以有为了检测在旋转平面内具有各种旋转定向而训练的多个旋转模型。
模型池406可以用于在图像中执行面部检测。可以用于执行面部检测的一个模型是使用滑动窗口扫描图像。滑动窗口可以具有预定义尺寸如20X20，该预定义尺寸可以是与用来训练模型池406的面部样本相同的尺寸。由于使用具有预定义尺寸的面部样本训练模型，所以可以通过对输入图像进行下采样来重复用于执行面部检测的扫描和匹配过程若干次直至达到最大面部尺寸。就这一点而言，可以在面部检测过程期间使用多个比例。图4图示了输入图像的系列比例408。这一系列比例称为“图像金字塔”。
现有面部检测过程可以在每个窗口位置将模型池中的所有模型用于在图像中执行面部检测。这一方式称为一帧所有视图的方案。使用图像金字塔在所有模型与窗口之间的这一重复匹配可能计算成本很高并且可能极为耗时。假设运用M个比例和N个模型，总计算量被近似估计为与MN成比例。因此，时间消耗可以估计为T＝αMN，其中α是常数。因而大M和N将减缓跟踪过程(帧每秒(fps))。在一些实验中，针对四分之一视频图形阵列图像，T已经估计为约一秒每帧。一秒每帧可能对于实时面部跟踪应用而言太长。然而选择小的M和N将不可避免地遗漏面部，因为未完全覆盖面部视图。因此，发现一种尤其用于移动设备的更有效面部跟踪方案是一项有挑战和紧迫的任务。示例实施例提供可以解决这一挑战的若干技术。
在一些示例实施例中，检测电路120被配置成实施一种可以解决对提供有效面部跟踪方案的挑战的一帧一视图的检测方案。面部检测可以利用两个参数类别：模型和比例(例如用来缩放图像块的比例尺寸)。在一帧一个视图的检测方案的一个示例实施例中，用于检测电路120的面部检测的模型和比例参数集被分组为多个面部检测参数子集。就这一点而言，模型池中的面部姿态模型集可以分组为多个模型子集。可以基于任何适当标准对面部姿态模型分组。一个示例的标准是计算复杂度，该计算复杂度可以用来对面部姿态模型分组使得每个模型子集可以具有基本上相等计算复杂度。类似地，在图像金字塔中使用的图像块比例集可以分组为多个比例子集。也可以基于任何标准对图像块比例进行分组(包括计算复杂度使得每个比例子集具有基本上相等计算复杂度)。每个面部检测参数子集可以包括模型子集和比例子集。
图5图示了根据本发明一个示例实施例的将面部检测参数集划分成多个面部检测参数子集。图像金字塔502图示了可以用来下采样(例如按比例缩减)图像块的系列图像块比例。图形504图示了其中整个模型集和比例集已经均匀分割成若干子集(例如用于模型的P个子集508和用于比例的Q个子集506)的例子。可以例如分割子集使得每个子集具有接近相同的计算复杂度。图像504中的每个网格与不同面部检测参数子集对应。因而面部检测参数子集514可以包括模型子集510和比例子集512。
在一个示例实施例中，检测电路120被配置成选择面部检测参数子集并且将所选面部检测参数子集用于在图像中执行面部检测而不是使用整个面部检测参数集。就这一点而言，使用面部检测参数子集可以利用面部在系列连续帧中的存在。因而检测电路120可以向视频帧序列中的不同帧分派部分和互补参数。因此对于给定帧，如果选择图形504中的仅一个网格用于面部检测，则用于帧中的面部检测的时间消耗变成1/pQ，这是一帧所有视图的方式的速度的PQ倍。由于面部检测参数的仅子集用于帧，所以有可能的是可能未检测帧中描绘的面部。然而由于面部将几乎确定地存在于至少接下来的数个后继帧中并且不同面部检测参数子集可以用于后继帧，所以检测电路120可以在至少一个后继帧中检测到面部。因而在面部跟踪期间可以无任何明显暂停，因为在选择每个面部检测参数子集之后不久新帧就可以在视频帧序列中到来。另外，检测电路120可以提供流畅的面部检测，因为参数分割可以是基本上计算均匀的。
检测电路120可以接收或者以别的方式访问将在其中执行面部检测的图像和/或视频。访问的图像或者视频可以例如由图像捕获电路118捕获。图像可以包括静止图像或者视频帧。出于这一描述的目的，除非另有明示，“图像”用来可互换地指代静止图像以及视频帧。检测电路120可以选择面部检测参数子集用于在访问的图像中执行面部检测。在一个示例实施例中，检测电路120可以向视频帧序列中的每个视频帧从面部检测参数子集池迭代地分配面部检测参数子集(例如来自图形504的网格中的网格)。因而可以迭代地轮转用于面部检测的面部检测参数以允许在视频帧序列内检测和跟踪面部。
图6图示了根据本发明一个示例实施例的向视频帧序列迭代分配面部检测参数子集。就这一点而言，图6图示了向图像帧序列迭代分配N个面部检测参数子集。在图6中，存在图示的两个完全参数分割：参数分割602和参数分割606。在参数分割602中向包括循环604的N个视频帧分配N个面部检测参数子集。也在参数分割606中向包括循环608的N个视频帧分配N个面部检测参数子集。因而当已经在N个视频帧的序列完全循环遍历N个面部检测参数子集时，面部检测参数子集的迭代分派和选择可以在视频帧N+1再次始于面部检测参数子集1。更密切地考虑若干例子迭代分配，向第一视频帧612分配第一面部检测参数子集610。向第N个视频帧616分配第N个面部检测参数子集614。也向第N+1个视频帧618分配第一面部检测参数子集610。还向第2N个视频帧620分配第N个面部检测参数子集614。
因而检测电路120可以被配置成通过选择已经向视频帧迭代分配的面部检测参数子集来选择面部检测参数子集用于在针对视频帧的面部检测中。当在视频帧中执行面部检测时，检测电路120附加地或者可选地还可以被配置成至少部分基于用来在先前视频帧中检测面部的面部检测参数子集选择面部检测参数子集以用于在针对视频帧的面部检测中使用。因此例如，如果特定面部检测参数子集在第N个视频帧中成功检测到面部，则可以知道特定面部检测参数子集包括可以在第N+1个视频帧中成功检测相同面部的模型和/或比例。因而检测电路120可以被配置成当在第N个视频帧中检测到面部时为第N+1个视频帧选择与用于第N个视频帧相同的面部检测参数子集。
检测电路120可以被配置成通过使用滑动窗口扫描图像的至少部分来将所选面部检测参数子集用于在图像中执行面部检测。滑动窗口可以具有可以与用来训练模型的面部样本的尺寸等效的预定义尺寸。检测电路120可以被配置成在图像的扫描部分中从滑动窗口的每个位置提取图像块。检测电路120可以将所选面部检测参数子集用于在每个图像块中执行面部检测。
检测电路120可以使用任何扫描图案来扫描图像。作为一个例子，检测电路120可以在左到右、上到下图案中扫描图像。作为另一例子，检测电路120可以在上到下、左到右图案中扫描图像。然而将理解仅以示例方式提供这些图案。因而在本发明的范围内设想使用从提供的例子反转的扫描图案以及其它扫描图案。当扫描视频帧序列中的第一视频帧时或者当扫描在其中尚未检测到面部的预定义数目的先前视频帧之后的视频帧时，检测电路120可以被配置成从预定义初始窗口位置(例如左上窗口位置)开始扫描整个图像。
在一些实施例中，检测电路120可以被配置成使用先前检测到的面部的位置的先验知识以确定图像的待扫描部分和/或用于扫描图像的起始位置。因此例如，如果检测电路120在视频帧序列中的第N个视频帧中的特定位置检测到面部，则检测电路120可以被配置成扫描第N+1个视频帧的如下区域，该区域具有由在第N个视频帧中检测到的面部的位置限定的中心点并且由与位置中心点有预定义距离的边界界定。附加地或可选地，检测电路120还可以被配置成选择在第N个视频帧中检测到的面部的位置作为第N+1个视频帧中的扫描起始位置。
在一个示例实施例中，检测电路120被配置成按照螺旋网格图案、使用滑动窗口来扫描视频帧的至少部分，该网格图案具有基于在先前视频帧中检测到的面部的位置确定的扫描起始位置。就这一点而言，检测电路120可以按照扩展螺旋网格图案扫描视频帧，该网格图案具有在先前帧中检测到面部的位置处的始发点。可以通过在竖直与水平扫描方向之间的迭代切换来执行螺旋网格搜索图案。因而扫描可以针对于以面部在先前帧中的位置为中心的区域。
图7图示了根据本发明一个示例实施例的螺旋网格扫描。图7图示了第一视频帧702和第二视频帧706。在第一视频帧中的位置708检测到面部。因而检测电路120可以使用螺旋网格扫描图案710来扫描第二视频帧706，该扫描图案在点712具有扫描起始位置，对应于在第一视频帧702中检测到面部的位置708。使用螺旋网格扫描图案710，检测电路120可以在第二视频帧706中的位置714检测到面部。
在一些示例实施例中，检测电路120被配置成实施面部姿态估计以减少用于特定图像块中的面部检测的面部姿态模型数目。就这一点而言，假设选择用于在图像中执行面部检测的面部检测参数子集，检测电路120可以被配置成估计从图像提取的图像块的姿态。检测电路120可以比较估计的姿态与面部检测参数子集中的面部姿态模型的姿态并且确定面部检测参数子集内的适用于估计的姿态的面部姿态模型(如果有)。检测电路120然后可以仅将确定为适用于估计的姿态的那些面部姿态模型(如果有)用于在图像块中执行面部检测。由于执行姿态估计的计算复杂度可以少于用于匹配模型与图像块的计算复杂度，所以使用姿态估计可以减少计算复杂度并且提高面部检测速度。
在一个示例实施例中，检测电路120被配置成实施基于局部二值模式(LBP)的面部姿态估计以允许高效跟踪具有平面内旋转的面部。图8图示了使用基于LBP的姿态估计的根据一个示例实施例的姿态估计。如图8中所示，假设图像块I 802和LBP特征池P＝{(x0，y0，f0[256])，(x1，y1，f1[256])，...}，可以通过旋转特征并且使用基于LBP的姿态估计器804计算对应置信分数来预测I的姿态。P可以由训练的基于LBP的面部检测器中的一些弱分类器组成，其中x和y是特征位置并且f[256]是具有256个子节点的多分叉树分类器。例如，如果I中的(x0，y0)的LBP值为b，其中b∈[0，255]，则该块为面部的置信分数将为f0[b]。
执行姿态估计可以包括执行特征位置映射。就这一点而言，可以根据竖直面部训练数据获得P中的特征。因而为了检测具有(例如0、90、180和270度的)旋转的面部，必须空间映射P中的所有特征。特征位置(x0，y0)可以分别映射到与90、180、270度对应的(x0，h-y0)、(h-y0，w-x0)和(w-x0，y0)，其中h和w是图像高度和宽度。
执行姿态估计还可以包括执行特征值映射。LBP特征的计算可以用来比较中心像素值与它的周围值。在特征位置映射之后，也可以重排空间等级顺序(例如从0～7)。空间等级顺序可以通过比特移位操作(如图8中所示通过0度旋转图像块806、90度旋转图像块808、180度旋转图像块810和270度旋转图像块812)采用不同形式。
执行姿态估计还可以包括为旋转平面中的每个潜在旋转范围确定置信分数。就这一点而言，360度旋转平面可以划分成多个旋转范围或者扇区。旋转范围可以包括旋转平面的任何尺寸的分片。在图8中所示例子中，将旋转平面划分成四个90度旋转范围。因此在图8的例子中，图像块的姿态可以是四个旋转范围之一，每个旋转范围覆盖旋转平面中的90度。P中的每个特征可以贡献数目与旋转平面划分成的旋转范围数目相等的置信分数。因此在图8的例子中，P中的每个特征贡献四个置信分数f[bi]，其中i＝0～3并且bi是在映射的特征位置的LBP值。如果仅一个特征用于姿态估计，则f[bi]的最大值确定图像块的估计姿态。按照求和合并规则，使用更多特征将产生更精确的姿态估计。
在面部跟踪中使用姿态估计可以提供若干优点。就这一点而言，使用姿态估计可以避免用于利用多个姿态跟踪面部的穷尽图像旋转操作。因而可以提高跟踪效率。LBP特征可以用来对丰富面部纹理建模并且其可以被相对快地计算。LBP姿态估计因此甚至可以实施于具有有线处理能力的平台如一些移动计算平台上。另外，当使用基于LBP的姿态估计时，检测电路120可以被配置成作为基于LBP的面部检测器的部分来实施姿态估计器，因此个别姿态估计器的训练可能是不必要的。基于LBP的多叉树可以用来对所有种类的局部面部图案有效编码。因而通过使用这一树形分类器，检测电路120可以被配置成通过仅使用少数(例如5个)特征来精确估计姿态。
图9图示了根据本发明一个示例实施例的用于执行面部检测的例子方法的流程图。在图9中图示并且关于图9描述的操作可以例如由处理器110、存储器112、通信接口114、用户接口116、图像捕获电路或者检测电路120中的一项或者多项执行、借助该一项或者多项来执行和/或在该一项或者多项的控制之下执行。操作900可以包括从多个面部检测参数子集选择面部检测参数子集用于在图像中执行面部检测时使用。操作910可以包括将所选面部检测参数子集用于在图像中执行面部检测。
图10图示了根据本发明一个示例实施例的用于执行面部跟踪的例子方法的流程图。在10中图示并且关于10描述的操作可以例如由处理器110、存储器112、通信接口114、用户接口116、图像捕获电路或者检测电路120中的一项或者多项执行、借助该一项或者多项来执行和/或在该一项或者多项的控制之下执行。操作1000可以包括确定在先前视频帧中检测到面部的位置。操作110可以包括基于在先前视频帧中检测到面部的位置确定当前视频帧中的扫描起始位置。操作1020可以包括按照螺旋网格图案使用滑动窗口来扫描当前视频帧的至少部分，该网格图案具有在确定的扫描起始位置处的起始位置。
图9-10是根据本发明示例实施例的系统、方法和计算机程序产品的流程图。将理解可以通过各种手段(比如硬件和/或包括一个或者多个计算机可读介质(该介质具有存储于其上的计算机可读程序指令)的计算机程序产品)实施流程图的每个块和在流程图中的块的组合。例如这里描述的过程中的一个或者多个过程可以由计算机程序产品的计算机程序指令实施。就这一点而言，实施这里描述的过程的计算机程序产品可以由移动终端、服务器或者其它计算设备的一个或者多个存储器设备存储并且由计算设备中的处理器执行。在一些实施例中，包括计算机程序产品(该产品实施上文描述的过程)的计算机程序指令可以由多个计算设备的存储器设备存储。如将理解的那样，任何这样的计算机程序产品可以加载到计算机或者其它可编程装置上以产生机器，从而包括在计算机或者其它可编程装置上执行的指令的计算机程序产品产生用于实施在流程图的块中指定的功能的装置。另外，计算机程序产品可以包括计算机程序指令可以存储于其上的一个或者多个计算机可读存储器，从而一个或者多个计算机可读存储器可以指引计算机或者其它可编程装置以特定方式工作，从而计算机程序产品包括实施在流程图的块中指定的功能的制造品。一个或者多个计算机程序产品的计算机程序指令也可以加载到计算机或者其它可编程装置如面部检测装置102上以使系列操作在计算机或者其它可编程装置上执行以产生计算机实施的过程，从而在计算机或者其它可编程装置上执行的指令实施在流程图的块中指定的功能。
因而，流程图的块支持用于执行指定功能的装置的组合。也将理解流程图的一个或者多个块或者在流程图中的块的组合可以由执行指定功能的基于专用硬件的计算机系统或者由专用硬件与计算机程序产品的组合实施。
可以用许多方式实现上文描述的功能。例如用于实现上文描述的功能中的每个功能的任何适当装置可以用来实现本发明的实施例。在一个实施例中，适当配置的处理器可以提供单元中的所有或者部分单元。在另一实施例中，单元中的所有或者部分单元可以由计算机程序产品配置并且在计算机程序产品的控制之下操作。用于执行本发明实施例的方法的计算机程序产品包括计算机可读存储介质如非易失性存储介质和在计算机可读存储介质中实施的计算机可读程序代码部分如系列计算机指令。
这样，本发明的一些实施例然后向计算设备和计算设备用户提供若干优点。示例实施例以比先前面部跟踪方法更少计算负担的方式实时或者接近实时提供多视图面部检测和跟踪。一些示例实施例提供一种一帧一视图的检测方案，在该方案中，面部检测参数子集用于特定帧中的面部检测。就这一点而言，用面部检测参数子集执行面部检测可以比用整个面部检测参数集执行面部检测更少计算负担。另外，一些这样的示例实施例在视频帧序列中迭代地旋转面部检测参数子集的使用。因此如果用视频帧中使用的参数子集未检测到面部，则可以用后续视频帧中使用的参数子集检测它。因而这样的实施例可以降低为了在给定帧中执行面部检测而需要的计算复杂度而同时在假设视频帧速率充分时仍然提供至少基本上实时面部跟踪。
一些示例实施例还可以通过在帧的、至少部分基于在先前帧中检测到面部的位置所确定的部分中执行面部检测来减少面部跟踪的计算复杂度。例如一些示例实施例利用螺旋网格扫描图案以在先前帧中检测到面部的位置起始的扩展螺旋网格中扫描。因而，由于面部位置可以未从帧到帧大量变化，所以可以基于面部在先前帧中的位置的先验知识减少为了扫描帧而需要的扫描时间和计算资源。
一些示例实施例还可以通过在图像块中执行面部检测之前估计图像块的图像姿态来减少计算复杂度。这些示例实施例利用估计的图像姿态缩小用来在图像块中执行面部检测的面部姿态模型集。因而可以通过基于估计的图像姿态减少用于图像块的姿态模型数目来减少针对在图像块内执行面部检测的计算要求。
从在前文描述和关联附图中呈现的教导中受益的、在本发明涉及的领域中的技术人员将想到这里阐述的本发明的许多修改和其它实施例。因此将理解本发明的实施例将不限于公开的具体实施例并且其它实施例旨在于包含于本发明的范围内。另外，虽然前文描述和关联附图在单元和/或功能的某些例子组合的背景中描述示例实施例，但是应当理解单元和/或功能的不同组合可以由替选实施例提供而未脱离本发明的范围。就这一点而言，例如在本发明的范围内也设想与上文明确描述的单元和/或功能组合不同的单元和/或功能组合。虽然这里运用具体术语，但是仅在通用和描述意义上而并非出于限制的目的来使用它们。

Claims (71)

1.一种方法，包括：
从多个面部检测参数子集中选择面部检测参数子集，其中每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集；以及
将选择的面部检测参数子集用于在图像中执行面部检测。
2.根据权利要求1所述的方法，其中所述面部检测参数子集中的每个面部检测参数子集具有基本上相等的计算复杂度。
3.根据权利要求1-2中的任一权利要求所述的方法，还包括：
至少部分基于分组的模型子集的计算复杂度将所述面部姿态模型集分组成多个模型子集；以及
至少部分基于分组的比例子集的计算复杂度将所述图形块比例集分组成多个比例子集；并且
其中每个面部检测参数子集包括模型子集和比例子集。
4.根据权利要求1-3中的任一权利要求所述的方法，其中将所述选择的面部检测参数子集用于在所述图像中执行面部检测包括：
使用具有预定义尺寸的滑动窗口来扫描所述图像的至少部分；
从所述滑动窗口的每个位置提取图像块；以及
将所述选择的面部检测参数子集用于在每个图像块中执行面部检测。
5.根据权利要求1-4中的任一权利要求所述的方法，其中每个模型包括分类器，所述分类器使用具有特定视图或者姿态中的一项或者多项的多个面部样本来训练以检测具有所述特定视图或者姿态中的一项或者多项的面部。
6.根据权利要求1-5中的任一权利要求所述的方法，其中所述图像包括来自视频的视频帧。
7.根据权利要求6所述的方法，还包括：
为包括所述视频的视频帧序列中的每个视频帧选择面部检测参数子集；以及
将选择的面部检测参数子集用于在所述视频帧序列中进行面部跟踪。
8.根据权利要求7所述的方法，还包括：
向所述视频帧序列中的每个视频帧、从所述多个面部检测参数子集中迭代地分配面部检测参数子集；并且
其中为视频帧选择面部检测参数包括选择向所述视频帧分配的所述面部检测参数子集。
9.根据权利要求6-8中的任一权利要求所述的方法，其中选择面部检测参数子集包括至少部分基于用来在先前视频帧中检测面部的面部检测参数子集来选择面部检测参数子集。
10.根据权利要求6-9中的任一权利要求所述的方法，其中将所述选择的面部检测参数子集用于在所述图像中执行面部检测包括将所述选择的面部检测参数子集用于在所述图像的、至少部分基于在先前视频帧中检测到面部的位置所确定的部分中执行面部检测。
11.根据权利要求6-10中的任一权利要求所述的方法，还包括：
至少部分基于在先前视频帧中检测到面部的位置来确定所述图像中的扫描起始位置；并且其中将所述选择的面部检测参数子集用于在所述图像中执行面部检测包括：
按照螺旋网格图案、使用滑动窗口来扫描所述图像的至少部分，所述螺旋网格图案具有在确定的扫描起始位置处的起始位置。
12.根据权利要求1-11中的任一权利要求所述的方法，其中将所述选择的面部检测参数子集用于在图像中执行面部检测包括：
从所述图像提取图像块；
估计所述图像块的姿态；
在所述选择的面部检测参数子集中确定适用于估计的姿态的一个或者多个面部姿态模型；以及
仅将确定为适用于所述估计的姿态的所述面部姿态模型用于在所述图像块中执行面部检测。
13.根据权利要求12所述的方法，其中估计所述图像块的所述姿态包括：
使用特征池为旋转平面中的每个潜在旋转范围确定置信分数；以及
至少部分基于确定的置信分数来估计所述图像块的所述姿态为所述潜在旋转范围之一。
14.根据权利要求12-13中的任一权利要求所述的方法，其中估计所述图像块的所述姿态包括使用局部二值模式特征池来估计所述图像块的所述姿态。
15.一种包括至少一个处理器和至少一个存储器的装置，所述至少一个存储器存储计算机程序代码，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置至少：
从多个面部检测参数子集中选择面部检测参数子集，其中每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集；以及
将选择的面部检测参数子集用于在图像中执行面部检测。
16.根据权利要求15所述的装置，其中所述面部检测参数子集中的每个面部检测参数子集具有基本上相等的计算复杂度。
17.根据权利要求15-16中的任一权利要求所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起还使所述装置：
至少部分基于分组的模型子集的计算复杂度将所述面部姿态模型集分组成多个模型子集；以及
至少部分基于分组的比例子集的计算复杂度将所述图形块比例集分组成多个比例子集；以及
其中每个面部检测参数子集包括模型子集和比例子集。
18.根据权利要求15-17中的任一权利要求所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过以下操作将所述选择的面部检测参数子集用于在所述图像中执行面部检测：
使用具有预定义尺寸的滑动窗口来扫描所述图像的至少部分；
从所述滑动窗口的每个位置提取图像块；以及
将所述选择的面部检测参数子集用于在每个图像块中执行面部检测。
19.根据权利要求15-18中的任一权利要求所述的装置，其中每个模型包括分类器，所述分类器使用具有特定视图或者姿态中的一项或者多项的多个面部样本来训练以检测具有所述特定视图或者姿态中的一项或者多项的面部。
20.根据权利要求15-19中的任一权利要求所述的装置，其中所述图像包括来自视频的视频帧。
21.根据权利要求20所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起还使所述装置：
为包括所述视频的视频帧序列中的每个视频帧选择面部检测参数子集；以及
将选择的面部检测参数子集用于在所述视频帧序列中进行面部跟踪。
22.根据权利要求21所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起还使所述装置：
向所述视频帧序列中的每个视频帧、从所述多个面部检测参数子集中迭代地分配面部检测参数子集；并且
其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过选择向视频帧分配的所述面部检测参数子集来为所述视频帧选择面部检测参数。
23.根据权利要求20-22中的任一权利要求所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过至少部分基于用来在先前视频帧中检测面部的面部检测参数子集选择面部检测参数子集来选择面部检测参数子集。
24.根据权利要求20-23中的任一权利要求所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过将所述选择的面部检测参数子集用于在所述图像的、至少部分地基于在先前视频帧中检测到面部的位置所确定的部分中执行面部检测来将所述选择的面部检测参数子集用于在所述图像中执行面部检测。
25.根据权利要求20-24中的任一权利要求所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起还使所述装置：
至少部分基于在先前视频帧中检测到面部的位置来确定所述图像中的扫描起始位置；并且其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过以下操作将所述选择的面部检测参数子集用于在所述图像中执行面部检测：
按照螺旋网格图案、使用滑动窗口来扫描所述图像的至少部分，所述螺旋网格图案具有在确定的扫描起始位置处的起始位置。
26.根据权利要求15-25中的任一权利要求所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过以下操作将所述选择的面部检测参数子集用于在图像中执行面部检测：
从所述图像提取图像块；
估计所述图像块的姿态；
在所述选择的面部检测参数子集中确定适用于估计的姿态的一个或者多个面部姿态模型；以及
仅将确定为适用于所述估计的姿态的所述面部姿态模型用于在所述图像块中执行面部检测。
27.根据权利要求26所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过以下操作来估计所述图像块的所述姿态：
使用特征池为旋转平面中的每个潜在旋转范围确定置信分数；以及
至少部分基于确定的置信分数来估计所述图像块的所述姿态为所述潜在旋转范围之一。
28.根据权利要求26-27中的任一权利要求所述的装置，其中所述至少一个存储器和存储的计算机程序代码被配置成与所述至少一个处理器一起使所述装置通过使用局部二值模式特征池估计所述图像块的所述姿态来估计所述图像块的所述姿态。
29.根据权利要求15-28中的任一权利要求所述的装置，其中所述装置包括移动电话或者实施于移动电话上，所述移动电话包括用户接口电路和存储于所述至少一个存储器中的一个或者多个存储器上的用户接口软件；其中所述用户接口电路和用户接口软件被配置成：
有助于用户通过使用显示器来控制所述移动电话的至少一些功能；并且
使所述移动电话的用户接口的至少部分显示于所述显示器上以有助于用户控制所述移动电话的至少一些功能。
30.一种包括至少一个计算机可读存储介质的计算机程序产品，所述至少一个计算机可读存储介质具有存储于其中的计算机可读程序指令，所述计算机可读程序指令包括：
配置成从多个面部检测参数子集中选择面部检测参数子集的程序指令，其中每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集；以及
配置成将选择的面部检测参数子集用于在图像中执行面部检测的程序指令。
31.根据权利要求30所述的计算机程序产品，其中所述面部检测参数子集中的每个面部检测参数子集具有基本上相等的计算复杂度。
32.根据权利要求30-31中的任一权利要求所述的计算机程序产品，还包括：
配置成至少部分基于分组的模型子集的计算复杂度将所述面部姿态模型集分组成多个模型子集的程序指令；以及
配置成至少部分基于分组的比例子集的计算复杂度将所述图形块比例集分组成多个比例子集的程序指令；并且
其中每个面部检测参数子集包括模型子集和比例子集。
33.根据权利要求30-32中的任一权利要求所述的计算机程序产品，其中所述配置成将所述选择的面部检测参数子集用于在所述图像中执行面部检测的程序指令包括：
配置成使用具有预定义尺寸的滑动窗口来扫描所述图像的至少部分的程序指令；
配置成从所述滑动窗口的每个位置提取图像块的程序指令；以及
配置成将所述选择的面部检测参数子集用于在每个图像块中执行面部检测的程序指令。
34.根据权利要求30-33中的任一权利要求所述的计算机程序产品，其中每个模型包括分类器，所述分类器使用具有特定视图或者姿态中的一项或者多项的多个面部样本来训练以检测具有所述特定视图或者姿态中的一项或者多项的面部。
35.根据权利要求30-34中的任一权利要求所述的计算机程序产品，其中所述图像包括来自视频的视频帧。
36.根据权利要求35所述的计算机程序产品，还包括：
配置成为包括所述视频的视频帧序列中的每个视频帧选择面部检测参数子集的程序指令；以及
配置成将选择的面部检测参数子集用于在所述视频帧序列中进行面部跟踪的程序指令。
37.根据权利要求36所述的计算机程序产品，还包括：
配置成向所述视频帧序列中的每个视频帧、从所述多个面部检测参数子集中迭代地分配面部检测参数子集的程序指令；并且
其中所述配置成为视频帧选择面部检测参数的程序指令包括配置成选择向所述视频帧分配的所述面部检测参数子集的程序指令。
38.根据权利要求35-37中的任一权利要求所述的计算机程序产品，其中所述配置成选择面部检测参数子集的程序指令包括配置成至少部分基于用来在先前视频帧中检测面部的面部检测参数子集来选择面部检测参数子集的程序指令。
39.根据权利要求35-38中的任一权利要求所述的计算机程序产品，其中所述配置成将所述选择的面部检测参数子集用于在所述图像中执行面部检测的程序指令包括配置成将所述选择的面部检测参数子集用于在所述图像的、至少部分基于在先前视频帧中检测到面部的位置所确定的部分中执行面部检测的程序指令。
40.根据权利要求35-39中的任一权利要求所述的计算机程序产品，还包括：
配置成至少部分基于在先前视频帧中检测到面部的位置来确定所述图像中的扫描起始位置的程序指令；并且其中所述配置成将所述选择的面部检测参数子集用于在所述图像中执行面部检测的程序指令包括：
配置成按照螺旋网格图案、使用滑动窗口来扫描所述图像的至少部分的程序指令，所述螺旋网格图案具有在确定的扫描起始位置处的起始位置。
41.根据权利要求30-40中的任一权利要求所述的计算机程序产品，其中所述配置成将所述选择的面部检测参数子集用于在图像中执行面部检测的程序指令包括：
配置成从所述图像提取图像块的程序指令；
配置成估计所述图像块的姿态的程序指令；
配置成在所述选择的面部检测参数子集中确定适用于估计的姿态的一个或者多个面部姿态模型的程序指令；以及
配置成仅将确定为适用于所述估计的姿态的所述面部姿态模型用于在所述图像块中执行面部检测的程序指令。
42.根据权利要求41所述的计算机程序产品，其中所述配置成估计所述图像块的所述姿态的程序指令包括：
配置成使用特征池为旋转平面中的每个潜在旋转范围确定置信分数的程序指令；以及
配置成至少部分基于确定的置信分数来估计所述图像块的所述姿态为所述潜在旋转范围之一的程序指令。
43.根据权利要求41-21中的任一权利要求所述的计算机程序产品，其中所述配置成估计所述图像块的所述姿态的程序指令包括配置成使用局部二值模式特征池来估计所述图像块的所述姿态的程序指令。
44.一种载有计算机可读程序指令的计算机可读存储介质，所述计算机可读程序指令包括：
配置成从多个面部检测参数子集中选择面部检测参数子集的程序指令，其中每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集；以及
配置成将选择的面部检测参数子集用于在图像中执行面部检测的程序指令。
45.根据权利要求44所述的计算机可读存储介质，其中所述面部检测参数子集中的每个面部检测参数子集具有基本上相等的计算复杂度。
46.根据权利要求44-45中的任一权利要求所述的计算机可读存储介质，还包括：
配置成至少部分基于分组的模型子集的计算复杂度将所述面部姿态模型集分组成多个模型子集的程序指令；以及
配置成至少部分基于分组的比例子集的计算复杂度将所述图形块比例集分组成多个比例子集的程序指令；并且
其中每个面部检测参数子集包括模型子集和比例子集。
47.根据权利要求44-46中的任一权利要求所述的计算机可读存储介质，其中所述配置成将所述选择的面部检测参数子集用于在所述图像中执行面部检测的程序指令包括：
配置成使用具有预定义尺寸的滑动窗口来扫描所述图像的至少部分的程序指令；
配置成从所述滑动窗口的每个位置提取图像块的程序指令；以及
配置成将所述选择的面部检测参数子集用于在每个图像块中执行面部检测的程序指令。
48.根据权利要求44-47中的任一权利要求所述的计算机可读存储介质，其中每个模型包括分类器，所述分类器使用具有特定视图或者姿态中的一项或者多项的多个面部样本来训练以检测具有所述特定视图或者姿态中的一项或者多项的面部。
49.根据权利要求44-48中的任一权利要求所述的计算机可读存储介质，其中所述图像包括来自视频的视频帧。
50.根据权利要求49所述的计算机可读存储介质，还包括：
配置成为包括所述视频的视频帧序列中的每个视频帧选择面部检测参数子集的程序指令；以及
配置成将所述选择的面部检测参数子集用于在所述视频帧序列中进行面部跟踪的程序指令。
51.根据权利要求50所述的计算机可读存储介质，还包括：
配置成向所述视频帧序列中的每个视频帧、从所述多个面部检测参数子集中迭代地分配面部检测参数子集的程序指令；并且
其中所述配置成为视频帧选择面部检测参数的程序指令包括配置成选择向所述视频帧分配的所述面部检测参数子集的程序指令。
52.根据权利要求49-51中的任一权利要求所述的计算机可读存储介质，其中所述配置成选择面部检测参数子集的程序指令包括配置成至少部分基于用来在先前视频帧中检测面部的面部检测参数子集来选择面部检测参数子集的程序指令。
53.根据权利要求49-52中的任一权利要求所述的计算机可读存储介质，其中所述配置成将所述选择的面部检测参数子集用于在所述图像中执行面部检测的程序指令包括配置成将所述选择的面部检测参数子集用于在所述图像的、至少部分基于在先前视频帧中检测到面部的位置所确定的部分中执行面部检测的程序指令。
54.根据权利要求49-53中的任一权利要求所述的计算机可读存储介质，还包括：
配置成至少部分基于在先前视频帧中检测到面部的位置来确定所述图像中的扫描起始位置的程序指令；并且其中所述配置成将所述选择的面部检测参数子集用于在所述图像中执行面部检测的程序指令包括：
配置成按照螺旋网格图案、使用滑动窗口来扫描所述图像的至少部分的程序指令，所述螺旋网格图案具有在确定的扫描起始位置具有处的起始位置。
55.根据权利要求44-54中的任一权利要求所述的计算机可读存储介质，其中所述配置成将所述选择的面部检测参数子集用于在图像中执行面部检测的程序指令包括：
配置成从所述图像提取图像块的程序指令；
配置成估计所述图像块的姿态的程序指令；
配置成在所述选择的面部检测参数子集中确定适用于估计的姿态的一个或者多个面部姿态模型的程序指令；以及
配置成仅将确定为适用于所述估计的姿态的所述面部姿态模型用于在所述图像块中执行面部检测的程序指令。
56.根据权利要求55所述的计算机可读存储介质，其中所述配置成估计所述图像块的所述姿态的程序指令包括：
配置成使用特征池为旋转平面中的每个潜在旋转范围确定置信分数的程序指令；以及
配置成至少部分基于确定的置信分数来估计所述图像块的所述姿态为所述潜在旋转范围之一的程序指令。
57.根据权利要求55-56中的任一权利要求所述的计算机可读存储介质，其中所述配置成估计所述图像块的所述姿态的程序指令包括配置成使用局部二值模式特征池来估计所述图像块的所述姿态的程序指令。
58.一种装置，包括：
用于从多个面部检测参数子集中选择面部检测参数子集的装置，其中每个面部检测参数子集包括来自面部姿态模型集的面部姿态模型子集和来自图像块比例集的图像块比例子集；以及
用于将选择的面部检测参数子集用于在图像中执行面部检测的装置。
59.根据权利要求58所述的装置，其中所述面部检测参数子集中的每个面部检测参数子集具有基本上相等的计算复杂度。
60.根据权利要求58-59中的任一权利要求所述的装置，还包括：
用于至少部分基于分组的模型子集的计算复杂度将所述面部姿态模型集分组成多个模型子集的装置；以及
用于至少部分基于分组的比例子集的计算复杂度将所述图形块比例集分组成多个比例子集的装置；并且
其中每个面部检测参数子集包括模型子集和比例子集。
61.根据权利要求58-60中的任一权利要求所述的装置，其中所述用于将所述选择的面部检测参数子集用于在所述图像中执行面部检测的装置包括：
用于使用具有预定义尺寸的滑动窗口来扫描所述图像的至少部分的装置；
用于从所述滑动窗口的每个位置提取图像块的装置；以及
用于将所述选择的面部检测参数子集用于在每个图像块中执行面部检测的装置。
62.根据权利要求58-61中的任一权利要求所述的装置，其中每个模型包括分类器，所述分类器使用具有特定视图或者姿态中的一项或者多项的多个面部样本来训练以检测具有所述特定视图或者姿态中的一项或者多项的面部。
63.根据权利要求58-62中的任一权利要求所述的装置，其中所述图像包括来自视频的视频帧。
64.根据权利要求63所述的装置，还包括：
用于为包括所述视频的视频帧序列中的每个视频帧选择面部检测参数子集的装置；以及
用于将所述选择的面部检测参数子集用于在所述视频帧序列中进行面部跟踪的装置。
65.根据权利要求64所述的装置，还包括：
用于向所述视频帧序列中的每个视频帧、从所述多个面部检测参数子集中迭代地分配面部检测参数子集的装置；并且
其中所述用于为视频帧选择面部检测参数的装置包括用于选择向所述视频帧分配的所述面部检测参数子集的装置。
66.根据权利要求63-65中的任一权利要求所述的装置，其中所述用于选择面部检测参数子集的装置包括用于至少部分基于用来在先前视频帧中检测面部的面部检测参数子集来选择面部检测参数子集的装置。
67.根据权利要求63-66中的任一权利要求所述的装置，其中所述用于将所述选择的面部检测参数子集用于在所述图像中执行面部检测的装置包括用于将所述选择的面部检测参数子集用于在所述图像的、至少部分基于在先前视频帧中检测到面部的位置所确定的部分中执行面部检测的装置。
68.根据权利要求63-67中的任一权利要求所述的装置，还包括：
用于至少部分基于在先前视频帧中检测到面部的位置来确定所述图像中的扫描起始位置的装置；并且其中所述用于将所述选择的面部检测参数子集用于在所述图像中执行面部检测的装置包括：
用于按照螺旋网格图案、使用滑动窗口来扫描所述图像的至少部分的装置，所述螺旋网格图案具有在确定的扫描起始位置处的起始位置。
69.根据权利要求58-68中的任一权利要求所述的装置，其中所述用于将所述选择的面部检测参数子集用于在图像中执行面部检测的装置包括：
用于从所述图像提取图像块的装置；
用于估计所述图像块的姿态的装置；
用于在所述选择的面部检测参数子集中确定适用于估计的姿态的一个或者多个面部姿态模型的装置；以及
用于仅将确定为适用于所述估计的姿态的所述面部姿态模型用于在所述图像块中执行面部检测的装置。
70.根据权利要求69所述的装置，其中所述用于估计所述图像块的所述姿态的装置包括：
用于使用特征池为旋转平面中的每个潜在旋转范围确定置信分数的装置；以及
用于至少部分基于确定的置信分数来估计所述图像块的所述姿态为所述潜在旋转范围之一的装置。
71.根据权利要求69-70中的任一权利要求所述的装置，其中所述用于估计所述图像块的所述姿态的装置包括用于使用局部二值模式特征池来估计所述图像块的所述姿态的装置。
CN201080065848.2A 2010-04-02 2010-04-02 用于面部检测的方法和装置 Active CN102834843B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/000434 WO2011120206A1 (en) 2010-04-02 2010-04-02 Methods and apparatuses for face detection

Publications (2)

Publication Number Publication Date
CN102834843A true CN102834843A (zh) 2012-12-19
CN102834843B CN102834843B (zh) 2016-11-16

Family

ID=44711292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065848.2A Active CN102834843B (zh) 2010-04-02 2010-04-02 用于面部检测的方法和装置

Country Status (5)

Country Link
US (1) US9396539B2 (zh)
EP (2) EP3582177A1 (zh)
KR (1) KR101479387B1 (zh)
CN (1) CN102834843B (zh)
WO (1) WO2011120206A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106922192A (zh) * 2014-12-10 2017-07-04 英特尔公司 利用查找表的面部检测方法和装置
WO2017152848A1 (zh) * 2016-03-10 2017-09-14 腾讯科技（深圳）有限公司 人物面部模型的编辑方法及装置
CN107330439A (zh) * 2017-07-14 2017-11-07 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、客户端及服务器
CN110555360A (zh) * 2018-06-03 2019-12-10 苹果公司 鲁棒的面部检测

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3582177A1 (en) * 2010-04-02 2019-12-18 Nokia Technologies Oy Methods and apparatuses for face detection
JP2013074570A (ja) * 2011-09-29 2013-04-22 Sanyo Electric Co Ltd 電子カメラ
US9098737B2 (en) * 2013-03-12 2015-08-04 Dell Products L.P. Efficient 360 degree video processing
US20160048305A1 (en) * 2014-08-14 2016-02-18 Microsoft Corporation Group-Based User Interface Rearrangement
CN104268528B (zh) * 2014-09-28 2017-10-17 中智科创机器人有限公司 一种人群聚集区域检测方法和装置
JP2016126510A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
EP3355220A1 (en) * 2015-10-31 2018-08-01 Huawei Technologies Co., Ltd. Facial authentication method and electronic device
KR102564477B1 (ko) * 2015-11-30 2023-08-07 삼성전자주식회사 객체 검출 방법 및 장치
CN106874826A (zh) * 2015-12-11 2017-06-20 腾讯科技（深圳）有限公司 人脸关键点跟踪方法和装置
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
CN106934894B (zh) * 2017-03-14 2019-01-04 广东汇通信息科技股份有限公司 一种安全可靠的门禁系统
CN111935506B (zh) * 2020-08-19 2023-03-28 百度时代网络技术（北京）有限公司 用于确定重复视频帧的方法和装置
CN113643366B (zh) * 2021-07-12 2024-03-05 中国科学院自动化研究所 一种多视角三维对象姿态估计方法及装置
US11682189B2 (en) * 2021-07-19 2023-06-20 Microsoft Technology Licensing, Llc Spiral feature search

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1341401A (zh) * 2001-10-19 2002-03-27 清华大学 基于部件主分量分析的多模式人脸识别方法
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
US20070286490A1 (en) * 2006-06-09 2007-12-13 Samsung Electronics Co., Ltd. Facial feature detection method and device
CN101206715A (zh) * 2006-12-18 2008-06-25 索尼株式会社 面部识别设备、方法、Gabor滤波器应用设备和计算机程序
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN101534393A (zh) * 2008-03-14 2009-09-16 欧姆龙株式会社 对象图像检测装置、其控制方法、程序及电子设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497150A (en) * 1993-04-05 1996-03-05 Smk Corporation Image scanner
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US5892595A (en) * 1996-01-26 1999-04-06 Ricoh Company, Ltd. Image reading apparatus for correct positioning of color component values of each picture element
EP1231565A1 (en) * 2001-02-09 2002-08-14 GRETAG IMAGING Trading AG Image colour correction based on image pattern recognition, the image pattern including a reference colour
US7068841B2 (en) * 2001-06-29 2006-06-27 Hewlett-Packard Development Company, L.P. Automatic digital image enhancement
US7103227B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
EP1524622A1 (en) * 2003-10-17 2005-04-20 Koninklijke Philips Electronics N.V. Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
US7430315B2 (en) * 2004-02-13 2008-09-30 Honda Motor Co. Face recognition system
JP4973188B2 (ja) * 2004-09-01 2012-07-11 日本電気株式会社 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
KR100695136B1 (ko) * 2005-01-04 2007-03-14 삼성전자주식회사 영상의 얼굴검출장치 및 방법
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
US8218080B2 (en) * 2005-12-05 2012-07-10 Samsung Electronics Co., Ltd. Personal settings, parental control, and energy saving control of television with digital video camera
JP4539597B2 (ja) * 2006-03-29 2010-09-08 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5173337B2 (ja) * 2007-09-18 2013-04-03 Ｋｄｄｉ株式会社 要約コンテンツ生成装置およびコンピュータプログラム
WO2009124151A2 (en) * 2008-04-01 2009-10-08 University Of Southern California Video feed target tracking
JP5294798B2 (ja) * 2008-10-24 2013-09-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP4816717B2 (ja) * 2008-12-09 2011-11-16 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US7916905B2 (en) * 2009-02-02 2011-03-29 Kabushiki Kaisha Toshiba System and method for image facial area detection employing skin tones
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
TWI401963B (zh) * 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
KR20110026214A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 얼굴 검출 장치 및 방법
US8447132B1 (en) * 2009-12-09 2013-05-21 CSR Technology, Inc. Dynamic range correction based on image content
JP5482206B2 (ja) * 2010-01-06 2014-05-07 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3582177A1 (en) * 2010-04-02 2019-12-18 Nokia Technologies Oy Methods and apparatuses for face detection
JP2012075088A (ja) * 2010-09-03 2012-04-12 Pentax Ricoh Imaging Co Ltd 画像処理システムおよび画像処理方法
CN103493097B (zh) * 2011-04-15 2015-09-16 爱信精机株式会社 眼睑检测装置、眼睑检测方法
US8792679B2 (en) * 2011-09-09 2014-07-29 Imprivata, Inc. Low-light face detection
CN103632129A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种人脸特征点定位方法及装置
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
US20140286527A1 (en) * 2013-03-20 2014-09-25 Qualcomm Incorporated Systems and methods for accelerated face detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
CN1341401A (zh) * 2001-10-19 2002-03-27 清华大学 基于部件主分量分析的多模式人脸识别方法
US20070286490A1 (en) * 2006-06-09 2007-12-13 Samsung Electronics Co., Ltd. Facial feature detection method and device
CN101206715A (zh) * 2006-12-18 2008-06-25 索尼株式会社 面部识别设备、方法、Gabor滤波器应用设备和计算机程序
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN101534393A (zh) * 2008-03-14 2009-09-16 欧姆龙株式会社 对象图像检测装置、其控制方法、程序及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JEAN-CHRISTOPHE TERRILLON等: "Robust Face Detection and Japanese Sign Language Hand Posture Recognition for Human-Computer Interaction in an "Intelligent" Room", 《CIPPRS》, 31 December 2002 (2002-12-31), pages 372 - 373, XP055108553 *
MICHAEL JONES 等: "Fast Multi-view Face Detection", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 18 June 2003 (2003-06-18) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106922192A (zh) * 2014-12-10 2017-07-04 英特尔公司 利用查找表的面部检测方法和装置
CN106922192B (zh) * 2014-12-10 2021-08-24 英特尔公司 利用查找表的面部检测方法和装置
WO2017152848A1 (zh) * 2016-03-10 2017-09-14 腾讯科技（深圳）有限公司 人物面部模型的编辑方法及装置
US10628984B2 (en) 2016-03-10 2020-04-21 Tencent Technology (Shenzhen) Company Limited Facial model editing method and apparatus
CN107330439A (zh) * 2017-07-14 2017-11-07 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、客户端及服务器
CN107330439B (zh) * 2017-07-14 2022-11-04 腾讯科技（深圳）有限公司 一种图像中物体姿态的确定方法、客户端及服务器
CN110555360A (zh) * 2018-06-03 2019-12-10 苹果公司 鲁棒的面部检测
CN110555360B (zh) * 2018-06-03 2023-08-22 苹果公司 鲁棒的面部检测

Also Published As

Publication number Publication date
EP2553657A4 (en) 2015-04-15
EP3582177A1 (en) 2019-12-18
KR20130028734A (ko) 2013-03-19
CN102834843B (zh) 2016-11-16
EP2553657A1 (en) 2013-02-06
WO2011120206A1 (en) 2011-10-06
KR101479387B1 (ko) 2015-01-05
US9396539B2 (en) 2016-07-19
US20130022243A1 (en) 2013-01-24

Similar Documents

Publication Publication Date Title
CN102834843A (zh) 用于面部检测的方法和装置
Xiong et al. Learning to generate time-lapse videos using multi-stage dynamic generative adversarial networks
US11023730B1 (en) Fine-grained visual recognition in mobile augmented reality
US20220108542A1 (en) Image processing method and apparatus, electronic device and computer readable storage medium
Liu et al. Ship rotated bounding box space for ship extraction from high-resolution optical satellite images with complex backgrounds
Ashraf et al. Dogfight: Detecting drones from drones videos
CN108475331B (zh) 用于对象检测的方法、装置、系统和计算机可读介质
US10467768B2 (en) Optical flow estimation using 4-dimensional cost volume processing
US11967089B2 (en) Object tracking method, tracking processing method, corresponding apparatus, and electronic device
GB2555136A (en) A method for analysing media content
CN105144710A (zh) 用于增加深度相机图像的精度的技术
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN112884033B (zh) 一种基于卷积神经网络的生活垃圾分类检测方法
US20230014448A1 (en) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
CN111753721A (zh) 一种人体姿态的识别方法及装置
CN111385644A (zh) 一种视频处理方法、电子设备及计算机可读存储介质
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
JP2022550195A (ja) テキスト認識方法、装置、機器、記憶媒体及びコンピュータプログラム
US9311523B1 (en) Method and apparatus for supporting object recognition
CN111144156B (zh) 一种图像数据处理方法和相关装置
CN114241012A (zh) 一种高空抛物的判定方法及装置
CN112825116B (zh) 监控视频图像人脸检测和追踪方法、装置、介质及设备
CN109871814B (zh) 年龄的估计方法、装置、电子设备和计算机存储介质
CN102741862A (zh) 用于促进对象识别的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160118

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

C14 Grant of patent or utility model
GR01 Patent grant