CN102077245B - 面部检测处理方法、图像处理设备以及制造品 - Google Patents

Abstract

描述了面部检测处理方法、图像处理设备以及制造品。根据一种方案，一种面部检测处理方法包括：访问多个图像的图像数据，所述多个图像要被处理以检测所述图像中的人类面部；确定是否使用皮肤检测处理对所述图像中的单独图像进行面部检测处理；以及根据所述确定，使用皮肤检测处理执行一个图像的面部检测处理以检测所述一个图像中的人类面部，以及在不使用皮肤检测处理的情况下执行另一图像的面部检测处理以检测所述另一图像中的人类面部。

Description

面部检测处理方法、图像处理设备以及制造品

技术领域

本公开的方面涉及面部检测处理方法、图像处理设备以及制造品。

背景技术

数字成像设备和数字成像过程已经在专业用途和消费者用途中得到了广泛的接受。图像的数字表示可以被容易地传输、存储、操纵等。在已经捕获图像之后，图像的数字信息可以由多种设备进行处理，所述多种设备诸如图像捕获设备或诸如计算机的其他设备。此外，可以处理的图像的类型是各种各样的，并且可以包括照片、来自视频的静止图像等。一些类型的图像处理可能尝试在图像中定位感兴趣的目标。例如，一些图像处理可能尝试在图像中定位人类面部。检测目标（例如面部）的过程对于用户接口、图像数据库的扫描、电话会议以及图像的另外电子处理而言可能是有用的。但是，一些面部检测过程使用相对大量的硬件资源和/或处理时间来处理图像，这对于一些应用来说可能是不合适的。

发明内容

根据本公开的一些方面，描述了面部检测处理方法、图像处理设备以及制造品。

根据一个方面，一种面部检测处理方法包括：访问多个图像的图像数据，所述图像数据要被处理以检测所述图像中的人类面部；确定是否使用皮肤检测处理来对所述图像中的单独图像进行面部检测处理；以及根据所述确定，使用皮肤检测处理对其中一个图像执行面部检测处理，以检测所述其中一个图像中的人类面部；以及在不使用皮肤检测处理的情况下对所述图像中的另一图像执行面部检测处理，以检测所述另一图像中的人类面部。

如根据以下讨论显而易见的，描述其他实施例和方面。

附图说明

图1是根据一个实施例的图像处理设备的功能框图。

图2是根据一个实施例的图像的说明性表示。

图3是根据一个实施例的图像的面部检测处理的流程图。

具体实施例

本公开的一些实施例涉及图像处理方法和图像处理设备。在更具体的实施例中，公开了用于在图像中定位诸如人类面部之类的目标的方法和设备。可以在捕获图像之前执行面部检测处理（例如并且在一个实施例中可以用于协助生成对应于图像捕获的图像的图像数据）和/或在图像捕获之后执行面部检测处理。在一些实施例中，还可以执行皮肤检测处理以分析图像中是否存在人类皮肤内容。在一个实施例中，皮肤检测处理可以作为面部检测方法的前置滤波器来执行，以提高面部检测方法的执行效率。如下所述，本公开的至少一些实施例旨在提高就定位图像中的人类面部而言面部检测处理的准确度和效率。

参考图1，示出成像设备10的一个实施例。成像设备10可以在不同实施例中进行不同配置。在一个实施例中，成像设备10被配置为图像捕获设备（例如静止照相机或摄像机）以在图像捕获期间捕获所接收的场景的光并且生成场景的数字图像数据（例如照片的像素的RGB数据）。本公开的面部检测处理可以被执行以在捕获场景期间配置图像捕获设备。例如，可以使用在面部检测处理期间定位的人类面部来调节对焦、曝光或其他参数。在其他实施例中，成像设备10可以配置为在已经捕获图像之后处理图像数据。例如，成像设备10可以配置为个人计算机，该个人计算机配置为处理一个或多个先前捕获的图像的图像数据，以识别在这些图像中存在的人类面部，且其可以在一个实施例中用于图像的另外处理。

在图1的图示实施例中，成像设备10包括处理电路12、存储电路14、通信接口16和用户接口18。成像设备10的其他实施例可能包括更多、更少和/或可替换的组件。例如，被配置为照相机的成像设备10可以包括：光学系统（未示出）以接收和聚焦场景的光；以及传感器，其被配置为响应于所接收的光而生成数字图像数据。

在一个实施例中，处理电路12被布置为处理数据、控制数据访问和存储、发出命令以及控制其他期望的操作。根据一个实施例，处理电路12被配置为执行面部检测处理操作。在至少一个实施例中，处理电路12可以包括被配置为实现由适当介质提供的期望程序的电路。例如，处理电路12可以被实现为被配置为执行包括例如软件和/或固件指令的可执行指令的（一个或多个）处理器和/或其他结构，和/或硬件电路中的一个或多个。处理电路12的示例性实施例包括单独的或与处理器组合的硬件逻辑、PGA、FPGA、ASIC、状态机、和/或其他结构。处理电路12的这些示例是用于说明，并且其他配置是可能的。

存储电路14被配置为存储诸如可执行代码或指令的程序（例如软件和/或固件）、电子数据、数据库或其他数字信息，以及可以包括处理器可用介质。在一个实施例中，存储电路14存储被配置为控制处理电路12以执行面部检测处理操作的程序。在示例性实施例中，处理器可用介质可以实施为任何（一个或多个）计算机程序产品或（一个或多个）制造品，其能够包含、存储或保持程序、数据和/或数字信息以供指令执行系统使用或结合指令执行系统使用，所述指令执行系统包括处理电路。例如，示例性处理器可用介质可以包括诸如电子介质、磁性介质、光学介质、电磁介质、红外介质或半导体介质的物理介质中的任何一种。处理器可用介质的一些更具体示例包括但不局限于便携式计算机磁盘，诸如软盘、zip盘、硬盘驱动器、随机存取存储器、只读存储器、闪速存储器、高速缓冲存储器、和/或能够存储程序、数据或其他数字信息的其他配置。

通信接口16被布置为实现成像设备10相对于未示出的外部设备的通信。例如，通信接口16可以布置为相对于成像设备10双向地传送信息。通信接口16可以被实现为网络接口卡（NIC）、串行或并行连接、USB端口、火线接口、闪速存储器接口、软盘驱动器或用于相对于成像设备10通信的任何其他适当装置。在一个实施例（例如，其中，成像设备10被实现为个人计算机）中，处理电路12可以经由通信接口16从成像设备10的外部访问待处理的图像数据。在其他实施例（例如，成像设备10被实现为照相机）中，图像数据可以在成像设备10内部生成，并由内部处理电路12访问。

这里描述的至少一些实施例或方面可以使用程序来实现，所述程序存储在上述的适当存储电路中和/或经由网络或其他传输介质来传送并且被配置为控制适当的处理电路。例如，程序可以经由适当的介质提供，例如包括包含在制造品中。在另一示例中，程序可以被包含在例如经由通信接口通过适当的传输介质传送或使用其他适当的通信结构提供的数据信号（例如经调制的载波、数据分组、数字表示等）中，所述适当的传输介质诸如通信网络（例如因特网和/或专用网络）、有线电连接、光学连接和/或电磁能量。包括处理器可用代码的示例性程序在仅一个示例中可作为包含在载波中的数据信号来传送。

用户接口18被配置为与用户交互，包括向用户传输数据（例如显示数据以供用户观察、可听地向用户传送数据等）以及接收来自用户的输入。因此，在一个示例性实施例中，用户接口18可以包括：显示器，其被配置为示出可视信息（例如被配置为示出图像中检测到的面部的照相机的实况显示器）；以及适当的输入设备，其被配置为接收用户输入。也可以使用用于与用户交互的任何其他适合设备。

如上所述，成像设备10被配置为：访问图像的图像数据；以及处理图像数据以尝试检测和/或定位在图像中存在的目标，诸如一个或多个人类面部。在一个实施例中，成像设备10被配置为实现多个不同的面部检测过程之一以识别图像中存在的一个或多个人类面部。在一个实施例中，所述不同的面部检测过程包括：执行具有皮肤检测处理的面部检测方法（例如，对于图像的整体或图像的少于整体的部分执行皮肤检测处理） 或执行没有皮肤检测处理的面部检测方法。能够在具有或不具有皮肤检测处理的情况下执行的示例面部检测方法在转让给本申请的受让人的授予Jones的美国专利No. 7，099，510中进行了描述。

在更具体的实施例中，成像设备10被配置为执行上述的面部检测方法，其中，例如在光栅中扫描图像的不同部分，以检测相应不同部分中人类面部的存在。例如，参考图2，可以在六个相应的不同部分22中扫描和处理示例图像20的图像数据，以执行面部检测处理，包括检测任何部分22中是否存在人类面部。

在一些实施例中，可以执行皮肤检测方法以尝试使得面部检测方法的执行相较不执行皮肤检测方法更高效。在一个实施例中，可以将皮肤检测方法执行为面部检测方法的前置滤波器。例如，将皮肤检测方法执行为前置滤波器的处理电路12可以在对相应部分22执行面部检测方法之前，单独地分析图像20的不同部分22。在一个实施例中，对于给定部分22执行皮肤检测方法更快，和/或计算上不像对于相应部分22执行面部检测方法那么密集，以及可以通过运行具有皮肤检测的面部检测来获得效率，如下面进一步讨论的。因此，在一个实施例中，将皮肤检测处理用于面部检测处理，相较没有皮肤检测处理的面部检测处理，可以加速面部检测处理。皮肤检测处理的一个示例在Springer 2004年出版的 ISBN0-387-40595-X、Stan Z. Li和Anil K. Jain所著的Handbook of Face Recognition中进行了描述。

在使用皮肤检测处理作为前置滤波器的一个实施例中，皮肤检测处理最初尝试确定图像20的给定部分22是否没有足够的人类皮肤内容，并且因此随后无需使用面部检测方法对该给定部分22进行分析。在一个实施例中，对于给定图像22，皮肤检测处理分析给定部分22中存在的人类皮肤内容的量（例如，包括对应于人类皮肤的图像数据的像素的数量），以及如果在该部分22中存在的人类皮肤内容的量小于阈值，则指示该部分22中不存在面部。因此，可以不对指示为没有足够人类皮肤内容的给定部分22执行面部检测方法，相较于不分析图像中是否存在人类皮肤，这提高了面部检测处理的效率。可替换地，如果在图像20的该给定部分22中存在的人类皮肤内容的量超过阈值，则皮肤检测处理也可以指示在该部分22中存在足够的人类皮肤内容，以及可以对该给定部分22执行面部检测方法以尝试定位该部分22中的人类面部。

但是，在一些成像情况下，皮肤检测处理可能无法准确地确定图像的部分中存在的人类皮肤的量。例如，在一些成像条件下，场景的图像数据可能不是准确地颜色平衡的（例如，在多发光体的情况下，其中存在不同的照明源，诸如通过窗口的自然光以及由内部光源生成的人造光）。没有被正确地颜色平衡的图像（例如，通过照相机进行的色度选择是错误的）是成像条件的一个示例，在该成像条件下，皮肤检测处理可能无法正确地确定所分析的图像的部分中存在的人类皮肤的量，并且这可能导致皮肤检测处理错误地指示在图像的该部分中不存在人类面部以及对于该部分无需执行面部检测处理从而导致与该部分相关的错误。

在一个实施例中，成像设备10可以执行多个不同的面部检测过程之一，以增加例如与多发光体或其他图像相关的成像设备10的面部检测操作的准确度，同时依然提供诸如提高的效率之类的皮肤检测处理的益处。一个过程是执行没有皮肤检测的图像的面部检测处理。另一过程是在面部检测处理期间仅对一部分图像执行皮肤检测处理。又一方法是在面部检测处理期间对整个图像执行皮肤检测处理。如下所述，在一个示例中，所分析的图像的图像数据可以用于选择不同的面部检测过程之一，以用于处理该图像。

参考图3，示出根据一个实施例的用于选择多个面部检测过程之一的示例流程图。根据一个实施例，可以通过处理电路12执行该流程图。包括更多、更少和/或替代的动作的其他方法是可能的。

所示的流程图示出选择多个不同的面部检测过程之一用于检测图像中的人类面部的一种示例方法。例如，图示的方法确定是否使用皮肤检测处理来对图像进行面部检测处理。下述在动作A14处的第一过程执行没有皮肤检测处理的面部检测处理。下述在动作A18处的第二过程执行具有对整个图像的皮肤检测处理的面部检测处理。在动作A20处的第三过程执行具有对图像的小于整体的部分的皮肤检测处理的面部检测处理（例如，在一个实施例中，可以在图像的中央区域处省略皮肤检测处理）。在一个实施例中，可以对待处理的每个图像重复该方法，以逐图像地选择所述过程之一。

在下述的示例方法中，图像的图像数据可以被分析或以另外方式用于确定所述多个面部检测过程中的哪个过程适合用于处理图像。例如，如上讨论的，所述选择可以基于图像中的人类皮肤内容的量。

在动作A10处，访问待分析的图像的图像数据。

在动作A12，在全局基础（例如，整个图像）上处理图像的图像数据，以确定该图像中存在的皮肤内容的量。在一个实施例中，匹配皮肤颜色的颜色被用于确定皮肤内容的量。在一个示例中，可以定义描述皮肤颜色的YCC颜色空间的Cr、Cb色度值的二维图的区域（色域（gamut））（例如，使用包括皮肤的颜色平衡图像的训练集）。如果图像的给定像素的Cb、Cr分量映射在该区域中，则其会被视为包括皮肤内容的像素。此外，在动作A12处，在其中图像的皮肤检测处理是适当的全局基础上确定该图像是否包含足够的皮肤内容。在一个实施例中，可以将图像的皮肤内容的量与阈值（例如，像素的数量）进行比较，以确定是否存在足够的全局皮肤内容。不同的阈值可以用于不同的应用，以提供准确度与效率的期望平衡。

如果确定图像中不存在足够的全局皮肤内容，则图3的方法假设，照相机可能未为捕获图像正确地选择色度，且图像的颜色平衡可能不是准确的。另外，在动作A14处在不进行皮肤检测处理的情况下处理图像，以努力减小皮肤检测处理错误地指示该图像的一个或多个部分没有人类面部的机率。

如果在全局基础上确定存在足够的皮肤内容，则图3的方法进一步分析该图像的图像数据以进一步选择将使用所述都利用皮肤检测处理的面部检测过程（动作A18或动作A20）中的哪一个来处理图像。更具体地，在一个实施例中，如在动作A16指示的，处理电路10可以分析频繁包含人类面部的图像部分的像素，以确定在该部分中是否存在足够的皮肤内容，例如如上关于动作A12所描述的。在一个实施例中，该方法分析该图像的中央部分以确定所选择的部分中是否存在足够的皮肤内容。在其他实施例中，可以使用除了中央之外的部分。在一个实施例中，另一阈值可以用于确定在所分析的部分中是否存在足够的皮肤内容。

在动作A18，响应于在动作A16处在图像的中央部分中存在足够的人类皮肤内容，对于整个图像的面部检测处理执行皮肤检测处理。

可替换地，如果在动作A16处不存在足够的皮肤内容，则在动作20的过程处，对于中央部分执行没有皮肤检测的面部检测处理，而对图像的剩余部分执行使用皮肤检测处理的面部检测处理。因此，图3的示例方法的面部检测过程之一在图像的面部检测处理期间对于图像的少于整个图像的部分使用皮肤检测处理。

如果在动作A12处图像包含足够的全局人类皮肤内容（例如，在对应于皮肤的色域中有足够数量的像素），则上述的示例方法在动作A16执行分析以确定应该使用动作A18和A20的不同面部检测过程中的哪个过程。在另一实施例中，如果在动作A12处发现图像包含足够的全局人类皮肤内容，则可以省略动作A16的处理，并且处理电路10可以继续在动作A18处使用整个图像的皮肤检测处理。

在动作A22，使用不同的面部检测过程中所选择的过程来处理图像，以尝试检测图像中的人类面部。

因此，如在图3的示例中描述的，可以处理图像的图像数据以选择多个不同的面部检测过程中的一个过程，该过程将用于检测图像的人类面部。因此，在一个实施例中，可以使用不同的面部检测过程来处理不同的图像。

所寻求的保护不限于所公开的实施例，而是仅由所附权利要求的范围来限定，所公开的实施例仅仅作为示例给出。

此外，给出本文中的各方面，以用于指导构造和/或操作本公开的说明性实施例。本申请的申请人认为这些描述的说明性实施例还包括、公开和描述了除了明确公开的那些之外的其他创造性方面。例如，另外的创造性方面可以包括比说明性实施例中描述的那些特征更少、更多的特征和/或可替换的特征。在更具体的示例中，申请人认为本公开包括、公开和描述了包含比明确公开的那些方法更少、更多的步骤和/或可替换的步骤的方法，以及包括比明确公开的结构更少、更多和/或可替换的结构的设备。

Claims (8)

1.一种面部检测处理方法，包括：

访问多个图像的图像数据，所述图像数据要被处理以检测所述图像中的人类面部；

确定所述图像的单独图像中的人类皮肤内容的量是否小于阈值；以及

如果所述图像中的其中一个图像的人类皮肤内容的量不小于阈值的情况下，使用皮肤检测处理对所述其中一个图像执行面部检测处理以检测在所述其中一个图像中的人类面部，以及在所述图像中的另一图像的人类皮肤内容的量小于所述阈值的情况下，在不使用所述皮肤检测处理的情况下对所述图像中的所述另一图像执行面部检测处理以检测在所述另一图像中的人类面部；

其中，对于所述其中一个图像执行面部检测处理包括：识别所述其中一个图像的没有任何人类面部的一部分，之后对所述部分执行面部检测处理的面部检测方法。

2.根据权利要求1所述的方法，其中，所述确定包括使用所述图像的图像数据来进行确定。

3.根据权利要求1所述的方法，其中，对所述其中一个图像执行面部检测处理包括：对于所述其中一个图像的少于整个图像的部分执行皮肤检测处理。

4.根据权利要求1所述的方法，其中，对所述其中一个图像执行面部检测处理包括：使用所述皮肤检测处理作为前置滤波器来执行，所述前置滤波器被配置为相较于在没有皮肤检测处理的情况下对所述其中一个图像的一部分的面部检测处理，加速所述其中一个图像的所述部分的面部检测处理。

5.根据权利要求1所述的方法，其中，对所述其中一个图像执行面部检测处理包括：在第一时刻使用成像设备来对所述其中一个图像执行面部检测处理以及在第二时刻使用所述成像设备来对所述另一图像执行面部检测处理。

6.一种图像处理设备，包括：

处理电路，其被配置为访问图像的图像数据，以选择被单独地配置为检测人类面部的多个不同的面部检测过程中的一个面部检测过程，以及使用所述不同的面部检测过程中的所选择的一个面部检测过程来处理所述图像的图像数据以检测该图像中的人类面部，其中，所述面部检测过程中的一个面部检测过程被配置为在所述图像的人类皮肤内容的量不小于阈值的情况下使所述处理电路执行皮肤检测处理以检测人类面部，以及所述面部检测过程中的另一面部检测过程被配置为在所述图像的人类皮肤内容的量小于所述阈值的情况下使所述处理电路不使用皮肤检测处理来检测人类面部；

其中，所述处理电路被配置为：选择所述面部检测过程中的所述一个面部检测过程来处理所述图像以及使用所述皮肤检测处理来识别所述图像的没有人类面部的一部分、之后对所述部分执行面部检测处理的面部检测方法。

7.根据权利要求6所述的设备，其中，所述处理电路被配置为使用所述图像的图像数据来选择所述不同的面部检测过程中的所述一个面部检测过程。

8.根据权利要求6所述的设备，其中，所述处理电路包括所述图像处理设备的处理电路，所述图像处理设备包括图像捕获设备。