CN1842125A

CN1842125A - 图像中目标的提取与缩放显示

Info

Publication number: CN1842125A
Application number: CNA2006100578252A
Authority: CN
Inventors: 马丁·E·纽厄尔; 卢博米尔·D·布尔德夫
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2005-04-02
Filing date: 2006-03-01
Publication date: 2006-10-04
Also published as: US20060222243A1; JP2006285989A; JP4524264B2

Abstract

一种执行检测和缩放显示图像中的目标的方法、系统和设备。在一些实施方式中，一种方法包括接收包含人脸部的图像。该方法还包括提取该图像的包括该脸部的一部分。该方法包括根据显示器的尺寸，缩放包括脸部的该图像部分。该方法还包括在显示器上显示该图像的包括该脸部的部分该图像的包括该脸部的该部分。

Description

图像中目标的提取与缩放显示

技术领域

本申请一般涉及数据处理，并且，更具体地，涉及对图像中的目标的处理。

背景技术

多个不同的设备捕获静止和运动的图像。这种设备的例子包括照相机(例如数字照相机)，具有照相机的个人数字助理(PDA)和蜂窝电话、视频记录设备等。通常，在捕获图像之后，检查图像以确定是否适当地捕获了其中目标。例如，如果数字照相机用于捕获一群人的图像，可以检查该图像，以确定所有人是否都在笑、眼睛都张开着、看着照相机等。因此，手动地和单独地放大人的脸部用于检查。这种摇摄(panning)、放大和检查的处理可能是有问题的和耗时的。

发明内容

根据一些实施方式，一种方法、系统和设备执行检测和缩放显示图像中的目标。在一些实施方式中，一种方法包括接收包含人脸部的图像。该方法还包括提取该图像的包括该脸部的一部分。该方法包括根据显示器的尺寸来缩放该图像的包括该脸部的部分该图像的包括该脸部的该部分。该方法还包括在显示器上显示该图像的包括该脸部的部分该图像的包括该脸部的该部分。

在一些实施方式中，一种方法包括接收包含多个人脸部的图像。该方法还包括检测图像中的多个脸部的一个脸部。该方法包括提取该图像的包括该脸部的一部分。另外，该方法包括根据显示器的尺寸和根据图像的多个其它部分来缩放图像的该部分，所述图像的多个其它部分包括从图像提取的用于显示的其它脸部。该方法包括在显示器上显示该图像部分和该图像的其它部分。

在一些实施方式中，一种方法包括接收包含多个相同种类的目标的图像。该方法包括检测图像中的多个目标的一个目标。该方法还包括重新调整当前显示多个目标的其它目标的显示器布局。重新调整布局包括根据显示器的尺寸和根据其它目标的数目来缩放该目标和其它目标。

在一些实施方式中，一种方法包括当每次在图像中检测到目标时，执行以下操作。第一操作包括确定显示器的尺寸。另一操作包括确定显示器上当前显示的其它目标的数目。一种不同的操作包括缩放该目标和其它目标。另一操作包括重新调整用于显示的其它目标和该目标的布局。另一操作包括在显示器上显示已重新调整的布局。

在一些实施方式中，一种方法包括接收包含多个人脸部的图像。该方法还包括检测图像中的多个脸部的当前脸部。该方法包括如果当前脸部的响应值小于一个低阈值，或者如果用于在显示器上显示的潜在脸部集内的不同脸部的边界与当前脸部的边界重叠，并且该不同脸部的响应值大于该当前脸部的响应值，则丢弃该当前脸部。另外，该方法包括如果脸部的边界与当前脸部的边界相重叠，并且该脸部的响应值小于当前脸部的响应值，则对在潜在脸部集内的该脸部执行以下操作。一个操作包括删除用于显示的潜在脸部集内的该脸部。另一个操作包括如果该脸部的响应值大于高阈值，则从显示器中去除该脸部。

在一些实施方式中，一种方法包括接收包含人脸部的图像。该方法还包括提取图像的包含脸部的部分。该方法包括根据显示器的尺寸缩放该图像的包括该脸部的该部分。该方法还包括在显示器上显示该图像的包括该脸部的该部分。

在一些实施方式中，一种方法包括接收包含多个人脸部的图像。该方法还包括检测这些人脸部。该方法包括针对所检测到的每一个脸部，提取该图像的包括该脸部的一部分。另外，该方法包括根据显示器的尺寸来缩放该图像的包括该脸部的该部分。该方法包括按照图像中的脸部的光栅扫描顺序，每次仅显示该图像的该部分之一。

在一些实施方式中，一种设备包括显示器。该设备还包括用于捕获包含多个相同种类目标的图像的装置。该设备包括图像处理器逻辑，以接收图像。该图像处理器逻辑包括目标检测逻辑，以检测图像中的多个目标的一个目标。该图像处理器逻辑包括布局逻辑，以便根据显示器的尺寸缩放目标，并在显示器上显示该缩放的目标。

在一些实施方式中，一种设备包括用于接收包含多个人脸部的图像的装置。该设备还包括用于检测图像中的多个脸部的一个脸部的装置。该设备包括用于提取该图像的包含脸部的一部分的装置。该设备还包括用于根据显示器的尺寸和根据图像的多个其它部分来缩放该图像的该部分的装置，所述图像的多个其它部分包括从图像中提取的用于显示的其它脸部。该设备包括用于在显示器上显示该图像的该部分和该图像的其它部分的装置。

附图说明

通过参考以下描述和示出那些实施方式的附图，可以最好地理解本发明的实施方式。这里所包括的附图的编号方案使得图中给定参考数字的第一个数字与图号相关联。例如，系统100可以位于图1中。但是，对于跨越不同图出现的那些相同元件，参考数字是相同的。

图1示出了根据本发明的一些实施方式的用于检测和缩放显示图像中的目标的系统。

图2示出了根据本发明的一些实施方式的图像处理器逻辑的更详细的方框图，该图像处理器逻辑用于检测和缩放显示图像中的目标。

图3示出了根据本发明的一些实施方式的用于检测和缩放显示图像中的目标的操作的流程图。

图4示出了根据本发明的一些实施方式的用于对图像中所检测的目标进行去除操作的流程图。

图5示出了根据本发明的一些实施方式的用于图像中所检测的目标进行加操作的流程图。

图6示出了根据本发明的一些实施方式的用于重新绘制图像中的目标的显示器布局的操作的流程图。

根据本发明的一些实施方式，图7A至图7D按时间示出了从图像中提取的目标的布局。

根据本发明的一些实施方式，图8A至图8D按时间示出了从图像中提取的目标的显示器上的布局。

根据本发明的一些实施方式，图9A至图9B按时间示出了从图像中提取的目标的显示器上的布局。

根据本发明的一些实施方式，图10示出了从图像所提取的目标的相对于图像中目标的位置的显示器上的布局。

根据本发明的一些实施方式，图11示出了图像和从图像中所提取的目标的显示器上的布局。

图12示出了根据本发明的一些实施方式的执行软件的计算机设备，所述软件用于执行关于检测和缩放显示图像中的目标的操作。

具体实施方式

描述了用于检测和缩放显示图像中目标的方法、设备和系统。在以下描述中，给出了大量具体细节。但是，可以理解，没有这些具体细节也可以实施本发明的实施方式。在其它实例中，没有详细示出公知的电路、结构和技术，以便于不使该描述难以理解。另外，在该描述中，短语“示例性实施方式”意味着涉及的实施方式作为例子或说明。

尽管参考检测、缩放和显示图像中人的脸部而进行了描述，实施方式并不局限于此，那操作可以用于图像的任何目标或部分。例子可以包括动物(例如狗、猫等)、花、树、不同类型的无生命目标(例如汽车、衣物、办公设备等)。此外，尽管参考图像处理进行了描述，一些实施方式可以用于视频流内的帧。

图1示出了根据本发明的一些实施方式的用于检测和缩放显示图像中的目标的系统。具体地，图1示出了包括图像102、图像处理器逻辑104和显示器106的系统100。图像处理器逻辑104连接为来接收图像102。图像102可以是由照相机、具有照相机的蜂窝电话和PDA等所捕获的静止图像。在一些实施方式中，图像102可以是来自视频流的一帧。因此，可以通过不同类型的不同视频记录设备捕获图像102。在一些实施方式中，图像102包括相同种类的多个目标。如上所述，目标可以是人脸部或动物脸部。目标可以是自然中的目标，例如花、树等。这些目标还可以是不同类型的无生命目标。在一些实施方式中，图像102可以仅包括单个目标。

如所示，图像102包括人120A、人122A、人124A和人126A。图像处理器逻辑104连接为来接收图像102。例如，图像处理器逻辑104可以从存储器(未示出)取回图像102。图像处理器逻辑104处理图像，以检测和提取来自那里的目标。图像处理器逻辑104还连接到显示器106。图像处理器逻辑104在显示器106上显示已提取的目标。显示器106包括显示脸部126B的布局，脸部126B是人126A的脸部。布局还包括脸部120B，它是人120A的脸部。布局还包括脸部122B，它是人122A的脸部。布局包括脸部124B，它是人124A的脸部。

如所示，图像102中的人脸部可以是不同的尺寸。在一些实施方式中，图像处理器逻辑104这样布局目标，使得目标尽可能大，并且目标都标准化。因此，某些目标可以按比例增大，并且某些目标可以按比例缩小。目标的布局不局限于图1所示。图7至图11示出了不同布局的其它例子，以下对其进行了更详细的描述。以下给出了系统100的操作的更详细的描述。

图2示出了根据本发明的一些实施方式的图像处理器逻辑的更详细的方框图，该图像处理器逻辑用于检测和缩放显示图像中的目标。具体地，图2示出了根据本发明的一些实施方式的图像处理器逻辑104的更详细的方框图。

图像处理器逻辑104包括目标检测逻辑202和布局逻辑208。目标检测逻辑202包括特征提取逻辑204和检测逻辑206。特征提取逻辑204连接为来接收图像102。特征提取逻辑204可以执行图像102的降维。特征提取逻辑204还可以从图像102提取特征。特征可以包括图像102的为了检测其中脸部而进行区别的不同属性。特征可包括小波系数、边缘等。特征提取逻辑204将特征222输出给检测逻辑206。

检测逻辑206可以根据特征222检测图像102中的目标。在一些实施方式中，检测逻辑206可以针对图像102的部分提取特征，以检测其中的目标。图像的部分可以是任何尺寸或形状窗口(例如框形、矩形等)。检测逻辑206可以根据任何多个不同类型的操作来执行该检测。这些操作可以包括肤色分析、边缘检测等。在一些实施方式中，可以通过处理包括不同类型脸部的图像、缺少脸部的图像等来训练检测逻辑206。在一些实施方式中，可以根据不同的学习算法训练检测逻辑206，包括但不局限于包括提升(boosting)方法、基于神经网络的方法、支持向量机等。在一些实施方式中，检测逻辑206可以根据脸部的硬编码数据进行检测。例如，检测逻辑206可以利用放置眼睛的两个较小的圆形暗区，在图像中定位椭圆形等。根据一些实施方式的脸部检测的例子在2005年1月24日提交的名为“Detecting Objects in Images using a Soft Cascade”的美国专利申请中进行了描述，其在此通过参考并入。

检测逻辑206可以输出包括所检测的目标的图像222的部分。布局逻辑208可以确定显示器106的布局。布局逻辑208可以根据该布局向显示器106输出所显示的图像226。

现在描述根据一些实施方式的用于检测和缩放显示图像中的目标的操作。在一些实施方式中，可以由在机器可读的介质上驻留的指令(例如，软件)，由硬件、固件或者其组合来执行操作。该描述还包括根据本发明的一些实施方式的在显示器上的图像中目标的不同布局的屏幕快照(screenshot)。屏幕快照帮助示出操作，并且分散在流程图的描述中。具体地，图3至图6示出了根据本发明的一些实施方式的用于检测和缩放显示图像中的目标的操作的流程图。图7至图11示出了根据本发明的一些实施方式的在显示器上的图像中的目标的不同布局。

图3示出了根据本发明的一些实施方式的用于检测和缩放显示图像中的目标的操作的流程图。参考图1和图2的部件来描述流程图300。流程图300开始于方框302。

在方框301处，图像处理器逻辑104接收包括多个人脸部的图像。参考图1和图2，目标检测逻辑202可以接收图像102。如上所述，图像102包括多个不同人的脸部。特征提取逻辑204(在目标检测逻辑202内)可以执行降维。如上所述，特征提取逻辑204可以从图像102提取特征。特征提取逻辑204向检测逻辑206输出特征222。在方框302继续该流程。

在方框302处，检测逻辑206确定是否在图像中找到更多脸部。具体地，通过处理在图像102的给定部分(例如框形或矩形)中的特征222，检测逻辑206可以执行检测。检测逻辑206可以通过从图像102的顶部、左拐角开始，并且以光栅扫描的顺序穿越图像102，来处理图像102的部分。因此，检测逻辑206可以根据是否已处理图像102的底部、右拐角的图像部分，来确定处理是否完毕。当确定在图像中不存在需要找到的脸部时，流程在方框314继续，以下对其进行了更详细的描述。

在方框304处，当确定在图像中存在需要找到的脸部时，检测逻辑206检测图像中的当前脸部。如上所述，在一些实施方式中，检测逻辑206可以对图像102的框形或者矩形提取特征，从而来检测其中的脸部。检测逻辑206可以根据任何多个不同类型的操作来执行该检测。流程在方框305处继续。

在方框305处，检测逻辑206提取包括当前脸部的图像部分。例如，检测逻辑206可以提取包围当前脸部的框形或矩形。流程在方框306处继续。

在方框306处，检测逻辑206确定当前脸部的响应值是否小于一个低阈值。在一些实施方式中，响应值可以是检测逻辑206输出的作为置信度的连续值，该置信度是当前所评估的包含目标(例如，脸部)的图像部分是否表明目标的实例的置信度。响应值可以是神经网络的输出、提升分类器的弱特征的加权和、基于贝叶斯的分类器的对数似然比之和等。

如以下另外的描述，在一些实施方式中，使用多个阈值来确定是否要显示脸部。在一些实施方式中，使用低阈值和高阈值。如果当前脸部的响应值大于高阈值，则显示当前脸部。如果当前脸部的响应值大于低阈值，则根据另外的处理(如下所述)，可能显示当前脸部。在一些实施方式中，可以由用户配置这些阈值。例如，如果这里的逻辑是照相机电话的部分，用户可以调整这些阈值更高或更低，以分别包括较少或较多的脸部。检测逻辑206可以对当前脸部执行进一步处理，以进行确定(如下所述)。当确定当前脸部的响应值小于低阈值时，不显示当前脸部，并且流程在方框302处继续。

在方框308处，当确定当前脸部的响应值大于低阈值时，检测逻辑206确定在潜在脸部集(用于显示)中是否存在一个脸部，它的边界与当前脸部重叠，并且它的响应值大于当前脸部的响应值。具体地，潜在脸部集(用于显示)包括已检测到的和具有大于低阈值的响应值的那些脸部。检测逻辑206可以将该潜在脸部集存储在存储器(图2中未示出)中，以用于该操作的取回。脸部的边界是所提取的包括脸部的图像部分的边界。具体地，检测逻辑206可以从图像中提取具有脸部的矩形或框形。因此，检测逻辑206将在潜在脸部集中的每一个脸部的边界与当前脸部的边界相比较，以确定二者之间的重叠。可以有各种级别的重叠。在一些实施方式中，需要显著的重叠。例如，如果第一部分的中心在第二部分之内，并且如果第二部分的中心在第一部分之内，则在图像的第一部分和第二部分之间存在重叠。在一些实施方式中，如果在每一个维上，第一部分的中心和第二部分的中心比两部分中较大部分的尺寸的某一规定的分数更接近，则存在重叠。如果潜在脸部的任何一个和当前脸部之间存在重叠，检测逻辑206比较各自的响应值。

当确定重叠潜在脸部的任何响应值都大于当前脸部的响应值时，流程在方框302处继续。换句话说，已检测到了更好的匹配，并且该匹配在潜在的脸部集之内。因此，由于存在更好的匹配，可以丢弃当前脸部。当确定没有任何重叠潜在脸部的响应值大于当前脸部的响应值时，流程在方框310处继续。换句话说，还没有检测到更好的匹配。

在方框310处，检测逻辑206对于在潜在脸部集中的其边界与当前脸部重叠，并且其响应值小于当前脸部的响应值的每一个脸部执行去除操作。换句话说，比较在潜在脸部集中的这些特定脸部，已经找到更好的匹配。因此，可以去除这些特定的脸部。以下结合图4给出了去除操作的更详细的描述。流程在方框312处继续。

在方框312处，检测逻辑206对当前脸部执行加操作。具体地，将当前脸部加到适合显示的潜在脸部集。以下结合图5给出了这种加操作的更详细的描述。流程在方框302处继续。

在方框314处，布局逻辑208重新计算(使用更准确的分析)潜在脸部集中所有脸部的响应值。在一些实施方式中，更准确的分析可以包括任何附加的试探法，该附加的试探法可以进一步证实或阻止候选窗口(被处理的图像部分)被分类为脸部。在一些实施方式中，使用脸部定位器。脸部定位器操作可以包括：在脸部峰值(hit)附近跨越位置、尺度和/或方向执行局部搜索。这种局部搜索可以定位另一个响应值较大的邻近点。在一些实施方式中，真正的脸部具有这种峰值，而非脸部不具有这种峰值。因此，脸部定位器操作可以增加脸部和非脸部响应之间的分离。为了更准确分析，可以使用其它试探法。例如，可以使用肤色分析器操作。流程在方框316处继续。

在方框316处，检测逻辑206去除其重新计算的响应值小于低阈值的潜在脸部集中的任何脸部。可以根据更准确的分析，增大或减小重新计算的响应值。如果现在该脸部的更新的响应值小于低阈值，则该脸部不具有显示的可能性，并且将其丢弃。流程在方框318处继续。

在方框318处，布局逻辑208清除显示器。参考图2，布局逻辑208可以控制显示器106，以使显示器106清除其上的内容。流程在方框320处继续。

在方框320处，布局逻辑208仅显示质量较高的潜在脸部集中的那些脸部。在一些实施方式中，布局逻辑208可以不显示所有检测到的脸部。在一些实施方式中，布局逻辑208显示具有大于高阈值的响应值的潜在脸部集中的那些脸部。操作完成。

在一些实施方式中，对于图像的多个尺度和/或多个方向，可以执行流程图300的操作。因此，在一个尺度或方向完成脸部图像的扫描之后，检测逻辑206可以以不同的尺度或方向重新扫描。

图4示出了根据本发明的一些实施方式的用于对图像中所检测的目标进行去除操作的流程图。具体地，流程图420示出了在图3的方框310处的去除操作的更详细的操作。参考图1和图2的部件来描述流程图420。流程图420开始于方框422。

在方框422处，检测逻辑206从潜在脸部集中去除要被去除的脸部。具体地，可以将潜在脸部集存储在存储器中(图2中未示出)。因此，检测逻辑206可以更新该集，以从集中去除要被去除的脸部。流程在方框424处继续。

在方框424处，检测逻辑206确定要被去除的脸部的响应值是否大于高阈值。如上所述，可以使用多个阈值。在一些实施方式中，如果其响应值大于高阈值才显示该脸部。当确定要被去除的脸部的响应值不大于高阈值时，流程图420的操作完成。

在方框428处，当确定要被去除的脸部的响应值大于高阈值时，布局逻辑208从显示器中去除要被去除的脸部。流程图420的操作然后完成。

图5示出了根据本发明的一些实施方式的用于对图像中所检测的目标进行加操作的流程图。具体地，流程图530示出了在图3的方框312处的加操作的更详细的操作。参考图1和图2的部件来描述流程图530。流程图530开始于方框532。

在方框532处，检测逻辑206将要加入的脸部加入到潜在脸部集。具体地，潜在脸部集可以存储在存储器中(在图2中未示出)。因此，检测可以更新该集，以将要被加入的脸部包括到集中(其可以存储在存储器中(在图2中未示出))。流程在方框534处继续。

在方框534处，检测逻辑206确定要被加入的脸部的响应值是否大于高阈值。当确定要被加入的脸部的响应值不大于高阈值时，流程图530的操作完成。

在方框538处，当确定要被加入的脸部的响应值大于高阈值时，布局逻辑208将要被加入的脸部加入显示器。在一些实施方式中，布局逻辑208替换脸部(去除之后加入)，因为检测到了更好的匹配。在一些实施方式中，如果要显示的脸部的总数改变，则布局逻辑208可以重新计算脸部的尺寸和位置，并且相应地重新绘制这些脸部。以下给出了这种重新计算和重新绘制的更详细的描述。然后流程图530的操作完成。

图6示出了根据本发明的一些实施方式的用于重新绘制图像中的目标的显示器布局的操作的流程图。例如，流程图600示出了在加入新目标或从显示器中去除目标之后，重新绘制显示器布局的更详细的操作。参考图1和图2的部件来描述流程图600。流程图600开始于方框602。

在方框602处，布局逻辑208确定显示器的尺寸。布局逻辑208可以根据象素块、象素数目等确定显示器106的尺寸。流程在方框604处继续。

在方框604处，布局逻辑208确定具有要被显示的脸部的图像部分的数目。具体地，布局逻辑208可以接收图像224的部分(未示出)。如上所述，在一些实施方式中，仅显示某些已检测到的脸部。具体地，仅显示已检测到的其响应值大于高阈值的脸部。流程在方框606处继续。

在方框606处，布局逻辑208根据显示器的尺寸和要显示的图像部分的数目，重新绘制显示器的布局。布局逻辑208可以以任何多个不同的方式重新绘制布局。图7至图11(以下将描述)示出了可能的布局的不同例子。然后流程图500的操作完成。

现在描述从图像102中所提取的目标在显示器106上的多个不同布局。图7至图11示出了根据本发明的一些实施方式的这些布局。参考图1所示的脸部来描述图7至图11。

根据本发明的一些实施方式，图7A至图7D按时间示出了从图像中所提取的目标的布局。具体地，图7A至图7D示出了当目标检测逻辑202检测到另外的目标时，显示器106的布局怎样随时间而改变。

图7A示出了在时间段t₀702的显示器106的布局。如所示在时间段t₀702，仅从图像102中已检测并提取脸部120B用于显示。因此，按比例放大脸部120B，以跨越显示器106。在一些实施方式中，根据显示器的尺寸和显示的目标数目，将目标尽可能地按比例放大。

图7B示出了在时间段t₀+1704的显示器106的布局。如所示在时间段t₀₊₁704，从图像102中已检测并提取脸部120B和脸部124B用于显示。因此(如所示)，缩放脸部120B和脸部124B，以跨越显示器106。在一些实施方式中，标准化脸部。因此，脸部的窗口和其中的脸部近似地缩放到相同尺寸。

图7C示出了在时间段t₀₊₂706的显示器106的布局。如所示在时间段t₀₊₂706，从图像102中已检测并提取脸部120B、脸部124B和脸部122B用于显示。因此(如所示)，缩放脸部120B、脸部124B和脸部122B，以跨越显示器106。

图7D示出了在时间段t₀₊₃708的显示器106的布局。如所示在时间段t₀₊₃708，从图像102中已检测并提取脸部120B、脸部124B、脸部122B和脸部126B用于显示。因此(如所示)，缩放脸部120B、脸部124B、脸部122B和脸部126B，以跨越显示器106。因此，当更新了要显示的脸部数目时，进行这种对显示器106上的布局重新计算和重新绘制的操作。

根据本发明的一些其它实施方式，图8A至图8D按时间示出了从图像中提取的目标的显示器上的布局。具体地，图8A至图8D示出了显示器106上的布局，其中每次仅显示一个脸部。因此，可以将所显示的脸部比图7A至图7D的布局按比例放得更大。如果图像包括较多个体，则这种配置是有用的。具体地，如果图像包括过多的人，则布局可能无法对脸部放大或扩大。

在一些实施方式中，在预定时间段之后，显示器106改变。在一些实施方式中，显示器106根据用户输入改变。例如，包含这种逻辑的设备可以包括滚轮，以允许用户改变当前显示的脸部。

目标检测逻辑202可以存储要显示的脸部的缓存。布局逻辑208则可以循环切换其中的脸部用于显示。如上所述，所检测到的和提取的脸部数目可以随时间而改变。因此，缓存的大小也可以改变。在一些实施方式中，缓存中的脸部顺序与图像102中的顺序相对应。例如，缓存中的脸部顺序可以是图像102中的脸部的光栅扫描顺序(从顶到底和从左到右)。在一些实施方式中，检测和提取脸部的顺序不与用于显示的顺序相对应。因此，目标检测逻辑202可能需要重新安排存储在缓存中的脸部。

图8A示出了在时间段t₀802的包括脸部126B的显示器106的布局。图8B示出了在时间段t₀₊₁804的包括脸部120B的显示器106的布局。图8C示出了在时间段t₀₊₂806的包括脸部122B的显示器106的布局。图8D示出了在时间段t₀₊₃808的包括脸部124B的显示器106的布局。

根据本发明的一些实施方式，图9A至图9B按时间示出了从图像中提取的目标的显示器上的布局。具体地，图9A至图9B示出了显示器106上的布局，其中每次显示两个脸部。因此，图9A至图9B可以表示这样一种布局，其中显示超过一个但少于所有要显示的脸部。所显示的脸部可以比图7A至图7D的布局按比例放得更大。

图9A示出了在时间段t₀902的包括脸部126B和脸部120B的显示器106的布局。图9B示出了在时间段t₀₊₁904的包括脸部122B和脸部124B的显示器106的布局。图8和图9分别示出了被显示的一个脸部和两个脸部。一些实施方式可以允许在给定时间显示更多的脸部。

图10示出了根据本发明的一些实施方式的从图像所提取的目标的相对于图像中目标的位置的显示器上的布局。如图1所示，人120A的位置是图像102的左上方位置。因此，脸部120B位于显示器106的左上方位置。人122A的位置是图像102的右上方位置。因此，脸部122B位于显示器106的右上方位置。人126A的位置是图像102的左下方位置。因此，脸部126B位于显示器106的左下方位置。人124A的位置是图像102的右下方位置。因此，脸部124B位于显示器106的右下方位置。

图11示出了根据本发明的一些实施方式的图像和从图像中所提取的目标的显示器上的布局。图11示出了包括图像102以及从其检测和提取的脸部(脸部120B、脸部122B、脸部123B和脸部126B)用于显示的布局。在一些实施方式中，布局逻辑208突出(例如，在周围设一个框形)一些人，其中已将这些人的脸部检测并提取用于显示。这可以允许用户手动地放大没有检测到和没有提取的人脸部。在一些实施方式中，用户可以调整阈值(如上所述)，以包括更多或更少的脸部用于显示。

现在描述这样一些实施方式，其中软件执行关于这里所描述的检测和缩放显示图像中的目标的操作。具体地，图12示出了根据本发明的一些实施方式的执行软件的计算机设备，所述软件用于执行关于检测和缩放显示图像中的目标的操作。图12示出了计算机设备1200，其可以代表接收图像用于处理的任何类型的设备。例如，计算机设备1200可以是照相机、照相机电话、PDA、视频记录设备、桌面计算机、笔记本电脑等。此外，计算机设备1200可以具有比以下所述更多或更少的部件。

如图12所示，计算机设备1200包括处理器1202。计算机设备1200还包括存储器1230、处理器总线1222以及输入/输出控制器中心(ICH)1224。处理器1202、存储器1230和ICH 1224都连接到处理器总线1222。处理器1202可以包括任何合适的处理器体系结构。根据本发明的一些实施方式，计算机设备1200可以包括一个、两个、三个或更多处理器，其中任何一个都可以执行指令集。

存储器1230存储数据和/或指令，并且可以包括任何合适的存储器，例如随机访问存储器(RAM)。例如，存储器1230可以是静态RAM(SRAM)、同步动态RAM(SDRAM)、DRAM、双倍数据速率(DDR)同步动态RAM(SDRAM)等。根据本发明的实施方式，图形控制器1204控制显示器设备1206上的信息显示。

ICH 1224提供计算机设备1200的外围部件或者输入/输出(I/O)设备的接口。ICH 1224可以包括任何合适的接口控制器，以向处理器1202、存储器1230和/或与ICH 1224通信的任何合适的设备或部件提供任何合适的通信连接。对于本发明的实施方式，ICH 1224针对每一个接口提供合适的仲裁和缓冲。

在一些实施方式中，ICH 1224向一个或多个合适的电子集成驱动器(IDE)/高级技术附加(ATA)驱动器1208，例如硬盘驱动器(HDD)，提供接口。在实施方式中，ICH 1224还提供键盘1212、鼠标1214、一个或多个合适设备通过端口1216至1218(例如并行端口、串行端口、通用串行总线(USB)、防火墙端口等)的接口。在一些实施方式中，ICH 1224还提供网络接口1220，计算机设备1200可以通过网络接口1220与其它计算机和/或设备通信。在一些实施方式中，端口1216至1218可以连接到不同类型的设备，以捕获图像和/或视频流。这种设备的例子可以包括传感器，例如电荷耦合装置(CCD)传感器、互补型金属氧化物半导体(CMOS)传感器等。

参考图1和图2，存储器1230和/或IDE/ATA驱动器1208之一可以存储图像处理器逻辑104、目标检测逻辑202、特征提取逻辑204、检测逻辑206和布局逻辑208。在一些实施方式中，图像处理器逻辑104、目标检测逻辑202、特征提取逻辑204、检测逻辑206和布局逻辑208可以是在处理器1202内执行的指令。因此，可以将图像处理器逻辑104、目标检测逻辑202、特征提取逻辑204、检测逻辑206和布局逻辑208存储在机器可读的介质中，其是体现这里所描述的任何一个方法或全部方法的一个指令集(例如，软件)。例如，图像处理器逻辑104、目标检测逻辑202、特征提取逻辑204、检测逻辑206和布局逻辑208可以完全驻留或至少部分驻留在存储器1230、处理器1202、IDE/ATA驱动器1208之一等之中。

在多个不同应用中可以使用实施方式。例如，当为家人或朋友拍照时，可以使用一些实施方式。可以使用一些实施方式，作为包括脸部检测和识别的安全应用的部分。例如，可以使用一些实施方式作为用于机场安全的应用的部分，以检测和识别感兴趣的人。可以结合捕获运动会中的运动员的图像使用一些实施方式。此外，一些实施方式可以用于视频会议应用。具体地，根据本发明的一些实施方式，可以从视频流中捕获静态帧，然后将其处理。在一些实施方式中，对于该应用，在显示器上，讲话的个体的脸部比其它的脸部更大、突出等。

在一些实施方式中，可以在更早的时间(例如，就年而言)已经捕获输入图像。在一些实施方式中，可以通过不同设备而不是包括图像处理器逻辑104的设备已经捕获输入图像。因此，图像处理器逻辑104可以接收来自多个不同源的输入图像，所述源包括相同或不同设备上的和/或跨越网络的机器可读介质(例如硬盘驱动器)。在一些实施方式中，窗口可以以多种不同方式在显示器106上显示。例如，当向显示器106加入新目标时，可以进行动态转换，其中显示器106上每一个存在的目标随时间平滑地改变尺寸和位置。此外，新对象可以随时间从零尺寸增长到其所分配的位置。

在描述中，给出了许多具体细节，例如逻辑实现、操作码、规定操作数的手段、资源分区/共享/复制实现、系统部件的相互关系和类型、以及逻辑分区/集成选择，以便于提供本发明的更彻底理解。但是，本领域的技术人员可以理解，不需要这种具体细节也可以实施本发明的实施方式。在其它情况下，控制结构、门级(gate level)电路和全部软件指令序列没有详细示出，以便于不使本发明的实施方式难于理解。本领域的普通技术人员，根据所包括的描述，将能够无需过度的实验而实现适当的功能。

说明书中涉及的“一种实施方式”、“实施方式”“示例实施方式”等指示所描述的实施方式可以包括特定特征、结构或特性，但是每一种实施方式可以不需要包括该特定特征、结构或特性。而且，这种短语并不必须涉及相同的实施方式。此外，当结合一种实施方式描述特定特征、结构或特性时，认为不论是否明确地进行了描述，结合其它实施方式来影响这种特征、结构或特性，都在本领域的技术人员的知识范围之内。

本发明的实施方式包括特征、方法或处理，这些特征、方法或处理可以在由机器可读介质提供的机器可执行指令之内体现。机器可读介质包括以可由机器(例如，计算机、网络设备、个人数字助理、制造工具、任何具有一个或多个处理器集的设备等)访问的形式提供(即，存储和/或传输)信息的任何机制。在示例性实施方式中，机器可读介质包括易失性和/或非易失性媒体(例如，只读存储器(ROM)、随机访问存储器(RAM)、盘存储媒体、光存储媒体、闪烁存储器设备等)，以及电、光、声或其它传播形式的信号(例如，载波、红外信号、数字信号等)。

使用这种指令使得利用该指令编程的通用或特殊目的处理器执行本发明的实施方式的方法或处理。可选地，通过特定硬件部件执行本发明的实施方式的特征或操作，所述特定硬件部件包含用于执行操作的硬连线逻辑，或者通过编程的数据处理部件和特定硬件部件的任何组合执行本发明的实施方式的特征或操作。本发明的实施方式包括软件、数据处理硬件、数据处理系统实现的方法以及各种处理操作，如这里进一步描述的。

许多附图示出了根据本发明的一些实施方式的用于检测和缩放显示图像中的目标的系统和设备的方框图。许多流程图示出了根据本发明的一些实施方式的用于检测和缩放显示图像中的目标的操作。参考方框图中所示的系统/设备描述了流程图的操作。但是，应该理解，除了参考方框图所讨论的实施方式，可以通过系统和设备的其它实施方式来执行流程图的操作，以及参考该系统/设备所讨论的实施方式可以执行不同于参考流程图所讨论的操作的操作。

由于这里所描述的实施方式的多个变更，这详细的描述仅用于说明，并且不应将其认为是对本发明范围的限制。因此，本发明所要求的是在以下权利要求书及其等同的范围和精神之内的所有这种修改。因此，应认为说明书和附图是说明意义的而非限制意义的。

Claims

1.一种方法，包括：

接收包括人的脸部的图像；

提取该图像的包括该脸部的一部分；

缩放该图像的包括该脸部的该部分；以及

在显示器上显示该图像的包括该脸部的该部分。

2.根据权利要求1的方法，其中缩放该图像的包含该脸部的该部分包括根据该显示器的尺寸缩放该图像的该部分。

3.根据权利要求2的方法，其中根据该图像的多个其它部分，缩放该图像的包括该脸部的该部分，该图像的这些其它部分包括已提取的其它脸部。

4.根据权利要求3的方法，其中显示该图像的该部分包括在该显示器上同时显示该图像的包括该脸部的该部分和该图像的包括其它脸部的该其它部分。

5.根据权利要求4的方法，其中显示该图像的该部分和该图像的该其它部分包括在与在该图像中的该图像的该部分和该图像的该其它部分的位置相对应的位置，显示该图像的该部分和该图像的该其它部分。

6.根据权利要求3的方法，还包括缩放该图像的包括该其它脸部的该其它部分，其中该图像的该部分和该图像的该其它部分的尺寸近似相等。

7.根据权利要求6的方法，其中缩放该图像的该部分和该图像的该其它部分包括缩放该图像的该部分和该图像的该其它部分，其中该脸部和该其它脸部的尺寸近似相等。

8.一种方法，包括：

接收包括多个人脸部的图像；

检测该图像中该多个脸部中的一个脸部；

提取该图像的包括该脸部的一部分；

根据显示器的尺寸和根据该图像的多个其它部分，缩放该图像的该部分，所述图像的该多个其它部分包括从该图像所提取的用于显示的其它脸部；以及

在该显示器上显示该图像的该部分和该图像的该其它部分。

9.根据权利要求8的方法，其中显示该图像的该部分和该图像的该其它部分包括在与在该图像中的该图像的该部分和该图像的该其它部分的位置相对应的位置，显示该图像的该部分和该图像的该其它部分。

10.根据权利要求8的方法，其中在该显示器上显示该图像的该部分包括显示该图像的该部分和该图像的该其它部分，其中该图像的该部分和该图像的该其它部分的尺寸近似相等。

11.根据权利要求8的方法，其中检测该图像中的该多个脸部的该脸部包括根据在多于一个尺度的图像的扫描，检测在该图像中的该多个脸部的该脸部。

12.一种方法，包括：

接收包括相同种类的多个目标的图像；

检测在该图像中的该多个目标的一个目标；

重新调整当前显示该多个目标的其它目标的显示器布局，其中重新调整该布局包括根据显示器的尺寸和根据其它目标的数目，缩放该目标和该其它目标。

13.根据权利要求12的方法，还包括在该显示器上显示已缩放的该其它目标和该目标。

14.根据权利要求12的方法，其中检测在该图像中的该多个目标的该目标包括根据在多个尺度的图像的扫描，检测在该图像中的该多个目标的该目标。

15.一种机器可读介质，其提供指令，当由机器执行时，这些指令使得所述机器执行操作，包括：

每次在图像中检测到目标时，执行以下操作：

确定显示器的尺寸；

确定该显示器上当前显示的其它目标的数目；

缩放该目标和该其它目标；

重新调整该目标和该其它目标的布局用于显示；以及

在该显示器上显示该重新调整过的布局。

16.根据权利要求15的机器可读介质，其中重新调整该目标和该其它目标的该布局包括重新调整该布局，其中同时显示该目标和该其它目标。

17.根据权利要求15的机器可读介质，其中显示该重新调整过的该显示器的布局包括在该显示器上每次仅显示一个目标。

18.根据权利要求15的机器可读介质，其中显示该重新调整过的该显示器的布局包括在该显示器上每次显示多于一个但少于所有目标的目标。

19.一种机器可读介质，其提供指令，当由机器执行时，这些指令使得所述机器执行操作，包括：

接收包括多个人脸部的图像；

检测该图像中的该多个脸部的一个当前脸部；

如果该当前脸部的响应值小于一个低阈值，或者如果用于在显示器上显示的潜在脸部集内的不同脸部的边界与该当前脸部的边界相重叠，并且该不同脸部的响应值大于该当前脸部的该响应值，则丢弃该当前脸部；

如果该潜在脸部集中的一个脸部的边界与该当前脸部的边界相重叠，并且该脸部的响应值小于该当前脸部的该响应值，则对该潜在脸部集中的该脸部执行以下操作：

删除用于显示的该潜在脸部集中的该脸部；以及

如果该脸部的该响应值大于一个高阈值，从该显示器去除该脸部。

20.根据权利要求19的机器可读介质，还包括在该显示器上显示具有大于该高阈值的响应值的脸部。

21.根据权利要求20的机器可读介质，还包括根据该显示器的尺寸和具有大于该高阈值的响应值的脸部的数目，缩放具有大于该高阈值的响应值的该脸部。

22.根据权利要求20的机器可读介质，其中在该显示器上显示该脸部包括同时在该显示器上显示该脸部。

23.根据权利要求22的机器可读介质，其中在该显示器上显示该脸部包括在与在该图像中的该脸部的位置相对应的位置显示该脸部。

24.一种机器可读介质，其提供指令，当由机器执行时，这些指令使得所述机器执行操作，包括：

接收包括人的脸部的图像；

检测人的该脸部；

对于所检测的每一个脸部，提取该图像的包括该脸部的一部分；

根据显示器的尺寸，缩放该图像的包括该脸部的该部分；

按照该图像中该脸部的光栅扫描顺序，每次仅显示该图像的该部分之一。

25.根据权利要求24的机器可读介质，其中每次仅显示该图像的该部分之一包括按照基于用户输入的顺序，显示该图像的该部分的下一个部分。

26.根据权利要求24的机器可读介质，其中该用户输入包括一个滚轴输入。

27.根据权利要求24的机器可读介质，其中每次仅显示该图像的该部分之一包括对于预定时间段，仅显示该图像的该部分之一。

28.一种设备，包括：

显示器；

用于捕获包括多个相同种类目标的图像的装置；

图像处理器逻辑，以接收该图像，其中该图像处理器逻辑包括：

目标检测逻辑，以检测该图像中的多个目标的一个目标；以及

布局逻辑，以根据该显示器的尺寸来缩放该目标，并在该显示器上显示所缩放的目标。

29.根据权利要求28的设备，其中该布局逻辑用于根据所检测的用于显示的目标的数目来缩放该目标。

30.根据权利要求28的设备，其中该布局逻辑用于同时显示所检测的用于显示的目标。

31.根据权利要求28的设备，其中该布局逻辑用于缩放所检测的用于显示的目标，其中所缩放的目标的尺寸近似相等。