CN103309643A - 图像处理器及图像处理方法 - Google Patents

Abstract

本发明公开了图像处理器及图像处理方法，能够易于登记一种包括期望目标的登记图像。从拍摄图像中提取由用户在该拍摄图像上指定的位置附近的区域以生成搜索图像，分类器对所生成的搜索图像执行处理，以及从该拍摄图像中提取具有弱分类器能够执行处理的最大层级数的处理区域以生成该登记图像。

Description

图像处理器及图像处理方法

技术领域

本发明涉及一种从图像中检测人和宠物等目标的图像处理器及图像处理方法。

背景技术

近年来，在诸如数码相机等图像处理器中配备有这样一种技术，在拍照期间，通过将数码相机聚焦到检测目标上或调节检测目标的白平衡而对人面部等进行检测。在该技术中，期望能从图像中正确检测诸如人面部等目标。因而，已经开发出检测预定目标的各种技术。

例如，在日本未审专利公开号2011-124819公开的技术中，通过参考词典数据，提取与登记的宠物图像高度吻合的面部图案，并基于所提取的面部图案来执行对登记的宠物图像的识别处理。

在日本未审专利公开号2010-277242公开的技术中，为了对正脸进行高速而精确的检测，执行第一级的分类器以检测面部图像，并对检测面部图像的位置及该位置的邻区执行第二级分类器以检测该正脸。

在日本未审专利公开号2010-238181公开的技术中，对从全方位观看到的登记者的面部图像进行登记，并且基于该登记数据对该登记者进行认证。

在日本未审专利公开号2010-96962公开的技术中，用户设定一AF框，并且该AF框的范围可变以适配在该AF框中所包括的面部图像的位置和尺寸。

这里假设图像处理器使用检测普通（common）人面部、宠物面部等的面部检测器来执行从图像中检测出“面部”的面部检测处理。在很多情况下，面部检测器能够检测在拍摄图像中所包含的人面部和宠物面部。然而，有时候，有些人面部和宠物面部不能被面部检测器检测到。在这种情况下，使用现有的图像处理器，须得让用户对含有不能被面部检测器检测的目标的图像进行登记，并基于登记图像对期望目标进行检测，由此解决上述问题。

因而，通过基于登记图像执行检测处理，能够对不能被面部检测器检测的目标进行检测。这里，为了基于登记图像检测期望目标，整个期望目标必须被包括在该登记图像中。然而，当登记图像时，有时用户不能指派包括整个期望目标的区域。

例如，在期望目标是狗或猫的情况下，有时不能指派包括狗或猫的整个面部的区域，这是因为与人面部相比，这种“面部”的区域（界限）不够清晰。即使用户准确了解包括该目标的区域，用户也会错误地指派另外的区域，而且有时整个期望目标都没包括在该指派区域中。

另一方面，为了使用户指派包括整个期望目标的区域，可以想到用于指定该区域的输入点数目会增加（例如，指派诸如眼睛、鼻子和嘴巴等器官的位置）。然而，在此方法中，用户操作很复杂并且会降低操作性。

因而，与现有方法类似，期望基于一个或两个输入点所指派的区域来生成登记图像。

发明内容

为解决上述问题而已经构思出本发明，其一个目的是构建能够很容易地对包括期望目标的登记图像进行登记的图像处理器、图像处理方法、控制程序及记录介质。

根据本发明的一个方案，一种图像处理器，包括：分类器，被配置为从图像检测预定目标，该分类器包括一个或多个弱分类器，其中下一级的弱分类器被配置为对上一级的输出区域执行检测处理；图像获取部，被配置为获取由摄像机拍摄的拍摄图像；指派位置指定部，被配置为在拍摄图像上指定由用户指派的位置；搜索图像生成器，被配置为从拍摄图像中提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像；分类器执行部，被配置为使该分类器对由该搜索图像生成器生成的搜索图像执行检测处理；处理区域指定部，被配置为基于检测结果，指定具有弱分类器或多个弱分类器的每一个能够执行处理的最大层级（hierarchy）数的处理区域；以及登记图像生成器，被配置为从拍摄图像提取由该处理区域指定部指定的处理区域，并生成登记图像。

根据本发明的另一个方案，一种用于图像处理器的图像处理方法，该图像处理器包括：分类器，被配置为从图像检测预定目标，该分类器包括一个或多个弱分类器，在每一个弱分类器中，下一级弱分类器被配置为对上一级的输出区域执行检测处理，该图像处理方法包括以下步骤：获取由摄像机拍摄的拍摄图像；在所述拍摄图像上指定由用户指派的位置；从拍摄图像提取由指派位置指定步骤中指派的位置附近的区域，并生成搜索图像；使该分类器对在搜索图像生成步骤中生成的搜索图像执行检测处理；基于在分类器执行步骤中的检测结果，指定具有弱分类器或多个弱分类器的每一个能够执行处理的最大层级数的处理区域；以及从拍摄图像提取在处理区域指定步骤中指定的处理区域，并生成登记图像。

在此，因为该图像处理器和图像处理方法目的是生成登记图像，所以假设当分类器对拍摄图像执行处理时不能检测到检测目标。即，当分类器对拍摄图像执行处理时，并不存在从分类器的末级弱分类器输出的输出区域。

根据上述配置，搜索图像生成器被配置为从拍摄图像中提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像。处理区域指定部被配置为指定具有弱分类器或多个弱分类器的每一个能够执行处理的最大层级数的处理区域，即，具有在搜索图像中包括分类器的检测目标的最高可能性（prospect）的区域，而登记图像生成器从拍摄图像中提取由该处理区域指定部指定的处理区域，并生成登记图像。

因而，其优点是，即使由用户指派的位置稍有偏离，也能够生成包括用户期望的目标的登记图像。

在图像处理器中，优选该搜索图像生成器被配置为指定具有不同尺寸的多个区域，由该指派位置指定部指派的位置位于所述多个区域的中心，且该搜索图像生成器被配置为从拍摄图像中提取由该搜索图像生成器指定的所述多个区域的每一个，并生成多个搜索图像。

在图像处理器中，优选该搜索图像生成器被配置为基于由该指派位置指定部指定的位置而在拍摄图像上指定由用户指派的区域，且该搜索图像生成器被配置为从拍摄图像提取大于所指定的区域的区域并生成搜索图像。

在图像处理器中，优选地，对于具有弱分类器或多个弱分类器的每一个能够执行处理的最大层级数的多个处理区域，该处理区域指定部被配置为指定具有最高指标的处理区域，其中该指标指示检测结果的优或劣。

在图像处理器中，优选地，对于具有弱分类器或多个弱分类器的每一个能够执行处理的最大层级数的多个处理区域，该处理区域指定部被配置为指定其中整合有多个处理区域的区域。

在图像处理器中，优选该登记图像生成器被配置为当由该处理区域指定部指定的处理区域的层级数小于或等于预定值时，不执行基于由该处理区域指定部指定的处理区域的登记图像生成处理。

根据本发明的又一个方案，一种图像处理器，包括：图像获取部，被配置为获取由摄像机拍摄的拍摄图像；指派位置指定部，被配置为在拍摄图像上指定由用户指派的位置；搜索图像生成器，被配置为从拍摄图像提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像；轮廓检测器，被配置为从由该搜索图像生成器生成的该搜索图像检测预定目标的轮廓；以及登记图像生成器，被配置为从拍摄图像中提取由该轮廓检测器检测的轮廓所包围的区域，并生成登记图像。

根据本发明的再一个方案，一种图像处理方法，包括以下步骤：获取由摄像机拍摄的拍摄图像；在所述拍摄图像上指定由用户指派的位置；从拍摄图像提取在指派位置指定步骤中指派的位置附近的区域，并生成搜索图像；从在搜索图像生成步骤中生成的该搜索图像检测预定目标的轮廓；以及从拍摄图像提取在轮廓检测步骤中检测的轮廓所包围的区域，并生成登记图像。

根据上述配置，该搜索图像生成器可被配置为从拍摄图像提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像。该轮廓检测器可被配置为从搜索图像检测预定目标的轮廓，而该登记图像生成器可被配置为从拍摄图像提取由该轮廓检测器检测的轮廓所包围的区域，并生成登记图像。

因而，其优点是，即使由用户指派的位置稍有偏离，也能够生成包括用户期望的目标的登记图像。

该图像处理器可由计算机构成。在这种情况下，本发明还包括一种控制程序，其操作如上所述的图像处理器，并使该计算机起到该图像处理器的每一个部件的作用，以及一种计算机可读记录介质，其中记录有所述控制程序。

如上所述，该图像处理器包括：该图像获取部，被配置为获取由摄像机拍摄的拍摄图像；该指派位置指定部，被配置为在拍摄图像上指定由用户指派的位置；该搜索图像生成器，被配置为从拍摄图像提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像；该分类器执行部，被配置为使该分类器对由该搜索图像生成器生成的搜索图像执行检测处理；该处理区域指定部，被配置为基于检测结果，指定具有弱分类器或多个弱分类器的每一个能够执行处理的最大层级数的处理区域；以及该登记图像生成器，被配置为从拍摄图像提取由该处理区域指定部指定的处理区域，并生成登记图像。

该图像处理方法包括以下步骤：获取由摄像机拍摄的拍摄图像；在所述拍摄图像上指定由用户指派的位置；从拍摄图像提取由指派位置指定步骤中指派的位置附近的区域，并生成搜索图像；使该分类器对由搜索图像生成步骤中生成的搜索图像执行检测处理；基于分类器执行的步骤的检测结果，指定具有弱分类器或多个弱分类器的每一个能够执行处理的最大层级数的处理区域；以及从拍摄图像提取由处理区域指定步骤中指定的处理区域，并生成登记图像。

因而，其优点是，即使由用户指派的位置稍有偏离，也能够生成包括用户期望的目标的登记图像。

该图像处理器包括：该图像获取部，被配置为获取由摄像机拍摄的拍摄图像；该指派位置指定部，被配置为在拍摄图像上指定由用户指派的位置；该搜索图像生成器，被配置为从拍摄图像中提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像；该轮廓检测器，被配置为从由该搜索图像生成器生成的该搜索图像检测预定目标的轮廓；以及该登记图像生成器，被配置为从拍摄图像中提取由该轮廓检测器检测的轮廓所包围的区域，并生成登记图像。

该图像处理方法，包括以下步骤：获取由摄像机拍摄的拍摄图像；在所述拍摄图像上指定由用户指派的位置；从拍摄图像中提取在指派位置指定步骤中指派的位置附近的区域，并生成搜索图像；从在搜索图像生成步骤中生成的该搜索图像检测预定目标的轮廓；以及从拍摄图像中提取由轮廓检测步骤中检测的轮廓所包围的区域，并生成登记图像。

因而，其优点是，即使由用户指派的位置稍有偏离，也能够生成包括用户期望的目标的登记图像。

附图说明

图1是示出根据本发明的实施例的图像处理器的主体配置的示例的方框图；

图2是示出构成分类器的一个弱分类器的检测处理和检测结果的示例的视图；

图3是示出构成分类器的一个弱分类器的检测处理和检测结果的示例的视图；

图4是示出构成分类器的一个弱分类器的检测处理和检测结果的示例的视图；

图5是示出构成分类器的弱分类器的检测处理和检测结果的示例的视图；

图6是示出由图像处理器执行的登记图像生成处理的流程图；

图7是示出在登记图像生成处理中由用户在拍摄图像上指派的指派位置的视图；

图8是示出在登记图像生成处理中在拍摄图像上的指派区域和搜索区域的视图；

图9是示出在登记图像生成处理中在拍摄图像上的该搜索区域和具有最大数目的层级的处理区域的视图；

图10是示出通过登记图像生成处理生成的登记图像的视图；

图11是示出在登记图像生成处理中由用户在拍摄图像上指派的指派位置的视图；

图12是示出在登记图像生成处理中在拍摄图像上的搜索区域的视图；

图13是示出由图像处理器执行的登记图像生成处理的示例流程图；

图14是示出在登记图像生成处理中由用户在拍摄图像上指派的指派位置的视图；

图15是示出在登记图像生成处理中在拍摄图像上的指派区域和搜索区域的视图；以及

图16是示出在登记图像生成处理中在拍摄图像上的搜索区域和被检测轮廓所包围（close）的区域的视图。

具体实施方式

下文中，将参照图1至图16来描述本发明的实施例。

（图像处理器的配置）

根据本发明的实施例的图像处理器检测图像上的预定目标。由图像处理器检测的目标被称为检测目标。这里用到的检测目标是指图像上任意的实物，例如为：人的整个身体、面部、眼睛、鼻子、嘴巴、手、手臂和腿，诸如狗、猫和鸟等动物的整个身体和面部，汽车和机动车的整个车体和轮胎，诸如建筑物和房屋等建筑产品，以及诸如树木、云朵和太阳等自然物体。

可使用任何的图像处理器，只要该图像处理器检测图像上的检测目标即可。该图像处理器的示例包括数码相机、数字摄像机、PC、移动电话、PDA（个人数字助理）、游戏机、拍摄和打印照片的装置、以及编辑图像的装置。

本实施例的图像处理器包括从输入图像中检测出检测目标的一个或多个分类器。输入至分类器的图像被称为输入图像。

该分类器包括一个或多个弱分类器。构成分类器的弱分类器确定在输入图像的预定区域中一个或多个特征量是否落入预定参照区域内，并且该弱分类器对特征量在参照区域内所落入的区域予以输出。换句话说，所述弱分类器确定检测目标是否被包含在输入图像的预定区域中，且该弱分类器输出经确定包括有检测目标的区域。弱分类器可从该区域提取任意的特征量。例如为亮度值、边缘信息、诸如伽柏（Gabor）和哈尔（Haar）等的频率特性、诸如SIFT和HOG等的亮度梯度特征量、及其组合可用作特征量。

在弱分类器中设定执行处理的次序，下一级的弱分类器对从上一级弱分类器输出的输出区域中的预定区域执行检测处理。第一级弱分类器对输入至分类器中的输入图像（整个区域）执行检测处理。

从末级弱分类器输出的输出区域就是该分类器的输出。在上一级弱分类器输出没有输出区域的情况下，随后的弱分类器不执行检测处理。

下文中，弱分类器的检测处理次序被称为层级。例如，假设分类器中执行第七级或第七步骤的检测处理的弱分类器是层级7的弱分类器。

下面将参照图2至图5对分类器的检测处理进行具体描述。图2至图5是示出构成分类器的弱分类器的检测处理和检测结果的示例的视图。假设图2至图5中的分类器包括10个弱分类器L1至L10。并假设图2至图5中的分类器是检测狗的狗分类器。

如图2所示，弱分类器L1在输入至分类器的输入图像50中设定具有预定尺寸和预定形状的区域51。由弱分类器设定的区域被称为处理区域51。弱分类器L1使用处理区域51对整个输入图像50执行光栅扫描，确定每个处理区域51中的一个或多个特征量是否落入预定参照区域内，并将特征量落入预定参照区域内的处理区域51输出为输出区域。

这里，如图3所示，假定作为由弱分类器L1执行检测处理的结果，弱分类器L1输出了输出区域52a、52b和52c作为输出区域。在此情况中，弱分类器L2通过使用处理区域51对输出区域52a、52b和52c执行光栅扫描来执行检测处理。

然后弱分类器L3至L10执行检测处理，并且弱分类器L10输出如图4所示的输出区域52d和52e。即，当包括弱分类器L1至L10的狗分类器执行对输入图像50的检测处理时，获得作为输出的输出区域52d和52e。“狗”的检测目标被包括在输入图像50的输出区域52d和52e中。此时，分类器可输出指示输出区域的检测结果的优或劣的指标。

如图5所示，弱分类器可设定具有不同尺寸的处理区域51a、51b和51c。图2至图5中的示例中的处理区域51具有矩形形状。然而，处理区域51不限于此矩形形状。例如，处理区域51可具有圆形。

可将由弱分类器设定的处理区域的类型数量设定成任意数值，并且可任意设定处理区域的尺寸和形状。在每个弱分类器中设定的处理区域可以不同。

在对输入图像的检测结果是“没有输出区域”的情况下，分类器可输出弱分类器的层级数，其中每一个弱分类器在关联于所述处理区域的同时执行检测处理。

此时，除输出层级数之外，分类器还可输出用以指示处理区域的检测结果的优或劣的指标。例如，该指标可指示检测目标被包含在处理区域中的确定性。

即，在不能从输入图像中检测到检测目标的情况下，分类器可输出弱分类器或多个弱分类器的每一个能够执行检测处理的层级数，并输出在输入图像的每个处理区域中指示处理区域的检测结果的优或劣的指标。

检测器是与分类器含义相同的术语，并且分类器还被称为串（cascade）。弱分类器还被称为层。

下面将参照图1对图像处理器的配置进行描述。图1是示出图像处理器1的主体配置的示例的方框图。如图1所示，图像处理器1包括控制器11、存储器12、摄像机13、显示部14和操作部15。图像处理器1可包括这样的部件，其中这些部件例如为与其他装置进行通信的通信部、声音输入部和声音输出部。然而，这些部件由于与本发明的特征无关而未被示出。

摄像机13拍摄图像。由摄像机13拍摄的图像被称为拍摄图像。在本实施例中安装有摄像机13。然而，本发明不限于此实施例。例如，摄像机13和图像处理器1可彼此分开。图像提供装置可用于取代摄像机13。可使用任何图像提供装置，只要该图像提供装置给其他装置提供所保持的或所获得的图像即可。图像提供装置的示例包括数码相机、数字电视组件、PC、移动电话、PDA（个人数字助理）、游戏机、以及诸如USB（通用串行总线）存储器的存储装置。

显示部14根据控制器11的指令来显示图像。可使用任意的显示部作为显示部14，只要该显示部能够根据控制器11的指令显示图像即可。例如，LCD（液晶显示器）、有机EL显示器和等离子体显示器可被应用为显示部14。

为了让用户输入指令信号给图像处理器1以操作该图像处理器1，而使用操作部15。可用诸如键盘、鼠标、键区（keypad）和操作按钮等输入装置来构成操作部15。可使用整体形成有操作部15和显示部14的触控面板。操作部15可以是诸如遥控器等远程控制装置，其独立于图像处理器1而形成。

控制器11通过在临时存储器（未示出）上执行从存储器12中读取的程序而执行各种操作，并且该控制器11全面控制在图像处理器1中包括的部件。

在本实施例中，控制器11包括作为功能模块的图像获取部21、分类器执行部22、指派位置指定部23、搜索图像生成器24、处理区域指定部25、登记图像生成器26、轮廓检测器27和显示器控制器28。这样实施控制器11的功能模块（21至28），使得CPU（中央处理单元）将程序（存储在由ROM（只读存储器）构成的存储装置中）读取到由RAM（随机存取存储器）构成的临时存储器上，并且由CPU执行该程序。

图像获取部21从摄像机13获取拍摄图像。图像获取部21将所获取的拍摄图像输出至分类器执行部22、搜索图像生成器24和显示器控制器28。

分类器执行部22包括一个或多个分类器，并将从图像获取部21获取的拍摄图像作为输入图像输入至所述分类器。分类器执行部22使分类器执行检测处理。分类器执行部22将分类器的检测结果输出至显示器控制器28。

当从搜索图像生成器24获得搜索图像时，分类器执行部22将所获取的搜索图像作为输入图像输入至分类器，并使分类器执行检测处理。分类器执行部22将分类器的关于搜索图像的检测结果输出至处理区域指定部25。

分类器执行部22可从存储器12读取分类器信息，并改变分类器的检测目标，或改变被构成分类器的弱分类器在检测期间使用的特征量和参照范围。

在对包含在登记图像中的目标进行检测的情况下，分类器执行部22从存储器12读取登记图像信息，为了对包含在由登记图像信息指示的登记图像中的目标进行检测，而选择最佳分类器，并使所选择的分类器执行对输入图像的检测。例如，分类器执行部22可使分类器对登记图像执行操作，并选择具有作为结果输出的检测输出区域的最高指标的分类器。

基于输入至操作部15的用户指令，指派位置指定部23指定位置（下文中，称为指派位置），该指派位置由用户在从图像获取部21所获取的拍摄图像上予以指派。指派位置指定部23将由用户在拍摄图像上指派的该位置输出至搜索图像生成器24。

基于从指派位置指定部23获得的拍摄图像上的该位置，搜索图像生成器24从拍摄图像中提取指派位置附近的区域以生成搜索图像。搜索图像生成器24将所生成的搜索图像输出至分类器执行部22和轮廓检测器27。

具体而言，基于从指派位置指定部23获得的在拍摄图像上的指派位置，搜索图像生成器24在拍摄图像上指定由用户指派的区域（下文中称为指派区域）。搜索图像生成器24指定一个预定区域（下文中称为搜索区域）并提取所指定的搜索区域以作为搜索图像。搜索区域的中心位于与指派区域的中心相同的位置中，且搜索区域的尺寸大于（范围宽于）指派区域的尺寸。

例如，在用户在拍摄图像上指派两个点的情况下，搜索图像生成器24可给指派区域设定一矩形区域，其中所指派的两个点位于其对角点处。例如，在用户在拍摄图像上指派一个点的情况下，搜索图像生成器24可给指派区域设定具有预定尺寸的矩形区域或圆形区域，其中所指派的一个点是参照点（例如，中心）。搜索图像生成器24可指定具有任意形状的搜索区域（即，搜索图像的形状）。例如，搜索区域可具有矩形或圆形。

搜索图像生成器24指定具有不同尺寸的多个矩形搜索区域，并提取所指定的搜索区域作为搜索图像。在每个矩形搜索区域中，从指派位置指定部23获取的拍摄图像上的指派位置被设定为中心。搜索图像生成器24可指定具有任意形状的搜索区域（即，搜索图像的形状）。例如，搜索图像生成器24可指定多个具有不同半径的圆形搜索区域。在每个圆形区域中，指派位置被设定为中心。

如上所述，搜索区域（搜索图像）的尺寸必须大于指派区域的尺寸。这里，随着搜索区域的尺寸的增大，包括了用户期望的整个目标的可能性（prospect）也会增大。换句话说，随着搜索区域的尺寸的增大，为改善可操作性，用户期望的指派位置的精度会下降。然而，随着搜索区域的尺寸的增大，对搜索图像执行的检测用户期望的目标的处理的负荷会增加。因而，出于对可操作性和处理负荷的考虑，期望适当设定搜索区域（搜索图像）的尺寸。

处理区域指定部25从分类器执行部22获取分类器的关于搜索图像的检测结果，并指定具有每个弱分类器能够执行检测处理的最大层级数的处理区域。处理区域指定部25将所指定的处理区域输出至登记图像生成器26。

这里用到的具有最大层级数的处理区域是指具有在搜索图像中包括分类器的检测目标的最高可能性的区域。即，在搜索图像中，处理区域指定部25指定具有包括分类器的检测目标的最高可能性的区域。

在存在多个具有最大层级数的处理区域的情况下，处理区域指定部25指定多个处理区域中具有最高指标的处理区域。在存在多个具有最大层级数的处理区域的情况下，处理区域指定部25可将多个处理区域被整合（叠置）在一起的区域输出至登记图像生成器26。

登记图像生成器26获取由处理区域指定部25和轮廓检测器27指定的区域，提取从搜索图像（或拍摄图像）中获取的处理区域以生成登记图像。登记图像生成器26将所生成的登记图像输出至显示器控制器28。

登记图像生成器26将指示登记图像的登记图像信息存储至存储器12。

在由处理区域指定部25指定的处理区域的层级数小于或等于预定值的情况下，登记图像生成器26不执行基于由处理区域指定部25指定的处理区域的登记图像生成处理。这时，登记图像生成器26可通知显示器控制器28出错，且显示器控制器28可在显示部14上显示没有正常执行登记图像生成处理的消息。

这时，在弱分类器或多个弱分类器的每一个能够对某个处理区域执行检测处理的是少数层级的情况下，认为该处理区域具有包括分类器的检测目标的低可能性。因而，在作为分类器对搜索图像执行处理的结果，在弱分类器或多个弱分类器的每一个能够执行处理的最高层级数小于或等于预定值的情况下，虽然具有最高层级数的处理区域被认为是搜索图像中具有包括分类器的检测目标的最高可能性的区域，但是可靠性也会很低。因而，在由处理区域指定部25指定的处理区域的层级数小于或等于预定值的情况下，登记图像生成器26通过不执行登记图像生成处理，而能够排除可靠性低的登记图像。

轮廓检测器27从搜索图像生成器24获取搜索图像，从所获取的搜索图像检测轮廓，并指定被所检测的轮廓所包围的区域。轮廓检测器27将所指定的区域输出至登记图像生成器26。

显示器控制器28从图像获取部21获取拍摄图像，并在显示部14上显示拍摄图像。显示器控制器28也从分类器执行部22获取检测结果，并在图像上显示指示输出区域的位置的标记，同时将该标记与拍摄图像重叠（overlap）。显示器控制器28也从登记图像生成器26获取登记图像，并在显示部14上显示所获取的登记图像。

在存储器12中存储被控制器11所涉及的程序和数据。例如，在存储器12中存储分类器信息31和登记图像信息32。

分类器信息31用于生成检测预定目标的分类器。

例如，分类器信息31指示构成分类器的弱分类器的数目、弱分类器的次序、以及弱分类器使用的特征量、参照范围等。

（登记图像生成处理）

（示例1）

下面将参照图6至图10来描述由图像处理器1执行登记图像生成处理的示例（示例1）。图6是示出由图像处理器1执行的登记图像生成处理的流程图。图7是示出用户在拍摄图像上指派的指派位置的视图。图8是示出在拍摄图像上的指派区域和搜索区域的视图。图9是示出在拍摄图像上的搜索区域和具有最大数目的层级的处理区域的视图。图10是示出登记图像的视图。

这里，假设由于虽然图像处理器1使用分类器对拍摄图像执行了检测处理，但没有检测到“猫脸”，因而用户对“猫脸”进行登记。假设图像处理器1事先知悉用户待要登记的目标（目标的类）。进而，假设用户在拍摄图像上指派两个点并在拍摄图像上指派所述两个点位于对角点的矩形区域。

图像获取部21从摄像机13获取拍摄图像（S1）。如上所述，作为使用分类器执行检测处理的结果，没有检测出“猫脸”。因而，如图7所示，用户操控操作部15以在拍摄图像61上指派两个点（62a和62b）。基于输入至操作部15的用户指令，指派位置指定部23在从图像获取部21获得的拍摄图像61上指定指派位置62a和62b（S2）。指派位置指定部23将由用户指派的在拍摄图像61上的指派位置62a和62b输出至搜索图像生成器24。

如图8所示，搜索图像生成器24从指派位置指定部23获取指派位置62a和62b，并指定其中指派位置62a和62b位于其对角位置的矩形区域63作为指派区域。搜索图像生成器24指定预定的搜索区域64。搜索区域64的中心位于与指派区域63的中心相同的位置中，而搜索区域64的尺寸大于（范围宽于）指派区域63的尺寸。搜索图像生成器24从拍摄图像提取所指定的搜索区域64以生成搜索图像（S3）。搜索图像生成器24将所生成的搜索图像输出至分类器执行部22。

当从搜索图像生成器24获取搜索图像时，分类器执行部22将所获取的搜索图像作为输入图像输入至分类器，并使分类器执行检测处理（S4）。因此，由于用户对“猫脸”进行登记，因此假设执行检测人或宠物“面部”的面部分类器。由于面部分类器不能检测“猫脸”，因此面部分类器将每个处理区域中的层级数输出至处理区域指定部25。

处理区域指定部25从分类器执行部22获取面部分类器关于搜索图像的检测结果，并指定如图9所示的具有弱分类器能够执行检测处理的最大层级数的处理区域65（S5）。处理区域指定部25将所指定的处理区域65输出至登记图像生成器26。

登记图像生成器26获取由处理区域指定部25指定的处理区域65，并从拍摄图像61提取所获取的处理区域65以生成如图10所示的登记图像66（S6）。登记图像生成器26将指示所生成的登记图像66的登记图像信息存储在存储器12中以登记所述登记图像（S7）。

因而，图像处理器1给登记图像设定这样的区域，该区域在大于用户指派的指派区域的搜索区域中具有“面部”的最高确定性。如图8所示，即使作为用户期望目标的整个“猫脸”不被包括在由用户指派的指派区域中，也能对包括作为用户期望的目标的整个“猫脸”图像予以登记而无须使操作复杂化。

在S6中生成登记图像之后，可将由登记图像生成器26生成的登记图像输出至显示器控制器28。因此，显示器控制器28将显示该登记图像，以将由登记图像生成器26生成的登记图像的展示给用户。在用户执行对登记图像进行登记的操作之后，登记图像生成器26可将指示所生成的登记图像66的登记图像信息存储在存储器12中以登记该登记图像。另一方面，在用户浏览所显示的登记图像以删除该登记的情况下，可再次执行从S2开始的处理段。

（示例2）

下面将参照图6、图11和图12描述由图像处理器1执行的生成登记图像的登记图像生成处理的另一个示例（示例2）。图11是示出由用户在拍摄图像上指派的指派位置的视图。图12是示出在拍摄图像上的搜索区域的视图。

示例2是示例1的改型。如图11所示，在示例2中，用户仅输入一个点。下面将主要描述不同于示例1的处理。

具体而言，在S2中，基于输入至操作部15的用户指令，指派位置指定部23在从图像获取部21获取的拍摄图像61上指定指派位置62c。

在S3中，如图12所示，搜索图像生成器24从指派位置指定部23获取指派位置62c，并指定七个尺寸彼此不同的矩形搜索区域64a至64g。指派位置62c位于七个矩形搜索区域64a至64g的中心。搜索图像生成器24从拍摄图像中提取所指定的七个搜索区域64a至64g以生成七个搜索图像。搜索图像生成器24将所生成的七个搜索图像输出至分类器执行部22。

在S4中，当从搜索图像生成器24获取七个搜索图像时，分类器执行部22分别将所获取的七个搜索图像作为输入图像输入至面部分类器，并使面部分类器执行检测处理。因为面部分类器不能检测到“猫脸”，所以面部分类器将每个处理区域中的层级数输出至处理区域指定部25。

类似地，执行在S5至S7中的处理段以登记登记图像。在S4中，对于每个搜索图像，分类器的弱分类器可给处理区域设定部分搜索图像或给处理区域设定整个搜索图像。在这种情况下，因为任意一个搜索图像均是登记图像，随着搜索图像的数目的增加，能够更准确地生成登记图像。

（示例3）

下面将参照图13至图16描述由图像处理器1执行的生成登记图像的登记图像生成处理的又一个示例（示例3）。图13是示出由图像处理器1执行的生成登记图像的登记图像生成处理的示例流程图。图14是示出由用户在拍摄图像上指派的指派位置的视图。图15是示出在拍摄图像上的指派区域和搜索区域的视图。以及图16是示出在拍摄图像上的搜索区域和被检测轮廓所包围的区域的视图。

示例3不同于示例1之处在于对搜索图像执行轮廓检测处理以生成登记图像。因此，仍假设由于虽然图像处理器1使用分类器对拍摄图像执行了检测处理，但没有检测到“猫脸”，因而用户对“猫脸”进行登记。此外，假设图像处理器1事先知悉用户待要登记的目标（目标的类）。假设用户在拍摄图像上指派具有预定尺寸的矩形区域的中心并指派该区域的位置。

如图13所示，图像获取部21从摄像机13中获取拍摄图像（S11）。如上所述，作为使用分类器执行检测处理的结果，没有检测出“猫脸”。因而，如图14所示，用户操作操作部15以在拍摄图像61上指派一个点（62d）。基于输入至操作部15的用户指令，指派位置指定部23在从图像获取部21获得的拍摄图像61上指定指派位置62d（S12）。指派位置指定部23将由用户指派的在拍摄图像61上的指派位置62d输出至搜索图像生成器24。

如图15所示，搜索图像生成器24从指派位置指定部23获取指派位置62d，并指定其中指派位置62d位于其中心的矩形区域63a作为指派区域。搜索图像生成器24指定预定的搜索区域64h。搜索区域64h的中心位于与指派区域63a的中心相同的位置处，而搜索区域64h的尺寸大于（范围宽于）指派区域63a的尺寸。搜索图像生成器24从拍摄图像中提取所指定的搜索区域64h以生成搜索图像（S13）。搜索图像生成器24将所生成的搜索图像输出至轮廓检测器27。

如图16所示，轮廓检测器27从搜索图像生成器24获取搜索图像，从所获取的搜索图像检测轮廓，并指定所检测的轮廓所包围的区域65a（S14）。轮廓检测器27将所指定的区域65a输出至登记图像生成器26。

登记图像生成器26获取由轮廓检测器27指定的区域65a，从拍摄图像61中提取所获取的区域65a以生成登记图像（S15）。登记图像生成器26将指示所生成的登记图像的登记图像信息存储在存储器12中，并登记该登记图像（S16）。

（补充）

本发明不限于上述实施例，可以进行各种改变和改型而不脱离本发明的保护范围。即，本发明还包括通过组合技术手段而获得的实施例，其被适当改变而不会脱离本发明的保护范围。

最后，图像处理器1的每个模块（特别是控制器11）可由硬件逻辑构成，或通过使用如下将描述的CPU（中央处理器）而由软件构成。

即，图像处理器1包括：CPU，执行实现每个功能的控制程序的指令；ROM（只读存储器），其中存储有控制程序；RAM（随机存取存储器），其中展开（expand）控制程序；以及存储装置（记录介质），例如为存储器，其中存储有控制程序和各种数据。本发明的目的还能够如此实现，使得其中存储有同时可被计算机读取的用于图像处理器1的控制程序的程序代码（可执行格式程序、中间代码程序、源程序）的记录介质被提供至图像处理器1，并且使得计算机（或CPU或MPU（微处理单元））读取和执行记录在记录介质中的程序代码，其中所述控制程序为实现上述功能的软件。

记录介质的示例包括：诸如磁带和盒带等的带系统，包括诸如软盘（注册商标）的磁盘和硬盘的盘系统，以及诸如CD-ROM、MO、MD、DVD和CD-R等的光盘，诸如IC卡（包括存储卡）和光学卡等卡片系统，以及诸如掩模ROM、EPROM、EEPROM和闪存ROM等的半导体存储器系统。

图像处理器1被配置为可与通信网络连接，且可通过通信网络提供程序代码。对通信网络没有特别的限制。通信网络的示例包括互联网、内联网、外联网、LAN、ISDN、VAN、CATV通信网络，虚拟专用网、电话网络、移动通信网络、以及卫星通信网络。对构成通信网络的传输介质没有特别的限制。传输介质的示例包括有线线路和无线线路，其中该有线线路例如为IEEE1394、USB、电力线路载波（power-line carrier）、有线TV线、电话线和ADSL线；而该无线线路例如为诸如IrDA和遥控器等的红外线、蓝牙（注册商标）、802.11无线线路、HDR、移动电话网、卫星线路、以及全球数字网络。须注意，本发明也能以嵌入载波中的计算机数据信号的形式实施。在这种情况下，程序代码通过电子传输而被具体实现。

本发明可应用于在图像上检测预定实物的图像处理器。

Claims (9)

1.一种图像处理器，包括：

分类器，被配置为从图像检测预定目标，该分类器包括一个或多个弱分类器，其中下一级的弱分类器被配置为对上一级的输出区域执行检测处理；

图像获取部，被配置为获取由摄像机拍摄的拍摄图像；

指派位置指定部，被配置为在该拍摄图像上指定由用户指派的位置；

搜索图像生成器，被配置为从该拍摄图像中提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像；

分类器执行部，被配置为使该分类器对由该搜索图像生成器生成的搜索图像执行检测处理；

处理区域指定部，被配置为基于检测结果，指定具有所述弱分类器或所述多个弱分类器的每一个能够执行处理的最大层级数的处理区域；以及

登记图像生成器，被配置为从该拍摄图像提取由该处理区域指定部指定的处理区域，并生成登记图像。

2.根据权利要求1所述的图像处理器，其中该搜索图像生成器被配置为基于由该指派位置指定部指定的位置而在该拍摄图像上指定由用户指派的区域，且该搜索图像生成器被配置为从该拍摄图像中提取大于所指定的区域的区域并生成搜索图像。

3.根据权利要求1所述的图像处理器，其中该搜索图像生成器被配置为指定具有不同尺寸的多个区域，由该指派位置指定部指派的位置位于所述多个区域的中心，且该搜索图像生成器被配置为从该拍摄图像提取由该搜索图像生成器指定的所述多个区域的每一个，并生成多个搜索图像。

4.根据权利要求1至3任一项所述的图像处理器，其中，对于具有所述弱分类器或所述多个弱分类器的每一个能够执行处理的最大层级数的多个处理区域，该处理区域指定部被配置为指定具有最高的指标的处理区域，其中该指标指示所述检测结果的优或劣。

5.根据权利要求1至3任一项所述的图像处理器，其中，对于具有所述弱分类器或所述多个弱分类器的每一个能够执行处理的最大层级数的多个处理区域，该处理区域指定部被配置为指定整合了多个处理区域的区域。

6.根据权利要求1至3任一项所述的图像处理器，其中该登记图像生成器被配置为，当由该处理区域指定部指定的处理区域的层级数小于或等于预定值时，不执行基于由该处理区域指定部指定的处理区域的登记图像生成处理。

7.一种图像处理器，包括：

图像获取部，被配置为获取由摄像机拍摄的拍摄图像；

指派位置指定部，被配置为在该拍摄图像上指定由用户指派的位置；

搜索图像生成器，被配置为从该拍摄图像中提取由该指派位置指定部指派的位置附近的区域，并生成搜索图像；

轮廓检测器，被配置为从由该搜索图像生成器生成的搜索图像检测预定目标的轮廓；以及

登记图像生成器，被配置为从拍摄图像中提取由该轮廓检测器检测的轮廓所包围的区域，并生成登记图像。

8.一种用于图像处理器的图像处理方法，该图像处理器包括：分类器，被配置为从图像中检测预定目标，该分类器包括一个或多个弱分类器，在每一个弱分类器中，下一级弱分类器被配置为对上一级的输出区域执行检测处理，该图像处理方法包括以下步骤：

获取由摄像机拍摄的拍摄图像；

在该拍摄图像上指定由用户指派的位置；

从拍摄图像中提取在指派位置指定步骤中指派的位置附近的区域，并生成搜索图像；

使该分类器对在搜索图像生成步骤中生成的搜索图像执行检测处理；

基于在该分类器执行步骤中的检测结果，指定具有所述弱分类器或所述多个弱分类器的每一个能够执行处理的最大层级数的处理区域；以及

从该拍摄图像提取在处理区域指定步骤中指定的处理区域，并生成登记图像。

9.一种图像处理方法，包括以下步骤：

获取由摄像机拍摄的拍摄图像；

在该拍摄图像上指定由用户指派的位置；

从该拍摄图像中提取在指派位置指定步骤中指派的位置附近的区域，并生成搜索图像；

从在搜索图像生成步骤中生成的搜索图像检测预定目标的轮廓；以及

从该拍摄图像中提取在轮廓检测步骤中检测的轮廓所包围的区域，并生成登记图像。

Images