CN101809621B - 图像判定装置 - Google Patents

Abstract

本发明的目的在于提供一种图像判定装置，能够防止用于存储要素特征信息的存储容量的增加。图像判定装置存储针对标本体的特征部中的各要素的要素特征信息和对各要素规定了位置的第1和第2位置信息，选择第1和第2位置信息中的任意一个位置信息，在选择了第1位置信息的情况下，针对该第1位置信息所确定的对象图像内的部分图像，利用以第1轴为基准的特征提取方法，求出图像特征信息，在选择了第2位置信息的情况下，针对该第2位置信息所确定的所述对象图像内的部分图像，利用以使所述第1轴旋转后的第2轴为基准的特征提取方法，求出图像特征信息，确定相当于所述部分图像的位置的要素的要素特征信息，使用所确定的所述要素特征信息和所提取的所述图像特征信息来判定对象图像中的特征部的存在。

Description

图像判定装置

技术领域

本发明涉及从所摄像的图像数据中检测人物和物体等被摄体或被摄体的一部分的技术。

背景技术

作为以往的技术，有从所摄像的图像中检测包含在该图像中的人物、动物和物体等被摄体或被摄体的特征部(例如，脸、上半身等)的技术。作为这种以往技术的一例，有从数码照相机(以下，数字照相机)所摄像的图像中检测人物的脸的技术、即脸的检测技术。所谓脸的检测是通过一定的处理对任意图像进行搜索来判定是否包含脸的处理。在这种数字照相机中，按照所检测的脸来进行AE(Automatic Exposure：自动曝光)/AF(Automatic Focus：自动聚焦)的控制。

专利文件1、2公开了检测脸的图像处理装置和方法。

例如，在专利文件1中公开了如下的方法和图像处理装置：使用多个人物的脸的样本(标本体)来学习构成脸的要素(例如，眼睛、鼻子、嘴、颚等)的特征的图形，并使用由该所学习的多个参数值构成的要素特征信息来识别脸和脸以外(以下，称为非脸)。

专利文件1所示的识别器在标准被摄体中与各要素的配置位置对应地存储针对在标本体中构成脸的各个要素的要素特征信息，所述标准被摄体具有配置了标准配置的各要素的脸。并且，能够获取脸的各要素的多个特征分别对应于与该要素对应的要素特征信息所包含的互不相同的参数值。

图22(a)表示专利文件1的图像处理装置。图像处理装置利用图像切取部33从所输入的对象图像中切取用于判定是否存在脸的图像(以下，判定图像)。如图22(b)，以摄影图像的左上为起点，一边将框35依次向右侧或下侧偏移适当的像素(例如1个像素)，一边向该摄影图像的右下扫描，由此来进行切取。

图像处理装置从所切取的判定图像中提取基于各要素的标准配置位置的部分图像，使用与该部分图像的提取所用的配置位置对应的要素特征信息和所提取的部分图像的特征来进行该判定图像中是否存在脸的判定。

专利文件1：美国专利第7099510号说明书

专利文件2：日本特开2004-62565号公报

在通常情况下，如图24(a)的左图所示，由于摄影者拿着数字照相机进行摄影(普通摄影)，所以作为进行脸检测的输入图像，为如图24(a)的右图那样人物(被摄体)的天顶方向与输入图像的上方向一致的图像。但是，在如图24(b)的左图那样拿着数字照相机进行摄影(纵向摄影)的情况下，作为进行脸检测的输入图像，为如图24(b)的右图那样人物的天顶方向与输入图像的上方向不一致的图像。以下，将被摄体的天顶方向与输入图像的上方向一致的图像称为普通图像，将不一致的图像称为旋转图像。

因此，为了使用专利文件1所公开的技术对普通图像和旋转图像分别进行脸的检测，识别器需要对普通图像和旋转图像分别准备(存储)标本特征信息。

这是因为：由于图25(a)所示的普通摄影时构成脸的要素(右眼、左眼、左颚)的位置和朝向与图25(b)所示的旋转摄影时构成脸的这些要素的位置和朝向不同，所以普通摄影时的要素的特征和旋转摄影时的要素的特征不同。例如，普通摄影时的左眼(这里为矩形区域R_B1)的朝向是横向的，但各个旋转摄影时的左眼的朝向是纵向的，横向的眼睛特征和纵向的眼睛的特征不同。

通常情况下，1个要素对应非常多的参数值。这是因为：由于即使是例如眼睛的特征也具有眼睛的形状、大小、眼睛的颜色、单眼皮、双眼皮、有无眼镜、睁开眼睛的状态和闭上眼睛的状态等各种参数，所以需要存储针对这些图形的组合的各个组合的参数值。因此，如上所述，为了使用专利文件1所公开的技术对普通图像和旋转图像分别进行脸存在的检测，需要对普通图像和旋转图像分别存储要素特征信息，因此，产生存储区域中的存储容量增大的问题。

发明内容

因此，本发明是鉴于上述课题而进行的，其目的在于提供一种图像判定装置、图像判定方法和集成电路，在从普通图像和旋转图像中判定被摄体的特征部存在的情况下，能够防止用于存储判定所用的要素特征信息的存储容量的增加。

为了实现上述目的，本发明的一个实施方式提供一种图像判定装置，其利用被摄体的一部分具有包含多个要素的特征部，来判定对象图像是否存在被摄体的特征部，其特征在于，所述图像判定装置具备：第1存储单元，对预先准备的正立状态的标本体的与被摄体对应的特征部，按照每个要素来存储该要素的特征所涉及的要素特征信息；第2存储单元，存储第1位置信息和第2位置信息，所述第1位置信息在特定坐标系中规定了标准被摄体为正立状态时的各要素的位置，述第2位置信息在所述特定坐标系中规定了标准被摄体从正立状态旋转的情况下各要素的位置，其中，假定标准被摄体具有标准设置的各要素的特征部；获取单元，获取对象图像；选择单元，选择第1和第2位置信息中的任意一个位置信息；提取处理单元，将所述特定坐标系应用于对象图像，并且在选择了第1位置信息的情况下，提取该第1位置信息所确定的所述对象图像内的部分图像，针对所提取的所述部分图像，应用以所述特定坐标系上的第1轴为基准的特征提取方法，求出图像特征信息，在选择了第2位置信息的情况下，提取该第2位置信息所确定的所述对象图像内的部分图像，针对所提取的所述部分图像，应用以对应所述旋转使所述第1轴旋转后的第2轴为基准的特征提取方法，求出图像特征信息；以及判定单元，确定对应于所提取的部分图像在所述特定坐标系上的位置的、第1存储单元内的要素的要素特征信息，通过使用所确定的所述要素特征信息和所提取的所述图像特征信息，对所述要素进行所述部分图像的评价，来判定包含所述要素的所述对象图像内的区域中的所述特征部的存在。

根据上述结构，图像判定装置在选择了第1位置信息的情况下，利用以第1轴为基准的特征提取方法来求出图像特征信息，在选择了第2位置信息的情况下，利用以第2轴为基准的特征提取方法来求出图像特征信息。这里，图像判定装置存储正立状态的要素特征信息，由于在选择了第1位置信息的情况下求出的图像特征信息是针对使用了所假定的标准被摄体是正立状态的情况下的位置信息的部分图像的，所以图像判定装置能够将所存储的要素特征信息用于正立状态的部分图像的图像特征信息的评价。并且，通常情况下，当旋转所假定的标准被摄体时，该被摄体的特征部的各要素的朝向根据该旋转而变更。这是因为：要提取的部分图像和成为求出图像特征信息时的基准的轴也一样，第2位置信息所确定的部分图像的朝向是根据旋转而变更了第1位置信息所确定的部分图像的朝向所得的，第2轴是根据该旋转而使第1轴旋转所得的。因此，第1位置信息所确定的部分图像与第1轴的相对关系和第2位置信息所确定的部分图像与第2轴的相对关系相同。既然相对关系相同，那么选择了第1位置信息的情况下求出的图像特征信息和选择了第2位置信息的情况下求出的图像特征信息表现特征的方式相同。因此，对于选择了第2位置信息的情况下求出的图像特征信息，也能使用第1存储单元所存储的要素特征信息。因此，图像判定装置不需要分别单独存储与第1位置信息所表示的要素对应的要素特征信息和与第2位置信息所表示的所述要素对应的要素特征信息。因此，图像判定装置即使在从旋转图像中判定是否存在被摄体的特征部的情况下，也能防止用于存储判定所用的要素特征信息的存储容量的增加。

这里，所述获取单元还可以将包围所述假定的标准被摄体的特征部的框应用于所述对象图像，从所述对象图像中获取该框所形成的判定图像，所述提取处理单元从所述判定图像中获取由所选择的位置信息确定的部分图像，并对所提取的所述部分图像的图像特征信息进行提取，所述判定单元通过使用所确定的所述要素特征信息和所提取的所述图像特征信息，对所述要素进行所述部分图像的评价，来判定所述判定图像中的所述特征部的存在。

根据该结构，图像判定装置能够判定在对象图像内的判定图像中是否存在特征部。

这里，所述图像判定装置还可以具备指示单元，该指示单元在所述判定单元判定为所述判定图像不存在特征部的情况下，指示所述选择单元选择未选择的其他位置信息，所述选择单元还在接收到所述指示时，选择未选择的其他位置信息，所述提取处理单元还提取由所选择的其他位置信息确定的其他部分图像，应用以与所述其他位置信息对应的轴为基准的特征提取方法，求出针对该其他部分图像的图像特征信息，所述判定单元还确定相当于所提取的其他部分图像在所述特定坐标系上的位置的、第1存储单元内的所述要素的要素特征信息，通过使用所确定的所述要素特征信息和所提取的针对所述其他部分图像的图像特征信息，对所述要素进行所述其他部分图像的评价，来判定所述对象图像中的所述特征部的存在。

根据该结构，图像判定装置在判定为判定图像内不存在被摄体的特征部的情况下，切换未选择的其他位置信息。由此，与以往那样通过模板自身的旋转或对象图像的旋转来进行是否存在特定部位的判定的情况相比，处理时间变短。另外，通过模板自身的旋转或对象图像的旋转来进行是否存在特定部位的判定的技术在专利文件2中公开。

这里，所述提取处理单元可以具备：图像读取部，具有将所述判定图像中的1行的行图像保持预定行数的区域，从所述判定图像中依次读取1行的行图像，并依次将所读取的行图像保存在所述区域中，在行图像的保存数超过所述预定行数的情况下，从所述区域中丢弃最先读取的行图像；以及提取部，每当所述图像读取部读取行图像来保存时，根据所选择的位置信息从保持在所述图像读取部中的行图像中，提取表示设置在所述保持的行图像内的所有部分图像，并求出所提取的部分图像各自的图像特征信息，所述判定单元具备：确定部，其每当所述提取部提取部分图像时，从所述第1存储单元中分别对所述部分图像确定要素特征信息；以及判定部，其使用所述判定图像内的所有部分图像的各个图像特征信息和所确定的各个要素特征信息，来判定所述判定图像中的所述特征部的存在。

根据该结构，图像判定装置从在行图像的读入时刻保持的行图像中提取存在于该保持的行图像内的所有的部分图像，并确定针对所提取的各个部分图像的要素特征信息。由此，图像判定装置即使在旋转了检测对象的被摄体的情况下，也能防止用于判定是否存在被摄体的特征部的处理能力的降低。

以下，论述其理由。

在以往的技术中，如图22(a)所示，决定针对部分图像的处理顺序。例如，是眼睛、鼻子、嘴的顺序。并且，通常情况下，框35所形成的判定图像保存在SRAM(Static Random Access Memory：静态随机存取存储器)中，要想读取判定图像，需要按照每1行从判定图像的上部依次读取。即，一边逐行读取判定图像，一边进行部分图像(在以往技术中为矩形图像)的切取，并对所切取的部分图像进行使用了特征量评价部评价的部分图像的参数的特征量的评价。例如，如图25(a)所示，在处理顺序是眼睛(矩形图像R_A1、R_B1)、颚(矩形图像R_A2)的顺序的情况下，在读入第a1行的行图像的时刻，选择矩形图像(R_A1、R_B1)，并列进行针对两者的眼睛的评价，接着，选择矩形图像(R_A2)，进行针对所选择的矩形图像(R_A2)的颚的评价。然而，在图25(b)所示的图像的情况下，在进行脸检测时，根据评价顺序，首先进行眼睛的评价。在该情况下，在读取图25(b)所示的第b1行中的1行图像的时刻，对1个矩形图像R_B1进行眼睛的评价，然后，在读取第b2行中的1行图像的时刻，对1个矩形图像R_A1进行眼睛的评价。然后，根据评价顺序对矩形图像R_A2进行颚的评价。即，在以往技术中，在对旋转图像读入第b1行行图像的时刻，只对矩形图像R_B1进行评价，即，由于不能并列进行针对矩形图像R_B1的评价和针对矩形图像R_A2的评价，所以针对旋转图像的特征部的存在的判定的处理能力比针对普通图像的特征部是否存在的判定的处理能力降低。然而，本发明的图像判定装置不管要选择的位置信息如何，都针对在行图像的读入时刻提取的各个部分图像，获取针对该部分图像的要素特征信息。即，具有上述结构的图像判定装置能够并列进行使用了图25所示的针对矩形图像R_B1的要素特征信息和针对矩形图像R_A2的要素特征信息的处理。因此，图像判定装置在旋转了检测对象的被摄体的情况下，不会像以往那样使被摄体的特征部存在的判定的处理能力降低。

这里，所述第1位置信息可以由第1配置位置表来表示，所述第1配置位置表在正立状态的所假定的标准被摄体的特征部的各要素的所述特定坐标系中表示配置位置，所述第2位置信息由第2配置位置表来表示，所述第2配置位置表在该被摄体从正立状态旋转的情况下的该被摄体的特征部的各要素的所述特定坐标系中表示配置位置，所述第2存储单元还存储第1存在位置表和第2存储位置表，所述第1存在位置表将正立状态的各要素的各个配置位置对应于与该配置位置对应的要素的要素特征信息在所述第1存储单元中的存在位置，所述第2存在位置表将旋转后的各要素的各个配置位置对应于与该配置位置对应的要素的要素特征信息的所述存在位置，所述选择单元选择所述第1配置位置表与所述第1存在位置表的组合、和所述第2配置位置表与所述第2存在位置表的组合中的1个组合，所述提取部使用所述选择单元选择的组合中所包含的配置位置表来提取所述部分图像，所述确定部针对所述获取的各个部分图像，使用用于该部分图像的提取的位置信息和所述选择单元选择的存在位置表，确定针对该部分图像的所述要素特征信息。

根据该结构，图像判定装置在第2存储单元中使用第1配置位置表和第1存在位置表、第2配置位置表和第2存在位置表能够进行所述第1和第2位置信息的管理、所述第1位置信息和要素特征信息的关联以及所述第2位置信息和要素特征信息的关联。

这里，所述第1配置位置表和第2配置位置表分别还按照各要素的每个配置位置，对应地保存表示应当获取的部分图像的形状的形状信息，所述提取部按照该保持的行图像内表示配置的配置信息，从所述保持的行图像中提取由对应于该配置位置的形状信息表示的形状构成的部分图像。

根据该结构，图像判定装置能够确定应当提取的部分图像的形状。

这里，所述要素特征信息可以是由对对应的要素的近似进行了加权的评价值构成的评价值组，构成部分图像的多个区域的明暗的组合所表示的特征量分别对应不同的标本值，包含在所述存在位置表中的存在位置表示对应的标本值组在所述第1存储单元中的头位置，提取部针对所获取的部分图像，应用以与所选择的位置信息对应的轴为基准的特征提取方法来求出该部分图像的特征量，作为所述要素特征信息，所述确定部每当所述提取部提取部分图像时，针对所提取的部分图像，根据所选择的存在位置表和用于提取该部分图像的配置位置来确定评价值组的头位置，所述判定部从所确定的所述头位置表示的所述评价值组中获取与所获取的该部分图像的特征量对应的评价值，根据针对包含在所述判定图像中的所有的部分图像的各个所获取的评价值的累计，计算针对所述特征部的近似权重的值，在所计算的值大于等于预定的阈值的情况下，判定在所述判定图像中存在所述特征部。

根据该结构，图像判定装置使用选择单元所选择的存在位置表来确定针对所提取的各个部分图像的评价值组的头位置，从针对所提取的各个部分图像所确定的头位置表示的评价值组中能够提取与该部分图像的特征量对应的评价值。另外，图像判定装置能够使用针对从判定图像中提取的所有部分图像的各个所获取的评价值，计算针对特征部的近似权重的值，并根据所计算的值来进行判定图像中是否存在所述特征部的判定。

这里，所述第2存储单元还可以分别对应所述第1配置位置表和所述第1存在位置表来存储表示可否利用的第1配置位置表利用标志和第1存在位置表利用标志，并且分别对应所述第2配置位置表和所述第2存在位置表来存储表示可否利用的第2配置位置表利用标志和第2存在位置表利用标志，所述选择单元还设定表示只允许利用分别与应当选择的组合中的配置位置表和存在位置表对应的配置位置表利用标志和存在位置表利用标志的值，所述提取部使用配置位置表来进行部分图像的提取，所述配置位置表设定了表示允许利用的值，所述确定部使用存在位置表来进行所述要素特征信息的确定，所述存在位置表设定了表示允许利用的值。

或者，所述第2存储单元可以具有可参照区域和不可参照区域，所述选择单元在所述可参照区域中分别保持应当选择的组合中的配置位置表和存在位置表，在不可参照区域中保持其他组合中的配置位置表和存在位置表，所述提取部使用在所述参照区域中保持的配置位置表来进行部分图像的提取，所述确定部使用在所述参照区域中保持的存在位置表来进行所述要素特征信息的确定。

或者，所述第1配置位置表、所述第2配置位置表、所述第1存在位置表和所述第2存在位置表分别对应于表示可否访问的访问权，所述选择单元只对应当选择的组合中的配置位置表和存在位置表的各个进行访问权的设定，使得允许访问，对其他组合中的配置位置表和存在位置表进行访问权的设定，使得不允许访问，所述提取部使用存在位置表来进行部分图像的提取，所述存在位置表设定了允许对访问权进行访问，所述确定部使用存在位置表来进行所述要素特征信息的确定，所述存在位置表设定了允许对访问权进行访问。

根据这些结构，图像判定装置通过使用针对各表的利用标志、可参照区域和不可参照区域、或者针对各表的访问权，能够简单地进行配置位置表和存在位置表的组合的选择切换。

这里，所述选择单元可以从外部接收表示选择所述第1和所述第2位置信息中的1个位置信息的指示，并选择由所接收的指示表示的位置信息。

根据该结构，图像判定装置通过从外部接收指示，能够简单地决定应当选择第1位置信息和第2位置信息中的哪一个。

这里，所述旋转可以是90度、180度、270度和上下反转中的任意一个。

根据该结构，由于图像判定装置存储与所述旋转为90度、180度、270度和上下反转中的任意一个对应的第2位置信息，所以不需要像以往那样将模板自身或图像自身进行90度、180度、270度和上下反转中的任意一个的旋转。由此，与以往那样通过模板自身或图像自身的旋转来进行被摄体的特征部存在的判定的情况相比，处理时间变短。

这里，所述被摄体可以是人物，所述特征部是脸。

根据该结构，图像判定装置无论是否旋转，都能够防止用于存储判定在对象图像中是否存在人物的脸时使用的要素特征信息的存储区域的增加。

这里，所述图像判定装置可以配备在用于对被摄体进行摄影的摄像装置中。

根据该结构，由于图像判定装置配备在摄像装置中，所以摄像装置在被摄体的摄影时能够判定是否存在被摄体的特征部。

附图说明

图1是表示图像处理装置1的结构的框图。

图2是示意性地示出图像存储器4所保存的图像的图。

图3是表示选择电路11a、11b的结构的图。

图4(a)是表示基准角度(0度)中的要选择的矩形图像的区域的图，图4(b)、图4(c)和图4(d)是分别表示每个旋转角度(90度、上下反转、270度)中的要选择的矩形图像的区域的图。

图5(a)是表示基准角度(0度)中的要选择的矩形图像的区域的坐标的图，图5(b)、图5(c)和图5(d)是分别表示每个旋转角度(90度、上下反转、270度)中的要选择的矩形图像的区域的坐标的图，图5(e)是表示各角度中的要选择的矩形图像的区域的开始位置的坐标的关系的图。

图6是表示旋转角度是0度的情况下的选择表T11a的数据结构的一例的图。

图7是表示旋转角度是90度的情况下的选择表T11b的数据结构的一例的图。

图8是表示旋转角度是上下反转的情况下的选择表T11c的数据结构的一例的图。

图9是表示旋转角度是270度的情况下的选择表T11d的数据结构的一例的图。

图10是将矩形图像分割成2个的情况下，为了获取针对各角度的特征量而示出所分割的各领域中的值(像素的总和)的排列的图。

图11是将矩形图像分割成9个的情况下，为了获取针对各角度的特征量而示出所分割的各领域中的值(像素的总和)的排列的图。

图12是表示针对矩形信息A的ROM 9中的存储器映射的图。

图13是表示针对矩形信息B的ROM 9中的存储器映射的图。

图14(a)是表示旋转角度是0度的情况下的地址变换表T31a的数据结构的一例的图，图14(b)是表示旋转角度是90度的情况下的地址变换表T31b的数据结构的一例的图。

图15(a)是表示旋转角度是上下反转的情况下的地址变换表T31c的数据结构的一例的图，图15(b)是表示旋转角度是270度的情况下的地址变换表T31d的数据结构的一例的图。

图16(a)～图16(d)分别是表示角度设定部10所设定的角度(0度、90度、上下反转、270度)与要检测的脸的角度范围的关系的图。

图17是表示切换处理的动作的流程图。

图18是表示脸检测处理的动作的流程图。

图19是表示图像处理装置1a的结构的框图。

图20是表示半导体集成电路70的结构的框图。

图21是表示摄像装置100的结构的框图。

图22(a)是表示以往的图像处理装置的参考图，图22(b)是表示脸检测所涉及的检索窗的扫描顺序的参考图。

图23(a)～图23(e)分别是表示要选择的矩形区域的一例的图。

图24(a)是表示数字照相机中的普通摄影时的人物的天顶方向和输入图像的天顶方向的关系的图，图24(b)是表示纵向摄影时的人物的天顶方向和输入图像的天顶方向的关系的图。

图25(a)是表示普通摄影时要选择的矩形图像的位置的图，图25(b)是表示纵向摄影时要选择的矩形图像的位置的图。

符号说明

1：图像处理装置；2：图像输入部；3：图像获取部；4：图像存储器；5：脸检测部；6：矩形图像切取部；7：识别部；8：ROM地址计算部；9：ROM；10：角度设定部；11：切取处理部；11a、11b：选择电路；12：选择表存储部；13：特征量计算部；14：评价值计算部；15：判定部；16：地址变换表存储部；17：地址生成部；18：计数器；19：处理控制部。

具体实施方式

1.第1实施方式

以下，参照附图对本发明的第1实施方式进行说明。

1.1.图像处理装置1的结构

图1是第1实施方式中的图像处理装置1的框图。

如图1所示，图像处理装置1由图像输入部2、脸检测部5、角度设定部10构成，是从所输入的图像中判定是否存在人物的脸的图像判定装置。

具体来讲，图像处理装置1是由微处理器、ROM、RAM、硬盘单元等构成的计算机系统。所述RAM或硬盘单元存储有计算机程序。所述微处理器按照所述计算机程序来进行动作，由此图像处理装置1实现其功能。这里，计算机程序是为了实现预定的功能而通过组合多个用于表示针对计算机的指令的命令码来构成的。

(1)图像输入部2

如图1所示，图像输入部2由图像获取部3和图像存储器4构成。

图像获取部3由用于获取所摄影的图像数据(输入图像的数据)的接口电路等构成。

图像存储器4保持所获取的图像数据。具体来讲，图像存储器4由SRAM构成，采取1个字中保持有1行图像数据(这里，24像素的数据)的24字结构。即，图像获取部3所获取的图像数据暂时在图像存储器4中保持为图2所示的24像素×24像素的脸检测部5的处理单位。以后，将该24像素×24像素等的脸检测部5的处理单位称为窗口。图像存储器4保持有1个窗口的像素数据。

图像获取部3根据1个窗口的尺寸，以所摄影的输入图像的左上为起点，一边依次向右侧或下侧偏移适当的像素(例如1个像素)，一边向该输入图像的右下扫描，来获取1个窗口的像素数据，并保持在图像存储器4中。

图像存储器4的像素数据根据来自脸检测部5的请求，按照每1行为单位(这里，为24个像素的像素数据)输出给脸检测部5。

这里，图像存储器4只要具备1个窗口的容量即可。然而，不限于此。图像存储器4为了通过同时进行图像获取部3的像素数据的获取和向脸检测部5的像素数据的输出而隐蔽像素数据的获取的延迟，可以具备超过1个窗口的容量。

另外，作为24像素×24像素的本窗口的尺寸和SRAM的结构是一例，并不是用于限定的。窗口尺寸可以是其他的尺寸，图像存储器4可以是SRAM以外的存储单元。

(2)脸检测部5

如图1所示，脸检测部5由计数器18、矩形图像切取部6、识别部7、ROM地址计算部8、ROM 9构成。

(2-1)计数器18

计数器18逐一递增计数0～23的值，根据计数器值来指定图像存储器4的读出行。

计数器18的计数器值作为用于全部读取图像存储器4内的1个窗口的像素数据的地址，被输出给图像存储器4。此时，在图像存储器4中，位于与计数器18所示的值相同的行号中的24个像素的图像数据被输出给脸检测部5。例如，在计数器18的值是15的情况下，位于第15行号中的24个像素的像素数据被输出给脸检测部5。

并且，计数器18的计数器值作为窗口中的读入对象的行号，也被输出给矩形图像切取部6。

(2-2)矩形图像切取部6

如图1所示，矩形图像切取部6由切取处理部11和选择表存储部12构成，从图像输入部2所输出的窗口的图像数据中切取矩形图像。

选择表存储部12是保持矩形图像的切取位置的信息的存储区域。

切取处理部11按照1个选择表来选择(切取)矩形图像的图像数据(以下，也称为矩形图像数据)。

(2-2-1)切取处理部11

如图1所示，切取处理部11具有选择电路11a、11b。

选择电路11a、11b以1行为单位从图像存储器4中读取相对于与计数器18的计数器值相同的行号的窗口的像素数据。这里，按照24循环将窗口的全部数据输入给矩形图像切取部6。

在选择电路11a、11b中，根据选择表存储部12所保持的内容来选择预先决定的位置的矩形图像。

图3示出选择电路11a(11b)的电路图。选择电路11a包括保持1个像素的数据的寄存器21、由多个寄存器21(这里，24个寄存器)构成的偏移寄存器组20和列选择电路22。

在后述的识别部7中由于以矩形图像为单位来进行处理，所以在选择电路11a中需要备齐矩形图像的像素数据。用于备齐矩形图像的像素数据的缓冲器由偏移寄存器组20构成。在图3中，通过具备4级的偏移寄存器组20，能够对应高度为4个像素的矩形图像。列选择电路22按照保持在选择表存储部12中的内容来选择保持在偏移寄存器组20中的矩形图像的像素数据，并输出给识别部7。

另外，选择电路11b由于是与选择电路11a相同的结构，所以省略这里的说明。

选择电路11a和选择电路11b能够同时读取计数器18的计数器值所表示的号码的像素数据，当在同一行上存在2个矩形图像的情况下，分别使用选择电路11a、11b能够同时选择2个矩形图像数据。

(2-2-2)选择表存储部12

选择表存储部12存储表示选择电路11a、11b所切取的矩形图像数据的位置的信息。这里，假设图4(a)～图4(b)所示的由4像素×4像素构成的矩形图像B1、B2、B3是选择(切取)对象。以下，使用表示图4(a)～图4(d)所示的模板的框的模板框和矩形图像来进行说明。

选择表存储部12以图4(a)所示的模板框B10为基准，存储要选择的矩形图像B1、B2、B3的开始位置B1a、B2a、B3a的信息。模板框B10的尺寸是纵24像素×横24像素，即，与图像存储器4所保持的窗口相同。另外，在模板框B10内存在人脸的情况下，矩形图像B1、B2、B3分别配置在右眼、左眼、左颚的标准位置上。

另外，选择表存储部12存储将图4(a)所示的模板框B10向左旋转90度、270度的情况下的矩形图像B1、B2、B3的开始位置。这里，存储图4(b)、图4(d)所示的开始位置B1b、B2b、B3b和开始位置B1b、B2b、B3b。并且，选择表存储部12存储上下反转图4(a)所示的模板框B10的情况下的矩形图像B1、B2、B3的开始位置。这里，存储图4(c)所示的开始位置B1c、B2c、B3c。

这里，图5示出矩形图像与旋转角度的关系。这里，在图5(a)中，将基准角度(0度)的模板框B11内的由h像素×w像素构成的矩形图像B4a的开始位置的X坐标和Y坐标设为(x、y)。该情况下，当模板B11向左旋转90度时，矩形图像B4a如图5(b)所示，移动到矩形图像B4b所示的位置，其开始位置的X坐标为y，Y坐标为24-x-w。模板框B11上下反转、向左旋转270度的情况下的矩形图像B4a如图5(c)、图5(d)所示，移动到矩形图像B4c、B4d所示的位置。图5(e)示出基准时的坐标位置与旋转和上下反转后的坐标位置之间的关系。

以下，示出在选择表存储部12中存储选择对象的矩形图像的信息的具体例。

选择表存储部12存储图6～图9所示的4种选择表T11a、T11b、T11c、T11d。

选择表T11a、T11b、T11c、T11d由包含1个以上的组的区域构成，该组由窗口的行号和矩形信息A、矩形信息B组成。

窗口的行号是表示窗口的行号的值。

矩形信息A和矩形信息B由表示矩形图像的有无的信息和矩形图像的X坐标构成。

表示矩形图像的有无的信息具体来讲是设定了值0和1中的任意一个矩形图像标志。在矩形图像标志值是0的情况下，表示不存在将对应的行号作为开始位置的Y坐标的矩形图像，在矩形图像标志值是1的情况下，表示存在将对应的行号作为开始位置的Y坐标的矩形图像。

矩形图像的X坐标表示在表示有无矩形图像的信息、即矩形图像标志的值为1的情况下存在的矩形图像的开始位置的X坐标。

这里，根据窗口的行号和矩形图像的X坐标来确定所存在的矩形图像的开始位置的X坐标和Y坐标。

图6所示的选择表T11a表示图4(a)、即基准角度(0度)的矩形图像所涉及的信息，窗口的行号“y_b”表示存在2个矩形图像，窗口的行号“y_c”表示存在1个矩形图像。在该情况下，根据窗口的行号“y_b”和矩形图像的X坐标“x_b”来确定图4(a)所示的矩形图像B1，根据窗口的行号“y_b”和矩形图像的X坐标“x_b’”来确定图4(a)所示的矩形图像B2。并且，根据窗口的行号“y_c”和矩形图像的X坐标“x_b’”来确定图4(a)所示的矩形图像B3。

图7～图9所示的选择表T11b、T11c、T11d分别表示图4(b)～图4(d)所示的矩形图像所涉及的信息。

由选择表T11b中的窗口的行号“24-x_b’-4”所确定的2个矩形图像表示图4(b)中的矩形图像B2、B3。这里，矩形信息A表示矩形图像B3，矩形信息B表示矩形图像B2。并且，行号“24-x_b-4”所确定的1个矩形图像表示图4(b)中的矩形图像B1。

由选择表T11c中的窗口的行号“24-y_c-4”所确定的1个矩形图像表示图4(c)中的矩形图像B3，行号“24-y_b-4”所确定的2个矩形图像表示图4(c)中的矩形图像B1、B2。这里，矩形信息A表示矩形图像B1，矩形信息B表示矩形图像B2。

由选择表T11d中的窗口的行号“x_b”所确定的1个矩形图像表示图4(d)中的矩形图像B1，行号“x_b”所确定的2个矩形图像表示图4(d)中的矩形图像B2、B3。这里，矩形信息A表示矩形图像B3，矩形信息B表示矩形图像B2。

各选择表T11a、T11b、T11c、T11d分别与表示是否能够进行选择电路11a、11b的利用的选择表利用标志相对应。在选择表利用标志的值是0的情况下，表示不能利用，在值是1的情况下，表示能够利用。这里，对4个选择表T11a、T11b、T11c、T11d中的1个选择表的选择表利用标志设定值“1”，对与剩下的选择表对应的选择表利用标志设定值“0”。即，选择电路11a、11b在选择矩形图像数据时，始终参照1个选择表。

另外，在本实施方式中，选择电路11a进行窗口的行号和矩形信息A所表示的矩形图像数据的选择，选择电路11b进行窗口的行号和矩形信息B所表示的矩形图像数据的选择。

(2-2-3)矩形图像数据的切取的具体例

这里，使用图6的选择表T11a对矩形图像数据的切取的具体例进行说明。

选择表T11a将成为输入给选择电路11a、11b的窗口的像素数据的行号的计数器18的计数器值作为输入，并输出窗口内的各行中的矩形图像的有无信息和列方向(X方向)的位置信息。根据这些信息，选择电路11a内的列选择电路22选择矩形图像数据。作为矩形图像信息T12a，图6示出切取图4(a)的矩形图像B1的情况下的选择表T11a内的信息。由于图4(a)的矩形图像B1的开始位置是窗口内的坐标(x，y)＝(x_b，y_b)，所以为图6的矩形图像信息T12a所示的信息。该信息被输入到选择电路11a时，第y_b行表示矩形图像的有无信息为“1”(有矩形图像)，并且，由于x_b表示矩形图像的X坐标，所以选择电路11a将第y_b行的数据偏移到偏移寄存器组的第n行的位置时，列选择电路22选择列x_b的矩形图像的像素数据Rect(x_b)(框T1所示的16像素的像素数据)，并输出给识别部7。

另外，此时，在选择电路11b中，选择针对图4(a)所示的矩形图像B2的矩形图像数据，并输出给识别部7。

(2-3)识别部7

如图1所示，识别部7由特征量计算部13、评价值计算部14和判定部15构成，根据矩形图像切取部6所输出的多个矩形图像数据来计算各自的矩形图像的特征量和评价值，根据评价值进行窗口内是否包含脸的识别。

(2-3-1)特征量计算部13

特征量计算部13根据选择电路11a、11b所选择的1个以上的矩形图像的各个来计算特征量。

特征量计算部13将所计算出的特征量输出给ROM地址计算部8。

作为特征量的计算方法的一例，有专利文件1所示的计算方法。

例如，图23(b)的矩形图像的特征量的计算方法使用矩形图像内的上面的横4像素×纵2像素的黑色的矩形区域内的像素的总和与下面的横4像素×纵2像素的白色的矩形区域内的像素的总和的差。此时的计算顺序按照上、下的顺序进行。并且，通过将像素的总和大(明)的矩形区域的特征设为“1”，将像素的总和小(暗)的矩形区域的特征设为“0”，并且将矩形图像内的黑色的矩形区域和白色的矩形区域的所述特征排列为2进制情况，来作为矩形图像的特征量。在图23(b)中，当黑色的矩形区域变暗、白色的矩形区域变明时，从上面的区域开始依次排列特征，成为“01”。此时获得的2进制数的值“01”为特征量。并且，在图23(c)的情况下，同样从左面的区域开始依次排列特征，成为“101”。

另外，在本实施方式中，以基准角度0度时选择的矩形图像为基准，如图23(b)所示，使用上面的横4像素×纵2像素的矩形区域内的像素的总和与下面的横4像素×纵2像素的矩形区域内的像素的总和的差。图10(a)～图10(d)表示针对本实施方式中的各角度(0度、90度、上下反转、270度)的特征量的值的排列。图10(a)表示基准角度0度时的特征量的值的排列。在该情况下，特征量计算部13使用水平方向的轴B103a将矩形图像上下分割，并按照上、下的顺序来排列所分割的各个区域(第1区域B101a和第2区域B102a)中的像素的总和“A”、“B”，设为特征量“AB”。

图10(b)示出向左旋转了90度的情况下的值的排列。该情况下，将相对于0度情况下为上下的位置关系的第1区域101a和第2区域102a的位置关系变更为左右的位置关系。因此，特征量计算部13使用将轴B103a向左旋转了90度的垂直方向的轴B103b来分割90度旋转后的矩形图像，并按照左、右的顺序来排列所分割的各个区域(第1区域B101b和第2区域B102b)中的像素的总和“A”、“B”，设为特征量“AB”。

图10(c)表示上下反转的情况下的值的排列。在该情况下，分割方法与0度的情况相同，但使用轴B103c来分割矩形图像。此时，分割后的第1区域101c和第2区域102c的位置关系与0度的情况相反。因此，特征量计算部13按照上、下的顺序来排列所分割的各个区域(第1区域B101c和第2区域B102c)中的像素的总和“A”、“B”，设为特征量“AB”。

图10(d)表示向左旋转了270度的情况下的值的合并。在该情况下，分割方法与旋转了90度的情况相同，但使用轴B103d来分割矩形图像。此时，分割后的第1区域101d和第2区域102d的位置关系与90度的情况相反。因此，特征量计算部13按照右、左的顺序来排列所分割的各个区域(第1区域B101d和第2区域B102d)中的像素的总和“A”、“B”，设为特征量“AB”。

如上所述，可知：根据用于矩形图像的分割的1个轴的方向，能够确定特征量的值的合并。

根据该计算方法，针对矩形图像的特征量与旋转角度(0度、90度、上下反转、270度)无关，为相同的值。

另外，矩形图像的特征量的计算方法是一例，并不限定于此。

并且，在本实施方式中，将矩形图像分割为2个区域来计算该矩形图像的特征量，但并不限定于此。分割的方法也可以是其他的方法。

这里，作为其他的分割方法，图11(a)～图11(d)示出了将由9像素×9像素构成的矩形图像分割成9个区域的情况下的特征量的值的并列。

图11(a)表示0度的情况。在该情况下，特征量以矩形图像的左上的区域为起点，按照从左到右和从上到下的顺序来排列。即，特征量为“ABCDEFGHI”。

图11(b)表示90度的情况。在该情况下，特征量以矩形图像的左下的区域为起点，按照从下到上和从左到右的顺序来排列。即，特征量为与0度的情况同样的“ABCDEFGHI”。

图11(c)表示上下反转的情况。在该情况下，特征量以矩形图像的左下的区域为起点，按照从左到右和从下到上的顺序来排列。即，特征量为与0度的情况同样的“ABCDEFGHI”。

图11(d)表示270度的情况。在该情况下，特征量以矩形图像的右上的区域为起点，按照从上到下和从右到左的顺序来排列。即，特征量为与0度的情况同样的“ABCDEFGHI”。

因此，矩形图像的特征量与角度无关，为相同的值。

在将矩形图像分割为9个区域的情况下，用于分割的轴存在多个，但是通过使用其中的1个轴，能够确定特征量的值的排列。例如，在0度的情况下，如果使用水平方向向右的轴(例如，轴B104a)，则能够确定针对该角度的矩形图像中的特征量的值的排列。如果根据旋转角度来旋转该轴，则使用旋转后的轴(轴B104b、B104c、B104d)能够确定针对该旋转角度的矩形图像中的特征量的值的合并。

(2-3-2)评价值计算部14

评价值计算部14根据特征量和后述的学习参数来计算针对窗口的评价值。这里，所谓学习参数是为了用于计算针对窗口的评价值而按照每个特征量所对应的、并且事先通过从多个样本图像的学习而获得的针对特征量的加权值。

评价值计算部14从后述的ROM地址计算部8接收与选择电路所选择的矩形图像对应的学习参数。

评价值计算部14在接收到与从1个窗口选择的所有矩形图像分别对应的学习参数时，计算它们的累计值，并将计算结果作为评价值。

评价值计算部14将所计算出的评价值输出给判定部15。

(2-3-3)判定部15

判定部15根据1个窗口的评价值来进行窗口内是否包含脸的判定。

作为是否包含脸的判定方法，具体来讲，判定部15进行所述评价值和预先保持在判定部15内的阈值的大小比较。

判定部15在所述评价值是阈值以上的情况下，判定为是脸、即窗口内包含脸，在评价值小于阈值的情况下，判定为非脸、即窗口内不包含脸。判定结果从识别部7输出到外部。

另外，评价值的计算方法和脸、非脸的判定方法是一例，但并不被限定。

(2-4)ROM 9

ROM 9是用于保持在评价值计算部14中计算评价值时使用的学习参数的学习参数保持单元。

图12和图13示出ROM 9所保存的学习参数的存储器映射T20、T21的例子。

存储器映射T20针对选择表内的图矩形信息A栏所示的1个以上的矩形图像的各个图像，按照每个能够获取该矩形图像的特征量来保存学习参数。

存储器映射T21针对选择表内的图矩形信息B栏所示的1个以上的矩形图像的各个图像，按照每个能够获取该矩形图像的特征量来保存学习参数。

例如，图12中的偏移地址“offset An”及之后的4个学习参数是针对能够获取图4所示的矩形图像B1的特征量的学习参数，图12中的偏移地址“offset Am”及之后的4个学习参数是针对能够获取图4所示的矩形图像B3的特征量的学习参数。并且，图13中的偏移地址“offset Bn”及之后的4个学习参数是针对能够获取图4所示的矩形图像B2的特征量的学习参数。

另外，后面对矩形图像对应的学习参数的确定方法进行叙述。

(2-5)ROM地址计算部8

如图1所示，ROM地址计算部8由地址变换表存储部16和地址生成部17构成，是根据识别部7所输出的特征量来计算ROM 9的参照地址的学习参数参照目的地计算单元。

(2-5-1)地址变换表存储部16

地址变换表存储部16保持由ROM 9的参照地址变换的变换信息构成的地址变换表。

地址变换表存储部16针对图4(a)至图4(d)所示的各个模板框，保存表示根据该模板框所选择的各矩形图像应当参照的学习参数在ROM9 上的保存位置的偏移地址的地址变换表T31a、T31b、T31c、T31d。图14(a)、图4(b)和图15(a)、图15(b)示出地址变换表T31a、T31b、T31c、T31d的一例。地址变换表T31a表示图4(a)所示的各矩形图像应当参照的ROM 9上的偏移地址，地址变换表T31b表示图4(b)所示的各矩形图像应当参照的ROM 9上的偏移地址。并且，地址变换表T31c表示图4(c)所示的各矩形图像应当参照的ROM 9上的偏移地址，地址变换表T31d表示图4(d)所示的各矩形图像应当参照的ROM 9上的偏移地址。即，地址变换表T31a、T31b、T31c、T31d分别对应于选择表T11a、T11b、T11c、T11d。

地址变换表T31a～T31d具有包含1个以上的组的存储区域，该组由窗口的行号、针对矩形区域A的输出(偏移)和针对矩形区域B的输出(偏移)构成。

窗口的行号是表示窗口的行号的值。

针对矩形区域A的输出(偏移)表示将窗口的行号所示的值设为开始位置的Y坐标时对应的选择表的矩形信息A所确定的矩形图像应当参照的偏移。

针对矩形区域B的输出(偏移)表示将窗口的行号所示的值设为开始位置的Y坐标时对应的选择表的矩形信息B所确定的矩形图像应当参照的偏移。

各地址变换表T31a、T31b、T31c、T31d分别与表示是否能够进行后述的地址生成部17的利用的地址变换表利用标志相对应。在地址变换表利用标志的值是0的情况下，表示不能利用，在值是1的情况下，表示能够利用。这里，对4个地址变换表T31a、T31b、T31c、T31d中的1个地址变换表的地址变换表利用标志设定值“1”，对与剩下的地址变换表对应的地址变换表利用标志设定值“0”。即，地址生成部17始终参照1个地址变换表。

(2-5-2)地址生成部17

地址生成部17按照能够利用的地址变换表，从识别部7输出的特征量生成(计算)学习参数的参照地址(ROM地址)。

地址生成部17在从特征计算部13接收到特征量时，使用能够利用的地址变换表和以下所示的算式1来计算表示ROM 9的访问目的地的ROM地址。

(算式1)ROM地址＝Tab1e(窗口的行号)+特征量

算式1中的Tab1e(窗口的行号)是从能够利用的地址变换表中抽出的偏移地址。并且，特征量是从识别部7输入的特征量，是排列了所述明度和暗度信息的特征量。

另外，将抽出偏移地址的表的输入作为窗口的行号是一例，但不限定于此。例如，也可以是预先由学习所决定的矩形图像的顺序。

地址生成部17根据所计算出的ROM地址对ROM 9进行访问，获得与从处理中的矩形图像计算出的特征量对应的学习参数。所获得的学习参数被输出给识别部7的评价值计算部14。

例如，考虑图4所示的矩形图像B1的特征与图23(b)的矩形图像的特征相同的情况、即特征量为“01”的情况。在该情况下，矩形图像B1由于由图6所示的选择表T11a的矩形信息A所确定，所以首先，地址生成部17根据地址变换表T31a的窗口的行号y_b获取偏移地址“offsetAn”。并且，由于矩形图像B1的特征量是“01”，所以地址生成部17使用算式1和所获取的偏移地址“offset An”来计算ROM地址“offsetAm+1”。与矩形图像B1对应的学习参数保存在所计算的ROM地址“offsetAn+1”表示的地址中。地址生成部17根据所计算的ROM地址“offsetAn+1”，获取与矩形图像B1对应的学习参数，并将所获取的学习参数输出给识别部7的评价值计算部14。

(3)角度设定部10

角度设定部10切换识别部7所识别的对象物体。具体来讲，角度设定部10通过切换选择电路11a和11b利用的选择表和地址生成部17利用的地址变换表，来切换要识别的对象物体。

角度设定部10将表示要检测的脸的基准角度(0度)和旋转角度(90度、上下反转、270度)的任意一个角度、即表示能够利用的选择表和地址变换表的角度设定信号输出给脸检测部5的矩形图像切取部6和ROM地址计算部8。

图16(a)～图16(d)表示角度设定部10所设定的角度和要检测的脸的角度范围。这里，所谓角度是指绕着相对于输入图像的垂线逆时针旋转的角度。图16(a)是角度0度(基准角度)的情况。脸检测部5从正立的状态开始进行±α度(例如，±45度)的范围的脸检测。同样，图16(b)表示角度90度(旋转角度90度)的情况，图16(c)表示角度180度(旋转角度上下反转)的情况，图16(d)表示角度270度(旋转角度270度)的情况，脸检测的角度范围也与图16(a)同样。

另外，作为脸检测的基准角度的0度、旋转角度90、上下反转、270度是一例，角度和种类都不被限定。并且，表示脸检测的角度范围α如果是45度，则能够进行360度的全旋转方向的脸检测，但是并不限定于45度。

角度设定信号被输入给矩形图像切取部6和ROM地址计算部8。根据角度设定信号表示的角度，能够利用各选择表中的1个选择表。并且，与能够利用的选择表对应的1个地址变换表也能够利用。具体来讲，根据角度设定信号表示的角度，分别对与应当利用的选择表对应的选择表利用标志和与该选择表对应的地址变换表所对应的地址变换表利用标志设定值“1”，对与其他的选择表分别对应的选择表利用标志设定值“0”，对与其他的地址变换表分别对应的地址变换表利用标志设定值“0”。例如，在角度设定信号表示的角度是基准角度0度的情况下，对与选择表T11a对应的选择表利用标志设定值“1”，对与其他的选择表分别对应的选择表利用标志设定值“0”。另外，对与选择表T11a对应的地址变换表T31a所对应的地址变换表利用标志设定值“1”，对与其他的地址变换表分别对应的地址变换表利用标志设定值“0”。由此，选择电路11a、11b和地址生成部17在基准角度0度的情况下，能够确定与应当利用的选择表T11a和与该选择表T11a对应的地址变换表T31a。

选择表和地址变换表由于将矩形图像的切取位置变为根据所设定的角度而旋转的位置，所以需要切换能够利用的各表，但是，如具体例所示，通过变更对应的标志的值，能够实现可以利用的表的切换。

角度设定部10从处理控制部19接收用于指示角度变更的变更信息。这里，变更信息包含表示变更后的角度的信息。

角度设定部10将表示所接收的变更信息中包含的角度设定信号输出给矩形图像切取部6和ROM地址计算部8，根据角度能够分别利用各选择表中的1个选择表和各地址变换表中的1个地址变换表。

例如，在变更信息中包含有表示角度0度(基准角度0度)的信息的情况下，角度设定部10根据表示基准角度0度的角度设定信号，对与选择表T11a和地址变换表T31a对应的第1和地址变换表利用标志设定值“1”，对分别与其他的选择表和地址变换表对应的第1和地址变换表利用标志分别设定值“0”。

(4)其他

这里，对角度设定部10接收处理控制部19所输出的变更信息的定时进行说明。

处理控制部19在图像处理装置1进行脸检测的处理时，将变更信息输出给角度设定部10，使得在检测脸之前或者对所有角度(0度、90度、上下反转、270度)进行脸检测处理之前，切换选择表和地址变换表。例如，在开始脸检测的处理时，处理控制部19将表示基准角度0度的变更信息输出给角度设定部10。当识别部7的判定结果是不包含脸时，处理控制部19将表示旋转角度90度的角度设定信号输出给角度设定部10。当判定结果是包含脸时，处理控制部19抑制角度设定信号向角度设定部10的输出。即，处理控制部19将变更信息输出给角度设定部10，使得在判定结果是包含脸之前，按照角度为0度、90度、上下反转、270度的顺序来切换选择表和地址变换表。另外，在所有的角度都没有检测到脸的情况下，处理控制部19抑制对检测对象的窗口的脸检测的处理。

另外，在上述的一例中，在检测开始时使用角度0度，在1个窗口中检测脸之前，按照90度、上下反转、270度的顺序进行了角度设定的切换，但并不限定于此。检测开始时的角度可以是0度、90度、上下反转、270度中的任意一个。并且，关于角度设定的切换顺序，也可以随机地选择针对不允许利用的表的角度。

1.2图像处理装置1的动作

这里，以下对图像处理装置1的动作、尤其是要识别的对象物体的切换所涉及的切换处理和脸检测所涉及的脸检测处理进行说明。

(1)切换处理

这里，使用图17所示的流程图对切换处理的动作进行说明。

角度设定部10从外部接收切换信息(步骤S5)。

角度设定部10在包含于切换信息中的角度是0度的情况下(步骤S10中的“0度”)，根据表示角度0度的角度设定信号，仅使选择表T11a有效，使其他的选择表无效(步骤S15)。具体来讲，角度设定部10根据表示角度0度的角度设定信号，对与选择表T11a对应的选择表利用标志设定值“1”，对分别与其他的选择表对应的选择表利用标志设定值“0”。另外，角度设定部10根据表示角度0度的角度设定信号，仅使地址变换表T31a有效，使其他的地址变换表无效(步骤S20)。具体来讲，角度设定部10根据表示角度0度的角度设定信号，对与地址变换表T31a对应的地址变换表利用标志设定值“1”，对分别与其他的地址变换表对应的地址变换表利用标志设定值“0”。

角度设定部10在包含于切换信息中的角度是90度的情况下(步骤S10中的“90度”)，根据表示角度90度的角度设定信号，仅使选择表T11b有效，使其他的选择表无效(步骤S25)。具体来讲，角度设定部10根据表示角度90度的角度设定信号，对与选择表T11b对应的选择表利用标志设定值“1”，对分别与其他的选择表对应的选择表利用标志设定值“0”。另外，角度设定部10根据表示角度90度的角度设定信号，仅使地址变换表T31b有效，使其他的地址变换表无效(步骤S30)。具体来讲，角度设定部10根据表示角度90度的角度设定信号，对与地址变换表T31b对应的地址变换表利用标志设定值“1”，对分别与其他的地址变换表对应的地址变换表利用标志设定值“0”。

角度设定部10在包含于切换信息中的角度是上下反转(180度)的情况下(步骤S10中的“上下反转”)，根据表示角度上下反转的角度设定信号，仅使选择表T11c有效，使其他的选择表无效(步骤S35)。具体来讲，角度设定部10根据表示角度上下反转的角度设定信号，对与选择表T11c对应的选择表利用标志设定值“1”，对分别与其他的选择表对应的选择表利用标志设定值“0”。另外，角度设定部10根据表示角度上下反转的角度设定信号，仅使地址变换表T31c有效，使其他的地址变换表无效(步骤S40)。具体来讲，角度设定部10根据表示角度上下反转的角度设定信号，对与地址变换表T31c对应的地址变换表利用标志设定值“1”，对分别与其他的地址变换表对应的地址变换表利用标志设定值“0”。

角度设定部10在包含于切换信息中的角度是270度的情况下(步骤S 10中的“270度”)，根据表示角度270度的角度设定信号，仅使选择表T11d有效，使其他的选择表无效(步骤S45)。具体来讲，角度设定部10根据表示角度270度的角度设定信号，对与选择表T11d对应的选择表利用标志设定值“1”，对分别与其他的选择表对应的选择表利用标志设定值“0”。另外，角度设定部10根据表示角度270度的角度设定信号，仅使地址变换表T31d有效，使其他的地址变换表无效(步骤S50)。具体来讲，角度设定部10根据表示角度270度的角度设定信号，对与地址变换表T31d对应的地址变换表利用标志设定值“1”，对分别与其他的地址变换表对应的地址变换表利用标志设定值“0”。

(2)脸检测处理的动作

这里，使用图18所示的流程图对脸检测处理的动作进行说明。

选择电路11a、11b使用有效的选择表、即对应的选择表利用标志的值是1的选择表，对1个窗口切取按照窗口的每行而存在的1个以上的矩形图像(步骤S100)。

特征量计算部13计算针对选择电路11a、11b所切取的1个以上的矩形图像的各个图像的特征量(步骤S105)。

地址生成部17对于选择电路11a、11b所切取的1个以上的矩形图像的各个图像，使用特征量计算部13所计算的该矩形图像的特征量和有效的地址变换表(即，对应的地址变换表利用标志的值是1的地址变换表)，来计算应当参照的学习参数的ROM地址(参照地址)(步骤S110)，根据所计算的ROM地址，获取针对该矩形图像的学习参数(步骤S115)。

评价值计算部14使用对选择电路11a、11b所切取的1个以上的矩形图像的各个图像所获取的学习参数，计算对窗口的评价值(步骤S120)。

判定部15使用所计算的评价值来判断该窗口是否包含脸(步骤S125)，并将其结果输出到外部(步骤S130)。

1.3变形例

另外，根据上述第1实施方式对本发明进行了说明，但是本发明当然也不限于上述第1实施方式。以下的情况也包含在本发明中。

(1)在上述第1实施方式中，偏移寄存器的级数、矩形图像的尺寸等形状是一例，并不被限定。

偏移寄存器的级数只要与应当选择(应当切取)的矩形图像的最大的纵向尺寸相同数量以上即可。

并且，对于矩形图像，纵向的像素数和横向的像素数可以不同。

并且，矩形图像的形状可以具有多个种类。在该情况下，图6至图9所示的选择表的矩形信息A和矩形信息B的各自的栏中添加有矩形图像的形状信息(例如，表示矩形图像的尺寸的信息)，并且添加有形状选择器，该形状选择器除了列选择电路22以外还对选择电路11a和11b分别选择矩形图像的形状，该形状选择器选择由形状信息表示的形状构成的应当选择的矩形图像。

并且，应当选择的图像的形状不限于矩形。例如，应当选择的形状可以是圆形、椭圆形。在应当选择的圆形的大小是固定的情况下，作为开始位置，提供表示应当选择的圆形的中心的坐标。在应当选择的圆形的大小是可变的情况下，进一步提供应当选择的圆形的半径作为形状信息。

(2)在上述的第1实施方式中，选择电路每1行只选择(切取)1个矩形图像，但并不限于此。

在1个选择电路中，每1行也可以选择(切取)多个矩形图像。

(3)在上述第1实施方式中，选择电路11a和11b参照共同的选择表，进行了矩形图像的选择(切取)，但并不限于此。

对于各选择电路，也可以独立地对应选择表。

例如，选择电路11a对应于由图6至图9所示的窗口的行号和矩形形状A构成的各选择表。并且，选择电路11b对应于由窗口的行号和矩形形状B构成的各选择表。

(4)在上述第1实施方式中，图像处理装置1在矩形图像的选择后求出特征量，但并不限于此。如图19所示，图像处理装置1a预先计算与所有像素位置对应的矩形图像的特征量，也可以选择其结果。在矩形图像的数量多的情况下，通过预先计算能够共享特征量的计算结果，所以有时能够降低整体的运算量。

(5)在上述第1实施方式中，示出了图像处理装置1作为物体检测的一例而进行脸检测处理，但并不限于此。

作为检测对象，如动物的脸、人物的上半身和全身那样，只要具有能够作为检测对象的物体来识别的特征部分即可。

(6)在上述第1实施方式中，使用标志进行了各选择表和各地址变换表的有效、无效的识别，但并不限于此。

只要能够识别表的有效、无效，怎样的实现方法都可以。例如，选择表存储部12存在可参照区域和不可参照区域，不可参照区域中保存有4个选择表。角度设定部10通过只将有效的选择表拷贝到可参照区域，能够只利用保持在可参照区域中的选择表。地址变换表存储部中也可以通过具有可参照区域和不可参照区域来实现。即，将有效的选择表和地址变换表分别保存在选择表存储部和地址变换表存储部的各自的可参照区域中，其他的选择表和其他的地址变换表分别保存在选择表存储部和地址变换存储部的各自的不可参照区域中。这里，所谓的可参照区域是允许从外部(这里，选择电路11a、11b和地址生成部17)访问的区域，所谓不可参照区域是不允许访问的区域。

或者，针对各选择表和各地址变换表，可以对应表示可否访问的访问权。在该情况下，角度设定部10进行访问权的设定，使得允许只对应当能够利用的选择表和地址变换表进行访问，不允许对应当不能利用的选择表和地址变换表进行访问。

(7)在上述第1实施方式中，角度采用了基准角度0度、相对于基准角度向左旋转的旋转角度90度、270度以及上下反转，但并不限于此。

旋转角度也可以采用相对于基准角度向右旋转0度、90度、270度以及上下反转。

或者，也可以代替上下反转，而采用180度。该情况下的旋转180度后的矩形图像的开始位置、例如图5(a)所示的矩形图像B4a的开始位置(x、y)被变更为(24-x-w、24-y-h)。通过根据角度0度的开始位置(x、y)和180度旋转后的开始位置(24-x-w、24-y-h)的关系来分别变更选择表T11c和地址变换表T31c，能够实现。例如，矩形图像B1在角度180度的情况下，开始位置的坐标为(24-x_b-4、24-y_4)。

(8)在上述第1实施方式中，处理控制部19存在于图像处理装置1的外部，但并不限定于此。

处理控制部19也可以存在于图像处理装置1的内部。

(9)在上述第1实施方式中，选择表存储部和地址变换表存储部是分开构成的，分别保存有选择表11a～11d和地址变换表31a～31d，但是并不限定于此。

存储部也可以具有1个，可以在同一存储部中保存选择表11a～11d和地址变换表31a～31d。

并且，也可以在1个管理表中管理选择表和对应的地址变换表。在该情况下，例如管理表具有保存1个以上的组的区域，该组由窗口的行号、矩形信息A和矩形信息B构成。窗口的行号是表示窗口的行号的值。矩形信息A和矩形信息B由表示矩形图像的有无的信息、矩形图像的X坐标、输出(偏移地址)构成。关于表示矩形图像的有无的信息、矩形图像的X坐标、输出(偏移地址)，由于在上面进行了叙述，所以省略了这里的说明。

(10)在上述第1实施方式中，对于1个窗口，在检测脸的期间，进行了角度设定的变更，但并不限于此。

使用1个角度对所摄影的图像数据(输入图像)进行脸检测，在没检测到脸的情况下，也可以用其他的角度对所述输入图像进行脸检测。

(11)也可以分别组合上述实施方式和上述变形例。

2.第2实施方式

使用图20对本发明的第2实施方式进行说明。

半导体集成电路70一般由CMOS等MOS晶体管构成，通过MOS晶体管的连接结构来实现特定的逻辑电路。近年来，随着半导体集成电路的集成度的进步，能够由一个至数个半导体集成电路来实现非常复杂的逻辑电路(例如，本发明中的图像处理装置)。

半导体集成电路70具备第1实施方式所说明的图像处理装置1、图像编码电路71、语音处理部72、ROM 73、动作检测电路75、处理器76、控制总线77、分辨率变换电路78、照相机输入电路79、LCD(液晶显示器：Liquid Crystal Display)输出电路81和内部总线83。各构成要素经由内部总线83连接，进行数据的输入输出。

这里，图像处理装置1经由内部总线83从图像存储器74获取输入图像。

照相机输入电路79接收来自照相机80的动态图像作为输入，并进行将所接收的动态图像数字数据化的处理。

动作检测电路75对数字数据化的动态图像进行动作补偿所涉及的处理。

图像编码电路71对数字数据化的动态图像实施了动作补偿所涉及的处理后，为了保存在图像存储器74中，进行图像编码所涉及的处理。并且，图像编码电路71从图像存储器74中读取编码后的图像数据，并对所读取的编码后的图像数据进行复原。图像处理装置1获取该复原的图像数据。

语音处理部72进行将从照相机80输入的语音变换为语音数据的处理。

ROM 73具有保存应当处理的数据的区域。例如，保存被语音处理部72施加了处理的语音数据。

分辨率变换电路78进行变换图像处理装置1所处理的图像数据的分辨率的处理。

LCD输出电路81将应当显示的图像数据输出给LCD(液晶显示器)82。并且，对于检测到脸的区域，将包围该区域的框显示在LCD 82上。

处理器76进行半导体集成电路70的整体动作所涉及的处理的控制。

处理器76进行与上述第1实施方式所示的处理控制部19相同的动作，在图像处理装置1检测脸之前或者对所有的角度进行脸检测处理之前，进行选择表和地址变换表的切换的控制。

并且，处理器76经由控制总线77进行对与该控制总线77连接的构成要素的动作的控制。

另外，在本实施方式中，角度设定部10与第1实施方式同样，具备图像处理装置1，但并不限定于此。角度设定部10也可以具备处理器76。即，处理器76也可以进行角度设定部10进行的动作。

如第1实施方式所说明的那样，半导体集成电路70具备的图像处理装置1只置换表的信息就能实现旋转了脸的图像的脸检测处理。因此，能够对从照相机80输入的图像进行脸检测处理。

并且，通过由半导体集成电路70实现图像处理装置1，能够实现数字摄像机和监视照相机的小型化、低消耗功率化等。

3.第3实施方式

图21是说明本发明的第3实施方式的框图。

摄像装置100由半导体集成电路170、镜头89、光圈机构88、传感器87、A/D变换电路86和角度传感器90构成。

镜头89用于使被摄体成像，具体来讲，由用于实现变焦功能的变焦镜头和用于使被摄体聚焦的聚焦镜头构成。

光圈88由机械快门、用于调整被摄体的明亮度的光圈和滤波器等构成，进行快门和光圈等的调整。

传感器87由CCD(Charge Coupled Device)和CMOS(ComplementaryMetal Oxide Semiconductor)等构成，将镜头89所成像的被摄体像变换为电信号，生成模拟的图像数据，并输出给A/D变换电路86。

A/D变换电路86对来自传感器87的模拟输出进行增益调整和A/D(analogue/digital)变换，并将图像数据作为数字数据而输出。

半导体集成电路170除了第2实施方式所记载的半导体集成电路70具备的构成要素之外，还具备控制镜头89的变焦控制84、控制光圈机构88的曝光控制85。

角度传感器90检测摄像装置100的摄影角度。根据所检测的摄影角度将表示应当设定的角度的变更信息输出给角度设定部10。

这里，如图16(a)～图16(d)所示，在检测到的摄影角度是±α度(例如，±45度)的情况下，角度传感器90将表示角度0度的角度设定信号输出给角度设定部10。在摄影角度相对于基准角度0度为45度至135度、或-225度至-315度间的情况下，角度传感器90将表示角度90度的角度设定信号输出给角度设定部10。并且，在摄影角度相对于基准角度0度为135度至225度、或-135度至-225度间的情况下，角度传感器90将表示角度上下反转的角度设定信号输出给角度设定部10。并且，在摄影角度相对于基准角度0度为225度至315度、或-45度至-135度间的情况下，角度传感器90将表示角度270度的角度设定信号输出给角度设定部10。

另外，这里，角度传感器90将角度设定信号输出给角度设定部10，但并不限于此。角度传感器90也可以只检测摄像装置100的摄影角度，根据角度传感器90的检测结果，处理器76将角度设定信号输出给角度设定部10。

通过使用半导体集成电路170的图像处理装置1所检测的脸的位置信息，摄像装置100能够进行与脸的位置相一致的变焦控制84进行的聚焦控制和曝光控制85进行的曝光控制，实现能够漂亮地拍摄脸的摄像装置。

另外，在本实施方式中，摄像装置100具备角度传感器90，根据角度传感器90的检测结果来切换角度设定部10利用的选择表和地址变换表，但并不限定于此。例如，摄像装置100也可以不具备角度传感器90。在该情况下，如第2实施方式所示，处理器76将变更信息输出给角度设定部10，使得在识别部7的识别结果是包含脸之前，按照角度0度、90度、上下反转、270度的顺序来切换选择表和地址变换表。另外，如第2实施方式所述那样，在对于所有角度没有检测到脸的情况下，处理器76抑制对检测对象的窗口的脸检测。

4.其他的变形例

另外，根据上述第1至第3实施方式和第1实施方式的变形例对本

发明进行了说明，但本发明当然不限定于上述各实施方式和变形例。以下的情况也包含在本发明中。

(1)上述的第1实施方式中的处理控制部19和第2实施方式中的处理器76在图像处理装置1进行了脸检测处理时，将变更信息输出给角度设定部10，使得检测脸之前或者对所有的角度进行脸检测处理之前，切换选择表和地址变换表，但并不限定于此。以下，将该动作称为第1动作。

如第3实施方式所示，处理控制部19(处理器76)可以根据角度传感器或者角度传感器的检测结果，将变更信息输出给角度设定部10，以切换选择表和地址变换表。以下，将该动作称为第2动作。

或者，可以进行利用了第1动作和第2动作的双方的表的切换。在该情况下，根据角度传感器所检测的摄影角度，将有效的选择表和地址变换表作为脸检测所利用的最初的表，在检测脸之前，依次切换选择表和地址变换表。例如，在将角度为90度的选择表和地址变换表作为脸检测所利用的最初的表的情况下，在检测脸之前，依次切换为与角度上下反转、270度、角度0度对应的选择表和地址切换表。

并且，在第3实施方式中，也进行利用了第1动作和第2动作的双方的表的切换。

(2)本发明也可以通过软件来实现。

(3)构成上述的图像处理装置的构成要素的一部分或全部可以由能够装卸在各装置上的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包含上述的超多功能LSI。所述IC卡或所述模块通过微处理器根据计算机程序进行动作来实现其功能。该IC卡或该模块也可以具有抗干扰性。

(4)构成上述的图像处理装置的构成要素的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是在1个芯片上集成多个构成部而制造的超多功能LSI，具体来讲，是包含微处理器、ROM、RAM等而构成的计算机系统。所述RAM存储有计算机程序。系统LSI通过所述微处理器根据所述计算机程序进行动作来实现其功能。

并且，构成上述的各装置的构成要素的各部可以分别单片化，也可以按照包含一部分或全部的方式来进行单片化。

并且，这里，采用系统LSI，但是根据集成度的不同，也可以称为IC、LSI、超LSI、超级LSI。并且，集成电路化的手法不限于LSI，也可以通过专用电路或通用处理器来实现。LSI制造后，可以利用能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)或能够重构LSI内部的电路单元(cell)的连接和设定的可重构处理器。

另外，如果有以半导体技术的发展或派生的其他技术来置换LSI的集成电路化的技术登场，当然也可以使用该技术来进行功能模块的集成化。也存在生物技术的应用等的可能性。

(5)本发明可以是上面所述的方法。并且，也可以是通过计算机来实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。

并且，本发明可以将所述计算机程序或所述数字信号记录在计算机能够读取的记录介质(例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半导体存储器等)中。并且，也可以是记录在这些记录介质中的所述计算机程序或所述数字信号。

并且，本发明可以经由以电通信线路、无线或有线通信线路、互联网为代表的网络、数字播放等来传送所述计算机程序或所述数字信号。

并且，本发明可以是具备微处理器和存储器的计算机系统，所述存储器可以存储上述计算机程序，所述微处理器可以根据所述计算机程序来进行动作。

并且，可以通过将所述程序或所述数字信号记录到所述存储介质中来移送、或者通过将所述程序或所述数字信号经由所述网络等来移送，能够通过独立的其他计算机系统来实施。

(6)也可以分别组合上述实施方式和上述变形例。

5.总结

(1)本发明的一个方式的图像处理装置的特征在于，其具备：图像输入单元，其输入图像；矩形图像切取单元，其从所述图像输入单元所输入的图像中切取矩形图像；识别单元，其根据所述矩形图像切取单元所切取的多个矩形图像分别计算特征量，并根据该特征量来计算评价值，根据计算出的评价值来识别是否是对象物体；学习参数保持单元，其保持在所述识别单元中用于计算所述矩形图像的评价值的学习参数；学习参数参照目的地计算单元，其示出所述矩形图像的评价值计算所需的所述学习参数的参照目的地；以及切换单元，其根据所设定的旋转角度，变更所述矩形图像切取单元所切取的矩形图像的切取位置和所述学习参数参照目的地计算单元所示出的所述学习参数的参照目的地，由此来切换所述矩形图像的切取位置。

根据该结构，由于图像处理装置能够按照输入图像的每个旋转角度来设定所述矩形图像和所述学习参数的关系，所以能够实现对旋转图像的脸检测处理而不会导致检测处理速度的降低。

并且，根据该图像处理装置，即使在使用了多个特征量的脸检测方法中，也能进行脸检测处理而不会使对旋转图像的脸检测速度降低。

(2)这里，所述矩形图像切取单元可以具备用于保持像素数据的切取位置的信息的选择表和根据该选择表从所述图像输入单元中选择像素数据的选择单元，通过变更所述选择表的信息来变更所述矩形图像的切取位置。

(3)这里，所述选择表可以通过所述切换单元来切换保持在所述选择表中的像素数据的切取位置的信息。

(4)这里，所述学习参数参照目的地计算单元可以具备学习参数参照表，该学习参数参照表保持所述矩形图像的评价值计算所需的所述学习参数的参照目的地信息，通过变更所述学习参数参照表的信息来变更所述矩形图像的评价值计算所需的所述学习参数的参照目的地信息。

(5)这里，所述学习参数参照表可以通过所述切换单元来切换所述矩形图像的评价值计算所需的所述学习参数的参照目的地信息。

(6)这里，所述切换单元可以根据从所述图像输入单元所输入的图像中对对象物体进行识别处理时要识别的对象物体的角度来决定。

(7)这里，所述切换单元所切换的所述矩形图像的切取位置可以相当于以0度的切取位置为基准旋转了所述切换单元所设定的角度信息的角度的位置。

(8)这里，所述切换单元可以设定90度、180度或270度。

(9)这里，所述学习参数保持单元可以是ROM。

(10)这里，所述学习参数的参照目的地信息可以是所述ROM的地址。

(11)本发明的一个方式的图像处理方法的特征在于，其具备：图像输入步骤，其输入图像；矩形图像切取步骤，其从所述图像输入步骤所输入的图像中切取矩形图像；识别步骤，其根据所述矩形图像切取步骤所切取的多个矩形图像分别计算特征量，并根据该特征量来计算评价值，根据计算出的评价值来识别是否是对象物体；学习参数保持步骤，其保持在所述识别步骤中用于计算所述矩形图像的评价值的学习参数；学习参数参照目的地计算步骤，其示出所述矩形图像的评价值计算所需的所述学习参数的参照目的地；以及切换步骤，其变更所述矩形图像切取步骤所切取的矩形图像的切取位置和所述学习参数参照目的地计算步骤所示出的所述学习参数的参照目的地，由此来切换所述识别步骤所识别的对象物体。

(12)并且，本发明的一个方式的半导体集成电路的特征在于，其具备：图像输入单元，其输入图像；矩形图像切取单元，其从所述图像输入单元所输入的图像中切取矩形图像；识别单元，其根据所述矩形图像切取单元所切取的多个矩形图像分别计算特征量，并根据该特征量来计算评价值，根据计算出的评价值来识别是否是对象物体；学习参数保持单元，其保持在所述识别单元中用于计算所述矩形图像的评价值的学习参数；学习参数参照目的地计算单元，其示出所述矩形图像的评价值计算所需的所述学习参数的参照目的地；以及切换单元，其变更所述矩形图像切取单元所切取的矩形图像的切取位置和所述学习参数参照目的地计算单元所示出的所述学习参数的参照目的地，由此来切换所述识别单元所识别的对象物体。

(13)并且，本发明的一个方式的摄像装置的特征在于，其具备：图像输入单元，其输入图像；矩形图像切取单元，其从所述图像输入单元所输入的图像中切取矩形图像；识别单元，其根据所述矩形图像切取单元所切取的多个矩形图像分别计算特征量，并根据该特征量来计算评价值，根据计算出的评价值来识别是否是对象物体；学习参数保持单元，其保持在所述识别单元中用于计算所述矩形图像的评价值的学习参数；学习参数参照目的地计算单元，其示出所述矩形图像的评价值计算所需的所述学习参数的参照目的地；以及切换单元，其变更所述矩形图像切取单元所切取的矩形图像的切取位置和所述学习参数参照目的地计算单元所示出的所述学习参数的参照目的地，由此来切换所述识别单元所识别的对象物体。

(14)根据本发明，由于能够改变应当选择的矩形图像的位置和模板框所示的矩形区域的关系，所以即使在选择图像中也能对应与普通状态相同的图像存储器的访问。由此，例如在图像从图25(a)旋转至(b)的情况下，在进行矩形区域R_B1的映射处理的位置同时进行映射处理的矩形区域能够从矩形区域R_A1变更到矩形区域R_A2。进一步地说，在访问矩形区域R_B1的位置同时访问的矩形区域能够从矩形区域R_A1变更到矩形区域R_A2。

由此，与针对选择图像的以往的脸检测处理相比，该发明能够提高图像存储器的访问效率。

(15)通常情况下，由于保存图像的图像存储器的容量大，所以一般由SRAM构成。SRAM具有字单位的访问的访问效率高、比特单位的访问的访问效率低这样的特征。这是因为相对于1个字的数据在1次访问中能够获取，1列数据的获取需要多次访问。因此，SRAM所构成的图像存储器具有与SRAM同样的访问效率所相关的特征。

由于脸检测处理的处理量大，所以要在预先决定的时间(例如，每1秒需要30帧处理时，为33ms)内完成处理，考虑并列执行脸检测单元内的映射处理。图15(a)和(b)表示被检测对象图像向图像存储器的保存状态。(a)是普通图像的情况，(b)是旋转图像的情况。R_A1是用于计算右眼的特征量的矩形区域，R_B1是用于计算左眼的特征量的矩形区域。并且，上下方向表示字方向，左右方向表示比特方向，例如，图25(a)的矩形区域R_A1的像素数据和矩形区域R_B1的像素数据通过访问地址(a)能够同时获取。因此，矩形区域R_A1和矩形区域R_B1能够并列执行映射处理。但是，在旋转图像的情况下(图25(b))，由于不能同时获取矩形区域R_A1的像素数据和矩形区域R_B1的像素数据，所以需要逐次访问地址(b1)和地址(b2)来获取像素数据，映射处理也只能逐次进行。

因此，如上述第1实施方式所示，按照每个旋转角度(0度、90度、上下反转、270度)，通过具有选择表和地址变换表，能够准确地确定选择电路在读出了1行图像的时刻应当选择的矩形图像和应当用于该矩形图像的评价的参数。即，即使在使用了多个特征量的脸检测方法的情况下，也能进行对旋转图像的脸检测。

(16)这里，本发明中的图像判定装置相当于上述实施方式所示的图像处理装置1。

本发明中的第1存储单元相当于上述实施方式中的ROM 9。

本发明中的第2存储单元相当于由上述实施方式中的选择表存储部12和地址变换表存储部16构成的构成要素。

本发明中的获取单元相当于上述实施方式中的图像输入部2。

本发明中的选择单元相当于上述实施方式中的角度设定部10。

本发明中的提取处理单元相当于由上述实施方式中的切取处理部11和特征量计算部13构成的构成要素。

本发明中的判定单元相当于由上述实施方式中的评价值计算部14、判定部15和地址生成部17构成的构成要素。

本发明中的指示单元相当于上述实施方式中的处理控制部19。

本发明中的第1配置位置表和第2配置位置表相当于上述实施方式中的选择表。

本发明中的第1存在位置表和第2存在位置表相当于上述实施方式中的地址变换表。

产业上的可利用性

本发明所涉及的图像处理装置具有对旋转了脸的状态的输入图像进行脸检测处理的情况，作为数字照相机中的脸检测装置有用。并且，也能应用于数字电影和监视照相机等用途。

本发明在制造和贩卖图像处理装置、包含该图像处理装置的数字摄像机和数字照相机的产业中，能够经营地(即，反复地并且继续地)利用。

Claims (17)

1.一种图像判定装置，利用被摄体的一部分具有包含多个要素的特征部，来判定对象图像是否存在被摄体的特征部，其特征在于，所述图像判定装置具备：

第1存储单元，对预先准备的正立状态的标本体的与被摄体对应的特征部，按照每个要素来存储该要素的特征的要素特征信息；

第2存储单元，存储第1位置信息和第2位置信息，所述第1位置信息在特定坐标系中规定了标准被摄体为正立状态时的各要素的位置，所述第2位置信息在所述特定坐标系中规定了标准被摄体从正立状态旋转的情况下各要素的位置，其中，假定所述标准被摄体具有各要素被标准设置的特征部；

获取单元，获取对象图像；

选择单元，选择第1和第2位置信息中的任意一个位置信息；

提取处理单元，将所述特定坐标系应用于对象图像，并且在选择了第1位置信息的情况下，获取该第1位置信息所确定的所述对象图像内的部分图像，针对所获取的所述部分图像，按照以所述特定坐标系上的第1轴为基准的顺序，求出图像特征信息，在选择了第2位置信息的情况下，获取该第2位置信息所确定的所述对象图像内的部分图像，针对所获取的所述部分图像，以对应所述旋转使所述第1轴旋转后的第2轴为基准，按照与以所述第1轴为基准的顺序相同的顺序，求出图像特征信息；以及

判定单元，确定对应于所获取的部分图像在所述特定坐标系上的位置的、第1存储单元内的要素的要素特征信息，通过使用所确定的所述要素特征信息和所获取的所述图像特征信息，对所述要素进行所述部分图像的评价，来判定包含所述要素的所述对象图像内的区域中的所述特征部的存在。

2.根据权利要求1所述的图像判定装置，其特征在于，

所述提取处理单元在使用所述第1轴的情况下，通过在以第1轴的方向为基准的位置上进行预定分割的分割方法，将根据所述第1位置信息所获取的第1部分图像分割成多个区域，将所分割的所述多个区域中的一个区域确定为基准区域，以所述基准区域为起点，按照基于该第1轴的方向的扫描方向，依次扫描所述多个区域，求出所述第1部分图像的图像特征信息，

在使用所述第2轴的情况下，使用将第2轴的方向变更为基准的所述预定的分割方法，将根据所述第2位置信息所获取的第2部分图像分割成多个区域，从基于该第2轴的方向的扫描方向，按照以该第2轴为基准、以与所述基准区域成为相对的相同位置的区域为起点、与所述第1部分图像中的扫描顺序相同的方式，依次扫描从所述第2部分图像中分割的多个区域，求出所述第2部分图像的图像特征信息。

3.根据权利要求1所述的图像判定装置，其特征在于，

所述获取单元还将包围所述假定的标准被摄体的特征部的框应用于所述对象图像，从所述对象图像获取该框所形成的判定图像，

所述提取处理单元从所述判定图像获取由所选择的位置信息确定的部分图像，并取得所获取的所述部分图像的图像特征信息，

所述判定单元通过使用所确定的所述要素特征信息和所获取的所述图像特征信息，对所述要素进行所述部分图像的评价，来判定所述判定图像中的所述特征部的存在。

4.根据权利要求3所述的图像判定装置，其特征在于，

所述图像判定装置还具备指示单元，该指示单元在所述判定单元判定为所述判定图像不存在特征部的情况下，指示所述选择单元选择未选择的其他位置信息，

所述选择单元还在接收到所述指示时，选择未选择的其他位置信息，

所述提取处理单元还获取由所选择的其他位置信息确定的其他部分图像，按照以与所述其他位置信息对应的轴为基准的顺序，求出该其他部分图像的图像特征信息，

所述判定单元还确定对应于所获取的其他部分图像在所述特定坐标系上的位置的、第1存储单元内的所述要素的要素特征信息，通过使用所确定的所述要素特征信息和所获取的所述其他部分图像的图像特征信息，对所述要素进行所述其他部分图像的评价，来判定所述对象图像中的所述特征部的存在。

5.根据权利要求3所述的图像判定装置，其特征在于，

所述提取处理单元具备：

图像读取部，具有将所述判定图像中的1行的行图像保持预定行数的区域，从所述判定图像中依次读取1行的行图像，并依次将所读取的行图像保存在所述区域中，在行图像的保存数超过所述预定行数的情况下，从所述区域中丢弃最先读取的行图像；以及

提取部，每当所述图像读取部读取行图像来保存时，根据所选择的位置信息从保持在所述图像读取部中的行图像中，获取表示设置在所述保持的行图像内的所有部分图像，并求出所获取的部分图像各自的图像特征信息，

所述判定单元具备：

确定部，每当所述提取部获取部分图像时，从所述第1存储单元中分别对所述部分图像确定要素特征信息；以及

判定部，使用所述判定图像内的所有部分图像的各个图像特征信息和所确定的各个要素特征信息，来判定所述判定图像中的所述特征部的存在。

6.根据权利要求5所述的图像判定装置，其特征在于，

所述第1位置信息由第1配置位置表来表示，所述第1配置位置表在正立状态的所假定的标准被摄体的特征部的各要素的所述特定坐标系中表示配置位置，

所述第2位置信息由第2配置位置表来表示，所述第2配置位置表在该被摄体从正立状态旋转的情况下的该被摄体的特征部的各要素的所述特定坐标系中表示配置位置，

所述第2存储单元还存储第1存在位置表和第2存在位置表，所述第1存在位置表将与该配置位置对应的要素的要素特征信息在所述第1存储单元中的存在位置对应于正立状态的各要素的各个配置位置，所述第2存在位置表将与该配置位置对应的要素的要素特征信息的所述存在位置对应于旋转后的各要素的各个配置位置，

所述选择单元选择所述第1配置位置表与所述第1存在位置表的组合、和所述第2配置位置表与所述第2存在位置表的组合中的1个组合，

所述提取部使用所述选择单元选择的组合中所包含的配置位置表来获取所述部分图像，

所述确定部针对所述获取的各个部分图像，使用用于获取该部分图像的位置信息和所述选择单元选择的存在位置表，确定针对该部分图像的所述要素特征信息。

7.根据权利要求6所述的图像判定装置，其特征在于，

所述第1配置位置表和第2配置位置表分别还按照各要素的每个配置位置，对应地保存表示应当获取的部分图像的形状的形状信息，

所述提取部按照该保持的行图像内表示配置的配置信息，从所述保持的行图像中获取由对应于该配置位置的形状信息表示的形状构成的部分图像。

8.根据权利要求6所述的图像判定装置，其特征在于，

所述要素特征信息是由对对应的要素的近似进行了加权的评价值构成的评价值组，

构成部分图像的多个区域的明暗的组合所表示的特征量分别对应不同的标本值，

包含在所述存在位置表中的存在位置表示对应的标本值组在所述第1存储单元中的头位置，

所述提取部针对所获取的部分图像，按照以与所选择的位置信息对应的轴为基准的顺序来求出该部分图像的特征量，作为所述图像特征信息，

所述确定部每当所述提取部获取部分图像时，针对所获取的部分图像，根据所选择的存在位置表和用于获取该部分图像的配置位置来确定评价值组的头位置，

所述判定部从所确定的所述头位置表示的所述评价值组获取与所获取的该部分图像的特征量对应的评价值，根据针对包含在所述判定图像中的所有的部分图像分别获取的评价值的累计，计算针对所述特征部的近似权重的值，在所计算的值大于等于预定的阈值的情况下，判定在所述判定图像中存在所述特征部。

9.根据权利要求6所述的图像判定装置，其特征在于，

所述第2存储单元还分别将表示可否利用的第1配置位置表利用标志和第1存在位置表利用标志与所述第1配置位置表和所述第1存在位置表相对应进行存储，

并且分别将表示可否利用的第2配置位置表利用标志和第2存在位置表利用标志与所述第2配置位置表和所述第2存在位置表相对应进行存储，

所述选择单元还设定表示只允许利用分别与应当选择的组合中的配置位置表和存在位置表对应的配置位置表利用标志和存在位置表利用标志的值，

所述提取部使用配置位置表来进行部分图像的提取，所述配置位置表设定了表示允许利用的值，

所述确定部使用存在位置表来进行所述要素特征信息的确定，所述存在位置表设定了表示允许利用的值。

10.根据权利要求6所述的图像判定装置，其特征在于，

所述第2存储单元具有可参照区域和不可参照区域，

所述选择单元分别在所述可参照区域中保持应当选择的组合中的配置位置表和存在位置表，在不可参照区域中保持其他组合中的配置位置表和存在位置表，

所述提取部使用在所述参照区域中保持的配置位置表来进行部分图像的获取，

所述确定部使用在所述参照区域中保持的存在位置表来进行所述要素特征信息的确定。

11.根据权利要求6所述的图像判定装置，其特征在于，

表示可否访问的访问权被设定为与所述第1配置位置表、所述第2配置位置表、所述第1存在位置表和所述第2存在位置表分别相对应，

所述选择单元只对应当选择的组合中的配置位置表和存在位置表分别进行访问权的设定，使得允许访问，对其他组合中的配置位置表和存在位置表进行访问权的设定，使得不允许访问，

所述提取部使用存在位置表来进行部分图像的获取，所述存在位置表设定了允许对访问权进行访问，

所述确定部使用存在位置表来进行所述要素特征信息的确定，所述存在位置表设定了允许对访问权进行访问。

12.根据权利要求1所述的图像判定装置，其特征在于，

所述选择单元从外部接收表示选择所述第1和所述第2位置信息中的1个位置信息的指示，并选择由所接收的指示表示的位置信息。

13.根据权利要求1所述的图像判定装置，其特征在于，

所述旋转是90度、180度、270度和上下反转中的任意一个。

14.根据权利要求1所述的图像判定装置，其特征在于，

所述被摄体是人物，

所述特征部是脸。

15.根据权利要求1所述的图像判定装置，其特征在于，

所述图像判定装置配备在用于对被摄体进行摄影的摄像装置中。

16.一种在图像判定装置中使用的图像判定方法，所述图像判定装置利用被摄体的一部分具有包含多个要素的特征部，来判定对象图像是否存在被摄体的特征部，其特征在于，所述图像判定装置具备：

第1存储单元，对预先准备的正立状态的标本体的与被摄体对应的特征部，按照每个要素来存储该要素的特征的要素特征信息；

第2存储单元，存储第1位置信息和第2位置信息，所述第1位置信息在特定坐标系中规定了标准被摄体为正立状态时的各要素的位置，所述第2位置信息在所述特定坐标系中规定了标准被摄体从正立状态旋转的情况下各要素的位置，其中，假定所述标准被摄体具有各要素被标准设置的特征部；

所述图像判定方法包含：

获取步骤，获取对象图像；

选择步骤，选择第1和第2位置信息中的任意一个位置信息；

提取处理步骤，将所述特定坐标系应用于对象图像，并且在选择了第1位置信息的情况下，获取该第1位置信息所确定的所述对象图像内的部分图像，针对所获取的所述部分图像，按照以所述特定坐标系上的第1轴为基准的顺序，求出图像特征信息，在选择了第2位置信息的情况下，获取该第2位置信息所确定的所述对象图像内的部分图像，针对所获取的所述部分图像，以对应所述旋转使所述第1轴旋转后的第2轴为基准，按照与以所述第1轴为基准的顺序相同的顺序，求出图像特征信息；以及

判定步骤，确定对应于所获取的部分图像在所述特定坐标系上的位置的、第1存储步骤内的要素的要素特征信息，通过使用所确定的所述要素特征信息和所获取的所述图像特征信息，对所述要素进行所述部分图像的评价，来判定包含所述要素的所述对象图像内的区域中的所述特征部的存在。

17.一种在图像判定装置中使用的集成电路，该图像判定装置利用被摄体的一部分具有包含多个要素的特征部，来判定对象图像是否存在被摄体的特征部，其特征在于，所述集成电路具备：

第1存储单元，对预先准备的正立状态的标本体的与被摄体对应的特征部，按照每个要素来存储该要素的特征的要素特征信息；

第2存储单元，存储第1位置信息和第2位置信息，所述第1位置信息在特定坐标系中规定了标准被摄体为正立状态时的各要素的位置，所述第2位置信息在所述特定坐标系中规定了标准被摄体从正立状态旋转的情况下各要素的位置，其中，假定标准被摄体具有被标准设置的各要素的特征部；

获取单元，获取对象图像；

选择单元，选择第1和第2位置信息中的任意一个位置信息；

提取处理单元，将所述特定坐标系应用于对象图像，并且在选择了第1位置信息的情况下，获取该第1位置信息所确定的所述对象图像内的部分图像，针对所获取的所述部分图像，按照以所述特定坐标系上的第1轴为基准的顺序，求出图像特征信息，在选择了第2位置信息的情况下，获取该第2位置信息所确定的所述对象图像内的部分图像，针对所获取的所述部分图像，以对应所述旋转使所述第1轴旋转后的第2轴为基准，按照与以所述第1轴为基准的顺序相同的顺序，求出图像特征信息；以及

判定单元，确定对应于所获取的部分图像在所述特定坐标系上的位置的、第1存储单元内的要素的要素特征信息，通过使用所确定的所述要素特征信息和所提取的所述图像特征信息，对所述要素进行所述部分图像的评价，来判定包含所述要素的所述对象图像内的区域中的所述特征部的存在。

Images