CN1885910A - 成像设备、该设备处理方法和使计算机执行该方法的程序 - Google Patents

Abstract

一种成像设备，包括：面部检测装置，用于从至少一个方向搜索图像数据，以在图像数据中检测面部；捕获模式搜索方向指示装置，用于在捕获模式中将图像数据的搜索方向指示给面部检测装置，该捕获模式是记录图像数据的模式；以及监视模式搜索方向指示装置，用于在监视模式中将图像数据的搜索方向指示给面部检测装置，该监视模式是显示图像数据的模式。

Description

成像设备、该设备处理方法和 使计算机执行该方法的程序

相关申请的交叉参考

本发明包含涉及于2005年6月21日向日本专利局提交的日本专利申请第JP2005-181320号的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种成像设备，其用于检测包含在图像数据中的面部；更详细来说，涉及一种用于根据操作状态来改变面部的检测方法的成像装置、在每个成像设备中的处理方法和使计算机执行该方法的程序。

背景技术

近年来，不仅能够原始静止图像成像而且也能够运动图像成像的数码照相机(digital still camera)已经广泛使用。这些数码照相机已经变得很高效，尤其检测/识别系统技术已经引起关注。检测/识别系统技术的代表性技术是面部检测技术。

现在，当物体使用数码照相机成像时，经常是数码照相机在不同的方向倾斜地执行成像。例如数码照相机经常左右旋转“90度”来执行成像。关于数码照相机的这种旋转，当假定顺时针旋转为正方向时，来假定“0度”旋转、“+90度”旋转、“-90度”旋转和“180度”旋转。按照惯例，关于数码照相机的旋转，已经提出了一种技术，用于输入涉及旋转方向(例如，“+90度”旋转)的信息、以利用基于输入旋转方向成像所获得的图像数据来检测面部(例如，见专利文件1)。另外，还提出了一种技术，用于当从图像数据中检测出多个面部时，计数这些面部的数量、以将该数量用于照片的额外拷贝(例如，见专利文件2)。

[专利文件1]日本专利申请公开号2004-62565(见图1)

[专利文件2]日本专利申请公开号Hei 9-281605(见图1)

然而，上述输入旋转方向的信息，以在基于该输入旋转方向在所成像的图像数据中检测面部的技术，需要预先输入该旋转方向，因而操作很麻烦。为了不执行这种操作而从图像数据中检测面部，考虑到所有的“0度”旋转、“+90度”旋转、“-90度”旋转和“180度”旋转后成像的情况，可以想到，从所有旋转方向搜索图像数据的面部。但这种方法需要大量的时间，是不现实的。另一方面，在面部检测中搜索图像数据时，例如，如果仅仅执行“0度”旋转和“+90度”旋转，而不是考虑所有的“0度”旋转、“+90度”旋转、“-90度”旋转和“180度”旋转后成像的情况，那么将可以执行高速面部检测。但是，在这种情况下，不能检测面部的情况会增加，让人担心检测率下降。

而且，如果在从图像数据中检测面部时获得的信息能够记录为与图像数据相关的、伴随图像数据的图像的信息，就能做到从不同视点检索已经记录的图像数据。

发明内容

因此，需要一种成像设备，能够高速有效地从图像数据检测面部。

根据本发明的一个实施例，提供了一种成像设备，其包括：面部检测装置，用于从至少一个方向搜索图像数据，以检测图像数据中的面部；捕获模式搜索方向指示装置，用于在捕获模式中将图像数据的搜索方向指示给面部检测装置，该模式是记录图像数据的模式；监视模式搜索方向指示装置，用于在监视模式中将图像数据的搜索方向指示给面部检测装置，该模式为显示图像数据的模式。这个方面实现了在记录图像数据时和不记录图像数据时之间，在从图像数据中检测面部时改变搜索方向的操作。即，面部检测的重要性在捕获模式和监视模式中不同，并且本方面使图像数据反映重要性的差别的处理成为可能。

而且，优选地，本发明该实施例的成像设备还包括：操作装置，其用于当接收到记录图像数据的操作时，提供用于选择捕获模式的信号，以及当没有接收到操作时，提供用于选择监视模式的另一信号。从而，通过记录图像数据的操作实现了选择捕获模式和监视模式的操作。

而且，优选地，本发明该实施例的成像设备还包括：捕获模式方向设置装置，用于在捕获模式中设置图像数据的搜索方向。因此，实现了在捕获模式中设置搜索方向的操作。即，在捕获模式中能够将用户的意图反映到搜索方向上。

而且，优选地，本发明该实施例的成像设备在于：监视模式搜索方向指示装置基于由面部检测装置过去检测的面部的搜索方向，在监视模式中将图像数据的搜索方向指示给面部检测装置。因此，实现了在监视模式中选择合理地执行面部检测的搜索方向的操作。即，不用从所有方向搜索图像数据，从而使高速面部检测成为可能。

而且，优选地，本成像设备还包括：搜索方向频率判断装置，用于判断面部检测装置检测面部的搜索方向的频率，其中监视模式搜索方向指示装置基于该频率，在监视模式中将图像数据的搜索方向指示给面部检测装置。从而，实现了在监视模式中根据用户(当他或她执行成像时)的习惯(行为模式)来执行面部检测的操作。

而且，优选地，监视模式搜索方向指示装置基于上次由面部检测装置检测的面部的搜索方向，在监视模式中将图像数据的搜索方向指示给面部检测装置。从而，实现了在监视模式中高速高效地从图像数据执行面部检测的操作。

而且，优选地，本成像设备还包括：最大概率判断装置，其用于基于由面部检测装置在至少两个方向上的搜索，计算作为面部的最大概率，以判断该概率最大的搜索方向，其中监视模式搜索指示装置在监视模式中将概率最大的搜索方向作为所述图像数据的搜索方向指示给面部检测装置。因而，实现了在监视模式中高速高效地从图像数据执行面部检测的操作。

而且，优选地，本发明该实施例的成像设备还包括：括倾角检查装置，用于检测偏离成像设备的重力方向的倾角，其中监视模式搜索方向指示装置基于倾角，在监视模式中将图像数据的搜索方向指示给面部检测装置。从而，实现了在监视模式中基于实际成像设备的倾角，执行面部检测的操作。

而且，优选地，本发明该实施例的成像设备还包括：监视模式方向设置装置，用于在监视模式中设置图像数据的搜索方向。从而，实现了允许用户在监视模式中设置搜索方向的操作。

而且，优选地，本发明该实施例的成像设备在于：面部检测装置在假设顺时针方向是正方向的“0度”方向、“+90度”方向、“-90度”方向和“180度”方向中的至少一个方向上，执行图像数据的搜索。从而，实现了只在四种角度方向上执行面部检测的操作。

而且，优选地，本成像设备在于：面部检测装置对于“0度”方向、“+90度”方向、“-90度”方向、和“180度”方向中的每一个方向，在面部倾角的“+45度”至“-45度”范围内检测面部。因此，仅仅通过搜索四种角度方向，考虑到“360度”的整个方向，实现了执行面部检测的操作。

而且，优选地，本发明该实施例的成像设备还包括：记录控制装置，用于记录包含面部检测装置所检测的面部数量的检测结果，作为伴随关于图像数据的图像的信息。因此，实现了使伴随图像数据的图像的信息包含所检测的面部数量的操作。

而且，根据本发明的另一个实施例，提供了一种成像设备，包括：成像设备，用于形成图像，以产生图像数据；面部检查装置，用于从至少一个方向搜索图像数据，以检测图像数据中的面部；捕获模式搜索方向指示装置，用于在捕获模式中将图像数据的搜索方向指示给面部检测装置，该捕获模式为记录图像数据的模式；监视模式搜索方向指示装置，用于在监视模式中将图像数据的搜索方向指示给面部检测装置，该监视模式为显示图像数据的模式；操作装置，用于当操作装置接收到记录图像数据的操作时，提供用于选择捕获模式的信号，以及当操作装置没有接收操作时，提供用于选择监视模式的信号。本发明实现了在记录图像数据时和不记录图像数据时之间，从图像数据中检测面部时改变搜索方向的操作。

而且，根据本发明的另一个实施例，提供了一种在成像设备中执行以下过程的处理方法，该成像设备包括：面部检测装置，用于从至少一个方向搜索图像数据，以检测图像数据中的面部；以及操作装置，用于执行记录图像数据的操作，或者提供了一种程序，用于使计算机执行以下过程，该方法包括以下过程：捕获模式搜索方向指示过程，用于在捕获模式中将图像数据的搜索方向指示给面部检测装置，该捕获模式为记录图像数据的模式；监视模式搜索方向指示过程，用于在监视模式中将图像数据的搜索方向指示给面部检测装置，该监视模式为显示图像数据的模式；模式转换过程，用于在接收到操作时执行到捕获模式的转换，以及在没有接收操作时继续监视模式；使计算机执行这些过程的程序。本方面实现了在记录图像数据时和没有记录图像数据时之间，从图像数据中检测面部时改变搜索方向的操作。

根据本发明，能够实现高速有效地从图像数据中检测面部的良好效果。

附图说明

图1是示出了本发明的一个实施例中的成像设备100的结构的实例的示意图；

图2是示出了本发明该实施例中面部检测单元108的结构的一个实例的示意图；

图3是示出了本发明该实施例中面部搜索单元240的功能图的一个实例的示意图；

图4是示出了本实施例中成像控制单元105的功能结构的一个实例的示意图；

图5A、5B、5C和5D是示出了通过用普通面部模板比较图像数据来搜索面部的方向的示意图；

图6A、6B、6C和6D是示出了结合四种搜索方向的“360度”面部检测和倾斜面部的检测操作的示意图；

图7是示出了本发明该实施例中的成像设备100中搜索图像数据时的流程的示意图；

图8是示出了本发明该实施例中的最大概率处理的流程的示意图；

图9是示出了本发明该实施例中的频率处理的流程的示意图；

图10是示出了本发明该实施例中的设置方向处理的流程的示意图。

具体实施方式

接下来，参考附图具体描述本发明的实施例。

图1是示出了本发明的一个实施例中的成像设备100的结构的一个实例的示意图。成像设备100包括成像单元10、重力方向传感器103、成像控制单元105、图像压缩和扩展单元106、图像随机存取存储器(RAM)107、面部检测单元108、图像显示单元109、面部检测结果RAM 110、和操作单元111。

成像单元10包括透镜组101，图像传感器102、和图像信号处理单元104。透镜组101具有对要在成像装置上成像的目标形成图像的作用，等等。图像传感器102由诸如电荷耦合器件(CCD)制成，通过穿过透镜组101的光，在图像传感器102的图像形成表面上形成图像。当图像传感器102响应于快门操作，接收由成像控制单元105提供的图像捕获定时信号时，图像传感器102将形成在图像形成表面的目标图像转换成图像信号，以将转换的图像信号提供给图像信号处理单元104。

重力方向传感器103由例如陀螺仪传感器制成，并且检测成像设备100对重力方向的倾角。图像信号处理单元104基于成像控制单元105的控制，执行图像信号的处理诸如图像信号的伽马校正、自动增益控制(AGC)等，还执行将图像信号转换成作为数字信号的图像信号的处理。而且，图像信号处理单元104还基于来自成像控制单元105的控制信号执行图像信号的白平衡控制等。成像控制单元105负责整个成像设备100的处理，并且执行图像信号的记录处理和再生处理等。

图像压缩和扩展单元106具有编码和复用由图像信号处理单元104提供的图像信号的编码功能，等等，以将图像信号等转换为压缩数据。另一方面，图像压缩和扩展单元106具有从压缩的数据解码图像信号的解码功能。图像RAM 107用于保存通过图像数据总线112提供的图像数据。在图1中的成像设备100中，图像信号可以在每个块之间直接传输，或者可以通过图像RAM 107在每个块之间间接传输。

面部检测单元108用于检测图像数据中的面部。面部检测单元108的输出包括图像数据的面部的搜索方向、图像数据中面部的位置、图像数据中面部的区域、面部的观察方向、面部的倾角、检测的面部数量等等。如果使用面部检测单元的输出，则诸如自动聚焦、自动白平衡、自动曝光等相机控制变得容易，因此总能够将最优图像数据提供给用户。

通过成像控制单元105将面部检测单元108的输出提供给面部检测结果RAM 110和记录介质113。另外，记录介质113由例如卡形式的封装闪存的存储卡等构成。此外，虽然在图1中记录介质113被作为外部存储器示出，但是记录介质113不限于外部存储器，而是可以采用包括硬盘的结构，该硬盘安装在内部作为记录介质。

图像显示单元109是由例如液晶显示器(LCD)构成，并且用于显示由图像信号处理单元104提供的图像数据。而且，可以采用通过图像RAM 107将图像数据提供给图像显示单元109的结构。

在操作单元111中安装了多个键，例如变焦调节键、用于曝光调节的键、快门键、运动图像拍摄键、图像显示单元109中的显示调节键等等。操作单元111将对应于多个键中的每一个键的操作信号传输到成像控制单元105。成像控制单元105判定哪些键操作单元111操作过，并且根据判定结果执行控制处理。

在本发明该实施例的成像设备100中，当没有按下操作单元111中的快门键时，透镜组101所捕获的图像数据不被记录在记录介质113上，而是实时地原样显示在图像显示单元109上。下文中，操作状态假定称作监视模式，另一方面，当按下操作单元111中的快门键时，通过透镜组101捕获的数据被记录在记录介质113上。在下文中，该操作状态假设被称作捕获模式。在另一方面中，当按下操作单元111中的快门键时，由透镜组101捕获的图像数据被记录到记录介质113上。下文中，该操作状态假定称作捕获模式。

图2是示出了本发明该实施例中面部检测单元108的结构的一个实例的示意图。面部检测单元108包括缩放处理单元210、预处理单元220、面部检测图像保存单元230、面部搜索单元240、和面部检测控制单元250。

缩放处理单元210将图像RAM 107所提供的图像数据改变成具有预定尺寸的图像数据。即，当由图像RAM 107提供的图像数据大于预先设定的预定尺寸时，缩放处理单元210执行缩小图像RAM 107所提供的图像数据的处理。另一方面，当由图像RAM 107提供的图像数据小于预先设定的预定尺寸时，缩放处理单元210执行控制图像RAM 107所提供的图像数据的处理。此外，缩放处理单元210也执行将图像信号处理单元104或图像压缩和扩展单元106所提供的图像数据转换成具有预定尺寸的图像数据的处理。

预处理单元220是一个对图像数据执行预定处理的单元，该图像数据由缩放处理单元210进行了缩小处理或放大处理。作为预定处理，例如假定为用于将图像数据的面部标准化到预定亮度范围的亮度转换处理；用于提取面部的眼睛、鼻子、眉毛、嘴等部位的边缘增强(edge enhancement)处理，等等。当完成以上的处理时，用于从图像数据中检测面部的图像数据的预处理就结束了。预处理单元220将受到上述处理的图像数据提供给面部检测图像保存单元230。面部检测图像保存单元230保存由预处理单元220提供的图像数据。

面部搜索单元240基于预先保存的普通面部模板图像，剪切(clip)保存在面部检测图像保存单元230中的图像数据的一部分，以从图像数据中搜索面部。在这种情况下，当顺时针方向假定为正方向时，例如，在以下每一个方向搜索面部：图像数据旋转了“0度”的方向、图像数据旋转了“+90度”的方向、图像数据旋转了“-90度”的方向、以及图像数据旋转了“180度”的方向。此外，因为假设通过成像设备100旋转“180度”来对目标成像的频率很小，所以可以省略沿180度方向的搜索处理。面部搜索单元240的输出被提供给成像控制单元105。

面部检测控制单元250依照成像控制单元105所提供的信息，控制缩放处理单元210、预处理单元220、面部检测图像保存单元230、和面部搜索单元240。特别地，面部检测控制单元250将例如图像数据的放大比率或缩小比率提供给缩放单元210。而且，面部检测控制单元250将例如亮度转换处理、边缘增强处理等所必须的参数提供给预处理单元220。而且，面部检测控制单元250将例如存储地址提供给面部检测图像存储器。

而且，面部检测控制单元250将例如图像数据的搜索方向等提供给面部搜索单元240。在本发明该实施例的成像设备100中，面部检测单元108在监视模式情况下的图像数据搜索方向与在捕获模式情况下的搜索方向彼此不同。这点在下面描述。

图3示出了本发明该实施例中面部搜索单元240的功能结构的一个实例的示意图。面部搜索单元240包括方向控制单元241、图像剪切单元242、面部模板比较单元243和面部提取单元244。

方向控制单元241是一个基于由面部检测控制单元250指示的图像数据的搜索方向，控制图像剪切单元242、面部模板比较单元243和面部提取单元244中的处理的单元。图像剪切单元242将剪切图像提供给面部模板比较单元243，该剪切图像由剪切面部检测图像保存单元230保存的图像数据的一部分所制得。特别地，图像剪切单元242响应于来自方向控制单元241的指示，剪切由面部检测图像保存单元230保存的图像数据的一部分。当方向控制单元241完成了一系列剪切图像的处理后，方向控制单元241指示图像剪切单元242将剪切图像提供给面部模板比较单元243，该图像的像素相对于上次剪切图像的像素迁移(shift)了预定像素(例如两个像素)。上述的处理被重复执行。

面部模板比较单元243用于使用普通面部模板图像数据来比较图像剪切单元242所提供的剪切图像，模板调整单元243自我保存普通面部模板图像数据以搜索面部。当剪切图像作为搜索结果符合普通面部模板图像时，判定面部存在于该剪切图像中，此处的搜索依照来自面部检测控制单元250的指示而执行。面部模板比较单元243将判断面部存在于其中的搜索方向传输到面部提取单元244。此外，虽然成像设备100的倾角不总是0度、+90度、-90度和180度，但是只要面部的倾角在偏离0度、+90度、-90度和180度中每一个角的±45度的范围内，就能够执行面部的搜索，这将在后面描述。

当通过面部模板比较单元243判定面部存在于图像数据中时，面部提取单元244提取图像数据中的面部的具体位置等。面部提取单元244的输出包括面部在面部模板比较单元243中的图像数据中的搜索方向、面部在图像数据中面部的图像数据中的位置、面部数量等等。面部提取单元244的输出被提供给成像控制单元105。

图4示出了本发明该实施例中成像控制单元105的功能结构的一个实例的示意图。成像控制单元105包括搜索方向频率判断单元311、最大概率判断单元312、监视模式方向设置单元313、方向校正单元314、方向信息选择单元315、捕获模式方向设置单元316、处理指示单元320、监视模式搜索方向指示单元330、捕获模式搜索方向指示单元340、指示选择单元350和记录控制单元360。

搜索方向频率判断单元311是一个监视图像数据中的面部的检测结果的单元，该图像数据保存在面部检测结果RAM 110中并且由面部检测单元108提供，以判断具有检测面部的最高频率的搜索方向。该判断结果被提供给频率选择单元331。在发明该实施例中的成像设备100通电启动后，最大概率判断单元312判断在例如执行了面部的第一检测的多个搜索方向中，哪个搜索方向具有存在该面部的最大概率。搜索方向频率判断单元311判断的结果被提供给最大概率检测选择单元332。

监视模式检测设置单元313是一个允许用户通过操作单元111设置在监视模式中对图像数据的搜索方向的单元。方向校正单元314用于判断在图像旋转“0度”的方向、图像旋转“+90度”的方向、图像旋转“-90度”的方向、和图像旋转“180度”的方向之中，对于图像数据而言，重力方向传感器103所提供的图像100的倾角对应于其中的哪个方向。这将在后面描述，因为只要倾角在偏离0度、+90度、-90度和180度中的每一个角±45度的范围内，就能够执行面部的搜索，例如当成像设备100的倾角到重力方向为20度时，对于图像数据来说，倾角被判断为对应于成像设备100旋转0度的方向。而且，当成像设备100的倾角相对于重力方向为+80度时，倾角被判断为对应于成像设备100旋转+90度的方向。

方向信息选择单元315用于将监视模式方向设置单元313、方向校正单元314和记录控制单元360提供的搜索方向中任何一个搜索方向提供给设置方向选择单元333。该选择基于来自处理指示单元320的指示来执行。

捕获模式方向设置单元316是一个允许用户利用操作单元111设置在捕获模式下搜索图像数据的方向的单元。因为捕获模式是一种成像的图像数据被记录为静止图像数据的模式，所以从图像数据中检测面部的检测率要求较高。另一方面，如果从0度、+90度、-90度和180度中的每一个角度搜索图像数据，那么这种处理花费许多时间。因此，通过利用捕获模式方向设置单元316限制搜索方向，能够实现处理速度的改进。

利用操作单元111设置使用以下哪个功能(上文中描述过)：搜索方向频率判断单元311、最大概率判断单元312、监视模式方向设置单元313、方向校正单元314、方向信息选择单元315和捕获模式方向设置单元316。当利用操作单元111设置功能时，设置功能的信息被提供给处理指示单元320。处理指示单元320将指示选择设置功能所提供的搜索方向的指示提供给方向信息选择单元315和处理选择单元334。

监视模式搜索方向指示单元330是一个在监视模式中对面部搜索单元240执行图像数据的搜索方向的指示的单元，并且该监视模式搜索方向指示单元包括频率选择单元331、最大概率方向选择单元332、设置方向选择单元333和处理选择单元334。频率选择单元331用于基于检测面部的频率最高的搜索方向并且搜索方向频率判断单元311提供了该搜索方向，来选择面部搜索单元240中图像数据的搜索方向，以将选择的搜索方向提供给处理选择单元334。通过基于过去检测到了面部的搜索方向的频率来确定下一个搜索方向，能够选出考虑到了用户习惯(操作模式)的搜索方向。

而且，最大概率方向选择单元332用于基于检测面部的频率最高的搜索方向并且最大概率判断单元312提供了搜索方向来选择搜索方向，以将所选搜索方向提供给处理选择单元334。通过基于检测面部的概率最高的搜索方向来选择搜索方向，对于下一次确定搜索方向，可以省略无用的搜索方向，并且能够实现高速面部检测。

而且，设置方向选择单元333用于基于方向信息选择单元315提供的搜索方向来选择图像数据的搜索方向，以将所选搜索方向提供给处理选择单元334。处理选择单元334用于基于来自处理指示单元320的指示，将频率选择单元331、最大概率选择单元332和设置方向选择单元333所提供的搜索方向中的任一个搜索方向提供给指示选择单元350。

在监视模式中，通过使用上述功能在面部检测中省略图像数据的无用搜索方向，使得高速面部检测成为可能。并且通过实现高速面部检测，能够将面部检测所获得结果高速反馈到自动聚焦、自动白平衡、自动曝光等的控制。

捕获模式搜索方向指示单元340用于在捕获模式中执行图像数据的搜索方向的指示。在捕获模式中的图像数据的搜索方向由上面提及的捕获模式设置单元316提供。另外，假定相对于图像数据，顺时针方向为正方向，那么以下所有搜索方向：图像数据旋转“0度”、“+90度”、“-90度”和“180度”的搜索方向，或者除了该所有方向中图像数据旋转180度之外的搜索方向，被假定为捕获模式中的图像数据的搜索方向。原因是因为图像数据是在捕获模式中被记录，所以希望使面部检测率较高。

当操作单元111提供需要图像数据的记录的需求信号(requirement signal)例如对应于快门键的信号时，指示选择单元350在捕获模式搜索方向指示单元340中选择指示，以将选择的指示提供给面部检测控制单元250。另一方面，当没有提供对应于快门键的信号时，指示选择单元350将监视模式搜索方向指示单元330中的指示提供给面部检测控制单元250。即，成像100在将要求记录图像数据的需求信号从操作单元111提供给指示选择单元350的状态下采用捕获模式，在未将需求信号提供给指示选择单元350的状态下采用监视模式。

记录控制单元360将包含在面部搜索单元240的输出中的搜索方向提供给方向信息选择单元315和面部检测结果RAM 110。而且，当从操作单元111提供需要图像数据的记录的需求信号时，记录控制单元360将对应于需求信号的面部搜索单元240的输出提供给记录介质113作为伴随图像等的信息(例如元数据)。将所提供的伴随图像的信息与图像数据相关联来记录。虽然包含在图像数据中的面部的数量也包含在面部搜索单元240的输出中，但通过记录面部的数量作为与图像数据相联系的伴随图像的信息，基于该数量可检索包含与面部数量一致的面部的图像数据。

图5A到5D是示出了将图像数据与普通面部模板相互比较的方向以及所搜索面部的示意图。图5A示出了普通面部模板402在相对于图像数据401的“0度”方向上的示意图。在这种情况下，基于将普通面部模板402比图像数据401，将图像数据401和普通面部模板402沿作为搜索方向的图5A的箭头方向相互比较。因为图像数据401中的面部的面部方向与普通面部模板402的面部方向一致，所以检测出该面部。

图5B是示出了普通面部模板404在假定顺时针方向设为正方向，相对于图像数据403的“+90度”方向上的示意图。在这种情况下，基于将普通面部模板404比图像数据403，将图像数据403和普通面部模板404沿作为搜索方向的图5B的箭头方向相互比较。因为假定顺时针方向设置为正方向，图像数据403中的面部的每一个面部方向相对于普通面部模板404的面部方向偏转“+90度”，所以没有检测到面部。

图5C是示出了普通面部模板406在假定顺时针方向设为正方向，相对于图像数据405的“-90度”方向上的示意图。在这种情况下，基于将普通面部模板406比图像数据405，将图像数据405和普通面部模板406沿作为搜索方向的图5C的箭头方向相互比较。因为假定顺时针方向设置为正方向，图像数据405中的面部的每一个面部方向相对于普通面部模板406的面部方向偏转“-90度”，所以没有检测到面部。

图5D是示出了普通面部模板408在相对于图像数据407的“180度”方向上的示意图。在这种情况下，基于将普通面部模板408比图像数据407，将图像数据407和普通面部模板408沿作为搜索方向的图D的箭头方向相互比较。因为图像数据407中的面部的每一个面部方向相对于面部模板408的面部方向偏转“180度”，所以没有检测到面部。

图6A-6D是示出了通过结合四种搜索方向进行的“360度”方向的面部检测以及倾斜面部的检测操作的示意图。图6A示出了相对于图像数据旋转“0度”的方向作为搜索方向的示意图。假定顺时针方向设为正方向，与位于中心的面部相比，具有两个倾斜“+45度”或“-45度”的面部。通过搜索相对于图像数据旋转“0度”的方向，能够检测到与位于中心的面部相比，具有在“+45度”到“-45度”范围内的倾角的面部。

图6B是示出了假定顺时针方向为正方向，相对于图像数据旋转“+90度”的方向作为搜索方向的示意图。图6C是示出了假定顺时针方向为正方向，相对于图像数据旋转“-90度”的方向作为搜索方向的示意图。图6D是示出了相对于图像数据旋转“+180度”的方向作为搜索方向的示意图。同时在这些情况下，类似于图6A的情况，通过在每个方向的搜索能够检测到具有在“+45度”到“-45的”范围内的倾角的面部。因此，假定顺时针方向设为正方向，通过在相对于图像数据旋转“0度”、“+90度”的、“-90度”和“180度”的方向上搜索，使得能够进行“360度”方向搜索，并且无论面部的姿势如何，都能够检测到所有的面部。

下面将描述当面部这样倾斜时，面部的检测方向。首先，通过获得面部图像数据的倾角来校正面部图像的倾角。因此，假定顺时针方向设为正方向，通过在相对于图像数据旋转“0度”、“+90度”、“-90度”和“180度”的方向上执行搜索，使得能够进行“360度”方向搜索。特别是，面部的图像数据旋转了预定的角度。在所旋转的旋转图像数据的面部中，面部的中心线被确定，并且计算此时中心线的概率。类似于上述的处理以其它预定角度执行，以计算每条中心线的概率。监视每条中心线的概率，以检测中心线概率最高的角度。该角被确定为面部的倾角。当面部的倾角已知时，假定顺时针设为正方向，通过考虑到倾斜角来旋转图像数据，在相对于图像数据旋转“0度”、“+90度”、“-90度”和“180度”的方向中的任意一个方向上进行搜索。

接下来，参考附图描述本发明实施例的操作。

图7是示出了本发明该实施例的成像设备100中搜索图像数据的流程的示意图。当按下快门用于在成像设备100中的图像中记录图像数据时，成像设备100进入捕获模式。当没有按下快门时，成像设备采用监视模式(步骤S911)。在捕获模式中，由面部检测单元108在成像的图像数据中搜索面部。当在成像的图像数据中搜索面部时，将先前保存的普通面部模板图像数据和在成像后由参考图2所描述的预定处理所接收的图像数据(下面，图像数据称作“已成像并处理的图像数据”)相互比较，其中，所述预定处理由缩放处理单元210和预处理单元220执行。

在调整时，首先，将普通面部模板图像数据和已成像并处理的图像数据在相对于图像数据“0度”旋转的方向上相比较，以搜索面部(步骤S912)。接下来，在假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向上相互比较普通面部模板图像数据和已成像并处理的图像数据，以搜索面部(步骤S913)。接下来，在假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向上相互比较普通面部模板图像数据和已成像并处理的图像数据，以搜索面部(步骤S914)。接下来，将普通面部模板图像数据和已成像并处理的图像数据在相对于图像数据“180度”旋转的方向上相互比较，以搜索面部(步骤S915)。从步骤S912到步骤S915的处理结果反映在改善图像数据的图像质量的处理上。另外，因为在步骤S912到步骤S915之间的步骤S915中的处理是在“180度”方向上的处理，并且在“180度”方向上检测的频率很低，所以步骤S915的处理可以省略。

在另一方面，在监视模式中，过程根据用户关于面部搜索而预先设定的处理(步骤S916)而变化。搜索图像数据中的面部的第一处理是以下的最大概率处理：在假定顺时针方向设为正方向，相对于图像数据“0度”旋转、“+90度”旋转、“-90度”旋转和“180度”旋转的方向上搜索面部的，以将具有面部存在的最高概率的搜索方向设为下一个面部的搜索方向(步骤S917)。搜索图像数据中的面部的第二处理是以下的频率处理：以预定长时间监视包含于面部检测单元108的输出中的图像数据的搜索方向，以将具有最大频率的搜索方向设为面部的下一搜索方向(步骤S918)。从图像数据中搜索面部的第三处理是设置搜索方向的设置方向处理，用户已经预先设置该方向为搜索方向(步骤S919)。步骤S917到步骤S919中任何一个处理都被反映到自动聚焦、自动白平衡、自动曝光等的控制。

另外，在设置方向处理中，也有可能不仅使用用户已经预先设定的搜索方向，而且可以使用由重力方向传感器103和方向校正单元314确定的搜索方向，以及先前帧中已经检测到面部的搜索方向。

图8是示出了本发明该实施例的最大概率处理的流程的示意图。在最大概率处理中，首先有必要在假定顺时针方向设为正方向，相对于图像数据“0度”旋转、“+90度”旋转、“-90度”旋转和“180度”旋转的方向上搜索面部。该搜索称为第一搜索。首先，判断是否已经执行了第一搜索(步骤S931)。

当判定还没有执行第一搜索时，首先，将普通面部模板图像数据和已成像并处理的图像数据在相对于图像数据“0度”旋转的方向上相互比较，以搜索面部(步骤S932)。接下来，假定顺时针方向设为正方向，将普通面部模板图像数据和已成像并处理的图像数据在相对于图像数据“+90度”旋转的方向上相互比较，以搜索面部(步骤S933)。接下来，假定顺时针方向设为正方向，将普通面部模板图像数据和已成像并处理的图像数据在相对于图像数据“-90度”旋转的方向上相互比较，以搜索面部(步骤S934)。接下来，将普通面部模板图像数据和已成像并处理的图像数据在相对于图像数据“180度”旋转的方向上相互比较(步骤S935)。另外，因为在步骤S932到步骤S935之间的步骤S935中的处理是“180度”方向的处理，而在“180度”方向上检测面部的频率很低，所以步骤S935中的处理可以省略。因此，使得高速面部检测成为可能。

当判定已经执行了第一搜索时，基于第一搜索的结果，判断具有面部存在的最高概率的搜索方向是否是第一搜索中相对于图像数据“0度”旋转的方向(步骤S936)。当判定具有面部存在的最高概率的搜索方向是第一搜索中相对于图像数据“0度”旋转的方向时，只在相对于图像数据“0度”旋转的方向上执行搜索面部(步骤S937)。不执行另一搜索方向上的处理。

当判定具有面部存在的最大概率的搜索方向不是第一搜索中相对于图像数据“0度”旋转的方向时，接下来基于第一搜索结果，判断具有面部存在的最大概率的搜索方向是否为假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向(步骤S938)。当判定具有面部存在的最大概率的搜索方向是第一搜索中假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向时，只在假定顺时针方向设为正方向，相对于图像数据“+90”旋转的方向上执行面部搜索(步骤S939)。不执行其他搜索方向上的处理。

当判定具有面部存在的最大概率的搜索方向不是第一搜索中假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向时，接下来，基于第一搜索的结果，判断具有面部存在的最大概率的搜索方向是否为假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向(步骤S940)。当判定具有面部存在的最大概率的搜索方向是第一搜索中假定顺时针方向是正方向，相对于图像数据“-90度”旋转的方向时，则只在假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向上执行面部搜索(步骤S941)。不执行其他搜索方向上的处理。

当判定具有面部存在的最大概率的搜索方向不是第一搜索中假定顺时针方向是正方向，相对于图像数据“-90度”旋转的方向时，接下来基于第一搜索结果，判断具有面部存在的最大概率的搜索方向是否为相对于图像数据“180度”旋转的方向(步骤S942)。当判定具有面部存在的最大概率的搜索方向是第一搜索中相对于图像数据“180度”旋转的方向时，则只在“180度”旋转方向执行面部搜索(步骤S943)。不执行其他搜索方向上的处理。

当判定具有面部存在的最大概率的搜索方向不是第一搜索中相对于图像数据“180度”旋转的方向时，这导致假定顺时针方向设为正方向，在相对于图像数据“0度”旋转、“+90度”旋转、“-90度”旋转、和“180度”旋转的方向上检测不到面部。因此，第一搜索应该在下一次再次执行。即，执行从步骤S932到步骤S935的处理。

此外，当重力方向传感器103检测到成像设备100的倾角的变化时，即使在判断步骤S931的第一搜索的执行之后，也可以再次执行第一搜索，以执行具有面部存在的最大概率的搜索方向的判断的处理。

图9是示出了本发明该实施例的频率处理的流程的示意图。在频率处理中，首先判断是否已确定具有最大概率的搜索方向(步骤S951)。当还没有确定具有最大频率的搜索方向时，类似于在参考图7所描述的捕获模式的情况下面部的搜索，在假定顺时针方向设为正方向，相对于图像数据“0度”旋转、“+90度”旋转、“-90度”旋转、“180度”旋转的方向中的每一个方向上执行面部搜索(步骤S952-S955)。重复从步骤S952到步骤S955的处理直到确定具有最大频率的搜索方向。

当确定了具有最大频率的搜索方向时，接下来判断具有最大频率的搜索方向是否为旋转方向(步骤S956)。当判定具有最大频率的搜索方向是相对于图像数据旋转“0度”的方向时，则只在相对于图像数据旋转“0度”的方向上执行面部搜索(步骤S957)。

当判定具有最大频率的搜索方向不是假定顺时针方向设为正方向，相对于图像数据“0度”旋转的方向时，接下来判断具有最大频率的搜索方向是否为相对于图像数据“+90度”旋转的方向(步骤S958)。当判定具有最大频率的搜索方向是假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向时，则只在假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向上执行面部搜索(步骤S959)，而不执行其他方向上的处理。

当判定具有最大频率的搜索方向不是假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向时，接下来判断具有最大频率的搜索方向是否为假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向(步骤S960)。当判定具有最大频率的搜索方向是假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向时，则只在相对于图像数据“-90度”旋转的方向上执行面部搜索(步骤S961)。不执行其他方向上的处理。

当判定具有最大频率的搜索方向不是假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向时，具有最大频率的搜索方向是相对于图像数据“180度”旋转的方向。因此，在相对于图像数据“180度”旋转的方向上执行面部搜索。

图10是示出了本发明该实施例的设置方向处理的流程的示意图。首先判断用户预先设定的搜索方向是否为相对于图像数据“0度”旋转的方向(步骤S971)。当判定用户预先设置的搜索方向是相对于图像数据“0度”旋转的方向时，则在相对于图像数据“0度”旋转的方向上执行面部搜索(步骤S972)。

当判定用户预先设定的搜索方向不是相对于图像数据“0度”旋转的方向时，或者当步骤S972的处理完成时，接下来判断用户预先设定的搜索方向是否为假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向(步骤S973)。当判定用户预先设定的搜索方向是相对于图像数据“+90度”旋转的方向时，在假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向上执行面部搜索(步骤S974)。

当判定用户预先设定的搜索方向不是假定顺时针方向设为正方向，相对于图像数据“+90度”旋转的方向时，或者当步骤S974的处理完成时，接下来判断用户已经预先设定的搜索方向是否为假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向(步骤S975)。当判定用户预先设定的搜索方向是假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向时，则在假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向上执行面部搜索(步骤S976)。

当判定用户已经预先设定的搜索方向不是假定顺时针方向设为正方向，相对于图像数据“-90度”旋转的方向时，或者当步骤S976的处理完成时，接下来判断用户预先设定的搜索方向是否为相对于图像数据“180度”旋转的方向(步骤S977)。当判定用户预先设定的搜索方向是相对于图像数据“180度”旋转的方向时，在相对于图像数据“180度”旋转的方向上执行面部搜索(步骤S978)。

另外，如上所述的，在设置方向处理中，不仅可以使用用户已经预先设定的搜索方向，而且可以使用由重力方向传感器103和方向校正单元314确定的方向，以及已经在前面的帧中检测到面部的搜索方向。因此，通过将以上的描述中的章节“用户预先设定的搜索方向”改读为“通过重力方向传感器103和方向校正单元314确定的搜索方向”或“已经在前面的帧中检测到面部的搜索方向”，对于由重力方向传感器103和方向校正单元314确定的每个搜索方向，以及已经在前面的帧中检测到面部的搜索方向，也都可以通过类似的处理来执行面部搜索。

如上所述，根据本发明的该实施例，在监视模式中，能够实现高速面部检测，并且基于面部检测处理的结果，面部检测处理能够高速地反馈给自动聚焦控制、自动白平衡控制、自动曝光控制等。另一方面，在捕获模式中，通过维持着高检测率来执行面部检测，确实实现了执行改善所记录的图像数据的图像质量的处理。

另外，本发明的该实施例作为用于实现本发明的实例被示出，并且和下面的权利要求中所示的发明指定的主题具有对应关系。然而，本发明并不限于该实施例，在不脱离本发明的主题的范围的情况下，可以进行各种修改。

即，在权利要求1中，面部检测装置对应于例如面部检测单元108。而且，捕获模式搜索方向指示装置对应于例如捕获模式指示单元340。而且，监视模式搜索方向指示装置对应于例如监视模式搜索方向指示单元330。

而且，在权利要求2中，操作装置对应于例如操作操作单元111。

而且，在权利要求3中，捕获模式方向设置装置对应于例如捕获模式方向设置单元316。

而且，在权利要求5中，搜索方向频率判断装置对应于例如搜索方向频率判断单元311。

而且，在权利要求7中，最大概率判断装置对应于最大概率判断单元312。

而且，在权利要求8中，倾角检测装置对应于例如重力方向传感器103。

而且，在权利要求9中，监视模式方向设置装置对应于例如监视模式方向设置单元313。

而且，在权利要求12中，记录控制装置对应于例如记录控制单元360。

而且，在权利要求13中，成像装置对应于例如成像单元10。而且，面部检测装置对应于例如面部检测单元108。而且，捕获模式搜索方向指示装置对应于例如捕获模式搜索方向指示单元340。而且，监视模式搜索方向指示装置对应于例如监视模式搜索方向指示单元330。而且，操作装置对应于例如操作单元111。

而且，在权利要求14中，捕获模式搜索方向指示过程对应于例如步骤S912到步骤S915。而且，监视模式搜索方向指示过程对应于例如步骤S916到步骤S919。而且，模式转换过程对应于步骤S911。

而且，在权利要求15中，捕获模式搜索方向指示步骤对应于例如步骤S912到步骤S915。而且，监视模式搜索方向指示步骤对应于例如步骤S916到步骤S919。而且，模式转换步骤对应于例如步骤S911。

另外，在本发明的实施例中描述的处理过程可以被当作一种方法，该方法包括一系列过程。而且，处理过程可以被当作一种用于使计算机执行一系列过程的程序，或存储程序的记录介质。

本领域技术人员应该理解，在权利要求和其等同物的范围内，根据设计需要和其他因素，本发明可以进行各种修改、组合、子组合以及替换。

Claims (15)

1.一种成像设备，包括：

面部检测装置，用于从至少一个方向搜索图像数据，以检测所述图像数据中的面部；

捕获模式搜索方向指示装置，用于在捕获模式中将所述图像数据的搜索方向指示给所述面部检测装置，所述捕获模式是记录所述图像数据的模式；以及

监视模式搜索方向指示装置，用于在监视模式中将所述图像数据的所述搜索方向指示给所述面部检测装置，所述监视模式是显示所述图像数据的模式。

2.根据权利要求1所述的成像设备，还包括操作装置，用于当接收到记录所述图像数据的操作时，提供用于选择所述捕获模式的信号，以及当没有接收到所述操作时，提供用于选择所述监视模式的另一信号。

3.根据权利要求1所述的成像设备，还包括捕获模式方向设置装置，用于在所述捕获模式中设置所述图像数据的所述搜索方向。

4.根据权利要求1所述的成像设备，其中，所述监视模式搜索方向指示装置基于由所述面部检测装置在过去检测的面部的搜索方向，在所述监视模式中将所述图像数据的所述搜索方向指示给所述面部检测装置。

5.根据权利要求4所述的成像设备，还包括搜索方向频率判断装置，用于判断所述面部检测装置检测所述面部的搜索方向的频率，

其中，所述监视模式搜索方向指示装置基于所述频率，在所述监视模式中将所述图像数据的所述搜索方向指示给所述面部检测装置。

6.根据权利要求4所述的成像设备，其中，所述监视模式搜索方向指示装置基于所述面部检测装置上次检测所述面部的所述搜索方向，在所述监视模式中将所述图像数据的所述搜索方向指示给所述面部检测装置。

7.根据权利要求4所述的成像设备，还包括最大概率判断装置，其用于基于由所述面部检测装置在至少两个方向上的搜索，计算作为面部的概率，以判断所述概率最大的搜索方向，

其中，所述监视模式搜索方向指示装置在所述监视模式中将所述概率最大的搜索方向作为所述图像数据的所述搜索方向指示给所述面部检测装置。

8.根据权利要求1所述的成像设备，还包括倾角检测装置，用于检测偏离所述成像设备的重力方向的倾角，

其中，所述监视模式搜索方向指示装置基于所述倾角，在所述监视模式中将所述图像数据的所述搜索方向指示给所述面部检测装置。

9.根据权利要求1所述的成像设备，还包括监视模式方向设置装置，用于在所述监视模式中设置所述图像数据的所述搜索方向。

10.根据权利要求1所述的成像设备，其中，假定顺时针方向是正方向，所述面部检测装置在“0度”方向、“+90度”方向、“-90度”方向、和“180度”方向中的至少一个方向上，执行所述图像数据的搜索。

11.根据权利要求10所述的成像设备，其中所述面部检测装置对于所述图像数据的“0度”方向、“+90度”方向、“-90度”方向、和“180度”方向中的每一个方向，在面部倾角为“+45度”到“-45度”范围内检测面部。

12.根据权利要求1所述的成像设备，还包括记录控制装置，用于记录包含所述面部检测装置所检测的面部数量的检测结果，作为伴随与所述图像数据关联的图像的信息。

13.一种成像设备，包括：

成像装置，用于形成图像，以产生图像数据；

面部检测装置，用于从至少一个方向搜索所述图像数据，以检测所述图像数据中的面部；

捕获模式搜索方向指示装置，用于在捕获模式中将所述图像数据的搜索方向指示给所述面部检测装置，所述捕获模式是记录所述图像数据的模式；

监视模式搜索方向指示装置，用于在监视模式中将所述图像数据的所述搜索方向指示给所述面部检测装置，所述监视模式是显示所述图像数据的模式；以及

操作装置，用于当所述操作装置接收到记录所述图像数据的操作时，提供用于选择所述捕获模式的信号，以及当所述操作装置没有接收到所述操作时，提供用于选择所述监视模式的信号。

14.一种用于成像设备的处理方法，所述成像设备包括：面部检测装置，用于从至少一个方向搜索图像数据，以检测所述图像数据中的面部；操作装置，用于执行记录所述图像数据的操作，所述方法包括以下过程：

捕获模式搜索方向指示过程，用于在捕获模式中，将所述图像数据的搜索方向指示给所述面部检测装置，所述捕获模式是记录所述图像数据的模式；

监视模式搜索方向指示过程，用于在监视模式中，将所述图像数据的所述搜索方向指示给所述面部检测装置，所述监视模式是显示图像数据的模式；以及

模式转换过程，用于在接收到所述操作时执行向所述捕获模式的转换，以及在没有接收到所述操作时继续所述监视模式。

15.一种成像设备可执行的程序，所述成像设备包括：面部检测装置，用于从至少一个方向搜索图像，以检测所述图像数据中的面部；操作装置，用于执行记录所述图像数据的操作，所述程序包括以下步骤：

捕获模式搜索方向指示步骤，用于在捕获模式中，将所述图像数据的搜索方向指示给所述面部检测装置，所述捕获模式是记录所述图像数据的模式；

监视模式搜索方向指示步骤，用于在监视模式中，将所述图像数据的所述搜索方向指示给所述面部检测装置，所述监视模式是显示图像数据的模式；以及

模式转换步骤，用于在接收到所述操作时执行向所述捕获模式的转换，以及在没有接收到所述操作时继续所述监视模式。

Images