CN103210332B - 摄像装置、摄像装置的对焦控制方法及集成电路 - Google Patents

Abstract

在以对比度方式对脸图像区域进行对焦的摄像装置中，使聚焦控制的稳定性提高。通过人物检测电路（2）的使用阈值（Thh1）的人物图像检索和脸检测电路（3）的使用阈值（Thf1）的脸图像检索，在摄像图像中检测到相当于某个人物的全身的全身图像区域和相当于同一人物的脸的脸图像区域的情况下，脸检测电路（3）对于检测出的脸图像区域，使用能够以比使用阈值（Thf1）的脸图像检索高的精度来进行脸图像检索的阈值（Thf2）进行再判断。

Description

摄像装置、摄像装置的对焦控制方法及集成电路

技术领域

本发明涉及数字静止照相机(still camera)、视频摄像机等的摄像装置的聚焦控制技术，特别涉及通过对比度方式进行对焦的聚焦控制技术。

背景技术

所谓对比度方式的聚焦控制，是着眼于在摄像图像中作为想要对焦的区域的焦点搜索区域的对比度、使焦点搜索区域的对比度为最高的聚焦透镜的位置成为对焦状态的聚焦控制方法。此外，在摄像装置中，具备从摄像图像中检测包含人物的脸的区域的脸检测功能的装置较多，通过将由脸检测功能检测出的区域作为焦点搜索区域，能够得到用对比度方式的聚焦控制对焦在人物的脸上的适当的摄像图像。

但是，一般脸检测功能是捕捉眼睛、鼻子、嘴等的特征的技术，所以在能够检测的脸的朝向上有限制。例如，不能检测出朝后、或者朝向为横向以至于眼睛被遮挡的人物的脸。因此，即使将焦点对在人物上而拍摄动态图像，如果在中途人物朝向后方，则也有可能脸检测失败而焦点变得不稳定。此外，在人物从拍摄范围外进入画格等的情况下，焦点也不能对在人物上直到该人物将脸朝向摄像装置的方向。

作为防止这样的焦点的不稳定的技术，有专利文献1中公开的技术。在专利文献1所公开的技术中，在通过脸检测功能检测到人物的脸的情况下，使用对比度方式的聚焦控制。另一方面，在未检测到脸的情况下，使用相位差检测方式的聚焦控制，并且对该相位差检测方式下的聚焦控制范围施加限制以使焦点位置不会对在背景等上。具体而言，从稳定地检测出脸的状态暂时成为未检测出的状态，并采用相位差检测方式的聚焦控制时，在用相位差检测方式测距的焦点位置是背景等、不是在脸检测时以对比度方式对焦的焦点位置附近的情况下，限制聚焦控制范围，抑制焦点的不稳定。

此外，在专利文献2中，公开了从摄像图像中检测相当于人物的人物区域、从检测出的人物区域中将通过预先决定的表示脸部分的相对位置及相对的大小的区域规定信息所表示的区域假定为脸区域的技术。这里，作为检测人物区域的技术（人物检测），例如有非专利文献1。根据非专利文献1所公开的技术，通过使用将边缘梯度(edge gradient)的直方图连结后的特征量，能够捕捉人物的形状。因此，例如能够也检测到朝后的人物。此外，由于按照每个块提取特征量，所以能够容许人物的形状的部分性的变化，作为结果，也容许某种程度的姿态的变动。通过使用这样的人物检测技术，不论脸的朝向如何都能够从摄像图像中检测到相当于人物的位置。

现有技术文献

专利文献

专利文献1：日本特开2010－015024号公报

专利文献2：日本特开2010－199903号公报

非专利文献

非专利文献1：Tomoki Watanabe，″Co-occurrence Histograms of OrientedGradients for Pedestrian Detection，″PSIVT 2009，PP.37－47，2009.

发明概要

发明要解决的问题

但是，在专利文献1所公开的技术中使用的相位差检测方式的聚焦控制中，除了摄像元件外，还需要为了焦点距离检测专用的传感器。因此，照相机的小型化变得困难，虽然能够在单反照相机那样的一部分照相机中采用，但在紧凑型照相机中，因为设备的内部空间的制约而难以采用。

此外，为了通过实用性的精度进行人物检测，如非专利文献1所公开的技术那样，需要容许姿态的变动的鲁棒性。因此，难以使用对人物区域预先决定的脸部分的相对位置及相对的大小而稳定地确定脸区域。因而，在专利文献2所公开的技术中，根据人物的姿态不同，有在假定为脸区域的区域中包含许多背景部分的情况，在此情况下有可能焦点对在背景部分上等而使得焦点不稳定。

发明内容

本发明鉴于这样的问题，目的是提供一种在以对比度方式进行对焦的情况下能够提高聚焦控制的稳定性的摄像装置。

用于解决问题的手段

为了达到上述目的，有关本发明的摄像装置，在摄像图像中进行人物的图像的检索，其特征在于，具备：检索机构，按照规定的检索条件，检索包含相当于某个人物的全身的被摄体图像的区域、和包含相当于同一人物的规定的部位的部分图像的区域这两个区域的组合；以及判断机构，判断上述规定的检索条件的检索是否成功；上述检索机构在上述规定的条件的检索成功的情况下，对于通过上述检索检测到的有关同一人物的包含被摄体图像的区域及包含部分图像的区域中的至少一个区域，改变精度再次判断是否包含检索对象的图像。

发明效果

有关本发明的摄像装置通过在用于解决问题的手段中记载的结构，在以组合来检测有关同一人物的被摄体图像区域和部分图像区域的情况、和在检测到被摄体图像区域和部分图像区域的组合后对检测到的区域再次判断是否包含检索对象的图像的情况下，使用适合于各个检索的不同的检索条件。由此，通过以组合来检索被摄体图像区域和部分图像区域，能够在抑制人物的检测遗漏的同时、将以组合检索时误检测出的区域通过再判断排除，使人物或脸的检出率提高。检出率的提高带来焦点搜索区域的稳定化，带来对比度方式的聚焦控制的不稳定的抑制。

附图说明

图1是有关第1实施方式的摄像装置的框图。

图2是表示脸检测步骤的流程图。

图3是人物检测步骤的流程图。

图4是聚焦控制处理的流程图。

图5是表示脸检测结果与人物检测结果的综合步骤的流程图。

图6是表示脸检测结果及人物检测结果的图。

图7是表示从摄像图像中通过人物检测检测出的人物区域的图。

图8是表示在人物检测的学习中利用的学习图像的图。

图9是表示综合结果的脸区域的尺寸与尺寸组的关系的图。

图10是表示脸检测结果、人物检测结果及综合后的检测结果的图。

图11是说明在人物区域内设定的焦点检测区域候选的图。

图12是表示有关第2实施方式的焦点搜索区域设定处理的流程图。

图13是表示有关第2实施方式的变形例的焦点搜索区域设定处理的流程图。

图14是表示在与人物之间有障碍物的情况下的基准区域的一例的图。

图15是说明两个焦点检测区域候选的距离的图。

图16是说明人物区域内的焦点检测区域候选的位置的修正量的图。

图17是有关第2实施方式的聚焦控制处理的流程图。

图18是表示第4实施方式的脸检测结果与人物检测结果的综合步骤的流程图。

图19是表示第4实施方式的再判断处理的详细情况的流程图。

图20是表示脸检测结果、人物检测结果及综合后的检测结果的图。

图21是表示成为前倾姿态的人物像的图。

图22是表示第5实施方式的脸检测结果、人物检测结果及综合后的检测结果的图。

图23是表示第5实施方式的脸图像的再判断结果的框显示的一例的图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

（第1实施方式）

图1是表示有关本发明的第1实施方式的摄像装置的结构的图。本图所示的摄像装置1是数字静止照相机，由脸检测电路2、人物检测电路3、处理器4、运动检测电路5、声音处理电路6、图像编码电路7、LCD输出电路8、图像输入电路9、聚焦驱动部10、光圈驱动部11、内部IO总线12、存储总线13、闪式存储器14、图像存储器15、LCD（Liquid CrystalDisplay：液晶显示器）16、A/D变换电路17、摄像元件18、光圈19及聚焦透镜20构成。

聚焦透镜20、光圈19是构成摄像光学系统的要素。聚焦透镜20能够按照聚焦驱动部10的控制而在光轴方向上移动。光圈19按照光圈驱动部11的控制而调整光量。进而，虽然没有图示，但摄像装置1也可以具备变焦距透镜或快门，由它们构成摄像光学系统。

摄像元件18是由CCD传感器或CMOS传感器构成的作为光电变换元件的摄像元件。摄像元件18对由摄像光学系统形成的被摄体像进行拍摄，将影像信号输出。

A/D变换电路17是将由摄像元件18输出的作为模拟信号的影像信号向数字信号变换的变换器。从A/D变换电路17输出的数字数据从图像输入电路9被取入。

图像输入电路9对于来自A/D变换电路17的数字数据进行像素插补处理及颜色变换处理，生成摄像图像的图像信号。通过以上的摄像元件18、A/D变换电路17及图像输入电路9，实现作为从由摄像光学系统形成的光学像得到摄像图像的摄像机构的功能。将图像输入电路9生成的图像信号输入到图像存储器15中。图像输入电路9还根据摄像图像中的指定的区域的亮度值，进行表示被摄体的对焦状态的值（例如作为AF评价值的图像的对比度值）的计算、及表示被摄体的明亮程度的值（例如作为AE评价值的图像的明亮程度）的计算。

处理器4通过程序作为运算处理装置及控制装置发挥功能，通过将存储在闪式存储器14中的程序读入并执行，控制摄像装置1内的各构成要素的处理。作为通过处理器4执行程序而实现的功能，例如有作为基于从图像输入电路9取得的作为AF评价值的图像的对比度值来计算聚焦透镜20的对焦位置的聚焦控制机构的功能、以及作为基于作为AE评价值的图像的明亮程度计算光圈19的光圈量的光圈控制机构的功能。处理器4基于这些计算值，对聚焦驱动部10或光圈驱动部11输出控制信号，控制摄像光学系统。另外，在本实施方式中是处理器4仅1个的结构，但也可以由多个处理器构成。

图像编码电路7接受编码前的图像信号，例如在静止图像的情况下以JPEG形式、在动态图像的情况下以MPEG或H.264形式等的编码形式对图像信号进行编码处理。图像编码电路7将编码数据向图像存储器15或外部的记录介质输出。

LCD输出电路8是接受从图像输入电路9输出到图像存储器15中的图像数据、向LCD16显示图像的图像显示机构。除了图像存储器15中的拍摄前的图像以外，还显示摄像装置1的各种设定等。此外，也显示用来明示由后述的脸检测电路2及人物检测电路3检测到的被摄体的框等。例如，对于由脸检测电路2检测出的脸区域，在匹配于脸的位置、大小而调整框的位置、大小后，叠加显示在图像上。此外，LCD输出电路8还具有作为将表示在处理器4的聚焦控制中使用对比度值对焦了的焦点搜索区域的框叠加显示在图像上的焦点搜索区域显示机构的功能。

LCD16是显示摄像图像的显示设备。在本实施方式中，作为显示设备而使用LCD，但也可以由其他显示设备（有机EL等）构成。

脸检测电路2是取得保存在图像存储器15中的摄像图像、在摄像图像内检测包含脸图像的脸区域的检索机构。将脸检测电路2的检测结果作为聚焦控制中的焦点搜索区域的候选向处理器4通知。

人物检测电路3是取得保存在图像存储器15中的摄像图像、在摄像图像内检测包含人物图像的人物区域的检索机构。将人物检测电路3的检测结果作为聚焦控制中的焦点搜索区域的候选向处理器4通知。

运动检测电路5按照每规定时间取得人物检测电路3的检测结果，根据人物区域的大小和位置的变化计算人物的移动速度。

以上是关于摄像装置的结构的说明。

接着，对在摄像装置中执行的各处理进行说明。

<脸检测处理>

首先，参照图2说明脸检测电路2的脸检测处理的处理流程。在脸检测处理中，首先通过处理器4将作为是否是脸图像的判断的阈值的脸检测参数设定到脸检测电路2中（步骤S301）。根据该脸检测参数，脸检测电路2控制以后的动作。首先，脸检测电路2将保存在图像存储器15中的摄像图像读入，以预先决定的尺寸（例如，窗口尺寸24×24像素）的窗口，切割出检索脸图像的检索区域（步骤S302）。接着，计算该窗口内的特征量（步骤S303）。作为该特征量的例子，有亮度值的明暗样式(pattern)。通过预先学习构成脸的要素（例如，眼睛、鼻子、嘴、下巴等）的明暗样式的特征、得到对应于明暗样式的评价值，能够进行脸/非脸的识别。根据特征量计算通过学习得到的评价值（步骤S304），与作为脸检测参数设定的阈值比较，判断是否是脸（步骤S305）。判断为脸者，作为检测结果而输出脸的位置信息（例如检测到脸的检索区域的中心坐标）、脸的大小信息及脸的朝向信息（步骤S307）。通过将以上的处理对读出的摄像图像中的全部窗口位置实施，完成对于摄像图像整体的脸检测处理。另外，虽然在流程图中没有图示，但优选的是为了检测不同大小的脸图像而对将所读出的摄像图像缩小后的一些样式的图像反复进行同样的处理。另外，也可以是本实施方式以外的脸检测方法。

<人物检测处理>

接着，参照图3说明由人物检测电路3进行的人物检测处理的处理流程。在人物检测处理中，首先通过处理器4将作为是否是人物图像的判断的阈值的人物检测参数设定到人物检测电路3中（步骤S401）。根据该人物检测参数，人物检测电路3控制以后的动作。首先，人物检测电路3将保存在图像存储器15中的摄像图像读入，通过预先决定的尺寸（例如，窗口尺寸64×128像素）的窗口将检索人物图像的检索区域切割出（步骤S402）。接着，计算该窗口内的特征量（步骤S403）。作为该特征量的例子，有亮度值的边缘梯度的直方图。通过将人物的轮廓的边缘梯度的直方图作为特征预先学习而得到评价值，能够进行是否是人物的识别。计算根据特征量通过学习得到的评价值（步骤S404），与设定为人物检测参数的阈值比较（步骤S405），判断是否是人物。判断为人物者，作为检测结果，输出人物的位置信息（例如检测出人物的检索区域的中心坐标）、人物的大小信息及人物的朝向信息（步骤S407）。通过将以上的处理对读出的摄像图像中的全部窗口位置实施，完成对于摄像图像整体的人物检测处理。另外，虽然在流程图中没有图示，但优选的是为了检测不同大小的人物图像而对将摄像图像缩小后的一些样式的图像反复进行同样的处理。

另外，也可以是本实施方式以外的人物检测方法。此外，通过人物检测检测的区域并不限于全身像，也可以是包含仅有上半身的图像的区域。

这里，在脸检测处理中使用的图像与在人物检测处理中使用的图像也可以并不一定是相同的图像。例如，只要是在同一时点拍摄的、或者以微小的间隔连续拍摄的图像，例如也可以是分辨率不同的图像。即，也可以是，脸检测处理为QVGA（320×240）等的低分辨率图像，人物检测处理为VGA（640×480）等的高分辨率图像。当然，也可以都输入例如QVGA等的相同的图像。

另外，在本实施方式中具备脸检测电路2和人物检测电路3，但也可以将它们的某个或两者通过在处理器4上动作的程序实现。

以上是脸检测处理及人物检测处理的说明。

<聚焦控制处理>

接着，对通过处理器4执行程序而执行的聚焦控制处理进行说明。图4是表示聚焦控制处理的流程图。首先，对最新的影像信号执行人物检测处理（步骤S101）及脸检测处理（步骤S102），取得检测出的脸区域及人物区域的信息。这里，脸检测和人物检测既可以并行执行，也可以将脸检测和人物检测依次执行。依次执行的情况下的处理顺序没有限制。

基于所取得的脸区域的信息和人物区域的信息，对有关同一人物的信息进行检测结果的综合处理（步骤S103）。图5是表示脸检测结果和人物检测结果的综合处理的详细情况的流程图。在结果综合处理中，首先取得脸检测结果和人物检测结果（步骤S501、S502）。脸检测结果及人物检测结果在图6（a）所示那样的在摄像图像中拍摄有两个人物的例子中，得到作为图6（b）所示那样的信息。“位置”表示以摄像图像左上为原点的脸区域，表示人物区域的中心坐标，“大小”表示各区域的像素数。人物区域的大小用宽度及高度的像素数表示，但在本实施方式中由于作为脸区域的检索窗口而使用高度与宽度相同的正方形的区域，所以将脸区域的大小仅用宽度的像素数表示。

这里，设通过脸检测处理检测出的脸数为Nf、通过人物检测处理检测出的人物数为Nh。在图6的例子中，脸检测结果Nf是1，人物检测结果Nh是2。

对于这样的检测结果，将人物检测结果的位置和大小用规定的信息变换为相当于脸的位置和大小，以便能够比较判断哪个脸区域和人物区域是有关同一人物的（步骤S503）。

参照图7及图8说明步骤S503中的人物检测结果的变换的详细情况。图7是表示从摄像图像中通过人物检测检测出的人物区域的图，图8是表示在人物检测的学习中利用的学习图像的图。将在人物检测的学习中利用的学习图像的人物区域的大小进行了归一化(normalization)。如果设该归一化后的人物图像（学习图像）的脸部分的大小为Wnf，人物区域的宽度为Wnh，则脸部分的大小相对于人物区域的宽度的比率可通过Wnf÷Wnh得到。由此，如果设检测出的人物区域的宽度为Wh，则通过图7所示的人物检测检测出的人物区域的脸的大小Whf可以用式1计算。

Whf=Wh×（Wnf÷Wnh）  …式1

此外，同样如果设图8所示的归一化的人物图像中的从身体的中心位置（Xnh，Ynh）到相当于脸的位置（Xnf，Ynf）的偏移量为OFST，设归一化的人物图像的人物区域的高度为Hnh，则能够通过OFST÷Hnh计算人物区域的每单位高度的从身体的中心位置到相当于脸的位置的差。

所以，通过人物检测检测出的相当于人物的脸的位置，如果设图7所示的检测出的人物区域的高度为Hh、人物中心坐标为（Xh，Yh），则计算的相当于脸的位置的中心坐标（Xf，Yf）可以用式2及式3计算。

Xf=Xh  …式2

Yf=Yh－Hh×（OFST÷Hnh）  …式3

通过以上的步骤，虽然能够进行从人物检测结果向相当于脸的位置和大小的变换，但变换方法并不限定于这样的步骤。例如，也可以不使用人物检测的学习图像而实验性地决定变换系数。此外，在本实施方式中，将人物检测结果的位置和大小按照脸区域而进行变换，但也可以相反将脸检测结果的位置和大小按照作为人物检测结果的身体中心而进行变换。

在人物检测结果的变换完成后，在图5所示的处理步骤中，将变量i、j初始化为0（步骤S504、S505）。这些变量中，i表示有Nf个的脸检测结果中的第i个正在处理中的脸检测结果，j表示有Nh个的人物检测结果中的第j个正在处理中的人物检测结果。

在变量初始化后，判断在脸检测结果和人物检测结果中是否是关于同一人物的，对于同一人物的检测结果进行检测结果的综合（步骤S506～步骤S509）。是否是有关同一人物的判断（步骤S506～步骤S507）通过计算根据各个检测结果得到的位置和大小的距离、与阈值比较来判断。如果设脸检测结果的脸中心坐标为（Xa，Ya），人物检测结果的脸中心坐标为（Xb，Yb），对位置的X方向、Y方向各自的距离进行比较的阈值为Thdx、Thdy，则在式4且式5成立时，关于位置判断为同一人物。

|Xb－Xa|≦Thdx  …式4

|Yb－Ya|≦Thdy  …式5

在上述条件不成立的情况下判断为不同的人物。这里，Thdx及Thdy使用在式6中计算的值。

Thdx=Thdy=（Whf+Wf）÷2  …式6

该阈值由于表示两个脸区域相邻接的情况下的中心坐标间的距离，所以在相当于人物检测结果的脸的区域与脸检测结果的脸区域重合的情况下具有综合的意思。

接着，关于大小的距离，难以将脸区域的大小总是使用相同的阈值原样判断。例如，在24像素×24像素的大小的脸区域和100像素×100像素的大小的脸区域中，如果作为临时的判断阈值而定义50像素，则其意味变得不同。前者意味着允许到脸区域的约2倍的大小的距离，后者意味着仅允许到脸区域的约1/2的大小的距离。所以，以特定的脸区域的大小的范围进行分组，用该组间的距离进行判断。将该组分配表的例子表示在图9中。在图9的表中，最小脸区域的尺寸是24像素×24像素，最大脸区域的尺寸是240像素×240像素。中间的脸区域的尺寸以1.2倍的范围定义各尺寸组。这里，如果设脸检测结果的脸区域的尺寸组为Ga，设人物检测结果的脸区域的尺寸组为Gb，设距离判断的阈值为Thg，则在式7成立时，关于大小判断为同一人物。

|Gb－Ga|≦Thg  …式7

在上述条件不成立的情况下判断为不同的人物。以上，仅在满足上述3个判断式（式4、式5及式7）的情况下将脸检测结果和人物检测结果判断为同一人物（步骤S507：是），在即便一个不成立的情况下也判断为不同的人物（步骤S507：否）。

在判断为同一人物的情况下，将脸检测结果和人物检测结果划分为同一组（步骤S508）。此外，在判断为不同的人物的情况下，设为不同的组（步骤S509）。

使用图10说明上述综合步骤的具体例。图10（a）是表示脸检测结果、图10（b）是表示人物检测结果、图10（c）是表示综合后的检测结果的表。首先，判断脸检测结果（i=0）和人物检测结果（j=0）。为此，将人物检测结果（j=0）的检测结果变换为相当于脸区域的信息。这里，如果假设归一化的人物图像的脸区域的大小为Wnf=20像素，人物区域的宽度为Wnh=64像素，则相当于脸区域的大小根据上述式子，为Whf0=100×（20÷64）=31像素。接着，如果假设归一化的人物图像中的从身体的中心位置到相当于脸的位置的偏移量为OFST=48，归一化的人物图像的人物区域的高度为Hnh128，则相当于脸区域的位置根据上述式子，相当于脸区域的位置为Xf0=128，Yf0=128－200×（60÷128）=53。由此，如果设用于判断的各阈值为Thdx=Thdy=（32+31）÷2=31.5，Thg=2，则为|Xb－Xa|=0≦31.5，|Yb－Ya|=53－48=5≦31.5，|Gb－Ga|=1－1=0≦2。由此，满足3条件的全部，所以脸检测结果（i=0）和人物检测结果（j=0）判断为同一人物，设为同一组0。如果将同样的判断对脸检测结果（i=0）和人物检测结果（j=1）进行，则由于为|Xb－Xa|=128>31.5，所以判断为不同的人物。由此，人物检测结果（j=1）为不同的组1。这里，在图10（c）所示的综合后的检测结果的分组化的信息中，包含脸检测及人物检测各自中的检测判断结果的有无、和各自的检测结果的信息。

通过将以上的处理通过步骤S505～步骤S513的步骤对脸检测结果和人物检测结果的全部组合重复执行，脸检测结果和人物检测结果被综合。

在这样综合后的检测结果信息中存在多个组的情况下，在图4的聚焦控制处理中，选择某1个组的检测结果信息（步骤S104）。作为组的选择方法，可以采用选择关于距摄像图像的中央最近的被摄体的组的方法、或选择脸的大小距预先作为选择参数而设定的像素数最近的组的方法等。

此外，LCD16是触摸面板式的LCD，只要是包括将在画面上被按下的位置的信息向处理器4通知的输入装置的结构，作为组的选择方法，也可以利用拍摄者观看显示在LCD16上的图像而选择的方法。在拍摄者选择组的方法中，具体而言，按照检测结果的每个组，将明示被摄体的框描绘在LCD16上，拍摄者通过接触某个想要对焦的被摄体的框内，向处理器4通知位置信息，选择对应于位置信息的组的检测结果信息。

另外，在综合后的检测结果信息中仅是1个组的情况下，可以将步骤S104的处理省略。

由于在综合后的检测结果信息中包含脸检测的检测判断结果的有无，所以通过使用该信息，通过所选择的组判别是否检测到脸区域（步骤S105）。在判别的结果是能够检测到脸区域时，将脸区域设定为在聚焦控制中使用的焦点搜索区域（步骤S107）。这里，在综合后的检测结果信息中，由于包含有脸检测的检测结果信息，所以基于该信息的脸区域的位置及大小信息，将脸区域设定在聚焦控制中使用的焦点搜索区域的位置及大小。

在不能检测到脸区域时（步骤S105：否），基于综合后的检测结果信息，用所选择的组判别是否检测到人物区域（步骤S106）。在判别的结果是能够检测到人物区域时，执行在人物区域内的某个区域中设定焦点搜索区域的焦点搜索区域设定处理（步骤S108）。这里，在设定在人物区域内的焦点搜索区域中，需要包含人物图像的某个部位。由于在综合后的检测结果信息中包含人物检测的检测结果信息，所以在本实施方式中，基于该信息的人物区域的位置及大小信息，将包含有人物图像的某个部位的区域的位置及大小设定为焦点搜索区域的位置及大小。例如，由于在人物区域的中心包含有身体的中心附近的部位的图像，所以将人物区域的中心设为焦点搜索区域的位置，将人物区域的大小的高度1/8、宽度1/4设定为焦点搜索区域的大小。

在脸图像和人物图像的哪个区域都未检测到时（步骤S105：否，并且步骤S106：否），作为通常的动作模式，例如将画面中心设定为焦点搜索区域（步骤S109）。

从根据以上的判别结果进行了选择设定的焦点搜索区域取得对比度信息（步骤S110），通过使用所取得的对比度值的对比度方式的对焦位置搜索来取得距离信息。通过基于距离信息使聚焦透镜驱动，能够进行将焦点对在拍摄者希望的人物上的聚焦控制（步骤S111）。

这里，也可以将表示焦点搜索区域的矩形区域的框从处理器描绘到显示在LCD16上的摄像图像上（步骤S111）。通过将这样的焦点搜索区域框叠加显示在摄像图像上，能够对拍摄者明示对焦的场所。

以上是聚焦控制处理的详细情况。这样的聚焦控制处理优选的是每当将摄像图像取入时实施。

根据这样的结构，当未检测出脸区域时，通过使用人物检测结果在身体的中心附近设定焦点搜索区域，能够将焦点搜索区域稳定地对在被摄体的人物上，能够抑制伴随着被摄体的姿态变动的聚焦控制的不稳定。

如以上说明，根据本发明的第1技术方案，其特征在于，具备：摄像光学系统，包括聚焦透镜；摄像机构，对由上述摄像光学系统形成的光学像进行拍摄；第1检索机构，在由摄像机构拍摄的摄像图像中设置第1检索区域，在通过对于该第1检索区域的规定部位的检测处理检测到相当于被摄体的规定的部位的部分图像的情况下，将上述第1检索区域设定为焦点搜索区域；第2检索机构，在通过摄像机构拍摄的摄像图像中设置第2检索区域，在通过对于该第2检索区域的被摄体检测处理检测到相当于被摄体整体的被摄体图像的情况下，在上述第2检索区域内设定多个焦点搜索区域候选；以及聚焦控制机构，使用焦点搜索区域中的对比度，通过对比度方式进行上述摄像光学系统的聚焦控制；聚焦控制机构在通过上述第1检索机构没有检测到上述部分图像并且通过上述第2检索机构检测到上述被摄体图像的情况下，将上述多个焦点搜索区域候选中的包含被摄体图像的某个部位的1个以上的焦点搜索区域候选作为焦点搜索区域，将该焦点搜索区域中的对比度用于聚焦控制。

根据上述结构，即使在作为被摄体的一部分的部分图像没有被第1检索机构检测到的情况下，也只要通过第2检索机构检测到被摄体图像，就能够使用设定在检测到被摄体图像的第2检索区域内的焦点搜索区域候选中的、包含被摄体图像的某个部位的1个候选作为焦点搜索区域，用于对比度方式的聚焦控制。

因此，即使从检测到部分图像、对焦在部分图像上的状态暂时成为未检测出的状态，包含被摄体图像的某个部位的区域也会被对焦，焦点位置不会较大地变化。

因而，根据有关本发明的摄像装置，在以对比度方式对焦在被摄体的一部分上的情况下，能够提高聚焦控制的稳定性。

（第2实施方式）

在第1实施方式中，在图4所示的聚焦控制处理中，在没有检测到脸区域而检测到人物区域的情况下，通过在步骤S108中执行的焦点搜索区域设定处理，将焦点搜索区域设定在被认为包含身体的中心附近的部位的图像的人物区域的中心。

在第2实施方式中，对于在焦点搜索区域设定处理中在人物区域内设定多个焦点搜索区域的候选、从这些候选中选择焦点搜索区域的变形例进行说明。

图12是表示有关本实施方式的焦点搜索区域设定处理的流程图。本图所示的焦点搜索区域设定处理是在图4的流程图中、在不能检测到脸区域而能够检测到人物区域的情况下执行的，图4所示的其他处理步骤与第1实施方式同样地执行。

在图12所示的焦点搜索区域设定处理中，首先在人物区域内设定多个焦点搜索区域候选（步骤S201）。在图11中表示人物区域与多个焦点搜索区域候选的关系。实线表示人物区域，虚线表示焦点搜索区域的候选。多个焦点搜索区域候选以例如在人物区域内在空间上尽可能包罗的形状设置水平方向上3块、垂直方向上5块的共计15块区域。并且，假设各块的形状为1边的尺寸为Wc的正方形。这里，Wc表示归一化的人物区域的尺寸由宽度Wh、高度Hh定义时的1块的1边的尺寸，例如用式8计算。

Wc=Wh÷4  …式8

对于这样设定的全部的焦点搜索区域候选，取得对比度信息（步骤S202），根据这些对比度信息，按照每个焦点搜索区域候选生成距离信息（步骤S203）。作为距离信息的生成方法，可以采用对比度方式的对焦位置搜索等。

这里，如果设想在与作为被摄体的人物之间没有障碍物，则如果对焦于最近的距离，则焦点位置不会对在背景上，焦点位置对在人物上的可能性较高。由此，从得到的全部焦点搜索区域候选的距离信息中，将最小的距离信息者选择为焦点搜索区域（步骤S204）。所选择的距离信息成为对焦的位置。

通过以上的步骤，能够适当地选择能够将焦点对在人物上的焦点搜索区域。

另外，在本实施方式中说明的焦点搜索区域候选的设定是一例，并不是限定性的。例如，既可以主要仅在身体的躯体附近设定焦点搜索区域候选，也可以仅在脸、头附近设定焦点搜索区域候选。此外，焦点搜索区域候选的形状也可以不是正方形，而按照人物的形状是将垂直方向设为长边的长方形等。

此外，也可以将焦点搜索区域候选的大小及数量按照人物区域的大小而变更。在人物区域较小的情况下，焦点搜索区域候选也成比例变小，所以在对比度计算中使用的像素数减少。因此，相对地噪声的影响变大，对比度计算精度有可能下降。由此，在人物区域较小的情况下，优选的是进行减少焦点搜索区域候选的数量、使大小变大那样的适应控制。

此外，在设置多个焦点搜索区域候选时，其大小不需要是均匀的，也可以是不均等的。例如，也可以按照人的形状，使脸、头附近较小、使身体的躯体附近较大等。通过这样，能够减少焦点搜索区域候选数的设定数，能够进行焦点搜索区域的选择所需要的处理量的削减。

此外，在图12的流程图中表示的焦点搜索区域候选的选择方法是表示一实施例的，关于其选择方法并没有限定。例如，可以考虑拍摄者从1个以上的多个候选中直接选择焦点搜索区域的方法。例如，在触摸面板式的LCD的情况下，由于在包括LCD的显示装置中也包括被按下的位置的输入装置，所以能够取得LCD上的按下的位置的信息。使用该信息来实现。具体而言，在LCD上显示表示1个以上的多个焦点搜索区域候选的框图像。拍摄者从该焦点搜索区域候选中，通过接触在想要对焦的焦点搜索区域候选的框图像上，能够指定所希望的位置。在处理器4中，根据该位置信息，知道拍摄者希望的区域，所以能够选择焦点搜索区域。

另外，使用触摸面板的位置的选择方法是表示一例的，关于该选择方法并没有限制。例如，也可以使用在照相机上具备的功能按钮（未图示）选择。

这里，也可以将表示焦点搜索区域候选的矩形区域的框图像从处理器描绘到显示在LCD上的摄像图像上。例如，通过从1个以上的多个焦点搜索区域候选中将被选择的焦点搜索区域与没有被选择的焦点搜索区域候选加以区别，以不同颜色的框显示到LCD上，能够对拍摄者明示所对焦的场所。

根据这样的结构，在使用人物检测结果设定焦点搜索区域的情况下，能够稳定地将焦点搜索区域对准于被摄体的人物，能够抑制伴随着被摄体的姿态变动的聚焦控制的不稳定。

<变形例1>

如图12所示，在将焦点距离最近的候选选择为焦点搜索区域而对焦的方法中，在与作为被摄体的人物之间有障碍物的情况下，将焦点对在该障碍物上。所以，以下对用来将该障碍物排除而进行对焦的焦点搜索区域设定处理的变形例进行说明。

图13是表示有关本变形例的焦点搜索区域设定处理的流程图。

图13所示的焦点搜索区域设定处理与图12所示的处理步骤相比，将步骤S204的处理步骤变更为步骤S205～步骤S207的处理步骤。以下，如果对与图12所示的处理步骤不同的处理步骤进行说明，则在步骤S205中，取得焦点搜索区域候选中的作为基准区域的候选的距离信息（基准距离Ds）。

仅将距该基准距离Ds为某一定的范围内的距离的距离信息作为焦点检测区域候选保留，对于距基准距离超过一定的距离的距离信息，从焦点检测区域候选中排除，作为选择对象之外（步骤S206）。并且，从作为选择对象保留的焦点检测区域候选中选择距离信息最小的焦点检测区域候选（步骤S207）。通过这样，焦点位置不会对在处于比被摄体靠近前侧的障碍物上，能够进一步提高焦点位置对在人物上的可能性。

这里，作为基准区域，优选的是使用焦点搜索区域候选中的位于人物的身体的中心附近的焦点搜索区域候选。例如，如图14所示，将包含人物区域的中心点的焦点搜索区域候选A作为基准区域。在这样将焦点搜索区域候选A作为基准区域的情况下，如图15所示，仅将以基准距离Ds的位置为中心在距离Thz的范围中的距离信息作为焦点搜索区域的选择对象，范围外的焦点搜索区域作为选择对象之外。即，距离信息不到Ds－Thz的焦点搜索区域候选为选择对象之外，图15中的焦点搜索区域候选B（距离信息Db<Ds－Thz）为选择对象之外。因此，在图15那样的情况下，焦点位置也不会对在处于比人物靠近前侧的障碍物上，能够进一步提高焦点位置对在人物上的可能性。通过使此时作为阈值的距离Thz按照人物的大小而变化，能够提高将障碍物排除的精度。具体而言，距离Thz只要是人物的进深程度的大小就可以，优选的是在人物区域较大时使距离Thz变大、在人物较小时使距离Thz变小。

例如，在与人物区域的大小对应的距离Thz的计算中，作为一例可以使用式9。

Thz=Hh×（Wnh÷Hnh）÷2  …式9

图8所示的归一化的人物图像的宽度相对高度的比率可以通过Wnh÷Hnh得到，所以通过使用对该比率乘以在人物检测中检测到的人物区域的高度Hh的式9，能够计算设想了包含在人物区域中的人物是横向的情况的进深程度的距离Thz。

另外，上述那样的基准区域的设定方法是表示一例的，并没有限定该设定方法。例如，也可以计算全部的焦点搜索区域候选的距离信息的均值，将该平均距离作为基准距离。此外，作为另一例，也可以将之前拍摄时的对焦位置的距离信息作为基准距离。

此外，上述的阈值Thz的设定方法是表示一例的，并没有限定该设定方法。

<变形例2>

关于在图5及图7的步骤S201中在人物区域内设定多个焦点搜索区域候选的处理，说明对1个以上的焦点搜索区域候选的位置使用根据人物检测的检测结果而得到的朝向信息进行修正的变形例。

在本变形例中，在图5及图7的处理步骤中，在取得焦点搜索区域候选的对比度信息之前，使用人物检测的检测信息（朝向信息）对焦点搜索区域候选的位置进行修正。

人在行进方向上呈前倾姿态的情况较多。特别是，在跑步的情况下等较显著。在此情况下，头的位置与直立时不同，相对于躯体向行进方向伸出到前方。因此，在图11那样的设想了直立正面时的焦点搜索区域候选的位置中，相当于头的位置的焦点搜索区域候选发生了偏离，有可能较多地包含背景。这带来焦点位置的不稳定化，所以不是优选的。所以，在图16中表示焦点搜索区域候选的位置的修正例。根据包含在人物检测的检测信息中的“朝向倾斜”的信息，人物朝向的方向被示出。例如，在人物朝向右方的情况下，以修正量d将人物的头的位置的焦点搜索区域候选向右水平方向错移。通过这样将位置修正，能够提高人物的头的位置的焦点搜索区域候选对在人物的头的图像上的可能性。

另外，修正量d最好根据人物的大小而改变。通过在人物较大时使修正量较大、在人物较小时使修正量变小，能够使相对的修正量一致，所以有利于稳定化。

此外，修正量d的大小可以考虑使用人物的移动速度决定。例如，使用运动检测电路5等计算人物的移动速度，当移动速度较大时认为是更前倾姿态，使修正量变大，当移动速度较小时使修正量变小。此时，也可以在缓慢步行的情况下认为身体不为前倾姿态，当移动速度小到某种程度时，使修正量为0。

另外，上述修正量的决定方法是表示一例的，并没有限定其决定方法。

此外，在脸检测处理中能够检测出朝向信息的情况下，作为在焦点搜索区域候选的位置修正中使用的朝向信息，也可以不是人物检测结果的朝向信息，而使用脸检测结果的朝向信息。

（第3实施方式）

图17是表示有关第3实施方式的聚焦控制处理的流程图。在图17中，关于与图4相同的处理步骤使用相同的附图标记，省略说明。

图17的处理除了图4所示的处理以外还追加了进行光圈控制以使景深变深的处理。以下，在图17的流程图中，对不能检测到脸区域而能够检测到人物区域时（步骤S105：否，并且步骤S106：是）进行说明。

将由人物检测检测出的人物区域设定为焦点搜索区域，进行聚焦控制，与之相应地在步骤S113中进行光圈的控制以使人物区域整体包含在景深中。通过这样，虽然不能进行景深较浅的拍摄，但能够抑制焦点变得不稳定这样的对于拍摄者的不适感。

此外，在作为步骤S108的焦点搜索区域设定处理而采用从图5或图7所示的多个焦点搜索区域候选中选择焦点搜索区域的处理步骤的情况下，在步骤S116中，使用距离信息进行光圈的控制，以使所选择的焦点搜索区域包含在景深内。通过这样进行光圈控制，能够在尽可能将光圈控制到开放(wide)端的同时、使对于作为被摄体的人物的聚焦控制稳定化。

根据这样的结构，在脸检测为未检测出时，能够进行光圈的控制以使焦点对在人物上，能够抑制聚焦控制的不稳定。

另外，上述光圈的控制范围是表示一例的，并没有限定其控制方法。例如，也可以使用在步骤S203中得到的全部的焦点搜索区域候选的距离信息进行光圈的控制，以使在步骤S201中设定的全部的焦点搜索区域的候选包含在景深内。

（第4实施方式）

在本实施方式中，对在脸检测结果和人物检测结果的综合处理中进行检测结果的再判断的结构进行说明。

图18是表示有关本实施方式的脸检测结果与人物检测结果的综合处理的流程图。在本实施方式中，为了在脸检测结果和人物检测结果的综合处理中进行检测结果的再判断，在通常的脸检测处理中，使在判断中使用的阈值（与评价值进行比较的值）比单独进行脸检测处理时小（更容易检出）。容易得到检测结果的另一方面，人的脸以外的地方的检出（误检测）也增加，但通过后述的再判断抑制误检测结果。

在图18的综合处理流程中，如果完成全部检测结果的分组化，则进行脸检测结果的再判断（步骤S514）。图19是表示再判断处理的详细情况的流程图。在再判断处理中，首先根据人物检测结果的有无设定在检测结果的再判断中使用的阈值（步骤S601）。处于与人物检测结果同一组的脸检测结果在根据人物检测结果推测的脸的位置被检测出，所以一般可以说是脸的概率较高。所以，在再判断中使用的阈值也使用与通常的脸检测处理时相同的值。

相反，由于与人物检测结果不为同一组的脸检测结果是单独的检测结果，所以与前者的人物检测为同一组的结果相比，可以说是脸的概率变低。因此，使在再判断中使用的阈值比通常的脸检测处理时高，抑制误检测。

按照在步骤S601中设定的阈值进行检测结果的再判断，将判断结果对原来的判断结果进行覆盖（步骤S602）。通过对全部的组进行这些处理，能够在抑制误检测的同时、有望实现脸检测的检出率的提高。

具体以图20的例子进行说明。这里，设在脸检测处理时使用的较低的阈值为3，设单独进行通常脸检测处理的情况下的阈值为5。图20（a）的例子如果按照图18的综合处理流程将结果综合，则成为图20（b）的最下段的表那样。这里，进行脸检测结果的再判断。如果最先观察组0的结果，则由于也检测到人物检测结果，所以再判断的阈值是在脸检测处理时使用的3的原状。此时，如果将评价值与阈值比较，则判断为有脸检出，所以作为判断结果，没有变化而覆盖为“有脸检出（1）”。接着，如果观察组1的结果，则由于也检测到人物检测结果，所以再判断的阈值与组0同样是3的原状。由此，判断结果没有变化，为“有脸检出（1）”。最后，如果观看组2的结果，则未检测到人物检测结果。因此，再判断的阈值为单独进行脸检测处理的情况下的5。组2的脸检测结果的评价值由于是3，所以脸检测的再判断结果的结果改变而覆盖为“无脸检出（0）”。以上再判断完成。

另外，在本实施方式中使用人物检测结果实现了脸检出率的提高，但相反也可以利用脸检测结果实现人物检出率的提高。此外，也可以使用脸检测结果的评价值及人物检测结果的评价值的两者进行再判断。例如，可以考虑将脸检测结果的评价值与人物检测结果的评价值相加、将相加结果与阈值等比较而再判断。

以上的检测结果的综合处理优选的是每当将摄像图像取入时实施。根据这样的结构，通过将脸检测结果与人物检测结果组合，能够提高脸检测的检出率。脸检测的检出率的提高带来焦点搜索区域的稳定化，带来聚焦控制的不稳定的抑制。

（第5实施方式）

在本实施方式中，对于合并使用脸检测结果和人物检测结果、在摄像图像中提高人物图像的检出率的结构进行说明。

在有关本实施方式的图像判断处理中，首先，为了得到在图像判断处理中使用的脸检测结果和人物检测结果，通过脸检测电路2及人物检测电路3执行一次图2所示的脸检测和图3所示的人物检测。既可以将该脸检测和人物检测并行执行，也可以将脸检测和人物检测依次执行。依次执行的情况下的处理顺序没有限制。此外，在此时的脸检测及人物检测中，与第4实施方式同样，作为是否是脸图像的判断的检索条件即脸检测参数（与评价值比较的值），与单独利用脸检测处理决定焦点搜索区域的结构比较，使用更容易检出的较小的值（Thf1）进行脸检测处理，作为是否是人物图像的判断的检索条件即人物检测参数，与单独利用人物检测处理决定焦点搜索区域的结构比较，使用更容易检出的较小的值（Thh1）进行人物检测处理。在这样将作为检索条件的阈值降低的检索中，容许脸或人物的朝向的变动的鲁棒性提高，能够得到许多检测结果的另一方面，脸或人物以外的区域中的检出（误检测）也增加，能够得到精度较低的检测结果。

对于这样得到的脸检测结果及人物检测结果，通过处理器4执行将图18所示的综合处理用编程语言记述的程序，在本实施方式中，使脸检测电路2、人物检测电路3及处理器4作为从摄像图像中检索相当于人物的全身的全身图像区域和相当于同一人物的规定的部位的部分图像区域的组合的检索机构来发挥功能。

这里，在图18所示的综合处理的步骤S503中，如在第1实施方式中说明那样，将人物检测结果的位置和大小用规定的信息变换为相当于脸的位置和大小，以便能够比较判断哪个脸区域和人物区域是有关同一人物的。此时，在第1实施方式中，将图8所示的学习图像用于变换。但是，在本实施方式中，为了鲁棒性提高，作为人物检测参数而使用较小的值（阈值Thh1），所以在表示为人物检测结果的区域中，并不一定包括图8那样直立的姿态的人物像。

例如，在根据包含在人物检测的检测信息中的“朝向倾斜”的信息表示出人物朝向的方向，但在表示为人物检测结果的区域中，有在“朝向倾斜”方向中包含是移动中而为前倾姿态的人物像的情况。在为前倾姿态的人物像中，例如在人物朝向右方的情况下，与图8所示的直立的姿态的学习图像比较，在如图21所示那样跑步的人物中，可以认为脸中心位置（Xnf，Ynf）正向右水平方向移动。此时，作为水平移动量的偏移量OFSTx假设为人物区域的宽度为图8所示的归一化的人物区域的宽度Wnh的情况下的偏移量。即，人物区域的每单位宽度的脸中心位置的水平移动量通过OFSTx÷Wnh计算。

所以，在本实施方式中，将根据学习图像而设想的相当于脸的位置，使用根据人物检测的检测结果得到的朝向信息来修正。具体而言，关于在步骤S503中计算的相当于脸的位置的中心坐标（Xf，Yf）中的Yf，与第1实施方式同样地计算，但关于Xf，将如图7所示那样检测出的人物区域的人物中心坐标设为（Xh，Yh），在“朝向倾斜”是朝右的情况下用式10计算Xf，在“朝向倾斜”是朝左的情况下用式11计算Xf。

Xf=Xh+Wh×（OFSTx÷Wnh）  …式10

Xf=Xh－Wh×（OFSTx÷Wnh）  …式11

这样，通过根据包含在人物检测的检测信息中的“朝向倾斜”计算在人物检测中检测出的相当于人物的脸的位置的中心坐标（Xf，Yf），即使在不是直立姿态的情况下，也能够高精度地比较判断脸区域和人物区域是否是有关同一人物的。

另外，偏移量OFSTx的大小可以考虑使用人物的移动速度决定。例如，使用运动检测电路5等计算人物的移动速度，当移动速度较大时，可以认为是更前倾姿态，使偏移量OFSTx较大，当移动速度较小时，使偏移量OFSTx变小。此时，在缓慢步行的情况下，由于可以认为身体没有达到前倾姿态，所以当移动速度小到某种程度时，也可以将偏移量OFSTx设为0。

在如以上这样执行步骤S503的处理后，由通过执行步骤S506～步骤S509的处理而作为判断机构发挥功能的处理器4，判断在脸检测电路2和人物检测电路3中是否检测到有关同一人物的全身图像区域和脸图像区域的组合，使用阈值Thf1及Thh1得到的脸检测结果与人物检测结果的分组完成。然后，与第4实施方式同样，处理器4执行图19所示的再判断处理。

在图19所示的步骤S601中，根据在脸检测电路2和人物检测电路3中是否检测到有关同一人物的全身图像区域和脸图像区域的组合，在用于再判断的脸检测参数中设定不同的值。但是，在第4实施方式中，在步骤S601中，关于与人物检测结果不为同一组的脸检测结果，将用于脸检测结果的再判断的脸检测参数变更为比综合前的初次判断高的值，但关于与人物检测结果处于同一组的脸检测结果，不变更在再判断中使用的阈值。

但是，在本实施方式中，在步骤S601中，对于处于与人物检测结果同一组中的脸检测结果，也将比在初次的脸检测处理中使用的阈值（Thf1）高的值（Thf2）设定在脸检测参数中。由此，通过在综合前的初次判断中使用较低的阈值Th1，能够将作为提高鲁棒性的代价而发生的误检测排除。此外，关于不在与人物检测结果同一组中的脸检测结果，相比与人物检测同一组的结果，是脸的概率变得更低，所以能够将比Thf2更高的值（Thf3）设定在脸检测参数中。

将通过这样的本实施方式的脸检测参数能够得到怎样的再判断结果具体地用图21的例子说明。这里，作为在初次的脸检测处理时使用的脸检测参数Thf1而使用“3”，作为在综合后处于与人物检测结果同一组中的脸检测结果的再判断中使用的脸检测参数Thf2而使用“5”。此外，作为在综合后不在与人物检测结果同一组中的脸检测结果的再判断中使用的脸检测参数Thf3而使用“7”。如果根据图21（a）的例子将使用脸检测参数“3”得到的脸检测结果及人物检测结果综合，则成为图21（b）的最下段的表那样。这里，进行脸检测结果的再判断。如果首先观察组0的综合结果，则由于也检测到人物检测结果，所以脸图像的再判断的脸检测参数使用“5”。此时，如果将评价值与脸检测参数比较，则判断为有脸检出，所以作为判断结果而不变化，为“有脸检出（1）”。接着，如果观察组1的综合结果，则由于也检测到人物检测结果，所以再判断的脸检测参数与组0同样使用“5”。这里，由于组1的脸检测结果的评价值是4，所以通过评价值与脸检测参数的比较判断为无脸检出，结果，在图21（b）的最下段的表中，判断结果被覆盖为“无脸检出（0）”。最后，如果观察组2的结果，则人物检测结果没有检测到。因此，作为再判断的脸检测参数而使用“7”。由于组2的脸检测结果的评价值是3，所以脸检测的再判断结果的结果改变而被覆盖为“无脸检出（0）”。

在如以上这样将脸检测结果再判断后，在本实施方式中，对于通过再判断而为“有脸检出（1）”的组0，如图23那样，将与脸图像区域的“位置”及“大小”对应的框图像叠加显示到LCD输出电路8显示在LCD16上的摄像图像上。

以上是有关本实施方式的图像判断处理的详细情况。这样的图像判断处理优选的是每当将摄像图像取入时实施。根据这样的结构，通过将脸检测结果与人物检测结果组合，能够在抑制误检测的同时，提高鲁棒性，有望实现脸图像的检出率提高。检出率的提高带来焦点搜索区域的稳定化，带来聚焦控制的不稳定的抑制。

另外，在本实施方式中形成了为了抑制误检测而再判断脸检测结果的评价值的结构，但也可以形成为了抑制误检测而再判断人物检测结果的评价值的结构。在这样的结构中，作为在人物检测结果的评价值的再判断中使用的人物检测参数，使用值比在初次的人物检测中使用的Thh1高、能够进行精度较高的人物检测的Thh2。此外，也可以形成再判断脸检测结果的评价值及人物检测结果的评价值的两者的结构。

进而，在本实施方式中，在综合处理后变更脸检测参数，对脸检测结果的评价值仅进行再判断，但在综合处理后执行的不仅是对已有的评价值的再判断，也可以形成使用新的脸检测参数再次执行脸检测处理的结构。

（其他变形例）

另外，基于上述实施方式说明了本发明，但本发明当然并不限定于上述实施方式。以下这样的情况也包含在本发明中。

（1）本发明也可以是在各实施方式中说明的流程图的处理步骤公开的摄像装置的控制方法。此外，既可以是包括通过上述处理步骤使计算机动作的程序代码的计算机程序，也可以是由上述计算机程序构成的数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号记录到计算机可读取的记录介质、例如软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD（Blu－ray Disc）、半导体存储器等中的产品。

此外，本发明也可以是将上述计算机程序或上述数字信号经由电通信线路、无线或有线通信线路、以因特网为代表的网络等传送的系统。

此外，也可以通过将上述计算机程序或上述数字信号记录到上述记录介质中并移送、或者通过将上述计算机程序或上述数字信号经由上述网络等移送，由独立的其他计算机系统实施。

（2）本发明也可以作为控制上述各实施方式所记载的再生装置的LSI实施。这样的LSI可以通过将图1所示的集成电路50内的功能块集成化来实现。这些功能块既可以单独地1芯片化，也可以包括一部分或全部而1芯片化。

这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以通过专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（FieldProgrammable Gate Array：现场可编程门阵列）、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果通过半导体技术的进步或派生的其他技术出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块及部件的集成化。在这样的技术中，有可能是生物技术的应用等。

（4）有关本发明的摄像装置并不限定于数字静止照相机，也可以是数字视频摄像机等。

（5）在上述各实施方式中，对从多个候选中选择1个作为焦点搜索区域使用的情况进行了说明，但本发明也可以作为将1个以上、例如两个焦点搜索区域候选选择为焦点搜索区域、使用这两个区域的对比度值搜索对焦位置的形态实施。

（6）也可以将上述实施方式及上述变形例分别组合。

工业实用性

有关本发明的摄像装置对于人物的拍摄能够实现稳定的聚焦控制，作为数字静止照相机等具有实用性。此外，也能够应用到视频摄像机或监视视频摄像机等的用途中。

附图标记说明

1 摄像装置

2 脸检测电路

3 人物检测电路

4 处理器

5 运动检测电路

6 声音处理部

7 图像编码电路

8 LCD输出电路

9 图像输入电路

1 0聚焦驱动部

11 光圈驱动部

12 内部IO总线

13 存储总线

14 闪式存储器

15 图像存储器

16 LCD

17 A/D变换电路

18 摄像元件

19 光圈

20 聚焦透镜

21 角度传感器

50 集成电路

Claims (16)

1.一种图像判断装置，在摄像图像中进行人物的图像的检索，其特征在于，

该图像判断装置具备：

检索机构，按照规定的检索条件，检索包含相当于某个人物的全身的被摄体图像的区域、和包含相当于同一人物的规定的部位的部分图像的区域这两个区域的组合；以及

判断机构，判断上述规定的检索条件的检索是否成功；

上述检索机构进行的规定的检索条件下的检索，包含将摄像图像用窗口分割为多个检索区域，对各个检索区域计算评价值，并将计算出的评价值与阈值进行比较的处理；

上述判断机构进行的检索是否成功的判断，按照与各个检索区域有关的比较结果来执行；

上述检索机构在上述规定的条件的检索成功的情况下，对于通过上述检索检测到的有关同一人物的包含被摄体图像的区域及包含部分图像的区域中的至少一个区域，改变对于评价值的阈值后，再次尝试进行被摄体图像及部分图像包含在哪个检索区域中的检索。

2.如权利要求1所述的图像判断装置，其特征在于，

图像判断装置还具备：

摄像光学系统；

摄像机构，对由上述摄像光学系统形成的光学像进行拍摄；

图像显示机构，将由上述摄像机构拍摄的摄像图像显示到显示器上；以及

判断结果显示机构，在再次尝试进行上述检索机构的检索、并且判断为该检索成功的情况下，将表示通过再判断而被判断为包含检索对象的图像的区域的图像，在显示在上述显示器的摄像图像上叠加显示。

3.一种摄像装置的控制方法，在摄像图像中进行人物的图像的检索，其特征在于，

该控制方法包括：

检索步骤，按照规定的检索条件，检索包含相当于某个人物的全身的被摄体图像的区域、和包含相当于同一人物的规定的部位的部分图像的区域这两个区域的组合；以及

判断步骤，判断上述规定的检索条件的检索是否成功；

上述检索步骤进行的规定的检索条件下的检索，包含将摄像图像用窗口分割为多个检索区域，对各个检索区域计算评价值，并将计算出的评价值与阈值进行比较的处理；

上述判断步骤进行的检索是否成功的判断，按照与各个检索区域有关的比较结果来执行；

在上述规定的条件的检索成功的情况下，上述判断步骤对于通过上述检索检测到的有关同一人物的包含被摄体图像的区域及包含部分图像的区域中的至少一个区域，改变对于评价值的阈值后，再次尝试进行被摄体图像及部分图像包含在哪个检索区域中的检索。

4.一种摄像装置的集成电路，在摄像图像中进行人物的图像的检索，其特征在于，

该集成电路具备：

检索机构，按照规定的检索条件，检索包含相当于某个人物的全身的被摄体图像的区域、和包含相当于同一人物的规定的部位的部分图像的区域这两个区域的组合；以及

判断机构，判断上述规定的检索条件的检索是否成功；

上述检索机构进行的规定的检索条件下的检索，包含将摄像图像用窗口分割为多个检索区域，对各个检索区域计算评价值，并将计算出的评价值与阈值进行比较的处理；

上述判断机构进行的检索是否成功的判断，按照与各个检索区域有关的比较结果来执行；

上述检索机构在上述规定的条件的检索成功的情况下，对于通过上述检索检测到的有关同一人物的包含被摄体图像的区域及包含部分图像的区域中的至少一个区域，改变对于评价值的阈值后，再次尝试进行被摄体图像及部分图像包含在哪个检索区域中的检索。

5.一种摄像装置，其特征在于，

该摄像装置具备：

摄像光学系统，包括聚焦透镜；

摄像机构，对由上述摄像光学系统形成的光学像进行拍摄；

第1检索机构，在由摄像机构拍摄的摄像图像中设置第1检索区域，在通过对于该第1检索区域的规定部位的检测处理检测到相当于被摄体的规定的部位的部分图像的情况下，将上述第1检索区域设定为焦点搜索区域；

第2检索机构，在通过摄像机构拍摄的摄像图像中设置第2检索区域，在通过对于该第2检索区域的被摄体检测处理检测到相当于被摄体整体的被摄体图像的情况下，在上述第2检索区域内设定多个焦点搜索区域候选；

判断机构，判断由上述第1检索机构检测出的脸图像、和由上述第2检索机构检测出的被摄体图像是否是关于同一人物的图像；以及

聚焦控制机构，使用焦点搜索区域中的对比度，通过对比度方式进行上述摄像光学系统的聚焦控制；

上述第1检索机构及第2检索机构进行的检测处理，包含将摄像图像用窗口分割为多个第1检索区域及多个第2检索区域，对通过分割而得到的多个第1检索区域及多个第2检索区域计算评价值，并将计算出的评价值与阈值进行比较的处理；

上述第1检索机构及上述第2检索机构中的至少一个，对于通过上述判断机构判断为是同一人物的图像，改变对于评价值的阈值后，再次尝试进行相当于被摄体的规定的部位的部分图像及被摄体图像包含在哪个检索区域中的检测；

聚焦控制机构在通过上述第1检索机构没有检测到上述部分图像并且通过上述第2检索机构检测到上述被摄体图像的情况下，将上述多个焦点搜索区域候选中的包含被摄体图像的某个部位的1个以上的焦点搜索区域候选作为焦点搜索区域，将该焦点搜索区域中的对比度用于聚焦控制。

6.如权利要求5所述的摄像装置，其特征在于，

上述部分图像是人物的脸图像；

上述被摄体图像是人物像及人物的上半身像中的某个。

7.如权利要求6所述的摄像装置，其特征在于，

上述第2检索机构判断在第2检索区域中检测出的人物像的朝向，根据该人物像的朝向，在上述第2检索区域内决定用于设定焦点搜索区域候选的位置。

8.如权利要求6所述的摄像装置，其特征在于，

上述第2检索机构根据在第2检索区域中检测出的人物像的大小，决定焦点搜索区域候选的大小。

9.如权利要求6所述的摄像装置，其特征在于，

通过上述第1检索机构没有检测到上述脸图像并且通过上述第2检索机构检测到上述被摄体图像的情况下的焦点搜索区域，是上述多个焦点搜索区域候选中的焦点距离最近的焦点搜索区域候选。

10.如权利要求6所述的摄像装置，其特征在于，

通过上述第1检索机构没有检测到上述脸图像并且通过上述第2检索机构检测到上述被摄体图像的情况下的焦点搜索区域，是距作为上述多个焦点搜索区域候选之一的基准候选的焦点距离包含在规定的距离内的焦点搜索区域候选中的焦点距离最近的焦点搜索区域候选。

11.如权利要求10所述的摄像装置，其特征在于，

上述基准候选是上述多个焦点搜索区域候选中的、包含上述第2检索区域的中心点的焦点搜索区域候选。

12.如权利要求6所述的摄像装置，其特征在于，

摄像装置还具备受理从上述多个焦点搜索区域候选中选择至少1个候选的用户操作的受理机构；

在通过上述第1检索机构没有检测到上述脸图像并且通过上述第2检索机构检测到上述被摄体图像的情况下的聚焦控制中，将通过上述用户操作而选择的候选作为焦点搜索区域。

13.如权利要求6所述的摄像装置，其特征在于，

摄像装置还具备：

图像显示机构，在显示器上显示由上述摄像机构拍摄的摄像图像；

焦点搜索区域显示机构，将表示在上述聚焦控制中使用对比度的焦点搜索区域的图像，在显示在上述显示器的摄像图像上叠加显示。

14.如权利要求6所述的摄像装置，其特征在于，

摄像装置还具备控制上述摄像光学系统的光圈的光圈控制机构；

在通过上述第1检索机构没有检测到上述脸图像并且通过上述第2检索机构检测到上述被摄体图像的情况下，上述光圈控制机构决定上述光圈的光圈量，以使全部的上述焦点搜索区域候选的焦点距离包含在景深范围内。

15.一种摄像装置的对焦控制方法，该摄像装置具有包括聚焦透镜的摄像光学系统和对由上述摄像光学系统形成的光学像进行拍摄的摄像机构，其特征在于，

该对焦控制方法包括：

第1检索步骤，在由摄像机构拍摄的摄像图像中设置第1检索区域，在通过对于该第1检索区域的规定部位的检测处理检测到相当于被摄体的规定的部位的部分图像的情况下，将上述第1检索区域设定为焦点搜索区域；

第2检索步骤，在通过摄像机构拍摄的摄像图像中设置第2检索区域，在通过对于该第2检索区域的被摄体检测处理检测到相当于被摄体整体的被摄体图像的情况下，在上述第2检索区域内设定多个焦点搜索区域候选；

判断步骤，判断由上述第1检索步骤检测出的脸图像、和由上述第2检索步骤检测出的被摄体图像是否是关于同一人物的图像；以及

聚焦控制步骤，在通过上述第1检索步骤检测到上述部分图像的情况下，使用上述第1检索步骤设定的焦点搜索区域中的对比度，通过对比度方式进行上述摄像光学系统的聚焦控制，在通过上述第1检索步骤没有检测到上述部分图像并且通过上述第2检索步骤检测到上述被摄体图像的情况下，将上述多个焦点搜索区域候选中的包含被摄体图像的某个部位的1个以上的焦点搜索区域候选作为焦点搜索区域，使用该焦点搜索区域中的对比度，通过对比度方式进行上述摄像光学系统的聚焦控制；

上述第1检索步骤及第2检索步骤进行的检测处理，包含将摄像图像用窗口分割为多个第1检索区域及多个第2检索区域，对通过分割而得到的多个第1检索区域及多个第2检索区域计算评价值，并将计算出的评价值与阈值进行比较的处理；

上述第1检索步骤及上述第2检索步骤中的至少一个，对于通过上述判断步骤判断为是同一人物的图像，改变对于评价值的阈值后，再次尝试进行相当于被摄体的规定的部位的部分图像及被摄体图像包含在哪个检索区域中的检测。

16.一种集成电路，用于摄像装置的对焦控制，该摄像装置具有包括聚焦透镜的摄像光学系统和对由上述摄像光学系统形成的光学像进行拍摄的摄像机构，其特征在于，

该集成电路具备：

第1检索机构，在由摄像机构拍摄的摄像图像中设置第1检索区域，在通过对于该第1检索区域的规定部位的检测处理检测到相当于被摄体的规定的部位的部分图像的情况下，将上述第1检索区域设定为焦点搜索区域；

第2检索机构，在通过摄像机构拍摄的摄像图像中设置第2检索区域，在通过对于该第2检索区域的被摄体检测处理检测到相当于被摄体整体的被摄体图像的情况下，在上述第2检索区域内设定多个焦点搜索区域候选；

判断机构，判断由上述第1检索机构检测出的脸图像、和由上述第2检索机构检测出的被摄体图像是否是关于同一人物的图像；以及

聚焦控制机构，使用焦点搜索区域中的对比度，通过对比度方式进行上述摄像光学系统的聚焦控制；

上述第1检索机构及第2检索机构进行的检测处理，包含将摄像图像用窗口分割为多个第1检索区域及多个第2检索区域，对通过分割而得到的多个第1检索区域及多个第2检索区域计算评价值，并将计算出的评价值与阈值进行比较的处理；

上述第1检索机构及上述第2检索机构中的至少一个，对于通过上述判断机构判断为是同一人物的图像，改变对于评价值的阈值后，再次尝试进行相当于被摄体的规定的部位的部分图像及被摄体图像包含在哪个检索区域中的检测；

聚焦控制机构在通过上述第1检索机构没有检测到上述部分图像并且通过上述第2检索机构检测到上述被摄体图像的情况下，将上述多个焦点搜索区域候选中的包含被摄体图像的某个部位的1个以上的焦点搜索区域候选作为焦点搜索区域，将该焦点搜索区域中的对比度用于聚焦控制。