CN101616262B - 成像装置 - Google Patents

Abstract

本发明提供的一种成像装置，包括，成像光学系统，形成对象的光学图像；图像传感器，用于摄取上述对象的光学图像，并将该光学图像转换为电图像信号；特征点提取部，用于根据上述生成的图像信号，来提取上述对象的特征点；以及显示部，将基于上述生成的图像信号的图像和表示上述特征点位置的显示外框显示为上述显示外框重叠在上述图像的状态；上述显示部使上述显示外框的时间上的位置变动的高频分量小于上述特征点的上述显示部中的时间上的位置变动的高频分量那样来显示上述显示外框。

Description

成像装置

本申请为下述申请的分案申请：

原申请的申请日：2006年02月06日

原申请的申请号：2006800042046(PCT/JP2006/301998)

原申请的发明名称：成像装置

技术领域

本发明涉及诸如数字静态摄像机、数字视频摄像机等这类成像装置。具体来说，本发明涉及具有自动聚焦功能的诸如数字静态摄像机、数字视频摄像机等这类成像装置。

背景技术

目前包含诸如CCD或CMOS这类图像传感器的诸如数字静态摄像机、数字视频摄像机等这类成像装置已经出现爆发性流行。总体来说，成像装置根据对象的成像信号检测聚焦状态，并根据该检测结果通过在光轴方向上移动成像光学系统中包括的聚焦透镜单元来进行自动聚焦控制，业已成为主流。

伴随成像装置功能的提升，要求自动聚焦控制功能精致。举例来说，专利文献1中披露了适合于成像装置并且进行聚焦调整的自动聚焦装置。该自动聚焦装置将对象的成像信号分割成多个聚焦区域，对每一聚焦区域中所包括的肤色像素进行计数，并且指定其中一个用于聚焦调整的聚焦区域。

专利文献1中所披露的常规自动聚焦装置中，将人物设定为主要对象。换言之，自动聚焦装置进行基于肤色像素的聚焦控制，从而聚焦区域跟随人物，由此能够以不变方式对准人物进行准确的聚焦。

[专利文献]日本特开2004-37733号公报

发明内容

(本发明要解决的问题)

专利文献1中所披露的常规自动聚焦装置假设进行聚焦跟踪以便跟随人物，并且其中进行聚焦跟踪的区域由标记等指示，或者从用于显示的多个聚焦区域当中选择。但这种情况下，在拍摄之前显示于监视屏幕上的标记的位置和所选定的聚焦区域，因自动聚焦装置其机身的振动等而以晃动方式有所变动，导致观察监视屏幕过程中存在较大困难这种问题。具体来说，以较大的放大倍数进行拍摄的情况下，上面所述影响便会明显。

专利文献1中所披露的常规自动聚焦装置中，在较大的监视屏幕区域内进行聚焦跟踪需要进行特征点提取，造成算法处理有很大的负担。此外，只将人物设定为主要对象，因而无法对其他对象进行聚焦跟踪。因为数字静态摄像机、数字视频摄像机等所拍摄的主要对象并不限于人物，因而专利文献1中所披露的常规自动聚焦装置无法充分满足用户的要求。

因此，本发明其目的在于提供一种可对移动对象进行聚焦调整并且防止所要显示的聚焦区域不必要变动的成像装置。

(上述问题的解决方案)

本发明上述目的由具有下面配置的成像装置实现。该成像装置包括：

成像光学系统，形成对象的光学图像，

图像传感器，用于摄取上述对象的光学图像，并将该光学图像转换为电图像信号，

图像分割部，用于将上述图像信号分割成多个区域，

特征点提取部，用于在包含上述多个区域中的至少一个区域的区域中，提取上述对象的特征点，

低通滤波器，提取上述被提取的特征点的位置信息中的时间序列振荡频率的低频分量，并将所提取的低频分量的值作为显示位置信息来输出，以及

显示部，将基于上述生成的图像信号的图像和表示上述特征点位置的显示外框显示为上述显示外框重叠在上述图像的状态；

上述显示部根据上述低通滤波器所输出的显示位置信息，来显示上述显示外框。

(本发明的效果)

按照本发明，可提供一种能够对移动对象进行聚焦调整并且防止所要显示的聚焦区域不必要变动的成像装置。

附图说明

图1是图示说明本发明实施例1的成像装置的框图；

图2是显示部17上显示的各区域框的显示位置的示意图；

图3是图示说明本发明实施例1的成像装置其机身的后视图的示意图；

图4是示出成像装置在基准色信息设置处理过程中的工作流程图；

图5是图示说明显示对象的显示部17的示意图；

图6是图示说明本发明实施例1中其上显示有对象和区域框的显示部17的示意图；

图7示出实施例1中色调和饱和度信息的运作表达式；

图8是实施例1中色调和饱和度信息的图表；

图9是示出实施例1中基准色信息和基准附近区域1的色调和饱和度信息的图表；

图10是示出成像装置利用聚焦跟踪进行成像处理过程的工作流程图；

图11A是实施例1中其上显示有对象和AF区域框的显示部17的示意图；

图11B是实施例1中其上显示有对象和AF区域框的显示部17的示意图；

图11C是实施例1中其上显示有对象和AF区域框的显示部17的示意图；

图11D是实施例1中其上显示有对象和AF区域框的显示部17的示意图；

图12是图示说明图11A至图11D中的单位区域B1a至B1d间移动的示意图；

图13是示出由特征点位置运算部运算得到的特征点的坐标的示意图；

图14A是示出显示部17上所显示的显示区域框和特征点两者间坐标关系的示意图；

图14B是示出显示部17上所显示的显示区域框和特征点两者间坐标关系的示意图；

图15是图示说明本发明实施例2的成像装置其配置的框图；

图16是图示说明本发明实施例4的成像装置其配置的框图；

图17是图示说明本发明实施例5的成像装置其配置的框图；

图18是示出实施例5的成像装置利用聚焦跟踪进行成像处理过程中的工作流程图；

图19是图示说明本发明实施例6的成像装置其配置的框图；

图20是示出实施例6的成像装置利用聚焦跟踪进行成像处理过程中的工作流程图；

图21是示出由特征点位置运算部运算得到的特征点的坐标的示意图；

图22是图示说明实施例6中其上显示有AF区域框的显示部17的示意图；

图23A是图示说明实施例7中其上显示有对象和区域框的显示部17的示意图；

图23B是图示说明实施例7中其上显示有对象和区域框的显示部17的示意图；

图23C是图示说明实施例7中其上显示有对象和区域框的显示部17的示意图；

图23D是图示说明实施例7中其上显示有对象和区域框的显示部17的示意图；

图24是示出实施例7中低通滤波器36其细节的框图；

图25A是示出实施例7中低通滤波器36的输入信号的波形图；

图25B是示出实施例7中低通滤波器36的输出信号的波形图；

图26是示出实施例7中低通滤波器36的截止频率fc和模糊评估值两者间关系的曲线图。

(参照标号的说明)

10    成像装置的机身

10a   取景器

11    透镜筒

12    变焦透镜

13    聚焦透镜

14    CCD

15    图像处理部

16    图像存储器

17、67    显示部

18    存储卡

19    操作部

19a   快门按钮

19b   光标按钮

19c   决定按钮

19d   菜单按钮

21    透镜驱动部

30    系统控制器

31    图像分割部

32    聚焦信息运算部

33    透镜位置控制部

34    特征点提取部

35    特征点位置运算部

36    低通滤波器

37    AF区域选择部

40    单位区域选择部

41    特征点信息设置部

42    焦距操作部

43    区域改变部

具体实施方式

(实施例1)

图1是图示说明本发明实施例1的成像装置的框图。实施例1的成像装置包括起到成像光学系统作用的透镜筒11、变焦透镜系统12、和聚焦透镜13，为图像传感器的CCD14，图像处理部15，图像存储器16，显示部17，操作部19，透镜驱动部21，以及系统控制器30。

透镜筒11在其内侧保持变焦透镜系统12。该变焦透镜系统12和聚焦透镜13起到成像光学系统的作用，用于以放大倍数可变的方式形成对象的光学图像。该成像光学系统从物方侧起依次包括当放大倍数变化时从物方侧起依次沿光轴移动的变焦透镜单元12a和12b，以及沿光轴移动用于调整聚焦状态的聚焦透镜13。

CCD14是按预定定时摄取变焦透镜系统12所形成的光学图像、并将该图像转换为所要输出的电图像信号的图像传感器。图像处理部15是使CCD14所输出的信号经过诸如白平衡补偿和γ补偿这类预定的图像处理的处理部。图像存储器16暂存图像处理部15输出的图像信号。

显示部17，一般来说为液晶显示屏，按照稍后将说明的系统控制器30的指令接收CCD14所输出的图像信号或通过图像处理部15存储于图像存储器16的图像信号，并将图像信号显示为用户可视的图像。图像处理部15按照双向方式可接入或接出用户可卸除的存储卡18。存储卡18按照稍后将说明的系统控制器30的指令接收并存储CCD14所输出的图像信号或通过图像处理部15存储于图像存储器16的图像信号，并通过图像处理部15将所存储的图像信号输出给图像存储器16用于暂存图像信号。

操作部19设置于成像装置的机身外部，并且包括用户用来进行成像装置其机身的设置和操作的按钮。操作部19包括多个按钮，这些按钮的细节将在下面参照图3说明。

透镜驱动部21按照稍后将说明的系统控制器30的透镜位置控制部33的指令输出用于在光轴方向(方向A或者方向B)上驱动聚焦透镜13的驱动信号。透镜驱动部21具有当用户操作变焦杆时在沿光轴的方向上驱动变焦透镜12的功能。

系统控制器30包括图像分割部31、聚焦信息运算部32、透镜位置控制部33、特征点提取部34、特征点位置运算部35、低通滤波器36、AF区域选择部37、以及单位区域选择部40。

图像分割部31进行将图像存储器16所输出的图像信号分割成多个单位区域的处理。

聚焦信息运算部32针对图像分割部31分割成多个单位区域9的图像信号根据每一单位区域的对比度信息和聚焦透镜13的位置信息运算散焦量。聚焦信息运算部32运算包括至少一个单位区域的第一区域组的散焦量。本实施例中，第一区域组是由对其进行稍后将说明的对象特征点的提取处理和散焦量的运算处理的各最小单位区域所组成的组。

透镜位置控制部33根据聚焦信息运算部32所输出的散焦量产生用于控制聚焦透镜13位置的控制信号，并且将该信号输出给透镜驱动部21。透镜位置控制部33将透镜驱动部21驱动聚焦透镜13时所获得的位置信息输出给聚焦状态运算部32。因此，聚焦状态运算部32可以用聚焦透镜13的位置信息和对比度信息运算散焦量。

特征点提取部34对图像分割部31分割成多个单位区域的图像信号提取每一单位区域的特征点。本实施例中，特征点提取部34运算作为每一单位区域特征点的颜色信息，并且将经过运算的颜色信息输出给特征点位置运算部35。从包括至少一个单位区域的第二区域组当中提取特征点。本实施例中所给出的说明假定，根据指示AF区域范围并由稍后将说明的AF区域选择部37所输出的显示位置信息，确定从其当中提取特征点的区域。特征点提取部34运算作为某些单位区域其中每一区域的特征点的颜色信息，上述单位区域是从图像信号当中分割的一部分单位区域，并且根据对特征点设置区域指示范围并由稍后说明的AF区域选择部37输出的显示位置信息而包括在该特征点设置区域的范围内，并且将该显示位置信息输出给特征点信息设置部41。

特征点信息设置部41根据特征点提取部34输出的各个单位区域的颜色信息运算并存储用户选择的单位区域的一项颜色信息，由此进行特征点信息设置处理。特征点信息设置部41包括非易失性存储器，基准色信息一旦存储即便是成像装置其主体关闭电源也能够保存。当利用聚焦跟踪进行成像处理过程时，特征点信息设置部41读出所存储的颜色信息，并且将该颜色信息输出给特征点位置运算部35。

特征点位置运算部35根据特征点提取部34所输出的各个单位区域的特征点和特征点信息设置部41所输出的特征点两者的比较结果运算两者基本上相符的位置。本实施例中，特征点位置运算部35根据各个单位区域的颜色信息和特征点信息设置部41所输出的颜色信息两者的比较结果运算两者基本上相符的位置。特征点位置运算部35将运算得到的特征点位置信息输出给低通滤波器36和单位区域选择部40。特征点位置信息给出的是例如坐标。

低通滤波器36通过从特征点位置运算部35输出的特征点位置信息当中消除高频分量来提取特征点位置信息中的时间序列振荡频率的低频分量。举例来说，低通滤波器36根据通过对预定时间周期内得到的各项特征点位置信息进行平均运算所得到的平均值或通过对预定时间周期内得到的各项特征点位置信息进行移动平均运算所得到的移动平均值，来提取特征点位置信息中的低频分量。低通滤波器36将所提取的低频分量作为所提取的位置信息输出给AF区域选择部37。

AF区域选择部37按照低通滤波器36所输出的提取的位置信息生成给出所要显示的AF区域在显示部17上的位置的显示位置信息，并将该显示位置信息输出给特征点提取部34和显示部17。当利用聚焦跟踪进行成像处理过程中第一次显示AF区域时，AF区域选择部37读出未图示的存储器中预先存储的默认的显示位置信息，并将该默认的显示位置信息输出给特征点提取部34和显示部17。

当特征点信息设置处理过程中第一次显示特征点设置区域时，AF区域选择部37读出未图示的存储器中预先存储的默认的显示位置信息，并将该默认的显示位置信息输出给特征点提取部34和显示部17。

单位区域选择部40按照特征点位置运算部35所输出的特征点位置信息选择特征点位置信息给出的位置出现的单位区域。举例来说，特征点位置信息给出坐标的话，单位区域选择部40便选择特征点位置运算部35所输出的包含坐标的单位区域。单位区域选择部40使得显示部17显示封闭所选定的单位区域的单位区域框。

接下来说明AF区域和单位区域。图2是显示部17上所要显示的区域框的示意图。图2示出显示部17上所要显示的图像信号在水平方向(x方向)上分割成18分割段、而在垂直方向(y方向)上分割成13分割段的例子。这种情况下，图像信号分割成18*13个单位区域，显示部17上显示有分别封闭18*13个单位区域的18*13个单位区域框。

图2中，单位区域B0代表针对其进行稍后将说明的对对象特征点的提取处理和对聚焦信息的运算处理的某一单位区域。该例中，单位区域B0由坐标(10，7)示出。18*13个单位区域框可并不一定显示，可以只显示对单位区域选择部40所选定的单位区域进行封闭的单位区域框。举例来说，显示全部区域框的话，可以用细线或浅色线显示单位区域框，以便提高显示部17上显示的观察能力。

稍后将说明的利用聚焦跟踪的成像处理期间，显示部17上显示有对由一个或多个单位区域所组成的AF区域A0进行封闭的AF区域框。AF区域A0是一在利用对于对象的聚焦跟踪进行成像处理的过程中针对其提取特征点的区域。

图3是图示说明本发明实施例1的成像装置其机身的后视图的示意图。实施例1的成像装置包括成像装置的机身10、显示部17、操作部19、以及取景器10a。

取景器10a是以光学方式将对象的图像呈现至用户眼睛的光学系统。显示部17是如前面所述的液晶显示器，将所摄取的图像信号作为用户可视的图像进行显示。操作部19包括快门按钮19a、光标键19b、决定按钮19c、以及菜单按钮19d。

快门按钮19a在用户按下一半时启动利用聚焦跟踪的成像处理，并在用户完全按下时使所摄取的图像存储于存储卡内。光标键19b操作为从显示部17所显示的种种操作模式的菜单当中选择其项目和内容。决定按钮19c操作为确定通过操作光标键19b所选择的内容。菜单按钮19d操作为对成像装置的机身的种种通用操作模式其中每一模式进行菜单显示。

将稍后说明的所摄取的图像信号在显示器17上的特征点信息的存储处理(特征点信息设置)是否开始作为种种操作模式其中每一模式的项目包含。当用户操作菜单按钮19d并且使得显示部17显示关于特征点信息设置处理启动的菜单时，光标键19b通过用户的操作受理对内容的选择。这种状态下，当用户操作光标键19b以选择特征点信息设置处理的启动，并且接着操作决定按钮19c时，特征点信息设置处理由特征点信息设置部41启动。

图4是示出成像装置在特征点信息设置处理过程中的工作流程图。图4中的流程图示出系统控制器30上执行的程序的工作流程。图5是图示说明其上显示有对象的显示部17的示意图。图5示出显示部17上显示有对象P2的例子。图6是图示说明本发明实施例1其上显示有对象和区域框的显示部17的示意图。图6示出对象P2上显示有18*13个单位区域框的例子。通过用决定按钮19c和菜单按钮19d设置以颜色信息为基准的模式的话，该处理从基准色信息设置处理的启动起开始启动。

步骤S101中，CCD14所摄取的图像信号由图像处理部15输出并且在显示部17上显示可视图像。单位区域选择部40使得显示部17显示各单位区域框。因此，如图6中所示，显示部17上所显示的图像处于可视图像和单元区域框叠加的状态。图像存储器16输入至系统控制器30中的图像分割部31的图像信号以每一单位区域被分割。

步骤S102等待关于是否选择特征点设置区域C1这种输入。特征点设置区域C1用于设置特征点。AF区域选择部37将给出特征点设置区域C1范围的显示位置信息输出给显示部17，并使得显示部17显示特征点设置区域框。因此，显示的是实框封闭的特定区域(特征点设置区域C1)，由此表明该选择可行。用户可以通过使用光标键19b来移动实框封闭的区域。举例来说，当用户移动实框封闭的区域并且按下决定按钮19c时，选择图6中所示的特征点设置区域C1，然后进入到步骤S103的处理过程。

步骤S103中，特征点提取部34运算特征点设置区域C1中所显示的经过分割的图像的颜色信息。然后进入到步骤S104的处理过程。

步骤S104，特征点信息设置部41存储经过运算的颜色信息，由此完成特征点信息设置处理。

图7示出实施例1中色调和饱和度信息的运作表达式。下面说明步骤S103中提到的特征点提取部34对色调和饱和度信息的运作原理。假定图像信号分为红(下面称为R)、绿(下面称为G)、以及蓝(下面称为B)，并且R、G、B分别具有256级，下面给出说明。

由特征点提取部34进行对色调和饱和度信息的运作。首先，特征点提取部34针对图像分割部31输出并且分割的图像信号(下面称为经过分割的图像信号)得到R、G、B当中的最大值。所获得的最大值表示为V(表达式1)。接下来，特征点提取部34针对图像分割部31输出的经过分割的图像信号得到最小值，并且从V当中减去所得到的最小值，由此得到d(表达式2)。此外，特征点提取部34通过用V和d得到饱和度S(表达式3)。

当满足饱和度S＝0时，特征点提取部34确定色调H＝0(表达式4)。当饱和度为非0值时，特征点提取部34通过进行预定的处理来运算色调(表达式5至表达式7)。这里，预定的处理是下列处理其中之一：当R、G、B当中的最大值等于R时按照表达式5得到色调H的处理；当最大值等于G时按照表达式6得到色调H的处理；以及当最大值等于B时按照表达式7得到色调H的处理。

最后，当所得到的H为负数时，特征点提取部34通过加360将H转化为一正值(表达式8)。如上所述，特征点提取部34运算经过分割的图像信号的色调和饱和度。

图8是实施例1中色调和饱和度信息的图表。图8中，饱和度S与图表的直径方向相对应，并绘制为从代表S＝0的中心开始朝向周边在0至255范围内增加。图8中，色调H与圆周方向相对应，由沿圆周方向的0至359的数值表示。

举例来说，经过分割的图像信号的颜色信息给出R＝250、G＝180、B＝120的话，特征点提取部34便可通过使用上面提及的表达式得到V＝250、d＝250-120＝130、饱和度S＝130*255/250＝133、色调H＝(180-120)*60/133＝27。

如上所述，特征点提取部34运算经过分割的图像信号的色调和饱和度。包含经过运算的色调和饱和度的基准色信息作为特征点信息输出给并且保存于特征点信息设置部41中。接下来说明设置为与基准色信息邻近的基准附近区域。

由特征点提取部34运算的基准色信息保存于特征点信息设置部41中，并且在需要参照时用作用于判断所要摄取的对象的颜色信息的基准。同时总体而言，相同对象的颜色信息随诸如照明光和曝光时间这类因素而发生轻微的变化。因而，当将基准色信息和所要摄取的对象的颜色信息两者相比较时，最好给予基准色信息一预定的允许范围以进行同一性判别。该基准色信息的固定的允许范围称为基准附近区域。

下面示出的是运算基准附近区域的例子。图9是色调和饱和度信息的图表，给出实施例1中的基准色信息和基准附近区域1。图9中，作为基准色信息(H1，S1)绘制的点与特征点信息设置部41中存储的颜色信息相对应。基准色信息给出的是当满足上面提到的例子中运算得到的R＝250、G＝180、B＝120时得到的色调H＝27(＝H1)和饱和度S＝130(＝S1)。

基准附近区域1是其中针对基准色信息H1定义允许范围的区域。色调的允许范围为/ΔH＝10的情况下，基准附近区域1与H1±10的区域相对应，该区域如图9中所示由一个弧和两条径向线所封闭。

上述例中尽管以统一的方式设置色调的允许范围，但本发明并不限于此。使用辅助光源的情况下，通过根据光源的色调信息调整所要参照的颜色信息的范围，即便是在黑暗的地方使用成像装置也能准确确定基准范围。举例来说，使用具有LED这类微带红色的辅助光源的情况下，允许通过使H1偏移至0来调整。

接下来说明聚焦跟踪动作。图10是示出成像装置利用聚焦跟踪进行成像处理过程的工作流程图。图10中的流程图示出由系统控制器30执行的程序的工作流程。图11A至11D是实施例1中其上显示有对象和AF区域框的显示部17的示意图。图11A至11D中示出的是其中显示有对象P1、18*13个单位区域框、以及AF区域框(区域A1)的例子。图11A至11D分别示出其中对象P1每次经过1/30秒在显示部17上移动的视图。包含特征点提取部34所提取的对象特征点在内的单位区域框随着移动按区域B1a、B1b、B1c、以及B1d的顺序移动。图10中，当快门按钮19a由用户按下一半时，开始利用聚焦跟踪的成像处理。

步骤S201中，显示部17显示可视图像和AF区域框。具体来说，显示部17显示的是由CCD 14摄取并经过图像处理部15预定的图像处理的图像信号的可视图像。图像信号由图像分割部31分割成18*13个单位区域，AF区域A1由经过分割的单位区域当中的7*5个单位区域所形成。封闭AF区域A1的AF区域框显示时叠加于图像信号上。因此，如图11A中所示，显示部17处于其中可视图像和AF区域框叠加的显示状态。尽管图11A中还显示有各单位区域框，但也可以不显示单位区域框。

接下来，步骤S202判断AF区域A1的中心坐标是否超出显示部17的预定范围。当AF区域A1的中心坐标超出预定范围时，AF区域框显示于屏幕周边附近。预定的范围是例如包括显示部17的中心部附近的坐标在内的范围，举例来说，由区域连线坐标(3，2)、(14，2)、(14，10)、以及(3，10)形成。

步骤S203中，当AF区域A1的中心坐标超出预定范围时，AF区域A1的中心坐标重新设置为默认值。这里，AF区域A1的中心坐标移动至如图4中所示为显示部17的中心坐标的(8，6)，并且显示于显示部17上。再次在步骤S201中，显示部17显示可视图像和AF区域框。而当AF区域A1的中心坐标在预定范围内时，处理过程进入到步骤S204。

步骤S204中，单位区域选择部40判断特征点是否包含于AF区域A1内。具体来说，由上面参照图9说明的方法根据特征点信息设置部41中存储的基准色信息运算基准附近区域，并判断特征点提取部34所输出的每一区域的颜色信息是否包含于基准附近区域内。当特征点包含于AF区域A1内，也就是说，所具有的颜色信息接近为特征点信息的基准色信息的区域处于AF区域A1内时，处理过程进入到步骤S205。而当特征点并非包含于AF区域A1内，也就是说，所具有的颜色信息接近基准色信息的区域并非处于AF区域A1内时，处理过程则进入到步骤S208。

图像分割部31将已经分割成18*13个单位区域的图像信号输出给特征点提取部34和聚焦信息运算部32。根据AF区域选择部37输出的显示位置信息，特征点提取部34运算图像信号经过分割形成的各单位区域当中包括在AF区域A1范围内的每一单位区域其作为特征点的颜色信息。

图11A中，作为特征点提取的区域B1a表示为坐标(5，6)。接下来的图11B中，作为特征点提取的区域B1b表示为坐标(10，5)。接下来的图11C中，作为特征点提取的区域B1c表示为坐标(8，4)。接下来的图11D中，作为特征点提取的区域B1d表示为坐标(11，8)。

图12是图示说明单位区域B1a至B1d的移动的示意图。当对象依次如图11A、图11B、图11C、图11D中所示移动时，从其中提取特征点的单位区域框按图12所示顺序移动。随后，作为一例说明显示部17处于图11D所示状态的情形。

接下来，在步骤S205中从特征点位置信息当中提取低频分量。低通滤波器36运算所选定的单位区域(区域B1a至B1d)当中当前特征点的坐标(区域B1d的坐标)和先前特征点的坐标(区域B1c的坐标)两者间的平均值，并且将该平均值作为所提取的位置信息输出。

接着，在步骤S206中根据所提取的位置信息选择AF区域A1的显示位置。AF区域选择部37选择AF区域A1的显示位置，输出显示位置信息，并使得显示部17显示AF区域框A1。

接下来，在步骤S207中运算单位区域选择部40所选定的单位区域(区域B1d)的散焦量。具体来说，聚焦信息运算部32利用单位区域选择部40所选定的每一单位区域的图像信号运算对比度，并且运算与对比度达到峰值的位置相关的散焦量。具体来说，聚焦信息运算部32将运算散焦量的指令送至透镜位置控制部33。透镜位置控制部33使得透镜驱动部21在方向A或者方向B上驱动聚焦透镜13，并将聚焦透镜13的位置信息送至聚焦信息运算部32。通过用聚焦透镜13的位置信息和用图像信号运算得到的对比度信息，根据聚焦透镜其对比度数值最高的位置和当前位置运算散焦量。

接下来，在步骤S207中所选定的单位区域(例如区域B1d)中进行聚焦。具体来说，由聚焦信息运算部32运算得到的散焦量送至透镜位置控制部33。透镜位置控制部33根据散焦量使透镜驱动部驱动聚焦透镜13并对对象进行聚焦。该处理进入到步骤S209。

另一方面，当步骤S204判断特征点并非处于AF区域(区域A1)内时，聚焦信息运算部32、透镜位置控制部33、以及透镜驱动部21按照聚焦透镜的位置信息和由图像信号生成的对比度信号在步骤S208中在图1中所示的方向A或方向B上驱动聚焦透镜13，由此聚焦信息运算部32运算聚焦透镜13其对比度数值就AF区域中的全部区域而言为最高的位置。根据聚焦透镜13其对比度数值最高的位置和当前位置运算散焦量。

步骤S209中，透镜位置控制部33和透镜驱动部21根据聚焦信息运算部32在步骤S207或步骤S208的处理过程中得到的散焦量使得聚焦透镜13对所选定的区域进行聚焦。接着，该处理进入到步骤S210。步骤S208中，可从对于区域A1中的全部区域所得到的散焦量当中选择最接近区域的散焦量，并且可以在步骤S209中在最接近的区域中进行聚焦，或者可以选择对其给予优先权的中心部位附近区域的散焦量，并且可以在步骤S209中在中心部位附近区域中进行聚焦。

接着，在步骤S210中判断快门按钮19a是否完全按下。当快门按钮19a完全按下时，该处理进入到步骤S211。快门按钮19a释放的话，重新进行上面所提及的全部处理。步骤S211中，根据系统控制器30在快门按钮19a完全按下时刻所发出的指令，进行将从图像存储器16或图像处理部15输出的图像信号存储于存储卡中的成像处理，并且完成利用聚焦跟踪的成像处理。

接下来说明本发明技术特征的对AF区域的显示位置进行控制的方法。

图13是示出由特征点位置运算部35运算得到的特征点的坐标的示意图。图13其中上一幅所示的曲线图是示出在x方向上包含特征点的单位区域其时间序列移动的曲线图。该曲线图中，垂直轴给出包含特征点的单位区域在显示部17上的x坐标，而水平轴则给出时间t。波形Wx1表示特征点位置运算部35所输出的特征点位置信息给出的在x方向上的位置其时间序列移动。波形Wx2表示低通滤波器36所输出的特征点位置信息给出的在x方向上的位置其时间序列移动。如图所示，通过提取波形Wx1的低频分量，可产生其具有的变动量小于波形Wx1情形的波形。

另一方面，图13其中下一幅所示的曲线图是示出在y方向上包含特征点的单位区域其时间序列移动的曲线图。该曲线图中，垂直轴给出包含特征点的单位区域在显示部17上的y坐标，而水平轴则给出时间t。波形Wy1表示特征点位置运算部35所输出的特征点位置信息给出的在y方向上的位置其时间序列移动。波形Wy2表示低通滤波器36所输出的特征点位置信息给出的在y方向上的位置其时间序列移动。如上所述，通过提取波形Wy1的低频分量，可产生其具有的变动量小于波形Wy1情形的波形。

图13的两幅曲线图中，按周期性间隔Ts绘制单位区域的特征点位置信息以进行聚焦信息运算处理或特征点提取处理。举例来说，图11所示的对象其特征点的移动由坐标表示的情况下，特征点如图11A、图11B、图11C、以及图11D所示依次移动。由此，x坐标表示为Xa(＝5)、Xb(＝10)、Xc(＝8)、以及Xd(＝11)，而y坐标表示为Ya(＝6)、Yb(＝5)、Yc(＝4)、以及Yd(＝8)。

图14A至14D是其上显示有AF区域框和单位区域框的显示部17的示意图。如图14A中所示，参照图11和图13说明的对象的特征点其坐标按区域B1a、B1b、B1c、以及B1d这一顺序有很大的变化。只显示有从其中提取特征点的单位区域的情况下，举例来说，显示部上所要显示的图像按1/30秒的周期性间隔更新的话，每次进行聚焦信息运算处理或特征点提取处理时，所要显示的单位区域其位置每1/30秒移动一次，因此造成难以看见图像。

反之，本发明的成像装置显示的是设置为包括一个或多个单位区域的AF区域(区域A1)，不是只显示从其中提取对象的特征点的单位区域(区域B1a至B1d当中)。具体来说，具有预定尺寸(这里为其中包括7*5个单位区域)的区域A1其中心位置，按照包含低通滤波器36所输出的特征点在内的区域其x坐标和y坐标各自的低频分量进行设置，于是显示部17上显示有中心位置。因而，如图14A中所示，即便是对象的特征点其位置以晃动的方式按B1a、B1b、B1c、以及B1d这一顺序移动，AF区域(区域A1)也可按稳定的位置显示。

此外，如图14B中所示，当对象的特征点处于显示部17的右上方时，区域A2设置为包括上述区域，并且显示区域A2而不是从其中提取特征点的单位区域本身(区域B2a至B2d当中)。因而，在将AF区域显示于显示部17的中心位置这种状态(图14A所示状态)下使成像装置的机身往左下方向晃动时，显示部17上显示的AF区域缓慢地往右上方向移动，图14A所示的状态变化为图14B所示的状态。因而，可以清楚地表明对对象的跟随，并且AF区域能够以很容易观察的方式显示。

综上所述，按照本实施例，因为所显示的AF区域的位置并非按晃动的方式移动，因而可提供一种具有较高操作性，并且能够以很容易观察的方式将对象的摄像范围显示于屏幕上的成像装置。因为是针对具有必要的最小和优化尺寸的AF区域运算控制信息的，因而算法处理过程中的负担可减小。因而，可以增强成像装置的功能。因为对象其用作特征点的颜色信息可以由用户任意设置，可进一步增强成像装置的功能。

此外，按照本实施例，当AF区域的中心坐标超出预定范围时，AF区域的中心坐标重新设置为默认值，由此将AF区域框移至屏幕的中心部分附近。成像装置是数字静态摄像机或数字视频摄像机的情况下，当对象移至屏幕周边时，用户通常改变成像装置的方向使得对象可显示于接近屏幕的中心部位。因而，当AF区域的中心坐标超出预定范围时，可以通过将AF区域的中心坐标重新设置为默认值，将AF区域的显示位置迅速移至屏幕中心部位附近。

实施例1中，尽管说明的是图像分割部将图像信号分割成18*13个单位区域、而显示部17上显示有该18*13个单位区域框的例子，但可以任意设置单位区域的数目，容许单位区域以适当的方式设置。可以将若干单位区域组合形成为一个单位区域。这种情况下，多个单位区域可以彼此重叠。

实施例1中，尽管说明的是运算和存储2*2区域框中的特征点信息的例子，但可以任意设置区域框的尺寸和位置。

实施例1中，尽管说明的是所拍摄的对象其颜色信息存储于特征点信息设置部41中的例子，但本发明并不限于此。举例来说，可将诸如肤色这类若干项基准色信息作为特征点信息存储于成像装置主体中。这种情况下，特征点信息预先存储于诸如成像装置所包括的存储器这类存储装置中。提取特征点时，特征点提取部34根据存储器中预先存储的特征点信息提取特征点。这种情况下，特征点信息设置部41可以不包括在成像装置中。

实施例1中，尽管说明的是封闭用于聚焦跟踪的AF区域的框作为AF区域框进行显示的例子，利用聚焦跟踪进行成像处理所用的区域和所显示的区域可以并不一定彼此相符。举例来说，不仅可针对AF区域而且可针对全部区域进行聚焦信息运算处理和特征点提取处理。为了通过防止AF区域框以晃动的方式移动来确保屏幕的可观察性能，较好是所显示的AF区域框其尺寸大于对其中运算聚焦信息的区域的尺寸。

实施例1中，尽管说明的是AF区域其中在聚焦跟踪处理开始时第一次显示的位置、和AF区域其中当其中心坐标超出预定范围时所显示的位置接近屏幕中心部位的例子，但AF区域其默认的显示位置不限于此。举例来说，监视摄像机等当中，对象往往出现于其屏幕的周边。因而，这种情况下，AF区域其默认的显示位置可以是在屏幕的周边。

(实施例2)

实施例1中，成像装置在提取特征点时使用颜色信息。与此相反，本实施例的成像装置其特征在于，在提取特征点时使用与亮度相关的信息。

图15是图示说明本发明实施例2的成像装置其配置的框图。因为实施例2的成像装置具有与实施例1的成像装置基本上相同的配置，因而与图1中相同的参照标号用来标注所起作用的方式与图1中组成所起作用的方式相同的组成，具体的说明将从略。

图15所示的系统控制器30a不同于图1中所示的包括在实施例1的成像装置中的系统控制器30，系统控制器30a中特征点提取部34和特征点信息设置部41省略。图15中所示的系统控制器30a中，图像分割部和特征点位置运算部其动作不同于实施例1中的动作。因而，为了将本实施例中的图像分割部和特征点位置运算部与实施例1中的图像分割部31和特征点位置运算部35相区分，本实施例中的图像分割部和特征点位置运算部分别标注为图像分割部31a和特征点位置运算部35a。

图像分割部31a将分割成单位区域的图像信号输出给聚焦信息运算部32和特征点位置运算部35a。

特征点位置运算部35a利用由图像分割部31a分割成多个单位区域的图像信号，根据与各个单位区域的亮度相关的信息(下面称为亮度信息)运算特征点的位置。具体来说，特征点位置运算部35a判断亮度信息所给出的亮度数值当中是否有随时间变化的亮度数值。特征点位置运算部35a将预定时刻的图像信号的亮度数值与预定时刻经过预定的时间周期的预定时刻的图像信号的亮度数值相比较。当亮度数值两者间的差值大于预定阈值时，可判断亮度数值已经改变。特征点位置运算部35a判断亮度值变化的位置是特征点出现的位置，并且将通过运算得到的特征点位置信息输出给低通滤波器36和单位区域选择部40。

本实施例中，因为成像装置利用聚焦跟踪进行成像处理过程中的动作与实施例1中的成像装置的动作基本相同，只是在提取特征点时使用亮度信息方面有所不同，因而将图10应用于本实施例，其说明从略。

综上所述，按照本实施例，对象的聚焦跟踪可以通过用亮度信息来实现。本实施例中，尽管将亮度数值变化的位置作为特征点提取，但提取使用亮度数值的特征点的方法不限于此。举例来说，可以预先将特定的亮度数值或者大于或等于预定阈值的亮度数值设置为特征点。这种情况下，特定的亮度数值或者大于或等于预定阈值的亮度数值预先存储于存储器中。特征点位置运算部读出存储器中存储的亮度数值并且进行特征点提取处理。当该成像装置是例如监视摄像机这类经过安装的摄像机时，和所要显示的背景基本上固定的情况下特别有效。

(实施例3)

实施例1中，成像装置在提取特征点时使用颜色信息。与此相反，本实施例的成像装置其特征在于，在提取特征点时使用运动矢量。

因为本实施例的成像装置的配置与实施例2的成像装置的配置相同，因而将图15应用于本实施例。

特征点位置运算部35a使用由图像分割部31a分割成多个单位区域的图像信号，分别在x方向和y方向上根据各自的单位区域的亮度信息所给出的亮度数值检测对象的运动矢量。特征点位置运算部35a将所检测的运动矢量作为特征点信息输出给低通滤波器36和单位区域选择部40。

本实施例中，因为成像装置利用聚焦跟踪进行成像处理过程的动作与实施例1中的成像装置的动作基本相同，只是将运动矢量作为特征点进行提取的方面有所不同，因而用图10进行说明，说明从略。

综上所述，按照本实施例，可以通过用运动矢量来实现聚焦跟踪。

(实施例4)

实施例1中，成像装置在提取特征点时使用颜色信息。与此相反，本实施例的成像装置其特征在于，在提取特征点时使用边缘信息。

图16是图示说明本发明实施例4的成像装置其配置的框图。因为本实施例的成像装置具有与实施例1的成像装置基本相同的配置，因而与图1中相同的参照标记用来标注所起作用的方式与图1中组成部分所起作用的方式相同的组成部分，具体的说明将从略。

图16所示的系统控制器30b不同于图1中所示的包括在实施例1的成像装置中的系统控制器30，系统控制器30b中特征点提取部34和特征点信息设置部41省略。图16中所示的系统控制器30b中，聚焦信息运算部和特征点位置运算部其动作不同于实施例1中的动作。因而，为了将本实施例中的聚焦信息运算部和特征点位置运算部与实施例1中的聚焦信息运算部32和特征点位置运算部35相区分，本实施例中的聚焦信息运算部和特征点位置运算部分别标注为聚焦信息运算部32b和特征点位置运算部35b。

本实施例中，聚焦信息运算部32b将各个的单位区域的对比度信息输出给特征点位置运算部35b。

特征点位置运算部35b根据聚焦信息运算部32b所输出的对比度信息运算出现特征点的位置。具体来说，特征点位置运算部35b根据对比度信息生成由背景和对象的对比度两者间的差值产生并给出对象轮廓的边缘信息。作为生成边缘信息的方法，举例来说，有通过比较亮度数值进行二进制值处理的方法和利用差分滤波器进行边缘检测的方法。也可以利用任何其他用于生成边缘信息的方法来替代上面所述方法。

特征点位置运算部35b将预定时刻的边缘信息和从预定时刻起经过预定周期时间的时刻的边缘信息相比较，提取运动的边缘的位置作为特征点，并将通过运算得到的特征点的特征点位置信息输出给低通滤波器36和单位区域选择部40。

本实施例中，因为成像装置利用聚焦跟踪进行成像处理过程中的动作与实施例1中成像装置的动作基本相同，只是将边缘信息作为特征点提取方面有所不同，因而将图10应用于本实施例，故其说明从略。

综上所述，按照本实施例，可通过使用边缘信息来实现聚焦跟踪。

(实施例5)

实施例1至实施例4中，当用户将快门按钮19a按下一半时，成像装置开始利用聚焦跟踪进行成像处理过程。与此相反，本实施例的成像装置其特征在于，当用户将快门按钮按下一半并且焦距大于或等于预定值时，成像装置才开始利用聚焦跟踪进行成像处理过程。

图17是图示说明本发明实施例5的成像装置其配置的框图。因为实施例3的成像装置具有与实施例1的成像装置基本相同的配置，因而与图1中相同的参照标号用来标注所起作用的方式与图1中组成部分所起作用的方式相同的组成部分，具体说明将从略。

图17所示的系统控制器30c不同于图1中所示的包括在实施例1的成像装置中的系统控制器，系统控制器30c中进一步包括焦距运算部42。图17所示的系统控制器30c中，特征点位置运算部和透镜位置控制部其动作不同于实施例1中的动作。因而，为了将本实施例中的特征点位置运算部和透镜位置控制部与实施例1中的特征点位置运算部35和透镜位置控制部33相区分，本实施例中的特征点位置运算部和透镜位置控制部分别标注为特征点位置运算部35c和透镜位置控制部33c。

透镜位置控制部33c根据聚焦信息运算部32输出的散焦量生成用于控制聚焦透镜13位置的控制信号，并且将控制信号输出给透镜驱动部21和焦距运算部42。

焦距运算部42根据透镜位置控制部33c输出的控制信号运算焦距。当焦距大于或等于预定值时，焦距运算部42指令特征点位置运算部35c开始利用聚焦跟踪进行成像处理。当从焦距运算部42接收到用于开始利用聚焦跟踪进行成像处理的指令时，特征点位置运算部35c开始利用聚焦跟踪进行成像处理。

图18是示出实施例5的成像装置在特征点信息设置处理过程中动作的流程图。图18中的流程图示出由系统控制器30c执行的程序的工作流程。图18中，当用户将快门按钮19a按下一半时，便开始利用聚焦跟踪进行成像处理。

步骤S301中，焦距运算部42根据透镜位置控制部33c输出的控制信号运算焦距。接着，在步骤S302中焦距运算部42判断运算得到的焦距是否大于或等于预定值。当焦距小于预定值时，焦距运算部42退出利用聚焦跟踪进行的成像处理。

另一方面，当焦距大于或等于预定值时，焦距运算部42进入到图10中所示的步骤S201的处理过程。因为步骤S201及其后续的处理与实施例1情形相同，因而将图10应用于本实施例，其说明将从略。

综上所述，按照本实施例，当用户将快门按钮按下一半并且焦距大于或等于预定值时，才可开始利用聚焦跟踪进行成像处理。因而，即便在以高放大倍数进行成像时对象的移动距离大的情况下，摄取对象的AF区域能够以很容易观察的方式显示于屏幕上。

(实施例6)

实施例1至5中，成像装置随特征点的移动仅变动AF区域框的位置，但AF区域的尺寸则保持不变为常数。与此相反，本实施例的成像装置其特征在于，AF区域的尺寸随对象的移动距离变动。

图19是图示说明本发明实施例6的成像装置其配置的框图。因为实施例6的成像装置具有与实施例1的成像装置基本相同的配置，因而与图1中相同的参照标号用来标注所起作用的方式与图1中组成部分所起作用的方式相同的组成部分，具体说明将从略。

图19所示的系统控制器30d不同于图1中所示的包括在实施例1的成像装置中的系统控制器30，系统控制器30d中进一步包括区域变动部43。图19所示的系统控制器30d中，特征点位置运算部和AF区域选择部其动作不同于实施例1中的动作。因而，为了将本实施例中的特征点位置运算部和AF区域选择部与实施例1中的特征点位置运算部35和AF区域选择部37相区别，本实施例中的特征点位置运算部和AF区域选择部分别称为特征点位置运算部35d和AF区域选择部37d。

特征点位置运算部35d如同实施例1中的情形，运算并输出特征点提取部34所提取的特征点在x方向和yz方向上的坐标。实施例1中，特征点位置运算部35将该坐标信息输出给低通滤波器36和单位区域选择部40。与此相反，本实施例中特征点位置运算部35d则将坐标信息输出给低通滤波器36、单位区域选择部、以及区域变动部43。

区域变动部43根据特征点位置运算部35d输出的特征点位置信息运算AF区域的面积。具体来说，区域变动部43通过例如检测包络或者求得均方差来针对该特征点位置信息运算波形的幅值。区域变动部43随幅值的变化对AF区域选择部37d通报AF区域的尺寸。下面将说明通过根据用作特征点位置信息的x坐标和y坐标进行包络检测来运算幅值的例子。

AF区域选择部37d根据区域变动部43所通报的区域和低通滤波器36输出的所提取的位置信息运算AF区域的显示位置和面积。AF区域选择部37d将运算得到的AF区域的显示位置和面积作为显示位置信息输出给显示部17，并且使得显示部17显示AF区域框。

本实施例中，成像装置利用聚焦跟踪进行成像处理过程中的动作不同于实施例1中图10所示的流程图中的步骤S206及其后续处理过程的动作。图20是示出实施例6的成像装置利用聚焦跟踪进行成像处理过程中动作的流程图。下面参照图10和图20说明本实施例的成像装置的动作。

图10所示的步骤S206中，AF区域选择部37d选择AF区域的显示位置。接着，在图20所示的步骤S401中，区域变动部43判断AF区域是否要变动其区域。具体来说，区域变动部43根据特征点位置信息的波形来进行包络检测，并且判断幅值的变化是否大于或等于预定值。

当AF区域其区域要变动时，也就是说，当幅值的变化大于或等于预定值时，区域变动部43对AF区域选择部37d通报AF区域的面积。

接下来，在步骤S402中AF区域选择部37d根据所通报的区域和所提取的位置信息运算AF区域的显示位置和面积，并将显示位置和尺寸作为显示位置信息输出给显示部17。显示部17根据显示位置信息显示AF区域框。该处理进入到图10中的步骤S207。而AF区域其尺寸并不要变动时，也就是说，当幅值的变化小于或等于预定值时，区域变动部43并不进行对AF区域框尺寸的通报，并进入到步骤S207的处理过程。

图21是示出由特征点位置运算部35d运算得到的特征点的坐标的示意图。图21其中上一幅所示的曲线图是示出在x方向上包含特征点的单位区域其时间序列移动的曲线图。该曲线图中，垂直轴给出包含特征点的单位区域在显示部17上的x坐标，而水平轴则给出时间t。波形Wx3表示特征点位置运算部35所输出的特征点位置信息给出的在x方向上的位置移动。波形Wx4则表示低通滤波器36所输出的特征点位置信息给出的在x方向上的位置移动。

另一方面，图21其中下一幅所示的曲线图是示出在y方向上包含特征点的单位区域其时间序列移动的曲线图。该曲线图中，垂直轴给出包含特征点的单位区域在显示部17上的y坐标，而水平轴则给出时间t。波形Wy3表示特征点位置运算部35d所输出的特征点位置信息给出的在y方向上的位置移动。波形Wy4表示低通滤波器36所输出的特征点位置信息给出的在y方向上的位置移动。这里提到的波形Wx3、Wx4、Wy3、以及Wy4与实施例1中所说明的图13中所示的波形Wx1、Wx2、Wy1、以及Wy2相同。

当进行包络检测时，预先确定预定的阈值，并且针对大于或等于预定的阈值的数值和小于预定的阈值的数值进行包络检测。图21中，波形Wx5是表示通过针对包含于波形Wx3中并且大于或等于预定的阈值的坐标进行包络检测所得到的波形。波形Wx6是表示通过针对包含于波形Wx3中并且小于预定的阈值的坐标进行包络检测所得到的波形。波形Wx5和Wx6两者间的差值是x方向的幅值。

另一方面，波形Wy5是表示通过针对包含于波形Wy3中并且大于或等于预定的阈值的坐标进行包络检测所得到的波形。波形Wy6是表示通过针对包含于波形Wy3中并且小于预定的阈值的坐标进行包络检测所得到的波形。波形Wy5和Wy6两者间的差值是y方向的幅值。

如上所述，区域变动部43得到作为幅值的、对象的特征点分别在x方向和y方向上的位置变化，并且对所要显示的AF区域运算其区域(单位区域的数目)。

图22是示出实施例6中其上显示有AF区域框的显示部17的示意图。下面参照图21和图22说明对显示部17上显示的AF区域框的尺寸进行控制的方法。

图21中，随着时间接近时间t1，对象的移动距离增加，进而特征点在x方向和y方向上的位置移动其幅值也增加。AF区域A3a在0时刻包含7*5个单位区域的情况下，随着时间t接近时间t1，显示部17上显示的AF区域框的尺寸依次放大至包含9*7个单位区域的AF区域A3b和包含10*8个单位区域的AF区域A3c。

如上所述，本实施例中，因为进一步包括用于控制AF区域其尺寸的因素来跟随对象的运动，所以除了实施例1至5中所说明的效果，可以随成像装置的机身的手抖动量的个体差异和在以较高放大倍数进行成像时而有所放大的手抖动量来控制AF区域的尺寸。摄取对象的范围能够以更为稳定和容易观察的方式显示，这是因为AF区域框的显示位置并非频繁变化来跟随对象在屏幕上的运动。能够以最小的负担进行聚焦跟踪用的运算处理。

由于手抖等原因造成的图像模糊所导致的对象运动的变化与变焦放大倍数基本上成正比增加。因而AF区域的尺寸与变焦放大倍数基本上成正比变动，由此除了通过利用特征点的位置变化的包络检测来使尺寸变动以外，还允许响应性能有所增强。

本实施例中说明的是如图21所示根据大于或等于以及小于预定的阈值的特征点其坐标进行包络检测处理的例子。这里，可以进行所谓的“峰值保持”处理，在特征点的坐标大于或等于预定的阈值并且超过先前的坐标时，或者在特征点的坐标小于预定的阈值并且低于先前的坐标时作为包络检测的输出获得当前坐标。经过预定的时间周期之后，峰值保持处理过程可以重新设置并且从头开始。

(实施例7)

本发明的实施例7中，进一步具体说明实施例1中所说明的低通滤波器36的工作原理。实施例1中说明的是通过从特征点位置运算部35所输出的特征点位置信息当中清除高频分量来提取和输出特征点位置信息中的时间序列振荡频率的低频分量，并将所提取的低频分量的数值作为AF区域的显示位置信息输出给AF区域选择部37。

本实施例中将说明低通滤波器的特定配置和设置截止频率fc的方法。因为本实施例的成像装置具有与实施例1的成像装置基本相同的配置，因而与图1中相同的参照标号用来标注所起作用的方式与图1中组成部分所起作用的方式相同的组成部分，具体说明将从略。

图23A至23D为分别示出其上显示有对象和区域框的显示部17的示意图。图23A至23D中示出显示部17上所要显示的图像信号在水平方向(x方向)上分割成16个分割段，在y方向上分割成12个分割段的例子。这种情况下，图像信号分割成16*12单位区域，并且显示有分别封闭这16*12个单位区域的单位区域框。图23A至23D所示的相应单位区域的坐标在x方向上作为数值0至15示出，而在y方向上则作为数值0至11示出。举例来说，在配备有QVGA的显示部17的情况下，x方向的像素数目为320，y方向的像素数目为240。因而，单位区域B4a至B4d定义为分别具有20(像素)*20(像素)的区域。

图23A至图23D其中每一个给出的视图中，显示部17上显示的对象P1的位置因手抖或对象的移动而按图23A、图23B、图23C、图23D这一顺序变化。包含对象其由特征点提取部34提取的特征点在内的单位区域框按由坐标(7，5)表示的区域B4a、由坐标(8，6)表示的区域B4b、由坐标(8，5)表示的区域B4c、以及由坐标(7，6)表示的区域B4d这一顺序运动。

图23A至图23D中，虚线框示出随常规摄像机进行的聚焦跟踪而移动的AF区域框。图23A至图23D所示的例子中，依次输出“7”、“8”、“8”、“7”作为x方向的特征点位置信息，并依次输出“5”、“6”、“5”、“6”作为y方向的特征点位置信息。如上面所提及的那样，单位区域B4具有20(像素)*20(像素)。因而，x方向的坐标从7变化至8或从8变化至7的话，便在x方向上有20个像素的图像模糊发生，y方向的坐标从5变化至6或从6变化至5的话，便在y方向上有20个像素的图像模糊发生。举例来说，每1/30秒输出特征点位置信息并且AF区域框的显示位置移动为对象定位于AF区域的中心部位的情况下，常规成像装置中的AF区域框每1/30秒在x方向或y方向上移动20像素。因而，AF区域框其位置以晃动的方式移动，由此造成难以观察屏幕显示。

另一方面，图23A至图23D中，封闭区域A4a至A4d的实线框示出随本实施例的成像装置进行的聚焦跟踪而移动的AF区域框。因为本实施例的成像装置包括提取低频分量的低通滤波器36，所以可防止AF区域框其位置的晃动方式的移动。

图24是示出本实施例的低通滤波器其细节的框图。图24所示的是低通滤波器36为由数字电路所组成的IIR(无限脉冲响应)这种情况下的配置例。

低通滤波器36具有位置信息处理部360x和位置信息处理部360y。位置信息处理部360x包括系数框361和363、延迟框362、以及加法框364，从x方向的特征点位置信息的时间序列振荡频率当中提取并输出低频分量。位置信息处理部360y包括系数框365和367、延迟框366、以及加法框368，从y方向的特征点位置信息的时间序列振荡频率当中提取并输出低频分量。尽管位置信息处理部360x处理的特征点位置信息和位置信息处理部360y处理的特征点位置信息彼此不同，但位置信息处理部360x和位置信息处理部360y的基本动作彼此相同，因此，将位置信息处理部360x作为一代表性例子来说明。

首先，从特征点位置运算部35输出的x方向的特征点位置信息，输入至低通滤波器36的加法框364。这里，举例来说，特征点位置运算部35输出图23A至图23D所示的单位区域B4的x坐标，作为x方向的特征点位置信息，并且输出图23A至图23D所示的单位区域B4的y坐标，作为y方向的特征点位置信息。举例来说每1/30秒更新并输出特征点位置信息。

加法框将特征点位置运算部35所输出的数值与系数框363所输出的数值相加。系数框361利用预定的系数K1处理通过加法框364的相加所得到的数值，并将结果输出给AF区域选择部37。

延迟框362使通过加法框364的相加所得到的数值延迟预定时间周期，并将该数值输出给系数框363。本实施例中，假设延迟框延迟输入信号1/fs＝1/30秒并输出信号(fs：取样频率)。

系数框363利用预定的系数K2处理延迟框362所输出的数值，将其结果输出给加法框364。

这里，截止频率由fc表示。满足公式fc《fs的话，可以通过将由下面的公式(1)和(2)所代表的系数K1和K2设置为系数来得到低通滤波器36。

K1＝1/[1+1/(30*2*π*fc)]……(1)

K2＝1/[1+(30*2*π*fc)]……(2)

如上面的公式(1)和(2)中所示，当截止频率fc减小时，AF区域框的移动量可以减小。因而，可通过合适地设置与系数K1和K2相关的截止频率fc，来调整AF区域框的移动量。因此，可以理解只需要设置截止频率fc，使得用户感觉不到AF区域的振动。

图25A和图25B示出低通滤波器36的输入/输出波形。图25A示出输入到低通滤波器36的输入信号的波形图，图25B示出输出低通滤波器36的输出信号的波形图。图25A和图25B中，垂直轴给出与对象的位移量相对应的像素数目，而水平轴给出帧数。

输入至低通滤波器36的是两种信号即x方向的信号和y方向的信号。图25A和图25B给出的是这两种输入信号其中之一的波形和输出信号的波形。图25B示出的是用截止频率fc＝0.2Hz设置系数K1和K2的情况下，对其输入图25A所示的输入信号的低通滤波器36所输出的被监测的输出信号。

图25A中，所给出的例子中由输入信号表示的对象位置在±20像素范围内变化。图25B所示的输出信号表明，输入至其中截止频率设置为fc＝0.2的低通滤波器36中位置信息处理部360x和位置信息处理部360y的输入信号被衰减输出。更新帧的周期性间隔为1/30秒的情况下，帧数0至300所需要的时间段是10秒。

接下来，在使本实施例的低通滤波器36的截止频率fc变化的同时评估显示部17上所显示的对象其图像模糊的程度。具体来说，有10项测试主题对QVGA的2.5英寸的监视屏上所显示的对象的图像模糊给出评估。对图像模糊程度的评估是：“没有任何图像模糊问题”时给1分；“无法选择”时给0.5分；而“有图像模糊问题”时则给0分。

低通滤波器的截止频率按相位方式变化至5Hz、4Hz、3Hz、2Hz、1Hz、0.5Hz、0.2Hz、0.1Hz等，按各测试主题对各种情况下的图像模糊给出评估。

图26是示出低通滤波器36的截止频率fc和按测试主题给出的图像模糊评估点两者间关系的曲线图。图26中，垂直轴给出的是按各测试主题给出的图像模糊评估点的平均值，而水平轴给出的则是截止频率fc。

评估结果如图26所示，当低通滤波器36的截止频率fc设置为大于1Hz时，评估结果为“有图像模糊问题”的比例较大。另一方面，当低通滤波器36的截止频率fc设置为小于或等于1Hz时，评估结果为“没有任何图像模糊问题”的比例相对于评估结果为“有图像模糊问题”的比例有所增加。此外，当低通滤波器36的截止频率设置为小于或等于0.1Hz时，几乎所有的测试主题给出的评估是“没有任何图像模糊问题”。

如上所述，可通过将低通滤波器36的截止频率设置在0.1Hz至1Hz范围内，来减小AF区域框的不平稳移动或晃动式移动，并且可以按相对可观察的方式将AF区域框显示于监视屏上。如图23A至图23D所示，即便是对象P1以每1/30秒晃动的方式移动，但按照本实施例，由实线框给出的AF区域框其显示位置可以很稳定，这样对象P1的移动范围被大致定位于中心部分。

接下来具体说明对用户来说可很容易观察的AF区域框的移动范围。假设对象分别在x方向和y方向上的、由输入至低通滤波器36的输入信号所表示的位置，每1/fs秒按40像素范围和频度范围进行随机变化，按此频度提供的输入信号可以定义为1/2的取样频率fs。按fs/2范围提供的输入信号其平均功率在统计上用公式fcxπ/2来表达。因而，已通过低通滤波器36的输出信号其功率衰减至(fsxπ/2)/(fs/2)。这里，因为关系式

从初始的低通滤波器输出的截止频率fc在x方向和y方向上的位移量Px和Py可由下列公式(3)和(4)给出。

公式(3)和(4)中，举例来说，在截止频率是参数的情况下，AF区域框的显示位置的移动可以按下列方式减小。

在fc＝5Hz情况下

(像素)

在fc＝4Hz情况下(像素)

在fc＝3Hz情况下

(像素)

在fc＝2Hz情况下

(像素)

在fc＝1Hz情况下

(像素)

在fc＝0.5Hz情况下

(像素)

在fc＝0.2Hz情况下(像素)

在fc＝0.1Hz情况下

(像素)

如上所述，对监视屏进行更新的周期性间隔为1/30秒、范围为fc＝0.1Hz至1Hz的情况下，仍然有4至13像素的图像模糊。但AF区域框的显示位置其移动减小到QVGA屏的320(像素)*240(像素)的1至5％内，避免AF区域框随对象移动而发生的晃动式移动，由此屏幕显示的可观察能力有所增强。

此外，本实施例中，低通滤波器36是数字滤波器。因而，可通过使低通滤波器的截止频率fc和系数的变动，很容易地设置/改变AF区域框的显示状况。因而，可很容易地设置各状况，使得AF区域框很容易在可观察性能方面考虑因监视屏的尺寸或成像装置的机身类型或尺寸所导致的图像模糊量的差异。

本实施例中，说明的是低通滤波器的截止频率fc设置于0.1Hz至1Hz范围内，以便根据低通滤波器输出的位置信息来显示AF区域框，抑制对象的位置信息中的时间序列变化这一例子。但截止频率fc可以设置为用户感觉不到AF区域框有晃动式振动这种程度，可以随例如屏幕的像素数目、其中的对比度、或对象的尺寸进行适当的确定。本实施例中有一例其中的图像模糊程度抑制到相对于2.5英寸的QVGA显示的监视屏为4至13像素范围以内这种程度，从而使屏幕相对容易观察。但监视屏是2.5英寸640*480像素VGA显示器时，在任意一个方向上与分辨率的增加成正比将图像模糊程度抑制为8至26像素范围以内的话，屏幕上的显示可以做到相对较容易观察。而当监视屏为3英寸VGA时，与英寸数的增加成反比将图像模糊程度抑制为6.7至10.8像素范围以内的话，屏幕上的显示可以做到相对较容易观察。

尽管这里说明的是系数K1和K2在IIR数字滤波器中分别由公式(1)和(2)给出的示范例，但系数可以自由选择使得截止频率处于上面提到的范围内。低通滤波器不限于IIR滤波器，可以是FIR(有限脉冲响应)滤波器、二阶数字滤波器、或其它高阶数字滤波器。低通滤波器可以是模拟滤波器。这种情况下，对象的特征点位置信息可以作为模拟信号提取一次。数字滤波器可以通过在微型计算机中编程或通过一片硬盘来实现。

每一实施例的成像装置不限于特定的模式，可以适当修改。举例来说，尽管说明的是每一相应实施例的成像装置是在用户操作快门时得到静止画面的数字静态相机这种示范例，但成像装置也可应用于在操作成像按钮的预定时刻连续得到图像的数字视频摄像机。这种情况下，即便是对象移动，也可进行聚焦跟踪。每一相应实施例的成像装置均可应用于监控摄像机、车载摄像机、或网络摄像机。这种情况下，尽管用户可能难以操作快门，但可以按例如预定的定时自动操作或远程控制。

尽管每一相应实施例的成像装置分开包括系统控制器，但成像装置可以应用于个人计算机或移动电话单元中包括一控制CPU来替代系统控制器的成像系统。各组成部分可以随意组合。举例来说，可以进行种种例的组合，诸如如成像光学系统和图像传感器在物理上与其它组成部分分开的系统例和成像光学系统、图像传感器、以及图像处理部在物理上与其他组成部分分开的系统例。

(工业实用性)

本发明适合于诸如数字静态摄像机和数字视频摄像机的成像装置。

Claims (8)

1.一种成像装置，其特征在于：

该成像装置包括：

成像光学系统，形成对象的光学图像，

图像传感器，用于摄取上述对象的光学图像，并将该光学图像转换为电图像信号，

图像分割部，用于将上述图像信号分割成多个区域，

特征点提取部，用于在包含上述多个区域中的至少一个区域的区域中，提取上述对象的特征点，

低通滤波器，提取上述被提取的特征点的位置信息中的时间序列振荡频率的低频分量，并将所提取的低频分量的值作为显示位置信息来输出，以及

显示部，将基于上述生成的图像信号的图像和表示上述特征点位置的显示外框显示为上述显示外框重叠在上述图像的状态；

上述显示部根据上述低通滤波器所输出的显示位置信息，来显示上述显示外框。

2.如权利要求1所述的成像装置，其特征在于：

上述显示部所显示的上述显示外框追随上述特征点的时间上的位置变动的低频分量，以显示上述特征点的位置。

3.如权利要求1或2所述的成像装置，其特征在于：

该成像装置进一步包括用于事先设置与特征点相关的信息的特征点设置部；

上述特征点提取部根据将上述图像信号和上述特征点设置部所设置的与上述特征点相关的信息两者相比较得到的结果，提取上述对象的特征点。

4.如权利要求3所述的成像装置，其特征在于：

上述特征点设置部将基准色信息设置为与上述特征点相关的信息；

上述特征点提取部利用上述图像信号运算颜色信息，并根据将所运算的颜色信息和上述特征点设置部所设置的上述基准色信息两者相比较得到的结果，提取上述对象的特征点。

5.如权利要求4所述的成像装置，其特征在于：

上述基准色信息是上述特征点提取部针对事先摄取的图像信号的所期望的区域进行运算而得到的颜色信息。

6.如权利要求5所述的成像装置，其特征在于：

上述颜色信息和上述基准色信息中的至少一种包含与色调相关的信息和与饱和度相关的信息中的至少一种。

7.如权利要求1或2所述的成像装置，其特征在于：

上述特征点提取部提取上述对象的边缘信息。

8.如权利要求1或2所述的成像装置，其特征在于：

上述特征点提取部提取上述对象的亮度信息。

Images