CN101547304A - 成像设备、其控制方法、以及程序 - Google Patents

Abstract

一种成像设备包括：布局辅助图像存储单元，用以存储多个布局辅助图像，其表示在成像范围内布置对象的位置和大小；成像单元，用以执行主体的成像以产生成像的图像；对象检测单元，用以从所述成像的图像检测所述对象，以及其中的对象的位置和大小；以及显示控制单元，用以覆盖在所述成像的图像上的、显示多个所存储的布局辅助图像之一。如果由所显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的位置差值、以及由所显示的布局辅助图像确定的对象的大小与所述成像的图像内的所检测的对象的大小之间的大小差值均在预定范围内，则覆盖在所述成像的图像上，显示除了所显示的布局辅助图像之外的布局辅助图像。

Description

成像设备、其控制方法、以及程序

技术领域

本发明涉及成像设备，更具体地，其涉及能够检测例如人的面部等的对象的成像设备和其控制方法、以及使计算机执行所述方法的程序。

背景技术

至今，成像设备已经得到普遍使用，其拍摄例如人的主体的图像，并且记录成像的图像，例如数码相机、数码摄像机等等。并且，在最近几年中，已经存在这样的成像设备，其检测人的面部，并且基于所检测的面部而设置各种类型的成像参数。此外，已经提出了这样的成像设备，其识别所检测的面部是否为特定的人的面部，并且向拍摄者通知所识别的特定的人。通过采用这样的成像设备来拍摄图像，允许甚至不惯于操作成像设备的人相对好地记录包括所期望的人的成像的图像。

现在，例如，在通过使用数码相机来拍摄旅游目的地的观光景点处的、伴有著名的建筑物作为背景的人的图像的情况下，著名的建筑物与其人之间的构图(composition)成为重要的因素。因此，在考虑成像范围内的建筑物和人的位置和大小的同时执行拍摄变得重要，但是，可以想到，对于不惯于操作成像设备的人来说，在考虑这样的位置和大小的同时执行拍摄是困难的。

因此，例如，已经提出了这样的成像设备，其获得表示将要成像的主体的框架(frame)内的位置和大小的目标构图数据，将从成像的图像所检测的主体的位置和大小、与用其目标构图数据表示的主体的位置和大小比较，以计算这些差异，并且操纵变焦比和要拍摄图像的朝向，以便减小这些差异(例如，见日本未审查专利申请出版物No.2007-259035(图1))。

发明内容

根据上述相关技术，在获取静止图像的情况下，即使不惯于操作成像设备的人也可以以适当的构图记录成像的图像。

现在，例如，考虑通过采用数码摄像机拍摄旅游目的地的观光景点处的特定人的图像的情况。并且，关于此情况，变得重要的是：在考虑成像范围内的、观光景点的背景与特定人之间的位置和大小的同时拍摄图像。然而，在用根据上述相关技术的构图(例如，特定人的整个身体)来记录成像的图像的情况下，连续地记录具有相似的构图的运动图像。因此，在视听这样记录的成像的运动图像的情况下，连续地再现具有相似的构图的运动图像，并且因此，存在这样的可能性：根据再现时间的经过，观看者对于正在再现的运动图像的兴趣可能会减小。

已经认识到，存在对于容易地记录在视听时吸引观看者的兴趣的成像的运动图像的需要。

根据本发明的实施例，成像设备包括：布局辅助图像存储单元，其被配置以存储多个布局辅助图像，其表示要在成像范围内布置对象的位置和大小；成像单元，其被配置以执行主体的成像以产生成像的图像；对象检测单元，其被配置以从成像的图像检测对象，并且检测成像的图像内的对象的位置和大小；以及显示控制单元，其被配置以通过覆盖在成像的图像上的方式，来显示作为存储在布局辅助图像存储单元中的多个布局辅助图像之一的布局辅助图像，并且在作为由显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的差值的位置差值、以及作为由显示的布局辅助图像确定的对象的大小与成像的图像内所检测的对象的大小之间的差值的大小差值均在预定范围内的情况下，以覆盖在成像的图像上的方式来显示除了存储在布局辅助图像存储单元中的多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像。因此，提供了这样的操作，其中，以覆盖在成像的图像上的方式来显示作为多个布局辅助图像之一的布局辅助图像，并且在位置差值和大小差值两者均变为在预定范围内的情况下，以覆盖在成像的图像上的方式，来显示除了多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像。

每次位置差值和大小差值均在预定范围内时，显示控制单元可以根据预定次序而依次显示存储在布局辅助图像存储单元中的多个布局辅助图像。因此，提供了这样的操作，其中，在位置差值和大小差值两者均变为在预定范围内的情况下，根据预定次序而依次显示多个布局辅助图像。

成像设备可以还包括：特定对象识别单元，其被配置以识别所检测的对象是否为特定对象；其中，在涉及所显示的布局辅助图像和所识别的特定对象的、位置差值和大小差值均在预定范围内的情况下，显示控制单元以覆盖在成像的图像上的方式来显示除了所显示的布局辅助图像之外的布局辅助图像。因此，提供了这样的操作，其中，在涉及所识别的特定对象的、位置差值和大小差值两者均变为在预定范围内的情况下，以覆盖在成像的图像上的方式来显示另一布局辅助图像。

成像设备可以还包括：特定对象标记(marker)产生单元，其被配置以基于成像的图像内的所识别的特定对象的位置和大小而产生将被添加至所识别的特定对象的特定对象标记；其中，显示控制单元以覆盖在成像的图像上的方式来显示作为存储在布局辅助图像存储单元中的多个布局辅助图像之一的布局辅助图像、以及所产生的特定对象标记。因此，提供了这样的操作，其中，产生将被添加至特定对象的特定对象标记，以覆盖在成像的图像上的方式来显示作为多个布局辅助图像之一的布局辅助图像、以及所产生的特定对象标记。

成像设备可以还包括：特定对象识别信息存储单元，其被配置以对于每个对象存储用于识别对象的多个特定对象识别信息；以及操作接受单元，其被配置以接受用于指定其中存储了特定对象识别信息的多个对象中的至少一个对象的指定操作；其中，特定对象识别单元通过采用涉及存储在特定对象识别信息存储单元中的多个特定对象识别信息中所指定的对象的特定对象识别信息，识别所检测的对象是否为特定对象。因此，提供了这样的操作，其中，采用涉及多个特定对象识别信息中所指定的对象的特定对象识别信息来识别所检测的对象是否为特定对象。

成像设备可以还包括：差值计算单元，其被配置以计算位置差值和大小差值；以及操作辅助图像产生单元，其被配置以产生操作辅助图像，用于基于位置差值和大小差值而修改成像的图像内所检测的对象的位置和大小中的至少一个；其中，显示控制单元以覆盖在成像的图像上的方式来显示存储在布局辅助图像存储单元中的多个布局辅助图像中的布局辅助图像、以及所产生的操作辅助图像。因此，提供了这样的操作，其中，产生操作辅助图像，以覆盖在成像的图像上的方式来显示作为多个布局辅助图像之一的布局辅助图像、以及所产生的操作辅助图像。

差值计算单元可以计算水平位置差值、以及垂直位置差值，作为位置差值，其中，水平位置差值是由所显示的布局辅助图像确定的对象的水平方向的位置与成像的图像内所检测的对象的水平方向的位置之间的差值，以及垂直位置差值是由所显示的布局辅助图像确定的对象的垂直方向的位置与成像的图像内所检测的对象的垂直方向的位置之间的差值；以及，操作辅助图像产生单元可以在水平位置差值超过水平阈值的情况下，产生作为用于修改成像的图像内所检测的对象的水平方向的位置的操作辅助图像的水平方向移动指示图像，并且在垂直位置差值超过垂直位置阈值的情况下，产生作为用于修改成像的图像内所检测的对象的垂直方向的位置的操作辅助图像的垂直方向移动指示图像，并且，在大小差值超过大小阈值的情况下，产生作为用于修改成像的图像内所检测的对象的大小的操作辅助图像的变焦指示图像。因此，提供了这样的操作，其中，在水平位置差值超过水平位置阈值的情况下，产生水平方向移动指示图像，以及在垂直位置差值超过垂直位置阈值的情况下，产生垂直方向移动执行图像，以及在大小差值超过大小阈值的情况下，产生变焦指示图像。

显示控制单元可以在水平位置差值超过水平位置阈值的情况下，或者在垂直位置差值超过垂直位置阈值的情况下，不显示变焦指示图像；以及在水平位置差值不超过水平位置阈值、且垂直位置差值不超过垂直位置阈值、以及大小差值超过大小阈值的情况下，显示变焦指示图像。因此，提供了这样的操作，其中，在水平位置差值超过水平位置阈值的情况下，或者在垂直位置差值超过垂直位置阈值的情况下，不显示变焦指示图像；以及在水平位置差值不超过水平位置阈值、且垂直位置差值不超过水平位置阈值的情况下，以及在大小差值超过大小阈值的情况下，显示变焦指示图像。

成像设备可以还包括：变焦镜头，其被配置以调节焦距；以及变焦镜头控制单元，其被配置以执行用于驱动变焦镜头的控制，以便基于大小差值而修改成像的图像内所检测的对象的大小。因此，提供了这样的操作，其中，执行用于驱动变焦镜头的控制，以修改成像的图像内所检测的对象的大小。

显示控制单元可以在由变焦镜头控制单元驱动变焦镜头的情况下，以覆盖在成像的图像上的方式来显示关于其要旨的操作辅助图像。因此，提供了这样的操作，其中，在驱动变焦镜头的情况下，以覆盖在成像的图像上的方式来显示关于其要旨的操作辅助图像。

变焦镜头控制单元可以在通过驱动变焦镜头来放大在成像的图像中包括的主体的情况下，仅当将所检测的对象被包括在放大之后的成像的图像中时，才执行用于驱动变焦镜头的控制。因此，提供了这样的操作，其中，在通过驱动变焦镜头来放大在成像的图像中包括的主体的情况下，仅当将所检测的对象被包括在放大之后的成像的图像中时，才执行用于驱动变焦镜头的控制。

根据上述配置，可以具有的优势在于，可容易地记录将在视听的时间吸引观看者兴趣的成像的运动图像。

附图说明

图1是图示根据本发明的实施例的成像设备的功能配置示例的框图；

图2A和2B是示意性地图示根据实施例的、通过用户采用存储在特定面部识别辞典(dictionary)存储单元中的特定面部识别辞典所指定的特定面部的情况的图示；

图3是示意性地图示根据实施例的、存储在辅助图像管理表存储单元中的内容的图示；

图4A至4C是图示根据实施例的、包括存储在辅助图像管理表存储单元中的布局辅助图像的模板图像的示例的图示；

图5是示意性地图示根据实施例的、保持在辅助图像显示信息保持单元中的内容的图示；

图6A和6B是图示根据实施例的、在设置显示单元的辅助图像显示模式时的显示示例的图示；

图7A和7B是示意性地图示用于显示操作辅助图像的差值计算方法、以及图示根据实施例的显示单元的操作辅助图像的显示示例的图示；

图8A和8B是图示根据实施例的、涉及通过用户对显示单元的操作的而进行的操作辅助图像的转变(transition)的显示示例的图示；

图9A和9B是图示根据实施例的、在取消显示单元的辅助图像显示模式时的显示示例的图示；

图10A和10B是图示根据实施例的、在切换显示单元的布局辅助图像时的显示示例的图示；

图11A和11B是图示根据实施例的、涉及显示单元的操作辅助图像显示的转变的显示示例的图示；

图12A和12B是图示根据实施例的、涉及通过用户对显示单元的操作而进行的操作辅助图像的删除的显示示例的图示；

图13A和13B是图示根据实施例的、涉及显示单元的操作辅助图像显示的转变的显示示例的图示；

图14A和14B是图示根据实施例的、在切换显示单元的布局辅助图像时的显示示例的图示；

图15是图示根据实施例的、利用成像设备的辅助图像显示处理的处理过程的流程图；

图16是图示根据实施例的、利用成像设备的辅助图像显示处理的处理过程中的操作辅助图像处理过程的流程图；

图17是图示根据实施例的、利用成像设备的辅助图像显示处理的处理过程中的布局辅助图像更新处理过程的流程图；

图18A和18B是图示根据实施例的、涉及显示单元的操作辅助图像显示的转变的显示示例的图示；

图19A和19B是图示根据实施例的、涉及通过用户对显示单元的操作而进行的操作辅助图像的删除的显示示例的图示；

图20是图示根据实施例的、利用成像设备的辅助图像显示处理的处理过程中的操作辅助图像显示处理过程的流程图；

图21是图示根据本发明的实施例的、成像设备的功能配置示例的框图；

图22A和22B是图示根据实施例的、显示在显示单元上的成像的图像的图示；

图23A和23B是图示根据实施例的、涉及显示单元的操作辅助图像显示的转变的显示示例的图示；

图24A和24B是图示根据实施例的、涉及通过用户对显示单元的操作而进行的操作辅助图像的删除的显示示例的图示；

图25是图示根据实施例的、利用成像设备的辅助图像显示处理的处理过程中的操作辅助图像显示处理过程的流程图；

图26是图示根据实施例的、利用成像设备的辅助图像显示处理的处理过程中的变焦镜头移动处理过程的流程图；以及

图27A和27B是图示根据实施例的显示单元的显示示例的图示。

具体实施方式

接下来，将参考附图，详细描述本发明的实施例。

图1是图示根据本发明的实施例的成像设备100的功能配置示例的框图。该成像设备包括：光学系统110、变焦镜头控制单元112、变焦镜头驱动单元113、成像单元120、面部检测单元130、特定面部识别单元140、特定面部识别辞典存储单元141、差值计算单元150、操作辅助图像产生单元160、特定面部标记产生单元165、辅助图像显示信息保持单元170、显示控制单元180、操作接受单元190、辅助图像管理表存储单元200、以及显示单元300。例如，可以由包括面部检测功能和变焦功能的摄录机(camcorder：camera andrecorder(相机和记录器))实现成像设备100。

光学系统110被配置有用于汇聚来自主体的光的多个镜头(变焦镜头111、聚焦镜头(未示出)等)，并且，将从主体输入的光通过这些镜头和光圈(iris)(未示出)提供至成像单元120。变焦镜头111是用于调节焦距的镜头，其根据变焦镜头驱动单元113的驱动而向光轴方向移动。也就是说，由变焦镜头111实现了变焦功能。

变焦镜头控制单元112基于由操作接受单元190接受的变焦操作的内容，产生用于驱动变焦镜头驱动单元113的驱动控制信号，以输出此驱动控制信号至变焦镜头驱动单元113。

变焦镜头驱动单元113用于根据从变焦镜头控制单元112输出的驱动控制信号来将变焦镜头111向光轴方向移动。

成像单元120转换来自主体的入射光，以根据预定的成像参数而产生成像的图像，并且，输出所产生的成像的图像至面部检测单元130和显示控制单元180。也就是说，利用成像单元120，在成像器件(未示出)的成像面上形成通过光学系统110输入的主体的光学图像，通过信号处理单元(未示出)，使对应于由此形成的光学图像的成像的信号经受预定信号处理，从而产生成像的图像。

面部检测单元130检测包括在从成像单元120输出的成像的图像中的人的面部，并且，输出涉及所检测的面部的面部检测信息至特定面部识别单元140。对于面部检测方法，例如，可以采用通过记录面部亮度分布信息的)与真实的面部之间的匹配的面部检测方法(例如，见日本未审查专利申请出版物No.2004-133637)、基于包含在成像的图像中的肤色部分、人类面部的特征量等的面部检测方法。并且，面部检测信息包括：面部图像，其是包括检测到的面部的其外围图像(例如，图2B中所示的面部图像401至403)；以及成像的图像上的检测到的面部的位置和大小。例如，可以将成像的图像上的检测的面部的位置设置为成像的图像上的面部图像的中心位置，并且，例如，可以将成像的图像上的检测的面部的大小设置为成像的图像上的面部图像的水平方向和垂直方向上的长度。利用水平方向和垂直方向上的长度来确定检测的面部的面积。

特定面部识别单元140采用存储在特定面部识别辞典存储单元141中的特定面部识别辞典，以识别由面部检测单元130检测的面部是否为由用户指定的特定人的面部(特定面部)。并且，在识别出由面部检测单元130检测的面部是特定面部的情况下，特定面部识别单元140将成像的图像上的此特定面部的位置和大小输出至差值计算单元150和特定面部标记产生单元165。这里，特定面部识别单元140采用对应于保持在辅助图像显示信息保持单元170的辞典编号171(图5中所示)处的辞典编号的、特定面部识别辞典，以执行识别处理。

对于每个特定面部，特定面部识别辞典存储单元141存储由特定面部识别单元140用于特定面部识别处理的多个特定面部识别辞典，并且向特定面部识别单元140提供所存储的特定识别辞典。这里，对于特定面部识别方法，例如，可以采用基于从特定的人的面部图像提取的特征量的识别方法。具体地，将从特定的人面部图像提取的特征量预先存储在特定面部识别辞典存储单元141中，作为特定面部识别辞典。随后，从由面部检测单元130检测的面部图像提取特征量，并且，将此提取的特征量与包括在特定面部识别辞典中的特征量相比较，从而计算这些特征量的相似度。随后，在所计算的相似度超过阈值的情况下，确定其面部图像为特定面部。并且，对于特定面部识别方法，例如，除了采用面部图像的特征量的识别方法之外，还可以采用通过识别器来执行识别处理的识别方法等，该识别器利用作为确定对象的面部图像上的两点的亮度值之间的差值。

辅助图像管理表存储单元200存储用于在显示单元300上显示布局辅助图像和操作辅助图像的每段信息，并且向差值计算单元150、操作辅助图像产生单元160和显示控制单元180提供所存储的每段信息。这里，布局辅助图像是表示要在成像范围内布置由用户指定的特定面部的位置和大小的人类模型图像，以及例如，显示了图4A至4C中所示的布局辅助图像222、225和228。并且，操作辅助图像是用于修改由用户指定的特定面部的位置和大小中的至少一个的图像，以及例如，显示了图7B中所示的、左移指示图像441、上移指示图像442、以及变焦指示图像443。注意，关于辅助图像管理表存储单元200，将参考图3和4进行详细描述。

差值计算单元150比较由特定面部识别单元140识别的特定面部的面部图像、与利用存储在辅助面部管理表存储单元200中存储的布局辅助图像确定的面部区域，以便计算涉及位置和大小的差值，并且，输出所计算的相应差值至操作辅助图像产生单元160。具体地，差值计算单元150比较从特定面部识别单元140输出的成像的图像上的特定面部的面部图像的位置和大小、与利用存储在辅助图像管理表存储单元200中的布局辅助图像确定的面部区域的位置和大小，从而计算成像的图像上的、垂直方向上的位置的差值、水平方向上的位置的差值、以及大小的差值中的每一个。注意，将参考图7A，详细描述这些差值的计算方法。

操作辅助图像产生单元160采用存储在辅助图像管理表存储单元200中的相应的阈值，以便基于从差值计算单元150输出的相应的差值而产生操作辅助图像，并且输出所产生的操作辅助图像至显示控制单元180。并且，在从差值计算单元150输出的差值等于或低于存储在辅助图像管理表存储单元200中的阈值的情况下，操作辅助图像产生单元160不产生对应于操作辅助图像的差值的操作辅助图像，并且向显示控制单元180输出：其差值等于或低于阈值。注意，将参考图7B，详细描述操作辅助图像的产生。

特定面部标记产生单元165基于从特定面部识别单元140输出的成像的图像上的特定面部的面部图像的位置和大小，产生指示成像的图像内的特定面部的位置的特定面部标记，并且输出所产生的特定面部标记至显示控制单元180。

辅助图像显示信息保持单元170依次保持用于在显示单元300上显示布局辅助图像或操作辅助图像的每段信息，并且向特定面部识别单元140、差值计算单元150和显示控制单元180提供所保持的每段信息。并且，由显示控制单元180依次重写在辅助图像显示信息保持单元170保持的每段信息。注意，关于辅助图像显示信息保持单元170，将参考图5而进行详细描述。

显示控制单元180在显示单元300上依次显示从成像单元120输出的成像的图像。并且，显示控制单元180根据保持在辅助图像显示信息保持单元170处的每段信息，以覆盖在成像的图像上的方式，依次显示存储在辅助图像管理表存储单元200中的布局辅助图像。此外，显示控制单元180以覆盖在成像的图像上的方式，显示从操作辅助图像产生单元160输出的操作辅助图像、以及从特定面部标记产生单元165输出的特定面部标记。显示控制单元180根据来自操作接受单元190的操作内容、或显示单元300的显示状态，重写辅助图像显示信息保持单元170的内容。

操作接受单元190是这样的操作接受单元，其接受由用户操作的操作内容，并向变焦镜头控制单元112和显示控制单元180输出对应于所接受的操作内容的信号。对于操作接受单元190，在成像设备100中提供操作部件，如用于执行变焦操作的W(广(wide))按钮和T(远(tele))按钮、用于指定特定面部的特定面部指定按钮、用于执行设置或取消允许记录运动图像的运动图像记录模式的运动图像记录模式设置/取消按钮、用于执行设置或取消用于在运动图像记录模式显示辅助图像的辅助图像显示模式的辅助图像显示模式设置/取消按钮，等等。这里，在按下W按钮的状态下，基于变焦镜头控制单元112的控制，变焦镜头111向广端侧(广角侧)移动；以及，在按下T按钮的状态下，基于变焦镜头控制单元112的控制，变焦镜头111向远端侧(远摄侧)移动。

显示单元300基于显示控制单元180的控制，显示例如成像的图像等的每个图像。例如，可以通过LCD(液晶显示器)或EVF(电子取景器)来实现显示单元300。注意，可以将操作接受单元190的一部分或整体配置为：与显示单元300集成，作为触摸板。

图2A和2B是示意性地图示采用存储在根据本发明的实施例的特定面部识别辞典存储单元141中的特定面部识别辞典来识别由用户指定的特定面部的情况的图示。图2A图示了存储在特定面部识别辞典存储单元141中的特定面部识别辞典，以及图2B图示了由成像单元120产生的成像的图像400。存储在特定面部识别辞典存储单元141中的相应的特定面部识别辞典是确定数据，其用于针对于由面部检测单元130检测的面部图像而由特定面部识别单元140执行特定面部识别处理，以及图2A示意性地图示了对应于作为特定面部识别辞典的每个特定面部识别辞典的面部。并且，图2A图示了作为示例的、将对应于三个人的面部的特定面部识别辞典存储在特定面部识别辞典存储单元141中的情况。

如图2A中所示的，以与特定面部识别辞典相关联的方式，将用于识别特定面部识别辞典的辞典编号存储在特定面部识别辞典存储单元141中。例如，附加“001”、“002”和“003”作为辞典编号，并且存储它们。这里，在由特定面部识别单元140执行特定面部识别处理的情况下，通过采用涉及由用户从存储在特定面部识别辞典存储单元141中的多个特定面部识别辞典中指定的至少一个特定面部的特定面部识别辞典，来执行特定面部识别处理。具体地，在由操作接受单元190接受用于从存储在特定面部识别辞典存储单元141中的多个特定面部识别辞典指定涉及至少一个特定面部的特定面部识别辞典的指定操作的情况下，在辅助图像显示信息保持单元170的辞典编号171中记录对应于所指定的特定面部识别辞典的辞典编号(图5中所示)。随后，在由特定面部识别单元140执行特定面部识别处理的情况下，通过采用与记录在辅助图像显示信息保持单元170的辞典编号171中的辞典编号相对应的特定面部识别辞典，执行特定面部识别处理。这里，将针对于作为示例的、在辅助图像显示信息保持单元170的辞典编号171中记录“001”的情况进行描述。

图2B中所示的成像的图像400包括三个人411至413。因此，由面部检测单元130检测人411至413的面部，并且，将面部图像401至403、以及它们的位置和大小输出至特定面部识别单元140。随后，特定面部识别单元140采用对应于由用户指定的特定面部的辞典编号“001”的特定面部识别辞典，以便关于面部图像301至303而执行特定面部识别处理，并且，通过此特定面部识别处理来识别由用户指定的特定面部。例如，如图2B中所示的，识别通常与表示对应于辞典编号“001”的特定面部识别辞典的特定面部相同的面部图像401，作为特定面部。注意，可以进行这样的布置，其中，预先指定多个特定面部，并识别所述多个特定面部中的至少一个。

图3是示意性地图示根据本发明的实施例的、存储在辅助图像管理表存储单元200中的内容的图示。辅助图像管理表存储单元200对于每个布局辅助图像，存储管理编号210、布局辅助图像信息220、垂直移动指示图像显示阈值230、水平移动指示图像显示阈值240、变焦指示图像显示阈值250、以及等待时间计数器阈值260。注意，依据本发明的实施例，将关于采用三种类型的布局辅助图像的示例进行描述。

管理编号210是将添加至多个类型的布局辅助图像的每一个的识别编号，并且例如，所述管理编号210存储分别与三种类型的布局辅助图像相对应的管理编号1至3。

布局辅助图像信息220是用于显示布局辅助图像的信息，并且包括模板图像、面部位置、以及面部大小。模板图像是以覆盖在成像的图像上的方式在显示单元300上显示的布局辅助图像的模板图像，以及例如，以与管理编号210的“1”至“3”相关的方式，存储“模板图像A”至“模板图像C”。注意，将参考图4A至4C，详细描述这些模板图像。这里，在把成像的图像视为平面坐标的情况下，将等同于布局辅助图像的面部区域的矩形的中心位置的坐标存储在面部位置中。此外，将等同于其面部区域的矩形的高度和宽度存储在面部大小中。具体地，在面部位置和面部大小中存储由布局辅助图像确定的面部区域的位置和大小。

垂直移动指示图像显示阈值230是在作出是否显示上移指示图像或下移指示图像的确定的情况下采用的阈值，其用作用于在成像的图像内、在垂直方向上移动具有特定面部的人的指示符。

水平移动指示图像显示阈值240是在作出是否显示左移指示图像或右移指示图像的确定的情况下采用的阈值，其作为用于在成像的图像内、在水平方向上移动具有特定面部的人的指示符。

变焦指示图像显示阈值250是在作出是否显示变焦指示图像的确定的情况下采用的阈值，其用作用于执行放大或缩小成像的图像内的具有特定面部的人的变焦操作的指示符。注意，关于垂直移动指示图像显示阈值230、水平移动指示图像显示阈值240、以及变焦指示图像显示阈值250中的每个阈值，可以根据管理编号210的“1”至“3”而改变其值，或者，关于管理编号210的“1”至“3”中的每一个，可以采用相同的值。

等待时间计数器阈值260是在特定面部与在显示单元300上显示的布局辅助图像相符之后、改变至下个布局辅助图像时采用的阈值。也就是说，此阈值是指示：从特定面部符合布局辅助图像直到将所显示的布局辅助图像切换至下个布局辅助图像位置为止的等待时间的值。

图4A至4C是图示根据本发明的所述实施例的、包括存储在辅助图像管理表存储单元200中的布局辅助图像的模板图像的示例的图示。本发明的实施例图示了作为示例的、用于在成像范围的中心部分按顺序逐步显示包括在成像的图像中的人的特定面部的布局辅助图像的情况。图4A图示了对应于管理编号210的“1”的模板图像A221，图4B图示了对应于管理编号210的“2”的模板图像B224，以及图4C图示了对应于管理编号210的“3”的模板图像C227。

模板图像A221包括布局辅助图像222，并且，以覆盖在成像的图像上的方式，在显示单元300上显示此布局辅助图像222。并且，在模板图像A221中所示的矩形223是等同于布局辅助图像222的面部部分的区域，并且，在布局辅助图像信息220的面部位置和面部大小中存储由此区域确定的位置和大小。具体地，布局辅助图像信息220的面部位置(X1，Y1)存储作为矩形223的中心位置的面部位置O1，并且，布局辅助图像信息220的面部大小(H1，W1)存储矩形223的水平方向上的长度(宽度)W1和垂直方向上的长度(高度)H1。并且，模板图像B224内的布局辅助图像225与矩形226之间的关系、以及模板图像C227内的布局辅助图像228与矩形229之间的关系与模板图像A221内的布局辅助图像222与矩形223之间的关系相同，以及因此，这里将省略它们的描述。这里，例如，布局辅助图像222是要在执行记录以拍摄特定人的整个身体的情况下显示的图像，布局辅助图像225是要在执行记录以便以半身特写的方式拍摄特定人的情况下显示的图像，以及布局辅助图像228是要在执行记录以便以特写方式拍摄特定人的面部的情况下显示的图像。

图5是示意性地图示根据本发明的实施例的、保持在辅助图像显示信息保持单元170中的内容的图示。辅助图像显示信息保持单元170保持辞典编号171、管理编号172、匹配标志173、以及等待时间计数器174。

辞典编号171是对应于从存储在特定面部识别辞典存储单元141中的多个特定面部识别辞典之中的由用户指定的特定面部识别辞典的辞典编号，以及图5图示了指定对应于存储在特定面部识别辞典存储单元141中的辞典编号“001”的特定面部识别辞典的情况。根据来自操作接受单元190的指定操作，由显示控制单元180重写辞典编号171的内容。

管理编号172是当前从在辅助图像管理表存储单元200中存储的多个管理编号中选择的管理编号，以及图5图示了当前选择了存储在辅助图像管理表存储单元200中的管理编号“1”的情况。

匹配标志173是指示特定面部是否与对应于存储在管理编号172中的管理编号的布局辅助图像(在显示单元300上显示的布局辅助图像)相符的标志。这里，特定面部与布局辅助图像相符的情况意味着这样的情况：由差值计算单元150计算的相应差值等于或低于各自与对应于存储在管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的垂直移动指示图像显示阈值230、水平移动指示图像显示阈值240、以及变焦指示图像显示阈值250相对应的阈值。例如，在特定面部与对应于存储在管理编号172中的管理编号的布局辅助图像相符的情况下，由显示控制单元180存储“1”，以及在特定面部不符合其布局辅助图像的情况下，由显示控制单元180存储“0”。注意，图5图示了特定面部不符合布局辅助图像的状态。

等待时间计数器174是指示从特定面部与对应于存储在管理编号172中的管理编号的布局辅助图像相符起所经过的时间的计数器。具体地，由显示控制单元180将从已经在匹配标志173中存储了“1”以来所经过的时间存储在等待时间计数器174中，以及，在此经过的时间达到对应于存储在管理编号172中的管理编号的等待时间计数器阈值260的值的情况下，由显示控制单元180用下个编号重写存储在管理编号172中的管理编号，并且，在匹配标志173中存储“0”。

图6A和6B、以及图7B至14B是图示根据本发明的实施例的显示单元300的显示示例的图示。并且，图7A是示意性地图示用于计算用于显示操作辅助图像的差值的计算方法的图示。注意，这些显示示例是在设置运动图像记录模式的情况下、在监视状态下或在记录运动图像期间的显示示例。

图6A图示了在设置辅助图像显示模式的情况下、在显示单元300上显示图2B中所示的成像的图像400的状态。此示例图示了这样的情况：在由用户指定辞典编号“001”的特定面部识别辞典的情况下，识别人411的面部作为特定面部，并且将特定面部标记420添加至此面部。这里，在已经由操作接受单元190接受了用于设置辅助图像显示模式的操作输入的情况下，如图6B所示，以覆盖在成像的图像上的方式，显示包括在对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的模板图像中的布局辅助图像。例如，如图5中所示，在将“1”存储在管理编号172中的情况下，通过显示控制器180，在显示单元300上显示包括在图4A至4C所示的模板图像A221中的布局辅助图像222。

图7A示意性地图示了用于计算在图6B中所示的显示示例的情况下的布局辅助图像222、与特定面部的面部图像401之间的差值的计算方法。并且，图7A仅图示了图6B中所示的显示示例的人411和位置辅助图像222，并且图示了具有与图6B中所示的成像的图像相同的大小的范围，作为成像范围430。依据本发明的实施例，作为示例，将关于采用下列参数的情况进行描述：成像的图像上的布局辅助图像信息220的面部位置；关于特定面部的面部图像的中心位置的、水平方向和垂直方向上的差值；以及用成像的图像上的布局辅助图像信息220的面部大小所确定的面积、与特定面部的面部图像的面积之间的差值，作为布局辅助图像与特定面部的面部图像之间的差值。具体地，假定取图像范围430的左上角为原点(0，0)，在以水平方向为x轴、以及垂直方向为y轴的x-y平面坐标上，特定面部的面部图像401的中心位置是坐标(X11，Y11)，特定面部的面部图像401的垂直方向上的长度是高度H11，以及其水平方向上的长度是宽度W11。由面部检测单元130检测这些值。在此情况下，布局辅助图像222的面部位置O1(X1，Y1)、与特定面部的面部图像401的中心位置坐标(X11，Y11)之间的、垂直方向上的差值是J11，以及水平方向上的差值是S11。并且，通过(W1×H1)-(W11×H11)获得：用布局辅助图像222的面部大小所确定的面积、与特定面部的面部图像401的面积之间的差值。因此，差值计算单元150基于特定面部的面部图像的位置和大小、以及用布局辅助图像所确定的面部区域的位置和大小，来计算相应的差值。随后，操作辅助图像产生单元160基于这些差值而产生操作辅助图像，并且，显示控制单元180控制显示单元300，以便以覆盖在成像的图像上的方式显示所产生的操作辅助图像。

具体地，在垂直方向上的差值J11的绝对值大于存储在对应于管理编号210的“1”的垂直移动指示图像显示阈值230中的值“J1”的情况下，产生指示要移动的方向的操作辅助图像。这里，在把布局辅助图像222的面部位置O1(X1，Y1)视为基准的情况下，在垂直方向上的差值J11的绝对值大于值“J1”的情况下，如果垂直方向上的差值J11是正值，则产生上移指示图像，其指示对成像设备100进行向上侧的倾斜(tilt)，以及如果垂直方向上的差值J11是负值，则产生下移指示图像，其指示对成像设备100进行向下侧的倾斜。例如，依据图7A中所示的示例，垂直方向上的差值J11是正值，产生上移指示图像442(图7B中所示)，其指示对成像设备100进行向上侧的倾斜。这里，根据垂直方向上的差值J11，确定上移指示图像442的垂直方向上的长度AJ11。随着差值J11变大，上移指示图像442在垂直方向上的长度AJ11变长。随后，如图7B中所示，以覆盖在成像的图像上的方式，在显示单元300上显示上移指示图像442。这里，倾斜意味着：在不改变拍摄者的拍摄位置的状态下，成像设备100在垂直方向上摇摆。

类似地，在水平方向上的差值S11的绝对值大于存储在对应于管理编号210的“1”的水平移动指示图像显示阈值240中的值“S1”的情况下，产生指示要移动的方向的操作辅助图像。这里，在把布局辅助图像222的面部位置O1(X1，Y1)视为基准的情况下，在水平方向上的差值S11的绝对值大于值“S1”的情况下，如果水平方向上的差值S11是正值，则产生左移指示图像，其指示对成像设备100进行向左侧的摇动(pan)，以及如果水平方向上的差值S11是负值，则产生右移指示图像，其指示对成像设备100进行向右侧的摇动。例如，依据图7A中所示的示例，水平方向上的差值S11是正值，产生左移指示图像442(图7B中所示)，其指示对成像设备100进行向左侧的摇动。这里，根据水平方向上的差值S11，确定左移指示图像441的水平方向上的长度AS11。随后，如图7B中所示的，以覆盖在成像的图像上的方式，在显示单元300上显示左移指示图像441。这里，摇动意味着：在不改变拍摄者的拍摄位置的状态下，成像设备100在水平方向上摇摆。

类似地，在用布局辅助图像222的面部大小所确定的面积、与特定面部的面部401的面积之间的差值的绝对值大于存储在对应于管理编号210的“1”的变焦指示图像显示阈值250中的值“Z1”的情况下，产生指示执行变焦操作的操作量的操作辅助图像。这里，在把由布局辅助图像222的面部大小(H1，W1)确定的面积视为基准的情况下，在面积的差值的绝对值大于值“Z1”的情况下，如果其面积的差值是正值，则产生指示执行变焦放大(zoom up)操作(放大操作)的变焦指示图像，以及，如果其面积的差值是负值，则产生指示执行变焦缩小(zoom down)操作(缩小操作)的变焦指示图像。例如，依据图7A中所示的示例，其面积的差值是正值，产生变焦指示图像443(图7B中所示)，其指示执行变焦放大操作(放大操作)。这里，根据其面积的差值，确定变焦指示图像443的垂直方向上的长度HW11。具体地，随着其面积的差值变大，变焦指示图像443的垂直方向上的长度HW变长。随后，如图7B中所示，以覆盖在成像的图像上的方式，在显示单元300上显示变焦指示图像443。注意，图7B图示了示例，其中，将左移指示图像441布置在布局辅助图像222的左侧，将上移指示图像442布置在布局辅助图像222的上侧，并且，将变焦指示图像443布置在布局辅助图像222的右侧，但是，可以采用另一布局。例如，可以将操作辅助图像布置在未检测到面部的区域中。并且，此示例图示了根据差值而改变操作辅助图像的长度的情况，但是，例如，可以通过根据差值而改变操作辅助图像的粗细度度(heaviness)或透明度(transmittance)等，向用户通知操作量。

图8A图示了在根据图7B中所述的左移指示图像441、由用户对成像设备100进行向左侧的摇动之后的显示示例。如图8A中所示，在水平方向上的差值S11的绝对值达到存储在对应于管理编号210的“1”的水平移动指示图像显示阈值240中的值“S1”的范围内的情况下，删除左移指示图像441。这里，例如，在由用户对成像设备100进行向左侧的摇动时中断摇动操作的情况下，在水平方向上的差值S11的绝对值大于值“S1”的情况下，根据水平方向上的差值S11，减小并显示左移指示图像441的长度。注意，依据图8A中所示的示例，关于垂直方向上的差值和面积(大小)的差值，不存在变化，这样，与图7B相似，继续显示上移指示图像442和变焦指示图像443。

图8B图示了在根据图8A中所述的上移指示图像442、由用户对成像设备100进行向上侧的倾斜之后的显示示例。如图8B中所示，在垂直方向上的差值J11的绝对值达到存储在对应于管理编号210的“1”的垂直移动指示图像显示阈值230中的值“J1”的范围内的情况下，删除上移指示图像442。这里，例如，在由用户对成像设备100进行向上侧的倾斜时停止倾斜操作的情况下，在垂直方向上的差值J11的绝对值大于值“J1”的情况下，根据垂直方向上的差值J11，减小并显示上移指示图像442的长度。注意，依据图8B中所示的示例，关于面积的差值，不存在变化，这样，与图8A相似，继续显示变焦指示图像443。

图9A图示了在根据图8B中所示的变焦指示图像443、由用户从操作接受单元190执行变焦放大操作之后的显示示例。如图9A中所示，在面积的差值的绝对值达到存储在对应于管理编号210的“1”的变焦指示图像显示阈值250中的值“Z1”的范围内的情况下，删除变焦指示图像443。这里，例如，在由用户从操作接受单元190执行变焦放大操作时停止变焦放大操作的情况下，以及在面积的绝对值大于值“Z1”的情况下，根据面积的差值，减小并显示变焦指示图像443的长度。因此，依据图9A中所示的示例，垂直方向和水平方向上的、以及大小的相应差值达到对应于管理编号210的“1”的相应阈值的范围内，这样，删除左移指示图像441、上移指示图像442、以及变焦指示图像443的全部。

图9B图示了在图9A中所示的显示状态下的、由操作接受单元190接受用于取消辅助图像显示模式的操作输入之后的显示示例。因此，在已经接受了用于取消辅助图像显示模式的操作输入的情况下，删除布局辅助图像222。注意，在显示例如左移指示图像441、上移指示图像442、变焦指示图像443等的操作辅助图像的情况下，也删除这些操作辅助图像。因此，在以用户偏好的方式布置特定面部的情况下，可以通过执行用于取消辅助图像显示模式的操作输入，仅显示成像的图像。

图10B图示了在图10A所示的显示状态下、在没有用于取消辅助图像显示模式的操作输入且经过了特定时间段(图3中所示的等待时间计数器阈值260的“T1”)之后的显示示例。注意，图10A中所示的显示示例与图9A中所示的显示示例相同。在如图10A中所示、自从符合布局辅助图像222的面部区域的特定面部起、已经经过了存储在对应于管理编号210的“1”的等待时间计数器阈值260中的时间“T1”的情况下，删除布局辅助图像222，并且，以覆盖在成像的图像上的方式，在显示单元300上显示包括在模板图像B224中的布局辅助图像225，其中，所述模板图像B224被存储在对应于管理编号210的“2”的布局辅助图像信息220的模板图像中。具体地，在自从符合布局辅助图像的面部区域的特定面部起、已经经过了确定的时间段的情况下，根据管理编号210的顺序，切换并显示布局辅助图像。随后，计算切换之后的布局辅助图像、与特定面部之间的相应的差值，并且，基于相应的差值而显示操作辅助图像。注意，在自从符合布局辅助图像的面部区域的特定面部起、已经经过了确定的时间段的情况下，在正在记录运动图像的条件下，可以切换布局辅助图像。

图11A图示了基于切换之后的布局辅助图像、与特定面部之间的相应的差值而产生的操作辅助图像的显示示例。图11A中所示的显示示例图示了显示变焦指令图示451作为操作辅助图像的情况。这里，依据以与图7A中所示的计算方法相同的方式计算的差值，确定变焦指示图像451的长度HW21。并且，依据图11A中所示的显示示例，垂直方向和水平方向上的差值均不超过阈值，这样，不显示用于在垂直方向和水平方向上移动的操作辅助图像。这里，例如，在具有特定面部的人411在成像的图像上向左移动的情况下，以及在水平方向上的差值的绝对值变得大于存储在对应于管理编号210的“2”的水平移动指示图像显示阈值240中的值“S2”的情况下，如图11B中所示，显示左移指示图像452。注意，根据水平方向上的差值而确定左移指示图像452的长度AS21。并且，关于通过用户在垂直/水平方向上移动成像设备100的情况等，计算相应的差值，并且，基于这些相应的差值而显示操作辅助图像。

图12A图示了成像设备100根据图11B中所示的左移指示图像452而经受向左侧的摇动之后的显示示例。如图12A中所示，在水平方向上的差值的绝对值达到存储在对应于管理编号210的“2”的水平移动指示图像显示阈值240中的值“S2”的范围内的情况下，删除左移指示图像452。注意，依据图12A中所示的示例，关于面积的差值，不存在变化，这样，类似于图11B，继续显示变焦指示图像451。

图12B图示了根据图12A中所示的变焦指示图像451、由用户从操作接受单元190执行变焦放大操作之后的显示示例。如图12B中所示，在面积的差值的绝对值达到存储在对应于管理编号210的“2”的变焦指示图像显示阈值250中的值“Z2”的范围内的情况下，删除变焦指示图像451。因此，依据图12B中所示的示例，垂直和水平方向上的、以及大小的相应的差值达到对应于管理编号210的“2”的相应的阈值的范围内，这样，删除左移指示图像、上移指示图像、以及变焦指示图像的全部。

图13A图示了在图12B所示的显示状态下、在没有用于取消辅助图像显示模式的操作输入且经过了特定时间段(图3中所示的等待时间计数器阈值260的“T2”)之后的显示示例。如图13A中所示，在自从符合布局辅助图像222的面部区域的特定面部起、已经经过了存储在对应于管理编号210的“2”的等待时间计数器阈值260中的时间“T2”的情况下，删除布局辅助图像225，并且，以覆盖在成像的图像上的方式，在显示单元300上显示包括在模板图像C227中的布局辅助图像228，其中，所述模板图像C227被存储在对应于管理编号210的“3”的布局辅助图像信息220的模板图像中。随后，计算切换之后的布局辅助图像、与特定面部之间的相应的差值，并且，基于相应的差值而显示操作辅助图像。

图13B图示了基于切换之后的布局辅助图像、与特定面部之间的相应的差值而产生的操作辅助图像的显示示例。图13B中所示的显示示例图示了显示变焦指示图像461而作为操作辅助图像的情况。这里，利用以与图7A中所示的计算方法相同的方式计算的差值，确定变焦指示图像461的长度HW31。并且，依据图13B中所示的显示示例，垂直方向和水平方向上的差值均不超过阈值，这样，不显示用于在垂直方向和水平方向上移动的操作辅助图像。

图14A图示了根据图13B中所示的变焦指示图像461、由用户从操作接受单元190执行变焦放大操作之后的显示示例。如图14A中所示，在面积的差值的绝对值达到存储在变焦指示图像显示阈值250中的对应于管理编号210的“3”的值“Z3”的范围内的情况下，删除变焦指示图像461。因此，依据图14A中所示的示例，垂直和水平方向上的、以及大小的相应的差值达到对应于管理编号210的“1”的相应的阈值的范围内，这样，删除左移指示图像、上移指示图像、以及变焦指示图像的全部。

图14B图示了在图14A所示的显示状态下、在没有用于取消辅助图像显示模式的操作输入且经过确定的时间段(图3中所示的等待时间计数器阈值260的“T3”)之后的显示示例。如图14B中所示，在自从符合布局辅助图像228的面部区域的特定面部起、已经经过了存储在对应于管理编号210的“3”的等待时间计数器阈值260中的时间“T3”的情况下，删除布局辅助图像228，并且，以覆盖在成像的图像上的方式，在显示单元300上显示包括在模板图像A221中的布局辅助图像222，其中，所述模板图像A221被存储在对应于管理编号210的“1”的布局辅助图像信息220的模板图像中。因此，在对应于当前显示的布局辅助图像的管理编号210是最低端编号“3”的情况下，执行切换，以便返回至管理编号210的最高端编号“1”。这里，在对应于当前显示的布局辅助图像的管理编号210是最低端编号“3”的情况下，可以自动取消辅助图像显示模式，而不切换至管理编号210的最高端编号“1”。

接下来，将参考附图，关于根据本发明的实施例的成像设备100的操作而进行描述。图15是图示根据本发明的实施例的、利用成像设备100的辅助图像显示处理的处理过程的流程图。依据此示例，将关于在辅助图像显示信息保持单元170的辞典编号中存储涉及由用户指定的特定面部的特定面部识别辞典的辞典编号的情况进行描述。并且，在此示例中，将关于由用户设置运动图像记录模式和辅助图像显示模式的情况进行描述。

首先，显示控制单元180将辅助图像显示信息保持单元170的管理编号172初始化为“1”(步骤S901)，并且，将辅助图像显示信息保持单元170的匹配标志173和等待时间计数器174初始化为“0”(步骤S902)。随后，成像单元120产生成像的图像(步骤S903)，并且，显示控制单元180以覆盖在成像的图像上的方式，在显示单元300上显示存储在辅助图像管理表存储单元200中的模板图像的布局辅助图像，其对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号(步骤S904)。

并且，面部检测单元130执行用于从由成像单元120产生的成像的图像检测面部的面部检测处理(步骤S905)。随后，在已经从成像的图像检测到面部的情况下(步骤S906)，特定面部识别单元140采用涉及所指定的特定面部的特定面部识别辞典，以便关于所检测的面部而执行面部识别处理(步骤S907)。随后，在已经识别所检测的面部而作为特定面部的情况下(步骤S908)，执行操作辅助图像显示处理(步骤S920)。将参考图16，详细描述此操作辅助图像显示处理。随后，执行布局辅助图像更新处理(步骤S940)。将参考图17详细描述此布局辅助图像更新处理。

另一方面，在未从成像的图像检测到面部的情况下(步骤S906)，或者，在未将所检测的面部检测作为特定面部的情况下(步骤S908)，显示控制单元180删除以覆盖在成像的图像上的方式显示的相应的操作辅助图像(步骤S909)。

随后，显示控制单元180确定是否已经取消了运动图像记录模式(步骤S910)，并且，在未取消运动图像记录模式的情况下，确定是否已经取消了辅助图像显示模式(步骤S911)。在已经取消了运动图像记录模式的情况下(步骤S910)，或者，在已经取消了辅助图像显示模式的情况下(步骤S911)，结束辅助图像显示处理的操作。另一方面，在未取消运动图像记录模式的情况下(步骤S910)、且在未取消辅助图像显示模式的情况下(步骤S911)，流程返回至步骤S903。

图16是图示根据实施例的利用成像设备100的辅助图像显示处理的处理过程的、操作辅助图像处理过程(图15中所示的步骤S920中的处理过程)的流程图。

首先，差值计算单元150比较对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的面部位置和面部大小、与识别为特定面部的面部图像的位置和大小，从而计算水平方向和垂直方向上的差值、以及大小的差值(步骤S921)。随后，操作辅助图像产生单元160确定所计算的垂直方向上的差值是否等于或低于对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的垂直移动指示图像显示阈值230的值(步骤S922)。在所计算的垂直方向上的差值不等于或低于垂直移动指示图像显示阈值230的值的情况下(步骤S922)，操作辅助图像产生单元160基于所计算的垂直方向上的差值，产生上移指示图像或下移指示图像(步骤S923)。随后，显示控制单元180以覆盖在成像的图像上的方式，在显示单元300上显示所产生的上移指示图像或下移指示图像(步骤S924)。另一方面，在所计算的垂直方向上的差值等于或低于垂直移动指示图像显示阈值230的值的情况下(步骤S922)，显示控制单元180删除当前显示的上移指示图像或下移指示图像(步骤S925)。注意，在未显示上移指示图像和下移指示图像的情况下，不执行此删除处理。

随后，操作辅助图像产生单元160确定所计算的水平方向上的差值是否等于或低于对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的水平移动指示图像显示阈值240的值(步骤S926)。在所计算的水平方向上的差值未等于或低于水平移动指示图像显示阈值240的值的情况下(步骤S926)，操作辅助图像产生单元160基于所计算的水平方向上的差值，产生左移指示图像或右移指示图像(步骤S927)。随后，显示控制单元180以覆盖在成像的图像上的方式，在显示单元300上显示所产生的左移指示图像或右移指示图像(步骤S928)。另一方面，在所计算的水平方向上的差值等于或低于水平移动指示图像显示阈值240的值的情况下(步骤S926)，显示控制单元180删除当前显示的左移指示图像或右移指示图像(步骤S929)。注意，在未显示左移指示图像和右移指示图像的情况下，不执行此删除处理。

随后，操作辅助图像产生单元160确定所计算的大小的差值是否等于或低于对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的变焦指示图像显示阈值250的值(步骤S930)。在所计算的大小的差值不等于或低于变焦指示图像显示阈值250的值的情况下(步骤S930)，操作辅助图像产生单元160基于所计算的大小的差值，产生变焦指示图像(步骤S931)。随后，显示控制单元180以覆盖在成像的图像上的方式，在显示单元300上显示所产生的变焦指示图像(步骤S932)。另一方面，在所计算的大小的差值等于或低于变焦指示图像显示阈值250的值的情况下(步骤S930)，显示控制单元180删除当前显示的变焦指示图像(步骤S933)。注意，在未显示变焦指示图像的情况下，不执行此删除处理。

图17是图示根据实施例的利用成像设备100的辅助图像显示处理的处理过程的、布局辅助图像更新处理过程(图15中所示的步骤S940中的处理过程)的流程图。

首先，显示控制单元180获得辅助图像显示信息保持单元170的匹配标志173的值(步骤S941)，并且确定匹配标志173的值是否为“1”(步骤S942)。在匹配标志173的值是“1”的情况下(步骤S942)，显示控制单元180确定运动图像的记录是否正在操作中(步骤S943)，并且，在运动图像的记录正在操作中的情况下，递增辅助图像显示信息保持单元170的等待时间计数器174的值(步骤S944)，并且，确定递增后的等待时间计数器174的值是否等于或高于对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的等待时间计数器阈值260的值(步骤S945)。在等待时间计数器174的值等于或高于等待时间计数器阈值260的值的情况下(步骤S945)，显示控制单元180将“1”加到辅助图像显示信息保持单元170的管理编号的值(步骤S946)，并且将辅助图像显示信息保持单元170的匹配标志173和等待时间计数器174初始化为“0”(步骤S947)。这里，在辅助图像显示信息保持单元170的管理编号172的值达到最大值(例如，在图3中所示的情况下的“3”)的情况下，显示控制单元180将“1”存储在管理编号172的值中(步骤S946)。

另一方面，在运动图像的记录不在操作中的情况下(步骤S943)，或者，在等待时间计数器174的值不等于或高于等待时间计数器阈值260的值的情况下(步骤S945)，流程进行至图15中所示的步骤S910。

并且，在匹配标志173的值为“1”的情况下(步骤S942)，显示控制单元180基于来自操作辅助图像产生单元160的输出，确定由差值计算单元150计算的差值中的每一个是否等于或低于对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的垂直移动指示图像显示阈值230、水平移动指示图像显示阈值240、以及变焦指示图像显示阈值250中的对应阈值(步骤S948)。在由差值计算单元150计算的差值中的每一个等于或低于对应阈值的情况下(步骤S948)，显示控制单元180将辅助图像显示信息保持单元170的匹配标志173的值设置为“1”(步骤S949)。另一方面，在由差值计算单元150计算的差值中的每一个并不等于或低于对应阈值的情况下(步骤S948)，流程进行至图15中所示的步骤S910。

依据上面提到的描述，已经示出了示例，其中，在垂直方向和水平方向上的差值、以及大小的差值均超过对应阈值的情况下，同时显示用于在垂直和水平方向上移动的操作辅助图像、以及用于允许用户执行变焦操作的操作辅助图像。例如，可以通过诸如电视机等的查看器来视听由成像设备100记录的成像的图像。例如，近年来，在通过采用已经得到广泛使用的大尺寸电视机来视听由成像设备100记录的成像的运动图像的情况下，在宽屏幕上显示成像的图像自身。因此，用户在拍摄期间在成像设备100的显示单元300处观看的成像的图像与显示在电视机上的其成像的图像，在成像的图像自身的大小方面不同。因此，即使在用户在拍摄期间在成像设备100的显示单元300处观看的成像的图像上、对象的移动量(包括变焦量)较小的情况下，也存在在电视机上显示的其成像的图像上、该对象的移动量较大的情况。因此，在对象的移动量较大的情况下，存在这样的可能性：用眼睛跟踪宽屏幕上的移动对象会妨碍观看者以令人满意的方式观看。因此，在由成像设备100记录成像的运动图像以方便观看者以令人满意的方式观看成像的运动图像的情况下，以相对较慢的方式执行水平方向上的摇动、垂直方向上的倾斜、变焦操作等是重要的。

因此，下面将关于示例进行描述，在所述示例中，在垂直和水平方向上的差值、以及大小的差值均超过对应阈值的情况下，仅显示用于在垂直和水平方向上移动的操作辅助图像，以及仅在垂直和水平方向上的差值等于或低于对应阈值、且大小的差值超过对应阈值的情况下，才显示用于允许用户执行变焦操作的操作辅助图像。因此，允许用户分别执行水平方向上的摇动、垂直方向上的倾斜、以及变焦操作，以及从而，允许用户以相对较慢的方式执行操作。

图18A至19B是图示根据本发明的所述实施例的显示单元300的显示示例的图示。注意，图18A中所示的显示示例与图6B中所示的显示示例相同，并且，图19B中所示的显示示例与图9A中所示的显示示例相同。

如图18A中所示，例如，以覆盖在成像的图像上的方式显示包括在模板图像A221中的布局辅助图像222，其对应于保持在辅助图像显示信息保持单元170的管理编号172处的管理编号“1”。随后，如图18B中所示，基于以与图7A中所示的计算方法相同的方式计算的差值，以覆盖在成像的图像上的方式，在显示单元300上显示左移指示图像441和上移指示图像442。这里，即使在以布局辅助图像222的面部大小确定的面积、与作为特定面部的面部图像401的面积之间的差值的绝对值大于存储在变焦指示图像显示阈值250中的对应于管理编号210的“1”的值“Z1”的情况下，在在显示单元300上显示左移指示图像441和上移指示图像442中的至少一个的情况下，也不产生变焦指示图像。

图19A图示了在根据图18B中所示的左移指示图像441和上移指示图像442、由用户执行成像设备100的、向左侧的摇动和向上侧的倾斜(包括成像设备100在左上方向上的移动操作)之后的显示示例。如图19A中所示，在水平方向上的差值S11的绝对值达到对应于管理编号210的“1”的值“S1”的范围内、以及垂直方向上的差值J11的绝对值也达到对应于管理编号210的“1”的值“J1”的范围内的情况下，删除左移指示图像441和上移指示图像442。随后，如图19A中所示，基于以与图7A中所示的计算方法相同的方式计算的差值，以覆盖在成像的图像上的方式，在显示单元300上显示变焦指示图像443。注意，在水平方向上的绝对值S11或垂直方向上的绝对值J11在对应于管理编号210的“1”的阈值的范围之外的情况下，不显示变焦指示图像443。

图19B图示了根据图19A中所示的变焦指示图像443、由用户从操作接受单元190执行变焦放大操作之后的显示示例。因此，分别显示用于允许用户移动成像设备100本体的操作辅助图像(左移指示图像441、上移指示图像442)、以及用于允许用户在成像设备100内移动变焦镜头的操作辅助图像(变焦指示图像443)，从而，可以防止同时执行这些操作，并且，可以记录可以在观看时容易地观看的成像的运动图像。

接下来，将参考附图，描述根据本发明的实施例的成像设备100的图18A至19B中所示的操作。

图20是图示根据本发明的实施例的、利用成像设备100的辅助图像显示处理的处理过程的、操作辅助图像显示处理过程(图15中所示的步骤S920中的处理过程)的流程图。此处理过程是对图16中所示的处理过程的修改，这样，图20中所示的步骤S921至S933是与图16中所示的步骤S921至步骤S933相同的处理过程，以及从而，这里将省略其描述。

在执行涉及上移指示图像、下移指示图像、左移指示图像或右移指示图像的显示或删除处理之后(步骤S921至S929)，操作辅助图像产生单元160确定：所计算的垂直和水平方向上的差值是否等于或低于对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的垂直移动指示图像显示阈值230和水平移动指示图像显示阈值240(步骤S951)。

在所计算的垂直方向上的差值等于或低于垂直移动指示图像显示阈值230、以及所计算的水平方向上的差值也等于或低于水平移动指示图像显示阈值240的情况下(步骤S951)，流程进行至步骤S930。另一方面，在所计算的垂直方向上的差值超过垂直移动指示图像显示阈值230的情况下，或者，在所计算的水平方向上的差值超过水平移动指示图像显示阈值240的情况下(步骤S951)，显示控制单元180删除当前显示的变焦指示图像(步骤S933)。注意，在未显示变焦指示图像的情况下，不执行此删除处理。

到目前为止，已经关于在显示单元300上显示用于指示变焦操作的变焦指示图像以提示用户执行变焦操作的情况进行了描述。下面将参考附图，关于成像设备自动执行变焦操作的情况详细进行描述。

图21是图示根据本发明的实施例的成像设备500的功能配置示例的框图。这里，通过变换图1中所示的成像装置100的一部分来获得成像装置500，这样，除了差值计算单元501、显示控制单元502、以及变焦镜头控制单元503之外的配置与图1中所示的成像设备100相同。因此，将省略除了这些之外的详细描述。并且，下面将以与图1中所示的成像设备100的不同点作为中心描述这些配置。

差值计算单元501比较由特定面部识别单元140识别的特定面部的面部图像、与以存储在辅助图像管理表存储单元200中的布局辅助图像确定的面部区域，以便计算涉及其位置和大小的差值，并且，将所计算的相应的差值输出至操作辅助图像产生单元160和变焦镜头控制单元503。

显示控制单元502将从成像单元120输出的、成像的图像内的特定图像的面部图像的位置和大小输出至变焦镜头控制单元503，并且，在从变焦镜头控制单元503接收到要旨是执行变焦镜头的自动控制的通知时，所述显示控制单元502以覆盖在成像的图像上的方式，在显示单元300上显示在变焦自动操作下的图像，其是要旨是正在执行变焦镜头的自动控制的操作辅助图像。

变焦镜头控制单元503基于从差值计算单元501输出的大小的差值，计算变焦放大率，基于变焦放大率，计算变焦镜头的移动方向和移动距离，产生驱动控制信号，用于在变焦镜头的移动方向上将变焦镜头移动等同于移动距离的量，以及将此驱动控制信号输出至变焦镜头驱动单元113。这里，变焦镜头控制单元503确定所计算的变焦镜头的移动方向是否为广角侧，以及在变焦镜头的移动方向是广角侧的情况下，产生驱动信号，用于在变焦镜头的移动方向上将变焦镜头移动等同于移动距离的量。另一方面，在变焦镜头的移动方向是远摄侧的情况下，变焦镜头控制单元503在基于所计算的变焦放大率的变焦镜头的移动之后，计算成像范围，比较变焦镜头的移动之后的成像范围、与从显示控制单元502输出的、成像的图像内的特定面部的面部图像的位置和大小，从而确定特定面部的整个面部图像是否被包括在变焦镜头的移动之后的成像范围中。随后，在特定面部的整个面部图像包括在变焦镜头的移动之后的成像范围中的情况下，变焦镜头控制单元503产生驱动信号，用于在所计算的变焦镜头的移动方向上，将变焦镜头移动相当于移动距离的值；并且，所述变焦镜头控制单元503将关于正在执行变焦镜头的自动控制的要旨的通知输出至显示控制单元502。注意，在特定面部的整个面部图像未被包括在变焦镜头的移动之后的成像范围中的情况下，变焦镜头控制单元503不产生驱动控制信号。

图22A和22B是图示根据本发明的实施例的、在显示单元300上显示的成像的图像的图示。注意，图22A中所示的成像的图像601与图6B中所示的成像的图像相同。例如，在仅执行变焦放大操作以使得图22A中所示的人411的面部的大小符合布局辅助图像222的面部区域的大小的情况下，如图22B中所示，人411的面部的一部分未被包括在成像的图像中。在此情况下，存在未能检测到人411的面部的情况，这样，存在或许未能显示适当的操作辅助图像的可能性。现在，在图22A所示的成像的图像601中示出了等效于图22B中所示的成像的图像602的成像范围的范围，作为变焦放大之后的成像范围。也就是说，依据图22A中所示的成像的图像601，在人411的面部不被包括在变焦放大之后的成像范围610中的情况下，如果仅执行变焦放大操作，则存在未能显示适当的操作辅助图像的可能性。因此，依据此示例，比方说，在特定面部的面部不被包括在变焦放大之后的成像范围中的情况下，不执行变焦镜头的自动控制。

现在，以由图7A中所示的布局辅助图像222的面部大小确定的面积(W1×H1)作为基准，计算特定面部的面部图像401的面积(W11×H11)的百分比，以及基于此百分比，计算变焦放大率，从而，可以基于此变焦放大率，获得变焦放大之后的成像范围610。可以以左上角处的位置K1的坐标(X21，Y21)、以及右下角处的位置K2的坐标(X22，Y22)确定基于变焦放大率获得的在变焦放大之后的成像范围610。也就是说，作出以特定面部的面部图像401的中心位置坐标(X11，Y11)、以及垂直方向上的长度H11和水平方向上的长度W11所确定的特定面部的面部图像401是否被包括在以左上角处的位置K1的坐标(X21，Y21)、以及右下角处的位置K2的坐标(X22，Y22)确定的在变焦放大之后的矩形成像范围610中的确定，以及，在特定面部的整个面部图像401被包括在变焦放大之后的成像范围610中的情况下，执行变焦镜头的自动控制。另一方面，在特定面部的整个面部图像401未被包括在变焦放大之后的成像范围610中的情况下，不执行变焦镜头的自动控制。

图23A至24B是图示根据本发明的实施例的显示单元300的显示示例的图示。注意，图23A中所示的显示示例与图6B中所示的显示示例相同。假定在图23A中的矩形虚线中示出了变焦放大之后的成像范围610，但是，在显示单元300上未显示此线。

如图23A中所示，例如，以覆盖在成像的图像上的方式，显示包括在模板A221中的布局辅助图像222，其对应于保持在辅助图像显示信息保持单元170的管理编号172处的管理编号“1”。随后，基于以与图7A中所示的计算方法相同的方式计算的差值，如图23B中所示，以覆盖在成像的图像上的方式，显示左移指示图像441和上移指示图像442。这里，即使在以布局辅助图像222的面部大小确定的面积、与特定面部的面部图像401的面积之间的差值的绝对值大于存储在对应于管理编号210的“1”的变焦指示图像显示阈值250中的值“Z1”的情况下，以及在特定面部的整个面部图像401未被包括在变焦放大之后的成像范围610中的情况下，不执行变焦镜头的自动控制。

图24A图示了根据图23B中所示的左移指示图像441和上移指示图像442、由用户对成像设备100进行向左侧的摇动和向上侧的倾斜(向上侧的倾斜量很小)之后的显示示例。如图24A中所示，在水平方向上的差值S11的绝对值达到对应于管理编号210的“1”的值“S1”的范围内的情况下，删除左移指示图像441。并且，虽然已经由用户对成像设备100进行向上侧的倾斜，但是，在垂直方向上的差值J11的绝对值大于值“J1”的情况下，根据垂直方向上的差值，显示上移指示图像621，其中，减小了上移指示图像442的长度。这里，在图24A中，特定面部的整个面部图像401被包括在变焦放大之后的成像范围610中，这样，执行变焦镜头的自动控制。也就是说，基于以与图7A中所示的计算方法相同的方式计算的差值，计算变焦放大率；并且，变焦镜头控制单元503基于变焦放大率，通过变焦镜头驱动单元113移动变焦镜头111。因此，在执行变焦镜头的自动控制的情况下，如图24A中所示，以覆盖在成像的图像上的方式，在显示单元300上显示变焦自动操作中的图像622。

图24B图示了根据图24A中所示的上移指示图像621、成像设备100经受至上侧的倾斜、并且由用户执行变焦镜头的自动控制之后的显示示例。因此，执行变焦镜头的自动控制，从而允许用户仅执行向左侧的摇动或向上侧的倾斜。并且，在特定面部的整个面部图像未被包括在变焦放大之后的成像范围中的情况下，不执行变焦镜头的自动控制，从而，可以防止特定面部扩展至该范围之外。

接下来，将参考附图，关于根据本发明的所述实施例的成像设备500的操作进行描述。

图25是图示根据本发明的实施例的利用成像设备500的辅助图像显示处理的处理过程的、操作辅助图像显示处理过程(图15中所示的步骤S920中的处理过程)的流程图。此处理过程是图16中所示的处理过程的修改，这样，图25中所示的步骤S921至S930、以及S933是与图16中所示的步骤S921至S930和S933相同的处理过程，并且从而，这里将省略其描述。

在执行涉及上移指示图像、下移指示图像、左移指示图像、或者右移指示图像的显示或删除处理之后(步骤S921至S929)，操作辅助图像产生单元160确定所计算的大小的差值是否等于或低于对应于存储在辅助图像显示信息保持单元170的管理编号172中的管理编号的、存储在辅助图像管理表存储单元200中的变焦指示图像显示阈值250(步骤S930)。随后，在所计算的大小的差值不等于或低于变焦指令显示阈值250的情况下(步骤S930)，执行变焦镜头移动处理(步骤S960)。将参考图26，详细描述此变焦镜头移动处理。

图26是图示根据本发明的所述实施例的成像设备500的辅助图像显示处理的处理过程的、变焦镜头移动处理过程(图25中所示的步骤S960中的处理过程)的流程图。

首先，变焦镜头控制单元503基于所计算的大小的差值，计算变焦放大率；并且，基于变焦放大率，计算变焦镜头的移动方向和移动距离(步骤S961)。随后，变焦镜头控制单元503确定变焦镜头的移动方向是否为广角侧(步骤S962)，以及，在变焦镜头的移动方向是广角侧的情况下，流程进行至步骤S966。另一方面，在变焦镜头的移动方向是远摄侧的情况下(步骤S962)，变焦镜头控制单元503基于所计算的变焦放大率，计算变焦镜头的移动之后的成像范围(步骤S963)。随后，变焦镜头控制单元503比较所计算的变焦镜头的移动之后的成像范围、与从显示控制单元502输出的成像的图像内的特定面部的面部图像的位置和大小(步骤S964)，并且，确定特定面部的整个面部图像是否被包括在所计算的变焦镜头移动之后的成像范围中(步骤S965)。

在特定面部的整个面部图像被包括在所计算的变焦镜头移动之后的成像范围中的情况下(步骤S965)，变焦镜头控制单元503在所计算的变焦镜头的移动方向上移动变焦镜头(步骤S966)，并且，显示控制单元502以覆盖在成像的图像上的方式，在显示单元300上显示变焦自动操作中的图像(步骤S967)。关于变焦镜头的移动，期望相对较慢地移动变焦镜头，以便记录可以在观看时被容易地观看的成像的运动图像。另一方面，在特定面部的整个面部图像未被包括在所计算的变焦镜头的移动之后的成像范围中的情况下(步骤S965)，流程进行至步骤S940。

到目前为止，已经关于示例进行了描述，在所述示例中，显示人类模型布局辅助图像，但是，可以显示除了人类模型之外的布局辅助图像。例如，可以进行这样的布置，其中，显示矩形的图像作为布局辅助图像，并且，使得特定面部标记的矩形符合此矩形的布局辅助图像。在此情况下，例如，可以进行这样的布置，其中，可以以颜色或粗细度等来识别矩形的布局辅助图像和特定面部标记的矩形。

图27A和27B是图示根据本发明的实施例的显示单元300的显示示例的图示。注意，除了布局辅助图像之外，图27A和27B中所示的显示示例与图6B中所示的显示示例相同。例如，如图27A中所示，可以通过粗细度、实线、虚线等来识别布局辅助图像701和特定面部标记420，或者，如图27B中所示，可以通过颜色或透明度等的变化来识别布局辅助图像701和特定面部标记420。

如上所述，根据本发明的实施例，可以以最优的视频容易地记录所期望被拍摄的人。并且，自动识别所期望被拍摄的人的面部，用辅助图像指导如何拍摄其人的面部，从而，可以通过跟随此辅助图像来记录运动图像，其可以在观看时被容易地观看，并且增加观看者的兴趣。例如，在将由用户指定的人411的面部移动至布局辅助图像的面部区域的位置的情况下，在观看与布局辅助图像一起显示在显示单元300上的、左移指示图像、上移指示图像、变焦指示图像等的同时，可以执行成像设备的摇动、倾斜或变焦操作。

并且，依次显示多个布局辅助图像，从而，可以记录这样的运动图像，其可以在观看时被容易地观看，并且在广泛变化的同时增加观看者的兴趣。例如，就幼儿园的才艺表演而言，以适当的位置和大小将他自己的孩子的面部布置在成像的图像内，在适当时记录孩子的面部的周围情形等作为主体，以便防止观看者的兴趣减弱；从而，可以记录这样的运动图像，其可以在观看时被容易地观看，并且，增加观看者的兴趣。并且，自动控制变焦镜头，从而，可以容易地记录运动图像。

并且，例如，在从远距离拍摄特定的人的情况下，以及，甚至在从大量的人中寻找特定人的主体的情况下，成像设备其自身寻找所述特定人，从而，可以进一步容易地执行运动图像的记录。

并且，可以防止记录由于记录运动图像期间的各种动作(变焦操作、摇动的多次使用，等等)导致的.在观看时难以观看的运动图像。也就是说，可以向用户提供熟练使用成像设备的学习机会。并且，可以提供甚至初学者也可拍摄可以被容易观看的运动图像的机会。因此，可以提供例如摄录机等的成像设备，作为易于使用的、吸引人的产品。

注意，依据本发明的所述实施例，已经描述了人类模型布局辅助图像的相对简单的三种类型而作为示例，以便方便描述，但是，可以采用各种类型的布局辅助图像。并且，依据本发明的所述实施例，已经描述了示例，在其中，以管理编号的顺序显示布局辅助图像，但是，可以进行这样的布置，其中，由用户预先指定其显示顺序，并且，以此指定的顺序显示布局辅助图像。也就是说，预先创建类似于情景的事物，从而，可以根据此情景而切换布局辅助图像。

注意，本发明的所述实施例图示了用于进行本发明的示例，但是，本发明不限于这些实施例，并且，可以进行各种修改，而不会背离本发明的本质。

与“发明内容”部分相关地，布局辅助图像存储单元对应于例如辅助图像管理表存储单元200，成像单元对应于例如成像单元120，对象检测单元对应于例如面部检测单元130，显示控制单元对应于例如显示控制单元180或502，特定对象识别单元对应于例如特定面部识别单元140，特定对象标记产生单元对应于例如特定面部标记产生单元165，特定对象识别信息存储单元对应于例如特定面部识别辞典存储单元141，操作接受单元对应于例如操作接受单元190，差值计算单元对应于例如差值计算单元150或501，操作辅助图像产生单元对应于例如操作辅助图像产生单元160，变焦镜头对应于例如变焦镜头111，变焦镜头控制单元对应于例如变焦镜头控制单元503，成像过程对应于例如步骤S903，对象检测过程对应于例如步骤S905，以及显示控制过程对应于例如步骤S904。

注意，可以将依据本发明的所述实施例描述的处理过程视为为包括这些系列过程的方法，或者，视为为使得计算机通过记录介质来执行这些系列过程的程序，其中，所述记录介质用于存储其程序。

本申请包含2008年3月24日在日本专利局提交的日本优先权专利申请JP 2008-075096中公开的主题，将其全部内容合并在此，作为参考。

本领域的技术人员应当理解，在当各种修改、组合、子组合、以及变更在所附权利要求或其等同的范围内时的情况下，基于设计需求或其它因素，所述各种修改、组合、子组合、以及变更可以发生。

Claims (16)

1.一种成像设备，包括：

布局辅助图像存储部件，其被配置以存储多个布局辅助图像，所述布局辅助图像表示要在成像范围内布置对象的位置和大小；

成像部件，其被配置以执行主体的成像，以产生成像的图像；

对象检测部件，其被配置以从所述成像的图像检测所述对象，并且检测所述成像的图像内的对象的位置和大小；以及

显示控制部件，其被配置以通过覆盖在所述成像的图像上的方式来显示作为存储在所述布局辅助图像存储部件中的多个布局辅助图像之一的布局辅助图像，并且，在位置差值和大小差值均在预定范围内的情况下，以覆盖在所述成像的图像上的方式来显示除了存储在所述布局辅助图像存储部件中的多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像，其中，所述位置差值是由所显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的差值，所述大小差值是由所显示的布局辅助图像确定的对象的大小与所述成像的图像内的所检测的对象的大小之间的差值。

2.根据权利要求1所述的成像设备，其中，在每次所述位置差值和所述大小差值两者均在预定范围内时，所述显示控制部件根据预定次序而依次显示存储在所述布局辅助图像存储部件中的多个布局辅助图像。

3.根据权利要求1所述的成像设备，还包括：

特定对象识别部件，其被配置以识别所检测的对象是否为特定对象；

其中，在涉及所显示的布局辅助图像和所识别的特定对象的所述位置差值和所述大小差值两者均在预定范围内的情况下，所述显示控制部件以覆盖在所述成像的图像上的方式，显示除了所显示的布局辅助图像之外的布局辅助图像。

4.根据权利要求3所述的成像设备，还包括：

特定对象标记产生部件，其被配置以基于所述成像的图像内的所识别的特定对象的位置和大小，产生将被添加至所识别的特定对象的特定对象标记；

其中，所述显示控制部件以覆盖在所述成像的图像上的方式，显示作为存储在所述布局辅助图像存储部件中的多个布局辅助图像之一的布局辅助图像、以及所产生的特定对象标记。

5.根据权利要求3所述的成像设备，还包括：

特定对象识别信息存储部件，其被配置以对于每个对象而存储用于识别对象的多个特定对象识别信息；以及

操作接受部件，其被配置以接受用于指定其中存储了所述特定对象识别信息的多个对象中的至少一个对象的指定操作；

其中，所述特定对象识别部件通过采用特定对象识别信息，来识别所检测的对象是否为所述特定对象，其中，所述特定对象识别信息涉及存储在所述特定对象识别信息存储部件中的多个特定对象识别信息中的所指定的对象。

6.根据权利要求1所述的成像设备，还包括：

差值计算部件，其被配置以计算所述位置差值和大小差值；以及

操作辅助图像产生部件，其被配置以产生操作辅助图像，其用于基于所述位置差值和大小差值而修改所述成像的图像内的所检测的对象的位置和大小中的至少一个；

其中，所述显示控制部件以覆盖在所述成像的图像上的方式，显示存储在所述布局辅助图像存储部件中的多个布局辅助图像中的布局辅助图像、以及所产生的操作辅助图像。

7.根据权利要求6所述的成像设备，其中，所述差值计算部件计算水平位置差值和垂直位置差值，作为所述位置差值，其中，所述水平位置差值是由所显示的布局辅助图像确定的对象的水平方向上的位置、与所述成像的图像内的所检测的对象的水平方向上的位置之间的差值，所述垂直位置差值是由所显示的布局辅助图像确定的对象的垂直方向上的位置、与所述成像的图像内的所检测的对象的垂直方向上的位置之间的差值；

并且，其中，在所述水平位置差值超过水平阈值的情况下，所述操作辅助图像产生部件产生水平方向移动指示图像，该水平方向移动指示图像是用于修改所述成像的图像内的所检测的对象的水平方向上的位置的所述操作辅助图像，并且，在所述垂直位置差值超过垂直位置阈值的情况下，所述操作辅助图像产生部件产生垂直方向移动指示图像，该垂直方向移动指示图像是用于修改所述成像的图像内的所检测的对象的垂直方向上的位置的所述操作辅助图像，并且，在所述大小差值超过大小阈值的情况下，所述操作辅助图像产生部件产生变焦指示图像，该变焦指示图像是用于修改所述成像的图像内的所检测的对象的大小的操作辅助图像。

8.根据权利要求7所述的成像设备，其中，在所述水平位置差值超过所述水平位置阈值的情况下，或者，在所述垂直位置差值超过所述垂直位置阈值的情况下，所述显示控制部件不显示所述变焦指示图像，并且，在所述水平位置差值不超过所述水平位置阈值、且所述垂直位置差值不超过所述垂直位置阈值、以及所述大小差值超过所述大小阈值的情况下，所述显示控制部件显示所述变焦指示图像。

9.根据权利要求1所述的成像设备，还包括：

变焦镜头，其被配置以调节焦距；以及

变焦镜头控制部件，其被配置以执行用于驱动所述变焦镜头的控制，以便基于所述大小差值而修改所述成像的图像内的所检测的对象的大小。

10.根据权利要求9所述的成像设备，其中，在由所述变焦镜头控制部件驱动所述变焦镜头的情况下，所述显示控制部件以覆盖在所述成像的图像上的方式来显示关于其要旨的操作辅助图像。

11.根据权利要求9所述的成像设备，其中，在通过驱动所述变焦镜头来放大在所述成像的图像中包括的主体的情况下，仅当在将所检测的对象被包括在放大之后的成像的图像中时，所述变焦镜头控制部件才执行用于驱动所述变焦镜头的控制。

12.一种用于成像设备的控制方法，所述成像设备包括布局辅助图像存储部件，其被配置以存储多个布局辅助图像，所述布局辅助图像表示要在成像范围内布置对象的位置和大小，所述方法包括步骤：

对主体成像，以便产生成像的图像；

从所述成像的图像检测所述对象，并且，检测所述成像的图像内的对象的位置和大小；以及

以覆盖在所述成像的图像上的方式，显示作为存储在所述布局辅助图像存储部件中的多个布局辅助图像之一的布局辅助图像，并且，在位置差值和大小差值均在预定范围内的情况下，以覆盖在所述成像的图像上的方式来显示除了存储在所述布局辅助图像存储部件中的多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像，其中，所述位置差值是由所显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的差值，所述大小差值是由所显示的布局辅助图像确定的对象的大小与所述成像的图像内的所检测的对象的大小之间的差值。

13.一种利用成像设备而使计算机执行以下步骤的程序，所述成像设备包括布局辅助图像存储部件，其被配置以存储多个布局辅助图像，所述布局辅助图像表示要在成像范围内布置对象的位置和大小，所述步骤包括：

对主体成像，以便产生成像的图像；

从所述成像的图像检测所述对象，并且，检测所述成像的图像内的对象的位置和大小；以及

以覆盖在所述成像的图像上的方式，显示作为存储在所述布局辅助图像存储部件中的多个布局辅助图像之一的布局辅助图像，并且，在位置差值和大小差值均在预定范围内的情况下，以覆盖在所述成像的图像上的方式来显示除了存储在所述布局辅助图像存储部件中的多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像，其中，所述位置差值是由所显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的差值，所述大小差值是由所显示的布局辅助图像确定的对象的大小与所述成像的图像内的所检测的对象的大小之间的差值。

14.一种成像设备，包括：

布局辅助图像存储单元，其被配置以存储多个布局辅助图像，所述布局辅助图像表示要在成像范围内布置对象的位置和大小；

成像单元，其被配置以执行主体的成像以产生成像的图像；

对象检测单元，其被配置以从所述成像的图像检测所述对象，并且检测所述成像的图像内的对象的位置和大小；以及

显示控制单元，其被配置以通过覆盖在所述成像的图像上的方式来显示作为存储在所述布局辅助图像存储单元中的多个布局辅助图像之一的布局辅助图像，并且，在位置差值和大小差值均在预定范围内的情况下，以覆盖在所述成像的图像上的方式来显示除了存储在所述布局辅助图像存储单元中的多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像，其中，所述位置差值是由所显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的差值，所述大小差值是由所显示的布局辅助图像确定的对象的大小与所述成像的图像内的所检测的对象的大小之间的差值。

15.一种用于成像设备的控制方法，所述成像设备包括布局辅助图像存储单元，其被配置以存储多个布局辅助图像，所述布局辅助图像表示要在成像范围内布置对象的位置和大小，所述方法包括步骤：

对主体成像，以便产生成像的图像；

从所述成像的图像检测所述对象，并且，检测所述成像的图像内的对象的位置和大小；以及

以覆盖在所述成像的图像上的方式，显示作为存储在所述布局辅助图像存储单元中的多个布局辅助图像之一的布局辅助图像，并且，在位置差值和大小差值均在预定范围内的情况下，以覆盖在所述成像的图像上的方式来显示除了存储在所述布局辅助图像存单元置中的多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像，其中，所述位置差值是由所显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的差值，所述大小差值是由所显示的布局辅助图像确定的对象的大小与所述成像的图像内的所检测的对象的大小之间的差值。

16.一种利用成像设备而使计算机执行以下步骤的程序，所述成像设备包括布局辅助图像存储单元，其被配置以存储多个布局辅助图像，所述布局辅助图像表示要在成像范围内布置对象的位置和大小，所述步骤包括：

对主体成像，以便产生成像的图像；

从所述成像的图像检测所述对象，并且，检测所述成像的图像内的对象的位置和大小；以及

以覆盖在所述成像的图像上的方式，显示作为存储在所述布局辅助图像存储单元中的多个布局辅助图像之一的布局辅助图像，并且，在位置差值和大小差值均在预定范围内的情况下，以覆盖在所述成像的图像上的方式来显示除了存储在所述布局辅助图像存储单元中的多个布局辅助图像中的所显示的布局辅助图像之外的布局辅助图像，其中，所述位置差值是由所显示的布局辅助图像确定的对象的位置与所述成像的图像内的所检测的对象的位置之间的差值，所述大小差值是由所显示的布局辅助图像确定的对象的大小与所述成像的图像内的所检测的对象的大小之间的差值。

Images