CN102857690A - 追踪装置、追踪方法、摄像装置以及摄像方法 - Google Patents

追踪装置、追踪方法、摄像装置以及摄像方法 Download PDF

Info

Publication number
CN102857690A
CN102857690A CN2012102249842A CN201210224984A CN102857690A CN 102857690 A CN102857690 A CN 102857690A CN 2012102249842 A CN2012102249842 A CN 2012102249842A CN 201210224984 A CN201210224984 A CN 201210224984A CN 102857690 A CN102857690 A CN 102857690A
Authority
CN
China
Prior art keywords
face
tracking
facial
described face
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102249842A
Other languages
English (en)
Other versions
CN102857690B (zh
Inventor
米山尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aozhixin Digital Technology Co ltd
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011144771A external-priority patent/JP5771461B2/ja
Priority claimed from JP2011144772A external-priority patent/JP2013012942A/ja
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Publication of CN102857690A publication Critical patent/CN102857690A/zh
Application granted granted Critical
Publication of CN102857690B publication Critical patent/CN102857690B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种追踪装置、追踪方法、摄像装置以及摄像方法。追踪装置包括面部对应区域检测部、面部追踪部、周边部位追踪部和追踪切换部。所述面部追踪部根据由面部检测部检测到的被摄体的面部、或由所述面部对应区域检测部检测到的与所述面部对应的区域追踪所述面部。所述周边部位追踪部追踪相对于所述面部具有预先设定的位置关系的所述面部以外的部位。所述追踪切换部在所述面部追踪部不能进行所述追踪的情况下，切换为所述周边部位追踪部的所述追踪。

Description

追踪装置、追踪方法、摄像装置以及摄像方法
对相关申请的交叉引用
本申请基于2011年6月29日提交的在先日本专利申请2011-144771、2011年6月29日提交的在先日本专利申请2011-144772并主张它们的优先权，在此以参考的方式并入其全部内容。
技术领域
本发明涉及追踪人物等被摄体的追踪装置、追踪方法、追踪被摄体进行拍摄的摄像装置以及摄像方法。
背景技术
关于追踪人物等被摄体的技术，作为使用用于追踪被摄体的至少两个区域来追踪被摄体的技术，例如有日本特开2009－268086号公报。在该日本特开2009－268086号公报中，在拍摄被摄体取得的图像数据上具有用于追踪被摄体的第1区域和第2区域，始终以第1区域为基准区域进行被摄体的追踪，将第2区域独立于第1区域来进行被摄体的追踪。该日本特开2009－268086号公报公开了如下技术：例如相互独立地在第1区域执行面部区域的检测和在第2区域执行追踪区域的移动，根据面部区域的检测、和追踪区域在图像数据内的位置的至少一方，估计并设定面部区域的位置，即使在不能直接检测到面部区域的情况下，也根据与面部区域独立移动的追踪区域的位置，估计并设定面部区域的位置。该日本特开2009－268086号公报公开了如下技术：在以前的多个图像数据中，判断为第1区域和第2区域对应的情况下，确定第1区域和第2区域的位置关系。
但是，在上述日本特开2009-268086号公报1中，在以前的多个图像数据中，判断为第1区域和第2区域对应的情况下，确定第1区域和第2区域的位置关系。因此，在不能直接检测到面部区域的情况下，第1区域和第2区域无法对应，难以根据与面部区域独立移动的追踪区域的位置来估计面部区域的位置。并且，在存在多个被摄体时，在确定第1区域和第2区域的位置关系的情况下，只要在同一被摄体中进行第1区域和第2区域的对应即可，但是当在目标被摄体和该被摄体之外的另一被摄体上分别进行第1区域和第2区域的对应时，可能会估计目标被摄体之外的另一被摄体的面部区域的位置，从而可能难以进行目标被摄体的追踪。
另一方面，公知有在拍摄运动物体时或拍摄动态图像时，为了追随特定的被摄体而进行自动对焦控制（AF）或自动曝光控制（AE）的技术。为了追随这种特定的被摄体，采用了追踪处理。在追踪处理中，有利用亮度信息的处理、利用颜色信息的处理、利用面部检测的处理等各种处理。在专利文献1中，公开有根据从摄像单元输出的摄像信号，进行对被摄体像的追踪动作的自动追踪装置。
在日本特许第2605004号公报所公开的自动追踪装置中，关于预先设定的追踪视野提取表示被摄体的特征的参数（例如被摄体和背景的颜色等），根据该提取出的特征和新提取出的被摄体的特征，检测被摄体是否移动，在被摄体移动的情况下，检测其移动方向或移动位置。并且，使追踪框追踪被摄体的移动而移动。
但是，在仅使用了1种追踪处理的情况下，如果追踪处理失败，则之后可能就不能进行正确的追踪处理。此外，在使用了例如面部检测的追踪处理的情况下，当在正在追踪画面内的某个面部的过程中没有检测到该面部时，可能会改换为画面内的另一个面部进行追踪。在发生了这种改换的情况下，追踪框也移动到该另一面部。此时，用户需要进行追踪对象的重新设定。
发明内容
本发明的目的在于提供一种能够可靠地进行被摄体的追踪的追踪装置、追踪方法、摄像装置以及摄像方法。
根据本发明的方面的追踪装置，其包括：面部检测部，其从拍摄被摄体而得到的图像数据中检测所述被摄体的面部；面部对应区域检测部，其检测所述图像数据中的与所述面部对应的区域；面部追踪部，其根据通过所述面部检测部检测到的结果、或通过所述面部对应区域检测部检测到的结果追踪所述面部；周边部位追踪部，其将相对于所述面部具有预先设定的位置关系的所述被检体的一部分作为所述面部以外的部位来进行追踪；以及追踪切换部，其在所述面部追踪部不能进行所述面部的追踪的情况下，切换为所述周边部位追踪部对所述面部以外的部位的追踪。
根据本发明的方面的追踪方法，其包括：由面部检测部从拍摄被摄体而得到的图像数据中检测所述被摄体的面部；由面部对应区域检测部检测所述图像数据中的与所述面部对应的区域；由面部追踪部根据由所述面部检测部检测到的结果、或由所述面部对应区域检测部检测到的结果来追踪所述面部；由周边部位追踪部追踪相对于所述面部具有预先设定的位置关系的所述被检体的一部分作为所述面部以外的部位；以及在不能进行所述面部追踪部对所述面部的追踪的情况下，切换为所述周边部位追踪部对所述面部以外的部位的追踪。
根据本发明的方面的摄像装置，其包括：摄像部，其拍摄被摄体并输出图像数据；面部检测部，其从所述图像数据中检测所述被摄体的面部；面部追踪部，其根据所述图像数据追踪所述图像数据中的所述被摄体的面部；周边部位追踪部，其根据所述图像数据追踪所述图像数据中的所述被摄体的面部周边部；显示部，其显示基于所述图像数据的图像；以及控制部，其在所述面部检测部对所述面部的检测或所述面部追踪部对所述面部的追踪有效的情况下，对显示在所述显示部上的所述图像重叠表示所述面部的位置的显示框，并且在所述面部检测部对所述面部的检测和所述面部追踪部对所述面部的追踪无效的情况下，对显示在所述显示部上的图像重叠表示所述面部周边部的位置的显示框。
根据本发明的方面的摄像方法，其包括：由摄像部拍摄被摄体并输出图像数据；由面部检测部从由所述摄像部输出的所述图像数据中检测所述被摄体的面部；由周边部位追踪部追踪从所述摄像部输出的所述图像数据中的所述被摄体的面部周边部；由显示部显示基于所述图像数据的图像；以及通过控制部在所述面部检测部对所述面部的检测有效的期间，对显示在所述显示部上的所述图像重叠表示所述面部的位置的显示框，在所述面部检测部对所述面部的检测变为无效时，对显示在所述显示部上的图像重叠表示所述面部周边部的位置的显示框。
本发明的其他目标和优点将在以下的说明中阐述，部分的目标和优点将通过说明变得清楚，或者可以通过本发明的实践而得知。可以通过以下特别指出的手段和组合实现和获得本发明的目标和优点。
附图说明
被并入且构成说明书的一部分的附图例示了本发明的实施例，并与以下给出的一般说明和给下给出的实施例的详细说明一起用于解释本发明的原理。
图1是示出本发明的具有追踪装置的摄像装置的一个实施方式的结构框图。
图2A是示出用于该装置中的面部检测电路的面部检测的面部器官的图。
图2B是示出由该装置中的面部检测电路使用面部器官检测到面部时的图。
图3A是示出该装置中的面部追踪电路使用亮度信息进行面部追踪时的基准图像数据的图。
图3B是示出与该装置中的面部追踪电路使用亮度信息进行面部追踪时的基准图像数据对应的区域搜索的图。
图4A是示出该装置中的面部追踪电路使用颜色信息进行面部追踪时所指定的区域的图。
图4B是用于说明该装置中的面部追踪电路使用颜色信息进行面部追踪时的搜索的图。
图5是示出该装置中的对于被检体的面部检测位置、面部追踪位置和周边部追踪位置的图。
图6是示出该装置中的针对面部的正脸设定的面部追踪框的图。
图7是示出该装置中的针对面部的侧脸设定的面部追踪框的图。
图8是示出用于通过该装置中的周边部位追踪电路追踪胸部的胸部追踪框的图。
图9是该装置中的摄影动作流程图。
图10是该装置中的追踪处理流程图。
图11是该装置中的追踪处理流程图。
图12是该装置中的周边位置估计处理流程图。
图13是该装置中的各部分追踪处理流程图。
图14是该装置中的面部候选追踪位置计算处理和周边部候选追踪位置计算处理流程图。
图15是该装置中的追踪位置更新判断处理流程图。
图16A示出该装置中的基于追踪位置更新判断处理的面部检测的图。
图16B示出该装置中的基于追踪位置更新判断处理的面部的追踪结果的图。
图16C是用于说明通过该装置中的追踪位置更新判断处理检测到的面部是横向时的追踪的图。
图16D是用于说明通过该装置中的追踪位置更新判断处理检测到的面部朝向背面的情况下等时的追踪的图。
图17A示出该装置中的在面部位置处显示的显示框的显示例的图。
图17B示出该装置中的在面部周边部显示的显示框的显示例的图。
图17C示出该装置中的包含面部和面部周边部的显示框的显示例的图。
具体实施方式
以下，参照附图来说明本发明的一个实施方式。
图1示出作为具有追踪装置的摄像装置的一例的结构框图。摄像装置100包含摄影光学系统102、调焦机构104、光圈106、光圈驱动机构108、快门110、快门驱动机构112、摄像元件（摄像部）114、摄像元件接口（IF）电路116、RAM 118、显示元件120、显示元件驱动电路122、触摸面板124、触摸面板驱动电路126、记录介质128、系统控制器（控制部）130、操作部132和ROM 134。
系统控制器130搭载作为计算机的CPU 1301。
摄影光学系统102将来自被摄体的光束F会聚到摄像元件114的受光面上。摄影光学系统102包含对焦镜头等多个镜头。调焦机构104包含电动机及其驱动电路等，依照CPU 1301的控制在摄影光学系统102内的对焦镜头的光轴方向（图示的点划线方向）上驱动该对焦镜头。
光圈106构成为开闭自如，调整经由摄影光学系统102入射到摄像元件114的光束F的量。光圈驱动机构108包含用于驱动光圈106的驱动机构，依照CPU 1301的控制驱动光圈106。
快门110通过将摄像元件114的受光面设为遮光状态或曝光状态来调整摄像元件114的曝光时间。快门驱动机构112包含用于驱动快门110的驱动机构，依照CPU 1301的控制驱动快门110。
摄像元件114包含受光面，该受光面对经由摄影光学系统102会聚的来自例如人物等被摄体及其背景的光束F进行成像。摄像元件114的受光面通过呈二维状地配置多个像素来构成。在摄像元件114的受光面的光入射侧设置有滤色器。
摄像元件114将与在受光面成像的光束F对应的像（被摄体像）转换为与其光量对应的电信号（以下称作图像信号）。摄像元件114公知为CCD方式或CMOS方式等各种结构的摄像元件。滤色器的颜色配置公知为拜尔排列等各种排列。本实施方式的摄像元件114的结构不限于特定的结构，可使用各种结构的摄像元件。
摄像元件IF电路116依照CPU 1301的控制驱动摄像元件114。摄像元件IF电路116依照CPU 1301的控制读出由摄像元件114得到的图像信号，并针对所读出的图像信号实施CDS（相关双采样）处理和AGC（自动增益控制）处理等模拟处理。摄像元件IF电路116将进行模拟处理后的图像信号转换为数字信号（以下称作图像数据）。
RAM 118例如具有SDRAM。在RAM 118中，分别形成有工作区、评价图像区、参考图像区、追踪位置日志区、追踪颜色区域日志区作为存储区。
工作区对包含由摄像元件IF电路116得到的图像数据等的各数据，例如在摄像装置100的各部分中产生的各数据进行临时存储。
评价图像区对评价图像数据进行临时存储。评价图像数据是包含追踪处理中的追踪对象的被摄体的帧图像数据。在追踪处理中，进行处理以对追踪对象进行追踪。
参考图像区对参考图像数据进行临时存储。参考图像数据是在追踪处理中作为追踪对象的搜索对象的帧图像数据。在追踪处理中，在参考图像数据中进行搜索。
追踪位置日志区对追踪位置日志进行临时存储。追踪位置日志是对作为追踪处理的结果得到的追踪位置进行了记录的日志。在本实施方式中，一并使用多个追踪处理对追踪对象进行追踪。因此，在追踪位置日志中，个别地记录例如过去10个帧的通过各个追踪处理得到的追踪位置。在追踪位置日志中，还记录由后述的优先追踪位置判定处理采用的最终的追踪位置。
追踪颜色区域日志区对追踪颜色区域日志进行临时存储。追踪颜色区域日志是对通过追踪处理得到的追踪颜色区域进行了记录的日志。在本实施方式中，个别地记录例如过去10个帧的追踪颜色区域。
显示元件120例如具有液晶显示器（LCD）。显示元件120对实时取景用的图像和记录在记录介质128中的图像等各种图像进行显示。显示元件驱动电路122根据从系统控制器130的CPU 1301输入的图像数据驱动显示元件120，并在显示元件120上显示图像。
触摸面板124一体形成在显示元件120的显示画面上。触摸面板124检测用户的手指等在显示画面上的接触位置等。
触摸面板驱动电路126对触摸面板124进行驱动，并且将来自触摸面板124的接触检测信号输出到CPU 1301。CPU 1301根据接触检测信号，检测用户在显示画面上的接触操作，并执行与该接触操作对应的处理。
记录介质128例如具有存储卡。记录介质128记录通过摄影动作得到的图像文件。图像文件通过对图像数据赋予预定的文件头来构成。在文件头中，记录表示摄影条件的数据和表示追踪位置的数据等作为标签数据。
系统控制器130控制摄像装置100的动作。系统控制器130包含CPU 1301、AF控制电路1302、AE控制电路1303、图像处理电路1304、面部检测电路（面部检测部）1305、颜色信息检测电路（面部对应区域检测部、颜色信息检测部）1306、面部追踪电路（面部追踪部）1307、周边部位追踪电路（周边部位追踪部）1308、追踪切换电路（追踪切换部）1309、存储器控制电路1310和面部朝向判定电路1311。
CPU 1301对调焦机构104、光圈驱动机构108、快门驱动机构112、显示元件驱动电路122、触摸面板驱动电路126等的系统控制器130的外部的各功能块和系统控制器130内部的各电路的动作进行控制。
AF控制电路1302控制对比度AF处理。具体而言，AF控制电路1302提取由摄像元件IF电路116得到的图像数据的高频分量，并对该提取出的高频分量进行累加，取得AF用的对焦评价值。CPU 1301一边依照所取得的对焦评价值评价图像数据的对比度，一边控制调焦机构104来将对焦镜头设为对焦状态。
AE控制电路1303控制AE动作。具体而言，AE控制电路1303使用由摄像元件IF电路116得到的图像数据计算被摄体亮度。CPU 1301依照计算出的被摄体亮度，计算曝光时的光圈106的开口量（光圈值）、快门110的开放时间（快门速度值）、摄像元件感光度和ISO感光度等。
图像处理电路1304进行针对由摄像元件IF电路116得到的图像数据的各种图像处理。图像处理例如包含颜色校正处理、伽马（γ）校正处理、压缩处理等。图像处理电路1304还实施针对压缩的图像数据的解压缩处理。
面部检测电路1305从例如拍摄了人物等被摄体的图像数据中检测被摄体的面部。面部检测电路1305求出由各帧得到的图像数据和图2A所示的各面部器官402、404、406的相关量。面部器官402是与人物的鼻部周边的阴影的图案对应的图像数据。面部器官404是与人物的眼部周边的阴影的图案对应的图像数据。面部器官406是与人物的口部周边的阴影的图案对应的图像数据。图像数据与各面部器官402、404、406的相关量在变为图2B所示的表示人物面部的预定配置时最大。此时，在包含各面部器官402、404、406的区域408中存在人物面部。各面部器官402、404、406可以根据预先设定的检索面部的尺寸来改变尺寸。图2B将面部区域设为了矩形区域，但是也可以设为圆形区域。
颜色信息检测电路1306检测图像数据中的与通过面部检测电路1305检测出的面部对应的例如肤色等的颜色信息的区域。颜色信息检测电路1306检测图像数据中的与被检体中的面部以外的周边部位对应的例如肤色等的颜色信息的区域。通过周边部位追踪电路1308检测被检体中的面部以外的周边部位。
面部追踪电路1307根据通过面部检测电路1305检测出的面部的亮度信息（第1亮度追踪部）、或通过颜色信息检测电路1306检测出的与面部对应的例如肤色的颜色信息的区域来追踪面部（第1颜色追踪部）。面部追踪电路1307在颜色信息检测电路1306检测肤色的颜色信息的区域之前，使面部检测电路1305对面部的检测优先来追踪面部。
对面部的追踪进行说明。面部追踪电路1307使用图像数据的亮度信息进行追踪处理。使用了亮度信息的追踪处理例如在图3A所示的（N－1）帧中设定了作为追踪对象的被摄体的情况下，将（N－1）帧的图像数据作为评价图像数据存储到RAM 118的评价图像区中。将包含评价图像数据的追踪对象的预定范围202的图像数据设定为基准图像数据。之后，在追踪处理中，在图3B所示的作为N帧的参考图像数据中搜索与基准图像数据202对应的部分。
将N帧的追踪处理作为例子示出，面部追踪电路1307将N帧的图像数据作为参考图像数据存储到RAM 118的参考图像区中。面部追踪电路1307通过求出参考图像数据中的预定搜索范围204的图像数据与基准图像数据202的相关量，搜索参考图像数据的与基准图像数据202对应的部分。例如根据基准图像数据与参考图像数据的差分绝对值和来判定相关量。差分绝对值和是按照每个像素求出亮度差的绝对值并进行了累加后的值。
例如，在求出了图3B所示的参考图像数据的区域206的参考图像数据与基准图像数据202的差分绝对值和时，参考图像数据的区域206与基准图像数据202是明显不同的图像数据，差分绝对值和较大。与此相对，在求出了参考图像数据的区域208与基准图像数据202的差分绝对值和时，差分绝对值和较小。
由此随着与基准图像数据202的相关量变大，差分绝对值和变小。在使用了亮度信息的追踪处理中，根据参考图像数据搜索相关量最大，即差分绝对值和最小的区域。在图2B所示的例子中，搜索区域208作为与基准图像数据202对应的部分。
在追踪位置日志区中，记录区域208中一致度最高的位置作为追踪位置。在存在多个这种一致度高的位置的情况下，例如将接近区域208中心的位置设为追踪位置。在下次的追踪处理时，期望将该追踪位置设为追踪处理的开始位置。由此，能够减少追踪处理花费的时间。
面部追踪电路1307使用图像数据的肤色的颜色信息进行追踪处理。使用了肤色的颜色信息的追踪处理搜索在评价图像数据内可判定为与设定的颜色为相同颜色的区域作为追踪颜色区域。如图4A所示，面部追踪电路1307在（N－1）帧中指定了被摄体的某个位置302的情况下，取得评价图像数据中的位置302的颜色信息。面部追踪电路1307将位置302作为追踪处理的开始位置，搜索具有与位置302相同的颜色信息的区域。
具体而言，面部追踪电路1307以位置302为开始位置朝向周边依次取得肤色的颜色信息。面部追踪电路1307在可判定为所取得的颜色信息与位置302的颜色信息相同的情况下，将其包含在区域中。面部追踪电路1307在不能判定为所取得的颜色信息与位置302的颜色信息相同的情况下，不将其包含在区域中。
在这样搜索到追踪颜色区域时，例如在图4A所示的单色的被摄体的情况下，与被摄体内接的矩形区域304成为追踪颜色区域。记录在追踪位置日志区中的追踪位置例如设为追踪颜色区域304的重心位置（在图4A的例子中与位置302相同）。在下次的追踪处理中，将该追踪位置设为追踪处理的开始位置。
如果将N帧的追踪处理示为例子，面部追踪电路1307在存储了图4B所示的参考图像数据的N帧的图像数据的预定的搜索范围中，将（N－1）帧的追踪位置302作为追踪处理的开始位置，从追踪位置302的周边起，依次搜索可判定为与追踪颜色区域304的颜色为相同颜色的区域作为追踪颜色区域。在图4B所示的例子中，区域306成为追踪颜色区域。在该图所示的例子中，将重心位置308作为追踪位置，将追踪位置308记录到追踪位置日志区中。在追踪颜色区域日志区中，记录表示追踪颜色区域306的范围的信息，例如四个角部的位置。
周边部位追踪电路1308追踪被检体中的面部以外的周边部位。周边部位追踪电路1308与上述面部追踪电路1307同样，使用图像数据的亮度信息（第2亮度追踪部）和肤色的颜色信息进行周边部位的追踪处理（第2颜色追踪部）。周边部位追踪电路1308从面部追踪具有预先设定的位置关系的例如被检体的躯体部，具体而言追踪存在于躯体部的胸部作为面部以外的部位。
面部与胸部的位置关系被设定为如下的关系：在图像数据上设与被检体的面部隔开预先设定的距离的下方，即设人物的面部的下方为颈部、胸部、腹部、脚部时，与被检体的面部隔开预先设定的距离的下方位置为胸部。周边部位追踪电路1308追踪的周边部位不限于被检体的面部，例如也可以是颈部、胸部、腹部、脚部。
图5示出针对被检体的面部检测位置A、面部追踪位置B和周边部追踪位置C。面部检测位置A示出由面部检测电路1305检测到的面部，例如与图2所示的矩形的区域408对应。
面部追踪位置B示出用于根据由颜色信息检测电路1306检测到的与面部对应的肤色的颜色信息的区域来追踪面部的位置，例如与图4A、4B所示的追踪颜色区域304的重心位置302或308对应。如上所述，将面部追踪位置B记录到追踪位置日志区中。
周边部追踪位置C示出由周边部位追踪电路1308追踪的被检体中的面部以外的周边部位，例如胸部。该周边部追踪位置C例如利用矩形的框示出被检体中的胸部。该周边部追踪位置C不限于矩形的框，也可以是圆形的框。
面部追踪电路1307在根据通过面部检测电路1305检测到的面部、或通过颜色信息检测电路1306检测到的与面部对应的肤色的颜色信息的区域来追踪面部时，例如图6或图7所示，将矩形的面部追踪框D1显示在例如作为LCD的显示元件120上。图6示出针对面部的正脸设定的面部追踪框D1。图7示出针对面部的侧脸设定的面部追踪框D1。面部追踪框D1不限于矩形的框，也可以是圆形的框。面部不论是正脸还是侧脸都被作为面部追踪。
周边部位追踪电路1308在追踪例如胸部作为被检体中的面部以外的周边部位时，例如图8所示，将矩形的胸部追踪框D2显示在例如作为LCD的显示元件120上。胸部追踪框D2不限于矩形的框，也可以是圆形的框。
追踪切换电路1309在不能进行面部追踪电路1307对面部的追踪的情况下，例如图6或图7所示，将基于面部追踪框D1的显示的面部追踪切换为周边部位追踪电路1308对面部以外部位的追踪。具体而言，追踪切换电路1309从基于面部追踪框D1的显示的面部追踪切换为例如图8所示的胸部的追踪，如该图所示，在例如作为LCD的显示元件120上，在胸部上显示矩形的胸部追踪框D2。
当追踪切换电路1309根据面部以外的部位，例如根据胸部的位置而估计出面部的位置处检测到面部或与面部对应的肤色的颜色信息时，从图8所示的周边部位追踪电路1308对胸部的追踪（胸部追踪框D2的显示）返回到图6或图7所示的面部追踪电路1307对面部的追踪（面部追踪框D1的显示）。
面部与胸部的位置关系被设定为在图像数据上胸部处于与被检体的面部隔开预先设定的距离的下方位置处的关系。即在设人物的面部的下方有颈部、胸部、腹部、脚部时，可估计出在与被检体的胸部隔开预先设定的距离的上方存在面部。
追踪切换电路1309预先存储与面部对应的肤色的颜色信息，在被估计为面部的位置处的颜色信息与预先存储的颜色信息一致时，作为检测到与面部对应的肤色的颜色信息而返回到面部追踪电路1307对面部的追踪。
追踪切换电路1309至少在不能由面部检测电路1305检测到面部、且不能由颜色信息检测电路1306检测到肤色的颜色信息的区域的情况下，判定为不能进行面部追踪电路1307对面部的追踪。
追踪切换电路1309如果在图像数据中不能检测到面部，不能根据肤色的颜色信息的区域追踪面部而该追踪的性能恶化，则判定为不能进行面部追踪电路1307对面部的追踪。
存储器控制电路1310是进行用于由CPU 1301等对RAM 118、记录介质128、ROM 134进行存取的控制的接口。
操作部132包含由用户进行操作的各种操作部件。操作部132例如包含释放按钮、动态图像按钮、模式转盘、选择键、电源按钮等。
释放按钮包含第一释放开关和第二释放开关。第一释放开关是在用户半按下释放按钮时接通的开关。第一释放开关接通，由此进行AF处理等摄影准备动作。第二释放开关是在用户全按下释放按钮时接通的开关。第二释放开关接通，由此进行静态图像摄影用的曝光动作。
动态图像按钮是用于指示动态图像摄影的开始或结束的操作部件。在由用户按下了动态图像按钮时，开始动态图像摄影处理。当在动态图像摄影处理的执行中按下动态图像按钮时，结束动态图像摄影处理。
模式转盘是用于选择摄像装置的摄影设定的操作部件。在本实施方式中，模式转盘例如可选择静态图像摄影模式和动态图像摄影模式作为摄像装置的摄影设定。静态图像摄影模式是用于拍摄静态图像的摄影设定。动态图像摄影模式是用于拍摄动态图像的摄影设定。
选择键是用于进行例如菜单画面上的项目的选择和确定的操作部件。在由用户操作了选择键时，进行菜单画面上的项目的选择和确定。
电源按钮是用于对摄像装置的电源进行接通或断开的操作部件。在由用户操作了电源按钮时，该装置100起动从而成为可动作的状态。当在起动摄像装置的期间内操作了电源按钮时，该装置100成为节电待机状态。
ROM 134是存储用于由CPU 1301执行各种处理的程序代码的存储介质。程序代码包含追踪被摄体的追踪程序。追踪程序使作为计算机的CPU 1301实现以下功能：面部检测功能，从拍摄被摄体而得到的图像数据中检测所述被摄体的面部；面部对应区域检测功能，检测所述图像数据中的与所述面部对应的区域；面部追踪功能，根据通过所述面部检测部检测到的结果、或通过所述面部对应区域检测部检测到的结果追踪所述面部；周边部位追踪功能，追踪相对于所述面部具有预先设定的位置关系的所述被检体的一部分作为所述面部以外的部位；以及追踪切换功能，在不能进行所述面部追踪部对所述面部的追踪的情况下，切换为所述周边部位追踪部对所述面部以外的部位的追踪。
当在根据所述面部以外的周边部位的位置而估计为所述面部的位置处检测到所述面部、或检测到与所述面部对应的区域的所述颜色信息时，所述追踪切换功能返回到利用所述面部追踪功能的所述面部的追踪。
如图2B所示，面部朝向判定电路1311根据区域408内的面部器官402、404、406的配置等，判定由面部检测电路1305检测到的面部的朝向。例如，在面部器官402、404、406集中于区域408的左右任意一边的情况下，判定为面部朝向为侧面。
ROM 134存储了摄影光学系统102、光圈106和摄像元件114等的动作所需的控制参数，以及图像处理电路1304中的图像处理所需的控制参数等各种控制参数。ROM134还存储了在面部检测电路1305的面部检测中使用的面部器官的数据和用于显示追踪框的数据等。
接着，参照图9所示的摄影动作流程图说明如上那样构成的该装置的动作。
CPU 1301从ROM 134读入所需的程序代码来控制该装置100的动作。
CPU 1301在步骤S100中判定当前的该装置100的摄影设定是否为静态图像摄影模式。通过模式转盘进行摄影设定。
在判定结果为摄影设定是静态图像摄影模式时，CPU 1301在步骤S102中开始实时取景动作。作为实时取景动作，CPU 1301在控制快门驱动机构112开放快门110后，控制摄像元件IF电路116而开始摄像元件114的摄像。之后，CPU 1301将作为摄像元件114的摄像结果而存储在RAM 118的工作区中的图像数据输入到图像处理电路1304并实施实时取景显示用的图像处理。接着，CPU 1301将进行了实时取景显示用的图像处理的图像数据输入到显示元件驱动电路122，并在显示元件120上显示图像。通过重复执行这种显示动作，对被摄体的图像进行动态图像显示。用户可通过该动态图像显示观察被摄体。
CPU 1301在步骤S104中判定第一释放开关是否接通。CPU 1301继续进行实时取景动作，直到判定结果为第一释放开关接通。
在第一释放开关接通时，CPU 1301在步骤S106中，进行释放AF处理。在释放AF中，利用扫描驱动来驱动对焦镜头到对焦位置。在扫描驱动中，CPU 1301控制调焦机构104在预定的扫描范围内朝一个方向驱动对焦镜头，同时对由AF控制电路1302依次计算的对焦评价值进行评价。CPU 1301在对焦评价值的评价结果为对比度最大的镜头位置处，停止对焦镜头的驱动。在AF前的对焦镜头的位置与对焦位置的差较大的情况下进行这种扫描驱动。
CPU 1301在步骤S108中，控制显示元件驱动电路122而在显示元件120上显示追踪框。追踪框显示在显示元件120的画面上的追踪对象的位置处。例如，可以将通过释放AF进行对焦后的被摄体为追踪对象，在该被摄体上显示追踪框。在通过面部检测电路1305检测到人物面部的情况下，可以例如图6或图7所示，在面部上显示追踪框D1。在通过触摸面板124指定了显示在显示元件120的画面上的被摄体的情况下，也可以在该被摄体上显示追踪框。由此，在本实施方式中，CPU 1301、AF控制电路1302、面部检测电路1305、触摸面板124等作为追踪对象设定部的一例发挥功能。
CPU 1301在步骤S110中进行追踪被摄体的追踪处理。该追踪处理将后述。
CPU 1301在步骤S112中，进行AF处理以对焦到追踪位置的被摄体，并且进行AE处理以使得追踪位置的被摄体的曝光适当。
在追踪处理后的AF处理中，通过扫描驱动或摆动驱动将对焦镜头驱动到对焦位置。在摆动驱动中，CPU 1301判定在驱动了对焦镜头时由AF控制电路1302计算出的对焦评价值是否相对于上次镜头位置处的对焦评价值增加。CPU 1301在对焦评价值增加的情况下，在与上次相同的方向上对对焦镜头进行微小驱动，在对焦评价值减小的情况下，在与上次相反的方向上对对焦镜头进行微小驱动。通过高速重复这种动作来将对焦镜头缓慢驱动到对焦位置。
在AE处理中，CPU 1301计算将由AE控制电路1303计算出的追踪位置的被摄体亮度设为预先设定的适当量（适当曝光量）的正式曝光时的光圈106的开口量（光圈值）、快门110的开放时间（快门速度值）。
CPU 1301在步骤S114中判定第二释放开关是否接通。在判定为第二释放开关未接通时，CPU 1301执行步骤S110的追踪处理以后的处理。在静态图像摄影模式时，继续进行追踪处理直到第二释放开关接通。
在第二释放开关接通时，CPU 1301在步骤S116中，控制显示元件驱动电路122而不显示追踪框D1。
CPU 1301在步骤S118中，进行将静态图像数据记录到记录介质128中的处理。此时，CPU 1301控制快门驱动机构112来关闭快门110。之后，CPU 1301控制光圈驱动机构108来将光圈106缩小到之前计算出的光圈值。接着，CPU 1301控制快门驱动机构112，使快门110开放之前计算出的开放时间，同时进行利用摄像元件114的摄像（曝光）。之后，CPU 1301在图像处理电路1304中对经由摄像元件114得到的静态图像数据进行处理。接着，CPU 1301对在图像处理电路1304中处理后的静态图像数据赋予文件头来生成静态图像文件，并将所生成的静态图像文件记录到记录介质128中。
CPU 1301在步骤S120中，将表示作为上述步骤S110的追踪处理的结果得到的追踪位置的数据补写到之前记录在记录介质128中的静态图像文件中。之后，CPU1301结束依照图9所示的示出摄影动作的流程图的动作。
另一方面，在上述步骤S100中判定为摄影设定是动态图像摄影模式时，CPU 1301在步骤S122中开始实时取景动作。
在判定为作为动态图像摄影打开的指示的动态图像按钮接通时，CPU 1301在步骤S126中控制显示元件驱动电路122，在显示元件120上例如图6或图7所示，在面部上显示追踪框D1。
CPU 1301在步骤S128中，向面部检测电路1305、面部追踪电路1307和周边部位追踪电路1308指示追踪处理的开始。追踪处理将后述。
CPU 1301在步骤S130中，向AF控制电路1302指示AF处理以对焦到追踪位置的被摄体，并且向AE控制电路1303指示AE处理以使得追踪位置的被摄体的曝光适当。在AF处理中，通过摆动驱动将摄影光学系统102的对焦镜头驱动到对焦位置。
CPU 1301在步骤S132中，进行将动态图像数据记录到记录介质128中的处理。此时，CPU 1301控制光圈驱动机构108，将光圈106缩小到在AE处理中计算出的光圈值。接着，CPU 1301使摄像元件114在与AE处理中计算出的快门速度值对应的时间内执行摄像（曝光）。在曝光结束后，CPU 1301生成动态图像文件并记录到记录介质128中。CPU 1301在图像处理电路1304中对经由摄像元件114得到的动态图像数据进行处理，并将在图像处理电路1304中处理后的动态图像数据记录到动态图像文件中。
CPU 1301在步骤S134中，将表示作为上述步骤S128的追踪处理的结果得到的追踪位置的数据记录到之前记录在记录介质128中的动态图像文件中。
CPU 1301在步骤S136中判定动态图像按钮是否断开。在判定结果为动态图像按钮未断开时，CPU 1301执行步骤S128的追踪处理以后的处理。在动态图像摄影模式时，继续进行追踪处理和动态图像数据的记录，直到动态图像按钮断开为止。
在判定为动态图像按钮断开时，CPU 1301在步骤S138中，控制显示元件驱动电路122而不显示追踪框D1。之后，CPU 1301结束依照图9所示的示出摄影动作的流程图的动作。
接着，依照图10所示的追踪处理流程图对本实施方式的追踪处理进行说明。
CPU 1301在步骤S200中，控制摄像元件IF电路116来执行利用摄像元件114的摄像。
CPU 1301在步骤S201中，通过摄像元件114的摄像，将在摄像元件IF电路116中得到的图像数据取入到RAM 118中。CPU 1301将在初次的追踪处理中得到的图像数据设为评价图像数据，并将该图像数据取入到RAM 118的评价图像区中。CPU 1301将从第2次开始的以后的追踪处理中得到的图像数据设为参考图像数据，并将从第2次开始的以后的追踪处理中得到的图像数据分别取入到RAM 118的参考图像区中。
CPU 1301在步骤S202中，通过面部检测电路1305从例如拍摄了人物等被摄体的图像数据中检测被摄体的面部。如参照上述图2A、图2B说明的那样，面部检测电路1305求出由各帧得到的图像数据和各面部器官402、404、406的相关量。面部检测电路1305利用相关量在成为表示人物面部的预定配置时为最大的情况来检测人物面部存在的区域。
CPU 1301在步骤S203中，通过周边部位追踪电路1308将被检体中的面部以外的周边部位，例如与由面部检测电路1305检测到的面部隔开预先设定的距离的下方的胸部设定为周边部位。
CPU 1301在步骤S204中，通过面部追踪电路1307使用图像数据的亮度信息进行面部的追踪处理，并且通过周边部位追踪电路1308使用图像数据的亮度信息进行胸部的追踪处理。与参照上述图3A、图3B说明的同样，使用了亮度信息的追踪处理针对面部和胸部，在（N－1）帧中设定了作为追踪对象的被摄体的情况下，将该（N－1）帧的图像数据作为评价图像数据存储到RAM 118的评价图像区中。将包含评价图像数据的追踪对象的预定范围202的图像数据设定为基准图像数据。之后，在追踪处理中，在图3B所示的N帧的参考图像数据中搜索与基准图像数据202对应的部分。
在初次的追踪处理中，是仅取得了评价图像数据的状态，因此省略步骤S204以后的处理。在以后的说明中，设为取得了评价图像数据和参考图像数据两方的情况来继续说明。
CPU 1301在步骤S205中，将作为使用了亮度信息的面部和胸部的各追踪处理的结果得到的各追踪位置分别存储到RAM 118的追踪日志区中。
CPU 1301在步骤S206中，通过面部追踪电路1307使用图像数据的颜色信息进行面部的追踪处理，并且通过周边部位追踪电路1308使用图像数据的颜色信息进行胸部的追踪处理。使用了颜色信息的追踪处理针对面部和胸部，搜索可判定为与在评价图像数据内设定的颜色为相同颜色的区域作为追踪颜色区域。如上述图4A所示，面部追踪电路1307在（N－1）帧中指定了存在被摄体的位置302的情况下，取得评价图像数据中的位置302的颜色信息，并将该位置302作为追踪处理的开始位置，搜索具有与位置302相同的颜色信息的区域。
CPU 1301在步骤S207中，将作为使用了颜色信息的追踪处理的结果得到的面部和胸部的各追踪位置存储到RAM 118的追踪日志区中。CPU 1301将作为使用了颜色信息的追踪处理的结果得到的追踪颜色区域存储到RAM 118的追踪颜色区域日志区中。
CPU 1301在步骤S208中，通过追踪切换电路1309判定是否能够进行面部的追踪。具体而言，追踪切换电路1309判定是否在图像数据中不能检测到面部，不能根据肤色的颜色信息的区域追踪面部而该追踪的性能恶化。
在图像数据中检测到面部，或者能够根据肤色的颜色信息的区域追踪面部时，判断为可用面部进行追踪。根据在所述图像数据中是否存在被存储为追踪对象的肤色信息来判定是否可以进行基于肤色的颜色信息的区域的追踪。
在图像数据中不能检测到面部，并且不能根据肤色的颜色信息的区域追踪面部时，判断为不能用面部进行追踪。
如果判定结果为在图像数据中存在面部的数据，并且能够根据肤色的颜色信息的区域追踪面部，则CPU 1301在步骤S209中，进行优先追踪位置判定处理。优先追踪位置判定处理是用于判定在面部的追踪中，采用使用了亮度信息的追踪处理的结果和使用了颜色信息的追踪处理的结果中的哪一个的处理。此处，如上所述能够使用亮度信息和颜色信息分别进行面部的追踪，因此优先追踪位置判定处理例如使使用了颜色信息的追踪处理的结果优先。
CPU 1301在步骤S210中，判断被采用为优先追踪位置判定处理的结果的追踪位置的可靠性。在采用使用了亮度信息的追踪处理的结果的情况下，例如根据参考图像数据的对比度来判断可靠性。
具体而言，在参考图像数据中的追踪对象的区域的相邻像素之间的差分和在预定值以下的情况下，判断为有可靠性。在采用使用了颜色信息的追踪处理的结果的情况下，例如根据参考图像数据的颜色饱和度来判断可靠性。具体而言，在参考图像数据的追踪位置的颜色饱和度在预定值以上的情况下，判断为有可靠性。用于判定这些可靠性的阈值能够根据仿真结果或实验数据适当设定。
CPU 1301在步骤S211中，将参考图像数据的最终的追踪位置记录到RAM 118的追踪日志区中。在下次的追踪处理中，在使用亮度信息的追踪处理和使用颜色信息的追踪处理两方中，都将该最终的追踪位置设为追踪处理的开始位置。但是，在步骤S216的可靠性判断中判断为没有可靠性的情况下，也可以不记录追踪位置。
CPU 1301在步骤S212中控制显示元件驱动电路122，例如图6或图7所示，将面部追踪框D1的显示位置更新为与在步骤S218中存储的追踪位置对应的位置。
另一方面，如果上述步骤S208中的判定结果为在图像数据中没有面部的数据，不能根据肤色的颜色信息的区域追踪面部而该追踪的性能恶化，则CPU 1301判定为不能进行面部的追踪。
CPU 1301转移到步骤S213，通过追踪切换电路1309从面部的追踪切换为周边部位中的由周边部位追踪电路1308进行的追踪。周边部位是指CPU 1301根据面部检测结果和预先取得的统计数据估计出的位置。
具体而言，将面部的位置作为基准，将与该基准的位置隔开根据统计数据得到的距离的下方位置设为面部周边部的位置。此处，存储在ROM 134中的统计数据为用某个固定的距离测量的面部的位置到面部周边部的位置的统计数据。
因此，在摄像装置到追踪对象的距离与得到统计数据时的距离不同的情况下，根据该距离差校正面部周边部的位置。例如根据面部的尺寸（面部在画面上所占的尺寸比例）计算摄像装置到追踪对象的距离。根据该距离校正统计数据的值来计算实际的图像数据上的面部周边部的位置。周边部位追踪电路1308使用图像数据的亮度信息和颜色信息进行周边部位的追踪处理。
CPU 1301在步骤S214中进行优先追踪位置判定处理。优先追踪位置判定处理是用于判定在周边部位的追踪中，采用使用了亮度信息的追踪处理的结果和使用了颜色信息的追踪处理的结果中的哪一个的处理。具体而言，根据依据亮度信息和颜色信息计算出的追踪位置的位置关系、和依据亮度信息和颜色信息计算出的追踪位置处的颜色信息来判定优先追踪位置。
CPU 1301在步骤S215中，判断采用为优先追踪位置判定处理的结果的追踪位置的可靠性。CPU 1301在采用使用了亮度信息的追踪处理的结果的情况下，例如根据参考图像数据的对比度判断可靠性。具体而言，CPU 1301在参考图像数据中的追踪对象的区域的相邻像素之间的差分和在预定值以下的情况下，判断为有可靠性。
CPU 1301在步骤S211中，将参考图像数据的最终的追踪位置存储到RAM 118的追踪日志区中。在下次的追踪处理中，在使用亮度信息的追踪处理中，将该最终的追踪位置设为追踪处理的开始位置。但是，在步骤S216的可靠性判断中判断为没有可靠性的情况下，也可以不记录追踪位置。
CPU 1301在步骤S212中控制显示元件驱动电路122，例如图6或图8所示，将胸部追踪框D2的显示位置更新为与在步骤S211中存储的追踪位置对应的位置。
CPU 1301执行上述步骤S201～S207，在步骤S208中，通过追踪切换电路1309判定是否能够进行面部的追踪。即，CPU 1301判定是否在根据面部以外的部位、例如胸部的位置而估计为面部的位置处检测到面部，或检测到与面部对应的肤色的颜色信息。
如果判定结果为没有在根据例如胸部的位置而估计为面部的位置处检测到面部，或没有检测到与面部对应的肤色的颜色信息，则CPU 1301转移到上述步骤S213，通过追踪切换电路1309继续进行胸部的追踪。如上所述，周边部位追踪电路1308使用图像数据的亮度信息和颜色信息进行胸部的追踪处理。
另一方面，当判定结果为在根据胸部的位置而估计为面部的位置处检测到面部，或检测到与面部对应的肤色的颜色信息时，则CPU 1301从周边部位追踪电路1308对胸部的追踪返回到面部追踪电路1307对面部的追踪。追踪切换电路1309预先存储与面部对应的肤色的颜色信息，在估计为面部的位置处的颜色信息与预先存储的颜色信息一致时，设为检测到与面部对应的肤色的颜色信息。
CPU 1301执行上述步骤S209～S211，在步骤S212中，从图8所示的周边部位追踪电路1308对胸部的追踪（胸部追踪框D2的显示）返回到图6或图7所示的面部追踪电路1307对面部的追踪（面部追踪框D1的显示）。
之后，CPU 1301结束依照图10所示的追踪处理流程图的追踪处理。
由此根据上述追踪处理，在不能用被摄体的面部继续追踪时，切换为作为面部以外的周边部位，例如胸部的追踪来进行被检体的追踪。由此，在使用例如面部和至少胸部这两个区域进行被检体的追踪的情况下，即使例如使用面部作为基准区域的追踪结果不良，也能够切换为胸部等的区域作为基准区域，并使用该胸部等的区域可靠地进行被检体的追踪。
在将胸部等的区域作为基准区域进行被检体的追踪的状态下，当在根据该胸部的位置而估计为面部的位置处检测到面部或检测到与面部对应的颜色信息时，可再次进行使用面部的追踪。
从面部的追踪向例如胸部的追踪的切换以在图像数据中没有面部的数据、不能根据肤色的颜色信息的区域追踪面部而该追踪的性能恶化的情况为条件，因此能够在变为完全不能进行面部的追踪的状态的时刻切换为对胸部的追随。
从胸部的追踪返回到面部的追踪以在根据胸部的位置而估计为面部的位置处检测到面部，或检测到与面部对应的肤色的颜色信息为条件，因此能够在变为可完全进行面部追踪的状态的时刻返回到对面部的追随。
面部与胸部被设定为在图像数据上胸部处于与被检体的面部隔开预先设定的距离的下方处的关系，并且设定为在与胸部隔开预先设定的距离的上方存在面部，因此例如即使不能进行面部的追踪，也能够可靠地切换为同一人物的胸部的追踪，不会切换到其他人物的胸部的追踪。同样，在从胸部的追踪返回到面部的追踪的情况下，也能够可靠地切换为同一人物的面部的追踪，不会切换到其他人物的面部的追踪。由此，即使追踪的对象部位切换，也能够始终持续进行同一人物的追踪。
上述第1实施方式对面部的追踪和胸部的追踪进行了切换，但是不限于此，也可以设面部的追踪为主要的追踪，追加例如颈部的追踪、腹部的追踪、脚部的追踪、臂部的追踪中的任意一个作为周边部位的追踪。
接着，依照图11所示的追踪处理流程图说明如上那样构成的该装置的另一追踪处理。
本追踪一并使用多个追踪处理进行追踪对象的追踪。
CPU 1301在步骤S300中，控制摄像元件IF电路116来执行利用摄像元件114的摄像。CPU 1301在步骤S302中，通过摄像元件114的摄像，将在摄像元件IF电路116中得到的图像数据取入到RAM 118中。在初次的追踪处理中得到的图像数据为评价图像数据，因此CPU 1301将在初次的追踪处理中得到的图像数据取入到RAM118的评价图像区中，因此将从第2次起的以后的追踪处理中得到的图像数据设为参考图像数据。CPU 1301将从第2次起的以后的追踪处理中得到的图像数据取入到RAM 118的参考图像区中。
面部追踪电路1307在步骤S304中，与上述同样地进行使用面部检测的追踪处理。面部检测处理在初次的追踪处理中，从评价图像数据中检测面部。在从第2次起的以后的追踪处理中，从参考图像数据中检测面部。
面部朝向判定电路1311在步骤S306中，判定在上述步骤S304中检测到的面部的朝向。在上述S304中没有检测到面部的情况下，省略步骤S306和接下来的步骤S308的处理。
CPU 1301在步骤S308中，根据由面部检测电路1305检测到的面部的位置估计面部周边部的位置。面部周边部是追踪对象的被摄体的面部以外的部分（躯体、手脚等）。在以下的说明中，作为面部周边部的例子，估计追踪对象的胸部的位置。
面部追踪电路1307在步骤S310中进行追踪对象的面部和面部周边部的追踪。CPU 1301在步骤S312中进行追踪位置更新判断处理。该追踪位置更新判断处理是判断采用通过多个追踪处理得到的候选追踪位置中的哪一个追踪位置作为下一个帧中的追踪位置的处理。
CPU 1301在步骤S314中，判断采用为追踪位置更新判断处理的结果的追踪位置的可靠性。在采用了使用面部检测的追踪处理的追踪结果的情况下，CPU 1301根据过去的多个帧的面部检测的结果判断可靠性。具体而言在过去的多个帧中都检测到面部的情况下判断为有可靠性。
在采用了使用亮度信息的追踪处理的结果的情况下，例如根据参考图像数据的对比度来判断可靠性。具体而言，在参考图像数据中的追踪对象的区域的相邻像素之间的差分和在预定值以下的情况下，判断为有可靠性。
在采用了使用颜色信息的追踪处理的结果的情况下，例如根据参考图像数据的颜色饱和度来判断可靠性。具体而言，在参考图像数据的追踪位置的颜色饱和度在预定值以上的情况下，判断为有可靠性。用于判定这些的可靠性的阈值可适当设定。
CPU 1301在步骤S316中，将最终的追踪位置存储到RAM 118的追踪日志区中。在本实施方式中，进行面部的追踪处理和面部周边部的追踪处理两方，因此能够得到面部和面部周边部两方的追踪位置。将其中的任意一个设为用于AF控制和AE控制的追踪位置。例如，在上述步骤S314中的可靠性的判断结果为面部的追踪位置的检测结果有效的情况下，即面部检测电路1305中的面部检测的可靠性或各部分追踪处理中的面部追踪的可靠性中的任意一个有效的情况下，CPU 1301采用面部的追踪位置。
在上述步骤S314中的可靠性判断的结果为面部的追踪位置的检测结果无效的情况下，即面部检测电路1305中的面部检测的可靠性和各部分追踪处理中的面部追踪的可靠性中的任意一个均不存在的情况下，CPU 1301采用面部周边部的追踪位置。但是，在RAM 118中存储面部和面部周边部两方的追踪位置。在判断为两方的追踪位置均没有可靠性的情况下，也可以不记录追踪位置。
CPU 1301在步骤S318中控制显示元件驱动电路122，将追踪框的显示位置更新为与在上述步骤S316中存储的追踪位置对应的位置。之后，CPU 1301结束图11所示的追踪处理。
接着，参照图12所示的周边位置估计处理流程图说明周边位置估计处理。
周边位置估计处理根据在面部检测处理中检测到的面部的位置估计追踪对象的面部周边部（胸部）的位置。
CPU 1301在步骤S400中，取得由面部检测电路1305检测到的面部的位置（例如面部区域的重心位置）的信息。
CPU 1301在步骤S402中，取得由面部检测电路1305检测到的面部的尺寸（例如面部区域的尺寸）的信息。
CPU 1301在步骤S404中，从ROM 134取得表示从面部的位置到面部周边部（胸部）的位置的距离的统计数据。
CPU 1301在步骤S406中，根据所取得的统计数据计算图像数据上的面部周边部的位置。具体而言，CPU 1301将面部的位置作为基准，将与该基准的位置隔开根据统计数据得到的距离的下方位置设为面部周边部的位置。存储在ROM 134中的统计数据为用某个固定的距离测量的从面部的位置到面部周边部的位置的统计数据。
因此，在从摄像装置到追踪对象的距离与得到统计数据时的距离不同的情况下，CPU 1301根据不同的距离差校正面部周边部的位置。CPU 1301例如根据面部的尺寸（面部在画面上所占的尺寸比例）计算从摄像装置到追踪对象的距离。CPU 1301根据该计算出的距离校正统计数据的值来计算实际的图像数据上的面部周边部的位置。在计算出面部周边部的位置后，CPU 1301结束图12所示的周边位置估计处理。
在上述图12所示的周边位置估计处理的例子中，为了简化说明，将面部的位置下方的位置设为了面部周边部的位置。此时，在作为追踪对象的人物直立时能够得到正确的结果，但是在例如作为追踪对象的人物躺卧时等不能得到正确的结果。
与此相对，可以分别检测面部的各器官（眼睛、鼻子、嘴巴等），通过判别各器官相对于画面在哪个方向上排列，来判别作为追踪对象的人物是直立的还是躺着的，依照该判别结果计算面部周边部的位置。例如，在眼睛、鼻子、嘴巴从画面的左向右排列的情况下，估计为面部周边部相对于面部的位置处于右方的位置。
在上述图12所示的周边位置估计处理的例子中，根据由面部检测电路1305检测到的面部的位置估计面部周边部的位置。与此相对，也可以根据在后述的各部分追踪处理中得到的面部的追踪位置来估计面部周边部的位置。
接着，依照图13所示的各部分追踪处理流程图对本各部分追踪处理进行说明。
各部分追踪处理在面部检测处理以外的追踪处理中，对追踪对象的面部和面部周边部进行追踪。
面部追踪电路1307在步骤S500中，进行使用作为第1特征信息的颜色信息的面部的追踪处理。具体而言，面部追踪电路1307在参考图像数据中追踪具有与在评价图像数据中设定的面部的颜色信息相同的颜色信息的追踪颜色区域。CPU 1301将作为使用颜色信息的追踪处理的结果而得到的面部的追踪位置存储到RAM 118的追踪日志区中。CPU 1301将作为使用颜色信息的追踪处理的结果而得到的面部的追踪颜色区域存储到RAM 118的追踪颜色区域日志区中。
在初次的各部分追踪处理中，是仅取得评价图像数据的状态，因此省略步骤S500以后的处理。在以后的说明中，作为取得了评价图像数据和参考图像数据两方的情况继续进行说明。
面部追踪电路1307在步骤S502中，进行使用作为第2特征信息的亮度信息的面部的追踪处理。具体而言，面部追踪电路1307在参考图像数据中追踪具有与在评价图像数据中设定的面部相同的图案的区域。CPU 1301将作为使用亮度信息的追踪处理的结果而得到的面部的追踪位置存储到RAM 118的追踪日志区中。
CPU 1301在步骤S504中，将面部追踪电路1307的追踪结果和面部追踪电路1307的追踪结果中的任意一个设为各部分追踪处理的最终的面部的追踪位置（面部候选追踪位置）。
面部追踪电路1307在步骤S506中进行使用颜色信息的面部周边部的追踪处理。具体而言，面部追踪电路1307在参考图像数据中追踪具有与在评价图像数据中设定的面部周边部（例如胸部）的颜色信息（例如衣服的颜色信息）相同的颜色信息的追踪颜色区域。CPU 1301将作为使用颜色信息的追踪处理的结果得到的面部周边部的追踪位置存储到RAM 118的追踪日志区中。CPU 1301将作为使用颜色信息的追踪处理的结果得到的面部周边部的追踪颜色区域存储到RAM 118的追踪颜色区域日志区中。
面部追踪电路1307在步骤S508中进行使用亮度信息的面部周边部的追踪处理。具体而言，面部追踪电路1307在参考图像数据中追踪具有与在评价图像数据中设定的面部周边部相同的图案的区域。CPU 1301将作为使用亮度信息的追踪处理的结果得到的面部周边部的追踪位置存储到RAM 118的追踪日志区中。
CPU 1301在步骤S510中，将面部追踪电路1307的追踪结果和面部追踪电路1307的追踪结果中的任意一个设为各部分追踪处理的最终的面部周边部的追踪位置（周边部候选追踪位置）。在周边部候选追踪位置计算处理后，CPU 1301结束图13所示的各部分追踪处理。
接着，参照图14所示的面部候选追踪位置计算处理和周边部候选追踪位置计算处理流程图对面部候选追踪位置计算处理和周边部候选追踪位置计算处理进行说明。
面部候选追踪位置计算处理和周边部候选追踪位置计算处理的不同仅在于在各个处理中使用的追踪位置是面部还是面部周边部。因此，在图14中，集中说明这些处理。
在图14的处理中，对应于根据颜色信息得到的追踪位置中的颜色信息与根据亮度信息得到的追踪位置中的颜色信息的比较结果、以及根据颜色信息得到的追踪位置与根据亮度信息得到的追踪位置的位置关系确定最终的候选追踪位置。
颜色信息检测电路1306在步骤S600中，取得根据参考图像数据中的亮度信息得到的追踪位置的颜色信息。实际上是取得包含该追踪位置的微小区域的颜色信息。
CPU 1301在步骤S602中，判断根据颜色信息得到的追踪位置的颜色信息（追踪颜色区域的颜色信息）和根据亮度信息得到的追踪位置的颜色信息是否一致。一致是指根据亮度信息得到的追踪位置的颜色信息处于以根据颜色信息得到的追踪位置的颜色信息为基准预先设定的任意范围内。
在根据颜色信息得到的追踪位置的颜色信息和根据亮度信息得到的追踪位置的颜色信息一致的情况下，CPU 1301在步骤S604中判定追踪颜色区域是否包含根据亮度信息得到的追踪位置。
在判定为追踪颜色区域不包含根据亮度信息得到的追踪位置时，CPU 1301在步骤S606中采用根据亮度信息得到的追踪位置作为最终的候选追踪位置。之后，CPU1301结束图14所示的面部候选追踪位置计算处理和周边部候选追踪位置计算处理。
在上述步骤S602中，在根据颜色信息得到的追踪位置的颜色信息和根据亮度信息得到的追踪位置的颜色信息不一致的情况下，或者在上述步骤S604中判定为追踪颜色区域包含根据亮度信息得到的追踪位置的情况下，CPU 1301在步骤S608中，采用根据颜色信息得到的追踪位置作为最终的候选追踪位置。之后，CPU 1301结束图14所示的面部候选追踪位置计算处理和周边部候选追踪位置计算处理。
如图14所示，通过确定最终的候选追踪位置，能够针对运动剧烈的追踪对象，利用使用颜色信息的追踪处理进行追踪。在包含多个相同颜色被摄体的场景中，能够通过使用亮度信息的追踪处理进行追踪。由此，即使在面部检测失败的情况下也能够继续对追踪对象进行追踪。
上述图13所示的各部分追踪处理组合了亮度信息和颜色信息来进行追踪处理，但是也可以组合基于特征量检测的追踪处理等其他的追踪处理。
接着，参照图15所示的追踪位置更新判断处理流程图说明追踪位置更新判断处理。
追踪位置更新判断处理根据追踪对象的面部朝向来判断最终的追踪位置。
面部检测电路1305在步骤S700中，判定是否检测到面部。在判定为检测到面部时，面部朝向判定电路1311在步骤S702中判定面部的朝向。面部朝向判定电路1311判定面部朝向的判定结果是否为例如面部的朝向为正面朝向。
在判定为面部的朝向为正面朝向时，CPU 1301在步骤S704中，将由面部检测电路1305检测到的面部的位置（例如图2B所示的区域408的重心位置）设为最终的面部的追踪位置。
在下一个帧中，CPU 1301将最终的面部的追踪位置作为追踪处理的开始位置，进行面部检测处理、使用颜色信息的面部的追踪处理、和使用亮度信息的面部的追踪处理。CPU 1301在步骤S706中，将通过周边位置估计处理计算出的面部周边部的位置设为最终的面部周边部的追踪位置。
在下一个帧中，CPU 1301将最终的面部周边部的追踪位置作为追踪处理的开始位置，进行使用颜色信息的面部周边部的追踪处理、和使用亮度信息的面部周边部的追踪处理。颜色信息检测电路1306在步骤S708中，取得在周边位置估计处理中计算出的面部周边部的位置的颜色信息。
CPU 1301将在下一个帧的使用颜色信息的面部周边部的追踪处理中应追踪的颜色信息更新为新取得的面部周边部的位置的颜色信息。
之后，CPU 1301结束图15所示的追踪位置更新判断处理。
图16A和图16B示出与上述步骤S704～步骤S708对应的场景的一例。在检测到面部的情况下，如图16A所示得到包含面部的区域A1。区域A1的重心位置为面部的位置。与面部隔开预定距离的下方位置E1为面部周边部的位置。与此相对，各部分追踪处理独立于面部检测处理进行。例如，在图16B中，位置F1为面部的候选追踪位置，位置G1为面部周边部的候选追踪位置。
如图16B所示，在面部朝向正面的情况下，可认为面部的检测精度和面部周边部的估计精度均为高精度。因此，在本实施方式中，在得到了图16B所示的追踪结果的情况下，下一个帧的面部追踪电路1307的面部的追踪处理的开始位置设为通过面部追踪电路1305检测到的面部的位置A1，以替代位置F1。由此在下一个帧中也容易追踪相同的面部。同样，下一个帧的面部追踪电路1307和1306的面部周边部的追踪处理的开始位置设为在周边位置估计处理中估计出的面部周边部的位置E1，以替代位置G1。由此在下一个帧中也容易追踪相同的面部周边部。
人物大多穿着衣服，衣服大多形成有各种花样。因此，尤其在使用颜色信息的追踪处理中，期望依照最接近的面部周边部的位置的颜色信息进行追踪处理。因此，CPU 1301在步骤S708中，将追踪对象的颜色信息更新为位置E1的颜色信息。
当上述步骤S702中判定为面部的朝向不是正面朝向时，CPU 1301在步骤S710中，将由面部检测电路1305检测到的面部的位置设为最终的面部的追踪位置。
CPU 1301在步骤S712中，将在各部分追踪处理中得到的面部周边部的候选追踪位置设为最终的面部周边部的追踪位置。
CPU 1301在步骤S714中，不更新在使用颜色信息的追踪处理中应追踪的颜色信息，而直接使用过去的颜色信息。
之后，CPU 1301结束图15所示的追踪位置更新判断处理。
图16C示出与上述步骤S710～步骤S714对应的场景的例子。在检测到面部的情况下，如图16C所示得到包含面部的区域A2。区域A2的重心位置为面部的位置。与面部隔开预定距离的下方位置E2为面部周边部的位置。
与此相对，各部分追踪处理独立于面部检测处理进行。例如，如图16C所示，位置C1为面部的候选追踪位置，位置G1为面部周边部的候选追踪位置。
在如图16C所示那样能够检测到面部、并且面部不朝向正面的情况下，换言之面部朝向为侧面的情况下，能够在一定程度上保障面部的检测精度，但是面部周边部的检测精度不能保障其估计精度。这是因为将面部周边部简单地估计为与面部隔开预定距离的位置。在本实施方式中，在得到了图16C所示的追踪结果的情况下，下一个帧的面部追踪电路1307的面部追踪处理的开始位置设为通过面部追踪电路1305检测到的面部的位置A2，以替代位置F1。
另一方面，将下一个帧的面部追踪电路1307的面部周边部追踪处理的开始位置设为在此次的各部分追踪处理中得到的面部周边部的位置G1。由此，在下一个帧中也能够高精度地追踪面部周边部。在面部的朝向为侧面朝向的情况下，不能保障面部周边部的估计精度，因此不更新追踪对象的颜色信息。
在上述步骤S700中判定为没有通过面部检测电路1305检测到面部的情况下，CPU 1301在步骤S716中，将在各部分追踪处理中得到的面部周边部的候选追踪位置设为最终的面部的追踪位置。
CPU 1301在步骤S718中，将通过各部分追踪处理得到的面部周边部的候选追踪位置设为最终的面部周边部的追踪位置。
CPU 1301在步骤S720中，不更新在使用颜色信息的追踪处理中应追踪的颜色信息，而直接使用过去的颜色信息。之后，CPU 1301结束图15所示的追踪位置更新判断处理。
图16D示出与上述步骤S716～S720对应的场景的例子。由于不能检测到面部，因此追踪处理的结果只能依据各部分追踪处理得到。例如，如图16D所示，位置F2为面部的候选追踪位置，位置G2为面部周边部的候选追踪位置。
在如图16D所示那样面部朝向背面、或者面部发生较大幅度移动而不能检测到面部的情况下，将下一个帧的面部追踪电路1307的面部追踪处理的开始位置设为在此次的各部分追踪处理中得到的面部的位置F2。将下一个帧的面部追踪电路1307的面部周边部追踪处理的开始位置设为在此次的各部分追踪处理中得到的面部周边部的位置G2。由此，在下一个帧中也能够高精度地追踪面部和面部周边部。在不能检测到面部的情况下不更新追踪对象的颜色信息。
接着，对追踪框的显示进行说明。如在上述步骤S216中说明的那样，在本实施方式中，进行面部的追踪处理和面部周边部的追踪位置两方，因此能够得到面部和面部周边部两方的追踪位置。本实施方式将面部和面部周边部的追踪位置中的任意一个设为用于AF控制和AE控制的追踪位置。
追踪框的显示是对最终采用的追踪框进行显示。例如，在采用了面部的追踪位置的情况下，如图17A所示，在追踪对象的面部的位置上显示追踪框H1。在采用了面部周边部的追踪位置的情况下，如图17B所示，在追踪对象的面部周边部的位置上显示追踪框E2。通过如图17A和图17B那样显示追踪框，用户能够容易地视觉辨认成为当前的AF控制和AE控制的对象的部分。
不论采用了面部的追踪位置和面部周边部的追踪位置中的哪一个，都可以如图17C所示那样显示包含追踪对象的面部和面部周边部两方的追踪框H3。通过这样显示追踪框，用户能够容易地识别成为当前的追踪对象的被摄体自身。
也可以直接显示利用图16A～图16D示出的面部区域和追踪候选位置。此时，例如图16B和图16C所示，表示通过面部检测电路1305得到的面部区域的追踪框的尺寸比表示通过面部追踪电路1307得到的追踪位置的追踪框的尺寸大。也可以使表示通过面部追踪电路1307得到的追踪位置的追踪框的尺寸与表示通过面部追踪电路1307得到的追踪位置的追踪框的尺寸分别不同。能够通过使尺寸不同来区分追踪框。
也可以使表示通过面部检测电路1305得到的面部区域的追踪框的显示颜色、表示由面部追踪电路1307得到的追踪位置的追踪框的显示颜色、和表示由面部追踪电路1307得到的追踪位置的追踪框的显示颜色分别不同。还能够通过使颜色不同来区分追踪框。
由此根据上述追踪处理，能够通过组合面部检测电路1305和面部追踪电路1307来进行追踪处理，来持续追踪用户期望的特定的追踪对象。根据追踪处理的结果在面部和面部周边部之间切换追踪框的显示位置，因此用户能够容易地视觉辨认出进行了适当的追踪处理。
根据上述追踪处理，在各部分追踪处理中进行使用亮度信息的追踪处理和使用颜色信息的追踪处理。这是为了进一步提高追踪处理的性能。与此相对，虽然追踪处理的性能降低，但可以在各部分追踪处理中仅进行使用亮度信息的追踪处理和使用颜色信息的追踪处理中的任意一个。通过面部检测电路1305进行了面部的追踪，因此省略使用面部追踪电路1307的面部的追踪。
根据以上实施方式说明了本发明，但本发明不限于上述实施方式，当然可以在本发明宗旨的范围内进行各种变形和应用。此外，在上述动作的说明中，为了方便，使用“首先”、“接着”等说明动作，但不是指必须按该顺序实施动作。
本领域技术人员将容易地想起其他优点和变形例。因此，本发明的更广的方面不限于这里给出和描述的具体细节和代表性实施例。因此，可以在不脱离如用所附权利要求及它们的等同例定义的一般发明概念的精神或范围的情况下进行各种变形。

Claims (25)

1.一种追踪装置，其包括：
面部检测部，其从拍摄被摄体而得到的图像数据中检测所述被摄体的面部；
面部对应区域检测部，其检测所述图像数据中的与所述面部对应的区域；
面部追踪部，其根据通过所述面部检测部检测到的结果、或通过所述面部对应区域检测部检测到的结果追踪所述面部；
周边部位追踪部，其将相对于所述面部具有预先设定的位置关系的所述被检体的一部分作为所述面部以外的部位来进行追踪；以及
追踪切换部，其在所述面部追踪部不能进行所述面部的追踪的情况下，切换为所述周边部位追踪部对所述面部以外的部位的追踪。
2.根据权利要求1所述的追踪装置，其中，
所述面部对应区域检测部包含颜色信息检测部，该颜色信息检测部检测所述图像数据中的与所述面部对应的区域的颜色信息，
当将根据所述面部以外的部位的位置而估计出的位置的区域检测为所述面部，或检测到与所述面部对应的所述颜色信息时，所述追踪切换部从所述周边部位追踪部的追踪返回到所述面部追踪部对所述面部的追踪。
3.根据权利要求2所述的追踪装置，其中，
所述追踪切换部预先存储与所述面部对应的颜色信息，在被估计为所述面部的所述区域的颜色信息与所述预先存储的所述颜色信息一致时，作为检测到与所述面部对应的所述颜色信息而返回到所述面部追踪部对所述面部的追踪。
4.根据权利要求2所述的追踪装置，其中，
所述面部追踪部使所述面部检测部进行的所述面部的检测比所述颜色信息检测部进行的所述颜色信息的检测优先。
5.根据权利要求2所述的追踪装置，其中，
所述追踪切换部至少在所述面部检测部不能检测出所述面部、且所述颜色信息检测部不能检测出所述颜色信息的情况下，判定为不能进行所述面部追踪部对所述面部的追踪。
6.根据权利要求5所述的追踪装置，其中，
如果在所述图像数据中没有所述面部的数据、且不能根据所述颜色信息的区域追踪所述面部，则所述追踪切换部判定为不能进行所述面部追踪部对所述面部的追踪。
7.根据权利要求2所述的追踪装置，其中，
所述颜色信息检测部检测肤色作为所述颜色信息。
8.一种追踪方法，其包括：
由面部检测部从拍摄被摄体而得到的图像数据中检测所述被摄体的面部；
由面部对应区域检测部检测所述图像数据中的与所述面部对应的区域；
由面部追踪部根据由所述面部检测部检测到的结果、或由所述面部对应区域检测部检测到的结果来追踪所述面部；
由周边部位追踪部追踪相对于所述面部具有预先设定的位置关系的所述被检体的一部分作为所述面部以外的部位；以及
在不能进行所述面部追踪部对所述面部的追踪的情况下，切换为所述周边部位追踪部对所述面部以外的部位的追踪。
9.根据权利要求8所述的追踪方法，其中，
所述追踪的切换在根据所述面部的周边部位而估计为所述面部的区域中检测到所述面部、或检测到与所述面部对应的区域的颜色信息时，返回到所述面部追踪部对所述面部的追踪。
10.一种摄像装置，其具有：
摄像部，其拍摄被摄体并输出图像数据；
面部检测部，其从所述图像数据中检测所述被摄体的面部；
面部追踪部，其根据所述图像数据追踪所述图像数据中的所述被摄体的面部；
周边部位追踪部，其根据所述图像数据追踪所述图像数据中的所述被摄体的面部周边部；
显示部，其显示基于所述图像数据的图像；以及
控制部，其在所述面部检测部对所述面部的检测或所述面部追踪部对所述面部的追踪有效的情况下，对显示在所述显示部上的所述图像重叠表示所述面部的位置的显示框，并且在所述面部检测部对所述面部的检测和所述面部追踪部对所述面部的追踪无效的情况下，对显示在所述显示部上的图像重叠表示所述面部周边部的位置的显示框。
11.根据权利要求10所述的摄像装置，其中，
当从所述面部检测部对所述面部的检测或所述面部追踪部对所述面部的追踪有效的第1状态变化为所述面部检测部对所述面部的检测和所述面部追踪部对所述面部的追踪无效的第2状态时，所述控制部停止重叠在所述显示部上的表示所述面部的位置的所述显示框的重叠。
12.根据权利要求11所述的摄像装置，其中，
所述控制部在所述面部检测部对所述面部的检测和所述面部追踪部对所述面部的追踪有效的情况下，对显示在所述显示部上的图像重叠表示由所述面部检测部检测到的所述面部的位置的第1显示框。
13.根据权利要求11所述的摄像装置，其中，
所述控制部在所述面部检测部对所述面部的检测和所述面部追踪部对所述面部的追踪有效的情况下，对显示在所述显示部上的图像重叠表示由所述面部检测部检测到的所述面部的位置的所述第1显示框和表示由所述面部追踪部追踪到的所述面部的位置的第2显示框。
14.根据权利要求11所述的摄像装置，其中，
所述控制部在所述面部检测部对所述面部的检测无效、且所述面部追踪部对所述面部的追踪动作有效的情况下，对显示在所述显示部上的图像重叠表示由所述面部追踪部追踪到的所述面部的位置的第2显示框。
15.根据权利要求10所述的摄像装置，其中，
所述周边部位追踪部根据由所述面部检测部检测到的所述面部的位置或由所述面部追踪部追踪到的所述面部的位置，将所述被摄体的胸部的位置估计为所述面部周边部的位置来进行所述面部的追踪。
16.根据权利要求10所述的摄像装置，其中，
所述面部追踪部包含：第1颜色追踪部，其检测所述图像数据的颜色信息来追踪所述被摄体的所述面部；以及第1亮度追踪部，其检测所述图像数据的亮度信息来追踪所述被摄体的所述面部，
所述周边部位追踪部包含：第2颜色追踪部，其检测所述图像数据的所述颜色信息来追踪所述被摄体的所述面部周边部；以及第2亮度追踪部，其检测所述图像数据的所述亮度信息来追踪所述被摄体的所述面部周边部。
17.根据权利要求10所述的摄像装置，其中，
所述控制部以表示所述面部的位置的显示框和表示所述面部周边部的位置的显示框的各自尺寸或各自颜色不同的方式进行显示。
18.根据权利要求10所述的摄像装置，其中，
所述控制部对显示在所述显示部上的图像重叠包含所述面部和所述面部周边部的显示框。
19.一种摄像方法，其包括：
由摄像部拍摄被摄体并输出图像数据；
由面部检测部从由所述摄像部输出的所述图像数据中检测所述被摄体的面部；
由周边部位追踪部追踪从所述摄像部输出的所述图像数据中的所述被摄体的面部周边部；
由显示部显示基于所述图像数据的图像；以及
通过控制部在所述面部检测部对所述面部的检测有效的期间，对显示在所述显示部上的所述图像重叠表示所述面部的位置的显示框，在所述面部检测部对所述面部的检测变为无效时，对显示在所述显示部上的图像重叠表示所述面部周边部的位置的显示框。
20.根据权利要求19所述的摄像方法，其中，
在从所述面部检测部对所述面部的检测有效的状态变化为所述面部检测部对所述面部的检测无效的状态时，通过所述控制部停止重叠在所述显示部上的表示所述面部的位置的所述显示框的重叠。
21.根据权利要求19所述的摄像方法，其中，
由所述周边部位追踪部根据由所述面部检测部检测到的面部的位置，将所述被摄体的胸部的位置估计为所述面部周边部的位置来进行所述追踪。
22.根据权利要求19所述的摄像方法，其中，
由所述周边部位追踪部检测所述图像数据的颜色信息来追踪所述被摄体的面部，并检测所述图像数据的亮度信息来追踪所述被摄体的面部。
23.根据权利要求19所述的摄像方法，其中，
由所述控制部将表示所述面部的位置的显示框的尺寸和表示所述面部周边部的位置的显示框的尺寸设为不同的尺寸。
24.根据权利要求19所述的摄像方法，其中，
由所述控制部将表示所述面部的位置的显示框的颜色和表示所述面部周边部的位置的显示框的颜色设为不同的颜色。
25.根据权利要求19所述的摄像方法，其中，
所述控制部对显示在所述显示部上的图像重叠包含所述面部和所述面部周边部的显示框。
CN201210224984.2A 2011-06-29 2012-06-29 追踪装置、追踪方法、摄像装置以及摄像方法 Expired - Fee Related CN102857690B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011144771A JP5771461B2 (ja) 2011-06-29 2011-06-29 追尾装置、追尾方法及び追尾プログラム
JP2011144772A JP2013012942A (ja) 2011-06-29 2011-06-29 撮像装置
JP2011-144771 2011-06-29
JP2011-144772 2011-06-29

Publications (2)

Publication Number Publication Date
CN102857690A true CN102857690A (zh) 2013-01-02
CN102857690B CN102857690B (zh) 2015-11-25

Family

ID=47390738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210224984.2A Expired - Fee Related CN102857690B (zh) 2011-06-29 2012-06-29 追踪装置、追踪方法、摄像装置以及摄像方法

Country Status (2)

Country Link
US (1) US8929598B2 (zh)
CN (1) CN102857690B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038689A (zh) * 2013-03-05 2014-09-10 奥林巴斯映像株式会社 图像处理装置和图像处理方法
CN105359502A (zh) * 2013-07-04 2016-02-24 奥林巴斯株式会社 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN106370057A (zh) * 2015-07-20 2017-02-01 信泰光学(深圳)有限公司 追踪观测装置以及操作追踪观测装置的方法
CN107037962A (zh) * 2015-10-23 2017-08-11 株式会社摩如富 图像处理装置、电子设备以及图像处理方法
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN111797652A (zh) * 2019-04-09 2020-10-20 佳能株式会社 对象跟踪方法、设备及存储介质
WO2021168749A1 (en) * 2020-02-27 2021-09-02 Qualcomm Incorporated Dynamic adjustment of a region of interest for image capture

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390101B2 (ja) * 2013-03-18 2018-09-19 Tdk株式会社 固体リチウムイオン導電体および電気化学素子
US10509513B2 (en) * 2017-02-07 2019-12-17 Oblong Industries, Inc. Systems and methods for user input device tracking in a spatial operating environment
WO2018163404A1 (ja) * 2017-03-10 2018-09-13 三菱電機株式会社 顔向き推定装置および顔向き推定方法
JP6785481B1 (ja) 2020-05-22 2020-11-18 パナソニックＩｐマネジメント株式会社 画像追尾装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377815A (zh) * 2007-08-31 2009-03-04 卡西欧计算机株式会社 摄像装置及其程序
CN101534393A (zh) * 2008-03-14 2009-09-16 欧姆龙株式会社 对象图像检测装置、其控制方法、程序及电子设备
JP2009268086A (ja) * 2008-03-31 2009-11-12 Panasonic Corp 撮像装置
CN101656830A (zh) * 2008-08-20 2010-02-24 佳能株式会社 图像处理装置及图像处理方法
CN101960834A (zh) * 2008-03-03 2011-01-26 三洋电机株式会社 摄像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3490910B2 (ja) 1998-09-28 2004-01-26 三洋電機株式会社 顔領域検出装置
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7103227B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
GB2409028A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
JP2006072770A (ja) 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
US7689010B2 (en) * 2004-12-03 2010-03-30 Invacare International Sarl Facial feature analysis system
JP2006211139A (ja) 2005-01-26 2006-08-10 Sanyo Electric Co Ltd 撮像装置
US8571258B2 (en) * 2006-02-07 2013-10-29 France Telecom Method of tracking the position of the head in real time in a video image stream
EP2030171A1 (en) * 2006-04-10 2009-03-04 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US8064639B2 (en) * 2007-07-19 2011-11-22 Honeywell International Inc. Multi-pose face tracking using multiple appearance models
KR101542394B1 (ko) * 2008-10-28 2015-08-07 삼성디스플레이 주식회사 박막 트랜지스터 표시판 및 그를 포함하는 액정 표시 장치
US8564667B2 (en) * 2009-08-21 2013-10-22 Empire Technology Development Llc Surveillance system
US8447132B1 (en) * 2009-12-09 2013-05-21 CSR Technology, Inc. Dynamic range correction based on image content
JP2011193063A (ja) * 2010-03-12 2011-09-29 Sanyo Electric Co Ltd 電子カメラ
US8792679B2 (en) * 2011-09-09 2014-07-29 Imprivata, Inc. Low-light face detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377815A (zh) * 2007-08-31 2009-03-04 卡西欧计算机株式会社 摄像装置及其程序
CN101960834A (zh) * 2008-03-03 2011-01-26 三洋电机株式会社 摄像装置
CN101534393A (zh) * 2008-03-14 2009-09-16 欧姆龙株式会社 对象图像检测装置、其控制方法、程序及电子设备
JP2009268086A (ja) * 2008-03-31 2009-11-12 Panasonic Corp 撮像装置
CN101656830A (zh) * 2008-08-20 2010-02-24 佳能株式会社 图像处理装置及图像处理方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038689B (zh) * 2013-03-05 2018-05-25 奥林巴斯株式会社 图像处理装置和图像处理方法
CN104038689A (zh) * 2013-03-05 2014-09-10 奥林巴斯映像株式会社 图像处理装置和图像处理方法
CN105359502A (zh) * 2013-07-04 2016-02-24 奥林巴斯株式会社 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN105359502B (zh) * 2013-07-04 2019-01-29 奥林巴斯株式会社 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN106370057A (zh) * 2015-07-20 2017-02-01 信泰光学(深圳)有限公司 追踪观测装置以及操作追踪观测装置的方法
CN106370057B (zh) * 2015-07-20 2018-07-13 信泰光学(深圳)有限公司 追踪观测装置以及操作追踪观测装置的方法
CN107037962B (zh) * 2015-10-23 2020-06-16 株式会社摩如富 图像处理装置、电子设备以及图像处理方法
CN107037962A (zh) * 2015-10-23 2017-08-11 株式会社摩如富 图像处理装置、电子设备以及图像处理方法
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN108734107B (zh) * 2018-04-24 2021-11-05 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN111797652A (zh) * 2019-04-09 2020-10-20 佳能株式会社 对象跟踪方法、设备及存储介质
WO2021168749A1 (en) * 2020-02-27 2021-09-02 Qualcomm Incorporated Dynamic adjustment of a region of interest for image capture
CN115136580A (zh) * 2020-02-27 2022-09-30 高通股份有限公司 用于图像捕捉的感兴趣区域的动态调整

Also Published As

Publication number Publication date
US8929598B2 (en) 2015-01-06
US20130004020A1 (en) 2013-01-03
CN102857690B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN102857690A (zh) 追踪装置、追踪方法、摄像装置以及摄像方法
TWI549501B (zh) An imaging device, and a control method thereof
US7706675B2 (en) Camera
CN1604621B (zh) 摄像装置及其控制方法
CN103179338B (zh) 跟踪装置和跟踪方法
CN101136066B (zh) 拍摄装置、方法
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN103004179B (zh) 跟踪装置和跟踪方法
CN103731604A (zh) 追踪装置及追踪方法
US20090316016A1 (en) Image pickup apparatus, control method of image pickup apparatus and image pickup apparatus having function to detect specific subject
CN101534396A (zh) 能够控制闪光灯强度的数字成像设备和控制该设备的方法
US9906708B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium storing imaging program for controlling an auto-focus scan drive
US20140071318A1 (en) Imaging apparatus
US20190304122A1 (en) Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus
CN103841319A (zh) 摄像设备
JP6491581B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
CN105391934A (zh) 焦点检测设备、其控制方法以及摄像装置
CN104038689B (zh) 图像处理装置和图像处理方法
JP4567538B2 (ja) 露出量算出システムならびにその制御方法およびその制御プログラム
JP5183441B2 (ja) 撮像装置
CN106303212B (zh) 拍摄装置和拍摄方法
JP2009152725A (ja) 自動追跡装置及び方法
JP4935380B2 (ja) 画像追尾装置および撮像装置
US10943328B2 (en) Image capturing apparatus, method for controlling same, and storage medium
JP2018185576A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151204

Address after: Tokyo, Japan

Patentee after: OLYMPUS Corp.

Address before: Tokyo, Japan

Patentee before: Olympus Imaging Corp.

TR01 Transfer of patent right

Effective date of registration: 20211202

Address after: Tokyo, Japan

Patentee after: Aozhixin Digital Technology Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125