CN103004179A

CN103004179A - 跟踪装置和跟踪方法

Info

Publication number: CN103004179A
Application number: CN2012800018061A
Authority: CN
Inventors: 米山尚
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Corp
Priority date: 2011-06-29
Filing date: 2012-05-21
Publication date: 2013-03-27
Anticipated expiration: 2032-05-21
Also published as: WO2013001940A1; US20130113941A1; US8878940B2; JP5226903B1; CN103004179B; JPWO2013001940A1

Abstract

跟踪装置具有第1跟踪位置检测部（1305）、第2跟踪位置检测部（1306）、参照信息取得部（1308）以及控制部（1301）。第1跟踪位置检测部（1305）根据第1特征信息检测图像数据中的第1候选跟踪位置。第2跟踪位置检测部（1306）根据第2特征信息检测图像数据中的第2候选跟踪位置。参照信息取得部（1308）取得在第1候选跟踪位置中存在的、与第2特征信息同种类的特征信息，作为参照信息。控制部（1301）根据第2特征信息与参照信息的特征是否一致的判断、和在第2候选跟踪位置中是否包含参照信息的判断，决定真正的跟踪位置。

Description

跟踪装置和跟踪方法

技术领域

本发明涉及跟踪被摄体的跟踪装置和跟踪方法。

背景技术

以往，已知当对运动物体进行摄影时或对动态图像进行摄影时，为了追随特定的被摄体而进行自动对焦控制（AF）或自动曝光控制（AE）的技术。使用跟踪处理以便追随这样的特定的被摄体。在跟踪处理中存在利用亮度信息的处理、利用颜色信息的处理、利用脸部检测的处理等各种处理。

此处，在仅使用了1种跟踪处理的情况下，如果跟踪处理失败，则之后可能无法进行正确的跟踪处理。与此相对，在日本专利第4506779号公报中，根据各帧的脸部检测的结果来判定脸部图像为检测状态还是非检测状态，当脸部图像为非检测状态时，在与该脸部图像为非检测状态的帧邻接的帧之间进行例如匹配处理，由此，检测脸部图像为非检测状态的帧中的脸部图像对应部。

现有技术文献

专利文献

专利文献1：日本专利第4506779号公报

发明内容

发明要解决的课题

此处，日本专利第4506779号公报的技术使用利用了脸部检测的跟踪处理和匹配（利用了前述亮度信息的跟踪处理）对被摄体进行跟踪。然而，日本专利第4506779号公报的技术并非是实现了利用亮度信息的跟踪处理的跟踪性能提升的技术。因此，在利用亮度信息的跟踪处理难以应付的场景中脸部检测失败了的情况下，跟踪处理可能也会失败。

本发明正是鉴于所述情况而完成的，其目的在于提供一种即便在难以应付的场景下也具有高跟踪性能的跟踪装置和跟踪方法。

用于解决问题的手段

本发明的第1方式的跟踪装置，其特征在于，所述跟踪装置具有：跟踪被摄体指定部，其指定在所输入的图像数据中包含的作为跟踪对象的被摄体；第1跟踪位置检测部，其从所述图像数据中检测第1特征信息，根据该第1特征信息，将所述图像数据中的作为所述跟踪对象的被摄体的位置作为第1候选跟踪位置；第2跟踪位置检测部，其从所述图像数据中检测与所述第1特征信息不同的特征信息作为第2特征信息，根据该第2特征信息，检测所述图像数据中的作为所述跟踪对象的被摄体的位置作为第2候选跟踪位置；参照信息取得部，其取得在所述第1候选跟踪位置中存在的、与所述第2特征信息同种类的特征信息，作为参照信息；以及控制部，其根据所述第2特征信息与所述参照信息的特征是否一致的判断、和在所述第2候选跟踪位置中是否包含所述参照信息的判断，决定真正的跟踪位置。

本发明的第2方式的跟踪方法，其特征在于，所述跟踪方法包含以下步骤：跟踪被摄体指定部指定在所输入的图像数据中包含的作为跟踪对象的被摄体；第1跟踪位置检测部从所述图像数据中检测第1特征信息，根据该第1特征信息，检测所述图像数据中的作为所述跟踪对象的被摄体的位置作为第1候选跟踪位置；第2跟踪位置检测部从所述图像数据中检测与所述第1特征信息不同的特征信息作为第2特征信息，根据该第2特征信息，检测所述图像数据中的作为所述跟踪对象的被摄体的位置作为第2候选跟踪位置；参照信息取得部取得在所述第1候选跟踪位置中存在的、与所述第2特征信息同种类的特征信息，作为参照信息；以及，控制部根据所述第2特征信息与所述参照信息的特征是否一致的判断、和在所述第2候选跟踪位置中是否包含所述参照信息的判断，决定真正的跟踪位置。

发明的效果

根据本发明，能够提供一种即便在难以应付的场景下也具有高跟踪性能的跟踪装置和跟踪方法。

附图说明

图1是示出作为具有本发明一个实施方式的跟踪装置的摄像装置的一例的结构的图。

图2A是用于对使用了亮度信息的跟踪处理进行说明第1图。

图2B是用于对使用了亮度信息的跟踪处理进行说明的第2图。

图3A是用于对使用了颜色信息的跟踪处理进行说明的第1图。

图3B是用于对使用了颜色信息的跟踪处理进行说明的第2图。

图4A是用于对脸部检测处理进行说明的第1图。

图4B是用于对脸部检测处理进行说明的第2图。

图5是示出摄像装置的摄影动作的流程图。

图6是针对作为本发明一个实施方式的跟踪方法的跟踪处理而示出流程图。

图7是针对优先跟踪判定处理而示出的流程图。

图8A是用于针对在仅使用亮度信息和颜色信息的一方进行了跟踪处理的情况下的动作进行说明的第1图。

图8B是用于针对在仅使用亮度信息和颜色信息的一方进行了跟踪处理的情况下的动作进行说明的第2图。

图8C是用于针对在仅使用亮度信息和颜色信息的一方进行了跟踪处理的情况下的动作进行说明的第3图。

图9A是用于对进行了本发明一个实施方式中的跟踪处理的情况下的动作进行说明的第1图。

图9B是用于对进行了本发明一个实施方式中的跟踪处理的情况下的动作进行说明的第2图。

图9C是用于对进行了本发明一个实施方式中的跟踪处理的情况下的动作进行说明的第3图。

图9D是用于对进行了本发明一个实施方式中的跟踪处理的情况下的动作进行说明的第4图。

图10是用于对本发明一个实施方式的变形例的跟踪处理进行说明的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是示出作为具有本发明一实施方式的跟踪装置的摄像装置的一例的结构的图。图1所示的摄像装置100具有摄影光学系统102、焦点调整机构104、光圈106、光圈驱动机构108、快门110、快门驱动机构112、摄像元件114、摄像元件接口（IF）电路116、RAM118、显示元件120、显示元件驱动电路122、触摸面板124、触摸面板驱动电路126、记录介质128、系统控制器130、操作部132以及ROM134。

摄影光学系统102是用于将来自未图示的被摄体的光束F在摄像元件114的受光面上聚光的光学系统。该摄影光学系统102具有对焦镜头等多个镜头。焦点调整机构104具有电动机及其驱动电路等。该焦点调整机构104根据系统控制器130内的CPU1301的控制，使摄影光学系统102内的对焦镜头在其光轴方向（图示点划线方向）驱动。

光圈106构成为可以开闭自如，调整经由摄影光学系统102入射到摄像元件114的光束F的量。光圈驱动机构108具有用于驱动光圈106的驱动机构。该光圈驱动机构108根据系统控制器130内的CPU1301的控制来驱动光圈106。

快门110构成为使摄像元件114的受光面成为遮光状态或曝光状态。通过该快门110调整摄像元件114的曝光时间。快门驱动机构112具有用于驱动快门110的驱动机构，根据系统控制器130内的CPU1301的控制，驱动快门110。

摄像元件114具有受光面，该受光面使经由摄影光学系统102被聚光的来自被摄体的光束F成像。摄像元件114的受光面将多个像素二维状地配置而构成，此外，在受光面的光入射侧设置有滤色片。这样的摄像元件114将与在受光面被成像的光束F对应的像（被摄体像）转换为与其光量对应的电信号（以下称作图像信号）。此处，摄像元件114已知有CCD方式或CMOS方式等各种结构的摄像元件。此外，滤色片的颜色排列也已知有拜耳排列等各种排列。本实施方式中摄像元件114的结构不限于特定的结构，可以使用各种结构的摄像元件。

摄像元件IF电路116根据系统控制器130内的CPU1301的控制，驱动摄像元件114。此外，摄像元件IF电路116根据系统控制器130内的CPU1301的控制，读出在摄像元件114中得到的图像信号，对读出的图像信号实施CDS（相关双采样）处理或AGC（自动增益控制）处理等模拟处理。此外，摄像元件IF电路116将模拟处理后的图像信号转换为数字信号（以下称作图像数据）。

RAM118例如是SDRAM，其作为存储区，具有工作区、评价图像区、参照图像区、跟踪位置日志区、跟踪颜色区域日志区。工作区是在RAM118中设置的存储区，用于暂时存储在摄像元件IF电路116中得到的图像数据等在摄像装置100的各部中产生的数据。

评价图像区是为了暂时存储评价图像数据而在RAM118中设置的存储区。评价图像数据是包含后述跟踪处理中的跟踪对象的被摄体的帧的图像数据。在跟踪处理中，进行处理以对该跟踪对象进行跟踪。

参照图像区是为了暂时存储参照图像数据而在RAM118中设置的存储区。参照图像数据是在后述跟踪处理中作为跟踪对象的搜索对象的帧的图像数据。在跟踪处理中，在参照图像数据中进行搜索。

跟踪位置日志区是为了暂时存储跟踪位置日志而在RAM118中设置的存储区。跟踪位置日志是记录了作为跟踪处理的结果得到的跟踪位置的日志。在本实施方式中，并用多个跟踪处理对跟踪对象进行跟踪。因此，在跟踪位置日志中分别记录例如过去10帧的、由各个跟踪处理得到的跟踪位置（候选跟踪位置）。此外，在跟踪位置日志中还记录由后述优先跟踪位置判定处理采用的最终的跟踪位置。

跟踪颜色区域日志区是为了暂时存储跟踪颜色区域日志而在RAM118中设置的存储区。跟踪颜色区域日志是记录了由跟踪处理得到的跟踪颜色区域的日志。在本实施方式中，例如记录过去10帧的跟踪颜色区域。在后面详细叙述跟踪颜色区域。

显示元件120是例如液晶显示器（LCD），对实时取景用的图像和在记录介质128中记录的图像等各种图像进行显示。显示元件驱动电路122根据从系统控制器130的CPU1301输入的图像数据来驱动显示元件120，使显示元件120显示图像。

触摸面板124一体地形成在显示元件120的显示画面上，检测用户的手指等在显示画面上的接触位置等。触摸面板驱动电路126驱动触摸面板124，并且将来自触摸面板124的接触检测信号输出到系统控制器130的CPU1301。CPU1301根据接触检测信号，检测用户在显示画面上的接触操作，执行与该接触操作对应的处理。

记录介质128例如是存储卡，其记录通过摄影动作得到的图像文件。图像文件是向图像数据赋予预定的头而构成的文件。在头中记录表示摄影条件的数据和表示跟踪位置的数据等作为标签数据。

系统控制器130作为用于控制摄影装置100的动作的控制电路，具有CPU1301、AF控制电路1302、AE控制电路1303、图像处理电路1304、跟踪处理电路1305、1306、脸部检测电路1307、颜色信息取得电路1308以及存储器控制电路1309。

CPU1301对焦点调整机构104、光圈驱动机构108、快门驱动机构112、显示元件驱动电路122、触摸面板驱动电路126等系统控制器130外部的各块以及系统控制器130内部的各控制电路的动作进行控制。此外，CPU1301还具有作为控制部的功能，在后述优先跟踪判定处理中决定最终的跟踪位置。

AF控制电路1302控制对比度AF处理。具体而言，AF控制电路1302提取在摄像元件IF电路116中得到的图像数据的高频分量，对该提取的高频分量进行求和，由此取得AF用的对焦评价值。CPU1301根据该对焦评价值，对图像数据的对比度进行评价，并且控制焦点调整机构104，使对焦镜头成为对焦状态。

AE控制电路1303对AE动作进行控制。具体而言，AE控制电路1303使用在摄像元件IF电路116中得到的图像数据来计算被摄体亮度。CPU1301根据该被摄体亮度，计算曝光时的光圈106的开口量（光圈值）、快门110的开放时间（快门速度值）、摄像元件感光度或ISO感光度等。

图像处理电路1304进行对图像数据的各种图像处理。作为该图像处理，包含颜色校正处理、伽马（γ）校正处理、压缩处理等。此外，图像处理电路1304还实施对被压缩的图像数据的解压缩处理。

作为第1跟踪位置检测部的跟踪处理电路1305进行作为第1特征信息使用了图像数据的亮度信息的跟踪处理。简单地对使用了该亮度信息的跟踪处理进行说明。在使用了亮度信息的跟踪处理中，例如，在图2A所示的（N-1）帧中设定了跟踪对象的情况下，将该（N-1）帧的图像数据作为评价图像数据在RAM118的评价图像区中存储。将包含该评价图像数据的跟踪对象的预定范围202的图像数据设定为基准图像数据。在之后的跟踪处理中，搜索与参照图像数据的基准图像数据202对应的部分。

对N帧的跟踪处理进行例示，首先，将N帧的图像数据作为参照图像数据在RAM118的参照图像区中存储。求出该参照图像数据中的预定的搜索范围204的图像数据与基准图像数据202的相关量，由此，搜索与参照图像数据的基准图像数据202对应的部分。相关量是根据例如基准图像数据与参照图像数据的差分绝对值和来判定的。每个像素的差分绝对值和是对每个像素求出亮度差的绝对值并对它们进行求和而得到的。例如，假设求出图2B所示的参照图像数据的区域206的参照图像数据与基准图像数据202的差分绝对值和，参照图像数据的区域206与基准图像数据202明显是不同的图像数据，差分绝对值和变大。与此相对，假设求出参照图像数据的区域208与基准图像数据202的差分绝对值和，差分绝对值和变小。这样，随着与基准图像数据202的相关量变大，差分绝对值和变小。在使用了亮度信息的跟踪处理中，从参照图像数据中搜索相关量最大的、即差分绝对值和最小的区域。在图2B的例中，为区域208。另外，在跟踪位置日志区中记录在区域208中一致度最高的位置作为跟踪位置。另外，在跟踪日志区中存储区域208的位置作为跟踪位置，将区域208的图像数据设定为基准图像数据。希望在下次跟踪处理时，将该跟踪位置作为跟踪处理的开始位置。由此，可以减少跟踪处理耗费的时间。

作为第2跟踪位置检测部的跟踪处理电路1306进行作为第2特征信息使用了图像数据的颜色信息的跟踪处理。简单地对使用了该颜色信息的跟踪处理进行说明。在使用了颜色信息的跟踪处理中，搜索跟踪颜色区域，即能够判定为是与在评价图像数据内设定的颜色同色的区域。如图3A所示，在（N-1）帧中，指定了被摄体的某个位置302的情况下，取得评价图像数据中的位置302的颜色信息。然后，将位置302作为跟踪处理的开始位置，搜索具有与位置302相同的颜色信息的区域。具体而言，以位置302为开始位置，以朝向周围的方式依次取得颜色信息，在能够判定为取得的颜色信息与位置302的颜色信息相同的情况下包含在区域中，在不能够判定为取得的颜色信息与位置302的颜色信息相同的情况下不包含在区域中。当这样对跟踪颜色区域进行搜索时，例如，在图3A所示的单色的被摄体的情况下，内接于被摄体的矩形区域304成为跟踪颜色区域。此外，例如将跟踪颜色区域304的重心位置（在图3A的例中，与位置302相同）作为在跟踪位置日志区中记录的跟踪位置。在下次的跟踪处理中，将该跟踪位置作为跟踪处理的开始位置。

对N帧的跟踪处理进行例示，在作为图3B所示的参照图像数据存储的N帧的图像数据的预定的搜索范围中，将（N-1）帧的跟踪位置302作为跟踪处理的开始位置，从跟踪位置302的周围依次搜索能够判定为与跟踪颜色区域304的颜色同色的区域，作为跟踪颜色区域。在图3B的例中，区域306为跟踪颜色区域。此外，在图3B的例中，将重心位置308作为跟踪位置，将该跟踪位置308在跟踪位置日志区中记录。此外，在跟踪颜色区域日志区中记录表示跟踪颜色区域306的范围的信息（例如，四角的位置）。

脸部检测电路1307对图像数据中的被摄体（人物）的脸部进行检测。此处，简单地对脸部检测处理进行说明。在脸部检测处理中，求出在各帧中得到的图像数据与图4A所示那样的脸部器官402、404、406的相关量。脸部器官402是与人物的鼻部周围的阴影的图案对应的图像数据，脸部器官404是与人物的眼部周围的阴影的图案对应的图像数据，脸部器官406是与人物的嘴部周围的阴影的图案对应的图像数据。如图4B所示那样当成为示出人物的脸部的预定的配置时，图像数据与脸部器官402、404、406的相关量最大。此时，设为在包含脸部器官402、404、406的区域408中存在脸部。另外，可以根据预先设定的检索脸部的大小，改变脸部器官402、404、406的大小。此处，在图4B中，将脸部区域设为矩形区域，但是也可以设为圆形区域。

作为参照信息取得部的一例的颜色信息取得电路1308取得在跟踪处理电路1305中得到的跟踪位置的颜色信息。该颜色信息在后述优先跟踪位置判定处理中使用。

存储器控制电路1309是CPU1301等进行用于访问RAM118、记录介质128、ROM134的控制的接口。

操作部132是由用户操作的各种操作构件。作为操作部132，例如包含释放按钮、动态图像按钮、模式拨盘、选择键、电源按钮等。释放按钮具有第一释放开关和第二释放开关。第一释放开关是在用户半按释放按钮时接通的开关。通过接通第一释放开关来进行AF处理等摄影准备动作。此外，第二释放开关是用户完全按下释放按钮时接通的开关。通过接通第二释放开关来进行静止图像摄影用的曝光动作。

动态图像按钮是用于指示动态图像摄影的开始或结束的操作构件。当用户按下动态图像按钮时，开始动态图像摄影处理。此外，当在动态图像摄影处理执行中按下动态图像按钮时，动态图像摄影处理结束。

模式拨盘是用于选择摄像装置的摄影设定的操作构件。在本实施方式中，例如能够选择静止图像摄影模式和动态图像摄影模式作为摄像装置的摄影设定。静止图像摄影模式是用于对静止图像进行摄影的摄影设定。此外，动态图像摄影模式是用于对动态图像进行摄影的摄影设定。

选择键是例如用于选择或决定菜单画面上的项目的操作构件。当用户对选择键进行操作时，选择或决定菜单画面上的项目。

电源按钮是用于接通或断开摄像装置的电源的操作构件。当用户对电源按钮进行操作时，摄像装置100起动而成为可以动作的状态。当在摄像装置起动的过程中操作电源按钮时，摄像装置100成为省电待机状态。

ROM134存储有用于CPU1301执行各种处理的程序代码。此外，ROM134还存储有各种控制参数，包括摄影光学系统102、光圈106以及摄像元件114等的动作所需的控制参数，以及在图像处理电路1304中的图像处理所需的控制参数等。此外，ROM134还存储有在脸部检测电路1307中的脸部检测中使用的脸部器官的数据或用于显示跟踪框的数据等。

接着，对本实施方式的摄像装置的动作进行说明。图5是示出摄像装置100的摄影动作的流程图。CPU1301从ROM134读入必要的程序代码，控制图5的动作。

在S100中，CPU1301判定当前的摄像装置100的摄影设定是否是静止图像摄影模式。如前所述，摄影设定是通过模式拨盘来设定的。

在S100中判定为摄影设定是静止图像摄影模式的情况下，在S102中，CPU1301开始实时取景动作。作为实时取景动作，在CPU1301控制快门驱动机构112而打开了快门110后，CPU1301控制摄像元件IF电路116而开始摄像元件114的摄像。然后，CPU1301将在RAM118的工作区中存储的图像数据作为摄像元件114摄像的结果输入到图像处理电路1304，实施实时取景显示用的图像处理。接下来，CPU1301将实时取景显示用的图像处理后的图像数据输入到显示元件驱动电路122，使显示元件120显示图像。通过反复执行这样的显示动作，对被摄体的图像进行动态图像显示。通过该动态图像显示，用户可以对被摄体进行观察。

在S104中，CPU1301判定第一释放开关是否被接通。在S104中判定为第一释放开关被接通之前，CPU1301继续实时取景动作。

此外，在S104中判定为第一释放开关被接通的情况下，在S106中，CPU1301进行释放AF处理。在释放AF中，通过扫描驱动，将对焦镜头驱动到对焦位置。在扫描驱动中，CPU1301控制焦点调整机构104，在预定的扫描范围内在一个方向上驱动对焦镜头，并对在AF控制电路1302中依次计算出的对焦评价值进行评价。然后，对焦评价值的评价后，CPU1301在对比度最大的镜头位置停止对焦镜头的驱动。在AF前的对焦镜头的位置与对焦位置的差较大的情况下进行这样的扫描驱动。

在S108中，CPU1301控制显示元件驱动电路122，使显示元件120显示跟踪框。跟踪框被显示在显示元件120的画面上的跟踪对象的位置。例如，可以将通过释放AF对焦的被摄体作为跟踪对象，并在该被摄体上显示跟踪框，也可以在由脸部检测电路1307检测到脸部的情况下，在该脸部上显示跟踪框。此外，也可以在通过触摸面板124指定了在显示元件120的画面上显示的被摄体的情况下，在该被摄体上显示跟踪框。由此，在本实施方式中，CPU1301、AF控制电路1302、脸部检测电路1307、触摸面板124等作为跟踪被摄体指定部的一例发挥作用。

在S110中，CPU1301进行跟踪处理。关于该跟踪处理在后面详细叙述。

在S112中，CPU1301进行AF处理以便对跟踪位置的被摄体对焦，并且进行AE处理，以便对跟踪位置的被摄体适当地曝光。

在跟踪处理后的AF处理中，通过扫描驱动或颤动（wobbing）驱动，将对焦镜头驱动到对焦位置。在颤动驱动中，CPU1301判定当驱动了对焦镜头时在AF控制电路1302中计算出的对焦评价值相对于在前次的镜头位置的对焦评价值是否有所增加。然后，在对焦评价值增加了的情况下，CPU1301向与前次相同的方向对对焦镜头进行微驱动，在对焦评价值减少了的情况下，CPU1301向与前次相反的方向对对焦镜头进行微驱动。高速地反复这样的动作，逐渐将对焦镜头驱动到对焦位置。

此外，在AE处理中，CPU1301计算使在AE控制电路1303中计算出的跟踪位置的被摄体的亮度成为预先决定的适当的量（适当曝光量）的、真正曝光时的光圈106的开口量（光圈值）和快门110的打开时间（快门速度值）。

在S114中，CPU1301判定第二释放开关是否被接通。在S114中判定为第二释放开关未被接通的情况下，CPU1301执行S110的跟踪处理以后的处理。由此，当是静止图像摄影模式时，在第二释放开关被接通之前，继续进行跟踪处理。

此外，在S114中判定为第二释放开关被接通的情况下，在S116中，CPU1301控制显示元件驱动电路122，使跟踪框不显示。

在S118中，CPU1301进行将静止图像数据记录到记录介质128中的处理。此时，CPU1301控制快门驱动机构112，关闭快门110。然后，CPU1301控制光圈驱动机构108，将光圈106缩窄到之前计算出的光圈值。接着，CPU1301控制快门驱动机构112，使快门110打开之前计算出的打开时间，进行摄像元件114的摄像（曝光）。然后，CPU1301在图像处理电路1304中对经由摄像元件114得到的静止图像数据进行处理。然后，CPU1301对在图像处理电路1304中处理后的静止图像数据赋予头，生成静止图像文件，并将生成的静止图像文件记录到记录介质128中。在S120中，CPU1301将表示作为S110的跟踪处理的结果而得到的跟踪位置的数据追加到之前记录到记录介质128中的静止图像文件中。然后，CPU1301结束图5所示的动作。

此外，在S100中判定为摄影设定是动态图像摄影模式的情况下，在S122中，CPU1301开始实时取景动作。

在S124中，CPU1301判定动态图像按钮是否被接通。在S124中判定为动态图像按钮被接通之前，CPU1301继续实时取景动作。

此外，在S124中判定为动态图像按钮被接通的情况下，在S126中，CPU1301控制显示元件驱动电路122，使显示元件120显示跟踪框。

在S128中，CPU1301进行跟踪处理。关于该跟踪处理，在后面详细叙述。

在S130中，CPU1301进行AF处理，以便对跟踪位置的被摄体对焦，并且进行AE处理，以便对跟踪位置的被摄体适当地曝光。在S130中的AF处理中，通过颤动驱动，将对焦镜头驱动到对焦位置。

在S132中，CPU1301进行将动态图像数据记录到记录介质128中的处理。此时，CPU1301控制光圈驱动机构108，将光圈106缩窄到在AE处理中计算出的光圈值。接着，CPU1301在与AE处理中计算出的快门速度值对应的时间内执行摄像元件114的摄像（曝光）。在曝光结束后，CPU1301生成动态图像文件并将其记录到记录介质128中。此外，CPU1301在图像处理电路1304中对经由摄像元件114得到的动态图像数据进行处理，将在图像处理电路1304中处理后的动态图像数据记录为动态图像文件。

在S134中，CPU1301将表示作为S128的跟踪处理的结果而得到的跟踪位置的数据，与之前记录到记录介质128中的动态图像文件同时记录。

在S136中，CPU1301判定动态图像按钮是否被关闭。在S136中判定为动态图像按钮未被关闭的情况下，CPU1301执行S128的跟踪处理以后的处理。由此，当是动态图像摄影模式时，在动态图像按钮被关闭之前，继续跟踪处理和动态图像数据的记录。

此外，在S136中判定为动态图像按钮被关闭的情况下，在S138中，CPU1301控制显示元件驱动电路122，使跟踪框不显示。然后，CPU1301结束图5所示的动作。

接着，参照图6对作为本实施方式的跟踪方法的跟踪处理进行说明。如前所述，在本实施方式中，并用多个跟踪处理对跟踪对象进行跟踪。

在S200中，CPU1301控制摄像元件IF电路116，执行摄像元件114的摄像。在S202中，CPU1301将通过摄像元件114的摄像而在摄像元件IF电路116中得到的图像数据读入RAM118。此处，将在初次的跟踪处理中得到的图像数据作为评价图像数据。因此，CPU1301将在初次的跟踪处理中得到的图像数据取入RAM118的评价图像区。此外，将在第2次以后的跟踪处理中得到的图像数据作为参照图像数据。因此，CPU1301将第2次以后的跟踪处理中得到的图像数据取入RAM118的参照图像区。

在S204中，CPU1301通过跟踪处理电路1305，进行作为第1跟踪处理的使用了亮度信息的跟踪处理。关于使用了亮度信息的跟踪处理，由于前面已经叙述过，因此省略说明。另外，在初次的跟踪处理中，由于是仅取得了评价图像数据的状态，因此省略S204以后的处理。在以后的说明中，对取得评价图像数据和参照图像数据双方的情况继续说明。在S206中，CPU1301将作为使用了亮度信息的跟踪处理的结果而得到的跟踪位置，作为第1候选跟踪位置存储到RAM118的跟踪日志区中。

在S208中，CPU1301通过跟踪处理电路1306进行作为第2跟踪处理的使用了颜色信息的跟踪处理。关于使用了颜色信息的跟踪处理，由于前面已经叙述过，因此省略说明。在S210中，CPU1301将作为使用了颜色信息的跟踪处理的结果而得到的跟踪位置，作为第2候选跟踪位置存储到RAM118的跟踪日志区中。在S212中，CPU1301将作为使用了颜色信息的跟踪处理的结果而得到的跟踪颜色区域，存储到RAM118的跟踪颜色区域日志区中。

在S214中，CPU1301进行优先跟踪位置判定处理。优先跟踪位置判定处理是用于判定采用使用了亮度信息的跟踪处理的结果和使用了颜色信息的跟踪处理的结果中的哪一个结果的处理。关于该优先跟踪位置判定处理，在后面详细叙述。

在S216中，CPU1301判定作为优先跟踪位置判断处理的结果所采用的跟踪位置的可靠性。在采用了使用亮度信息的跟踪处理的结果的情况下，例如根据参照图像数据的对比度来判断可靠性。具体而言，在参照图像数据中的跟踪对象的区域的邻接像素之间的差分和为预定值以下的情况下，判断为具有可靠性。此外，在采用了使用颜色信息的跟踪处理的结果的情况下，例如根据参照图像数据的彩度判断可靠性。具体而言，在参照图像数据的跟踪位置的彩度为预定值以上的情况下，判断为具有可靠性。可以适当地设定用于判定这些可靠性的阈值。

在S218中，CPU1301将参照图像数据的最终的跟踪位置记录到RAM118的跟踪日志区中。在下次的跟踪处理中，在使用了亮度信息的跟踪处理和使用了颜色信息的跟踪处理的双方中，将该最终的跟踪位置设为跟踪处理的开始位置。但是，在S216的可靠性判断中判定为不具有可靠性的情况下，也可以不记录跟踪位置。

在S220中，CPU1301控制显示元件驱动电路122，将跟踪框的显示位置更新为与在S218中存储的跟踪位置对应的位置。然后，CPU1301结束图6的跟踪处理。

接着，参照图7对优先跟踪位置判定处理进行说明。在优先跟踪位置判定处理中，对应第1候选跟踪位置与第2候选跟踪位置的位置关系，决定最终的跟踪位置。

在S300中，CPU1301通过颜色信息取得电路1308，取得作为参照信息的、参照图像数据的第1候选跟踪位置处的颜色信息。实际上，取得包含第1候选跟踪位置的微小区域的颜色信息。

在S302中，CPU1301判定第1候选跟踪位置的颜色信息与第2候选跟踪位置的颜色信息（通过使用了颜色信息的跟踪处理得到的跟踪颜色区域的颜色信息）是否一致。此处的一致是指，第1候选跟踪位置的颜色信息在以第2候选跟踪位置的颜色信息为基准预先设定的任意范围内。在S302中，在第1候选跟踪位置的颜色信息与第2候选跟踪位置的颜色信息一致的情况下，在S304中，CPU1301判定跟踪颜色区域是否包含第1候选跟踪位置。

在S304中判定为跟踪颜色区域未包含第1候选跟踪位置的情况下，在S306中，CPU1301采用第1候选跟踪位置作为最终的跟踪位置。然后，CPU1301结束图7的跟踪处理。

在S302中判定为第1候选跟踪位置的颜色信息与第2候选跟踪位置的颜色信息不一致的情况下，或者在S304中判定为跟踪颜色区域包含第1候选跟踪位置的情况下，在S308中，CPU1301采用第2候选跟踪位置作为最终的跟踪位置。然后，CPU1301结束图7的跟踪处理。

以下，对本实施方式的效果进行说明。

为了说明本实施方式的效果，首先，对仅使用了使用亮度信息的跟踪处理和使用颜色信息的跟踪处理中的任意一个的情况进行说明。在跟踪处理之前，在某一帧中，假设指定图8A所示的被摄体B的位置A1作为跟踪对象。此时，图8A所示的图像数据成为评价图像数据，其中的位置A1的图像数据成为基准图像数据。而且，在位置A1上显示跟踪框。

然后，假设在另外的帧中被摄体C向被摄体B靠近。被摄体C是与跟踪对象B同色的被摄体。假设将包含这样的多个同色被摄体的帧的图像数据作为参照图像数据，进行了使用亮度信息的跟踪处理。该情况下，从参照图像数据中搜索具有与图8A的位置A1对应的亮度信息的区域。由此，如图8B所示，通过跟踪处理得到的跟踪位置为被摄体B上的位置A1，与此对应，跟踪框的位置也被更新。

另一方面，假设将包含多个同色被摄体的帧的图像数据作为参照图像数据，进行了使用颜色信息的跟踪处理。该情况下，从参照图像数据中搜索具有与图8A的位置A1相同的色的区域。由此，如图8C所示，通过跟踪处理得到的跟踪位置可能不是在被摄体B上，而变为被摄体C上的位置A2。

如图8C中所示的那样，在对包含多个同色被摄体的场景进行使用了颜色信息的跟踪处理时，由于同色被摄体的影响，跟踪位置可能会发生变化。在使用了亮度信息的跟踪处理中，跟踪位置不会发生这样的向同色被摄体的变化。然而，例如对于具有与图8A的位置A1相同的图案的被摄体，则跟踪位置可能会发生变化。此外，在使用了亮度信息的跟踪处理中，无法对没有对比度的被摄体进行跟踪。与此相对，在使用了颜色信息的跟踪处理中，虽然没有对比度也可以对被摄体进行跟踪，但是无法对没有颜色（彩度）的被摄体进行跟踪。

这样，在仅使用了使用亮度信息的跟踪处理和使用颜色信息的跟踪处理的一方的的情况下，可能根据场景的不同而发生无法进行跟踪的情况，或者产生错误的跟踪结果。在本实施方式中，通过适当并用多个跟踪处理，可以对任意一个跟踪处理难以应付的场景使用其余的跟踪处理进行跟踪。

在前述优先跟踪位置判定中，考虑以下4种判定结果：（1）第1候选跟踪位置与第2候选跟踪位置是同色，且跟踪颜色区域包含第1候选跟踪位置；（2）第1候选跟踪位置与第2候选跟踪位置是不同色，且跟踪颜色区域不包含第1候选跟踪位置；（3）第1候选跟踪位置与第2候选跟踪位置是不同色，且跟踪颜色区域包含第1候选跟踪位置；（4）第1候选跟踪位置与第2候选跟踪位置是同色，其跟踪颜色区域不包含第1候选跟踪位置。

例如，图9A是示出与（1）的例子对应的场景的图。在该例中，假设第1候选跟踪位置是位置D1。此外，假设第2候选跟踪位置是位置E1，跟踪颜色区域是区域F1。在（1）的例子的情况下，如图9A所示，第1候选跟踪位置D1的颜色信息与第2候选跟踪位置E1的颜色信息一致，第1候选跟踪位置D1包含在跟踪颜色区域F1中。因此，优先跟踪判定的结果是，第2候选跟踪位置为最终的跟踪位置。由于第1候选跟踪位置与第2候选跟踪位置是同色，因此在使用了颜色信息的跟踪处理中，跟踪位置可能会因同色被摄体的影响而发生的变化。然而，由于第1候选跟踪位置与第2候选跟踪位置接近，因此，可以认为第1候选跟踪位置和第2候选跟踪位置都是同一被摄体上的位置。在这种情况下，使使用了颜色信息的跟踪处理的结果优先。在使用了颜色信息的跟踪处理中，即便是形状急剧变化（例如动作急剧变化）的跟踪对象，也可以进行跟踪。在图9A的情况下，在可靠性判断的结果是判断为没有彩度的情况下，能够使使用了亮度信息的跟踪处理的结果优先。

图9B是示出与（2）的例子对应的场景的图。在该例中，假设第1候选跟踪位置是位置D2。此外，假设第2候选跟踪位置是位置E1，跟踪颜色区域是区域F1。在（2）的例子的情况下，第1候选跟踪位置D1的颜色信息与第2候选跟踪位置E1的颜色信息不一致，并且，第1候选跟踪位置D1不包含在跟踪颜色区域F1中。因此，优先跟踪判定的结果是，第2候选跟踪位置为最终的跟踪位置。由于第1候选跟踪位置与第2候选跟踪位置不是同色，因此可以认为使用了颜色信息的跟踪处理的跟踪位置没有发生变化。因此，该情况下优选使用了颜色信息的跟踪处理的结果。在图9B的情况下，在可靠性判断的结果是判断为没有彩度的情况下，也希望不使使用了亮度信息的跟踪处理的结果优先。这是因为，第1候选跟踪位置与第2候选跟踪位置不接近，不能认为第1候选跟踪位置和第2候选跟踪位置的双方一定是相同的被摄体上的位置。

此外，图9C是示出与（3）的例子对应的场景的图。在该例中，假设第1候选跟踪位置是位置D3。此外，假设第2候选跟踪位置是位置E1，跟踪颜色区域是区域F1。在（3）的例子的情况下，第1候选跟踪位置D1的颜色信息与第2候选跟踪位置E1的颜色信息不一致，并且，第1候选跟踪位置D1包含在跟踪颜色区域F1中。因此，优先跟踪判定的结果是，第2候选跟踪位置为最终的跟踪位置。由于第1候选跟踪位置与第2候选跟踪位置不是同色，因此可以认为使用了颜色信息的跟踪处理的跟踪位置不会发生变化。因此，该情况下使使用了颜色信息的跟踪处理的结果优先。在图9C的情况下，在可靠性判断的结果是判断为没有彩度的情况下，也希望不使使用了亮度信息的跟踪处理的结果优先。这是因为，第1候选跟踪位置的颜色信息与第2候选跟踪位置的颜色信息不一致，不能认为第1候选跟踪位置和第2候选跟踪位置的双方一定是相同的被摄体上的位置。

此外，图9D是示出与（4）的例子对应的场景的图。在该例中，假设第1候选跟踪位置是位置D1。此外，假设第2候选跟踪位置是位置E2，跟踪颜色区域是区域F2。在（4）的例子的情况下，第1候选跟踪位置D1的颜色信息与第2候选跟踪位置E1的颜色信息一致，并且，第1候选跟踪位置D1不包含在跟踪颜色区域F2中。因此，优先跟踪判定的结果是，第1候选跟踪位置为最终的跟踪位置。在第1候选跟踪位置与第2候选跟踪位置是同色的情况下，在使用了颜色信息的跟踪处理中，跟踪位置可能会因同色被摄体的影响而发生变化。而且，由于第1候选跟踪位置与第2候选跟踪位置的距离较远（第1候选跟踪位置未包含在以内接于跟踪对象的被摄体的方式得到的跟踪颜色区域中），因此可以认为在使用了颜色信息的跟踪处理中跟踪位置发生了变化。因此，该情况下优选使用了亮度信息的跟踪处理的结果。在图9D的情况下，在可靠性判断的结果是判断为没有对比度的情况下，也希望不使使用了颜色信息的跟踪处理的结果优先。

如以上说明的那样，根据本实施方式，根据场景适当地分开使用使用了亮度信息的跟踪处理和使用了颜色信息的跟踪处理。在该实施方式中，在使用了亮度信息的跟踪处理难以应付的场景中，优选采用使用了颜色信息的跟踪结果，在使用了颜色信息的跟踪处理难以应付的场景中，优选采用使用了亮度信息的跟踪结果。由此，可以减少难以应付的场景，提高跟踪性能。

此外，在本实施方式中，进行第1候选跟踪位置与第2候选跟踪位置是否是同色的判定、和第1候选跟踪位置是否包含在跟踪颜色区域中的判定，由此，在使用了颜色信息的跟踪处理中，判定是否受到同色被摄体的影响，以及在使用了亮度信息的跟踪处理和使用了颜色信息的跟踪处理中是否跟踪了相同的跟踪对象。由此，与简单地在一方的跟踪处理失败的情况下使用另一方的跟踪处理的结果相比，可以进行高精度的跟踪。

此处，在前述实施方式中，为了判定在使用了亮度信息的跟踪处理和使用了颜色信息的跟踪处理中是否跟踪了相同的跟踪对象，判定第1候选跟踪位置是否包含在跟踪颜色区域中。如果第1候选跟踪位置和第2候选跟踪位置是同色，且第1候选跟踪位置与第2候选跟踪位置的距离接近，则可以认为在使用了亮度信息的跟踪处理和使用了颜色信息的跟踪处理中跟踪了相同的跟踪对象。因此，代替S304的判定，例如，如图10所示，在第1候选跟踪位置G的周围检测具有与第1候选跟踪位置G相同的颜色信息的跟踪颜色区域H，判定第2候选跟踪位置是否包含在该跟踪颜色区域H中，由此，也能够判定在使用了亮度信息的跟踪处理和使用了颜色信息的跟踪处理中是否跟踪了相同的跟踪对象。

此外，也可以根据由第1候选跟踪位置的颜色信息得到的跟踪颜色区域与由第2候选跟踪位置的颜色信息得到的跟踪颜色区域的包含关系，判定在使用了亮度信息的跟踪处理与使用了颜色信息的跟踪处理中是否跟踪了相同的跟踪对象。该情况下，在任意一个跟踪颜色区域包含另一方的跟踪颜色区域的情况下，判定为在使用了亮度信息的跟踪处理与使用了颜色信息的跟踪处理中跟踪了相同的跟踪对象。

此外，在前述例中，利用亮度信息和颜色信息进行了跟踪处理，但是，还可以利用脸部检测进行跟踪处理。该情况下，只要能进行脸部检测，就采用脸部检测的结果，在不能进行脸部检测的情况下，并用颜色信息和亮度信息进行跟踪处理。也可组合基于特征量检测的跟踪处理等其他的跟踪处理。

根据以上实施方式对本发明进行了说明，但是本发明不限于上述实施方式，当然也可以在本发明的宗旨的范围内进行各种变形或应用。此外，在前述的动作的说明中，为了方便使用“首先”、“接着”等对动作进行了说明，但是，并不表示必须按照该顺序实施动作。

此外，在上述实施方式中包含各种阶段的发明，通过对所公开的多个结构要件进行适当的组合可以提取各种发明。例如，从实施方式中所示的全部构成要件中删除几个结构要件，也能够解决上述那样的课题，在能够得到上述那样的效果的情况下，删除了该结构要件的结构也可以作为发明而被提取。

标号说明

100…摄像装置，102…摄影光学系统，104…焦点调整机构，106…光圈，108…光圈驱动机构，110…快门，112…快门驱动机构，114…摄像元件，116…摄像元件接口（IF）电路，118…RAM，120…显示元件，122…显示元件驱动电路，124…触摸面板，126…触摸面板驱动电路，128…记录介质，130…系统控制器，132…操作部，134…ROM，1301…CPU，1302…AF控制电路，1303…AE控制电路，1304…图像处理电路，1305、1306…跟踪处理电路，1307…脸部检测电路，1308…颜色信息取得电路，1309…存储器控制电路

权利要求书(按照条约第19条的修改)

1.（修改后）一种跟踪装置，其特征在于，所述跟踪装置具有：

跟踪被摄体指定部，其指定在所输入的图像数据中包含的作为跟踪对象的被摄体；

第1跟踪位置检测部，其从所述图像数据中检测第1特征信息，根据该第1特征信息，将所述图像数据中的所述作为跟踪对象的被摄体的位置作为第1候选跟踪位置；

第2跟踪位置检测部，其从所述图像数据中检测与所述第1特征信息不同的特征信息作为第2特征信息，根据该第2特征信息，检测所述图像数据中的所述作为跟踪对象的被摄体的位置作为第2候选跟踪位置；

参照信息取得部，其取得在所述第1候选跟踪位置中存在的、与所述第2特征信息同种类的特征信息，作为参照信息；以及

控制部，其根据所述第2特征信息与所述参照信息的特征是否一致的判断、和所述第1候选跟踪位置与所述第2候选跟踪位置的距离是否近的判断，决定真正的跟踪位置。

2.（修改后）根据权利要求1所述的跟踪装置，其特征在于，

在判断为所述第1候选跟踪位置与所述第2候选跟踪位置的距离远的情况下，所述控制部将所述第1候选跟踪位置作为真正的跟踪位置。

3.（修改后）根据权利要求2所述的跟踪装置，其特征在于，

在判定为所述第1候选跟踪位置与所述第2候选跟踪位置的距离近的情况下，所述控制部将所述第2候选跟踪位置作为所述真正的跟踪位置。

4.根据权利要求3所述的跟踪装置，其特征在于，

所述第2跟踪位置检测部在所述图像数据中取得具有所述第2特征信息的区域，基于该区域检测所述第2候选跟踪位置，

在取得的所述具有第2特征信息的区域中包含所述第1候选跟踪位置的情况下，所述控制部判断为是所述第1候选跟踪位置与所述第2候选跟踪位置的距离近的情况，在取得的所述具有第2特征信息的区域中不包含所述第1候选跟踪位置的情况下，所述控制部判断为是所述第1候选跟踪位置与所述第2候选跟踪位置的距离远的情况。

5.根据权利要求1所述的跟踪装置，其特征在于，

当下次输入所述图像数据时，所述第1跟踪位置检测部和所述第2跟踪位置检测部基于所述真正的跟踪位置，检测所述第1候选跟踪位置和所述第2候选跟踪位置。

6.根据权利要求1所述的跟踪装置，其特征在于，

所述第2特征信息和所述参照信息是颜色信息。

7.根据权利要求1所述的跟踪装置，其特征在于，

所述第1特征信息是亮度信息。

8.（修改后）一种跟踪方法，其特征在于，所述跟踪方法包含以下步骤：

跟踪被摄体指定部指定在所输入的图像数据中包含的作为跟踪对象的被摄体；

第1跟踪位置检测部从所述图像数据中检测第1特征信息，根据该第1特征信息，检测所述图像数据中的所述作为跟踪对象的被摄体的位置作为第1候选跟踪位置；

第2跟踪位置检测部从所述图像数据中检测与所述第1特征信息不同的特征信息作为第2特征信息，根据该第2特征信息，检测所述图像数据中的所述作为跟踪对象的被摄体的位置作为第2候选跟踪位置；

参照信息取得部取得在所述第1候选跟踪位置中存在的、与所述第2特征信息同种类的特征信息，作为参照信息；以及

控制部根据所述第2特征信息与所述参照信息的特征是否一致的判断、和所述第1候选跟踪位置与所述第2候选跟踪位置的距离是否近的判断，决定真正的跟踪位置。

Claims

1.一种跟踪装置，其特征在于，所述跟踪装置具有：

第1跟踪位置检测部，其从所述图像数据中检测第1特征信息，根据该第1特征信息，将所述图像数据中的作为所述跟踪对象的被摄体的位置作为第1候选跟踪位置；

第2跟踪位置检测部，其从所述图像数据中检测与所述第1特征信息不同的特征信息作为第2特征信息，根据该第2特征信息，检测所述图像数据中的作为所述跟踪对象的被摄体的位置作为第2候选跟踪位置；

控制部，其根据所述第2特征信息与所述参照信息的特征是否一致的判断、和在所述第2候选跟踪位置中是否包含所述参照信息的判断，决定真正的跟踪位置。

2.根据权利要求1所述的跟踪装置，其特征在于，

在判断为在所述第2候选跟踪位置中未包含所述参照信息的情况下，所述控制部将所述第2候选跟踪位置作为真正的跟踪位置。

3.根据权利要求2所述的跟踪装置，其特征在于，

在判定为在所述第2候选跟踪位置中包含所述参照信息的情况下，且在所述第1候选跟踪位置与所述第2候选跟踪位置的距离近的情况下，所述控制部将所述第2候选跟踪位置作为所述真正的跟踪位置，在所述第1候选跟踪位置与所述第2候选跟踪位置的距离远的情况下，所述控制部将所述第1候选跟踪位置作为所述真正的跟踪位置。

4.根据权利要求3所述的跟踪装置，其特征在于，

5.根据权利要求1所述的跟踪装置，其特征在于，

6.根据权利要求1所述的跟踪装置，其特征在于，

所述第2特征信息和所述参照信息是颜色信息。

7.根据权利要求1所述的跟踪装置，其特征在于，

所述第1特征信息是亮度信息。

8.一种跟踪方法，其特征在于，所述跟踪方法包含以下步骤：

第1跟踪位置检测部从所述图像数据中检测第1特征信息，根据该第1特征信息，检测所述图像数据中的作为所述跟踪对象的被摄体的位置作为第1候选跟踪位置；

第2跟踪位置检测部从所述图像数据中检测与所述第1特征信息不同的特征信息作为第2特征信息，根据该第2特征信息，检测所述图像数据中的作为所述跟踪对象的被摄体的位置作为第2候选跟踪位置；

控制部根据所述第2特征信息与所述参照信息的特征是否一致的判断、和在所述第2候选跟踪位置中是否包含所述参照信息的判断，决定真正的跟踪位置。