CN104038689A - 图像处理装置和图像处理方法 - Google Patents

Abstract

提供图像处理装置和图像处理方法。图像处理装置包含焦点调节部、控制部、追踪处理部。焦点调节部一边使对焦镜头移动一边执行利用摄像元件进行的多次拍摄动作，进行在由摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中检测取得对比度成为峰值的图像数据的对焦镜头的位置。焦点调节部使对焦镜头移动到根据成为峰值的位置计算出的对焦位置的扫描动作。控制部使摄像元件执行连续进行拍摄用的拍摄动作的连拍动作。追踪处理部根据由摄像元件取得的图像数据对被摄体进行追踪。在连拍动作的执行过程中通过焦点调节部执行扫描动作，判别对比度成为峰值的图像数据，追踪处理部根据该对比度成为峰值的图像数据对被摄体进行追踪。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及进行用于追踪被摄体的追踪处理的图像处理装置和图像处理方法。

背景技术

以往，公知有如下技术：在拍摄运动物体时或拍摄动态图像时，进行自动对焦控制（AF）和自动曝光控制（AE）以追随特定的被摄体。使用追踪处理，以追随这样的特定的被摄体（例如，参照日本专利第2605004号公报）。

发明内容

近年来，在数字相机等拍摄装置中，能够进行连拍动作的拍摄装置正在增加。这里，考虑在连拍动作中使用追踪处理进行AF。如果使用在连拍动作中的正式曝光的时刻得到的图像数据进行追踪处理，则前1帧的追踪处理的结果被反映到AF。因此，在对移动的被摄体进行拍摄的情况下，AF相对于被摄体的移动可能延迟。此外，如果使用正式曝光与正式曝光之间的图像数据进行追踪处理，则能够减小AF相对于被摄体的延迟。然而，该情况下，需要在正式曝光与正式曝光之间使对焦镜头高速地进行扫描动作，因此，可能会使用未对焦的图像数据进行追踪处理。如果使用未对焦的图像数据进行追踪处理，则难以准确地计算追踪位置。

本发明是鉴于所述情况而完成的，其目的在于提供能够提高连拍动作中的追踪处理的性能的图像处理装置和图像处理方法。

为了达成所述的目的，本发明的第1方式的图像处理装置根据经由摄影光学系统由摄像元件取得的图像数据而对被摄体进行追踪，该图像处理装置具有：焦点调节部，其一边使所述摄影光学系统中包含的对焦镜头移动一边执行利用所述摄像元件进行的多次拍摄动作，进行扫描动作，使所述对焦镜头移动至根据成为峰值的位置而计算出的对焦位置，其中，在所述扫描动作中，在由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中检测取得对比度成为所述峰值的图像数据的所述对焦镜头的位置；控制部，其使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；以及追踪处理部，其根据由所述摄像元件取得的图像数据对被摄体进行追踪，在所述连拍动作的执行过程中通过所述焦点调节部执行所述扫描动作，判别对比度成为峰值的图像数据，所述追踪处理部根据该对比度成为峰值的图像数据对被摄体进行追踪。

为了达成所述的目的，本发明的第2方式的图像处理装置根据经由摄影光学系统由摄像元件取得的图像数据而对被摄体进行追踪，该图像处理装置具有：焦点调节部，其一边使摄影光学系统中包含的对焦镜头移动一边执行利用摄像元件进行的多次拍摄动作，进行扫描动作，使所述对焦镜头移动至根据成为峰值的位置而计算出的对焦位置，其中，在所述扫描动作中，在由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中检测取得对比度成为所述峰值的图像数据的所述对焦镜头的位置；控制部，其使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；以及追踪处理部，其根据由所述摄像元件取得的图像数据对被摄体进行追踪，在所述连拍动作的执行过程中通过所述焦点调节部执行扫描动作，所述追踪处理部根据在所述扫描动作过程中取得的图像数据中的对比度为规定值以上的图像数据对被摄体进行追踪。

为了达成所述的目的，本发明的第3方式的图像处理装置的图像处理方法根据经由摄影光学系统由摄像元件取得的图像数据而对被摄体进行追踪，该图像处理方法具有以下步骤：使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；在所述连拍动作期间内，一边使所述摄影光学系统中包含的对焦镜头移动，一边执行利用所述摄像元件进行的多次拍摄动作；根据由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中的对比度成为峰值的图像数据，对被摄体进行追踪。

为了达成所述的目的，本发明的第4方式的图像处理装置的图像处理方法根据经由摄影光学系统由摄像元件取得的图像数据对被摄体进行追踪，该图像处理方法具有以下步骤：使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；在所述连拍动作期间内，一边使所述摄影光学系统中包含的对焦镜头移动，一边执行利用所述摄像元件进行的多次拍摄动作；根据由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中的对比度为规定值以上的图像数据，对被摄体进行追踪。

附图说明

图1是示出具有本发明一个实施方式的图像处理装置的拍摄装置的一例的结构的图。

图2A和图2B是用于说明使用亮度信息的追踪处理的图。

图3A和图3B是用于说明颜色信息的追踪处理的图。

图4A和图4B是用于说明使用脸检测处理的追踪处理的图。

图5是示出拍摄装置的拍摄动作的流程图。

图6是示出AF处理的流程图。

图7是示出使用亮度信息的追踪处理的流程图。

图8是示出使用颜色信息的追踪处理的流程图。

图9是示出相似颜色区域的搜索处理的流程图。

图10是示出使用脸检测的追踪处理的流程图。

图11是示出脸检测位置的搜索处理的流程图。

图12是以时间序列示出连拍模式中的处理的图。

图13A是示出在图12的A点的时刻得到的图像数据的例子的图。

图13B是示出在图12的B点的时刻得到的图像数据的例子的图。

图13C是示出在图12的C点的时刻得到的图像数据的例子的图。

图14是示出本发明一个实施方式的追踪处理中使用的图像数据的取得时刻的图。

图15A和图15B是示出峰值图像数据的例子的图。

图16是示出在追踪处理中使用正式曝光图像数据和峰值图像数据的变形例的图。

图17A是示出正式曝光图像数据的例子的图。

图17B是示出峰值图像数据的例子的图。

图18A和图18B是用于说明正式曝光图像数据和峰值图像数据之间存在大小差异的变形例的追踪处理的图。

图19A和图19B是用于说明正式曝光图像数据和峰值图像数据之间存在结构差异的变形例的追踪处理的图。

具体实施方式

下面参照附图来说明本发明的实施方式。

图1是示出作为具有本发明一个实施方式的图像处理装置的拍摄装置的一例的结构的图。图1所示的拍摄装置100具有：摄影光学系统102、焦点调整机构104、光圈106、光圈驱动机构108、快门110、快门驱动机构112、摄像元件114、摄像元件接口（IF）电路116、RAM118、显示元件120、显示元件驱动电路122、触摸面板124、触摸面板驱动电路126、记录介质128、系统控制器130、操作部132、ROM134。

摄影光学系统102是用于将来自未图示的被摄体的摄影光束F引导至摄像元件114的受光面上的光学系统。摄影光学系统102具有对焦镜头等多个镜头。焦点调整机构104具有电动机及其驱动电路等。焦点调整机构104根据系统控制器130内的CPU1301的控制，在其光轴方向（图示点划线方向）上对摄影光学系统102内的对焦镜头进行驱动。

光圈106构成为可自由开闭，对经由摄影光学系统102入射到摄像元件114的摄影光束F的光量进行调整。光圈驱动机构108具有用于驱动光圈106的驱动机构。光圈驱动机构108根据系统控制器130内的CPU1301的控制来驱动光圈106。

快门110构成为使摄像元件114的受光面成为遮光状态或曝光状态。通过快门110调整摄像元件114的曝光时间。快门驱动机构112具有用于驱动快门110的驱动机构，根据系统控制器130内的CPU1301的控制来驱动快门110。

摄像元件114具有使经由摄影光学系统102而会聚的来自被摄体的摄影光束F成像的受光面。摄像元件114的受光面构成为将多个像素配置成二维状。此外，在受光面的光入射侧设有滤色器。这样的摄像元件114将与在受光面成像的摄影光束F对应的像（被摄体像）转换成与其光量对应的电信号（以下称作图像信号）。

与摄影光学系统102和摄像元件114一起作为摄像部发挥作用的摄像元件IF电路116根据系统控制器130内的CPU1301的控制驱动摄像元件114。此外，摄像元件IF电路116根据系统控制器130内的CPU1301的控制读出由摄像元件114得到的图像信号，对读出的图像信号实施CDS（相关双采样）处理和AGC（自动增益控制）处理等模拟处理。并且，摄像元件IF电路116将模拟处理后的图像信号转换成数字信号（以下称作图像数据）。

RAM118例如是SDRAM，具有工作区域、追踪图像区域、追踪色日志区域、追踪数据日志区域作为存储区域。

工作区域是设于RAM118中的存储区域，用于暂时存储在摄像元件IF电路116中得到的图像数据等在拍摄装置100的各部中产生的数据。

追踪图像区域是设于RAM118中的存储区域，用于暂时存储追踪处理所需要的图像数据。追踪处理所需要的图像数据存在评价图像数据和参照图像数据。

追踪色日志区域是设于RAM118中的存储区域，用于暂时存储追踪色日志。追踪色日志是记录了作为追踪处理的结果而得到的追踪位置的颜色信息的日志。

追踪数据日志区域是设于RAM118中的存储区域，用于暂时存储追踪数据日志。追踪数据日志是记录了作为追踪处理的结果而得到的追踪位置的位置数据的日志。

显示元件120例如是液晶显示器（LCD），显示实时取景用的图像和记录在记录介质128中的图像等各种图像。显示元件驱动电路122根据从系统控制器130的CPU1301输入的图像数据来驱动显示元件120，使显示元件120显示图像。

触摸面板124一体地形成在显示元件120的显示画面上，检测用户的手指等在显示画面上的接触位置等。触摸面板驱动电路126驱动触摸面板124，并且将来自触摸面板124的接触检测信号输出到系统控制器130的CPU1301。CPU1301根据接触检测信号检测用户在显示画面上的接触操作，执行与该接触操作对应的处理。

记录介质128例如是存储卡，记录通过拍摄动作得到的图像文件。图像文件是对图像数据赋予规定的文件头而构成的文件。在文件头中，记录表示摄影条件的数据和表示追踪位置的数据等作为标签数据。

系统控制器130作为用于控制拍摄装置100的动作的控制电路，具有：CPU1301、AF控制电路1302、AE控制电路1303、图像处理电路1304、追踪处理电路1305、1306、脸检测电路1307、焦点检测信息取得电路1308、存储器控制电路1309。

CPU1301是控制焦点调整机构104、光圈驱动机构108、快门驱动机构112、显示元件驱动电路122、触摸面板驱动电路126等系统控制器130的外部的各模块、以及系统控制器130的内部的各控制电路的动作的控制部。

作为焦点调节部的一例而发挥作用的AF控制电路1302控制对比度AF处理。具体而言，AF控制电路1302根据由焦点检测信息取得电路1308取得的AF评价值来评价图像数据的对比度，同时对焦点调整机构104进行控制使对焦镜头成为对焦状态。

AE控制电路1303控制AE处理。具体而言，AE控制电路1303使用由摄像元件IF电路116得到的图像数据计算被摄体亮度。CPU1301根据该被摄体亮度计算曝光时的光圈106的开口量（光圈值）、快门110的开放时间（快门速度值）、摄像元件感光度和ISO感光度等。

图像处理电路1304对图像数据进行各种图像处理。该图像处理包含颜色校正处理、伽马（γ）校正处理、压缩处理等。此外，图像处理电路1304还对被压缩的图像数据实施解压缩处理。

追踪处理电路1305进行使用图像数据的亮度信息的追踪处理。这里，简单地对使用亮度信息的追踪处理进行说明。在使用亮度信息的追踪处理中，例如在图2A所示的第（N-1）帧中设定了追踪对象的情况下，将包含该第（N-1）帧中的追踪对象的规定区域202的图像数据作为评价图像数据存储在RAM118的追踪图像区域中。在此后的追踪处理中，搜索参照图像数据中的与评价图像数据202对应的部分。

举例对第N帧的追踪处理进行说明，首先，将第N帧的图像数据作为参照图像数据存储在RAM118的追踪图像区域中。求出参照图像数据中的规定的追踪区域204的图像数据与评价图像数据202之间的图像相关度，由此，搜索参照图像数据的与评价图像数据202对应的部分。图像相关度是例如根据评价图像数据与参照图像数据的差值绝对值和（按照每个像素求出亮度差的绝对值并对其进行累加后得到的结果）来判定的。例如，当设为求出了图2B所示的参照图像数据的区域206的参照图像数据与评价图像数据202的差值绝对值和时，参照图像数据的区域206与评价图像数据202明显是不同的图像数据，差值绝对值和较大。与此相对，当设为求出了参照图像数据的区域208与评价图像数据202的差值绝对值和时，差值绝对值和较小。这样，随着与评价图像数据202的图像相关度变大，差值绝对值和变小。在使用亮度信息的追踪处理中，从参照图像数据中搜索图像相关度最大的、即差值绝对值和最小的区域。在图2B的例中，成为区域208。另外，在追踪数据日志区域中，将区域208中一致度最高的位置记录为追踪位置。在存在多个这样的位置的情况下，例如将靠近区域208的中心的位置作为追踪位置。在下次的追踪处理时，优选将该追踪位置作为追踪处理的开始位置。由此，能够减小追踪处理所需的时间。

追踪处理电路1306进行使用图像数据的颜色信息的追踪处理。这里，简单地对使用颜色信息的追踪处理进行说明。在使用颜色信息的追踪处理中，搜索能够判定为颜色与在评价图像数据内所设定的颜色相同的区域即相似颜色区域。如图3A所示，在第（N-1）帧中，指定了被摄体的某个位置302的情况下，将包含该位置302的图像数据作为评价图像数据，取得该评价图像数据的位置302的颜色信息。然后，将具有与从评价图像数据取得的颜色信息最相似的颜色信息的位置302设为追踪处理的开始位置，在参照图像数据中，搜索具有与位置302相同的颜色信息的区域。具体而言，将位置302作为开始位置朝向周围依次取得颜色信息，在能够判定为所取得的颜色信息与位置302的颜色信息相同的情况下，使其包含在区域中，在不能判定为所取得的颜色信息与位置302的颜色信息相同的情况下，不将其包含在区域中。在这样搜索到相似颜色区域时，例如，在如图3A所示的单色的被摄体的情况下，内接于被摄体的矩形区域304成为相似颜色区域。此外，设在追踪数据日志区域中记录的追踪位置为例如相似颜色区域304的重心位置（图3A的例中与位置302相同）。在下次的追踪处理中，将该追踪位置设为追踪处理的开始位置。

举例对第N帧的追踪处理进行说明，在图3B所示的作为参照图像数据存储的第N帧的图像数据的规定的追踪区域中，将第（N-1）帧的追踪位置302设为追踪处理的开始位置，从追踪位置302的周围开始依次搜索能够判定为颜色与相似颜色区域304的颜色相同的区域作为相似颜色区域。在图3B的例中，区域306成为相似颜色区域。然后，将所求出的作为相似颜色区域的区域306的重心位置308作为追踪位置存储在追踪数据日志区域中。

脸检测电路1307检测图像数据中的被摄体（人物）的脸。这里，简单地对使用脸检测处理的追踪处理进行说明。在脸检测处理中，求出在各帧中得到的图像数据与图4A所示的脸部器官402、404、406之间的图像相关度。脸部器官402是与人物的鼻部周围的阴影的图案对应的图像数据，脸部器官404是与人物的眼部周围的阴影的图案对应的图像数据，脸部器官406是与人物的嘴部周围的阴影的图案对应的图像数据。在成为如图4B所示的表示人物的脸的规定的配置时，图像数据与脸部器官402、404、406之间的图像相关度成为最大。此时，设为在包含脸部器官402、404、406的区域408中存在脸。脸部器官402、404、406也可以根据预先设定的检索脸的大小而改变大小。在图4B中，将脸区域设为矩形区域，但也可以设为圆形区域。

焦点检测信息取得电路1308提取经由摄像元件114输入的图像数据的高频成分，并对该提取出的高频成分进行累加，由此取得AF评价值。

存储器控制电路1309是用于进行CPU1301等存取RAM118、记录介质128、ROM134的控制的接口。

操作部132是由用户操作的各种操作部件。作为操作部132，例如包含释放按钮、模式按钮、选择键、电源按钮等。

释放按钮具有第1释放开关和第2释放开关。第1释放开关是当用户半按下释放按钮时接通的开关。通过接通第1释放开关，进行AF处理等拍摄准备动作。此外，第2释放开关是当用户全按下释放按钮时接通的开关。通过接通第2释放开关，进行静态图像拍摄用的曝光动作。

模式按钮是用于选择拍摄装置的拍摄设定的操作部件。在本实施方式中，作为拍摄装置的拍摄设定，例如能够选择通常拍摄模式和连拍模式。通常拍摄模式是响应于释放按钮的1次全按下而进行1次静态图像拍摄的拍摄设定。此外，连拍模式是响应于释放按钮的1次全按下而进行多次静态图像拍摄的拍摄设定。

选择键是进行用于例如菜单画面上的项目的选择或确定的操作部件。当由用户操作了选择键时，进行菜单画面上的项目的选择或确定。

电源按钮是用于接通或断开拍摄装置的电源的操作部件。当由用户操作了电源按钮时，拍摄装置100起动而成为能够进行动作的状态。在拍摄装置起动的过程中操作了电源按钮时，拍摄装置100成为省电待机状态。

ROM134存储有用于由CPU1301执行各种处理的程序代码。此外，ROM134存储有摄影光学系统102、光圈106和摄像元件114等的动作所需要的控制参数，以及图像处理电路1304中的图像处理所需要的控制参数等各种控制参数。并且，ROM134还存储有脸检测电路1307中的脸检测用的脸部器官的数据和用于显示追踪框的数据等。

接着，对本实施方式的拍摄装置的动作进行说明。图5是示出拍摄装置100的拍摄动作的流程图。CPU1301从ROM134读入所需要的程序代码，控制图5的动作。

在S100中，CPU1301开始实时取景动作。作为实时取景动作，在CPU1301控制快门驱动机构112开放快门110后，CPU1301控制摄像元件IF电路116开始利用摄像元件114进行的拍摄。然后，CPU1301将作为摄像元件114的拍摄结果而存储在RAM118的工作区域中的图像数据输入图像处理电路1304，实施实时取景显示用的图像处理。接着，CPU1301将实施了实时取景显示用的图像处理的图像数据输入到显示元件驱动电路122，使显示元件120显示图像。通过反复执行这样的显示动作，对被摄体的图像进行动态图像显示。通过该动态图像显示，用户能够观察被摄体。

在S102中，CPU1301判定第1释放开关是否被接通。在S102中判定为第1释放开关被接通之前，CPU1301继续执行实时取景动作。

此外，在S102中判定为第1释放开关被接通的情况下，在S104中，CPU1301使AF控制电路1302执行释放AF处理。在释放AF中，通过扫描动作将对焦镜头驱动至对焦位置。在扫描动作中，AF控制电路1302控制焦点调整机构104，在规定的扫描范围内朝一个方向驱动对焦镜头，同时对由焦点检测信息取得电路1308依次计算出的AF评价值进行评价。然后，AF控制电路1302在AF评价值的评价的结果为对比度成为最大的镜头位置处，停止对焦镜头的驱动。

在S106中，CPU1301控制显示元件驱动电路122，使显示元件120显示追踪框。这里，追踪框被显示在显示元件120的画面上的追踪对象的位置上。例如，也可以将通过释放AF进行了对焦的被摄体作为追踪对象、并在该被摄体上显示追踪框，在通过脸检测电路1307检测到脸的情况下，也可以在该脸上显示追踪框。此外，通过触摸面板124指定了在显示元件120的画面上显示的被摄体的情况下，也可以在该被摄体上显示追踪框。

在S108中，CPU1301进行追踪处理。预先设定是进行使用亮度信息的追踪处理，还是进行使用颜色信息的追踪处理、或者是进行使用脸检测的追踪处理。也可以并用多个追踪处理。后面详细说明各个追踪处理。

在S110中，CPU1301使AF控制电路1302执行AF处理，以便对追踪位置的被摄体对焦。后面详细说明AF处理。

在S112中，CPU1301判定第2释放开关是否被接通。在S112中判定为第2释放开关未被接通的情况下，CPU1301执行S108的追踪处理以后的处理。在图5的例中，在第2释放开关被接通之前，继续执行追踪处理。

此外，在S112中判定为第2释放开关被接通的情况下，在S114中，CPU1301进行将静态图像数据记录在记录介质128中的处理。此时，作为AE处理，CPU1301计算用于使由AE控制电路1303计算出的追踪位置的被摄体的亮度成为预先决定的适当的量（适当曝光量）所需要的正式曝光时的光圈106的开口量（光圈值）、快门110的开放时间（快门速度值）。然后，CPU1301控制快门驱动机构112，关闭快门110。然后，CPU1301控制光圈驱动机构108，将光圈106缩小至之前计算出的光圈值。接着，CPU1301控制快门驱动机构112，将快门110开放之前计算出的开放时间，同时进行利用摄像元件114的摄像（曝光）。然后，CPU1301在图像处理电路1304中对经由摄像元件114得到的静态图像数据进行处理。然后，CPU1301对图像处理电路1304中处理后的静态图像数据赋予文件头，生成静态图像文件，将生成的静态图像文件记录在记录介质128中。

在S116中，CPU1301将表示作为S108的追踪处理的结果而得到的追踪位置的数据补写到之前记录在记录介质128中的静态图像文件中。

在S118中，CPU1301判定拍摄设定是否是连拍模式。如上所述，拍摄设定例如通过模式按钮的操作来设定。

在S118中判定为拍摄设定是连拍模式的情况下，在S120中，CPU1301使AF控制电路1302再次执行AF处理。后面详细说明该AF处理。

在S122中，CPU1301判定S120的AF处理的结果是否确定了峰值图像数据。峰值图像数据是指，在AF处理时所计算的AF评价值成为最大（峰值）的图像数据。后面进行详细说明。在S122中判定为未确定峰值图像数据的情况下，CPU1301向AF控制电路1302指示再次执行S120的AF处理。

在S122中判定为确定了峰值图像数据的情况下，在S124中，CPU1301进行追踪处理。后面详细说明该追踪处理。

此外，在S126中，CPU1301进行将静态图像数据记录在记录介质128中的处理。该处理与S114中示出的处理基本相同。但是，在连拍模式的情况下，在之前记录的静态图像文件中依次记录新得到的静态图像数据。

在S128中，CPU1301将表示作为S124的追踪处理的结果而得到的追踪位置的数据补写到在S126中记录在记录介质128中的静态图像文件中。

在S130中，CPU1301判定第2释放开关是否被断开。在S130中判定为第2释放开关未被断开的情况下，CPU1301执行S120以后的处理。在图5的例中，到第2释放开关被断开前，继续进行连拍动作。

在S130中判定为第2释放开关被断开的情况下，在S132中，CPU1301控制显示元件驱动电路122不显示追踪框。然后，CPU1301结束图5所示的动作。

接着，对AF处理进行说明。图6是示出AF处理的流程图。图6的处理是通过CPU1301、AF控制电路1302、焦点检测信息取得电路1308的协同动作而进行的。

在S200中，AF控制电路1302判定拍摄设定是否是连拍模式。

在S200中判定为拍摄设定并非连拍模式、即是通常模式的情况下，在S202中，AF控制电路1302进行预处理。作为预处理，AF控制电路1302将例如焦点检测信息取得电路1308中保持的AF评价值的值设为初始值。此外，作为预处理，AF控制电路1302控制焦点调整机构104，将摄影光学系统102内的对焦镜头驱动至预先决定的初始位置。

在S204中，AF控制电路1302控制焦点调整机构104开始摄影光学系统102内的对焦镜头的驱动。

在S206中，焦点检测信息取得电路1308提取由摄像元件114取得并输入的图像数据的高频成分，并对该提取出的高频成分进行累加，由此取得AF评价值。

在S208中，AF控制电路1302根据由焦点检测信息取得电路1308取得的AF评价值，判定是否检测到应该驱动对焦镜头的方向。当本次的处理中取得的AF评价值相比前次的处理中取得的AF评价值增大了的情况下，检测出应该驱动对焦镜头的方向是正方向。此外，当本次的处理中取得的AF评价值相比前次的处理中取得的AF评价值减小了的情况下，检测出应该驱动对焦镜头的方向是反方向。因此，在S208中，判定是否计算出了AF评价值的变化量。当计算出了AF评价值的变化量时，判定为检测出应该驱动对焦镜头的方向。

在S208中判定为检测出了应该驱动对焦镜头的方向的情况下，在S210中，AF控制电路1302判定应该驱动对焦镜头的方向。这里，根据AF评价值的变化量的符号来判定应该驱动对焦镜头的方向。

在S212中，AF控制电路1302判定应该驱动对焦镜头的方向是否为正方向。这里，当AF评价值的变化量的符号为正时，设为应该驱动对焦镜头的方向是正方向。实际上，在AF评价值的变化量小于规定的阈值的情况下，存在即使AF评价值的变化量的符号为正，也不能说应该驱动对焦镜头的方向是正方向的情况。因此，也可以是，在即使AF评价值的变化量的符号为正但是其绝对值小于规定的阈值的情况下，判定为应该驱动对焦镜头的方向并非正方向。

在S212中，在AF控制电路1302判定为应该驱动对焦镜头的方向是正方向的情况下，CPU1301将处理转移到S218。

在S212中判定为应该驱动对焦镜头的方向并非正方向的情况下，在S214中，AF控制电路1302判定应该驱动对焦镜头的方向是否为反方向。这里，当AF评价值的变化量的符号为负时，将应该驱动对焦镜头的方向设为反方向。实际上，在AF评价值的变化量小于规定的阈值的情况下，存在即使AF评价值的变化量的符号为负，也不能说应该驱动对焦镜头的方向是反方向的情况。因此，也可以是，在即使AF评价值的变化量的符号为负但是其绝对值小于规定的阈值的情况下，判定为应该驱动对焦镜头的方向并非反方向。

在S214中，在AF控制电路1302判定为应该驱动对焦镜头的方向并非反方向的情况下，意味着没有确定对焦镜头的驱动方向。此时，CPU1301将处理返回S204。该情况下，再次进行驱动方向的判定。

在S214中，在AF控制电路1302判定为应该驱动对焦镜头的方向是反方向的情况下，在S216中，AF控制电路1302控制焦点调整机构104，使摄影光学系统102内的对焦镜头的驱动方向反转。

在S218中，焦点检测信息取得电路1308提取由摄像元件114取得并输入的图像数据的高频成分，并对该提取出的高频成分进行累加，由此取得AF评价值。

在S220中，CPU1301将经由摄像元件114取得的图像数据存储在RAM118的工作区域中。在每次进行S220的处理时依次补写图像数据。这里，在S220中存储图像数据时，预先使要存储的图像数据与AF评价值对应起来。

在S222中，AF控制电路1302根据由焦点检测信息取得电路1308取得的AF评价值，判定是否检测到AF评价值的最大值（峰值）。AF评价值的峰值是通过检测AF评价值从增大趋势转变为减小趋势而检测的。

在S222中判定为未检测到AF评价值的峰值的情况下，CPU1301将处理返回S218。该情况下，取得下一个AF评价值进行再次的峰值检测。

在S222中判定为检测到AF评价值的峰值的情况下，在S224中，AF控制电路1302根据检测出的峰值的附近的多个AF评价值运算AF评价值成为真正的峰值的对焦镜头的位置作为对焦位置。

在S226中，AF控制电路1302控制焦点调整机构104，将摄影光学系统102内的对焦镜头驱动至对焦位置。这样，结束AF处理。

在S200中判定为拍摄设定是连拍模式的情况下，在S228中，AF控制电路1302控制焦点调整机构104进行对焦镜头的初始驱动。初始驱动是指将对焦镜头向初始位置驱动。例如是驱动至从前次的对焦位置向无限远侧偏移了规定量的位置的处理。

在S230中，AF控制电路1302控制焦点调整机构104，进行将对焦镜头从初始位置驱动最近侧的扫描动作。然后，CPU1301将处理转移到S218。这样，在连拍模式的情况下，预先将对焦镜头的驱动方向决定为一个方向。在连拍模式的情况下，预想被摄体在摄影镜头的光轴方向上移动的情况，预先设定与被摄体的移动方向相应的对焦镜头的驱动方向，提高AF的追随性。因此，不需要通常模式那样的驱动方向的检测处理。

此外，在进行连拍模式中的S218中的AF评价值的计算时，使用在作为静态图像拍摄用的拍摄动作的正式曝光期间的时刻由摄像元件114取得并输入的图像数据。

接着，对本实施方式中的追踪处理进行说明。图7是示出利用亮度信息的追踪处理的流程图。图7的处理是由追踪处理电路1305作为主体而进行的。这里，在利用亮度信息的追踪处理中，需要预先取得评价图像数据。在追踪框的显示时取得评价图像数据并将其记录在作为图像存储部的追踪图像区域中。此外，追踪区域的大小是通过追踪处理电路1305预先设定的。

在S300中，追踪处理电路1305判定拍摄设定是否是连拍模式。

在S300中判定为拍摄设定是连拍模式的情况下，在S302中，追踪处理电路1305取得在RAM118中存储的峰值图像数据。峰值图像数据是RAM118的工作区域中存储的图像数据中的AF评价值最大的图像数据。

在S300中判定为拍摄设定并非连拍模式、即是通常模式的情况下，在S316中，追踪处理电路1305经由摄像元件114取得图像数据。此时，CPU1301控制摄像元件IF电路116执行利用摄像元件114进行的摄像。追踪处理电路1305将通过摄像元件114进行的摄像而在摄像元件IF电路116中得到的图像数据取入RAM118。

在S304中，追踪处理电路1305计算作为参照图像数据与评价图像数据之间的图像相关度的SAD（Sum of Absolute Difference：差值绝对值和）。在本实施方式的使用亮度信息的追踪处理中，根据以下的（式1）计算SAD。

$\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}|I(i,j)-T(i,j)|$ (式1)

这里，（式1）的M表示评价图像数据在水平方向的大小（像素数），N表示评价图像数据在垂直方向的大小（像素数）。I（i，j）表示评价图像数据中的坐标（i，j）处的像素数据。此外，T（i，j）表示参照图像数据中的坐标（i，j）处的像素数据。

在S306中，追踪处理电路1305检测SAD最小的参照图像数据内的坐标（i，j），将该坐标（i，j）设为追踪位置。

在S308中，追踪处理电路1305判断追踪位置的可靠性。追踪位置的可靠性例如根据参照图像数据的各像素的数据进行判断。具体而言，在参照图像数据中设定的追踪区域的相邻像素间的差值和为规定值以下的情况下，判断为具有可靠性。

在S310中，追踪处理电路1305根据追踪位置来更新评价图像数据。设更新后的评价图像数据为包含在S306中决定的追踪位置的规定区域的图像数据。但是，在S308判断为可靠性低的情况下，也可以不更新评价图像数据。

在S312中，追踪处理电路1305控制显示元件驱动电路122，将追踪框的显示位置更新为与在S306中决定的追踪位置对应的位置。然后，追踪处理电路1305结束图7的追踪处理。但是，在S308中判断为可靠性低的情况下，也可以不更新追踪框的显示位置。

图8是示出利用颜色信息的追踪处理的流程图。图8的处理是由追踪处理电路1306作为主体而进行的。这里，与利用亮度信息的追踪处理同样，在利用颜色信息的追踪处理中，也需要预先将评价图像数据存储在追踪图像区域中。此外，追踪区域的大小是通过追踪处理电路1306预先设定的。

在S400中，追踪处理电路1306判定拍摄设定是否是连拍模式。

在S400中判定为拍摄设定是连拍模式的情况下，在S402中，追踪处理电路1306取得在RAM118中存储的峰值图像数据。

在S400中判定为拍摄设定并非连拍模式、即是通常模式的情况下，在S414中，追踪处理电路1306经由摄像元件114取得图像数据。

在S404中，追踪处理电路1306从参照图像数据中搜索与追踪色的颜色信息最相似、即具有相似度最高的颜色信息的像素的位置（坐标）。然后，追踪处理电路1306搜索包含最相似颜色的像素、并且具有与最相似颜色的像素相似的颜色信息的区域作为相似颜色区域。后面详细说明相似颜色区域的搜索处理。另外，在初次搜索时，将从评价图像数据取得的颜色信息设为追踪色的颜色信息。在下次及下次以后的搜索时，使用在S410中更新的颜色信息。另外，颜色信息是RGB数据或SUV数据等，没有特别的限定。

在S406中，追踪处理电路1306将相似颜色区域的重心位置设为追踪位置。

在S408中，追踪处理电路1306判断追踪位置的可靠性。追踪位置的可靠性例如根据参照图像数据的各像素的彩度进行判断。具体而言，在参照图像数据的追踪位置的彩度为规定值以上的情况下，判断为具有可靠性。

在S410中，追踪处理电路1306更新追踪颜色信息。更新后的追踪色数据作为新的追踪位置的颜色信息。但是，在S408中判断为可靠性低的情况下，也可以不更新追踪颜色信息。

在S412中，追踪处理电路1306控制显示元件驱动电路122，将追踪框的显示位置更新为与在S406中决定的追踪位置对应的位置。然后，追踪处理电路1306结束图8的追踪处理。但是，在S408中判断为可靠性低的情况下，也可以不更新追踪框的显示位置。

图9是示出相似颜色区域的搜索处理的流程图。在S500中，追踪处理电路1306将相似颜色区域在参照图像数据的上下左右斜向方向上扩大1个像素。最初从具有最相似颜色的像素在上下左右斜向方向上扩大1个像素，在下次及下次以后，将扩大后的相似颜色区域进一步在上下左右斜向方向上扩大。

在S502中，追踪处理电路1306计算作为具有最相似颜色的像素的颜色信息与扩大后的像素的颜色信息之间的图像相关度的的相似度。相似度由以下的（式2）表示。

$\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}|I-T(i,j)|$ (式2)

这里，（式2）的M表示扩大后的相似颜色区域的水平方向的大小（像素数），N表示扩大后的相似颜色区域的垂直方向的大小（像素数）。此外，I表示追踪色的颜色信息。此外，T（i，j）表示参照图像数据中的坐标（i，j）处的颜色信息。

在S504中，追踪处理电路1306判定在S502中计算出的相似度是否超过了规定的阈值。

在步骤S504中，相似度未超过阈值的情况下，表示扩大后的相似颜色区域的颜色信息与最相似颜色相似。该情况下，追踪处理电路1306将处理返回S500，进一步扩大相似颜色区域。

在S504中相似度超过了阈值的情况下，表示扩大后的相似颜色区域的颜色信息与最相似颜色不相似。该情况下，不将扩大后的像素包含在相似颜色区域中。该情况下，追踪处理电路1306结束图9的处理，结束相似颜色区域的搜索。

图10是示出利用脸检测的追踪处理的流程图。图10的处理是由脸检测电路1307作为主体而进行的。这里，在利用脸信息的追踪处理中，不一定必须预先取得评价图像数据。但是，追踪区域的大小是通过脸检测电路1307预先设定的。

在S600中，追踪处理电路1306判定拍摄设定是否是连拍模式。

在S600中判定为拍摄设定是连拍模式的情况下，在S602中，脸检测电路1307取得在RAM118中存储的峰值图像数据。

在S600中判定为拍摄设定并非连拍模式、即是通常模式的情况下，在S612中，脸检测电路1307经由摄像元件114取得图像数据。

在S604中，脸检测电路1307针对参照图像数据进行脸检测，从参照图像数据中搜索脸检测位置。后面详细说明脸检测位置的搜索处理。

在S606中，脸检测电路1307将具有最大的大小的脸检测位置设为追踪位置。

在S608中，脸检测电路1307判断追踪位置的可靠性。追踪位置的可靠性例如与亮度信息的追踪处理同样，在参照图像数据中的脸检测位置的相邻像素间的差值和为规定值以下的情况下，判断为具有可靠性。

在S610中，脸检测电路1307控制显示元件驱动电路122，将追踪框的显示位置更新为与在S606中决定的追踪位置对应的位置。然后，脸检测电路1307结束图10的追踪处理。

图11是示出脸检测位置的搜索处理的流程图。在S700中，脸检测电路1307计算作为参照图像数据与脸部器官之间的图像相关度的相似度。相似度例如是参照图像数据的各像素的像素数据与脸部器官的像素数据之间的SAD。

在S702中，脸检测电路1307判定相似度是否低于规定的阈值。

在S702中判定为相似度低于阈值的情况下，即该区域与脸部器官相似的情况下，脸检测电路1307在S704中将该区域识别为脸检测位置。此外，在S702中判断为相似度为阈值以上的情况下，脸检测电路1307在S706中识别为该区域并非脸检测位置。然后，脸检测电路1307结束图11的处理。

图12是以时间序列示出本实施方式的连拍模式中的处理的图。如上所述，连拍模式中的AF处理使用扫描动作。在扫描动作之前执行初始驱动，使对焦镜头位于使得在扫描动作过程中AF评价值增大的初始位置。即，针对通过前次的AF动作成为对焦的对焦镜头位置，考虑到被摄体的被预测的移动量以及扫描驱动的规定范围，来预测AF评价值成为峰值的对焦镜头位置，从而设定初始位置。

这里，图13A中示出在图12的A点的时刻得到的图像的例子。A点的时刻是AF评价值较小、对焦镜头从对焦位置偏离较大的时刻。因此，如图13A所示，A点的图像成为对比度较低、轮廓模糊的图像。

图13B中示出在图12的B点的时刻得到的图像的例子。在B点的时刻，AF评价值比A点的时刻有所增大。这意味着对焦镜头正在接近对焦位置。因此，如图13B所示，B点的图像的对比度比A点的图像的对比度有所改善。这里，虽然未在图中示出，但是，在图12的D点的时刻得到的图像的对比度与在B点的时刻得到的图像的对比度相同。这是因为AF评价值相等。

图13C中示出在图12的C点的时刻得到的图像的例子。C点的时刻是对焦镜头处于对焦位置的时刻。此时，图像的对比度成为最大。

这里，在连拍模式时进行追踪处理的情况下，使用在正式曝光与正式曝光之间的扫描动作中得到的图像数据，由此，能够使追踪处理的时刻与正式曝光或对焦驱动的时刻接近，提高对被摄体的追随性。然而，如果是随意挑选扫描动作中的图像数据，则根据所选择的图像数据，会降低追踪处理的性能。

在本实施方式中，使用正式曝光期间的图像数据中的对比度最大的峰值图像数据来进行追踪处理。图14中示出的E点和F点是在各个正式曝光的期间的扫描动作中得到峰值图像数据的时刻。如图15A和图15B所示，峰值图像数据是清晰的图像数据。通过使用这样的清晰的图像数据进行追踪处理，能够提高追踪处理的性能。

这里，作为使用对比度高的图像数据进行追踪处理的其他方法，还考虑使用在正式曝光时得到的图像数据。然而，该情况下，在拍摄运动较快的被摄体时追踪处理可能发生延迟。这是因为，即使连拍速度是例如10帧/秒的高速连拍，正式曝光的间隔是100ms时，追踪信息的取得间隔也严重不足。本实施方式使用在正式曝光或正式曝光前的AF处理中的接近对焦驱动的时刻得到的、并且对比度高的峰值图像数据，由此能够提高追踪处理的性能，还能够提高对运动较快的被摄体的追随性。

以下，对本实施方式的变形例进行说明。

［变形例1］

使用亮度信息的追踪处理、使用颜色信息的追踪处理、使用脸检测的追踪处理均使用2帧的图像数据进行追踪处理。在前述的实施方式中，设追踪处理中使用的2帧的图像数据均为峰值图像数据。与此相对，也可以使用峰值图像数据和在正式曝光时得到的图像数据（以下，称为正式曝光图像数据）进行追踪处理。具体而言，使用在图16的E点得到的正式曝光图像数据和在图16的F点得到的峰值图像数据进行下次的追踪处理。正式曝光图像数据是如图17A所示的清晰的图像数据。此外，峰值图像数据也是如图17B所示的清晰的图像数据。通过使用这样的清晰的图像数据进行追踪处理，能够提高追踪处理的性能。此外，通过缩短2帧的图像数据的时间差，能够进一步提高对运动较快的被摄体的追随性。

［变形例2］

在使用正式曝光图像数据和峰值图像数据进行追踪处理的情况下，两图像数据的大小或结构（格式）也可以不同。

例如，为了提高连拍动作时的AF处理的追随性，需要使扫描动作高速化。该情况下，除了需要高速地驱动对焦镜头以外，还希望能够高速地计算AF评价值。该情况下，作为用于高速地计算AF评价值的1个方法，考虑缩小用于计算AF评价值的图像数据的大小。通过缩小图像数据，能够缩短图像数据的读出时间，并且，还能够减轻计算AF评价值时的计算负荷。由此，还能够避免伴随电路规模的增大和电路的高速化的成本上升。

示出图像数据的缩小的一例。例如，在将像素数为1200万像素（图像大小4000×3000）的图像数据的尺寸调整为VGA标准相当（图像大小640×480）的图像数据的情况下，进行相加或间疏处理，使得在水平、垂直方向上分别成为大约1／6的像素数。这里，像素加法或间疏处理可以在摄像元件114的内部执行，也可以在摄像元件114的外部的处理电路（摄像元件IF电路116等）中执行。

在缩小了图像数据的情况下，在正式曝光图像数据与峰值图像数据之间产生大小差异。图18A是正式曝光图像数据的例子，图18B是缩小后的峰值图像数据的例子。在这样的存在大小差异的图像数据中无法进行追踪处理。因此，在进行追踪处理时对两者的大小差异进行校正。该校正例如考虑将峰值图像数据放大并设为与正式曝光图像数据相同的大小的方法。

此外，AF评价值是以评价图像数据的对比度为目的计算出的值，因此，还能够根据仅亮度信息的图像数据进行计算。仅亮度信息的图像数据是通过以规定的比例将RGB像素的各像素数据相加（混合）而转换为亮度数据，并适当地配置所生产的亮度数据而生成的。

这里，在仅由亮度数据构成用于计算AF评价值的图像数据的情况下，峰值图像数据的各像素也仅具有亮度信息。另一方面，例如在摄像元件114的滤色器排列是拜耳排列的情况下，正式曝光图像数据的各像素具有1个颜色信息。图19A是拜耳排列的正式曝光图像数据的例子，图19B是转换为亮度信息后的峰值图像数据的例子。在这样的具有结构差异的图像数据中无法进行追踪处理。因此，在进行追踪处理时校正两者的结构的差异。该校正考虑例如将正式曝光图像数据与峰值图像数据同样地转换为亮度信息的方法。

本领域技术人员将容易地想起其他优点和变形例。因此，本发明的更广的方面不限于这里给出和描述的具体细节和代表性实施例。因此，可以在不脱离如用所附权利要求及它们的等同例定义的一般发明概念的精神或范围的情况下进行各种变形。

Claims (20)

1.一种图像处理装置，其根据经由摄影光学系统由摄像元件取得的图像数据而对被摄体进行追踪，该图像处理装置具有：

焦点调节部，其一边使所述摄影光学系统中包含的对焦镜头移动一边执行利用所述摄像元件进行的多次拍摄动作，并进行扫描动作，使所述对焦镜头移动至根据成为峰值的位置而计算出的对焦位置，其中，在所述扫描动作中，在由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中检测取得了对比度成为所述峰值的图像数据的所述对焦镜头的位置；

控制部，其使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；以及

追踪处理部，其根据由所述摄像元件取得的图像数据对被摄体进行追踪，

在所述连拍动作的执行过程中通过所述焦点调节部执行所述扫描动作，判别对比度成为峰值的图像数据，所述追踪处理部根据该对比度成为峰值的图像数据对被摄体进行追踪。

2.根据权利要求1所述的图像处理装置，其中，

所述追踪处理部根据包含在所述图像数据中的亮度信息或者颜色信息对被摄体进行追踪。

3.根据权利要求1所述的图像处理装置，其中，

所述追踪处理部根据所述图像数据来检测脸，根据检测出的脸对被摄体进行追踪。

4.根据权利要求1所述的图像处理装置，其中，

所述追踪处理部根据在所述连拍动作的执行过程中的扫描动作中取得的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作即正式曝光中取得的图像数据，对被摄体进行追踪。

5.根据权利要求4所述的图像处理装置，其中，

在所述连拍动作的执行过程中的扫描动作中取得的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作中取得的图像数据的大小或结构不同，

所述追踪处理部对在所述连拍动作的执行过程中的扫描动作中取得的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作中取得的图像数据的大小的差异或结构的差异进行校正，并对被摄体进行追踪。

6.一种图像处理装置，其根据经由摄影光学系统由摄像元件取得的图像数据而对被摄体进行追踪，该图像处理装置具有：

焦点调节部，其一边使摄影光学系统中包含的对焦镜头移动一边执行利用摄像元件进行的多次拍摄动作，并进行扫描动作，使所述对焦镜头移动至根据成为峰值的位置而计算出的对焦位置，其中，在所述扫描动作中，在由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中检测取得了对比度成为所述峰值的图像数据的所述对焦镜头的位置；

控制部，其使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；以及

追踪处理部，其根据由所述摄像元件取得的图像数据对被摄体进行追踪，

在所述连拍动作的执行过程中通过所述焦点调节部执行扫描动作，所述追踪处理部根据在所述扫描动作过程中取得的图像数据中的对比度为规定的值以上的图像数据对被摄体进行追踪。

7.根据权利要求6所述的图像处理装置，其中，

所述追踪处理部根据包含在所述图像数据中的亮度信息或者颜色信息对被摄体进行追踪。

8.根据权利要求6所述的图像处理装置，其中，

所述追踪处理部根据所述图像数据来检测脸，根据与检测出的脸有关的信息对被摄体进行追踪。

9.根据权利要求6所述的图像处理装置，其中，

所述追踪处理部根据在所述连拍动作的执行过程中的扫描动作中取得的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作即正式曝光中取得的图像数据，对被摄体进行追踪。

10.根据权利要求9所述的图像处理装置，其中，

在所述连拍动作的执行过程中的扫描动作中取得的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作中取得的图像数据的大小或结构不同，

所述追踪处理部对在所述连拍动作的执行过程中的扫描动作中取得的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作中取得的图像数据的大小的差异或结构的差异进行校正，并对被摄体进行追踪。

11.一种图像处理装置的图像处理方法，该图像处理方法根据经由摄影光学系统由摄像元件取得的图像数据而对被摄体进行追踪，该图像处理方法具有以下步骤：

使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；

在所述连拍动作期间内，一边使所述摄影光学系统中包含的对焦镜头移动，一边执行利用所述摄像元件进行的多次拍摄动作；

根据由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中的对比度成为峰值的图像数据，对被摄体进行追踪。

12.根据权利要求11所述的图像处理方法，其中，

根据包含在所述图像数据中的亮度信息或者颜色信息来进行所述被摄体的追踪。

13.根据权利要求11所述的图像处理方法，其中，

根据基于所述图像数据而检测出的脸来进行所述被摄体的追踪。

14.根据权利要求11所述的图像处理方法，其中，

根据通过在所述连拍动作的拍摄动作期间内执行的多次拍摄动作而取得的图像数据中的对比度成为峰值的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作即正式曝光中取得的图像数据，来进行所述被摄体的追踪。

15.根据权利要求14所述的图像处理方法，其中，

在对通过在所述连拍动作的拍摄动作期间内执行的多次拍摄动作而取得的图像数据中的对比度成为峰值的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作中取得的图像数据的大小的差异或者结构的差异进行校正后，进行所述被摄体的追踪。

16.一种图像处理装置的图像处理方法，该图像处理方法根据经由摄影光学系统由摄像元件取得的图像数据对被摄体进行追踪，该图像处理方法具有以下步骤：

使所述摄像元件执行连续进行拍摄用的拍摄动作的连拍动作；

在所述连拍动作期间内，一边使所述摄影光学系统中包含的对焦镜头移动，一边执行利用所述摄像元件进行的多次拍摄动作；

根据由所述摄像元件取得的作为该多次拍摄动作的结果的多个图像数据中的对比度为规定的值以上的图像数据，对被摄体进行追踪。

17.根据权利要求16所述的图像处理方法，其中，

根据包含在所述图像数据中的亮度信息或者颜色信息来进行所述被摄体的追踪。

18.根据权利要求16所述的图像处理方法，其中，

根据基于所述图像数据而检测出的脸来进行所述被摄体的追踪。

19.根据权利要求16所述的图像处理方法，其中，

根据通过在所述连拍动作的拍摄动作期间内执行的多次拍摄动作而取得的图像数据中的对比度成为峰值的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作即正式曝光中取得的图像数据，来进行所述被摄体的追踪。

20.根据权利要求19所述的图像处理方法，其中，

在对通过在所述连拍动作的拍摄动作期间内执行的多次拍摄动作而取得的图像数据中的对比度成为峰值的图像数据、和在所述连拍动作的执行过程中的拍摄用的拍摄动作中取得的图像数据的大小的差异或者结构的差异进行校正后，进行所述被摄体的追踪。