CN107018315A - 摄像设备、运动矢量检测装置及其控制方法 - Google Patents

Abstract

本发明涉及摄像设备、运动矢量检测装置及其控制方法。基于运动矢量的用途以及设置有运动矢量检测装置的设备的移动至少之一来设置(改变)与多个图像之间的运动矢量的检测有关的设置。与运动矢量的检测有关的设置包括与多个图像有关的设置以及与检测时所使用的图像区域有关的设置至少之一。该运动矢量检测装置能够灵活地控制运动矢量检测方法。

Description

摄像设备、运动矢量检测装置及其控制方法

技术领域

本发明涉及一种摄像设备、运动矢量检测装置及其控制方法。

背景技术

已知有用于检测两个帧图像之间的运动矢量、并基于该运动矢量来校正图像模糊的技术。例如，已知模板匹配作为用于检测帧图像之间的运动矢量的方法。

在使用模板匹配来检测运动矢量的情况下，将两个帧图像其中之一称为原始图像，并将另一个帧图像称为参考图像。在原始图像中，将预定大小的矩形区域设置为模板块，并且在参考图像中，将计算相关值时所使用的矩形区域设置为搜索范围。然后，针对搜索范围中的各位置来计算模板块与参考图像的相关度，并且检测相关度最高的位置(模板块的目的地)。模板块的“运动矢量”是指从原始图像的模板块的位置起向着目的地的方向和移动量。例如，将多个模板块设置在原始图像中的不同位置处，并且检测各个模板块的运动矢量并以统计方式对这些运动矢量进行处理，从而检测到帧图像之间的移动，其中所检测到的移动能够用于图像模糊校正。

使用模板匹配进行的运动矢量检测的精度依赖于诸如所设置的模板块的位置、大小和数量、搜索范围的大小以及原始图像和参考图像的大小(缩小率)等的各种因素。

日本特许第2892685号公报和日本特开2015-41819号公报(专利文献)公开了如下内容：基于诸如被摄体的移动、亮度和距离以及摄像镜头的焦距(场角)等的被摄体状态和摄像镜头状态，来改变代表点和模板块的位置和数量或者改变搜索范围的形状和大小。

然而，上述专利文献并未考虑到基于除被摄体状态和摄像镜头状态以外的因素来控制运动矢量检测方法。此外，运动矢量检测方法中的要经过控制的对象局限于代表点和模板块的位置和数量以及搜索范围的形状和大小，并且没有考虑到基于影响运动矢量的精度的其它因素的控制。例如，在专利文献所公开的技术中，既无法基于除被摄体状态和摄像镜头状态以外的因素来控制运动矢量检测方法，也无法控制模板块的大小和图像的大小等。

发明内容

本发明是为了解决这些传统技术的问题中的至少一个问题而进行的，并且提供了能够灵活地控制运动矢量检测方法的运动矢量检测装置及其控制方法和摄像设备。

根据本发明的一个方面，提供了一种运动矢量检测装置，包括：检测部件，用于检测多个图像之间的运动矢量；以及控制部件，用于进行关于所述运动矢量的检测的设置，其中，所述控制部件基于所述检测部件要检测的运动矢量的用途以及设置有所述运动矢量检测装置的设备的移动至少之一，针对所述运动矢量的检测来改变与所述多个图像有关的设置和与检测时所使用的图像区域有关的设置至少之一。

根据本发明的另一个方面，提供了一种摄像设备，包括：摄像部件；图像处理部件；以及运动矢量检测装置，其包括：检测部件，用于检测多个图像之间的运动矢量；以及控制部件，用于进行关于所述运动矢量的检测的设置，其中，所述控制部件基于所述检测部件要检测的运动矢量的用途以及所述摄像设备的移动至少之一，针对所述运动矢量的检测来改变与所述多个图像有关的设置和与检测时所使用的图像区域有关的设置至少之一，以及所述检测部件检测所述摄像部件所拍摄的并且经由所述图像处理部件所供给的所述多个图像之间的运动矢量。

根据本发明的又一方面，提供了一种运动矢量检测装置的控制方法，所述运动矢量检测装置包括用于检测多个图像之间的运动矢量的检测部件，所述控制方法包括：基于所述检测部件要检测的运动矢量的用途以及设置有所述运动矢量检测装置的设备的移动至少之一，针对所述运动矢量的检测来改变与所述多个图像有关的设置和与检测时所使用的图像区域有关的设置至少之一。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出设置有根据实施例的运动矢量检测装置的摄像设备的结构的框图。

图2A和2B是示出使用模板匹配的运动矢量检测方法的图。

图3A～3C是示出摄像设备和用于检测被摄体的移动的运动矢量检测的设置的示例的图。

图4是根据第一实施例的用于基于拍摄模式来设置运动矢量检测的处理的流程图。

图5是根据第二实施例的用于基于拍摄状态来设置运动矢量检测的处理的流程图。

图6A和6B是示出在检测到横方向的平摇时的运动矢量检测的设置的示例的图。

图7是根据第三实施例的用于基于拍摄状态来设置运动矢量检测的处理的流程图。

具体实施方式

现在，将根据附图来详细说明本发明的各实施例。注意，以下将说明能够生成运动矢量检测时所使用的图像的数字照相机作为根据本发明的各实施例的运动矢量检测装置的示例，但与图像生成有关的结构并非是本发明所必须的。利用任何方法(例如，用于从存储装置获得该存储装置中预先记录的图像等的方法)可以获得运动矢量检测时所使用的图像就足够了。因此，本发明可适用于包括个人计算机、移动电话和游戏机等的任意电子装置。

第一实施例

图1是示出根据本实施例的数字照相机的功能结构的示例的框图。变焦单元101、光圈/快门单元103、图像模糊校正单元105和调焦单元107构成了摄像光学系统。该摄像光学系统可以是可更换镜头型或非可拆卸型。

变焦单元101包括用于改变摄像光学系统的场角(焦距)的透镜，并且利用变焦驱动控制单元102来驱动。光圈/快门单元103包括具有机械快门功能的光圈，并且利用光圈/快门驱动控制单元104来驱动。图像模糊校正单元105(还被称为“校正单元”)包括移位透镜，并且利用图像模糊校正控制单元106来驱动。注意，本实施例进行驱动移位透镜的光学图像模糊校正，但也可以驱动摄像元件。此外，本实施例可以进行改变图像读取范围的电子图像模糊校正。调焦单元107包括用于调节摄像光学系统的焦距的调焦透镜，并且利用调焦驱动控制单元108来驱动。

摄像单元109使用摄像元件中所配置的多个光电转换元件(像素)来将摄像光学系统所形成的光学图像转换为电信号，并且输出由此得到的信号。图像处理单元110对从摄像单元109输出的电信号应用诸如A/D转换、伽玛校正、白平衡调节和去马赛克等的图像处理，以将电信号转换为图像信号。图像处理单元110还根据用途来对图像信号进行处理。在例如进行电子照相机抖动校正的情况下，图像处理单元110根据图像模糊校正控制单元106所进行的校正的量来改变图像信号的裁切位置。此外，图像处理单元110还进行与存储格式相对应的编码和解码处理、调整大小(放大/缩小)处理、用于生成显示用图像信号的处理以及被摄体检测处理等。

运动矢量检测单元119基于从图像处理单元110所输出的两帧的图像信号来检测运动矢量，并且将所检测到的运动矢量作为运动矢量信息进行输出。运动矢量检测单元119设置有用于暂时存储图像信号的存储器。稍后将详细说明运动矢量检测单元119所进行的运动矢量检测处理。稍后所述的系统控制单元118可以通过执行程序来实现图像处理单元110的功能和运动矢量检测单元119的功能中的至少一个功能。此外，可以通过诸如ASIC或FPGA等的硬件电路来实现图像处理单元110的功能和运动矢量检测单元119的功能中的至少一个功能。图像处理单元110、系统控制单元118和运动矢量检测单元119实现了运动矢量检测装置的功能。

显示单元112基于从图像处理单元110所输出的显示用信号来显示图像。电源单元113根据用途来向数字照相机的各单元供给电力。外部输入/输出端子单元114是外部装置要直接或经由网络连接至的接口和连接器组。可以以有线或无线方式来实现向着外部装置的连接。操作单元115是用户用来向数字照相机100输入各种指示的输入装置组。如果显示单元112是触摸型显示器，则显示单元112的触摸面板部分包括在操作单元115中。存储单元116是非易失性存储装置，并且存储诸如所拍摄图像、各种设置值和程序等的各种类型的数据。模糊检测单元117基于例如来自加速度传感器的输出和移位透镜(校正单元105)的位置等来检测数字照相机100的模糊量。

系统控制单元118包括存储器以及一个或多个可编程处理器(CPU)。系统控制单元118通过将存储单元116中所存储的程序加载至存储器上并且使用CPU执行该程序以控制各单元，来实现数字照相机100的功能。

关于图像模糊校正，数字照相机100可以设置或选择(1)是使图像模糊校正有效还是无效、(2)是仅执行光学图像模糊校正还是执行光学图像模糊校正和电子图像模糊校正这两者、以及(3)电子图像模糊校正的效果的强度。用户可以利用操作单元115中所包括的开关或者利用显示单元112的触摸面板的GUI来进行该设置或选择。

在选择为图像模糊校正有效的情况下，系统控制单元118指示图像模糊校正控制单元106执行图像模糊校正操作。图像模糊校正控制单元106执行图像模糊校正操作，直到系统控制单元118指示停止该图像模糊校正操作为止。

此外，例如可以将电子图像模糊校正的效果的强度设置为低、中和高这三个阶段，并且所设置的阶段越高，则可以校正的图像模糊越大，但显示单元112上所显示的图像的场角由于图像处理单元110所裁切的图像信号的裁切区域的变小而变得越小。

操作单元115还包括释放按钮，其中半按下该释放按钮以接通第一开关SW1，以及全按下该释放按钮以接通第二开关SW2。系统控制单元118进行如下解释并相应地控制各单元：摄像待机状态下的第一开关SW1的接通是指用以开始摄像准备操作的指示，并且第二开关SW2的接通是指用以开始摄像和记录操作的指示。

在摄像准备操作中，系统控制单元118执行AF和AE操作。例如，系统控制单元118使用对比度检测方法或相位差检测方法来检测焦点位置检测区域中的被摄体进入聚焦的调焦透镜位置。然后，系统控制单元118经由调焦驱动控制单元108来驱动调焦单元107，并且将调焦透镜移动至所检测到的聚焦位置。此外，系统控制单元118例如基于与被摄体的亮度有关的信息以及程序图来确定曝光条件(快门速度、光圈值、摄像感光度和闪光灯on/off(开启/关闭))。注意，这里所述的AF和AE操作是示例，并且可以使用其它方法。

在摄像和记录操作中，系统控制单元118经由光圈/快门驱动控制单元104来驱动光圈/快门单元103，并且进行基于AE操作所确定的曝光条件的曝光。在图像处理单元110中对摄像单元109所拍摄到的图像进行预定处理，并且将由此得到的图像以记录用的图像文件格式存储在存储单元116中。

操作单元115可以包括用于选择拍摄模式和重放模式中的任意模式的操作模式选择开关。除静止图像拍摄模式和运动图像拍摄模式以外，拍摄模式还可以包括诸如摇摄模式等的与拍摄用途相对应的拍摄模式。在选择了拍摄模式的情况下，数字照相机100处于摄像待机状态，并且执行诸如实时取景显示等的预定操作。在选择了重放模式的情况下，数字照相机100将存储单元116中所存储的静止图像或运动图像显示在显示单元112上。

操作单元115可以包括运动图像记录开关。在摄像待机状态下按压运动图像记录开关的情况下，开始运动图像的摄像和记录，并且在记录期间按压运动图像记录开关的情况下，结束运动图像的摄像。与利用操作模式选择开关进行设置相比，优先进行运动图像记录开关的操作。因此，在按压了运动图像记录开关的情况下，即使在选择了静止图像模式的状态下，系统控制单元118也开始摄像并记录运动图像。此外，在运动图像的摄像和记录期间接通第一开关SW1或第二开关SW2的情况下，系统控制单元118执行用于从正被记录的运动图像中拍摄静止图像的操作。例如，用于从正被记录的运动图像中拍摄静止图像的操作可以是用于将正被记录的运动图像的帧记录为静止图像的操作，但运动图像的记录可以中断，并且可以执行用于拍摄静止图像的正常操作。

此外，操作单元115可以包括用于改变摄像光学系统的场角的变倍开关。在操作了变倍开关的情况下，系统控制单元118在操作变倍开关的方向上经由变焦驱动控制单元102来移动变焦单元101。

运动矢量检测处理

以下将详细说明运动矢量检测单元119所执行的运动矢量检测处理。在本实施例中，将说明使用模板匹配的方法作为运动矢量检测方法的示例。

将参考图2A和2B来说明使用模板匹配的运动矢量检测方法。图2A示出原始图像，并且图2B示出参考图像。原始图像和参考图像例如可以是在摄像待机状态中或者在运动图像的记录期间所拍摄的运动图像的帧图像。注意，原始图像和参考图像不需要是运动图像的连续两帧，并且可以是任意图像对。

运动矢量检测单元119如图2A所示在原始图像上配置多个模板块201，并且在参考图像中搜索与各模板块201具有最高相关度的区域，由此检测图像之间的运动矢量。由于以针对模板块201和参考图像之间的各相对位置计算相关值的方式进行该搜索，因此该搜索所需的计算量随着搜索范围的面积的增大而增大。

如果将整个参考图像设置为搜索范围，则计算量将会巨大，因此运动矢量检测单元119将参考图像的如下部分区域设置为搜索范围202，其中该部分区域包括参考图像中与模板块201相对应的区域。运动矢量检测单元119在搜索范围202内设置具有与模板块201的大小相同的大小的相关值计算块203。然后，运动矢量检测单元119使相关值计算块203的设置位置在搜索范围202内移动，并且在各位置处计算与模板块201的相关度的相关值。

在本实施例中，运动矢量检测单元119计算用作相关值的示例的绝对差值和(SAD)。SAD是模板块201和相关值计算块203之间的相应位置处的像素的亮度值的差的绝对值的总和。这意味着，在SAD的值较小时，模板块201和相关值计算块203具有更类似的亮度图案。注意，相关值并非局限于SAD，并且还可以使用诸如平方差值和(SSD)或者归一化互相关(normalized cross-correlation，NCC)等的其它值。

运动矢量检测单元119在搜索范围202内的可以设置相关值计算块203的多个位置(例如，可以以像素为单位设置的所有位置)处计算相关值。然后，运动矢量检测单元119检测相关值计算块203中的相关度最高(SAD最小)的位置作为模板块201的目的地。因此，获得了在原始图像中的模板块201的位置(例如，中心坐标)处开始并且在相关值计算块203中被检测为目的地的位置(例如，中心坐标)处结束的运动矢量。运动矢量检测单元119针对各个模板块201来执行这种运动矢量检测处理。

以下将说明与运动矢量检测有关的设置。在本实施例中，关于运动矢量检测，可以控制以下设置至少之一：

(1)模板块的设置(例如，配置、大小和数量)；

(2)搜索范围的设置(例如，大小)；以及

(3)图像的设置(例如，大小或缩小率)。

模板块的配置

例如，可以控制是以分布在整个原始图像上的方式来配置模板块还是以集中在原始图像的中央部的方式来配置模板块等。如果模板块是以分布在整个原始图像上的方式进行配置，则可以容易地检测到整个图像的移动(即，数字照相机的移动)。此外，如果模板块是以集中在原始图像的中央部的方式进行配置，则可以容易地检测到位于视野中心附近的被摄体的移动。

模板块的大小

模板块的大小越大，该块中的亮度图案越可能是固有图案，因此基本上，运动矢量检测不容易失败并且所检测到的运动矢量的可靠性高。然而，如果存在运动被摄体，则静止被摄体和运动被摄体这两者包括在该块中的可能性将会高，并且运动被摄体可能会影响运动矢量检测的精度。

此外，模板块的大小越小，该块中所包括的亮度图案越不可能是固有图案，因此运动矢量检测容易失败并且所检测到的运动矢量的可靠性低。然而，静止被摄体和运动被摄体这两者包括在该块中的可能性低，并且运动被摄体对运动矢量检测的精度的影响小。

模板块的数量

随着模板块的数量的增加，即使在使用模式匹配的运动矢量检测的精度可能低的低对比度场景等中，要检测的运动矢量的数量也可以增加。然而，可能存在如下情况：由于计算量的增大，因而在处理时间受到限制的情况下(例如，在需要在拍摄运动图像期间针对各帧检测运动矢量的情况下)，块的数量不会增加。此外，模板块的数量越小，在处理时间方面越有利，但可能存在如下情况：在精度可能低的场景中，要检测的运动矢量的数量极低。

搜索范围的大小

搜索范围相对于模板块的相对大小越大，则可检测的移动的最大值越大。另一方面，搜索范围很可能包括与模板块的亮度图案相似的亮度图案，因此检测很可能失败(或者所检测到的运动矢量的可靠性低)。搜索范围相对于模板块的相对大小越小，则可检测的移动的最大值越小。另一方面，搜索范围不太可能包括与模板块的亮度图案相似的亮度图案，因此检测不太可能失败(或者所检测到的运动矢量的可靠性高)。

图像的大小

如果运动矢量检测时所使用的图像(原始图像和参考图像)的大小没有缩小或者缩小率(1-缩小后的大小/缩小前的大小)低，则将不会丢失与精细图案有关的信息，并且运动矢量检测的精度将会高。另一方面，通过例如对像素进行间隔剔除或平均来使图像的大小缩小得越多，与精细图案有关的信息丢失得越多，因此运动矢量检测的精度低。然而，通过缩小图像的大小，可以在不改变模板块和搜索范围的大小的情况下检测到大的移动。此外，在要检测相同的移动范围的情况下，可以将模板块和搜索范围设置得小并且减轻处理负荷。

表1示出设置项对运动矢量检测的性能的影响的示例。注意，表1不包括设置项对运动矢量检测处理负荷的影响。

表1

如上所述，运动矢量检测的设置根据各项对运动矢量检测的性能具有不同影响，并且具有折衷关系。因此，通过根据所检测到的运动矢量的用途而改变运动矢量检测的设置，可以实现适合该用途的运动矢量检测的性能。

注意，模板块的大小和数量、搜索范围的大小以及图像的大小中的“大”和“小”可以是指相对于预定基准值的尺寸或者一者相对于另一者的相对大小。因此，可以存在基准值、比基准值大的第一值和比基准值小的第二值，或者可以省略基准值(第一值或第二值可以用作基准值)。

以下将说明基于运动矢量的用途的运动矢量检测的设置的示例。

运动矢量的用途没有受到特别限制，但可以广义地被划分为用于检测照相机的移动的用途和用于检测被摄体的移动的用途。例如可以在照相机抖动校正中使用照相机的移动，并且例如可以在被摄体模糊校正中使用被摄体的移动。

为了检测照相机的移动，需要检测表示图像的整体移动的运动矢量。因此，以分布在整个图像上的方式来配置模板块。此外，将模板块的大小设置得大(例如，大于基准大小)以获得高的检测精度，并且根据模板块的大小将搜索范围的大小设置得大(例如，大于基准大小)。此外，没有缩小图像的大小，以增大检测精度。注意，每一设置增大了运动矢量检测处理所需的负荷。因此，如果需要减轻处理负荷，诸如在例如需要在运动图像的一个帧周期(帧频的倒数)内完成检测处理的情况下等，可以降低模板块的数量(例如与基准数量相比)。

以下将说明用于检测被摄体的移动的运动矢量检测的设置的示例。普通用户通常进行主被摄体配置在画面中央附近的摄像(或者极少进行主被摄体配置在画面端部的摄像)。因此，以集中在画面中央的方式配置模板块将会增加主被摄体的图像区域包括在模板块中的概率。注意，模板块可以配置在图像的周边也可以不配置在图像的周边。

此外，考虑到主被摄体的可能移动而将模板块的大小设置得小(例如，小于基准大小)。这降低了静止被摄体和运动被摄体这两者包括在模板块中的可能性以及运动被摄体对运动矢量检测的性能的影响。伴随着模板块的大小的缩小，搜索范围的大小也缩小(例如，与基准大小相比)。另一方面，通过缩小图像的大小，实际搜索范围扩大并且可检测的移动的最大值增大。

将模板块的大小设置得较小或缩小图像的大小将会降低运动矢量检测处理所需的负荷。因此，可以增加模板块的数量(例如，与基准数量相比)。通过在原始图像的中央附近密集地配置数量较多的小模板块，可以检测到数量较多的运动矢量并且精确地检测到被摄体的移动。

注意，在搜索范围的大小随着模板块的大小的变化而改变的情况下，以将搜索范围的大小改变为使得可检测的运动矢量在改变之前和改变之后具有相同最大值的大小为基准。在上述示例中，在检测到照相机的移动以及检测到被摄体的移动这两种情况下，搜索范围的大小的改变可以接近作为基准的改变。在检测到被摄体的移动的情况下，可以通过缩小图像的大小来扩大实际搜索范围。

图3A示出在对检测照相机的移动时所使用的运动矢量进行检测的情况下原始图像301中所设置的模板块302的示例。此外，图3B和3C示出在对检测被摄体的移动时所使用的运动矢量进行检测的情况下的通过缩小原始图像301的大小所获得的缩小图像304的示例以及缩小图像304中所设置的模板块305的示例。

在检测到照相机的移动时，在不缩小图像(原始图像和参考图像)的大小的情况下检测运动矢量，因此将原始大小的图像301输入至运动矢量检测单元119。此外，运动矢量检测单元119配置(设置)大小较大的模板块302，以使得这些模板块302分布在整个图像上。另一方面，运动矢量检测单元119将模板块302之间在水平方向上的距离设置得大于模板块302之间在垂直方向上的距离，以减少模板块302的数量，从而减轻运动矢量检测的处理负荷。

在检测到被摄体的移动时，通过使图像(原始图像和参考图像)的大小缩小来检测运动矢量，因此将通过图像处理单元110缩小图像303的大小所获得的图像304输入至运动矢量检测单元119。此外，运动矢量检测单元119配置(设置)大小较小的模板块305，以使得这些模板块305以集中在缩小图像304的中央部的方式分布。通过在水平方向和垂直方向以均一的距离密集地配置大小较小的模板块305，运动矢量检测单元119设置数量较大的模板块305并增加要进行运动矢量检测的次数。

表2示出根据本实施例的基于运动矢量的用途的运动矢量检测的设置的示例。这里注意，针对各用途示出了设置项的五种组合，但设置项的组合的数量也可以是四种以下或六种以上。

表2

在本实施例中，预先使拍摄模式和运动矢量的用途彼此相关联，并且基于所设置的拍摄模式来改变运动矢量检测的设置。

图4是示出根据本实施例的用于设置运动矢量检测处理的操作的概要的流程图。该处理可以作为例如摄像待机状态或者摄像和记录状态下的背景处理来执行。

为了便于说明和理解，在本实施例中，将数字照相机100可以设置的拍摄模式分类为第一拍摄模式和第二拍摄模式。这里，“第一拍摄模式”是指与用于检测被摄体的移动的运动矢量检测处理相关联的拍摄模式。例如，将摇摄模式和使用三脚架进行摄像的拍摄模式分类为第一拍摄模式。此外，第二拍摄模式是与用于检测照相机的移动的运动矢量检测处理相关联的拍摄模式。例如，可以将除第一拍摄模式以外的拍摄模式分类为第二拍摄模式。此外，可以将重视照相机抖动校正的拍摄模式分类为第二拍摄模式。

在步骤S101中，系统控制单元118判断操作单元115的操作模式选择开关所设置的拍摄模式是否是第一拍摄模式。如果判断为设置了第一拍摄模式，则系统控制单元118使过程进入步骤S103，否则系统控制单元118使过程进入步骤S105。

在步骤S103中，系统控制单元118改变与图像处理单元110要供给至运动矢量检测单元的图像的大小有关的设置。在第一拍摄模式中，由于检测到在检测被摄体的移动时所使用的运动矢量，因此系统控制单元118改变设置以使得将大小缩小至预定大小的图像供给至运动矢量检测单元119。此外，系统控制单元118可以向运动矢量检测单元119通知缩小图像的供给。在设置结束的情况下，系统控制单元118使过程进入步骤S107。

另一方面，在步骤S105中，如果与图像的大小有关的当前设置是要缩小图像的大小的设置，则系统控制单元118将当前设置改变为不进行图像缩小的设置(解除要缩小大小的设置)。由于在当前拍摄模式是第二拍摄模式的情况下执行步骤S105，因此如果设置了要缩小大小的设置，则系统控制单元118解除该设置以进行使用原始大小的图像的运动矢量检测。注意，如果在分类为第二拍摄模式的拍摄模式之间进行模式改变，则系统控制单元118不改变与图像的大小有关的设置。在根据需要改变与图像的大小有关的设置的情况下，系统控制单元118使过程进入步骤S107。

在步骤S107中，基于所设置的拍摄模式，系统控制单元118针对运动矢量检测单元119来设置运动矢量检测处理的设置项中的除图像的大小以外的至少一个项。具体地，系统设置单元118设置包括与模板块的大小、配置和数量有关的设置以及与搜索范围的大小有关的设置的设置项至少之一。然后，系统控制单元118将处理推进到步骤S109，在步骤S109中系统控制单元118确定拍摄模式是否被改变。如果确定拍摄模式已被改变，则系统控制单元118将处理返回到步骤S101。否则，系统控制单元118重复执行步骤S109。

注意，步骤S103和S107中所进行的设置可以是特定值的设置、与设置值相对应的代码的设置或者标志的设置/解除。例如，如果图像缩小时的缩小率存在一个选项，则可以设置是否进行缩小，并且如果存在多个选项，则可以设置与选项相对应的代码。注意，步骤S107的设置可以在拍摄模式之间有所不同，或者可以在分类为第一拍摄模式(第二拍摄模式)的所有拍摄模式之间共通。在任一情况下，拍摄模式和相应的设置值可以彼此相关联，并且可以预先存储在存储单元116中。此外，系统控制单元118从存储单元116中读取与所设置的拍摄模式相对应的设置值，并且可以针对图像处理单元110或运动矢量检测单元119设置所读取的值。运动矢量检测单元119开始与该设置相对应的运动矢量检测处理。

运动矢量检测单元119针对各模板块检测运动矢量，然后计算代表运动矢量。用于计算代表运动矢量的方法没有受到特别限制，并且例如可以生成运动矢量的直方图并计算频度最高的运动矢量作为代表运动矢量。可选地，还可以对针对各模板块所检测到的运动矢量进行平均并将平均值视为代表运动矢量。

通过基于代表运动矢量来驱动图像模糊校正单元105或者改变要从摄像单元109读出的图像区域的位置(裁切位置)，可以抑制被摄体模糊或照相机抖动。可以使用任意已知的基于代表运动矢量的光学或电子模糊/抖动防止方法。

如上所述，在本实施例中，可以基于运动矢量的用途来控制运动矢量检测方法，或者改变与图像的大小或模板块的大小有关的设置。因此，可以在重视期望用途所需的特性的情况下检测运动矢量，或者可以更精细地控制运动矢量检测方法。

第二实施例

在下文，将说明根据本发明的第二实施例。在第一实施例中，通过基于运动矢量的用途对设置进行改变来控制运动矢量检测处理。在本实施例中，通过基于检测到设置有运动矢量检测装置的设备的特定移动(具体地，特定方向上的较大移动)对设置进行改变，来控制运动矢量检测处理。

在本实施例中，假定设置有运动矢量检测装置的设备是第一实施例所述的数字照相机100，并且省略对该数字照相机100的结构的说明。此外，以下将说明用于根据检测到平摇操作来改变设置的结构，其中该平摇操作用作设置有运动矢量检测装置的设备在特定方向上的大移动的示例。

图5是示出根据本实施例的用于设置运动矢量检测处理的操作的概要的流程图。

在步骤S201中，系统控制单元118基于模糊检测单元117所检测到的模糊量来判断数字照相机100的移动是否是平摇，并且如果判断为该移动是平摇，则系统控制单元118进一步检测平摇的方向。可以使用已知的方法来检测平摇及其方向。如果判断为数字照相机100正在平摇，则系统控制单元118使过程进入步骤S203，否则系统控制单元118使过程进入步骤S205。

在步骤S203中，系统控制单元118改变与图像处理单元110要供给至运动矢量检测单元的图像的大小有关的设置。由于数字照相机的移动在平摇期间较大，因此系统控制单元118改变设置以将大小缩小至预定大小的图像供给至运动矢量检测单元119，由此能够检测到大的运动矢量。注意，可以将检测到平摇时的图像的缩小率设置得大于第一实施例的针对用于检测被摄体的移动的运动矢量检测所设置的缩小率。系统控制单元118可以向运动矢量检测单元119通知缩小图像的供给。在设置结束时，系统控制单元118使过程进入步骤S209。

在步骤S205中，系统控制单元118判断平摇是否结束。如果判断为平摇已结束，则在步骤S207中，使运动矢量检测的设置返回至检测到平摇之前的设置。可选地，系统控制单元118可以根据第一实施例来新配置设置。如果没有判断为平摇已结束(如果没有连续检测到平摇)，则系统控制单元118使过程返回至步骤S201。

在步骤S209中，系统控制单元118针对运动矢量检测单元119来设置运动矢量检测处理的设置项中的除图像的大小以外的项。在本实施例中，除了与模板块的大小、配置和数量以及搜索范围的大小有关的设置以外，还设置(改变)模板块的形状。

在基于图3A和3C所示的运动矢量的用途的设置中，将模板块设置为正方形或者短边相对于长边的比近似为1的形状，并且即使大小改变，形状也不改变。这是为了覆盖各种移动方向。另一方面，平摇是用以使照相机在特定方向上移动的操作，并且该特定方向上的移动显著较大。因此，在本实施例中，基于所检测到的平摇方向来改变模板块的形状。例如，可以将形状改变为具有等于平摇方向的垂直分量和水平分量的比的纵横比的矩形，或者可以扩大平摇方向的垂直分量和水平分量中较大分量的方向上的形状(例如，扩大了预定比例)。注意，这些仅是示例，并且可以通过适合平摇方向的运动矢量检测的各种方法来设置形状和大小。此外，为了扩大搜索范围，与模板块的情况同样地，可以改变搜索范围的形状和大小至少之一。

图6A和6B是示出检测到水平方向的平摇的情况下的运动矢量检测的设置的示例的示意图。图6A示出与图像大小有关的设置，并且图6B示出与模板块有关的设置。如图6A所示，将原始图像401的大小缩小至图像402的大小。如与图3B的比较显而易见，检测到平摇时的缩小率大于第一实施例的缩小率，以能够检测正在平摇的数字照相机100的大移动量。

此外，如图6B所示，平摇方向上扩大的模板块403以分布在缩小图像402的整个区域(或者至少平摇方向上的整个区域)的方式来设置。如上所述，如果模板块的大小扩大，则搜索范围的大小也随着模板块的大小的增加而扩大。大小的扩大使得可设置的模板块的数量降低，但与可检测的运动矢量的数量相比，优先平摇方向上的移动量的检测。由于原始图像的缩小以及平摇方向上扩大的模板块(和搜索范围)，因此可以更可靠地检测到平摇方向上的大移动量。

在步骤S209中的设置结束的情况下，系统控制单元118使过程返回至步骤S201。注意，如果连续检测到平摇，则不必重复执行步骤S203和S209。例如，可以跳过步骤S203和S209直到检测到平摇的结束为止，或者仅当在所检测到的平摇方向上存在大的改变时可以执行步骤S203和S209，或者可以按预定周期来执行步骤S203和S209。

如上所述，在本实施例中，基于检测到设置有运动矢量检测装置的设备的移动(具体地，特定方向上的大移动)来改变运动矢量检测的设置。例如，可以在设备的移动方向上扩大模板块，或者可以缩小原始图像和参考图像的大小。因此，即使在诸如平摇等的在特定方向上发生大移动的情况下，也可以可靠地检测到运动矢量。

第三实施例

在下文，将说明本发明的第三实施例。在本实施例中，通过基于检测到使用设置有运动矢量检测装置的设备的特定移动(具体地，充分小的移动)对设置进行改变，来控制运动矢量检测处理。在本实施例中，假定设置有运动矢量检测装置的设备是第一实施例所述的数字照相机100，并且省略针对数字照相机100的结构的说明。

图7是示出根据本实施例的用于设置运动矢量检测处理的操作的概要的流程图。在图7中，向与第一实施例共通的处理给出与图4的附图标记相同的附图标记。

在步骤S301中，系统控制单元118基于模糊检测单元117所检测到的模糊量来判断数字照相机100是否处于稳定状态。“稳定状态”是指静止状态或移动充分小的状态，并且例如在模糊量在预定时间段连续小于阈值的情况下，可以判断为该稳定状态。

“稳定状态”可以是例如数字照相机100安装至诸如三脚架等的支撑构件的情况、数字照相机100放置在固定物体上的情况以及用户把持照相机的状态处于稳定的情况。如果判断为数字照相机100处于稳定状态，则系统控制单元118使过程进入步骤S103，否则系统控制单元118使过程进入步骤S105。

如果数字照相机100处于稳定状态，则被摄体移动(而非照相机移动)的检测对于例如模糊防止控制而言是有利的。因此，如果判断为数字照相机100处于稳定状态，则系统控制单元118例如进行与第一实施例的用于检测被摄体的移动的设置相同的设置(步骤S103和S107)。

另一方面，如果数字照相机100未处于稳定状态，则照相机移动(而非被摄体移动)的检测对于例如模糊防止控制而言是有利的。因此，如果判断为数字照相机100未处于稳定状态，则系统控制单元118例如进行与第一实施例的用于检测照相机的移动的设置相同的设置(步骤S105和S107)。

如上所述，在本实施例中，基于摄像设备的拍摄状态以及用作摄像设备的拍摄状态的示例的定点摄像的检测，来改变作为运动矢量检测的设置的帧图像的大小以及模板块的设置。因此，可以检测到适合于运动矢量的用途的被摄体的移动。

如上所述，在本实施例中，基于检测到设置有运动矢量检测装置的设备的移动(具体地，稳定状态)来将运动矢量检测的设置改变为适合于检测被摄体的移动的设置。例如，可以缩小原始图像和参考图像的大小，或者可以以集中在图像的中央部的方式来配置模板块。因此，可以根据各情形来动态和适当地控制运动矢量检测的设置。

其它实施例

可以组合地实现上述实施例。例如，通过组合第一实施例和第三实施例，即使在选择了与用于检测照相机的移动的设置相关联的拍摄模式的情况下，也可以在照相机处于稳定状态时将用于检测照相机的移动的设置改变为用于检测被摄体的移动的设置。此外，例如，在将第一实施例和第二实施例相互组合的情况下，可以在没有检测到平摇的状态下进行与所设置的拍摄模式相对应的设置，并且只要在正检测平摇期间，就可以将该设置改变为适合于检测特定方向上的大移动的设置。当然，也可以进行其它组合。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (19)

1.一种运动矢量检测装置，包括：

检测部件，用于检测多个图像之间的运动矢量；以及

控制部件，用于进行关于所述运动矢量的检测的设置，

其中，所述控制部件基于所述检测部件要检测的运动矢量的用途以及设置有所述运动矢量检测装置的设备的移动至少之一，针对所述运动矢量的检测来改变与所述多个图像有关的设置和与检测时所使用的图像区域有关的设置至少之一。

2.根据权利要求1所述的运动矢量检测装置，其中，与所述多个图像有关的设置包括与所述多个图像的大小的缩小有关的设置。

3.根据权利要求1或2所述的运动矢量检测装置，其中，所述用途包括用于检测所述设备的移动的用途和用于检测所述多个图像之间的被摄体的移动的用途。

4.根据权利要求1所述的运动矢量检测装置，其中，

所述检测部件通过在针对所述多个图像的一个图像所设置的搜索范围内搜索与所述多个图像的另一图像中所设置的模板块的相关度较高的区域，来检测所述运动矢量，以及

与图像区域有关的设置包括与所述模板块有关的设置和与所述搜索范围有关的设置至少之一。

5.根据权利要求4所述的运动矢量检测装置，其中，所述控制部件设置具有与所述模板块的大小相对应的大小的所述搜索范围。

6.根据权利要求4或5所述的运动矢量检测装置，其中，与所述模板块有关的设置包括大小、数量、配置和形状至少之一。

7.根据权利要求4或5所述的运动矢量检测装置，其中，所述控制部件基于所述检测部件要检测的运动矢量的用途以及设置有所述运动矢量检测装置的所述设备的移动至少之一来改变所述模板块的大小和数量。

8.根据权利要求7所述的运动矢量检测装置，其中，所述控制部件将所述模板块的大小是第一大小的情况下的模板块的数量设置得大于所述模板块的大小是比所述第一大小大的第二大小的情况下的模板块的数量。

9.根据权利要求8所述的运动矢量检测装置，其中，在所述用途是用于检测所述多个图像之间的被摄体的移动的用途的情况下，所述控制部件将所述模板块的大小设置为所述第一大小，以及

在所述用途是用于检测所述设备的移动的用途的情况下，所述控制部件将所述模板块的大小设置为所述第二大小。

10.根据权利要求4或5所述的运动矢量检测装置，其中，

所述用途包括用于检测所述设备的移动的用途和用于检测所述多个图像之间的被摄体的移动的用途，

在所述用途用于检测所述设备的移动的情况下，所述控制部件以使模板块分布在所述多个图像中的一个图像上的方式来设置模板块，以及

与所述用途用于检测所述设备的移动的情况相比，在所述用途用于检测所述被摄体的移动的情况下，所述控制部件以使模板块集中在所述多个图像中的一个图像的中央部的方式来设置数量更多且大小更小的模板块。

11.根据权利要求10所述的运动矢量检测装置，其中，与所述用途用于检测所述设备的移动的情况相比，在所述用途用于检测所述被摄体的移动的情况下，所述控制部件将所述多个图像的缩小率设置得更大。

12.根据权利要求4或5所述的运动矢量检测装置，其中，所述设备的移动是所述设备在特定方向上的移动，以及

在检测到所述设备在所述特定方向上的移动的情况下，所述控制部件进行用以缩小所述多个图像的大小的设置，并且与没有检测到所述设备在所述特定方向上的移动的情况相比，所述控制部件使所述模板块在所述特定方向上扩大。

13.根据权利要求1或2所述的运动矢量检测装置，其中，所述设备是具有多个拍摄模式的摄像设备，以及

所述控制部件根据与所述摄像设备中所设置的拍摄模式相关联的用途来改变所述设置。

14.根据权利要求1或2所述的运动矢量检测装置，其中，所述设备的移动包括所述设备在特定方向上的移动以及所述设备的稳定状态至少之一。

15.根据权利要求14所述的运动矢量检测装置，其中，所述设备是摄像设备，以及所述设备在特定方向上的移动是平摇。

16.一种摄像设备，包括：

摄像部件；

图像处理部件；以及

运动矢量检测装置，其包括：

检测部件，用于检测多个图像之间的运动矢量；以及

控制部件，用于进行关于所述运动矢量的检测的设置，

其中，所述控制部件基于所述检测部件要检测的运动矢量的用途以及所述摄像设备的移动至少之一，针对所述运动矢量的检测来改变与所述多个图像有关的设置和与检测时所使用的图像区域有关的设置至少之一，以及

所述检测部件检测所述摄像部件所拍摄的并且经由所述图像处理部件所供给的所述多个图像之间的运动矢量。

17.根据权利要求16所述的摄像设备，其中，所述控制部件针对所述图像处理部件来配置与所述多个图像的大小的缩小有关的设置。

18.根据权利要求16或17所述的摄像设备，其中，基于所述运动矢量检测装置所检测到的运动矢量来进行模糊防止控制。

19.一种运动矢量检测装置的控制方法，所述运动矢量检测装置包括用于检测多个图像之间的运动矢量的检测部件，所述控制方法包括：

基于所述检测部件要检测的运动矢量的用途以及设置有所述运动矢量检测装置的设备的移动至少之一，针对所述运动矢量的检测来改变与所述多个图像有关的设置和与检测时所使用的图像区域有关的设置至少之一。