CN103797514A

CN103797514A - 图像处理装置、图像处理方法、成像装置、电子设备和程序

Info

Publication number: CN103797514A
Application number: CN201280045116.6A
Authority: CN
Inventors: 益浦健; 松浦俊; 葛谷直规
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-08-15
Filing date: 2012-08-01
Publication date: 2014-05-14
Also published as: WO2013024703A1; JP2013041387A; US9361704B2; US20140185882A1

Abstract

本发明涉及能够相对于局部运动被摄体、照明强度改变等鲁棒的并提供用于执行高度精确的全局运动搜索处理的特征的图像处理装置、图像处理方法、成像装置、电子设备和程序。图像处理装置装备有：图像划分部件，配置为将经历处理的图像划分为多个图像；划分图像选择部件，配置为从多个划分图像中选择对于其运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；第一运动搜索处理部件，配置为对于每一划分图像执行运动搜索处理；和第二运动搜索处理部件，配置为基于对于所选的划分图像的第一运动搜索处理部件的运动搜索处理有关的信息，对于不经历图像划分的整个图像执行运动搜索处理。

Description

图像处理装置、图像处理方法、成像装置、电子设备和程序

技术领域

本说明书中公开的技术涉及图像处理装置、图像处理方法、成像装置、电子设备和程序。更具体地，其涉及用于执行运动矢量搜索（ME：运动估计）以估计图像序列中的图像之间的全局运动的量的技术（也称为“全局运动搜索处理”）。

背景技术

块匹配熟知为用于运动估计的最典型的方法。为了估计图像序列中的多个图像（典型地包括一个当前图像和一个参考图像的两个图像）之间的全局运动量，基本上采取在整体图像上的对于每一划分的块产生的运动矢量（MV：运动矢量，也称为“局部MV”）的加权平均。在这种情况下，可以通过减小具有更少不可靠的局部MV的块的权重来改进鲁棒性（例如，参见日本专利申请特开No.5-289159和日本专利申请特开No.2006-222933）。然而，因为需要大量块匹配的计算资源来获得每个块的运动矢量MV，所以用于执行块匹配的方法总的来说不是很有效。

作为另一运动估计方法，存在对于整体图像的运动估计。作为对于整体图像的运动估计方法，已知LK方法（Lucas-Kanade方法）（参见“An IterativeImage Registration Technique with an Application to Stereo Vision”，B.D.Lucas，T.Kanade，Intl.Joint Conf.on AI，pp.674-679，1981，也称为非专利文件1）。当使用用于整体图像的LK方法时，与块匹配相比，可以执行具有好的计算效率的全局运动搜索处理GME。

另一方面，作为改进鲁棒性的运动估计方法，已知执行图像分割（也称为屏幕分割）（参见日本专利申请特开No.2004-015376）。在执行该图像分割的方法中，输入图像被划分为多个图像并对于每一划分图像执行运动估计。通过加权基于划分图像的可靠性对于每一划分图像计算出的运动矢量MV，可以改进鲁棒性。

引文列表

专利文件

专利文件1：日本专利申请特开No.5-289159

专利文件2：日本专利申请特开No.2006-222933

专利文件3：日本专利申请特开No.2004-015376

非专利文件

非专利文件1：“An Iterative Image Registration Technique with anApplication to Stereo Vision”，B.D.Lucas，T.Kanade，Intl.Joint Conf.on AI，pp.674-679，1981。

发明内容

技术问题

然而，虽然LK方法可以执行与块匹配相比具有显著更大的计算效率的全局运动搜索处理GME，但是因为用于整体图像的LK方法不计算局部MV，所以不能改进鲁棒性。非专利文件1公开了执行图像分割，使用LK方法执行运动搜索处理，对于运动搜索处理结果执行非正常值消除，并执行对于整体图像的运动搜索处理。然而，考虑到精度仍然存在困难。另外，在用于执行图像分割的方法中，对于每一划分图像执行加权，确定在确定为其可靠性低的划分图像中的全部像素的可靠性。当在确定为其可靠性低的划分图像中存在高度可靠的像素时，因为通过加权划分图像而使得高度可靠的像素的信息具有低可靠性，所以即使像素实际具有高可靠性，在运动估计中也不能有效地使用其信息，结果是使得运动估计的精度降低。

由此，本公开具有提供能够执行对局部移动被摄体、照明强度改变等鲁棒并具有高精度的全局运动搜索处理的技术的目的。优选地，目的进一步在于提供能够执行对局部移动被摄体、照明强度改变等鲁棒并具有高精度的全局运动搜索处理同时保持高计算效率的技术。

技术方案

根据本公开第一方面的图像处理装置包括：图像分割单元，配置为使得要处理的图像变为多个划分图像；划分图像选择单元，配置为从多个划分图像中选择划分图像，其选择运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；第一运动搜索处理单元，配置为对于每一划分图像执行运动搜索处理；和第二运动搜索处理单元，配置为基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。在从属于根据本公开第一方面的图像处理装置的权利要求中描述的每一图像处理装置指定根据本公开第一方面的图像处理装置的其他有益的说明性示例。

根据本公开第二方面的图像处理方法包括：图像分割步骤，使得要处理的图像变为多个划分图像；划分图像选择步骤，从多个划分图像中选择划分图像，其选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；第一运动搜索处理步骤，对于每一划分图像执行运动搜索处理；和第二运动搜索处理步骤，基于第一运动搜索处理步骤对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

根据本公开第三方面的成像装置包括：固态成像装置；光学系统，配置为形成在固态成像装置的成像区域中获得的被摄体图像的图像；第一存储单元，配置为存储由固态成像装置获得的图像；第一信号处理单元，配置为对由固态成像装置获得的图像执行预定信号处理；第二存储单元，配置为存储第一信号处理单元中处理的图像；图像分割单元，配置为使得从第二存储单元读取的图像变为多个划分图像；划分图像选择单元，配置为从多个划分图像选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；第一运动搜索处理单元，配置为对于每一划分图像执行运动搜索处理；第二运动搜索处理单元，配置为基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理；和第二信号处理单元，配置为通过参考第二运动搜索处理单元的运动搜索处理的结果，对于从第一存储单元读取的图像执行校正处理。

根据本公开第四方面的电子设备包括：第一存储单元，配置为存储输入的图像；第一信号处理单元，配置为执行输入图像的预定信号处理；第二存储单元，配置为存储第一信号处理单元中处理的图像；图像分割单元，配置为使得从第二存储单元读取的图像变为多个划分图像；划分图像选择单元，配置为从多个划分图像选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；第二运动搜索处理单元，配置为基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理；和第二信号处理单元，配置为通过参考第二运动搜索处理单元的运动搜索处理的结果，对于从第一存储单元读取的图像执行运动校正处理。

根据本公开第五方面的程序使得计算机用作：图像分割单元，配置为使得要处理的图像变为多个划分图像；划分图像选择单元，配置为从多个划分图像选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；第一运动搜索处理单元，配置为对于每一划分图像执行运动搜索处理；和第二运动搜索处理单元，配置为基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。根据本公开的程序优选地通过使用电子计算机（计算机）以软件实现根据本公开的图像处理装置。该程序可以通过存储在可由计算机读取的存储介质中而提供或者可以通过经由有线或者无线通信方法分布而提供。

根据本公开的第一方面的图像处理装置的从属权利要求中描述的各个配置、技术和方法可以应用于根据本公开第二方面的图像处理方法、根据本公开第三方面的成像装置、根据本公开第四方面的电子设备和根据本公开第五方面的程序，且应用这些的配置指定其他有益的说明性示例。

简而言之，根据本说明书中公开的技术，要处理的图像被划分为多个图像且对于每一划分图像执行第一运动搜索处理。换句话说，执行运动估计并基于运动估计结果的结果计算比如运动矢量之类的运动信息。接下来，从多个划分图像中选出其中运动搜索处理的可靠性等于或者大于预定阈值（高可靠性的运动搜索处理）的划分图像。然后，在第二运动搜索处理中，基于所选的划分图像的第一运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。换句话说，在第二次时，基于具有高可靠性的所选的划分图像的第一运动搜索处理的信息，对于其中未执行图像分割的整体图像中的每一像素执行运动估计，且基于运动估计的结果计算整体图像的运动信息（运动矢量等）。

总体来看，因为可以通过使用图像分割执行具有高鲁棒性的运动估计且还可以对于高度可靠的划分图像执行基于第一运动搜索处理结果的包括非正常值消除处理的第二运动搜索处理，所以可以执行不浪费信息的运动估计。确定是否是高度可靠的像素，且可以执行运动估计而不丢弃高度可靠的像素的信息（相反地，丢弃具有不高的可靠性的像素的信息）。具体地，虽然使用图像分割方法，但是在不执行每一划分图像的加权且基于高度可靠的划分图像的运动搜索处理结果选择高度可靠的像素的情况下，对于整体图像中的每一像素，使用高度可靠的像素执行运动估计，且可以计算整体图像的运动信息。因为确定为具有低可靠性的划分图像中的全部像素不被确定为具有低可靠性且将不丢弃高度可靠的像素的信息，所以可以执行具有高精度的全局运动搜索处理。因为使用图像分割方法，所以可以执行对局部移动被摄体、照明强度改变等鲁棒的运动估计。

另外，在根据第一方面的图像处理装置、根据第二方面的图像处理方法、根据第三方面的成像装置、根据第四方面的电子设备和根据第五方面的程序中，优选地包括以下配置作为优选的方面。例如，各个运动搜索处理单元中的至少一个使用Lucas-Kanade方法（LK方法）执行运动搜索处理。通过使用LK方法，可以以小计算量执行运动估计且可以改进计算效率。这里，当使用LK方法时，优选地另外包括以下配置。首先，第一运动搜索处理单元优选地基于加法计算结果计算运动信息，该加法计算结果是基于一计算公式执行的对于整个划分图像的加法计算出的加法计算结果，该计算公式由与每一划分图像中的每一像素的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量相关的至少一条信息表示。另外，当执行加法计算时，对于整体图像，基于由与每一像素的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量相关的至少几条信息表示的计算公式，第二运动搜索处理单元优选地基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，根据设置条件确定其是否是高度可靠的像素，并当满足设置条件时执行加法计算。

技术效果

关于根据第一方面的图像处理装置、根据第二方面的图像处理方法、根据第三方面的成像装置、根据第四方面的电子设备和根据第五方面的程序，因为使用图像分割方法，所以可以执行对局部移动被摄体、照明强度改变等鲁棒的运动估计。虽然使用图像分割，但是因为不丢弃高度可靠的像素的信息，所以能够执行具有高精度的运动估计。因为可以基于具有高精度的运动估计结果计算精确图像校正信息，所以可以通过应用于图像模糊校正处理、超分辨率处理等来执行有保证的图像处理。另外，在优选的方面中，可以执行对局部移动被摄体、照明强度改变等鲁棒并具有高精度的运动估计，同时保持大的计算效率。

附图说明

图1（A）和图1（B）是解释根据第一实施例的全局运动搜索处理装置和具有其的图像处理装置的简图。

图2是解释由根据第一实施例的全局运动搜索处理装置执行的全局运动搜索处理的过程的整体概况的流程图。

图3是解释图像分割单元的图像分割处理的过程的流程图。

图4是解释在图3所示的图像分割处理过程中划分的划分图像和指定划分图像的位置的坐标信息之间的关系的简图。

图5是解释第一运动搜索处理单元的根据第一实施例的第一运动搜索处理（S21）的流程图。

图6是解释第一运动搜索处理单元的偏微分值计算处理（S218）的流程图。

图7是解释划分图像选择单元的划分图像选择处理（S30）的流程图。

图8（A）到图8（D）是解释在图7所示的划分图像选择处理中选择的划分图像和划分图像编号之间的关系的简图。

图9是解释根据第一实施例的运动搜索确定单元的运动搜索处理中的有效性确定处理的流程图。

图10是解释第二运动搜索处理单元的根据第一实施例的第二运动搜索处理（S51）的流程图。

图11是图示具有全局运动搜索处理应用于的图像处理装置的成像装置的配置示例的简图。

图12是图示成像装置中安装的图像处理装置的详细配置示例的简图。

图13（A）和图13（B）是图示根据第二实施例的全局运动搜索处理装置和具有其的图像处理装置的简图。

图14是解释由根据第二实施例的全局运动搜索处理装置执行的全局运动搜索处理的过程的整体概况的流程图。

图15（A）和图15（B）是图示根据第三实施例的全局运动搜索处理装置和具有其的图像处理装置的简图。

图16是解释图像分割单元的图像分割处理（步骤S12C）的过程的流程图。

图17是图示图16所示的图像分割处理过程中划分的划分图像和指定划分图像的位置的坐标信息之间的关系的简图。

图18（A）和图18（B）是图示根据第四实施例的全局运动搜索处理装置和具有其的图像处理装置的简图。

图19是解释由根据第四实施例的全局运动搜索处理装置执行的全局运动搜索处理的过程的整体配置的流程图。

图20（A）和图20（B）是图示根据第五实施例的全局运动搜索处理装置和具有其的图像处理装置的简图。

图21是解释由根据第五实施例的全局运动搜索处理装置执行的全局运动搜索处理的过程的整体配置的流程图。

图22（A）和图22（B）是图示根据第六实施例的全局运动搜索处理装置和具有其的图像处理装置的简图。

图23是解释由根据第六实施例的运动搜索确定单元执行的运动搜索处理中的有效性确定处理（步骤S40F）的流程图。

图24（A）和图24（B）是图示根据第七实施例的全局运动搜索处理装置和具有其的图像处理装置的简图。

图25是解释根据第七实施例的运动搜索确定单元的运动搜索处理中的有效性确定处理的流程图。

具体实施方式

在下文中，将参考附图详细说明由该说明书公开的技术的实施例。当在每一实施例中区分各个功能元件时，附上字母的标记“_n”（n是数字）或者其组合，当给出说明而不区分功能元件时，省略那些标记。这在所有图中是相同的。

以以下次序做出说明。

1.整体概况

2.第一实施例：每一装置的基本配置

3.第二实施例：仿射信息的应用

4.第三实施例：使用对象信息的图像分割

5.第四实施例：其中对于划分图像执行非正常值消除的新的第二运动搜索处理

6.第五实施例：其中对于整体图像的非正常值消除的新的第三运动搜索处理

7.第六实施例：在第一处理后使用边缘量信息的运动估计的可靠性确定

8.第七实施例：在第一处理循环中使用边缘量信息的运动估计的可靠性确定

<整体概况>

首先，将解释基本主题。在本说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序中，图像分割单元首先在执行全局运动搜索处理时将要处理的图像划分为多个图像。第一运动搜索处理单元执行每一划分图像的运动估计并基于运动估计的结果计算运动矢量等的运动信息。划分图像选择单元从多个划分图像选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像（在下文中，也简称为“高度可靠的划分图像”）。划分图像选择单元优选地基于第一运动搜索处理单元的每一划分图像的运动搜索处理的信息选择具有运动搜索处理结果的高可靠性的划分图像。

关于“第一运动搜索处理单元的每一划分图像的运动搜索处理的信息”中的“运动搜索处理的信息”，例如，可以使用作为运动搜索处理结果计算出的运动信息（运动矢量）。然而，不限于本示例且可以使用与运动估计有关的各种信息。计算使用信息根据某一规则用于判断（确定）的指标值，并确定是否是“高度可靠的划分图像”。

可以通过比较根据某一规则计算出的指标值与预定阈值来基于绝对标准确定是否是“高度可靠的划分图像”。替代地，基于其中从全部划分图像中选出具有相对高的指标值（例如，值越大则可靠性越高）的划分图像（可以多于一个图像）的相对标准进行确定。在前一示例中，在下面的处理（第二运动搜索处理等）中使用的划分图像的数目取决于怎样设置阈值而变化，以使得存在可能需要重复设置阈值且因为有时可能没有选择图像而再次重复相同处理的困难。在后一示例中，虽然可以使得在下面的处理（第二运动搜索处理等）中使用的划分图像的数目恒定，但是存在在执行全部划分图像的指标值的计算之后处理不能进行到确定处理的困难。

在第二运动搜索处理中，第二运动搜索处理单元对于由划分图像选择单元选择的划分图像基于第一运动搜索处理单元的第一运动搜索处理的信息执行其中未执行图像分割的整体图像的运动估计，并基于运动估计的结果重新计算整体图像的运动信息。换句话说，基于第一运动搜索处理的信息重新执行运动搜索处理。在这种情况下，可以基于第一运动搜索处理单元的第一运动搜索处理的信息执行非正常值消除处理。例如，第二运动搜索处理单元确定是否要处理的像素的运动搜索处理的可靠性等于或者大于预定阈值（是否是高度可靠的像素）（执行非正常值消除），并通过使用具有等于或者大于阈值的可靠性（高可靠性）的像素来执行对于未划分的整体图像的运动搜索处理。换句话说，对于第二次，基于确定为具有高可靠性的所选的划分图像的第一运动搜索处理的信息对于每一像素确定其是否是高度可靠的像素，执行运动估计而不丢弃高度可靠的像素的信息（相反地，同时丢弃具有不高的可靠性的像素的信息），且基于运动估计的结果对于整体图像计算运动信息（运动矢量等）。

作为在“对于由划分图像选择单元选择的划分图像的第一运动搜索处理单元的第一运动搜索处理的信息”中的“运动搜索处理的信息”，可以使用与运动估计有关的各种信息，比如作为运动搜索处理结果计算出的运动信息（运动矢量），例如，在计算运动信息的处理中的积和操作结果，不与运动信息的计算有关的像素值变化量自身的加法值等。计算使用信息根据某一规则用于判断（确定）的指标值，并确定是否是“高度可靠的像素”。

是否是“高度可靠的像素”的确定可以通过比较基于所选的划分图像的第一运动搜索处理的信息而根据某一规则计算出的指标值与阈值而基于绝对标准进行。或者可以通过基于相对标准的阈值比较来进行确定，在该相对标准中，在整体图像的全部像素当中丢弃那些具有相对低的指标值的像素（例如，当可靠性变得更高时为更大的值）。在前一示例中，因为在后面的处理（具体地，在积和操作处理）中使用的全部像素的数目取决于怎样设置阈值而变化，所以存在虽然确定地计算对运动信息做出贡献的像素的数目但是顺序地执行确定处理和积和操作处理的优点。在后一示例中，虽然可以使得在下面的处理（积和操作处理）中使用的全部像素的数目恒定，但是存在在不计算全部像素的指标值的情况下处理不能进行到确定处理或者积和操作处理的困难。

在第二运动搜索处理中，在整体图像中应用图像分割，基于关于每一像素的高度可靠的划分图像的运动搜索处理结果来选择高度可靠的像素。因为不对于每一划分图像执行加权，所以可以防止不使得确定为具有低可靠性的划分图像中的全部像素为低可靠的。当在确定为具有低可靠性的划分图像中存在高度可靠的像素时，该像素被适当地选择为高度可靠的像素。结果，无论哪个划分图像存在高度可靠的像素，可以安全地选择高度可靠的像素的信息而不被浪费以执行运动估计，以使得可以执行具有高精度的运动估计。这允许执行具有高鲁棒性且不浪费高度可靠的像素的信息的高度精确的运动估计。

当成像装置或者电子设备通过在早期步骤中使用上述的全局运动搜索处理执行图像模糊校正、超分辨率处理、时间轴积分处理、高动态范围处理、缝合处理、立体视觉匹配处理等时，因为可以基于高度精确的运动估计结果计算高度精确的图像校正信息，所以可以实现有保证的图像模糊校正、超分辨率处理等。

在本说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序优选地另外包括代表性特征值计算单元。这是为应对划分图像选择单元选择具有高可靠性的运动搜索处理结果的多于一个划分图像的情况。在这种情况下，代表性特征值计算单元基于第一运动搜索处理单元对于所选的多个划分图像的运动搜索处理的信息来计算与运动搜索处理有关的代表性特征值。响应于该结果，第二运动搜索处理单元执行第二运动搜索处理。换句话说，第二运动搜索处理单元对于所选的多个划分图像基于由代表性特征值计算单元计算出的代表性特征值来确定是否是具有高可靠性的运动搜索处理结果的像素，并通过使用高度可靠的像素执行整体图像的运动搜索处理。

本说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序优选地包括确定单元，其通过基于第一运动搜索处理单元的对于每一划分图像的运动搜索处理的信息确定全局运动搜索的难度是否等于或者大于预定阈值（难度是否是高的），来确定第一运动搜索处理的运动搜索结果是否是无效的。当确定单元确定第一运动搜索处理单元的运动搜索结果无效时，可以使得第二运动搜索处理单元不执行运动搜索处理。这是由于不能执行有效的运动估计。替代地，在改变选择划分图像的选择条件之后可以再次执行处理。

作为在“第一运动搜索处理单元的对于每一划分图像的第一运动搜索处理的信息”中的“运动搜索处理的信息”，例如，可以使用与运动估计有关的各种信息，比如作为运动搜索处理结果计算出的运动信息（运动矢量），在计算运动信息的处理中的积和操作结果，不与运动信息的计算直接有关的像素值变化量自身的加法值等。计算使用信息根据某一规则用于判断（确定）的指标值，并确定是否是“高度可靠的像素”。例如，对于全部划分图像获得基于由与每一像素中的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量有关的至少一条信息表示的计算公式的整体划分图像的加法计算结果，和基于整体划分图像的加法计算结果计算出的运动信息，且根据由获得的值表示的条件表达式来确定全局运动搜索的难度是否高。作为“由获得的值表示的条件表达式”，存在与LK方法的整体图像中的误差函数值的分布的标准偏差有关的条件表达式，或者与每一像素的时间方向上像素值变化的绝对值有关的条件表达式。

该说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序优选地包括第三运动搜索处理单元，其在基于第一运动搜索处理单元的对于划分图像的运动搜索处理的信息确定是否是高度可靠的像素时执行每一划分图像的运动搜索处理（称为第一方法）。在这种情况下，第二运动搜索处理单元基于第三运动搜索处理单元的每一划分图像的运动搜索处理的信息，执行其中未执行图像分割的整体图像的运动搜索处理。替代地，可以包括基于第二运动搜索处理单元的整体图像的运动搜索处理的信息来执行其中未执行图像分割的整体图像的运动搜索处理的第三运动搜索处理单元（称为第二方法）。当采用第二方法时，第三运动搜索处理单元也可以基于第二运动搜索处理单元的第二运动搜索处理的信息执行非正常值消除处理。换句话说，可以在确定是否是高度可靠的像素之后通过使用高度可靠的像素对于整体图像执行运动搜索处理。

简而言之，在第一方法和第二方法中，通过使用包括非正常值消除处理的运动搜索处理的信息再次执行包括非正常值消除处理的运动搜索处理。因为可以通过使用更精确的运动估计的信息执行非正常值消除，所以可以执行有保证的运动搜索处理。在第一方法中，通过对于每一划分图像再次执行运动搜索处理和图像选择，虽然处理量与第二方法相比增加，但是可以计算用于非正常值消除的精确的值。另一方面，在第二方法中，因为执行整体图像的包括非正常值消除的运动搜索处理且通过使用该信息再次执行整体图像的包括非正常值消除的运动搜索处理，每一划分图像的运动搜索处理和图像选择仅需要一次，且与第一方法相比处理量减小。

在本说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序中，基于要处理的图像的图像特征值执行图像分割和/或运动搜索处理。作为“要处理的图像的图像特征值”，存在图像的对象信息和边缘信息。

例如，当“要处理的图像的图像特征值”是对象信息时，可以使得图像分割单元是其中要处理的图像可以基于作为图像特征值的图像中的对象信息而不平均地划分为多个划分图像的配置。通过使用对象信息根据聚焦被摄体的运动执行图像分割，图像可以被划分为局部运动的图像和不具有（或者具有很少）局部运动的图像，以使得可以执行有保证的运动搜索处理。

替代地，当“要处理的图像的图像特征值”是边缘信息时，使得其是如下配置：包括确定第一运动搜索处理单元的运动搜索结果是否无效的确定单元，且确定单元可以通过基于作为图像特征值的边缘信息确定全局运动搜索的难度是否高来确定第一运动搜索处理单元的运动搜索结果是否无效。因为基于边缘信息确定第一运动搜索处理单元的运动搜索处理的可靠性，且在具有低可靠性的运动估计结果的图像中使得运动估计结果无效，所以不执行错误的校正。换句话说，为了避免错误的校正，计算整体图像的边缘量，且当在整体图像中存在很少边缘时，可以确定第一运动搜索处理单元的运动搜索处理结果是无效的。

替代地，当“要处理的图像的图像特征值”是边缘信息时，使得其是如下配置：包括确定第一运动搜索处理单元的运动搜索结果是否无效的确定单元，且该确定单元可以基于作为图像特征值的边缘信息对于每一划分图像确定第一运动搜索处理单元的运动搜索结果是否无效，且当无效时，可以确定第一运动搜索处理单元的划分图像的运动搜索处理结果是无效的。在这种情况下，划分图像选择单元在确定单元的处理之后基于第一运动搜索处理单元对于每一划分图像的运动搜索处理的信息选择具有高可靠性的运动搜索处理结果的划分图像。另外，确定单元可以在上述确定之后通过基于全部划分图像的第一运动搜索处理单元的运动搜索处理的信息确定全局运动搜索的难度是否高来确定运动搜索结果是否无效。在这种配置中，对于每一划分图像计算边缘量，且当在划分图像中存在很少边缘时，使得划分图像的运动搜索处理结果无效。由此，不使用不正确的运动搜索处理结果执行图像分割，可以执行有保证的图像分割。另外，因为可以执行具有高精度的非正常值消除，所以可以在第二次或者随后的运动搜索处理中执行有保证的运动搜索处理。

在本说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序中，作为作为运动搜索处理的结果计算出的运动信息，可以计算关于图像的平行位移的运动信息且可以计算关于图像的旋转位移的运动信息。当计算结果仅是平行位移信息时，处理变得容易，但是不能使用除了线性位移信息之外的高级位移信息。另一方面，当计算结果包括仿射信息时，虽然变为多个处理，但是可以计算旋转、缩放、剪切、两个图像之间的平行位移的信息，且可以使用另外的高级位移信息。这允许除平行位移的校正之外还执行旋转、缩放和剪切的校正，且可以输出进一步稳定化的图像序列。

在本说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序中，优选地，各个运动搜索处理单元中的至少一个使用LK方法执行运动搜索处理。通过采用LK方法，除了执行对局部移动被摄体和照明强度改变鲁棒的高度精确的运动估计之外，可以保持进一步改进的计算效率。

当使用LK方法时，进一步优选地，第一运动搜索处理单元基于由关于每一像素的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量的至少一条信息表示的计算公式，基于对于输入的划分图像执行的加法计算出的加法计算结果，对于划分图像计算运动信息。例如，第一运动搜索处理单元可以基于由关于每一像素的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量的至少一条信息表示的计算公式，基于对于整体划分图像执行的加法计算出的加法计算结果，对于每一划分图像计算运动信息。

替代地，当使用LK方法时，进一步优选地，第二运动搜索处理单元可以基于由关于每一像素的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量的至少一条信息表示的计算公式对于整体图像执行加法计算。在这种情况下，第二运动搜索处理单元可以基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，根据设置条件确定是否是高度可靠的像素，并当满足设置条件时执行加法计算。例如，作为用于确定是否是具有高可靠性的运动搜索处理结果的像素的信息，第二运动搜索处理单元基于由关于每一像素的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量的至少一个信息表示的计算公式，获得整体划分图像的加法计算结果，并根据由获得的各个值表示的设置条件来确定对于每一像素是否相加。另外，第二运动搜索处理单元可以使用关于指示在LK方法中从其选择误差函数值的跨越各个整体图像的分布状态的指标值的设置条件，或者关于指示在LK方法中从其选择像素值变化的跨越各个整体划分图像的分布状态的指标值的设置条件。

固态成像装置包括电荷检测单元（典型地，光电转换单元），该电荷检测单元响应于电磁波且可应用于以电荷检测单元捕获图像的图像捕获单元，且通过安装到使用该固态成像装置的整体成像装置或者电子设备而被采用。例如，其用于比如数码相机、摄像机等的成像装置，且作为电子设备，存在具有成像功能的便携式终端装置，比如移动电话、使用固态成像装置或者成像装置作为图像扫描仪的复印机等。固态成像装置和成像装置包括线性传感器和区域传感器。换句话说，固态成像装置可以被认为是其中线性地或者以矩阵布置响应于从外部输入的比如光、辐射线等电磁波的多个单元组成元件（例如，像素）的物理量分布检测半导体器件的一方面，且成像装置可以被认为是使用物理量分布检测半导体器件的物理信息获取装置（物理量分布检测装置）的一方面。

除包括响应于从外部输入的比如光、辐射线等的电磁波的电荷检测单元的固态成像装置之外，本实施例的配置可以应用于作为电荷量的改变检测各种物理量的改变的各种东西。例如，其可以应用于检测其他物理变化的装置，比如通过基于根据压力的电特性改变或者光学特性改变来检测关于指纹的信息而检测指纹的图像的指纹验证装置。公开的技术可以应用于例如触摸板中的检测单元。替代地，在计算机的领域中，使用用于通过基于根据压力的电特性改变或者光学特性改变来检测关于指纹的信息而检测指纹的图像的指纹验证装置等。这些装置读取作为电信号的被使用单元组成元件（固态成像装置中的像素）转换为电信号的物理量分布，以使得可以应用公开的技术。安装在电子设备上的相机模块有时被称为成像装置。在以下解释的配置中，使用到固态成像装置和包括固态成像装置的成像装置的应用来代表性地解释。然而，除此之外，其可以应用于具有成像功能的各种电子设备。从以上可以理解，除权利要求中描述的技术之外，包括类似于固态成像装置等的功能单元的物理量分布检测半导体器件和物理信息获取装置可以被提取为由本说明书提出的技术。这里，在本说明书中，在没有例外标记（例如，在该部分中区别地解释的问题）的情况下，物理量分布检测半导体器件被代表性地描述为固态成像装置（换句话说，物理量分布检测半导体器件包括固态成像装置），且物理信息获取装置被代表性地描述为成像装置（换句话说，物理信息获取装置包括成像装置）。

<具体应用示例>

将解释本说明书中公开的图像处理装置、图像处理方法、成像装置、电子设备和程序的具体应用示例。

[第一实施例]

[全局运动搜索处理装置和图像处理装置]

图1是解释全局运动搜索处理装置和包括全局运动搜索处理装置的图像处理装置的第一实施例的简图。图1（A）图示包括全局运动搜索处理装置3A的图像处理装置1A的第一实施例；且图1（B）是图示第一实施例的全局运动搜索处理装置的基本配置的框图。

如图1（A）所示，第一实施例的图像处理装置1A包括全局运动搜索处理装置3A。第一实施例的全局运动搜索处理装置3A执行全局运动搜索处理，其引入包括当前图像CIM和参考图像RIM（例如，前一帧的图像）的两个图像并输出一对运动矢量MV（具体地，作为第二运动搜索处理（第二ME）结果的运动矢量MV'）。不同于之后描述的第二实施例，指示图像中的运动的运动矢量MV'仅表示平行位移。

如图1（B）所示，全局运动搜索处理装置3A包括第一运动搜索处理单元10（第一ME）（第一运动搜索处理单元）、运动搜索确定单元20、第二运动搜索处理单元30（第二ME）（第二运动搜索处理器）和存储单元50（存储器）。运动搜索确定单元20确定第一运动搜索处理单元10的运动搜索结果是否无效，且包括标准差确定单元22和像素值变化确定单元24作为基于第一运动搜索处理对于每一划分图像的运动搜索处理信息确定全局运动搜索的难度是否高的功能单元。标准差确定单元22使用第一运动搜索处理单元10（第一ME）的处理结果、加法结果等计算关于误差函数值的标准差Se，并将标准差Se与阈值比较。像素值变化确定单元24使用第一运动搜索处理单元10（第一ME）的处理结果、加法结果等计算像素值变化的绝对值D，并将绝对值D与阈值比较。运动搜索确定单元20基于标准差确定单元22和像素值变化确定单元24的阈值比较结果中的至少一个来确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）是否有效。

这里，将使用包括运动搜索确定单元20的配置解释本实施例。然而，可以采用没有运动搜索确定单元20的配置。在这种情况下，第二运动搜索处理单元30执行第二运动搜索处理而不参考运动搜索确定单元20的处理结果。

作为本实施例的特征，全局运动搜索处理装置3A包括划分图像和从划分图像计算代表性运动矢量MV的图像分割和选择处理单元60。本实施例的第一运动搜索处理单元10执行由图像分割和选择处理单元60划分的每一划分图像（划分区域）的运动搜索处理并具有作为划分区域运动矢量计算单元的功能。图像分割和选择处理单元60将图像区域划分为多个图像并基于由第一运动搜索处理单元10计算出的每一划分区域中的一对每一特征量选择具有高可靠性的一个或多个图像区域。当选择单个图像区域时，所选的值用作代表性特征值，且当选择多个图像区域时，基于所选的图像区域计算代表性特征值。

为了执行这些处理，具体地，图像分割和选择处理单元60首先包括图像分割单元62和划分图像选择单元66。另外，提供基于第一运动搜索处理单元10对于所选的多个划分图像的运动搜索处理的信息来计算关于运动搜索处理的代表性特征值（代表性运动矢量）的代表性特征值计算单元（代表性运动矢量计算单元）。在图中的示例图示第二运动搜索处理单元30包括代表性特征值计算单元38的示例。在这种情况下，在第二运动搜索处理期间，计算代表性特征值。这里，代表性特征值计算单元可以作为第二运动搜索处理单元30的替代被提供给图像分割和选择处理单元60，且在这种情况下，应用在执行第二运动搜索处理之前计算代表性特征值的配置（参见第四和第五实施例）。

在整体图像区域中，第二运动搜索处理单元30基于图像分割和选择处理单元60中获得的代表性特征值（运动矢量MV）选择每一像素中的高度可靠的像素，并使用高度可靠的像素执行运动估计。第二运动搜索处理单元30基于该结果计算整体图像区域的一组运动信息。

全局运动搜索处理装置3A具有对于整体图像多次（两次或者更多）执行LK方法以在两个图像序列I(x,y,t)之间执行全局运动搜索处理GME（全局ME）的功能，其中该图像序列I(x,y,t)表示为二维图像的水平方向(x)、垂直方向(y)和时间方向(t)的函数。这里，全局运动搜索处理装置3A具有在第一运动搜索处理（第一ME）中对于由图像分割和选择处理单元60划分的每一划分图像执行运动搜索处理且在第二运动搜索处理（第二ME）中基于由图像分割和选择处理单元60获得的代表性运动矢量MV对于整体图像执行运动搜索处理从而执行高度可靠的估计的特征。在该运动估计方法中，输入图像被划分为多个图像区域，在每一划分图像中执行第一运动估计，基于第一运动估计的结果计算特征值，且基于计算出的特征值对于整体输入图像执行第二运动估计。通过此，可以执行具有高鲁棒性和高精度的运动估计。在下文中，将简要地解释每一功能单元的基本处理。

这里，例如，执行运动矢量的检测的方法可以是梯度方法（其不限于LK方法且可以使用其他方法）、块匹配方法、Hesse方法、SIFT方法等中的任意方法。另外，虽然多于一次地执行运动矢量的检测，但是在每一检测中使用的方法可以不同。为了说明书的简化的缘故，作为优选的示例，将解释对于运动矢量的每一检测使用基于LK方法的方法的示例。

（图像分割和选择处理单元60：划分图像和选择高度可靠的划分图像）

作为图像分割方法，存在比如在日本专利申请特开No.2004-015376中描述的图像分割等的各种方法。然而，可以采用任意方法。另外，对于采用的任意方法，不限于均匀地划分图像的方法且可以是不均匀的图像分割。

存在用于选择高度可靠的划分图像的各种方法。然而，可以采用任意方法，只要可以选择高度可靠的图像区域即可。例如，图像分割单元62将要处理的图像序列I(x,y,t)的区域划分为多个区域且第一运动搜索处理单元10计算每一划分区域的特征量（在这种情况下，运动矢量MV）。划分图像选择单元66从各个特征量（运动矢量MV）选择具有高可靠性的特征量的一个或多个划分区域。当由划分图像选择单元66选择的划分区域的数目是一时，代表性运动矢量计算单元68将划分区域的特征量设置为代表性特征值，且当由划分图像选择单元66选择的划分区域的数目大于一时，代表性运动矢量计算单元68基于各个划分区域的特征量来计算代表性特征值。

这里，当选择一个或多个划分区域时，优选地使用分类处理。例如，通过基于第一运动搜索处理（第一ME）的结果获得运动矢量MV与另一划分图像的运动矢量MV的差异并以计算出的值作为分类关键进行分类，选择与另一划分图像具有运动矢量MV的小的差异的预定数目的划分图像且在存储单元50中存储该信息。优选地改变要在每一运动估计处理中选择的划分图像的数目。

（第一运动搜索处理单元10：第一运动搜索处理（第一ME））

在第一运动搜索处理中，对于每一划分图像作为LK方法的结果计算一对运动矢量MV(Vx,Vy)，且在存储单元50中存储计算出的结果。例如，存储的运动矢量MV用于选择划分图像或者用在第二运动搜索处理中。在这种情况下，在存储单元50中存储获得运动矢量MV(Vx,Vy)所需的处理的计算结果，其是Axx(=Σ(I_x)²)、Ayy(=Σ(I_y)²)、Axy(=Σ(I_x·I_y))、Axt(=Σ(I_x·I_t))和Ayt(=Σ(I_y·I_t))以便之后用于ME无效确定、第二和随后的运动搜索处理等。另外，也计算在初始LK方法中不需要的比如Ax(=ΣI_x)、Ay(=ΣI_y)、At(=ΣI_t)、Att(=Σ(I_t)²)之类的加法信息，且计算结果被存储在存储单元50中。这里，I_x、I_y和I_t表示在图像序列I(x,y,t)的水平、垂直和时间方向上像素的像素值变化量，以使得例如可以采用比如计算偏微分值的各种计算方法。由I_x、I_y、I_t组成的加法值Σ的项表示跨越整体划分图像将每一分量相加的值（总和）（根据需要也加上时间分量）。例如，虽然在本实施例中不使用，但考虑水平、垂直和时间方向的全部的加法值∑是由在水平方向上的像素值变化量、在垂直方向上的像素值变化量和在时间方向上的像素值变化量构成的任意计算公式的计算结果跨越整体图像相加的值。考虑水平方向和垂直方向的加法值∑是由水平方向上的像素值变化量和垂直方向上的像素值变化量构成的任意计算公式的计算结果跨越整体图像相加的值。考虑水平方向（或者垂直方向）和时间方向的加法值∑是由水平方向上（或者垂直方向上）的像素值变化量和时间方向上的像素值变化量构成的任意计算公式的计算结果跨越整体图像相加的值。

（运动搜索确定单元20：第一运动搜索处理结果的有效/无效的确定）

运动搜索确定单元20通过使用第一运动搜索处理结果和该处理中的计算结果来确定第一运动搜索处理单元10的运动搜索处理是有效还是无效。例如，运动搜索确定单元20在其基于由第一运动搜索处理单元10获得的运动矢量MV(Vx,Vy)确定全局运动搜索处理GME的难度高时确定第一运动搜索处理单元10的运动搜索处理结果无效。在这种情况下，第二运动搜索处理单元30不需要执行第二LK方法。在该确定的情况下，第二运动搜索处理单元30使用第一运动搜索处理结果和该处理中的计算结果来获得标准差Se（=σe，其是LK方法的整体图像中的误差函数值的分布的标准差）和绝对值D（=δ，其是每一像素的时间方向上的像素值变化的绝对值），并执行用于将标准差Se和/或绝对值D与阈值参数比较的处理（阈值比较）。运动搜索确定单元20在各个值“低于”阈值时确定第一运动搜索处理单元10的运动搜索处理“有效”。对应于此，第二运动搜索处理单元30使用第一运动搜索处理结果和该处理中的计算结果并执行第二运动搜索处理。另一方面，运动搜索确定单元20在各个值“大于”阈值时确定第一运动搜索处理单元10的运动搜索处理“无效”，并将第一运动搜索处理结果的运动矢量MV(Vx=DVx,Vy=DVx)设置为“0：零”。在这种情况下，全局运动搜索处理装置3A结束整体处理而不执行第二运动搜索处理单元30的第二运动搜索处理。应当注意，“低于”可以是“等于或者低于”或者“少于”。对应于此“低于”，关于“高”，“高于”可以与“等于或低于”一起使用，且“等于或高于”可以与“少于”一起使用。

通过这种运动搜索确定单元20的标准差Se和绝对值D的阈值比较，可以避免错误地使用当图像内的局部运动过大时更可能产生的不需要的运动矢量MV。类似地，通过标准差Se和绝对值D的阈值比较，可以避免错误地使用当图像内中的照明强度的改变过大时更可能产生的不需要的运动矢量MV。这里，当执行阈值比较时，可以通过在也使用过去的标准差Se和绝对值D的平均滤波器之后与阈值比较来获得优选的结果。可以通过与具有滞后特性的阈值比较来获得进一步优选的结果。

（第二运动搜索处理单元30：第二运动搜索处理（第二ME））

在第二运动搜索处理中，基本上类似于第一运动搜索处理，作为LK方法的结果重新计算一对运动矢量MV'(Vx',Vy')，且在存储单元50中存储计算结果。这里，与第一运动搜索处理的差异将确定当获得计算MV’需要的该处理中的计算结果或者加法信息时是否在每一像素中执行加法。该处理中的计算结果是Axx'(=Σ(I'_x)²)、Ayy'(=Σ(I'_y)²)、Axy'(=Σ(I'_x·I'_y))、Axt'(=Σ(I'_x·I'_t))和Ayt'(=Σ(I'_y·I'_t))。加法信息包括Ax'(=ΣI'_x)、Ay'(=ΣI'_y)、At'(=ΣI'_t)和Att'(=Σ(I'_t)²)。这里，在之后描述的实施例中，计算结果Axx'、Ayy'、Axy'、Axt'和Ayt'以及加法信息Ax'、Ay'、At'和Att'存储在存储单元50中以用于另外的随后的运动搜索处理等。放置撇号（'）以区分第一计算和第二计算。然而，因为关于同一对图像执行LK方法两次，所以I'实际上等于I。另一方面，因为执行是否相加的确定，所以每一计算值变为不同于第一值的值。

这里，第二运动搜索处理单元30使用第一运动搜索处理结果和该处理中的计算结果来确定是否相加，并获得误差函数值的分布平均Me'和标准差Se'以及像素值变化的分布平均Mi'和标准差Si'。另外，第二运动搜索处理单元30计算每一像素中非正常值相对于分布平均的程度，并执行将非正常值的程度与预定阈值参数（例如，标准差）比较的处理（阈值比较）。

分布平均Me'是LK方法中所选的划分图像（所选的图像）内误差函数值的分布的平均μe'。标准差Se'是LK方法中所选的划分图像内误差函数值的分布的标准差σe'。分布平均Mi'是所选的划分图像内时间方向上的像素值变化的分布的平均μi'。Si'是所选的划分图像内时间方向上的像素值变化的分布的标准差σi'。

当它们中之一或者它们两者都满足时（非正常值的程度大于阈值，在下文中，也称为“是非正常值”），第二运动搜索处理单元30进行到下一像素而不获得每一加法值Σ（这里，具体的Axx'、Ayy'、Axy'、Axt'和Ayt'）。换句话说，第二运动搜索处理单元30基于LK方法中误差函数值的平均和标准差从每一像素的误差函数值计算非正常值的程度，确定计算出的值是否大于阈值，且当满足时不使用该像素来计算运动矢量MV'。第二运动搜索处理单元30基于时间方向上像素值变化的平均和标准差从每一像素的像素值变化计算非正常值的程度，确定计算出的值是否大于阈值，且当满足时不使用该像素来计算运动矢量MV'。通过该方式，可以除去以某种程度的局部运动和工作为噪声的亮度的改变且可以获得作为全局运动矢量MV'的期望结果。

具体来说，在第一实施例中（与在后面描述的实施例相同），因为第一处理结果和计算处理中的信息用于在第二LK方法中消除非正常值，所以与包括非专利文件1中公开的非正常值消除的LK方法的情况（其中不使用第一处理结果和计算处理中的信息）相比可以减小处理量。由此，可以执行对局部移动被摄体或者照明强度改变鲁棒的全局运动搜索处理，同时保持LK方法的高计算效率。

[全局运动搜索处理装置的具体处理]

（处理过程的整体概况）

图2是解释第一实施例中全局运动搜索处理装置3A执行的全局运动搜索处理的过程的整体概况的流程图。

首先，图像分割和选择处理单元60的图像分割单元62接收图像分割数目N的设置（S10）并根据图像分割数目N划分要处理的帧图像（当前图像CIM）和参考图像RIM（S12：在之后详细地描述）。这里，如以下将要描述的，可以接收水平分割数目X和垂直分割数目Y的设置且可以基于接收的设置来设置图像分割数目N。

接下来，第一运动搜索处理单元10对于每一划分图像使用LK方法执行第一运动搜索处理（第一ME）。具体地，第一运动搜索处理单元10首先将对应于划分图像编号的运算符n设置为“0”（S20），并对于第n（=0）个划分图像使用LK方法执行运动搜索处理（第一ME）（S21：在之后详细地描述）。第一运动搜索处理单元10在存储单元50中存储作为在“n（=0）”的条件下执行的处理的结果的运动矢量MV(Vx,Vy)作为运动矢量MDV(DVx[n],DVy[n])（S26）。然后，第一运动搜索处理单元10将运算符n递增“1”并重复相同处理直到完成运算符n=N-1的条件下的处理（S20，S28-N）。

当第一运动搜索处理单元10对于全部划分图像完成第一运动搜索处理（第一ME）时（S28-Y），图像分割和选择处理单元60的划分图像选择单元66使用每一划分图像的运动搜索处理（第一ME）的结果选择高度可靠的划分图像（S30：在之后详细地描述）。

接下来，运动搜索确定单元20使用第一运动搜索处理结果和第一运动搜索处理单元10的处理期间的计算结果来确定全局运动搜索处理GME的难度和可靠性，并确定第一运动搜索处理（第一ME）是否无效（有效）（S40：在之后详细地描述）。当确定全局运动搜索处理GME的难度高时，运动搜索确定单元20取消第一运动搜索处理单元10的运动搜索处理（S48-Y），将作为第一运动搜索处理结果的运动矢量MV(Vx=DVx,Vy=DVx)设置为“0：零"，并将其作为全局运动搜索处理GME的结果（运动矢量MV）输出（S92）。在这种情况下，不必须由第二运动搜索处理单元30执行第二LK方法，且全局运动搜索处理装置3A结束整个处理。另一方面，当确定全局运动搜索处理GME的难度低时，运动搜索确定单元20验证第一运动搜索处理单元10的运动搜索处理（S48-N），且响应于此，第二运动搜索处理单元30使用第一运动搜索处理结果和处理期间的计算结果来执行第二运动搜索处理（S51：在之后详细地描述）。第二运动搜索处理单元30作为全局运动搜索处理GME的结果（运动矢量MV）输出第二运动搜索处理（第二ME）的结果的运动矢量MV'(Vx',Vy')并结束整个处理（S94）。当第一运动搜索处理单元10的第一运动搜索处理（第一ME）无效时（S48-Y），不由第二运动搜索处理单元30执行第二运动搜索处理（第二ME）。这防止不期望的运动矢量MV的误用并减小处理负担。

（图像分割处理）

图3和图4是解释图像分割和选择处理单元60的图像分割单元62的第一实施例的图像分割处理（S12）的简图。这里，图3是解释图像分割单元62的图像分割处理的过程的流程图。图4是解释图3所示的图像分割处理过程中划分的划分图像和指定划分图像的位置的坐标信息之间的关系的简图。应当注意，关于每一划分图像的编号，在从左上开始到左下，然后移动到在右边的下一列且从上移动到下时，左上位置设置为0且右下位置设置为最后编号（N-1）。

图像分割单元62首先接收要处理的图像（当前图像CIM）的宽度W（由像素的数目指定）、高度H（由像素的数目指定）、水平分割数目X和垂直分割数目Y和参考图像RIM（紧接在要处理的图像之前的帧的图像）的设置（S120）。第一实施例的图像分割处理方法是均匀地划分图像且水平分割数目X和垂直分割数目Y的乘积为图像分割数目N的方法。

接下来，图像分割单元62根据设置的水平分割数目X和垂直分割数目Y执行图像分割，并将指定每一划分图像的位置的坐标信息存储到存储单元50。具体地，图像分割单元62在设置对应于水平分割数目X阵列改变要素a从0到“X-1”并设置对应于垂直分割数目Y的阵列改变要素b为从0到“Y-1”时计算划分图像的位置信息，并开始要存储在存储单元50中的二维循环（S124）。当处理开始时，图像分割单元62分别首先设置阵列改变要素a和阵列改变要素b为“0”（S124），并计算指定第“a·X+b”个划分图像的位置的在垂直方向上的坐标信息Dy[a·X+b]和在水平方向上的坐标信息Dx[a·X+b]（S126）。例如，为获得每一划分图像的左上点坐标信息，坐标信息Dx[a·X+b设置为W/X·a且坐标信息Dy[a·X+b]设置为H/Y·b（S126）。这里描述的坐标信息的计算公式是示例且可以使用比如左下点或者中心点的其它计算公式。图像分割单元62将获得的坐标信息Dx[a·X+b]和坐标信息Dy[a·X+b]存储到存储单元50以在第一运动搜索处理（第一ME）中使用（S126）。然后，图像分割单元62确定a,b循环是否结束。当其未结束时，处理返回到步骤S124（S128-N），且当其结束时，处理进行到下一步骤。换句话说，图像分割单元62将阵列改变要素a或者阵列改变要素b递增“1”并重复相同的处理直到完成其中阵列改变要素a是X-1且阵列改变要素b是Y-1的处理（S128-N）。

例如，图4图示在设置水平分割数目X为2且垂直分割数目Y为2时在水平方向上具有1400个像素作为宽度W和在垂直方向上具有1000个像素作为高度H的图像总体上被划分为四个图像的示例情况。当a=0且b=0时，坐标信息Dx[0·2+0]计算为1400/2·0=0且坐标信息Dy[0·2+0]计算为1000/2·0=0。换句话说，第0（=“a·X+b”）个划分图像在左上，且划分图像的左上点具有为0的水平方向坐标信息Dx[0]和为0的垂直方向坐标信息Dy[0]。当a=0且b=1时，坐标信息Dx[0·2+1]计算为1400/2·0=0且坐标信息Dy[0·2+1]计算为1000/2·1=500。换句话说，第1（=“a·X+b”）个划分图像在左下，且划分图像的左上点具有为0的水平方向坐标信息Dx[1]和为500的垂直方向坐标信息Dy[1]。当a=1且b=0时，坐标信息Dx[1·2+0]计算为1400/2·1=700且坐标信息Dy[1·2+0]计算为1000/2·0=0。换句话说，第2（=“a·X+b”）个划分图像在右下，且划分图像的左上点具有为700的水平方向坐标信息Dx[2]和为0的垂直方向坐标信息Dy[2]。当a=1且b=1时，坐标信息Dx[1·2+1]计算为1400/2·1=700且坐标信息Dy[1·2+1]计算为1000/2·1=500。换句话说，第3（=“a·X+b”）个划分图像在右下，且划分图像的左上点具有为700的水平方向坐标信息Dx[3]和为500的垂直方向坐标信息Dy[3]。

（第一运动搜索处理（第一ME））

图5是图示第一运动搜索处理单元10的第一实施例的第一运动搜索处理（S21）的流程图。这里图示的运动搜索处理是放大LK方法的示例，且基本上，第一运动搜索处理单元10根据以下等式（称为等式（1））获得运动矢量MV(Vx,Vy)。注意到，Axx(=Σ(I_x)²)、Ayy(=Σ(I_y)²)、Axy(=Σ(I_x·I_y))、Axt(=Σ(I_x·I_t))、Ayt(=Σ(I_y·I_t))且div=Axx·Ayy-Axy·Axy=Axx·Ayy-(Axy)²。

[数学公式1]

\begin{matrix} V_{x} = (Axy \cdot Ayt - Ayy \cdot Axt) / {(Axx \cdot Ayy - (Axy)}^{2} \\ = (Axy \cdot Ayt - Ayy \cdot Axt) / div \\ V_{y} = (Axy \cdot Axt - Axx \cdot Ayt) / {(Axx \cdot Ayy - (Axy)}^{2} \\ = (Axy \cdot Axt - Axx \cdot Ayt) / div \end{matrix}\} - - - (1)

将顺序地解释该过程。第一运动搜索处理单元10首先输入当前图像阵列I和参考图像阵列J，并获得划分图像的宽度W'(=W/X)（划分图像编号的运算符n）和划分图像的高度H'(=H/Y)（S210）。

接下来，第一运动搜索处理单元10将第一处理计算出的参数Axx、Ayy、Axy、Axt和Ayt设置为初始值0（S212），并将参数Ax、Ay、At和Att设置为初始值0（S214）。

接下来，第一运动搜索处理单元10将划分图像（划分图像编号n）的坐标x从Dx[n]切换到Dx[n]+W'-2，并将坐标y从Dy[n]切换到Dy[n]+H'-2，并开始二维循环以计算图像序列I(x,y,t)的水平、垂直和时间方向上像素的像素值变化量（这里，采用偏微分值），并将其存储在存储单元50中（S216）。“W'-2”和“H'-2”中的“-2”是循环处理中的最后像素位置且可以适当地设置。当最终位置位于划分图像侧时，可以使用对应于最后像素位置的“-1”（也就是，图像宽度W-1=图像的最后坐标）。然而，当如之后所述的执行偏微分计算时，使用“-2”以使得因为要涉及一个前向像素，所以处理在一侧之前的像素结束。

当处理开始时，第一运动搜索处理单元10计算在坐标(x,y)的当前图像I和参考图像J的偏微分值I_x、I_y和I_t，并将计算出的结果存储在存储单元50中（S218：在之后详细地描述）。第一运动搜索处理单元10基于计算出的偏微分值I_x、I_y和I_t计算Axx、Ayy、Axy、Axt和Ayt，并将计算出的结果存储在存储单元50中。具体地，像素的I_x·I_x被加到Axx，像素的I_y·I_y被加到Ayy，像素的I_x·I_y被加给Axy，像素的I_x·I_t被加到Axt且像素的I_y·I_t被加到Ayt，Axx、Ayy、Axy、Axt和Ayt是在前一循环分别计算出的（S220）。另外，第一运动搜索处理单元10还基于计算出的偏微分值I_x、I_y和I_t计算LK方法中最初不需要的Ax、Ay、At和Ayt，并将计算出的结果存储在存储单元50中。具体地，像素的I_x被加到Ax，像素的I_y被加到Ay，像素的I_t被加到At，且像素的I_t·I_t被加到Att，Ax、Ay、At和Att是在前一循环中分别计算出的（S222）。

第一运动搜索处理单元10确定x,y循环是否结束。处理在其不结束时返回到步骤S216（S224-N），且处理在其结束时进行到后续的步骤。换句话说，当完成划分图像编号n的划分图像的全部像素的第一运动搜索处理（第一ME）时（S224-Y），第一运动搜索处理单元10使用计算出的Axx、Ayy、Axy、Axt和Ayt并基于等式（1）计算运动矢量MV(Vx,Vy）（S226），并在存储单元50中存储计算出的结果（S228）。

（偏微分值计算处理）

图6是解释第一运动搜索处理单元10的偏微分值计算处理（S218）的流程图。第一运动搜索处理单元10获得在坐标(x,y)的当前图像I和参考图像J（S230），并获得它们的偏微分值I_x、I_y和I_t（S232）。例如，关于当前图像I，获得水平方向上从当前像素移位一个单元（一个像素）的像素（像素编号增加1）的偏微分值I[y][x+1]和当前像素的偏微分值I[y][x]之间的差值（=I[y][x+1]-I[y][x]）作为偏微分值I_x，且获得垂直方向上从当前像素移位一个单元（一个像素）的像素（像素编号增加1）的偏微分值I[y+1][x]和当前像素的偏微分值I[y][x]之间的差值（=I[y+1][x]-I[y][x]）作为偏微分值I_y。另外，第一运动搜索处理单元10获得在作为在时间方向上移位一个单元的当前图像I和参考图像J的相同像素的偏微分值I[y][x]与偏微分值J[y][x]）之间的差值（=I[y][x]-J[y][x]）作为偏微分值I_t。第一运动搜索处理单元10在存储单元50中存储各个计算出的偏微分值I_x、I_y和I_t（S234）。

（划分图像选择处理）

图7和图8是解释图像分割和选择处理单元60的划分图像选择单元66的第一实施例的划分图像选择处理（S30）的简图。这里，图7是解释划分图像选择单元66的划分图像选择处理（S30）的流程图。图8是解释在图7所示的划分图像选择处理中选择的划分图像与划分图像编号之间的关系的简图。图8（A）图示第一运动搜索处理（第一ME）在存储单元50中存储的全部划分图像的运动矢量MDV(DVx,DVy)与Axx、Ayy、Axy、Axt、Ayt、Ax、Ay、At和Att的累加值。[n]（括号中的数字）表示每一划分图像编号。

划分图像选择单元66首先在存储单元50中存储与另一划分图像的运动矢量MDV(DVx[n],DVy[n])的差值的阵列K[n]和划分图像编号的阵列T[n]，并设置高度可靠的划分图像的选择数目M（M等于或者低于整体分割数目N）（S300）。划分图像的选择数目M可以在每一运动估计处理中改变。为了有用的目的而使得选择数目M“等于或者低于整体分割数目N”。例如，当整体图像的可靠性高时，选择数目M可以指定为N。根据第一实施例，当M=N时可以执行处理，且因为设置“划分图像的选择数目M可以在每一运动估计处理中改变”，所以除选择数目M“低于整体分割数目N”之外可以指定M=N。当M=N时，执行图像分割和图像选择的处理。然而，实质上，对于整体图像执行两个运动搜索处理（第二处理是非正常值放出）。这里，对于整体图像不简单地重复两个相同的运动搜索处理。

接下来，划分图像选择单元66在将运算符n从0改变为“N-1”和将运算符m从0改变为“N-1”时，并基于每一划分图像中的运动搜索处理（第一ME）的结果，通过使用运动矢量MDV(DVx[n],DVy[n])（“n”是从0到“N-1”，参见图8（A））开始二维循环以计算运动矢量差值总值K[n]，并在存储单元50中存储计算出的值（S302）。当处理开始时，划分图像选择单元66首先将运算符n设置为0，在设置运算符m从0到“N-1”时（当n=m时不需要处理）计算水平方向和垂直方向之间每一运动矢量差值的总数，作为运动矢量差值总值K[0]，并在存储单元50的阵列中存储（S304）。具体地（如参考图8解释的），总值K[0]初始化为“0”，运算符m设置为1，且计算K[0]=|(DVx[0]-DVx[1])|+|DVy[0]-DVy[1]|。接下来，计算当运算符m设置为2时的|(DVx[0]-DVx[2])|+|DVy[0]-DVy[2]|，计算出的结果被加到已经在前一循环（m=1）中计算出的K[0]。另外，通过计算当运算符m设置为3时的|(DVx[0]-DVx[3])|+|DVy[0]-DVy[3])|并将计算出的结果加到已经在前一循环（m=2）中计算出的K[0]，来获得并在存储单元50中存储最后的运动矢量差值总值K[0]。类似地，通过重复设置运算符n从1到“N-1”，分别获得并在存储单元50的每一阵列中存储运动矢量差值总值K[1]、运动矢量差值总值K[2]和运动矢量差值总值K[3]（参见图8（B））。

然后，划分图像选择单元66确定n,m循环是否结束，当循环未结束时返回到步骤S302（S306-N），并当循环结束时进行到分类处理（S306-Y）。当分类处理开始时，划分图像选择单元66设置运算符n从0到“N-1”（S310），并通过使用获得的运动矢量差值总值K[n]（“n”是从0到N-1：图8（B）中的K[0]、K[1]、K[2]和K[3]）作为分类关键来开始单维循环以分类。当分类运动矢量差值总值K[n]时，也分类各个划分图像编号T[n]（参见图8（C））。在图8（C）所示的示例中，关系被描述为K[2]<K[3]<K[1]<K[0]。基于该结果，分别以K[2]、K[3]、K[1和K[0]的次序分类运动矢量差值总值K[n]。并且，对应于此，分别以T[0]=2、T[1]=3、T[2]=1和T[3]=0的次序分类划分图像编号T[n]。

然后，划分图像选择单元66确定n循环是否结束，当循环未结束时返回到步骤S310（S314-N），并当循环结束时进行到图像选择处理（S314-Y）。当图像选择处理开始时，在存储单元50中维持选择划分图像编号的阵列Dn[n]时，划分图像选择单元66开始单维循环以设置运算符n从0到“M-1”（S320），并基于分类的运动矢量差值总值K[n]（“n”是从0到N-1：图8（B）中的K[0]、K[1]、K[2]和K[3]）选择划分图像的数目M。当选择处理开始时，划分图像选择单元66基于分类的结果选择具有另一划分图像的运动矢量MDV的小的差值的划分图像编号的选择数目（数目M）（在该示例中，运动矢量差值总值K[n]），并在存储单元50中存储选择划分图像编号阵列Dn[n]中划分图像编号T[n]的信息（S332：参见图8（D））。然后，划分图像选择单元66确定n循环是否结束，当循环未结束时返回到步骤S320（S324-N），并当循环结束时进行到划分图像选择处理（S324-Y）。在图8（D）所示的示例中，选择数目M是2，且存储计算为T[0]=2的选择划分图像编号Dn[0]和计算为T[1]=3的选择划分图像编号Dn[1]。

（运动搜索有效性确定处理）

图9是解释根据第一实施例的运动搜索确定单元20的运动搜索处理的有效性确定处理的流程图。运动搜索确定单元20首先获得要处理的图像当前图像CIM）和参考图像RIM（例如，在要处理的图像之前一个帧的图像）的宽度W（由像素的数目指定）、高度H（由像素的数目指定）和整体分割数目N的数目（S400）。例如，使用在步骤S120中的设置信息。

接下来，在接收第一运动搜索处理（第一ME）的结果时，运动搜索确定单元20获得在存储单元50中存储的全部划分图像的运动矢量MDV(DVx,DVy)以及Axx(=Σ(I_x)²)、Ayy(=Σ(I_y)²)、Axy(=Σ(I_x·I_y))、Axt(=Σ(I_x·I_t))、Ayt(=Σ(I_y·I_t))、Ax(=ΣI_x),Ay(=ΣI_y)和Att(=Σ(I_t)²)的累加值（参见图8）（S402）。

接下来，运动搜索确定单元20（标准差确定单元22和像素值变化确定单元24）根据等式（2）并使用全部划分图像的宽度W、高度H、整体分割数目N、运动矢量MDV(DVx,DVy)、Axt、Ayt、Ax、Ay和Att来计算误差函数值的标准差Se（=LK方法中整体图像中的误差函数值的分布的标准差σe）和像素值变化的绝对值D（=每一个像素的时间方向上的像素值变化的绝对值δ）（S404）。注意到整体分割数目N用于计算从DVx[0]到DVx[N-1]的平均Vxave和从DVy[0]到DVy[N-1]的平均Vyave。F(α,β,γ...)表示各个参数α,β,γ...的函数表示。参数α,β,γ,...包括以另一函数表示指示的计算值。具体的函数表示不在这里描述。另外，这里描述的F(α,β,γ,...)也是一个示例。另外，分布平均Me是LK方法中跨越整体图像的误差函数值的分布的平均。

接下来，运动搜索确定单元20（其标准差确定单元22）使用预定阈值执行标准差Se的阈值比较（S420）。作为阈值比较的结果，当确定标准差Se大于阈值时，运动搜索确定单元20确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）无效并结束处理（S422-高，S440）。作为阈值比较的结果，当标准差确定单元22确定标准差Se小于阈值时，像素值变化确定单元24通过使用预定阈值执行像素值变化绝对值D的阈值比较（S422-低，S430）。作为阈值比较的结果，当确定像素值变化绝对值D大于阈值时，运动搜索确定单元20确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）无效（S432-高，S440）。作为阈值比较的结果，当确定像素值变化绝对值D小于阈值时，运动搜索确定单元20确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）有效（S432-低，S442）。

在该示例中，在计算了误差函数值标准差Se和像素值变化绝对值D之后，执行标准差Se和绝对值D的阈值比较。然而，可以进行修改以使得在执行标准差Se和绝对值D之一的计算和阈值比较之后，执行另一个的计算和阈值比较。另外，虽然精度恶化，但是可以进行修改以使得仅执行标准差Se和绝对值D之一的计算和阈值比较。

根据第一实施例的运动搜索有效性确定处理，标准差Se的阈值比较可以防止错误地使用趋向于当图像内的局部运动过大时容易产生的运动矢量MV，且像素值变化绝对值D的阈值比较可以防止错误地使用趋向于当图像中的照明强度的改变过大时容易产生的运动矢量MV。当执行阈值比较时，可以通过在也使用过去的标准差Se和绝对值D的平均滤波器之后执行阈值比较来获得进一步优选的结果。另外，可以通过执行具有滞后特性的阈值比较来获得进一步优选的结果。

（第二运动搜索处理（第二ME））

图10是解释第二运动搜索处理单元30的第一实施例的第二运动搜索处理（S51）的流程图。

类似于第一运动搜索处理（第一ME），这里图示的第二运动搜索处理是放大LK方法的示例，且基本上，运动搜索确定单元20根据等式（1）获得运动矢量MV'(Vx',Vy')。这里，第二运动搜索处理（第二ME）不同于第一运动搜索处理（第一ME）在于对于整体图像执行计算处理和不执行对于特定像素的加法值Σ，换言之，“对于所有图像相加”。

为了确定不用于计算加法值Σ的特定像素，第二运动搜索处理单元30首先获得当前图像I和参考图像J，并获得每一图像的宽度W（由像素的数目指定）和高度H（由像素的数目指定），整体分割数目N和划分图像选择数目M的信息（S510）。例如，使用在步骤S120或者步骤S300中的设置信息。

接下来，第二运动搜索处理单元30响应于第一运动搜索处理（第一ME）的结果从存储单元50中存储的整体划分图像获得划分图像选择单元66的每一选择（所选的划分图像）的运动矢量MDV(DVx,DVy)，所选的划分图像编号Dn和Axx(=Σ(I_x)²)、Ayy(=Σ(I_y)²)、Axy(=Σ(I_x·I_y))、Axt(=Σ(I_x·I_t))、Ayt(=Σ(I_y·I_t))、Ax(=ΣI_x)、Ay(=ΣI_y)、At(=ΣI_t)以及Att(=Σ(I_t)²)的累加值（参见图8）（S512）。

接下来，第二运动搜索处理单元30通过使用宽度W、高度H、整体分割数目N、选择数目M、所选的划分图像运动矢量MDV(DVx,DVy)、Dn、Axx、Ayy、Axy、Axt、Ayt、Ax、Ay、At和Att，根据等式（3）计算误差函数值分布平均Me'、标准差Se'、像素值变化分布平均Mi'和标准差Si'（S514）。这里，误差函数值分布平均Me'是LK方法中所选的图像中的误差函数值的分布的平均μe'。误差函数值标准差Se'是LK方法中所选的图像中的误差函数值的分布的标准差σe'。像素值变化分布平均Mi'是所选的图像中在时间方向上的像素值变化的分布的平均μi'。像素值变化标准差Si'是所选的图像中在时间方向上的像素值变化的分布的标准差σi'。这里，代表性特征值计算单元38计算所选的划分图像中的运动矢量的平均值（代表性运动矢量DVxave、DVyave）作为代表性特征量。例如，代表性特征值计算单元38通过使用从DVx[0]到DVx[N-1]、选择数目M和划分图像编号Dn来计算平均DVxave（所选的划分图像中在水平方向上运动矢量的平均），并通过使用从DVy[0]到DVy[N-1]、选择数目M和划分图像编号Dn来计算平均DVyave（所选的划分图像中在垂直方向上运动矢量的平均）。作为用于计算DVxave和DVyave的方法，基于Dn[0到M-1]，每一所选的划分图像的DVx、DVy相加，并将加法结果除以选择数目M。

[数学公式3]

接下来，第二运动搜索处理单元30将第二处理计算参数Axx'、Ayy'、Axy'、Axt'和Ayt'设置为0作为初始值（S516）。接下来，第二运动搜索处理单元30开始二维循环以在设置坐标x从图像的0到W-2和坐标y从0到H-2时，计算在该图像的水平、垂直和时间方向上图像序列I(x,y,t)的像素值变化量（在该示例中与偏微分值一起使用），并存储在存储单元50中（S518）。当该处理开始时，第二运动搜索处理单元30计算在坐标(x,y)的当前图像I和参考图像J的偏微分值I'_x、I'_y和I'_t，并在存储单元50中存储计算结果（S5209）。这个偏微分值计算处理的细节与第一运动搜索处理（第一ME）的偏微分值计算处理（S218）的相同（参见图6）。

接下来，第二运动搜索处理单元30在重新计算Axx'、Ayy'、Axy'、Axt'和Ayt'的循环（S518到S534）中，基于计算出的偏微分值I'_x、I'_y和I'_t，引入条件转移以估计后面的条件表达式（S522，S524）。具体地，第二运动搜索处理单元30根据等式（4）关于LK方法中误差函数值的分布平均Me’计算每一像素中误差函数值的非正常值程度。第二运动搜索处理单元30使用预定阈值执行误差函数值的非正常值程度的阈值比较（S522）。作为“预定阈值”，例如，使用标准差Se'。当误差函数值的非正常值程度大于阈值时，处理进行到后续像素而不采用加法值Σ（S522-Y）。

[数学公式4]

（4）

当误差函数值的非正常值程度不大于阈值时（S522-N），第二运动搜索处理单元30根据等式（5）关于LK方法中误差函数值的分布平均Mi’计算每一像素中像素值变化的非正常值程度。第二运动搜索处理单元30通过使用预定阈值执行像素值变化的非正常值程度的阈值比较（S524）。作为“预定阈值”，例如使用标准差Si'。当像素值变化的非正常值程度大于阈值时，处理进行到后续像素而不采用加法值Σ（S524-Y）。

[数学公式5]

当像素值变化的非正常值程度不大于阈值时（S524-N），第二运动搜索处理单元30基于计算出的偏微分值I'_x、I'_y和I'_t计算Axx'、Ayy'、Axy'、Axt'和Ayt'，并在存储单元50中存储计算出的结果。具体地，当前像素的I'_x·I'_x被加到Axx'，当前像素的I'_y·I'_y被加到Ayy'，当前像素的I'_x·I'_y被加到Axy'，当前像素的I'_x·I'_t被加到Axt'，且当前像素的I'_y·I'_t被加到Ayt'，Axx'、Ayy'、Axy'、Axt'和Ayt'是在前一循环中分别计算出的（S530）。

第二运动搜索处理单元30确定x,y循环是否结束。当循环未结束时，处理返回到步骤S518（S534-N），且当循环结束时，处理提供后续步骤。换句话说，当完成全部像素的划分图像编号Dn的划分图像的第二运动搜索处理（第二ME）时（S534-Y），第二运动搜索处理单元30根据等式（1）使用计算出的Axx'、Ayy'、Axy'、Axt'和Ayt'计算运动矢量MV'(Vx',Vy')（S536），并在存储单元50中存储计算出的结果（S538）。

根据第一实施例的这种第二运动搜索处理（第二ME），当固定误差函数值的非正常值程度和像素值变化的非正常值程度之一或者两者的阈值比较时，处理进行到后续像素而不采用加法值∑。通过该配置，可以除去以某种程度的局部运动和作为噪声的亮度的改变且可以获得作为全局运动矢量MV的优选的结果。

另外，在第二运动搜索处理中，通过使用第一运动搜索处理的结果和该处理中的参数，可以执行对局部移动被摄体或者照明强度改变鲁棒的全局运动搜索处理，同时保持LK方法的高计算执行效率。作为用于实现第二运动搜索处理（包括非正常值消除）而不使用第一运动搜索处理的结果和该处理中的参数的方法，例如，可能有以下两个方法。

第一示例是依次执行通过LK方法的第一运动搜索处理，消除非正常值的计算（或者非正常值消除处理）和通过LK方法的第二LK（包括非正常值消除）的过程。这里，如基于第一实施例解释的，“消除非正常值的计算”是在全部像素中执行另一计算以获得误差函数值的分布平均Me'和标准差Se'以及像素值变化的分布平均Mi'和标准差Si'。因为Ax、Ay、At和Att不用于获得运动矢量MV的计算，所以这是需要的处理。在这种情况下，因为增加了消除非正常值的计算的步骤（或者非正常值消除处理），所以处理负担增加。另一方面，根据第一实施例，可以通过在LK方法的第二运动搜索处理中使用在LK方法的第一运动搜索处理计算中预先计算出的值来减小处理负担。

另外，第二示例是执行在非专利文件1中描述的技术中的LK方法的第二运动搜索处理的方法。在这种情况下，在划分图像时执行LK方法的第一运动搜索处理，在使用每一划分图像的结果时执行计算，执行非正常值消除处理，且然后通过使用非正常值消除结果执行LK方法的第二运动搜索处理。因此，与第一实施例相比，因为需要每一划分图像中非正常值消除处理的结果的使用，所以处理增加。

如上所述，根据第一实施例，在第一运动搜索处理的计算处理中（获得矢量的计算期间）获得要用于非正常值消除的参数并存储在存储单元50中，以使得该结果能够用于第二运动搜索处理。因为计算期间使用的参数的数目在LK方法中很大，所以加法计算出的数目小。在第二运动搜索处理中，因为使用存储单元50中存储的处理结果中的参数且可以在没有非正常值消除中使用的计算参数的情况下执行非正常值消除处理，所以总体上可以减小处理负担。

另外，一般的LK方法仅作为结果计算运动矢量而不能确定当计算时水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量中的哪个使得运动矢量改变。另一方面，根据第一实施例，通过使用第一运动搜索处理的结果和该处理中的参数，可以区分哪个参数使得运动矢量改变。例如，通过检查时间方向上的像素值变化（其是帧之间亮度的改变），判断运动矢量的改变由照明强度的改变引起，且通过根据判断结果执行非正常值消除处理，可以增加对于照明强度的改变的鲁棒性。

在该示例中，在除像素值变化分布平均Mi’和标准差Si’之外计算误差函数值分布平均Me’、标准差Se’之后，计算标准差的非正常值以执行阈值比较并计算像素值变化的非正常值以执行阈值比较。然而，可以进行修改以使得在执行关于标准差和像素变化值之一的每一个值的计算和阈值比较之后，执行另一个的计算和阈值比较。另外，虽然在某种程度上精度恶化，但是可以进行修改以使得仅执行标准差Se和绝对值D之一的每一个值的计算和阈值比较。

以下是可以容易地想到和包括在公开的技术中的变型。首先，已经解释了运动搜索处理的重复数目是二的情况。然而，也可以应用在重复的数目进一步增加时。另外，不仅平移位移要素的运动矢量MV的估计，而且可以应用可应用于包括旋转-放大（将在之后描述）的仿射参数估计和投影变换矩阵估计的版本。

如上所述，根据第一实施例，可以关于局部活动物体或者照明强度的改变等执行鲁棒的全局运动搜索处理GME，同时保持LK方法的高计算执行效率。另外，即使使用图像分割方法，因为不丢弃高度可靠的像素的信息，所以可以执行具有高精度的运动估计。虽然因为不获得局部运动矢量MV所以不能改进LK方法的整体图像的运动估计的鲁棒性。然而，当根据第一实施例的LK方法用于执行时，可以执行具有高鲁棒性的运动估计。通过使用LK方法，可以以少量计算执行运动估计。

可以基于由本实施例的全局运动搜索处理GME获得的运动估计结果记录和处理关于其执行运动估计的图像。通过此，本实施例的全局运动搜索处理GME可以应用于整体图像中的运动估计，用于位置调整的处理（例如，用于超分辨率、时间轴集成、图像模糊校正、三维降噪、高动态范围、全景缝合、立体视觉匹配、跟踪摄影（活动物体的静止摄影）、视频编码等的信号处理）。很明显除这些信号处理之外，如果在公开的技术的范围之内是适当的，则可以做出改变。

因为可以计算具有高精度的图像校正信息，所以本实施例的全局运动搜索处理GME可以在应用于超分辨率处理、时间轴集成处理等时执行精确的图像处理。例如，当其应用于数码相机、数码摄像机等中的图像模糊校正（DIS：数字图像稳定器）时，因为可以仅以输入图像的缩小的图像执行全局运动搜索处理GME，所以其可以由更少的计算资源实现。替代地，当使用块匹配方法时，一般包括专用硬件。然而，根据公开的技术，典型的图像缩小电路、通用存储器和处理器就足够了。具有这种效果的固态成像装置可以用作数码相机或者摄像机的成像装置。

[成像装置的配置示例]

图11是图示具有可以执行图像分割、选择高度可靠的划分图像和执行具有高精度的鲁棒的运动估计的全局运动搜索处理GME应用到的图像处理装置的成像装置的配置示例的简图。

存在组成的可以使用第一实施例的全局运动搜索处理装置3A的运动估计算法作为预处理的图像处理装置1A和包括算法的成像装置5。成像装置5除用作相机信号处理器的图像处理装置1A之外还包括固态成像装置7和光学系统9。成像单元7包括由比如CMOS图像传感器、CCD图像传感器等的成像装置、光学低通滤波器和在成像单元的光入射侧提供的滤色器组构成的成像单元，驱动成像单元的驱动控制单元和处理成像信号并作为图像信号（未示出）输出的信号处理单元。光学系统9将入射光引入到固态成像装置7的成像单元的成像区域（也就是，形成被摄体图像的图像）并具有例如集中入射光（图像光）并在成像单元的成像区域上形成图像（投射）的成像透镜91。

图像处理装置1A具有通过使用来自全局运动搜索处理装置3A的运动矢量MV’执行图像模糊校正（DIS：数字图像稳定器）的功能。除全局运动搜索处理装置3A之外，包括前级信号处理装置140（包括第一信号处理单元）和后级信号处理装置150（第二信号处理单元）。前级信号处理装置140处理由成像装置5获得的图像信号并产生用于全局运动搜索处理装置3A和后级信号处理装置150的两个系统（等于或大于两个系统）的像素值信号。如上所述，全局运动搜索处理装置3A基于由从前级信号处理装置140输入的像素值信号表示的当前图像CIM和参考图像RIM来计算运动矢量MV’（图像的运动信息）。通过使用从全局运动搜索处理装置3A输入的运动矢量MV’，后级信号处理装置150关于从前级信号处理装置140输入的像素值信号执行信号处理（特别地，关于图像模糊校正功能的处理），并将其作为视频信号输出。

[电子设备的应用示例]

固态成像装置或者成像装置可以应用于比如数码相机（电子照相机）、摄像机（数字电影）、游戏机、电子书、电子词典、蜂窝电话等的各种电子设备。另外，作为要处理的图像，除具有从固态成像装置或者成像装置获得的作为要处理的图像的图像之外，电子设备可以具有从各种存储介质读取的图像或者经由通信网络获得作为要处理的图像的图像。

例如，可能存在电子设备是使用显示模块（液晶显示器或者有机电致发光显示器）作为图像显示装置的示例的电视接收机的情况。电视接收机具有显示模块放置在例如由基底支持的前面板的正面且在显示面上提供玻璃滤光器的配置。电视接收机具有在显示面侧中包括用于检测活动物体的固态成像装置的成像装置，且第一实施例中提出的成像装置的技术（更具体地，全局运动搜索处理装置3A）可以直接应用。替代地，可能有电子设备是数码相机的情况。数码相机包括显示模块、控制开关、快门按钮等。数码相机具有包括固态成像装置的成像装置，且第一实施例中提出的成像装置（更具体地，全局运动搜索处理装置3A）的技术可以直接应用。替代地，可能有电子设备是摄像机的情况。摄像机具有在相机主体的前面的用于拍摄被摄体的图像的成像透镜，且另外放置显示模块、拍照开始/停止开关等。摄像机以应用以上所述的成像装置的方式包括固态成像装置，且可以直接应用第一实施例中提出的成像装置（更具体地，全局运动搜索处理装置3A）的技术。替代地，可能有电子设备是蜂窝电话的情况。蜂窝电话是例如翻盖电话的类型且包括上机架、下机架、显示模块、副显示器、相机、连接部分（铰链部分）、画面灯等。使得蜂窝电话的相机以应用包括固态成像装置的成像装置的方式，且可以直接应用第一实施例中提出的成像装置（更具体地，全局运动搜索处理装置3A）的技术。替代地，可能有电子设备是膝上型计算机的情况。计算机具有下机架、上机架、显示模块、网络相机、键盘等。使得计算机的网络相机以应用包括固态成像装置的成像装置的方式，且可以直接应用第一实施例中提出的成像装置（更具体地，全局运动搜索处理装置3A）的技术。

[图像处理装置的配置示例]

图12是解释成像装置5中包括的图像处理装置1A的详细配置示例的简图。前级信号处理装置140具有存储图像的第一存储单元142和第二存储单元144，以及执行缩小处理和平滑处理的缩小和平滑单元146（第一信号处理单元）。作为第一存储单元142和第二存储单元144，可以使用采用闪存存储器作为存储介质的半导体存储器、使用半导体存储器的存储装置（SSD：固态驱动器）、硬盘装置、使用光、磁的比如MO或者DVD-RAM的便携式存储介质等。后级信号处理装置150具有运动矢量滤波器152和图像切断单元154。后级信号处理装置150通过参考关于从第二存储单元144读取的整体图像的（全局运动搜索处理装置3A的）运动搜索处理的结果并关于从第一存储单元142读取的图像执行运动校正处理来输出稳定化的图像序列。

在第一存储单元142中，在每个输入图像序列I(x,y,t)中存储图像。在第二存储单元144中，存储由缩小和平滑单元146关于其执行缩小处理和平滑处理的图像。第一存储单元142中存储的图像由后级信号处理装置150（其图像切断单元154）读取。第二存储单元144中存储的图像（当前图像CIM和参考图像RIM）由全局运动搜索处理装置3A读取。通过缩小图像减小全局运动搜索处理GME中的计算量，且组合地使用通过平滑处理抗噪声并具有高精度的运动矢量MV’。因为提供第一存储单元142和第二存储单元144，所以可以同步全局运动搜索处理装置3A的运动搜索处理中路径的时间延迟（更具体地，直到输出运动矢量MV’为止的时间延迟）和从第一存储单元142的图像读取。

全局运动搜索处理装置3A从第二存储单元144读取最后输入图像（当前图像CIM）的缩小和平滑的图像和紧接在前的图像（参考图像RIM）的缩小和平滑的图像，并将作为全局运动搜索处理GME的结果获得的运动矢量MV’输出到运动矢量滤波器152。运动矢量滤波器152将当前图像CIM和参考图像RIM转换为校正矢量。在最简单的情况下，运动矢量滤波器152执行集成滤波处理（简单地，输入运动矢量MV’顺序地相加）并输出到图像切断单元154。图像切断单元154通过从第一存储单元142读取最后输入图像（当前图像CIM）并根据来自运动矢量滤波器152的校正矢量切断和放大（或者简单地切断）来产生和输出对其执行图像模糊校正的稳定化的图像序列。换句话说，因为运动矢量滤波器152关于运动矢量MV’的时间序列执行数字滤波以形成校正矢量，且图像切断单元154根据由校正矢量指示的位置切断，或者切断和放大尺寸处于与初始输入图像的某个比率的部分，所以后级信号处理装置150输出对其执行图像模糊校正的稳定化的图像序列。

这里，以用作成像装置5的图像模糊校正函数的方式解释全局运动搜索处理装置3A。然而，其不限于该示例。全局运动搜索处理装置3A可以用于超分辨率处理、时间轴集成处理、高动态范围处理、全景缝合处理、立体视觉匹配处理等。

作为执行超分辨率处理的成像装置，例如，可以参考日本专利申请特开No.2009-076984中描述的技术。作为执行高动态范围处理的成像装置，例如，可以参考日本专利申请特开No.2010-62785中描述的技术。作为执行全景缝合处理的成像装置，例如，可以参考日本专利申请特开No.2009-33392中描述的技术。作为执行立体视觉匹配处理的成像装置，例如，可以参考日本专利申请特开No.2006-313445中描述的技术。时间轴集成处理是包括全景缝合处理、超分辨率处理和高动态范围处理的技术，并且，作为执行时间轴集成处理的成像装置，例如，可以组合执行每一处理的成像装置。

[第二实施例]

[全局运动搜索处理装置和图像处理装置]

图13是解释根据第二实施例的全局运动搜索处理装置和其图像处理装置的简图。不同于以上所述的第一实施例，第二实施例具有可以通过除平行位移信息之外还输出仿射信息作为图像的运动信息来计算在两个图像之间的旋转、缩放（放大和缩小）、剪切（倾斜、剪切变形）、平行位移信息的特征。

如图13所示，根据第二实施例的图像处理装置1B包括全局运动搜索处理装置3B。根据第二实施例的全局运动搜索处理装置3B通过导入当前图像CIM和参考图像RIM（例如，紧接在前的帧的图像）这两个图像来输出一对仿射信息。虽然可以类似于第一实施例实现全局运动搜索处理GME的基本处理序列，但是与第一实施例的差异是输出一对仿射信息而不是一对运动矢量MV’。

（处理过程的整体概况）

图14是解释由第二实施例的全局运动搜索处理装置3B执行的全局运动搜索处理过程的整体概况的流程图。该过程与如图2所示的第一实施例的过程相同，在步骤S21、S30和S51执行第二实施例的特殊处理。为了定义与第一实施例的差异，添加附图标记B以指示这些步骤（与图中相同）。

例如，第一运动搜索处理单元10设置对应于划分图像编号的运算符n为“0”（S20）并使用LK方法关于第n（=0）划分图像执行运动搜索处理（第一ME）。作为该处理的结果，对于每个划分区域计算仿射信息并存储在存储单元50中（S21B）。

这里，仿射变换是放大/缩小变换被添加到平行位移和旋转变换（欧几里德变换）并允许剪切（倾斜、剪切变形）的相似变换的形式，且其是可以保持几何性质以使得在初始图形中沿直线布置的点在形成之后也沿直线布置且平行线在形成之后也是平行线的形式。如公知的，执行仿射变换的仿射矩阵的矩阵元素aij（i=1、2，j=1、2）表示确定旋转、放大/缩小和剪切的参数，且b₁和b₂表示平行位移参数。换句话说，要由第一运动搜索处理单元10计算出的仿射变换的参数是六个参数a₁₁、a₁₂、a₂₁、a₂₂和b₁、b₂。其中的表示平行位移参数的b₁和b₂对应于第一实施例的运动矢量MV(Vx,Vy)。在第二实施例中，存在除作为表示平行位移参数的b₁和b₂的运动矢量MV(Vx,Vy)之外，确定旋转、放大/缩小和剪切的参数a₁₁、a₁₂、a₂₁和a₂₂也计算为仿射信息且基于仿射信息执行各种处理。

例如，仿射参数、像素信息和坐标可以表示为等式（6-1）的关系。在等式（6-1）中，因为在每一像素中建立基本表达式，所以可以通过使用最小二乘法根据Axx、Ayy、Att、Axy、Axt、Ayt、坐标x和坐标y计算仿射参数a₁₁、a₁₂、a₂₁、a₂₂、b₁和b₂。考虑从仿射参数确定旋转、放大/缩小和剪切的参数变换，存在各种方法，且为了解释QR分解的示例，其例如表示为等式（6-2）。这里，为了简化的缘故，省略平行位移的参数b₁和b₂。α和β是放大/缩小比率，θ是旋转角，且γ是剪切。当计算时，也使用等式（6-3）。顺便提及，x和y是仿射变换之前的坐标（即，当前坐标），X和Y是仿射变换之后的坐标。

[数学公式6]

\begin{matrix} x \cdot I_{x} \cdot a_{11} + y \cdot I_{x} \cdot a_{12} + I_{x} \cdot b_{1} + x \cdot I_{y} \cdot a_{21} + y \cdot I_{y} \cdot a_{22} + I_{y} {\cdot b}_{2} - x \cdot I_{x} - y \cdot I_{y} + I_{t} = O & (6 - 1) \\ [\begin{matrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{matrix}] = [\begin{matrix} \cos θ & - \sin θ \\ \sin θ & \cos θ \end{matrix}] [\begin{matrix} α & 0 \\ 0 & β \end{matrix}] [\begin{matrix} 1 & γ \\ 0 & 1 \end{matrix}] & (6 - 2) \\ \begin{matrix}  \end{matrix} \begin{matrix} I_{x} \cdot Δx + I_{y} \cdot Δy + I_{t} = O \\ a_{11} \cdot x + a_{12} \cdot y + b_{1} = X \\ a_{21} \cdot x + a_{22} \cdot y + b_{2} = Y \\ Δx = X - x \\ Δy = Y - y \end{matrix}\} & (6 - 3) \end{matrix}\}

图像分割和选择处理单元60的划分图像选择单元66基于用于选择高度可靠的划分图像的处理中的仿射信息的旋转、缩放、剪切、平行位移的信息来选择高度可靠的划分区域（S30B）。这里，类似于平行位移参数，可以通过计算来自每一划分图像的“为确定旋转、放大/缩小和剪切的参数”的差异并分类来进行选择。例如，在图2的步骤S26，DVx和DVy是每一划分图像（Vx，Vy：实质上，划分图像中平行位移的参数）的运动矢量，且其改变为使用的每一划分图像中“为确定旋转、放大/缩小和剪切的参数”的任意一个（表示为AFx，AFy）（图14中的步骤S26B）。另外，在图7的步骤S304，对于K[n]，使用运动矢量的差值，且其改变为每一划分图像中“为确定旋转、放大/缩小和剪切的参数的差值”的任意一个以使得可以选择高度可靠的划分图像。

另外，在第二实施例中，仿射信息用在运动搜索确定单元20的运动搜索有效性确定处理（S40B，S48B）中。例如，虽然关于像素值变化的绝对值的确定处理原样地使用，但是“为确定旋转、放大/缩小和剪切的参数”的平行位移的参数用于获得误差函数。例如，获得在每一划分图像中计算出的平行位移的参数和“为确定旋转、放大/缩小和剪切的参数”的平均。根据获得的平均值计算仿射参数（对应于第一实施例中Vxave和Vyave的计算）。从该平均值获得的仿射参数定义为a₁₁ave、a₁₂ave、a₂₁ave、a₂₂ave、b₁ave和b₂ave。然后，在等式（2）中，作为Vsum的替代获得两种Vsum1和Vsum2。这里，可以表示为：Vsum1=F(a₁₁ave,a₁₂ave,a₂₁ave,a₂₂ave,b₁ave,b₂ave,x,y,I_x,,I_y,和I_t)，和Vsum2=F(a₁₁ave,a₁₂ave,a₂₁ave,a₂₂ave,b₁ave,b₂ave,x,y,I_x,,I_y和I_t)。两者都是对于全部像素执行积和操作的函数表达式，且它们之间的差别在于在Vsum2中，Vsum1的积和操作要素的平方的值被加到全部像素。另外，在等式（2）中，Me的函数表达式表示为Me=F(Vsum1,W,H)且Se的函数表达式表示为Se=F(Vsum2,Me,W,H)。

第二运动搜索处理单元30计算作为第二运动搜索处理（第二ME）的结果的仿射信息（S51B）。这里，在第二运动搜索处理（第二ME）中，为确定未包括在加法计算中的特定像素，第二运动搜索处理单元30使用仿射信息和该处理中的计算结果作为第一运动搜索处理（第一ME）的输出结果，并根据等式（7）获得误差函数值分布平均Ma'、标准差Sa'、像素值变化分布平均Mb'和标准差Sb'。分布平均Ma'是LK方法的所选的划分图像（所选的图像）中的误差函数值的分布的平均。标准差Sa'是LK方法的所选的划分图像中的误差函数值的分布的标准差。分布平均Mb'是时间方向上所选的划分图像中的像素值变化的分布的平均。Sb'是时间方向上所选的划分图像中的像素值变化的分布的标准差。

这里，为了计算Ma'和Sa'，类似于获得根据第一实施例的DVxxave和DVyxave，获得每一仿射参数中的代表值。为获得代表值的方法，可以获得所选的划分图像中的平行位移的参数和“为确定旋转、放大/缩小和剪切的参数”的平均。根据获得的平均值计算仿射参数。当输入计算出的仿射参数时其变为特征值。N、M、Dn[0到M-1]的参数和平行位移和“为确定旋转、放大/缩小和剪切的参数”可用于计算，且计算出的仿射参数设置为Da₁₁ave、Da₁₂ave、Da₂₁ave、Da₂₂ave、Db₁ave和Db₂ave。顺便提及，DVsum1和DVsum2都是对于全部像素执行积和操作的函数表达式，且它们之间的差异是在DVsum2中，DVsum1的积和操作元素的平方的值被加到全部像素。分布平均Mb’实质上与分布平均Mi’相同，且标准差Sb’实质上与标准差Si’相同。

[数学公式7]

\begin{matrix} DVsum 1 = F^{'} ({Da}_{11} ave, {Da}_{12} ave, {Da}_{21} ave, {Da}_{22} ave, {Db}_{1} ave, {Db}_{2} ave, x, y, I_{x^{'}}, I_{y}, I_{t}) \\ DVsum 2 = F^{'} ({Da}_{11} ave {, Da}_{12} ave {, Da}_{21} ave, {Da}_{22} ave {, Da}_{1} ave, {Db}_{2} ave, x, y, I_{x^{'}}, I_{y}, I_{t}) \\ M a^{'} = F (DVsum 1, W, H, M, N) \\ S a^{'} = F (DVsum 2, {Me}^{'}, W, H, M, N) \\ M b^{'} = F (At, W, H, M, N) \\ S b^{'} = F (Att, {Mb}^{'}, W, H, M, N) \end{matrix}\} - - - (7)

然后，根据每一像素中的误差函数值和/或像素值变化计算非正常值程度，并执行将其与预定阈值参数比较的处理（阈值比较）。虽然未图示，将如下解释图10的修改（“B”被加到步骤编号的末尾）。例如，第二运动搜索处理单元30根据等式（8）关于LK方法中的误差函数值分布平均Ma'计算关于每一像素中的误差函数值的非正常值程度（S514B）。第二运动搜索处理单元30通过使用预定阈值执行关于误差函数值的非正常值程度的阈值比较（S522B）。作为“预定阈值”，例如使用标准差Sa'。

[数学公式8]

当关于误差函数值的非正常值程度大于阈值时，处理进行到下一像素而不采用加法值Σ（S522B-Y）。当关于误差函数值的非正常值程度不大于阈值时（S522B-N），第二运动搜索处理单元30根据等式（9）（实质上，与等式（5）相同）关于LK方法中误差函数值的分布平均Mb’计算关于每一像素中的像素值变化的非正常值程度。第二运动搜索处理单元30通过使用预定阈值执行关于像素值变化的非正常值程度的阈值比较（S524B）。作为“预定阈值”，例如使用标准差Sb'。当非正常值程度大于关于像素值变化的阈值时，处理进行到下一步骤而不采用加法值Σ（S524B-Y）。

［数学公式9］

在第一实施例中，因为输出结果仅是平行位移信息所以处理简单，但是不能使用除了线性位移信息之外的高级位移信息。相反，在第二实施例中，因为执行处理的数据是仿射信息，所以处理复杂。然而，可以计算两个图像之间的旋转、缩放、剪切、平行位移的信息且可以使用更高级的位移信息。由此，当第二实施例的全局运动搜索处理装置3B应用于图像处理装置1或者成像装置5时，除平行位移的校正之外可以执行旋转、缩放和剪切的校正并可以输出进一步稳定化的图像序列。

[第三实施例]

[全局运动搜索处理装置和图像处理装置]

图15是解释全局运动搜索处理装置和包括全局运动搜索处理装置的图像处理装置的第三实施例的简图。第三实施例具有除两个图像（当前图像CIM和参考图像RIM）之外引入图像中的对象信息OJ且引入的对象信息OJ用于图像分割。这里，对象信息OJ是作为运动物体检测等的结果的图像中的对象的坐标（例如，中心坐标）、尺寸等的信息。在下文中，将解释第一实施例的修改。然而，可以对第二实施例做出相同的修改。

如图15所示，第三实施例的图像处理装置1C具有全局运动搜索处理装置3C。第三实施例的全局运动搜索处理装置3C引入当前图像CIM和参考图像RIM（例如，紧接在前的帧的图像）这两个图像和对象信息OJ，并输出一对运动矢量MV’。可以类似于第一实施例实现全局运动搜索处理GME的基本处理序列。然而，存在参考对象信息OJ划分为没有运动（或者很少运动）的划分图像和具有运动的划分图像的特征。类似于划分图像的坐标信息，图像分割单元62在存储单元50中存储各个划分图像的高度和宽度。第一运动搜索处理单元10使用存储的划分图像的坐标信息、宽度和高度执行第一运动搜索处理（第一ME）。因为使用对象信息OJ执行图像分割，所以可以划分具有局部运动的图像和没有局部运动的图像。换句话说，根据第一实施例或者第二实施例的图像分割是图像均匀划分的方法。然而，第三实施例的图像分割是通过使用对象信息OJ不均匀地划分图像的方法。

[图像分割处理]

图16和图17是解释图像分割和选择处理单元60的图像分割单元62的第三实施例的图像分割处理的简图。这里，图16是解释图像分割单元62的图像分割处理（步骤S12C）的过程的流程图。图17是图示由图16所示的图像分割处理过程划分的划分图像与指定划分图像的位置的坐标信息之间的关系的简图。

这里，指定划分图像的位置的水平方向坐标信息Dx[x·X+y]和垂直方向坐标信息Dy[x·X+y]被解释为在每一划分图像的左上点的坐标信息。显然这不是限制且可以使用左下点、中心点等的另一计算公式。该过程与图3所示的第一实施例的过程相同。然而，存在的差异在于使用对象信息OJ不均匀地划分图像。在下文中，为了定义与第一实施例的差异，通过使用140s添加步骤编号和后续编号（与图中相同）来图示图像分割处理（步骤S12C）的细节。

图像分割单元62首先接受要处理的图像（当前图像CIM）、参考图像RIM（紧接在要处理的图像之前的帧的图像）、作为运动物体检测等的结果的聚焦被摄体的对象信息OJ（中心坐标、尺寸等），并接受水平分割数目X和垂直分割数目Y的设置（S140）。通过使用根据设置的水平分割数目X和垂直分割数目Y的对象信息OJ，图像分割单元62在设置宽度Wx（x从1到X-1）和高度Hy（y从1到Y-1）时在水平方向上和在垂直方向上划分具有直线的图像，从而清楚地划分具有局部运动的图像和没有局部运动的图像（参见图17），并在存储单元50中存储各个划分图像（划分图像编号n）的宽度W’[n]的信息（Wx）和高度H’[n]的信息（Hy）（S142）。

接下来，图像分割单元62在存储单元50中存储指定各个划分图像的位置的坐标信息。具体地，图像分割单元62在设置对应于水平分割数目X的阵列改变要素a从0到“X-1”和设置对应于垂直分割数目Y的阵列改变要素b从0到“Y-1”并将其存储在存储单元50中时，开始用于计算划分图像的位置信息的二维循环（S144）。当处理开始时，图像分割单元62首先设置阵列改变要素a和阵列改变要素b为“0”，并设置指定“a·X+b”=第0划分图像的位置的水平方向坐标信息Dx[0]和垂直方向坐标信息Dy[0]为“0”（S146-Y，S148）。换句话说，指定第0划分图像的位置的信息是整体图像的左上点。

接下来，图像分割单元62分别通过固定阵列改变要素a和阵列改变要素b之一并将另一个递增“1”，来计算指定第“a·X+b”划分图像的位置（左上点）的垂直方向坐标信息Dy[a·X+b]和水平方向坐标信息Dx[a·X+b]。例如，当b≠0（S150-N）时，坐标信息Dy[a·X+b]设置为Dy[a·X+b-1]+Hy-1（S151），且当b=0时（S150-Y），坐标信息Dy[a·X+b]设置为Dy[a-X]=0（S152）。当a≠0时（S154-N），坐标信息Dx[a·X+b]设置为Dx[a·X+b-Y]+Wx-1（S155），且当a=0时（S154-Y），坐标信息Dx[a·X+b]设置为Dx[b]=0（S156）。图像分割单元62在存储单元50中存储获得的坐标信息Dx[a·X+b]和坐标信息Dy[a·X+b]以用在第一运动搜索处理（第一ME）中。图像分割单元62确定a,b循环是否结束且当循环未结束时处理返回到步骤S144（S158-N），且当循环结束时进行到下一步骤。

在图5所示的步骤S216中，第一运动搜索处理单元10在设置划分图像（划分图像编号n）的坐标x从Dx[n]到Dx[n]+W'[n]-2和设置坐标y从Dy[n]到Dy[n]+H'[n]-2时，开始用于在图像序列I(x,y,t)的水平、垂直和时间方向上计算当前像素中的像素值变化量（偏微分值）的二维循环，并将其存储在存储单元50中。随后的处理与第一实施例的相同。

根据该第三实施例，因为使用比如运动物体检测之类的信息执行图像分割，所以这允许划分为具有局部运动的图像和没有运动（或者很少运动）的图像。当选择划分图像时，可以选择没有局部运动的划分图像以使得可以执行与第一实施例相比具有更高精度的非正常值消除。结果，可以执行精确的运动搜索处理。相反，在第一实施例中，因为以固定的宽度和高度执行图像分割，所以假定运动物体跨越多个区域存在且非正常值消除的精度小于第三实施例的精度。

[第四实施例]

[全局运动搜索处理装置和图像处理装置]

图18是解释全局运动搜索处理装置和图像处理装置的第四实施例的简图，其具有解释全局运动搜索处理装置的简图。图18（A）图示具有第四实施例的全局运动搜索处理装置3D的图像处理装置1D，且图18（B）是图示第四实施例的全局运动搜索处理装置3D的基本配置的框图。这里，图示了其中图像分割和选择处理单元60包括基于第一运动搜索处理单元10对于所选的划分图像的运动搜索处理信息来计算关于运动搜索处理的代表性特征值的代表性特征值计算单元68（代表性运动矢量计算单元）的示例。例如，代表性特征值计算单元68通过将每一所选的划分图像的运动矢量相加并除以选择数目（也就是，获得平均）来计算代表性特征值。当所选的划分图像是一个时，单一划分图像的运动矢量为代表性特征值，且当所选的划分图像大于一个时，各个划分图像的运动矢量的平均值为代表性特征值。

第四实施例具有类似于第一实施例的第二运动搜索处理（第二ME），执行在第一运动搜索处理（第一ME）之后关于划分图像再次执行非正常值消除的第二运动搜索处理（第二ME），且然后关于整体图像执行非正常值消除的第三运动搜索处理（第三ME）的特征。因为执行非正常值消除两次，所以与第一实施例相比改进全局运动搜索处理的精度。另外，存在在第二运动搜索处理和第三运动搜索处理之间，通过使用每一划分图像的第二运动搜索处理（第二ME）的结果再次选择高度可靠的划分图像的另一特征。在下文中，使用第一实施例的修改进行解释。然而，相同的修改可以应用于第二实施例。

如图18（B）所示，第四实施例的全局运动搜索处理装置3D以第二运动搜索处理单元32（对应于第三运动搜索处理单元）替换第二运动搜索处理单元30并包括在第二运动搜索处理单元32（第二ME）的之后的步骤中输出一对运动矢量MV（具体地，作为第三运动搜索处理（第三ME）的结果的运动矢量MV"）的第三运动搜索处理单元40（第三ME）（对应于第二运动搜索处理单元）。第三运动搜索处理单元40可以与第一实施例的第二运动搜索处理单元30相同，但是第二运动搜索处理单元32略微不同于第二运动搜索处理单元30。添加双引号（"）以区分第三计算与第一和第二计算。然而，实际上简单地关于相同的一对图像执行第三LK方法且I"=I’=I。另一方面，因为确定是否加上第二和第三计算值，所以值不同于第一计算的值。在处理的下面的说明中，双引号（"）也添加到第三图像序列I(x,y,t)和每一计算值。

不同于第一实施例的第二运动搜索处理单元30，第二运动搜索处理单元32通过使用第一运动搜索处理（第一ME）和各种类型的加法值Σ来对于划分图像执行新的第二运动搜索处理（第二ME）。在“新的第二运动搜索处理（第二ME）”中，基本上类似于第一实施例的第二运动搜索处理（第二ME）执行是否包括每一像素的确定。然而，不同于第一实施例，对于每一划分图像而不对于整体图像执行运动搜索处理。图像分割和选择处理单元60（其划分图像选择单元66）通过使用每一划分图像的第一运动搜索处理（第一ME）的结果来选择高度可靠的划分图像，且还通过使用关于每一划分图像的第二运动搜索处理（第二ME）的结果来选择高度可靠的划分图像。第三运动搜索处理单元40执行与第一实施例的第二运动搜索处理单元30相同的处理，作为第三运动搜索处理（第三ME）。

[处理过程的整体概况]

图19是解释由第四实施例的全局运动搜索处理装置3D执行的全局运动搜索处理过程的整体概况的流程图。到步骤S48的处理与第一实施例的相同。

当运动搜索确定单元20确定第一运动搜索处理单元10的运动搜索处理有效时（S48-N），相应地，第二运动搜索处理单元32通过使用第一运动搜索处理结果和该处理中的计算结果关于每一划分图像执行使用LK方法的第二运动搜索处理（第二ME）。具体地，第二运动搜索处理单元32首先设置对应于划分图像编号的运算符n为“0”（S60）并关于第n（=0）划分图像执行使用LK方法的运动搜索处理（第二ME）（S61）。除了对于每一划分图像而不对于整体图像执行处理之外，其细节与第一实施例的第二运动搜索处理（第二ME）相同。例如，图10图示了根据第一实施例的第二运动搜索处理（第二ME）的细节，在步骤S510，获得划分图像的宽度W’或者W’[n]和高度H’或者H’[n]的信息。在步骤S518，在设置所选的划分图像（划分图像编号Dn）的坐标x从0到W’-2或者W’[n]-2和设置坐标y从0到H'-2或者H’[n]-2时，开始二维循环以计算在图像序列I(x,y,t)的水平、垂直和时间方向上当前像素的像素值变化量（偏微分值），并将其存储在存储单元50中。

第二运动搜索处理单元32在存储单元50中存储作为以“n（=0）”执行的处理的结果的运动矢量MV’(Vx’,Vy’)作为运动矢量MDV’(DVx’[n],DVy’[n])（S26）。然后，第二运动搜索处理单元32在将运算符n递增“1”时重复相同处理，直到完成以运算符n=N-1的处理（S60，S68-N）。

当第二运动搜索处理单元32对于全部划分图像完成第二运动搜索处理（第二ME）时（S68-Y），图像分割和选择处理单元60的划分图像选择单元66使用每一划分图像的运动搜索处理（第二ME）的结果，类似于步骤30选择高度可靠的划分图像（S70）。

此后，类似于第一实施例的第二运动搜索处理（第二ME），第三运动搜索处理单元40通过使用第二运动搜索处理结果和所选的划分图像的处理中的计算结果，对于全部整体图像执行第三运动搜索处理（S71）。第三运动搜索处理单元40输出作为第三运动搜索处理（第三ME）的结果的运动矢量MV"(Vx",Vy")作为全局运动搜索处理GME的结果（运动矢量MV），并结束整个处理（S96）。

根据该第四实施例，因为通过使用对于每一划分图像执行非正常值消除的运动估计（第二ME）的结果执行对于整体图像执行非正常值消除的运动估计（第三ME），所以可以通过使用比第一实施例的更精确的运动估计的结果执行非正常值消除，以使得可以执行精确的全局运动搜索处理。在第一实施例中，第二运动搜索处理也执行包括非正常值消除的运动搜索处理，且与现有技术相比可以执行具有高精度的运动搜索处理。然而，当重复包括非正常值消除的运动搜索处理时，即使处理量增加，也可以进一步消除非正常值且可以实现具有更高精度的运动搜索处理。这里，考虑之后描述的第五实施例，当重复运动搜索处理（包括非正常值消除）时，可以应用对于每一划分图像的运动搜索处理和对于整体图像的运动搜索处理两者。另外，在第四实施例中，对于每一划分图像的运动搜索处理和图像选择执行两次，与之后描述的第五实施例相比，即使处理量增加，也可以计算具有更高精度的用于非正常值消除的值。特别地，在第二运动搜索处理（第二ME）中，当非正常值消除的精度不足够好时这是有效的。

[第五实施例]

[全局运动搜索处理装置和图像处理装置]

图20是解释全局运动搜索处理装置和包括全局运动搜索处理装置的图像处理装置的第五实施例的简图。这里，图20（A）图示第五实施例的包括全局运动搜索处理装置3E的图像处理装置1E，且图20（B）是图示第五实施例的全局运动搜索处理装置3D的基本配置的框图。这里，以图像分割和选择处理单元60包括基于第一运动搜索处理单元10对于所选的多个划分图像的运动搜索处理信息来计算关于运动搜索处理的代表性特征值的代表性特征值计算单元68（代表性运动矢量计算单元）的示例进行解释。

第五实施例具有以与第二运动搜索处理（第二ME）同样的方式执行其中在第一运动搜索处理（第一ME）之后对于整体图像执行非正常值消除的第二运动搜索处理（第二ME）和另外其中对于整体图像执行非正常值消除的第三运动搜索处理（第三ME）的特征。因为类似于第四实施例执行非正常值消除两次，所以全局运动搜索处理的精度变得比第一实施例的更好。第五实施例另外具有不同于第四实施例，在第二运动搜索处理和在第二运动搜索处理之前和之后的处理中不执行存储每一划分图像的运动搜索处理结果信息和选择图像的特征。虽然将其解释为第一实施例的修改，但是相同修改可以应用于第二实施例。在下文中，将解释第一实施例的修改。然而，可以对第二实施例做出相同的修改。

如图20（B）所示，第五实施例的全局运动搜索处理装置3E包括在第二运动搜索处理单元30（第二ME）的之后的步骤中输出一对运动矢量MV（具体地，第三运动搜索处理（第三ME）的结果的运动矢量MV"）的第三运动搜索处理单元42（第三ME）（第三运动搜索处理单元）。添加双引号（"）以区分第三计算与第一和第二计算。然而，实际上简单地关于相同的一对图像执行第三LK方法且I"=I'=I。另一方面，因为确定是否加上第二和第三计算值，所以值不同于第一计算的值。在处理的下面的说明中，双引号（"）也添加到第三图像序列I(x,y,t)和每一计算值。

不同于第四实施例的第三运动搜索处理单元40，第三运动搜索处理单元42在遵循第一实施例的第二运动搜索处理单元30的处理时执行整体图像的运动搜索处理，同时基于第二运动搜索处理单元30的整体图像的运动搜索处理的信息来确定每一像素是否是高度可靠的像素。

（运动搜索有效性确定处理）

图21是解释由第五实施例的全局运动搜索处理装置3E执行的全局运动搜索处理过程的整体概况的流程图。根据第五实施例的全局运动搜索处理装置3E和包括全局运动搜索处理装置3E的图像处理装置1E的配置与第四实施例的配置相同。

直到步骤S51的处理与第一实施例中的相同。当完成第二运动搜索处理单元30的第二运动搜索处理（第二ME）时，第三运动搜索处理单元42再次对于整体图像执行使用LK方法的第三运动搜索处理（第三ME）（S81）。这里，在根据第五实施例的第三运动搜索处理（第三ME）中，为了确定是否包括计算出的特定像素，通过基于对于整体图像执行的第二运动搜索处理的结果和该处理中的计算结果来执行包括非正常值消除的运动搜索处理，而输出一对运动矢量MV（更具体地，作为第三运动搜索处理（第三ME）的结果的运动矢量MV"）（S98）。

根据第五实施例的第三运动搜索处理（第三ME）基本上与第一实施例的第二运动搜索处理（第二ME）相同。差异在于当获得误差函数值分布平均和标准差以及像素值变化分布平均和标准差时，使用“整体图像”而不是“所选的划分图像”的像素。例如，在图10所示的第一实施例的第二运动搜索处理（第二ME）中，在步骤S512中，获得作为处理中的计算结果的运动矢量MV'(Vx',Vy')和Axx'(=Σ(I'_x)²)、Ayy'(=Σ(I'_y)²)、Axy'(=Σ(I'_x-I'_y))、Axt'(=Σ(I'_x·I'_t))、Ayt'(=Σ(I'_y·I'_t))、Ax'(=ΣI'_x)、Ay'(=ΣI'_y)、At'(=ΣI'_t)、Att'(=Σ(I'_t)²)的累加值。

在步骤S514，第三运动搜索处理单元40通过使用宽度W、高度H、运动矢量MV'(Vx',Vy')、Axx'、Ayy'、Axy'、Axt'、Ayt'、Ax'、Ay'、At'和Att'计算误差函数值分布平均Me"和标准差Se"以及像素值变化分布平均Mi"和标准差Si"。误差函数值分布平均Me"是整体图像中LK方法中的误差函数值的分布的平均μe'。误差函数值标准差Se"是整体图像中LK方法中的误差函数值的分布的标准差σe'。像素值变化分布平均Mi"是整体图像中时间方向上的像素值变化的分布的平均μi'。像素值变化标准差Si"是整体图像中时间方向上像素值变化的分布的标准差σi'。误差函数值分布平均Me"和标准差Se"以及像素值变化分布平均Mi"和标准差Si"的计算公式基于等式（3）。

从步骤S516到步骤S534，第三运动搜索处理单元42基于误差函数值分布平均Me"和标准差Se"以及像素值变化分布平均Mi"和标准差Si"，从每一像素中的误差函数值计算非正常值程度和/或从每一像素中的像素值变化计算非正常值程度，执行每一像素的条件确定，并执行第三运动搜索处理。每一非正常值程度的每一计算公式基于等式（4）和（5）。

根据该第五实施例，因为通过使用其中对于整体图像执行非正常值消除的运动估计（第二ME）的结果执行其中对于整体图像执行非正常值消除的运动估计（第三ME），所以执行非正常值消除两次与第四实施例相同。因为通过使用与第一实施例相比更精确的运动估计的结果执行非正常值消除，可以执行精确的全局运动搜索处理。在第五实施例中，不同于第四实施例，每一划分图像的运动搜索处理和图像选择执行一次，且这使得与第四实施例相比非正常值消除的精度在某种程度上减小但是可以减小处理量。简单地比较第一实施例、第四实施例和第五实施例（在有关的说明中），考虑处理量，第一实施例最小且之后是第五实施例，而第四实施例最大。另一方面，考虑精度，第四实施例最高且之后是第五实施例，而第一实施例最低。

[第六实施例]

[全局运动搜索处理装置和图像处理装置]

图22是解释全局运动搜索处理装置和包括全局运动搜索处理装置的图像处理装置的第六实施例的简图。这里，图22（A）图示第六实施例的包括全局运动搜索处理装置3F的图像处理装置1F，且图22（B）是图示第六实施例的全局运动搜索处理装置3F的基本配置的框图。在下文中，将以第一实施例的修改进行解释。然而，相同的修改可以应用于第二实施例。

第六实施例具有除两个图像（当前图像CIM和参考图像RIM）之外还引入图像的边缘量信息EG，且基于引入的边缘量信息EG确定第一运动搜索处理单元10的运动搜索结果的有效性的特征。由此，如图22（B）所示，第六实施例的全局运动搜索处理装置3F包括第一运动搜索处理单元10（第一ME）、作为运动搜索确定单元20的替代的运动搜索确定单元70、第二运动搜索处理单元30（第二ME）和存储单元50（存储器）。运动搜索确定单元70不同于第一实施例的运动搜索确定单元20在于除对应于标准差确定单元22的标准差确定单元72和对应于像素值变化确定单元24的像素值变化确定单元74之外，还包括第一边缘确定单元76。

第一边缘确定单元76是为基于作为图像特征值的边缘量信息EG确定第一运动搜索处理单元的运动搜索结果的有效性，基于图像的边缘量信息EG获得特征量（例如，整体图像中边缘量的平均值），并比较该特征量与阈值。这里，不同于之后描述的第七实施例，第六实施例的第一边缘确定单元76不同在于计算“整体图像”的边缘量（例如，整体图像中边缘量的平均值）和当整体图像中的边缘小时第一运动搜索处理单元10的处理结果确定为无效。运动搜索确定单元20至少基于第一边缘确定单元76的阈值比较结果，优选地，基于标准差确定单元22和像素值变化确定单元24的阈值比较结果的至少一个来确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）是否有效。

（运动搜索有效性确定处理）

图23是解释根据第六实施例的运动搜索确定单元70的运动搜索处理的有效性确定处理（步骤S40F）的流程图。直到步骤S404的处理与第一实施例中的相同。此后，运动搜索确定单元70的第一边缘确定单元76基于要处理的图像的宽度W和高度H和整个像素的边缘量信息EG来计算整体图像中边缘量的平均值Eall（S406）。例如，边缘量信息EG包括用于每个像素的一条数据，当其是边缘像素时设置为“1”且当其不是边缘像素时设置为“0”。在“x：0到W-1，y：0到H-1”的二维初始循环中，输入边缘量信息EG(x,y)随后相加并除以像素的数目（W-H），即，设置为Eall=（边缘信息之和）/（W-H）。

接下来，运动搜索确定单元70（其第一边缘确定单元76）执行与预定阈值的平均值Eall的阈值比较确定（S410）。当作为阈值比较结果的结果确定平均值Eall小于阈值时，运动搜索确定单元70确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）无效并结束处理（S412-低，S440）。小于阈值的平均值Eall指的是在整体图像中存在很少的边缘且存在在运动搜索处理中误差的高可能性。换句话说，在整体图像中具有很少边缘的图像是具有低可靠的运动估计结果的图像。由此，第一边缘确定单元76计算整体图像中的边缘量并当在整体图像中存在很少边缘时确定第一运动搜索处理（第一ME）无效。这是为了防止随后的处理中的错误的校正。当作为阈值比较的结果确定平均值Eall不小于（高于）阈值时，类似于第一实施例，第一边缘确定单元76执行在步骤S420和后面的步骤中的处理（即，标准差、像素值变化的阈值比较）。

这里，在计算平均值Eall、误差函数值标准差Se和像素值变化绝对值D之后执行平均值Eall、标准差Se和绝对值D的阈值比较。然而，能够应用修改以使得在执行平均值Eall、标准差Se和绝对值D之一的计算和阈值比较之后，执行其它的计算和阈值比较。另外，虽然精度可能恶化，但是可以应用修改以使得仅执行标准差Se和绝对值D之一的计算和阈值比较，同时至少执行平均值Eall的计算和阈值比较。

根据第六实施例的这种运动搜索有效性确定处理，除两个图像之外还输入图像的边缘量信息EG，且基于该信息确定第一运动搜索处理单元10的运动估计结果是有效或者无效。由此，关于具有低可靠性的运动估计结果的图像，该运动估计结果确定为无效且结果不执行错误的校正。换句话说，当执行运动估计时，关于具有小的边缘量的图像（例如，空白图像），存在运动估计结果具有低可靠性的假设。这里，在第六实施例中，获得图像的边缘量信息，且通过基于边缘信息计算整体图像的边缘量来确定第一运动搜索处理的结果是有效或者无效。由此，关于具有低可靠性的图像的运动估计的结果，因为运动估计的结果确定为无效，所以第二次可以执行具有高精度的运动搜索处理。换句话说，当计算整体图像中的边缘量且整体图像中存在很少边缘时，第一运动搜索处理（第一ME）确定为无效（为了防止错误的校正）。例如，在空白（即，边缘量小）的情况下，因为存在在运动搜索处理中制造错误的高可能性，所以通过当存在空白的高可能性时设置运动矢量MV为“0”，将不使用错误的运动搜索处理（另一方面，当在运动搜索处理中制造错误时运动矢量MV增大）。因此，因为不会执行使用错误的运动搜索处理结果的处理，所以在第二和随后的运动搜索处理中，可以执行具有高精度的包括非正常值消除的运动搜索处理。因此，当第六实施例的全局运动搜索处理装置3F应用于图像处理装置1或者成像装置5时，结果将不会执行错误的校正，且可以输出进一步稳定化的图像序列。例如，在模糊校正技术的情况下，校正量=0，意味着“不进行校正”，且这是用于确实性的措施。

[第七实施例]

图24是解释全局运动搜索处理装置和包括全局运动搜索处理装置的图像处理装置的第七实施例的简图。这里，图24（A）图示第七实施例的包括全局运动搜索处理装置3G的图像处理装置1G，且图24（B）是图示第七实施例的全局运动搜索处理装置3G的基本配置的框图。在下文中，将以第一实施例的修改进行解释。然而，相同的修改可以应用于第二实施例。虽然在与第六实施例共享的配置做出附图，但这不是必要的。

第七实施例具有如下特征：类似于第六实施例，除两个图像（当前图像CIM和参考图像RIM）之外还引入图像的边缘量信息EG，且基于引入的边缘量信息确定第一运动搜索处理单元10的运动搜索结果是否有效。这里，根据第七实施例，不同于第六实施例，将边缘量计算和阈值比较添加到对于每一划分图像执行的第一运动搜索处理的循环，以使得对于每一划分图像计算边缘量，且当在划分图像中存在很少边缘时确定划分图像的运动搜索处理结果无效。另外，在比较处理之后，类似于第一实施例，也基于标准差确定单元72和像素值变化确定单元74的阈值比较结果的至少一个，确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）是否有效。

由此，如图24（B）所示，第七实施例的全局运动搜索处理装置3G不同于第一实施例的运动搜索确定单元20在于基于第六实施例的配置，向运动搜索确定单元70进一步提供第二边缘确定单元76。第二边缘确定单元78基于作为图像特征值的边缘量信息EG对于每一划分图像确定第一运动搜索处理单元10的运动搜索结果是否无效，且当无效时，设置第一运动搜索处理单元10的运动搜索处理结果为无效（例如，设置运动矢量MDV(DVx,DVy)为零）。然后，划分图像选择单元66在第二边缘确定单元76的确定之后，从特征量（运动矢量MV）选择具有高度可靠的特征量的一个或多个划分区域作为用于全部划分图像的第一运动搜索处理单元10的运动搜索处理结果。标准差确定单元72和像素值变化确定单元74在第二边缘确定单元76的确定之后，通过基于对于全部划分图像的第一运动搜索处理单元10的运动搜索处理信息确定全局运动搜索是否困难，来确定第一运动搜索处理单元10的运动搜索结果是否无效。

[处理过程的整体概况]

图25是解释根据第七实施例的运动搜索确定单元70的运动搜索处理的有效性确定处理的流程图。例如，直到对于第n（=0）划分图像（S21）执行使用LK方法的运动搜索处理（第一ME）的处理与第一实施例中的相同。第一边缘确定单元76通过紧接在第一运动搜索处理（第一ME）之后对于每一划分图像执行边缘量的阈值比较，来对于每一划分图像确定第一运动搜索处理是否有效。具体地，第一边缘确定单元76获得划分图像的边缘量的平均值Eblk（S23）。例如，通过使用划分图像（运算符n作为划分图像编号）的宽度W'(=W/X)和高度H'(=H/Y)、指定要处理的划分图像的位置的坐标信息Dx[n]，Dy[n]和获得的边缘量信息EG(x,y)来获得平均值Eblk。在这种情况下，在“x:Dx[n]到Dx[n]+W'-1,y:Dy[n]到Dy[n]+H'-1”的二维循环中，输入边缘量信息EG(x,y)随后相加并除以像素数目(W'-H')，其表示为Eblk=（边缘信息之和）/（W'-H'）。

接下来，运动搜索确定单元70（其第一边缘确定单元76）执行与预定阈值的平均值Eblk的阈值比较（S24）。当作为第一边缘确定单元76的阈值比较的结果平均值Eblk确定为小于阈值时，确定第一运动搜索处理单元10的第一运动搜索处理（第一ME）无效且第一运动搜索处理单元10在存储单元50中存储作为以“n”执行的处理结果的运动矢量MV(Vx,Vy)作为运动矢量MDV(DVx[n]=0,DVy[n]=0)（S25）。小于阈值的平均值Eblk意味着在划分图像中存在很少边缘和存在运动搜索处理中制造错误的高可能性。由此，第一边缘确定单元76计算划分图像的边缘量，并在划分图像中存在很少边缘时确定第一运动搜索处理（第一ME）无效。类似于第六实施例，这是为了防止在随后的处理中的错误的校正。

另一方面，当作为运动搜索确定单元70的阈值比较的结果确定平均值Eblk不小于（高于）阈值时，类似于第一实施例，第一运动搜索处理单元10在存储单元50中存储作为以“n”执行的处理的结果的运动矢量MV(Vx,Vy)作为运动矢量MDV(DVx[n],DVy[n])（S26）。然后，第一运动搜索处理单元10将运算符n递增“1”并重复相同处理直到完成运算符n=N-1的处理（S20，S28-N）。

根据第七实施例的这种运动搜索有效性确定处理，因为除两个图像之外还输入图像的边缘量信息EG并根据输入的边缘量确定运动估计的可靠性，所以可以执行包括精确的图像选择和非正常值消除的第二运动搜索处理。换句话说，在第七实施例中，获得图像的边缘量信息，基于边缘信息对于每一划分图像计算边缘量，并确定第一运动搜索处理的结果是否无效。对于每一划分图像计算边缘量，且当在划分图像中存在很少边缘时，使得划分图像的运动搜索处理结果无效。响应于该结果，因为划分图像选择单元66执行划分图像的选择且标准差确定单元72和像素值变化确定单元74执行最后的验证确定，所以不会执行使用错误的运动搜索处理结果的图像选择，以使得可以执行有保证的图像选择且可以在第二或者随后的运动搜索处理中执行具有高精度的包括非正常值消除的运动搜索处理。由此，当第七实施例的全局运动搜索处理装置3G应用于图像处理装置1或者成像装置5时，结果将不会执行错误的校正，且可以输出进一步稳定化的图像序列。

例如，通过在具有小的边缘量的划分图像中设置运动矢量MV为零，与具有小的边缘量的划分图像具有大的差异的划分图像被校正为与零的差异大（也就是，运动矢量MV大），与具有小的边缘量的划分图像具有小的差异的划分图像被校正为与零的差异小（也就是，运动矢量MV小）。换句话说，通过将具有小的边缘量的划分图像的运动矢量MV设置为零，与具有大的矢量的划分图像的差异变大。根据本实施例，因为以差异的递增次序选择划分图像，所以首先选择具有小的运动矢量MV的划分图像。由此，其趋向于选择有保证的具有接近于零的运动矢量MV的划分图像，而不是具有大的运动矢量MV的划分图像。通过将具有小的边缘量的划分图像的运动矢量MV设置为零，虽然划分图像之间的差异变化（被校正），也执行有保证的处理。

如上所述，已经以实施例解释了本说明书公开的技术。然而，权利要求的描述的技术范围不限于由实施例描述的范围。在本说明书中公开的技术的范围内可以将各种改变或者修改添加到实施例，且添加有这种改变或者修改的实施例包括在本说明书中公开的技术的技术范围中。实施例不根据权利要求限制技术，且在实施例中解释的特征的所有组合并不总是作为本说明书中公开的技术的目标的对象的解决方式必要的。以上所述的实施例包括技术的各种步骤，且可以以多个公开的构成特征的任意组合提取各种技术。即使在本实施例中公开的某些构成特征可能被除去时，只要获得与本说明书中公开的技术所指的对象对应的效果，则除去那些构成特征的配置可以被提取为本说明书中公开的技术。

例如，根据本说明书的全局运动搜索处理GME的技术可以通过使用具有CPU、RAM、ROM等的电子计算机（计算机）由软件实现，且用于其的程序和存储该程序的存储介质可以被提取为发明。因为以软件实现各种信号处理的电子计算机本身的配置是公知的，并未示出。通过应用上述的全局运动搜索处理GME为“各种信号处理”，可以由软件实现根据本公开的全局运动搜索处理GME的技术。

程序可以存储和提供在可由计算机读取的存储介质（例如，半导体存储器、磁盘、光盘等）中，或者可以通过经由有线或者无线通信方法传递而提供。例如，经由例如便携式存储介质分布和提供使得计算机执行全局运动搜索处理功能的程序。例如，程序可以分布和提供为存储在CD-ROM（致密盘-只读存储器）或者FD（软盘）中。另外，可以提供MO（磁光盘）驱动器且程序可以存储在MO中，或者程序可以使用比如闪存存储器的非易失性半导体存储器而存储在包括卡类型存储介质等的其他存储介质中以分布和提供。除经由记录介质分布和提供之外，构成软件的程序还可以经由通信方法（有线或者无线）分布和提供。例如，可以通过经由网络或者因特网从另一服务器等下载来获得程序。程序提供为包括实现执行全局运动搜索处理GME的功能的程序代码的文件。然而，在这种情况下，其不限于提供为校正的程序文件且其可以提供为根据由计算机构成的系统的硬件配置的单个程序模块。

根据实施例的描述，例如，权利要求中描述的技术是示例且提取后续的技术。它们如下列出。

[附加注释1]

一种图像处理装置，包括：

图像分割单元，配置为使得要处理的图像变为多个划分图像；

划分图像选择单元，配置为从多个划分图像中选择划分图像，其选择运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；

第一运动搜索处理单元，配置为对于每一划分图像执行运动搜索处理；和

第二运动搜索处理单元，配置为基于对于所选的划分图像的第一运动搜索处理单元的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

[附加注释2]

根据附加注释1的图像处理装置，其中划分图像选择单元基于对于每一划分图像的第一运动搜索处理单元的运动搜索处理的信息来选择划分图像。

[附加注释3]

根据附加注释1或者附加注释2的图像处理装置，进一步包括

代表性特征值计算单元，其中

划分图像选择单元选择多个划分图像；

代表性特征值计算单元基于对于所选的多个划分图像的第一运动搜索处理单元的运动搜索处理的信息，计算关于运动搜索处理的代表性特征值；和

第二运动搜索处理单元基于对于所选的多个划分图像的代表性特征值计算单元计算出的代表性特征值，关于其中未执行图像分割的整体图像执行运动搜索处理。

[附加注释4]

根据附加注释1到3之一的图像处理装置，包括

确定单元，配置为确定第一运动搜索处理单元的运动搜索结果是否无效，其中

确定单元基于对于每一划分图像的第一运动搜索处理单元的运动搜索处理的信息，通过确定全局运动搜索的难度是否等于或者大于阈值来确定运动搜索结果是否无效。

[附加注释5]

根据附加注释4的图像处理装置，其中

作为对于每一划分图像的第一运动搜索处理单元的运动搜索处理的信息，确定单元

对于全部划分图像，获得

基于由与像素中的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量有关的至少一条信息表示的计算公式的对于整个划分图像的加法计算结果，和

基于对于整个划分图像的加法计算结果计算出的运动信息，和

根据由各个获得的值表示的条件表达式确定全局运动搜索的难度是否等于或者大于阈值。

[附加注释6]

根据附加注释1到5之一的图像处理装置，包括

第三运动搜索处理单元，配置为在基于对于每一划分图像的第一运动搜索处理单元的运动搜索处理的信息确定每一像素是否具有等于或者大于阈值的可靠性时对于每一划分图像执行运动搜索处理，

其中，第二运动搜索处理单元基于对于划分图像的第三运动搜索处理单元的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

[附加注释7]

根据附加注释1到6之一的图像处理装置，包括第三运动搜索处理单元，配置为基于对于整体图像的第二运动搜索处理单元的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

[附加注释8]

根据附加注释1到7之一的图像处理装置，其中，基于要处理的图像的图像特征值执行图像分割和/或运动搜索处理。

[附加注释9]

根据附加注释8的图像处理装置，其中，图像分割单元能够基于作为图像特征值的图像中的对象信息将要处理的图像不均匀地划分为多个划分图像。

[附加注释10]

根据附加注释8和9之一的图像处理装置，包括

确定单元，配置为确定第一运动搜索处理单元的运动搜索结果是否无效，

其中，确定单元通过基于作为图像特征值的边缘信息确定全局运动搜索的难度是否等于或者大于阈值来确定第一运动搜索处理单元的运动搜索结果是否无效。

[附加注释11]

根据附加注释8到10之一的图像处理装置，包括

其中，确定单元基于作为图像特征值的边缘信息对于每一图像确定第一运动搜索处理单元的运动搜索结果是否无效，且在无效时使第一运动搜索处理单元的划分图像的运动搜索处理结果无效。

[附加注释12]

根据附加注释1到11之一的图像处理装置，其中，各个运动搜索处理单元计算与图像的平行位移有关的运动信息和/或计算与图像的旋转位移有关的运动信息。

[附加注释13]

根据附加注释1到12之一的图像处理装置，其中，各个运动搜索处理单元的至少一个使用Lucas-Kanade方法执行运动搜索处理。

[附加注释14]

根据附加注释13的图像处理装置，其中，第一运动搜索处理单元对于整个划分图像，基于由与每一划分图像的像素中的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量有关的至少一条信息表示的计算公式来执行加法计算，并基于加法计算结果计算运动信息。

[附加注释15]

根据附加注释13或者14的图像处理装置，其中

当对于整体图像执行基于由与每一像素中的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量有关的至少一条信息表示的计算公式的加法计算时，

第二运动搜索处理单元基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息根据设置条件确定每一像素是否具有等于或者大于阈值的可靠性，并在满足设置条件的情况下执行加法计算。

[附加注释16]

根据附加注释15的图像处理装置，其中，该第二运动搜索处理单元

关于所选的划分图像，获得

基于由与每一像素中的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量有关的至少一条信息表示的计算公式的对于整个划分图像的加法计算结果，和

基于对于整个划分图像的加法计算结果计算出的运动信息，

作为确定运动搜索处理结果是否具有等于或者大于阈值的可靠性的信息，和

根据由各个获得的值表示的设置条件执行是否在每一像素中执行加法。

[附加注释17]

一种图像处理方法，包括：

图像分割步骤，使得要处理的图像变为多个划分图像；

划分图像选择步骤，选择划分图像，其从多个划分图像中选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；

第一运动搜索处理步骤，对于每一划分图像执行运动搜索处理；和

第二运动搜索处理步骤，基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

[附加注释18]

一种成像装置。包括：

固态成像装置；

光学系统，配置为形成在固态成像装置的成像区域中获得的被摄体图像的图像；

第一存储单元，配置为存储由固态成像装置获得的图像；

第一信号处理单元，配置为对由固态成像装置获得的图像执行预定信号处理；

第二存储单元，配置为存储第一信号处理单元中处理的图像；

图像分割单元，配置为使得从第二存储单元读取的图像变为多个划分图像；

划分图像选择单元，配置为从多个划分图像中选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；

第一运动搜索处理单元，配置为对于每一划分图像执行运动搜索处理；

第二运动搜索处理单元，配置为基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整个图像执行运动搜索处理；和

第二信号处理单元，配置为通过参考第二运动搜索处理单元的运动搜索处理的结果，对于从第一存储单元读取的图像执行校正处理。

[附加注释19]

一种成像装置，包括：

固态成像装置；

第一存储单元，配置为存储由固态成像装置获得的图像；

第二运动搜索处理单元，配置为基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于其中未执行图像分割的整个图像执行运动搜索处理；和

[附加注释20]

一种用于使得计算机用作以下单元的程序：

第二运动搜索处理单元，配置为基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于其中未执行图像分割的整个图像执行运动搜索处理。

附图标记列表

1图像处理装置

10第一运动搜索处理单元

140前级信号处理装置

142第一存储单元

144第二存储单元

146缩小和平滑单元

150后级信号处理装置

152运动矢量滤波器

154图像切断单元

20运动搜索确定单元

22标准差确定单元

24像素值变化确定单元

3全局运动搜索处理装置

30第二运动搜索处理单元

32第二运动搜索处理单元

38代表性特征值计算单元

40第三运动搜索处理单元

42第三运动搜索处理单元

5成像装置

50存储单元

60图像分割和选择处理单元

62图像分割单元

66划分图像选择单元

68代表性特征值计算单元

7固态成像装置

70运动搜索确定单元

72标准差确定单元

74像素值变化确定单元

76第一边缘确定单元

78第二边缘确定单元

Claims

1.一种图像处理装置，包括：

第二运动搜索处理单元，配置为基于所述第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

2.根据权利要求1所述的图像处理装置，其中，所述划分图像选择单元基于所述第一运动搜索处理单元对于每一划分图像的运动搜索处理的信息来选择划分图像。

3.根据权利要求1所述的图像处理装置，进一步包括：

代表性特征值计算单元，其中，

所述划分图像选择单元选择多个划分图像；

所述代表性特征值计算单元基于所述第一运动搜索处理单元对于所选的多个划分图像的运动搜索处理的信息，计算关于所述运动搜索处理的代表性特征值；和

所述第二运动搜索处理单元基于所述代表性特征值计算单元计算对于所选的多个划分图像的代表性特征值，关于其中未执行图像分割的整体图像执行运动搜索处理。

4.根据权利要求1所述的图像处理装置，包括：

确定单元，配置为确定所述第一运动搜索处理单元的运动搜索结果是否无效，其中，

所述确定单元通过基于所示第一运动搜索处理单元对于每一划分图像的运动搜索处理的信息，确定全局运动搜索的难度是否等于或者大于阈值，来确定所述运动搜索结果是否无效。

5.根据权利要求4所述的图像处理装置，其中，

作为所述第一运动搜索处理单元对于每一划分图像的运动搜索处理的信息，所述确定单元

对于全部划分图像，获得

基于对于整个划分图像的加法计算结果计算出的运动信息，并且

根据由各个获得的值表示的条件表达式确定所述全局运动搜索的难度是否等于或者大于阈值。

6.根据权利要求1所述的图像处理装置，包括：

第三运动搜索处理单元，配置为在基于所述第一运动搜索处理单元对于每一划分图像的运动搜索处理的信息确定每一像素是否具有等于或者大于阈值的可靠性时对于每一划分图像执行运动搜索处理，

其中，所述第二运动搜索处理单元基于所述第三运动搜索处理单元对于划分图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

7.根据权利要求1所述的图像处理装置，包括第三运动搜索处理单元，配置为基于所述第二运动搜索处理单元对于整体图像的运动搜索处理的信息，对于在其上未执行图像分割的整体图像执行运动搜索处理。

8.根据权利要求1所述的图像处理装置，其中，基于要处理的图像的图像特征值执行图像分割和/或运动搜索处理。

9.根据权利要求8所述的图像处理装置，其中，所述图像分割单元能够基于作为图像特征值的图像中的对象信息将要处理的图像不均匀地划分为多个划分图像。

10.根据权利要求8所述的图像处理装置，包括：

确定单元，配置为确定所述第一运动搜索处理单元的运动搜索结果是否无效，

其中，所述确定单元通过基于作为图像特征值的边缘信息确定所述全局运动搜索的难度是否等于或者大于阈值来确定所述第一运动搜索处理单元的运动搜索结果是否无效。

11.根据权利要求8所述的图像处理装置，包括：

其中，所述确定单元基于作为图像特征值的边缘信息对于每一图像确定所述第一运动搜索处理单元的运动搜索结果是否无效，且在无效时使所述第一运动搜索处理单元的划分图像的运动搜索处理结果无效。

12.根据权利要求1所述的图像处理装置，其中，各个运动搜索处理单元计算与图像的平行位移有关的运动信息和/或计算与图像的旋转位移有关的运动信息。

13.根据权利要求1所述的图像处理装置，其中，各个运动搜索处理单元的至少一个使用Lucas-Kanade方法执行运动搜索处理。

14.根据权利要求13所述的图像处理装置，其中，所述第一运动搜索处理单元对于整个划分图像，基于由与每一划分图像的像素中的水平方向像素值变化量、垂直方向像素值变化量和时间方向像素值变化量有关的至少一条信息表示的计算公式来执行加法计算，并基于加法计算结果计算运动信息。

15.根据权利要求13所述的图像处理装置，其中，

所述第二运动搜索处理单元基于所述第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息根据设置条件确定每一像素是否具有等于或者大于阈值的可靠性，并在满足设置条件的情况下执行加法计算。

16.根据权利要求15所述的图像处理装置，其中，所述第二运动搜索处理单元

关于所选的划分图像，获得

基于对于整个划分图像的加法计算结果计算出的运动信息，

作为确定所述运动搜索处理结果是否具有等于或者大于阈值的可

靠性的信息，并且

17.一种图像处理方法，包括：

图像分割步骤，使得要处理的图像变为多个划分图像；

第二运动搜索处理步骤，基于第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于其中未执行图像分割的整体图像执行运动搜索处理。

18.一种成像装置，包括：

固态成像装置；

光学系统，配置为形成在所述固态成像装置的成像区域中获得的被摄体图像的图像；

第一存储单元，配置为存储由所述固态成像装置获得的图像；

第一信号处理单元，配置为对由所述固态成像装置获得的图像执行预定信号处理；

第二存储单元，配置为存储所述第一信号处理单元中处理的图像；

图像分割单元，配置为使得从所述第二存储单元读取的图像变为多个划分图像；

第二运动搜索处理单元，配置为基于所述第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于其中未执行图像分割的整个图像执行运动搜索处理；和

第二信号处理单元，配置为通过参考所述第二运动搜索处理单元的运动搜索处理的结果，对于从所述第一存储单元读取的图像执行校正处理。

19.一种电子设备，包括：

第一存储单元，配置为存储输入的图像；

第一信号处理单元，配置为执行输入图像的预定信号处理；

划分图像选择单元，配置为从多个划分图像选择其中运动搜索处理的可靠性等于或者大于阈值或者可靠性相对高的划分图像；

第二信号处理单元，配置为通过参考所述第二运动搜索处理单元的运动搜索处理的结果，对于从所述第一存储单元读取的图像执行运动校正处理。

20.一种用于使得计算机用作以下单元的程序：

第二运动搜索处理单元，配置为基于所述第一运动搜索处理单元对于所选的划分图像的运动搜索处理的信息，对于其中未执行图像分割的整个图像执行运动搜索处理。