CN101867698A - 图像处理设备、图像处理方法和记录介质 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法和记录介质。该图像处理设备包括：建模单元，在由具有X方向和与X方向垂直的Y方向的多个帧图像构成的视频图像数据中，将从作为要进行处理的参考图像之前的一帧的标准图像到该参考图像的运动分离成X方向的运动和Y方向的运动，并且分别将X方向的运动和Y方向的运动表示为由与X方向和Y方向的位置无关的相同幅度和方向构成的平移分量、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场；以及计算单元，分别计算与由建模单元表示的与X方向和Y方向对应的平移分量、X依赖分量和Y依赖分量。

Description

图像处理设备、图像处理方法和记录介质

技术领域

本发明涉及一种图像处理设备、图像处理方法和记录介质，并且例如适于应用于处理视频图像数据的图像处理设备。

背景技术

在过去，提出了检测表示构成视频图像数据的帧图像之间的整个画面的运动的运动矢量(下文称作全画面运动矢量)的方法(例如，参考IEEE Transactions on Consumer Elecronics，Vol.52，No.2，2006年5月)。

这种全画面运动矢量主要用于使用运动的图像处理技术，例如时间空间分辨率创建处理、相机抖动校正处理、对象提取处理以及跟踪处理。

发明内容

在这种构造的图像处理设备中，整个画面的运动由单个全画面运动矢量表示。然而，由于在实际拍摄视频图像数据的情况下画面由于缩放、旋转、高速横摇/俯仰(pan/tilt)以及它们的组合而移动，所以很难由一个完全相同的运动矢量表示整个画面。

因此，图像处理设备有时强制由单个全画面运动矢量表示整个画面的运动，在这种情况下出现了在全画面运动矢量中具有较大误差的问题。

希望提供一种能够更加充分地表示整个画面的运动的图像处理设备、图像处理方法和记录介质。

根据本发明的一个实施例，提供了一种图像处理设备，该图像处理设备设置有：建模单元，在由每个帧图像中的一个方向被定义为X方向而与所述一个方向垂直的方向被定义为Y方向的多个帧图像构成的视频图像数据中，将从作为要进行处理的参考图像之前的一帧的标准图像到该参考图像的运动分离成X方向的运动和Y方向的运动，并且分别将X方向的运动和Y方向的运动表示为由与X方向和Y方向的位置无关的相同幅度和方向构成的平移分量、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场；以及计算单元，分别计算与由建模单元表示的与X方向和Y方向对应的平移分量、X依赖分量和Y依赖分量。

这使得该图像处理设备能够将帧图像之间的运动表示为运动与平面位置对应地变化的矢量场。

根据本发明的另一个实施例，提供了一种图像处理方法，具有以下步骤：建模步骤，在由每个帧图像中的一个方向被定义为X方向而与所述一个方向垂直的方向被定义为Y方向的多个帧图像构成的视频图像数据中，将从作为要进行处理的参考图像之前的一帧的标准图像到该参考图像的运动分离成X方向的运动和Y方向的运动，并且分别将X方向的运动和Y方向的运动表示为由与X方向和Y方向的位置无关的相同幅度和方向构成的平移分量、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场；以及计算步骤，计算与由建模步骤表示的与X方向和Y方向对应的平移分量、X依赖分量和Y依赖分量。

这使得该图像处理方法能够将帧图像之间的运动表示为运动与平面位置对应地变化的矢量场。

根据本发明的另一个实施例，提供了一种其上记录有图像处理程序的记录介质，该图像处理程序使计算机执行以下步骤：建模步骤，在由每个帧图像中的一个方向被定义为X方向而与所述一个方向垂直的方向被定义为Y方向的多个帧图像构成的视频图像数据中，将从作为要进行处理的参考图像之前的一帧的标准图像到该参考图像的运动分离成X方向的运动和Y方向的运动，并且分别将X方向的运动和Y方向的运动表示为由与X方向和Y方向的位置无关的相同幅度和方向构成的平移分量、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场；以及计算步骤，计算与由建模步骤表示的与X方向和Y方向对应的平移分量、X依赖分量和Y依赖分量。

这使得记录在这个记录介质中的图像处理程序能够使计算机将帧图像之间的运动表示为运动与平面位置对应地变化的矢量场。

根据本发明的实施例，能够将帧图像之间的运动表示为运动与平面位置对应地变化的矢量场，因此可以提供一种能够更加充分地表示整个画面中的运动的图像处理设备、图像处理方法和记录介质。

附图说明

图1A到图1D是示出放大时的矢量场的示意图；

图2A到图2D是示出旋转期间的矢量场的示意图；

图3是示出图像处理设备的构造的示意图；

图4是全面搜索的概念图；

图5是局部搜索方法的概念图；

图6是示出六参数矢量场检测器的构造的示意图；

图7是用于例示初始参数确定处理的示意图；

图8是用于例示每个参数的独立搜索的示意图；

图9是用于例示六参数矢量场检测的处理过程的流程图；以及

图10是用于例示六参数独立局部搜索的处理过程的流程图。

具体实施方式

在下文中按照下面的顺序参照附图详细描述本发明的实施例：

1.实施例(六参数运动矢量场的检测)

2.其它实施例

<1.实施例>

[1-1.六参数矢量场的定义]

在过去的帧图像中，表示整个画面的单一运动的运动矢量(下文称作全画面运动矢量Vg)一般表示为(u，v)，该(u，v)表示横向(水平)分量和纵向(垂直)分量。

然而，如上所述，帧图像之间的运动能够被表示为单个全画面运动矢量Vg是很少见的，并且运动矢量经常与帧图像中的位置对应地发生局部改变。

例如，当利用作为拍摄视频图像数据的图像拍摄设备的可携式摄像机(未示出)拍摄对象的图像时，考虑在使对象变大的方向上进行放大的情况。此时，如图1A所示，表示从直接前帧的图像(下文称作标准图像)直到当前帧的图像(下文称作参考图像)的运动的运动矢量在帧图像中不是一致的，并且它对应于帧图像中的位置而改变。

对应于帧图像中的位置而改变的运动矢量在下文中称作局部运动矢量LMV，以与表示整个画面的运动的单个全画面运动矢量Vg进行区分。如在图1A中，帧图像的整个区域的局部运动矢量LMV的表示被称作矢量场。帧图像中的横向方向(水平方向)称作X，并且纵向方向(垂直方向)称作Y。

当进行放大时，在帧图像内，随着对象的变大，局部运动矢量LMV被从缩放中心向外定向，并且随着局部运动矢量LMV向外它变得更大。图1A到图1D示出了缩放中心位于帧图像的中心的情况。

图1A中的矢量场被分解成分别如图1B和图1C所示的X矢量场和Y矢量场，其中，X矢量场仅表示仅在X方向上的局部运动矢量LMV，Y矢量场表示仅在Y方向上的局部运动矢量LMV。也就是说，在X矢量场内，X方向的局部运动矢量LMV对应于x坐标(X方向的位置)进行一次地变化并且在横向方向上的最外端变得最大。Y方向的矢量场中的情况与此类似，Y方向的局部运动矢量LMV对应于y坐标(Y方向的位置)进行一次地变化并且在纵向顶端和底端变得最大。

如图1B和图1C所示，当进行放大时，对称坐标(符号相反)的局部运动矢量LMV变得在相反方向上大小相同。因此，在全画面运动矢量Vg中，放大运动彼此相抵并且实质上几乎不出现。缩小与之类似。

接下来，考虑当以帧图像的中心为轴稍微旋转可携式摄像机时可携式摄像机拍摄对象的图像的情况。在这种情况下，如图2A所示，局部运动矢量LMV在一个方向上旋转，并且随着向外，幅度变大。

此时，如图2B所示，在X矢量场内，X方向的局部运动矢量LMV在X轴上为0，并且随着向上和向下而发生一次地变化并且幅度在纵向方向上在顶端和底端变得最大。也就是说，已发现X方向的局部运动矢量LMV的幅度对应于y坐标(Y方向的位置)分别进行增减。

如图2C所示，Y矢量场的情况与此类似，Y方向的局部运动矢量LMV在Y轴上为0，并且随着向上和向下而发生一次地变化并且幅度在横向方向上的外侧变得最大。也就是说，已发现Y方向的局部运动矢量LMV的幅度对应于x坐标(X方向上的位置)分别进行增减。

如图2B和图2C所示，在旋转期间，对称坐标(符号相反)的局部运动矢量LMV变得在相反方向上大小相同。因此，在全画面运动矢量Vg中，旋转运动彼此相抵并且实质上几乎不出现。

由于可携式摄像机在纵向和横向方向上的移动以及横摇/俯仰而产生的平移(未示出)表现为由与x和y坐标(X和Y方向的位置)无关的帧图像中的相同幅度和方向构成的局部运动矢量LMV。

对于此，本发明的该实施例表示了帧图像之间的矢量场，在该矢量场内，帧图像中的任意坐标以根据坐标而变化的(u(x，y)，v(x，y))的形式被表示为(x，y)。

具体地讲，在本发明的这个实施例中，通过将平移参数元素u₀、X依赖分量u_xx和Y依赖分量u_yy相加，按下面的表达式表示X矢量场，其中，平移参数元素u₀表示由与X和Y方向的位置无关的相同幅度和方向构成的平移分量；X依赖分量u_xx对应于X方向的位置进行一次地变化；Y依赖分量u_yy对应于Y方向的位置进行一次地变化。类似地，在本发明的这个实施例中，通过将平移参数元素v₀、X依赖分量v_xx和Y依赖分量v_yY进行相加，按下面的表达式表示Y矢量场，其中，平移参数元素v₀表示由与X和Y方向的位置无关的相同幅度和方向构成的平移分量；X依赖分量v_xx对应于X方向的位置进行一次地变化；Y依赖分量v_yy对应于Y方向的位置进行一次地变化。

(u(x，y)，v(x，y))＝(u₀+u_xx+u_yy，v₀+v_xx+v_yy)...(1)

由于图1A所示的放大时的X矢量场(u(x，y))实际上以u的值为z轴进行三维绘制，所以它变成图1D所示的平面。也就是说，在放大时的X矢量场内，X依赖分量u_xx和Y依赖分量u_yy一次地变化，并且确认了X矢量场能够被表示为一次平面。尽管没有示出，但是Y矢量场(v(x，y))也与此类似。

由于图2A所示的旋转期间的X矢量场(u(x，y))以u的值为z轴进行三维绘制，所以它变成图2D所示的平面。也就是说，在旋转期间的X矢量场内，X依赖分量u_xx和Y依赖分量u_yy一次地变化，并且确认了X矢量场能够表示为一次平面。尽管没有示出，但是Y矢量场(v(x，y))也与此类似。

也就是说，平移参数元素u₀和v₀、X依赖参数元素u_x和v_x以及Y依赖参数元素u_y和v_y变成以简单数字表示的因子。结果，通过计算这六个参数元素，本发明的这个实施例可以表示矢量场。由表达式(1)表示的矢量场在下文称作六参数矢量场。

这使得本发明的这个实施例能够通过将与可携式摄像机的行为关联的整个帧图像的运动表示为在表达式(1)中表示的六参数矢量场，而适当地表示难以用被表示为整个帧图像的单个运动的全画面运动矢量Vg进行表示的运动。

[1-2.图像处理设备的构造]

如图3所示，附图标记1表示整体的根据本实施例的图像处理设备。当提供视频图像数据的输入图像时，六参数矢量场检测器2针对每个帧图像，检测表示当前参考图像相对于最后标准图像的运动的六参数矢量场。也就是说，六参数矢量场检测器2计算表达式(1)中的六个参数元素(平移参数元素u₀和v₀、X依赖参数元素u_x和v_x、以及Y依赖参数元素u_y和v_y)。

六参数矢量场检测器2将检测到的六参数矢量场和输入图像提供给图像处理器3。图像处理器3基于六参数矢量场对输入图像执行图像处理(以后详细描述)，以输出处理后的输入图像作为输出图像。

接下来，描述计算这六个参数元素的方法。

作为计算局部运动矢量LMV的一般方法，块匹配算法被广泛应用。过去执行这种块匹配算法的图像处理设备对应于参考图像中的搜索范围内的所有矢量移动标准图像中要进行处理的处理块以进行匹配(差计算)。当在参考图像中获得给出最低评价值(差值)的块时，过去的图像处理设备然后检测对应矢量，作为处理块的运动矢量。

尽管这种块匹配算法可以是简单但高度相关的方法，但是它对搜索范围内的所有块执行匹配，从而它具有如下缺点：当搜索范围大或者帧图像内的块的数目增大时，处理的负载更大。

考虑针对六个参数元素的计算应用在搜索范围内进行全面搜索的这种块匹配算法的情况。也就是说，如图4所示的概念，图像处理设备针对六个参数元素设定有限的搜索范围并且在该搜索范围内与由所有可能的参数元素的组合构成的矢量对应地移动处理块以进行匹配。图像处理设备然后检测与最低评价值对应的矢量，作为处理块的运动矢量。

在这种情况下，尽管图像处理设备通过简单处理就能够计算六个参数元素，但是搜索范围包括六个参数元素的所有可能组合，从而搜索的数目由于为6次方而变得极大。因此，当图像处理设备执行块匹配算法时，它必须执行大量的算术处理。

对于此，本实施例中的图像处理设备1在检测六参数矢量场时，执行六参数独立局部搜索处理。在六参数独立局部搜索处理中，如图5中所示的概念，图像处理设备1针对每个参数元素，将元素值朝向适当元素值渐渐地改变，从而最终检测出作为最优解的元素值。

[1-3.六参数矢量场的检测]

图像处理设备1的六参数矢量场检测器2设定六参数独立局部搜索处理中的初始参数并且从该初始参数中的元素值朝向适当元素值一点一点地改变元素值，直到检测到作为最优解的适当元素值。结果，六参数矢量场检测器2通过设定适当的初始参数能够减小直到检测到适当元素值的处理时长。

对于此，六参数矢量场检测器2从多个初始值选项中选择最适当的初始参数。首先，六参数矢量场检测器2计算用于计算初始值选项的全画面运动矢量Vg。

[1-3-1.全画面运动矢量的检测]

如图6所示，图像处理设备1的六参数矢量场检测器2将顺序地提供的输入图像临时存储在帧存储器11内。

全画面运动矢量搜索单元12从帧存储器11读取要进行处理的参考图像和标准图像，该标准图像是紧挨在参考图像之前的帧图像。全画面运动矢量搜索单元12通过在下面的表达式中所示的一般块匹配算法来计算参考图像相对于标准图像的的全画面运动矢量Vg。在该表达式中，t表示时刻，与时刻t对应的帧图像是标准图像，与时刻t+1对应的帧图像是参考图像。字符x和y分别表示标准图像中的X和Y的坐标，(x+u)表示标准图像中的x移动了u。

$D(u,v)=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}|I_{t+1}(x+u,y+v)-I_v(x,y)|...\left(2\right)$

Vg＝(u_g，v_g)|min D(u_g，v_g)...(3)

也就是说，D(u，v)表示从与标准图像中的像素的移动了矢量(u，v)的位置对应的参考图像中的像素值I_t+1减去标准图像中的像素值I_t(x，y)的差值D。全画面运动矢量搜索单元12搜索矢量(u，v)并且将具有最小差值D(u，v)的矢量(u，v)确定为全画面运动矢量Vg＝(u_g，v_g)。基于运算量的观点，全画面运动矢量搜索单元12可以对矢量(u，v)的搜索范围设置一定程度的限制(搜索区域)。

全画面运动矢量搜索单元12向初始参数确定单元13提供检测到的全画面运动矢量Vg。初始参数确定单元13被设计为针对三个初始值选项之中的第二初始值选项使用该全画面运动矢量Vg。

[1-3-2.初始参数的确定]

初始参数确定单元13针对六个参数元素中的每一个设定如下面的表达式中所示的各个初始值作为初始参数P^t。如稍后详细描述的，六参数矢量场检测器2执行六参数独立局部搜索处理，其中，这些参数元素中的每一个被一点一点地改变直到达到最优解。因此，通过设定适当的初始参数P^t，初始参数确定单元13能够减小直到六个参数元素中的每一个变成最优解的搜索处理中的步骤的数目。

前一帧参数P^t-1对应于标准图像与紧挨在标准图像之前的帧图像之间的六参数矢量场(下文称作前一帧矢量场)。

P^t＝(u₀，u_x，u_y，v₀，v_x，v_y)^t...(4)

初始参数确定单元13将第一初始值选项P^t_1到第三初始值选项P^t_3确定为三个初始值选项。

首先，初始参数确定单元13参考前一帧矢量场确定第一初始值选项P^t_1。如下面的表达式所示，初始参数确定单元13将从参数保持单元17提供的前一帧参数P^t-1直接确定为第一初始值选项P^t_1。通过假设标准图像与参考图像之间的六参数矢量场(下文称作搜索对象矢量场)几乎与前一帧矢量场相同而设定第一初始值选项P^t_1，并且主要在恒定运动中拍摄帧图像的情况下选择第一初始值选项P^t_1。

P^t_1＝P^t-1...(5)

初始参数确定单元13参考全画面运动矢量Vg确定第二初始值选项P^t_2。初始参数确定单元13将从全画面运动矢量搜索单元12提供的全画面运动矢量Vg(u_g，v_g)确定为第二初始值选项P^t_2中的平移参数元素u₀和v₀，并且将X依赖参数元素u_x和v_y以及Y依赖参数元素u_y和v_y确定为0，如下面的表达式所示。

P^t_2＝(u_g，0，0，v_g，0，0)...(6)

通过假设搜索对象矢量场迅速变化设定第二初始值选项P^t_2，并且主要在可携式摄像机的运动迅速变化的情况下选择第二初始值选项P^t_2。在上述的旋转和缩放处理中，以原点为中心彼此对称的局部运动矢量LMV使彼此的分量相抵。结果，在旋转和缩放处理中，全画面运动矢量Vg实质上几乎变成0。

也就是说，在帧图像之间的运动中发生迅速变化的情况下，尽管仅仅平移分量作为全画面运动矢量Vg出现，但是在全画面运动矢量Vg中几乎不会出现例如旋转、放大和缩小的变化。结果，初始参数确定单元13利用全画面运动矢量Vg仅作为第二初始值选项P^t_2中的平移分量。

初始参数确定单元13将第三初始值选项P^t_3中的所有的平移参数元素u₀和v₀、X依赖参数元素u_x和v_x以及Y依赖参数元素u_y和v_y确定为0，如下面的表达式所示。

P^t_3＝(0，0，0，0，0，0)...(7)

通过假设没有可参考的东西设定第三初始值选项P^t_3，并且主要当帧图像自身(画面等)内发生迅速变化(例如，场景变化、焰火、在图像拍摄期间使用闪光灯的情况)时选择第三初始值选项P^t_3。

初始参数确定单元13然后将第一初始值选项P^t_1到第三初始值选项P^t_3提供给差计算单元14。

差计算单元14根据将表达式(1)代入表达式(2)而得到的表达式(8)，计算使用第一初始值选项P^t_1到第三初始值选项P^t_3作为参数时的差值，并且将其提供给初始参数确定单元13。

$D(u,v)=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}|I_{t+1}(x+u_0+u_{x}x+u_{y}y,y+v_0+v_{x}x+v_{y}y)-I_t(x,y)|...\left(8\right)$

也就是说，差计算单元14通过从与标准图像的像素对应的参考图像的像素(也就是说，当标准图像的像素根据基于第一初始值选项P^t_1到第三初始值选项P^t_3的六参数矢量场(u，v)进行移动时)的像素值I_t+1减去标准图像中的像素值I_t(x，y)，计算差值D(P)。

如图7所示，初始参数确定单元13对差值D(P)进行比较以将与具有最低值的差值D(P)对应的初始值选项确定为初始参数P^t。

也就是说，初始参数确定单元13将标准图像的各像素根据由初始值选项表示的六参数矢量场进行移动的像素识别为参考图像中的与标准图像对应的像素。初始参数确定单元13通过从参考图像中的与标准图像对应的像素的像素值减去标准图像的像素值，计算差值D(P)。换言之，初始参数确定单元13与初始值选项对应地移动参考图像的像素值以将最接近标准图像的初始值选项确定为初始参数P^t。

这使得初始参数确定单元13能够将具有最接近搜索对象矢量场内的各参数元素的元素值的初始值选项确定为初始参数P^t。初始参数确定单元13将确定的初始参数P^t提供给参数更新单元15。

初始参数确定单元13由此将从第一初始值选项P^t_1到第三初始值选项P^t_3中选择的初始值选项确定为初始参数P^t。

[1-3-3.六参数独立局部搜索处理]

当从初始参数确定单元13提供了初始参数P^t时，参数更新单元15开始六参数独立局部搜索处理。也就是说，参数更新单元15首先将初始参数P^t定义为当前参数P。

针对表达式(9)所示的当前参数P，参数更新单元15将u₀的值增减由微小增减范围构成的搜索增减值ε，从而产生分别在表达式(10)和(11)中所示的增大参数P+和减小参数P-。参数更新单元15将当前参数P、增大参数P+和减小参数P-提供给差计算单元14。

P＝(u₀，u_x，u_y，v₀，v_x，v_y)...(9)

P+＝(u₀+ε，u_x，u_y，v₀，v_x，v_y)...(10)

P-＝(u₀-ε，u_x，u_y，v₀，v_x，v_y)...(11)

差计算单元14分别利用当前参数P、增大参数P+和减小参数P-，根据表达式(8)产生差值D(P)、D(P+)和D(P-)，以将它们提供给参数更新单元15。此时，差计算单元14利用表达式(8)(其中，将表达式(1)被代入表达式(2))将帧图像之间的运动建模为六参数矢量场。

如图8所示，参数更新单元15将差值D(P)、D(P+)和D(P-)进行比较以选择当前参数P、增大参数P+和减小参数P-之中的与最小差值D对应的参数。

在选择的参数是增大参数P+或减小参数P-的情况下，参数更新单元15判断：作为平移参数元素u₀，增大或减小了搜索增减值ε的u₀+ε或u₀-ε接近最优解。参数更新单元15将当前参数P中的平移参数元素u₀更新为选择的增大参数P+或减小参数P-中的平移参数元素u₀。

在选择的参数是当前参数P的情况下，参数更新单元15不更新平移参数元素u₀并且保持当前参数P不变。

参数更新单元15对六个参数元素(平移参数元素u₀和v₀、X依赖参数元素u_x和v_x以及Y依赖参数元素u_y和v_y)执行类似的处理。也就是说，参数更新单元15将当前参数P(在更新平移参数元素u₀之前)中的X依赖参数元素u_x的值增减搜索增减值ε，以产生增大参数P+和减小参数P-，并且将它们提供给差计算单元14。

在计算相对于平移参数元素u₀的差值D时，差计算单元14已经计算出了相对于当前参数P的差值D(P)。因此，对于搜索处理中的第二和其后的参数元素，差计算单元14只计算增大参数P+和减小参数P-的差值D(P+)和D(P-)。

差计算单元14分别利用当前参数P、增大参数P+和减小参数P-，根据表达式(8)产生差值D(P+)和D(P-)，并且将它们提供给参数更新单元15(图6)。

参数更新单元15对差值D(P)、D(P+)和D(P-)进行比较以选择当前参数P、增大参数P+和减小参数P-之中与最小差值D对应的X依赖参数元素u_x作为当前参数P中的X依赖参数元素u_x，并且按照需要更新该X依赖参数元素u_x。

参数更新单元15和差计算单元14还针对平移参数元素v₀、X依赖参数元素v_x以及Y依赖参数元素u_y和v_y相似地分别产生差值D(P+)和D(P-)。参数更新单元15分别选择与最小差值D对应的平移参数元素v₀、X依赖参数元素v_x以及Y依赖参数元素u_y和v_y作为当前参数P中的各参数元素，并且按照需要更新各参数元素。

也就是说，关于六个参数元素，参数更新单元15分别选择与最小差值D对应的参数元素作为当前参数P中的各参数元素，并且按照需要更新各参数元素。

从设定当前参数P到选择下一个当前参数P的以上处理称作六参数独立局部搜索处理中的搜索处理。在这个搜索处理的一个步骤中的差值D的运算中，开始搜索处理时的元素值被用于除搜索对象参数元素以外的元素值。

这使得六参数矢量场检测器2可以在搜索处理的一个步骤内仅对当前参数P的差值D(P)计算一次。结果，与连续再计算当前参数P的差值D同时更新当前参数P中的元素值的方法相比，六参数矢量场检测器2能够减少一个步骤中的差值D的运算次数。

当完成搜索处理时，参数更新单元15将当前参数P提供给收敛判断单元16。

收敛判断单元16保持在执行搜索处理之前的当前参数P(下文称作搜索前参数)。当提供了当前参数P时，收敛判断单元16将搜索前参数与当前参数P进行比较以判断六个参数元素中的任何一个是否被更新。

在六个参数元素中的任何一个被更新的情况下，收敛判断单元16在不改变搜索增减值ε的情况下再次执行搜索处理。收敛判断单元16重复执行搜索处理，直到所有的六个参数元素不被更新。

也就是说，六参数矢量场检测器2分别针对六个参数元素通过逐个地将这些参数元素的元素值修改所述搜索增减值ε来执行搜索处理，并且朝向具有甚至更小差值D的参数元素持续更新当前参数P中的参数元素。

由于六参数矢量场检测器2在逐渐改变所有参数元素的同时使各参数元素收敛，所以即使在一个参数元素偶然收敛于错误最小值的情况下，它仍能够与其它参数元素的变化对应地更新该错误最小值。结果，六参数矢量场检测器2能够搜索所有的六个参数元素的最优解(即，参数元素的正确元素值)。

六参数矢量场检测器2对于一个步骤内的搜索处理只计算一次差值D(P)。由于六参数矢量场检测器2单独增减六个参数元素，所以它分别针对六个参数元素计算差值D(P+)和D(P-)。因此，六参数矢量场检测器2在一个步骤内会计算差值D达1+6×2＝13次。

这使得六参数矢量场检测器2能够在不增加一个步骤内的差值D的运算次数的情况下通过简单处理计算六个参数元素的最优解。

在所有的六个参数元素没有被更新的情况下，收敛判断单元16确认搜索增减值ε。在搜索增减值ε等于或大于完成阈值的情况下，搜索增减值ε大，从而收敛判断单元16用较小(例如，一半)的搜索增减值ε执行搜索处理。

这使得收敛判断单元16能够首先设定较大的搜索增减值ε以粗略估计每个元素值的最优解，然后通过以粗略估计的最优解为起点将搜索增减值ε变得更小而详细搜索每个元素值。这使得收敛判断单元16能够减少搜索处理中的步骤的数目而不会降低参数元素搜索的精度。

在搜索增减值ε小于完成阈值的情况下，收敛判断单元16将当前参数P确定为搜索对象矢量场中的六个参数元素并且完成六参数独立局部搜索处理。此时，收敛判断单元16将确定的当前参数P临时存储在参数保持单元17中。

当针对后面的搜索对象矢量场进行六参数独立局部搜索处理时，确定的当前参数P被用作前一帧矢量场中的前一帧参数P^t-1。

六参数矢量场检测器2将在对应于搜索对象矢量场从参考图像恢复的运动的像素值与标准图像的像素值之间具有最小差值D的六个参数元素的元素值确定为搜索对象矢量场中的最优解。

六参数矢量场检测器2在逐个地一点一点地改变六个参数元素的元素值的同时搜索参数元素的最优解。这使得六参数矢量场检测器2能够抑制一个步骤内的算术处理，并且还能够针对所有的六个参数元素检测指示最小差值D的元素值作为各参数元素的最优解。结果，六参数矢量场检测器2能够通过简单的处理高精度地检测搜索对象矢量场。

能够通过硬件也能够通过软件执行上述的一系列的六参数矢量场检测处理。在通过软件提供六参数矢量场检测处理的情况下，在CPU和RAM中虚拟地形成六参数矢量场检测器2。然后，针对RAM展开存储在ROM中的六参数矢量场检测程序，由此执行六参数矢量场检测处理。

[1-4.图像处理]

图像处理设备1中的图像处理器3(图3)利用由六参数矢量场检测器2检测的六参数矢量场执行各种图像处理，诸如分辨率创建处理、相机抖动校正处理、对象提取处理或跟踪处理。

在执行时间分辨率创建处理的情况下，例如，图像处理器3产生标准图像被移动了六参数矢量场的一半的内插帧图像，以将该内插帧图像强加在标准图像与参考图像之间。

过去的图像处理器产生移动了全画面运动矢量Vg的一半的内插帧图像。结果，尽管对于平移移动，内插帧图像能够反映与实际像素移动相似的运动，但是对于旋转和缩放，它用来显示与实际像素移动不同的运动。

由于图像处理器3具有依赖于X和Y坐标的分量，所以在旋转和缩放方面它也能够将实际像素运动反映到内插帧图像，由此与过去的内插处理相比，能够进一步提高时间分辨率。

在执行空间分辨率创建处理的情况下，图像处理器3产生标准图像被移动了六参数矢量场的一半的内插像素，以将该内插像素强加在参考图像内的像素之间。由于这使得图像处理器3能够通过与X和Y坐标对应地反映实际像素运动来产生内插像素，所以与过去的内插处理相比，可以进一步提高空间分辨率。

在执行相机抖动校正处理的情况下，图像处理器3从六参数矢量场检测指示小振动的相机抖动分量。这里，假定相机抖动分量为平移和旋转的运动。由于旋转，六参数矢量场表现为关于原点的点对称局部运动矢量LMV，如图2A到图2D所示。

通过抵消参考图像中的相机抖动分量，图像处理器3能够对帧图像执行相机抖动校正。由于这使得图像处理器3不仅能够针对平移执行相机抖动校正还能够针对旋转执行相机抖动校正，所以与利用全画面运动矢量Vg的情况相比，可以提高相机抖动校正的精度。

在对象提取处理时，图像处理器3提取存在与六参数矢量场明显不同的局部运动矢量LMV的区域作为对象。由于图像处理器3将整个帧图像的运动适当地表示为六参数矢量场，所以能够明确与该对象中的局部运动矢量LMV的差别，由此能够适当地提取对象。

假定在可携式摄像机中执行跟踪处理。也就是说，在跟踪处理期间，可携式摄像机中的图像处理器3通过对象提取处理提取对象。可携式摄像机通过驱动透镜组(未示出)聚焦在提取的对象上，以恒定地对对象进行聚焦。

因此，图像处理器3能够在各种图像处理中使用六参数矢量场作为全画面运动矢量Vg的替代品。由于包括在六参数矢量场中的误差远小于包括在全画面运动矢量Vg中的误差，所以图像处理器3能够提高各图像处理的精度。

图像处理器3可以不执行分辨率创建处理、相机抖动校正处理、对象提取处理和跟踪处理中的所有处理，而是可以执行至少一种或多种类型的上述图像处理。对于利用全画面运动矢量Vg的所有类型的图像处理，也可以利用六参数矢量场作为替代品。

[1-5.处理过程]

接下来，利用图9和图10中的流程图描述根据六参数矢量场检测程序执行的六参数矢量场检测处理。

当被提供了作为要进行处理的帧图像的参考图像时，六参数矢量场检测器2开始六参数矢量场检测处理过程RT1并进行到步骤SP1。

在步骤SP1中，当六参数矢量场检测器2检测表示参考图像的相对于标准图像的整个帧图像的运动的全画面运动矢量Vg时，然后它进行到下一个步骤SP2。

在步骤SP2中，当六参数矢量场检测器2在第一初始值选项P^t_1到第三初始值选项P^t_3之中选择了初始参数P^t时，它设定初始参数P^t作为当前参数P并进行到下一个步骤SP3。

在步骤SP3中，六参数矢量场检测器2进行到子例程SRT11并且执行六参数独立局部搜索处理。此时，在六参数矢量场检测处理过程RT1的步骤SP3中，六参数矢量场检测器2进行到子例程SRT11中的步骤SP11(图10)。

在步骤SP11中，当六参数矢量场检测器2基于当前参数P根据对六参数矢量场进行了建模的表达式(8)计算差值D(P)时，它进行到下一个步骤SP12。

在步骤SP12中，当六参数矢量场检测器2基于通过将要搜索的参数元素增减搜索增减值ε而设定的增大参数P+和减小参数P-计算出差值D(P+)和D(P-)时，它进行到下一个步骤SP13。

在步骤SP13中，当六参数矢量场检测器2对差值D(P)、D(P+)和D(P-)进行了比较时，它进行到下一个步骤SP14。

在步骤SP14中，六参数矢量场检测器2判断差值D(P)是否是差值D(P)、D(P+)和D(P-)之中的最小值。

这里，在获得否定结果的情况下，这意味着增大参数P+或减小参数P-中的要搜索的参数元素与当前参数P中的要搜索的参数元素相比更接近最优解的可能性更高。此时，六参数矢量场检测器2进行到下一个步骤SP15。

在步骤SP15中，当六参数矢量场检测器2将当前参数P中的要搜索的参数元素更新为增大参数P+或减小参数P-中的要搜索的参数元素时，它进行到下一个步骤SP16。

相反，在步骤SP14中获得肯定结果的情况下，这意味着当前参数P中的要搜索的参数元素与增大参数P+或减小参数P-中的要搜索的参数元素相比更接近最优解的可能性更高。此时，六参数矢量场检测器2进行到下一个步骤SP16，而不更新当前参数P中的要搜索的参数元素(下文称作搜索参数)的元素值。

在步骤SP16中，六参数矢量场检测器2判断是否对所有的六个参数元素完成了该处理。这里，在获得否定结果的情况下，六参数矢量场检测器2进行到步骤SP12以继续进行搜索处理并且针对要进行下一搜索的参数元素执行处理。

相反，在步骤SP16中获得肯定结果的情况下，这意味着对六个参数元素完成了搜索处理。此时，六参数矢量场检测器2进行到步骤SP17。

在步骤SP17中，六参数矢量场检测器2判断是否当前参数P中的所有参数元素被更新。

这里，在获得肯定结果的情况下，这意味着六个参数元素还没有收敛。此时，六参数矢量场检测器2进行到下一个步骤SP11并且利用更新的当前参数P再次执行搜索处理。

相反，在步骤SP17中获得否定结果的情况下，这意味着六个参数元素收敛并且由此差值D(P)指示最小值。此时，六参数矢量场检测器2进行到下一个步骤SP18。

在步骤SP18中，六参数矢量场检测器2判断搜索增减范围ε是否小于阈值。这里，在获得否定结果的情况下，这意味着搜索增减范围ε大并且检测到的最优解的精度不够。此时，六参数矢量场检测器2进行到下一个步骤SP19。

在步骤SP19中，当六参数矢量场检测器2将搜索增减范围ε减小为一半时，它返回到下一个步骤SP11，以利用一半的搜索增减范围ε再次执行搜索处理。

相反，在步骤SP18中获得肯定结果的情况下，这意味着搜索增减范围ε小并且检测到的最优解的精度足够高。此时，六参数矢量场检测器2进行到下一个步骤SP20。

在步骤SP20中，当六参数矢量场检测器2确定当前参数P中的六个参数元素作为最优解时，它返回到六参数矢量场检测处理过程RT1的步骤SP3并且进行到完成步骤以完成该处理。

[1-6.行为和效果]

在上述构造中，在由多个帧图像构成的视频图像数据中，图像处理设备1的六参数矢量场检测器2确定帧图像的一个方向为X方向并且确定与所述一个方向垂直的方向为Y方向。此时，六参数矢量场检测器2将从标准图像(要处理的参考图像之前的一帧)到参考图像的运动分离成X方向的运动(X矢量场)和Y方向的运动(Y矢量场)。

六参数矢量场检测器2分别显示X矢量场和Y矢量场，作为由平移分量(由与X方向和Y方向的位置无关的相同幅度和方向构成)、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场。六参数矢量场检测器2与显示的X方向和Y方向对应地分别计算平移分量、X依赖分量和Y依赖分量。

这里，在过去的图像处理设备中，在作为全画面运动矢量的单个运动矢量中显示表示整个帧图像的运动。由于分量被与画面对应地抵消，所以全画面运动矢量经常包括误差。因此，过去的图像处理设备难以检测到与图像和运动对应的稳定的全画面运动矢量，并且产生了所谓的矢量波动。

六参数矢量场检测器2能够将表示整个帧图像的运动显示为根据画面中的位置进行平面变化的六参数矢量场。因此，六参数矢量场检测器2能够适当地表示旋转、缩放等的运动，因而能够稳定地检测六参数矢量场。

也就是说，六参数矢量场检测器2将显示整个帧图像的运动表示为六参数矢量场，由此与全画面运动矢量相比能够提高对应于图像和运动的六参数矢量场的鲁棒性。结果，六参数矢量场检测器2能够提高在以后阶段中执行的利用六参数矢量场的各种图像处理的精度。

六参数矢量场检测器2以帧图像的中心为原点确定X方向的位置为x，并确定Y方向的位置为y。此时，六参数矢量场检测器2确定X矢量场的平移分量为平移参数元素u₀，确定X矢量场中的X依赖分量为X依赖参数元素u_x和x的相乘值，并且确定X矢量场中的Y依赖分量为Y依赖参数元素u_y和y的相乘值。六参数矢量场检测器2将Y矢量场中的平移分量表示为平移参数元素v₀，将Y矢量场中的X依赖分量表示为X依赖参数元素v_x和x的相乘值，并且将Y矢量场中的Y依赖分量表示为Y依赖参数元素v_y和y的相乘值。

在矢量场是(u(x，y)，v(x，y))的情况下，六参数矢量场检测器2根据表达式(1)对六参数矢量场进行建模。

这使得六参数矢量场检测器2能够将具有六个参数元素的矢量场表示为线性一次组合。六参数矢量场检测器2能够通过计算这六个参数元素检测表示整个帧图像的运动的六参数矢量场。

六参数矢量场检测器2通过局部搜索分别计算这六个参数元素，该局部搜索在以搜索增减值ε为步幅改变由平移参数元素u₀和v₀、X依赖参数元素u_x和u_y以及Y依赖参数元素u_y和v_y构成的六个参数元素中的至少一个或多个的同时搜索最优解。

这使得六参数矢量场检测器2与全面搜索整个帧图像的情况相比，能够显著减小针对六个参数元素的算术处理的数目并且减小了处理负载。还确认了实际上通过局部搜索几乎能够检测到最优解。

六参数矢量场检测器2通过从标准图像的像素的像素值减去与标准图像的像素的根据六参数矢量场移动的位置对应的参考图像的像素值，计算整个帧图像的差值D，以将最小差值D的条件确定为最优解。

六参数矢量场检测器2根据表达式(8)计算差值D，其中，标准图像中的坐标是(x，y)，坐标(x，y)的标准图像的像素值被定义为I_t(x，y)，参考图像中的像素值被定义为I_t+1。

这使得六参数矢量场检测器2能够适当地检测表示整个帧图像的运动的六参数矢量场。

六参数矢量场检测器2在顺序地改变六个参数元素之中的要搜索的搜索对象参数元素的同时改变要搜索的参数元素的当前值(即，当前参数P中的要搜索的参数元素的元素值)以使得差值D逼近最小。在改变前的六个参数元素(即，基于当前参数P)中的差值D(P)变得小于当所有的六个参数元素分别以搜索增减值为步幅进行改变时(即，基于增大参数P+和减小参数P-)的差值D(P+)和D(P-)的情况下，六参数矢量场检测器2将当前参数P的值确定为最优解。

六参数矢量场检测器2以搜索增减值ε为步幅从当前值开始改变六个参数元素之中的搜索对象参数元素，并且利用改变前(当前参数P中)的搜索对象参数元素和有增减改变(增大参数P+和减小参数P-中)的搜索对象参数元素，计算差值D(P)、D(P+)和D(P-)。六参数矢量场检测器2通过将使得差值D最小的搜索对象参数元素的元素值确定为当前元素值，来执行六参数独立局部搜索处理。

在针对所有的六个参数元素执行了局部搜索(搜索处理)并且在六个参数元素的任何一个中没有更新当前参数P中的元素值的情况下，六参数矢量场检测器2将当前元素值确定为最优解。在针对所有的六个参数元素执行了搜索处理并且在当前参数P中的六个参数元素的任何一个中更新了当前元素值的情况下，六参数矢量场检测器2使得继续进行搜索处理。

仅当与当前参数P中的六个参数元素的所有元素值对应的差值D(P)变成最小值时，六参数矢量场检测器2才完成搜索处理。也就是说，即使在一个搜索对象参数元素被证实是最小值的情况下，六参数矢量场检测器2通过改变另一个参数元素而不将搜索对象参数元素中的元素值确定为最优解，进一步执行搜索处理。因此，六参数矢量场检测器2能够有效防止将错误的最小值确定为最优解并且能够导致正确的最优解。

六参数矢量场检测器2通过设定较大的搜索增减值ε粗略地估计最优解并且利用估计的最优解作为起点通过将搜索增减值ε修改得更小来确定最优解。

在用于估计最优解的搜索增减值ε的值足够小的情况下，六参数矢量场检测器2将估计的最优解确定为最优解。

这使得六参数矢量场检测器2能够减小搜索处理中步骤的数目并且降低处理负载而不会降低检测最优解的精度。

六参数矢量场检测器2利用从多个初始值选项(即，第一初始值选项P^t_1到第三初始值选项P^t_3)中选择的初始参数P^t作为起点执行搜索处理。

由于这使得六参数矢量场检测器2能够在预先将到最优解的距离设定得较小后执行搜索处理，所以能够减小搜索处理中步骤的数目并且能够降低处理负载，由此能够减小处理时长。

六参数矢量场检测器2参照前一帧参数P^t-1(即，表示从要进行处理的参考图像的两帧之前的帧图像到标准图像的运动的矢量场)确定第一初始值选项P^t_1。

六参数矢量场检测器2将前一帧参数P^t-1中的六个参数元素确定为第一初始值选项P^t_1。

这使得六参数矢量场检测器2例如在由于可携式摄像机以恒定速度移动而在帧图像之间产生恒定运动的情况下，能够将初始参数P^t与最优解之间的距离设定得非常小，由此能够减小搜索处理中步骤的数目。

六参数矢量场检测器2参照全画面运动矢量Vg确定第二初始值选项P^t_2，该全画面运动矢量Vg将从标准图像到参考图像的整个帧图像的运动表示为单个矢量。

例如在由于可携式摄像机的运动的突然变化导致帧图像之间的运动迅速变化的情况下，这使得六参数矢量场检测器2能够基于全画面运动矢量Vg预测该迅速变化。结果，六参数矢量场检测器2能够将初始参数P^t与最优解之间的距离设定得较小，并且能够减小搜索处理中步骤的数目。

六参数矢量场检测器2将全画面运动矢量Vg的X方向分量和Y方向分量的值u_g和v_g分别为平移参数元素u₀和v₀的值并且X依赖参数元素u_x和v_x以及Y依赖参数元素u_y和v_y的各个值均是0的元素确定为第二初始值选项P^t_2。

这使得六参数矢量场检测器2能够将几乎表示为平移的全画面运动矢量Vg仅仅用于平移分量，从而能够设定适当值作为第二初始值选项P^t_2。

六参数矢量场检测器2设定六个参数元素的各个值均是0的元素作为第三初始值选项P^t_3。

例如在可携式摄像机的运动突然停止的情况下，这使得六参数矢量场检测器2能够将初始参数P_t与最优解之间的距离设定得非常小，由此能够减小搜索处理中步骤的数目。在由于闪光、焰火、场景变化等的发生而使图像自身显著变化的情况下，六参数矢量场检测器2能够利用无偏的初始参数P^t，并且能够将初始参数P^t与最优解之间的距离设定得比较小。

六参数矢量场检测器2将当利用第一初始值选项P^t_1到第三初始值选项P^t_3表示六参数矢量场时具有最小差值D(P)的初始值选项确定为初始参数P^t。

这使得六参数矢量场检测器2能够基于差值D(P)从第一初始值选项P^t_1到第三初始值选项P^t_3中设定最优初始参数P^t。

根据以上构造，图像处理设备1的六参数矢量场检测器2将标准图像与参考图像之间的运动分离成X方向和Y方向。六参数矢量场检测器2将X方向和Y方向上的各个运动建模成六个分量：与X和Y方向的位置无关地移位的平移分量、对应于X方向的位置而线性变化的一次X依赖分量以及对应于Y方向的位置而线性变化的一次Y依赖分量。也就是说，在显示六参数独立局部搜索处理的子例程SRT11的步骤SP11中，当根据表达式(8)计算差值D(P)时，帧图像之间的运动被表示为使用六个参数元素的六参数矢量场。

六参数矢量场检测器2通过计算六参数矢量场内的六个参数元素，检测六参数矢量场内的六个分量(X和Y矢量场的平移分量以及X和Y依赖分量)。

由于这使得六参数矢量场检测器2能够将帧图像之间的运动表示为对应于X方向和Y方向的位置进行一次地变化的六参数矢量场，所以仅仅符号不同的对称坐标的矢量被证实没有彼此抵消。这样，本发明的实施例能够提供一种能够适当地表示帧图像之间的运动的图像处理设备、图像处理方法和记录有图像处理程序的记录介质。

<2.其它实施例>

尽管针对逐个地将各参数元素的元素值修改搜索增减范围ε的情况描述了上述实施例，但是本发明的实施例不限于此。例如，与六参数矢量场检测器2对应的六参数矢量场检测器2X(未示出)选择原始参数元素、增大了搜索增减范围ε的参数元素和减小了搜索增减范围ε的参数元素的组合以及显示所有这六个参数元素的最小差值D的参数元素的组合。

也就是说，六参数矢量场检测器2X在以搜索增减值ε为步幅同时改变六个参数元素的所有值的同时搜索最优解以计算对应的六个参数元素。

在这种情况下，尽管假设六参数矢量场检测器2X在搜索处理的一个步骤中将差值D运算3⁶＝729次并且运算负载显著增大，但是能够提高搜索的精度。因此，在自身的运算时长和处理能力具有一些裕量的情况下，优选利用六参数矢量场检测器2X的方案。

此外，与六参数矢量场检测器2对应的六参数矢量场检测器2Y将六个参数元素分别增减搜索增减范围ε以分别计算差值D。六参数矢量场检测器2Y仅仅更新具有最小差值D的一个参数元素。

也就是说，六参数矢量场检测器2Y从当前元素值开始以搜索增减值ε为步幅改变搜索对象参数元素，并且利用改变前(当前参数P中)的搜索对象参数元素和有增减改变(增大参数P+和减小参数P-中)的搜索对象参数元素来计算差值D(P)、D(P+)和D(P-)。六参数矢量场检测器2Y将针对所有的六个参数元素比较差值D(P)、D(P+)和D(P-)并且将具有最小差值D(P)、D(P+)和D(P-)的搜索对象参数元素的元素值确定为当前元素值以执行局部搜索(搜索处理)。在六个参数元素的任何一个中没有更新当前元素值的情况下，六参数矢量场检测器2Y将当前参数P中的元素值确定为最优解。在六个参数元素的任何一个中更新了当前参数P中的元素值的情况下，六参数矢量场检测器2Y继续进行搜索处理。

在这种情况下，尽管在搜索处理的一个步骤内运算仅为1+2×6＝13次，但是六参数矢量场检测器2Y在一个步骤内仅仅更新一个参数元素。因此，六参数矢量场检测器2Y采用大量的步骤直到六个参数元素收敛，并且尽管提高了精度，但是结果却增大了处理时长和运算次数。

此外，在由于例如便于实现等而希望在预定时间内完成六参数矢量场检测处理的情况下，与六参数矢量场检测器2对应的六参数矢量场检测器2Z(未示出)能够限制搜索处理中步骤的数目。在这种情况下，六参数矢量场检测器2Z例如在子例程SRT11(图10)中的步骤SP17和SP18之间提供分支，并且确认步骤的数目或者从开始起的时间是否小于预定阈值。在等于或大于阈值的情况下，六参数矢量场检测器2Z完成处理并且将当前参数P确定为搜索对象矢量场内的参数。这使得六参数矢量场检测器2Z能够在预定时间内确定地完成六参数矢量场检测处理。这种处理用于特别期望实时进行的图像处理等。

针对通过局部搜索来计算各参数元素的情况描述了上述实施例。本发明的实施例不限于此，并且它们能够通过预先确定搜索范围并在该搜索范围内进行全面搜索来计算各参数元素。

另外，针对通过块匹配算法产生全画面运动矢量Vg的情况描述了以上实施例。本发明的实施例不限于此，并且可以通过多种方案(例如，代表点匹配方法)产生全画面运动矢量Vg。

另外，针对将差值D变成最小的条件确定为最优解的情况描述了以上实施例。本发明的实施例不限于此，并且可以将例如差值D的平方和变得最小的条件确定为最优解。重点是，最优解可以是如下条件：参考图像中的与标准图像对应的像素根据矢量场进行了移动的图像变得最接近标准图像。

此外，针对首先设定较大的搜索增减值ε以粗略估计最优解然后利用粗略估计的最优解为起点将搜索增减值ε改变得较小的情况描述了以上实施例。本发明的实施例不限于此，并且例如可以将搜索增减值ε固定。

另外，针对在从第一初始值选项P^t_1到第三初始值选项P^t_3的多个初始值选项之中选择初始参数P^t的情况描述了以上实施例。本发明的实施例不限于此，并且可以不限制初始值选项的数目并且可以设定两个或四个以上的初始值选项，并且初始参数P^t可以固定为1。设定的初始值选项能够利用多种参数，例如设定任意数值。

另外，针对通过将前一帧矢量场确定为第一初始值选项P^t_1参考表示从两帧之前的帧图像到标准图像的运动的矢量场的情况描述了以上实施例。本发明的实施例不限于此，并且可以例如将前一帧矢量场的1/2确定为第一初始值选项P^t_1。这使得本发明的实施例在例如可携式摄像机的运动变慢的情况下，能够将搜索距离附近的值设定为初始参数P^t。

另外，针对通过将全画面运动矢量Vg仅用于第二初始值选项P^t_2中的平移分量来参考全画面运动矢量Vg的情况描述了以上实施例。本发明的实施例不限于此，并且例如可以将全画面运动矢量Vg的一部分看作旋转并且将全画面运动矢量Vg的预定比率确定为X依赖参数元素u_x和v_x以及Y依赖参数元素u_y和v_y。

另外，针对在搜索处理的一个步骤中的差值D的运算中对于搜索对象参数元素以外的元素值使用开始搜索处理时的元素值的情况描述了以上实施例。本发明的实施例不限于此，并且可以利用更新的最新元素值连续计算差值D。在这种情况下，六参数矢量场检测器连续计算当前参数P中的差值D(P)。

另外，针对根据表达式(8)计算差值D的情况描述了以上实施例。本发明的实施例不限于此，并且可以将例如从参考图像的像素值减去根据六参数矢量场进行了移动的标准图像的像素值的值确定为差值D。

另外，在以上实施例中，一个静止图像称作帧图像并且没有特别限定帧图像之间的像素的移动。本发明的实施例可以应用于像素在帧图像之间没有移动的逐行扫描技术以及像素在帧图像之间移动了的隔行扫描技术。在将本发明的实施例应用于隔行扫描技术的情况下，通过将由Y方向的平移参数元素v₀的像素移动量构成的常量设定为第三初始值选项P^t_3，能够减小搜索处理中步骤的数目。

另外，针对把要进行处理的参考图像之前一帧的帧图像确定为标准图像的情况描述了以上实施例。本发明的实施例不限于此，并且可以将邻近参考图像的帧图像(例如两帧前或一帧后的帧图像)确定为标准图像。

另外，尽管在上述的实施例中六参数矢量场检测程序等预先存储在ROM、硬盘驱动器等中，但是本发明的实施例不限于此，并且可以从例如索尼公司的记忆棒

的外部存储介质安装到闪存等中。还可以经由例如USB(通用串行总线)、以太网

和IEEE 802.11a/b/g的无线LAN(局部网)从外部获得数据库产生程序等，并且还可以通过陆地数字电视广播或BS数字电视广播放送数据库产生程序等。

另外，针对将图像处理设备1构造为以差计算单元14为建模单元并且以差计算单元14、参数更新单元15和收敛判断单元16为计算单元的图像处理设备的情况描述了以上实施例。本发明的实施例不限于此，并且还可以由各种构造的建模单元和计算单元构成根据本发明的实施例的图像处理设备。

本申请包含与在2009年4月16日提交到日本专利局的日本在先专利申请JP 2009-100173中公开的主题有关的主题，通过引用将该申请的全部内容并入本文。

本领域技术人员应当明白，可以根据设计要求和其它因素想到各种变型、组合、子组合和替代，只要它们位于权利要求及其等同物的范围内即可。

Claims (20)

1.一种图像处理设备，包括：

建模单元，在由多个帧图像构成的视频图像数据中在每个帧图像中的一个方向被定义为X方向而与所述一个方向垂直的方向被定义为Y方向的情况下，将从作为要进行处理的参考图像之前的一帧的标准图像到该参考图像的运动分离成X方向的运动和Y方向的运动，并且分别将X方向的运动和Y方向的运动表示为由与X方向和Y方向的位置无关的相同幅度和方向构成的平移分量、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场；以及

计算单元，分别计算与由建模单元表示的与X方向和Y方向对应的平移分量、X依赖分量和Y依赖分量。

2.根据权利要求1的图像处理设备，其中，当以帧图像的中心为原点的X方向的位置是x并且Y方向的位置是y时，建模单元将X方向的平移分量表示为平移参数元素u₀，将X方向的运动的X依赖分量表示为X依赖参数元素u_x和x的相乘值，将X方向的运动的Y依赖分量表示为Y依赖参数元素u_y和y的相乘值，将Y方向的运动的平移分量表示为平移参数元素v₀，将Y方向的运动的X依赖分量表示为X依赖参数元素v_x和x的相乘值，将Y方向的运动的Y依赖分量表示为Y依赖参数元素v_y和y的相乘值。

3.根据权利要求2的图像处理设备，其中，当矢量场被定义为(u(x，y)，v(x，y))时，根据下面的表达式对矢量场进行建模：

(u(x，y)，v(x，y))＝(u₀+u_xx+u_yy，v₀+v_xx+v_yy)...(1)。

4.根据权利要求3的图像处理设备，其中，通过在以一搜索增减值为步幅改变由平移参数元素u₀和v₀、X依赖参数元素u_x和v_x以及Y依赖参数元素u_y和v_y构成的六个参数元素中的至少一个或多个的同时搜索最优解的局部搜索，计算单元分别计算这六个参数元素。

5.根据权利要求4的图像处理设备，其中，通过从标准图像的像素的像素值减去与将标准图像的像素根据所述矢量场移动的位置对应的参考图像的像素值，计算单元计算整个帧图像中的差值以将差值变得最小的条件确定为最优解。

6.根据权利要求5的图像处理设备，其中，当标准图像中的坐标是(x，y)，坐标(x，y)处的标准图像的像素值被定义为I_t(x，y)，并且参考图像中的像素值被定义为I_t+1时，计算单元根据下面的表达式计算差值：

$D(u,v)=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}|I_{t+1}(x+u_0+u_{x}x+u_{y}y,y+v_0+v_{x}x+v_{y}y)-I_t(x,y)|...\left(2\right).$

7.根据权利要求6的图像处理设备，其中，在顺序地改变所述六个参数元素之中的要进行搜索的搜索对象参数元素的同时，计算单元改变搜索对象参数元素中的当前值以使得所述差值逼近最小，并且当改变前的六个参数元素中的差值变得小于当所有的六个参数元素以搜索增减值为步幅分别被改变时的差值时，将改变前的六个参数元素的值确定为最优解。

8.根据权利要求7的图像处理设备，其中，

计算单元具有

参数更新单元，如下执行所述局部搜索，通过从当前值开始以搜索增减值为步幅改变六个参数元素之中的搜索对象参数元素，利用改变前的搜索对象参数元素和有增减改变的搜索对象参数元素计算差值，并且将当所述差值变得最小时的搜索对象参数元素的值确定为当前值，以及

收敛判断单元，在参数更新单元针对所有的六个参数元素执行了局部搜索并且在所述六个参数元素中的任何一个中没有更新该当前值的情况下，将该当前值确定为最优解，在参数更新单元针对所有的六个参数元素执行了局部搜索并且对所述六个参数元素中的任何一个更新了该当前值的情况下，继续参数更新单元中的局部搜索。

9.根据权利要求4的图像处理设备，其中，计算单元通过设定较大的搜索增减值来粗略估计最优解，并且利用估计的最优解作为起点通过将搜索增减值变小来确定最优解。

10.根据权利要求9的图像处理设备，其中，计算单元在当估计出最优解时的搜索增减值的值足够小的情况下，将估计的最优解确定为最优解。

11.根据权利要求4的图像处理设备，其中，计算单元利用从多个初始值选项中选择的初始参数作为起点执行所述局部搜索。

12.根据权利要求11的图像处理设备，其中，计算单元参考表示从参考图像的两帧前的帧图像到标准图像的运动的矢量场，确定初始值选项之一。

13.根据权利要求12的图像处理设备，其中，计算单元将表示从参考图像的两帧前的帧图像到标准图像的运动的矢量场中的六个参数元素确定为初始值选项之一。

14.根据权利要求11的图像处理设备，其中，计算单元参考将从标准图像到参考图像的整个帧图像的运动表示为单个矢量的全画面矢量，确定初始值选项之一。

15.根据权利要求14的图像处理设备，其中，计算单元如下确定初始值选项之一的值：将全画面矢量的X方向分量和Y方向分量的值分别确定为平移参数元素u₀和v₀的值，并将X依赖参数元素u_x和v_x以及Y依赖参数元素u_y和v_y的值分别确定为0。

16.根据权利要求11的图像处理设备，其中，计算单元将初始值选项之一确定为被分别确定为0的六个参数元素的值。

17.根据权利要求5的图像处理设备，其中，当利用从多个初始值选项中选择的初始参数作为起点执行所述局部搜索时，计算单元将当利用所述多个初始值选项表示矢量场时差值最小的一个初始值选项中确定为初始参数。

18.根据权利要求4的图像处理设备，其中，计算单元通过在以搜索增减值为步幅同时改变所有的六个参数元素的值的同时搜索最优解，分别计算所述六个参数元素。

19.一种图像处理方法，包括以下步骤：

建模步骤，在由多个帧图像构成的视频图像数据中在每个帧图像中的一个方向被定义为X方向而与所述一个方向垂直的方向被定义为Y方向的情况下，将从作为要进行处理的参考图像之前的一帧的标准图像到该参考图像的运动分离成X方向的运动和Y方向的运动，并且分别将X方向的运动和Y方向的运动表示为由与X方向和Y方向的位置无关的相同幅度和方向构成的平移分量、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场；以及

计算步骤，计算与由建模步骤表示的与X方向和Y方向对应的平移分量、X依赖分量和Y依赖分量。

20.一种其上记录有图像处理程序的记录介质，该图像处理程序使计算机执行以下步骤：

建模步骤，在由多个帧图像构成的视频图像数据中在每个帧图像中的一个方向被定义为X方向而与所述一个方向垂直的方向被定义为Y方向的情况下，将从作为要进行处理的参考图像之前的一帧的标准图像到该参考图像的运动分离成X方向的运动和Y方向的运动，并且分别将X方向的运动和Y方向的运动表示为由与X方向和Y方向的位置无关的相同幅度和方向构成的平移分量、对应于X方向的位置进行一次地变化的X依赖分量和对应于Y方向的位置进行一次地变化的Y依赖分量构成的矢量场；以及

计算步骤，计算与由建模步骤表示的与X方向和Y方向对应的平移分量、X依赖分量和Y依赖分量。

Images