CN101383966A - 用于图像处理的装置和方法、以及计算机程序 - Google Patents

Abstract

提供了一种用于图像处理的装置和方法、以及计算机程序。该图像处理装置包括以下元件。局部运动矢量估计单元估计与每个块相关联的运动矢量作为局部运动矢量，各块用作构成运动图像的图像帧的各段。块权重计算单元计算块权重作为每块的局部运动矢量的可靠性的指标。全局运动矢量估计单元接收各局部运动矢量和各权重，以便估计作为包括在帧中的各块公用的运动矢量的全局运动矢量。全局运动矢量估计单元计算与各个块相关联的各局部运动矢量与全局运动矢量之间的差、与分配给经历差计算的各个块的块权重的乘积的和作为成本，并且计算最小化该成本的全局运动矢量的各配置参数。

Description

用于图像处理的装置和方法、以及计算机程序

技术领域

本发明涉及用于图像处理的装置和方法、以及计算机程序，并且尤其涉及用于检测图像中的运动矢量的图像处理装置和方法、以及计算机程序。

背景技术

在如运动图像压缩的图像编码中，检测运动矢量并且基于运动矢量信息执行数据压缩。例如，根据已知为图像编码系统的MPEG系统，执行用于将每帧分割成各块并且使用基准帧的相应块检测当前帧的每块中的运动矢量的处理。然而，当各块单元中的运动矢量信息包括在压缩数据中时，数据量增加。当相机通过例如摇镜头(panning)或倾斜动作或手运动而被移动时，各个块的运动矢量基本是相同的。在此情况下，设置与一帧相关联的单个运动矢量代替每块的运动矢量，并且使用以此方式获得的运动矢量执行编码处理，使得数据量可以减少。

每块的运动矢量被称为局部运动矢量(LMV)，而与一帧相关联的运动矢量被称为全局运动矢量(GMV)。在例如MPEG-4中利用使用全局运动矢量的数据编码。

例如，如图1A所示，假设存在两个图像帧，即在时间t0捕获的图像帧10和在时间t1捕获的图像帧11。在相机由于摇镜头或倾斜动作或手运动而被移动时捕获这两帧。如图所示，捕获的图像完全偏移。

通常，为了编码这些图像，每帧被分割为多块，每块包括例如n×n像素的矩阵，检测每块的运动矢量(MV)(即，局部运动矢量)，并且使用各个块的运动矢量执行数据压缩和解压缩。然而，如图1B所示，如果通过摇镜头或倾斜动作或手运动而移动相机，则各个块的运动矢量基本相同。

在此情况下，使用如图1C所示的描述整体图像的运动的一个运动矢量21执行图像编码。因此，可以显著提高编码效率。这种表示整体图像的运动的矢量被称为全局运动矢量。

全局运动矢量可以使用多个参数表示为描述如图1C所示的简单平移(translation)、旋转、放大、缩小、仿射变换、或投影变换的数据。如上所述，在MPEG-4中利用使用全局运动矢量的编码。

MPEG-4使用应用全局运动矢量并且使用全局运动补偿(GMC)作为标准的图像编码技术。编码器检测全局运动矢量，而解码器利用使用接收的全局运动矢量的全局运动补偿执行解码。

全局运动矢量表示为描述当前帧中的像素位置(x，y)和图2所示的作为平移、旋转、放大、缩小、仿射变换、或投影变换的基准帧中的相应像素位置(x′，y′)之间关系的数据。通常，分配单个全局运动矢量给一个图像帧。一帧可以分割为多段(segment)，每段具有大于例如正常块的大小，并且可以为每段设置全局运动矢量。换句话说，每个图像帧的全局运动矢量的数目不限于一。单个全局运动矢量可以设置为包括在单个图像帧中的多个块公用的运动矢量，并且可以为单个图像帧设置多个全局运动矢量。

当全局运动矢量例如只描述平移(平行位移)时，该矢量使用两个参数[a₀，a₁]表示如下。

x′＝x+a₀

y′＝y+a₁

描述具有旋转的平移(平行位移)的全局运动矢量使用三个参数[a₀，a₁，a₂]表示如下。

x′＝sina₀x-cosa₀y+a₂

y′＝cosa₀x+sina₀y+a₁

描述仿射变换的全局运动矢量使用六个参数[a₀，a₁，a₂，a₃，a₄，a₅]表示如下。

x′＝a₀x-a₁y+a₂

y′＝a₃x+a₄y+a₅

描述投影变换的全局运动矢量使用八个参数[a₀，a₁，a₂，a₃，a₄，a₅，a₆，a₇]表示如下。

x′＝((a₀x+a₁y+a₂)/(a₆x+a₇y+1))

y′＝((a₃x+a₄y+a₅)/(a₆x+a₇y+1))

为了从运动图像帧获得全局运动矢量，如图2所示使用当前帧和基准帧执行处理。存在一些用于获得全局运动矢量的技术。根据一个技术，获得每块的局部运动矢量，然后使用各局部运动矢量获得全局运动矢量。这种技术于在IEEE Transactions on Consumer Electronics，Vol.52，No.2，2006年5月中公开。

根据该技术，获得每块的局部运动矢量，从与各个块相关联的各局部运动矢量中选择具有高可靠性的各局部运动矢量，并且基于选择的具有高可靠性的各局部运动矢量获得全局运动矢量。

例如，假设获得与p块相关联的p个局部运动矢量，并且从p个局部运动矢量选择具有高可靠性的q个局部运动矢量。基于具有高可靠性的q个局部运动矢量而不使用具有低可靠性的另外(p-q)个局部运动矢量，获得单个全局运动矢量。

对于有关局部运动矢量的可靠性的信息，例如使用了指示是否在当前帧和基准帧之间的匹配块中获得清楚的特征匹配信息的信息。对于用于基于具有高可靠性的各局部运动矢量获得单个全局运动矢量的技术，例如可以使用最小平方的方法。

这种用于使用各局部运动矢量得到全局运动矢量的技术可以执行为相关技术的局部运动矢量估计的扩展。有利地，可以使用已有的各组件。然而，当具有高可靠性的局部运动矢量的数量小时，全局运动矢量的可靠性显著降低。

发明内容

考虑到上述问题做出了本发明。期望提供一种即使在具有高可靠性的局部运动矢量的数量小时、也能够使用局部运动矢量获得全局运动矢量而不显著降低全局运动矢量的可靠性的图像处理装置和方法、以及计算机程序。

根据本发明的第一实施例，一种图像处理装置包括以下元件。局部运动矢量估计单元估计与每个块相关联的运动矢量作为局部运动矢量，各块用作构成运动图像的图像帧的各段。块权重计算单元计算块权重作为与每块相关联的局部运动矢量的可靠性的指标。全局运动矢量估计单元接收各局部运动矢量和各块权重，以便估计作为包括在图像帧中的各块公用的运动矢量的全局运动矢量。全局运动矢量估计单元配置为计算与各个块相关联的各局部运动矢量与全局运动矢量之间的差、与分配给经历差计算的各个块的块权重的乘积的和作为成本(cost)，计算最小化该成本的全局运动矢量的各配置参数，并且生成其中设置计算的参数的全局运动矢量。

在该实施例中，块权重计算单元可以配置为基于不同的数据元素获得多个块相关的权重数据元素，并且基于各块相关的权重数据元素计算与每块相关联的块权重。

在该实施例中，块权重计算单元可以配置为基于不同的数据元素获得多个块相关的权重数据元素，并且计算各块相关的权重数据元素的乘积作为与每块相关联的块权重。

在该实施例中，块权重计算单元可以使用以下各值的至少一个执行用于计算块权重的处理，各值包括：(a)与每块相关联的局部运动矢量的大小、(b)与每块相关联的绝对差的和、(c)与每块相关联的各像素值的方差、(d)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的协方差、(e)与每块相关联的局部运动矢量和与邻近该块的各块相关联的局部运动矢量之间的相关、以及(f)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的相关系数。

在该实施例中，全局运动矢量估计单元可以配置为接收各局部运动矢量和各块权重，并且估计与图像帧相关联的单个全局运动矢量作为包括在该图像帧中的所有块公用的运动矢量。

根据本发明的第二实施例，提供一种用于在图像处理装置中执行运动矢量检测的图像处理方法。该方法包括以下各步骤：(A)估计与每个块相关联的运动矢量作为局部运动矢量，各块用作构成运动图像的图像帧的各段；(B)计算块权重作为与每块相关联的局部运动矢量的可靠性的指标；以及(C)接收各局部运动矢量和各块权重，以便估计作为包括在图像帧中的各块公用的运动矢量的全局运动矢量。在步骤(C)中，计算与各个块相关联的各局部运动矢量与全局运动矢量之间的差、与分配给经历差计算的各个块的块权重的乘积的和作为成本，计算最小化该成本的全局运动矢量的各配置参数，并且生成其中设置计算的参数的全局运动矢量。

在该实施例中，优选地，在步骤(B)中，基于不同的数据元素获得多个块相关的权重数据元素，并且基于各块相关的权重数据元素计算与每块相关联的块权重。

在该实施例中，优选地，在步骤(B)中，基于不同的数据元素获得多个块相关的权重数据元素，并且计算各块相关的权重数据元素的乘积作为与每块相关联的块权重。

在该实施例中，优选地，在步骤(B)中，使用以下各值的至少一个执行用于计算块权重的处理，各值包括：(a)与每块相关联的局部运动矢量的大小、(b)与每块相关联的绝对差的和、(c)与每块相关联的各像素值的方差、(d)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的协方差、(e)与每块相关联的局部运动矢量和与邻近该块的各块相关联的局部运动矢量之间的相关、以及(f)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的相关系数。

根据该实施例，优选地，在步骤(C)中，接收各局部运动矢量和各块权重，并且估计与图像帧相关联的单个全局运动矢量作为包括在该图像帧中的所有块公用的运动矢量。

根据本发明的第三实施例，提供了一种计算机程序，其允许图像处理装置执行运动矢量检测。该程序包括各步骤：(A)估计与每个块相关联的运动矢量作为局部运动矢量，各块用作构成运动图像的图像帧的各段；(B)计算块权重作为与每块相关联的局部运动矢量的可靠性的指标；以及(C)接收各局部运动矢量和各块权重，以便估计作为包括在图像帧中的各块公用的运动矢量的全局运动矢量。在步骤(C)中，计算与各个块相关联的各局部运动矢量与全局运动矢量之间的差、与分配给经历差计算的各个块的块权重的乘积的和作为成本，计算最小化该成本的全局运动矢量的各配置参数，并且生成其中设置计算的参数的全局运动矢量。

根据本发明的该实施例的计算机程序可以被提供到例如通用计算机系统，其能够执行来自计算机可读存储介质和通信介质的各种程序代码。以计算机可读形式提供该计算机程序实现根据这种计算机系统上的程序的处理操作。

本发明的其它特征和优点从以下基于将在下面描述的本发明的实施例和各附图的更详细描述将变得更明显。本说明中的术语“系统”指各设备的逻辑组，并且每个用作组件的各设备不必容纳在单个机壳中。

根据本发明的实施例，获得了与每块相关联的局部运动矢量(LMV)和作为与每块相关联的局部运动矢量的可靠性的指标的块权重，各块用作构成运动图像的图像帧的各段，并且根据相应的块权重设置每块的贡献率，以便估计全局运动矢量(GMV)。为了计算每块的块权重，使用了来自各种视角的指标，例如，局部运动矢量(LMV)的大小、绝对差的和(SAD)、构成每块的各像素的像素值的方差、以及从构成处理目标帧中的每块的各像素的像素值和构成基准帧中的相应块的各像素的像素值获得的协方差。有利地，可以获得具有高可靠性的全局运动矢量(GMV)。

附图说明

图1A到1C是解释全局运动矢量的图；

图2是解释全局运动矢量和当前和基准帧中的各点之间的关系的图，各点相互对应；

图3A和3B是解释用于在根据本发明实施例的图像处理装置中导出全局运动矢量的技术的概要的图；

图4是图示在根据本发明实施例的图像处理装置中设置的全局运动矢量生成机制的结构的图；

图5是解释块权重计算单元的详细结构和处理的图；

图6是解释基于LMV的权重计算表的结构的图，基于LMV的权重计算部分使用该基于LMV的权重计算表以便计算基于LMV的权重；

图7A是由基于LMV的权重计算部分执行的处理的流程图；

图7B是解释设置基于LMV的权重的示例的图；

图8A是由基于残差(residual)的权重计算部分执行的处理的流程图；

图8B是解释设置基于残差的权重的示例的图；

图9A是由基于方差(variance)的权重计算部分执行的处理的流程图；

图9B是解释该处理的图；

图9C是解释设置基于方差的权重的示例的图；

图10A是由基于协方差(covariance)的权重计算部分执行的处理的流程图；

图10B是解释该处理的图；

图10C是解释设置基于协方差的权重的示例的图；

图11A是用于计算基于相关系数的权重的处理的流程图；

图11B是解释设置基于相关系数的权重的示例的图；

图12A是由基于LMV相关的权重计算部分执行的处理的流程图；

图12B是解释该处理的图；

图12C是解释设置基于LMV相关的权重的示例的图；

图13A和13B是解释通过全局运动矢量估计单元获得全局运动矢量的处理的图；以及

图14是显示根据本发明实施例的图像处理装置的硬件配置的示例的图。

具体实施方式

将参照附图详细描述根据本发明实施例的图像处理装置、其图像处理方法、及其计算机程序

根据本发明实施例的图像处理装置输入运动图像数据，并且执行用于获得与该运动图像数据相关联的全局运动矢量的处理。具体地，根据本实施例的图像处理装置首先获得每块的局部运动矢量，并且使用该局部运动矢量获得全局运动矢量。

根据本发明，为与局部运动矢量相关联的每块设置可靠性，定义对应于该可靠性的权重，并且考虑各个局部运动矢量的权重获得全局运动矢量。

现在将参照图3A和3B描述用于在根据本实施例的图像处理装置中取得全局运动矢量的技术的概要。图3A是解释上述相关技术的图，而图3B是解释根据本发明的实施例的技术的图。

根据图3A中所示的技术，获得与通过分割一个图像帧获得的p块相关联的p个局部运动矢量，从该p个局部运动矢量中选择具有高可靠性的q个局部运动矢量，并且基于具有高靠性的q个局部运动矢量而不使用其它(p-q)个具有低可靠性的局部运动矢量获得单个全局运动矢量。对于指示局部运动矢量的可靠性的信息，使用指示是否在例如当前帧和基准帧之间的块匹配中获得清楚的特征匹配信息的信息。对于用于基于具有高可靠性的各局部运动矢量获得单个全局运动矢量的技术，例如使用最小平方的方法。

这种用于使用各局部运动矢量得到全局运动矢量的技术可以执行为相关技术的局部运动矢量估计的扩展。有利地，可以使用已有的各组件。然而，当具有高可靠性的局部运动矢量的数量小时，全局运动矢量的可靠性显著降低。

根据在图3B所示的本发明的实施例的技术，获得与通过分割一个图像帧获得的n块相关联的n个局部运动矢量，并且为每块设置对应于可靠性的权重。此后，考虑各个局部运动矢量的权重获得全局运动矢量。

现在将描述根据本实施例的技术的具体示例。当全局运动矢量只描述例如平移(平行位移)时，使用两个参数[a₀，a₁]将当前帧图像中的坐标(x，y)基准图像中的相应坐标(x′，y′)之间的关系表示为如所述的以下表达式1。

x′＝x+a₀

y′＝y+a₁       (1)

对于在图3B所示的图像帧中的指示在n的任何块，当局部运动矢量[LMV_n]在局部运动矢量[LMV_n]＝(MVX_n，MVY_n)的条件下只描述平移(平行位移)时，在当前帧图像中的块[n]的坐标(x_n，y_n)和基准图像中的相应块[n]的坐标(u_n，v_n)之间的关系由以下表达式2表示。

u_n＝x_n+MVX_n

v_n＝y_n+MVY_n    (2)

当块的数目是例如p时，设置与p个局部运动矢量相关联的关系表达式[LMV]＝(MVX_n，MVY_n)。

与一个帧图像相关联的全局运动矢量和包括在该帧中的块[n]的局部运动矢量[LMV_n]之间的差[e_n]由如下表达式3定义。

$e_n=\sqrt{{(u_n-(a_0+x_n))}^2+{(v_n-(a_1+y_n))}^2}$

                                             (3)

使用与每块[n]相关联的矢量差[e_n]和为块[n]设置的权重[w_n]根据以下表达式4计算全局运动矢量成本(GMV成本)[Q]。

Q＝∑w_ne_n

                                             (4)

获得最小化由上面的表达式4计算的GMV成本[Q]的两个参数[a₀，a₁]。获得的参数[a₀，a₁]用于确定如下由前述表达式1表示的上述全局运动矢量：

x′＝x+a₀

y′＝y+a₁

对于根据上面的表达式3和4获得最小化成本[Q]的参数[a₀，a₁]的处理，该处理使用基于与各个块相关联的权重的最小平方的方法。

在上述处理示例中，全局运动矢量只描述平移(平行位移)，并且获得两个参数[a₀，a₁]。如上所示，全局运动矢量可以设置为包含平移、旋转、放大、缩小、仿射变换、或投影变换的信息。参数的数目根据设置变化。在此情况下，以类似于上述处理的方式获得与帧相关联的全局运动矢量和包括在该帧中的每块[n]的局部运动矢量[LMV_n]，基于与各个块相关联的权重获得最小化GMV成本[Q]的参数[a₀，a₁，a₂，a₃，...]，并且使用该参数确定全局运动矢量。

现在将参照图4和5详细描述根据本发明的实施例获得全局运动矢量的处理。图4图示了在根据本实施例的图像处理装置中设置的全局运动矢量(GMV)生成机制的结构。输入当前帧图像和基准帧图像，并且输出全局运动矢量。

如图4中所示，在根据本实施例的图像处理装置中设置的全局运动矢量生成机制包括：局部运动矢量估计单元(LME)101、块权重计算单元102、以及全局运动矢量估计单元(GME)103。

局部运动矢量估计单元101接收当前帧图像和基准帧图像，以便估计与通过分割一帧获得的每块相关联的运动矢量，即局部运动矢量(LMV)。对于用在局部运动矢量估计单元101中的处理，使用公知处理(例如块匹配)来估计与每块相关联的局部运动矢量。

由局部运动矢量估计单元101获得的每个局部运动矢量输入到块权重计算单元102和全局运动矢量估计单元103。

另外，经历运动补偿(MC)和最小残差(SAD：绝对差的和)的运动补偿图像被提供到块权重计算单元102。当在局部运动矢量估计单元101中估计局部运动矢量时，生成运动补偿(MC)图像。最小残差(SAD)用作涉及当前图像帧中的块的像素信息元素和涉及基准图像帧中相应块的像素信息元素之间的差的绝对值的和。

块权重计算单元102为在当前帧中设置的每块计算权重。现在将参照图5描述块权重计算单元102的详细结构和处理。

参照图5，块权重计算单元102包括：块方差计算部分211、图像间协方差计算部分212、以及邻近LMV相关计算部分213。块权重计算单元102还包括以下组件：

(a)基于LMV的权重计算部分221；

(b)基于残差的权重计算部分222；

(c)基于方差的权重计算部分223；

(d)基于协方差的权重计算部分224；以及

(e)基于LMV相关的权重计算部分225。

块权重计算单元102还包括乘法部分213。

根据本实施例，块权重计算单元102配置为基于通过上述部分(a)到(e)获得的五个不同的数据元素计算块权重，并且将这五个不同的块权重相乘以获得最终的块权重。现在将在下面顺序描述基于通过上述部分(a)到(e)获得的五个不同的数据元素获得块权重的处理。

(a)基于LMV的权重计算部分221

基于LMV的权重计算部分221从在图4中示出的局部运动矢量估计单元(LME)101接收与每块相关联的局部运动矢量(LMV)，以便基于接收的局部运动矢量计算权重。

基于LMV的权重计算部分221具有基于LMV的权重计算表，并且根据该表计算基于LMV的权重。图6图示基于LMV的权重计算表的结构。图6的表包含值[LMV²]和相应的数据元素，每个值[LMV²]基于局部运动矢量的标量(scalar)计算，每个相应的数据元素代表基于LMV的权重。

在本处理示例中，值[LMV²]是如下获得。

LMV²＝LMVx²+LMVy²

LMVx代表局部运动矢量(LMV)的x分量，而LMVy代表其y分量。

在图6所示的基于LMV的权重计算表中设置的权重范围从1.0到0.0。最大权重是[1.0]。该表是示例。权重可以设置在从0.0到1.0的范围。例如，权重可以设置在从0.5到1.0的范围。

基于LMV的权重计算部分221可以配置为根据图7A所示的流程图计算基于LMV的权重。首先，在步骤S101中，基于局部运动矢量的水平分量(LMVx)和垂直分量(LMVy)，计算与从图4所示的局部运动矢量估计单元101接收的每块相关联的局部运动矢量(LMV)的大小[LmvSize]。局部运动矢量的大小[LmvSize]通过以下表达式5计算。

$\mathrm{LmvSize}=\sqrt{\mathrm{LMV}{x}^2+\mathrm{LMV}{y}^2}$

                                              (5)

随后，在步骤S102中，基于在步骤S101中获得的局部运动矢量的大小[LmvSize]、根据预定变换计算基于LMV的权重。例如，根据图7B所示的变换表通过变换计算权重。

如图7B所示设置如上所述获得的基于LMV的权重，使得局部运动矢量的大小[LmvSize]越小，基于LMV的权重越大，而局部运动矢量的大小[LmvSize]越大，基于LMV的权重越小。在图7B的设置示例中，依赖于局部运动矢量的大小[LmvSize]，权重以逐级(stepwise)方式改变。

(b)基于残差的权重计算部分222

基于残差的权重计算部分222从在图4中示出的局部运动矢量估计单元101接收与每块相关联的最小残差(SAD)，以便基于该最小残差(SAD)计算权重。现在将参照图8A和8B描述该处理。

图8A是解释基于最小残差(SAD)在基于残差的权重计算部分222中计算基于最小残差的权重(下文中，“基于残差的权重”)的处理序列的流程图。图8B图示最小残差(SAD)和基于残差的权重之间的关系的示例。

如上所述，最小残差(SAD)是涉及当前图像帧中的块的像素信息元素与基准帧中的相应块的像素信息元素之间的差的绝对值的和。基于残差的权重计算部分222基于与从图4所示的局部运动矢量估计单元101提供的与每块相关联的最小残差(SAD)、根据图8A的流程图执行处理，以便计算基于残差的权重。

首先，在步骤S201中，基于局部运动矢量的水平分量(LMVx)和垂直分量(LMVy)，计算与从图4所示的局部运动矢量估计单元101提供的每块相关联的局部运动矢量(LMV)的大小[LmvSize]。局部运动矢量的大小[LmvSize]通过前述的表达式5计算。

随后，在步骤S202中，基于在步骤S201中计算的局部运动矢量的大小[LmvSize]、通过预定变换计算基于残差的权重。例如，根据图8B所示的变换表通过变换计算权重。

如图8B所示设置如上所述获得的基于残差的权重，使得最小残差(SAD)越小，权重越大，以及最小残差(SAD)越大，权重越小。在图8B的示例中，1.0的最大权重分配给预定值[Tha]或更小的最小残差(SAD)，而0.0的最小权重分配给预定值[Thb]或更大的最小残差(SAD)。

(c)基于方差的权重计算部分223

基于方差的权重计算部分223从块方差计算部分211接收与当前帧的每块相关联的块方差，以便计算基于该块方差的权重(下文中，基于方差的权重)。现在将参照9A到9C描述该处理。

图9A是解释用于计算基于方差的权重的处理序列的流程图，该处理序列由块方差计算部分211和基于方差的权重计算部分223执行。图9B是解释在块方差计算部分211中计算块方差的处理的图。图9C是图示块方差和基于方差的权重之间的关系的图。

首先，图9A中的流程图的步骤S301对应于通过块方差计算部分211的处理。在步骤S301中，输入当前帧图像，并且计算与该当前帧图像的每块相关联的块方差[VarBlk]。根据以下表达式6计算该块方差[VarBlk]：

$\mathrm{VarBlk}=\frac{1}{n}\mathrm{\Σ}{(p_i-\stackrel{\‾}{p_i})}^2$

                                   (6)

其中pi代表块中第i个像素值，有上划线的pi代表块中的各像素值的平均值，而n代表块中的像素数目。

图9B是解释在步骤S301中的处理(即，用于在块方差计算部分211中计算块方差的处理)的图。参照图9B，获得当前帧301的处理目标块302中的像素值[pi]和该块中的各像素的平均像素值[有上划线的pi]，并且根据上述表达式6计算块方差[VarBlk]。

步骤S302中的处理对应于由基于方差的权重计算部分223执行的处理。基于方差的权重计算部分223接收由块方差计算部分211在步骤S301中获得的块方差[VarBlk]，并且基于该块方差[VarBlk]通过预定变换计算基于方差的权重。例如，根据图9C中所示的变换通过变换执行权重计算。

如图9C所示，以此方式设置计算的基于方差的权重，使得块方差越小，权重越小，而块方差越大，权重越大。在图9C所示的示例中，依赖于块方差[VarBlk]，权重以逐级方式改变。

(d)基于协方差的权重计算部分224

基于协方差的权重计算部分224从图像间协方差计算部分212接收协方差，以便计算基于协方差的权重，该协方差通过分析当前帧中的块和运动补偿(MC)图像中的相应块来获得。现在将参照10A、10B和10C描述该处理。

图10A是解释用于计算基于协方差的权重的处理序列的流程图，该处理序列由图像间协方差计算部分212和基于协方差的权重计算部分224执行。图10B是解释在图像间协方差计算部分212中计算协方差的处理的图。图10C是图示协方差和基于协方差的权重之间的关系的图。

首先，图10A的流程图中的步骤S401对应于通过图像间协方差计算部分212的处理。根据该处理，输入当前帧图像和运动补偿(MC)基准帧图像，并且计算与当前帧图像中的每块相关联的协方差[CoVarBlk]。协方差[CoVarBlk]通过以下过程计算。现在将参照图10B描述该处理。

首先，计算当前帧图像321中的处理目标块331中各像素[pi]的平均值[有上划线的pi]。

随后，计算在运动补偿基准图像(MC图像)322中的相应块332中各像素[qi]的平均值[有上划线的qi]。

基于这些计算的值，根据以下表达式7获得协方差：

$\mathrm{CoVarBlk}=\frac{1}{n}\mathrm{\Σ}(p_i-\stackrel{\‾}{p_i})(q_i-\stackrel{\‾}{q_i})$

                                      (7)

其中pi代表当前帧的块中第i个像素值，有上划线的pi代表当前帧的块中的各像素值的平均值，qi代表运动补偿基准图像(MC图像)中相应块的第i个像素值，有上划线的qi代表运动补偿基准图像(MC图像)中的各像素值的平均值，而n代表每块中的像素数目。

步骤S402对应于通过基于协方差的权重计算部分224的处理。基于协方差的权重计算部分224接收由图像间协方差计算部分212在步骤S401中获得的协方差[CoVarBlk]，并且基于该协方差[CoVarBlk]根据预定变换计算基于协方差的权重。例如，根据在图10C中所示的变换表通过变换执行权重计算。

如例如图10C所示，以此方式设置计算的基于协方差的权重，使得协方差越小，权重越小，而协方差越大，权重越大。在图10C所示的示例中，依赖于协方差[CoVarBlk]，权重以逐级方式改变。

在上述处理中，确定协方差，并且基于协方差使用变换计算基于协方差的权重。可替代地，可以从涉及构成当前帧图像的像素值数据和涉及构成运动补偿(MC)基准图像的相应块的像素值数据计算相关系数，并且可以基于获得的相关系数计算基于相关系数的权重。现在将参照图11A和11B描述该处理。

图11A是解释用于从涉及构成当前帧图像的每块的像素值数据和涉及构成运动补偿(MC)基准帧图像的相应块的像素值数据、计算相关系数的处理序列的流程图。图11B是图示相关系数和基于相关系数的权重之间的关系的图。

首先，在图11A所示的流程图的步骤S421中，输入当前帧图像和运动补偿(MC)基准帧图像，并且根据以下表达式8，从涉及构成当前帧图像的每块的数据和涉及构成运动补偿基准帧图像的相应块的数据计算相关系数：

其中pi代表当前帧的块中第i个像素值，有上划线的pi代表当前帧的块中的各像素值的平均值，qi代表运动补偿基准图像(MC图像)中相应块的第i个像素值，有上划线的qi代表运动补偿基准图像(MC图像)中的各像素值的平均值，而n代表每块中的像素数目。

在步骤S422中，输入在步骤S421中获得的相关系数，并且基于该相关系数根据预定变换计算基于相关系数的权重。例如，根据图11B所示的变换表通过变换执行权重计算。

如例如图11B所示，以此方式设置计算的基于相关系数的权重，使得相关系数越小，权重越小，而相关系数越大，权重越大。在图11B所示的示例中，权重根据相关系数平滑地变化。

(e)基于LMV相关的权重计算部分225

基于LMV相关的权重计算部分225从邻近LMV相关计算部分213接收与当前帧的每块相关联的局部运动矢量(LMV)相关，并且计算基于LMV相关的权重。现在将参照图12A和12B描述该处理。

图12A是解释用于计算基于LMV相关的权重的处理序列的流程图，该处理序列由邻近LMV相关计算部分213和基于LMV相关的权重计算部分225执行。图12B是解释用于通过邻近LMV相关计算部分213计算与邻近LMV的相关的处理的图。图12C是图示在与邻近LMV的相关[LMV_cor]和基于LMV相关的权重之间的关系的图。

图12A中的流程图的步骤S501对应于通过邻近LMV相关计算部分213的处理。根据该处理，输入在当前帧图像中的处理目标块的局部运动矢量和邻近该目标块的每块的局部运动矢量，并且计算涉及当前帧图像中的每块的LMV相关[LMV_cor]。

现在将参照图12B描述该处理。计算当前帧图像551的处理目标块552中的各像素的像素值的平均值。随后，使用该平均值和块中的每个像素的像素值，根据以下表达式9计算LMV相关[LMV_cor]：

$\mathrm{Lmv}\_\mathrm{cor}=\sqrt{{(\mathrm{LMVx}-\mathrm{AveLmvX})}^2+{(\mathrm{LMVy}-\mathrm{AveLmvY})}^2}$

                                                 (9)

其中AveLmvx代表邻近处理目标块的各邻近块的LMV的平均值(水平方向)，AveLmvy代表邻近目标块的各邻近块的LMV的平均值(垂直方向)，LMVx代表目标块LMV(水平方向)，而LMVy代表目标块LMV(垂直方向)。

步骤S502对应于通过基于LMV相关的权重计算部分225的处理。根据该处理，输入由邻近LMV相关计算部分213在步骤S501中获得的LMV相关[LMV_cor]，并且基于该LMV相关[LMV_cor]使用预定变换计算基于LMV相关的权重。例如，根据图12C所示的变换通过变换执行权重计算。

如图12C所示设置以此方式获得的基于LMV相关的权重，使得LMV相关越小，权重越大，而LMV相关越大，权重越小。在图12C所示的示例中，为预定值[Tha]或更小的LMV相关设置1.0的最大权重，而为预定值[Thb]或更大的LMV相关设置0.0的最小权重。

已经描述了由图4所示的全局运动矢量生成机制中的块权重计算单元102执行的各处理。换句话说，已经解释了由图5所示的那些权重计算部分，即，(a)基于LMV的权重计算部分221；(b)基于残差的权重计算部分222；(c)基于方差的权重计算部分223(以及块方差计算部分211)；(d)基于协方差的权重计算部分224(以及图像间协方差计算部分212)；以及(e)基于LMV相关的权重计算部分225(以及邻近LMV相关计算部分213)执行的处理。

如图5所示，在块权重计算单元102中，那些不同的块相关权重数据元素(a)到(e)被提供给乘法部分231以便计算最终的块权重，并且该块权重被输出到图4中所示的全局运动矢量估计单元103。

当让[W_lmv]代表由(a)基于LMV的权重计算部分221计算的基于LMV的权重，让[W_sad]是由(b)基于残差的权重计算部分222计算的基于残差的权重，让[W_var]代表由(c)基于方差的权重计算部分223获得的基于方差的权重，让[W_cor]是由(d)基于协方差的权重计算部分224计算的基于协方差的权重，并且让[W_lmvcor]代表由(e)基于LMV相关的权重计算部分225获得的基于LMV相关的权重时，乘法部分231接收这些权重，以便根据以下表达式10计算块权重[W_block]。

W_block＝W_lmv×W_sad×W_var×W_cor×W_lmvcor        (10)

再次参照图4，全局运动矢量估计单元103接收由块权重计算单元102计算的块权重[W_block]、以及由局部运动矢量估计单元101计算的与每块相关联的局部运动矢量，并且基于接收的数据元素计算与该帧相关联的全局运动矢量。

现在将参照图13A和13B描述用于在全局运动矢量估计单元103中计算全局运动矢量的处理。

全局运动矢量估计单元103接收由块权重计算单元102计算的关于块权重[W_block]的数据，例如图13A所示的数据。该数据基于上述与各个块相关联的不同权重数据元素指示与各个块相关联的权重的计算的结果，各个块用作在一帧中设置的小区域。换句话说，使用由(a)基于LMV的权重计算部分221计算的基于LMV的权重[W_lmv]、由(b)基于残差的权重计算部分222计算的基于残差的权重[W_sad]、由(c)基于方差的权重计算部分223计算的基于方差的权重[W_var]、由(d)基于协方差的权重计算部分224计算的基于协方差的权重[W_cor]、以及由(e)基于LMV相关的权重计算部分225计算的基于LMV相关的权重[W_lmvcor]，根据以下表达式计算分配给每块的权重：

W_block＝W_lmv×W_sad×W_var×W_cor×W_lmvcor

除图13A所示的块权重外，全局运动矢量估计单元103还接收由局部运动矢量估计单元101获得的与各个块相关联的各局部运动矢量，并且考虑各个局部运动矢量的权重获得全局运动矢量。

现在将参照图13B所示的流程图描述由全局运动矢量估计单元103执行的处理。例如，假设每个全局运动矢量和与每块相关联的局部运动矢量是只描述平移的矢量(平行位移)。

最初，在步骤S601中，计算与构成处理目标帧的每块[n]相关联的局部运动矢量[LMV_n]和全局运动矢量之间的差[e_n]。

在全局运动矢量值描述例如平移(平行位移)的情况下，如上所述，当前帧中的坐标(x，y)和基准帧中的坐标(x′，y′)之间的关系使用两个参数[a₀，a₁]表示为如下表达式。

x′＝x+a₀

y′＝y+a₁

当与每块相关联的局部运动矢量[LMV_n]只代表平移(平行位移)，并且局部运动矢量[LMV_n]表示为[LMV_n]＝(MVX_n，MVY_n)时，当前帧图像中的块[n]的坐标(x_n，y_n)和基准图像中的相应块[n]的坐标(u_n，v_n)由以下表达式表示。

u_n＝x_n+MVX_n

v_n＝y_n+MVY_n

如上所述，与一帧相关联的全局运动矢量和包括在该帧中的块[n]的局部运动矢量[LMV_n]之间的差[e_n]由以下表达式11表示。

$e_n=\sqrt{{(u_n-(a_0+x_n))}^2+{(v_n-(a_1+y_n))}^2}$

                                             (11)

在步骤S602中，计算用作指示块[n]的块权重[w_n]和差[e_n]的乘积的和的成本[Q]。换句话说，使用通过上述表达式11获得的与每块[n]相关联的矢量差[e_n]和根据每块[n]设置的权重，根据以下表达式12计算全局运动矢量成本(GMV成本)[Q]。

Q＝∑w_ne_n

                                 (12)

随后，在步骤S603中，计算最小化通过上述表达式12获得的GMV成本[Q]的参数a₀到a_k。在该示例中，全局运动矢量只代表平移(平行位移)，并且使用两个参数a₀和a₁表示为以下表达式。

x′＝x+a₀

y′＝y+a₁

因为使用这两个参数a₀和a₁通过上述表达式表示全局运动矢量，所以获得最小化通过表达式12获得的GMV成本[Q]的两个参数a₀和a₁。

最后，在步骤S604中，使用获得参数a₀到a_k表示的全局运动矢量确定为与处理目标帧相关联的全局运动矢量。当该矢量只描述平移(平行位移)时，使用最小化GMV成本[Q]的两个参数a₀和a₁根据以下表达式确定全局运动矢量。

x′＝x+a₀

y′＝y+a₁

如上所述，根据前述表达式11和12计算最小化GMV成本[Q]的参数a₀和a₁的处理，考虑分配给各个块的权重利用最小平方的方法。上述处理示例涉及这种情况，其中全局运动矢量是只描述平移(平行位移)的矢量，并且根据该处理获得两个参数a₀和a₁。如上所述，全局运动矢量可以被设置为包含平移、旋转、放大、缩小、仿射变换、或投影变换的信息。参数的数目依赖于设置变化。在此情况下，计算与帧相关联的全局运动矢量和与包括在该帧中的每块[n]相关联的局部运动矢量[LMV_n]之间的差[e_n]，考虑各权重，为各个块计算最小化GMV成本[Q]的参数[a₀，a₁，a₂，a₃，...]，并且使用计算的参数确定全局运动矢量。

如上所述，根据本发明的实施例的图像处理装置配置来计算对应于与每块相关联的局部运动矢量的可靠性的块权重，根据相应的块权重设置与每块相关联的局部运动矢量的贡献率，并且确定全局运动矢量。因此，可以确定具有高可靠性的全局运动矢量，该高可靠性当然反映了与各个块相关联的局部运动矢量的可靠性。

现在将参照图14描述作为用于执行上述处理的装置的硬件配置的示例的个人计算机的硬件配置。中央处理单元(CPU)701根据存储在只读存储器(ROM)702或存储单元708中的程序执行各种处理。例如，CPU 701执行用于确定在上述实施例中解释的全局运动矢量的程序。随机存取存储器(RAM)703充分地存储由CPU 701执行的程序和数据。CPU 701、ROM 702和RAM 703连接到总线704，使得这些组件相互连接。

CPU 701通过总线704连接到输入/输出接口705。输入/输出接口705连接到输入单元706和输出单元707。输入单元706包括键盘、鼠标和麦克风。输出单元707包括显示器和扬声器。CPU 701根据从输入单元706提供的指令执行各种处理，并且将处理的结果输出到例如输出单元707。

连接到输入/输出接口705的存储单元708包括例如硬盘，并且存储由CPU 701执行的程序和各种数据块。通信单元709经由网络(如因特网或局域网)与外部设备通信。

连接到输入/输出接口705的驱动710驱动可移除介质711(如磁盘、光盘、磁光盘或半导体存储器)，并且获得记录在介质上的程序或数据。获得的程序或数据根据需要传输并且存储到存储单元708。

已经参照具体实施例详细描述了本发明。然而，显而易见的是本领域的技术人员可以进行实施例的修改和/或替换而不背离本发明的精神和范围。也就是说，只是为了说明的目的描述了本发明的实施例，并且本说明书的内容不应被限制性地理解。为了理解本发明的范围，应该考虑权利要求。

在本说明书中解释的一系列处理可以由硬件、软件、或其任何组合来执行。当由软件执行该系列处理时，包括处理序列的程序可以被安装到并入专用硬件的计算机的存储器中，并且被执行。可替换地，程序可以安装到能够执行各种功能的多用计算机中，并且被执行。例如，程序可以被预存在记录介质上。程序可以从该记录介质安装到计算机。可替换地，计算机可以经由网络(如局域网(LAN)或因特网)接收程序，并且将程序安装在记录介质(如内置的硬盘)上。

在本说明书中描述的各种处理不但可以以如这里描述的时间序列的方式执行，而且可以平行地或根据执行各处理的装置的处理性能、或根据需要执行。本说明书中的术语“系统”是设备的逻辑组，并且每个用作组件的各设备不必容纳在单个机壳内。

相关申请的交叉引用

本申请包含涉及于2007年9月5日向日本专利局提交的日本专利申请JP 2007-230053的主题，在此通过引用并入其全部内容。

Claims (11)

1.一种图像处理装置，包括:

局部运动矢量估计单元，其估计与每个块相关联的运动矢量作为局部运动矢量，各块用作构成运动图像的图像帧的各段；

块权重计算单元，其计算块权重作为与每块相关联的局部运动矢量的可靠性的指标；以及

全局运动矢量估计单元，其接收各局部运动矢量和各块权重，以便估计作为包括在图像帧中的各块公用的运动矢量的全局运动矢量，其中

所述全局运动矢量估计单元配置为计算与各个块相关联的各局部运动矢量与全局运动矢量之间的差、与分配给经历差计算的各个块的块权重的乘积的和作为成本，计算最小化该成本的全局运动矢量的各配置参数，并且生成其中设置了计算的各参数的全局运动矢量。

2.如权利要求1所述的装置，其中所述块权重计算单元配置为基于不同的数据元素获得多个块相关的权重数据元素，并且基于各块相关的权重数据元素计算与每块相关联的块权重。

3.如权利要求1所述的装置，其中所述块权重计算单元配置为基于不同的数据元素获得多个块相关的权重数据元素，并且计算各块相关的权重数据元素的乘积作为与每块相关联的块权重。

4.如权利要求1所述的装置，其中

所述块权重计算单元使用以下各值的至少一个执行用于计算块权重的处理:

(a)与每块相关联的局部运动矢量的大小；

(b)与每块相关联的绝对差的和；

(c)与每块相关联的各像素值的方差；

(d)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的协方差；

(e)与每块相关联的局部运动矢量和与邻近该块的各块相关联的局部运动矢量之间的相关；以及

(f)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的相关系数。

5.如权利要求1所述的装置，其中所述全局运动矢量估计单元配置为接收各局部运动矢量和各块权重，并且估计与图像帧相关联的单个全局运动矢量作为包括在该图像帧中的所有块公用的运动矢量。

6.一种用于在图像处理装置中执行运动矢量检测的图像处理方法，该方法包括各步骤:

(A)估计与每个块相关联的运动矢量作为局部运动矢量，各块用作构成运动图像的图像帧的各段；

(B)计算块权重作为与每块相关联的局部运动矢量的可靠性的指标；以及

(C)接收各局部运动矢量和各块权重，以便估计作为包括在图像帧中的各块公用的运动矢量的全局运动矢量，其中

在步骤(C)中，计算与各个块相关联的各局部运动矢量与全局运动矢量之间的差、与分配给经历差计算的各个块的块权重的乘积的和作为成本，计算最小化该成本的全局运动矢量的各配置参数，并且生成其中设置计算的各参数的全局运动矢量。

7.如权利要求6所述的方法，其中在步骤(B)中，基于不同的数据元素获得多个块相关的权重数据元素，并且基于各块相关的权重数据元素计算与每块相关联的块权重。

8.如权利要求6所述的方法，其中在步骤(B)中，基于不同的数据元素获得多个块相关的权重数据元素，并且计算各块相关的权重数据元素的乘积作为与每块相关联的块权重。

9.如权利要求6所述的方法，其中在步骤(B)中，使用以下各值的至少一个执行用于计算块权重的处理:

(a)与每块相关联的局部运动矢量的大小；

(b)与每块相关联的绝对差的和；

(c)与每块相关联的各像素值的方差；

(d)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的协方差；

(e)与每块相关联的局部运动矢量和与邻近该块的各块相关联的局部运动矢量之间的相关；以及

(f)从与处理目标帧的每块相关联的各像素值和与基准帧的相应块相关联的各像素值获得的相关系数。

10.如权利要求6所述的方法，其中在步骤(C)中，接收各局部运动矢量和各块权重，并且估计与图像帧相关联的单个全局运动矢量作为包括在该图像帧中的所有块公用的运动矢量。

11.一种计算机程序，其允许图像处理装置执行运动矢量检测，该程序包括以下各步骤:

(A)估计与每个块相关联的运动矢量作为局部运动矢量，各块用作构成运动图像的图像帧的各段；

(B)计算块权重作为与每块相关联的局部运动矢量的可靠性的指标；以及

(C)接收各局部运动矢量和各块权重，以便估计作为包括在图像帧中的各块公用的运动矢量的全局运动矢量，其中

在步骤(C)中，计算与各个块相关联的各局部运动矢量与全局运动矢量之间的差、与分配给经历差计算的各个块的块权重的乘积的和作为成本，计算最小化该成本的全局运动矢量的各配置参数，并且生成其中设置计算的参数的全局运动矢量。

Images