CN101739688A - 运动矢量检测装置、运动矢量处理方法和程序 - Google Patents

Abstract

这里公开一种运动矢量检测装置、运动矢量处理方法和程序，包括：空间亮度差总和计算部分；时间亮度差总和计算部分；搜索范围计算部分；以及块匹配计算部分。

Description

运动矢量检测装置、运动矢量处理方法和程序

技术领域

本发明涉及运动矢量检测装置，并且更具体地涉及运动矢量检测装置和运动矢量的处理方法、以及用于使得计算机执行其中使用块匹配方法的方法的程序。

背景技术

众所周知，当处理动态画面图像数据时，可以使用动态画面图像数据的各帧之间的运动矢量来压缩动态画面图像数据。作为用于检测运动矢量的技术之一，使用通常称为块匹配的技术。根据块匹配技术，使用作为两个输入图像的基准帧和参考帧，并且确定基准帧中设置的基准块、和参考帧的搜索区域中设置的多个参考块的每个之间的相关度。然后，基于指示确定的相关度的最高一个的一个参考块，计算相对于基准块的运动矢量。

在如刚刚描述的这种现有技术中，因为为每个参考帧计算在参考帧中设置的多个参考块的每个与基准块之间的相关度，所以处理量大，并且要求高功耗。因此，已经提出基于两个输入图像改变参考帧中的搜索区域的大小的技术。例如，已经提出一种运动矢量检测装置，其中基于基准帧的基准块和参考帧的预定位置处的块之间的相关度，设置搜索区域。例如，在日本专利公开No.2000-078580中公开了如刚刚描述的这种运动矢量检测装置之一(图2)。

发明内容

在上述运动矢量检测装置中，可能基于基准帧的基准块和参考帧的预定位置处的块之间的相关度设置具有预定大小的搜索区域。然而，在物品的边缘等包括在基准块中的情况下，计算低相关度并且设置大的搜索区域。因此，要求增加的处理量并且消耗增加的功率。

因此，希望提供一种运动矢量检测装置和运动矢量处理方法以及程序，通过其抑制通过块匹配的运动矢量检测处理所需的功耗。

根据本发明的实施例，提供一种运动矢量检测装置，包括空间亮度差总和计算部分、时间亮度差总和计算部分、搜索范围计算部分、以及块匹配计算部分。空间亮度差总和计算部分配置为计算空间亮度差的绝对值的总和，所述空间亮度差是在基准帧中设置的基准块的各像素相对于预定像素的亮度差。时间亮度差总和计算部分配置为计算时间亮度差的绝对值的总和，所述时间亮度差是基准块和对应于所述基准块的参考帧中的对应块的对应像素之间的亮度差。搜索范围计算部分配置为基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算用于相对于基准块搜索运动矢量的参考帧的搜索范围。块匹配计算部分配置为设置依赖于所述搜索范围确定的参考帧的搜索范围中的参考块，并且基于设置的参考块和基准块之间的相关度执行块匹配，以便计算所述运动矢量。此外，提供一种用于该运动矢量检测装置的处理方法、以及用于使得计算机执行该处理方法的程序。使用该运动矢量检测装置、处理方法和程序，基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和计算参考帧中的搜索范围。

搜索范围计算部分可以计算搜索范围，使得当空间亮度差的绝对值的总和的值增加时，搜索范围的大小减小，而当时间亮度差的绝对值的总和的值增加时，搜索范围的大小增加。在该运动矢量检测装置的情况下，当空间亮度差的绝对值的总和的值增加时，搜索范围的大小减小，而当时间亮度差的绝对值的总和的值增加时，搜索范围的大小增加。在此情况下，搜索范围计算部分可以计算搜索范围，使得搜索范围的大小与空间亮度差的绝对值的总和成反比地增加，而与时间亮度差的绝对值的总和成正比地增加。在该运动矢量检测装置的情况下，搜索范围的大小与空间亮度差的绝对值的总和成反比地增加，而与时间亮度差的绝对值的总和成正比地增加。

空间亮度差总和计算部分可以相对于基准块计算水平方向和垂直方向上的空间亮度差的绝对值的总和，作为空间亮度差的绝对值的总和，并且搜索范围计算部分可以基于水平和垂直方向上的空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算水平和垂直方向上的搜索范围。在该运动矢量检测装置的情况下，计算相对于基准块的水平方向和垂直方向上的空间亮度差的绝对值的总和，并且基于水平和垂直方向上的空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算水平和垂直方向上的搜索范围。在此情况下，空间亮度差总和计算部分可以基于相对于基准块中的预定像素的时间亮度差的符号以及水平和垂直方向上的空间亮度差的符号，将水平和垂直方向上的空间亮度差的绝对值加到正侧空间亮度差总和或负侧空间亮度差总和。在该运动矢量检测装置的情况下，基于相对于基准块中的预定像素的时间亮度差的符号以及水平和垂直方向上的空间亮度差的符号，将水平和垂直方向上的空间亮度差的绝对值加到正侧空间亮度差总和或负侧空间亮度差总和。在此情况下，时间亮度差总和计算部分可以基于水平和垂直方向上的空间亮度差的符号以及相对于基准块中的预定像素的时间亮度差的符号，将水平和垂直方向上的时间亮度差的绝对值加到正侧时间亮度差总和或负侧时间亮度差总和。在该运动矢量检测装置的情况下，基于水平和垂直方向上的空间亮度差的符号以及相对于基准块中的预定像素的时间亮度差的符号，将水平和垂直方向上的时间亮度差的绝对值加到正侧时间亮度差总和或负侧时间亮度差总和。在此情况下，搜索范围计算部分可以包括正侧搜索范围计算部分和负侧搜索范围计算部分。正侧搜索范围计算部分配置为基于水平和垂直方向上的正侧空间亮度差总和以及水平和垂直方向上的正侧时间亮度差总和，计算水平和垂直方向上在正侧的搜索范围。负侧搜索范围计算部分配置为基于水平和垂直方向上的负侧空间亮度差总和以及水平和垂直方向上的负侧时间亮度差总和，计算水平和垂直方向上在负侧的搜索范围。在该运动矢量检测装置的情况下，计算水平和垂直方向上的正侧搜索范围和负侧搜索范围。

在空间亮度差总和计算部分基于水平和垂直方向上的空间亮度差的符号以及相对于基准块中的预定像素的时间亮度差的符号、将水平和垂直方向上的空间亮度差的绝对值加到正侧空间亮度差总和或负侧空间亮度差总和的情况下，所述运动矢量检测装置还可以包括似然度计算部分。似然度计算部分配置为基于正侧空间亮度差总和以及负侧空间亮度差总和，分别计算水平和垂直方向上的正侧似然度和负侧似然度。在该运动矢量检测装置的情况下，基于正侧空间亮度差总和以及负侧空间亮度差总和，分别计算水平和垂直方向上的正侧似然度和负侧似然度。在此情况下，搜索范围计算部分可以包括正侧搜索范围计算部分和负侧搜索范围计算部分。正侧搜索范围计算部分配置为基于空间亮度差的绝对值的总和、时间亮度差的绝对值的总和、以及水平和垂直方向上的正侧似然度，计算水平和垂直方向上在正侧的搜索范围。负侧搜索范围计算部分配置为基于空间亮度差的绝对值的总和、时间亮度差的绝对值的总和、以及水平和垂直方向上的负侧似然度，计算水平和垂直方向上在负侧的搜索范围。在该运动矢量检测装置的情况下，基于空间亮度差的绝对值的总和、时间亮度差的绝对值的总和、以及水平和垂直方向上的正侧似然度和负侧似然度，计算水平和垂直方向上的正侧搜索范围和负侧搜索范围。

运动矢量检测装置还可以包括基准亮度值产生部分，配置为基于基准块中的预定像素的亮度值，产生基准块的基准亮度值；以及有效性计算部分，配置为基于基准块的像素的亮度值和基准亮度值，计算基准块的每个像素的有效度。块匹配计算部分包括相关计算部分，配置为在依赖于搜索范围确定的参考帧中的搜索区域中设置多个参考块，并且基于在设置的参考块中对应于基准块的像素位置的各像素的亮度值、和对应于基准块的像素位置的有效度，为每个参考块计算参考块相对于基准块的相关度。在该运动矢量检测装置的情况下，基于对应于基准块的像素位置的有效度，计算基准块和参考块之间的相关度。

可以配置运动矢量检测装置，使得搜索范围计算部分将基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和计算的搜索范围、以及预定范围之一确定为搜索范围。在该运动矢量检测装置的情况下，基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和计算的搜索范围、以及预定范围之一被计算为搜索范围。

该运动矢量检测装置、处理方法和程序能够实现可以抑制通过块匹配技术的运动矢量检测处理中的功耗的出众的优点。

附图说明

图1是示出根据本发明第一实施例的运动矢量检测装置的功能配置的示例的框图；

图2A和2B是图示在相同的两个运动对象包括在基准帧和参考帧中的情况下、通过图1的运动矢量检测装置的运动矢量的检测的示例的示意图；

图3A和3B是图示通过图1的运动矢量检测装置的基准亮度值产生部分的基准亮度值的产生的示例的图解视图；

图4是图示通过图1的运动矢量检测装置的有效度计算部分的有效度的计算的示例的图解视图；

图5A和5B是图示通过图1的运动矢量检测装置的亮度值差计算部分计算的差绝对值、和通过权重计算部分计算的权重之间的关系的示例的图解视图；

图6是图示通过图1的运动矢量检测装置的运动矢量计算处理的处理过程的流程图；

图7是示出根据本发明第二实施例的运动矢量检测装置的配置的框图；

图8是图示由图7的运动矢量检测装置定义的参考帧的搜索区域的示例的图解视图；

图9是示出图7的运动矢量检测装置的搜索范围产生部分的配置的第一示例的框图；

图10是图示由图7的运动矢量检测装置非对称地定义的参考帧的搜索范围的示例的图解视图；

图11是示出在非对称地设置搜索范围的情况下、图7的运动矢量检测装置的搜索范围产生部分的配置的第二示例的框图；

图12是示出图11中示出的搜索范围产生部分的配置的第二示例的修改的框图；

图13是图示在图7的运动矢量检测装置的处理方法中的处理过程的示例的流程图；

图14是示出根据本发明第三实施例的运动矢量检测装置的配置的示例的框图；

图15是图示图14的运动矢量检测装置的分级搜索方法的示意图；

图16是示出根据本发明第四实施例的运动矢量检测装置的配置的示例的框图；以及

图17是示出根据本实施例的运动矢量检测装置中使用的图像拾取装置的配置的示例的框图。

具体实施方式

以下，结合本发明的优选实施例描述本发明。按以下顺序给出描述：

1.第一实施例(块匹配计算控制：有效度应用到每个像素的示例)

2.第二实施例(运动矢量检测控制：向上、向下、向左和向右控制搜索区域的示例)

3.第三实施例(运动矢量检测控制：分级ME(运动估计)的应用的示例)

4.第四实施例(运动矢量检测控制：有效度应用到每个像素的示例和控制搜索区域的示例的组合)

<1.第一实施例>

[运动矢量检测装置的功能配置的示例]

图1示出根据本发明第一实施例的运动矢量检测装置的功能配置的示例。参照图1，示出的运动矢量检测装置100包括基准帧缓冲器110、基准块确定部分120、参考帧缓冲器130、参考块确定部分140、基准亮度值产生部分150、有效性计算部分160和块匹配计算部分170。

基准帧缓冲器110将通过信号线101提供到此的图像暂时存储为当前帧。该当前帧是例如动态画面的目前帧的图像。基准帧缓冲器110将当前帧提供到基准块确定部分120。

基准块确定部分120关于从基准帧缓冲器110提供到其的当前帧确定基准块的位置，并且提取确定的基准块中的每个像素的亮度。要注意的是，当前块例如是预先由基准块确定部分120定义的当前帧的一部分或当前帧的大小的区域。此外，基准块确定部分120例如在当前帧中以一个像素为单位连续移动当前块，以便确定当前块的位置。此外，基准块确定部分120例如在当前帧中以块为单位连续移动当前块，以便确定当前块的位置。此外，基准块确定部分120将当前块中的每个像素的确定的亮度值提供到基准亮度值产生部分150、有效性计算部分160和块匹配计算部分170。此外，基准块确定部分120将当前块的确定的位置提供到参考块确定部分140和块匹配计算部分170。

参考帧缓冲器130将通过信号线102提供到其的图像暂时存储为参考帧。该参考帧是在当前帧前一帧的图像(前向参考)。参考帧缓冲器130将参考帧提供到参考块确定部分140。

参考块确定部分140基于从基准块确定部分120提供到其的当前块的位置，确定从参考帧缓冲器130提供到其的参考帧的参考块的位置。参考块确定部分140基于从基准块确定部分120提供到其的当前块的位置，定义用于相对于参考帧中的基准块搜索运动矢量的搜索区域。然后，参考块确定部分140确定定义的搜索区域中的参考块的位置。要注意的是，搜索区域是例如由参考块确定部分140参考当前块的位置定义的固定大小的区域。要注意的是，参考块确定部分140可连续确定参考块的位置，同时例如围绕对应于当前块的位置螺旋地移动该参考块的位置。参考块确定部分140将以如上所述的方式确定的参考块的每个像素的亮度值和参考块的位置提供到块匹配计算部分170。

基准亮度值产生部分150基于从基准块确定部分120提供到其的整个当前块中或预先确定的当前块的一部分中的各像素的亮度值，产生基准亮度值。这里，该基准亮度值是要用作用于识别包括基准块中的运动对象的那些像素的基准的亮度值。基准亮度值产生部分150产生基准块中的所有像素或一些像素的统计值作为基准亮度值。统计值例如可以是平均值或中间值。此外，基准亮度值产生部分150例如产生基准块中的一个像素的亮度值作为基准亮度值。此外，基准亮度值产生部分150提供如此产生的基准亮度值到有效性计算部分160。

有效性计算部分160基于基准块的每个像素的亮度值和基准亮度值，计算基准块的每个像素的有效度。有效性计算部分160包括亮度值差计算部分161和权重计算部分162。

亮度值差计算部分161对于基准块的每个像素，计算从基准亮度值产生部分150提供到其的基准亮度值和从基准块确定部分120提供的基准块的像素的亮度值之间的差绝对值。亮度值差计算部分161根据以下表达式计算差绝对值D(i，j)：

D(i，j)＝|I_base-I_c(i，j)|表达式1

其中I_base是从基准亮度值产生部分150提供的基准亮度值，而I_c(i，j)是从基准块确定部分120提供的基准块的每个像素的亮度值。要注意，(i，j)指示像素的位置，并且i指示垂直方向的位置，而j指示水平方向的位置。

亮度值差计算部分161将以如上所述的方式计算的基准块的每个像素的差绝对值提供到权重计算部分162。

权重计算部分162为基准块的每个像素计算权重。具体地，权重计算部分162基于从亮度值差计算部分161提供的基准块的像素的差绝对值，计算作为基准块的每个像素的有效度的权重。权重计算部分162将以此方式计算的基准块的每个像素的权重提供到块匹配计算部分170。

块匹配计算部分170基于基准块和参考块之间的相关度执行块匹配，以便计算相对于基准块的运动矢量。块匹配计算部分170包括相关计算部分171、相关映射存储部分172、位置获取部分173和运动矢量计算部分174。

相关计算部分171计算每个参考块相对于基准块的加权SAD(绝对差的和)作为相关度。具体地，相关计算部分171将基准块的每个像素的亮度值、和对应于基准块的像素部分的参考块的每个像素的亮度值之间的差绝对值乘以对应于像素位置的权重，以便计算像素的相关值。然后，相关计算部分171求和这种相关值以计算加权SAD。加权SAD随着其值减少，指示更高的相关度。具体地，相关计算部分171根据以下表达式计算加权SAD：

加权 $\mathrm{SAD}=\underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}W(i,j)|I_c(i,j)-I_r(i,j)|$ 表达式2

其中I_r(i，j)指示对应于基准块的每个像素位置的像素的亮度值，而W(i，j)指示对应于基准块的每个像素位置的权重。

此外，相关计算部分171将每个参考块的计算的加权SAD作为相关度提供到相关映射存储部分172。

相关映射存储部分172以相互相关联的关系，暂时存储从相关计算部分171提供到其的参考块的相关度和从参考块确定部分140提供到其的参考块的位置。相关映射存储部分172将存储在其中的所有参考块的位置和相关度提供到位置获取部分173。

位置获取部分173获取从相关映射存储部分172提供到其的所有参考块中具有最高相关度的一个参考块的位置。换句话说，位置获取部分173获取具有最低加权SAD的参考块的位置。在所有参考块的位置和相关度存储在相关映射存储部分172中的情况下，位置获取部分173获取具有最高相关度的参考块的位置。位置获取部分173将参考块的获取的位置提供到运动矢量计算部分174。

运动矢量计算部分174基于从位置获取部分173提供到其的最高相关度的参考块的位置、和从基准块确定部分120提供到其的基准块的位置，计算运动矢量。运动矢量计算部分174将计算的运动矢量提供到信号线103。

现在，描述在本发明实施例中的基准帧和参考帧的设置。

[运动矢量的检测的示例]

图2A和2B图示在相同两个运动对象包括在基准帧和参考帧中的情况下、通过根据本发明的第一实施例的运动矢量检测装置100的运动矢量的检测的示例。具体地，图2A图示作为动态画面的当前帧的基准帧200，而图2B图示作为在基准帧之前一帧的帧的参考帧220(在前向参考的情况下)。

基准帧200包括在其中显示的运动体A 201、另一运动体B 202和基准块210。运动体A 201和运动体B 202随着时间过去在帧中运动。基准块210是由基准块确定部分120确定的区域。基准块210包括运动体A 201的右下部分和背景图像。

参考帧220包括在其上显示的包括在基准帧200中的运动体A 201和运动体B 202、搜索区域221和参考块230。搜索区域221是其中搜索由参考块确定部分140定义的基准块210的运动的源的区域。参考块230包括运动体A 201的右下部分和运动体B 202的部分。

在此情况下，运动矢量检测装置100设置对应于在基准块210中包括的运动体A 201的像素的有效度为高级别，以便使得基准块210和参考块230之间的相关度最高。因此，运动矢量检测装置100其后可以精确地检测运动体A 201的运动矢量。

[基准亮度值的产生的示例]

图3A和3B图示通过根据本发明的第一实施例的基准亮度值产生部分150的基准亮度值的产生的示例。

图3A图示在基准块210的每个侧的像素的数目是“5”的情况下、其中基准块210的中央像素的亮度值的示例。基准块210包括基准块的像素#1到#25、以及来自像素#1到#25中位于基准块210的中心的基准像素211。在像素#1到#25的每个中用括号指示的值是像素的亮度值。这里，因为像素#13是基准像素211，所以作为像素#13的亮度值的“150”是基准亮度值。

图3B图示在基准块210的每个侧的像素的数目是“4”的情况下、其中基准块的中心附近的像素的亮度值的统计值用作基准亮度值的示例。这里，从像素#7、#8、#12和#13产生基准亮度值。例如，作为像素#7、#8、#12和#13的亮度值的平均值的“151.5”确定为基准亮度。

以此方式，基准亮度值产生部分150基于来自基准块确定部分120的基准块的所有像素或一些像素的亮度值，产生基准亮度值，并且将基准亮度值提供到有效性计算部分160。

[有效度的计算的示例]

图4图示通过根据本发明的第一实施例的有效性计算部分160的有效度的计算的示例。这里，取图3A中示出的基准块210作为示例，描述其中有效度设置为高的值的像素的分类技术。此外，基准亮度值I_base设为“150”，而阈值D_th设为“20”。

在该例子中，亮度值差计算部分161根据上面给出的表达式(1)，计算像素#1到#25的每个的亮度值I_c(i，j)和从基准亮度值产生部分150提供到其的基准亮度值I_base之间的差绝对值D(i，j)。然后，权重计算部分162判定像素#1到#25的每个的差绝对值D(i，j)是否低于阈值D_th。

在本示例中，像素#1、#4和#15到#25判定为具有高于阈值D_th的亮度值的像素，而其它像素#2、#3和#5到#14判定为具有低于阈值D_th的亮度值的像素。

以此方式，基于基准块的每个像素的亮度值和基准亮度值之间的差绝对值，区分其有效度设为高的值的像素。

[差绝对值和权重之间的关系的示例]

图5A和5B图示由根据本发明的第一实施例的亮度值差计算部分161计算的差绝对值和由权重计算部分162计算的权重之间的关系的示例。具体地，图5A和5B示出了这样的曲线图，其中横坐标的轴指示差绝对值D，而纵坐标的轴指示权重W。

更具体地，图5A图示这样的示例，其中由亮度值差计算部分161计算的差绝对值D低于阈值D_th，并且权重W是固定值。这里，在差绝对值D(i，j)低于阈值D_th的情况下，权重计算部分162将值W_max作为权重W(i，j)提供到相关计算部分171。另一方面，在差绝对值D(i，j)高于阈值D_th的情况下，将低于值W_max的另一值W_min作为权重W(i，j)提供到相关计算部分171。例如，值W_max和值W_min分别设为“1”和“0”。

具体地，权重计算部分162根据以下表达式计算基准块的每个像素的权重W(i，j)：

表达式3

其中W_min和W_max是常数。

以此方式，为其差绝对值D低于阈值D_th的像素计算固定权重。因此，在通过相关计算部分171的相关度计算中，可以提高下述基准块的每个像素的有效度，参考块的每个像素的亮度值相对于该基准块的每个像素的亮度值的差绝对值小于阈值。

图5B图示这样的示例，其中在由亮度值差计算部分161计算的差绝对值D低于阈值D_th的情况下，权重W与差绝对值D成反比地增加。这里，在差绝对值D(i，j)低于阈值D_th的情况下，将与差绝对值D成反比地增加的权重W作为权重W(i，j)从权重计算部分162提供到相关计算部分171。另一方面，在差绝对值D(i，j)高于阈值D_th的情况下，将指示最低值的值W_min作为权重W(i，j)提供到相关计算部分171。

在本示例中，权重计算部分162根据以下表达式计算基准块的每个像素的权重W(i，j)：

表达式4

其中W_min和W_c是常数。

以此方式，对于关于其差绝对值D低于阈值D_th的像素，可以计算与差绝对值D成反比增加的权重。结果，在通过相关计算部分171的相关度计算中，当基准块的每个像素的亮度值和参考块中的每个像素的亮度值之间的差绝对值减少时，有效度可以设为更高的值。

[运动矢量检测装置的操作的示例]

现在，将参照附图描述本发明实施例的运动矢量检测装置100的操作。

图6图示根据本发明第一实施例的运动矢量检测装置100的运动矢量计算处理的处理过程的示例。

首先，在步骤S911，基准块确定部分120确定来自基准帧缓冲器110的基准帧中的基准块。然后，在步骤S912，基准亮度值产生部分150基于来自基准块确定部分120的整个基准块或预先定义的基准块的部分的像素的亮度值，产生基准亮度值。然后，在步骤S913，亮度值差计算部分161计算来自基准亮度值产生部分150的基准亮度值和基准块的每个像素的亮度值之间的差绝对值。然后，在步骤S914，权重计算部分162基于来自亮度值差计算部分161的基准块的每个像素的差绝对值，为基准块的每个像素计算权重。

然后，在步骤S915，参考块确定部分140确定来自参考帧缓冲器130的参考帧中的参考块。然后，在步骤S916，相关计算部分171基于基准块的像素的权重、基准块的像素的亮度值和参考块的像素的亮度值，计算基准块和参考块之间的相关度。

然后，在步骤S917，将由相关计算部分171计算的相关度和参考块的位置以相互相关联的关系存储在相关映射存储部分172中。然后，在步骤S918，位置获取部分173判定关于在搜索范围中确定的所有参考块的相关度和位置是否存储在相关映射存储部分172中。然后，如果此时还没有存储关于所有参考块的相关度和位置，则处理返回步骤S915，使得重复上述处理直到存储了关于在搜索区域中设置的所有参考块的相关度和位置。

另一方面，如果存储了关于所有参考块的相关度和位置，则在步骤S919由位置获取部分173获取其相关度最高的参考块的位置。然后，在步骤S920，运动矢量计算部分174基于来自位置获取部分173的参考块的位置和基准块的位置，计算运动矢量。

然后，在步骤S921判定是否由运动矢量计算部分174关于所有基准块计算了运动矢量。然后，如果此时还没有关于所有基准块完成运动矢量的计算，则处理返回步骤S911，在此确定新的基准块，此后执行从步骤S912开始的各步骤的处理。另一方面，如果关于所有基准块计算了运动矢量，则结束运动矢量计算处理。

以此方式，在本发明的第一实施例的情况下，由有效性计算部分160计算的基准块的每个像素的有效度反映在基准块和参考块之间的相关度的计算上。因此，可以改进运动矢量的检测精度。

<2.第二实施例>

图7示出根据本发明第二实施例的运动矢量检测装置的配置。参照图7，示出的运动矢量检测装置300包括对应块提取部分310、搜索范围产生部分320、基准帧缓冲器110、基准块确定部分120、参考帧缓冲器130、参考块确定部分140和块匹配计算部分870。块匹配计算部分870包括相关计算部分871、相关映射存储部分872、位置获取部分873和运动矢量计算部分874。这里，基准帧缓冲器110、基准块确定部分120和参考帧缓冲器130类似于上面参照图1描述的那些部分，因此，这里省略它们的重复描述以避免冗余。

对应块提取部分310提取对应于基准块的位置的参考帧中的对应块的所有像素或预先定义的一些像素的亮度值。具体地，对应块提取部分310基于从基准块确定部分120提供到其的基准块的位置，设置对应块的位置。然后，对应块提取部分310从由参考帧缓冲器130提供到其的参考帧中的各像素的亮度值中提取如此设置的对应块中的各像素的亮度值。此外，对应块提取部分310通过信号线311将对应块中的各像素的提取的亮度值提供到搜索范围产生部分320。

搜索范围产生部分320基于对应块中的所有像素或一些像素的亮度值和基准块中所有像素或一些像素的亮度值，产生用于计算相对于基准块的运动矢量的参考帧中的搜索区域。具体地，搜索范围产生部分320计算空间亮度差的绝对值的总和，所述空间亮度差是关于在从基准块确定部分120提供的基准块中的所有像素或预先定义的一些像素的各像素之间在空间上的亮度差。此外，搜索范围产生部分320计算时间亮度差的绝对值的总和，所述时间亮度差是来自基准块确定部分120的基准块和来自对应块提取部分310的对应块的对应像素之间在时间基准上的亮度差。然后，搜索范围产生部分320基于空间亮度差的绝对值的总和和时间亮度差的绝对值的总和，计算参考帧的搜索范围。此外，搜索范围产生部分320通过信号线329将参考帧的计算的搜索范围提供到参考块确定部分140。

参考块确定部分140基于从基准块确定部分120提供的基准块的位置和从搜索范围产生部分320提供的搜索范围，定义参考帧中的搜索区域。然后，参考块确定部分140以参照图1的上述方式连续确定搜索范围内的参考块。此外，参考块确定部分140将确定的参考块中的各像素的亮度值提供到相关计算部分871，并且将参考块的位置存储在相关映射存储部分872中。

块匹配计算部分870基于参考块和基准块之间的相关度执行块匹配，以计算参考块的运动矢量。相关计算部分871对于每个参考块计算SAD作为相关度，所述SAD是来自基准块确定部分120的基准块和来自参考块确定部分140的参考块的对应像素之间的亮度差的绝对值的总和。当SAD具有减少的值时，这表示相关度具有增加的值。相关计算部分871将为每个参考块计算的相关度存储在相关映射存储部分872中。

相关映射存储部分872以相互相关联的关系暂时存储从相关计算部分871提供的参考块的相关度、和从参考块确定部分140提供的参考块的位置。相关映射存储部分872将存储在其中的所有参考块的相关度和位置提供到位置获取部分873。

位置获取部分873获取从相关映射存储部分872提供到其的所有参考块中展现最高相关度的一个参考块的位置。换句话说，位置获取部分873获取具有最低加权SAD的参考块的位置。具体地，当关于所有参考块的相关度和位置存储在相关映射存储部分872中时，位置获取部分873获取展现最高相关度的参考块的位置。此外，位置获取部分873将参考块的获取的位置提供到运动矢量计算部分874。

运动矢量计算部分874基于从位置获取部分873提供到其的并且具有最高相关度的参考矢量的位置、和从基准块确定部分120提供的基准块的位置，计算运动矢量。

这里，参照附图描述基于由搜索范围产生部分320产生的搜索范围和基准块的位置定义的参考帧中的搜索区域的示例。

[搜索区域的定义的示例]

图8示出由根据本发明的第二实施例的运动矢量检测装置100定义的参考帧中的搜索区域的示例。参照图8，示出参考帧中的搜索区域410和最大搜索区域430。这里，基准块的水平方向和垂直方向分别定义为x方向和y方向。

搜索区域410是由搜索范围产生部分320和搜索区域基准块240产生的x方向上的搜索范围L_x和y方向上的搜索范围L_y定义的区域。搜索区域基准块240是在与参考帧中的基准块的位置相同位置处的块。具体地，搜索区域基准块240设置为相对于基准块的运动矢量是“0”的位置。

x方向上的搜索范围L_x指示其中参考基准块210、参考块可以在x方向上移动到右侧和左侧的最大范围。y方向上的搜索范围L_y指示其中参考搜索区域基准块240、参考块可以在y方向上移动到上侧和下侧的最大范围。

最大搜索区域430是基于最大搜索范围L_max和搜索区域基准块240定义的区域。最大搜索范围L_max是基于图像的分辨率和压缩率确定的，并且设为例如32像素。

因为搜索范围产生部分320以此方式产生x方向上的搜索范围L_x和y方向上的搜索范围L_y，所以运动矢量检测装置300可以在搜索区域中相互独立地定义x方向和y方向上的搜索范围。此外，运动矢量检测装置300可以通过提供最大搜索范围L_max，避免搜索区域的扩展超过定义的最大区域。现在，参照图9描述产生x方向上的搜索范围L_x和y方向上的搜索范围L_y的搜索范围产生部分320的配置的示例。

[搜索范围产生部分的配置的第一示例]

图9示出本发明的第二实施例中的搜索范围产生部分320的配置的第一示例。参照图9，搜索范围产生部分320包括F_t计算部分330、F_s计算部分340和L计算部分370。

F_t计算部分330计算时间亮度差的总和作为时间亮度差总和F_t，所述时间亮度差是从信号线311提供的对应块和从信号线121提供的基准块中的对应像素之间的亮度差。F_t计算部分330根据以下表达式计算时间亮度差总和F_t，并且将计算的时间亮度差总和F_t提供到L计算部分370。顺便提及，F_t计算部分330是时间亮度差总和部分的示例。

$F_t=\underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_t(i,j)\right|=\underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}|I_c(i,j)-I_r(i,j)|$ 表达式5

其中I_t(i，j)是时间亮度差，I_c(i，j)是基准块中的像素的亮度值，I_r(i，j)是参考块中的像素的亮度值，i和j分别是每个块的x方向的像素位置和y方向的像素位置，并且N是通过从每个块中的不同像素的像素的数目减去“1”获得的值。

以此方式，当运动体移动的速度增加时，基准块中包括的运动体和对应块中包括的相同运动体之间位置的差、以及相应地根据上面给出的表达式计算的时间亮度差总和F_t可能具有高的值。另一方面，因为当运动体移动的速度减小时、基准块和对应块之间的运动体的位置的差减小，所以时间亮度差总和F_t可能变低。从此，可以估计基准块中包括的运动体的速度。

F_s计算部分340计算空间亮度差的绝对值的总和作为空间亮度差总和，所述空间亮度差是相邻像素到从信号线121提供的基准块中的像素之间的亮度差。顺便提及，F_s计算部分340是空间亮度差总和部分的示例。

F_s计算部分340分别计算相对于基准块的水平方向和垂直方向上的空间亮度差总和。F_s计算部分340包括F_x计算部分350和F_y计算部分360。F_x计算部分350关于基准块中的各像素计算水平方向上的空间亮度差的绝对值的总和，作为x方向上的空间亮度差总和。具体地，F_x计算部分350计算x方向上的相邻像素到基准块中的像素之间的亮度差的总和，作为x方向上的空间亮度差总和F_x。x方向上的空间亮度差总和F_x是表示x方向上的空间亮度差总和F_s的分量的值。F_x计算部分350将x方向上的计算的空间亮度差总和F_x提供到L_x计算部分380。顺便提及，F_x计算部分350是空间亮度差总和部分的示例。

F_y计算部分360关于基准块中的各像素计算垂直方向上的空间亮度差的绝对值的总和，作为y方向上的空间亮度差总和。具体地，F_y计算部分360计算y方向上的相邻像素到基准块中的像素之间的亮度差的总和，作为y方向上的空间亮度差总和F_y。y方向上的空间亮度差总和F_y是表示y方向上的空间亮度差总和F_s的分量的值。F_y计算部分360将y方向上的计算的空间亮度差总和F_y提供到L_y计算部分390。顺便提及，F_y计算部分360是空间亮度差总和部分的示例。

上述x方向上的空间亮度差总和F_x和y方向上的空间亮度差总和F_y可以由以下表达式表示：

$F_s=\left(\begin{array}{c}{F}_x\\ F_y\end{array}\right)=\left(\begin{array}{c}\underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_x(i,j)\right|\\ \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_y(i,j)\right|\end{array}\right)=\left(\begin{array}{c}\underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}|I_c(i+1,j)-I_c(i,j)|\\ \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}|I_c(i,j+1)-I_c(i,j)|\end{array}\right)$ 表达式6

，j其中I_x(i，j)是关于基准块中的每个像素的x方向上的空间亮度差，而I_y(i，j)是关于基准块中的每个像素的y方向上的空间亮度差。

当运动体移动的速度增加时，包括在基准块中的运动体的图像开始具有增加的模糊量，因此，根据上面给出的表达式计算的空间亮度差总和F_s可能具有低的值。另一方面，当运动体移动的速度减小时，包括在基准块中的运动体的图像开始具有减小的模糊量，因此，空间亮度差总和F_s可能具有高的值。因此，可以估计包括在基准块中的运动体的速度。

L计算部分370基于来自F_t计算部分330的时间亮度差总和F_t和来自F_s计算部分340的空间亮度差总和F_s，计算关于基准块搜索运动矢量的参考帧中的搜索范围。当空间亮度差总和F_s增加时，该L计算部分370设置减小的搜索范围，而当时间亮度差总和F_t增加时，该L计算部分370设置增加的搜索范围。换句话说，L计算部分370计算这样的搜索范围，其与空间亮度差总和F_s成反比地增加，而与时间亮度差总和F_t成正比增加。然后，L计算部分370计算以此方式计算的搜索范围和预定范围之一作为参考帧中的搜索范围。具体地，L计算部分370基于以下函数G计算搜索范围L：

$L=G(F_t,F_s)=\min (\mathrm{\&alpha;}\frac{F_t}{F_s},L_{\max })$ 表达式7

其中L_max是图8中图示的最大搜索范围，而α是固定值，并且例如设为“1”。从上面的表达式可知，如果α设为低的值，则搜索范围变小，因此，可以抑制通过块匹配的处理量。

L计算部分370通过信号线329将计算的搜索范围L提供到参考块确定部分140。顺便提及，L计算部分370是搜索范围计算部分的示例。

此外，L计算部分370基于不同方向上的空间亮度值的绝对值的总和以及时间亮度差的绝对值的总和，计算不同方向上的搜索范围。L计算部分370包括L_x计算部分380和L_y计算部分390。L_x计算部分380计算图8中示出的x方向上的搜索范围L_x。具体地，L_x计算部分380基于来自F_t计算部分330的时间亮度差总和F_t和来自F_x计算部分350的在x方向上的空间亮度差总和F_x，计算x方向上的搜索范围L_x。L_x计算部分380通过信号线329将计算的x方向上的搜索范围L_x提供到参考块确定部分140。

L_y计算部分390计算图8中示出的y方向上的搜索范围L_y。具体地，L_y计算部分390基于来自F_t计算部分330的时间亮度差总和F_t和来自F_y计算部分360的在y方向上的空间亮度差总和F_y，计算y方向上的搜索范围L_y。L_y计算部分390通过信号线329将计算的y方向上的搜索范围L_y提供到参考块确定部分140。

这里，作为上述x方向上的搜索范围L_x和y方向上的搜索范围L_y的计算的示例，可以应用以下表达式：

$\left(\begin{array}{c}{L}_x\\ L_y\end{array}\right)=\left(\begin{array}{c}G(F_t,F_x)\\ G(F_t,F_y)\end{array}\right)$ 表达式8

因为以此方式使用时间亮度差总和F_t和空间亮度差总和F_s的两个参数可以精确地估计包括在基准块中的素材体的运动，所以可以定义符合基准块中的素材体的运动的搜索范围。此外，通过相互分开地计算x方向和y方向的搜索范围，可以定义最佳搜索范围。这里应该注意，尽管对称地产生上述x方向和y方向上的搜索范围，但是下面描述关于搜索区域基准块240分开地产生在向上和向下方向以及在向左和向右方向上的搜索范围的示例。

[搜索范围的定义的示例]

图10图示在通过本发明的第二实施例的运动矢量检测装置300非对称地定义的参考帧中的搜索区域的示例。在图10中，图示参考帧中的搜索区域420和最大搜索区域430。顺便提及，参考帧中除了搜索区域420之外的组件与上面参照图8描述的那些组件类似，因此，这里省略它们的重复描述以避免冗余。

搜索区域420是由搜索区域基准块240、x方向上在正侧的搜索范围L_x ⁺和在负侧的搜索范围L_x ^-、以及y方向上在正侧的搜索范围L_y ⁺和在负侧的搜索范围L_y ^-定义的区域。由搜索范围产生部分320产生x方向上在正侧的搜索范围L_x ⁺和在负侧的搜索范围L_x ^-、以及y方向上在正侧的搜索范围L_y ⁺和在负侧的搜索范围L_y ^-。

x方向上在正侧的搜索范围L_x ⁺指示其中参考搜索区域基准块240、参考块可以在x方向移动到右侧的最大范围。x方向上在负侧的搜索范围L_x ^-指示其中参考搜索区域基准块240、参考块可以在x方向移动到左侧的最大范围。

y方向上在正侧的搜索范围L_y ⁺指示其中参考搜索区域基准块240、参考块可以在y方向移动到下侧的最大范围。y方向上在负侧的搜索范围L_y ^-指示其中参考搜索区域基准块240、参考块可以在y方向移动到上侧的最大范围。

通过以此方式利用搜索范围产生部分320在不同方向上单独地产生正负侧搜索范围，在各个方向上参考搜索区域基准块240非对称地定义搜索区域。现在，下面描述其中非对称地定义搜索区域的搜索范围产生部分320的配置的示例。

[搜索范围产生部分的配置的第二示例]

图11示出根据本发明的第二实施例的、其中非对称地产生搜索范围的搜索范围产生部分320的配置的第二示例。参照图11，搜索范围产生部分320包括F_t计算部分330、F_x计算部分350、F_y计算部分360、L_x计算部分380和L_y计算部分390。

F_t计算部分330包括F_t ^x-计算部分331、F_t ^x+计算部分332、F_t ^y-计算部分333和F_t ^y+计算部分334。F_x计算部分350包括F_x ^-计算部分351和F_x ⁺计算部分352。F_y计算部分360包括F_y ^-计算部分361和F_y ⁺计算部分362。L_x计算部分380包括L_x ^-计算部分381和L_x ⁺计算部分382。L_y计算部分390包括L_y ^-计算部分391和L_y ⁺计算部分392。

F_t计算部分330将x方向和y方向上的时间亮度差的绝对值加到在不同方向上的正侧时间亮度差总和以及负侧时间亮度差总和之一。具体地，F_t计算部分330基于关于基准块中的所有像素或一些像素的时间亮度差的符号、和不同方向上的空间亮度差的符号，关于基准块中的所有像素或一些像素将不同方向上的时间亮度差的绝对值相加。顺便提及，F_t计算部分330是时间亮度差总和部分的示例。

F_t ^x-计算部分331基于关于各像素的x方向上的空间亮度差的符号和时间亮度差的符号，将关于基准块中的各像素的x方向上的时间亮度差的绝对值加到x方向上的负侧时间亮度差总和F_t ^x-。F_t ^x-计算部分331将计算的x方向上的负侧时间亮度差总和F_t ^x-提供到L_x ^-计算部分381。

F_t ^x+计算部分332基于关于各像素的x方向上的空间亮度差的符号和时间亮度差的符号，将关于基准块中的各像素的x方向上的时间亮度差的绝对值加到x方向上的正侧时间亮度差总和F_t ^x+。F_t ^x+计算部分332将计算的x方向上的正侧时间亮度差总和F_t ^x+提供到L_x ⁺计算部分382。

F_t ^y-计算部分333基于关于各像素的y方向上的空间亮度差的符号和时间亮度差的符号，将关于基准块中的各像素的y方向上的时间亮度差的绝对值加到y方向上的负侧时间亮度差总和F_t ^y-。F_t ^y-计算部分333将计算的y方向上的负侧时间亮度差总和F_t ^y-提供到L_y ^-计算部分391。

F_t ^y+计算部分334基于关于各像素的y方向上的空间亮度差的符号和时间亮度差的符号，将关于基准块中的各像素的y方向上的时间亮度差的绝对值加到y方向上的正侧时间亮度差总和F_t ^y+。F_t ^y+计算部分334将计算的y方向上的正侧时间亮度差总和F_t ^y+提供到L_y ⁺计算部分392。

这里，对于x方向上的负侧时间亮度差总和F_t ^x-、x方向上的正侧时间亮度差总和F_t ^x+、y方向上的负侧时间亮度差总和F_t ^y-和y方向上的正侧时间亮度差总和F_t ^y+的计算，可以使用以下表达式：

$\left(\begin{array}{cc}{F}_t^{x-}& F_t^{x+}\\ F_t^{y-}& F_t^{y+}\end{array}\right)=\left(\begin{array}{cc}\underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_t^{x-}(i,j)\right|& \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_t^{x+}(i,j)\right|\\ \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_t^{y-}(i,j)\right|& \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_t^{y+}(i,j)\right|\end{array}\right)$ 表达式9

其中I_t ^x-(i，j)、I_t ^x+(i，j)、I_t ^y-(i，j)和I_t ^y+(i，j)可以由以下表达式表示：

                           表达式10

以此方式，F_t计算部分330使用基于关于基准块中的每个像素的空间亮度差的符号和时间亮度差的符号估计的运动体的速度的方向，计算各方向上正侧和负侧的时间亮度差的绝对值的总和。

F_x计算部分350关于基准块中的所有像素或一些像素，将x方向上的空间亮度差的绝对值加到x方向上的正侧空间亮度差总和以及负侧空间亮度差总和之一。具体地，F_x计算部分350基于不同方向上的空间亮度差的符号和关于所有像素或一些像素的时间亮度差的符号，关于基准块中的所有像素或一些像素将x方向上的空间亮度差相加。顺便提及，F_x计算部分350是空间亮度差总和部分的示例。

F_x ^-计算部分351基于x方向上的空间亮度差的符号和关于像素的时间亮度差的符号，关于基准块中的每个像素将x方向上的空间亮度差的绝对值加到x方向上的负侧空间亮度差总和F_x ^-。F_x ^-计算部分351将计算的x方向上的负侧空间亮度差总和F_x ^-提供到L_x ^-计算部分381。

F_x ⁺计算部分352基于x方向上的空间亮度差的符号和关于像素的时间亮度差的符号，关于基准块中的每个像素将x方向上的空间亮度差的绝对值加到x方向上的正侧空间亮度差总和F_x ⁺。F_x ⁺计算部分352将计算的x方向上的正侧空间亮度差总和F_x ⁺提供到L_x ⁺计算部分382。

F_y计算部分360关于基准块中的所有像素或一些像素，将y方向上的空间亮度差的绝对值加到y方向上的正侧空间亮度差总和以及负侧空间亮度差总和之一。具体地，F_y计算部分360基于不同方向上的空间亮度差的符号和关于所有像素或一些像素的时间亮度差的符号，关于基准块中的像素将y方向上的空间亮度差相加。顺便提及，F_y计算部分360是空间亮度差总和部分的示例。

F_y ^-计算部分361基于y方向上的空间亮度差的符号和关于像素的时间亮度差的符号，关于基准块中的每个像素将y方向上的空间亮度差的绝对值加到y方向上的负侧空间亮度差总和F_y ^-。F_y ^-计算部分361将计算的y方向上的负侧空间亮度差总和F_y ^-提供到L_y ^-计算部分391。

F_y ⁺计算部分362基于y方向上的空间亮度差的符号和关于像素的时间亮度差的符号，关于基准块中的每个像素将y方向上的空间亮度差的绝对值加到y方向上的正侧空间亮度差总和F_y ⁺。F_y ⁺计算部分362将计算的y方向上的正侧空间亮度差总和F_y ⁺提供到L_y ⁺计算部分392。

可以根据以下表达式计算x方向上的负侧空间亮度差总和F_x ^-、x方向上的正侧空间亮度差总和F_x ⁺、y方向上的负侧空间亮度差总和F_y ^-、和y方向上的正侧空间亮度差总和F_y ⁺。

$\left(\begin{array}{cc}{F}_x^{-}& F_x^{+}\\ F_y^{-}& F_y^{+}\end{array}\right)=\left(\begin{array}{cc}\underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_x^{-}(i,j)\right|& \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_x^{+}(i,j)\right|\\ \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_y^{-}(i,j)\right|& \underset{i=0,j=0}{\overset{N,N}{\mathrm{\&Sigma;}}}\left|I_y^{+}(i,j)\right|\end{array}\right)$ 表达式11

其中I_x ^-(i，j)、I_x ⁺(i，j)、I_y ^-(i，j)和I_y ⁺(i，j)可以由以下表达式表示：

                          表达式12

以此方式，F_x计算部分350和F_y计算部分360使用基于关于基准块中的每个像素的空间亮度差的符号和时间亮度差的符号估计的运动体的速度的方向，计算正侧和负侧的空间亮度差的绝对值的总和。

L_x计算部分380计算x方向上在负侧的搜索范围L_x ^-和在正侧的搜索范围L_x ⁺。L_x ^-计算部分381基于x方向上的负侧空间亮度差总和F_x ^-和x方向上的负侧时间亮度差总和F_t ^x-，计算x方向上在负侧的搜索范围L_x ^-。L_x ^-计算部分381通过信号线329将x方向上在负侧的计算的搜索范围L_x ^-提供到参考块确定部分140。顺便提及，L_x ^-计算部分381是负侧搜索范围计算部分的示例。

L_x ⁺计算部分382基于x方向上的正侧空间亮度差总和F_x ⁺和x方向上的正侧时间亮度差总和F_t ^x+，计算x方向上在正侧的搜索范围L_x ⁺。L_x ⁺计算部分382通过信号线329将x方向上在正侧的计算的搜索范围L_x ⁺提供到参考块确定部分140。顺便提及，L_x ⁺计算部分382是正侧搜索范围计算部分的示例。

L_y计算部分390计算y方向上在负侧的搜索范围L_y ^-和在正侧的搜索范围L_y ⁺。L_y ^-计算部分391基于y方向上的负侧空间亮度差总和F_y ^-和y方向上的负侧时间亮度差总和F_t ^y-，计算y方向上在负侧的搜索范围L_y ^-。L_y ^-计算部分391通过信号线329将y方向上在负侧的计算的搜索范围L_y ^-提供到参考块确定部分140。顺便提及，L_y ^-计算部分391是负侧搜索范围计算部分的示例。

L_y ⁺计算部分392基于y方向上的正侧空间亮度差总和F_y ⁺和y方向上的正侧时间亮度差总和F_t ^y+，计算y方向上在正侧的搜索范围L_y ⁺。L_y ⁺计算部分392通过信号线329将y方向上在正侧的计算的搜索范围L_y ⁺提供到参考块确定部分140。顺便提及，L_y ⁺计算部分392是正侧搜索范围计算部分的示例。

可以根据以下表达式计算x方向上在负侧的搜索范围L_x ^-和在正侧的搜索范围L_x ⁺、以及y方向上在负侧的搜索范围L_y ^-和在正侧的搜索范围L_y ⁺：

$\left(\begin{array}{cc}{L}_x^{-}& L_x^{+}\\ L_y^{-}& L_y^{+}\end{array}\right)=\left(\begin{array}{cc}G(F_t^{x-},F_x^{-})& G(F_t^{x+},F_x^{+})\\ G(F_t^{y-},F_y^{-})& G(F_t^{y+},F_y^{+})\end{array}\right)$ 表达式13

以此方式，通过利用搜索范围产生部分320产生在不同方向上在正侧和负侧的搜索范围，可以在不同方向非对称地定义搜索区域。因此，因为可以比通过图9的配置更适当地定义搜索范围，所以可以以更高精确度检测运动矢量。要注意的是，在本配置的情况下，运动矢量检测装置300中的寄存器的数目大。因此，改进下述修改以便减少寄存器的数目。

[对搜索范围产生部分的配置的第二示例的修改]

图12示出对本发明的第二实施例中非对称地设置搜索范围的搜索范围产生部分320的配置的第二示例的修改。

参照图12，基准块确定部分120包括ρ_x计算部分510和ρ_y计算部分520以代替参照图11的上述配置中的F_t计算部分330，并且还包括参照图9的上述F_t计算部分330、F_x计算部分350和F_y计算部分360。因为F_x ^-计算部分351、F_x ⁺计算部分352、F_y ^-计算部分361和F_y ⁺计算部分362类似于参照图11的上述那些部分，所以这里省略它们的重复描述以避免冗余。此外，F_t计算部分330、F_x计算部分350和F_y计算部分360类似于参照图9的上述那些部分，因此这里省略它们的重复描述以避免冗余。顺便提及，ρ_x计算部分510和ρ_y计算部分520是似然度计算部分的示例。

ρ_x计算部分510基于x方向上的负侧空间亮度差总和F_x ^-和正侧空间亮度差总和F_x ⁺，计算x方向上的正侧似然度和负侧似然度。ρ_x计算部分510包括ρ_x ^-计算部分511和ρ_x ⁺计算部分512。

ρ_x ^-计算部分511基于x方向上的负侧空间亮度差总和F_x ^-和正侧空间亮度差总和F_x ⁺，计算x方向上的负侧似然度ρ_x ^-。ρ_x ^-计算部分511将x方向上的计算的负侧似然度ρ_x ^-提供到L_x ^-计算部分381。

ρ_x ⁺计算部分512基于x方向上的负侧空间亮度差总和F_x ^-和正侧空间亮度差总和F_x ⁺，计算x方向上的正侧似然度ρ_x ⁺。ρ_x ⁺计算部分512将x方向上的计算的正侧似然度ρ_x ⁺提供到L_x ⁺计算部分382。

ρ_y计算部分520基于y方向上的负侧空间亮度差总和F_y ^-和正侧空间亮度差总和F_y ⁺，计算y方向上的正侧似然度和负侧似然度。ρ_y计算部分520包括ρ_y ^-计算部分521和ρ_y ⁺计算部分522。

ρ_y ^-计算部分521基于y方向上的负侧空间亮度差总和F_y ^-和正侧空间亮度差总和F_y ⁺，计算y方向上的负侧似然度ρ_y ^-。ρ_y ^-计算部分521将y方向上的计算的负侧似然度ρ_y ^-提供到L_y ^-计算部分391。

ρ_y ⁺计算部分522基于y方向上的负侧空间亮度差总和F_y ^-和正侧空间亮度差总和F_y ⁺，计算y方向上的正侧似然度ρ_y ⁺。ρ_y ⁺计算部分522将y方向上的计算的正侧似然度ρ_y ⁺提供到L_y ⁺计算部分392。

可以根据以下表达式计算x方向上的负侧似然度ρ_x ^-、x方向上的正侧似然度ρ_x ⁺、y方向上的负侧似然度ρ_y ^-和y方向上的正侧似然度ρ_y ⁺：

$\left(\begin{array}{cc}{\mathrm{\&rho;}}_x^{-}& {\mathrm{\&rho;}}_x^{+}\\ {\mathrm{\&rho;}}_y^{-}& {\mathrm{\&rho;}}_y^{+}\end{array}\right)=\left(\begin{array}{cc}\frac{F_x^{-}}{\max (F_x^{-},F_x^{+})}& \frac{F_x^{+}}{\max (F_x^{-},F_x^{+})}\\ \frac{F_y^{-}}{\max (F_y^{-},F_y^{+})}& \frac{F_y^{+}}{\max (F_y^{-},F_y^{+})}\end{array}\right)$ 表达式14

以此方式，ρ_x计算部分510和ρ_y计算部分520使用正侧亮度差总和以及负侧亮度差总和，以计算在包括在基准块中的运动体的向上或向下方向以及向左或向右方向上的似然度。

L_x ^-计算部分381基于x方向上的负侧空间亮度差总和F_x ^-、x方向上的负侧时间亮度差总和F_t ^x-和x方向上的负侧似然度ρ_x ^-，计算x方向上在负侧的搜索范围L_x ^-。L_x ^-计算部分381通过信号线329将x方向上在负侧的计算的搜索范围L_x ^-提供到参考块确定部分140。

L_x ⁺计算部分382基于x方向上的正侧空间亮度差总和F_x ⁺、x方向上的正侧时间亮度差总和F_t ^x+和x方向上的正侧似然度ρ_x ⁺，计算x方向上在正侧的搜索范围L_x ⁺。L_x ⁺计算部分382通过信号线329将x方向上在正侧的计算的搜索范围L_x ⁺提供到参考块确定部分140。顺便提及，L_x ^-计算部分381和L_x ⁺计算部分382是搜索范围计算部分的示例。

L_y ^-计算部分391基于y方向上的负侧空间亮度差总和F_y ^-、y方向上的负侧时间亮度差总和F_t ^y-和y方向上的负侧似然度ρ_y ^-，计算y方向上在负侧的搜索范围L_y ^-。L_y ^-计算部分391通过信号线329将y方向上在负侧的计算的搜索范围L_y ^-提供到参考块确定部分140。

L_y ⁺计算部分392基于y方向上的正侧空间亮度差总和F_y ⁺、y方向上的正侧时间亮度差总和F_t ^y+和y方向上的正侧似然度ρ_y ⁺，计算y方向上在正侧的搜索范围L_y ⁺。L_y ⁺计算部分392通过信号线329将y方向上在正侧的计算的搜索范围L_y ⁺提供到参考块确定部分140。顺便提及，L_y ^-计算部分391和L_y ⁺计算部分392是搜索范围计算部分的示例。

可以根据以下表达式计算上述x方向上在负侧的搜索范围L_x ^-和在正侧的搜索范围L_x ⁺、以及y方向上在负侧的搜索范围L_y ^-和在正侧的搜索范围L_y ⁺：

$\left(\begin{array}{cc}{L}_x^{-}& L_x^{+}\\ L_y^{-}& L_y^{+}\end{array}\right)=\left(\begin{array}{cc}{\mathrm{\&rho;}}_x^{-}G(F_t,F_x)& {\mathrm{\&rho;}}_x^{+}G(F_t,F_x)\\ {\mathrm{\&rho;}}_y^{-}G(F_t,F_y)& {\mathrm{\&rho;}}_y^{+}G(F_t,F_y)\end{array}\right)$

以此方式，通过提供ρ_x计算部分510和ρ_y计算部分520，与参照图11的上述配置相比，可以减少在不同方向上在负侧和正侧的搜索范围的计算中的处理量。

[运动矢量检测装置的操作的示例]

现在，参照附图描述运动矢量检测装置300的操作。

图13图示根据本发明第二实施例的运动矢量检测装置300的处理方法的处理过程的示例。

参照图13，首先，在步骤S931，基准块确定部分120确定来自基准帧缓冲器110的基准帧中的基准块。然后，在步骤S932，F_s计算部分340计算空间亮度差总和作为空间亮度差的绝对值的总和，所述空间亮度差是来自基准块确定部分120的基准块中的各像素之间的亮度差。顺便提及，在步骤S932的处理是空间亮度差总和计算过程的示例。

然后，在步骤S933，F_t计算部分330计算时间亮度差总和作为时间亮度差的总和，所述时间亮度差是来自对应块提取部分310的对应块和来自基准块确定部分120的基准块中相互对应的各像素之间的亮度差。顺便提及，在步骤S933的处理是时间亮度差总和计算过程的示例。然后，在步骤S934，L计算部分370基于来自F_t计算部分330的时间亮度差总和以及来自F_s计算部分340的空间亮度差总和，计算参考帧的搜索范围。顺便提及，在步骤S934的处理是搜索范围计算过程的示例。

然后，在步骤S935，参考块确定部分140确定来自参考帧缓冲器130的参考帧内的参考块。然后，在步骤S936，相关计算部分871基于基准块的各像素的亮度值和参考块的各像素的亮度值，计算基准块和参考块之间的相关度。然后，在步骤S937，将由相关计算部分871计算的相关度和参考块的位置以相互相关联的关系存储在相关映射存储部分872中。此后，在步骤S938，位置获取部分873判定关于在搜索区域中确定的所有参考块的相关度和位置是否存储在相关映射存储部分872中。然后，如果此时还没有存储关于所有参考块的相关度和位置，则处理返回步骤S935。因此，重复上述处理直到存储了关于在搜索区域中设置的所有参考块的相关度和位置。

另一方面，如果存储了关于所有参考块的相关度和位置，则在步骤S939，位置获取部分873获取展现最低相关度的一个参考块的位置。然后，在步骤S940，运动矢量计算部分874基于来自位置获取部分873的参考块的位置和基准块的位置，计算运动矢量。顺便提及，在步骤S935到940的处理是块匹配计算过程的示例。

然后，在步骤S941判定是否关于所有基准块计算由运动矢量计算部分874计算的运动矢量。然后，如果还没有完成关于所有基准块的运动矢量的计算，则处理返回步骤S941，在此确定新的基准块。然后，重复从步骤S942开始的各步骤的处理。另一方面，如果完成了关于所有基准块的运动矢量的计算，则结束运动矢量计算处理。

以此方式，在本发明的第二实施例的情况下，因为可以通过提供搜索范围产生部分320适当地定义关于基准块的运动矢量的搜索区域，所以可以改进运动矢量的检测的精度。此外，因为搜索区域可以抑制为最小区域，所以可以减小通过块匹配的处理量。因此，可以减少运动矢量检测装置300的功耗。

<3.第三实施例>

[运动检测器的配置的示例]

图14示出根据本发明第三实施例的运动检测器600的配置的示例。参照图14，运动检测器600执行通过使用缩小(reduced)图像分级检测运动矢量估计运动的分级运动估计。运动检测器600包括基准帧缩小图像产生部分610、帧存储器620、参考帧缩小图像产生部分630、第一运动矢量检测部分640和第二运动矢量检测部分650。

基准帧缩小图像产生部分610产生从信号线601提供的基准帧的预定倍率的缩小图像。基准帧缩小图像产生部分610将产生的缩小图像作为基准帧缩小图像提供到第一运动矢量检测部分640。

帧存储器620暂时保留从信号线601提供到此的基准帧。帧存储器620将保留的基准帧作为参考帧提供到参考帧缩小图像产生部分630和第二运动矢量检测部分650。

参考帧缩小图像产生部分630产生从帧存储器620提供到此的参考帧的预定倍率的缩小图像。参考帧缩小图像产生部分630将产生的缩小图像作为参考帧缩小图像提供到第一运动矢量检测部分640。

第一运动矢量检测部分640基于在基准帧缩小图像中设置的基准块和在参考帧缩小图像中设置的多个参考块之间的相关度，检测基准缩小图像相对于基准块的运动矢量。第一运动矢量检测部分640将关于基准帧缩小图像中的基准块检测的运动矢量提供到第二运动矢量检测部分650。例如，上面参照图7描述的运动矢量检测装置300可以应用到第一运动矢量检测部分640。因此，因为可以高效地检测运动矢量，所以可以减少功耗。

第二运动矢量检测部分650基于设置到基准帧的基准块和设置到参考帧的多个参考块之间的相关度，检测相对于基准块的运动矢量。具体地，第二运动矢量检测部分650基于来自第一运动矢量检测部分640的运动矢量定义搜索区域。然后，第二运动矢量检测部分650基于在定义的搜索区域中设置的多个参考块和在基准帧中设置的基准块之间的相关度，检测相对于基准帧中的基准块的运动矢量。此外，第二运动矢量检测部分650将相对于基准帧的基准块检测的运动矢量提供到信号线609。例如，上面参照图7描述的运动矢量检测装置300可以应用到第二运动矢量检测部分650。

这里，参照图15简要描述通过第二运动矢量检测部分650的、基于来自第一运动矢量检测部分640的运动矢量、检测相对于基准帧的基准块的运动矢量的分级搜索技术。

[运动矢量的检测的示例]

图15图示本发明第三实施例中的运动检测器600的分级搜索技术。参照图15，图示了基准帧602、参考帧621、估计块654、基准缩小帧611、参考缩小帧631和运动矢量641以及651到653。基准帧602是动态画面的当前帧的图像。参考帧621是存储在帧存储器620中的基准帧602之前的图像。基准块603是用于检测运动矢量的基准帧602的块。

基准缩小帧611是由基准帧缩小图像产生部分610产生的基准帧602的缩小图像。参考缩小帧631是由参考帧缩小图像产生部分630产生的参考帧621的缩小图像。基准帧612是对应于基准块603的基准缩小帧611的块。这里，假设基准缩小帧611和参考缩小帧631分别从基准帧602和参考帧621缩小到1/N倍。

在该情况下，第一运动矢量检测部分640相对于设置到基准缩小帧611的基准帧612检测运动矢量641。然后，第二运动矢量检测部分650基于通过将由第一运动矢量检测部分640检测的运动矢量641增加到n倍获得的运动矢量651，确定估计块654的位置。然后，第二运动矢量检测部分650检测相对于估计块654的位置的运动矢量652，并且基于运动矢量651和运动矢量652计算相对于基准帧602的基准块603的运动矢量653。

根据本发明的第三实施例，通过以此方式应用运动矢量检测装置300到第一和第二运动矢量检测部分640和650，可以以高精确度检测运动矢量。

<4.第四实施例>

[运动矢量检测装置的配置的示例]

图16示出根据本发明的第四实施例的运动矢量检测装置700的配置的示例。参照图16，除了上面参照图1描述的组件外，运动矢量检测装置700包括上面参照图7描述的对应块提取部分310和搜索范围产生部分320。运动矢量检测装置700中的对应块提取部分310和搜索范围产生部分320类似于上面参照图7描述的那些部分，因此，这里省略它们的重复描述以避免冗余。此外，运动矢量检测装置700的其他组件类似于上面参照图1描述的那些组件，因此，这里省略它们的重复描述以避免冗余。

以此方式，在本发明的第四实施例中，因为提供了有效性计算部分160，所以即使多个运动体包括在帧中，也可以以高精度检测运动矢量。此外，可以优化搜索区域以便减少通过块匹配的相关度的计算处理。

以此方式，在本发明的实施例的情况下，可以计算对应于基准块的每个像素位置的有效度，以便改进相对于基准块的运动矢量的检测精度。

要注意的是，参照图17描述这样的示例，其中根据本发明实施例的运动矢量检测装置300和700应用到图像拾取装置710。

图17示出根据本发明实施例的图像拾取装置710的配置的示例。参照图17，图像拾取装置710包括控制部分711、图像拾取部分712、信号处理部分715、面部检测部分716和运动矢量检测部分717。图像拾取装置710还包括模糊校正部分718、图像存储部分719、总线721、用户界面722、图像压缩-解压缩部分725、存储介质726、输入/输出端子727、存储器728和振动传感器729。要注意的是，由直接通信或由通过图像存储部分719或总线721的通信执行不同块之间的图像信号的传送。

控制部分711基于存储在未示出的存储器中的各种控制程序，控制图像拾取装置710的各组件。

图像拾取部分712包括光学系统713和图像拾取设备714，并且将来自图像拾取对象的入射光光电转换为电信号，并且将该电信号输出到信号处理部分715。光学系统713包括多个透镜组(包括聚焦透镜、变焦透镜、模糊校正透镜和模糊校正棱镜)，并且将来自通过透镜组输入的图像拾取对象的入射光输出到图像拾取设备714。图像拾取设备714将从光学系统713输出的入射光光电转换，并且将得到的电信号输出到信号处理部分715。要注意的是，图像拾取部分712可以光学地校正通过模糊校正透镜的移动或倾斜、模糊校正棱镜的变形或倾斜、图像拾取设备714的移动等造成和检测的模糊。在控制部分711的控制下执行这种光学校正。

信号处理部分715对从图像拾取设备714输出的电信号执行各种信号处理，并且将通过信号处理获得的图像数据输出到图像存储部分719、图像压缩-解压缩部分725、用户界面722和面部检测部分716。通过信号处理部分715的信号处理包括噪声减小处理、电平校正处经理、A/D转换处理和颜色校正处理。此外，信号处理部分715根据来自控制部分711的指令，对从相关块输入的图像执行各种图像处理。

面部检测部分716检测包括在对应于输入图像数据的图像中的人物的面部。

运动矢量检测部分717通过图像处理检测每个块的运动矢量，并且将对应于检测的运动矢量的值输出到控制部分711，其中将对应于输入图像数据的图像分为所述每个块。根据本发明的实施例的运动矢量检测装置300和700可以应用到运动矢量检测部分717。

模糊校正部分718基于模糊校正量等移动对应于输入图像的图像的位置以校正图像的模糊，基于由运动矢量检测部分717检测的运动矢量计算所述模糊校正量等。要注意的是，模糊校正部分718包括电子模糊校正部件和光学模糊校正部件。

要注意的是，将由模糊校正部分718校正其模糊的图像输出到图像压缩-解压缩部分725。然后，图像压缩-解压缩部分725对校正其模糊的图像执行图像压缩处理，并且将得到的图像记录在存储介质726上。此外，将校正其模糊的图像显示在显示部分723上。

图像存储部分719存储通过图像拾取装置710的处理的对象的图像数据。

总线721是用于传输图像数据的共享总线。用户界面722包括显示部分723和选择接收部分724，并且将界面提供给使用图像拾取装置710的用户。

显示部分723显示对应于从信号处理部分715或图像压缩-解压缩部分725输出的图像数据的图像。显示部分723显示例如作为由图像拾取装置710拾取的图像拾取对象的图像的拾取的图像。

选择接收部分724将由用户输入的选择信息转换为电信号，并且将该电信号输出到控制部分711。例如，如果面部检测部分716从由图像拾取部分712输出的拾取图像中检测到面部，则由图像拾取装置710执行基于从拾取图像中检测的面部的模糊校正处理。以此方式，在拾取图像包括面部的情况下，可能建立其中对面部执行模糊校正处理的模式(开(ON)设置)、或其中不对面部执行模糊校正处理的另一模式(关(OFF)设置)。由选择接收部分724执行这种开/关设置。

要注意的是，可以配置用户界面722，使得例如显示部分723和选择接收部分724集成地形成为触摸面板，或者显示部分723从液晶显示(LCD)单元形成，而选择接收部分724形成为硬件键。

图像压缩-解压缩部分725响应于各种图像处理，压缩或解压输入到其的各种图像数据。例如，将由图像压缩-解压缩部分725对其执行压缩处理的图像数据输出到存储介质726，并且存储在存储介质726上。此外，将由图像压缩-解压缩部分725对其执行解压缩处理的图像数据输出到图像存储部分719、显示部分723和面部检测部分716。要注意的是，压缩方法可以例如是JPEG(联合图像专家组)方法。

存储介质726是存储从图像压缩-解压缩部分725输出的图像数据并且将其中存储的图像数据输出到图像压缩-解压缩部分725的图像存储介质。要注意的是，作为图像存储介质，可用磁盘、光盘、半导体存储介质、磁带等。此外，图像存储介质包括外部可移除存储介质和内置存储介质的至少一个。

输入/输出端子727用于通过其将从图像压缩-解压缩部分725输出的图像数据输出到如外部存储介质的外部装置，并且通过其将从外部存储介质输入的图像数据输出到图像压缩-解压缩部分725。

存储器728是用于存储各种类型的信息的易失性/非易失性存储介质。

振动传感器729检测图像拾取装置710的振动，并且检测不依赖于图像的模糊分量(即，图像拾取装置710的主体的模糊分量)，并且将各种类型的检测信息输出到控制部分711。例如可以使用回转仪传感器、速度传感器或加速度传感器实现振动传感器729。

以此方式，通过将根据本发明实施例的运动矢量检测装置300和700应用到图像拾取装置710，可以抑制图像拾取装置的功耗。

以此方式，通过将根据本发明实施例的运动矢量检测装置100和700应用到图像拾取装置710，可以改进通过图像拾取装置710的运动矢量的检测精度。

要注意的是，尽管在本发明实施例的前面描述中，参考帧是距离基准帧之前一帧的帧，但是本发明也可以应用到这样的情况，其中参考帧是当前帧，而基准帧是距离参考帧之前一帧的帧。

要注意的是，尽管在上述的本发明实施例中，使用关于基准块的所有像素的亮度值，但是可以替代地仅使用基准块的一些像素的亮度值。

此外，要注意的是，本发明的实施例可以应用于用于在图像拾取装置或图像存储装置(如摄像机或录像机)中的存储处理中压缩动态画面的图像编码处理。

此外，要注意的是，本发明的实施例可以应用于在图像拾取装置或图像存储装置(如摄像机或录像机)中的再现处理或存储处理中的模糊缓和处理，其中当拾取动态图像时检测到模糊。

此外，要注意的是，本发明的实施例可以应用于在图像拾取装置或图像存储装置(如摄像机或录像机)中的再现处理或存储处理中的噪声减少处理，其中检测到从图像拾取处理部分导致的随机噪声。

此外，要注意的是，本发明的实施例可以应用于图像存储装置(如录像机)中的再现处理中的帧内插处理，所述帧内插处理用于通过帧的缺少降低时间方向上分辨率的缺少。

此外，要注意的是，本发明的实施例指示用于体现本发明的示例，并且具有与如权利要求中描述的本发明的不同特征的对应关系。然而，本发明不限于各实施例，而是可以进行各种修改而不背离本发明的精神和范围。

此外，在本发明的实施例的描述中描述的处理过程可以理解具有如上所述的这样一系列步骤的方法，或可以理解为用于使得计算机执行该系列步骤的程序，或理解为用于存储该程序的存储介质。作为存储介质，可用CD(致密盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、蓝光盘(蓝光盘(注册商标))等。

本申请包含涉及于2008年11月5日向日本专利局提交的日本优先权专利申请JP 2008-284628中公开的主题，在此通过引用并入其全部内容。

Claims (14)

1.一种运动矢量检测装置，包括：

空间亮度差总和计算部分，配置为计算空间亮度差的绝对值的总和，所述空间亮度差是在基准帧中设置的基准块的各像素相对于预定像素的亮度差；

时间亮度差总和计算部分，配置为计算时间亮度差的绝对值的总和，所述时间亮度差是基准块和对应于所述基准块的参考帧中的对应块的对应像素之间的亮度差；

搜索范围计算部分，配置为基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算相对于基准块用于搜索运动矢量的参考帧的搜索范围；以及

块匹配计算部分，配置为设置依赖于所述搜索范围确定的参考帧的搜索范围中的参考块，并且基于设置的参考块和基准块之间的相关度执行块匹配，以便计算所述运动矢量。

2.如权利要求1所述的运动矢量检测装置，其中所述搜索范围计算部分计算搜索范围，使得当空间亮度差的绝对值的总和的值增加时，搜索范围的大小减小，而当时间亮度差的绝对值的总和的值增加时，搜索范围的大小增加。

3.如权利要求2所述的运动矢量检测装置，其中所述搜索范围计算部分计算搜索范围，使得搜索范围的大小与空间亮度差的绝对值的总和成反比地增加，而与时间亮度差的绝对值的总和成正比地增加。

4.如权利要求1所述的运动矢量检测装置，其中所述空间亮度差总和计算部分计算相对于基准块的水平方向和垂直方向上的空间亮度差的绝对值的总和，作为空间亮度差的绝对值的总和，并且

所述搜索范围计算部分基于水平和垂直方向上的空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算水平和垂直方向上的搜索范围。

5.如权利要求4所述的运动矢量检测装置，其中所述空间亮度差总和计算部分基于水平和垂直方向上的空间亮度差的符号、以及相对于基准块中的预定像素的时间亮度差的符号，将水平和垂直方向上的空间亮度差的绝对值加到正侧空间亮度差总和或负侧空间亮度差总和。

6.如权利要求5所述的运动矢量检测装置，其中所述时间亮度差总和计算部分基于水平和垂直方向上的空间亮度差的符号、以及相对于基准块中的预定像素的时间亮度差的符号，将水平和垂直方向上的时间亮度差的绝对值加到正侧时间亮度差总和或负侧时间亮度差总和。

7.如权利要求6所述的运动矢量检测装置，其中所述搜索范围计算部分包括

正侧搜索范围计算部分，配置为基于水平和垂直方向上的正侧空间亮度差总和、以及水平和垂直方向上的正侧时间亮度差总和，计算水平和垂直方向上在正侧的搜索范围，以及

负侧搜索范围计算部分，配置为基于水平和垂直方向上的负侧空间亮度差总和、以及水平和垂直方向上的负侧时间亮度差总和，计算水平和垂直方向上在负侧的搜索范围。

8.如权利要求5所述的运动矢量检测装置，还包括似然度计算部分，配置为基于正侧空间亮度差总和以及负侧空间亮度差总和，分别计算水平和垂直方向上的正侧似然度和负侧似然度。

9.如权利要求8所述的运动矢量检测装置，其中所述搜索范围计算部分包括

正侧搜索范围计算部分，配置为基于空间亮度差的绝对值的总和、时间亮度差的绝对值的总和、以及水平和垂直方向上的正侧似然度，计算水平和垂直方向上在正侧的搜索范围，以及

负侧搜索范围计算部分，配置为基于空间亮度差的绝对值的总和、时间亮度差的绝对值的总和、以及水平和垂直方向上的负侧似然度，计算水平和垂直方向上在负侧的搜索范围。

10.如权利要求1所述的运动矢量检测装置，还包括：

基准亮度值产生部分，配置为基于基准块中的预定像素的亮度值，产生基准块的基准亮度值；以及

有效性计算部分，配置为基于基准块的像素的亮度值和基准亮度值，计算基准块的每个像素的有效度；

所述块匹配计算部分包括相关计算部分，配置为在依赖于搜索范围确定的参考帧中的搜索区域中设置多个参考块，并且基于在设置的参考块中对应于基准块的像素位置的各像素的亮度值、和对应于基准块的像素位置的有效度，为每个参考块计算参考块相对于基准块的相关度。

11.如权利要求1所述的运动矢量检测装置，其中所述搜索范围计算部分将基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和计算的搜索范围、以及预定范围之一确定为搜索范围。

12.一种运动矢量检测方法，包括以下步骤：

计算空间亮度差的绝对值的总和，所述空间亮度差是在基准帧中设置的基准块的各像素相对于预定像素的亮度差；

计算时间亮度差的绝对值的总和，所述时间亮度差是基准块和对应于所述基准块的参考帧中的对应块的对应像素之间的亮度差；

基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算相对于基准块搜索运动矢量的参考帧的搜索范围；以及

设置依赖于所述搜索范围确定的参考帧的搜索范围中的参考块，并且基于设置的参考块和基准块之间的相关度执行块匹配，以便计算所述运动矢量。

13.一种程序，用于使得计算机执行以下步骤：

计算空间亮度差的绝对值的总和，所述空间亮度差是在基准帧中设置的基准块的各像素相对于预定像素的亮度差；

计算时间亮度差的绝对值的总和，所述时间亮度差是基准块和对应于所述基准块的参考帧中的对应块的对应像素之间的亮度差；

基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算相对于基准块搜索运动矢量的参考帧的搜索范围；以及

设置依赖于所述搜索范围确定的参考帧的搜索范围中的参考块，并且基于设置的参考块和基准块之间的相关度执行块匹配，以便计算所述运动矢量。

14.一种运动矢量检测装置，包括：

空间亮度差总和计算部件，用于计算空间亮度差的绝对值的总和，所述空间亮度差是在基准帧中设置的基准块的各像素相对于预定像素的亮度差；

时间亮度差总和计算部件，用于计算时间亮度差的绝对值的总和，所述时间亮度差是基准块和对应于所述基准块的参考帧中的对应块的对应像素之间的亮度差；

搜索范围计算部件，用于基于空间亮度差的绝对值的总和以及时间亮度差的绝对值的总和，计算相对于基准块搜索运动矢量的参考帧的搜索范围；以及

块匹配计算部件，用于设置依赖于所述搜索范围确定的参考帧的搜索范围中的参考块，并且基于设置的参考块和基准块之间的相关度执行块匹配，以便计算所述运动矢量。

Images