CN101640799A - 运动向量检测设备，运动向量检测方法和程序 - Google Patents

Abstract

生成关于运动向量的评估值信息，基于评估值信息提取候选运动向量，并从候选运动向量中确定待分配的运动向量。根据像素值相关信息，评估第二帧中的参考像素是源自第一帧中的目标点的运动的候选的可能性，从而生成评估值表。按照恒定像素值的连续性的状态，围绕与每个提取的候选运动向量对应的每个目标像素和参考像素自适应地设定恒定区域。根据关于恒定区域计算的值之间的比较结果，分配从第一帧到第二帧的运动向量。

Description

运动向量检测设备，运动向量检测方法和程序

技术领域

本发明涉及从运动图像数据中检测运动向量，并且最好适用于图像处理(比如高效编码)的运动向量检测设备和运动向量检测方法，以及执行运动向量检测方法的程序。

背景技术

迄今为止，通过使用运动信息，具体地说，通过使用在时间上不同的图像中，对象的运动方向和运动幅度有效地进行运动图像处理。例如，运动检测的结果用于图像的高效编码中的运动补偿帧之间的编码，和用于利用帧之间的时域滤波的电视降噪设备中使用运动的参数控制。块匹配广泛用作检测运动的方法。在块匹配中，检测其中每个块移动的区域。所述块是包括一帧图像中的预定数目像素的单元。借助块匹配的运动向量的检测已在例如运动图像专家组(MPEG)方法中实现，是最流行的使用运动向量的图像处理。

不过，由于块匹配是以块为单位进行的，每帧中的图像的运动不一定被精确检测。因此，受让人提出了在未经审查的日本专利申请公开No.2005-175869中公开的运动向量检测处理。在未经审查的日本专利申请公开No.2005-175869中公开的运动向量检测处理中，根据图像信号检测涉及每个像素位置的运动的评估值，检测的评估值被保存在评估值表中，从评估值表中的数据中提取多个向量，作为一个屏幕中的候选向量。随后，确定由多个提取的候选向量相互连接的帧之间的每个像素的相关性。连接确定为具有最高相关性的像素的候选向量被确定为该像素的运动向量。下面在本发明的实施例的说明中将详细描述这种处理。

图22是表示当使用评估值表来确定运动向量时，在运动向量检测处理中使用的评估值表生成单元的配置例子的方框图。参见图22，通过输入端子1输入的图像信号被提供给相关计算部分2。相关计算部分2包括参考点存储器2a，目标点存储器2b和绝对值计算器2c。通过输入端子1输入的图像信号首先被保存在参考点存储器2a中，保存在参考点存储器2a中的数据被转移到目标点存储器2b。保存在参考点存储器2a中的图像信号是保存在目标点存储器2b中的图像信号之后的一帧。随后，从保存在目标点存储器2b中的图像信号中读出目标点的像素值，从保存在参考点存储器2a中的图像信号中读出被选为参考点的像素位置的像素值。绝对值计算器2c计算目标点的像素值和参考点的像素值之差的绝对值。关于计算的所述差值的绝对值的数据被提供给相关确定部分3。相关确定部分3中的比较器3a比较计算的所述差值的绝对值数据与预定阈值，以获得评估值。评估值由相关值例证。例如，如果所述差值不大于阈值，那么确定找到更高的相关性。

相关确定部分3获得的评估值被提供给评估值表计算部分4。在评估值表计算部分4中，评估值积分器4a求评估值的积分，积分结果被保存在评估值表存储器4b中。保存在评估值表存储器4b中的数据通过输出端子作为评估值表数据被提供给下游的电路。

图23A和23B图解说明其中上面关于图22说明的现有技术中的评估值表被用于确定运动向量的处理状态。如图23A中所示，基于其确定运动向量的前一帧F0的像素位置被设成目标点d0。前一帧F0是在当前帧F1之前一帧的图像数据。围绕目标点d0的像素位置的预定范围被设成当前帧F1中的搜索区SA。搜索区SA中的每个像素被设为参考点d1，计算参考点d1的评估值，计算的评估值被保存在评估值表中。在登记在评估值表中的评估值之中，在搜索区SA中具有最高评估值的参考点被确定为当前帧F1上的像素位置，它是来自前一帧F0上的目标点d0的运动的目的地。根据具有最高评估值的参考点和目标点之间的运动的量，确定运动向量，如图23B中所示。

借助图22及图23A和23B中所示的处理，可根据评估值表数据检测运动向量。

发明内容

在基于评估值表数据的运动向量的检测中，是否能够确定最佳的运动向量取决于评估值表的性能。在图22中所示的现有技术的方法中，如果亮度的绝对差小于预定阈值，那么根据目标点和在未来帧(当前帧)中的搜索区中的运动候选的目的地的像素之间的相关的确定结果，在评估值表中增大运动候选目的地的计数。

不过，现有技术的方法难以在像素值几乎恒定的均匀图像(evenimage)中分配最佳的运动向量。具体地说，如果目标点是亮度或色彩不同于相邻像素的孤立点，那么通过检测具有与相邻像素一样的状态的参考点，能够准确地检测候选运动向量。

相反，就均匀图像来说，围绕目标点存在具有相同像素值的多个像素，检测到许多运动目的地候选。因此，难以从所述许多候选(参考像素)中选择运动目的地的像素。

在目标点和参考点的比较中，通过分别把目标点和参考点扩展成目标区和参考区，并进行目标区和参考区之间的匹配，能够改进这种均匀部分中的运动向量的检测准确性。不过，在通过使用这些区域的两帧之间的匹配中，难以恰当地设定进行所述匹配的区域。

具体地说，当目标区和参考区较小时，如果包括恒定像素值的均匀部分较小，那么通过匹配能够准确地检测候选向量。相反，如果包括恒定亮度的均匀部分大于匹配中使用的区域时，和把一个像素的目标点与一个像素的参考点相比的情况一样，检测到许多相似的参考区。

相反，当目标区和参考区较大时，如果图像中的均匀部分较大，那么能够准确地检测候选向量。相反，如果均匀部分较小，那么不能检测小的均匀部分。

另外，如果当利用较大的区域进行匹配时，如果另一个运动对象进入匹配区域中，那么在区域匹配中检测到失配，于是，不能恰当地分配运动向量。

为了解决上述问题，可取的是通过使用运动向量的评估值，提高运动向量的分配准确性。另外，可取的是检测图像中的多个运动。

本发明适合于从运动图像数据中检测运动向量。

按照本发明的一个实施例，生成关于运动向量的评估值信息，基于评估值信息提取运动向量的候选，和从提取的候选运动向量中确定待分配的运动向量。

根据指示第一帧中的目标像素与第二帧中的搜索区中的参考像素之间的相关性的像素值相关信息，生成评估值信息。评估值信息指示参考像素是源自目标点的运动的候选的可能性的评估结果。

在运动向量的分配中，按照指示恒定像素值的连续性的状态，围绕与每个提取的运动向量候选对应的目标像素和参考像素中的每个自适应地设定恒定区域。根据关于恒定区域计算的值之间的比较结果，分配从第一帧到第二帧的运动向量。

按照本发明，按照具有恒定像素值的图像的状态，围绕目标像素自适应地改变恒定区域的大小，以便按照图像的状态恰当地减少运动向量候选，从而分配运动向量。因此，即使目标点的像素值与围绕目标点的像素值相同，也能够确定运动向量的目的地。另外，由于按照具有恒定像素值的图像的状态自适应地设定恒定区域的大小，因此将与恒定区域比较的区域具有适当的大小，从而允许准确的确定。

按照本发明，根据图像的状态自适应地设定的恒定区域被用于根据关于运动向量的、指示目标点和参考点之间的运动候选的评估值信息分配运动向量。因此，即使目标点在具有恒定像素值的恒定区域中，也能够准确地检测运动向量。

具体地说，在通过利用包括由目标点和参考点的评估而产生的数据的评估值表来检测运动向量的方法中，以图像中的像素为单位搜索候选向量。在相邻像素具有不同像素值的区域中能够进行有效评估。不过，难以减少具有恒定像素值的恒定区域中的候选向量。按照本发明的实施例，根据图像的状态自适应地设定的恒定区域被用于根据目标点和参考点的评估值，减少候选向量。因此，即使目标点在具有恒定像素值的恒定区域中，也能够从候选向量中准确地确定待分配的运动向量。由于在本发明的实施例中，是按照图像的状态自适应地设定恒定区域的，因此能够准确地确定待分配的运动向量，而与恒定区域的大小无关。

另外，在恒定区域中和在包括不同像素值的区域中都能够准确地检测候选向量。因此，即使一个图像包括多个运动，也能够准确地检测与图像中的多个运动对应的运动向量。

附图说明

图1是表示按照本发明的一个实施例的运动向量检测设备的配置例子的方框图；

图2是表示按照本发明的一个实施例，确定运动向量的处理的例子的流程图；

图3是表示按照本发明的一个实施例的评估值表生成单元的配置例子的方框图；

图4是表示图3中的评估值表生成单元中的处理的例子的流程图；

图5是表示按照本发明的一个实施例的运动向量提取单元的配置例子的方框图；

图6是表示图5中的运动向量提取单元中的处理的例子的流程图；

图7是表示运动向量分配单元的例证一般配置的方框图；

图8是表示图7中的运动向量分配单元中的处理的例子的流程图；

图9图解说明图7中的运动向量分配单元中的处理状态的例子；

图10是表示按照本发明的第一实施例的运动向量分配单元的配置例子的方框图；

图11是表示图10中的运动向量分配单元中的处理的例子的流程图；

图12图解说明图10中的运动向量分配单元中的处理状态的例子；

图13是表示按照本发明的第一实施例，搜索恒定区域的处理的例子的流程图；

图14A和14B图解说明图13中的搜索状态；

图15是表示按照本发明的第一实施例的绝对差之和的归一化处理的例子的流程图；

图16是表示按照本发明的第一实施例的修改，使用频率数据的处理的例子的流程图；

图17是表示按照本发明的第一实施例的修改，基于与恒定区域的任何重叠的确定处理的例子的流程图；

图18是表示按照本发明的第二实施例的运动向量分配单元的配置例子的方框图；

图19是表示图18中的运动向量分配单元中的处理的例子的流程图；

图20图解说明图18中的运动向量分配单元中的处理状态的例子；

图21A-21C表示在本发明的实施例中，未适当地分配运动向量的例子；

图22是表示现有技术中的评估值表生成单元的配置例子的方框图；

图23A和23B图解说明表示现有技术中的评估值表数据中的目标点和参考点的处理状态。

具体实施方式

下面参考附图，说明说明本发明的实施例。

1.用于运动向量的检测的配置和处理的概述

按照本发明的实施例的运动向量检测设备根据运动图像数据检测运动向量。在运动向量的检测中，运动向量检测设备根据关于像素值之间的相关性的信息来生成评估值表，评估值中的数据被积分以确定运动向量。

图1是表示按照本发明的实施例的运动向量检测设备的整个配置的例子的方框图。参见图1，通过输入端子11输入的图像信号被提供给评估值表生成单元12，在评估值表生成单元12生成评估值表。例如，图像信号是对于每帧中的每个像素，具有特定亮度的数字视频信号。评估值表生成单元12生成具有和每个目标点的搜索区相同大小的评估值表。

评估值表生成单元12生成的评估值表中的数据被提供给运动向量提取单元13。运动向量提取单元13从评估值表中提取多个运动向量作为候选向量。在运动向量提取单元13中，根据出现在评估值表中的峰值提取多个候选向量。运动向量提取单元13提取的多个候选向量被提供给运动向量分配单元14。

运动向量分配单元14把运动向量提取单元13提取的多个候选向量中，具有最高相关性的适当候选向量分配给整个屏幕上的每个像素，并把分配的候选向量确定为与该像素对应的运动向量。下面将详细说明从候选向量中确定待分配的运动向量的处理。运动向量的分配由控制器单元16控制。

和确定的运动向量有关的数据通过输出端子15被输出。如果需要的话，和确定的运动向量有关的数据可和通过输入端子输入的图像信号一起输出。和运动向量有关的输出数据可用于例如图像数据的高效编码。当图像被显示在电视接收机中时，和运动向量有关的数据可用于图像质量的改进。另一方面，在上述处理中检测的运动向量可用于其它图像处理。

图2是表示确定运动向量的处理的例子的流程图。参见图2，在步骤S11，根据输入的图像信号生成评估值表。在步骤S12，从生成的评估值表中提取多个候选向量。在步骤S13，从多个提取的候选向量中确定具有最高相关性的运动向量。在每帧中进行图2中所示的处理。通常通过利用评估值表，沿运动向量的方向进行上述处理。

按照本实施例，生成评估值表的评估值表生成单元12具有图3中所示的配置。在下面的说明中，目标点意味基于其确定运动向量的点的像素位置(目标像素)。参考点意味可以是来自目标点的运动的目的地的点的像素位置(参考像素)。参考点是在存在目标点的帧之前或之后的一帧中，在目标点的像素位置附近(即，在搜索区内)的像素。在下面的说明中，目标点有时被称为目标像素，参考点有时被称为参考像素。目标像素指示位于目标点的位置的像素，参考像素指示位于参考点的位置的像素。

2.如何生成评估值表的例子

图3是表示设定上面说明的目标点和参考点，从而生成评估值表的评估值表生成单元12的配置例子的方框图。

参见图3，通过输入端子11输入的图像信号被提供给评估值表生成单元12中的相关计算部分20。相关计算部分20包括参考点存储器21，目标点存储器22，和绝对值计算器23。通过输入端子11输入的图像信号中，存在参考点的一帧的每个像素值被保存在参考点存储器21中。在下一帧周期内，保存在参考点存储器21中的一帧的信号被移动到目标点存储器22中。在图3中的例子中，参考点位于在存在目标点的帧之前的一帧上。

保存在目标点存储器22中的目标点的像素值和保存在参考点存储器21中的参考点的像素值被提供给绝对值计算器23，在绝对值计算器23，计算目标点的像素值的信号与参考点的像素值的信号之间的差值的绝对值。所述差值意味目标点的像素值的信号与参考点的像素值的信号之间的亮度差。关于计算的所述差值的绝对值的数据被提供给相关确定部分30。相关确定部分30中的比较器31比较关于计算的所述差值的绝对值的数据与预定阈值，从而获得评估值。例如，如果所述差值不大于阈值，那么确定发现更高的相关性，如果所述差值超过阈值，那么确定发现更低的相关性。

相关确定部分30获得的评估值被提供给评估值表计算部分40。在评估值表计算部分40中，评估值积分器41求评估值的积分，积分结果被保存在评估值表存储器42中。保存在评估值表存储器42中的数据通过输出端子12a，作为评估值表数据被提供给下游的电路(图1中的运动向量提取单元13)。

图4是表示在具有图3中所示配置的评估值表生成单元12中，生成评估值表中的数据的处理的例子的流程图。图4所示的处理是对连接每个目标点和对应的参考点的所有运动向量进行的确定处理，并由相关确定部分30执行。

参见图4，在步骤S15，相关确定部分30确定经历所述比较的目标点和参考点之间的差值是否不大于阈值。如果相关确定部分30确定目标点和参考点之间的差值不大于阈值，那么在步骤S16，相关确定部分30把对应向量的评估值设为1，并把评估值1写入评估值表中。如果相关确定部分30确定目标点和参考点之间的差值超过阈值，那么在步骤S17，相关确定部分30把对应向量的评估值设为0，并把评估值0写入评估值表中。

对与一帧中的每个目标点对应的所有参考点进行图4中所示的处理。运动向量提取单元13(图1)读出按照上述方式写入评估值表中的数据中，具有较高评估值的候选运动向量，读出的候选向量被提供给下面说明的运动向量分配单元14。

3.运动向量提取单元的配置和操作的例子

下面参考图5和6，说明在具有图1中所示配置的运动向量检测设备中的运动向量提取单元13的配置的例子，和由运动向量提取单元13执行的操作的例子。

图5是表示图1中所示的运动向量提取单元13的配置例子的方框图。

参见图5，评估值表数据通过输入端子13a被输入。例如，评估值表数据是上述运动向量的评估值表中的数据，是一帧中可能被确定为候选向量的向量的积分的结果。

例如，评估值表数据是从图3中的评估值表计算部分40中的评估值表存储器42供给的数据。评估值表数据被提供给评估值表数据转换器111。

评估值表数据转换器111把通过输入端子13a供给的评估值表数据转换成指示频率或者频率的差分值的数据。由所述转换产生的数据被提供给频率排序器112，在频率排序器112，在一帧中按照频率顺序对候选向量排序。和按照频率顺序排序的候选向量有关的评估值表数据被提供给候选向量评估器113。具体地说，在按照频率顺序排序的候选向量中，从顶部开始一直到预定次序的候选向量被提供给候选向量评估器113。例如，从一帧中具有较高频率的候选向量中提取具有10个最高频率的候选向量，并把提取的候选向量提供给候选向量评估器113。

候选向量评估器113根据预定条件，评估供给的具有较高频率的每个候选向量。例如，在候选向量的评估中，频率不高于预定阈值的候选向量排除在候选向量之外，即使它们在预定的频率顺序之内。

候选向量可靠性确定器114根据由候选向量评估器113按照上述方式评估的候选向量的评估结果，从候选向量中选择具有较高可靠性的候选向量。和具有较高可靠性的候选向量有关的数据通过输出端子13b被输出。

通过输出端子13b输出的关于候选向量的可靠性数据被提供给图1中所示的运动向量分配单元14。

图6是表示在图5中所示的运动向量提取单元13中，从评估值表数据中提取候选向量的处理的例子的流程图。

参见图6，在步骤S111，运动向量提取单元13按照频率顺序，对评估值表数据中的候选向量排序。在步骤S112，运动向量提取单元13从其中按照频率顺序对数据排序的评估值表中，提取从顶部开始到预定频率次序的候选向量。例如，运动向量提取单元13提取具有10个最高频率的候选向量。

在步骤S113，运动向量提取单元13评估多个提取的候选向量是否适合于候选向量，如果需要的话，减少候选向量。例如，运动向量提取单元13确定提取的候选向量的频率，并减小具有不大于阈值的频率的候选向量的评估值。可用各种方法进行候选向量的评估，评估处理影响候选向量的提取的准确性。

在步骤S114，运动向量提取单元13根据评估结果，确定每个候选向量的可靠性，只把具有较高可靠性的候选向量，即，只把可能被分配给图像的候选向量提供给在运动向量提取单元13下游的运动向量分配单元14(图1)。

4.使用区域的运动向量分配单元的配置例子

图7是表示图1中所示的运动向量分配单元14的例证一般配置的方框图。

按照本发明的本实施例，在评估从评估值表中读出的候选向量，以确定待分配的向量的过程中，围绕目标点自适应地设定恒定区域，并且围绕每个参考点设定类似的区域，以确定每个候选向量是否被适当地分配成运动向量。

围绕目标点的恒定区域的自适应设定是本发明的本实施例的特征。在说明按照本发明的本实施例的配置和处理之前，作为一般配置，下面说明围绕目标点设定固定区域以进行确定的例子。

在图7中所示的配置中，围绕目标点设定固定区域，以进行所述确定。

关于运动向量的每个候选的数据和候选向量的图像信号通过运动向量分配单元14的输入端子14a被输入。图像信号被提供给参考点存储器51，参考点存储器51是帧存储器，在一帧期间，图像信号被保存在参考点存储器51中。每个帧周期，保存在参考点存储器51中的图像信号被转移到目标点存储器52。因此，保存在参考点存储器51中的图像信号与保存在目标点存储器52中的图像信号相差一个帧周期。

数据阅读器53从保存在目标点存储器52中的图像信号中读出围绕目标点的具有预定大小的固定块中的每个像素信号。类似地，数据阅读器53从保存在参考点存储器51中的图像信号中读出围绕参考点的具有预定大小的固定块中的每个像素信号。数据阅读器53从关于运动向量提取单元13(图1)供给的候选向量的数据中读出目标点和参考点的像素位置(目标像素和参考像素)。

数据阅读器53读出的围绕目标点的固定区域的每个像素信号，和围绕参考点的固定区域的每个像素信号被提供给评估值计算器54，在评估值计算器54，计算围绕目标点的固定区域的像素信号和围绕参考点的固定区域的像素信号之间的差值。评估值计算器54比较围绕经候选向量与正被评估的目标点连接的所有参考点的固定区域的像素信号与围绕目标点的固定区域的像素信号。

评估值计算器54根据比较结果，选择具有在像素值方面，与围绕目标点的固定区域最类似的固定区域的参考点。

与连接选择的参考点和目标点的候选向量相关的数据被提供给向量确定器55。向量确定器55分配对应的候选向量作为出自目标点的运动向量。分配为运动向量的候选向量通过输出端子15被输出。

图8是表示在具有图7中所示配置的运动向量分配单元14中的向量分配处理的例子的流程图。

参见图8，在步骤S21，运动向量分配单元14根据评估值表中的数据读出候选向量。在步骤S22，运动向量分配单元14确定与读出的候选向量对应的目标点的坐标位置，并从目标点存储器52中读出位于该坐标位置的像素(目标像素)，和围绕目标像素的固定区域中的像素。在步骤S23，运动向量分配单元14确定与读出的候选向量对应的参考点的坐标位置，并从参考点存储器51中读出位于每个坐标位置的像素(参考像素)和围绕该参考像素的固定块中的像素。

在步骤S24，运动向量分配单元14计算围绕参考点的固定块中的每个像素的像素电平(像素值：本例中亮度)与围绕目标点的固定块中的对应像素的像素电平之间的差值，把整个块中的绝对差相加，从而计算绝对差之和。对与当前目标点对应的所有候选向量的参考点进行上述处理。

在步骤S25，运动向量分配单元14搜索具有由多个参考点和所述目标点之间的比较产生的绝对差之和中，最小的绝对差之和的参考点。运动向量分配单元14把连接搜索到的参考点与目标点的候选向量分配为出自目标点的运动向量。

图9图解说明图7中所示的配置和图8中所示的流程图中的处理状态的例子。

在图9中的例子中，目标点d10存在于帧F10(目标帧)中，多个候选向量V11和V12从目标点d10延伸到在时间轴上紧接于目标帧F10后的帧F11(参考帧)。分别经候选向量V11和V12与目标点d10连接的参考点d11和d12存在于参考帧F11中。

假设图9中所示的状态，在图8的步骤S22中，在目标帧F10中的目标点d10周围，设定预定数目的像素的固定块B10，并确定固定块B10中的像素值。类似地，在图8的步骤S23中，在参考帧F11中，分别围绕参考点d11和d12设定预定数目的像素的固定块B11和B12，并确定固定块B11和B12中的相应像素值。

在图8的步骤S24中，计算固定块B11中的每个像素的像素值与固定块B10中的对应像素的像素值之间的差值，获得所述差值的绝对值，并把整个块B11中的绝对差相加，从而计算绝对差之和。类似地，计算固定块B12中的每个像素的像素值与固定块B10中的对应像素的像素值之间的差值，获得所述差值的绝对值，并把整个块B12中的绝对差相加，从而计算绝对差之和。在图8的步骤S25中，相互比较在步骤S24中计算的绝对差之和。如果比较表明固定块B11的绝对差之和小于固定块B12的绝对差之和，那么选择连接参考点d11(它是固定块B11的中心)和目标点d10的候选向量V11。选择的候选向量V11被分配为出自目标点d10的运动向量。

尽管为了简便起见，在图9中的例子中使用两个候选向量，不过实际上对于一个目标点，可以存在三个或者更多的候选向量。尽管为了简便起见，在图9中的例子中只表示了一个目标点，不过一帧中的多个像素或所有像素可被用作目标点。

按照上述方式把从多个候选向量中选择的向量确定为运动向量允许选择在像素围绕点的状态下、与目标点对应的参考点，从而准确地从候选向量中选择运动向量。

不过，当如图9中所示的例子中那样，选择固定块作为围绕目标点和参考点的区域时，如果围绕目标点的区域是包括恒定亮度或颜色值的均匀区域时，难以准确地从候选向量中选择运动向量。

例如，假定目标点是具有白色的亮度等级的像素，并且在围绕目标点的区域中保持相同的亮度等级。另外假定在参考点和在围绕参考点的区域中保持白色的亮度等级。在这种情况下，利用固定块B11的绝对差的总和等于利用固定块B12的绝对差的总和，于是，难以选择待分配的候选向量作为运动向量。

如上所述，当关于其计算绝对差之和的区域被固定时，如果围绕目标点和参考点的区域是均匀区域，那么存在不能恰当地分配运动向量的问题。

为了解决上述问题，提供了本发明的下述实施例。

5.按照第一实施例的主要部分的配置的例子

现在参考图10-17说明本发明的第一实施例。

按照本发明的第一实施例的运动向量检测设备具有并执行上面关于图1-4说明的配置和处理。第一实施例的运动向量检测设备包括具有图10中所示配置的运动向量分配单元14。

图10是表示本发明的第一实施例的运动向量检测设备中的运动向量分配单元14的配置例子的方框图。

关于运动向量的每个候选的数据和候选向量的图像信号是通过运动向量分配单元14的输入端子14a输入的。图像信号被提供给参考点存储器61，参考点存储器61是帧存储器，在一帧期间，图像信号被保存在参考点存储器61中。每个帧周期，保存在参考点存储器61中的图像信号被移动到目标点存储器62。因此，保存在参考点存储器61中的图像信号与保存在目标点存储器62中的图像信号相差一个帧周期。

数据阅读器63从保存在目标点存储器62中的图像信号中读出围绕目标点的恒定区域中的每个像素信号。恒定区域是由恒定区域确定器64根据保存在目标点存储器62中的数据确定的。由恒定区域确定器64确定的恒定区域围绕目标点，并且包括水平与目标点相同的恒定像素值。因此，恒定区域的大小根据每帧的图像信号的状态被改变，并且恒定区域被自适应地设定。在本说明书中，恒定区域意味具有恒定像素值(亮度)并被自适应设定的区域。例如，如果目标点的像素值与恒定区域中的像素值之间的差值小于预定值，那么确定恒定区域中的像素值与目标点的像素值相同，以适应像素值的轻微变化。取决于图像的状态，可以不存在任何恒定区域。

数据阅读器63从保存在参考点存储器61中的图像信号中读出围绕参考点的区域中的每个像素信号。这里，被读出的区域的大小与围绕目标点的恒定区域的大小相同。数据阅读器63从关于运动向量提取单元13(图1)供给的候选向量的数据中读出目标点和参考点的像素位置(目标像素和参考像素)。

围绕目标点的恒定区域中的每个像素信号，和围绕参考点的大小与恒定区域相同的区域中的每个像素信号被提供给评估值计算器65，在评估值计算器65，计算围绕目标点的恒定区域中的像素信号和围绕参考点的区域中的像素信号之间的差值，以确定这两个区域之间的相关性。评估值计算器65比较围绕经候选向量与正被评估的目标点连接的所有参考点并且大小与恒定区域相同的区域中的像素信号，和围绕目标点的恒定区域中的像素信号。

评估值计算器65根据比较结果，选择在像素值方面，与围绕目标点的恒定区域最类似的区域的参考点。在这里的比较中，相互比较通过相加区域中的像素的亮度的绝对差而产生的绝对差之和，以选择具有最小的绝对差之和的区域，如下所述。

与连接评估值计算器65选择的区域中的参考点和目标点的候选向量有关的数据被提供给向量确定器66。向量确定器66把该候选向量分配为出自目标点的运动向量。分配为运动向量的候选向量通过输出端子15被输出。

6.图10中的运动向量分配单元中的处理的例子

图11是表示在具有图10中所示配置的运动向量分配单元14中的向量分配处理的例子的流程图。

参见图11，在步骤S31，运动向量分配单元14根据评估值表中的数据读出候选向量。在步骤S32，运动向量分配单元14确定与读出的候选向量对应的目标点的坐标位置，并确定位于该坐标位置(目标像素)的像素值，以检测围绕目标点、具有被确定为与目标点的像素值相同的恒定像素值的区域(恒定区域)。运动向量分配单元14读出该恒定区域中的像素值。

在步骤S33，运动向量分配单元14确定与所有读出的候选向量对应的参考点的坐标位置，设定围绕位于所述坐标位置的像素(参考像素)、大小与恒定区域相同的区域，并从参考点存储器61中读出所设定的区域中的像素值。

在步骤S34，运动向量分配单元14计算区域中的像素电平(像素值)之间的绝对差之和。

在步骤S35，运动向量分配单元14比较围绕每个参考点的区域中的每个像素与围绕目标点的恒定区域中的对应像素，以计算所述差值，相加整个区域中的绝对差以计算绝对差之和，并搜索围绕参考点的具有最小的绝对差之和的区域。运动向量分配单元14把连接作为所找到区域的中心的参考点与目标点的候选向量分配为出自目标点的运动向量。

7.图10中的运动向量分配单元中的处理状态的说明

图12图解说明图10中所示的配置和图11中所示的流程图中的处理状态的例子。

在图12中的例子中，目标点d20存在于帧F20(目标帧)中，多个候选向量V21和V22从目标点d20延伸到在时间轴上紧接于目标帧F20后的帧F21(参考帧)。分别经候选向量V21和V22与目标点d20连接的参考点d21和d22存在于参考帧F21中。

假设图12中所示的状态，在图11的步骤S32中，围绕目标帧F20中的目标点d20，设定具有与目标点d20的像素值(亮度)处于相同水平的像素值的恒定区域A20。确定恒定区域A20中的所有像素的像素值。

在图11的步骤S33中，在参考帧F21中，分别围绕参考点d21和d22设定区域A21和A22。区域A21和A22都具有和关于前一帧F20设定的恒定区域A20相同的大小(相同数目的像素)。参考点d21和d22与区域A21和A22之间的位置关系，以及区域被排列的方向与目标点d20和恒定区域A20的相同。确定按照上述方式设定的每个区域A21和A22中的所有像素的像素值。在图11的步骤S34中，计算围绕每个参考点的区域中的每个像素的像素值与围绕目标点d20的恒定区域A20中的对应像素的像素值之间的差值，相加整个区域中的绝对差，以计算绝对差之和。对于围绕每个参考点的区域计算绝对差之和。在图11的步骤S35中，比较关于区域A21和恒定区域A20计算的绝对差之和与关于区域A22和恒定区域A20计算的绝对差之和。例如，如果比较表明关于区域A21和恒定区域A20计算的绝对差之和小于关于区域A22和恒定区域A20计算的绝对差之和，那么选择连接参考点d21(它是区域A21的中心)和目标点d20的候选向量V21。选择的候选向量V21被分配为出自目标点d20的运动向量。

尽管为了简便起见，在图12中的例子中使用两个候选向量，不过实际上对于一个目标点，可以存在三个或者更多的候选向量。尽管为了简便起见，在图12中的例子中只表示了一个目标点，不过一帧中的多个像素或所有像素可被用作目标点。

8.搜索恒定区域的处理的例子

图13是表示按照本发明的第一实施例，搜索围绕目标点的恒定区域的处理的例子的流程图。现在参考图14A和14B说明图13中所示的处理。

参见图13，在步骤S41，围绕确定的目标点设定恒定区域的搜索范围。恒定区域的搜索范围具有预定大小。例如，搜索范围包括水平N个像素和垂直M个像素(N和M是任意正整数)。

在图14A中所示的例子中，在范围X20中搜索恒定区域。

确定恒定区域的搜索范围X20中的每个像素的像素值，以搜索具有与搜索范围X20中的目标点d20的像素值相同的恒定像素值的恒定区域A20。恒定区域A20中的每个像素被定义，以便具有被确定为与目标点的像素值相同的像素值，并且以便空间上与目标点邻近。具体地说，如果恒定区域A20中的每个像素的像素值与目标点的像素值(亮度)之间的差值小于预定阈值，那么确定恒定区域A20中的每个像素的像素值和目标点的像素值(亮度)相同。

在步骤S42，确定恒定区域A20是否存在于搜索范围X20中。如果确定没有恒定区域存在于搜索范围X20中，那么在步骤S46，确定不存在恒定区域。

如果在步骤S42确定恒定区域A20存在于搜索范围X20中，那么在步骤S43，确定恒定区域A20是否在搜索范围X20内。例如，步骤S43中的确定是以搜索范围X20的周长上的任意像素是否包括在恒定区域A20中为基础的。

如果在步骤S43中确定恒定区域A20在搜索范围X20内，那么在步骤S44，找到的恒定区域被定义为围绕目标点d20的恒定区域A20。

如果在步骤S43中确定恒定区域A20不在搜索范围X20内，那么在步骤S45，扩展搜索范围，处理返回步骤S42，以确定在搜索范围X20中是否存在恒定区域A20。例如，如果恒定区域越出搜索范围X20，如图14B中的恒定区域A20′越出范围X20的例子中一样，那么重新设定恒定区域的扩展搜索范围X21，在范围X21中再次搜索恒定区域A20′。

按照上述方式在与图像的状态一致的范围中适当地搜索恒定区域。

在步骤S45中的搜索范围的扩展中，可预先设定最大搜索范围。如果恒定区域扩展到最大范围，那么在该最大范围中找到的区域可被定义为恒定区域。

9.电平的绝对差之和的归一化的例子

在围绕参考点的区域和围绕目标点的恒定区域之间的比较中，比较围绕参考点的区域中的所有像素与围绕目标点的恒定区域中的对应像素，以计算像素值之间的差值，在整个区域中把绝对差相加，以计算绝对差之和，如上所述。通过利用区域中的像素的数目，计算的绝对差之和可被归一化。

图15是表示归一化处理的例子的流程图。

参见图15，在步骤S51，计算恒定区域的面积(或者恒定区域中的像素的数目)。在步骤S52，比较恒定区域以计算围绕每个参考点的区域中的所有像素值的绝对差的总和。在步骤S53，通过使用恒定区域的面积(或者恒定区域中的像素的数目)以计算每个像素的绝对差的平均值，计算的绝对差的总和被归一化。

可以比较通过归一化得到的关于每个像素计算的绝对差的平均值，以适应例如由噪声造成的绝对差之和的任意误差。

10.使用评估值的频率的确定的例子

尽管在图11的流程图中所示的处理中，仅仅根据围绕目标点的恒定区域中的绝对差之和与围绕每个参考点的区域中的绝对差之和的比较来确定待分配的候选向量，不过可按照另外的条件确定待分配的候选向量。

现在说明根据作为分配条件的每个候选向量的频率，确定待分配的候选向量的例子。

图16是表示按照本发明的第一实施例的修改，确定每个候选向量的频率的处理的例子的流程图。在图16中使用相同的附图标记来识别在图11中的流程图中所示的相同步骤。

参见图16，从候选向量的读出(步骤S31)到像素电平的绝对差之和的计算(步骤S34)，执行和图11中的处理相同的步骤。不过，指示每个候选向量出现在相同帧中的频率的数据被增加到在步骤S31中读出的候选向量中。该频率指示按照一帧之中的运动方向和运动量排序的候选向量的顺序。另一方面，在多个在先帧中排序的候选向量的顺序可被用作频率。

在步骤S34中对于每个候选向量计算围绕每个参考点的区域中的绝对差之和之后，在步骤S36中，确定是否存在具有最小的绝对差之和的多个区域。当多个区域具有近似相同的总和，而不是完全相同的总和时，可确定存在具有最小的绝对差之和的多个区域。

如果在步骤S36中确定不存在具有最小的绝对差之和的多个区域，那么在步骤S35，连接参考点(它是确定为具有最小的绝对差之和的区域的中心)和目标点的候选向量被分配为出自目标点的运动向量，和图11中的例子中一样。

如果在步骤S36中确定存在具有最小的绝对差之和的多个区域，那么在步骤S37，根据关于候选向量的频率数据，从具有最小的绝对差之和的区域的候选向量中选择具有最大频率的候选向量，选择的候选向量被分配为出自目标点的运动向量。

如图16中所示的处理中那样，通过使用频率数据减少候选向量允许适当地执行运动向量的分配，即使存在具有最小的绝对差之和的多个区域。

尽管在图16中的处理中，如果存在具有最小的绝对差之和的多个区域则使用频率数据，不过如果多个区域的绝对差之和在预定范围之内，通过使用频率数据也可减少候选向量。

11.基于恒定区域的重叠的确定的例子

图17是表示按照本发明的第一实施例的修改，根据不同于绝对差之和的条件，从围绕参考点的区域中提取最佳区域，并把与提取的最佳区域对应的候选向量分配为出自目标点的运动向量的处理的例子的流程图。

在图17中的处理中，所述确定以围绕目标点的恒定区域和围绕每个参考点的区域之间的任意重叠为基础。

参见图17，在步骤S61，根据评估值表中的数据，读出候选向量。在步骤S62，确定与读出的候选向量对应的目标点的坐标位置，并确定位于(目标像素的)坐标位置的像素值，以检测围绕目标点的、具有被确定为与目标点的像素值相同的像素值的区域(恒定区域)。读出所述恒定区域中的像素值。

在步骤S63，确定与所有读出的候选向量对应的参考点的坐标位置，围绕位于所述坐标位置的像素(参考像素)设定大小与恒定区域相同的区域，从参考点存储器61读出设定的区域中的像素值。围绕每个参考像素的区域是按照和图11中所示的处理相同的方式设定的。

在步骤S64，检测围绕每个参考点设定的区域的坐标位置。在步骤S65，关于围绕每个参考点的区域，计算与围绕目标点的恒定区域重叠的区域的大小。在步骤S66，确定与围绕目标点的恒定区域重叠的最大区域的参考点。

连接参考点(它是与围绕目标点的恒定区域重叠的最大区域的中心)和目标点的候选向量被确定为待分配的运动向量。

如上所述，根据围绕目标点的恒定区域与围绕每个参考点的区域之间的重叠，能够确定待分配的运动向量。

12.按照第二实施例的主要部分的配置的例子(使用两个参考帧)

现在参考图18-20说明本发明的第二实施例。

按照本发明的第二实施例的运动向量检测设备具有并执行上面关于图1-4说明的配置和处理。第二实施例的运动向量检测设备包括具有图18中所示配置的运动向量分配单元14。在第一实施例中，运动向量是由目标点的帧和参考点的帧之间的处理确定的，而在第二实施例中，还考虑另一帧中的参考点。

图18是表示本发明的第二实施例的运动向量检测设备中的运动向量分配单元14的配置例子的方框图。

关于运动向量的每个候选的数据和候选向量的图像信号是通过运动向量分配单元14的输入端子14a输入的。图像信号被提供给第一参考点存储器71，第一参考点存储器71是帧存储器，在一帧期间，图像信号被保存在第一参考点存储器71中。每个帧周期，保存在第一参考点存储器71中的图像信号被移动到目标点存储器72。另外，每个帧周期，保存在目标点存储器72中的图像信号被移动到第二参考点存储器73。因此，保存在第一参考点存储器71中的图像信号与保存在目标点存储器72中的图像信号相差一个帧周期，保存在目标点存储器72中的图像信号与保存在第二参考点存储器73中的图像信号相同差一个帧周期。保存在第二参考点存储器73中的每帧的图像信号是在保存在目标点存储器72中的帧之前一帧的图像信号。保存在第一参考点存储器71中的每帧的图像信号是在保存在目标点存储器72中的帧之后的一帧。在下面的说明中，保存在第一参考点存储器71中的帧被称为第一参考帧，保存在第二参考点帧73中的帧被称为第二参考帧。

数据阅读器74从保存在目标点存储器72中的图像信号中读出围绕目标点的恒定区域中的每个像素信号。恒定区域是由恒定区域确定器75根据保存在目标点存储器72中的数据确定的。由恒定区域确定器75确定的恒定区域围绕目标点，并且具有水平与目标点相同的恒定像素值。因此，恒定区域的大小根据每帧的图像信号的状态被改变，并且恒定区域被自适应地设定。

数据阅读器74从保存在第一参考点存储器71中的图像信号中读出围绕参考点的区域中的每个像素信号。这里，被读出的区域的大小与围绕目标点的恒定区域的大小相同。数据阅读器74从第二参考点存储器73读出相对于目标点，与从第一参考点存储器71读出的参考点反向的参考点的像素信号，和围绕该反向参考点的区域的像素信号。这里，读出的区域的大小也与围绕目标点的恒定区域的大小相同。数据阅读器74从关于运动向量提取单元13(图1)供给的候选向量的数据中读出目标点和两个参考点(目标像素和参考像素)的像素位置。

围绕目标点的恒定区域中的每个像素信号，和围绕两帧中的参考点的大小与恒定区域相同的区域中的每个像素信号被提供给评估值计算器76，在评估值计算器76，计算围绕目标点的恒定区域中的像素信号和围绕每个参考点的区域中的像素信号之间的差值。评估值计算器76比较围绕经候选向量与正被评估的目标点连接的所有参考点、和围绕与上述参考点相反的参考点并且大小与恒定区域相同的区域中的像素信号，和围绕目标点的恒定区域中的像素信号。

评估值计算器76根据比较结果，选择在像素值方面，与围绕目标点的恒定区域最类似的区域中的参考点。在这里的比较中，比较通过相加围绕每个参考点的区域中的像素的亮度的绝对差而产生的绝对差之和，与通过相加围绕目标点的区域中的像素的亮度的绝对差而产生的绝对差之和，如下所述。预先设定指示在所述两帧之中，向哪一帧给予更大的重要性的优先级。优先级将在下面说明。

与连接评估值计算器76选择的参考点和目标点的候选向量有关的数据被提供给向量确定器77。向量确定器77把该候选向量分配为出自目标点的运动向量。分配为运动向量的候选向量通过输出端子15被输出。

13.在图18中的运动向量分配单元中进行的处理的例子

图19是表示在具有图18中所示配置的运动向量分配单元14中的向量分配处理的例子的流程图。

参见图19，在步骤S71，运动向量分配单元14根据评估值表中的数据读出候选向量。在步骤S72，运动向量分配单元14确定与读出的候选向量对应的目标点的坐标位置，并确定位于该坐标位置(目标像素)的像素值，以检测围绕目标点，具有被确定为与目标点的像素值相同的恒定像素值的区域(恒定区域)。运动向量分配单元14读出该恒定区域中的像素值。

在步骤S73，运动向量分配单元14确定与所有读出的候选向量对应的参考点的坐标位置，设定围绕位于该坐标位置的像素(参考像素)，大小与恒定区域相同的区域，并从第一参考点存储器71中读出所设定的区域中的像素值。读出的关于参考点的信号是第一参考帧的信号。在步骤S74，运动向量分配单元14比较围绕每个参考点的区域中的每个像素的像素电平(像素值)，和围绕目标点的恒定区域中的对应像素的像素电平，以计算每个像素的差值，并计算围绕每个参考点的区域中的所有像素的绝对差之和。

随后，使连接第一参考帧中的每个参考点和目标点的候选向量朝着第二参考帧延长，以把延长的候选向量与第二参考帧相交的点设定为第二参考帧中的参考点。在步骤S75，运动向量分配单元14在第二参考帧中，围绕参考点设定大小与恒定区域相同的区域，并从第二参考点存储器73读出在设定的区域中的像素值。读出的关于参考点的信号是第二参考帧的信号。在步骤S76，运动向量分配单元14比较围绕每个参考点的区域中的每个像素的像素电平(像素值)，和围绕目标点的恒定区域中的对应像素的像素电平，以计算每个像素的差值，并计算围绕每个参考点的区域中的所有像素的绝对差之和。

在步骤S77，运动向量分配单元14确定关于第一参考帧中对应于候选向量的区域计算的绝对差之和中的最小绝对差之和。在步骤S78，运动向量分配单元14确定关于第二参考帧中对应于候选向量的区域计算的绝对差之和中的最小绝对差之和。

在步骤S79，运动向量分配单元14比较第一参考帧中的最小绝对差之和与第二参考帧中的最小绝对差之和，以确定较小的值。如果运动向量分配单元14确定第一参考帧中的最小绝对差之和小于第二参考帧中的最小绝对差之和，那么在步骤S80，运动向量分配单元14把连接位于具有最小绝对差之和的区域的中心的参考点与目标点的候选向量确定为待分配的运动向量。

如果在步骤S79，运动向量分配单元14确定第二参考帧中的最小绝对差之和小于第一参考帧中的最小绝对差之和，那么在步骤S81，运动向量分配单元14把由连接位于具有最小绝对差之和的区域的中心的参考点与目标点的候选向量朝着第一参考帧的延长而产生的向量确定为待分配的运动向量。

14.图18中的运动向量分配单元中的处理状态的说明

图20利用图18中所示的配置和图19中所示的流程图，图解说明处理状态的例子。

在图20中的例子中，目标点d30存在于帧F30(目标帧)中，多个候选向量V31和V32从目标点d30延伸到在时间轴上紧接于目标帧F30后的帧F31(第一参考帧)。分别经候选向量V31和V32与目标点d30连接的参考点d31和d32存在于第一参考帧F31中。

在帧F30之前的一帧，存在第二参考帧F29。在朝着第二参考帧F29延长的候选向量V31和V32与第二参考帧F29相交的点，设定参考点d28和d29。由于候选向量V31的延长，产生连接目标点d30和参考点d28的向量V31′。类似地，由于候选向量V32的延长，产生连接目标点d30和参考点d29的向量V32′。

在帧F30中，围绕目标点d30设定恒定区域A30。恒定区域A30中的像素值与目标点d30的像素值(亮度)处于相同的水平。

在第一参考帧F31中，分别围绕参考点d31和d32设定大小与恒定区域A30相同的区域A31和A32。计算区域A31和A32中的每个像素的像素值与恒定区域A30中的对应像素的像素值之间的差值，以计算绝对差之和。

在第二参考帧F29中，分别围绕参考点d28和d29设定大小与恒定区域A30相同的区域A28和A29。计算区域A28和A29中的每个像素的像素值与恒定区域A30中的对应像素的像素值之间的差值，以计算绝对差之和。

按照上面参考图19说明的方式，比较关于第一参考帧F31中的每个区域计算的绝对差之和与关于第二参考帧F29中的每个区域计算的绝对差之和。如果所述比较表明关于第一参考帧F31中的区域计算的绝对差之和小于关于第二参考帧F29中的区域计算的绝对差之和，那么与位于第一参考帧F31中的区域的中心的参考点对应的候选向量被确定为待分配的运动向量。如果所述比较表明关于第二参考帧F29中的区域计算的绝对差之和小于关于第一参考帧F31中的区域计算的绝对差之和，那么由对应于第二参考帧F29中的参考点的候选向量的延长而产生的并且连接第一参考帧F31与目标帧F30的候选向量被确定为待分配的运动向量。

按照上述方式能够从候选向量中准确地确定待分配的运动向量。

15.本发明的实施例的例证优点

如上所述，按照本发明的实施例，选择在围绕参考点的像素的状态方面，与目标点类似的参考点，从而即使围绕目标点的区域是具有恒定像素值的恒定区域，也可从候选向量中准确地选择运动向量。

在本发明的实施例中描述的，通过使用包括由目标点和参考点的评估而产生的数据的评估值表，检测运动向量的方法中，以图像中的像素为单位搜索候选向量。在相邻像素具有不同像素值的区域中，能够进行有效的评估。不过，难以减少具有恒定像素值的恒定区域中的候选向量，因为恒定区域包括像素值几乎相同的许多像素。按照本发明的实施例，按照图像的状态自适应设定的恒定区域被用于根据目标点和参考点的评估值，减少候选向量。因此，即使目标点位于具有恒定像素值的恒定区域中，也能够从候选向量中准确地确定待分配的运动向量。

由于在本发明的实施例中，按照图像的状态自适应地设定恒定区域，因此能够准确地确定待分配的运动向量，而与恒定区域的大小无关。

另外，在恒定区域中和在包括不同像素值的区域中都能够确定地检测候选向量。因此，即使一个图像包括多个运动，也能够准确地检测与图像中的多个运动对应的运动向量。

现在参考图21A-21C说明根据实际图像是否适当地分配运动向量的评估的例子。

图21A-21C中表示了指示运动的人物举起较大的一块布的状态的帧图像。运动向量是根据与前一帧图像的变化确定的。在每个图像中的变黑区域中，运动向量未被恰当地分配。

图21A表示按照图8中所示的流程图(它被描述成一般配置中的处理)，利用图9中所示的固定块的分配的例子。就利用固定块的图21A中的图像来说，在图像中存在许多变黑的区域和带点的区域。这表明在运动向量的分配中出现许多错误。在图21A中所示图像中的实验中，运动向量的准确率为72％。

图21B表示在本发明的第一实施例中，按照图11中所示的流程图，利用图12中所示的恒定区域的分配的例子。在图21B中的例子中，运动向量的分配状态的准确性完全被改善。在图21B中所示图像中的实验中，运动向量的准确率为90％。

不过，在图21B中所示的图像中，存在其中运动向量的分配状态并不适当的较大区域。在运动向量的分配状态并不适当的区域中，发生图像中的对象(人物)相对于前一帧的运动。在这样的区域中不可能识别前一帧中的目标点。

图21C表示在本发明的第二实施例中，按照图19中所示的流程图，利用图20中所示的恒定区域的分配的例子。由于在图21C中的例子中，使用两个参考帧来分配运动向量，因此和图20中所示的例子中一样，即使在由于发生对象的运动，不能根据与前一帧的比较识别目标点的区域中，也能够恰当地分配运动向量。在图21C中所示图像中的实验中，运动向量的准确率为99％。

图21A-21C中的三个例子间的比较表明与现有技术相比，按照本发明的上述实施例的分配运动向量的方法改进了运动向量的分配准确性。

16.实施例的修改

按照第二实施例的使用两个参考帧选择候选向量的处理可以与第一实施例的修改相结合。具体地说，其中每个区域的绝对差之和被归一化的例子(示于图15中的流程图中)，或者其中使用频率数据的例子(示于图16中的流程图中)可以与按照第二实施例的选择处理相结合。

尽管在本发明的上述实施例中，没有具体说明目标点的选择，不过一帧中的所有像素可被依次选为目标点，可对于每个像素检测运动向量。另一方面，一帧中的典型像素可被选为目标像素，可检测所选像素的运动向量。

尽管在本发明的上述实施例中，亮度信号被用作图像信号的像素值，不过可以像素为单位检测的另一信号分量，比如色度信号或者色差信号可被用作图像信号的像素值。

尽管在本发明的上述实施例中，说明了图像信号的运动向量检测设备，不过运动向量检测设备可被包含在各种图像处理设备中。例如，运动向量检测设备可被包含在进行高效编码，以通过使用运动向量数据实现编码的编码设备中。另一方面，运动向量检测设备可被包含在显示输入(接收)的图像数据的图像显示设备，或者图像记录设备中，以通过利用运动向量数据提高图像质量。

在本发明的实施例中，用于运动向量的检测的每个组件可被编程，程序可被安装在执行各种数据处理的各种信息处理设备，比如计算机设备中。这种情况下，可执行在本发明的实施例中描述的处理，以从输入信息处理设备的图像信号中检测运动向量。

本申请包含和于2008年7月30日在日本专利局提交的日本优先级专利申请JP 2008-196614中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

本领域的技术人员应明白，根据设计要求和其它因素，可产生各种修改、组合、子组合和变更，只要它们在附加的权利要求或其等同物的范围之内。

Claims (10)

1、一种运动向量检测设备，包括：

评估值信息生成单元，用于根据指示运动图像数据的多帧中的第一帧中的目标像素与第二帧中的搜索区中的参考像素之间的相关性的像素值相关信息，生成指示运动向量的评估值的评估值信息，所述评估值信息指示参考像素是来自于目标像素的运动的候选的可能性的评估结果；

运动向量提取单元，用于根据评估值信息生成单元生成的评估值信息，提取与运动图像数据的各帧中的每个像素对应的运动向量的候选；和

运动向量分配单元，用于按照指示恒定像素值的连续性的状态，自适应地设置围绕与运动向量提取单元提取的运动向量的候选对应的目标像素和参考像素中的每个的恒定区域，并根据恒定区域之间的相关性的比较结果，为每个像素分配从第一帧到第二帧的运动向量。

2、按照权利要求1所述的运动向量检测设备，

其中运动向量分配单元计算围绕第一帧中的目标像素的恒定区域中的每个像素的像素值和围绕第二帧中的参考像素的恒定区域中的对应像素的像素值之间的差值，求第二帧中的恒定区域中的计算的差值的绝对值之和以计算绝对差之和，并分配与绝对差之和最小的区域对应的运动向量。

3、按照权利要求2所述的运动向量检测设备，

其中运动向量分配单元在在时间轴上关于存在目标像素的第一帧与存在参考像素的第二帧相对的第三帧中，设置与第一帧中的参考点对应的第二参考像素，计算围绕第二参考像素的恒定区域中的每个像素的像素值与围绕第一帧中的目标像素的恒定区域中的对应像素的像素值之间的差值，求第三帧中的恒定区域中的计算的差值的绝对值之和以计算绝对差之和，并根据关于围绕第二参考像素的恒定区域的比较结果分配从第一帧到第二帧的运动向量。

4、按照权利要求3所述的运动向量检测设备，

其中比较关于围绕第二帧中的参考像素的恒定区域计算的绝对差之和与关于围绕第三帧中的第二参考像素的恒定区域计算的绝对差之和，如果与围绕第一帧中的目标像素的恒定区域的比较表明，关于围绕第二帧中的参考像素的恒定区域计算的绝对差之和小于关于围绕第三帧中的第二参考像素的恒定区域计算的绝对差之和，那么分配连接第二帧中的参考像素和目标像素的运动向量，如果与围绕第一帧中的目标像素的恒定区域的比较表明，关于围绕第三帧中的第二参考像素的恒定区域计算的绝对差之和小于关于围绕第二帧中的参考像素的恒定区域计算的绝对差之和，那么分配起源于第二参考像素和目标像素之间的运动向量的延长并且从第一帧延长到第二帧的运动向量。

5、按照权利要求2所述的运动向量检测设备，

其中获得关于评估值表中的候选向量的频率的信息，如果多个候选向量具有最小的绝对差之和，那么具有最高频率的候选向量被分配为运动向量。

6、按照权利要求2所述的运动向量检测设备，

其中在所述比较中使用通过使用恒定区域的大小或者恒定区域中的像素的数目对关于每个恒定区域计算的绝对差之和进行归一化产生的绝对差的平均值。

7、按照权利要求1所述的运动向量检测设备，

其中在目标像素和参考像素中每个的周围设置具有恒定像素值的恒定区域，确定围绕参考像素的恒定区域与围绕目标像素的恒定区域重叠的区域的大小，分配与和围绕目标像素的恒定区域重叠的最大恒定区域中的参考点对应的运动向量。

8、按照权利要求1-7任意之一所述的运动向量检测设备，

其中运动向量提取单元根据评估值信息生成单元生成的评估值信息，按照频率顺序对运动向量的候选排序，并从顶部开始一直到预定频率顺序为止，提取运动向量的候选。

9、一种运动向量检测方法，包括下述步骤：

根据指示运动图像数据的多帧中的第一帧中的目标像素与第二帧中的搜索区中的参考像素之间的相关性的像素值相关信息，生成指示运动向量的评估值的评估值信息，所述评估值信息指示参考像素是来自于目标像素的运动的候选的可能性的评估结果；

根据生成的评估值信息，提取与运动图像数据的各帧中的每个像素对应的运动向量的候选；和

设置围绕与提取的运动向量的候选对应的目标像素和参考像素中每个的具有恒定像素值的恒定区域，并根据关于所述恒定区域计算的数值之间的比较结果，为每个像素分配从第一帧到第二帧的运动向量。

10、一种安装在信息处理设备中的程序，所述程序包括下述步骤：

根据指示运动图像数据的多帧中的第一帧中的目标像素与第二帧中的搜索区中的参考像素之间的相关性的像素值相关信息，生成指示运动向量的评估值的评估值信息，所述评估值信息指示参考像素是来自于目标像素的运动的候选的可能性的评估结果；

根据生成的评估值信息，提取与运动图像数据的各帧中的每个像素对应的运动向量的候选；和

设置围绕与提取的运动向量的候选对应的目标像素和参考像素中每个的具有恒定像素值的恒定区域，并根据关于所述恒定区域计算的数值之间的比较结果，为每个像素分配从第一帧到第二帧的运动向量。

Images