CN101640798A - 运动矢量检测装置、运动矢量检测方法以及程序 - Google Patents

Abstract

运动矢量检测装置、运动矢量检测方法以及程序。该运动矢量检测装置包括：评估值信息创建单元，根据包括多个帧的运动图像数据中的一个帧中的目标像素与另一帧中的参考像素的相关度信息，创建评估值信息，该评估值信息用于评估所述参考像素是从所述目标像素开始的运动的候选目的地的可能性；运动矢量提取单元，通过使用评估值信息，提取帧中的每个像素的候选运动矢量，针对提取的候选运动矢量，将所述目标像素周围的区域中的像素与所述参考像素周围的区域中的像素进行比较，通过使用在整个区域中的比较的结果来评估评估值信息的候选矢量，以及提取具有高评估值的运动矢量作为候选运动矢量；和运动矢量确定单元，在所提取的运动矢量中确定运动矢量。

Description

运动矢量检测装置、运动矢量检测方法以及程序

技术领域

本发明涉及适合应用于从运动图像数据检测运动矢量以执行诸如高效编码的图像处理的运动矢量检测装置和运动矢量检测方法，以及用于执行其运动矢量检测处理的程序。

背景技术

过去，在运动图像处理领域，利用运动信息(即，在不同时间的图像中物体的运动方向和幅度)来执行有效的图像处理。例如，已经将运动检测的结果用于在高效图像编码中执行的运动补偿帧间编码和在使用帧间时域滤波器的电视减噪装置中执行的基于运动的参数控制中。作为检测运动的方法，通常使用块匹配方法。在块匹配方法中，将一个帧的图像划分成每个都包括预定数量的像素的多个块单元，以搜索块运动区域。根据块匹配的运动矢量检测处理是作为使用运动矢量的图像处理的最普及的一般处理，其在MPEG(运动图像专家组)格式等中被实际使用。

然而，在块匹配方法中，按块单位执行处理，因此不一定以高精度检测各帧的图像中的运动。因此，本申请人先前已经提出了在日本待审专利申请公报No.2005-175869中描述的运动矢量检测处理。根据该运动矢量检测处理，从图像信号检测与各像素位置处的运动相关的评估值，将所检测到的评估值存储为评估值表。从该评估值表的数据中提取多个矢量作为一个画面中的候选矢量。然后，对于整个画面中的每个像素，确定通过所述多个提取的候选矢量而彼此关联的帧之间的像素的相关度。结果，将连接被确定为具有最高相关度的像素的候选矢量确定为与这些像素相对应的运动矢量。在后述实施例中将描述该处理的详情。

图24是例示了在通过使用评估值表来确定运动矢量时使用的先前提出的评估值表创建单元的结构的图。在图24的结构中，将在输入端子1处获得的图像信号提供给相关度算术运算单元2。相关度算术运算单元2包括参考点存储器2a、目标点存储器2b以及绝对值计算单元2c。首先将在输入端子1处获得的图像信号存储在参考点存储器2a中。进而，将存储在参考点存储器2a中的数据传送给目标点存储器2b以在其中存储在参考点存储器2a与目标点存储器2b之间具有一个帧的差的图像信号。然后，读取目标点存储器2b中存储的图像信号中的目标点处的像素值和参考点存储器2a中存储的图像信号中的被选择为参考点的像素位置处的像素值。然后，通过绝对值检测单元2c检测这两个信号之间的差值。将所检测到的差值的绝对值的数据提供给相关度确定单元3。相关度确定单元3包括用于将该差值与设定的阈值进行比较的比较单元3a。根据与阈值进行的比较，获得评估值。作为评估值，例如可以使用相关度值。例如，如果所述差值等于或小于阈值，则确定相关度高。

将在相关度确定单元3处获得的评估值提供给评估值表计算单元4，以在评估值积分单元4a处进行积分。将积分的结果存储在评估值表存储器4b中。然后，将存储在评估值表存储器4b中的数据从输出端子5提供给位于随后级的电路，作为评估值表数据。

图25A和25B是例示了通过利用图24例示的评估值表来确定运动矢量的现有技术处理的状态的概要的图。如图25A所例示，在前一帧F0(其为当前时间的帧(当前帧)F1之前一个帧的图像数据)中，首先将充当用于确定运动矢量的基准的像素位置确定为目标点d0。在确定了目标点d0之后，在当前帧F1中设定目标点d0的像素位置周围的预定范围内的搜索区SA。在设定了搜索区SA之后，针对搜索区SA中作为参考点d1的每个像素计算评估值，并将其注册在评估值表中。然后，将评估值表中注册的值之中具有搜索区SA中的最高评估值的参考点确定为从前一帧的目标点起的运动的在当前帧中的像素位置。由于如此获得了具有最高评估值的参考点，因此从目标点与具有最高评估值的参考点之间的运动量确定运动矢量，如图25B所例示。

通过图24到25B所例示的处理，可以基于评估值表数据来检测运动矢量。

发明内容

在基于评估值表数据的运动矢量检测中，对最佳运动矢量的确定依赖于评估值表的性能。在图24所例示的现有技术的方法中，如果在目标点与像素之间相关度被确定为将来帧(当前帧)的搜索范围内的候选运动的目的地，具体来说如果目标点与像素之间的亮度值的差值的绝对值等于或小于特定阈值，则对于候选运动将频率计数添加到评估值表。

然而，在根据现有技术方法的处理中，如果仅仅基于上述相关度确定来创建评估值表，则当图像在平坦部分或带状图案部分中的所有或一些方向上几乎不包括空间倾斜度时，可能会将错误运动添加到该表。结果，评估值表的可靠性降低。评估值表的可靠性降低进而导致所检测到的运动矢量的准确度的降低。

此外，如果图像包括多个运动，则现有技术的评估值表会被加入错误运动。因此，会掩盖归因于相应的运动的评估值，使得难以检测到相应的运动矢量。

鉴于上述问题，本申请人先前已经提出了图26所例示的评估值表创建处理的结构。

图26的结构与图24的结构的不同之处在于，来自相关度确定单元3的输出经受像素选择单元6的选择，然后被写入评估值表计算单元4中的评估值表存储器4b中。

像素选择单元6包括用于传输来自相关度确定单元3的输出的门单元6a，并将来自门单元6a的输出提供给评估值表计算单元4的评估值积分单元4a。

在像素选择单元6中，空间倾斜度模式计算单元6b计算表示目标点存储器2b中存储的目标像素与相邻于目标像素的像素之间的变化状态的目标点空间倾斜度模式。空间倾斜度模式计算单元6b进一步计算表示参考点存储器2a中存储的参考像素与相邻于参考像素的像素之间的变化状态的参考点空间倾斜度模式。将计算出的目标点空间倾斜度模式和参考点空间倾斜度模式提供给模式比较单元6c，以确定这两个模式之间的相关度。参照空间倾斜度模式存储器6d来执行该比较。

此外，将像素选择单元6配置成基于在模式比较单元6c处获得的相关度确定结果来控制通过门单元6a的输出的传输。

如图26所例示，利用根据目标像素和参考像素的模式执行的像素选择，仅将在空间倾斜度方面与目标像素相关的参考像素的值写在代表目标像素的候选运动的评估值表中。因此，该示例具有提高用于检测运动矢量的评估值的准确度的效果。

然而，为了在图26所例示的像素选择单元6处执行高度可靠的选择，在目标点与参考点之间进行空间倾斜度模式的简单相关度确定是不够的。

即，在图26的结构中，由于在像素选择单元6的门单元6a处进行的像素选择，将候选运动矢量缩减到一定数量的像素的运动矢量。此外，评估值表存储器4b中存储的评估值表构成在一定程度上被视为可靠的运动矢量的集合。然而，得到的评估值表仍然是大量运动矢量的集合。为了从评估值表的数据最终确定帧中的运动矢量，应当通过某种处理进一步缩减评估值表中的运动矢量。然而，根据过去提出的方法，检测准确度不足。

此外，在两个相邻帧之间存在的运动矢量的数量根据对应的图像而变化。因此，通过现有技术的方法来检测最佳数量的运动矢量还没有被考虑。即，根据特定方法，例如，仅从评估值表中存储的多个运动矢量提取固定数量的最频繁运动矢量。该方法经验性地计算两个相邻帧之间存在的运动矢量的合适数量，以确定运动矢量的最终数量。然而，实际上，将带有运动的图像分成带有相对活跃的运动的图像(其中在两个帧之间存在许多运动向量)和基本上处于静态状态的图像(其中在两个帧之间只存在小量运动矢量)。因此，固定运动矢量的数量是不合适的。

鉴于上述问题提出了本发明。在本发明中期望通过使用用于评估运动矢量的评估值表来提高运动矢量的检测精度。在本发明中还期望即使在图像中存在多个运动的情况下也能够对该多个运动进行合适的检测。

本发明适用于从运动图像数据检测运动矢量。根据本发明实施例的处理被配置成包括：生成运动矢量的评估值信息的处理，该评估值信息用于评估运动矢量是候选运动矢量的可能性；基于所述评估值信息提取候选运动矢量的处理；以及在所提取的候选运动矢量中确定运动矢量的运动矢量确定处理。

所述生成评估值信息的处理基于一个帧中的目标像素与另一帧中的搜索区中的参考像素的像素值相关度信息，生成运动矢量的评估值信息，该评估值信息用于评估参考像素是从目标像素开始的运动的目的地的候选目的地的可能性。

所述基于评估值信息提取运动矢量的处理在以所述一个帧中的所述目标像素为中心的预定区域中的像素与以所述另一帧中的所述参考像素为中心的预定区域中的像素之间执行比较，该比较是在整个区域中执行的，基于所述比较的结果来评估评估值表的各候选矢量，以及将具有高评估值的运动矢量提取为候选运动矢量。

根据本发明的实施例，作为基于评估值信息提取运动矢量的处理，在整个区域中对以目标像素为中心的预定区域中的像素与以参考像素为中心的预定区域中的像素进行相互比较，以检查它们之间的相关度，并基于该比较的结果来评估各候选矢量。因此，通过目标像素的周边区域的状态与参考像素的周边区域的状态之间的比较，对被选择为评估值信息的像素的数据进行进一步的选择。

根据本发明的实施例，对于评估值信息中的运动矢量的评估值，将作为各运动矢量的运动起点的目标点的周边区域中的差值的和与作为运动目的地的参考点的周边区域中的差值的和相互比较。由此，对候选矢量的可靠性进行合适的评估。

利用如此获得的候选矢量的可靠性，可以在候选运动矢量中合适地确定最终运动矢量。此外，即使一个图像包括多个运动，其多个矢量也可以根据合适数量的高度可靠的候选矢量来合适地确定。

附图说明

图1是例示了根据本发明实施例的装置的结构示例的框图；

图2是例示了根据本发明实施例的总体处理示例的流程图；

图3是例示了根据本发明实施例的评估值表的创建示例(利用空间倾斜度模式来执行像素选择的示例)的框图；

图4是例示了根据本发明实施例的示例的运动矢量提取单元的处理的结构示例的框图；

图5是例示了根据图3的示例的确定要选择的像素的处理示例的流程图；

图6A和6B是例示了根据图3的示例的对空间倾斜度模式进行比较的处理示例的说明图；

图7A到7D是例示了根据图3的示例的空间倾斜度码的示例的说明图；

图8是例示了根据图3的示例的空间倾斜度模式的示例的说明图；

图9是例示了根据本发明实施例的候选矢量可靠性确定处理示例(第一示例)的流程图；

图10A和10B是例示了根据图9的处理示例的可靠性确定处理的概要的说明图；

图11是例示了根据本发明实施例的候选矢量可靠性确定处理示例(第二示例：在两个层上执行处理的示例)的流程图；

图12A和12B是例示了根据图11的处理示例的可靠性确定处理的概要的说明图；

图13是例示了根据本发明实施例的上层和下层的示例的说明图；

图14是例示了根据本发明实施例的对下层的处理示例的说明图；

图15是例示了根据本发明实施例的对上层的处理示例的说明图；

图16是例示了根据本发明实施例的评估值表的示例的说明图；

图17是按频率顺序示出了根据本发明实施例的示例从评估值表提取的候选矢量的说明图；

图18是示出了根据本发明实施例的示例的候选矢量在下层上的评估结果的示例的说明图；

图19是示出了根据本发明实施例的示例的候选矢量在上层上的评估结果的示例的说明图；

图20是示出了根据本发明实施例的示例的候选矢量在上层和下层上的评估结果的示例的说明图；

图21是例示了根据本发明实施例的示例的运动矢量确定处理的结构示例的框图；

图22是例示了根据图21的示例的处理的流程图；

图23是例示了根据图21的示例的运动矢量确定处理的状态示例的说明图；

图24是例示了根据现有技术的评估值表数据生成处理的结构示例的框图；

图25A和25B是例示了根据现有技术的评估值表数据生成处理的示例的概要的说明图；以及

图26是例示了根据现有技术的评估值表数据生成处理的另一结构示例的框图。

具体实施方式

参照图1到23，将按以下顺序描述本发明的实施例的示例：1、用于检测运动矢量的总体结构的概要(图1)；2、用于检测运动矢量的总体处理的概要(图2、图6A和6B)；3、用于生成选择的像素数据的结构示例(图3、图6A到8)；4、运动矢量提取单元的结构示例(图4)；5、用于生成选择的像素数据的处理示例(图5)；6、用于评估评估值表数据的可靠性的处理示例(仅使用下层的示例)(图9)；7、用于评估评估值表数据的可靠性的原理的描述(图10A和10B)；8、用于评估评估值表数据的可靠性的处理示例(使用下层和上层的示例)(图11)；9、用于评估评估值表数据的可靠性的原理的描述(使用下层和上层的示例)(图12A到13)；10、对下层和上层的描述(图14和15)；11、评估值表和评估结果的示例(图16到20)；12、运动矢量确定单元的结构和操作的示例(图21到23)；13、实施例的变型例的描述。

用于检测运动矢量的总体结构的概要：本实施例是从运动图像数据检测运动矢量的运动矢量检测装置。运动矢量检测装置的检测处理包括：基于像素值相关度信息创建评估值表、对评估值表的数据的积分、以及确定运动矢量。在以下描述中，将存储运动矢量的评估值信息的表称为评估值表。然而，不一定要将评估值表配置成以表的格式存储的信息。因此，只要评估值表构成表示运动矢量的评估值的信息就足够了。例如，可以将评估值配置成直方图格式的信息，并且可以存储直方图格式的评估值信息。

图1是例示了运动矢量检测装置的总体结构的图。将在图像信号输入端子11处获得的图像信号提供给评估值表创建单元12，以创建评估值表。该图像信号例如是数字视频信号，从该数字视频信号获得各帧中的各像素的各个亮度值。评估值表创建单元12创建与搜索区相同大小的评估值表。

将由评估值表创建单元12创建的评估值表数据提供给运动矢量提取单元13。运动矢量提取单元13从评估值表提取多个运动矢量作为候选矢量。基于评估值表中出现的峰值，运动矢量提取单元13提取多个候选矢量。稍后将描述提取多个候选矢量的处理的详情。将在运动矢量提取单元13处提取的多个候选矢量提供给运动矢量确定单元14。

根据区域匹配等，运动矢量确定单元14针对整个画面中的每个像素，确定由于在运动矢量提取单元13处提取的多个候选矢量而彼此相关联的帧的像素之间的相关度。然后，运动矢量确定单元14将连接具有最高相关度的像素或块的候选矢量设定为与这些像素相对应的运动矢量。在控制单元(控制器)16的控制下，执行用于获得运动矢量的以上处理。

从运动矢量输出端子15输出所设定的运动矢量的数据。在该处理中，根据情况，可以将运动矢量的数据加入输入端子11处获得的图像信号以与图像信号一起输出。所输出的运动矢量用于例如图像数据的高效编码。另选地，可以将所输出的运动矢量用于在由电视机的图像显示中执行的图像质量提高处理中。另选地，可以将通过本示例的处理检测到的运动矢量用于其它图像处理。

用于检测运动矢量的总体处理的概要：图2的流程图例示了直至确定运动矢量的处理的示例。首先，从输入图像信号创建评估值表(步骤S11)，然后从所创建的评估值表提取多个候选矢量(步骤S12)。然后，在多个提取的候选矢量中确定具有最高相关度的运动矢量(步骤S13)。在每个帧中执行图2的流程图的处理。到目前为止的处理具有与使用评估值表的运动矢量检测结构相同的结构。

在本实施例中，评估值表创建单元12的评估值表创建处理由图3例示的结构来执行。这里，目标点是指充当用于确定运动矢量的基准的点(基准点)的像素位置(目标像素)。参考点是指具有作为从目标点起的运动的目的地的可能性的点的像素位置(参考像素)。参考点对应于包括目标点的帧的下一帧或前一帧中的目标点的像素位置附近(即在搜索区中)的像素。在以下描述中，在特定上下文中，将目标点和参考点分别称为目标像素和参考像素。目标像素是指位于目标点处的像素，参考像素是指位于参考点处的像素。

在描述图3的结构之前，将参照图6A描述目标点与参考点之间的关系。如图6A所例示，在前一帧F10(其为当前时间的帧(当前帧)F11之前一帧的图像数据)中，将充当用于确定运动矢量的基准的像素位置确定为目标点d10。在已经确定了目标点d10之后，在当前帧F11中设定目标点d10的像素位置周围的预定范围内的搜索区SA。在已经设定了搜索区SA之后，针对搜索区SA中的作为参考点d11的每个像素计算评估值。在图6A中，出于描述的方便起见，仅例示了一个目标点。然而，实际上，顺序地将一个帧中的所有像素或多个代表像素设定为目标点，并且将针对每个目标点设定的搜索区SA中的每个像素确定为参考点。

用于生成选择的像素数据的结构示例：利用如图6A中所示设定的目标点和参考点，通过图3的结构来生成评估值表的数据。

在图3中的示例的结构中，将在输入端子11处获得的图像信号提供给评估值表创建单元12中的相关度算术运算单元20。相关度算术运算单元20包括参考点存储器21、目标点存储器22以及绝对值计算单元23。从输入端子11处获得的图像信号中，将帧中的用作参考点的像素值存储在参考点存储器21中。然后，在下一帧周期中执行将参考点存储器21中存储的帧的信号传送到目标点存储器22的处理。在本示例中，参考点包括在当前帧之前的一个帧的信号中。

然后，将目标点存储器22中存储的目标点的像素值和参考点存储器21中存储的参考点的像素值提供给绝对值计算单元23，以检测这两个信号之差的绝对值。此处的差是指图像信号之间的亮度值的差。将检测到的差的绝对值的数据提供给相关度确定单元30。相关度确定单元30包括用于将所述差与设定的阈值进行比较并且获得评估值的比较单元31。该评估值例如是当差等于或小于阈值时表示高相关度而当差超过阈值时表示低相关度的二元值。

将在相关度确定单元30处获得的评估值提供给像素选择单元40。像素选择单元40包括用于选择从相关度确定单元30输出的二元值的门单元41。作为用于控制门单元41的结构，像素选择单元40包括空间倾斜度模式计算单元42、模式比较单元43以及空间倾斜度模式存储器44。

空间倾斜度模式计算单元42计算目标像素与相邻于目标像素的8个周边像素中的每一个之间的空间倾斜度的状态，以及计算参考像素与相邻于参考像素的8个周边像素中的每一个之间的空间倾斜度的状态。基于目标像素和参考像素中的每一个与在包括该像素的帧中相邻于该像素的周边像素中的每一个之间的比较，来确定目标像素的空间倾斜度的状态和参考像素的空间倾斜度的状态。

图6A和6B是例示了空间倾斜度模式的确定的示例的图。如前所述，在两个相邻帧F10和F11中分别设定了目标点和参考点之后，在各帧中确定该点处的像素(目标点处的像素或参考点处的像素)的亮度值和8个周边像素的亮度值。

图7A到7D是例示了将中央的目标像素或参考像素的亮度值与周边像素的亮度值进行比较以确定空间倾斜度码的原理的图。

即，当确定了目标点处的像素时，如图7A所例示，将相邻于目标点的8个像素确定为相邻像素。然后，当将目标点设定为基准时，将目标点的像素值与各相邻点的像素值进行比较，以确定这两个像素的像素值(亮度值)之差是在预定范围内、在正方向上超过预定范围、还是在负方向上超过预定范围。

图7B例示了作为基准的目标点与相邻像素之差在预定范围内的示例。在此情况下，确定在目标点与相邻像素之间不存在空间倾斜度，并设定空间倾斜度0。空间倾斜度0表示在目标点与相邻像素之间几乎不存在空间倾斜度的状态。如果减小用于确定图7B到7D中例示的差的预定范围，则会减小被确定为不存在空间倾斜度的差的容限值。同时，如果增大所述预定范围，则会增大被确定为不存在空间倾斜度的差的容限值。

图7C例示了相邻像素的值大于作为基准的目标点的值，因此它们之间的差在正方向上超过预定范围的示例。在此情况下，确定在目标点与相邻像素之间存在空间倾斜度，并设定差值码+。

图7D例示了相邻像素的值小于作为基准的目标点的值，因此它们之间的差在负方向上超过预定范围的示例。在此情况下，确定在目标点与相邻像素之间存在空间倾斜度，并设定差值码-。

在图7A到7D中，已经对确定目标点的空间倾斜度码的处理进行了描述。该描述也适用于参考点的情况。在参考点的情况下，图7A到7D中设定的基准改变成参考点处的像素值，并且相邻像素的值对应于相邻于参考点的像素的值。

在本实施例中，基于通过图7A到7D中例示的处理而获得的、中央的目标像素或参考像素与其8个周边像素中的每一个之间的空间倾斜度的空间倾斜度码，来确定空间倾斜度模式。具体来说，如果目标像素或参考像素与8个周边像素之间的空间倾斜度的空间倾斜度码全部是空间倾斜度0，则确定该目标像素或参考像素在亮度上与周边像素几乎没有差异，即，没有空间倾斜度。此外，如果目标像素或参考像素具有沿任何方向的+或-的空间倾斜度，则根据表现出+或-的空间倾斜度的空间倾斜度模式，确定该目标像素或参考像素具有空间倾斜度。

图8是例示了空间倾斜度模式的示例的图。在图8的左侧例示了一个帧中的9像素模式P，在图8的右侧例示了该9像素模式P的放大视图。图8例示了目标点(目标像素)d10及其8个周边像素的示例，其中中央的目标点d10与8个周边像素之间的空间倾斜度的空间倾斜度码全为+或-。

图8的模式例示了一个示例。因此，根据目标点与8个周边像素之间的空间倾斜度码的组合，可以设定多种空间倾斜度模式。

回到对图3的结构的描述，像素选择单元40的空间倾斜度模式计算单元42计算一个帧中的每个点(目标像素或参考像素)的空间倾斜度模式。将该计算的结果发送到模式比较单元43，然后执行比较以确定计算出的空间倾斜度模式与用于像素选择的空间倾斜度模式是否匹配。为了执行该比较，将用于像素选择的模式的数据从空间倾斜度模式存储器44发送到模式比较单元43。

例如，如果将具有如图8所示的空间倾斜度模式的像素设定为要选择的像素，则模式比较单元43接收从空间倾斜度模式存储器44发送的图8的模式的数据，并且执行比较以确定所接收到的模式是否与计算出的空间倾斜度模式相匹配。尽管最优选的是通过利用目标点和参考点这两者来执行比较，但是也可以利用目标点和参考点中的任一个来执行比较。

如果通过在模式比较单元43处进行的比较而确定计算出的空间倾斜度模式与被确定为具有空间倾斜度的模式相匹配，则向门单元41发送选择对应的像素的指令。发送该指令的数据是所选像素数据。

当接收到根据所选像素数据来选择像素的指令时，门单元41使与对应的目标点和参考点相关的评估值通过。

将通过像素选择单元40的门单元41的评估值提供给评估值表计算单元50。在评估值表计算单元50中，评估值积分单元51对评估值进行积分，并将积分结果存储在评估值表存储器52中。将如此获得的存储在评估值表存储器52中的数据作为评估值表数据从输出端子12a提供到位于后级的电路(图1中的运动矢量提取单元13)。

此外，将本实施例被配置成将提供到门单元41的所选像素数据从输出端子12a提供到运动矢量提取单元13。

运动矢量提取单元的结构示例：图4是例示了图1的运动矢量提取单元13的结构示例的图。在运动矢量提取单元13中，向输入端子13a提供了评估值表数据、所选像素数据以及图像数据。

将评估值表数据从图3的评估值表计算单元50提供到评估值表数据转换单元61。

所选像素数据是从图3的像素选择单元40的门单元41提供的，并表示由门单元41选择的目标点的像素位置。将目标点的所选像素数据提供到所选像素数据存储器73以存储在其中，直到对应的帧中的处理完成。

所述图像数据是正被处理的每个帧的图像数据，并被提供给帧存储器74以存储在其中，直到对应的帧中的处理完成。

评估值表数据转换单元61将所提供的评估值表数据转换成诸如频率值或微分值的数据。转换后的数据经受频率顺序排序处理单元62的处理，使得按频率的顺序在一个帧中对候选矢量进行重排。将按频率的顺序重排后的候选矢量的评估值表数据提供给候选矢量可靠性确定单元70。

在候选矢量可靠性确定单元70中，将按频率的顺序重排后的评估值表数据提供给候选矢量可靠性评估单元71。候选矢量可靠性评估单元71对由所选像素数据存储器73中存储的目标点的所选像素数据表示的相应所选像素的位置处的候选矢量的可靠性进行评估。将该评估的结果提供给候选矢量可靠性确定单元72，以生成候选矢量的可靠性数据。然后，将候选矢量的可靠性数据从输出端子13b提供到位于后级的处理单元(图1中的运动矢量确定单元14)。

用于生成所选像素数据的处理示例：随后，将对通过图3和4的结构生成所选像素数据并通过利用生成的所选像素数据执行可靠性评估的处理示例进行描述。

参照图5的流程图，将首先描述确定要选择的像素的处理。通过图3的结构来执行确定要选择的像素的处理。

参照图5，通过图3中例示的结构的处理对应于通过利用目标点和参考点的空间倾斜度模式来选择评估值的处理。在下面的流程图中，将主要描述像素选择单元40的处理。

图5的流程图例示了使用图8中例示的空间倾斜度模式的示例，即，包括中央的一个像素以及8个相邻像素的9像素模式的示例，其中中央的目标点或参考点与8个相邻像素之间的关系全部由除0以外的码(即，码+或-)表示。

首先，空间倾斜度模式计算单元42从根据目标点与各相邻像素之间的差的空间倾斜度模式计算空间倾斜度码。类似地，空间倾斜度模式计算单元42还从根据参考点与各相邻像素之间的差的空间倾斜度模式计算空间倾斜度码。由此，获得空间倾斜度模式(步骤S21)。

然后，确定所获得的空间倾斜度模式与空间倾斜度模式存储器44中先前准备的空间倾斜度模式是否匹配(步骤S22)。如果通过该确定确认了与所准备的空间倾斜度模式相匹配，则确定目标点处的像素与参考点处的像素之间的亮度值差是否等于或小于预定阈值，由此确定目标点与参考点是否相同(步骤S23)。

在该步骤中，如果确定了目标点与参考点相同，则使对应的评估值通过门单元41并积分在评估值表中(步骤S24)。然后，存储将目标点指示为所选像素的信息(步骤S25)。

此外，如果在步骤S22处这两个空间倾斜度模式彼此不匹配，以及如果在步骤S23处目标点与参考点之差超过阈值，则阻止评估值通过门单元41，以禁止将评估值写入评估值表中(步骤S26)。

用于评估评估值表数据的可靠性的处理示例：随后，参照图9的流程图，将描述对评估值表中的如此获得的评估值进行评估的处理示例。对评估值表中的评估值进行评估的处理由图4所例示的运动矢量提取单元13来执行。

首先，候选矢量可靠性评估单元71从频率顺序排序处理单元62读取候选矢量(步骤S31)。这些候选矢量是从由频率顺序排序处理单元62按频率的顺序排序后的候选矢量中提取的，并且是一个帧中的预定数量的最频繁候选矢量。在此情况下，例如，从一个帧中的候选矢量中按频率的降序提取前20个候选矢量。

然后，对于由从所选像素数据存储器73提供的所选像素数据表示的目标点处的所选像素，候选矢量可靠性评估单元71设定以各目标像素为中心的预定区域。然后，对于目标像素，将参考点设定为由在步骤S31提取的相应候选矢量表示的候选运动目的地。例如，如果如上所述提取了前20个候选矢量，则针对一个目标点处的所选像素设定20个参考像素。

在设定了多个参考像素之后，设定以各参考像素为中心的预定区域。该区域的大小与以目标像素为中心而设定的区域的大小相同。

然后，从帧存储器74获取以所选目标像素为中心的区域的像素值和以相应参考像素为中心的区域的像素值(步骤S32)。

在获取了各区域的像素值之后，获取以目标像素为中心的区域中的各像素的像素值与以各参考像素为中心的各区域中的各像素的像素值之间的差，并针对各区域计算这些差的绝对值之和(步骤S33)。基于以上计算，在从所选目标像素延伸的候选矢量中，将具有最小差值绝对值和的参考像素的候选矢量确定为高度可靠的，并将可靠性计数值增加+1(步骤S34)。

然后，针对一个帧中的所有所选目标像素执行类似的候选矢量可靠性评估，由此确定候选矢量的相应可靠性(步骤S35)。

用于评估评估值表数据的可靠性的原理的描述：随后，参照图10A和10B，将描述通过图4的结构和图9的流程图的处理来执行的评估评估值表数据的可靠性的处理中的可靠性确定的原理。在以上描述中，按频率的降序提取20个矢量作为候选矢量。这里，为了简化描述，假设已经按频率的降序提取了3个候选矢量。

首先，如果前一帧F10包括所选目标点d10，如图10A所例示，则在目标点d10周围分配作为候选运动的3个候选矢量。通过候选矢量的分配，在当前帧F11中获得了3个参考点d11、d12以及d13作为由候选矢量表示的候选运动目的地。

在此情况下，在图9中的流程图的步骤S32处，在前一帧F10中设定以目标点d10为中心的区域a10，如图10B所示。此外，在当前帧F11中设定分别以参考点d11、d12以及d13为中心的区域a11、a12以及a13。

各区域a11、a12以及a13的大小相等。例如，每个区域包括垂直方向上8个像素乘以水平方向上16个像素，即，包括128个像素。

然后，在图9中的流程图的步骤S33中，将目标点周围的区域a10中的各像素的像素值与各参考点周围的各区域a11、a12以及a13中的各像素的像素值进行比较。由此，获得它们之间的差值。将通过比较获得的各像素位置处的差值转换成相应的绝对值，并在各区域中相加，从而获得差值绝对值和。具体来说，如图10B所示，获得区域a10中的各像素与区域a11中的各像素之间的差值，并在区域中将差值的绝对值相加以获得差值绝对值和Δα1。此外，获得区域a10中的各像素与区域a12中的各像素之间的差值，并在区域中将差值的绝对值相加以获得差值绝对值和Δβ1。此外，获得区域a10中的各像素与区域a13中的各像素之间的差值，并在区域中将差值的绝对值相加以获得差值绝对值和Δγ1。

然后，将差值绝对值和Δα1、Δβ1以及Δγ1相互比较，并将最小的差值绝对值和确定为高度可靠的。在图10B的示例中，假设差值绝对值和Δα1最小。在此情况下，将连接目标点d10与参考点d11的运动矢量确定为目标点d10的候选矢量中的最可靠候选矢量。在确定了目标点d10的最可靠候选矢量之后，对于在图9中的流程图的步骤S31处提取的候选矢量之中被确定为高度可靠的候选矢量，将表示评估值的计数值增加+1。该处理对应于图9中的流程图的步骤S34。

然后，针对一个帧中的所有所选目标像素，执行以上述方式计算可靠性的处理。然后，利用最终获得的表示评估值的计数值，确定图9中的流程图的步骤S31处提取的多个候选矢量的相应可靠性。

用于评估评估值表数据的可靠性的处理示例(使用下层和上层的示例)：在图9到10B的示例中，针对一个目标点和由从该目标点延伸的候选矢量指示的参考点中的每一个设定一个区域，使得该区域以所述点为中心，并且确定该区域中的像素的差值绝对值和。另选地，可以针对目标点和参考点中的每一个设定多个区域。这里，参照图11到12B，将描述在上层和下层上执行区域设定的示例，作为设定多个区域的示例。

首先，参照图11的流程图，将描述在上层和下层这两个层上评估所选目标像素的候选矢量的处理示例。评估候选矢量的处理由图4中例示的运动矢量提取单元13来执行。

参照图11，候选矢量可靠性评估单元71从频率顺序排序处理单元62读取候选矢量(步骤S41)。这些候选矢量是从由频率顺序排序处理单元62按频率的顺序排序的候选矢量中提取的，并且是一个帧中的预定数量的最频繁候选矢量。在此情况下，例如，从一个帧的候选矢量中按频率的降序提取前20个候选矢量。然后，并行执行对下层的处理和对上层的处理。

为了执行对下层的处理，本过程进行到步骤S42。对于由从所选像素数据存储器73提供的所选像素数据表示的目标点处的所选像素，候选矢量可靠性评估单元71设定以各目标像素为中心的下层上的预定区域。然后，对于目标像素，将参考点设定为由步骤S41处提取的各候选矢量指示的候选运动目的地。例如，如果如上所述提取了前20个候选矢量，则针对一个目标点处的所选像素设定20个参考像素。

在设定了多个参考像素之后，将下层上的预定区域设定为以各参考像素为中心。以各参考像素为中心的下层上的区域的大小与被设定为以目标像素为中心的下层上的区域的大小相同。

然后，从帧存储器74获取以所选目标像素为中心的下层上的区域的像素值和以各参考像素为中心的下层上的区域的像素值(步骤S42)。在该示例中，下层上的各区域例如包括垂直方向上8像素乘以水平方向上16像素，即，128像素。

在获取了各区域的像素值之后，获取以目标像素为中心的区域中的各像素的像素值与以各参考像素为中心的各区域中的各像素的像素值之间的差值，并针对各区域计算差值的绝对值的和(步骤S43)。基于以上计算，在从所选目标像素延伸的候选矢量中，将具有最小差值绝对值和的参考像素的候选矢量确定为下层上的高度可靠的矢量，并将可靠性计数值增加+1(步骤S44)。

同时，为了执行对上层的处理，本过程进行到步骤S45。对于由从所选像素数据存储器73提供的所选像素数据指示的目标点处的所选像素，候选矢量可靠性评估单元71设定以各目标像素为中心的上层上的预定区域。此外，同样对于位于与下层上的参考点相同的位置处的各参考点，将上层上的预定区域设定为以参考像素为中心。以参考像素为中心的上层上的区域的大小与被设定为以目标像素为中心的上层上的区域的大小相同。在本示例中，上层上的各区域例如包括垂直方向上24像素乘以水平方向上48像素，即，1152像素。然而，在上层上，将像素分组成多个块，每个块构成垂直方向上3个像素乘以水平方向上3个像素的单元，并针对每个块计算平均像素值。

然后，获得以目标像素为中心的区域中的块的平均像素值与以各参考像素为中心的各区域中的块的平均像素值之间的差值，并针对各区域计算差值的绝对值的和(步骤S46)。基于以上计算，在从所选目标像素延伸的候选矢量中，将具有最小差值绝对值和的参考像素的候选矢量确定为在上层上高度可靠的，并将可靠性计数值增加+1(步骤S47)。

然后，对于一个帧中的所有所选目标像素，执行类似的下层的候选矢量的可靠性评估和上层的候选矢量的可靠性评估。然后，确定候选矢量的相应可靠性(步骤S48)。

用于评估评估值表数据的可靠性的原理的描述(使用下层和上层的示例)：随后，参照图12A和12B，将描述在由图11的流程图的处理执行的通过使用下层和上层评估评估值表数据的可靠性的处理中的可靠性确定的原理。为了简化描述，还是假设在本示例中已经按频率的降序提取了3个候选矢量。在图12A和12B中，对下层的处理与图10A和10B中描述的处理完全相同。

首先，如果前一帧F10包括所选目标点d10，如图12A所例示，则在目标点d10周围分配作为候选运动的3个候选矢量。通过候选矢量的分配，在当前帧F11中获得了3个参考点d11、d12以及d13作为由候选矢量指示的候选运动目的地。图12A的状态与图10A的状态相同。

然后，在图11中的流程图的步骤S42处执行的对下层的处理中，在前一帧F10中设定以目标点d10为中心的下层上的区域a10，如图12B所例示。此外，在当前帧F11中设定分别以参考点d11、d12以及d13为中心的下层上的区域a11、a12以及a13。

下层上的各区域a10、a11、a12以及a13的大小相等。例如，各区域包括垂直方向上8个像素乘以水平方向上16个像素，即128个像素。

在图11中的流程图的步骤S45处执行的对上层的处理中，在前一帧F10中设定以目标点d10为中心的上层上的区域A10，如图12B所例示。此外，在当前帧F11中设定分别以参考点d11、d12以及d13为中心的上层上的区域A11、A12以及A13。

在上层上，将像素分组成多个块，如图13所例示。即，如图13的(a)中例示，在设定目标点d10或参考点d11周围的区域时，将块B0、B1、B2、B3、B4等设定为9像素单元，每个9像素单元包括垂直方向上的3个像素乘以水平方向上的3个像素。对每个块中的9个像素的像素值(亮度值)进行平均。由此，每个块具有平均像素值。

然后，如图15所例示，准备垂直方向上的8个块乘以水平方向上的16个块，即，128个块。计算这128个块的平均像素值的差值绝对值和。

各区域A10、A11、A12和A13的大小相等，并且分别大于下层上的区域a10、a11、a12以及a13。例如，每个区域包括垂直方向上的24个像素乘以水平方向上的48个像素，即，1152个像素。

回到对图12B的描述，在图11中的流程图的步骤S43处执行的对下层的处理中，将目标点周围的区域a10中的各像素的像素值与各参考点周围的区域a11、a12以及a13中的每一个中的各像素的像素值进行比较。由此，获得它们之间的差值。将通过该比较获得的各像素位置处的差值转换成相应的绝对值，并在各区域中相加，从而获得差值绝对值和。具体来说，如图10B所例示，获得区域a10中的各像素与区域a11中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得下层上的差值绝对值和Δα1。此外，获得区域a10中的各像素与区域a12中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得下层上的差值绝对值和Δβ1。此外，获得区域a10中的各像素与区域a13中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得下层上的差值绝对值和Δγ1。

类似地，在图11中的流程图的步骤S46处执行的对上层的处理中，将目标点周围的区域A10中的各像素的像素值与各参考点周围的区域A11、A12以及A13中的每一个中的各像素的像素值进行比较。由此，获得它们之间的差值。将通过该比较获得的各像素位置处的差值转换成相应的绝对值，并在各区域中相加，从而获得差值绝对值和。具体来说，如图12B所例示，获得区域A10中的各像素与区域A11中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得上层上的差值绝对值和Δα2。此外，获得区域A10中的各像素与区域A12中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得上层上的差值绝对值和Δβ2。此外，获得区域A10中的各像素与区域A13中的各像素之间的差值，并在区域中将差值的绝对值相加，以获得上层上的差值绝对值和Δγ2。

然后，将下层上的差值绝对值和Δα1、Δβ1和Δγ1相互比较，并将最小的差值绝对值和确定为在下层上高度可靠的。在图12B的示例中，假设在下层上差值绝对值和Δα1是最小的。在此情况下，在对下层的确定处理中，将连接目标点d10与参考点d11的运动矢量确定为在此情况下选择的目标点d10的候选矢量中的最可靠候选矢量。

在确定了在下层上目标点d10的最可靠候选矢量之后，对于在图11中的流程图的步骤S41处获得的候选矢量中被确定为高度可靠的候选矢量，将表示下层上的评估值的计数值增加+1。该处理对应于图11中的流程图的步骤S44。

类似地，将上层上的差值绝对值和Δα2、Δβ2和Δγ2相互比较，并将最小的差值绝对值和确定为在上层上高度可靠的。在图12B的示例中，假设在上层上差值绝对值和Δα2是最小的。在此情况下，在对上层的确定处理中，将连接目标点d10与参考点d11的运动矢量确定为在此情况下选择的目标点d10的候选矢量中的最可靠候选矢量。

在确定了在上层上目标点d10的最可靠候选矢量之后，对于在图11中的流程图的步骤S41处获得的候选矢量中被确定为高度可靠的候选矢量，将表示上层上的评估值的计数值增加+1。该处理对应于图11中的流程图的步骤S47。

然后，针对一个帧中的所有所选目标像素，执行以上述方式计算可靠性的处理。然后，利用最终获得的表示评估值的计数值，确定图11中的流程图的步骤S41处提取的多个候选矢量的各自的可靠性。

在图12A和12B的示例中，在对下层的处理中被确定为最可靠的候选矢量与在对上层的处理中被确定为最可靠的候选矢量是同一矢量。然而，在上层与下层之间，被确定为最可靠的候选矢量不一定相同。

利用以上述方式获得的下层上的候选矢量的可靠性的评估值(计数值)和上层上的候选矢量的可靠性的评估值(计数值)，在一个帧的整个画面中的候选矢量之中确定高度可靠的候选矢量。

在图11的流程图中，描述了对下层和上层都执行处理的示例。然而，可以仅设定上层上的区域，以基于在上层上获得的块的平均像素值的差值绝对值和来评估候选矢量的可靠性。

对下层和上层的描述：在图14和15中分别例示了对图12A和12B中例示的候选矢量的可靠性进行评估的处理示例，分别作为对下层的处理和对上层的处理。

即，在下层上，如图14所例示，设定了区域a10、a11、a12等，每个区域包括8个像素乘以16个像素，并且分别以所选目标像素d10和由从目标像素d10延伸的候选矢量指示的参考像素d11、d12以及d13为中心。然后，获得各区域中的像素的差值绝对值和，并进行相互比较。

在上层上，如图15所例示，设定了区域A10、A11、A12等，每个区域包括24个像素乘以48个像素，并且分别以目标像素d10和由从目标像素d10延伸的候选矢量指示的参考像素d11、d12以及d13为中心，并且这些像素被分组成每个均包括3个像素乘以3个像素的多个块单元。然后，获得各区域中的块的平均值的差值绝对值和，并进行相互比较。

以上述方式，针对评估值表中所示的每个候选运动矢量，获得表示可靠性的计数值，并且基于表示候选矢量的相应可靠性的计数值来缩减候选矢量。

评估值表和评估结果的示例：这里，参照图16到20，将描述通过评估值表获得的候选矢量和评估结果的示例。

首先，图16例示了针对一个帧的整个画面检测到的评估值表的示例。图16的示例例示了整个画面在一个方向上运动的状态。该示例例示了在一个帧的整个画面中发生了表示为水平方向(Vx)为-3(即，3个像素的运动)且垂直方向(Vy)为0(即，没有运动)的运动的情况。

在该示例中，评估值表数据在位置(-3，0)处具有峰值，这是正确的运动矢量位置。然而，在其它矢量位置处也留有一定数量的运动矢量作为候选运动矢量。

图17示出了从图16所例示的状态下的评估值表中的运动矢量中按频率计数值的顺序提取的候选矢量。在图17的示例中，按频率的降序提取前20个候选矢量，并按频率的降序为其分配编号(id)0，1，2，...，和19。

图18示出了基于对与所选目标像素相关的下层上的区域中的差值绝对值和的确定而对图17中的20个最频繁候选矢量进行高可靠性计数得到的数值。在对下层的处理中，具有1以上的计数值的候选矢量中的最低频候选矢量是id9。然而，在比id9频率更高的候选矢量id4和id6中，计数值为0。比id9频率低的候选矢量都具有计数值0，即，这些候选矢量被确定为在任何所选像素中不是高度可靠的。

在本示例中，选择位于10个坐标位置处的按频率的顺序的前10个候选矢量id0到id9作为最终候选矢量。将如此选择的候选矢量的数据发送到图1中例示的运动矢量确定单元14，以确定最终运动矢量。

在图18的示例中，仅对下层执行确定。这样，该示例对应于图9中的流程图的处理的结果。

图19示出了基于对与所选目标像素相关的上层上的区域中的差值绝对值和的确定而对图17中的20个最频繁候选矢量进行高可靠性计数得到的数值。在对上层的处理中，位于3个坐标位置处的候选矢量id0、id3和id7具有计数值。在所有其它候选矢量中，计数值为0，即，其它候选矢量被确定为在任何所选像素中不是高度可靠的。

因此，在本示例中，选择位于3个坐标位置处的候选矢量id0、id3和id7作为最终候选矢量。将如此选择的候选矢量的数据发送到图1中例示的运动矢量确定单元14，以确定最终运动矢量。

在图19的示例中，仅对上层执行确定。这样，该示例对应于图11中的流程图的一些处理(步骤S41、S45、S46、S47和S48处的处理)的结果。

图20示出了基于下层上的确定的高可靠性计数而得到的数值和基于上层上的确定的高可靠性计数而得到的数值，即，图18和19的组合。图20的示例对应于图11中的流程图的处理的结果。

对图20所示的候选矢量的各计数值进行评估，并提取预定数量的具有计数值的最频繁候选矢量作为候选矢量，并将其发送到运动矢量确定单元14。

选择仅对下层进行确定、仅对上层进行确定以及对上层和下层这两层进行确定中的哪一个优选地根据实际图像的状态而变化。即，在具有相对小的运动的图像的情况下，可以通过仅使用下层来合适地评估候选矢量的可靠性，从而缩减候选矢量。此外，在具有相对大的运动的图像的情况下，可以通过仅使用上层来合适地评估候选矢量的可靠性，从而缩减候选矢量。

此外，通过组合使用下层和上层，可以处理相对小的运动和相对大的运动。然而，在组合使用下层和上层时，应当执行一些处理以基于在这两个层上获得的两种类型的计数值来确定候选矢量的最终范围。

通过如上所述地配置的本实施例的处理，可以对通过所选像素数据缩减的评估值表的数据执行可靠性评估，并且可以合适地执行确定最终运动矢量的处理。具体来说，确定一个帧的图像中的运动矢量的最终数量以在一定程度上反映基于评估的计数值而被确定为高度可靠的矢量的数量。因此，当一个图像包括多个运动时，可以合适地执行运动矢量检测。与将一个帧中的运动矢量的数量限制性地确定为按经验得到的常数值的现有技术示例相比，本实施例能够根据实际图像的状态自适应地设定运动矢量的数量，并且特别地能够执行适合于具有很多运动变化的图像的运动矢量检测。

运动矢量确定单元的结构和操作的示例：随后，参照图21到23，将描述图1的结构中例示的运动矢量检测装置中的运动矢量确定单元14的结构和操作的示例。

图21例示了图1的运动矢量确定单元14的结构示例。运动矢量确定单元14执行如下处理：对一个帧中的每个像素分配从位于前级的运动矢量提取单元13提供的多个候选矢量中的一个。

在本示例中，当将每个像素位置设定为目标点时，在该目标点周围设定作为由预定数量的像素形成的区域的固定块，以确定运动矢量。

参照图21，将对该结构进行描述。向运动矢量确定单元14的输入端子14a提供候选运动矢量的数据和与候选矢量对应的图像信号。将该图像信号提供给充当帧存储器的参考点存储器211，并将一帧的图像信号存储在其中。然后，在每个帧周期中将存储在参考点存储器211中的图像信号传送到目标点存储器212。因此，存储在参考点存储器211中的图像信号和存储在目标点存储器212中的图像信号通常彼此错开一个帧周期。

然后，数据读取单元213从存储在目标点存储器212中的图像信号读取以目标点为中心的预定大小的固定块的像素信号。类似地，数据读取单元213从存储在参考点存储器211中的图像信号读取以各参考点为中心的预定大小的固定块的像素信号。由数据读取单元213基于从运动矢量提取单元13(图1)提供的候选矢量的数据对由数据读取单元213读取的目标点和参考点(目标像素和参考像素)的像素位置进行确定。即，如果例如存在10个候选矢量，则将10个参考点确定为从目标点延伸的10个候选矢量的目的地。

然后，将已由数据读取单元213读取的、以目标点为中心的固定区域的像素信号和以各参考点为中心的固定区域的像素信号提供给评估值计算单元214，以检测这两个固定区域的像素信号之间的差值。按此方式，评估值计算单元214确定通过候选矢量连接到当前被评估的目标点的所有参考点的固定区域的像素信号，并将这些像素信号与以目标点为中心的固定区域的像素信号进行比较。

然后，基于该比较的结果，评估值计算单元214选择具有一固定区域的参考点，该固定区域最接近于以目标点为中心的固定区域的像素信号。

将连接所选参考点与目标点的候选矢量的数据发送到矢量确定单元215。矢量确定单元215执行将候选矢量分配为从目标点延伸的运动矢量的确定处理，并从输出端子15输出所确定的候选矢量。

图22的流程图例示了图21的矢量确定(分配)操作的示例。将参照图22按顺序进行描述。首先基于评估值表的数据读取候选矢量(步骤S121)。确定与所读取的候选矢量相对应的目标点的坐标位置，并从目标点存储器212读取由位于该位置(目标像素)处的像素及其周边像素构成的固定块的像素(步骤S122)。此外，确定与所读取的候选矢量相对应的各参考点的坐标位置，并从参考点存储器211读取由位于该位置(参考像素)处的像素及其周边像素构成的固定块的像素(步骤S123)。

然后，计算各固定块中的像素水平(像素值：在此情况下为亮度值)的差值的绝对值和(步骤S124)。至此为止的处理是针对由与当前目标点相对应的所有候选矢量指示的参考点而执行的。

然后，将针对为参考点设定的各固定块计算的差值绝对值和与为目标点设定的固定块的差值绝对值和进行比较，并寻找具有最小差值的参考点。在以上处理中已经确定了具有最小差值的参考点之后，确定将连接所确定的参考点与目标点的候选矢量分配为目标点的运动矢量(步骤S125)。

图23是例示了图21的结构的概要以及图22的流程图的处理的图。

在该示例中，假设帧F10(目标帧)包括目标点d10，并且在帧F10与在时间轴上位于其后的下一帧F11(参考帧)之间存在多个候选矢量V11和V12。帧F11包括通过候选矢量V11和V12分别连接到目标点d10的参考点d11和d12。

在如上假设的图23的状态下，在图22的步骤S122，将包括预定数量的像素的固定块B10固定地设定为以帧F10中的目标点d10为中心，并计算该固定块B10中的像素值的差值的绝对值和。类似地，在图22的步骤S123，将均包括预定数量的像素的固定块B11和B12固定地设定为分别以帧F11中的参考点d11和d12为中心，并分别计算固定块B11和B12中的像素值的差值的相应的绝对值和。

然后，执行比较以确定固定块B11中的差值的绝对值和以及固定块B12中的差值的绝对值和中的哪一个较接近于固定块B10中的差值的绝对值和。例如，如果通过比较确定固定块B11中的差值的绝对值和较接近于固定块B10中的差值的绝对值和，则选择连接固定块B11的中央的参考点d11与目标点d10的候选矢量V11。将所选候选矢量V11分配为目标点d10的运动矢量。

为了简化描述，在假设存在两个候选矢量的情况下进行了图23中的描述。然而，实际上，存在对于一个目标点来说有更大数量的候选矢量的情况。此外，为了简化描述，仅例示了一个目标点。然而，实际上，如上所述，将一个帧中的所有像素或多个代表像素设定为目标点。

利用如此从候选矢量确定要选择的矢量的处理，选择连接其周边像素的状态彼此接近的目标点与参考点的矢量。因此，可以合适地选择被分配给各像素的运动矢量。

实施例的变型例的描述：在上述实施例中，未对选择目标点的处理给出具体描述。例如，可以将这些实施例配置成顺序地选择一个帧中的所有像素作为目标点，并且为每个像素检测运动矢量。另选地，这些实施例可以适用于选择一个帧中的代表像素作为目标点并检测所选像素的运动矢量。

此外，在选择目标点的参考点的处理中，图6A中例示的搜索区SA等是一个示例。因此，也可以选择多种搜索区。

此外，在上述实施例中，在从图18到20所示的候选矢量的评估结果选择最终候选矢量的处理中，范围不包括被确定为可靠的候选矢量，即，排除了包括图18中的连续计数值0等的范围以选择较高的范围。另选地，也可以去除具有除0以外的计数值的候选矢量。例如，在选择了前10个候选矢量的图18的示例中，可以排除具有小计数值(如个位值)的候选矢量。

此外，在上述实施例中例示的各层上的各区域的像素尺寸是一个示例。因此，这些区域可以具有其它尺寸。

此外，使用各区域中的信号来计算该区域中的各像素值的差值的绝对值的和。另选地，可以通过其它算术运算处理来确定这些区域之间的相关度。例如，可以不将区域中的像素值的差值转换成绝对值，而可以将差值直接相加以确定像素值的变化方向。此外，可以通过不使用差值绝对值和的算术运算处理来获得两个区域的相关度值，并且可以基于相关度值的大小来进行确定。

此外，在上述实施例中，已经描述了使用亮度信号作为图像信号的像素值的示例。另选地，可以使用以像素单位获得的其它信号分量，诸如颜色信号和色差信号。

此外，在上述各实施例中，已经描述了被配置成用于从图像信号检测运动矢量的运动矢量检测装置的示例。另选地，可以将运动矢量检测装置并入各种图像处理装置中。例如，可以将运动矢量检测装置并入执行高效编码的编码装置中，由此使用运动矢量数据执行编码。另选地，可以将运动矢量检测装置并入通过使用输入(接收)的图像数据来显示图像的图像显示装置或记录图像的图像记录装置中，由此使用运动矢量数据来提高图像质量。

此外，可以将根据本发明实施例的用于执行运动矢量检测的各构成要素实现为程序。然后，可以将该程序安装在各种信息处理装置中，例如安装在执行各种数据处理的计算机装置中，以在从输入到该信息处理装置的图像信号中检测运动矢量的处理中执行与上述处理类似的处理。

本发明包含与2008年7月30日在日本专利局提交的日本在先专利申请JP 2008-196612中公开的主题有关的主题，通过引用将其全部内容并入于此。

本领域技术人员应当理解，根据设计要求和其它因素，可以想到各种修改、组合、子组合以及变更，只要它们在所附权利要求书或其等同物的范围内。

Claims (10)

1、一种运动矢量检测装置，包括：

评估值信息创建单元，被配置成基于由多个帧构成的运动图像数据中的时间轴上的一个帧中的目标像素与时间轴上的另一帧中的搜索区中的参考像素的像素值相关度信息，创建运动矢量的评估值信息，该评估值信息用于评估所述参考像素是从所述目标像素开始的运动的候选目的地的可能性；

运动矢量提取单元，被配置成基于由所述评估值信息创建单元创建的评估值信息来提取所述运动图像数据的帧中的每个像素的候选运动矢量，针对每个所提取的候选运动矢量，将以所述一个帧中的所述目标像素为中心的预定区域中的像素与以所述另一帧中的所述参考像素为中心的预定区域中的像素进行比较，以检查它们之间的相关度，基于在整个预定区域中执行的比较的结果来评估所述评估值信息的各个候选矢量以检查相关度，以及提取具有高评估值的运动矢量作为候选运动矢量；以及

运动矢量确定单元，被配置成从由所述运动矢量提取单元作为候选运动矢量提取的运动矢量中确定运动矢量。

2、根据权利要求1所述的运动矢量检测装置，

其中所述评估值信息创建单元在基于所述目标点与其各周边像素之间的空间倾斜度状态以及所述参考点与其各周边像素之间的空间倾斜度状态而执行的像素选择的结果的基础上，创建所述评估值信息，并且

其中所述运动矢量提取单元针对通过所述像素选择而选择的像素的每个运动矢量，在以所述一个帧中的所述目标像素为中心的预定区域中的像素与以所述另一帧中的所述参考像素为中心的预定区域中的像素之间执行比较以检查它们之间的相关度，该比较是在整个区域中执行的。

3、根据权利要求2所述的运动矢量检测装置，

其中在由所述运动矢量提取单元执行的用于检查预定区域中的像素之间的相关度的比较中，计算以所述目标像素为中心的预定区域中的像素与以所述参考像素为中心的预定区域的像素之间的差值，并在所述预定区域中将所述差值的绝对值相加以获得差值绝对值和，并且

其中与最小差值绝对值和对应的运动矢量被确定为候选运动矢量。

4、根据权利要求3所述的运动矢量检测装置，

其中包括第一数量的像素并且以所述目标像素或所述参考像素为中心的区域和包括与第一数量不同的第二数量的像素并且以所述目标像素或所述参考像素为中心的区域被设定为所述预定区域，并且

其中基于这两个区域中的差值绝对值和来确定候选运动矢量。

5、根据权利要求4所述的运动矢量检测装置，

其中包括第二数量的像素的所述区域是由块的集合构成的，每个块包括预定数量的像素，并且

其中以块为单位对像素值进行平均以比较块单位的差值绝对值和。

6、根据权利要求3所述的运动矢量检测装置，

其中所述预定区域是由块的集合构成的，每个块包括预定数量的像素，并且

其中以块为单位对像素值进行平均以比较块单位的差值绝对值和。

7、根据权利要求2所述的运动矢量检测装置，

其中所述运动矢量提取单元基于所确定的候选运动矢量的运动方向和运动量对所确定的候选运动矢量进行分类，对分类后的候选运动矢量的数量进行计数，并且将候选运动矢量缩减为按计数数量的降序选择的、预定数量的运动矢量的序列。

8、根据权利要求2所述的运动矢量检测装置，

其中所述运动矢量确定单元将由所述运动矢量提取单元作为候选运动矢量提取的运动矢量分配给一个帧中的所有像素或代表像素，检查包括每个被分配了矢量的像素的位置及其周边的区域与运动目的地区域之间的相关度，并且将与相关度最高的区域对应的运动矢量确定为对应像素的运动矢量。

9、一种运动矢量检测方法，包括以下步骤：

基于由多个帧构成的运动图像数据中的时间轴上的一个帧中的目标像素与时间轴上的另一帧中的搜索区中的参考像素的像素值相关度信息，创建评估值表，该评估值表用于评估所述参考像素是从所述目标像素开始的运动的候选目的地的可能性；

基于所创建的评估值表来提取所述运动图像数据的帧中的每个像素的候选运动矢量；

作为在提取运动矢量的步骤中提取的候选运动矢量的选择操作，执行以下操作：在以所述一个帧中的所述目标像素为中心的预定区域中的像素的差值之和与以所述另一帧中的所述参考像素为中心的预定区域中的像素的差值之和之间进行比较，基于所述比较的结果来评估所述评估值表的各个候选矢量，并将具有高评估值的运动矢量确定为候选运动矢量；以及

从所述具有高评估值的运动矢量中确定运动矢量。

10、一种安装在信息处理装置中以使得所述信息处理装置执行以下处理的程序：

基于由多个帧构成的运动图像数据中的时间轴上的一个帧中的目标像素与时间轴上的另一帧中的搜索区中的参考像素的像素值相关度信息创建评估值表的处理，该评估值表用于评估所述参考像素是从所述目标像素开始的运动的候选目的地的可能性；

基于所创建的评估值表来提取所述运动图像数据的帧中的每个像素的候选运动矢量的处理；

运动矢量评估处理，作为在提取运动矢量的步骤中提取的候选运动矢量的选择操作，执行以下操作：在以所述一个帧中的所述目标像素为中心的预定区域中的像素的差值之和与以所述另一帧中的所述参考像素为中心的预定区域中的像素的差值之和之间进行比较，基于所述比较的结果来评估所述评估值表的各个候选矢量，并将具有高评估值的运动矢量确定为候选运动矢量；以及

运动矢量确定处理，从所述运动矢量评估处理中被确定为候选运动矢量的具有高评估值的运动矢量中确定运动矢量。

Images