CN101166231A - 图像处理设备和方法 - Google Patents

Abstract

提供一种图像处理设备和方法。所述图像处理设备包括：块运动矢量检测装置，用于通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；像素运动矢量计算装置，用于通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；和像素产生装置，用于基于由像素运动矢量计算装置计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

Description

图像处理设备和方法

本申请是申请日为2005年3月29日、申请号为200510059532.3、发明名称为“图像处理设备和方法、记录媒体和程序”的发明专利申请的分案申请。

技术领域

本发明涉及图像处理设备和方法、记录媒体和程序。更具体地，本发明涉及用于在逐个像素的基础上精确地计算运动矢量以及用于根据在基于所计算的运动矢量而产生的像素中出现的误差量来切换产生像素的方法的图像处理设备和方法、记录媒体和程序。

背景技术

用于基于现有图像的像素来产生新像素以转换图像的分辨率或场频率的技术正变得很常见。

在一个用于产生运动图像的像素的已知方法中，使用了运动矢量。运动矢量指示在运动图像等中暂时具有相同像素值的像素的运动的方向和距离。

图1示出了根据现有技术的图像处理设备1的结构，该图像处理设备使用运动矢量来转换扫描行的数量。

图像处理设备1包括图像存储器11-1和11-2、块运动矢量检测器12和图像合成器13。图像处理设备1接收隔行图像信号的输入，转换输入数据的扫描行的数量和输出结果数据，其中所述隔行图像信号是经由从例如电视(TV)调谐器或数字通用光盘(DVD)播放器(未示出)提供的视频源获得的，并由模数(AD)转换器进行了数字化。

图像存储器11-1和11-2的每一个存储与一个场相对应的输入场数据，并且以与一个场相对应的延迟输出该场数据。因此，图像存储器11-1给图像合成器13提供相对于当前场延迟了一场的延迟场数据。图像存储器11-2提供被进一步延迟一场的在前延迟场数据。因此，图像存储器11-2给块运动矢量检测器12和图像合成器13提供总共被延迟了两场的场数据(即，在前延迟场数据)。

块运动矢量检测器12获得当前场数据和从图像存储器11-2提供的在前延迟场数据，基于两个场的这些场数据之间的相关性来检测运动矢量。更具体地，例如，块运动矢量检测器12通过块匹配，在逐个块的基础上检测运动矢量。在块匹配过程中，例如，在当前场中设置包括预定数量的像素的参考块，并且在在前延迟场中设置具有与参考块相同大小的搜索块。然后，在在前延迟场中顺序移动搜索块的同时，顺序提取搜索块中的像素，并使用在每个位置的搜索块来计算在参考块和搜索块中相应位置处的像素之间的差值的绝对值的和。然后，基于最小化了差值的绝对值的和的、参考块和搜索块的位置关系，来计算运动矢量。

图像合成器13获得当前场数据、分别从图像存储器11-1和11-2提供的延迟场数据和在前延迟场数据、以及从块运动矢量检测器12提供的块运动矢量，基于这些个信息合成图像，转换扫描行的数量，并将结果数据输出给随后的阶段。

下面，将描述图1中示出的图像处理设备的操作。

首先，图像存储器11-1存储第一场数据。在下一定时，图像存储器11-1给图像存储器11-2和图像合成器13提供在其中存储的场数据作为延迟场数据。在再下一定时，图像存储器11-1给图像存储器11-2和图像合成器13提供在其中存储的延迟场数据。此外，图像存储器11-2给块运动矢量检测器12和图像合成器13提供在其中存储的在前延迟场数据。

此时，块运动矢量检测器12通过使用当前场数据和在前延迟场数据进行块匹配，在逐块的基础上计算运动矢量，并给图像合成器13提供运动矢量。

图像合成器13通过使用当前场数据和在前延迟场数据的像素进行场间内插来产生像素，所使用的像素与如下的运动矢量穿过当前场和在前延迟场的点相对应，该运动矢量经过必须为被提供给图像合成器13的延迟场的逐行图像而新近产生的扫描行上的像素，从而将隔行延迟场图像转换成逐行图像，并输出该逐行图像。

此外，例如，根据在公开号为第5-219529号的日本未审专利申请中公开的技术，通过检测色差信号的运动以及亮度信号的运动来检测运动矢量，从而可以精确地检测运动矢量。

然而，根据使用块匹配来检测运动矢量的方法，当块大小较大时，检测运动矢量的精度下降，但是即使当选择小于确定值的块大小时，检测运动矢量的精度也不会改善。此外，在块匹配过程中，当块大小较小时，计算量变得很大，导致了过度的计算成本。

此外，为了满足提高检测运动矢量的精度和减低计算成本以实现实时处理的不兼容要求，基于具有预定大小的单个块来计算运动矢量。因此，当具有两个或多个运动矢量的像素存在于要在其中检测运动矢量的搜索块中时，在包括通过内插产生的像素的图像中，可能在逐块的基础上出现失真，可能在通过内插产生的像素和周围像素之间出现不匹配，或者由于在逐块的基础上使用相同的运动矢量而明显降低空间分辨率。

作为本发明的相关技术，欧洲专利申请公开文件EP0648052A1公开了一种使用块匹配进行运动补偿的方法和装置，欧洲专利申请公开文件EP0883298A2公开了一种图像信号转换装置和TV接收机。

发明内容

考虑到上述情况而做出本发明，并且本发明的一个目的是在逐个像素的基础上精确计算运动矢量--特别是在基于运动矢量的运动补偿图像处理中，以及获得通过内插产生的像素中误差出现程度以切换通过内插产生像素的方法，从而降低计算成本，并且通过抑制由基于块的内插造成的图像失真或通过内插产生的像素和周围像素之间的不匹配，来改善图像质量。

根据本发明的第一图像处理设备包括：块运动矢量检测器，用于通过块匹配，来检测包括主体像素(subject pixel)的块和与包括主体像素的块相邻的多个块的各个块运动矢量；差值计算器，用于基于由块运动矢量检测器检测的每个块运动矢量，计算第一场上的像素和第二场上的像素的像素值之差，上述这些像素被用来产生主体像素；像素运动矢量选择器，用于选择使由差值计算器计算的差值最小化的块运动矢量之一，作为主体像素的像素运动矢量；和像素产生器，用于基于由像素运动矢量选择器选择的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

图像处理设备还可以包括辅助信息产生器，用于为第一场上的像素和第二场上的像素产生各个辅助信息。在此情况下，像素运动矢量选择器选择如下的块运动矢量之一作为主体像素的像素运动矢量，该块运动矢量之一使第一场上的像素的辅助信息和第二场上的像素的辅助信息彼此相符，并且使由差值计算器计算的差值最小化。

在该图像处理设备中，各个辅助信息可以是表示各个像素的边缘方向的码。

图像处理设备还可以包括像素运动矢量计算器，用于在第一场上的像素的辅助信息和第二场上的像素的辅助信息彼此不相符时，通过根据主体像素和多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量。

根据本发明的第一图像处理方法包括：块运动矢量检测步骤，通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；差值计算步骤，基于在块运动矢量检测步骤中检测的每个块运动矢量，计算第一场上的像素和第二场上的像素的像素值之差，上述这些像素被用来产生主体像素；像素运动矢量选择步骤，选择使在差值计算步骤中计算的差值最小化的块运动矢量之一，作为主体像素的像素运动矢量；和像素产生步骤，基于在像素运动矢量选择步骤中选择的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第一记录媒体具有记录在其上的计算机可读程序，其包括：块运动矢量检测控制步骤，控制通过块匹配对包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量的检测；差值计算控制步骤，控制基于在块运动矢量检测控制步骤中检测的每个块运动矢量，对第一场上的像素和第二场上的像素的像素值之差的计算，上述这些像素被用来产生主体像素；像素运动矢量选择控制步骤，控制选择使在差值计算控制步骤中计算的差值最小化的块运动矢量之一来作为主体像素的像素运动矢量；和像素产生控制步骤，控制基于在像素运动矢量选择控制步骤中选择的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第一程序使计算机执行如下过程，包括：块运动矢量检测控制步骤，控制通过块匹配对包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量的检测；差值计算控制步骤，控制基于在块运动矢量检测控制步骤中检测的每个块运动矢量，对第一场上的像素和第二场上的像素的像素值之差的计算，上述这些像素被用来产生主体像素；像素运动矢量选择控制步骤，控制选择使在差值计算控制步骤中计算的差值最小化的块运动矢量之一来作为主体像素的像素运动矢量；和像素产生控制步骤，控制基于在像素运动矢量选择控制步骤中选择的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第二图像处理设备包括：块运动矢量检测器，用于通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；像素运动矢量计算器，用于通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；和像素产生器，用于基于由像素运动矢量计算器计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第二图像处理方法包括：块运动矢量检测步骤，通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；像素运动矢量计算步骤，通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；和像素产生步骤，基于在像素运动矢量计算步骤中计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第二记录媒体具有记录在其上的计算机可读程序，其包括：块运动矢量检测控制步骤，控制通过块匹配对包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量的检测；像素运动矢量计算控制步骤，控制通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；和像素产生控制步骤，控制基于在像素运动矢量计算控制步骤中计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第二程序使计算机执行如下过程，包括：块运动矢量检测控制步骤，控制通过块匹配对包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量的检测；像素运动矢量计算控制步骤，控制通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；和像素产生控制步骤，控制基于在像素运动矢量计算控制步骤中计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第一图像处理设备和方法、记录媒体和程序，通过块匹配来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；基于所检测的每个块运动矢量，计算第一场上的像素和第二场上的像素的像素值之差，上述这些像素被用来产生主体像素；选择使所计算的差值最小化的块运动矢量之一，作为主体像素的像素运动矢量；以及基于所选择的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第二图像处理设备和方法、记录媒体和程序，通过块匹配来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；以及基于所计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的图像处理设备可以是用于执行图像处理的独立设备或者块。

根据本法明，降低了计算成本，并且可以抑制由于基于块的内插而产生的图像失真或通过内插产生的像素和周围像素之间的不匹配，从而用来改善图像质量。

附图说明

图1是示出根据现有技术的图像处理设备的结构的框图；

图2是示出根据本发明实施例的图像处理设备的结构的框图；

图3是示出图1中示出的像素运动矢量检测器的结构的框图；

图4是由图1中示出的图像处理设备执行的图像处理的流程图；

图5是图4中示出的步骤S2中的运动补偿处理的流程图；

图6是用于解释主体块和相邻块的图；

图7是用于解释块大小的图；

图8是用于解释主体块和相邻块的块运动矢量的图；

图9是用于解释包括所产生的像素的所产生的场的图；

图10是用于解释用于计算差值的像素的图；

图11是图4中示出的步骤S3中的条件检验处理的流程图；

图12是图4中示出的步骤S4中的选择处理的流程图；

图13是示出了处理前的图像的例子的图；

图14是示出了通过根据现有技术的方法转换图13中示出的图像的分辨率的例子的图；

图15是示出了通过根据本实施例的方法转换图13中示出的图像的分辨率的例子的图；

图16是示出了像素运动矢量检测器的另一结构的图；

图17是由包括图16中示出的像素运动矢量检测器的图像处理设备执行的图像处理的流程图；

图18是图17中示出的步骤S72中的附加信息检测处理的流程图；

图19是用于解释用作附加信息的、表示边缘方向的码的图；

图20是用于解释用作附加信息的、表示边缘方向的码的图；

图21是图17中示出的步骤S73中的运动补偿处理的流程图；

图22是图17中示出的步骤S74中的条件检验处理的流程图；

图23是示出了像素运动矢量检测器的另一结构的图；

图24是由包括图23中示出的像素运动矢量检测器的图像处理设备执行的图像处理的流程图；

图25是示出了块运动矢量的另一例子的图；

图26是图24中示出的步骤S152中的运动矢量平滑处理的流程图；

图27是用于解释运动矢量平滑处理的图；

图28是示出了像素运动矢量检测器的另一结构的图；

图29是由图28中示出的像素运动矢量检测器执行的条件检验处理的流程图；

图30是图29中示出的步骤S207中的运动矢量平滑处理的流程图；

图31是由图28中示出的像素运动矢量检测器执行的选择处理的流程图；和

图32是用于解释记录媒体的图。

具体实施方式

根据本发明的第一图像处理设备包括块运动矢量检测器(例如，图2中示出的块运动矢量检测器12)，用于通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；差值计算器(例如，图3中示出的运动补偿器36)，用于基于由块运动矢量检测器检测的每个块运动矢量，计算第一场上的像素和第二场上的像素的像素值之差，上述这些像素被用来产生主体像素；像素运动矢量选择器(例如，图3中示出的条件检验器37)，用于选择使由差值计算器计算的差值最小化的块运动矢量之一，作为主体像素的像素运动矢量；和像素产生器(例如，图2中示出的图像合成器22)，用于基于由像素运动矢量选择器选择的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

图像处理设备还可以包括辅助信息产生器(例如，图16中示出的当前场附加信息检测器51)，用于为第一场上的像素和第二场上的像素产生各个辅助信息。在此情况下，像素运动矢量选择器选择如下的块运动矢量之一作为主体像素的像素运动矢量，上述块运动矢量之一使第一场上的像素的该条辅助信息和第二场上的像素的该条辅助信息彼此相符并且使由差值计算器计算的差值最小化。

图像处理设备还可以包括像素运动矢量计算器(例如，图27中示出的运动矢量平滑滤波器82)，用于在第一场上的像素的该条辅助信息和第二场上的像素的该条辅助信息彼此不相符时，通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，从而计算主体像素的像素运动矢量。

根据本发明的第一图像处理方法包括块运动矢量检测步骤(例如，图4中示出的流程图中的步骤S1)，通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；差值计算步骤(例如，图5中示出的流程图中的步骤S13至S17)，基于在块运动矢量检测步骤中检测的每个块运动矢量，计算第一场上的像素和第二场上的像素的像素值之差，上述这些像素被用来产生主体像素；像素运动矢量选择步骤(例如，图4中示出的流程图中的步骤S4)，选择使在差值计算步骤中计算的差值最小化的块运动矢量之一，作为主体像素的像素运动矢量；和像素产生步骤(例如，图4中示出的流程图中的步骤S5)，基于在像素运动矢量选择步骤中选择的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第二图像处理设备包括块运动矢量检测器(例如，图2中示出的块运动矢量检测器12)，用于通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；像素运动矢量计算器(例如，图23中示出的运动矢量平滑滤波器71)，用于通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，计算主体像素的像素运动矢量；和像素产生器(例如，图2中示出的图像合成器22)，用于基于由像素运动矢量计算器计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

根据本发明的第二图像处理方法包括块运动矢量检测步骤(例如，图25中示出的流程图中的步骤S151)，通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；像素运动矢量计算步骤(例如，图25中示出的流程图中的步骤S152)，通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，计算主体像素的像素运动矢量；和像素产生步骤(例如，图25中示出的流程图中的步骤S153)，基于在像素运动矢量计算步骤中计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

记录媒体和程序的对应关系与图像处理方法的对应关系相同，因而省略对其的描述。

图2是示出根据本发明实施例的图像处理设备20的结构的图。在图2中示出的图像处理设备20的结构中，用相同的标号指示与图1中示出的图像处理设备1的结构中的各部分相对应的部分，并恰当地省略对其的描述。

像素运动矢量检测器21基于作为输入数据的当前场数据、从图像存储器11-2提供的在前延迟场数据和从块运动矢量检测器12提供的块运动矢量，产生各个像素的运动矢量，并给图像合成器22提供像素运动矢量。

图像合成器22基于作为输入数据的当前场数据、从图像存储器11-1提供的延迟场数据、从图像存储器11-2提供的在前延迟场数据和从像素运动矢量检测器21提供的像素运动矢量，通过组合当前场和在前延迟场来产生新场，并将新场输出到处于随后阶段的设备中。

图像合成器22输出包括所产生的新场的数据。例如，在转换扫描行的数量的处理中，图像合成器22将输入的隔行图像转换成逐行图像并输出逐行图像，或者转换分辨率或场频率。处于随后阶段的设备指的是，例如，另一图像处理设备、诸如电视接收机的图像显示设备，或诸如磁带录像机(VTR)的图像记录设备。

下面，将参照图3详细描述像素运动矢量检测器21的结构。

块运动矢量存储器31存储从块运动矢量检测器12提供的块运动矢量，并将包括主体块的运动矢量和相邻块的运动矢量的多个运动矢量同时提供给运动补偿器36。主体像素指的是要被处理的像素，并且主体块指的是由包括要被处理的主体像素的多个像素构成的块。

当前场数据预处理器32通过，例如，低通滤波器(LPF)来实现。当前场数据预处理器32执行用于消除噪声对输入到其中的当前场数据的影响的预处理，并将从中消除了噪声的预处理后的当前场数据提供给当前场数据缓冲器33。当前场数据预处理器32不限于LPF，并且，例如，可以通过中值滤波器来实现。或者，省略当前场数据预处理器32，从而不执行预处理。

当前场数据缓冲器33存储从当前场数据预处理器32提供的预处理后的当前场数据。例如，通过具有足够保持处理所需的当前场数据量的容量的存储器来实现当前场数据缓冲器33。当前场数据缓冲器33响应于来自运动补偿器36的请求，随机访问该存储器，并将读取的数据提供给运动补偿器36。

与当前场数据预处理器32类似，通过例如LPF来实现在前延迟场数据预处理器34。在前延迟场数据预处理器34执行用于消除噪声对从图像存储器11-2提供的在前延迟场数据的影响的预处理，并将结果作为预处理后的在前延迟场数据提供给在前延迟场数据缓冲器35。

与当前场数据缓冲器33类似，通过例如存储器来实现在前延迟场数据缓冲器35。在前延迟场数据缓冲器35存储从在前延迟场数据预处理器34提供的在前延迟场数据。在前延迟场数据缓冲器35响应于来自运动补偿器36的请求，随机访问该存储器，并将读取的在前延迟场数据提供给运动补偿器36。

运动补偿器36执行运动补偿处理。更具体地，运动补偿器36从块运动矢量存储器31中读取主体块和多个相邻块的块运动矢量。然后，对于每个运动矢量，运动补偿器36计算在时间上先于和后于包括主体像素的场的在前延迟场和当前场的像素的像素值之差，所述像素对应于当运动矢量经过主体像素时位于该运动矢量开始和结束处的在前延迟场和当前场上的点，并且将该差值作为运动矢量的差值数据输出到条件检验器37。此时，运动补偿器36还将与该差值数据相关的运动矢量提供给条件检验器37。

条件检验器37执行条件检验处理。更具体地，条件检验器37选择针对各个运动矢量计算的多个差值数据中最小的差值数据，并将用于识别与最小的差值数据相关的运动矢量的选择信号以及与该差值数据相关的运动矢量一起提供给像素矢量选择器38。

像素矢量选择器38执行选择处理。更具体地，像素矢量选择器38基于从条件检验器37提供的选择信号，选择使差值数据最小化的块运动矢量作为主体像素的像素运动矢量，并将该块运动矢量输出给图像合成器22。

下面，将参照图4中的流程图描述由图2中示出的图像处理设备20执行的图像处理。

在步骤S1，块运动矢量检测器12基于输入到其中的当前场数据和从图像存储器11-2提供的在前延迟场数据，通过块匹配获得各个块的块运动矢量，并将该块运动矢量输出到像素运动矢量检测器21。用于检测块运动矢量的方法与根据相关技术的基于块匹配的方法相同，从而省略对其的描述。

在步骤S2，像素运动矢量检测器21的运动补偿器36执行运动补偿处理，将处理所使用的块运动矢量和相关的差值数据输出到条件检验器37。

现在，将参照图5中的流程图描述由运动补偿器36执行的运动补偿处理。

在步骤S11，运动补偿器36将用于对处理的迭代次数进行计数的计数器y(未示出)初始化为0。在步骤S12，运动补偿器36将用于对处理的迭代次数进行计数的计数器x(未示出)初始化为0。

在步骤S13，运动补偿器36从当前场数据缓冲器33读取由当前场数据预处理器32预处理的当前场数据，并从在前延迟场数据缓冲器35读取由在前延迟场数据预处理器34预处理的在前延迟场数据。此外，运动补偿器36基于包括主体块并且包括与主体块相邻的多个块的块A至E中的块A的块运动矢量，获得当前场上的像素a_pr和在前延迟场上的像素a_de的像素值，并且还计算像素值之间的差值a_diff，将差值a_diff与用于计算的块运动矢量a相关地输出到条件检验器37，其中，图5中要产生的主体像素(x，y)属于所述主体块，像素a_pr和像素a_de被用来产生主体像素(x，y)。在下面的描述中，包括主体像素的块将被称为主体块，与主体块相邻的块将被称为相邻块，而包括主体像素的场将被称为产生场。

更具体地，例如，当包括主体像素的产生场的大小是xsize×ysize并且主体块是如图6所示的块C(用黑色指示)时，相邻块是A、B、D和E四个块(图6中加阴影线的块)。各个块的大小是相同的，例如，如图7所示的step_x×step_y。例如，主体块和相邻块--即块A至E--的块运动矢量分别是如图8所示的运动矢量a至e。

产生场暂时存在于在前延迟场和当前场之间。假设在前延迟场和当前场之间的距离是1，当到当前场的距离是α时，到在前延迟场的距离是(1-α)，如图9所示。

例如，当块A的块运动矢量a是(Xa，Ya)时，用于产生主体像素(x，y)的当前场上的像素a_pr和在前延迟场上的像素a_de分别是当前场上坐标(x+α×Xa，y+α×Ya)处的像素和在前延迟场上坐标(x-(1-α)×Xa，y-(1-α)×Ya)处的像素，如图10所示。

因此，当块运动矢量a是(Xa，Ya)时，运动补偿器36计算当前场上坐标(x+α×Xa，y+α×Ya)处的像素和在前延迟场上坐标(x-(1-α)×Xa，y-(1-α)×Ya)处的像素的像素值之间的差值a_diff，并将该差值a_diff与用于计算的块运动矢量a相关地提供给条件检验器37。

也就是，运动补偿器36计算在块运动矢量a经过产生场上的主体像素(x，y)时，在前延迟场上在位于图10所示的块运动矢量a开始处的点处的像素和当前场上在位于图10所示的块运动矢量a终止处的点处的像素的像素值之间的差值，作为差值a_diff。

在步骤S14，类似于步骤S13，运动补偿器36基于块B的块运动矢量b，计算用于产生主体像素(x，y)的、当前场上的像素b_pr和在前延迟场上的像素b_de的像素值，还计算这些像素值之间的差值b_diff，并且将差值b_diff与用于计算的运动矢量b相关地输出到条件检验器37。

在步骤S15，类似于步骤S13，运动补偿器36基于块C的块运动矢量c，计算用于产生主体像素(x，y)的、当前场上的像素c_pr和在前延迟场上的像素c_de的像素值，还计算这些像素值之间的差值c_diff，并且将差值c_diff与用于计算的运动矢量c相关地输出到条件检验器37。

在步骤S16，类似于步骤S13，运动补偿器36基于块D的块运动矢量d，计算用于产生主体像素(x，y)的、当前场上的像素d_pr和在前延迟场上的像素d_de的像素值，还计算这些像素值之间的差值d_diff，并且将差值d_diff与用于计算的运动矢量d相关地输出到条件检验器37。

在步骤S17，类似于步骤S13，运动补偿器36基于块E的块运动矢量e，计算用于产生主体像素(x，y)的、当前场上的像素e_pr和在前延迟场上的像素e_de的像素值，还计算这些像素值之间的差值e_diff，并且将差值e_diff与用于计算的运动矢量e相关地输出到条件检验器37。

在步骤S18，运动补偿器36确定计数器x的值是否是与关于水平方向的场的大小相对应的xsize。当确定计数器x的值不是xsize时，在步骤S19，运动补偿器36将计数器x的值加1。然后该过程返回到步骤S13。

当在步骤S18确定计数器x的值是xsize时，在步骤S20，运动补偿器36确定计数器y的值是否是与关于垂直方向的场的大小相对应的ysize。当确定计数器y的值不是ysize时，在步骤S21，运动补偿器36将计数器y的值加1。然后该过程返回到步骤S12，并重复随后的步骤。

当在步骤S20确定计数器y的值是ysize时，退出该过程。

也就是，对产生场上的每个像素重复步骤S13至S17，以计算产生场所属的块和相邻块的块运动矢量的、在前延迟场上位于开始点处和当前场上位于终止点处的像素值之间的差值a_diff至e_diff，并将差值a_diff至e_diff与用于计算的块运动矢量相关地提供给条件检验器37。重复该过程，直到在步骤S18至S21确定该过程已经对产生场上的所有像素执行了该过程步骤。

现在，描述返回到图4中示出的流程图。

在步骤S4中执行运动补偿处理之后，在步骤S5，条件检验器37执行条件检验处理，针对每个像素，给像素矢量选择器38提供用于选择用作像素运动矢量候选的块运动矢量a至e之一的信号。

现在，将参照图11所示的流程图描述由条件检验器37执行的条件检验处理。

在步骤S31，条件检验器37比较从运动补偿器36提供的差值b_diff和d_diff，以确定差值b_diff是否小于差值d_diff。也就是，条件检验器37比较与主体块水平相邻的块的差值b_diff和d_diff的大小。

当在步骤S31确定差值b_diff小于差值d_diff时，在步骤S32，条件检验器37将差值b_diff设置为水平差值h_diff(即，h_diff＝b_diff)，并将运动矢量b设置为代表水平相邻块的运动矢量h(即，h＝b)。

另一方面，当在步骤S31确定差值b_diff不小于差值d_diff时，在步骤S33，条件检验器37将差值d_diff设置为水平差值h_diff(即，h_diff＝d_diff)，并将运动矢量d设置为代表水平相邻块的运动矢量h(即，h＝d)。

在步骤S34，条件检验器37比较从运动补偿器36提供的差值a_diff和e_diff，以确定差值a_diff是否小于差值e_diff。也就是，条件检验器37比较与主体块垂直相邻的块的差值a_diff和e_diff的大小。

当在步骤S34确定差值a_diff小于差值e_diff时，在步骤S35，条件检验器37将差值a_diff设置为垂直差值v_diff(即，v_diff＝a_diff)，并将运动矢量a设置为代表垂直相邻块的运动矢量v(即，v＝a)。

另一方面，当在步骤S34确定差值a_diff不小于差值e_diff时，在步骤S36，条件检验器37将差值e_diff设置为垂直差值v_diff(即，v_diff＝e_diff)，并将运动矢量e设置为代表垂直相邻块的运动矢量v(即，v＝e)。

在步骤S37，条件检验器37确定差值c_diff是否小于预定阈值th。当确定差值c_diff小于预定阈值th时，在步骤S38，条件检验器37将块运动矢量c与选择信号PSEL一起提供给像素矢量选择器38，所述选择信号PSEL具有指示已经选择了差值c_diff的值C。

另一方面，当在步骤S37确定差值c_diff不小于阈值th时，在步骤S39，条件检验器37确定差值h_diff是否小于差值v_diff。当确定差值h_diff小于差值v_diff时，该过程前进到步骤S40。

在步骤S40，条件检验器37确定差值h_diff是否小于预定阈值th。当确定差值h_diff小于预定阈值th时，在步骤S41，条件检验器37将块运动矢量h与选择信号PSEL一起提供给像素矢量选择器38，所述选择信号PSEL具有指示已经选择了差值h_diff的值H。另一方面，当在步骤S40确定差值h_diff不小于预定阈值th时，过程前进到步骤S38。

当在步骤S39确定差值h_diff不小于差值v_diff时，在步骤S42，条件检验器37确定差值v_diff是否小于预定阈值th。当确定差值v_diff小于预定阈值th时，在步骤S43，条件检验器37将块运动矢量v与选择信号PSEL一起提供给像素矢量选择器38，所述选择信号PSEL具有指示已经选择了差值v_diff的值V。另一方面，当在步骤S42确定差值v_diff不小于预定阈值th时，过程前进到步骤S38。

也就是，通过步骤S31至S33，选择主体块和与主体块水平相邻的块之间的差值中的较小差值作为水平差值，并且通过步骤S34至S36，选择主体块和与主体块垂直相邻的块之间的差值中的较小差值作为垂直差值。

当在步骤S37确定与主体块相关的差值小于预定阈值th时，在步骤S38，将具有指示已经选择了差值c_diff的值C的选择信号提供给像素矢量选择器38。另一方面，当在步骤S37确定与主体块相关的差值不小于预定阈值th时，在步骤S39，选择水平差值h_diff和垂直差值v_diff中的较小差值。当在步骤S40和S42确定水平差值h_diff和垂直差值v_diff小于预定阈值th时，在步骤S41和S43，将具有分别指示已经选择了差值h_diff和v_diff的值H和V的选择信号PSEL提供给像素矢量选择器38。另一方面，当在步骤S40和S42确定差值h_diff和v_diff不小于预定阈值th时，在步骤S38，将具有指示已经选择了差值c_diff的值C的选择信号提供给像素矢量选择器38。

因此，在差值a_diff至e_diff中，当差值c_diff小于预定阈值th时，将选择信号PSEL＝C提供给像素矢量选择器38。当差值c_diff不小于预定阈值th时，将选择信号PSEL＝H或V提供给像素矢量选择器38，上述选择信号PSEL＝H或V指示差值a_diff、b_diff、d_diff和e_diff中最小的且小于预定阈值th的差值。当没有差值小于预定阈值th时，将选择信号PSEL＝C提供给像素矢量选择器38。

下面，将参照图12中的流程图描述由像素矢量选择器38执行的选择处理。

在步骤S61，像素矢量选择器38确定选择信号PSEL是否具有值C。当确定选择信号PSEL具有值C时，在步骤S62，像素矢量选择器38将块运动矢量c设置为主体像素(x，y)的像素运动矢量，并将该像素运动矢量与该像素的位置信息一起输出到图像合成器22。

另一方面，当在步骤S61确定选择信号PSEL不具有值C时，在步骤S63，像素矢量选择器38确定选择信号是否具有值H。当确定选择信号具有值H时，在步骤S64，像素矢量选择器38将块运动矢量h(即，块运动矢量b或d)设置为主体像素(x，y)的像素运动矢量，并将该像素运动矢量与该像素的位置信息一起输出到图像合成器22。

另一方面，当在步骤S63确定选择信号PSEL不具有值H时，即，当确定选择信号具有值V时，在步骤S65，像素矢量选择器38将块运动矢量v(即，块运动矢量a或e)设置为主体像素(x，y)的像素运动矢量，并将该像素运动矢量与该像素的位置信息一起输出到图像合成器22。

通过上述过程，根据选择信号来选择像素运动矢量。

现在，描述返回到图4中示出的流程图。

在步骤S5，图像合成器13基于像素运动矢量的信息，组合当前场数据、延迟场数据和在前延迟场数据，输出已经转换了分辨率的图像数据。例如，如图10所示，当产生场上的主体像素的像素运动矢量是块运动矢量a时，对于产生场上的主体像素使用相关的像素运动矢量a，图像合成器13使用当像素运动矢量a经过主体像素时位于像素运动矢量a开始和终止处的在前延迟场上的点和当前场上的点处的像素的像素值，例如，通过采用像素值的平均值执行场间内插来产生像素，并按需要组合该结果与延迟场数据以产生图像，并输出该图像。

通过上述过程，要产生的像素所属的块和相邻块的块运动矢量被看作是要产生的像素的像素运动矢量的候选，并且通过将块运动矢量用作候选，使实际用于场间内插的像素的像素值之间的差值最小化的块运动矢量之一——即，使通过场间内插产生的新像素与用于场间内插的像素最大程度相关的块运动矢量之一——被选择作为像素运动矢量。因此，使用像素运动矢量通过场间内插产生的每个像素与周围像素具有高相关性，从而与使用块运动矢量的情况相比，形成了更自然的图像。

此外，例如，在图13中由白色框指示的区域的图像的情况下，根据前述的相关技术的处理，由于在逐块的基础上选择运动矢量，所以即使在一个像素和与块相对应的区域中的其它像素不同地进行运动(在图13中，背景是静止的，而人的肩膀是运动的)时，相同的运动矢量也被用于整个块。因此，如图14所示，在逐块的基础上使用在相应位置上的当前场和在前延迟场上的像素，从而，例如，阶梯状的粗糙表面(shaggy)可能出现在包括要产生的像素的图像上。图14和15用密度示出了关于水平方向的各个像素的运动矢量的大小。在图14中，在用白色框指示的块中示出了数值，该数值代表关于水平方向的各个块中的像素的块运动矢量的大小。在该例子中，主体块具有值+12，较高的相邻块具有值0，较低的相邻块具有值+13，左边的相邻块具有值-1，而右边的相邻块具有值+12。如图14中所示，尽管有运动像素存在的区域和没有运动像素存在的区域共存于主体块中，但是将相同的运动矢量应用于整个主体块。

相反，通过根据本实施例的处理，在逐个像素的基础上选择运动矢量，并且由于选择运动矢量，使得使用周围块的块运动矢量中使用于内插的像素的像素值之间的差值最小化的运动矢量来产生像素，所以与周围像素的相关性较高。例如，对于图15中用白色框指示的主体块中的有运动像素存在的区域和没有运动像素存在的区域之间的边界，为各个区域选择不同的运动矢量。这用来实现所产生的像素的逼真度。

场被分成具有不同相位的两种场，即，前场和后场。在前场中，像素存在于从最高的水平扫描行开始的每隔一行的行上，同时像素不存在于其它行上。在后场中，像素存在于从第二高的水平扫描行开始的每隔一行的行上，同时像素不存在于其它行上。也就是，像素所在的行在前场和后场之间相差一行。因此，在该例子中，当前场和在前延迟场具有相同相位，同时延迟场具有与当前场和在前延迟场不同的相位，其中像素排列移位了一行。

因此，当将图9中所示的α选择为1/2时，产生场是延迟场本身。在此情况下，基于当前场上和在前延迟场上的像素的信息，在延迟场上不存在像素的行上产生像素，并将所产生的像素与延迟场数据组合，从而将隔行图像转换成逐行图像。

上述描述是在如下例子的情况下做出的：其中除了主体块的块运动矢量之外，还将与主体块水平和垂直相邻的相邻块的块运动矢量用作像素运动矢量的候选。然而，可以使用其他位置的相邻块，并且相邻块的数量不限于4个。例如，可以使用还包括主体块之上左右对角处的块和主体块之下左右对角处的块的8个相邻块。同时，可以将具有相同相位的不同场上的块用作相邻块。例如，可以使用与主体块相对应的位置上的、具有与产生场相同相位并且在产生场之前和之后的块，即，先于产生场两场的场以及后于产生场两场的场。

在图3中所示的像素运动矢量检测器21的情况下，根据上述的方法，当使用多个块运动矢量作为候选在逐个像素的基础上获得运动矢量时，例如，在包括类似形状的重复或包括复杂形状的图像中，为了使用于场间内插的像素的像素值之差小，即，为了使开始和终止于具有高相关性的像素的运动矢量被选择作为像素运动矢量，可能会不正确地检测像素运动矢量。当将不正确的像素运动矢量用于场间内插时，在包括通过内插产生的像素的图像中可能出现空间或时间的不连续性，这造成了图像质量的恶化。

因此，当主体块和相邻块的运动矢量被看作是像素运动矢量的候选并且选择这些运动矢量之一时，除了与运动矢量相关且用于场间内插的像素的像素值之差外，还可以使用基于附加信息的选择条件，以提高选择像素运动矢量的精确性。

图16示出了像素运动矢量检测器21的结构。图16示出的像素运动矢量检测器21将主体块和相邻块的块运动矢量用作像素运动矢量的候选。当选择块运动矢量之一时，除了与运动矢量相关且用于场间内插的像素的像素值之差外，像素运动矢量检测器21使用基于附加信息的选择条件，从而可以更精确地选择像素运动矢量。在图16中，用相同的标号指示与图3中所示的像素运动矢量检测器21的各部分相对应的部分，并恰当地省略对其的描述。

图16示出的像素运动矢量检测器21与图3示出的像素运动矢量检测器21的不同之处在于：提供了当前场附加信息检测器51、当前场附加信息缓冲器52、在前延迟场附加信息检测器53和在前延迟场附加信息缓冲器54，并且还在于：提供了运动补偿器55和条件检验器56来代替运动补偿器36和条件检验器37。

当前场附加信息检测器51获得当前场数据，并根据预定的过程，计算代表每个像素的2维边缘方向的码，作为附加信息。当前场附加信息检测器51可以使用当前场数据本身来计算代表每个像素的2维边缘的方向的码，如图16所示。或者，当前场附加信息检测器51还可以使用由当前场数据预处理器32预处理后的当前场数据，来计算代表每个像素的2维边缘的方向的码。

当前场附加信息缓冲器52获得并存储从当前场附加信息检测器51提供的附加信息。响应于来自运动补偿器55的请求，当前场附加信息缓冲器52给运动补偿器55提供数据。

在前延迟场附加信息检测器53获得在前延迟场数据，并根据预定的过程，计算代表每个像素的2维边缘的方向的码，作为附加信息。在前延迟场附加信息检测器53还可以使用在前延迟场数据本身来计算代表每个像素的2维边缘方向的码，如图16所示。或者，在前延迟场附加信息检测器53还可以使用由在前延迟场数据预处理器34预处理后的在前延迟场数据，来计算代表每个像素的2维边缘的方向的码。

在前延迟场附加信息缓冲器54获得并存储从在前延迟场附加信息检测器53提供的信息。响应于来自运动补偿器55的请求，在前延迟场附加信息缓冲器54给运动补偿器55提供数据。

运动补偿器55执行与运动补偿器36所执行的基本相同的运动补偿过程。除了给条件检验器56提供差值数据和块运动矢量外，运动补偿器55基于从当前场附加信息缓冲器52获得的附加信息和从在前延迟场附加信息缓冲器54获得的附加信息，针对用作候选的每个块运动矢量来比较用于场间内插的像素的附加信息，并将比较结果输出给条件检验器56。

条件检验器56执行条件检验处理，以便考虑比较结果和差值数据而确定用于识别如下运动矢量的选择信号，该运动矢量使差值小并且使比较结果指示匹配，将选择信号和与差值数据相关的运动矢量提供给像素矢量选择器38。

下面，将参照图17中示出的流程图描述由包括图16中示出的像素运动矢量检测器21的图像处理设备20执行的图像处理。图17中示出的步骤S71、S75和S76对应于参照图4中示出的流程图描述的步骤S1、S4和S5，从而省略对其的描述。

在步骤S72，每个当前场附加信息检测器51和在前延迟场附加信息检测器53执行附加信息检测处理，以便计算代表当前场数据和在前延迟场数据中各个像素的边缘方向的码，并在当前场附加信息缓冲器52和在前延迟场附加信息缓冲器54中存储该码。

现在，将参照图18中示出的流程图描述由当前场附加信息检测器51执行的附加信息检测处理。

在步骤S81，当前场附加信息检测器51计算代表当前场上每个像素的水平边缘存在或不存在的水平边缘码EH。例如，当主体像素是如图19所示的像素D(x，y)时，当前场附加信息检测器51计算主体像素和像素D(x-1，y)的像素值之差(D(x，y)-D(x-1，y))，作为水平边缘码EH，如图19所见，像素D(x-1，y)在主体像素的左边相邻。

在步骤S82，当前场附加信息检测器51计算代表当前场上每个像素的垂直边缘存在或不存在的垂直边缘码EV。例如，当主体像素是如图19所示的像素D(x，y)时，当前场附加信息检测器51计算主体像素和像素D(x，y-1)的像素值之差(D(x，y)-D(x，y-1))，作为垂直边缘码EV，如图19所见，像素D(x，y-1)在主体像素的上方相邻。在图19中，假设水平坐标值向右方增加，而垂直坐标值向下方增加。

在步骤S83，当前场附加信息检测器51基于水平边缘码EH和垂直边缘码EV的每个值是否为正、零或负，根据预定的表确定代表当前场上每个像素的边缘方向的码，并在当前场附加信息缓冲器52中与代表像素位置的信息相关地存储代表边缘方向的码。

定义边缘方向的码的表是，例如，如图20所示。该表基于水平边缘码EH和垂直边缘码EV的每个值是否为正、零或负，而定义边缘方向。因此，当使用图20中所示的表时，当水平边缘码EH和垂直边缘码EV都为零时，当前场附加信息检测器51确定没有边缘存在，从而选择具有值0的码。当水平边缘码EH和垂直边缘码EV都为负时，当前场附加信息检测器51确定边缘存在于主体像素的左上对角，从而选择具有值1的码。当水平边缘码EH为零和垂直边缘码EV为负时，当前场附加信息检测器51确定边缘存在于主体像素的上方，从而选择具有值2的码。当水平边缘码EH为正和垂直边缘码EV为负时，当前场附加信息检测器51确定边缘存在于主体像素的右上对角，从而选择具有值3的码。当水平边缘码EH为正和垂直边缘码EV为零时，当前场附加信息检测器51确定边缘存在于主体像素的右方，从而选择具有值4的码。当水平边缘码EH和垂直边缘码EV都为正时，当前场附加信息检测器51确定边缘存在于主体像素的右下对角，从而选择具有值5的码。当水平边缘码EH为零和垂直边缘码EV为正时，当前场附加信息检测器51确定边缘存在于主体像素的下方，从而选择具有值6的码。当水平边缘码EH为负和垂直边缘码EV为正时，当前场附加信息检测器51确定边缘存在于主体像素的左下对角，从而选择具有值7的码。当水平边缘码EH为负和垂直边缘码EV为零时，当前场附加信息检测器51确定边缘存在于主体像素的左方，从而选择具有值8的码。

通过上述过程，可以将基于当前场数据的每个像素和相邻像素的像素值的大小关系的代表边缘存在的可能性的信息，作为代表边缘方向的码附加到每个像素上。虽然上面已经描述了由当前场附加信息检测器51执行的附加信息检测处理，但是在前延迟场附加信息检测器53也通过类似过程从在前延迟场中检测附加信息，从而省略对该过程的描述。

现在，描述返回到图17中示出的流程图。

在步骤S72执行附加信息检测处理之后，在步骤S73，运动补偿器55执行运动补偿处理，从而向条件检验器56输出差值数据和比较结果。

现在，将参照图21中示出的流程图描述由运动补偿器55执行的运动补偿处理。图21中示出的流程图中的步骤S101至S103、S105、S107、S109和S111以及S113至S116对应于参照图5描述的步骤S11至S21，从而省略对其的描述。

在步骤S104，运动补偿器55比较代表像素a_pr和像素a_de的边缘方向的码，将比较结果code_a输出到条件检验器56。更具体地，运动补偿器55比较代表像素a_pr和像素a_de的边缘方向的码，并在这些码匹配时将比较结果code_a＝1输出到条件检验器56，而在这些码不匹配时输出比较结果code_a＝0。

在步骤S106，运动补偿器55比较代表像素b_pr和像素b_de的边缘方向的码，将比较结果code_b输出到条件检验器56。更具体地，运动补偿器55比较代表像素b_pr和像素b_de的边缘方向的码，并在这些码匹配时将比较结果code_b＝1输出到条件检验器56，而在这些码不匹配时输出比较结果code_b＝0。

在步骤S108，运动补偿器55比较代表像素c_pr和像素c_de的边缘方向的码，将比较结果code_c输出到条件检验器56。更具体地，运动补偿器55比较代表像素c_pr和像素c_de的边缘方向的码，并在这些码匹配时将比较结果code_c＝1输出到条件检验器56，而在这些码不匹配时输出比较结果code_c＝0。

在步骤S110，运动补偿器55比较代表像素d_pr和像素d_de的边缘方向的码，将比较结果code_d输出到条件检验器56。更具体地，运动补偿器55比较代表像素d_pr和像素d_de的边缘方向的码，并在这些码匹配时将比较结果code_d＝1输出到条件检验器56，而在这些码不匹配时输出比较结果code_d＝0。

在步骤S112，运动补偿器55比较代表像素e_pr和像素e_de的边缘方向的码，将比较结果code_e输出到条件检验器56。更具体地，运动补偿器55比较代表像素e_pr和像素e_de的边缘方向的码，并在这些码匹配时将比较结果code_e＝1输出到条件检验器56，而在这些码不匹配时输出比较结果code_e＝0。

通过上述过程，运动补偿器55将代表用于针对各相关块运动矢量进行帧间内插的像素之间的边缘方向的码的比较结果，与作为候选的主体块和相邻块的每个块运动矢量的差值数据一起，输出给条件检验器56。

现在，描述返回到图17中示出的流程图。

在步骤74，条件检验器56执行条件检验处理。

现在将参照图22中示出的流程图描述由条件检验器56执行的条件检验处理。

在步骤S131，条件检验器56按升序对差值a_diff、b_diff、d_diff、和e_diff排序。在下面的描述中，假设将差值排序为按升序的a_diff、b_diff、d_diff、和e_diff。然而，应该明白：顺序不限于该顺序。

在步骤S132，条件检验器56从在步骤S131排序的a_diff、b_diff、d_diff、和e_diff中选择最小的差值。在此情况下，选择差值a_diff。

在步骤S133，条件检验器56确定所选择的差值是否是a_diff或e_diff，即与主体块垂直相邻的块之一相关的差值。在此情况下，确定所选择的差值是差值a_diff，并且该过程前进到步骤S134。

在步骤S134，条件检验器56将所选择的值，即差值a_diff或e_diff，设置为垂直差值v_diff(即，v_diff＝a_diff或e_diff)，将与该差值相关的运动矢量a或e设置为垂直相邻块的代表运动矢量v(即，v＝a或e)，并将与该差值相关的比较结果code_a或code_e设置为比较结果code_v(即，code_v＝code_a或code_e)。在此情况下，由于选择了差值a_diff，所以将差值a_diff设置为垂直差值v_diff，将运动矢量a设置为垂直相邻块的代表运动矢量v，并将比较结果code_a设置为比较结果code_v。

另一方面，当在步骤S133确定没有选择差值a_diff或e_diff时，在步骤S135，条件检验器56将所选择的值，即差值b_diff或d_diff，设置为水平差值h_diff(即，h_diff＝b_diff或d_diff)，将与该差值相关的运动矢量b或d设置为水平相邻块的代表运动矢量h(即，h＝b或d)，并将与该差值相关的比较结果code_b或code_d设置为比较结果code_h(即，code_h＝code_b或code_d)。

在步骤S136，条件检验器56确定差值c_diff是否小于预定阈值th且比较结果code_c是否为1。当差值c_diff小于预定阈值th且比较结果code_c为1时，在步骤S137，条件检验器56将块运动矢量c与具有指示已经选择了差值c_diff的值C的选择信号PSEL一起提供给像素矢量选择器38。也就是，当主体块的差值c_diff小于预定阈值th且比较结果code_c为1时(即，当与块运动矢量c经过主体像素时位于块运动矢量c开始和终止处的、在前延迟场和当前场上的点相对应的像素之间，边缘方向重合时)，选择主体块的块运动矢量c。

当在步骤S137确定差值c_diff不小于预定阈值th或比较结果code_c不为1时，在步骤S138，条件检验器56确定所选择的差值是否为h_diff。在此情况下，差值v_diff是差值a_diff，而不是差值h_diff，从而过程前进到步骤S142。

在步骤S142，条件检验器56确定差值v_diff是否小于预定阈值th。当差值v_diff小于预定阈值th时，在步骤S143，条件检验器56确定code_v是否为1。当确定code_v为1时，在步骤S144，条件检验器56将块运动矢量v与具有指示已经选择了差值v_diff的值V的选择信号PSEL一起提供给像素矢量选择器38。当在步骤S142确定差值v_diff不小于预定阈值th时，过程前进到步骤S137。

当在步骤S138确定所选择的差值是差值h_diff时，在步骤S139，条件检验器56确定差值h_diff是否小于预定阈值th。当确定差值h_diff小于预定阈值th时，在步骤S140，条件检验器56确定code_h是否为1。当确定code_h为1时，在步骤S141，条件检验器56将块运动矢量h与具有指示已经选择了差值h_diff的值H的选择信号PSEL一起提供给像素矢量选择器38。当在步骤S139确定差值h_diff不小于预定阈值th时，过程前进到步骤S137。

当在步骤S140确定code_h不为1时或当在步骤S143确定code_v不为1时，在步骤S145，条件检验器56确定是否剩余两个或更多的候选块运动矢量。在此情况下，剩余与差值a_diff、b_diff、d_diff和e_diff相关的4个块运动矢量a、b、d和e，从而确定剩余了两个或更多的候选，并且过程前进到步骤S146。

在步骤S146，条件检验器56从候选中除去与目前最小的差值相关的运动矢量，并且过程返回到步骤S132。在此情况下，由于差值a_diff是最小的，所以从候选中除去相关的运动矢量a。

在步骤S132，由于已经从候选中除去了运动矢量a，所以选择在差值a_diff之后最小的差值b_diff，并重复随后的步骤。然后，依次执行在步骤S132至S136、S138至S140、S142、S143、S145和S146，从而除去候选运动矢量b。然后，在步骤S132选择差值d_diff，并重复随后的步骤。

然后，依次执行步骤S132至S136、S138至S140、S142、S143和S145，从而在步骤S145确定没有剩余两个或更多的候选。然后，过程前进到步骤S137。

也就是，当主体块的差值c_diff小于预定阈值th且比较结果code_c为1时，条件检验器56输出选择信号PSEL＝C。当主体块的差值c_diff小于预定阈值th且比较结果code_c不为1时，条件检验器56输出选择信号PSEL＝H或V，该选择信号PSEL＝H或V与具有比较结果1且是最小的差值a_diff、b_diff、d_diff和e_diff之一相对应。当主体块的差值c_diff小于预定阈值th、比较结果不为1且没有其他候选的比较结果为1时，条件检验器56输出选择信号PSEL＝C。

因此，除了与块运动矢量经过主体像素时位于作为像素运动矢量候选的每个块运动矢量开始和终止处的、在前延迟场和当前场上的点相对应的像素的像素值之差外，在从作为候选的主体块和相邻块的块运动矢量中选择最佳的块运动矢量作为像素运动矢量时，还考虑像素的边缘方向是否匹配。因此，即使在包括精致形状或重复形状的图像中，也可以在逐个像素的基础上精确地确定运动矢量。

在上述例子中，除了与块运动矢量经过主体像素时位于作为像素运动矢量候选的每个块运动矢量开始和终止处的、在前延迟场和当前场上的点相对应的像素的像素值之差外，在从作为候选的主体块和相邻块的块运动矢量中选择最佳的块运动矢量作为像素运动矢量时，考虑像素的边缘方向是否匹配。然而，根据上述方法，限制了可以被选为像素运动矢量的运动矢量。因此，尽管可能降低在诸如分辨率转换或隔行图像到逐行图像的转换等的图像处理中产生不逼真像素的可能性，但是在诸如场频率转换或帧数量转换等产生最初不存在的场的图像处理的情况下，运动矢量的精确性直接反映在所产生的图像上。这可能在不能精确检测某些运动矢量时阻止了场的精确产生。

为了避免这种情况，可以通过根据与主体像素的各个距离使主体像素周围的候选运动矢量平滑，而基于与周围图像的相关性来计算每个像素的运动矢量。

图23示出了像素运动矢量检测器21的结构，该像素运动矢量检测器21通过根据与主体像素的各个距离使主体像素周围的候选运动矢量平滑，来计算每个像素的运动矢量，从而基于与周围图像的相关性来产生像素。用相同的标号指示与图3或图16中所示的像素运动矢量检测器21的各部分相对应的图23中所示的像素运动矢量检测器21的部分，并恰当地省略对其的描述。

图23中所示的像素运动矢量检测器21包括块运动矢量存储器31和运动矢量平滑滤波器71。

运动矢量平滑滤波器71将主体块和相邻块的各个块运动矢量假设为具有位于各个块中心处的开始点的矢量(不必必须是中心，也可以是用作参考位置的其他位置)。对于产生场上的每个像素，运动矢量平滑滤波器71采用根据与块运动矢量的各个开始位置的距离而被乘以系数的相邻块的块运动矢量的线性组合，来平滑与主体像素相邻的块的块运动矢量，并产生像素运动矢量，将该像素运动矢量输出给图像合成器22。

下面，将参照图24中示出的流程图描述由包括图23中示出的像素运动矢量检测器21的图像处理设备20执行的图像处理。图24中示出的流程图的步骤S151和S153对应于图4中示出的流程图的步骤S1和S5，从而省略对其的描述。此外，为了便于描述，假设如图25所示来选择主体块和相邻块。也就是，主体块是块E，而相邻块是A至D和F至I，且这些块A至I的各块运动矢量分别用a至i表示。

在步骤S152，运动矢量平滑滤波器71读取在块运动矢量存储器31中存储的运动矢量，并执行运动矢量平滑处理。

现在，将参照图26中示出的流程图描述由运动矢量平滑滤波器71执行的运动矢量平滑处理。

在步骤S161，运动矢量平滑滤波器71选择其中还没有计算各个像素的像素运动矢量的块来作为主体块，并从块运动矢量存储器31中读取与相邻块A至I相关的块运动矢量a至i。例如，在这里假设主体块和相邻块是如图27中所示的3块×3块，并且每个块的大小是step_x×step_y。如图27中所见，主体块——即块E——的左上角用作原点，且x方向水平向右延伸，而y方向垂直向下延伸。在图27中，在各个块的中心处的黑点指示各个块的中心位置。在计算主体块中各个像素的像素运动矢量的情况下描述该过程。

在步骤S162，运动矢量平滑滤波器71初始化计数器y(未示出)。在步骤S163，运动矢量平滑滤波器71初始化计数器x(未示出)。

在步骤S164，运动矢量平滑滤波器71确定计数器y的值是否小于step_y/2。当确定计数器y的值小于step_y/2时，即当主体像素(x，y)存在于主体块的垂直中心之上时，在步骤S165，运动矢量平滑滤波器71计算下列等式(1)：

vv0＝b×(step_y/2-y)+e×(step_y/2+y)  (1)

其中b和e分别指示块运动矢量b和e。也就是，在等式(1)中，块运动矢量b和e的线性组合vv0是使用与主体像素与块B和E的各个中心之间的垂直距离相适应的加权系数来计算的。

在步骤S166，运动矢量平滑滤波器71确定计数器x的值是否小于step_x/2。当确定计数器x的值小于step_x/2时，即当主体像素存在于主体块的水平中心的左侧时，在步骤S167，运动矢量平滑滤波器71计算下列等式(2)：

vv1＝a×(step_y/2-y)+d×(step_y/2+y)  (2)

其中a和d分别指示块运动矢量a和d。也就是，在等式(2)中，块运动矢量a和d的线性组合vv1是使用与主体像素与块A和D的各个中心之间的垂直距离相适应的加权系数来计算的。

在步骤S168，运动矢量平滑滤波器71计算下列等式(3)：

pv(x，y)＝vv1×(step_x/2-x)+vv0×(step_x/2+x)

(3)

也就是，在等式(3)中，使用与主体像素与块E和D的各个中心之间的水平距离(等于主体像素与块A和B的各个中心之间的距离)相适应的加权系数，来计算块运动矢量vv0和vv1的线性组合，作为主体像素的像素运动矢量pv(x，y)。在此情况下，使用与根据主体像素与块A和B的各个中心之间的水平距离相适应的加权系数，来计算块运动矢量b和e的线性组合vv0与块运动矢量a和d的线性组合vv1的线性组合。

因此，当主体像素存在于主体块的左上部分中时，通过步骤S165、S167和S168，使用与该像素与块A、B、D和E的各个中心之间的距离相适应的加权系数，将每个像素的像素运动矢量计算为矢量a、b、d和e的线性组合。

当在步骤S164确定计数器y的值不小于step_y/2时，即当主体像素存在于主体块的垂直中心之下时，在步骤S171，运动矢量平滑滤波器71计算下列等式(4)：

vv0＝e×(step_y×3/2-y)+h×(step_y/2+y)  (4)

其中e和h分别指示块运动矢量e和h。也就是，在等式(4)中，块运动矢量e和h的线性组合vv0是使用与主体像素与块E和H的各个中心之间的距离相适应的加权系数来计算的。

在步骤S172，运动矢量平滑滤波器71确定计数器x的值是否小于step_x/2。当确定计数器x的值小于step_x/2时，即当主体像素存在于主体块的水平中心的左侧时，在步骤S173，运动矢量平滑滤波器71计算下列等式(5)，然后前进到步骤S168：

vv1＝d×(step_y×3/2-y)+g×(step_y/2+y)  (5)

其中d和g分别指示块运动矢量d和g。也就是，在等式(5)中，块运动矢量d和g的线性组合vv1是使用与主体像素与块D和G的各个中心之间的垂直距离相适应的加权系数来计算的。

因此，当主体像素存在于主体块的左下部分中时，通过步骤S171、S173和S168，使用与该像素与块D、E、G和H的各个中心之间的距离相适应的加权系数，将每个像素的像素运动矢量计算为矢量d、e、g和h的线性组合。

当在步骤S166确定计数器x的值不小于step_x/2时，即当主体像素存在于主体块的水平中心的右侧时，在步骤S176，运动矢量平滑滤波器71计算下列等式(6)：

vv1＝c×(step_y/2-y)+f×(step_y/2+y)  (6)

其中c和f分别指示块运动矢量c和f。也就是，在等式(6)中，块运动矢量c和f的线性组合vv1是使用与主体像素与块C和F的各个中心之间的垂直距离相适应的加权系数来计算的。

在步骤S175，运动矢量平滑滤波器71计算下列等式(7)：

pv(x，y)＝vv0×(step_x×3/2-x)+vv1×(step_x/2+x)  (7)

也就是，在等式(7)中，根据主体像素与块B和C的各个中心之间的水平距离(等于主体像素和块E和F的各个中心之间的水平距离)，计算块运动矢量vv0和vv1的线性组合，来作为主体像素的像素运动矢量pv(x，y)。

因此，当主体像素存在于主体块的右上部分中时，通过步骤S165、S176和S175，使用与该像素与块B、C、E和F的各个中心之间的距离相适应的加权系数，将每个像素的像素运动矢量计算为矢量b、c、e和f的线性组合。

当在步骤S172确定计数器x的值不小于step_x/2时，即当主体像素存在于主体块的水平中心的右侧时，在步骤S174，运动矢量平滑滤波器71计算下列等式(8)，并且该过程前进到步骤S175：

vv1＝f×(step_y×3/2-y)+i×(step_y/2+y)  (8)

其中f和i分别指示块运动矢量f和i。也就是，在等式(8)中，块运动矢量f和i的线性组合vv1是使用与主体像素与块F和I的各个中心之间的垂直距离相适应的加权系数来计算的。

因此，当主体像素存在于主体块的右下部分中时，通过步骤S171、S174和S175，根据该像素与块E、F、H和I的各个中心之间的距离，将每个像素的像素运动矢量计算为带有加权值的矢量e、f、h和i的线性组合。

在步骤S169，确定计算器x的值是否是与场图像的水平大小相对应的xsize。当确定计算器x的值不是xsize时，该过程前进到步骤S170，在该步骤中运动矢量平滑滤波器71将计算器x加1。然后，该过程返回到步骤S164。

另一方面，当在步骤S169确定计算器x的值是xsize时，即当确定已经计算了主体块的一条水平行上的各个像素的像素运动矢量时，该过程前进到步骤S177，在该步骤中，运动矢量平滑滤波器71确定计算器y的值是否是与场图像的垂直大小相对应的ysize。当确定计算器y的值不是ysize时，在步骤S178，运动矢量平滑滤波器71将计算器y加1。然后，该过程返回到步骤S163。

另一方面，当在步骤S177确定计算器y的值是ysize时，即当确定已经为块中的所有像素计算了像素运动矢量时，在步骤S179，运动矢量平滑滤波器71确定是否已经为所有块计算了像素运动矢量。当确定还没有为所有块完成该过程时，该过程返回到步骤S161，并且重复随后的步骤。当在步骤S177确定已经为所有块完成该过程时，退出该过程。

利用上述过程，通过计算乘以系数的运动矢量的线性组合--该系数与主体块右上部分中的每个像素与上方、右上对角和向右相邻的块的各个中心之间的距离相适应，来平滑主体块及这些相邻块的运动矢量，从而确定主体块右上部分中的每个像素的像素运动矢量。通过计算乘以系数的运动矢量的线性组合--该系数与主体块右下部分中的每个像素与下方、右下对角和向右相邻的块的各个中心之间的距离相适应，来平滑主体块及这些块的运动矢量，从而确定主体块右下部分中的每个像素的像素运动矢量。通过计算乘以系数的运动矢量的线性组合--该系数与主体块左上部分中的每个像素与上方、左上对角和向左相邻的块的各个中心之间的距离相适应，来平滑主体块及这些块的运动矢量，从而确定主体块左上部分中的每个像素的像素运动矢量。通过计算乘以系数的运动矢量的线性组合--该系数与主体块左下部分中的每个像素与下方、左下对角和向左相邻的块的各个中心之间的距离相适应，来平滑主体块及这些块的运动矢量，从而确定主体块左下部分中的每个像素的像素运动矢量。

因此，通过根据各个距离来组合空间分布的块运动矢量，来产生像素运动矢量。因此，可以在降低计算成本的同时，以较少的检测误差产生像素运动矢量。

虽然在上述例子中组合了4个块的块运动矢量来产生单个像素运动矢量，但是可以计算被乘以与距离相适应的系数的、更多个块的块运动矢量的线性组合。

虽然在上述例子中组合同一场中的块运动矢量，但是可以使用除包括主体块的场之外的场中的块运动矢量。例如，可以计算内乘以与场间隔相适应的系数的、在包括主体块的场以及先于和后于该场2场的场中位于相应位置处的块的块运动矢量的线性组合。

此外，可以组合图3或图16中示出的像素运动矢量检测器21的结构和图23中示出的像素运动矢量检测器21的结构。在此情况下，例如，当在图22中示出的流程图中的步骤S145中用尽了作为候选的块运动矢量而不能选择出像素运动矢量时，通过平滑来计算像素运动矢量。

图28示出了通过组合图16中示出的像素运动矢量检测器21的结构和图23中示出的像素运动矢量检测器21的结构而实现的像素运动矢量检测器21的结构。

图28中示出的像素运动矢量检测器21的结构基本上与图16中示出的像素运动矢量检测器21的结构相同。然而，还提供了运动矢量平滑滤波器82，并且提供了条件检验器81和像素矢量选择器83，来代替条件检验器56和像素矢量选择器57。条件检验器81基本上与条件检验器56相同。然而，当用尽了作为候选的块运动矢量而不能选择像素运动矢量时，针对像素运动矢量而激活运动矢量平滑滤波器82。运动矢量平滑滤波器82基本上与运动矢量平滑滤波器71相同。像素矢量选择器83基本上与像素矢量选择器57相同。然而，当选择像素运动矢量时，允许像素矢量选择器83选择由运动矢量平滑滤波器82平滑后的运动矢量。

除了条件检验处理和选择处理之外，由包括图28中示出的像素运动矢量检测器21的图像处理设备执行的图像处理与图4中示出的流程图中的图像处理相同。因此，将仅仅参照图29至31中示出的流程图描述由图28示出的像素运动矢量检测器21执行的条件检验处理和选择处理。图29中示出的流程图中的步骤S191至S206对应于图22中示出的流程图中的步骤S131至S146，从而省略对其的描述。

在步骤S207，运动矢量平滑滤波器82基于从条件检验器81接收的指令，执行运动矢量平滑处理。

图30中示出的流程图示出了由运动矢量平滑滤波器82执行的运动矢量平滑处理。图30中示出的流程图中的步骤S221至S231对应于图26中示出的流程图中的步骤S161和S164至S175，从而省略对其的描述。

下面，参照图31中示出的流程图描述由图28中示出的像素运动矢量检测器21执行的选择处理。图31中示出的流程图中的步骤S251至S254和S256对应于图12中示出的流程图中的步骤S61至S65，从而省略对其的描述。

在步骤8255，像素矢量选择器83确定选择信号PSEL是否具有值V。当确定选择信号PSEL具有值V时，过程前进到步骤S256。另一方面，当在步骤S255确定选择信号PSEL不具有值V时，在步骤S257，像素矢量选择器83选择从运动矢量平滑滤波器82提供的运动矢量来作为像素运动矢量。

通过上述过程，当用尽了作为候选的块运动矢量而不能够选择出像素运动矢量时，通过平滑来计算像素运动矢量，从而可以更稳定地获得像素运动矢量。

上述的一系列处理可以通过硬件或软件来执行。当通过软件来执行一系列处理时，构成该软件的程序被安装在嵌入专用硬件中的计算机上，或从记录媒体安装到允许通过安装在其上的各种程序执行各种功能的通用个人计算机等中。

图32示出了根据本发明实施例的个人计算机的结构，其中用软件实现图2中示出的图像处理设备20的电结构。该个人计算机的中央处理单元(CPU)501控制个人计算机的全部操作。一旦经总线504和输入/输出接口505从包括例如键盘和鼠标的输入单元506接收由用户输入的命令，CPU 501执行在只读存储器(ROM)502中存储的相应程序。或者，CPU 501将从与驱动器510相连的磁盘521、光盘522、磁光盘523、或半导体存储器524中读取的并被安装在存储单元508中的程序装入到随机存取存储器(RAM)503中，并执行该程序。因此，用软件实现图2中示出的图像处理设备20的功能。此外，CPU 501控制通信单元509与外部设备通信和交换数据。

程序可以被记录在与计算机独立分发以便给用户提供程序的记录媒体上，例如，诸如如图32中所示的磁盘521(例如，软盘)、光盘522(例如，光盘只读存储器(CD-ROM)或数字通用盘(DVD))、磁光盘523(例如，迷你盘(MD))或半导体存储器524等的封装媒体。或者，载有程序的记录媒体可以是ROM 502或包括在存储单元508中的硬盘，它们被包括在计算机中提供给用户。

不必必须按所述次序来顺序地执行根据记录在记录媒体上的程序而执行的步骤，并且所述步骤可以包括并行或单独执行的步骤。

Claims (2)

1.一种图像处理设备，包括：

块运动矢量检测装置，用于通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；

像素运动矢量计算装置，用于通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；和

像素产生装置，用于基于由像素运动矢量计算装置计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

2.一种图像处理方法，包括：

块运动矢量检测步骤，通过块匹配，来检测包括主体像素的块和与包括主体像素的块相邻的多个块的各个块运动矢量；

像素运动矢量计算步骤，通过根据主体像素与多个块的各个参考位置之间的距离来使多个块的块运动矢量平滑，来计算主体像素的像素运动矢量；和

像素产生步骤，基于在像素运动矢量计算步骤中计算的像素运动矢量，使用第一场上的像素和第二场上的像素来产生主体像素。

Images