CN1678056A - 图像处理装置与方法、记录介质以及程序 - Google Patents

Abstract

根据场间内插像素与同一场上邻近像素的像素值之间差异的绝对值和，计算场间内插空间迁移。根据场间内插像素生与在前一延迟场与当前场相应位置上的像素的像素值之间差异的绝对值和，计算场间内插像素时间迁移。根据场内内插像素生与与在前一延迟场与当前场相应位置上的像素的像素值之间差异的绝对值和，计算场内内插像素时间迁移。根据场间内插像素空间迁移、场间内插像素时间迁移、以及场内内插像素时间迁移的信息，计算误差量，并且通过相应地在场间内插与场内内插之间切换来生成像素。

Description

图像处理装置与方法、记录介质以及程序

技术领域

本发明涉及图像处理装置与方法、记录介质以及程序。更具体地讲，本发明涉及一种图像处理装置与方法、记录介质以及程序，用来逐像素地准确计算运动向量，并且用来根据依照求得的运动向量而生成的像素中发生的误差量切换生成像素的方法。

背景技术

根据现有图像的像素生成新像素以转换图像的解晰度或场频的技术正在普及。

在一种公知的生成运动画面的像素方法中，使用运动向量。运动向量指在运动画面等等中在时间上具有相同像素值的像素的运动的方向与距离。

图1显示根据现有技术的图像处理装置1的结构，其使用运动向量转换扫描行的数目。

图像处理装置1包含：图像存储器11-1与11-2、块运动向量检测器12、以及图像合成器13。图像处理装置1接收输入通过视频来源获得的、例如从电视(TV)调谐器或数字多用途盘(DVD)播放器(未显示)提供的、并且由模数(AD)转换器数字化的隔行图像信号，转换输入数据的扫描行数目，并且输出结果的数据。

每个图像存储器11-1与11-2都存储相应于一场的输入场数据，并且按照相应于一场的延迟输出场数据。由此，图像存储器11-1向图像合成器13提供相对于当前场延迟了一场的场数据。图像存储器11-2提供再次延迟了一场的前一延迟场数据。由此，图像存储器11-2向块运动向量检测器12与图像合成器13提供一共延迟了两场的场数据(即前一延迟场数据)。

块运动向量检测器12获得当前场数据与从图像存储器11-2提供的前一延迟场数据，同时根据这两场的场数据之间的相关性检测运动向量。更具体地，例如，块运动向量检测器12通过逐块地块匹配检测运动向量。在块匹配中，例如，在当前场中，设置包含预定数目像素的参照块，并且设置前一延迟场中与参照块大小相同的搜索块。然后，依次抽取搜索块中的像素，同时依次在前一延迟场中移动搜索块，并且在每个位置上对搜索块计算参照块与搜索块中相应位置上像素之间差的绝对值和。然后，根据使该差绝对值和最小化的搜索块与参照块的位置关系，计算运动向量。

图像合成器13获得当前场数据，分别从图像存储器11-1与11-2提供的延迟场数据、前一延迟场数据，以及从块运动向量检测器12提供的运动向量，根据这些信息合成图像，转换扫描行数目，并且将结果数据输出至下一级。

接着，描述图1所述的图像处理装置的操作。

首先，图像存储器11-1存储第一场数据。在下一时间，图像存储器11-1将在其中存储的场数据提供给图像存储器11-2与图像合成器13作为延迟场数据。在再下一时间，图像存储器11-1将在其中存储的延迟场数据提供给图像存储器11-2与图像合成器13。另外，图像存储器11-2将在其中存储的前一延迟场数据提供给块运动向量检测器12与图像合成器13。

此时，块运动向量检测器12使用当前场数据与前一延迟场数据，通过块匹配，逐块地计算运动向量，并且将运动向量提供给图像合成器13。

图像合成器13使用当前场数据与前一延迟场数据的像素，通过场间内插，生成像素，由此将隔行延迟场图像转换为逐行图像并输出逐行图像，所述像素相应于以下点：在这些点上，运动向量通过扫描线上的像素，对于提供给它的延迟场的逐行图像必须新生成该像素，该逐行图像跨于当前场与前一延迟场。

另外，例如，根据在日本未审查专利申请5-219529中公开的技术，通过以下检测运动向量：检测色差信号的运动以及亮度信号的运动，从而可以准确地检测运动向量。

然而，根据通过块匹配检测运动向量的方法，当块尺寸较大时，检测运动向量的准确性下降，但是即使当块尺寸选择小于特定值时，检测运动向量的准确性没有提高。另外，在块匹配中，当块尺寸较小时，计算量变大，从而导致过多的计算成本。

另外，为了满足以下不兼容的需求——提高检测运动向量的准确性与减少计算成本以达到实时处理——按照具有预定尺寸的各个块计算运动向量。由此，当在要在其中检测运动向量的搜索块中存在具有两或更多个运动向量的像素时，在包含由内插生成的像素的图像中，可能逐块地发生失真，可能在内插生成的像素与周围像素之间发生失配，或者空间解晰度可能明显地下降，这是因为逐块地使用了相同的运动向量。

发明内容

本发明针对上述情况，并且本发明的目的在于逐块地准确计算运动向量，尤其在根据运动向量的运动补偿图像处理中，并且获得内插生成的像素中的误差发生程度以切换通过内插生成像素的方法，从而降低计算成本，并通过抑制由基于块的内插或者内插生成的像素与周围像素之间的失配引起的图像失真，提高图像质量。

根据本发明的一方面，提供了一种图像处理装置。该图像处理装置包含：块运动向量检测器，用来通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；差异计算器，用来根据由块运动向量检测器检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素；像素运动向量选择器，用来选择最小化由差异计算器计算的差异的一个块运动向量，作为目标像素的像素运动向量；场间内插像素生成器，用来根据由像素运动向量选择器选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；场内内插像素生成器，用来通过使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；误差量计算器，用来根据由场间内插像素生成器生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、由场内内插像素生成器生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及像素值确定器，用来使用由场间内插像素生成器生成的像素值以及由场内内插像素生成器生成的像素值，根据由误差量计算器计算的误差量，确定目标像素的像素值。

该图像处理装置还可进一步包含：辅助信息生成器，用来为第一场上的像素与第二场上的像素生成相应的辅助信息，其中像素运动向量选择器选择以下一个块运动向量作为目标像素的像素运动向量，对于该块运动向量，第一场上的像素的辅助信息与第二场上的像素的辅助信息相同，并且对于该块运动向量，由差异计算器计算的差异被最小化。

在该图像处理装置中，所述相应的辅助信息为表示各个像素边沿方向的代码。

该图像处理装置还可进一步包含：像素运动向量计算器，用来当第一场上的像素的辅助信息与第二场上的像素的辅助信息相互不同时，通过根据目标像素与多个块的各个参照位置之间的距离平滑该多个块的块运动向量，计算目标像素的像素运动向量。

该图像处理装置还可进一步包含：场间内插像素空间迁移信息计算器，用来计算由场间内插像素生成器生成的目标像素的像素值与垂直或水平邻近目标像素的像素的像素值之间差异的绝对值和，作为场间内插像素空间迁移信息；场间内插像素时间迁移信息计算器，用来计算由场间内插像素生成器生成的目标像素的像素值与在时间上先于与后于目标像素所存在的场的场上的像素的像素值之间差异的绝对值和，作为场间内插像素时间迁移信息，所述这些像素位于相应于目标像素的位置上；以及场内内插像素时间迁移信息计算器，用来计算由场内内插像素生成器生成的目标像素的像素值与在时间上先于与后于目标像素所存在的场的场上的像素的像素值之间差异的绝对值和，作为场内内插像素时间迁移信息，所述这些像素位于相应于目标像素的位置上；其中，误差量计算器根据场间内插像素空间迁移信息、场间内插像素时间迁移信息、以及场内内插像素时间迁移信息，计算误差量。

根据本发明的另一方面，提供了一种图像处理方法。该图像处理方法包含以下步骤：块运动向量检测步骤，用来通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；差异计算步骤，用来根据在块运动向量检测步骤中检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素；像素运动向量选择步骤，用来选择最小化在差异计算步骤中计算的差异的一个块运动向量，作为目标像素的像素运动向量；场间内插像素生成步骤，用来根据在像素运动向量选择步骤中选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；场内内插像素生成步骤，用来通过使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；误差量计算步骤，用来根据在场间内插像素生成步骤中生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、在场内内插像素生成步骤中生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及像素值确定步骤，用来使用在场间内插像素生成步骤中生成的像素值以及在场内内插像素生成步骤中生成的像素值，根据在误差量计算步骤中计算的误差量，确定目标像素的像素值。

根据本发明的另一方面，提供了一种记录介质，在其上记录了计算机可读程序。该程序包含：块运动向量检测控制步骤，用来控制通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；差异计算控制步骤，用来控制根据在块运动向量检测控制步骤中检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来控制生成目标像素；像素运动向量选择控制步骤，用来控制选择最小化在差异计算控制步骤中计算的差异的一个块运动向量，作为目标像素的像素运动向量；场间内插像素生成控制步骤，用来控制根据在像素运动向量选择控制步骤中选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；场内内插像素生成控制步骤，用来控制使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；误差量计算控制步骤，用来控制根据在场间内插像素生成控制步骤中生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、在场内内插像素生成控制步骤中生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及像素值确定控制步骤，用来控制使用在场间内插像素生成控制步骤中生成的像素值以及在场内内插像素生成控制步骤中生成的像素值，根据在误差量计算控制步骤中计算的误差量，确定目标像素的像素值。

根据本发明的另一方面，提供了一种允许计算机执行处理的程序。该处理包含以下步骤：块运动向量检测控制步骤，用来控制通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；差异计算控制步骤，用来控制根据在块运动向量检测控制步骤中检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来控制生成目标像素；像素运动向量选择控制步骤，用来控制选择最小化在差异计算控制步骤中计算的差异的一个块运动向量，作为目标像素的像素运动向量；场间内插像素生成控制步骤，用来控制根据在像素运动向量选择控制步骤中选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；场内内插像素生成控制步骤，用来控制使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；误差量计算控制步骤，用来控制根据在场间内插像素生成控制步骤中生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、在场内内插像素生成控制步骤中生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及像素值确定控制步骤，用来控制使用在场间内插像素生成控制步骤中生成的像素值以及在场内内插像素生成控制步骤中生成的像素值，根据在误差量计算控制步骤中计算的误差量，确定目标像素的像素值。

根据本发明的图像处理装置与方法、记录介质、以及程序，通过块匹配检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量。根据由所检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素。选择最小化由所计算的差异的一个块运动向量，作为目标像素的像素运动向量。根据所选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值。使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值。根据由场间内插生成的目标像素的像素值、垂直或水平邻近像素的像素值、由场内内插生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上。使用由场间内插生成的像素值以及由场内内插生成的像素值，根据所计算的误差量，确定目标像素的像素值。

根据本发明的图像处理装置可以是独立的装置或者用于执行图像处理的模块。

根据本发明，减少了计算成本，并且可以抑制由于基于块的内插或者由内插生成的像素与周围像素之间的失配而发生的图像失真。

附图说明

图1为显示根据现有技术的图像处理装置的结构的方框图；

图2为显示根据本发明实施方式的图像处理装置的结构的方框图；

图3为显示图1所示像素运动向量检测器的结构的方框图；

图4为图1所示图像处理装置执行的图像处理的流程图；

图5为图4所示流程图的步骤S2中的运动补偿处理的流程图；

图6为用来解释目标块与邻近块的图；

图7为用来解释块尺寸的图；

图8为用来解释目标块与邻近块的块运动向量的图；

图9为用来解释包含生成像素的生成场的图；

图10为用来解释用于计算差异的像素的图；

图11为图4所示流程图的步骤S3中的条件检查处理的流程图；

图12为图4所示流程图的步骤S4中的选择处理的流程图；

图13为显示处理之前的图像的例子的图；

图14为显示其中根据现有技术的方法转换图13所示的图像的解晰度的例子的图；

图15为显示其中根据实施方式的方法转换图13所示的图像的解晰度的例子的图；

图16为显示像素运动向量检测器的另一结构的图；

图17为包含图16所示像素运动向量检测器的图像处理装置执行的图像处理的流程图；

图18为图17所示流程图的步骤S72中的附加信息检测处理的流程图；

图19为用来解释表示边沿方向的代码的图，这些代码用做附加信息；

图20为用来解释表示边沿方向的代码的图，这些代码用做附加信息；

图21为图17所示流程图的步骤S73中的运动补偿处理的流程图；

图22为图17所示流程图的步骤S74中的条件检查处理的流程图；

图23为显示像素运动向量检测器的另一结构的图；

图24为包含图23所示像素运动向量检测器的图像处理装置执行的图像处理的流程图；

图25为显示块运动向量的另一例子的图；

图26为图24所示流程图的步骤S152中的运动向量平滑处理的流程图；

图27为用来解释运动向量平滑处理的图；

图28为显示像素运动向量检测器的另一结构的图；

图29为图28所示像素运动向量检测器执行的条件检查处理的流程图；

图30为图29所示流程图的步骤S207中的运动向量平滑处理的流程图；

图31为图28所示像素运动向量检测器执行的选择处理的流程图；

图32为显示根据本发明另一实施方式的图像处理装置的结构的方框图；

图33为显示图32所示图像合成器的结构的方框图；

图34为显示图33所示误差处理器的结构的方框图；

图35为图32所示图像处理装置执行的图像处理的流程图；

图36为图35所示流程图的步骤S305中的图像合成处理的流程图；

图37为图35所示流程图的步骤S305中的图像合成处理的流程图；

图38为图36所示流程图的步骤S323中的误差检测处理的流程图；

图39为图38所示流程图的步骤S341中的场间内插空间迁移分析处理的流程图；

图40为图38所示流程图的步骤S341中的场间内插空间迁移分析处理的流程图；

图41为图38所示流程图的步骤S342中的场间内插时间迁移分析处理的流程图；

图42为图38所示流程图的步骤S342中的场间内插时间迁移分析处理的流程图；

图43为图38所示流程图的步骤S342中的场间内插时间迁移分析处理的流程图；

图44为图38所示流程图的步骤S342中的场间内插时间迁移分析处理的流程图；

图45为图38所示流程图的步骤S343中的场内内插时间迁移分析处理的流程图；

图46为图38所示流程图的步骤S343中的场内内插时间迁移分析处理的流程图；

图47为显示输入到图32所示图像处理装置的图像的例子的图；

图48为显示通过借助现有技术的处理方法转换图47所示图像的解晰度而获得的图像的例子的图；

图49为显示当由图32所示的图像处理装置执行场间内插空间迁移分析处理时、表示误差量超过预定值的像素的、经过处理的图像的例子的图；

图50为显示当由图32所示的图像处理装置执行场间内插时间迁移分析处理时、表示误差量超过预定值的像素的、经过处理的图像的例子的图；

图51为显示通过根据误差量采用通过不同内插方法获得的像素来转换解晰度、由图32所示的图像处理装置获得的图像的例子的图；

图52为用来解释记录介质的图。

具体实施方式

根据本发明的图像处理装置包含：块运动向量检测器(例如图2所示的块运动向量检测器12)，用来通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；差异计算器(例如图3所示的运动补偿器36)，用来根据由块运动向量检测器检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素；像素运动向量选择器(例如图3所示的条件检查器37)，用来选择最小化由差异计算器计算的差异的一个块运动向量，作为目标像素的像素运动向量；场间内插像素生成器(例如图33所示的时间内插器112)，用来根据由像素运动向量选择器选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；场内内插像素生成器(例如图33所示的空间内插器111)，用来通过使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；误差量计算器(例如图33所示的误差处理器)，用来根据由场间内插像素生成器生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、由场内内插像素生成器生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及像素值确定器(例如图33所示的像素生成器114)，用来使用由场间内插像素生成器生成的像素值以及由场内内插像素生成器生成的像素值，根据由误差量计算器计算的误差量，确定目标像素的像素值。

该图像处理装置还可以进一步包含：辅助信息生成器(例如图16所示的当前场数据附加信息检测器51)，用来为第一场上的像素与第二场上的像素生成相应的附加信息，其中像素运动向量选择器选择以下一个块运动向量作为目标像素的像素运动向量，对于该块运动向量，第一场上的像素的附加信息与第二场上的像素的附加信息相同，并且对于该块运动向量，由差异计算器计算的差异被最小化。

该图像处理装置还可以进一步包含：像素运动向量计算器(例如图27所示的运动向量平滑器82)，用来当第一场上的像素的附加信息与第二场上的像素的附加信息相互不同时，通过根据目标像素与多个块的各个参照位置之间的距离平滑该多个块的块运动向量，计算目标像素的像素运动向量。

该图像处理装置还可以进一步包含：场间内插像素空间迁移信息计算器(例如图34所示的场间内插空间迁移分析器133)，用来计算由场间内插像素生成器生成的目标像素的像素值与垂直或水平邻近目标像素的像素的像素值之间差异的绝对值和，作为场间内插像素空间迁移信息；场间内插像素时间迁移信息计算器(例如图34所示的场间内插时间迁移分析器132)，用来计算由场间内插像素生成器生成的目标像素的像素值与在时间上先于与后于目标像素所存在的场的场上的像素的像素值之间差异的绝对值和，作为场间内插像素时间迁移信息，所述这些像素位于相应于目标像素的位置上；以及场内内插像素时间迁移信息计算器(例如图34所示的场内内插时间迁移分析器131)，用来计算由场内内插像素生成器生成的目标像素的像素值与在时间上先于与后于目标像素所存在的场的场上的像素的像素值之间差异的绝对值和，作为场内内插像素时间迁移信息，所述这些像素位于相应于目标像素的位置上。在这种情况下，误差量计算器根据场间内插像素空间迁移信息、场间内插像素时间迁移信息、以及场内内插像素时间迁移信息，计算误差量。

根据本发明的图像处理方法包含以下步骤：块运动向量检测步骤(例如图4所示流程图中步骤S1)，用来通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；差异计算步骤(例如图5所示流程图中步骤S13至S17)，用来根据在块运动向量检测步骤中检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素；像素运动向量选择步骤(例如图4所示流程图中步骤S4)，用来选择最小化在差异计算步骤中计算的差异的一个块运动向量，作为目标像素的像素运动向量；场间内插像素生成步骤(例如图36所示流程图中步骤S322)，用来根据在像素运动向量选择步骤中选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；场内内插像素生成步骤(例如图36所示流程图中步骤S321)，用来通过使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；误差量计算步骤(例如图36所示流程图中步骤S323)，用来根据在场间内插像素生成步骤中生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、在场内内插像素生成步骤中生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及像素值确定步骤(例如图36所示流程图中步骤S325与S327)，用来使用在场间内插像素生成步骤中生成的像素值以及在场内内插像素生成步骤中生成的像素值，根据在误差量计算步骤中计算的误差量，确定目标像素的像素值。

记录介质与程序的对应关系与图像处理方法的对应关系相同，因此省略其描述。

图2为显示根据本发明实施方式的图像处理装置20的结构的图。在图2所示的图像处理装置20的结构中，相应于图1所示的图像处理装置1的结构中的部件具有相同的标号，并且在适当时省略其描述。

像素运动向量检测器21根据作为输入数据的当前场数据、从图像存储器11-2提供的前一延迟场数据、以及从块运动向量检测器12提供的块运动向量，生成各个像素的运动向量，并且像素运动向量提供给图像合成器22。

图像合成器22根据作为输入数据的当前场数据、从图像存储器11-1提供的延迟场数据、从图像存储器11-2提供的前一延迟场数据、以及从像素运动向量检测器21提供的像素运动向量，通过合成当前场与前一延迟场，生成新场，从而将新场输出至下一级。

图像合成器22输出包含所生成的新场的数据。例如，在转换扫描行数目的处理中，图像合成器22将输入的隔行图像转换为逐行图像，并且输出该逐行图像，或者转换解晰度与场频。下一级的设备指(例如)另一图像处理装置、诸如电视接收机等图像显示装置、或者诸如视频磁带记录机(VTR)等图像记录装置。

接着，参照图3详细描述像素运动向量检测器21的结构。

块运动向量存储器31存储从块运动向量检测器12提供的块运动向量，并且同时向运动补偿器36提供多个运动向量，包含目标块的运动向量与邻近块的运动向量。目标像素值待处理的像素，目标块指由包含待处理的目标像素的多个像素构成的块。

当前场数据预处理器32(例如)由低通滤波器(LPF)实现。当前场数据预处理器32执行预处理，以去除噪声对输入其中的当前场数据的影响，并且向当前场数据缓冲器33提供经预处理的、从其去除了噪声的当前场数据。当前场数据预处理器32不限于LPF，而是可以(例如)由中通滤波器(medianfilter)实现。可替换地，可以省略当前场数据预处理器32，从而不执行预处理。

当前场数据缓冲器33存储从当前场数据预处理器32提供的当前场数据。当前场数据缓冲器33(例如)由具有足以保持处理所需的当前场数据量的容量的存储器实现。当前场数据缓冲器33响应于来自运动补偿器36的请求，随机地访问存储器，并且将所读取的数据提供给运动补偿器36。

与当前场数据预处理器32类似，前一延迟场数据预处理器34(例如)由LPF实现。前一延迟场数据预处理器34执行预处理，以去除噪声对从图像存储器11-2提供的前一延迟场数据的影响，并且将结果提供给前一延迟场数据缓冲器35，作为经预处理的前一延迟场数据。

与当前场数据缓冲器33类似，前一延迟场数据缓冲器35由存储器实现。前一延迟场数据缓冲器35存储从前一延迟场数据预处理器34提供的经预处理的前一延迟场数据。前一延迟场数据缓冲器35响应于来自运动补偿器36的请求，随机地访问存储器，并且将所读取的前一延迟场数据提供给运动补偿器36。

运动补偿器36执行运动补偿处理。更具体地讲，运动补偿器36从块运动向量存储器31读取目标块与多个邻近块的块运动向量。然后，对于每个运动向量，运动补偿器36计算在时间上先于或后于包含目标像素的场的前一延迟场与当前场上像素(当运动向量经过目标像素时，这些像素相应于前一延迟场与当前场上运动向量开始与结束的点)的像素值之间的差异，并且输出作为运动向量差异数据的差异到条件检查器37。此时，运动补偿器36还将与差异数据相关联的运动向量提供给条件检查器37。

条件检查器37执行条件检查处理。更具体地讲，条件检查器37选择对于各个运动向量计算的差异数据中最小的差异数据，并且与和差异数据相关联的运动向量一道，将标识与最小差异数据相关联的运动向量的选择信号提供给像素向量选择器38。

像素向量选择器38执行选择处理。更具体地讲，像素向量选择器38根据从条件检查器37提供的选择信号，选择最小化差异数据的块运动向量，作为目标像素的像素运动向量，从而将该块运动向量输出给图像合成器22。

接着，参照图4所示的流程图描述图2所示图像处理装置20的图像处理。

在步骤S1，块运动向量检测器12根据输入其中的当前场数据与从图像存储器11-2提供的前一延迟场数据，通过块匹配，获得各个块的块运动向量，并且将块运动向量输出给像素运动向量检测器21。检测块运动向量的方法与根据现有技术的、基于块匹配方法相同，从而省略其描述。

在步骤S2，像素运动向量检测器21的运动补偿器36执行运动补偿处理，从而将用于处理的块运动向量与相关差异数据输出给条件检查器37。

现在，参照图5所示的流程图描述运动补偿器36执行的运动补偿处理。

在步骤S11，运动补偿器36将计数处理重复次数的计数器y(未显示)初始化为零。在步骤S12，运动补偿器36将计数处理重复次数的计数器x(未显示)初始化为零。

在步骤S13，运动补偿器36从当前场数据缓冲器33读取由当前场数据预处理器32预处理的当前场数据，并且从前一延迟场数据缓冲器35读取由前一延迟场数据预处理器34预处理的前一延迟场数据。另外，运动补偿器36根据块A至E(包含图5中待生成的目标像素(x，y)所属的目标块，并且包含邻近目标块的多个块)中的块A的块运动向量a，获得用来生成目标像素(x，y)的、当前场上像素a_pr与前一延迟场上像素a_de的像素值，并且还计算像素值之间的差异a_diff，并且将与用于计算的块运动向量a相关联的差异a_diff输出给条件检查器37。在以下描述中，包含目标像素的块将被称为目标块，邻近目标块的块将被称为邻近块，并且包含目标像素的场将被称为生成场。

更具体地讲，例如，当包含目标像素的生成场的尺寸为xsize×ysize、并且目标块为块C(由黑色表示)时，如图6所示，邻近块为四个块A、B、D、E(图6中斜纹块)。各个块的尺寸相同，例如图7所示的step_x×step_y。例如，目标块与邻近块(即块A至E)的运动向量分别为运动向量a至e，如图8所示。

在时间上，生成场存在于前一延迟场与当前场之间。假定前一延迟场与当前场之间的距离为1，当到当前场的距离为α时，到前一延迟场的距离为1-α，如图9所示。

当(例如)块A的运动向量a为(Xa，Ya)时，用来生成目标像素(x，y)的当前场上的像素a_pr与前一延迟场上的像素a_de分别为当前场上坐标(x+α×Xa，y+α×Ya)上的像素与前一延迟场上坐标(x-(1-α)×Xa，y-(1-α)×Ya)上的像素，如图10所示。

这样，当运动向量a为(Xa，Ya)时，运动补偿器36计算当前场上坐标(x+α×Xa，y+α×Ya)上的像素与前一延迟场上坐标(x-(1-α)×Xa，y-(1-α)×Ya)上的像素的像素值之间的差异a_diff，并且将与用于计算的块运动向量a相关联的差异a_diff输出给条件检查器37。

即，当运动向量a通过生成场上目标像素(x，y)时，运动补偿器36计算前一延迟场上图10所示运动向量a结束点处的像素与当前场上图10所示运动向量a开始点处的像素的像素值之间的差异，作为差异a_diff。

在步骤S14，与步骤S13类似，运动补偿器36根据块B的块运动向量b，计算用来生成目标像素(x，y)的当前场上的像素b_pr与前一延迟场上的像素b_de，另外还计算像素值之间的差异b_diff，并且将与用于计算的块运动向量b相关联的差异b_diff输出给条件检查器37。

在步骤S15，与步骤S13类似，运动补偿器36根据块C的块运动向量c，计算用来生成目标像素(x，y)的当前场上的像素c_pr与前一延迟场上的像素c_de，另外还计算像素值之间的差异c_diff，并且将与用于计算的块运动向量c相关联的差异c_diff输出给条件检查器37。

在步骤S16，与步骤S13类似，运动补偿器36根据块D的块运动向量d，计算用来生成目标像素(x，y)的当前场上的像素d_pr与前一延迟场上的像素d_de，另外还计算像素值之间的差异d_diff，并且将与用于计算的块运动向量d相关联的差异d_diff输出给条件检查器37。

在步骤S17，与步骤S13类似，运动补偿器36根据块E的块运动向量e，计算用来生成目标像素(x，y)的当前场上的像素e_pr与前一延迟场上的像素e_de，另外还计算像素值之间的差异e_diff，并且将与用于计算的块运动向量e相关联的差异e_diff输出给条件检查器37。

在步骤S18，运动补偿器36确定计数器x的值是否为相应于水平方向上场尺寸的xsize。当确定计数器x的值不是xsize时，在步骤S19，运动补偿器36将计数器x的值增加1。然后，该处理返回步骤S13。

当确定计数器x的值是xsize时，在步骤S20，运动补偿器36确定计数器y的值是否为相应于垂直方向上场尺寸的ysize。当确定计数器y的值不是ysize时，在步骤S21，运动补偿器36将计数器y的值增加1。然后，该处理返回步骤S12，并重复以下的步骤。

当在步骤S20确定计数器y的值是ysize时，退出该处理。

即，对于生成场的每个像素，重复步骤S13至S17，以计算生成场所属的块与邻近块的运动向量的前一延迟场上开始点处与当前场上结束点处的像素值之间的差异a_diff至e_diff，并且将差异a_diff至e_diff与用于计算的块运动向量相关联地提供给条件检查器37。重复该处理，直至在步骤S18至S21确定已经在生成场的所有像素上执行了该处理。

现在返回对图4所示流程图的描述。

在步骤S4执行运动补偿处理之后，在步骤S5，条件检查器37执行条件检查处理，从而对于每个像素向像素向量选择器38提供用来选择作为候选像素运动向量的块运动向量a至e中的一个的信号。

现在参照图11所示的流程图描述条件检查器37执行的条件检查处理。

在步骤S31，条件检查器37比较从运动补偿器36提供的差异b_diff与d_diff，以确定差异b_diff是否小于差异d_diff。即，条件检查器37比较水平邻近目标块的块的差异b_diff与d_diff。

当在步骤S31确定差异b_diff小于差异d_diff时，在步骤S32，条件检查器37将差异b_diff设置为水平差异h_diff(即h_diff＝b_diff)，并且将运动向量b设置为表示水平邻近块的运动向量h(即h＝b)。

在另一方面，当在步骤S31确定差异b_diff不小于差异d_diff时，在步骤S33，条件检查器37将差异d_diff设置为水平差异h_diff(即h_diff＝d_diff)，并且将运动向量d设置为表示水平邻近块的运动向量h(即h＝d)。

在步骤S34，条件检查器37比较从运动补偿器36提供的差异a_diff与e_diff，以确定差异a_diff是否小于差异e_diff。即，条件检查器37比较垂直邻近目标块的块的差异a_diff与e_diff。

当在步骤S34确定差异a_diff小于差异e_diff时，在步骤S35，条件检查器37将差异a_diff设置为垂直差异v_diff(即v_diff＝a_diff)，并且将运动向量a设置为表示垂直邻近块的运动向量v(即v＝a)。

在另一方面，当在步骤S34确定差异a_diff不小于差异e_diff时，在步骤S36，条件检查器37将差异e_diff设置为垂直差异v_diff(即v_diff＝e_diff)，并且将运动向量e设置为表示垂直邻近块的运动向量v(即v＝e)。

在步骤S37，条件检查器37确定差异c_diff是否小于预定门限th。当确定差异c_diff小于预定门限th时，在步骤S38，条件检查器37向像素向量选择器38提供块运动向量c，以及具有值C的选择信号PSEL，表示选择了差异c_diff。

在另一方面，当在步骤S37确定差异c_diff不小于预定门限t h时，在步骤S39，条件检查器37确定差异h_diff是否小于差异v_diff。当确定差异h_diff小于差异v_diff时，该处理行进到步骤S40。

在步骤S40，条件检查器37确定差异h_diff是否小于预定门限th。当确定差异h_diff小于预定门限th时，在步骤S41，条件检查器37向像素向量选择器38提供块运动向量h，以及具有值H的选择信号PSEL，表示选择了差异h_diff。在另一方面，当在步骤S40确定差异h_diff不小于预定门限th时，该处理行进到步骤S38。

当在步骤S39确定差异h_diff不小于差异v_diff时，在步骤S42，条件检查器37确定差异v_diff是否小于预定门限th。当确定差异v_diff小于预定门限th时，在步骤S43，条件检查器37向像素向量选择器38提供块运动向量v，以及具有值V的选择信号PSEL，表示选择了差异v_diff。在另一方面，当在步骤S42确定差异v_diff不小于预定门限th时，该处理行进到步骤S38。

即，通过步骤S31至S33，目标块与水平邻近目标块的邻近块之间差异较小的一个选择为水平差异，并且通过步骤S34至S36，目标块与垂直邻近目标块的邻近块之间差异较小的一个选择为垂直差异。

当在步骤S37确定与目标块相关联的差异小于预定门限th时，在步骤S38，向像素向量选择器38提供具有值C的选择信号，表示选择了差异c_diff。在另一方面，当在步骤S37确定与目标块相关联的差异不小于预定门限th时，在步骤S39，选择水平差异h_diff与垂直差异v_diff中较小的一个。当在步骤S40与S42确定水平与垂直差异h_diff与v_diff小于预定门限th时，在步骤S41和S43中，分别向像素向量选择器38提供具有值H与V的选择信号，表示选择了差异h_diff与v_diff。在另一方面，当在步骤S40与S42确定水平与垂直差异h_diff与v_diff不小于预定门限th时，在步骤S38，向像素向量选择器38提供具有值C的选择信号，表示选择了差异c_diff。因此，在差异a_diff至e_diff中，当差异c_diff小于预定门限th时，向像素向量选择器38提供选择信号PSEL＝C，表示选择了差异c_diff。当差异c_diff不小于预定门限th时，向像素向量选择器38提供选择信号PSEL＝H或V，表示选择了a_diff、b_diff、c_diff、d_diff、e_diff中最小的、并且小于预定门限th的差异。当没有一个差异小于预定门限th时，向像素向量选择器38提供选择信号PSEL＝C。

接着，参照图12所示流程图描述像素向量选择器38执行的选择处理。

在步骤S61，像素向量选择器38确定选择信号PSEL是否具有值C。当确定选择信号PSEL具有值C时，在步骤S62，像素向量选择器38设置块运动向量c为目标像素(x，y)的像素运动向量，并且向图像合成器22输出该像素运动向量，以及该像素的位置信息。

在另一方面，当在步骤S61确定选择信号PSEL不具有值C时，在步骤S63，像素向量选择器38确定选择信号PSEL是否具有值H。当确定选择信号PSEL具有值H时，在步骤S64，像素向量选择器38设置块运动向量h为目标像素(x，y)的像素运动向量(即块运动向量b或d)，并且向图像合成器22输出该像素运动向量，以及该像素的位置信息。

在另一方面，当在步骤S63确定选择信号PSEL不具有值H时，即确定选择信号具有值V，在步骤S65，像素向量选择器38设置块运动向量v为目标像素(x，y)的像素运动向量(即块运动向量a或e)，并且向图像合成器22输出该像素运动向量，以及该像素的位置信息。

通过上述处理，根据选择信号选择像素运动向量。

现在回到对图4流程图的描述。

在步骤S5，图像合成器13根据像素运动向量信息，合成当前场数据、延迟场数据、以及前一延迟场数据，从而输出已经转换了解晰度的图像数据。例如，当生成场上目标像素的像素运动向量为块运动向量a时，如图10所示，图像合成器13对于生成场上的目标像素，利用相关像素运动向量a，(例如)通过执行对像素值进行平均的场间内插，借助当像素运动向量a通过目标像素时、该像素运动向量在前一延迟场上开始点处与当前场上结束点处的像素的像素值，生成像素，并且按照需要将该结果与延迟场数据合成以生成图像，并且输出该图像。

通过上述处理，将待生成的像素所属的块与邻近块的块运动向量作为待生成的像素的候选像素运动向量，并且利用作为候选的运动向量，选择最小化实际用于场间内插的像素值之间差异的一个块运动向量，即通过其由场间内插生成的新像素与用于场间内插的像素最大相关的一个块运动向量，作为像素运动向量。由此，由使用像素运动向量的场间内插生成的像素与周围像素具有高度相关性，从而与使用块运动向量的情况相比，形成了更自然的图像。

另外，例如，在图13中由白色框表示的图像区域的情况下，根据先前描述的、根据现有技术的处理，因为逐块地选择运动向量，即使当像素与相应于块的区域中的其他像素移动不同(在图13中，背景静止，人物的肩膀移动)时也如此，所以对于整个块使用相同运动向量。这样，如图14所示，逐块地使用当前场与前一延迟场相应位置上的像素，从而(例如)在包含生成像素的图像上发生阶梯状粗糙现象。图14与图15按照密度针对水平方向显示各个像素的运动向量的大小。在图14中，在由白色框表示的块中显示数字值，表示针对水平方向的各个块中像素的块运动向量的大小。在该例子中，目标块具有值+12，上邻近块具有值0，下邻近块具有值+13，左邻近块具有值-1，右邻近块具有值+12。如图14所示，虽然在目标块中共存有存在运动像素的区域以及没有运动像素存在的区域，但是对于整个目标块使用了相同的运动向量。

与此相比，通过根据本实施方式的处理，逐像素地选择运动向量，并且因为选择运动向量使得利用周围块的运动向量中的、最小化用于内插的像素的像素值之间的差异的运动向量来生成像素，所以与周围像素的相关性较高。例如，关于在图15的白框中存在运动像素的区域以及没有运动像素存在的区域之间的边界，对于各个区域选择不同的运动向量。这有利于使生成像素自然。

可以将场分类为具有不同相的两个场，即顶部场(topfield)与底部场(bottomfield)。在顶部场中，像素存在于从最项部水平扫描行开始的每隔一行上，在其他行上不存在像素。在底部场中，像素存在于从次顶部水平扫描行开始的每隔一行上，在其他行上不存在像素。即，在顶部场与底部场之间，存在像素的行相差一行。由此，在该例子中，当前场与前一延迟场具有相同的相，而延迟场的相不同于当前场与前一延迟场的相，其中像素排列移动一行。

由此，当图9中所示的α选择为1/2时，生成场为延迟场自身。在这种情况下，根据当前场与前一延迟场上像素的信息，在延迟场上不存在像素的行上生成像素，并且生成像素与延迟场数据合成，由此将隔行图像转换为逐行图像。

已经在以下例子的环境下进行了以上描述，该例子中，除目标块的块运动向量之外，还使用水平与垂直临近目标块的临近块的块运动向量作为候选像素运动向量。然而，可以使用其他位置上的临近块，并且所使用的临近块的数目不限于四。例如，可以使用还包含目标块左右对角线上的块以及目标块左右对角线下的块的八个临近块。另外，可以使用具有相同相的不同场上的块作为临近块。例如，可以使用与生成场同相、并且先于与后于生成场(即，相对于生成场前进两场与后退两场的场)在相应于目标块的位置上的块。

在图3中所示像素运动向量检测器21的情况下，根据上述方法，当使用多个块运动向量作为候选逐像素地导出运动向量时，为了使用于场间内插的像素的像素值之间的差异较小，即，为了将开始与结束于具有高相关性的像素的运动向量选择为像素运动向量，例如，在包含类似形状的重复或者包含复杂形状的图像中，可能不正确地检测像素运动向量。当将不正确的像素运动向量用于场间内插时，可能在包含由内插生成的像素的图像中发生空间或时间的不连续性，从而引起图像质量退化。

由此，当将目标块与临近块的运动向量作为候选像素运动向量、并且选择了一个运动向量时，除与运动向量相关联的像素的像素值之间的差异之外，还可以使用基于附加信息的选择条件，以提高选择像素运动向量的准确性。

图16显示像素运动向量检测器21的结构。图16所示的像素运动向量检测器21使用目标块与临近块的块运动向量作为候选像素运动向量。当选择了一个运动向量时，除与运动向量相关联的、并且用于内插的像素的像素值之间的差异之外，像素运动向量检测器21还使用基于附加信息的选择条件，从而可以准确地选择像素运动向量。在图16中，相应于图3中所示像素运动向量检测器21的部件具有相同的标号，并且在适当时省略其描述。

图16所示的像素运动向量检测器21与图3中所示像素运动向量检测器21在以下方面不同：配备有当前场附加信息检测器51、当前场附加信息缓冲器52、前一延迟场附加信息检测器53、前一延迟场附加信息缓冲器54，并且配备了运动补偿器55与条件检查器56，而非运动补偿器36与条件检查器37。

当前场附加信息检测器51获得当前场数据，并且根据预定程序计算表示每个像素二维边沿的方向的代码，作为附加信息。当前场附加信息检测器51可以使用当前场数据自身计算表示每个像素二维边沿的方向的代码，如图16所示。可替换地，当前场附加信息检测器51可以使用已经由当前场数据预处理器32预处理的当前场数据计算表示每个像素二维边沿的方向的代码。

当前场附加信息缓冲器52获得并存储从当前场附加信息检测器51提供的附加信息。响应于来自运动补偿器55的请求，当前场附加信息缓冲器52向运动补偿器55提供数据。

前一延迟场附加信息检测器53获得前一延迟场数据，并且根据预定程序计算表示每个像素二维边沿的方向的代码，作为附加信息。前一延迟场附加信息检测器53可以使用前一延迟场数据自身计算表示每个像素二维边沿的方向的代码，如图16所示。可替换地，前一延迟场附加信息检测器53可以使用已经由前一延迟场数据预处理器34预处理的前一延迟场数据计算表示每个像素二维边沿的方向的代码。

前一延迟场附加信息缓冲器54获得并存储从前一延迟场附加信息检测器53提供的信息。响应于来自运动补偿器55的请求，前一延迟场附加信息缓冲器54向运动补偿器55提供数据。

运动补偿器55执行与运动补偿器36所执行的基本相同的运动补偿处理。除向条件检查器56提供差异数据与块运动向量之外，运动补偿器55还根据从当前场附加信息缓冲器52获得的附加信息与从前一延迟场附加信息缓冲器54获得的附加信息，对于作为候选的每个运动向量，比较用于场间内插的像素的附加信息，从而输出比较结果给条件检查器56。

条件检查器56执行条件检查处理，以在考虑到比较结果与差异数据的前提下，确定标识对于其差异较小、并且对于其比较结果指示匹配的运动向量的选择信号，从而提供该选择信号以及与差异数据相关联的运动向量给像素向量选择器38。

接着，参照图17的流程图描述包含图16中所示像素运动向量检测器21的图像处理装置20所执行的图像处理。图17中所示步骤S71、S75、以及S76相应于图4中所示步骤S1、S4、以及S5，从而省略其描述。

在步骤S72中，当前场附加信息检测器51与前一延迟场附加信息检测器53的每一个执行附加信息检测处理，以计算表示当前场数据与前一延迟场数据中各个像素的边沿的方向的代码，并且在当前场附加信息缓冲器52与前一延迟场附加信息缓冲器54中存储这些代码。

现在，参照图18的流程图描述当前场附加信息检测器51所执行的附加信息检测处理。

在步骤S81，当前场附加信息检测器51为当前场上的每个像素计算表示存在或不存在水平边沿的水平边沿代码EH。例如，当目标像素为像素D(x，y)时，如图19所示，当前场附加信息检测器51计算目标像素与图19中所见、临近目标像素左侧的像素D(x-1，y)的像素值之间的差异(D(x，y)-D(x-1，y))，作为水平边沿代码EH。

在步骤S82，当前场附加信息检测器51为当前场上的每个像素计算表示存在或不存在垂直边沿的垂直边沿代码EV。例如，当目标像素为像素D(x，y)时，如图19所示，当前场附加信息检测器51计算目标像素与图19中所见、临近目标像素上侧的像素D(x，y-1)的像素值之间的差异(D(x，y)-D(x，y-1))，作为垂直边沿代码EV。在图19中，假定水平坐标值向右侧增加，垂直坐标值向下增加。

在步骤S83，当前场附加信息检测器51基于垂直边沿代码EV与水平边沿代码EH中的每一个为正、零、还是负，根据预定表，确定表示当前场上每个像素的边沿方向的代码，并且与相关联地在当前场附加信息缓冲器52中存储表示边沿方向的代码。

定义边沿方向代码的表(例如)如图20所示。该表基于垂直边沿代码EV与水平边沿代码EH中的每一个为正、零、还是来定义边沿方向。由此，当使用图20所示的表时，当垂直边沿代码EV与水平边沿代码EH为零都时，当前场附加信息检测器51确定不存在边沿，从而选择具有值0的代码。当垂直边沿代码EV与水平边沿代码EH都为负时，当前场附加信息检测器51确定目标像素左上对角线存在边沿，从而选择具有值1的代码。当垂直边沿代码EV为零且水平边沿代码EH为负时，当前场附加信息检测器51确定目标像素之上存在边沿，从而选择具有值2的代码。当水平边沿代码EH为正且垂直边沿代码EV为负时，当前场附加信息检测器51确定目标像素右上对角线存在边沿，从而选择具有值3的代码。当水平边沿代码EH为正且垂直边沿代码EV为零时，当前场附加信息检测器51确定目标像素右侧存在边沿，从而选择具有值4的代码。当水平边沿代码EH与垂直边沿代码EV都为正时，当前场附加信息检测器51确定目标像素右下对角线存在边沿，从而选择具有值5的代码。当水平边沿代码EH为零且垂直边沿代码EV为正时，当前场附加信息检测器51确定目标像素之下存在边沿，从而选择具有值6的代码。当水平边沿代码EH为负且垂直边沿代码EV为正时，当前场附加信息检测器51确定目标像素左下对角线存在边沿，从而选择具有值7的代码。当垂直边沿代码EV为负且水平边沿代码EH为零时，当前场附加信息检测器51确定目标像素左侧存在边沿，从而选择具有值8的代码。

通过上述处理，可以将基于当前场数据上每个像素与临近像素的像素值的大小关系的、表示的可能存在边沿的信息附加到每个像素作为表示边沿方向的代码。虽然以上描述了当前场附加信息检测器51所执行的附加信息检测处理，但是前一延迟场附加信息检测器53也可以通过类似处理从前一延迟场检测附加信息，从而省略该处理的描述。

现在描述返回到图17所示的流程图。

在步骤S72执行附加信息检测处理之后，在步骤S73，运动补偿器55执行运动补偿处理，从而向条件检查器56输出差异数据与比较结果。

现在参照图21所示的流程图描述运动补偿器55执行的运动补偿处理。图21所示的流程图中的步骤S101至S103、S105、S107、S109、S111、以及S113至S116相应于参照图5所述的步骤S11至S21，从而省略其描述。

在步骤S104，运动补偿器55比较表示像素a_pr与像素a_de的边沿方向的代码，从而输出比较结果code_a给条件检查器56。更具体地讲，运动补偿器55比较表示像素a_pr与像素a_de的边沿方向的代码，并且当这些代码匹配时，向条件检查器56输出比较结果code_a＝1，而当这些代码不匹配时，输出比较结果code_a＝0。

在步骤S106，运动补偿器55比较表示像素b_pr与像素b_de的边沿方向的代码，从而输出比较结果code_b给条件检查器56。更具体地讲，运动补偿器55比较表示像素b_pr与像素b_de的边沿方向的代码，并且当这些代码匹配时，向条件检查器56输出比较结果code_b＝1，而当这些代码不匹配时，输出比较结果code_b＝0。

在步骤S108，运动补偿器55比较表示像素c_pr与像素c_de的边沿方向的代码，从而输出比较结果code_c给条件检查器56。更具体地讲，运动补偿器55比较表示像素c_pr与像素c_de的边沿方向的代码，并且当这些代码匹配时，向条件检查器56输出比较结果code_c＝1，而当这些代码不匹配时，输出比较结果code_c＝0。

在步骤S110，运动补偿器55比较表示像素d_pr与像素d_de的边沿方向的代码，从而输出比较结果code_d给条件检查器56。更具体地讲，运动补偿器55比较表示像素d_pr与像素d_de的边沿方向的代码，并且当这些代码匹配时，向条件检查器56输出比较结果code_d＝1，而当这些代码不匹配时，输出比较结果code_d＝0。

在步骤S112，运动补偿器55比较表示像素e_pr与像素e_de的边沿方向的代码，从而输出比较结果code_e给条件检查器56。更具体地讲，运动补偿器55比较表示像素e_pr与像素e_de的边沿方向的代码，并且当这些代码匹配时，向条件检查器56输出比较结果code_e＝1，而当这些代码不匹配时，输出比较结果code_e＝0。

通过上述处理，与作为候选的目标块与临近块的每个块运动向量的差异数据一道，运动补偿器55向条件检查器56对于分别相关的块运动向量输出用于帧间内插的像素之间表示边沿方向的代码的比较结果。

现在描述返回图7所示的流程图。

在步骤S74，条件检查器56执行条件检查处理。

现在，参照图22所示的流程图描述条件检查器56执行的条件检查处理。

在步骤S131，条件检查器56按升序对差异a_diff、b_diff、d_diff、e_diff排序。在以下描述中，假定这些差异被按升序排序为a_diff、b_diff、d_diff、e_diff。然而应该理解顺序不限于该顺序。

在步骤S132，条件检查器56从在步骤S131排序的差异a_diff、b_diff、d_diff、e_diff中选择最小的差异。在这种情况下，选择差异a_diff。

在步骤S133，条件检查器56确定所选择的差异为a_diff或e_diff，即与垂直临近目标块的一个块相关联的差异。在这种情况下，确定所选择的差异为a_diff，并且该处理行进到步骤S134。

在步骤S134，条件检查器56将所选择的值(即差异a_diff或e_diff)设置为垂直差异v_diff(即v_diff＝a_diff或e_diff)，将与该差异相关联的运动向量a或e设置为垂直临近块的代表运动向量v(即v＝a或e)，并且将与该差异相关联的比较结果code_a或code_e设置为比较结果code_v(即code_v＝code_a或code_e)。在这种情况下，因为选择了a_diff，所以将a_diff设置为水平差异v_diff，将运动向量a设置为垂直临近块的代表运动向量v，并且将比较结果code_a设置为比较结果code_v。

在另一方面，当在步骤S133确定没有选择差异a_diff或e_diff时，条件检查器56将所选择的值(即差异b_diff或d_diff)设置为水平差异h_diff(即h_diff＝b_diff或d_diff)，将与该差异相关联的运动向量b或d设置为水平临近块的代表运动向量h(即h＝b或d)，并且将与该差异相关联的比较结果code_b或code_d设置为比较结果code_h(即code_h＝code_b或code_d)。

在步骤S136，条件检查器56确定是否差异c_diff小于预定门限th以及比较结果code_c为1。当差异c_diff小于预定门限th并且比较结果code_c为1时，在步骤S137，条件检查器56向像素向量选择器38提供块运动向量c，以及值为C的择信号PSEL，表示选择了差异c_diff。即，当目标块差异c_diff小于预定门限th并且比较结果code_c为1时(即，当在相应于前一延迟场与当前场上的、当块运动向量c通过目标像素时块运动向量c开始与结束处的点的像素之间边沿方向相同时)，选择目标像素的块运动向量c。

当在步骤S137确定差异c_diff不小于预定门限th或者比较结果code_c不为1时，在步骤S138，条件检查器56确定选择的差异是否为差异h_diff。在这种情况下，差异v_diff为差异a_diff，而不是差异h_diff，从而该处理行进到步骤S142。

在步骤S142，检查器56确定差异v_diff是否小于预定门限th。当差异v_diff小于预定门限th时，在步骤S143，检查器56确定code_v是否为1。当确定code_v为1时，在步骤S144，条件检查器56向像素向量选择器38提供块运动向量v，以及值为V的择信号PSEL，表示选择了差异v_diff。当在步骤S142确定差异v_diff不小于预定门限th时，该处理行进到步骤S137。当在步骤S138确定选择的差异是否为差异h_diff时，在步骤S139，条件检查器56确定差异h_diff是否小于预定门限th。当差异h_diff小于预定门限th时，在步骤S140，条件检查器56确定code_h是否为1。当确定code_h为1时，在步骤S141，条件检查器56向像素向量选择器38提供块运动向量h，以及值为H的择信号PSEL，表示选择了差异h_diff。当在步骤S139确定差异h_diff不小于预定门限th时，该处理行进到步骤S137。

当在步骤S140确定code_h不为1、或者在步骤S143确定code_v不为1时，条件检查器56确定是否剩余两个或更多个候选块运动向量。在这种情况下，剩余与差异a_diff、b_diff、d_diff、e_diff相关联的四个块运动向量a、b、d、e，从而确定剩余两个或更多个候选块运动向量，并且该处理行进到步骤S146。

在步骤S146，条件检查器56从候选中去除与当前最小差异相关联的运动向量，并且该处理行返回步骤S132。在这种情况下，因为差异a_diff最小，所以从候选中去除相关运动向量a。

在步骤S132，因为已经从候选中去除了运动向量a，所以选择差异a_diff之后最小的差异b_diff，并且重复随后的步骤。然后，顺序执行步骤S132至S136，S139至S140，S142，S143，S145，以及S146，由此去除候选运动向量b。然后，在步骤S132，选择差异d_diff，并且重复随后的步骤。

然后，顺序执行步骤S132至S136，S138至S140，S142，S143和S145，由此在步骤S145确定没有剩余两个或更多个候选块运动向量。然后，该处理行进到步骤S137。

即，当目标块差异c_diff小于预定门限th并且比较结果code_c为1时，条件检查器56输出选择信号PSEL＝C。当目标块差异c_diff小于预定门限th并且比较结果code_c不为1时，条件检查器56输出选择信号PSEL＝H或V，相应于差异a_diff、b_diff、d_diff、e_diff中比较结果为1并且最小的一个。当目标块差异c_diff小于预定门限th、比较结果code_c不为1、并且其他候选的比较结果都不为1时，条件检查器56输出选择信号PSEL＝C。

由此，除在相应于前一延迟场与当前场上的、当作为候选像素运动向量的每个块运动向量通过目标像素时该块运动向量开始与结束处的点的像素的像素值之间的差异之外，当从作为候选的目标块与邻近块的块运动向量中选择最优块运动向量作为像素运动向量时，还考虑像素边沿方向是否匹配。由此，即使在包含细致形状或者形状的重复的图像中，也可以逐像素地准确确定运动向量。

在上述例子中，除在相应于前一延迟场与当前场上的、当作为候选像素运动向量的每个块运动向量通过目标像素时该块运动向量开始与结束处的点的像素的像素值之间的差异之外，当从作为候选的目标块与邻近块的块运动向量中选择最优块运动向量作为像素运动向量时，还考虑像素边沿方向是否匹配。然而，根据上述方法，可以选择作为像素运动向量的运动向量有限制。由此，虽然可能在诸如解晰度转换或者隔行图像转换为逐行图像等图像处理中减少生成非自然像素的可能性，但是在生成原来不存在的场的图像处理的情况下，例如场频转换或者帧数目转换，则运动向量的准确性直接反映在生成图像上。当不能准确地检测某些运动向量时，这可能会阻止准确地生成场。

为了避免此类情况，可以通过根据与目标像素的相应距离平滑围绕目标像素的候选运动向量，根据与周围像素的相关性计算每个像素的运动向量。

图23显示像素运动向量检测器21的结构，该像素运动向量检测器21通过根据与目标像素的相应距离平滑围绕目标像素的候选运动向量，计算每个像素的运动向量，由此根据与周围图像的相关性生成像素。图23所示像素运动向量检测器21相应于图3或图6中所示像素运动向量检测器21的部件具有相同的标号，并且在适当时省略其描述。

图23所示像素运动向量检测器21包含块运动向量存储器31与运动向量平滑器71。

运动向量平滑器71假定目标块与邻近块的各个块运动向量为开始点位于相应块中心的向量(不一定是中心，而可以是作为参照位置的其他位置)。对于生成场上的每个像素，运动向量平滑器71对邻近块的块运动向量乘以根据与块运动向量相应开始位置的距离的系数进行线性组合，以平滑邻近目标块的块的块运动向量并生成像素运动向量，从而输出该像素运动向量至图像合成器22。

接着参照图24的流程图描述包含图23所示像素运动向量检测器21的图像处理装置20所执行的图像处理。图24所示流程图中的步骤S151与S153对应与图4所示流程图中的步骤S1与S5，从而省略其描述。另外，为了描述方便，假定选择目标块与邻近块如图25所示。即目标块为E，邻近块为A至D以及F至I，并且这些块A至I的相应块运动向量由a至i表示。

在步骤S152，运动向量平滑器71读取在块运动向量存储器31中存储的运动向量，并且执行运动向量平滑处理。

现在参照图26所示流程图描述运动向量平滑器71所执行的运动向量平滑处理。

在步骤S161，运动向量平滑器71选择其中各个像素的像素运动向量还未计算的块，作为目标块，并且从块运动向量存储器31中读取与邻近块块A至I相关联的块运动向量a至i。例如，此处假定目标块与邻近块为3块×3块，如图27所示，并且每个块的大小为step_x×step_y。图27所示目标块(即块E)的左上角作为原点，其中x方向水平向右延伸，y方向垂直向下延伸。在图27中，各个块中心处的黑点表示相应块的中心位置。将在计算目标块中各个像素的像素运动向量的情景下描述该处理。

在步骤S162，运动向量平滑器71初始化计数器y(未显示)。在步骤S163，运动向量平滑器71初始化计数器x(未显示)。

在步骤S164，运动向量平滑器71确定计数器y的值是否小于step_y/2。当确定计数器y的值小于step_y/2时，即当目标像素(x，y)位于目标块垂直中心之上时，在步骤S165，运动向量平滑器71计算以下等式(1)：

vv0＝b×(step_y/2-y)+e×(step_y/2+y)    (1)

其中b与e分别表示块运动向量b与e。即，在等式(1)中，使用根据目标像素与块B、E各自中心之间垂直距离的加权系数，计算块运动向量b与e的线性组合vv0。

在步骤S166，运动向量平滑器71确定计数器x的值是否小于step_x/2。当确定计数器x的值小于step_x/2时，即当目标像素位于目标块水平中心左侧时，在步骤S167，运动向量平滑器71计算以下等式(2)：

vv1＝a×(step_y/2-y)+d×(step_y/2+y)    (2)

其中a与d分别表示块运动向量a与d。即，在等式(2)中，使用根据目标像素与块A、D各自中心之间垂直距离的加权系数，计算块运动向量a与d的线性组合vv1。

在步骤S168，运动向量平滑器71计算以下等式(3)：

pv(x，y)＝vv1×(step_x/2-x)+vv0×(step_x/2+x)  (3)

即，在等式(3)中，使用根据目标像素与块E、D各自中心之间水平距离(等于目标像素与块A、B各自中心之间的水平距离)的加权系数，计算块运动向量vv0与vv1的线性组合，作为目标像素的像素运动向量pv(x，y)。在这种情况下，使用根据目标像素与块A、B各自中心之间水平距离的加权系数，计算块运动向量b与e的线性组合vv0以及块运动向量a与d的线性组合vv1的线性组合。

由此，当目标像素存在于目标块的左上部分时，通过步骤S165、S167、S168，利用根据该像素与块A、B、D、E相应中心之间距离的加权系数计算向量a、b、d、e的线性组合作为每个像素的像素运动向量。

当在步骤S164确定计数器y的值不小于step_y/2时，即当目标像素位于目标块垂直中心之下时，在步骤S171，运动向量平滑器71计算以下等式(4)：

vv0＝e×(step_y×3/2-y)+h×(step_y/2+y)    (4)

其中e与h分别表示块运动向量e与h。即，在等式(4)中，使用根据目标像素与块E、H各自中心之间距离的加权系数，计算块运动向量e与h的线性组合vv0。

在步骤S172，运动向量平滑器71确定计数器x的值是否小于step_x/2。当确定计数器x的值小于step_x/2时，即当目标像素位于目标块水平中心左侧时，在步骤S173，运动向量平滑器71计算以下等式(5)，然后该处理行进到步骤S168：

vv1＝d×(step_y×3/2-y)+g×(step_y/2+y)    (5)

其中d与g表示块运动向量d与g。即，在等式(5)中，使用根据目标像素与块D、G各自中心之间垂直距离的加权系数，计算块运动向量d与g的线性组合vv1。

由此，当目标像素存在于目标块的左下部分时，通过步骤S171、S173、S168，利用根据该像素与块D、E、G、H相应中心之间距离的加权系数计算向量d、e、g、h的线性组合作为每个像素的像素运动向量。

当在步骤S166确定计数器x的值不小于step_x/2时，即当目标像素位于目标块水平中心右侧时，在步骤S176，运动向量平滑器71计算以下等式(6)：

vv1＝c×(step_y/2-y)+f×(step_y/2+y)    (6)

其中c与f表示块运动向量c与f。即，在等式(6)中，使用根据目标像素与块C、F各自中心之间垂直距离的加权系数，计算块运动向量c与f的线性组合vv1。

在步骤S175，运动向量平滑器71计算以下等式(7)：

pv(x，y)＝vv0×(step_x×3/2-x)+vv1×(step_x/2+x)    (7)

即，在等式(7)中，根据目标像素与块B、C各自中心之间水平距离(等于目标像素与块E、F各自中心之间的水平距离)，计算块运动向量vv0与vv1的线性组合，作为目标像素的像素运动向量pv(x，y)。

由此，当目标像素存在于目标块的右上部分时，通过步骤S165、S176、S175，利用根据该像素与块B、C、E、F相应中心之间距离的加权系数计算向量b、c、e、f的线性组合作为每个像素的像素运动向量。

当在步骤S172确定计数器x的值不小于step_x/2时，即当目标像素位于目标块水平中心右侧时，在步骤S174，运动向量平滑器71计算以下等式(8)，然后该处理行进到步骤S175：

vv1＝f×(step_y×3/2-y)+i×(step_y/2+y)    (8)

其中f与i表示块运动向量f与i。即，在等式(8)中，使用根据目标像素与块F、I各自中心之间垂直距离的加权系数，计算块运动向量f与i的线性组合vv1。

由此，当目标像素存在于目标块的右下部分时，通过步骤S171、S174、S175，利用根据该像素与块E、F、H、I相应中心之间距离的加权系数计算向量e、f、h、i的线性组合作为每个像素的像素运动向量。

在步骤S169，确定计数器x的值是否为相应于场图像水平尺寸的xsize。当确定计数器x的值不是xsize时，该处理行进到步骤S170，其中运动向量平滑器71将计数器x的值增加1。然后，该处理返回步骤S64。

在另一方面，当在步骤S169中确定计数器x的值是xsize时，即当确定已经计算了目标块一个水平行上各个像素的像素运动向量时，该处理行进到步骤S177，其中运动向量平滑器71确定计数器y的值是否为相应于场图像垂直尺寸的ysize。当确定计数器y的值不是ysize时，在步骤S178，运动向量平滑器71将计数器y的值增加1。然后，该处理返回步骤S163。

在另一方面，当在步骤S177确定计数器y的值是ysize时，即当确定已经计算了块中所有像素的像素运动向量时，在步骤S179，运动向量平滑器71确定是否未所有块计算了运动向量。当确定还没有对所有块完成该处理时，该处理返回步骤S161，并重复以下的步骤。当在步骤S179确定已经对所有块完成该处理时，该处理退出。

通过上述处理，通过计算运动向量乘以根据像素与以下这些块相应中心之间的距离的系数的线性组合，平滑目标块与邻近上侧、对角线右上侧、以及右侧的块的运动向量，确定目标块右上部分像素中每个像素的像素运动向量。通过计算运动向量乘以根据像素与以下这些块相应中心之间的距离的系数的线性组合，平滑目标块与邻近下侧、对角线右下侧、以及右侧的块的运动向量，确定目标块右下部分像素中每个像素的像素运动向量。通过计算运动向量乘以根据像素与以下这些块相应中心之间的距离的系数的线性组合，平滑目标块与邻近上侧、对角线左上侧、以及左侧的块的运动向量，确定目标块左上部分像素中每个像素的像素运动向量。通过计算运动向量乘以根据像素与以下这些块相应中心之间的距离的系数的线性组合，平滑目标块与邻近下侧、对角线左下侧、以及左侧的块的运动向量，确定目标块左下部分像素中每个像素的像素运动向量。

由此，通过根据相应距离合成在空间上分布的块运动向量，生成像素运动向量。因此，可以在很小检测误差的前提下生成像素运动向量，同时减少了计算成本。

虽然在上述例子中描述了合成四个块的块运动向量以生成单一像素运动向量，但是可以计算更多数目的块的、乘以根据距离的系数的块运动向量的线性组合。

虽然在上面例子中合成在同一场中的块运动向量，但是可以使用非包含目标块的场的场中的块运动向量。例如，可以计算在包含目标块的场以及先于和后于该场两场的场中相应位置上的块的、乘以根据场间隔的系数的块运动向量的线性组合。

另外，可以组合图3或6所示像素运动向量检测器21的结构与图23所示像素运动向量检测器21的结构。在该情况下，例如，当在图22所示流程图的步骤S145中穷尽了作为候选的块运动向量从而不可能选择像素运动向量时，通过平滑计算像素运动向量。

图28显示通过组合图16所示像素运动向量检测器21的结构与图23所示像素运动向量检测器21的结构而实现的像素运动向量检测器21的结构。

图28所示像素运动向量检测器21的结构基本与图16所示像素运动向量检测器21的结构相同。然而，还提供了运动向量平滑器82，并且提供了条件检查器81与像素向量选择器83，而非条件检查器56与像素向量选择器57。条件检查器81基本与条件检查器56相同。然而，当穷尽了作为候选的块运动向量从而不可能选择像素运动向量时，对于该像素运动向量启动运动向量平滑器82。运动向量平滑器82基本与运动向量平滑器71相同。像素向量选择器83基本与像素向量选择器57相同。然而，当选择像素运动向量时，允许像素向量选择器83选择由运动向量平滑器82平滑的运动向量。

除条件检查处理与选择处理之外，由包含图28所示像素运动向量检测器21的图像处理装置20执行的图像处理与图4所示流程图相同。由此，将参照图29至31的流程图只描述图28所示像素运动向量检测器21执行的条件检查处理与选择处理。图29所示流程图中步骤S191至S206相应于图22所示流程图中步骤S131至S146，从而省略其描述。

在步骤S207，运动向量平滑器82根据从条件检查器81收到的指令，执行运动向量平滑处理。

图30所示的流程图显示运动向量平滑器82执行的运动向量平滑处理。图30所示的流程图中步骤S221至S231相应于图26所示流程图中步骤S161与步骤S164至S175，从而省略其描述。

接着，参照图31所示流程图描述图28中的像素运动向量检测器21所执行的选择处理。图31所示流程图中步骤S251至S254以及步骤S256相应于图12所示流程图中步骤S61至S65，从而省略其描述。

在步骤S255，像素向量选择器83确定选择信号PSEL是否具有值V。当确定选择信号PSEL具有值V时，该处理行进到步骤S256。在另一方面，当在步骤S255确定选择信号PSEL不具有值V时，在步骤S257，像素向量选择器83选择从运动向量平滑器82提供的运动向量作为像素运动向量。

通过上述处理，当穷尽了作为候选的块运动向量从而不可能选择像素运动向量时，通过平滑计算像素运动向量，从而可以更稳定地获得像素运动向量。

在上述例子中，描述了准确计算运动向量以及通过场间内插准确生成像素的方法。这种方法用来通过提高运动向量的可靠性来提高生成图像的自然性。可替换地，例如，可能根据所检测的运动向量，在通过评估由多个内插方法生成的像素求得误差量之后，切换内插方法。

图32显示包含图像合成器101而非图像合成器22的图像处理装置20的结构。与图像合成器22不同，其通过场间内插生成图像，图像合成器101能够通过场间内插或场内内插来生成像素。图像合成器101评估由多个方法生成的像素，计算误差量，并且根据误差量在场间内插与场内内插之间切换，以生成输出。

图33显示图像合成器101的结构。

空间内插器111利用延迟场图像中的像素，根据延迟场数据，通过场内内插来生成像素，并且将像素提供给误差处理器113与像素生成器114。

时间内插器112利用当前场数据与前一延迟场数据，根据像素运动向量，通过场间内插来生成新像素，并且将像素提供给误差处理器113与像素生成器114。

误差处理器113根据向其提供的当前场数据、延迟场数据、以及前一延迟场数据，并且根据从空间内插器111提供的场内内插数据与从时间内插器112提供的场间内插数据，计算误差量(为允许计算误差量的值，而非表示严格定义的误差量的值)，并且将误差量提供给像素生成器114。

像素生成器114在从空间内插器111提供的场内内插像素数据与从时间内插器112提供的场间内插像素数据之间切换，以生成输出。

接着参照图34描述误差处理器113的结构。

场内内插时间迁移分析器131根据包含场内内插像素的场内内插图像，并且根据当前场数据与前一延迟场数据，计算表示场内内插像素的像素值中时间上变化的迁移，并且将该变迁提供给混合器134。

场间内插时间迁移分析器132根据包含场间内插像素的场间内插图像，并且根据当前场数据与前一延迟场数据，计算表示场间内插像素的像素值中时间上变化的迁移，并且将该变迁提供给混合器134。

场间内插空间迁移分析器133根据包含场间内插像素的场间内插图像，并且根据当前场数据与前一延迟场数据，计算表示场间内插像素的像素值中空间上变化的迁移，并且将该变迁提供给混合器134。

混合器134根据分别从场内内插时间迁移分析器131、场间内插时间迁移分析器132、以及场间内插空间迁移分析器133提供的场内内插时间迁移分析的结果、场间内插时间迁移分析的结果、以及场间内插空间迁移分析的结果，计算误差量，并且将误差量提供给像素生成器114。

接着，参照图35所示流程图描述图32所示图像处理装置20执行的图像处理。图35所示流程图中的步骤S301至S304相应于图4所示流程图中的步骤S1至S4，从而省略其描述。

在步骤S305，图像合成器101执行图像合成处理。

现在参照图36所示的流程图描述图像合成器101执行的图像合成处理。

在步骤S321，空间内插器111利用输入其中的延迟场数据生成场内内插图像。即空间内插器111利用同一场中的像素，通过场内内插，生成延迟场上目标像素，并且将目标像素提供给误差处理器113与像素生成器114。

例如，当像素在前一延迟场、延迟场、以及当前场上排列时，如图37所示，空间内插器111生成像素Ps作为延迟场中像素B与D之间中间位置上的目标像素，并且像素Ps具有像素B与D像素值之间的平均像素值。

在图37中，前一延迟场、延迟场、以及当前场上垂直方向(即Y方向)上像素排列沿时间方向(即图37中的t轴)的顺序显示。从图37中看，在前一延迟场上，从顶部开始排列像素Q、A、L。从图37中看，在延迟场上，从顶部开始排列像素B与D。从图37中看，在当前场上，从顶部开始排列像素M、C、R。前一延迟场与当前场同相，从而针对垂直方向在对应位置上排列像素。延迟场具有不同的相，从而像素的排列移动一行。对于以下类似附图同样如此。

在步骤S232，时间内插器112利用先于和后于延迟场的前一延迟场和当前场上的像素，根据向其提供的运动向量，通过场间内插，生成延迟场上的像素，并且将这些像素提供给误差处理器113与像素生成器114。例如，当在图37中运动向量具有像素R上的开始点以及像素Q上的结束点时，时间内插器112通过计算前面的前一延迟场上像素R与后面的当前场上像素Q之间的平均像素值，生成延迟场上的像素Pt。在图37中，像素Ps与Pt分别为场内内插像素与场间内插像素，其相互不同但是位于同一位置上。

在步骤S323，误差处理器113执行误差检测处理，以计算误差量，并且将误差量提供给像素生成器114。

现在参照图38所示流程图描述误差处理器113执行的误差检测处理。

在步骤S341，误差处理器113的场间内插空间迁移分析器133执行场间内插空间迁移分析处理，以将该分析获得的场间内插空间迁移信息提供给混合器134。

现在参照图39所示流程图描述场间内插空间迁移分析器133执行的场间内插空间迁移分析处理。

在步骤S361，场间内插空间迁移分析器133计算从空间内插器111提供的延迟场上场间内插像素与延迟场上空间上向上的像素的像素值之间的差异，作为向上迁移。即，当在延迟场上存在场间内插像素Ps时，如图40所示，场间内插空间迁移分析器133计算像素值与空间上向上的像素B的差异，作为向上迁移(Pt-B)。

在步骤S362，场间内插空间迁移分析器133计算从空间内插器111提供的延迟场上场间内插像素与延迟场上空间上向下的像素的像素值之间的差异，作为向下迁移。即，当在延迟场上存在场间内插像素Ps时，如图40所示，场间内插空间迁移分析器133计算像素值与空间上向下的像素D的差异，作为向下迁移(D-Pt)。

在步骤S363，场间内插空间迁移分析器133计算向上迁移与向下迁移的乘积。即，在图40所示例子的情况下，场间内插空间迁移分析器133计算(D-Pt)×(Pt-B)，作为向上迁移与向下迁移的乘积，并且将该乘积输出给混合器134。

在步骤S364，场间内插空间迁移分析器133计算向上迁移与向下迁移的绝对值和，并且将该和输出至混合器134。即，在在图40所示例子的情况的情况下，场间内插空间迁移分析器133向混合器134输出由以下等式(9)表示的场间内插空间迁移分析结果。

场间内插空间迁移分析结果＝|D-Pt|+|Pt-B|    (9)

场间内插空间迁移分析器133向混合器134输出向上迁移与向下迁移的绝对值和以及向上迁移与向下迁移的乘积，作为场间内插空间迁移分析的结果。

即，例如，如图41所示，当延迟场上像素B、D的像素值与场间内插像素Pt的像素值的变化不是单调增或单调减时，假定很可能生成了非自然像素。由此，当作为向上迁移与向下迁移的乘积(D-Pt)×(Pt-B)为负值时，预测与生成像素有关的迁移可能是非自然的。另外，当向上迁移与向下迁移的绝对值和变大时，假定很可能生成了更加不自然的像素。在图41中，垂直轴表示针对空间方向的像素位置，水平轴表示像素值。

现在描述返回图38所示的流程图。

在步骤S342，场间内插时间迁移分析器132执行场间内插时间迁移分析处理，并且输出场间内插时间迁移分析结果给混合器134。

现在参照图42所示流程图描述场间内插时间迁移分析器132执行的场间内插时间迁移分析处理。

在步骤S381，场间内插时间迁移分析器132计算场间前驱迁移。例如，场间内插时间迁移分析器132计算通过场间内插作为目标像素生成的延迟场上像素Pt以及时间上领先的前一延迟场对应位置上像素A的像素值之间的差异，作为场间前驱迁移(A-Pt)，如图43所示。在图43中，场间内插像素Pt与场内内插像素Ps显示在不同位置上以方便描述。然而实际上，像素Pt与像素Ps都生成于延迟场上像素B与D之间的中心处。

在步骤S382，场间内插时间迁移分析器132计算场间后继迁移。例如，场间内插时间迁移分析器132计算通过场间内插作为目标像素生成的延迟场上像素Pt以及时间上落后的当前场对应位置上像素C的像素值之间的差异，作为场间后继迁移(Pt-C)，如图43所示。

在步骤S383，场间内插时间迁移分析器132计算场间前驱迁移与场间后继迁移的绝对值和，并且将该和提供给混合器134，作为场间内插时间迁移分析结果。

即，在图43所示例子的情况下，场间内插时间迁移分析器132计算并向混合器134提供作为场间内插时间迁移分析结果的场间前驱迁移与场间后继迁移的绝对值和，如下等式(10)所示：

场间内插时间迁移分析结果＝|A-Pt|+|Pt-C|    (10)

例如，如图44所示，当前一延迟场上像素A、延迟场上像素Pt、以及像素C的像素值与场间内插像素Pt的像素值的时间上的变化不是单调增或单调减时，假定很可能生成了非自然像素。由此，当作为场间前驱迁移与场间后继迁移的乘积(A-Pt)×(Pt-C)为负值时，预测与生成像素有关的迁移可能是非自然的。另外，当场间前驱迁移与场间后继迁移的绝对值和变大时，假定很可能生成了更加不自然的像素。在图44中，垂直轴表示像素值，水平轴表示针对时间方向的像素位置。

现在描述返回图38所示的流程图。

在步骤S343，场内内插时间迁移分析器131执行场内内插时间迁移分析处理，以输出场内内插时间迁移分析结果给混合器134。

现在参照图45所示流程图描述场内内插时间迁移分析器131执行的场内内插时间迁移分析处理。

在步骤S401，场内内插时间迁移分析器131计算场内前驱迁移。例如，场内内插时间迁移分析器131计算通过场内内插作为目标像素生成的延迟场上像素Ps以及时间上领先的前一延迟场对应位置上像素A的像素值之间的差异，作为场内前驱迁移(A-Ps)，如图43所示。

在步骤S402，场内内插时间迁移分析器131计算场内后继迁移。例如，场内内插时间迁移分析器131计算通过场内内插作为目标像素生成的延迟场上像素Ps以及时间上落后的当前场对应位置上像素C的像素值之间的差异，作为场内后继迁移(Ps-C)，如图43所示。

在步骤S403，场内内插时间迁移分析器131计算场内前驱迁移与场内后继迁移的绝对值和，并且将该和提供给混合器134，作为场内内插时间迁移分析结果。

即，在图43所示例子的情况下，场内内插时间迁移分析器131计算并向混合器134提供作为场内内插时间迁移分析结果的场内前驱迁移与场内后继迁移的绝对值和，如下等式(11)所示：

场内内插时间迁移分析结果＝|A-Ps|+|Ps-C|    (11)

例如，如图46所示，当前一延迟场上像素A、延迟场上像素Ps、以及像素C的像素值与场内内插像素Ps的像素值的时间上的变化是单调增或单调减时，假定很可能像素值变化不大，并且在时间上生成了自然的像素。由此，当作为场内前驱迁移与场内后继迁移的乘积(A-Ps)×(Ps-C)为正值时，预测与生成像素有关的迁移可能是自然的。另外，当场内前驱迁移与场内后继迁移的绝对值和变大时，假定很可能生成了更加不自然的像素。在图46中，垂直轴表示像素值，水平轴表示针对时间方向的像素位置。

现在，描述返回图38所示流程图。

在步骤S344，混合器134根据向其提供的场内内插时间迁移分析的结果、场间内插时间迁移分析的结果、以及场间内插空间迁移分析的结果，通过以下等式(12)计算误差量：

误差量＝K×((场间内插时间迁移分析的结果)×(场间内插空间迁移分析的结果))/(场内内插时间迁移分析的结果)           (12)

其中K为改变误差量的常量。例如，可以选择运动向量的可靠性作为常量K。

等式(12)表达的误差量表示场间内插像素可靠性对场内内插像素可靠性的比值，其定性地表示了误差程度，而非实际图像处理中误差的发生次数。然而，当等式(12)表达的误差量增加时，场间内插像素可靠性降低，并且当该误差量减少时，场间内插像素可靠性增加。

由此，通过根据误差量切换至使用场间内插像素或场内内插像素，生成图像会变得更自然。

在步骤S345，混合器134向像素生成器114输出在场间内插空间迁移处理中计算的向上迁移与向下迁移的乘积，以及在步骤S344中计算的误差量。

通过上述处理，计算由于包含场间内插像素的图像以及包含场内内插像素的图像的内插而在每个像素中发生的误差量。

现在描述返回图36所示的流程图。

在步骤S324，关于未处理的像素，像素生成器114确定从场间内插空间迁移分析器133提供的、场间内插空间迁移中向上迁移与向下迁移的乘积是否为正。当确定该乘积为正时，在步骤S325，像素生成器114采用从时间内插器112提供的场间内插图像。即，因为相对空间上邻近的像素的像素值、场间内插像素的像素值单调增加或单调减少，所以很可能生成了空间上自然的像素，从而原样使用场间内插像素。

在另一方面，当在步骤S324确定向上迁移与向下迁移的乘积不为正时，在步骤S326，像素生成器114确定误差量是否大于门限th。当确定误差量大于门限th时，该处理行进到步骤S327。

在步骤S327，像素生成器114采用从空间内插器111提供的场内内插像素。即，误差量大于门限th表示场间内插像素的误差量显示比场内内插像素的误差量大的比例，从而采用场内内插像素。

在另一方面，当在步骤S326确定误差量不大于门限th时，表示场间内插像素的误差量不大于场内内插像素的误差量。由此，该处理行进到步骤S325，其中像素生成器114采用场间内插像素作为目标像素。

在步骤S328，像素生成器114确定是否存在还未被生成的未处理像素。当确定存在还未被生成的未处理像素时，该处理行进到步骤S324，并且重复以后的步骤。在另一方面，当确定不存在还未被生成的未处理像素时，在步骤S329，像素生成器114输出包含生成像素的图像。

通过根据生成像素的时间或空间关系来计算误差量，就可能适当地切换内插方法。这有利于抑制非自然像素的生成。例如，当通过转换解晰度放大图47所示格栅状图像时，根据现有技术，由场间内插生成的像素的像素值不自然，如图48所示，其显示具有斑点误差的像素。

图49显示根据场间内插空间迁移的结果、图48所示图像的像素中超过预定门限的像素(即对其发生了复查)的分布。在图49与50中，斜线区域表示发生了误差的像素。

图50显示根据场间内插时间迁移的结果、图48所示图像的像素中超过预定门限的像素(即对其发生了复查)的分布。

由此，对于图49与50中指示误差的每个像素，认为误差量超过了门限th。由此，在图49与50中指示的任一情况下，通过借助场内内插生成像素，抑制了斑点误差，例如，如图51所示。

虽然已经在根据误差量、在场间内插像素与场内内插像素之间切换的情景下描述了以上例子，但是可替换地，例如，可以通过根据误差量按不同比例混合场内内插像素与场间内插像素来生成像素。

另外，虽然在上述例子中当通过场间内插生成像素时使用了两场，但是可以使用很多场来进行场间内插。

根据以上所述，可能计算每个场间内插像素或场内内插像素中的误差量。另外，可能通过根据所计算的误差量切换生成像素的方法(即内插方法)来生成像素。

上述一系列处理可以由硬件也可由软件执行。当这一系列处理由软件执行时，构成该软件的程序安装在嵌入特殊硬件的计算机上，或者从记录介质上安装到允许利用在其上安装的各种程序执行各种功能的通用个人计算机等等之上。

图52显示根据本发明实施方式的个人计算机的结构，其中图2或图32所示的图像处理装置20以软件实现。该个人计算机的中央处理器(CPU)501控制个人计算机的整体操作。当收到用户从输入单元506通过总线504与输入/输出接口505输入的命令时，CPU 501执行在只读存储器(ROM)502中存储的相应程序，输入单元506包含(例如)键盘与鼠标。可替换地，CPU 501在随机访问存储器(RAM)503中加载并执行从连接到驱动器510并且安装在存储单元508中的磁盘521、光盘522、磁光盘523、或半导体存储器524读取的程序。由此，以软件实现图2或图32所示的图像处理装置20的功能。另外，CPU 501控制通信单元509以与外部设备通信并交换数据。

程序记录在记录介质上，该记录介质与计算机分离地分发，以向用户提供程序，例如诸如磁盘521(例如软盘)、光盘522(例如密致盘只读存储器(CD-ROM)或数字多用途盘(DVD))、磁光盘523(例如迷你盘(MD))、或半导体存储器524等打包介质，如图52所示。可替换地，该承载程序的记录介质可以为ROM 502或在存储单元508中包含的硬盘，其包含在计算机中被提供给用户。

根据在记录介质上记录的程序执行的步骤不一定按所述顺序依次执行，并且可以包含并行或分别执行的步骤。

Claims (9)

1.一种图像处理装置，包含：

块运动向量检测部件，用来通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；

差异计算部件，用来根据由块运动向量检测部件检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素；

像素运动向量选择部件，用来选择最小化由差异计算部件计算的差异的一个块运动向量，作为目标像素的像素运动向量；

场间内插像素生成部件，用来根据由像素运动向量选择部件选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；

场内内插像素生成部件，用来通过使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；

误差量计算部件，用来根据由场间内插像素生成部件生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、由场内内插像素生成部件生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及

像素值确定部件，用来使用由场间内插像素生成部件生成的像素值以及由场内内插像素生成部件生成的像素值，根据由误差量计算部件计算的误差量，确定目标像素的像素值。

2.如权利要求1所述的图像处理装置，进一步包含：辅助信息生成部件，用来为第一场上的像素与第二场上的像素生成相应的辅助信息，其中像素运动向量选择部件选择如下一个块运动向量作为目标像素的像素运动向量，对于该块运动向量，第一场上的像素的辅助信息与第二场上的像素的辅助信息相同，并且对于该块运动向量，由差异计算部件计算的差异被最小化。

3.如权利要求2所述的图像处理装置，其中所述相应的辅助信息为表示各个像素边沿方向的代码。

4.如权利要求2所述的图像处理装置，进一步包含：像素运动向量计算部件，用来当第一场上的像素的辅助信息与第二场上的像素的辅助信息相互不同时，通过根据目标像素与多个块的各个参照位置之间的距离平滑该多个块的块运动向量，来计算目标像素的像素运动向量。

5.如权利要求1所述的图像处理装置，进一步包含：

场间内插像素空间迁移信息计算部件，用来计算由场间内插像素生成部件生成的目标像素的像素值与垂直或水平邻近目标像素的像素的像素值之间差异的绝对值和，作为场间内插像素空间迁移信息；

场间内插像素时间迁移信息计算部件，用来计算由场间内插像素生成部件生成的目标像素的像素值与在时间上先于与后于目标像素所存在的场的场上的像素的像素值之间差异的绝对值和，作为场间内插像素时间迁移信息，所述这些像素位于相应于目标像素的位置上；以及

场内内插像素时间迁移信息计算部件，用来计算由场内内插像素生成部件生成的目标像素的像素值与在时间上先于与后于目标像素所存在的场的场上的像素的像素值之间差异的绝对值和，作为场内内插像素时间迁移信息，所述这些像素位于相应于目标像素的位置上；

其中，误差量计算部件根据场间内插像素空间迁移信息、场间内插像素时间迁移信息、以及场内内插像素时间迁移信息，计算误差量。

6.一种图像处理方法包含，以下步骤：

块运动向量检测步骤，用来通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；

差异计算步骤，用来根据在块运动向量检测步骤中检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素；

像素运动向量选择步骤，用来选择最小化在差异计算步骤中计算的差异的一个块运动向量，作为目标像素的像素运动向量；

场间内插像素生成步骤，用来根据在像素运动向量选择步骤中选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；

场内内插像素生成步骤，用来通过使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；

误差量计算步骤，用来根据在场间内插像素生成步骤中生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、在场内内插像素生成步骤中生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及

像素值确定步骤，用来使用在场间内插像素生成步骤中生成的像素值以及在场内内插像素生成步骤中生成的像素值，根据在误差量计算步骤中计算的误差量，确定目标像素的像素值。

7.一种记录介质，在其上记录了计算机可读程序，该程序包含：

块运动向量检测控制步骤，用来控制通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；

差异计算控制步骤，用来控制根据在块运动向量检测控制步骤中检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来控制生成目标像素；

像素运动向量选择控制步骤，用来控制选择最小化在差异计算控制步骤中计算的差异的一个块运动向量，作为目标像素的像素运动向量；

场间内插像素生成控制步骤，用来控制根据在像素运动向量选择控制步骤中选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；

场内内插像素生成控制步骤，用来控制使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；

误差量计算控制步骤，用来控制根据在场间内插像素生成控制步骤中生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、在场内内插像素生成控制步骤中生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及

像素值确定控制步骤，用来控制使用在场间内插像素生成控制步骤中生成的像素值以及在场内内插像素生成控制步骤中生成的像素值，根据在误差量计算控制步骤中计算的误差量，确定目标像素的像素值。

8.一种允许计算机执行包含以下步骤的处理的程序：

块运动向量检测控制步骤，用来控制通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；

差异计算控制步骤，用来控制根据在块运动向量检测控制步骤中检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来控制生成目标像素；

像素运动向量选择控制步骤，用来控制选择最小化在差异计算控制步骤中计算的差异的一个块运动向量，作为目标像素的像素运动向量；

场间内插像素生成控制步骤，用来控制根据在像素运动向量选择控制步骤中选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；

场内内插像素生成控制步骤，用来控制使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；

误差量计算控制步骤，用来控制根据在场间内插像素生成控制步骤中生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、在场内内插像素生成控制步骤中生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及

像素值确定控制步骤，用来控制使用在场间内插像素生成控制步骤中生成的像素值以及在场内内插像素生成控制步骤中生成的像素值，根据在误差量计算控制步骤中计算的误差量，确定目标像素的像素值。

9.一种图像处理装置，包含：

块运动向量检测单元，用来通过块匹配，检测包含目标像素的块与邻近该包含目标像素的块的多个块的各自块运动向量；

差异计算单元，用来根据由块运动向量检测单元检测的每个块运动向量，计算第一场上的像素与第二场上的像素的像素值之间的差异，这些像素用来生成目标像素；

像素运动向量选择单元，用来选择最小化由差异计算单元计算的差异的一个块运动向量，作为目标像素的像素运动向量；

场间内插像素生成单元，用来根据由像素运动向量选择单元选择的像素运动向量，使用第一场上的像素与第二场上的像素，通过场间内插，生成目标像素的像素值；

场内内插像素生成单元，用来通过使用垂直或水平邻近目标像素的像素，通过场内内插，生成目标像素的像素值；

误差量计算单元，用来根据由场间内插像素生成单元生成的目标像素的像素值、垂直或水平邻近目标像素的像素的像素值、由场内内插像素生成单元生成的目标像素的像素值、以及在时间上先于与后于目标像素所存在的场的场上的像素的像素值，计算发生的误差量，所述这些像素位于相应于目标像素的位置上；以及

像素值确定单元，用来使用由场间内插像素生成单元生成的像素值以及由场内内插像素生成单元生成的像素值，根据由误差量计算单元计算的误差量，确定目标像素的像素值。

Images