CN101237553B - 确定插值方法的程序、装置及方法 - Google Patents

Abstract

本发明提供一种确定用于对在输入图像中不存在且位于一条直线上的多个像素的各像素值进行插值的像素值插值方法的方法，其包括以下步骤：将所述多个像素之一依次选择为对象像素的步骤；分别针对多个相关计算方向，根据从所述对象像素出发位于相关计算方向及其相反方向的第一和第二像素的像素值，计算与相关计算方向对应的局部相关值的步骤；根据所述局部相关值和刚刚选择出的其它像素的累积相关值，来分别按照各所述多个相关计算方向对所述对象像素计算累积相关值的步骤；根据所述累积相关值，选择一个相关计算方向的步骤；以及根据所述局部相关值和/或所述累积相关值，确定对象像素的插值中使用的多个像素的步骤。

Description

确定插值方法的程序、装置及方法

技术领域

本发明涉及确定对像素进行插值(interpolation)的方法的技术。

背景技术

在将隔行扫描(interlace)形式的图像转换为逐行扫描(progressive)形式的IP转换(隔行/逐行转换)、静态图像或动态图像(moving picture)的放大处理中，需要在输入的原图像中插值其所不具有的像素。在将希望插值的像素称为“对象像素”时，一般针对一个对象像素选择多个像素，根据这些多个像素的像素值来计算出对象像素的像素值，从而插值该对象像素。

进行像素插值时存在多种方法，可根据如何选择上述多个像素的第一观点、和根据所选择的多个像素的像素值如何计算出对象像素的像素值的第二观点来分类。以下特别对在IP转换中进行像素插值的方法，从第一观点来对关联技术进行概述。

在对IP转换进行说明之前，首先对隔行扫描方式和逐行扫描方式进行说明。在用于在显示器上显示动态图像的扫描方式中，存在隔行扫描方式和逐行扫描方式。隔行扫描方式为交互重复仅奇数扫描线的扫描和仅偶数扫描线的扫描的方式，使用在模拟输入的电视等中。另一方面，逐行扫描方式为扫描全部的扫描线的方式，使用在个人计算机的CRT(Cathode Ray Tude，阴极射线管)显示器等中。另外，“隔行扫描”和“逐行扫描”的名称还可以用作对应于上述扫描方法的差异而生成的各图像形式的名称。

例如，在帧频为30fps(frames per second，帧/秒)的情况下、即每秒的帧数为30的情况下，逐行扫描图像为由每秒30张的帧图像构成的动态图像。另一方面，由于两个场(field)与一个帧对应，所以在该情况下，隔行扫描图像由每秒60张的场图像构成。与一个帧对应的两个场的一方称为“奇数场”，另一方称为“偶数场”。奇数场的场图像仅包括奇数线的像素数据，偶数场的场图像仅包括偶数线的像素数据。另外，显示器中的1条扫描线与图像中的1行对应。在帧频为30fps的情况下，在逐行扫描图像中，1张帧图像中的第n行和第(n+1)行对应于相同时刻，但在隔行扫描图像中，第n行和第(n+1)行之间存在1/60秒的偏差。

以下，将存在像素数据的行称为“实行”，将不存在像素数据的空白行称为“插值行”。即，在奇数场中奇数行为实行且偶数行为插值行，在偶数场中则相反。另外，将实行上的像素称为“实像素”。

IP转换为将隔行扫描图像接收为输入，并转换为逐行扫描图像而输出的处理。在将输入的隔行扫描图像的帧频设为f时，每秒存在2f张的场图像。IP转换为对插值行上的像素进行插值的处理。其结果，与各场图像对应地，取得所有行的像素的数据齐备的图像。即，取得帧频为2f的逐行扫描图像。

为了在IP转换中取得高画质的逐行扫描图像，需要检测出对象像素附近的运动和边缘的方向，来适当地插值。在实现这样的插值的一个方法中，有运动自适应IP转换。

在运动自适应IP转换中，在检测出运动的情况下，在相同场图像内进行根据存在于对象像素的上下的行的像素的像素值来插值对象像素的场内插值。另一方面，在静止的情况下，进行在包括对象像素的场的前后的场图像中根据位于与对象像素相同位置处的像素的像素值来插值对象像素的场间插值。即，从第一观点出发，运动自适应IP转换的特征在于，在检测出运动时选择相同场内的像素，在没有检测出运动时选择前后场内的像素。

运动自适应IP转换与如运动补偿IP转换那样针对每个像素求出运动向量来进行插值的方法相比，具有处理量少的优点，但具有插值的精度不佳的缺点。因此，将精度的提高作为目的，提出了各种方法的运动自适应IP转换(motion adaptive IP conversion)。

例如，最简单的运动自适应IP转换的方法为图1所示方法。在该方法中，在检测出运动时，在场内插值中使用要进行插值的对象像素的位置的正上方和正下方的像素。以下，使用x坐标来表示水平方向，使用y坐标来表示垂直方向，使用正方形来表示各像素。x坐标在图像的左端值为0，越靠右值变得越大，y坐标在图像的上端值为0，越靠下值变得越大。在图1中，输入的隔行扫描图像仅包括y＝0、2、4、6的行，y＝1、3、5的各行为插值行。因此，在隔行扫描图像包括图1的左侧所示那样的倾斜的边缘的情况下，在插值后的逐行扫描图像中，如图1的右侧所示，产生称为锯齿失真(jaggy)的阶梯状的锯齿状态。

在使用(x，y)坐标来表示像素的位置时，例如(2，3)的像素根据位于正上方的(2，2)的白色像素和位于正下方的(2，4)的黑色像素来进行插值。例如，该两个像素的像素值的平均值作为对象像素的像素值进行分配，对象像素插值成灰色。(3，3)的像素也同样地插值成灰色。其结果，在逐行扫描图像中产生锯齿失真。倾斜的边缘的其他部分、即(0，5)和(1，5)的部分以及(4，1)和(5，1)的部分也同样。

但是，如果(0，5)、(2，3)、(4，1)的各像素插值成白色，且(1，5)、(3，3)、(5，1)的各像素插值成黑色时，应取得包括平滑的倾斜的边缘而无锯齿失真的逐行扫描图像。即，在如图1所示那样简单地使用正上方和正下方的像素的方法中，有时无法取得高画质的插值结果。

因此，提出专利文献1～4等方法。另外，在以下的说明中，为了将用词统一来易于理解，改变在各文献中使用的用词的一部分来进行说明。

图2是说明专利文献1中记载的插值方法的图。在该方法中，在确定使用位于哪个方向的像素来对对象像素T进行插值时，还利用与对象像素T所处的行上下邻接的两行以外的行。

在图2中，对象像素T位于(3，3)。将对象像素T作为中心，针对几个方向计算出y＝2的行上的像素和y＝4的行上的像素之间的相关。例如垂直方向与(3，2)的白色像素和(3，4)的黑色像素的组对应，所以相关较弱。另一方面，使用将(5，2)的黑色像素和(1，4)的黑色像素连接的箭头来表示的右上方向检测为相关最强的方向。相同地，检测出在对象像素T的正上方2行的位置(3，1)的参照像素R1处使用箭头表示出的垂直方向的相关较强，在正下方2行的位置(3，5)的参照像素R2处使用箭头表示出的左上方向的相关较强。

针对参照像素R2检测出的左上方向为右上方向的相反方向。在专利文献1中，在检测出这样的相反方向的情况下，考虑在对象像素T的周边具有较强相关的方向的整合性，将对象像素T的插值方向设为垂直方向而非倾斜方向。另外，“插值方向为垂直方向”是指，根据位于与垂直方向对应的(3，2)和(3，4)的两个像素的像素值来插值对象像素T。在参照像素R1和对象像素T处检测出的方向为相反方向的情况下也相同。

图3是说明专利文献2中记载的插值方法的图。在专利文献2的方法中，位于对象像素T的正上方2行的位置处的像素也利用为参照像素R。在该方法中，将与对象像素T相关的右上方向的相关值和与参照像素R相关的右上方向的相关值相加，计算出右上方向的相关。对于左上方向来说也相同。其结果，相关较强的一方的方向如果示出比规定阈值强的相关，则选择为插值方向。

在图3的示例中，对于右上方向的相关，在对象像素T处弱，在参照像素R处强。因此，根据两个相关值的和，右上方向的相关判断为整体较弱。另外，对于左上方向的相关，在对象像素T处强，在参照像素R处弱。因此，根据两个相关值的和，左上方向的相关也判断为整体较弱。其结果，在该示例中，将对象像素T和参照像素R这两者相关强的方向即垂直方向选择为对象像素T的插值方向。

图4是说明专利文献3中记载的插值方法的图。在该方法中，根据包括多个像素的区域彼此的相关而非像素彼此的相关，来确定插值方向。例如，如图4所示，利用由3×3＝9个像素构成的区域。

在以对象像素T为中心的中心像素区域A中，上面的行的3个像素和下面的行的3个像素为实像素。相同地，位于中心像素区域A的斜左上方的周边像素区域B1和位于中心像素区域A的斜右下方的周边像素区域B2中，上下的行也分别为实行，中央的行为插值行。图4中仅图示出以中心像素区域A为中心位于对称位置处的两个周边像素区域B1和B2，但实际上，环绕中心像素区域A的周围，例如存在10个周边像素区域B1～B10。

针对各区域，计算出包含在该区域中的像素的像素值的加权和。然后，根据该加权和，计算出中心像素区域A和各周边像素区域Bj(j＝1，2，…)之间的相关。例如，连接周边像素区域B1和B2的左上方向的相关为中心像素区域A和周边像素区域B1的相关值、以及中心像素区域A和周边像素区域B2的相关值的和。

如此针对各方向计算出相关值，将相关最强的方向选择为插值方向。图4是将连接周边像素区域B1和B2的左上方向选择为插值方向的情况的图。然后，在对象像素T的上下行上，选择从对象像素T出发位于插值方向上的两个像素，根据这两个像素的像素值来插值对象像素T。

图5是说明专利文献4中记载的插值方法的图。例如，对象像素T的右上的像素和左下的像素的相关强，作为在对象像素T处相关最强的方向，设为检测出(1)所示的右上方向。另一方面，在与对象像素T的左右邻接的参照像素R1以及R2处，相反地左上方向检测为相关最强的方向。

由此，在对象像素T处检测为相关最强的方向和在参照像素R1或R2处检测出的方向为左右相反的方向的情况下，有可能是错误检测。在这样的情况下，为了防止在错误的倾斜方向上的插值，如(2)所示，将对象像素T处的插值方向修正为垂直方向。

但是，在(3)所示情况下，向垂直方向的修正不适当。将具有针对对象像素T在(1)中检测出的右上方向的倾斜度且通过对象像素T的直线L、和对象像素T所处的插值行的上下方的插值行交叉的位置处的像素，设为参照像素R3以及R4。在参照像素R3或R4处，作为相关最强的方向检测出与直线L的倾斜度相同的方向的情况下，如(4)所示，将对象像素T处的插值方向再次修正为原来的右上方向。

在以上说明的方法中，在将相对于对象像素位于哪个方向的像素选择为插值用的像素的方面各自不同，但共同点在于，考虑对象像素周围的像素。但是，即使如此考虑对象像素周围的像素也存在插值方向容易弄错的类型的图像。

如图6所示，这样的图像的一个示例为在平坦的背景上如编带那样存在细斜线的图像。在图6中，在白色的背景上存在右上方向的黑色细线。例如，位于插值行上的(3，3)的像素由于位于该黑色的线上，所以优选插值成黑色。

在将(3，3)的像素设为对象像素时，在(4，2)和(2，4)处都存在黑色的像素，所以右上方向即与黑色线相同方向的相关强。另一方面，由于该黑色的线细，所以都属于白色的背景的(2，2)和(4，4)的相关也强。即，在(3，3)处，右上方向和左上方向这双方的相关为大致相同的强度。在插值行上应插值成黑色的其他像素处，上述情况也相同。

另外，在一般的图像中，即使表现为相同颜色但像素值稍微不同的情况较多。因此，这样的像素值稍有差异，其结果例如有可能检测为在(3，3)处右上方向的相关最强，在(5，1)处左上方向的相关最强。于是，在(3，3)处黑色线被正确地插值，但(5，1)被插值成背景的颜色，在(5，1)处造成黑色线中断。

即，在对象像素处使用位于相关最强的方向的像素来进行插值时，其结果弄错插值方向，如图6所示造成产生线中断的不整齐的图像。另外，即使使用专利文献1～4等考虑周围像素的方法，在图6那样的图像中，由于在对象像素处检测为相关最强的方向的方向和在周围的像素处检测为相关最强的方向的方向为相反方向，所以会弄错插值方向。

[专利文献1]日本特开2003-230109号公报

[专利文献2]WO 2004/017634号公报

[专利文献3]日本特开2005-341337号公报

[专利文献4]日本特开2003-143555号公报

如上所述，提出了运动自适应IP转换的几个方法，但在插值中使用的像素的选择方法中，存在改善的余地。另外，使用哪个像素来如何插值的插值方法的确定方法不限于运动自适应IP转换，可普遍广泛地应用于像素的插值。

发明内容

本发明的课题在于，提供为了获得高画质的插值结果而确定用于插值输入图像中不存在的像素的插值方法的程序、装置及方法。

本发明的课题在于，提供为了获得高画质的插值结果而确定用于插值输入图像中不存在的像素的插值方法的程序、装置、及方法。

通过本发明的一个方式(aspect)来提供的像素值的插值方法确定程序使计算机执行确定用于对输入图像中不存在且位于一条直线上的多个像素的各像素值进行插值的插值方法的处理。所述插值方法确定程序也可以存储在计算机可读取的存储介质中来提供。

所述处理具有如下的步骤：对象像素选择步骤，在该步骤中，按照指定的选择顺序方向依次将所述多个像素中的一个像素选择为应确定所述插值方法的对象像素；局部相关值计算步骤，在该步骤中，分别针对所指定的多个相关计算方向，根据从所述对象像素出发位于所述相关计算方向的第一像素的像素值和从所述对象像素出发位于所述相关计算方向的相反方向的第二像素的像素值，来计算与所述相关计算方向对应的局部相关值；累积相关值计算步骤，在该步骤中，根据与所述相关计算方向对应的所述局部相关值、和在紧接选择所述对象像素之前的所述选择步骤中选择出的其它像素的累积相关值，来分别按照各所述多个相关计算方向对所述对象像素计算累积相关值，其中，该累积相关值是根据对所述多个像素中的按照所述选择顺序方向顺序为开头的像素即开头像素赋予的值，而从所述开头像素按照所述选择顺序方向逐次分别针对所述多个像素计算出的相关值；方向选择步骤，在该步骤中，根据分别与所述多个相关计算方向对应的所述累积相关值，选择所述多个相关计算方向之一；以及插值用像素确定步骤，在该步骤中，根据与在所述方向选择步骤中选择出的所述相关计算方向对应的所述局部相关值和所述累积相关值中的至少一方，来确定所述对象像素的插值中使用的多个像素。

通过本发明的另一方式提供的插值方法确定装置按照上述插值方法确定程序来动作，通过本发明的又一方式提供的插值方法确定方法由上述计算机来执行。

根据本发明的实施方式，不仅考虑局部相关值而且还考虑累积相关值来确定对象像素的插值方法，所以可进行不仅是对象像素的附近，而且还反映出更宽范围内的相关的全局(global)倾向的插值。

由于图像不同，在仅根据局部(local)相关来确定插值方法时，有时造成进行不适当插值的情况。但是，在根据本发明的实施方式来确定对象像素的插值方法时，可进行反映出相关的全局倾向的插值，所以针对这样的图像，也可以取得良好的插值结果。

附图说明

图1是说明通过以往的插值方法而产生锯齿失真的情况的图。

图2是说明专利文献1中记载的插值方法的图。

图3是说明专利文献2中记载的插值方法的图。

图4是说明专利文献3中记载的插值方法的图。

图5是说明专利文献4中记载的插值方法的图。

图6是易弄错插值方向的图像的示例。

图7是示出在第一和第二实施方式(embodiment)中共同的原理的功能模块结构图。

图8是示出在第一和第二实施方式中共同的原理的流程图。

图9是第一实施方式中的像素值插值装置的功能模块结构图。

图10是第一实施方式中的插值处理的流程图。

图11是说明第一实施方式中的局部相关值的图。

图12是说明第一实施方式中的累积相关值的计算的具体例的图。

图13是第一实施方式中的局部相关值和累积相关值的计算的流程图。

图14是第一实施方式中的场内插值的流程图。

图15是说明通过场内(intra-field)插值来计算像素值的图。

图16是示出场内插值方向的确定例的图。

图17是说明利用局部相关值来确定场内插值用像素并进行插值的以往例的图。

图18是说明在第一实施方式中利用累积相关值来确定场内插值用像素并进行插值的示例的图。

图19是造成插值错误连锁的以往的插值方法的示例。

图20是通过将第一实施方式变形后的插值方法确定处理来对与图19相同的图像进行处理时的图。

图21是第二实施方式中的像素值插值装置的功能模块结构图。

图22是第二实施方式中的插值处理的流程图。

图23是说明第二实施方式中的考虑了插值完成像素的空间相关值rel_skew的计算方法的图。

图24是说明考虑插值完成像素的优点的图。

图25是说明第二实施方式中的时间相关值rel_xt、rel_yt的图。

图26是说明纵线快速移动的图像中的时间相关值rel_xt、rel_yt的特征的图。

图27A是说明第二实施方式中的时间相关值rel_yt 2的图。

图27B是说明第二实施方式中的时间相关值rel_yt 2的图。

图28说明斜线快速移动的图像中的时间相关值rel_xt、rel_yt 2的特征的图。

图29是第二实施方式中的混合插值的流程图。

图30是示出时间相关值及空间相关值和权重系数w_t、w_s之间的关系的图。

图31是执行第一或第二实施方式的程序的计算机的框图。

具体实施方式

以下，参照附图来详细说明本发明的实施方式。以第一实施方式、第二实施方式、变形例的顺序来说明第一和第二实施方式中共同的原理。

首先，参照图7和图8来对第一和第二实施方式中共同的原理进行说明。图7是示出第一和第二实施方式中共同的原理的功能模块结构图，图8是示出第一和第二实施方式中共同的原理的流程图。

图7的插值方法确定装置100是确定用于插值像素值的插值方法的装置，其具有存储部101、对象像素选择部102、局部相关值计算部103、累积相关值计算部104、方向选择部105、以及插值用像素确定部106。

向插值方法确定装置100的输入是要进行像素插值的输入图像，输入图像存储在存储部101中。通过按照由插值方法确定装置100所确定的插值方法来插值像素，从而取得期望的图像。例如，在输入图像为IP转换的对象即隔行扫描图像的情况下，通过插值来取得逐行扫描图像。或者，在输入图像为作为放大处理的对象即静态图像或动态图像的情况下，通过插值来取得放大的图像。

存储部101存储输入图像、后述的局部相关值以及累积相关值。在被提供输入图像时，插值方法确定装置100如图8所示进行插值方法确定处理。即，重复执行步骤S101～S106的循环。

在步骤S101中，对象像素选择部102依次从输入图像中逐次选择一个要插值像素即对象像素。

接下来在步骤S102中，局部相关值计算部103计算出针对在步骤S101中选择的对象像素的局部相关值，并存储在存储部101中。对于一个对象像素，计算分别与多个方向对应的多个局部相关值。以下，将这些方向称为“相关计算方向”。

接下来在步骤S103中，累积相关值计算部104计算针对在步骤S101中选择的对象像素的累积相关值，并存储在存储部101中。与局部相关值同样地，对于一个对象像素，计算分别与多个相关计算方向对应的多个累积相关值。累积相关值根据在以前的循环中的步骤S103中计算并存储在存储部101中的累积相关值、以及在之前的步骤S102中计算并存储在存储部101中的局部相关值来计算。

接下来在步骤S104中，根据在步骤S103中计算出的多个累积相关值，方向选择部105从多个相关值计算方向中选择一个。例如，选择与示出相关最强的值的累积相关值对应的相关值计算方向。

接下来在步骤S105中，插值用像素确定部106确定对象像素的插值中使用的多个像素。以下，将对象像素的插值中使用的像素称为“插值用像素”。插值用像素根据与在步骤S104中选择的方向对应的局部相关值或累积相关值中的至少一方来确定。在步骤S105的确定中，可以仅利用局部相关值和累积相关值的一方，也可以利用双方。在图7中，利用从局部相关值计算部103和累积相关值计算部104这双方朝向插值用像素确定部106的2条虚线箭头来表示该情况。

接下来在步骤S106中，对象像素选择部102判定是否还留有接下来要插值的像素。在留有要插值的像素时判定为“是”，处理返回步骤S101，在未留有要插值的像素时为“否”，处理结束。

通过如此重复执行步骤S101～S106，针对所有要插值的像素，确定插值用像素。例如，在输入图像为隔行扫描图像的情况下，在该隔行扫描图像中，水平的实行和水平的插值行交互排列。因此，通过预先指定例如“在步骤S101中按照从左至右的顺序依次选择对象像素”的顺序，从而插值行上的所有像素依次从左至右被选择为对象像素，针对各对象像素确定插值用像素。以下，将用于表示如此指定的顺序的“从左至右”等方向称为“选择顺序方向”。在步骤S101～S106中，按照选择顺序方向来重复执行，所以累积相关值也按照选择顺序方向来累积。

另外，如上所述，对于插值像素的方法，可通过针对一个对象像素如何选择多个插值用像素的第一观点、和如何根据所选择的多个插值用像素的像素值来计算对象像素的像素值的第二观点的组合来分类。上述说明的插值方法确定装置100的动作涉及第一观点。即，可从第二观点出发不同的多个方法中选择任意的方法，应用于各实施方式。

例如，从第二观点出发最简单的方法是将所确定的多个插值用像素的像素值的算术平均作为对象像素的像素值来分配的方法。另外，将该方法应用于图8的处理是指，“计算出在步骤S105中确定的多个插值用像素的像素值的算术平均，将计算出的值作为对象像素的像素值来分配，而插值对象像素”。

另外，图7的功能框中的存储部101可通过易失性存储器或可擦写非易失性存储器等硬件来实现，但其它功能模块可通过硬件、软件、固件、这些组合中的任一个来实现。例如，可通过分别独立的硬件来实现各功能模块。或者，对于多个功能模块，还可以通过共通的硬件和实现这些功能的软件来实现。如后所述，当然也可以通过一般的计算机来实现插值方法确定装置100。

接下来，针对本发明的第一实施方式，参照图9～图20来说明。首先，对第一实施方式中的假设和用词的定义进行叙述。

(a)在第一实施方式中，为了IP转换进行像素的插值。

(b)在各时刻t＝t₁、t₂、…、t_i、…时的场图像作为输入图像提供。例如在帧频为30fps的情况下，时刻t_i和时刻t_i+1之间为1/60秒。另外，利用标号F_i来表示时刻t_i时的场图像。以下，为了强调其是输入图像的情况，有时还将与上述各时刻对应的场图像称为“输入场图像”。

(c)以下，以对时刻t＝t_i时的场图像F_i内的像素插值的情况为例来说明。另外，也将场图像F_i称为“对象场图像”。

(d)将紧接对象场图像F_i之前的时刻t＝t_i-1时的场图像F_i-1称为“先行场图像”，将紧接对象场图像F_i之后的时刻t＝t_i+1时的场图像F_i+1称为“后续场图像”。在对象场图像F_i为偶数场图像的情况下，先行场图像F_i-1和后续场图像F_i+1为奇数场图像。在对象场图像F_i为奇数场图像的情况下，先行场图像F_i-1和后续场图像F_i+1为偶数场图像。

(e)假设各像素由一个像素值来表示，像素值假设为0至100范围内的整数。另外，假设像素值0表示黑色，像素值100表示白色，二者中间的像素值表示灰色。这些假设是为简化说明易于理解而进行的假设。对于插值彩色图像的情况，作为变形例在后面叙述。

(f)利用坐标(x，y)来表示图像内的像素位置。x轴为水平方向的轴，y轴为垂直方向的轴。对于x坐标，在图像的左端值为0，而越靠右值变得越大，对于y坐标，在图像的上端值为0，而越靠下值变得越大。另外，坐标利用像素数来表示。因此，表示各像素的位置的x和y值为非负整数。

(g)利用p(j，x，y)来表示在与时刻t_j对应的场图像F_j内位于(x，y)的实像素的像素值。

(h)选择顺序方向是针对一个插值行“从左至右”的方向。

(i)针对所有插值行以“从上至下”的顺序来确定插值方法。该“从上至下”的顺序与选择顺序方向没有关系。

(j)输入图像的尺寸、即各场图像的尺寸假设为水平方向N个像素且垂直方向M个像素的尺寸。即，0≤x≤N-1且0≤y≤M-1。

接下来，参照图9来简单说明第一实施方式中的像素值插值装置200的功能模块结构。图9的各结构要素的功能的详细内容在后面与流程图对应叙述。

图9的像素值插值装置200是图7的插值方法确定装置100的具体例之一。像素值插值装置200不仅确定像素值的插值方法，而且还根据所确定的方法来插值像素值，所以与插值方法确定装置100的名称不同。像素值插值装置200具有存储部201、对象像素选择部202、相关值计算部203、静止/运动(static/moving)判定部206、场内(intra-field)插值部207、场间(inter-field)插值部211。另外，相关值计算部203具有局部相关值计算部204和累积相关值计算部205，场内插值部207具有方向选择部208、场内插值用像素确定部209、以及场内插值像素值计算部210，场间插值部211具有场间插值用像素确定部212和场间插值像素值计算部213。在本实施方式中，所插值的图像存储在存储部201中。在图9中，利用从场内插值像素值计算部210和场间插值像素值计算部213朝向存储部201的箭头来表示该情况。

图9的像素值插值装置200包括将图7的插值方法确定装置100的各结构要素具体化的结构要素，另外还包括图7中没有的结构要素。图7和图9的对应关系如下。

存储部201与存储部101相同，与图7相比，在图9中更具体地示出所存储的内容。对象像素选择部202与对象像素选择部102对应，对选择顺序方向进行具体化。局部相关值计算部204和累积相关值计算部205分别与局部相关值计算部103和累积相关值计算部104对应，对局部相关值和累积相关值的计算式进行具体化。方向选择部208与方向选择部105对应，对所选择的基准进行具体化。场内插值用像素确定部209与插值用像素确定部106对应，对插值用像素的确定方法进行具体化。

接下来，参照图10的流程图来说明在第一实施方式中像素值插值装置200进行的插值处理。该插值处理包括确定像素值的插值方法的插值方法确定处理和按照该确定来插值像素值的处理。图10的处理是将图8的处理具体化后的处理。

在步骤S201中，对象像素选择部202对变量x和变量y进行初始化。变量x和变量y是表示对象像素坐标的变量。即，对象像素选择部202通过设定变量x和变量y的值，来选择对象像素。

为了实现按照上述假设(f)、(h)、(i)的动作，在步骤S201中，对象像素选择部202向x代入0，向y代入与时刻t_i对应的值的ofst。在时刻t_i与偶数场对应的情况下ofst的值为1，在时刻t_i与奇数场对应的情况下ofst的值为0。即，在时刻t_i与偶数场对应的情况下，插值行的y坐标为奇数，所以向y代入奇数1。相反，在时刻t_i与奇数场对应的情况下，插值行的y坐标为偶数，所以向y代入偶数0。初始化之后，进入步骤S202。

步骤S202～S209为二重循环。外侧的循环是用于依次从上至下逐次处理一个插值行的循环，与假设(i)关联。内侧的循环是用于在1个插值行中按从左至右的顺序逐次处理一个对象像素的循环，与假设(h)关联。

在步骤S202中，对象像素选择部202判定对象像素的位置(x，y)是否位于图像的下端的下方位置。根据假设(i)和(j)，比较y和M，即可进行判定。如果y≥M，则判定结果为“是”，如果y≤M-1，则判定结果为“否”。在判定结果为“是”的情况下，表示针对所有插值行处理已结束，所以结束图10的插值处理。在判定结果为“否”的情况下，表示还留有应处理的插值行，所以转到步骤S203。

在步骤S203中，对象像素选择部202判定对象像素的位置(x，y)是否位于图像的右端的右方的位置。根据假设(h)和(j)比较x和N，即可进行判定。判定结果，如果x≥N，则判定结果为“是”，如果x≤N-1，则判定结果为“否”。在判定结果为“是”的情况下，表示针对当前插值行上的所有像素处理结束，所以为了移到下一插值行，而转到步骤S209。在判定结果为“否”的情况下，表示在当前的插值行上还留有应处理的像素，所以转到步骤S204。

在步骤S204中，针对位于(x，y)的对象像素，相关值计算部203计算相关值。具体而言，局部相关值计算部204计算局部相关值，累积相关值计算部205计算累积相关值。局部相关值和累积相关值都存储在存储部201中。计算方法的详细内容将在后面叙述。

接步骤S204之后，在步骤S205中，静止/运动判定部206进行静止/运动判定。即，判定在时刻t_i在坐标(x，y)或其附近是否存在运动。静止/运动判定的具体方法为任意。

一般，在针对对象场图像F_i上的位于坐标(x，y)处的对象像素的静止/运动判定中，利用先行场图像F_i-1和后续场图像F_i+1。例如，也可以通过比较在先行场图像F_i-1和后续场图像F_i+1中分别位于(x，y)处的实像素的像素值p1和p2，来进行静止/运动判定。p1和p2根据上述(g)的表记法可利用式(1)和式(2)来表示。

p1＝p(i-1，x，y)    (1)

p2＝p(i+1，x，y)    (2)

例如，静止/运动判定部206也可以在由式(3)所示的⊿p超过规定的阈值pt的情况下判定为对象像素运动，而在⊿p为pt以下的情况下判定为对象像素静止。

⊿p＝|p2-p1|        (3)

另外也可以将位于(x，y)附近的像素使用于静止/运动判定中。另外，在如上所述那样将后续场图像F_i+1使用于静止/运动判定中的情况下，在时刻t_i+1后续场图像F_i+1输入到像素值插值装置200之后，开始针对对象场图像F_i的图10的处理。另外，为了进行静止/运动判定，至少直到图10的处理结束，先行场图像F_i-1需要存储在存储部201中而不删除。

在静止/运动判定的结果被判断为运动时、即在检测出运动时，处理转到步骤S206，在判定为静止时，处理转到步骤S207。

步骤S206是在静止/运动判定中检测出运动的情况下的处理。在该情况下，优选利用在对象场图像F_i的内部位于对象像素附近的像素来进行插值。因此，在步骤S206中，场内插值部207通过场内插值来插值对象像素，之后转到步骤S208。另外，处理的详细内容将在后面与图13对应叙述。

步骤S207是在静止/运动判定中判定为静止的情况下的处理。例如，在根据某静止/运动判定的方法，式(3)的⊿p为规定的阈值pt以下时，判定为静止。在该情况下，在时刻t_i-1至t_i+1的期间中，(x，y)的像素可视为像素值几乎没有变化。因此，包含在该期间内的时刻t_i时的像素值也可视为与p1和p2大致相同的值。因此，在步骤S207中，场间插值部211进行例如将(p1+p2)/2、p1、p2、或以适当的比例对p1和p2进行内分后的值等，作为对象像素的像素值来分配的处理。

即，场间插值用像素确定部212例如选择在先行场图像F_i-1和后续场图像F_i+1中分别位于(x，y)的两个实像素作为场间插值中使用的插值用像素，场间插值像素值计算部213根据这些选择出的插值用像素的像素值，计算对对象像素分配的像素值。然后在这些处理之后，转到步骤S208。

在步骤S208中，对象像素选择部202向变量x加1。即，对象像素选择部202将在步骤S206或步骤S207中插值的当前对象像素的右邻像素，选择为新对象像素。之后，返回步骤S203。

执行步骤S209直到1个插值行的末尾，在此处理的对象移到下一插值行。即，对象像素选择部202将0代入x，对y加2。在隔行扫描图像中，插值行和实行交替存在，所以对y加2而不是1。由此，下一插值行的左端像素选择为新对象像素。之后，返回步骤S202。

通过上述那样的处理，插值包含在对象场图像F_i中的所有插值行上的所有像素。

接下来，参照图11来说明在图10的步骤S204中计算的局部相关值。如对图8的步骤S102进行说明的那样，对于一个对象像素，计算出针对多个相关计算方向的局部相关值。图11是示出多个相关计算方向的示例和与这些相关计算方向对应的局部相关值的计算方法的图。

局部相关值是表示由中间夹着对象像素T位于对称的位置上的一个以上的像素构成的组之间的相关的强度的值。而且，根据相关计算方向来确定各组和对象像素T之间的相对位置关系，针对多个相关计算方向分别计算局部相关值。在第一实施方式的情况下，各组由1个像素或2个像素构成。另外，根据构成各组的像素的像素值来计算组之间的相关的强度。

在图11中，设为将对象场图像F_i的位于坐标(x，y)的像素选择为对象像素T状态。在图11中，图示出对象像素T、以及在对象像素T所处的插值行221的上下两个实行220和222中位于对象像素T附近的合计10个实像素。根据这些实像素的像素值来计算局部相关值。另外，针对对象像素T在图11中图示出九个相关计算方向。首先，如下这样定义用于说明的用词和记法。

·将九个相关计算方向分别称为c方向、r1方向、r2方向、r3方向、r4方向、l1方向、l2方向、l3方向和l4方向这样的名称。

·将插值行221的上下实行分别称为“上实行”、“下实行”，分别利用标号“220”、“222”来参照。

·分别使用由u0、u1、u2、u3、u4构成的标号来参照位于上实行220的(x-2，y-1)、(x-1，y-1)、(x，y-1)、(x+1，y-1)、(x+2，y-1)的像素。

·分别使用由d0、d1、d2、d3、d4构成的标号来参照位于下实行222的(x-2，y+1)、(x-1，y+1)、(x，y+1)、(x+1，y+1)、(x+2，y+1)的像素。

·上述10个实像素的像素值使用与该像素的标号相同的标号来表示。例如，像素u0的像素值利用“u0”来表示。因此，如下式(4)～式(13)那样定义。

u0＝p(i，x-2，y-1)    (4)

u1＝p(i，x-1，y-1)    (5)

u2＝p(i，x，y-1)      (6)

u3＝p(i，x+1，y-1)    (7)

u4＝p(i，x+2，y-1)    (8)

d0＝p(i，x-2，y+1)    (9)

d1＝p(i，x-1，y+1)    (10)

d2＝p(i，x，y+1)      (11)

d3＝p(i，x+1，y+1)    (12)

d4＝p(i，x+2，y+1)    (13)

首先对c方向进行说明。根据式(14)计算对象场图像F_i的位于坐标(x，y)的对象像素T与c方向对应的局部相关值c(i，x，y)。

c(i，x，y)＝|p(i，x，y-1)-p(i，x，y+1)|＝|u2-d2|    (14)

c方向为正上方的方向。因此，在局部相关值c(i，x，y)的计算中利用在上实行220上位于对象像素T的正上方方向的像素u2的像素值u2。另外，在局部相关值c(i，x，y)的计算中还利用以对象像素T为中心、位于与像素u2对称的位置处的像素d2的像素值d2。换言之，像素d2的位置是在下实行222上从对象像素T观察，位于c方向的相反方向即正下方方向的像素。

如式(14)所示，与c方向对应的对象像素T的局部相关值c(i，x，y)是像素值u2和像素值d2之差的绝对值，表示像素u2和像素d2之间的相关的强度。另外，从该定义可知，相关越强、即相关越大，局部相关值变得越小。

此处，在着眼于某一个对象场图像F_i内的某一个插值行时，i和y的值恒定，与从左至右依次选择对象像素T对应，仅x的值变化。因此，导入从式(4)删除变量i和变量y后的简略记法，以下利用式(15)的c(x)来表示c方向的局部相关值。

c(x)＝|u2-d2|                       (15)

接下来，对r1方向进行说明。利用式(16)来计算与r1方向对应的对象像素T的局部相关值r(x，1)。另外，r(x，1)的第二自变量的1与“r1方向”的“1”对应。

r(x，1)＝|(u2+u3)/2-(d1+d2)/2|      (16)

r1方向表示右上方向。“右上方向”一词表示包括多种倾斜度的右上方向的广义概念，但r1方向为特定倾斜度的右上方向，该倾斜度为“上1个像素，右0.5个像素”的倾斜度。在上实行220上与对象像素T的r1方向相当的是像素u2和像素u3的边界。相同地，r1的相反方向为“下1个像素，左0.5个像素”的倾斜度的左下方向。而且，在下实行222上从对象像素T观察位于r1的相反方向的是像素d1和像素d2的边界。

另一方面，在利用标号“U2_3”来参照由像素u2和像素u3构成的组时，组U2_3的中点是在上实行220上与对象像素T的r1方向相当的位置。另外，在利用标号“D1_2”来参照由像素d1和像素d2构成的组时，组D1_2的中点是在下实行222上从对象像素T观察与r1的相反方向相当的位置。这两个中点的x方向的距离为1。“r1方向”的名称中的“1”与该距离1对应。

此处，作为表示组U2_3的像素值，分配像素值u2和像素值u3的平均值，作为表示组D1_2的像素值，分配像素值d1和像素值d2的平均值。另外，这些像素值也使用与组相同的标号来参照。于是，式(16)的右边表示像素值U2_3和D1_2之差的绝对值。如式(14)所示，二值之差的绝对值可利用为表示该两个值之间的相关的强度的值。即，利用式(16)计算出的局部相关值r(x，1)是组U2_3和D1_2之间的相关的强度。

或者，式(16)也可以如下这样解释。假设位于像素u2和像素u3的中点并具有像素值u2和像素值u3的平均的像素值的虚拟像素。以下将该像素称为“虚拟像素”，利用标号“u2_3”来参照。相同地，假设位于像素d1和d2的中点并具有像素值d1和像素值d2的平均像素值的虚拟像素。以下利用标号“d1_2”来参照该虚拟像素。此处，在利用标号u2_3和d1_2来表示虚拟像素u2_3和d1_2的各像素值时，根据上述假设，与r1方向对应的局部相关值r(x，1)是像素值u2_3和像素值d1_2之差的绝对值，是虚拟像素u2_3和虚拟像素d1_2之间的相关的强度。

另外，根据上述假设可视为虚拟像素u2_3位于坐标(x+0.5，y-1)，虚拟像素d1_2位于坐标(x-0.5，y+1)，所以虚拟像素u2_3和d1_2的x方向的距离为1。“r1方向”这一名称中的“1”与该距离1对应。

以上为关于式(16)的两个解释的说明，归结而言，如以下的式(17)～式(19)那样表示。式(19)为与式(14)相似的形式。

U2_3＝u2_3＝(u2+u3)/2    (17)

D1_2＝d1_2＝(d1+d2)/2                 (18)

r(x，1)＝|U2_3-D1_2|＝|u2_3-d1_2|     (19)

另外，在不使用简略记法的情况下，可利用下式(20)来表示局部相关值r(x，1)。

r(i，x，y，1)＝|{p(i，x，y-1)+p(i，x+1，y-1)}/2

              -{p(i，x-1，y+1)+p(i，x，y+1)}/2|    (20)

接下来，对l1方向进行说明。l1方向表示左上方向。l1方向与r1方向左右对称，所以省略详细的说明。与r1方向相同地，利用式(21)来定义局部相关值l(x，1)。

l(x，1)＝|(u1+u2)/2-(d2+d3)/2|                     (21)

接下来对r2方向进行说明。r2方向表示右上方向，但与r1方向相比倾斜度较缓。利用式(22)来计算与r2方向对应的对象像素T的局部相关值r(x，2)。另外，r(x，2)的第二自变量的2与“r2方向”的“2”对应。

r(x，2)＝|u3-d1|                                   (22)

r2方向的倾斜度为“上1个像素，右1个像素”的倾斜度。因此，在上实行220上，与对象像素T的r2方向相当的是像素u3。另外，r2方向的相反方向为“下1个像素，左1个像素”的倾斜度的左下方向。因此，在下实行222上，从对象像素T观察，位于r2方向的相反方向的是像素d1。因此，与r2方向对应的局部相关值r(x，2)如式(22)所示为像素值u3和像素值d1之差的绝对值，表示像素u3和像素d1之间的相关的强度。另外，像素u3和像素d1在x方向的距离为(x+1)-(x-1)＝2。“r2方向”这一名称中的“2”表示该距离2。

另外，还可以解释为r(x，2)为仅由一个像素u3构成的组U3和仅由一个像素d1构成的组D1之间的相关。

接下来在对l2方向进行说明时，l2方向表示左上方向，是与r2方向左右对称的方向。因此，省略详细的说明，利用式(23)来定义局部相关值l(x，2)。

l(x，2)＝|u1-d3|               (23)

接下来对r3方向进行说明。r3方向表示右上方向，与r2方向相比倾斜度更缓。利用式(24)来计算与r3方向对应的对象像素T的局部相关值r(x，3)。r(x，3)的第二自变量的3与“r3方向”的“3”对应。

r(x，3)＝|(u3+u4)/2-(d0+d1)/2|          (24)

r3方向的倾斜度为“上1个像素，右1.5个像素”的倾斜度。因此，在上实行220上，与对象像素T的r3方向相当的是像素u3和像素u4的边界。因此，与r1方向的情况相同地，对由像素u3和像素u4构成的组U3_4分配像素值u3和像素值u4的平均值。或者，假设位于像素u3和像素u4的中点并具有像素值u3和像素值u4的平均像素值的虚拟像素u3_4。于是，与r(x，1)的计算的情况相同地，得到式(25)。

U3_4＝u3_4＝(u3+u4)/2                 (25)

另外，r3方向的相反方向为“下1个像素，左1.5个像素”的倾斜度的左下方向。而且，在下实行222上，从对象像素T观察，位于r3的相反方向的是像素d0和d1的边界。因此，与r1方向的情况相同地，对由像素d0和像素d1构成的组D0_1分配像素值d0和像素值d1的平均值。或者，假设位于像素d0和像素d1的中点并具有像素值d0和像素值d1的平均像素值的虚拟像素d0_1。于是，与r(x，1)的计算的情况相同地，得到式(26)。

D0_1＝d0_1＝(d0+d1)/2                 (26)

因此，与r3方向对应的局部相关值r(x，3)可以解释为两个组U3_4和D0_1之间的相关的强度，也可以解释为虚拟像素u3_4和d0_1之间的相关的强度。

接下来，对l3方向进行说明，l3方向表示左上方向，是与r3方向左右对称的方向。因此，省略详细的说明，利用式l(x，3)来定义局部相关值l(x，3)。

l(x，3)＝|(u0+u1)/2-(d3+d4)/2|        (27)

接下来对r4方向进行说明。r4方向表示右上方向，但与r3方向相比倾斜度更缓。利用式(28)计算与r4方向对应的对象像素T的局部相关值r(x，4)。r(x，4)的第二自变量的4与“r4方向”的“4”对应。

r(x，4)＝|u4-d0|                    (28)

r4方向的倾斜度为“上1个像素，右2个像素”的倾斜度。因此，在上实行220上与对象像素T的r4方向相当的是像素u4。另外，r4方向的相反方向为“下1个像素，左2个像素”的倾斜度的左下方向。因此，在下实行222上，从对象像素T观察，位于r4的相反方向的是像素d0。因此，与r4方向对应的局部相关值r(x，4)如式(28)所示为像素值u4和像素值d0之差的绝对值，表示像素u4和像素d0之间的相关的强度。另外，与r2方向的情况相同地，r(x，4)也可以解释为仅由像素u4构成的组U4和仅由像素d0构成的组D0之间的相关。

接下来，对l4方向进行说明，l4方向表示左上方向，是与r4方向左右对称的方向。因此，省略详细的说明，利用式(29)来定义局部相关值l(x，4)。

l(x，4)＝|u0-d4|                       (29)

以上，参照图11针对九个相关计算方向，分别说明了局部相关值的计算方法及其解释，但根据实施方式不同，应考虑的相关计算方向的数量为任意。在使用与式(14)或式(20)相同的不进行省略的记法时，可以以一般化的形式来表示右上方向的情况下的局部相关值的式子。即，可使用1以上的整数m，以下式(30)和式(31)这样表示。左上方向的情况也相同。

r(i，x，y，2m-1)

＝|{p(i，x+m-1，y-1)+p(i，x+m，y-1)/2-

{p(i，x-m，y+1)+p(i，x-m+1，y+1)}/2|                  (30)

r(i，x，y，2m)＝|p(i，x+m，y-1)-p(i，x-m，y+1)|       (31)

接下来，对图10的步骤S204中计算的累积相关值进行说明。如关于图8说明所示，累积相关值分别与多个相关计算方向对应。即，分别针对在上述计算了局部相关值的c方向、rj方向、lj方向(j＝1，2，3，4)，定义并计算累积相关值。另外，累积相关值通过按照选择顺序方向进行累积来计算。在第一实施方式中，根据假设(h)，选择顺序方向针对一个插值行为“从左至右”的方向。即，选择顺序方向为x坐标的值增加的方向。

以下，将针对位于坐标(x，y)的对象像素T的与c方向对应的累积相关值表示为C(x)，将与rj方向对应的累积相关值表示为R(x，j)，将与lj方向对应的累积相关值表示为L(x，j)。此处，j为1、2、3、4中的任一个。另外，与局部相关值的情况相同地，C(x)、R(x，j)、L(x，j)为简略记法。即，是在对象场图像F_i和y坐标恒定的情况下，仅着眼于x的变化的记法。

关于累积相关值，在首先集中示出定义之后进行说明。累积相关值在x＝0时利用式(32)～式(34)来定义，在x＞0时利用式(35)～式(43)来递归性定义。

C(0)＝0            (32)

L(0，j)＝BIG(j＝1，2，3，4)      (33)

R(0，j)＝BIG(j＝1，2，3，4)      (34)

C(x)＝min(L(x-1，1)，C(x-1)，R(x-1，1))+c(x)      (35)

R(x，4)＝min(R(x-1，4)，R(x-1，3))+r(x，4)        (36)

R(x，3)＝min(R(x-1，4)，R(x-1，3)，R(x-1，2))+r(x，3)

                                                  (37)

R(x，2)＝min(R(x-1，3)，R(x-1，2)，R(x-1，1))+r(x，2)

                                                  (38)

R(x，1)＝min(R(x-1，2)，R(x-1，1)，C(x-1))+r(x，1)

                                                  (39)

L(x，4)＝min(L(x-1，4)，L(x-1，3))+l(x，4)        (40)

L(x，3)＝min(L(x-1，4)，L(x-1，3)，L(x-1，2))+l(x，3)

                                                  (41)

L(x，2)＝min(L(x-1，3)，L(x-1，2)，L(x-1，1))+l(x，2)

                                                  (42)

L(x，1)＝min(L(x-1，2)，L(x-1，1)，C(x-1))+l(x，1)  (43)

在这些式中，min(a、b)表示a、b的最小值，min(c，d，e)表示c、d、e的最小值。另外，BIG是比作为累积相关值实际可取的值的上限大的任意常数。在将上述式视为数学模型的情况下，BIG相当于无限大。因此，对BIG加上什么样的值，其结果仍视为BIG，例如，如下式(44)这样计算。

L(1，2)

 ＝min(L(0，3)，L(0，2)，L(0，1))+l(1，2)

 ＝min(BIG，BIG，BIG)+l(1，2)

 ＝BIG+l(1，2)

 ＝BIG                                          (44)

接下来，对累积相关值的含义进行说明。如从上述递归性定义可知，累积相关值是对位于(x，y)的对象像素T的左侧的局部相关值进行累积相加而取得的值。根据上述定义，局部相关值非负，相关越大其值越小。因此，对局部相关值进行累积相加而取得的累积相关值也为非负，相关越大其值越小。因此，在式(35)～式(43)中，使用函数min表示在两个或三个累积相关值中选择相关最大的相关值，BIG表示相关无限小。

此处，对对象像素T的左侧的局部相关值进行累积相加，所以可知对象像素T位于图像左端的情况、即x＝0的情况为特别的情况。在x＝0的情况下，由于相关计算方向而无法计算累积相关值的值。参照图11来说明该情况。

在图11中，在x＝0的情况下，像素u0、u1、d0、d1不存在。例如，r2方向的局部相关值r(x，2)为从对象像素T观察位于r2方向的像素u3和从对象像素T观察位于r2方向的相反方向的像素d1之间的相关。因此，在x＝0时由于像素d1不存在，所以无法计算出局部相关值r(x，2)。此处，在针对各相关计算方向而定义这一点上，局部相关值和累积相关值相同。因此，如果像素d1不存在，则无法针对r2方向计算出局部相关值和累积相关值。根据相同的理由，在x＝0处，无法针对c方向以外的方向计算出累积相关值。

另一方面，c方向为在x＝0时唯一可计算的方向。因此，针对c方向，例如可使用局部相关值c(0)来定义累积相关值C(0)，但在本实施方式中，确定为利用式(32)来计算出累积相关值。如后所述，累积相关值C(0)对其他所有累积相关值均等地影响，但累积相关值利用在大小比较中。因此，累积相关值C(0)如式(32)那样确定为适当的常数也不会成为问题。另外，针对在x＝0时无法计算的rj方向以及lj方向(j＝1，2，3，4)，利用式(33)和式(34)一律定义为累积相关值为BIG。

接下来，说明x＞0时的式(35)～式(43)的含义。在式(35)～式(43)的任一个中，在利用当前对象像素T的左边一个像素计算出的多个累积相关值中的最小值与对象像素T的局部相关值之和这一点相同。另外，与某一相关计算方向d对应的累积相关值的计算中使用的局部相关值为与相同相关计算方向d对应的局部相关值这一点也在式(35)～式(43)中共同。

此处，在将图11所示的九个相关计算方向按照其倾斜的角度来排序时，成为l4方向、l3方向、l2方向、l1方向、c方向、r1方向、r2方向、r3方向、r4方向的顺序。在着眼于该顺序来观察式(35)～式(43)时，一般如下情况成立。即，在针对相关计算方向d的累积相关值的计算中，作为自变量而向函数min赋予的计算完成的累积相关值与相关计算方向d本身及其前后的相关计算方向对应。

例如，式(40)与l4方向对应。l4方向为上述顺序的第1个，所以比l4方向相比顺序靠前的相关计算方向不存在。因此，向函数min赋予与顺序为第1的l4方向和顺序为第2的l3方向对应的累积相关值。另外，式(41)与l3方向对应。由于l3方向的顺序为第2，所以向函数min赋予与顺序在其前后的方向、即顺序为第1的l4方向和顺序为第3的l2的方向对应的累积相关值作为自变量。

即，在各相关计算方向中，对应关联多个在与该相关计算方向对应的累积相关值的计算中应考虑的相关计算方向。以下，将如此对应关联的相关计算方向称为“关联方向”。例如，l4方向的关联方向为l4方向和l3方向这两个，c方向的关联方向为r1方向、c方向、l1方向这三个。

即，在各式(35)～(43)中，包含函数min的第1项意味着如下的2点。

·预先将与着眼的相关计算方向d接近的一个以上的相关计算方向和相关计算方向d本身，作为关联方向与相关计算方向d对应关联。

·关于对象像素T的左边一个的像素，选择与这些关联方向对应地计算出的多个累积相关值中相关最强的相关计算方向的累积相关值。

这两点直观上表示，在对象像素T左侧与和当前着眼的相关计算方向d接近的方向对应的相关倾向是强还是弱。此处，如果某一相关计算方向d的相关强，则在与该相关计算方向d接近的其它相关计算方向d’中，默认相关较强。

例如，考虑在某插值行上，在对象像素T的左侧，r1方向的局部相关值为最大的像素为大多数的情况。在该情况下，当然在对象像素T的左侧，r1方向的相关为强的倾向。另外，c方向和r2方向由于与r1方向接近，所以在对象像素T的左侧，推测为c方向和r2方向的相关也为较强的倾向。式(35)～式(43)的递归性定义反映出这样的直观理解。在该示例中，作为关联方向，与c方向和r2方向对应关联有r1方向，所以在与c方向和r2方向对应的累积相关值的累积相加中，利用函数min来选择并相加相关强的r1方向的累积相关值。其结果，C(x)和R(x，2)也成为表示较强的相关的值、即较小的值。

图12是说明在以上说明的累积相关值的计算的具体示例的图。在图12中，例示出与上实行220和下实行222之间的插值行221上的像素对应的累积相关值的计算。图12由示出针对坐标(x-1，y)的对象像素T1的累积相关值的计算的左列、示出针对坐标(x，y)的对象像素T2的累积相关值的计算的中央列、示出定义累积相关值的式子的右列构成。另外，各列从上到下依次分别示出r2方向、r1方向、c方向、l1方向、l2方向这五个方向。

图12的左列包括分别与针对坐标(x-1，y)的对象像素T1计算完成的累积相关值R(x-1，2)、R(x-1，1)、C(x)、L(x-1，1)、L(x-1，2)对应的计算说明图230、231、232、233、234。另外，在图12中，由于纸面限制仅示出五个相关计算方向，但假设针对未图示的r3方向等，也计算出局部相关值以及累积相关值。另外，在图12中，由于纸面限制，在水平方向即x方向上仅图示出7个像素，但实际上，在左右两侧还存在像素。

例如，从式(38)可知，针对对象像素T1的、与r2方向对应的累积相关值R(x-1，2)为三个累积相关值的最小值和局部相关值r(x-1，2)之和。局部相关值r(x-1，2)与r2方向对应。因此，在累积相关值R(x-1，2)的计算说明图230中，利用以对象像素T1为中心朝向r2方向及其相反方向的双向的实线箭头A14表示局部相关值r(x-1，2)。

相同地，在累积相关值R(x-1，1)的计算说明图231中，利用以对象像素T1为中心朝向r1方向及其相反方向的双向的实线箭头A18，表示局部相关值r(x-1，1)。

图12的中央列也与左列相同地，示出与五个相关计算方向对应的累积相关值的计算说明图235～239。在中央列中，对象像素T1的右邻像素、即坐标(x，y)的像素为对象像素T2。

例如，向表示针对对象像素T1的r1方向的累积相关值R(x，1)的计算的计算说明图236，分别从表示R(x-1，2)的计算的计算说明图230、表示R(x-1，1)的计算的计算说明图231、表示C(x-1)的计算的计算说明图232，伸出粗箭头A24、A25、A26。粗箭头A24、A25、A26表示在定义R(x，1)的式(39)中，作为自变量向函数min赋予R(x-1，2)、R(x-1，1)、C(x-1)这三者。另外，在图12中假设该三者中R(x-1，1)最小。因此，在3根粗箭头A24、A25、A26中，使用实线来仅示出与R(x-1，1)对应的粗箭头A25，使用虚线来示出其它2根粗箭头A24和A26。

对于表示累积相关值R(x，2)的计算的计算说明图235也相同。从与R(x-1，1)对应的计算说明图231发出的粗箭头A23、从与R(x-1，2)对应的计算说明图230发出的粗箭头A22、从与R(x-1，3)对应的未图示的计算说明图发出的粗箭头A21指向计算说明图235。另外，在图12中假设为在这3个累积相关值中R(x-1，1)最小。因此，使用实线来示出与R(x-1，1)对应的粗箭头A23，使用虚线来示出粗箭头A21和A22。

在上述的假设下，根据式(38)，R(x，2)为R(x-1，1)与局部相关值r(x，2)之和。在计算说明图235中，以对象像素T2为中心朝向r2方向及其相反方向的双向的实线箭头A35表示r(x，2)。

另外，在计算说明图235中，在实线箭头A35的左侧，存在4根双向虚线箭头。即，存在与(x-1)对应的虚线箭头A34、与(x-2)对应的虚线箭头A33、与(x-3)对应的虚线箭头A32、与(x-4)对应的虚线箭头A31。以下，对这些虚线箭头进行说明。

根据式(32)～式(43)的定义可知，累积相关值除了例外地值为BIG的情况以外，是一个以上的局部相关值之和。将这些局部相关值称为该累积相关值的“结构要素”。R(x，2)的计算说明图235中存在的虚线箭头A31～A34表示在R(x，2)的计算中利用函数min选择的R(x-1，1)的结构要素。

例如，如上所述，在R(x-1，1)中作为结构要素包括r(x-1，1)，其在计算说明图231中利用实线箭头A18来表示。另外，在该示例中，R(x，2)为R(x-1，1)和r(x，2)的和，所以R(x-1，1)的结构要素的r(x-1，1)还是R(x，2)的结构要素。因此，在计算说明图235中，存在与计算说明图231中的实线箭头A18对应的虚线箭头A34，虚线箭头A34表示r(x-1，1)。即，虚线箭头A34是以坐标(x-1，y)为中心朝向r1方向及其相反方向的双向虚线箭头。

同样地，计算说明图235中的虚线箭头A31、A32、A33分别与计算说明图231中的虚线箭头A15、A16、A17对应。即，在R(x，2)的计算中利用函数min选择出的R(x-1，1)的各结构要素也是R(x，2)的结构要素，所以计算说明图231中的虚线箭头朝向的图案紧接着计算说明图235中的虚线箭头朝向的图案。因此，R(x，2)作为结构要素包括c(x-4)、c(x-3)、r(x-2，1)、r(x-1，1)、r2(x，2)。这五个局部相关值分别与计算说明图235中的虚线箭头A31、虚线箭头A32、虚线箭头A33、虚线箭头A34、实线箭头A35对应。

另一方面，在比较表示R(x-1，2)的计算的计算说明图230和表示R(x，2)的计算的计算说明图235时，两者都与r2方向对应，但虚线箭头朝向的图案不同。其原因为，在R(x，2)的计算中没有利用函数min来选择R(x-1，2)。

另外，有时包含关联方向以外的方向的局部相关值作为累积相关值的结构要素。例如，与R(x，2)对应的r2方向的关联方向为r1方向、r2方向、r3方向这三个。另一方面，在表示R(x，2)的计算的计算说明图235中，存在与c方向对应的虚线箭头A31和A32。

图12的右列示出定义与五个相关计算方向对应的累积相关值的式子。即，示出上述式(38)、(39)、(35)、(43)、(42)。

以上，说明了局部相关值和累积相关值的定义和含义，所以接下来，对实际的计算步骤进行说明。图13是在图10的步骤S204中进行的相关值计算的流程图。图13示出局部相关值计算部204和累积相关值计算部205分别计算出利用上述的式子定义的局部相关值和累积相关值的处理。

另外，在图13中，假设为进行针对对象场图像F_i中位于(x，y)的对象像素T的计算来说明。另外，在图13中假设为x＞0。即，准确地说，图13是在图10的步骤S204中x＞0的情况下的流程图。

从局部相关值和累积相关值的定义可知，x＝0的情况为例外的情况。另外，在x＝0的情况下，除c方向以外无法计算出局部相关值和累积相关值，累积相关值计算部205按照式(33)和式(34)仅将累积相关值确定为规定的值并存储在存储部201中。因此，对于x＝0的情况，省略流程图。

另一方面，在x＞0的情况下，执行图13的处理。首先，在步骤S301中，局部相关值计算部204将-n代入变量k来进行初始化。变量k是用于指定多个相关计算方向之一的变量。n是(2n+1)为相关计算方向的数那样的规定的常数，是根据实施方式而预先确定的正整数。另外，优选在考虑为相关计算方向的方向中一定包括c方向、且右上方向的数量和左上方向的数量相同，在图13中将其默认为前提。

例如，在针对r4方向、r3方向、r2方向、r1方向、c方向、l1方向、l2方向、l3方向、l4方向这九个方向进行考虑的实施方式中，右上方向和左上方向分别为四个，所以n＝4。在变量k的初始化之后，转到步骤S302。

步骤S302～S305是改变变量k的值来重复执行的循环。该循环表示针对各相关计算方向计算局部相关值。

在步骤S302中，局部相关值计算部204判定k是否大于n。在k大于n时，判定为“是”，结束针对对象像素T的局部相关值的计算，转到步骤S306。在k为n以下时，判定为“否”，转到步骤S303。

在步骤S303中，如对图13中的局部相关值的表记法进行说明的那样，实际上不进行任何操作，处理转到步骤S304。在图13中，通过如式(45)～式(47)那样定义，利用统一的表记“v(k)”来表示针对位于(x，y)的对象像素T的局部相关值。例如，v(-3)＝l(x，3)，v(2)＝r(x，2)。

v(k)＝l(x，-k)      (k＜0)              (45)

v(k)＝c(x)          (k＝0)              (46)

v(k)＝r(x，k)       (k＞0)              (47)

接步骤S303之后在步骤S304中，局部相关值计算部204计算与表示当前的变量k的值的相关计算方向对应的、针对对象像素T的局部相关值v(k)，并存储在存储部201中。即，局部相关值计算部204按照上述局部相关值的定义，从存储部201读出对象场图像F_i内的像素中的在局部相关值的计算中所需的多个像素的像素值，根据这些像素值计算出局部相关值，并存储在存储部201中。

另外，如图9所示，在存储部201中存储有输入场图像、局部相关值、累积相关值等各数据。在第一实施方式中，设为这些数据分别存储在存储部201内的规定区域，但也可以动态确定并分配存储数据的区域。

在v(k)的计算和存储之后，在步骤S305中，局部相关值计算部204对变量k加1。这意味着局部相关值计算部204选择在上述相关计算方向的排序顺序中邻接的下一相关计算方向。在相加之后，返回步骤S302。

在步骤S302的判定为“是”时执行步骤S306。步骤S301～S305是由局部相关值计算部204执行的局部相关值的计算处理，步骤S306～S314是由累积相关值计算部205执行的累积相关值的计算处理。

在步骤S306中，累积相关值计算部205将-n代入变量k来进行初始化，并转到步骤S307。这与步骤S301相同。

步骤S307～S314是改变变量k的值来重复执行的循环。该循环表示针对各相关计算方向计算累积相关值。

在步骤S307中，累积相关值计算部205判定k是否大于n。如果k大于n，则判定为“是”，结束针对对象像素T的累积相关值的计算，结束图13的处理整体。如果k为n以下，则判定为“否”，转到步骤S308。

在步骤S308中，如对图13中的累积相关值的表记法进行说明的那样，实际上不进行任何操作，处理转到步骤S309。在图13中，通过如式(48)～式(50)那样定义，利用统一的表记“V(x，k)”来表示针对位于(x，y)的对象像素T的累积相关值。例如，V(-3)＝L(x，3)，V(x，2)＝R(x，2)。

V(x，k)＝L(x，-k)    (k＜0)           (48)

V(x，k)＝C(x)        (k＝0)           (49)

V(x，k)＝R(x，k)     (k＞0)           (50)

步骤S309～S313是累积相关值计算部205根据由于k的值而不同的定义来计算出累积相关值，并存储在存储部201中的步骤。

在步骤S309中，累积相关值计算部205判定变量k是否等于-n。在k＝-n时，判定为“是”，转到步骤S310，在k≠-n时，判定为“否”，转到步骤S311。

在步骤S310中，累积相关值计算部205计算累积相关值V(x，k)。在k＝-n的情况下执行步骤S310，所以利用变量k来表示的相关计算方向为相关计算方向中倾斜度最缓的左上方向、即ln方向。ln方向是上述相关计算方向的排序顺序中的第1个方向。如从表示n＝4情况的示例的式(40)可知，在该情况下，作为自变量赋予函数min的累积相关值仅为两个。即，针对分别与相关计算方向的排序顺序为第1和第2的相关计算方向对应而位于(x-1，y)的像素过去计算出的累积相关值V(x-1，k)和V(x-1，k+1)作为函数min的自变量。在步骤S310中利用式(40)的一般化形式的下式(51)来定义累积相关值V(x，k)，累积相关值计算部205根据式(51)来计算V(x，k)。

V(x，k)＝min(V(x-1，k)，V(x-1，k+1))+v(k)    (51)

即，累积相关值计算部205从存储部201读出过去计算出并存储在存储部201中的累积相关值V(x-1，k)和V(x-1，k+1)。累积相关值计算部205选择出二者中的最小值。另外，上述的“过去计算出”具体而言是指，在图10中紧接当前执行中的步骤S204之前的循环中执行的步骤S204。累积相关值计算部205还读出在步骤S304中计算出并存储在存储部201中的局部相关值v(k)，通过将选择出的最小值和v(k)相加来计算V(x，k)，并存储在存储部201中。然后，处理转到步骤S314。

在步骤S311中，累积相关值计算部205判定变量k是否等于n。在k＝n时判定为“是”，转到步骤S312，在k≠0时，判定为“否”，转到步骤S313。

在步骤S312中，累积相关值计算部205计算累积相关值V(x，k)。在k＝n的情况下执行步骤S312，所以利用变量k来表示的相关计算方向为相关计算方向中倾斜度最缓的右上方向、即m方向。即，在步骤S312中针对与步骤S310左右对称的相关计算方向，累积相关值计算部205计算累积相关值。该累积相关值利用式(52)来定义。式(52)为式(36)的一般化形式。累积相关值计算部205的动作与步骤S310相同，所以省略说明。在步骤S312的执行后，处理转到步骤S314。

V(x，k)＝min(V(x-1，k-1)，V(x-1，k))+v(k)    (52)

在步骤S313中，累积相关值计算部205计算累积相关值V(x，k)。在-n＜k＜n的情况下执行步骤S313。即，针对利用变量k表示的相关计算方向，定义出三个关联方向。因此，利用式(53)来定义V(x，k)。

V(x，k)＝min(V(x-1，k-1)，V(x-1，k)，V(x-1，k+1))

        +v(k)                                 (53)

式(53)为式(35)、式(37)～式(39)、式(41)～式(43)的一般化形式。累积相关值计算部205的动作除了从存储部201读出的累积相关值的数量不同这一点以外，其它与步骤S310相同，所以省略说明。在步骤S313的执行后，处理转到步骤S314。

在步骤S314中，累积相关值计算部205对变量k加1。这意味着累积相关值计算部205选择在上述的相关计算方向的排序顺序中邻接的下一相关计算方向。在相加之后，返回步骤S307。

在相关值计算部203如此结束图13的处理后，处理进入到图10的步骤S205。

另外，累积相关值为反映出对象像素的左侧的相关倾向的值，但计算中所需的计算机资源的量没有那么多。即，如式(51)～式(53)所示，可仅通过进行最小值的选择和相加来计算累积相关值。如此定义的累积相关值的计算量不会例如随着x的值和相关计算方向的数量而呈指数增大。

另外，从式(51)～式(53)可知，在第一实施方式中，只要针对坐标(x-1，y)的像素的累积相关值存储在存储部201中，即可计算出针对坐标(x，y)的对象像素的累积相关值。即，即使从存储部201中删除针对坐标(x-2，y)的像素及其左侧的像素的累积相关值，也可以计算出针对坐标(x，y)的对象像素的累积相关值。因此，第一实施方式具有即使输入图像的像素数较多，累积相关值的计算中所需的存储部201的容量也可以较少的优点。

接下来，参照图14来说明图10的步骤S206的详细内容。图14是第一实施方式中的场内插值的流程图，图10中示出针对利用变量x和y来设定的坐标(x，y)的对象像素的处理。图14的处理由场内插值部207来执行。步骤S401～S405为用于确定对象像素的插值中使用的插值用像素的处理，步骤S406为用于插值对象像素的处理。

在步骤S401中，方向选择部208选择累积相关值为最小的相关计算方向dir。如图13所示，累积相关值计算部205针对(2n+1)个相关计算方向，分别完成累积相关值的计算。因此，方向选择部208选择出与这些(2n+1)个累积相关值中的值最小的累积相关值对应的相关计算方向。另外，累积相关值为非负，其值越小相关越高，所以也可以说“方向选择部208将累积相关最高的相关计算方向选择为dir”。

另外，在存在多个值为最小的累积相关值的情况下，方向选择部208选择出与其中的最接近c方向的相关计算方向对应的方向。例如，在(2n+1)个累积相关值中与l2方向对应的L(x，2)和与r1方向对应的R(x，1)这两个值相同且为最小值时，由于r1方向的一方与l2方向相比更接近c方向，所以在步骤S401中r1方向选择为dir。在dir的选择后，转到步骤S402。

在步骤S402中，场内插值用像素确定部209取得与dir对应的局部相关值min_rel。例如，在dir为r2方向时，min_rel为r(x，2)，在dir为c方向时，min_rel为c(x)，在dir为l1方向时，min_rel为l(x，1)。在min_rel的取得之后，转到步骤S403。

在步骤S403中，场内插值用像素确定部209将规定的常数k和min_rel的积与c(x)进行比较，在式(54)成立时判定为“是”，在不成立时判定为“否”。

k·min_rel＜c(x)                                     (54)

另外，此处k为预先确定的常数，优选为1.0至2.0左右范围内的值。另外，上述的2.0并非理论上的临界值，而是通过实验经验性取得的大概数字，其详细内容将在后面叙述。因此，k也可以是上述范围外的值。

在步骤S403的判定为“是”时，在步骤S404中，场内插值用像素确定部209将场内插值方向确定为dir。此处，“场内插值方向”是指，利用在对对象像素进行场内插值时使用的多个插值用像素的位置关系来确定的方向。场内插值方向的确定和插值用像素的确定的意思相同。

即，“将场内插值方向确定为dir”是指接下来的(1a)～(3a)。

(1a)确定由从对象像素观察位于dir方向的、上实行220上的、一个以上的实像素构成的组。

(2a)确定由从对象像素观察位于dir的相反方向的、下实行222上的、一个以上的实像素构成的组。

(3a)将包含在这两个组中的多个实像素确定为对象像素的插值用像素。

另外，上述(1a)～(3a)还可以描述成接下来的(1b)～(3b)。

(1b)确定从对象像素观察位于dir方向的、上实行220上的、一个实像素或一个虚拟像素。

(2b)确定从对象像素观察位于dir的相反方向的、下实行222上的、一个实像素或一个虚拟像素。

(3b)将(1b)和(2b)中确定的两个实像素或(1b)和(2b)中确定的两个虚拟像素确定为对象像素的插值用像素。

与在图12中利用双向的虚线箭头A11等来表示与局部相关值对应的相关计算方向相同，场内插值方向也可以在以下的图中利用双向的箭头来表现。

参照图11来对在步骤S403中选择的插值用像素进行说明。例如，在dir＝r1时，在上述(1a)中确定由像素u2和像素u3构成的组U2_3，在(2a)中确定由像素d1和像素d2构成的组D1_2，在(3a)中四个实像素u2、u3、d1、d2确定为对象像素T的插值用像素。换言之，在(1b)中确定虚拟像素u2_3，在(2b)中确定虚拟像素d1_2，在(3b)中两个虚拟像素u2_3、d1_2确定为对象像素T的插值用像素。

相同地，例如在dir＝r2时，在(1a)中确定仅由像素u3构成的组，在(2a)中确定仅由像素d1构成的组，在(3a)中两个实像素u3、d1确定为对象像素T的插值用像素。换言之，在(1b)中确定像素u3，在(2b)中确定像素d1，在(3d)中两个实像素u3、d1确定为对象像素T的插值用像素。

在场内插值方向如此确定为dir后，处理转到步骤S406。

另一方面，在步骤S403的判定为“否”时，在步骤S405中场内插值用像素确定部209将场内插值方向确定为c方向。即，对象像素的正上方的像素u2和正下方的像素d2确定为对象像素的插值用像素。这是在步骤S404中说明的(1a)～(3a)、(1b)～(3b)中改读为dir＝c的动作。在场内插值方向的确定后，处理转到步骤S406。

在步骤S406中，按照在步骤S404或步骤S405中确定的场内插值方向，场内插值像素值计算部210进行对象像素的场内插值。即，场内插值像素值计算部210计算对象像素的像素值。

参照图15来说明步骤S406中的像素值的计算例。例如在场内插值方向为r2时，如上所述，对象像素T的插值用像素为像素u3和d1这两个。在该情况下，场内插值像素值计算部210按照式(55)来计算出对象像素T的像素值T，对对象像素T进行场内插值。式(55)表示两个插值用像素的像素值的平均。

T＝(u3+d1)/2               (55)

在图15的示例中，像素u3和d1都为黑色，所以利用式(55)计算出像素值T的对象像素T也插值成黑色。

另外，在例如场内插值方向为r1时，如上所述，对象像素T的插值用像素为像素u2、u3、d1、d2这四个实像素。在该情况下，场内插值像素值计算部210按照式(56)来计算对象像素T的像素值T，对对象像素T进行场内插值。式(56)表示四个插值用像素的像素值的平均。

T＝(u2+u3+d1+d2)/4         (56)

另外，也可以使用式(17)以及式(18)将式(56)变形为式(57)。

T＝(u2_3+d1_2)/2           (57)

式(57)解释为将对象像素T的插值用像素视为两个虚拟像素u2_3、d1_2。式(57)表示该两个插值用像素的像素值的平均为对象像素T的像素值T。式(56)和式(57)按照不同的解释表现为不同的形式，但其实质内容相同。

当如此在步骤S406中对对象像素T进行场内插值后，图14的场内插值处理结束。然后，处理返回图10，转到步骤S208。

另外，在补充说明图14的处理的含义时，如下所述。在步骤S401中考虑累积相关值，在步骤S402和步骤S403中考虑局部相关值，所以在图14中，进行考虑了局部相关值和累积相关值这双方的场内插值。另外，步骤S403～S405反映出根据实验经验性地取得的知识。即，在步骤S403～S405中，将提高插值后的图像的画质作为目的，施加有易于将c方向选择为场内插值方向的偏倚(bias)。

如上所述，在如图1那样总是将c方向设为场内插值方向时，将产生锯齿失真，引起插值后的图像的画质恶化。另一方面，在如图6那样将倾斜方向即c方向以外的方向作为场内插值方向来对对象像素进行场内插值时，如果场内插值方向适当则可以取得高画质的结果，但如果不适当，则有时成为比图1的锯齿失真更差的低画质的结果。因此，可知仅在经验性地认为是高可靠性且适当的方向的情况下，进行倾斜方向上的场内插值方向对画质的提高有效。即，经验上来讲，如果步骤S401中选择出的dir为适当的场内插值方向的可靠性低，则与dir相比在c方向上进行场内插值时，不易导致画质的恶化。

由此，对于易于使c方向选择为场内插值方向的偏倚，在本实施方式中，具体而言利用步骤S403的式(54)来实现。在本实施方式中，局部相关值为非负，其值越小相关越大。因此，在实现上述偏倚时，k必须大于1.0。

例如如果假设为k＝1.5，则在与相关计算方向dir对应的局部相关值min_rel小于与c方向对应的局部相关值c(x)的2/3时，式(54)成立。即，仅在与dir对应的局部相关明显大于与c方向对应的局部相关时，式(54)成立，在两者没有很大差异的情况下，式(54)不成立。此处，是否“明显大”的判断具体而言依赖于k的值。在k为极端大的值时，min_rel和c(x)为非负，所以在步骤S403中几乎总是判定为“否”，几乎总是c方向被选择为场内插值方向。因此，优选k的值通过实验等来适当地确定。上述1.0～2.0的范围为优选的值的范围的示例。

另外，在步骤S401中，在多个相关计算方向上累积相关值为最小的情况下，将其中最接近c方向的方向选择为dir，但这也是与上述偏倚类似的考虑方法。即是如下的考虑方法：在所计算出的累积相关值为相同程度时，与远离c方向的相关计算方向相比，接近c方向的相关计算方向可靠性更高且累积相关更大。

以上对第一实施方式中的像素值插值装置200的动作进行了说明，但在图16中，示意性示出并总结该动作的流程。图16示出场内插值方向的确定例。

如图16的左侧所示，在该示例中y＝1的行为插值行。该插值行上的像素从左到右依次选择为对象像素，并进行插值。图16示出坐标(0，1)～(6，1)这七个对象像素的插值。

如图16的中央所示，针对各对象像素计算出与多个相关计算方向对应的累积相关值。在图16中，由于纸面限制仅示出五个相关计算方向。另外，在图16中，使用灰色来示出步骤S401的dir的选择。例如，在对象像素的坐标为(1，1)时，在该示例中，假设为累积相关值R(1，j)、C(1)、L(1，j)(j＝1，2，…)中的C(1)为最小。因此，C(1)使用灰色来示出。

另外，在图16中，假设为在步骤S205中对任何对象像素都检测到运动。因此，对各对象像素，根据这样选择出的dir，按照步骤S402～S405，确定实际的场内插值方向。图16的右侧利用双向箭头来示出所确定的场内插值方向。从图16的中央和右侧的比较可知，在该示例中，在步骤S403中不存在判定为“否”的对象像素。

接下来，对图8和图10、图13、图14的对应进行叙述。

图8的步骤S101与在图10中进行向变量x和变量y的代入的步骤S201、S208、S209对应。

图8的步骤S102和步骤S103与图10的步骤S204对应。更准确而言，步骤S102与图13的步骤S301～S305对应，步骤S103与图13的步骤S306～S314对应。

图8的步骤S104和步骤S105与图10的步骤S206对应。更准确而言，步骤S104与图14的步骤S401对应，步骤S105与图14的步骤S402～S405对应。

图8的步骤S106与图10的步骤S203对应，步骤S106的“是”判定与步骤S203的“否”判定对应。另外，图8示出针对多个对象像素沿一个选择顺序方向依次确定插值方法的情况，所以在步骤S106中判定为“否”时处理结束。例如，在针对某一水平的一个插值行上的多个对象像素，沿从左至右的选择顺序方向确定插值方法的情况下，图8示出处理在该插值行的右端结束的情况。另一方面，图10还示出针对多个插值行的处理。因此，在图10中，即使在步骤S203中判定为“是”，处理也不结束，为了转移到下一插值行而转移到步骤S209。图10相当于将图8的处理重复执行插值行个数次。

接下来，参照图17～图20来对在进行场内插值时如上述那样利用累积相关值的优点进行说明。参照图17和图18来说明第一个优点，参照图19和图20来说明第二个优点。另外，在图17～图20中，也假设上述(a)～(j)。特别，在图17～图20中为了使用数值来说明具体例，图示出各像素的像素值。根据上述(e)的假设，例如标示为“100”的正方形表示白色像素。

图17是说明利用局部相关值来确定场内插值用像素而进行插值的以往例的图。另外，图18是说明在第一实施方式中利用累积相关值来确定场内插值用像素进行插值的示例的图。图17和图18的输入图像是相同的输入场图像F_i，是在像素值为100的白色背景中存在像素值为0或5的黑色斜线的图像。

图17所示的以往的方法是利用与式(14)～式(29)所示上述第一实施方式相同的局部相关值，但不利用累积相关值的方法。在图17中，仅将l2方向、l1方向、c方向、r1方向、r2方向这五个方向考虑为相关计算方向。另外，输入场图像F_i的宽度为8个像素，其x坐标为0～7的范围。插值行221上的8个像素从左至右依次被选择为对象像素，针对五个相关计算方向分别计算出局部相关值。

计算出的局部相关值如局部相关值一览表240所示。另外，在局部相关值一览表240中将小数点以下四舍五入来示出。局部相关值一览表240的空栏表示定义上无法计算的情况。另外，局部相关值一览表240是用于说明的表，局部相关值一览表240中示出的所有累积相关值并非同时存储在存储部201中。在图17的方法中，局部相关值最小且因此局部相关最大的方向被确定为场内插值方向。针对各对象像素，在局部相关值一览表240内，使用灰色来示出五个相关计算方向中的局部相关值最小的方向。

在场内插值方向的说明图241中，针对如此确定的场内插值方向，使用表示该方向的双向箭头来示出。而且，根据该场内插值方向来插值的结果为插值完成场图像G_i。在插值完成场图像G_i中，插值行221上的8个像素全部通过插值成为像素值为100的白色像素。因此，黑色斜线被插值行221中断。

即，在位于x＝3以及x＝4的位置的像素处，与正的场内插值方向即r2方向相反的l2方向的局部相关最强，所以在图17的方法中将造成错误的插值。具体而言，由于r(3，2)＞l(3，2)，所以在x＝3处与r2方向相比l2方向的局部相关强，由于r(4，2)＞l(4，2)，所以在x＝4处与r2方向相比l2方向的局部相关强。因此，位于x＝3以及x＝4的位置处的像素的场内插值方向成为l2方向，这些两个像素插值成白色。

另一方面，图18示出通过第一实施方式的处理来插值与图17相同的输入场图像F_i的示例。在图18中也与图17相同地仅将五个方向考虑为相关计算方向。另外，插值行221上的8个像素从左至右依次被选择为对象像素的方面也与图17相同。与图17的不同之处在于，在图18中像素值插值装置200不仅计算局部相关值而且还计算累积相关值，利用累积相关值来确定场内插值方向。

计算出的累积相关值如累积相关值一览表242所示。另外，累积相关值一览表242中也将小数点以下四舍五入来示出。累积相关值一览表242的空栏表示值为“BIG”的累积相关值。另外，在累积相关值一览表242中连接累积相关值彼此的粗线表示与图12中的粗箭头A23和A25相同的意思。例如，根据式(39)的定义，R(3，1)通过下式(58)来计算。

R(3，1)＝min(R(2，2)，R(2，1)，C(2))+r(2，1)

       ＝min(0，48，95)+45

       ＝0+45

       ＝45                                  (58)

在式(58)中利用函数min选择出的是表示R(2，2)的0值。因此，在累积相关值一览表242中，从表示R(2，2)的0向表示R(3，1)的45引出粗线。

另外，在累积相关值一览表242内，针对各对象像素，使用灰色来示出五个相关计算方向中的累积相关值最小的方向。即，灰色的方框与图14的步骤S401的dir相当。另外，在图18中，在例如假设为式(54)的常数k的值为2时，在x＝6以外，在步骤S403中不会判定为“否”。因此，在x＝6以外，灰色的方框表示在步骤S404中确定的场内插值方向。另外，在x＝6时，min_rel＝r(6，1)＝0且c(x)＝0，所以在步骤S403中判定为“否”，场内插值方向确定为c方向。

在场内插值方向的说明图243中，针对这样确定的场内插值方向，使用表示该方向的双向箭头来示出。根据该场内插值方向来插值的结果为插值完成场图像G_i。根据累积相关值一览表242和场内插值方向的说明图243可知，通过利用累积相关值，在x＝3和x＝4处，r2方向的局部相关值即使没有成为最小，r2方向的累积相关值也为最小。即，R(3，2)＜L(3，2)以及R(4，2)＜L(4，2)成立。其结果，在x＝3和x＝4处，场内插值方向被准确地确定为r2方向，在插值完成场图像G_i中，黑色斜线以不中断的形式被包含，取得良好画质的图像。

接下来，参照图19和图20来说明利用累积相关值时的第二个优点。图19是造成插值错误连锁的以往的插值方法的示例。另外，图20是通过将第一实施方式变形的插值方法确定处理来对与图19相同的图像进行处理时的图。

图19的上段示出所有行为实行的原图像P，中段示出与原图像P对应的隔行扫描图像I，下段是针对隔行扫描图像I的一部分的场内插值方向的说明图245。另外，在图19中，为便于说明，示出为根据原图像P来取得隔行扫描图像I。但是，实际上并不存在原图像P，在假设准确地进行了理想的IP转换的情况下，应从隔行扫描图像I取得的逐行扫描图像为原图像P。

原图像P为在发白的背景中纵向排列有两个灰色的倒V字型的边缘的图像，其大小为横向17个像素×纵向9个像素。隔行扫描图像I是针对该9行每隔1行进行了间疏(間引)的图像。隔行扫描图像I中包括5个实行，需要针对4个插值行进行插值。在图19中，着眼于从上开始的第2个和第3个实行来说明。将由该2个实行和被这两行夹着的插值行构成的部分称为“着眼部分”，利用标号“224”来参照。与原图像P比较可知，在着眼部分244的0≤x≤7的范围内，将r3方向等右上方向设为场内插值方向，在8≤x≤16的范围内，将13方向等左上方向设为场内插值方向，从而可取得高画质的结果。

但是，在图19中说明的以往的方法中，依赖于邻近的像素处的场内插值方向来确定对象像素的场内插值方向，所以连锁地产生场内插值方向的错误(以下简称为“插值错误”)。在该示例中，从左至右依次对插值行进行插值，所以“邻近的像素”具体而言是指对象像素的左侧的像素。

即，即使在优选将左上方向设为场内插值方向的8≤x≤16的范围内，依赖于在其左侧被选择为场内插值方向的右上方向来确定场内插值方向。因此，其结果，如场内插值方向的说明图245所示，针对位于8≤x≤16范围内的对象像素，右上方向也成为场内插值方向，而连锁地产生插值错误。而且，如图所示在8≤x≤16的范围内该连锁一直持续。

即，如V字型和倒V字型的边缘那样，在将某位置设为边界，所期望的场内插值方向变化较大的图像的情况下，在图19的以往方法中，有时插值错误连锁。其原因为，即使超过该边界，也受到以前的场内插值方向的影响而确定场内插值方向。例如在该边界附近的某对象像素处临时产生插值错误时，该插值错误对较宽范围带来影响，在宽范围内连锁地产生插值错误。

另一方面，在第一实施方式的插值方法确定处理中，即使插值错误连锁，该连锁也仅限于某种程度的范围内，可从插值错误的连锁复原。参照图20来说明该情况。另外，图20是基于将第一实施方式的一部分变形的插值方法确定处理的图，变形的方面为关于与图像的右端和左端相关的处理，关于插值方法的确定基本上与上述第一实施方式相同。

在图20的第1段中，与像素值的数字对应地示出图19的着眼部分244。像素值插值装置200将由上实行220、下实行222、以及夹在上实行220和下实行222之间的插值行221构成的该图像作为输入场图像F_i来接收，执行图10、图13、图14所示的处理。另外，在图20的示例中，将l3方向、l2方向、l1方向、c方向、r1方向、r2方向、r3方向这7个方向考虑为相关计算方向。

计算出的累积相关值如第2段的累积相关值一览表246所示。累积相关值一览表246的表记法与图18的累积相关值一览表242相同，与累积相关值最小的方向dir对应的方框为灰色。

另外，在累积相关值一览表246中，在L(1，2)和R(1，2)等、在上述累加相关值的定义下由于值变为“BIG”而应成为空栏的方框中，记入“100”和“50”等值。其原因为，在图20中变更了第一实施方式的累积相关值的计算方法的一部分。如式(44)所示，在第一实施方式的计算方法中L(1，2)＝BIG。即，在图像的左端和右端，在累积相关值中，存在几个值为BIG的累积相关值。图20是进行了用于减少值为BIG的累积相关值的变形时的图。

即，在式(32)～式(43)中，对各相关计算方向对应关联有两个或三个关联方向，但在图20的示例中，在图像的左端和右端例外地增加关联方向的数量。例如，在x＝1的像素处，l2方向的关联方向除了与第一实施方式相同的l3方向、l2方向、l1方向这3个方向之外，还包括c方向。通过如此增加关联方向，在x＝1的像素处也可以计算出累积相关值L(1，2)和R(1，2)。

这样增加关联方向的变形是为了针对可计算局部相关值的相关计算方向，也可以计算累积相关值。例如，对x＝1的像素，可计算出与从l2方向至r2方向这5个方向对应的局部相关值，在如上述那样在x＝1处例外地使关联方向增加时，针对从l2方向至r2方向这5个方向，也可以计算出累积相关值。但是，无需一定要进行这样的变形，当然也可以严格地按照式(32)～式(43)计算累积相关值。

另外，从在累积相关值一览表246中将累积相关值彼此连接的粗线可知，所有的累积相关值包括C(0)来作为其结构要素。即，累积相关值C(0)对所有的累积相关值影响均等。因此，累积相关值C(0)的具体数值不影响各累积相关值的大小关系。

在第3段所示的场内插值方向的说明图247中，使用箭头来示出所确定的场内插值方向。在图20中，将在图14的步骤S403中使用的k的值假设为1.5。于是，仅在x＝0、9、12处，步骤S403的判定为“否”，场内插值方向变更为c方向。在第4段中，示出插值的结果。

在图20的示例中，在7≤x≤12处选择了不适当的场内插值方向。观察图19的原图像P可知，6≤x≤9的范围内的下实行222的像素表示的边缘在上实行220中不存在。因此，在该范围内产生插值错误，其结果插值错误连锁直到x＝12。但是，在13≤x≤16处从该插值错误的连锁复原，适当的方向被选择为场内插值方向，适当地进行插值。

即，根据上述实施方式，例如在x＝13的情况下，对于在x＜13的范围内实际上没有被采用为场内插值方向的l2方向和l3方向，也可以借助累积相关值，考虑与该方向相关的x＜13的范围内的相关。例如，在x＝12处没有选择l3方向，但与l3方向对应的L(12，3)保存在存储部201中，在插值x＝13的像素时参照，其结果，在x＝13处l3方向被适当地选择为场内插值方向。

由此，在上述实施方式中，针对以前的像素处没有被选择的方向，也借助累积相关值来考虑，所以即使进行了错误的插值，也难以引起该插值错误在较宽范围内连锁的情况。实际上，在如图19的原图像P那样的倒V字型和V字型的边缘连续几层的图像的情况下，根据在中途可否从插值错误的连锁复原、即可否在某时刻修正插值错误的不同，从而所输出的逐行扫描图像的画质存在显著的差异。

接下来，参照图21～图30来对本发明的第二实施方式进行说明。第二实施方式在静止/运动判定中检测出运动的情况下进行混合插值而不是场内插值这一点与第1实施方式不同。“混合插值”是指，将场内插值和场间插值组合的插值，其详细内容将在后面叙述。其中，对于根据局部相关值来计算累积相关值的方面等，在第一和第二实施方式中具有很多共同点。另外，在第二实施方式中也假设在第一实施方式中假设的(a)～(j)。第一和第二实施方式的差异在于图7中的插值用像素确定部106的差异，是图8中的步骤S105的差异。

图21是第二实施方式中的像素值插值装置300的功能模块结构图。与图9的像素值插值装置200相同，图21的像素值插值装置300也是图7的插值方法确定装置100的具体例之一。像素值插值装置300不仅确定像素值的插值方法，还根据所确定的方法来插值像素值，所以与插值方法确定装置100的名称不同。此处仅进行像素值插值装置300的结构的简单说明，各结构要素的功能的详细内容将在后面叙述。另外，以下，对与像素值插值装置300具有的结构要素中的与图9相同或类似的部分，附加与图9相同的标号来参照。

像素值插值装置300具有存储部201、对象像素选择部202、第一空间相关值计算部301、时间相关值计算部304、静止/运动判定部206、混合插值部302、以及场间插值部211。

图21的存储部201与图9的存储部201相同。但是，在第二实施方式中，如后述那样为了对象像素的插值还需要插值完成的场图像，所以在图21中，明示出插值完成场图像也存储在存储部201中这一点。另外，在图中，利用标号“G_i-1”来参照对先行场图像F_i-1进行插值而取得的插值完成场图像，利用标号“G_i’”来参照从对象场图像F_i取得的、仅一部分的像素插值完成而另一部分的像素仍未被插值的图像。另外，图像整体的插值是否结束并非很重要，所以图像G_i’也称为“插值完成场图像”。另外，虽然在图21中未示出，但以下利用标号“G_i”来参照针对对象场图像F_i的所有插值行上的所有像素完成插值而取得的插值完成场图像。

第一空间相关值计算部301虽然名称不同，但功能与图9的相关值计算部203相同，并具有局部相关值计算部204和累积相关值计算部205。混合插值部302具有方向选择部208、第二空间相关值计算部303、场内插值用像素确定部209、场内插值像素值计算部210、权重系数计算部305、以及混合插值像素值计算部306。场间插值部211与图9相同地具有场间插值用像素确定部212和场间插值像素值计算部213。

另外，在图21中，从混合插值像素值计算部306和场间插值像素值计算部213还伸出不指向任何功能模块的箭头。这两个箭头意思上是朝向存储部201的箭头，由于纸面限制而这样图示。如后所述，在第二实施方式中，由混合插值像素值计算部306或场间插值像素值计算部213计算对象像素的像素值。存储在存储部201中的插值完成场图像的数据包含该计算出的像素值的数据。这两个箭头表示插值完成场图像的存储。

图21的像素值插值装置300包括将图7的插值方法确定装置100的各结构要素具体化后的结构要素，另外还包括图7中没有的结构要素。图7和图21的对应关系如下所述。

存储部201与存储部101相同，与图7相比在图21中对所存储的内容更具体地示出。对象像素选择部202与对象像素选择部102对应，对选择顺序方向进行了具体化。局部相关值计算部204和累积相关值计算部205分别与局部相关值计算部103和累积相关值计算部104对应，对局部相关值和累积相关值的计算式进行了具体化。方向选择部208与方向选择部105对应，对所选择的基准进行了具体化。场内插值用像素确定部209和场间插值用像素确定部212与插值用像素确定部106对应，对插值用像素的确定方法进行了具体化。

接下来，参照图22的流程图来对在第二实施方式中像素值插值装置300进行的插值处理进行说明。该插值处理包括确定像素值的插值方法的插值方法确定处理和按照该确定来插值像素值的处理。图22的处理是将图8的处理具体化的处理。另外，图22包括与第一实施方式的图10的流程图相同的步骤，所以首先从与图10的共同点开始进行说明。

图10示出在变量x和变量y的初始化之后，重复执行与变量y相关的循环，对变量y的某一个值，重复执行与变量x相关的循环的情况。该二重循环结构也与图22相同。即，在图10和图22中，步骤S201和步骤S501、步骤S202和步骤S502、步骤S203和步骤S503、步骤S208和步骤S511、步骤S209和步骤S512分别对应。图22中的上述步骤为与图10中的对应的步骤相同的动作，所以省略说明。

即，第一和第二实施方式差异在于，图10的步骤S204～S207和图22的步骤S504～S510之间的差异。因此，以下对步骤S504～S510进行说明。

步骤S504与步骤S204大致相同。在步骤S504中，针对位于(x，y)的对象像素，第一空间相关值计算部301计算空间相关值，并存储在存储部201中。此处，“空间相关值”是指，包含在第一实施方式中说明的局部相关值和累积相关值的上位概念，在步骤S504中计算出的空间相关值具体而言是局部相关值和累积相关值。即，局部相关值计算部204计算局部相关值，累积相关值计算部205计算累积相关值。局部相关值和累积相关值的计算方法与第一实施方式的情况完全相同，如图13所示。

局部相关值根据包含在同一场图像F_i中的多个像素的像素值来计算。这些多个像素位于不同的位置，位置为空间的概念。另外，累积相关值通过累积局部相关值来计算。因此，可以说局部相关值和累积相关值都表示某种空间的相关。

另外，在第二实施方式中，如后述那样，还利用局部相关值和累积相关值以外的空间相关值。任一空间相关值都表示根据包含在同一场图像F_i中的、不同的多个位置处的像素的像素值计算的、空间上的相关。

在局部相关值和累积相关值的计算之后，处理转到步骤S505。在步骤S505中，方向选择部208确定对对象像素的临时插值方向dir。此处，“临时插值方向”定义为相关计算方向中的累积相关值最小的方向。即，在步骤S505中，进行与图14的步骤S401相同的处理。之后，处理转到步骤S506。

在步骤S506中，第二空间相关值计算部303计算考虑了插值完成的像素的像素值的空间相关值rel_xy以及rel_skew。这些空间相关值利用在后述的步骤S509中的权重系数的计算中，其详细内容将在后面叙述。另外，rel_skew根据dir不同其具体的计算方法也不同。在rel_xy和rel_skew的计算之后，处理转到步骤S507。

在步骤S507中，时间相关值计算部304计算时间相关值。“时间相关值”为与空间相关值成对的概念。时间相关值根据包含在多个场图像中的多个像素的像素值来计算。多个不同的场图像与多个不同的时刻对应，所以根据包含在多个场图像中的多个像素的像素值计算出的相关值示出时间上的相关。时间相关值也是与空间相关值同样地表示广义概念的词汇。

在步骤S507中，具体而言计算出rel_xt、rel_yt、rel_yt 2这3种时间相关值，计算方法的详细内容将在后面叙述。其中，rel_yt 2根据dir不同其具体的计算方法也不同。在时间相关值计算部304计算出这些时间相关值后，处理转移到步骤S508。

在步骤S508中，静止/运动判定部206进行静止/运动判定。静止/运动判定的具体处理也可以与图10的步骤S205相同，但在第二实施方式中，利用在步骤S507中计算出的时间相关值来进行静止/运动判定，判定在时刻t_i时的对象像素的附近是否存在运动。

在静止/运动判定的结果被判定为运动时、即在检测到运动时，转移到步骤S509，在判定为静止时，转移到步骤S510。

在静止/运动判定中检测出运动的情况下执行步骤S509，进行将场内插值和场间插值组合的混合插值。混合插值的详细内容将在后面与图29的流程图对应叙述，但其概要如下。

由场内插值用像素确定部209和场内插值像素值计算部210计算通过场内插值来插值对象像素时的像素值。另外，由场间插值用像素确定部212和场间插值像素值计算部213计算通过场间插值来插值对象像素时的像素值。然后，权重系数计算部305计算应对两个像素值附加的权重系数，混合插值像素值计算部306使用该权重系数来计算两个像素值的加权和，而插值对象像素。在对象像素的插值后，处理转移到步骤S511。

步骤S510为在静止/运动判定中判定为静止时的处理。在步骤S510中，使用与图10的步骤S207类似的方法，场间插值部211进行场间插值。在场间插值的执行之后，处理转移到步骤S511。

步骤S511和步骤S512如上所述，与图10相同。通过图22的处理，对包含在对象场图像F_i中的所有插值行上的所有像素进行插值。

接下来，参照图23来对在图22的步骤S506中计算的空间相关值rel_skew进行说明。如上所述，rel_skew根据所选择的临时插值方向dir不同其具体的计算方法也不同。在根据方向来定义计算方法的方面，局部相关值和rel_skew相似。

在图23中也利用与示出局部相关值的图11共同的标记。图23中的上实行220、插值行221、下实行222的位置关系与图11相同。另外，图23中的各像素u0～u4、d0～d4分别为实像素，与对象像素T对应的相对位置和图11相同。即，这些像素的像素值u0～u4、d0～d4如式(4)～式(13)所示。另外，在图11中针对九个相关计算方向进行了图示，但在图23中由于纸面限制，仅图示出c方向、l1方向、l2方向、r1方向、r2方向这五个方向。

局部相关值仅使用实像素的像素值来计算，但空间相关值rel_skew还考虑插值完成的像素的像素值来计算。以下，将插值完成的像素称为“插值完成像素”，将其像素值称为“插值结束像素值”。另外，插值完成像素值也为像素值的一种，所以有时还简称为“像素值”。

设在对象像素T的位置为(x，y)时，利用标号“m1”来参照位于其左邻的(x-1，y)的插值完成像素，利用标号“m0”来参照位于像素m1的左邻的(x-2，y)的插值完成像素。在使用与上述(g)类似的记法，使用q(j，x，y)来表示在与时刻t_j对应的场图像F_j内位于(x，y)的插值完成像素的插值完成像素值时，插值完成像素值m0和m1如式(59)、式(60)所示。

m0＝q(i，x-2，y)              (59)

m1＝q(i，x-1，y)              (60)

rel_skew根据临时插值方向dir来定义，在dir＝c时rel_skew如式(61)所示。

rel_skew＝α×|u2-d2|+(1-α)×f(|u1-m1|，|d1-m1|)      (61)

此处，α是调节分别对右边的第1项和第2项的rel_skew的贡献的系数，且0≤α≤1。从经验上来讲，优选α在0.5～0.75的范围内。α可以是根据实施方式而预先指定数值的常数，也可以由用户来指定。

另外，f为两个自变量的函数，在式(61)中两个自变量都为像素值之差的绝对值。函数f的具体例为表示两个自变量的最大值的式(62)、表示两个自变量的平均值的式(63)，但也可以使用除此以外的函数f。

f(a，b)＝max(a，b)          (62)

f(a，b)＝(a+b)/2            (63)

在如式(62)那样使用函数max时，如果在式(61)中|u1-m1|和|d1-m1|中只要有一方的值较大时，该较大值反映到rel_skew。因此，式(62)表示将像素值的差更敏感地反映到rel_skew的偏倚。

在式(63)中不是这样的偏倚，而是中立。通过使用式(63)的函数f，在式(61)中|u1-m1|和|d1-m1|均等地反映到rel_skew。

另一方面，选择最小值的函数min表示与函数max相反的偏倚。优选rel_skew为反映出像素值的差的值，其理由将在后面叙述。因此，优选将函数min用作函数f。

即，式(61)的第1项(α×|u2-d2|)表示从对象像素T观察位于c方向的上实行220上的实像素u2、与从对象像素T观察位于c方向的相反方向的下实行222上的实像素d2之间的相关。实像素u2与实像素d2之间的相关越高，第1项的值变得越小。

另一方面，式(61)的第2项(1-α)×f(|u1-m1|，|d1-m1|)表示位于对象像素T的附近、且相互位于与连接在第1项中考虑的两个实像素的方向平行的方向上的、实像素和插值完成像素之间的相关。在dir＝c的情况下，如图23所示，在这样的实像素和插值完成像素的组中，存在像素u1和像素m1的组以及像素d1和像素m1的组。因此，在第2项中，针对该两个组进行考虑。

接下来，对dir＝l1的情况进行说明。在dir＝l1时rel_skew如式(64)所示。

rel_skew＝α×|u2-d3|+(1-α)×f(|u1-m1|，|d2-m1|)       (64)

式(64)中的常数α以及函数f与式(61)相同。即，对任何临时插值方向dir，都使用相同常数α以及函数f定义空间相关值rel_skew。

式(64)和式(61)的共同点在于，第1项表示实像素彼此的相关，第2项表示实像素和插值完成像素之间的相关。式(64)和式(61)的不同点在于，在rel_skew的计算中使用的像素处于什么样的位置关系。

在式(64)的第1项中，考虑实像素u2和实像素d3的相关。在图23中连接实像素u2和实像素d3的双向箭头与在图11中表示l1方向的双向箭头平行。但是，在图23中，并非考虑从对象像素T观察位于l1方向的像素和从对象像素T观察位于l1方向的相反方向的像素的方面与图11不同。

图23中的实像素u2和实像素d3的位置关系全部满足接下来的三个条件。

·两者都位于对象像素T的附近。

·第一像素位于上实行220上，第二像素位于下实行222上。

·从第二像素观察第一像素位于l1方向上。即，从第一像素观察第二像素位于l1方向的相反方向上。

换言之，在dir＝l1时，利用处于全部满足这些条件的位置关系的两个实像素，计算rel_skew。在第二实施方式中，使用满足上述三个条件的两个实像素的组中的像素u2的像素d3的组。

式(64)的第2项表示位于对象像素T的附近且具有与在第1项中考虑的l1方向接近的方向的位置关系的实像素和插值完成像素之间的相关。如上所述，在按照倾斜度的角度来排序相关计算方向时，l1方向的前一方向和后一方向为l2方向和c方向。因此，在第二实施方式中，在计算dir＝l1时的rel_skew的第2项时，利用接下来的两组像素。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于c方向的上实行220上的实像素u1的组。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于l2方向的相反方向的下实行222上的实像素d2的组。

接下来说明dir＝r1的情况。在该情况下，rel_skew如式(65)所示。

rel_skew＝α×|u3-d2|+(1-α)×f(|u2-m1|，|d1-m1|)       (65)

与在图11中说明的局部相关值不同，考虑插值完成像素值的空间相关值即rel_skew的计算并非左右对称。即，l1方向和r1方向为左右对称的方向，但与l1方向对应的式(64)和与r1方向对应的式(65)左右不对称。

不对称的理由在于，在rel_skew的计算中利用插值完成像素。在第二实施方式中也与第一实施方式相同，按照选择顺序方向依次选择对象像素来进行插值。即，在某一个插值行上，从左至右依次选择对象像素来进行插值。因此，在插值行221上，插值完成像素仅存在于对象像素T的左侧。因此，无法定义与和l1方向对应的式(64)左右对称的式子。

但是，根据与l1方向相同的考虑方法，可定义dir＝r1时的rel_skew。式(65)表示这样的定义。

即，式(65)的第1项表示处于全部满足接下来的三个条件的位置关系的两个实像素彼此的相关。

·两者都位于对象像素T的附近。

·第一像素位于上实行220上，第二像素位于下实行222上。

·从第二像素观察第一像素位于r1方向。即，从第一像素观察，第二像素位于r1方向的相反方向。

而且，式(65)的第2项表示位于对象像素T的附近且具有接近r1方向的方向的位置关系的实像素和插值完成像素之间的相关。接近r1方向的方向具体而言是指r2方向和c方向。因此，在dir＝r1时的rel_skew的第2项的计算中，利用接下来的两组像素。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于r2方向的上实行220上的实像素u2。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于c方向的相反方向的下实行222上的实像素d1。

接下来说明dir＝l2的情况。在该情况下，rel_skew如式(66)所示。

rel_skew＝α×|u1-d3|+(1-α)×f(|u0-m1|，|d2-m1|)       (66)

式(66)的第1项也表示位于对象像素T附近的两个实像素的相关。而且，该两个实像素的一方位于上实行220上而另一方位于下实行222上，且从后者观察前者位于l2方向的位置关系。另外，第2项利用接下来的两组像素来计算。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于l2方向的上实行220上的实像素u0的组。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于l2方向的相反方向的下实行222上的实像素d2的组。

接下来说明dir＝r2的情况。在该情况下，rel_skew如式(67)所示。

rel_skew＝α×|u3-d1|+(1-α)×f(|u2-m1|，|d0-m1|)        (67)

式(67)的第1项也表示位于对象像素T附近的两个实像素之间的相关。而且，这两个实像素的一方位于上实行220上而另一方位于下实行222上，且从后者观察前者位于r2方向的位置关系。另外，第2项利用接下来的两组像素来计算。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于r2方向的上实行220上的实像素u2的组。

·对象像素T的左邻的插值完成像素m1、和从插值完成像素m1观察位于r2方向的相反方向的下实行222上的实像素d0的组。

以上，对图23所示的空间相关值rel_skew进行了说明，但也可以针对未图示的l3方向、l4方向、r3方向、r4方向同样地计算出rel_skew。即，在将m设为1以上的整数时，可根据临时插值方向dir，如式(68)～式(71)那样采取一般化形式来定义rel_skew。

在dir＝lj，j＝2m-1时

  rel_skew

    ＝α×|p(i，x-m+1，y-1)-p(i，x+m，y+1)|+

      (1-α)×f(|p(i，x-m，y-1)-q(i，x-1，y)|，

      |p(i，x+m-1，y+1)-q(i，x-1，y)|)         (68)

在dir＝rj，j＝2m-1时

  rel_skew

   ＝α×|p(i，x+m，y-1)-p(i，x-m+1，y+1)|+

     (1-α)×f(|p(i，x+m-1，y-1)-q(i，x-1，y)|，

     |p(i，x-m，y+1)-q(i，x-1，y)|)            (69)

在dir＝1j，j＝2m时

  rel_skew

   ＝α×|p(i，x-m，y-1)-p(i，x+m，y+1)|+

     (1-α)×f(|p(i，x-m-1，y-1)-q(i，x-1，y)|，

     |p(i，x+m-1，y+1)-q(i，x-1，y)|)          (70)

在dir＝rj，j＝2m时

  rel_skew

   ＝α×|p(i，x+m，y-1)-p(i，x-m，y+1)|+

      (1-α)×f(|p(i，x+m-1，y-1)-q(i，x-1，y)|，

      |p(i，x-m-1，y+1)-q(i，x-1，y)|)          (71)

即，空间相关值rel_skew表示与临时插值方向dir对应的、位于相对于对象像素T的特定的相对位置的像素彼此的相关，利用至少一个插值完成像素的插值完成像素值来计算。

以上说明的空间相关值rel_skew在图22的步骤S506中，由第二空间相关值计算部303来计算。另外，第二空间相关值计算部303在步骤S506中，还计算由式(72)定义的空间相关值rel_xy。

rel_xy＝α×|u2-d2|+(1-α)×f(|u1-m1|，|d1-m1|)       (72)

式(72)的右边与式(61)的右边完全相同，rel_xy与dir＝c时的rel_skew相等。如后所述，混合插值部302内的场内插值用像素确定部209确定的场内插值方向为临时插值方向dir或c方向。在场内插值方向确定为c方向的情况下，进行rel_xy的计算。

接下来，参照图24来说明考虑插值完成像素m1来计算空间相关值rel_skew的优点。为便于说明，在图24中也与图19相同地，在左侧示出所有的行为实行的原图像P，在中央示出与原图像P对应的隔行扫描图像I。在右侧示出像素值插值装置300将隔行扫描图像I作为输入来接收，从左至右依次选择插值行221上的像素来进行插值的情况。在该图中，对象像素T的左侧的像素已经进行了插值。

如图24所示，原图像p是背景为明亮的灰色且在插值行221上存在黑色的细横线H的图像。但是，由于该横线H非常细，所以仅存在于插值行221上，在其上下的行上不存在。因此，在隔行扫描图像I中完全不包括该横线H。

针对这样的隔行扫描图像I，在第1实施方式中，如图24的中央所示，仅计算考虑插值行221的上下实行间的相关的局部相关值和基于该局部相关值的累积相关值。在局部相关值中，仅反映出属于背景的像素彼此的强相关，而没有反映出背景和横线H之间的相关。

另一方面，在第二实施方式中，参照插值完成像素m1，所以在适当地插值像素m1时，空间相关值rel_skew成为还反映出背景和横线H之间的相关的值。在图24的情况下，由于背景和横线H的像素值存在较大差异，所以rel_skew的值也随之变大，rel_skew适当地表示对象像素T附近处的空间相关较小的情况。如上所述，对于原图像P，通过考虑插值完成像素m1，可以得到更适当地表示空间相关的空间相关值。对于通过取得适当的空间相关值来进行适当的插值的情况，将在后面与图30对应地进行叙述。

接下来，参照图25～图28来对时间相关值计算部304在图22的步骤S507中计算的时间相关值进行说明。在本实施方式中，利用根据先行场图像以及后续场图像内的实像素计算出的第一时间相关值、以及根据先行场图像内的插值完成像素和对象场图像内的实像素计算出的第二时间相关值这双方。

第一时间相关值的计算中使用的实像素为存在于对象像素的位置处的像素。或者，也可以将存在于对象像素的位置及其附近的多个实像素使用在第一时间相关值的计算中。本实施方式中的第一时间相关值具体而言为rel_xt。

第二时间相关值的计算中使用的插值完成像素和实像素的位置相同，其位置为对象像素的位置附近。本实施方式中的第二时间相关值具体而言为rel_yt和rel_yt 2。

接下来，参照图25和图26来对时间相关值中的rel_xt和rel_yt进行说明。

图25说明对在与时刻t＝t_i对应的对象场图像F_i中位于(x，y)的对象像素T进行插值的情况。在图25中，针对对象像素T的附近，示出先行场图像F_i-1、对象场图像F_i、后续场图像F_i+1。在图25中，使用实线来示出实行上的实像素，使用虚线来示出插值行上的像素。

首先，针对时间相关值的计算中利用的像素如下这样定义。

·在先行场图像F_i-1中，利用标号“b”来参照位于与对象像素T相同的位置、即(x，y)的实像素及其像素值。

·在后续场图像F_i+1中，利用标号“f”来参照位于与对象像素T相同的位置、即(x，y)的实像素及其像素值。另外，该“f”与式(61)～式(72)的函数f没有关系。

·在对象场图像F_i中，利用标号“u”来参照对象像素T的上邻、即位于(x，y-1)的实像素及其像素值。

·在对象场图像F_i中，利用标号“d”来参照对象像素T的下邻、即位于(x，y+1)的实像素及其像素值。

·在先行场图像F_i-1中，利用标号“u’”来参照位于与像素u相同的位置、即(x，y-1)的插值完成像素及其插值完成像素值。

·在先行场图像F_i-1中，利用标号“d’”来参照位于与像素d相同的位置、即(x，y+1)的插值完成像素及其插值完成像素值。

在使用式来表示以上的定义时，如式(73)～式(78)所示。

b＝p(i-1，x，y)               (73)

f＝p(i+1，x，y)               (74)

u＝p(i，x，y-1)               (75)

d＝p(i，x，y+1)               (76)

u’＝q(i-1，x，y-1)           (77)

d’＝q(i-1，x，y+1)           (78)

时间相关值rel_xt为对象像素T的位置处的先行场图像F_i-1和后续场图像F_i+1之间的相关，利用式(79)来定义。

rel_xt＝|f-b|                 (79)

另外，时间相关值rel_yt为对象像素T的上下位置处的先行场图像F_i-1和对象场图像F_i之间的相关，利用式(80)来定义。

rel_yt＝f(|u-u’|，|d-d’|)   (80)

由于像素u和像素d位于对象像素T的附近，所以在称为“附近像素”时，式(80)为包含在对象场图像F_i中的附近像素、与在先行场图像F_i-1中位于与该附近像素相同位置处的插值完成像素之间的相关。

作为式(80)的右边的函数f，具体而言，例如可使用式(62)和式(63)所示的函数。即，式(80)的函数f起到与空间相关值rel_skew的计算中使用的函数f相同的功能。例如，通过利用使用式(62)来定义的函数f，可将先行场图像F_i-1和后续场图像F_i+1的差更加敏感地反映到rel_yt。

接下来，参照图26来说明除了时间相关值rel_xt之外还计算出rel_yt的理由。图26是说明纵线快速移动的图像中的时间相关值rel_xt、rel_yt的特征的图。在图26中也与图25相同地使用“×”符号来表示对象像素，图26中的标号b、f、u、d、u’、d’表示与图25相同的像素。

在图26的示例中，在明亮的灰色的背景上，宽度仅为3个像素的暗灰色纵线从右向左移动。该纵线移动得非常快。因此，在先行场图像F_i-1中像素u’、b、d’相当于背景，纵线位于其右侧。纵线在对象场图像F_i中向像素u、对象像素、像素d的位置移动。然后，在后续场图像F_i+1中造成纵线移动到像素f的左侧，像素f相当于背景。

在该情况下，像素f和像素b都相当于背景，所以时间相关值rel_xt为较小的值，表示在对象像素的位置处先行场图像F_i-1和后续场图像F_i+1之间的相关大。因此，在假设静止/运动判定部206仅根据rel_xt来进行静止/运动判定时，造成在时刻t_i的对象像素的位置处被判断为静止。

但是，如图26所示，实际上在时刻t_i的对象像素的位置处存在非常快速的运动。时间相关值rel_yt用于检测图26所示那样的运动。

此处为简化说明，假设为对像素u’和像素d’进行了适当的插值。于是，|u-u’|和|d-d’|这两者都为较大的值，所以时间相关值rel_yt也为较大的值。即，rel_yt表示在对象像素的上下中至少一方的位置处，先行场图像F_i-1和对象场图像F_i之间的相关小。由于相关小，所以可检测出时刻t_i的对象像素附近的运动。

其中，优选为作为时间相关值不是仅使用rel_yt，而是互补地使用rel_xt和rel_yt这双方。其原因为，由于设为可如上述那样检测出快速的运动，所以rel_yt与rel_xt相比时间分辨率更佳，但垂直分辨率比rel_xt差。即，rel_xt的计算中使用的像素宽度在垂直方向即y方向上仅为1个像素的量，但rel_yt的计算中使用的像素在垂直方向上存在3个像素量的范围。因此，rel_yt的垂直分辨率比rel_xt差。

接下来，参照图27A、27B、28来对时间相关值中的rel_yt 2进行说明。如上所述，rel_yt 2的计算方法根据临时插值方向dir不同而不同。图27A示出dir＝r2的情况，图27B示出dir＝r3的情况。在依次对这两个情况进行说明之后，对一般的情况进行说明，之后，参照图28来说明rel_yt2的意义。

图27A示出对在与时刻t＝t_i对应的对象场图像F_i中位于(x，y)的对象像素T进行插值的情况。在图27A中，针对对象像素T的附近，示出先行场图像F_i-1和对象场图像F_i。

首先，针对在dir＝r2的情况下在时间相关值rel_yt 2的计算中利用的像素，如下这样定义。另外，在接下来的定义中使用与图25相同的标号u、d、u’、d’，但应该注意在此具有与图25的情况不同的含义。

·在对象场图像F_i中，利用标号“u”来参照上实行上的、从对象像素T观察位于r2方向的位置、即(x+1，y-1)的实像素及其像素值。

·在对象场图像F_i中，利用标号“d”来参照下实行上的、从对象像素T观察位于r2方向的相反方向的位置、即(x-1，y+1)的实像素及其像素值。

·在先行场图像F_i-1中，利用标号“u’”来参照位于与像素u相同的位置、即(x+1，y-1)的插值完成像素及其插值完成像素值。

·在先行场图像F_i-1中，利用标号“d’”来参照位于与像素d相同的位置、即(x-1，y+1)的插值完成像素及其插值完成像素值。

在使用式子来表示以上的定义时，如式(81)～式(84)所示。

u＝p(i，x+1，y-1)                (81)

d＝p(i，x-1，y+1)                (82)

u’＝q(i-1，x+1，y-1)            (83)

d’＝q(i-1，x-1，y+1)            (84)

与图11比较可知，这样定义的像素u和像素d的位置与r2方向对应。因此，插值完成像素u’和d’的位置也与r2方向对应。

另外，图27A包括使用xyt坐标系来三维地示出先行场图像F_i-1和对象场图像F_i的一部分的示意图310。在示意图310中，为便于说明将各像素表示为立方体。

dir＝r2时的时间相关值rel_yt 2如式(85)所示。在dir＝r2的情况下，利用式(81)～式(84)来定义的像素值使用在式(85)中。

rel_yt2＝f(|u-u’|，|d-d’|)         (85)

作为式(85)中的函数f，例如可使用式(62)和式(63)所示的函数。即，式(85)中的函数f起到与式(80)中的函数f相同的功能。

时间相关值rel_yt 2在使用位于与临时插值方向dir对应的对象像素T的特定相对位置处的像素来计算的方面与空间相关值rel_skew相似。另外，时间相关值rel_yt 2在表示特定位置处的先行场图像F_i-1和对象场图像F_i之间的相关的方面，与时间相关值rel_yt相似。即，与rel_yt相同地，rel_yt 2也是包含在对象场图像F_i中的附近图像、与在先行场图像F_i-1中位于与该附近像素相同位置处的插值完成像素之间的相关。

接下来，参照图27B来对dir＝r3时的时间相关值rel_yt 2进行说明。图27B由于与图27A相似的方面较多，所以对共同点适当地省略说明。

首先，针对在dir＝r3的情况下时间相关值rel_yt 2的计算中利用的像素，如下那样定义。另外，在接下来的定义中使用与图11等相同的标号u1、u2、d1、d2，但应该注意在此具有与图l1等不同的含义。

·在对象场图像F_i中，上实行上的从对象像素T观察r3方向的位置为坐标(x+1.5，y-1)。分别利用标号“u1”和标号“u2”来参照隔着该位置左右邻接的两个像素。另外，还使用与像素相同的标号来参照像素值。即，像素u1为位于(x+1，y-1)的实像素，像素u2为位于(x+2，y-1)的实像素。

·在对象场图像F_i中，下实行上的从对象像素T观察r3方向的相反方向的位置为坐标(x-1.5，y+1)。分别利用标号“d1”和标号“d2”来参照隔着该位置左右邻接的两个像素。另外，还使用与像素相同的标号来参照像素值。即，像素d1为位于(x-2，y+1)的实像素，像素d2为位于(x-1，y+1)的实像素。

·在先行场图像F_i-1中，利用标号“u1’”来参照位于与像素u1相同的位置、即(x+1，y-1)的插值完成像素及其插值完成像素值。

·在先行场图像F_i-1中，利用标号“u2’”来参照位于与像素u2相同的位置、即(x+2，y-1)的插值完成像素及其插值完成像素值。

·在先行场图像F_i-1中，利用标号“d1’”来参照位于与像素d1相同的位置、即(x-2，y+1)的插值完成像素及其插值完成像素值。

·在先行场图像F_i-1中，利用标号“d2’”来参照位于与像素d2相同的位置、即(x-1，y+1)的插值完成像素及其插值完成像素值。

在使用式子来表示以上的定义时，如式(86)～式(93)所示。

u1＝p(i，x+1，y-1)                  (86)

u2＝p(i，x+2，y-1)                  (87)

d1＝p(i，x-2，y+1)                  (88)

d2＝p(i，x-1，y+1)                  (89)

u1’＝q(i-1，x+1，y-1)              (90)

u2’＝q(i-1，x+2，y-1)              (91)

d1’＝q(i-1，x-2，y+1)              (92)

d2’＝q(i-1，x-1，y+1)              (93)

与图11比较可知，这样定义的像素u1、u2、d1、d2的位置与r3方向对应。因此，插值完成像素u1’、u2’、d1’、d2’的位置也与r3方向对应。另外，与图27A相同，图27B也包括使用xyt坐标系的示意图311。

dir＝r3时的时间相关值rel_yt 2如式(94)所示。在dir＝r3的情况下，利用式(86)～式(93)来定义的像素值使用在式(94)中。

rel_yt2＝f((|u1-u1’|+|u2-u2’|)/2，(|d1-d1’|+|d2-d2’|)/2)    (94)

式(94)中的函数f为与式(85)的函数f相同的函数。

从式(94)可知，在dir＝r3时，针对与r3方向对应的特定的四个位置(x+1，y-1)、(x+2，y-1)、(x-2，y+1)、(x-1，y+1)，分别计算出先行场图像F_i-1和对象场图像F_i之间的相关|u1-u1’|、|u2-u2’|、|d1-d1’|、|d2-d2’|。然后，作为对象像素T附近的上实行中的时间上的相关，在本实施方式中，计算出|u1-u1’|和|u2-u2’|的平均，并作为第一自变量提供给函数f。相同地，作为对象像素T附近的下实行中的时间上的相关，计算出|d1-d1’|和|d2-d2’|的平均，并作为第二自变量提供给函数f。其结果，计算出与临时插值方向dir对应的特定位置处的、先行场图像F_i-1和对象场图像F_i之间的相关即rel_yt 2。

接下来，将图27A和图27B中的说明转为一般形式，说明针对r2方向和r3方向以外的方向的rel_yt 2的计算方法。另外，以下设m为1以上的整数。

在dir＝rj且j＝2m时，通过将式(81)～式(84)置换为接下来的式(95)～式(98)而利用式(85)来计算rel_yt 2。

u＝p(i，x+m，y-1)            (95)

d＝p(i，x-m，y+1)            (96)

u’＝q(i-1，x+m，y-1)        (97)

d’＝q(i-1，x-m，y+1)        (98)

同样地，在dir＝lj且j＝2m时，通过将式(81)～式(84)置换为接下来的式(99)～式(102)而利用式(85)来计算rel_yt 2。

u＝p(i，x-m，y-1)            (99)

d＝p(i，x+m，y+1)            (100)

u’＝q(i-1，x-m，y-1)        (101)

d’＝q(i-1，x+m，y+1)        (102)

在dir＝rj且j＝2m-1时，通过将式(86)～式(93)置换为接下来的式(103)～式(110)而利用式(94)来计算rel_yt 2。

u1＝p(i，x+m-1，y-1)         (103)

u2＝p(i，x+m，y-1)           (104)

d1＝p(i，x-m，y+1)           (105)

d2＝p(i，x-m+1，y+1)         (106)

u1’＝q(i-1，x+m-1，y-1)     (107)

u2’＝q(i-1，x+m，y-1)       (108)

d1’＝q(i-1，x-m，y+1)       (109)

d2’＝q(i-1，x-m+1，y+1)     (110)

同样地，在dir＝lj且j＝2m-1时，通过将式(86)～式(93)置换为接下来的式(111)～式(118)而利用式(94)来计算rel_yt 2。

u1＝p(i，x-m，y-1)           (111)

u2＝p(i，x-m+1，y-1)         (112)

d1＝p(i，x+m-1，y+1)               (113)

d2＝p(i，x+m，y+1)                 (114)

u1’＝q(i-1，x-m，y-1)             (115)

u2’＝q(i-1，x-m+1，y-1)           (116)

d1’＝q(i-1，x+m-1，y+1)           (117)

d2’＝q(i-1，x+m，y+1)             (118)

另外，从图11可知，c方向可以视为r0方向，也可以视为l0方向。因此，在式(95)～式(98)中代入m＝0时，可利用式(85)来计算出dir＝c时的rel_yt 2。

根据以上的式子，针对任何临时插值方向dir，时间相关值计算部304均可计算出时间相关值rel_yt 2。

接下来，参照图28来说明计算rel_yt 2的理由。图28为与图26类似的图。另外，图28为dir＝r2的情况下的示例，标号u、d、u’、d’表示与图27A相同的像素。另外，使用“×”标记来表示的对象像素、像素b、像素f与图25相同。

在图28的示例中，在明亮的灰色的背景上，宽度仅为3个像素的暗灰色斜线从右向左移动。该斜线与r2方向平行且移动得非常快。因此，在先行场图像F_i-1中像素u’、b、d’相当于背景，斜线位于其右侧。斜线在对象场图像F_i中向像素u、对象像素、像素d的位置移动。然后，造成在后续场图像F_i+1中斜线移动到像素f的左侧，像素f相当于背景。

在该情况下，像素f和像素b都相当于背景，所以时间相关值rel_xt为较小的值，表示在对象像素的位置处先行场图像F_i-1和后续场图像F_i+1之间的相关大。因此，如果假设静止/运动判定部206仅根据rel_xt来进行静止/运动判定，则造成在时刻t_i的对象像素的位置处被判断为静止。

但是，如图28所示，实际上在时刻t_i的对象像素的位置处存在非常快速的运动。时间相关值rel_yt 2用于检测图28所示的那样的运动。

此处为简化说明，假设为像素u’和d’已被适当地插值。于是，|u-u’|和|d-d’|这两者都为较大的值，所以时间相关值rel_yt 2也为较大的值。在该情况下，rel_yt2表示在根据临时插值方向dir确定的对象像素的斜上方或斜下方这两个位置处，先行场图像F_i-1和对象场图像F_i之间的相关小。由于相关小，所以可检测出时刻t_i的对象像素附近的运动。

由此，rel_yt 2具有与rel_yt相同的高时间分辨率。另一方面，与rel_yt同样地，rel_yt 2的垂直分辨率逊于rel_xt。因此，优选rel_yt 2也与rel_xt互补地进行使用。

接下来，对图22的步骤S508中静止/运动判定部206进行的静止/运动判定进行说明。静止/运动判定部206从时间相关值计算部304接收时间相关值rel_xt、rel_yt、rel_yt 2。静止/运动判定部206将预先确定的阈值timeth和3种时间相关值分别进行比较，根据该结果，判定是否在时刻t_i在对象像素的附近存在运动。具体而言，在本实施方式中，在式(119)～式(121)全部成立时，静止/运动判定部206判定为静止。

rel_xt＜timeth            (119)

rel_yt＜timeth            (120)

rel_yt2＜timeth           (121)

一般而言，式(119)～式(121)在不同的场图像中位于相同位置的像素彼此的相关大的情况下成立。即，在由于完全没有运动或仅稍微运动，所以场间的相关大的情况下，这些式子成立。因此，在本实施方式中，在式(119)～式(121)全部成立时判定为静止，在除此以外的情况下判定为存在运动。

另外，式(119)～式(121)全部成立的条件为严格的条件。设置如此严格的条件的理由在于，在图22的步骤S508中被判定为静止时，在步骤S510中进行场间插值，对象场图像F_i内的像素不会被用作插值用像素。另一方面，在步骤S508中检测到运动的情况下，在步骤S509中进行包括场间插值和场内插值这双方的要素的混合插值。因此，仅在满足严格的条件，且场内插值适当这一事件的可靠性高的情况下，进行只包括一方的要素的步骤S510的处理。

另外，在本实施方式中，在所有的式(119)～式(121)中使用相同阈值timeth，但在另一实施方式中，也可以按照每个时间相关值分别与不同的阈值进行比较。

接下来，参照图29的流程图来说明在图22的步骤S509中混合插值部302执行的混合插值的详细内容。图29包括与表示第一实施方式中的场内插值的图14相同的过程。

在步骤S601中，场内插值用像素确定部209取得与临时插值方向dir对应的局部相关值min_rel。这与图14的步骤S402相同。

在第一实施方式中，在图14的步骤S402之前的步骤S401中，已经选择出累积相关值为最小的相关计算方向dir。另一方面，在第二实施方式中，在执行图29的处理之前、即在图22的步骤S505中，已经将累积相关值为最小的相关计算方向dir选择为临时插值方向。在任何情况下，dir都为累积相关值最小的方向。因此，步骤S601与步骤S402完全相同。

在步骤S601后，处理转移到步骤S602，但步骤S602、S603、S604分别与图14的步骤S403、S404、S405相同，所以省略说明。在执行步骤S603或S604之后，处理转移到步骤S605。

在步骤S605中，场内插值像素值计算部210与图14的步骤S406相同地，计算出对对象像素进行场内插值时的像素值g_s。以后，将像素值g_s称为“场内插值值”。

另外，在步骤S605中，场间插值部211与步骤S510同样地计算对对象像素进行场间插值时的像素值g_t。以后，将像素值g_t称为“场间插值值”。在场内插值值g_s和场间插值值g_t这双方的计算后，处理转移到步骤S606。

在步骤S606中，权重系数计算部305计算出权重系数w_t和w_s。权重系数w_t和w_s都定义成值为0以上1以下，且两者的和为1。具体而言，根据在步骤S603或步骤S604中确定的场内插值方向，权重系数w_t和w_s的计算方法不同。

场内插值方向为c方向时的权重系数w_t和w_s分别利用式(122)和式(123)来定义。

$w\_t=\frac{k2\·\mathrm{rel}\_\mathrm{xy}}{(\max (\mathrm{rel}\_\mathrm{xt},\mathrm{rel}\_\mathrm{yt})+\mathrm{\ϵ})+k2\·\mathrm{rel}\_\mathrm{xy}}---\left(122\right)$

$w\_s=\frac{(\max (\mathrm{rel}\_\mathrm{xt},\mathrm{rel}\_\mathrm{yt})+\mathrm{\ϵ})}{(\max (\mathrm{rel}\_\mathrm{xt},\mathrm{rel}\_\mathrm{yt})+\mathrm{\ϵ})+k2\·\mathrm{rel}\_\mathrm{xy}}---\left(123\right)$

式(122)和式(123)中的“k2”是预先确定的常数，是调节对空间相关值的权重系数的贡献的系数。从经验上来讲，k2的值通常期望为1.0。

另外，式(122)和式(123)中的“ε”也为预先确定的常数。ε是在时间相关值和空间相关值都为0的情况下为了防止分母为0而加上的值。因此，对ε例如设定0.01等较小的值。

在权重系数w_t和w_s的计算中使用的时间相关值rel_xt、rel_yt以及空间相关值rel_xy根据其定义为非负。因此，根据上述k2和ε的含义，当然k2和ε为非负。因此，权重系数w_t和w_s也为非负。另外，从定义可知，权重系数w_t与w_s的和为1。

接下来，说明式(122)和式(123)的含义。如上所述，ε是为便于计算而导入的常数，所以在考虑式子的意思时，可假设为ε＝0。另外，如上所述，优选为k2＝1，所以假设为k2＝1。根据该假设理解为，式(122)的权重系数w_t表示空间相关值在时间相关值和空间相关值的和中所占的比例，式(123)的权重系数w_s表示时间相关值在时间相关值和空间相关值的和中所占的比例。

接下来，对场内插值方向与临时插值方向均为dir时的权重系数w_t和w_s进行说明。在该情况下，权重系数w_t和w_s分别利用式(124)和式(125)来定义。

$w\_t=\frac{k2\·\mathrm{rel}\_\mathrm{skew}}{(\max (\mathrm{rel}\_\mathrm{xt},\mathrm{rel}\_\mathrm{yt}2)+\mathrm{\ϵ})+k2\·\mathrm{rel}\_\mathrm{skew}}---\left(124\right)$

$w\_s=\frac{(\max (\mathrm{rel}\_\mathrm{xt},\mathrm{rel}\_\mathrm{yt}2)+\mathrm{\ϵ})}{(\max (\mathrm{rel}\_\mathrm{xt},\mathrm{rel}\_\mathrm{yt}2)+\mathrm{\ϵ})+k2\·\mathrm{rel}\_\mathrm{skew}}---\left(125\right)$

式(124)是在式(122)中，将空间相关值rel_xy置换为空间相关值rel_skew，并将时间相关值rel_yt置换为时间相关值rel_yt 2而取得的式子。式(125)是通过在式(123)中进行相同的置换而取得的式子。另外，rel_skew和rel_yt 2根据其定义也为非负。

因此，在式(124)和式(125)中，k2和ε与上述相同，权重系数w_t和w_s为非负。另外，从定义可知，在该情况下，权重系数w_t和w_s的和也为1。

另外，在将从c方向这一特定方向向任意方向dir的扩展的含义称为“一般化”时，从上述说明可知，rel_skew为rel_xy的一般化，rel_yt 2为rel_yt的一般化。因此，式(124)和式(125)可视为用于将与c方向这一特定方向对应的式(122)和式(123)扩展到一般方向dir的式子。因此可以说，式(124)的权重系数w_t也表示空间相关值在时间相关值和空间相关值的和中所占的比例，式(125)的权重系数w_s也表示时间相关值在时间相关值和空间相关值的和中所占的比例。

在权重系数计算部305按照以上的式子计算出权重系数w_t和w_s时，处理转移到步骤S607。在步骤S607中，混合插值像素值计算部306按照式(126)计算出混合插值值g_out，利用该混合插值值g_out来插值对象像素。然后，图29的处理结束。

g_out＝w_t·g_t+w_s·g_s              (126)

接下来，参照图30说明上述混合插值中的时间相关值及空间相关值和权重系数w_t、w_s之间的关系。图30的左边的表示出时间相关值和空间相关值的值的组合，右边的表示出与该组合对应的权重系数的值的大小。

由于w_t和w_s非负且两者的和为1，所以在图30的右边的表中，将接近0的值表示为“小”，将接近0.5的值表示为“中”，将接近1的值表示为“大”。

另外，在第二实施方式中，时间相关值和空间相关值这双方都是相关越大其值越小的相关值。而且，从上述的rel_xt、rel_yt、rel_yt2、rel_xy、rel_skew的定义可知，这些值可取的最小值和最大值相同。即，该共同的最小值为0。另外，根据上述(e)的假设，由于像素值为0以上100以下，所以两个像素的像素值之差的绝对值最大为100。因此，上述的共同的最大值都为100。因此，如下的内容成立。

在时间相关值和空间相关值都小或都大的情况下、即在双方的值为相同程度的情况下，根据式(122)～式(125)，权重系数w_t和w_s都为接近0.5的值。因此，根据式(126)，混合插值值g_out为接近场间插值值g_t和场内插值值g_s的平均值的值。

在时间相关值小而空间相关值大的情况下、即在时间相关大而空间相关小的情况下，根据式(122)～式(125)，w_t大且w_s小。因此，根据式(126)，混合插值值g_out为接近场内插值值g_t的值。即，时间相关大时的混合插值为接近场间插值的插值。

另一方面，在时间相关值大而空间相关值小的情况下、即在时间相关小而空间相关大的情况下，根据式(122)～式(125)，w_t小且w_s大。因此，根据式(126)，混合插值值g_out为接近场内插值值g_s的值。即，空间相关大时的混合插值为接近场内插值的插值。

例如，在图24的示例中，空间相关值的一种即局部相关值c(x)、r(x，j)、l(x，j)中没有反映的空间相关在另一空间相关值rel_skew中反映出。即，在图24的示例中，rel_skew的值大。因此，根据图30，w_s小于w_t或与w_t相同程度。因此，针对对象像素T，进行中间的插值或接近场间插值的插值。而图24是接近场内插值的插值不适当的示例，所以根据以上内容可以理解本方法能够防止不适当的插值。

如上这样计算出的混合插值值g_out同时包括时间的要素即场间插值的要素和空间的要素即场内插值的要素。而且，根据时间相关值和空间相关值的大小关系，时间的要素和空间的要素利用权重系数w_t和w_s来调节加权。因此，与以二者选其一的方式来确定场间插值和场内插值的情况相比，在进行混合插值的第二实施方式中，可防止画面的闪烁，可取得更自然的逐行扫描图像。

另外，第一或第二实施方式中的插值方法的确定也可以由图31那样的一般的计算机来执行。图7的插值方法确定装置100、图9的像素值插值装置200、图21的像素值插值装置300都可由图31的计算机来实现。即，图31的计算机通过进行上述流程图中示出的处理，作为插值方法确定装置100、像素值插值装置200、或像素值插值装置300来发挥功能。

图31的计算机具有CPU(Central Processing Unit，中央处理单元)401、ROM(Read Only Memory，只读存储器)402、RAM(Random AccessMemory，随机存取存储器)403、通信接口404、输入装置405、输出装置406、存储装置407、可移动型存储介质410的驱动装置408，这些全部通过总线409来连接。

另外，图31的计算机经由通信接口404与网络411连接。通信接口404为有线通信用和/或无线通信用的接口。网络411可以是LAN(LocalArea Network，局域网)或因特网等任意的计算机网络，也可以是电视广播网。在网络411为电视广播网时，通信接口404包括天线和调谐器。

输入装置405例如为鼠标等指示设备和键盘。输出装置406例如为液晶显示器或CRT显示器等显示装置。例如，通过第一或第二实施方式的处理进行IP转换而取得的逐行扫描图像也可以输出给输出装置406。

存储装置407可以是硬盘等磁盘装置，也可以是可重写的非易失性存储器等其他种类的存储装置。

在存储装置407或ROM 402中存储有第一或第二实施方式的程序、例如使计算机执行图10、图13、图14的处理或图22、图13、图29的处理的程序。通过CPU 401执行该程序，图31的计算机作为插值方法确定装置100、像素值插值装置200、像素值插值装置300中的任一个来动作。

另外，输入图像的数据可以预先积蓄在存储装置407中，也可以从图像提供者413经由网络411和通信接口404发送来。或者，也可以是存储有输入图像的数据的可移动型存储介质410设置在驱动装置408中，输入图像的数据读出到RAM 403。另外，输入图像可以是利用图像信号显示的静止图像，也可以是利用视频信号显示的动态图像。

存储部101和存储部201与RAM 403相当。但是，也可以由RAM 403实现存储部101和存储部201的一部分，由存储装置407实现剩余的部分。另外，图7的存储部101以外的功能模块以及图9和图21的存储部201以外的功能模块与CPU 401相当。

第一或第二实施方式的程序也可以从程序提供者412经由网络411以及通信接口404来提供，例如存储在存储装置407中，由CPU 401执行。另外，也可以是在可移动型存储介质410中存储第一或第二实施方式的程序，将可移动型存储介质410设置在驱动装置408中，存储的程序载入RAM 403中由CPU 410执行。作为可移动型存储介质410，可使用CD(Compact Disc，高密度磁盘)或DVD(Digital Versatile Disk，数字多用途磁盘)等光盘、光磁盘、软盘等多种形式的存储介质。

另外，本发明不限于上述实施方式，可进行多种变形。以下叙述几个变形示例，但当然还可以进行以下叙述的以外的变形。

变形的第一观点为向彩色图像的应用。在第一以及第二实施方式中，为简化说明，如上述(e)所述，假设为各像素利用一个像素值来表示。在将亮度设为像素值的灰度的单色图像的情况下，该假设成立。

在彩色图像的情况下，各像素由多个像素值来表示。例如，在一般的计算机的显示器中使用的RGB颜色显示系统中，利用表示红色的R、表示绿色的G、表示蓝色的B这三个像素值来表示各像素。另外，在电视广播中使用的YCbCr颜色显示系统中，利用亮度信号Y和两个色差信号Cb及Cr这合计三个像素值来表示各像素。

通过将第一以及第二实施方式例如如下那样变形，即使在输入图像为彩色图像的情况下，也可以确定插值方法。

最简单的变形例为在插值方法的确定中仅使用1种像素值的方法。在插值方法的确定中使用的像素值优选按照人眼的特性来选择。与颜色的差相比，人眼对明亮度的差更敏感，最能感觉到明亮度的颜色为绿色。因此，优选为在YCbCr颜色显示系统的情况下选择亮度信号Y，在RGB颜色显示系统的情况下选择表示绿色的G。

以下，以YCbCr颜色显示系统的情况为例进行说明。在该变形例中，空间相关值和时间相关值的计算、静止/运动判定、场内插值方向的确定、权重系数的计算仅使用像素值Y来进行。在对象像素的像素值的计算、即第一实施方式中的图14的步骤S406或第二实施方式中的图29的步骤S605和步骤S607中，分别针对像素值Y、Cb、Cr进行计算。

在输入图像为彩色图像时的另一变形例中，分别针对多种像素值进行空间相关值和时间相关值的计算。例如，代替式(15)的局部相关值c(x)，而进行分别基于像素值Y、Cb、Cr的局部相关值c_Y(x)、c_Cb(x)、c_Cr(x)的计算。然后，将该三个局部相关值中的最大值选择为c(x)。另外，一般来说亮度信号Y和色差信号Cb、Cr的位数不同。因此，在该示例以及以下的示例中，假设为该三个局部相关值是进行与位数的差异对应的比例转换而取得的值。

或者，为了与像素值Cb和Cr相比更优先考虑像素值Y，也可以预先确定适当的权重系数w1、w2、w3，而比较w1·c_Y(x)、w2·c_Cb(x)、w3·c_Cr(x)。而且，例如在其中的w2·c_Cb(x)为最大的情况下，将c_Cb(x)的值用作c(x)。另外，通过使用满足0＜w＜2、w3＜w1的关系的权重系数，可优先考虑像素值Y。

根据如此计算出的局部相关值来计算累积相关值的方法与第一以及第二实施方式相同。另外，与在上述中根据c_Y(x)、c_Cb(x)、c_Cr(x)计算c(x)相同地，其他空间相关值和时间相关值也根据分别针对多种像素值的计算来计算出。使用该结果的静止/运动判定、场内插值方向的确定、权重系数的计算与第一以及第二实施方式相同。对象像素的像素值的计算分别针对多种像素值进行。

变形的第二观点为两个像素的相关的计算方法。根据两个像素的相关值来计算空间相关值和时间相关值，但在上述中，也可以将两个像素值之差的绝对值用作两个像素的相关值。但是，例如，也可以将两个像素值之差的平方用作两个像素的相关值，也可以利用其他方法定义两个像素的相关。根据上述定义，各种相关值的相关越大其值越小，但也可以使用相关越大其值越大这样的定义。

变形的第三观点为局部相关值的计算中使用的像素的数量。如图11所示，在第一以及第二实施方式中，使用上实行220上的1个像素和下实行222上的1个像素、或者上实行220上的2个像素和下实行222上的2个像素来计算局部相关值。但是，为了减少像素的噪声对局部相关值波及的影响，也可以将上述“1个像素”扩展为3个像素或5个像素，将上述“2个像素”扩展为4个像素或6个像素。

例如，将式(16)置换为式(127)～式(129)中的任一个即相当于上述的从2个像素向4个像素的扩展。式(129)所示系数1/8和3/8仅是一个示例。

r(x，1)＝|(u1+u2+u3+u4)/4-(d0+d1+d2+d3)/4|  (127)

r(x，1)＝(|u1-d0|+|u2-d1|+|u3-d2|+|u4-d3|)/4    (128)

r(x，1)＝(1/8)|u1-d0|+(3/8)|u2-d1|+(3/8)|u3-d2|+(1/8)|u4-d3|

                                                (129)

另外，上述为水平方向的扩展，但也可以是垂直方向的扩展。即，也可以还考虑上实行220上方的实行和下实行222下方的实行，来计算局部相关值。例如，可以将式(15)置换为式(130)，也可以对式(130)的右边的三项分别施加适当的权重系数。关于c方向以外的方向也可以同样地，还考虑上实行220上方的实行和下实行222下方的下实行来定义局部相关值。

c(x)＝|p(i，x，y-3)-p(i，x，y-1)|+

      |p(i，x，y-1)-p(i，x，y+1)|+

      |p(i，x，y+1)-p(i，x，y+3)|         (130)

变形的第四观点为时间相关值rel_xt和rel_yt的计算中使用的像素的数量。如图25所示，在对象像素T的坐标为(x，y)时，在第二实施方式中，根据位于(x，y)的像素的像素值来计算rel_xt，根据位于(x，y-1)和(x，y+1)的像素的像素值来计算rel_yt。即，在rel_xt和rel_yt的计算中使用的像素的水平方向的宽度为1个像素。也可以将该“1个像素”扩展为3个像素或5个像素。

例如，将式(79)置换为式(131)或将式(80)置换为式(132)即相当于从1个像素向3个像素的扩展。另外，式(131)和式(132)的函数f优选为返回最大值的函数或返回平均值的函数等。

rel_xt＝f(|p(i-1，x-1，y)-p(i+1，x-1，y)|+

         |p(i-1，x，y)-p(i+1，x，y)|+

         |p(i-1，x+1，y)-p(i+1，x+1，y)|)       (131)

rel_yt＝f(|p(i，x-1，y-1)-q(i-1，x-1，y-1)|，

         |p(i，x，y-1)-q(i-1，x，y-1)|，

         |p(i，x+1，y-1)-q(i-1，x+1，y-1)|，

         |p(i，x-1，y+1)-q(i-1，x-1，y+1)|，

         |p(i，x，y+1)-q(i-1，x，y+1)|，

       |p(i，x+1，y+1)-q(i-1，x+1，y+1)|)    (132)

变形的第五观点为作为相关计算方向考虑的方向的数量。该数量可以是实施方式中固有的常数，也可以由用户预先指定。例如在图11中示出9个方向，但作为相关计算方向考虑的方向的数量也可以多于9个或少于9个。但是，考虑很多的相关计算方向，也并没有那么大的意义。

其理由如下。从式(30)和式(31)可知，例如r5方向和r6方向等局部相关值表示离开较远的像素间的相关。一般而言，离开得较远的像素间的相关大的情况少。另外，r6方向和l6方向的倾斜度平缓且接近于水平。在例如图1所示的45度左右的倾斜状态的情况下，如果产生锯齿失真则锯齿失真明显，人眼感到像素恶化。但是，在与水平接近的平缓的倾斜状态下，即使使用以往的方法，也不会产生那么明显的锯齿失真。因此，即使过度地考虑平缓的倾斜，也不会有助于画质提高。

因此，虽然作为相关计算方向考虑的方向的数量为任意，但优选通过实验等来确定适当的数量，而无需过度地考虑多个相关计算方向。

变形的第六观点为空间相关值rel_skew的计算中使用的像素。可以与上述第三观点同样地进行增加像素数的扩展来计算出rel_skew。另外，在图23中，针对每个相关计算方向示出rel_skew的计算中使用的像素，但图23示出优选的一个示例。rel_skew的计算中使用的像素根据临时插值方向dir来确定与对象像素T的相对位置关系即可。该位置关系在与图23的示例不同的实施方式中也可以实现。

变形例的第七观点为对累积相关值进行累积的方向以及范围。在第一以及第二实施方式中，选择顺序方向为“水平上从左至右”的方向，还按照该选择顺序方向指定的顺序，对累积相关值进行累积。但是，在另一实施方式中，选择顺序方向也可以为“水平上从右至左”等其他方向。

另外，也可以将输入图像分割成多个块，计算出累积相关值。即，也可以将a_j≤x≤b_j的范围作为第j块，针对每个块进行插值方法的确定以及插值。在该情况下，例如将图31变形以具有多个CPU 401，从而可针对多个块并行地进行处理。

另外，如图18的累积相关值一览表242所示，在选择顺序方向为“水平上从左至右”的方向的情况下，在图像的左端附近以及右端附近无法计算出累积相关值，而为BIG值。因此，在如此分割成块的情况下，优选分割成邻接的两个块的x坐标的范围重叠。

例如，如图18所示，在作为相关计算方向考虑5个方向的情况下，与块的左端的2个像素和右端的2个像素对应地，存在无法计算的累积相关值。因此，第j块和其左邻的第(j-1)块优选在x方向上至少2个像素部分的范围重叠。在假设为存在n个像素部分的重叠时，在该示例中，针对第j块中的a_j≤x≤a_j+n-1的范围仅进行局部相关值和累积相关值的计算，针对a_j+n≤x≤b_j的范围还进行像素的插值。

变形例的第八观点为场内插值方向的确定方法。图14的步骤S403和图29的步骤S602中参照的min_rel和c(x)都为局部相关值，但也可以根据累积相关值来确定场内插值方向。例如，在步骤S403和步骤S602中，也可以进行基于与方向dir对应的累积相关值Min_rel和累积相关值C(x)的判定。另外，也可以使用局部相关值和累积相关值这双方来进行判定。

变形的第九观点为本发明的实施方式的应用对象。在第一以及第二实施方式中，如假设(a)所示，将IP转换作为应用对象。但是，本发明的上述实施方式中共同的原理还可以应用在IP转换以外。具体而言，还可以在静止图像或动态图像的放大处理中应用本发明的一个实施方式。

图像的放大处理还可以说成是在已有的像素间插入新像素的处理。即，放大后的像素中的一部分像素是直接继承存在于原图像中的像素的像素值的像素，而剩余的像素是根据存在于原图像中的多个像素的像素值进行插值的像素。因此，可将本发明的一个实施方式利用在该插值中。

例如在图11中，插值行221的上下行为实行，但在伴随向水平方向的放大的放大处理中，并不存在所有像素为实像素的那样的水平方向的行。因此，对象像素的上邻和下邻的像素有可能都不是实像素。在该情况下，例如无法计算出在图11中定义的局部相关值c(x)。即，在应用于放大处理的实施方式中，需要根据实像素的分布来适当改变各种空间相关值和时间相关值的定义。

例如，将对象像素的位置假设为(x，y)，假设为在(x-1，y-n)、(x+1，y+n)、(x+1，y-n)、(x-1，y+n)处分别存在实像素P1～P4。n越大，则连接像素P1和P2的方向以及连接像素P3和P4的方向越接近于垂直方向。因此，也可以利用与这些方向对应的局部相关，对c方向的局部相关进行近似，例如代替式(15)而利用式(133)来计算出局部相关值c(x)。

c(x)＝(|p(i，x-1，y-n)-p(i，x+1，y+n)|+

       |p(i，x+1，y-n)-p(i，x-1，y+n)|)/2    (133)

但是，在n过大时，像素P1～P4和对象像素离开得过远。因此，优选通过实验来确定适当的n值范围。

Claims (13)

1.一种像素值的插值方法确定方法，其确定用于对在输入图像中不存在且位于一条直线上的多个像素的各像素值进行插值的插值方法，其特征在于，所述像素值的插值方法确定方法具有如下的步骤：

对象像素选择步骤，在该步骤中，按照指定的选择顺序方向依次将所述多个像素中的一个像素选择为应确定所述插值方法的对象像素，所述选择顺序方向为所述输入图像的水平方向或垂直方向；

局部相关值计算步骤，在该步骤中，分别针对指定的多个相关计算方向，根据从所述对象像素出发位于所述相关计算方向的第一像素的像素值和从所述对象像素出发位于所述相关计算方向的相反方向的第二像素的像素值，来计算与所述相关计算方向对应的局部相关值，其中，与所述对象像素和一个所述相关计算方向的组合对应的所述第一像素和所述第二像素的个数双方都为N个，N≥1，相互对应的所述第一像素和所述第二像素位于距所述对象像素距离相等的位置，所述多个相关计算方向中的一个与所述选择顺序方向成直角；

累积相关值计算步骤，在该步骤中，针对所述多个相关计算方向中的每个相关计算方向，来计算针对所述对象像素的、与该相关计算方向对应的累积相关值，具体的计算方法是，对于所述多个相关计算方向中的每个相关计算方向，将所述多个相关计算方向中的接近该相关计算方向的一个以上的相关计算方向与该相关计算方向关联成关联方向，并从分别与该相关计算方向的各所述关联方向对应地，针对紧接在选择所述对象像素之前的所述选择步骤中选择的其它像素计算出的多个累积相关值中，选择相关最高的累积相关值，将所选择的该累积相关值和与该相关计算方向对应的所述局部相关值相加，得到针对所述对象像素的、与该相关计算方向对应的所述累积相关值，其中，所述累积相关值是根据对所述多个像素中的按照所述选择顺序方向的顺序为开头的像素即开头像素赋予的值，从该开头像素起按照所述选择顺序方向逐次地分别针对所述多个像素计算出的相关值；

方向选择步骤，在该步骤中，根据分别与所述多个相关计算方向对应的所述累积相关值，选择与表示多个所述累积相关值中的相关最高的所述累积相关值对应的所述相关计算方向；以及

插值用像素确定步骤，在该步骤中，根据与在所述方向选择步骤中选择出的所述相关计算方向对应的所述局部相关值、以及与和所述选择顺序方向成直角的所述相关计算方向对应的所述局部相关值，来确定所述对象像素的插值中使用的多个像素。

2.根据权利要求1所述的像素值的插值方法确定方法，其特征在于，所述输入图像为隔行扫描形式的动态图像的场图像，

所述选择顺序方向为沿所述场图像中不存在的行的方向。

3.根据权利要求2所述的像素值的插值方法确定方法，其特征在于，所述像素值的插值方法确定方法还具有第一时间相关值计算步骤，在该第一时间相关值计算步骤中，在先行场图像和后续场图像中，分别根据在所述对象像素的位置或所述位置的附近存在的像素的像素值来计算第一时间相关值，其中，该先行场图像和后续场图像分别与紧接作为所述输入图像且作为确定所述插值方法的对象的对象场图像之前的时刻和紧接其之后的时刻对应。

4.根据权利要求3所述的像素值的插值方法确定方法，其特征在于，所述像素值的插值方法确定方法还具有静止/运动判定步骤，在该静止/运动判定步骤中，根据所述第一时间相关值来判定所述对象像素或所述对象像素附近是静止还是运动。

5.根据权利要求4所述的像素值的插值方法确定方法，其特征在于，所述像素值的插值方法确定方法还具有场间插值用像素确定步骤，在该场间插值用像素确定步骤中，当在所述静止/运动判定步骤中判定为静止的情况下，将在所述先行场图像或所述后续场图像中位于与所述对象像素相同位置处的像素，确定为所述对象像素的插值中使用的像素。

6.根据权利要求4所述的像素值的插值方法确定方法，其特征在于，在所述静止/运动判定步骤中判定为运动的情况下，通过所述方向选择步骤和所述插值用像素确定步骤，确定所述对象像素的插值中使用的所述多个像素。

7.根据权利要求3所述的像素值的插值方法确定方法，其特征在于，所述像素值的插值方法确定方法还具有如下的步骤：

场内插值值计算步骤，在该步骤中，通过所述插值用像素确定步骤来确定所述对象场图像内的多个像素，根据所确定的所述多个像素的像素值来计算场内插值值；

场间插值值计算步骤，在该步骤中，根据在所述先行场图像中位于与所述对象像素相同位置处的像素和在所述后续场图像中位于与所述对象像素相同位置处的像素中的至少一方的像素值来计算场间插值值；以及

混合插值值计算步骤，在该步骤中，根据所述场内插值值和所述场间插值值来计算应对所述对象像素分配的混合插值值。

8.根据权利要求7所述的像素值的插值方法确定方法，其特征在于，所述混合插值值计算步骤包括如下的步骤：

权重系数计算步骤，在该步骤中，计算第一权重系数和第二权重系数；以及

加权和计算步骤，在该步骤中，将所述场内插值值和所述第一权重系数的积、与所述场间插值值和所述第二权重系数的积之和，计算为所述混合插值值。

9.根据权利要求7所述的像素值的插值方法确定方法，其特征在于，所述像素值的插值方法确定方法还具有第二时间相关值计算步骤，在该步骤中，根据在所述对象场图像中所述存在于附近的附近像素的像素值和在所述先行场图像中位于与所述附近像素相同位置处且完成插值的插值完成像素的像素值，来计算第二时间相关值。

10.根据权利要求9所述的像素值的插值方法确定方法，其特征在于，分别针对所述多个相关计算方向，确定与所述相关计算方向对应的多个所述附近像素的位置，

在所述第二时间相关值计算步骤中，计算与在所述方向选择步骤中选择出的所述相关计算方向对应的所述第二时间相关值。

11.根据权利要求7所述的像素值的插值方法确定方法，其特征在于，

所述像素值的插值方法确定方法还具有空间相关值计算步骤，在该步骤中，分别针对所述多个相关计算方向，确定在所述对象场图像中与所述相关计算方向对应的多个像素的位置，

确定位置后的所述多个像素包括存在于所述对象场图像中的像素、和不存在于所述对象场图像中的像素中而在之前的所述对象像素选择步骤中选择出的像素值已被插值的像素这双方，

根据所述多个像素的所述像素值来计算空间相关值。

12.根据权利要求1所述的像素值的插值方法确定方法，其特征在于，所述输入图像为应放大图像，

在所述对象像素选择步骤中依次选择不存在于所述输入图像中且在放大的图像中应进行补足的多个像素。

13.一种像素值的插值方法确定装置，其确定用于对在输入图像中不存在且位于一条直线上的多个像素的各像素值进行插值的插值方法，其特征在于，所述像素值的插值方法确定装置具有：

对象像素选择部，其按照指定的选择顺序方向依次将所述多个像素中的一个像素选择为应确定所述插值方法的对象像素，所述选择顺序方向为所述输入图像的水平方向或垂直方向；

局部相关值计算部，其分别针对指定的多个相关计算方向，根据从所述对象像素出发位于所述相关计算方向的第一像素的像素值和从所述对象像素出发位于所述相关计算方向的相反方向的第二像素的像素值，来计算与所述相关计算方向对应的局部相关值，其中，与所述对象像素和一个所述相关计算方向的组合对应的所述第一像素和所述第二像素的个数双方都为N个，N≥1，相互对应的所述第一像素和所述第二像素位于距所述对象像素距离相等的位置，所述多个相关计算方向中的一个与所述选择顺序方向成直角；

累积相关值计算部，其针对所述多个相关计算方向中的每个相关计算方向，来计算针对所述对象像素的、与该相关计算方向对应的累积相关值，具体的计算方法是，对于所述多个相关计算方向中的每个相关计算方向，将所述多个相关计算方向中的接近该相关计算方向的一个以上的相关计算方向与该相关计算方向关联成关联方向，并从分别与该相关计算方向的各所述关联方向对应地，针对紧接在选择所述对象像素之前的由所述对象像素选择部选择的其它像素计算出的多个累积相关值中，选择相关最高的累积相关值，将所选择的该累积相关值和与该相关计算方向对应的所述局部相关值相加，得到针对所述对象像素的、与该相关计算方向对应的所述累积相关值，其中，所述累积相关值是根据对所述多个像素中的按照所述选择顺序方向的顺序为开头的像素即开头像素赋予的值，从该开头像素起按照所述选择顺序方向逐次地分别针对所述多个像素计算出的相关值；

方向选择部，其根据分别与所述多个相关计算方向对应的所述累积相关值，选择与表示多个所述累积相关值中的相关最高的所述累积相关值对应的所述相关计算方向；以及

插值用像素确定部，其根据与所述方向选择部选择出的所述相关计算方向对应的所述局部相关值、以及与和所述选择顺序方向成直角的所述相关计算方向对应的所述局部相关值，来确定所述对象像素的插值中使用的多个像素。

Images