CN101882434B - 图像处理器、图像处理方法和程序 - Google Patents

Abstract

本发明提供了图像处理器、图像处理方法和程序。一种对连续输入图像执行把具有第一分辨率的输入图像转换成具有高于第一分辨率的第二分辨率的输出图像的图像处理器包括：预测单元，利用当前帧的输入图像和通过对前一帧的输入图像的超分辨率而获得的输出图像来预测当前帧的具有第二分辨率的输出图像；生成单元，利用通过预测单元的预测而获得的预测图像来生成由预测图像的不同相位处的像素构成的具有第一分辨率的缩减图像；差异计算单元，计算当前帧的输入图像与缩减图像之间的差异；以及加法单元，把被升采样到第二分辨率的差异与预测图像相加，从而生成当前帧的具有第二分辨率的输出图像。

Description

图像处理器、图像处理方法和程序

技术领域

本发明涉及图像处理器、图像处理方法和程序。更具体而言，本发明涉及在把输入图像转换成具有更高分辨率的图像时适合使用的图像处理器、图像处理方法和程序。

背景技术

在现有技术中，作为从输入图像获得具有更高分辨率的图像的方法，已知一种被称为超分辨率(super-resolution)的方法(例如，参见日本未实审专利申请公布No.2008-140012)。

例如，根据一种被称为超分辨率反向投射的技术，输入到图像处理器11的诸如运动图像之类的连续帧图像被转换成具有更高分辨率的图像并且被输出，如图1所示。在以下描述中，输入到图像处理器11中的具有较低分辨率的图像将被称为LR(低分辨率)图像，而从图像处理器11输出的具有更高分辨率的图像将被称为SR(超分辨率)图像。

输入的LR图像被升采样器21升采样(up-sample)为与SR图像具有相同分辨率的图像，并且经升采样的图像被提供给运动向量检测器22、遮罩(mask)生成器23和混合器24。图像处理器11包括缓冲器25，其存储着从紧挨当前时刻正在处理的当前帧之前的前一帧的LR图像获得的SR图像。提供到缓冲器25的SR图像仅被存储一个帧时段，并且被提供给运动向量检测器22和运动补偿器26。

运动向量检测器22从提供自升采样器21的LR图像和提供自缓冲器25的SR图像中检测运动向量。运动补偿器26利用从运动向量检测器22提供来的运动向量和从缓冲器25提供来的SR图像执行运动补偿。具体而言，运动补偿器26利用紧挨正在处理的当前帧之前的前一帧的SR图像来预测从当前帧的LR图像获得的SR图像，并且把这样获得的图像作为预测图像提供给遮罩生成器23和混合器24。

遮罩生成器23利用从升采样器21提供来的LR图像和从运动补偿器26提供来的预测图像来生成运动遮罩。运动遮罩是用于指定LR图像的显示运动对象的区域的信息，并且是通过计算LR图像与预测图像之间的差异来生成的。

混合器24利用从遮罩生成器23提供来的运动遮罩来组合从运动补偿器26提供来的预测图像和从升采样器21提供来的LR图像，并且把这样获得的组合图像提供给降采样器27和加法器28。具体而言，LR图像和预测图像经历加权因子由运动遮罩确定的加权加法，从而获得组合图像。当生成组合图像时，加权因子是这样确定的：使LR图像的贡献比率在发生运动的区域中变得较大，从而抑制由于在具有运动的区域中发生的预测误差而导致的SR图像的图像质量恶化。

这样获得的组合图像被降采样器27进行降采样(down-sample)，并且这样获得的缩减图像(reduced image)被提供到减法器29。缩减图像是与LR图像具有相同分辨率的图像。

减法器29通过计算被提供到图像处理器11的LR图像与缩减图像之间的差异来生成差分图像。升采样器30把差分图像升采样为与SR图像具有相同分辨率的图像，从而获得扩增图像(enlarged image)。然后，加法器28把扩增图像与组合图像相加，把这样获得的图像作为当前帧的SR图像输出，并且把该SR图像提供给缓冲器25以存储于其中。

在图像处理器11中，如图2所示，通过预测当前帧的SR图像而获得的组合图像P11被降采样以获得缩减图像P12，并且缩减图像P12与LR图像P13之间的差异被计算以获得差分图像P14。差分图像P14是指示出用作通过预测获得的当前帧的LR图像的缩减图像P12相对于当前帧的LR图像P13的误差的图像。也就是说，差分图像P14可被认为是用作预测的SR图像的组合图像P11相对于在没有误差的情况下本应获得的当前帧的正确SR图像的误差。

因此，通过对缩减图像P14进行升采样并且把这样获得的信号与组合图像P11相加，获得了与本应获得的正确SR图像更相似的图像。即，所获得的SR图像将成为其中LR图像被更忠实地扩增而没有任何图像质量恶化的图像。

如上所述，根据反向投射，指示计算出的误差的扩增图像被与通过预测获得的组合图像相加，从而获得SR图像。

发明内容

然而，当利用反向投射从组合图像生成缩减图像时，组合图像的预定相位(位置)处的像素被采样，并且由采样的像素构成的图像被获得作为缩减图像。

根据采样定理，奈奎斯特(Nyquist)频率的信号就其幅度和相位而言不被正确保留。因此，取决于所采样的组合图像的像素的相位，可能存在这样的情况，即在生成缩减图像时没有正确保留组合图像的波形。

例如，将假定组合图像的波形亦即组合图像的像素的像素值在预定方向上的变化具有如图3所示形状。在图3中，垂直方向表示图像的像素的像素值，水平方向表示图像的预定方向。此外，每个圆表示图像上的每个像素。

参考图3，由箭头A11指示的波形表示组合图像的波形。即，连接组合图像的相邻像素(即，其像素值)的曲线形成了组合图像的波形。

在此图中，当组合图像的像素值的最大值和最小值之间的值被称为中间值时，组合图像由这样的像素构成：这些像素在图中的水平方向上按具有中间值的像素、具有最大值的像素、具有中间值的像素和具有最小值的像素的顺序反复排列。也就是说，在图3的示例中，组合图像的波形具有正弦形状。

现在，在图中的水平方向上每隔一个像素对组合图像的像素采样，以生成缩减图像。

例如，当从图中左侧的第二像素开始在水平方向上每隔一个像素对组合图像的像素采样以生成缩减图像时，采样出了由箭头A12指示的组合图像的像素。由箭头A12指示的组合图像的像素具有最大值或最小值的像素值，并且缩减图像的波形将具有与组合图像的波形相同的正弦形状。

相反，例如，当从图中左侧的第一像素开始在水平方向上每隔一个像素对由箭头A11指示的组合图像的像素采样以生成缩减图像时，采样出了由箭头A13指示的组合图像的像素。由箭头A13指示的组合图像的像素具有中间值的像素值，并且缩减图像的波形将具有与组合图像的波形不同的没有幅度的平坦形状。

如上所述，当以组合图像的奈奎斯特频率(即，组合图像的半频率)对组合图像的像素采样以生成缩减图像时，取决于采样位置，可能存在在所获得的缩减图像中没有正确保留组合图像的原始波形的情况。

当在缩减图像中没有正确保留通过预测获得的组合图像的波形时，即使在计算缩减图像与LR图像之间的差异时，也不会正确地检测出组合图像与LR图像之间的误差。结果，在SR图像中积累了未检测到的误差。

例如，如图4所示，当在生成缩减图像时正确地保留了组合图像的波形时，校正了组合图像中的误差，从而能够获得其中正确地保留了LR图像的波形的SR图像。在图4中，垂直方向表示图像的像素的像素值，水平方向表示图像的预定方向。另外，箭头A21至A27分别表示组合图像、正在采样的组合图像的像素、缩减图像、LR图像、差分图像、扩增图像和SR图像。另外，每个圆表示图像上的每个像素。

将假定获得如箭头A21所指示的具有与图3所示的波形相同的波形的组合图像。另外，将假定在组合图像的像素之中，如箭头A22所指示的具有最大值和最小值的像素值的像素被采样，从而生成缩减图像。

在此情况下，获得了如箭头A23所指示的具有与组合图像的原始波形相同的波形的缩减图像，其中保留了组合图像的正弦波形。另外，如箭头A24所指示，LR图像的波形具有在图的水平方向上没有任何变化的平坦形状。LR图像的像素具有缩减图像的像素的像素值的最大值与最小值之间的中间值的像素值。

当通过减法器29来计算缩减图像与LR图像之间的差异时，获得了具有如箭头A25所指示的波形的差分图像。差分图像的波形具有这样一种形状，即缩减图像的波形以中间值的位置为基准在图的垂直方向上颠倒了。

当对差分图像升采样时，获得了如箭头A26所指示的扩增图像，其中保留了差分图像的原始波形。当通过加法器28把扩增图像与箭头A21所指示的组合图像相加时，校正了在生成组合图像时所生成的误差，从而可获得如箭头A27所指示的具有与LR图像的波形相同的波形的SR图像。

如上所述，根据反向投射，当在生成缩减图像时正确地保留了组合图像的原始波形时，可以增大LR图像的分辨率，而不会有任何图像质量恶化。

相反，例如，如图5所示，当在生成缩减图像时没有正确保留组合图像的波形时，没有校正组合图像中的误差，从而在所获得的SR图像中在一定相位处积累了误差。在图5中，垂直方向表示图像的像素的像素值，水平方向表示图像的预定方向。另外，箭头A31至A37分别表示组合图像、正采样的组合图像的像素、缩减图像、LR图像、差分图像、扩增图像和SR图像。此外，图中的每个圆表示图像上的每个像素。

将假定获得如箭头A31所指示的具有与图3所示的波形相同的波形的组合图像。另外，将假定在组合图像的像素之中，如箭头A32所指示的具有最大值和最小值的中间值的像素值的像素被采样，从而生成缩减图像。

在此情况下，获得了如箭头A33所指示的缩减图像，其具有像素值没有任何变化的平坦形状，其中没有保留组合图像的正弦波形。另外，如箭头A34所指示，LR图像的波形具有在图的水平方向上没有任何变化的平坦形状。LR图像的像素具有中间值的像素值。

当通过减法器29来计算缩减图像与LR图像之间的差异时，获得了具有如箭头A35所指示的波形的差分图像。差分图像的波形具有在图中的水平方向上平坦的形状，并且其像素的像素值具有相同的值。在理想情况下，在组合图像的具有最大值和最小值的像素的相位处，最大值或最小值与中间值之间的差异应当被检测为误差。然而，在图5的示例中，由于在生成缩减图像时的采样位置不正确，因此没有检测到上述误差。

当对差分图像升采样时，获得了如箭头A36所指示的扩增图像，其中保留了差分图像的原始波形。当通过加法器28把扩增图像与箭头A31所指示的组合图像相加时，没有校正在生成组合图像时所生成的误差，从而可获得如箭头A37所指示的具有与LR图像的波形不同的波形的SR图像。也就是说，在SR图像中，在生成组合图像时生成的一定相位处的误差仍然保持未被去除。

另外，所获得的SR图像被原样用于预测后一帧的SR图像。结果，在无法去除误差的一定频率的一定相位处，在SR图像中积累了在每个帧中生成的误差，即通过预测而生成的噪声成分。根据反向投射，由于在生成缩减图像时对每个帧的组合图像的预定相位处的像素采样，因此担心在组合图像的未被采样的像素的位置(相位)处积累了误差。

当在每个帧中生成的误差被积累在SR图像中时，每个帧的SR图像的图像质量恶化。例如，在图5的示例中，在与图中的水平方向垂直的方向上较长的直线状噪声(也就是梳状噪声)出现在SR图像中。

另外，在超分辨率领域中，作为抑制SR图像中的噪声积累的方法，已知一种被称为Map(映射)方法的技术。Map方法利用了图像具有强空间相关性的特性，在对相对于LR图像的误差施加空间约束的情况下，向通过预测SR图像而获得的图像应用反馈。因此，防止了噪声的积累。然而，虽然Map方法能够抑制噪声的积累，但是由于边缘部分丢失，因此SR图像将会变得模糊，从而导致图像质量恶化。

如上所述，在超分辨率中，当从LR图像获得SR图像时，难以抑制SR图像的图像质量恶化。

因此希望在将输入图像转换为具有更高分辨率的图像时进一步改善图像的图像质量。

根据本发明的一个实施例，提供了一种对时间上连续的多个输入图像执行超分辨率处理的图像处理器，该超分辨率处理把具有第一分辨率的输入图像转换成具有第二分辨率的输出图像，第二分辨率高于第一分辨率，该图像处理器包括：预测装置，用于利用正在处理的时刻的输入图像和通过对比正在处理的时刻早的时刻的输入图像执行超分辨率处理而获得的输出图像，来预测正在处理的时刻的具有第二分辨率的输出图像；生成装置，用于利用通过由预测装置的预测而获得的预测图像，来生成由该预测图像的根据时刻而不同的相位处的像素构成的具有第一分辨率的缩减图像；差异计算装置，用于计算正在处理的时刻的输入图像与缩减图像之间的差异；以及加法装置，用于把被升采样到第二分辨率的差异与预测图像相加，从而生成正在处理的时刻的具有第二分辨率的输出图像。

生成装置可根据预定的模式，对于每个时刻，改变预测图像的要用于生成缩减图像的每个像素的相位。

生成装置可包括：选择装置，用于选择预测图像的每个像素的相位；以及采样装置，用于通过从预测图像中采样出由选择装置选择的相位处的像素来生成缩减图像。

生成装置可包括：选择装置，用于选择预测图像的每个像素的相位；以及滤波装置，用于通过使用预测图像的位于由选择装置选择的相位处的像素附近的若干个像素的滤波处理，来生成所选相位处的像素，从而生成缩减图像。

生成装置可包括相位控制装置，用于生成由位于与预测图像的预定基准相位在预定方向上相距预定距离的相位处的像素构成的缩减图像，并且使被升采样到第二分辨率的差异的相位在该预定方向上偏移该预定距离。

输入图像可以是隔行格式的图像。生成装置可包括：切换装置，用于依据正在处理的时刻的输入图像是上场图像还是下场图像来改变预测图像的输出目的地；第一选择装置，用于选择从输出自切换装置的上场的输入图像获得的预测图像的每个像素的相位；第一采样装置，用于通过从预测图像中采样出由第一选择装置选择的相位处的像素来生成缩减图像；第二选择装置，用于选择从输出自切换装置的下场的输入图像获得的预测图像的每个像素的相位；以及第二采样装置，用于通过从预测图像中采样出由第二选择装置选择的相位处的像素来生成缩减图像。

第一选择装置和第二选择装置可独立地根据预定的模式在场与场之间改变预测图像的用于生成缩减图像的每个像素的相位。

生成装置可包括：相位控制装置，用于使预测图像的每个像素在预定方向上移动预定距离，以偏移预测图像的每个像素的相位；以及缩减图像生成装置，用于生成由相位经相位控制装置偏移的预测图像的预定相位处的像素构成的缩减图像。相位控制装置可根据预定的模式在每个时刻改变偏移预测图像的每个像素的相位的方向。

根据本发明的另一实施例，提供了一种用于对时间上连续的多个输入图像执行超分辨率处理的图像处理方法或程序，该超分辨率处理把具有第一分辨率的输入图像转换成具有第二分辨率的输出图像，第二分辨率高于第一分辨率，该方法包括以下步骤：利用正在处理的时刻的输入图像和通过对比正在处理的时刻早的时刻的输入图像执行超分辨率处理而获得的输出图像，来预测正在处理的时刻的具有第二分辨率的输出图像；利用通过预测步骤中的预测而获得的预测图像，来生成由该预测图像的根据时刻而不同的相位处的像素构成的具有第一分辨率的缩减图像；计算正在处理的时刻的输入图像与缩减图像之间的差异；以及把被升采样到第二分辨率的差异与预测图像相加，从而生成正在处理的时刻的具有第二分辨率的输出图像。

根据本发明的实施例，当对时间上连续的多个输入图像执行把具有第一分辨率的输入图像转换成具有高于第一分辨率的第二分辨率的输出图像的超分辨率处理时，利用正在处理的时刻的输入图像和通过对比正在处理的时刻早的时刻的输入图像执行超分辨率处理而获得的输出图像，来预测正在处理的时刻的具有第二分辨率的输出图像。然后，利用通过预测单元的预测而获得的预测图像，来生成由该预测图像的根据时刻而不同的相位处的像素构成的具有第一分辨率的缩减图像。然后，计算正在处理的时刻的输入图像与缩减图像之间的差异。最后，把被升采样到第二分辨率的差异与预测图像相加，从而生成正在处理的时刻的具有第二分辨率的输出图像。

根据本发明的实施例，在把输入图像转换成具有更高分辨率的图像时，可以进一步改善图像的图像质量。

附图说明

图1是图示出根据现有技术的图像处理器的配置的示图。

图2是图示出现有技术的图像处理器中差分图像的生成的示图。

图3是图示出根据现有技术的缩减图像的生成的示图。

图4是图示出在根据现有技术生成缩减图像时保留图像的波形的示例的示图。

图5是图示出在根据现有技术生成缩减图像时未保留图像的波形的示例的示图。

图6是图示出根据本发明一实施例的图像处理器的处理概况的示图。

图7是图示出根据本发明该实施例的图像处理器的处理概况的示图。

图8是图示出根据本发明该实施例的图像处理器的示例性配置的示图。

图9是图示出用于生成缩减图像的像素的相位的示图。

图10是图示出用于生成缩减图像的像素的相位的变化的示图。

图11是图示出图像转换处理的流程图。

图12是图示出根据本发明一实施例的图像处理器的另一示例性配置的示图。

图13是图示出在生成缩减图像时执行的滤波处理的示图。

图14是图示出在生成缩减图像时执行的滤波处理的示图。

图15是图示出在生成缩减图像时执行的滤波处理的示图。

图16是图示出图像转换处理的流程图。

图17是图示出在生成SR图像时生成的新误差的示图。

图18是图示出对在生成SR图像时生成的新误差的抑制的示图。

图19是图示出本发明一实施例的图像处理器的另一示例性配置的示图。

图20是图示出图像转换处理的流程图。

图21是图示出根据本发明一实施例的图像处理器的另一示例性配置的示图。

图22是图示出用于生成缩减图像的像素的相位的示图。

图23是图示出用于生成缩减图像的像素的相位的变化的示图。

图24是图示出图像转换处理的流程图。

图25是图示出本发明一实施例的图像处理器的另一示例性配置的示图。

图26是图示出2维滤波处理的示图。

图27是图示出图像转换处理的流程图。

图28是图示出组合图像的每个像素的相位的偏移的示图。

图29是图示出根据本发明一实施例的图像处理器的另一示例性配置的示图。

图30是图示出图像转换处理的流程图。

图31是图示出计算机的示例性配置的示图。

具体实施方式

下面，将参考附图描述本发明的实施例。

图像处理器的处理概况

首先，将描述根据本发明一实施例的图像处理器执行的处理的概况。

在该图像处理器中，诸如运动图像之类的时间连续图像(以下称之为LR图像)被输入。在该图像处理器中，LR图像通过超分辨率处理被转换为具有比LR图像更高的分辨率的图像(以下称之为SR图像)并被输出。SR图像是LR图像的扩增图像。LR图像可能不是运动图像，而是时间上连续并且包含在不同时刻拍摄的同一对象的多个图像。

具体而言，图像处理器利用正在处理的当前帧(时刻)的LR图像和通过比当前帧更早的前一帧(时刻)的LR图像获得的SR图像来预测当前帧的SR图像，并且把通过预测获得的图像输出作为组合图像。然后，图像处理器对组合图像进行降采样以获得缩减图像，对通过计算缩减图像与LR图像之间的差异而获得的差分图像进行升采样，并且把经升采样的差分图像与组合图像相加，从而获得当前帧的SR图像。

根据该图像处理器，如图6所示，当生成缩减图像时，对于每个帧，选择组合图像的不同相位处的像素来用于生成缩减图像，从而抑制SR图像中噪声的积累。在图6中，垂直方向表示图像的像素的像素值，水平方向表示图像的预定方向。此外，每个圆表示图像上的每个像素。

参考图6，由箭头A51指示的波形表示当前帧的组合图像的波形。即，连接组合图像的相邻像素(即，其像素值)的曲线形成组合图像的波形。

在此图中，当组合图像的像素值的最大值与最小值之间的值被称为中间值时，组合图像由这样的像素构成：这些像素在图中的水平方向上按具有中间值的像素、具有最大值的像素、具有中间值的像素和具有最小值的像素的顺序反复排列。也就是说，在图6的示例中，组合图像的波形具有正弦形状。

现在，在图中的水平方向上每隔一个像素对组合图像的像素采样，以生成缩减图像。

例如，在当前帧中，将假定从图中左侧的第三像素开始在向右方向上每隔一个像素对由箭头A51指示的组合图像的像素采样，从而采样出了由箭头A52指示的组合图像的像素并且生成缩减图像。在此情况下，所获得的缩减图像的波形具有在图的水平方向上没有任何变化的平坦形状，并且组合图像的原始波形未被正确保留。

另外，当当前帧的LR图像的波形具有如箭头A53所指示的在图的水平方向上没有任何变化的平坦形状时，通过计算缩减图像与LR图像之间的差异，获得了具有箭头A54所指示的波形的差分图像。差分图像的波形具有在图的水平方向上平坦的形状，并且在差分图像中未检测到在组合图像中生成的误差。

因此，虽然差分图像被升采样并且作为组合图像相对于LR图像的误差的校正值被加到组合图像，但是误差亦即噪声成分却未被从通过加法获得的SR图像中去除。在以下描述中，每个图像中与图的向右方向相对应的方向也将被称为x方向。

这样获得的SR图像被用于生成后一帧的组合图像。例如，将假定利用从由箭头A54指示的差分图像获得的SR图像来生成后一帧的组合图像，从而获得具有由箭头A55指示的波形的组合图像。由箭头A55指示的组合图像具有与由箭头A51指示的组合图像的波形相同的波形。

在该图像处理器中，利用由箭头A55指示的组合图像，生成由箭头A56指示的缩减图像，其由组合图像的预定相位处的像素构成。由箭头A56指示的组合图像的波形的虚线圈表示生成前一帧中的缩减图像时采样的像素的位置。虚线圈表示与由箭头A51指示的组合图像的用于生成缩减图像的像素相同的相位处的像素。

在由箭头A56指示的示例中，组合图像的在生成前一帧的缩减图像时使用的像素在图中的左侧相邻像素被用于生成正在处理的当前帧的缩减图像。在该图像处理器中，生成了由这样的像素构成的缩减图像，并且该缩减图像的波形具有与由箭头A55指示的组合图像的波形相同的形状，即正弦形状。换言之，在该缩减图像中，正确地保留了组合图像的原始波形。

当要处理的新帧的LR图像的波形具有如箭头A57指示的在x方向上没有任何变化的平坦形状时，通过计算该缩减图像与该LR图像之间的差异获得具有由箭头A58指示的波形的差分图像。差分图像的波形具有这样一种形状，即由箭头A55指示的组合图像的波形以波形的像素值方向(垂直方向)的中心位置为基准在图的垂直方向上颠倒了。

由于在这个帧的缩减图像中正确保留了组合图像的原始波形，因此由箭头A58指示的差分图像的波形具有指示出组合图像与LR图像之间的误差的形状。因此，当该差分图像被加到由箭头A55指示的组合图像时，获得了其中去除了误差(噪声成分)的具有更高图像质量的SR图像。

另外，该SR图像被用于生成后一帧的组合图像。由于已从该SR图像中去除了噪声成分，因此从该SR图像获得的组合图像例如将会是如箭头A59所指示的具有与SR图像的原始波形相似的波形的组合图像。

由箭头A59指示的组合图像的波形具有在x方向上没有任何变化的平坦形状。在该图像处理器中，如箭头A60所指示，使用了与由箭头A52指示的帧的组合图像的被用于生成缩减图像的像素具有相同相位的像素，并且生成了由这些像素构成的缩减图像。结果，所获得的缩减图像将会是具有其中正确保留了组合图像的原始波形的波形的图像。

当要处理的新帧的LR图像的波形具有如箭头A61指示的在x方向上没有任何变化的平坦形状时，通过计算该缩减图像与该LR图像之间的差异获得具有由箭头A62指示的波形的差分图像。差分图像的波形具有在x方向上没有任何变化的平坦形状。

由于在这个帧的缩减图像中正确保留了组合图像的原始波形，因此当具有由箭头A62指示的波形的差分图像被加到由箭头A59指示的组合图像时，获得了其中不包含噪声成分的具有更高图像质量的SR图像。

另外，将假定从这样获得的SR图像，在后一帧中获得了如箭头A63所指示的波形具有在x方向上平坦的形状的组合图像。然后，如箭头A64所指示的，生成由箭头A63所指示的组合图像的预定相位处的像素构成的缩减图像。由箭头A64指示的组合图像的波形的虚线圈表示由箭头A52指示的帧的组合图像的在生成缩减图像时被采样的像素的位置。

在由箭头A64指示的帧的组合图像中，该组合图像的用于从由箭头A52指示的帧的组合图像生成缩减图像的像素在图中的右侧相邻像素被用于生成缩减图像。在该图像处理器中，生成由这样的像素构成的缩减图像，并且缩减图像的波形具有与由箭头A63指示的组合图像的波形相同的形状。

当要处理的新帧的LR图像的波形具有如箭头A65指示的在x方向上没有任何变化的平坦形状时，通过计算该缩减图像与该LR图像之间的差异获得具有由箭头A66指示的波形的差分图像。差分图像的波形具有在x方向上没有任何变化的平坦形状。

由于在这个帧的缩减图像中正确保留了组合图像的原始波形，因此当具有由箭头A66指示的波形的差分图像被加到由箭头A63指示的组合图像时，获得了其中不包含噪声成分的具有更高图像质量的SR图像。

这样，通过在帧与帧之间改变组合图像的要用于生成缩减图像的像素的相位，可以防止在一定相位生成的误差(噪声成分)的积累，从而可以改善最终SR图像的图像质量。

当对于每个帧(时刻)改变用于生成缩减图像的像素的相位时，可能发生例如这样的情况，即，组合图像中的噪声被暂时放大，如图7所示。在图7中，垂直方向表示图像的像素的像素值，并且向右方向表示x方向。此外，每个圈表示图像上的每个像素。

参考图7，由箭头A81指示的波形表示当前帧的组合图像的波形。由箭头A81指示的组合图像的波形具有与图6的箭头A51指示的组合图像的波形相同的形状。

现在，将假定从图中左侧的第三像素开始每隔一个像素对由箭头A81指示的组合图像的像素采样，以生成由箭头A82指示的x方向上的缩减图像。在此情况下，所获得的缩减图像的波形具有在x方向上没有任何变化的平坦形状，并且组合图像的原始波形未被正确保留。

另外，当当前帧的LR图像的波形具有如箭头A83所指示的在图的x方向上没有任何变化的平坦形状时，通过计算该缩减图像与该LR图像之间的差异，获得了具有箭头A84所指示的波形的差分图像。差分图像的波形具有在x方向上平坦的形状，并且在差分图像中未检测到在组合图像中生成的误差。因此，未从通过将差分图像与组合图像相加而获得的SR图像中去除误差，即噪声成分。

这样获得的SR图像被用于生成后一帧的组合图像。例如，将假定利用从由箭头A84指示的差分图像获得的SR图像来生成后一帧的组合图像，从而获得具有由箭头A85指示的波形的组合图像。由箭头A85指示的组合图像具有与由箭头A81指示的组合图像的波形相同的波形。

在该图像处理器中，利用由箭头A85指示的组合图像，生成如箭头A86指示的缩减图像，其由该组合图像的预定相位处的像素构成。由箭头A86指示的组合图像的波形的虚线圈表示生成前一帧中的缩减图像时采样的像素的位置。虚线圈表示与由箭头A81指示的组合图像的用于生成缩减图像的像素相同的相位处的像素。

在由箭头A86指示的示例中，组合图像的在生成前一帧的缩减图像时使用的像素在图中的左侧相邻像素被用于生成正在处理的当前帧的缩减图像。在该图像处理器中，生成了由这样的像素构成的缩减图像，并且该缩减图像的波形具有与由箭头A85指示的组合图像的波形相同的形状，即正弦形状。然而，在这个缩减图像中，组合图像上的对象相对于缩减图像的中心在图中向左偏移了一个像素。

当计算这样获得的缩减图像与具有如箭头A87指示的具有在x方向上平坦的形状的波形的LR图像之间的差异时，获得具有由箭头A88指示的波形的差分图像。该差分图像的波形具有与由箭头A85指示的组合图像的波形相同的形状。

因此，当该差分图像被加到由箭头A85指示的组合图像时，获得了其中误差(噪声成分)被放大的SR图像。当利用这样的SR图像来生成后一帧的组合图像时，获得了具有如箭头A89指示的波形的组合图像，其中由箭头A85指示的组合图像的噪声成分被放大。

另外，在该图像处理器中，如箭头A90所指示的，生成由下述像素构成的缩减图像：这些像素与组合图像的被用于生成由箭头A82指示的帧中的缩减图像的像素处于相同相位处。结果，所获得的缩减图像将是具有其中组合图像的原始波形未被正确保留的波形的图像。

当计算所获得的缩减图像与具有由箭头A91指示的具有在x方向上平坦的形状的波形的LR图像之间的差异时，获得了具有由箭头A92指示的波形的差分图像。该差分图像的波形具有在x方向上平坦的形状。该差分图像被加到由箭头A89指示的组合图像以获得SR图像；然而，该SR图像将会是其中经放大的噪声成分被原样积累的图像。

另外，将假定在后一帧中从这个SR图像获得具有如箭头A93所指示的具有正弦形状的波形的组合图像。然后，如箭头A94所指示的，生成了由箭头A93所指示的组合图像的预定相位处的像素构成的缩减图像。由箭头A94指示的组合图像的波形的虚线圈表示由箭头A82指示的帧的组合图像的在生成缩减图像时被采样的像素的位置。

在由箭头A94指示的示例中，组合图像的用于从由箭头A82指示的帧的组合图像生成缩减图像的像素在图中的左侧相邻像素被用于生成正在处理的当前帧的缩减图像。在该图像处理器中，生成由这样的像素构成的缩减图像，并且该缩减图像的波形具有与由箭头A93指示的组合图像的波形相同的形状。

当要处理的新帧的LR图像的波形具有如箭头A95指示的在x方向上没有任何变化的平坦形状时，通过计算该缩减图像与LR图像之间的差异获得了具有由箭头A96指示的波形的差分图像。该差分图像的波形具有这样的形状，即由箭头A93指示的组合图像的波形以波形的像素值方向的中心位置为基准在图的垂直方向上颠倒了。

由于在这个帧的缩减图像中正确保留了组合图像的原始波形，因此由箭头A96指示的差分图像的波形具有指示出组合图像与LR图像之间的误差的形状。因此，当这个差分图像被加到由箭头A93指示的组合图像时，获得了如箭头A97指示的其中去除了误差(噪声成分)的具有更高图像质量的SR图像。从由箭头A97指示的SR图像的波形可见，该波形具有与由箭头A95指示的LR图像的波形相同的形状，并且去除了已经积累而未检测到的噪声成分。

这样，通过在帧与帧之间改变组合图像的要用于生成缩减图像的像素的相位，即使在误差被暂时放大并积累时，也通过反复的超分辨率处理去除了噪声成分，从而可以获得具有高质量的最终SR图像。

第一实施例

图像处理器的配置

接下来，将描述执行上述超分辨率处理的图像处理器的实施例。图8是图示出根据本发明一实施例的图像处理器的示例性配置的示图。

图像处理器61包括升采样器71、运动向量检测器72、运动补偿器73、遮罩生成器74、混合器75、相位控制器76、降采样器77-1至77-3、相位控制器78、降采样器79-1至79-3、减法器80、升采样器81、加法器82以及缓冲器83。

图像处理器61接收要处理的一帧的LR图像，并且输入的LR图像被提供给升采样器71和减法器80。

升采样器71把所提供的LR图像升采样为具有与从现在起将要生成的SR图像相同的分辨率的图像，并且把经升采样的图像提供给运动向量检测器72、遮罩生成器74和混合器75。

运动向量检测器72根据从升采样器71提供来的LR图像和从缓冲器83提供来的比正在处理的当前帧更早的前一帧的SR图像来计算整个SR图像的运动向量，并且把该运动向量提供给运动补偿器73。

运动补偿器73利用从运动向量检测器72提供来的运动向量和从缓冲器83提供来的SR图像执行运动补偿，以生成预测图像。具体而言，运动补偿器73使整个SR图像在由运动向量指示的方向上移动与运动向量的大小相同的距离，从而生成这样获得的图像来作为预测图像。预测图像是利用当前帧的前一帧的SR图像通过运动补偿预测当前帧的SR图像来获得的图像。预测图像被从运动补偿器73提供给遮罩生成器74和混合器75。

遮罩生成器74利用从升采样器71提供来的LR图像和从运动补偿器73提供来的预测图像来生成运动遮罩，并把该运动遮罩提供给混合器75。运动遮罩是用于指定LR图像的显示运动对象的区域的信息，并且是通过计算LR图像与预测图像之间的差异来生成的。

混合器75利用从遮罩生成器74提供来的运动遮罩对从运动补偿器73提供来的预测图像和从升采样器71提供来的LR图像执行加权加法，并且把这样获得的组合图像提供给相位控制器76和加法器82。

相位控制器76选择组合图像的要用于生成缩减图像的相位，并且根据所选相位来改变从混合器75提供来的组合图像的输出目的地。也就是说，相位控制器76把所提供的组合图像提供给降采样器77-1至77-3中的任何一个。

降采样器77-1至77-3中的每一个对从相位控制器76提供来的组合图像的预定相位处的像素采样，并且生成由这样的像素构成的图像，从而在x方向上对组合图像进行降采样。降采样器77-1至77-3中的每一个把所生成的图像提供给相位控制器78。在以下描述中，当不必具体区分降采样器77-1至77-3时，它们将被简称为降采样器77。

相位控制器78选择组合图像的要用于生成缩减图像的相位并且根据所选相位来改变从降采样器77提供来的图像的输出目的地。也就是说，相位控制器78把所提供的图像提供给降采样器79-1至79-3中的任何一个。

降采样器79-1至79-3中的每一个对从相位控制器78提供来的图像的预定相位处的像素采样，并且生成由这样的像素构成的图像。这样，组合图像在与x方向垂直的方向(以下称之为y方向)上被降采样，从而获得与LR图像具有相同分辨率的缩减图像。

降采样器79-1至79-3中的每一个把所生成的缩减图像提供给减法器80。在以下描述中，当不必具体区分降采样器79-1至79-3时，它们将被简称为降采样器79。

减法器80从提供给它的LR图像中减去从降采样器79提供来的缩减图像，以计算LR图像与缩减图像之间的差异，并且把这样获得的差分图像提供给升采样器81。升采样器81把从减法器80提供来的差分图像降采样为与SR图像具有相同分辨率的图像，并且把这样获得的扩增图像提供给加法器82。

加法器82把从混合器75提供来的组合图像和从升采样器81提供来的扩增图像相加以生成SR图像，并且把该SR图像提供给后续级，同时把该SR图像提供给缓冲器83以存储于其中。缓冲器83把从加法器82提供来的SR图像仅存储一个帧时段，并且在后一帧被处理时把存储于其中的SR图像提供给运动向量检测器72和运动补偿器73。

降采样器77和降采样器79被配置为通过生成由组合图像的预定相位(位置)处的像素构成的图像来对组合图像进行降采样。

例如，如图9所示，降采样器77和79基于预定的基准相位对不同相位处的像素采样。在图9中，向右方向表示x方向，向下方向表示y方向。此外，在该图中，每个圆表示组合图像上的每个像素。

如图中的左上部所示，降采样器77-1对组合图像上作为基准像素的基准像素G11的左侧相邻像素G12采样。这里，基准像素G11将被假定为组合图像上以预定间隔排列的多个像素。例如，当组合图像在x方向上被降采样为其像素数的一半时，组合图像上的在x方向上每隔一个像素排列的预定数目的像素将被假定为基准像素G11。

如图的中上部所示，降采样器77-2对组合图像上的基准像素G11采样。如图的右上部所示，降采样器77-3对组合图像上基准像素G11的右侧相邻像素G13采样。

如图中的左下部所示，降采样器79-1对经x方向上降采样的组合图像上作为基准像素的基准像素G21的上侧相邻像素G22采样。这里，基准像素G21将被假定为在经x方向上降采样的组合图像上以预定间隔排列的多个像素。例如，当组合图像在y方向上被降采样为其像素数的一半时，组合图像上的在y方向上每隔一个像素排列的预定数目的像素将被假定为基准像素G21。

如图的中下部所示，降采样器79-2对组合图像上的基准像素G21采样。如图的右下部所示，降采样器79-3对组合图像上基准像素G21的下侧相邻像素G23采样。

相位控制器76和78中的每一个对于每一帧选择降采样器77和79中的哪一个将被用于对组合图像降采样。

例如，如图10所示，相位控制器76和78中的每一个选择组合图像的输出目的地，以便以预定的模式改变要采样的像素的相位。

在图10中，向右方向表示时间，并且每个相位控制器76上方的数字表示标识要处理的组合图像的帧的号码。具体而言，按从由“0”指示的第0帧到由“7”指示的第7帧的顺序处理帧。此外，从相位控制器76延伸到降采样器79的粗线表示提供组合图像的路径。

在首先处理的第0帧中，组合图像被从相位控制器76提供到降采样器77-2，并且从降采样器77-2提供到相位控制器78的组合图像随后被提供到降采样器79-2。

在第0帧后的第1帧中，组合图像被从相位控制器76提供到降采样器77-1，并且从降采样器77-1提供到相位控制器78的组合图像随后被提供到降采样器79-2。

这样，在时间上连续的第0帧和第1帧中，生成了由组合图像的不同相位(位置)处的像素构成的缩减图像。从而，防止了噪声成分(误差)的积累。

类似地，在第1帧后的第2帧中，组合图像被提供到降采样器77-2和降采样器79-2。也就是说，组合图像的基准像素G11被降采样器77-2采样，并且组合图像的基准像素G21被降采样器79-2采样，从而生成缩减图像。

在第3帧中，组合图像被提供到降采样器77-2和降采样器79-1。在第4帧，组合图像被提供到降采样器77-2和降采样器79-2。

在第5帧中，组合图像被提供到降采样器77-3和降采样器79-2。在第6帧中，组合图像被提供到降采样器77-2和降采样器79-2。在第7帧中，组合图像被提供到降采样器77-2和降采样器79-3。

在第8帧和以后的帧中，重复与第0至第7帧相同的模式，从而组合图像被提供到每个降采样器77和每个降采样器79。因此，在第1+8i帧中(其中i是自然数)，组合图像被提供到降采样器77-1和降采样器79-2。

当组合图像的用于生成缩减图像的像素的相位上的偏移量增大时，缩减图像中的对象的位置与组合图像中的对象的位置之间的位置偏移量将增大，从而在SR图像中将生成与生成组合图像时生成的误差不同的新误差(噪声成分)。因此，优选将组合图像的像素的相位上的偏移量设定得尽可能得小。

可按预定的模式改变并且可对每个帧随机选择组合图像的要用于生成缩减图像的像素的相位。

图像处理器的操作

接下来，将描述以上所述的图像处理器61的操作。当LR图像被提供到图像处理器61时，图像处理器61开始图像转换处理，该处理是通过超分辨率处理来把每个帧的LR图像转换为SR图像的处理。下面，通过参考图11的流程图，将描述图像处理器61进行的图像转换处理。

在步骤S11，升采样器71把提供给它的LR图像升采样为具有与从现在起将要生成的SR图像相同的分辨率的图像，并且把经升采样的图像提供给运动向量检测器72、遮罩生成器74和混合器75。

在步骤S12，运动补偿器73执行运动补偿以生成预测图像。

具体而言，运动向量检测器72根据从升采样器71提供来的LR图像和从缓冲器83提供来的SR图像来计算整个SR图像的一个运动向量，并且把该运动向量提供给运动补偿器73。另外，运动补偿器73使整个SR图像在由从运动向量检测器72提供来的运动向量指示的方向上移动与运动向量的大小相同的距离，从而生成预测图像，并且把所生成的预测图像提供给遮罩生成器74和混合器75。

在步骤S13，遮罩生成器74利用从升采样器71提供来的LR图像和从运动补偿器73提供来的预测图像来生成运动遮罩，并把该运动遮罩提供给混合器75。

例如，遮罩生成器74顺序地使用从现在起将要获得的运动遮罩的每个像素作为目标像素，并且计算LR图像的与该目标像素位于相同位置处的像素的像素值和预测图像的与该目标像素位于相同位置处的像素的像素值之间的差异。遮罩生成器74以针对计算出的差异的绝对值而确定的值作为目标像素的像素值。例如，随着该差异的绝对值减小，目标像素的像素值较具有较大的值。

因此，在运动遮罩中像素的像素值较小的区域中，LR图像与预测图像之间的差异将变得较大，并且基于运动补偿的预测中的误差变得较大。换言之，运动遮罩中像素的像素值较大的区域可以被认为是LR图像的这样一个区域：在该区域中，对象表现出与整个LR图像的运动不同的运动；即，对象相对于整个LR图像移动了的区域。

在步骤S14，混合器75利用从遮罩生成器74提供来的运动遮罩对从运动补偿器73提供来的预测图像和从升采样器71提供来的LR图像执行加权加法以生成组合图像，并且把组合图像提供给相位控制器76和加法器82。

例如，混合器75顺序地使用从现在起将要获得的组合图像的每个像素来作为目标像素。然后，基于运动遮罩的与目标像素处于相同位置处的像素的像素值，混合器75计算LR图像的与目标像素处于相同位置处的像素的加权因子Wi(0≤Wi≤1)和预测图像的与目标像素处于相同位置处的像素的加权因子Wj(＝1-Wi)。

混合器75用通过以下方式获得的值来作为目标像素的像素值：把LR图像的与目标像素处于相同位置处的像素的像素值乘以加权因子Wi与预测图像的与目标像素处于相同位置处的像素的像素值乘以加权因子Wj相加而获得的值。这样，混合器75用组合图像的每个像素作为目标像素并且计算这些像素的像素值，从而生成组合图像。

当执行LR图像和预测图像的加权加法时，随着运动遮罩的像素的像素值减小，加权因子Wi被设定得更大。这是为了在运动遮罩的像素的像素值较小的区域亦即基于运动补偿的预测的精度较低的区域中增大LR图像对组合图像的生成的贡献比率，从而防止组合图像的图像质量恶化。

在步骤S15，相位控制器76选择组合图像的要被用于生成缩减图像的x方向相位。例如，当x方向相位按参考图10描述的模式而改变时，相位控制器76基于正在处理的当前帧在图10中的帧号码来选择相位。

相位控制器76把从混合器75提供来的组合图像提供给与所选相位相对应的降采样器77，并且使得x方向降采样被执行。例如，当当前帧对应于图10中的第5帧时，组合图像被提供给降采样器77-3。

在步骤S16，降采样器77对从相位控制器76提供来的组合图像执行x方向降采样，并且把这样获得的图像提供给相位控制器78。具体而言，降采样器77对所提供的组合图像的预定相位处的像素采样以生成由采样的像素构成的图像。

在步骤S17，相位控制器78选择组合图像的要用于生成缩减图像的y方向相位。例如，当y方向相位按参考图10描述的模式而改变时，相位控制器78基于正在处理的当前帧在图10中的帧号码来选择相位。

相位控制器78把从降采样器77提供来的组合图像提供给与所选相位相对应的降采样器79，并且使得y方向降采样被执行。

在步骤S18，降采样器79对从相位控制器78提供来的组合图像执行y方向降采样，并且把这样获得的图像提供给减法器80。具体而言，降采样器79对所提供的组合图像的预定相位处的像素采样以生成由采样的像素构成的缩减图像。

这样，通过在x方向和y方向上对组合图像降采样，生成了与LR图像具有相同分辨率的缩减图像，并且所生成的缩减图像被提供给减法器80。

在步骤S19，减法器80计算被提供给它的LR图像与从降采样器79提供来的缩减图像之间的差异以生成差分图像。具体而言，差分图像的像素的像素值被用作LR图像的与这些像素处于相同位置处的像素的像素值和缩减图像的与这些像素处于相同位置处的像素的像素值之间的差异。

这样生成的差分图像的像素的像素值表示通过预测LR图像(SR图像)而获得的缩减图像与实际LR图像之间的差异。因此，当按差异量来校正组合图像时，将获得其中LR图像被更忠实地扩增的SR图像；也就是说，将获得其中原样保留了LR图像的波形的SR图像。减法器80把所生成的差分图像提供给升采样器81。

在步骤S20，升采样器81把从减法器80提供来的差分图像升采样为与SR图像具有相同分辨率的图像，并且把这样获得的扩增图像提供给加法器82。

在步骤S21，加法器82把从混合器75提供来的组合图像和从升采样器81提供来的扩增图像相加，以生成当前帧的SR图像，并且把该SR图像提供给后续级，同时把该SR图像提供给缓冲器83以存储于其中。

在步骤S22，图像处理器61判定是否应当终止处理。例如，当对图像处理器61的LR图像提供停止以及接收到处理终止命令时，判定要终止处理。

当在步骤S22判定不应当终止处理时，处理返回到步骤S11并且上述处理被重复。也就是说，后一帧的LR图像被用作正在处理的当前帧的LR图像并且通过超分辨率处理被转换为SR图像。

当在步骤S22判定应当终止处理时，图像处理器61的每个部分终止其未完成的处理，并且图像转换处理结束。

这样，图像处理器61对输入的LR图像执行超分辨率处理并且把LR图像转换成SR图像。尤其，当通过对经由预测获得的组合图像降采样而生成缩减图像时，图像处理器61在帧与帧之间改变要用于生成缩减图像的像素的相位。

如上所述，由于在帧与帧之间略微改变了组合图像的要用于生成缩减图像的像素的相位，因此可以防止在SR图像中的某个相位处生成的误差(噪声成分)的积累，从而可以改善SR图像的图像质量。

另外，由于根据预定的模式在帧与帧之间略微偏移要用于生成缩减图像的像素的相位，因此不必指定组合图像的像素的相位以便在缩减图像中保留组合图像的原始波形。因此，可以更迅速地获得SR图像。

第二实施例

图像处理器的配置

虽然已经描述了通过对组合图像的像素采样来生成缩减图像，但是也可以通过对组合图像执行滤波处理来生成缩减图像。

在这种情况下，图像处理器例如可具有如图12所示的配置。在图12中，与图8中的那些相同或相应的部分将用相同的标号来指示，并且对其的描述将被适当地省略。

取代图像处理器61的相位控制器76、降采样器77-1至77-3、相位控制器78以及降采样器79-1至79-3，图12的图像处理器121包括相位控制器131、滤波处理器132-1至132-3、相位控制器133以及滤波处理器134-1至134-3。

相位控制器131选择组合图像的要用于生成缩减图像的相位并且根据所选相位来改变从混合器75提供来的组合图像的输出目的地。也就是说，相位控制器131把所提供的组合图像提供给滤波处理器132-1至132-3中的任何一个。

滤波处理器132-1至132-3中的每一个通过滤波处理来计算从相位控制器131提供来的组合图像的预定相位处的像素并且生成由计算出的像素构成的图像，从而在x方向上对组合图像降采样。滤波处理器132-1至132-3中的每一个把所生成的图像提供给相位控制器133。在以下描述中，当不必具体区分滤波处理器132-1至132-3时，它们将被简称为滤波处理器132。

相位控制器133选择组合图像的要用于生成缩减图像的相位并且根据所选相位来改变从滤波处理器132提供来的图像的输出目的地。也就是说，相位控制器133把所提供的组合图像提供给滤波处理器134-1至134-3中的任何一个。

滤波处理器134-1至134-3中的每一个通过滤波处理来计算从相位控制器133提供来的组合图像的预定相位处的像素，并且生成由计算出的像素构成的图像，从而在y方向上对组合图像降采样。滤波处理器134-1至134-3中的每一个把所生成的缩减图像提供给减法器80。在以下描述中，当不必具体区分滤波处理器134-1至134-3时，它们将被简称为滤波处理器134。

如上所述，在滤波处理器132或134中，通过滤波处理来计算像素的像素值。因此，由相位控制器131或133选择的组合图像的相位不一定是组合图像上的像素的位置，而是该相位可以以一个像素或更低的精度被偏移。

例如，将假定滤波处理器132-2计算组合图像的基准像素的相位处的像素，并且滤波处理器132-1和132-3计算相对于组合图像的基准像素偏移了1/2像素的相位处的像素。更具体而言，虽然在组合图像的与基准像素相距一个像素或以下的距离处的位置处不存在像素，但是假定在这样的位置处存在像素，并且计算这些像素的像素值。

在这种情况下，滤波处理器132-2如图13所示通过3抽头滤波处理来计算基准像素的相位处的像素。在图13中，向右方向表示x方向。

滤波处理器132-2把由箭头Q11指示的三个系数W1至W3分别与组合图像上在x方向上排列在基准像素附近的三个像素的像素值相乘，从而计算这些像素值的加和。在由箭头Q11指示的系数之中，系数W2表示与基准像素相乘的系数，系数W1和W3分别表示与基准像素的相邻像素相乘的系数。

在图13中，垂直方向表示每个系数的大小，并且系数所处的位置越高就具有越大的值。具体而言，系数W1和W3具有相同的值，并且系数W1和W3具有比系数W2小的值。

滤波处理器132-2将系数W1至W3与在x方向上排列的三个像素的像素值相乘，以计算出如箭头Q12所指示的像素值。在箭头Q12所指示的示例中，每个圆表示每个像素。此外，在该图中，在图中水平方向(x方向)上排列的上方一行圆圈表示组合图像，而在图中水平方向上排列的下方一行圆圈表示通过执行x方向降采样而获得的图像。

另外，当假定组合图像上位于在x方向上彼此相邻排列的像素G41至G43的中心的像素G42是基准像素时，利用像素G41至G43来计算像素P11的像素值。该像素P11是从现在起将要计算的在x方向上降采样的组合图像的像素，并且像素P11与作为基准像素的像素G42位于相同的相位。

滤波处理器132-2将系数W1至W3分别与像素G41至G43的像素值相乘，计算被乘以系数W1至W3的像素值的加和，并且用这样获得的值作为像素P11的像素值。

滤波处理器132-1和132-3中的每一个如图14所示通过4抽头滤波处理来计算相对于基准像素偏移了1/2相位的相位处的像素。在图14中，向右方向表示x方向。

滤波处理器132-1和132-3中的每一个把由箭头Q21指示的四个系数W11至W14分别与组合图像上在x方向上排列的包括基准像素在内的四个像素的像素值相乘，从而计算这些像素值的加和。

在图14中，垂直方向表示每个系数的大小，并且系数所处的位置越高就具有越大的值。

与相邻像素相乘的系数W12和W13具有相同的值。与位于与系数W12和W13相乘的像素周围的像素相乘的系数W11和W14具有相同的值，并且系数W11和W14具有比系数W12和W13小的值。

滤波处理器132-1将系数W11至W14与在x方向上排列的四个像素的像素值相乘，以计算出如箭头Q22所指示的像素值。在要描述的由箭头Q22和箭头Q23指示的示例中，每个圆圈表示每个像素。此外，在该图中，在图中水平方向(x方向)上排列的上方一行圆圈表示组合图像，而在图中水平方向上排列的下方一行圆圈表示通过执行x方向降采样而获得的图像。

例如，在由箭头Q22指示的示例中，当假定组合图像上大致位于在x方向上彼此相邻排列的像素G51至G54的中心处的像素G53为基准像素时，利用像素G51至G54来计算像素P21的像素值。该像素P21是从现在起将要计算的在x方向上降采样的组合图像的像素，并且像素P21位于这样一个位置(相位)处：该位置(相位)相对于作为基准像素的像素G53在图中向左(与x方向相反的方向上)相距1/2像素的距离。

滤波处理器132-1将系数W11至W14分别与像素G51至G54的像素值相乘，计算被乘以系数W11至W14的像素值的加和，并且使用这样获得的值来作为像素P21的像素值。

滤波处理器132-3将系数W11至W14与在x方向上排列的四个像素的像素值相乘，以计算出如箭头Q23所指示的像素值。

例如，当假定组合图像上大致位于在x方向上彼此相邻排列的像素G52至G55的中心处的像素G53为基准像素时，利用像素G52至G55来计算像素P22的像素值。该像素P22是从现在起将要计算的在x方向上降采样的组合图像的像素，并且像素P22位于这样一个位置(相位)处：该位置(相位)相对于作为基准像素的像素G53在图中向右(在x方向上)相距1/2像素的距离。

滤波处理器132-3将系数W11至W14分别与像素G52至G55的像素值相乘，计算被乘以系数W11至W14的像素值的加和，并且使用这样获得的值来作为像素P22的像素值。

如上所述，滤波处理器132依据其计算相对于基准像素向左还是向右偏移的相位处的像素而使用不同的像素执行滤波处理。

具体而言，当计算相对于基准像素向左偏移的相位处的像素时，利用基准像素、基准像素在图中的两个左侧相邻像素以及基准像素在图中的一个右侧相邻像素来计算期望相位处的像素。当计算相对于基准像素向右偏移的相位处的像素时，利用基准像素、基准像素在图中的一个左侧相邻像素以及基准像素在图中的两个右侧相邻像素来计算期望相位处的像素。

与参考图13和14描述的滤波处理器132的情况类似，滤波处理器134利用在y方向上连续排列的像素来计算期望相位处的像素。

例如，滤波处理器134-2通过滤波处理来计算与组合图像的缩减图像处于相同相位处的像素的像素值。滤波处理器134-1通过滤波处理来计算与组合图像的基准像素在y方向的相反方向上相距预定距离的相位(位置)处的像素的像素值。滤波处理器134-3通过滤波处理来计算与组合图像的基准像素在y方向上相距预定距离的相位(位置)处的像素的像素值。

由滤波处理器132-1或132-3计算出的像素的相位并不限于相对于基准像素偏移1/2个像素的位置，而可以是任何位置。例如，如图15所示，可以生成相对于基准像素偏移1/4像素的位置处的像素。在图15中，向右方向表示x方向。

一般地，当计算相对于基准像素在图中向右偏移1/4像素的相位处的像素时，首先，将组合图像的每个像素在图中向右偏移1/4像素，如箭头Q31所指示，然后，执行滤波处理。在由箭头Q31指示的示例中，图中的每个圆圈表示一个像素。此外，上方一行圆圈表示组合图像，下方一行圆圈表示通过把组合图像的每个像素的相位在图中向右偏移1/4像素而获得的图像。

当以这种方式偏移组合图像的每个像素的相位时，将经相位偏移的组合图像的在x方向上排列的三个像素的像素值乘以由箭头Q32指示的系数W21至W23，并且计算被乘以了系数的像素值的加和。计算出的加和的值被用作相对于基准像素在图中向右偏移1/4像素的位置处的像素的像素值。

在要描述的由箭头Q32和箭头Q33指示的示例中，图中的垂直方向表示每个系数的大小，并且系数所处的位置越高就具有越大的值。

在由箭头Q32指示的示例中，系数W22表示与经相位偏移的基准像素相乘的系数，并且系数W21和W23表示与经相位偏移的基准像素的水平相邻像素相乘的系数。

如上所述，一般需要在偏移了组合图像的相位之后执行滤波处理。然而，通过使用如箭头Q33指示的4抽头滤波处理(其中在滤波处理中使用的抽头数目增大)，可以通过更简单的处理来计算期望相位处的像素。也就是说，只要通过适当地调整每个抽头的系数，就不必生成通过在滤波处理之前偏移组合图像的相位而获得的图像。

在由箭头Q33指示的示例中，在x方向上排列的包括组合图像的基准像素在内的四个像素的像素值被乘以系数W31至W34，并且被乘以了系数的像素值的加和被用作要计算的像素的像素值。也就是说，该加和被用作相对于基准像素在x方向上偏移了1/4像素的位置处的像素的像素值。

系数具有按W32、W33、W31和W34的顺序递减的不同值。当改变要计算的像素相对于基准像素的距离或方向时，可以改变系数W31至W34的值。

如上所述，根据滤波处理器132和134，可以通过滤波处理来计算与组合图像的基准像素在一定方向上相距一定距离的相位处的像素的像素值，而无需偏移组合图像的每个像素的相位。

图像处理器的操作

接下来，参考图16的流程图，将描述图像处理器121进行的图像转换处理。在图16中，步骤S51至S54的处理与图11的步骤S11至S14的处理相同，对其的描述将被省略。

在步骤S55，相位控制器131选择组合图像的要用于生成缩减图像的x方向相位。例如，当对于每个帧按预定模式改变x方向相位时，相位控制器131选择由该模式和正在处理的当前帧指定的相位。

相位控制器131把从混合器75提供来的组合图像提供给与所选相位相对应的滤波处理器132，并且使得x方向降采样被执行。

在步骤S56，滤波处理器132通过滤波处理对从相位控制器131提供来的组合图像执行x方向降采样，并且把这样获得的图像提供给相位控制器133。

例如，滤波处理器132把包括组合图像上的基准像素在内的在x方向上连续排列的三个或四个像素的像素值与预定的系数相乘，并且计算出被乘以了系数的像素值的加和。然后，滤波处理器132使用计算出的加和的值作为组合图像的所选相位处的像素的像素值，并且生成由组合图像的所选相位处的像素构成的图像，从而对组合图像进行降采样。

在步骤S57，相位控制器133选择组合图像的要用于生成缩减图像的y方向相位。例如，当对于每个帧按预定模式改变y方向相位时，相位控制器133选择由该模式和正在处理的当前帧指定的相位。

相位控制器133把从滤波处理器132提供来的组合图像提供给与所选相位相对应的滤波处理器134，并且使得y方向降采样被执行。

在步骤S58，滤波处理器134通过滤波处理对从相位控制器133提供来的组合图像执行y方向降采样，并且把这样获得的图像提供给减法器80。

例如，滤波处理器134把包括组合图像上的基准像素在内的在y方向上连续排列的三个或四个像素的像素值与预定的系数相乘，并且计算出被乘以了系数的像素值的加和。然后，滤波处理器134使用计算出的加和的值作为组合图像的所选相位处的像素的像素值，并且生成由组合图像的所选相位处的像素构成的缩减图像，从而对组合图像进行降采样。

这样，通过在x方向和y方向上对组合图像进行降采样，生成了与LR图像具有相同分辨率的缩减图像，并且所生成的缩减图像被提供给减法器80。然后，执行步骤S59至S62的处理，并且图像转换处理结束。由于这些处理与图11的步骤S19至S22的处理相同，因此对其的描述将被省略。

这样，图像处理器121对输入的LR图像执行超分辨率处理并且将LR图像转换成SR图像。尤其，当通过滤波处理来从通过预测获得的组合图像生成缩减图像时，图像处理器121生成缩减图像，以使得对于每个帧，缩减图像由组合图像的不同相位处的像素构成。

如上所述，由于通过滤波处理来生成缩减图像，因此不仅可以以一个像素或以下的精度来偏移组合图像的用于生成缩减图像的像素的相位，而且还可以进一步减小在缩减图像与组合图像之间对象的相位偏移量。这样，可以进一步减小在生成SR图像时生成的、由对象的相位偏移导致的误差。也就是说，可以更精确地检测组合图像与LR图像之间的误差并且改善SR图像的图像质量。另外，可以通过滤波处理来更简单迅速地获得缩减图像。

另外，由于在帧与帧之间改变了要用于生成缩减图像的像素的相位，因此可以防止在生成组合图像时生成的误差(噪声成分)的积累，从而可以改善SR图像的图像质量。

第三实施例

图像处理器的配置

当增大组合图像的用于生成缩减图像的像素的相位的偏移量时，缩减图像中对象的位置与组合图像中对象的位置之间的位置偏移量将增大，从而在差分图像中将生成新的误差(噪声成分)，如图17所示。在图17中，垂直方向表示图像的像素的像素值，向右方向表示图像中的x方向。此外，图中的每个圆表示图像上的一个像素。

参考图17，由箭头A121指示的波形表示当前帧的组合图像的波形。即，由箭头A121指示的连接组合图像的相邻像素的曲线形成组合图像的波形。在组合图像中，相对于组合图像的中心略微靠右的位置处的像素的像素值大于其他像素的像素值并且在图中向上突出。

现在，在图中的x方向上每隔一个像素对组合图像的像素采样以生成缩减图像。例如，当用于生成缩减图像的像素的采样位置相对于基准像素在图中向右偏移2个像素时，与组合图像上对象的位置相比，缩减图像中的对象的位置将相对于图像的中心在图中向左偏移2个像素，如箭头A122所指示。

另外，当当前帧的LR图像的波形具有如箭头A123所指示的在x方向上没有任何变化的平坦形状时，通过计算缩减图像与LR图像之间的差异获得了具有由箭头A124指示的波形的差分图像。当把差分图像升采样为与SR图像具有相同分辨率的图像时，获得具有由箭头A125指示的波形的扩增图像。扩增图像的波形具有这样的形状，即相对于扩增图像的中心略微靠左的位置处的像素的像素值小于其他像素的像素值，并且在图中向下突出。

当把扩增图像加到由箭头A121指示的组合图像时，获得具有由箭头A126指示的波形的SR图像。在该SR图像中，一些误差仍然未从组合图像被去除，并且包括了通过添加扩增图像而生成的新误差。

也就是说，虽然在图中SR图像的中心处校正了误差，但是在SR图像的位置相对于SR图像的中心略微靠右的部分中，组合图像中包括的误差(噪声成分)未被去除，而是被原样保持。也就是说，在理想情况下，SR图像的波形应当具有像由箭头A123指示的LR图像那样的在x方向上平坦的形状。然而，SR图像的在图中位置相对于中心略微靠右的部分像由箭头A121指示的组合图像那样在图中向上突出。

另外，在SR图像的在图中位置相对于中心略微靠左的部分中，生成了通过把扩增图像加到组合图像而生成的新误差(噪声成分)。也就是说，SR图像的在图中位置相对于中心略微靠左的部分在图中向下突出。

如上所述，当组合图像的用于生成缩减图像的像素的相位被偏移得太多时，在SR图像中生成了新噪声。

因此，如图18所示，通过使扩增图像的每个像素在与缩减图像中偏移对象的方向相反的方向上偏移相同的偏移量，可以更确定地去除组合图像中包括的误差并且抑制新误差的生成。

在图18中，垂直方向表示图像的像素的像素值，向右方向表示图像中的x方向。另外，在该图中，每个圆表示图像上的每个像素。另外，箭头A131至A135分别表示组合图像、缩减图像、LR图像、差分图像和扩增图像的波形，并且这些波形与图17中箭头A121至A125指示的情况相同，对其的描述将被省略。

在图18的示例中，从具有由箭头A131指示的波形的组合图像获得具有由箭头A132指示的波形的缩减图像。计算出该缩减图像与具有由箭头A133指示的波形的LR图像之间的差异，从而获得具有由箭头A134指示的波形的差分图像。当对差分图像进行升采样时，获得具有由箭头A135指示的波形的扩增图像。

如箭头A136所指示的，在图中向右偏移扩增图像的像素，从而获得最终的扩增图像。

也就是说，在图18的示例中，如以上参考图17所述，当生成缩减图像时，由于从组合图像采样的像素的位置相对于基准像素在图中向右偏移了2个像素，因此在扩增图像中生成向左2个像素的相位偏移。因此，当使扩增图像的每个像素的相位在图中向右偏移2个像素时，可以校正每个像素的相位偏移并且抵消所生成的相位偏移。

这样，当使扩增图像的像素的相位在偏移组合图像的用于生成缩减图像的像素的相位的方向上偏移相同的偏移距离并且把经相位调整的扩增图像加到组合图像时，可以获得如箭头A137所指示的具有更少误差的SR图像。

也就是说，通过把由箭头A136指示的扩增图像加到由箭头A131指示的组合图像，可以获得如箭头A137指示的其中去除了组合图像中包括的噪声并且不包括新噪声的SR图像。由箭头A137指示的SR图像的波形具有这样的形状，即其是与由箭头A133指示的LR图像的波形相同的形状并且在x方向上是平坦的。

如上所述，调整扩增图像的像素的相位的图像处理器例如具有如图19所示的配置。在图19中，与图8中的那些相同或相应的部分将用相同的标号来指示，并且对其的描述将被适当省略。

图19的图像处理器161在图8的图像处理器61中还包括相位控制器171。相位控制器171使从升采样器81提供来的扩增图像的每个像素的相位在降采样器77或79偏移相位的方向上偏移相同的偏移距离，并且把这样获得的图像提供给加法器82。

图像处理器的操作

接下来，参考图20的流程图，将描述图像处理器161进行的图像转换处理。步骤S91至S100的处理与图11的步骤S11至S20的处理相同，对其的描述将被省略。

在步骤S101，相位控制器171偏移从升采样器81提供来的扩增图像的每个像素的相位并且把这样获得的图像提供给加法器82。

例如，将假定当生成缩减图像时，降采样器77-3生成由组合图像上位于与基准像素在x方向上相距2个像素的位置处的像素构成的图像。另外，将假定降采样器79-3生成由降采样器77-3所生成的图像上位于与基准像素在y方向上相距2个像素的位置处的像素构成的缩减图像。

在这种情况下，相位控制器171使扩增图像的每个像素在x方向和y方向上偏移2个像素的距离，并且使用这样获得的图像来作为最终的扩增图像。也就是说，在相位调整后获得的最终扩增图像的像素的像素值将具有相位调整前的扩增图像的位于与相同位置处的像素在x方向的相反方向上相距2个像素并且在y方向的相反方向上相距2个像素的位置处的像素的像素值。

在步骤S102，加法器82把从相位控制器171提供来的扩增图像与从混合器75提供的组合图像相加，以生成SR图像。然后，执行步骤S103的处理，并且图像转换处理结束。由于步骤S103的处理与图11的步骤S22的处理相同，因此对其的描述将被省略。

这样，图像处理器161偏移通过对差分图像升采样而获得的扩增图像的相位，然后把经相位偏移的扩增图像加到组合图像，从而生成SR图像。如上所述，由于首先偏移扩增图像的相位以抵消在生成缩减图像时生成的相位偏移并且把经相位偏移的扩增图像加到组合图像，因此不仅可以更确定地去除组合图像中包括的误差，还可以抑制新误差的生成，从而可以改善SR图像的图像质量。

第四实施例

图像处理器的配置

当LR图像为隔行(interlaced)格式时，上场(top field)的LR图像和下场(bottom field)的LR图像被交替输入到图像处理器中。从而，一帧的LR图像是从时间上连续的两个LR图像(即连续的上场的LR图像和下场的LR图像)获得的。

因此，取决于组合图像上在生成缩减图像时采样的像素的相位变化模式，可能发生这样的情况，即所采样的像素的相位在上场或下场中发生偏置。

例如，当组合图像的每隔一场被采样的像素的相位相对于基准像素的位置被偏移时，基准像素将在每隔一场出现的上场和下场中的任何一个中被采样。在这种情况下，担心在组合图像的一定相位处未检测到并且积累了误差(噪声成分)。

因此，可以独立地准备上场的相位变化模式和下场的相位变化模式。这样，可以抑制特定种类的场(即，上场或下场)的SR图像中误差的积累。

当对于每种场独立地改变生成缩减图像时组合图像的相位时，图像处理器可以例如具有如图21所示的配置。在图21中，与图8中的那些相同或相应的部分将用相同的标号来指示，并且对其的描述将被适当的省略。

取代图像处理器61的相位控制器76、降采样器77-1至77-3、相位控制器78以及降采样器79-1至79-3，图21的图像处理器201包括开关211、相位控制器212、降采样器213-1至213-3、相位控制器214、降采样器215-1至215-3、相位控制器216、降采样器217-1至217-3、相位控制器218、以及降采样器219-1至219-3。

开关211根据要处理的LR图像的场(帧)的种类来改变从混合器75提供来的组合图像的输出目的地。也就是说，正在处理的当前场是上场时，开关211把所提供的组合图像提供给相位控制器212。当当前场是下场时，开关211把所提供的组合图像提供给相位控制器216。

相位控制器212选择组合图像的要用于生成缩减图像的相位并且根据所选相位来改变从开关211提供来的组合图像的输出目的地。也就是说，相位控制器212把所提供的组合图像提供给降采样器213-1至213-3中的任何一个。

降采样器213-1至213-3中的每一个对从相位控制器212提供来的组合图像的预定相位处的像素采样并且生成由这样的像素构成的图像，从而在x方向上对组合图像降采样。降采样器213-1至213-3中的每一个把所生成的图像提供给相位控制器214。在以下描述中，当不必具体区分降采样器213-1至213-3时，它们将被简称为降采样器213。

相位控制器214选择组合图像的要用于生成缩减图像的相位并且根据所选相位来改变从降采样器213提供来的图像的输出目的地。也就是说，相位控制器214把所提供的图像提供给降采样器215-1至215-3中的任何一个。

降采样器215-1至215-3中的每一个对从相位控制器214提供来的图像的预定相位处的像素采样并且生成由这样的像素构成的缩减图像。这样，组合图像在y方向中被降采样。

降采样器215-1至215-3中的每一个把所生成的缩减图像提供给减法器80。在以下描述中，当不必具体区分降采样器215-1至215-3时，它们将被简称为降采样器215。

相位控制器216选择组合图像的要用于生成缩减图像的相位并且根据所选相位来改变从开关211提供来的图像的输出目的地。也就是说，相位控制器216把所提供的组合图像提供给降采样器217-1至217-3中的任何一个。

降采样器217-1至217-3中的每一个对从相位控制器216提供来的组合图像的预定相位处的像素采样并且生成由这样的像素构成的图像，从而在x方向上对组合图像降采样。降采样器217-1至217-3中的每一个把所生成的图像提供给相位控制器218。在以下描述中，当不必具体区分降采样器217-1至217-3时，它们将被简称为降采样器217。

相位控制器218选择组合图像的要用于生成缩减图像的相位并且根据所选相位来改变从降采样器217提供来的图像的输出目的地。也就是说，相位控制器218把所提供的图像提供给降采样器219-1至219-3中的任何一个。

降采样器219-1至219-3中的每一个对从相位控制器218提供来的图像的预定相位处的像素采样，并且生成由这样的像素构成的缩减图像。这样，组合图像在y方向中被降采样。

降采样器219-1至219-3中的每一个把所生成的缩减图像提供给减法器80。在以下描述中，当不必具体区分降采样器219-1至219-3时，它们将被简称为降采样器219。

缓冲器83可被配置为存储先前两个场的SR图像，以使得比正在处理的当前场早两个场的SR图像被缓冲器83提供给运动向量检测器72和运动补偿器73。在这种情况下，预测图像是从上场的LR图像和SR图像或者从下场的LR图像和SR图像生成的。

然而，降采样器213、215、217和219被配置为通过生成由组合图像的预定相位(位置)处的像素构成的图像来对组合图像进行降采样。

例如，如图22所示，降采样器213和215基于预定的基准像素对不同相位处的像素采样。在图22中，向右方向表示x方向，并且向下方向表示y方向。此外，在该图中，每个圆表示组合图像上的每个像素。

如图中的左上部所示，降采样器213-1对组合图像上作为基准像素的基准像素G81的左侧相邻像素G82采样。如图的中上部所示，降采样器213-2对组合图像上的基准像素G81采样。如图的右上部所示，降采样器213-3对组合图像上基准像素G81的右侧相邻像素G83采样。

如图中的左下部所示，降采样器215-1对经x方向上降采样的组合图像上作为基准像素的基准像素G91的上侧相邻像素G92采样。

如图的中下部所示，降采样器215-2对组合图像上的基准像素G91采样。如图的右下部所示，降采样器215-3对组合图像上基准像素G91的下侧相邻像素G93采样。

另外，降采样器217-1至217-3被配置为通过对与降采样器213-1至213-3从组合图像中采样的像素相同的像素采样来对组合图像进行降采样。

类似地，降采样器219-1至219-3被配置为通过对与降采样器215-1至215-3从组合图像中采样的像素相同的像素采样来对组合图像进行降采样。

另外，如图23所示，例如，相位控制器212、214、216和218中的每一个选择组合图像的输出目的地，以便以预定的模式改变要采样的像素的相位。

在图23中，向右方向表示时间，并且每个相位控制器212或216上方的数字表示标识要处理的组合图像的场(帧)的号码。具体而言，按从由“0”指示的第0帧到由“7”指示的第7帧的顺序处理帧。另外，场号码右侧的字符“T”或“B”分别表示上场和下场，从而表示场的种类。

此外，从相位控制器212延伸到降采样器215的粗线和从相位控制器216延伸到降采样器219的粗线表示提供组合图像的路径。

在图23的示例中，由于首先处理的第0场是上场，因此第0场的组合图像被提供到相位控制器212。然后，组合图像被从相位控制器212提供到降采样器213-2，并且从降采样器213-2提供到相位控制器214的组合图像随后被提供到降采样器215-2。

由于第0场之后的第1场是下场，因此第1场的组合图像被从开关211提供到相位控制器216。然后，第1场的组合图像被从相位控制器216提供到降采样器217-2，并且从降采样器217-2提供到相位控制器218的组合图像随后被提供到降采样器219-2。

类似地，由于第2场是上场，因此第2场的组合图像被提供到降采样器213-1和215-2。另外，由于第3场是下场，因此第3场的组合图像被提供到降采样器217-2和219-1。

由于第4场是上场，因此第4场的组合图像被提供到降采样器213-2和215-2。由于第5场是下场，因此第5场的组合图像被提供到降采样器217-2和219-2。

由于第6场是上场，因此第6场的组合图像被提供到降采样器213-2和215-3。由于第7场是下场，因此第7场的组合图像被提供到降采样器217-3和219-2。

在第8场和以后的场中，取决于正在处理的场是上场还是下场，根据针对每种场的预定模式来改变组合图像的输出目的地。

如上所述，在上场中，每隔一场(帧)生成由组合图像的基准像素构成的缩减图像。也就是说，从组合图像采样的像素的相位每隔一场相对于基准像素发生了偏移。另外，在下场上，每隔一场(帧)生成由组合图像的基准像素构成的缩减图像。

图像处理器的操作

接下来，参考图24的流程图，将描述图像处理器201进行的图像转换处理。在图24中，步骤S131至S134的处理与图11的步骤S11至S14的处理相同，对其的描述将被省略。

在步骤S135，开关211依据要正在处理的场是上场还是下场来改变从混合器75提供来的组合图像的输出目的地。具体而言，当正在处理的场是上场时，开关211把组合图像提供给相位控制器212。当正在处理的当前场是下场时，开关211把组合图像提供给相位控制器216。

在步骤S136，相位控制器212或216根据预定模式(例如，参考图23描述的模式)选择组合图像的要用于生成缩减图像的x方向相位。相位控制器212或216把从开关211提供来的组合图像提供给与所选相位相对应的降采样器213或217，并且使得x方向降采样被执行。

在步骤S137，降采样器213或217对从相位控制器212或216提供来的组合图像执行x方向降采样，并且把这样获得的图像提供给相位控制器214或218。

在步骤S138，相位控制器214或218根据预定的模式(例如，参考图23描述的模式)选择组合图像的要用于生成缩减图像的y方向相位。相位控制器214或218把从降采样器213或217提供来的组合图像提供给与所选相位相对应的降采样器215或219，并且使得y方向降采样被执行。

在步骤S139，降采样器215或219对从相位控制器214或218提供来的组合图像执行y方向降采样，并且把这样获得的图像提供给减法器80。这样，通过在x方向和y方向上对组合图像降采样，生成了与LR图像具有相同分辨率的缩减图像，并且所生成的缩减图像被提供给减法器80。

然后，执行步骤S140至S143的处理，并且图像转换处理结束。由于步骤S140至S143的处理与图11的步骤S19至S22的处理相同，因此对其的描述将被省略。

这样，图像处理器201根据要处理的场的种类来改变组合图像的输出目的地，并且根据针对每种场准备的模式来改变要用于生成缩减图像的像素的相位。

如上所述，依据场的种类来改变组合图像的输出目的地，并且根据针对每种场的模式来改变要用于生成缩减图像的像素的相位。因此，可以防止用于生成缩减图像的像素的相位在一定种类的场中偏置到特定的相位。因此，可以抑制一定种类的场的SR图像中误差的积累，并且改善SR图像的图像质量。

虽然已经描述了降采样器213、215、217和219通过对一定像素采样来对组合图像进行降采样，但是也可通过滤波处理来对组合图像进行降采样。

第五实施例

图像处理器的配置

虽然已经描述了在生成缩减图像时，组合图像先经历x方向降采样，然后经历y方向降采样，但是x方向降采样和y方向降采样也可同时执行。

在这种情况下，图像处理器例如可具有如图25所示的配置。在图25中，与图8中的那些相同或相应的部分用相同的标号来指示，并且对其的描述将被适当地省略。

取代图像处理器61的相位控制器76、降采样器77-1至77-3、相位控制器78以及降采样器79-1至79-3，图25的图像处理器251包括相位控制器261以及滤波处理器262-1至262-5。

相位控制器261选择组合图像的要用于生成缩减图像的相位，并且根据所选相位来改变从混合器75提供来的组合图像的输出目的地。也就是说，相位控制器261把所提供的组合图像提供给滤波处理器262-1至262-5中的任何一个。

滤波处理器262-1至262-5中的每一个通过2维滤波处理利用从相位控制器261提供来的组合图像来计算从相位控制器261提供来的组合图像的预定相位处的像素，并且生成由计算出的像素构成的图像。通过该滤波处理，组合图像在x方向和y方向上被降采样。

滤波处理器262-1至262-5中的每一个把所生成的缩减图像提供给减法器80。在以下描述中，当不必具体区分滤波处理器262-1至262-5时，它们将被简称为滤波处理器262。

滤波处理器262的滤波处理例如使用如图26所示的组合图像上在x方向和y方向上排列的多个像素。图26中的向右方向表示x方向。

在参考图13描述的图像处理器121的示例中，已经描述了当通过滤波处理来计算基准像素的相位处的像素时，在x方向(或y方向)上排列的像素被分别乘以对应于与基准像素的距离的系数，如图26中的箭头Q61所指示。

另外，在图像处理器121的示例中，已经描述了当通过滤波处理来计算与基准像素相距一个像素或以下的距离的相位处的像素时，在x方向(或y方向)上排列的像素被分别乘以对于每个像素具有不同值的系数，如箭头Q62所指示。

在由箭头Q61和Q62指示的示例中，每个圆表示与一个像素相乘的系数，并且垂直方向表示系数的大小。也就是说，由箭头Q61和Q62指示的系数分别与图13中箭头Q11和图15中箭头Q33指示的系数相同。

当使用由箭头Q61和Q62指示的系数的1维滤波处理被应用到2维滤波处理时，在x方向和y方向上排列的像素被乘以由箭头Q63和Q64指示的系数，从而计算出缩减图像的像素的像素值。

在由箭头Q63和Q64指示的示例中，每个阴影圆表示与组合图像上的一个像素相乘的一个系数，并且表示这种系数的圆是以与组合图像上的像素相同的位置关系排列的。

在由箭头Q63和Q64指示的示例中，左侧图中的向右方向和向下方向分别表示x方向和y方向。另外，在由箭头Q63和Q64指示的示例中，右侧图中的向右方向和向前方向分别表示x方向和y方向，并且垂直方向表示系数的大小。

由箭头Q63指示的示例表示用于计算组合图像的基准像素的相位处的像素的系数，并且分别在x方向和y方向上排列的三乘三个像素被乘以这些系数，从而计算出像素值。在此示例中，在总共9个系数之中，中心处的系数表示与组合图像的基准像素相乘的系数，并且在这9个系数中具有最大的值。另外，系数具有与所乘的像素与基准像素的距离相对应的值，并且像素的位置越靠近基准像素，与像素相乘的系数就具有越大的值。

由箭头Q64指示的示例表示用于计算与组合图像的基准像素相距一个像素或以下的距离的相位处的像素的系数，并且分别在x方向和y方向上排列的四乘四个像素被乘以这些系数，从而计算出像素值。

在此示例中，总共16个系数的中心位置是要计算的缩减图像的像素的相位，并且被乘以位置与缩减图像的像素的相位最靠近的系数的像素是组合图像的基准像素。另外，组合图像的像素的位置越靠近要计算的缩减图像的像素的相位，与组合图像的像素相乘的系数就具有越大的值。

如上所述，滤波处理器262把在x方向和y方向上排列的位置接近基准像素的多个像素乘以系数，从而通过2维滤波处理来计算出缩减图像的每个像素的像素值。这样，通过一次滤波处理更简单迅速地获得了由在x方向和y方向上与基准像素相距1个像素或以下的距离的相位处的像素构成的缩减图像。

例如，滤波处理器262-1生成由相对于组合图像的基准像素在x方向的相反方向上偏移了1/2像素的相位处的像素构成的缩减图像。滤波处理器262-2生成由相对于组合图像的基准像素在x方向上偏移了1/2像素的相位处的像素构成的缩减图像。

滤波处理器262-3生成由组合图像的基准像素的相位处的像素构成的缩减图像。滤波处理器262-4生成由相对于组合图像的基准像素在y方向上偏移了1/2像素的相位处的像素构成的缩减图像。滤波处理器262-5生成由相对于组合图像的基准像素在y方向的相反方向上偏移了1/2像素的相位处的像素构成的缩减图像。

图像处理器的操作

接下来，参考图27的流程图，将描述图像处理器251进行的图像转换处理。在图27中，步骤S171至S174的处理与图11中的步骤S11至S14的处理相同，对其的描述将被省略。

在步骤S175，相位控制器261选择组合图像的要用于生成缩减图像的相位。例如，当按预定的模式在x方向和y方向中的至少一个方向上改变相位时，相位控制器261根据该模式选择为正在处理的当前帧确定的相位。

相位控制器261把从混合器75提供来的组合图像提供给与所选相位相对应的滤波处理器262，并且使得缩减图像被生成。

在步骤S176，滤波处理器262对从相位控制器261提供来的组合图像执行2维滤波处理，以生成缩减图像。具体而言，滤波处理器262把从相位控制器261提供来的组合图像的基准像素附近的若干个像素的像素值乘以预先存储的系数，并且计算被乘以了系数的像素值的加和，从而计算出缩减图像的每个像素的像素值。

当生成了缩减图像时，滤波处理器262把所生成的缩减图像提供给减法器80。然后，执行步骤S177至S180的处理，并且图像转换处理结束。由于这些处理与图11的步骤S19至S22的处理相同，因此对其的描述将被省略。

这样，图像处理器251对输入的LR图像执行超分辨率处理并且把LR图像转换成SR图像。当生成SR图像时，当在帧与帧之间改变组合图像的要用于生成缩减图像的像素的相位的同时，图像处理器251对组合图像执行2维滤波处理以生成缩减图像。

如上所述，由于通过2维滤波处理来生成缩减图像，因此不仅可以以一个像素或以下的精度偏移相位，还可以进一步减小缩减图像与组合图像之间对象的相位偏移量。这样，可以进一步减小在生成SR图像时生成的误差并且改善SR图像的图像质量。另外，可以通过2维滤波处理来更简单迅速地获得缩减图像。

另外，由于在帧与帧之间改变了组合图像的要用于生成缩减图像的像素的相位，因此可以防止在生成组合图像时生成的误差(噪声成分)的积累，从而可以改善SR图像的图像质量。

第六实施例

图像处理器的配置

当从组合图像生成具有与组合图像的一半像素数相对应的像素的缩减图像时，对于每一帧，组合图像的要用于生成缩减图像的像素的相位被偏移小于2个像素的距离，例如1个像素、1/2个像素或1/4个像素。

当从组合图像生成具有小于组合图像的一半像素数的像素的缩减图像时，由于削减了更多的像素，因此对于每个帧，组合图像的用于生成缩减图像的像素的相位可以被偏移以像素为单位的距离。例如，当生成具有与组合图像的像素数的1/8相对应的像素的缩减图像时，相位可被偏移小于8个像素的距离。因此，当使相位偏移诸如4个像素、2个像素或1个像素之类的以像素为单位的距离时，可以通过更简单的处理来生成缩减图像。

具体而言，如图28所示，当要用于生成缩减图像的像素的相位相对于基准像素在预定方向上偏移预定数目的像素时，可以通过使组合图像的每个像素的相位(位置)在该预定方向的相反方向上偏移预定数目的像素来更简单地获得缩减图像。在图28中，每个圆圈表示组合图像上的每个像素。

例如，当使组合图像的要用于生成缩减图像的像素的相位在x方向的相反方向上偏移2个像素时，可以通过使组合图像的每个像素在x方向上移动2个像素来偏移每个像素的相位，如箭头C11所指示。在箭头C11所指示的示例中，在该图中，上方一行的多个圆圈表示偏移相位之前的组合图像，下方一行的多个圆圈表示偏移相位之后的组合图像。此外，在该图中，向右方向表示x方向。

在由箭头C11指示的示例中，组合图像的每个像素的相位在x方向上被偏移2个像素的距离。因此，通过生成由经相位偏移的组合图像的位于与相位偏移前的组合图像的基准像素相同的位置处的像素构成的图像，可以获得由组合图像的位于与基准像素在x方向的相反方向上相距2个像素的位置处的像素构成的图像。

类似地，当使组合图像的要用于生成缩减图像的像素的相位在y方向的相反方向上偏移2个像素时，可以通过使组合图像的每个像素在y方向上移动2个像素来偏移每个像素的相位，如箭头C12所指示。在箭头C12所指示的示例中，在该图中，左方一列的多个圆圈表示偏移相位之前的组合图像，右方一列的多个圆圈表示偏移相位之后的组合图像。此外，在该图中，向下方向表示y方向。

在由箭头C12指示的示例中，组合图像的每个像素的相位在y方向的相反方向上被偏移2个像素的距离。因此，通过生成由经相位偏移的组合图像的位于与相位偏移前的组合图像的基准像素相同的位置处的像素构成的图像，可以获得由组合图像的位于与基准像素在y方向的相反方向上相距2个像素的位置处的像素构成的图像。

这样，当生成由相对于组合图像的基准像素偏移了预定数目的像素的距离的相位处的像素构成的缩减图像时，可以通过首先根据相位偏移组合图像的每个像素的相位、并随后对与原始基准像素处于相同位置处的像素采样来更简单地获得缩减图像。

在这种情况下，图像处理器可具有如图29所示的配置。在图29中，与图8中的那些相同或相应用的部分用相同的标号来指示，并且对其的描述将被适当地省略。

取代图像处理器61的相位控制器76、降采样器77-1至77-3、相位控制器78以及降采样器79-1至79-3，图29的图像处理器291包括相位控制器301、降采样器302、相位控制器303以及降采样器304。

相位控制器301选择组合图像的要用于生成缩减图像的相位，并且根据所选相位在x方向(更具体而言是与x方向平行的方向)上适当地偏移从混合器75提供来的组合图像的每个像素的相位。相位控制器301在必要时把经相位偏移的组合图像提供给降采样器302。

降采样器302对从相位控制器301提供来的组合图像的预定相位处的像素(即，与原始组合图像的基准像素处于相同位置处的像素)采样，从而生成由这样的像素构成的图像。这样，在x方向上对组合图像进行了降采样。降采样器302把通过降采样生成的图像(组合图像)提供给相位控制器303。

相位控制器303选择该图像的要用于生成缩减图像的相位，并且根据所选相位在y方向(更具体而言是与y方向平行的方向)上适当地偏移从降采样器302提供来的图像的每个像素的相位。相位控制器303在必要时把经相位偏移的组合图像提供给降采样器304。

降采样器304对从相位控制器303提供来的组合图像的预定相位处的像素(即，与相位偏移之前的原始图像的基准像素处于相同位置处的像素)采样，从而生成由这样的像素构成的缩减图像。这样，在y方向上对组合图像进行了降采样。降采样器304把通过降采样生成的缩减图像提供给减法器80。

图像处理器的操作

接下来，参考图30的流程图，将描述图像处理器291进行的图像转换处理。在图30中，步骤S211至S214的处理与图11的步骤S11至S14的处理相同，对其的描述将被省略。

在步骤S215，相位控制器301根据预定的模式选择组合图像的要用于生成缩减图像的相位，并且根据所选相位在x方向上适当地偏移从混合器75提供来的组合图像的每个像素的相位。

例如，当所选相位与基准像素的相位相同时，相位控制器301不偏移组合图像的每个像素的相位，而是把组合图像按原样提供给降采样器302。例如，当所选相位与基准像素的相位不同时，相位控制器301通过根据所选相位移动组合图像的每个像素来偏移每个像素的相位，并且把经相位偏移的组合图像提供给降采样器302。

在步骤S216，降采样器302对从相位控制器301提供来的组合图像的与相位偏移前的基准像素处于相同位置处的像素采样，以生成由这样的像素构成的图像，从而在x方向上对组合图像进行了降采样。降采样器302把通过降采样生成的图像提供给相位控制器303。

在步骤S217，相位控制器303根据预定的模式选择组合图像的要用于生成缩减图像的相位，并且根据所选相位在y方向上适当地偏移从降采样器302提供来的组合图像的每个像素的相位。

例如，当所选相位与基准像素的相位相同时，相位控制器303不偏移组合图像的每个像素的相位，而是把组合图像按原样提供给降采样器304。例如，当所选相位与基准像素的相位不同时，相位控制器303通过根据所选相位移动组合图像的每个像素来偏移每个像素的相位，并且把经相位偏移的组合图像提供给降采样器304。

在步骤S218，降采样器304对从相位控制器303提供来的组合图像的与相位偏移前的基准像素处于相同位置处的像素采样，以生成由这样的像素构成的图像，从而在y方向上对组合图像进行了降采样。降采样器304把通过降采样生成的图像提供给减法器80。

然后，执行步骤S219至S222的处理，并且图像转换处理结束。由于这些处理与图11的步骤S19至S22的处理相同，因此对其的描述将被省略。

这样，图像处理器291对输入的LR图像执行超分辨率处理，并且把LR图像转换成SR图像。当生成SR图像时，图像处理器291在帧与帧之间改变要用于生成缩减图像的像素的相位，并且根据该相位来偏移组合图像的每个像素的相位，从而对经相位偏移进行降采样并生成缩减图像。

如上所述，通过偏移组合图像的每个像素的相位并随后执行降采样以生成缩减图像，可以更简单迅速地获得缩减图像。在此情况下，由于在执行降采样的每个方向上只需要一个模块来用于执行降采样，因此可以减小图像处理器291的大小。

另外，由于可以在帧与帧之间改变组合图像的要用于生成缩减图像的像素的相位，因此可以防止在生成组合图像时生成的误差(噪声成分)的积累，从而可以改善SR图像的图像质量。

虽然已经描述了降采样器302和304通过对图像的预定位置处的像素采样来生成缩减图像，但也可以通过使用预定位置处的像素的滤波处理来生成缩减图像。

在这种情况下，将已经经历了由相位控制器301进行的相位偏移的组合图像的预定位置处的像素的像素值乘以预定的系数，并且计算出被乘以了系数的像素值的加和的值。然后，把计算出的加和的值用作所选相位处的像素的像素值，并且生成由组合图像的所选相位处的像素构成的图像。这样生成的图像被用作在x方向上降采样了的组合图像。

上述一系列处理可以通过硬件执行或通过软件执行。当这一系列处理通过软件来执行时，构成该软件的程序被从程序记录介质安装在集成到专用硬件的计算机中，或者安装在可通过在计算机中安装各种程序来执行各种功能的通用计算机中。

图31是图示出通过程序执行上述一系列处理的计算机的示例性硬件配置的框图。

在该计算机中，CPU(中央处理单元)501、ROM(只读存储器)502以及RAM(随机存取存储器)503经由总线504相互连接。

总线504连接到输入/输出接口505。输入/输出接口505连接到：包括键盘、鼠标和麦克风在内的输入单元506；包括显示屏和扬声器在内的输出单元507；包括硬盘和非易失性存储器在内的记录单元508；包括网络接口在内的通信单元509；以及驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质511的驱动器510。

在这样配置的计算机中，CPU 501经由输入/输出接口505和总线504把记录在记录单元508中的程序加载到RAM 503中，并且执行该程序，从而执行上述一系列处理。

由计算机(CPU 501)执行的程序可以通过被记录在可移除介质511上来提供，该可移除介质511是包括磁盘(包括柔性盘)、光盘(例如CD-ROM(致密盘-只读存储器)和DVD(数字多功能盘))、磁光盘和半导体存储器在内的封装介质。或者，该程序可经由诸如局域网、因特网、数字卫星广播之类的有线或无线传输介质来提供。

当可移除介质511被安放在驱动器510上时，该程序经由输入/输出接口505被安装在记录单元508中。另外，该程序可由通信单元509经由有线或无线传输介质接收并被安装在记录单元508中。此外，该程序可被预先安装在ROM 502或记录单元508中。

由计算机执行的程序可以是根据本说明书中描述的过程以时序方式执行处理的程序，并且可以是以并行方式或者在必要时(例如响应于调用)执行处理的程序。

本申请包含与2009年1月22日向日本专利局提交的日本在先专利申请JP 2009-012350中公开的内容相关的主题，这里通过引用将该在先申请的全部内容并入。

本发明的实施例并不限于上述实施例，而是可以在不脱离本发明的要旨的范围内进行各种修改。

Claims (8)

1.一种对时间上连续的多个输入图像执行超分辨率处理的图像处理器，该超分辨率处理把具有第一分辨率的输入图像转换成具有第二分辨率的输出图像，第二分辨率高于第一分辨率，该图像处理器包括：

预测装置，用于利用正在处理的时刻的输入图像和通过对比正在处理的时刻早的时刻的输入图像执行超分辨率处理而获得的输出图像，通过运动补偿来预测正在处理的时刻的具有所述第二分辨率的输出图像；

生成装置，用于利用通过所述预测装置的预测而获得的预测图像，来生成由该预测图像的不同相位的像素构成的具有所述第一分辨率的缩减图像，所述相位随时间而不同；

差异计算装置，用于计算正在处理的时刻的输入图像与所述缩减图像之间的差异；以及

加法装置，用于把通过对所述差异升采样到所述第二分辨率而获得的扩增图像与所述预测图像相加，从而生成正在处理的时刻的具有所述第二分辨率的输出图像，

其中，所述生成装置根据预定的模式，对于每个时刻，改变所述预测图像的要用于生成所述缩减图像的每个像素的相位。

2.根据权利要求1所述的图像处理器，

其中，所述生成装置包括：

选择装置，用于选择所述预测图像的每个像素的相位；以及

采样装置，用于通过从所述预测图像中采样出由所述选择装置选择的相位处的像素来生成所述缩减图像。

3.根据权利要求1所述的图像处理器，

其中，所述生成装置包括：

选择装置，用于选择所述预测图像的每个像素的相位；以及

滤波装置，用于通过使用所述预测图像的位于由所述选择装置选择的相位处的像素附近的若干个像素的滤波处理，来生成所选相位处的像素，从而生成所述缩减图像。

4.根据权利要求1所述的图像处理器，

其中，所述生成装置还包括降采样装置和相位控制装置，所述降采样装置用于生成由位于与所述预测图像的预定基准相位在预定方向上相距预定距离的相位处的像素构成的缩减图像，所述相位控制装置用于使所述扩增图像的每个像素的相位在所述降采样装置偏移相位的方向上偏移相同的偏移距离。

5.根据权利要求1所述的图像处理器，其中：

所述输入图像是隔行格式的图像；并且

所述生成装置包括：

切换装置，用于依据正在处理的时刻的输入图像是上场图像还是下场图像来改变所述预测图像的输出目的地；

第一选择装置，用于选择从所述切换装置输出的从上场的输入图像获得的预测图像的每个像素的相位；

第一采样装置，用于通过从所述预测图像中采样出由所述第一选择装置选择的相位处的像素来生成所述缩减图像；

第二选择装置，用于选择从所述切换装置输出的从下场的输入图像获得的预测图像的每个像素的相位；以及

第二采样装置，用于通过从所述预测图像中采样出由所述第二选择装置选择的相位处的像素来生成所述缩减图像。

6.根据权利要求5所述的图像处理器，其中，所述第一选择装置和第二选择装置独立地根据预定的模式在场与场之间改变所述预测图像的用于生成所述缩减图像的每个像素的相位。

7.根据权利要求1所述的图像处理器，其中：

所述生成装置包括：

相位控制装置，用于使所述预测图像的每个像素在预定方向上移动预定距离，以偏移所述预测图像的每个像素的相位；以及

缩减图像生成装置，用于生成由相位经所述相位控制装置偏移的预测图像的预定相位处的像素构成的缩减图像，并且

所述相位控制装置根据预定的模式在每个时刻改变偏移所述预测图像的每个像素的相位的方向。

8.一种用于图像处理器中的图像处理方法，该图像处理器对时间上连续的多个输入图像执行超分辨率处理，该超分辨率处理把具有第一分辨率的输入图像转换成具有第二分辨率的输出图像，第二分辨率高于第一分辨率，该图像处理器包括：

预测装置，用于利用要处理的时刻的输入图像和通过对比正在处理的时刻早的时刻的输入图像执行超分辨率处理而获得的输出图像，通过运动补偿来预测正在处理的时刻的具有所述第二分辨率的输出图像；

生成装置，用于利用通过所述预测装置的预测而获得的预测图像，来生成由该预测图像的不同相位的像素构成的具有所述第一分辨率的缩减图像，所述相位随时间而不同；

差异计算装置，用于计算正在处理的时刻的输入图像与所述缩减图像之间的差异；以及

加法装置，用于把通过对所述差异升采样到所述第二分辨率而获得的扩增图像与所述预测图像相加，从而生成正在处理的时刻的具有所述第二分辨率的输出图像，其中，所述生成装置根据预定的模式，对于每个时刻，改变所述预测图像的要用于生成所述缩减图像的每个像素的相位，所述方法包括以下步骤：

使所述预测装置生成所述预测图像；

使所述生成装置生成由所述预测图像的预定相位处的像素构成的缩减图像；

使所述差异计算装置计算所述输入图像与所述缩减图像之间的差异；以及

使所述加法装置把所述差异与所述预测图像相加，以生成正在处理的时刻的输出图像。

Images