CN101340540A - 图像显示装置、图像信号处理装置和图像信号处理方法 - Google Patents

Abstract

本发明涉及图像显示装置、图像信号处理装置和图像信号处理方法，提供用于适当以较少的帧数对图像信号或者运动图像的图像信号进行高分辨率化的技术。其包括：被输入多个图像帧的输入部；和分辨率变换部，其用于通过对所述输入的多个图像帧进行合成，根据该输入图像帧上的被拍摄体移动的方向而具有不同的分辨率变换特性，增加构成图像帧的像素数，得到输出图像帧，并且，利用该分辨率变换部的输出结果得到高分辨率图像。

Description

图像显示装置、图像信号处理装置和图像信号处理方法

技术领域

本发明涉及用于使图像信号高分辨率化的技术，特别涉及通过合成多个图像帧，进行增加构成图像帧的像素数并且除去不需要的折返成分(aliasing component)的高分辨率化的技术。

背景技术

近年来的电视接收机的大画面化不断进展，不是直接显示从播放、通信、累积介质等输入的图像信号，一般是通过数字信号处理使水平、垂直方向的像素数增加而进行显示。此时，通过一般已知的使用sinc函数的插补(interpolation)低通滤波器、样条函数等仅是增加像素数不能够提高分辨率。

于是，如专利文献1、专利文献2、非专利文献1所述，公开了对输入的多个图像帧(以下简称为帧)进行合成而成为一帧，由此进行高分辨率化并使像素数增加的技术(以下称为现有技术)。

在这些现有技术中，通过(1)位置推定(motion estimation)、(2)宽带域插补、(3)加权和、这三个处理进行高分辨率化。此处，(1)位置推定是指，使用输入的多个图像帧的各图像数据，推定各图像数据的采样相位(取样位置)的差。(2)宽带域插补是指，相对各图像数据，使用包括折返成分，使原信号的高频成分全部透过的带域宽的低通滤波器对像素数(采样点)进行插补而使其增加，从而使图像数据高密度化。(3)加权和是指，利用与各高密度化数据的采样相位相对应的加权系数求取加权和，从而消除在像素采样时产生的折返成分，同时恢复原信号的高频成分。

图2表示这些高分辨率化技术的概要。如该图(a)所示，设想输入不同的时间轴上的帧#1(201)、帧#2(202)、帧#3(203)，对它们进行合成得到输出帧(206)。为了简单，首先考虑被拍摄体在水平方向上移动(204)的情况，考虑通过水平线(205)上的一维信号处理进行高分辨率化的情况。此时，如该图(b)和图(d)所示，在帧#2(202)和帧#1(201)中，与被拍摄体的移动(204)的量相对应地产生信号波形的位置偏差。利用上述(1)位置推定求取该位置偏差量，如该图(c)所示，以使位置偏差消失的方式对帧#2(202)进行运动补偿(motion compensation)(207)，并且求取各帧的像素(208)的采样相位(209)(210)间的相位差θ(211)。基于该相位差θ(211)进行上述(2)宽带域插补和(3)加权和，从而，如图(e)所示，在原像素(208)的正中间(相位差θ＝π)的位置生成新像素(212)，由此实现高分辨率化。关于(3)加权和在后面叙述。

实际上，被拍摄体的动作不仅是平行移动，虽然要考虑伴随旋转、放大、缩小等动作的运动，但在帧间的时间间隔微小的情况下、被拍摄体的动作迟缓的情况下，它们的动作也能够被认为是局部近似于平行移动。

在利用专利文献1、专利文献2、非专利文献1所述的现有技术进行一维方向的两倍的高分辨率化的情况下，在进行上述(3)的加权和时，如图3所示，必须至少使用三个帧图像的信号。此处，图3是表示在一维的频率区域中，各成分的频谱的图。在该图中，与频率轴的距离表示信号强度，以频率轴为中心的旋转角表示相位。以下详细说明上述(3)的加权和。

在上述(2)的宽带域插补中，如果利用透过尼奎斯特(Nyquist)频率二倍的带域(频率0～采样频率fs的带域)的宽带域低通滤器进行像素插补，得到与原信号相同的成分(以下称为原成分)，以及与采样相位对应的折返成分的和。可知，此时，如果对三个帧图像的信号进行上述(2)宽带域插补的处理，则如图3(a)所示，各帧的原成分(301)(302)(303)的相位全部一致，折返成分(304)(305)(306)的相位与各帧的采样相位的差相对应地进行旋转。为了使各自的相位关系容易理解，各帧的原成分的相位关系如该图(b)所示，各帧的折返成分的相位关系如该图(c)所示。

此处，相对三个帧图像的信号，适当地选择相乘的系数并进行上述(3)加权和，由此能够使各帧的折返成分(304)(305)(306)相互抵消并除去，能够仅抽出原成分。此时，为了使各帧的折返成分(304)(305)(306)的矢量和为0，即，使Re轴(实轴)的成分和Im轴(虚轴)的成分两者均为0，需要至少三个折返成分。因此，为了实现两倍的高分辨率化，即为了除去一个折返成分，必须至少使用三个帧图像的信号。

同样的，如专利文献1、专利文献2、非专利文献1所述，在相对水平、垂直的二维的输入信号进行高分辨率化的情况下，因为折返来自纵横两个方向，所以原信号的带域在纵横方向均变宽至两倍，则三个折返成分重合，为了消除该折返成分需要2M+1＝7个数字数据(＝7枚帧图像的信号)。

在现有技术中，帧存储器、信号处理电路的规模变大，并不经济。此外，因为必须正确地进行在时间上分离的多个帧图像的位置推定，因此结构复杂。即，现有技术难以对例如电视播放信号等的运动图像的帧进行高分辨率化。

此外，在现在的电视播放信号中使用隔行扫描是主流的，但是在专利文献1、专利文献2、非专利文献1中，并没有公开或提示隔行扫描信号的高分辨率化、隔行-逐行扫描变换(I-P变换)。

此外，在使用地面波、卫星(BS、CS)的现有的数字电视播放中，在现有的SD(Standard Definition：标准清晰度)的图像信号之外，还利用HD(High Definition：高清晰度)的图像信号播放节目。但是，已知的是，并不是将整个节目置换为由HD摄像机摄取的图像信号，而是将由SD摄像机摄取的图像信号，通过SD→HD变换器，变换为具有与HD相同的像素数的信号(升频变换)，以每个节目或每个场景进行切换播放。

在现有的接收机中，在接收的信号是由HD摄像机摄取的图像信号的情况下，再现分辨率高的图像，在接收的信号是SD→HD变换(升频变换)后的图像信号的情况下，再现分辨率低的图像，因此存在以每个节目或每个场景频繁切换分辨率，难以观看的问题。

专利文献1：日本特开平8-336046号公报

专利文献2：日本特开平9-69755号公报

非专利文献1：青木伸，“複数のデジタル画像デ一タによる超解像処理”(利用多个数字图像数据的超析像处理)，Ricoh TechnicalReport pp.19-25，No.24，NOVEMBER，1998

发明内容

本发明更加适当地对图像信号进行高分辨率化。

根据本发明能够更适当地对图像信号进行高分辨率化。

附图说明

从下面结合附图进行的说明中，可以更了解本发明的这些和其他特点、目的和优点。其中：

图1是本发明的实施例1的说明图。

图2是说明一般的高分辨率化图像信号处理的动作的一个例子的图。

图3是说明现有技术的动作的图。

图4是说明本发明的实施例1的动作的图。

图5是本发明的实施例1的说明图。

图6是本发明的实施例1的说明图。

图7是本发明的实施例1的说明图。

图8是本发明的实施例1的说明图。

图9是本发明的实施例1的说明图。

图10是本发明的实施例3的说明图。

图11是本发明的实施例5的说明图。

图12是本发明的实施例5的说明图。

图13是本发明的实施例5的说明图。

图14是本发明的实施例2的说明图。

图15是本发明的实施例4的说明图。

图16是本发明的实施例6的说明图。

图17是说明本发明的一实施方式与现有技术的动作的不同的图。

图18是本发明的实施例2的说明图。

图19是本发明的实施例12的说明图。

图20是本发明的实施例7的说明图。

图21是本发明的实施例8的说明图。

图22是本发明的实施例7的说明图。

图23是本发明的实施例7的说明图。

图24是本发明的实施例7的说明图。

图25是本发明的实施例7的说明图。

图26是本发明的实施例7的说明图。

图27是本发明的实施例9的说明图。

图28是本发明的实施例9的说明图。

图29是本发明的实施例9的说明图。

图30是本发明的实施例9的说明图。

图31是本发明的实施例9的说明图。

图32是本发明的实施例9的说明图。

图33是本发明的实施例10的说明图。

图34是说明本发明的一实施方式与现有技术的动作的不同的图。

图35是本发明的实施例13的说明图。

图36是本发明的实施例17的说明图。

图37是说明现有技术的动作的图。

图38是说明现有技术的动作的图。

图39是本发明的实施例21的说明图。

图40是本发明的实施例21的说明图。

图41是本发明的实施例21的说明图。

图42是本发明的实施例22的说明图。

图43是本发明的实施例24的说明图。

图44是本发明的实施例26的说明图。

图45是本发明的实施例29的说明图。

图46是说明现有技术的动作的图。

图47是说明现有技术的动作的图。

图48是说明现有技术的动作的图。

图49是本发明的实施例29的说明图。

图50是本发明的实施例29～实施例31的说明图。

图51是本发明的实施例29的说明图。

图52是本发明的实施例29的说明图。

图53是本发明的实施例29的说明图。

图54是本发明的实施例11的说明图。

图55是本发明的实施例11的说明图。

图56是本发明的实施例11的说明图。

图57是本发明的实施例11的说明图。

图58是本发明的实施例11的说明图。

图59是本发明的实施例12的说明图。

图60是说明本发明的一实施方式与现有技术的动作的不同的图。

具体实施方式

下面说明本发明的实施例，应该理解的是下述实施例能够在不脱离本发明的范围内进行各种变形和变更。因此，本发明不仅包括下述内容，还包括在权利要求的范围中的各种变形和变更。

以下参照附图说明本发明的实施例。

此外，在各附图中，附加有相同符号的构成要素具有相同的功能。

此外，本说明书的各个记载和各附图中的“相位”这一表述，包括在二维图像空间中使用的情况下的二维图像上的“位置”的意思。该位置表示小数像素精度的位置。

此外，在本说明书的各个记载和各附图中的“提升(升率，uprate)”这一表述，包括“提升处理”的意思。此外，在本说明书的各个记述和各附图中的“升频”这一表述，表示“升频处理”。两者均表示使图像的像素数变多的变换处理(像素数增加处理)或使图像放大的变换处理(图像放大变换处理)。

此外，在本说明书的各个记载和各图像中的“降低(降率，downrate)”这一表述，包括“降低处理”的意思。此外，在本说明书的各个记述和各附图中的“降频”这一表述，表示“降频处理”。两者均表示使图像的像素数变少的变换处理(像素数减少处理)或使图像缩小的变换处理(图像缩小变换处理)。

此外，在本说明书的各个记载和各图像中的“运动补偿”这一表述，包括计算出相位差或采样相位差，即空间上的位置的差，并进行对位(位置合わせ)的意思。

而且，在以下的各实施例的记述中，上述(1)位置推定使用参考文献1、参考文献2中记载的方法即可。此外，关于上述(2)宽带域插补，使用非专利文献1中记载的具有为尼奎斯特频率的两倍的通过带域的一般的低通滤波器即可。

[参考文献1]安藤繁，“画像の時空間微分算法を用いた速度ベクトル分布計測システム”(图像的使用时空微分算法的速度矢量分布计测系统)，计测自动控制学会论文集，pp.1330-1336，Vol.22，No.12，1986

[参考文献2]小林弘幸等，“DCT变换に基づく画像の位相限定相関法”(基于DCT变换的图像的相位限定相关法)，信学技法IEICETechnical Report ITS2005-92，IE2005-299(2006-02)，pp.73-78

此外，在以下的实施例中，“SR信号”这一表述是“Super Resolution信号(超分辨率信号)”的简称。

以下参照附图说明本发明的实施例。

[实施例1]

图1表示本发明的实施例1的图像信号处理装置，叙述其特征。本实施例的图像信号处理装置适用于例如电视接收机等图像显示装置。在以下的本实施例的说明中，作为图像信号处理装置，以图像显示装置为例进行说明。

在图1中，本实施例的图像信号处理装置包括：例如被输入电视播放信号等运动图像的帧列的输入部(1)；用于使从该输入部(1)输入的帧高分辨率化的分辨率变换部(2)；和基于通过该分辨率变换部(2)已高分辨率化的帧而显示图像的显示部(3)。作为该显示部(3)，例如使用等离子体显示面板、液晶显示面板、或电子/电解放出型等离子体显示面板。以下说明分辨率变换部(2)的详细内容。

在图1中，首先通过位置推定部(101)，以从输入部(1)输入的帧#1上的处理对象的像素的采样相位(取样位置)为基准，推定帧#2上的相应的像素的位置，求取每个像素的采样相位差θ(102)。

接着，通过运动补偿/提升部(115)的提升器(103)(104)，使用相位差θ(102)的信息对帧#2进行运动补偿，使其与帧#1位置匹配，使帧#1和帧#2的像素数分别增加至2倍进行高密度化。在相位移动部(116)中，使该已高密度化的数据的相位移动一定量。此处，作为使数据的相位移动一定量的单元，能够使用π/2相位移动器(106)(108)。此外，为了补偿由π/2相位移动器(106)(108)产生的延迟，通过延迟器(105)(107)使已高密度化的帧#1和帧#2的信号延迟。

在折返成分除去部(117)中，相对延迟器(105)(107)和希尔伯特变换器(106)(108)的各输出信号，将由系数决定器(109)基于相位差θ(102)生成的系数C0、C2、C1、C3，通过相乘器(110)(112)(111)(113)分别进行相乘，并由加法器(114)对这些信号进行相加而获得输出。该输出供给至显示部3。其中，位置推定部(101)能够直接使用上述现有技术而实现。提升器(103)(104)、π/2相位移动器(106)(108)、折返成分除去部(117)的各详细内容，在后面叙述。

图4表示本发明的实施例1的动作。该图在一维的频率区域中表示图1所示的延迟器(105)(107)和π/2相位移动器(106)(108)的各输出。在该图(a)中，从延迟器(105)(107)输出的提升后的帧#1和帧#2的信号分别成为将原成分(401)(402)、和从原来的采样频率(fs)折返的折返成分(405)(406)相加后的信号。此时，折返成分(406)仅旋转上述相位差θ(102)的相位。

另一方面，从π/2相位移动器(106)(108)输出的提升后的帧#1和帧#2的信号分别成为将π/2相位移动后的原成分(403)(404)、和π/2相位移动后的折返成分(407)(408)相加的信号。为了使该图(a)中表示的各成分的相位关系容易理解，该图(b)和该图(c)分别将原成分与折返成分抽出进行表示。

此处，在求取该图(b)所示的四个成分的矢量和时，以Re轴的成分为1，Im轴的成分为0；在求取该图(c)所示的四个成分的矢量和时，Re轴和Im轴两者的成分为0，这样，决定对各成分进行乘法运算的系数，取得加权和，从而能够消除折返成分，仅抽出原成分。即，能够实现仅使用两个帧图像，进行一维方向的两倍的高分辨率化的图像信号处理装置。该系数决定方法的详细内容在后面叙述。

图5表示本发明的实施例1中使用的提升器(103)(104)的动作。在该图中，横轴表示频率，纵轴表示增益(输出信号振幅相对输入信号振幅的比值)，表示提升器(103)(104)的“频率-增益”特性。此处，在提升器(103)(104)中，以相对原信号的采样频率(fs)为两倍的频率(2fs)作为新的采样频率，通过在原像素间隔的恰好中间的位置插入新像素的采样点(＝零点)，使像素数成为两倍，进行高密度化，并且施加将-fs～+fs之间的频率全部作为增益2.0的通过带域的滤波器。此时，如该图所示，由于数字信号的对称性，成为每2fs的整数倍的频率就进行重复的特性。

图6表示本发明的实施例1使用的提升器(103)(104)的具体例。该图表示对图5所示的频率特性进行逆傅立叶变换而得到的滤波器的抽头(tap)系数。此时，各抽头系数Ck(其中，k为整数)成为一般已知的sinc函数，为了补偿每个像素的采样的相位差θ(102)，只移动(-θ)，成为Ck＝2sin(πk+θ)/(πk+θ)即可。此外，将相位差θ(102)由整数像素单位(2π)的相位差+小数像素单位的相位差进行表示，由此对于整数像素单位的相位差的补偿能够由简单的像素移动实现，对于小数像素单位的相位差的补偿也使用上述提升器(103)(104)的滤波器。

图7表示本发明的实施例1中使用的π/2相位移动器(106)(108)的动作例。作为π/2相位移动器(106)(108)，能够使用一般已知的希尔伯特变换器。

在该图(a)中，横轴表示频率，纵轴表示增益(输出信号振幅相对输入信号振幅的比值)，表示希尔伯特变换器的“频率-增益”特性。此处，在希尔伯特变换器中，以相对于原来信号的采样频率(fs)为两倍的频率(2fs)作为新的采样频率，使-fs～+fs之间除了0以外的频率成分全部为增益1.0的通过带域。

此外，在该图(b)中，横轴表示频率，纵轴表示相位差(输出信号相位相对输入信号相位的差)，表示希尔伯特变换器的“频率-相位差”特性。此处，对于0～fs之间的频率成分，只延迟π/2的相位，对0～-fs间的频率成分，只提前π/2的相位。此时，如该图所示，由于数字信号的对称性，成为每2fs的整数倍的频率就进行重复的特性。

图8表示由希尔伯特变换器构成本发明的实施例1中使用的π/2相位移动器(106)(108)的例子。该图表示对图7所示的频率特性进行逆傅立叶变换而得到的滤波器的抽头系数。此时，各抽头系数Ck是，在k＝2m(其中m为整数)时Ck＝0，k＝2m+1时为Ck＝-2/(πk)即可。

其中，本发明的实施例1中使用的π/2相位移动器(106)(108)能够使用微分器。在该情况下，如果以t对表示正弦波的一般式cos(ωt+α)进行微分并乘以1/ω，则成为d(cos(ωt+α))/dt ×(1/ω)＝-sin(ωt+α)＝cos(ωt+α+π/2)，能够实现π/2相位移动的功能。即，可以在取得作为对象的像素的值和邻接像素的值的差分之后，施加具有1/ω的“频率-振幅”特性的过滤器，由此实现π/2相位移动的功能。

图9表示本发明的实施例1中使用的系数决定器(109)的动作的具体例。如该图(a)所示，在取得图4(b)所示的四个成分的矢量和时，以Re轴的成分为1，以Im轴的成分为0；在取得图4(c)所示的四个成分的矢量和时，Re和Im轴两者的成分为0，按照这样的方式，决定对各成分进行乘法运算的系数，则能够实现使用两帧图像，进行一维方向的两倍的高分辨率化的图像信号处理装置。

此处，如图1所示，相对延迟器(105)的输出(提升后的帧#1的原成分与折返成分的和)的系数为C0；相对π/2相位移动器(106)的输出(提升后的帧#1的原成分与折返成分的各自的π/2相位移动结果的和)的系数为C1；相对延迟器(107)的输出(提升后的帧#2的原成分与折返成分的和)的系数为C2；相对希尔伯特变换器(106)的输出(提升后的帧#2的原成分与折返成分的各自的π/2相位移动结果的和)的系数为C3。

此时，如果满足图9(a)的条件，则由图4(b)和图4(c)所示的各成分的相位关系，能够得到图9(b)所示的连立方程式，对其进行求解，能够导出图9(c)所示的结果。

本实施例的系数决定器(109)输出满足图9(a)、图9(b)、图9(c)中的任一个的系数C0、C1、C2、C3。

作为一个例子，图9(d)中表示使相位差θ(102)在0～2π中每π/8进行变化时的系数C0、C1、C2、C3的值。这相当于将原来的帧#2的信号以1/16像素的精度进行位置推定，相对帧#1进行运动补偿的情况。在相位差θ(102)的值不足0或为2π以上的情况下，利用sin函数、cos函数的周期性，在相位差θ(102)的值上加上或减去2π的整数倍的值，由此使得相位差θ(102)在0～2π的范围内即可。

其中，提升器(103)(104)和/2相位移动器(106)(107)为了得到理想的特性，必需有无限大的抽头数，但使抽头数为有限个，进行简化在实用上也没有问题。此时，可以使用一般的窗函数(例如汉宁(Hanning)窗函数或汉明(Hamming)窗函数等)。如果简化的希尔伯特变换器的各抽头的系数为以C0为中心的左右点对称的值，即C(-k)＝-Ck(k为整数)，则能够使相位只移动一定量。

接着，使用图17，说明实施例1的图像信号处理装置和上述现有技术的动作的不同。在该图(a)中，准备在从帧#1(1701)到帧#5(1705)之间被拍摄体向右方向移动的输入图像。此时，如该图(b)所示，观察各帧的采样相位，以帧#1(1701)和帧#2(1702)之间的对应像素的位置偏移1/4像素(＝/2)，帧#1(1701)和帧#3(1703)之间的对应像素的位置偏移1像素(＝2π)，帧#1(1701)和帧#4(1704)之间的对应像素的位置偏移5/4像素(＝5/2)，帧#1(1701)和帧#5(1705)之间的对应像素的位置偏移2像素(＝4π)的方式，有意地使被拍摄体移动。此时，包括在各帧上的信号中的各自的折返成分的相位，以帧#1(1701)上的信号所包括的折返成分的相位为基准，能够表示为该图(c)所示。相对该输入图像(a)进行两倍的高分辨率化的情况下，在上述现有技术中，使用从帧#1(1701)到帧#5(1705)中的任何三帧均不能够使折返成分的矢量和为0，因此不能够实现高分辨率化。另一方面，如果使用本实施例，则例如使用邻接的两帧(例如：帧#1(1701)和帧#2(1702))能够使折返成分的矢量和为0，因此能够实现高分辨率化。即，通过使用该图(a)的输入图像作为测试图案，能够确认本实施例的动作状况。

在以上的实施例1的说明中，举出水平方向的高分辨率化的例子进行了说明，但本发明的各实施方式并不限定于此，也能够应用于垂直方向、倾斜方向的高分辨率化。

根据以上说明的实施例1的图像信号处理装置，相对于比现有例少的两个输入图像帧的各图像信号进行相位移动，从各图像信号中分别生成两个信号。由此，能够从两个输入图像帧的图像信号中生成四个信号。此处，基于两个输入图像帧的相位差，对于该四个信号的各个信号，针对每个像素计算出用于消除该四个信号的折返成分而进行合成的系数。对于生成的图像的各个像素，计算在上述四个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。通过对生成图像的各像素进行上述处理，能够生成新的高分辨率图像。

由此，实施例1的图像信号处理装置使用比现有例少的两个输入图像帧，能够折返成分较少地由输入图像生成高分辨率的图像。

此外，实施例1的图像信号处理装置使用比现有例少的两个输入图像帧，因此相比于现有例能够减少需要的图像处理的量。由此，能够以比现有例低的成本实现折返成分较少地由输入图像生成高分辨率的图像的图像信号处理装置。

[实施例2]

接着，使用图18和图14说明本发明的实施例2。

实施例2表示通过与软件协同作用的控制部实现与实施例1的图像信号处理装置的图像信号处理等价的处理的图像信号处理方法。

首先，使用图18说明用于实现本实施例的图像信号处理方法的图像处理装置。图18所示的图像信号处理装置包括：例如被输入电视播放信号等的图像信号的输入部(1)；存储用于处理从输入部(1)输入的信号的软件的存储部(11)；与存储在存储部(11)中的软件协同作用，对从输入部(1)输入的信号进行图像信号处理的控制部(10)；控制部(10)在该图像信号处理中在数据的缓存中使用的帧缓存器#1(21)、帧缓存器#2(22)；和用于对从控制部(10)输出至输出部(3)的图像信号处理后的信号进行帧缓存的缓存器#3(23)。

此处，图18所示的图像信号处理装置所具有的输入部(1)的个数与图像处理中使用的帧数相同为两个，也可以仅具有一个输入部(1)，连续输入两帧。

此处，在数据的缓存中使用的帧缓存器#1(21)、帧缓存器#2(22)和存储软件的存储部(11)，可以分别使用不同的存储器芯片构成，也可以使用一个或多个存储器芯片，分割各数据地址而进行使用。

在本实施例中，控制部(10)与存储在存储部(11)中的软件协同作用，对从输入部(1)输入的图像信号进行图像信号处理，输出至显示部(3)。使用图14说明该图像信号处理的详细内容。

图14表示本实施例的图像信号处理方法的流程图的一个例子。图14的流程图是，从步骤(1401)开始，在步骤(1418)将各帧的图像数据提升为两倍。即，在步骤(1402)对帧#1的图像数据进行提升，并写入帧缓存器#1，在步骤(1403)对帧#2的图像数据进行提升，并写入帧缓存器#2。此处，提升能够通过使各帧缓存器的值一度清0，之后针对每一个像素写入数据而实现。

接着，在步骤(1404)中，设定帧缓存器#1的最初的像素(例如左上的像素)为处理对象，以下，使处理循环，直至对帧缓存器#1的所有的像素数据的处理结束。

在步骤(1405)中，以帧缓存器#1的对象像素为基准，推定帧缓存器#2中对应的像素的位置，输出相位差θ。此时，作为推定对应的像素的位置的方法，能够直接使用上述现有技术。

在步骤(1406)中，基于步骤(1405)中求取的相位差θ，对帧缓存器#2中的对应的像素的附近的像素进行运动补偿。此时，作为附近的像素，仅对步骤(1408)的π/2相位移动的处理中使用的像素数据，即有限的抽头数的作用范围的像素数据进行运动补偿即可。该运动补偿的动作与使用图5和图6所说明的动作一致。

接着，在步骤(1419)中，相对帧缓存器#1和已运动补偿的帧缓存器#2，使相位只移动一定量。即，通过步骤(1407)(1408)，使各帧缓存器中的像素数据移动π/2相位。

接着，在步骤(1420)中，使用基于相位差θ以满足图9(a)(b)(c)的条件的方式设定的系数C0、C1、C2、C3，在步骤(1419)的输出数据上分别进行乘法运算，通过使它们相加，从帧缓存器#1、#2的像素数据中除去折返成分，输出至帧缓存器#3。即，在步骤(1409)中，基于相位差θ决定系数C0、C1、C2、C3，在步骤(1410)(1411)(1412)(1413)中使各系数与帧缓存器#1、#2的像素数据和π/2相位移动后的数据分别相乘，之后在步骤(1414)中全部相加，并输出至帧缓存器#3。该除去折返成分的动作与使用图9所说明的动作一致。

接着，在步骤(1415)中，判定帧缓存器#1的全部像素的处理是否结束，如果未结束，则在步骤(1416)将下一像素(例如右边邻接的像素)设定为处理的对象，回到步骤(1405)以后，如果已结束则在步骤(1417)结束处理。

图14所示的流程图的图像信号处理之后，如图18所示缓存于帧缓存器#3中的信号，能够以帧单位或像素单位输出至显示部(3)。

通过进行以上所述的处理，能够使用帧缓存器#1和帧缓存器#2的像素数据，向帧缓存器#3输出已进行高分辨率化的信号。在应用于动画的情况下，针对每帧重复从步骤(1401)到步骤(1417)的处理即可。

而且，关于实施例2的图像信号处理方法，与图17的说明同样，能够确认其与上述现有技术的动作的不同点，其结果与实施例1同样，因此省略说明。

根据以上说明的实施例2的图像信号处理方法，相对于比现有例少的两个输入图像帧的各图像信号进行相位移动，从各图像信号中分别生成两个信号。由此，能够从两个输入图像帧的图像信号中生成四个信号。此处，基于两个输入图像帧的相位差，对于该四个信号的各个信号，针对每个像素计算出用于消除该四个信号的折返成分而进行合成的系数。对于生成的图像的各个像素，计算在上述四个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。通过对生成图像的各像素进行上述处理，能够生成新的高分辨率图像。

由此，实施例2的图像信号处理方法使用比现有例少的两个输入图像帧，能够折返成分较少地由输入图像生成高分辨率的图像。

此外，实施例2的图像信号处理方法使用比现有例少的两个输入图像帧，因此相比于现有例能够减少需要的图像处理的量。

[实施例3]

图10表示本发明的实施例3。该图所示的结构是利用图9(c)所示的系数C0、C1、C2、C3的关系，对图1所示的结构进行简化的结构。即，因为C0＝C2＝1/2，C1＝-C3＝-(1+cosθ)/(2sinθ)，所以根据提升后的帧#1和运动补偿/提升后的帧#2的各信号，通过加法器(1001)和减法器(1004)生成和与差的信号。关于和信号，在通过fs隔断滤波器(1002)之后，通过乘法器(1003)乘以C0(＝0.5)并输入至加法器(1008)。此处，fs隔断滤波器(1002)是以提升前的采样频率(fs)的成分为零点进行隔断的滤波器，例如能够通过使用该图(1011)所示的抽头系数而实现。因为图7(a)所示的希尔伯特变换器(1005)的“频率-增益”特性中频率fs的增益为零点所以不能够除去折返成分，该fs隔断滤波器(1002)的目的在于防止频率fs的不需要的成分的残留。从而，如果代替希尔伯特变换器(1005)，使用能够包括频率fs的成分地进行π/2相位移动的机构，则不再需要该fs隔断滤波器(1002)。

另一方面，关于差信号，在通过希尔伯特变换器(1005)使相位只移动一定量(＝π/2)之后，将由系数决定器(1007)基于相位差(102)决定的系数C1在乘法器(1006)中进行乘法运算，通过加法器(1008)进行加法运算并获得输出。此处，由延迟器(1002)和希尔伯特变换器(1005)构成的相位移动部(1009)能够由图1所示的相位移动部(116)的一半的电路规模实现。此外，系数决定器(1007)只要输出图9(c)所示的系数C1即可，由加法器(1001)、减法器(1004)、乘法器(1003)(1006)、加法器(1008)、系数决定器(1007)构成的折返成分除去部(1010)能够减少乘法器的个数，因此能够以比图1所示的折返成分除去部(117)小的电路规模实现。

而且，关于实施例3的图像信号处理方法，与图17的说明同样，能够确认与上述现有技术的动作的不同点，其结果与实施例1同样，因此省略说明。

此外，实施例3的图像信号处理装置和图像信号处理方法能够应用于垂直方向、倾斜方向的高分辨率化。

以上说明的实施例3的图像信号处理装置，除了能够获得实施例1的图像信号处理装置的效果，还能够由比实施例1的图像信号处理装置小的电路规模得到实现，能够实现更低的成本。

[实施例4]

使用图15说明本发明的实施例4的图像信号处理方法。

实施例4表示通过与软件协同作用的控制部实现与实施例3的图像信号处理装置的图像信号处理等价的处理的图像信号处理方法。进行本实施例的图像信号处理方法的图像处理装置是与实施例2同样的图18所示的图像处理装置，因此省略其说明。

图15表示本实施例的动作的流程图的一个例子。图15的流程图是，从步骤(1501)开始，在步骤(1518)对各帧的图像数据进行提升。即，在步骤(1502)对帧#1的图像数据进行提升，并写入帧缓存器#1，在步骤(1503)对帧#2的图像数据进行提升，并写入帧缓存器#2。此处，提升能够通过使各帧缓存器的值一度清0，之后针对每一个像素写入数据而实现。

接着，在步骤(1504)中，设定帧缓存器#1的最初的像素(例如左上的像素)为处理对象，以下，使处理循环，直至对帧缓存器#1的所有的像素数据的处理结束。

在步骤(1505)中，以帧缓存器#1的对象像素为基准，推定帧缓存器#2中对应的像素的位置，输出相位差θ。此时，作为推定对应的像素的位置的方法，能够直接使用上述现有技术。

在步骤(1506)中，基于步骤(1505)中求取的相位差θ，对帧缓存器#2中的对应的像素的附近的像素进行运动补偿。此时，作为“附近的像素”，仅对步骤(1510)的希尔伯特变换的处理中使用的像素数据，即有限的抽头数的作用范围的像素数据进行运动补偿即可。该运动补偿的动作与使用图5和图6所说明的动作一致。

接着，在步骤(1520)中，基于相位差θ从帧缓存器#1、#2的像素数据中除去折返成分，输出至帧缓存器#3。首先，在步骤(1507)，使帧缓存器#1的像素数据的值与已运动补偿的帧缓存器#2的像素数据的值相加，在步骤(1509)中隔断频率fs的成分。该fs隔断滤波器(1509)的动作与图10所示的(1002)的动作相同。

此外，在步骤(1508)，从帧缓存器#1的像素数据的值中减去已运动补偿的帧缓存器#2的像素数据的值。此处，相对于已进行过减法运算的结果，在步骤(1519)使相位只移动一定量。即，同样地使用已进行减法运算的附近的数据，在步骤(1510)进行希尔伯特变换。该相位移动的动作与使用图7和图8所说明的动作一致。

接着，在步骤(1511)中在上述加法运算后的数据上乘以系数C0(＝0.5)，并且在步骤(1512)基于相位差θ决定系数C1，在步骤(1513)使系数C1与希尔伯特变换后的数据相乘之后，在步骤(1514)中使两者的数据相加，输出至帧缓存器#3。该除去折返成分的动作与使用图10所说明的动作一致。

接着，在步骤(1515)中，判定帧缓存器#1的全部像素的处理是否结束，如果未结束，则在步骤(1516)将下一像素(例如右边邻接的像素)设定为处理的对象，回到步骤(1505)以后，如果已结束则在步骤(1517)结束处理。

图15所示的流程图的图像信号处理之后，如图18所示缓存于帧缓存器#3中的信号，能够以帧单位或像素单位输出至显示部(3)。

通过进行以上所述的处理，能够使用帧缓存器#1和帧缓存器#2的像素数据，向帧缓存器#3输出已进行过高分辨率化的信号。在应用于动画的情况下，针对每帧重复从步骤(1501)到步骤(1517)的处理即可。

而且，关于实施例4的图像信号处理方法，使用图17，能够确认其与上述现有技术的动作的不同点，其结果与实施例1同样，因此省略说明。

而且，关于实施例4的图像信号处理方法，也能够适用于垂直方向或倾斜方向的高分辨率化。

以上说明的实施例4的图像信号处理方法，具有与实施例2的图像信号处理方法同样的图像信号高分辨率化的效果。而且，实施例4的图像信号处理方法与实施例2的图像信号处理方法相比，一部分的处理步骤的内容是共同的，由此，具有能够以比实施例2的图像信号处理方法少的处理量(运算数)实现同样的信号处理的效果。

[实施例5]

图11表示本发明的实施例5。该图所示的结构，为了防止图9(d)所示的相位差θ为0时的系数C1、C3的不确定、相位差θ接近0时的系数C1、C3变大而相对噪声等变得脆弱的问题，以图10所的结构为基础，以相位差θ为0附近时切换为来自辅助的像素插补部(1105)的输出的方式构成。即，准备一般的插补低通滤波器(1101)作为旁通路，通过系数决定器(1103)，在上述系数C0、C1之外，生成新的C4，通过乘法器(1102)使插补低通滤波器(1101)的输出与系数C4相乘，由加法器(1104)在已高分辨率化的信号上相加并输出。

插补低通滤波器(1101)、乘法器(1102)、系数决定器(1103)、加法器(1104)、辅助的像素插补部(1105)以外的结构与图10所示的实施例3的结构相同，因此省略说明。

在图12中表示本发明的实施例5使用的插补低通滤波器(1101)的具体例。该图表示对以原来的采样频率fs的1/2作为截止频率的频率特性进行逆傅立叶变换而得到的滤波器的抽头系数。此时，各抽头系数Ck(其中k为整数)为一般的sinc函数，Ck＝sin(πk/2)/(πk/2)即可。

图13表示本发明的实施例5使用的系数决定器(1103)的具体例。该图表示了以图9(d)所示的系数C0、C1为基础，通常新的系数C4为0，但在相位差θ为0附近时，强制性地使系数C1的值为0，并且使系数C4的值为1.0的动作。通过该动作，图11所示的结构中，相位差θ(102)为0或在0附近时，能够将加法器(1104)的输出自动地切换为插补低通滤波器(1101)的输出。而且，也可以在位相差θ接近0的同时，从图12所示的系数连续地逐渐接近图13所示的系数。此外，也可以在通过图1中的位置推定部(101)，判定与帧#1上的处理对象的像素对应的像素不在帧#2上的情况下，在相位差θ(102)为0附近时同样地控制各系数，将加法器(1104)的输出自动地切换为插补低通滤波器(1101)的输出。

而且，关于实施例5的图像信号处理装置，使用图17，能够确认其与上述现有技术的动作的不同点，其结果与实施例1同样，因此省略其说明。

此外，实施例5的图像信号处理装置能够应用于垂直方向、倾斜方向的高分辨率化。

以上说明的实施例5的图像信号处理装置，在实施例3的图像信号处理装置的效果之外，相比于实施例3的图像信号处理装置，还具有下述效果：在相位差θ(102)为0或0附近时(即静止，或大致静止)、判定与帧#1上的处理对象的像素相对应的像素不在帧#2上的情况下，处理结果不会变得不确定，而能够得到稳定的输出图像。

[实施例6]

使用图16说明本发明的实施例6的图像信号处理方法。

实施例6表示通过与软件协同作用的控制部实现与实施例5的图像信号处理装置的图像信号处理等价的处理的图像信号处理方法。进行本实施例的图像信号处理方法的图像处理装置与实施例2同样为图18所示的图像处理装置，因此省略其说明。

在图16中表示本实施例的动作的流程图的一个例子。该图所示的步骤的动作，为了防止图9(d)所示的相位差θ为0时的系数C1、C3的不确定、相位差θ接近0时的系数C1、C3变大而相对噪声等变得脆弱的问题，以实施例4中说明的图15的各步骤为基础，以相位差θ为0或0附近时将步骤(1606)的处理结果输出至帧缓存器#3的方式构成。即，在步骤(1601)基于相位差θ决定系数C0、C1、C4，在步骤(1602)使用帧缓存器#1中的对象的像素数据和其附近的像素数据进行一般的插补低通滤波器处理，之后在步骤(1603)与系数C4相乘，在步骤(1604)与步骤(1511)(1513)的输出相加，并输出至帧缓存器#3。

此外的步骤与实施例4中说明的图15的处理步骤相同，因此省略说明。而且，在步骤(1601)的系数决定的动作与图13所示的动作相同，因此省略说明。此外，在步骤(1602)的插补低通滤波器的动作与图12所示的动作相同，因此省略说明。

而且，关于实施例6的图像信号处理方法，使用图17，能够确认其与上述现有技术的动作的不同点，但其结果与实施例1同样，因此省略其说明。

而且，实施例6的图像信号处理方法能够应用于垂直方向、倾斜方向的高分辨率化。

以上说明的实施例6的图像信号处理方法，在实施例4的图像信号处理方法的效果之外，相比于实施例4的图像信号处理方法，还具有下述效果：在相位差θ(102)为0或0附近时(即静止，或大致静止)、判定与帧#1上的处理对象的像素相对应的像素不在帧#2上的情况下，处理结果不会变得不稳定，而能够得到稳定的输出图像。

[实施例7]

图20表示本发明的实施例7的图像信号处理装置。本实施例的图像处理装置包括：例如被输入电视播放信号等运动图像的帧列的输入部(1)；用于对从该输入部(1)输入的帧进行水平、垂直方向的组合，进行二维的高分辨率化的分辨率变换部(4)；和基于通过该分辨率变换部(4)被高分辨率化的帧而显示图像的显示部(3)。

在该分辨率变换部(4)中，进行水平方向和垂直方向的各自的分辨率变换处理，将各个结果中分辨率提高效果较大的成分有选择地或混合地输出，由此实现二维的高分辨率化。以下说明分辨率变换部(4)的详细内容。

在图20中，基于输入至输入部(1)的帧#1(2010)和帧#2(2013)，使用水平分辨率变换部(2001)和垂直分辨率变换部(2005)，分别生成使水平方向的像素数增加的帧(2011)和使垂直方向的像素数增加的帧(2014)。

此处，各分辨率变换部(2001)(2005)直接使用图1所示的本发明的实施例1的图像信号处理装置的分辨率变换部(2)的结构，分别进行水平方向和垂直方向的信号处理。此时，水平分辨率变换部(2001)中，图1所示的提升器(103)(104)、延迟器(105)(107)、π/2相位移动器(106)(108)分别进行水平方向的提升、延迟、π/2相位移动。

同样的，在垂直分辨率变换部(2005)中，图1所示的提升器(103)(104)、延迟器(105)(107)、π/2相位移动器(106)(108)分别进行垂直方向的提升、延迟、π/2相位移动。它们能够使用图5～图8所示的动作和现有技术等而实施。

而且，作为各分辨率变换部(2001)(2005)，代替本发明的实施例1的图像信号处理装置的分辨率变换部的结构，也可以使用本发明的实施例3的图像信号处理装置的分辨率变换部、本发明的实施例5的图像信号处理装置的分辨率变换部实现。在以下的说明中，使用本发明的实施例1的图像信号处理装置的分辨率变换部的结构进行说明。

在本实施例中，假设被拍摄体在水平、垂直方向进行二维移动，使图1和图2所示的动作扩展为二维。即，在水平分辨率变换部(2001)中的位置推定部(图1中的(101))和运动补偿/提升部(图1中的(115))中，以帧#1上的被拍摄体为基准，对帧#2上的被拍摄体进行二维的运动补偿，并且在各帧的像素的采样相位差中，在折返成分除去部(图1中的(117))的系数决定中使用水平相位差θH。

同样的，在垂直分辨率变换部(2005)中的位置推定部(图1中的(101))和运动补偿/提升部(图1中的(115))中，以帧#1上的被拍摄体(2016)为基准，对帧#2上的被拍摄体(2017)进行二维的运动补偿，并且在各帧的像素的采样相位差中，在折返成分除去部(图1中的(117))的系数决定中使用垂直相位差θV。折返成分除去部(图1中的(117))的系数决定也可以直接使用图9所示的动作。

假设被拍摄体在倾斜方向上移动的情况，则通过水平分辨率变换部(2001)使水平方向的像素数增加的帧(2011)中包含倾斜方向的变形，但在原来的输入信号的垂直频率较低的成分(竖线等)中，该变形较小，是能够忽略的程度。同样，通过垂直分辨率变换部(2005)使垂直方向的像素数增加的帧(2014)中包含倾斜方向的变形，但在原来的输入信号的水平频率较低的成分(横线等)中，该变形较小，是能够忽略的程度。

利用该特性，通过上述信号处理使得水平方向的像素数增加的帧(2011)，通过由垂直提升器(2002)和像素插补器(2003)构成的垂直插补部(2004)生成帧(2012)，成为SR(水平)信号。此处的像素插补器(2003)使用一般的垂直低通滤波器即可，以输出希望插补的像素的上下的像素数据的平均值。同样，垂直方向的像素数增加的帧(2014)，通过由水平提升器(2006)和像素插补器(2007)构成的水平插补部(2008)生成帧(2015)，成为SR(垂直)信号。此处的像素插补器(2007)使用一般的水平低通滤波器即可，以输出希望插补的像素的左右的像素数据的平均值。

这样，使用像素插补器(2003)(2007)除去与处理对像的方向正交的方向的高频成分，仅抽出低频成分，则能够使上述倾斜方向上移动时产生的变形的影响变小，成为能够忽略的程度。通过上述处理生成的SR(水平)信号和SR(垂直)信号通过混合器(2009)进行混合，成为输出信号，在显示部(3)中进行显示。

此处，对混合器(2009)的详细结构和动作进行说明。混合器(2009)使用下述三个结构例中的任一个即可。

图22表示混合器(2009)的第一结构例。在该图中，使用加法器(2201)和乘法器(2202)，生成输入混合器(2009)的SR(水平)和SR(垂直)的各信号的平均值并输出。该图所示的结构中，水平、垂直的各分辨率提高效果分别成为1/2，但因为能够以最简单的结构实现混合器(2009)，所以能够实现低成本。

图23表示混合器(2009)的第二结构例。在该图中，相对输入混合器(2009)的SR(水平)和SR(垂直)的各信号，使用乘法器(2303)和乘法器(2304)分别乘以系数K(水平)和系数K(垂直)，由加法器(2305)使两者相加并输出。系数K(水平)和系数K(垂直)分别由系数决定器(2301)(2302)生成。以下说明该系数决定器(2301)(2302)的动作。

图21所示的折返成分除去部(2108)(2109)基于该图所示的相位差θH(2102)和相位差θV(2103)，通过图1所示的系数决定器(109)产生图9所示的系数C0～C3，并进行除去折返成分的运算。此时，为了防止相位差θH(2102)、θV(2103)为0时的系数C1、C3的不确定以及相位差θH(2102)、θV(2103)接近0时的系数C1、C3变大而相对噪声等变得脆弱的问题，导入图13所示的系数C4(0≤C4≤1)，优选以图11所示的结构进行辅助的像素插补。反言之，系数C4的值为0.0时存在分辨率提高的效果，但随着系数C4的值接近1.0，分辨率提高的效果变小。

利用该性质，以水平相位差θH(2102)为0附近(即系数C4(水平)在1.0附近)时垂直分辨率变换结果的SR(垂直)被强烈反映；垂直相位差θV(2103)为0附近(即，系数C4(垂直)在1.0附近)时水平分辨率变换结果的SR(水平)被强烈反映的方式，使用水平、垂直方向各自的系数C4的值决定系数K(水平)和系数K(垂直)。为了实现该动作，例如在图23所示的系数决定器(2301)中进行K(水平)＝C4(水平)+(1-C4(垂直))/2的运算，决定K(水平)，在系数决定器(2303)中进行K(垂直)＝C4(垂直)+(1-C4(水平))/2的运算，决定K(垂直)。

图24中集中表示使系数C4(水平)和系数C4(垂直)分别变化时的系数决定器(2301)(2302)的输出(系数K(水平)和系数K(垂直))的一个例子。如该图所示，以下述方式动作，当系数C4(水平)变大时，系数K(水平)变小并且系数K(垂直)变大；当系数C4(垂直)变大时，系数K(水平)变大并且系数K(垂直)变小。

系数C4(水平)和系数C4(垂直)的值相等时，系数K(水平)和系数K(垂直)分别为0.5。这样相对水平、垂直上独立变化的系数C4，以使系数K(水平)和系数K(垂直)相加刚好为1.0的方式决定系数K，并混合SR(水平)和SR(垂直)。

使用图25和图26，分别说明混合器(2009)的第三动作和结构例。图25是水平频率为μ、垂直频率为v而表示的二维频率区域。如果原输入图像的水平采样频率为μs、垂直采样频率为vs，则图20和图21所示的分辨率变换部(4)的输出是水平频率μ在-μs～μs的范围内、垂直频率v在-vs～vs的范围内的信号。

通过水平、垂直的各分辨率变换使高频成分再现，但因为高频成分本来的信号电平就很小，因此水平分辨率变换的效果较大的是(μ，v)＝(±μs/2，0)的附近的频率区域(2501)的成分(特别是包括(μ，v)＝(+μs/2，0)，μ＞0的频率的区域，和包括(μ，v)＝(-μs/2，0)，μ＜0的频率的区域的成分)，垂直分辨率变换的效果较大的是(μ，v)＝(0，±vs/2)的附近的频率区域(2502)的成分(特别是包括(μ，v)＝(0，+vs/2)，v＞0的频率的区域，和包括(μ，v)＝(0，-vs/2)，v＜0的频率的区域的成分)。

由此，当由二维滤波器抽出这些频率成分(2501)(2502)并混合，则能够有选择地输出分辨率提高效果较大的成分。

图26表示将水平、垂直的各分辨率变换的效果较大的成分抽出的混合器(2009)的结构例。在该图中，使用二维滤波器(2601)，抽出输入混合器(2009)的SR(水平)的分辨率提高效果较大的频率区域(2501)的成分。同样，使用二维滤波器(2602)，抽出输入混合器(2009)的SR(垂直)的分辨率提高效果较大的频率区域(2502)的成分。

作为频率区域(2501)(2502)以外的成分，使用加法器(2603)和乘法器(2604)生成SR(水平)和SR(垂直)的平均的信号，使用二维滤波器(2605)，抽出二维滤波器(2601)(2602)的各通过带域以外的成分(即残余成分)。二维滤波器(2601)(2602)(2605)的各输出信号在加算器(2606)中相加，成为混合器(2009)的输出。

其中，该图中所示的二维滤波器(2601)(2602)(2605)中的被圆圈包围的数字分别表示滤波器的抽头系数的一个例子。(为了说明的简化，各滤波器的系数记述为整数。本来的系数值是由圆圈包围的数字与其右部表示的“×1/16”等表示的运算的积。例如，二维滤波器(2601)中由圆圈包围的各个数字分别乘以1/16得到本来的系数值。以下的实施例表示的二维滤波器的系数与此相同。)

二维滤波器(2601)是以±μs/2作为通过带域的中心频率的水平带通滤波器和垂直低通滤波器的积，二维滤波器(2602)是以±vs/2作为通过带域的中心频率的垂直带通滤波器和水平低通滤波器的积，二维滤波器(2605)为从整个带域中减去二维滤波器(2601)和二维滤波器(2602)的通过带域的特性即可。

接着，使用图34说明实施例7的图像信号处理装置的处理和上述现有技术的动作的不同。该图(a)表示输入分辨率变换部(4)的帧#1(3401)、帧#2(3402)、帧#3(3403)、帧#4(3404)、帧#5(3405)，该图(b)表示从分辨率变换部(4)输出的各帧。在各帧中，被拍摄体以1/4像素一次一次地右旋移动，有意地以四帧为一周的方式移动被拍摄体。该动作在帧#6以下也同样连续进行。

在专利文献1、专利文献2、非专利文献1中记载的现有技术中，如上所述，在相对水平/垂直的二维的输入信号进行高分辨率化的情况下，因为折返来自纵横两个方向，所以原信号的带域在纵横方向均变宽至两倍，三个折返成分重合，为了消除该折返成分需要2M+1＝7个数字数据(＝7个帧图像的信号)。因此，在如图34(a)所示，四帧一周地输入信号的情况下，无论选择哪7个帧均不能够得到独立的数据，所以高分辨率化处理的解不确定，无法求解。

另一方面，使用本实施例，例如使用邻接的两帧(例如帧#1(3401)和帧#2(3402)，(或帧#2(3402)和帧#3(3403)))，如该图(b)所示除去水平方向(或垂直方向)的折返成分，能够实现高分辨率化。即，通过使用该图(a)的输入图像作为测试图案，能够确认本实施例的动作状况。作为该测试图案的样式，使用一般已知的圆形波带板(CZP：Circular Zone Plate)，则能够在显示部(3)直接看到分辨率变换的效果。即，如果使圆形波带板在每帧中左右移动，则显示水平方向的分辨率提高的图像，如果上下(或倾斜)移动，则显示垂直方向(或倾斜方向)的分辨率提高的图像等，能够确认与测试图案的移动方向相对应的分辨率提高的效果。

根据以上说明的实施例7的图像信号处理装置，相对两个输入图像帧的各图像信号进行相位移动，从各图像信号中分别生成两个信号。由此，能够从两个输入图像帧的图像信号中生成四个信号。此处，基于两个输入图像帧的相位差，对于该四个信号的各个信号，针对每个像素计算出用于消除该四个信号的折返成分而进行合成的系数。对于生成的图像的各个像素，计算在上述四个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。通过对生成图像的各像素进行上述处理，能够生成相比于输入图像帧，在一维方向上已进行高分辨率化的图像。

在水平方向和垂直方向上分别进行该处理，生成在水平方向上高分辨率化后的图像和在垂直方向上高分辨率化后的图像。对于该在水平方向上高分辨率化后的图像和在垂直方向上高分辨率化后的图像，在分别进行垂直方向、水平方向的提升处理之后，使两者混合。

由此，能够从比现有例少的两个输入图像帧的各图像信号中生成在垂直方向和水平方向这两个方向上高分辨率化后的高分辨率图像。即，能够生成二维高分辨率图像。

此外，实施例7的图像信号处理装置使用比现有例少的两个输入图像帧，因此相比于现有例能够减少需要的图像处理的量。由此，能够以比现有例低的成本实现折返成分较少地生成在垂直方向和水平方向这两个方向上分辨率高于输入图像的高分辨率图像的图像信号处理装置。

也可以通过专利文献1、专利文献2、非专利文献1记载的现有技术，使用三个帧，相对多个方向进行水平方向、垂直方向等的一维高分辨率化，并在图20所示的混合器(2009)中输入这些结果进行混合，作为二维的分辨率变换结果输出。在该情况下，相比于图20所示的仅使用两帧进行二维的分辨率变换的结构，帧存储器、运动推定部等信号处理电路的规模变大，但如专利文献1、专利文献2、非专利文献1所述，至少使用7帧的信号，也能够使帧存储器、运动推定部等信号处理电路的规模变小。

此外，不限于专利文献1、专利文献2、非专利文献1所述的现有技术，也可以应用其他现有的高分辨率化技术，相对多个方向进行水平方向、垂直方向等一维的高分辨率化，并在图20所示的混合器(2009)中输入这些结果进行混合，作为二维的分辨率变换结果输出。

此外，在图20中，举出使用帧#1和帧#2的输入信号的组变换帧#1的分辨率的情况为例进行了说明，但此外，例如也可以使用帧#1和帧#3、帧#1和帧#4等多个组分别变换帧#1的分辨率，将它们的结果混合，作为帧#1的最终的分辨率变换结果。

作为此时的混合方法，可以是各结果的平均值，也可以如图23和图24所示根据每帧的系数C4(帧)的值进行混合。在该情况下，作为系数C4(帧)，也可以使用每帧的系数C4(水平)和系数C4(垂直)的MAX值(不是较小的值)。此外，也可以针对每个像素比较所有的组的系数C4(水平)和系数C4(垂直)，针对每个像素选择从系数C4最小的组(即分辨率提高效果最大的组)得到的分辨率变换结果，并作为帧#1的最终的分辨率变换结果。

由此，例如以帧#1为基准，在帧#2是帧#1之前(過去)的帧，帧#3是帧#1未来的帧时，在帧#1的时刻被拍摄体从“运动”变化为“静止”的情况下(结束运动)，通过帧#1和帧#2进行分辨率变换处理，在帧#1的时刻被拍摄体从“静止”变化为“运动”的情况下(开始运动)，通过帧#1和帧#3进行分辨率变换处理，以上述方式针对每个像素混合各处理结果，因此能够有效地利用被拍摄体的运动，能够使分辨率提高效果最大。

[实施例8]

图21表示本发明的实施例8的图像信号处理装置。本实施例的图像处理装置是上述实施例7的结构的变形例，图20所示的分辨率变换部(2001)(2005)和插补部(2004)(2008)的处理顺序相反，以在进行插补处理之后进行分辨率变换的方式构成。由此，能够使分辨率变换部(2001)(2005)中的提升器(图1中的(103)(104))和插补部(2004)(2008)中的提升器(图20中的(2002)(2006))共用，并且能够使水平分辨率变换部(2001)和垂直分辨率变换部(2005)中的各自的位置推定部(图1中的(101))共用，因此能够以更小的电路规模和运算量实现同样的信号处理。

在图21中，首先通过位置推定部(2101)，以输入输入部(1)的帧#1上的处理对象的像素的采样相位(取样位置)为基准，推定帧#2上的对应的像素的位置，求取水平方向和垂直方向的各自的采样相位差θH(2102)、θV(2103)。

接着，通过运动补偿/提升部(2110)的提升器(2104)(2105)，使用相位差θH(2102)、θV(2103)的信息对帧#2进行运动补偿，使其与帧#1对位，使帧#1和帧#2的像素数分别在水平/垂直方向上增加至2倍(共计4倍)，进行高密度化。提升器(2104)(2105)使图5和图6所示的动作、结构在水平/垂直方向二维扩展。在相位移动部(2111)中，使该已高密度化的数据的相位只移动一定量。

此时，水平相位移动器(2106)进行水平方向的相位移动，垂直相位移动器(2107)进行垂直方向的相位移动，能够同样使用图1所示的延迟器(105)(107)和π/2相位移动器(108)，并同样地实施图7和图8所示的动作、结构，因此省略说明。

相对已进行过相位移动的各信号，通过折返成分除去部(2112)的水平方向的折返成分除去部(2108)和垂直方向的折返成分除去部(2109)分别除去水平/垂直方向的折返成分。接着使用像素插补部(2003)对水平方向的折返成分除去部(2108)的输出进行像素插补，成为SR(水平)信号，使用像素插补部(2007)对垂直方向的折返成分除去部(2109)的输出进行像素插补，成为SR(垂直)信号，由混合器(2009)使两者混合并输出。

折返成分除去部(2108)(2109)能够直接使用图1所示的折返成分除去部(117)的结构。作为相位差θ(102)，在折返成分除去部(2108)中使用水平相位差θH(2102)，在折返成分除去部(2109)中使用水平相位差θH(2103)，进行图9所示的动作，由此能够除去各个方向的折返成分。

而且，在以上的说明中，相位移动部(2111)同样地使用图1所示的延迟器(105)(107)和π/2相位移动器(108)，并同样地实施图7和图8所示的动作、结构，折返成分除去部(2108)(2109)直接使用图1所示的折返成分除去部(117)的结构，但除此之外，作为相位移动部(2111)，也可以分别在垂直方向、水平方向使用图10的相位移动部(1009)，折返成分除去部(2108)(2109)也可以分别使用图10的折返成分除去单元(1010)。而且，此时，也可以使折返成分除去部(2108)(2109)与图11同样分别设置有图11的辅助的像素插补部(1105)。

其中，混合器(2009)与实施例7同样，因此省略说明。

此外，图34所示的相对输入帧的动作也与实施例7同样，因此省略说明。

以上说明的实施例8的图像信号处理装置具有实施例7的图像信号处理装置的效果，而且由于相比于实施例7的图像信号处理装置，能够共用一部分的处理部，从而具有能够以比实施例7的图像信号处理装置小的电路规模和运算量实现同样的信号处理的效果。

而且，也可以通过专利文献1、专利文献2、非专利文献1记载的现有技术，使用三个帧，相对多个方向进行水平方向、垂直方向等的一维高分辨率化，并在图21所示的混合器(2009)中输入这些结果进行混合，作为二维的分辨率变换结果输出。在该情况下，相比于图21所示的仅使用两帧进行二维的分辨率变换的结构，帧存储器、运动推定部等信号处理电路的规模变大，但如专利文献1、专利文献2、非专利文献1所述，至少使用7帧的信号，也能够使帧存储器、运动推定部等信号处理电路的规模变小。

此外，不限于专利文献1、专利文献2、非专利文献1所述的现有技术，也可以应用其他现有的高分辨率化技术，相对多个方向进行水平方向、垂直方向等一维的高分辨率化，并在图21所示的混合器(2009)中输入这些结果进行混合，作为二维的分辨率变换结果输出。

此外，在图21中，举出使用帧#1和帧#2的输入信号的组变换帧#1的分辨率的情况为例进行了说明，但此外，例如也可以使用帧#1和帧#3、帧#1和帧#4等多个组分别变换帧#1的分辨率，将它们的结果混合，作为帧#1的最终的分辨率变换结果。

作为此时的混合方法，可以是各结果的平均值，也可以如图23和图24所示根据每帧的系数C4(帧)的值进行混合。在该情况下，作为系数C4(帧)，也可以使用每帧的系数C4(水平)和系数C4(垂直)的MAX值(不是较小的值)。此外，也可以针对每个像素比较所有的组的系数C4(水平)和系数C4(垂直)，针对每个像素选择从系数C4最小的组(即分辨率提高效果最大的组)得到的分辨率变换结果，并作为帧#1的最终的分辨率变换结果。

由此，例如以帧#1为基准，在帧#2是帧#1之前的帧，帧#3是帧#1未来的帧时，在帧#1的时刻被拍摄体从“运动”变化为“静止”的情况下(结束运动)，通过帧#1和帧#2进行分辨率变换处理，在帧#1的时刻被拍摄体从“静止”变化为“运动”的情况下(开始运动)，通过帧#1和帧#3进行分辨率变换处理，以上述方式针对每个像素混合各处理结果，因此能够有效地利用被拍摄体的运动，能够使分辨率提高效果最大。

[实施例9]

图27表示本发明的实施例9的图像信号处理装置。本实施例的图像处理装置是在图21所示的结构例上进一步添加右下和右上方向的倾斜成分的高分辨率变换部的结构。即，在相位移动部(2708)上追加倾斜(右下)相位移动部(2701)和倾斜(右上)相位移动部(2702)，并且在折返成分除去部(2709)上追加折返成分除去部(2705)(2706)，在分别通过像素插补器(2710)(2711)之后，通过混合部(2707)混合SR(水平)、SR(垂直)、SR(右上)、SR(右下)的各信号，并输出。此处，像素插补器(2710)(2711)使用一般的二维低通滤波器即可，能够输出希望插补的像素的上下左右的像素数据的平均值。

作为相位差θ，倾斜方向的相位差信息是必需的，将由加法器(2703)使水平相位差θH(2102)和垂直相位差θV(2103)相加而得到的相位差(θH+θV)输入至折返成分除去部(2705)；将由减法器(2704)生成的相位差(-θH+θV)输入折返成分除去部(2706)，按照上述的方式构成即可。而且，折返成分除去部(2106)(2109)(2705)(2706)的结构和动作全部是共通的。

图28(a)～(d)中表示在二维频率区域中的水平相位移动部(2106)、垂直相位移动部(2107)、倾斜(右下)相位移动部(2701)、倾斜(右上)相位移动部(2702)的各自的动作。图28(a)～(d)与图25同样是水平频率为μ、垂直频率为v而表示的二维频率区域。这些相位移动部(2106)(2107)(2701)(2702)与图1所示的相位移动部(116)为同样的结构，使其中的/2相位移动器(106)(108)的“频率-相位差”特性与各自的方向相配合地进行变更。

即，在该图(a)中，在水平相位移动部(2106)中，在输入信号的水平频率采样频率为μs的情况下，与图7所示的动作同样，使-μs～0的范围的频率成分的相位只移动/2，使0～μs的范围的频率成分的相位只移动-/2。同样的，在垂直相位移动部(2107)中，在输入信号的垂直频率采样频率为vs的情况下，使-vs～0的范围的频率成分的相位只移动π/2，使0～vs的范围的频率成分的相位只移动-π/2。

同样的，在倾斜(右下)相位移动部(2701)和倾斜(右上)相位移动部(2702)中，如该图(c)和该图(d)分别表示的，信号的相位只移动-π/2或π/2。这些“频率-相位差”特性能够通过使图8所示的抽头系数(タツプ係数)与二维采样点相配合地配置在水平、垂直、倾斜(右下)、倾斜(右上)的各个方向而容易地实现。

图29表示混合器(2707)的第一结构例。在该图中，使用加法器(2901)和乘法器(2902)，生成输入混合器(2707)的SR(水平)、SR(垂直)、SR(右下)、SR(右上)的各信号的平均值并输出。该图所示的结构是最简单地构成混合器(2707)的例子，水平、垂直、右下、右上的各分辨率提高效果均分别成为1/4。

图30表示混合器(2707)的第二结构例。在该图中，相对输入混合器(2707)的SR(水平)、SR(垂直)、SR(右上)、SR(右下)的各信号，使用乘法器(3005)、乘法器(3006)、乘法器(3007)、乘法器(3008)，分别乘以系数K(水平)、系数K(垂直)、系数K(右下)、系数K(右上)，由加法器(3009)使这些信号相加并输出。系数K(水平)、系数K(垂直)、系数K(右下)、系数K(右上)分别由系数决定器(3001)(3002)(3003)(3004)生成。以下说明该系数决定器(3001)(3002)(3003)(3004)的动作。

图27所示的折返成分除去部(2108)(2109)(2705)(2706)基于该图所示的相位差θH(2102)、相位差θV(2103)、相位差(θH+θV)、相位差(-θH+θV)，通过图1所示的系数决定器(109)产生图9所示的系数C0～C3，并进行除去折返成分的运算。此时，为了防止相位差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)为0时的系数C1和C3的不确定以及相位差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)接近0时的系数C1、C3变大而相对噪声等变得脆弱的问题，导入图13所示的系数C4(0≤C4≤1)，优选以图11所示的结构进行辅助的像素插补。反言之，系数C4的值为0.0时存在分辨率提高的效果，但随着系数C4的值接近1.0，分辨率提高的效果变小。利用该性质，以水平相位差θH(2102)为0附近(即系数C4(水平)在1.0附近)时水平分辨率变换结果的SR(水平)变弱；水平相位差θH(2102)不为0附近(即，系数C4(水平)在0.0附近)时水平分辨率变换结果的SR(水平)变强的方式，通过系数决定器(3001)决定系数K(水平)。

作为其一个例子，系数K(水平)＝(1+C4(水平)×3-C4(垂直)-C4(右下)-C4(右上))/4即可。同样的，通过系数决定器(3002)(3003)(3004)分别决定系数K(垂直)、K(右下)、K(右上)。此时，对于独立变化的系数C4(水平)、系数C4(垂直)、系数C4(右下)、系数C4(右上)，以系数K(水平)+系数K(垂直)+系数K(右下)+系数K(右上)＝1.0的方式决定系数K，混合SR(水平)、SR(垂直)、SR(右上)、SR(右下)

在图31和图32中分别表示混合器(2707)的第三动作和结构例。图31与图25同样是水平频率为μ、垂直频率为v而表示的二维频率区域。在图31中，如果原输入图像的水平采样频率为μs、垂直采样频率为vs，则图27所示的分辨率变换部(4)的输出是水平频率μ在-μs～μs的范围内、垂直频率v在-vs～vs的范围内的信号。

倾斜(右上)的分辨率变换的效果较大的是，图31所示的(μ，v)＝(+μs/2，+vs/2)的附近和(μ，v)＝(-μs/2，-vs/2)的附近的频率区域(3101)的成分(特别是包括(μ，v)＝(+μs/2，+vs/2)，μ＞0、v＞0的频率的区域，和包括(μ，v)＝(-μs/2，-vs/2)，μ＜0、v＜0的频率的区域的成分)。

倾斜(右下)的分辨率变换的效果较大的是，图31所示的(μ，v)＝(+μs/2，-vs/2)的附近和(μ，v)＝(-s/2，+vs/2)的附近的频率区域(3102)的成分(特别是包括(μ，v)＝(+μs/2，-vs/2)，μ＞0、v＜0的频率的区域，和包括(μ，v)＝(-μs/2，+vs/2)，μ＜0、v＞0的频率的区域的成分)。

由此，由二维滤波器抽出这些频率成分(3101)(3102)，并与图25所示的频率成分(2501)(2502)一同混合，则能够有选择地输出分辨率提高效果较大的成分。

图32表示抽出水平、垂直、倾斜(右下)、倾斜(右上)的各分辨率变换的效果较大的成分的混合器(2707)的结构例。在该图中，使用二维滤波器(3201)，抽出输入混合器(2707)的SR(右下)的分辨率提高效果较大的频率区域(3102)的成分。同样，使用二维滤波器(3202)，抽出输入混合器(2707)的SR(右上)的分辨率提高效果较大的频率区域(3101)的成分。此外，通过图26所示的二维滤波器(2601)(2602)，分别抽出SR(水平)和SR(垂直)的分辨率提高效果较大的频率区域(2501)(2502)的成分。作为频率区域(2501)(2502)(3101)(3102)以外的成分，使用加法器(3203)和乘法器(3204)生成SR(水平)、SR(垂直)、SR(右下)、SR(右上)的平均的信号，使用二维滤波器(3205)，抽出二维滤波器(2601)(2602)(3201)(3202)的各通过带域以外的成分。二维滤波器(2601)(2602)(3201)(3202)(3205)的各输出信号在加算器(3206)中相加，成为混合器(2707)的输出。

其中，该图中所示的二维滤波器(2601)(2602)(3201)(3202)(3205)中的被圆圈包围的数字分别表示滤波器的抽头系数的一个例子。

根据以上说明的实施例9的图像信号处理装置，能够生成在水平方向和垂直方向之外，倾斜方向也被高分辨率化的高分辨率图像。

而且，也可以通过专利文献1、专利文献2、非专利文献1记载的现有技术，使用三个帧，相对多个方向进行一维(水平、垂直、倾斜(右下)、倾斜(右上))的高分辨率化，并在图27所示的混合器(2707)中输入这些结果进行混合，作为二维的分辨率变换结果输出。在该情况下，相比于图27所示的仅使用两帧进行二维的分辨率变换的结构，帧存储器、运动推定部等信号处理电路的规模变大，但如专利文献1、专利文献2、非专利文献1所述，至少使用7帧的信号，也能够使帧存储器、运动推定部等信号处理电路的规模变小。

此外，不限于专利文献1、专利文献2、非专利文献1所述的现有技术，也可以应用其他现有的高分辨率化技术，相对多个方向进行一维(水平、垂直、倾斜(右下)、倾斜(右上))的高分辨率化，并在图27所示的混合器(2707)中输入这些结果进行混合，作为二维的分辨率变换结果输出。

此外，在图27中，举出使用帧#1和帧#2的输入信号的组变换帧#1的分辨率的情况为例进行了说明，但此外，例如也可以使用帧#1和帧#3、帧#1和帧#4等多个组分别变换帧#1的分辨率，将它们的结果混合，作为帧#1的最终的分辨率变换结果。作为此时的混合方法，可以是各结果的平均值，也可以如图23和图24所示根据每帧的系数C4(帧)的值进行混合。在该情况下，作为系数C4(帧)，也可以使用每帧的系数C4(水平)和系数C4(垂直)的MAX值(不是较小的值)。此外，也可以针对每个像素比较所有的组的系数C4(水平)和系数C4(垂直)，针对每个像素选择从系数C4最小的组(即分辨率提高效果最大的组)得到的分辨率变换结果，并作为帧#1的最终的分辨率变换结果。

由此，例如以帧#1为基准，在帧#2是帧#1之前的帧，帧#3是帧#1未来的帧时，在帧#1的时刻被拍摄体从“运动”变化为“静止”的情况下(结束运动)，通过帧#1和帧#2进行分辨率变换处理，在帧#1的时刻被拍摄体从“静止”变化为“运动”的情况下(开始运动)，通过帧#1和帧#3进行分辨率变换处理，以上述方式针对每个像素混合各处理结果，因此能够有效地利用被拍摄体的运动，能够使分辨率提高效果最大。

[实施例10]

使用图33说明本发明的实施例10的图像信号处理方法。

实施例10表示通过与软件协同作用的控制部实现与实施例9的图像信号处理装置的图像信号处理等价的处理的图像信号处理方法。进行本实施例的图像信号处理方法的图像处理装置与实施例2同样为图18所示的图像处理装置，因此省略其说明。

图33表示本实施例的动作的流程图。图33的流程是，从步骤(3301)开始，在步骤(5-1)(5-2)(5-3)(5-4)分别进行水平、垂直、倾斜(右下)、倾斜(右上)的高分辨率化。此处，在各步骤(5-1)(5-2)(5-3)(5-4)中，图14～图16所示的处理步骤(5)或后述的图42～图44所示的处理步骤(5)中的任一个在水平、垂直、倾斜(右下)、倾斜(右上)的各方向实施即可。即，使π/2相位移动(1407)(1408)、希尔伯特变换(1510)等的“频率-相位”特性如图28所示根据各个方向变更，并且将相位差θ分别置换为θH、θV、(θH+θV)、(-θH+θV)进行处理即可。如使用图14～图16所说明的，各步骤(5-1)(5-2)(5-3)(5-4)的处理结果写入各自的帧缓存器#3。接着，在步骤(3302-1)(3302-2)(3302-3)(3302-4)中，分别进行垂直、水平、倾斜方向的像素插补，以输出的帧的水平、垂直的像素数相同的方式生成二维帧缓存器#3的全像素。接着，在步骤(3303)中，依据使用图29、图30、图32所说明的方法针对每个像素混合各帧缓存器#3的数据，输出至输出用的帧缓存器#4。而且，在通过软件程序实现上述第8～实施例9的动作的情况下，不需要进行倾斜方向的处理的步骤(5-3)(5-4)，相对它们的结果进行像素插补的步骤(3302-3)(3302-4)。此外，作为步骤(3303)的混合方法，依据使用图22、图23、图26说明的方法，混合数据。

根据以上说明的实施例10的图像信号处理方法，能够生成在水平方向和垂直方向之外，倾斜方向也被高分辨率化的高分辨率图像。

[实施例11]

图54表示本发明的实施例11的图像处理装置。本实施例的图像处理装置包括：例如被输入电视播放信号等运动图像的帧列的输入部(1)；使用从该输入部(1)输入的4个帧，用于分别进行水平方向两倍、垂直方向两倍的高分辨率化的分辨率变换部(8)；和基于通过该分辨率变换部(8)被高分辨率化的帧而显示图像的显示部(3)。在该分辨率变换部(8)中，相对输入的四个帧的各图像信号，进行水平方向、垂直方向和水平/垂直方向的各自的相位移动，由此除去二维频率区域的折返成分，实现二维的高分辨率化。以下说明分辨率变换部(8)的详细内容。

在图54中，首先通过位置推定部(5406-2)(5406-3)(5406-4)，以输入输入部(1)的帧#1上的处理对象的像素的二维的采样位置(取样位置)为基准，推定帧#2、帧#3、帧#4上的各自的对应的像素的二维位置，求取水平相位差θH2(5407-2)、θH3(5407-3)、θH4(5407-4)和垂直相位差θV2(5408-2)、θV3(5408-3)、θV4(5408-4)。接着，通过运动补偿/提升部(5410)的水平/垂直提升器(5401-1)(5401-2)(5401-3)(5401-4)，使用上述相位差θH2(5407-2)、θH3(5407-3)、θH4(5407-4)、θV2(5408-2)、θV3(5408-3)、θV4(5408-4)的各信息，对帧#2、帧#3、帧#4进行运动补偿，使其与帧#1进行位置调整，并且使各帧的像素数分别在水平、垂直方向上增加至2倍，进行合计4倍的高密度化。在相位移动部(5411)中，使用水平相位移动器(5403-1)(5403-2)(5403-3)(5403-4)、垂直相位移动器(5404-1)(5404-2)(5404-3)(5404-4)、水平/垂直相位移动器(5405-1)(5405-2)(5405-3)(5405-4)，使该已高密度化的数据的相位在水平方向、垂直方向、水平/垂直方向分别移动一定量。此处，作为使数据的相位移动一定量的单元，能够使用上述希尔伯特变换器等π/2相位移动器。在折返成分除去部(5409)中，使用来自上述相位移动部(5411)的合计16个信号和来自相位推定部(5412)的合计6个相位差信号，除去水平/垂直的各个方向的折返成分，得到输出。该输出供给显示部3。其中，位置推定部(5406-2)(5406-3)(5406-4)能够直接使用上述现有技术。水平/垂直提升器(5401-1)(5401-2)(5401-3)(5401-4)将图5和图6所示的动作、结构在水平/垂直方向二维扩展。相位移动器(5411)、折返成分除去部(5409)的各详细内容在后面叙述。

图55表示水平/垂直相位移动器(5405-1)(5405-2)(5405-3)(5405-4)的结构例。因为图像信号的水平方向的相位和垂直方向的相位相互独立，因此水平/垂直相位移动器(5405)能够如图所示串联组合垂直相位移动器(5404)和水平相位移动器(5403)而实现。此外可知，使连接顺序相反，将水平相位移动器(5403)配置在垂直相位移动器(5404)之前也能够进行相同的动作。

图56中表示上述相位移动部(5411)、折返成分除去部(5409)的各详细的动作。该图(a)是水平频率为μ、垂直频率为v而表示的二维频率区域。如果原输入图像的水平采样频率为μs、垂直采样频率为vs，以该图(a)的原点(即(μ，v)＝(0，0))的附近的信号作为原成分，可知在(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置生成折返成分。而且，在它们的原点对称的位置(即(μ，v)＝(-μs，0)、(μ，v)＝(0，-vs)、(μ，v)＝(-μs，-vs))处也生成折返成分，但因为频率的对称性，分别等价于(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置的折返成分。关于通过图54所示的分辨率变换部(8)分别进行的水平方向两倍、垂直方向两倍的高分辨率化来说，在通过运动补偿/提升部(5410)分别在水平方向、垂直方向进行两倍的提升(0插入)而使像素数为4倍之后，除去在图56(a)中表示的(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置生成的折返成分即可。以下说明该动作。

在图56(b)中表示在(μ，v)＝(0，0)、(μ，v)＝(μs，0)、(μ，v)＝(0，vs)、(μ，v)＝(μs，vs)的位置上的各成分的水平相位旋转和垂直相位旋转的状态。如图4所示，在采样相位不同的多个帧之间，不产生原成分的相位旋转，仅是折返成分与采样相位差相应地进行相位旋转。于是，如果考虑以原成分的相位作为基准(Re轴)，如图54所示由相位移动部(5411)在水平、垂直、水平/垂直方向上产生相位正交轴(Im轴)成分，则如图56(b)所示，仅使作为原成分的(μ，v)＝(0，0)(即#1)的水平Re轴(＝没有水平方向的相位旋转)和垂直Re轴(没有垂直方向的相位旋转)的成分的值(各相位移动后的信号的合计值)为“1”，其他成分(即#2～#16)的值为“0”，则能够消除折返成分，仅抽出原成分。

在图56(c)中表示用于实现上述图56(b)所示的相位关系的矩阵运算式。在该图中，M是具有16×16的要素的矩阵，是表示水平、垂直、水平/垂直的各相位旋转的运算。关于该矩阵M的详细内容在后面叙述。此外，在该图的左边表示图56(b)的值，右边的C1ReRe～C4ImIm表示通过图54所示的折返成分除去部(5409)在相位移动部(5411)的各输出信号上乘以的系数。即，关于图54所示的帧#1，在延迟器(5402-1)的输出信号上乘以系数C1ReRe，在水平相位移动器(5403-1)的输出信号上乘以系数C1ImRe，在垂直相位移动器(5404-1)的输出信号上乘以系数C1ReIm，在水平/垂直相位移动器(5405-1)的输出信号上乘以系数C1ImIm。以下同样，关于帧#2，在延迟器(5402-2)的输出信号上乘以系数C2ReRe，在水平相位移动器(5403-2)的输出信号上乘以系数C2ImRe，在垂直相位移动器(5404-2)的输出信号上乘以系数C2ReIm，在水平/垂直相位移动器(5405-2)的输出信号上乘以系数C2ImIm。关于帧#3，在延迟器(5402-3)的输出信号上乘以系数C1ReRe，在水平相位移动器(5403-3)的输出信号上乘以系数C3ImRe，在垂直相位移动器(5404-3)的输出信号上乘以系数C3ReIm，在水平/垂直相位移动器(5405-3)的输出信号上乘以系数C3ImIm。关于帧#4，在延迟器(5402-4)的输出信号上乘以系数C4ReRe，在水平相位移动器(5403-4)的输出信号上乘以系数C4ImRe，在垂直相位移动器(5404-4)的输出信号上乘以系数C4ReIm，在水平/垂直相位移动器(5405-4)的输出信号上乘以系数C4ImIm。在通过后述的折返成分除去部(5409)，使乘以上述系数而得的合计16个信号全部相加时，如果以使图56(c)的关系总是成立的方式决定上述系数C1ReRe～C4ImIm，则能够消除折返成分，仅抽出原成分。

图56(d)表示矩阵M的详细内容。矩阵M是具有上述16×16个要素的矩阵，由以mij(其中，行编号i和列编号j是满足1≤i≤4，1≤j≤4的整数)表示的具有4×4个要素的部分矩阵构成。该部分矩阵mij根据行编号i分类为该图(e)(f)(g)(h)所示。

在图56(e)中表示行编号i＝1时的部分矩阵m1j(即m11、m12、m13、m14)的各要素。该部分矩阵m1j是对频率(μ，v)＝(0，0)的成分起作用的要素，因为与帧间的采样相位差无关，不会产生水平/垂直的相位旋转，因此成为单位矩阵(即，向右下倾斜的对角线上的要素均为1，其余要素均为0的矩阵)。

在图56(f)中表示行编号i＝2时的部分矩阵m2j(即m21、m22、m23、m24)的各要素。该部分矩阵m2j是对(μ，v)＝(μs，0)的成分起作用的要素，是根据采样的水平相位差θHj(其中，j是满足1≤j≤4的整数)使水平方向的相位旋转的旋转矩阵。即，垂直相位轴相同的图56(b)所示的#5和#6、以及#7和#8分别成对，以水平频率轴为中心使相位旋转θHj的旋转矩阵。其中，j＝1时的水平相位差θH1在图54中没有表示，但将其解释为帧#1(基准)和帧#1(与处理对象＝基准相同)之间的相位差(＝0)，以θH1＝0进行处理即可。以下，关于垂直相位差θV1，也同样地作为θV1＝0处理。

在图56(g)中表示行编号i＝3时的部分矩阵m3j(即m31、m32、m33、m34)的各要素。该部分矩阵m3j是对(μ，v)＝(0，vs)的成分起作用的要素，是根据采样的垂直相位差θVj(其中，j是满足1≤j≤4的整数)使垂直方向的相位旋转的旋转矩阵。即，水平相位轴相同的图56(b)所示的#9和#11、以及#10和#12分别成对，以垂直频率轴为中心使相位旋转θVj的旋转矩阵。

在图56(h)中表示行编号i＝4时的部分矩阵m4j(即m41、m42、m43、m44)的各要素。该部分矩阵m4j是对(μ，v)＝(μs，vs)的成分起作用的要素，是根据采样的水平相位差θHj和垂直相位差θVj(其中，j是满足1≤j≤4的整数)这两者，使水平方向、垂直方向的相位均旋转的旋转矩阵。即，是上述m2j和m3j的积。

换个角度看，关于m1j、m2j、m3j，设其如m4j所示是使水平方向、垂直方向的相位均旋转的旋转矩阵，则认为在m1j的情况下是设定成θHj＝θVj＝0，在m2j的情况下是设定成θVj＝0，在m3j的情况下是设定成θHj＝0，成为与上述说明相同的部分矩阵。

这样，基于各采样相位差(θHj，θVj)决定矩阵M，以图56(c)所示的等式总是成立的方式，决定合计16个系数(C1ReRe～C4ImIm)。此时，相对矩阵M预先求取逆矩阵M^-1，通过图56(i)所示的运算决定系数(C1ReRe～C4ImIm)即可。作为求取逆矩阵M^-1的方法，已知使用余因子矩阵的方法、使用Gauss-Jordan的清偿法(掃き出し法)的方法、分解为三角矩阵以进行计算的方法等，因此，此处省略图示。

图57表示图54所示的折返成分除去部(5409)的详细的结构例。在该图中，在系数决定部(5701)中，基于从图54所示的位置推定部(5412)输出的水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)，通过图56(i)所示的逆矩阵运算，生成各系数(C1ReRe～C4ImIm)。这些系数通过乘法器(5702)与从相位移动部(5411)输出的各帧的信号相乘，通过加法器(5703)进行全加法计算，成为折返成分除去部(5409)的输出信号(即，分辨率变换部(8)的输出信号)。因为一般来说，水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)在输入帧上的每个像素中值不同，所以必须针对每个像素进行上述逆矩阵运算。此时，也可以使水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)为代表性的相位差(例如图9(d)所示的π/8的整数倍等)，预先生成各系数(C1ReRe～C4ImIm)，使用ROM(Read Only Memory：只读存储器)等进行表格化。因为已知一般的表格参照方式，所以省略图示。

图58表示图54所示的折返成分除去部(5409)的其他结构例。在上述说明中，按照使得图56(c)所示的等式总是成立的方式决定合计16个系数(C1ReRe～C4ImIm)时，预先求取相对矩阵M的逆矩阵M^-1，通过图56(i)所示的运算决定系数(C1ReRe～C4ImIm)，但是，存在依据水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)的值，逆矩阵M^-1不存在，系数(C1ReRe～C4ImIm)无法决定的情况。逆矩阵M^-1是否存在，在通过系数决定部(5701)计算逆矩阵M^-1时，由使用余因子矩阵的方法、使用Gause-Jordan的消去法的方法、分解成三角矩阵进行计算的方法等的运算过程能够容易地进行判定，在不存在逆矩阵M^-1的情况下，以通过上述图21等所示的分辨率变换部(4)使用帧#1和帧#2取得输出信号的方式，切换输出信号即可。即，使用图58所示的水平方向的折返成分除去部(2108)、垂直方向的折返成分除去部(2109)、像素插补器(2003)(2007)、混合器(2009)，基于从相位移动部(5411)输出的帧#1和帧#2，以及从位置推定部输出的水平相位差θH2(5407-2)和垂直相位差θV2(5408-2)，生成分辨率变换结果，使用切换器(5801)与上述加法器(5703)的结果进行切换，成为输出信号即可。而且，也可以不是使用切换器(5801)进行二维切换，而是以连续混合(即加权加法运算)加法器(5703)的输出和混合器(2009)的输出的方式构成，例如以在不存在逆矩阵M^-1的像素的附近增加混合器(2009)的输出的混合比的方式构成。

通过以上说明的折返成分的除去处理，在图56(a)所示的二维频率区域中，在水平方向上能够达到从中心到(μ，v)＝(μs，0)的分辨率提高效果。此外，在垂直方向上能够达到从中心到(μ，v)＝(0，vs)的分辨率提高效果。此外，在倾斜方向上能够达到从中心到(μ，v)＝(μs，vs)的分辨率提高效果。

此处，在实施例7所示的图像信号处理装置和图像信号处理方法中，在水平方向和垂直方向之外，在倾斜方向也进行高分辨率化，但其倾斜方向的分辨率提高效果如图31所示，不会达到(μ，v)＝(μs，vs)。

由此，图54所示的图像信号处理装置，相比于实施例7的图像信号处理装置，具有在倾斜方向上能够提高分辨率直至高频成分的效果。

接着，使用图60，说明本发明的实施例11的图像信号处理装置与现有技术的动作的不同点。该图(a)表示输入图54所示的分辨率变换部(8)的帧#1(6001)、帧#2(6002)、帧#3(6003)、帧#4(6004)、帧#5(6005)，该图(b)表示从分辨率变换部(8)输出的各帧。在各帧中，被拍摄体以1/4像素一次一次地右旋移动，有意地以四帧为一周的方式移动被拍摄体。该动作在帧#5以后也同样连续进行。

在专利文献1、专利文献2、非专利文献1中记载的现有技术中，如上所述，在相对水平/垂直的二维的输入信号进行高分辨率化的情况下，因为折返来自纵横两个方向，所以原信号的带域在纵横方向均变宽至两倍，三个折返成分重合，为了消除该折返成分需要2M+1＝7个数字数据(＝7个帧图像的信号)。因此，在如图34(a)所示，四帧一周地输入信号的情况下，无论选择哪7个帧均不能够得到独立的数据，所以高分辨率化处理的解不确定，无法求解。

另一方面，使用实施例11，例如使用邻接的四帧(帧#1(6001)、帧#2(6002)、帧#3(6003)和帧#4(6004))，如该图(b)所示除去水平方向、垂直方向、水平/垂直方向的折返成分，能够实现高分辨率化。即，通过使用该图(a)的输入图像作为测试图案，能够确认本实施例的动作状况。作为该测试图案的样式，使用一般已知的圆形波带板(CZP：Circular Zone Plate)，则能够在显示部(3)直接看到分辨率变换的效果。即，如果使圆形波带板如图60(a)所示四帧一周地进行移动，则总是能够显示已提高水平方向的分辨率和垂直方向的分辨率的图像，能够确认分辨率提高的效果。

根据以上说明的实施例11的图像信号处理装置，相对4个输入图像帧的各图像信号进行方向不同的多种类的相位移动(水平方向、垂直方向、水平/垂直方向)，由此从各个图像信号中分别生成4个信号。由此，能够从4个输入图像帧的图像信号中生成16个信号。此处，基于上述4个输入图像帧的相位差，对于该16个信号的各个信号，针对每个像素计算出用于消除该16个信号的折返成分而进行合成的系数。对于生成的图像的各个像素，计算在上述16个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。

由此，实施例11的图像信号处理装置，在水平方向和垂直方向之外，能够生成右下方向和右上方向的倾斜成分也被高分辨率化的高分辨率图像。

此外，实施例11的图像信号处理装置的分辨率提高效果，在倾斜方向上，相比于实施例7的图像信号处理装置，能够提高分辨率直至更高的频率成分，能够生成更高画质的高分辨率图像。

[实施例12]

使用图59和图19说明本发明的实施例12的图像信号处理方法。

实施例12表示通过与软件协同作用的控制部实现与实施例11的图像信号处理装置的图像信号处理等价的处理的图像信号处理方法。

此处，使用图19说明用于实现本实施例的图像信号处理方法的图像处理装置。图19所示的图像信号处理装置包括：例如被输入电视播放信号等的图像信号的输入部(1)；存储用于处理从输入部(1)输入的信号的软件的存储部(11)；与存储在存储部(11)中的软件协同作用，对从输入部(1)输入的信号进行图像信号处理的控制部(10)；控制部(10)在该图像信号处理中在数据的缓存中使用的帧缓存器#1(31)、帧缓存器#2(32)、帧缓存器#3(33)、帧缓存器#4(34)；和用于对从控制部(10)输出至输出部(3)的图像信号处理后的信号进行帧缓存的缓存器#5(35)。

此处，图19所示的图像信号处理装置所具有的输入部(1)的个数与图像处理中使用的帧数相同为4个，也可以仅具有一个输入部(1)，连续输入4帧。

此处，在数据的缓存中使用的帧缓存器#1(31)、帧缓存器#2(32)、帧缓存器#3(33)、帧缓存器#4(34)和存储软件的存储部(11)，可以分别使用不同的存储器芯片构成，也可以使用一个或多个存储器芯片，分割各数据地址而进行使用。

在本实施例中，控制部(10)与存储在存储部(11)中的软件协同作用，对从输入部(1)输入的图像信号进行图像信号处理，输出至显示部(3)。使用图59说明该图像信号处理的详细内容。

图59的流程图是，从步骤(5901)开始，在步骤(5902-1)(5902-2)(5902-3)(5902-4)，将各帧的图像数据在水平/垂直方向上均分别提升为两倍。即，在步骤(5902-1)对帧#1的图像数据进行提升，并写入帧缓存器#1，在步骤(5902-2)对帧#2的图像数据进行提升，并写入帧缓存器#2，在步骤(5902-3)对帧#3的图像数据进行提升，并写入帧缓存器#3，在步骤(5902-4)对帧#4的图像数据进行提升，并写入帧缓存器#4。此处，提升能够通过使各帧缓存器的值一度清0，之后针对每一个水平像素、每一个垂直像素写入数据而实现。

接着，在步骤(5903)中，设定帧缓存器#1的最初的像素(例如左上的像素)为处理对象，以下，使处理循环，直至对帧缓存器#1的所有的像素数据的处理结束。

在步骤(5904-2)中，以帧缓存器#1的对象像素为基准，推定帧缓存器#2中对应的像素的位置，输出水平相位差θH2和垂直相位差θV2。同样的，在步骤(5904-3)中，以帧缓存器#1的对象像素为基准，推定帧缓存器#3中对应的像素的位置，输出水平相位差θH3和垂直相位差θV3。此外，在步骤(5904-4)中，以帧缓存器#1的对象像素为基准，推定帧缓存器#4中对应的像素的位置，输出水平相位差θH4和垂直相位差θV4。此时，作为推定对应的像素的位置的方法，能够直接使用上述现有技术。

在步骤(5905-2)中，基于步骤(5904-2)中求取的水平相位差θH2和垂直相位差θV2，对帧缓存器#2中的对应的像素的附近的像素进行运动补偿。将使用图5和图6说明的动作相对水平方向和垂直方向的各个方向同样地进行该运动补偿的动作即可。同样的，在步骤(5905-3)中，基于步骤(5904-3)中求取的水平相位差θH3和垂直相位差θV3，对帧缓存器#3中的对应的像素的附近的像素进行运动补偿。此外，在步骤(5905-4)中，基于步骤(5904-4)中求取的水平相位差θH4和垂直相位差θV4，对帧缓存器#4中的对应的像素的附近的像素进行运动补偿。

接着，在步骤(5913)中，相对帧缓存器#1和已运动补偿的帧缓存器#2、帧缓存器#3、帧缓存器#4，通过步骤(5906-1)(5906-2)(5906-3)(5906-4)使水平相位移动一定量，通过步骤(5907-1)(5907-2)(5907-3)(5907-4)使垂直相位移动一定量。此外，相对步骤(5907-1)(5907-2)(5907-3)(5907-4)的结果，进一步通过步骤(5908-1)(5908-2)(5908-3)(5908-4)使水平相位移动一定量，使水平和垂直的两者的相位移动一定量。即，使各帧缓存器中的像素数据在水平方向和垂直方向上移动π/2相位。

接着，在步骤(5909)中，基于水平相位差(θH2、θH3、θH4)和垂直相位差(θV2、θV3、θV4)以图56所示的方法决定全部的16个系数(C1ReRe～C4ImIm)，使步骤(5913)的各输出与上述各系数相乘并相加(加权相加)，由此从帧缓存器#1、帧缓存器#2、帧缓存器#3、帧缓存器#4的像素数据中除去折返成分，输出至帧缓存器#5。该除去折返成分的动作与使用图57或图58所说明的动作相同。

接着，在步骤(5910)中，判定帧缓存器#1的全部像素的处理是否结束，如果未结束，则在步骤(5911)将下一像素(例如右边邻接的像素)设定为处理的对象，回到步骤(5904-2)(5904-3)(5904-4)以后，如果已结束则在步骤(5912)结束处理。

通过进行以上所述的处理，能够使用帧缓存器#1、帧缓存器#2、帧缓存器#3、帧缓存器#4的像素数据，向帧缓存器#5输出已进行高分辨率化的信号。在应用于动画的情况下，针对每帧重复从步骤(5901)到步骤(5912)的处理即可。

而且，在图54、图57、图58、图59中，说明了输入的帧的个数为4个的情况，但本发明并不限定于此，当输入n个(其中n是4以上的整数)时，可以从中选择适于上述分辨率变换处理的4个帧进行使用。例如，在输出图56(i)所示的逆矩阵运算时，以使不存在逆矩阵M^-1的像素尽可能少的方式，从n个帧中选择在分辨率变换处理中使用的4个帧，针对每个像素或每个由多个像素构成的区域进行切换。

由此，实施例12的图像信号处理方法具有在倾斜方向上，相比于实施例10的图像信号处理方法，能够提高分辨率直至更高的频率成分的效果。该效果的详细内容与实施例11中说明的图54所示的图像信号处理装置的效果相同，因此省略说明。

如以上所说明的，实施例12的图像信号处理方法，相对4个输入图像帧的各图像信号进行方向不同的多种类的相位移动(水平方向、垂直方向、水平/垂直方向)，由此从各个图像信号中分别生成4个信号。由此，能够从4个输入图像帧的图像信号中生成16个信号。此处，基于上述4个输入图像帧的相位差，对于该16个信号的各个信号，针对每个像素计算出用于消除该16个信号的折返成分而进行合成的系数。对于生成的图像的各个像素，计算在上述16个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。

由此，实施例12的图像信号处理方法，在水平方向和垂直方向之外，能够生成右下方向和右上方向的倾斜成分也被高分辨率化的高分辨率图像。

此外，实施例12的图像信号处理方法的分辨率提高效果，相比于实施例10的图像信号处理方法，在倾斜方向上，能够提高分辨率直至更高的频率成分，能够生成更高画质的高分辨率图像。

而且，上述实施例1～实施例12的图像信号处理装置或图像信号处理方法中，举出在使图像的分辨率提高的同时使像素数增加至两倍的情况为例进行了说明，但通过使该图像信号处理装置或图像信号处理方法多次或多层地作用，例如能够使像素数以2的幂次倍(＝2倍、4倍、8倍……)增加。即，通过使用两个输入图像帧进行信号处理，使像素数增加至两倍成为中间图像帧之后，进一步使用两个该中间图像帧作为新的输入图像帧进行信号处理，由此能够使像素数进一步增加至两倍，得到输出图像帧。在该情况下，与输入图像帧进行比较，能够得到4倍的像素数的输出图像帧。同样的，如果使信号处理总共重复3次，则与输入图像帧进行比较，输出图像帧的像素数成为8倍。此时，为了得到一个输出图像帧需要的输入图像帧的个数也成为2的幂次方(＝2个、4个、8个……)。

而且，关于最终的输出图像，通过在上述图像处理后进行一般的分辨率变换处理，也能够以上述2的幂次倍(＝2倍、4倍、8倍……)以外的像素数进行输出。

[实施例13]

图35表示本发明的实施例13的图像显示装置。本实施例的图像显示装置是进行上述实施例7或实施例8中的任一个实施例中所记载的图像信号处理的结构的图像显示装置。

在该图中，图像显示装置3500例如包括：通过包括电视信号等的播放波、网络等输入播放信号、影像内容、图像内容等的输入部3501；对从输入部3501输入的内容进行录像或再现的录像再现部3502；录像再现部3502记录内容的内容累积部3503；处理录像再现部3502再现的影像信号或图像信号，作为实施例7或实施例8的任一个实施例所记载的图像信号处理装置的图像信号处理部3504；显示通过图像信号处理部3504处理的影像信号或图像信号的显示部3505；输出录像再现部3502再现的声音信号的声音输出部3506；控制图像显示装置3500的各结构部的控制部3507；和用户进行图像显示装置3500的操作的用户接口部3508等。

图像信号处理部3504的详细的动作与实施例7或实施例8中记载的相同，因此省略说明。

图像显示装置3500包括作为实施例7或实施例8中的任一个实施例所记载的图像信号处理装置的图像信号处理部3504，由此，能够将输入到输入部3501的影像信号或图像信号，在显示部3505中以高分辨率作为高画质的影像信号或图像信号进行显示。从而，在从输入部3501输入比显示部3505的显示器件的分辨率低的低分辨率的信号的情况下，也能够使再现信号高分辨率化，以高画质进行高精细的显示。

此外，在再现累积在内容累积部3503中的影像内容或图像内容时，也能够变换为分辨率更高的高画质的影像信号或图像信号，并显示在显示部3505中。

此外，通过在再现累积在内容累积部3503中的影像内容或图像内容之后进行图像信号处理部3504的图像处理，累积在内容累积部3503中的数据成为相比于显示在显示部3505中的分辨率为较低的分辨率。由此，具有能够相对地减少内容的数据量地进行累积的效果。

另外，将图像信号处理部3504包括在录像再现部3502中，在录像时进行上述的图像信号处理也可以。在这种情况下，没有必要在再现时进行上述的图像信号处理，具有能够降低再现时的处理负荷的效果。

此处，说明了上述图像信号处理通过图像信号处理部3504进行的情况，但也可以由控制部3507和软件实现。在该情况下，也可以由实施例7或实施例8中的任一个实施例所记载的方法进行图像信号处理。

在本实施例中，录像再现部3502在录像时，根据从输入部3501输入的影像等内容的状态进行编码之后，将其记录在内容累积部3503中即可。

此外，在本实施例中，录像再现部3502在录像时，如果从输入部3501输入的影像等内容为已编码的状态，则进行解码并再现即可。

此外，在本实施例的图像显示装置中，内容累积部3503并非必需。在该情况下，录像再现部3503不进行录像，而进行从输入部3501输入的影像等的内容的再现即可。

在该情况下，能够将输入输入部3501的影像信号或图像信号在显示部3505中作为高分辨率、高画质的影像信号或图像信号进行显示。

此外，图像显示装置3500例如可以是等离子体电视、液晶电视、布劳恩管、投影机等，也可以是此外的使用其他器件的装置。同样的，显示部3505例如可以是等离子体面板模块、LCD模块、投影用器件。此外，内容累积部3503例如可以是硬盘驱动器、闪存、可移动介质盘驱动器。声音输出部3506例如是扬声器等。此外，输入部3501可以具有接收播放波的调谐器，此外，也可以具有与网络连接的LAN用连接器，也可以具有USB连接器。而且，可以具有数字输入影像信号、声音信号的端子，也可以具有复合(composite)端子或分量(component)端子等模拟输入端子。此外，也可以是通过无线传达数据的接收部。

根据以上说明的实施例13的图像显示装置，相对包括在输入影像信号或输入图像信号的两个输入图像帧的各图像信号进行相位移动，从各图像信号中分别生成两个信号。由此，能够从两个输入图像帧的图像信号中生成四个信号。此处，基于两个输入图像帧的相位差，对于该四个信号的各个信号，针对每个像素计算出用于消除该四个信号的折返成分而进行合成的系数。对于生成的图像的各个像素，计算在上述四个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。通过对生成图像的各像素进行上述处理，能够生成相比于输入图像帧，在一维方向上已进行高分辨率化的图像。

在水平方向和垂直方向上分别进行该处理，生成在水平方向上高分辨率化的图像和在垂直方向上高分辨率化的图像。对于该在水平方向上高分辨率化的图像和在垂直方向上高分辨率化的图像，在分别进行垂直方向、水平方向的提升处理之后，使两者混合。

由此，能够从包括在输入影像信号或输入图像信号的两个输入图像帧的各图像信号中生成在垂直方向和水平方向这两个方向上高分辨率化的高分辨率图像。即，能够生成二维高分辨率图像，并能够在显示部进行显示。

此外，实施例13的图像显示装置使用两个输入图像帧，因此能够以较少的图像处理量实现高分辨率显示。由此，能够实现折返成分较少的、在垂直方向和水平方向这两个方向上在显示部中显示高分辨率的影像或图像的图像显示装置。

[实施例14]

本发明的实施例14的图像显示装置，是在实施例13的图像显示装置中，将图35所示的图像信号处理部3504替换为实施例9记载的图像信号处理装置。其他结构与实施例13的图像显示装置相同，因此省略说明。

此外，图像信号处理部3504的详细的动作与实施例9记载的相同，因此省略说明。

根据实施例14的图像显示装置，使用包括在输入影像信号或输入图像信号的两个输入图像帧，能够生成相比于输入影像或输入图像，在水平方向、垂直方向和倾斜方向上已进行高分辨率化的高分辨率图像。此外，能够实现将其显示在显示部中的图像显示装置。

[实施例15]

本发明的实施例15的图像显示装置，是在实施例13的图像显示装置中，将图35所示的图像信号处理部3504替换为实施例11所述的图像信号处理装置。其他结构与实施例13的图像显示装置相同，因此省略说明。

此外，图像信号处理部3504的详细的动作与实施例11记载的相同，因此省略说明。

根据实施例15的图像显示装置，使用包括在输入影像信号或输入图像信号的4个输入图像帧，能够生成相比于输入影像或输入图像，在水平方向、垂直方向和倾斜方向上已进行高分辨率化的高分辨率图像，并能够实现在显示部中进行显示的图像显示装置。

此外，实施例15的图像显示装置的分辨率提高效果，相比于实施例14的图像显示装置，能够在倾斜方向上提高分辨率直至高频成分，能够显示更高画质的高分辨率图像。

[实施例16]

本发明的实施例16的图像显示装置，是在实施例13的图像显示装置中，将图35所示的图像信号处理部3504替换为实施例1、实施例3或实施例5中的一个实施例所记载的图像信号处理装置。其他结构与实施例13的图像显示装置相同，因此省略说明。

此外，图像信号处理部3504的详细的动作与实施例1、实施例3或实施例5记载的相同，因此省略说明。

根据实施例16的图像显示装置，使用包括在输入影像信号或输入图像信号的两个输入图像帧，能够生成相比于输入影像或输入图像，在一维方向上已进行高分辨率化的高分辨率图像，并能够实现在显示部中进行显示的图像显示装置。

【实施例17】

图36表示本发明的实施例17的录像再现装置。本实施例的录像再现装置是进行上述实施例7或者实施例8的任意一个实施例所记载的图像信号处理的结构的录像再现装置。

在该图中，录像再现装置3600例如包括：通过例如包含电视信号等的播放波或网络等输入播放信号、影像内容、图像内容等的输入部3501；对从输入部3501输入的内容进行录像或者再现的录像再现部3502；录像再现部3502进行内容的记录的内容累积部3503；作为对录像再现部3502再现的影像信号或者图像信号进行处理的实施例7或者实施例8的任意一个实施例所记载的图像信号处理的装置的图像信号处理部3504；将通过图像信号处理部3504处理后的影像信号或者图像信号向其他装置等输出的图像影像输出部3605；将录像再现部3502再现的声音信号向其他装置等输出的声音输出部3606；对录像再现装置3600的各结构部进行控制的控制部3507；和用户进行录像再现装置3600的操作的用户接口部3508等。

录像再现装置3600包括作为实施例7或者实施例8的任意一个实施例所记载的图像信号处理装置的图像信号处理部3504，由此能够将输入部3501输入的影像信号或者图像信号作为更高分辨率且更高画质的影像信号或者图像信号，输出至其他装置等。因此，能够适当实现使低分辨率的影像信号或者图像信号高分辨率化并变换成高画质、高精细的影像信号或者图像信号的高画质高分辨率信号变换装置。

此外，在对内容累积部3503中存储的影像内容或者图像内容进行再现时，也能够变换成更高分辨率且更高画质的影像信号或者图像信号再输出至其他装置等。

因此，能够适当实现预先输入并存储有低分辨率的影像信号或者图像信号，当再现、输出时进行高分辨率化并变换成高画质、高精细的影像信号或者图像信号加以输出的录像再现装置。

此外，通过在内容累积部3503中存储的影像内容或者图像内容的再现后进行图像信号处理部3504的图像处理，能够使内容累积部3503中存储的数据为相比输出到其他装置的信号的分辨率相对低的分辨率。因此具有能够相对地减小内容的数据量加以存储的效果。

此外，也可以将图像信号处理部3504包含在录像再现部3502中，在录像时进行上述图像信号处理。在这种情况下，由于再现时没有必要进行上述图像信号处理，所以具有能够降低再现时的处理负荷的效果。

在此，对上述图像信号处理是通过图像信号处理部3504进行而加以了说明，但是也可以通过控制部3507和软件来实现。在这种情况下，通过实施例7或者实施例8的任意一个实施例所记载的方法进行图像信号处理也可。

在本实施例中，录像再现部3502根据录像时从输入部3501输入的影像等的内容状态，进行编码后记录在内容累积部3503中即可。

此外，在本实施例中，如果在录像时从输入部3501输入的影像等的内容为编码后的状态，则录像再现部3502进行解码并再现即可。

此外，本实施例的图像影像输出部3605和声音输出部3606作为一体也可以。在这种情况下，能够使用将影像信号和声音信号以一条电缆输出的连接器形状等。

此外，录像再现装置3600也可以是例如HDD记录器、DVD记录器、或者使用其他的存储装置设备的装置。同样地，内容累积部3503也可以是例如硬盘驱动器、闪存、可移动介质盘驱动器。

此外，输入部3501可以包括接收播放波的调谐器，也可以包括与网络连接的LAN用连接器，也可以包括USB连接器。而且，可以包括对影像信号和声音信号进行数字输入的端子，也可以包括复合(composite)端子或分量(component)端子等模拟输入端子。此外，也可以是无线传送数据的接收部。

此外，图像影像输出部3605可以包括对影像信号进行数字输出的端子，也可以包括复合端子或分量端子等进行模拟输出的端子。此外可以包括与网络连接的LAN用连接器，也可以包括USB连接器。而且，也可以是无线传送数据的发送部。关于声音输出部3606，也与图像影像输出部3605相同。

再者，输入部3501也可以包括例如摄像光学系统和受光元件。在这种情况下，录像再现装置3600能够适用于例如数字相机、摄像机、监视摄像头(监视摄像系统)等。此时例如输入部3501通过摄像光学系统将摄影对象拍摄在受光元件上，以从受光元件输出的信号为基础生成图像数据或者影像数据，输出至录像再现部3502即可。

如果录像再现装置3600是例如数字相机，在一次摄影中记录时间上不同的多个图像，如果对该多个图像数据进行图像信号处理部3504的图像信号处理，则能够得到一枚高画质的高分辨率图像。而且，图像信号处理部3504的图像处理可以在从数字相机输出数据时，对记录在内容累积部3503中的图像进行。此外，使录像再现部3502和图像信号处理部3504一体等，可以在内容累积部3503中进行记录之前，进行图像信号处理部3504的图像处理。在这种情况下，可以仅在内容累积部3503中保存用户最终想要处理的放大图像即可，其后用户处理图像数据时容易管理。

根据以上说明的数字相机，能够得到具有分辨率超越数字相机的受光元件的分辨率的高画质图像数据。

此外，如果录像再现装置3600是例如摄像机，则将通过输入部3501的摄像光学系统摄像在受光元件上的影像作为影像数据输出至录像再现部3502即可。录像再现部3502在内容累积部3503中记录影像数据，图像信号处理部3504从被记录的影像数据生成高分辨率化的影像数据即可。这样能够得到具有分辨率超越摄像机的受光元件的分辨率的高画质影像数据。而且此时，图像信号处理部3504也可以使用被记录的影像数据中包含的多帧数据，生成一枚静像图像数据。这样能够从影像数据中得到一枚高画质图像数据。此外，与上述的数字相机的情况相同，图像信号处理部3504的图像处理在影像数据记录到内容累积部3503之前，或者记录之后都可以。

根据以上说明的摄像机，能够得到具有分辨率超越摄像机的受光元件的分辨率的高画质影像数据和利用摄影的影像数据得到高画质的静态图像数据。

此外，在录像再现装置3600是例如监视摄像头(监视摄像头系统)的情况下，也与上述的摄像机的情况相同，能够得到具有分辨率超越监视摄像头的受光元件的分辨率的高画质影像数据和利用摄影的影像数据得到高画质的静态图像数据。此时，例如具备摄像光学系统和受光元件的输入部3501与录像再现部3502的距离被隔开，即使在通过网络电缆等连接的情况下，以低分辨率的影像数据发送至录像再现部3502，通过其后的图像信号处理部3504的图像信号处理，也能够进行高分辨率化。由此，能够有效利用来自具备摄像光学系统和受光元件的输入部3501的发送网络的频带，并且得到高分辨率的影像数据。

使实施例13乃至实施例16的图像显示装置和本实施例的录像再现装置两者的功能和各结构部为一体，还能够得到本发明的一个实施方式。在这种情况下，既能够显示进行过上述图像信号处理的影像信号或者图像信号，也能够向其他装置输出，能够作为显示装置、记录再现装置、输出装置的任意一种装置加以使用，对用户而言使用方便。

根据以上说明的实施例17的录像再现装置，对输入影像信号或者输入图像信号中包含的2枚输入图像帧的各图像信号进行相位移动，从各图像信号分别生成2个信号。由此，从2枚输入图像帧的图像信号生成4个信号。在此，根据2枚输入图像帧的相位差，就该4个信号的各个信号对每个像素计算出用于消除该4个信号的折返成分并进行合成的系数。对生成图像的各个像素，计算在上述四个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。通过对生成图像的各像素进行该处理，生成相比输入图像帧在一维方向上的更高分辨率化后的图像。

将其分别在水平方向和垂直方向进行，生成在水平方向高分辨率化后的图像和在垂直方向高分辨率化后的图像。对于该水平方向高分辨率化后的图像和垂直方向高分辨率化后的图像，分别在垂直方向、水平方向进行过提升处理后，将两者混合。

由此能够从输入影像信号或者输入图像信号中包含的2枚输入图像帧的各图像信号，生成在水平方向和在垂直方向这两方向上高分辨率化后的高分辨率图像。即能够生成二维高分辨率图像，并能够将其输出。

此外，预先在记录部中记录有输入影像信号或者输入图像信号，当从该记录部进行再现时，能够从影像信号或者图像信号中包含的2枚输入图像帧的各图像信号中，生成在水平方向和在垂直方向这两方向上高分辨率化后的二维高分辨率图像，并能够将其输出。

此外，实施例17的录像再现装置由于使用2枚输入图像帧，所以能够以很少的图像处理量实现高分辨率图像的输出。由此，能够实现折返成分少、在垂直方向和水平方向这两方向上输出高分辨率影像或者图像的录像再现装置。

【实施例18】

本发明的实施例18的录像再现装置是在实施例17的录像再现装置中，将图36所示的图像信号处理部3504替换成实施例9中记载的图像信号处理装置的录像再现装置。由于其他结构与实施例17的录像再现装置相同，因此省略说明。

此外，因为图像信号处理部3504的详细的动作与实施例9中记载的相同，因此省略说明。

根据实施例18的录像再现装置，使用输入影像信号或者输入图像信号中包含的2枚输入图像帧，能够生成相较输入影像或者输入图像在水平方向、垂直方向和倾斜方向进行过高分辨率化的二维高分辨率图像，并能够将其输出。

此外，预先在记录部中记录有输入影像信号或者输入图像信号，当从该记录部进行再现时，能够从影像信号或者图像信号中包含的2枚输入图像帧的各图像信号中，生成在水平方向、垂直方向和倾斜方向上进行过高分辨率化后的二维高分辨率图像，并能够将其输出。

【实施例19】

本发明的实施例19的录像再现装置是在实施例17的录像再现装置中，将图36所示的图像信号处理部3504替换成实施例11中记载的图像信号处理装置的录像再现装置。由于其他结构与实施例17的录像再现装置相同，因此省略说明。

此外，因为图像信号处理部3504的详细的动作与实施例11中记载的相同，因此省略说明。

根据实施例19的录像再现装置，使用输入影像信号或者输入图像信号中包含的4枚输入图像帧，能够实现生成并且输出相较输入影像或者输入图像在水平方向、垂直方向和倾斜方向进行过高分辨率化的二维高分辨率图像的录像再现装置。

此外，预先在记录部中记录有输入影像信号或者输入图像信号，当从该记录部进行再现时，能够从影像信号或者图像信号中包含的4枚输入图像帧的各图像信号中，生成在水平方向、垂直方向和倾斜方向上进行过高分辨率化的二维高分辨率图像，并能够将其输出。

此外，实施例19的录像再现装置的分辨率提高效果能够在倾斜方向上比实施例18的录像再现装置进一步提高分辨率至高频成分，因而能够输出更高画质的高分辨率图像。

【实施例20】

本发明的实施例20的录像再现装置是在实施例17的录像再现装置中，将图36所示的图像信号处理部3504替换成在实施例1、实施例3或者实施例5的实施例中的一个实施例所记载的图像信号处理装置的录像再现装置。由于其他结构与实施例17的录像再现装置相同，因此省略说明。

此外，因为图像信号处理部3504的详细的动作与实施例1、实施例3或者实施例5的实施例中记载的相同，因此省略说明。

根据实施例20的录像再现装置，使用输入影像信号或者输入图像信号中包含的2枚输入图像帧，能够实现生成并且输出相较输入影像或者输入图像在一维方向上进行过高分辨率化的高分辨率图像的录像再现装置。

此外，预先在记录部中记录有输入影像信号或者输入图像信号，当从该记录部进行再现时，能够从影像信号或者图像信号中包含的2枚输入图像帧的各图像信号中，生成在一维方向上进行过高分辨率化的高分辨率图像，并能够将其输出。

【实施例21】

利用图39～图41，说明将本发明应用于隔行、逐行扫描线(以下称为I-P变换)的实施例21。在此之前，通过图37和图38，对现有的一般的I-P变换的动作进行说明。

图37(a)表示隔行扫描(2∶1隔行)的扫描线的位置关系，该图(b)表示逐行扫描的扫描线的位置关系。图的水平轴表示时间方向(帧方向)的位置(t)，垂直轴表示垂直位置(v)。在该图(a)的隔行扫描中，以传送或者显示的扫描线(实扫描线)(3701)和跳过传送或者不显示的扫描线(3702)交替反复的方式形成有场(フイ一ルド)(3703)。此外，在下一个场中扫描线(3701)和扫描线(3702)的位置变成相反(互补)，结合2个场(3703)(3704)形成一枚帧(3704)。将跳过传送或者不显示的扫描线(3702)从附近的实扫描线(3701)进行插补作成插补扫描线而将场(3703)变换成帧(3705)，变换成该图(b)的逐行扫描。

作为实现该I-P变换的现有的代表方法，包括图38(a)所示的运动适应型I-P变换和该图(b)所示的运动补偿型I-P变换。(a)运动适应型I-P变换一般在图像中的被拍摄体静止的情况下，进行利用过去(或者未来的)场的实扫描线上的信号生成插补扫描线上的信号的场间插补(3801)，在被拍摄体运动的情况下，进行利用同一场内的上下的扫描线上的信号生成插补扫描线上的信号的场内插补(3802)。此时，当被拍摄体完全静止时，通过场间插补(3801)能够获得理想的逐行扫描图像，但是被拍摄体稍微运动，则利用场间插补(3801)或者帧间插补(3802)都会变成垂直分辨率降低的逐行扫描图像的情况是众所周知的。另一方面，(b)运动补偿型I-P变换以每个像素推定被拍摄体的运动，求出运动矢量(3803)，也包括水平方向的运动根据该运动矢量(3803)生成插补扫描线。例如在该图(b)中，表示被拍摄体暂时向下方向移动后，静止2场期间，接着移动到上方向的情况。此时，在运动矢量刚好从实扫描线指向插补扫描线的情况下能够获得理想的逐行扫描图像，但其以外的情况(刚好从实扫描线没有指向插补扫描线的情况)导致变成垂直分辨率降低的逐行扫描图像的情况是众所周知的。

图39表示用于改善上述现有的I-P变换的缺点的本发明的实施例21的动作。将该图(a)所示的隔行扫描的各场(#1、#2、……)看作扫描线数为1/2的帧，在每一场利用扫描线的位置(＝垂直方向的采样相位)变化的情况，通过垂直分辨率变换(3901)(3902)生成帧。例如，利用场#1和场#2，通过垂直分辨率变换(3901)生成帧#2，利用场#2和场#3，通过垂直分辨率变换(3902)生成帧#3，以下，对其以后的场也同样地进行处理，连续地生成帧。此时，作为各垂直分辨率变换(3901)(3902)，能够就这样直接使用图1等所示的分辨率变换部(2)，但是需要如图40所示以每一场对动作进行变更。

利用图40，详细说明本发明的实施例21的动作。该图(a)表示原来的隔行扫描的扫描线的位置。在被拍摄体静止的情况下，如该图(a)所示，通过实扫描线的运动矢量(4001)指相同垂直位置的下一场的插补扫描线。此处，将各个场(#1、#2、……)看作扫描线数为1/2的帧，在每一场以扫描线的位置(＝垂直方向的采样相位)不变化的方式使场整体附加垂直方向的偏置(空间上的位置差)而移动，如该图(b)所示，静止时的运动矢量(4002)在每一场上下运动。即，若将该图(b)的扫描线位置的信号作为输入，通过图1所示的相位推定部(101)求出相位差θ(102)，则导致在垂直分辨率变换(3901)(3902)时输出错误的结果。

图41表示以防止上述误动作为目的的本发明的实施例21的结构。该图所示的结构是在进行图1所示的一维方向(在此为垂直方向)的分辨率变换的实施例的结构中追加偏置校正部(4103)的结构，从输入部(1)输入场#k(但是k为整数)及其前一个(过去)的场#(k一1)，进行垂直分辨率变换，向显示部(3)输出图像。偏置校正部(4103)通过加法器(4101)在由位置推定部(101)得到的相位差θ上加上相位差偏置(θoffset)(4102)作为新的相位差θ(102)，用于运动补偿/提升部(動き補償·アツプレ一ト部)(115)和折返成分除去部(117)的信号处理中。在此，k＝2n(n为整数，即k为偶数)时将相位差偏置(θoffset)(4102)作为π，将相位差θ(102)的值仅向下方向校正输入的扫描线间隔的1/2(2个场间最近的扫描线的空间上的位置差)，当k＝2n+1(n为整数，即k为奇数)时将相位差偏置(θoffset)(4102)作为-π，将相位差θ(102)的值仅向上方向校正输入的扫描线间隔的1/2(2个场间最近的扫描线的空间上的位置差)。由此，能够校正图40(b)所示的静止时运动矢量(4002)的上下运动。其中，为了与也包括水平方向的二维的图像对应，可以通过位置推定部(101)输出水平相位差θH和垂直相位差θV，并且使运动补偿/提升部(115)二维化。即，在垂直相位差θV上加上上述相位差偏置(θoffset)(4102)作为新的垂直相位差θV，在垂直方向上进行提升(插入0)以后，加上具有图6所示的抽头系数Ck(＝2sin(πk+θV)/(πk+θV))的垂直滤波器。另一方面，水平方向进行一般的运动补偿。即，水平方向不进行提升，加上将图12所示的抽头系数仅移动水平相位差θH采样相位，以Ck＝sin(πk/2+θH)/(πk/2+θH))作为抽头系数的水平滤波器即可。相位移动部(116)、折返成分除去部(117)的各处理就按照上述动作不进行变更地进行垂直方向的相位移动(希尔伯特变换)和折返成分除去(系数决定和加权加法)。通过这些处理，能够对隔行扫描的输入进行分辨率变换，变换成逐行扫描。

此时，折返成分除去部(117)中的各系数C0、C1、C2、C3为将图9所示的相位差θ置换成(θ±π)的值。即，C0＝C2＝1/2、C1＝-(1+cos(θ±π))/(2sin(θ±π))＝(1-cosθ)/sinθ、C3＝(1+cos(θ±π))/(2sin(θ±π))＝-(1-cosθ)/sinθ。此时，当相位差θ为±π时，系数C1、C3为不确定，随着相位差θ接近±π，系数C1、C3变大，因而为了防止对噪声等变弱，在图11所示的本发明的实施例5中，构成为当相位差θ变为在±π附近时切换为来自辅助像素插补部(1105)的输出即可。即，在图13所示的本发明的实施例5中使用的系数决定器(1103)的具体例子中，将该图的θ换成(θ±π)，当相位差θ变为在±π附近时，强制性地使系数C1的值为0，并且使系数C4的值为1.0即可。通过该动作，在图11所示的结构中，当相位差θ(102)变为±π或者在±π附近时，能够自动地将加法器(1104)的输出切换成插补低通滤波器(1101)的输出。其中，随着相位差θ接近±π，，可以使得从图12所示的系数连续缓慢地接近图13所示的系数。此外，通过图1的位置推定部(101)，在判定与帧#1上的处理对象的像素对应的像素不在帧#2上的情况下，也可以与当相位差θ(102)变为在±π附近时一样地控制各个系数，自动地将加法器(1104)的输出切换成插补低通滤波器(1101)的输出。

而且，通过图20、图21、图27所示的各实施例的结构，若在从位置推定部输出的垂直相位差θV的值加上图41所示的相位差偏置(θoffset)(4102)，就能够对隔行扫描的输入信号实现二维分辨率变换。

此外，对于输出的逐行方式的帧图像，进一步在像素的垂直位置加上偏置，也能够作为扫描线密度高的隔行扫描方式。例如，在以480i格式(扫描线数480条的隔行扫描方式)作为输入，变换成960i(扫描线数960条的隔行扫描方式)的情况下，通过本发明的上述技术，在暂时将480i格式变换成480p(扫描线数480条的逐行扫描方式)之后，利用一般的插补滤波器，将帧每隔一个(例如：帧#2、#4、#6……)在垂直方向偏移1/2像素(＝1/2扫描线)即可。

其中，上述帧#1、帧#2、帧#3等可以是时间上不连续的帧，也可以在时间上逆序。此外，场#1、场#2、场#3等，如果考虑图40所示的扫描线的位置关系决定相位差偏置(θoffset)的值，则可以是时间上不连续的场，也可以在时间上逆序。例如，将奇数场彼此或者偶数场彼此作为输入进行分辨率变换处理时，可以使上述相位差偏置(θoffset)的值为0。

根据以上说明的实施例21的图像信号处理装置，将隔行扫描的各个场(#1、#2……)看作扫描线数为1/2的帧，每隔一个在场整体上附加垂直方向的偏置使其移动。在这样生成的连续的图像中，对2枚图像进行位置推定，计算出相位差，对该相位差进行与上述偏置相当的相位差偏置的校正。在此，对上述2枚图像的信号进行相位移动，从各个图像信号分别生成2个信号。由此，从2枚图像信号生成4个信号。在此，根据校正后的相位差，对该4个信号的各个信号，按每个像素计算出用于消除该4个信号的折返成分并进行合成的系数。关于生成的图像的各个像素，计算出在上述四个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。通过对生成图像的各个像素进行上述处理，生成新的高分辨率图像，并将该高分辨率图像作为逐行扫描的帧图像进行输出。

由此，实施例21的图像信号处理装置利用隔行扫描的2个场，能够生成垂直分辨率的降低少的逐行扫描图像。

此外，实施例21的图像信号处理装置由于使用2枚输入图像帧，所以需要的图像处理的量少。因此，能够低成本实现生成垂直分辨率的降低少的逐行扫描图像的图像信号处理装置。

【实施例22】

利用图42对本发明的实施例22的图像信号处理方法进行说明。

实施例22是通过与软件协作的控制部实现与实施例21的图像信号处理装置中的图像信号处理等价的处理的图像信号处理方法。因为进行本实施例的图像信号处理方法的图像处理装置是与实施例2相同的图18所示的图像处理装置，所以省略说明。

在图42中，表示本实施例的图像信号处理装置的动作流程的一个例子。图42的流程是相对于图14所示的流程，追加对图40(b)所示的偏置进行校正的步骤(4201)，并且将步骤(1402)(1403)的各输入从帧#1、帧#2变更成场#1、场#2的流程。

关于其他的步骤，因为与图14所示的流程相同，所以省略说明。

在此，对图42所示的偏置进行校正的步骤(4201)是以图40(b)所示的扫描线的垂直位置关系为基础，决定相位差偏置θoffset，并进行与相位差θ相加的处理的步骤。即，在输入场#k(但是k为整数)及其前一个(过去)场#(k-1)进行垂直分辨率变换的情况下，k＝2n(n为整数，即k为偶数)时将相位差偏置(θoffset)作为π，将相位差θ的值仅向下方向校正输入的扫描线间隔的1/2，当k＝2n+1(n为整数，即k为奇数)时将相位差偏置(θoffset)作为-π，将相位差θ的值仅向上方向校正输入的扫描线间隔的1/2。由此，能够校正图40(b)所示的静止时运动矢量(4002)的上下运动，并且能够不变更其他步骤的动作，对隔行扫描的输入进行分辨率变换。

其中，上述帧#1、帧#2、帧#3等可以是时间上不连续的帧，也可以在时间上逆序。此外，场#1、场#2、场#3等，如果考虑图40所示的扫描线的位置关系决定相位差偏置(θoffset)的值，则可以是时间上不连续的场，也可以在时间上逆序。例如，将奇数场彼此或者偶数场彼此作为输入进行分辨率变换处理时，可以使上述相位差偏置(θoffset)的值为0。

根据以上说明的实施例22的图像信号处理方法，将隔行扫描的各个场(#1、#2……)看作扫描线数为1/2的帧，每隔一个在场整体上附加垂直方向的偏置使其移动。在这样生成的连续的图像中，对2枚图像进行位置推定，计算出相位差，对该相位差进行与上述偏置相当的相位差偏置的校正。在此，对上述2枚图像的信号进行相位移动，从各个图像信号分别生成2个信号。由此，从2枚图像信号生成4个信号。在此，根据校正后的相位差，对该4个信号的各个信号，按每个像素计算出用于消除该4个信号的折返成分并进行合成的系数。关于生成的图像的各个像素，计算在上述四个信号的各个信号所具有的对应像素的像素值上乘以各系数并相加所得的和，生成新的高分辨率图像的像素值。通过对生成图像的各个像素进行上述处理，生成新的高分辨率图像，并将该高分辨率图像作为逐行扫描的帧图像进行输出。

由此，实施例22的图像信号处理方法，利用隔行扫描的2个场，能够生成垂直分辨率的降低少的逐行扫描图像。

此外，实施例22的图像信号处理方法，由于使用2枚输入图像帧，所以具有能够减小需要的图像处理的量的效果。

【实施例23】

本发明的实施例23的图像信号处理装置具有在图41所示的实施例21的图像信号处理装置中，将相位移动部(116)置换成图10所示的相位移动部(1009)，并将折返成分除去部(117)置换成图10的折返成分除去部(1010)的结构。

关于其他结构，因为与图41所示的图像信号处理装置相同，因此省略说明。

以上说明的实施例23的图像信号处理装置，除了实施例21的图像信号处理装置的效果之外，还能够以比实施例21的图像信号处理装置小的电路规模来实现，所以能够更低成本地加以实现。

【实施例24】

利用图43说明本发明的实施例24的图像信号处理方法。

实施例24是通过与软件协作的控制部实现与实施例23的图像信号处理装置中的图像信号处理等价的处理的图像信号处理方法。因为进行本实施例的图像信号处理方法的图像处理装置是与实施例2相同的图18所示的图像处理装置，所以省略说明。

在图43中，表示本实施例的图像信号处理装置的动作流程的一个例子。图43的流程是相对于图15所示的流程，追加对图40(b)所示的偏置进行校正的步骤(4301)，并且将步骤(1502)(1503)的各输入从帧#1、帧#2变更成场#1、场#2的流程。

关于其他的步骤，因为与图15所示的流程相同，所以省略说明。

而且，因为对偏置进行校正的步骤(4301)的动作的详细内容与对图42所示的偏置进行校正的步骤(4201)相同，所以省略说明。

以上说明的实施例24的图像信号处理方法与实施例22的图像信号处理方法具有相同的图像信号高分辨率化的效果。而且实施例24的图像信号处理方法与实施例22的图像信号处理方法相比，通过使一部分的处理步骤的内容相同化，具有能够以比实施例22的图像信号处理方法少的处理量(运算数)实现同样的信号处理的效果。

【实施例25】

本发明的实施例25的图像信号处理装置具有在图41所示的实施例21的图像信号处理装置中，将相位移动部(116)置换成图11所示的相位移动部(1009)，并将折返成分除去部(117)置换成图11的折返成分除去部(1010)，而且具备图11所示的辅助像素插补部(1055)的结构。

关于其他结构，因为与图41所示的图像信号处理装置相同，因此省略说明。

以上说明的实施例25的图像信号处理装置，除了实施例21的图像信号处理装置的效果以外，与实施例21的图像信号处理装置相比，还具有即使当附加相位差偏置后的相位差θ变为0或在0附近时、或者被判定为与场#1上的处理对象的像素对应的像素不在场#2上的情况下，处理结果也不会变得不稳定，能够获得稳定的输出图像的效果。

【实施例26】

利用图44说明本发明的实施例26的图像信号处理方法。

实施例26是通过与软件协作的控制部实现与实施例25的图像信号处理装置中的图像信号处理等价的处理的图像信号处理方法。因为进行本实施例的图像信号处理方法的图像处理装置是与实施例2相同的图18所示的图像处理装置，所以省略说明。

在图44中，表示本实施例的图像信号处理装置的动作流程的一个例子。图44的流程是相对于图16所示的流程，追加对图40(b)所示的偏置进行校正的步骤(4401)，并且将步骤(1402)(1403)的各输入从帧#1、帧#2变更成场#1、场#2的流程。

关于其他的步骤，因为与图16所示的流程相同，所以省略说明。

而且，因为对偏置进行校正的步骤(4401)的动作的详细内容与对图42所示的偏置进行校正的步骤(4201)相同，所以省略说明。

以上说明的实施例26的图像信号处理方法，除了实施例22的图像信号处理方法的效果以外，与实施例22的图像信号处理方法相比，还具有即使当附加相位差偏置后的相位差θ变为0或在0附近时或者被判定为与场#1上的处理对象的像素对应的像素不在场#2上的情况下，处理结果也不会变得不稳定，能够获得稳定的输出图像的效果。

【实施例27】

本发明的实施例27的图像显示装置是在实施例13的图像显示装置中，将图36所示的图像信号处理部3504替换成在实施例21、实施例23或者实施例25中的一个实施例所记载的图像信号处理装置的图像显示装置。由于其他结构与实施例13的图像显示装置相同，因此省略说明。

此外，因为图像信号处理部3504的详细的动作与实施例21、实施例23或者实施例25中记载的相同，因此省略说明。

根据实施例27的图像显示装置，将隔行扫描的各个场(#1、#2……)看作扫描线数为1/2的帧，每隔一个在场整体上附加垂直方向的偏置使其移动。在这样生成的连续的图像中，对2枚图像进行位置推定，计算出相位差，对该相位差进行与上述偏置相当的相位差偏置的校正。在此，对上述2枚图像的信号进行相位移动，从各个图像信号分别生成2个信号。由此，从2枚图像信号生成4个信号。在此，根据校正后的相位差，对该4个信号的各个信号，按每个像素计算出用于消除该4个信号的折返成分并进行合成的系数。关于生成的图像的各个像素，计算出在上述4个信号的各个信号所具有的对应像素的像素值上乘以各系数后相加的和，生成新的高分辨率图像的像素值。通过对生成图像的各个像素进行上述处理，生成新的高分辨率图像，并将该高分辨率图像作为逐行扫描的帧图像在显示部进行显示。

由此，实施例27的图像显示装置能够利用隔行扫描的2个场，生成垂直分辨率的降低少的逐行扫描图像，在显示部进行显示。

此外，实施例27的图像显示装置由于使用2枚输入图像帧，所以需要的图像处理的量少。由此，能够低成本实现生成垂直分辨率的降低少的逐行扫描图像并进行显示的图像显示装置。

【实施例28】

本发明的实施例28的录像再现装置是在实施例17的录像再现装置中，将图36所示的图像信号处理部3504替换成在实施例21、实施例23或者实施例25的实施例中的一个实施例所记载的图像信号处理装置的录像再现装置。由于其他结构与实施例17的录像再现装置相同，因此省略说明。

此外，因为图像信号处理部3504的详细的动作与实施例21、实施例23或者实施例25中记载的相同，因此省略说明。

根据本发明的实施例28的录像再现装置，将隔行扫描的各个场(#1、#2……)看作扫描线数为1/2的帧，每隔一个在场整体上附加垂直方向的偏置使其移动。在这样生成的连续的图像中，对2枚图像进行位置推定，计算出相位差，对该相位差进行与上述偏置相当的相位差偏置的校正。在此，对上述2枚图像的信号进行相位移动，从各个图像信号分别生成2个信号。由此，从2枚图像信号生成4个信号。在此，根据校正后的相位差，对该4个信号的各个信号，按每个像素计算出用于消除该4个信号的折返成分并进行合成的系数。关于生成的图像的各个像素，计算出在上述4个信号的各个信号所具有的对应像素的像素值乘以各系数后相加的和，生成新的高分辨率图像的像素值。通过对生成图像的各个像素进行上述处理，能够生成新的高分辨率图像，并将该高分辨率图像作为逐行扫描的帧图像而生成，并将其输出。

由此，实施例28的录像再现装置能够利用隔行扫描的2个场，生成垂直分辨率的降低少的逐行扫描图像，并进行输出。

此外，预先在记录部中记录有隔行扫描的输入影像信号，当从该记录部进行再现时，能够利用进行再现的隔行扫描的2个场，生成垂直分辨率的降低少的逐行扫描图像，并进行输出。

此外，实施例28的录像再现装置由于使用2枚输入图像帧，所以需要的图像处理的量少。由此，能够低成本实现生成垂直分辨率的降低少的逐行扫描图像并进行输出的录像再现装置。

【实施例29】

图45表示本发明的实施例29的结构。如上所述，在使用地上波和卫星(BS、CS)的现在的数字电视播放中，除了现有的SD(StandardDefinition：标准清晰度)的图像信号以外，还通过HD(High Definition：高清晰度)的图像信号播放节目。但是已知如该图(a)的发送机(4505)的结构所示，并不是全部节目置换成通过HD照相机(4501)摄影的图像信号，而是通过SD→HD变换器(4503)将通过SD照相机(4502)摄影的图像信号变换(升频)成与HD具有相同像素数的信号，在每个节目或者每个场景，通过切换器(4504)进行切换，输出至传送路径(4506)。其中，传送路径(4506)不仅包括播放，也包括通信、存储(录像)等。在现有的接收机中，由于在接收的信号为通过HD照相机(4501)摄影的图像信号的情况下，再现分辨率高的图像；在SD→HD变换(升频)后的图像信号的情况下再现分辨率低的图像，因此，存在以每个节目或者每个场景频繁切换分辨率而观看困难的情况。

因此，如果如图45(b)所示构成接收机(4514)，则能够降低上述分辨率差，能够防止分辨率频繁切换。以下对该结构详细进行说明。

其中，低分辨率图像信号和高分辨率图像信号的组合不限于SD图像信号和HD图像信号，只要是像素数不同的信号的组合，无论什么样的信号的组合均可。例如，可以是将像素数为1440×1080的图像作为低分辨率图像信号，将像素数为1920×1080的图像作为高分辨率图像信号的组合。此外，也可以是将像素数为720×480的图像作为低分辨率图像信号，将像素数为720×576的图像作为高分辨率图像信号的组合。在以下的记载中，为了说明，使用SD(Standard Definition：标准清晰度)的图像信号作为低分辨率图像信号的一个例子，使用HD(High Definition：高清晰度)的图像信号作为高分辨率图像信号的一个例子。

在图45(b)中，由输入部(1)接收信号，通过升频检测部(4507)，输出判定已接收的信号是否为SD→HD变换(升频)后的信号的判定结果(UC_on_off)，并且在SD→HD变换(升频)后的信号的情况下，输出后述的水平放大率(MR-H)和垂直放大率(MR-V)。在SD→HD变换(升频)后的信号的情况下，通过图像信号处理部(4515)，以水平放大率(MR-H)和垂直放大率(MR-V)为基础，通过HD-SD变换器(4508)将接收的信号逆变换(降频)成升频前的像素数。并且将该逆变换后的信号通过后述的分辨率变换块(4509)再次变换成与已接收的信号相同的分辨率，输入切换器(4510)。在切换器(4510)中，根据上述判定结果(UC_on_off)，在SD→HD变换(升频)后的信号的情况下，切换到on侧，输出分辨率变换块(4509)的结果，在不是SD→HD变换(升频)后的信号的情况下，切换到off侧照原样输出已接收的信号。即，仅在SD→HD变换(升频)后的信号的情况下，有选择性地使分辨率变换块(4509)作用。在接收机(4514)为电视接收机的情况下，照原样在显示部(4511)显示切换器(4510)的输出即可。在接收机(4514)为中转器、编辑机、记录机(视频记录器)等的情况下，在通过传送器(4512)变换成适于传送路径(4513)的信号方式以后进行传送即可。其中，传送路径(4513)不仅包括播放，也包括通信、存储(录像)等。此外，传送器(4512)就这样使用现有的一般的中转器、编辑器、记录机(视频记录器)的技术即可。

图46表示SD→HD变换器(4503)和HD-SD变换器(4508)的一般的结构。两种变换都是对构成一个画面的像素数(样本数)进行变换的采样频率变换器，已知利用现有技术，通过该图(a)的多相(ポリフエ一ズ)型和该图(b)的超采样(オ一バサンプリング)型的结构能够加以实现。例如，在将像素数变更为m/n(其中，m、n为整数)的情况下，在该图(a)的多相型中，准备m组具有规定的特性的插补低通滤波器(4601)，按照由m和n所决定的规定的顺序，通过切换器(4602)切换插补低通滤波器(4601)的输出并进行输出。在该图(b)的超采样型中，首先通过提升器(4603)提升到m倍(即，以每m个像素依次配置输入数据，在其中的(m-1)个像素中插入“0”)以后，加上具有规定特定的插补低通滤波器(4604)，通过降低(downrate)器(4605)降低至1/n倍(即以每n个像素等距离地选择一个像素间拔输出)。这些也可以使用现有技术。

图47表示一般的SD→HD变换(升频)的具体的动作例。作为通过SD照相机(4502)摄影的SD图像(纵横比4∶3)，例如为该图(a)(b)(c)所示的形态。该图(a)的SD图像是在画面满满地拍摄图像，正圆无变形地作为正圆进行拍摄而成。该图(b)的SD图像是预先假定在变换为宽纵横比(16∶9)的HD图像时在画面满满地显示的情况，按照在画面上下产生无画部(黑)的方式进行拍摄，正圆无变形地作为正圆进行拍摄而成。该图(c)的SD图像是预先假定在变换为宽纵横比(16∶9)的HD图像时在画面满满地显示的情况，并且作为SD图像也以没有无画部(黑)的方式进行拍摄，以正圆纵向拉伸的椭圆的方式拍摄而成。若将这些SD图像分别变换为HD图像，由于两者的纵横比不同，则变为该图(d)(e)所示的形态是众所周知的。该图(d)的HD图像按照将该图(a)的SD图像的正圆无变形地作为正圆加以显示的方式进行放大，以在画面的左右产生无画部(黑)的方式变换像素数。该图(e)的HD图像以不产生无画部(黑)的方式将该图(b)(c)的SD图像分别放大为布满整个画面进行像素数变换。

图48表示上述一般的SD→HD变换(升频)中的水平和垂直的各放大率(像素数比)的一个例子。这里，假定SD图像为水平720像素×垂直480像素，HD图像为水平1920像素×垂直1080像素。该图(1)的切边(side cut)方式是从图47(a)所示的SD图像变换成(d)所示的HD图像的方式，水平的放大率为2倍(＝1920/720×3/4)，垂直的放大率为9/4倍(＝1080/480)。该图(2)的信箱(レタ一ボツクス)方式是从图47(b)所示的SD图像变换成(e)所示的HD图像的方式，水平的放大率为8/3倍(＝1920/720)，垂直的放大率为3倍(＝1080/480×4/3)。该图(3)的挤压(スクイ一ズ)方式是从图47(c)所示的SD图像变换成(e)所示的HD图像的方式，水平的放大率为8/3倍(＝1920/720)，垂直的放大率为9/4倍(＝1080/480)。其中，除了上述以外，假定作为HD图像为水平1440像素×垂直1080像素或者水平1280像素×垂直720像素等，能够与上述相同地求出水平放大率和垂直放大率。

图49表示图45所示的升频检测部(4507)的具体的结构例。这里，SD→HD变换(升频)时的放大率假定为图48所示的水平放大率和垂直放大率。在该图中，输入升频检测部(4507)的信号在由后述的具有通过带宽特性的水平高通滤波器(4901-1)(4901-2)、垂直高通滤波器(4901-3)(4901-4)进行带宽限制以后，分别输入有无信号成分判定部(4902-1)(4902-2)(4902-3)(4902-4)。在有无信号成分判定部(4902-1)中，在通过绝对值化器(4903-1)和平滑器(4904-1)求出信号的包络线以后，通过二值化器(4905-1)与规定的阈值进行比较进行二值化，通过频率计测器(4906-1)计测超过该阈值的频率，判定信号成分的有无。即，每单位时间(例如每一帧)，如果通过上述高通滤波器(4901-1)的信号多则判定为“有信号成分”，如果通过上述高通滤波器(4901-1)的信号少则判定为“无信号成分”。作为平滑器(4904-1)，使用一般的二维低通滤波器即可。关于其他的有无信号成分判定部(4902-2)(4902-3)(4902-4)也为同样的结构，进行同样的判定。在水平放大率判定部(4907)和垂直放大率判定部(4908)中，根据后述的判定方法对上述的各有无信号成分判定部的结果进行分析，分别输出是否为SD→HD变换(升频)过的信号的检测结果(UC_on_off)以及水平放大率(MR-H)或者垂直放大率(MR-V)。在综合判定器(4909)中，综合水平放大率判定部(4907)和垂直放大率判定部(4908)的检测结果(UC_on_off)，如果判定任意一方都不是SD→HD变换(升频)过的信号(off)，则将检测结果(UC_on_off)作为off输出。此外，由于假定SD→HD变换(升频)在数帧～数秒间连续则相同的结果连续，所以优选通过由存储器构成的履历保存器(4910)保存有过去的履历，通过综合判定器(4909)取出过去的多个检测结果和多数决定等，进行避免检测结果(UC_on_off)、各放大率(MR-H)(MR-V)急剧变化的处理(除去孤立点)。

在此，若将能够以HD图像的像素数表现的最高频率(角频率)作为π，将信号中包含的成分的频率(角频率)作为ω，则以图48所示的放大率为基础，水平高通滤波器(4901-1)将(π/2≤ω≤π)的水平频率作为通过带宽，水平高通滤波器(4901-2)将(3π/8≤ω≤π)的水平频率作为通过带宽，垂直高通滤波器(4901-3)将(4π/9≤ω≤π)的垂直频率作为通过带宽，垂直高通滤波器(4901-4)将(π/3≤ω≤π)的水平频率作为通过带宽。即，将各放大率的倒数乘以上述最高频率(角频率)π后的值作为各高通滤波器的截止频率。

图50表示(a)水平放大率判定部(4907)和(b)垂直放大率判定部(4908)的各动作。在各判定器(4907)(4908)中，利用“放大后的图像中包含的高频成分的量根据放大率而变化”的一般性质，判定各放大率。即，在(a)水平放大率判定部(4907)，由3π/8＜π/2的关系，当水平频率ω有(π/2≤ω≤π)的成分时判定为“未被放大”(摄影时使用HD照相机)，使检测结果(UC_on_off)在off侧(未被升频)。当水平频率ω没有(π/2≤ω≤π)的成分但是有(3π/8≤ω≤π)的成分时判定为“已放大至2倍以上，但未放大至8/3倍以上”，判定水平放大率(MR_V)为2倍，检测结果(UC_on_off)在on侧(已升频)。当水平频率ω也没有(3π/8≤ω≤π)的成分时，判定“已放大至8/3倍以上”，判定水平放大率(MR_V)为8/3倍，检测结果(UC_on_off)在on侧(已升频)。同样地，在(b)垂直放大率判定部(4908)中，由π/3＜4π/9的关系，当垂直频率ω有(4π/9≤ω≤π)的成分时判定为“未被放大”(摄影时使用HD照相机)，使检测结果(UC_on_off)在off侧(未被升频)。当垂直频率ω没有(4π/9≤ω≤π)的成分但是有(π/3≤ω≤π)的成分时判定为“已放大至9/4倍以上，但未放大至3倍以上”，判定垂直放大率(MR_V)为9/4倍，检测结果(UC_on_off)在on侧(已升频)。当垂直频率ω也没有(π/3≤ω≤π)的成分时，判定“已放大至3倍以上”，判定水平放大率(MR_V)为3倍，检测结果(UC_on_off)在on侧(已升频)。如果根据这些判定结果，对图45所示的切换器(4510)进行切换，则能够仅在SD→HD变换(升频)过的信号的情况下有选择性地使分辨率变换块(4509)作用，并且能够控制HD/SD变换器(4508)的动作，使得分辨率变换块(4509)的输入变为摄影时的SD照相机(4502)的像素数。

图51(a)表示图45所示的分辨率变换块(4509)的详细结构。在该图中，若假定通过前段的HD/SD变换器(4508)将水平像素数变换成1/MR-H＝nH/mH倍(其中，nH、mH为整数)，并且将垂直像素数变换成1/MR-V＝nV/mV倍(其中，nV、mV为整数)，则在分辨率变换块(4509)中，利用上述本发明的实施例所示的结构(实施例1至实施例12)，将水平像素数变换成mH/nH倍，并且将垂直像素数变换成mV/nV倍，而且想要进行高分辨率化。

因此，在本实施例中，可以如图51(a)所示，一旦通过分辨率变换部(5101)将水平像素数变换成kH倍，并且将垂直像素数变换成kV倍进行图像放大以后，通过使图46所示的一般的像素数变换器(5102)分别在水平方向、垂直方向作用，进行剩余的放大率(水平：mH/(nH*kH)倍，垂直：mV/(nV*kV)倍)的图像尺寸变换。此时，分辨率变换部(5101)使用进行实施例7乃至实施例12所示的二维方向的图像高分辨率化的图像处理装置即可。其中关于实施例7乃至实施例12所示的图像处理装置的结构，因为在各实施例中业已说明，所以省略说明。

例如，在通过分辨率变换块(4509)将图像尺寸放大为水平8/3倍且垂直9/4倍时，在通过分辨率变换部(5101)将图像尺寸放大为水平2倍且垂直2倍以后，再通过一般的像素数变换器(5102-H)在水平方向放大为4/3倍，然后通过一般的像素数变换器(5102-V)在垂直方向放大为9/8倍即可。此外，例如在通过分辨率变换部(5101)放大为水平4倍且垂直4倍以后，再通过一般的像素数变换器(5102-H)在水平方向缩小至2/3倍，然后通过一般的像素数变换器(5102-V)在垂直方向缩小至9/16倍即可。虽然存在分辨率变换部(5101)的放大率越大则分辨率越高画质越好的可能性，但是由于与之相伴的分辨率变换处理所需要的输入帧数也增加因而电路规模增大，所以画质和成本相互制衡(トレ一ドオフ)。其中，一般的像素数变换器(5102-H)(5102-V)可以由图46所示的(a)多相型和(b)超采样型的任意一种构成。

此外，水平、垂直方向的各个处理的顺序也可以为相反的顺序。

其中，在上述的说明中，一般的像素数变换器(5102-H)(5102-V)的变换倍率是以使得HD/SD变换器(4508)的输入图像的像素尺寸和来自分辨率变换块(4509)的输出尺寸为相同的值的方式进行了说明，但是为了将来自分辨率变换块(4509)的输出尺寸与显示部(4511)的像素数结合，也可以使用变更后的值。

图52表示关于图45所示结构中的水平方向的变换处理的(a)发送机(4505)的SD→HD变换(升频)(4503)、(b)接收机(4514)的HD/SD变换(降频)(4508)和分辨率变换块(4509)的动作。其中，由于垂直方向也是同样的动作，所以省略关于垂直方向的说明。这里，作为分辨率变换块(4509)假定图51所示的结构，并且SD→HD变换(4503)、HD/SD变换(4508)、一般的采样变换器(5102)假定分别为多相型。此外，作为动作的一个例子，以下使从SD图像变换成HD图像时的水平放大率为8/3(＝1920/720)而进行说明。

图52表示各部的输出信号的频谱，该图(a)～(k)的横轴表示频率f，纵轴表示信号成分的强度，向上的箭头(5201)表示采样载波的位置(频率)。此外，使SD图像的水平采样频率为fs，SD→HD变换后的HD图像的水平采样频率为fs’(＝8/3fs)。

图52(a)表示SD照相机(4502)的输出信号的频谱，假定原本包含奈奎斯特频率(＝fs/2)以上的频率成分。对于该信号，由于在水平方向放大至8/3倍，所以在SD→HD变换(4503)中，进行8倍提升、插补低通滤波器、1/3倍降低的各个处理。

图52(b)表示SD→HD变换(4503)中的8倍提升器(4603)的输出信号的频谱，表示该图(a)所示的采样载波的间隔从fs扩大至8fs。

图52(c)表示SD→HD变换(4503)中的插补低通滤波器(4604)的输出信号的频谱。若假定插补低通滤波器(4604)的截止频率为fs/2，则如该图所示仅仅剩余f＝0和f＝8fs附近的频率成分，其他频率成分被除去。此时，奈奎斯特频率(＝fs/2)以上的频率成分作为折返成分而残留。

图52(d)表示SD→HD变换(4503)中的1/3倍降低器(4605)的输出信号的频谱(周波数スペクトル)，在SD→HD变换后的采样频率fs’(＝8fs/3)的整数倍的位置产生新的采样载波(サンプリングキヤリア)。对于该采样载波，通过插补低通滤波器(4604)的频率成分被叠入。

这里，图52(d)表示流过图45所示的传送路径(4506)的SD→HD变换后的信号的频谱，奈奎斯特频率(＝fs/2)以上的频率成分不残留在原本的位置这一点与图3和图4所示的原信号的频谱大大不同。即，对于该信号，即使就这样进行本发明的分辨率变换处理，奈奎斯特频率(＝fs/2)以上的频率成分也不能再现。

因此，为了从SD→HD变换后的信号中再现奈奎斯特频率(＝fs/2)以上的频率成分，需要进行图45(b)接收侧(4514)所示的HD/SD变换(4508)和分辨率变换块(4509)。以下，以图51所示的结构为基础说明图52(e)～(k)所示的各个频谱。其中，以下将表示图51中的放大率的各变量(n、m、k)作为n＝3、m＝8、k＝2，进行说明。

图52(e)表示HD/SD变换(4508)中的3倍提升器(4603)的输出信号的频谱，表示该图(d)所示的采样载波的间隔从fs’(＝8fs/3)扩大至3fs’(＝8fs)。

图52(f)表示HD/SD变换(4508)中的插补低通滤波器(4604)的输出信号的频谱。若假定插补低通滤波器(4604)的截止频率(カツトオフ周波数)为fs/2，则如该图所示仅仅剩余f＝0和f＝8fs附近的频率成分，其他频率成分被除去。此时，奈奎斯特频率(＝fs/2)以上的频率成分作为折返成分而残留。而且，从该图(e)的频谱可知，如果将插补低通滤波器(4604)的截止频率设定为fs/2～((fs’-fs/2)＝13fs/6)的范围，则能够除去以fs’(＝8fs/3)和2fs’(＝16fs/3)为中心的不要的频率成分。

图52(g)表示HD/SD变换(4508)中的1/8倍降低器(4605)的输出信号的频谱，在HD/SD变换后的采样频率fs(＝3fs’/8)的整数倍的位置产生新的采样载波。对于该采样载波，通过插补低通滤波器(4604)的频率成分被叠入。

这里图52(g)表示奈奎斯特频率(＝fs/2)以上的频率成分残留在原本的位置，与图3和图4所示的原信号的频谱相同。即，对于该信号，如果就这样进行本发明的分辨率变换处理，能够再现奈奎斯特频率(＝fs/2)以上的频率成分。

图52(h)表示本发明的分辨率变换器(5101)的输出信号的频谱，如利用图4等进行过的动作说明那样，能够消除以fs、3fs、5fs、7fs为中心的不要的折返成分，再现原信号的奈奎斯特频率(＝fs/2)以上的频率成分。以下，为了与传送的HD信号的像素数配合，通过一般的采样变换器(5102)放大至4/3倍。

图52(i)表示采样频率变换器(5102)中的4倍提升器(4603)的输出信号的频谱，表示该图(h)所示的采样载波的间隔从2fs扩大至8fs。

图52(j)表示采样频率变换器(5102)中的插补低通滤波器(4604)的输出信号的频谱。若假定插补低通滤波器(4604)的截止频率为fs，则如该图所示仅仅剩余f＝0和f＝8fs附近的频率成分，其他频率成分被除去。

图52(k)表示采样频率变换器(5102)中的1/3倍降低器(4605)的输出信号的频谱，在与从发送侧所传送的信号相同的采样频率fs’(＝8fs/3)的整数倍的位置产生新的采样载波。对于该采样载波，通过插补低通滤波器(4604)的频率成分被叠入。

通过上述动作，在图52(d)的频谱中从发送侧所传送的信号通过图45(b)的接收机(4514)变换成如图52(k)所示，在显示部(4511)再现比从SD照相机(4502)输出的图像更高分辨率的输出图像。因此，能够降低通过HD照相机(4501)拍摄的图像信号与通过SD照相机(4502)拍摄并SD→HD变换(升频)后的图像信号之间的分辨率差，能够解决频繁切换分辨率而变得难以观看的问题。

其中，在图52中，以水平方向的图像放大为例进行了说明，但是垂直方向的图像放大也为同样的动作，这是很明显的。此外，放大率也并不限定在8/3倍，在其他倍率下也为同样的动作。

此外，图45所示的(b)接收侧(4514)的信号处理不必为实时(リアルタイム)动作，也可以在将从传送路径(4506)接收的信号暂时记录在视频记录机等以后，通过非实时处理(离线处理)实施分辨率变换以后再次记录在视频记录机等，在显示部(4511)进行再现时实时显示。这时记录在视频记录机等的部分，相当于将该图(b)接收部(4514)所示的传送器(4512)考虑为视频记录机的记录部，将传送路径(4513)考虑为记录介质(影碟、录像磁带等)的情况。

此外，在图45中可知，对于通过(a)发送机(4505)由HD照相机(4501)拍摄的信号，在想要通过(b)接收机(4514)进一步变换成高分辨率(也包括I-P变换)并在显示部(4511)进行显示的情况下，也可以在切换器(4510)之后插入本发明的分辨率变换块(4509)。或者，在切换器(4510)的off侧的输入中插入本发明的分辨率变换块(4509)，将通过HD照相机(4501)拍摄的信号变换成高分辨率，并且提高HD/SD变换(降频)(4508)后的分辨率变换块(4509)的放大率也为同一动作。

此外，在图45中，也不是必须在(b)接收机(4514)中具备显示部(4511)、传送器(4512)。即，也可以不是与(b)接收机(4514)在同一框体内一体化，而是将切换器(4510)的输出信号作为接口的单独的结构。

此外，在图45中，对通过升频检测部(4507)自动检测是否为进行过SD→HD变换(升频)的信号的检测结果(UC_on_off)、水平放大率(MR-H)、垂直放大率(MR-V)的结构进行了描述，但是在预先判明这些的情况下，不需要升频检测部(4507)。例如，从发送机(4510)通过传送路径(4506)传送图像帧和模式识别信息，在该模式识别信息中存储有是否为进行过SD→HD变换(升频)的信号的检测结果(UC_on_off)、水平放大率(MR-H)、垂直放大率(MR-V)的各信息的情况下，通过接收机(4514)读取模式识别信息，照原样使用上述各信息即可。或者，在通过标准规格等水平放大率(MR-H)、垂直放大率(MR-V)原本就明确的情况下，使用通过上述标准规格等所决定的固定值即可。

此外，在图45中，为了说明简单，以(a)发送机(4505)对从HD照相机(4501)或者SD照相机(4502)得到的信号就这样实时进行发送而进行了说明，但是本发明不限定于此，对于对从HD照相机(4501)或者SD照相机(4502)得到的信号进行过录像、再现的信号或者进行过编辑的信号，当然也具有同样的效果。

此外，在图45中，SD→HD变换(4503)不是配置在(a)发送机(4505)中，即使配置在(b)接收机(4514)的前段也具有同样的效果也是明确的。例如，在同一电视接收机内，在想要通过多LSI芯片结构实现高分辨率化时，在通过前段的LSI芯片进行过SD→HD变换(4503)以后，通过后段的LSI芯片进行该图(b)接收机(4514)所示的分辨率变换处理也可。在这种情况下，HD图像的像素数不必要为通过播放规格等决定的规定的像素数，也可以配合显示部(4511)的像素数，例如为水平1024像素×垂直1024像素或水平1366像素×垂直768像素等。

接着，在图53中表示本实施例的接收机的动作的流程的一个例子。在图53的流程中，处理从步骤(5301)开始，在判定在步骤(5302)中输入的多枚图像信号是否为进行过SD→HD变换(升频)的信号之后，如果不是进行过SD→HD变换(升频)的信号，则在步骤(5307)中结束处理。另一方面，在是进行过SD→HD变换(升频)的信号的情况下，在步骤(5303)中，判定水平放大率(MR-H)和垂直放大率(MR-V)。作为该判定方法，由于就这样使用利用图49和图50说明过的上述步骤即可，所以省略图示。接着，在步骤(5304)中，以判定的水平放大率(MR-H)和垂直放大率(MR-V)为基础，以回复到摄影时的像素数的方式进行HD/SD变换(降频)。即，在步骤(5304)中，进行水平放大率(1/MR-H)、垂直放大率(1/MR-V)的图像缩小。在步骤(5305)中，利用图14乃至图16所示的处理步骤(5)、图33所示的步骤(6)、或者图42乃至图44所示的步骤(7)的任意一种，进行从在步骤(5304)中被变换后的多个图像中生成高分辨率图像的分辨率变换(高分辨率化)。在此，在步骤(5305)中，在水平方向和垂直方向分别进行整数倍的图像放大。例如，使步骤(5305)中的水平放大率为(kH)、垂直放大率为(kV)，其后，在步骤(5306)中，以上述放大率(MR-H、MR-V、kH、kV)为基础，进行一般的像素数变换并进行输出。即，在步骤(5306)中，进行水平放大率(MR-H/kH)、垂直放大率(MR-V/kV)的图像放大(或者缩小)并进行输出。其中，步骤(5302)和步骤(5303)的动作与图45所示的升频检测(4507)的动作对应，步骤(5304)的动作与图45所示的HD/SD变换(4508)的动作对应，步骤(5305)的动作与图51所示的分辨率变换部(5101)的动作对应，步骤(5306)的动作与图51所示的一般的像素数变换部(5102)的动作对应。

以上说明的实施例29的接收装置从输入影像中对将低分辨率影像在残留折返成分的状态下升频成高分辨率的影像和原本折返成分就少的高分辨率影像进行判别。在判断输入影像为前者的影像的情况下，对该升频影像进行降频(ダウンコンバ一ト)，并且进行实施例7乃至实施例12所示的二维方向的高分辨率化处理。由此，即使为前者的影像也能够变换成将折返成分降低后的高分辨率的影像。

因此，在实施例29的接收装置所显示或者输出的影像中，能够降低前者的影像和后者的影像之间的分辨率的差，能够防止分辨率频繁切换。

【实施例30】

本发明的实施例30的接收装置是在实施例29的接收装置中，将图51(a)所示的分辨率变换块(4509)替换成图51(b)中记载的分辨率变换块(4509)的接收装置。

图51(b)中记载的分辨率变换块(4509)与图51(a)所示的分辨率变换块(4509)不同，对水平方向进行过分辨率变换、提升处理、降低处理以后，对垂直方向进行分辨率变换、提升处理、降低处理。此时，垂直、水平方向的各个处理的顺序也可以相反。这样，通过分别独立进行分辨率变换、提升处理、降低处理，能够成为共用进行各方向的分辨率变换、提升处理、降低处理的硬件的结构。即，按照具备多个具有相同结构的硬件，分别在水平方向、垂直方向进行处理的方式构成即可。在这种情况下，通过硬件的共用起到降低部件成本的效果。

此时，H方向的分辨率变换部(5101-H)和V方向的分辨率变换部(5101-V)进行实施例1乃至实施例6所示的一维方向的高分辨率化处理即可。其中，关于进行实施例1乃至实施例6所示的一维方向的高分辨率化处理的结构，因为在各实施例中业已说明，因此省略说明。

其他的结构由于与实施例29的接收装置相同，所以省略说明。

以上说明的实施例30的接收装置，除了实施例29的接收装置的效果以外，还具有能够比实施例29的接收装置更低成本地实现的效果。

【实施例31】

本发明的实施例31的接收装置是在实施例29的接收装置中，将图51(a)所示的分辨率变换块(4509)替换成图51(c)中记载的分辨率变换块(4509)的接收装置。

图51(c)中记载的分辨率变换块(4509)与图51(a)所示的分辨率变换块(4509)不同，仅在一维方向进行分辨率变换、提升处理、降低处理。例如，一维分辨率变换部(5101-1)进行实施例1乃至实施例6所示的一维方向的高分辨率化处理即可。其中，关于进行实施例1乃至实施例6所示的一维方向的高分辨率化处理的结构，因为在各实施例中业已说明，因此省略说明。

其他的结构由于与实施例29的接收装置相同，所以省略说明。即，实施例31的接收装置是在接收例如接收的影像仅在一维方向升频的播放等的情况下，仅对一维方向进行高分辨率化的接收装置。

此时，图51(c)中记载的分辨率变换部的结构比图51(a)所示的分辨率变换块(4509)更简便地构成。因此，具有降低部件成本的效果。

以上说明的实施例31的接收装置从输入影像中对将低分辨率影像在残留折返成分的状态下升频成高分辨率的影像和原本折返成分就少的高分辨率影像进行判别。在判断输入影像为前者的影像的情况下，对该升频影像进行一维方向的降频，并且进行实施例1乃至实施例6所示的一维方向的高分辨率化处理。由此，即使为前者的影像也能够变换成折返成分降低的高分辨率的影像。

因此，在实施例29的接收装置所显示或者输出的影像中，能够降低前者的影像和后者的影像之间的分辨率的差，能够防止分辨率频繁切换。

以上说明的实施例31的接收装置，除了实施例29的接收装置的效果以外，还具有能够比实施例29的接收装置更低成本地实现的效果。

其中，本发明的各个实施例，除了上述实施例中说明过的装置以外，还能够同样应用于例如DVD播放器、磁盘播放器、或者半导体存储播放器。此外，也能够应用于用于接收一段播放的便携式图像显示终端(例如便携式电话)。

此外作为图像帧，可以使用电视播放信号以外的信号的图像帧。此外，也可以使用例如通过英特网发送的数据流图像、从DVD播放器或HDD播放器再现的图像的图像帧。

此外，在上述各实施例中，对以帧为单位的高分辨率化作为例子进行了说明。但是高分辨率化的对象也可以不必是帧的整体。例如，以输入图像或者输入影像的帧的一部分作为高分辨率化的对象也可以。即，如果以输入影像的帧的一部分的多个帧作为对象实施上述本发明的一个实施例的图像处理，能够得到输入图像或者输入影像的一部分的高画质的放大图像。这能够应用于例如影像的一部分的放大显示等。

其中，将上述各个实施例任意组合，也能够得到本发明的一个实施方式。

根据上述本发明的各实施例，能够进行将低分辨率的图像适当地变换成放大图像的处理，能够适当地得到高画质的高分辨率图像。即能够对图像信号适当进行高分辨率化。

此外，根据上述本发明的各实施例，能够降低为了得到高画质的高分辨率图像所需要的图像的帧数。

Claims (21)

1.一种图像显示装置，其特征在于，包括：

输入部，其被输入隔行扫描方式的第一图像场和第二图像场；

图像信号处理部，其利用所述第一图像场和所述第二图像场中对应的各图像数据计算出采样位置的差，并且利用所述第一图像场和所述第二图像场的扫描线的空间上的位置差对所述位置的差进行校正，利用所述校正后的位置的差，对第一图像场和第二图像场进行变换处理并加以合成，生成一枚逐行扫描方式的图像帧；和

显示所述图像信号处理部生成的图像帧的显示部。

2.根据权利要求1所述的图像显示装置，其特征在于：

所述图像信号处理部，利用所述校正后的位置差，进行所述第一图像场和所述第二图像场的对位，增加各个场的像素数生成2枚高像素数图像，移动所述2枚高像素数图像的各个图像数据的相位，生成相位移动后的2个图像数据，利用所述校正后的相位差的信息决定系数，对所述相位移动前的2个图像数据和所述相位移动后的2个图像数据的共4个图像数据的各个图像数据乘以所述系数并且相加，生成一枚逐行扫描方式的图像帧。

3.根据权利要求1所述的图像显示装置，其特征在于：

在所述输入部中还输入有第三图像场的情况下，所述图像信号处理部，对所述第二图像场和所述第三图像场进行与对所述第一图像场和所述第二图像场进行过的处理相同的处理，生成一枚逐行扫描方式的图像帧。

4.一种图像信号处理装置，其特征在于，包括：

输入部，其被输入隔行扫描方式的第一图像场和第二图像场；

位置推定部，其利用所述第一图像场和所述第二图像场中对应的各图像数据计算出采样相位差；

偏置校正部，其利用所述第一图像场和所述第二图像场的扫描线的空间上的位置差对所述位置推定部所计算出的相位差进行校正；和

分辨率变换部，其利用所述偏置校正部所校正的相位差，对所述第一图像场和所述第二图像场进行变换处理并加以合成，由此生成一枚分辨率增加后的逐行扫描方式的输出图像帧。

5.根据权利要求4所述的图像信号处理装置，其特征在于：

所述分辨率变换部包括：运动补偿/提升部，其利用通过所述偏置校正部校正过的相位差，进行所述第一图像场和所述第二图像场的对位，增加各个场的像素数，生成2枚高像素数图像；

相位移动部，其对通过所述运动补偿/提升部增加像素数后的2枚图像的各个图像数据的相位进行移动，生成新的2枚图像数据；

系数决定部，其利用通过所述偏置校正部校正过的相位差的信息决定系数；和

加法器，其对通过所述运动补偿/提升部生成的2枚图像的图像数据和通过所述相位移动部生成的新的2枚图像的图像数据的共4枚图像数据的各个图像数据乘以所述系数并且输出将其相加后的帧。

6.根据权利要求4所述的图像信号处理装置，其特征在于：

在所述输入部中还输入有第三图像场的情况下，所述位置推定部、所述偏置校正部和所述分辨率变换部，对所述第二图像场和所述第三图像场进行与对所述第一图像场和所述第二图像场进行过的处理相同的处理，生成一枚新的逐行扫描方式的输出图像帧。

7.一种图像信号处理方法，其特征在于，包括：

输入隔行扫描方式的第一图像场和第二图像场的输入步骤；

使所述第一图像场和所述第二图像场的各个场的像素数增加的提升处理步骤；

利用所述第一图像场和所述第二图像场中对应的各图像数据计算出采样相位差的位置推定步骤；

利用所述第一图像场和所述第二图像场的扫描线的空间上的位置差对在所述位置推定步骤中所计算出的相位差进行校正的偏置校正步骤；和

利用在所述偏置校正步骤中校正过的相位差，对所述第一图像场的图像数据和所述第二图像场的图像数据进行变换处理并加以合成，得到一枚逐行扫描方式的输出图像帧的分辨率变换步骤。

8.根据权利要求7所述的图像信号处理方法，其特征在于：

所述分辨率变换步骤包括：对通过所述提升处理步骤增加像素数后的所述第一图像场和所述第二图像场的各个图像数据的相位进行移动，生成新的2个图像数据的相位移动步骤；

利用通过所述偏置校正步骤校正过的相位差的信息决定多个系数的系数决定步骤；和

对通过所述提升处理步骤生成的2个图像数据和在所述相位移动步骤中生成的新的2个图像数据的共4个图像数据的各个图像数据乘以所述多个系数中对应的系数并且进行相加，输出一枚逐行扫描方式的帧的输出步骤。

9.根据权利要求7所述的图像信号处理方法，其特征在于：

在所述输入步骤中，在输入所述第一图像场和所述第二图像场以外，还输入有第三图像场的情况下，对所述第一图像场和所述第二图像场进行所述提升处理步骤、所述位置推定步骤、所述偏置校正步骤和所述分辨率变换步骤，输出一枚帧，

再对所述第二图像场和所述第三图像场进行所述位置推定步骤、所述偏置校正步骤和所述分辨率变换步骤，输出一枚逐行扫描方式的帧。

10.一种图像信号处理装置，其特征在于，包括：

输入部，被输入按第一像素数构成的多个图像帧；

像素数变换检测部，其对输入所述输入部中的多个图像帧是否是从按比第一像素数少的第二像素数构成的图像帧变换而成的图像帧进行检测；和

图像信号处理部，其利用所述多个图像帧生成一个按比所述第二像素数多的第三像素数构成的图像帧，其中，

所述图像信号处理部的特性根据所述像素数变换检测部的检测结果而变化。

11.根据权利要求10所述的图像信号处理装置，其特征在于：

所述图像信号处理部包括：

像素数减少处理部，其进行减少输入的多个图像帧的像素数的变换；和

分辨率变换部，其利用通过所述像素数减少处理部进行变换后的多个图像帧，生成一枚按比从所述像素数减少处理部输出的多个图像帧的像素数多的像素数构成的图像，其中，

在所述像素数变换检测部检测出输入所述输入部中的多个图像帧是从按所述第二像素数构成的图像帧变换而成的图像帧的情况下，所述像素数减少处理部进行将所述多个图像帧从按所述第一像素数构成的图像帧变换成按所述第二像素数构成的图像帧的处理，所述分辨率变换部利用通过所述像素数减少处理部进行变换后的多个图像帧，生成一个按所述第三像素数构成的图像帧。

12.根据权利要求11所述的图像信号处理装置，其特征在于：

所述像素数减少处理部进行在水平方向和垂直方向减少所述输入的多个图像帧的像素数的变换处理，

所述分辨率变换部包括：

位置推定部，其对通过所述像素数减少处理部进行变换后的多个图像帧计算出水平方向和垂直方向的相位差，并且输出多个采样相位差数据；

像素数增加部，其利用所述位置推定部输出的多个采样相位差数据，变更通过所述像素数减少处理部进行变换后的帧的图像数据的位置，生成比通过所述像素数减少处理部进行变换后的图像帧的像素数多的2个高像素数图像数据；和

相位移动部，其分别对从所述像素数增加部输出的所述2个高像素数图像帧的图像数据进行多个相位移动处理，生成4个图像数据，其中，

通过将根据从所述位置推定部输出的多个采样相位差数据计算出的多个系数乘以从所述相位移动部输出的所述4个图像数据，输出一枚按比所述第二像素数多的像素数构成的图像帧。

13.根据权利要求10所述的图像信号处理装置，其特征在于：

所述像素数减少处理部进行将所述输入的多个图像帧的像素数在水平方向或者垂直方向的任意一个方向进行减少的变换处理，

所述分辨率变换部包括：

位置推定部，其对通过所述像素数减少处理部进行变换后的多个图像帧计算出在减少所述像素数的方向上的相位差，并且输出多个采样相位差数据；

像素数增加部，其利用所述位置推定部输出的采样相位差数据，变更通过所述像素数减少处理部进行变换后的帧的图像数据的位置，并生成比通过所述像素数减少处理部进行变换后的图像帧的像素数多的高像素数图像数据；和

相位移动部，其对从所述像素数增加部输出的所述高像素数图像数据进行相位移动处理，并且输出相位移动处理前的图像数据和相位移动处理后的图像数据的2个图像数据，其中，

通过将根据从所述位置推定部输出的多个采样相位差数据计算出的多个系数乘以从所述相位移动部输出的所述2个图像数据，输出一枚按比所述第二像素数多的像素数构成的图像帧。

14.根据权利要求10所述的图像信号处理装置，其特征在于：

所述像素数变换检测部根据对输入所述输入部的多个图像帧的图像数据进行过高通滤波处理后的数据量，对输入所述输入部中的多个图像帧是否是从按比第一像素数少的所述第二像素数构成的图像帧变换而成的图像帧进行检测。

15.一种图像信号处理方法，其特征在于，包括：

判别多枚输入图像是否为进行放大低分辨率图像的变换而生成的图像的像素数变换检测步骤；

在所述像素数变换检测步骤中，判别出所述输入图像为进行放大低分辨率图像的变换而生成的图像的情况下，计算出水平方向或者垂直方向的像素数的放大率的放大率计算步骤；

利用在所述放大率计算步骤中计算出的放大率，进行将所述输入图像缩小至所述低分辨率图像的像素数的变换的缩小变换步骤；和

从通过所述缩小变换步骤进行变换后的多个图像生成高分辨率图像的高分辨率图像生成步骤。

16.一种图像信号处理装置，其特征在于，包括：

被输入4枚图像帧的输入部；和

分辨率变换部，其通过对所述输入的4枚图像帧进行合成，输出在水平方向和垂直方向上已增加构成图像帧的像素数的输出图像帧。

17.根据权利要求16所述的图像信号处理装置，其特征在于：

所述分辨率变换部包括：

位置推定部，其对选自输入所述输入部中的4枚输入图像帧的2枚输入图像帧的多个组，计算出所述水平方向和垂直方向的相位差，并且输出多个采样相位差数据；

像素数增加部，其利用所述位置推定部输出的所述多个采样相位差数据，变更所述输入图像帧的图像数据的位置，并且生成比所述输入图像帧的像素数多的4个高像素数图像数据；

相位移动部，其分别对从所述像素数增加部输出的所述4个高像素数图像帧的图像数据进行多个相位移动处理，生成16个图像数据；和

输出部，其将根据从所述位置推定部输出的多个采样相位差数据计算出的多个系数乘以从所述相位移动部输出的所述16个图像数据，从而输出一枚按比所述输入图像帧的像素数多的像素数构成的图像帧。

18.根据权利要求16所述的图像信号处理装置，其特征在于：

所述分辨率变换部包括：位置推定部，其将输入所述输入部的4枚输入图像帧中的一个输入图像作为基准图像帧，利用所述基准图像帧上的图像数据和其他3个输入图像帧上的分别对应的图像数据，分别计算出水平方向和垂直方向的采样相位差，并且计算3组水平方向和垂直方向的采样相位差；

运动补偿/提升部，其利用所述3组水平方向和垂直方向的采样相位差，对所述4枚输入图像帧的图像数据进行运动补偿，并且生成在水平方向和垂直方向增加所述4枚输入图像帧的像素数后的高像素数的4枚图像帧；

相位移动部，其对所述运动补偿/提升部生成的4枚高像素数图像帧的各个高像素数图像帧，生成对图像数据在水平方向进行过相位移动的图像数据、在垂直方向进行过相位移动的图像数据、在水平·垂直方向进行过相位移动的图像数据，并且输出对各个高像素数图像帧生成的3个相位移动后的图像数据和相位移动前的图像数据；和

折返成分除去部，其对从所述相位移动部输出的多个图像数据乘以根据所述位置推定部计算出的3组水平方向和垂直方向的采样相位差计算出的系数而进行合成，输出使构成图像帧的像素数在水平方向和垂直方向增加后的输出图像帧。

19.一种图像信号处理方法，其特征在于，包括：

输入4枚图像帧的输入步骤；和

通过对所述输入的4枚图像帧进行合成，输出在水平方向和垂直方向增加构成图像帧的像素数后的输出图像帧的分辨率变换步骤。

20.根据权利要求19所述的图像信号处理方法，其特征在于：

所述分辨率变换步骤包括：对选自所述输入步骤中输入的4枚输入图像帧中的2枚输入图像帧的多个组，计算出所述水平方向和垂直方向的相位差，计算出多个采样相位差数据的位置推定步骤；

利用在所述位置推定步骤中计算出的所述多个采样相位差数据，变更所述输入图像帧的图像数据的位置，并且生成比所述输入图像帧的像素数多的4个高像素数图像数据的像素数增加步骤；和

分别对在所述像素数增加步骤中生成的所述4枚高像素数图像帧的图像数据进行多个相位移动处理，生成16个图像数据的相位移动步骤；和

将以在所述位置推定部步骤中计算出的多个采样相位差数据为基础计算出的多个系数乘以在所述相位移动步骤中生成的所述16个图像数据，输出一枚按比所述输入图像帧的像素数多的像素数构成的图像帧的输出步骤。

21.根据权利要求19所述的图像信号处理方法，其特征在于：

所述分辨率变换步骤包括：将在所述输入步骤中输入的4枚输入图像帧中的一个输入图像作为基准图像帧，利用所述基准图像帧上的图像数据和其他3个输入图像帧上的分别对应的图像数据，分别计算出水平方向和垂直方向的采样相位差，并计算出3组水平方向和垂直方向的采样相位差的位置推定步骤；

利用所述3组水平方向和垂直方向的采样相位差，对所述4枚输入图像帧的图像数据进行运动补偿，并且生成在水平方向和垂直方向增加所述4枚输入图像帧的像素数后的高像素数的4枚图像帧的运动补偿/提升步骤；

对在所述运动补偿/提升步骤中生成的4枚高像素数图像帧的各个高像素数图像帧，生成对图像数据在水平方向进行过相位移动的图像数据、在垂直方向进行过相位移动的图像数据、在水平·垂直方向进行过相位移动的图像数据，并且输出对各个高像素数图像帧生成的3个相位移动后的图像数据和相位移动前的图像数据的相位移动步骤；和

对在所述相位移动步骤中生成的多个图像数据乘以根据在所述位置推定步骤中计算出的3组水平方向和垂直方向的采样相位差所计算出的系数而进行合成，输出使构成图像帧的像素数在水平方向和垂直方向增加后的输出图像帧的折返成分除去部。

Images