CN101155255A - 图像信号处理装置、图像高分辨率化方法、图像显示装置 - Google Patents

Abstract

本发明涉及图像信号处理装置、图像高分辨率化方法、图像显示装置，提供以很少的帧数适宜地把图像信号或者活动图像的图像信号高分辨率化的技术，具备输入多个图像帧的输入部、通过在上述输入的图像帧中合成2张图像帧，与该输入图像帧上的被拍摄物体移动的方向相对应具有不同的分辨率变换特性，增加构成图像帧的像素数，得到输出图像帧的分辨率变换部，使用该分辨率变换部的输出结果得到高分辨率图像。

Description

图像信号处理装置、图像高分辨率化方法、图像显示装置

技术领域

本发明涉及用于使图像信号高分辨率的技术，特别是涉及通过合成多个图像帧，增加构成图像帧的像素数的同时去除不要的折叠成分而进行高分辨率化的技术。

背景技术

最近电视接收机正在发展大画面，一般并不是直接显示从广播或者通信、存储媒体等输入的图像信号而是通过数字信号处理，增加水平·垂直方向的像素数进行显示。这时，仅是根据使用了一般众所周知的sinc函数的内插低通滤波器或者样条函数增加像素数，不能够提高分辨率。

因此，如在特开平8-336046号、特开平9-69755号、非专利文献1(青木伸“基于多个数字的图像数据的超清晰处理”，Ricoh TechnicalReport pp.19-25，No.24，NOVEMBER，1998)中记载的那样，通过合成所输入的多个图像帧(以下，简记为帧)构成一个帧，进行高分辨率的同时增加像素数的技术(以下，称为现有技术)。

发明内容

在这些技术中，通过(1)位置推定、(2)宽带内插、(3)加权和的三个处理进行高分辨率化。这里，(1)位置推定是使用所输入的多个图像帧的各图像数据，推定各图像数据的抽样相位(抽样位置)的差的技术。(2)宽带内插是使各图像数据把折叠成分也包括在内，使用全部透过原信号的高频成分的宽带低通滤波器，内插并增加像素数(抽样点)，使图像数据成为高密度的技术。(3)加权和是根据与各高密度化数据的抽样相位相对应的加权系数，通过取加权和，抵消清除在图像抽样时产生的折叠成分的同时，恢复原信号的高频成分的技术。

图2中表示这些高分辨率化技术的概要。如该图(a)所示，设输入不同时间轴上的帧#1(201)、帧#2(202)、帧#3(203)，把它们合成后得到输出(206)。为了简单，首先考虑被拍摄物体沿着水平方向移动(204)的情况，考虑通过水平线(205)上的一维信号处理进行高分辨率化的情况。这时，如该图(b)和该图(d)所示，在帧#2(202)和帧#1(201)中，根据被拍摄物体的移动(204)的量产生信号波形的位置偏离。通过上述(1)位置推定，求该位置偏离量，如该图(c)所示，动态补偿(207)帧#2(202)使得没有位置偏离的同时，求各帧的像素(208)的抽样相位(209)(210)之间的相位差θ(211)。根据该相位差θ(211)，通过进行上述(2)宽带内插以及(3)加权和，如该图(e)所示，通过在原像素(208)的恰好中间(相位差θ＝π)的位置生成新像素(212)，实现高分辨率化。

关于(3)加权和在后面叙述。另外，实际上被拍摄物体的活动不只是平行移动，还应该考虑伴随着旋转或者放大·缩小等的活动，而在帧间的时间间隔微小的情况下或者被拍摄物体的活动迟缓的情况下，这些活动也能够近似地考虑为局部的平行移动。

在根据特开平8-336046号、特开平9-69755号、非专利文献1中记载的现有技术进行一维方向的2倍高分辨率化的情况下，在进行上述(3)加权和时，如图3所示，至少需要使用3张帧图像的信号。这里，图3在一维的频域下表示了各成分的频谱。该图中，距频率轴的距离表示信号强度，以频率轴为中心的旋转角表示相位。关于上述(3)的加权和在以下详细地说明。

如果按照上述(2)宽带内插，由透过奈奎斯特频率的2倍频带(频率0～抽样频率fs的频带)的宽带低通滤波器进行像素内插，则可以得到与原信号相同的成分(以下称为原成分)与抽样相位对应的折叠成分的和。这时，对于3张图像的信号如果进行上述(2)宽带内插的处理，则如图3(a)所示，可知各帧的原成分(301)(302)(303)的相位全部一致，折叠成分(304)(305)(306)的相位根据各帧的抽样相位的差旋转。为了易于了解各个相位关系，该图(b)表示各帧的原成分的相位关系，该图(c)表示各帧的折叠成分的相位关系。

这里，对于3张帧图像的信号，通过适当地选择乘法的系数进行上述(3)加权和，能够相互抵消去除各帧的折叠成分(304)(305)(306)，仅抽取出原成分。这时，各帧的折叠成分(304)(305)(306)的矢量和为0。即，为了使Re轴(实轴)的成分和Im轴(虚轴)的成分的双方都为0，至少需要3个的折叠成分。从而，为了实现2倍的高分辨率化，即为了去除1个折叠成分，需要至少使用3张帧图像的信号。

同样，如在特开平8-336046号、特开平9-69755号、非专利文献1中记载的那样，在对于水平·垂直的二维输入信号进行高分辨率化的情况下，由于折叠来自纵横两个方向，因此如果原信号的频带纵横都扩展2倍，则3个折叠成分重叠，为了消除这些成分需要2M+1＝7个数字数据(＝7张帧图像的信号)。

从而，现有技术的帧存储器或者信号处理电路的规模大而不经济。另外，由于需要正确地进行时间上分离的大量帧图像的位置推定因此结构复杂。即，现有技术难以例如把电视广播信号等活动图像的帧高分辨率化。

本发明适宜地把图像信号高分辨率化。

本发明的一个实施方式的特征是具备：输入n张(n是大于等于2的整数)图像帧的输入部；通过把上述输入的n张图像帧合成，与该输入图像帧上的被拍摄物体移动的方向相对应地具有不同的分辨率变换特性，把构成图像帧的像素数增加n倍，而得到输出图像帧的分辨率变换部。

依据上述结构，例如，能够更适宜地把图像信号高分辨率化。

依据本发明，能够更适宜地把图像信号高分辨率化。

本发明的其他目的和效果可以从附图和以后的详细说明中进一步了解。

附图说明

本发明的这些特征、目的和优点结合附图将从以下的说明书进一步明确，其中，

图1是本发明第1实施例的说明图。

图2说明一般的高分辨率化图像信号处理的动作的一个例子。

图3说明现有技术的动作。

图4说明了本发明第1实施例的动作。

图5是本发明第1实施例的说明图。

图6是本发明第1实施例的说明图。

图7是本发明第1实施例的说明图。

图8是本发明第1实施例的说明图。

图9是本发明第1实施例的说明图。

图10是本发明第2实施例的说明图。

图11是本发明第3实施例的说明图。

图12是本发明第3实施例的说明图。

图13是本发明第3实施例的说明图。

图14是本发明第4实施例的说明图。

图15是本发明第5实施例的说明图。

图16是本发明第6实施例的说明图。

图17说明了本发明的一个实施形态与现有技术的动作的差别。

图18是本发明第7实施例的说明图。

图19是本发明第7实施例的说明图。

图20是本发明第8实施例的说明图。

图21是本发明第9实施例的说明图。

图22是本发明第8以及第9实施例的说明图。

图23是本发明第8以及第9实施例的说明图。

图24是本发明第8以及第9实施例的说明图。

图25是本发明第8以及第9实施例的说明图。

图26是本发明第8以及第9实施例的说明图。

图27是本发明第10实施例的说明图。

图28是本发明第10实施例的说明图。

图29是本发明第10实施例的说明图。

图30是本发明第10实施例的说明图。

图31是本发明第10实施例的说明图。

图32是本发明第10实施例的说明图。

图33是本发明第11实施例的说明图。

图34说明了本发明的一个实施形态与现有技术的动作的差别。

图35是本发明第12实施例的说明图。

图36是本发明第13实施例的说明图。

具体实施方式

下面，将结合附图对本发明的具体实施方式进行详细说明，但是本发明并不局限于各个实施方式。本技术领域工作人员可以在不偏离本发明的权利要求的范围内对本发明进行多种修改和变更。

在以下的各实施例的记载中，在上述的(1)位置推定中，可以使用在专利文献1(安藤繁“使用了图像的时空微算法的速度矢量分布计测系统”，计测自动控制学会论文集，pp.1330-1336，Vol.22，No.12，1986)或者参考文献2(小林弘幸等“基于DCT变换的图像相位限定相关法”，信学技报，IEICE Technical Report ITS2005-92，IE2005-299(2006-02)，pp.73-78)中记载的方法。另外，关于上述的(2)宽带内插，可以使用在非专利文献1中记载的具有奈奎斯特频率的2倍通频带的一般的低通滤波器。

另外，在以下的实施例中，作为「SR信号」的记述维「SuperResolution信号」的简称。

以下，参照附图说明本发明的实施例。

【实施例1】

图1表示本发明第1实施例的图像信号处理装置，叙述其特征。本实施例的图像信号处理装置例如适用于电视接收机等图像显示装置。在以下本实施例的说明中，作为图像信号处理装置以图像显示装置为例进行说明。图1中，本实施例的图像信号处理装置例如具备输入电视广播信号等活动图像的帧序列的输入部(1)、用于把从该输入部(1)输入的帧高分辨率化的分辨率变换部(2)、进而根据由该分辨率变换部(2)高分辨率化后的帧来显示图像的显示部(3)。作为该显示部(3)，例如使用等离子显示面板、液晶显示面板、或者电子/场致发射型显示面板。以下，说明分辨率变换部(2)的详细情况。

图1中，首先由位置推定部(101)以由输入部(1)输入的帧#1上的处理对象的像素的抽样相位(抽样位置)为基准，推定帧#2上的相对应的像素的位置，在每一个像素求抽样相位差θ(102)。接着，由动态补偿·升比例(uprate)部(115)的升比例器(103)(104)，使用相位差θ(102)的信息，动态补偿帧#2，与帧#1对准位置的同时，使帧#1和帧#2的像素数分别增长2倍，进行高密度化。在相位移动部(116)中，把该高密度化后的数据的相位移动一定量。这里，作为把数据的相位移动一定量的方法，能够使用π/2相位移动器(106)(108)。另外，为了补偿在π/2相位移动器(106)(108)中产生的延迟，由延迟器(105)(107)使高密度化的帧#1和帧#2的相位延迟。在折叠成分去除部(117)中，对于延迟器(105)(107)和希尔伯特变换器(106)(108)的各输出信号，由乘法器(110)(112)(111)(113)分别乘以由系数决定器(109)根据相位差θ(102)生成的系数C0、C2、C1、C3，由加法器(114)把这些信号相加得到输出。该输出供给到显示部3。另外，位置推定部(101)能够原样使用上述现有技术实现。关于升比例器(103)(104)、π/2相位移动器(106)(108)、折叠成分去除部(117)的各详细结构在后面叙述。

图4中表示本发明的第1实施例的动作。该图在一维的频域中表示了图1中的延迟器(105)(107)和π/2相位移动器(106)(108)的各输出。在该图(a)中，从延迟器(105)(107)输出的升比例后的帧#1和帧#2的信号分别成为把原成分(401)(402)与从原来的抽样频率(fs)折叠后的折叠成分(405)(406)相加的信号。这时，折叠成分(406)按照上述的相位差θ(102)旋转相位。另一方面，从π/2相位移动器(106)(108)输出的升比例后的帧#1和帧#2的信号分别成为π/2相位移动后的原成分(403)(404)与π/2相位移动后的折叠成分(407)(408)相加后的信号。该图(b)以及该图(c)为了易于理解该图(a)表示的各成分的相位关系，分别抽取并表示了原成分和折叠成分。这里，如果决定在各成分上乘入的系数取加权和，使得当取该图(b)表示的4个成分的矢量和时，使Re轴的成分为1，Im轴的成分为0，同时，当取该图(c)表示的4个成分的矢量和时，使Re轴和Im轴的双方的成分都为0，则抵消并忽略折叠成分，能够仅抽取出原成分。即，仅使用2个帧图像，就能够实现进行一维方向的2倍高分辨率化的图像信号处理装置。关于该系数决定方法的详细过程在后面叙述。

图5表示在本发明第1实施例中使用的升比例器(103)(104)的动作。该图中，横轴表示频率，纵轴表示增益(相对于输入信号振幅的输出信号振幅的比值)，表示升比例器(103)(104)的「频率-增益」特性。这里，在升比例器(103)(104)中加入以对于原来信号的抽样频率(fs)的2倍频率(2fs)为新的抽样频率，通过在原来的像素间隔的恰好中间的位置插入新像素的抽样点(＝0点)，使像素数成为2倍进行高密度化的同时，把-fs～+fs之间的频率全部作为增益2.0的通带的滤波器。这时，如该图所示，根据数字信号的对称性，成为在每个2fs的整数倍的频率反复的特性。

图6表示在本发明第1实施例中使用的升比例器(103)(104)的具体例子。该图表示把图5表示的频率特性进行反傅立叶变换得到的滤波器的抽头系数。这时，各抽头系数Ck(其中k是整数)成为一般众所周知的sinc函数，为了补偿各像素的抽样的相位差θ(102)仅移动(-θ)，可以成为Ck＝2sin(πk+θ)/(πk+θ)。另外，在升比例器(103)中，可以预先使相位差θ(102)为0，成为Ck＝2Sin(πk)/(πk)。另外，通过用整数像素单位(2π)的相位差+小数像素单位的相位差表示相位差θ(102)，对于整数像素单位的相位差的补偿通过单纯的像素移动实现，对于小数像素单位的相位差的补偿也可以使用上述升比例器(103)(104)的滤波器。

图7表示在本发明第1实施例中使用的π/2相位移动器(106)(108)的动作例。作为π/2相位移动器(106)(108)能够使用一般众所周知的希尔伯特变换器。在该图(a)中，横轴表示频率，纵轴表示增益(输出信号振幅对于输入信号振幅的比值)，表示希尔伯特变换器的「频率-增益」特性。这里，在希尔伯特变换器中，以对于原来信号的抽样频率(fs)的2倍频率(2fs)为新的抽样频率，把-fs～+fs之间的除去0的频率成分全部作为增益1.0的频带。另外，在该图(b)中，横轴表示频率，纵轴表示相位差(输出信号相位对于输入信号相位的差)，表示希尔伯特变换器的「频率-相位差」特性。这里对于0～fs之间的频率成分延迟π/2相位，对于0～-fs之间的频率成分超前π/2相位。这时，如该图所示，根据数字信号的对称性，成为在每个2fs整数倍的频率反复的特性。

图8表示用希尔伯特变换器构成在本发明第1实施例中使用的π/2相位移动器(106)(108)的例子。该图表示把图7表示的频率特性进行反傅立叶变换得到的滤波器的抽头系数。这时，各抽头系数Ck当k＝2m(其中m是整数)时，可以是Ck＝0，当k＝2m+1时，可以是Ck＝-2/(πk)。

另外，在本发明第1实施例中使用的π/2相位移动器(106)(108)还可以使用微分器。这种情况下，用t把表示正弦波的公式cos(ωt+α)微分后乘以1/，则成为d(cos(ωt+α))/dt×(1/ω)＝-sin(ωt+α)＝cos(ωt+α+π/2)，能够实现π/2相位移动的功能。即，在取得作为对象像素的值与邻近像素的值的差分以后，通过加入具有1/ω的「频率-振幅」特性的滤波器，也可以实现π/2相位移动的功能。

图9表示在本发明第1实施例中使用的系数决定器(109)的动作和具体例子。如该图(a)所示，如果决定在各成分中乘入的系数，使得当取得了图4(b)表示的4个成分的矢量和时，使Re轴的成分为1，Im轴的成分为0，同时，当取得了图4(c)表示的4个成分的矢量和时，使Re轴和Im轴的双方成分都为0，则仅使用2张帧图像就能够实现进行一维方向的2倍高分辨率化的图像信号处理装置。如图1所示，把对于延迟器(105)的输出(升比例后的帧#1的原成分与折叠成分的和)的系数记为C0，把对于π/2相位移动器(106)的输出(升比例后的帧#1的原成分和折叠成分的分别π/2相位移动结果的和)的系数记为C1，把对于延迟器(107)的输出(升比例器后的帧#2的原成分与折叠成分的和)的系数记为C2，把对于希尔伯特变换器(106)的输出(升比例后的帧#2的原成分和折叠成分的分别π/2相位移动结果的和)的系数记为C3，如果要满足图9(a)的条件，则从图4(b)以及图4(c)表示的各成分的相位关系，能够得到图9(b)表示的联立方程式，求解该方程式能够导出图9(c)表示的结果。系数决定器(109)可以输出这样得到的系数C0、C1、C2、C3。

作为一个例子，图9(d)表示在每个π/8使相位差θ(102)在0～2π变化时的系数C0、C1、C2、C3的值。这与以1/16像素的精度位置推定原来的帧#2的信号，对于帧#1进行动态补偿的情况相当。在相位差θ(102)的值小于0或者大于等于2π的情况下，利用sin函数或者cos函数的周期性，通过在相位差θ(102)的值上加入或者减去2π的整数倍的值，可以使相位差θ(102)收缩在0～2π的范围内。

另外，升比例器(103)(104)以及π/2相位移动器(106)(107)为了得到理想的特性需要无限个的抽头数，而即使用有限个截断简化抽头数在实用上也没有问题。这时，也可以使用一般的窗函数(例如余弦平方窗(Hanning Window)函数或者汉明(Hamming Window)窗函数等)。如果把简化后的希尔伯特变换器的各抽头的系数以C0为中心取左右镜象的值，即C(-k)＝-Ck(k是整数)，则能够使相位移动一定量。

如果像以上那样构成各部分，则能够适宜地以更少的帧数而且简单的结构实现高分辨率化。

【实施例2】

图10表示本发明第2实施例。该图表示的结构利用图9(c)表示的系数C0、C1、C2、C3的关系，简化了图1表示的结构。即，由于是C0＝C2＝1/2，C1＝-C3＝-(1+cosθ)/2sinθ，因此升比例后的帧#1和动态补偿·升比例后的帧#2的各信号由加法器(1001)和减法器1004)生成和与差的信号。关于和信号在经过了fs阻断滤波器(1002)以后，由乘法器(1003)乘以C0(＝0.5)输入到加法器(1008)。这里，fs阻断滤波器(1002)是以升比例前的抽样频率(fs)的成分为0点进行阻断的滤波器，例如，能够通过使用该图的(1011)表示的抽头系数实现。该fs阻断滤波器(1002)如图7(a)所示，目的是防止由于按照希尔伯特变换器(1005)的「频率-增益」特性，频率fs的增益成为0点，因此不能去除折叠成分而残留频率fs的不要成分。从而，如果代替希尔伯特变换器(1005)，使用把频率fs的成分也包含在内而且能够进行π/2相位移动的单元，则不需要该fs阻断滤波器(1002)。

另一方面，关于差信号，在由希尔伯特变换器(1005)把相位移动了一定量(＝π/2)以后，由乘法器(1006)乘以由系数决定器(1007)根据相位差(102)决定后的系数C1，由加法器(1008)相加得到输出。这里，由延迟器(1002)和希尔伯特变换器(1005)构成的相位移动部(1009)能够以图1表示的相位移动部(116)的一半电路规模实现。另外，系数决定器(1007)可以仅输出图9(c)表示的系数C1，由加法器(1001)、减法器(1004)、乘法器(1003)(1006)、加法器(1008)、系数决定器(1007)构成的折叠成分去除部(1010)能够减少乘法器的个数，因此能够用比图1表示的折叠成分去除部(117)小的电路规模实现。

【实施例3】

图11表示本发明的第3实施例。该图表示的结构如图9(d)所示，为了防止当相位差θ为0时系数C1、C3不确定或者随着相位差θ接近0，由于系数C1、C3增大而抗噪声性能差，以图10表示的结构为基础，构成为使得当相位差θ成为0附近时，切换成来自辅助像素内插部(1105)的输出。即，作为旁路准备一般的内插低通滤波器(1101)，由系数决定器(1103)除去上述的系数C0、C1以外，还新生成C4，由乘法器(1102)把内插低通滤波器(1101)的输出与系数C4相乘，由加法器(1104)加入到高分辨率化后的信号上输出。除此以外，与图10表示的结构相同。

图12表示在本发明第3实施例中使用的内插低通滤波器(1101)的具体例子。该图表示把以原来的抽样频率fs的1/2作为截止频率的频率特性进行反傅立叶变换得到的滤波器的抽头系数。这时，各抽头系数Ck(其中k是整数)成为一般的sinc函数，可以取Ck＝sin(πk/2)/(πk/2)。

图13表示在本发明第3实施例中使用的系数决定器(1103)的具体例子。该图以图9(d)表示的系数C0、C1为基础，表示通常把新的系数C4取为0，而当相位差θ成为0附近时，强制地使系数C1的值成为0的同时，使系数C4的值成为1.0的动作。通过该动作，在图11表示的结构中，当相位差θ(102)成为0附近时，能够自动地把加法器(1104)的输出切换成内插低通滤波器(1101)的输出。另外，在相位差θ接近0的同时，还可以从图12表示的系数连续逐渐地接近图13表示的系数。另外，在由图1中的位置推定部(101)判定为在帧#2上没有与帧#1上的处理对象的像素相对应的像素的情况下，还可以与相位差θ(102)成为0附近时相同控制各系数，自动地把加法器(1104)的输出切换成内插低通滤波器(1101)的输出。

【实施例4】

图14表示本发明的第4实施例。该图是上述第1实施例的动作的流程图。该流程图的方法例如既可以用上述第1实施例那样的结构实施，或者也可以通过控制部、存储器和软件程序实施。另外，也可以用电路进行一部分步骤，用控制部、存储器和软件程序等实施一部分步骤。该图中，处理从步骤(1401)开始，在步骤(1418)中把各帧的图像数据升比例成2倍。即，在步骤(1402)中，把帧#1的图像数据升比例后写入到帧缓冲器#1中，在步骤(1403)中，把帧#2的图像数据升比例后写入到帧缓冲器#2中。这里，作为升比例，能够通过暂时用0清除了各帧缓冲器的值以后，在每一个像素写入数据实现。

接着，在步骤(1404)中，把帧缓冲器#1的最初的像素(例如左上方的像素)设定为处理对象，以下，直到结束对于帧缓冲器#1的所有的像素数据的处理为止，循环处理。

在步骤(1405)中，以帧缓冲器#1的对象像素为基准，推定帧缓冲器#2中的相对应的像素的位置，输出相位差θ。这时，作为推定相对应的像素的位置的方法，能够直接使用上述的现有技术。

在步骤(1406)中，根据在步骤(1405)中求出的相位差θ，动态补偿帧缓冲器#2中的相对应的像素附近的像素。这时，作为附近的像素，可以动态补偿在步骤(1408)的π/2相位移动处理中使用的像素数据，即，有限抽头数作用的范围内的像素数据。该动态补偿的动作与使用图5以及图6说明过的动作相同。

接着，在步骤(1419)中，对于帧缓冲器#1和动态补偿后的帧缓冲器#2，把相位移动一定量。即，通过步骤(1407)(1408)，把各帧缓冲器中的像素数据相位移动π/2。

接着，在步骤(1420)中，使用根据相差θ设定成满足图9(a)(b)(c)的条件的系数C0、C1、C2、C3与步骤(1419)的输出数据的每一个相乘，通过把它们相加，从帧缓冲器#1、#2的像素数据去除折叠成分，输出到帧缓冲器#3。即，在步骤(1409)中根据相位差θ决系数C0、C1、C2、C3、在步骤(1410)(1411)(1412)(1413)中把各系数与帧缓冲器#1、#2的像素数据以及π/2相位移动后的数据分别相乘以后，在步骤(1414)中把它们全部相加，输出到帧缓冲器#3。该折叠成分去除的动作与使用图9说明过的动作相同。

接着，在步骤(1415)中，判定是否完成了帧缓冲器#1的所有像素的处理，如果没有完成则在步骤(1416)中把下一个像素(例如右邻的像素)设定为处理的对象，返回到步骤(1405)以后，如果结束则在步骤中(1417)中结束处理。

通过进行以上那样的处理，使用帧缓冲器#1和帧缓冲器#2的像素数据，能够把高分辨率化后的信号输出到帧缓冲器#3。在应用于活动图像的情况下，可以在每一个帧反复进行(1401)至(1417)的处理。

【实施例5】

图15表示本发明的第5实施例。是上述第2实施例的动作的流程图。该流程图的方法例如既可以用上述第2实施例那样的结构实施，另外也可以通过控制部、存储器和软件程序实施。另外，还可以用电路进行一部分步骤，用控制部、存储器和软件程序等实施一部分步骤。该图中，处理从步骤(1501)开始。在步骤(1518)中把各帧的图像数据进行升比例。即，在步骤(1502)中把帧#1的图像数据升比例后写入到帧缓冲器#1中，在步骤(1503)中把帧#2的图像数据升比例后写入到帧缓冲器#2中。这里，作为升比例，能够通过暂时用0把各帧缓冲器的值清除了以后，在每一个像素写入数据实现。

接着，在步骤(1504)中，把帧缓冲器#1的最初的像素(例如左上方的像素)设定为处理对象，以下直到结束帧缓冲器#1的所有图像素数据的处理为止，循环处理。

在步骤(1505)中，以帧缓冲器#1的对象像素为基准，推定帧缓冲器#2中的相对应的像素的位置，输出相位差θ。这时，作为推定相对应的像素的位置的方法，能够直接使用上述的现有技术。

在步骤(1506)中，根据在步骤(1505)中求出的相位差θ，动态补偿帧缓冲器#2中的相对应的像素附近的像素。这时，作为「附近的像素」，可以动态补偿在步骤(1510)的希尔伯特变换处理中使用的像素数据，即，有限抽头数作用的范围内的像素数据。该动态补偿的动作与使用图5以及图6说明过的动作相同。

接着，在步骤(1520)中，根据相位差θ，从帧缓冲器#1、#2的像素数据去除折叠成分，输出到帧缓冲器#3。首先，在步骤(1507)中，把帧缓冲器#1的像素数据的值与动态补偿后的帧缓冲器#2的像素数据的值相加，在步骤(1509)中阻断频率fs的成分。该fs阻断滤波器(1509)的动作与图10表示的(1002)的动作相同。

另外，在步骤(1508)中，从帧缓冲器#1的像素数据的值减去动态补偿后的帧缓冲器#2的像素数据的值。这里，对于相减的结果，在步骤(1519)中把相位移动一定量。即，还使用同样相减后的附近的数据，在步骤(1510)中进行希尔伯特变换。该相位移动的动作与使用图7以及图8说明过的动作相同。

接着，在步骤(1511)中，在上述相加后的数据上乘以系数C0(＝0.5)的同时，在步骤(1512)中根据相位差θ决定系数C1，在步骤(1513)中把系数C1与希尔伯特变换后的数据相乘了以后，在步骤(1514)中把两者的数据相加，输出到帧缓冲器#3。该折叠成分去除的动作与使用图10说明过的动作相同。

接着，在步骤(1515)中，判定是否完成了帧缓冲器#1的所有像素的处理，如果没有完成则在步骤(1516)中把下一个像素(例如右邻的像素)设定为处理的对象，返回到步骤(1505)以后，如果结束则在步骤中(1517)中结束处理。

通过进行以上那样的处理，使用帧缓冲器#1和帧缓冲器#2的像素数据，能够把高分辨率化后的信号输出到帧缓冲器#3。在应用于活动图像的情况下，可以在每一个帧反复进行(1501)至(1517)的处理。

【实施例6】

图16表示本发明的第6实施例。是上述第3实施例的动作的流程图。该流程图的方法例如既可以用上述第3实施例那样的结构实施，另外也可以通过控制部、存储器和软件程序实施。另外，还可以用电路进行一部分步骤，用控制部、存储器和软件程序等实施一部分步骤。该图表示的处理步骤的动作如图9(d)所示，为了防止当相位差θ为θ时系数C1、C3成为不稳定，或者伴随着相位差θ接近0，由于系数C1、C3增大而抗噪声等性能差，以图15表示的处理步骤为基础，构成为使得当相位差θ成为0附近时把步骤(1606)的结果输出到帧缓冲器#3。即，在步骤(1601)中根据相位差θ决定系数C0、C1、C4，在步骤(1602)中，使用帧缓冲器#1中对象的像素数据和其附近的像素数据，在进行了一般的内插低通滤波器处理以后，在步骤(1603)中乘以系数C4，在步骤(1604)中与(1511)(1513)的输出相加，输出到帧缓冲器#3。除此以外与图15表示的处理步骤相同。另外，步骤(1601)中的系数决定的动作与使用图13说明过的动作相同。另外，步骤(1602)中的内插低通滤波器的动作与使用图12说明过的动作相同。

另外，使图14、图15、图16表示的处理步骤动作的硬件由于能够用信号输入输出部(I/O)、CPU(中央处理单元)或者DSP(数字信号处理器)等信号处理LSI、由帧缓冲器(存储器)构成的一般的影像处理设备或者计算机等容易地实现，因此省略图示。

依据以上那样的技术，在通过合成多个图像帧去除不要的折叠成分进行高分辨率化的装置中，如果至少有2张帧图像，则就能够实现进行一维方向的2倍高分辨率化的图像信号处理。

使用图17说明本发明的一个实施形态与上述现有技术的动作的不同。该图(a)中，从帧#1(1701)到帧#5(1705)之间，准备被拍摄物体向右方向移动那样的输入图像。这时，如该图(b)所示那样，有意地使被拍摄物体移动，使得如果观看各帧中的抽样相位，则在帧#1(1701)与帧#2(1702)之间，对应像素的位置偏移1/4个像素(＝π/2)，在帧#1(1701)与帧#3(1703)之间，对应像素的位置偏移1个像素(＝2π)，在帧#1(1701)与帧#4(1704)之间，对应像素的位置偏移5/4个像素(＝5π/2)，在帧#1(1701)与帧#5(1705)之间，对应像素的位置偏移2个像素(＝4π)。这时，包含在各帧上的信号中的各个折叠成分的相位以包含在帧#1(1701)上的信号中的折叠成分的相位为基准，能够如该图(c)那样表示。在对于该输入图像(a)进行2倍高分辨率化的情况下，在上述现有技术中，由于即使使用帧#1(1701)到帧#5(1705)中的哪三个帧也不能够使折叠成分的矢量和成为0，因此不能够实现高分辨率化。另一方面，如果使用本实施例，例如，由于使用邻接的2个帧(例如：帧#1)(1701)和帧#2(1702))能够使折叠成分的矢量和成为0，因此能够实现高分辨率化。即，通过把该图(a)的输入图像用作为试验图形，能够确认本实施例的动作状况。

【实施例7】

在上述中，说明了使用2帧信号进行2倍高分辨率化，而同样使用n帧(n是大于等于2的整数)信号能够实现n倍高分辨率化。这时，如图9(a)所示，与原成分的和的Re轴＝1，原成分的和的Im轴＝0的条件一起，把从原来的抽样频率(fs)的1～(n-1)倍的频率分别折叠后的(n-1)个折叠成分的矢量和分别置为0，可以求解联立方程式。以下使用图18和图19详细地说明上述过程。

图18表示使用n帧(n是大于等于2的整数)的信号进行n倍高分辨率化的装置的实施例。在该图中，首先由位置推定部(1801)以所输入的帧#1上的处理对象的像素的抽样相位(抽样位置)为基准，推定所输入的帧#2～帧#n上的相对应像素的位置，求相位差θ1(1802-1)～相位差θ(n-1)(1802-(n-1))。接着，由动态补偿·升比例部(1806)的升比例器(1803-0)～(1803-(n-1))，使用各相位差θ的信息动态补偿帧#2～帧#n，与帧#1对准位置的同时，把各帧的像素数分别增大n倍进行高密度化。在相位移动部(1807)中，把该高密度化后的数据的相位移动一定量，作为信号Si0～Si(n-1)。这里，作为把数据的相位移动一定量的单元，能够使用π/2相位移动器(1805-0)～(1805-(n-1))。另外，为了补偿在各π/2相位移动器中产生的延迟，由延迟器(1804-0)～(1804-(n-1))使高密度化的的各帧的信号延迟，作为信号Sr0～Sr(n-1)。在折叠成分去除部(1808)中，使用这些信号Si0～Si(n-1)、Sr0～Sr(n-1)、相位差θ1～θ(n-1)，进行用于去除折叠成分的运算，得到输出。另外，位置推定部(1801)能够原样使用上述现有技术实现。另外，关于动态补偿·升比例部(1806)、相位移动部(1807)，由于根据图5～图8表示的内容，能够通过把图中的频率从fs变更成fs＊n/2而容易地类推实现，因此省略图示。另外，在相位移动部(1807)中，在fs＊n/2的频率的增益成为零点不能够去除折叠畸变的情况下，最好使用fs＊n/2的频率的增益成为0点的阻断滤波器。该阻断滤波器也可以插入在延迟器(1804-4)～(1804-(n-1))的位置，而即使插入到折叠成分去除部(1808)的输出位置也可以得到同样的效果，这是很明确的。

图19中表示折叠成分去除部(1808)的动作的详细过程。该图(a)中，表示用于使用信号Si0～Si(n-1)、信号Sr0～Sr(n-1)、相位差θ1～θ(n-1)得到去除了折叠成分的输出的计算式。这里，Ci0～Ci(n-1)、Cr0～Cr(n-1)是分别乘入到信号Si0～Si(n-1)、Sr0～Sr(n-1)上的系数。

该图(b)表示用于求这些系数Ci0～Ci(n-1)、Cr0～Cr(n-1)的计算式。该计算式的左边和右边都成为矩阵形式，从上面开始每2行表示原成分、抽样频率(fs)的成分、抽样频率(fs)的2倍成分，以下相同，表示至抽样频率(fs)的(n-1)倍的成分，各第1行(奇数行)表示Re轴，各第2行(偶数行)表示Im轴中的各成分。该计算式左边的矩阵表示原成分的Re轴的和是1，其它的成分全部是0。该计算式的右边成为矩阵的积运算。右边左侧的矩阵从左开始每2列表示帧#1的抽样相位(基准)、帧#2与帧#1的抽样相位差，以下相同，表示根据帧#n与帧#1的抽样相位差使长度1的矢量旋转的矢量，各第1列(奇数列)表示在Re轴上，各第2列(偶数列)表示在Im轴上分别映射了长度1的矢量时的值。这里，具有从上面开始每2行与抽样频率成比例，抽样相位差(旋转角)增大的特征。右边的右侧矩阵是希望求出的系数。即，该图(b)表示的计算式表示为了去除不要的折叠成分仅抽取出原成分的Re轴，在帧#1～帧#n的各成分上乘以适当的系数求矢量和这样的运算。从而，根据该图(b)的反矩阵运算求系数Ci0～Ci(n-1)、Cr0～Cr(n-1)，通过把其系数代入到该图(a)中进行运算，能够去除不要的(n-1)个折叠成分，能够实现n倍高分辨率化。这时，如果取为n＝2，则图18表示的结构与图1表示的结构一致，图19表示的计算式与图9表示的计算式一致。

上述第7实施例的动作的流程图例如可以把图14表示的实施例(流程图)的输入帧数取为2～n，关于#2～#n的#k的帧，各添加k部分把帧的数据写入到帧缓冲器#k中的步骤、以帧缓冲器#1的对象像素为基准推定帧缓冲器#k的对象像素的位置，输出相位差θ的步骤、根据相位差θ，把帧缓冲器#k的对应像素的附近像素进行动态补偿的步骤、在每一个帧2系统输出动态补偿后的数据，一方保持不变，把另一方相位移动π/2的步骤。其次，可以把图14的步骤1402作为把根据帧#1与帧#k的相位差θ(k-1)确定后的各系数与各输出数据相乘，把所有乘法结果相加的步骤。

另外，上述第7实施例的动作的流程图例如也可以把图15、图16表示的实施例(流程图)的输入帧数取为2～n。即，对于#2～#n的#k的帧，添加把帧的数据写入到帧缓冲器#k中的步骤、以帧缓冲器#1的对象像素为基准推定帧缓冲器#k的对应像素的位置，输出相位差θ的的步骤、根据相位差θ，把帧缓冲器#k的对应像素的附近像素进行动态补偿的步骤。接着，从图15、图16的1506输出的2系统的输出在每次n增加1时各增加2。根据帧#1与帧#k的相位差θ(k-1)确定在这些输出数据的每一个上乘入的系数。最后，可以把图15的步骤1520作为把根据帧#1与帧#k的相位差θ(k-1)确定后的各系数与各输出数据相乘，把所有乘法结果相加的步骤。另外，可以把图16的步骤1605作为把根据帧#1与帧#k的相位差θ(k-1)确定后的各系数与各输出数据相乘，把内插低通滤波器1602的输出与系数C4的积与所有乘法结果相加的步骤。

上述第7实施例的动作也可以不是用上述第7实施例那样的结构实施，而是用控制部、存储器和软件程序实施。另外，也可以用电路进行一部分步骤，用控制部、存储器和软件程序等实施一部分步骤。

另外，在上述中举例说明了水平方向的高分辨率化，而本发明的各实施形态当然不限于这种情况，也能够适用于垂直方向或者倾斜方向的高分辨率化。例如，通过把本发明适用在隔行-步进扫描变换(I-P变换)中，能够从2张帧图像生成1张帧图像。即，通过把帧图像视为「扫描线数是1/2帧图像」适用本发明，能够与静止图像·活动图像无关，得到使每一张图像的扫描线数成为2倍(即，使垂直方向的分辨率成为2倍)的输出图像。另外，也能够适用于把水平·垂直方向组合的二维的高分辨率化。

【实施例8】

图20中表示本发明第8实施例的图像信号处理装置。本实施例的图像信号处理装置例如具备输入电视广播信号等的活动图像的帧序列的输入部(1)、把从该输入部(1)输入的帧进行把水平·垂直方向组合起来的2倍高分辨率化的分辨率变换部(4)、进而根据由分辨率变换部(4)高分辨率化后的帧显示图像的显示部(3)。在该分辨率变换部(4)中，在水平方向以及垂直方向的每一个中进行分辨率变换处理，通过选择或者混合各个结果中分辨率提高效果大的成分输出，实现2倍的高分辨率化。以下，说明分辨率变换部(4)的详细情况。

图20中，根据输入到输入部(1)中的帧1(2010)和帧#2(2013)，使用水平分辨率变换部(2001)和垂直分辨率变换部(2005)，分别生成增加了水平方向的像素数的帧(2011)和增加了垂直方向的像素数的帧(2014)。这里，各分辨率变换部(2001)(2005)原样使用图1表示的分辨率变换部(2)的结构，分别进行水平方向以及垂直方向的信号处理。这时，在水平分辨率变换部(2001)中，图1表示的升比例器(103)(104)、延迟器(105)(107)、π/2相位移动器(106)(108)构成为分别进行水平方向的升比例、延迟、π/2相位移动。同样，在垂直分辨率变换部(2005)中，图1表示的升比例器(103)(104)、延迟器(105)/107)、π/2相位移动器(106)(108)分别进行垂直方向的升比例、延迟、π/2相位移动。这些动作能够使用图5～图8表示的动作和现有技术等实施。

在本实施例中，设被拍摄物体进行水平·垂直方向的二维移动，把图1以及图2表示的动作扩展到二维。即，在水平分辨率变换部(2001)中的位置推定部(图1中的(101))以及动态补偿·升比例部(图1中的(115))中，以帧#1上的被拍摄物体为基准，二维动态补偿帧#2上的被拍摄物体的同时，在各帧的像素的抽样相位差中，在折叠成分去除部(图1中的(117))的系数决定中使用水平相位差θH。同样，在垂直分辨率变换部(2005)中的位置推定部(图1中的(101))以及动态补偿·升比例部(图1中的(115))中，以帧#1上的被拍摄物体(2016)为基准，二维动态补偿帧#2上的被拍摄物体(2017)的同时，在各帧的像素的抽样相位差中，在折叠成分去除部(图1中的(117))的系数决定中使用垂直相位差θV。折叠成分去除部(图1中的(117))的系数决定可以原样使用图9表示的动作。

如果设想被拍摄物体沿着倾斜方向移动的情况，则在由水平分辨率变换部(2001)增加了水平方向的像素数的帧(2011)中成为包含倾斜方向的畸变，而在原本的输入信号的垂直频率低的成分(纵线等)中，该畸变小到可以忽视的程度。同样，在由垂直分辨率变换部(2005)增加了垂直方向的像素数的帧(2014)中成为包含倾斜方向的畸变，而原本的输入信号的水平频率低的成分(横线等)中，该畸变小到可以忽视的程度。

利用该特性，根据上述的信号处理增加了水平方向的像素数的帧(2011)根据由垂直升比例器(2002)以及像素内插器(2003)构成的垂直内插部(2004)生成帧(2012)，作为SR(水平)信号。这里，像素内插器(2003)可以使用输出希望内插的像素的上下像素数据的平均值那样的一般的垂直低通滤波器。同样，增加了垂直方向的像素数的帧(2014)由水平升比例器(2006)以及像素内插器(2007)构成的水平内插部(2008)，生成帧(2015)作为SR(垂直)信号。这里，像素内插器(2007)可以使用输出希望内插的像素的左右像素数据的平均值那样的一般的水平低通滤波器。这样，使用像素内插器(2003)和(2007)如果去除与处理对象的方向正交方向的高频成分，仅抽取出低频成分，则能够把上述的沿着倾斜方向移动时发生畸变的影响减小到可以忽视的程度。由混合器(2009)把通过上述处理生成的SR(水平)信号和SR(垂直)信号混合后作为输出信号，显示在显示部(3)上。关于混合器(2009)的详细结构以及动作在后面叙述。

【实施例9】

图21表示本发明第9实施例的图像信号处理装置。本实施例的图像信号处理装置是把上述第8实施例的结构变形的的例子，颠倒图20表示的分辨率变换部(2001)(2005)和内插部(2004)(2008)的处理顺序，构成为在进行了内插处理以后进行分辨率变换。由此，能够共用位于分辨率变换部(2001)(2005)中的升比例器(图1中的(103)(104))和位于内插部(2004)(2008)中的升比例器(图20中的(2002)(2006))，同时，能够共用位于水平分辨率变换部(2001)和垂直分辨率变换部(2005)中的各个位置推定部(图1中的(101))，因此能够以更小的电路规模以及运算量实现同样的信号处理。

图21中，首先由位置推定部(2101)以输入到输入部(1)中的帧#1上的处理对象的像素的抽样相位(抽样位置)为基准，推定帧#2上的相对应像素的位置，求水平方向和垂直方向的各个抽样相位差θH(2102)、θV(2103)。接着，由动态补偿·升比例部(2110)的升比例器(2104)(2105)使用相位差θH(2102)、θV(2103)的信息，动态补偿帧#2，与帧#1对准位置的同时，把帧#1和帧#2的像素数分别在水平·垂直都增加2倍(总计4倍)，进行高密度化。升比例器(2104)(2105)是把图5以及图6表示的动作·机构进行了水平·垂直方向的二维扩展，由于能够容易实施因此省略图示。在相位移动部(2111)中，把该高密度化后的数据的相位移动一定量。这时，水平相位移动器(2106)进行水平方向的相位移动，垂直相位移动器(2107)进行垂直方向的相位移动，由于能够与图1表示的延迟器(105)(107)以及π/2相位移动器(108)和图7以及图8表示的动作·结构同样实施，因此省略图示。对于相位移动后的各信号，由折叠成分去除部(2112)中的水平方向的折叠成分去除部(2108)以及垂直方向的折叠成分去除部(2109)分别去除水平·垂直方向的折叠成分。接着，使用像素内插器(2003)把水平方向的折叠成分去除部(2108)的输出进行像素内插，作为SR(水平)信号，使用像素内插器(2007)把垂直方向的折叠成分去除部(2109)的输出进行像素内插，作为SR(垂直)信号，由混合器(2009)把它们两者混合作为输出。折叠成分去除部(2108)(2109)能够原样使用图1表示的折叠成本去除部(117)的结构。作为相位差θ(102)，在折叠成分去除部(2108)中使用水平相位差θH(2102)，在折叠成分去除部(2109)中使用垂直相位差θV(2103)，通过进行图9表示的动作，能够去除各个方向的折叠成分。

图22中表示混合器(2009)的第1结构例。在该图中，使用加法器(2201)和乘法器(2202)，生成输入到混合器(2009)中的SR(水平)和SR(垂直)的各信号的平均值后输出。该图表示的结构是最简单地构成了混合器(2009)的例子，而水平·垂直的各分辨率提高效果也分别成为1/2。

图23中表示混合器(2009)的第2结构例。在该图中，对于输入到混合器(2009)的SR(水平)和SR(垂直)的各信号，使用乘法器(2303)以及乘法器(2304)分别乘以系数K(水平)和系数K(垂直)，由加法器(2305)把两者相加作为输出。系数K(水平)和系数K(垂直)分别由系数决定器(2301)(2302)生成。以下，说明该系数决定器(2301)(2302)的动作。

图21表示的折叠成分去除部(2108)(2109)根据该图表示的相位差θH(2102)以及相位差θV(2103)，由图1表示的系数决定器(109)发生图9表示的系数C0～C3，进行折叠成分去除的运算。这时，为了防止当相位差θH(2102)、θV(2103)是0时，系数C1以及C3成为不稳定，或者随着相位差θH(2102)、θV(2103)接近0，系数C1、C3增大而使抗噪声等性能差，最好导入图13表示的系数C4(0≤C≤1)，如图11表示的结构那样进行辅助的像素内插。反过来讲，当系数C4的值为0.0时虽然有提高分辨率的效果，但是随着系数C4的值接近1.0，分辨率提高的效果减小。利用该性质，使用水平·垂直方向的各系数C4的值决定系数K(水平)和系数K(垂直)，使得当水平相位差θ的值(2102)在0附近(即，系数C4(水平)在1.0附近)时，强烈地反映垂直分辨率变换结果的SR(垂直)，当垂直相位差θV(2103)在0附近(即，系数C4(垂直)在1.0附近)时，强烈地反映水平分辨率变换结果的SR(水平)。为了实现该动作，例如在图23表示的系数决定器(2301)中，进行K(水平)＝C4(水平)+(1-C4(垂直))/2的运算，决定K(水平)，在系数决定器(2303)中进行K(垂直)＝C4(垂直)+(1-C4(水平))/2的运算，决定K(垂直)。

图24汇总表示当分别使系数C4(水平)以及系数C4(垂直)变化了时的系数决定器(2301)(2302)的输出(系数K(水平)以及系数K(垂直))的一个例子。如该图所示，进行动作使得如果系数C4(水平)增大，则在系数K(水平)减小的同时系数K(垂直)增大，如果系数C4(垂直)增大，则在系数K(水平)增大的同时系数K(垂直)减少。当系数C4(水平)与系数C4(垂直)的值相等时，系数K(水平)和系数K(垂直)分别成为0.5。这样，对于在水平·垂直独立变化的系数C4，决定系数K，使得系数K(水平)和系数K(垂直)相加恰好成为1.0，混合SR(水平)和SR(垂直)。

使用图25以及图26，分别说明混合器(2009)的第3动作以及结构例。图25是以水平频率记为μ，以垂直频率为v表示的二维频域。如果把原来的输入图像的水平抽样频率记为μs，把垂直抽样频率记为vs，则图20以及图21表示的分辨率变换部(4)的输出的水平频率μ成为-μs～μs的范围，垂直频率v成为-vs～vs的范围的信号通过水平·垂直的各分辨率变换再现高频成分，而高频成分由于信号电平原本很小，因此水平分辨率变换的效果大的成为(μ，v)＝(+μs/2，0)附近的频域(2501)的成分(特别是，包括(μ，v)＝(+μs/2，0)而且成为μ＞0的频域和包括(μ，v)＝(-μs/2，0)而且成为μ＜0的频域的成分)，垂直分辨率变换的效果大的成为(μ，v)＝(0，+vs/2)附近的频域(2502)的成分(特别是，包括(μ，v)＝(0，+vs/2)而且成为v＞0的频域和包括(μ，v)＝(0，-vs/2)而且成为v＜0的频域的成分)。从而，如果用二维滤波器抽取出这些频率成分(2501)(2502)进行混合，则能够选择性地输出分辨率提高效果大的成分。

图26中表示抽取出水平·垂直的各分辨率变换的效果大的成分的混合器(2009)的结构例。该图中，使用二维滤波器(2601)，抽取出输入到混合器(2009)的SR(水平)的分辨率提高效果大的频域(2501)的成分。同样，使用二维滤波器(2602)，抽取出输入到混合器(2009)的SR(垂直)的分辨率提高效果大的频域(2502)的成分。作为频域(2501)(2502)以外的成分，使用加法器(2603)和乘法器(2604)，生成SR(水平)与SR(垂直)的平均信号，使用二维滤波器(2605)，抽取出二维滤波器(2601)(2602)的各通带以外的成分(即，剩余的成分)。用加法器(2606)把二维滤波器(2601)(2602)(2605)的各输出信号相加，作为混合器(2009)的输出。另外，用该图中表示的二维滤波器(2601)(2602)(2605)中的圆圈包围的数字表示各个滤波器的抽头系数的一个例子(各滤波器的系数为了简化说明，用整数表述。本来的系数值是用圆圈包围的数字和其右侧表示的「×1/16」等表示的运算的积。例如，在二维滤波器(2601)中用圆圈包围的各数字分别上分别乘以1/16的是原来的系数值。在以下的实施例中表示的二维滤波器的系数中相同。)。二维滤波器(2601)取以±μs/2为通带的中心频率的水平带通滤波器与垂直低通滤波器的积，二维滤波器(2602)取以±vs/2为通带的中心频率的垂直带通滤波器与水平低通滤波器的积，二维滤波器(2605)可以采用从全频带减去了二维滤波器(2601)和二维滤波器(2602)的通带的特性。

【实施例10】

图27中表示本发明第10实施例的图像信号处理装置。本实施例的图像信号处理装置在图21表示的结构例上，进而添加了右下以及右上方向的倾斜成分的高分辨率变换部。即，在相位移动部(2708)上添加倾斜(右下)相位移动部(2701)和倾斜(右上)相位移动部(2702)的同时，在折叠成分去除部(2709)上添加折叠成分去除部(2705)(2706)，在分别经过了像素内插器(2710)(2711)以后，由混合部(2707)混色SR(水平)、SR(垂直)、SR(右上)、SR(右下)的各信号，作为输出。这里，像素内插器(2710)(2711)可以使用输出希望内插的像素的上下左右像素数据的平均值那样的一般的二维低通滤波器。作为相位差θ需要倾斜方向的相位差信息，可以构成为使得把由加法器(2703)把水平相位差θH(2102)与垂直相位差θV(2103)相加后的相位差(θH+θV)输入到折叠成分去除部(2705)，把由减法器(2704)生成的相位差(-θH+θV)输入到折叠成分去除部(2706)。另外，折叠成分去除部(2106)(2109)(2705)(2706)的结构以及动作全部相同。

图28(a)～(d)中，表示二维频域中的水平相位移动部(2106)、垂直相位移动部(2107)、倾斜(右下)相位移动部(2701)、倾斜(右上)相位移动部(2702)的各个动作。图28(a)～(d)与图25相同，是以水平频率为μ，垂直频率为v表示的二维频域。这些相位移动部(2106)(2107)(2701)(2702)采用与图1表示的相位移动部(116)相同的结构，与各个方向相吻合变更其中的π/2相位移动器(106)(108)的「频率-相位差」特性。即，在该图(a)中，在水平相位移动部(2106)中，在把输入信号的水平频率的抽样频率为记为μs的情况下，与图7表示的动作相同，把-μs～0范围的频率成分的相位移动π/2，把0～μs范围的频率成分的相位移动-π/2。同样，在垂直相位移动部(2107)中，在把输入信号的垂直频率的抽样频率记为vs的情况下，把-vs～0范围的频率成分的相位移动π/2，把0～vs范围的频率成分的相位移动-π/2。同样，在倾斜(右下)相位移动部(2701)以及倾斜(右上)相位移动部(2702)中，如在该图(c)以及该图(d)中分别表示的那样，把信号的相位移动-π/2或者π/2。这些「频率-相位差」特性通过使图8表示的抽头系数与二维的抽样点一致，沿着水平、垂直、倾斜(右下)、倾斜(右上)的各个方向配置，能够容易地实现。

图29中表示混合器(2707)的第1结构例。该图中，使用加法器(2901)和乘法器(2902)，生成输入到混合器(2707)中的SR(水平)、SR(垂直)、SR(右下)、SR(右上)的各信号的平均值后输出。该图表示的结构是最简单地构成了混合器(2707)的例子，而水平·垂直·右下·右上的各分辨率提高效果也分别成为1/4。

图30中表示混合器(2707)的第2结构例。该图中，对于输入到混合器(2707)中的SR(水平)、SR(垂直)、SR(右下)、SR(右上)的各信号，使用乘法器(3005)、乘法器(3006)、乘法器(3007)、乘法器(3008)，分别乘以系数K(水平)、系数K(垂直)、系数K(右下)、系数K(右上)，由加法器(3009)把这些信号相加后作为输出。系数K(水平)、系数K(垂直)、系数K(右上)、系数K(右上)分别由系数决定器(3001)生成。以下，说明该系数决定器(3001)(3002)(3003)(3004)的动作。图27表示的折叠成分去除部(2108)(2109)(2705)(2706)根据该图表示的相位差θH(2102)、相位差θV(2103)、相位差(θH+θV)、相位差(-θH+θV)，由图1表示的系数决定器(109)，发生图9表示的系数C0～C3，进行折叠成分去除的运算。这时，为了防止当相位差为0时，系数C1以及C3不稳定，或者随着相位差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)接近0，系数C1、C3增大而使抗噪声等性能差，导入图13表示的系数C4(0≤C4≤1)，如图11表示的结构那样，最好进行辅助的像素内插。反过来讲，当系数C4的值为0.0时具有分辨率提高的效果，而随着系数C4的值接近1.0，分辨率提高的效果减小。利用该性质，由系数决定器(3001)决定系数K(水平)，使得当水平相位差θH(2102)在0附近(即，系数C4(水平)在1.0附近)时，水平分辨率变换结果的SR(水平)减弱，当水平相位差θH(2102)不在0附近时(即，系数C4(水平)在0.0附近时)，水平分辨率变换结果的SR(水平)增强。作为该一个例子，可以使水平系数K(水平)＝(1+C4(水平)＊3-C4(垂直)-C4(右下)-C4(右上))/4。同样，由系数决定器(3002)(3003)(3004)，分别决定系数K(垂直)、K(右下)、K(右上)。这时，对于独立变化的系数C4(水平)、C4(垂直)、C4(右下)、C4(右上)，决定系数K使得成为系数K(水平)+K(垂直)+K(右上)+K(右上)＝1.0，把SR(水平)、SR(垂直)、SR(右下)、SR(右上)混合。

图31以及图32中分别表示混合器(2707)的第3动作以及结构例。图31与图25相同，是以水平频率为μ、垂直频率为v表示的二维频域。图1中，如果把原来的输入图像的水平抽样频率记为μs，垂直抽样频率记为vs，则图27表示的分辨率变换部(4)的输出成为水平频率μ在-μs～μs的范围，垂直频率v为在-vs～vs的范围的信号。倾斜(右上)的分辨率变换的效果大的成为图31表示的(μ、v)＝(+μs/2，+vs/2)的附近和(μ、v)＝(-μs/2，-vs/2)附近的频域(3101)的成分(特别是，包括(μ、v)＝(+μs/2，+vs/2)，而且μ＞0，v＞0的频率的区域和包括(μ、v)＝(-μs/2，-vs/2)，而且μ＜0，v＜0的频率的区域的成分)。倾斜(右下)的分辨率变换的效果大的成为图31表示的(μ、v)＝(+μs/2，-vs/2)的附近和(μ、v)＝(-μs/2，+vs/2)的附近的频域(3102)的成分(特别是，包括(μ、v)＝(+μs/2，-vs/2)，而且成为μ＞0，v＜0的频率的区域和包括(μ、v)＝(-μs/2，+vs/2)，而且μ＜0，v＞0的频率的区域的成分)。从而，由二维滤波器抽取出这些频率成分(3101)(3102)，如果还与图25表示的频率成分(2501)(2502)一起混合，则能够选择性地输出其分辨率提高效果大的成分。

图32中表示抽取出水平·垂直·倾斜(右下)·倾斜(右上)的各分辨率变换结果的效果大的成分的混合器(2707)的结构例。在该图中，使用二维滤波器(3201)抽取出输入到混合器(2707)的SR(右下)的分辨率提高效果大的频域(3102)的成分。同样，使用二维滤波器(3202)抽取出输入到混合器(2707)中的SR(右上)的分辨率提高效果大的频域(3101)的成分。另外，由图26表示的二维滤波器(2601)(2602)，分别抽取出SR(水平)以及SR(垂直)的分辨率提高效果大的频域(2501)(2502)的成分。作为频域(2501)(2502)(3101)(3102)以外的成分，使用加法器(3203)和乘法器(3204)，生成水平SR(水平)、SR(垂直)、SR(右下)、SR(右上)的平均信号，使用二维滤波器(3205)，抽取出二维滤波器(2601)(2602)(3201)(3202)的各通带以外的成分。用加法器(3206)把二维滤波器(2601)(2602)(3201)(3202)(3205)的各输出信号相加，作为混合器(2707)的输出。

另外，用该图中表示的二维滤波器(2601)(2602)(3201)(3202)(3205)中的圆圈包围的数字表示各滤波器的抽头系数的一个例子。

【实施例11】

图33中表示本发明的第11实施例。该图是由软件程序实现了上述第10实施例的动作的例子。该图中，处理从步骤(3301)开始，在步骤(5-1)(5-2)(5-3)(5-4)中分别进行水平、垂直、倾斜(右下)、倾斜(右上)的高分辨率化。这里，在各步骤(5-1)(5-2)(5-3)(5-4)中，可以沿着水平、垂直、倾斜(右下)、倾斜(右上)的各方向执行图14至图16表示的处理步骤(5)的任一个。即，可以处理成如图28所示那样根据各个方向变更π/2相位移动(1407)(1408)、希尔伯特变换(1510)等的「频率-相位」特性同时，把相位差θ分别置换成θH、θV、(θH+θV)、(-θH+θV)，各步骤(5-1)(5-2)(5-3)(5-4)的处理结果如使用图14至图16说明过的那样，分别写入到各个帧缓冲器#3中。在接着的步骤(3302-1)(3302-2)(3302-3)(3302-4)中，分别进行垂直、水平、倾斜方向的像素内插，生成二维帧缓冲器#3的所有像素，使得与所输出的帧的水平、垂直的像素数相同。在接着的步骤(3303)中，按照使用图29、图30、图32说明过的方法，在每一个像素中把各帧缓冲器#3的数据进行混合，输出到输出用的帧缓冲器#4中。另外，在用软件程序实现上述第8至第9实施例的动作的情况下，不需要进行倾斜方向的处理的步骤(5-3)(5-4)、对于这些结果进行像素内插的步骤(3302-3)(3302-4)。另外，作为步骤(3303)的混合方法，可以按照使用图22、图23、图26说明过的方法混合数据。关于该步骤(3303)的混合方法由于能够根据上述的动作说明容易地实现，因此省略流程的图示。

【实施例12】

图35中表示本发明第12实施例的图像显示装置。本实施例的图像显示装置是采用了进行在上述第1至第11实施例的任一个实施例中记载的图像信号处理的结构的图像显示装置。

该图中，图像显示装置3500具备例如输入包括电视信号等的广播波，或者经过网络输入广播信号或影像内容或图像内容等的输入部3501、录像或者再现从输入部3501输入的内容的录像再现部3502、录像再现部3502记录内容的内容存储部3503、在录像再现部3502再现后的影像信号或图像信号中进行在第1至第11实施例的任一个实施例中记载的图像信号处理的图像信号处理部3504、显示由图像信号处理部3504处理后的影像信号或图像信号的显示部3505、输出录像再现部3502输出的声音信号的声音信号输出部3506、控制图像显示部3500的各构成部分的控制部3507、使用者进行图像显示装置3500的操作的用户接口部3508等。

图像显示装置3500通过具备进行在第1至第11实施例的任一个实施例中记载的图像信号处理的图像信号处理部3504，能够把输入到输入部3501中的影像信号和图像信号以高分辨率作为高画质的影像信号或图像信号，显示在显示部3505上。由此，即使在比显示部3505的显示器件的分辨率低的分辨率的信号从输入部3501输入后的情况下，也能够把再现信号进行高分辨率化，而且能够进行高画质、高精细的显示。

另外，再现存储在内容存储部3503中的影像内容或图像内容时，也能够以更高的分辨率变换成高品质的影像信号或图像信号，显示在显示部3505上。

另外，通过在内容存储部3503中存储的影像内容和图像内容的再现以后进行图像信号处理部3504的图像处理，内容存储部3503中存储的数据是比显示部3505中显示的分辨率相对低的分辨率。由此，具有能够相对地减少内容的数据量进行存储的效果。

另外，还可以把图像信号处理部3504包含在录像再现部3502中，在录像时进行上述的图像信号处理。这种情况下，由于在再现时不需要进行上述的图像信号处理，因此具有能够减少再现时的处理负荷的效果。

这里，说明了由图像信号处理部3504进行上述的图像信号处理的情况，而也可以用控制部3507和软件实现。这种情况下，可以按照在第1至第11实施例的任一个实施例中记载的方法进行图像信号处理。

在本实施例中，录像再现部3502在录像时根据从输入部3501输入的影像等内容的状态，在进行了编码以后，可以存储到内容存储部3503中。

另外，在本实施例中，录像再现部3502在录像时，如果从输入部3501输入的影像等内容是编码后的状态，则可以进行解码后再现。

另外，在本实施例的图像显示装置中，也不一定需要内容存储部3503。这种情况下，录像再现部3503可以不进行录像，而进行从输入部3501输入的影像等内容的再现。

这种情况下，把输入到输入部3501中的影像信号或图像信号以高分辨率作为高画质的影像信号或图像信号显示在显示部3505上的效果并没有改变。

另外，图像显示装置3500例如既可以是等离子电视机，也可以是液晶电视机，也可以是阴极射线管，还可以是投影仪，或者也可以是使用了其它器件的装置。同样，显示部3505例如可以是等离子组件，可以是LCT组件，可以是投影仪用器件。另外，内容存储部3501例如既可以是硬件驱动器，也可以是闪速存储器，还可以是可移动媒体盘驱动器。声音输出部3506例如可以是扬声器等。另外，输入部3501还可以具备接收广播波的高频头，也可以具备与网络连接的LAN连接器，还可以具备USB连接器。进而，还可以具备把影像信号或声音信号进行数字输入的端子，也可以具备复合端子或者组合端子等模拟输入端子。另外，还可以是无线传输数据的接收单元。

【实施例13】

图36中表示本发明第13实施例的录像再现装置。本实施例的录像再现装置是采用了进行上述第1至第11实施例的任一个实施例中记载的图像信号处理的结构的影像再现装置。

该图中，录像再现装置3600具备例如输入包括电视信号等的广播波，或者经过网络输入广播信号或影像内容或图像内容等的输入部3501、录像或者再现从输入部3501输入的内容的录像再现部3502、录像再现部3502记录内容的内容存储部3503、在录像再现部3502再现后的影像信号或图像信号中进行在第1至第11实施例的任一个实施例中记载的图像信号处理的图像信号处理部3504、把由图像信号处理部3504处理后的影像信号或图像信号输出到其它装置等中的图像影像输出部3605、把由录像再现部3502再现后的声音信号输出到其它装置等中的声音信号输出部3506、控制图像显示部3600的各构成部分的控制部3507、使用者进行图像显示装置3600的操作的用户接口部3508等。

录像再现装置3600通过具备进行第1至第11实施例的任一个实施例中记载的图像信号处理的图像信号处理部3504，能够以更高的分辨率把输入到输入部3501中的影像信号或图像信号作为高画质的影像信号或图像信号，输出到其它的装置等中。由此，能够适宜地实现把低分辨率的影像信号和图像信号高分辨率化的同时，变换成高画质、高分辨率的影像信号或图像信号的高画质高分辨率信号变换装置。

另外，存储在内容存储部3503中的影像内容或图像内容的再现时，能够以更高的分辨率变换成高画质的影像信号或图像信号，输出到其它的装置等中。

由此，能够适宜地实现输入低分辨率的影像信号或图像信号，预先进行存储，再现·输出时进行高分辨率化的同时，变换成高画质、高分辨率的影像信号或图像信号输出的录像再现装置。

另外，通过在内容存储部3503中存储的影像内容或图像内容的再现以后进行图像信号处理部3504的图像处理，内容存储部3503中存储的数据是比输出到其它装置中的信号的分辨率相对的的分辨率。由此，具有能够相对地减小内容的数据量进行存储的效果。

另外，也可以把图像信号处理部3504包含在录像再现部3502中，录像时进行上述的图像信号处理。这种情况下，由于再现时不需要进行上述图像信号处理，因此具有能够减少再现时的处理负荷的效果。

这里，说明了在图像信号处理部3504中进行上述的图像信号处理的情况，而也可以用控制部3507和软件实现。这种情况下，可以按照在第1至第11实施例的任一个实施例中记述的方法进行图像信号处理。

在本实施例中，录像再现部3502在录像时，可以根据从输入部3501输入的影像内容的状态，在进行了编码以后记录到内容存储部3503中。

另外，在本实施例中，录像再现部3502在录像时，如果从输入部3501输入的影像等内容是编码后的状态，则可以在解码后进行再现。

另外，本实施例的图像影像输出部3605与声音输出部3606也可以构成为一体。这种情况下，能够使用把影像信号和声音信号用一条电缆输出的连接器形状等。

另外，录像再现装置3600例如可以是HDD记录器、DVD记录器，也可以是使用了其它的存储装置器件的装置。同样，内容存储部3503例如可以是硬盘驱动器、闪速存储器，也可以是可移动媒体盘驱动器。

另外，输入部3501可以具备接收广播波的高频头，另外也可以具备与网络连接的LAN用连接器，还可以具备USB连接器。进而，可以具备数字输入影像信号或声音信号的端子，也可以具备复合端子和混合端子等模拟输入端子。另外，还可以是无线传送数据的接收单元。

另外，图像影像输出部3605可以具备数字输出影像信号的端子，还可以具备复合端子和混合端子等模拟输出的端子。另外，可以具备与网络连接的LAN用连接器，也可以具备USB连接器。进而，也可以是无线传送数据的发送单元。关于声音输出部3606，与图像影像输出部3605相同。

进而，输入部3501例如可以具备摄像光学系统和感光元件。这种情况下，录像再现装置3600例如能够适用在数码照相机、摄像机、监视照相机(监视着联机系统)等中。这时，例如输入部3501可以用光学系统在感光元件上拍摄摄影对象，根据从感光元件输出的信号生成图像数据和影像数据，输出到录像再现部3502。

图像再现装置3600例如如果是数码照相机，则可以使得在一次摄影中记录时间上不同的多个图像，如果在该多个图像数据上进行图像信号处理部3504的图像信号处理，则能够得到1张高画质的高分辨率图像。另外，图像信号处理部3504的图像处理在从数码照相机输出数据时，也可以对于记录在内容存储部3503中的图像进行。另外，可以把录像再现部3502和图像信号处理部3504做成为一体，在记录到内容存储部3503之前，进行图像信号处理部3504的图像处理。这种情况下，可以在内容存储部3503中最终保存使用者希望处理的放大图像，在随后使用者处理图像数据时易于进行管理。

依据以上说明的数码照相机，能够得到具有分辨率超过了数码照相机的感光元件的分辨率的高画质图像数据。

另外，录像再现装置3600例如如果是摄像机，则可以把由输入部3501的摄像光学系统在感光元件上拍摄的影像作为影像数据，输出到录像再现部3502。录像再现部3502把影像数据记录到内容存储部3503中，图像信号处理部3504可以从所记录的影像数据，生成高分辨率化后的影像数据。如果这样做，则能够得到分辨率超过了摄像机的感光元件的分辨率的高画质影像数据。另外，这时图像信号处理部3504也可以使用包含在所记录的影像数据中的多个帧的数据，生成1张静止图像数据。如果这样做，则能够从影像数据得到1张高画质图像数据。另外，与上述数码照相机的情况相同，图像信号处理部3504的图像处理也可以在影像数据向内容存储部3503的记录之前或者之后进行。

依据以上说明的摄像机，使用具有分辨率超过了摄像机的感光元件的分辨率的高画质影像数据或者所拍摄的影像数据，可以得到高画质的静止图像数据。

另外，录像再现装置3600例如在是监视照相机(监视照相机系统)的情况下，与上述摄像机的情况相同，使用具有分辨率比超过了监视照相机的感光元件的分辨率的高画质影像数据或者所拍摄的形状数据，也可以得到高画质的静止图像数据。这时，例如即使在具备摄像光学系统和感光元件的输入部3501与录像再现部3502的距离拉开，用网络电缆等连接的情况下，以低分辨率的影像数据发送到录像再现部3502，通过其以后的图像信号处理部3504的图像信号处理，也能够进行高分辨率化。由此，能够高效地利用来自具备摄像光学系统和感光元件的输入部3501的发送网络的带宽的同时，能够得到高分辨率的影像数据。

本实施例12的图像显示装置和本实施例13的图像再现装置即使把两者的功能和各结构单元构成为一体，也可以完成本发明的一个实施形态。这种情况下，能够表示进行了上述的图像信号处理的影像信号或图像信号，也能够输出到其它的装置，能够作为显示装置、记录再现装置、输出装置的任一种方式使用，对于使用者来讲非常方便。

其次，使用图34，说明与本发明的一个实施形态与上述现有技术的动作的不同。该图(a)表示输入到分辨率变换部(4)中的帧#1(3401)、帧#2(3402)、帧#3(3403)、帧#4(3404)、帧#5(3405)，该图(b)表示从分辨率变换部(4)输出的各帧。在各帧中，有意识地使被拍摄物体移动，使得被拍摄物体右旋各移动1/4个像素，以4个帧移动1周。在帧#6以后也同样连续地进行的动作。

在专利文献1、专利文献2、非专利文献1中记载的现有技术中，如上所述，在对于水平·垂直的二维输入信号进行高分辨率化的情况下，由于折叠来自纵横两个方向，因此如果原信号的频带纵轴都扩展2倍，则3个折叠成分重叠，为了抵消这些成分，需要2M+1＝7个数字数据(＝7张帧图像的信号)。从而，在输入了以图33(a)表示的以4个帧循环一次的信号的情况下，由于即使选择哪7个帧也不能够得到独立的数据，因此高分辨率化处理的不确定而无法求出。

另一方面，使用本实施例，例如，使用邻近的2个帧(例如，帧#1(3401)和帧#2(3402)，(或者帧#2(3402)和帧#3(3403)))，如该图(b)所示那样，去除水平方向(或者垂直方向)的折叠成分，能够实现高分辨率化。即，通过把图(a)的输入图像用作为试验图形，能够确认本实施例的动作状况。作为该试验图形的图样，如果使用一般众所周知的圆形区域片(CZP：Circular Zone Plate)，则能够在显示部(3)中直视分辨率变换的效果。即，如果使圆形区域片在每一个帧左右移动，则能够显示水平方向的分辨率提高后的图像，如果沿着上下(或者倾斜)移动，则能够显示垂直方向(或者倾斜方向)的分辨率提高后的图像，能够确认与试验图形的移动方向相对应的分辨率提高的效果。

另外，根据专利文献1、专利文献2、非专利文献1中记载的现有技术，可以使用3个帧，对于多个方向进行一维(水平·垂直·倾斜(右下)·倾斜(右上))的高分辨率化，把这些各结果输入到本发明实施例中的混合器(2009)或者混合器(2707)中混合，作为二维的分辨率变换结果输出。这种情况下，如图20、图21、图27、图33所示那样，与仅使用2个帧进行2维分辨率变换的结构相比较，虽然帧存储器或者动态推定单元等信号处理电路的规模增大，然而与在专利文献1、专利文献2、非专利文献1中记述的那样，至少使用7个帧的信号相比较，能够减小帧存储器或者动态推定器等信号处理电路的规模。

另外，在上述第8至第11实施例中，举例说明了一维方向的2倍高分辨率化，而也可以把使用图18以及图19说明过的n倍高分辨率化处理用作为第8至第11实施例的水平、垂直、倾斜(右上)、倾斜(右下)的高分辨率处理。

另外，在上述实施例中，举例说明了使用帧#1和帧#2的输入信号的组，变换帧#1的分辨率的情况，而除此以外，例如，也可以使用帧#1和帧#3、帧#1和帧#4等的多个组，分别变换帧#1的分辨率，混合这些结果，作为帧#1的最终的分辨率变换结果。作为这时的混合方法，既可以采用各结果的平均值，也可以如图23以及图24所示那样，根据每个帧的系数C4(帧)的值进行混合。这种情况下，作为系数C4(帧)，也可以使用每个帧中的系数C4(水平)和系数C4(垂直)的MAX值(不太小的值)。另外，也可以在每个帧把所有组的系数C4(水平)、C4(垂直)进行比较，在每个像素选择从系数C4最小的数(即，分辨率提高效果最大的数)得到的分辨率变换结果，作为帧#1的最终的分辨率变换结果。

另外，上述的帧#1、帧#2、帧#3可以是时间上不连续的帧，也可以是时间上相反顺序的帧。

本发明的各实施例除去上述实施例中说明过的装置以外，例如，也同样能够适用在DVD播放机或者HDD播放机，进而，当然还能够适用在用于接收一个区段广播的便携式图像显示终端(例如便携式电话机)。另外，作为图像帧，也可以使用电视广播信号以外的信号的图像帧。例如，对于经过互联网发送的流图像或者从DVD播放机和HDD播放机再现后的图像，也同样能够适用本发明。

另外，本发明的一个实施形态在下述的情况下也是有用的。

即，本发明的一个实施形态是输入多个低清晰图像，把它们对位以后，生成1张高分辨率图像的技术，能够得到超过了输入图像的分辨率界限的高精细图像。

在现有技术中，在生成1张输出图像时，需要大量(10～50帧左右)的输入帧和多次(10～100次左右)的反复运算。由此，需要大量的存储器或者进行超高速运算的处理器，难以在实时的电视影像中应用。

这里，如何以很少的输入帧数/运算量实现高分辨率处理，成为向电视接收机的应用的重要课题，而如果使用本发明的一个实施形态，则能够把输入帧数最少减小到2张的同时，还不需要重复运算。

如果使用本发明的一个实施形态，则与单纯放大图像增加了像素数的现有SG→HD变换技术(升变换技术)不同，超过输入图像的分辨率的界限，能够把标准画质(SD：标准分辨率)的活动图像变换成高分辨率画质(HD：高分辨率)。由此，例如，与伴随着数字广播和大画面薄型电视机的普及，发展HD化的电视机的高分辨率显示需求相对应，能够以接近高分辨率电视机的画质再现已有的DVD媒体或者SD画质的节目，已经以SD画质记录后的影像等。

另外，如果使用本发明的一个实施形态，则由于能够以比现有技术少的输入帧数得到高精细的影像，因此能够适宜地在以电视接收机中的实时处理为前提的信号处理方式中使用。

另外，如果使用本发明的一个实施形态，则例如输入640×360像素的SD画质的图像，能够从例如2张输入图像更高分辨率地生成成为纵方向2倍、横方向2倍的分辨率的1280×720像素的HD画质的图像。即，能够把标准画质的电视影像变换成接近高分辨率电视机的画质。

另外，在上述的各实施例中举例说明了帧单位的高分辨率化，然而高分辨率化的对象不一定是帧整体。例如，也可以把输入图像或者输入影像的帧的一部分作为清晰化的对象。即，如果把输入影像的帧的一部分的多个帧部分作为对象实施上述的本发明的一个实施例的图像处理，则能够得到输入图像或输入影像的一部分的高画质的大图像。这一点例如能够适用在影像的一部分的放大显示等中。

另外，即使把上述的各实施例的某些组合起来，也能够构成本发明的一个实施形态。

依据上述的本发明的各实施例，能够进行把低分辨率的图像适宜地变换成放大图像的处理，能够适宜地得到高画质、高分辨率的图像。即，能够把图像信号适宜地进行高分辨率化。

另外，依据上述的本发明的各实施例，能够降低为了得到高画质、高分辨率图像所必要的图像的帧数。

Claims (15)

1.一种图像信号处理装置，其特征在于，包括：

输入部，输入n张图像帧，其中n为2以上的整数；

m个分辨率变换部，通过对由所述输入部输入的n张图像帧进行合成，与所述输入图像帧上的被拍摄物体移动的方向相对应而具有不同的分辨率变换特性，增加构成图像帧的像素数，并生成输出图像帧，其中m为2以上的整数；和

混合部，对所述m个分辨率变换部的输出结果进行混合，而得到输出图像帧。

2.如权利要求1所述的图像信号处理装置，其特征在于，

各个所述m个分辨率变换部，使n张图像帧的像素数增加，将所述像素数增加后的n张图像帧向相互不同的方向移动π/2，将所述相位移动后的n张图像帧与相位移动前的n张图像帧相加，而生成输出图像帧，其中m和n分别为2以上的整数。

3.如权利要求1所述的图像信号处理装置，其特征在于，

所述混合部将所述m个所述分辨率变换部的输出结果的平均值作为输出图像帧。

4.如权利要求1所述的图像信号处理装置，其特征在于，

所述混合部，与根据所述输入图像帧上的被拍摄物体的移动量而决定的混合比相对应地对所述m个分辨率变换部的输出结果进行混合，并将其作为输出图像帧。

5.如权利要求1所述的图像信号处理装置，其特征在于，

所述混合部，合成对所述m个分辨率变换部的输出结果进行规定的二维频率分离后的各个结果，并将其作为输出图像帧。

6.如权利要求1所述的图像信号处理装置，其特征在于，

m个所述分辨率变换部包括，作为水平分辨率变换部的第1分辨率变换部，和作为垂直分辨率变换部的第2分辨率变换部，其中，m为2以上的整数。

7.如权利要求1所述的图像信号处理装置，其特征在于，

m个所述分辨率变换部包括，作为水平分辨率变换部的第1分辨率变换部，作为垂直分辨率变换部的第2分辨率变换部，作为斜(右下)方向的分辨率变换部的第3分辨率变换部，和作为斜(右上)方向的分辨率变换部的第4分辨率变换部，其中，m为2以上的整数。

8.一种图像高分辨率化方法，其特征在于，包括如下步骤：

输入n张图像帧的输入步骤，其中，n为2以上的整数；

通过对所述输入的n张图像帧进行合成，与所述输入图像帧上的被拍摄物体移动的方向相对应而具有不同的m种分辨率变换特性，生成使构成图像帧的像素数增加后的m个输出图像帧的步骤，其中m为2以上的整数；和

对所述m个的所述分辨率变换的输出结果进行混合，得到输出图像帧的步骤。

9.如权利要求8所述的图像高分辨率化方法，其特征在于，

所述生成输出图像帧的步骤，使n张图像帧的像素数增加，由所述像素数增加后的n张图像帧，和使所述像素数增加后的n张图像帧向相互不同的m种方向移动π/2后的m个图像帧，生成m个输出图像帧，其中，n为2以上的整数，m为2以上的整数。

10.如权利要求8所述的图像高分辨率化方法，其特征在于，

所述混合步骤，将所述m个分辨率变换的输出结果的平均值作为输出图像帧。

11.如权利要求8所述的图像高分辨率化方法，其特征在于，

所述混合步骤，与根据所述输入图像帧上的被拍摄物体的移动量而决定的混合比相对应地对所述m个分辨率变换的输出结果进行混合，并将其作为输出图像帧。

12.如权利要求8所述的图像高分辨率化方法，其特征在于，

所述混合步骤，合成对m个进行所述分辨率变换的步骤的输出结果进行规定的二维频率分离后的各个结果，并将其作为输出图像帧。

13.一种图像显示装置，其特征在于，包括：

输入部，输入图像数据；

图像信号处理部，使包含在所述图像数据中的第1图像帧和第2图像帧的各个像素数增加，并使所述像素数增加后的第1及第2图像帧的相位向m个相互不同的方向移动π/2，将所述相位移动后的第1及第2图像帧与相位移动前的第1及第2图像帧相加，去除包含在输入图像帧中的折叠成分，并对去除所述折叠成分后的所述m个图像帧进行混合，而生成输出图像帧，其中，m为2以上的整数；和

显示部，根据来自所述图像信号处理部的输出进行图像的显示。

14.如权利要求13所述的图像显示装置，其特征在于，

所述图像数据是运动图像数据，所述第1以及第2图像帧是运动图像的图像帧。

15.如权利要求13所述的图像显示装置，其特征在于，

所述图像数据是电视广播信号。

Images