CN100367788C - 系数种类数据生成装置及生成方法 - Google Patents

Abstract

本发明提供一种系数种类数据生成装置，生成系数种类数据，该系数种类数据是分为多层的生成式的最下层生成式的系数数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，该装置包括：参数设定部件；数据选择部件；法方程式生成部件；系数数据运算部件；以及系数种类数据运算部件。

Description

系数种类数据生成装置及生成方法

本申请是以下专利申请的分案申请：申请号：02800471.X，申请日：2002.1.22，发明名称：信息信号处理装置、信息信号处理方法、图像信号处理装置、图像信号处理方法及使用该方法的图像显示装置、使用该方法的系数种类数据生成装置及生成方法、以及计算机可读媒体和程序

技术领域

本发明涉及系数种类数据生成装置及生成方法。

背景技术

为了变换格式或图像尺寸，需要求相位与输入图像信号的像素数据不同的像素数据来得到输出图像信号。在此情况下，变换后的格式或图像尺寸唯一地决定了输出图像信号的像素相对于输入图像信号的像素的相位关系。

作为格式变换的例子，说明输入图像信号为525i信号、输出图像信号为1080i信号的情况。525i信号表示行数为525根的隔行扫描方式的图像信号，而1080i信号表示行数为1080根的隔行扫描方式的图像信号。图16示出525i信号和1080i信号的像素位置关系。这里，大点是525i信号的像素，小点是1080i信号的像素。此外，用实线表示奇数场的像素位置，用虚线表示偶数场的像素位置。

在将525i信号变换为1080i信号的情况下，在奇数、偶数的各个场中，需要对应于525i信号的各4×4像素块来得到1080i信号的9×9像素块。

图17示出525i信号和1080i信号的像素的垂直方向的相位关系。图中的1080i信号的像素(小圆圈)上分别附加的数值表示离525i信号的像素(大圆圈)的垂直方向的最短距离。在此情况下，设525i信号的垂直方向的像素间隔为16。在图17中，1080i信号的像素上分别附加的数值表示该像素相对于525i信号的像素的垂直方向的相位信息。

其中，该相位信息在1080i的像素位于525i的像素(位于最短距离的像素)上方的情况下为负值，而在位于下方的情况下为正值。这在后述的XGA信号和525i的垂直方向的相位关系图中也同样。

图18示出525i信号和1080i信号的像素的水平方向的相位关系。图中的1080i信号的像素(小圆圈)上分别附加的数值表示离525i信号的像素(大圆圈)的水平方向的最短距离。在此情况下，设525i信号的水平方向的像素间隔为8。在图18中，1080i信号的像素上分别附加的数值表示该像素相对于525i信号的像素的水平方向的相位信息。

其中，该相位信息在1080i的像素位于525i的像素(位于最短距离的像素)左方的情况下为负值，而在位于右方的情况下为正值。这在后述的XGA信号和525i的水平方向的相位关系图中也同样。

接着，作为格式变换的例子，说明输入图像信号为525i信号、输出图像信号为XGA信号的情况。XGA信号是用于进行分辨率为1024×768点的显示的逐行扫描方式(非隔行扫描方式)的图像信号。图19示出525i信号和XGA信号的像素位置关系。这里，大点是525i信号的像素，小点是XGA信号的像素。此外，对于525i信号，用实线表示奇数场的像素位置，用虚线表示偶数场的像素位置。

在将525i信号变换为XGA信号的情况下，在奇数、偶数的各个场中，需要对应于525i信号的各5×5像素块来得到1080i信号的8×16像素块。

图20示出525i信号和XGA信号的像素的垂直方向的相位关系。图中的XGA信号的像素上分别附加的数值表示离525i信号的像素的垂直方向的最短距离。在此情况下，设525i信号的垂直方向的像素间隔为16。这样，XGA信号的像素上分别附加的数值表示该像素相对于525i信号的像素的垂直方向的相位信息。

图21示出525i信号和XGA信号的像素的水平方向的相位关系。图中的XGA信号的像素上分别附加的数值表示离525i信号的像素的水平方向的最短距离。在此情况下，设525i信号的水平方向的像素间隔为8。这样，XGA信号的像素上分别附加的数值表示该像素相对于525i信号的像素的水平方向的相位信息。

图像尺寸变换的例子未特别示出，但是也与上述格式变换的情况同样，唯一地决定了输出图像信号的像素相对于输入图像信号的像素的相位关系。例如，图像尺寸(显示图像的放大倍数)垂直、水平都为9/4倍的情况下的相位关系与上述525i信号和1080i信号的像素的相位关系相同。

以往，为了变换格式或图像尺寸，在由输入图像信号的像素数据来得到输出图像信号的像素数据时，提出了下述方案：将与输出图像信号的像素相对于输入图像信号的像素的各相位对应的估计式的系数数据保存到存储器中，用该系数数据通过估计式来求输出图像信号的像素数据。

如上所述，如果变换后的格式或图像尺寸不同，则输出图像信号的像素相对于输入图像信号的像素的相位关系不同。因此，在将估计式的系数数据保存到存储器中时，在变换为各种格式或图像尺寸的情况下，需要对应于各个格式或图像尺寸将系数数据保存到存储器中。再者，在变换为各种格式或图像尺寸的情况下，在能够分多级来调整画质的情况下，需要对应于各个级将系数数据保存到存储器中。因此，在此情况下，需要保存大量系数数据的存储器，具有变换装置价格昂贵等问题。

发明内容

因此，本发明的目的在于，不需要保存大量系数数据的存储器来进行各种格式或图像尺寸的变换或者分多级来调整画质。

此外，本发明的目的在于，在为了不需要保存大量系数数据的存储器而通过估计式来生成系数数据时，压缩每1个步骤的运算处理，并且实现硬件的规模缩小及有效利用。

本发明提供一种系数种类数据生成装置，生成系数种类数据，该系数种类数据是分为多层的生成式的最下层生成式的系数数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，该装置包括：

参数设定部件，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

数据选择部件，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

法方程式生成部件，用所述数据选择部件选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，来生成法方程式，该法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

系数数据运算部件，解所述法方程式来得到所述未分层状态下的生成式的系数数据；以及

系数种类数据运算部件，根据上层生成式和下层生成式的关系，用所述系数数据运算部件得到的所述未分层状态下的生成式的系数数据，来得到分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

此外，本发明提供一种系数种类数据生成方法，生成分为多层的生成式的最下层生成式的系数数据－－系数种类数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，包括：

第1步骤，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

第2步骤，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

第3步骤，用所述第2步骤中选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，来生成法方程式，该法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

第4步骤，解所述第3步骤中生成的所述法方程式来得到所述未分层状态下的生成式的系数数据；以及

第5步骤，根据上层生成式和下层生成式的关系，用所述第4步骤中得到的所述未分层状态下的生成式的系数数据，来得到将分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

此外，本发明还提供一种系数种类数据生成装置，生成系数种类数据，该系数种类数据是分为多层的生成式的最下层生成式的系数数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，该装置包括：

参数设定部件，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

数据选择部件，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

第1法方程式生成部件，用所述数据选择部件选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，对所述参数设定部件设定的多个参数的值的每个组合生成用于得到所述估计式的系数数据的第1法方程式；

第1系数数据运算部件，解所述第1法方程式，对所述每个组合得到所述估计式的系数数据；

第2法方程式生成部件，由所述第1系数运算部件得到的所述每个组合的系数数据，来生成第2法方程式，该第2法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

第2系数数据运算部件，解所述第2法方程式来得到所述未分层状态下的生成式的系数数据；以及

系数种类数据运算部件，根据上层生成式和下层生成式的关系，用所述第2系数数据运算部件得到的所述未分层状态下的生成式的系数数据，来得到分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

此外，本发明还提供一种系数种类数据生成方法，生成系数种类数据，该系数种类数据是分为多层的生成式的最下层生成式的系数数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，该方法包括：

第1步骤，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

第2步骤，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

第3步骤，用所述第2步骤中选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，对所述第1步骤中设定的多个参数的值的每个组合生成用于得到所述估计式的系数数据的第1法方程式；

第4步骤，解所述第3步骤中生成的所述第1法方程式，对所述每个组合得到所述估计式的系数数据；

第5步骤，由所述第4步骤中得到的所述每个组合的系数数据，来生成第2法方程式，该第2法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

第6步骤，解所述第5步骤中生成的所述第2法方程式，来得到所述未分层状态下的生成式的系数数据；以及

第7步骤，根据上层生成式和下层生成式的关系，用所述第6步骤中得到的所述未分层状态下的生成式的系数数据，来得到将分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

附图说明

图1是实施例的电视接收机的结构方框图。

图2是图像信号处理部中各部的运算定时的说明图。

图3是未分层状态的生成式的系数数据w_i，0～W_i，80的生成方法的一例原理图。

图4是525i信号(SD信号)和1050i信号(HD信号)的像素位置关系图。

图5是垂直方向上的8级相移的说明图。

图6是水平方向上的4级相移的说明图。

图7是SD信号(525i信号)和HD信号(1050i信号)的相位关系图。

图8是系数种类数据生成装置的结构示例方框图。

图9是频带滤波器的频率特性的示例图。

图10是未分层状态的生成式的系数数据w_i，0～w_i，80的生成方法的另一例的原理图。

图11是系数种类数据生成装置的另一结构例的方框图。

图12是用于以软件来实现的图像信号处理装置的结构例的方框图。

图13是图像信号处理的流程图。

图14是系数种类数据生成处理的流程图。

图15是另一系数种类数据生成处理的流程图。

图16是525i信号和1080i信号的像素位置关系的图。

图17是525i信号和1080i信号的像素的垂直方向的相位关系的图。

图18是525i信号和1080i信号的像素的水平方向的相位关系的图。

图19是525i信号和XGA信号的像素位置关系的图。

图20是525i信号和XGA信号的像素的垂直方向的相位关系的图。

图21是525i信号和XGA信号的像素的水平方向的相位关系的图。

具体实施方式

以下，参照附图来说明本发明的实施例。图1表示实施例的电视接收机100的结构。该电视接收机100由广播信号来得到525i信号，将该525i信号变换为1080i信号或XGA信号并进行图像显示，或者将该525i信号变换为用于将该图像的一部分以任意的倍数放大显示的新的525i信号并进行图像显示。

电视接收机100包括微型计算机，具有：系统控制器101，用于控制整个系统的工作；以及遥控信号接收电路102，接收遥控信号。遥控信号接收电路102被连接在系统控制器101上，接收按照用户的操作从遥控发送机200输出的遥控信号RM，将与该信号RM对应的操作信号供给到系统控制器101。

此外，电视接收机100具有：接收天线105；高频头106，接受该接收天线105捕获的广播信号(RF调制信号)，进行选台处理、中频放大处理、检波处理等来得到525i信号；以及缓冲存储器109，用于暂时保存从该高频头106输出的525i信号。

此外，电视接收机100具有：图像信号处理部110，将缓冲存储器109中暂时保存的525i信号作为输入图像信号Vin，变换为1080i信号或XGA信号，或者将该525i信号变换为用于将该图像的一部分以任意的倍数放大显示的新的525i信号并输出；以及显示部111，显示基于从该图像信号处理部110输出的输出图像信号Vout的图像。显示部111例如由CRT(cathode-ray tube，阴极射线管)显示器、或LCD(liquid crystal display，液晶显示器)等平面显示器构成。

下面说明图1所示的电视接收机100的工作。

从高频头106输出的525i信号被供给到缓冲存储器109而暂时保存。然后，该缓冲存储器109中暂时保存的525i信号作为输入图像信号Vin被输入到图像信号处理部110中。

在该图像信号处理部110中，按照用户通过操作遥控发送机200而进行的设定，将作为输入图像信号Vin的525i信号变换为1080i信号或XGA信号，或者将该525i信号变换为用于将该图像的一部分以任意的倍数放大显示的新的525i信号。从该图像信号处理部110输出的输出图像信号Vout被供给到显示部111，在该显示部111的画面上显示基于该输出图像信号Vout的图像。

此外，虽然上面未指出，但是用户也能够通过操作遥控发送机200来连续、平滑地调整如上所述在显示部111的画面上显示的图像的水平及垂直分辨率。如后所述，图像信号处理部110通过估计式来计算构成输出图像信号Vout的像素数据。此时，该估计式的系数数据对应于用户通过操作遥控发送机200设定的决定水平、垂直分辨率的参数g、f，通过包含这些参数g、f的生成式来生成并使用。由此，基于从图像信号处理部110输出的输出图像信号Vout的图像的水平、垂直分辨率对应于设定的参数g、f的值。

接着，详细说明图像信号处理部110。该图像信号处理部110具有：第1～第3抽头选择电路121～123，从缓冲存储器109中存储的525i信号中选择性地取出并输出位于构成输出图像信号Vout的单位像素块内的各像素(当前位置的像素)周边的多个像素数据。

第1抽头选择电路121用于选择性地取出预测使用的像素(称为“预测抽头”)的数据。第2抽头选择电路122用于选择性地取出空间类别分类所使用的像素(称为“空间类别抽头”)的数据。第3抽头选择电路123用于选择性地取出运动分类所使用的像素(称为“运动类别抽头”)的数据。其中，在使用属于多个场的像素数据来决定空间类别的情况下，在该空间类别中也包含运动信息。

此外，图像信号处理部110具有：空间类别检测电路124，检测第2抽头选择电路122选择性地取出的空间类别抽头的数据(多个)的电平分布图案，根据该电平分布图案来检测空间类别，输出其类别信息。

空间类别检测电路124例如进行将空间类别抽头的数据从8比特数据压缩为2比特数据的运算。然后，从空间类别检测电路124输出与空间类别抽头的数据分别对应的压缩数据作为空间类别的类别信息。在本实施例中，通过ADRC(Adaptive Dynamic Range Coding，自适应动态范围编码)来进行数据压缩。其中，信息压缩手段除了ADRC以外，也可以使用DPCM(预测编码)、VQ(矢量量化)等。

ADRC本来是为面向VTR(Video Tape Recorder，录像机)的高性能编码而开发的自适应再量化法，但是由于能够用短的字长来高效地表现信号电平的局部图案，所以适用于上述数据压缩。在使用ADRC的情况下，假设空间类别抽头的数据的最大值为MAX，其最小值为MIN，空间类别抽头的数据的动态范围为DR(＝MAX-MIN+1)，再量化比特数为P，则对于空间类别抽头的数据ki，通过式(1)的运算，来得到作为压缩数据的再量化码qi。其中，在式(1)中，[]表示舍去处理。在作为空间类别抽头的数据有Na个像素数据时，i＝1～Na。

qi＝[(ki-MIN+0.5)*2^P/DR]...(1)

此外，图像信号处理部110具有：运动类别检测电路125，由第3抽头选择电路123选择性地取出的运动类别抽头的数据(多个)，来检测主要用于表示运动程度的运动类别，输出其类别信息。

该运动类别检测电路125由第3抽头选择电路123选择性地取出的运动类别抽头的数据来计算帧间差分，进而对该差分的绝对值的平均值进行阈值处理来检测作为运动指标的运动类别。即，运动类别检测电路125通过式(2)来计算差分的绝对值的平均值AV。在第3抽头选择电路123例如取出6个像素数据m1～m6和其前一帧的6个像素数据n1～n6作为类抽头的数据时，式(2)中的Nb为6。

$\mathrm{AV}=\frac{\underset{i=1}{\overset{\mathrm{Nb}}{\mathrm{\Σ}}}|\mathrm{mi}-\mathrm{ni}|}{\mathrm{Nb}}...\left(2\right)$

然后，运动类别检测电路125将如上所述算出的平均值AV与1个或多个阈值进行比较来得到运动类别的类别信息MV。例如，在准备了3个阈值th1、th2、th3(th1＜th2＜th3)来检测4个运动类别的情况下，在AV≤th1时使MV＝0，在th＜AV≤th2时使MV＝1，在th2＜AV≤th3时使MV＝2，在th3＜AV时使MV＝3。

此外，图像信号处理部110具有：类别合成电路126，用于根据从空间类别检测电路124输出的作为空间类别的类别信息的再量化码qi、和从运动类别检测电路125输出的运动类别的类别信息MV，来得到表示要形成的构成输出图像信号Vout的单位像素块内的各像素(当前位置的像素)所属的类别的类别码CL。

该类别合成电路126通过式(3)来进行类别码CL的运算。其中，在式(3)中，Na表示空间类别抽头的数据的个数，P表示ADRC中的再量化比特数。

$\mathrm{CL}=\underset{i=1}{\overset{\mathrm{Na}}{\mathrm{\Σ}}}\mathrm{qi}{\left(2^P\right)}^{i-1}+\mathrm{MV}\·{\left(2^P\right)}^{\mathrm{Na}}...\left(3\right)$

此外，图像信号处理部110具有寄存器130～133。后述的后处理电路129在作为输出图像信号Vout而输出1080i信号的情况、输出XGA信号的情况、以及输出525i信号的情况下需要切换其工作。寄存器130用于保存指定后处理电路129的工作的工作指定信息。后处理电路129根据从寄存器130供给的工作指定信息来进行工作。

寄存器131用于保存第1抽头选择电路121选择的预测抽头的抽头位置信息。第1抽头选择电路121根据从寄存器131供给的抽头位置信息来选择预测抽头。抽头位置信息例如用于对有可能选择的多个像素进行编号，指定要选择的像素的号码。在以下的抽头位置信息中也是同样。

寄存器132用于保存第2抽头选择电路122选择的空间类别抽头的抽头位置信息。第2抽头选择电路122根据从寄存器132供给的抽头位置信息来选择空间类别抽头。

这里，在寄存器132中保存有运动比较小的情况下的抽头位置信息A、和运动比较大的情况下的抽头位置信息B。将这些抽头位置信息A、B中的哪一个供给到第2抽头选择电路122，要根据从运动类别检测电路125输出的运动类别的类别信息MV来选择。

即，在因没有运动、或运动小所以MV＝0或MV＝1时，抽头位置信息A被供给到第2抽头选择电路122，该第2抽头选择电路122选择的空间类别抽头跨越多个场。此外，在运动比较大所以MV＝2或MV＝3时，抽头位置信息B被供给到第2抽头选择电路122，虽然未图示，但是该第2抽头选择电路122选择的空间类别抽头只有与要形成的像素在同一场内的像素。

其中，也可以在上述寄存器131中也保存运动比较小的情况下的抽头位置信息、和运动比较大的情况下的抽头位置信息，向第1抽头选择电路121供给的抽头位置信息根据从运动类别检测电路125输出的运动类别的类别信息MV来选择。

寄存器133用于保存第3抽头选择电路123选择的运动类别抽头的抽头位置信息。第3抽头选择电路123根据从寄存器133供给的抽头位置信息来选择运动类别抽头。

此外，图像信号处理部110具有信息存储体135。在该信息存储体135中，预先存储有用于保存到寄存器130中的工作指定信息、和用于保存到寄存器131～133中的抽头位置信息。

这里，作为用于保存到寄存器130中的工作指定信息，在信息存储体135中，预先存储有用于使后处理电路129输出1080i信号的第1工作指定信息、用于使后处理电路129输出XGA信号的第2工作指定信息、以及用于使后处理电路129输出525i信号的第3工作指定信息。

用户通过操作遥控发送机200，能够选择输出1080i信号的第1变换方法、输出XGA信号的第2变换方法、或输出525i信号的第3变换方法。其中，在选择第3变换方法时，用户还能够指定显示图像的倍数(图像尺寸)。从系统控制器101向信息存储体135供给该变换方法的选择信息，根据该选择信息从该信息存储体135向寄存器130加载第1、第2或第3工作指定信息。

此外，在信息存储体135中，作为用于保存到寄存器131中的预测抽头的抽头位置信息，预先存储有与第1变换方法(1080i)对应的第1抽头位置信息、与第2变换方法(XGA)对应的第2抽头位置信息、以及与第3变换方法(525i)对应的第3抽头位置信息。根据上述变换方法的选择信息从该信息存储体135向寄存器131加载第1、第2或第3抽头位置信息。

其中，在信息存储体135中，作为与第3变换方法对应的第3抽头位置信息，也可以预先存储与显示图像的倍数对应的抽头位置信息，在选择了第3变换方法的情况下，将与同时指定的倍数对应的抽头位置信息从信息存储体135加载到寄存器131中。这在后述的向寄存器132、133加载抽头信息时也同样。

此外，在信息存储体135中，作为用于保存到寄存器132中的空间类别抽头的抽头位置信息，预先存储有与第1变换方法(1080i)对应的第1抽头位置信息、与第2变换方法(XGA)对应的第2抽头位置信息、以及与第3变换方法(525i)对应的第3抽头位置信息。第1、第2及第3抽头位置信息分别由运动比较小的情况下的抽头位置信息、和运动比较大的情况下的抽头位置信息构成。根据上述变换方法的选择信息从该信息存储体135向寄存器132加载第1、第2或第3抽头位置信息。

此外，在信息存储体135中，作为用于保存到寄存器133中的运动类别抽头的抽头位置信息，预先存储有与第1变换方法(1080i)对应的第1抽头位置信息、与第2变换方法(XGA)对应的第2抽头位置信息、以及与第3变换方法(525i)对应的第3抽头位置信息。根据上述变换方法的选择信息从该信息存储体135向寄存器133加载第1、第2或第3抽头位置信息。

此外，图像信号处理部110具有由ROM构成的下层系数存储部136。在该下层系数存储部136中，预先存储有各类的系数种类数据。从系统控制器101向该下层系数存储部136供给读出控制信号RCS。该系数种类数据是分为上层及下层两层的生成式中的、下层生成式的系数数据，该生成式用于生成由后述估计预测运算电路127使用的估计式的系数数据。

后述估计预测运算电路127通过式(4)的估计式，由预测抽头的数据xi、和通过生成式生成的系数数据Wi来计算要形成的像素数据y。在第1抽头选择电路121选择的预测抽头为10个时，式(4)中的n为10。

$y=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i\·x_i...\left(4\right)$

然后，例如如式(5)所示，该估计式的系数数据Wi(i＝1～n)由以水平分辨率g、垂直分辨率f、水平相位h、垂直相位v为参数的生成式(未分层状态)来表示。在本发明中，通过将该式(5)的关系进一步分为两层得到的式(6)所示的上层生成式及式(7)所示的下层生成式来生成系数数据Wi(i＝1～n)。在下层系数存储部136中，对每个类别存储系数种类数据b_ij0～b_ij8(i＝1～n，j＝0～8)，该系数种类数据是下层生成式的系数数据。该系数种类数据的生成方法将后述。

其中，在式(6)所示的上层生成式中包含参数h、v，在式(7)所示的下层生成式中包含参数g、f。在此情况下，参数h、v是构成输出图像信号Vout的单位像素块内的各像素的水平方向、垂直方向的相位信息，如后所述，在垂直有效扫描期间中频繁地被更新，而作为分辨率信息的参数g、f则不被频繁地更新。

这样，由不频繁地被更新的参数构成下层生成式。此外，同一生成式中的参数最好为按同一定时被更新的参数。

W_i＝w_i，og⁰f⁰v⁰h⁰+w_i，1g⁰f⁰v⁰h¹+w_i，2g⁰f⁰v⁰h²+w_i，3g⁰f⁰v¹h⁰+w_i，4g⁰f⁰v¹h¹

+w_i，5g⁰f⁰v¹h²+w_i，6g⁰f⁰v²h⁰+w_i，7g⁰f⁰v²h¹

：：：：：：：：

：：：：：：：：.

+w_i，73g²f²v⁰h¹+w_i，74g²f²v⁰h²+w_i，75g²f²v¹h⁰+w_i，76g²f²v¹h¹

w_i，77g²f²v¹h²+w_i，78g²f²v²h⁰+w_i，79g²f²v²h¹+w_i，80g²f²v²h²

                                              ...(5)

W_i＝a_i0v⁰h⁰+a_i1v⁰h¹+a_i2v⁰h²+a_i3v¹h⁰+a_i4v¹h¹

  +a_i5v¹h²+a_i6v²h⁰+a_i7v²h¹+a_i8v²h²

                                              ...(6)

a_ij＝b_ijog⁰f⁰+b_ij1g⁰f¹+b_ij2g⁰f²+b_ij3g¹f+b_ij4g¹f¹

   +b_ij5g¹f²+b_ij6g²f⁰+b_ij7g²f¹+b_ij8g²f²

                                              ...(7)

此外，图像信号处理部110具有：自适应型积和器137，用各类的系数种类数据b_ij0～b_ij8及参数g、f的值，通过式(7)，对每个类别生成式(6)所示的上层生成式的系数数据a_i0～a_i8(i＝1～n)，并且用与类别合成电路126得到的类别码CL对应的类别的系数数据a_i0～a_i8及参数h、v的值，通过式(6)，生成该类别的估计式的系数数据Wi(i＝1～n)。该自适应型积和器137生成的系数数据Wi被供给到后述估计预测运算电路127。

从系统控制器101向该自适应型积和器137供给参数g、f的值，并且从后述相位信息产生电路139向该自适应型积和器137供给参数h、v的值。此外，从系统控制器101向该自适应型积和器137供给积和构造信息INF，在进行式(7)的运算时为用于进行该运算的积和构造，而在进行式(6)的运算时为用于进行该运算的积和构造。在本实施例中，式(6)和式(7)同形，所以自适应型积和器137在进行式(7)的运算的情况下和进行式(6)的运算的情况下为同一积和构造。

这里，自适应型积和器137将如上所述通过式(7)对每个类别生成的、式(6)所示的上层生成式的系数数据a_i0～a_i8(i＝1～n)存储到由RAM构成的上层系数存储部138中，以备式(6)的运算。从系统控制器101向该上层系数存储部138供给写入/读出控制信号W/RCS。在本实施例中，式(7)的运算在输出图像信号Vout的垂直消隐期间中进行，式(6)的运算在其垂直有效扫描期间中进行。

此外，图像信号处理部110具有：相位信息产生电路139，根据从系统控制器101供给的、与变换方法的选择信息及倍数的指定信息对应的输入图像信号Vin和输出图像信号Vout中的垂直方向、水平方向的各场中的像素数的对应关系信息n/m，来产生构成输出图像信号Vout的单位像素块内的各像素的水平方向、垂直方向的相位信息h、v。该相位信息产生电路139例如由ROM表构成。

该相位信息产生电路139产生的各像素的水平方向、垂直方向的相位信息h、v分别与像素号(抽头号)相关联，被供给到自适应型积和器137。其中，从相位信息产生电路139分别对应于输入图像信号Vin的奇数、偶数场来产生相位信息h、v。

例如，在选择第1变换方法(1080i)的情况下，对于垂直方向，n/m＝9/4，而对于水平方向，n/m＝9/4(参照图16)。因此，作为输入图像信号Vin的525i信号的4×4像素块对应于作为输出图像信号Vout的1080i信号的9×9像素块。在此情况下，构成输出图像信号Vout的单位像素块为9×9像素块。

在此情况下，相位信息产生电路139求该9×9单位像素块内的各像素到上述525i信号的4×4像素块内的像素中、位于垂直方向上最近位置的像素(最短像素)的距离作为相位信息v，并且求到位于水平方向上最近位置的像素(最短像素)的距离作为相位信息h。在本实施例中，设525i信号的垂直方向的像素间隔为16，水平方向的像素间隔为8，来求上述相位信息h、v。这在选择第2、第3变换方法的情况下也同样。

这里，在9×9单位像素块内的目标像素位于最短像素上方时相位信息v为负值，相反，在该目标像素位于上述最短像素下方时为正值。此外，在该目标像素位于最短像素左方时相位信息h为负值，相反，在该目标像素位于最短像素右方时为正值。这在选择第2、第3变换方法的情况下也同样。

这样，在选择第1变换方法(1080i)的情况下，相位信息产生电路139分别对应于奇数、偶数场，来产生构成9×9单位像素块的81个像素各自的相位信息h、v。

此外例如，在选择第2变换方法(XGA)的情况下，对于垂直方向，n/m＝16/5，而对于水平方向，n/m＝8/5(参照图19)。因此，作为输入图像信号Vin的525i信号的5×5像素块对应于作为输出图像信号Vout的XGA信号的8×16像素块。在此情况下，构成输出图像信号Vout的单位像素块为8×16像素块。

在此情况下，相位信息产生电路139求该8×16单位像素块内的各像素到上述525i信号的5×5像素块内的像素中、位于垂直方向上最近位置的像素(最短像素)的距离作为相位信息v，并且求到位于水平方向上最近位置的像素(最短像素)的距离作为相位信息h。

这样，在选择第2变换方法(XGA)的情况下，相位信息产生电路139分别对应于奇数、偶数场来产生构成8×16单位像素块的128个像素各自的相位信息h、v。

此外例如，在选择第3变换方法(525i)的情况下，指定的显示图像的倍数(图像尺寸)唯一地决定了垂直方向及水平方向的n/m。假设对于垂直方向，n/m＝n_v/m_v，而对于水平方向，n/m＝n_h/m_h，则作为输入图像信号Vin的525i信号的m_h×m_v像素块对应于作为输出图像信号Vout的525i信号的n_h×n_v像素块。在此情况下，构成输出图像信号Vout的单位像素块为n_h×n_v像素块。

在此情况下，相位信息产生电路139求该n_h×n_v单位像素块内的各像素到上述作为输入图像信号Vin的525i信号的m_h×m_v像素块内的像素中、位于垂直方向上最近位置的像素(最短像素)的距离作为相位信息v，并且求到位于水平方向上最近位置的像素(最短像素)的距离作为相位信息h。

这样，在选择第3变换方法(525i)的情况下，相位信息产生电路139分别对应于奇数、偶数场，来产生构成n_h×n_v单位像素块的各像素的相位信息h、V。

此外，图像信号处理部110具有：归一化系数生成电路140，通过式(8)来计算与自适应型积和器137生成的各相位信息h、v的系数数据Wi(i＝1～n)对应的归一化系数S。这里，生成的归一化系数S被供给到后述归一化运算电路128。

$S=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i...\left(8\right)$

此外，图像信号处理部110具有：估计预测运算电路127，由第1抽头选择电路121选择性地取出的预测抽头的数据xi、和自适应型积和器137生成的系数数据Wi，来计算构成输出图像信号Vout的单位像素块内的各像素的数据。

该估计预测运算电路127对每个单位像素块生成构成输出图像信号Vout的像素数据。即，从第1抽头选择电路121向该估计预测运算电路127供给与单位像素块内的各像素(当前位置的像素)对应的预测抽头的数据xi，并且从自适应型积和器137向该估计预测运算电路127供给与构成该单位像素块的各像素对应的系数数据Wi，构成单位像素块的各像素的数据分别用上述式(4)的估计式来计算。

例如，在选择了第1变换方法(1080i)的情况下，估计预测运算电路127依次重复生成构成单位像素块的81个像素的数据；在选择了第2变换方法(XGA)的情况下，依次重复生成构成单位像素块的128个像素的数据；而在选择了第3变换方法(525i)的情况下，依次重复生成构成单位像素块的(n_h×n_v)个(n_h、n_v随显示图像的指定倍数来变化)像素的数据。

此外，图像信号处理部110具有：归一化运算电路128，将从估计预测运算电路127依次输出的构成输出图像信号Vout的单位像素块内的各像素的数据y₁～y_P(P是构成单位块的像素的个数)，除以归一化系数运算部140算出的、与各自的生成所使用的系数数据Wi(i＝1～n)对应的归一化系数S来进行归一化。虽然上面未指出，但是在自适应型积和器137计算估计式的系数数据Wi并输出时进行舍入处理。因此，系数数据Wi包含舍入误差，所以不能保证该系数数据Wi(i＝1～n)的总和为1.0。因此，估计预测运算电路127算出的各像素的数据y₁～y_P的电平随舍入误差而变动。如上所述，通过用归一化运算电路128进行归一化，能够除去该变动。

此外，图像信号处理部110具有：后处理电路129，将归一化运算电路128归一化并依次供给的单位像素块内的像素的数据y₁′～y_p ′以第1～第3变换方法确定的格式来输出，得到输出图像信号Vout。即，在选择了第1变换方法的情况下从该后处理电路129输出1080i信号，在选择了第2变换方法的情况下输出XGA信号，而在选择了第3变换方法的情况下输出525i信号。如上所述，该后处理电路129的工作指定信息由寄存器130来供给。

接着，说明图像信号处理部110的工作。

第2抽头选择电路122从缓冲存储器109中存储的作为输入图像信号Vin的525i信号中，选择性地取出位于要形成的构成输出图像信号Vout的单位像素块内的各像素(当前位置的像素)周边的空间类别抽头的数据(像素数据)。在此情况下，第2抽头选择电路122根据从寄存器132供给的与用户选择出的变换方法、及运动类别检测电路125检测出的运动类别对应的抽头位置信息，来进行抽头的选择。

该第2抽头选择电路122选择性地取出的空间类别抽头的数据被供给到空间类别检测电路124。该空间类别检测电路124对作为空间类别抽头的数据的各像素数据实施ADRC处理来得到作为空间类别(主要用于表示空间内的波形的分类)的类别信息的再量化码qi(参照式(1))。

此外，第3抽头选择电路123从缓冲存储器109中存储的作为输入图像信号Vin的525i信号中，选择性地取出位于要形成的构成输出图像信号Vout的单位像素块内的各像素(当前位置的像素)周边的运动类别抽头的数据(像素数据)。在此情况下，第3抽头选择电路123根据从寄存器133供给的与用户选择出的变换方法对应的抽头位置信息，来进行抽头的选择。

该第3抽头选择电路123选择性地取出的运动类别抽头的数据被供给到运动类别检测电路125。该运动类别检测电路125由作为运动类别抽头的数据的各像素数据来得到运动类别(主要用于表示运动程度的分类)的类别信息MV。

该运动信息MV和上述再量化码qi被供给到类别合成电路126。该类别合成电路126由这些运动信息MV和再量化码qi，对要形成的构成输出图像信号Vout的每个单位像素块依次得到表示该单位像素块内的各像素(当前位置的像素)所属的类别的类别码CL(参照式(3))。

在输出图像信号Vout的垂直消隐期间中，自适应型积和器137用从下层系数存储部136中读出的各类的系数种类数据b_ij0～b_ij8、和从系统控制器101供给的作为分辨率信息的参数g、f的值，通过式(7)，对每个类别生成式(6)所示的上层生成式的系数数据a_i0～a_i8(i＝1～n)。然后，这样由自适应型积和器137对每个类别生成的、式(6)所示的上层生成式的系数数据a_i0～a_i8(i＝1～n)被存储到上层系数存储部138中，以备垂直有效扫描期间中进行的式(6)的运算。

然后，在输出图像信号Vout的垂直有效扫描期间中，类别合成电路126如上所述依次得到的类别码CL被供给到上层系数存储部138作为读出地址信息。自适应型积和器137用从该上层系数存储部138中读出的与类别码CL对应的类别的系数数据a_i0～a_i8、和相位信息产生电路139产生的作为构成输出图像信号Vout的单位像素块内的各像素的水平方向、垂直方向的相位信息的参数h、v的值，通过式(6)，依次生成与各像素的相位信息h、v对应的估计式的系数数据Wi(i＝1～n)。

由自适应型积和器137这样生成的、与相位信息产生电路139产生的构成输出图像信号Vout的单位像素块内的各像素的相位信息h、v对应的系数数据Wi(i＝1～n)被供给到估计预测运算电路127。此外，归一化系数运算部140依据自适应型积和器138如上所述依次生成的与各像素的相位信息h、v对应的系数数据Wi(i＝1～n)来计算归一化系数S。归一化系数运算部140这样算出的归一化系数S被供给到归一化运算电路128。

此外，第1抽头选择电路121从缓冲存储器109中存储的作为输入图像信号Vin的525i信号中，选择性地取出位于要形成的构成输出图像信号Vout的单位像素块内的各像素(当前位置的像素)周边的预测抽头的数据(像素数据)。在此情况下，第1抽头选择电路121根据从寄存器131供给的与用户选择出的变换方法对应的抽头位置信息，来进行抽头的选择。该第1抽头选择电路121选择性地取出的预测抽头的数据xi被供给到估计预测运算电路127。

估计预测运算电路127由预测抽头的数据xi、和自适应型积和器137生成的各相位信息h、v的系数数据Wi，来计算要形成的构成输出图像信号Vout的单位像素块内的各像素的数据y₁～y_P(参照式(4))。然后，从该估计预测运算电路127依次输出的构成输出图像信号Vout的单位像素块内的各像素的数据y₁～y_p被供给到归一化运算电路128。

向该归一化运算电路128供给归一化系数运算部140如上所述算出的归一化系数S、即与从估计预测运算电路127输出的数据y₁～y_p的计算所使用的系数数据Wi对应的归一化系数S。归一化运算电路128将从估计预测运算电路127输出的数据y₁～y_P分别除以对应的归一化系数S来进行归一化。由此，除去用系数种类数据通过生成式(参照式(7)、式(6))来求估计式(参照式(4))的系数数据Wi时的舍入误差造成的数据y₁～y_P的电平变动。

归一化运算电路128这样归一化并依次输出的单位像素块内的各像素的数据y₁′～y_P′被供给到后处理电路129。然后，后处理电路129将数据y₁′～y_p′以第1～第3变换方法确定的格式来输出，作为输出图像信号Vout，在选择了第1变换方法的情况下从该后处理电路129输出1080i信号，在选择了第2变换方法的情况下输出XGA信号，而在选择了第3变换方法的情况下输出525i信号。

图2示出上述图像信号处理部110中各部的运算定时。

即，在输出图像信号Vout的垂直消隐期间中，自适应型积和器137用从下层系数存储部136中读出的各类的系数种类数据b_ij0～b_ij8、和从系统控制器101(参照图1)供给的作为分辨率信息的参数g、f的值，进行下层生成式(式(7))的运算，对每个类别生成上层生成式(式(6))的系数数据a_i0～a_i8，该每个类别的系数数据a_i0～a_i8被存储到上层系数存储部138中。

此外，在输出图像信号Vout的垂直有效扫描期间，自适应型积和器137用从上层系数存储部138读出的与类别码CL对应的类别的系数数据a_i0～a_i8、和相位信息产生电路139产生的作为构成输出图像信号Vout的单位像素块内的各像素的相位信息的参数h、v的值，进行上层生成式(式(6))的运算，生成与构成输出图像信号Vout的单位像素块内的各像素分别对应的估计式的系数数据Wi。

然后，在该输出图像信号Vout的垂直有效扫描期间，估计预测运算电路127用自适应型积和器137如上所述依次生成的系数数据Wi，来计算构成输出图像信号Vout的单位像素块内的各像素的数据y₁～y_P，进而归一化运算电路128用归一化系数S来进行各像素的数据y₁～y_P的归一化，得到归一化后的各像素的数据y₁′～y_P′。

如上所述，自适应型积和器137用从下层系数存储部136中读出的各类的系数种类数据b_ij0～b_ij8、从系统控制器101供给的作为分辨率信息的参数gf的值、以及相位信息产生电路139产生的作为相位信息的参数h、v的值，来生成与类别合成电路126得到的类别码CL所对应的类对应、而且与参数g、f、h、v的值对应的估计式的系数数据Wi，估计预测运算电路127用该系数数据Wi来计算构成输出图像信号Vout的单位像素块内的各像素的数据y₁～y_P。

因此，在格式变换为1080i信号或XGA信号、及变换为各种图像尺寸的情况下，以及能够分多级来调整基于输出图像信号Vout的图像的分辨率的情况下，可以不需要保存大量系数数据的存储器。

此外，自适应型积和器137在垂直消隐期间中，用各类的系数种类数据b_ij0～b_ij8和参数g、f的值，通过下层生成式(式(7))，对每个类别生成上层生成式(式(6))的系数数据a_i0～a_i8，在其后的垂直有效扫描期间中，用从上层系数存储部138中读出的与类别码CL对应的类别的系数数据a_i0～a_i8和参数h、v的值，通过上层生成式，生成与该类对应、而且与参数g、f、h、v的值对应的估计式的系数数据Wi。

因此，自适应型积和器137中的各步骤的运算不是式(5)、而是式(7)或式(6)的运算，能够压缩每1个步骤的运算处理，能够实现硬件的规模缩小。此外，自适应型积和器137时分复用地进行式(7)及式(6)两者的运算，能够实现硬件的有效利用。

此外，在上层生成式(式(6))中包含参数h、v，而在下层生成式(式(7))中包含参数g、f，所以下层生成式(式(7))的运算只需在垂直消隐期间中、在生成上层生成式(式(6))的系数数据a_i0～a_i8时进行即可，能够将下层生成式的运算抑制得很少。

如上所述，在下层系数存储部136中，对每个类别存储系数种类数据，该系数种类数据是下层生成式(式(7))的系数数据。该系数种类数据预先通过学习来生成。

下面说明该系数种类数据的生成方法的一例。该例是求未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80(i＝1～n)，进而用该系数数据w_i，0～w_i，80来求下层生成式(式(7))的系数数据b_ij0～b_ij8(i＝1～n，j＝0～8)。

首先，求未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80。这里，为了以下的说明，将g⁰f⁰v⁰h⁰、g⁰f⁰v⁰h¹、g⁰f⁰v⁰h²、...、g²f²v²h¹、g²f²v²h²分别定义为t₀、t₁、t₂、...、t₇₉、t₈₀。由此，式(5)被改写为式(9)。

$W_i=\underset{j=0}{\overset{80}{\mathrm{\Σ}}}{W}_{i,j}{t}_{\mathrm{ji}}...\left(9\right)$

最终，通过学习来求未定系数w_i，j。即，对每个类别，用学习信号的像素数据和训练信号的像素数据，来决定使二乘误差最小的系数值。是基于所谓的最小二乘法的解法。假设学习数为m，第k(1≤k≤m)个学习数据的残差为e_k，二乘误差的总和为E，则用式(4)及式(5)将E表示为式(10)。这里，x_ik表示学习图像的第i个预测抽头位置上的第k个像素数据，y_k表示与其对应的训练图像的第k个像素数据。

$E=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{e}_k^2$

$=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{[y_k-(w_1{x}_{1k}+w_2{x}_{2k}+\·\·\·+w_n{x}_{\mathrm{nk}})]}^2$

$=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\{y_k-[(t_0{w}_{\mathrm{1,0}}+t_1{w}_{\mathrm{1,1}}+\·\·\·+t_{80}{w}_{\mathrm{1,80}})x_{1k}+\·\·\·+(t_0{w}_{n,0}+t_1{w}_{n,1}+\·\·\·+t_{80}{w}_{n,80})x_{\mathrm{nk}}\left]\right\}}^2$

$=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\{y_k-\left[(w_{\mathrm{1,0}}+w_{\mathrm{1,1}}h+\·\·\·+w_{\mathrm{1,80}}{g}^2{f}^2{v}^2{h}^2)f^2\right)x_{1k}+\·\·\·+(w_{n,0}+w_{n,1}h\·\·\·+w_{n,80}{g}^2{f}^2{v}^2{h}^2)x_{\mathrm{nk}}]\}}^2...\left(10\right)$

用基于最小二乘法的解法，来求使式(10)关于w_i，j的偏微分为0的w_i，j。这由式(11)来表示。

$\frac{\∂E}{\∂w_{\mathrm{ij}}}=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}2\left(\frac{\∂e_k}{\∂w_{\mathrm{ij}}}\right)e_k=-\underset{k=1}{\overset{m}{\mathrm{\Σ}}}2t_j{x}_{\mathrm{ik}}{e}_k=0...\left(11\right)$

以下，如式(12)、式(13)所示来定义X_{i，p，j，q}、Y_i，p，则式(11)可用矩阵改写为式(14)。

$X_{i,p,j,q}=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ik}}{t}_p{x}_{\mathrm{jk}}{t}_q...\left(12\right)$

$Y_{i,p}=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ik}}{t}_p{y}_k...\left(13\right)$

$\left[\begin{array}{cccccccccccc}{X}_{\mathrm{1,0,1,0}}& X_{\mathrm{1,0,1,1}}& X_{\mathrm{1,0,1,2}}& \·& \·& \·& X_{\mathrm{1,0,1,80}}& X_{\mathrm{1,0,2,0}}& \·& \·& \·& X_{\mathrm{1,0},n,90}\\ X_{\mathrm{1,1,1,0}}& X_{\mathrm{1,1,1,1}}& X_{\mathrm{1,1,1,2}}& \·& \·& \·& X_{\mathrm{1,1,1,8,0}}& X_{\mathrm{1,1,2,0}}& \·& \·& \·& X_{\mathrm{1,1},n,80}\\ X_{\mathrm{1,2,1,0}}& X_{\mathrm{1,2,1,1}}& X_{\mathrm{1,2,1,2}}& \·& \·& \·& X_{\mathrm{1,2,1,80}}& X_{\mathrm{1,2,2,0}}& \·& \·& \·& X_{\mathrm{1,2},n,80}\\ \·& \·& \·& \·& & & \·& \·& \·& & & \·\\ \·& \·& \·& & \·& & \·& \·& & \·& & \·\\ \·& \·& \·& & & \·& \·& \·& & & \·& \·\\ X_{\mathrm{1,80,1,0}}& X_{\mathrm{1,80,1,1}}& X_{\mathrm{1,80,1,2}}& \·& \·& \·& X_{\mathrm{1,80,1,80}}& X_{\mathrm{1,80,20}}& \·& \·& \·& X_{\mathrm{1,80},n,80}\\ X_{\mathrm{2,0,1,0}}& X_{\mathrm{2,0,1,1}}& X_{\mathrm{2,0,1,2}}& \·& \·& \·& X_{\mathrm{2,0,1,80}}& X_{\mathrm{2,0,2,0}}& \·& \·& \·& X_{\mathrm{2,0},n,80}\\ \·& \·& \·& \·& & & \·& \·& \·& & & \·\\ \·& \·& \·& & \·& & \·& \·& & \·& & \·\\ \·& \·& \·& & & \·& \·& \·& & & \·& \·\\ X_{n\mathrm{80,1,0}}& X_{n,\mathrm{80,1,1}}& X_{n\mathrm{80,1,2}}& \·& \·& \·& X_{n\mathrm{80,1,80}}& X_{n,\mathrm{80,2,0}}& \·& \·& \·& X_{n,80,n,80}\end{array}\right]\left[\begin{array}{c}{w}_{\mathrm{1,0}}\\ w_{\mathrm{1,1}}\\ w_{\mathrm{1,2}}\\ \·\\ \·\\ \·\\ w_{\mathrm{1,80}}\\ w_{\mathrm{2,0}}\\ \·\\ \·\\ \·\\ w_{n,80}\end{array}\right]=\left[\begin{array}{c}{Y}_{\mathrm{1,0}}\\ Y_{\mathrm{1,1}}\\ Y_{\mathrm{1,2}}\\ \·\\ \·\\ \·\\ Y_{\mathrm{1,80}}\\ Y_{\mathrm{2,0}}\\ \·\\ \·\\ \·\\ Y_{n,80}\end{array}\right]...\left(14\right)$

该方程式一般被称为法方程式。该法方程式可用刮去法(Gauss-Jordan消元法)等对w_i，j来解，算出未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80(i＝1～n)。

图3示出系数数据w_i，0～w_i，80的生成方法的原理。

由作为训练信号的HD信号(1050i信号)来生成作为学习信号的SD信号(525i信号)。图4示出525i信号和1050i信号的像素位置关系。这里，大点是525i信号的像素，小点是1050i信号的像素。此外，用实线表示奇数场的像素位置，用虚线表示偶数场的像素位置。

在此情况下，可改变由HD信号来生成SD信号时使用的滤波器的水平频带和垂直频带的参数g、f分别可分9级来变化，合计生成81种SD信号。此外，对如上所述生成的81种SD信号，分别使其相位沿垂直方向分8级移动，沿水平方向分4级移动，合计生成81×32种SD信号。

图5示出垂直方向上的8级相移状态V1～V8。这里，假设SD信号的垂直方向的像素间隔为16，下向为正向。此外，“o”表示奇数场，“e”表示偶数场。

V1的状态是SD信号的移动量为0的状态，在此情况下，HD信号的像素相对于SD信号的像素具有4、0、-4、-8的相位。V2的状态是SD信号的移动量为1的状态，在此情况下，HD信号的像素相对于SD信号的像素具有7、3、-1、-5的相位。V3的状态是SD信号的移动量为2的状态，在此情况下，HD信号的像素相对于SD信号的像素具有6、2、-2、-6的相位。V4的状态是SD信号的移动量为3的状态，在此情况下，HD信号的像素相对于SD信号的像素具有5、1、-3、-7的相位。

V5的状态是SD信号的移动量为4的状态，在此情况下，HD信号的像素相对于SD信号的像素具有4、0、-4、-8的相位。V6的状态是SD信号的移动量为5的状态，在此情况下，HD信号的像素相对于SD信号的像素具有7、3、-1、-5的相位。V7的状态是SD信号的移动量为6的状态，在此情况下，HD信号的像素相对于SD信号的像素具有6、2、-2、-6的相位。V8的状态是SD信号的移动量为7的状态，在此情况下，HD信号的像素相对于SD信号的像素具有5、1、-3、-7的相位。

图6示出水平方向上的4级相移状态H1～H4。这里，假设SD信号的水平方向的像素间隔为8，右向为正向。

H1的状态是SD信号的移动量为0的状态，在此情况下，HD信号的像素相对于SD信号的像素具有0、-4的相位。H2的状态是SD信号的移动量为1的状态，在此情况下，HD信号的像素相对于SD信号的像素具有3、-1的相位。H3的状态是SD信号的移动量为2的状态，在此情况下，HD信号的像素相对于SD信号的像素具有2、-2的相位。而H4的状态是SD信号的移动量为3的状态，在此情况下，HD信号的像素相对于SD信号的像素具有1、-3的相位。

图7示出相对于如上所述沿垂直方向分8级、沿水平方向分4级移动得到的32种SD信号、以SD信号的像素为中心的情况下HD信号的像素的相位。即，相对于SD信号的像素，HD信号的像素具有图中●所示的相位(h＝-4，v＝-8～h＝3，v＝7)。

返回到图3，在如上所述分别分9级来改变得到SD信号时的参数g、f，并且使该SD信号沿垂直方向分8级、沿水平方向分4级移动得到的、合计81×32种SD信号和HD信号之间进行学习来生成w_i，0～w_i，80。

图8示出用上述原理来生成系数数据w_i，0～w_i，80、由该系数数据w_i，0～w_i，80来得到下层生成式(式(7))的系数数据b_ij0～b_ij8作为系数种类数据的系数种类数据生成装置150的结构。

该系数种类数据生成装置150具有：输入端子151，输入作为训练信号的HD信号(1050i信号)；以及SD信号生成电路152A，对该HD信号进行水平及垂直抽取处理，得到作为学习信号的SD信号。向该SD信号生成电路152A供给参数g、f作为控制信号。对应于该参数g、f的值，分别可分9级来改变由HD信号生成SD信号时使用的滤波器的水平频带和垂直频带。这里，对于滤波器的细节，示出几个例子。

例如，滤波器可以由限制水平频带的频带滤波器和限制垂直频带的频带滤波器构成。在此情况下，如图9所示，设计与参数g或f的分级的值对应的频率特性，通过进行傅里叶反变换，能够得到具有与参数g或f的分级的值对应的频率特性的一维滤波器。

此外例如，滤波器可以由限制水平频带的一维高斯滤波器和限制垂直频带的一维高斯滤波器构成。该一维高斯滤波器由式(15)来表示。在此情况下，通过对应于参数g或f的分级的值来分级地改变标准偏差σ的值，能够得到具有与参数g或f的分级的值对应的频率特性的一维高斯滤波器。

$\mathrm{Out}=\frac{1.0}{\mathrm{\σ}\sqrt{2.0\mathrm{\π}}}{e}^{\frac{-{(4.0x-37)}^2}{2.0{\mathrm{\σ}}^2}}...\left(15\right)$

此外例如，滤波器可以由用参数g、f两者来决定水平及垂直频率特性的二维滤波器F(g，f)构成。该二维滤波器的生成方法与上述一维滤波器同样，设计与参数g、f的分级的值对应的二维频率特性，通过进行二维傅里叶反变换，能够得到具有与参数g、f的分级的值对应的二维频率特性的二维滤波器。

此外，返回到图8，系数种类数据生成装置150具有：相移电路152B，移动SD信号生成电路152A得到的SD信号的相位。向相移电路152B输入指定垂直方向及水平方向上的相移值的参数H、V，该相移电路152B使输入的SD信号的相位沿垂直方向分8级、沿水平方向分4级移动。

该相移电路152B例如由sinx/x特性的滤波器构成，但是也可以使用能够进行其他相移的滤波器。作为其他滤波器的例子，可举出从过采样滤波器中只抽出所需的相位的方法等。

如上所述，SD信号生成电路152A分别可分9级来改变改变由HD信号来生成SD信号时使用的滤波器的水平频带和垂直频带，而相移电路152B使SD信号生成电路152A生成的SD信号的相位沿垂直方向分8级、沿水平方向上分4级移动，从而其结果是从相移电路152B得到81×32种SD信号。

此外，系数种类数据生成装置150具有：第1～第3抽头选择电路153～155，从相移电路152B输出的SD信号中，选择性地取出位于HD信号(1050i信号)中的当前位置周边的多个SD像素的数据并输出。

这些第1～第3抽头选择电路153～155与上述图像信号处理部110的第1～第3抽头选择电路121～123同样构成。这些第1～第3抽头选择电路153～155选择的抽头由来自抽头选择控制电路156的抽头位置信息来指定。此外，向抽头选择控制电路156供给从后述运动类别检测电路158输出的运动类别的类别信息MV。由此，使向第2抽头选择电路154供给的抽头位置信息因运动的大小而异。

此外，系数种类数据生成装置150具有：空间类别检测电路157，检测第2抽头选择电路154选择性地取出的空间类别抽头的数据(SD像素数据)的电平分布图案，根据该电平分布图案来检测空间类别，输出其类别信息。该空间类别检测电路157与上述图像信号处理部110的空间类别检测电路124同样构成。从该空间类别检测电路157输出作为空间类别抽头的数据的各SD像素数据的再量化码qi作为表示空间类别的类别信息。

此外，系数种类数据生成装置150具有：运动类别检测电路158，由第3抽头选择电路155选择性地取出的运动类别抽头的数据(SD像素数据)，来检测主要表示运动程度的运动类别，输出其类别信息MV。该运动类别检测电路158与上述图像信号处理部110的运动类别检测电路125同样构成。该运动类别检测电路158由第3抽头选择电路155选择性地取出的运动类别抽头的数据(SD像素数据)来计算帧间差分，进而对该差分的绝对值的平均值进行阈值处理来检测作为运动指标的运动类别。

此外，系数种类数据生成装置150具有：类别合成电路159，用于根据从空间类别检测电路157输出的作为空间类别的类别信息的再量化码qi、和从运动类别检测电路158输出的运动类别的类别信息MV，来得到表示HD信号(1050i信号)中的当前位置的像素数据所属的类别的类别码CL。该类别合成电路159也与上述图像信号处理部110的类别合成电路126同样构成。

此外，系数种类数据生成装置150具有：法方程式生成部160，根据由供给到输入端子151的HD信号得到的作为当前位置的像素数据的各HD像素数据y、第1抽头选择电路153分别对应于该各HD像素数据y而选择性地取出的预测抽头的数据(SD像素数据)xi、分别对应于各HD像素数据y而从类别合成电路159输出的类别码CL、可改变滤波器的水平频带和垂直频带的参数g、f、以及垂直方向及水平方向上的相移值的参数H、V，对各类别生成用于得到系数数据w_i，0～w_i，80的法方程式(参照式(14))。

在此情况下，用一个HD像素数据y和与其对应的n个预测抽头像素数据的组合来生成学习数据。此时，依次变更给SD信号生成电路152A的参数g、f及给相移电路152B的参数H、V，生成水平及垂直频带、以及水平及垂直相移值分级变化的81×32种SD信号。由此，法方程式生成部160对参数g、f、h、v的值的各组合分别生成登录了许多学习数据的法方程式。通过这样依次生成多种SD信号并登录学习数据，能够求出用于得到多级分辨率及任意相位的像素数据的系数数据w_i，0～w_i，80。

其中，虽然未图示，但是通过在第1抽头选择电路153的前级配置用于调整时间的延迟电路，能够调整从该第1抽头选择电路153向法方程式生成部160供给的SD像素数据xi的定时。

此外，系数种类数据生成装置150具有：系数数据决定部161，接受法方程式生成部160对每个类别生成的法方程式的数据，对每个类别解法方程式，求各类的系数数据w_i，0～w_i，80；系数运算部162，由该求出的未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80，对每个类别求下层生成式(式(7))的系数数据b_ij0～b_ij8；以及系数种存储器163，将该各类的系数数据b_ij0～b_ij8作为系数种类数据来存储。系数数据决定部161例如通过刮去法等来解法方程式，求系数数据w_i，0～w_i，80。

下面说明图8所示的系数种类数据生成装置150的工作。

向输入端子151供给作为训练信号的HD信号(1050i信号)，然后SD信号生成电路152A对该HD信号进行水平及垂直抽取处理来生成作为学习信号的SD信号(525i信号)。在此情况下，向SD信号生成电路152A供给参数g、f作为控制信号，依次生成水平及垂直频带分级变化的81种SD信号。

此外，该81种SD信号被供给到相移电路152B，使各SD信号的相位沿垂直方向分8级、沿水平方向分4级移动(参照图5、图6)。因此，从该相移电路152B依次输出81×32种SD信号。

第2抽头选择电路154从该多种SD信号中，选择性地取出位于HD信号(1050i信号)中的当前位置周边的空间类别抽头的数据(SD像素数据)。该第2抽头选择电路154根据从抽头选择控制电路156供给的与运动类别检测电路158检测出的运动类别对应的抽头位置信息，来进行抽头的选择。

该第2抽头选择电路154选择性地取出的空间类别抽头的数据(SD像素数据)被供给到空间类别检测电路157。该空间类别检测电路157对作为空间类别抽头的数据的各SD像素数据实施ADRC处理来得到作为空间类别(主要用于表示空间内的波形的分类)的类别信息的再量化码qi(参照式(1))。

此外，第3抽头选择电路155从相移电路152B输出的SD信号中，选择性地取出位于HD信号中的当前位置周边的运动类别抽头的数据(SD像素数据)。在此情况下，第3抽头选择电路155根据从抽头选择控制电路156供给的抽头位置信息，来进行抽头的选择。

该第3抽头选择电路155选择性地取出的运动类别抽头的数据(SD像素数据)被供给到运动类别检测电路158。该运动类别检测电路158由作为运动类别抽头的数据的各SD像素数据来得到运动类别(主要用于表示运动程度的分类)的类别信息MV。

该运动信息MV和上述再量化码qi被供给到类别合成电路159。该类别合成电路159用这些运动信息MV和再量化码qi，来得到表示HD信号中的当前位置的像素数据所属的类别的类别码CL(参照式(3))。

此外，第1抽头选择电路153从相移电路152B输出的SD信号中，选择性地取出位于HD信号中的当前位置周边的预测抽头的数据(SD像素数据)。在此情况下，第1抽头选择电路153根据从抽头选择控制电路156供给的抽头位置信息，来进行抽头的选择。

然后，法方程式生成部160根据由供给到输入端子151的HD信号得到的作为当前位置的像素数据的各HD像素数据y、第1抽头选择电路153分别对应于该各HD像素数据y而选择性地取出的预测抽头的数据(SD像素数据)xi、分别对应于各HD像素数据y而从类别合成电路159输出的类别码CL、可改变滤波器的水平频带和垂直频带的参数g、f、以及垂直方向及水平方向上的相移值的参数H、V，对各类别生成用于生成系数数据w_i，0～w_i，80的法方程式(参照式(14))。

然后，系数数据决定部161解该法方程式，对每个类别求未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80。进而，该各类的系数数据w_i，0～w_i，80被供给到系数运算部162。该系数运算部162对每个类别，根据上层生成式(式(6))和下层生成式(式(7))的关系，由系数数据w_i，0～w_i，80来决定下层生成式(式(7))的系数数据b_ij0～b_ij8。该系数数据b_ij0～b_ij8作为系数种类数据被存储到按类别来分割地址的系数种存储器163中。

这样，图8所示的系数种类数据生成装置150能够生成存储到图1的图像信号处理部110的下层系数存储部136中的各类的系数种类数据b_ij0～b_ij8。

接着，说明系数种类数据的生成方法的另一例。该例是对参数g、f、h、v的值的每个组合，求式(4)的估计式的系数数据Wi(i＝1～n)，用该各组合的系数数据Wi来求未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80(i＝1～n)，进而用该系数数据w_i，0～w_i，80来求下层生成式(式(7))的系数数据b_ij0～b_ij8(i＝1～n，j＝0～8)。

图10示出该例的系数数据w_i，0～w_i，80的生成方法的原理。与上述系数种类数据的生成方法的一例同样，可改变由HD信号来生成SD信号时使用的滤波器的水平频带和垂直频带的参数g、f分别可分9级来变化，得到81种SD信号，并且使该81种SD信号的相位沿垂直方向分8级、沿水平方向分4级移动，依次生成合计81×32种SD信号。

然后，在各SD信号和HD信号之间进行学习，对参数g、f、h、v的每个组合，生成式(4)的估计式的系数数据Wi。然后，使用各组合的系数数据Wi来生成系数种类数据。

首先，说明估计式的系数数据的求法。这里，示出通过最小二乘法来求式(4)的估计式的系数数据Wi(i＝1～n)的例子。作为一般化的例子，设X为输入数据，W为系数数据，Y为预测值，来考虑式(16)的观测方程式。在该式(16)中，m表示学习数据的个数，n表示预测抽头的个数。

XW＝Y              ...(16)

$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \·\·\·& x_{1n}\\ x_{21}& x_{22}& \·\·\·& x_{2n}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ x_{m1}& x_{m2}& \·\·\·& x_{\mathrm{mn}}\end{array}\right],$ $W=\left[\begin{array}{c}{W}_1\\ W_2\\ \·\·\·\\ W_n\end{array}\right],$ $Y=\left[\begin{array}{c}{y}_1\\ y_2\\ \·\·\·\\ y_m\end{array}\right]$

对通过式(16)的观测方程式而收集到的数据应用最小二乘法。根据该式(16)的观测方程式，来考虑式(17)的残差方程式。

$\mathrm{XW}=Y+E,E=\left[\begin{array}{c}{e}_1\\ e_2\\ \·\·\·\\ e_m\end{array}\right]...\left(17\right)$

由式(17)的残差方程式，考虑各Wi的最可几值满足使式(18)的e²最小的条件的情况。即，考虑式(19)的条件即可。

$e^2=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i^2...\left(18\right)$

$e_1\frac{\∂e_1}{\∂W_i}+e_2\frac{\∂e_2}{\∂W_i}+\·\·\·+e_m\frac{\∂e_m}{\∂W_i}=0(i=\mathrm{1,2},\·\·\·,n)...\left(19\right)$

即，考虑基于式(19)的i的n个条件，计算满足这些条件的W₁、W₂、...、W_n即可。因此，由式(17)的残差方程式得到式(20)。进而，由式(20)和式(16)得到式(21)。

$\frac{\∂e_i}{\∂W_1}=x_{i1},\frac{\∂e_i}{\∂W_2}=x_{i2},\·\·\·,\frac{\∂e_i}{\∂W_n}=x_{\mathrm{in}}(i=\mathrm{1,2},\·\·\·,m)...\left(20\right)$

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i1}=0,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i2}=0,\·\·\·,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{\mathrm{in}}=0...\left(21\right)$

然后，由式(17)和式(21)得到式(22)的法方程式。

$\left\{\begin{array}{c}\{\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j1}{x}_{j1}\right)w_1+\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j1}{x}_{j2}\right)w_2+\·\·\·+\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j1}{x}_{\mathrm{jn}}\right)w_n=\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j1}{y}_j\right)\\ \{\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j2}{x}_{j1}\right)w_1+\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j2}{x}_{j2}\right)w_2+\·\·\·+\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j2}{x}_{\mathrm{jn}}\right)w_n=\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{j2}{y}_j\right)\\ \{\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{jn}}{x}_{j1}\right)w_1+\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{jn}}{x}_{j2}\right)w_2+\·\·\·+\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{jn}}{x}_{\mathrm{jn}}\right)w_n=\left(\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{jn}}{y}_j\right)\end{array}\right....\left(22\right)$

式(22)的法方程式可以列出个数与未知数的个数n相同的方程式，所以能够求出各Wi的最可几值。在此情况下，用刮去法等来解联立方程式。

接着，说明使用对参数g、f、h、v的值的每个组合生成的式(4)的估计式的系数数据Wi(i＝1～n)来求未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80的方法。

设与某个参数g、f、h、v的值对应的某个类的估计式的系数数据为k_gfhvi。这里，i是预测抽头的号码。由该k_gfhvi来求该类别的未分层状态的生成式的系数数据w_i，0～w_i，80。

系数数据Wi(i＝1～n)用系数数据w_i，0～w_i，80，由上述式(5)来表示。这里，考虑对系数数据Wi使用最小二乘法，则残差由式(23)来表示。

$e_{\mathrm{gfhvi}}=k_{\mathrm{gfhvi}}(w_{i,0}+w_{i,0}+w_{\mathrm{ij}}h+\·\·\·w_{i80}{g}^2{f}^2{v}^2{h}^2)$

$=k_{\mathrm{gfhvi}}-\underset{j=0}{\overset{80}{\mathrm{\Σ}}}{w}_{i,j}{t}_j...\left(23\right)$

这里，t₀、t₁、t₂、...、t₇₉、t₈₀分别是g⁰f⁰v⁰h⁰、g⁰f⁰v⁰h¹、g⁰f⁰v⁰h²、...、g²f²v²h¹、g²f²v²h²。对式(23)作用最小二乘法，得式(24)。

$\frac{\∂}{\∂w_{i,j}}=\underset{g}{\mathrm{\Σ}}\underset{f}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{\left(e_{\mathrm{gfhvi}}\right)}^2=\underset{g}{\mathrm{\Σ}}\underset{f}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}2\left(\frac{\∂e_{\mathrm{gfhvi}}}{\∂w_{i,j}}\right)e_{\mathrm{gfhvi}}=-\underset{g}{\mathrm{\Σ}}\underset{f}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}2t_j{e}_{\mathrm{gfhvi}}=0...\left(24\right)$

这里，分别如式(25)、式(26)所示来定义X_j，k、Y_j，将式(24)改写为式(27)。该式(27)也是法方程式，通过用刮去法等一般解法来解该式，能够算出系数数据w_i，0～w_i，80。

$X_{j,k}=\underset{g}{\mathrm{\Σ}}\underset{f}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{t}_j{t}_k...\left(25\right)$

$y_j=\underset{g}{\mathrm{\Σ}}\underset{f}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}\underset{v}{\mathrm{\Σ}}{t}_j{k}_{\mathrm{gfhvi}}...\left(26\right)$

$\left[\begin{array}{cccccc}{x}_{\mathrm{0,0}}& x_{\mathrm{0,1}}& \·& \·& \·& x_{\mathrm{0,80}}\\ x_{\mathrm{1,0}}& x_{\mathrm{1,1}}& \·& \·& \·& x_{\mathrm{1,80}}\\ \·& \·& \·& & & \·\\ \·& \·& & \·& & \·\\ \·& \·& & & \·& \·\\ x_{\mathrm{80,0}}& x_{\mathrm{80,1}}& \·& \·& \·& x_{\mathrm{80,80}}\end{array}\right]\left[\begin{array}{c}{w}_{i,0}\\ w_{i,1}\\ \·\\ \·\\ \·\\ w_{i,80}\end{array}\right]=\left[\begin{array}{c}{Y}_0\\ Y_1\\ \·\\ \·\\ \·\\ Y_{80}\end{array}\right]...\left(27\right)$

图11示出用上述原理来生成系数数据w_i，0～w_i，80、由该系数数据w_i，0～w_i，80来得到下层生成式(式(7))的系数数据b_ij0～b_ij8的系数种类数据生成装置150′的结构。在该图11中，对与图8对应的部分附以同一标号，省略其详细说明。

系数种类数据生成装置150′具有法方程式生成部171。该法方程式生成部171根据由供给到输入端子151的HD信号得到的作为当前位置的像素数据的各HD像素数据y、第1抽头选择电路153分别对应于该各HD像素数据y而选择性地取出的预测抽头的数据(SD像素数据)xi、以及分别对应于各HD像素数据y而从类别合成电路159输出的类别码CL，对每个类别，而且对参数g、f、h、v的值的每个组合，生成用于得到系数数据Wi(i＝1～n)的法方程式(参照式(22))。

在此情况下，用1个HD像素数据y和与其对应的n个预测抽头像素数据的组合来生成学习数据，依次变更给SD信号生成电路152A的参数g、f及给相移电路152B的参数H、V，来生成水平及垂直频带、以及水平及垂直相移值分级变化的81×32种SD信号，在HD信号和各SD信号之间分别生成学习数据。由此，法方程式生成部171分别对应于参数g、f、h、v的值的各组合，对每个类别生成用于得到系数数据Wi(i＝1～n)的法方程式。

此外，系数种类数据生成装置150′具有系数数据决定部172及法方程式生成部173。向系数数据决定部172供给法方程式生成部171生成的法方程式的数据。系数数据决定部172解该法方程式，求与参数g、f、h、v的值的各组合对应的各类的估计式(式(4))的系数数据Wi。法方程式生成部173使用该系数数据Wi、可改变滤波器的水平频带和垂直频带的参数g、f、以及垂直方向及水平方向上的相移值的参数H、V，对每个类别生成用于得到未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80的法方程式(参照式(27))。

此外，系数种类数据生成装置150′具有系数数据决定部174、系数运算部175及系数种存储器163。向系数数据决定部174供给法方程式生成部173对每个类别生成的法方程式的数据。系数数据决定部174对每个类别解法方程式，求各类的系数数据w_i，0～w_i，80。系数运算部175对每个类别，根据上层生成式(式(6))和下层生成式(式(7))的关系，由该求出的未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80来求下层生成式(式(7))的系数数据b_ij0～b_ij8。系数种存储器163将该各类的系数数据b_ij0～b_ij8作为系数种类数据来存储。

图11所示的系数种类数据生成装置150′的其他部分与图8所示的系数种类数据生成装置150同样构成。

下面说明图11所示的系数种类数据生成装置150′的工作。

向输入端子151供给作为训练信号的HD信号(1050i信号)，然后SD信号生成电路152A对该HD信号进行水平及垂直抽取处理来生成作为学习信号的SD信号(525i信号)。在此情况下，向SD信号生成电路152A供给参数g、f作为控制信号，依次生成水平及垂直频带分级变化的81种SD信号。

此外，该81种SD信号被供给到相移电路152B，使各SD信号的相位沿垂直方向分8级、沿水平方向分4级移动(参照图5、图6)。因此，从该相移电路152B依次输出81×32种SD信号。

第2抽头选择电路154从该多种SD信号中，选择性地取出位于HD信号(1050i信号)中的当前位置周边的空间类别抽头的数据(SD像素数据)。该第2抽头选择电路154根据从抽头选择控制电路156供给的与运动类别检测电路158检测出的运动类别对应的抽头位置信息，来进行抽头的选择。

该第2抽头选择电路154选择性地取出的空间类别抽头的数据(SD像素数据)被供给到空间类别检测电路157。该空间类别检测电路157对作为空间类别抽头的数据的各SD像素数据实施ADRC处理来得到作为空间类别(主要用于表示空间内的波形的分类)的类别信息的再量化码qi(参照式(1))。

此外，第3抽头选择电路155从相移电路152B输出的SD信号中，选择性地取出位于HD信号中的当前位置周边的运动类别抽头的数据(SD像素数据)。在此情况下，第3抽头选择电路155根据从抽头选择控制电路156供给的抽头位置信息，来进行抽头的选择。

该第3抽头选择电路155选择性地取出的运动类别抽头的数据(SD像素数据)被供给到运动类别检测电路158。该运动类别检测电路158由作为运动类别抽头的数据的各SD像素数据来得到运动类别(主要用于表示运动程度的分类)的类别信息MV。

该运动信息MV和上述再量化码qi被供给到类别合成电路159。该类别合成电路159由这些运动信息MV和再量化码qi得到表示HD信号中的当前位置的像素数据所属的类别的类别码CL(参照式(3))。

此外，第1抽头选择电路153从相移电路152B输出的SD信号中，选择性地取出位于HD信号中的当前位置周边的预测抽头的数据(SD像素数据)。在此情况下，第1抽头选择电路153根据从抽头选择控制电路156供给的抽头位置信息进行抽头的选择。

然后，法方程式生成部171根据由供给到输入端子151的HD信号得到的作为当前位置的像素数据的各HD像素数据y、第1抽头选择电路153分别对应于该各HD像素数据y而选择性地取出的预测抽头的数据(SD像素数据)xi、以及分别对应于各HD像素数据y而从类别合成电路159输出的类别码CL，对应于参数g、f、h、v的值的各组合，对每个类别生成用于得到估计式(式(4))的系数数据Wi(i＝1～n)的法方程式(参照式(22))。

然后，系数数据决定部172解该法方程式，求与参数g、f、h、v的值的各组合对应的各类的系数数据Wi。法方程式生成部173由与该各类的系数数据Wi、可改变滤波器的水平频带和垂直频带的参数g、f、以及垂直方向及水平方向上的相移值的参数H、V，对每个类别生成用于得到系数数据w_i，0～w_i，80的法方程式(参照式(27))。

然后，系数数据决定部174解该法方程式，对每个类别求未分层状态的生成式(式(5))的系数数据w_i，0～w_i，80。进而，该各类的系数数据w_i，0～w_i，80被供给到系数运算部175，该系数运算部175，由系数数据w_i，0～w_i，80对每个类别求下层生成式(式(7))的系数数据b_ij0～b_ij8，该系数数据b_ij0～b_ij8作为系数种类数据被存储到按类别来分割地址的系数种存储器163中。

这样，图11所示的系数种类数据生成装置150′也能够生成存储到图1的图像信号处理部110的下层系数存储部136中的各类的系数种类数据b_ij0～b_ij8。

其中，图1的图像信号处理部110为了生成系数数据Wi(i＝1～n)，使用了将式(5)的未分层状态的生成式分为两层得到的式(7)及式(6)，但是分层不限于两层，也可以分为3层以上。

此外，未分层状态的生成式也并不限于式(5)，还可以通过用次数不同的多项式、或其他函数表示的式子来实现。此外，生成式中包含的参数也并不限于g、f、h、v，也同样能够构成具有与它们一起或与它们不同的参数的生成式。

此外，示出了下层生成式(式(7))及上层生成式(式(6))的形式相同，但是也可以是不同的形式。在此情况下，通过改变向自适应型积和器137供给的积和构造信息，能够公用该自适应型积和器137。此外，在此情况下，自适应型积和器137只需能够计算各层生成式的、最小公倍数性的规模即可。

其中，图1的图像信号处理部110中的处理例如也可以由图12所示的图像信号处理装置300用软件来实现。

首先，说明图12所示的图像信号处理装置300。该图像信号处理装置300具有：CPU 301，控制整个装置的工作；ROM(read only memory，只读存储器)302，保存有该CPU 301的工作程序和系数种类数据等；以及RAM (randomaccess memory，随机存取存储器)303，构成CPU 301的工作区。这些CPU 301、ROM 302及RAM 303分别被连接在总线304上。

此外，图像信号处理装置300具有：硬盘驱动器(HDD)305，作为外部存储装置；以及盘驱动器(FDD)307，驱动软盘(注册商标)306。这些驱动器305、307分别被连接在总线304上。

此外，图像信号处理装置300具有：通信部308，有线或无线连接在因特网等通信网络400上。该通信部308经接口309被连接在总线304上。

此外，图像信号处理装置300包括用户接口部。该用户接口部具有：遥控信号接收电路310，接收来自遥控发送机200的遥控信号RM；以及显示器311，由LCD(liquid crystal display，液晶显示器)等构成。接收电路310经接口312被连接在总线304上，显示器311同样经接口313被连接在总线304上。

此外，图像信号处理装置300具有：输入端子314，用于输入作为输入图像信号Vin的525i信号；以及输出端子315，用于输出输出图像信号Vout。输入端子314经接口316被连接在总线304上，同样，输出端子315经总线317被连接在总线304上。

这里，如上所述在ROM 302中预先保存处理程序和系数种类数据等也可以被代之以例如经通信部308从因特网等通信网络400进行下载，存储到硬盘或RAM 303中来使用。此外，也可以用软盘306来提供这些处理程序和系数种类数据等。

此外，图像信号处理装置300从输入端子314输入作为输入图像信号Vin的525i信号也可以被代之以预先记录在硬盘上，或者经通信部308从因特网等通信网络400进行下载。

此外，图像信号处理装置300将输出图像信号Vout输出到输出端子315也可以被代之以、或者与之并行供给到显示器311来显示图像，或进而保存到硬盘上，或经通信部308送出到因特网等通信网络400。

参照图13的流程图，来说明图12所示的图像信号处理装置300中的用于由输入图像信号Vin来得到输出图像信号Vout的处理过程。

首先，在步骤ST1中，开始处理，在步骤ST2中，例如从输入端子314向装置内输入1帧或1场输入图像信号Vin。这样从输入端子314输入的构成输入图像信号Vin的像素数据被暂时保存到RAM 303中。而在该输入图像信号Vin被预先记录在装置内的硬盘307上的情况下，从该硬盘驱动器307读出该输入图像信号Vin，将构成该输入图像信号Vin的像素数据暂时保存到RAM 303中。然后，在步骤ST3中，判定输入图像信号Vin的全部帧或全部场的处理是否已结束。在处理已结束时，在步骤ST4中，结束处理。而在处理未结束时，进至步骤ST5。

在该步骤ST5中，例如从RAM 303取得用户操作遥控发送机200设定的决定水平、垂直分辨率的参数g、f的值。然后，在步骤ST6中，用取得的参数g、f的值、和各类的系数种类数据，通过下层生成式(参照式(7))来生成各类的上层生成式(参照式(6))的系数数据，保存到RAM 303中。

接着，在步骤ST7中，对应于要生成的构成输出图像信号Vout的单位像素块内的像素数据，由步骤ST2中输入的输入图像信号Vin的像素数据来取得类抽头及预测抽头的像素数据。然后，在步骤ST8中，由步骤ST7中取得的类抽头的像素数据来生成类别码CL。

接着，在步骤ST9中，用与用户操作遥控发送机200选择出的变换方法(也包含显示图像的倍数)对应的n/m的值，来产生构成输出图像信号Vout的单位像素块内的各像素的相位信息h、v。然后，在步骤ST10中，用与该单位像素块内的各像素的相位信息h、v、和步骤ST8中生成的类别码CL对应的类别的上层生成式的系数数据，通过上层生成式，分别对应于单位像素块内的各像素来生成估计式(参照式(4))的系数数据Wi。

接着，在步骤ST11中，用步骤ST10中生成的系数数据Wi和步骤ST7中取得的预测抽头的像素数据，根据估计式来生成构成输出图像信号Vout的单位像素块内的各像素的数据。然后，在步骤ST12中，判定在步骤ST2中输入的1帧或1场输入图像信号Vin的像素数据的全部区域上得到输出图像信号Vout的像素数据的处理是否都已结束。在结束时，返回到步骤ST2，转移到下一帧或场的输入图像信号Vin的输入处理。而在处理未结束时，返回到步骤ST7，重复与上述同样的处理。

这样，通过沿图13所示的流程图进行处理，能够处理输入的输入图像信号Vin的像素数据，得到输出图像信号Vout的像素数据。如上所述，这样进行处理得到的输出图像信号Vout被输出到输出端子315，或被供给到显示器311来显示基于它的图像，或进而被供给到硬盘驱动器305来记录到硬盘上。

此外，虽然省略了处理装置的图示，但是图8的系数种类数据生成装置150中的处理也可以用软件来实现。

参照图14的流程图，来说明用于生成系数种类数据的处理过程。

首先，在步骤ST21中，开始处理，在步骤ST22中，选择学习所用的SD信号的相移值(例如由参数H、V来确定)。然后，在步骤ST23中，判定对全部相移值的学习是否都已结束。在对全部相移值的学习未结束时，进至步骤ST24。

在该步骤ST24中，以帧为单位或以场为单位来输入已知的HD像素数据。然后，在步骤ST25中，判定对全部HD像素数据的处理是否都已结束。在已结束时，返回到步骤ST22，选择下一相移值，重复与上述同样的处理。而在未结束时，进至步骤ST26。

在该步骤ST26中，由步骤ST24中输入的HD像素数据，来生成相移了步骤ST22中选择出的相移值所得的SD像素数据。然后，在步骤ST27中，对应于步骤ST24中输入的各HD像素数据，由步骤ST26中生成的SD像素数据，来取得类抽头及预测抽头的像素数据。然后，在步骤ST28中，判定在生成的SD像素数据的全部区域上是否已结束学习处理。在已结束学习处理时，返回到步骤ST24，输入下一HD像素数据，重复与上述同样的处理，而在未结束学习处理时，进至步骤ST29。

在该步骤ST29中，由步骤ST27中取得的类抽头的SD像素数据来生成类别码CL。然后，在步骤ST30中，生成法方程式(参照式(14))。其后，返回到步骤ST27。

此外，在步骤ST23中，在对全部相移值的学习已结束时，进至步骤ST31。在该步骤ST31中，通过用刮去法等解法方程式，来计算各类的未分层状态的生成式(参照式(5))的系数数据w_i，0～w_i，80。

然后，在步骤ST32中，根据上层生成式(式(6))和下层生成式(式(7))的关系，由系数数据w_i，0～w_i，80来决定各类的下层生成式(参照式(7))的系数数据b_ij0～b_ij8。然后，在步骤ST33中，将该各类的系数数据b_ij0～b_ij8作为系数种类数据存储到存储器中，其后在步骤ST34中结束处理。

这样，通过沿图14所示的流程图来进行处理，能够用与图8所示的系数种类数据生成装置150同样的方法来得到各类的系数种类数据。

此外，虽然省略了处理装置的图示，但是图11的系数种类数据生成装置150′中的处理也可以用软件来实现。

参照图15的流程图，来说明用于生成系数种类数据的处理过程。

首先，在步骤ST41中，开始处理，在步骤ST42中，选择学习所用的SD信号的相移值(例如由参数H、V来确定)。然后，在步骤ST43中，判定对全部相移值计算系数数据的处理是否都已结束。在未结束时，进至步骤ST44。

在该步骤ST44中，以帧为单位或以场为单位来输入已知的HD像素数据。然后，在步骤ST45中，判定对全部HD像素数据的处理是否都已结束。在未结束时，在步骤ST46中，由步骤ST44中输入的HD像素数据来生成相移了步骤ST42中选择出的相移值所得的SD像素数据。

然后，在步骤ST47中，对应于步骤ST44中输入的各HD像素数据，由步骤ST46中生成的SD像素数据，来取得类抽头及预测抽头的像素数据。然后，在步骤ST48中，判定在生成的SD像素数据的全部区域上是否已结束学习处理。在已结束学习处理时，返回到步骤ST44，输入下一HD像素数据，重复与上述同样的处理，而在未结束学习处理时，进至步骤ST49。

在该步骤ST49中，由步骤ST47中取得的类抽头的SD像素数据来生成类别码CL。然后，在步骤ST50中，生成用于得到系数数据的法方程式(参照式(22))。其后，返回到步骤ST47。

在上述步骤ST45中，在对全部HD像素数据的处理已结束时，在步骤ST51中，用刮去法等解步骤ST50中生成的法方程式，来计算各类的系数数据。其后，返回到步骤ST42，选择下一相移值，重复与上述同样的处理，求与下一相移值对应的各类的系数数据。

此外，在上述步骤ST43中，在对全部相移值计算系数数据的处理已结束时，进至步骤ST52。在该步骤ST52中，由全部相移值的系数数据来生成用于求未分层状态的生成式(式(5))的系数数据的法方程式(参照式(27))。

然后，在步骤ST53中，通过用刮去法等解步骤ST52中生成的法方程式，来计算各类的未分层状态的生成式(参照式(5))的系数数据w_i，0～w_i，80。

然后，在步骤ST54中，根据上层生成式(式(6))和下层生成式(式(7))的关系，由系数数据w_i，0～w_i，80来决定各类的下层生成式(参照式(7))的系数数据b_ij0～b_ij8。然后，在步骤ST55中，将该各类的系数数据b_ij0～b_ij8作为系数种类数据存储到存储器中，其后在步骤ST56中结束处理。

这样，通过沿图15所示的流程图来进行处理，能够用与图11所示的系数种类数据生成装置150′同样的方法来得到各类的系数种类数据。

其中，在上述实施例中，举出生成输出图像信号Vout时的估计式使用线性一次方程式，但是并不限于此，例如估计式也可以使用高次方程式。

此外，在上述实施例中，示出了检测类别码CL、在估计预测运算中使用与该类别码对应的系数数据Wi的情况，但是也可以省略检测类别码CL的部分。在此情况下，下层系数存储部136中保存的系数种类数据b_ij0～b_ij8只有1种。

此外，在上述实施例中，作为类示出了求空间类别及运动类别的情况，但是除了这些类以外，也可以根据有无边缘、自相关程度等各种特征量来求类别并使用。

此外，在上述实施例中，参数使用了分辨率、相位信息，但是此外也能够将本发明同样应用于使用噪声除去程度等表示图像或语音等的质量的参数的情况。

此外，在上述实施例中，示出了在每1个场期间、或每1帧期间中更新(取得)下层生成式(式(7))中包含的参数g、f的情况，但是参数g、f的更新期间(取得期间)不限于此。即，能够分别独立地每当计算规定个数的信息数据时更新(取得)各层生成式中包含的参数的值。

此外，在上述实施例中，示出了将从图像信号处理部110输出的输出图像信号Vout供给到显示部111、来显示基于该输出图像信号Vout的图像的情况，但是也可以将该输出图像信号Vout供给到录像机等记录装置来进行记录。在此情况下，后处理电路129的部分也可以进行处理而成为最适合记录的数据结构。

此外，在上述实施例中，示出了将作为输入图像信号Vin的525i信号变换为作为输出图像信号Vout的1080i信号、XGA信号、或用于得到倍数不同的显示图像的525i信号的例子，但是本发明并不限于此，当然也同样能够应用于使用估计式将第1图像信号变换为第2图像信号的其他情况。

此外，在上述实施例中，示出了信息信号为图像信号的情况，但是本发明不限于此。例如，在信息信号为语音信号的情况下，也同样能够应用本发明。

根据本发明，用系数种类数据来生成将第1信息信号变换为第2信息信号时使用的估计式的系数数据，能够容易地得到与设定的多个参数对应的系数数据，能够不需要保存大量系数数据的存储器。

此外，根据本发明，用分为多层所得的生成式来生成估计式的系数数据，能够压缩每1个步骤的运算处理，并且实现硬件的规模缩小及有效利用。

此外，根据本发明，通过使分为多层的生成式的各层生成式包含越是上层更新频度越高的参数，能够将包含的参数的更新频度少的下层一侧的生成式的运算抑制得很少。

产业上的可利用性

如上所述，本发明的信息信号处理装置、信息信号处理方法、图像信号处理装置、图像信号处理方法及使用其的图像显示装置、其使用的系数种类数据生成装置及生成方法、以及计算机可读媒体及程序适用于将525i信号变换为1080i信号的情况、将525i信号变换为XGA信号的情况等变换格式时，或变换图像尺寸时。

Claims (4)

1.一种系数种类数据生成装置，生成系数种类数据，该系数种类数据是分为多层的生成式的最下层生成式的系数数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，该装置包括：

参数设定部件，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

数据选择部件，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

法方程式生成部件，用所述数据选择部件选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，来生成法方程式，该法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

系数数据运算部件，解所述法方程式来得到所述未分层状态下的生成式的系数数据；以及

系数种类数据运算部件，根据上层生成式和下层生成式的关系，用所述系数数据运算部件得到的所述未分层状态下的生成式的系数数据，来得到分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

2.一种系数种类数据生成方法，生成分为多层的生成式的最下层生成式的系数数据--系数种类数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，包括：

第1步骤，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

第2步骤，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

第3步骤，用所述第2步骤中选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，来生成法方程式，该法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

第4步骤，解所述第3步骤中生成的所述法方程式来得到所述未分层状态下的生成式的系数数据；以及

第5步骤，根据上层生成式和下层生成式的关系，用所述第4步骤中得到的所述未分层状态下的生成式的系数数据，来得到将分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

3.一种系数种类数据生成装置，生成系数种类数据，该系数种类数据是分为多层的生成式的最下层生成式的系数数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，该装置包括：

参数设定部件，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

数据选择部件，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

第1法方程式生成部件，用所述数据选择部件选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，对所述参数设定部件设定的多个参数的值的每个组合生成用于得到所述估计式的系数数据的第1法方程式；

第1系数数据运算部件，解所述第1法方程式，对所述每个组合得到所述估计式的系数数据；

第2法方程式生成部件，由所述第1系数运算部件得到的所述每个组合的系数数据，来生成第2法方程式，该第2法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

第2系数数据运算部件，解所述第2法方程式来得到所述未分层状态下的生成式的系数数据；以及

系数种类数据运算部件，根据上层生成式和下层生成式的关系，用所述第2系数数据运算部件得到的所述未分层状态下的生成式的系数数据，来得到分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

4.一种系数种类数据生成方法，生成系数种类数据，该系数种类数据是分为多层的生成式的最下层生成式的系数数据，该分为多层的生成式用于生成将由多个信息数据构成的第1信息信号变换为由多个信息数据构成的第2信息信号时使用的估计式的系数数据，其特征在于，该方法包括：

第1步骤，对应于所述生成式中包含的多个参数的值，来设定决定与所述第1信息信号对应的学习信号的状态的多个参数的值；

第2步骤，根据所述学习信号，来选择位于与所述第2信息信号对应的训练信号中的当前位置周边的多个信息数据；

第3步骤，用所述第2步骤中选择出的所述多个信息数据及所述训练信号中的当前位置的信息数据，对所述第1步骤中设定的多个参数的值的每个组合生成用于得到所述估计式的系数数据的第1法方程式；

第4步骤，解所述第3步骤中生成的所述第1法方程式，对所述每个组合得到所述估计式的系数数据；

第5步骤，由所述第4步骤中得到的所述每个组合的系数数据，来生成第2法方程式，该第2法方程式用于得到分为所述多层的生成式的未分层状态下的生成式的系数数据；

第6步骤，解所述第5步骤中生成的所述第2法方程式，来得到所述未分层状态下的生成式的系数数据；以及

第7步骤，根据上层生成式和下层生成式的关系，用所述第6步骤中得到的所述未分层状态下的生成式的系数数据，来得到将分为所述多层的生成式的最下层生成式的系数数据作为系数种类数据。

Images