CN1306807C - 数据转换装置及方法、学习设备及方法 - Google Patents

Abstract

本发明涉及可将一图像转换成高质量图像的数据转换装置和学习设备。类别抽头产生电路(2)和预测抽头产生电路(3)根据SD图像产生了一预测抽头，该预测抽样用于确定一HD图像的指定块的HD像素。分类电路(4)根据类别抽头对指定块的HD像素进行分类。系数RAM(7)从通过将预定约束条件施于指导者数据来对至少一个类别的每一个学习指导者数据与学习者数据之间的关系而获得的抽头系数中获得了指定块的HD像素类别的抽头系数。预测计算电路(8)和解码电路(9)通过利用抽头系数和预测抽头来确定指定块的HD像素。

Description

数据转换装置及方法、学习设备及方法

技术领域

本发明涉及一种数据转换装置及方法、学习设备及方法、程序、以及记录介质。更具体地说，本发明涉及一种其中图像数据例如能够被转换成高质量的图像数据的数据转换装置及方法、学习设备及方法、程序、以及记录介质。

背景技术

本申请的申请人先前提出了一种分类自适应处理以作为用于提高图像质量或者执行其它类型的图像转换的数据转换处理。

分类自适应处理包括分类处理和自适应处理：分类处理根据数据的属性对数据进行分类，并且对每一类数据执行自适应处理。自适应处理例如如下所述。

在自适应处理中，例如，利用预定的抽头系数来映射低质量的或者标准质量的图像(在下文中有时被称为“SD(标准清晰度)图像”)数据，以便将其转换成高质量的图像(在下文中有时被称为“HD(高清晰度)图像”)数据。

现在假定例如将线性耦合模型用作其使用了抽头系数的映射方法。在这种情况下，根据下述线性方程(线性耦合)通过利用抽头系数和被提取以作为用于预测HD像素的预测抽头的构成SD图像数据(在下文中有时被称为“SD像素”)的多个像素来确定构成HD图像数据(在下文中有时被称为“HD像素”)的像素y的像素值。

$y=\underset{n=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{WnXn}---\left(1\right)$

在方程(1)中，Xn表示构成HD像素y的预测抽头的SD图像数据的第n个像素的像素值，并且W_n表示要与第n个SD像素的像素值相乘的第n个抽头系数。在方程(1)中，假定预测抽头包括N个SD像素x₁，x₂，...，x_N。

HD像素的像素值y可以由诸如二次方程这样的高次方程来确定，而不是由(1)所表示的线性方程来确定。

当第k个抽样HD像素的像素值的实际值由y_k来表示时，并且当方程(1)所确定的实际值y_k的预测值由y_k′来表示时，由下述方程来表示预测误差e_k。

e_k＝y_k-y_k′            (2)

因为方程(2)中的预测值y_k′是由方程(1)所确定的，因此将方程(1)代入方程(2)中的y_k′，因此获得了下述方程。

$e_k=y_k-(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{WnXn},k)---\left(3\right)$

在方程(3)中，X_n，k表示构成第k个抽样HD像素的预测抽头的第n个SD像素。

将方程(3)中的预测误差e_k设置为0的抽头系数W_n是用于预测HD像素的最佳值。然而，一般来说，很难确定所有HD像素的抽头系数W_n。

因此，作为最佳抽头系数W_n的标准，使用例如最小二乘方这样的方法。因此，通过使如下述方程所表示的统计误差这样的均方误差的总和达到最小来确定最佳抽头系数W_n。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2---\left(4\right)$

在方程(4)中，K表示所设置的HD像素y_k和构成HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_n，k的抽样数。

可使方程(4)中的均方误差总和E达到最小的抽头系数W_n必须满足这样一个条件，即通过用抽头系数W_n对总和E求偏微分所确定的值变为0，因此，必须建立下述方程。

$\frac{\∂E}{\∂\mathrm{Wn}}=e1\frac{\∂e_1}{\∂\mathrm{Wn}}+e2\frac{\∂e_2}{\∂\mathrm{Wn}}+...+\mathrm{en}\frac{\∂e_n}{\∂\mathrm{Wn}}=0$ (n＝1，2，...，N)(5)

因此，通过用抽头系数W_n对方程(3)求偏微分，则可得到下述方程。

$\frac{\∂e_k}{\∂W_1}=-x_{1,k},\frac{\∂e_k}{\∂W_2}=-x_{2,k},\frac{\∂e_k}{\∂W_n}=-x_{n,k}$ (k＝1，2，...，K)(6)

可根据方程(5)和(6)建立下述方程。

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,...\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0---\left(7\right)$

通过将方程(3)代入方程(7)中的e_k，由方程(8)所示的标准方程来表示方程(7)。

通过配备一定数目的HD像素y_k和SD像素x_n，k组，可获得与所要确定的抽头系数W_n的数目一样多的标准方程(8)，并且通过对方程(8)求解(为了对方程(8)求解，位于方程(8)左侧的紧挨着抽头系数W_n的矩阵必须是规则的)可以确定最佳抽头系数W_n。在对方程(8)进行求解的过程中，可采用例如流线形方法(sweep-out method)(高斯约旦消去法)。

如上所述，通过将多个HD像素y₁，y₂，...，y_k设置成指导者数据作为用于学习抽头系数的指导者并且通过将构成每个HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_N，k设置成学习者数据作为用于学习抽头系数的学习者而对方程(8)求解，执行了用于确定最佳的抽头系数W_n的学习。通过使用最佳抽头系数W_n，通过利用方程(1)而将SD图像数据映射到(转换成)HD图像数据。上述处理是自适应处理。

自适应处理与纯粹的内插法的不同之处在于对包含在HD图像中的组分进行再现，而不是对包含在SD图像中的组分进行再现。更具体地说，仅仅根据方程(1)，自适应处理与其利用了内插滤波器的所谓“内插处理”相类似。然而，通过利用用作指导者数据的HD图像数据以及用作学习者数据的SD图像数据来进行学习而确定了与内插滤波器中所使用的抽头系数相对应的抽头系数W_n。因此，可对包含在HD图像中的组分进行再现。因此，自适应处理可提供创建图像的功能(创建分辨率)。

在学习抽头系数W_n的过程中，可改变指导者数据y和学习者数据x的组合，以便获得用于执行各种转换的抽头系数W_n。

如果HD图像数据用作指导者数据y，并且如果通过将噪音或斑点添加到HD图像数据上所确定的SD图像数据用作学习者数据x，那么可获得可将一图像转换成不具有噪音或者斑点的图像的抽头系数W_n。如果HD图像数据用作指导者数据y，并且如果通过降低HD图像数据的分辨率所确定的SD图像数据用作学习者数据x，那么可获得可将一图像转换成具有已改善的分辨率的图像的抽头系数W_n。如果图像数据用作指导者数据y，并且如果通过对图像数据执行DCT而确定的DCT系数(离散余弦变换)用作学习者数据x，那么可获得可将DCT系数转换成图像数据的抽头系数W_n。

如上所述，在分类自适应处理中，为每类确定了可使方程(4)中的均方误差总和E达到最小的抽头系数W_n，并且通过利用抽头系数W_n来计算方程(1)，由此可将SD图像转换成高质量的HD图像。也就是说，通过利用抽头系数W_n以及由SD图像所产生的预测抽头Xn来计算方程(1)，以便确定构成HD图像的HD像素。

因此，在先前所提出的分类自适应处理中，当集中于每个HD像素时，可确定预测值，该预测值可关于实际值使每个HD像素的预测误差在统计上达到最小。

更具体地说，如图1A所示，现在假定存在两个HD像素y_k和y_k+1，这两个像素彼此横向、纵向、或倾斜的相邻。在这种情况下，对于HD像素y_k而言，可获得预测值y_k′，该预测值y_k′可关于实际值y_k而使预测误差e_k在统计上达到最小。类似的，对于HD像素y_k+1而言，可获得预测值y_k+1′，该预测值y_k+1′可关于实际值y_k+1而使预测误差e_k+1在统计上达到最小。

然而，在先前所提出的分类自适应处理中，对于两个HD像素y_k和y_k+1而言，如图1A所示，当实际HD像素y_k朝着实际HD像素y_k+1的方向倾斜的增加到右侧时，有时会产生下述结果。如图1B所示，对于HD像素y_k而言，获得了大于实际值的预测值y_k′，并且另一方面，对于HD像素y_k+1而言，获得了小于实际值的预测值y_k+1′。

在这种情况下，HD像素y_k的预测值y_k′朝着HD像素y_k+1的预测值y_k+1′的方向减小到右侧，如图1B所示。

如上所讨论的，如果尽管事实上是实际值增加到右侧但是预测值减小到右侧，即就是如果像素值的变化与实际值的变化相反，那么其结果是图像质量降低了。

发明内容

因此，针对背景技术，本发明的一个目的就是将例如图像数据转换成高质量的图像数据。

本发明的第一数据转换装置包括：类别抽头产生器件，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类器件，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生器件，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得器件，用于从通过学习指导者数据和学习者数据之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者，并且通过将预定约束条件施于指导者数据而对至少一类的每个类别进行所述学习；以及计算器件，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第一数据转换方法包括：类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得步骤，用于从通过学习指导者数据和学习者数据之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者，并且通过将预定约束条件施于指导者数据而对至少一类的每个类别进行所述学习；以及计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第一程序包括：类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得步骤，用于从通过学习指导者数据和学习者数据之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者，并且通过将预定约束条件施于指导者数据而对至少一类的每个类别进行所述学习；以及计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第一记录介质上记录了一程序，该程序包括：类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得步骤，用于从通过学习指导者数据和学习者数据之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者，并且通过将预定约束条件施于指导者数据而对至少一类的每个类别进行所述学习；以及计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第一学习设备包括：类别抽头产生器件，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类器件，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生器件，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习器件，用于通过利用数据的指定项以及预测抽头，通过将预定的约束条件施于指导者数据对至少一类的每一个学习指导者数据与学习者数据之间的关系来确定至少一类的每一个的抽头系数。

本发明的第一学习方法包括：类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类步骤，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习步骤，用于通过利用数据的指定项以及预测抽头，通过将预定的约束条件施于指导者数据对至少一类的每一个学习指导者数据与学习者数据之间的关系来确定至少一类的每一个的抽头系数。

本发明的第二程序包括：类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类步骤，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习步骤，用于通过利用数据的指定项以及预测抽头，通过将预定的约束条件施于指导者数据对至少一类的每一个学习指导者数据与学习者数据之间的关系来确定至少一类的每一个的抽头系数。

本发明的第二记录介质上记录了一程序，该程序包括：类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类步骤，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习步骤，用于通过利用数据的指定项以及预测抽头，通过将预定的约束条件施于指导者数据对至少一类的每一个学习指导者数据与学习者数据之间的关系来确定至少一类的每一个的抽头系数。

本发明的第二数据转换装置包括：类别抽头产生器件，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类器件，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生器件，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得器件，用于从通过对至少一类的每个类别学习由指导者数据的多个抽样获得的特征和学习者数据的多个抽样之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者；以及计算器件，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第二数据转换方法包括：类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得步骤，用于从通过对至少一类的每个类别学习由指导者数据的多个抽样获得的特征和学习者数据的多个抽样之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者；以及计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第三程序包括：类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得步骤，用于从通过对至少一类的每个类别学习由指导者数据的多个抽样获得的特征和学习者数据的多个抽样之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者；以及计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第三记录介质上记录了一程序，该程序包括：类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；抽头系数获得步骤，用于从通过对至少一类的每个类别学习由指导者数据的多个抽样获得的特征和学习者数据的多个抽样之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者；以及计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

本发明的第二学习设备包括：类别抽头产生器件，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类器件，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生器件，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习器件，用于通过利用数据的指定项以及预测抽头，通过对至少一类的每一个学习从指导者数据的多个抽样获得的特征与学习者数据的多个抽样之间的关系来确定至少一类的每一个的抽头系数。

本发明的第二学习方法包括：类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类步骤，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习步骤，用于通过利用数据的指定项以及预测抽头，通过对至少一类的每一个学习从指导者数据的多个抽样获得的特征与学习者数据的多个抽样之间的关系来确定至少一类的每一个的抽头系数。

本发明的第四程序包括：类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类步骤，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习步骤，用于通过利用数据的指定项以及预测抽头，通过对至少一类的每一个学习从指导者数据的多个抽样获得的特征与学习者数据的多个抽样之间的关系来确定至少一类的每一个的抽头系数。

本发明的第四记录介质上记录有一程序，该程序包括：类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；分类步骤，用于基于所述类别抽头对数据的指定项进行分类；预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及学习步骤，用于通过利用数据的指定项以及预测抽头，通过对至少一类的每一个学习从指导者数据的多个抽样获得的特征与学习者数据的多个抽样之间的关系来确定至少一类的每一个的抽头系数。

根据本发明的第一数据转换装置、第一数据转换方法、第一程序及第一记录介质，从第一数据产生了类别抽头和预测抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类，该预测抽头用于确定指定的抽样。基于类别抽头来对指定抽样进行分类。从通过学习指导者数据和学习者数据之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者，并且通过将预定约束条件施于指导者数据而对至少一类的每个类别进行所述学习。通过使用预测抽头和抽头系数确定指定抽样。

根据本发明的第一学习设备、第一学习方法、第二程序、以及第二记录介质，从对应于第一数据用作学习者的学习者数据产生类别抽头和预测抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类，以及预测抽头用于确定数据的指定项，并且根据类别抽头对数据的指定项进行分类。通过利用数据的指定项以及预测抽头，通过将预定的约束条件施于指导者数据对至少一类的每一个学习指导者数据与学习者数据之间的关系来确定至少一类的每一个的抽头系数。

根据本发明的第二数据转换装置、第二数据转换方法、第三程序、及第三记录介质，从第一数据产生类别抽头和预定抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类，并且该预定抽头用于确定指定的抽样。基于类别抽头对指定抽样进行分类。从通过对至少一类的每个类别学习由指导者数据的多个抽样获得的特征和学习者数据的多个抽样之间的关系而获得的抽头系数中、获得用于指定抽样的类别的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者。通过利用预测抽头以及指定抽样的类别的抽头系数来确定指定抽样。

根据本发明的第二学习设备、第二学习方法、第四程序、及第四记录介质，从对应于第一数据用作学习者的学习者数据产生类别抽头和预测抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类，以及预测抽头用于确定数据的指定项，并且根据类别抽头对数据的指定项进行分类。通过利用数据的指定项以及预测抽头，通过对至少一类的每一个学习从指导者数据的多个抽样获得的特征与学习者数据的多个抽样之间的关系来确定至少一类的每一个的抽头系数。

附图说明

图1A说明了图像质量的降低；

图1B说明了图像质量的降低；

图2是说明本发明所应用的图像处理装置的第一实施例的一示例结构的方框图；

图3说明了HD图像数据块、类别抽头、以及预测抽头；

图4是说明图像处理装置所执行的处理的流程图；

图5是说明学习设备的实施例的示例结构的方框图，该学习设备用于对要存储在系数RAM 5中的抽头系数进行学习；

图6是说明成对学习产生电路22的一示例结构的方框图；

图7是说明用于对要存储在系数RAM 5中的抽头系数进行学习的学习处理的流程图；

图8是说明学习设备的实施例的示例结构的方框图，该学习设备用于对要存储在系数RAM 7中的抽头系数进行学习；

图9是说明成对学习产生电路42的一示例结构的方框图；

图10是说明用于对要存储在系数RAM 7中的抽头系数进行学习的学习处理的流程图；

图11是说明成对学习处理电路42的另一示例结构的方框图；

图12是说明本发明所应用的图像处理装置的第二实施例的一示例结构的方框图；

图13说明了HD图像数据块的另一示例；

图14是说明本发明所应用的一计算机实施例的示例结构的方框图。

具体实施方式

图2给出了本发明所应用的图像处理装置的实施例的结构的示例。

在该图像处理装置中，例如，输入模糊的SD图像，并且对模糊的SD图像执行分类自适应处理，由此输出一HD图像，不管原始SD图像的模糊程度都可足够减弱该HD图像中的模糊度。

更具体地说，图像处理装置包括一帧存储器1、一类别抽头产生电路2、一预测抽头产生电路3、一分类电路4、一帧存储器10、一主像素处理电路11、以及子像素处理电路12。将模糊的SD图像输入到该图像处理装置中。

帧存储器1例如以帧(或半帧)为单元临时存储输入到图像处理装置中的SD图像。在该实施例中，帧存储器1能够通过执行存储单元交换来存储由多个帧所组成的一SD图像，由此即使输入到图像处理装置中的SD图像是运动图像，也可实时地执行图像处理。

类别抽头产生电路2形成(划分)HD图像(从SD图像中完全去除了模糊的理想HD图像)以由分类自适应处理确定为块，每个块包括多个HD像素(抽样)，并且类别抽头产生电路2顺序地指定每个块。类别抽头产生电路2此后产生了一类别抽头，该类别抽头根据存储在帧存储器1中的SD图像对构成指定块的HD像素进行分类，由此将所产生的类别抽头输出到分类电路4。也就是说，类别抽头产生电路2从存储在帧存储器1中的SD图像中提取在空间上或时间上靠近指定块的多个SD像素(抽样)，并且将所提取的SD像素设置为类别抽头，由此将类别抽头输出到分类电路4。

更具体地说，例如，如图3所示，类别抽头产生电路2将一HD图像划分成块，每个块是由两个纵向相邻的HD像素组成，并且该类别抽头产生电路2顺序地指定每个块。

在图3中，O表示构成SD图像的SD像素，×表示构成HD图像的HD像素。在图3中，位于纵向和横向方向上的HD像素的像素数目是SD图像的两倍。

如图3所示，类别抽头产生电路2从存储在帧存储器1中的SD像素中提取三行×三列的SD像素，这些SD像素纵向或者横向地靠近指定块，并且类别抽头产生电路2将所提取的SD像素设置为类别抽头。

由“y⁽¹⁾”和“y⁽²⁾”来分别表示从HD图像中所划分出的一块的上部HD像素和下部HD像素。在构成一类别抽头的3×3SD像素中，由x⁽¹⁾、x⁽²⁾、x⁽³⁾、x⁽⁴⁾、x⁽⁵⁾、x⁽⁶⁾、x⁽⁷⁾、x⁽⁸⁾、以及x⁽⁹⁾分别表示第一行，第一列SD像素、第一行，第二列SD像素、第一行，第三列SD像素、第二行，第一列SD像素、第二行，第二列SD像素、第二行，第三列SD像素、第三行，第一列SD像素、第三行，第二列SD像素、以及第三行，第三列SD像素。

预测抽头产生电路3根据存储在帧存储器1中的SD图像产生了一预测抽头，该预测抽头用于在预测计算电路6中确定构成指定块的HD像素的预测值，并且预测抽头产生电路3将所产生的预测抽头提供给预测计算电路6。也就是说，类别抽头产生电路2从存储在帧存储器1中的SD像素中提取在空间上或者在时间上靠近指定块的多个SD像素，并且将所提取的SD像素设置为预测抽头，由此将预测抽头输出到预测计算电路6。

为了简化起见，对于构成指定块的HD像素而言，预测抽头产生电路3产生具有与类别抽头相同的抽头结构的预测抽头，即由3×3的SD像素组成的预测抽头。

然而，用作预测抽头的SD像素与用作类别抽头的SD像素相同不是必需的。也就是说，可以独立地形成(产生)预测抽头和类别抽头。类别抽头或者预测抽头的抽头结构并不局限于如图3所示的3×3的SD像素。

再次参考图2，分类电路4根据类别抽头产生电路2所输出的类别抽头来对构成指定块的HD像素进行分类，并且将与构成指定块的HD像素类别相对应的类别码提供给主像素处理电路11和子像素处理电路12。也就是说，分类电路4对类别抽头产生电路2所输出的类别抽头执行一个比特(one-bit)的ADRC(自适应动态范围编码)处理，并且将其结果ADRC码输出到主像素处理电路11和子像素处理电路12以作为类别码。

在K比特(K-bit)的ADRC处理中，检测构成类别抽头的SD像素的像素值的最大值MAX和最小值MIN，并且将DR＝MAX-MIN设置为本地动态范围。此后，根据该动态范围DR，将构成类别抽头的SD像素重新量化为K比特。也就是说，从构成类别抽头的每个SD像素的像素值中减去最小值MIN，并且用DR/2^k划分(量化)其结果值。因此，当对类别抽头执行一个比特的ADRC处理时，将构成类别抽头的每个SD像素的像素值重新量化成一个比特。在这种情况下，按照预定的次序将构成类别抽头的各个SD像素的一个比特像素值排列成比特流，并且输出该比特流以作为ADRC码。可以通过另一个技术来执行该分类处理，例如，将构成类别抽头的SD像素认为是矢量分量，并且对该矢量进行量化。在分类处理中，可以仅使用一个类别，在这种情况下，分类电路4输出固定的类别码而与所提供的是哪一个类别抽头无关。

在该实施例中，在类别抽头产生电路2中，为构成指定块的HD像素y⁽¹⁾和y⁽²⁾产生了相同的类别抽头。因此，在分类电路4中，将构成指定块的HD像素y⁽¹⁾和y⁽²⁾分类成相同类别。由此，换句话说，在分类电路4中，对构成指定块的HD像素进行分类，并且还对指定块进行分类。

类别抽头产生电路2可以产生对构成指定块的HD像素y⁽¹⁾和y⁽²⁾具有不同的抽头结构的类别抽头。类似的，预测抽头产生电路3也可以产生对构成指定块的HD像素y⁽¹⁾和y⁽²⁾具有不同的抽头结构的预测抽头。然而，如果为构成指定块的HD像素y⁽¹⁾和y⁽²⁾产生具有不同抽头结构的类别抽头或预测抽头，那么将在主像素处理单元11和子像素处理电路12中获得的根据为HD像素所产生的类别抽头而确定的类别抽头或预测抽头提供给主像素处理电路11和子像素处理电路12是必需的。

帧存储器10临时存储在主像素处理电路11中所确定的HD像素以及在子像素处理电路12中所确定的HD像素，并且当存储例如一个帧的HD像素时，输出由HD像素所组成的HD图像的一帧。将帧存储器10配置成与帧存储器1相类似，并且因此，它可以存储主像素处理电路11和子像素处理电路12所提供的HD像素并且同时从帧存储器10中读取HD像素。

由系数RAM(随机存取存储器)5和预测计算电路6所构成的主像素处理电路11指定构成指定块的HD像素的主像素、确定主像素的预测值、将其提供给帧存储器10、并将其存储在与主像素的位置相对应的地址上。

系数RAM 5存储通过对至少一类中的每一个学习指导者数据与学校器数据之间的关系而获得的抽头系数，上述指导者数据是用作学习指导者的HD像素数据，上述学习者数据是用作学习者的SD图像数据。一旦从分类电路4中接收到指定块的HD像素的类别码，系数RAM 5则读取存储在与类别码相对应的地址上的抽头系数，以便获得构成指定块的HD像素的主像素类别的抽头系数，并将该抽头系数提供给预测计算电路6。下面将对存储在系数RAM 5中的抽头系数的学习方法进行详细的描述。

预测计算电路6通过利用由系数RAM 5所提供的主像素类别的抽头系数w₁，w₂，...以及构成由预测抽头产生电路3所提供的预测抽头的SD像素的像素值x₁，x₂，...来执行由方程(1)所表示的乘积-求和运算，以便确定主像素y的预测值。此后预测计算电路6将该预测值提供给帧存储器10并且将其存储在这里以作为其模糊已减弱的HD像素的像素值。

在这个实施例中，构成从HD图像中所划分成的每块的HD像素包含至少一个主像素和除主像素之外的像素，即子像素。主像素是通过利用这样一个抽头系数所确定的HD像素，该抽头系数是通过未将约束条件施于指导者数据而学习指导者数据与学校器数据之间的关系而获得的。子像素是通过利用这样一个抽头系数所确定的HD像素，该抽头系数是通过将约束条件施于指导者数据来学习指导者数据与学校器数据之间的关系而获得的。

在这个实施例中，在如图3所示的构成HD图像块的两个HD像素之间，上部HD像素y⁽¹⁾是主像素，并且下部HD像素y⁽²⁾是子像素。

由系数RAM 7、预测计算电路8、以及解码电路9所构成的子像素处理电路12确定构成指定块的HD像素的子像素y⁽²⁾的预测值、将所确定的子像素提供给帧存储器10、并将其存储在与子像素的位置相对应的地址上。

也就是说，系数RAM 7存储抽头系数，该抽头系数是通过将约束条件施于指导者数据来对至少一类中的每一个学习指导者数据与学校器数据之间的关系而获得的，其中上述指导者数据是作为指导者的HD图像数据，上述学校器数据是作为学习者的SD图像数据。此后，一旦从分类电路4中接收到指定块的类别码，系数RAM 7则读取存储在与类别码相对应的地址上的抽头系数，以便获得构成指定块的HD像素的子像素类别的抽头系数，并将抽头系数提供给预测计算电路6。如上所述的，因为为同一块的主像素和子像素产生了相同的类别抽头，因此主像素的类别与子像素的类型相同。下面将对存储在系数RAM 7中的抽头系数的学习方法进行详细的描述。

预测计算电路8通过利用由系数RAM 7所提供的子像素类别的抽头系数Δw1，Δw2，...以及构成由预测抽头产生电路3所提供的预测抽头x1，x2，...的SD像素的像素值来执行与方程(1)相对应的乘积-求和运算，以便确定子像素与存储在帧存储器10中的HD像素之间的差值Δy的预测值，并且将所确定的差值提供给解码电路9。在这个实施例中，对于指定块的子像素y⁽²⁾而言，假定例如在预测计算电路8中可以确定指定块的子像素y⁽²⁾与主像素y⁽¹⁾之间的差值Δy(＝y⁽²⁾-y⁽¹⁾)。

解码电路9将预测计算电路8所提供的子像素的差值解码成子像素。更具体地说，在该实施例中，作为子像素y⁽²⁾的差值Δy，可使用同一块的子像素y⁽²⁾与主像素y⁽¹⁾间的差值。因此，解码电路9从帧存储器10中读取指定块的主像素y⁽¹⁾的预测值，并且将主像素y⁽¹⁾添加到预测计算电路8所提供的差值Δy上，因此可确定子像素y⁽²⁾的预测值(＝Δy+y⁽¹⁾)。解码电路9此后将所确定的子像素提供给帧存储器10并将其存储在其中。

下面参考图4的流程图对图2所示的图像处理装置所执行的将一SD图像转换成HD图像的图像转换处理进行详细的描述。

以帧为单位将要进行图像转换处理的SD图像(运动画面)顺序提供给帧存储器1，并且将SD图像的帧顺序存储在帧存储器1中。

在步骤S1，类别抽头产生电路2指定将要确定的HD图像的一帧(其将要存储在帧存储器10中)，并且将所指定的帧形成块，每个块是由两个纵向相邻的HD像素y⁽¹⁾和y⁽²⁾组成的，如参考图3所讨论的。此后处理转到步骤S2。

在步骤S2中，类别抽头产生电路2指定构成指定块的一个未确定块，并且转到步骤S3。

在步骤S3，类别抽头产生电路2和预测抽头产生电路3从存储在帧存储器1中的SD图像中提取与指定块的位置空间上或者时间上相邻的多个SD像素，以便分别产生一类别抽头和一预测抽头。同时在步骤S3，类别抽头产生电路2将指定块的类别抽头提供给分类电路4，并且预测抽头产生电路3将指定块的预测抽头提供给主像素处理电路11和子像素处理电路12。此后处理转到步骤S4。

在步骤S4，分类电路4根据类别抽头产生电路2所提供的类别抽头对构成指定块的主像素y⁽¹⁾和子像素y⁽²⁾的每一个进行分类，并且将表示指定块的结果类别的类别码提供给主像素处理电路11和子像素处理电路12。此后处理转到步骤S5。

在步骤S5，主像素处理电路11的系数RAM 5读取存储在与分类电路4所提供的类别码相对应的地址上的抽头系数，以便获得构成指定块的主因素y⁽¹⁾的类别的抽头系数，并且将该抽头系数提供给预测计算电路6。同时在步骤S5，子像素处理电路12的系数RAM 7读取存储在与分类电路4所提供的类别码相对应的地址上的抽头系数，以便获得构成指定块的次因素y⁽²⁾的类别的抽头系数，并且将该抽头系数提供给预测计算电路8。

此后，处理转到步骤S6，在步骤S6中主像素处理电路11指定所指定块的主像素，并且计算指定像素y⁽¹⁾的预测值。更具体地说，在步骤S6，在主像素处理电路11中，预测计算电路6通过利用预测抽头产生电路3所提供的预测抽头以及系数RAM 5所提供的抽头系数来执行方程(1)所表示的计算，由此确定主像素y⁽¹⁾的预测值，该主像素y⁽¹⁾是指定的像素。同时在步骤S6，预测计算电路6将所确定的主像素y⁽¹⁾提供给帧存储器10，并且将其存储在与主像素y⁽¹⁾的位置相对应的地址上。此后处理转到步骤S7。

在步骤S7，子像素处理电路12指定所指定块的子像素，并且计算指定像素y⁽²⁾的预测值。更具体地说，在步骤S7，在子像素处理电路12中，预测计算电路8通过利用预测抽头产生电路3所提供的预测抽头以及系数RAM 7所提供的抽头系数来执行与方程(1)相对应的乘积-求和运算(下面将给出其详细说明)，以便确定子像素y⁽²⁾与HD像素y⁽¹⁾之间的差值Δy的预测值，并且将该差值提供到解码电路9，其中上述子像素是指定的像素，上述HD像素是主像素。同时在步骤S7，解码电路9将在步骤S6中所确定的且存储在帧存储器10中的主像素y⁽¹⁾添加到预测计算电路8所提供的差值Δy上，因此可确定作为指定像素的子像素y⁽²⁾的预测值。解码电路9此后将子像素y⁽²⁾提供给帧存储器10，并将其存储在与子像素y⁽²⁾的位置相对应的地址上。此后处理转到步骤S8。

在步骤S8，类别抽头产生电路2确定是否存在尚未被确定为构成指定帧的指定块的块。如果确定出存在这样的块，处理返回到步骤S2，并且重复与上述处理相似的处理。

如果确定出不存在尚未被确定为指定块的块，也就是构成指定帧的所有HD像素都存储在帧存储器10中，那么处理转到步骤S9。在步骤S9，帧存储器10读取并输出指定帧的HD图像，并且此后处理转到步骤S10。

在步骤S10，类别抽头产生电路2确定是否存在将被顺序确定的HD图像的帧。如果确定出存在这样的帧，那么处理返回到其中对帧进行指定的步骤S1，并且重复与上述处理相似的处理。

如果在步骤S10确定出不存在将被顺序确定的HD图像的帧时，结束处理。

图5给出了学习设备的一实施例的结构示例，该学习设备进行学习以确定每个类别的抽头系数以将其存储在如图2所示的系数RAM 5中。

在学习数据库21中，例如存储了HD图像数据，该HD图像数据作为用于学习抽头系数的图像数据。

成对学习产生电路22根据存储在学习数据库21中的学习图像数据而产生了成对学习数据以作为一组用于学习抽头系数的指导者数据和学习者数据，并且将成对学习数据提供给成对学习数据库63。

也就是说，成对学习产生电路22读取存储在学习数据库21中的学习图像数据并直接将作为学习图像数据的HD图像数据设置为指导者数据。在图2所示的图像处理装置中所获得的HD图像与用作图5所示的学习设备中的指导者数据的HD图像的图像质量相同。

成对学习产生电路22还降低了作为指导者数据的HD图像数据的图像质量，并且更具体地说，成对学习产生电路22例如减少了作为指导者数据的HD图像数据的像素数目，并且此后利用LPF(低通滤波器)对像素数目已减少的HD图像数据进行过滤，由此产生了通过使作为指导者数据的HD图像数据模糊而确定的学习者数据，该学习者数据是SD图像数据。作为学习者数据的SD图像数据必须与将在图2所示的图像处理装置中进行处理的SD图像数据的图像质量相符。

成对学习产生电路22产生了指导者数据和如上所述的从指导者数据中所产生的学习者数据，并且将一组指导者数据和学习者数据提供给成对学习数据库23以作为成对学习数据。

成对学习数据库23将成对产生电路22所提供的成对数据临时存储在其中。

类别抽头产生电路24将用作存储在成对学习数据库23中的成对数据的指导者数据的HD图像形成为与图2所示的类别抽头产生电路2中的块相同的块并顺序指定每个块。类别抽头产生电路24还从作为存储在成对数据库23中的成对学习数据的学习者数据的SD图像为形成指定块的每个主像素和子像素产生类别抽头并将该类别抽头提供给分类电路26。类别抽头产生电路24产生具有与图2所示的分类电路2所产生的类别抽头相同的抽头结构的类别抽头。

预测抽头产生电路25从作为存储在成对数据库23中的成对学习数据的学习者数据的SD图像为构成指定块的每个主像素和子像素产生预测抽头，并且将该预测抽头提供给求和电路27。预测抽头产生电路25产生具有与图2所示的预测抽头产生电路3所产生的类别抽头相同的抽头结构的类别抽头。

与图2所示的分类电路4相似地构造的分类电路26根据类别抽头产生电路24所提供的类别抽头来对构成指定块的每个主像素和子像素进行分类，并且将表示指定块类别的类别码提供给求和电路27。

通过利用存储在成对学习数据库23中的成对学习数据的指导者数据，即指定块的主像素，以及预测抽头产生电路25所提供的预测抽头，求和电路27以及抽头系数计算电路28对分类电路26所提供的每个类别学习其作为存储在成对数据库23中的成对学习数据的指导者数据与学习者数据之间的关系，由此确定每个类别的抽头系数。

也就是说，求和电路27为分类电路26所输出的每个类别码执行方程(8)中的对预测抽头产生电路25所提供的预测抽头以及用作指导者数据的HD像素进行求和，其中上述HD像素是存储在成对学习数据库23中的成对学习数据的指定块的主像素。

更具体地说，求和电路27通过利用SD像素x_n，k来为与分类电路26所提供的类别码相对应的每个类别执行与方程(8)左侧矩阵中的SD像素的乘积(x_n，kx_n′，k)以及求和(∑)相对应的运算，其中上述SD像素x_n，k用作构成预测抽头的学习者数据。

求和电路27还通过利用SD像素x_n，k和HD像素y_k来为与分类电路26所提供的类别码相对应的每个类别执行与方程(8)右侧矢量中的SD像素x_n，k与HD像素y_k的乘积(x_n，ky_k)以及求和(∑)相对应的运算，其中上述SD像素x_n，k用作构成预测抽头的学习者数据，并且上述HD像素y_k作为指导者数据就是指定块的主像素。

当通过利用作为存储在成对学习数据库23中的成对学习数据的指导者数据的HD图像的所有块来执行上述求和而为每个类别建立了由方程(8)所表示的标准方程时，求和电路27将标准方程提供给抽头系数计算电路28。

一旦接收到来自求和电路27的每个类别的由方程(8)所表示的标准方程时，抽头系数计算电路28对标准方程求解以确定每个类别的抽头系数并且输出该抽头系数。

抽头系数存储器29存储抽头系数计算电路28所提供的每个类别的抽头系数。

图6给出了图5所示的成对学习产生电路22的一结构示例。

将作为存储在学习数据库21(图5)中的学习图像数据的HD图像数据提供给成对学习产生电路22，并且成对学习产生电路22输出HD图像数据以作为指导者数据。

抽取电路31减少了作为学习图像数据的HD图像数据的像素数目，并且将结果SD图像数据提供给LPF 32。如参考图3所讨论的，在该实施例中，将SD图像数据转换成其纵向和横向像素数目是图像处理装置2中的SD图像数据纵向和横向像素数目两倍的HD图像数据。因此，反之，在抽取电路31中，将作为学习者图像数据的HD图像数据的纵向和横向像素数目减少为二分之一。

其具有预定频率特性的LPF 32对抽取电路31所提供的SD图像数据进行过滤以便获得模糊的SD图像数据，并且将其输出以作为学习者数据。

成对学习产生电路22将如上所获得的一组指导者数据和学习者数据输出到成对学习数据库23(图5)以作为成对学习数据。

下面参考图7的流程图对如图5所示的学习设备中执行的确定每个类别的抽头系数的学习过程进行详细的描述。

在步骤S11，成对学习产生电路22从学习数据库21中读取学习图像数据，以便产生指导者数据和学习者数据。同时在步骤S11，成对学习产生电路22通过形成一组指导者数据和学校器数据而产生了成对学习数据，并将成对学习数据提供给成对学习数据库23，并且将其存储在这里。

此后处理转到步骤S12。在步骤S12，类别抽头产生电路24以与图2所示的类别抽头产生电路2相似的方式来将作为存储在成对学习数据库23中的成对学习数据的指导者数据的HD图像数据形成为块，每个块由两个纵向相邻的HD像素组成。此后处理转到步骤S13。

在步骤S13，类别抽头产生电路24指定作为存储在成对学习数据库23中的成对学习数据的指导者数据的HD图像的一个未定块，并且处理转到步骤S14。在步骤S14，类别抽头产生电路24和预测抽头产生电路25从作为存储在成对学习数据库23中的学习者数据的SD像素为指定块的主像素产生了一类别抽头和一预测抽头，并且将该类别抽头以及预测抽头分别提供给分类电路26和求和电路27。此后处理转到步骤S15。

在步骤S15，与在图2所示的分类电路4中一样，分类电路26利用类别抽头产生电路24所提供的类别抽头而对指定块的主像素进行分类，并且将表示结果的指定块的类别的类别码提供给求和电路27。此后处理转到步骤S16。

在步骤S16，求和电路27从成对学习数据库23中读取其就是指定块主像素的HD像素以作为指定像素。并且，在步骤S16，求和电路27为分类电路26所提供的类别码所表示的指定块的每个类别对预测抽头产生电路25所提供的预测抽头以及从成对学习数据库23中所读取的指定像素执行方程(8)中的求和。此后处理转到步骤S17。

在步骤S17，类别抽头产生电路24确定作为存储在成对学习数据库23中的指导者数据的HD图像中是否还存在未指定模块。如果在步骤S17确定出存储在成对学习数据库23中的指导者数据中还存在未指定块，那么处理返回至步骤S13，并且重复与上述处理相似的处理。

如果在步骤S17确定出存储在成对学习数据库23中的指导者数据中不存在未指定块，那么求和电路27将通过为每个类别在步骤S16中求和而获得的方程(8)中的标准方程提供给抽头系数计算电路28。此后处理转到步骤S18。

在步骤S18，抽头系数计算电路28对求和电路27所提供的每个类别的方程(8)中的标准方程进行求解以确定每个类别的抽头系数，并且将该抽头系数提供给抽头系数存储器29，并且将其存储在这里。此后结束该处理。

如上所述的存储在抽头系数存储器29中的每个类别的抽头系数与存储在图2所示的图像处理装置的系数RAM 5中的抽头系数相同。在其具有抽头RAM5的主像素处理电路11中，可以以与本申请所提出的分类自适应处理相同的方式来将HD像素确定为主像素。

在上述抽头系数的学习处理中，可能存在这样一个类别，即根据预备的学习图像数据不能获得该类别的用于确定抽头系数的所需标准方程数目。对于这样一种类别而言，例如，抽头系数计算电路28可以输出缺省抽头系数。或者，如果存在不能获得该类别的用于确定抽头系数的所需标准方程数目的类别，那么可以准备新的学习图像数据以重新对抽头系数进行学习。同样还适用于对下面所述的学习设备中的用于抽头系数的学习。

图8给出了一学习设备实施例的结构示例，该学习设备用于进行学习以确定存储在如图2所示的系数RAM 7中的每个类别的抽头系数。

如图8所示的学习设备包括一学习数据库41、一成对学习产生电路42、一成对学习数据库43、一类别抽头产生电路44、一预测抽头产生电路45、一分类电路46、一求和电路47、一抽头系数计算电路48、以及一抽头系数存储器49，这些部件分别与如图5所示的学习数据库21、成对学习产生电路22、成对学习数据库23、类别抽头产生电路24、预测抽头产生电路25、分类电路26、求和电路27、抽头系数计算电路28、以及抽头系数存储器29相似地构造。

因此，基本上，在图8所示的学习设备中，以与图5相类似的方式来确定至少一个类别的每一个的抽头系数。然而，在图8所示的学习设备中，通过将预定约束条件施于指导者数据而对至少一个类别的每一个学习指导者数据与学习者数据之间的关系，从而确定至少一个类别的每一个的抽头系数。

也就是说，在图8所示的学习设备中，通过给定对构成指导者数据的块的主像素与子像素之间的关系施加约束的约束条件、来学习指导者数据与学习者数据之间的关系。更具体地说，通过给定对主像素与子像素之间的差值施加约束的一约束条件来学习指导者数据与学习者数据之间的关系。

通过学习指导者数据与学习者数据之间的关系，同时对主像素y⁽¹⁾与子像素y⁽²⁾之间的差值Δy施加约束，也就是说，通过在由方程(1)中的乘积-求和运算所确定的主像素的预测值y^(1)′与子像素的预测值y^(2)′之间的差值Δy′＝y^(2)′-y^(1)′与通过从子像素的实际值y⁽²⁾中减去主像素的实际值y⁽¹⁾所获得的差值的实际值Δy＝y⁽²⁾-y⁽¹⁾相一致的约束条件下、理想地学习指导者数据与学习者数据之间的关系，可以获得用于确定子像素预测值y^(2)′同时保持主像素实际值y⁽¹⁾与子像素实际值y⁽²⁾的关系的抽头系数。

当利用这种抽头系数而将SD图像转换成HD图像时，由于约束条件的影响即通过对主像素与子像素之间的差值施加约束，可以防止如参考图1B所述的像素值的变化与实际值的变化相反的情况。

现在假定将主像素的预测值y^(1)′和子像素y^(2)′之间的差值Δy′＝y^(2)′-y^(1)′(在下文中也被称为“差值的预测值”)与主像素的实际值y⁽¹⁾和子像素的实际值y⁽²⁾之间的差值的实际值Δy＝y⁽²⁾-y⁽¹⁾相一致的条件用作对通过从子像素y⁽²⁾中减去主像素y⁽¹⁾所获得的差值Δy施加约束的约束条件。然而，在实际中，很难为所有块的主像素和子像素满足该约束条件。

因此，在图8所示的学习设备中，在使差值Δy′的预测值相对于实际值Δy的预测误差在统计上为最小值的约束条件下，学习指导者数据与学习者数据之间的关系。

也就是说，当W_n ⁽¹⁾和W_n ⁽²⁾分别表示用于确定主像素y⁽¹⁾和子像素y⁽²⁾的抽头系数时，可以通过使用方程(9)和(10)利用抽头系数W_n ⁽¹⁾和W_n ⁽²⁾以及根据方程(1)的预测抽头x_n来确定主像素y⁽¹⁾和子像素y⁽²⁾。

$y^{\left(1\right)}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n^{\left(1\right)}{x}_n---\left(9\right)$

$y^{\left(2\right)}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n^{\left(2\right)}{x}_n---\left(10\right)$

由下述方程来定义抽头系数W_n ⁽¹⁾和W_n ⁽²⁾之间的差值ΔW_n。

ΔW_n＝W_n ⁽²⁾-W_n ⁽¹⁾               ...(11)

在这种情况下，通过利用方程(9)至(11)来计算下述乘积求和而确定差值Δy。

$\mathrm{\Δy}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\Δ}{w}_n{x}_n---\left(12\right)$

例如，可以通过使差值Δy′的预测值的预测误差总和达到最小值的条件满足使差值Δy′的预测值相对于实际值Δy的预测误差在统计上达到最小值的约束条件，并且使预测误差总和达到最小值的抽头系数ΔW_n是满足约束条件的抽头系数。

使差值Δy′的预测值的预测误差总和达到最小值的抽头系数ΔW_n可通过例如最小二乘方的方法而确定。

方程(12)与其中由差值Δy来代替方程(1)中的HD像素并且由抽头系数ΔW_n来代替抽头系数W_n的方程相等价。因此，通过对方程(13)中的标准方程进行求解可以确定使方程(12)所确定的差值y的预测误差总和达到最小值的抽头系数ΔW_n，该方程(13)是通过由差值Δy来代替方程(8)中的HD像素y并且由抽头系数ΔW_n来代替抽头系数W_n而获得的。

在图8所示的学习设备中，通过将如上所述的约束条件施于指导者数据y_k来对至少一个类别的每一个学习指导者数据x_k与学习者数据y_k之间的关系，从而为至少一个类别的每一个确定抽头系数ΔW_n。

因此，通过利用数据块的主像素y⁽¹⁾与子像素y⁽²⁾的差值Δy作为受约束条件的受约束指导者数据而在图8所示的学习设备中执行的学习与对受约束指导者数据Δy与学习者数据Δx之间的关系所进行的学习相等效。

因此，在成对学习产生电路42中，产生了一组受约束指导者数据和学习者数据以作为成对学习数据，而不是作为一组指导者数据本身和学习者数据。在求和电路47中，执行方程(13)中的对受约束管理数据和学习者数据进行求和，而不是执行方程(8)中的对指导者数据和学习者数据进行求和。

图9给出了图8所示的成对学习产生电路42的一结构示例。

将用作存储在学习数据库41(图8)中的学习图像数据的HD图像数据提供给成对学习产生电路42，并且成对学习产生电路42将HD图像数据提供给抽取电路51、存储器53、计算电路54、以及选择器55以作为指导者数据。

与图6所示的抽取电路31一样，抽取电路51减少了作为指导者数据的HD图像数据的像素数目，并且将其结果的SD图像数据提供给LPF 52。与图6中所示的LPF 32相似，其具有预定频率特征的LPF 52对抽取电路51所提供的SD图像数据进行过滤以便获得模糊的SD图像数据，并且输出构成作为学习者数据的SD图像数据的SD像素。

存储器53临时存储其作为学习数据库41所提供的指导者数据的HD图像数据，并且将当被从HD图像数据进行划分时用作块的主像素y⁽¹⁾的HD像素提供到计算电路54。

计算电路54接收从学习数据库41提供的当被从作为指导者数据的HD图像数据进行划分时用作块的子像素y⁽²⁾HD像素。计算电路54还从相同块的子像素y⁽²⁾中减去存储器53所提供的该块的主像素y⁽¹⁾，以便确定差值Δy＝y⁽²⁾-y⁽¹⁾，并且将差值Δy输出到选择器55。

对于从学习数据库41提供的当被从作为指导者数据的HD图像数据进行划分时用作块的主像素的HD图像数据而言，选择器55事实上选择HD像素。对于用作子像素的HD像素而言，选择器选择计算电路54所输出的差值Δy。此后输出主像素和子像素以作为受约束的指导者数据。

因此，作为从选择器55输出的受约束指导者数据，主像素具有其作为指导者数据的HD像素本身的像素值，并且子像素具有通过从子像素的像素值中减去主像素的像素值而获得的像素值。

成对学习产生电路42将如上所述所获得的一组受约束指导者数据和学习者数据输出到成对学习数据库43(图8)以作为成对学习数据。

下面参考图10的流程图来对图8中的学习设备中执行的用于确定每个类别的抽头系数的学习处理过程进行描述。

在步骤S21，成对学习产生电路42从学习数据库41中读取学习图像数据，并且产生了受约束指导者数据和学习者数据。同时在步骤S21，成对学习产生电路42产生了由一组受约束指导者数据和学习者数据所构成的成对学习数据，并且将成对学习数据提供给成对学习数据库43，且将其存储在这里。

此后处理转到步骤S22。在步骤S22，类别抽头产生电路44以与图2所示的类别抽头产生电路2相似的方式将存储在成对学习数据库43中的成对学习数据的受约束指导者数据划分成块，每块包括两个在纵向上相近的HD像素。此后处理转到步骤S23。

在步骤S23，类别抽头产生电路44指定存储在成对学习数据库43中的成对学习数据的受约束指导者数据的一个未确定块，并且此后处理转到步骤S24。在步骤S24，类别抽头产生电路44和预测抽头产生电路45从存储在成对学习数据库43中作为学习者数据的SD像素为指定块的子像素分别产生了一类别抽头和一预测抽头，并且将类别抽头和预测抽头分别提供给分类电路46和求和电路47。此后处理转到步骤S25。

在步骤S25，与图2所示的分类电路4一样，分类电路46通过利用类别抽头产生电路44所提供的类别抽头来对指定块的子像素进行分类，并且将其表示指定块的结果类别的类别码提供给求和电路47。此后处理转到步骤S26。

在步骤S26，求和电路47从成对学习数据库43中读取HD像素的像素值的差值Δy以作为指定像素，其中上述HD像素用作指定块的子像素。同时在步骤S26，求和电路47为由分类电路46所提供的类别码所表示的指定块的每个类别执行方程(13)中的对预测抽头产生电路45所提供的预测抽头和从成对学习数据库43中所读取的指定像素进行求和。然后处理进行到步骤27。

在步骤S27，类别抽头产生电路44确定在存储在成对学习数据库43中的受约束指导者数据的块中是否存在未指定块。如果步骤S27中判断出在存储在成对学习数据库43中的受约束指导者数据的块中存在未指定块，则处理返回到步骤S23，并且重复与上述处理相似的处理。

如果在步骤S27中判断出在存储在成对学习数据库43中的受约束指导者数据的块中不存在未指定块，那么求和电路47将通过在步骤S26中执行求和运算而对每个类别获得的标准方程(13)提供给抽头系数计算电路48。此后处理转到步骤S28。

在步骤S28，抽头系数计算电路48为求和电路47所提供的每个类别对方程(13)中的标准方程进行求解以便确定每个类别的抽头系数ΔW_n，并且将该抽头系数提供给抽头系数存储器49，且将其存储在这里。此后结束该处理。

如上所述的存储在抽头系数存储器49中的每个类别的抽头系数ΔW_n与存储在图2所示的图像处理装置的系数RAM 7中的抽头系数相同。此后，在其具有系数RAM 7的子像素处理电路12中，通过利用存储在系数RAM 7中的抽头系数ΔW_n以及预测抽头x_n来执行与方程(1)相对应的方程(12)的乘积-求和运算，预测计算电路8确定使预测误差总和达到最小值的子像素y⁽²⁾与主像素y⁽¹⁾间的差值Δy的预测值。在解码电路9中，将差值Δy添加到存储在帧存储器10中的主像素y⁽¹⁾的预测值上，以便确定子像素y⁽²⁾的预测值。

因此，因为通过利用其可保持子像素与主像素间的关系的抽头系数来确定子像素，所以通过防止要确定的HD图像的像素值的变化与实际值的变化相反的情况即可在图2所示的图像处理装置中获得高质量的HD图像。

图11给出了图8所示的成对学习产生电路42的另一结构示例。在图11中，由相同的附图标记来标明与图9的部件相对应的部件，并且因此省去对其的说明。也就是说，图11所示的成对学习产生电路42的结构与图9的结构类似，除了配置了一个新部件，即，分类自适应处理电路60。

将LPF 52所输出的作为学习者数据的SD图像数据提供给分类自适应处理电路60。分类自适应处理电路60对作为学习者数据的SD图像数据执行本申请先前所提出的分类自适应处理以便确定其作为指导者数据的HD图像数据的预测值，并且将HD图像数据提供给存储器53。

更具体地说，分类自适应处理电路60包括一帧存储器61、一类别抽头产生电路62、一预测抽头产生电路63、一分类电路64、一系数RAM 65、以及一预测计算电路66，这些部件的结构分别与图2中所示的帧存储器1、类别抽头产生电路2、预测抽头产生电路3、分类电路4、系数RAM 5、以及预测计算电路6的结构相类似。与图2中的图像处理装置一样，分类自适应处理电路60执行分类自适应处理以将LPF 52所提供的作为学习者数据的SD图像数据转换成HD图像数据，并且将结果的HD图像数据提供给存储器53。

然而，在分类自适应处理电路60中，假定HD图像数据的所有块是由主像素组成的，分类自适应处理被执行。也就是说，在分类自适应处理电路60中，将图5所示的学习设备所确定的抽头系数存储在系数RAM 65中，并且通过利用存储在RAM 65中的抽头系数来执行方程(1)的乘积-求和运算而确定了构成HD图象数据块的所有HD像素。

因此，在图11的实施例中，将分类自适应处理电路60所确定的指导者数据的预测值存储在存储器53中，而不是存储其作为存储在学习数据库41中的学习图像数据的指导者数据本身。其结果是，在图11所示的计算电路54中，通过从用作相同块的子像素y⁽²⁾的HD像素中减去从HD图像数据所划分成的块的主像素y⁽¹⁾的预测值来确定差值Δy，其中上述HD像素作为学习数据库41所提供并存储在存储器53中的指导者数据。也就是说，通过从用作相同块的子像素y⁽²⁾的HD像素中减去由分类自适应处理电路60所确定的主像素y⁽¹⁾预测值而不是减去块的主像素y⁽¹⁾本身来将差值Δy确定为受约束指导者数据。

因此，与如图9所示当配置成对学习产生电路42时相比较，可以确定具有子像素的更高预测准确度的抽头系数(其具有子像素的较小预测误差)。

更具体地说，在图2所示的图像处理装置中，在子像素处理电路12的预测计算电路8中通过利用预测抽头x_k以及抽头系数ΔW_n来执行方程(12)的乘积求和运算而确定了子像素y⁽²⁾与主像素y⁽¹⁾间的差值Δy的预测值。此后，在解码电路9中，将主像素处理电路11所确定的主像素y⁽¹⁾的预测值添加到预测计算电路8所确定的差值y的预测值上，由此确定子像素y⁽²⁾的预测值。

使用主像素的预测值而不是主像素的实际值来确定图2所示的图像处理装置中的子像素。因此，也是在图8所示的学习设备的成对学习产生电路42中，如果主像素的预测值而不是主像素的实际值被用于产生受约束指导者数据，那么可提高图2所示的图像处理装置中的子像素的预测准确度。

在如图11所示的实施例中，在分类自适应处理电路60中确定其作为指导者数据的HD图像数据的所有HD像素的预测值。在其是分类自适应处理电路60的后续阶段的存储器53和计算电路54中，在分类自适应处理电路60所输出的HD像素中，仅仅使用其用作在图2的图像处理装置中的主像素的HD像素。因此，在分类自适应处理电路60中，仅仅可以确定其用作图2的图像处理装置中的主像素的HD像素，并且可忽略其用作子像素的HD像素(不对其进行处理)。

图12给出了本发明所应用的图像处理装置的另一实施例的一结构示例。在图12中，与图2所示的部件相对应的部件由相同的附图标记表示，并且省去对其的描述。也就是说，图12所示的图像处理装置的结构与图2所示的结构相同，除了由一系数RAM 77和一预测计算电路78代替构成了子像素处理装置12的系数RAM 7、预测计算电路8、以及解码电路9。

在系数RAM 77中，存储每个类别的抽头系数，该抽头系数是通过将存储在图2所示的系数RAM 5中的每个类别的抽头系数W_n添加到存储在系数RAM 7中的抽头系数ΔW_n中而获得的。抽头RAM 77读取由分类电路4所提供的指定块的类别码所表示的类别的抽头系数以便获得所读取的抽头系数，并且将其提供给预测计算电路78。

预测计算电路78通过利用系数RAM 77所提供的指定块的类别的抽头系数以及预测抽头产生电路3所提供的指定块的预测抽头来执行与方程(1)相对应的乘积-求和运算，由此确定指定块的子像素的预测值。预测计算电路78将确定的子像素提供给帧存储器10的对应地址，并且将其存储在这里。

也就是说，根据通过利用受约束指导者数据所执行的学习操作，获得了在方程(12)中的乘积-求和运算所使用的抽头系数ΔW_n以通过从子像素y(2)中减去主像素y⁽¹⁾来确定差值Δy。在方程(11)中定义了抽样系数ΔW_n。

根据其利用方程(11)的下述方程可得到抽头系数W_n ⁽²⁾。

W_n ⁽²⁾＝W_n ⁽¹⁾+ΔW_n         ...(14)

根据方程(14)，通过抽头系数ΔW_n而获得了抽样系数W_n ⁽²⁾，该抽头系数ΔW_n是通过利用受约束指导者数据来执行学习而确定的。因此，换句话说，通过利用受约束指导者数据来执行学习而确定了抽样系数W_n ⁽²⁾。此后，根据抽头系数W_n ⁽²⁾，通过与方程(1)相对应的方程(10)的乘积-求和运算来确定子像素y⁽²⁾的预测值。

在图12所示的实施例中，将方程(14)所表示的每个类别的抽头系数W_n ⁽²⁾存储在系数RAM 77中。此后在预测计算电路78中，通过利用抽头系数W_n ⁽²⁾以及预测抽头产生电路3所输出的预测抽头x_n来执行方程(10)的乘积-求和运算，由此可确定子像素y⁽²⁾。

因此，在如图12所示的图像处理装置中，在图4的步骤S5中，代替从系数RAM 7中获得抽头系数ΔW_n，而是从系数RAM 77中获得抽头系数W_n ⁽²⁾。在步骤S8中，在图2的图像处理装置中，通过利用存储在系数RAM 7中抽头系数ΔW_n以及预测抽头x_n来执行方程(12)的乘积-求和运算而确定了差值Δy，并且将差值Δy和主像素y⁽¹⁾相加，由此确定了子像素y⁽²⁾。代替该操作，在图12的图像处理装置中，在步骤S8，通过利用存储在系数RAM 77中的抽头系数W_n ⁽²⁾以及预测抽头x_n来执行方程(10)的乘积-求和运算而确定子像素y⁽²⁾。其它步骤与图4流程图的步骤相同，并且因此，省去了对图12中的图像处理装置的处理过程的描述。

与图2所示的图像处理装置一样，在如图12所示的图像处理装置中，通过利用其可保持子像素与主像素间关系的抽头系数来确定子像素。因此，可防止HD图像的像素值得变化与HD图像的像素实际值的变化相反的情况，由此可获得更高质量的HD图像。

通过将在如图5所示的学习设备中所确定的抽头系数W_n ⁽¹⁾添加到在如图8所示的学习设备中所确定的抽头系数ΔW_n上来确定存储在系数RAM 77中的抽头系数W_n ⁽²⁾。或者，可以将图5和图8所示的学习设备集成在一起，并且将用于将从抽头计算电路28所输出的抽头系数W_n ⁽¹⁾添加到抽头系数计算电路48所输出的抽头系数ΔW_n上的电路提供给该集成学习设备，由此确定了抽头系数W_n ⁽²⁾。

在图2所示的实施例中，在子像素处理电路12中，通过利用图3中所示的SD像素的像素值x⁽¹⁾至x⁽⁹⁾本身来确定主像素与子像素之间的差值以作为预测抽头。或者，通过利用像素值x⁽¹⁾至x⁽⁹⁾的差值来确定主像素与子像素之间的差值以作为预测抽头。也就是说，通过利用例如SD像素的像素值x⁽¹⁾至x⁽⁹⁾的两个纵向相邻SD像素的差值，即x⁽¹⁾-x⁽⁴⁾，x⁽²⁾-x⁽⁵⁾，x⁽³⁾-x⁽⁶⁾，x⁽⁴⁾-x⁽⁷⁾，x⁽⁵⁾-x⁽⁸⁾和x⁽⁶⁾-x⁽⁹⁾来确定确定主像素与子像素之间的差值以作为预测抽头。然而，在这种情况下，在图8所示的学习设备中必须使用与如上所述所获得的预测抽头相类似的预测抽头。

在该实施例中，为了简单起见，将HD图像数据划分成块，每个块包括两个纵向相邻的HD像素。然而，每个块可以由三个或更多HD像素组成。也就是说，如图13所示，该块可由两行×两列HD像素y⁽¹⁾、y⁽²⁾、y⁽³⁾、及y⁽⁴⁾组成。

在块中，用作主像素的HD像素并不局限于一个像素。例如，如图13所示，如果块是由四个HD像素y⁽¹⁾至y⁽⁴⁾组成的，那么一个HD像素y⁽¹⁾可被用作主像素，并且剩余的三个HD像素y⁽²⁾至y⁽⁴⁾可用作子像素。或者，例如两个HD像素y⁽¹⁾和y⁽²⁾可用作主像素，并且剩余的两个像素y⁽³⁾和y⁽⁴⁾可用作子像素。

在图8所示的学习设备中，通过从子像素中减去主像素而获得的差值被用作成对学习产生电路42中的受约束指导者数据。或者通过从子像素中减去另一子像素而获得的差值可用作受约束指导者数据。例如，如图13所示，现在假定块是由四个HD像素y⁽¹⁾至y⁽⁴⁾构成，并且一个HD像素y⁽¹⁾用作主像素，剩余的三个HD像素y⁽²⁾至y⁽⁴⁾用作子像素。在这种情况下，例如，对于子像素y⁽²⁾而言，通过从子像素y⁽²⁾中减去主像素y⁽¹⁾所获得的差值可用作受约束指导者数据；对于子像素y⁽³⁾而言，通过从子像素y⁽³⁾中减去子像素y⁽²⁾所获得的差值可用作受约束指导者数据；以及对于子像素y⁽⁴⁾而言，通过从子像素y⁽⁴⁾中减去子像素y⁽³⁾所获得的差值可用作受约束指导者数据。在这种情况下，在图2所示的图像处理装置的解码电路9中，通过将存储在帧存储器10中的主像素y⁽¹⁾添加到预测计算电路8所输出的差值上来确定子像素y⁽²⁾；通过将存储在帧存储器10中的主像素y⁽²⁾添加到预测计算电路8所输出的差值上来确定子像素y⁽³⁾；以及通过将存储在帧存储器10中的子像素y⁽³⁾添加到预测计算电路8所输出的差值上来确定子像素y⁽⁴⁾。

在该实施例中，将用于对子像素与单个主像素间的差值施加约束的约束条件施于用作指导者数据的子像素。然而，将对子像素与多个像素中的每一个之间的差值施加约束的约束条件施于子像素。例如，在图13所示的块中，如果将y⁽⁴⁾设置为子像素，则差值y⁽⁴⁾-y⁽¹⁾、y⁽⁴⁾-y⁽²⁾、以及y⁽⁴⁾-y⁽³⁾可用作受约束指导者数据以用于在图8所示的求和电路47中对其进行求和。

在图2的实施例中，两个纵向相邻的HD像素用作一块，并且上部HD像素和下部HD像素分别用作主像素和子像素。此后，将子像素与主像素间的差值的预测值添加到主像素的预测值上，由此确定子像素的预测值(再现子像素)。或者，如下来确定一帧(半帧)的每个HD像素。将每个HD像素的预测值设置为子像素，并且通过将子像素的差值预测值添加到相邻地放置在上述子像素之上的HD像素的预测值上来确定。在这种情况下，对于顶端线上的HD像素而言，将HD像素设置为主像素，并且主像素的预测值被确定。或者，通过某一方法而获得了顶端线上的HD像素的实际值。

在该实施例中，在学习设备中，通过将预定约束条件施于指导者数据而对指导者数据与学习者数据之间的关系进行学习，由此获得了可确定其体现出均用作指导者数据的HD像素与其它HD像素之间关系的每个HD像素的预测值抽头系数。换句话说，将约束条件施于指导者数据的学习操作可对指导者数据的多个抽样(多个HD像素)所获得的特征与学习者数据的抽样间的关系进行学习。

也就是说，如上所述的，在图8所示的学习设备中，将通过从子像素实际值中减去主像素而获得的差值设置为受约束指导者数据，并且对受约束指导者数据与学习者数据之间的关系进行学习。在这种情况下，换句话说，通过从子像素中减去主像素而获得的差值表示两个HD像素的特征，即用作主像素的HD像素的特征以及用作子像素的HD像素的特征。因此，在图8所示的学习设备中，对从指导者数据的多个HD像素中所获得的特征与用作学习者数据的多个SD像素之间的关系进行学习，并且确定可使指导者数据与学习者数据相关连的抽头系数。

从指导者数据的多个HD像素中所获得的特征并不局限于差值。

用于获得特征的多个HD像素并不局限于两个HD像素，并且可使用三个或更多HD像素。

更具体地说，作为从指导者数据的多个HD像素中所获得的特征，例如，也可使用从三个HD像素中所获得的差值。在这种情况下，在图8的学习设备中，例如，可以将指导者数据的三个纵向(或横向)相邻的HD像素自顶设置为a，b，和c。此后，可确定通过从自顶的第二个HD像素b中减去项部HD像素a而获得的差值Δ1＝b-a。此后，将差值Δ1添加到自顶的第二个HD像素b中以便确定底部HD像素c，即就是初步预测值c′＝b+Δ1。此后，将通过从HD像素c的初步预测值c′中减去实际值c而获得的差值Δ2＝c′-c用作从三个HD像素a，b和c中所获得的特征。对使差值Δ2与从学习者数据中所获得的预测抽头相关连的抽头系数进行学习。

在这种情况下，在图2的图像处理装置中，顶部HD像素a以及自顶的第二个HD像素b用作主像素，并且在主像素处理电路11中确定HD像素a和b的预测值。就底部HD像素c而言，在子像素处理电路12中，根据在主像素处理电路11中所确定的HD像素的a和b的预测值可确定差值Δ1的预测值，并且将其添加到在主像素处理电路11中确定的HD像素b上，从而确定HD像素c的初步预测值c′。在子像素处理电路12中，通过利用进行学习所获得的抽头系数来确定用作特征的从三个HD像素a，b，和c中所获得的差值Δ2的预测值，并且从HD像素c的初步预测值c′中减去差值Δ2，由此可确定HD像素c的预测值。

通过利用硬件或软件来执行上述一系列处理。如果使用软件，则将软件程序安装到诸如通用计算机中。

图14给出了安装有执行上述一系列处理的程序的计算机的实施例的一结构示例。

可将一程序预记录在硬盘105或ROM 103中，该硬盘105或ROM 103用作集成在计算机中的记录介质。

或者，可将该程序临时或永久地存储(记录)在诸如软磁盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多用途光盘)、磁盘、或者半导体存储器这样的可移动记录介质111中。可移动记录介质111可以具有所谓的“程序包软件”。

可将该程序从上述可移动记录介质111安装到计算机中，并且可通过无线装置由下载站点经用于数字卫星广播的人造卫星而将该程序传送到计算机，或者可由有线器件通过诸如LAN(局域网)或互联网这样的网络而将该程序传送到计算机。此后，计算机可通过通信单元108来接收如上所述所传送来的程序并且将该程序安装到内置硬盘105中。

该计算机具有一内置CPU(中央处理单元)102。输入/输出接口110通过总线101而与CPU 102相连。一旦通过由用户经输入/输出接口110来对包括有键盘、鼠标、或麦克风的输入单元107进行操作而输入了一指令时，CPU 102执行存储在ROM(只读存储器)103中的程序。CPU 102还将下述类型的程序加载到RAM(随机存取存储器)104中并执行这些程序：存储在硬盘105中的程序、从卫星或互联网传送而来的、由通信单元108所接收的、且安装在硬盘105中的程序、以及从装入在驱动器109中的可移动记录介质111中所读取的且安装在硬盘105中的程序。因此CPU 102执行上述流程图所示的处理或者由上述方框图的功能块所执行的处理。此后如果必要的话，CPU 102从包括有一LCD(液晶显示器)或一扩音器的输出单元106中输出处理结果，或对来自通信单元108的处理结果进行传送、或通过输入/输出接口110而将其记录在硬盘105中。

不必按照说明书的流程图所描述的时间顺序来执行构成可使计算机执行各种处理的程序的步骤。或者，可并发地或者单个地执行这些步骤(例如包括并发处理或者对象处理)。

可由单个计算机来执行该程序，或者使用多个计算机来执行程序的分布式处理。或者，可将该程序传送到远程计算机并对其执行。

在该实施例中，在将SD图像数据转换成HD图像数据的上下文中来描述了本发明。然而，本发明也可应用于这样一种情况，即将例如音频数据这样的其它类型的数据转换成高质量的音频数据。

在本发明中，可将SD图像数据转换成下面的HD图像数据，该HD图像数据具有更大量像素(更多个抽样)，该HD图像数据具有已提高的空间分辨率，该HD图像数据具有已提高的时间分辨率(更大量的帧或半帧)，或者该HD图像数据具有已提高的水平方向(level-direction)分辨率(分配给像素值更大量的位)。或者，本发明可用于放大图像。

在本实施例中，单独形成了用于转换图像的图像处理装置以及对图像处理装置中所使用的每个类别的抽头系数进行学习的学习设备。然而，该图像处理装置和学习设备可以集成地形成。在这种情况下，学习设备可实时地进行学习，并且可实时地更新图像处理装置中所使用的抽头系数。

尽管在该实施例中将每个类别的抽头系数预存储在系数RAM 5、7以及77中，但是也可将抽头系数和例如SD图像一起提供给图像处理装置。

在该实施例中，由线性方程来确定HD像素。然而，也可由二次表达式或者更高次表达式来确定HD图像。

可以通过从多个帧而不是一个帧的SD图像数据中抽取SD像素来形成类别抽头和预测抽头。

也可以由多个帧而不是一个帧的HD图像数据的HD像素形成HD图像数据的块。

图2或12所示的图像处理装置也可应用于例如用于接收电视广播信号并且显示图像的电视接收机、用于重放来自DVD的图像数据且将其输出的DVD重放装置、或者用于重放来自录像带的图像数据并将其输出的VTR、或者对其它类型的图像进行处理的装置。

工业实用性

如上所述，根据本发明，可将数据转换成更高质量的数据。

Claims (36)

1.一种用于将第一数据转换成第二数据的数据转换装置，包括：

类别抽头产生器件，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；

分类器件，用于基于所述类别抽头对所述指定抽样进行分类；

预测抽头产生器件，用于从第一数据产生用于确定所述指定抽样的预测抽头；

抽头系数获得器件，用于从通过将预定的约束条件施加到指导者数据的不同抽样之间的差值来对所述至少一类的每个类别学习指导者数据和学习者数据之间的关系而获得的抽头系数中确定与所述指定抽样的类别相对应的抽头系数，其中所述指导者数据对应于第二数据，并用作学习指导者，所述学习者数据对应于第一数据，并用作学习者；以及

计算器件，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

2.根据权利要求1的数据转换装置，其中预定约束条件是对指导者数据的第一抽样与第二抽样之间的关系施加约束的条件。

3.根据权利要求2的数据转换装置，其中预定约束条件是对指导者数据的第一抽样与第二抽样之间的差值施加约束的条件。

4.根据权利要求3的数据转换装置，其中：

所述抽头系数获得器件通过学习学习者数据与指导者数据的第一抽样和第二抽样的差值之间的关系而获得抽头系数；并且

所述计算器件通过利用抽头系数和预测抽头来确定指定抽样与第二数据的预定抽样之间的差值而不是指定抽样，并且通过将为指定抽样所确定的差值添加到预定抽样上来确定指定抽样。

5.根据权利要求3的数据转换装置，其中：

所述抽头系数获得器件通过将第一抽头系数添加到第二抽头系数而产生所述抽头系数，所述第一抽头系数通过对学习者数据与指导者数据的第一抽样和第二抽样的差值之间的关系进行学习而获得，所述第二抽头系数通过对学习者数据与指导者数据的第一抽样之间的关系进行学习而获得；以及

所述计算器件通过利用所述抽头系数和预测抽头来确定指定抽样。

6.根据权利要求1的数据转换装置，其中所述计算器件通过利用所述抽头系数和预测抽头来执行乘积-求和运算来确定指定抽样。

7.根据权利要求1的数据转换装置，其中第一数据和第二数据是图像数据。

8.根据权利要求1的数据转换装置，其中第二数据是比第一数据质量高的数据。

9.一种用于将第一数据转换成第二数据的数据转换方法，包括：

类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；

分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；

预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；

抽头系数获得步骤，用于从通过将预定的约束条件施加到指导者数据的不同抽样之间的差值来对所述至少一类的每个类别学习指导者数据和学习者数据之间的关系而获得的抽头系数中确定与所述指定抽样的类别相对应的抽头系数，其中所述指导者数据对应于第二数据，并用作学习指导者，所述学习者数据对应于第一数据，并用作学习者；以及

计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

10.一种用于学习以确定一预定抽头系数的学习设备，该预定抽头系数用于将第一数据转换成第二数据，包括：

类别抽头产生器件，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；

分类器件，用于基于所述类别抽头对数据的指定项进行分类；

预测抽头产生器件，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及

学习器件，用于通过利用数据的指定项以及预测抽头，通过将预定的约束条件施加到指导者数据的不同抽样之间的差值来对所述至少一类的每一个学习指导者数据与学习者数据之间的关系，以确定与所述至少一类的每一个相对应的抽头系数。

11.根据权利要求10的学习设备，其中所述学习器件通过给定对指导者数据的第一抽样与第二抽样之间的关系施加约束的约束条件来学习指导者数据与学习者数据之间的关系。

12.根据权利要求11的学习设备，其中所述学习器件通过给定对指导者数据的第一抽样与第二抽样之间的差值施加约束的约束条件来学习指导者数据与学习者数据之间的关系。

13.根据权利要求12的学习设备，其中所述学习器件通过对学习者数据与指导者数据的第一抽样和第二抽样的差值之间的关系进行学习来确定所述抽头系数。

14.根据权利要求12的学习设备，其中所述学习器件通过对学习者数据与指导者数据的第一抽样和第二抽样的差值之间的关系进行学习来确定第一抽头系数，并且还通过对学习者数据与指导者数据的第一抽样之间的关系进行学习来确定第二抽头系数，并且将第一抽头系数添加到第二抽头系数上，由此确定最终的抽头系数。

15.根据权利要求10的学习设备，其中所述学习器件通过对所述第一数据和所述抽头系数执行乘积-求和运算来确定用于将第一数据转换成第二数据的抽头系数。

16.根据权利要求10的学习设备，其中第一数据和第二数据是图像数据。

17.根据权利要求10的学习设备，其中第二数据是比第一数据质量高的数据。

18.一种用于学习以确定一预定抽头系数的学习方法，该预定抽头系数用于将第一数据转换成第二数据，该方法包括：

类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；

分类步骤，用于基于所述类别抽头对数据的指定项进行分类；

预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及

学习步骤，用于通过利用数据的指定项以及预测抽头，通过将预定的约束条件施加到指导者数据的不同抽样之间的差值来对所述至少一类的每一个学习指导者数据与学习者数据之间的关系，以确定与所述至少一类的每一个相对应的抽头系数。

19.一种用于将第一数据转换成第二数据的数据转换装置，该装置包括：

类别抽头产生器件，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；

分类器件，用于基于所述类别抽头对所述指定抽样进行分类；

预测抽头产生器件，用于从第一数据产生用于确定所述指定抽样的预测抽头；

抽头系数获得器件，用于从通过对至少一类的每个类别学习指导者数据的多个抽样之间的差值与学习者数据的多个抽样之间的关系而获得的抽头系数中确定与所述指定抽样的类别相对应的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者；以及

计算器件，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

20.根据权利要求19的数据转换装置，其中所述指导者数据的多个抽样包括两个抽样，这两个抽样是由指导者数据的第一抽样和第二抽样组成的。

21.根据权利要求20的数据转换装置，其中从所述指导者数据的多个抽样中所获得的所述差值是第一抽样与第二抽样之间的差值。

22.根据权利要求21的数据转换装置，其中：

所述抽头系数获得器件通过对所述学习者数据的多个抽样与所述指导者数据的第一抽样和第二抽样的差值之间的关系进行学习而获得所述抽头系数；并且

所述计算器件通过利用抽头系数和预测抽头来确定指定抽样与第二数据的预定抽样之间的差值而不是指定抽样、并且通过将为指定抽样所确定的差值添加到预定抽样来确定指定抽样。

23.根据权利要求21的数据转换装置，其中：

所述抽头系数获得器件通过将第一抽头系数添加到第二抽头系数而产生所述抽头系数，所述第一抽头系数通过对所述学习者数据的多个抽样与所述指导者数据的第一抽样和第二抽样的差值之间的关系进行学习而获得，所述第二抽头系数通过对所述学习者数据的多个抽样与所述指导者数据的第一抽样之间的关系进行学习而获得；以及

所述计算器件通过利用所述抽头系数和预测抽头来确定所述指定抽样。

24.根据权利要求19的数据转换装置，其中所述计算器件通过利用所述抽头系数和预测抽头来执行乘积-求和运算而确定所述指定抽样。

25.根据权利要求19的数据转换装置，其中第一数据和第二数据是图像数据。

26.根据权利要求19的数据转换装置，其中第二数据是比第一数据质量高的数据。

27.一种用于将第一数据转换成第二数据的数据转换方法，包括：

类别抽头产生步骤，用于从第一数据产生类别抽头，该类别抽头用于将第二数据的指定抽样分类成至少一类；

分类步骤，用于基于所述类别抽头对所述指定抽样进行分类；

预测抽头产生步骤，用于从第一数据产生用于确定所述指定抽样的预测抽头；

抽头系数获得步骤，用于从通过对至少一类的每个类别学习指导者数据的多个抽样之间的差值与学习者数据的多个抽样之间的关系而获得的抽头系数中确定与所述指定抽样的类别相对应的抽头系数，其中所述指导者数据对应于第二数据，用作学习指导者，所述学习者数据对应于第一数据，用作学习者；以及

计算步骤，用于通过利用预测抽头以及用于指定抽样类别的抽头系数来确定指定抽样。

28.一种用于学习以确定一预定抽头系数的学习设备，该预定抽头系数用于将第一数据转换成第二数据，该设备包括：

类别抽头产生器件，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；

分类器件，用于基于所述类别抽头对数据的指定项进行分类；

预测抽头产生器件，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及

学习器件，用于通过利用数据的指定项以及预测抽头，通过对至少一类的每一个学习指导者数据的多个抽样之间的差值与学习者数据的多个抽样之间的关系来确定与所述至少一类的每一个相对应的抽头系数。

29.根据权利要求28的学习设备，其中所述学习器件对所述学习者数据的多个抽样与两个抽样之间的关系进行学习，这两个抽样是由指导者数据的第一抽样和第二抽样组成的。

30.根据权利要求29的学习设备，其中所述学习器件将指导者数据的第一抽样与第二抽样的差值确定为从所述指导者数据的多个抽样中所获得的特征。

31.根据权利要求30的学习设备，其中所述学习器件通过对所述学习者数据的多个抽样与指导者数据的第一抽样和第二抽样的差值之间的关系进行学习来确定所述抽头系数。

32.根据权利要求30的学习设备，其中所述学习器件通过对所述学习者数据的多个抽样与指导者数据的第一抽样和第一抽样的差值之间的关系进行学习来确定第一抽头系数，并且还通过对所述学习者数据的多个抽样与指导者数据的第一抽样之间的关系进行学习来确定第二抽头系数，并且将所述第一抽头系数添加到所述第二抽头系数上，由此确定最终的抽头系数。

33.根据权利要求28的学习设备，其中所述学习器件通过对所述第一数据和所述抽头系数执行乘积-求和运算来确定用于将第一数据转换成第二数据的抽头系数。

34.根据权利要求28的学习设备，其中第一数据和第二数据是图像数据。

35.根据权利要求28的学习设备，其中第二数据是比第一数据质量高的数据。

36.一种用于学习以确定一预定抽头系数的学习方法，该预定抽头系数用于将第一数据转换成第二数据，该方法包括：

类别抽头产生步骤，用于从对应于第一数据用作学习者的学习者数据产生类别抽头，该类别抽头用于将对应于第二数据用作用于学习抽头系数的指导者的指导者数据的指定项分类成至少一类；

分类步骤，用于基于所述类别抽头对数据的指定项进行分类；

预测抽头产生步骤，用于从学习者数据产生用于确定数据的指定项的预测抽头；以及

学习步骤，用于通过利用数据的指定项以及预测抽头，通过对至少一类的每一个学习指导者数据的多个抽样之间的差值与学习者数据的多个抽样之间的关系来确定与所述至少一类的每一个相对应的抽头系数。

Images