CN1190963C - 数据处理装置和方法,学习装置和方法 - Google Patents

数据处理装置和方法,学习装置和方法 Download PDF

Info

Publication number
CN1190963C
CN1190963C CNB001264370A CN00126437A CN1190963C CN 1190963 C CN1190963 C CN 1190963C CN B001264370 A CNB001264370 A CN B001264370A CN 00126437 A CN00126437 A CN 00126437A CN 1190963 C CN1190963 C CN 1190963C
Authority
CN
China
Prior art keywords
data
tap
pixel
described input
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB001264370A
Other languages
English (en)
Other versions
CN1281311A (zh
Inventor
近藤哲二郎
渡边义教
安藤一隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP16052899A external-priority patent/JP4135045B2/ja
Priority claimed from JP26170699A external-priority patent/JP4324825B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1281311A publication Critical patent/CN1281311A/zh
Application granted granted Critical
Publication of CN1190963C publication Critical patent/CN1190963C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种数据处理装置和方法以及学习装置和方法，其中，该数据处理装置包括：一个确定装置，能够根据所述输入数据，确定要从所述输入数据中提取的多个数据间的间隔；一个提取装置，用于根据所述确定单元的确定结果，从所述输入数据中提取对应于要预测的感兴趣的输出数据的多个数据；以及一个预测装置，用于根据所述提取装置提取的多个数据，获得感兴趣的输出数据的预测值。

Description

数据处理装置和方法，学习 装置和方法
技术领域
本发明涉及数据处理装置和方法，学习装置和方法，以及介质，并且特别涉及一种在处理图像数据等时用于提高处理效率的数据处理装置和方法。
背景技术
本发明的受让人提出将分类自适应处理作为提高图像品质并且用于提高图像的其它特征的处理。
分类自适应处理包括分类处理和自适应处理。在分类处理中，根据数据的性质把数据分类，并且对每一类别中的数据执行自适应处理。自适应处理就是下面所述的技术。
在自适应处理中，例如通过线性链接构成的输入图像(将要进行分类自适应处理的图像)的像素(以下称作“输入像素”)和预定预测系数，可得到原始图像(例如没有噪声的图像，没有模糊的图像等)的预测像素值，从而可获得消除了包含在输入图像中的噪声的图像，并且获得在输入图像中产生的模糊减少的图像。
相应地，例如假定原始图像是教师数据，并且还假定通过在原始图像上叠加噪声或者通过模糊原始图像获得的图像是学生数据。可以考虑使用通过把一组多个学生数据(像素幅值(level))x1、x2等与预定预测系数w1、w2等线性链接而定义的线性一阶链接模型来获得组成原始图像的像素的像素幅值[y]的预测值E[y]。在这种情况下，预测值E[y]可由下面的公式表示：
E[y]＝w1x1+w2x2+…    (1)
为了使公式(1)更广义，可以使用下面的公式：
x = x 11 x 12 . . . x 1 n x 21 x 22 . . . x 2 n . . . . . . . . . . . . x m 1 x m 2 . . . x mn
w = w 1 w 2 . . . w n Y ′ = E [ Y 1 ] E [ Y 2 ] . . . E [ Y m ]
定义矩阵W由一组预测系数w组成，矩阵X由一组学生数据组成，并且矩阵Y′由一组预测值E[y]组成，可使用下面的简式：
XW＝Y′    (2)
这里，矩阵X的分量Xij表示在第i组学生数据(一组用于预测第i个教师数据yi的学生数据)中的第j个学生数据，并且矩阵W的分量wj表示预测系数，使用该系数计算与学生数据组的第j个学生数据的乘积。分量yj表示第j个教师数据，并且E[yj]相应地表示第j个教师数据的预测值。
可以考虑通过对简式(2)应用最少的平方运算求得接近原始像素的每个像素幅值y的每个预测值E[y]。在这种情况下，可使用下面的公式：
E = e 1 e 2 . . . e m , 以及 Y = Y 1 Y 2 . . . Y m
定义矩阵Y由用作教师数据的一组原始像素的实际像素幅值y表示，并且矩阵E由源自原始像素的像素幅值y的一组预测值E[y]的余数e组成，下面的余数公式源自于公式(2)：
XW＝Y+E    (3)
在这种情况下，通过最小化下述平方误差可得到接近原始像素的像素幅值的预测值E[y]的预测系数w：
Σ i = 1 m e i 2
因此，当微分与预测系数Wi相关的平方误差的结果为零的时候，满足下面公式的预测系数Wi是求得接近原始像素的像素幅值y的预测值E[y]的最佳值。
e 1 ∂ e 1 ∂ w i + e 2 ∂ e 2 ∂ w i + . . . + e m ∂ e m ∂ w i = 0 - - - ( i = 1,2 , . . . , n ) - - - - ( 4 )
相应地，通过使用预测系数wi微分式(3)，得到下式：
∂ e i ∂ w 1 = x il , ∂ e i ∂ w 2 = x i 2 , . . . , ∂ e i ∂ w n = x in - - - ( i = 1,2 , . . . , m ) - - - - ( 5 )
通过公式(4)和(5)可获得下面的公式：
Σ i = 1 m e i x i 1 = 0 , Σ i = 1 m e i x i 2 = 0 , . . . , Σ i = 1 m e i x in = 0 - - - - ( 6 )
在考虑学生数据x，预测系数w，教师数据y和余数e之间的关系时，可通过公式(6)获得下面的归一化方程。
( Σ i = 1 m x i 1 x i 1 ) w 1 + ( Σ i = 1 m x i 1 x i 2 ) w 2 + . . . + ( Σ i = 1 m x i 1 x in ) w n = ( Σ i = 1 m x i 1 Y i )
( Σ i = 1 m x i 2 x i 1 ) w 1 + ( Σ i = 1 m x i 2 x i 2 ) w 2 + . . . + ( Σ i = 1 m x i 2 x in ) w n = ( Σ i = 1 m x i 2 Y i )
( Σ i = 1 m x in x i 1 ) w 1 + ( Σ i = 1 m x in x i 2 ) w 2 + . . . + ( Σ i = 1 m x in x in ) w n = ( Σ i = 1 m x in Y i ) - - - - ( 7 )
通过准备一定数量的学生数据x和一定数量的教师数据y，归一化方程(7)可对应于若干预测系数w形成。相应地，通过求解方程(7)(尽管方程(7)的解需要由规则(regnlar)的预测系数w的系数组成的矩阵)，可求出最佳预测系数w。为了求解方程(7)，可使用高斯-乔丹(Gauss-Jordan)消元法等。
自适应处理就是上述的处理，其中接近原始像素的像素幅值y的预测值E[y]是根据公式(1)通过使用前面得到的预测系数w获得。
自适应处理与简单内插法的区别在于，例如，再现不包含在输入图像中而包含于原始图像中的成分。换句话说，如果只关注公式(1)，那么自适应处理与使用所谓的内插滤波器的内插法相同。但是，在自适应处理中，对应于内插滤波器的抽头(tap)系数的预测系数可通过使用每个类别的教师数据y的学习类型来获得。因此可再现包含于原始图像中的成分。也就是说可以容易地获得具有高信噪比的图像。通过这个特征我们可以说，自适应处理具有图像创建(分辨率创建)操作。因此，除了通过消除原始图像中的噪声和模糊获得图像的预测值之外，自适应处理例如还可用于把低或标准分辨率的图像转换成高分辨率的图像。
如上所述，在分类自适应处理中，对每一个类别均执行自适应处理。在自适应处理之前执行的分类处理中，多个邻近每个原始像素(以下也称作感兴趣的原始像素)的输入像素被提取，根据它们可获得预测值，并且把感兴趣的原始像素根据输入像素的特征(例如，输入像素的模式、像素幅值的倾向等)进行分类。相对于感兴趣的原始像素的位置固定的输入像素作为用于分类的多个输入像素提取。
尽管如此，在分类自适应处理用于例如把模糊的输入图像转换成模糊减少的图像的情况下，使用相对于感兴趣的原始像素位置固定的输入像素对感兴趣的原始像素进行分类，而不考虑输入图像中的模糊程度可能会造成难以执行有效反映感兴趣的原始像素的特征的分类。
例如，当对模糊程度小的输入图像执行分类自适应处理的时候，通过优选地在图像相关方面使用相对接近感兴趣的原始像素的输入像素来执行分类，可以进行反映感兴趣的原始像素的特征的分类。当对模糊程度大的输入图像执行分类自适应处理的时候，通过优选地在模糊的不利影响方面使用相对远离感兴趣的原始像素的输入像素优化执行分类，可以进行反映感兴趣的原始像素的特征的分类。
因此，使用相对于感兴趣的原始像素位置固定的输入像素把感兴趣的原始像素分类，可能会不利于反映它们特征的感兴趣的原始像素的分类。其结果，分类自适应处理的性能会变差，也就是说，不能得到通过使用分类来有效改善输入图像所获得的图像(此处为通过足够地减少模糊获得的图像)。
在自适应处理中，相对于感兴趣的像素位置固定的输入像素用于根据线性预测公式(1)进行计算，从而得出根据感兴趣的像素的预测值。还是在这种情况下，与分类情况类似，希望优选地通过使用所要求的相对于感兴趣的像素位置可变的输入像素来根据线性预测公式(1)进行计算，可求得具有与感兴趣的像素的预测误差小的预测值。
发明内容
因此，本发明的一个目的是提供一种解决上述问题的数据处理装置和方法，从而在处理图像数据等时提高处理效率。
为此，根据本发明的一个方面，前面的目的可通过提供一种通过处理输入数据来预测对应于输入数据的输出数据的数据处理装置而实现。该数据处理装置包括一个确定单元，它能够根据输入数据，确定要从输入数据中提取的多个数据间的间隔；一个提取单元，用于根据确定单元的确定结果，从输入数据中提取对应于要预测的感兴趣的输出数据的多个数据；以及一个预测单元，用于根据提取单元提取的多个数据，获得感兴趣的输出数据的预测值。
根据本发明的另一个方面，前面的目的可通过提供一种获得数据处理装置预测对应于输入数据的输出数据所使用的预测系数的学习装置来实现。该学习装置包括：模糊单元，用于通过模糊原始数据而产生模糊数据；一个确定单元，用于根据模糊数据，确定要从模糊数据中提取的多个数据间的间隔；一个提取单元，用于根据确定结果，从模糊数据中提取对应于要预测的感兴趣的输出数据的多个数据；以及一个计算单元，用于根据提取的数据和原始数据而获得预测系数。
根据本发明的又一个方面，前面的目的可通过提供一种通过处理输入数据预测对应于输入数据的输出数据的数据处理方法来实现。该数据处理方法包括的步骤是：能够根据输入数据，确定要从输入数据中提取的多个数据间的间隔；根据确定结果，从输入数据中提取对应于要预测的感兴趣的输出数据的多个数据；根据所提取的多个数据获得感兴趣的输出数据的预测值。
根据本发明的再一个方面，前面的目的可通过提供一种获得数据处理装置预测对应于输入数据的输出数据所使用的预测系数的学习方法来实现。该学习方法包括的步骤是：通过模糊原始数据而产生模糊数据；根据模糊数据，确定要从模糊数据中提取的多个数据间的间隔；根据确定结果，从模糊数据中提取对应于要预测的感兴趣的输出数据的多个数据；并且根据提取的多个数据和所述原始数据而得出预测系数。
附图说明
图1所示为根据本发明实施例的图像处理装置的框图；
图2所示为由图1所示图像处理装置进行处理的示意图；
图3A所示为由图1所示抽头(tap)确定电路7输出的抽头宽度为零的3×3像素组成的抽头的示意图；
图3B所示为由图1所示抽头确定电路7输出的抽头宽度为一的3×3像素组成的抽头的示意图；
图4所示为由图1所示图像处理装置执行的模糊减少处理的流程图；
图5所示为图1所示抽头确定电路7的框图；
图6所示为图5所示抽头确定电路7执行的抽头确定处理的流程图；
图7所示为应用本发明的图像处理装置的第一实施例的框图；
图8所示为图7所示学习装置执行学习处理的流程图；
图9所示为图7所示抽头确定电路72的框图；
图10所示为图9所示抽头确定电路72执行的抽头确定处理的流程图；
图11示出了抽头宽度和抽头标准偏差的平均值之间的关系曲线，它用于由图9所示基准值发生器84执行的处理；
图12示出了抽头宽度和抽头预测值的信噪比之间的关系曲线，它用于由图9所示基准值发生器84执行的处理；
图13所示为在本发明第二实施例中由抽头确定电路7设置的基本抽头的示意图；
图14示出了从作为起始点的中心像素引出的方向，它们由图1所示抽头确定电路7检测；
图15所示为根据图1所示抽头确定电路7检测的图14所示方向的波形特性移动抽头的抽头排列示意图；
图16所示为图1所示图像处理装置执行的模糊减少处理的流程图；
图17所示为图16所示步骤S41中的抽头确定处理的第一改进方案的流程图；
图18A所示为通过图16所示步骤S41中的抽头确定处理的第一改进方案最初获得的抽头排列的示意图；
图18B所示为作为图16所示步骤S41中的抽头确定处理的第一改进方案的结果的抽头排列示意图；
图19所示为图16所示步骤S41中的抽头确定处理的第二改进方案的流程图；
图20A所示为通过图16所示步骤S41中的抽头确定处理的第二改进方案最初获得的抽头排列的示意图；
图20B所示为作为图16所示步骤S41中的抽头确定处理的第二改进方案的结果的抽头排列示意图；
图21所示为图16所示步骤S41中的抽头确定处理的第三改进方案的流程图；
图22A所示为通过图16所示步骤S41中的抽头确定处理的第三改进方案最初获得的抽头排列的示意图；
图22B所示为作为图16所示步骤S41中的抽头确定处理的第三改进方案的结果的抽头排列示意图；
图23所示为本发明学习装置的第二实施例的框图；
图24所示为图12所示学习装置执行的学习处理的流程图；
图25A所示为安装了用于根据本发明执行处理的程序的计算机101的示意图；
图25B所示为用来存储用于根据本发明执行处理的程序的记录介质的类型示意图；
图25C所示为经卫星或网络把用于根据本发明执行处理的程序发送到计算机的原理示意图；
图26所示为安装了用于根据本发明执行处理的程序的计算机实例的框图。
具体实施方式
图1所示为应用本发明的图像处理装置的第一实施例。
如图2所示，当例如模糊图像作为输入图像输入到图像处理装置时，图像处理装置可对输入图像执行分类自适应处理，从而输出已有效减少模糊的图像(模糊减少的图像)，而不必考虑输入图像的模糊程度。
该图像处理装置包括帧存储器1、类别抽头发生电路2、预测抽头发生电路3、分类电路4、系数随机存取存储器(RAM)5、预测算术电路6和抽头确定电路7。将要处理以减少模糊的输入图像输入到该图像处理装置中。
帧存储器1把输入到图像处理装置的图像例如以帧为单位临时存储。在第一实施例中，帧存储器1通过存储体(bank)切换存储多帧的输入图像。即使输入图像是运动图像，帧存储器1也可把输入到图像处理装置中的图像以帧为单位临时存储。
将通过分类自适应处理根据原始像素可得到预测值的原始像素(在第一实施例中通过完全消除输入像素中的模糊所获得的理想的没有模糊的像素)看作是感兴趣的原始像素，根据抽头确定电路7提供的抽头信息，类别抽头发生电路2从存储在帧存储器1中的输入图像中提取用于对感兴趣的原始像素进行分类的输入像素，并且把作为类别抽头的提取像素输出到分类电路4。
预测抽头发生电路3提取用于通过预测算术电路6并且根据来自抽头确定电路7的抽头信息获得基于感兴趣的原始像素的预测值的输入像素，并且把作为预测抽头的提取像素提供到预测算术电路6。
分类电路4根据来自类别抽头发生电路2的类别抽头对感兴趣的原始像素进行分类，并且把通过分类获得的对应于类别的类别码作为地址提供到系数RAM 5。换句话说，分类电路4对来自类别抽头发生电路2的类别抽头执行例如1-比特的自适应动态范围编码(ADRC)，并且把所获得的ADRC码作为类别码输出到系数RAM 5。
此时，在k-比特ADRC中，从组成类别抽头的输入像素中检测最大值MAX和最小值MIN，数值DR＝MAX-MIN作为动态范围使用，并且根据这个动态范围DR，组成类别抽头的输入像素被重新量化为具有k比特。换句话说，最小值MIN从组成类别抽头的像素的像素幅值中减去，并且所得到的值除以DR/2k(量化的)。相应地，当通过1-比特ADRC处理类别抽头时，每个输入像素的像素幅值具有一比特。在这种情况下，如上所述，按照预定的顺序对基于组成类别抽头的像素的1-比特像素幅值进行排列所获得的比特串作为ADRC码输出。
系数RAM 5存储各类别的预测系数，获得它们可以使学习装置(下面将进行描述)执行学习处理。当给系数RAM 5提供来自分类电路4的类别码时，系数RAM 5读取存储在对应于类别码的地址中的预测系数，并且把该码提供到预测算术电路6。
通过使用系数RAM 5提供的预测系数W1、W2等，以及形成预测抽头的预测抽头发生电路3提供的像素幅值x1、x2等基于公式(1)进行计算，预测算术电路6可得到基于感兴趣的原始像素y的预测值E[y]。预测算术电路6把预测值E[y]作为已消除了模糊的像素的像素幅值输出。
抽头确定电路7根据存储在帧存储器1中的统计数据确定组成类别抽头和预测抽头的多个输入像素，并且把关于类别抽头和预测抽头的信息(以下也称作“抽头信息”)提供到类别抽头发生电路2和预测抽头发生电路3。
换句话说，抽头确定电路7输出抽头信息，它基本上控制类别抽头发生电路2和预测抽头发生电路3产生平方类别抽头和预测抽头(以下均简称作“抽头”)，它们中的每一个例如均由三个水平像素和三个垂直像素组成，其中对应于感兴趣的原始像素定位的输入像素作为中心像素使用。抽头信息控制组成抽头的像素之间的间隔，以根据输入图像的统计值进行区分。
具体来说，当输入图像的统计值例如为某一个值时，抽头确定电路7输出抽头信息以用于产生一个抽头，该抽头由围绕中心像素的3×3个像素组成并且它的抽头宽度为零(组成抽头的像素间的间隔为零)，如图3A所示。当输入图像的统计值例如为另一个值时，抽头确定电路7输出用于产生抽头的抽头信息，该抽头由围绕中心像素的3×3个像素组成并且它的抽头宽度为一(组成抽头的像素间的间隔为一个像素或一帧)，如图3B所示。
参照图4所示的流程图将描述图1所示图像处理装置执行的用于减少输入图像中的模糊的处理。
将要处理以减少模糊的输入图像(运动图像)以帧为单位提供到帧存储器1。输入图像以帧为单位按顺序存储到帧存储器1。
在步骤S1，抽头确定电路7根据存储在帧存储器1中的输入图像的统计值确定用于产生抽头的多个输入图像，并且把关于输入图像的抽头信息输出到类别抽头发生电路2和预测抽头发生电路3。
当在步骤S2接收抽头信息时，根据该抽头信息，类别抽头发生电路2和预测抽头发生电路3均从帧存储器1中读取用于产生每个感兴趣的原始像素的类别抽头和预测抽头的多个输入图像，根据它们可得到预测值，并且产生类别抽头和预测抽头。该类别抽头和预测抽头分别提供到分类电路4和预测算术电路6。
当在步骤S3接收来自类别抽头发生电路2的类别抽头时，分类电路4根据接收的类别抽头把感兴趣的原始像素分类。分类电路4把获得的类别码作为地址输出到系数RAM 5。在步骤S4中，系数RAM 5读取存储在对应于来自分类电路4的类别码的地址的预测系数，并且把该预测系数提供到预测算术电路6。
在步骤S5中，预测算术电路6既使用来自预测抽头发生电路3的预测抽头又使用来自系数RAM 5的预测系数以根据公式(1)进行计算，从而得到基于感兴趣的原始像素y的预测值E[y]。换句话说就是得到了模糊减少的像素，并且处理前进到步骤S6。在步骤S6，预测算术电路6把在步骤S5获得的基于感兴趣的原始像素y的预测值E[y]作为一个在与感兴趣的原始像素y相同位置的输入像素的模糊减少的像素幅值输出。处理前进到步骤S7。
在步骤S7，控制器或类似器件确定是否已经对一个预定块(下面将要描述)中全部的感兴趣的原始像素执行了上述处理。如果控制器确定为否定，则处理返回到步骤S2。在步骤S2中，在该块的原始像素之中，那些未用作感兴趣的原始像素的像素作为进一步的感兴趣的原始像素使用，并且随后执行相同的处理。相应地，在第一实施例中，对于相同块中的感兴趣的原始像素来说，根据相同的抽头信息产生抽头。换句话说，对于相同块中的感兴趣的原始像素来说，从相对于每个感兴趣的原始像素的相同定位的各输入像素产生抽头。
如果控制器在步骤S7确定已经把预定块中的所有原始像素作为感兴趣的原始像素进行了处理，则处理前进到步骤S8。在步骤S8，控制器或类似装置确定随后是否有一个块要进行处理，换句话说，是否有一个对应于随后要进行处理的块的输入图像存储在帧存储器1中。如果控制器在步骤S8确定对应于随后要处理的块的输入图像存储在帧存储器1中，则处理返回到步骤S1，并且随后执行类似的处理。相应地为随后进行处理的块确定新的抽头信息，并且根据该抽头信息产生一个抽头。
如果控制器在步骤S8确定对应于要随后处理的块的输入图像没有存储在帧存储器1中，则该处理终止。
参照图5，下面将描述图1所示的抽头确定电路7的实例。
当预定块中的原始像素作为感兴趣的原始像素使用时，读出单元11读出作为基于来自帧存储器1(参见图1)的感兴趣的原始像素的抽头使用的输入像素，并且把这些像素提供给标准偏差计算器12。
在读出单元11中，一个原始图像的一帧，通过把一帧或几帧(例如，从场景刚变化后的一帧到就要变化到下一个场景之前的一帧)分解获得的区域可作为一个块使用，并且抽头信息在块单元中确定。当一个块中的每个原始像素作为感兴趣的原始像素使用时，对于每个原始像素来说，根据确定单元13的控制，读出单元11从帧存储器1中读出组成具有一个抽头宽度的抽头的输入像素，并且把这些像素提供到标准偏差计算器12。
标准偏差计算器12计算组成抽头的输入像素的像素幅值的标准偏差(一个精确等于标准偏差的值)以作为来自读出单元11的抽头的统计值。标准偏差计算器12计算具有相同抽头宽度的抽头的标准偏差的平均值，并且把该平均值作为每个块估算每个抽头宽度的值提供到确定单元13。当用i来表示一个块并且以j表示抽头宽度时，标准偏差计算器12计算由下面公式所表示的作为估算抽头宽度j的值的数值(i，j)，并且该数值(i，j)提供到了确定单元13。
其中M表示在块#i中的原始像素数，K表示组成抽头的输入像素数，Vm， j，k表示在抽头宽度为j的抽头中的第k个输入像素的像素幅值，它对应于块#i中的第m个原始像素，并且meanm，j表示抽头宽度为j的抽头的平均值，它对应于块#1中的第m个像素。因此，通过执行运算(Vm，j，1+Vm，j，2…+Vm，j，k)/k可得到meanm，j。
确定单元13把来自标准偏差计算器12的估算值数据(i，j)和在基准值设置单元14中设置的预定基准值相比较，并且根据比较结果控制读出单元11。根据该比较结果，确定单元13确定在产生包括感兴趣的原始像素的块(以下也称作“感兴趣的块”)中的初始像素的抽头时所使用的抽头宽度，并且把该抽头宽度作为抽头信息输出。
在基准值设置单元14中，把最大限度地减少输入图像中的模糊的情况下(在输入像素的分类结果最接近对应于该输入像素的原始像素的情况下)的组成抽头的输入像素(学生数据)的像素幅值的标准偏差设置为基准值，以用于比较标准偏差计算器12的两个输出，后面将说明获得基准值的方法。
参照图6所示的流程图，下面将描述抽头确定处理，其中图5所示抽头确定电路7确定抽头结构。
在抽头确定过程中，当感兴趣的块中的任意一个原始像素开始用作感兴趣的原始像素时，在步骤S11，读出单元11为用作感兴趣的块中的感兴趣的原始像素从帧存储器1(见图1)中读出输入像素，以产生抽头宽度为零的抽头，并且把这些抽头提供到标准偏差计算器12。
处理前进到步骤S12。在步骤S12，标准偏差计算器12计算输入像素组成的抽头的标准偏差，并且处理前进到步骤S13。在步骤S13，控制器或类似器件确定是否已经对感兴趣的块中的所有像素执行了上述处理。如果控制器或类似器件确定为否定，则处理返回到步骤S11。在感兴趣的块的原始像素中，仍未使用的原始像素被用作感兴趣的原始像素，并重复执行类似的处理。
如果控制器或类似器件在步骤S13确定已经对感兴趣的块中的所有原始像素执行了上述处理，则处理前进到步骤S14。在步骤S14，标准偏差计算器12计算获得的感兴趣的块中的原始像素的抽头标准偏差的平均值。
换句话说，当感兴趣的块由块#i表示时，并且在产生的感兴趣的块#i中的每个原始像素的抽头的抽头宽度由j表示时，在步骤S14中计算由公式(8)表示的数值(i，j)。这个数值(i，j)提供到确定单元13。
在步骤S15，确定单元13确定来自标准偏差计算器12的值(i，j)是否接近在基准值设置单元14中设置的基准值。如果确定单元13确定为否定，即当产生的感兴趣的块#1的原始像素的抽头宽度为j的抽头的标准偏差平均值与基准值不接近的时候，处理前进到步骤S16。在步骤S16，确定单元13控制读出单元11改变抽头宽度j，并且处理返回到步骤S11。
在这种情况下，在步骤S11，读出单元11把感兴趣的块中的某个原始像素作为感兴趣的原始像素使用，并且从帧存储器1中读出用于产生抽头宽度为j+1的抽头的该感兴趣的原始像素的输入像素。随后执行类似的处理。
在步骤S15，当确定单元13确定来自标准偏差计算器12的数(i，j)接近在基准值设置单元14中设置的基准值。也就是说，当为感兴趣的块#1的原始像素产生的抽头(具有抽头宽度j)的标准偏差的平均值与基准值接近时，处理前进到步骤S17。在步骤S17，确定单元13输出作为抽头信息的抽头宽度j，并且处理返回。
如上所述，根据抽头确定电路7输出的每个块的抽头信息，类别抽头发生单元2和预测抽头发生单元3产生抽头，其中每个块中的原始像素作为感兴趣的原始像素使用。当抽头确定电路7输出基于抽头宽度j的抽头信息时，为构成感兴趣的块的原始像素产生具有作为抽头信息输出的抽头宽度j的抽头。
参照图7，下面将描述根据本发明的一个实施例的第一类学习装置，它求出存储在系数RAM 5(见图1)中的各类别的预测系数并且它求出在基准值设置单元14(见图5)中设置的预定基准值。
帧存储器61具有例如以帧为单位的作为教师数据y使用的原始图像(这里为未模糊的图像)。原始图像临时存储到帧存储器61中。模糊电路62通过读出存储在帧存储器61中的原始图像(在预测系数的学习处理中作为教师数据y使用)并且通过模糊组成原始图像的原始像素(例如，使用低通滤波器执行滤波)产生模糊的图像(作为学生数据x)。这些模糊的图像提供到帧存储器63。
帧存储器63临时存储来自模糊电路62的模糊图像。
帧存储器61和63与帧存储器1具有相同的结构。
根据来自抽头确定电路72的抽头信息，类别抽头产生电路64和预测抽头产生电路65使用存储在帧存储器63中的构成像素的模糊图像(以下称作“模糊的像素”)分别产生每个感兴趣的原始像素的类别抽头和预测抽头，并且分别把类别抽头和预测抽头提供到分类电路66和加法电路67，它们类似于图1示出的类别抽头发生电路2和预测抽头发生电路3。
分类电路66与图4所示分类电路4具有相同的结构。分类电路66根据来自类别抽头发生电路64的类别抽头把感兴趣的原始像素进行分类，并且把相应的类别码作为地址提供给预测抽头存储器68和教师数据存储器70。
通过从预测抽头存储器68读出由分类电路66输出的对应于类别码的存储地址，加法电路67对在归一化方程(7)的每一个左边的作为预测系数w的乘数的求和(∑)执行计算，并且把读出值与组成预测抽头的每个模糊像素的像素幅值相加，该预测抽头由预测抽头发生电路65提供。加法电路67把计算结果重写到预测抽头存储器68的一个地址中，它对应于分类电路66输出的类别码。
预测抽头存储器68读出对应于分类电路66的存储的地址，并且把读出的地址提供给加法电路67，并且把来自加法电路67的输出值存储到所提供的地址中。
加法电路69从存储在帧存储器61中的组成原始图像的原始像素中读出作为教师数据y的感兴趣的原始像素，并且读出存储在教师数据存储器70中的一个地址，它对应于分类电路77输出的类别码。加法电路69把从教师数据存储器70读出的值与从帧存储器61读取的教师数据(原始像素)y相加，从而对归一化公式(7)的每一个右边的求和(∑)进行计算。加法电路69把计算结果重写到教师数据存储器70中的一个地址中，它对应于分类电路70输出的类别码。
加法电路67和69还执行公式(7)中的乘法。具体来说，加法电路67执行组成预测抽头的模糊像素x的乘法，而且加法电路69执行模糊像素x和教师数据y的乘法。相应地，加法电路69所需的模糊像素x从帧存储器63中读出。
教师数据存储器70读出对应于分类电路66输出的类别码所存储的地址，并且把读取的地址提供到加法电路69，而且把加法电路69的输出存储到所提供的地址中。
计算电路71按顺序读取对应于预测抽头存储器68和教师数据存储器70中的类别码的地址中存储的值，并且使用所读出数值可以求解归一化方程(7)，从而获得各类别的预测系数。换句话说，计算电路71根据对应于预测抽头存储器68和教师数据存储器70的类别的地址中所存储的值形成归一化方程(7)，并且求解该方程，从而获得各类别的预测系数。
抽头确定电路72执行与图1所示抽头确定电路7类似的抽头确定处理，从而确定由类别抽头发生电路64和预测抽头发生电路65产生的有关抽头的抽头信息，并且将其提供给类别抽头发生电路64和预测抽头发生电路65。抽头确定电路72也计算用于抽头确定处理的预定基准值。
参照图8的流程图，下面将描述学习处理，其中图7所示学习装置获得各类别的预测系数和预定基准值。
作为教师数据的原始图像(运动图像)以帧为单位提供到学习装置，并且这些图像按顺序存储到帧存储器61中。存储在帧存储器61中的原始图像提供到模糊电路62，其中所提供的图像被处理成模糊的图像。模糊电路62可以以帧为单位产生具有不同模糊程度的模糊图像。
在模糊电路62中获得的模糊图像作为学生数据按顺序提供到帧存储器63中。
如上所述，当对应于准备用于学习处理的所有原始图像的模糊图像存储到帧存储器63中时，如下所述，抽头确定电路72求得用于抽头确定处理的基准值，并且处理前进到步骤S22。
在步骤S22，与图1所示抽头确定电路7类似，抽头确定电路72确定组成抽头的模糊像素，并且把有关模糊像素的抽头信息输出到类别抽头发生电路64和预测抽头发生电路65。
在步骤S23，根据来自抽头确定电路72的抽头信息，类别抽头发生电路64和预测抽头发生电路65从帧存储器63分别读出组成类别抽头和预测抽头的模糊像素，从而形成类别抽头和预测抽头。类别抽头提供到分类电路66，预测抽头提供到加法电路67。
在步骤S24，与图4所示分类电路4类似，分类电路66使用来自类别抽头发生电路64的类别抽头把感兴趣的原始像素分类。作为分类结果的类别码作为地址提供到预测抽头存储器68和教师数据存储器70。
处理前进到步骤S25，并且执行预测抽头(学生数据)的加法和教师数据的加法。
在步骤S25，预测抽头存储器68读出存储在对应于从分类电路66输出的类别码的地址中的值，并且把读出的值提供到加法电路67。通过使用预测抽头存储器68提供的存储值和组成由预测抽头发生电路65提供的预测抽头的模糊像素，加法电路67对归一化方程(7)的每一个左边的作为预测系数w的乘数的求和(∑)进行计算。加法电路67把计算结果重写入预测抽头存储器68中的一个地址中，它对应于分类电路66输出的类别码。
在步骤S25，教师数据存储器70读出存储在对应于从分类电路66输出的类别码的地址中的值，并且把读出的值提供到加法电路69。加法电路69从帧存储器61中读取感兴趣的原始像素，并且从帧存储器63中读出必要的模糊像素。加法电路69使用读取的像素和教师数据存储器70提供的存储值对归一化方程(7)的每一个右边的求和(∑)进行计算。加法电路69把计算结果存储到对应于从分类电路66输出的类别码的地址中，这样它们可被重写。
处理前进到步骤S26，并且确定是否已经对感兴趣的当前块中的所有原始像素进行了上述处理。如果处理确定为否，则处理返回到步骤S23。在步骤S23，在感兴趣的块的原始像素中，那些未用作感兴趣的原始像素的像素作为新的感兴趣的原始像素使用，并且随后执行类似的处理。
如果例如控制器或类似器件在步骤S26确定对作为感兴趣的原始像素的感兴趣的块中所有原始像素进行了上述处理，则处理前进到步骤S27，并且控制器或类似器件确定是否还有块需要处理，也就是说，确定是否还有对应于要处理的下一个块的模糊像素存储在帧存储器63中。在步骤S27，如果控制器或类似器件确定对应于要处理的下一个块的模糊像素存储在帧存储器63中，则处理返回到步骤S22。在步骤S22，通过使用作为感兴趣的新块的存储块，并且通过使用作为新的感兴趣的原始像素的感兴趣的块中的其中一个原始像素，类似的处理随后执行。
如果控制器或类似器件在步骤S27确定对应于要处理的下一个块的模糊像素没有存储在帧存储器63中，换句话说，当对所有准备用于学习处理的原始像素执行了上述处理时，处理前进到步骤S28。在步骤S28，计算电路71顺序读取存储在对应于预测抽头存储器68和教师数据存储器70中的类别码的地址中的值，并且建立使用读取值的归一化方程(7)。计算电路71通过求解归一化方程(7)，求出各类别的预测系数。在步骤S29，计算电路71把获得的各类别的预测系数输出，并且学习处理结束。
在上述的预测系数的学习处理中，类别可以在求预测系数所需要的归一化方程不能获得的情况下产生。对于这种类别来说，可输出默认预测系数，或者输出通过使用没有分类的所有像素进行预定学习处理所获得的预测系数。
参照图9，下面将描述抽头确定电路72(见图7)的结构。
如图9所示，抽头确定电路72包括一个读出单元81、一个标准偏差计算器82、一个确定单元83、和一个基准值发生器84。读取单元81、标准偏差计算器82和确定单元83分别与读取单元11、标准偏差计算器12和确定单元13(见图5)具有相同的结构。相应地，除了作用基准值发生器84替代基准值设置单元14(见图5)之外，抽头确定电路72在结构上与抽头确定电路7(见图5)相同。
在图8所示的步骤S21中，基准值发生器84获得一个用于抽头确定处理的基准值，并且把该值提供到确定电路83。
在图10所示的步骤S31到S37中，具有上述结构的抽头确定电路72执行与步骤S11到S17类似的处理，从而确定每个块的抽头信息。
参照图11和12，下面将描述基准值发生器84(见图9)执行的基准值计算。
基准值发生器84从帧存储器61中读取所有用于学习处理的原始图像，并且从帧存储器63中读取原始图像被模糊的模糊图像(学生数据)。基准值发生器84如上所述把每个原始图像分块，并且为每个块中的像素产生具有不同抽头宽度的抽头，并且获得抽头宽度和组成抽头的模糊图像的标准偏差的平均值之间的关系。
换句话说，当关注某个块的时候，基准值发生器84把该块的每个原始像素看作是感兴趣的原始像素，从而产生抽头宽度为j的抽头。基准值发生器84获得所产生的每个原始像素的抽头的标准偏差，并且计算该块中的标准偏差的平均值。具体来说，当块#i中的原始像素的总数由M表示，组成抽头的模糊像素的总数由K表示，抽头宽度为j的抽头中的第k个模糊像素的像素幅值由Vm，j，k表示，其中第k个模糊像素对应于该块#i中的第m个像素，并且抽头宽度为j的抽头的平均值(即组成抽头的模糊像素的平均值)由meanm，j表示的时候，通过基准值发生器84并且根据方程式(8)计算数值(i，j)。
基准值发生器84产生块#1中的每个原始像素的抽头，同时把抽头宽度j变成几个值，并且依次产生具有抽头宽度为j的每个值的抽头的标准偏差的平均值，数值(i，j)。
类似地，基准值发生器84计算具有抽头宽度为i的每个值的抽头的标准偏差的平均值、数值(i，j)。
如上所述，对于每个块#i来说，如图11所示，基准值发生器84获得抽头宽度j和具有抽头宽度j的抽头的标准偏差的平均值，数值(i，j)之间的关系。
图11所示为抽头宽度j和在四个块#1到#4中具有抽头宽度为j的抽头的标准偏差的平均值、数值(i，j)之间的关系。在图11中，圆形符号指示有关块#1的值，交叉符号指示有关块#2的值，三角形符号指示有关块#3的值，方形符号指示有关块#4的值。
图11所示为抽头的标准偏差的数值(i，j)，平均值，它们在抽头宽度j设置为零(0)到10时获得。
产生的块i的每个原始像素的抽头的标准偏差的平均值，数值(i，j)，指示块#i的模糊图像的像素幅值如何变化，即指的是模糊程度。相应地，数值(i，j)的越大(越小)，模糊程度越小(越大)。
当获得抽头的标准偏差的平均值，数值(i，j)的时候，基准值发生器84通过使用抽头宽度为j的抽头执行分类自适应处理获得基于原始像素的预测值。
换句话说，基准值发生器84使用块#i中的原始像素和固定抽头宽度j为预定值的模糊像素建立并求解归一化方程(7)，从而获得各类别的预测系数。基准值发生器84还使用各类别的预测系数，并且把抽头宽度j固定为一个预定值，并且根据方程式(1)进行计算，从而获得基于块#i中的每个原始图像的预测值。
基准值发生器84在按顺序改变抽头宽度j时执行类似的处理，并且对其它的块执行类似的处理。因此，对于每个块中的原始像素来说，预测值e，(i，j)在获得具有抽头宽度为j的每个值的抽头的时候获得。换句话说，对于每个块#i中的原始像素来说，可获得用于预测原始像素的抽头的抽头宽度j和基于每个原始像素的预测值(i，j)的关系。
基准值发生器84确定所获得的预测值e(i，j)接近原始图像的程度。换句话说，对于块#i来说，基准值发生器84获得作为预测值e(i，j)的信噪比的原始像素和使用抽头宽度为j的抽头获得的每个预测值e(i，j)之间的差值的绝对值的求和的倒数。图12示出了图11所示的四个块#1到#4所获得的信嗓比。
在图12中，使用抽头宽度为零的抽头获得的预测值e(1，0)具有最佳的信噪比，这意味着e(1，0)最接近原始图像。在基准值发生器84中，获得了预测值e(i，j)最接近原始图像的块#i和抽头宽度j被检测。如上所述检测的块#1和抽头宽度j以下分别称作“最佳块”和“最佳抽头宽度”。
由于在产生具有最佳块的最佳抽头宽度j的抽头时所获得的每一个预测值e(i，j)最接近于原始图像，所以当所产生的抽头具有最佳抽头宽度时的抽头的标准偏差(以下称作“最佳标准偏差”)被看作是用于产生其它的块的最佳标准偏差。
换句话说，通过一种统计方案，当产生具有其中该块的标准偏差作为最佳标准偏差使用的抽头宽度的抽头时，可以获得最接近原始图像的其它每个块的预测值。
相应地，基准值发生器84获得最佳标准偏差并且把作为预定基准值的该最佳标准偏差提供到确定单元83。
在图12中，通过使用抽头宽度j为零的抽头获得的块#1的预测值e(1，0)具有最佳的信噪比。因此，在由图11所示的圆形符号表示的块#1所获得的数值(1，j)的值中，在抽头宽度j为零时所获得的值20看作是最佳标准偏差。
对于其它的块来说，由图11所示实心箭头指示的每个值是抽头宽度j，根据它可获得对应于最佳标准偏差的标准偏差。因此，在图6和10所示的抽头确定处理中，确定的抽头具有抽头宽度为j，根据它可获得最佳标准偏差。
尽管抽头宽度j取值为整数，但从图11可以清楚地看出，根据其可获得对应于最佳标准偏差的标准偏差的抽头宽度(由图11的实心箭头所指的每个值)并不总取整数值(在很多情况上不取整数)。相应地，在图6和10所示的抽头确定处理中，当根据其可获得对应于最佳标准偏差的标准偏差的抽头宽度不是整数的时候，最接近不是整数值的抽头宽度的整数值确定为最终的抽头宽度。
具体来说，在图6所示的抽头确定处理中(类似于图10所示情况)，该处理确定来自标准偏差计算器12的数值(i，j)是否接近在基准值设置单元14中设置的基准值(步骤S15)。如果该处理确定结果肯定的话，则执行确定时的抽头宽度j作为抽头信息输出(步骤S17)。这里所说的“数值(i，j)接近基准值”意味着在抽头产生时所获得的具有整数值的抽头宽度j的抽头的标准偏差数值(i，j)(在本实施例中获得的该块的标准偏差的平均值)最接近于基准值。
在图6和10所示的抽头确定处理中，可以根据对应于最佳标准偏差的标准偏差获得一个抽头宽度，并且在该抽头宽度不是整数值时产生把抽头宽度的平均值作为抽头宽度的抽头。换句话说，当根据标准偏差对应于最佳标准偏差的抽头宽度例如是1.5时，通过产生像素间的抽头宽度为2的抽头，可设定抽头宽度的平均值为1.5。
如上所述，通过获得最佳标准偏差并且通过产生具有根据它可获得对应于最佳标准偏差的标准偏差的抽头宽度的抽头可执行学习处理和减少模糊的处理。从而可以提高处理性能。
换句话说，在学习处理中执行适用于每个图像的模糊程度的分类，并且产生适用于模糊程度的预测抽头。因此，可获得对应于各类别的适用于图像模糊程度的预测系数。还是在减少模糊的处理中，进行适用于每个图像的模糊程度的分类，并且产生适用于模糊程度的预测抽头，并且通过使用适应于模糊程度的各类别的预测系数可获得基于原始像素的预测值。从而不必考虑模糊程度就可得到清晰的图像(减少模糊的图像)。
具体来说，当使用例如模糊程度小的输入图像执行分类自适应处理时，如上所述，体现感兴趣的原始像素的特性的分类可通过优先使用较接近感兴趣的原始像素的输入像素来执行。当使用模糊程度大的输入图像执行分类的时候，体现感兴趣的原始像素的特性的分类可通过优先使用较远离输入像素的输入像素来执行。
在图11所示的情况下，如上所述，数值(i，j)越大，则模糊程度越小。因此模糊程度以块#1、#2、#3和#4的顺序增加。在图11所示的情况下，所产生的块#1、#2、#3和#4的抽头的抽头宽度是0、1、3和8。
相应地，根据本发明，随着模糊程度的提高，通过使用远离感兴趣的原始像素的输入像素产生类别抽头。因而执行反映图像特性的分类。
在第一实施例中，根据抽头的标准偏差确定抽头信息。但是，也可根据统计值而非抽头的标准偏差获得抽头信息。也就是说，可根据例如组成抽头的像素的分布、像素间的差值的绝对值和、二阶差值的绝对值和(像素的差值间的差值的绝对值和)等等来确定抽头信息。
在第一实施例中，由多个像素组成的每个块的抽头宽度在变化。但是，抽头宽度例如可以以每个像素单位来变化。
在第一实施例中，预测系数预先存储在系数RAM 5中。但是，可把预测系数提供到例如具有输入图像的图像处理装置中。类似地，不需要在基准值设置单元14中设置基准值，但可把它提供到具有输入图像的图像处理装置中。
在第一实施例中，根据输入图像的统计值改变抽头宽度可改变抽头的排列(组成抽头的像素)。但是通过例如改变组成抽头的像素的位置也可改变抽头的结构。抽头宽度不需要具有相同的间隔。例如，通过把中心像素作为中心，可轻易地在一个3×3的抽头的四个角径向扩展四个抽头。
在第一实施例中，一阶表达式用于根据原始图像求得预测值。但是不少于二阶的方程式也可用于获得预测值。
在学习处理中，如上所述，对应于表达式(7)中的求和(∑)的加法通过使用预测抽头执行。但是使用具有不同抽头宽度的预测抽头的加法可通过使用预测抽头中的相应像素来执行。
在第一实施例中，当产生的预测抽头具有围绕着中心的中心像素的九个像素(三个像素乘以三个像素)时，产生抽头宽度为零的预测抽头(图3A)和抽头宽度为一的预测抽头(图3B)。在这种情况下，抽头宽度为零的预测抽头的像素，例如最左上角的像素，与抽头宽度为一的预测抽头最左上角的像素相加。
具有不同抽头宽度的类别抽头的分类也可使用类似的技术来实施。因此，作为例子，当组成抽头宽度为零的预测抽头(见图3A)的每个像素的像素幅值等于组成抽头宽度为一的预测抽头(见图3B)的每个像素的像素幅值时，使用图3A的类别抽头的分类结果与使用图3B的类别抽头的分类结果相同(抽头被分列相同的类别)。
接着，参照图1，下面将描述应用本发明的图像处理装置的第二实施例。
根据第二实施例的图像处理装置与根据第一实施例的图像处理装置的不同在于，当低分辨率的SD图像作为输入图像输入到图像处理装置中时，图像处理装置使用分类自适应处理来处理输入图像，从而输出高分辨率的HD图像。由于根据本发明的第二实施例的图像处理装置的元件与第一实施中的元件相同，所以部分省略了对它们的专门描述。
根据存储在帧存储器1中的输入图像的波形特性，抽头确定电路7确定构成类别抽头和预测抽头的输入像素，并且把有关构成类别抽头和预测抽头的输入像素的信息提供给类别抽头发生电路2和预测抽头发生电路3。
抽头确定电路7把类别抽头发生电路2产生的平方类别抽头和预测抽头发生电路3产生的平方预测抽头确定为基本抽头，其中的每一个抽头都包括五个垂直像素和五个水平像素，其中与感兴趣的像素相邻的输入像素作为中心像素使用(意思是，例如在质心位置的像素)，如图13中的虚线所示。
在图13中，交叉符号表示组成HD图像的像素(HD像素)，并且圆形符号指示组成SD图像的像素(SD像素)以作为输入图像。相应地，在图13中，SD图像所具有尺寸是把垂直像素和水平像素的数目减半而获得。
在确定每个基本抽头时，如图14所示，抽头确定电路7检测从作为起始点的中心像素到该基本抽头的其它SD像素(输入像素)的方向。当基本像素由5×5个像素组成时，如图14所示，从作为起始点的中心像素引出的十六个方向D1到D16被检测。
对于每个方向Di(i＝1，2，...，16)来说，抽头确定电路7根据在该方向上的SD像素的波形特性(像素幅值特性)确定用于最终产生一个抽头的SD像素。换句话说，对于每个方向Di来说，根据在该方向的SD像素的波形特性，在该方向上组成抽头的SD像素的位置可移动。抽头确定电路7把有关用于最终产生作为移动结果的抽头的SD像素的位置的信息提供给类别抽头发生电路2和预测抽头发生电路3。
参照图16所示的流程图，下面将描述通过图1所示图像处理装置执行的提高输入图像分辨率的分辨率提高处理。
要进行分辨率提高处理的SD图像(运动图像)作为输入图像以帧为单位按顺序提供到帧存储器1中。在帧存储器1中，输入图像以帧为单位按顺序存储。
根据其求得预定值的预定HD像素作为感兴趣的像素使用。在步骤S41中，抽头确定电路7根据存储在帧存储器1中的输入图像的波形特性确定用于基于感兴趣的像素产生抽头的输入像素，并且把有关输入像素位置的抽头信息输出到类别抽头发生电路2和预测抽头发生电路3。
在步骤S42，当从抽头确定电路7接收抽头信息的时候，类别抽头发生电路2和预测抽头发生电路3从帧存储器1中分别读出用于基于感兴趣的像素产生类别抽头和预测抽头的输入像素，通过它可获得预测值，并且产生类别抽头和预测抽头。类别抽头和预测抽头分别提供到分类电路4和预测算术电路6。
在步骤S43，当从类别抽头发生电路2接收类别抽头时，分类电路4根据类别抽头把感兴趣的像素分类，并且把作为分类结果获得的类别码的地址输出到系数RAM 5。在步骤S44，系数RM 5读出存储在对应于每个类别码的地址中的预测系数，并且把类别码提供到预测算术电路6。
在步骤S45中，预测算术电路6使用来自预测抽头发生电路3的预测抽头和来自系数RAM 5的预测系数执行方程式(1)所表示的线性预测计算，从而获得基于感兴趣的像素y和预测值E[y]。此后，处理前进到步骤S46。在步骤S46，预测算术电路6把作为具有提高的分辨率的HD像素输出到在步骤S45获得的基于感兴趣的像素y的预测值E[y]，并且处理前进到步骤S47。
在步骤S47，控制器或类似器件确定是否已经求得组成包括感兴趣的像素的帧的HD像素的所有预测值。如果控制器或类似器件确定为否定，则处理返回到步骤S41，并且把通过还没有从其获得预测值的HD像素作为新的感兴趣的像素使用，重复执行从步骤S41开始的步骤。
如果控制器或类似器件在步骤S47确定已经求得组成包括感兴趣的像素的帧的HD像素的所有预测值，则处理前进到步骤S48。在步骤S48中，控制器或类似器件确定对应于要处理HD图像的下一帧的输入图像(SD图像)是否存储在帧存储器1中。如果控制器或类似器件在步骤S48确定对应于要处理的HD图像的下一帧的输入图像(SD图像)存储在帧存储器1中，则要处理的HD图像的下一帧中的预定HD像素作为新的感兴趣的像素使用，并且处理返回步骤S1。随后，重复执行类似的处理。
如果控制器或类似器件在步骤S48确定对应于要处理的HD图像的下一帧的输入图像(SD图像)没有存储在帧存储器1中，则提高分辨率的处理被终止。
参照图17所示的流程图，下面将描述由抽头确定电路7在图16所示的步骤S41中执行的抽头确定处理的第一个变型方案。
除了用于根据线性预测方程式(1)进行分类和计算的全部SD像素集合之外，以下也把每一个像素均称作“抽头”。
在步骤S51，抽头确定电路7设置基本的抽头。具体来说，在步骤S51，抽头确定电路7设置的基本抽头如图13的虚线所示，由五个垂直像素和五个水平像素组成，其中在感兴趣的像素位置的输入像素作为中心像素使用。抽头确定电路7前进到步骤S52。
在步骤S52，抽头确定电路7检测基本抽头中从作为起始点的中心像素到其它的SD像素的十六个方向D1到D16，并且处理前进到步骤S53。
在步骤S53，表示在步骤S52检测的十六个方向的变量i例如由抽头确定电路7初始化为“1”，并且抽头确定电路7前进到步骤S54。在步骤S54中，表示在每个方向Di中的抽头的变量j例如由抽头确定电路7初始化为“1”，并且抽头确定电路7前进到步骤S55。
在步骤S55，抽头确定电路7确定作为从中心像素引出的方向Di的第j个抽头Ti，j使用的SD像素的像素幅值是否是极值。
如果抽头确定电路7在步骤S55确定作为从中心像素引出的方向Di的第j个抽头Ti，j使用的SD像素的像素幅值不是极值，则抽头确定电路7前进到步骤S56，并且方向Di上的Ti，j和由此的外部抽头(远离中心像素)被远离中心像素移动一个像素。抽头确定电路7返回到步骤S55，并且重复执行类似的处理。
如果抽头确定电路7在步骤S55确定作为从中心像素沿方向Di的第j个抽头Ti，j使用的SD像素的像素幅值是极值，则抽头确定电路7前进到步骤S57。在步骤S57，变量j以一增加，并且抽头确定电路7前进到步骤S58。在步骤S58，抽头确定电路7确定变量j是否不大于组成抽头而非中心像素的像素(在方向Di上)数。
这里，在图14中，方向D1、D3、D5、...、D15的Ji例如是2。方向D2、D4、D6、...、D16的Ji例如是1。
如果抽头确定电路7在步骤S58确定变量j不大于组成抽头而非中心像素的像素(在方向Di上)数，也就是说，当组成抽头而非中心像素的所有SD像素(在方向Di)不是极值时，抽头确定电路7返回到步骤S55，并且对还没有到达它们的极值的SD像素的位置处的抽头Ti，j重复执行类似的处理。
如果抽头确定电路7在步骤S58确定变量j大于组成抽头而非中心像素的像素(在方向Di)数，也就是说，当组成抽头而非中心像素的所有SD像素(在方向Di)是极值时，抽头确定电路7前进到步骤S59，并且变量i以一增加。抽头确定电路7前进到步骤S60，并且确定变量i是否不大于在步骤S52检测的方向的总数I(图14所示情况下为16)。
如果抽头确定电路7在步骤S60确定变量i不大于总数I，也就是说，当是极值的SD像素还没有对在步骤S52中检测的所有方向作为抽头使用时，则抽头确定电路7返回到步骤S54，并且重复执行类似的处理。
如果抽头确定电路7在步骤S60确定变量i大于总数I，也就是说，当是极值的SD像素已经对在步骤S52中检测的所有方向作为抽头使用时，抽头确定电路7前进到步骤S61。在步骤S61中，有关组成抽头的SD像素位置的信息作为抽头信息输出到类别抽头发生电路2和预测抽头发生电路3，并且处理程序返回。
根据上述抽头确定处理的第一实施例，类别抽头发生电路2和预测抽头发生电路3产生图18A和18B所示的抽头。
换句话说，图18A和18B，图20A和20B和图22A和22B所示为在图14所示的十六个方向中所关注的方向D1以及与方向D1180度相对的方向D9的SD像素。
在图18A和18B，图20A和20B以及图22A和22B中，以“n”表示抽头的中心像素的位置，沿方向D1离开该位置n的m(此处m是正整数)个像素的像素位置由“n-m”表示，并且沿方向D9离开该位置n的m(此处m是正整数)个像素的像素位置由“n+m”表示。
在图18A和18B，图20A和20B和图22A和22B中，每个交叉符号指示一个SD像素(的像素幅值)，并且每个圆形符号指示一个抽头(作为抽头的SD像素)。
图18A所示为基本抽头，其中在方向D1上相对于作为中心像素的SD像素的两个相邻的SD像素以及在方向D9上的两个相邻SD像素作为抽头使用。
通过图17所示的抽头确定处理，图18B所示为通过图18A所示的基本抽头产生的抽头。在图18B中，相对于作为中心像素使用的SD像素，首先出现在方向D1上的具有最大值的SD像素和具有最小值的SD像素作为抽头使用，并且首先出现在方向D9上的具有最大值的SD像素和具有最小值的SD像素作为抽头使用。
参照图19所示的流程图，下面将描述抽头(tap)确定电路7在步骤S41(见图16)中执行的抽头确定处理的第二变型方案。
在步骤S71和S72，抽头确定电路7执行在图17的步骤S51和S52执行的类似处理，从而设置基本抽头并且检测到每个基本抽头中的其它SD像素的十六个方向D1到D16，其中中心像素作为起始点使用。
处理前进到步骤S73，抽头确定电路7把在步骤S72检测的表示方向的变量i初始化为“1”，并且处理前进到步骤S74。在步骤S74计算作为抽头使用的方向Di上的SD像素的动态范围DRi。换句话说，在步骤S74，抽头确定电路7检测在方向Di上用作抽头的所有SD像素(包括中心像素)中的最大值和最小值，并且获得作为动态范围DRi的最大和最小值之间的差值。
在获得动态范围DRi之后，抽头确定电路7在步骤S75确定动态范围DRi是否大于预设的阈值“th”。如果抽头确定电路7在步骤S75确定动态范围DRi并不大于阈值“th”，也就是说，当在方向Di的抽头由于作为在方向Di上的抽头的SD像素中没有大的变化而保持稳定的时候，处理前进到步骤S76。在步骤S76，组成抽头的不包括中心像素的SD像素被改变，以在方向Di上的抽头间的间隔增加一个像素，并且处理前进到步骤S74。随后，重复执行类似的处理。
如果抽头确定电路7在步骤S75确定动态范围DRi大于阈值“th”，也就是说，当在方向Di的抽头由于作为在方向Di上的抽头的SD像素中有较大的变化而不稳定的时候，处理前进到步骤S77。在步骤S77。变量i以一增加。处理前进到步骤S78，并且抽头确定电路7确定变量i是否大于在步骤S72中检测的方向的总数I。
如果抽头确定电路7在步骤S78确定变量i不大于总数I，也就是说，当动态范围大于阈值th的SD像素仍然没有作为抽头使用时，处理返回到步骤S74。随后，重复执行类似的处理。
如果抽头确定电路7在步骤S78确定变量i不大于总数I，也就是说，当动态范围大于阈值th的SD像素在步骤S72检测的所有方向上作为抽头使用的时候，处理前进到步骤S79。在步骤S79，抽头确定电路7把作为抽头信息的有关组成抽头的SD像素位置的信息输出到类别抽头发生电路2和预测抽头发生电路3，并且该处理返回。
根据上述的抽头确定处理的第二变型方案，类别抽头发生电路2和预测抽头发生电路3产生图20A和20B所示的抽头。
图20A所示为类似于图18A的基本抽头，其中相对于作为中心像素的SD像素，方向D1上的两个相邻SD像素以及方向D9上的两个相邻SD像素作为抽头使用。
通过图19所示的抽头确定处理，图20B示出了从基本抽头产生的抽头。在D1到D9的所有方向上，动态范围DR1到DR9大于阈值th的SD像素作为抽头使用。
在图19和图20A和20B所示的情况下，作为抽头的SD像素间的间隔被增加，这样在方向Di上作为抽头的SD像素间的最大值和最小值之间的差值的动态范围DRi大于阈值th。另外，作为例子，作为抽头的SD像素间的间隔可增加，以使方向Di上作为抽头的两个相邻SD像素间的差值大于阈值th。
参照图21的流程图，下面将描述在步骤S41(见图16)执行的抽头确定处理的第三变型方案。
在步骤S81到S83中，抽头确定电路7执行与图17所示的步骤S51到S53类似的处理。换句话说，抽头确定电路7设置基本抽头，并且检测从作为起始点使用的中心像素到基本抽头中的其它SD像素的十六个方向Di到D16，并且初始化变量i。
在步骤S84，抽头确定电路7例如获得线(以下还称作“近似线”)Li，它是在方向Di上接近作为基本抽头使用的SD像素(的像素幅值的)的函数，并且处理前进到步骤S85。在步骤S85，抽头确定电路7获得相对近似线Li在方向Di上作为抽头的SD像素(包括中心像素)的误差(例如平方误差)，并且获得误差的累加值。在步骤S86，抽头确定电路7确定误差累加值是否大于预定阈值。
如果抽头确定电路7在步骤S86确定误差累加值并不大于预定阈值，也就是说，当作为方向Di的抽头的SD像素由于在作为抽头的SD像素间没有特定的变化而保持稳定的时候，抽头确定电路7前进到步骤S87。在步骤S87，在方向Di上不包括中心像素的所有抽头沿着方向Di移动(向外)例如一个像素，并且处理返回到步骤S85。随后，重复执行类似的处理。
如果抽头确定电路7在步骤S86确定误差累加值大于预定阈值，也就是说，当在方向Di作为抽头的SD像素由于在作为抽头的SD像素间存在相对较大的变化而不能保持稳定的时候，抽头确定电路7前进到步骤S88，并且变量i增加一。在步骤S89，抽头确定电路7确定变量i是否大于步骤S82中检测的方向的总数I。
如果抽头确定电路7在步骤S39确定变量i大于总数I，也就是说，当误差累加值大于预定阈值的SD像素仍然没有作为在步骤S82中检测的所有方向上的抽头使用的时候，抽头确定电路7返回到步骤S84，随后，重复执行类似的处理。
如果抽头确定电路7在步骤S89确定变量i不大于总数I，也就是说，当误差累加值大于预定阈值的SD像素已经作为抽头使用的时候，抽头确定电路7前进到步骤S90。在步骤S90，有关组成抽头的SD像素的位置的信息作为抽头信息输出到类别抽头发生电路2和预测抽头发生电路3，并且该处理返回。
根据上述的抽头确定处理的第三变型方案，类别抽头发生电路2和预测抽头发生电路3产生图22A和22B所示的抽头。
图22A所示为类似于图18A的基本抽头，其中相对于作为中心像素的SD像素，方向D1上的两个相邻SD像素以及方向D9上的两个相邻SD像素作为抽头使用。
通过图21所示的抽头确定处理，图22B示出了通过基本抽头产生的抽头。在D1到D9的所有方向中，来近似线L1到L9的误差累加值大于预定阈值的SD像素作为抽头使用。
在图21和图22A和22B所示的情况下，SD像素根据与接近作为基本抽头的SD像素的线L1相关的组成抽头的SD像素的误差累加值产生SD像素。另外，SD像素可根据例如误差的分布产生。
在图21所示的情况下，在步骤S87，不包括中心像素的所有抽头沿方向Di移动例如一个像素。但是，可移动这些抽头以使方向Di上的抽头间的每个间隔可以增加例如一个像素。
在图21和图22A和22B所示的情况下可获得作为接近方向D1上作为基本抽头使用的SD像素的函数的线。另外，通过获得作为接近用作基本抽头的SD像素的函数的平面或曲面，可根据相对于平面和曲面的误差确定抽头。
参照图23，下面将描述第二种学习装置，它获得存储在系数RAM 5(见图1)中的各类别的预测系数。
与图7所示元件相同的第二种学习装置的元件由相同的参考数字表示。相应地也省略了相同的描述。
作为教师数据y使用的原始图像(高分辨率HD图像)例如以帧为单位提供到帧存储器61中，并且帧存储器61临时存储所提供的原始图像。抽取电路91读出存储在帧存储器61中的每一个原始图像，它在预测系数的学习处理中作为教师数据y使用，并且对组成原始图像的像素进行抽取(decimate)，从而产生低分辨率的SD图像。通过把水平和垂直像素的数量减半(由图13中的交叉符号表示)，抽选电路91产生SD图像(由图13中的圆形符号表示)。该SD图像提供到了帧存储器63。
参考图24的流程图，下面将描述用于通过图23所示的学习装置获得各类别的预测系数的学习处理。
作为原始数据的HD图像以帧为单位作为教师数据提供到学习装置中，并且所提供的图像按顺序存储到帧存储器61中。在步骤S91中，存储在帧存储器61中的HD图像(原始图像)提供到抽取电路91中。所提供的每个图像均转换成SD图像。通过抽取电路91，SD图像作为学生数据提供并存储到帧存储器63中。
抽头确定电路72使用存储在帧存储器63中的SD图像的一帧中的预定HD像素作为感兴趣的像素。在步骤S92，与图1所示的抽头确定电路7类似，抽头确定电路72确定用于根据感兴趣的像素产生抽头的SD像素。抽头确定电路72把关于SD像素的抽头信息输出到类别抽头发生电路64和预测抽头发生电路65。
在步骤S93，用于产生基于感兴趣的像素的类别抽头和预测抽头的SD像素根据来自抽头确定电路7的抽头信息而从抽头确定电路7中读出，并且产生类别抽头和预测抽头。类别抽头提供到分类电路66，并且预测抽头提供到加法电路67和69。
在步骤S94中，分类电路66使用来自类别抽头发生电路64的类别抽头把感兴趣的像素进行分类，并且把作为分类结果的类别码作为地址提供到预测抽头存储器68和教师数据存储器70。
在步骤S95中执行预测抽头(学生数据)和教师数据的加法。
换句话说，在步骤S95中，预测抽头存储器68读取对应于类别码的所存储地址，该类别码对应于分类电路66，并且把读取的地址提供到加法电路68。通过使用预测抽头存储器68提供的存储值，以及预测抽头发生电路65提供的用于产生预测抽头的SD像素，加法电路67对作为归一化方程式(7)的每个左边的预测系数w的乘数的求和(∑)进行计算。加法电路67把计算结果重写到预测抽头存储器68中对应于分类电路66输出的类别码的地址中。
还是在步骤S95中，教师数据存储器70读出对应于分类电路66输出的类别码的所存储地址，并且把读出地址提供到加法电路69。该加法电路69从帧存储器61中读出感兴趣的像素，并且通过使用作为感兴趣的读出像素的HD像素、预测抽头、以及由教师数据存储器70提供的存储值，从而对归一化公式(7)中的每个右边的求和(∑)进行计算，加法电路69把计算结果重新写入教师数据存储器70中对应于分类电路66输出的类别码的地址中。
在步骤S96，控制器或类似器件确定是否已经对作为感兴趣的像素的组成包括感兴趣的像素的帧的所有HD像素执行了上述处理。如果控制器或类似器件为否定的话，则处理返回到步骤S92，随后，把仍没有作为感兴趣的像素的HD像素作为新的感兴趣的像素重复执行类似的处理。
如果控制器或类似器件在步骤S96确定已经对作为另外的感兴趣的像素的组成包括感兴趣的像素的帧的所有HD像素执行了上述处理，则控制器或类似器件前进到步骤S97，并且确定要处理的下一帧是否存储在帧存储器61中。如果控制器或类似器件在步骤S97确定要处理的下一帧存储在帧存储器61中，则处理返回到步骤S91，并且对要处理的下一帧重复执行类似的处理。
如果控制器或类似器件在步骤S97确定要处理的下一帧没有存储在帧存储器61中，也就是说，当已经对用于学习处理的所有HD图像执行上述处理的时候，处理前进到步骤S98。在步骤S98，计算电路71按顺序读出对应于类别码的预测抽头存储器68和教师数据存储器70中的地址中所存储的值，并且对使用读取值的归一化方程式(7)进行求解，从而求得各类别的预测系数。在步骤S99，计算电路71把各类别的预测系数输出，并且学习处理结束。
在上述的预测系数的学习处理中，可以在归一化方程式所需要的预测系数不能获得的情况下产生类别。对于这种类别来说，可输出默认预测系数或通过使用没有分类的所有像素进行预测学习处理所获得的预测系数。
如上所述，根据组成每个抽头的SD像素的波形特性可确定组成抽头的SD像素。因此，可产生用于执行反映像素性质的分类的类别抽头，并且可产生使预测值的预测误差减小的预测抽头。从而提高了分类自适应处理的性能。
图4，6，8，10，16，17，19，21和24所示的上述处理由硬件或软件执行。对于使用软件执行每个处理来说，该软件的程序安装在内置于图像处理装置和学习装置中的作为专用硬件使用的计算机中，或者各类程序安装在执行各种处理的多用途计算机中。
参照图25A、25B和25C，下面将描述一种当用于执行上述每种处理的程序安装在前述计算机中以由该计算机执行处理的时候所使用的介质。
如图25A所示，该程序提供给用户的形式可以是安装在硬盘(由图25A和26的“HDD”表示)102中，或存储在作为内置于计算机101中的记录介质的半导体存储器103。
而且，如图25B所示，通过临时或永久地把程序存储到诸如软盘111、只读光盘(CD-ROM)112、磁光(MO)盘113、数字多用盘(DVD)114、磁盘115或半导体存储器116的记录介质中，该程序可作为软件包提供。
另外，如图25C所示，通过使用无线通信把程序从下载站点121上经数字广播卫星122传送到计算机101中，或者通过诸如因特网的网络131有线传送该程序，该程序可存储在内置于计算机101中的硬盘102中。
在本说明中的“介质”是包括了上述所有类型的介质的广泛概念。
在本说明中，描述由介质提供的程序的步骤不需要根据每个流程图所指示的顺序按时间顺序执行，但它包括并行或单独执行的处理(例如，并行处理或面向对象的处理)。
参照图26，下面将描述图25A至25C所示的计算机101的结构。
如图26所示，计算机101包括一个中央处理器(CPU)142。输入/输出(I/O)接口145经总线141与CPU 142连接。当用户通过操作包括键盘和鼠标的输入单元147向CPU 142输入一个命令的时候，CPU 142根据该命令运行存储在对应于半导体存储器103的只读存储器(ROM)中的程序。CPU142把存储在硬盘102中的程序；由卫星122或网络133传送并且由通信单元148接收后安装在硬盘102中的程序；在从装载于驱动器149中的软盘111、CD-ROM 112、MO盘113、DVD 114、或磁盘115读取后安装在硬盘102中的程序装载到随机存取存储器144中。CPU 142运行装载的程序并且通过例如I/O接口145把运行结果提供到包括液晶显示的显示单元146中。
由于分类自适应处理使用教师数据和学生数据执行对应于各类别的预测系数的学习处理，并且通过使用预测系数和输入数据执行线性预测获得来自输入数据的教师数据的预测值，所希望的预测值的预测系数可根据在学习中使用的教师数据和学生数据获得。例如，通过使用作为教师数据的没有噪声的图像和作为学生数据的通过向教师数据中添加噪声而产生的图像，可获得用于消除噪声的预测系数。相应地，本发明不仅适用于上述的通过减少模糊提高分辨率的情况，而且适用于消除噪声或改变波形的情况。
在前面的实施例中，通过分类自适应处理可处理运动图像。但是，除了运动图像之外，也可以处理静止图像、声音以及从记录介质中读取的信号等。
在前面的实施例中，类别抽头和预测抽头根据相同的抽头信息产生，并且两种抽头可通过相同的像素形成。但是，也可产生具有不同结构的类别抽头和预测抽头，换句话说，类别抽头和预测抽头可根据不同类型的抽头信息产生。
在前面的实施例中，通过使用相对于每个感兴趣的像素的位置可变的SD像素，类别抽头和预测抽头均可根据抽头信息产生。但是，也可使用相对于每个感兴趣的像素的位置固定的SD像素产生两种类型的抽头。
在第二种实施例中，组成抽头的SD像素根据组成抽头的SD像素是否是极值，动态范围，离近似线的误差等来确定。但是，根据波形中SD像素的特性(波形特性)也可确定组成抽头的SD像素。
在第二实施例中可确定从作为起始点的中心像素引出的各方向上的组成抽头的SD像素。但是，组成抽头的SD像素可以不总是对各方向来确定。
在前面的实施例中，图像处理装置和在图像处理装置中使用的学习装置分开提供。但是也可把图像处理装置和学习装置一体提供。在这种情况下，通过学习装置可实时进行学习处理，并且在图像处理装置中使用的预测系数可实时更新。
在第二实施例中，各类别的预测系数预先存储在系数RAM 5中，但也可把预测系数提供到具有例如输入图像(SD图像)的图像处理装置中。
类别抽头和预测抽头可通过使用空间位置的像素和时间位置的像素产生。
在学习处理中，可使用预测抽对公式(7)中的求和(∑)进行加法计算。使用离感兴趣的每个像素的有不同位置的SD像素所形成的预测抽头的加法可通过使用预测抽头中的相应像素执行。
换句话说，当基本抽头通过使用围绕中心像素的五个垂直像素×五个水平像素组成的25个像素产生的时候，预测抽头通过使用图14所示的十六个方向D1到D16的任意像素形成。因此，一个预测抽头和另一个预测抽头使用离中心像素处于不同位置的像素形成。在这种情况下，在一个预测抽头中从中心像素引出的方向D1上的作为第一抽头的像素与在另一个预测抽头中从中心像素引出的方向D16上的作为第一抽头的像素相加。
在相同的方面也可以执行分类处理。换句话说，当在每个方向中作为组成类别抽头的抽头的每个像素(的像素幅值)等于在对应方向中离开中心像素的相应级中的作为抽头的每个像素的时候，根据这两个类别抽头的分类结果彼此一致(被分类到相同的类别)。

Claims (36)

1.一种数据处理装置，用于通过处理输入数据预测对应于所述输入数据的输出数据，包括：
确定装置，能够根据所述输入数据，确定将被从所述输入数据中提取的多个数据间的间隔；
提取装置，用于根据所述确定装置的确定结果，从所述输入数据中提取对应于将被预测的感兴趣的输出数据的所述多个数据；以及
预测装置，用于根据所述提取装置提取的多个数据，得到感兴趣的输出数据的预测值。
2.根据权利要求1所述的数据处理装置，进一步包括分类装置，用于根据所提取数据把感兴趣的输出数据分类并且用于输出相应的类别码，
其中所述预测装置通过使用对应于类别码的预测系数来预测感兴趣的输出数据。
3.根据权利要求1所述的数据处理装置，其中所述确定装置确定将被从所述输入数据中提取的所述多个数据，以使根据所提取数据的标准偏差为预定值。
4.根据权利要求3所述的数据处理装置，其中所述确定装置根据从所述输入数据提取的所述多个数据的标准偏差的平均值，来确定将被从所述输入数据的预定块提取的多个数据。
5.根据权利要求3所述的数据处理装置，进一步包括用于存储所述预定值的存储装置。
6.根据权利要求2所述的数据处理装置，其中所述预测装置使用所述预测系数和提取的数据执行感兴趣的输出数据的线性预测。
7.根据权利要求2所述的数据处理装置，进一步包括预测系数存储装置，用于存储对应于类别码的所述预测系数。
8.根据权利要求1所述的数据处理装置，其中所述输入数据和输出数据是图像数据。
9.根据权利要求8所述的数据处理装置，其中所述提取装置从作为所述图像数据的所述输入数据中提取在空间和时间上与作为所述图像数据的输出数据相邻的像素。
10.根据权利要求8所述的数据处理装置，其中：
所述输入数据是具有不同模糊程度的图像数据；并且
所述确定装置确定从具有不同模糊程度的各个图像数据的所述输入数据中提取的所述多个数据。
11.根据权利要求8所述的数据处理装置，其中：
所述输入数据是具有不同分辨率的图像数据；并且
所述确定装置确定从具有不同分辨率的各个图像数据的所述输入数据中提取的所述多个数据。
12.根据权利要求8所述的数据处理装置，其中所述确定装置确定用于抽取多个像素的宽度，所述多个像素作为将被从作为所述图像数据的所述输入数据中提取的所述多个数据，以使基于这些像素的标准偏差的平均值为预定值。
13.根据权利要求8所述的数据处理装置，其中所述确定装置根据从所述输入数据中提取的所述多个数据的像素幅值特性来确定从所述输入数据中提取的所述多个数据。
14.根据权利要求13所述的数据处理装置，其中所述确定装置检测所述输入数据的像素幅值的极值，并且根据检测结果确定从所述输入数据中提取的所述多个数据。
15.根据权利要求13所述的数据处理装置，其中所述确定装置计算所述输入数据的幅值间的差值，并且根据计算结果确定从所述输入数据中提取的所述多个数据。
16.根据权利要求13所述的数据处理装置，其中所述确定装置根据近似所述输入数据的函数，计算所述输入数据和所述近似函数之间的误差，并且根据计算结果确定从所述输入数据中提取的所述多个数据。
17.一种学习装置，用于获得数据处理装置预测对应于输入数据的输出数据所使用的预测系数，包括：
模糊装置，用于通过模糊原始数据而产生模糊数据；
确定装置，用于根据所述模糊数据，确定将被从所述模糊数据中提取的多个数据间的间隔；
提取装置，用于根据确定结果，从所述模糊数据中提取对应于将被预测的感兴趣的输出数据的所述多个数据；以及
计算装置，用于根据提取的数据和所述原始数据而获得预测系数。
18.根据权利要求17所述的学习装置，进一步包括分类装置，用于根据从所述提取装置提取的多个数据把感兴趣的所述输出数据分类，从而输出对应于感兴趣的输出数据的类别码，所述计算装置得出对应于类别码的预测系数。
19.根据权利要求17所述的学习装置，其中所述确定装置确定将被从所述输入数据中提取的多个数据，以使根据从所述输入数据中提取的该多个数据的标准偏差为预定值。
20.根据权利要求19所述的学习装置，其中所述确定装置根据从所述输入数据中提取的多个数据的标准偏差的平均值，确定将被从所述输入数据提取的多个数据。
21.根据权利要求19所述的学习装置，进一步包括用于存储所述预定值的存储装置。
22.根据权利要求19所述的学习装置，进一步包括用于计算所述预定值的预定值计算装置。
23.根据权利要求22所述的学习装置，其中所述预定值计算装置使用对应于所述多个数据的各类别的预测系数，来得到作为所述预定值的该多个数据的统计值，该统计值在处理所述输入数据的结果接近所述输出数据时获得。
24.根据权利要求17所述的学习装置，其中所述计算装置获得能够通过使用多个数据的线性预测进行感兴趣的输出数据的预测的预测系数。
25.根据权利要求17所述的学习装置，其中所述输入数据和输出数据是图像数据。
26.根据权利要求21所述的学习装置，其中所述提取装置从作为所述图像数据的所述输入数据中提取在时间和空间上与作为所述图像数据的输出数据相邻的像素。
27.根据权利要求25所述的学习装置，其中：
所述输入数据是具有不同模糊程度的图像数据；并且
所述确定装置对具有不同模糊程度的各个图像数据确定从所述输入数据中提取的多个数据。
28.根据权利要求25所述的学习装置，其中：
所述输入数据具有不同的分辨率；以及
所述确定装置对于具有不同模糊程度的各个图像数据，确定从所述输入数据中提取的多个数据。
29.根据权利要求25所述的学习装置，其中所述确定装置确定用于抽取多个像素的宽度，所述多个像素是从作为所述图像数据的所述输入数据中提取的，以使根据所提取像素的标准偏差的平均值为预定值。
30.根据权利要求25所述的学习装置，其中所述确定装置确定从作为所述图像数据的所述输入数据中提取的多个像素之间的不规则间隔，以使根据所提取像素的标准偏差的平均值为预定值。
31.根据权利要求25所述的学习装置，其中所述确定装置根据所提取数据的像素幅值特性，确定从所述输入数据中提取的多个数据。
32.根据权利要求31所述的学习装置，其中所述确定装置检测所述输入数据的像素幅值的极值，并且根据检测结果确定从所述输入数据中提取的多个数据。
33.根据权利要求31所述的学习装置，其中所述确定装置计算所述输入数据的像素幅值间的差值，并且根据计算结果确定从所述输入数据中提取的多个数据。
34.根据权利要求31所述的学习装置，其中所述确定装置通过近似所述输入数据的函数计算所述输入数据和近似函数之间的误差，并且根据计算结果确定从所述输入数据中提取的多个数据。
35.一种数据处理方法，用于通过处理输入数据预测对应于所述输入数据的输出数据，所述数据处理方法包括的步骤是：
使能够根据所述输入数据，确定将被从所述输入数据中提取的多个数据间的间隔；
根据确定结果，从所述输入数据中提取对应于要预测的感兴趣的输出数据的多个数据；以及
根据所提取的多个数据获得感兴趣的输出数据的预测值。
36.一种学习方法，用于获得数据处理装置预测对应于输入数据的输出数据所使用的预测系数，所述学习方法包括的步骤是：
通过模糊原始数据而产生模糊数据；
根据所述模糊数据，确定将被从所述模糊数据中提取的多个数据间的间隔；
根据确定结果，从所述模糊数据中提取对应于要预测的感兴趣的输出数据的多个数据；以及
根据提取的多个数据和所述原始数据而获得预测系数。
CNB001264370A 1999-06-08 2000-06-08 数据处理装置和方法,学习装置和方法 Expired - Fee Related CN1190963C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP16052899A JP4135045B2 (ja) 1999-06-08 1999-06-08 データ処理装置およびデータ処理方法、並びに媒体
JP160528/1999 1999-06-08
JP26170699A JP4324825B2 (ja) 1999-09-16 1999-09-16 データ処理装置およびデータ処理方法、並びに媒体
JP261706/1999 1999-09-16

Publications (2)

Publication Number Publication Date
CN1281311A CN1281311A (zh) 2001-01-24
CN1190963C true CN1190963C (zh) 2005-02-23

Family

ID=26487011

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001264370A Expired - Fee Related CN1190963C (zh) 1999-06-08 2000-06-08 数据处理装置和方法,学习装置和方法

Country Status (4)

Country Link
US (1) US6678405B1 (zh)
EP (1) EP1061473A1 (zh)
KR (1) KR100746839B1 (zh)
CN (1) CN1190963C (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ056099A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
EP1686801B1 (en) * 2000-02-10 2009-12-16 Sony Corporation Image processing device and method and recording medium
US7715643B2 (en) 2001-06-15 2010-05-11 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP4038812B2 (ja) 2001-12-27 2008-01-30 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP4066146B2 (ja) * 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP3876781B2 (ja) * 2002-07-16 2007-02-07 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
JP2004229119A (ja) * 2003-01-24 2004-08-12 Matsushita Electric Ind Co Ltd Ｍｏｓ型固体撮像素子およびこれを備えた撮像装置
JP4214459B2 (ja) * 2003-02-13 2009-01-28 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP4144374B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4144378B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4392584B2 (ja) * 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP4392583B2 (ja) * 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
US7667876B2 (en) * 2004-03-03 2010-02-23 Ricoh Company, Ltd. Generating a normalized image from an original image
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4650123B2 (ja) * 2005-06-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4872862B2 (ja) * 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
JP4882999B2 (ja) * 2007-12-21 2012-02-22 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
JP5099429B2 (ja) * 2007-12-21 2012-12-19 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム、並びに学習装置
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP2014194706A (ja) * 2013-03-29 2014-10-09 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
WO2019065261A1 (ja) * 2017-09-27 2019-04-04 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
CN109446467B (zh) * 2018-09-28 2023-10-24 安徽皖仪科技股份有限公司 数字滤波方法及装置
KR102120854B1 (ko) * 2019-08-02 2020-06-10 이성 주식회사 학습 기반의 led 전광판 자가진단 불량 도트 검출 장치 및 그 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235363A (ja) 1992-06-18 1996-09-13 Nec Corp コンピュータ視覚プロセス
DE4404215C1 (de) 1994-02-10 1995-05-24 Mb Video Gmbh Verfahren zur Ermittlung einer angenäherten Standardabweichung
JP3781203B2 (ja) * 1994-11-28 2006-05-31 ソニー株式会社 画像信号補間装置及び画像信号補間方法
US5946044A (en) 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
JP3758228B2 (ja) 1996-02-29 2006-03-22 ソニー株式会社 クラス分類適応処理における学習方法および学習装置
KR20000063549A (ko) * 2000-07-21 2000-11-06 조정진 컴퓨터를 이용한 교육장치

Also Published As

Publication number Publication date
KR100746839B1 (ko) 2007-08-09
CN1281311A (zh) 2001-01-24
US6678405B1 (en) 2004-01-13
KR20010007300A (ko) 2001-01-26
EP1061473A1 (en) 2000-12-20

Similar Documents

Publication Publication Date Title
CN1190963C (zh) 数据处理装置和方法,学习装置和方法
CN1208970C (zh) 图像处理装置
CN1324526C (zh) 视频信号的自适应缩放
CN1310521C (zh) 图象信号处理设备和方法、学习设备和方法以及记录介质
CN1969314A (zh) 图像处理设备和方法、存储介质及其程序
CN1678056A (zh) 图像处理装置与方法、记录介质以及程序
CN101079949A (zh) 图像处理设备和方法、记录介质以及程序
CN1902911A (zh) 节目推荐装置、节目推荐装置的节目推荐方法以及计算机程序
CN1809838A (zh) 用于视频质量评估的方法和系统
CN1940912A (zh) 文件作成系统、文件作成方法、程序以及存储介质
CN1805531A (zh) 图像处理装置及方法、记录介质、以及程序
CN1783075A (zh) 用于显示网络数据的方法、设备、处理器配置
CN1684492A (zh) 图像词典作成装置、编码装置、图像词典作成方法
CN1893607A (zh) 编码、解码设备和方法,图像处理系统和方法及记录介质
CN1726529A (zh) 用于处理图像信号的设备和方法、用于执行该方法的程序、以及用于记录该程序的计算机可读介质
CN1184609C (zh) 图像信号处理方法、图像信号处理装置和图像显示器
CN1533551A (zh) 信号处理设备
CN1406438A (zh) 信息信号处理装置、信息信号处理方法、图像信号处理装置及使用它的图像显示装置、其使用的系数种类数据生成装置及生成方法，系数数据生成装置及生成方法，以及信息提供媒体
CN1817047A (zh) 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法
CN1306807C (zh) 数据转换装置及方法、学习设备及方法
CN1215960A (zh) 图像处理装置和方法
CN1163076C (zh) 图像编码装置和图像编码方法及图像解码装置和图像解码方法
CN1278561C (zh) 编码设备
CN1224256C (zh) 信息信号处理装置和方法、图像信号处理装置和方法及图像显示装置
CN1545683A (zh) 数据转换装置、数据转换方法、学习装置、学习方法、程序和记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050223

Termination date: 20150608

EXPY Termination of patent right or utility model