CN1152566C - 图像处理装置和方法 - Google Patents

Abstract

一种图像处理装置和方法，通过利用象素数目小于第一图像的第二图像和象素数目小于第二图像的第三图像来求解第一图像以执行处理。该图像处理装置和方法接收第一图像，并根据对应于参考象素的上述第二或第三图像象素的性质，将被称为第一图像的象素的参考象素分类。

Description

图像处理装置和方法

本发明涉及图像处理装置和方法，尤其涉及用于例如把标准分辨率图像转换为高分辨率图像的图像处理装置和方法。

在标准分辨率图像或低分辨率图像(此后称作“SD图像”)被转换成高分辨率图像(此后称作“HD图像”)，或图像被放大的情况中，通常的“内插滤波器”等被用作内插(补偿)丢失象素层。

但采用内插滤波器来内插象素不能恢复不包括在SD图像中的HD图像分量(高频分量)。所以，不能得到高分辨率图像。

因此，本发明者已提出了一个把SD图像转换成包含高频分量的HD图像的图像转换装置，其中，该高频分量未包含在SD图像中。

图像转换装置采用一个SD图像的线性耦合和预测系数来执行在一个HD图像中寻找象素预测值的自适应处理，从而可恢复未包含在SD图像中的高频分量。

假定采用由多个SD象素x1，x2...层(此后称作“学习数据，”)的线性耦合和预定的预测系数w1，w2...定义的一阶段性耦合模型，求出包含在HD图像中的一个象素(此后称作“HD”象素)上的象素层y的预测值E[y]。在这种情况中，预测值E[y]可由下式表示。

E[y]＝w₁x₁+w2x2+...    (1)

因此，通常在由一组预测系数w组成矩阵W时，由一组学习数据组成的矩阵X，和由一组预测值E[y]组成的矩阵Y′由下式给定：

$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \·\·\·& x_{1n}\\ x_{21}& x_{22}& \·\·\·& x_{2n}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ x_{m1}& x_{m2}& \·\·\·& x_{\mathrm{mn}}\end{array}\right]$

$W=\left[\begin{array}{c}{W}_1\\ W_2\\ \·\·\·\\ W_n\end{array}\right],Y^{\′}=\left[\begin{array}{c}E\left[y_1\right]\\ E\left[y_2\right]\\ \·\·\·\\ E\left[y_m\right]\end{array}\right]$

下列观测方程(2)成立。

XW＝Y′(2)

下面，将最小二乘法应用到观测方程以求出逼近HD图像象素层y的预测值E[y]。在这种情况下，由一组HD像素的实际象素层y组成的矩阵Y作为教学数据时，和由对应于HD象素层y的一组预测值E[y]的余数e组成的矩阵E如下定义时：

$E=\left[\begin{array}{c}{e}_1\\ e_2\\ \·\·\·\\ e_m\end{array}\right],Y=\left[\begin{array}{c}{y}_1\\ y_2\\ \·\·\·\\ y_m\end{array}\right]$

通过方程(2)，下列方程(3)成立。

                          XW＝Y+E(3)

在这种情况下，用于求解逼近HD图像象素层y的E[y]的预测系数w_i可通过最小化下列误差平方而求出：

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e^2}_i$

因此，上述误差平方的导数为零，换言之，满足下列方程的预测系数w_i是用于求解逼近HD图像象素层y的预测值E[y]的最佳值。

$e_1\frac{{\∂e}_1}{{\∂w}_1}+e_2\frac{{\∂e}_2}{{\∂w}_1}+\·\·\·+e_m\frac{{\∂e}_m}{{\∂w}_i}=0(i=\mathrm{1,2},...,n)---\left(4\right)$

首先，通过把预测系数w_i应用到微分方程(3)，下列方程成立。

$\frac{{\∂e}_i}{{\∂w}_i}=x_{i1},\frac{\∂e_i}{{\∂w}_2}=x_{i2},...,\frac{{\∂e}_i}{{\∂w}_n}=x_{\mathrm{in}},(i=\mathrm{1,2},...,m)---\left(5\right)$

由方程(4)和(5)，得到方程(6)。

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i1}=0,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i2}=0,...\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{\mathrm{in}}=0---\left(6\right)$

另外，鉴于学习数据x、一组预测系数w、余数e之间的关系，由方程(6)得到下列正态方程。

如方程(7)的形成的正态方程数目等同于被求解的预测系数w的组数。因此，通过解方程(7)，可解出最优系数w组。(为求解方程(7)，要求在方程(7)中作为预测系数w组的由系数组成的矩阵为非奇异的)，例如，为求解方程(7)，可应用扫描(Gauss-Jordan消除)等方法。

以上述方法求解最优预测系数w组并采用方程(1)中解得的预测系数w组以求解逼近HD图像象素层y的预测值E[y]被称作自适应处理。由于再现未包含在SD图像中而包含在HD中的分量，所以自适应处理不同于内插。换言之，仅从方程(1)，可以发现自适应处理等同于具有一般“内插滤波器”的内插。可是，因为对应于内插滤波器抽头系数的预测系数w组通过学习教学数据y而被解出，故可再现包含在HD图像中的分量。换言之，可容易地得到高分辨率图像。由此事实，可以说自适应处理具有产生图像(分辨率)的功能。

图12表示采用上述自适应处理把SD图像转换成HD图像的图像转换装置框图。

把一个SD图像供给分类单元201和自适应处理单元204。分类单元201包括一个类别抽头产生电路202和一个分类电路203，并根据对应于参考象素的SD图像象素的特性将已解出预测值的HD象素(称作HD象素)(此后称作“参考象素”)分类。

换言之，在类别抽头产生电路202中，对应于参考象素的、对参考象素分类的(以下称作分类抽头)SD象素，例如对应参考象素具有预定的位置关系的多个SD象素被从提供给分类单元201的SD图像中提取，并被提供给分类单元203。分类单元203检测由分类抽头产生电路202构成分类抽头的SD象素层的图案(象素层分布)，并将预分配值提供给图案作为给自适应处理单元204的参考象素分类。

具体地说，例如，假设HD图像由图13中符合×表示的象素(HD象素)组成，SD图像由图13中符合○表示的象素(SD象素)组成。在图13中，SD象素具有HD图像的水平或垂直象素数目的一半。在图13中(以下描述的图14至16与此类似)，从左起第(i+1)列和从顶起第(j+1)行位置处的SD象素(图13中的○表示)由X_i，j表示，类似地，从左起第(i′+1)列和从顶起第(j′+1)行位置处的HD象素(图13中的×表示)由Y_i′j′表示。在这种情况中，SD象素X_i，j和HD象素Y_i，j的位置相同。

此处，如果假设一个SD象素，例如定位于与X_2，2等同的HD象素Y_4，4是一个参考象素，则类别抽头电路202从以SD象素X_2，2作为中心3×3(水平×垂直)SD象素X_1，1，X_2，1，X_3，1，X_1，2，X_2，2，X_3，2，X_1，3，X_2，3和X_3，3(图13中由点线确定的区域中的SD象素)抽取并作为参考象素(HD象素)Y_4，4的分类抽头，它们可能与同HD象素Y_4，4等同位置的HD象素Y_4，4相关。

例如，在下述情况中，位于与X_2，2位置等同的HD象素Y_4，4右边的HD象素Y_5，4被用作参考象素，类别抽头产生电路202取出对应于HD象素Y_5，4的SD象素，例如，在图14中被点线包围的九个SD象素，包括SD象素X_4，2替代当HD象素Y_4，4作为参考象素时形成的类别抽头中的SD象素X_1，2，并且九个SD象素作为参考象素(HD象素)Y_5，4的类别抽头。

例如，在下述情况中，相邻于与X_4，4位置等同的HD象素Y_4，4的HD象素Y_4，5被用作参考象素，类别抽头产生电路202取出对应于HD象素Y_4，5的SD象素，例如，在图15中被点线包围的九个SD象素，包括SD象素X_2，4替代当HD象素Y_4，4作为参考象素时形成的类别抽头中的SD象素X_2，1，并且九个SD象素作为参考象素(HD象素)Y_4，5的类别抽头。

例如，在下述情况中，相邻于与HD象素Y_4，4右斜下方的HD象素Y_5，5被用作参考象素，类别抽头产生电路202取出对应于HD象素Y_5，5的SD象素，例如，在图16中被点线包围的九个SD象素，包括SD象素X_4，4替代当HD象素Y_4，4作为参考象素时形成类别抽头中的SD象素X_1，1，并且九个SD象素作为参考象素(HD象素)Y_5，5的类别抽头。

分类电路203检测九个SD象素(象素层)图形作为类别抽头，并输出对应于图形的值作为参考象素类别。

此类别提供给自适应处理单元204中的系数只读存储器(ROM)207的地址端(AD)。

通常，八位等位被指定给包括在一幅图像中的一个象素。如果八位被指定给一个SD象素，则仅在图13所示的3×3象素组成的二次方类别抽头中的象素层图案的数目大到(2⁸)⁹，以致不能够执行迅速的后处理。

因此，在执行分类之前，采用例如用于降低构成类别抽头的SD象素位数的自适应动态范围编码(ADRC)执行类别抽头预处理。

根据ADRC，从构成类别抽头的九个SD象素检测具有最大层的象素(此后称作“最大象素”)和具有最小层的象素(此后称WT“最小象素”)。计算最大象素层MAX和最小象素层MIN之间的差值DR(＝MAX-MIN)，并且将DR用作类别抽头的局部动态范围。基于动态范围DR，类别抽头的每个象素层被重新量化为K位，小于起始指定位的数目。换言之，从类别抽头的各个象素层中减去最小象素层MIN，并且减去的值除以DR/2^K。

结果是，类别抽头的每个象素层可由K位表示。因此，当K＝1时，九个SD象素层图案的数目为(2¹)⁹。与未执行的ADRC情况相比，可大大减少图形数目。

另外，自适应处理单元204包括预测抽头产生电路205，预测计算电路206，和系数ROM207，并执行自适应处理。

预测抽头产生电路205从供给自适应处理单元204的SD图像中抽出分别与参考象素具有预定位置关系的多个SD象素，这些SD象素用在预测计算电路206中以求解参考象素的预测值，并且把它们作为预测抽头提供给预测计算电路206。

特别是，在下述情况中，HD象素Y_4，4被用作参考象素，并且形成利用图13所述的类别抽头，预测抽头产生电路205抽取可能与例如HD象素Y_4，4具有很大相关性的SD象素，例如具有以SD象素X_2，2为中心的5×5个SD象素(图13中被实线定义的区域)，它的位置与参考象素Y_4，4等同，并且SD象素作为参考象素(HD象素)Y_4，4的预测抽头。

例如，在下述情况中，HD象素Y_5，4被作为参考象素，预测抽头产生电路205抽取图14中被实线包围的25个SD象素，这些SD象素包括SD象素X_5，2替代当HD象素Y_4，4作为参考象素时形成的预测抽头中的SD象素X_0，2，并且25个SD象素作为参考象素(HD象素)Y_5，4的类别抽头。

例如，在下述情况中，HD象素Y_4，5被作为参考象素，预测抽头产生电路205抽取图15中被实线包围的25个SD象素，这些SD象素包括SD象素X_2，5替代当HD象素Y_4，4作为参考象素时形成在预测抽头中的SD象素X_2，0，并且25个SD象素作为参考象素(HD象素)Y_4，5的类别抽头。

例如，在下述情况中，HD象素Y_5，5被作为参考象素，预测抽头产生电路205抽取图16中被实线包围的25个SD象素，这些SD象素包括SD象素X_5，5替代当HD象素Y_4，4作为参考象素时形成的类别抽头中SD象素X_0，0，并且25个SD象素作为参考象素(HD象素)Y_5，5的类别抽头。

另外，来自预测抽头产生电路205的预测抽头，和来自系数ROM207的预测系数组供给预测计算电路206。

系数ROM207保持通过执行分类的预先学习求解的预测系数。当被提供来自分类电路203的分类时，读出储存在相应于分类的地址中的预测系数，并供给预测计算电路206读出系数。

用此方法，对预测计算电路206提供相应于参考象素的预测抽头和一组预测系数作为参考象素类别。预测计算电路206完成方程(1)中所示的计算，利用来自系数ROM207的预系数w₁，w₂，...和来自预测抽头产生电路6(SD象素构成)的预测抽头x₁，x₂，...。解出参考象素(HD象素)的预测值E[y]，并将其输出作为HD象素层。

利用所有作为参考象素的HD象素执行上述处理，因此将SD图像转换成HD图像。在处理中类别抽头产生电路202和预测抽头产生电路205采用同一个HD象素。

图17表示用于对存储在图17中系数ROM207内的类别计算预测系数组执行学习的学习装置框图。

在学习中用于教学数据y的HD图像被供给抽选电路211和教学数据抽取电路146。在抽选电路211中，通过抽选其象素数目降低HD图像，因此形成一个SD图像。换言之，抽选电路211减少HD图像的层和垂直象素数目以形成SD图像。SD图像供给分类单元212和预测抽头产生电路145。

分类单元212或预测抽头产生电路145执行与在分类单元201或预测抽头产生电路205中同样的处理，因此输出参考象素的预测抽头或类别。从分类单元212输出的类别被供给数据存储器148和预测抽头存储器147的地址端(AD)，并且从预测抽头产生电路145输出的预测抽头被供给预测抽头存储器147。分类单元212和预测抽头产生电路145采用同一个HD象素作为参考象素。

在预测抽头存储器147中，由预测抽头产生电路145供给的预测抽头被储存在相应于供给分类单元212的类别的地址处。

另外，教学数据抽取电路146从供给的HD图像中抽取在预测抽头产生电路145中作为参考象素的HD象素，并且将其提供给教学数据存储器148作为教学数据。

在教学数据存储器148中，由教学数据抽取电路146供给的教学数据被储存在相应于由分类单元146供给的类别的地址处。

上述处理被执行同时上述准备作为学习的所有HD图像的HD象素被连续作为参考象素。

其结果是，在教学数据存储器148或预测抽头存储器147的同一地址处，类别中相应于地址的HD象素，或被定位的SD象素，以便在图13至16中描述的预测抽头作为教学数据y或学习数据x储存。

预测抽头存储器147和教学数据存储器148在同一个地址处保持多个信息数据，因此，在同一地址处，储存多个分类到等同类别中的学习数据x和教学数据y。

随后，算术电路149从预测抽头存储器147或教学数据存储器148中读取储存在等同地址处作为预测抽头或教学数据的HD象素，并利用其计算预测系数组，通过最小二乘法将预测数据和教学数据间的误差最小化。换言之，在算术电路149中，正态方程(7)对每个类别成立。通过对这些的求解，得到预测系数组。

在上述方式中，通过算术电路149求得的对每个类别的预测系数组存储在相应于图12系数ROM207中每个类别的地址处。

在上述学习中，可能有下述情况，在类别中得不到预测系数组所需的正态方程。考虑到这样的类别，例如，通过建立正态方程得到的不考虑类别的预测系数组等将作为错误的预测系数组。

根据自适应处理，得到包括未包含在原始SD图像中的高频分量的HD图像。通过执行对参考象素的分类，并采用根据得到的类别的预测系数执行自适应过程，可执行适于参考象素的自适应处理。

另外，在上述图像处理装置(图12)和学习装置(图17)中，类别抽头包括具有与参考象素有位置关系(在图13至16中所述)，而不考虑图像特征的SD象素。

换言之，类别抽头由如图13至16所述的逼近参考象素的九个SD象素组成。

另外，一幅图像可分成由具有近似的亮度级、色彩等象素组成的区域：即，预定物体被显示的区域，和具有预定色彩和图形的区域。因此，通过对图像中对不同于其它区域一个区域执行上述分类，可能有这样的情况，例如几乎没有象素变化的部分中的所有参考象素被分类到同一个类别中。

可是，例如，通过对这样部分的分类以便使远离参考象素的SD象素包括在类别抽头中，分类到同一个类别中的参考象素可被分类到不同的类别中。换言之，通过在一个较广范围内形成具有SD象素的类别抽头，参考象素可被分类到适合参考象素的类别中。

如果参考象素被分类到适合如上所述参考象素的类别中，可执行更适合参考象素的自适应处理，并且可提高合成HD图像的质量。

因此，本发明的一个目的是提供一个通过解决上述问题使图像质量得到改进的图像处理装置和方法。

为达到此目的，根据本发明的一个方面，上述目的已经通过提供一个图像处理装置达到，该图像处理装置通过利用每单元面积象素数目小于第一图像的第二图像对应的低分辨率和每单元面积象素数目小于第二图像的对应的第三图像来为第一图像产生一个相对高的分辨率以执行处理，所述图像处理装置包括：用于接收所述第二和第三图像的接收单元；和分类单元，根据对应于参考象素的所述第二或第三图像象素的性质，将所述第一图像的参考象素分成预定类别，每个类别由一个表示在各自参考象素附近所述第二或第三图像多个象素的类别抽头定义，其中，所述第三图像中的每个象素在所述第二图像中表示多个象素。

根据本发明的另一个方面，上述目的已经通过提供一个图像处理方法达到，该图像处理方法通过利用每单元面积象素数目小于第一图像的第二图像对应的低分辨率和每单元面积象素数目小于第二图像的第三图像来为第一图像产生一个相对高的分辨率以执行处理。所述图像处理方法包括步骤：接收所述第二和第三图像；和根据对应于参考象素的所述第二或第三图像的象素性质，将所述第一图像的参考象素分成预定的类别，每个类别由一个表示在各自参考象素附近所述第二或第三图像多个象素的类别抽头定义，其中，所述第三图像中的每个象素在所述第二图像中表示多个象素。

根据本发明的图像处理装置和图像处理方法，根据相应于参考象素的第二和第三图像的象素性质把称为第一图像的象素的参考象素分类到预定的类别中。因此，可把参考象素分类到更适合的类别中。

图1表示本发明采用的图像处理装置的实施例框图；

图2表示用于产生第一至第三分层SD图像的存储单元的框图；

图3表示一个第一分层SD图像的结构图；

图4表示如图2所示存储单元第一功能实例的框图；

图5表示如图2所示存储单元第二功能实例的框图；

图6表示如图2所示存储单元第三功能实例的框图；

图7表示分层分类电路104a至104d每个第一结构的框图；

图8表示由图7中类别抽头产生电路113产生的分类抽头的示意图；

图9表示图1中自适应处理电路105a至105d每个结构的框图；

图10表示图1中分层分类电路104a至104d每个第二结构的框图；

图11表示储存在图9中系数ROM123内的用于执行学习有关预测系数的学习装置一个实施例的框图；

图12表示传统图像转换器的一个实例的框图；

图13表示形成类别抽头和预测抽头的示意图；

图14表示形成类别抽头和预测抽头的示意图；

图15表示形成类别抽头和预测抽头的示意图；

图16表示形成类别抽头和预测抽头的示意图；

图17表示储存在图12中系数ROM207内的用于执行学习有关预测系数的学习装置一个实施例的框图。

下面将描述本发明实施例。

图1表示本发明采用的图像处理装置一个实施例。

此图像处理装置处理多个具有不同象素数目的SD图像(第二和第三图像)，由此产生一个具有象素数目高于该SD图像的HD图像(第一图像)(其图像分辨率同样很高)。

具体地说，在第一分层存储器101、第二分层存储器102和第三分层存储器103中，分别存储第一至第三分层SD图像。与第一分层SD图像相比，第二分层SD图像的象素数目较第一分层SD图像的少，并且第三分层SD图像的象素数目较第二分层SD图像的少。

储存在第一分层存储器101中的第一分层SD图像、储存在第二分层存储器102中的第二分层SD图像和储存在第三分层存储器103中的第三分层SD图像分别被供给多层分类单元104。储存在第一分层存储器101中的第一分层SD图像同样被供给自适应处理单元105。

多层分类单元104包括多层分类电路104a至104d，并且利用那些相应于从第一分层存储器101、第二分层存储器102和第三分层存储器103中构成各自第一至第三分层图像的象素中的参考象素，基于自适应处理求解的预测值执行作为HD象素的参考象素的多层分类(作为类型分类)。

在此实施例中，例如，产生具有象素数目为第一分层SD图像水平和垂直象素数目两倍的HD图像。在此情况中，如上面参考图13至图16的描述，对于一个SD象素(此处为第一分层SD象素)，需要总共产生四个HD象素，即，一个与一个SD象素位置等同的HD象素和三个相邻于一个HD象素的右边、下边和对角右下边的HD象素。换言之，对于一个第一分层SD象素需要产生四个HD象素。因此，为了执行四个HD象素的同时分类(多层分类)，多层分类单元104包括四个多层分类电路104a至104d。

从多层分类单元104a至104d对四个参考象素分类得到的结果供给自适应处理单元105。自适应处理单元105同样包括四个自适应处理单元105a至105d，由于同样的原因，多层分类单元104包括四个多层分类电路104a至104d。各个多层分类单元104a至104d相应于由多层分类单元104a至104d得到的分类结果执行自适应处理，因此对于四个参考象素得到预测值。由自适应处理单元105a至105d得到的预测值供给并储存在一个HD图像存储器106中。

类似于多层分类单元104和自适应处理单元105，HD图像存储器106包括四个存储器106a至106d。在存储器106a至106d中，分别存储由自适应处理单元105a至105d供给的预测值。

此处，对于一个位置等同于一个第一分层SD象素的HD象素，多层分类单元104a或自适应处理单元105a执行多层分类或自适应处理，并且得到的预测值储存在存储器106a中。另外，对于相邻于位置等同于第一分层SD象素的HD象素的右边、下边和对角右下边的HD象素，多层分类电路104b和自适应处理单元105b、多层分类电路104c和自适应处理单元105c、或多层分类电路104d和自适应处理单元105d执行处理。得到的预测值储存在存储器106b至106d中。

下面，在详细描述多层分类单元104和自适应处理单元105之前，将描述一种产生分别储存在第一分层存储器101、第二分层存储器102和第三分层存储器103中的第一至第三分层SD图像的技术。

图2表示用于产生第一到第三分层SD图像的存储单元的框图。

例如，存储单元包括，一个芯片互补金属氧化半导体(CMOS)，和执行三个分层编码，其中一个输入SD图像被作为第一分层SD图像，并且产生象素数目较第一分层SD图像少的第二分层SD图像和象素数目较第二分层SD图像少的第三分层SD图像。

特别是，水平地址或垂直地址作为相应于构成一个输入到存储单元中的SD象素的水平或垂直位置的地址供给到一个地址提供电路1。

在此实施例中，如图3所示，由水平方向上的512个象素和垂直方向上的512个象素构成的一个图像(数字图像)被作为第一分层SD图像输入。因此，水平地址和垂直地址每一个均被表示为9位(log₂512)。

另外，在本实施例中，如上所述，产生象素数目为第一分层图像水平和垂直象素两倍的HD图像。因此，一个HD图像由1024×1024个象素组成。

地址提供电路1根据需要处理输入的水平地址和垂直地址，并将它们送入第一分层存储器2、第二分层存储器3和第三分层存储器4。除水平地址和垂直地址外还提供给地址提供电路1一个时钟(在以下将要描述的图4至图6中未示出)、一个读/写(R/W)信号和一个分层特征位。地址提供电路1与时钟同步地将地址提供给第一分层存储器2、第二分层存储器3和第三分层存储器4。根据R/W信号和分层特征位，地址提供电路1处理所提供的水平地址和垂直地址。地址电路1根据需要向读-改-写电路(RMW)5提供一个预定的控制信号。

R/W信号控制从存储单元读出图像数据或向存储单元写入图像数据。当存储在存储单元中的图像被读出时，分层特征位例如是二位特征位控制任一第一至第三分层SD图像的读出。图像数据同时被写入如第一分层存储器2、第二分层存储器3和第三分层存储器4中，以便当R/W信号指示写入时不考虑(无意义)分层特征位。另外，分别执行由第一分层存储器2、第二分层存储器3和第三分层存储器4的读出，以便分层特征位仅在进行读出期间有效。可是，从第一分层存储器2、第二分层存储器3和第三分层存储器4中的读出可同时进行。在这种情况中，不需要使用分层特征位。

第一分层存储器2将由RMW电路5提供的图像数据储存到由地址提供电路1指定的址处，并读出存储在该地址处的图像数据以及将其输出给RMW电路5。第一分层存储器2可储存第一分层SD图像，即输入到存储单元中的图像数据。第一分层存储器2可至少储存一幅第一分层SD图像，即如图2所示的512×512象素的图像数据。第一分层存储器2中的存储单元有一个等于分派给第一分层SD图像象素的位数的数据长度。换言之，例如当第一分层SD图像的象素被表示成八位时，第一分层存储器2中的存储单元至少有一个八位的数据长度。

第二分层存储器3将由RMW电路5提供的图像数据存储到由地址提供电路1指定的地址处，并读出存储在该地址处的图像数据以及将其输出给RMW电路5。第二分层存储器3可保持第二SD图像。在此实施例中，例如，在第一分层SD图像中的四个(2×2(水平×垂直))相邻的象素之和作为一个第二分层象素。第二分层存储器3可保持包括这样一个象素的第二分层SD图像。第二分层存储器3具有至少储存一个第二分层SD图像的存储容量。换言之，此处一个第二分层象素由2×2个第一分层象素构成。由此，第二分层SD图像由256×256(＝512/2×512/2)象素组成。因此，第二分层存储器3可储存具有如此象素数目的第二分层SD图像。第二分层存储器3中的存储单元至少具有能够储存构成第二分层SD图像的象素而无溢出的数据长度。换言之，因为在本实施例中一个第一分层象素被表示为八位，所以作为四个八位象素之和的第二分层象素被表示成十(＝log₂(2⁸+2⁸+2⁸+2⁸))位。因此，第二层存储器3中的存储单元至少有十位的数据长度。

第三分层存储器4将由RMW电路5提供的图像数据存储到由地址提供电路1指定的地址处，并读出存储在该地址处的图像数据以及将其输出给RMW电路5。第三分层存储器4可保持第三分层SD图像。在此实施例中，在第二分层SD图像中的四个(2×2)相邻的象素，换言之，第一分层SD图像中4×4象素之和作为一个第三分层象素。第三分层存储器4被设计成可存储包括这样象素的第三分层SD图像。第三分层存储器4具有至少储存一个第三分层SD图像的存储容量。此处，一个第三分层象素由2×2个第二分层象素形成。由此，第二分层SD图像由128×128(＝256/2×256/2)象素组成。因此，第三分层存储器4被设计成至少储存具有如此象素数目的第三分层SD图像。第三分层存储器4中的存储单元具有至少能够储存构成第三分层SD图像的象素而无溢出的数据长度。换言之，在本实施例中，一个第二分层象素被表示为如上所述的十位。所以，作为四个十位象素之和的第三分层象素被表示成十二(＝log₂(2¹⁰+2¹⁰+2¹⁰+2¹⁰))位。因此，第三分层存储器4中的存储单元至少有十二位的数据长度。

时钟供给第一分层存储器2、第二分层存储器3和第三分层存储器4，并且数据读出或数据写入与供给的时钟同步进行。

RMW电路5将输入到存储单元中的图像数据写入到第一分层存储器2内作为第一分层SD图像。RMW电路5由第一分层SD图像中计算第二分层SD图像，并将其写入到第二分层存储器3中。RMW电路5还由第一分层SD图像(或者第二分层SD图像)计算第三分层SD图像，并将其写入到第三分层存储器4中。RMW电路5读出并输出分别储存在第一分层存储器2、第二分层存储器3和第三分层存储器4中的图像数据。时钟、R/W信号、分层特征位和由地址提供电路1输出的控制信号供给RMW电路5，并且RMW电路5与时钟同步地执行响应于R/W信号、分层信号和控制信号的各种处理。

下面，参见图3至5讨论其操作。

此处，如上述图3中所示，假定一个图像由512×512个象素构成并且每个象素被表示成八位的图像数据被提供到存储单元中作为第一分层SD图像。另外，作为通常所谓的“顺序扫描”的结果供给图像数据。

在构成第一分层SD图像的象素中，h(0，0)代表左顶象素，相类似，h(x，y)代表从左起的第(x+1)及从顶起的(y+1)。因为如上所述第一分层SD图像由512×512个象素构成，x和y均取0至511(＝2⁹-1)范围内一整数。

当假定变量s和t取0和255(＝2⁹/2-1)之间一整数时，第二分层SD图像中的一个象素是2×2个相邻的第一分层象素h(2s，2t)，h(2s+1，2t)，h(2s，2t+1)和h(2s+1，2t+1)之和。该和值由m(s，t)表示。下列方程成立。m(s，t)＝h(2s，2t)+h(2s+1，2t)+h(2s，2t+1)+h(2s+1，2t+1)

另外，当假定变量m和n取0和127(＝2⁹/4-1)之间一整数时，第三分层SD图像中的一个象素是相邻的2×2个第二分层象素，

m(2m，2n)，m(2m+1，2n)，

m(2m，2n+1)，和m(2m+1，2n+1)之和。

换言之，相邻4×4个第一分层象素之和，

h(4m，4n)，h(4m+1，4n)，h(4m+2，4n)，h(4m+3，4n)，

h(4m，4n+1)，h(4m+1，4n+1)，h(4m+2，4n+1)，h(4m+3，4n+1)，

h(4m，4n+2)，h(4m+1，4n+2)，h(4m+2，4n+2)，h(4m+3，4n+2)，

h(4m，4n+3)，h(4m+1，4n+3)，h(4m+2，4n+3)，h(4m+3，4n+3)，

此被表示成q(m，n)。因此，等式

q(m，n)＝m(2m，2n)+m(2m+1，2n)+m(2m，2n+1)+m(2m+1，2n+1)

       ＝h(4m，4n)+h(4m+1，4n)+h(4m+2，4n)

       +h(4m+3，4n)+h(4m，4n+1)+h(4m+1，4n+1)

       +h(4m+2，4n+1)+h(4m+3，4n+1)+h(4m，4n+2)

       +h(4m+1，4n+2)+h(4m+2，4n+2)+h(4m+3，4n+2)

       +h(4m，4n+3)+h(4m+1，4n+3)+h(4m+2，4n+3)

       +h(4m+3，4n+3)                 (9)成立。

在数据写入和数据读出的任何情况中，水平地址HA和垂直地址VA的结合(HA，VA)以下述顺序(对应于顺序扫描)与时钟同步地供给地址提供电路1

(0，0)，(1，0)，...(511，0)，

(0，1)，(1，1)，...(511，1)，

...

(511，0)，(511，1)，...和(511，511)。

具有九位的水平地址HA的各个位以ha1，ha2，...，ha8表示(ha8是为最大有效位)，最小有效位以ha0表示。同样，具有九位的垂直地址VA的各个位以va1，va2，...，va8表示(va8是为最大有效位)，最小有效位以va0表示。

另外，当图像数据被写入到存储单元时，被顺序扫描的第一分层SD图像与时钟同步地提供给RMW电路5，并且根据此，水平地址HA和垂直地址VA如上所述供给地址提供电路1。

在这种情况中，第一分层存储器2以下列方式存取。

如图4所示，在进行写入时，(R/W信号表示写入的情况)，地址提供电路1将供给的水平地址HA和垂直地址VA提供给第一分层存储器2的地址端(ADh，ADv)，而不改变它们。RMW电路5在第一分层存储器2的存储单元(未示出)中写入由水平地址HA和垂直地址VA指定的所供给的第一分层SD图像数据(SD象素(象素层))。连续进行相同的处理，因而一个包含512×512象素的第一分层SD图像被储存在第一分层存储器2中。因此，在第一分层存储器2中，在地址处：

(0，0)，(1，0)，...(511，0)，

(0，1)，(1，1)，...(511，1)，

...

(511，0)，(511，1)，...和(511，511)，

第一分层象素(象素层)：

h(0，0)，h(1，0)，...h(511，0)，

h(0，1)，h(1，1)，...h(511，1)，

...

h(511，0)，h(511，1)，...和h(511，511)分别被储存。

在进行读出时(R/W信号表示读出的情况)，如果分层特征位表示第一分层水平，地址提供电路1同样将供给的水平地址HA和垂直地址VA提供给第一分层存储器2的地址端，而不改变他们。RMW电路5读出存储在由水平地址HA和垂直地址VA指定的存储单元处的第一分层SD图像数据，并且连续进行相同的处理，因而一个包含512×512象素的第一分层SD图像从第一分层存储器2中读出。因此，输出被顺序扫描的第一分层SD图像。

下面，将讨论第二分层存储器3的存取。

如图5所示，例如，当进行写入时，地址提供电路1将供给的水平地址HA的一部分，即除最小有效位ha0外的高阶八位ha1至ha8，以及垂直地址VA的一部分，即除最小有效位va0外的高阶八位va1至va8送给第二分层存储器3的地址端。地址提供电路1还将水平地址HA的最小有效位ha0和垂直地址VA的最小有效位va0输出给RMW电路5作为控制信号。

因此，当由图3中D1标示的四个(2×2)第一分层象素h(2s，2t)、h(2s+1，2t)、h(2s，2t+1)和h(2s+1，2t+1)被送入RMW电路5时，地址提供电路1总是输出给第二分层存储器3一个指示第二层存储器3中相同地址(s，t)的信号。

在RMW电路5中，被提供的第一分层SD图像数据被输入给一个算术单元13。除了第一分层SD图像数据，开关12的输出供给算术单元13，并且算术单元13求出它们的和并将和值输出到写入单元14。

开关12被设计成根据NOR门15的输出在终端12a和12b之间选择。终端12a和12b分别被供给读出部分11或0的输出。水平地址HA的最小有效位ha0和垂直地址VA的最小有效位va0由地址提供电路1供给NOR门15。因此，只有当2×2第一分层象素h(2s，2t)、h(2s+1，2t)、h(2s，2t+1)和h(2s+1，2t+1)的左顶象素h(2s，2t)被提供给算术单元13时，其输出才处于H电平，而其余的情况处于L电平。

在开关12中，当NOR门15的输出处于L电平或H电平时选择终端12a或终端12b。

读出单元11读出存储在相应于地址提供电路1输出信号的地址处的数据(存储数据)。

因此，当2×2第一分层象素h(2s，2t)、h(2s+1，2t)、h(2s，2t+1)和h(2s+1，2t+1)的左顶象素h(2s，2t)被提供给算术单元13时，读出单元11读出储存在第二分层存储器3内地址(s，t)处的数据，并将其输出到终端12a。在这种情况中，水平地址HA的最小有效位ha0和垂直地址VA的最小有效位va0均为0。因此，NOR门15的输出处于H电平，并且在开关12中选择终端12b。

其结果是，经开关12将0供送给算术单元13。

算术单元13将0和第一分层象素h(2s，2t)相加，并将所得的和值(0+h(2s，2t))供给写入单元14。写入单元14将算术单元13的输出写入到相应于地址提供电路1的输出的地址处，即第二分层存储器3中的地址(s，t)处。

下面，当2×2第一层象素h(2s，2t)、h(2s+1，2t)、h(2s，2t+1)和h(2s+1，2t+1)的左顶象素h(2s，2t)被供给算术单元13时，读出单元11读出储存在第二分层存储器3内地址(s，t)处的数据(此处为0+h(2s，2t))，并将其供给终端12a。

另外，在此情况中，水平地址HA的最小有效位ha0为1，并且垂直地址VA的最小有效位va0为0。所以，NOR门15的输出处于L电平，在开关12中选择终端12a。

其结果是，由读出部分11读出的数据(存储数据)(此处为0+h(2s，2t))被供给算术单元13。

算术单元13将经开关12供给的数据与第一分层象素h(2s，2t)相加(0+h(2，2t)+h(2s+1，2t))，并将所得的和值供给写入单元14。写入单元14将算术单元13的输出写入到相应于地址提供电路1输出的信号的地址处，即第二分层存储器3中的地址(s，t)处。

接着，开始从顶部到第2t+1行提供图像数据。当2×2第一层象素h(2s，2t)、h(2s+1，2t)、h(2s，2t+1)和h(2s+1，2t+1)的左底象素h(2s，2t+1)被供给算术单元13时，读出单元11类似地读出储存在第二分层存储器3内地址(s，t)处的数据(0+h(2s，2t)+h(2s2+1，2t))，并将其输出到终端12a。

另外，在此情况中，水平地址HA的最小有效位ha0为0，并且垂直地址VA的最小有效位va0为1。所以，NOR门15的输出处于L电平，并且在开关12中选择终端12a。

其结果是，由读出单元11读出的数据(存储数据)(0+h(2s，2t)+h(2s+1，2t))经开关12供给算术单元13。

算术单元13将经开关12供给的数据与第一分层象素h(2s，2t+1)相加，并将所得的和值(0+h(2s，2t)+h(2s+1，2t)+h(2s，2t+1))供给写入单元14。写入单元14将算术单元13的输出写入到相应于地址提供电路1的输出信号的地址处，即第二分层存储器3中的地址(s，t)处。

下面，当2×2第一层象素h(2s，2t)、h(2s+1，2t)、h(2s，2t+1)和h(2s+1，2t+1)的左底象素h(2s，2t+1)的右侧象素h(2s+1，2t+1)被供给算术单元13时，读出单元11读出储存在第二分层存储器3中地址(s，t)处的数据(此处为0+h(2s，2t)+h(2s+1，2t)+h(2s，2t+1))，并将其供给终端12a。

在这种情况中，水平地址HA的最小有效位ha0和垂直地址VA的最小有效位va0均为1。因此，NOR门15的输出处于L电平，并且在开关12中选择终端12a。

其结果是，由读出单元11读出的数据(存储数据)(0+h(2s，2t)+h(2s+1，2t)+h(2s，2t+1))经开关12供给算术单元13。

算术单元13将经开关12供给的数据与第一分层中的象素h(2s+1，2t+1)相加并将所得的和值(0+h(2s，2t)+h(2s+1，2t)+h(2s，2t+1)+h(2s+1，2t+1))供给写入单元14。写入单元14将算术单元13的输出写入到相应于地址提供电路1的输出信号的地址处，即第二分层存储器3中的地址(s，t)处。

因此，在第二分层存储器3中的地址(s，t)处最终储存由数值表达式h(2s，2t)+h(2s+1，2t)+h(2s，2t+1)+h(2s+1，2t+1)表示的和，即由上述方程(8)表示的第二分层象素(象素值)m(s，t)。

在上述方法中，在第二分层存储器3中储存由256×256象素构成的一幅图像的第二分层SD图像。

如上所述，第一分层SD图像数据被写入到由水平地址HA和垂直地址VA指定的第一分层存储器2中的地址(HA，VA)处，并且储存的数据被从由水平地址HA和垂直地址VA的部分ha1至ha8和va1至va8指定的第二层存储器中的地址处读出。执行将存储数据和第一分层SD图像数据相加的处理，并且和值在存储数据被存储的地址处被写入。因此，当第一分层SD图像数据被存储时，产生第二分层SD图像数据并将其存储。换言之，可实时获得第二SD图像数据。

下面，将讨论从第二分层存储器3中读出第二分层SD图像。

当进行写入时，如果分层特征位表示第二分层层，地址提供电路1类似地将供给的水平地址HA或垂直地址VA的高阶八位ha1至ha8或va1至va8提供给第二分层存储器3的地址端，并将最小有效位ha0或va0输出给RMW电路5作为控制信号。

另外，在RMW电路5中，分层特征位、R/W信号和NOR门15的输出供给读出单元11。当R/W信号指示读出操作且分层特征位指示第二分层层，读出单元11读出并输出储存在相应于地址提供电路1输出信号的地址处的第二分层SD图像数据，同时NOR门15的输出处于H电平。

根据上述讨论，在此情况中，水平地址HA和垂直地址VA的设置位于(2s，2t)，(2s+1，2t)，(2s，2t+1)和(2s+1，2t+1)处，在每种情况中由地址提供电路1输出相同的地址(s，t)。因此，单从相应于地址提供电路1输出信号的第二分层存储器3中地址处读出数据则导致四次读出相同的数据。

因此，例如，只有当水平地址HA和垂直地址VA的设置是源自(2s，2t)，(2s+1，2t)，h(2s，2t+1)和(2s+1，2t+1)的(2s，2t)时，换言之，只有当NOR门15的输出为H电平时，读出单元11从第二分层存储器3中地址(s，t)处读出第二分层象素(象素值)m(s，t)。

由读出单元11读出的第二分层SD图像数据被供给开关16。开关16仅当R/W信号指示读出时接通，而其余时间断开。在此情况中，因为开关16被接通，所以由读出单元11读出的第二分层SD图像数据经开关16输出。

以上述方式，从第二分层存储器3中读出由256×256象素构成的一个存储器的第二分层SD图像。因此，换言之，输出被顺序扫描的第二分层SD图像。

下面，讨论对第三分层存储器4的存取。

开始，地址提供电路1将被提供的水平地址HA的一部分，即高阶七位ha2至ha8而无低阶二位ha0和ha1，和被提供的垂直地址VA的一部分，即高阶七位va2至va8而无低阶位va0和va1提供给第三分层存储器4的地址端。地址提供电路1还将水平地址HA的高阶二位ha0和ha1以及垂直地址VA的低阶二位va0和va1输出给RMW电路5作为控制信号。

由此，例如，当由图3中所示的D2表示的16(4×4)第一分层象素h(4m，4n)、h(4m+1，4n)、h(4m+2，4n)、h(4m+3，4n)、h(4m，4n+1)、h(4m+1，4n+1)、h(4m+2，4n+1)、h(4m+3，4n+1)、h(4m，4n+2)、h(4m+1，4n+2)、h(4m+2，4n+2)、h(4m+3，4n+2)、h(4m，4n+3)、h(4m+1，4n+3)和h(4m+3，4n+3)被送入RMW电路5时，地址提供电路1总是输出一个指示第三分层存储器4中相同地址(s，t)的信号。

在RMW电路5中，被提供的第一分层SD图像数据被输入给一个算术单元23。除了第一分层SD图像，开关22的输出被供给算术单元23。算术单元23将其相加且将该和值供给写入单元24。

在开关22中，开关22根据NOR门25的输出在终端22a或22b之间选择。终端22a和22b分别被供以读出单元21和0的输出。来自地址设置电路1的水平地址HA的低阶二位ha0和ha1以及垂直地址VA的低阶二位va0和va1被供给NOR门25。由此，只有当4×4第一分层象素h(4m，4n)、h(4m+1，4n)、h(4m+2，4n)、h(4m+3，4n)、h(4m，，4n+1)、h(4m+1，4n+1)、h(4m+2，4n+1)、h(4m+3，4n+1)、h(4m，4n+2)、h(4m+1，4n+2)、h(4m+2，4n+2)、h(4m+3，4n+2)、h(4m，4n+3)、h(4m+1，4n+3)、h(4m+2，4n+3)、h(4m+3，4n+3)和h(4m+3，4n+3)的左顶象素h(4m，4n)被提供给算术单元23时，其输出才处于H电平，而其余的时间处于L电平。

开关22被设计成根据NOR门25的输出处于L电平或H电平而在终端22a和22b之间选择。

读出单元21被设计成读出储存在相应于地址提供电路1输出信号的地址处的数据(存储数据)。

因此，当第一分层象素h(4m，4n)被提供给算术单元23时，读出单元21读出存储在第三分层存储器4内地址(m，n)处的数据，并将其输出到终端22a。在这种情况中，水平地址HA的低阶二位ha0和ha1以及垂直地址VA的低阶二位va0和va1均为0。因此，NOR门25的输出处于H电平，并在开关22中选择终端22b。

其结果是，经开关22将0送给算术单元23。

算术单元23将0和第一分层象素h(4m，4n)相加，并将所得的和值(0+h(4m，4n))供给写入单元24。写入单元24将算术单元23的输出写入到相应于地址提供电路1的输出信号的地址处，即第三分层存储器4中的地址(m，n)处。

下面，当第一分层象素h(4m，4n)的右侧相邻象素h(4m+1，4n)被供给算术单元23时，读出单元21读出存储在第三分层存储器4内地址(m，n)处的数据，(此处为0+h(4m，4n))，并将其输出到终端22a。

另外，在这种情况中，水平地址HA的低阶二位ha0和ha1分别为1和0，以及垂直地址VA的低阶二位va0和va1均为0。因此，NOR门25的输出处于L电平，并且在开关22中选择终端22a。

其结果是，由读出单元21读出的数据(存储数据)(此处为0+h(4m，4n))经开关22被供给算术单元23。

算术单元23将经开关22提供的数据与第一分层象素h(4m+1，4n)相加，并将所得的和值(0+h(4m，4n)+h(4m+1，4n))供给写入单元24。写入单元24将算术单元23的输出写入到相应于地址提供电路1的输出信号的地址处，即第三分层存储器4中的地址(m，n)处。

下面，当第一分层象素h(4m+1，4n)的右侧相邻象素h(4m+2，4n)被供给算术单元23时，读出单元21类似地读出存储在第三分层存储器4内地址(m，n)处的数据(0+h(4m，4n)+h(4m+1，4n))，并将其供给终端22a。

在这种情况中，水平地址HA的低阶二位ha0和ha1每个为0或1，并且垂直地址VA的低阶二位va0和va1均为0。因此，NOR门25的输出处于L电平，并在开关22中选择终端22a。

其结果是，由读出部分21读出的数据(存储数据)(此处为0+h(4m，4n)+h(4m+1，4n))经开关22被供给算术单元23。

算术单元23将经开关22提供的数据与第一分层象素h(4m+2，4n)相加，并将所得的和值(0+h(4m，4n)+h(4m+1，4n)+h(4m+2，4n))供给写入单元24。写入单元24将算术单元23的输出写入到相应于地址提供电路1的输出信号的地址处，即第三分层存储器4中的地址(m，n)处。

随后，当第一分层象素h(4m+3，4n)、h(4m，4n+1)、h(4m+1，4n+1)、h(4m+2，4n+1)、h(4m+3，4n+1)、h(4m，4n+2)、h(4m+1，4n+2)、h(4m+2，4n+2)、h(4m+3，4n+2)、h(4m，4n+3)、h(4m+1，4n+3)、h(4m+2，4n+3)和h(4m+3，4n+3)被供给算术单元23时，在任何情况中执行如上所述情况的类似的处理，由此，在第三分层存储器4的地址(m，n)处最终储存由方程(9)表示的第三分层象素(象素层)q(m，n)。

在上述方式中，在第三分层存储器4中储存由128×128象素构成一个图像的第三分层SD图像。

因此，当第一分层SD图像数据被存储时，产生第二分层SD图像数据和第三分层SD图像数据并同时将其储存。换言之，可获得第二和第三分层SD图像数据。

下面，将描述从第三分层存储器4中对第三分层SD图像的读出。

当执行读出时，如果分层特征位指示第三分层层，地址提供电路1将被提供的水平地址HA或垂直地址VA的高阶七位ha2至ha8或va2至va8提供给第三分层存储器4的地址端，并且还将低阶二位ha0和ha1或va0和va1的每个输出给RMW电路5作为控制信号。

在RMW电路5中，分层特征位、R/W信号和NOR门25的输出被供给读出单元21。在R/W信号指示读出操作且分层特征位指示第三分层层的情况中，当NOR门25的输出为H电平时，读出单元21读出并输出存储在相应于地址提供电路输出信号的地址处的第三分层SD图像数据。

根据上述讨论，水平地址HA和垂直地址VA的设置是h(4m，4n)、h(4m+1，4n)、h(4m+2，4n)、h(4m+3，4n)、h(4m，4n+1)、h(4m+1，4n+1)、h(4m+2，4n+1)、h(4m+3，4n+1)、h(4m，4n+2)、h(4m+1，4n+2)、h(4m+2，4n+2)、h(4m+3，4n+2)、h(4m，4n+3)、h(4m+1，4n+3)、h(4m+2，4n+3)和h(4m+3，4n+3)的情况时，不管如何，由地址提供电路1输出相同的地址(m，n)。因此，单从相应于地址提供电路1输出信号的第三分层存储器4的地址处读出数据，则导致16次读出相同的数据。

因此，例如，在水平地址HA和垂直地址VA的设置是(4m，4n)的情况中，换言之，只有当NOR门25的输出为H电平时，读出单元21从第三分层存储器4的地址(m，n)处读出第三分层象素(象素层)m(m，n)。

由读出单元21读出的第三分层SD图像数据被供给开关26。开关26仅当R/W信号指示读出时接通，而其余时间断开。在此情况中，因为开关26被接通，所以由读出单元21读出的第三分层SD图像数据经开关26输出。

在上述方式中，从第三分层存储器4中读出储存的由128×128象素构成的一个第三分层SD图像。换言之，由此输出被顺序扫描的第三分层SD图像。

从第二分层存储器3中读取第二分层SD图像数据不仅可通过上述方式，也可通过使地址提供电路1供给的水平地址HA的低阶八位ha0至ha7和垂直地址VA的低阶八位va0至va7作为第二分层存储器3中的地址。类似地，从第三分层存储器4中读取第三分层SD图像还可通过提供水平地址HA的低阶七位ha0至ha6和垂直地址VA的低阶七位va0至va6作为第三分层存储器4中的地址。

图1中，在第一分层存储器101、第二分层存储器102、或第三分层存储器103中，存储在第一分层存储器101、第二分层存储器102、或第三分层存储器103中的第一至第三分层SD图像以上述方式存储。因此，图1中，第一分层存储器101、第二分层存储器102、或第三分层存储器103具有与图2中第一分层存储器2、第二分层存储器3、或第三分层存储器4相同的结构。

下面，图7所示的是多层分类单元104(每个多层分类单元104a至104d)的框图。

存储在第一分层存储器101、第二分层存储器102、或第三分层存储器103中的第一至第三分层SD图像被供给选择电路112。另外，第一或第二分层SD图像同样还被供给有效选择电路111₁或111₂。

例如，有效选择电路111₁或111₂利用接近第一或第二分层SD图像中的参考象素的SD象素检测其有效性，并检测选择电路112检测结果。根据有效选择电路111₁或111₂的有效性。选择电路112选择任一第一至第三分层SD图像，并将其供给类别抽头发生电路113。例如，选择电路112输出给组合电路115一个表示选择第一至第三分层层之一的二位选择信号。类别抽头产生电路113采用来自选择电路112的图像以产生一个用于分类参考象素的类别抽头，并将其供给分类电路114。分类电路114采用来自类别抽头产生电路113的类别抽头以执行分类，并将分类结果供给组合电路115。组合电路115组合来自选择电路112的选择信号和一个作为来自分类电路114的分类结果的类别以形成一个值，并将其供给自适应处理单元105作为参考象素最终分类结果(图1)。

下面，将讨论操作。

开始，在有效选择电路111₁或111₂中，检测第一或第二分层SD图像中每个参考象素周围的有效性。

换言之，例如，有效选择电路111₁检测源自构成第一分层SD图像的象素中具有与一个参考象素位置相同的一个象素的3×3象素区域的有效性。例如，有效选择电路111₂同样检测源自构成第二分层SD图像的象素中具有与一个参考象素位置相同的一个象素的3×3象素区域的有效性。

此处，第二分层SD图像具有水平和垂直象素数目是第一分层SD图像相应象素数目的一半。因此，参考第一分层SD图像，有效选择电路111₂检测的有效性与有效选择电路111₁相比在更宽的区域上。

在具有与参考象素位置相同的第一和第二分层SD象素的3×3象素区域中，即利用图13，相应于描述的类别抽头的正方形区域，如上所述的，在多层分类电路104a、和其他多层分类电路104b至104d中执行如上所述的有效性检测，在相应于利用图14至16描述的类别抽头的区域中检测有效性。

由有效选择电路111₁或111₂检测的第一或第二图像的有效性被供给选择电路112。在选择电路112中，根据来自有效选择电路111₁或111₂的有效性，选择任一第一至第三分层SD图像。

换言之，选择电路112确定第一分层图像上的有效性是否大于预定的阈值ε。如果第一分层图像上的有效性大于预定的阈值ε，选择电路112选择并将第一分层图像供给类别抽头产生电路113。

如果第一分层图像上的有效性不大于预定的阈值ε，选择电路112确定第二分层图像上的有效性是否大于预定的阈值ε。如果第二分层图像上的有效性大于预定的阈值ε，选择电路112选择并将第二分层图像供给类别抽头产生电路113。

如果第二分层图像上的有效性不大于预定的阈值ε，选择电路112选择并将第三分层图像供给类别抽头产生电路113。

选择电路112同样将表示被选择的分层层的选择信号供给组合电路115。

类别抽头产生电路113采用由选择电路112供给的分层图像以产生(形成)一个类别抽头。

换言之，在由选择电路112选择的第一分层SD图像的情况中，即包含在由图8中R1表示的第一分层SD图像中的SD象素中，在具有以与参考象素位置等同的SD象素为中心的3×3象素区域中的有效性大于阈值ε的情况中，类别抽头发生电路113将3×3第一分层SD象素作为一个分类轴头，并将其提供给分类电路114。在图8中，符号○表示第一分层SD象素，和×表示HD象素。

在由选择电路112选择第二分层SD图像的情况中，即当假定第一分层SD图像被作为参考时，包含在由图8中R2表示的第二分层SD图像(水平和垂直象素的数目为第一分层SD图像的一半的图像)中的SD像素中，在具有以与参考象素位置等同的SD象素为中心的3×3象素区域中的有效性大于阈值ε的情况中，类别抽头产生电路113将3×3第一分层SD象素作为一个分类抽头，并将其提供给分类电路114。因此，在这种情况中，通过把第一分层SD图像作为参考，由一个区域中九个第二分层SD象素形成一个类别抽头，其中该区域是第一分层SD图像被选取的区域的水平和垂直的四倍。

在由选择电路112选择第三分层SD图像的情况中，当假定第一分层SD图像被作为参考时，包含在由图8中R3表示的第三分层SD图像(水平和垂直象素的数目为第一分层SD图像的四分之一的图像)中的SD象素中，在具有以与参考象素位置等同的SD象素为中心的3×3象素被作为一个类别抽头，且类别抽头产生电路113将其提供给分类电路114。因此，在这种情况中，当假设第一分层SD图像被用作参考时，由一个区域中九个第三分层SD象素形成一个类别抽头，其中该区域是第一分层SD图像被选取的区域的水平和垂直的十六倍。

上述具有第一至第三SD象素的位置与参考象素相同的3×3象素区域中，即具有如参考图13所述的位置关系的SD象素中的类别抽头的形成是在如多层分类电路104a和在其他多层分类电路104b至104d中进行，分别形成基于具有如图14至图16所示位置关系的象素的类别抽头。

类似于在图12中分类电路203中的情况，分类电路114采用来自类别抽头产生电路113的类别抽头将参考象素分类。分类结果被供给组合电路115。组合电路115将作为上位的来自选择电路112的选择信号加到作为来自分类电路114的分类结果的值上，并将其供给自适应单元105，而和值作为基于参考象素的最终分类(代表一个分类的值)。

如上所述，利用作为参考的第一分层SD图像，相应于有效性具有某种大小(此处为阈值ε)的区域中处于分层层的图像被用于形成对参考象素分类的类别抽头，因而可通过利用类别抽头得到适于参考象素的类别以进行分类。

如上所述，检测第一和第二分层图像的有效性。可是，除了这些，还执行对第二和第三分层图像的有效性的检测。在这些情况中，例如，当第三分层有效性小于预定的阈值ε′，利用第三分层图像可形成类别抽头。在第三分层有效性等于或大于预定的阈值ε′并且第二分层有效性小于预定的阈值ε′的情况中，可利用第二分层图像形成类别抽头。另外，在第二分层有效性等于或大于预定的阈值ε′的情况中，可利用第一分层图像形成类别抽头。

下面，图9表示图1中自适应处理单元105(每个自适应处理电路105a至105d)的框图。

预测抽头产生电路121、预测算术电路122、或系数ROM123的结构类似于图12中预测抽头产生电路205、预测算术电路206、或系数ROM207。

由第一分层存储器101供给的第一分层SD图像(图1)，对于与一个参考象素有预定位置关系的多个SD象素被取出并经预测抽头产生电路121供给预测算术电路122作为预测抽头，其中根据该参考象素多个SD象素被用在预测算术电路122中求解预测值。

特别是，例如，形成如参考图13至图16的预测抽头(在自适应处理电路105a至105d的每个预测抽头产生电路121中)并供给预测算术电路122。

另外，不仅来自预测抽头产生电路121的预测抽头，而且来自系数ROM123的预测系数组均被供给预测算术电路122。

系数ROM123具有用于类别由预定的学习求解的预测系数组，并且在其地址终端(AD)被提供来自多层分类电路104的参考象素的类别(图1)。一旦被提供给来自多层分类电路104的分类，系数ROM123即读出存储在对应于类别的地址处的预测信号，并将其提供给算术电路122。

以这种方法，参考象素类别中对应于参考象素和预测系数的预测抽头被供给预测算术电路122。预测算术电路122利用来自系数ROM123的预测系数w₁，w₂，...和来自预测抽头产生电路6的(SD象素构成的)预测抽头x1，x2，...以执行由方程(1)所示的操作，由此根据参考象素(HD象素)求解预测值E[y]，并输出它们作为HD象素上的象素值。

如上所示，由多层分类单元104，提供了更适合参考象素的类别。因此，根据类别通过执行上述自适应处理，可改进合成HD图像的图像质量。

下面，图10表示图1中多层分类单元104(每个多层分类电路104a至104d)的另一框图。

存储在第一分层存储器101、第二分层存储器102、或第三分层存储器103中的第一至第三分层图像的每个被供给类别抽头产生电路131₁至131₃。

类似地，例如，在图7中的类别抽头产生电路131中的情况，类别抽头产生电路131₁至131₃利用第一至第三分层图像以产生(形成)用于分类参考象素的类别，并分别将它们供给分类电路132₁至132₃。例如，类似于在图7中的分类电路114中的情况，分类电路132₁至132₃利用来自类别抽头产生电路131₁至131₃的类别抽头以分类参考象素，并将它们的每个供给组合电路133。组合电路133组合来自分类电路132₁至132₃的各个类别，并将组合值供给自适应处理单元105作为对参考象素的最终类别(图1)。

在多层分类单元104(多层分类电路104a至104d的每一个)中，类别抽头产生电路131₁至131₃利用第一至第三分层图像以分别形成类别抽头。

特别是，例如，当在选择电路112中选择第一至第三分层图像时，类别抽头产生电路131₁至131₃利用第一至第三分层图像，分别形成与在相同的图中由类别抽头产生电路113形成的类别抽头相同的类别抽头。利用第一至第三分层图像形成的类别抽头分别被供给分类电路132₁至132₃。

分类电路132₁至132₃利用来自类别抽头产生电路131₁至131₃的类别抽头以执行分类，将基于参考象素(由第一至第三分层图像的每个形成的分类抽头的分类结果)的三个合成类别供给组合电路133。

组合电路133组合来自分类电路132₁至132₃的类别以形成一个。换言之，组合电路133利用代表来自分类电路132₁至132₃的类别的值作为高位、中间位和低位以形成一个位串。该值被供给自适应处理单元105作为基于参考象素的最终类别。

如上所述，第一至第三分层SD图像被用于执行分类，并且组合分类结果以形成基于参考象素的最终类别，换言之，不仅利用围绕参考象素的SD象素而且与利用参考象素有一定距离的SD象素，分类被等效地执行，因此参考象素可被分为与参考象素相适应的类别。另外，通过执行自适应处理以便响应于类别，可改进合成HD图像的图像质量。

在图8中，例如，同样通过利用被R3指定的区域中的所有SD象素以执行分类，可期望得到与上述情况相同的效果。在这种情况中，在区域R3中第一分层SD象素的数目较大，过度增加了处理的负担。

换言之，例如，在图7的实施例中，由类别抽头产生电路113形成的类别抽头包括九个SD象素，类似于图12中类别抽头产生电路202中的情况，并且一个二位选择器信号被加到使用类别抽头的分类结果。因此，简单地说，执行分类成与2¹¹(＝2⁹×2²)成比例的许多类别中的一个的分类。

另外，在图10的实施例中，类似于图12中类别抽头产生电路202的情况，类别抽头产生电路131₁至131₃形成每个分别由九个象素组成的三个类别抽头，并在类别抽头被用于执行分类之后，三个分类结果被组合。因此，简单地说，执行分类成与2²⁷(＝2⁹×2⁹×2⁹)成比例的许多类别中的一个的分类。

相反，在图8中的区域R3包括289(＝17×17)个第一分层SD象素。由此，在利用它们形成类别抽头的情况中，需要执行分类成与极大的数2²⁸⁹成比例的许多类别中的一个的分类。因此，在这种情况中处理的负担极大。

下面，图11表示一个对图9中系数ROM123中存储类别的计算预测系数的执行学习的学习装置的框图。在此图中，对应于图17中的分量被相同的标号所指定。

在学习中作为教学数据y的HD图像被供给抽选电路141₁和教学数据抽取电路146。例如，抽选电路141₁利用类似于图2中存储单元的方法(类似于图2在存储单元中由第一分层SD图像产生第二分层SD图像)，由此形成一个具有水平或垂直象素数目为HD图像一半的第一分层SD图像。第一分层SD图像被供给抽选电路141₂，多层分类单元144和预测抽头发生电路145。

同样，与抽选电路141₁相同，抽选电路141₂形成一个具有水平或垂直象素数目为第一SD图像一半的第二分层SD图像。第二分层SD图像被供给抽选电路141₃和多层分类单元144。同样与抽选电路141₃相同，抽选电路141₃形成一幅具有水平或垂直象素数目为第二分层SD图像一半的第三分层SD图像。第三分层SD图像被供给多层分类单元144。

多层分类单元144具有与图7或图10中多层分类单元104相同的结构，并利用被供给的第一至第三分层图像以执行上述分类(多层分类)。作为分类结果的类别供给预测抽头存储器147和教学数据存储器148的地址端(AD)。

预测抽头产生电路145执行与图9中预测抽头产生电路121相同的处理，因而利用来自抽选电路141₁的第一分层SD图像以形成为求解基于参考象素的预测值的预测抽头。预测抽头被供给预测抽头存储器147。

在预测抽头存储器147中，由预测抽头产生电路145供给的预测抽头存储在相应于由多层分类单元144供给的类别的地址处。

另外，教学数据抽取电路146从供给的HD图像抽取在多层分类单元144和预测抽头产生电路145中用作参考象素的HD象素，并将它们供给教学数据存储器148作为教学数据。

在教学数据存储器148中，由教学数据抽取电路146供给的教学数据存储在相应于由多层分类单元144供给的类别的地址处。

上述处理利用由相继被用作参考象素的备用学习的构成所有预定HD图像的所有HD象素来执行。

其结果是，在教学数据存储器148或预测抽头存储器147的相同地址处，相应于地址的类别中的HD象素，或定位在以便形成如图13至图16所示的关于HD象素的预测抽头的SD象素被作为教学数据y或学习数据x储存。

随后，算术单元149读出预测抽头作为学习数据或HD象素作为教学数据储存在预测抽头存储器147或教学数据存储器148中的相同的地址处，并利用它们计算一组预测系数以采用如最小二乘法将预测值和教学数据之间的误差最小化。换言之，算术单元149使得如方程(7)所示的正态方程用于分类，并求解它们得出一组预测系数。

在上述方式中，被算术单元149求解的用于分类的一组预测系数在相应于系数ROM123的分类地址处被存储。

在图7中的实施例中，选择电路112选择第一至第三分层SD图像的任意一个，并且类别抽头产生电路113利用一个分层图像以形成类别抽头。另外，例如，通过使选择电路112选择第一至第三分层SD图像的其中两个，类别抽头产生电路113可利用两个分层层来形成类别抽头。在这种情况中，通过使分类电路114分类由两个分层层形成的各个类别抽头，在组合电路115中两个分类结果可被组合成一个。

此实施例中，源自第一至第三分层SD图像的具有较大象素数目的第一分层图像被采用以形成预测的抽头。可是，第一至第三分层图像的两个或更多个可被采用以形成预测的抽头。

此实施例中，在图2的存储单元中，通过给定第一分层存储器2的水平地址HA和垂直地址VA的一部分来存取第二分层存储器3和第三分层存储器4。通过给定不同于提供给第一分层存储器2的水平地址HA和垂直地址VA的特别的(独立的)地址来存取第二分层存储器3和第三层分存储器4。

此实施例中，在图2的存储单元中，通过给定相应于构成SD图像的象素的水平位置和垂直位置的水平地址和垂直地址来存取第一分层存储器2、第二分层存储器3和第三分层存储器4。可是，例如，也可以通过给定相应于时间方向上的地址来存取第一分层存储器2、第二分层存储器3和第三分层存储器4。在这种情况中，通过将分布在水平和垂直空间方向上的第一分层象素和时间方向上分布的第一分层象素相加形成第二和第三象素。

类似地，也可通过利用分面在空间方向上的SD象素和时间方向上分布的SD象素形成类别抽头和预测抽头。

另外，图1中第一分层存储器101、第二分层存储器102和第三分层存储器103以及图2中第一分层存储器2、第二分层存储器3和第三分层存储器4的每一个不需要一个物理存储器，但所有这些可由一个存储器构成。在这种情况中，第一分层存储器101、第二分层存储器102和第三分层存储器103以及第一分层存储器2、第二分层存储器3和第三分层存储器4在一个存储器中有它们各自的存储区域。

在本实施例的图2中，地址提供电路1、第一分层存储器2、第二分层存储器3、第三分层存储器4和RMW电路5全部布置在一个芯片上。但并不要求总是这样布置在一个芯片上。

在本实施例中，指定给第一分层象素的位数是8位，并且第一分层存储器2、第二分层存储器3或第三分层存储器4中存储单元的每个数据长度分别为8、10和12位以避免在第一至第三分层象素中发生溢出。但是，例如，在第一分层存储器2、第二分层存储器3和第三分层存储器4中存储单元的数据长度可均匀设为8位。在这种情况中，对于第二和第三象素，分别存储通过省略2×2个第一或第二分层象素之和的较低二位所获得的值(因为这些值相应于划分和值得到的份额，它们是平均值)。因此导致溢出，损失数据的可逆性。

本发明可应用在非隔行扫描的图像或隔行扫描的图像中。

在本实施例中，SD图像的分层层数为3。可是，分层层数可为2或4或更多。

在本实施例中，较低层2×2四个SD象素之和在一个比较高的分层层处作为一个SD象素(象素值)。可是，用于形成较高分层SD象素的技术并不局限于此。

在本实施例中通过硬件或利用计算机执行一个上述处理的程序来实现。

在上述实施例中，象素(象素值)被存储在一个由随机存取存储器(RAM)表示的存储器中。可是，象素可被存储(记录)在记录介质如磁盘、磁光盘、磁带和光卡中。

另外，图1中图像处理装置和图2中存储单元可由分离单元也可由一个组合单元形成。

例如，本发明不仅应用在SD图像被转换成HD图像的情况中，而且应用在图像被放大的情况中。

形成类别抽头和预测抽头的SD象素位置关系不仅限于上述实施例中。

在本发明的实质和范围内可有不同的改型和应用。因此，本发明范围的主题不限于上述实施例。

Claims (16)

1.一种图像处理装置，通过利用每单元面积象素数目小于第一图像的第二图像对应的低分辨率和每单元面积象素数目小于第二图像的对应的第三图像来为第一图像产生一个相对高的分辨率以执行处理，

所述图像处理装置包括：

用于接收所述第二和第三图像的接收单元；和

分类单元，根据对应于参考象素的所述第二或第三图像象素的性质，将所述第一图像的参考象素分成预定类别，每个类别由一个表示在各自参考象素附近所述第二或第三图像多个象素的类别抽头定义，

其中，所述第三图像中的每个象素在所述第二图像中表示多个象素。

2.根据权利要求1的图像处理装置，还包括一个根据参考象素的类别预测基于参考象素的预测值的预测单元。

3.根据权利要求2的图像处理装置，其中所述预测单元包括：一个储存预测系数的预测系数存储器，用于采用所述第二或第三图像象素的线性耦合计算基于参考象素的预测值以与对应所述类别；和一个预测值计算单元，由基于参考象素的类别和所述第二或第三图像象素的所述预测系数为参考象素求解预测值。

4.根据权利要求1的图像处理装置，其中所述分类单元包括：一个有效性检测器，用于在相应于参考象素的所述第二或第三图像的部分中检测有效性；和一个选择器，用于基于有效性选择上述第二或第三图像，并在构成由上述选择器选择图像的象素中，对应于参考象素的象素被用于执行分类。

5.根据权利要求4的图像处理装置，其中，如果在所述第二图像中检测到的有效性不大于一个预定的阈值，则所述选择器选择所述第三图像。

6.根据权利要求1的图像处理装置，其中所述分类单元利用相应于由构成所述第二或第三图像的象素中参考象素的象素来执行分类，且所述分类单元包括一个组合单元，通过组合利用上述第二或第三图像的每一个得到的分类结果以形成最终分类结果。

7.根据权利要求1的图像处理装置，其中所述第二图像是一个SD图像，而所述第一图像是一个每单元面积象素是所述SD图像四倍的HD图像。

8.根据权利要求1的图像处理装置，其中所述第二图像是一个第一分层图像，所述第三图像是一个第二分层图像，以及所述处理装置还产生一个每单元面积象素数目小于第二分层图像的第三分层图像，所述分类单元，根据至少所述第一、第二和第三分层图像之一象素的性质，将所述第一图像的参考象素分成预定类别。

9.根据权利要求1的图像处理装置，其中对于参考象素的类别抽头表示了围绕该类别抽头的所述第二或第三图像的多个象素。

10.根据权利要求1的图像处理装置，其中所述第一和第二图像具有共同的象素。

11.根据权利要求1的图像处理装置，其中所述分类单元包括一个组合单元，该组合单元将至少一个由表示所述第二图像多个象素的类别抽头定义的第一分层类别，与一个由表示所述第三图像多个象素的类别抽头定义的第二分层类别组合，以便为所述第一图像的参考象素产生一个最终类别。

12.一种图像处理方法，通过利用每单元面积象素数目小于第一图像的第二图像对应的低分辨率和每单元面积象素数目小于第二图像的第三图像来为第一图像产生一个相对高的分辨率以执行处理，

所述图像处理方法包括步骤：

接收所述第二和第三图像；和

根据对应于参考象素的所述第二或第三图像的象素性质，将所述第一图像的参考象素分成预定的类别，每个类别由一个表示在各自参考象素附近所述第二或第三图像多个象素的类别抽头定义，

其中，所述第三图像中的每个象素在所述第二图像中表示多个象素。

13.根据权利要求12的图像处理方法，还包括根据参考象素的类别为所述第一图像的参考象素求解预测值的步骤。

14.根据权利要求12的图像处理方法，其中所述预测值求解步骤包括如下步骤：存储预测系数，利用上述第二或第三图像象素的线性耦合计算基于参考象素的预测值以对应于所述类别；和由基于参考象素的类别和上述第二或第三图像象素的上述预测系数为参考象素求解的预测值。

15.根据权利要求12的图像处理方法，其中所述分类步骤包括如下步骤：在相应于参考象素的上述第二或第三图像的部分中检测有效性，和基于有效性选择上述第二或第三图像，以及在构成被选取被选择图像的象素中，对应于参考象素的象素来执行分类。

16.根据权利要求12的图像处理方法，其特征在于在分类步骤中，采用相应于构成所述第二或第三图像的象素中参考象素的象素来执行分类，并且通过组合所述第二或第三图像得到的分类结果以形成最终分类结果。

Images