CN100364337C

CN100364337C - 图像处理方法及图像处理装置

Info

Publication number: CN100364337C
Application number: CNB2005100518859A
Authority: CN
Inventors: 桐原俊
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-03-05
Filing date: 2005-03-03
Publication date: 2008-01-23
Anticipated expiration: 2025-03-03
Also published as: JP2005287006A; CN1665302A; US7508989B2; US20050196054A1

Abstract

本发明公开一种图像处理方法及图像处理装置，其中：所述图像处理方法包括：实施针对上述第1种类图像数据的解码处理的第1解码处理步骤；对经过上述解码处理的上述第1种类图像数据实施第1分辨率变换处理的第1分辨率变换处理步骤；基于上述第1分辨率变换处理实施后的数据，取得针对上述解码处理前或后的第2种类图像数据的分辨率变换用的参数的参数取得步骤；以及基于上述解码处理前或后的第2种类图像数据和上述所取得的参数，对该第2种类图像数据实施第2分辨率变换处理的第2分辨率变换处理步骤。

Description

图像处理方法及图像处理装置

技术领域

本发明涉及针对活动图像的图像处理方法及装置，特别涉及连续地进行分辨率变换的图像处理方法及装置。

背景技术

静止图像的分辨率变换技术已经有很多提案。作为一般的方法，有下述几种，即，最近邻域(nearest neighbor)法、双线性(bilinear)法、双三次(bicubic)法等图像插补方式，以及DCT系数插补之类的频率插补方法等。

对于静止图像连续形成的活动图像，一般也是用同样的方法来进行分辨率变换。

这些分辨率变换，为了得到高画质的结果而有必要利用双三次法等运算量较多的方法。虽然在以专用的硬件来执行的形式上没有问题，但在用通用处理器进行软件处理的情况下运算量就成为问题。

另外，除了这些问题之外，由于传输线路或存储媒体容量的问题，活动图像一般利用MEPG2、MEPG4等规格来进行压缩。还有霍夫曼(Huffman)解码、IDCT等运算量较多的处理，在用软件来进行解码处理这样的形式中运算量就成为问题。

以往这些压缩活动图像的解码处理、分辨率变换处理，因为运算量的问题而一般以专用的硬件来进行，但由于近年来处理器技术的进步，用软件来进行这类处理也变得多了起来。

考虑到用软件来解码处理像MEPG那样的压缩活动图像，进而进行分辨率变换处理的情况，上述的处理量的问题就变得更为显著。亦即，分辨率变换和解码处理两方面的计算，必须跟上实时显示。然而，由于MEPG的各画面的软件解码处理中所必要的计算量，通常对每一画面都不同，所以在花费解码计算量的画面中，要进行精度良好的分辨率变换而处理器的计算能力变得不足的问题就会发生。

因此，在用软件进行活动图像的解码处理、分辨率变换处理的情况下，考虑到与解码处理相关的计算量，一般进行在处理器的处理能力内能够处理的、简单的分辨率变换。但是，在这种方法中使用计算量较多的分辨率变换式就很困难，无法期望得到高画质。

在日本专利公开特开平5-122681号公报中公开了着眼于活动图像的解码处理的计算量的发明。在该发明中，在解码处理本身超出处理器的处理能力的情况下，将解码处理切换成包含降低分辨率在内的削减计算量的简单的解码方法。根据此发明，若考虑上述问题的解决，就能够容易地类推出以下方法，即动态地监视系统的计算量，在解码计算量较大、以所用的分辨率方法不能进行实时处理的情况下，将分辨率变换方法切换成计算量较少的简易的方法。但是，在该方法中由于当处理器的能力变得不足时分辨率变换方法急剧地进行切换，所以存在画质恶化变大的问题点。

发明内容

本发明的目的就是为了解决了上述问题，在进行压缩活动图像的解码处理和分辨率变换处理之际，削减计算量的总和，并且得到高画质的活动图像。

为了实现上述目的，本发明提供一种图像处理方法，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于：上述压缩活动图像数据包含第1种类图像数据和解码处理所需要的计算量比上述第1种类图像数据多的第2种类图像数据，上述图像处理方法包括：实施针对上述第1和第2种类图像数据的解码处理的解码处理步骤；对经过上述解码处理的上述第1种类图像数据实施第1分辨率变换处理的第1分辨率变换处理步骤；基于上述第1分辨率变换处理的结果，取得针对上述解码处理后的上述第2种类图像数据的分辨率变换用的参数的参数取得步骤；以及使用上述取得的参数，对上述解码处理后的上述第2种类图像数据实施第2分辨率变换处理的第2分辨率变换处理步骤。

本发明还提供一种图像处理方法，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于，上述压缩活动图像数据包含第1种类图像数据和解码处理所需要的计算量比上述第1种类图像数据多的第2种类图像数据，上述图像处理方法包括：对上述第1种类图像数据实施第1分辨率变换处理和解码处理的第1处理步骤；基于上述第1分辨率变换处理的结果，取得针对上述第2种类图像数据的分辨率变换用的参数的参数取得步骤；以及针对上述第2种类图像数据，在使用上述取得的参数实施了第2分辨率变换处理后实施解码处理的第2处理步骤。

本发明还提供一种图像处理装置，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于：上述压缩活动图像数据包含第1种类图像数据和解码处理所需要的计算量比上述第1种类图像数据多的第2种类图像数据，上述图像处理装置包括：实施针对上述第1和第2种类图像数据的解码处理的解码处理部；对经过上述解码处理的上述第1种类图像数据实施第1分辨率变换处理的第1分辨率变换处理部；基于上述第1分辨率变换处理的结果，取得针对上述解码处理后的上述第2种类图像数据的分辨率变换用的参数的参数取得部；以及利用上述取得的参数，对上述解码处理后的第2种类图像数据实施第2分辨率变换处理的第2分辨率变换处理部。

本发明还提供一种图像处理装置，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于，上述压缩活动图像数据包含第1种类图像数据和解码处理所需要的计算量比上述第1种类图像数据多的第2种类图像数据，上述图像处理装置包括：针对上述第1种类图像数据实施第1分辨率变换处理和解码处理的第1处理部；基于上述第1分辨率变换处理的结果，取得针对上述第2种类图像数据的分辨率变换用的参数的参数取得部；以及针对上述第2种类图像数据，在使用上述取得的参数实施了第2分辨率变换处理后实施解码处理的第2处理部。

本发明的技术方案提供一种图像处理方法，对压缩活动图像数据进行解码处理，且变换成分辨率与压缩前的不同的由多个静止图像组成的活动图像数据，其特征在于：上述压缩活动图像数据，包含第1种类图像数据和该压缩活动图像数据的解码处理所需要的计算量比上述第1种类图像数据多的第2种类图像数据，所述图像处理方法包括：实施针对上述第1种类图像数据的解码处理的第1解码处理步骤；对经过上述解码处理的上述第1种类图像数据实施第1分辨率变换处理的第1分辨率变换处理步骤；基于上述第1分辨率变换处理实施后的数据，取得针对上述解码处理前或后的第2种类图像数据的分辨率变换用的参数的参数取得步骤；以及基于上述解码处理前或后的第2种类图像数据和上述所取得的参数，对该第2种类图像数据实施第2分辨率变换处理的第2分辨率变换处理步骤。

另外，本发明的另一技术方案还提供一种图像处理装置，对压缩活动图像数据进行解码处理，且变换成分辨率与压缩前的不同的由多个静止图像组成的活动图像数据，其特征在于：上述压缩活动图像数据，包含第1种类图像数据和该压缩活动图像数据的解码处理所需要的计算量比上述第1种类图像数据多的第2种类图像数据，所述图像处理装置包括：实施针对上述第1种类图像数据的解码处理的第1解码处理部；对经过上述解码处理的上述第1种类图像数据实施第1分辨率变换处理的第1分辨率变换处理部；基于上述第1分辨率变换处理实施后的数据，取得针对上述解码处理前或后的第2种类图像数据的分辨率变换用的参数的参数取得部；以及基于上述解码处理前或后的第2种类图像数据和上述所取得的参数，对该第2种类图像数据实施第2分辨率变换处理的第2分辨率变换处理部。

根据本发明，在用软件进行压缩图像的解码处理和分辨率变换处理之际，就能够削减计算量的总和，并且能够得到高画质的活动图像。

附图说明

图1是表示本发明的图像处理装置的第一实施方式的框图。

图2是说明本发明的图像处理方法的第一实施方式的流程图。

图3是就图1中的第一分辨率变换处理部进行说明的说明图。

图4是就图1中的运算参数存储部进行说明的说明图。

图5是就图1中的第二图像处理部进行说明的说明图。

图6是表示本发明的图像处理装置的第二实施方式的框图。

图7是表示本发明的图像处理装置的第三实施方式的框图。

图8是说明本发明的图像处理方法的第三实施方式的流程图。

图9是就图7中的第一分辨率变换处理部进行说明的说明图。

具体实施方式

(第一实施方式)

下面利用附图来说明本发明的第一实施方式。图1是表示本发明的图像处理装置的第一实施方式的框图，图2是表示由同一装置执行的图像处理方法的处理过程的流程图。

本实施方式中，对从输入部所输入的MPEG2视频流进行解码处理，进行分辨率变换后输出。此外，在第一实施方式中，为了便于说明，对于MPEG2流的解码处理的计算量，假设I画面的解码计算量较少，而P、B画面的解码计算量较多。

在图1中，101是输入MPEG2视频流的输入部，102是对MPEG2进行解码处理的解码处理部，103是根据画面的情况切换后级处理的分辨率变换方法切换开关，104是执行计算量较多的第一分辨率变换的第一分辨率变换处理部，105是利用在运算参数存储部107内所存储的参数执行计算量较少的第二分辨率变换的第二分辨率变换处理部，106是运算参数计算部，根据分辨率变换前的原图像和第一分辨率变换处理部的结果，计算第二分辨率变换处理部的计算中所用的参数，107是存储由上述运算参数计算部106计算出的参数的运算参数存储部，108是输出进行了解码处理以及分辨率变换处理后的活动图像的输出部。

从输入部101输入的MPEG2视频流在解码处理部102进行解码处理(第一及第二解码处理)(S1)。解码处理所花费的计算量一般因MPEG2的帧压缩方法而异。如已经说过的那样，在本实施方式中假设在I画面计算量较少，而在P以及B画面计算量较多。基于该假设，在由解码处理部102所解码的帧之中，由I画面经过解码的帧通过分辨率变换方法选择开关103被送往第一分辨率变换处理部104和运算参数计算部106，由P画面和B画面经过解码的帧通过开关103被送往第二分辨率变换处理部105(S2)。

在下面将由I、P、B画面经过解码的帧分别称为I画面解码帧、P画面解码帧和B画面解码帧。第一分辨率变换处理部104对所输入的I画面解码帧，执行计算量较多的、复杂的高画质的分辨率变换(S3)。在本实施方式中使用双三次法。结果从输出部108输出，同时被送往运算参数计算部106。运算参数计算部106根据I画面解码帧和由第一分辨率变换处理部104分辨率变换后的高画质的分辨率变换结果，计算在适用于P及B画面解码帧中的第二分辨率变换方法中所用的运算参数(S4)。

计算出的运算参数被存储在运算参数存储部107中。对第二分辨率变换处理部105，通过开关103输入P和B画面解码帧，利用在运算参数存储部107中所存储的参数，进行计算量较少的分辨率变换(S5)。一般而言，计算量较少的分辨率变换的画质与计算量较多的方法相比要差，但因为本方法中通过使用由计算量较多的分辨率变换所抽取出的参数来进行分辨率变换，就可得到计算量少但高画质的分辨率变换结果。结果从输出部108输出。

本实施方式的图像处理方法，能够构成为使作为图像处理装置发挥功能的计算机所运行的程序，能够存储于硬盘、半导体存储器之类的内置型的存储媒体，CD-ROM、软盘、DVD盘、光磁盘、IC卡等可移动型的存储媒体等能够由计算机读取的存储媒体(对于在以下将要说明的实施方式也同样如此。)。

下面详细说明第一分辨率变换处理部104、运算参数计算部106的动作。

本方法中假设为解码计算量较少的I画面，在由解码处理部102进行解码之后，在第一分辨率变换处理部104进行分辨率变换。第一分辨率变换处理部104适用计算量较多的、画质较高的分辨率变换方法。在本实施方式中适用双三次法。

对I画面解码帧适用了双三次法的结果，被送往输出部108同时还送往运算参数计算部106。运算参数计算部106使用I画面解码帧和在第一分辨率变换处理部104中计算后的分辨率变换结果，抽取出在适用于P及B画面解码帧的分辨率变换方法中所用的运算参数。本发明中对P及B画面解码帧中适用与双三次法相比处理量较少的基于双线性法的分辨率变换。由于双线性法与双三次法相比画质变差，所以在用双三次法对I画面进行分辨率变换之际，在双线性法的通常的线性插补基础上还抽取出与像素相关的信息以可使用像素相关性信息。由此，就可以提高双线性法的画质。

下面详细说明由运算参数计算部106计算的像素相关信息的抽取方法。

图3表示借助于双三次法所插补的分辨率变换后的像素和分辨率变换前的原图像的像素。图3中的P1～P16是原图像的像素，C是插补像素。双三次法中，插补像素C根据P1～P16共计16点的RGB值计算出来。在下面将红色、绿色、蓝色的子像素分别设为R、G、B来进行说明。

运算参数计算部106从原图像(P1～P16)和插补像素(C)抽取用于第二分辨率变换方法的参数。P、B画面解码帧中，为了计算相同位置的插补像素，使用双线性法。亦即，利用插补像素C周边像素P6、P7、P10、P11来计算插补像素C。因而，为了提高双线性法的画质，求得由作为第一分辨率变换方法的双三次法求出的插补像素C的值与周边像素P6、P7、P10、P11之间的关系式。

(公式1)

x＊P_R6+y＊P_R7+z＊P_R10+w＊P_R11＝P_Rc (1)

式(1)是关于子像素R的式子。对于子像素G、B也以同样的式子来求得运算参数x，y，z，w。为求解式(1)，分组化I画面解码帧内具有同一子像素值R6、R7、R10、R11的插补像素C，利用最小二乘法。(x，y，z，w)之和当然为1。虽然R6、R7、R10、R11的子像素值可以按原来的位数进行分组化，但也可以只使用高位的位。在本实施方式中仅利用高位的4位来计算系数。

虽然求出的R、G、B的各自的系数可以原样进行存储·使用，但在本实施方式中进一步将RGB的系数平均化，并设为一个参数。

(公式2)

(x_R6+x_G6+x_B6)/3＝x

(y_R7+y_G7+y_B7)/3＝y (2)

(z_R10+z_G10+z_B10)/3＝z

(w_R11+w_G11+w_B11)/3＝w

表示按式(1)及式(2)由运算参数计算部106计算出的周边像素与插补像素的相关性的运算参数，作为像素相关系数被存储在运算参数存储部107中。图4中表示存储的示意图。关于针对插补像素C的周边像素(R6，G6，B6)，(R7，G7，B7)，(R10，G10，B10)，(R11，G11，B11)，存储将要使用的系数(x，y，z，w)。周边像素的像素值只使用高位的4位。虽然存储的位数是任意的，但在本实施方式中4像素合计为48位，与此相对每个系数4位就为32位。将其作为一要素，按周边像素的模式数相应存储要素。

接着说明第二分辨率变换处理部105的动作。

第二分辨率变换处理部105适用比第一分辨率变换处理部104计算量还少的分辨率变换方法。在本实施方式中，适用以双线性法为基础的方法。具体地讲，将双线性法中所用的距离系数，和运算参数计算部106计算出被存储于运算参数存储部107的、表示周边像素与插补像素的相关性的运算参数相乘后的结果作为双线性法的系数来进行计算。由此，与通常的双线性法相比，以双三次法所求出的结果得以反映相应就能够期待画质的提高。

图5是第二分辨率变换处理部105的动作的示意图。首先，计算用于进行一般的双线性法的插补的、插补像素C与周边像素P1、P2、P3、P4之间的距离的系数(a，b，c，d)。同时，向运算参数存储部107查询将周边像素P1、P2、P3、P4的RGB的高位4位排列后的48位的周边像素信息。运算参数存储部107对于所输入的周边像素信息，由存储信息将像素相关系数(x，y，z，w)返给第二分辨率变换处理部105。第二分辨率变换处理部105把距离系数和像素相关系数进行平均设为插补系数进行分辨率变换。

(公式3)

C_{R} = \frac{(a + x)}{2} \times {P 1}_{R} + \frac{(b + y)}{2} \times {P 2}_{R} + \frac{(c + z)}{2} \times {P 3}_{R} + \frac{(d + w)}{2} \times {P 4}_{R}

C_{G} = \frac{(a + x)}{2} \times {P 1}_{G} + \frac{(b + y)}{2} \times {P 2}_{G} + \frac{(c + z)}{2} \times {P 3}_{G} + \frac{(d + w)}{2} \times {P 4}_{G} - - - (3)

C_{B} = \frac{(a + x)}{2} \times {P 1}_{B} + \frac{(b + y)}{2} \times {P 2}_{B} + \frac{(c + z)}{2} \times {P 3}_{B} + \frac{(d + w)}{2} \times {P 4}_{B}

当然，因为适用了双三次法的图像和适用了双线性法的图像是不同的图像，所以严格地讲使用I画面解码帧所求出的双三次的结果反映在P、B画面解码帧中是不正确的，但是因为一般而言活动图像在时间方向上的相关性高，用该方法可以期望得到很好的效果。

此外，虽然在本实施方式中假设I画面的解码处理的计算量较小，P、B画面的解码处理计算量较多来进行了说明，但本发明并不依据此，只要解码处理按画面单位不同就可以适用。

(第二实施方式)

以下，利用附图说明本发明的第二实施方式。此外，表示本发明的图像处理装置的第二实施方式的框图如图6所示。

此外，图6中，对于执行与第一实施方式相同的动作的框图赋予相同的标记并省略说明。

在本实施方式也与第一实施方式同样，对从输入部输入的MPEG2视频流进行解码处理，进行分辨率变换后输出。与第一实施方式同样，关于MPEG2视频流的解码处理的计算量，假设I画面的解码计算量较少，而P、B画面的解码计算量较多。

在图6中，201是第二分辨率变换处理部，其利用运算参数存储部107中所存储的参数执行计算量较少的第二分辨率变换，202是运算参数计算部，根据分辨率变换前的原图像和第一分辨率变换处理部104的结果，计算第二分辨率变换处理部的计算中所用的参数。

在本实施方式中，与第一实施方式的动作不同的是运算参数计算部202的运算参数计算方法，以及第二分辨率变换处理部201的分辨率变换算法。

以下按顺序详细地进行说明。

第一分辨率变换处理部104与第一实施方式同样，经由开关103接收由解码处理部102所解码的I画面解码帧，并适用双三次法的分辨率变换。

运算参数计算部202接收原图像以及第一分辨率变换处理部104的分辨率变换结果图像，计算出由第二分辨率变换处理部201进行分辨率变换时使用的运算参数。在本实施方式中，由于在第二分辨率变换处理部201中使用对最近邻域法进行了改良的方式，所以计算用于其的运算参数。具体地讲，检查I画面解码帧的插补像素与在原图像上该插补像素的周边4像素所分配的像素值之间的相关性，对每一周边4像素的模式选择相关性最高的1个像素，在P、B画面解码帧中将这一点选择为“邻居”来进行分辨率变换。

进一步详细地说明运算方法。

对于通过在I画面解码帧上适用双三次法所求出的插补像素及其周边的4个像素，计算把RGB值看作向量的内积，以计算插补像素与周边4像素的相关性。相关性最大的像素与位置无关地被选择为“邻居”。对于I画面解码帧中1帧内的所有像素，检查周边4像素的模式和被选择为邻居的像素的位置，把相关性最多的情况较多的位置作为其周边像素模式时的“邻居”来进行存储。周边4像素的模式既可以用全部像素值进行识别，也可以进行某种程度的分组。在本发明中只使用像素的高位4位。

例如有像以下那样的情况。

对于I画面的所有的像素进行了调查的结果为，

[表1]

P1	P2	P3	P4
P1	P2	P3	P4	(4，0，15)	(10，10，10)	(0，0，8)	(2，7，6)

具有周边4像素的分辨率变换后的像素有20个。进而，对由向量的内积所得到的相关性最高的像素的位置进行了检查的结果为：

[表2]

P1	P2	P3	P4
P1	P2	P3	P4	12个	2个	0个	6个

学习结果为对于如表1那样的模式的像素将P1选择为“邻居”。将该结果存储在运算参数存储部107内。存储方法虽然与第一实施方式相同，但在本实施方式中从P1、P2、P3、P4的各RGB值的高位的4位共计48位之中，存储表示“邻居”的0(P1)、1(P2)、2(P3)、3(P4)的4个之中表示任意一个的数字的4位的值。

接着说明第二分辨率变换处理部201的动作。

在第二分辨率变换处理部201中对于P、B画面解码帧，检查插补像素的周边4像素的像素值。与第一实施方式同样，向运算参数存储部107查询将周边4像素的RGB的高位4位排列后的48位的值。运算参数存储部107根据所输入的48位的周边像素信息，把表示所存储的“邻居”位置的4位的参数返给第二分辨率变换处理部201。第二分辨率变换处理部201根据4位的返回值从P1～P4之中决定“邻居”的像素位置。

这样一来，与通常的最近邻域法相比选出相关性较高的像素的概率就变高，对于P、B画面解码帧而言，就可以以较少的计算量期望画质的改善。

(第三实施方式)

以下，利用附图来说明本发明的第三实施方式。此外，表示本发明的图像处理装置的第三实施方式的框图如图7所示，说明在同一装置中所执行的图像处理方法的处理顺序的流程图如图8所示。

此外，在图7中，对于执行与第一实施方式相同的动作的框图赋予相同的标记，并省略说明。

在本实施方式中也与第一实施方式同样，解码处理从输入部输入的MPEG2视频流，进行分辨率变换后输出。与第一实施方式同样，关于MPEG2视频流的解码处理的计算量，假设I画面的解码计算量较少，而P、B画面的解码计算量多。另外，在下面的说明为了简单起见扩大了2倍，但只要是变成2ⁿ倍的分辨率变换，就能够完全同样地进行适用。(n是自然数)

图7中，301是对压缩流的画面以外进行解码的解码处理部，302是分辨率变换处理部，其接收压缩画面，与解码处理一起进行分辨率变换处理，303第二分辨率变换处理部，其在解码压缩画面的同时，利用运算参数存储部107内所存储的参数执行计算量较少的第二分辨率变换，304是运算参数计算部，根据第一分辨率变换处理部302的结果，计算第二分辨率变换处理部303的计算中所用的参数。

在本实施方式中，与第一实施方式的动作不同是，第一分辨率变换处理部302在解码压缩画面的同时进行分辨率变换、运算参数计算部304的运算参数计算方法、第二分辨率变换处理部303在解码压缩画面的同时进行分辨率变换，及其分辨率变换算法。

借助于分辨率变换方法选择开关103，压缩I画面被送往第一分辨率变换处理部302、压缩P、B画面被送往第二分辨率变换处理部303(S11)。

第一分辨率变换处理部302经由开关103接收压缩I画面，进行解码处理(第一解码处理)，同时与第一实施方式同样，适用根据双三次法的分辨率变换(S12)。

运算参数计算部304接收第一分辨率变换处理部302的分辨率变换结果图像，计算在第二分辨率变换处理部303中分辨率变换时使用的运算参数(S13)。在本实施方式中，由于在第二分辨率变换处理部303使用DCT系数插补的分辨率变换，所以计算用于其的运算参数。具体地讲，对于I画面解码帧，进行16×16的DCT变换。分析所得到的DCT系数，计算低频区域的8×8区域和高频区域之间的相关性。

对运算参数计算方法详细进行说明。

一般而言，在利用4×4的DCT系数A0以8×8进行分辨率变换的情况下，位于高频区域的A1，若如图9(a)那样在水平方向反复A0则能够很好地复原解码图像的高频区域这一点为人们所公知。对于A2同样在垂直方向上、对于A3同样在水平和垂直方向上反复，由此就能够复原高频区域的DCT系数。因而，对实际所得到的DCT系数和反复而得到的A1～A3进行比较，求得插补系数。

(公式4)

实际的DCT系数＝插补系数×反复系数

对1个画面的全部16×16的DCT块计算满足上式的插补系数，并取插补系数的平均由此计算运算参数。

这样计算出的运算参数，被存储在运算参数存储部107中。在本实施方式中，运算参数存储部107中所存储的参数是唯一的插补系数。位数是任意的。

在第二分辨率变换处理部303接收压缩P、B画面，在解码处理之际将压缩流中的8×8的DCT系数扩大到16×16，在高频区域中对8×8的系数进行了反复后，通过乘以由学习结果所得到的插补系数设为DCT系数来进行分辨率变换(S14)。通过对该16×16的DCT块进行逆DCT处理来实施解码处理(第二解码处理)(S15)，就得到反映了在I画面解码帧中所适用的双三次法的结果的高画质的放大图像。

Claims

1.一种图像处理方法，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于：

上述压缩活动图像数据包含第1种类图像数据和解码处理所需要的计算量比上述第1种类图像数据多的第2种类图像数据，

上述图像处理方法包括：

实施针对上述第1和第2种类图像数据的解码处理的解码处理步骤；

对经过上述解码处理的上述第1种类图像数据实施第1分辨率变换处理的第1分辨率变换处理步骤；

基于上述第1分辨率变换处理的结果，取得针对上述解码处理后的上述第2种类图像数据的分辨率变换用的参数的参数取得步骤；以及

使用上述取得的参数，对上述解码处理后的上述第2种类图像数据实施第2分辨率变换处理的第2分辨率变换处理步骤。

2.按照权利要求1所述的图像处理方法，其特征在于，

上述第1分辨率变换处理是基于双三次法的分辨率变换处理，

上述第2分辨率变换处理是基于双线性法的分辨率变换处理，

将利用双三次法算出的、表示上述第1种类图像数据中的插补像素与周边像素的相关性的相关性系数与利用双线性法算出的、上述第2种类图像数据中的插补像素与周边像素的距离系数的平均值作为插补系数，使用该插补系数对上述第2种类图像数据实施上述第2分辨率变换处理。

3.按照权利要求1所述的图像处理方法，其特征在于，

上述第1分辨率变换处理是基于双三次法的分辨率变换处理，

上述第2分辨率变换处理是基于最近邻域法的分辨率变换处理，

基于利用双三次法算出的、上述第1种类图像数据中的插补像素与多个周边像素的相关性信息，确定上述多个周边像素当中相关性最高的像素，使用该确定的像素的信息，对上述第2种类图像数据实施上述第2分辨率变换处理。

4.一种图像处理方法，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于，

上述图像处理方法包括：

对上述第1种类图像数据实施第1分辨率变换处理和解码处理的第1处理步骤；

基于上述第1分辨率变换处理的结果，取得针对上述第2种类图像数据的分辨率变换用的参数的参数取得步骤；以及

针对上述第2种类图像数据，在使用上述取得的参数实施了第2分辨率变换处理后实施解码处理的第2处理步骤。

5.按照权利要求4所述的图像处理方法，其特征在于，

上述第1分辨率变换处理是基于双三次法的分辨率变换处理，

上述第2分辨率变换处理是使用DCT系数的频率区域的分辨率变换处理，

针对上述第1种类图像数据，利用双三次法算出表示低频区域的DCT系数与高频区域的DCT系数的相关性的修正系数，使用该修正系数，在上述第2种类图像数据中根据低频区域的DCT系数算出高频区域的DCT系数，使用该算出的DCT系数进行上述第2分辨率变换处理。

6.按照权利要求1或4所述的图像处理方法，其特征在于，

上述第1种类图像数据是I画面类型的图像数据，上述第2种类图像数据是P或B画面类型的图像数据。

7.一种图像处理装置，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于：

上述图像处理装置包括：

实施针对上述第1和第2种类图像数据的解码处理的解码处理部；

对经过上述解码处理的上述第1种类图像数据实施第1分辨率变换处理的第1分辨率变换处理部；

基于上述第1分辨率变换处理的结果，取得针对上述解码处理后的上述第2种类图像数据的分辨率变换用的参数的参数取得部；以及

利用上述取得的参数，对上述解码处理后的第2种类图像数据实施第2分辨率变换处理的第2分辨率变换处理部。

8.一种图像处理装置，将压缩活动图像数据变换成由经过解码处理且分辨率与压缩前不同的多个静止图像组成的活动图像数据，其特征在于，

上述图像处理装置包括：

针对上述第1种类图像数据实施第1分辨率变换处理和解码处理的第1处理部；

基于上述第1分辨率变换处理的结果，取得针对上述第2种类图像数据的分辨率变换用的参数的参数取得部；以及

针对上述第2种类图像数据，在使用上述取得的参数实施了第2分辨率变换处理后实施解码处理的第2处理部。