本发明是申请人松下电器产业株式会社于2005年11月14日提出的申请号为200580039445.X的、发明名称为“运动图像编码方法以及运动图像解码方法”发明申请的分案申请。
具体实施方式
下面对本发明的各个实施方式,分别参照附图进行说明。
(实施方式1)
图1为表示本发明的实施方式1所涉及的运动图像编码装置之构成的方框图。
运动图像编码装置100,是用来对运动图像信号进行压缩编码的装置,如图1所示,具有第1正交变换部102、补正信息生成部104、可变长度编码部106、降低采样部108、编码部110、局部解码部112、第2正交变换部114、以及低通滤波器116。
第1正交变换部102,对输入图像信号101进行离散余弦变换(DCT),并将输入图像DCT系数103输出。低通滤波器116通过对输入图像信号101进行低通滤波处理,抑制图像信号的高频区域的数据,输出低频带图像信号117。降低采样部10g将低频带图像信号117的分辨率降低采样到预先决定的分辨率,输出缩小图像信号109。编码部110,通过预先决定的编码方式对缩小图像信号109进行压缩编码,输出编码列111。局部解码部112对应于编码部110的编码方式,对编码列111进行解码,并输出解码图像信号113。第2正交变换部114对解码图像信号113进行离散余弦变换,并输出解码图像DCT系数115。补正信息生成部104根据输入图像DCT系数103与解码图像DCT系数115,生成系数补正信号105,系数补正信号105用来对正交变换系数进行补正,该正交变换系数是通过对由编码列所得到的解码运动图像信号进行正交变换所得到的。可变长度编码部106,通过对系数补正信息105进行可变长度编码,而输出补正信息编码列107作为编码列111的附加信息。
接下来,对如上所构成的运动图像编码装置100的动作进行说明。图2(a)为表示输入图像DCT系数的系数值A~P的图,图2(b)为表示解码图像DCT系数的系数值a~d的图。
输入图像信号101被输入给第1正交变换部102与低通滤波器116。第1正交变换部102对所输入的输入图像信号101进行离散余弦变换,并将输入图像DCT系数103输出。这里,例如如果以4×4像素单位的块进行离散余弦变换,第1正交变换部102便如图2(a)所示,输出输入图像DCT系数的系数值A~P。
另外,低通滤波器116通过对所输入的输入图像信号101进行低通滤波处理,来抑制输入图像信号101的高频区域的数据,输出低频带图像信号117。接下来,降低采样部108将低频带图像信号117的分辨率降低采样到预先决定的分辨率,输出缩小图像信号109。这里设在水平方向与垂直方向上分别缩小到1/2。编码部110,通过预先决定的编码方式对缩小图像信号109进行压缩编码,输出编码列111。局部解码部112对应于编码部110的编码方式,对编码列111进行解码,并输出解码图像信号113。第2正交变换部114对解码图像信号113进行离散余弦变换,并输出解码图像DCT系数115。这里,由于解码图像信号113是将低频带图像信号117分别在水平方向与垂直方向上缩小到1/2的图像信号,因此如果例如以2×2像素单位进行离散余弦变换,第2正交变换部114便如图2(b)所示,输出解码图像DCT系数的系数值a~d。另外,该解码图像DCT系数的系数值a~d是相当于输入图像DCT系数的低频带的系数即系数值A~D的部分,值也几乎为相同的值。接下来,补正信息生成部104,根据输入图像DCT系数103与解码图像DCT系数115,生成编码列的解码时所使用的系数补正信息105。
图3为表示通过补正信息生成部104生成系数补正信息105时的动作流程的流程图。
补正信息生成部104,取得输入图像DCT系数103与解码图像DCT系数115(步骤S101)后,便根据解码图像DCT系数115,按照每一个块决定用来将输入图像DCT系数103可取的值的区域例如图4(a)所示分成给定数目的区域的阈值TH(X)(步骤S102)。该图4(a)所示的例子中,决定1个阈值TH(X),并分成3个区域(A)、区域(B)、区域(C)。这里,COEFF(X)表示位置(频带)X的DCT系数,TH(X)表示与位置X对应的给定的阈值。
一般来说,DCT系数(COEFF)的绝对值,如图4(b)中所示的曲线R所示,随着频率增高而衰减。因此能够使用解码图像DCT系数115来预测曲线R。实际上由于DCT系数(COEFF)如图4(c)所示,取离散值,因此如图4(d)所示,预测曲线R、曲线R’,并按每一个DCT系数的频带决定阈值TH(X)。
接下来,补正信息生成部104,使用已决定的阈值TH(X),通过下面示出的(公式1),将输入图像DCT系数103分类属于3个区域(A)、区域(B)、区域(C)中的哪一个(步骤S103)。另外,本实施方式中,对输入图像DCT系数的低频带的系数即系数值A~D,不进行分类。
|COEFF(X)|<TH(X)...(公式1)
这里,COEFF(X)表示位置X的DCT系数,TH(X)表示与位置X对应的给定的阈值。另外,符号||表示绝对值。
图2(c)是示出了将输入图像DCT系数使用所决定的分别对应的阈值TH(X)分类成3类后的一例的图。例如,该图2(c)中,满足上述(公式1)的情况下的系数值(G、I、O)为横线所示的分类(C),不满足上述(公式1),且COEFF(X)为正的情况下的系数值(F、J、L)为通过从右上到左下方向的斜线所示的分类(A),不满足上述(公式1),且COEFF(X)为负的情况下的系数值(E、H、K、M、N、P)为通过从左上到右下方向的斜线所示的分类(B)。
接下来,补正信息生成部104将表示属于这样所决定的3个区域(A)、区域(B)、区域(C)中的哪一个的分类信息,作为系数补正信息105输出(步骤S104)。
之后,可变长度编码部106,通过对系数补正信息105进行可变长度编码,输出补正信息编码列107。
如上所述,运动图像编码装置100将对降低采样过的缩小图像信号109进行压缩编码所得到的编码列111以及补正信息编码列107作为编码结果输出,因此能够抑制高分辨率化所需要的数据量。另外,由于按每一个块决定阈值TH(X),因此能够采用适于块内的图像的阈值TH(X),提高解码图像的像质。
这种情况下,在后述的解码侧,根据能够从编码列111取得的解码图像DCT系数,预测曲线R、曲线R’,并通过从补正信息编码列107所得到的分类信息,确定输入图像DCT系数的高频带系数即系数值E~P,对输入图像DCT系数进行复原,因此能够提高解码图像的像质。
另外,本实施方式中,补正信息生成部104按每一个进行DCT处理的块决定与位置X对应的阈值TH(X),但并不仅限于此。例如,补正信息生成部104通过按每4个块或每个图片决定阈值TH(X),能够削减处理量。
另外,本实施方式中,补正信息生成部104使用解码图像DCT系数预测了曲线R之后,再决定阈值TH(X),但并不仅限于此。例如还可以预先设定阈值TH(X)并使用。这种情况下,由于不需要使用解码图像DCT系数,因此运动图像解码装置100的构成中,可以采用不含有局部解码部112与第2正交变换部114的构成。另外,此时可以将阈值TH(X)的信息作为系数补正信息输出。这种情况下,能够提高解码图像的像质。
另外,本实施方式中,示出了将输入图像DCT系数分类成了3个区域的例子,但不一定要是3个区域。例如还可以使用多个TH(X),增加分类数,从而能够提高解码图像的像质。
另外,本实施方式中对于输入图像DCT系数的低频带的系数即系数值A~D不进行分类,但也可以进行分类,在分类信息中含有系数值A~D的分类。通过这样,能够进一步削减DCT系数的编码量。
另外,还可以事先在解码侧准备分类信息。这种情况下,只在与解码侧所准备的分类信息不同的情况下,输出系数补正信息,通过这样能够削减系数补正信息105的数据量。
另外,解码侧所准备的分类信息可以是多个。这种情况下,通过输出用来确定解码侧所准备的分类信息的信息,以及与所确定的分类信息不同的情况下的系数补正信息,能够削减系数补正信息105的数据量。
另外,本实施方式中,正交变换中使用离散余弦变换(DCT),但并不仅限于此。例如还可以使用离散小波变换(DWT),或哈达玛变换(HT)。
另外,本实施方式中,作为DCT系数,对输入图像DCT系数通过A~P这16个系数,解码图像DCT系数通过a~d这4个系数进行了说明,但各个变换系数并不仅限于此。
另外,本实施方式中,降低采样部108将分辨率降低到预先决定的分辨率,但也可以降低到预先决定的分辨率以外。这种情况下,关于分辩率的降低方法,只要含有系数补正信息并输出就可以,通过这样,能够以符合图像内容的分辨率进行显示。
(变形例1)
上述实施方式1中,对将上述的分类信息作为系数补正信息105输出的情况进行了说明,但本变形例中对用来确定分类信息的信息而不是分类信息本身作为系数补正信息105而输出的情况进行说明。另外,关于运动图像编码装置100的构成,与上述实施方式1相同,补正信息生成部104的构成与动作不同。
补正信息生成部104,例如具有:使图5(a)所示的输入图像DCT系数可分类的组合以及组合编号(i1、i2、…)相对应的第1分类表;以及使图5(b)所示的解码图像DCT系数可分类的组合以及组合编号(d1、d2、…)相对应的第2分类表。另外,补正信息生成部104具有编码表,其用来根据例如针对图5(c)所示的输入图像DCT系数的组合编号、以及针对解码图像DCT系数的组合编号来决定特定的编码。另外,关于输入图像DCT系数可分类的组合,总计存在163的组合,关于解码图像DCT系数可分类的组合,总计存在43的组合,但这两个表不需要具有所有的这些组合,例如还可以将类似组合作为1个组合进行处理。另外,编码表还可以对输入图像DCT系数分类的组合,根据解码图像DCT系数分类的组合的哪个组合容易产生等的相关,来预先分配编码。
图6为表示变形例1中通过补正信息生成部104生成系数补正信息105时的动作流程的流程图。另外,对于与上述实施方式1相同的部分,省略说明。
从取得输入图像DCT系数103与解码图像DCT系数115(步骤S101),到输入图像DCT系数103属于3个区域(A)、区域(B)、区域(C)中的哪一个的分类(步骤S 103)的处理,与上述实施方式1相同。接下来,补正信息生成部104使用已决定的阈值TH(X),通过上述(公式1),与输入图像DCT系数103的情况下一样,将解码图像DCT系数103分类属于3个区域(A)、区域(B)、区域(C)中的某一个(步骤S201)。
图2(d)中示出了将解码图像DCT系数使用已决定的分别对应的阈值TH(X)分类成3类后的一例的图。例如,该图2(d)中,满足上述(公式1)的情况下的系数值(a)为横线所示的分类(C),不满足上述(公式1),且COEFF(X)为正的情况下的系数值(b、c)为通过从右上到左下方向的斜线所示的分类(A),不满足上述(公式1),且COEFF(X)为负的情况下的系数值(d)为通过从左上到右下方向的斜线所示的分类(B)。
接下来,补正信息生成部104,根据对输入图像DCT系数103进行了分类的结果,参照第1表,决定针对输入图像DCT系数的组合编号。另外,补正信息生成部104根据对解码图像DCT系数115进行分类的结果,参照第2表,决定针对解码图像DCT系数的组合编号(步骤S202)。接下来,根据针对输入图像DCT系数的组合编号,以及对解码图像DCT系数的组合编号,参照表格,决定特定的编码(步骤S203)。例如,在针对解码图像DCT系数的组合编号是(d2),输入图像DCT系数的分类的组合是(i1)的情况下,参照图5(c)所示的编码表,将编码决定为(0)。之后,补正信息生成部104,将已决定的编码作为系数补正信息输出(步骤S204)。
如上所述,由于将用来确定输入图像DCT系数分类的分类信息的编码,作为系数补正信息输出,因此能够削减系数补正信息的数据量。这种情况下,解码侧能够使用针对在解码侧所能够取得的解码图像DCT系数的组合编号、以及作为系数补正信息所取得的编码,求出输入图像DCT系数分类的组合。
另外,本变形例中,如图5(c)所示,对具有1个编码表的情况进行了说明,但并不仅限于此。例如还可以如图5(d)所示,具有多个编码表。这种情况下,例如可以对应于解码图像DCT系数a的系数值,来切换编码表。通过这样,能够进一步削减系数补正信息105的数据量。
另外,还可以事先在解码侧与编码侧具有共通的分类的组合。这种情况下,可以发送与共通具有的分类组合之间的差分,作为系数补正信息。通过这样,能够削减系数补正信息105的数据量。
(变形例2)
上述实施方式1中,对将上述分类信息作为系数补正信息105输出的情况进行了说明,但本变形例中,对将线性预测系数而不是分类信息,作为系数补正信息105输出的情况进行说明。另外,运动图像编码装置100的构成,与上述实施方式1相同,而补正信息生成部104的构成及动作不同。
图7(a)为表示通过使用解码图像DCT系数进行线性预测运算,计算出输入图像DCT系数的示意图。图7(a)中示出了解码图像DCT系数具有系数值a~d,输入图像DCT系数具有系数值A~P的情况。
补正信息生成部104,根据输入图像DCT系数103与解码图像DCT系数115,如图7(a)所示,使用解码图像DCT系数,进行线性预测运算,由此计算出用来输出输入图像DCT系数的线性预测系数。
图7(b)为表示变形例2中通过补正信息生成部104生成系数补正信息105时的动作流程的流程图。
补正信息生成部104,取得了输入图像DCT系数103与解码图像DCT系数115之后(步骤S301),便如图7(a)所示,使用解码图像DCT系数,进行线性预测计算,使用下面的(公式2)计算出用来输出输入图像DCT系数的线性预测系数(步骤S302)。
(公式2)
A=X1(A)×a+X2(A)×b+X3(A)×c+X4(A)×d
B=X1(B)×a+X2(B)×b+X3(B)×c+X4(B)×d
P=X1(P)×a+X2(P)×b+X3(P)×c+X4(P)×d
这里,X1(X)~X4(X)表示位置X的线性预测系数。
接下来,补正信息生成部104将所计算出的线性预测系数作为系数补正线性105输出(步骤S303)。
如上所述,由于运动图像编码装置100将对降低采样后的缩小图像信号109进行压缩编码所得到的编码列111以及补正信息编码列107,作为编码结果输出,因此能够抑制高分辨率化所需要的数据量。
这种情况下,在解码侧,能够根据可从编码列111所取得的解码图像DCT系数,使用线性预测系数,对输入图像DCT系数进行复原,因此能够提高解码图像的像质。
另外,本变形例中,线性预测系数对输入图像DCT系数的所有位置A~P作为系数补正信息而输出,但不一定要对输入图像DCT系数的所有位置作为系数补正信息而输出。例如,位置A~D的系数部分,能够从解码图像DCT系数的系数导出,通过不含有该系数,能够削减系数补正信息105的数据量。另外,在输入图像DCT系数值的绝对值较小的情况下,通过不输出线性预测系数,能够削减系数补正信息105的数据量。
另外,本变形例中,按每一个块计算出线性预测系数并作为系数补正信息输出,但并不仅限于此。例如还可以收集线性预测系数相似的块,并与相似块的信息一起作为系数补正信息输出。图7(c)为表示这种情况下由补正信息生成部104生成系数补正信息105时的动作流程的流程图。
补正信息生成部104,取得了输入图像DCT系数103与解码图像DCT系数115(步骤S301)之后,与上述一样,计算出线性预测系数(步骤S302)。接下来,补正信息生成部104判断按每一个块计算出的线性预测系数的类似性,并合并系数(步骤S401)。此时,类似性的判断基准使用线性预测系数的欧几里得距离等,将近的距离的系数合并。作为合并的方法,使用欧几里得距离为一定以上的较小者的平均值。补正信息生成部104,将该合并后的线性预测系数、以及块的合并信息,作为系数补正信息105输出(步骤S402)。通过这样,能够削减系数补正信息105的数据量。
另外,还可以例如收集解码图像DCT系数类似的块,并与类似的块的信息一起,作为系数补正信息输出。图7(d)为表示这种情况下由补正信息生成部104生成系数补正信息105时的动作流程的流程图。
补正信息生成部104,取得了输入图像DCT系数103与解码图像DCT系数115(步骤S301)之后,判断每一个块的解码图像DCT系数的类似性,并进行分组(步骤S501)。此时,类似性的判断基准使用系数的欧几里得距离等,进行分组。接下来,补正信息生成部104,按每一个该组计算出线性预测系数(步骤S502)。接下来,补正信息生成部104,将该线性预测系数、以及块的合并信息,作为系数补正信息105输出(步骤S503)。通过这样,能够削减系数补正信息105的数据量。
另外,在使用图7(d)中所说明的方法的情况下,通过在编码侧与解码侧,用相同的方法对解码图像DCT系数进行分组,由此可以不将合并信息作为系数补正信息输出。这种情况下,能够进一步削减系数补正信息105的数据量。
另外,本变形例中,可以预先在解码侧与编码侧设有共通的线性预测系数,并作为系数补正信息,发送所计算出的信息预测系数与共通设有的信息预测系数之间的差分。通过这样,能够削减系数补正信息105的数据量。
(变形例3)
上述实施方式1中,对将上述的分类信息作为系数补正信息105输出的情况进行了说明,但本变形例中,对将补正用的等级(level)而不是分类信息作为系数补正信息105输出的情况进行说明。另外,关于运动图像编码装置100的构成,与上述实施方式1相同,补正信息生成部104的构成及动作不同。
补正信息生成部104,对给定区域中含有的多个块的输入图像DCT系数103以及解码图像DCT系数115,分别区分为每一个频带的系数集合,并计算出各自的相关程度,对应于所计算出的相关程度,决定补正用的等级。
图10为表示变形例3中通过补正信息生成部104生成系数补正信息105时的动作流程的流程图。另外,图8(a)中示出了输入图像的给定区域区域内的块,图8(b)示出了块的输入图像DCT系数的系数值A~P,图8(c)示出了以给定的图像区域单位所归纳的各个系数。另外,图9(a)中示出了解码图像的给定图像区域内的块,图9(b)示出了块的解码图像DCT系数的系数值a~d,图9(c)示出了以给定的图像区域单位所归纳的各个系数。
补正信息生成部104,如图8(a)、图9(a)所示取得了给定区域中含有多个(这里为9个)块的输入图像DCT系数103以及解码图像DCT系数115(步骤S601)之后,对该多个块,如图8(c)、图9(c)所示,分为每一个频带的系数集合(步骤S602)。接下来,补正信息生成部104计算出相关程度(步骤S603),该相关程度表示输入图像侧各个系数的集合与解码图像侧各个系数的集合的类似性。例如,对系数A1~A9的集合,计算出系数a1~a9的集合、系数b1~b9的集合、系数c1~c9的集合、系数d1~d9的集合的相关程度。另外,对系数B1~B9的集合~系数P1~P9的集合也同样分别计算出相关程度。接下来,补正信息生成部104,决定与输入图像侧的各个系数的集合最有相关性的某个解码图像侧系数的集合的位置,并对应于该相关程度,决定补正用的等级(步骤S604)。该补正用的等级,例如是在相关程度较小的情况下接近0,在相关程度较高的情况下接近1的值。之后,补正信息生成部104,将表示所决定的集合的位置的信息以及补正用等级,作为系数补正信息105输出(步骤S605)。
如上所述,运动图像编码装置100,将对降低采样后的缩小图像信号109进行了压缩编码后的编码列111以及补正信息编码列107,作为编码结果输出,因此能够抑制高分辨率化所需要的数据量。
这种情况下,由于在解码侧,能够根据从编码列111所能够取得的解码图像DCT系数,使用表示集合的位置的信息与补正用等级,对输入图像DCT系数进行复原,因此能够提高解码图像的像质。
另外,本变形例中,给定区域的尺寸并不仅限于预先决定。在没有预先决定的情况下,输出给定区域的取法作为系数补正信息。通过这样,能够生成与图像对应的系数补正信息,从而能够提高解码图像的像质。
另外,本变形例中,可以预先在解码侧与编码侧设有共通的补正用的等级,并发送所计算出的补正用的等级与共通设有的补正用的等级之差分,作为系数补正信息。通过这样,能够削减系数补正信息105的数据量。
(变形例4)
图11为表示本发明的实施方式1的变形例4所涉及的运动图像编码装置之构成的方框图。另外,对于与上述实施方式1相同的构成,省略其说明。
运动图像编码装置200,相对图1中所示的运动图像编码装置100的构成,没有低通滤波器116以及降低采样部108。此外均与运动图像编码装置100相同。因此,编码部110通过事先决定的编码方式对输入图像信号101进行压缩编码,输出编码列111。
这样,由于不使用低通滤波处理以及分辨率变换,能够简化处理电路,进而通过使用系数补正信息,还能够与以前的编码方式相比让解码图像更加高像质化。
另外,本变形例4中,采用不具有低通滤波器116以及降低采样部108的构成,但并不仅限于此。例如还可以采用没有低通滤波器116或降低采样部108的构成。
接下来,对系数补正信息的传送方法进行说明。图12为用来说明系数补正信息的传送方法的图,(a)为表示将编码列与附加信息作为不同的编码列进行传送的例子的图,(b)为表示在编码列中的图像头中加入有附加信息的例子的图,(c)为表示在编码列中的宏块头中加入有附加信息的例子的图。
包括上述变形例1~4的本实施方式1中,系数补正信息105,通过可变长度编码部106进行可变长度编码,如图12(a)所示,作为补正信息编码列107与编码列111分别传送。这种情况下,由于编码列111与作为附加信息的补正信息编码列107完全无关地传送,因此即使在解码侧不对应于补正信息编码列107的情况下,也能够顺利地得到解码图像。另外,如果是与解码信息编码列107对应的运动图像解码方法,则能够对高域信息进行复原,因此能够提高解码像质。另外,由于补正信息编码列107与编码列111作为不同的信息传送,因此能够由传送装置停止传送自身,从而在带宽较窄的通信中,在不需要时能够不进行传送。
另外,关于系数补正信息的传送方法,并不仅限于如上所述将补正信息编码列107与编码列111另行传送的方法,还可以与编码列111组合来进行传送。
例如,系数补正信息105,如图12(b)所示,可以加入到编码列111中的图像头1003中的能够自由放入数据的部分中。这里,能够自由放入数据的部分是指:表示对在标准规格中加入到该部分中的信息,规定进行特定的处理或不进行处理的区域,例如被称作MPEG规格的用户数据的区域。另外,图像头是指加入在1张图像中共通的信息等的部分,是对1个图像附加有一个的信息。
这种情况下,即使在解码侧不对应于系数补正信息105的情况下,也能够顺利得到解码图像。另外,如果是与系数补正信息105对应的运动图像解码方法,则能够对高域信息进行复原,因此能够提高解码像质。
另外,图12(b)中,采用图像头进行了说明,但并不仅限于此,只要是在作为运动图像的开头信息区域的序列头、作为运动图像的特定区间的信息区域的GOP头等,能够自由加入数据的部分即可。
另外,例如系数补正信息105,如图12(c)所示,可以加入到编码列111中的宏块头1004中。这里,宏块头是指将构成1张图片的图像分割成特定的区域,并按每一个该区域一个一个地进行附加的信息。特定的区域例如是16×16像素大小的块。将每一个该区域的数据存储到宏块数据1005中。系数补正信息105不一定存在于所有的区域中,因此只加入到必要的部分中。
这种情况下,由于能够加入到必要的部分中,因此能够减少所传送的信息量。
通过使用如上所述的系数补正信息的传送方法,能够进一步减少要传送的信息量。另外,还能够进行在解码侧不对应的情况等实用上非常有用的传送。
另外,包括上述变形例1~4的本实施方式1中,对系数补正信息105被进行可变长度编码并作为补正信息编码列107传送的情况下进行了说明,但也可以不总是传送补正信息编码列107。例如,可以只在判断解码侧需要补正时,发送系数补正信息105。此时,在编码列111中添加表示含有系数补正信息105的信息。信息的添加方法与图12中所示的传送方法一样。通过这样,在对编码列111进行解码时,能够很容易地判断特定区域中添加了系数补正信息,因此能够削减电路规模,并且改善像质。
另外,包括上述变形例1~4的本实施方式1中,关于系数补正信息105,对多种方式分别进行了说明,但也可以使用多个这些方式。例如,如果在补正信息编码列107中添加表示系数补正信息的种类的信息,则能够容易地判断在解码侧怎样使用系数补正信息较好。另外,由于能够将表示按每一个块不同的系数补正信息的种类的信息,加入到补正信息编码列107中,因此能够实现像质的提高。另外,这里对补正信息编码列107中添加有表示系数补正信息的种类的信息进行了说明,但并不仅限于此,例如还可以在编码列111中示出系数补正信息的种类。这种情况下,在解码时能够判断系数补正信息的种类。另外,还可以在编码列111中含有系数补正信息的记录场所的信息。这种情况下,能够很容易地进行编码列与系数补正信息分别进行管理的情况下的信息的交换。
另外,包括上述变形例1~4的本实施方式1中,对不进行分辨率变换的情况进行了说明,但例如还可以将是否进行分辨率变换的信息、变换成哪个尺寸的信息,记录在补正信息编码列107中。这种情况下,按图像的每一个种类都能够变换分辨率,能够对应于图像的特征,实现像质的提高。另外,与分辨率变换相关的信息,并不仅限于记录在补正信息编码列107中,还可以包括在编码列111中。另外还可以使用是否进行分辨率变换的信息,来变更输出图像的图像处理方法。例如在进行分辨率变换的情况下,通过进行其处理单位下的噪声降低滤波,能够得到更高像质的输出图像。
(实施方式2)
图13为表示本发明的实施方式2所涉及的运动图像解码装置之构成的方框图。
运动图像解码装置700,是用来对运动图像信号被压缩编码后的编码列进行解码的装置,如图13所示,具有可变长度解码部702、解码部705、正交变换部707、系数补正部709、以及逆正交变换部711。
可变长度解码部702,对补正信息编码列701进行可变长度解码,并输出系数补正信息703。解码部705通过预先决定编码列704的方式,进行运动图像解码,输出解码图像信号706。正交变换部707,通过对解码图像信号706进行离散余弦变换,输出解码图像DCT系数708。系数补正部709根据系数补正信息703以及解码图像DCT系数708,输出补正DCT系数710。逆正交变换部711,通过对补正DCT系数710进行逆离散余弦变换,将输出图像712输出。
接下来,对如上所构成的运动图像解码装置700的动作进行说明。
补正信息编码列701输入给可变长度解码部702、编码列704输入给解码部705。可变长度解码部702对补正信息编码列701进行可变长度解码,求出系数补正信息703。另外,解码部705通过预先决定的方式,对编码列704进行解码,输出解码图像信号706。正交变换部707对通过解码所得到的解码图像信号706进行离散余弦变换,求出解码图像DCT系数708。接下来,系数补正部709根据系数补正信息703以及解码图像DCT系数708,输出补正DCT系数710。
图14(a)为表示通过系数补正部709补正DCT系数时的基本动作流程的流程图。
系数补正部709,取得系数补正信息703以及解码图像DCT系数708(步骤S8101)之后,根据系数补正信息703以及解码图像DCT系数708,计算出补正DCT系数710(步骤S8102)。之后,系数补正部709输出所计算出的补正DCT系数(步骤S8103)。
之后,逆正交变换部711通过对补正DCT系数710进行逆离散余弦变换,将输出图像712输出。
这样,通过对解码图像信号进行离散余弦变换,使用系数补正信息补正DCT系数,并进行逆离散余弦变换,能够提高解码图像信号的像质。
接下来,对包括与分辨率变换相关的判断的情况下的系数补正部的动作进行说明。另外,这里在进行分辨率变换的情况下,将分辨率在水平方向与垂直方向上分别扩大了2倍。
图14(b)为表示包含与分辨率变换相关的判断的情况下的通过系数补正部709补正DCT系数时的基本动作流程的流程图。图15为用来说明补正DCT系数的计算的图,(a)为不进行分辨率变换的情况下的例子,(b)为系数补正信息中不含有用来补正解码图像DCT系数的信息,进行分辨率变换的情况下的例子,(c)为系数补正信息中含有用来补正解码图像DCT系数的信息,进行分辨率变换的情况下的例子。图15中,左侧所示的是解码图像DCT系数,右侧是解码DCT系数。
系数补正部709,取得了系数补正信息703与解码图像DCT系数708(步骤S8201)之后,判断与分辨率变换相关的信息是否包括在系数补正信息中(步骤S8202)。这里,在分辨率变换的信息包括在系数补正信息中,或决定预先是否进行分辨率变换的情况下(步骤S8202中是),系数补正部709根据系数补正信息703与解码图像DCT系数708,如图15(c)所示,生成解码图像DCT系数708中不存在的高频带的DCT系数E~P(步骤S8203)。进而,系数补正部709使用系数补正信息,对解码图像DCT系数进行补正,计算出低频带的DCT系数A~D(步骤S8204)。之后,系数补正部709输出生成以及补正过的补正DCT系数A~P(步骤S8206)。另外,在不含有用来补正解码图像DCT系数的信息的情况下,可以不进行低频带的DCT系数A~D的计算,而是如图15(b)所示,输出由解码图像DCT系数a~d,以及所生成的DCT系数E~P所构成的补正DCT系数。
另外,在不进行分辨率变换的情况下(步骤S8202中否),如图15(a)所示,使用系数补正信息,补正解码图像DCT系数(步骤S8205),并输出补正DCT系数(步骤S8206)。
这样,由与分辨率相关的信息,根据系数补正信息而生成DCT系数,从而能够更加高像质地进行分辨率变换,让解码图像信号高像质化。
接下来,分别对系数补正信息105中含有实施方式1中说明的DCT系数的分类信息的情况、不含有线性预测系数的情况、以及含有相关关系信息的情况下,系数补正部709的具体动作进行说明。
图16(a)为表示系数补正信息105中含有DCT系数的分类信息的情况下的动作流程的流程图,(b)为说明根据分类信息补正DCT系数的方法的说明图。
这种情况下,系数补正部709取得了系数补正信息703以及解码图像DCT系数708(步骤S8301)之后,便从系数补正信息取得DCT系数的分类信息。接下来,系数补正部709根据解码图像DCT系数708,与上述实施方式1的运动图像解码装置100的情况下一样,如图4(d)所示,预测曲线R、曲线R’,并按每一个DCT系数的频带决定阈值TH(X)。接下来,补正信息生成部104使用分类信息与阈值TH(X),通过下面所示的(公式3),计算出补正DCT系数(步骤S8302)。另外,(公式3)是分类为3个的情况下的例子。
(公式3)
(分类A)COEFF(X)=TH(X)×α
(分类B)COEFF(X)=-TH(X)×α
(分类C)COEFF(X)=0
这里,COEFF(X)表示位置X的DCT系数,TH(X)表示对应于位置X的给定的阈值。另外,α表示常数。
之后,补正信息生成部104将所计算出的DCT系数作为补正DCT系数输出(步骤S8303)。
另外,在阈值TH(X)不包括在系数补正信息中的情况下,不需要根据解码图像DCT系数708来决定。另外,关于常数α,可以对每一个DCT的处理块使用不同的值。这种情况下,能够提高解码图像的像质。
另外,在DCT系数的分类信息,作为上述实施方式的变形例1中所述的编码而得到的情况下,通过参照如图5(a)所示的第1分类表、图5(b)所示的第2分类表、以及图5(c)所示的编码表,确定分类,计算出补正DCT系数。
图17(a)为表示系数补正信息105中含有线性预测系数的情况下的动作流程的流程图,(b)为说明根据线性预测系数补正DCT系数的方法的说明图。
这种情况下,系数补正部709取得了系数补正信息703与解码图像DCT系数708(步骤S8401)之后,从系数补正信息取得加在解码图像DCT系数的各个系数的线性预测系数。接下来,系数补正部709使用该线性预测系数,通过下面所示的(公式4),计算出补正DCT系数(步骤S8402)。
(公式4)
A=Ta(A)×a+Tb(A)×b+Tc(A)×c+Td(A)×d
B=Ta(B)×a+Tb(B)×b+Tc(B)×c+Td(B)×d
P=Ta(P)×a+Tb(P)×b+Tc(P)×c+Td(P)×d
这里,Ta(X)~Td(X)表示位置X的线性预测系数。
之后,补正信息生成部104将所计算出的DCT系数,作为补正DCT系数输出(步骤S8403)。
另外,与实施方式1的变形例2的情况同样地进行分组,在系数补正信息中含有块的合并信息的情况下,使用该块的合并信息,进行分组,取得每一个块中含有的Ta(X)~Td(X),对DCT系数进行补正。
另外,决定要预先进行分组并使用实施方式1的变形例2的图7(d)中所说明的方法,在系数补正信息中不含有块的合并信息的情况下,与实施方式1的变形例2的图7(d)中所说明的方法一样,进行分组,并取得每个组中含有的Ta(X)~Td(X),补正DCT系数。
图18(a)为表示系数补正信息105中含有相关关系信息的情况下的动作流程的流程图,(b)为说明根据相关关系信息补正DCT系数的方法的说明图。
这种情况下,系数补正部709取得了系数补正信息703与解码图像DCT系数708(步骤S8401)之后,从系数补正信息取得特定区域的信息、该区域中的解码DCT系数间的相关关系信息x(X)、以及补正等级的信息L(X)。这表示针对系数位置X的补正DCT系数与解码图像DCT系数x具有相关关系,补正的等级为L(X)。例如,在系数补正信息中含有表示系数位置P的补正DCT系数与解码图像DCT系数b具有相关关系,且补正等级为L(P)这一信息的情况下,系数位置P的补正DCT系数,通过下面所示的(公式5)计算出来。
P=L(P)×b(P) …(公式5)
这样,系数补正部709,将对进行补正的DCT系数,复制具有相关关系的解码图像DCT系数,对全体DCT系数进行补正等级的这一处理(步骤S8502)。
之后,补正信息生成部104,输出通过上述所求出的补正DCT系数(步骤S8403)。
这样,通过系数补正信息来补正解码图像DCT系数,从而能够得到更高像质的解码图像。
另外,本实施方式中,使用具有水平方向2倍,垂直方向2倍的分辨率变换的情况下的说明图进行了说明,但不一定要分辨率变换。另外,分辨率的扩大比率也并不仅限于此。
另外,以上对系数补正信息的每一个种类的处理方法分别进行了说明,但并不仅限于只含有1种系数补正信息。这种情况下,可以根据确定系数补正信息种类的信息,切换处理,来进行对应于系数补正信息的DCT系数补正处理。
(实施方式3)
进而,通过将用来实现上述各个实施方式中所示的运动图像编码方法以及运动图像解码方法的程序,记录在软盘等记录媒体中,从而能够在独立的计算机系统中简单地实施上述各个实施方式中所示的处理。
图19为使用记录在软盘等记录媒体中的程序,通过计算机系统来实施上述各个实施方式的运动图像编码方法以及运动图像解码方法的情况下的说明图。
图19(b)中示出了从软盘的正面所看到的外观、剖面构造、以及软盘,图19(a)示出了作为存储介质本体的软盘的物理格式之一例。软盘FD内置在外壳F内,该盘的表面从外周到内周呈同心圆状形成有多个轨道Tr,各个轨道在角度方向上分割成了16个扇区Se。因此,存储上述程序的软盘中,在上述软盘FD上所分割的区域中记录上述程序。
另外,图19(c)中示出了用来在软盘FD中进行上述程序的记录再生的结构。在将实现运动图像编码方法以及运动图像解码方法的上述程序记录到软盘FD中的情况下,从计算机系统Cs将上述程序经软盘驱动器写入。另外,在计算机系统中构建通过软盘内的程序实现运动图像编码方法以及运动图像解码方法的上述运动图像编码方法以及运动图像解码方法的情况下,通过软盘驱动器从软盘中读出程序,并转发给计算机系统。
另外,上述说明中使用软盘作为记录媒体进行了说明,但使用光盘也同样能够进行。另外,记录媒体并不仅限于此,IC卡、ROM盒等只要是能够记录程序的,就同样能够实施。
(实施方式4)
进而,这里对上述实施方式中所示的运动图像编码方法以及运动图像解码方法的应用例以及使用它的系统进行说明。
图20为表示实现内容传送服务的内容提供系统ex100的全体构成的方框图。将通信服务的提供区域分割成所期望的大小,并在各个单元内分别设置作为固定无线站的基站ex107~ex110。该内容提供系统ex100,例如经互联网服务提供商ex102与电话网ex104、以及基站ex107~ex110,将计算机ex111、PDA(personal digital assistant)ex112、照相机ex113、移动电话ex114、以及带照相机的移动电话ex115等各个机器与互联网ex101相连接。
但是,内容提供系统ex100并不仅限于图20的组合,还可以将任一个组合连接起来。另外,也可以不经由作为固定无线站的基站ex107~ex110,而将各个机器与电话网ex104直接连接。
照相机ex113是数码相机等能够进行运动图像摄影的机器。另外,移动电话可以是PDC(Personal Digital Communications)方式、CDMA(CodeDivision Multiple Access)方式、W-CDMA(Wideband-Code DivisionMultiple Access)方式、或GSM(Global System for Mobile Communication)方式的移动电话机,或PHS(Personal Handyphone System)等,任一种均可以。
另外,流服务器ex103,从照相机ex113通过基站ex109、电话网ex104相连接,能够基于用户使用照相机ex113所发送的编码处理过的数据进行实时传送。所拍摄的数据的编码处理既可以由计算机ex113进行,又可以由进行数据的发送处理的服务器等进行。另外,照相机116所拍摄的运动图像数据可以经计算机ex111发送给流服务器ex103。照相机ex116是数码相机等能够拍摄静止图像、运动图像的机器。这种情况下,运动图像数据的编码既可以由照相机ex116进行,又可以由计算机ex111进行。另外,编码处理是计算机ex111或照相机ex116所具有的LSIex117中的处理。另外,图像编码/解码用软件可以加入在用计算机ex111等可读的存储介质等任一种存储介质(CD-ROM、软盘、硬盘等)中。进而,还可以通过带照相机的移动电话ex115来发送运动图像数据。此时的运动图像数据是通过移动电话ex115所具有的LSI进行编码处理过的数据。
该内容提供系统ex100中,对用户通过照相机ex113、照相机ex116等所拍摄的内容(例如拍摄了音乐直播的视频等),与上述实施方式一样进行编码处理,并发送给流服务器ex103,另外,流服务器ex103将上述内容数据流传送给有请求的客户端。客户端是能够对上述编码处理过的数据进行解码的计算机ex111、PDAex112、照相机ex113、移动电话ex114等。通过这样,内容提供系统ex100能够在客户端中接收编码过的数据并再生,进而能够在客户端中实时进行接收、解码、再生,通过这样能够得到一种可实现个人广播的系统。
构成该系统的各个机器的编码、解码,可以使用上述各个实施方式中所示的图像编码部或图像解码部。作为其一例,对移动电话进行说明。
图21为表示使用上述实施方式中所说明的运动图像编码方法以及运动图像解码方法的移动电话ex115的图。移动电话ex115具有:用来与基站ex110之间进行电波的发送接收的天线ex201;CCD照相机等能够拍摄视频;静止图像的照相机部ex203;显示由照相机部ex203所拍摄的视频以及天线ex201所接收到的视频等被解码后的数据的液晶显示器等显示部ex202;由操作按键ex204群所构成的本体部;用于声音输出的扬声器等声音输出部ex208;用于声音输入的麦克风等声音输入部ex205;用来保存所拍摄的运动图像或静止图像的数据、所接收的邮件的数据、运动图像的数据或静止图像的数据等编码后的数据或解码后的数据的记录介质ex207;以及用来让移动电话ex115中能够安装记录介质ex207的插槽部ex206。记录介质ex207是SD卡等通过在塑料外壳内存放有可电重写或删除的非易失性存储器EEPROM(Electrically Erasable and ProgrammableRead Only Memory)之一种的闪存元件而得到的。
进而,使用图22对移动电话ex115进行说明。移动电话ex115,将对具有显示部ex202与操作按键ex204的本体部的各个部进行综合控制的主控制部ex311,以及电源电路部ex310、操作输入控制部ex304、图像编码部ex312、照相机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、多重分离部ex308、记录再生部ex307、调制解调电路部ex306、声音处理部ex305,经同步总线ex313互相连接。
电源电路部ex310在通过用户的操作结束了通话以及电源按键被设为接通状态的情况下,通过从电池盒给各个部供电,从而将带照相机的数字移动电话ex115起动为可动作的状态。
移动电话ex115,根据CPU、ROM以及RAM等主控制部ex311的控制,在声音通话模式时,通过声音处理部ex305将声音输入部ex205所收集的声音信号变换成数字声音数据,并在由调制解调电路部ex306对其进行频谱扩展处理,由发送接收电路部ex301实施了数字模拟变换处理以及频率变换处理之后,经天线ex201发送。另外,移动电话机ex115在声音通话模式时,对天线ex201所接收到的接收信号进行放大,并实施频率变换处理与模拟数字变换处理,由调制解调部ex306进行频谱逆扩展处理,由声音处理部ex305变换成模拟声音信号之后,将其经声音输出部ex208输出。
进而,在数据通信模式时发送电子邮件的情况下,通过本体部的操作按键ex204的操作所输入的电子邮件的文本数据,经操作输入控制部ex304发送给主控制部ex311。主控制部ex311,通过调制解调电路部ex306对文本数据进行频谱扩展处理,并由发送接收电路部ex301实施了数字模拟变换处理以及频率变换处理之后,经天线ex201发送给基站ex110。
在数据通信模式时发送图像数据的情况下,将照相机部ex203所拍摄的图像数据,经照相机接口部ex303提供给图像编码部ex312。另外,在不发送图像数据的情况下,能够将照相机部ex203所拍摄的图像数据,经照相机接口部ex303以及LCD控制部ex302直接显示在显示部ex202中。
图像编码部ex312,是具有本发明中所说明的图像编码部的构成,通过上述实施方式中所示的图像编码部中所使用的编码方法,对照相机部ex203所提供的图像数据进行压缩编码,从而变换成编码图像数据,并将其发送给多重分离部ex308。另外,与此同时,移动电话机ex115,将在通过照相机部ex203进行拍摄时由声音输入部ex205所收集的声音,经声音处理部ex305作为数字声音数据发送给多重分离部ex308。
多重分离部ex308,通过给定的方式对图像编码部ex312所提供的编码图像数据与声音处理部ex305所提供的声音数据进行多重化,并由调制解调电路部ex306对上述结果得到的多重化数据进行频谱扩展处理,由发送接收电路部ex301实施了数字模拟变换处理以及频率变换处理之后,经天线ex201发送。
在数据通信模式时接收主页等中所链接的运动图像文件的数据的情况下,通过调制解调电路部ex306对经由天线ex201从基站ex110所接收到的接收信号进行频谱逆扩展处理,并将结果所得到的多重化数据发送给多重分离部ex308。
另外,为了对经由天线ex201所接收到的多重化数据进行解码,多重分离部ex308通过分离多重化数据,并分成图像数据的编码位流与声音数据的编码位流,并经同步总线ex313将该编码图像数据提供给图像解码部ex309,同时将该声音数据提供给声音处理部ex305。
接下来,图像解码部ex309,是具有本发明中所说明的图像解码装置的构成,通过与上述实施方式中所示的编码方法相对应的解码方法,对图像数据的编码位流进行解码,通过这样生成再生运动图像数据,将其经LCD控制部ex302提供给显示部ex202,这样,显示出例如主页中链接的运动图像文件中含有的运动图像数据。与此同时,声音处理部ex305将声音数据变换成了模拟声音信号之后,将其提供给声音输出部ex208,这样,再生出例如主页中链接的运动图像文件中含有的声音数据。
另外,并不仅限于上述系统的例子,最近基于卫星、地面波的数字广播是成为话题,如图23所示,在数字广播用系统中也能够设置上述实施方式中至少图像编码部或图像解码装置中的任一个。具体的说,广播站ex409中将视频信息的编码位流经电波发送给通信或广播卫星ex410。接收到了该位流的广播卫星ex410,发送广播用电波,由具有卫星广播接收设备的家庭天线ex406接收该电波,并通过电视机(接收机)ex401或机顶盒(STB)ex407等装置对编码位流进行解码并再生。另外,读取记录介质CD或DVD等存储媒体ex402中所记录的编码位流,并进行解码的再生装置ex403也能够安装上述实施方式中所示的图像解码装置。这种情况下,将所再生的视频信号显示在监视器ex404中。另外,还可以考虑在与有线电视用电缆ex405或卫星/地面波广播天线ex406相连接的机顶盒ex407内安装图像解码装置,并通过电视机的监视器ex408对其进行再生的构成。此时不但是机顶盒,还能够在电视机内安装图像解码装置。另外,还可以通过具有天线ex411的车ex412从卫星ex410或基站ex107接收信号,并在车ex412所具有的汽车导航装置ex413等显示装置中再生运动图像。
进而,还能够通过上述实施方式中所示的图像编码部对图像信号进行编码,并记录在记录媒体中。具体例子有在DVD盘ex421中记录图像信号的DVD记录器,以及在硬盘中进行记录的盘记录器等记录器ex420。进而还能够在SD卡ex422中进行记录。如果记录器ex420具有上述实施方式中所示的图像解码装置,便能够再生DVD盘ex421或SD卡ex422中所记录的图像信号,并在监视器ex408中显示。
另外,汽车导航装置413的构成例如可以考虑在图22所示的构成中,去掉了照相机部ex203与照相机接口部ex303、图像编码部ex312的构成,同样的考虑还能够适用于计算机ex111或电视机(接收机)ex401等。
另外,上述移动电话ex114等终端,除了具有编码器、解码器两个发送接收式终端之外,还可以考虑只具有编码器的发送终端,以及只具有解码器的接收终端这3种安装方式。
这样,上述实施方式中所示的运动图像编码方法以及运动图像解码方法能够应用于上述任一个机器/系统,通过这样能够得到上述实施方式中所说明的效果。
另外,本发明并不仅限于上述实施方式,还可以在不脱离本发明的范围内进行各种变形或修正。
另外,图1、图11以及图13中所示的方框图的各个功能模块作为典型的集成电路LSI实现。也可以将其分别单芯片化,可以单芯片化为包括其一部分或全部。(例如可以将存储器以外的功能模块单芯片化)。
这里,采用的是LSI,但也可以根据集成度的不同,改称作IC、系统LSI、SLSI、ULSI。
另外,集成电路化的方法并不仅限于LSI,还可以通过专用电路或通用的处理器来实现。还可以使用在LSI制造后可编程的FPGA(FieldProgrammable Gate Array),或能够对LSI内部的电路单元的连接或设定进行重构的可重设处理器。
进而,如果因半导体技术的进步或所派生的其他技术,而出现了替换LSI的集成电路化的技术,则当然也可以使用该技术进行功能模块的集成化。还具有应用于生物技术的可能性。
工业上的可利用性
本发明所涉及的运动图像编码方法以及运动图像解码方法,具有能够通过低位速率来进行高像质的编码与解码的效果,例如作为使用移动电话、DVD装置、以及个人计算机等的存储、传送、通信等中的运动图像编码方法以及运动图像解码方法非常有用。