具体实施方式
以下参照附图,详细说明本发明的第1实施方式中的动态图像编码装置。
图6是本发明第1实施方式中的动态图像编码装置100的方框图。
该动态图像编码装置100是通过提高移动向量预测值的预测能力,来提高编码效率的装置,其具有:帧存储器101、差分运算部102、预测误差编码部103、代码序列生成部104、预测误差解码部105、加法运算部106、帧存储器107、移动向量检测部108、方式选择部109,编码控制部110、开关111~115、移动向量存储部116和移动向量编码部117。
帧存储器101是以图像单位保存输入图像的图像存储器,将以图像单位按时间顺序取得的输入图像,按照编码顺序改变排列后进行输出。改变排列是由编码控制部110进行控制。
图7的(a)表示输入到帧存储器101内的图像的情况。
在该图7(a)中,纵线表示图像,在各个图像的右下角所示的符号中,第1个文字的字母表示图像类型(I、P或B),第2个文字以后的数字表示按时间顺序的图像序号。输入到帧存储器101内的各图像,按编码顺序来改变排列。按编码顺序进行的改变排列,根据帧间预测编码中的参照关系来进行,改变排列的是以被作为参照图像使用的图像比将该图像作为参照图像使用的图像先进行编码的方式进行。例如,帧P7~P13的各个图像的参照关系如图7(a)的箭头所示。在图7(a)中,箭头的起点表示被参照的图像,箭头的终点表示进行参照的图像。在此情况下,对图7(a)的图像进行改变排列的结果如图7(b)所示。
图7(b)表示如(a)所示输入的图像已被改变排列的情况。这样在帧存储器101中进行改变排列的各个图像,以宏块为单元被读出。在此,宏块是水平16×垂直16像素的大小。
差分运算部102,通过开关111,以宏块为单位从帧存储器101中取得图像数据,并且,从方式选择部109中取得移动补偿图像。此外,差分运算部102运算出宏块单位的图像数据和移动补偿图像的差分,并生成预测误差图像之后进行输出。
预测误差编码部103,对通过开关112从帧存储器101中取得的图像数据、或者由差分运算部102求得的预测误差图像,进行离散余弦变换等频率变换以及量子化等编码处理,由此制作编码数据。例如,频率变换和量子化的处理是以水平8×垂直8像素为单位进行。此外,预测误差编码部103,把编码数据输出到代码序列生成部104和预测误差编码部105。
代码序列生成部104,对来自预测误差编码部103的编码数据,进行可变长编码,变换成输出用的编码位流格式,再附加上从移动向量编码部117输入的移动向量的信息、从方式选择部109输入的编码方式的信息、以及其他标题信息等,由此来生成代码序列。
预测误差解码部105,对来自预测误差编码部103的编码数据,进行反量子化后,进行反离散余弦变换等反频率变换,解码成为预测误差图像。
加法运算部106,把上述移动补偿图像加到作为解码结果的预测误差图像上,作为经过了编码和解码的图像数据,输出表示1帧图像的解码图像。
帧存储器107是一种图像存储器,其以图像为单位来保存图像,被存储的图像是:从加法运算部106输出的解码图像中,在其他图像编码时被作为参照图像使用的图像。
移动向量检测部108,把存储在帧存储器107内的解码图像作为参照图像使用,对编码对象的宏块内的各块进行移动向量的检测。被检测出的移动向量输出到方式选择部109内。
方式选择部109利用由移动向量检测部108检测出的移动向量,决定宏块的编码方式。在此,编码方式表示用什么方法对宏块进行编码。例如,方式选择部109在编码对象图像是P帧的情况下,从帧内编码、采用移动向量的帧间预测编码以及跳跃方式(通过利用根据其他块的移动向量求出的移动向量来进行预测编码,不对移动向量进行编码,而且预测误差编码的结果,系数值全部成为0,不对系数值进行编码的帧间预测编码)中选定某一种作为编码方式。此外,一般用规定的位量来决定编码误差成为最小的编码方式。
并且,方式选择部109把已决定的编码方式输出到代码序列生成部104内,把该编码方式中使用的移动向量,输出到移动向量编码部117内。再者,方式选择部109,当已决定的编码方式是采用移动向量的帧间预测编码时,把该帧间预测编码中使用的移动向量和编码方式,存储到移动向量存储部116内。
并且,方式选择部109,根据已决定的编码方式以及由移动向量检测部108检测出的移动向量,来进行移动被偿,生成移动补偿图像,并把该移动补偿图像输出到差分运算部102和加法运算部106内。但是,在选择了帧内编码的情况下,不输出移动补偿图像。再者,在由方式选择部109选择了帧内编码的情况下,由方式选择部109来控制两个开关111、112,使开关111与端子a相连接,使开关112与端子c相连接;在选择了帧间预测编码的情况下,对两个开关111、112进行控制,使开关111与端子b相连接,使开关112与端子d相连接。此外,上述移动补偿以块为单位(在此设定为8×8像素的大小)来进行。
编码控制部110决定用什么类型的图像(I、P或B帧)来对已输入的图像进行编码,根据该图像类型控制各开关113、114、115。在此,决定图像类型时,例如一般采用周期性地分配图像类型的方法。
移动向量存储部116,从方式选择部109中取得在帧间预测编码中采用的移动向量和编码方式,并将其存储起来。
移动向量编码部117,在由方式选择部109选择了采用移动向量的帧间预测编码时,利用参照图3和图4说明的方法,对编码对象块的移动向量进行编码。也就是说,移动向量编码部117选定位于编码对象块周围的3个周边块,根据这些周边块的移动向量来决定预测值,对该预测值和成为编码对象的现在的块的移动向量的差分值,进行编码。
并且,本实施方式中的移动向量的编码部117,当对编码对象块的移动向量进行编码时,周边块利用跳跃方式或直接方式等以及其他块的移动向量进行编码的情况下,不将该周边块的移动向量跟现有例那样设为0,而是将在该周边块编码时根据上述其他块的移动向量求出的移动向量,作为该周边块的移动向量进行处理。
图8是表示本发明中的移动向量编码部117的一般动作的流程图。
首先,移动向量编码部117,选定位于编码对象块的周边的已编码的3个周边块(S100步骤)。
然后,移动向量编码部117,对所选定的该各周边块是利用其他块的移动向量进行了编码的周边块Ba、还是不用其他块的移动向量进行了编码的周边块Bb进行判断(S102步骤)。
其结果,移动向量编码部117判断出在选定的3个周边块中是否包括周边块Ba(S104步骤)。
当在S104步骤判断出包括周边块Ba在内时(S104步骤的“是”),移动向量编码部117,将为对周边块Ba进行编码而根据其他块的移动向量求出的移动向量,作为该周边块Ba的移动向量进行处理,按上述方法根据3个周边块的移动向量推导出预测值(S106步骤)。
另一方面,当在S104步骤判断为不包括周边块Ba时(S104步骤的“否”),移动向量编码部117,根据3个周边块Bb的各自的移动检测和方式选择结果的移动向量,推导出预测值(S108步骤)。
并且,移动向量编码部117,对编码对象块的移动向量和在S106、S108步骤推导出的预测值的差分,进行编码(S110步骤)。而且,移动向量编码部117,把这样编码的移动向量输出到代码序列生成部104中。
在此,以图7所示的帧P13和帧B11的编码为例,具体说明上述动态图像编码装置100的编码处理。
[帧P13的编码处理]
因为帧P13是P帧,所以,动态图像编码装置100,在对帧P13进行编码处理时,进行将另一个图像作为参照图像使用的帧间预测编码。这时的参照图像成为帧P10。对该帧P10进一步完成编码,该帧P10的解码图像被存储到帧存储器107内。
编码控制部110在P帧的编码中,对各开关进行控制,使开关113、114、115接通。所以,从帧存储器101读出的帧P13的宏块,可由移动向量检测部108、方式选择部109和差分运算部102取得。
移动向量检测部108,将存储在帧存储器107内的帧P10的解码图像作为参照图像使用,对宏块内的各个块进行移动向量的检测,把被检测出的移动向量输出到方式选择部109。
方式选择部109,用在移动向量检测部108检测出的移动向量,决定帧P13的宏块的编码方式。也就是说,因为帧P13是P帧,所以,方式选择部109,如上所述,从帧内编码、采用移动向量的帧间预测编码以及跳跃方式(通过利用根据其他块的移动向量求出的移动向量来进行移动补偿,不对移动向量进行编码,且预测误差编码的结果,全部系数值成为0,不对系数值进行编码的帧间预测编码)中选定某一种编码方式。
并且,本实施方式中的移动向量编码部117,如上所述,当由方式选择部109选择了采用移动向量的帧间预测编码时,利用参照图3进行了说明的方法,对帧P13的编码对象块的移动向量进行编码,但在位于该编码对象块周边的周边块以跳跃方式编码了的情况下,不把该周边块的移动向量设为0,而是将为了对该周边块进行编码而根据其他块而求出的移动向量,作为该周边块的移动向量进行处理。
对在这种周边块以跳跃方式进行了编码的情况下的、其编码对象块的移动向量的编码方法,说明如下。
图9是用于说明周边块C以跳跃方式进行编码的情况的说明图。
如该图9所示,当帧P13的周边块C用跳跃方式进行编码时,求出:位于该周边块C周围的、块E的移动向量Mve、块F的移动向量MVf、和块G的移动向量MVg的中值,用表示该中值的移动向量MVcm,来对周边块C进行编码。在此,移动向量的中值,例如可以通过对水平成分和垂直成分分别求出中值而取得。
移动向量编码部117,当对图9所示的编码对象块A的移动向量进行编码时,选定位于编码对象块A周围的3个周边块B、C、D(块B、C、D的位置关系参见图3、图4),判断出各周边块B、C、D是否是利用其他块的移动向量进行了编码的块。其结果,移动向量编码部117若判断为只有周边块C以跳跃方式进行了编码,即利用其他块进行了编码,则将如上所述为对周边块C进行编码而根据作为其他块的块E、F、G的移动向量求出的中值(移动向量MVcm),作为周边块C的移动向量进行处理,求出该移动向量MVcm和周边块B、D的各个移动向量的中值,把该中值作为编码对象块A的移动向量的预测值。然后,移动向量编码部117,对该预测值与编码对象块A的移动向量的差分值进行编码。
并且,移动向量存储部116存储已编码的块的编码方式,根据该移动向量存储部116所存储的编码方式,移动向量编码部117判断各周边块B、C、D是否是用其他块的移动向量进行了编码的块。再者,移动向量存储部116,对于不使用其他块的移动向量,而使用从参照图像中检测出的自身移动向量进行了编码的块,存储该块的移动向量。也就是说,移动向量存储部116存储块E、F、G的各移动向量MVe、MVf、MVg,当对编码对象块A的移动向量进行编码时,移动向量编码部117用移动向量存储部116所存储的这些移动向量,对周边块C求出上述移动向量MVcm。再者,移动向量存储部116,对于用其他块的移动向量进行了编码的块,也可以预先存储为对该块进行编码而取中值来求出的移动向量。在该情况下,移动向量存储部116因为预先存储了移动向量MVcm,所以,移动向量编码部117对编码对象块A的移动向量进行编码时,不需要对周边块C求出移动向量MVcm,能够直接利用移动向量存储部116预先存储的移动向量MVcm作为周边块C的移动向量使用。
另一方面,表示帧P13的编码对象的宏块与移动补偿图像的差分的预测误差图像,在预测误差编码部103和代码序列生成部104进行编码,生成编码数据,如上所述被编码的移动向量的信息,在代码序列生成部104附加到该编码数据上。但是,对于按跳跃方式进行了编码的宏块,宏块和移动补偿图像的差分为0,移动向量的信息也不附加到编码数据上。
然后,利用同样的处理方法,对帧P13的其余宏块进行编码处理。并且,对帧P13的所有宏块处理一结束,则进行帧B11的编码处理。
[帧B11的编码处理]
因为帧B11是B帧,所以,动态图像编码装置100当对帧B11进行编码处理时,进行把其他的2个图像作为参照图像使用的帧间预测编码。这时的参照图像,如图7所示,是位于帧B11前方的帧P10、和位于帧B11后方的帧P13。对这些帧P10、P13,已结束了编码,该帧P10、P13的解码图像被存储在帧存储器107内。
编码控制部110,在B帧的编码中,对各个开关进行控制,使开关113接通,使开关114,115切断。所以,从帧存储器101中读出的帧B11的宏块,可由移动向量检测部108、方式选择部109和差分运算部102中取得。
移动向量检测部108,把存储在帧存储器107中的帧P10的解码图像作为前方参照图像使用;把帧P13的解码图像作为后方参照图像使用,这样,对于宏块内的各个块,对前方移动向量和后方移动向量进行检测,把检测出的前方移动向量和后方移动向量输出到方式选择部109内。
方式选择部109,用由移动向量检测部108检测出的前方移动向量和后方移动向量,决定帧B11的宏块的编码方式,也就是说,因为帧B11是B帧,所以,方式选择部109,例如从帧内编码、采用前方移动向量的帧间预测编码、采用后方移动向量的帧间预测编码、采用双向移动向量的帧间预测编码、以及直接方式(利用从其他块的移动向量中求出的移动向量,来进行移动补偿,不对移动向量进行编码的帧间预测编码)中选定编码方式。
然后,本实施方式中的移动向量编码部117,如上所述,当在方式选择部109中选择了采用移动向量的帧间预测编码时,利用参照图3进行了说明的方法,来对帧B13的编码对象块的移动向量进行编码。
具体来说,当在方式选择部109中选择了采用双向移动向量的帧间预测编码时,移动向量编码部117如下对编码对象块的移动向量进行编码。
图10是用于说明采用双向移动向量的帧间预测编码的说明图。
移动向量编码部117,当对编码对象块A的移动向量进行编码时,对前方移动向量MVF和后方移动向量MVB进行编码。
也就是说,移动向量编码部117,把周边块B、C、D的各前方移动向量MVF1、MVF2、MVF3的中值,作为前方移动向量MVF的预测值,并对前方移动向量MVF和其预测值的差分值进行编码。然后,由移动向量编码部117把周边块B、C、D的各后方移动向量MVB1、MVB2、MVB3的中值,作为后方移动向量MVB的预测值,并对后方移动向量MVB和其预测值的差分值进行编码。在此,移动向量的中值是例如对每个水平成分、垂直成分取中值而求得。
这里,本实施方式的移动向量编码部117,当对B帧的编码对象块的移动向量进行编码时,在该周边块以直接方式进行了编码的情况下,该周边块的移动向量不设为0,而将为了对该周边块进行编码而根据其他块求出的移动向量,作为该周边块的移动向量。此外,直接方式中有时间性直接方式和空间性直接方式两种。
首先,说明周边块以时间性直接方式进行编码的情况下,编码对象块的移动向量的编码方法。
图11是用于说明周边块C以时间性直接方式进行编码的情况的说明图。
如该图11所示,当帧B11的周边块C以直接方式进行编码时,利用近前进行了编码的后方参照图像,即帧P13中的、位于和周边块C相同位置上的块X的移动向量MVp。移动向量MVp是在块X被编码了的时候所使用的移动向量,它存储在移动向量存储部116内。该移动向量MVp参照帧P10。对于周边块C的编码,利用与移动向量MVp相平行的移动向量,根据参照图像即帧P10和帧P13进行双向预测。在此情况下,在对周边块C进行编码时所用的移动向量,对于帧P10是移动向量MVFc,对于帧P13是移动向量MVBc。
在此,若设作为前方向移动向量的移动向量MVFc的大小为mvf,作为后方向移动向量的移动向量MVBc的大小为mvb,移动向量MVp的大小为mvp,编码对象的图像(帧B11)的后方参照图像(帧P13)、和其后方参照图像的块所参照的图像(帧P10)的时间性距离为TRD,编码对象的图像(帧B11)和后方参照图像的块所参照的图像(帧P10)的时间性距离为TRB,那么,mvf、mvb分别由以下所示的(式1)和(式2)来求出。
mvf=mvp×TRB/TRD…………(式1)
mvb=(TRB-TRD)×mvp/TRD…………(式2)
式中,mvf、mvb分别表示移动向量的水平成分和垂直成分。并且,用正值表示移动向量MVp的方向,用负值表示与移动向量MVp相反的方向。
周边块C用这样求出的移动向量MVFc、MVBc来进行编码。
移动向量编码部117,在对图10所示的编码对象块A的移动向量MVF、MVB进行编码时,选定位于编码对象块A周围的3个周边块B、C、D,判断出各个周边块B、C、D是否是用其他的块的移动向量进行了编码的块。其结果,移动向量编码部117若判断出仅周边块C用时间性的直接方式进行了编码,即利用其他块的移动向量进行了编码,则如图11所示,通过将为了对周边块C进行编码而根据作为其他块的块X的移动向量MVp求出的移动向量MVFc、MVBc,作为周边块C的移动向量进行处理,求出这些移动向量MVFc、MVBc和周边块B、D的各个移动向量的中值,由此推导出编码对象块A的移动向量的预测值。而且,这种预测值的推导是划分成前方向和后方向来进行。并且,移动向量编码部117,对该预测值和编码对象块A的移动向量MVF、MVB的差分值,进行编码。
并且,移动向量存储部116存储已编码的块的编码方式,根据该移动向量存储部116所存储的编码方式,移动向量编码部117判断出周边块B、C、D是否是利用其他块的移动向量进行了编码的块。再者,移动向量存储部116,对于不使用其他块的移动向量而使用从参照图像中检测出的自身移动向量进行了编码的块,存储了该块的移动向量。也就是说,移动向量编码部117在对编码对象块A的移动向量进行编码时,对周边块B、D,直接利用由移动向量存储部116存储的移动向量,但对周边块C,则读出在移动向量存储部116中存储了的块X的移动向量MVp,求出移动向量MVFc、MVBc。而且,移动向量存储部116,对于用其他块的移动向量进行了编码的块,也可以预先存储为对该块进行编码而根据其他块的移动向量求出来的移动向量。在此情况下,移动向量存储部116预先存储移动向量MVFc、MVBc,所以,移动向量编码部117在对编码对象块A的移动向量进行编码时,对周边块C不需要在读出块X的移动向量MVp后利用(式1)和(式2)来求出移动向量MVFc、MVBc,能够直接利用移动向量存储部116所存储的移动向量MVFc、MVBc,作为周边块C的移动向量。
以下,说明周边块被以空间性的直接方式进行了编码的情况下的、编码对象块的移动向量的编码方法。
图12是用于说明周边块被以空间性的直接方式进行了编码的情况的说明图。
如该图12所示,在利用空间性的直接方式来对帧B11的周边块C进行编码时,利用移动向量MVFc、MVBc进行编码,该移动向量MVFc、MVBc是根据位于周边块C周围的块E的移动向量MVFe、MVBe、和块F的移动向量MVFf、MVBf、以及块G的移动向量MVFg、MVBg,分别在前后方向划分后,取中值求出来的。
移动向量编码部117,当对图10所示的编码对象块A的移动向量MVF、MVB进行编码时,选定位于编码对象块A周围的3个周边块B、C、D,判断出各个周边块B、C、D是否是利用其他块的移动向量进行了编码的块。其结果,移动向量编码部117若判断为仅周边块C以空间性的直接方式进行了编码,即利用其他块的移动向量进行了编码,则如图12所示,通过将为了对周边块C进行编码而根据其他块即块E、F、C的移动向量求出的移动向量MVFc、MVBc,作为周边块C的移动向量使用,求出这些移动向量和周边块B、D的各个移动向量的中值,由此来推导出编码对象块A的移动向量的预测值。此外,移动向量编码部117,对该预测值和编码对象块A的移动向量MVF、MVB的差分值,进行编码。
并且,移动向量存储部116,对于不用其他块的移动向量而利用从参照图像中检测出的自己的移动向量进行了编码的块,存储该块的移动向量,所以,对各块E、F、G分别存储前后方向的2个移动向量;移动向量编码部117,在对编码对象块A的移动向量进行编码时,用由移动向量存储部116所存储的这些移动向量,对周边块C求出移动向量MVFc、MVBc。而且,移动向量存储部116,对于用其他块的移动向量进行了编码的块,也可以预先存储为对该块进行编码而取中值求出的前后方向的2个移动向量。在此情况下,移动向量存储部116预先存储移动向量MVFc、MVBc,所以,移动向量编码部117,在对编码对象块A的移动向量进行编码时,不需要对周边块C求出移动向量MVFc、MVBc,而能够直接使用移动向量存储部116所存储的移动向量MVFc、MVBc,作为周边块C的移动向量。
这样,在利用上述时间性的直接方式来对周边块C进行了编码时,必须把编码对象图像的后方参照图像(在上述例中为帧P13)的移动向量,存储到移动向量存储部116内,但在以空间性的直接方式对周边块C进行了编码时,可以省略该存储。
这时,动态图像编码装置100,在对编码对象块的移动向量进行编码时,在位于其周围的周边块不是以上述的帧间预测编码来进行处理,而是以帧内编码来进行了处理的情况下,进行例外的处理。
例如,在3个周边块中存在有一个用帧内编码进行了编码的块的情况下,动态图像编码装置100的移动向量编码部117,把该块的移动向量设为0进行处理。并且,在有2个以帧内编码进行了编码的周边块的情况下,移动向量编码部117,把剩余的1个周边块的移动向量,用作编码对象块的移动向量的预测值。再者,在3个周边块全部以帧内编码进行了编码的情况下,移动向量编码部117将编码对象块的移动向量的预测值设为0,进行该移动向量的编码处理。
另一方面,表示帧B11的编码对象的宏块和移动补偿图像的差分的预测误差图像,利用预测误差编码部103和代码序列生成部104进行编码,生成代码数据,按上述方法编码了的移动向量信息,在代码序列生成部104中附加到该编码数据上。但是,对于以直接方式编码了的宏块,其移动向量信息不附加到编码数据上。
以下,通过同样的处理,来对帧B11的剩余的宏块进行编码处理。并且,对帧B11的全部宏块一结束处理,则接着进行帧B12的编码处理。
如上所述,本发明的移动向量编码方法,当对各块的移动向量进行编码时,从已编码的周边块的移动向量中推导出预测值,用该预测值和编码对象块的移动向量来对该移动向量进行编码。并且,如周边块像跳跃方式和直接方式,在用根据其他块的移动向量求出的移动向量,来进行编码的情况下,将在对该周边块进行编码时根据上述其他块的移动向量求出的移动向量,作为该周边块的移动向量,推导出预测值。
由此,当用根据周边块的移动向量推导出的预测值,来对编码对象块的移动向量进行编码时,在该周边块利用其他块的移动向量来进行编码的情况下,不像现有例那样把该周边块的移动向量设为0,而是设为根据上述其他块的移动向量求出的移动向量,所以能提高上述预测值的预测能力,其结果,能提高移动向量的编码效率。
而且,在本实施方式中,说明了宏块以水平16×垂直16像素为单位,移动补偿以水平8×垂直8像素的块为单位,块预测误差图像的编码以水平8×垂直8像素为单位进行处理的情况,但这些单位也可以是别的像素数。
并且,在本实施方式中,说明了将根据已编码的3个周边块的移动向量求出来的中值,作为移动向量编码时的预测值使用的情况,但该周边块数也可以是3以外的其他数,预测值的决定方法也可以是其他方法。例如,也可以是把左邻的块的移动向量作为预测值使用的方法,也可以是不使用中值而使用平均值的方法等。
并且,在本实施方式中,利用图3、图4,说明了移动向量编码中的周边块的位置,但这也可以是其他位置。
并且,在本实施方式中,以跳跃方式和时间性的直接方式及空间性的直接方式为例,说明了用其他块的移动向量来对编码对象块进行编码的方法,但也可以是其他方法。
再者,在本实施方式中,说明了通过取得编码对象块的移动向量和根据周边块的移动向量得到的预测值的差分,来进行移动向量编码的情况,但它也可以利用差分以外的方法来进行移动向量编码。
并且,在本实施方式中,说明了在以空间性的直接方式来对周边块进行编码的情况下,求得位于该周边块周围的已编码的3个块的移动向量的中值,把该中值作为周边块的移动向量使用的情况,但该块数也可以是3个以外的其他数,移动向量的决定方法也可以是其他方法。例如,也可以是把左邻的块的移动向量作为周边块的移动向量使用的方法,也可以是不使用中值而使用平均值的方法。
并且,在本实施方式中,当以空间性的直接方式来对B帧的块进行编码时,对该块求出了前后方向的2个移动向量,但也可以求出前方向或后方向的一个方向的2个移动向量。在此情况下,B帧参照相对该图像位于前方或后方的一个方向上的2张图像。
再者,在本实施方式中,说明了在P帧的编码中,参照预先规定的一个图像(例如在帧P13的编码中参照帧P10);在B帧的编码中参照预先规定的2个图像(例如在帧B11的编码中参照帧P10和P13),进行编码的情况。但是,也可以从多个图像中选择由宏块和每个块参照的图像进行编码。在这种情况下,为了生成移动向量的预测值,可以按照图13所示来进行。
图13是表示下述动作的流程图,即在对每个块选择出参照图像的情况下,移动向量编码部117推导出编码对象块的移动向量的预测值,对其移动向量进行编码。
首先,移动向量编码部117选定位于编码对象块周围的已编码的3个周边块(S300步骤)。
然后,移动向量编码部117判断该被选定的周边块分别是用其他块的移动向量进行了编码的周边块Ba,还是不用其他块的移动向量进行了编码的周边块Bb(S302步骤)。
在此,移动向量编码部117,对周边块Ba,取得在其编码中使用的移动向量、以及表示该周边块Ba参照哪个参照图像的信息,把在该编码中使用的移动向量作为周边块Ba的移动向量使用;对周边块Bb,取得该周边块Bb的移动向量、以及表示该周边块Bb参照哪个参照图像的信息(S304步骤)。
然后,移动向量编码部117,根据在S304步骤取得的信息,在3个周边块中选定参照与编码对象块相同的图像的周边块(S306步骤),判断该被选定的周边块的数量(S308)。
并且,如果移动向量编码部117,若在S308步骤判断出的周边块的数量为1个,那么,把参照相同图像的这一个周边块的移动向量,作为编码对象块的移动向量MV的预测值(S310步骤)。
再者,如果在S308步骤判断的周边块的数量为1个以外,那么,移动向量编码部117,把3个周边块中参照与编码对象块不同的图像的周边块的移动向量,设为0(S312步骤),把3个周边块的移动向量的中值,作为编码对象块的移动向量MV的预测值(S314步骤)。
移动向量编码部117,如上所述,用在S310步骤或S314步骤中推导出的预测值,求出该预测值和编码对象块的移动向量MV的差分值,对该差分值进行编码(S316步骤)。
并且,如本实施方式,在将空间上相邻接的块的移动向量作为预测值,对移动向量进行编码的情况下,为了对移动向量进行编码而保存在移动向量存储部116内的移动向量的数量,在移动向量存储部116内以跳跃方式和直接方式保存实际用于移动补偿的移动向量的情况下,可以保存1个宏块行(高度为1个宏块,横宽等于画面横宽的区域)的量的块的移动向量。这是因为,在移动向量存储部116内,以跳跃方式和直接方式保存实际用于移动补偿的移动向量的情况下,在本实施方式中使用以图3、和图4说明的周边块的场合,在移动向量编码时作为周边块被参照的块为以现在的宏块为起点,是过去一个宏块片的量。
[第2实施方式]
以下参照附图,详细说明本发明第2实施方式中的动态图像解码装置700。
图14是本发明第2实施方式中的动态图像解码装置700的方框图。
在该图14内所示的动态图像解码装置700是对动态图像进行解码的装置,该动态图像是用第1实施方式的动态图像编码装置100进行了编码的动态图像图像,该动态图像解码装置700具有:代码序列解析部701、预测误差解码部702、方式解码部703、移动补偿解码部705、移动向量存储部706、帧存储器707、加法运算部708、开关709、710和移动向量解码部711。
代码序列解析部701从被输入的代码序列中抽出各种数据。这里所说的各种数据是指编码方式的信息和有关移动向量的信息等。被抽出的编码方式的信息输出到方式解码部703内。并且,被抽出的移动向量的信息被输出到移动向量解码部711内。并且,被抽出的预测误差编码数据被输出到预测误差解码部702内。
预测误差解码部702对被输入的预测误差编码数据进行解码,生成预测误差图像。生成的预测误差图像输出到开关709内。然后,当开关709连接到端子b上时,预测误差图像输出到加法运算部708内。
方式解码部703参照从代码序列中抽出的编码方式的信息,对开关709和开关710进行控制。在编码方式是帧内编码的情况下,控制该开关709连接到端子a上,并且使开关710连接到端子c上;在编码方式是图像间编码的情况下,将控制该开关709连接到端子b上,并使开关710连接到端子d上。另外,方式解码部703把编码方式信息输出到移动向量解码部711。
移动向量解码部711,对从代码序列解析部701输出的移动向量信息,进行解码处理。
也就是说,移动向量解码部711,在编码方式信息表示采用移动向量的帧间预测编码的情况下,和利用图3、图4说明的一样,对解码对象块,使用已解码的周边块的移动向量来推导出预测值。例如,如图3所示,移动向量解码部711对解码对象块A,根据周边块B的移动向量MVb、周边块C的移动向量MVc和周边块D的移动向量MVd,来推导出预测值。在此,求得预测值是对3个已编码的移动向量MVb、MVc、MVd的水平成分、垂直成分,分别取其中值(中位数)来求出。并且,移动向量解码部711,对从代码序列解析部701输出的作为移动向量信息的差分值,加上其预测值,决定解码对象块A的移动向量MV。并且,移动向量解码部711,在编码方式信息为例如上述跳跃方式或时间性的直接方式或空间性的直接方式中的某一种的情况下,仅利用已编码的周边块的移动向量来决定移动向量。
图15是表示本实施方式中的移动向量解码部711的一般动作的流程图。
首先,移动向量解码部711,选定出位于解码对象块周围的已编码的3个周边块(S200步骤)。
并且,移动向量解码部711,判断出该被选定的各个周边块是利用其他移动向量进行编码的周边块Ba,还是不利用其他移动向量进行编码的周边块Bb(S202步骤)。
其结果,移动向量解码部711判断出在被选定的3个周边块中是否包括周边块Ba(S204步骤)。
当在S204步骤判断为包括周边块Ba时(S204步骤的是),移动向量解码部711,将为了对周边块Ba进行解码而根据其他块的移动向量求出的移动向量,作为该周边块Bb的移动向量使用,如上所述根据3个周边块的移动向量推导出预测值(S206步骤)。
另一方面,当在S206步骤判断为不包括周边块Ba时(S204步骤的“否”),移动向量解码部711根据3个周边块Bb的基于各个检测结果的移动向量,推导出预测值(S208步骤)。
然后,移动向量解码部711,通过在从代码序列解析部701输出的移动向量信息差分值上,加上由S206、S208步骤推导出的预测值,由此,对解码对象块的被编码了的移动向量进行解码(S210步骤)。并且,移动向量解码部711,把这样解码的移动向量输出到移动补偿解码部705内。
移动向量存储部706,将由移动向量解码部711解码的移动向量和由方式解码部703取得的编码方式,进行存储。
移动补偿解码部705,根据由移动向量解码部711解码的移动向量,从帧存储器707中对每个宏块取得移动补偿图像。然后,移动补偿解码部705把该移动补偿图像,输出到加法运算部708内。
加法运算部708对被输入的预测误差图像和移动补偿图像进行加法运算,生成解码图像,把该生成的解码图像输出到帧存储器707内。
并且,帧存储器707对由加法运算部708生成的解码图像的每一帧进行保存。
关于这种动态图像解码装置700的动作,首先从一般的概要动作开始进行说明。
图16是用于说明动态图像解码装置700的输入输出关系的说明图。
动态图像解码装置700如该图16(a)所示,按其输出顺序依次取得第1实施方式的从动态图像编码装置100中输出的代码序列,对包括在该代码序列中的图像依次进行解码。然后,动态图像解码装置700,如图16中的(b)所示,按显示顺序对已解码的图像依次更改排列进行输出。
在此,以图16所示的帧P13和帧B11的解码为例,具体说明上述动态图像解码装置700的解码处理。
[帧P13的解码处理]
首先,动态图像解码装置700的代码序列解析部701,取得帧P13的代码序列,之后从该代码序列中,抽出方式选择信息和移动向量信息以及预测误差编码数据。
方式解码部703,参照从帧P13的代码序列中抽出的方式选择信息,对开关709和710进行控制。
以下说明方式选择信息表示帧间预测编码的情况。
移动向量解码部711,根据从方式解码部703来的表示帧间预测编码的方式选择信息,对从帧P13的代码序列中抽出的移动向量信息,对其每个块进行上述解码处理。
在此,移动向量解码部711,在对帧P13的解码对象块的移动向量进行解码时,选定出位于该解码对象块周围的已解码的3个周边块,判断出这些周边块是否用其他块的移动向量进行了编码,其结果,若某一个周边块是用其他移动向量进行了编码的块,即用跳跃方式进行了编码的块,在这种情况下,则和第1实施方式的移动向量编码部117一样,将为了对该周边块进行解码而根据其他块的移动向量求出的移动向量,作为该周边块的移动向量使用。也就是说,移动向量解码部711根据位于该周边块周围的已解码了的3个块的移动向量来求出中值,将其作为该周边块的移动向量使用。
此外,移动向量存储部706存储从方式解码部703来的方式选择信息,根据该移动向量存储部706所存储的方式选择信息,移动向量解码部711判断各个周边块是否是用其他块的移动向量进行了编码的块。再者,移动向量存储部706存储用于周边块的解码的其他块的移动向量。也即,移动向量存储部706对以跳跃方式编码了的、位于周边块周围的3个块的各自的移动向量进行存储;移动向量解码部711,当对解码对象块的移动向量进行解码时,对该周边块,根据移动向量存储部706所存储的上述3个块的移动向量求出中值。而且,移动向量存储部706,对用其他块的移动向量进行了编码的块,将为了对该块进行解码而取中值求出来的移动向量,预先进行存储也可以。在此情况下,移动向量解码部711,在对解码对象块的移动向量进行解码时,对以跳跃方式编码了的周边块不需要求出移动向量,能够直接将移动向量存储部706所存储的移动向量,作为该周边块的移动向量使用。
另一方面,对应于帧P13的解码对象的宏块的预测误差编码数据,在预测误差解码部702被解码,生成预测误差图像,开关709、710与加法运算部708连接,因此,根据在移动向量解码部711被解码的移动向量生成的移动补偿图像,加到该预测误差图像上后,输出到帧存储器707内。
并且,移动向量解码部711在对P帧进行移动向量解码时,为了对后面的图像和块进行解码,把该移动向量和从方式解码部703得到的编码方式存储到移动向量存储部706中。
以后,利用同样的处理,帧P13的剩余宏块依次进行解码。之后,一旦帧P13的宏块全部被解码,则进行帧B11的解码。
[帧B11的解码处理]
首先,动态图像解码装置700的代码序列解析部701,取得帧B11的代码序列,从该代码序列中抽出方式选择信息和移动向量信息以及预测误差编码数据。
方式解码部703参照从帧B11的代码序列中抽出的方式选择信息,对开关709和710进行控制。
以下,说明方式选择信息表示帧间预测编码的情况。
移动向量解码部711,根据从方式解码部703来的表示帧间预测编码的方式选择信息,对从帧B11的代码序列中抽出的移动向量的信息,对其每个块进行上述解码处理。
在此,移动向量解码部711,在对帧B11的解码对象块的移动向量进行解码时,选定出位于该解码对象块周围的已解码的3个周边块,判断出这些周边块是否用其他块的移动向量进行了编码,其结果,如果某一周边块是用其他块的移动向量进行了编码的块,即为以时间性的直接方式或空间性的直接方式进行了编码的块,那么,和第1实施方式的移动向量编码部117一样,将为了对该周边块进行解码而用其他块的移动向量求出的移动向量,作为该周边块的移动向量使用。
具体来说,移动向量解码部711,在周边块以时间性的直接方式进行了编码的情况下,从移动向量存储部706中读出在之前解码了的参照图像(帧P13)中的、位于与以直接方式编码了的周边块相同的位置上的块的移动向量。例如图11所示,假定周边块C以时间性的直接方式进行了编码,那么移动向量解码部711从移动向量存储部706中读出帧P13的块X的解码后的移动向量。并且,用(式1)和(式2),来求出用于对周边块C进行编码的前方移动向量MVFc和后方移动向量MVBc,把该移动向量MVFc、MVBc用作周边块C的移动向量。
而且,在上述情况下,移动向量解码部711从移动向量存储部706读出帧P13中的、位于与以直接方式编码了的周边块C相同的位置上的块X的移动向量MVp,但是也以由移动向量存储部706,对用其他块的移动向量进行了编码的块,预先存储为了对该块进行解码而根据其他块的移动向量求出的移动向量。在此情况下,移动向量存储部706预先存储移动向量MVFc、MVBc,所以,移动向量解码部711在对编码对象块A的移动向量进行编码时,不必对周边块C读出块X的移动向量MVp,用(式1)和(式2)求出移动向量MVFc、MVBc,能够直接将移动向量存储部706所存储的移动向量的MVFc、MVBc作为周边块C的移动向量使用。
另一方面,在周边块以空间性的直接方式进行了编码的情况下,移动向量解码部711,把用位于该周边块周围的其他块的移动向量求出来的移动向量,作为该块的移动向量使用。例如,在图12所示的状况下,移动向量解码部711,对以空间性的直接方式进行了编码的周边块C,根据位于其周围的已编码的3个块E、F、G的移动向量求出中值,把该中值所表示的前方移动向量MVFc和后方移动向量MVBc,作为该周边块C的移动向量使用。
并且,移动向量存储部706,对不用其他块的移动向量进行了编码的块,存储在该块的解码中所使用的移动向量,所以,在图12所示的状况下,存储以空间性的直接方式编码了的周边块C周围的3个块E、F、G的各个移动向量;移动向量解码部711在对解码对象块A的移动向量进行解码时,对该周边块C,根据移动向量存储部706所存储的上述3个块E、F、G的移动向量,求出移动向量MVFc、MVBc。而且,也可以由移动向量存储部706,对于使用其他块的移动向量编码了的块,将为了对该块进行解码而取中值求出来的移动向量,预先进行存储。在此情况下,在图12所示的状况下,移动向量存储部706预先存储移动向量MVFc、MVBc;移动向量解码部711,在对编码对象块A的移动向量进行解码时,对以空间性的直接方式编码了的周边块C,不必求出移动向量,而能够直接将移动向量存储部706所存储的移动向量MVFc、MVBc,作为该周边块C的移动向量使用。
在此,动态图像解码装置700,在对解码对象块的移动向量进行解码时,位于其周围的已解码了的周边块不是以上述帧间预测编码进行处理,而是以帧内编码进行了处理的情况下,进行例外的处理。
例如,在3个周边块中有1个以帧内编码进行了编码的周边块的情况下,动态图像解码装置700的移动向量解码部711,将该周边块的移动向量设为0进行处理。并且,在有2个以帧内编码方法进行了编码的周边块的情况下,移动向量解码部711把剩余的一个周边块的移动向量,作为解码对象块的移动向量的预测值使用。再者,在3个周边块全都是以帧内编码进行了编码的情况下,移动向量解码部711把编码对象块的移动向量的预测值设为0,对该移动向量进行解码处理。
另一方面,帧B11的解码对象的宏块所对应的预测误差编码数据在预测误差解码部702被解码,生成预测误差图像,开关709、710连接在加法运算部708上,所以,根据在移动向量解码部711被解码的移动向量所生成的移动补偿图像,加到该预测误差图像上后,输出到帧存储器707内。
之后,通过同样的处理,帧B11的剩余宏块依次被进行解码。并且,一旦帧B11的宏块的全部被解码,则进行帧B12的解码。
如上所述,本发明的移动向量解码方法,在对各块的移动向量进行解码时,根据已解码的周边块的移动向量推导出预测值,并通过使用该预测值和差分值,对移动向量进行解码。并且,周边块如跳跃方式和直接方式那样,利用其他块的移动向量进行编码的情况下,将为了对该周边块进行解码而根据其他块的移动向量求出的移动向量,作为该周边块的移动向量使用,推导出预测值。
这样,能对用第1实施方式的方法进行了编码的移动向量,正确地进行解码。
而且,在本实施方式中,说明了将根据已解码的3个周边块的移动向量求出来的中值,作为移动向量解码时的预测值使用的情况,但该周边块数也可以是3以外的其他数,预测值的决定方法也可以是其他方法。例如,也可以是把左邻块的移动向量用作预测值的方法,也可以是不用中值而用平均值的方法等。
并且,在本实施方式中,利用图3、图4说明了移动向量解码中的周边块的位置,但这也可以是其他位置。
再者,在本发明实施方式中,以跳跃方式或时间性的直接方式及空间性的直接方式为例,说明了利用其他块的移动向量对块进行编码的方法,但这也可以是其他方法。
并且,在本实施方式中说明了通过对根据周边块的移动向量取得的预测值和由代码序列表示的差分值进行加法运算,对移动向量进行解码的情况,但也可以利用加法以外的方法对移动向量进行解码。
再者,在本实施方式中,说明了在以空间性的直接方式对周边块进行了编码的情况下,求出位于该周边块周围的已解码的3个块的移动向量的中值,把该中值作为周边块的移动向量使用的情况。但该块数也可以是3个以外的其他数,移动向量的决定方法也可以是其他方法。例如,也可以是把左邻块的移动向量作为周边块的移动向量使用的方法,也可以是不用中值而用平均值的方法等。
再者,在本实施方式中,在具有以空间性的直接方式进行了编码的周边块的情况下,对该周边块求出了前后方向的2个移动向量,但也可以求出前方向或后方向的一个方向的2个移动向量。在此情况下,解码对象的B帧,参照相对于该图像在前方或后方的一个方向上的2张图像。
并且,在本实施方式中,说明了以下情况:在P帧的解码时,参照预定的一个图像(例如在帧P13的解码中,参照帧P10),在B帧的解码中,参照预定的2个图像(例如在帧B11解码中参照帧P10和P13),进行解码。但也可从多个图像中选择宏块或每个块所参照的图像,进行解码。在这种情况下,为生成移动向量的预测值,可以按图17所示的方法进行。
图17是动作流程图,它表示在对每个块选择参照图像的情况下,由移动向量解码部711,推导出解码对象块的移动向量预测值,并利用该预测值来进行解码的动作。
首先,移动向量解码部711选定位于解码对象块周围的、已解码的3个周边块(S400步骤)。
并且,移动向量解码部711判断该被选定的各周边块是用其他块的移动向量进行了编码的周边块Ba,还是不用其他块的移动向量进行了编码的周边块Bb(S402步骤)。
在此,移动向量解码部711对周边块Ba,取得在该解码中使用的移动向量、以及表示该周边块Ba参照了哪一个参照图像的信息,把在该解码中所使用的移动向量作为周边块Ba的移动向量使用;对周边块Bb,取得该周边块Bb的移动向量、以及表示该周边块Bb参照了哪一个参照图像的信息(S404步骤)。
然后,移动向量解码部711根据在S404步骤取得的信息,在3个周边块中选定与解码对象块参照相同图像的周边块(S406步骤),判断该被选定的周边块的数量(S408步骤)。
并且,移动向量解码部711,如果在S408步骤判定的周边块的数为1个,那么把参照相同的图像的这一个周边块的移动向量,作为解码对象块的移动向量的预测值(S410步骤)。
再者,如果在S408步骤判定的周边块的数量为1个以外,那么,移动向量解码部711,将3个周边块中参照与解码对象块不同的图像的周边块的移动向量,设为0(S412步骤),将3个周边块的移动向量的中值,作为解码对象块的移动向量的预测值(S414步骤)。
这样,利用在S410步骤或S414步骤推导出的预测值,在该预测值上加上差分值,将其解码成解码对象块的移动向量(S416步骤)。
并且,如本实施方式所示,在把从空间上相邻接的块的移动向量作为预测值使用,对移动向量进行解码的情况下,为了对移动向量进行解码而在移动向量存储部706中保存的移动向量的量,在移动向量存储部706中按跳跃方式或直接方式保存实际在移动补偿中利用了的移动向量的情况下,可以保存1个宏块行(高度为一个宏块,横宽与画面横宽相等的区域)的量的块移动向量。这是因为,在移动向量存储部706中,按跳跃方式或直接方式保存实际在移动补偿中利用了的移动向量的情况下,在本实施方式中使用以图3和图4说明了的周边块的场合,对移动向量解码时作为周边块被参照的块为,以当前的宏块为起点,是过去1个宏块片的量。
[第3实施方式]
再者,通过将用于实现上述各实施方式所示的移动向量编码方法或移动向量解码方法的程序,记录到软盘等记录媒体上,能够在独立的计算机系统中简单地实施在上述各实施方式中所示的处理。
图18是有关存储程序的记录媒体的说明图,该程序用于通过计算机系统,来实现第1实施方式和第2实施方式的动态图像编码装置100和动态图像解码装置200所执行的移动向量编码方法和移动向量解码方法。
图18中的(b)表示从软盘FD的正面看的外观、断面结构和盘主体FD1,图18中的(a)表示作为记录媒体主体的盘主体FD1的物理格式例。
盘体FD1安装在外壳F内,在盘体FD1的表面上,以同心圆状从外周向内周形成了多个磁轨Tr,各个轨迹在角度方向上分割成16个扇区Se。所以在存储上述程序的软盘FD上,在上述盘体FD1上分割的区域内记录了作为上述程序的移动向量编码方法和移动向量解码方法。
并且,图18中的(c)表示用于在软盘FD上记录和重放上述程序的结构。
在软盘FD上记录上述程序的情况下,计算机系统Cs通过软盘驱动器FDD来写入作为上述程序的移动向量编码方法或移动向量解码方法。并且,在根据软盘FD内的程序在计算机系统Cs中构筑上述移动向量编码方法和移动向量解码方法的情况下,利用软盘驱动器FDD从软盘FD中读出程序,并将其传送到计算机系统Cs内。
而且,在上述说明中,用软盘FD作为记录媒体进行了说明,但同样也可以使用光盘。并且,记录媒体并不仅限于此,IC卡,ROM卡等只要是能记录程序的媒体,同样可以实施。
[第4实施方式]
再者,在此说明在上述实施方式中所示的移动向量编码方法和移动向量解码方法的应用例、以及使用所述方法的系统。
图19是表示实现内容发送服务的内容供给系统ex100的整体结构的方框图。把通信服务的提供区划分成所需的大小,在各单元内分别设置了作为固定无线电台的基地站ex107~ex110。
该内容供给系统ex100,例如在互联网ex101中,通过互联网服务供应商ex102和电话网ex104以及基站ex107~ex110,连接了:计算机cx111、PDA(personal digital assistant)ex112、摄影机ex113、移动电话ex114、带摄影机的移动电话ex115等各种机器。
但是,内容供给系统ex100并不限于图19那样的组合,也可以是组合连接任一装置的形式。并且,也可以不通过作为固定无线电台的基站ex107~ex110,在电话网ex104上直接连接各种机器。
摄影机ex113是数码摄影机等能拍摄动画的机器。并且,移动电话可以是PDC(personal Digital Communications)方式、CDMA(CodeDivision Multiple Access)方式、W-CDMA(Wideband-Code DivisionMultiple Access)方式、或者GSM(Global System for MobileCommunications)方式的携带式电话机、或者PHS(Personal HandyphoneSystem,日本数字式无线电话系统)等,以上任一种均可。
再者,流式服务器ex103从摄影机ex113通过基站ex109、电话网104连接,可利用摄影机ex113实现根据用户发送的、已编码处理的数据进行的现场发送等。已拍摄数据的编码处理,既可以用摄影机ex113进行,也可以用进行数据发信处理的服务器等进行。并且,用摄影机116拍摄的动画数据,也可以通过计算机ex111传送到流式服务器ex103内。摄影机ex116是数码摄相机等的能拍摄静止画面、动画的机器。在此情况下,动画数据的编码既可以用相机ex116来进行,也可以用计算机ex111来进行。并且,编码处理在计算机ex111或摄影机ex116所具有的LSIex117中进行处理。而且,也可以将图像编码、解码用的软件组装到作为能用计算机ex111等读取的记录媒体的任一种存储媒体(CD-ROM、软盘和硬盘等)中。并且,也可以利用带有摄影机的移动电话ex115来发送动画数据。这时的动画数据是移动电话ex115所具有的LSI进行编码处理的数据。
在该内容供给系统ex100中,由用户利用摄影机ex113、摄影机ex116等拍摄的内容(例如拍摄音乐现场的影像等)和上述实施方式一样进行编码处理,发送到流式服务器ex103,另一方面,流式服务器ex103把上述内容数据对有请求的客户机进行流式分配。作为客户机有:能对上述编码处理的数据进行解码的、计算机ex111、PDAex112、摄影机ex113、移动电话ex114等。这样一来,内容供给系统ex100能够在客户机上接收并重放已编码的数据,而且是一种能够通过在客户机中实时地接收、解码,并重放,从而能够实现个人广播的系统。
构成该系统的各台机器的编码、解码,可以采用上述各实施方式所示的动态图像编码装置或动态图像解码装置。
把移动电话作为一例进行说明。
图20是表示使用上述实施方式中说明的移动向量编码方法和移动向量解码方法的移动电话ex115的图。移动电话ex115具有:用于在和基站ex110之间收发电波的天线ex201、CCD摄影机等能拍摄影像、静止图像的摄影机ex203、由摄影机部ex203拍摄的影像、对由天线ex201接收的影像等被解码后的数据进行显示的液晶显示器等显示部ex202、由操作键ex204群构成的主体部、用于声音输出的扬声器等声音输出部208、用于声音输入的话筒等声音输入部ex205,拍摄的动画或静画的数据、接收的邮件的数据,用于对动画数据或静止图像数据等已编码了的数据或已解码了的数据进行保存的记录媒体ex207、以及用于能把记录媒体ex207安装到移动电话ex115上的槽口部ex206。记录媒体ex207是一种在SD卡等塑料外壳内能够进行电性改写或消除的非挥发性存储器,即作为EEPROM(Electricaily Erasable and Prigrammable Read Only Memory)的一种的快闪存储器元件。
再者,用图21来说明移动电话ex115。移动电话ex115,在构成为可对具有显示部ex202和操作键ex204的主体部的各部分进行综合控制的主控制部ex311上,电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄影机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、多重分离部ex308、记录重放部ex307、调制解调电路部ex306和声音处理部ex305,通过同步总线ex313互相连接。
电源电路部ex310,一旦通过用户的操作话终和电源键成为接通状态时,则从电池组向各部分供给电力,由此,使带有摄影机的数码移动电话ex115起动为能工作的状态。
移动电话ex115,根据由CPU、ROM和RAM等构成的主控制部ex311的控制,利用声音处理部ex305把在声音通话方式时由声音输入部ex205收集的声音信号变换成数字声音数据,并利用调制解调电路部ex306对其进行频谱扩散处理,利用收发电路部ex301来进行数字模拟变换处理和频率变换处理,然后,通过天线ex201进行发送。并且,移动电话ex115,在声音通话方式时对由天线ex201接收的接收信号进行放大,进行频率变换处理和模拟数字变换处理,利用调制解调电路部ex306进行频谱反扩散处理,利用声音处理部ex305变换成模拟声音信号,然后,通过声音输出部ex208对其进行输出。
再者,在数据通信方式时,发送电子邮件的情况下,通过主体部的操作键ex204的操作输入的电子邮件的文本数据,通过操作输入控制部ex304发送到主控制部ex311内。主控制部ex311,在调制解调电路部ex306对文本数据进行频谱扩散处理,并在收发电路部ex301进行数模变换处理和频率变换处理,之后,通过天线ex201向基站ex110发送。
在数据通信方式时发送图像数据的情况下,把由摄影机部ex203拍照的图像数据,通过摄影机接口部ex303供给到图像编码部ex312内。并且,在不发送图像数据的情况下,也可以把由摄影机部ex203拍摄的图像数据通过相机接口部ex303和LCD控制部ex303,直接显示在显示部ex202上。
图像编码部ex312是具有本发明说明的图像编码装置的结构,对从摄影机部ex203供给的图像数据,通过利用在上述实施方式中所示的图像编码装置中所使用的编码方法进行压缩编码,变换成编码图像数据,并将其发送到多重分离部ex308内。并且,这时,同时移动电话ex115,将由摄影机部ex203在进行拍摄时用声音输入部ex205收集的声音,通过声音处理部ex305作为数字声音数据发送到多重分离部ex308中。
多重分离部ex308以既定的方式,对从图像编码部ex312供给的编码图像数据和从声音处理部ex305供给的声音数据进行多重化,对其结果所得到的多重化数据,利用调制解调电路部ex306进行频谱扩散处理,并在收发电路部ex301实施数模变换处理和频率变换处理之后,通过天线ex201进行发送。
在数据通信方式时接收与主页等相链接的动画文件数据的情况下,利用调制解调电路部ex306,来对通过天线ex201从基站ex110接收到的接收信号进行频谱反扩散处理,并将其结果获得的多重化数据发送到多重分离部ex308内。
并且,为了对通过天线ex201接收的多重化数据进行解码,多重分离部ex308通过对多重化数据进行分离,划分成图像数据的编码位流和声音数据的编码位流,通过同步总线ex313把该编码图像数据供给到图像解码部ex309内,同时,把该声音数据供给到声音处理部ex305内。
接着,图像解码部ex309是具有本发明中说明的图像解码装置的结构,利用与在上述实施方式所示出的编码方法相对应的解码方法,对图像数据的编码位流进行解码,生成重放动态图像数据,将其通过LCD控制部ex302供给显示部ex202内,这样,例如显示出与主页链接的动态图像文件中所包括的动画数据。同时,声音处理部ex305在把声音数据变换成模拟声音信号后,将其供给到声音输出部ex208内,由此,重放例如与主页相链接的动态图像文件中所包含的声音数据。
而且,并不限于上述系统的例子,最近,根据卫星、地面波的数字广播已成为话题,如图22所示,在数字广播用系统中,也能组合上述实施方式的至少图像编码装置或图像解码装置中的某一个。具体来说,在广播电台ex406中,影像信息的编码位流通过电波传输到通信或广播卫星ex410上。对其进行接收的广播卫星ex410发射广播用电波,利用具有卫星广播接收设备的家庭的天线ex406来接收该电波,利用电视(接收机)ex401或机顶盒(STB)ex407等装置对编码位流进行解码,对其进行重放。并且,在对记录媒体CD或DVD等存储媒体ex402上记录的编码位流进行读取、解码的重放装置ex403上,也可以安装在上述实施方式中所示的图像解码装置。在此情况下,被重放的影像信号显示在监视器ex404上。并且,也可以采用这样的结构,即在有线电视用的电缆ex405或卫星/地面波广播的天线ex406上所连接的机顶盒ex407内,安装图像解码装置,用电视的监视器ex408来重放上述图像信号。这时,也可以把图像解码装置组装到电视机内而不是机顶盒内。并且,也可以利用具有天线ex411的车ex412,从卫星410或者从基站ex107等处接收信号,也能把动画显示到车ex412所具有的汽车导向装置ex413等的显示装置上。
再者,也可以利用上述实施方式中所示的图像编码装置对图像信号进行编码,并将其记录到记录媒体上。具体例子有:在DVD光盘ex421上记录图像信号的DVD记录器、和在硬盘上记录的硬盘记录器等记录器ex420。另外,也能记录到SD卡ex422上。如果记录器ex420具有上述实施方式所示的图像解码装置,那么,能够重放DVD光盘ex421和SD卡ex422上所记录的图像信号,并在监视器ex408上进行显示。
而且,汽车导航装置ex413的结构可以是例如在图21所示的结构中,除掉摄影机部ex203、摄影机接口部ex303、图像编码部ex312的结构。对计算机ex111和电视接收机ex401等也可以采用这种结构。
并且,上述移动电话ex114等的终端,有3种安装形式,即除了具有编码器、解码器两者的收发信型终端外,还有仅有编码器的发送终端、以及仅有解码器的接收终端。
如上,能够将上述实施方式所示的移动向量编码方法或移动向量解码方法,用于上述的任一种机器、系统中,由此,能获得上述实施方式中所说明的效果。
涉及本发明的移动向量编码方法和移动向量解码方法,适用于对动态图像进行编码的动态图像编码装置、和对被编码了的动态图像进行解码的动态图像解码装置、以及具有这些装置的系统,例如用于供给数字作品等内容的内容供给系统和数字广播用系统。