具体实施方式
以下使用图3至图30对本发明的实施例进行说明。
实施例1
图3是在参照图像存储器Mem中所存储的图像的图像编号PN的示意图。以下说明该图与图2的参照图像存储器Mem中所存储的图像的图像编号PN的示意图的不同之处进行说明。
对以下内容进行说明:在现有技术中,当对S图像(picture)进行编码·解码时,当切换流时,参照图像存储器Mem的内容不一致。因此,在本发明的编码·解码方法中,在对图1的输入图像信号Vin进行编码时的图像与图像编号PN的对应关系的示意图中,在全部的流中,仅把图像一致的时刻t0、t1、t2的图像存储到参照图像存储器Mem中,在S图像的编码·解码之前,从参照图像存储器Mem中删除除此之外的图像。表示其结果的是图3的参照图像存储器Mem中所存储的图像编号PN的示意图。
如从图3的参照图像存储器Mem中所存储的图像的图像编号PN的示意图所看到的那样,在通过编码·解码来明示参照图像的情况下,如果使用「明示距时刻为新的图像的几个图像前的信息」这样的方法,在流1、流2、流3的任一个的情况下,都参照相同的时刻的图像,因此,编码·解码能够正确进行。
图4是与本发明的图像编码方法和图像解码方法的参照图像存储器Mem中所存储的与图像控制相关的信息的编码方法和解码方法的流程图。
图4(a)的编码方法的流程图表示使用图3说明的动作的实现方法和为此所所需要的信息的编码·解码方法。
在Step0中,在多个编码信息(流)中选择时刻相同的图像。在Step1中,对表示删除在Step0中选择的图像之外的图像的删除信息进行编码。在Step2中,从参照图像存储器Mem中删除在Step0中选择的图像之外的图像。如上述那样,如图3所示的那样,即使切换编码信号,也能实现用于实现能够解码的流的参照图像存储器Mem的存储状态。
而且,Step1和Step2的顺序可互换,此时成为图4(b)所示的图像编码方法的流程图。
通过用在图4(c)的解码方法的流程图中所示的方法来对在图4(a)的编码方法的流程图中进行了编码的删除信息进行解码,如图3所示的那样,即使切换编码信号,也能实现用于实现能够解码的流的参照图像存储器Mem的存储状态。
通过在Step5中对删除信息进行解码,能够明示多个编码信息(流)中时刻不同的图像。这相当于在图4(a)的Step0中选择的时刻相同的图像之外的图像。接着,在Step6中,从参照图像存储器Mem中删除在Step5中选择的图像。具体地说,当删除(或者消去)在参照图像存储器Mem内所保存的图像时,在将要被删除的图像中,设定禁止作为参照图像来使用的「不使用」等识别信息。与此对应,图像解码单元PicDec和图像编码单元PicEnc,当参照参照图像存储器Mem内所保存的图像时,必须确认是否设定了「不使用」的识别信息,在此基础上,当「不使用」的识别信息被设定的情况下,不参照该图像,而仅参照没有设定「不使用」的识别信息的图像。在以下的实施例中,同样来删除(或消去)参照图像存储器Mem内的图像。当然,该删除方法仅是一例,可以通过从参照图像存储器Mem内实际上删除(或消去)上述图像的数据来进行删除。如上述那样,即使切换编码信号,也能实现用于实现能够解码的流的参照图像存储器Mem的存储状态。
实施例2
图5(a)是在参照图像存储器Mem中所存储的图像的图像编号PN的示意图。图5(a)与图3的参照图像存储器Mem中所存储的图像的图像编号PN的示意图不同之处是:参照图像存储器Mem内的图像编号PN是否相一致。
在参照图像存储器Mem内所保存的图像的时刻以及参照图像存储器Mem内的图像编号PN在全部的编码信号中相一致,由此,当通过编码·解码来明示参照图像时,就能利用「明示通过图像编号PN来参照的图像」的方法,在流1、流2、流3任一个情况下,参照相同的时刻的图像,因此,能够正确地进行编码·解码。
为了实现上述内容,可以在S图像的编码·解码之前,把在参照图像存储器Mem内所保存的图像的图像编号PN替换为相同值,对用于该替换的信息进行编码·解码。
而且,当接着保存S图像时,必须作为相同的图像编号PN来保存,因此,S图像的图像编号PN在哪个流的情况下都必须相一致。
图6是与本发明的图像编码方法和图像解码方法的参照图像存储器Mem中所存储的图像控制相关的信息的编码方法和解码方法的流程图,表示使用图5(a)来说明的动作的实现方法和为此所需要的信息的编码·解码方法。
在Step10中,用切换对象的编码信号来检测出在参照图像存储器Mem中包含的图像的图像编号PN的最大值(在图5(a)的例子中为8)。在Step12中,把图像编号PN的最大值作为基准,对用于重新分配在参照图像存储器Mem中所存储的各图像的图像编号PN的信息进行编码。而且,根据需要,对应当分配给下一个S图像的图像编号PN进行编码。而且,由于图5(a)的流3和图3的流3是相同的,因此,不需要对流3进行重新分配。这样,仅需要实施图像编号PN的重新分配,在Step11中仅对必要的重新分配的信息进行编码。最后,在Step12中实施用Step11中进行编码的信息而表示的图像编号PN的重新分配。如以上那样,如图5所示的那样,即使切换编码信号,也能实现用于实现可解码的流的参照图像存储器Mem的存储状态。
而且,由于S图像的图像编号PN是12,在S图像的编码·解码后,图像编号PN是连续的,因此,如图5(b)所示的那样,可以如图5(b)所示的那样使用作为S图像之前的图像编号PN(图1的流1的S图像之前)的11。在此情况下,由于S图像的图像编号PN是12,在编码·解码过程中,图像编号PN一直增加,就能更有效地实现把图像编号PN减少的情况作为错误的错误检测功能。
图7是本发明的对输入图像信号Vin进行编码时的图像与图像编号PN的对应关系示意图。图7是用图5(b)中使用的方法来进行图像编号PN的重新分配的例子。在S图像中,图像编号PN全都为12,在S图像编码·解码时,如果参照图像存储器Mem的图像与流无关而为一定的,即使在S图像中切换流,S图像以后的全部图像能够正确地解码。
而且,Step11和Step12的顺序可以互换,在此情况下,成为图6(b)所示的图像编码方法的流程图。
通过用图6(c)的解码方法的流程图中表示的方法来对图6(a)的编码方法的流程图来进行编码的删除信息进行解码,由此,如图5(a)所示的那样,即使切换编码信号,也能用图像解码方法来实现用于实现可解码的流的参照图像存储器Mem的存储状态。
通过在Step15中对图像编号PN的重新分配的信息进行解码,能够确定图像编号PN的重新分配需要的图像及其方法。接着,在Step16中,根据在Step15中解码的图像编号PN的重新分配需要的图像及其方法,来进行参照图像存储器Mem的图像编号PN的重新分配。如上述那样,即使切换编码信号,也能如图5所示的那样,实现用于实现可解码的流的参照图像存储器Mem的存储状态。
而且,在本实施例中,说明了与实施例1相组合的形态的有效性,但是,在「明示由图像编号PN进行参照的图像」的情况下,能够进行编码·解码的优点仅在实施例2中能够实现,在其效果足够的情况下,不与实施例1相组合也能利用。
实施例3
图8是用于实现图5的参照图像存储器Mem中所存储的图像的图像编号PN的示意图的另一个实施例。
图像的类型由图像类型PicType来识别。这样,如果图像类型PicType是可切换流的S图像,通过决定进行参照图像存储器Mem的图像编号PN的重新分配来配合S图像的图像编号PN,就能省略参照图像存储器Mem的图像编号的重新分配方法的信息的编码·解码。
以下,说明图8(a)的动作。在Step20中,对编码信号进行解码来取得图像的图像编号PN。在Step21中,取得已取得图像的图像类型PicType,如果该图像类型PicType是S图像,在Step22中,使用预定的方法来进行参照图像存储器Mem的图像编号PN的重新分配,以便于配合S图像的图像编号PN。如上述那样,如图5所示的那样,即使切换编码信号,也能实现用于实现可解码的流的参照图像存储器Mem的存储状态。
而且,Step21和Step22的顺序可以互换,在此情况下,成为图8(b)所示的图像编码方法的流程图。
而且,把图8和图6所示的图5的参照图像存储器Mem中所存储的图像的图像编号PN的示意图进行组合,就可以在图6的Step11和Step15中仅对图像编号PN的重新分配信息的一部分(在进行参照图像存储器Mem的图像编号PN的重新分配以便于配合S图像的图像编号PN的规则下,不能表现的部分)进行编码·解码。
实施例4
图9是表示本发明的图像编码装置的构成的方框图。图9的本发明的图像编码装置的方框图是实现实施例1和实施例2的图像编码方法的一例。
图像编号生成单元PNGen生成图像编号PN。图像编号PN是区别在参照图像存储器Mem中所存储的图像的识别符,给在参照图像存储器Mem中所存储的不同的图像赋予不同的图像编号PN。通常,每当向参照图像存储器Mem中保存图像时,就使图像编号PN递增1,当图像解码装置接收的图像编号PN增加2以上时,就能由图像解码装置检测出因传输路径错误而使应当保存的图像缺失的情况,来进行错误修正或者错误修整处理。
最大图像编号单元MaxPN把其他编码信号图像编号OtherPN与由图像编号生成单元PNGen所生成的图像编号PN进行比较,检测出图像编号PN的最大值,通知给可变长度编码单元VLC,同时,通知给图像编号生成单元PNGen,用上述图像编号PN的最大值来初始化由图像编号生成单元PNGen生成的图像编号PN。其他编码信号图像编号OtherPN是与相同的编码对象图像相对应的不同的流的图像的图像编号。其结果,图像编号生成单元PNGen以后输出比上述图像编号PN的最大值更大的图像编号PN。
编码图像时刻比较单元TimeCmp比较到此为止编码的输入图像信号Vin的各图像的时刻于作为其他编码信号(流)而编码的各图像的图像时刻FrameTime,把在全部编码信号中所编码的时刻的图像的信息通知给图像删除单元PicDel。
图像删除单元PicDel在图像类型PicType表示下一个图像是S图像的情况下,根据由编码图像时刻比较单元TimeCmp所通知的信息,向参照图像存储器Mem通知删除全部编码信号中所编码的时刻的图像之外的参照图像存储器Mem中所保存的图像的指令,同时,向可变长度编码单元VLC通知该信息。
图像编码单元PicEnc参照在参照图像存储器Mem中所保存的图像,伴随着变频·量化来对输入图像信号Vin进行编码,而作为由图像类型PicType所表示的图像类型,把其结果发送给图像解码单元PicDec和可变长度编码单元VLC。图像解码单元PicDec对由图像编码单元PicEnc编码的结果进行逆量化·逆变频,而作为由图像类型PicType所示的图像类型,为了在后续的图像的编码中进行参照,作为图像编号PN而保存在参照图像存储器Mem中。
可变长度编码单元VLC把由图像编码单元PicEnc进行编码的结果进行可变长度编码,而成为比特列,同时,对用于删除由图像删除单元PicDel所通知的在参照图像存储器Mem中所保存的图像的信息和上述图像编号PN的最大值及图像编号PN进行编码,作为编码信号Str而输出。而且,根据由图像删除单元PicDel所通知的信息和图像编号PN,按照实施例2所记载的方法,来对替换参照图像存储器Mem中所保存的图像的图像编号PN的信息进行编码。
在图10中表示了本发明的编码信号Str的构成例子。以下对图19(a)的各数据进行说明。
最初,图像编号PN被编码。接着,将要替换的最大PN、用于删除参照图像存储器Mem中所保存的图像的信息、替换参照图像存储器Mem中所保存的图像的图像编号PN的信息被编码。接着,配置作为图像类型PicType和图像编码单元PicEnc的输出的图像编码数据。
而且,图10(a)仅是数据配置的一例,也可以如图10(b)那样,变换数据的顺序来实现。
通过以上构成,能够实现实施例1和实施例2的图像编码方法的图像编码装置。
实施例5
图11是表示本发明的图像解码装置的构成的方框图。图11的本发明的图像解码装置的方框图是实现实施例1、实施例2和实施例3的图像解码装置的一例。以下说明其动作。
可变长度解码单元VLD对编码信号Str进行解码,输出各种信息(删除参照图像存储器Mem中所保存的图像的指令、图像类型PicType、图像编号PN、替换图像编号PN的信息和图像数据等)。
首先,删除由可变长度解码单元VLD所得到的参照图像存储器Mem中所保存的图像的指令被通知给图像删除单元PicDel,图像删除单元PicDel删除在参照图像存储器Mem中所保存的被指令的图像。
由可变长度解码单元VLD所得到的图像类型PicType被通知给图像解码单元PicDec,来指示解码方法。
由可变长度解码单元VLD所得到的图像编号PN被通知给参照图像存储器Mem,成为存储由图像解码单元PicDec所解码的图像时的图像编号PN。
替换由可变长度解码单元VLD所得到的在参照图像存储器Mem中所保存的图像的图像编号PN的信息被通知给图像编号变更单元PNchg,图像编号变更单元PNchg按照该指示来替换在参照图像存储器Mem内所保存的图像的图像编号PN。更具体地说,图像编号变更单元PNchg读出在参照图像存储器Mem中所保存的图像的图像编号PN,变更所读出的图像编号PN的值后,把该参照图像存储器Mem写入参照图像存储器Mem。
由可变长度解码单元VLD所得到的图像数据,在图像解码单元PicDec中,用与由图像类型PicType所表示的图像类型所对应的解码方法来进行解码。即,I图像不参照参照图像存储器Mem的图像被解码,P图像和B图像参照参照图像存储器Mem中所保存的图像来解码。这样得到的解码图像被保存在参照图像存储器Mem内,同时,作为解码图像信号Vout被输出。
如上述那样,实现实施例1、实施例2和实施例3的图像解码装置能够实现。
实施例6
在实施例1至实施例5所记载的图像编码装置中,当由S图像切换流时,切换能够切换的图像前的图像的图像编号,以便于与能够切换的图像的图像编号连续。在本实施例中,在能够切换的图像中,切换图像编号。
作为流的切换的例子,是这样的处理:使同一图像与具有不同的图像速率和不同的比特率、不同的图像构造的多个流的编码相关,从进行编码的图像属于的流,切换为属于其他流的图像,来进行编码。以下,为了便于使用,仅称为流的切换。
而且,在本实施例中,根据各流中在编码对象的图像的编码顺序(流顺序)上前面相邻的图像(以下称为前图像)的图像编号与编码对象的图像编号的变化的程度,来判断是否把编码对象的图像保存到参照存储器中。具体地说,如果编码对象的图像的图像编号相对于前图像的图像编号而增加「1」,就表明:编码对象的图像被保存在参照存储器中。另一方面,如果编码对象的图像的图像编号相对于前图像的图像编号而与前图像编号相同,就表明:编码对象的图像未被保存在参照存储器中。
以下参照附图来对在能够切换的图像中切换图像编号的处理进行具体说明。
图12是表示对输入图像信号Vin进行编码时的图像与图像编号PN的对应关系的一例的图。流1、流2、流3分别是用各自不同的图像速率来对同一图像信号进行编码的情况。在图12中,按进行编码的顺序,图像在每个流中进行排列。
在流1中,给各个图像分配图像编号PN,以便于在各个图像之间依次递增「1」。而且,在流2中,具有图像编号被分配成在图像之间递增「1」的图像和被分配了与前图像相同的图像编号的图像。而且,在流3中,与流1相同,给各个图像分配图像编号PN,以便于在各个图像之间依次递增「1」。
因此,在流1、3中,由于图像编号在各个图像之间依次递增「1」,编码对象的图像被保存在参照存储器中。在流2中,图像编号被分配成在图像之间递增「1」的图像被保存在参照存储器中,而被分配了与前图像相同的图像编号的图像未被保存。
而且,流1的图像编号「0」的图像、流2的图像编号「0」的图像和流3的图像编号「0」的图像在时刻t0相对应。以下相同,流1的图像F14、流2的图像F22和流3的图像F31在时刻t1相对应;流1的图像F18、流2的图像F24和流3的图像F32在时刻t2相对应;流1的图像F112、流2的图像F26和流3的图像F33在时刻t3相对应;流1的图像F117、流2的图像F215和流3的图像F34在时刻t4相对应。而且,图像F112、F26、F33相当于实施例1、2中的S图像。
在图12中,图像BP1、BP2是切换图像,该切换图像在切换流时经过,在切换前的图像与切换后的图像之间,在切换后的图像属于的流中,同与切换后的图像的前图像相同的时刻相对应,来进行编码。
例如,当从流2的图像F026(切换前的图像)向流1的图像F113(切换后的图像)来切换流时,在图像F24与图像F113之间,使用图像BP1作为时刻t3的图像。在此情况下,把作为切换图像的切换图像BP1的图像编号变更为「12」,以便于与切换后的图像F113的图像编号「13」相连续。
而且,同样,当从流3的图像F32(切换前的图像)向流2的图像F213(切换后的图像)来切换流时,在图像F32与图像F213之间,使用图像BP2作为时刻t3的图像。在此情况下,把作为切换图像的切换图像BP2的图像编号变更为与切换后的图像F213的图像编号「13」相连续。
这样,通过分配切换图像的图像编号以便于与切换后的图像的图像编号相连续,在每个流的流动中进行编码的情况下和切换流的情况下,切换后的图像的图像编号成为相同的值。
接着,对切换流时的图像编号的分配处理的流程进行说明。
图13是表示给图12的流的各图像赋予图像编号来进行编码的方法的流程图。
在步骤1401中,判定编码对象图像是否是S图像。如果编码对象图像是S图像,在步骤1402中,把编码对象图像的图像编号变更为初始值M。如果编码对象图像不是S图像,编码对象图像的图像编号就不变更。
在步骤1403中,判定编码对象图像是否是S图像的下一个图像。如果编码对象图像是S图像的下一个图像,就在步骤1404中进行S图像是否存储在存储器中的判断。如果编码对象图像不是S图像的下一个图像,就在步骤1405中判断编码对象图像是否被存储在存储器中。
当在步骤1404中判断为S图像被存储在存储器中时,在步骤1406中,使初始值M递增为M+1,所递增的图像编号成为新的图像编号。
当在步骤1404中判断为S图像未被存储在存储器中时,在步骤1407中使图像编号成为M自己(不变更图像编号)。在步骤1405中,判断编码对象图像是否被存储在存储器中。当判断为编码对象图像被存储在存储器中时,在步骤1408中,使图像编号PN递增为PN+1,所递增的图像编号成为新的图像编号。
当判断为编码对象图像未被存储在存储器中时,不进行图像编号的变更。
在步骤1409中,对象图像被编码。在步骤1410中,判断所有的编码对象图像是否被编码。当所有的编码对象图像未被编码时,返回步骤1401,当所有的编码对象图像被编码时,结束处理。
根据图13所示的处理,在切换图像以后的图像中,能够生成图像编号连续的编码数据流。
而且,这样生成的编码信号Str可以用实施例5中的图像解码装置中的解码装置来进行解码。这样,能够实现对本实施例中的编码信号进行解码的图像解码装置。
而且,上述实施例1至实施例6所示的编码方法·解码方法可以通过LSI等半导体来安装到携带电话和导航系统等移动通信设备和数字摄像机以及数字照相机等摄影设备中。而且,作为实施例,除了具有编码器·解码器两者的收发型终端之外,也可以是仅有编码器的发送终端、仅有解码器的接收终端。
实施例7
解码对象图像参照的图像由图像编号PN所明示。能够通过图像编号PN的增减来进行图像编号PN的错误的检测。图14表示在例如图10(b)所示的图像数据中以图像编号PN为基础来进行图像编号PN的错误检测·修正的程序。
首先,在Step20中,检测出图像编号PN。接着,在Step21中,检测出图像类型PicType。在StepA2中判断所检测出的图像编号PN是否是连续的。如果在StepA2中图像编号PN是连续中,就结束图像编号PN的错误检测·修正处理。另一方面,如果在StepA2中图像编号PN不是连续的,则在StepA3中进行错误修正。而且,图6所示的最大已保存PN检测和PN重新分配的处理可以在该错误检测·修正处理结束后实施,也可以与该错误检测·修正处理并行实施。
作为与StepA3中的错误修正的处理相关的第一方法,考虑这样的程序:要求与错误发生的图像编号PN相关的数据的重发,在接受重发后,再次进行图像编号PN的错误检测。但是,在S图像中图像编号PN的不连续不会在传送错误中发生。即,S图像中的图像编号PN的不连续具有这样的可能性:在每个流中,S图像之前被存储在存储器中的图像数是不同的,因此,即使呀与图像编号PN相关的数据的重发,也可能不存在对应的图像,则与不连续的图像相对应的图像不能重发的可能性很大。这样,由于连续要求重发没有被重发的图像,就有不能进行图像的重放的危险。因此,对图像的重放不能很好地进行的例子的解决措施,在以下的实施例10中进行详细说明。
在切换流的时刻上,如果与切换后的流相对应的存储器内的图像数不是同与未进行切换时的流相对应的存储器内的图像数完全一致,就存在不能正确地进行图像的重放的可能性。
首先,存储器具有:短时间保存存储器,为图15所示的作为先入先出存储器;长时间保存存储器,与上述短时间保存存储器相比,长时间保存图像,不是先入先出,而是直接进行存储位置的指定来进行记录。在短时间保存存储器能够保存7个图像,长时间保存存储器能够保存4个图像的情况下,进行参照的图像这样进行指定:在进入存储器中的图像中,从短时间保存存储器第几个进入的图像。例如,处于长时间保存存储器中的usedLT2能够称为进入第八个的图像(Idx=7)。以这样相对应的位置关系来指定参照图像。
而且,如图7所示的那样,在具有3个流的情况下,用于按图2所示的那样指定同一图像(例如图7所示的S图像)的存储器中的位置随各自的流而不同。而且,当通过S图像而参照其他的流的图像时,用于指定参照图像的存储器中的位置岁每个流的存储器而不同。而且,所谓S图像是这样的图像:具有多个流,当从预定流移动到其他流时,参照移动前的流的S图像之前的图像来进行预测编码的图像与参照移动后的流的S图像之前的图像来进行预测编码的图像为同一图像(图12)。
而且,即使在不是S图像而是I图像的情况下,当参照存储器内在多个流中进行解码的图像完全一致时,能够切换流,因此,能够把I图像用于与S图像相同的用途(流切换)。
当施加这样的各种条件时,在存储器内的图像数不一致的情况下,难于正确地指定进行参照的图像,即使指定了进行参照的图像,发生错误的可能性也较大。
因此,在本实施例中,对于用于避免因图像编号PN的不连续和存储器内容的不一致等问题导致图像编号PN的错误检测处理不能完成的附加信息的编码方法和解码方法进行说明。该附加信息(全部图像删除信息)是表示以下内容的指令:从用于在编码或者解码中进行参照的存储器中全部删除编码对象的I图像和S图像之外的图像,以便于在对进行画面内编码的I图像和上述S图像进行编码后的图像的编码处理中不会发生错误。
由此,在从预定的流移动到其他的流之后,由于多个流各自的存储器状态为相同的,因此,即使在画面间预测编码等中需要参照图像的情况下,也能在存储器中正确地指定预定的图像。而且,当从预定的流移动到其他的流时,通过不把图像编号不连续的作为错误来进行修正,就能解决因要求实际不存在的图像的重发而不能解码的缺陷。
以下使用图16(a)来对编码方法进行说明。图16(a)表示本实施例中的编码信号的制作过程。
首先,在Step20中,检测出图像编号PN。接着,在Step21中,检测出图像类型PicType。接着,在StepA1中,判断所检测出的图像类型是否是I图像。如果所检测出的图像类型是I图像,在StepA10中,删除编码对象的I图像之外的处于存储器中的全部图像。接着,在StepA11中,对表示删除了存储器中全部的图像的全部图像删除信息进行编码,结束附加信息的编码过程。
而且,如图16(b)所示的那样,把图16(a)的StepA1作为判断图像类型是否是S图像的步骤,也能进行同样的编码处理。而且,把StepA1和StepA2进行组合,就可以在Step21中的图像类型的检测之后,进行是I图像还是S图像的判断。
而且,如图17(a)所示的那样,进行Step21中的图像类型的检测,在StepA1中,当编码对象图像是I图像时,如StepA3那样,判断图像编号PN是否是连续的,在图像编号PN不是连续的情况下,可以删除编码对象的I图像之外的处于存储器中的全部图像。另一方面,如果在StepA3中图像编号PN是连续的,就不删除存储器中的图像。在检测出S图像作为图像类型的情况下,与图17(a)相同的说明成立。而且,可以把StepA1和StepA2进行组合,在Step21中的图像类型的检测后进行是I图像还是S图像的判断。
而且,在图17(a)所示的StepA3的处理之后,如图17(b)所示的那样,进行判断在存储器中所存储的图像数是否相同的StepA30的处理,防止即使图像编号是连续的但在存储器中所存储的图像数不相同的错误发生。而且,可以在进行图17(b)中的StepA3的处理之前进行StepA30的处理,如果图像数在流之间不是相同的,进行StepA10的全部图像删除的处理,如果图像数在流之间是相同的并且图像编号不是连续的,就进行StepA10的全部图像删除的处理(图18)。
这样,通过图17所示的过程,能够使存在成为参照图像的可能性的图像尽可能留在存储器中,能够降低成为并且提高图像的再现性。而且,当I图像或者S图像中被存储在存储器中的图像数不同,或者,图像编号不连续时,就不需要进行错误修正处理,因此,能够简化编码装置中的存储器管理。
而且,可以通过表示是特别的I图像的图像类型来表示是I图像和删除存储器中的全部图像。
实施例8
图19是表示本发明的图像编码装置的构成的方框图。图19所示的本发明的图像编码装置的方框图是实现图16的图像编码方法的一例。
图像编号生成单元PNGen生成图像编号PN。图像编号PN是区别在参照图像存储器Mem中所存储的图像的识别符,给参照图像存储器Mem中所存储的不同的图像赋予不同的图像编号PN。通常,每当向参照图像存储器Mem中保存图像时,使图像编号PN递增「1」,当有解码装置接收的图像编号PN增加「2」以上时,能够由图像解码装置检测出因传输路径错误而使应当保存的图像丢失,来实施错误修整(使错误变得不显著)或者错误修正(通过重发而重放没有错误的图像)等的错误修复处理。
图像删除单元PicDel3在图像类型PicType表示是S图像的情况下(与图16的StepA2的处理相对应),向参照图像存储器Mem通知删除编码对象图像之外的在参照图像存储器Mem中所保存的图像的指令,同时向可变长度编码单元VLC通知该信息。
或者,图像删除单元PicDel3在图像类型PicType表示是I图像的情况下(与图16的StepA1的处理相对应),向参照图像存储器Mem通知删除编码对象图像之外的在参照图像存储器Mem中所保存的图像的指令,同时向可变长度编码单元VLC通知该信息。
图像编码单元PicEnc参照在参照图像存储器Mem中所保存的图像,作为由图像类型PicType所示的图像类型,伴随着变频·量化等来对输入图像信号Vin进行编码,把其结果发送给图像解码单元PicDec和可变长度编码单元VLC。
图像解码单元PicDec把由图像编码单元PicEnc编码的结果作为由图像类型PicType表示的图像类型,来进行逆量化·逆变频,为了在后续的图像的编码中进行参照,而作为图像编号PN保存在参照图像存储器Mem中。
可变长度编码单元VLC对由图像编码单元PicEnc编码的结果进行可变长度编码,成为比特列,同时对作为解码所需要的信息的用于删除由图像删除单元PicDel3所通知的参照图像存储器Mem中所保存的图像的信息、图像编号PN、图像类型PicType进行编码,作为编码信号Str进行输出。
图10(c)(d)中表示了本发明的编码信号Str的构成例子。以下对各数据进行说明。
最初,图像编号PN被编码。接着,配置用于删除参照图像存储器Mem中所保存的图像的信息以及图像类型PicType和再外图像编码单元PicEnc的输出的图像编码数据。
而且,图10(c)是数据配置的一例,能够如图10(d)那样互换数据的顺序来实现。
根据以上的构成,能够实现执行图16所示的图像编码方法的图像编码装置。而且,能够提供容错性高的编码装置。
实施例9
图20是表示本发明的图像编码装置的方框图。图20的本发明的图像编码装置的方框图表示实现图17的图像编码方法的一例。而且,在以下的说明中,省略了与图19相同的单元相关的说明。
图20与图19的不同点是图像删除单元PicDel4中的处理。具体地说,图像删除单元PicDel4是在图像类型PicType表示是S图像的情况下(与图17的StepA2的处理相对应),在比较存储器内的图像数而不相同的情况下(与图17的StepA30的处理相对应),向参照图像存储器Mem通知删除除编码对象图像之外的参照图像存储器Mem中所保存的图像,同时,向可变长度编码单元VLC通知该信息。而且,当图像类型PicType为I图像时,是相同的。而且,本发明的编码信号是与图10(c)(d)相同的构成。
通过以上的构成,能够实现执行图17所示的图像编码方法的图像编码装置。而且,能够提供容错性高的编码装置。
实施例10
在上述实施例7中,当在S图像中发生图像编号PN的不连续时,由于不断要求重发未被重发的图像,则就有不能进行图像重放的危险。以下对因此而不能进行图像的重放的例子相对应的解决方法进行说明。
图21(a)表示对编码信号进行解码的过程。
首先,在Step20中,检测出图像编号PN。接着,在Step21中检测出图像类型PicType。在StepA1中,判断所检测出的图像类型是否是I图像。如果所检测出的图像类型不是I图像,在StepA3中判断图像编号PN是否是连续的。另一方面,如果所检测出的图像类型是I图像,不进行错误检测·修正处理,结束一连串的处理。
如果在StepA3中图像编号PN不是连续的,在StepA4中进行错误修正。另一方面,如果在StepA3中图像编号PN是连续的,结束错误检测处理。
StepA4中的错误修正是例如上述实施例中所述的最大已保存的PN检测和PN重新分配的处理,也可以是这样的处理:接受表示删除存储器中全部的图像的全部图像删除信息,删除存储器中的全部的图像。
而且,如图21(b)所示的那样,即使把图21(a)的StepA1作为判断图像类型是否是S图像的步骤,也能进行同样的编码处理。而且,可以把StepA1与StepA2进行组合,在Step21中的图像类型的检测之后,进行是I图像还是S图像的判断。
如上述那样,当在I图像或S图像中图像编号不是连续的时,能够防止为了进行错误修正而反复发出重发要求导致不能解码的情况。而且,该I图像中的处理在能够切换流这样的特别I图像的情况下特别有效。
实施例11
图22是表示本发明的图像解码装置的构成的方框图。图22的本发明的图像解码装置的方框图表示实现图21的图像解码方法的一例。而且,在以下的说明中,与图11相同的单元所对应的说明被省略。
图22与图11不同点是PN连续判定单元PNchk和图像类型PicType所产生的错误检测单元ErrChk中的处理。具体地说,如果被输入PN连续判定单元PNchk的图像编号PN不是连续的,图像类型PicType不是I图像或S图像,则从错误检测单元ErrChk输出错误修正命令Err。如果存在错误修正命令Err,例如,就进行最大已保存PN检测和PN重新分配的处理,或者,进行这样的处理:接受表示删除存储器中全部的图像的全部图像删除信息,删除存储器中的全部的图像。
通过以上构成,能够实现执行图21所示的图像解码方法的图像解码装置。而且,能够提供容错性高的解码装置。
实施例12
在本实施例中,对于能够避免因图像编号PN的不连续和存储器内容的不一致等问题引起图像编号PN的错误检测处理不能完成的另一个方法进行说明。本实施例与实施例7的不同之处在于:在实施例7的编码处理中具有删除全部图像的步骤,而当删除全部图像时,还要从「0」重新分配图像编号。
由此,在从预定的流移动到另一个流之后,多个流各自的存储器状态成为相同的,而且,图像编号被初始化,因此,即使在画面间预测编码等中需要参照图像的情况下,也能在存储器中正确地指定预定的图像。而且,当把成为解码对象的编码流从预定的流移动(切换)到其他流时,不是把图像编号不连续作为错误来修正,因此,能够解决不能解码的缺陷。
如上述那样,在对活动图像进行编码而得到的编码流中,对于流中的各图像,赋予在显示时刻的顺序上连续的图像编号PN。图像编号PN按各图像的显示时刻的顺序而连续赋予的理由是:在图像解码装置经过传输路径而接收编码流的情况下,能够检测出编码流中的图像因传输错误而丢失的情况。这样的图像解码装置,在对接收的编码流进行解码的过程中,当按显示时刻的顺序所输入的图像之间的图像编号PN增加2以上时,检测出在接收前面的图像到接收后面的图像之间存在传输错误,能够向发送侧要求丢失的图像的重发。因此,图像解码装置继续对一个编码流进行解码,这样来有效地检测出传输错误,接受丢失的图像的重发,能够解码出完全的编码流。
但是,在把以不同的图像速率对同一活动图像进行编码而得到的多个编码流作为输入,来对一个编码流进行解码的过程中,切换到图像速率不同的其他编码流来继续进行以后的解码,在这样的图像解码装置中,错误检测反而成为图像编号PN的错误检测处理不能完成的缺陷发生的原因。这是因为:在各个编码流内,各图像的图像编号PN在显示时刻的顺序上是连续的,则在图像速率不同的编码流之间,即使是应当在同一时刻进行显示的图像,除了开头图像之外,图像编号PN是不一致的。因此,在图像解码装置中,在一个编码流的解码过程中,当把解码对象切换为另一个编码流时,即使是在同一时刻所显示的图像,图像编号PN也是不连续的。这样,为了避免由于图像编号PN的不连续和存储器内容的不一致等问题而导致图像编号PN的错误检测处理不能完成,而在实施例7中使用附加信息(全部图像删除信息),对这样的编码方法已经进行了说明。该附加信息表示以下内容的命令:在进行画面内编码的I图像和对上述S图像进行编码后的图像的编码处理中,从用于在编码或者解码中进行参照的存储器中全部删除除编码对象之外的图像,以使流切换时的错误不会产生。
以下使用图23来对编码方法进行说明。图23(a)表示本实施例中的编码信号的制作过程。
首先,在Step01中检测出图像编号PN。接着,在Step02中,对在Step01中所检测出的图像编号PN进行编码。而且,在Step03中检测出图像类型PicType。在Step03中,判断所检测出的图像类型是否是S图像。
如果所检测出的图像类型是S图像,在Step05中,对表示删除处于存储器中的全部的图像的全部图像删除信息进行编码。接着,在Step06A中,对S图像进行编码。接着,在Step07中对图像编号进行初始化,接着,在Step08中,删除除编码对象的S图像之外的存储器中的全部图像。由此,结束附加信息的编码以及图像编号PN的初始化处理。
如果所检测出的图像类型不是S图像,由于图像编号是连续的,在Step06B中,对该图像进行编码,但是,不进行附加信息的编码和图像编号PN的初始化处理、全部图像的删除,而结束处理。
在Step07中的图像编号PN的初始化是例如给已经进行了编码处理的S图像赋予图像编号0。即,表示这样的意思:通过在S图像中对图像编号进行初始化,对于按显示时间的顺序编号的S图像的后续图像,赋予从S图像(PN=0)开始的编号(例如PN=1)。其结果,图像编号PN的初始化在对S图像进行编码(即对S图像的图像编号进行编码)之后进行。
而且,在Step04中,进行是否是S图像的判断,但是,也可以进行是否是I图像的判断。而且,在图23(a)中,可以在存在删除全部图像的步骤的情况下,同时对图像编号进行初始化,进行图像编号的初始化处理的判断并不仅限于是否是I图像或S图像。而且,Step02中的图像编号PN的编码的处理可以在以下任意时刻进行:在Step01的图像编号检测处理之后的处理中,如果是Step07中的图像编号PN的初始化处理之前。而且,可以在Step08中的删除编码对象的S图像之外的存储器中的全部图像的处理之后,进行Step07中的图像编号PN的初始化的处理。而且,在Step05中对表示删除处于存储器中的全部的图像的全部图像删除信息进行编码的处理也可以在此时进行:在Step04的是否是S图像的判断之后的处理中,如果处于图23(a)所示的处理结束之前。而且,可以使用特别的图像类型PicType,其在图像类型PicType中包含表示从用于在编码或者解码中进行参照的存储器中全部删除除编码对象之外的全部图像,由此,就能不对附加信息进行编码。而且,为了用S图像或I图像进行切换而附加图像编号PN,该方案是有效的,但是,并不意味着仅是S图像和I图像,如果能够切换流,如果教育在P图像等中删除全部图像的步骤,对于图像编号PN也能进行同样的处理。
图24是表示实现本实施例12的编码方法的图像编码装置的构成的方框图。
图像编号生成单元PNGen生成图像编号PN。图像编号PN是区别在参照图像存储器Mem中所存储的图像的识别符,给参照图像存储器Mem中所存储的不同的图像赋予不同的图像编号PN。通常,每当向参照图像存储器Mem中保存图像时,时图像编号PN增加「1」。而且,按照来自图像编码单元PicEnc的通知,在S图像的编码后,把该S图像的图像编号PN初始化为「0」。
图像删除单元PicDel5在图像类型PicType表示是S图像的情况下(与图23的Step03的处理相对应),向参照图像存储器Mem通知删除除编码对象图像之外的在参照图像存储器Mem中保存的图像的指令(全部图像删除信息),同时,向可变长度编码单元VLC通知该信息。
图像编码单元PicEnc参照参照图像存储器Mem中所保存的图像,作为由图像类型PicType所表示的图像类型,伴随着变频·量化等来对输入图像信号Vin进行编码,把其结果发送给图像解码单元PicDec和可变长度编码单元VLC。而且,图像编码单元PicEnc在对S图像进行编码之后,向图像编号生成单元PNGen2通知图像编号PN的初始化指示。
图像解码单元PicDec把由图像编码单元PicEnc进行编码的结果作为由图像类型PicType所示的图像类型来进行逆量化·逆变频,为了在后续的图像编码中进行参照,而与图像编号PN相对应而保存在参照图像存储器Mem中。
可变长度编码单元VLC对由图像编码单元PicEnc进行编码的结果进行可变长度编码而成为比特列,同时,对用于删除由图像删除单元PicDel5所通知的参照图像存储器Mem中所保存的图像的信息(全部图像删除信息)、图像编号PN、图像类型PicType进行编码,作为编码信号Str而输出。
接着,使用图23(b)来对解码方法进行说明。图23(b)表示编码信号的解码过程。
首先,在Step09中,对图像编号PN进行解码。接着,在Step010中判断全部图像删除信息是否被编码。
当在Step010中判断为全部图像删除信息被编码时,在Step011中对全部图像删除信息进行解码。接着,在Step012A中对图像进行解码。而且,在Step013中删除除解码对象的图像之外的存储器中的全部图像,接着,在Step014中,对图像编号PN进行初始化。由此,结束附加信息的解码和图像编号PN的初始化处理。
当在Step010中判断为全部图像删除信息未被编码时,在Step012B中对图像进行解码,结束附加信息的解码和图像编号PN的初始化处理。
Step014中的图像编号PN的初始化是给已经进行了解码处理的图像赋予图像编号「0」。即,当对以图23(a)所示的编码过程所编码的编码信号进行解码时,在S图像中,对图像编号进行初始化,由此,给按显示时间的顺序的S图像后续的图像,赋予从S图像开始的编号。
而且,当在图23(b)中教育删除全部图像的步骤的情况下,可以进行对图像编号进行初始化的处理,是否进行该处理的判断与解码的图像类型无关。而且,Step014中的图像编号PN的初始化的处理可以是Step013中的删除除编码对象的图像之外的存储器中的全部图像的处理之前的处理。而且,使用这样的特别图像类型PicType:在图像类型PicType中包含表示从用于在解码中进行参照的存储器中全部删除除解码对象的图像之外的图像的附加信息,由此,可以不对附加信息编码。
图25是表示实现本实施例12的解码方法的图像解码装置的构成的方框图。
可变长度解码单元VLD对编码信号Str进行解码,输出各种信息(删除参照图像存储器Mem中所保存的图像的指令、图像类型PicType、图像编号PN、替换图像编号PN的信息和图像数据等)。
首先,删除由可变长度解码单元VLD所得到的参照图像存储器Mem中所保存的图像的指令(全部图像删除信息)被通知给图像删除单元PicDel6,图像删除单元PicDel6删除在参照图像存储器Mem中所保存的被指令的图像。
由可变长度解码单元VLD所得到的图像类型信息PicType被通知给图像解码单元PicDec,指示解码方法。
由可变长度解码单元VLD所得到的图像编号PN被通知给参照图像存储器Mem,成为存储由图像解码单元PicDec所解码的图像时的图像编号PN。
由可变长度解码单元VLD所得到的全部图像删除信息被通知给图像编号变更单元PNchg2,图像编号变更单元PNchg2按照该指示替换参照图像存储器Mem内所保存的图像的图像编号PN(进行初始化)。更具体地说,图像编号变更单元PNchg2全部删除参照图像存储器Mem内的除解码对象图像(S图像)之外的图像后,读出参照图像存储器Mem中所保存的图像的图像编号PN,把所读出的图像编号PN的值变更为「0」,然后,把该图像编号PN写入参照图像存储器Mem。
由可变长度解码单元VLD所得到的图像数据在图像解码单元PicDec中用与由图像类型PicType所示的图像类型相对应的解码方法进行解码。即,I图像不参照参照图像存储器Mem的图像而被解码,P图像和B图像参照参照图像存储器Mem中所保存的图像来进行解码。这样得到的解码图像被保存在参照图像存储器Mem内,同时,作为解码图像信号Vout被输出。
通过以上构成,能够形成实现图23所示的图像解码方法的图像解码装置。而且,能够提供容错性高的解码装置。
这样,通过本实施例所示的编码方法、解码方法,在从预定的流移动到其他流之后,由于多个流各自的存储器状态为相同的,则即使在画面间预测编码中需要参照图像的情况下,也能在存储器中正确地指定预定的图像。
而且,在上述实施例中,说明了把附加信息(全部图像删除信息)与图像类型PicType集中起来进行编码,但是,通过在I图像中删除参照存储器的全部图像,由此,能够成为可以从该I图像重放流的特别图像。把其称为IDR(Instantaneous Decoder Refresh)图像。IDR图像成为随机存取的重放开始位置,因此,作为GOP(Group of Picture)的开头I图像是有效的。当对该IDR图像进行编码时,每次都删除存储器内的除该图像之外的图像,并且,在该图像的编码后,当对图像编号进行初始化时进行决定,即使在图像编码装置中删除存储器内的除该图像之外的全部图像的情况下,也可以不对附加信息进行编码。在此情况下,在图像解码装置中,从图像类型检测出编码流内的IDR图像,在对IDR图像进行解码的情况下,即使附加信息未被编码,,在删除了存储器内的除该IDR图像之外的图像,并且,对该图像进行编码·解码之后,对图像编号进行初始化。
实施例13
而且,通过把用于实现上述各个实施例所示的图像编码方法和图像解码方法的构成的程序记录到软盘等存储媒体上,能够在独立的计算机系统中简单地实施上述各个实施例所示的处理。
图26是对于用于存储由计算机系统实现上述实施例1至实施例12的图像编码方法和图像解码方法的程序的存储媒体的示意图。
图26(b)表示从软盘的正面看的外观、断面构造和软盘,图26(a)表示作为记录媒体本体的软盘的物理格式的例子。软盘FD内置在外壳F内,在该盘的表面上从外周向内周同心圆地形成多个记录道Tr,各道在角度方向上被分成16个扇区Se。这样,在存储上述程序的软盘中,在上述软盘FD中所分配的区域中记录作为上述程序的图像编码方法和图像解码方法。
而且,图26(c)表示用于在软盘FD中进行上述程序的记录重放的构成。当在软盘FD中记录上述程序时,通过软盘驱动器从计算机系统Cs写入作为上述程序的图像编码方法和图像解码方法。而且,当在计算机系统中通过软盘内的程序来构筑上述图像编码方法和图像解码方法时,通过软盘驱动器从软盘读出程序,转送给计算机系统。
而且,在上述说明中,使用软盘作为记录媒体来进行了说明,但是,使用光盘同样能够实现。而且,记录媒体并不仅限于此,如果是CD-ROM、存储器卡、ROM卡等能够记录程序的,同样能够实施。
在此,说明了上述实施例所示的图像编码方法和图像解码方法的应用例子和使用其的系统。
图27是表示实现内容发送服务的内容供给系统ex100的全体构成。把通信服务的提供区域分成所希望的大小,在各个单元内分别设置作为固定无线台的基站ex107~ex110。
该内容供给系统ex100例如经过因特网服务提供商ex102和电话网ex104以及基站ex107~ex110而把计算机ex111、PDA(personal digitalassistant)ex112、照相机ex113、携带电话ex114、带照相机的携带电话ex115等各个装置连接到因特网ex101上。
但是,内容供给系统ex100并不仅限于图27这样的组合,可以任意组合来连接。而且,也可以不经过作为固定无线台的基站ex107~ex110,各装置直接与电话网ex104相连接。
照相机ex113是数字摄像机等能够进行活动图像拍摄的设备。而且,携带电话可以是PDC(Personal Digital Communications)方式、CDMA(CodeDivision Multiple Access)方式、W-CDMA(Wideband-Code Division MultipleAccess)方式或者GSM(Global System For Mobile Communications)方式的携带电话机,或者PHS(Personal Handyphone System)等。
而且,流服务器ex103从照相机ex113经过基站ex109、电话网ex104进行连接,能够实现根据用户使用照相机ex113发送的经编码处理的数据的实况发送等。拍摄的数据的编码处理可以由照相机ex113进行,也可以由进行数据的发送处理的服务器等进行。而且,由照相机ex116拍摄的活动图像数据经过计算机ex111而发送给流服务器ex103。照相机ex116是数字摄像机等能够拍摄静止图像、活动图像的设备。在此情况下,活动图像数据的编码可以由照相机ex116进行,也可以由计算机ex111进行。而且,编码处理在计算机ex111和照相机ex116具有的LSI ex117中进行处理。而且,可以把图像编码·解码用的软件装入作为可以由计算机ex111等读取的记录媒体的任何存储媒体(CD-ROM、软盘、硬盘等)。而且,可以由带照相机的携带电话ex115来发送活动图像数据。此时的活动图像数据是由携带电话ex115具有的LSI进行了编码处理的数据。
在该内容供给系统ex100中,与上述实施例相同,对用户用照相机ex113、照相机ex116等拍摄的内容(例如,拍摄音乐实况的图像等)进行编码处理,发送给流服务器ex103,另一方面,流服务器ex103向有要求的客户发送上述内容数据流。作为客户,具有能够对上述被编码处理的数据进行解码的计算机ex111、PDAex112、照相机ex113、携带电话ex114等。由此,内容供给系统ex100在客户端接收并重放编码的数据,而且,在客户端,通过进行实时接收、解码、重放,能够成为可以实现个人广播的系统。
可以在构成该系统的各个设备的编码、解码中使用上述各个实施例所示的图像编码装置或者图像解码装置。
作为其一例,对携带电话进行说明。
图28是表示使用上述实施例中说明的图像编码方法和图像解码方法的携带电话ex115。携带电话ex115具有:用于在与基站ex110之间发送接收电波的天线ex201、CCD照相机等能够拍摄录象、静止画面的照相机ex203、显示由照相机ex203拍摄的图像以及由天线ex201接收的图像等被解码的数据的液晶显示器等的显示部ex202、由操作键ex204群所构成的本体部、用于进行声音输出的扬声器等声音输出部ex208、用于进行声音输入的话筒等声音输入部ex205、用于保存拍摄的活动图像或者静止图像的数据、接收的邮件的数据、活动图像的数据或者静止图像的数据等被编码或者被解码的数据的记录媒体ex207、用于使记录媒体ex207能够装入携带电话ex115中的插槽部ex206。记录媒体ex207是在SD卡等的塑料外壳内装入作为电可擦可写的非易失存储器的EEPROM(Electrically Erasable and ProgrammableRead Only Memory)的一种的高速存储器器件的部件。
而且,使用图29对携带电话ex115进行说明。携带电话ex115在设有显示部ex202和操作键ex204的统一控制本体部的各部分的主控制部ex311上,通过同步总线ex313来连接电源电路部ex310、操作输入控制部ex304、图像编码部ex312、照相机接口部ex303、LCD控制部ex302、图像解码部ex309、复用分离部ex308、记录重放部ex307、调制解调电路部ex306和声音处理部ex305。
电源电路部ex310在通过用户的操作而使结束通话和电源键成为接通状态时,通过从电池向各部分提供电力,来起动成为带照相机的携带电话ex115能够工作的状态。
携带电话ex115根据由CPU、ROM和RAM等构成的主控制部ex311的控制,在声音通话方式时,通过声音处理部ex305把由声音输入部ex205集音的声音信号变换为数字声音数据,由调制解调电路部ex306对其进行扩频处理,由发送接收电路部ex301进行数字模拟变换处理以及变频处理之后,经过天线ex201进行发送。而且,携带电话ex115在声音通话方式时,对由天线ex201接收的接收数据进行放大,进行变频处理和模拟数字变换处理,由调制解调电路部ex306进行逆扩频处理,通过声音处理部ex305变换为模拟声音数据后,把其通过声音输出部ex208而输出。
而且,在数据通信方式时,在发送电子邮件的情况下,通过本体部的操作键ex204的操作所输入的电子邮件的文本数据经过操作输入控制部ex304而被送给主控制部ex311。主控制部ex311由调制解调电路部ex306对文本数据进行扩频处理,由发送接收电路部ex301进行数字模拟变换处理以及变频处理,然后,经过天线ex201发送给基站ex110。
在数据通信方式时,在发送图像数据的情况下,把由照相机ex203所拍摄的图像数据经过照相机接口部ex303提供给图像编码部ex312。而且,在不发送图像数据时,把由照相机ex203拍摄的图像数据经过照相机接口部ex303和LCD控制部ex302而直接显示在显示部ex202上。
图像编码部ex312是设有本发明中说明的图像编码装置的构成,通过按照在上述实施例所示的图像编码装置中使用的编码方法来对从照相机ex203所提供的图像数据进行压缩编码,而变换为编码图像数据,把其发送给复用分离部ex308。而且,此时,携带电话ex115同时在由照相机ex203进行的拍摄过程中经过声音处理部ex305把由声音输入部ex205收集的声音作为数字的声音数据发送给复用分离部ex308。
复用分离部ex308以预定方式对从图像编码部ex312所提供的编码图像数据和由声音处理部ex305所提供的声音数据进行复用,由调制解调电路部ex306对所得到的复用数据进行扩频处理,由发送接收电路部ex301进行数字模拟变换处理和变频处理,然后,经过天线ex201进行发送。
在数据通信方式时,在接收链接到主页等上的活动图像文件的数据的情况下,由调制解调电路部ex306对经过天线ex201从基站ex110接收的接收数据进行逆扩频处理,把所得到的复用数据送给复用分离部ex308。
而且,为了对经过天线ex201所接收的复用数据进行解码,复用分离部ex308通过分离复用数据而分成为图像数据的比特流和声音数据的比特流,经过同步总线ex313而把该编码图像数据提供给图像解码部ex309,同时,把该声音数据提供给声音处理部ex305。
接着,图像解码部ex309是设有本发明中说明的图像解码装置的构成,通过用与上述实施例所示的编码方法相对应的解码方法来对图像数据的比特流进行解码,而生成重放活动图像数据,把其经过LCD控制部ex302而提供给显示部ex202,由此,显示出在与主页相链接的活动图像文件中包含的活动图像数据。此时,声音处理部ex305同时把声音数据变换为模拟声音数据,然后,把其提供给声音输出部ex208,由此,使与主页相链接的活动图像文件中包含的声音数据被重放。
而且,并不仅限于上述系统的例子,最近,由卫星、地面波所进行数字广播成为话题,如图30所示的那样,在数字广播用系统中,至少能够装入上述实施例的图像编码装置或者图像解码装置之一。具体地说,在电视台ex409中,图像信息的比特流经过电波而被传送给通信或广播卫星ex410。接收其的广播卫星ex410发射广播用电波,由设有卫星广播接收设备的家庭的天线ex406接收该电波,通过电视机(接收机)ex401或者机顶盒(STB)ex407等装置来对比特流进行解码,重放其。而且,可以在读取并解码在作为记录媒体的CD和DVD等存储媒体ex402中记录的比特流的重放装置ex403中安装上述实施例所示的图像解码装置。在此情况下,在监视器ex404上显示所重放的图像信号。而且,可以在与有线电视用的电缆ex405或者卫星/地面波广播的天线ex406上所连接的机顶盒ex407内安装图像解码装置,由电视的监视器ex408来重放。此时,可以没有机顶盒,在电视机内装入图像解码装置。而且,在具有天线ex411的车辆ex412中,从卫星ex410或者基站ex107来接收信号,能够在车辆ex412具有的导航设备ex413等的显示装置上重放活动图像。
而且,能够用上述实施例所示的图像编码装置来对图像信号进行编码,并记录到记录媒体上。作为具体例子,具有在DVD盘ex421中记录图像信号的DVD刻录机和在硬盘中记录图像信号的盘记录器等记录器ex420。而且,可以记录在SD卡ex422中。如果记录器ex420设有上述实施例所示的图像解码装置,就能重放DVD盘ex421和SD卡ex422中记录的图像信号,由监视器ex408进行显示。
而且,导航装置ex413的构成可以为:例如,在图29的构成中,除了照相机ex203和照相机接口部ex303、图像编码部ex312之外,同样具有计算机ex111和电视机(接收机)ex401。
而且,上述携带电话ex114等的终端除了具有编码器·解码器两者的发送接收型的终端之外,也可以考虑仅有编码器的发送终端、仅有解码器的接收终端这三种安装形式。
这样,能够在上述任一种设备·系统中使用上述实施例所示的活动图像编码方法或者活动图像解码方法,由此,能够得到上述实施例中说明的效果。
而且,本发明并不仅限于上述实施例,能够在不脱离本发明的范围的情况下,进行各种变形或者修正。
产业上的利用可能性
本发明所涉及的图像编码装置能够作为装在具有通信功能的个人接收机、PDA、数字广播的电视台和携带电话等中的图像编码装置而使用。
而且,本发明所涉及的图像解码装置能够作为装在具有通信功能的个人接收机、PDA、接收数字广播的STB和携带电话等中的图像解码装置而使用。