本申请是申请日为2010年1月19日,申请号为201080000843.1,发明创造名称为编码方法、解码方法、编码装置、解码装置、程序及集成电路的申请的分案申请。
具体实施方式
为了解决上述问题,引入了一种新的方法,对图像编码构造(帧/场图像编码)、以及访问单元内的各图像(即。定义为MVC规格的视图成分)的数据尺寸进行制约。本发明的新颖性特征在于,通过利用现有的H.264/MPEG-4AVC解码器分别对各视点进行解码的方法,来可靠地成功进行利用MVC规格压缩的影像流的解码。该新发明对数据尺寸、以及访问单元内的各图像(即,定义为MVC规格的视图成分)的指定的语法的值可靠地加以制约。
本发明的效果在于以低成本安装MVC规格的编码器及解码器。本发明还由于能够在各视点的场图像间利用“视点间”预测,因此在提高编码效率上作出了贡献。
本发明包括访问单元的视图成分的编码处理以及访问单元的视图成分的解码处理这两个主要的处理。本发明为了解决上述问题,将图3所示的作为片头内的语法的field_pic_flag以及bottom_field_flag的值限制为在相同访问单元内的全部视图成分间相同。
图3的field_pic_flag用于决定将与视图成分相关联的片作为场编码还是作为帧编码。例如,如果field_pic_flag的值为“1”,则表示该片属于作为1个场编码的视图成分,如果其值为“0”,则表示该片属于作为帧编码的视图成分。
另外,利用图3的bottom_field_flag,决定与作为场编码的视图成分相关联的片是顶场还是底场。在片头内是否存在bottom_field_flag,由field_pic_flag的值决定。例如,如果bottom_field_flag的值是“1”,则表示属于作为场编码的视图成分的片是底场,如果bottom_field_flag的值是“0”,则表示属于作为场编码的视图成分的片是顶场。其中,在从编码装置输出的片头的field_pic_flag中设定为“0”的情况下,该片头的bottom_field_flag省略。
本发明还限制访问单元内的各视图成分的片总数以及字节总数。
(实施方式1)
图4是本发明的实施方式1涉及的编码装置10的功能模块图。编码装置10是对视点1的图像以及视点2的图像进行编码的装置,如图4所示,具备访问单元定义部20和视图成分编码部800。视点1的图像是从第一视点拍摄对象物的隔行方式的运动图像(第一图像组)。视点2的图像是从与第一视点不同的第二视点拍摄相同对象物的隔行方式的运动图像(第二图像组)。
访问单元定义部20具备编码单位决定部30和场种类决定部40,定义由视点1及视点2的相互对应的图像构成的访问单元。在此的“对应的图像”指的是例如同时刻拍摄的图像,附加有相同的PTS(Presentation TimeStamp:呈现时间戳)。或者,在对应的图像中分别附加相同的图像顺序计数。
编码单位决定部30决定将访问单元所包括的各图像统一以场为单元或以帧为单元中的哪一种进行编码。更加具体而言,编码单位决定部30在将访问单元所包括的各图像统一以帧为单元的情况下,在作为内部变量的参照field_pic_flag中设定“0”。另一方面,在统一以场为单位的情况下,在参照field_pic_flag中设定“1”。
场种类决定部40在访问单元所包括的各图像被决定以场为单元的情况下,决定将该各图像统一为顶场或底场中的哪一个进行编码。更加具体而言,场种类决定部40在访问单元所包括的各图像被统一为顶场的情况下,在作为内部变数的参照bottom_field__flag中设定“0”。另一方面,在统一为底场的情况下,在参照bottom_field_flag中设定“1”。其中,该处理仅在参照field_pic_flag中设定为“1”的情况下存在,在参照field_pic_flag中设定为“0”的情况下,在参照bottom_field_flag中自动设定“0”。
视图成分编码部800对于由访问单元定义部20定义的每个访问单元,将由编码单位决定部30及场种类决定部40决定的形式的各图像编码。
图5是视图成分编码部800的功能模块图。视图成分编码部800具备第一及第二视图成分编码部900、904以及存储部902。其中,作为视图成分编码部800的变形例,也可以将第一及第二视图成分编码部800、900统一。
第一视图成分编码部900读出视点1的图像D001。此时读出的图像D001的形式根据符号单位决定部30及场种类决定部40的决定内容,被决定为以场为单位或以帧为单位中的哪一个,进而(在以场为单位的情况下)为顶场或底场中的哪一个。
接着,第一视图成分编码部900以片为单位对读出的图像D001进行编码。例如,第一视图成分编码部900将从图像D001中减去图像D001的预测图像、进行正交变换(DCT变换)、进行量子化并进行熵编码而得到的视点1的编码视图成分D005输出至Vout。此时,图像D001的预测图像利用视点1的图像之中的已经编码的图像来生成(画面内预测或画面间预测)。即,实施方式1中的视点1是不依赖于其他视点(在本例子中为视点2)的“Base view(基本视图)”。
另外,第一视图成分编码部900将对量子化得到的量子化系数进行逆量子化、进行逆正交变换再加上预测图像而得到的重构图像D003输出至存储部902。进而,第一视图成分编码部900将编码视图成分D005的编码所用的bottom_field_flag的值以及field_pic_flag的值输出至第二视图成分编码部904。
第二视图成分编码部904读出与视点1的图像D001相同的访问单元所包括的视点2的图像D002。此时读出的图像D002的形式根据从第一视图成分编码部900取得的bottom_field_flag的值以及field_pic_flag的值,被决定为以场为单位或以帧为单位中的哪一个,进而(在以场为单位的情况下)决定为顶场或底场中的哪一个。即,图像D001与图像D002为相同形式。
接着,第二视图成分编码部904对读出的图像D002以片为单位进行编码,将编码视图成分D007输出至Vout。具体的编码处理与第一视图成分编码部900相同,但既可以利用视点2的图像之中的已经编码的图像来生成(画面内预测或画面间预测)图像D002的预测图像,也可以利用相同的访问单元所包括的视点1的图像(即,图像D001的重构图像D003)来生成图像D002的预测图像,在这一点上与第一视图成分编码部900不同。
另外,实施方式1涉及的编码装置10也可以还具备适合性确认部815。图6是适合性确认部815的功能模块图。适合性确认部815具备片数计算部804、字节数计算部802、最大片数计算部806、比较部808、812、最大字节数计算部810和切换部814。该适合性确认部815对由视图成分编码部800执行的编码处理的结果进行解析,将该解析结果反馈至视图成分编码部800。
首先,视图成分编码部800将视点1的编码视图成分D005输出至片数计算部804、字节数计算部802以及切换部814。另外,对视点2的编码视图成分D007的处理也同样,因此在以后的说明中,以对视点1的编码视图成分D005的处理作为中心来进行说明。
片数计算部804将取得的编码视图成分D005内的片总数D011输出至比较部808。字节数计算部802将取得的编码视图成分D005内的字节总数D012输出至比较部812。
最大片数计算部806根据取得的规格信息以及等级信息输入D013,将每个视图成分的最大片数D014输出至比较部808。每个视图成分的最大片数D014的决定方法不特别限定,但例如也可以相对增多属于作为“基本视图”的视点1的图像的最大片数,并相对减少属于作为“依附视图(Dependentview)”的视点2的图像的最大片数。
最大字节数计算部810根据取得的规格信息以及等级信息输入D013,将每个视图成分的最大字节数D015输出至比较部808。每个视图成分的最大字节数D015的决定方法不特别限定,但例如也可以相对增多属于作为“基本视图”的视点1的图像的最大字节数,并相对减少属于作为“依附视图(Dependent view)”的视点2的图像的最大字节数。
比较部808对片总数D011与最大片数D014进行比较。接着,如果片总数D011为最大片数D014以下,则判断为编码处理适合规定的条件,将有效信号D016输出至切换部814。另一方面,如果片总数D011比最大片数D014大,则比较部808判断为编码处理不适合规定的条件,将控制信号D017输出至视图成分编码部800。
比较部812将字节总数D012与最大字节数D015进行比较。接着,如果字节总数D012为最大字节数D015以下,则判断为编码处理适合规定的条件,将有效信号D018输出至切换部814。另一方面,如果字节总数D012比最大字节数D015大,则比较部812判断为编码处理不适合规定的条件,将控制信号D019输出至视图成分编码部800。
视图成分编码部800在接收到了控制信号D017、D019中的任一个时,都对相同的输入图像进行重编码。在重编码处理中,为了符合规定的条件,例如利用比上次编码处理中使用的量子化步长更大的量子化步长来执行编码处理。
切换部814从比较部808、812接收到有效化信号D016、D018的双方时成为有效,将编码视图成分D005输出至Vout。在没有接受到时,切换部814不将编码视图成分D005输出至Vout。
另外,视图成分编码部800也可以在图像D001的编码全部完成的定时,输出以图像为单位的编码视图成分D005。但是,在图像D001的编码全部完成之后得知不符合规定的条件的情况下,需要以不同的条件(改变量子化步长等)对相同的图像D001进行重编码,视图成分编码部800的处理负担变大。
因此,视图成分编码部800也可以在构成图像D001的各片的编码完成的定时,输出以片为单位的编码视图成分D005。另外,字节数计算部802也可以将迄今为止编码的编码视图成分D005的字节总数D012逐一输出至比较部812。
此时,比较部812能够事先预测字节总数D012超过最大字节数D015的可能性,并对视图成分编码部800发送控制信号D019。这样,视图成分编码部800能够根据该控制信号D019,在图像D001的编码过程中增大量子化步长等,来使该编码处理符合规定的条件。
图7是表示利用MVC规格对访问单元进行编码的处理整体的流程图。如图7所示,视图成分编码部800首先对访问单元内的全部视图成分进行编码(S700)。接着,适合性确认部815通过决定作为参数的ConformanceFlag的值,来确认访问单元的适合性(S702)。ConformanceFlag用于表示全部的视图成分内的片总数以及全部的访问单元内的字节总数是否为MVC规格的典型解码器对访问单元内的视图成分的通常解码所允许的最大值以下。
接着,如果ConformanceFlag的值为“0”(即,编码处理不适合规定的条件)(S704中为是),则适合性确认部815使视图成分编码部800对访问单元的视图成分进行重编码,减少视图成分内的片总数或字节总数的某一个,以使全部的视图成分内的片总数以及全部的访问单元内的字节总数成为MVC规格的通常的解码器对访问单元内的视图成分的通常解码所允许的最大值以下(S706)。
另外,在S706中,也可以替代视图成分的重编码处理,而执行其他处理。例如,可以置换为适当编码的(即,ConformanceFlag为“1”的)编码视图成分。
具体而言,在属于“基本视图”的视图成分的ComformanceFlag为“0”的情况下,视图成分编码部800也可以输出属于“基本视图”的其他视图成分之中的、已经编码的编码视图成分。此时选择的编码视图成分优选在编码失败(违反ConformanceFlag)的视图成分的紧前(再生时间顺序)。另一方面,在属于“依附视图”的视图成分的ConformanceFlag为“0”的情况下,视图成分编码部800也可以输出属于相同访问单元所包括的“基本视图”的编码视图成分。
上述各处理(S700、S702、S704、S706)不仅对访问单元,而且对单一的视图成分也适用。在适用于单一的视图成分的情况下,对访问单元的各视图成分依次进行编码处理、适合性确认处理以及重编码处理。
图8是表示访问单元的视图成分的编码处理的流程图。首先,编码单位决定部30决定参照field_pic_flag的值(S502)。其中,参照field_pic_flag的决定方法不特别限定,可以使用以往的任何方法。
接着,场种类决定部40将参照field_pic_flag的值与“0”进行比较(S504)。如果field_pic_flag的值等于“0”(S504中为是),则场种类决定部40将参照bottom_field_flag设定为“0”(S506)。另一方面,如果field_pie_flag的值不等于“0”(S504中为否),则场种类决定部40决定参照bottom_field_flag的值(S508)。其中,参照bottom_field_flag的决定方法不特别限定,可以采用以往的任何方法。
另外,参照field_pic_flag之后用于设定相同访问单元内的片的全部的field_pic_flag的值。另外,参照bottom_field_flag之后用于设定相同访问单元内的片的全部的bottom_field_flag的值。
接着,访问单元定义部20对于相同访问单元的全部的视图成分(S510~S530)内的全部的片(S512~S528),将全部的片的片头内的field_pic_flag的值设定为与参照field_pic_flag的值相等的值(S514)。
接着,如果field_pic_flag的值等于“1”(S516中为是),则访问单元定义部20将相同访问单元内的全部的片的片头内的bottom_field_flag的值设定为参照bottom_field_flag的值(S520)。另一方面,如果field_pic_flag的值不等于“1”(S516中为否),则访问单元定义部20将相同访问单元内的全部的片的片头内的bottom_field_flag的值设定为“0”(S518)。其中,也可以省略S516以及S518,而将相同访问单元内的全部的片的片头内的bottom_field_flag的值设定为参照bottom_field_flag的值。
然后,视图成分编码部800根据field_pic_flag的值以及bottom_fieid_flag的值来执行相同访问单元内的全部片的编码(S526)。视图成分编码部800的编码处理的详情如参照图5所说明的那样,因此省略重复的说明。
图9是表示访问单元的适合性确认处理的流程图。该处理也适用于访问单元内的视图成分的适合性确认。
首先,最大片数计算部806决定一个访问单元内的各视图成分所允许的最大片数D014(S600)。该允许的最大片数D014根据与该访问单元相关联的压缩流所传递的语法要素表示的规格信息以及等级信息D013所定义的限制来计算。这种语法要素指的是例如MVC编码流的序列参数之中的profile_idc语法以及level_idc语法。
接着,最大字节计算部810决定一个访问单元内的各视图成分所允许的最大字节数D015(S602)。该允许的最大字节数D015根据与该访问单元相关联的编码影像流所传递的语法要素表示的规格信息以及等级信息D013所定义的限制来计算。
接着,适合性确认部815决定一个访问单元内的视图成分的数量(S604)。然后,适合性确认部815将参数ConformanceFlag设定为“1”(S608)。该参数ConformanceFlag用于决定访问单元内的视图成分是否满足与比该编码影像流内的指定规格值以及等级值更高的规格值以及等级值相关联并通过影像解码器正确解码的要件。
接着,对于访问单元内的各视图成分,执行以下处理(S610~S632)。首先,字节数计算部802将参照NumBytesInViewComponent初始化为“0”(S612)。另外,片数计算部804将参数NumOfSlices初始化为“0”(S614)。参照NumBytesInViewComponent是对视图成分内的字节总数D012计数的计数器。参数NumOfSlices是对视图成分内的片总数D011计数的计数器。
接着,对于与视图成分相关联的各NAL单元,执行以下处理(S616~S620)。首先,字节数计算部802将参数NumBytesInNALUnit所表示的字节总数追加至参数NumBytesInViewComponent(S618)。即,参数NumBytesInViewComponent具有等于与该视图成分相关联的参数NumBytesInNalUnit的合计的值。NAL单元定义为由H.264/MPEG-4AVC规格规定的网络抽象化层,具有编码影像数据。
接着,对于与视图成分相关联的各片,执行以下处理(S622~S626)。首先,片数计算部804逐一增加参数NumOfSlices(S624)。即,参数NumOFSlices具有等于与相同视图成分相关联的片的总数的值。
接着,比较部808、812将参数NumBytesInViewComponent以及参数NumOfSlices的值与一个视图成分内所允许的最大字节数D015以及最大片数D014进行比较(S628、S630)。
如果NumBytesInViewComponent的值大于允许的最大字节数D015(S628中为是),则比较部812将参数ConformanceFlag设定为“0”(S634)。另外,如果NumOfSlices的值大于允许的最大片数D014(S630中为是),比较部808将参数ConformanceFlag设定为“0”(S634)。
参数ConformanceFlag被设定为“0”,表示访问单元内的视图成分有可能无法与比其编码影像流内的指定规格值以及等级值更高的规格值以及等级值相关联并由影像解码器正确解码。
图10是本发明的实施方式1涉及的解码装置50的功能模块图。解码装置50如图10所示,具备视图成分分配部1000、第一及第二片头解析部1002、1004、比较部1006、切换部1010、第一及第二A型视图成分解码部1008、1014、B型视图成分解码部1016和存储部1012。
视图成分分配部1000读出编码访问单元D021,分配为第一及第二这两个视图成分D023、D022。第一视图成分D023是属于在正确重构该图像时不依赖于第二视图成分D022的视点1(基本视图)的图像。另一方面,第二视图成分D022是属于在正确重构该图像时依赖于第一视图成分D023的视点2(依附视图)的图像。
第一片头解析部1002读出第一视图成分D023,将bottom_field_flag以及field_pic_flag的信息D025输出至比较部1006。第二片头解析部1004读出第二视图成分D022,将bottom_field_flag以及field_pic_flag的信息D026输出至比较部1006。
比较部1006将来自第一片头解析部1002的bottom_field_flag以及field_pic_flag的信息D025值与来自第二片头解析部1004的bottom_field_flag以及field_pic_flag的信息D026进行比较,将包括比较结果的控制信号D027输出至切换部1010。
该比较部1006作为以下判断部工作,该判断部判断在相同访问单元内是否取得属于视点1的第一视图成分D023与属于视点2的第二视图成分D022的同步。即,如果第一及第二视图成分D023、D022的bottom_field_flag以及field_pic_flag的值一致,则比较部1006判断为取得两者的同步。另一方面,如果这些值的至少一方不一致,则比较部1006判断为未取得同步。
其中判断是否取得了同步的参数不限定于上述例子。例如,也可以在第一及第二视图成分D023、D022所保持的PTS(呈现时间戳)或DTS(解码时间戳)一致的情况下判断为取得同步,在不一致的情况下判断为未取得同步。
第一A型视图成分解码部1008读出第一视图成分D023,并输出视点1的图像D031。另外,第一A型视图成分解码部1008将视点1的重构的图像D031输出至存储部1012。具体而言,第一A型视图成分解码部1008输出对第一视图成分D023进行墒解码、逆量子化、逆正交变换并加上预测图像而重构的图像D031。在此,第一视图成分D023由于属于“基本视图”,因此预测图像利用视点1的图像之中已经解码的图像来生成(画面内预测或画面间预测)。
切换部1010根据从比较部1006取得的控制信号D027,将第二视图成分D022输出至第二A型视图成分解码部1014或B型视图成分解码部1016的某一个。具体而言,在取得第一及第二视图成分D023、D022的同步的情况下,切换部1010将第二视图成分D022输出至第二A型视图成分解码部1014。另一方面,在未取得两者的同步的情况下,将第二视图成分D022输出至B型视图成分解码部1016。
第二A型视图成分解码器1014如果接收到第二视图成分D022,则利用从存储部1012读出的视点1的重构的图像D031,对第二视图成分D022进行解码,并输出视点2的图像D034。具体的编码处理与第一A型视图成分解码部1008相同,但既可以利用视点2的图像之中已经解码的图像来生成(画面内预测或画面间预测)预测图像,也可以利用相同访问单元所包括的视点1的图像(即,图像D031)来生成预测图像(视点间预测),在这一点上与第一A型视图成分解码部1008不同。
B型视图成分解码部1016如果接收到第二视图成分D022,则输出视点2的图像D035。由B型视图成分解码部1016执行解码处理的情况,是未取得第一及第二视图成分D023、D022的同步的情况,因此考虑为至少无法进行使用“视点间预测”的解码处理。因此,B型视图成分解码部1016也可以在第二视图成分D022是利用“视点间预测”来编码的情况下,放弃解码处理,将存储在存储部1012中的图像D031作为视点2的图像D035输出,在利用“图像内预测”或“图像间预测”来编码的情况下,执行通常的解码处理。或者,也可以无论预测的种类如何,都将存储部1012中存储的图像D031作为视点2的图像D035输出。
另外,本发明的一个方式涉及的解码装置之中也可以不具有B型视图成分解码部1016。
图11是解码装置50的变形例即解码装置60的功能模块图。解码装置60具备场视图成分分配部1100、第一及第二场视图成分解码部1102、1104和存储部1106。
场视图成分分配部1100读出编码访问单元D041,分配为第一及第二视图成分D044、D042。然后,场视图成分分配部1100将第一视图成分D044输出至第一场视图成分解码部1102,将第二视图成分D042输出至第二场视图成分解码部1104。
其中,第一视图成分D044是属于在正确重构其图像时不依赖于第二视图成分D042的视点1(基本视图)的图像。另一方面,第二视图成分D046是属于在正确重构其图像时依赖于第一视图成分D044的视点2(依附视图)的图像。另外,视图成分D042、D044也可以是单一的场图像。
第一场视图成分解码部1102对取得的属于视点1的以场为单位的第一视图成分D044进行解码,输出视点1的图像D051。另外,视点1的重构的图像D051也存放在存储部1106中。存储部1106具备存放从第一场视图成分解码部1102输出的视点1的重构的图像D051的存储缓冲器。
第二场视图成分解码部1104利用从存储部1106取得的视点1的重构的图像D051,对取得的属于视点2的以场为单位的第二视图成分D042进行解码,输出视点2的重构的图像D054。
图12是表示访问单元的视图成分的解码处理的流程图。首先,比较部1006将参数SpecialDecodingFlag设定为“0”(S400)。该SpecialDecodingFlag用于决定在访问单元内的全部的第二视图成分D022的解码处理中,是使用由MVC规格规定的通常的解码处理,还是使用与访问单元内的某些视图成分的解码不同的解码处理。即,相当于图10所示的控制信号D027。
如图12所示,第一片头解析部1002根据属于“基本视图”的第一视图成分D023的一个片的片头,决定参照field_pic_flag的值(S402)。该参照field_pic_flag的值之后用于与其他视图成分的片头内的field_pic_flag的值进行比较。
接着,如果field_pic_flag的值不等于“0”(S404中为否),则第一片头解析部1002根据第一视图成分D023的一个片的片头,决定参照bottom_pic_flag的值(S408)。另一方面,如果field_pic_flag的值等于“0”(S404中为是),则第一片头解析部1002将参照bottom_pic_flag的值设定为“0”(S406)。该参照bottom_pic_flag的值之后用于与其他视图成分的片头内的bottom_pic_flag的值进行比较。
接着,对于属于相同访问单元内的“依附视点”的各视图成分(S410~S436)的各片(S412~S434),执行以下处理。首先,第二片头解析部1004根据该片的片头决定field_pic_flag的值(S414)。如果field_pic_flag的值不等于“0”(S416中为否),则第二片头解析部1004根据该片的片头决定bottom_pic_flag的值(S420)。另一方面,如果field_pic_flag的值等于“0”(S416中为是),则第二片头解析部1004将bottom_field_flag的值设定为“0”(S418)。
接着,比较部1006将从第二片头解析部1004取得的field_pic_flag以及bottom_field_flag的值与从第一片头解析部1002取得的参照field_pic_flag以及参照bottom_field_flag的值进行比较(S422、S426)。
如果field_pic_flag的值与参照field_pic_flag的值不相等(S424中为否),则比较部1006在参数SpecialDecodingFlag中设定“1”(S432)。同样,如果bottom_field_flag的值与参照bottom_field_flag的值不相等(S428中为否),则比较部1006在参数SpecialDecodingFlag中设定“1”(S432)。然后,比较部1006将参数SpecialDecodingFlag的值(即,控制信号D027)输出至切换部1010。
最后,切换部1010将参数SpecialDecodingFlag与“1”进行比较(S438)。如果该参数SpecialDecodingFlag不等于“1”(S438中为否),则访问单元内的全部视图成分通过由MVC规格规定的解码处理进行解码(S440)。另一方面,如果SpecialDecodingFlag等于“1”(S438中为是),则访问单元内的属于“依附视图”的视图成分通过与上述不同的解码处理进行解码(S442)。
作为不同的解码处理的一个例子,由影像解码器仅对访问单元内的一个视图成分正确重构。
另外,在实施方式1中,示出了对由2个不同的视点1、2拍摄的运动图像进行编码的例子,但视点的数量不限于2个。即,本发明也能够在对由2个以上的不同视点拍摄的运动图像进行编码时得以利用。
(实施方式2)
通过将用于实现上述实施方式所示的图像编码方法或图像解码方法的结构的程序记录在存储媒体上,能够在独立的计算机系统中简单地实施上述实施方式所示的处理。存储媒体可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等,只要能够记录程序即可。
进而,在此说明上述实施方式所示的图像编码方法以及图像解码方法的应用例及使用其的系统。
图13是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区域分割为期望的大小,在各小区内分别设置了作为固定无线站的基站ex106~ex110。
该内容供给系统ex100为:在互联网ex101上,经由互联网服务提供者ex102及电话网ex104、以及基站ex106~ex110,连接着计算机ex111、PDA(Personal Digital Assistant:个人数码助理)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各设备。
但是,内容供给系统ex100不限于图13那样的结构,也可以对某些要素进行组合连接。另外,也可以不经由作为固定无线站的基站ex106~ex110,而各设备直接与电话网ex104连接。另外,也可以各设备经由近距离无线等直接相互连接。
摄像机ex113是数字视频摄像机等能够进行运动画面摄影的设备,照相机ex116是数码相机等能够进行静止画面摄影和运动画面摄影的设备。另外,便携式电话ex114是GSM(Global System for Mobile Communication:全球移动通信系统)方式、CDMA(Code Division Multiple Access:码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access:宽带码分多址)方式或LTE(Long Term Evolution:长期演进)方式、HSPA(HighSpeed Packet Access:高速包访问)的便携式电话机,或者PHS(PersonalHandyphone System:个人手持电话系统)等,是哪一种都可以。
在内容供给系统ex100中,摄像机ex113等通过基站ex109、电话网ex104与流服务器ex103连接,由此能够进行现场分发等。在现场分发中,用户对于利用摄像机ex113拍摄的内容(例如,音乐现场的影像等),进行由上述实施方式说明的编码处理,并发送至流服务器ex103。另一方面,流服务器ex103对于有请求的客户端,将发送的内容进行流分发。作为客户端,有能够对上述编码处理的数据进行解码的、计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、游戏机ex115等。在接收了被分发的数据的各设备中,对接收的数据进行解码处理并再生。
另外,拍摄的数据的编码处理可以由摄像机ex113进行,也可以由进行数据的发送处理的流服务器ex103进行,也可以相互分担进行。同样,分发的数据的解码处理可以由客户端进行,也可以由流服务器ex103进行,也可以相互分担进行。另外,不限于摄像机ex113,也可以将照相机ex116拍摄的静止图像及/或运动图像数据经由计算机ex111发送至流服务器ex103。此时的编码处理可以由照相机ex116、计算机ex111、流服务器ex103的任一个进行,也可以相互分担进行。
另外,这些编码处理以及解码处理一般在计算机ex111以及各设备所具有的LSI(大规模集成电路)ex500中进行处理。LSIex500可以构成为包括单芯片或多芯片。另外,也可以将图像编码用以及图像解码用的软件装入能够由计算机ex111等读取的某种记录媒体(CD-ROM、软盘、硬盘等),利用该软件来进行编码处理以及解码处理。进而,在便携式电话ex114带照相机的情况下,也可以发送由该照相机取得的运动图像数据。此时的运动图像数据是由便携式电话ex114所具有的LSIex500进行了编码处理的数据。
另外,流服务器ex103也可以是多个服务器或多个计算机,对数据分散进行处理或记录并分发。
如上所述,在内容供给系统ex100中,客户端能够接收被编码的数据并进行再生。在像这样的内容供给系统ex100中,客户端能够实时接收由用户发送的信息并进行解码、再生,即使是没有特别的权利或设备的用户,也能够实现个人广播。
在构成该内容供给系统的各设备的编码、解码中,使用上述实施方式所示的图像编码方法或图像解码方法即可。
作为其中的一个例子,说明便携式电话ex114。
图14是表示使用了上述实施方式所说明的图像编码方法和图像解码方法的便携式电话ex114的图。便携式电话ex114具有:用于在与基站ex110之间收发电波的天线ex601;CCD照相机等能够拍摄影像和静止图像的照相机部ex603;对于将照相机部ex603所拍摄的影像和天线ex601所接收的影像等解码的数据进行显示的液晶显示器等显示部ex602;由操作键ex604组构成的主体部;用于输出声音的扬声器等声音输出部ex608;用于输入声音的麦克风等声音输入部ex605;用于保存所拍摄的运动图像或静止图像的数据、所接收的邮件的数据、运动图像的数据或静止图像的数据等,被编码的数据或被解码的数据的记录媒体ex607;用于在便携式电话ex114上能够安装记录媒体ex607的卡槽部ex606。记录媒体ex607是SD卡等在塑料壳体内存放了作为能够电改写及删除的非易失性存储器的EEPROM的一种即闪存元件的结构。
进而,利用图15说明便携式电话ex114。便携式电话ex114为:在对具备显示部ex602及操作键ex604的主体部的各部进行统一控制的主控制部ex711上,经由同步总线ex713,相互连接着电源电路部ex710、操作输入控制部ex704、图像编码部ex712、照相机接口部ex703、LCD(液晶显示器)控制部ex702、图像解码部ex709、复用分离部ex708、记录再生部ex707、调制解调电路部ex706以及声音处理部ex705。
电源电路部ex710在结束通话以及电源键通过用户的操作被设为接通状态时,从电池组对各部供给电力,由此使带照相机的数字便携式电话ex114启动为能够动作的状态。
便携式电话ex114根据由CPU、ROM及RAM等构成的主控制部ex711的控制,在声音通话模式时将声音输入部ex605所收集的声音信号通过声音处理部ex705变换为数字声音数据,并通过调制解调电路部ex706对其进行频谱扩散处理,通过收发电路部ex701施加数字模拟变换处理以及频率变换处理,之后经由天线ex601发送。另外,便携式电话ex114在声音通话模式时将天线ex601所接收的接收数据放大并施加频率变换处理以及模拟数字变换处理,通过调制解调电路部ex706进行频谱逆扩散处理,通过声音处理部ex705变换为模拟声音数据,之后经由声音输出部ex608将其输出。
进而,在数据通信模式时发送电子邮件的情况下,通过主体部的操作键ex604的操作而输入的电子邮件的文本数据经由操作输入控制部ex704被发送至主控制部ex711。主控制部ex711通过调制解调电路部ex706对文本数据进行频谱扩散处理,并通过收发电路部ex701施加数字模拟变换处理以及频率变换处理,之后经由天线ex601发送至基站ex110。
在数字通信模式时发送图像数据的情况下,将照相机部ex603所拍摄的图像数据经由照相机接口部ex703提供给图像编码部ex712。另外,在不发送图像数据的情况下,也可以将照相机部ex603所拍摄的图像数据经由照相机接口部ex703及LCD控制部ex702直接显示在显示部ex602上。
图像编码部ex712构成为具备本发明所说明的图像编码装置,通过上述实施方式所示的图像编码装置中使用的编码方法,对从照相机部ex603提供的图像数据进行压缩编码,由此变换为编码图像数据,并将其发送至复用分离部ex708。另外,与此同时,便携式电话ex114将照相机部ex603拍摄过程中由声音输入部ex605收集的声音,经由声音处理部ex705作为数字的声音数据发送至复用分离部ex708。
复用分离部ex708以规定的方式对从图像编码部ex712供给的编码图像数据和从声音处理部ex705供给的声音数据进行复用,将作为该结果得到的复用数据通过调制解调电路部ex706进行频谱扩散处理,并通过收发电路部ex701施加数字模拟变换处理以及频率变换处理,之后经由天线ex601发送。
在数据通信模式时接收与主页等进行了链接的运动图像文件的数据的情况下,通过调制解调电路部ex706对经由天线ex601从基站ex110接收的接收数据进行频谱逆扩散处理,将作为其结果得到的复用数据发送至复用分离部ex708。
另外,在对经由天线ex601接收的复用数据进行解码之中,复用分离部ex708将复用数据通过分离而分为图像数据的比特流和声音数据的比特流,经由同步总线ex713,将该编码图像数据提供给图像解码部ex709,并且将该声音数据提供给声音处理部ex705。
接着,图像解码部ex709是具有本申请说明的图像解码装置的结构,按照上述实施方式所示的与编码方法对应的解码方法,对图像数据的比特流进行解码,由此生成再生运动图像数据,将其经由LCD控制部ex702提供给显示部ex602,由此,显示例如与主页进行了链接的运动图像文件所包括的运动图像数据。与此同时,声音处理部ex705将声音数据变换为模拟声音数据之后,将其提供给声音输出部ex608,由此,再生例如与主页进行了链接的运动图像文件所包括的声音数据。
另外,不限于上述系统的例子,最近,通过卫星、地面波的数字广播受到瞩目,在图16所示的数字广播用系统中,也可以装入上述实施方式中的至少图像编码装置或图像解码装置。具体而言,在广播站ex201中,对声音数据、影像数据或对这些数据进行了复用的比特流被通过电波进行通信或传送至广播卫星ex202。接收了上述数据的广播卫星ex202发送广播用的电波,具有卫星广播接收设备的家庭的天线ex204接收该电波,电视机(接收机)ex300或机顶盒(STB)ex217等装置对比特流进行解码并将其再生。另外,在将作为记录媒体的CD及DVD等记录媒体ex215、ex216中记录的对图像数据和声音数据进行了复用的比特流进行读取并解码的读出器/记录器ex218中,也可以安装上述实施方式所示的图像解码装置。此时,再生的影像信号显示在监视器ex219上。另外,还可以想到以下结构,即:在与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连接的机顶盒ex217内安装图像解码装置,通过电视机的监视器ex219对其进行再生。此时也可以不在机顶盒内,而在电视机内装入图像解码装置。另外,也可以通过具有天线ex205的车辆ex210,从卫星ex202或基站等接收信号,在车辆ex210所具有的导航设备ex211等的显示装置上再生运动图像。
另外,对于将DVD、BD等记录媒体ex215中记录的声音数据、影像数据或对这些数据进行了复用的编码比特流读取并解码的、或者在记录媒体ex215中将声音数据、影像数据或将这些数据编码并作为复用数据记录的读出器/记录器ex218中,也可以安装上述实施方式所示的图像解码装置或图像编码装置。此时,再生的影像信号显示在监视器ex219上。另外,通过记录了编码比特流的记录媒体ex215,其他装置及系统等能够再生影像信号。例如,其他再生装置ex212能够利用复制了编码比特流的记录媒体ex214,在监视器ex213上再生影像信号。
另外,也可以在与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连接的机顶盒ex217内安装图像解码装置,对其通过电视机的监视器ex219进行显示。此时也可以不在机顶盒内,而在电视机内装入图像解码装置。
图17是表示利用了上述实施方式说明的图像解码方法及图像编码方法的电视机(接收机)ex300的图。电视机ex300具备:调谐器ex301,经由接收上述广播的天线ex204或线缆ex203等,取得或输出影像信息的比特流;调制/解调部ex302,对接收的编码数据进行解调,或者,进行调制以便将生成的编码数据发送至外部;以及复用/分离部ex303,将解调的影像数据和声音数据分离,或者,对编码的影像数据和声音数据进行复用。另外,电视机ex300具有:信号处理部ex306,具有对声音数据、影像数据分别进行解码或者对各自的信息进行编码的声音信号处理部ex304和影像信号处理部ex305;以及输出部ex309,具有对解码的声音信号进行输出的扬声器ex307和对解码的影像信号进行显示的显示器等显示部ex308。进而,电视机ex300具有接口部ex317,该接口部ex317具有接受用户操作的输入的操作输入部ex312。进而,电视机ex300具有对各部统一进行控制的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317除了操作输入部ex312以外,还可以具有与读出器/记录器ex218等外部设备连接的桥式机构ex313、用于能够安装SD卡等记录媒体ex216的卡槽部ex314、用于与硬盘等外部记录媒体连接的驱动器ex315、与电话网连接的调制解调器ex316等。其中,记录媒体ex216能够通过存放的非易失性/易失性的半导体存储器元件来电记录信息。电视机ex300的各部通过同步总线相互连接。
首先,说明电视机ex300对于通过天线ex204等从外部取得的数据进行解码并再生的结构。电视机ex300接受来自遥控器ex220等的用户操作,根据具有CPU等的控制部ex310的控制,对于通过调制/解调器ex302进行了解调的影像数据、声音数据,通过复用/分离部ex303进行分离。进而,电视机ex300将分离的声音数据通过声音信号处理部ex304进行解码,并将分离的影像数据通过影像信号处理部ex305利用上述实施方式说明的解码方法进行解码。解码的声音信号、影像信号分别从输出部ex309向外部输出。在输出时,为了使声音信号与影像信号同步再生,在缓冲器ex318、ex319等中暂时蓄积这些信号即可。另外,电视机ex300也可以不从广播等,而从磁/光盘、SD卡等记录媒体ex215、ex216中读出被编码的编码比特流。接着,说明电视机ex300对声音信号及影像信号进行编码、并发送至外部或写入记录媒体等的结构。电视机ex300接受来自遥控器ex220等的用户操作,根据控制部ex310的控制,通过声音信号处理部ex304对声音信号进行编码,通过影像信号处理部ex305对影像信号利用上述实施方式说明的编码方法进行编码。编码的声音信号、影像信号由复用/分离部ex303进行复用,并输出至外部。在复用时,为了使声音信号与影像信号同步,在在缓冲器ex320、ex321等中暂时蓄积这些信号即可。另外,缓冲器ex318~ex321可以如图所示具有多个,也可以构成为共用一个以上的缓冲器。进而,除了图示以外,例如也可以在调制/解调部ex302与复用/分离部ex303之间等,作为防止系统的溢出以及下溢的缓冲部件,而在缓冲器内蓄积数据。
另外,电视机ex300除了从广播以及记录媒体等取得声音数据以及影像数据以外,还可以具备接收麦克风以及摄像机的AV输入的结构,对于从这些取得的数据进行编码处理。另外,在此,电视机ex300说明了能够进行上述编码处理、复用以及外部输出的结构,但也可以构成为不能进行上述全部的处理,而只能进行上述接收、解码处理以及外部输出之中的某一种。
另外,在通过读出器/记录器ex218从记录媒体中将编码比特流读出或将其写入的情况下,上述解码处理或编码处理既可以由电视机ex300以及读出器/记录器ex218之中的某一个进行,也可以由电视机ex300和读出器/记录器ex218相互分担进行。
作为一个例子,图18表示在从光盘进行数据的读入或写入时的信息再生/记录部ex400的结构。信息再生/记录部ex400具有以上说明的要素ex401~ex407。光头ex401对作为光盘的记录媒体ex215的记录面照射激光点来写入信息,检测来自记录媒体ex215的记录面的反射光来读入信息。调制记录部ex402对光头ex401中内置的半导体激光器进行电驱动,按照记录数据来进行激光的调制。再生解调部ex403对于通过光头401中内置的光检测器对来自记录面的反射光进行电检测而得到的再生信号进行放大,对记录媒体ex215中记录的信号成分进行分离并解调,来再生必要的信息。缓冲器ex404暂时保持用于在记录媒体ex215中进行记录的信号以及从记录媒体ex215中再生的信息。盘马达ex405使记录媒体ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动,一边使光头ex401移动至规定的信息轨,进行激光点的追随处理。系统控制部ex407进行信息再生/记录部ex400整体的控制。系统控制部ex407利用保持在缓冲器ex404中的各种信息或根据需要进行新的信息的生成及追加,并且一边使调制记录部ex402、再生解调部ex403及伺服控制部ex406协调动作,一边通过光头ex401进行信息的记录再生,由此实现上述读出以及写入的处理。系统控制部407例如由微处理器构成,执行读出写入的程序,由此执行这些处理。
以上说明了光头ex401照射激光点,但也可以构成为利用接近场光来进行密度更高的记录。
图19表示作为光盘的记录媒体ex215的示意图。在记录媒体ex215的记录面上,引导槽(凹槽)形成为螺旋状,在信息轨ex230中,预先通过凹槽的形状变化,记录了表示盘上的绝对位置的地址信息。该地址信息包括用于确定作为记录数据的单位的记录块ex231的位置的信息,进行记录及再生的装置对信息轨ex230进行再生,读取地址信息,由此能够确定记录块。另外,记录媒体ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。用于记录用户数据的区域是数据记录区域ex233,配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234用于除了用户数据的记录以外的指定用途。信息再生/记录部ex400对于这种记录媒体ex215的数据记录区域ex233,进行编码的声音数据、影像数据、或对这些数据进行了复用的编码数据的写入。
以上,以1层的DVD、BD等光盘为例进行了说明,但不限于此,也可以是多层构造,或者是能够在表面以外进行记录的光盘。另外,也可以是在盘的相同位置利用各种波长不同的颜色的光来记录信息、或从各种角度记录不同信息的层等,进行多维的记录/再生的构造的光盘。
另外,在数字广播用系统ex200中,也可以通过具有天线ex205的车辆ex210从卫星ex202等接收数据,在车辆ex210所具有的导航设备ex211等的显示装置上再生运动图像。另外,导航设备ex211的结构例如可以想到构成为在图17所示的结构之中追加GPS接收部,在计算机ex111以及便携式电话ex114等中也可以想到相同的情况。另外,上述便携式电话ex114等终端与电视机ex300相同,除了具有编码器及解码器双方的收发型终端之外,还可以考虑仅具有编码器的发送终端、仅具有解码器的接收终端这三种安装形式。
像这样,能够将上述实施方式所示的图像编码方法或图像解码方法用于上述任何设备以及系统,由此,能够得到上述实施方式说明的效果。
另外,本发明不限定于上述实施方式,在不脱离本发明的范围的条件下能够进行各种变形或改进。
(实施方式3)
上述各实施方式所示的图像编码方法以及装置、图像解码方法以及装置一般通过作为集成电路的LSI来实现。作为一个例子,图20表示单芯片化的LSIex500的结构。LSIex500具备以下说明的要素ex501~ex509,各要素经由总线ex510连接。电源电路部ex505在电源为接通的状态下对各部供给电力,由此启动为能够动作的状态。
例如在进行编码处理的情况下,LSIex500根据具有CPUex502、存储器控制器ex503以及流控制器ex504等的控制器ex501的控制,通过AVI/Oex509从麦克风ex117以及摄像机ex113等接受AV信号的输入。输入的AV信号暂时蓄积在SDRAM等外部的存储器ex511中。根据控制部ex501的控制,蓄积的数据按照处理量以及处理速度适当分为多次等,被发送给信号处理部ex507。信号处理部ex507进行声音信号的编码以及/或影像信号的编码。在此,影像信号的编码处理是上述实施方式所说明的编码处理。在信号处理部ex507中,根据情况进一步进行对编码的声音数据和编码的影像数据进行复用等的处理,从流I/Oex506向外部输出。该输出的比特流向基站ex107发送,或写入记录媒体ex215。另外,在复用时为了同步,暂时在缓冲器ex508中蓄积数据即可。
另外,例如在进行解码处理的情况下,LSIex500根据控制部ex501的控制,将通过流I/Oex506经由基站ex107得到的编码数据或从记录媒体ex215读出而得到的编码数据暂时蓄积在存储器ex511等中。根据控制部ex501的控制,蓄积的数据按照处理量以及处理速度被适当分为多次等,发送至信号处理部ex507。信号处理部ex507进行声音数据的解码以及/或影像数据的解码。在此,影像信号的解码处理是上述实施方式说明的解码处理。进而,根据情况,为了能够对解码的声音信号和解码的影像信号进行同步再生,将各自的信号暂时蓄积在缓冲器ex508中即可。解码的输出信号适当经由存储器ex511等,并且从便携式电话ex114、游戏机ex115以及电视机ex300等的各输出部输出。
另外,上述说明了存储器ex511作为LSIex500的外部的结构的情况,单也可以构成为包括在LSIex500的内部。缓冲器ex508也不限于一个,也可以具备多个缓冲器。另外,LSIex500既可以单芯片化,也可以多芯片化。
另外,在此设为LSI,但根据集成度的不同,也有时成为IC、系统LSI、超大规模集成电路、特大规模集成电路。
另外,集成电路化的方法不限于LSI,也可以通过专用电路或通用处理器来实现。也可以在LSI制造后,利用能够编程的FPGA、或能够重构LSI内部的电路单元的连接以及设定的可重构处理器。
进而,如果根据半导体技术的进步或衍生的其他技术,出现了替换LSI的集成电路化的技术,当然也可以使用该技术来进行功能模块的集成化。存在生物技术的应用等的可能性。
以上,根据实施方式说明了本发明涉及的编码方法、编码装置、解码方法以及解码装置,但本发明不限定于这些实施方式。在不脱离本发明的主旨的范围内,本领域技术人员想到的对该实施方式施加的各种变形而成的实施方式、以及组合不同的实施方式中的构成要素以及步骤等而架构的其他方式,都包括在本发明的范围内。
工业可利用性
本发明有效地利用于编码方法以及解码方法。
符号说明
10编码装置
20访问单元定义部
30编码单位决定部
40场种类决定部
50、60解码装置
200、202模块
800视图成分编码部
802字节数计算部
804片数计算部
806最大片数计算部
808、812、1006比较部
810最大字节数计算部
814、1010切换部
900第一视图成分编码部
902、1006、1012、1106存储部
904第二视图成分编码部
1000视图成分分配部
1002第一片头解析部
1004第二片头解析部
1008第一A型视图成分解码部
1014第二A型视图成分解码部
1016 B型视图成分解码部
1100场视图成分分配部
1102第一场视图成分解码部
1104第二场视图成分解码部
ex100内容供给系统
ex101互联网
ex102互联网服务提供者
ex103流服务器
ex104电话网
ex106、ex107、ex108、ex109、ex110基站
ex111计算机
ex112 PDA
ex113、ex116摄像机(照相机)
ex114带照相机的数字便携式电话(便携式电话)
ex115游戏机
ex117麦克风
ex200数字广播用系统
ex201广播站
ex202广播卫星(卫星)
ex203线缆
ex204、ex205、ex601天线
ex210车
ex211导航设备(导航仪)
ex212再生装置
ex213、ex219监视器
ex214、ex215、ex216、ex607记录媒体
ex217机顶盒(STB)
ex218读出器/记录器
ex220遥控器
ex230信息轨
ex231记录块
ex232内周区域
ex233数据记录区域
ex234外周区域
ex300电视机
ex301调谐器
ex302调制/解调部
ex303复用/分离部
ex304声音信号处理部
ex305影像信号处理部
ex306、ex507信号处理部
ex307扬声器
ex308、ex602显示部
ex309输出部
ex310、ex501控制部
ex311、ex505、ex710电源电路部
ex312操作输入部
x313桥式机构
ex314、ex606卡槽部
ex315驱动器
ex316调制解调器
ex317接口部
ex318、ex319、ex320、ex321、ex404、ex508缓冲器
ex400信息再生/记录部
ex401光头
ex402调制记录部
ex403再生解调部
ex405盘马达
ex406伺服控制部
ex407系统控制部
ex500 LSI
ex502 CPU
ex503存储器控制部
ex504流控制部
ex506流I/O
ex509 AV I/O
ex510总线
ex603照相机部
ex604操作键
ex605声音输入部
ex608声音输出部
ex701收发电路部
ex702 LCD控制部
ex703照相机接口部(照相机I/F部)
ex704操作输入控制部
ex705声音处理部
ex706调制解调电路部
ex707记录再生部
ex708复用分离部
ex709图像解码部
ex711主控制部
ex712图像编码部
ex713同步总线