CN102687510A - 图像解码装置、图像编码装置、图像解码方法、图像编码方法、程序及集成电路 - Google Patents

图像解码装置、图像编码装置、图像解码方法、图像编码方法、程序及集成电路 Download PDF

Info

Publication number
CN102687510A
CN102687510A CN2010800278727A CN201080027872A CN102687510A CN 102687510 A CN102687510 A CN 102687510A CN 2010800278727 A CN2010800278727 A CN 2010800278727A CN 201080027872 A CN201080027872 A CN 201080027872A CN 102687510 A CN102687510 A CN 102687510A
Authority
CN
China
Prior art keywords
mentioned
piece
information
peripheral
storage part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800278727A
Other languages
English (en)
Other versions
CN102687510B (zh
Inventor
田中健
吉松直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102687510A publication Critical patent/CN102687510A/zh
Application granted granted Critical
Publication of CN102687510B publication Critical patent/CN102687510B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供图像解码装置以及图像编码装置,能够一边利用跨片边界的空间依赖一边顺利地执行并行处理。图像解码装置具备:对第一片的块进行解码的第一解码部(801);对第二片的块进行解码的第二解码部(802);以及第一存储部(811),用于存储片间周边信息,该片间周边信息是通过第一片的块之中与第二片相邻的边界块被解码而生成的信息,而且是第二片的块之中与边界块相邻的片间周边块被解码时参照的信息,第一解码部(801)通过对边界块进行解码而生成片间周边信息,将所生成的片间周边信息保存至第一存储部(811),第二解码部(802)参照所保存的片间周边信息对片间周边块进行解码。

Description

图像解码装置、图像编码装置、图像解码方法、图像编码方法、程序及集成电路
技术领域
本发明涉及对被编码的图像进行解码的图像解码装置以及对图像进行编码的图像编码装置,特别涉及并列执行解码的图像解码装置以及并列执行编码的图像编码装置。
背景技术
对运动图像进行编码的图像编码装置,将构成运动图像的各图片分割为由16像素×16像素构成的宏块,对每个宏块进行编码。然后,图像编码装置生成表示所编码的运动图像的编码流。图像解码装置以宏块单位将该编码流解码,再生原运动图像的各图片。
作为现有的一种编码方式,存在ITU-T(国际电信联盟远程通信标准化组织)的H.264标准(例如参照非专利文献1以及非专利文献2)。
基于H.264标准的图像编码装置以及图像解码装置,利用空间依赖即空间的类似性。由此,提高压缩率。
此外,在H.264标准中,采用可变长度编码。在可变长度编码中,各宏块被可变长度地编码。然后,图像解码装置必须从各图片单位的流的前端起按顺序进行解码。因此,基于可变长度编码的图像编码装置以及图像解码装置,不能够通过并列处理而使处理高速化,必须通过动作频率的提高来使处理高速化。
因此,在H.264标准中,为了实现并列处理,而导入片这种概念。例如,如图54A所示那样,图片被分割为称为片的单位。然后,如图54B所示那样,在片的前端配置用于检测开始位置的开始代码。由此,图像编码装置以及图像解码装置能够以片单位执行并行处理。
然而,在图片被分割为片的情况下,图像解码装置不能够跨片的边界而参照解码信息。因此,以往的图像编码装置以及图像解码装置,不能利用图片内数据的相关,而导致压缩率降低,结果导致比特率增大、画质恶化。
另一方面,在作为下一代图像编码标准而提出的技术中,具有解决这种问题的技术(例如存在非专利文献3)。
如图55A所示那样,在非专利文献3中,图片被分割为能够从其它片进行参照的片(在非专利文献3中称为熵片)。该片能够越过片边界而对其它片内部进行参照。此外,在该片前端进行可变长度编码的初始化。此处的可变长度编码用作霍夫曼编码、运转周期编码以及算术编码等可变长度地进行压缩的编码的总称。图像解码装置通过使用该能够参照的片,由此能够根据相邻的片的解码信息,进行可变长度编码表的切换或者算术编码的语境信息的更新。
通过该能够参照的片的导入,能够进行并列处理,压缩效率提高。
并且,在非专利文献3中,如图55B所示那样,熵片内部的扫描顺序从以往的光栅扫描变更为之字形扫描。通过之字形扫描,执行处理的单元即PE(Processing Element)高效地执行并列处理。
即,通过之字形扫描,如图55C所示那样,当PE0完成片0的MB(宏块,MacroBlock)8的处理时,PE1能够开始片1的MB0的处理。在以往的光栅扫描中,沿着横向进行解码处理,因此基于PE1的MB0的处理的开始较大地延迟,效率降低。
此外,如图55C所示那样,执行并列处理的单元(PE),以宏块单位同步地执行处理。
此外,有时将图像编码装置或者图像解码装置参照片0而对片1进行编码或者解码的情况,简单地表现为片1参照片0。此外,有时将图像编码装置或者图像解码装置参照MB0而对MB1进行编码或者解码的情况,简单地称为MB1参照MB0。
先行技术文献
非专利文献
非专利文献1:ITU-T H.264标准书Advanced video coding for genericaudiovisual services,2005年3月发行
非专利文献2:Thomas Wiegand et al,“Overview of the H.264/AVC VideoCoding Standard”,IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMSFOR VIDEO TECHNOLOGY,JULY 2003,PP.1-19.
非专利文献3:Xun Guo et al著「Ordered Entropy Slices for ParallelCABAC」,[online],ITU-T Video Coding Experts Group,2009年4月15日,[2009年6月29日检索],因特网<URL:http://wftp3.itu.int/av-arch/video-site/0904_Yok/VCEG-AK25.zip>
发明内容
发明要解决的课题
在上述现有技术(非专利文献3)中,表示了通过在多个片间进行参照而编码效率提高的情况,但是未具体公开允许多个片间的参照的结构。
如图55C所示那样,各PE分别执行处理,但实际上处理所花费的时间不恒定。例如,如果PE0未结束片0的MB8的处理,则PE1不能够开始片1的MB0的处理。并且,片0的MB8的处理所花费的时间不定。此外,PE0和PE1分别独立地执行处理,因此PE1不能够判断PE0是否结束片0的MB8的处理。
因此,也可以在PE0结束片的全部处理之后,PE1开始处理,但是在该情况下,变得不能够执行并列处理。
此外,也可以在PE0处理了宏块之后,向PE1输出该宏块的信息,但此时,有时PE1不能够适当地开始处理。
例如,在PE0结束片0的MB11的处理时,有时PE1正在执行片1的MB0的处理。在该情况下,即使PE0将片0的MB11的信息向PE1输出,PE1也不能够开始片1的MB1的处理,因此PE1有可能接受不到来自PE0的信息。因此,PE1有时在必要时不能够取得必要的信息,而不能够顺利地执行处理。
即,由于在必要时不能够参照必要的信息,因此多个PE不能够顺利地执行并行处理。
因此,本发明的目的在于,提供图像解码装置以及图像编码装置,能够一边利用跨片边界的空间依赖,一边顺利地执行并行处理。
用于解决课题的手段
为了解决上述课题,本发明的图像解码装置,是对具有分别包含1个以上的块的多个片的图像进行解码的图像解码装置,其具备:第一解码部,对上述多个片之中的第一片所包含的1个以上的块进行解码;第二解码部,对上述多个片之中、与上述第一片不同的第二片所包含的1个以上的块进行解码;以及第一存储部,用于存储片间周边信息,该片间周边信息是通过上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块即边界块被解码而生成的信息,是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块即片间周边块被解码时参照的信息,上述第一解码部通过对上述边界块进行解码来生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部,上述第二解码部参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
由此,本发明的图像解码装置,能够利用跨片边界的空间依赖。此外,通过存储部吸收解码处理所花费的时间的不均。由此,顺利地执行并行处理。
此外,也可以为,上述第一解码部通过对上述第一片所包含的上述1个以上的块之中任意块即第一片内块进行解码,由此生成第一片内周边信息,该第一片内周边信息是上述第一片所包含的上述1个以上的块之中、与上述第一片内块相邻的块即第一片内周边块被解码时参照的信息,将所生成的上述第一片内周边信息保存至上述第一存储部,对上述第一存储部所保存的上述第一片内周边信息进行参照,对上述第一片内周边块进行解码,上述第二解码部通过对上述第二片所包含的上述1个以上的块之中任意块即第二片内块进行解码,由此生成上述第二片所包含的上述1个以上的块之中、与上述第二片内块相邻的块即第二片内周边块被解码时参照的信息即第二片内周边信息,将所生成的上述第二片内周边信息保存至上述第一存储部,对上述第一存储部所保存的上述第二片内周边信息进行参照,对上述第二片内周边块进行解码。
由此,在片内所使用的信息保存至相同的存储部。由此,制造成本得以抑制。
此外,也可以为,上述第二解码部对上述第一存储部所保存的上述片间周边信息以及上述第一存储部所保存的上述第二片内周边信息进行参照,对作为上述片间周边块且作为上述第二片内周边块的块进行解码。
由此,本发明的图像解码装置能够利用跨片边界的空间依赖以及片内的空间依赖的双方。
此外,也可以为,上述图像解码装置,还具备:第二存储部,用于存储第一片内周边信息,该第一片内周边信息是通过上述第一片所包含的上述1个以上的块之中任意块即第一片内块被解码而生成的信息,是上述第一片所包含的上述1个以上的块之中、与上述第一片内块相邻的块即第一片内周边块被解码时参照的信息;和第三存储部,用于存储第二片内周边信息,该第二片内周边信息是通过上述第二片所包含的上述1个以上的块之中任意块即第二片内块被解码而生成的信息,是上述第二片所包含的上述1个以上的块之中、与上述第二片内块相邻的块即第二片内周边块被解码时参照的信息,上述第一解码部通过对上述第一片内块进行解码而生成上述第一片内周边信息,将所生成的上述第一片内周边信息保存至上述第二存储部,参照上述第二存储部所保存的上述第一片内周边信息,对上述第一片内周边块进行解码,上述第二解码部通过对上述第二片内块进行解码而生成上述第二片内周边信息,将所生成的上述第二片内周边信息保存至上述第三存储部,参照上述第三存储部所保存的上述第二片内周边信息,对上述第二片内周边块进行解码。
由此,本发明的图像解码装置,能够使从多个解码部访问的存储部所存储的数据减少。由此,存储部的容量不足得以抑制。此外,向存储部的访问被分散,存储部的构成变得容易。
此外,也可以,上述第二解码部参照上述第一存储部所保存的上述片间周边信息以及上述第三存储部所保存的上述第二片内周边信息,对作为上述片间周边块且作为上述第二片内周边块的块进行解码。
由此,本发明的图像解码装置,能够利用跨片边界的空间依赖以及片内的空间依赖的双方。
此外,也可以为,上述第二解码部,在参照上述第一存储部所保存的上述片间周边信息后、不再次参照上述片间周边信息的情况下,对记录有上述片间周边信息的上述第一存储部的区域进行释放。
由此,进一步抑制存储部的容量不足。
此外,也可以为,上述图像解码装置,还具备第一数据缓冲器和第二数据缓冲器,上述第一解码部对上述第一片所包含的上述1个以上的块进行可变长度解码,将可变长度解码而得到的第一可变长度解码数据保存至上述第一数据缓冲器,上述第二解码部对上述第二片所包含的上述1个以上的块进行可变长度解码,将可变长度解码而得到的第二可变长度解码数据保存至上述第二数据缓冲器,上述图像解码装置还具备:第一像素解码部,将上述第一数据缓冲器所保存的上述第一可变长度解码数据变换为像素值;和第二像素解码部,将上述第二数据缓冲器所保存的上述第二可变长度解码数据变换为像素值。
由此,即使在动作频率较低的情况下,也实现顺畅的解码处理。由此,本发明的图像解码装置以低成本来实现。
此外,也可以为,上述第一存储部存储表示上述片间周边信息是否保存至上述第一存储部的管理表,上述第一解码部在将上述片间周边信息保存至上述第一存储部的情况下,更新上述管理表以使该管理表表示上述片间周边信息被保存至上述第一存储部,上述第二解码部通过参照上述管理表,确认了上述片间周边信息被保存至上述第一存储部之后,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
由此,通知块被解码的情况。由此,多个解码部能够取得同步并且执行解码处理。
此外,也可以为,上述第一解码部,在将上述片间周边信息保存至上述第一存储部的情况下,将上述片间周边信息被保存至上述第一存储部的情况通知给上述第二解码部,上述第二解码部在被从上述第一解码部通知了上述片间周边信息被保存至上述第一存储部的情况之后,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
由此,多个解码部能够取得同步并且执行解码处理。
此外,也可以为,上述第二解码部每规定时间确认上述片间周边信息是否被保存至上述第一存储部,在确认了上述片间周边信息被保存至上述第一存储部之后,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
由此,通过对是否写入存储部进行判断这种简单的处理,多个解码部能够取得同步并且执行解码处理。
此外,也可以为,上述第一解码部通过对上述边界块进行解码来生成表示有无非零系数的系数信息,将所生成的上述系数信息作为上述片间周边信息保存至上述第一存储部,上述第二解码部参照上述第一存储部所保存的上述系数信息来作为上述片间周边信息,对上述片间周边块进行解码。
由此,越过片边界而实现依赖于周边块的非0系数的有无的可变长度解码处理。由此,实现图像的高压缩率化以及高画质化。
此外,也可以为,本发明的图像编码装置,是对具有分别包含1个以上的块的多个片的图像进行编码的图像编码装置,其具备:第一编码部,对上述多个片之中的第一片所包含的1个以上的块进行编码;第二编码部,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行编码;以及第一存储部,用于存储片间周边信息,该片间周边信息是通过上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块即边界块被编码而生成的信息,是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块即片间周边块被编码时参照的信息,上述第一编码部通过对上述边界块进行编码而生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部,上述第二编码部参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行编码。
由此,本发明的图像解码装置能够利用跨片边界的空间依赖。此外,通过存储部吸收编码处理所花费的时间的不均。由此,顺利地执行并行处理。
此外,也可以为,本发明的图像解码方法,是对具有分别包含1个以上的块的多个片的图像进行解码的图像解码方法,其包括:第一解码步骤,对上述多个片之中的第一片所包含的1个以上的块进行解码;和第二解码步骤,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行解码,在上述第一解码步骤中,通过对下述边界块进行解码而生成片间周边信息,该片间周边信息是通过上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块即边界块被解码而生成的信息,是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块即片间周边块被解码时参照的信息,将所生成的上述片间周边信息保存至第一存储部,在上述第二解码步骤中,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
由此,在解码时能够利用跨片边界的空间依赖。
此外,也可以为,本发明的图像编码方法,是对具有分别包含1个以上的块的多个片的图像进行编码的图像编码方法,其包括:第一编码步骤,对上述多个片之中的第一片所包含的1个以上的块进行编码;第二编码步骤,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行编码,在上述第一编码步骤中,通过对下述边界块进行编码而生成片间周边信息,该片间周边信息是通过上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块即边界块被编码而生成的信息,是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块即片间周边块被编码时参照的信息,将所生成的上述片间周边信息保存至第一存储部,在上述第二编码步骤中,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行编码。
由此,在编码时,能够利用跨片边界的空间依赖。
此外,也可以为,本发明的程序是用于使计算机执行上述图像解码方法所包含的步骤的程序。
由此,上述图像解码方法能够作为程序实现。
此外,本发明的程序也可以是用于使计算机上述图像编码方法所包含的步骤的程序。
由此,上述图像编码方法能够作为程序实现。
此外,也可以为,本发明的集成电路是对具有分别包含1个以上的块的多个片的图像进行解码的集成电路,其具备:第一解码部,对上述多个片之中的第一片所包含的1个以上的块进行解码;第二解码部,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行解码;以及第一存储部,用于存储片间周边信息,该片间周边信息是通过上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块即边界块被解码而生成的信息,是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块即片间周边块被解码时参照的信息,上述第一解码部通过对上述边界块进行解码而生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部,上述第二解码部参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
由此,上述图像解码装置能够作为集成电路实现。
此外,也可以为,本发明的集成电路,是对具有分别包含1个以上的块的多个片的图像进行编码的集成电路,其具备:第一编码部,对上述多个片之中的第一片所包含的1个以上的块进行编码;第二编码部,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行编码;以及第一存储部,用于存储片间周边信息,该片间周边信息是通过上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块即边界块被编码而生成的信息,是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块即片间周边块被编码时参照的信息,上述第一编码部通过对上述边界块进行编码而生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部,上述第二编码部参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行编码。
由此,上述图像编码装置能够作为集成电路实现。
发明的效果
根据本发明,能够一边利用跨片边界的空间依赖一边顺利地执行并行处理。
附图说明
图1是表示实施方式1的图像解码装置的构成的构成图。
图2是表示实施方式1的图像解码装置的可变长度解码部的构成的构成图。
图3是表示实施方式1的图像解码装置的像素解码部的构成的构成图。
图4A表示实施方式1的片的图。
图4B是表示实施方式1的流的图。
图4C是表示实施方式1的片内的处理顺序的图。
图5A是表示实施方式1的块的参照关系的图。
图5B是表示实施方式1的片的参照关系的图。
图6是表示实施方式1的图像解码装置的动作的流程图。
图7是表示实施方式1的指针动作的图。
图8是表示实施方式1的图像解码装置的可变长度解码部的动作的流程图。
图9是表示实施方式1的周边信息的检查动作的流程图。
图10是表示实施方式1的周边信息的写入动作的流程图。
图11是表示实施方式1的周边信息的管理表的图。
图12是表示实施方式1的图像解码装置的像素解码部的动作的流程图。
图13是表示实施方式1的图像解码装置的像素解码部的动作的流程图。
图14是表示实施方式1的运动矢量计算处理的概要的图。
图15是表示实施方式1的面内预测的参照关系的图。
图16是表示实施方式1的片间周边信息存储器的状态的图。
图17A是表示实施方式1的并列动作的图。
图17B是表示实施方式1的并列动作的变形例的图。
图18A是表示实施方式1的图像解码装置的特征性构成的构成图。
图18B是表示实施方式1的图像解码装置的特征性动作的流程图。
图19是表示实施方式2的编码表的一个例子的图。
图20是表示实施方式3的图像解码装置的可变长度解码部的构成的构成图。
图21是表示实施方式3的图像解码装置的可变长度解码部的动作的流程图。
图22是表示实施方式3的算术解码处理的流程图。
图23是表示实施方式3的算术解码处理的流程图。
图24是表示实施方式3的多值化处理方式的图。
图25是表示实施方式4的图像解码装置的构成的构成图。
图26是表示实施方式4的图像解码装置的可变长度解码部的构成的构成图。
图27是表示实施方式4的图像解码装置的像素解码部的构成的构成图。
图28是表示实施方式4的周边信息的检查动作的流程图。
图29是表示实施方式4的周边信息的写入动作的流程图。
图30A是表示实施方式4的片内周边信息存储器的状态的图。
图30B是表示实施方式4的片间周边信息存储器的状态的图。
图31A是表示实施方式4的指针动作的图。
图31B是表示实施方式4的指针的状态的图。
图32是表示实施方式4的图像解码装置的特征性构成的构成图。
图33是表示实施方式5的图像解码装置的构成的构成图。
图34是表示实施方式6的图像编码装置的构成的构成图。
图35是表示实施方式6的图像编码装置的可变长度编码部的构成的构成图。
图36是表示实施方式6的图像编码装置的像素编码部的构成的构成图。
图37是表示实施方式6的图像编码装置的动作的流程图。
图38是表示实施方式6的图像编码装置的像素编码部的动作的流程图。
图39是表示实施方式6的图像编码装置的可变长度编码部的动作的流程图。
图40A是表示实施方式6的图像编码装置的特征性构成的构成图。
图40B是表示实施方式6的图像编码装置的特征性动作的流程图。
图41是表示实施方式7的图像解码装置的构成的构成图。
图42是表示实施方式7的图像解码装置的特征性构成的构成图。
图43是表示实施方式8的图像编码装置的构成的构成图。
图44是表示实施方式9的系统LSI的构成的构成图。
图45是表示实施方式10的系统LSI的构成的构成图。
图46是表示实施方式11的实现内容分发服务的内容提供系统的整体构成图。
图47是表示实施方式11的数字广播用系统的整体构成图。
图48是表示实施方式11的电视机的构成例的框图。
图49是表示向光盘即记录媒体进行信息的读写的信息再生/记录部的构成例的框图。
图50是表示光盘即记录媒体的构造例的图。
图51是表示实现图像解码处理的集成电路的构成图。
图52是表示实现图像编码处理的集成电路的构成图。
图53是表示实现图像编码处理以及图像解码处理的集成电路的构成例的构成图。
图54A是表示现有技术的片的图。
图54B是表示现有技术的流的图。
图55A是表示现有技术的能够参照的片的图。
图55B是表示现有技术的片内的处理顺序的图。
图55C是表示现有技术的动作的概略的图。
具体实施方式
以下,参照附图对本发明的实施方式的图像解码装置进行说明。
(实施方式1)
(1-1.概要)
首先,对本发明的实施方式1的图像解码装置的概要进行说明。
本发明的实施方式1的图像解码装置构成为,通过多个解码部读出对由系统解码器从被AV复用的流中分离而得到的视频流。视频流能够预先通过多个解码部读出。多个解码部通过将解码结果的一部分经由周边信息存储器相互进行参照,由此取得同步并且执行解码。
以上是对本实施方式的图像解码装置的概要的说明。
(1-2.构成)
接下来,对本实施方式的图像解码装置的构成进行说明。
图1是表示本实施方式的图像解码装置的构成图。本实施方式的图像解码装置具备系统解码器1、CPB(编码图片缓冲器,Coded Picture Buffer)3、音频缓冲器2、两个可变长度解码部4、5、两个像素解码部6、7、周边信息存储器10以及帧存储器11。
系统解码器1对音频流和视频流进行分离。CPB3对视频流进行缓冲。音频缓冲器2对音频流进行缓冲。两个可变长度解码部4、5分别对可变长度编码数据进行解码。两个像素解码部6、7分别进行逆频率变换等像素单位的解码处理。周边信息存储器10对用于周边宏块的解码的信息进行保存。帧存储器11对解码的图像数据进行保存。
此外,将可变长度解码部4和像素解码部6一起称为解码部8,将可变长度解码部5和像素解码部7一起称为解码部9。
图2是表示图1所示的两个可变长度解码部4、5的构成的构成图。对于与图1相同的构成要素省略说明。可变长度解码部4具备保存流的流缓冲器12以及对可变长度编码数据进行解码的可变长度解码处理部14。可变长度解码部5同样具备流缓冲器13以及可变长度解码处理部15。
图3是图1所示的两个像素解码部6、7的构成图。对于与图1或者图2相同的构成要素省略说明。
像素解码部6具备逆量化部16、逆频率变换部17、重构部18、面内预测部19、运动矢量计算部20、运动补偿部21以及解块滤波器部22。
逆量化部16进行逆量化处理。逆频率变换部17进行逆频率变换处理。
重构部18根据逆频率变换处理而得到的数据、以及运动补偿或者面内预测而得到的预测数据,对图像进行还原。面内预测部19根据面内的上以及左生成预测数据。运动矢量计算部20计算运动矢量。运动补偿部21取得运动矢量所指的位置的参照图像,通过进行滤波处理来生成预测数据。
解块滤波器部22对重构处理而得到的图像数据进行将块噪声减少的滤波处理。
此外,像素解码部7的内部与像素解码部6相同,因此在图3中省略记载。
以上是对本实施方式的图像解码装置的构成的说明。
(1-3.动作)
接下来,对图1、图2以及图3所示的图像解码装置的动作进行说明。
图4A是表示对象图片的构造的图。一个图片被分割为多个片。此外,能够进行片间参照。片进一步被分割为由16像素×16像素构成的宏块。该宏块是编码处理或者解码处理的处理单位。
图4B是表示被编码的图片的流的构成的图。首先,接着开始代码而存在图片头。接下来,存在开始代码、片头以及片数据。通过这种一系列的流构成1个图片量的流。
在图片头表示以H.264标准中的PPS(Picture Parameter Set)以及SPS(Sequence Parameter Set)等的以图片单位附加的各种头的信息。开始代码也被称为同步字,由在片数据等中不出现的确定的模式(pattern)构成。解码部通过从前端按顺序对流进行搜索,由此对开始代码进行检测。由此,解码部能够得知图片头或者片头的开始位置。
图4C是表示片内的宏块的处理顺序的图。片内的处理顺序在图4C中由各宏块内的数字表示。当将该宏块的位置通过宏块单位的坐标表示时,以(0,0)、(1,0)、(0,1)、(2,0)、(1,1)、(0,2)、(3,0)、(2,1)、(1,2)这种顺序之字形地进行处理。
本实施方式所示的图片的构造,除了存在允许片间参照的片的情况和片内的处理顺序不同的情况以外,与H.264标准相同。
图5A是表示对象宏块和周边宏块的参照关系的图。在对象宏块的解码时,虽然也基于处理内容,但左、上、右上以及左上的4个宏块被参照。被参照的宏块分别被称为nA、nB、nC以及nD。对于上宏块参照宏块内的下侧的数据,对于左宏块参照该宏块中的右侧的数据。
在本实施方式的图像解码装置进行解码的流中,跨片的边界而允许这种参照,如图5B所示那样,片1的MB0对片0的MB5以及MB8进行参照而被解码。
图6是表示图1所示的图像解码装置的动作的流程图。在本实施方式中,解码部8对片0以及片2进行解码,解码部9对片1以及片3进行解码。
可变长度解码部4将系统解码器1进行AV分离而保存到CPB3的视频流向流缓冲器12读入(S101)。
流数据的可变长度解码部4,从向流缓冲器12读入的流数据中搜索开始代码(S102)。如果不存在开始代码(S102中“否”),则在发现开始代码之前,从流缓冲器12读出流。如果流缓冲器12中流数据变得不存在,则流从CPB3转发给流缓冲器12。关于从CPB3向流缓冲器12的转发将在之后详细说明。
如果发现开始代码(S102中“是”),则可变长度解码部4进行头的解码(S103)。然后,可变长度解码部4判断流是否是应由可变长度解码部4进行处理的头以及片(S104)。应由可变长度解码部4进行处理的片,为图4A中的片0以及片2。
如果流为应进行处理的片(S104中“是”),则可变长度解码处理部14进行可变长度解码处理(S105),进行像素解码处理(S106)。如果片的全部数据的解码未结束(S107中“否”),则进行后续的数据的处理(S105、S106)。
另一方面,在流不是应进行处理的片的情况下(S104中“否”),则再次搜索开始代码(S101、S102),重复之后的处理。
可变长度解码部5与可变长度解码部4同样地对图4A中的片1以及片3进行解码。
图7是表示从CPB3向两个流缓冲器12、13的转发的动作的图。
从系统解码器1依次向CPB3输入被AV分离的1个视频流。对于1个视频流,可变长度解码部为两个,因此视频流如下地被控制。
如图7所示那样,CPB3构成为一个环形缓冲器。对于该环形缓冲器准备有用于系统解码器1写入的写入指针和用于向两个流缓冲器12、13进行转发的两个读出指针。
用于系统解码器1写入的写入指针,从环形缓冲器的地址0朝向地址N按顺序移动。由此,系统解码器1从地址0朝向地址N按顺序写入视频流。然后,CPB3作为环形缓冲器进行动作,如果写入指针到达地址N则向地址0返回。
此外,写入指针被控制为,不追及并超过两个读出指针的任意一个。例如,在写入指针要追及并超过读出指针的情况下,CPB3被控制为,停止从系统解码器1向CPB3的写入,不追及并超过读出指针。
另一方面,读出指针也与写入指针同样,从环形缓冲器的地址0朝向地址N按顺序移动。由此,两个流缓冲器12、13从地址0朝向地址N按顺序读出视频流。然后,CPB3作为作为环形缓冲器进行动作,如果到达地址N则向地址0返回。
此时,在读出指针指向与写入指针相等的地址的情况下,CPB3视为不存在有效数据,而使指针停止,停止向两个流缓冲器12、13的转发。当向两个流缓冲器12、13的转发停止、两个流缓冲器12、13中的流数据也消失时,两个可变长度解码部4、5应进行处理的数据消失。在该情况下,两个可变长度解码部4、5停止动作,等待新的流数据的输入。
接下来,使用图8、图9以及图10对可变长度解码处理部14的可变长度编码数据的解码处理(S105)的动作进行说明。
首先,可变长度解码处理部14检查周边信息存储器10中是否存在可变长度解码所需要的数据(S001)。
使用图11所示的周边信息存储器所存储的管理表来进行检查。
例如,在片0的MB1的处理中,需要片0的MB0的数据作为周边信息。可变长度解码处理部14对图11所示的管理表的片编号和宏块编号进行检索。如果管理表中存在片0的MB0、且片内参照标志或者片外参照标志为1,则可变长度解码处理部14取得对应的存储器区域编号。然后,可变长度解码处理部14能够从基于存储器区域编号的存储器区域读入周边信息。
此时,可变长度解码处理部14在不会从片内再次参照周边信息的情况下,将片内参照标志变更为0,在不会从片外再次参照周边信息的情况下,将片外参照标志变更为0。例如,可变长度解码处理部14在参照片1的MB5在对片2的MB1进行了处理之后,不对片1的MB5进行再次参照。在该情况下,可变长度解码处理部14将片外参照标志变更为0。
周边信息是否再次被参照,能够根据图5A以及图5B所示的宏块的参照关系来进行判断。
片内的宏块被依次处理,因此片内的周边信息一定存在。但是,根据并行动作的可变长度解码处理部15的动作状态,有时未生成片外的周边信息。如图9所示那样,在不存在周边信息的情况下,可变长度解码处理部14,在可变长度解码所需要的周边信息向周边信息存储器10写入之前,常时或者每隔规定时间间隔对管理表继续进行检索(S121)。
在需要的周边信息被写入周边信息存储器10的情况下,可变长度解码处理部14进行可变长度解码计算处理(S111)。
接下来,可变长度解码处理部14进行周边信息向周边信息存储器10的写入处理(S002)。
在周边信息的写入处理中,如图10所示那样,首先,可变长度解码处理部14检查周边信息存储器中是否存在空区域(S131)。在图11的管理表中,片内参照标志和片间参照标志都成为0的区域被判断为空区域。
如图10所示那样,如果存在空区域(S131中“是”),则可变长度解码处理部14将作为可变长度解码处理的结果的一部分的周边信息向周边信息存储器10写入(S132)。此外,可变长度解码处理部14向管理表写入片编号以及宏块编号。
此外,可变长度解码处理部14,在周边信息在片内被参照的情况下,作为片内参照标志而写入1。此外,可变长度解码处理部14,在周边信息在片间被参照的情况下,向片间参照标志写入1。如果不存在空区域(S131中“否”),则可变长度解码处理部14常时或者每隔规定时间间隔对管理表继续进行检索,在产生空区域之后立即进行写入处理。
此外,是否在片内或者片间被参照,能够根据图5A以及图5B所示的宏块的参照关系进行判断。
如此,通过管理表,可变长度解码处理部14和可变长度解码处理部15相互通知写入了周边信息的情况。
在此,经由管理表通知周边信息的写入,但可变长度解码处理部14和可变长度解码处理部15也可以通过直接相互发送信号,由此通知周边信息的写入。或者,可变长度解码处理部14和可变长度解码处理部15也可以不通过这种管理表,而常时或者以规定时间间隔来确认是否写入了周边信息。
由此,可变长度解码处理部14和可变长度解码处理部15能够相互交换周边信息。
此外,周边信息存储器10也能够使与图11所示的管理表同样的构成的管理表,分别对应于后述的运动矢量计算部、面内预测部以及解块滤波器部等存储。
此外,上述所示的可变长度解码处理部14的动作也能够置换为可变长度解码部4的动作。此外,可变长度解码处理部15的动作与可变长度解码处理部14的动作同样。此外,可变长度解码部5的动作与可变长度解码部4的动作同样。
接下来,使用图12以及图13所示的流程图对像素解码部6的动作进行说明。
逆量化部16对从可变长度解码部4输入的数据进行逆量化(S141)。然后,逆频率变换部17对被逆量化的数据进行逆频率变换(S142)。
在进行解码的宏块为交(inter-)MB的情况下(S143中“是”),运动矢量计算部20检查周边信息存储器10中是否存在运动矢量计算所需要的信息(S001)。在不存在需要的信息的情况下,运动矢量计算部20进行等待直到向周边信息存储器10写入需要的信息。该动作与可变长度解码处理部14的周边信息的检查(S001)的动作同样。
在存在需要的信息的情况下,运动矢量计算部20使用该信息进行运动矢量的计算(S144)。
图14是表示运动矢量的计算的概略的图。运动矢量计算部20从周边宏块的运动矢量值mvA、mvB以及mvC的中间值来计算预测运动矢量值mvp。然后,运动矢量计算部20通过将流中的差分运动矢量值mvd和预测运动矢量值mvp相加,由此取得运动矢量值mv。
运动矢量计算部20为,当运动矢量计算结束时,检查周边信息存储器10中是否存在空区域(S002)。该动作与可变长度解码处理部14的周边信息的写入(S002)的动作同样。运动矢量计算部20为,如果存在空区域,在向周边信息存储器10写入计算的运动矢量,如果不存在则进行等待。
在图14中,为了简单,而表示各宏块中存在1个运动矢量的情况。但是,实际上,也有时运动矢量存在多个。多个运动矢量之中被参照的运动矢量为上宏块内下侧的运动矢量,为左宏块内右侧的运动矢量。由此,向周边信息存储器10写入的信息,也可以仅是多个运动矢量之中、之后被参照的运动矢量。通过仅限定于被参照的运动矢量,由此能够减少周边信息存储器10的容量。
运动补偿部21使用所计算的运动矢量而从帧存储器11中取得参照图像,进行滤波处理等的运动补偿(S146)。
在进行解码的宏块为内部MB(面内预测MB)的情况下(S143中“否”),面内预测部19检查周边信息存储器10中是否存在面内预测的计算所需要的信息(S001)。面内预测部19为,如果不存在需要的信息,则进行等待直到向周边信息存储器10写入需要的信息。该动作与可变长度解码处理部14的周边信息的检查(S001)的动作同样。
面内预测部19为,如果在周边信息存储器10中存在需要的信息,则使用该信息进行面内预测(S145)。此外,虽然也基于面内预测(帧内预测)模式,但在面内预测中,作为周边信息,如图15所示那样,需要nA、nB、nC以及nD的重构处理后的像素数据。
若运动补偿(S146)或者面内预测(S145)的处理结束,则重构部18将所生成的预测图像数据和进行了逆频率变换的差分数据相加(S147),取得重构图像。
接下来,检查周边信息存储器10中是否存在空区域(S002)。该动作与可变长度解码处理部14的周边信息的写入(S002)的动作同样。重构部18为,如果存在空区域,则将通过重构处理(S147)生成的重构图像向周边信息存储器10,如果不存在则进行等待。
在此,向周边信息存储器10写入的重构图像,也可以不是宏块的全部的重构图像,而仅是之后被参照的宏块的下侧1行或者右侧1列。通过仅设为被参照的重构图像,能够使周边信息存储器10的容量减少。
接下来,解块滤波器部22检查周边信息存储器10中是否存在解块滤波处理所需要的数据(S001)。如果不存在需要的数据,则解块滤波器部22进行等待,直到向周边信息存储器10写入所需要的数据。该动作与可变长度解码处理部14的周边信息的检查(S001)的动作同样。
解块滤波器部22为,如果存在需要的数据,则使用该数据进行解块滤波处理(S148),向帧存储器11写入解码图像。
解块滤波器部22为,若解块滤波处理结束,则检查周边信息存储器10中是否存在空区域(S002)。该动作与可变长度解码处理部14的周边信息的写入(S002)的动作同样。解块滤波器部22为,如果存在空区域,在向周边信息存储器10写入计算的解块滤波器结果。然后,像素解码部6结束处理。
在此,向周边信息存储器10写入的解块滤波器结果,也可以不是宏块内的全部的解块滤波器结果,而仅是之后被参照的宏块的下侧或者右侧的部分。通过仅设为被参照的解块滤波器结果,能够使周边信息存储器10的容量减少。
像素解码部7的动作与像素解码部6的动作同样。
接下来,使用图16对解码部8的动作和周边信息存储器10所保存的数据的运动进行说明。图16表示解码部9停止动作的情况。此外,横轴表示时间,纵轴表示周边信息存储器的存储器区域的编号。然后,虚线的四方形表示解码中的宏块编号,实线的四方形表示参照用而保持的宏块编号。
解码部8在对MB0进行解码时,将MB0的数据写入周边信息存储器。解码部8在对MB1进行解码时,一边参照处于周边信息存储器的MB0的数据一边对MB1进行解码。
在MB5被解码时,MB0的数据在之后不被参照,因此存储了MB0的数据的区域成为空区域。然后,从MB5参照的MB2以及MB4的数据,存储于周边信息存储器10。此外,从后续的宏块参照的MB1以及MB3的数据存储于周边信息存储器10。
从片外参照的MB5、MB8、MB11、MB14以及MB17的数据,由于解码部9的动作,不被参照的定时变化。在图16的例子中,解码部9停止,因此MB5、MB8、MB11、MB14以及MB17的数据继续保持于周边信息存储器。
接下来,使用图17A说明解码部8和解码部9的动作。
在图17A的例子中,解码部8和解码部9同时开始解码,各自的宏块的解码处理所花费的时间相同。由解码部8解码的片0为图片的最上,因此不对其它片进行参照。由此,解码部8如果能够向周边信息存储器10写入数据,则能够在没有读出数据的等待时间的情况下对片0进行解码。
另一方面,解码部9为了对片1的MB0进行解码,需要解码部8进行解码的片0的MB5以及MB8的数据。由此,即使解码部8和解码部9同时开始解码,在解码部8结束MB8的解码之前,解码部9也对处理进行待机。此外,解码部9为了对片1的MB1进行解码,需要片0的MB11的数据。由此,解码部9在片0的MB11被解码之前对处理进行待机。结果,在解码部9对MB4进行解码时之后,处理等待消失。但是,解码部9与解码部8相比延迟12MB量地对片1进行解码。
图17B是表示解码部8与解码部9相比能够一直以2倍的速度解码的情况的动作的图。与图17A同样,解码部8不对其它片进行参照,因此高速地对片0进行解码。解码部9等待解码部8的结果。但是,与图17A的情况相比,等待时间变小。
实际上,解码部8以及解码部9用于对各宏块进行处理的处理时间存在不均。但是,解码部8以及解码部9利用周边信息存储器10,在能够进行解码处理时,执行解码处理。由此,等待时间减少,解码部8以及解码部9能够有效地进行解码。
以上是关于图像解码装置的动作的说明。
(1-4.特征性要素)
接下来,对本实施方式的特征性要素进行说明。
图18A是表示图1所示的图像解码装置的特征性构成的构成图。
图18A所示的图像解码装置具备第一解码部801、第二解码部802以及第一存储部811。第一解码部801、第二解码部802以及第一存储部811分别通过图1所示的解码部8、解码部9以及周边信息存储器10来实现。图18A所示的图像解码装置对具有多个片的图像进行解码。
第一解码部801是对多个片之中的第一片所包含的块进行解码的处理部。
第二解码部802是对多个片之中与第一片不同的第二片所包含的块进行解码的处理部。
第一存储部811是用于存储解码所使用的片间周边信息的存储部。通过第一片所包含的块之中与第二片相邻的块即边界块被解码,而生成片间周边信息。然后,在第二片所包含的块之中与边界块相邻的块即片间周边块被解码时,参照片间周边信息。
此外,作为相邻的情况,不仅限于上下左右相邻的情况,还包括在倾斜方向上相邻的情况。
第一解码部801将通过对边界块进行解码而生成的片间周边信息保存到第一存储部811。
第二解码部802对第一存储部811所存储的片间周边信息进行参照,对片间周边块进行解码。
图18B是表示图18A所示的图像解码装置的特征性动作的流程图。
首先,第一解码部801对多个片之中的第一片所包含的块进行解码。此时,第一解码部801将通过对边界块进行解码而生成的片间周边信息保存到第一存储部811(S811)。
接下来,第二解码部802对多个片之中与第一片不同的第二片所包含的块进行解码。此时,第二解码部802对第一存储部811所保存的片间周边信息进行参照,对片间周边块进行解码(S812)。
此外,仅在片内参照的信息,可以存储于第一存储部811,也可以存储于其它的存储部。
以上是关于本实施方式的特征性要素的说明。
(1-5.效果)
如此,在实施方式1中,配置有两个解码部8、9和周边信息存储器10。然后,在周边信息存储器10中仅保存参照所需要的数据。不被参照的数据被废弃,能够写入新的参照所需要的数据。由此,周边信息存储器10的容量减少。
此外,需要的信息存储于周边信息存储器10,由此两个解码部8、9能够一边相互共享需要的信息一边分别独立地动作。然后,周边信息存储器10的容量被充分确保,由此在两个解码部8、9中等待时间进一步减少,并行处理的动作效率提高。由此,即使在图像解码装置的动作频率较低的情况下,也高速地解码图像。
(1-6.补充)
此外,在本实施方式中,表示了对可变长度编码方式的应用例。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是算术编码、霍夫曼编码或者运转周期编码等的其它编码方式。
此外,在本实施方式中,解码部的数量为两个。但是,解码部的数量不限于两个,也可以是3个或者4个或者更大的数量。
此外,在本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但可以是任意的。
此外,在本实施方式中,周边信息存储器的管理表示出了构成的一个例子。但是,数据的管理所使用的构成,只要是将未被参照的数据的区域开放、能够将参照数据写入的构成,则可以是任意的构成。
此外,在本实施方式中,周边信息的检查以及周边信息的写入,在各处理的前后进行。但是,也可以以宏块单位集中进行周边信息的检查以及周边信息的写入。如此,以宏块单位集中的情况下,管理表也可以仅为一个。
此外,在本实施方式中,除了在片间进行参照以外的处理,表示了H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而进行编码的编码方式,则可以是MPEG(Moving Picture Experts Group)2、MPEG4或者VC-1等任意方式。
此外,在本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左、或者仅为左和上等。此外,也可以根据处理而所参照的宏块变化。
此外,在本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以是触发器等其它存储元件。
此外,在本实施方式中,在一个周边信息存储器中存储有算术解码、运动矢量计算、面内预测以及解块滤波器等所使用的全部周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,在本实施方式中,两个解码部同时开始处理。但是,两个解码部不限于同时开始处理,也可以一方延迟地开始。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,既可以是宏块的全部数据,也可以仅是之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式2)
(2-1.概要)
接下来,对本发明的实施方式2的图像解码装置的概要进行说明。
本实施方式是作为可变长度编码方式之一与在H.264标准中采用的CAVLC(上下文自适应可变长度编码,Context Adaptive Variable LengthCoding)编码相对应的方式。
以上是关于本实施方式的图像解码装置的概要的说明。
(2-2.构成)
本实施方式的图像解码装置的构成与实施方式1的构成同样。
(2-3.动作)
接下来,使用在实施方式1的动作的说明中使用了的图8对本实施方式的动作进行说明。与实施方式1相比较,动作的不同为可变长度解码计算处理(S111)。
图19是表示实施方式2的编码表的一个例子的图。图19所示的nC是周边宏块的非0系数的个数。
在可变长度解码计算处理(S111)中,如图19所示的例子那样,与周边宏块的非0系数的个数nC相应地切换表列。虽然根据情况而不同,但在典型的情况下,通过左侧的块的非0系数的个数nA和上侧的块的非0系数的个数nB的平均值来计算nC。
两个可变长度解码处理部14、15分别将nA以及nB从周边信息存储器10读出。然后,两个可变长度解码处理部14、15分别计算nC,由此对表列进行切换,而将对象宏块进行可变长度解码。即,在图19所示的例子中,TrailingOnes(拖尾系数)以及TotalCoeff(总非零系数)被解码。
该方式的详细情况在非专利文献1中详细说明,因此省略说明。
(2-4.效果)
如此,实施方式2的图像解码装置,能够使用实施方式1的构成,而对应于由H.264标准规定的CAVLC编码。
(2-5.补充)
此外,在本实施方式中,作为例子表示了H.264的CAVLC编码数据的解码处理。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是其它编码方式。
此外,在本实施方式中,解码部的数量为两个。但是,解码部的数量不限于两个,也可以是3个或者4个或者更大的数。
此外,在本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但也可以为任意。
此外,在本实施方式中,周边信息的检查以及周边信息的写入,在各处理的前后进行。但是,也可以以宏块单位集中而进行周边信息的检查以及周边信息的写入。如此,在以宏块单位集中的情况下,管理表也可以仅为一个。
此外,在本实施方式中,除了在片间进行参照以外的处理,表示有H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而进行编码的编码方式,则也可以是MPEG2、MPEG4或者VC-1等任意的方式。
此外,在本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左或者仅为左和上等。此外,也可以根据处理而使所参照的宏块变化。
此外,在本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以是触发器等其它存储元件。
此外,在本实施方式中,在一个周边信息存储器中存储有算术解码、运动矢量计算、面内预测以及解块滤波器等所使用的全部周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,既可以是宏块的全部数据,也可以仅是之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式3)
(3-1.概要)
接下来,对本发明实施方式3的图像解码装置的概要进行说明。
在本实施方式中,可变长度编码方式为算术编码。可变长度解码部具备算术解码部,由此本实施方式的图像解码装置还对应于算术解码。
以上是关于本实施方式的图像解码装置的概要的说明。
(3-2.构成)
接下来,对本实施方式的图像解码装置的构成进行说明。
图20是表示本实施方式的图像解码装置的可变长度解码部的构成图。在图20与图2相同的构成要素省略说明。本实施方式的可变长度解码部4对应于算术编码,具备进行算术解码的算术解码部23以及进行多值化处理的多值化部25。同样,可变长度解码部5具备算术解码部24以及多值化部26。
(3-3.动作)
图21是表示图20所示的可变长度解码部的动作的流程图。
首先,两个算术解码部23、24分别检查周边信息存储器10中是否存在算术编码数据的解码所需要的数据(S001)。该处理与实施方式1同样。
接下来,两个算术解码部23、24分别进行算术解码的计算处理(S301)。
两个算术解码部23、24分别在算术解码的计算处理中,如图22以及图23所示那样,使用从周边宏块生成的二值信号产生概率,根据所输入的比特来计算被二值化的各语法的值。本处理与非专利文献1所示的算术解码处理本身相同,因此省略说明。
接下来,两个多值化部25、26分别对被二值化而从算术解码处理部输出的数据进行多值化(S302)。多值化的方式存在图24所示的方式,与非专利文献1所示的方式相同,因此省略说明。
最后,两个多值化部25、26分别将被多值化处理的数据之中、在其它宏块的解码时参照的数据向周边信息存储器10写入(S002)。该处理与实施方式1同样。
在算术解码中利用的值、即保存至周边信息存储器10的值,如非专利文献1记载的那样,存在mb_skip_flag、mb_type、coded_block_pattern、ref_idx_l0、ref_idx_l1、mvd_l0以及mvd_l1等。此外,coded_block_pattern是表示非零系数的有无的系数信息。
(3-4.效果)
如此,实施方式3的图像解码装置能够使用与实施方式1同样的构成,而对应于算术编码。在算术编码中,处理时间的每个宏块的不均比其它可变长度解码方式大。因此,基于空闲时间减少的处理的高效化以及动作频率的减少变得显著。
(3-5.补充)
此外,本实施方式中,表示了向H.264所规定的算术编码方式的应用例。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是H.264所规定的算术编码方式以外的方式。
此外,本实施方式中,解码部的数量为两个。但是,解码部的数量不限于两个,也可以是3个或者4个或者更大的数。
此外,本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但可以为任意。
此外,本实施方式中,周边信息的检查以及周边信息的写入在各处理的前后进行。但是,也可以以宏块单位集中而进行周边信息的检查以及周边信息的写入。如此,在以宏块单位集中的情况下,管理表也可以仅为一个。
此外,本实施方式中,除了在片间进行参照以外的处理,表示了H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而进行编码的编码方式,则也可以是MPEG2、MPEG4或者VC-1等任意的方式。
此外,本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左或者仅为左和上等。此外,也可以根据处理而使所参照的宏块变化。
此外,本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以是触发器等其它存储元件。
此外,本实施方式中,在一个周边信息存储器中存储有算术解码、运动矢量计算、面内预测以及解块滤波器等所使用的全部的周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,既可以是宏块的全部数据,也可以仅是之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式4)
(4-1.概要)
接下来,对本发明实施方式4的图像解码装置的概要进行说明。
在本实施方式中,在实施方式1中表示的周边信息存储器,被分割为片内周边信息存储器和片间周边信息存储器的两个。通过分割为仅由一个解码部进行访问的片内周边信息存储器和由多个解码部进行访问的片间周边信息存储器,由此存储器的管理变得容易。此外,两个解码部非同步地进行访问的存储器被分离,由此性能的补偿变得容易。
以上是关于本实施方式的图像解码装置的概要的说明。
(4-2.构成)
接下来,对本实施方式的图像解码装置的构成进行说明。
图25是本实施方式的图像解码装置的构成图。与图1相同的构成要素省略说明。本实施方式的图像解码装置具备用于对从不同片参照的信息进行保存的片间周边信息存储器29。此外,本实施方式的图像解码装置具备用于对从相同片参照的信息进行保存的两个片内周边信息存储器27、28。
图26是本实施方式的可变长度解码部的构成图。与图2或者图25相同的构成要素省略说明。
图27是本实施方式的像素解码部。与图3或者图25相同的构成要素省略说明。
在实施方式1中表示的周边信息存储器10被分离为两个片内周边信息存储器27、28和片间周边信息存储器29。除此以外,图25、图26以及图27所示的构成与图1、图2以及图3所示的构成同样。两个片内周边信息存储器27、28所存储的信息,限定为仅在片内参照的信息。片间周边信息存储器29所存储的信息限定于仅在片间参照的信息。
此外,为了使向存储器的访问分散,片内周边信息存储器27优选为不能够从解码部9进行访问的存储器。此外,片内周边信息存储器28优选为不能够从解码部8进行访问的存储器。因此,片间周边信息存储器29以及两个片内周边信息存储器27、28优选在物理上独立的存储器。
例如,也可以是片内周边信息存储器27仅能够从解码部8进行访问,片内周边信息存储器28仅能够从解码部9进行访问。然后,也可以是解码部8具备片内周边信息存储器27,解码部9具备片内周边信息存储器28。
但是,为了避开复杂的构成,片间周边信息存储器29以及两个片内周边信息存储器27、28,也可以为物理上的一个存储器、而被逻辑地区分。
以上是关于本实施方式的图像解码装置的构成的说明。
(4-3.动作)
接下来,对本实施方式的图像解码装置的动作进行说明。
本实施方式的图像解码装置的动作,除了周边信息的检查(S001)以及周边信息的写入(S002)以外,与图6、图8、图12以及图13所示的实施方式1的动作同样。
使用图28对可变长度解码部4的周边信息的检查(S001)的动作的详细进行说明。
首先,可变长度解码部4检查对象宏块是否进行片间参照(S401)。在片内被参照的数据,根据宏块的处理的顺序,一定存在于片内周边信息存储器27。因此,在对象宏块不进行片间参照的情况下(S401中“否”),需要的数据一定存在,因此可变长度解码部4结束检查。
在对象宏块进行片间参照的情况下,可变长度解码部4检查片间周边信息存储器29中是否存在所需要的信息(S402)。如果不存在信息(S402中“否”),则可变长度解码部4在从可变长度解码部5写入信息之前进行待机。然后,在信息被写入之后,可变长度解码部4结束检查的处理,执行下一个处理。
接下来,使用图29对向周边信息存储器的写入(S002)的动作的详细进行说明。在此,对向片内周边信息存储器27以及片间周边信息存储器29的写入进行说明。
首先,可变长度解码部4向片内周边信息存储器27写入在片内被参照的信息(S411)。
接下来,可变长度解码部4判断解码的数据是否被片间参照(S412)。
在解码的数据不被片间参照的情况下(S412中“否”),可变长度解码部4结束写入处理。
在解码的数据被片间参照的情况下(S412中“是”),可变长度解码部4检查片间周边信息存储器29中是否存在空区域(S413)。
如果不存在空区域(S413中“否”),则可变长度解码部4在形成空区域之前进行待机。
如果存在空区域(S413中“是”),则可变长度解码部4将从其它宏块参照的信息向片间周边信息存储器29写入(S144)。
此外,可变长度解码部5进行与可变长度解码部4同样的动作。此外,两个像素解码部6、7也与两个可变长度解码部4、5同样,使用片间周边信息存储器29和两个片内周边信息存储器27、28,对块进行解码。
接下来,对向片内周边信息存储器27和片间周边信息存储器29的数据的保存方法进行说明。
图30A是表示片内周边信息存储器27的数据的图。
在片内周边信息存储器27中设置有8个存储器区域。LSB(最低有效位,Least Significant Bit)为3比特,在8个存储器区域之中、保存有数据的存储器区域唯一确定。由此,通过设置8个存储器区域,由此存储器区域的判断变得容易。
在片内,宏块的处理顺序被确定为能够依次进行解码。因此,只要片内周边信息存储器27的容量为足够,则一定存在周边信息,并向片内周边信息存储器27写入。
此外,在设置8个存储器区域的情况下,不需要比8个存储器区域更多地保持片内周边信息。因此,将不需要的区域按顺序删除即可。即,可变长度解码部4不存在不能写入数据的情况,因此如图29的流程图所示那样,一定能够向片内周边信息存储器27写入(S411)。
此外,同样,向片内周边信息存储器28也能够通过可变长度解码部5等写入数据。
图30B是表示片间周边信息存储器29的数据的图。
在片间周边信息存储器29中从宏块编号较小的数据开始按顺序保存数据。此外,在数据被读出的情况下,也从宏块编号较小的数据开始按顺序读出数据。数据不会被随机访问,通过写入和读出的指针的控制,能够进行是否存在需要的数据的检查(S001)以及是否存在用于写入的空区域的检查(S002)。
图31A以及图31B是表示片间周边信息存储器29的指针的动作的图。
在解码部9对片1的MB0进行处理时,读出指针成为-1。此外,解码部9为了对片1的MB0进行处理,需要解码部8进行处理的片0的MB5以及MB8的数据。
解码部8使用写入指针向片间周边信息存储器29写入。在解码部8对片0的MB0进行处理时,写入指针为0。然后,在解码部8对MB5进行了处理之后,写入指针成为1。此外,在解码部8对MB8进行了处理之后,写入指针成为2。如此,每当向片间周边信息存储器29写入数据,写入指针就向上计数。
然后,每当从片间周边信息存储器29读出数据,读出指针就向上计数。
在片间被参照的宏块的数量最大为3个。由此,如果写入指针与读出指针之差为3以上,则解码部9能够对宏块进行处理。即,如果差为3以上,则视为片间周边信息存储器29中存在解码所需要的数据。此外,如果使读出指针不追及并超过写入指针,则视为存在空区域。因此,写入指针被控制为不会追及并超过读出指针。
如此,通过指针的管理,不使用管理表地控制写入和读出。
此外,片间周边信息存储器29构成为环形缓冲器。由此,当指针前进到缓冲器的最大值即缓冲器的最后时,指针返回缓冲器的前端。片间周边信息存储器29需要与多个解码部的动作定时的偏差成比例的容量。
在图4A所示的4个片被处理的情况下,片1的一个宏块对片0的最大3个宏块的数据进行参照。由此,基于片0和片1的参照关系,需要在片间周边信息存储器29中保存至少3个宏块的数据。
此外,解码部8在对片0进行处理的期间,不能够对片2进行处理。因此,在该期间,必须确保片1的数据。因此,优选片间周边信息存储器29基于片1和片2的参照关系,能够保存1个宏块行的数据。
在片间周边信息存储器29的容量较大的情况下,处理速度偏差的吸收幅度较大。另一方面,在容量较小的情况下,处理速度偏差的吸收幅度较小。因此,在成本范围内增大容量的情况下,性能的提高较容易。
(4-4.特征性要素)
接下来,对本实施方式的特征性要素进行说明。
图32是表示图25所示的图像解码装置的特征性构成的构成图。
图32所示的图像解码装置具备第一解码部801、第二解码部802、第一存储部811、第二存储部812以及第三存储部813。第一解码部801、第二解码部802、第一存储部811、第二存储部812以及第三存储部813,分别通过图25所示的解码部8、解码部9、片间周边信息存储器29以及两个片内周边信息存储器27、28来实现。图32所示的图像解码装置对具有多个片的图像进行解码。
第一解码部801是对多个片之中的第一片所包含的块进行解码的处理部。
第二解码部802是对多个片之中与第一片不同的第二片所包含的块进行解码的处理部。
第一存储部811是用于对片间周边信息进行存储的存储部。
上述构成要素与图18A所示的实施方式1的图像解码装置的构成要素同样。在图32所示的图像解码装置中,还增加了第二存储部812以及第三存储部813。
第二存储部812是用于对由第一解码部801使用的第一片内周边信息进行存储的存储部。通过第一片所包含的块之中任意块即第一片内块被解码,而生成第一片内周边信息。此外,在第一片所包含的块之中与第一片内块相邻的块即第一片内周边块被解码时,参照第一片内周边信息。
第一解码部801将通过对第一片内块进行解码而生成的第一片内周边信息保存至第二存储部812。然后,第一解码部801对第二存储部812所保存的第一片内周边信息进行参照,对第一片内周边块进行解码。
第三存储部813是用于对由第二解码部802使用的第二片内周边信息进行存储的存储部。通过第二片所包含的块之中任意块即第二片内块被解码,而生成第二片内周边信息。此外,在第二片所包含的块之中与第二片内块相邻的块即第二片内周边块被解码时,参照第二片内周边信息。
第二解码部802将通过对第二片内块进行解码而生成的第二片内周边信息保存至第三存储部813。然后,第二解码部802对第三存储部813所保存的第二片内周边信息进行参照,对第二片内周边块进行解码。
此外,第一存储部811、第二存储部812以及第三存储部813为了避开访问的集中,也可以是在物理上独立的存储部,为了不成为复杂的构成,也可以是被逻辑区分的物理上的一个存储部。
以上是关于本实施方式的特征性要素的说明。
(4-5.效果)
在实施方式1、实施方式2以及实施方式3中,通过图11所示的管理表来检测空区域,并判断周边信息存储器中是否存在需要的数据。在本实施方式中,周边信息存储器被分割为片内周边信息存储器和片间周边信息存储器。因此,不使用管理表,通过指针的比较这种简单的处理,来判断周边信息存储器中是否存在需要的数据,或者判断是否存在空区域。
此外,两个解码部8、9能够分别不等待另一方的处理,而使用片内周边信息存储器对与片边界不相邻的块进行解码。由此,动作效率提高,处理速度提高。
(4-6.补充)
此外,本实施方式中,在两个片内周边信息存储器27、28分别设置有8个存储器区域。但是,存储器区域的数量不需要为8个,只要为信息的保存所需要的区域以上,则可以为任意。
此外,在本实施方式中,在两个片内周边信息存储器27、28中,不使作为左侧的宏块参照的情况和作为上侧的宏块参照的情况相区别地保持有数据。但是,在作为左侧的宏块参照的情况和作为上侧的宏块参照时、信息不同的情况下,它们的信息也可以分别被区别地保存至存储器等的存储元件中。
此外,本实施方式中,表示了向可变长度编码方式的应用例。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是算术编码、霍夫曼编码或者运转周期编码等其他编码方式。
此外,本实施方式中,解码部的数量为两个。但是,解码部的数量不限于两个,也可以是3个或者4个或者更大的数。
此外,本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但可以为任意。
此外,本实施方式中,周边信息的检查以及周边信息的写入在各处理的前后进行。但是,也可以以宏块单位集中地进行周边信息的检查以及周边信息的写入。如此,在对宏块单位中的情况下,管理表也可以仅为一个。
此外,本实施方式中,除了在片间进行参照以外的处理,表示了H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而进行编码的编码方式,则也可以是MPEG2、MPEG4或者VC-1等任意方式。
此外,本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左或者仅为左和上。此外,也可以根据处理而使所参照的宏块变化。
此外,本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以为触发器等其它存储元件。
此外,本实施方式中,在一个周边信息存储器中存储有算术解码、运动矢量计算、面内预测以及解块滤波器等所使用的全部的周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,也可以是宏块的全部数据,也可以仅是之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式5)
(5-1.概要)
接下来,对本发明实施方式5的图像解码装置的概要进行说明。
在本实施方式中,实施方式4的片间周边信息存储器被分割为两个。通过分割而访问分散,存储器的构成变得容易,并且容易使解码部的数量增加。
以上是关于本实施方式的图像解码装置的概要的说明。
(5-2.构成)
接下来,对本实施方式的图像解码装置的构成进行说明。
图33是本实施方式的图像解码装置的构成图。与图25相同的构成要素省略说明。本实施方式的图像解码装置,具有用于对从不同片参照的信息进行保存的两个片间周边信息存储器50、51。
以上是关于本实施方式的图像解码装置的构成的说明。
(5-3.动作)
本实施方式的动作与实施方式4的动作同样,因此使用图28和图29进行说明。在图28中,解码部8在对用于解码的数据进行检查时(S402),对由解码部9管理的片间周边信息存储器51的数据进行检查。此外,在图29中,解码部8在写入解码结果的数据时(S414),向由解码部8管理的片间周边信息存储器50写入数据。
另一方面,在图28中,解码部9在对用于解码的数据进行检查时(S402),对由解码部8管理的片间周边信息存储器50的数据进行检查。此外,在图29中,解码部9在写入解码结果的数据时(S414),向由解码部9管理的片间周边信息存储器51写入数据。
在此,各个解码部对写入目的地的片间周边信息存储器进行管理,但也可以对读出目的地进行管理。
(5-4.效果)
在实施方式4中,表示多个解码部对一个片间周边信息存储器进行访问的构成。但是,在解码部增加了的情况下,向片间周边信息存储器的访问集中,存储器管理变得困难。本实施方式的构成,是使各个解码部具有片间周边信息存储器的构成。由此,对一个片间周边信息存储器进行访问的解码部,成为仅对相邻的片进行处理的解码部。由此,访问不会集中,存储器管理变得容易。
(5-5.补充)
此外,本实施方式中,表示了向可变长度编码方式的应用例。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是算术编码、霍夫曼编码或者运转周期编码等的其它编码方式。
此外,本实施方式中,解码部的数量为两个。但是,解码部的数量不限于两个,也可以是3个或者4个或者更大的数。
此外,本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但可以为任意。
此外,本实施方式中,周边信息的检查以及周边信息的写入在各处理的前后进行。但是,也可以以宏块单位集中而进行周边信息的检查以及周边信息的写入。如此,在以宏块单位集中的情况下,管理表也可以仅为一个。
此外,本实施方式中,除了在片间进行参照以外的处理,表示H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而编码的编码方式,则也可以是MPEG2、MPEG4或者VC-1等的任意方式。
此外,本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左或者仅为左和上等。此外,根据处理,也可以使所参照的宏块变化。
此外,本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以是触发器等的其它存储元件。
此外,本实施方式中,在一个周边信息存储器中存储有算术解码、运动矢量计算、面内预测以及解块滤波器等所使用的全部周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,也可以是宏块的全部数据,也可以仅是之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式6)
(6-1.概要)
接下来,对本发明的实施方式6的图像编码装置的概要进行说明。
本实施方式的图像编码装置,通过多个编码部对图像进行编码,并变换为视频流。并且,系统编码器与另外编码的音频流进行AV复用而输出。编码了的视频流构成为能够由多个解码部读出。
此外,多个编码部经由周边信息存储器对编码参数以及局部解码(本地解码)结果的一部分相互进行参照。然后,多个编码部在取得同步的同时对图像进行编码。
以上是关于本实施方式的图像编码装置的概要的说明。
(6-2.构成)
接下来,对本实施方式的图像编码装置的构成进行说明。
图34是本实施方式的图像编码装置的构成图。本实施方式的图像编码装置局部帧存储器111、两个像素编码部104、105、两个可变长度编码部106、107、周边信息存储器110、两个CPB131、132、音频缓冲器102以及系统编码器101。
帧存储器111对输入图像以及局部解码图像进行保存。两个像素编码部104、105分别切割出帧存储器的图像的一部分并进行编码。两个可变长度编码部106、107分别进行可变长度编码处理。周边信息存储器110对用于编码的周边宏块的信息进行保存。
两个CPB131、132分别对被可变长度编码的流进行缓冲。即,CPB131对由编码部108生成的流进行缓冲,CPB132对由编码部109生成的流进行缓冲。音频缓冲器102对另外编码的音频流进行缓冲。系统编码器101将音频流和视频流进行AV复用。
此外,将像素编码部104和可变长度编码部106统称为编码部108,将像素编码部105和可变长度编码部107统称为编码部109。
图35是表示图34所示的两个可变长度编码部106、107的构成的构成图。对于与图34相同的构成要素省略说明。可变长度编码部106具有对流进行保存的流缓冲器112以及对输入数据进行可变长度编码的可变长度编码处理部114。同样可变长度编码部107具备流缓冲器113以及可变长度编码处理部115。
图36是图34所示的两个像素编码部104、105的构成图。对于与图34或者图35相同的构成要素省略说明。
像素编码部104具备运动检测部138、运动补偿部121、面内预测部119、差分计算部133、频率变换部134、量化部135、逆量化部116、逆频率变换部117、重构部118以及解块滤波器部122。
运动检测部138进行运动检测。运动补偿部121使用通过运动检测而得到的运动矢量进行运动补偿,由此生成预测图像。面内预测部119进行面内预测并生成预测图像。差分计算部133生成输入图像和预测图像的差分。
频率变换部134进行频率变换。量化部135根据生成码量而以与目标比特率一致的方式进行量化。逆频率变换部117与进行逆量化的逆量化部116进行逆频率变换。重构部118根据预测图像和逆频率变换结果进行重构。解块滤波器部122对重构的解码结果进行解块滤波处理。
此外,像素编码部105的构成是与像素编码部104同样的构成,因此在图36中省略记载。
以上是关于本实施方式的图像编码装置的构成的说明。
(6-3.动作)
接下来,对图34、图35及图36所示的图像编码装置的动作进行说明。
在本实施方式中,也使用图4B所示的实施方式1的流的构造以及图4C所示的实施方式1的宏块的处理顺序。此外,与实施方式1同样,图片的构造,除了存在允许片间参照的片、片内的处理顺序不同以外,与H.264标准相同。同样,宏块间的参照关系与图5A相同。此外,编码部108对片0以及片2进行编码,编码部109对片1以及片3进行编码。
接下来,使用图37的流程图对图34所示的图像编码装置的编码部108的动作进行说明。图37是表示1个图片的编码动作的流程图。
编码部108首先判断是否对前端片进行处理(S601)。编码部108在对前端片进行处理的情况下(S601中“是”),生成包含开始代码的图片头(S602)。所生成的图片头被写入CPB131。
接下来,编码部108生成进行处理的片的片头(S603)。
接下来,编码部108的像素编码部104以宏块单位执行像素编码处理(S604)。然后,编码部108的可变长度编码部106执行可变长度编码处理(S605)。
在像素编码处理以及可变长度编码处理之后,如果片的全部数据的编码未结束(S606中“否”),则编码部108的像素编码部104再次执行宏块单位的像素编码处理(S604)。
如果片的全部数据的编码结束(S606中“是”),则编码部108判断图片中由编码部108负责的全部片的编码是否结束(S607)。
如果全部片的编码未结束(S607中“否”),则编码部108再次生成片头(S603)。如果编码结束(S607中“是”),则编码部108结束图片的编码处理。
编码部109的动作除了负责的片不同以外,与编码部108的动作同样。
接下来,使用图38对图37的像素编码处理(S604)进行说明。
首先,像素编码部104的运动检测部138进行运动检测处理,该运动检测处理为,对以前局部解码的图片和要编码的宏块的相关最高的部分进行检测(S611)。
接下来,像素编码部104为了面内预测部119的面内预测处理而对周边信息进行检查(S001)。周边信息的检查(S001)的处理与图9所示的实施方式1的处理同样。
面内预测部119使用图15所示的周边宏块的图像,生成面内预测图像(S612)。
接下来,差分计算部133判断基于运动检测的交互MB和基于面内预测的内部MB的哪个的码量小,并决定编码模式。然后,差分计算部133计算预测图像和进行编码的宏块的差分数据(S613)。
在交互MB的情况下(S614中“是”),差分计算部133对周边信息进行检查(S001)。周边信息的检查(S001)的处理与图9所示的实施方式1的处理同样。
如果周边信息存储器110中存在差分运动矢量的计算所需要的数据,则差分计算部133进行差分运动矢量的计算(S615)。差分运动矢量的计算,对实施方式1的图14的mvd进行计算即可,因此省略说明。
差分计算部133为了在差分运动矢量的计算之后将决定的运动矢量向周边信息存储器110,而进行周边信息的写入处理(S002)。周边信息的写入处理与实施方式1同样。
接下来,频率变换部134对由差分计算部133计算的差分数据进行频率变换(S616)。
接下来,量化部135对进行了频率变换的数据进行量化(S617)。此时,量化部135根据可变长度编码部106计算的生成码量来决定量化参数,对数据进行量化。
在预料到生成码量比预先决定的片单位的目标码量变大的情况下,量化部135通过使量化幅度增大,由此降低生成码量。另一方面,在预料到比目标码量变小的情况下,量化部135通过使量化幅度减小,由此使生成码量增大。如此,通过进行反馈控制,由此码量被控制为接近目标码量。
在此,用于编码流生成的像素编码处理结束。但是,为了使参照图像与图像解码装置侧一致,而执行局部解码的处理。接下来,对局部解码处理进行说明。
在局部解码中,首先逆量化部116对被量化的数据进行逆量化(S618)。
接下来,逆频率变换部117对被逆量化的数据进行逆频率变换(S619)。
在交互MB的情况下,重构部118根据被逆频率变换的数据和在交互MB的情况下运动检测部138生成的参照图像,进行重构处理(S620)。在内部MB的情况下,重构部118根据被逆频率变换的数据和面内预测部119生成的参照图像,进行重构处理(S620)。
在重构处理结束后,为了进行下一个宏块的面内预测处理,重构部118进行周边信息的写入处理(S002)。周边信息的写入处理与实施方式1同样。
接下来,解块滤波器部122进行用于解块滤波器的周边信息的检查(S001)。
如果存在处理所需要的周边信息,则解块滤波器部122进行解块滤波器,将结果保存到帧存储器111中(S621)。
当解块滤波器的处理结束时,解块滤波器部122进行周边信息的写入处理(S002)。由此,像素编码部104结束像素编码处理。
像素编码部105的处理与像素编码部104的处理同样。
接下来,使用图39对可变长度编码部106的处理进行说明。
首先,可变长度编码部106对周边信息进行检查(S001)。如果在周边信息存储器110中不存在需要的周边信息,则可变长度编码部106在写入之前对处理进行待机。如果存在需要的周边信息,则可变长度编码部106对从像素编码部104输入的数据进行可变长度编码(S631)。接下来,可变长度编码部106将可变长度编码的结果向周边信息存储器110写入(S002)。
可变长度编码部107的动作与可变长度编码部106的动作同样。
如上所述,与实施方式1的图像解码装置同样,两个编码部经由周边信息存储器而同步地进行动作,由此对图像进行编码。
以上是关于本实施方式的图像编码装置的动作的说明。
(6-4.特征性要素)
接下来,对本实施方式的特征性要素进行说明。
图40A是表示图34所示的图像编码装置的特征性构成的构成图。
图40A所示的图像编码装置具备第一编码部821、第二编码部822以及第一存储部831。第一编码部821、第二编码部822以及第一存储部831分别通过图34所示的编码部108、编码部109以及周边信息存储器110来实现。图40A所示的图像编码装置对具有多个片的图像进行编码。
第一编码部821是对多个片之中的第一片所包含的块进行编码的处理部。
第二编码部822是对多个片之中与第一片不同的第二片所包含的块进行编码的处理部。
第一存储部831是用于对片间周边信息进行存储的存储部。在此,通过第一片所包含的块之中与第二片相邻的块即边界块被编码而生成片间周边信息。此外,在第二片所包含的块之中与边界块相邻的块即片间周边块被编码时,参照片间周边信息。
第一编码部821将通过对边界块进行编码而生成的片间周边信息保存到第一存储部831中。
第二编码部822对第一存储部831所存储的片间周边信息进行参照,对片间周边块进行编码。
图40B是表示图40A所示的图像编码装置的特征性动作的流程图。
首先,第一编码部821对多个片之中的第一片所包含的块进行编码的。此时,第一编码部821将通过对边界块进行编码而生成的片间周边信息保存到第一存储部831中(S821)。
接下来,第二编码部822对多个片之中与第一片不同的第二片所包含的块进行编码。此时,第二编码部822对第一存储部831所存储的片间周边信息进行参照,对片间周边块进行编码(S822)。
此外,仅在片内被参照的信息可以存储于第一存储部831,也可以存储于其它存储部。
以上是关于本实施方式的特征性要素的说明。
(6-5.效果)
如此,实施方式6的图像编码装置与实施方式1同样,具备两个编码部108、109以及周边信息存储器110。然后,在周边信息存储器110中仅保存参照所需要的数据。将不被参照的数据废弃,能够写入新的参照所需要的数据。由此,周边信息存储器110的容量减少。
此外,由于周边信息存储器110的容量被充分确保,因此两个编码部108、109的处理的等待时间减少,能够进行更有效的编码。而且,即使在图像编码装置的动作频率较低的情况下,通过并行处理,由此图像也被高速地解码。
(6-6.补充)
此外,本实施方式中,以与实施方式1所示的图像解码装置同样的周边信息存储器的构成为例进行了说明,但也可以是如其它实施方式所示那样的构成。
此外,本实施方式中,表示了向可变长度编码方式的应用例。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是算术编码、霍夫曼编码或者运转周期编码等的其它编码方式。
此外,本实施方式中,编码部的数量为两个。但是,编码部的数量不限于两个,也可以是3个或者4个或者更大的数。
此外,本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但可以为任意。
此外,本实施方式中,周边信息的检查以及周边信息的写入在各处理的前后进行。但是,也可以以宏块单位集中地进行周边信息的检查以及周边信息的写入。如此,在以宏块单位集中的情况向,管理表也可以仅为一个。
此外,本实施方式中,除了在片间进行参照以外的处理,表示H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而编码的编码方式,则也可以是MPEG2、MPEG4或者VC-1等的任意方式。
此外,本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左或者仅为左和上等。此外,根据处理,也可以使所参照的宏块变化。
此外,本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以是触发器等其它存储元件。
此外,本实施方式中,在一个周边信息存储器中存储有算术编码、运动矢量计算、面内预测以及解块滤波器等所使用的全部周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,也可以是宏块的全部数据,也可以仅是之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式7)
(7-1.概要)
接下来,对本发明的实施方式7的图像解码装置的概要进行说明。
本实施方式的图像解码装置,通过多个解码部读出由系统解码器从被AV复用的流中分离的视频流。视频流构成为能够预先通过多个解码部读出。
本实施方式的图像解码装置,在前级进行可变长度解码处理,对解码结果暂时进行缓冲。然后,本实施方式的图像解码装置在后级进行像素解码处理。
通过如此构成,即使在可变长度解码处理的计算时间的不均较大的情况下,也通过缓冲器将整体的处理时间平均化。由此,能够更高效地执行解码处理。
以上是关于本实施方式的图像解码装置的概要的说明。
(7-2.构成)
接下来,对本实施方式的图像解码装置的构成进行说明。
图41是本实施方式的图像解码装置的构成图。本实施方式的图像解码装置具备数据缓冲器36,该数据缓冲器36对从可变长度解码部4输出的数据进行临时保存,并对从像素解码部6参照的数据进行存储。此外,本实施方式的图像解码装置具备数据缓冲器37,该数据缓冲器37对从可变长度解码部5输出的数据进行临时保存,对从像素解码部7参照的数据进行存储。关于其它构成要素与图1所示的实施方式1同样。
以上是关于本实施方式的图像解码装置的构成的说明。
(7-3.动作)
接下来,对本实施方式的图像解码装置的动作进行说明。
本实施方式的图像解码装置的动作与实施方式1的动作同样。但是,从两个可变长度解码部4、5输出的数据,不是直接向两个像素解码部6、7传递,而是暂时保存至两个数据缓冲器36、37中。两个数据缓冲器36、37与在两个可变长度解码部4、5的处理持续的期间所输出的数据相比,具有足够的容量。由此,处理时间被平均化。
此外,两个可变长度解码部4、5的处理时间基本上与其比特量成正比例。在H.264中,在流的平均比特率为20Mbps程度、帧率为1秒间30帧的情况下,每个图片的比特量为0.67Mbit程度。
但是,实际上,每个图片的比特量允许与此相比为10倍程度为止。另一方面,平均比特率为20Mbps程度,因此比特量最大的图片之后的图片成为较小的比特量。由此,图片单位的处理时间的变动变大。因此,如果不使动作频率提高,则不能够实现顺畅的解码处理。
本实施方式的图像解码装置,通过使图片单位的处理时间平均化,由此不使动作频率提高,而实现顺畅的解码处理。
此外,在向各解码部分配的片的码量的合计为均衡的情况下,各解码部被要求的性能得以抑制。
(7-4.特征性要素)
接下来,对本实施方式的特征性要素进行说明。
图42是表示图41所示的图像解码装置的特征性构成的构成图。
图42所示的图像解码装置具备第一解码部801、第二解码部802、第一存储部811、第一数据缓冲器841、第二数据缓冲器842、第一像素解码部851以及第二像素解码部852。第一解码部801、第二解码部802、第一存储部811、第一数据缓冲器841、第二数据缓冲器842、第一像素解码部851以及第二像素解码部852,分别由图41所示的解码部8、解码部9、周边信息存储器10、两个数据缓冲器36、37以及两个像素解码部6、7实现。图42所示的图像解码装置对具有多个片的图像进行解码。
第一解码部801是对多个片之中的第一片所包含的块进行解码的处理部。
第二解码部802是对多个片之中与第一片不同的第二片所包含的块进行解码的处理部。
第一存储部811是用于对片间周边信息进行存储的存储部。
上述构成要素与图18A所示的实施方式1的图像解码装置的构成要素同样。在图42所示的图像解码装置中,还增加有第一数据缓冲器841、第二数据缓冲器842、第一像素解码部851以及第二像素解码部852。
第一数据缓冲器841以及第二数据缓冲器842是用于存储数据的存储部。
第一解码部801对第一片所包含的块进行可变长度解码。然后,第一解码部801将被可变长度解码的数据保存到第一数据缓冲器841中。
第一像素解码部851将第一数据缓冲器841所保存的数据变换为像素值。
第二解码部802对第二片所包含的块进行可变长度解码。然后,第二解码部802将被可变长度解码的数据保存到第二数据缓冲器842中。
第二像素解码部852将第二数据缓冲器842所保存的数据变换为像素值。
此外,第二解码部802也可以对第二片所包含的块进行可变长度解码,并向第一数据缓冲器841保存被可变长度解码的数据。而且,由第二解码部802进行可变长度解码而得到的数据,也可以通过第一像素解码部851变换为像素值。
以上是关于本实施方式的特征性要素的说明。
(7-5.效果)
本实施方式的图像解码装置,即使在可变长度解码部的处理时间比像素解码部的处理时间显著变长的情况下,通过两个数据缓冲器36、37,也能够使处理时间平均化。由此,本实施方式的图像解码装置即使在动作频率较低的情况下,也能够顺利地将图像解码。
(7-6.补充)
本实施方式中,以与实施方式1所示的图像解码装置同样的周边信息存储器的构成为例进行了说明,但也可以是其他实施方式所示那样的构成。
此外,为了使数据缓冲器的容量减少或者为了使向数据缓冲器的访问带宽减少,可变长度解码部也可以将可变长度解码了的数据压缩,像素解码部在进行像素解码之前将压缩的数据解压缩。
此外,本实施方式中,解码部的数量为两个。但是,解码部的数量不限于两个,也可以是3个或者4个或者更大的数。
此外,本实施方式中,可变长度解码部的数量为两个,像素解码部的数量为两个。但是,可变长度解码部的数量和像素解码部的数量也可以不同。例如,也可以可变长度解码部的数量为一个、像素解码部的数量为两个,它们的数量能够在满足性能的范围内自由决定。
此外,本实施方式中,表示了向可变长度编码方式的应用例。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是算术编码、霍夫曼编码或者运转周期编码等其它编码方式。
此外,本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但可以为任意。
此外,本实施方式中,周边信息的检查以及周边信息的写入在各处理的前后进行。但是,也可以以宏块单位集中地进行周边信息的检查以及周边信息的写入。如此,在以宏块单位集中的情况下,管理表也可以仅为一个。
此外,本实施方式中,除了在片间进行参照以外的处理,表示H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而编码的编码方式,则有可以是MPEG2、MPEG4或者VC-1等任意方式。
此外,本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左或者仅为左和上等。此外,根据处理,也可以使所参照的宏块变化。
此外,本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以是触发器等其它存储元件。
此外,本实施方式中,在一个周边信息存储器中存储有算术解码、运动矢量计算、面内预测以及解块滤波器等所使用的全部周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,也可以是宏块的全部数据,也可以仅是之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式8)
(8-1.概要)
接下来,对本发明实施方式8的图像编码装置的概要进行说明。
本实施方式的图像编码装置,通过多个编码部对图像进行编码,变换成视频流。并且,系统编码器与另外被编码的音频流进行AV复用而输出。编码的视频流构成为能够通过多个解码部读出。
此外,多个编码部经由周边信息存储器对编码参数以及局部解码结果的一部分进行相互参照。然后,多个编码部在取得同步的同时对图像进行编码。
本实施方式的图像编码装置,在前级进行像素编码,对编码结果暂时进行缓冲。然后,本实施方式的图像编码装置在后级进行可变长度编码处理。
通过如此构成,即使在可变长度编码处理的计算时间的不均较大的情况下,也通过缓冲器使整体的处理时间平均化。由此,更高效地执行编码处理。
以上是关于本实施方式的图像编码装置的概要的说明。
(8-2.构成)
接下来,对本实施方式的图像编码装置的构成进行说明。
图43是本实施方式的图像编码装置的构成图。本实施方式的图像编码装置具备数据缓冲器136,该数据缓冲器136对从像素编码部104输出的数据进行临时保存,对从可变长度编码部106参照的数据进行存储。同样,本实施方式的图像编码装置具备数据缓冲器137,该数据缓冲器137对从像素编码部105输出的数据进行临时保存,对从可变长度编码部107参照的数据进行存储。其它的构成要素与图34所示的实施方式6的构成要素同样。
以上是关于本实施方式的图像编码装置的构成的说明。
(8-3.动作)
接下来,对本实施方式的图像编码装置的动作进行说明。
本实施方式的图像编码装置的动作与实施方式6的动作同样。但是,两个像素编码部104,105的输出,不是直接向两个可变长度编码部106、107传递,而是暂时在两个数据缓冲器136、137中保存。两个数据缓冲器136、137与在两个可变长度编码部106、107的处理持续的期间所保存的数据相比,具有足够的容量。由此,处理时间被平均化。
此外,两个可变长度编码部106、107的处理时间,基本上与其比特量成正比例。在H.264中,流的平均比特率为20Mbps程度,在帧率为1秒间30帧的情况下,每张图片的比特量为0.67Mbit程度。
但是,实际上,每张图片的比特量允许与此相比为10倍程度。另一方面,平均比特率为20Mbps程度,因此比特量最大的图片之后的图片,成为较小的比特量。由此,图片单位的处理时间的变动变大。因此,如果不使动作频率提高,则不能够实现顺畅的编码处理。
本实施方式的图像编码装置,通过使图片单位的处理时间平均化,由此不使动作频率提高,也实现顺畅的编码处理。
此外,在向各编码部分配的片的码量的合计较均衡的情况下,各编码部被要求的性能得以抑制。
(8-4.效果)
本实施方式的图像编码装置为,即使在可变长度编码部的处理时间与像素编码部的处理时间相比显著大的情况下,也能够通过两个数据缓冲器136、137使处理时间平均化。由此,本实施方式的图像编码装置,即使在动作频率较低的情况下,能够顺利地对图像进行编码。
(8-5.补充)
本实施方式中,以与实施方式6所示的图像编码装置同样的周边信息存储器的构成为例进行说明,也可以为其他实施方式所示的构成。
此外,为了使数据缓冲器的容量减少、或者为了使向数据缓冲器的访问带宽减少,也可以为,像素编码部对进行了像素编码的数据进行压缩,可变长度编码部在进行可变长度编码之前将压缩的数据解压缩。
此外,本实施方式中,可变长度编码部的数量为两个,像素编码部的数量为两个。但是,可变长度编码部的数量和像素编码部的数量也可以不同。例如,也可以为可变长度编码部的数量为一个、像素编码部的数量为两个,它们的数量能够在满足性能的范围内自由决定。
此外,本实施方式中,编码部的数量为两个。但是,编码部的数量不限于两个,也可以是3个或者4个或者更大的数。
此外,本实施方式中,表示了向可变长度编码方式的应用例。但是,编码方式只要是对周边宏块的数据进行参照的编码方式,则也可以是算术编码、霍夫曼编码或者运转周期编码等其它编码方式。
此外,本实施方式中,片的垂直方向的宏块数为3个。但是,片的垂直方向的宏块数不限定于3个,也可以多或少。此外,图片内的片的数量在本实施方式中为4个,但可以为任意。
此外,本实施方式中,周边信息的检查以及周边信息的写入在各处理的前后进行。但是,也可以以宏块单位集中地进行周边信息的检查以及周边信息的写入。如此,在以宏块单位集中的情况下,管理表也可以仅为一个。
此外,本实施方式中,除了在片间进行参照以外的处理,表示H.264的例子。但是,编码方式只要是对周边宏块的信息进行参照而编码的编码方式,则也可以是MPEG2、MPEG4或者VC-1等任意的方式。
此外,本实施方式中,对象宏块对左、上、右上、左上的4个宏块进行参照。但是,所参照的宏块也可以仅为左或者仅为左和上等。此外,根据处理,也可以使所参照的宏块变化。
此外,本实施方式中,保存信息的要素为存储器。但是,保存信息的要素也可以为触发器等其它存储元件。
此外,本实施方式中,在一个周边信息存储器中存储有算术编码、运动矢量计算、面内预测以及解块滤波器等所使用的全部周边信息。但是,各个周边信息也可以存储于其它存储器,也可以存储于触发器等存储元件。
此外,向周边信息存储器写入的运动矢量、重构图像或者解块滤波器结果等数据,也可以是宏块的全部数据,也可以仅为之后被参照的数据。由此,周边信息存储器的容量进一步减少。
(实施方式9)
接下来,对本发明的实施方式9的图像解码装置进行说明。
本实施方式为如下方式,将实施方式1所示的图像解码装置实现为典型的半导体集成电路即LSI(Large Scale Integration)。
图44是本实施方式的图像解码装置的构成图。
这些也可以分别独立地单芯片化,也可以以包含一部分或者全部的方式单芯片化。在此,设为了LSI,但是根据集成度的不同,有时也称为IC(Integrated Circuit)、系统LSI、超级LSI、巨大LSI。
此外,集成电路化的手法不限于LSI,也可以通过专用电路或者通用处理器来实现。在LSI制造后,也可以利用能够进行编程的FPGA(FieldProgrammable Gate Array)、或者能够对LSI内部的电路单元的连接以及设定进行重构的可重构处理器等。
并且,如果由于半导体技术的进步或者派生的其它技术而出现向LSI置换的集成电路化的技术,则当然也可以使用该技术进行功能块的集成化。也可能进行生物技术的适应等。
并且,也能够将对本实施方式的图像解码装置进行了集成化的半导体晶片、与用于描绘图像的显示器组合,而构成与各种用途相对应的描绘设备。作为便携电话、电视机、数字视频记录器、数字视频摄像机、或者汽车导航仪等信息描绘构件,也能够利用本发明。作为显示器,除了阴极管(CRT)之外,还能够与液晶显示器、PDP(等离子显示面板)、有机EL等的平板显示器或者以投影仪为代表的投射型显示器等组合。
此外,本实施方式表示了系统LSI和DRAM(Dynamic Random AccessMemory)的构成,但是也可以由eDRAM(embedded DRAM)、SRAM(StaticRandom Access Memory)或者硬盘等其它存储装置构成。
(实施方式10)
接下来,对本发明的实施方式10的图像编码装置进行说明。
本实施方式为如下方式,将实施方式6所示的图像编码装置实现为典型的半导体集成电路即LSI。
图45是本实施方式的图像编码装置的构成图。
这些可以分别独立地单芯片化,也可以以包含一部分或者全部的方式单芯片化。在此,设为了LSI,但根据集成度的不同,也可以称为IC、系统LSI、超级LSI、巨大LSI。
此外,集成电路化的手法不限于LSI,也可以通过专用电路或者通用处理器来实现。在LSI制造后,也可以利用能够进行编程的FPGA、或者能够对LSI内部的电路单元的连接以及设定进行重构的可重构处理器。
并且,如果由于半导体技术的进步或者派生的其它技术而出现向LSI置换的集成电路化的技术,则当然也可以使用该技术而进行功能块的集成化。也可能进行生物技术的适应等。
并且,能够将对本实施方式的图像编码装置进行了集成化的半导体晶片、和用于描绘图像的显示器组合,而构成与各种用途相对应的描绘机器。作为便携电话、电视机、数字视频记录器、数字视频摄像机或者数码摄像机等拍摄构件,也能够利用本发明。
此外,本实施方式表示了系统LSI和DRAM的构成,但也可以由eDRAM、SRAM或者硬盘等其它存储装置构成。
(实施方式11)
通过将用于实现在上述各实施方式中表示的图像编码方法以及图像解码方法的构成的程序记录到存储媒体中,由此能够将在上述各实施方式中表示的处理在独立的计算机系统中简单地实施。存储媒体是磁盘、光盘。光磁盘、IC卡、半导体存储器等能够记录程序的媒体即可。
并且,在此,对在上述各实施方式中表示的图像编码方法以及图像解码方法的应用例以及使用该这些方法的系统进行说明。
图46是表示实现内容分发服务的内容提供系统ex100的整体构成的图。将通信服务的提供区域分割为所希望的大小,在各单元内分别设置有作为固定无线电站的基站ex106~ex110。
在该内容提供系统ex100中,经由电话网ex104以及基站ex106~ex110,计算机ex111、PDA(Personal Digital Assistant)ex112、摄像机ex113、便携电话ex114、游戏机ex115等各设备相互连接。此外,各设备经由因特网服务提供商ex102与因特网ex101连接。
但是,内容提供系统ex100不限定于图46那样的构成,也可以将任意的要素组合而进行连接。此外,也可以不经由作为固定无线电站的基站ex106~ex110,而各设备与电话网ex104直接连接。此外,各设备也可以经由近距离无线电等直接相互连接。
摄像机ex113是数字视频摄像机等能够进行动画拍摄的设备,照相机ex116是数字摄像机等的能够进行静止画拍摄、动画拍摄的设备。此外,便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-CodeDivision Multiple Access)方式、LTE(Long Term Evolution)方式或者HSPA(High Speed Packet Access)方式的便携电话,或者是PHS(PersonalHandyphone System)等,可以是任意的。
在内容提供系统ex100中,摄像机ex113等通过基站ex109、电话网ex104而与流服务器ex103连接,由此能够进行现场分发等。在现场分发中,用户对于使用摄像机ex113拍摄的内容(例如音乐现场影像等),如在上述各实施方式说明的那样进行编码处理,并向流服务器ex103发送。另一方面,流服务器ex103对于具有要求的客户端,将所发送的内容数据进行流分发。作为客户端,存在能够对上述被编码处理的数据进行解码的计算机ex111、PDAex112、摄像机ex113、便携电话ex114以及游戏机ex115等。在对所分发的数据进行接收的各设备中,对接收的数据进行解码处理而进行再生。
此外,拍摄的数据的编码处理也可以通过摄像机ex113进行,也可以通过进行数据的发送处理的流服务器ex103来进行,也可以相互分担地进行。同样所分发的数据的解码处理也可以通过客户端进行,也可以通过流服务器ex103来进行,也可以相互分担地进行。此外,不限于摄像机ex113,也可以将由照相机ex116拍摄的静止图像以及/或者运动图像数据经由计算机ex111向流服务器ex103发送。此时的编码处理,可以由照相机ex116、计算机ex111以及流服务器ex103之一来进行,也可以相互分担地进行。
此外,这些编码处理以及解码处理,一般在计算机ex111以及各设备具有的LSI(Large Scale Integration)ex500中执行。LSIex500可以为单芯片也可以为由多个芯片形成的构成。此外,也可以将图像编码用的软件或者图像解码用的软件安装到计算机ex111等能够读取的任意的记录媒体(CD-ROM、软盘、硬盘等),使用该软件来进行编码处理或者解码处理。并且,在便携电话ex114带有摄像机的情况下,也可以对由该摄像机取得的运动图像数据进行发送。此时的运动图像数据,是由便携电话ex114所具有的LSIex500编码处理的数据。
此外,流服务器ex103为多个服务器或者多个计算机,也可以是将数据分散而处理、记录或者分发的服务器。
通过以上,在内容提供系统ex100中,客户端能够对被编码的数据进行接收而进行再生。如此,在内容提供系统ex100中,客户端能够现场地对用户发送的信息进行接收而解码并进行再生,即使是不具有特别的权利以及设备的用户,也能够实现个人广播。
此外,不限于内容提供系统ex100的例子,如图47所示那样,在数字广播用系统ex200中,也可以设置上述各实施方式的至少图像编码装置或者图像解码装置的任意一个。具体地说,在广播站ex201中,影像信息的比特流经由电波进行通信或者向卫星ex202传送。该比特流是通过在上述各实施方式说明了的图像编码方法编码的编码比特流。接受了该比特流的广播卫星ex202发送广播用的电波,能够进行卫星广播接收的家庭的天线ex204接收该电波。电视机(接收机)ex300或者机顶盒(STB)ex217等装置,对接收的比特流进行解码而进行再生。
此外,在对记录在作为记录介质的CD以及DVD等的记录媒体ex214中的比特流进行读取、解码的再生装置ex212中,也能够安装在上述实施方式中表示的图像解码装置。在该情况下,所再生的影像信号在监视器ex213上显示。
此外,在对记录在DVD、BD等的记录媒体ex215中的编码比特流进行读取解码、或者向记录媒体ex215将影像信号进行编码写入的读取器/记录器ex218中,能够安装在上述各实施方式中表示的图像解码装置或者图像编码装置。在该情况下,所再生的影像信号在监视器ex219上显示,通过记录了编码比特流的记录媒体ex215,能够在其它装置以及系统中对影像信号进行再生。此外,也可以在与线缆电视机用的线缆ex203或者卫星/地上波广播的天线ex204连接的机顶盒ex217内安装图像解码装置,通过电视机的监视器ex219来对其进行显示。此时,也可以不是机顶盒,而在电视机内设置图像解码装置。
图48是表示使用了在上述各实施方式中说明了的图像解码方法的电视机(接收机)ex300的图。电视机ex300具备:调谐器ex301,经由接收上述广播的天线ex204或者线缆ex203等,取得或者输出影像信息的比特流;调制/解调部ex302,对接收的编码数据进行解调或者调制为向外部发送的编码数据;以及复用/分离部ex303,对解调的影像数据、声音数据进行分离,或者对所编码的影像数据、声音数据进行复用。
此外,电视机ex300具有:信号处理部ex306,具有对声音数据、影像数据分别进行解码,或者对各个信息进行编码的声音信号处理部ex304、影像信号处理部ex305;扬声器ex307,对解码的声音信号进行输出;以及输出部ex309,具有对解码的影像信号进行显示的显示器等显示部ex308。并且,电视机ex300具有接口部ex317,该接口部ex317具有接受用户操作的输入的操作输入部ex312等。并且,电视机ex300具有对各部分统一地进行控制的控制部ex310和向各部分提供电力的电源电路部ex311。
接口部ex317除了操作输入部ex312以外,也可以具有:与读取器/记录器ex218等外部设备连接的桥ex313;用于安装SD卡等记录媒体ex216的插口部ex314;用于与硬盘等外部记录媒体连接的驱动器ex315;以及与电话网连接的调制解调器ex316等。此外,记录媒体ex216为,能够通过保存的非易失性/挥发性的半导体存储器元件,电气地进行信息的记录。
电视机ex300的各部经由同步总线相互连接。
首先,说明电视机ex300对通过天线ex204等从外部取得的数据进行解码并进行再生的构成。电视机ex300接受来自遥控器ex220等的用户操作,基于具有CPU等的控制部ex310的控制,通过复用/分离部ex303将由调制/解调部ex302解调的影像数据、声音数据进行分离。并且,电视机ex300将分离的声音数据通过声音信号处理部ex304进行解码,将分离的影像数据通过影像信号处理部ex305使用在上述各实施方式中说明了的解码方法进行解码。解码的声音信号、影像信号分别从输出部ex309向外部输出。在进行输出时,以声音信号和影像信号同步地进行再生的方式,在缓冲器ex318、ex319等中暂时蓄积这些信号。此外,电视机ex300不仅从广播等,也可以从磁/光盘、SD卡等记录媒体ex215、ex216读出被编码的编码比特流。
接下来,说明电视机ex300对声音信号以及影像信号进行编码、向外部发送或者向记录媒体等写入的构成。电视机ex300接受来自遥控器ex220等的用户操作,基于控制部ex310的控制,通过声音信号处理部ex304对声音信号进行编码,通过影像信号处理部ex305使用在上述各实施方式中说明了的编码方法对影像信号进行编码。编码的声音信号、影像信号通过复用/分离部ex303复用并向外部输出。在进行复用时,以声音信号和影像信号同步的方式,向缓冲器ex320、ex321等暂时蓄积这些信号。
此外,缓冲器ex318~ex321可以如图示那样具备多个,也可以为共享一个以上的缓冲器的构成。并且,在图示以外,例如在调制/解调部ex302以及复用/分离部ex303之间等,作为避开系统的溢出流、下降流的缓冲材料,也可以将数据向缓冲器蓄积。
此外,电视机ex300除了从广播以及记录媒体等取得声音数据以及影像数据以外,也可以具备接受麦克风以及摄像机的AV输入的构成,并对从这些取得的数据进行编码处理。此外,在此,电视机ex300作为能够上述编码处理、复用以及外部输出的构成进行了说明,但也可以是不能够进行这些处理,而仅能够进行上述接收、解码处理、外部输出的构成。
此外,在通过读取器/记录器ex218从记录媒体读出编码比特流或者写入的情况下,上述解码处理或者编码处理可以通过电视机ex300和读取器/记录器ex218的任意一个进行,也可以电视机ex300和读取器/记录器ex218相互分担地进行。
作为一个例子,图49表示从光盘进行数据的读入或者写入时的信息再生/记录部ex400的构成。信息再生/记录部ex400具备以下说明的要素ex401~ex407。
光头ex401对光盘即记录媒体ex215的记录面照射激光点而写入信息,并对从记录媒体ex215的记录面的反射光进行检测而读入信息。调制记录部ex402对光头ex401所内置的半导体激光进行电驱动,并根据记录数据进行激光的调制。再生解调部ex403,将通过光头ex401所内置的照片探测器对从记录面的反射光进行电检测的再生信号进行放大,对记录媒体ex215所记录的信号成分进行分离而解调,对需要的信息进行再生。缓冲器ex404对用于向记录媒体ex215进行记录的信息以及从记录媒体ex215再生的信息暂时进行保持。盘马达ex405使记录媒体ex215旋转。伺服控制部ex406对盘马达ex405的旋转驱动进行控制,并且使光头ex401沿着规定的信息轨道移动,进行激光点的追随处理。
系统控制部ex407进行信息再生/记录部ex400整体的控制。上述的读出以及写入的处理如下地实现:系统控制部ex407利用缓冲器ex404所保持的各种信息,或者根据需要进行新信息的生成以及追加,并且使调制记录部ex402、再生解调部ex403、伺服控制部ex406协调动作,并且通过光头ex401进行信息的记录再生。系统控制部ex407例如由微处理器构成,执行读出写入的程序,由此执行这些处理。
以上,说明了光头ex401照射激光点,也可以构成为使用接近场光进行高密度的记录。
图50表示光盘即记录媒体ex215的示意图。在记录媒体ex215的记录面上,引导槽(组)形成为螺旋状,在信息轨道ex230上预先通过组的形状的变化而记录有盘上的绝对位置的地区信息。该地区信息包含用于确定记录数据的单位即记录块ex231的位置的信息,在进行记录以及再生的装置中,通过对信息轨道ex230进行再生并读取地区信息,由此能够确定记录块。此外,记录媒体ex215含有数据记录区域ex233、内周区域ex232以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233,比数据记录区域ex233靠内周或者外周配置的内周区域ex232和外周区域ex234,用于用户数据的记录以外的确定用途。
信息再生/记录部ex400对于这种记录媒体ex215的数据记录区域ex233,进行所编码的声音数据、影像数据或者对这些数据进行了复用的编码数据的读写。
以上,图1层的DVD、BD等光盘为例进行了说明,但不限于这些,也可以为多层构造、在表面以外也能够进行记录的光盘。此外,也可以是在盘的相同的场所使用各种不同波长的颜色的光记录信息、或者从各种角度记录不同信息的层等、进行多维的记录/再生的构造的光盘。
此外,在数字广播用系统ex200中,还能够通过具有天线ex205的车ex210来从卫星ex202等接收数据,并在车ex210具有的汽车导航仪ex211等显示装置上对动画进行再生。此外,汽车导航仪ex211的构成,例如可以考虑是图48所示的构成之中、增加了GPS接收部的构成,可以认为在计算机ex111以及便携电话ex114等中为同样的情况。此外,上述便携电话ex114等终端,与电视机ex300同样,可以考虑到除了具有编码器以及解码器双方的收发信号型终端之外的、仅具有编码器的发送终端、仅具有解码器的接收终端这3种。
如此,能够将在上述各实施方式中表示的图像编码方法或者图像解码方法,在上述任意的设备或者系统中使用,由此能够得到在上述各实施方式中说明的效果。
此外,本发明不限定于上述实施方式,能够不脱离本发明范围地进行各种变形或者修正。
(实施方式12)
在本实施方式中,实施方式1所示的图像解码装置以及实施方式6所示的图像编码装置,典型地能够实现为半导体集成电路即LSI。实现的方式如图51以及图52所示。图像解码装置的各构成要素构成在图51所示的LSI上,图像编码装置的各构成要素构成在图52所示的LSI上。
这些也可以分别独立地单芯片化,也可以以包含一部或者全部的方式被单芯片化。在此,设为了LSI,但根据集成度的不同,有时也称为IC、系统LSI、超级LSI、巨大LSI。
此外,集成电路化的手法不限于LSI,也可以通过专用电路或者通用处理器实现。在LSI制造后,也可以利用能够进行编程的FPGA(FieldProgrammable Gate Array)、或者能够对LSI内部的电路单元的连接以及设定进行重构的可重构处理器。
并且,如果由于半导体技术的进步或者派生的其他技术而出现向LSI置换的集成电路化的技术,当然也可以使用该技术进行功能块的集成化。也可能进行生物技术的适应等。
并且,能够将对本实施方式的图像解码装置进行集成化的半导体晶片和用于描绘图像的显示器组合,而构成与各种用途相对应的描绘设备。也能够将本发明利用为便携电话、电视机、数字视频记录器、数字视频摄像机以及汽车导航仪等的信息描绘手段。作为显示器除了阴极管(CRT)之外,也能够组合液晶、PDP(等离子显示器控制台)以及有机EL等平板显示器、以投影仪为代表的投射型显示器等。
此外,本实施方式的LSI,也可以通过与具有蓄积编码流的比特流缓冲器以及蓄积图像的帧存储器等的DRAM(Dynamic Random Access Memory)协作,来进行编码处理或者解码处理。此外,本实施方式的LSI也可以不是DRAM,而与eDRAM(embeded DRAM),SRAM(Static Random AccessMemory)或者硬盘等其它存储装置协作。
(实施方式13)
在上述各实施方式中表示的图像编码装置、图像解码装置、图像编码方法以及图像解码方法,典型地通过集成电路即LSI实现。作为一个例子,图53表示被单芯片化的LSIex500的构成。LSIex500具备以下说明的要素ex502~ex509,各要素经由总线ex510连接。电源电路部ex505在电源导通状态的情况下,对各部分提供电力,由此起动为能够动作的状态。
例如,在进行编码处理的情况下,LSIex500通过AVI/Oex509从麦克风ex117以及摄像机ex113等接受AV信号的输入。所输入的AV信号暂时蓄积在SDRAM等的外部的存储器ex511中。积蓄的数据根据处理量以及处理速度而适当地分为多次等,向信号处理部ex507传送。信号处理部ex507进行声音信号的编码以及/或者影像信号的编码。在此,影像信号的编码处理是在上述实施方式中说明的编码处理。在信号处理部ex507中,根据情况还进行对所编码的声音数据和所编码的影像数据进行复用等处理,并从流I/Oex504向外部输出。该输出的比特流朝向基站ex107发送或者向记录媒体ex215写入。
此外,例如在进行解码处理的情况下,LSIex500基于微机(微型计算机)ex502的控制,通过流I/Oex504将从基站ex107得到的编码数据或者从记录媒体ex215读出而得到的编码数据暂时蓄积到存储器ex511等中。基于微机ex502的控制,积蓄的数据根据处理量以及处理速度被适当地分为多次等,并向信号处理部ex507传送,在信号处理部ex507中进行声音数据的解码以及/或者影像数据的解码。在此,影像信号的解码处理是在上述各实施方式中说明的解码处理。并且,也可以根据情况,以能够将所解码的声音信号和所解码的影像信号进行同步而再生的方式,将各个信号暂时蓄积到存储器ex511等中。所解码的输出信号在适当地经由存储器ex511等的同时,从AVI/Oex509向监视器ex219等输出。构成为,在对存储器ex511进行访问时,经由存储器控制器ex503。
此外,在上述中,说明了存储器ex511为LSIex500外部的构成,但也可以是LSIex500内部所包含的构成。此外,LSIex500也可以被单芯片化、也可以被多芯片化。
此外,在此,设为了LSI,但根据集成度的不同,有时也称为IC、系统LSI、超级LSI、巨大LSI。
此外,集成电路化的手法不限于LSI,也可以通过专用电路或者通用处理器实现。在LSI制造后,也可以利用能够进行编程的FPGA(FieldProgrammable Gate Array)或者能够对LSI内部的电路单元的连接以及设定进行重构的可重构处理器。
并且,如果由于半导体技术的进步或者派生的其它技术而出现向LSI置换的集成电路化的技术,则当然也可以使用该技术而进行功能块的集成化。还可能进行生物技术的适应等。
以上,各实施方式的图像编码装置以及图像解码装置能够利用跨片边界的空间依赖。由此,高效地实现并行处理。
此外,对于本发明的图像编码装置以及图像解码装置,基于多个实施方式进行了说明,但本发明不限定于这些实施方式。对于各实施方式实施本领域技术人员能够想到的变形而得到的方式也包含于本发明。此外,将多个实施方式的构成要素任意组合而实现的其它方式也包含于本发明。
此外,本发明不仅能够实现为图像编码装置以及图像解码装置,也能够实现为将构成图像编码装置以及图像解码装置的处理构件作为步骤的方法。然后,本发明能够实现为是计算机计算机执行这些步骤的程序。并且,本发明能够实现为存储该程序的计算机能够读取的CD-ROM等存储介质。
工业上的可利用性
本发明的图像解码装置以及图像编码装置能够利用于各种用途。例如,能够利用于电视机、数字视频记录器、汽车导航仪、便携电话、数字照相机、数字视频摄像机等高分辨率的信息显示设备以及拍摄设备,利用价值很高。
附图标记说明
1 系统解码器
2,102 音频缓冲器
3,131,132 CPB
4,5 可变长度解码部
6,7 像素解码部
8,9 解码部
10,110 周边信息存储器
11,111 帧存储器
12,13,112,113 流缓冲器
14,15 可变长度解码处理部
16,116 逆量化部
17,117 逆频率变换部
18,118 重构部
19,119 面内预测部
20 运动矢量计算部
21,121 运动补偿部
22,122 解块滤波器部
23,24 算术解码部
25,26 多值化部
27,28 片内周边信息存储器
29,50,51 片间周边信息存储器
36,37,136,137 数据缓冲器
101 系统编码器
104,105 像素编码部
106,107 可变长度编码部
108,109 编码部
114,115 可变长度编码处理部
133 差分计算部
134 频率变换部
135 量化部
138 运动检测部
801 第一解码部
802 第二解码部
811,831 第一存储部
812 第二存储部
813 第三存储部
821 第一编码部
822 第二编码部
841 第一数据缓冲器
842 第二数据缓冲器
851 第一像素解码部
852 第二像素解码部
ex100 内容提供系统
ex101 因特网
ex102 因特网服务提供商
ex103 流服务器
ex104 电话网
ex106,ex107,ex108,ex109,ex110 基站
ex111 计算机
ex112 PDA(个人数字助手:Personal Digital Assistant)
ex113,ex116 摄像机(照相机)
ex114 便携电话
ex115 游戏机
ex117 麦克风
ex200 数字广播用系统
ex201 广播站
ex202 广播卫星(卫星)
ex203 线缆
ex204,ex205 天线
ex210 车
ex211 汽车导航仪(汽车导航)
ex212 再生装置
ex213,ex219 监视器
ex214,ex215,ex216 记录媒体
ex217 机顶盒(STB)
ex218 读取器/记录器
ex220 遥控器
ex230 信息轨道
ex231 记录块
ex232 内周区域
ex233 数据记录区域
ex234 外周区域
ex300 电视机(接收机)
ex301 调谐器
ex302 调制/解调部
ex303 复用/分离部
ex304 声音信号处理部
ex305 影像信号处理部
ex306,ex507 信号处理部
ex307 扬声器
ex308 显示部
ex309 输出部
ex310 控制部
ex311,ex505 电源电路部
ex312 操作输入部
ex313 桥
ex314 插口部
ex315 驱动器
ex316 调制解调器
ex317 接口部
ex318,ex319,ex320,ex321,ex404 缓冲器
ex400 信息再生/记录部
ex401 光头
ex402 调制记录部
ex403 再生解调部
ex405 盘马达
ex406 伺服控制部
ex407 系统控制部
ex500 LSI
ex502 微机(微型计算机)
ex503 存储器控制器
ex504 流I/O
ex509 AVI/O
ex510 总线
ex511 存储器

Claims (18)

1.一种图像解码装置,对具有多个片的图像进行解码,该多个片分别包含1个以上的块,该图像解码装置具备:
第一解码部,对上述多个片之中的第一片所包含的1个以上的块进行解码;
第二解码部,对上述多个片之中、与上述第一片不同的第二片所包含的1个以上的块进行解码;以及
第一存储部,用于存储片间周边信息,该片间周边信息是通过边界块被解码而生成的信息,而且是片间周边块被解码时参照的信息,上述边界块是上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块,上述片间周边块是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块;
上述第一解码部通过对上述边界块进行解码来生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部;
上述第二解码部参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
2.如权利要求1记载的图像解码装置,其中,
上述第一解码部,通过对作为上述第一片所包含的上述1个以上的块之中任意块的第一片内块进行解码,由此生成第一片内周边信息,该第一片内周边信息是作为上述第一片所包含的上述1个以上的块之中、与上述第一片内块相邻的块的第一片内周边块被解码时参照的信息,将所生成的上述第一片内周边信息保存至上述第一存储部,参照上述第一存储部所保存的上述第一片内周边信息,对上述第一片内周边块进行解码;
上述第二解码部,通过对作为上述第二片所包含的上述1个以上的块之中任意块的第二片内块进行解码,由此生成第二片内周边信息,该第二片内周边信息是作为上述第二片所包含的上述1个以上的块之中、与上述第二片内块相邻的块的第二片内周边块被解码时参照的信息,将所生成的上述第二片内周边信息保存至上述第一存储部,参照上述第一存储部所保存的上述第二片内周边信息,对上述第二片内周边块进行解码。
3.如权利要求2记载的图像解码装置,其中,
上述第二解码部参照上述第一存储部所保存的上述片间周边信息以及上述第一存储部所保存的上述第二片内周边信息,对作为上述片间周边块且作为上述第二片内周边块的块进行解码。
4.如权利要求1记载的图像解码装置,其中,
上述图像解码装置还具备:
第二存储部,用于存储第一片内周边信息,该第一片内周边信息是通过第一片内块被解码而生成的信息,而且是第一片内周边块被解码时参照的信息,该第一片内块是上述第一片所包含的上述1个以上的块之中任意的块,该第一片内周边块是上述第一片所包含的上述1个以上的块之中、与上述第一片内块相邻的块;和
第三存储部,用于存储第二片内周边信息,该第二片内周边信息是通过第二片内块被解码而生成的信息,而且是第二片内周边块被解码时参照的信息,该第二片内块是上述第二片所包含的上述1个以上的块之中任意的块,该第二片内周边块是上述第二片所包含的上述1个以上的块之中、与上述第二片内块相邻的块;
上述第一解码部,通过对上述第一片内块进行解码而生成上述第一片内周边信息,将所生成的上述第一片内周边信息保存至上述第二存储部,参照上述第二存储部所保存的上述第一片内周边信息,对上述第一片内周边块进行解码;
上述第二解码部,通过对上述第二片内块进行解码而生成上述第二片内周边信息,将所生成的上述第二片内周边信息保存至上述第三存储部,参照上述第三存储部所保存的上述第二片内周边信息,对上述第二片内周边块进行解码。
5.如权利要求4记载的图像解码装置,其中,
上述第二解码部参照上述第一存储部所保存的上述片间周边信息以及上述第三存储部所保存的上述第二片内周边信息,对作为上述片间周边块且作为上述第二片内周边块的块进行解码。
6.如权利要求4或者权利要求5记载的图像解码装置,其中,
上述第二解码部,在参照上述第一存储部所保存的上述片间周边信息后、不再次参照上述片间周边信息的情况下,对记录有上述片间周边信息的上述第一存储部的区域进行释放。
7.如权利要求1~6任意一项记载的图像解码装置,其中,
上述图像解码装置还具备第一数据缓冲器和第二数据缓冲器;
上述第一解码部,对上述第一片所包含的上述1个以上的块进行可变长度解码,将可变长度解码而得到的第一可变长度解码数据保存至上述第一数据缓冲器;
上述第二解码部,对上述第二片所包含的上述1个以上的块进行可变长度解码,将可变长度解码而得到的第二可变长度解码数据保存至上述第二数据缓冲器;
上述图像解码装置还具备:
第一像素解码部,将上述第一数据缓冲器所保存的上述第一可变长度解码数据变换为像素值;和
第二像素解码部,将上述第二数据缓冲器所保存的上述第二可变长度解码数据变换为像素值。
8.如权利要求1~7任意一项记载的图像解码装置,其中,
上述第一存储部存储管理表,该管理表表示上述片间周边信息是否被保存至上述第一存储部;
上述第一解码部,在将上述片间周边信息保存至上述第一存储部的情况下,更新上述管理表以使该管理表表示上述片间周边信息被保存至上述第一存储部;
上述第二解码部,通过参照上述管理表,确认了上述片间周边信息被保存至上述第一存储部之后,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
9.如权利要求1~7任意一项记载的图像解码装置,其中,
上述第一解码部,在将上述片间周边信息保存至上述第一存储部的情况下,将上述片间周边信息被保存至上述第一存储部的情况通知给上述第二解码部;
上述第二解码部,在被从上述第一解码部通知了上述片间周边信息被保存至上述第一存储部的情况之后,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
10.如权利要求1~7任意一项记载的图像解码装置,其中,
上述第二解码部每规定时间确认上述片间周边信息是否被保存至上述第一存储部,在确认了上述片间周边信息被保存至上述第一存储部之后,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
11.如权利要求1~10任意一项记载的图像解码装置,其中,
上述第一解码部,通过对上述边界块进行解码来生成表示有无非零系数的系数信息,将所生成的上述系数信息作为上述片间周边信息保存至上述第一存储部;
上述第二解码部,将上述第一存储部所保存的上述系数信息作为上述片间周边信息参照,对上述片间周边块进行解码。
12.一种图像编码装置,对具有多个片的图像进行编码,该多个片分别包含1个以上的块,该图像编码装置具备:
第一编码部,对上述多个片之中的第一片所包含的1个以上的块进行编码;
第二编码部,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行编码;以及
第一存储部,用于存储片间周边信息,该片间周边信息是通过边界块被编码而生成的信息,而且是片间周边块被编码时参照的信息,上述边界块是上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块,上述片间周边块是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块;
上述第一编码部,通过对上述边界块进行编码而生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部;
上述第二编码部,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行编码。
13.一种图像解码方法,对具有多个片的图像进行解码,该多个片分别包含1个以上的块,该图像解码方法包括:
第一解码步骤,对上述多个片之中的第一片所包含的1个以上的块进行解码;和
第二解码步骤,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行解码;
在上述第一解码步骤中,通过对下述边界块进行解码而生成片间周边信息,将所生成的上述片间周边信息保存至第一存储部,该片间周边信息是通过边界块被解码而生成的信息,而且是片间周边块被解码时参照的信息,上述边界块是上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块,上述片间周边块是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块;
在上述第二解码步骤中,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
14.一种图像编码方法,对具有多个片的图像进行编码,该多个片分别包含1个以上的块,该图像编码方法包括:
第一编码步骤,对上述多个片之中的第一片所包含的1个以上的块进行编码;
第二编码步骤,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行编码,
在上述第一编码步骤中,通过对下述边界块进行编码而生成片间周边信息,将所生成的上述片间周边信息保存至第一存储部,该片间周边信息是通过边界块被编码而生成的信息,而且是片间周边块被编码时参照的信息,上述边界块是上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块,上述片间周边块是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块;
在上述第二编码步骤中,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行编码。
15.一种程序,用于使计算机执行权利要求13记载的图像解码方法中包括的步骤。
16.一种程序,用于使计算机执行权利要求14记载的图像编码方法中包括的步骤。
17.一种集成电路,对具有多个片的图像进行解码,该多个片分别包含1个以上的块,该集成电路具备:
第一解码部,对上述多个片之中的第一片所包含的1个以上的块进行解码;
第二解码部,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行解码;以及
第一存储部,用于存储片间周边信息,该片间周边信息是通过边界块被解码而生成的信息,而且是片间周边块被解码时参照的信息,上述边界块是上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块,上述片间周边块是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块;
上述第一解码部,通过对上述边界块进行解码而生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部;
上述第二解码部,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行解码。
18.一种集成电路,对具有多个片的图像进行编码,该多个片分别包含1个以上的块,该集成电路具备:
第一编码部,对上述多个片之中的第一片所包含的1个以上的块进行编码;
第二编码部,对上述多个片之中与上述第一片不同的第二片所包含的1个以上的块进行编码;以及
第一存储部,用于存储片间周边信息,该片间周边信息是通过边界块被编码而生成的信息,而且是片间周边块被编码时参照的信息,上述边界块是上述第一片所包含的上述1个以上的块之中、与上述第二片相邻的块,上述片间周边块是上述第二片所包含的上述1个以上的块之中、与上述边界块相邻的块;
上述第一编码部,通过对上述边界块进行编码而生成上述片间周边信息,将所生成的上述片间周边信息保存至上述第一存储部;
上述第二编码部,参照上述第一存储部所保存的上述片间周边信息,对上述片间周边块进行编码。
CN201080027872.7A 2009-07-06 2010-07-05 图像解码装置、图像编码装置、图像解码方法、图像编码方法及集成电路 Expired - Fee Related CN102687510B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009160090 2009-07-06
JP2009-160090 2009-07-06
PCT/JP2010/004384 WO2011004577A1 (ja) 2009-07-06 2010-07-05 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、プログラムおよび集積回路

Publications (2)

Publication Number Publication Date
CN102687510A true CN102687510A (zh) 2012-09-19
CN102687510B CN102687510B (zh) 2014-11-05

Family

ID=43429008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080027872.7A Expired - Fee Related CN102687510B (zh) 2009-07-06 2010-07-05 图像解码装置、图像编码装置、图像解码方法、图像编码方法及集成电路

Country Status (4)

Country Link
US (1) US20120099657A1 (zh)
JP (1) JP5518069B2 (zh)
CN (1) CN102687510B (zh)
WO (1) WO2011004577A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103596013A (zh) * 2013-11-19 2014-02-19 上海高清数字科技产业有限公司 新型解码器及解码方法
CN104284197A (zh) * 2013-07-08 2015-01-14 瑞萨电子株式会社 视频编码器及其操作方法
CN106576176A (zh) * 2014-06-20 2017-04-19 索尼公司 图像编码设备和方法以及图像解码设备和方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2312854A1 (de) 2009-10-15 2011-04-20 Siemens Aktiengesellschaft Verfahren zur Codierung von Symbolen aus einer Folge digitalisierter Bilder
US20120014433A1 (en) * 2010-07-15 2012-01-19 Qualcomm Incorporated Entropy coding of bins across bin groups using variable length codewords
JP2012028863A (ja) * 2010-07-20 2012-02-09 Hitachi Kokusai Electric Inc 動画像符号化装置
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
WO2012120840A1 (ja) * 2011-03-07 2012-09-13 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
FR2972588A1 (fr) 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US20120263225A1 (en) * 2011-04-15 2012-10-18 Media Excel Korea Co. Ltd. Apparatus and method for encoding moving picture
WO2013010997A1 (en) 2011-07-15 2013-01-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Sample array coding for low-delay
CN103222266B (zh) * 2011-11-21 2018-02-23 松下知识产权经营株式会社 图像处理装置以及图像处理方法
CN103188485B (zh) * 2011-12-30 2016-06-29 安凯(广州)微电子技术有限公司 一种码流缓存系统及视频解码器
JP6019797B2 (ja) * 2012-06-22 2016-11-02 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
JP6415016B2 (ja) 2012-11-12 2018-10-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
CN107239420B (zh) * 2012-11-21 2020-05-05 相干逻辑公司 具有散布处理器dma-fifo的处理系统
US9241163B2 (en) * 2013-03-15 2016-01-19 Intersil Americas LLC VC-2 decoding using parallel decoding paths
US20150023410A1 (en) * 2013-07-16 2015-01-22 Arcsoft Hangzhou Co., Ltd. Method for simultaneously coding quantized transform coefficients of subgroups of frame
US9299122B2 (en) 2013-09-25 2016-03-29 Apple Inc. Neighbor context processing in block processing pipelines
US9305325B2 (en) 2013-09-25 2016-04-05 Apple Inc. Neighbor context caching in block processing pipelines
US9270999B2 (en) 2013-09-25 2016-02-23 Apple Inc. Delayed chroma processing in block processing pipelines
US9571846B2 (en) 2013-09-27 2017-02-14 Apple Inc. Data storage and access in block processing pipelines
US9215472B2 (en) 2013-09-27 2015-12-15 Apple Inc. Parallel hardware and software block processing pipelines
US9218639B2 (en) 2013-09-27 2015-12-22 Apple Inc. Processing order in block processing pipelines
JP6234770B2 (ja) * 2013-10-24 2017-11-22 ルネサスエレクトロニクス株式会社 動画像復号処理装置、動画像符号化処理装置およびその動作方法
WO2015098231A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置及び画像処理方法
US9807410B2 (en) 2014-07-02 2017-10-31 Apple Inc. Late-stage mode conversions in pipelined video encoders
US10277913B2 (en) 2014-10-22 2019-04-30 Samsung Electronics Co., Ltd. Application processor for performing real time in-loop filtering, method thereof and system including the same
CN108063948B (zh) * 2016-11-08 2020-08-04 联发科技股份有限公司 配合多个处理器的影像处理装置及影像处理方法
US10986354B2 (en) * 2018-04-16 2021-04-20 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN108769828A (zh) * 2018-05-23 2018-11-06 深圳市网心科技有限公司 图片水印添加方法、电子装置及计算机可读存储介质
CN109408050B (zh) * 2018-10-31 2021-11-16 中车大连电力牵引研发中心有限公司 用于轨道车辆的设备应用程序接口的代码生成方法及装置
JP7451131B2 (ja) 2019-10-08 2024-03-18 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
CN111103829B (zh) * 2019-12-11 2024-05-17 旋智电子科技(上海)有限公司 一种电机控制装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014113A (ja) * 2004-06-29 2006-01-12 Fujitsu Ltd 画像復号装置及び画像符号化装置
JP2007251605A (ja) * 2006-03-16 2007-09-27 Matsushita Electric Ind Co Ltd 復号装置、復号方法、プログラムおよび記録媒体
JP2007251865A (ja) * 2006-03-20 2007-09-27 Sony Corp 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
WO2008072452A1 (ja) * 2006-12-11 2008-06-19 Panasonic Corporation 動画像復号化装置、半導体装置、映像機器および動画像復号化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3240017B2 (ja) * 1993-01-11 2001-12-17 ソニー株式会社 Mpeg信号記録方法およびmpeg信号再生方法
US5588025A (en) * 1995-03-15 1996-12-24 David Sarnoff Research Center, Inc. Single oscillator compressed digital information receiver
US7383412B1 (en) * 2005-02-28 2008-06-03 Nvidia Corporation On-demand memory synchronization for peripheral systems with multiple parallel processors
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8634457B2 (en) * 2008-09-26 2014-01-21 Qualcomm Incorporated Determining availability of video data units
US20100246679A1 (en) * 2009-03-24 2010-09-30 Aricent Inc. Video decoding in a symmetric multiprocessor system
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014113A (ja) * 2004-06-29 2006-01-12 Fujitsu Ltd 画像復号装置及び画像符号化装置
JP2007251605A (ja) * 2006-03-16 2007-09-27 Matsushita Electric Ind Co Ltd 復号装置、復号方法、プログラムおよび記録媒体
JP2007251865A (ja) * 2006-03-20 2007-09-27 Sony Corp 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
WO2008072452A1 (ja) * 2006-12-11 2008-06-19 Panasonic Corporation 動画像復号化装置、半導体装置、映像機器および動画像復号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUN GUO,YU-WEN HUANG,SHAWMIN LEI: "Ordered Entropy Slices for Parallel CABAC", <<ITU-TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION6 VIDEO CODING EXPERTS GROUP(VCEG) 37TH MEETING:YOKOHAMA,JAPAN,15-18 APRIL,2009,[VCEG-AK25]>>, 18 April 2009 (2009-04-18), pages 1 - 8 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284197A (zh) * 2013-07-08 2015-01-14 瑞萨电子株式会社 视频编码器及其操作方法
CN104284197B (zh) * 2013-07-08 2018-11-23 瑞萨电子株式会社 视频编码器及其操作方法
CN103596013A (zh) * 2013-11-19 2014-02-19 上海高清数字科技产业有限公司 新型解码器及解码方法
CN106576176A (zh) * 2014-06-20 2017-04-19 索尼公司 图像编码设备和方法以及图像解码设备和方法
US10701354B2 (en) 2014-06-20 2020-06-30 Sony Corporation Image encoding device and method, and image decoding device and method
CN106576176B (zh) * 2014-06-20 2020-10-02 索尼公司 图像编码设备和方法以及图像解码设备和方法
US11095879B2 (en) 2014-06-20 2021-08-17 Sony Corporation Image encoding device and method, and image decoding device and method
US11627309B2 (en) 2014-06-20 2023-04-11 Sony Group Corporation Image encoding device and method, and image decoding device and method
US12063357B2 (en) 2014-06-20 2024-08-13 Sony Group Corporation Image encoding device and method, and image decoding device and method

Also Published As

Publication number Publication date
JPWO2011004577A1 (ja) 2012-12-20
WO2011004577A1 (ja) 2011-01-13
JP5518069B2 (ja) 2014-06-11
US20120099657A1 (en) 2012-04-26
CN102687510B (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
CN102687510B (zh) 图像解码装置、图像编码装置、图像解码方法、图像编码方法及集成电路
CN103098474B (zh) 图像解码装置、图像编码装置、及其方法、集成电路以及代码转换装置
CN102754437B (zh) 图像编码方法、图像编码装置及集成电路
CN102124741B (zh) 图像编码方法及图像编码装置
CN102197652B (zh) 解码装置、解码方法、程序以及集成电路
CN102349299B (zh) 动态图像解码装置、动态图像编码装置、动态图像解码电路及动态图像解码方法
WO2010050156A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、集積回路およびプログラム
WO2011016249A1 (ja) 符号化方法、復号方法、符号化装置及び復号装置
WO2011161949A1 (ja) 画像復号装置、画像復号方法、集積回路およびプログラム
CN102301720A (zh) 图像编码方法以及图像解码方法
CN102365868A (zh) 运动图像编码方法及装置、运动图像解码方法及装置
CN103765903B (zh) 图像解码装置、图像编码装置、图像解码方法及图像编码方法
JP5999515B2 (ja) 画像処理装置、及び、画像処理方法
CN102439977B (zh) 图像解码装置、图像编码装置、图像解码电路以及图像解码方法
CN102090066A (zh) 图像解码装置、集成电路、图像解码方法及图像解码系统
WO2013076897A1 (ja) 画像処理装置および画像処理方法
JP2011182132A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、集積回路およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141105

Termination date: 20200705