JP2015089078A - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP2015089078A JP2015089078A JP2013228356A JP2013228356A JP2015089078A JP 2015089078 A JP2015089078 A JP 2015089078A JP 2013228356 A JP2013228356 A JP 2013228356A JP 2013228356 A JP2013228356 A JP 2013228356A JP 2015089078 A JP2015089078 A JP 2015089078A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- unit
- image
- key
- key picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】より容易に符号化効率を向上させることができるようにする。
【解決手段】ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定する設定部と、前記設定部により設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する符号化部とを備える。本開示は、例えば、画像データを符号化する画像符号化装置、または、画像データが符号化された符号化データを復号する画像復号装置等の画像処理装置に適用することができる。
【選択図】図15
【解決手段】ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定する設定部と、前記設定部により設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する符号化部とを備える。本開示は、例えば、画像データを符号化する画像符号化装置、または、画像データが符号化された符号化データを復号する画像復号装置等の画像処理装置に適用することができる。
【選択図】図15
Description
本開示は画像処理装置および方法に関し、特に、より容易に符号化効率を向上させることができるようにした画像処理装置および方法に関する。
近年、MPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)より更なる符号化効率の向上を目的として、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)と、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている(例えば、非特許文献1参照)。
このHEVCにおいて、ベースレイヤのピクチャの復号に、エンハンスメントレイヤの一部のピクチャの情報を利用する方法が検討されている(例えば、非特許文献2参照)。このようなエンハンスメントレイヤのピクチャをキーピクチャ(Key Picture)と称する。一般的に、エンハンスメントレイヤのピクチャは、ベースレイヤのピクチャよりも高画質であるので、このようなキーピクチャを動き予測に用いることにより、予測効率が向上し、符号化効率を向上させることができる。
Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, " High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_version 34, 2013-03-19
Krishna Rapaka, Jianle Chen, Marta Karczewicz, "Using decoded pictures from higher layer as references in SHVC", JCTVC-N0161r1, 2013-07-27
しかしながら、非特許文献2に記載の方法では、拡張ビデオパラメータセット(VPS_EXT)においてキーピクチャ参照に用いられる可能性のあるレイヤを1ビットのフラグ(enable_higher_layer_ref_pic_pred[i])で指定するが、指定されたレイヤの中の、どのPOC(Picture Order Count)のピクチャがキーピクチャであるかまでは、RPS(Reference Picture Set)を復号するまでわからないようになっている。また、キーピクチャのレイヤは、カレントピクチャの1つ上のレイヤに固定されている。そのため、キーピクチャを利用するのに煩雑な処理が必要になり、符号化効率を向上させることが困難になる恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができるようにするものである。
本技術の一側面の画像処理装置は、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定する設定部と、前記設定部により設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する符号化部とを備える画像処理装置である。
前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報であるようにすることができる。
前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報であるようにすることができる。
前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報であるようにすることができる。
前記設定部は、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定することができる。
前記設定部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらに設定することができる。
前記設定部は、前記レイヤ指定情報をシーケンスパラメータセットにおいて設定することができる。
前記設定部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報を設定し、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらに設定することができる。
前記設定部は、前記キーピクチャ指定可能情報をビデオパラメータセットにおいて設定し、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定することができる。
本技術の一側面の画像処理方法は、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定し、設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する画像処理方法である。
本技術の他の側面の画像処理装置は、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースするパース部と、前記パース部による前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う復号部とを備える画像処理装置である。
前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報であるようにすることができる。
前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報であるようにすることができる。
前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報であるようにすることができる。
前記パース部は、シーケンスパラメータセットに設定されている前記キーピクチャ指定情報をパースすることができる。
前記パース部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらにパースすることができる。
前記パース部は、シーケンスパラメータセットにおいて設定されている前記レイヤ指定情報をパースすることができる。
前記パース部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報をパースし、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらにパースすることができる。
前記パース部は、ビデオパラメータセットにおいて設定されている前記キーピクチャ指定可能情報をパースし、シーケンスパラメータセットにおいて設定されている前記キーピクチャ指定情報をパースすることができる。
本技術の他の側面の画像処理方法は、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースし、前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う画像処理方法である。
本技術の一側面においては、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報が設定され、設定された前記キーピクチャ指定情報により指定されるキーピクチャが参照されて、カレントピクチャが符号化される。
本技術の他の側面においては、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報がパースされ、前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャが参照されて、符号化されたカレントピクチャの復号が行われる。
本開示によれば、画像を符号化・復号することができる。特に、より容易に符号化効率を向上させることができる。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(キーピクチャ指定)
2.第2の実施の形態(画像符号化装置)
3.第3の実施の形態(画像復号装置)
4.第4の実施の形態(多視点画像符号化・多視点画像復号装置)
5.第5の実施の形態(コンピュータ)
6.第6の実施の形態(応用例)
7.第7の実施の形態(スケーラブル符号化の応用例)
8.第8の実施の形態(セット・ユニット・モジュール・プロセッサ)
1.第1の実施の形態(キーピクチャ指定)
2.第2の実施の形態(画像符号化装置)
3.第3の実施の形態(画像復号装置)
4.第4の実施の形態(多視点画像符号化・多視点画像復号装置)
5.第5の実施の形態(コンピュータ)
6.第6の実施の形態(応用例)
7.第7の実施の形態(スケーラブル符号化の応用例)
8.第8の実施の形態(セット・ユニット・モジュール・プロセッサ)
<1.第1の実施の形態>
<画像符号化の標準化の流れ>
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG(Moving Picture Experts Group)などがある。
<画像符号化の標準化の流れ>
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG(Moving Picture Experts Group)などがある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720x480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量(ビットレート)を割り当てることができる。また、MPEG2圧縮方式を用いることにより、例えば1920x1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量(ビットレート)を割り当てることができる。これにより、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L (ITU-T(International Telecommunication Union Telecommunication Standardization Sector) Q6/16 VCEG(Video Coding Expert Group))という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。
標準化のスケジュールとしては、2003年3月にはH.264及びMPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)という名の元に国際標準となった。
さらに、このH.264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H.264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc(商標)等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の4倍の、4000x2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。
そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2013年1月にドラフト版仕様であるCommittee draftが発行されている(例えば、非特許文献1参照)。
<符号化方式>
以下においては、HEVC(High Efficiency Video Coding)方式の画像符号化・復号に適用する場合を例に、本技術を説明する。
以下においては、HEVC(High Efficiency Video Coding)方式の画像符号化・復号に適用する場合を例に、本技術を説明する。
<コーディングユニット>
AVC(Advanced Video Coding)方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、16x16画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD(Ultra High Definition;4000画素x2000画素)といった大きな画枠に対して最適ではない。
AVC(Advanced Video Coding)方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、16x16画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD(Ultra High Definition;4000画素x2000画素)といった大きな画枠に対して最適ではない。
これに対して、HEVC方式においては、図1に示されるように、コーディングユニット(CU(Coding Unit))が規定されている。
CUは、Coding Tree Block(CTB)とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、16x16画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット(SPS(Sequence Parameter Set))において、CUの最大サイズ(LCU(Largest Coding Unit))と最小サイズ(SCU(Smallest Coding Unit))が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図1の例では、LCUの大きさが128であり、最大階層深度が5となる。2Nx2Nの大きさのCUは、split_flagの値が「1」である時、1つ下の階層となる、NxNの大きさのCUに分割される。
更に、CUは、イントラ若しくはインター予測の処理単位となる領域(ピクチャ単位の画像の部分領域)であるプレディクションユニット(Prediction Unit(PU))に分割され、また、直交変換の処理単位となる領域(ピクチャ単位の画像の部分領域)である、トランスフォームユニット(Transform Unit(TU))に分割される。現在、HEVC方式においては、4x4及び8x8に加え、16x16及び32x32直交変換を用いることが可能である。
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック(サブブロック)はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128x128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。
よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック(サブブロック)をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域(処理単位)が含まれる。もちろん、これら以外の部分領域(処理単位)も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。
また、本明細書において、CTU(Coding Tree Unit)は、LCU(最大数のCU)のCTB(Coding Tree Block)と、そのLCUベース(レベル)で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCU(Coding Unit)は、CB(Coding Block)と、そのCUベース(レベル)で処理するときのパラメータを含む単位であるとする。
<モード選択>
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
High Complexity Modeにおけるコスト関数は、以下の式(1)のように示される。
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。
つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
Low Complexity Modeにおけるコスト関数は、以下の式(2)のように示される。
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
<階層符号化>
ところで、これまでの、MPEG2、AVCといった画像符号化方式は、スケーラビリティ(scalability)機能を有していた。スケーラブル符号化(階層符号化)とは、画像を複数レイヤ化(階層化)し、レイヤ毎に符号化する方式である。図2は、階層画像符号化方式の一例を示す図である。
ところで、これまでの、MPEG2、AVCといった画像符号化方式は、スケーラビリティ(scalability)機能を有していた。スケーラブル符号化(階層符号化)とは、画像を複数レイヤ化(階層化)し、レイヤ毎に符号化する方式である。図2は、階層画像符号化方式の一例を示す図である。
図2に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として1の画像が複数の階層(レイヤ)に分割される。つまり、階層化された画像(階層画像)は、その所定のパラメータの値が互いに異なる複数の階層(レイヤ)の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤ(base layer)と、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ(non-base layer)(エンハンスメントレイヤ(Enhancement layer)とも称する)とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ(差分データ)により構成される。例えば、1の画像をベースレイヤとノンベースレイヤ(エンハンスメントレイヤとも称する)に2階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像(すなわち高品質な画像)が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤのみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤに加えて、エンハンスメントレイヤの画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
<スケーラブルなパラメータ>
このような階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)において、スケーラビリティ(scalability)機能を有するパラメータは、任意である。例えば、図3に示されるような空間解像度をそのパラメータとしてもよい(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に画像の解像度が異なる。つまり、図3に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像(元の空間解像度)が得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
このような階層画像符号化・階層画像復号(スケーラブル符号化・スケーラブル復号)において、スケーラビリティ(scalability)機能を有するパラメータは、任意である。例えば、図3に示されるような空間解像度をそのパラメータとしてもよい(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に画像の解像度が異なる。つまり、図3に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像(元の空間解像度)が得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図4に示されるような、時間解像度を適用しても良い(temporal scalability)。このテンポラルスケーラビリティ(temporal scalability)の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図4に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像(元のフレームレート)を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
さらに、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図5に示されるような、信号雑音比(SNR(Signal to Noise ratio))を適用しても良い(SNR scalability)。このSNRスケーラビリティ(SNR scalability)の場合、レイヤ毎にSN比が異なる。つまり、この場合、図5に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像(元のSNR)が得られるエンハンスメントレイヤの2階層に階層化される。すなわち、ベースレイヤ(base layer)画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ(enhancement layer)画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ(base layer)が8ビット(bit)画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、10ビット(bit)画像が得られるビット深度スケーラビリティ(bit-depth scalability)がある。
また、ベースレイヤ(base layer)が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ(chroma scalability)がある。
<キーピクチャ>
以上のようなHEVCにおいて、例えば、非特許文献2に記載のように、ベースレイヤのピクチャの復号に、エンハンスメントレイヤの一部のピクチャの情報を利用する方法が検討されている。このようなエンハンスメントレイヤのピクチャをキーピクチャ(Key Picture)と称する。
以上のようなHEVCにおいて、例えば、非特許文献2に記載のように、ベースレイヤのピクチャの復号に、エンハンスメントレイヤの一部のピクチャの情報を利用する方法が検討されている。このようなエンハンスメントレイヤのピクチャをキーピクチャ(Key Picture)と称する。
例えば、図6Aに示されるTwo loop control方式の場合、ベースレイヤとエンハンスメントレイヤの各ピクチャを再生順に復号する必要がある。したがって、エンハンスメントレイヤのピクチャを復号するために、再生順においてそのピクチャより前になるベースレイヤのピクチャを全て復号しておく必要がある。
これに対して、図6Bに示されるKey picture consept方式の場合、一部のエンハンスメントレイヤのピクチャ(キーピクチャ)を参照するベースレイヤのピクチャを復号するために、その直前のベースレイヤのピクチャを復号する必要がない場合が考えられる。つまり、ベースレイヤやエンハンスメントレイヤの各ピクチャを再生順とは異なる順で復号することができる。したがって、エンハンスメントレイヤのピクチャを復号するために、再生順においてそのピクチャより前になるベースレイヤの一部のピクチャを復号しておけばよい場合がある。
このようなキーピクチャ(エンハンスメントレイヤのピクチャ)を利用することにより、ベースレイヤの符号化効率を向上させることができる。また、一般的に、エンハンスメントレイヤのピクチャは、ベースレイヤのピクチャよりも高画質であるので、このようなキーピクチャを動き予測に用いることにより、予測効率が向上し、符号化効率を向上させることができる。
なお、このようにキーピクチャが用いられる場合、例えばベースレイヤのみをデコードすると、エンハンスメントレイヤのキーピクチャを参照することができないので、デコードノイズ(ドリフト)が発生するが、キーピクチャと同じPOC(Picture Order Count)のベースレイヤを参照することができるので、デコードの破綻は回避することができる。
しかしながら、非特許文献2に記載の方法では、拡張ビデオパラメータセット(VPS_EXT)においてキーピクチャ参照に用いられる可能性のあるレイヤを1ビットのフラグ(enable_higher_layer_ref_pic_pred[i])で指定する。指定されたレイヤの中の、どのPOC(Picture Order Count)のピクチャをキーピクチャとするかは、RPS(Reference Picture Set)において指定される。
そのため、指定されたレイヤの中の、どのPOCのピクチャがキーピクチャであるかは、RPSを復号するまでわからないようになっている。また、キーピクチャのレイヤは、カレントピクチャの1つ上のレイヤに固定されている。そのため、キーピクチャを利用するのに煩雑な処理が必要になり、符号化効率を向上させることが困難になる恐れがあった。
<ロングタームピクチャのキーピクチャ指定>
そこで、符号化側において、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定し、設定されたキーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化するようにする。
そこで、符号化側において、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定し、設定されたキーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化するようにする。
ロングターム(Long term)指定されたピクチャ(長時間参照ピクチャまたはロングタームピクチャとも称する)は、図7に示されるように、カレントピクチャ(図中”C”のピクチャ)と同一のレイヤ(レイヤi)にある復号済みのピクチャのPOCの絶対値で指定する。この指定は、シーケンスパラメータセット(SPS(Sequence Parameter Set))(すなわち、シーケンスの先頭)、または、スライスヘッダ(Slice Header)(すなわち、ピクチャの先頭)において行われる。
なお、このようにロングターム指定されたピクチャは、ショートタームRPS(Short-term RPS)に含まれない。つまり、ロングタームピクチャは、ショートターム指定されたピクチャ(短時間参照ピクチャまたはショートタームピクチャとも称する)とは、異なるピクチャにより構成される。
このようなロングターム指定をキーピクチャの指定に利用するようにする。例えば、図8に示されるように、ロングターム指定されたピクチャの中から、キーピクチャとするピクチャを指定するようにする。その際、キーピクチャ指定するレイヤは、カレントピクチャ(C)のレイヤ(レイヤi)(カレントレイヤとも称する)と同一か若しくはそれよりも高いレイヤ(レイヤi+n)とする。例えば、カレントピクチャ(C)から参照可能であり、かつ、指定されたレイヤ若しくはレイヤ番号が最大のレイヤを、キーピクチャとして指定することができるようにしてもよい。
以上のようにキーピクチャを指定することにより、ロングタームピクチャの中から選択するだけでキーピクチャとするPOCを指定することができるようになる。そのため、キーピクチャの指定がより容易になり、符号化や復号の処理の負荷を低減させることができる。つまり、より容易に符号化効率を向上させることができるようになる。
なお、キーピクチャ指定が対応する範囲は任意である。例えば、シーケンス内のみとしてもよい。つまり、シーケンスパラメータセットで指定されたロングタームピクチャのみをキーピクチャ指定することができるようにしてもよい。このようにすることにより、符号化や復号の処理の負荷を低減させることができる。
また、ロングターム指定とは別にPOCを用いてキーピクチャを指定する必要がなく、後述するように僅かなシンタクスを追加するだけで(少ないビット量で)、ロングタームピクチャの中からキーピクチャ指定することができる。そのため、キーピクチャを指定するために必要な情報量を低減させることができる。したがって、このことによっても符号化効率を向上させることができる。
なお、キーピクチャを指定するための情報量を低減させることにより、パラメータセット等のヘッダ情報の情報量を低減させることができる。ヘッダ情報は、例えば、ビットストリームを伝送するためにエンコーダとデコーダとの間で通信の接続を行う際に、何度も授受される場合がある。そのため、ヘッダ情報の情報量を低減させることにより、処理の負荷をより大幅に低減させることができる。
なお、キーピクチャがカレントレイヤより高いレイヤから指定されるため、空間解像度をスケーラブルにするスペーシャルスケーラビリティの場合、図9に示されるように、キーピクチャ指定された画像の解像度がカレントピクチャより高くなる場合が考えられる。そのため、キーピクチャ指定された画像と動きベクトルバッファを縮小した後に参照するようにしてもよい。
<キーピクチャを指定するためのシンタクス要素>
次に、キーピクチャの指定方法について説明する。キーピクチャの指定を行うにあたって、ロングターム指定されたピクチャをキーピクチャに指定することができるか否かを示すキーピクチャ指定可能情報を設定するようにしてもよい。
次に、キーピクチャの指定方法について説明する。キーピクチャの指定を行うにあたって、ロングターム指定されたピクチャをキーピクチャに指定することができるか否かを示すキーピクチャ指定可能情報を設定するようにしてもよい。
例えば、そのキーピクチャ指定可能情報として、拡張ビデオパラメータセット(Video parameter set extension)において、図10Aに示されるようなシンタクス要素(key_pictre_enabled_flag)を設定するようにしてもよい。図10Bにそのセマンティクスを示す。キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」の場合、ロングタームピクチャをキーピクチャに指定することができることを示す。また、この値が「0」の場合、ロングタームピクチャがキーピクチャとして使用されないことを示す。
また、このキーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」である場合、すなわち、ロングタームピクチャをキーピクチャに指定することができることが示される場合、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するか否かを示すキーピクチャ指定情報を指定するようにしてもよい。
例えば、そのキーピクチャ指定情報として、拡張シーケンスパラメータセット(Sequence parameter set extension)において、図11Aに示されるようなシンタクス要素(used_as_key_picture_flag)を設定するようにしてもよい。図11Bにそのセマンティクスを示す。キーピクチャ指定情報(used_as_key_picture_flag)の値が「1」の場合、ロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定することを示す。また、この値が「0」の場合、ロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定しないことを示す。
なお、図11Aの例では、シンタクス要素key_picture_coding_enabled_flagの値が「1」の場合、キーピクチャ指定情報(used_as_key_picture_flag)の値が設定されるように示されている。このシンタクス要素key_picture_coding_enabled_flagは、拡張ビデオパラメータセットに設定されるキーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であるか否かを示す情報である。すなわち、このkey_picture_coding_enabled_flagは、拡張シーケンスパラメータセットにおいて設定されるシンタクス要素であるが、拡張ビデオパラメータセットにおいて設定されるキーピクチャ指定可能情報(key_pictre_enabled_flag)と同じ値をとり、実質的に同義である。
また、キーピクチャ指定可能情報(key_pictre_enabled_flag)の設定を省略し、キーピクチャ指定情報(used_as_key_picture_flag)の指定のみを行うようにしてもよい。つまり、常に、拡張シーケンスパラメータセットにおいてキーピクチャ指定情報(used_as_key_picture_flag)が設定されるようにしてもよい。
また、ロングタームピクチャ複数存在する場合、キーピクチャ指定情報(used_as_key_picture_flag)が、その全てのロングタームピクチャについて、キーピクチャに指定するか否かを示すようにしてもよい。すなわち、キーピクチャ指定情報(used_as_key_picture_flag)の値が「1」の場合、全てのロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定することを示し、この値が「0」の場合、全てのロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定しないことを示すようにしてもよい。
さらに、このキーピクチャ指定情報(used_as_key_picture_flag)の設定を省略し、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」の場合、全てのロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定することを示し、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「0」の場合、全てのロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定しないことを示すようにしてもよい。
また、図11Aの例のように、ロングタームピクチャ複数存在する場合、各ロングタームピクチャについて、それぞれキーピクチャ指定情報(used_as_key_picture_flag[i])を設定するようにしてもよい。すなわち、キーピクチャ指定情報(used_as_key_picture_flag[i])の値が「1」に設定された場合、その識別番号「i」に対応するロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤがキーピクチャに指定されることを示し、この値が「0」の場合、その識別番号「i」に対応するロングタームピクチャの、カレントピクチャのレイヤよりも高いレイヤがキーピクチャに指定されないことを示すようにしてもよい。
なお、キーピクチャ指定情報(used_as_key_picture_flag)の値が「1」に設定された場合、ロングターム指定されたピクチャの、予め定められた所定のレイヤがキーピクチャに指定されるようにしてもよい。例えば、カレントピクチャから参照可能なレイヤの内、最も高いレイヤがキーピクチャに指定されるようにしてもよいし、カレントピクチャのレイヤ(カレントレイヤ)の1つ上のレイヤがキーピクチャに指定されるようにしてもよい。キーピクチャとするレイヤを予め定めることにより、キーピクチャとするレイヤの指定が不要になるので、そのレイヤ指定を行う処理の負荷の増大を抑制することができるとともに、そのレイヤ指定の為の情報付加による符号化効率の低減を抑制することができる。また、空間解像度をスケーラブルにするスペーシャルスケーラビリティの場合、カレントピクチャから参照可能なレイヤの内、最も高いレイヤをキーピクチャに予め指定することにより、参照する画像の画質が最も良くなるので、予測効率を向上させることができる。
さらに、キーピクチャ指定情報により、ロングターム指定されたピクチャがキーピクチャに指定される場合、そのロングターム指定されたピクチャの、キーピクチャとするレイヤを指定するレイヤ指定情報をさらに設定するようにしてもよい。
例えば、そのレイヤ指定情報として、拡張シーケンスパラメータセットにおいて、図12Aに示されるようなシンタクス要素(key_picture_layer_id_minus1)を設定するようにしてもよい。図12Bにそのセマンティクスを示す。レイヤ指定情報(key_picture_layer_id_minus1)の値に「1」を加算した値が、キーピクチャとするレイヤを示す。
なお、ロングタームピクチャ複数存在する場合、このレイヤ指定情報(key_picture_layer_id_minus1)の値が、全てのロングタームピクチャについて、キーピクチャとするレイヤを示すようにしてもよいし、図12Aの例のように、ロングタームピクチャ毎に、レイヤ指定情報(key_picture_layer_id_minus1[i])が設定されるようにしてもよい。その場合、レイヤ指定情報(key_picture_layer_id_minus1[i])の値に「1」を加算した値は、その識別番号「i」に対応するロングタームピクチャの、キーピクチャとするレイヤを示す。
以上のように、キーピクチャ指定情報を設定することにより、ロングタームピクチャを用いて容易にキーピクチャを指定することができる。したがって、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
また、ビデオパラメータセット等、上位のレイヤにおいて、キーピクチャ指定可能情報を設定することにより、キーピクチャの指定を行うか否かの判定をより早期に行うことができる。したがって、不要にキーピクチャの指定処理を実行することを抑制することができ、負荷の増大や情報量の増大を抑制することができる。すなわち、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
さらに、レイヤ指定情報を設定することにより、キーピクチャに指定するレイヤの自由度を向上させることができる。これにより、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
なお、これらの情報を設定する場所は、任意であり、上述した例に限らず、例えば、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダ等、任意の場所に設定するようにしてもよい。また、各種シンタクス要素の名称は任意であり、上述した例に限定されない。
また、以上においては、ロングタームピクチャをキーピクチャの指定対象とするように説明したが、ロングタームピクチャの代わりにショートタームピクチャをキーピクチャの指定対象とするようにしてもよい。また、ロングタームピクチャとショートタームピクチャの両方を、キーピクチャの指定対象とするようにしてもよい。ただし、キーピクチャを指定するためには、POC(絶対値)で指定することが望ましい。ロングタームピクチャはPOC(絶対値)で指定されるため、その指定をキーピクチャに流用することが容易である。これに対してショートタームピクチャは、カレントピクチャからの相対距離(ΔPOC)により指定される。したがって、ショートタームピクチャをキーピクチャとする場合、別途POC(絶対値)で指定する必要がある。
以上に説明した各種シンタクス要素の値は、エンコーダが、例えば自身の性能や要求された仕様等、予め定められた情報に基づいて設定するようにしてもよい。また、エンコーダが実際に符号化して得られたビットストリームの符号化効率を考慮してその値を判定し、設定するようにしてもよい。
<HEVC Version1との互換性>
以上に説明した本技術のHEVC Version1との互換性について説明する。HEVC Version1準拠のデコーダは、拡張ビデオパラメータセット(VPS Extension)や拡張シーケンスパラメータセット(SPS Extension)に記述されたシンタクス(Syntax)要素の値を読み込むが、その値は無視し、復号処理に用いない。
以上に説明した本技術のHEVC Version1との互換性について説明する。HEVC Version1準拠のデコーダは、拡張ビデオパラメータセット(VPS Extension)や拡張シーケンスパラメータセット(SPS Extension)に記述されたシンタクス(Syntax)要素の値を読み込むが、その値は無視し、復号処理に用いない。
つまり、HEVC Version1準拠のデコーダは、上述したようにキーピクチャ指定情報等が設定されていても、キーピクチャ(Key picture)指定されたロングタームピクチャではなく、図13に示されるように、そのPOCのカレントピクチャと同じレイヤ(カレントレイヤ)の画像を参照して動き予測を行う。
すなわち、HEVC Version1準拠のデコーダも、キーピクチャを使ったビットストリームを、想定通りに復号することができる。ただし、その場合、ビットストリームに符号化されている情報は、参照面をキーピクチャ(エンハンスメントレイヤのピクチャ)としたものなので、復号によりデコードノイズが発生する。しかしながら、これはキーピクチャが生来的に持つ性質である。なお、エンコーダ制御により緩和することもできる。
<動きベクトル予測>
一般に、キーピクチャ(Key picture)は、一定時間間隔毎に符号化される。すると、カレントピクチャとキーピクチャの時間間隔は、ショートタームピクチャ(Short Term Reference Picture)に比べて大きくなる。符号化効率改善のため、HEVCでは、ロングターム(LongTerm)とショートターム(ShortTerm)参照面に対する動きベクトル(MV)予測間でのアベイラビリティ(availability)を、図14の例のように制御するが、この機構をキーピクチャの符号化に利用することができる。つまり、キーピクチャの符号化においても、これと同様に(すなわち、図14の例のように)制御するようにしてもよい。
一般に、キーピクチャ(Key picture)は、一定時間間隔毎に符号化される。すると、カレントピクチャとキーピクチャの時間間隔は、ショートタームピクチャ(Short Term Reference Picture)に比べて大きくなる。符号化効率改善のため、HEVCでは、ロングターム(LongTerm)とショートターム(ShortTerm)参照面に対する動きベクトル(MV)予測間でのアベイラビリティ(availability)を、図14の例のように制御するが、この機構をキーピクチャの符号化に利用することができる。つまり、キーピクチャの符号化においても、これと同様に(すなわち、図14の例のように)制御するようにしてもよい。
<キーピクチャ指定情報の利用>
以上のような符号化側の処理に対応するように、復号側において、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースし、そのキーピクチャ指定情報のパース結果に基づいて、キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行うようにしてもよい。
以上のような符号化側の処理に対応するように、復号側において、ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースし、そのキーピクチャ指定情報のパース結果に基づいて、キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行うようにしてもよい。
なお、そのキーピクチャ指定情報が、ロングターム指定された各ピクチャについて、それぞれキーピクチャに指定するかを示す情報であるようにしてもよい。また、キーピクチャ指定情報が、ロングターム指定された全てのピクチャをキーピクチャに指定するかを示す情報であるようにしてもよい。さらに、キーピクチャ指定情報が、ロングターム指定されたピクチャの、カレントピクチャから参照可能なレイヤの内、最も高いレイヤをキーピクチャに指定するかを示す情報であるようにしてもよい。
また、シーケンスパラメータセットに設定されているキーピクチャ指定情報をパースするようにしてもよい。また、キーピクチャ指定情報により、ロングターム指定されたピクチャがキーピクチャに指定される場合、ロングターム指定されたピクチャの、キーピクチャとするレイヤを指定するレイヤ指定情報をさらにパースするようにしてもよい。さらに、シーケンスパラメータセットにおいて設定されているレイヤ指定情報をパースするようにしてもよい。
さらに、ロングターム指定されたピクチャをキーピクチャに指定することができるかを示すキーピクチャ指定可能情報をパースし、キーピクチャ指定可能情報において、ロングターム指定されたピクチャをキーピクチャに指定することができることが示される場合、キーピクチャ指定情報をさらにパースするようにしてもよい。また、ビデオパラメータセットにおいて設定されているキーピクチャ指定可能情報をパースし、シーケンスパラメータセットにおいて設定されているキーピクチャ指定情報をパースするようにしてもよい。
以上のように、キーピクチャ指定情報をパースし、そのパース結果に基づいて、キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行うことにより、デコーダは、上述したように設定されたキーピクチャを容易に利用することができる。つまり、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<2.第2の実施の形態>
<画像符号化装置>
次に、以上のような本技術を実現する装置とその方法について説明する。図15は、本技術を適用した画像処理装置の一態様である、画像符号化装置を示す図である。図15に示される画像符号化装置100は、画像データを、キーピクチャを用いて、より容易に高効率に符号化する装置である。図15に示されるように、画像符号化装置100は、設定部101、符号化部102、および伝送部103を有する。
<画像符号化装置>
次に、以上のような本技術を実現する装置とその方法について説明する。図15は、本技術を適用した画像処理装置の一態様である、画像符号化装置を示す図である。図15に示される画像符号化装置100は、画像データを、キーピクチャを用いて、より容易に高効率に符号化する装置である。図15に示されるように、画像符号化装置100は、設定部101、符号化部102、および伝送部103を有する。
設定部101は、入力された画像データについて、ビデオ―パラメータセット(拡張ビデオパラメータセット)やシーケンスパラメータセット(拡張シーケンスパラメータセット)等の各種情報を設定する。設定部101は、設定した情報と、入力された画像データを符号化部102に供給する。
符号化部102は、設定部101により設定された各種情報等に基づいて、設定部101から供給された画像データを符号化し、その符号化データや各種情報等を伝送部103に供給する。
伝送部103は、符号化部102から供給される符号化データや各種情報等を含むビットストリームを生成し、そのビットストリームを復号側に伝送する。
<設定部>
図16は、設定部101(図15)の主な構成例を示すブロック図である。図16に示されるように、設定部101は、VPS設定部111、拡張VPS設定部112、SPS設定部113、および拡張SPS設定部114を有する。
図16は、設定部101(図15)の主な構成例を示すブロック図である。図16に示されるように、設定部101は、VPS設定部111、拡張VPS設定部112、SPS設定部113、および拡張SPS設定部114を有する。
VPS設定部111は、ビデオパラメータセットの設定を行う。拡張VPS設定部112は、拡張ビデオパラメータセットの設定を行う。SPS設定部113は、シーケンスパラメータセットの設定を行う。拡張SPS設定部114は、拡張シーケンスパラメータセットの設定を行う。拡張SPS設定部114は、これらにより設定された各パラメータセットと、画像データとを、符号化部102(図15)に供給する。
なお、ビデオパラメータセットを拡張しない場合、拡張VPS設定部112を省略するようにしてもよい。また、シーケンスパラメータセットを拡張しない場合、拡張SPS設定部114を省略するようにしてもよい。さらに、設定部101が、その他のパラメータセットやヘッダ情報等を設定することができるようにしてもよい。その場合、設定部101に、その設定を行う処理部を設けるようにすればよい。
<拡張VPS設定部>
図17は、拡張VPS設定部112(図16)の主な構成例を示すブロック図である。図17に示されるように、拡張VPS設定部112は、key_picture_enabled_flag設定部121を有する。
図17は、拡張VPS設定部112(図16)の主な構成例を示すブロック図である。図17に示されるように、拡張VPS設定部112は、key_picture_enabled_flag設定部121を有する。
key_picture_enabled_flag設定部121は、拡張ビデオパラメータセットにおいて、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値を設定する。key_picture_enabled_flag設定部121は、設定したキーピクチャ指定可能情報(key_pictre_enabled_flag)を、SPS設定部113(図16)に供給する。
なお、拡張VPS設定部112が、キーピクチャ指定可能情報(key_pictre_enabled_flag)以外の情報を設定するようにしてもよい。その場合、拡張VPS設定部112に、その設定を行う処理部を設けるようにすればよい。また、その場合、拡張VPS設定部112が、キーピクチャ指定可能情報(key_pictre_enabled_flag)を設定しないようにしてもよい。その場合、key_picture_enabled_flag設定部121を省略するようにしてもよい。
<拡張SPS設定部>
図18は、拡張SPS設定部114(図16)の主な構成例を示すブロック図である。図18に示されるように、拡張SPS設定部114は、判定部131、used_as_key_picture_flag設定部132、およびkey_picture_layer_id_minus1設定部133を有する。
図18は、拡張SPS設定部114(図16)の主な構成例を示すブロック図である。図18に示されるように、拡張SPS設定部114は、判定部131、used_as_key_picture_flag設定部132、およびkey_picture_layer_id_minus1設定部133を有する。
判定部131は、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値を判定し、その判定結果をused_as_key_picture_flag設定部132に供給する。
used_as_key_picture_flag設定部132は、判定部131から供給された判定結果に基づいて、キーピクチャ指定情報(used_as_key_picture_flag)の値を設定する。key_picture_layer_id_minus1設定部133は、判定部131から供給された判定結果に基づいて、レイヤ指定情報(key_picture_layer_id_minus1[i])の値を設定する。key_picture_layer_id_minus1設定部133は、以上のように設定されたキーピクチャ指定情報(used_as_key_picture_flag)やレイヤ指定情報(key_picture_layer_id_minus1[i])を含むパラメータセットや画像データを符号化部102(図15)に供給する。
なお、キーピクチャ指定可能情報(key_pictre_enabled_flag)の設定を省略する場合、判定部131を省略するようにしてもよい。また、拡張SPS設定部114が、キーピクチャ指定情報(used_as_key_picture_flag)の設定を行わないようにしてもよい。その場合、used_as_key_picture_flag設定部132を省略するようにしてもよい。また、拡張SPS設定部114が、レイヤ指定情報(key_picture_layer_id_minus1[i])の設定を行わないようにしてもよい。その場合、key_picture_layer_id_minus1設定部133を省略するようにしてもよい。
なお、拡張SPS設定部114が、キーピクチャ指定情報(used_as_key_picture_flag)やレイヤ指定情報(key_picture_layer_id_minus1[i])以外の情報を設定するようにしてもよい。その場合、拡張SPS設定部114に、その設定を行う処理部を設けるようにすればよい。
<符号化部>
図19は、図15の符号化部102の主な構成例を示すブロック図である。符号化部102の符号化方法は任意であるが、例えば、符号化部102は、供給された階層画像データについて、階層画像符号化(スケーラブル符号化)を行う。図19においては、入力される画像データがベースレイヤとエンハンスメントレイヤの2階層よりなり、符号化部102が、その階層画像データを階層画像符号化(スケーラブル符号化)する場合について説明する。図19に示されるように、符号化部102は、ベースレイヤ画像符号化部141、エンハンスメントレイヤ画像符号化部142、多重化部143、および制御部144を有する。
図19は、図15の符号化部102の主な構成例を示すブロック図である。符号化部102の符号化方法は任意であるが、例えば、符号化部102は、供給された階層画像データについて、階層画像符号化(スケーラブル符号化)を行う。図19においては、入力される画像データがベースレイヤとエンハンスメントレイヤの2階層よりなり、符号化部102が、その階層画像データを階層画像符号化(スケーラブル符号化)する場合について説明する。図19に示されるように、符号化部102は、ベースレイヤ画像符号化部141、エンハンスメントレイヤ画像符号化部142、多重化部143、および制御部144を有する。
ベースレイヤ画像符号化部141には、階層画像データのベースレイヤのデータ(ベースレイヤ画像とも称する)が供給される。ベースレイヤ画像符号化部141は、そのベースレイヤ画像を符号化し、その符号化データを含むビットストリームであるベースレイヤ画像符号化ストリームを生成する。
エンハンスメントレイヤ画像符号化部142には、階層画像データのエンハンスメントレイヤのデータ(エンハンスメントレイヤ画像とも称する)が供給される。エンハンスメントレイヤ画像符号化部142は、そのエンハンスメントレイヤ画像を符号化し、その符号化データを含むビットストリームであるエンハンスメントレイヤ画像符号化ストリームを生成する。
多重化部143は、ベースレイヤ画像符号化部141において生成されたベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化部142において生成されたエンハンスメントレイヤ画像符号化ストリームとを多重化し、階層画像データの各階層の符号化データを含むビットストリームである階層画像符号化ストリームを生成する。また、多重化部143は、制御部144から供給されるパラメータセット等を、その階層画像符号化ストリームに格納する。多重化部143は、生成した階層画像符号化ストリームを伝送部103(図15)に伝送する。
制御部144は、設定部101(図15)から供給されるパラメータセット等に基づいてベースレイヤ画像符号化部141およびエンハンスメントレイヤ画像符号化部142を制御することにより、各レイヤの符号化を制御する。また、制御部144は、そのパラメータセット等を多重化部143に供給する。
<ベースレイヤ画像符号化部>
図20は、図19のベースレイヤ画像符号化部141の主な構成例を示すブロック図である。図20に示されるように、ベースレイヤ画像符号化部141は、画面並べ替えバッファ152、演算部153、直交変換部154、量子化部155、可逆符号化部156、蓄積バッファ157、逆量子化部158、および逆直交変換部159を有する。また、ベースレイヤ画像符号化部141は、演算部160、ループフィルタ161、フレームメモリ162、選択部163、イントラ予測部164、インター予測部165、予測画像選択部166、およびレート制御部167を有する。
図20は、図19のベースレイヤ画像符号化部141の主な構成例を示すブロック図である。図20に示されるように、ベースレイヤ画像符号化部141は、画面並べ替えバッファ152、演算部153、直交変換部154、量子化部155、可逆符号化部156、蓄積バッファ157、逆量子化部158、および逆直交変換部159を有する。また、ベースレイヤ画像符号化部141は、演算部160、ループフィルタ161、フレームメモリ162、選択部163、イントラ予測部164、インター予測部165、予測画像選択部166、およびレート制御部167を有する。
画面並べ替えバッファ152は、入力されたデジタルデータの画像データ(ベースレイヤ画像情報)の各フレームを表示の順番に記憶する。また、画面並べ替えバッファ152は、その記憶した表示の順番のフレームの画像を、GOP(Group Of Picture)に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部153に供給する。また、画面並べ替えバッファ152は、フレームの順番を並び替えた画像を、イントラ予測部164およびインター予測部165にも供給する。
演算部153は、画面並べ替えバッファ152から読み出された画像から、予測画像選択部166を介してイントラ予測部164若しくはインター予測部165から供給される予測画像を減算する。例えば、イントラ符号化が行われる画像の場合、演算部153は、画面並べ替えバッファ152から読み出された画像から、イントラ予測部164から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部153は、画面並べ替えバッファ152から読み出された画像から、インター予測部165から供給される予測画像を減算する。演算部153は、その減算結果(差分情報)を、直交変換部154に出力する。
直交変換部154は、演算部153から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部154は、その変換係数を量子化部155に供給する。
量子化部155は、直交変換部154から供給される変換係数を量子化する。量子化部155は、レート制御部167から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部155は、量子化された変換係数を可逆符号化部156に供給する。
可逆符号化部156は、量子化部155において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部167の制御の下で量子化されているので、この符号量は、レート制御部167が設定した目標値となる(若しくは目標値に近似する)。
また、可逆符号化部156は、イントラ予測のモードを示す情報などをイントラ予測部164から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部165から取得する。さらに、可逆符号化部156は、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)等を含むベースレイヤのNAL(Network Abstraction Layer)ユニットを適宜生成し、任意の方法で符号化する。
可逆符号化部156は、これらの各種情報を、量子化部155から供給された、量子化された変換係数を符号化した符号化データとともに、蓄積バッファ157に供給して蓄積させる。
可逆符号化部156の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H.264/AVC方式で定められているCAVLC(Context-Adaptive Variable Length Coding)などが挙げられる。算術符号化としては、例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)などが挙げられる。
蓄積バッファ157は、可逆符号化部156から供給された符号化データ等を、一時的に保持する。蓄積バッファ157は、所定のタイミングにおいて、保持しているデータを、ベースレイヤの符号化データ等を含むビットストリーム(ベースレイヤ画像符号化ストリームとも称する)として、多重化部143(図19)に出力する。すなわち、蓄積バッファ157は、ベースレイヤ画像符号化ストリームを伝送する伝送部でもある。
また、量子化部155において量子化された変換係数は、逆量子化部158にも供給される。逆量子化部158は、その量子化された変換係数を、量子化部155による量子化に対応する方法で逆量子化する。逆量子化部158は、得られた変換係数を、逆直交変換部159に供給する。
逆直交変換部159は、逆量子化部158から供給された変換係数を、直交変換部154による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力(復元された差分情報)は、演算部160に供給される。
演算部160は、逆直交変換部159から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部166を介してイントラ予測部164若しくはインター予測部165からの予測画像を加算し、局部的に復号された画像(復号画像)を得る。その復号画像は、ループフィルタ161またはフレームメモリ162に供給される。
ループフィルタ161は、デブロックフィルタや適応ループフィルタ等を含み、演算部160から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ161は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ161は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた再構成画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ161は、フィルタ処理結果(以下、復号画像と称する)をフレームメモリ162に供給する。
なお、ループフィルタ161が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ161は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部156に供給し、それを符号化させるようにすることもできる。
フレームメモリ162は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部163に供給する。
より具体的には、フレームメモリ162は、演算部160から供給される再構成画像と、ループフィルタ161から供給される復号画像とをそれぞれ記憶する。フレームメモリ162は、所定のタイミングにおいて、若しくは、イントラ予測部164等の外部からの要求に基づいて、記憶している再構成画像を、選択部163を介してイントラ予測部164に供給する。また、フレームメモリ162は、所定のタイミングにおいて、若しくは、インター予測部165等の外部からの要求に基づいて、記憶している復号画像を、選択部163を介して、インター予測部165に供給する。
選択部163は、フレームメモリ162から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部163は、フレームメモリ162から供給される参照画像をイントラ予測部164に供給する。また、例えば、インター予測の場合、選択部163は、フレームメモリ162から供給される参照画像をインター予測部165に供給する。
イントラ予測部164は、処理対象のフレームの画像であるカレントピクチャについて、予測処理を行い、予測画像を生成する。イントラ予測部164は、この予測処理を、所定のブロック毎に(ブロックを処理単位として)行う。つまり、イントラ予測部164は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、イントラ予測部164は、選択部163を介してフレームメモリ162から参照画像として供給される再構成画像を用いて予測処理(画面内予測(イントラ予測とも称する))を行う。つまり、イントラ予測部164は、再構成画像に含まれる、カレントブロックの周辺の画素値を用いて予測画像を生成する。このイントラ予測に利用される周辺画素値は、カレントピクチャの、過去に処理された画素の画素値である。このイントラ予測には(すなわち、予測画像の生成の仕方には)、複数の方法(イントラ予測モードとも称する)が、候補として予め用意されている。イントラ予測部164は、この予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
イントラ予測部164は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ152から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部164は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部166に供給する。
また、上述したように、イントラ予測部164は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部156に供給し、符号化させる。
インター予測部165は、カレントピクチャについて、予測処理を行い、予測画像を生成する。インター予測部165は、この予測処理を、所定のブロック毎に(ブロックを処理単位として)行う。つまり、インター予測部165は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、インター予測部165は、画面並べ替えバッファ152から供給される入力画像の画像データと、フレームメモリ162から参照画像として供給される復号画像の画像データとを用いて、予測処理を行う。この復号画像は、カレントピクチャより前に処理されたフレームの画像(カレントピクチャでない他のピクチャ)である。つまり、インター予測部165は、他のピクチャの画像を用いて予測画像を生成する予測処理(画面間予測(インター予測とも称する))を行う。
このインター予測は、動き予測と動き補償よりなる。より具体的には、インター予測部165は、入力画像と参照画像を用いて、カレントブロックについて動き予測を行い、動きベクトルを検出する。そして、インター予測部165は、参照画像を用いて、検出された動きベクトルに応じて動き補償処理を行い、カレントブロックの予測画像(インター予測画像情報)を生成する。このインター予測には(すなわち、予測画像の生成の仕方には)、複数の方法(インター予測モードとも称する)が、候補として予め用意されている。インター予測部165は、この予め用意された複数のインター予測モードでこのようなインター予測を行う。
インター予測部165は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部165は、画面並べ替えバッファ152から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部165は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部166に供給する。
インター予測部165は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部156に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として予測動きベクトルのインデックスを示すフラグなどがある。
予測画像選択部166は、演算部153や演算部160に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部166は、予測画像の供給元としてイントラ予測部164を選択し、そのイントラ予測部164から供給される予測画像を演算部153や演算部160に供給する。また、例えば、インター符号化の場合、予測画像選択部166は、予測画像の供給元としてインター予測部165を選択し、そのインター予測部165から供給される予測画像を演算部153や演算部160に供給する。
レート制御部167は、蓄積バッファ157に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部155の量子化動作のレートを制御する。
また、ベースレイヤ画像符号化部141は、ベースレイヤ制御部168およびスケーリング処理部169を有する。
ベースレイヤ制御部168は、制御部144(図19)に制御されて、パラメータセット等において行われた設定に従ってベースレイヤの符号化を行うように、ベースレイヤ画像符号化部141の各処理部(画面並べ替えバッファ152乃至スケーリング処理部169)を制御する。つまり、上述したベースレイヤ画像符号化部141の各処理部(画面並べ替えバッファ152乃至スケーリング処理部169)の処理は、このベースレイヤ制御部168の制御(換言するに、制御部144の制御)に従って実行される。
フレームメモリ162は、必要に応じて、記憶しているベースレイヤ復号画像等の情報を、エンハンスメントレイヤ画像符号化部132(図32)に供給するために、スケーリング制御部169に供給する。
スケーリング処理部169は、フレームメモリ162から供給されるベースレイヤ復号画像に対してスケーリング処理を行い、その解像度をエンハンスメントレイヤの解像度に変換(アップスケール)する。スケーリング処理部169は、エンハンスメントレイヤの解像度にアップスケールしたベースレイヤ復号画像を、エンハンスメントレイヤ画像符号化部142に供給する。
また、エンハンスメントレイヤ画像符号化部142からエンハンスメントレイヤ復号画像等の情報が供給される場合、スケーリング処理は、その情報を取得し、スケーリング処理を行って、その情報の解像度をベースレイヤの解像度に変換(ダウンスケール)する。スケーリング処理部169は、ベースレイヤの解像度にダウンスケールしたエンハンスメントレイヤの情報を、フレームメモリ162に供給し、記憶させる。この情報は、必要に応じて、参照画像等として、選択部163を介して、イントラ予測部164若しくはインター予測部165に供給される。
なお、ベースレイヤの解像度とエンハンスメントレイヤの解像度とが互いに同一である場合、このようなスケーリング処理を省略するようにしてもよい。つまり、スケーリング処理部169を省略するようにしてもよい。
<エンハンスメントレイヤ画像符号化部>
図21は、図19のエンハンスメントレイヤ画像符号化部142の主な構成例を示すブロック図である。図21に示されるように、エンハンスメントレイヤ画像符号化部142は、図20のベースレイヤ画像符号化部141と基本的に同様の構成を有する。
図21は、図19のエンハンスメントレイヤ画像符号化部142の主な構成例を示すブロック図である。図21に示されるように、エンハンスメントレイヤ画像符号化部142は、図20のベースレイヤ画像符号化部141と基本的に同様の構成を有する。
つまり、エンハンスメントレイヤ画像符号化部142は、図21に示されるように、画面並べ替えバッファ172、演算部173、直交変換部174、量子化部175、可逆符号化部176、蓄積バッファ177、逆量子化部178、および逆直交変換部179を有する。また、エンハンスメントレイヤ画像符号化部142は、演算部180、ループフィルタ181、フレームメモリ182、選択部183、イントラ予測部184、インター予測部185、予測画像選択部186、およびレート制御部187を有する。
これらの画面並べ替えバッファ172乃至レート制御部187は、図20の画面並べ替えバッファ152乃至レート制御部167に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像符号化部142の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、画面並べ替えバッファ172乃至レート制御部187の処理の説明として、上述した図20の画面並べ替えバッファ152乃至レート制御部167についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、画面並べ替えバッファ172乃至レート制御部187の中の対応する処理部に置き換えて読む必要がある。
また、フレームメモリ182は、ベースレイヤ画像符号化部141から供給されるベースレイヤ復号画像等の情報を取得し、記憶する。この情報は、必要に応じて、参照画像等として、選択部183を介して、イントラ予測部184若しくはインター予測部185に供給される。なお、フレームメモリ182が、必要に応じて、記憶しているエンハンスメントレイヤ復号画像等の情報を、ベースレイヤ画像符号化部141(図20)に供給するようにしてもよい。
エンハンスメントレイヤ画像符号化部142は、さらに、エンハンスメントレイヤ制御部188を有する。エンハンスメントレイヤ制御部188は、制御部144(図19)に制御されて、パラメータセット等において行われた設定に従ってエンハンスメントレイヤの符号化を行うように、エンハンスメントレイヤ画像符号化部142の各処理部(画面並べ替えバッファ172乃至レート制御部187)を制御する。つまり、上述したエンハンスメントレイヤ画像符号化部142の各処理部(画面並べ替えバッファ172乃至レート制御部187)の処理は、このエンハンスメントレイヤ制御部188の制御(換言するに、制御部144の制御)に従って実行される。
なお、図20において、スケーリング処理がベースレイヤ画像符号化部141において行われるように説明したが、このスケーリング処理がエンハンスメントレイヤ画像符号化部142において行われるようにしてもよい。その場合、スケーリング処理部169(図20)が、エンハンスメントレイヤ画像符号化部142に設けられるようにすればよい。
以上のような構成にすることにより、画像符号化装置100は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<画像符号化処理の流れ>
次に、以上のような画像符号化装置100により実行される各処理の流れについて説明する。最初に、図22のフローチャートを参照して、画像符号化処理の流れの例を説明する。
次に、以上のような画像符号化装置100により実行される各処理の流れについて説明する。最初に、図22のフローチャートを参照して、画像符号化処理の流れの例を説明する。
画像符号化処理が開始されると、画像符号化装置100の設定部101(図15)は、ステップS101において、例えば第1の実施の形態において説明したように、パラメータセットを設定する。ステップS102において、符号化部102は、ステップS101において設定されたパラメータセット等に基づいて、入力される階層画像データを符号化し、階層画像符号化ストリームを生成する。ステップS103において、伝送部103は、ステップS102において生成された階層画像符号化ストリームを、例えば復号側に伝送する。ステップS103の処理が終了すると、画像符号化処理が終了する。
<パラメータセット設定処理の流れ>
次に、ステップS101(図22)において実行されるパラメータセット設定処理の流れの例を、図23のフローチャートを参照して説明する。
次に、ステップS101(図22)において実行されるパラメータセット設定処理の流れの例を、図23のフローチャートを参照して説明する。
パラメータセット設定処理が開始されると、VPS設定部111は、ステップS111において、ビデオパラメータセットを設定する。ステップS112において、拡張VPS設定部112は、拡張ビデオパラメータセットを設定する。
ステップS113において、SPS設定部113は、シーケンスパラメータセットを設定する。ステップS114において、拡張SPS設定部114は、拡張シーケンスパラメータセットを設定する。
ステップS114の処理が終了すると、パラメータセット設定処理が終了し、処理が図22に戻る。
なお、ビデオパラメータセットを拡張しないようにしてもよい。その場合、ステップS112の処理を省略するようにしてもよい。また、シーケンスパラメータセットを拡張しないようにしてもよい。その場合、ステップS114の処理を省略するようにしてもよい。さらに、パラメータセット設定処理において、その他のパラメータセットやヘッダ情報等を設定するようにしてもよい。その場合、上述した各処理(ステップ)に、その設定を行う処理(ステップ)を追加するようにしてもよい。
<拡張ビデオパラメータセット設定処理の流れ>
次に、ステップS112(図23)において実行される拡張ビデオパラメータセット設定処理の流れの例を、図24のフローチャートを参照して説明する。
次に、ステップS112(図23)において実行される拡張ビデオパラメータセット設定処理の流れの例を、図24のフローチャートを参照して説明する。
拡張ビデオパラメータセット設定処理が開始されると、key_picture_enabled_flag設定部121は、ステップS121において、key_picture_enabled_flagを設定する。
ステップS121の処理が終了すると、拡張ビデオパラメータセット設定処理が終了し、処理が図23に戻る。
なお、拡張ビデオパラメータセット設定処理において、キーピクチャ指定可能情報(key_pictre_enabled_flag)以外の情報を設定するようにしてもよい。その場合、上述した各処理(ステップ)に、その設定を行う処理(ステップ)を追加するようにしてもよい。また、その場合、キーピクチャ指定可能情報(key_pictre_enabled_flag)が設定されないようにしてもよい。その場合、ステップS121の処理を省略するようにしてもよい。
<拡張シーケンスパラメータセット設定処理の流れ>
次に、ステップS114(図23)において実行される拡張シーケンスパラメータセット設定処理の流れの例を、図25のフローチャートを参照して説明する。図25の例は、キーピクチャ指定情報が、ロングターム指定された全てのピクチャをキーピクチャに指定するかを示す情報である場合の、拡張シーケンスパラメータセット設定処理の流れの例である。
次に、ステップS114(図23)において実行される拡張シーケンスパラメータセット設定処理の流れの例を、図25のフローチャートを参照して説明する。図25の例は、キーピクチャ指定情報が、ロングターム指定された全てのピクチャをキーピクチャに指定するかを示す情報である場合の、拡張シーケンスパラメータセット設定処理の流れの例である。
拡張シーケンスパラメータセット設定処理が開始されると、拡張SPS設定部114の判定部131は、ステップS131において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であるか否かを判定する。キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であると判定された場合、処理はステップS132に進む。
ステップS132において、used_as_key_picture_flag設定部132は、シーケンスパラメータセットのlt_ref_pic_poc_lsb_sps[i]で示される全てのPOCのAU(Access Unit)の所定のレイヤのピクチャをキーピクチャ(Key picture)に設定する。その際、used_as_key_picture_flag設定部132が、キーピクチャ指定情報(used_as_key_picture_flag)の値を「1」に設定するようにしてもよい。
ステップS132の処理が終了すると、拡張シーケンスパラメータセット設定処理が終了し、処理は図23に戻る。
また、ステップS131において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「0」であると判定された場合、ステップS132の処理が省略され、拡張シーケンスパラメータセット設定処理が終了し、処理は図23に戻る。
<拡張シーケンスパラメータセット設定処理の流れ>
なお、拡張シーケンスパラメータセット設定処理において、キーピクチャ指定情報(used_as_key_picture_flag)の値を、ロングタームピクチャ毎に設定するようにしてもよい。その場合の拡張シーケンスパラメータセット設定処理の流れの例を、図26のフローチャートを参照して説明する。
なお、拡張シーケンスパラメータセット設定処理において、キーピクチャ指定情報(used_as_key_picture_flag)の値を、ロングタームピクチャ毎に設定するようにしてもよい。その場合の拡張シーケンスパラメータセット設定処理の流れの例を、図26のフローチャートを参照して説明する。
拡張シーケンスパラメータセット設定処理が開始されると、拡張SPS設定部114の判定部131は、ステップS141において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であるか否かを判定する。キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であると判定された場合、処理はステップS142に進む。
ステップS142において、used_as_key_picture_flag設定部132は、変数iに値「0」をセットする。ステップS143において、その変数iの値が、シーケンスパラメータセットにおいて設定されるロングタームピクチャの数(num_long_term_sps)より小さいか否かを判定する。小さいと判定された場合、処理は、ステップS144に進む。
ステップS144において、used_as_key_picture_flag設定部132は、キーピクチャ指定情報(used_as_key_picture_flag[i])の値を設定する。ステップS145において、used_as_key_picture_flag設定部132は、ステップS144において設定したキーピクチャ指定情報(used_as_key_picture_flag[i])の値が「1」であるか否かを判定する。値が「1」であると判定された場合、処理はステップS146に進む。
ステップS146において、used_as_key_picture_flag設定部132は、シーケンスパラメータセットのlt_ref_pic_poc_lsb_sps[i]で示されるPOCのAUの所定のレイヤのピクチャをキーピクチャ(Key picture)に設定する。
ステップS146の処理が終了すると、処理はステップS147に進む。また、ステップS145において、キーピクチャ指定情報(used_as_key_picture_flag[i])の値が「0」であると判定された場合、ステップS146の処理を省略し、処理はステップS147に進む。
ステップS147において、used_as_key_picture_flag設定部132は、変数Iの値を「1」インクリメントする。ステップS147の処理が終了すると、処理はステップS143に戻り、それ以降の処理を繰り返す。
ステップS141において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「0」であると判定された場合、または、ステップS143において、変数iの値が、シーケンスパラメータセットにおいて設定されるロングタームピクチャの数(num_long_term_sps)以上であると判定された場合、拡張シーケンスパラメータセット設定処理が終了し、処理は図23に戻る。
<拡張シーケンスパラメータセット設定処理の流れ>
なお、拡張シーケンスパラメータセット設定処理において、キーピクチャとするレイヤを指定するようにしてもよい。その場合の拡張シーケンスパラメータセット設定処理の流れの例を、図27のフローチャートを参照して説明する。
なお、拡張シーケンスパラメータセット設定処理において、キーピクチャとするレイヤを指定するようにしてもよい。その場合の拡張シーケンスパラメータセット設定処理の流れの例を、図27のフローチャートを参照して説明する。
拡張シーケンスパラメータセット設定処理が開始されると、ステップS151乃至ステップS155の各処理、並びに、ステップS157およびステップS158の各処理が、図26の場合の拡張シーケンスパラメータセット設定処理におけるステップS141乃至ステップS145の各処理、並びに、ステップS146およびステップS147の各処理と同様に実行される。
ステップS155において、ステップS154において設定したキーピクチャ指定情報(used_as_key_picture_flag[i])の値が「1」であると判定された場合、処理はステップS156に進む。ステップS156において、key_picture_layer_id_minus1設定部133は、レイヤ指定情報(key_picture_layer_id_minus1[i])の値を設定する。ステップS156の処理が終了すると、処理はステップS157に進む。
ステップS151において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「0」であると判定された場合、または、ステップS153において、変数iの値が、シーケンスパラメータセットにおいて設定されるロングタームピクチャの数(num_long_term_sps)以上であると判定された場合、拡張シーケンスパラメータセット設定処理が終了し、処理は図23に戻る。
<符号化ストリーム生成処理の流れ>
次に、図28のフローチャートを参照して、ステップS102(図22)において実行される符号化ストリーム生成処理の流れの例を説明する。
次に、図28のフローチャートを参照して、ステップS102(図22)において実行される符号化ストリーム生成処理の流れの例を説明する。
符号化ストリーム生成処理が開始されると、制御部144は、ステップS161において、パラメータセット等に基づいて、ベースレイヤ画像符号化部141乃至多重化部143の各部を制御する。
ステップS162において、ベースレイヤ画像符号化部141は、ベースレイヤ画像を符号化する。ステップS163において、エンハンスメントレイヤ画像符号化部142は、エンハンスメントレイヤ画像を符号化する。
ステップS164において、多重化部143は、ステップS162において生成されたベースレイヤ画像符号化ストリームと、ステップS163において生成されたエンハンスメントレイヤ画像符号化ストリームとを(すなわち、各レイヤのビットストリームを)多重化し、1系統の階層画像符号化ストリームを生成する。
なお、多重化部143は、必要に応じて、各種パラメータセット等の情報を、階層画像符号化ストリームに含める。多重化部143は、その階層画像符号化ストリームを出力し、伝送部103に伝送する。
ステップS164の処理が終了すると、符号化ストリーム生成処理が終了し、処理は、図22に戻る。符号化部102は、このような符号化処理を各ピクチャについて繰り返し実行する。ただし、ピクチャ毎に行う必要の無い処理は、適宜省略される。
<ベースレイヤ符号化処理の流れ>
次に、図28のステップS162において実行されるベースレイヤ符号化処理の流れの例を、図29のフローチャートを参照して説明する。
次に、図28のステップS162において実行されるベースレイヤ符号化処理の流れの例を、図29のフローチャートを参照して説明する。
ベースレイヤ符号化処理が開始されると、ベースレイヤ画像符号化部141の画面並べ替えバッファ152は、ステップS171において、入力された動画像の各フレーム(ピクチャ)の画像をその表示する順番に記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップS172において、イントラ予測部164は、イントラ予測モードのイントラ予測処理を行う。
ステップS173において、インター予測部165は、インター予測モードでの動き予測や動き補償等を行うインター予測処理を行う。
ステップS174において、予測画像選択部166は、コスト関数値等に基づいて、予測画像を選択する。つまり、予測画像選択部166は、ステップS172のイントラ予測により生成された予測画像と、ステップS173のインター予測により生成された予測画像のいずれか一方を選択する。
ステップS175において、演算部153は、ステップS171の処理によりフレーム順を並び替えられた入力画像と、ステップS174の処理により選択された予測画像との差分を演算する。つまり、演算部153は、入力画像と予測画像との差分画像の画像データを生成する。このようにして求められた差分画像の画像データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップS176において、直交変換部154は、ステップS175の処理により生成された差分画像の画像データを直交変換する。
ステップS177において、量子化部155は、レート制御部167により算出された量子化パラメータを用いて、ステップS176の処理により得られた直交変換係数を量子化する。
ステップS178において、逆量子化部158は、ステップS177の処理により生成された量子化された係数(量子化係数とも称する)を、量子化部155の特性に対応する特性で逆量子化する。
ステップS179において、逆直交変換部159は、ステップS178の処理により得られた直交変換係数を逆直交変換する。
ステップS180において、演算部160は、ステップS179の処理により復元された差分画像に、ステップS174の処理により選択された予測画像を加算することにより、再構成画像の画像データを生成する。
ステップS181においてループフィルタ161は、ステップS180の処理により生成された再構成画像の画像データにループフィルタ処理を行う。これにより、再構成画像のブロック歪み等が除去される。
ステップS182において、フレームメモリ162は、ステップS181の処理により得られた復号画像(ベースレイヤ復号画像)やステップS180の処理により得られた再構成画像等のデータを記憶する。
ステップS183において、可逆符号化部156は、ステップS187の処理により得られた、量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、このとき、可逆符号化部156は、ステップS174の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部156は、イントラ予測部164から供給される最適イントラ予測モード情報、または、インター予測部165から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
ステップS184において蓄積バッファ157は、ステップS183の処理により得られた符号化データ等を蓄積する。蓄積バッファ157に蓄積された符号化データ等は、ベースレイヤ画像符号化ストリームとして適宜読み出され、多重化部143に供給されてエンハンスメントレイヤ画像符号化ストリームと多重化された後、伝送路や記録媒体を介して復号側に伝送される。
ステップS185においてレート制御部167は、ステップS184の処理により蓄積バッファ157に蓄積された符号化データ等の符号量(発生符号量)に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部155の量子化動作のレートを制御する。また、レート制御部167は、量子化パラメータに関する情報を、量子化部155に供給する。
ステップS186において、スケーリング処理部169は、ベースレイヤの解像度がエンハンスメントレイヤの解像度と異なるか否かを判定する。異なると判定された場合、スケーリング処理部169は、処理をステップS187に進め、ベースレイヤの復号画像のスケーリング処理を行い、処理をステップS188に進める。また、ステップS186において、ベースレイヤの解像度がエンハンスメントレイヤの解像度と一致すると判定された場合、スケーリング処理部169は、ステップS187の処理を省略し、ステップS188に処理を進める。
ステップS188において、スケーリング処理部169は、フレームメモリ162からベースレイヤ復号画像等を含むベースレイヤの情報を読み出し、それをエンハンスメントレイヤ符号化処理に供給する。
ステップS188の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図28に戻る。
<インター予測処理の流れ>
次に、図29のステップS173において実行されるインター予測処理の流れの例を、図30のフローチャートを参照して説明する。
次に、図29のステップS173において実行されるインター予測処理の流れの例を、図30のフローチャートを参照して説明する。
インター予測処理が開始されると、インター予測部165は、ステップS191において、未処理のモードを選択する。ステップS192において、インター予測部165は、ロングタームピクチャを参照するか否かを判定する。シーケンスパラメータセットにおいてロングタームピクチャが設定されており、ロングタームピクチャを参照すると判定された場合、処理は、ステップS193に進む。
ステップS193において、インター予測部165は、参照するロングタームピクチャがキーピクチャに指定されているか否かを判定する。キーピクチャ指定情報(used_as_key_picture_flag)の値が「1」である等して、キーピクチャであると判定された場合、処理はステップS194に進む。
ステップS194において、フレームメモリ162は、キーピクチャ指定情報(used_as_key_picture_flag)等により指定されたキーピクチャを取得する。
ステップS195において、スケーリング処理部169は、キーピクチャの解像度とカレントピクチャの解像度とが異なるか否かを判定する。異なると判定得された場合、処理はステップS196に進む。
ステップS196において、スケーリング処理部169は、キーピクチャのスケーリング処理を行い、キーピクチャの解像度をカレントピクチャの解像度に一致させる。
ステップS196の処理が終了すると、処理は、ステップS197に進む。また、ステップS192においてロングタームピクチャを参照しないと判定された場合、ステップS193においてキーピクチャでないと判定された場合、並びに、ステップS195において、キーピクチャの解像度がカレントピクチャの解像度に一致すると判定された場合、処理は、ステップS197に進む。
ステップS197において、インター予測部165は、動き探索を行う。
ステップS198において、インター予測部165は、動き探索により求めた動きベクトル等を用いて各モードのコスト関数値を算出する。
ステップS199において、インター予測部165は、全てのモードを処理したか否かを判定する。未処理のモードが存在すると判定された場合、処理は、ステップS191に戻り、それ以降の処理を繰り返す。
また、ステップS199において、全てのモードを処理したと判定された場合、処理は、ステップS200に進む。
ステップS200において、インター予測部165は、ステップS198において算出された各モードのコスト関数値に基づいて、最適インター予測モードを選択する。
ステップS201において、インター予測部165は、ステップS200において最適インター予測モードに選択されたモードで予測画像を生成する。
ステップS201の処理が終了すると、インター予測処理が終了し、処理は、図29に戻る。
<エンハンスメントレイヤ符号化処理の流れ>
次に、図28のステップS163において実行されるエンハンスメントレイヤ符号化処理の流れの例を、図31のフローチャートを参照して説明する。
次に、図28のステップS163において実行されるエンハンスメントレイヤ符号化処理の流れの例を、図31のフローチャートを参照して説明する。
エンハンスメントレイヤ符号化処理が開始されると、フレームメモリ182は、ステップS211において、ステップS188(図29)の処理によりベースレイヤ画像符号化処理から供給されるベースレイヤ復号画像等を含むベースレイヤの情報を取得し、記憶する。
ステップS212乃至ステップS226の各処理は、ベースレイヤ符号化処理(図29)のステップS171乃至ステップS185の各処理に対応し、対応する処理と基本的に同様に実行される。ただし、ベースレイヤ符号化処理の各処理がベースレイヤに対して行われたのに対し、このエンハンスメントレイヤ符号化処理の各処理は、エンハンスメントレイヤに対して行われる。
ステップS226の処理が終了すると、エンハンスメントレイヤ符号化処理が終了し、処理は、図28に戻る。
以上のように各処理を実行することにより、画像符号化装置100は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
なお、以上においては、画像符号化装置100が、ベースレイヤとエンハンスメントレイヤの2階層(2レイヤ)の階層画像データを符号化する場合について説明したが、画像符号化装置100が符号化する階層画像データの階層数(レイヤ数)は任意である。すなわち、画像符号化装置100の符号化部102が階層画像データの階層数(レイヤ数)分の符号化部を有していれば良い。
<3.第3の実施の形態>
<画像復号装置>
次に、以上のように符号化された符号化データの復号について説明する。図32は、本技術を適用した画像処理装置の一態様である、画像符号化装置100に対応する画像復号装置の主な構成例を示すブロック図である。図32に示される画像復号装置200は、画像符号化装置100が生成した符号化データを、その符号化方法に対応する復号方法で復号する。
<画像復号装置>
次に、以上のように符号化された符号化データの復号について説明する。図32は、本技術を適用した画像処理装置の一態様である、画像符号化装置100に対応する画像復号装置の主な構成例を示すブロック図である。図32に示される画像復号装置200は、画像符号化装置100が生成した符号化データを、その符号化方法に対応する復号方法で復号する。
図32に示されるように、画像復号装置200は、受け取り部201、パース部202、および復号部203を有する。
受け取り部201は、符号化側から伝送される階層画像符号化ストリームを取得する。受け取り部201は、受け取った階層画像符号化ストリームをパース部202に供給する。
パース部202は、供給された階層画像符号化ストリームに含まれるパラメータセット等をパースする。パース部202は、そのパース結果と、階層画像符号化ストリームとを復号部203に供給する。
復号部203は、供給されたパラメータセット等のパース結果に基づいて、階層画像符号化ストリームを復号する。復号部203は、復号して得られた階層画像データを画像復号装置200の外部に出力する。
<パース部>
図33は、図32のパース部202の主な構成例を示すブロック図である。図33に示されるように、パース部202は、VPSパース部211、拡張VPSパース部212、SPSパース部213、および拡張SPSパース部214を有する。
図33は、図32のパース部202の主な構成例を示すブロック図である。図33に示されるように、パース部202は、VPSパース部211、拡張VPSパース部212、SPSパース部213、および拡張SPSパース部214を有する。
VPSパース部211は、ビデオパラメータセットをパースする。拡張VPSパース部212は、拡張ビデオパラメータセットをパースする。SPSパース部213は、シーケンスパラメータセットをパースする。拡張SPSパース部214は、拡張パラメータセットをパースする。拡張SPSパース部214は、これらのパース結果と、階層画像符号化ストリームとを、復号部203(図32)に供給する。
なお、ビデオパラメータセットが拡張されない場合、拡張VPSパース部212を省略するようにしてもよい。また、シーケンスパラメータセットが拡張されない場合、拡張SPSパース部214を省略するようにしてもよい。さらに、パース部202が、その他のパラメータセットやヘッダ情報等をパースすることができるようにしてもよい。その場合、パース部202に、そのパースを行う処理部を設けるようにすればよい。
<拡張VPSパース部>
図34は、拡張VPSパース部212(図33)の主な構成例を示すブロック図である。図34に示されるように、拡張VPSパース部212は、key_picture_enabled_flagパース部221を有する。
図34は、拡張VPSパース部212(図33)の主な構成例を示すブロック図である。図34に示されるように、拡張VPSパース部212は、key_picture_enabled_flagパース部221を有する。
key_picture_enabled_flagパース部221は、拡張ビデオパラメータセットにおいて、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値をパースする。
なお、拡張VPSパース部212が、キーピクチャ指定可能情報(key_pictre_enabled_flag)以外の情報をパースするようにしてもよい。その場合、拡張VPSパース部212に、そのパースを行う処理部を設けるようにすればよい。また、その場合、拡張VPSパース部212が、キーピクチャ指定可能情報(key_pictre_enabled_flag)をパースしないようにしてもよい。その場合、key_picture_enabled_flagパース部221を省略するようにしてもよい。
<拡張SPS設定部>
図35は、拡張SPSパース部214(図33)の主な構成例を示すブロック図である。図35に示されるように、拡張SPSパース部214は、判定部231、used_as_key_picture_flagパース部232、およびkey_picture_layer_id_minus1パース部233を有する。
図35は、拡張SPSパース部214(図33)の主な構成例を示すブロック図である。図35に示されるように、拡張SPSパース部214は、判定部231、used_as_key_picture_flagパース部232、およびkey_picture_layer_id_minus1パース部233を有する。
判定部231は、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値を判定し、その判定結果をused_as_key_picture_flagパース部232に供給する。
used_as_key_picture_flagパース部232は、判定部231から供給された判定結果に基づいて、キーピクチャ指定情報(used_as_key_picture_flag)の値をパースする。key_picture_layer_id_minus1パース部233は、判定部231から供給された判定結果に基づいて、レイヤ指定情報(key_picture_layer_id_minus1[i])の値をパースする。key_picture_layer_id_minus1パース部233は、以上のように設定されたキーピクチャ指定情報(used_as_key_picture_flag)やレイヤ指定情報(key_picture_layer_id_minus1[i])のパース結果、その他パラメータセットのパース結果、階層画像符号化ストリーム等を復号部203(図32)に供給する。
なお、キーピクチャ指定可能情報(key_pictre_enabled_flag)を省略する場合、判定部231を省略するようにしてもよい。また、拡張SPSパース部214が、キーピクチャ指定情報(used_as_key_picture_flag)のパースを行わないようにしてもよい。その場合、used_as_key_picture_flagパース部232を省略するようにしてもよい。また、拡張SPSパース部214が、レイヤ指定情報(key_picture_layer_id_minus1[i])のパースを行わないようにしてもよい。その場合、key_picture_layer_id_minus1パース部233を省略するようにしてもよい。
なお、拡張SPSパース部214が、キーピクチャ指定情報(used_as_key_picture_flag)やレイヤ指定情報(key_picture_layer_id_minus1[i])以外の情報をパースするようにしてもよい。その場合、拡張SPSパース部214に、そのパースを行う処理部を設けるようにすればよい。
<復号部>
図36は、図32の復号部203の主な構成例を示すブロック図である。復号部203の復号方法は、符号化部102の符号化方法に対応する限り任意である。例えば、復号部203は、階層画像データが階層画像符号化(スケーラブル符号化)された符号化データに対して、階層画像復号(スケーラブル復号)を行う。図36においては、復号部203が、ベースレイヤとエンハンスメントレイヤの2階層よりなる階層画像符号化ストリームを、階層画像復号(スケーラブル復号)する場合について説明する。図36に示されるように、復号部203は、逆多重化部241、ベースレイヤ画像復号部242、エンハンスメントレイヤ画像復号部243、および制御部244を有する。
図36は、図32の復号部203の主な構成例を示すブロック図である。復号部203の復号方法は、符号化部102の符号化方法に対応する限り任意である。例えば、復号部203は、階層画像データが階層画像符号化(スケーラブル符号化)された符号化データに対して、階層画像復号(スケーラブル復号)を行う。図36においては、復号部203が、ベースレイヤとエンハンスメントレイヤの2階層よりなる階層画像符号化ストリームを、階層画像復号(スケーラブル復号)する場合について説明する。図36に示されるように、復号部203は、逆多重化部241、ベースレイヤ画像復号部242、エンハンスメントレイヤ画像復号部243、および制御部244を有する。
逆多重化部241は、符号化側から伝送された階層画像符号化ストリームを受け取り、それを逆多重化し、ベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化ストリームとを抽出する。また、逆多重化部241は、階層画像符号化ストリームに含まれるパラメータセット等の情報を抽出し、制御部244に供給する。
ベースレイヤ画像復号部242は、逆多重化部241により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。ベースレイヤ画像復号部242は、得られたベースレイヤ画像を画像復号装置200の外部に出力する。
エンハンスメントレイヤ画像復号部243は、逆多重化部241により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号し、エンハンスメントレイヤ画像を得る。エンハンスメントレイヤ画像復号部243は、得られたエンハンスメントレイヤ画像を画像復号装置200の外部に出力する。
制御部244は、供給されたパラメータセット等の情報に基づいて、ベースレイヤ画像復号部242およびエンハンスメントレイヤ画像復号部243を制御する(各レイヤの復号を制御する)。
<ベースレイヤ画像復号部>
図37は、図36のベースレイヤ画像復号部242の主な構成例を示すブロック図である。図37に示されるようにベースレイヤ画像復号部242は、蓄積バッファ251、可逆復号部252、逆量子化部253、逆直交変換部254、演算部255、ループフィルタ256、および画面並べ替えバッファ257を有する。また、ベースレイヤ画像復号部242は、フレームメモリ259、選択部260、イントラ予測部261、インター予測部262、および予測画像選択部263を有する。
図37は、図36のベースレイヤ画像復号部242の主な構成例を示すブロック図である。図37に示されるようにベースレイヤ画像復号部242は、蓄積バッファ251、可逆復号部252、逆量子化部253、逆直交変換部254、演算部255、ループフィルタ256、および画面並べ替えバッファ257を有する。また、ベースレイヤ画像復号部242は、フレームメモリ259、選択部260、イントラ予測部261、インター予測部262、および予測画像選択部263を有する。
蓄積バッファ251は、伝送されてきた符号化データ(逆多重化部241から供給されるベースレイヤ画像符号化ストリーム)を受け取る受け取り部でもある。蓄積バッファ251は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部252に供給する。この符号化データには、予測モード情報などの復号に必要な情報が付加されている。
可逆復号部252は、蓄積バッファ251より供給された、可逆符号化部156により符号化された情報を、その符号化方式に対応する復号方式で復号する。可逆復号部252は、復号して得られた差分画像の量子化された係数データを、逆量子化部253に供給する。
また、可逆復号部252は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部261およびインター予測部262の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報(イントラ予測モード情報)がイントラ予測部261に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報(インター予測モード情報)がインター予測部262に供給される。
さらに、可逆復号部252は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を、符号化データから抽出し、逆量子化部253に供給する。
逆量子化部253は、可逆復号部252により復号されて得られた量子化された係数データを、量子化部155の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部253は、逆量子化部158と同様の処理部である。逆量子化部253は、得られた係数データ(直交変換係数)を逆直交変換部254に供給する。
逆直交変換部254は、逆量子化部253から供給される直交変換係数を、必要に応じて、直交変換部154の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部254は、逆直交変換部159と同様の処理部である。
この逆直交変換処理により差分画像の画像データが復元される。この復元された差分画像の画像データは、符号化側において直交変換される前の差分画像の画像データに対応する。以下においては、この、逆直交変換部254の逆直交変換処理により得られた、復元された差分画像の画像データを、復号残差データとも称する。逆直交変換部254は、この復号残差データを、演算部255に供給する。また、演算部255には、予測画像選択部263を介して、イントラ予測部261若しくはインター予測部262から予測画像の画像データが供給される。
演算部255は、この復号残差データと予測画像の画像データとを用いて、差分画像と予測画像とを加算した再構成画像の画像データを得る。この再構成画像は、演算部153により予測画像が減算される前の入力画像に対応する。演算部255は、その再構成画像をループフィルタ256に供給する。
ループフィルタ256は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ256は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ256は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた再構成画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ256が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ256が、符号化側から供給された、符号化の際に行われたフィルタ処理に用いられたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。さらに、ループフィルタ256が、このようなフィルタ処理を省略し、入力されたデータをフィルタ処理せずに出力することもできる。
ループフィルタ256は、フィルタ処理結果である復号画像(若しくは再構成画像)を画面並べ替えバッファ257およびフレームメモリ259に供給する。
画面並べ替えバッファ257は、復号画像についてフレームの順番の並べ替えを行う。すなわち、画面並べ替えバッファ257は、画面並べ替えバッファ152により符号化順に並べ替えられた各フレームの画像を、元の表示順に並べ替える。つまり、画面並べ替えバッファ257は、符号化順に供給される各フレームの復号画像の画像データを、その順に記憶し、符号化順に記憶した各フレームの復号画像の画像データを表示順に読み出して、画像復号装置200の外部に出力する。
フレームメモリ259は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部261やインター予測部262等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部260を介してイントラ予測部261やインター予測部262に供給する。
選択部260は、フレームメモリ259から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部260は、フレームメモリ259から供給される参照画像をイントラ予測部261に供給する。また、例えば、インター予測の場合、選択部260は、フレームメモリ259から供給される参照画像をインター予測部262に供給する。
イントラ予測部261には、イントラ予測モード情報等が可逆復号部252から適宜供給される。イントラ予測部261は、イントラ予測部164において用いられたイントラ予測モード(最適イントラ予測モード)でイントラ予測を行い、予測画像を生成する。その際、イントラ予測部261は、選択部260を介してフレームメモリ259から供給される再構成画像の画像データを用いてイントラ予測を行う。すなわち、イントラ予測部261は、この再構成画像を参照画像(周辺画素)として利用する。イントラ予測部261は、生成した予測画像を予測画像選択部263に供給する。
インター予測部262には、最適予測モード情報や動き情報等が可逆復号部252から適宜供給される。インター予測部262は、可逆復号部252から取得された最適予測モード情報が示すインター予測モード(最適インター予測モード)で、フレームメモリ259から取得した復号画像(参照画像)を用いてインター予測を行い、予測画像を生成する。
予測画像選択部263は、イントラ予測部261から供給される予測画像またはインター予測部262から供給される予測画像を、演算部255に供給する。そして、演算部255においては、その予測画像と逆直交変換部254からの復号残差データ(差分画像情報)とが加算されて再構成画像が得られる。
また、ベースレイヤ画像復号部242は、ベースレイヤ制御部264およびスケーリング処理部265を有する。
ベースレイヤ制御部264は、制御部244(図36)に制御されて、パラメータセット等において行われた設定に従ってベースレイヤの復号を行うように、ベースレイヤ画像復号部242の各処理部(蓄積バッファ251乃至スケーリング処理部265)を制御する。つまり、上述したベースレイヤ画像復号部242の各処理部(蓄積バッファ251乃至スケーリング処理部265)の処理は、このベースレイヤ制御部264の制御(換言するに、制御部244の制御)に従って実行される。
フレームメモリ259は、必要に応じて、記憶しているベースレイヤ復号画像等の情報を、エンハンスメントレイヤ画像復号部243(図36)に供給するために、スケーリング制御部265に供給する。
スケーリング処理部265は、フレームメモリ259から供給されるベースレイヤ復号画像に対してスケーリング処理を行い、その解像度をエンハンスメントレイヤの解像度に変換(アップスケール)する。スケーリング処理部265は、エンハンスメントレイヤの解像度にアップスケールしたベースレイヤ復号画像を、エンハンスメントレイヤ画像復号部243に供給する。
また、エンハンスメントレイヤ画像復号部243からエンハンスメントレイヤ復号画像等の情報が供給される場合、スケーリング処理は、その情報を取得し、スケーリング処理を行って、その情報の解像度をベースレイヤの解像度に変換(ダウンスケール)する。スケーリング処理部265は、ベースレイヤの解像度にダウンスケールしたエンハンスメントレイヤの情報を、フレームメモリ259に供給し、記憶させる。この情報は、必要に応じて、参照画像等として、選択部260を介して、イントラ予測部261若しくはインター予測部262に供給される。
なお、ベースレイヤの解像度とエンハンスメントレイヤの解像度とが互いに同一である場合、このようなスケーリング処理を省略するようにしてもよい。つまり、スケーリング処理部265を省略するようにしてもよい。
<エンハンスメントレイヤ画像復号部>
図38は、図36のエンハンスメントレイヤ画像復号部243の主な構成例を示すブロック図である。図38に示されるように、エンハンスメントレイヤ画像復号部243は、図37のベースレイヤ画像復号部242と基本的に同様の構成を有する。
図38は、図36のエンハンスメントレイヤ画像復号部243の主な構成例を示すブロック図である。図38に示されるように、エンハンスメントレイヤ画像復号部243は、図37のベースレイヤ画像復号部242と基本的に同様の構成を有する。
つまり、エンハンスメントレイヤ画像復号部243は、図38に示されるように、蓄積バッファ271、可逆復号部272、逆量子化部273、逆直交変換部274、演算部275、ループフィルタ276、および画面並べ替えバッファ277を有する。また、エンハンスメントレイヤ画像復号部243は、フレームメモリ279、選択部280、イントラ予測部281、インター予測部282、および予測画像選択部283を有する。
これらの蓄積バッファ271乃至予測画像選択部283は、図37の蓄積バッファ251乃至予測画像選択部263に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像復号部243の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、蓄積バッファ271乃至予測画像選択部283の処理の説明として、上述した図37の蓄積バッファ251乃至予測画像選択部263についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、蓄積バッファ271乃至予測画像選択部283の中の対応する処理部に置き換えて読む必要がある。
また、フレームメモリ279は、ベースレイヤ画像復号部242から供給されるベースレイヤ復号画像等の情報を取得し、記憶する。この情報は、必要に応じて、参照画像等として、選択部280を介して、イントラ予測部281若しくはインター予測部282に供給される。なお、フレームメモリ279が、必要に応じて、記憶しているエンハンスメントレイヤ復号画像等の情報を、ベースレイヤ画像復号部242(図36)に供給するようにしてもよい。
エンハンスメントレイヤ画像復号部243は、さらに、エンハンスメントレイヤ制御部284を有する。エンハンスメントレイヤ制御部284は、制御部244(図36)に制御されて、パラメータセット等のパース結果に従ってエンハンスメントレイヤの復号を行うように、エンハンスメントレイヤ画像復号部243の各処理部(蓄積バッファ271乃至予測画像選択部283)を制御する。つまり、上述したエンハンスメントレイヤ画像復号部243の各処理部(蓄積バッファ271乃至予測画像選択部283)の処理は、このエンハンスメントレイヤ制御部284の制御(換言するに、制御部244の制御)に従って実行される。
なお、図37において、スケーリング処理がベースレイヤ画像復号部242において行われるように説明したが、このスケーリング処理がエンハンスメントレイヤ画像復号部243において行われるようにしてもよい。その場合、スケーリング処理部265(図37)が、エンハンスメントレイヤ画像復号部243に設けられるようにすればよい。
以上のような構成にすることにより、画像復号装置200は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<画像復号処理の流れ>
次に、以上のような画像復号装置200により実行される各処理の流れについて説明する。最初に、図39のフローチャートを参照して、画像復号処理の流れの例を説明する。
次に、以上のような画像復号装置200により実行される各処理の流れについて説明する。最初に、図39のフローチャートを参照して、画像復号処理の流れの例を説明する。
画像復号処理が開始されると、画像復号装置200の受け取り部(図32)は、ステップS301において、例えば符号化側から伝送される階層画像符号化ストリームを受け取る。ステップS302において、パース部202は、例えば第1の実施の形態において説明したように、パラメータセットをパースする。ステップS303において、復号部203は、ステップS302におけるパラメータセットのパース結果等に基づいて、階層画像符号化ストリームを復号する。ステップS303の処理が終了すると、画像復号処理が終了する。
<パラメータセットパース処理の流れ>
次に、ステップS302(図39)において実行されるパラメータセットパース処理の流れの例を、図40のフローチャートを参照して説明する。
次に、ステップS302(図39)において実行されるパラメータセットパース処理の流れの例を、図40のフローチャートを参照して説明する。
パラメータセットパース処理が開始されると、VPSパース部211は、ステップS311において、ビデオパラメータセットをパースする。ステップS312において、拡張VPSパース部212は、拡張ビデオパラメータセットをパースする。
ステップS313において、SPSパース部213は、シーケンスパラメータセットをパースする。ステップS314において、拡張SPSパース部214は、拡張シーケンスパラメータセットをパースする。
ステップS314の処理が終了すると、パラメータセットパース処理が終了し、処理が図39に戻る。
なお、ビデオパラメータセットが拡張されないようにしてもよい。その場合、ステップS312の処理を省略するようにしてもよい。また、シーケンスパラメータセットが拡張されないようにしてもよい。その場合、ステップS314の処理を省略するようにしてもよい。さらに、パラメータセットパース処理において、その他のパラメータセットやヘッダ情報等をパースするようにしてもよい。その場合、上述した各処理(ステップ)に、そのパースを行う処理(ステップ)を追加するようにしてもよい。
<拡張ビデオパラメータセットパース処理の流れ>
次に、ステップS312(図40)において実行される拡張ビデオパラメータセットパース処理の流れの例を、図41のフローチャートを参照して説明する。
次に、ステップS312(図40)において実行される拡張ビデオパラメータセットパース処理の流れの例を、図41のフローチャートを参照して説明する。
拡張ビデオパラメータセットパース処理が開始されると、key_picture_enabled_flagパース部221は、ステップS321において、key_picture_enabled_flagをパースする。
ステップS321の処理が終了すると、拡張ビデオパラメータセットパース処理が終了し、処理が図40に戻る。
なお、拡張ビデオパラメータセットパース処理において、キーピクチャ指定可能情報(key_pictre_enabled_flag)以外の情報をパースするようにしてもよい。その場合、上述した各処理(ステップ)に、そのパースを行う処理(ステップ)を追加するようにしてもよい。また、その場合、キーピクチャ指定可能情報(key_pictre_enabled_flag)がパースされないようにしてもよい。その場合、ステップS321の処理を省略するようにしてもよい。
<拡張シーケンスパラメータセットパース処理の流れ>
次に、ステップS314(図40)において実行される拡張シーケンスパラメータセットパース処理の流れの例を、図42のフローチャートを参照して説明する。図42の例は、キーピクチャ指定情報が、ロングターム指定された全てのピクチャをキーピクチャに指定するかを示す情報である場合の、拡張シーケンスパラメータセットパース処理の流れの例である。
次に、ステップS314(図40)において実行される拡張シーケンスパラメータセットパース処理の流れの例を、図42のフローチャートを参照して説明する。図42の例は、キーピクチャ指定情報が、ロングターム指定された全てのピクチャをキーピクチャに指定するかを示す情報である場合の、拡張シーケンスパラメータセットパース処理の流れの例である。
拡張シーケンスパラメータセットパース処理が開始されると、拡張SPSパース部214の判定部231は、ステップS331において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であるか否かを判定する。キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であると判定された場合、処理はステップS332に進む。
ステップS332において、used_as_key_picture_flagパース部232は、シーケンスパラメータセットのlt_ref_pic_poc_lsb_sps[i]で示される全てのPOCのAU(Access Unit)の所定のレイヤのピクチャをキーピクチャ(Key picture)に設定する。
ステップS332の処理が終了すると、拡張シーケンスパラメータセットパース処理が終了し、処理は図40に戻る。
また、ステップS331において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「0」であると判定された場合、ステップS332の処理が省略され、拡張シーケンスパラメータセットパース処理が終了し、処理は図40に戻る。
<拡張シーケンスパラメータセットパース処理の流れ>
なお、キーピクチャ指定情報(used_as_key_picture_flag)の値が、ロングタームピクチャ毎に設定されるようにしてもよい。その場合の拡張シーケンスパラメータセットパース処理の流れの例を、図43のフローチャートを参照して説明する。
なお、キーピクチャ指定情報(used_as_key_picture_flag)の値が、ロングタームピクチャ毎に設定されるようにしてもよい。その場合の拡張シーケンスパラメータセットパース処理の流れの例を、図43のフローチャートを参照して説明する。
拡張シーケンスパラメータセットパース処理が開始されると、拡張SPSパース部214の判定部231は、ステップS341において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であるか否かを判定する。キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「1」であると判定された場合、処理はステップS342に進む。
ステップS342において、used_as_key_picture_flagパース部232は、変数iに値「0」をセットする。そして、used_as_key_picture_flagパース部232は、ステップS343において、その変数iの値が、シーケンスパラメータセットにおいて設定されるロングタームピクチャの数(num_long_term_sps)より小さいか否かを判定する。小さいと判定された場合、処理は、ステップS344に進む。
ステップS344において、used_as_key_picture_flagパース部232は、キーピクチャ指定情報(used_as_key_picture_flag[i])の値をパースする。ステップS345において、used_as_key_picture_flagパース部232は、ステップS344においてパースしたキーピクチャ指定情報(used_as_key_picture_flag[i])の値が「1」であるか否かを判定する。値が「1」であると判定された場合、処理はステップS346に進む。
ステップS346において、used_as_key_picture_flagパース部232は、シーケンスパラメータセットのlt_ref_pic_poc_lsb_sps[i]で示されるPOCのAUの所定のレイヤのピクチャをキーピクチャ(Key picture)に設定する。
ステップS346の処理が終了すると、処理はステップS347に進む。また、ステップS345において、キーピクチャ指定情報(used_as_key_picture_flag[i])の値が「0」であると判定された場合、ステップS346の処理を省略し、処理はステップS347に進む。
ステップS347において、used_as_key_picture_flagパース部232は、変数iの値を「1」インクリメントする。ステップS347の処理が終了すると、処理はステップS343に戻り、それ以降の処理を繰り返す。
ステップS341において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「0」であると判定された場合、または、ステップS343において、変数iの値が、シーケンスパラメータセットにおいて設定されるロングタームピクチャの数(num_long_term_sps)以上であると判定された場合、拡張シーケンスパラメータパース処理が終了し、処理は図40に戻る。
<拡張シーケンスパラメータセットパース処理の流れ>
なお、キーピクチャとするレイヤが指定されるようにしてもよい。その場合の拡張シーケンスパラメータセットパース処理の流れの例を、図44のフローチャートを参照して説明する。
なお、キーピクチャとするレイヤが指定されるようにしてもよい。その場合の拡張シーケンスパラメータセットパース処理の流れの例を、図44のフローチャートを参照して説明する。
拡張シーケンスパラメータセットパース処理が開始されると、ステップS351乃至ステップS355の各処理、並びに、ステップS357およびステップS358の各処理が、図43の場合の拡張シーケンスパラメータセットパース処理におけるステップS341乃至ステップS345の各処理、並びに、ステップS346およびステップS347の各処理と同様に実行される。
ステップS355において、ステップS354においてパースしたキーピクチャ指定情報(used_as_key_picture_flag[i])の値が「1」であると判定された場合、処理はステップS356に進む。ステップS356において、key_picture_layer_id_minus1パース部233は、レイヤ指定情報(key_picture_layer_id_minus1[i])の値をパースする。ステップS356の処理が終了すると、処理はステップS357に進む。
ステップS351において、キーピクチャ指定可能情報(key_pictre_enabled_flag)の値が「0」であると判定された場合、または、ステップS353において、変数iの値が、シーケンスパラメータセットにおいて設定されるロングタームピクチャの数(num_long_term_sps)以上であると判定された場合、拡張シーケンスパラメータパース処理が終了し、処理は図40に戻る。
<符号化ストリーム復号処理の流れ>
次に、図45のフローチャートを参照して、ステップS303(図39)において実行される符号化ストリーム復号処理の流れの例を説明する。
次に、図45のフローチャートを参照して、ステップS303(図39)において実行される符号化ストリーム復号処理の流れの例を説明する。
符号化ストリーム復号処理が開始されると、逆多重化部241は、ステップS361において、多重化されたビットストリームである階層画像符号化ストリームを逆多重化する。
ステップS362において、制御部244は、パラメータセットのパース結果に基づいて、各レイヤの復号を制御する。
ステップS363において、ベースレイヤ画像復号部242は、ベースレイヤ画像符号化ストリームを復号する。
ステップS364において、エンハンスメントレイヤ画像復号部243は、エンハンスメントレイヤ符号化ストリームを復号する。
ステップS364の処理が終了すると、符号化ストリーム復号処理が終了し、処理が図39に戻る。
<ベースレイヤ復号処理の流れ>
次に、図45のステップS363において実行されるベースレイヤ復号処理の流れの例を、図46のフローチャートを参照して説明する。
次に、図45のステップS363において実行されるベースレイヤ復号処理の流れの例を、図46のフローチャートを参照して説明する。
ベースレイヤ復号処理が開始されると、ベースレイヤ画像復号部242の蓄積バッファ251は、ステップS371において、伝送されてきたベースレイヤ符号化ストリームを蓄積する。ステップS372において、可逆復号部252は、蓄積バッファ251から供給されるベースレイヤ符号化ストリームを復号する。すなわち、可逆符号化部156により符号化されたIスライス、Pスライス、並びにBスライス等の画像データが復号される。このとき、ヘッダ情報などのビットストリームに含められた画像データ以外の各種情報も復号される。
ステップS373において、逆量子化部253は、ステップS372の処理により得られた、量子化された係数を逆量子化する。
ステップS374において、逆直交変換部254は、ステップS373において逆量子化された係数を逆直交変換する。
ステップS375において、イントラ予測部261およびインター予測部262は、予測処理を行い、予測画像を生成する。
ステップS376において、演算部255は、ステップS374において逆直交変換されて得られた差分画像に、ステップS375において生成された予測画像を加算する。これにより再構成画像の画像データが得られる。
ステップS377において、ループフィルタ256は、ステップS376の処理により得られた再構成画像の画像データに対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
ステップS378において、画面並べ替えバッファ257は、ステップS377のフィルタ処理により得られた復号画像の各フレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。画面並べ替えバッファ257は、復号画像の各フレームを並べ替えた順に読み出し、画像復号装置200の外部に出力する。
ステップS379において、フレームメモリ259は、ステップS377の処理により得られた復号画像やステップS376の処理により得られた再構成画像等のデータを記憶する。
ステップS380において、スケーリング処理部265は、ベースレイヤの解像度がエンハンスメントレイヤの解像度と異なるか否かを判定する。異なると判定された場合、スケーリング処理部265は、処理をステップS381に進め、ベースレイヤの復号画像のスケーリング処理を行い、処理をステップS382に進める。また、ステップS380において、ベースレイヤの解像度がエンハンスメントレイヤの解像度と一致すると判定された場合、スケーリング処理部265は、ステップS381の処理を省略し、ステップS382に処理を進める。
ステップS382において、スケーリング処理部265は、フレームメモリ259から読み出したベースレイヤ復号画像等を含むベースレイヤの情報を、エンハンスメントレイヤ符号化処理に供給する。
ステップS382の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図45に戻る。
<予測画像生成処理の流れ>
次に、図46のステップS375において実行される予測画像生成処理の流れの例を、図47のフローチャートを参照して説明する。
次に、図46のステップS375において実行される予測画像生成処理の流れの例を、図47のフローチャートを参照して説明する。
予測画像生成処理が開始されると、可逆復号部252は、ステップS391において、最適予測モードがインター予測モードであるか否かを判定する。インター予測モードであると判定された場合、処理はステップS392に進む。
ステップS392において、インター予測部262は、インター予測により予測画像を生成する。予測画像が生成されると、予測画像生成処理が終了し、処理は図46に進む。
また、ステップS391において、最適予測モードがイントラ予測モードであると判定された場合、処理はステップS393に進む。
ステップS393において、イントラ予測部261は、イントラ予測により予測画像を生成する。予測画像が生成されると、予測画像生成処理が終了し、処理は図46に進む。
<予測画像生成処理の流れ>
次に、図47のステップS392において実行されるインター予測処理の流れの例を、図48のフローチャートを参照して説明する。
次に、図47のステップS392において実行されるインター予測処理の流れの例を、図48のフローチャートを参照して説明する。
インター予測処理が開始されると、インター予測部262は、ステップS401において、ロングタームピクチャを参照するか否かを判定する。シーケンスパラメータセットにおいてロングタームピクチャが設定されており、ロングタームピクチャを参照すると判定された場合、処理は、ステップS402に進む。
ステップS402において、インター予測部165は、参照するロングタームピクチャがキーピクチャに指定されているか否かを判定する。キーピクチャ指定情報(used_as_key_picture_flag)の値が「1」である等して、キーピクチャであると判定された場合、処理はステップS403に進む。
ステップS403において、フレームメモリ259は、キーピクチャ指定情報(used_as_key_picture_flag)等により指定されたキーピクチャを取得する。
ステップS404において、スケーリング処理部265は、キーピクチャの解像度とカレントピクチャの解像度とが異なるか否かを判定する。異なると判定得された場合、処理はステップS405に進む。
ステップS405において、スケーリング処理部265は、キーピクチャのスケーリング処理を行い、キーピクチャの解像度をカレントピクチャの解像度に一致させる。
ステップS405の処理が終了すると、処理は、ステップS406に進む。また、ステップS401においてロングタームピクチャを参照しないと判定された場合、ステップS402においてキーピクチャでないと判定された場合、並びに、ステップS404において、キーピクチャの解像度がカレントピクチャの解像度に一致すると判定された場合、処理は、ステップS406に進む。
ステップS406において、インター予測部262は、動き情報を再構築する。
ステップS407において、インター予測部262は、再構築した動き情報を用いて動き補償を行い、予測画像を生成する。
ステップS407の処理が終了すると、インター予測処理が終了し、処理は、図47に戻る。
<エンハンスメントレイヤ復号処理の流れ>
次に、図45のステップS364において実行されるエンハンスメントレイヤ復号処理の流れの例を、図49のフローチャートを参照して説明する。
次に、図45のステップS364において実行されるエンハンスメントレイヤ復号処理の流れの例を、図49のフローチャートを参照して説明する。
エンハンスメントレイヤ復号処理が開始されると、フレームメモリ279は、ステップS411において、ステップS382(図46)の処理によりベースレイヤ復号処理から供給されるベースレイヤ復号画像等を含むベースレイヤの情報を取得する。ステップS412において、フレームメモリ279は、取得したベースレイヤの情報を記憶する。
ステップS413乃至ステップS421の各処理は、ベースレイヤ復号処理(図46)のステップS371乃至ステップS379の各処理に対応し、対応する処理と基本的に同様に実行される。ただし、ベースレイヤ復号処理の各処理がベースレイヤに対して行われたのに対し、このエンハンスメントレイヤ復号処理の各処理は、エンハンスメントレイヤに対して行われる。
ステップS421の処理が終了すると、エンハンスメントレイヤ復号処理が終了し、処理は、図45に戻る。
以上のように各処理を実行することにより、画像復号装置200は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
なお、以上においては、画像復号装置200が、ベースレイヤとエンハンスメントレイヤの2階層(2レイヤ)の階層画像符号化ストリームを復号する場合について説明したが、画像復号装置200が復号する階層画像符号化ストリームの階層数(レイヤ数)は任意である。すなわち、画像復号装置200の復号部203が階層画像符号化ストリームの階層数(レイヤ数)分の復号部を有していれば良い。
本技術の適用範囲は、スケーラブルな符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。
また、本技術は、例えば、MPEG、H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報(ビットストリーム)を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
<4.第4の実施の形態>
<多視点画像符号化・多視点画像復号への適用>
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図50は、多視点画像符号化方式の一例を示す。
<多視点画像符号化・多視点画像復号への適用>
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図50は、多視点画像符号化方式の一例を示す。
図50に示されるように、多視点画像は、複数の視点(ビュー(view))の画像を含む。この多視点画像の複数のビューは、他のビューの情報を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの情報を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューの符号化・復号は、ベースビューの情報を利用するようにしても良いし、他のノンベースビューの情報を利用するようにしてもよい。
つまり、多視点画像符号化・復号におけるビュー間の参照関係は、階層画像符号化・復号におけるレイヤ間の参照関係と同様である。したがって、図50のような多視点画像の符号化・復号において、上述した方法を適用するようにしてもよい。このようにすることにより、多視点画像の場合も同様に、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<多視点画像符号化装置>
図51は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図51に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。
図51は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図51に示されるように、多視点画像符号化装置600は、符号化部601、符号化部602、および多重化部603を有する。
符号化部601は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部602は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部603は、符号化部601において生成されたベースビュー画像符号化ストリームと、符号化部602において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
第2の実施の形態において説明した画像符号化装置100の符号化部102として、このような多視点画像符号化装置600を適用すればよい。このようにすることにより、画像符号化装置100は、第1の実施の形態や第2の実施の形態において説明した方法で、多視点画像を符号化することができる。すなわち、画像符号化装置100は、多視点画像の符号化において、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<多視点画像復号装置>
図52は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図52に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。
図52は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図52に示されるように、多視点画像復号装置610は、逆多重化部611、復号部612、および復号部613を有する。
逆多重化部611は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部612は、逆多重化部611により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部613は、逆多重化部611により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
第3の実施の形態において説明した画像復号装置200の復号部203として、このような多視点画像復号装置610を適用すればよい。このようにすることにより、画像復号装置200は、多視点画像が第1の実施の形態や第2の実施の形態において説明した方法で符号化された符号化データを、第1の実施の形態や第3の実施の形態において説明した方法で正しく復号することができる。すなわち、画像復号装置200は、多視点画像の符号化において、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<5.第5の実施の形態>
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図53は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図53に示されるコンピュータ800において、CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803は、バス804を介して相互に接続されている。
バス804にはまた、入出力インタフェース810も接続されている。入出力インタフェース810には、入力部811、出力部812、記憶部813、通信部814、およびドライブ815が接続されている。
入力部811は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部812は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部813は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部814は、例えば、ネットワークインタフェースよりなる。ドライブ815は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア821を駆動する。
以上のように構成されるコンピュータでは、CPU801が、例えば、記憶部813に記憶されているプログラムを、入出力インタフェース810およびバス804を介して、RAM803にロードして実行することにより、上述した一連の処理が行われる。RAM803にはまた、CPU801が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU801)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア821に記録して適用することができる。その場合、プログラムは、リムーバブルメディア821をドライブ815に装着することにより、入出力インタフェース810を介して、記憶部813にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部814で受信し、記憶部813にインストールすることができる。
その他、このプログラムは、ROM802や記憶部813に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
上述した実施形態に係る画像符号化装置及び画像復号装置は、例えば、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
<6.第6の実施の形態>
<第1の応用例:テレビジョン受像機>
図54は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース(I/F)部909、制御部910、ユーザインタフェース(I/F)部911、及びバス912を備える。
<第1の応用例:テレビジョン受像機>
図54は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース(I/F)部909、制御部910、ユーザインタフェース(I/F)部911、及びバス912を備える。
チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送部としての役割を有する。
デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPG(Electronic Program Guide)などの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。
映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD(Organic ElectroLuminescence Display)(有機ELディスプレイ)など)の映像面上に映像又は画像を表示する。
音声信号処理部907は、デコーダ904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース部909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース部909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送部としての役割を有する。
制御部910は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。
ユーザインタフェース部911は、制御部910と接続される。ユーザインタフェース部911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。
バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース部909及び制御部910を相互に接続する。
このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置200の機能を有する。つまり、デコーダ904は、第1の実施の形態や第2の実施の形態において説明した方法で符号化された符号化データを、第1の実施の形態や第3の実施の形態において説明した方法で正しく復号することができる。したがって、テレビジョン装置900は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<第2の応用例:携帯電話機>
図55は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
図55は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。
携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929に供給し、その記憶媒体に書き込ませる。
記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB(Universal Serial Bus)メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記録再生部929に供給し、その記憶媒体に書き込ませる。
さらに、画像表示モードにおいて、記録再生部929は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部927へ出力する。画像処理部927は、記録再生部929から入力される符号化ストリームを復号し、画像データを表示部930に供給し、その画像を表示させる。
また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号を、アンテナ921を介して基地局(図示せず)へ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。
このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置100や画像復号装置200の機能を有する。つまり、画像処理部927は、画像データを、第1の実施の形態や第2の実施の形態において説明した方法で符号化したり、その符号化により得られる符号化データを、第1の実施の形態や第3の実施の形態において説明した方法で正しく復号したりすることができる。したがって、携帯電話機920は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<第3の応用例:記録再生装置>
図56は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データおよび映像データを復号する。
図56は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データおよび映像データを復号する。
記録再生装置940は、チューナ941、外部インタフェース(I/F)部942、エンコーダ943、HDD(Hard Disk Drive)944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)948、制御部949、およびユーザインタフェース(I/F)部950を備える。
チューナ941は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送部としての役割を有する。
外部インタフェース部942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部942は、例えば、IEEE(Institute of Electrical and Electronic Engineers)1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部942を介して受信される映像データおよび音声データは、エンコーダ943へ入力される。即ち、外部インタフェース部942は、記録再生装置940における伝送部としての役割を有する。
エンコーダ943は、外部インタフェース部942から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。
HDD944は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD944は、映像および音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ945は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVD(Digital Versatile Disc)ディスク(DVD-Video、DVD-RAM(DVD - Random Access Memory)、DVD-R(DVD - Recordable)、DVD-RW(DVD - Rewritable)、DVD+R(DVD + Recordable)、DVD+RW(DVD + Rewritable)等)又はBlu-ray(登録商標)ディスクなどであってよい。
セレクタ946は、映像および音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。
デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ947は、生成した音声データを外部のスピーカへ出力する。
OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部950から入力される操作信号に応じて、記録再生装置940の動作を制御する。
ユーザインタフェース部950は、制御部949と接続される。ユーザインタフェース部950は、例えば、ユーザが記録再生装置940を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。
このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置100の機能を有する。つまり、エンコーダ943は、画像データを第1の実施の形態や第2の実施の形態において説明した方法で符号化することができる。また、デコーダ947は、上述した実施形態に係る画像復号装置200の機能を有する。つまり、デコーダ947は、画像データが第1の実施の形態や第2の実施の形態において説明した方法で符号化された符号化データを、第1の実施の形態や第3の実施の形態において説明した方法で正しく復号することができる。それにより、記録再生装置940は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<第4の応用例:撮像装置>
図57は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
図57は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース(I/F)部966、メモリ部967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース(I/F)部971、およびバス972を備える。
光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース部971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD969、および制御部970を相互に接続する。
光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。
信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。
画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース部966またはメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース部966またはメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。
OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。
外部インタフェース部966は、例えばUSB入出力端子として構成される。外部インタフェース部966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース部966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース部966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部966は、撮像装置960における伝送部としての役割を有する。
メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。
制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部971から入力される操作信号に応じて、撮像装置960の動作を制御する。
ユーザインタフェース部971は、制御部970と接続される。ユーザインタフェース部971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。
このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置100や画像復号装置200の機能を有する。つまり、画像処理部964は、画像データを第1の実施の形態や第2の実施の形態において説明した方法で符号化したり、その符号化により得られる符号化データを、第1の実施の形態や第3の実施の形態において説明した方法で正しく復号したりすることができる。したがって、撮像装置960は、キーピクチャの利用を容易にし、より容易に符号化効率を向上させることができる。
<7.第7の実施の形態>
<スケーラブル符号化の応用例:第1のシステム>
次に、スケーラブル符号化(階層(画像)符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図58に示される例のように、伝送するデータの選択のために利用される。
<スケーラブル符号化の応用例:第1のシステム>
次に、スケーラブル符号化(階層(画像)符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図58に示される例のように、伝送するデータの選択のために利用される。
図58に示されるデータ伝送システム1000において、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを読み出し、ネットワーク1003を介して、パーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置に配信する。
その際、配信サーバ1002は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ1002が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ1002が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ1002は、スケーラブル符号化データ記憶部1001に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部1001は、スケーラブルに符号化されたスケーラブル符号化データ(BL+EL)1011を記憶するとする。このスケーラブル符号化データ(BL+EL)1011は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ1002は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ1002は、処理能力の高いパーソナルコンピュータ1004やタブレットデバイス1006に対しては、高品質なスケーラブル符号化データ(BL+EL)1011をスケーラブル符号化データ記憶部1001から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ1002は、処理能力の低いAV機器1005や携帯電話機1007に対しては、スケーラブル符号化データ(BL+EL)1011からベースレイヤのデータを抽出し、スケーラブル符号化データ(BL+EL)1011と同じコンテンツのデータであるが、スケーラブル符号化データ(BL+EL)1011よりも低品質なスケーラブル符号化データ(BL)1012として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ(BL+EL)1011は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部1001の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ1004乃至携帯電話機1007のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク1003も、例えばインターネットやLAN(Local Area Network)等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ1002は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション(ソフトウエア)の性能等といった端末装置の能力に関する情報、並びに、ネットワーク1003の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ1002が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ1004が、伝送されたスケーラブル符号化データ(BL+EL)1011から、ベースレイヤのスケーラブル符号化データ(BL)1012を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部1001、配信サーバ1002、ネットワーク1003、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ1002がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム1000は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
そして、図58のようなデータ伝送システム1000においても、図1乃至図49を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
<スケーラブル符号化の応用例:第2のシステム>
また、スケーラブル符号化は、例えば、図59に示される例のように、複数の通信媒体を介する伝送のために利用される。
また、スケーラブル符号化は、例えば、図59に示される例のように、複数の通信媒体を介する伝送のために利用される。
図59に示されるデータ伝送システム1100において、放送局1101は、地上波放送1111により、ベースレイヤのスケーラブル符号化データ(BL)1121を伝送する。また、放送局1101は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク1112を介して、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する(例えばパケット化して伝送する)。
端末装置1102は、放送局1101が放送する地上波放送1111の受信機能を有し、この地上波放送1111を介して伝送されるベースレイヤのスケーラブル符号化データ(BL)1121を受け取る。また、端末装置1102は、ネットワーク1112を介した通信を行う通信機能をさらに有し、このネットワーク1112を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を受け取る。
端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置1102は、例えばユーザ指示等に応じて、地上波放送1111を介して取得したベースレイヤのスケーラブル符号化データ(BL)1121と、ネットワーク1112を介して取得したエンハンスメントレイヤのスケーラブル符号化データ(EL)1122とを合成して、スケーラブル符号化データ(BL+EL)を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ(BL)1121を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ(EL)1122を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ(EL)1122を伝送する通信媒体を、ネットワーク1112とするか、地上波放送1111とするかを、ネットワーク1112の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置1102の数も任意である。さらに、以上においては、放送局1101からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム1100は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
そして、図59のようなデータ伝送システム1100においても、図1乃至図49を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
<スケーラブル符号化の応用例:第3のシステム>
また、スケーラブル符号化は、例えば、図60に示される例のように、符号化データの記憶に利用される。
また、スケーラブル符号化は、例えば、図60に示される例のように、符号化データの記憶に利用される。
図60に示される撮像システム1200において、撮像装置1201は、被写体1211を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ(BL+EL)1221として、スケーラブル符号化データ記憶装置1202に供給する。
スケーラブル符号化データ記憶装置1202は、撮像装置1201から供給されるスケーラブル符号化データ(BL+EL)1221を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置1202は、スケーラブル符号化データ(BL+EL)1221からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置1202は、高品質でデータ量の多いスケーラブル符号化データ(BL+EL)1221のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置1202は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置1201が監視カメラであるとする。撮像画像に監視対象(例えば侵入者)が写っていない場合(通常時の場合)、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ(スケーラブル符号化データ)は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体1211として写っている場合(注目時の場合)、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ(スケーラブル符号化データ)は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置1202が、画像を解析することにより判定しても良い。また、撮像装置1201が判定し、その判定結果をスケーラブル符号化データ記憶装置1202に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の2つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、3つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置1201が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置1201が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)1222を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置1201が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ(BL+EL)1221を生成し、スケーラブル符号化データ記憶装置1202に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム1200の用途は任意であり、監視カメラに限定されない。
そして、図60のような撮像システム1200においても、図1乃至図49を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。
<8.第8の実施の形態>
<実施のその他の例>
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
<実施のその他の例>
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
<ビデオセット>
本技術をセットとして実施する場合の例について、図61を参照して説明する。図61は、本技術を適用したビデオセットの概略的な構成の一例を示している。
本技術をセットとして実施する場合の例について、図61を参照して説明する。図61は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、1機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する1セットとして実施を行う場合も多く見られるようになってきた。
図61に示されるビデオセット1300は、このような多機能化された構成であり、画像の符号化や復号(いずれか一方でもよいし、両方でも良い)に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図61に示されるように、ビデオセット1300は、ビデオモジュール1311、外部メモリ1312、パワーマネージメントモジュール1313、およびフロントエンドモジュール1314等のモジュール群と、コネクティビティ1321、カメラ1322、およびセンサ1323等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図61の例の場合、ビデオモジュール1311は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム1333、およびRFモジュール1334を有する。
プロセッサは、所定の機能を有する構成をSoC(System On a Chip)により半導体チップに集積したものであり、例えばシステムLSI(Large Scale Integration)等と称されるものもある。この所定の機能を有する構成は、論理回路(ハードウエア構成)であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム(ソフトウエア構成)であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路(ハードウエア構成)により実現し、その他の機能をCPUにおいて実行されるプログラム(ソフトウエア構成)により実現するようにしてもよい。
図61のアプリケーションプロセッサ1331は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ1331において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ1332等、ビデオモジュール1311内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ1332は、画像の符号化・復号(その一方若しくは両方)に関する機能を有するプロセッサである。
ブロードバンドモデム1333は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線(またはその両方)の広帯域通信により送信するデータ(デジタル信号)をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ(デジタル信号)に変換したりする。ブロードバンドモデム1333は、例えば、ビデオプロセッサ1332が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
RFモジュール1334は、アンテナを介して送受信されるRF(Radio Frequency)信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール1334は、ブロードバンドモデム1333により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール1334は、フロントエンドモジュール1314を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図61において点線1341に示されるように、アプリケーションプロセッサ1331とビデオプロセッサ1332を、一体化し、1つのプロセッサとして構成されるようにしてもよい。
外部メモリ1312は、ビデオモジュール1311の外部に設けられた、ビデオモジュール1311により利用される記憶デバイスを有するモジュールである。この外部メモリ1312の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM(Dynamic Random Access Memory)のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール1313は、ビデオモジュール1311(ビデオモジュール1311内の各構成)への電力供給を管理し、制御する。
フロントエンドモジュール1314は、RFモジュール1334に対してフロントエンド機能(アンテナ側の送受信端の回路)を提供するモジュールである。図61に示されるように、フロントエンドモジュール1314は、例えば、アンテナ部1351、フィルタ1352、および増幅部1353を有する。
アンテナ部1351は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部1351は、増幅部1353から供給される信号を無線信号として送信し、受信した無線信号を電気信号(RF信号)としてフィルタ1352に供給する。フィルタ1352は、アンテナ部1351を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール1334に供給する。増幅部1353は、RFモジュール1334から供給されるRF信号を増幅し、アンテナ部1351に供給する。
コネクティビティ1321は、外部との接続に関する機能を有するモジュールである。コネクティビティ1321の物理構成は、任意である。例えば、コネクティビティ1321は、ブロードバンドモデム1333が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ1321が、Bluetooth(登録商標)、IEEE 802.11(例えばWi-Fi(Wireless Fidelity、登録商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association)等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ1321が、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ1321が、アナログ入出力端子等のその他のデータ(信号)伝送機能等を有するようにしてもよい。
なお、コネクティビティ1321が、データ(信号)の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ1321が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ(リムーバブルメディアのドライブだけでなく、ハードディスク、SSD(Solid State Drive)、NAS(Network Attached Storage)等も含む)を有するようにしてもよい。また、コネクティビティ1321が、画像や音声の出力デバイス(モニタやスピーカ等)を有するようにしてもよい。
カメラ1322は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ1322の撮像により得られた画像データは、例えば、ビデオプロセッサ1332に供給されて符号化される。
センサ1323は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ1323により検出されたデータは、例えば、アプリケーションプロセッサ1331に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット1300において、後述するようにビデオプロセッサ1332に本技術を適用することができる。したがって、ビデオセット1300は、本技術を適用したセットとして実施することができる。
<ビデオプロセッサの構成例>
図62は、本技術を適用したビデオプロセッサ1332(図61)の概略的な構成の一例を示している。
図62は、本技術を適用したビデオプロセッサ1332(図61)の概略的な構成の一例を示している。
図62の例の場合、ビデオプロセッサ1332は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図62に示されるように、ビデオプロセッサ1332は、ビデオ入力処理部1401、第1画像拡大縮小部1402、第2画像拡大縮小部1403、ビデオ出力処理部1404、フレームメモリ1405、およびメモリ制御部1406を有する。また、ビデオプロセッサ1332は、エンコード・デコードエンジン1407、ビデオES(Elementary Stream)バッファ1408Aおよび1408B、並びに、オーディオESバッファ1409Aおよび1409Bを有する。さらに、ビデオプロセッサ1332は、オーディオエンコーダ1410、オーディオデコーダ1411、多重化部(MUX(Multiplexer))1412、逆多重化部(DMUX(Demultiplexer))1413、およびストリームバッファ1414を有する。
ビデオ入力処理部1401は、例えばコネクティビティ1321(図61)等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第1画像拡大縮小部1402は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第2画像拡大縮小部1403は、画像データに対して、ビデオ出力処理部1404を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第1画像拡大縮小部1402と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部1404は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ1321等に出力する。
フレームメモリ1405は、ビデオ入力処理部1401、第1画像拡大縮小部1402、第2画像拡大縮小部1403、ビデオ出力処理部1404、およびエンコード・デコードエンジン1407によって共用される画像データ用のメモリである。フレームメモリ1405は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部1406は、エンコード・デコードエンジン1407からの同期信号を受けて、アクセス管理テーブル1406Aに書き込まれたフレームメモリ1405へのアクセススケジュールに従ってフレームメモリ1405に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル1406Aは、エンコード・デコードエンジン1407、第1画像拡大縮小部1402、第2画像拡大縮小部1403等で実行される処理に応じて、メモリ制御部1406により更新される。
エンコード・デコードエンジン1407は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン1407は、フレームメモリ1405から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ1408Aに順次書き込む。また、例えば、ビデオESバッファ1408Bからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ1405に順次書き込む。エンコード・デコードエンジン1407は、これらの符号化や復号において、フレームメモリ1405を作業領域として使用する。また、エンコード・デコードエンジン1407は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部1406に対して同期信号を出力する。
ビデオESバッファ1408Aは、エンコード・デコードエンジン1407によって生成されたビデオストリームをバッファリングして、多重化部(MUX)1412に供給する。ビデオESバッファ1408Bは、逆多重化部(DMUX)1413から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン1407に供給する。
オーディオESバッファ1409Aは、オーディオエンコーダ1410によって生成されたオーディオストリームをバッファリングして、多重化部(MUX)1412に供給する。オーディオESバッファ1409Bは、逆多重化部(DMUX)1413から供給されたオーディオストリームをバッファリングして、オーディオデコーダ1411に供給する。
オーディオエンコーダ1410は、例えばコネクティビティ1321等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3(AudioCode number 3)方式等の所定の方式で符号化する。オーディオエンコーダ1410は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ1409Aに順次書き込む。オーディオデコーダ1411は、オーディオESバッファ1409Bから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ1321等に供給する。
多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法(すなわち、多重化により生成されるビットストリームのフォーマット)は任意である。また、この多重化の際に、多重化部(MUX)1412は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部(MUX)1412は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部(MUX)1412は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ(ファイルデータ)に変換する。
逆多重化部(DMUX)1413は、多重化部(MUX)1412による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部(DMUX)1413は、ストリームバッファ1414から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する(ビデオストリームとオーディオストリームとを分離する)。つまり、逆多重化部(DMUX)1413は、逆多重化によりストリームのフォーマットを変換(多重化部(MUX)1412による変換の逆変換)することができる。例えば、逆多重化部(DMUX)1413は、例えばコネクティビティ1321やブロードバンドモデム1333等から供給されたトランスポートストリームを、ストリームバッファ1414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部(DMUX)1413は、例えばコネクティビティ1321により各種記録媒体から読み出されたファイルデータを、ストリームバッファ1414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ1414は、ビットストリームをバッファリングする。例えば、ストリームバッファ1414は、多重化部(MUX)1412から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ1321やブロードバンドモデム1333等に供給する。
また、例えば、ストリームバッファ1414は、多重化部(MUX)1412から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ1321等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ1414は、例えばコネクティビティ1321やブロードバンドモデム1333等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)1413に供給する。
また、ストリームバッファ1414は、例えばコネクティビティ1321等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)1413に供給する。
次に、このような構成のビデオプロセッサ1332の動作の例について説明する。例えば、コネクティビティ1321等からビデオプロセッサ1332に入力されたビデオ信号は、ビデオ入力処理部1401において4:2:2Y/Cb/Cr方式等の所定の方式のデジタル画像データに変換され、フレームメモリ1405に順次書き込まれる。このデジタル画像データは、第1画像拡大縮小部1402または第2画像拡大縮小部1403に読み出されて、4:2:0Y/Cb/Cr方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ1405に書き込まれる。この画像データは、エンコード・デコードエンジン1407によって符号化され、ビデオストリームとしてビデオESバッファ1408Aに書き込まれる。
また、コネクティビティ1321等からビデオプロセッサ1332に入力されたオーディオ信号は、オーディオエンコーダ1410によって符号化され、オーディオストリームとして、オーディオESバッファ1409Aに書き込まれる。
ビデオESバッファ1408Aのビデオストリームと、オーディオESバッファ1409Aのオーディオストリームは、多重化部(MUX)1412に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部(MUX)1412により生成されたトランスポートストリームは、ストリームバッファ1414にバッファされた後、例えばコネクティビティ1321やブロードバンドモデム1333等を介して外部ネットワークに出力される。また、多重化部(MUX)1412により生成されたファイルデータは、ストリームバッファ1414にバッファされた後、例えばコネクティビティ1321等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ1321やブロードバンドモデム1333等を介して外部ネットワークからビデオプロセッサ1332に入力されたトランスポートストリームは、ストリームバッファ1414にバッファされた後、逆多重化部(DMUX)1413により逆多重化される。また、例えばコネクティビティ1321等において各種記録媒体から読み出され、ビデオプロセッサ1332に入力されたファイルデータは、ストリームバッファ1414にバッファされた後、逆多重化部(DMUX)1413により逆多重化される。つまり、ビデオプロセッサ1332に入力されたトランスポートストリームまたはファイルデータは、逆多重化部(DMUX)1413によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ1409Bを介してオーディオデコーダ1411に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ1408Bに書き込まれた後、エンコード・デコードエンジン1407により順次読み出されて復号されてフレームメモリ1405に書き込まれる。復号された画像データは、第2画像拡大縮小部1403によって拡大縮小処理されて、フレームメモリ1405に書き込まれる。そして、復号された画像データは、ビデオ出力処理部1404に読み出されて、4:2:2Y/Cb/Cr方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ1332に本技術を適用する場合、エンコード・デコードエンジン1407に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン1407が、上述した実施の形態に係る画像符号化装置100や画像復号装置200の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ1332は、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
なお、エンコード・デコードエンジン1407において、本技術(すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
<ビデオプロセッサの他の構成例>
図63は、本技術を適用したビデオプロセッサ1332の概略的な構成の他の例を示している。図63の例の場合、ビデオプロセッサ1332は、ビデオデータを所定の方式で符号化・復号する機能を有する。
図63は、本技術を適用したビデオプロセッサ1332の概略的な構成の他の例を示している。図63の例の場合、ビデオプロセッサ1332は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図63に示されるように、ビデオプロセッサ1332は、制御部1511、ディスプレイインタフェース1512、ディスプレイエンジン1513、画像処理エンジン1514、および内部メモリ1515を有する。また、ビデオプロセッサ1332は、コーデックエンジン1516、メモリインタフェース1517、多重化・逆多重化部(MUX DMUX)1518、ネットワークインタフェース1519、およびビデオインタフェース1520を有する。
制御部1511は、ディスプレイインタフェース1512、ディスプレイエンジン1513、画像処理エンジン1514、およびコーデックエンジン1516等、ビデオプロセッサ1332内の各処理部の動作を制御する。
図63に示されるように、制御部1511は、例えば、メインCPU1531、サブCPU1532、およびシステムコントローラ1533を有する。メインCPU1531は、ビデオプロセッサ1332内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU1531は、そのプログラム等に従って制御信号を生成し、各処理部に供給する(つまり、各処理部の動作を制御する)。サブCPU1532は、メインCPU1531の補助的な役割を果たす。例えば、サブCPU1532は、メインCPU1531が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ1533は、メインCPU1531およびサブCPU1532が実行するプログラムを指定する等、メインCPU1531およびサブCPU1532の動作を制御する。
ディスプレイインタフェース1512は、制御部1511の制御の下、画像データを例えばコネクティビティ1321等に出力する。例えば、ディスプレイインタフェース1512は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ1321のモニタ装置等に出力する。
ディスプレイエンジン1513は、制御部1511の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン1514は、制御部1511の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ1515は、ディスプレイエンジン1513、画像処理エンジン1514、およびコーデックエンジン1516により共用される、ビデオプロセッサ1332の内部に設けられたメモリである。内部メモリ1515は、例えば、ディスプレイエンジン1513、画像処理エンジン1514、およびコーデックエンジン1516の間で行われるデータの授受に利用される。例えば、内部メモリ1515は、ディスプレイエンジン1513、画像処理エンジン1514、またはコーデックエンジン1516から供給されるデータを格納し、必要に応じて(例えば、要求に応じて)、そのデータを、ディスプレイエンジン1513、画像処理エンジン1514、またはコーデックエンジン1516に供給する。この内部メモリ1515は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM(Static Random Access Memory)のような比較的(例えば外部メモリ1312と比較して)小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン1516は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン1516が対応する符号化・復号の方式は任意であり、その数は1つであってもよいし、複数であってもよい。例えば、コーデックエンジン1516は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
図63に示される例において、コーデックエンジン1516は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(Scalable)1544、HEVC/H.265(Multi-view)1545、およびMPEG-DASH1551を有する。
MPEG-2 Video1541は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.2641542は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.2651543は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)1544は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)1545は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH1551は、画像データをMPEG-DASH(MPEG-Dynamic Adaptive Streaming over HTTP)方式で送受信する機能ブロックである。MPEG-DASHは、HTTP(HyperText Transfer Protocol)を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の1つとする。MPEG-DASH1551は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video1541乃至HEVC/H.265(Multi-view)1545を利用する。
メモリインタフェース1517は、外部メモリ1312用のインタフェースである。画像処理エンジン1514やコーデックエンジン1516から供給されるデータは、メモリインタフェース1517を介して外部メモリ1312に供給される。また、外部メモリ1312から読み出されたデータは、メモリインタフェース1517を介してビデオプロセッサ1332(画像処理エンジン1514若しくはコーデックエンジン1516)に供給される。
多重化・逆多重化部(MUX DMUX)1518は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部(MUX DMUX)1518は、複数のデータを1つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部(MUX DMUX)1518は、1つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部(MUX DMUX)1518は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部(MUX DMUX)1518は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ(ファイルデータ)に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース1519は、例えばブロードバンドモデム1333やコネクティビティ1321等向けのインタフェースである。ビデオインタフェース1520は、例えばコネクティビティ1321やカメラ1322等向けのインタフェースである。
次に、このようなビデオプロセッサ1332の動作の例について説明する。例えば、例えばコネクティビティ1321やブロードバンドモデム1333等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース1519を介して多重化・逆多重化部(MUX DMUX)1518に供給されて逆多重化され、コーデックエンジン1516により復号される。コーデックエンジン1516の復号により得られた画像データは、例えば、画像処理エンジン1514により所定の画像処理が施され、ディスプレイエンジン1513により所定の変換が行われ、ディスプレイインタフェース1512を介して例えばコネクティビティ1321等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン1516の復号により得られた画像データは、コーデックエンジン1516により再符号化され、多重化・逆多重化部(MUX DMUX)1518により多重化されてファイルデータに変換され、ビデオインタフェース1520を介して例えばコネクティビティ1321等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ1321等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース1520を介して多重化・逆多重化部(MUX DMUX)1518に供給されて逆多重化され、コーデックエンジン1516により復号される。コーデックエンジン1516の復号により得られた画像データは、画像処理エンジン1514により所定の画像処理が施され、ディスプレイエンジン1513により所定の変換が行われ、ディスプレイインタフェース1512を介して例えばコネクティビティ1321等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン1516の復号により得られた画像データは、コーデックエンジン1516により再符号化され、多重化・逆多重化部(MUX DMUX)1518により多重化されてトランスポートストリームに変換され、ネットワークインタフェース1519を介して例えばコネクティビティ1321やブロードバンドモデム1333等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ1332内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ1515や外部メモリ1312を利用して行われる。また、パワーマネージメントモジュール1313は、例えば制御部1511への電力供給を制御する。
このように構成されるビデオプロセッサ1332に本技術を適用する場合、コーデックエンジン1516に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン1516が、上述した実施の形態に係る画像符号化装置100や画像復号装置200を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ1332は、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
なお、コーデックエンジン1516において、本技術(すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ1332の構成を2例示したが、ビデオプロセッサ1332の構成は任意であり、上述した2例以外のものであってもよい。また、このビデオプロセッサ1332は、1つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する3次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
<装置への適用例>
ビデオセット1300は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット1300は、テレビジョン装置900(図54)、携帯電話機920(図55)、記録再生装置940(図56)、撮像装置960(図57)等に組み込むことができる。ビデオセット1300を組み込むことにより、その装置は、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
ビデオセット1300は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット1300は、テレビジョン装置900(図54)、携帯電話機920(図55)、記録再生装置940(図56)、撮像装置960(図57)等に組み込むことができる。ビデオセット1300を組み込むことにより、その装置は、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
また、ビデオセット1300は、例えば、図58のデータ伝送システム1000におけるパーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置、図59のデータ伝送システム1100における放送局1101および端末装置1102、並びに、図60の撮像システム1200における撮像装置1201およびスケーラブル符号化データ記憶装置1202等にも組み込むことができる。ビデオセット1300を組み込むことにより、その装置は、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
なお、上述したビデオセット1300の各構成の一部であっても、ビデオプロセッサ1332を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ1332のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線1341により示されるプロセッサやビデオモジュール1311等を本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール1311、外部メモリ1312、パワーマネージメントモジュール1313、およびフロントエンドモジュール1314を組み合わせ、本技術を適用したビデオユニット1361として実施することもできる。いずれの構成の場合であっても、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
つまり、ビデオプロセッサ1332を含むものであればどのような構成であっても、ビデオセット1300の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ1332、点線1341により示されるプロセッサ、ビデオモジュール1311、または、ビデオユニット1361を、テレビジョン装置900(図54)、携帯電話機920(図55)、記録再生装置940(図56)、撮像装置960(図57)、図58のデータ伝送システム1000におけるパーソナルコンピュータ1004、AV機器1005、タブレットデバイス1006、および携帯電話機1007等の端末装置、図59のデータ伝送システム1100における放送局1101および端末装置1102、並びに、図60の撮像システム1200における撮像装置1201およびスケーラブル符号化データ記憶装置1202等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット1300の場合と同様に、図1乃至図49を参照して上述した効果と同様の効果を得ることができる。
また、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
なお、本技術は以下のような構成も取ることができる。
(1) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定する設定部と、
前記設定部により設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する符号化部と
を備える画像処理装置。
(2) 前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報である
(1)、(3)乃至(9)のいずれかに記載の画像処理装置。
(3) 前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報である
(1)、(2)、(3)乃至(9)のいずれかに記載の画像処理装置。
(4) 前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報である
(1)乃至(3)、(5)乃至(9)のいずれかに記載の画像処理装置。
(5) 前記設定部は、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定する
(1)乃至(4)、(6)乃至(9)のいずれかに記載の画像処理装置。
(6) 前記設定部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらに設定する
(1)乃至(5)、(7)乃至(9)のいずれかに記載の画像処理装置。
(7) 前記設定部は、前記レイヤ指定情報をシーケンスパラメータセットにおいて設定する
(1)乃至(6)、(8)、(9)のいずれかに記載の画像処理装置。
(8) 前記設定部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報を設定し、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらに設定する
(1)乃至(7)、(9)のいずれかに記載の画像処理装置。
(9) 前記設定部は、前記キーピクチャ指定可能情報をビデオパラメータセットにおいて設定し、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定する
(1)乃至(8)のいずれかに記載の画像処理装置。
(10) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定し、
設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する
画像処理方法。
(11) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースするパース部と、
前記パース部による前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う復号部と
を備える画像処理装置。
(12) 前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報である
(11)、(13)乃至(19)のいずれかに記載の画像処理装置。
(13) 前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報である
(11)、(12)、(14)乃至(19)のいずれかに記載の画像処理装置。
(14) 前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報である
(11)乃至(13)、(15)乃至(19)のいずれかに記載の画像処理装置。
(15) 前記パース部は、シーケンスパラメータセットに設定されている前記キーピクチャ指定情報をパースする
(11)乃至(14)、(16)乃至(19)のいずれかに記載の画像処理装置。
(16) 前記パース部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらにパースする
(11)乃至(15)、(17)乃至(19)のいずれかに記載の画像処理装置。
(17) 前記パース部は、シーケンスパラメータセットにおいて設定されている前記レイヤ指定情報をパースする
(11)乃至(16)、(18)、(19)のいずれかに記載の画像処理装置。
(18) 前記パース部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報をパースし、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらにパースする
(11)乃至(17)、(19)のいずれかに記載の画像処理装置。
(19) 前記パース部は、ビデオパラメータセットにおいて設定されている前記キーピクチャ指定可能情報をパースし、シーケンスパラメータセットにおいて設定されている前記キーピクチャ指定情報をパースする
(11)乃至(18)のいずれかに記載の画像処理装置。
(20) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースし、
前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う
画像処理方法。
(1) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定する設定部と、
前記設定部により設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する符号化部と
を備える画像処理装置。
(2) 前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報である
(1)、(3)乃至(9)のいずれかに記載の画像処理装置。
(3) 前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報である
(1)、(2)、(3)乃至(9)のいずれかに記載の画像処理装置。
(4) 前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報である
(1)乃至(3)、(5)乃至(9)のいずれかに記載の画像処理装置。
(5) 前記設定部は、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定する
(1)乃至(4)、(6)乃至(9)のいずれかに記載の画像処理装置。
(6) 前記設定部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらに設定する
(1)乃至(5)、(7)乃至(9)のいずれかに記載の画像処理装置。
(7) 前記設定部は、前記レイヤ指定情報をシーケンスパラメータセットにおいて設定する
(1)乃至(6)、(8)、(9)のいずれかに記載の画像処理装置。
(8) 前記設定部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報を設定し、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらに設定する
(1)乃至(7)、(9)のいずれかに記載の画像処理装置。
(9) 前記設定部は、前記キーピクチャ指定可能情報をビデオパラメータセットにおいて設定し、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定する
(1)乃至(8)のいずれかに記載の画像処理装置。
(10) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定し、
設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する
画像処理方法。
(11) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースするパース部と、
前記パース部による前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う復号部と
を備える画像処理装置。
(12) 前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報である
(11)、(13)乃至(19)のいずれかに記載の画像処理装置。
(13) 前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報である
(11)、(12)、(14)乃至(19)のいずれかに記載の画像処理装置。
(14) 前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報である
(11)乃至(13)、(15)乃至(19)のいずれかに記載の画像処理装置。
(15) 前記パース部は、シーケンスパラメータセットに設定されている前記キーピクチャ指定情報をパースする
(11)乃至(14)、(16)乃至(19)のいずれかに記載の画像処理装置。
(16) 前記パース部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらにパースする
(11)乃至(15)、(17)乃至(19)のいずれかに記載の画像処理装置。
(17) 前記パース部は、シーケンスパラメータセットにおいて設定されている前記レイヤ指定情報をパースする
(11)乃至(16)、(18)、(19)のいずれかに記載の画像処理装置。
(18) 前記パース部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報をパースし、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらにパースする
(11)乃至(17)、(19)のいずれかに記載の画像処理装置。
(19) 前記パース部は、ビデオパラメータセットにおいて設定されている前記キーピクチャ指定可能情報をパースし、シーケンスパラメータセットにおいて設定されている前記キーピクチャ指定情報をパースする
(11)乃至(18)のいずれかに記載の画像処理装置。
(20) ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースし、
前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う
画像処理方法。
100 画像符号化装置, 101 設定部, 102 符号化部, 103 伝送部, 111 VPS設定部, 112 拡張VPS設定部, 113 SPS設定部, 114 拡張SPS設定部, 121 key_picture_enabled_flag設定部, 131 判定部, 132 used_as_key_picture_flag設定部, 133 key_picture_layer_id_minus1設定部, 141 ベースレイヤ画像符号化部, 142 エンハンスメントレイヤ画像符号化部, 143 多重化部, 144 制御部, 168 ベースレイヤ制御部, 188 エンハンスメントレイヤ制御部, 200 画像復号装置, 201 受け取り部, 202 パース部, 203 復号部, 211 VPSパース部, 212 拡張VPSパース部, 213 SPSパース部, 214 拡張SPSパース部, 221 key_picture_enabled_flagパース部, 231 判定部, 232 used_as_key_picture_flagパース部, 233 key_picture_layer_id_minus1パース部, 241 逆多重化部, 242 ベースレイヤ画像復号部, 243 エンハンスメントレイヤ画像復号部, 244 制御部, 264 ベースレイヤ制御部, 284 エンハンスメントレイヤ制御部
Claims (20)
- ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定する設定部と、
前記設定部により設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する符号化部と
を備える画像処理装置。 - 前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報である
請求項1に記載の画像処理装置。 - 前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報である
請求項1に記載の画像処理装置。 - 前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報である
請求項1に記載の画像処理装置。 - 前記設定部は、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定する
請求項1に記載の画像処理装置。 - 前記設定部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらに設定する
請求項1に記載の画像処理装置。 - 前記設定部は、前記レイヤ指定情報をシーケンスパラメータセットにおいて設定する
請求項6に記載の画像処理装置。 - 前記設定部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報を設定し、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらに設定する
請求項1に記載の画像処理装置。 - 前記設定部は、前記キーピクチャ指定可能情報をビデオパラメータセットにおいて設定し、前記キーピクチャ指定情報をシーケンスパラメータセットにおいて設定する
請求項8に記載の画像処理装置。 - ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報を設定し、
設定された前記キーピクチャ指定情報により指定されるキーピクチャを参照して、カレントピクチャを符号化する
画像処理方法。 - ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースするパース部と、
前記パース部による前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う復号部と
を備える画像処理装置。 - 前記キーピクチャ指定情報は、ロングターム指定された各ピクチャについて、それぞれ前記キーピクチャに指定するかを示す情報である
請求項11に記載の画像処理装置。 - 前記キーピクチャ指定情報は、ロングターム指定された全てのピクチャを前記キーピクチャに指定するかを示す情報である
請求項11に記載の画像処理装置。 - 前記キーピクチャ指定情報は、ロングターム指定されたピクチャの、前記カレントピクチャから参照可能なレイヤの内、最も高いレイヤを前記キーピクチャに指定するかを示す情報である
請求項11に記載の画像処理装置。 - 前記パース部は、シーケンスパラメータセットに設定されている前記キーピクチャ指定情報をパースする
請求項11に記載の画像処理装置。 - 前記パース部は、前記キーピクチャ指定情報により、ロングターム指定されたピクチャが前記キーピクチャに指定される場合、前記ロングターム指定されたピクチャの、前記キーピクチャとするレイヤを指定するレイヤ指定情報をさらにパースする
請求項11に記載の画像処理装置。 - 前記パース部は、シーケンスパラメータセットにおいて設定されている前記レイヤ指定情報をパースする
請求項16に記載の画像処理装置。 - 前記パース部は、ロングターム指定されたピクチャを前記キーピクチャに指定することができるかを示すキーピクチャ指定可能情報をパースし、前記キーピクチャ指定可能情報において、前記ロングターム指定されたピクチャを前記キーピクチャに指定することができることが示される場合、前記キーピクチャ指定情報をさらにパースする
請求項11に記載の画像処理装置。 - 前記パース部は、ビデオパラメータセットにおいて設定されている前記キーピクチャ指定可能情報をパースし、シーケンスパラメータセットにおいて設定されている前記キーピクチャ指定情報をパースする
請求項18に記載の画像処理装置。 - ロングターム指定されたピクチャの、カレントピクチャのレイヤよりも高いレイヤをキーピクチャに指定するかを示すキーピクチャ指定情報をパースし、
前記キーピクチャ指定情報のパース結果に基づいて、前記キーピクチャ指定情報により指定されるキーピクチャを参照して、符号化されたカレントピクチャの復号を行う
画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013228356A JP2015089078A (ja) | 2013-11-01 | 2013-11-01 | 画像処理装置および方法 |
PCT/JP2014/077780 WO2015064401A1 (ja) | 2013-11-01 | 2014-10-20 | 画像処理装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013228356A JP2015089078A (ja) | 2013-11-01 | 2013-11-01 | 画像処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015089078A true JP2015089078A (ja) | 2015-05-07 |
Family
ID=53004010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013228356A Pending JP2015089078A (ja) | 2013-11-01 | 2013-11-01 | 画像処理装置および方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2015089078A (ja) |
WO (1) | WO2015064401A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2770794C1 (ru) * | 2018-12-13 | 2022-04-21 | ДжейВиСиКЕНВУД Корпорейшн | Устройство декодирования изображения, способ декодирования изображения |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140301436A1 (en) * | 2013-04-05 | 2014-10-09 | Qualcomm Incorporated | Cross-layer alignment in multi-layer video coding |
-
2013
- 2013-11-01 JP JP2013228356A patent/JP2015089078A/ja active Pending
-
2014
- 2014-10-20 WO PCT/JP2014/077780 patent/WO2015064401A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2015064401A1 (ja) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6419113B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
JP6358475B2 (ja) | 画像復号装置および方法、並びに、画像符号化装置および方法 | |
AU2013281943B2 (en) | Image processing device and method | |
JP6607414B2 (ja) | 画像符号化装置および方法 | |
JP6579393B2 (ja) | 画像処理装置および方法 | |
JP6287035B2 (ja) | 復号装置および復号方法 | |
JP2018121336A (ja) | 画像処理装置および方法 | |
JP6497562B2 (ja) | 画像符号化装置および方法 | |
WO2014050731A1 (ja) | 画像処理装置および方法 | |
JPWO2015098561A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
JPWO2015146646A1 (ja) | 画像復号装置および方法 | |
JP2015076861A (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
JP2015005899A (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
JPWO2015064402A1 (ja) | 画像処理装置および方法 | |
JPWO2015064403A1 (ja) | 画像処理装置および方法 | |
WO2014103764A1 (ja) | 画像処理装置および方法 | |
WO2014103774A1 (ja) | 画像処理装置および方法 | |
WO2015098559A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
JP2015008359A (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
JP6477930B2 (ja) | 符号化装置および符号化方法 | |
WO2015064401A1 (ja) | 画像処理装置および方法 | |
WO2014162916A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
WO2015098563A1 (ja) | 画像符号化装置および方法、並びに画像復号装置および方法 | |
JP2015050738A (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
WO2014156707A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 |