JP2015008359A

JP2015008359A - 画像符号化装置および方法、並びに、画像復号装置および方法

Info

Publication number: JP2015008359A
Application number: JP2013132016A
Authority: JP
Inventors: 佐藤　数史; Kazufumi Sato; 数史佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-06-24
Filing date: 2013-06-24
Publication date: 2015-01-15
Also published as: WO2014208326A1

Abstract

【課題】符号化または復号による画質の低減を抑制することができるようにする。
【解決手段】複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する符号化部とを備える。本開示は、例えば、画像データをスケーラブルに符号化する画像符号化装置、または、画像データがスケーラブルに符号化された符号化データを復号する画像復号装置等の画像処理装置に適用することができる。
【選択図】図１４

Description

本開示は画像符号化装置および方法、並びに、画像復号装置および方法に関し、特に、符号化または復号による画質の低減を抑制することができるようにした画像符号化装置および方法、並びに、画像復号装置および方法に関する。

近年、MPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）より更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）と、ISO/IEC（International Organization for Standardization / International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。

そのHEVCにおいては、イントラ予測における輪郭ノイズ対策処理が提案された（例えば、非特許文献２参照）。

Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, " High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_v34, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 TK TanY, Suzuki, "Contouring artefact and solution", JCTVC-K0139, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 10-19 Oct. 2012

しかしながら、非特許文献２において提案されている手法の場合、処理対象であるカレントブロックではなく、カレントブロックに隣接する隣接ブロックの情報を用いて輪郭ノイズ対策が行われる。そのため、画質が低減する恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、符号化または復号による画質の低減を抑制することができるようにするものである。

本技術の一側面は、複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成する予測画像生成部と、前記予測画像生成部により生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する符号化部とを備える画像符号化装置である。

前記予測画像生成部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって前記予測画像の各画素の画素値を算出することにより、前記予測画像を生成することができる。

前記所定のサイズは、32x32であるようにすることができる。

前記参照画像を用いて、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する判定部をさらに備え、前記予測画像生成部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、前記予測画像を生成することができる。

前記判定部は、前記参照画像の一部または全部の画素の画素値の分散値を求め、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定することができる。

前記閾値は、入力画像のビット深度に応じた値であるようにすることができる。

前記閾値を伝送する閾値伝送部をさらに備えることができる。

前記判定部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定することができる。

イントラ予測において、採用されたイントラ予測モードを示すイントラ予測モード情報を伝送するイントラ予測モード情報伝送部をさらに備え、前記イントラ予測モード情報伝送部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記イントラ予測モード情報の伝送を省略することができる。

本技術の一側面は、また、複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成し、生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する画像符号化方法である。

本技術の他の側面は、複数レイヤよりなる画像データが符号化された符号化データの復号において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成する予測画像生成部と、前記予測画像生成部により生成された前記予測画像を用いて前記符号化データのカレントレイヤを復号する復号部とを備える画像復号装置である。

伝送された前記閾値を受け取る閾値受け取り部をさらに備え、前記判定部は、前記閾値受け取り部により受け取られた前記閾値を前記分散値と比較し、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定することができる。

イントラ予測の場合、採用されたイントラ予測モードを示すイントラ予測モード情報を受け取るイントラ予測モード情報受け取り部をさらに備え、前記判定部は、前記イントラ予測の場合、前記イントラ予測モード情報受け取り部が前記イントラ予測モード情報を受け取らなかったときは、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定することができる。

本技術の他の側面は、また、複数レイヤよりなる画像データが符号化された符号化データの復号において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成し、生成された前記予測画像を用いて前記符号化データのカレントレイヤを復号する画像復号方法である。

本技術の一側面においては、複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像が生成され、生成された前記予測画像を用いて前記画像データのカレントレイヤが符号化される。

本技術の他の側面においては、複数レイヤよりなる画像データが符号化された符号化データの復号において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像が生成され、生成された前記予測画像を用いて前記符号化データのカレントレイヤが復号される。

本開示によれば、画像を符号化・復号することができる。特に、符号化または復号の負荷の増大を抑制することができる。

コーディングユニットの構成例を説明する図である。アンギュラー（Angular）予測の例を説明する図である。プレイナー（Planar）予測の例を説明する図である。モストプロバブルモード（MostProbableMode）の例を説明する図である。 MDIS（Mode Dependent Intra Smoothing）の例を説明する図である。バウンダリバリュースムージング（Boundary Value Smoothing）処理の例を説明する図である。復号画像の例を示す図である。復号画像の他の例を示す図である。輪郭ノイズ対策処理の例を説明する図である。階層画像符号化方式の例を示す図である。スペーシャルなスケーラブル符号化の例を説明する図である。テンポラルなスケーラブル符号化の例を説明する図である。信号雑音比のスケーラブル符号化の例を説明する図である。本技術を適用した輪郭ノイズ対策処理の例を説明する図である。画像符号化装置の主な構成例を示すブロック図である。ベースレイヤ画像符号化部の主な構成例を示すブロック図である。エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。輪郭ノイズ検出部および予測画像生成部の主な構成例を示すブロック図である。画像符号化処理の流れの例を説明するフローチャートである。ベースレイヤ符号化処理の流れの例を説明するフローチャートである。エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。イントラ予測処理の流れの例を説明するフローチャートである。輪郭ノイズ領域検出処理の流れの例を説明するフローチャートである。インター予測処理の流れの例を説明するフローチャートである。画像復号装置の主な構成例を示すブロック図である。ベースレイヤ画像復号部の主な構成例を示すブロック図である。エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。輪郭ノイズ検出部および予測画像生成部の他の構成例を示すブロック図である。画像復号処理の流れの例を説明するフローチャートである。ベースレイヤ復号処理の流れの例を説明するフローチャートである。エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。予測処理の流れの例を説明するフローチャートである。輪郭ノイズ領域検出処理の流れの例を説明するフローチャートである。多視点画像符号化方式の例を示す図である。本技術を適用した多視点画像符号化装置の主な構成例を示す図である。本技術を適用した多視点画像復号装置の主な構成例を示す図である。コンピュータの主な構成例を示すブロック図である。テレビジョン装置の概略的な構成の一例を示すブロック図である。携帯電話機の概略的な構成の一例を示すブロック図である。記録再生装置の概略的な構成の一例を示すブロック図である。撮像装置の概略的な構成の一例を示すブロック図である。スケーラブル符号化利用の一例を示すブロック図である。スケーラブル符号化利用の他の例を示すブロック図である。スケーラブル符号化利用のさらに他の例を示すブロック図である。ビデオセットの概略的な構成の一例を示すブロック図である。ビデオプロセッサの概略的な構成の一例を示すブロック図である。ビデオプロセッサの概略的な構成の他の例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（符号化の際の輪郭ノイズ対策）
２．第２の実施の形態（画像符号化装置）
３．第３の実施の形態（復号の際の輪郭ノイズ対策）
４．第４の実施の形態（画像復号装置）
５．第５の実施の形態（多視点画像符号化・多視点画像復号装置）
６．第６の実施の形態（コンピュータ）
７．第７の実施の形態（応用例）
８．第８の実施の形態（スケーラブル符号化の応用例）
９．第９の実施の形態（セット・ユニット・モジュール・プロセッサ）

＜１．第１の実施の形態＞
＜画像符号化の標準化の流れ＞

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720x480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）を割り当てることができる。また、MPEG2圧縮方式を用いることにより、例えば1920x1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）を割り当てることができる。これにより、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。

標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。

さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が２００５年２月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の4倍の、4000x2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。

そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IEC（International Organization for Standardization / International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2013年1月にドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。

＜符号化方式＞
以下においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。

＜コーディングユニット＞
AVC（Advanced Video Coding）方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、16x16画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素x２０００画素）といった大きな画枠に対して最適ではない。

これに対して、HEVC方式においては、図１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。

CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、16x16画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。

それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。2Nx2Nの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、NxNの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、4x4及び8x8に加え、16x16及び32x32直交変換を用いることが可能である。

以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128x128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。

よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。

また、本明細書において、CTU（Coding Tree Unit）は、LCU(最大数のCU)のCTB（Coding Tree Block）と、そのLCUベース（レベル）で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCU（Coding Unit）は、CB(Coding Block)と、そのCUベース（レベル）で処理するときのパラメータを含む単位であるとする。

＜モード選択＞
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合Ｄは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。

ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

＜イントラ予測＞
AVCではイントラ4x4予測、イントラ8x8予測、並びに、イントラ16x16予測が存在するのに対し、HEVCでは、4x4乃至64x64画素ブロックについて、図２に示されるような、アンギュラー（Angular）予測が適用される。

すなわち、AVCでは、図２Ａに示されるように、８方向 + 直流予測によりイントラ予測処理が行われるのに対し、HEVCでは図２Ｂに示されるように、32方向 + 直流予測によりイントラ予測が行なわれる。これにより、予測精度が向上する。

また、HEVCにおいては、図３に示されるような、プレイナー（Planar）予測が規定されている。

プレイナー（Planar）予測処理においては、処理対象であるカレントブロックの周辺画素（既に符号化済みの画素）から、バイリニアインターポレーション（bi-linear interpolation）により、カレントブロックに含まれる予測画素が生成される。プレイナー（Planar）予測処理は、グラデーション（gradation）のあるような領域の符号化効率を向上させることができる。

＜イントラ予測モードの符号化＞
HEVCにおいては、図４に示されるように、３つのモストプロバブルモード（MostProbableMode）を用いたイントラ予測モードの符号化処理が行われる。すなわち、カレントブロックの上に隣接する周辺ブロックのイントラ予測モード（Above）、カレントブロックの左に隣接する周辺ブロックのイントラ予測モード（Left）、および、それらの周辺ブロック（AboveおよびLeft）におけるイントラ予測モードの組み合わせにより決定されるモードを、イントラ予測モードの候補（候補モードとも称する）とし、この３つの候補モードの中から、最適なものをカレントブロックのイントラ予測モードとして採用する。

カレントブロックの予測モードと、モストプロバブルモード（MostProbableMode）のどれかが同一である場合には、そのインデックス（index）番号を伝送する。そうでない場合には、予測ブロックのモード情報を、５ビットの固定長により伝送する。

＜イントラ予測におけるフィルタ処理＞
図５は、HEVCにおいて規定されているMDIS（Mode Dependent Intra Smoothing）を説明する図である。

AVCの場合、イントラ8x8予測モードにおいて、カレントブロックの周辺画素に対して、図５に示されるように、［1 2 1］ / 4フィルタ処理が行われる。これに対して、HEVCにおいては、ブロックサイズと予測モードに応じて、このフィルタ処理のオン・オフ（on / off）（すなわち、このフィルタ処理を適用するか否か）が決定される。

より具体的には、カレントブロックのブロックサイズが4x4の場合、このフィルタ処理は適用されない。カレントブロックのブロックサイズが8x8の場合、45度方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが16x16の場合、水平（horizontal）に近い３方向、並びに、垂直（vertical）に近い３方向以外の方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが32x32の場合、水平（horizontal）および垂直（vertical）以外の方向の予測モードに対して、このフィルタ処理が適用される。

更に、また、HEVCにおいては、予測モードが直流（DC）モード、水平（Horizontal）モード、垂直（Vertical）モードである場合のブロック歪の低減を目的として、図６に示されるようなバウンダリバリュースムージング（Boundary Value Smoothing）処理が規定されている。

例えば、予測モードが直流（DC）モードである予測（DC予測）の場合、処理対象であるカレントブロックの上辺（Top）に隣接する周辺画素、および、カレントブロックの左辺（Left）に隣接する周辺画素の両方について、図６に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。また、予測モードが水平（Horizontal）モードである予測（Horizontal予測）の場合、カレントブロックの上辺（Top）に隣接する周辺画素について、図６に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。予測モードが垂直（Vertical）モードである予測（Vertical予測）の場合、カレントブロックの左辺（Left）に隣接する周辺画素について、図６に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。

このようなインター予測により画像を符号化・復号すると、得られる復号画像において、図７の領域１１に示されるような明度・色彩・濃度等の変化が平坦な部分において、帯状の濃度ムラ（所謂バンディング）が発生し、輪郭が見えてしまう現象が発生する恐れがあった。

そこで、非特許文献２に記載される輪郭ノイズ対策処理が提案された。この非特許文献２に記載の輪郭ノイズ対策処理を行うことにより、復号画像の領域１１において発生していたバンディングは、図８に示されるように抑えられ、滑らかなグラデーションが得られるようになった。

この非特許文献２に記載の輪郭ノイズ対策処理について、より具体的に説明する。図９は、この輪郭ノイズ対策処理の様子の例を示す図である。輪郭ノイズ対策処理においては、まず、図９に示されるようなカレントブロックの周辺画素を用いて、以下の式（３）および式（４）に示されるような閾値判定処理が行われる。

例えば、式（３）や式（４）において、閾値THRESHOLD（THRESHOLD_ABOVEやTHRESHOLD_LEFT）の値を８に固定する。このような閾値判定処理により、カレントブロックの周辺画素の特徴が判定される。つまり、カレントブロック周辺が、バンディングが発生し得る明度・色彩・濃度等の変化が平坦な部分であるか否かが判定される。

この閾値判定処理の結果が真である場合、すなわち、カレントブロック周辺が、バンディングが発生し得る明度・色彩・濃度等の変化が平坦な部分であると判定された場合、図５を参照して説明したフィルタ処理の代わりに、図９に示されるようなカレントブロックの周辺画素に対して、以下の式（５）乃至式（９）に示されるようなバイリニアインターポレーション（bi-linear interpolation）処理が行われる。

この処理は、32x32ブロックに対してのみ適用され、また、シーケンスパラメータセット（SPS（Sequence Parameter Set））において、この処理を適用するか否か（on / off）を示すフラグ（flag）が規定されている。

＜階層符号化＞
ところで、これまでの、MPEG2、AVCといった画像符号化方式は、スケーラビリティ（scalability）機能を有していた。スケーラブル符号化（階層符号化）とは、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化する方式である。図１０は、階層画像符号化方式の一例を示す図である。

図１０に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の階層（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤ（base layer）と、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（non-base layer）（エンハンスメントレイヤ（Enhancement layer）とも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤのみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤに加えて、エンハンスメントレイヤの画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。

＜スケーラブルなパラメータ＞
このような階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）において、スケーラビリティ（scalability）機能を有するパラメータは、任意である。例えば、図１１に示されるような空間解像度をそのパラメータとしてもよい（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に画像の解像度が異なる。つまり、図１１に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図１２に示されるような、時間解像度を適用しても良い（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図１２に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。

さらに、このようなスケーラビリティ性を持たせるパラメータとして、例えば、信号雑音比（SNR（Signal to Noise ratio））を適用しても良い（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、図１３に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が８ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。

また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。

＜輪郭ノイズ対策処理＞
上述した非特許文献２において提案されている手法の場合、輪郭ノイズ対策をすべきか否かの判定（式（３）および式（４）を用いた判定）は、処理対象のカレントブロックではなく、カレントブロックの周辺に位置する（隣接する）ブロック（周辺ブロック（隣接ブロック）とも称する）の情報を用いて行われる。

例えば、カレントブロックが明度・色彩・濃度等の変化が平坦な部分（バンディングが発生し易い部分）であっても、周辺ブロックは明度・色彩・濃度等の変化が非平坦な部分（バンディングが発生し難い部分）である場合がある。また、その逆の場合もあり得る。

このように、カレントブロックと周辺ブロックとで画像の特徴が異なると、周辺ブロックの情報に基づいて行った判定が、カレントブロックに対しては誤った判定となり得る。そして、その誤判定の結果、本来不要な輪郭ノイズ対策処理が施されたり、逆に、本来必要な輪郭ノイズ対策処理が施されたりする可能性があった。

また、輪郭ノイズ対策処理として、周辺画素の情報に基づいて、周辺画素に対してバイリニアインターポレーション処理が行われる。そして、そのバイリニアインターポレーション処理が施された周辺画素を用いて予測画像が生成される。つまり、カレントブロックの情報は用いずに輪郭ノイズ対策処理が行われる。そのため、仮に誤判定でなくても、例えばグラデーションの方向や度合いが互いに異なる等、周辺ブロックの画像とカレントブロックの画像の特徴が互いに異なる場合、周辺画素に基づく輪郭ノイズ対策処理が、カレントブロックに対して不適切なものとなってしまう可能性があった。

このような誤判定や不適切な輪郭ノイズ対策処理により、復号画像に発生するバンディングを十分に抑制することができなかったり、画像が不適切に変化したりして、復号画像の画質が大幅に低減することが起こりえた。

＜輪郭ノイズ対策の実行判定＞
そこで、スケーラブル符号化の場合、カレントブロックの輪郭ノイズ対策の実行判定、すなわち、カレントブロックが輪郭ノイズ対策をすべきか否か（または、輪郭ノイズを行うか否か、輪郭ノイズを生じているか否か、若しくは、輪郭ノイズを含む可能性がある領域であるか否か）の判定は、カレントブロックに対応する他のレイヤの参照画像の情報を用いて行うようにする。例えば、エンハンスメントレイヤの符号化において、カレントブロックに対応するベースレイヤの復号画像（ベースレイヤ復号画像とも称する）に基づいて、カレントブロックの輪郭ノイズ対策の実行判定を行うようにする。

エンハンスメントレイヤのカレントブロックに対応するベースレイヤの復号画像は、例えば、図１４Ａに示されるように、ベースレイヤの、カレントブロックと同じ位置のコロケーテッドブロックの復号画像である。

スケーラブル符号化の場合、レイヤ間の互いに対応する画像は、相関性が高い。つまり、エンハンスメントレイヤの画像は、それに対応するベースレイヤの画像と基本的に同様の画像であり、例えば解像度等のスケーラブルなパラメータが異なること以外は、類似度は極めて高い。つまり、エンハンスメントレイヤのカレントブロックの画像と、それに対応するベースレイヤのコロケーテッドブロックの画像とは、互いに同様の特徴を有する。

したがって、そのようなベースレイヤの復号画像に基づいて輪郭ノイズ対策の実行判定を行うようにすることにより、カレントブロックにとって誤判定となってしまうような判定を抑制することができ、符号化による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

例えば、図１４Ａに示されるように、エンハンスメントレイヤのカレントブロック（例えばカレントPU）に対応するベースレイヤ復号画像（例えば、ベースレイヤのコロケーテッドブロックの復号画像）の画素地の分散値Varを求める。そして、その分散値Varと所定の閾値θとを比較する。以下の式（１０）が成り立つ場合、すなわち、分散値Varが閾値θよりも小さい場合、エンハンスメントレイヤのカレントブロックは輪郭ノイズを含む可能性がある領域であると判定し、上述した引用文献２による予測処理を行う。

つまり、分散値Varが所定の閾値θより小さければ、明度・色彩・濃度等の変化が平坦な部分（バンディングが発生し易い部分）であると判定される。そして、式（５）乃至式（９）に示されるようなバイリニアインターポレーション処理がカレントブロックの周辺画素に対して行われ、その周辺画素を用いてイントラ予測が行われて予測画像が生成され、その予測画像を用いて符号化が行われる。

逆に、分散値Varが所定の閾値θ以上の場合、明度・色彩・濃度等の変化が非平坦な部分（バンディングが発生し難い部分）であると判定され、周辺画素に対するバイリニアインターポレーション処理が省略される。

このように、エンハンスメントレイヤのカレントブロックに対応するベースレイヤ復号画像の分散に基づいて輪郭ノイズ対策の実行判定を行うようにすることにより、カレントブロックにとって誤判定となってしまうような判定を抑制することができ、符号化による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、この閾値θは、任意の値である。したがって、以上においては、分散値Varが所定の閾値θより小さい場合に輪郭ノイズ対策が行われるように説明したが、例えば、分散値Varが所定の閾値θ以下の場合に輪郭ノイズ対策が行われるようにしてもよい。また、例えば、閾値θは、予め定められた値であってもよいし、設定することができるようにしてもよい。例えば、閾値θは、ベースレイヤにおける入力画像のビット深度に応じて決定されるようにしてもよい。さらに、例えば、閾値θは、可変であってもよく、例えばユーザ等によって更新することができるようにしてもよい。

また、閾値θは、復号側に伝送することができるようにしてもよい。閾値θを伝送することにより、例えば、閾値θの設定や更新が任意に可能な場合であっても、符号化側と復号側で閾値θを共有することができる。したがって、容易に、復号の際の輪郭ノイズ対策の実行判定を符号化の際と同様に行うことができるようにすることができる。なお、閾値θの伝送方法は任意である。例えば、閾値θが、エンハンスメントレイヤの符号化ストリームのシーケンスパラメータセット（SPS（Sequence Parameter Set））において伝送されるようにしてもよいし、ピクチャパラメータセット（PPS（Picture Parameter Set））において伝送されるようにしてもよいし、スライスヘッダ（SliceHeader）において伝送される世にしてもよい。もちろん、これ以外のヘッダ情報等において伝送されるようにしてもよい。

また、輪郭ノイズ対策の実行判定に用いるパラメータは、エンハンスメントレイヤのカレントブロックに対応するベースレイヤ復号画像の画素値のばらつきを示すパラメータであればどのようなものであってもよく、上述した分散値Varに限らない。例えば、この分散値Varに定数や変数を加算したり乗算したりしたものであってもよい（もちろん、減算や除算であってもよいし、それらの組み合わせてであってもよい）。また、例えば、エンハンスメントレイヤのカレントブロックに対応するベースレイヤ復号画像における画素値の最大値と最小値の差分値であってもよい。

さらに、分散値Var（輪郭ノイズ対策の実行判定に用いるパラメータ）は、エンハンスメントレイヤのカレントブロックに対応するベースレイヤ復号画像の全ての画素の画素値を用いて求めるようにしてもよいし、一部の画素の画素値（代表値）を用いて求めるようにしてもよい。このように画素を間引くことにより、分散値Varの演算量を低減させることができる。逆に、より多くの画素の画素値を用いて分散値Varを求めることにより、輪郭ノイズ対策の実行判定をより正確に行うことができる。

＜予測画像の生成＞
また、スケーラブル符号化の場合、非特許文献２に記載の方法により輪郭ノイズ対策の実行判定を行い、輪郭ノイズを含む可能性がある領域であると判定されたとき、カレントブロックの周辺画素の代わりに、カレントブロックに対応する他のレイヤの参照画像の一部を用いて予測画像を生成するようにしてもよい。例えば、エンハンスメントレイヤの符号化において、カレントブロックに対応するベースレイヤ復号画像を参照画像とし、その一部を用いて、エンハンスメントレイヤのカレントブロックの予測画像を生成する。その際、バイリニアインターポレーション処理が行われた予測画像を生成するようにする。上述した非特許文献２に記載の方法の場合、カレントブロックの周辺画素に対してバイリニアインターポレーション処理が施され、そのバイリニアインターポレーション処理が施された周辺画素の画素値を用いて予測画像が生成される。

これに対して本技術の場合、周辺画素の代わりにカレントブロックに対応するベースレイヤ復号画像を用いて同様の予測画像を生成する。そのために、例えば、図１４Ｂに示されるように、カレントブロックに対応するベースレイヤ復号画像の４隅の画素からの距離に応じた線形内挿処理により予測画像の各画素の画素値を算出する（すなわち、予測画像を生成する）ようにする。

より具体的には、例えば、カレントブロックに対応するベースレイヤ復号画像の４隅の画素の画素値をそれぞれa₀₀, a₀₁, a₁₀, a₁₁とし、エンハンスメントレイヤのカレントブロックにおける処理対象の予測画素の画素値（予測画素値）をx_ijとし、その位置が、図１４Ｂに示されるように、X軸方向にw_xij：1-wxijに内分され、Y軸方向にw_yij：1-wyijに内分される位置にあるとする。このw_xijおよびw_yiを、４隅からの距離に応じた重み係数とすると、予測画素値x_ijは、その位置に応じて、以下の式（１１）のように算出される。

このような演算によって各予測画素値を求めることにより、バイリニアインターポレーション処理が行われた予測画像を生成することができる。そして、上述したように、スケーラブル符号化の場合、レイヤ間の互いに対応する画像は、相関性が高い。したがって、上述したように、カレントブロックに対応するベースレイヤ復号画像の４隅の画素の画素値を用いて上述した演算を行うことにより、カレントブロックにとって、より適切な輪郭ノイズ対策処理が施された予測画像を得ることができる。つまり、符号化による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、予測画像の生成方法は、バイリニアインターポレーション処理を施すように生成するのであれば、上述した演算に限らず、どのような方法であっても良い。例えば、カレントブロックに対応するベースレイヤの復号画像（ベースレイヤ復号画像）の４隅以外の画素を用いて予測画像を生成するようにしてもよい。

＜輪郭ノイズ対策の実行判定と予測画像の生成＞
さらに、上述した輪郭ノイズ対策の実行判定と、予測画像の生成の両方を行うようにしてもよい。このようにすることにより、輪郭ノイズ対策の実行判定において誤判定の発生を抑制することができるとともに、予測画像の生成においても、より適切な輪郭ノイズ対策を施すことができる。つまり、符号化による画質の低減をより抑制することができる。

＜その他の例＞
以上のような、輪郭ノイズ対策の実行判定若しくは予測画像の生成、またはその両方は、カレントブロックが所定のサイズの場合のみ行うようにしてもよい。例えば、カレントブロックのサイズが32x32の場合のみ、上述した本技術が適用されるようにしてもよい。バンディングは、明度・色彩・濃度等の変化が平坦な部分に発生しやすい。そして、そのような部分は、ブロックサイズが大きくなり易い。換言するに、ブロックサイズが小さい場合、バンディングは発生し難く、輪郭ノイズ対策が不要である可能性が高い。そのため、本技術の輪郭ノイズ対策の実行判定や予測画像の生成を、ブロックサイズが大きな（例えば32x32）ブロックに対してのみ行われるようにすることにより、不要な処理の増大を抑制することができ、符号化の負荷の増大を抑制することができる。

また、以上においては、輪郭ノイズ対策の実行判定や予測画像の生成に、ベースレイヤ復号画像を用いるように説明したが、これに限らず、例えば、ベースレイヤ復号画像をアップサンプルした画像を用いて輪郭ノイズ対策の実行判定や予測画像の生成を行うようにしてもよい。

なお、イントラ予測において、本技術を適用した輪郭ノイズ対策の実行判定や予測画像の生成を行う場合、テクスチャBLフレームワーク（TextureBL Framework）において行うことになる。テクスチャBLフレームワークについては、イントラBLモード（IntraBLモード）として、本技術を適用した輪郭ノイズ対策の実行判定や予測画像の生成を行うことができる。

本技術を適用した輪郭ノイズ対策の実行判定や予測画像の生成を行う場合、復号側においても同様の処理を行うことができるため、予測モード情報を伝送する必要がない。このように。本技術を適用した輪郭ノイズ対策の実行判定や予測画像の生成を行う場合に予測モード情報の伝送を省略するようにすることにより、エンハンスメントレイヤの符号化ストリームの符号化効率を向上させる（符号量を低減させる）ことができる。

また、その場合、イントラ予測モード情報の符号化においてMostProbableModeを生成するとき、本技術を適用した輪郭ノイズ対策の実行判定や予測画像の生成が行われた周辺ブロックの予測モードは、イントラBLモード（IntraBLモード）であるとして処理を行うようにすればよい。

なお、以上においてはイントラ予測の場合について説明したが、本技術は、インター予測のリファレンスインデックスフレームワーク（Ref_idx Framework）に対しても、イントラBLモードの場合と同様に適用することができる。

＜２．第２の実施の形態＞
＜画像符号化装置＞
次に、以上のような本技術を実現する装置とその方法について説明する。図１５は、本技術を適用した画像処理装置の一態様である、画像符号化装置を示す図である。図１５に示される画像符号化装置１００は、階層画像符号化（スケーラブル符号化）を行う装置である。図１５に示されるように、画像符号化装置１００は、ベースレイヤ画像符号化部１０１、エンハンスメントレイヤ画像符号化部１０２、および多重化部１０３を有する。

ベースレイヤ画像符号化部１０１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。エンハンスメントレイヤ画像符号化部１０２は、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤ画像符号化ストリームを生成する。多重化部１０３は、ベースレイヤ画像符号化部１０１において生成されたベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化部１０２において生成されたエンハンスメントレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。多重化部１０３は、生成した階層画像符号化ストリームを復号側に伝送する。

ベースレイヤ画像符号化部１０１は、ベースレイヤの符号化において得られた復号画像（ベースレイヤ復号画像とも称する）を、エンハンスメントレイヤ画像符号化部１０２に供給する。

エンハンスメントレイヤ画像符号化部１０２は、ベースレイヤ画像符号化部１０１から供給されるベースレイヤ復号画像を取得し、記憶する。エンハンスメントレイヤ画像符号化部１０２は、その記憶したベースレイヤ復号画像を参照画像として、エンハンスメントレイヤの符号化における予測処理に用いる。

また、エンハンスメントレイヤ画像符号化部１０２は、ベースレイヤ復号画像を用いて、輪郭ノイズ対策の実行判定や予測画像の生成を行う。

＜ベースレイヤ画像符号化部＞
図１６は、図１５のベースレイヤ画像符号化部１０１の主な構成例を示すブロック図である。図１６に示されるように、ベースレイヤ画像符号化部１０１は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、および逆直交変換部１１９を有する。また、ベースレイヤ画像符号化部１０１は、演算部１２０、ループフィルタ１２１、フレームメモリ１２２、選択部１２３、イントラ予測部１２４、インター予測部１２５、予測画像選択部１２６、およびレート制御部１２７を有する。

A/D変換部１１１は、入力された画像データ（ベースレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１２に供給し、記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１３に供給する。また、画面並べ替えバッファ１１２は、フレームの順番を並び替えた画像を、イントラ予測部１２４およびインター予測部１２５にも供給する。

演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、予測画像選択部１２６を介してイントラ予測部１２４若しくはインター予測部１２５から供給される予測画像を減算し、その差分情報を直交変換部１１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、イントラ予測部１２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、インター予測部１２５から供給される予測画像を減算する。

直交変換部１１４は、演算部１１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１１４は、その変換係数を量子化部１１５に供給する。

量子化部１１５は、直交変換部１１４から供給される変換係数を量子化する。量子化部１１５は、レート制御部１２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１１５は、量子化された変換係数を可逆符号化部１１６に供給する。

可逆符号化部１１６は、量子化部１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１２７の制御の下で量子化されているので、この符号量は、レート制御部１２７が設定した目標値となる（若しくは目標値に近似する）。

また、可逆符号化部１１６は、イントラ予測のモードを示す情報などをイントラ予測部１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部１２５から取得する。さらに、可逆符号化部１１６は、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むベースレイヤのNAL（Network Abstraction Layer）ユニットを適宜生成する。

可逆符号化部１１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１１６は、符号化して得られた符号化データを蓄積バッファ１１７に供給して蓄積させる。

可逆符号化部１１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。

蓄積バッファ１１７は、可逆符号化部１１６から供給された符号化ストリーム（ベースレイヤ符号化ストリーム）を、一時的に保持する。蓄積バッファ１１７は、所定のタイミングにおいて、保持しているベースレイヤ符号化ストリームを多重化部１０３（図１５）に出力する。すなわち、蓄積バッファ１１７は、ベースレイヤ符号化ストリームを伝送する伝送部でもある。

また、量子化部１１５において量子化された変換係数は、逆量子化部１１８にも供給される。逆量子化部１１８は、その量子化された変換係数を、量子化部１１５による量子化に対応する方法で逆量子化する。逆量子化部１１８は、得られた変換係数を、逆直交変換部１１９に供給する。

逆直交変換部１１９は、逆量子化部１１８から供給された変換係数を、直交変換部１１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１２０に供給される。

演算部１２０は、逆直交変換部１１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１２６を介してイントラ予測部１２４若しくはインター予測部１２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１２１またはフレームメモリ１２２に供給される。

ループフィルタ１２１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１２２に供給する。

なお、ループフィルタ１２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１６に供給し、それを符号化させるようにすることもできる。

フレームメモリ１２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１２３に供給する。

より具体的には、フレームメモリ１２２は、演算部１２０から供給される再構成画像と、ループフィルタ１２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１２２は、所定のタイミングにおいて、若しくは、イントラ予測部１２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１２３を介してイントラ予測部１２４に供給する。また、フレームメモリ１２２は、所定のタイミングにおいて、若しくは、インター予測部１２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１２３を介して、インター予測部１２５に供給する。

選択部１２３は、フレームメモリ１２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像（カレントピクチャ内の画素値若しくはベースレイヤ復号画像）をイントラ予測部１２４に供給する。また、例えば、インター予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像（エンハンスメントレイヤのカレントピクチャ外の復号画像若しくはベースレイヤ復号画像）をインター予測部１２５に供給する。

イントラ予測部１２４は、処理対象のフレームの画像であるカレントピクチャについて、予測処理を行い、予測画像を生成する。イントラ予測部１２４は、この予測処理を、所定のブロック毎に（ブロックを処理単位として）行う。つまり、イントラ予測部１２４は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、イントラ予測部１２４は、選択部１２３を介してフレームメモリ１２２から参照画像として供給される再構成画像を用いて予測処理（画面内予測（イントラ予測とも称する））を行う。つまり、イントラ予測部１２４は、再構成画像に含まれる、カレントブロックの周辺の画素値を用いて予測画像を生成する。このイントラ予測に利用される周辺画素値は、カレントピクチャの、過去に処理された画素の画素値である。このイントラ予測には（すなわち、予測画像の生成の仕方には）、複数の方法（イントラ予測モードとも称する）が、候補として予め用意されている。イントラ予測部１２４は、この予め用意された複数のイントラ予測モードでこのイントラ予測を行う。

イントラ予測部１２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。

また、上述したように、イントラ予測部１２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１６に供給し、符号化させる。

インター予測部１２５は、カレントピクチャについて、予測処理を行い、予測画像を生成する。インター予測部１２５は、この予測処理を、所定のブロック毎に（ブロックを処理単位として）行う。つまり、インター予測部１２５は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、インター予測部１２５は、画面並べ替えバッファ１１２から供給される入力画像の画像データと、フレームメモリ１２２から参照画像として供給される復号画像の画像データとを用いて、予測処理を行う。この復号画像は、カレントピクチャより前に処理されたフレームの画像（カレントピクチャでない他のピクチャ）である。つまり、インター予測部１２５は、他のピクチャの画像を用いて予測画像を生成する予測処理（画面間予測（インター予測とも称する））を行う。

このインター予測は、動き予測と動き補償よりなる。より具体的には、インター予測部１２５は、入力画像と参照画像を用いて、カレントブロックについて動き予測を行い、動きベクトルを検出する。そして、インター予測部１２５は、参照画像を用いて、検出された動きベクトルに応じて動き補償処理を行い、カレントブロックの予測画像（インター予測画像情報）を生成する。このインター予測には（すなわち、予測画像の生成の仕方には）、複数の方法（インター予測モードとも称する）が、候補として予め用意されている。インター予測部１２５は、この予め用意された複数のインター予測モードでこのようなインター予測を行う。

インター予測部１２５は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部１２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。

インター予測部１２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として予測動きベクトルのインデックスを示すフラグなどがある。

予測画像選択部１２６は、演算部１１３や演算部１２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１２６は、予測画像の供給元としてイントラ予測部１２４を選択し、そのイントラ予測部１２４から供給される予測画像を演算部１１３や演算部１２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１２６は、予測画像の供給元としてインター予測部１２５を選択し、そのインター予測部１２５から供給される予測画像を演算部１１３や演算部１２０に供給する。

レート制御部１２７は、蓄積バッファ１１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。

なお、ベースレイヤ画像符号化部１０１は、他のレイヤを参照せずに符号化を行う。つまり、イントラ予測部１２４およびインター予測部１２５は、他のレイヤの復号画像を参照画像として利用しない。

また、フレームメモリ１２２は、記憶しているベースレイヤ復号画像を、エンハンスメントレイヤ画像符号化部１０２に供給する。

＜エンハンスメントレイヤ画像符号化部＞
図１７は、図１５のエンハンスメントレイヤ画像符号化部１０２の主な構成例を示すブロック図である。図１７に示されるように、エンハンスメントレイヤ画像符号化部１０２は、図１６のベースレイヤ画像符号化部１０１と基本的に同様の構成を有する。

つまり、エンハンスメントレイヤ画像符号化部１０２は、図１７に示されるように、A/D変換部１３１、画面並べ替えバッファ１３２、演算部１３３、直交変換部１３４、量子化部１３５、可逆符号化部１３６、蓄積バッファ１３７、逆量子化部１３８、および逆直交変換部１３９を有する。また、エンハンスメントレイヤ画像符号化部１０２は、演算部１４０、ループフィルタ１４１、フレームメモリ１４２、選択部１４３、イントラ予測部１４４、インター予測部１４５、予測画像選択部１４６、およびレート制御部１４７を有する。

これらのA/D変換部１３１乃至レート制御部１４７は、図１６のA/D変換部１１１乃至レート制御部１２７に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像符号化部１０２の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、A/D変換部１３１乃至レート制御部１４７の処理の説明として、上述した図１６のA/D変換部１１１乃至レート制御部１２７についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、A/D変換部１３１乃至レート制御部１４７の中の対応する処理部に置き換えて読む必要がある。

なお、エンハンスメントレイヤ画像符号化部１０２は、他のレイヤ（例えばベースレイヤ）の情報を参照して符号化を行う。

エンハンスメントレイヤ画像符号化部１０２は、さらに、アップサンプル部１５１、輪郭ノイズ検出部１５２、および予測画像生成部１５３を有する。

アップサンプル部１５１は、ベースレイヤ画像符号化部１０１から供給されるベースレイヤ復号画像をエンハンスメントレイヤの解像度にアップサンプルし、そのアップサンプルしたベースレイヤ復号画像をフレームメモリ１４２に供給し、記憶させる。フレームメモリ１４２は、イントラBLモードやリファレンスインデックスモード等において、そのベースレイヤ復号画像を、参照画像として、選択部１４３を介して、イントラ予測部１４４若しくはインター予測部１４５に供給する。

また、アップサンプル部１５１は、アップサンプルしたベースレイヤ復号画像を、第１の実施の形態において説明した輪郭ノイズ対策の実行判定や予測画像の生成に利用させるように、輪郭ノイズ検出部１５２に供給する。

なお、第１の実施の形態において説明した輪郭ノイズ対策の実行判定や予測画像の生成は、アップサンプルしていないベースレイヤ復号画像を用いて行うこともできる。その場合、輪郭ノイズ検出部１５２には、ベースレイヤ画像符号化部１０１から供給される、アップサンプルされる前のベースレイヤ復号画像を、アップサンプル部１５１を介さずに、供給するようにすればよい。

輪郭ノイズ検出部１５２は、アップサンプル部１５１から供給されるアップサンプルされたベースレイヤ復号画像（若しくは、ベースレイヤ画像符号化部１０１から供給されるアップサンプルされる前のベースレイヤ復号画像）を用いて、エンハンスメントレイヤのカレントブロックについて、第１の実施の形態において説明したように輪郭ノイズ対策処理の実行判定を行い、その判定結果に基づく輪郭ノイズ対策に関する制御情報を予測画像生成部１５３に供給する。

なお、輪郭ノイズ検出部１５２は、予測モードの候補の１つとして、第１の実施の形態において説明した輪郭ノイズ対策の実行判定を行う。

予測画像生成部１５３は、輪郭ノイズ検出部１５２から供給される制御情報に従って、イントラ予測部１４４若しくはインター予測部１４５から供給されるベースレイヤ参照画像（参照画像として使用されるベースレイヤ復号画像）を用いて、第１の実施の形態において説明したようにイントラBLモード若しくはリファレンスインデックスモードでバイリニアインターポレーション処理を施した予測画像の生成を行う。予測画像生成部１５３は、生成した予測画像をイントラ予測部１４４若しくはインター予測部１４５に供給する。

なお、予測画像生成部１５３は、予測モードの候補の１つとして、バイリニアインターポレーション処理を施した予測画像の生成を行う。

＜輪郭ノイズ検出部と予測画像生成部＞
図１８は、図１７の輪郭ノイズ検出部１５２と予測画像生成部１５３の主な構成例を示すブロック図である。

図１８に示されるように、輪郭ノイズ検出部１５２は、閾値設定部１７１、画素分散値算出部１７２、および閾値判定部１７３を有する。

閾値設定部１７１は、第１の実施の形態において説明したように輪郭ノイズ対策の実行判定に用いる閾値θを設定する。例えば、閾値設定部１７１は、可逆符号化部１３６からベースレイヤの入力画像のビット深度を示す情報を取得し、そのビット深度に応じて閾値θを設定する。なお、第１の実施の形態において説明したように、この閾値θの設定方法は任意である。例えば、どのような情報に基づいて閾値θを設定するようにしてもよい。閾値設定部１７１は、設定した閾値θを閾値判定部１７３に供給する。また、閾値設定部１７１は、設定した閾値θを可逆符号化部１３６に供給し、符号化して復号側に伝送させることもできる。

画素分散値算出部１７２は、アップサンプル部１５１から、カレントブロックに対応する、エンハンスメントレイヤの解像度にアップサンプルされたベースレイヤ復号画像を取得し、第１の実施の形態において説明したように、輪郭ノイズ対策の実行判定に用いるパラメータとして、そのカレントブロックに対応するベースレイヤ復号画像の画素値の分散値を算出する。画素分散値算出部１７２は、算出したその分散値Var（画素分散値とも称する）を閾値判定部１７３に供給する。なお、第１の実施の形態において説明したように、輪郭ノイズ対策の実行判定に用いるパラメータは、任意であり、分散値以外であってもよいし、カレントブロックに対応するベースレイヤ復号画像の一部の画素の画素値を用いて求めるようにしてもよい。

閾値判定部１７３は、閾値設定部１７１から閾値θを取得し、画素分散値算出部１７２から画素分散値（分散値Var）を取得し、第１の実施の形態において説明したようにそれらを比較し、輪郭ノイズ対策を行うべきか否かを判定する。閾値判定部１７３は、第１の実施の形態において説明したように、その判定結果に基づいて、輪郭ノイズ対策の実行を制御する制御情報を生成し、その制御情報を予測画像生成部１５３に供給する。例えば、閾値判定部１７３は、式（１０）で示される条件を満たす場合、バイリニアインターポレーション処理が施された予測画像を生成するように指示する制御情報を生成し、その制御情報を予測画像生成部１５３に供給する。逆に、例えば、閾値判定部１７３は、式（１０）で示される条件を満たさない場合、バイリニアインターポレーション処理が施された予測画像の生成を行わないように指示する制御情報を生成し、その制御情報を予測画像生成部１５３に供給する。なお、第１の実施の形態において説明したように、輪郭ノイズ対策を行うべきか否かの判定方法は任意である。

また、図１８に示されるように、予測画像生成部１５３は、ベースレイヤ参照画像バッファ１８１および画素内挿部１８２を有する。

ベースレイヤ参照画像バッファ１８１は、イントラ予測部１４４若しくはインター予測部１４５からカレントブロックに対する参照画像として供給されるベースレイヤ復号画像（ベースレイヤ参照画像）を取得し、記憶する。ベースレイヤ参照画像バッファ１８１は、所定のタイミングにおいて、若しくは、画素内挿部１８２等からの要求に応じて、記憶しているベースレイヤ参照画像（カレントブロックに対応するベースレイヤ復号画像）を画素内挿部１８２に供給する。

画素内挿部１８２は、閾値判定部１７３から供給される制御情報に従って、ベースレイヤ参照画像バッファ１８１から取得したベースレイヤ参照画像の一部を用いて、第１の実施の形態において説明したように、バイリニアインターポレーション処理が施された予測画像を生成する。例えば、閾値判定部１７３から供給される制御情報により、バイリニアインターポレーション処理が施された予測画像を生成するように制御された場合、画素内挿部１８２は、式（１１）に示される演算を行って、ベースレイヤ参照画像の４隅の画素値を用いた内挿処理によりバイリニアインターポレーション処理が施された予測画像を生成する。画素内挿部１８２は、生成した予測画像を、イントラBLモード若しくはリファレンスインデックスモードの予測画像として、イントラ予測部１４４若しくはインター予測部１４５に供給する。

また、例えば、閾値判定部１７３から供給される制御情報により、バイリニアインターポレーション処理が施された予測画像を生成しないように制御された場合、画素内挿部１８２は、予測画像の生成を省略し、その旨を、イントラ予測の場合はイントラ予測部１４４に供給し、インター予測の場合はインター予測部１４５に通知する。その場合、イントラ予測部１４４またはインター予測部１４５が、他の方法で、バイリニアインターポレーション処理が施されていない予測画像を生成する。

なお、第１の実施の形態において説明したように、バイリニアインターポレーション処理が施された予測画像の生成方法は任意であり、式（１１）の演算に限らない。例えば、ベースレイヤ参照画像の４隅以外の画素の画素値を用いて予測画像を生成するようにしてもよい。

以上のような、第１の実施の形態において説明したように輪郭ノイズ対策の実行制御を行う輪郭ノイズ検出部１５２を設けることにより、エンハンスメントレイヤ画像符号化部１０２（すなわち、画像符号化装置１００）は、カレントブロックにとって誤判定となってしまうような判定を抑制することができる。つまり、エンハンスメントレイヤ画像符号化部１０２（すなわち、画像符号化装置１００）は、符号化による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

また、以上のような、第１の実施の形態において説明したように予測画像の生成を行う予測画像生成部１５３を設けることにより、エンハンスメントレイヤ画像符号化部１０２（すなわち、画像符号化装置１００）は、カレントブロックにとって、より適切な輪郭ノイズ対策処理が施された予測画像を得ることができる。つまり、エンハンスメントレイヤ画像符号化部１０２（すなわち、画像符号化装置１００）は、符号化による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、上述したように、輪郭ノイズ検出部１５２と予測画像生成部１５３の両方を設けることにより、エンハンスメントレイヤ画像符号化部１０２（すなわち、画像符号化装置１００）は、輪郭ノイズ対策の実行判定において誤判定の発生を抑制することができるとともに、予測画像の生成においても、より適切な輪郭ノイズ対策を施すことができる。つまり、エンハンスメントレイヤ画像符号化部１０２（すなわち、画像符号化装置１００）は、符号化による画質の低減をより抑制することができる。

＜画像符号化処理の流れ＞
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図１９のフローチャートを参照して、画像符号化処理の流れの例を説明する。

画像符号化処理が開始されると、ステップＳ１０１において、画像符号化装置１００のベースレイヤ画像符号化部１０１は、ベースレイヤの画像データを符号化する。

ステップＳ１０２において、エンハンスメントレイヤ画像符号化部１０２は、エンハンスメントレイヤの画像データを符号化する。

ステップＳ１０３において、多重化部１０３は、ステップＳ１０１の処理により生成されたベースレイヤ画像符号化ストリームと、ステップＳ１０２の処理により生成されたエンハンスメントレイヤ画像符号化ストリームとを（すなわち、各レイヤのビットストリームを）多重化し、１系統の階層画像符号化ストリームを生成する。

ステップＳ１０３の処理が終了すると、画像符号化装置１００は、画像符号化処理を終了する。このような画像符号化処理により１ピクチャが処理される。したがって、画像符号化装置１００は、このような画像符号化処理を階層化された動画像データの各ピクチャについて繰り返し実行する。

＜ベースレイヤ符号化処理の流れ＞
次に、図１９のステップＳ１０１において、ベースレイヤ画像符号化部１０１により実行されるベースレイヤ符号化処理の流れの例を、図２０のフローチャートを参照して説明する。

ベースレイヤ符号化処理が開始されると、ベースレイヤ画像符号化部１０１のA/D変換部１１１は、ステップＳ１２１において、入力された動画像の各フレーム（ピクチャ）の画像をA/D変換する。

ステップＳ１２２において、画面並べ替えバッファ１１２は、ステップＳ１２１においてA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１２３において、イントラ予測部１２４は、イントラ予測モードのイントラ予測処理を行う。

ステップＳ１２４において、インター予測部１２５は、インター予測モードでの動き予測や動き補償等を行うインター予測処理を行う。

ステップＳ１２５において、予測画像選択部１２６は、コスト関数値等に基づいて、予測画像を選択する。つまり、予測画像選択部１２６は、ステップＳ１２３のイントラ予測により生成された予測画像と、ステップＳ１２４のインター予測により生成された予測画像のいずれか一方を選択する。

ステップＳ１２６において、演算部１１３は、ステップＳ１２２の処理によりフレーム順を並び替えられた入力画像と、ステップＳ１２５の処理により選択された予測画像との差分を演算する。つまり、演算部１１３は、入力画像と予測画像との差分画像の画像データを生成する。このようにして求められた差分画像の画像データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１２７において、直交変換部１１４は、ステップＳ１２６の処理により生成された差分画像の画像データを直交変換する。

ステップＳ１２８において、量子化部１１５は、レート制御部１２７により算出された量子化パラメータを用いて、ステップＳ１２７の処理により得られた直交変換係数を量子化する。

ステップＳ１２９において、逆量子化部１１８は、ステップＳ１２８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１１５の特性に対応する特性で逆量子化する。

ステップＳ１３０において、逆直交変換部１１９は、ステップＳ１２９の処理により得られた直交変換係数を逆直交変換する。

ステップＳ１３１において、演算部１２０は、ステップＳ１３０の処理により復元された差分画像に、ステップＳ１２５の処理により選択された予測画像を加算することにより、再構成画像の画像データを生成する。

ステップＳ１３２においてループフィルタ１２１は、ステップＳ１３１の処理により生成された再構成画像の画像データにループフィルタ処理を行う。これにより、再構成画像のブロック歪み等が除去される。

ステップＳ１３３において、フレームメモリ１２２は、ステップＳ１３２の処理により得られた復号画像（ベースレイヤ復号画像）やステップＳ１３１の処理により得られた再構成画像等のデータを記憶する。

ステップＳ１３４において、可逆符号化部１１６は、ステップＳ１２８の処理により得られた、量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。

また、このとき、可逆符号化部１１６は、ステップＳ１２５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１６は、イントラ予測部１２４から供給される最適イントラ予測モード情報、または、インター予測部１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

さらに、可逆符号化部１１６は、各種ナルユニット等のシンタクス要素も設定し、符号化し、符号化データに付加する。

ステップＳ１３５において蓄積バッファ１１７は、ステップＳ１３４の処理により得られた符号化データ（ベースレイヤ画像符号化ストリーム）を蓄積する。蓄積バッファ１１７に蓄積されたベースレイヤ画像符号化ストリームは、適宜読み出され、多重化部１０３（図１５）に供給されてエンハンスメントレイヤ画像符号化ストリームと多重化された後、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ１３６においてレート制御部１２７は、ステップＳ１３５の処理により蓄積バッファ１１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。また、レート制御部１２７は、量子化パラメータに関する情報を、量子化部１１５に供給する。

ステップＳ１３７において、フレームメモリ１２２は、記憶しているベースレイヤ復号画像を、エンハンスメントレイヤの符号化処理に供給する。

ステップＳ１３７の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図１９に戻る。

＜エンハンスメントレイヤ符号化処理の流れ＞
次に、図１９のステップＳ１０２において、エンハンスメントレイヤ画像符号化部１０２により実行されるエンハンスメントレイヤ符号化処理の流れの例を、図２１のフローチャートを参照して説明する。

エンハンスメントレイヤ符号化処理が開始されると、エンハンスメントレイヤ画像符号化部１０２のアップサンプル部１５１は、ステップＳ１４１において、図１９のステップＳ１３７の処理によりベースレイヤ画像符号化部１０１から供給されるベースレイヤ復号画像を取得し、その画像をエンハンスメントレイヤの解像度にアップサンプルする。

ステップＳ１４２において、フレームメモリ１４２は、ステップＳ１４１の処理によりアップサンプルされたベースレイヤ復号画像を記憶する。例えば、フレームメモリ１４２は、このベースレイヤ復号画像をロングターム参照フレームに格納する。

ステップＳ１４３において、A/D変換部１１１は、入力されたエンハンスメントレイヤの動画像の各フレーム（ピクチャ）の画像をA/D変換する。

ステップＳ１４４において、画面並べ替えバッファ１１２は、ステップＳ１４３においてA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１４５において、イントラ予測部１４４は、イントラ予測処理を行う。

ステップＳ１４６において、インター予測部１４５は、インター予測処理を行う。

ステップＳ１４７乃至ステップＳ１５８の各処理は、図２０のステップＳ１２５乃至ステップＳ１３６の各処理に対応し、それらの処理と基本的に同様に実行される。ただし、図２０のステップＳ１２５乃至ステップＳ１３６の各処理がベースレイヤに対して行われたのに対し、ステップＳ１４７乃至ステップＳ１５８の各処理は、エンハンスメントレイヤに対して行われる。

ステップＳ１５８の処理が終了すると、エンハンスメントレイヤ符号化処理が終了し、処理は、図１９に戻る。

＜イントラ予測処理の流れ＞
次に、図２１のステップＳ１４５において実行されるイントラ予測処理の流れの例を、図２２のフローチャートを参照して説明する。

イントラ予測処理が開始されると、イントラ予測部１４４は、ステップＳ１６１において、カレントブロックサイズが32x32（例えば32x32サイズのPU）であるか否かを判定する。ブロックサイズが32x32であると判定された場合、処理は、ステップＳ１６２に進む。また、ブロックサイズが32x32でないと判定された場合、処理は、ステップＳ１６５に進む。符号化の際のイントラ予測は、予め候補として用意された複数の予測モード全てについて行われ、その予測結果に基づいて最適なモードが選択される。ステップＳ１６１の判定処理は、その候補として実行される各モードについて行われる。つまり、候補として実行されるブロックサイズが32x32のモードでは、処理がステップＳ１６２に進められ、それ以外のブロックサイズのモードでは、処理がステップＳ１６５に進められる。

ブロックサイズが32x32のモードの場合、ステップＳ１６２において、輪郭ノイズ検出部１５２は、ベースレイヤ復号画像を用いて輪郭ノイズ領域の検出を行う。つまり、輪郭ノイズ検出部１５２は、カレントブロックが輪郭ノイズ対策を行うべき領域（輪郭ノイズ領域）であるか否かを判定する。

ステップＳ１６３において、輪郭ノイズ検出部１５２は、ステップＳ１６２の処理結果に従って、カレントブロックが輪郭ノイズ領域であるか否かを判定する。カレントブロックが輪郭ノイズ対策を行うべき輪郭ノイズ領域であると判定された場合、処理は、ステップＳ１６４に進む。

ステップＳ１６４において、予測画像生成部１５３（画素内挿部１８２）は、第１の実施の形態において説明したように、イントラBLモードとしてベースレイヤ参照画像の一部を用いた内挿処理により、バイリニアインターポレーション処理が施された予測画像を生成する。ステップＳ１６４の処理が終了すると、処理はステップＳ１６６に進む。

また、上述したようにステップＳ１６１においてカレントブロックのブロックサイズが32x32でないと判定された場合、または、ステップＳ１６３においてカレントブロックが輪郭ノイズ領域でないと判定された場合、処理はステップＳ１６５に進む。

ステップＳ１６５において、イントラ予測部１４４は、各モードで、バイリニアインターポレーション処理が施されていない予測画像を生成する。ステップＳ１６５の処理が終了すると、処理はステップＳ１６６に進む。

以上のようにして候補として用意された全てのモードについて予測画像が生成されると、ステップＳ１６６において、イントラ予測部１４４は、各モードの予測画像のコスト関数値を算出する。

ステップＳ１６７において、イントラ予測部１４４は、ステップＳ１６６において算出されたコスト関数値が最小となるモードを最適イントラ予測モードに決定する。

ステップＳ１６８において、イントラ予測部１４４は、ステップＳ１６７において決定された最適イントラ予測モードを示すイントラ予測モード情報を、例えばモストプロバブルモード（MostProbableMode）を用いて符号化する。符号化されたイントラ予測モード情報は、可逆符号化部１３６により符号化され、復号側に伝送される（図２１のステップＳ１５６、ステップＳ１５７）。

ステップＳ１６８の処理が終了すると、イントラ予測処理が終了し、処理は図２１に戻る。

＜輪郭ノイズ領域検出処理の流れ＞
次に、図２２のステップＳ１６２において実行される輪郭ノイズ領域検出処理の流れの例を、図２３のフローチャートを参照して説明する。

輪郭ノイズ領域検出処理が開始されると、輪郭ノイズ検出部１５２の閾値設定部１７１は、ステップＳ１７１において、ビット深度に応じて閾値θを設定する。この閾値θは、図２１のステップＳ１５６の処理により符号化され、復号側に伝送される。

ステップＳ１７２において、画素分散値算出部１７２は、ベースレイヤのコロケーテッドブロック（カレントブロックに対応するベースレイヤ復号画像）を特定する。ステップＳ１７３において、画素分散値算出部１７２は、そのベースレイヤのコロケーテッドブロック（カレントブロックに対応するベースレイヤ復号画像）の画素値の分散Varを算出する。

ステップＳ１７４において、閾値判定部１７３は、ステップＳ１７３の処理により算出された分散Varを、ステップＳ１７１において設定された閾値θと比較する。

ステップＳ１７５において、閾値判定部１７３は、例えばステップＳ１７４の比較結果が式（１０）の条件を満たすか否かに応じて、予測画像の生成に関する制御を行う。つまり、例えば、ステップＳ１７４の比較結果が式（１０）の条件を満たす場合、閾値判定部１７３は、バイリニアインターポレーション処理が施された予測画像を生成するように制御する。また、例えば、ステップＳ１７４の比較結果が式（１０）の条件を満たさない場合、閾値判定部１７３は、バイリニアインターポレーション処理が施されていない予測画像を生成するように制御する。

ステップＳ１７５の処理が終了すると、輪郭ノイズ領域検出処理が終了し、処理は図２２に戻る。

＜インター予測処理の流れ＞
次に、図２１のステップＳ１４６において実行されるインター予測処理の流れの例を、図２４のフローチャートを参照して説明する。

インター予測処理が開始されると、インター予測部１４５は、ステップＳ１８１において、カレントブロックがベースレイヤの画像を参照するブロックサイズが32x32のブロック（例えば32x32サイズのPU）であるか否かを判定する。カレントブロックがベースレイヤの画像を参照し、かつ、そのブロックサイズが32x32であると判定された場合、処理は、ステップＳ１８２に進む。また、カレントブロックがベースレイヤの画像を参照しない、または、ブロックサイズが32x32でないと判定された場合、処理は、ステップＳ１８５に進む。

符号化の際のインター予測は、予め候補として用意された複数の予測モード全てについて行われ、その予測結果に基づいて最適なモードが選択される。ステップＳ１８１の判定処理は、その候補として実行される各モードについて行われる。つまり、ベースレイヤの画像を参照し、かつ、ブロックサイズが32x32のモードが候補として実行される場合、処理がステップＳ１８２に進められ、ベースレイヤの画像を参照しないモード、若しくは、32x32以外のブロックサイズのモードが候補として実行される場合、処理がステップＳ１８５に進められる。

ベースレイヤの画像を参照し、かつ、ブロックサイズが32x32のモードの場合、ステップＳ１８２において、輪郭ノイズ検出部１５２は、イントラ予測の場合と同様に、ベースレイヤ復号画像を用いて輪郭ノイズ領域の検出を行う。つまり、輪郭ノイズ検出部１５２は、図２３のフローチャートを参照して説明した輪郭ノイズ領域検出処理を実行する。

ステップＳ１８３において、輪郭ノイズ検出部１５２は、ステップＳ１８２の処理結果に従って、カレントブロックが輪郭ノイズ領域であるか否かを判定する。カレントブロックが輪郭ノイズ対策を行うべき輪郭ノイズ領域であると判定された場合、処理は、ステップＳ１８４に進む。

ステップＳ１８４において、予測画像生成部１５３（画素内挿部１８２）は、第１の実施の形態において説明したように、リファレンスインデックス（Ref_idx）モードとしてベースレイヤ参照画像の一部を用いた内挿処理により、バイリニアインターポレーション処理が施された予測画像を生成する。ステップＳ１８４の処理が終了すると、処理はステップＳ１８６に進む。

また、上述したようにステップＳ１８１において、カレントブロックがベースレイヤの画像を参照しない、若しくは、そのブロックサイズが32x32でないと判定された場合、または、ステップＳ１８３においてカレントブロックが輪郭ノイズ領域でないと判定された場合、処理はステップＳ１８５に進む。

ステップＳ１８５において、インター予測部１４５は、各モードで、バイリニアインターポレーション処理が施されていない予測画像を生成する。ステップＳ１８５の処理が終了すると、処理はステップＳ１８６に進む。

つまり、カレントブロックがベースレイヤの画像を参照する32x32のブロックであり、かつ、そのカレントブロックが輪郭ノイズ領域であると判定された場合、バイリニアインターポレーション処理が施された予測画像が生成され、それ以外の場合、バイリニアインターポレーション処理が施されていない予測画像が生成される。

以上のようにして候補として用意された全てのモードについて予測画像が生成されると、ステップＳ１８６において、インター予測部１４５は、各モードの予測画像のコスト関数値を算出する。

ステップＳ１８７において、インター予測部１４５は、ステップＳ１８６において算出されたコスト関数値が最小となるモードを最適インター予測モードに決定する。

ステップＳ１８７の処理が終了すると、インター予測処理が終了し、処理は図２１に戻る。

以上のように各処理が実行されることにより、画像符号化装置１００（エンハンスメントレイヤ画像符号化部１０２）は、符号化による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、以上においては、第１の実施の形態において説明した輪郭ノイズ対策の実行判定および予測画像の生成の両方が行われる場合について説明したが、第１の実施の形態において説明したように、輪郭ノイズ対策の実行判定のみが第１の実施の形態において説明したように行われるようにすることもできるし、予測画像の生成のみが第１の実施の形態において説明したように行われるようにすることもできる。

輪郭ノイズ対策の実行判定のみが第１の実施の形態において説明したように行われるようにする場合、予測画像生成部１５３（図１７、図１８）を省略し、イントラ予測部１４４が、例えば非特許文献２に記載の方法で周辺画素に対してバイリニアインターポレーション処理を施して予測画像を生成するようにすればよい（例えば、図２２のステップＳ１６４）。その場合、その図２２のステップＳ１６４の処理は、ベースレイヤ復号画像を用いないイントラ予測モードとして行われる。

また、予測画像生成のみが第１の実施の形態において説明したように行われるようにする場合、輪郭ノイズ検出部１５２（図１７、図１８）を省略し、イントラ予測部１４４が、例えば非特許文献２に記載の方法で輪郭ノイズ検出処理を行うようにすればよい（例えば、図２２のステップＳ１６２）。

また、第１の実施の形態において説明したその他の例についても同様に、本実施の形態の画像符号化装置１００に適用することができる。例えば、ブロックサイズを32x32に限定しない場合、図２２のステップＳ１６１が省略される。また、図２４のステップＳ１８１の処理においてブロックサイズが32x32であるか否かの判定が省略される。また、例えば、閾値θの伝送を省略するようにしてもよい。

＜３．第３の実施の形態＞
＜復号の際の輪郭ノイズ対策＞
次に、以上のように符号化された符号化データの復号について説明する。符号化データを復号する際のイントラ予測やインター予測においても、輪郭ノイズ対策の実行判定や予測画像の生成は、符号化の際のイントラ予測やインター予測の場合と同様に行われる。

つまり、復号の際のイントラ予測やインター予測における、カレントブロックの輪郭ノイズ対策の実行判定は、そのカレントブロックに対応する他のレイヤの参照画像の情報を用いて、第１の実施の形態と同様の方法により行われる。例えば、エンハンスメントレイヤの復号において、カレントブロックに対応するベースレイヤ復号画像に基づいて、カレントブロックの輪郭ノイズ対策の実行判定が、第１の実施の形態の方法と同様に行われるようにする。

このようにすることにより、カレントブロックにとって誤判定となってしまうような判定を抑制することができ、復号による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、輪郭ノイズ対策の実行判定に用いるパラメータは、符号化の際の輪郭ノイズ対策の実行判定に使用されたパラメータと同様のものであればよく、第１の実施の形態の場合と同様に、分散値Varに限定されない。また、ベースレイヤ復号画像の一部の画素（符号化の際に用いられた画素と同じ画素）の画素値を用いてそのパラメータを算出するようにしてもよい。

また、閾値θは、符号化の際に用いられたのと同じ値であれば、第１の実施の形態の場合と同様に任意である。例えば、分散値Varが所定の閾値θ以下の場合に輪郭ノイズ対策が行われるようにしてもよい。また、例えば、閾値θが、予め定められた値であってもよいし、設定することができるようにしてもよい。例えば、閾値θが、ベースレイヤにおける入力画像のビット深度に応じて決定されるようにしてもよい。さらに、例えば、閾値θが、可変であってもよく、例えばユーザ等によって更新することができるようにしてもよい。いずれにしても閾値θは、符号化の際に用いられたのと同じ値でなければならない。

なお、閾値θは、符号化側から伝送されるようにしてもよい。このようにすることにより、復号側においても、容易に、符号化の際に用いられた閾値θを利用することができる。

また、復号の際のイントラ予測やインター予測における予測画像の生成は、カレントブロックに対応する他のレイヤの参照画像の一部を用いて、第１の実施の形態と同様の方法により行われる。例えば、エンハンスメントレイヤの復号において、カレントブロックに対応するベースレイヤ復号画像を参照画像とし、その一部を用いて、エンハンスメントレイヤのカレントブロックの、バイリニアインターポレーション処理が行われた予測画像が、第１の実施の形態の方法と同様に生成されるようにする。

このようにすることにより、カレントブロックにとって、より適切な輪郭ノイズ対策処理が施された予測画像を得ることができる。つまり、復号による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、予測画像の生成方法は、符号化の際に用いられた方法と同様のものであれば、上述した演算に限らず、どのような方法であっても良い。例えば、カレントブロックに対応するベースレイヤの復号画像（ベースレイヤ復号画像）の４隅以外の画素を用いて予測画像を生成するようにしてもよい。

さらに、符号化の際に、輪郭ノイズ対策の実行判定と、予測画像の生成の両方が、第１の実施の形態において説明した方法で行われた場合、復号の際も同様に、輪郭ノイズ対策の実行判定と、予測画像の生成の両方を第１の実施の形態において説明した方法で行うようにすればよい。このようにすることにより、輪郭ノイズ対策の実行判定において誤判定の発生を抑制することができるとともに、予測画像の生成においても、より適切な輪郭ノイズ対策を施すことができる。つまり、復号による画質の低減をより抑制することができる。

なお、符号化の場合、候補として用意された全てのモードで予測処理（イントラ予測やインター予測）が行われるが、復号の場合、符号化において採用された最適な予測モード（最適イントラ予測モード若しくは最適インター予測モード）でのみ予測処理が行われる。つまり、復号の場合、本技術を適用した輪郭ノイズ対策の実行判定や予測画像の生成（第１の実施の形態において説明した輪郭ノイズ対策の実行判定や予測画像の生成）が、符号化において本技術を適用した輪郭ノイズ対策の実行判定や予測画像の生成が行われた場合のみ行われるようにする。

＜４．第４の実施の形態＞
＜画像復号装置＞
次に、以上のように符号化された符号化データの復号について説明する。図２５は、本技術を適用した画像処理装置の一態様である、図１５の画像符号化装置１００に対応する画像復号装置の主な構成例を示すブロック図である。図２５に示される画像復号装置２００は、画像符号化装置１００が生成した符号化データを、その符号化方法に対応する復号方法で復号する（すなわち、階層符号化された符号化データを階層復号する）。図２５に示されるように、画像復号装置２００は、逆多重化部２０１、ベースレイヤ画像復号部２０２、およびエンハンスメントレイヤ画像復号部２０３を有する。

逆多重化部２０１は、符号化側から伝送された、ベースレイヤ画像符号化ストリームとエンハンスメントレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを受け取り、それを逆多重化し、ベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化ストリームとを抽出する。ベースレイヤ画像復号部２０２は、逆多重化部２０１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。エンハンスメントレイヤ画像復号部２０３は、逆多重化部２０１により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号し、エンハンスメントレイヤ画像を得る。

ベースレイヤ画像復号部２０２は、ベースレイヤの復号において得られたベースレイヤ復号画像を、エンハンスメントレイヤ画像復号部２０３に供給する。

エンハンスメントレイヤ画像復号部２０３は、ベースレイヤ画像復号部２０２から供給されるベースレイヤ復号画像を取得し、記憶する。エンハンスメントレイヤ画像復号部２０３は、その記憶したベースレイヤ復号画像を参照画像として、エンハンスメントレイヤの復号における予測処理に用いる。

また、エンハンスメントレイヤ画像復号部２０３は、ベースレイヤ復号画像を用いて、輪郭ノイズ対策の実行判定や予測画像の生成を行う。

＜ベースレイヤ画像復号部＞
図２６は、図２５のベースレイヤ画像復号部２０２の主な構成例を示すブロック図である。図２６に示されるようにベースレイヤ画像復号部２０２は、蓄積バッファ２１１、可逆復号部２１２、逆量子化部２１３、逆直交変換部２１４、演算部２１５、ループフィルタ２１６、画面並べ替えバッファ２１７、およびD/A変換部２１８を有する。また、ベースレイヤ画像復号部２０２は、フレームメモリ２１９、選択部２２０、イントラ予測部２２１、インター予測部２２２、および予測画像選択部２２３を有する。

蓄積バッファ２１１は、伝送されてきた符号化データ（逆多重化部２０１から供給されるベースレイヤ画像符号化ストリーム）を受け取る受け取り部でもある。蓄積バッファ２１１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２１２に供給する。この符号化データには、予測モード情報などの復号に必要な情報が付加されている。

可逆復号部２１２は、蓄積バッファ２１１より供給された、可逆符号化部１１６により符号化された情報を、その符号化方式に対応する復号方式で復号する。可逆復号部２１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２１３に供給する。

また、可逆復号部２１２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部２２１およびインター予測部２２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報（イントラ予測モード情報）がイントラ予測部２２１に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報（インター予測モード情報）がインター予測部２２２に供給される。

さらに、可逆復号部２１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を、符号化データから抽出し、逆量子化部２１３に供給する。

逆量子化部２１３は、可逆復号部２１２により復号されて得られた量子化された係数データを、量子化部１１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部２１３は、逆量子化部１１８と同様の処理部である。逆量子化部２１３は、得られた係数データ（直交変換係数）を逆直交変換部２１４に供給する。

逆直交変換部２１４は、逆量子化部２１３から供給される直交変換係数を、必要に応じて、直交変換部１１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部２１４は、逆直交変換部１１９と同様の処理部である。

この逆直交変換処理により差分画像の画像データが復元される。この復元された差分画像の画像データは、符号化側において直交変換される前の差分画像の画像データに対応する。以下においては、この、逆直交変換部２１４の逆直交変換処理により得られた、復元された差分画像の画像データを、復号残差データとも称する。逆直交変換部２１４は、この復号残差データを、演算部２１５に供給する。また、演算部２１５には、予測画像選択部２２３を介して、イントラ予測部２２１若しくはインター予測部２２２から予測画像の画像データが供給される。

演算部２１５は、この復号残差データと予測画像の画像データとを用いて、差分画像と予測画像とを加算した再構成画像の画像データを得る。この再構成画像は、演算部１１３により予測画像が減算される前の入力画像に対応する。演算部２１５は、その再構成画像をループフィルタ２１６に供給する。

ループフィルタ２１６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ２１６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ２１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ２１６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ２１６が、画像符号化装置から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。さらに、ループフィルタ２１６が、このようなフィルタ処理を省略し、入力されたデータをフィルタ処理せずに出力することもできる。

ループフィルタ２１６は、フィルタ処理結果である復号画像（若しくは再構成画像）を画面並べ替えバッファ２１７およびフレームメモリ２１９に供給する。

画面並べ替えバッファ２１７は、復号画像についてフレームの順番の並べ替えを行う。すなわち、画面並べ替えバッファ２１７は、画面並べ替えバッファ１１２により符号化順に並べ替えられた各フレームの画像を、元の表示順に並べ替える。つまり、画面並べ替えバッファ２１７は、符号化順に供給される各フレームの復号画像の画像データを、その順に記憶し、符号化順に記憶した各フレームの復号画像の画像データを、表示順に読み出してD/A変換部２１８に供給する。D/A変換部２１８は、画面並べ替えバッファ２１７から供給された各フレームの復号画像（デジタルデータ）をD/A変換し、アナログデータとして、図示せぬディスプレイに出力し、表示させる。

フレームメモリ２１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部２２１やインター予測部２２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部２２０を介してイントラ予測部２２１やインター予測部２２２に供給する。

イントラ予測部２２１には、イントラ予測モード情報等が可逆復号部２１２から適宜供給される。イントラ予測部２２１は、イントラ予測部１２４において用いられたイントラ予測モード（最適イントラ予測モード）でイントラ予測を行い、予測画像を生成する。その際、イントラ予測部２２１は、選択部２２０を介してフレームメモリ２１９から供給される再構成画像の画像データを用いてイントラ予測を行う。すなわち、イントラ予測部２２１は、この再構成画像を参照画像（周辺画素）として利用する。イントラ予測部２２１は、生成した予測画像を予測画像選択部２２３に供給する。

インター予測部２２２には、最適予測モード情報や動き情報等が可逆復号部２１２から適宜供給される。インター予測部２２２は、可逆復号部２１２から取得された最適予測モード情報が示すインター予測モード（最適インター予測モード）で、フレームメモリ２１９から取得した復号画像（参照画像）を用いてインター予測を行い、予測画像を生成する。

予測画像選択部２２３は、イントラ予測部２２１から供給される予測画像またはインター予測部２２２から供給される予測画像を、演算部２１５に供給する。そして、演算部２１５においては、その予測画像と逆直交変換部２１４からの復号残差データ（差分画像情報）とが加算されて再構成画像が得られる。

なお、ベースレイヤ画像復号部２０２は、他のレイヤを参照せずに復号を行う。つまり、イントラ予測部２２１およびインター予測部２２２は、他のレイヤの復号画像を参照画像として利用しない。

また、フレームメモリ２１９は、記憶しているベースレイヤ復号画像を、エンハンスメントレイヤ画像復号部２０３に供給する。

＜エンハンスメントレイヤ画像復号部＞
図２７は、図２５のエンハンスメントレイヤ画像復号部２０３の主な構成例を示すブロック図である。図２７に示されるように、エンハンスメントレイヤ画像復号部２０３は、図２６のベースレイヤ画像復号部２０２と基本的に同様の構成を有する。

つまり、エンハンスメントレイヤ画像復号部２０３は、図２７に示されるように、蓄積バッファ２３１、可逆復号部２３２、逆量子化部２３３、逆直交変換部２３４、演算部２３５、ループフィルタ２３６、画面並べ替えバッファ２３７、およびD/A変換部２３８を有する。また、エンハンスメントレイヤ画像復号部２０３は、フレームメモリ２３９、選択部２４０、イントラ予測部２４１、インター予測部２４２、および予測画像選択部２４３を有する。

これらの蓄積バッファ２３１乃至予測画像選択部２４３は、図２６の蓄積バッファ２１１乃至予測画像選択部２２３に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像復号部２０３の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、蓄積バッファ２３１乃至予測画像選択部２４３の処理の説明として、上述した図２６の蓄積バッファ２１１乃至予測画像選択部２２３についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、エンハンスメントレイヤ画像復号部２０３の、対応する処理部に置き換えて読む必要がある。

なお、エンハンスメントレイヤ画像復号部２０３は、他のレイヤ（例えばベースレイヤ）の復号画像を参照して復号を行う。

エンハンスメントレイヤ画像復号部２０３は、さらに、アップサンプル部２５１、輪郭ノイズ検出部２５２、および予測画像生成部２５３を有する。

アップサンプル部２５１は、アップサンプル部１５１（図１７）と同様の処理部である。例えば、アップサンプル部２５１は、ベースレイヤ画像復号部２０２から供給されるベースレイヤ復号画像をエンハンスメントレイヤの解像度にアップサンプルし、そのアップサンプルしたベースレイヤ復号画像をフレームメモリ２３９に供給し、記憶させる。フレームメモリ２３９は、イントラBLモードやリファレンスインデックスモード等において、そのベースレイヤ復号画像を、参照画像として、選択部２４０を介して、イントラ予測部２４１若しくはインター予測部２４２に供給する。

また、アップサンプル部２５１は、アップサンプルしたベースレイヤ復号画像を、第３の実施の形態において説明した輪郭ノイズ対策の実行判定や予測画像の生成に利用させるように、輪郭ノイズ検出部２５２に供給する。

なお、第３の実施の形態において説明した輪郭ノイズ対策の実行判定や予測画像の生成は、アップサンプルしていないベースレイヤ復号画像を用いて行うこともできる。その場合、輪郭ノイズ検出部２５２には、ベースレイヤ画像復号部２０２から供給される、アップサンプルされる前のベースレイヤ復号画像を、アップサンプル部２５１を介さずに、供給するようにすればよい。

輪郭ノイズ検出部２５２は、輪郭ノイズ検出部１５２（図１７）と同様の処理部である。輪郭ノイズ検出部２５２は、アップサンプル部２５１から供給されるアップサンプルされたベースレイヤ復号画像（若しくは、ベースレイヤ画像復号部２０２から供給されるアップサンプルされる前のベースレイヤ復号画像）を用いて、エンハンスメントレイヤのカレントブロックについて、第３の実施の形態において説明したように輪郭ノイズ対策処理の実行判定を行い、その判定結果に基づく輪郭ノイズ対策に関する制御情報を予測画像生成部２５３に供給する。

なお、輪郭ノイズ検出部２５２は、符号化側において、第１の実施の形態において説明した輪郭ノイズ対策の実行判定を行うモードが採用された場合のみ、第３の実施の形態において説明した輪郭ノイズ対策処理の実行判定を行う。

予測画像生成部２５３は、予測画像生成部１５３（図１７）と同様の処理部である。予測画像生成部２５３は、輪郭ノイズ検出部２５２から供給される制御情報に従って、イントラ予測部２４１若しくはインター予測部２４２から供給されるベースレイヤ参照画像を用いて、第３の実施の形態において説明したようにイントラBLモード若しくはリファレンスインデックスモードでバイリニアインターポレーション処理を施した予測画像の生成を行う。予測画像生成部２５３は、生成した予測画像をイントラ予測部２４１若しくはインター予測部２４２に供給する。

なお、予測画像生成部２５３は、符号化側において、バイリニアインターポレーション処理を施した予測画像の生成が行われた場合のみ、バイリニアインターポレーション処理を施した予測画像の生成を行う。

＜輪郭ノイズ検出部と予測画像生成部＞
図２８は、図２７の輪郭ノイズ検出部２５２および予測画像生成部２５３の主な構成例を示すブロック図である。

図２８に示されるように、輪郭ノイズ検出部２５２は、閾値設定部２７１、画素分散値算出部２７２、および閾値判定部２７３を有する。

閾値設定部２７１は、閾値設定部１７１（図１８）と同様に、輪郭ノイズ対策の実行判定に用いる閾値θを設定する。ただし、閾値設定部２７１は、例えば、可逆復号部２３２から供給される、符号化側から伝送された閾値θを取得し、それを閾値判定部２７３において使用される閾値として設定する。つまり、閾値設定部２７１は、取得した閾値θを閾値判定部２７３に供給する。

なお、例えば閾値θは符号化側から伝送されなくても良い。その場合、閾値設定部２７１は、符号化側において使用された閾値θと同じ閾値θを設定する。その方法は、第３の実施の形態において説明したように任意である。

画素分散値算出部２７２は、画素分散値算出部１７２（図１８）と同様に、アップサンプル部２５１から、カレントブロックに対応する、エンハンスメントレイヤの解像度にアップサンプルされたベースレイヤ復号画像を取得し、第３の実施の形態において説明したように、輪郭ノイズ対策の実行判定に用いるパラメータとして、そのカレントブロックに対応するベースレイヤ復号画像の画素値の分散値を算出する。画素分散値算出部２７２は、算出したその分散値Var（画素分散値とも称する）を閾値判定部２７３に供給する。なお、第３の実施の形態において説明したように、輪郭ノイズ対策の実行判定に用いるパラメータは、符号化側と同様のものである限り、任意である。したがって、分散値以外であってもよいし、カレントブロックに対応するベースレイヤ復号画像の一部の画素の画素値を用いて求めるようにしてもよい。

閾値判定部２７３は、閾値設定部２７１から閾値θを取得し、画素分散値算出部２７２から画素分散値（分散値Var）を取得し、閾値判定部１７３（図１８）と同様の方法でそれらを比較し、輪郭ノイズ対策を行うべきか否かを判定する。そして、閾値判定部２７３は、閾値判定部１７３（図１８）の場合と同様の方法により、その判定結果に基づいて輪郭ノイズ対策の実行を制御する制御情報を生成し、その制御情報を予測画像生成部２５３に供給する。例えば、閾値判定部２７３は、式（１０）で示される条件を満たす場合、バイリニアインターポレーション処理が施された予測画像を生成するように指示する制御情報を生成し、その制御情報を予測画像生成部２５３に供給する。逆に、例えば、閾値判定部２７３は、式（１０）で示される条件を満たさない場合、バイリニアインターポレーション処理が施された予測画像の生成を行わないように指示する制御情報を生成し、その制御情報を予測画像生成部２５３に供給する。なお、符号化側の場合と同様のものであれば、輪郭ノイズ対策を行うべきか否かの判定方法は任意である。

また、図２８に示されるように、予測画像生成部２５３は、ベースレイヤ参照画像バッファ２８１および画素内挿部２８２を有する。

ベースレイヤ参照画像バッファ２８１は、ベースレイヤ参照画像バッファ１８１（図１８）と同様に、イントラ予測部１４４若しくはインター予測部１４５から供給されるベースレイヤ参照画像を取得し、記憶する。ベースレイヤ参照画像バッファ２８１は、所定のタイミングにおいて、若しくは、画素内挿部２８２等からの要求に応じて、記憶しているベースレイヤ参照画像を画素内挿部２８２に供給する。

画素内挿部２８２は、閾値判定部２７３から供給される制御情報に従って、画素内挿部１８２（図１８）と同様の方法で、バイリニアインターポレーション処理が施された予測画像を生成する。例えば、閾値判定部２７３から供給される制御情報により、バイリニアインターポレーション処理が施された予測画像を生成するように制御された場合、画素内挿部２８２は、式（１１）に示される演算を行って、ベースレイヤ参照画像の４隅の画素値を用いた内挿処理によりバイリニアインターポレーション処理が施された予測画像を生成する。画素内挿部２８２は、生成した予測画像を、イントラBLモード若しくはリファレンスインデックスモードの予測画像として、イントラ予測部２４１若しくはインター予測部２４２に供給する。

また、例えば、閾値判定部２７３から供給される制御情報により、バイリニアインターポレーション処理が施された予測画像を生成しないように制御された場合、画素内挿部２８２は、予測画像の生成を省略し、その旨を、イントラ予測の場合はイントラ予測部２４１に供給し、インター予測の場合はインター予測部２４２に通知する。その場合、イントラ予測部２４１またはインター予測部２４２が、他の方法で、バイリニアインターポレーション処理が施されていない予測画像を生成する。

なお、第３の実施の形態において説明したように、画素内挿部２８２によるバイリニアインターポレーション処理が施された予測画像の生成方法は、画素内挿部１８２（図１８）の方法と同様であれば任意であり、式（１１）の演算に限らない。例えば、ベースレイヤ参照画像の４隅以外の画素の画素値を用いて予測画像を生成するようにしてもよい。

以上のような、第３の実施の形態において説明したように輪郭ノイズ対策の実行制御を行う輪郭ノイズ検出部２５２を設けることにより、エンハンスメントレイヤ画像復号部２０３（すなわち、画像復号装置２００）は、カレントブロックにとって誤判定となってしまうような判定を抑制することができる。つまり、エンハンスメントレイヤ画像復号部２０３（すなわち、画像復号装置２００）は、復号による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

また、以上のような、第３の実施の形態において説明したように予測画像の生成を行う予測画像生成部２５３を設けることにより、エンハンスメントレイヤ画像復号部２０３（すなわち、画像復号装置２００）は、カレントブロックにとって、より適切な輪郭ノイズ対策処理が施された予測画像を得ることができる。つまり、エンハンスメントレイヤ画像復号部２０３（すなわち、画像復号装置２００）は、復号による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、上述したように、輪郭ノイズ検出部２５２と予測画像生成部２５３の両方を設けることにより、エンハンスメントレイヤ画像復号部２０３（すなわち、画像復号装置２００）は、輪郭ノイズ対策の実行判定において誤判定の発生を抑制することができるとともに、予測画像の生成においても、より適切な輪郭ノイズ対策を施すことができる。つまり、エンハンスメントレイヤ画像復号部２０３（すなわち、画像復号装置２００）は、復号による画質の低減をより抑制することができる。

＜画像復号処理の流れ＞
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図２９のフローチャートを参照して、画像復号処理の流れの例を説明する。

画像復号処理が開始されると、ステップＳ２０１において、画像復号装置２００の逆多重化部２０１は、符号化側から伝送される階層画像符号化ストリームをレイヤ毎に逆多重化する。

ステップＳ２０２において、ベースレイヤ画像復号部２０２は、ステップＳ２０１の処理により抽出されたベースレイヤ画像符号化ストリームを復号する。ベースレイヤ画像復号部２０２は、この復号により生成されたベースレイヤ画像のデータを出力する。

ステップＳ２０３において、エンハンスメントレイヤ画像復号部２０３は、ステップＳ２０１の処理により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号する。エンハンスメントレイヤ画像復号部２０３は、この復号により生成されたエンハンスメントレイヤ画像のデータを出力する。

ステップＳ２０３の処理が終了すると、画像復号装置２００は、画像復号処理を終了する。このような画像復号処理により１ピクチャが処理される。したがって、画像復号装置２００は、このような画像復号処理を階層化された動画像データの各ピクチャについて繰り返し実行する。

＜ベースレイヤ復号処理の流れ＞
次に、図２９のステップＳ２０２において実行されるベースレイヤ復号処理の流れの例を、図３０のフローチャートを参照して説明する。

ベースレイヤ復号処理が開始されると、ステップＳ２２１において、ベースレイヤ画像復号部２０２の蓄積バッファ２１１は、伝送されてきたベースレイヤ符号化ストリームを蓄積する。ステップＳ２２２において、可逆復号部２１２は、蓄積バッファ２１１から供給されるベースレイヤ符号化ストリームを復号する。すなわち、可逆符号化部１１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャ等の画像データが復号される。このとき、ヘッダ情報などのビットストリームに含められた画像データ以外の各種情報も復号される。

ステップＳ２２３において、逆量子化部２１３は、ステップＳ２２２の処理により得られた、量子化された係数を逆量子化する。

ステップＳ２２４において、逆直交変換部２１４は、ステップＳ２２３において逆量子化された係数を逆直交変換する。

ステップＳ２２５において、イントラ予測部２２１およびインター予測部２２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部２１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部２２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、インター予測部２２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。

ステップＳ２２６において、演算部２１５は、ステップＳ２２５において逆直交変換されて得られた差分画像に、ステップＳ２２６において生成された予測画像を加算する。これにより再構成画像の画像データが得られる。

ステップＳ２２７において、ループフィルタ２１６は、ステップＳ２２７の処理により得られた再構成画像の画像データに対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。

ステップＳ２２８において、画面並べ替えバッファ２１７は、ステップＳ２２７においてフィルタ処理された再構成画像の各フレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２２９において、D/A変換部２１８は、ステップＳ２２８においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

ステップＳ２３０において、フレームメモリ２１９は、ステップＳ２２７の処理により得られた復号画像やステップＳ２２６の処理により得られた再構成画像等のデータを記憶する。

ステップＳ２３１において、フレームメモリ２１９は、以上のようなベースレイヤの復号処理において得られたベースレイヤ復号画像を、エンハンスメントレイヤの復号処理に供給する。

ステップＳ２３１の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図２９に戻る。

＜エンハンスメントレイヤ復号処理の流れ＞
次に、図２９のステップＳ２０３において実行されるエンハンスメントレイヤ復号処理の流れの例を、図３１のフローチャートを参照して説明する。

エンハンスメントレイヤ復号処理が開始されると、エンハンスメントレイヤ画像復号部２０３のアップサンプル部２５１は、ステップＳ２４１において、図３０のステップＳ２３１の処理によりベースレイヤ画像復号部２０２から供給されるベースレイヤ復号画像を取得し、その画像をエンハンスメントレイヤの解像度にアップサンプルする。

ステップＳ２４２において、フレームメモリ２３９は、ステップＳ２４１の処理によりアップサンプルされたベースレイヤ復号画像を記憶する。例えば、フレームメモリ２３９は、このベースレイヤ復号画像をロングターム参照フレームに格納する。

ステップＳ２４３乃至ステップＳ２５２の各処理は、図３０のステップＳ２２１乃至ステップＳ２３０の各処理に対応し、それらの処理と基本的に同様に実行される。ただし、ステップＳ２４７の予測画像の生成（予測処理）は、後述するように行われる。

ステップＳ２５２の処理が終了すると、エンハンスメントレイヤ復号処理が終了し、処理は、図２９に戻る。

＜予測処理の流れ＞
次に、図３２のフローチャートを参照して、図３１のステップＳ２４７において実行される予測処理の流れの例を説明する。

予測処理が開始されると、可逆復号部２３２は、ステップＳ２６１において、伝送された最適予測モード情報に基づいて、符号化側において採用されたカレントブロックの予測モードがイントラ予測モードであるか否かを判定する。イントラ予測と判定された場合、処理はステップＳ２６２に進む。

ステップＳ２６２において、イントラ予測部２４１は、供給されるイントラ予測モード情報に基づいて、符号化側において採用されたカレントブロックの予測モードがベースレイヤの画像を参照するモード（イントラBLモード）であり、かつ、カレントブロックのブロックサイズが32x32であるか否かを判定する。

符号化側において採用されたカレントブロックの予測モードがイントラBLモードであり、かつ、ブロックサイズが32x32であると判定された場合、処理はステップＳ２６３に進む。

ステップＳ２６３において、輪郭ノイズ検出部２５２は、第３の実施の形態において説明したように、カレントブロックに対応するベースレイヤ復号画像を用いて輪郭ノイズ領域の検出を行う。つまり、輪郭ノイズ検出部２５２は、カレントブロックが輪郭ノイズ対策を行うべき領域（輪郭ノイズ領域）であるか否かを判定する。

ステップＳ２６４において、輪郭ノイズ検出部２５２は、ステップＳ２６３の処理結果に従って、カレントブロックが輪郭ノイズ領域であるか否かを判定する。カレントブロックが輪郭ノイズ対策を行うべき輪郭ノイズ領域であると判定された場合、処理は、ステップＳ２６５に進む。

ステップＳ２６５において、予測画像生成部２５３（画素内挿部２８２）は、第３の実施の形態において説明したように、イントラBLモードとしてベースレイヤ参照画像の一部を用いた内挿処理により、バイリニアインターポレーション処理が施された予測画像を生成する。ステップＳ２６５の処理が終了すると、処理はステップＳ２７２に進む。

また、上述したようにステップＳ２６２において符号化側において採用されたカレントブロックのイントラ予測モードがイントラBLモードでは無いと判定されたか、若しくは、カレントブロックのブロックサイズが32x32でないと判定された場合、または、ステップＳ２６４においてカレントブロックが輪郭ノイズ領域でないと判定された場合、処理はステップＳ２６６に進む。

ステップＳ２６６において、イントラ予測部２４１は、符号化側において採用されたイントラ予測モード（最適イントラ予測モード）で、バイリニアインターポレーション処理が施されていない予測画像を生成する。ステップＳ２６６の処理が終了すると、処理はステップＳ２７２に進む。

また、ステップＳ２６１において、符号化側において採用されたカレントブロックの予測モードがインター予測モードであると判定された場合、処理はステップＳ２６７に進む。

ステップＳ２６７において、インター予測部２４２は、供給されるインター予測モード情報に基づいて、符号化側において採用されたカレントブロックの予測モードがベースレイヤの画像を参照するモード（リファレンスインデックスモード）であり、かつ、カレントブロックのブロックサイズが32x32であるか否かを判定する。

符号化側において採用されたカレントブロックの予測モードがリファレンスインデックスモードであり、かつ、ブロックサイズが32x32であると判定された場合、処理はステップＳ２６８に進む。

ステップＳ２６８において、輪郭ノイズ検出部２５２は、第３の実施の形態において説明したように、カレントブロックに対応するベースレイヤ復号画像を用いて輪郭ノイズ領域の検出を行う。つまり、輪郭ノイズ検出部２５２は、カレントブロックが輪郭ノイズ対策を行うべき領域（輪郭ノイズ領域）であるか否かを判定する。この処理は、ステップＳ２６３と同様に行われる。

ステップＳ２６９において、輪郭ノイズ検出部２５２は、ステップＳ２６８の処理結果に従って、カレントブロックが輪郭ノイズ領域であるか否かを判定する。カレントブロックが輪郭ノイズ対策を行うべき輪郭ノイズ領域であると判定された場合、処理は、ステップＳ２７０に進む。

ステップＳ２７０において、予測画像生成部２５３（画素内挿部２８２）は、第３の実施の形態において説明したように、リファレンスインデックスモードとしてベースレイヤ参照画像の一部を用いた内挿処理により、バイリニアインターポレーション処理が施された予測画像を生成する。ステップＳ２７０の処理が終了すると、処理はステップＳ２７２に進む。

また、上述したようにステップＳ２６７において符号化側において採用されたカレントブロックのインター予測モードがリファレンスインデックスモードでは無いと判定されたか、若しくは、カレントブロックのブロックサイズが32x32でないと判定された場合、または、ステップＳ２６９においてカレントブロックが輪郭ノイズ領域でないと判定された場合、処理はステップＳ２７１に進む。

ステップＳ２７１において、インター予測部２４２は、符号化側において採用されたインター予測モード（最適インター予測モード）で、バイリニアインターポレーション処理が施されていない予測画像を生成する。ステップＳ２７１の処理が終了すると、処理はステップＳ２７２に進む。

ステップＳ２７１において、以上のように予測画像を生成した、若しくは、予測画像生成部２５３から予測画像生成部２５３が生成した予測画像を供給されたイントラ予測部２４１若しくはインター予測部２４２は、その予測画像を、予測画像選択部２４３を介して演算部２３５に供給する。ステップＳ２７２の処理が終了すると、予測処理が終了し、処理は、図３１に戻る。

＜輪郭ノイズ領域検出処理の流れ＞
次に、図３２のステップＳ２６３およびステップＳ２６８において実行される輪郭ノイズ領域検出処理の流れの例を、図３３のフローチャートを参照して説明する。

輪郭ノイズ領域検出処理が開始されると、輪郭ノイズ検出部２５２の閾値設定部２７１は、ステップＳ２８１において、可逆復号部２３２から供給された（符号化側から伝送された）閾値θを設定する。

ステップＳ２８２において、画素分散値算出部２７２は、ベースレイヤのコロケーテッドブロック（カレントブロックに対応するベースレイヤ復号画像）を特定する。ステップＳ２８３において、画素分散値算出部２７２は、そのベースレイヤのコロケーテッドブロック（カレントブロックに対応するベースレイヤ復号画像）の画素値の分散Varを算出する。

ステップＳ２８４において、閾値判定部２７３は、ステップＳ２８３の処理により算出された分散Varを、ステップＳ２８１において設定された閾値θと比較する。

ステップＳ２８５において、閾値判定部２７３は、例えばステップＳ２８４の比較結果が式（１０）の条件を満たすか否かに応じて、予測画像の生成に関する制御を行う。つまり、例えば、ステップＳ２８４の比較結果が式（１０）の条件を満たす場合、閾値判定部２７３は、バイリニアインターポレーション処理が施された予測画像を生成するように制御する。また、例えば、ステップＳ２８４の比較結果が式（１０）の条件を満たさない場合、閾値判定部２７３は、バイリニアインターポレーション処理が施されていない予測画像を生成するように制御する。

ステップＳ２８５の処理が終了すると、輪郭ノイズ領域検出処理が終了し、処理は図３２に戻る。

以上のように各処理が実行されることにより、画像復号装置２００（エンハンスメントレイヤ画像復号部２０３）は、復号による画質の低減を抑制することができる（復号画像の画質を向上させることができる）。

なお、以上においては、第３の実施の形態において説明した輪郭ノイズ対策の実行判定および予測画像の生成の両方が行われる場合について説明したが、第３の実施の形態において説明したように、輪郭ノイズ対策の実行判定のみが第３の実施の形態において説明したように行われるようにすることもできるし、予測画像の生成のみが第３の実施の形態において説明したように行われるようにすることもできる。

輪郭ノイズ対策の実行判定のみが第３の実施の形態において説明したように行われるようにする場合、予測画像生成部２５３（図２７、図２８）を省略し、イントラ予測部２４１が、例えば非特許文献２に記載の方法で周辺画素に対してバイリニアインターポレーション処理を施して予測画像を生成するようにすればよい（例えば、図３２のステップＳ２６５）。その場合、その図３２のステップＳ２６５の処理は、ベースレイヤ復号画像を用いないイントラ予測モードとして行われる。

また、予測画像生成のみが第３の実施の形態において説明したように行われるようにする場合、輪郭ノイズ検出部２５２（図２７、図２８）を省略し、イントラ予測部２４１が、例えば非特許文献２に記載の方法で輪郭ノイズ検出処理を行うようにすればよい（例えば、図３２のステップＳ２６３）。

また、第３の実施の形態において説明したその他の例についても同様に、本実施の形態の画像復号装置２００に適用することができる。例えば、ブロックサイズを32x32に限定しない場合、図３２のステップＳ２６２やステップＳ２６７の処理においてブロックサイズが32x32であるか否かの判定が省略される。また、例えば、閾値θの伝送を省略するようにしてもよい。

本技術の適用範囲は、スケーラブルな符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。

また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。

＜５．第５の実施の形態＞
＜多視点画像符号化・多視点画像復号への適用＞
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図３４は、多視点画像符号化方式の一例を示す。

図３４に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの情報を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの情報を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューの符号化・復号は、ベースビューの情報を利用するようにしても良いし、他のノンベースビューの情報を利用するようにしてもよい。

つまり、多視点画像符号化・復号におけるビュー間の参照関係は、階層画像符号化・復号におけるレイヤ間の参照関係と同様である。したがって、図３４のような多視点画像の符号化・復号において、上述した方法を適用するようにしてもよい。つまり、複数レイヤよりなる画像データの符号化・復号において、カレントブロックに対応する他のレイヤの参照画像の一部を用いて予測画像を生成し、その予測画像を用いて、カレントレイヤの符号化・復号を行うようにしてもよい。このようにすることにより、多視点画像の場合も同様に、符号化や復号による画質の低減を抑制することができる。

＜多視点画像符号化装置＞
図３５は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図３５に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１としてベースレイヤ画像符号化部１０１（図１６）を適用し、符号化部６０２としてエンハンスメントレイヤ画像符号化部１０２（図１７）を適用してもよい。つまり、カレントブロックに対応する他のビューの参照画像の一部を用いて予測画像を生成し、その予測画像を用いて、カレントビューの符号化を行うようにしてもよい。例えば、カレントブロックに対応する参照画像として用いられるベースビュー（若しくは他のノンベースビュー）の画像の一部を用いて予測画像を生成し、その予測画像を用いて、エンハンスメントビューの符号化を行うようにしてもよい。

このようにすることにより、符号化による画質の低減を抑制することができる。

＜多視点画像復号装置＞
図３６は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３６に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２としてベースレイヤ画像復号部２０２（図２６）を適用し、復号部６１３としてエンハンスメントレイヤ画像復号部２０３（図２７）を適用してもよい。つまり、つまり、カレントブロックに対応する他のビューの参照画像の一部を用いて予測画像を生成し、その予測画像を用いて、カレントビューの復号を行うようにしてもよい。カレントブロックに対応する参照画像として用いられるベースビュー（若しくは他のノンベースビュー）の画像の一部を用いて予測画像を生成し、その予測画像を用いて、エンハンスメントビューの復号を行うようにしてもよい。

このようにすることにより、復号による画質の低減を抑制することができる。

＜６．第６の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図３７に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

上述した実施形態に係る画像符号化装置及び画像復号装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

＜７．第７の実施の形態＞
＜第１の応用例：テレビジョン受像機＞
図３８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置２００（図２５）の機能を有する。それにより、テレビジョン装置９００での画像の復号による画質の低減を抑制することができる。

＜第２の応用例：携帯電話機＞
図３９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１００（図１５）や画像復号装置２００（図２５）の機能を有する。それにより、携帯電話機９２０での画像の符号化または復号による画質の低減を抑制することができる。

＜第３の応用例：記録再生装置＞
図４０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース（I/F）部９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、およびユーザインタフェース（I/F）部９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。

外部インタフェース部９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。

エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像および音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１００（図１５）の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置２００（図２５）の機能を有する。それにより、記録再生装置９４０での画像の符号化または復号の負荷の増大を抑制することができる。

＜第４の応用例：撮像装置＞
図４１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD９６９、および制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図１５）や画像復号装置２００（図２５）の機能を有する。それにより、撮像装置９６０での画像の符号化または復号による画質の低減を抑制することができる。

＜８．第８の実施の形態＞
＜スケーラブル符号化の応用例：第１のシステム＞
次に、スケーラブル符号化（階層（画像）符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図４２に示される例のように、伝送するデータの選択のために利用される。

図４２に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。

その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。

なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

そして、図４２のようなデータ伝送システム１０００においても、図１乃至図３３を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

＜スケーラブル符号化の応用例：第２のシステム＞
また、スケーラブル符号化は、例えば、図４３に示される例のように、複数の通信媒体を介する伝送のために利用される。

図４３に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。

端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。

端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

そして、以上のような４３のようなデータ伝送システム１１００においても、図１乃至図３３を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

＜スケーラブル符号化の応用例：第３のシステム＞
また、スケーラブル符号化は、例えば、図４４に示される例のように、符号化データの記憶に利用される。

図４４に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。

スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。

このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。

以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。

そして、図４４のような撮像システム１２００においても、図１乃至図３３を参照して上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。

＜９．第９の実施の形態＞
＜実施のその他の例＞
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

＜ビデオセット＞
本技術をセットとして実施する場合の例について、図４５を参照して説明する。図４５は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図４５に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図４５に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図４５の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図４５のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図４５において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図４５に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

＜ビデオプロセッサの構成例＞
図４６は、本技術を適用したビデオプロセッサ１３３２（図４５）の概略的な構成の一例を示している。

図４６の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図４６に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図４５）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図４５）等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図４５）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図４５）等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４５）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１（図４５）により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４５）等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図４５）等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図４５）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図４５）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図４５）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１（図４５）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４５）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図４５）等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４５）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図４５）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１の実施の形態に係る画像符号化装置１００（図１５）や第２の実施の形態に係る画像復号装置２００（図２５）の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

＜ビデオプロセッサの他の構成例＞
図４７は、本技術を適用したビデオプロセッサ１３３２（図４５）の概略的な構成の他の例を示している。図４７の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。

より具体的には、図４７に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図４７に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図４５）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図４５）のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図４７に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図４５）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図４５）等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４５）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４５）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図４５）等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１（図４５）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図４５）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図４５）等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１の実施の形態に係る画像符号化装置１００（図１５）や第２の実施の形態に係る画像復号装置２００（図２５）を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

＜装置への適用例＞
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図３８）、携帯電話機９２０（図３９）、記録再生装置９４０（図４０）、撮像装置９６０（図４１）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

また、ビデオセット１３００は、例えば、図４２のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図４３のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図４４の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等にも組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図３８）、携帯電話機９２０（図３９）、記録再生装置９４０（図４０）、撮像装置９６０（図４１）、図４２のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図４３のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図４４の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図３３を参照して上述した効果と同様の効果を得ることができる。

また、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

なお、本技術は以下のような構成も取ることができる。
（１）複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する符号化部と
を備える画像符号化装置。
（２）前記予測画像生成部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって前記予測画像の各画素の画素値を算出することにより、前記予測画像を生成する
（１）、（３）乃至（９）のいずれかに記載の画像符号化装置。
（３）前記所定のサイズは、32x32である
（１）、（２）、（４）乃至（９）のいずれかに記載の画像符号化装置。
（４）前記参照画像を用いて、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する判定部をさらに備え、
前記予測画像生成部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、前記予測画像を生成する
（１）乃至（３）、（５）乃至（９）のいずれかに記載の画像符号化装置。
（５）前記判定部は、前記参照画像の一部または全部の画素の画素値の分散値を求め、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
（１）乃至（４）、（６）乃至（９）のいずれかに記載の画像符号化装置。
（６）前記閾値は、入力画像のビット深度に応じた値である
（１）乃至（５）、（７）乃至（９）のいずれかに記載の画像符号化装置。
（７）前記閾値を伝送する閾値伝送部をさらに備える
（１）乃至（６）、（８）、（９）のいずれかに記載の画像符号化装置。
（８）前記判定部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する
（１）乃至（７）、（９）のいずれかに記載の画像符号化装置。
（９）イントラ予測において、採用されたイントラ予測モードを示すイントラ予測モード情報を伝送するイントラ予測モード情報伝送部をさらに備え、
前記イントラ予測モード情報伝送部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記イントラ予測モード情報の伝送を省略する
（１）乃至（８）のいずれかに記載の画像符号化装置。
（１０）複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成し、
生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する
画像符号化方法。
（１１）複数レイヤよりなる画像データが符号化された符号化データの復号において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記符号化データのカレントレイヤを復号する復号部と
を備える画像復号装置。
（１２）前記予測画像生成部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって前記予測画像の各画素の画素値を算出することにより、前記予測画像を生成する
（１１）、（１３）乃至（１９）のいずれかに記載の画像復号装置。
（１３）前記所定のサイズは、32x32である
（１１）、（１２）、（１４）乃至（１９）のいずれかに記載の画像復号装置。
（１４）前記参照画像を用いて、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する判定部をさらに備え、
前記予測画像生成部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、前記予測画像を生成する
（１１）乃至（１３）、（１５）乃至（１９）のいずれかに記載の画像復号装置。
（１５）前記判定部は、前記参照画像の一部または全部の画素の画素値の分散値を求め、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
（１１）乃至（１４）、（１６）乃至（１９）のいずれかに記載の画像復号装置。
（１６）前記閾値は、入力画像のビット深度に応じた値である
（１１）乃至（１５）、（１７）乃至（１９）のいずれかに記載の画像復号装置。
（１７）伝送された前記閾値を受け取る閾値受け取り部をさらに備え、
前記判定部は、前記閾値受け取り部により受け取られた前記閾値を前記分散値と比較し、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
（１１）乃至（１６）、（１８）、（１９）のいずれかに記載の画像復号装置。
（１８）前記判定部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する
請求項１５に記載の画像復号装置。
（１９）イントラ予測の場合、採用されたイントラ予測モードを示すイントラ予測モード情報を受け取るイントラ予測モード情報受け取り部をさらに備え、
前記判定部は、前記イントラ予測の場合、前記イントラ予測モード情報受け取り部が前記イントラ予測モード情報を受け取らなかったときは、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
（１１）乃至（１８）のいずれかに記載の画像復号装置。
（２０）複数レイヤよりなる画像データが符号化された符号化データの復号において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成し、
生成された前記予測画像を用いて前記符号化データのカレントレイヤを復号する
画像復号方法。

１００画像符号化装置，１０１ベースレイヤ画像符号化部，１０２エンハンスメントレイヤ画像符号化部，１０３多重化部，１４２フレームメモリ，１４４イントラ予測部，１４５インター予測部，１５１アップサンプル部，１５２輪郭ノイズ検出部，１５３予測画像生成部，１７１閾値設定部，１７２画素分散値算出部，１７３閾値判定部，１８１ベースレイヤ参照画像バッファ，１８２画素内挿部，２００画像復号装置，２０１逆多重化部，２０２ベースレイヤ画像復号部，２０３エンハンスメントレイヤ画像復号部，２３９フレームメモリ，２４１イントラ予測部，２４２インター予測部，２５１アップサンプル部，２５２輪郭ノイズ検出部，２５３予測画像生成部，２７１閾値設定部，２７２画素分散値算出部，２７３閾値判定部，２８１ベースレイヤ参照画像バッファ，２８２画素内挿部

Claims

複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する符号化部と
を備える画像符号化装置。
前記予測画像生成部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって前記予測画像の各画素の画素値を算出することにより、前記予測画像を生成する
請求項１に記載の画像符号化装置。
前記所定のサイズは、32x32である
請求項２に記載の画像符号化装置。
前記参照画像を用いて、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する判定部をさらに備え、
前記予測画像生成部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、前記予測画像を生成する
請求項１に記載の画像符号化装置。
前記判定部は、前記参照画像の一部または全部の画素の画素値の分散値を求め、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
請求項４に記載の画像符号化装置。
前記閾値は、入力画像のビット深度に応じた値である
請求項５に記載の画像符号化装置。
前記閾値を伝送する閾値伝送部をさらに備える
請求項５に記載の画像符号化装置。
前記判定部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する
請求項５に記載の画像符号化装置。
イントラ予測において、採用されたイントラ予測モードを示すイントラ予測モード情報を伝送するイントラ予測モード情報伝送部をさらに備え、
前記イントラ予測モード情報伝送部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記イントラ予測モード情報の伝送を省略する
請求項４に記載の画像符号化装置。
複数レイヤよりなる画像データの符号化において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成し、
生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する
画像符号化方法。
複数レイヤよりなる画像データが符号化された符号化データの復号において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記符号化データのカレントレイヤを復号する復号部と
を備える画像復号装置。
前記予測画像生成部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって前記予測画像の各画素の画素値を算出することにより、前記予測画像を生成する
請求項１１に記載の画像復号装置。
前記所定のサイズは、32x32である
請求項１２に記載の画像復号装置。
前記参照画像を用いて、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する判定部をさらに備え、
前記予測画像生成部は、前記判定部により前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定された場合、前記参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、前記予測画像を生成する
請求項１１に記載の画像復号装置。
前記判定部は、前記参照画像の一部または全部の画素の画素値の分散値を求め、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
請求項１４に記載の画像復号装置。
前記閾値は、入力画像のビット深度に応じた値である
請求項１５に記載の画像復号装置。
伝送された前記閾値を受け取る閾値受け取り部をさらに備え、
前記判定部は、前記閾値受け取り部により受け取られた前記閾値を前記分散値と比較し、前記分散値が所定の閾値より小さい場合、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
請求項１５に記載の画像復号装置。
前記判定部は、前記カレントブロックのブロックサイズが所定のサイズの場合、前記カレントブロックが輪郭ノイズ対策をすべき領域であるかを判定する
請求項１５に記載の画像復号装置。
イントラ予測の場合、採用されたイントラ予測モードを示すイントラ予測モード情報を受け取るイントラ予測モード情報受け取り部をさらに備え、
前記判定部は、前記イントラ予測の場合、前記イントラ予測モード情報受け取り部が前記イントラ予測モード情報を受け取らなかったときは、前記カレントブロックが前記輪郭ノイズ対策をすべき領域であると判定する
請求項１４に記載の画像復号装置。
複数レイヤよりなる画像データが符号化された符号化データの復号において、カレントブロックに対応する他のレイヤの参照画像の４隅の画素からの距離に応じた線形内挿処理によって各画素の画素値を算出することにより、予測画像を生成し、
生成された前記予測画像を用いて前記符号化データのカレントレイヤを復号する
画像復号方法。