JP2012147127A

JP2012147127A - 画像処理装置および方法

Info

Publication number: JP2012147127A
Application number: JP2011002451A
Authority: JP
Inventors: Kazufumi Sato; 数史佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-01-07
Filing date: 2011-01-07
Publication date: 2012-08-02
Also published as: US9123130B2; WO2012093611A1; CN103283228B; US20130287309A1; CN103283228A

Abstract

【課題】階層構造を有するデータにおいて、データの利便性の低減を抑制しながら上位階層のデータの制御精度の低減を抑制することができるようにする。
【解決手段】スライス設定部３３１は、スライス境界の位置をCU単位で制御し、いずれかのCU境界をスライス境界とするように、ピクチャをどのようにスライス分割するかを示すスライス構造を設定する。スライス構造符号化部３３２は、スライス構造に基づいて算出されたスライス境界アドレスを含むスライスヘッダ情報を符号化し、符号化したスライスヘッダ情報を、スライスヘッダがスライスの先頭を含むLCUの前に付加されるように、符号化されたCUデータに付加させる。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図８

Description

本発明は、画像処理装置および方法に関し、特に、階層構造を有するデータにおいて、下位階層のデータの制御精度が低減する場合であっても、データの利便性の低減を抑制しながら上位階層のデータの制御精度の低減を抑制することができるようにした画像処理装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。

標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。

更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCT（Discrete Cosine Transform）や量子化マトリクスをも含んだFRExt（Fidelity Range Extension）の標準化が２００５年２月に完了し、これにより、AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の４倍の、４０００×２０００画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG（Video Coding Expert Group）において、符号化効率の改善に関する検討が継続され行なわれている。

ところで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。

このHEVC符号化方式においては、AVCにおけるマクロブロックと同様の処理単位としてコーディングユニット（CU（Coding Unit））が定義されている。このCUは、AVCのマクロブロックのようにサイズが16×16画素に固定されず、それぞれのシーケンスにおいて、画像圧縮情報中において指定される。

CUは、最大のLCU（Largest Coding Unit）から最小のSCU（Smallest Coding Unit）まで階層的に構成される。つまり、概ね、LCUがAVCのマクロブロックに相当し、そのLCUより下の階層のCU（LCUより小さなCU）がAVCのサブマクロブロックに相当すると考えることもできる。

ところで、例えばAVCにおいて、符号化処理の処理時間を低減させる（すなわち、処理速度を向上させ、処理時間を短縮させる）ために、符号化処理を互いに並行して実行される複数のパイプ処理に分割する方法（以下、並列化と称する）がある。例えば、１ピクチャの符号化処理を並列化するためには、１ピクチャを複数のスライスに分割する必要がある。AVCにおいては、このようなピクチャのスライス分割は、マクロブロック単位で行うことができた。つまり、１スライスは１つまたは複数のマクロブロックにより構成されるようになされていた。そのため、シンタクス上において、上位のプロファイルが下位のプロファイルを完全に包含する、所謂、オニオンリング構造が形成されていた。

これにより、コードストリームは、VCL（Video Codeing Layer） - NAL（Network Abstraction Layer）という階層構造を有するので、ランダムアクセスやエラー耐性の向上を実現することができる。

ところで、可逆符号化のみのためのスライスであるエントロピスライスを、可逆符号化以外の、イントラ予測や動きベクトルの符号化といった処理のためのスライス（所謂、AVC等におけるスライス）とは独立して設ける方法も提案された（例えば、非特許文献２参照）。

この場合、CABAC、CAVLCなどの可逆符号化の処理は、エントロピスライスを跨って行ってはならないが、可逆符号化以外の、イントラ予測や動きベクトルの符号化といった処理は、エントロピスライスに跨って行って良い。

,"Test Model under Consideration",JCTVC-B205,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG112nd Meeting:Geneva,CH,21-28 July, 2010 Jie Zhao,Andrew Segall," New Results using Entropy Slices for Parallel Decoding ",VCEG-AI32, ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6Video Coding Experts Group (VCEG)35th Meeting: Berlin, Germany, 16-18 July, 2008

しかしながら、上述したように１ピクチャの解像度が向上するにつれ、LCUのサイズも大きくする必要が生じている。そのため、シンタクスのオニオンリング構造を維持するように、スライス分割をマクロブロックの場合と同様にLCU単位で制御することができるようにすると、LCUのサイズが大きくなるにつれ、スライス分割の制御の精度が低減する恐れがあった。スライス分割の制御精度が低減することにより、符号化処理の並列化の精度が低減するので、より精度の高い並列化や更なる高速化を実現することができなくなる恐れがあった。

また、シンタクスのオニオンリング構造が崩れると、例えば符号化データのランダムアクセスの実現が困難になったり、エラー耐性が低減したりする等、符号化データの利便性が低減する恐れがあった。

なお、非特許文献２に記載のようなエントロピスライスの場合においても上述したのと同様の恐れがあった。

画像符号化に限らず、一般的に階層構造を有するデータ等において、上位階層のデータが下位階層のデータを包含する場合、下位階層のデータの制御精度が低減することにより、その上位階層のデータの制御精度が許容範囲を超えるほど低減する恐れがあった。また、この階層構造が崩れるとデータの利便性が著しく低減する恐れがあった。

本発明は、このような状況に鑑みてなされたものであり、階層構造を有するデータにおいて、下位階層のデータの制御精度が低減する場合であっても、データの利便性の低減を抑制しながら上位階層のデータの制御精度の低減を抑制することができるようにすることを目的とする。特に、画像符号化においてLCUのサイズを大きくした場合であっても、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができるようにすることを目的とする。

本発明の一側面は、階層構造を有するデータにおいて、上位階層単位のデータの境界の位置を、前記上位階層単位より小さい下位階層単位で設定する設定手段と、前記上位階層単位のデータに関する情報を、前記設定手段により設定された前記境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加する付加手段とを備える画像処理装置である。

前記上位階層単位は、スライスであり、前記中位階層単位は、LCU（Largest Coding Unit）であり、前記下位階層単位はCU（Coding Unit）であるようにすることができる。

前記上位階層単位のデータに関する情報は、前記スライスのヘッダ情報であるスライスヘッダであるようにすることができる。

前記設定手段により設定された前記境界の位置を示すスライス境界アドレスを算出する算出手段と、前記算出手段により算出された前記スライス境界アドレスを含む前記スライスヘッダを生成する生成手段とをさらに備え、前記付加手段は、前記生成手段により生成された前記スライスヘッダを前記境界を含む前記LCUの前に付加することができる。

前記付加手段は、前記設定手段により１つのLCUにスライスの境界が複数設定された場合、前記スライスの境界が先頭となるスライスのスライスヘッダを全て前記LCUの前に付加することができる。

前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるSCU（Smallest Coding Unit）単位のデータ処理順で示す情報であるようにすることができる。

前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるSCU（Smallest Coding Unit）単位の水平方向および垂直方向の座標で示す情報であるようにすることができる。

前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるCU単位のデータ処理順で示す情報であるようにすることができる。

前記データを符号化する符号化手段をさらに備え、前記付加手段は、前記上位階層単位のデータに関する情報を、前記設定手段により設定された前記境界を含む、前記符号化手段により符号化された前記中位階層単位のデータの前に付加することができる。

前記上位階層単位は、エントロピスライスであり、前記中位階層単位は、LCU（Largest Coding Unit）であり、前記下位階層単位はCU（Coding Unit）であるようにすることができる。

本発明の一側面は、また、画像処理装置の画像処理方法であって、設定手段が、階層構造を有するデータにおいて、上位階層単位のデータの境界の位置を、前記上位階層単位より小さい下位階層単位で設定し、付加手段が、前記上位階層単位のデータに関する情報を、設定された前記境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加する画像処理方法である。

本発明の他の側面は、階層構造を有するデータの上位階層単位のデータに関する情報が、前記上位階層単位より小さい下位階層単位で設定された前記上位階層単位のデータの境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加されている、前記データが符号化された符号化データから、前記上位階層単位のデータに関する情報を抽出する抽出手段と、前記抽出手段により抽出された前記上位階層単位のデータに基づいて前記上位階層単位のデータの境界の位置を決定する決定手段と、前記決定手段により決定された前記上位階層単位のデータの境界の位置に従って、前記符号化データを復号する復号手段とを備える画像処理装置である。

前記抽出手段により抽出された前記スライスヘッダに含まれる前記スライスの境界の位置を示すスライス境界アドレスの符号化データを復号するアドレス復号手段をさらに備え、前記決定手段は、前記アドレス復号手段により復号されて得られた前記スライス境界アドレスに基づいて、前記スライスの境界となるCUを決定することができる。

１つのLCUがスライスの境界を複数含み、前記LCUの前に複数のスライスヘッダが付加されている場合、前記抽出手段は、前記LCUの前に付加されている各スライスヘッダを抽出し、前記決定手段は、各スライスヘッダに基づいて、各スライスの境界の位置を決定することができる。

本発明の他の側面は、また、画像処理装置の画像処理方法であって、抽出手段が、階層構造を有するデータの上位階層単位のデータに関する情報が、前記上位階層単位より小さい下位階層単位で設定された前記上位階層単位のデータの境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加されている、前記データが符号化された符号化データから、前記上位階層単位のデータに関する情報を抽出し、決定手段が、抽出された前記上位階層単位のデータに基づいて前記上位階層単位のデータの境界の位置を決定し、復号手段が、決定された前記上位階層単位のデータの境界の位置に従って、前記符号化データを復号する画像処理方法である。

本発明の一側面においては、階層構造を有するデータにおいて、上位階層単位のデータの境界の位置が、上位階層単位より小さい下位階層単位で設定され、上位階層単位のデータに関する情報が、設定された境界を含む、上位階層単位より小さく、かつ、下位階層単位より大きな中位階層単位のデータの前に付加される。

本発明の他の側面においては、階層構造を有するデータの上位階層単位のデータに関する情報が、上位階層単位より小さい下位階層単位で設定された上位階層単位のデータの境界を含む、上位階層単位より小さく、かつ、下位階層単位より大きな中位階層単位のデータの前に付加されている、データが符号化された符号化データから、上位階層単位のデータに関する情報が抽出され、その抽出された上位階層単位のデータに基づいて上位階層単位のデータの境界の位置が決定され、その決定された上位階層単位のデータの境界の位置に従って、符号化データが復号される。

本発明によれば、画像を処理することができる。特に、階層構造を有するデータにおいて、下位階層のデータの制御精度が低減する場合であっても、データの利便性の低減を抑制しながら上位階層のデータの制御精度の低減を抑制することができる。例えば、画像符号化においてLCUのサイズを大きくした場合であっても、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

AVC符号化方式に基づく画像圧縮情報を出力する画像符号化装置を示すブロック図である。 AVC符号化方式に基づく画像圧縮情報を入力とする画像復号装置を示すブロック図である。 AVC符号化方式において定められているスライス分割の例を示す図である。 AVC符号化方式において定められているスライス種類の例を示す図である。コーディングユニットの構成例を説明する図である。スライス分割およびスライスヘッダの例を説明する図である。本実施の画像符号化装置の主な構成例を示すブロック図である。図７の可逆符号化部およびスライスヘッダ符号化部の主な構成例を示すブロック図である。スライス分割およびスライスヘッダの他の例を説明する図である。スライス境界アドレス指定方法の例を説明する図である。スライス境界アドレス指定方法の他の例を説明する図である。スライス境界アドレス指定方法の、さらに他の例を説明する図である。スライス分割およびスライスヘッダのさらに他の例を説明する図である。スライス分割が無い場合の例を説明する図である。符号化処理の流れの例を説明するフローチャートである。可逆符号化処理の流れの例を説明するフローチャートである。本実施の画像復号装置の主な構成例を示すブロック図である。可逆復号部およびスライスヘッダ復号部の主な構成例を示すブロック図である。復号処理の流れの例を説明するフローチャートである。可逆復号処理の流れの例を説明するフローチャートである。本実施のパーソナルコンピュータの主な構成例を示すブロック図である。本実施のテレビジョン受像機の主な構成例を示すブロック図である。本実施の携帯電話機の主な構成例を示すブロック図である。本実施のハードディスクレコーダの主な構成例を示すブロック図である。本発明を適用したカメラの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（パーソナルコンピュータ）
４．第４の実施の形態（テレビジョン受像機）
５．第５の実施の形態（携帯電話機）
６．第６の実施の形態（ハードディスクレコーダ）
７．第７の実施の形態（カメラ）

＜１．第１の実施の形態＞
［AVC符号化方式の画像符号化装置］
図１は、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式により画像を符号化する画像符号化装置の一実施の形態の構成を表している。

図１に示される画像符号化装置１００は、AVC規格に基づいた符号化方式で画像を符号化し、出力する装置である。図１に示されるように、画像符号化装置１００は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。

A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。

演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。

例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。

直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。

量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、量子化を行う。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。

可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。係数データは、レート制御部１１７の制御の下で量子化されているので、この符号量は、レート制御部１１７が設定した目標値となる（若しくは目標値に近似する）。

可逆符号化部１０６は、イントラ予測を示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部１１５から取得する。なお、イントラ予測（画面内予測）を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測（画面間予測）を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部１０６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。

例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。

逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。

演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１５から供給される予測画像を加算する。

その加算結果は、デブロックフィルタ１１１またはフレームメモリ１１２に供給される。

デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。デブロックフィルタ１１１は、そのフィルタ処理結果をフレームメモリ１１２に供給する。なお、演算部１１０から出力される復号画像は、デブロックフィルタ１１１を介さずにフレームメモリ１１２に供給することができる。すなわち、デブロックフィルタ１１１のデブロックフィルタ処理は省略することができる。

フレームメモリ１１２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１１３を介してイントラ予測部１１４または動き予測・補償部１１５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ１１２は、参照画像を、選択部１１３を介して動き予測・補償部１１５に供給する。

選択部１１３は、フレームメモリ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、フレームメモリ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部１１５に供給する。

イントラ予測部１１４は、選択部１１３を介してフレームメモリ１１２から供給される処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。

H.264画像情報符号化方式において、輝度信号に対しては、イントラ4×4予測モード、イントラ8×8予測モード及びイントラ16×16予測モードが定義されており、また、色差信号に関しては、それぞれのマクロブロックごとに、輝度信号とは独立した予測モードを定義することが可能である。イントラ4×4予測モードについては、それぞれの4×4輝度ブロックに対して、イントラ8×8予測モードについては、それぞれの8×8輝度ブロックに対して、１つのイントラ予測モードが定義されることになる。イントラ16×16予測モード、並びに、色差信号に対しては、１つのマクロブロックに対して、それぞれ１つの予測モードが定義されることになる。

イントラ予測部１１４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。

また、上述したように、イントラ予測部１１４は、採用されたイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。

動き予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１１５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。

動き予測・補償部１１５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。

また、動き予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。

選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。

レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

［AVC符号化方式の画像復号装置］
図２は、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像復号装置の主な構成例を示すブロック図である。図２に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。

画像符号化装置１００より符号化された符号化データは、例えば伝送路や記録媒体等、任意の経路を介して、この画像符号化装置１００に対応する画像復号装置２００に供給され、復号される。

図２に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。

蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。

また、当該フレームがイントラ符号化されたものである場合、符号化データのヘッダ部にはイントラ予測モード情報が格納されている。可逆復号部２０２は、このイントラ予測モード情報も復号し、その情報をイントラ予測部２１１に供給する。これに対して、当該フレームがインター符号化されたものである場合、符号化データのヘッダ部には動きベクトル情報が格納されている。可逆復号部２０２は、この動きベクトル情報も復号し、その情報を動き予測・補償部２１２に供給する。

逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。

逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式（図１の逆直交変換部１０９と同様の方式）で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。例えば、４次の逆直交変換が施される。

逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。

演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。

デブロックフィルタ２０６は、供給された復号画像のブロック歪を除去した後、画面並べ替えバッファ２０７に供給する。

画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

デブロックフィルタ２０６の出力は、さらに、フレームメモリ２０９に供給される。

フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３は、画像符号化装置１００のフレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、および選択部１１６にそれぞれ対応する。

選択部２１０は、インター処理される画像と参照される画像をフレームメモリ２０９から読み出し、動き予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をフレームメモリ２０９から読み出し、イントラ予測部２１１に供給する。

イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。

動き予測・補償部２１２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部２０２から取得する。

動き予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。

選択部２１３は、動き予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。

［AVCのスライス］
MPEG2やAVC等の画像符号化方式においては、１ピクチャを複数のスライスに分割し、各スライスを並行して処理することができる。

MPEG2の場合、図３Ａに示されるように、スライスの最大の大きさは１マクロブロックラインであり、また、Ｂピクチャを構成するスライスは全てＢスライスでなければならない。

これに対してAVCの場合、図３Ｂに示されるように、スライスは１マクロブロックラインより大きくてもよく、スライスの境界はマクロブロックラインの右端（画面右端）でなくてもよく、また、単一のピクチャが異なる種類のスライスにより構成されていても良い。

AVCの場合、例えば図４に示されるような種類のスライスが規定されている。

なお、AVCの場合、デブロックフィルタ処理はスライス境界を跨って実行することができる。ただし、イントラ予測、CABAC、CAVLC、および動きベクトルの予測等のような隣接情報を用いた処理は、スライス境界を跨って実行することが出来ない。

換言するに、各スライスの符号化処理は互いに独立して実行することができるので、１ピクチャを複数のスライスに分割し、各スライスを並列に符号化することが可能になる。つまり、このようなスライス分割により、符号化処理時間の低減（符号化処理の高速化）を実現することができる。

［コスト関数］
ところで、AVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

かかる選択方式の例として、http://iphome.hhi.de/suehring/tml/index.htm において公開されている、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウェアに実装されている方法を挙げることが出来る。

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数は、以下の式（１）のようになる。

Cost（Mode∈Ω）＝D＋λ＊R ・・・（１）

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モード（Mode）により、一度、仮エンコード処理を行なう必要があり、より高い演算量を要する。

Low Complexity Modeにおけるコスト関数は、以下の式（２）のようになる。

Cost（Mode∈Ω）＝D＋QP2Quant(QP)＊HeaderBit ・・・（２）

ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP) は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モード（Mode）に関して、予測処理を行う必要があるが、復号化画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

［コーディングユニット］
以下では、まず、HEVC符号化方式において定められている、コーディングユニット（Coding Unit）について説明する。

Coding Unit（CU）は、Coding Tree Block（CTB）とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

特に、最大の大きさを持つCUを、LCU（Largest Coding Unit）と呼び、また、最小の大きさを持つCUをSCU（Smallest Coding Unit）と称する。例えば画像圧縮情報に含まれるシーケンスパラメータセット（SPS）において、これらの領域のサイズが指定されることになるが、それぞれ、正方形で、２の冪乗で表される大きさに限定される。

図５に、HEVCで定義されているコーディングユニット（Coding Unit）の例を示す。図５の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVCにおいては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。

［符号化処理の並列化］
このようにコーディングユニット（CU）を単位として処理を行う場合、シンタクス上において、上位のプロファイルが下位のプロファイルを完全に包含する、所謂、オニオンリング構造が形成されるようにするために、LCU間にスライスヘッダが配置される必要がある。したがって、LCUをスライス分割の制御単位とすることが提案されていた。

しかしながら、上述したように１ピクチャの解像度が向上すると、LCUのサイズも大きくなり、スライス分割の制御の精度が低減する恐れがあった。つまり、より大きな単位でしかスライスの分割位置を定義することができなくなってくる恐れがあった。

例えば、各スライスのデータ量が略均等になるように、データ量に基づいてスライス分割を行う場合、スライス分割の単位が大きくなると、各スライスのデータ量の調整精度が低減するので、スライス間のデータ量の調整が困難になる恐れがあった。

そこで、本実施においては、スライス分割の制御単位をLCUよりも小さなCUとする。このようにすることにより、処理単位が小さくなるので、画像の解像度の増大等によるスライス分割の制御精度の低減を抑制することができる。

ただし、スライス境界がLCU内部に位置するようにLCU内部のCU間でスライス分割を行い、スライスヘッダがLCU内部に位置するようにすると、そのLCUはスライスに包含されないので、シンタクスのオニオンリング構造が崩れてしまう。

例えば図６Ａに示されるように、７個のCU（CU0乃至CU6）により構成されるLCU内部のCU3においてスライスが分割されるようにするとする。この場合、点線矢印に示されるようにCU0乃至CU2が「スライス１」に含まれ、実線矢印に示されるようにCU3乃至CU6が「スライス２」に含まれる。

したがって、図６Ｂに示されるように、スライス２のヘッダ（SliceHeader2）は、スライス１とスライス２の間、すなわち、CU2とCU3との間に設けられる。コードストリームをこのような構造とすると、VCLであるCUデータの間に、NALであるスライスヘッダが介在することになり、シンタクス上においてオニオンリング構造を構成することが不可能となる恐れがあった。

このようにシンタクスのオニオンリング構造が崩れると、そのオニオンリング構造を前提とした制御が困難になる恐れがある。例えばコードストリームのランダムアクセスの実現が困難になる恐れがある。また、コードストリームの伝送時等におけるパケット損失の補てんが困難になり、コードストリームのエラー耐性が低減する恐れがある。このようにコードストリームの利便性が低減する恐れがあった。

画像符号化に限らず、一般的に、データが、このように上位が下位を包含する階層構造を有する場合、下位階層のデータの制御精度が低減すると、その上位階層のデータの制御精度も低減してしまう。より上位の階層のデータ程、その影響は大きく、許容範囲を超えるほど制御精度が低減する恐れがあった。

そこで、本実施においては、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら、上位階層のデータの制御精度を向上させることにより、下位階層のデータの制御精度が低減する場合であっても、データの利便性の低減を抑制しながら上位階層のデータの制御精度の低減を抑制することができるようにする。特に、画像符号化において、シンタックス上でオニオンリング構造を維持しながら、スライス分割の制御精度をCU単位とすることにより、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができるようにする。

［エントロピスライス］
ところで、AVCにおいて並列化を行うには、上述した通り、１ピクチャを複数のスライスに分割する必要がある。しかしながら、スライス間での隣接情報を符号化処理に使うことが不可能であるため、符号化効率が低下する恐れがある。

そこで上述した非特許文献２においては、通常のスライスとは独立してエントロピスライスを設けることが提案されている。このエントロピスライスは符号化処理用のスライスである。つまり、CABAC、CAVLCなどの可逆符号化の処理は、エントロピスライスを跨って行ってはならないが、可逆符号化以外の、イントラ予測や動きベクトルの符号化といった処理は、エントロピスライスに跨って行うことができる。

このようなエントロピスライスを設け、符号化処理に利用することにより、１ピクチャを複数のスライスに分割する場合よりも、符号化効率の低減をより抑制することができる。

以下において説明する方法は、このようなエントロピスライスにも適用することができる。

［画像符号化装置］
図７は、本発明を適用した画像符号化装置の主な構成例を示すブロック図である。

図７に示される画像符号化装置３００は、図１の画像符号化装置１００と基本的に同様の装置であり、画像データを符号化する。図７に示されるように画像符号化装置３００は、A/D変換部３０１、画面並べ替えバッファ３０２、演算部３０３、直交変換部３０４、量子化部３０５、可逆符号化部３０６、および蓄積バッファ３０７を有する。また、画像符号化装置３００は、逆量子化部３０８、逆直交変換部３０９、演算部３１０、ループフィルタ３１１、フレームメモリ３１２、選択部３１３、イントラ予測部３１４、動き予測・補償部３１５、選択部３１６、およびレート制御部３１７を有する。

画像符号化装置３００は、さらに、スライスヘッダ符号化部３２１を有する。

A/D変換部３０１は、A/D変換部１０１の場合と同様に、入力された画像データをA/D変換する。A/D変換部３０１は、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ３０２に供給し、記憶させる。画面並べ替えバッファ３０２は、画面並べ替えバッファ１０２の場合と同様に、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ３０２は、フレームの順番を並び替えた画像を、演算部３０３に供給する。また、画面並べ替えバッファ３０２は、フレームの順番を並び替えた画像を、イントラ予測部３１４および動き予測・補償部３１５にも供給する。

演算部３０３は、演算部１０３の場合と同様に、画面並べ替えバッファ３０２から読み出された画像から、選択部３１６を介してイントラ予測部３１４若しくは動き予測・補償部３１５から供給される予測画像を減算する。演算部３０３は、その差分情報を直交変換部３０４に出力する。

例えば、イントラ符号化が行われる画像の場合、演算部３０３は、画面並べ替えバッファ３０２から読み出された画像から、イントラ予測部３１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部３０３は、画面並べ替えバッファ３０２から読み出された画像から、動き予測・補償部３１５から供給される予測画像を減算する。

直交変換部３０４は、直交変換部１０４の場合と同様に、演算部３０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部３０４は、その変換係数を量子化部３０５に供給する。

量子化部３０５は、量子化部１０５の場合と同様に、直交変換部３０４から供給される変換係数を量子化する。量子化部３０５は、レート制御部３１７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部３０５は、量子化された変換係数を可逆符号化部３０６に供給する。

可逆符号化部３０６は、可逆符号化部１０６の場合と同様に、量子化部３０５において量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。係数データは、レート制御部３１７の制御の下で量子化されているので、この符号量は、レート制御部３１７が設定した目標値となる（若しくは目標値に近似する）。

また、可逆符号化部３０６は、イントラ予測のモードを示す情報などをイントラ予測部３１４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部３１５から取得する。さらに、可逆符号化部３０６は、ループフィルタ３１１において使用されたフィルタ係数を取得する。

可逆符号化部３０６は、これらのフィルタ係数、イントラ予測やインター予測のモードを示す情報、並びに量子化パラメータなどの各種情報を、可逆符号化部１０６の場合と同様に符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部３０６は、符号化して得られた符号化データを蓄積バッファ３０７に供給して蓄積させる。

例えば、可逆符号化部３０６においては、可逆符号化部１０６の場合と同様に、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。もちろん、可逆符号化部３０６が、これらの方法以外の方法で符号化を行うようにしてもよい。

蓄積バッファ３０７は、蓄積バッファ１０７の場合と同様に、可逆符号化部３０６から供給された符号化データを、一時的に保持する。蓄積バッファ３０７は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。

また、量子化部３０５において量子化された変換係数は、逆量子化部３０８にも供給される。逆量子化部３０８は、その量子化された変換係数を、逆量子化部３０８の場合と同様に、量子化部３０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部３０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部３０８は、得られた変換係数を、逆直交変換部３０９に供給する。

逆直交変換部３０９は、逆量子化部３０８から供給された変換係数を、逆直交変換部１０９の場合と同様に、直交変換部３０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部３０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部３１０に供給される。

演算部３１０は、演算部１１０の場合と同様に、逆直交変換部３０９から供給された逆直交変換結果、すなわち、復元された差分情報に、選択部３１６を介してイントラ予測部３１４若しくは動き予測・補償部３１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部３１０は、その差分情報にイントラ予測部３１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部３１０は、その差分情報に動き予測・補償部３１５から供給される予測画像を加算する。

その加算結果（復号画像）は、ループフィルタ３１１またはフレームメモリ３１２に供給される。

ループフィルタ３１１は、デブロックフィルタ１１１や適応ループフィルタ等を含み、演算部３１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ３１１は、復号画像に対して、デブロックフィルタ１１１と同様のデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ３１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ３１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ３１１は、必要に応じて、フィルタ処理に用いたフィルタ係数を可逆符号化部３０６に供給し、それを符号化させるようにすることもできる。

ループフィルタ３１１は、フィルタ処理結果（フィルタ処理後の復号画像）をフレームメモリ３１２に供給する。なお、上述したように、演算部３１０から出力される復号画像は、ループフィルタ３１１を介さずにフレームメモリ３１２に供給することができる。つまり、ループフィルタ３１１によるフィルタ処理は省略することができる。

フレームメモリ３１２は、フレームメモリ１１２の場合と同様に、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部３１３を介してイントラ予測部３１４または動き予測・補償部３１５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ３１２は、参照画像を、選択部３１３を介してイントラ予測部３１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ３１２は、参照画像を、選択部３１３を介して動き予測・補償部３１５に供給する。

選択部３１３は、選択部１１３の場合と同様に、フレームメモリ３１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部３１４に供給する。また、選択部３１３は、選択部１１３の場合と同様に、フレームメモリ３１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部３１５に供給する。

イントラ予測部３１４は、選択部３１３を介してフレームメモリ３１２から供給される処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部３１４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。イントラ予測部３１４は、AVC符号化方式において規定されるモード以外の任意のモードでこのイントラ予測を行うこともできる。

イントラ予測部３１４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部３１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部３１６を介して演算部３０３や演算部３１０に供給する。

また、上述したように、イントラ予測部３１４は、採用されたイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部３０６に供給し、符号化させる。

動き予測・補償部３１５は、インター符号化が行われる画像について、画面並べ替えバッファ３０２から供給される入力画像と、選択部３１３を介してフレームメモリ３１２から供給される参照画像とを用いて、動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部３１５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。動き予測・補償部３１５は、AVC符号化方式において規定されるモード以外の任意のモードでこのインター予測を行うこともできる。

動き予測・補償部３１５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部３１５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、選択部３１６を介して演算部３０３や演算部３１０に供給する。

また、動き予測・補償部３１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部３０６に供給し、符号化させる。

選択部３１６は、選択部１１６の場合と同様に、イントラ符号化を行う画像の場合、イントラ予測部３１４の出力を演算部３０３や演算部３１０に供給し、インター符号化を行う画像の場合、動き予測・補償部３１５の出力を演算部３０３や演算部３１０に供給する。

レート制御部３１７は、蓄積バッファ３０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３０５の量子化動作のレートを制御する。

また、レート制御部３１７は、蓄積バッファ３０７に蓄積された符号化データの符号量（発生符号量）を可逆符号化部３０６に供給する。可逆符号化部３０６は、供給された発生符号量に基づいてスライス分割を行うことができる。

スライスヘッダ符号化部３２１は、可逆符号化部３０６において符号化される画像データ（差分情報）のスライスヘッダを生成する。スライスヘッダ符号化部３２１は、可逆符号化部３０６により指定されるスライス構造に従って、スライス境界位置（スライス境界アドレス）を特定し、そのスライス境界アドレスを含むスライスヘッダ情報を生成し、それを可逆符号化部３０６に返す。

可逆符号化部３０６は、ユーザの指示、仕様、若しくは、生成された符号量等に応じてスライス構造を設定したり、そのスライス構造に従って差分情報（ピクチャ）をスライス分割したり、スライスヘッダ符号化部３２１から供給されるスライスヘッダ情報を符号化したりする。

［可逆符号化部およびスライスヘッダ符号化部］
図８は、図７の可逆符号化部３０６およびスライスヘッダ符号化部３２１の主な構成例を示すブロック図である。

図８に示されるように、可逆符号化部３０６は、スライス設定部３３１、スライス構造符号化部３３２、およびCUデータ符号化部３３３を有する。

スライス設定部３３１は、例えば、図示せぬユーザインタフェースを介して入力されたユーザ指示、予め定められている設定（仕様）、若しくは、レート制御部３１７から供給される発生符号量等に基づいて、ピクチャをどのようにスライス分割するかを示すスライス構造を設定する。例えば、スライス設定部３３１は、ユーザ指示や仕様等に基づいて、所定CU数毎にスライス分割を行う。また、例えば、スライス設定部３３１は、発生符号量に基づいて、所定符号量毎にスライス分割を行う。もちろん、スライス設定部３３１が、上述した以外の情報に基づいてスライス分割を行うようにしてもよい。

スライス設定部３３１は、スライス境界（スライスの端）の位置を、CU単位で制御する。つまり、スライス設定部３３１は、いずれかのCU境界（CUの端）をスライス境界とする。すなわち、各スライスは、１つ若しくは複数のCUにより構成される。換言するに、各CUは、いずれか１つのスライスに属する。

詳細については後述するが、スライス設定部３３１が以上のようにスライス境界を設定するので、スライス境界がLCUの内部に位置する場合もある。

スライス設定部３３１は、このようにスライス境界を設定してスライス分割を行うと、そのスライス分割の様子を示す情報であるスライス構造を、スライスヘッダ符号化部３２１に供給する。

このスライス構造は、ピクチャをどのようにスライス分割するかを示す情報であればどのような情報であってもよい。例えば、シーケンス毎に設定される情報であってもよいし、ピクチャ毎に設定される情報であってもよいし、スライス毎に設定される情報であってもよいし、その他のデータ単位毎に設定される情報であってもよい。スライス構造の内容は、少なくとも、各スライス境界の位置を直接的若しくは間接的に示す情報が含まれていればよい。

なお、スライス設定部３３１は、このスライス構造をCUデータ符号化部３３３にも供給する。

スライス構造符号化部３３２は、スライスヘッダ符号化部３２１により生成された、スライスヘッダに含められる情報であるスライスヘッダ情報を符号化する。スライス構造符号化部３３２は、符号化したスライスヘッダ情報を蓄積バッファ３０７に供給し、蓄積させる。その際、スライス構造符号化部３３２は、スライスヘッダをスライスの先頭を含むLCUの前に付加させる。つまり、スライス構造符号化部３３２は、スライスヘッダがスライスの先頭を含むLCUの前に付加されるように、符号化したスライスヘッダ情報の供給を制御する。

CUデータ符号化部３３３は、量子化部３０５から供給される動き情報や直交変換係数（差分情報）等のVCL（Video Coding Layer）をCU毎に符号化する。この符号化の方法は任意である（例えばCABACやCAVLC等）。CUデータ符号化部３３３は、符号化した各CUの符号化データ（CUデータ）を蓄積バッファ３０７に供給する。

その際、CUデータ符号化部３３３は、スライス設定部３３１から供給されるスライス構造に従って、各CUの符号化をスライス毎に分けてそれぞれを並列化して実行する。したがって、CUデータ符号化部３３３は、各CUを１本のパイプライン処理として直列に符号化する場合よりも、符号化の処理時間を低減させる（符号化処理をより高速化する）ことができる。

なお、CUデータ符号化部３３３が使用するスライス構造は、どのように提供されるようにしてもよい。例えば、スライス構造符号化部３３２が、スライスヘッダ符号化部３２１から供給されるスライスヘッダ情報（例えば、スライスヘッダ情報に含まれるスライス境界アドレス）に基づいてスライス構造を生成し、それをCUデータ符号化部３３３に提供するようにしてもよい。また、例えば、スライス設定部３３１がスライスヘッダ符号化部３２１に供給したスライス構造が、スライスヘッダ情報とともに、スライスヘッダ符号化部３２１からスライス構造符号化部３３２に供給されるようにし、スライス構造符号化部３３２がそのスライス構造をCUデータ符号化部３３３に供給するようにしてもよい。

図８に示されるように、スライスヘッダ符号化部３２１は、スライス境界アドレス算出部３４１およびスライスヘッダ生成部３４２を有する。

スライス境界アドレス算出部３４１は、可逆符号化部３０６から供給されるスライス構造に基づいて、スライス境界の位置を特定し、そのスライス境界の位置を示すスライス境界アドレスを算出する。上述したようにスライス境界は、CU境界に設定される。スライス境界アドレス算出部３４１は、どのCUからスライスが変わるかを特定し、そのCUを表す情報をスライス境界アドレスとして算出する。

スライス境界アドレス算出部３４１は、算出したスライス境界アドレスをスライスヘッダ生成部３４２に供給する。

スライスヘッダ生成部３４２は、スライス境界アドレスを含むスライスに関する情報を用いてスライスヘッダ情報を生成する。スライスヘッダ生成部３４２は、そのスライスヘッダ情報をスライス構造符号化部３３２に供給する。

つまり、スライス境界アドレスは、スライスヘッダに含められ、復号側に提供される。

［スライス境界とスライスヘッダ］
次に、スライス境界とスライスヘッダについてより具体的に説明する。

上述したように、スライス境界の位置制御の単位がCUであるので、スライス境界がLCU内部に位置する場合もある。しかしながら、コードストリームにおいて、スライスヘッダは、必ずLCUの前に付加される。より具体的には、スライスヘッダは、そのスライスの先頭（スライス境界）を含むLCUの前に付加される。つまり、スライスヘッダの位置制御の単位はLCUである。

例えば、図９Ａに示されるように、CU0乃至CU6により構成され、CU0からCU6に向かう番号順に処理されるLCUにおいて、CU0乃至CU2がスライス１に属し、CU3乃至CU6が次のスライス２に属するとする。スライス２のヘッダ（SliceHeader2）は、図９Ｂに示されるように、スライス２の先頭（CU3）を含むLCUの先頭（CU0の前）に付加される。そして、そのスライス２のヘッダ（SliceHeader2）には、ヘッダとデータとを紐付けするために、スライス２の先頭の位置（CU3）を示す情報（スライス２の最初のCUのアドレス情報）が記述される。

このように、スライスの位置制御はCU単位で行われるので、LCUの内部においてスライスを区切ることも可能であるが、スライスヘッダをLCU間に付加することにより、シンタックス上においてはオニオンリング構造が維持されるようにする。したがって、コードストリームにおいて、VCL-NALという階層構造を保つことが可能となり、ランダムアクセスやエラー耐性を保証することが可能となる。

このように、画像符号化装置３００は、シンタックス上のオニオンリング構造を維持しながら、スライス分割を十分に高精度に行うことができる。つまり、画像符号化装置３００は、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

［スライス境界アドレス］
上述したように、スライス境界アドレスは、スライスの先頭となるCUを示す情報であるが、このCUの指定方法は任意である。

例えば、図１０に示される点線のように、LCUをSCU単位で分割し、このSCU単位でスライス２の先頭となるCUを特定するようにしてもよい。図１０の例の場合、LCUは、１６個のSCU（SCU0乃至SCU15）に分割することができる。各SCUは、SCU0からSCU15に向かって番号順に処理される。LCU内の各CUは、このSCUを単位として特定することができる。つまり、このSCUの番号をスライス２の先頭アドレス（スライス境界アドレス）とすることができる。

例えば、図９のようにスライス２の先頭をCU3とすると、このCU3は、図１０に示されるようにSCU9（１０番目に処理されるSCU）に対応する。したがって、スライス２の先頭アドレス（スライス境界アドレス）＝９となる。

また、図１１に示されるように、SCU9の位置を２次元の情報により示すようにしてもよい。図１１の例の場合、LCUは、水平方向４個×垂直方向４個のSCUに分割される。つまり、CUの位置は、水平方向に０乃至３、垂直方向に０乃至３で指定することができる。図１１の例の場合、スライス２の先頭となるCU3の位置は、水平方向に左から２番目（座標１）、かつ、垂直方向に上から３番目（座標２）のSCUに対応する。したがって、スライス２の先頭アドレス（スライス境界アドレス）＝（１，２）となる。

さらに、図１２に示されるように、スライス２の先頭となるCU（CU3）を、CU単位で指定するようにしてもよい。つまり、この場合、スライス２の先頭アドレス（スライス境界アドレス）＝３となる。

図１０を参照して説明した、スライス境界アドレスをSCU単位の処理順で示す方法（第１の方法）の場合、分解能が高いので、スライス境界アドレスの情報量が大きくなる可能性がある。例えば、スライス２の先頭がCU0である場合、スライス境界アドレス＝０となり情報量は小さいが、スライス２の先頭がCU15である場合、スライス境界アドレス＝１５となり、情報量が大きくなる。LCUに含まれるSCUの数が多くなるほど、スライス境界アドレスの情報量の最大値は増大する。

図１１を参照して説明した、スライス境界アドレスをSCU単位の２次元位置情報により示す方法（第２の方法）の場合、スライス境界アドレスの情報量のばらつきが、スライス境界アドレスをSCU単位の処理順で示す方法よりも小さくなるが、水平方向と垂直方向の２つのアドレスが必要になる。

したがって、例えば、スライス２の先頭がSCU0の場合、スライス境界アドレス＝（０，０）となり、第１の方法の場合よりも情報量が大きくなる。また、例えば、スライス２の先頭がCU15である場合、スライス境界アドレス＝（３，３）となり、第１の方法の場合よりも情報量が小さくなる。

スライス境界アドレスの情報量が少ないほど、スライスヘッダ情報の符号量が低減し、符号化効率が向上するので好ましい。第１の方法と第２の方法とのどちらが好ましいかは、画像の内容に依存する。ただし、一般的には、第２の方法の方が、スライス境界アドレスの情報量が安定するので、発生符号量も安定し、レート制御が容易になる可能性が高い。

図１２を参照して説明した、スライス境界アドレスをCU単位の処理順で示す方法（第３の方法）の場合、スライス境界アドレスの最大値＝６であるので、基本的に、第１の方法よりも、スライス境界アドレスの情報量を小さくすることができる。したがって、実際には画像の内容やCUの構造に依存するものの、第１の方法や第２の方法よりも、符号化効率を向上させることができる可能性が高い。

ただし、第３の方法の場合、復号の際に、CUの構造を把握する必要がある。つまり、デコーダは、スライス境界アドレスがどのCUを示しているかを正確に把握するために、split_flagを全て復号し、LCU内部のCUの構造を全て把握する必要がある。

これに対して、第１の方法や第２の方法の場合、スライス境界アドレスがSCU単位で指定されるので、デコーダは、スライスヘッダのスライス境界アドレスのみから、そのスライス境界の位置が容易に把握することができる。

第３の方法の場合、split-flagを逐次復号処理する必要があるので、その分、処理量が増大する可能性がある。

なお、スライスの先頭となるCUの指定方法は任意であり、上述した第１の方法乃至第３の方法以外であってもよい。

例えば、第３の方法において、LCUヘッダに、当該LCUがどのように分割されているかに関する情報を付加するようにしても良い。このようにすることにより、split-flagを逐次復号処理する必要はなくなるが、その分、符号量が増大する可能性がある。

また、例えば、スライス設定部３３１が予め用意された複数の方法の中から１つを、スライス境界毎に、例えば画像の内容等に応じて適応的に選択するようにしてもよい。その場合、どのような方法を用いたかを直接的若しくは間接的に示す情報をスライスヘッダに含め、デコーダ側に提供するようにしてもよい。

［LCU］
なお、以上においては、LCU内部においてスライス境界が発生する場合について説明したが、１つのLCU内部に、複数のスライス境界が存在してもよい。

例えば、図１３Ａに示されるように、CU0乃至CU2がスライス１に属し、CU3およびCU4がスライス２に属し、CU5およびCU6がスライス３に属するとする。つまり、１つのLCU内部に、CU3とCU5の２つのスライス境界が存在する。

このような場合、例えば、図１３Ｂに示されるように、スライス２のヘッダ（SH2）とスライス３のヘッダ（SH3）との両方が、当該LCUの前に付加されるようにしてもよい。各スライスヘッダには、そのスライスの先頭となるCUのアドレス情報（スライス境界アドレス）が含まれる。

以上のように、１つのLCUに複数のスライスヘッダを付加することもできる。

なお、例えば、図１４Ａに示されるように、LCU内部にスライス境界アドレスが存在しない場合、すなわち、CU0乃至CU6の全てがスライス１に属するような場合、図１４Ｂに示されるように、そのLCUのコードストリームにはスライスヘッダは含められない。

つまり、スライスヘッダは、当該スライスヘッダの先頭となるCUが属するLCUの前に付加される。

［符号化処理の流れ］
次に、以上のような画像符号化装置３００により実行される各処理の流れについて説明する。最初に、図１５のフローチャートを参照して、符号化処理の流れの例を説明する。

ステップＳ３０１において、A/D変換部３０１は入力された画像をA/D変換する。ステップＳ３０２において、画面並べ替えバッファ３０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ３０３において、イントラ予測部３１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ３０４において、動き予測・補償部３１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。

ステップＳ３０５において、選択部３１６は、イントラ予測部３１４および動き予測・補償部３１５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、選択部３１６は、イントラ予測部３１４により生成された予測画像と、動き予測・補償部３１５により生成された予測画像のいずれか一方を選択する。

また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部３１４および動き予測・補償部３１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部３１４は、最適イントラ予測モード等を示すイントラ予測モード情報を、可逆符号化部３０６に供給する。最適インター予測モードの予測画像が選択された場合、動き予測・補償部３１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部３０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。

ステップＳ３０６において、演算部３０３は、ステップＳ３０２の処理により並び替えられた画像と、ステップＳ３０５の処理により選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部３１５から、イントラ予測する場合はイントラ予測部３１４から、選択部３１６を介して演算部３０３に供給される。

差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ３０７において、直交変換部３０４は、ステップＳ３０６の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ３０８において、量子化部３０５は、ステップＳ３０７の処理により得られた直交変換係数を量子化する。

ステップＳ３０８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ３０９において、逆量子化部３０８は、ステップＳ３０８の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部３０５の特性に対応する特性で逆量子化する。ステップＳ３１０において、逆直交変換部３０９は、ステップＳ３０７の処理により得られた直交変換係数を、直交変換部３０４の特性に対応する特性で逆直交変換する。

ステップＳ３１１において、演算部３１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部３０３への入力に対応する画像）を生成する。ステップＳ３１２においてループフィルタ３１１は、ステップＳ３１１の処理により得られた局部的な復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。

ステップＳ３１３において、フレームメモリ３１２は、ステップＳ３１２の処理によりループフィルタ処理が施された復号画像を記憶する。なお、フレームメモリ３１２にはループフィルタ３１１によりフィルタ処理されていない画像も演算部３１０から供給され、記憶される。

ステップＳ３１４において、可逆符号化部３０６は、ステップＳ３０８の処理により量子化された変換係数を符号化する。すなわち、差分画像に対して、可変長符号化や算術符号化等の可逆符号化が行われる。

なお、可逆符号化部３０６は、ステップＳ３０８において算出された量子化パラメータを符号化し、符号化データに付加する。また、可逆符号化部３０６は、ステップＳ３０５の処理により選択された予測画像のモードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部３０６は、イントラ予測部３１４から供給される最適イントラ予測モード情報、または、動き予測・補償部３１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

さらに、可逆符号化部３０６は、スライス構造を設定したり、スライス境界アドレスを含むスライスヘッダ情報をスライスヘッダ符号化部３２１に生成させたり、スライスヘッダ情報を符号化し、符号化データ（CUデータ）に付加したりする。

ステップＳ３１５において蓄積バッファ３０７は、可逆符号化部３０６から出力される符号化データを蓄積する。蓄積バッファ３０７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ３１６においてレート制御部３１７は、ステップＳ３１５の処理により蓄積バッファ３０７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部３０５の量子化動作のレートを制御する。また、レート制御部３１７は、発生符号量を可逆符号化部３０６に供給する。

ステップＳ３１６の処理が終了すると、符号化処理が終了される。

［可逆符号化処理の流れ］
次に、図１６のフローチャートを参照して、図１５のステップＳ３１４において実行される可逆符号化処理の流れの例を説明する。

可逆符号化処理が開始されると、ステップＳ３３１において、スライス設定部３３１は、ユーザ指示、仕様、若しくは発生符号量等に応じてスライス構造を設定する。その際、スライス設定部３３１は、各スライス境界の位置をCU単位で設定する。

各スライスが決定されることにより、それらのスライスヘッダを挿入するLCU境界も決定される。つまり、スライス設定部３３１は、各スライスヘッダの位置をLCU単位で設定する。

ステップＳ３３２において、スライス境界アドレス算出部３４１は、ステップＳ３３１において設定されたスライス構造に基づいて、各スライス境界アドレスを算出する。

ステップＳ３３３において、スライスヘッダ生成部３４２は、ステップＳ３３２において算出されたスライス境界アドレスを含むスライスに関する情報を用いて各スライスのスライスヘッダ情報を生成する。

ステップＳ３３４において、スライス構造符号化部３３２は、スライスヘッダ情報を符号化する。

ステップＳ３３５において、CUデータ符号化部３３３は、ステップＳ３３１において設定されたスライス構造に基づいて、CUデータを符号化する。CUデータ符号化部３３３は、符号化されたCUデータを蓄積バッファ３０７に供給し、記憶させる。スライス構造符号化部３３２は、ステップＳ３３４において符号化したスライスヘッダ情報を蓄積バッファ３０７に供給し、ステップＳ３３１において決定された位置（LCU境界）に付加させる。

ステップＳ３３５の処理を終了すると、CUデータ符号化部３３３は、可逆符号化処理を終了し、処理を図１５のステップＳ３１４に戻し、ステップＳ３１５以降の処理を実行させる。

以上のように、各処理を実行することにより、画像符号化装置３００は、画像符号化においてLCUのサイズを大きくした場合であっても、シンタックス上でオニオンリング構造を維持しながら、スライス分割の制御精度をCU単位とすることができ、これにより、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

なお、以上においては、スライス境界の位置の制御について説明したが、これに限らず、例えば、非特許文献２に開示されているエントロピスライスの設定に上述した方法を適用するようにしてもよい。

つまり、画像符号化装置３００が、エントロピスライスの設定の（エントロピスライスでピクチャを分割する）際に、上述したように、エントロピスライス境界の位置制御をCU単位で行い、そのエントロピスライスのヘッダを、そのLCUの前に付加するようにしてもよい。

このようにすることにより、画像符号化装置３００は、上述した場合と同様に、シンタックス上でオニオンリング構造を維持しながら、エントロピスライス分割の制御精度をCU単位とすることができ、これにより、符号化データの利便性の低減を抑制しながら、エントロピスライス分割の制御精度の低減を抑制することができる。

もちろん、上述した画像符号化以外のデータ構造にも適用することができる。例えば、一般的な階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら上位階層のデータの制御精度を向上させるようにしてもよい。つまり、階層構造を有するデータにおいて、上位階層単位のデータの境界の位置を、上位階層単位より小さい下位階層単位で設定し、上位階層単位のデータに関する情報を、上位階層単位のデータの境界を含む、上位階層単位より小さく、かつ、下位階層単位より大きな中位階層単位のデータの前に付加するようにしてもよい。このようにすることにより、上位階層より下位の中位階層のデータの制御精度が低減する場合であっても、データの利便性の低減を抑制しながら上位階層のデータの制御精度の低減を抑制することができる。

＜２．第２の実施の形態＞
［画像復号装置］
図１７は、本実施の画像復号装置の主な構成例を示すブロック図である。図１７に示される画像復号装置４００は、図２の画像復号装置２００と基本的に同様の装置であり、画像データが符号化された符号化データを復号する。

図１７に示される画像復号装置４００は、図７の画像符号化装置３００に対応する復号装置である。画像符号化装置３００より符号化された符号化データは、例えば伝送路や記録媒体等、任意の経路を介して、この画像復号装置４００に供給され、復号される。

図１７に示されるように、画像復号装置４００は、蓄積バッファ４０１、可逆復号部４０２、逆量子化部４０３、逆直交変換部４０４、演算部４０５、ループフィルタ４０６、画面並べ替えバッファ４０７、およびD/A変換部４０８を有する。また、画像復号装置４００は、フレームメモリ４０９、選択部４１０、イントラ予測部４１１、動き予測・補償部４１２、および選択部４１３を有する。

画像復号装置４００は、さらに、スライスヘッダ復号部４２１を有する。

蓄積バッファ４０１は、蓄積バッファ２０１の場合と同様に、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置３００により符号化されたものである。可逆復号部４０２は、可逆復号部２０２の場合と同様に、蓄積バッファ４０１から符号化データを所定のタイミングで読み出し、図７の可逆符号化部３０６の符号化方式に対応する方式で復号する。

また、当該フレームがイントラ符号化されたものである場合、符号化データのヘッダ部にはイントラ予測モード情報が格納されている。可逆復号部４０２は、可逆復号部２０２の場合と同様に、このイントラ予測モード情報も復号し、その情報をイントラ予測部４１１に供給する。これに対して、当該フレームがインター符号化されたものである場合、符号化データのヘッダ部には動きベクトル情報やインター予測モード情報が格納されている。可逆復号部４０２は、可逆復号部２０２の場合と同様に、この動きベクトル情報やインター予測モード情報も復号し、その情報を動き予測・補償部４１２に供給する。

逆量子化部４０３は、逆量子化部２０３の場合と同様に、可逆復号部４０２により復号されて得られた係数データ（量子化係数）を、図７の量子化部３０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部４０３は、図７の逆量子化部３０８と同様の方法で量子化係数の逆量子化を行う。

逆量子化部４０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部４０４に供給する。逆直交変換部４０４は、逆直交変換部２０４の場合と同様に、図７の直交変換部３０４の直交変換方式に対応する方式（図７の逆直交変換部３０９と同様の方式）で、その直交変換係数を逆直交変換する。逆直交変換部４０４は、この逆直交変換処理により、画像符号化装置３００において直交変換される前の残差データに対応する復号残差データを得る。例えば、４次の逆直交変換が施される。

逆直交変換されて得られた復号残差データは、演算部４０５に供給される。また、演算部４０５には、選択部４１３を介して、イントラ予測部４１１若しくは動き予測・補償部４１２から予測画像が供給される。

演算部４０５は、演算部２０５の場合と同様に、その復号残差データと予測画像とを加算し、画像符号化装置３００の演算部３０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部４０５は、その復号画像データをループフィルタ４０６に供給する。

ループフィルタ４０６は、供給された復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施し、それを画面並べ替えバッファ４０７に供給する。

ループフィルタ４０６は、デブロックフィルタ２０６や適応ループフィルタ等を含み、演算部４０５から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ４０６は、復号画像に対して、デブロックフィルタ２０６と同様のデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ４０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ４０６が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ４０６が、図７の画像符号化装置３００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。

ループフィルタ４０６は、フィルタ処理結果（フィルタ処理後の復号画像）を画面並べ替えバッファ４０７およびフレームメモリ４０９に供給する。なお、演算部４０５から出力される復号画像は、ループフィルタ４０６を介さずに画面並べ替えバッファ４０７やフレームメモリ４０９に供給することができる。つまり、ループフィルタ４０６によるフィルタ処理は省略することができる。

画面並べ替えバッファ４０７は、画面並べ替えバッファ２０７の場合と同様に、画像の並べ替えを行う。すなわち、図７の画面並べ替えバッファ３０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部４０８は、D/A変換部２０８の場合と同様に、画面並べ替えバッファ４０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

フレームメモリ４０９は、フレームメモリ２０９の場合と同様に、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部４１０を介してイントラ予測部４１１または動き予測・補償部４１２に出力する。

例えば、イントラ符号化された画像の場合、フレームメモリ４０９は、参照画像を、選択部４１０を介してイントラ予測部４１１に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ４０９は、参照画像を、選択部４１０を介して動き予測・補償部４１２に供給する。

選択部４１０は、選択部２１０の場合と同様に、イントラ符号化された画像を復号する場合、フレームメモリ４０９から供給される参照画像をイントラ予測部４１１に供給する。また、選択部４１０は、選択部２１０の場合と同様に、インター符号化された画像を復号する場合、フレームメモリ４０９から供給される参照画像を動き予測・補償部４１２に供給する。

イントラ予測部４１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部４０２から適宜供給される。イントラ予測部４１１は、イントラ予測部２１１の場合と同様に、イントラ予測部３１４において用いられたイントラ予測モードで、フレームメモリ４０９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。つまり、イントラ予測部４１１は、イントラ予測部３１４と同様に、AVC符号化方式において規定されるモード以外の任意のモードでこのイントラ予測を行うこともできる。

イントラ予測部４１１は、生成した予測画像を選択部４１３に供給する。

動き予測・補償部４１２は、動き予測・補償部２１２の場合と同様に、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部４０２から取得する。

動き予測・補償部４１２は、動き予測・補償部２１２の場合と同様に、動き予測・補償部３１５において用いられたインター予測モードで、フレームメモリ４０９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。つまり、動き予測・補償部４１２は、動き予測・補償部３１５と同様に、AVC符号化方式において規定されるモード以外の任意のモードでこのイントラ予測を行うこともできる。

動き予測・補償部４１２は、動き予測・補償部２１２の場合と同様に、生成した予測画像を選択部４１３に供給する。

選択部４１３は、選択部２１３の場合と同様に、動き予測・補償部４１２またはイントラ予測部４１１により生成された予測画像を選択し、演算部４０５に供給する。

［可逆復号部およびスライスヘッダ復号部］
図１８は、図１７の可逆復号部４０２およびスライスヘッダ復号部４２１の主な構成例を示すブロック図である。

図１８に示されるように、可逆復号部４０２は、NALデータバッファ４３１、スライスヘッダバッファ４３２、スライス構造決定部４３３、およびCUデータ復号部４３４を有する。

NALデータバッファ４３１は、蓄積バッファ４０１から供給される、コードストリームから抽出されたシーケンスパラメータセット（SPS）やピクチャパラメータセット（PPS）等の、スライスヘッダ情報以外のNALデータを取得し、記憶する。NALデータバッファ４３１は、記憶しているNALデータを復号し、所定のタイミングにおいて、その復号結果をNAL情報としてCUデータ復号部４３４に供給する。

スライスヘッダバッファ４３２は、蓄積バッファ４０１から供給される、コードストリームから抽出されたスライスヘッダ情報を取得し、記憶する。スライスヘッダバッファ４３２は、記憶しているスライスヘッダ情報を復号する。スライスヘッダバッファ４３２は、そのスライスヘッダ情報に含まれるスライス境界アドレス情報を抽出し、それを所定のタイミングにおいて、スライスヘッダ復号部４２１に供給する。

また、スライスヘッダバッファ４３２は、スライス構造決定部４３３から供給されるスライス構造を取得すると、それを所定のタイミングにおいてCUデータ復号部４３４に供給する。さらに、スライスヘッダバッファ４３２は、必要に応じて、ダイレクトモード等の情報をスライスデータとしてCUデータ復号部４３４に供給する。

スライス構造決定部４３３は、スライスヘッダ復号部４２１から供給されたスライス境界アドレスを取得すると、そのスライス境界アドレスから画像符号化装置３００において設定されたスライス構造を再構築する。スライス構造決定部４３３は、そのスライス構造をスライスヘッダバッファ４３２に供給する。

CUデータ復号部４３４は、NALデータバッファ４３１から供給されるNAL情報や、スライスヘッダバッファ４３２から供給されるスライス構造に基づいて、蓄積バッファ４０１から供給されるCUデータ（符号化データ）を復号する。CUデータ復号部４３４は、各CUデータの復号を、スライス毎にパイプライン化し、それぞれを互いに並行して実行する。すなわち、CUデータ復号部４３４は、スライス構造に従ってCUデータの復号処理を並列化して行う。したがって、CUデータ復号部４３４は、全てのCUデータを順次復号する（直列に復号する）場合よりも処理時間を低減させることができる（より高速に復号処理を行うことができる）。

なお、CUデータ復号部４３４は、スライスヘッダバッファ４３２からスライスデータとしてダイレクトモード等の情報が供給される場合、その情報を用いて復号処理を行う。

CUデータ復号部４３４は、復号して得られた直交変換係数や動き情報等の情報を、逆量子化部４０３、動き予測・補償部４１２、およびイントラ予測部４１１等に供給する。

図１８において、スライスヘッダ復号部４２１は、スライス境界アドレスバッファ４４１およびスライス境界復号部４４２を有する。スライス境界アドレスバッファ４４１は、可逆復号部４０２から供給されるスライス境界アドレス情報を取得し、記憶する。スライス境界アドレスバッファ４４１は、記憶しているスライス境界アドレス情報をスライス境界復号部４４２に供給する。

スライス境界復号部４４２は、スライス境界アドレスバッファ４４１から供給されるスライス境界アドレス情報（符号化データ）を取得すると、それを復号する。スライス境界復号部４４２は、復号して得られたスライス境界アドレスを可逆復号部４０２に供給する。

以上のように、可逆復号部４０２は、符号化側の装置から供給されたスライスヘッダ情報からスライス境界アドレス情報を抽出し、スライスヘッダ復号部４２１にそれを復号させる。可逆復号部４０２は、スライスヘッダ復号部４２１により復号されて得られたスライス境界アドレスを用いてCUデータを復号する。

このように、画像復号装置４００は、スライスヘッダに含まれるスライス境界アドレスを用いて画像符号化装置３００が設定したスライス構造を正しく再構築することができる。したがって、画像復号装置４００は、画像符号化装置３００が画像データを符号化して生成した符号化データを、そのスライス構造に従って適切に復号し、復号画像を得ることができる。つまり、画像復号装置４００は、シンタックス上でオニオンリング構造を維持しながら、スライス分割の制御精度をCU単位とすることにより、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制する方法を実現することができる。

［復号処理の流れ］
次に、以上のような画像復号装置４００により実行される各処理の流れについて説明する。最初に、図１９のフローチャートを参照して、復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ４０１において、蓄積バッファ４０１は、伝送されてきた符号化データを蓄積する。ステップＳ４０２において、可逆復号部４０２は、蓄積バッファ４０１から供給される符号化データ（画像符号化装置３００により画像データが符号化されて得られた符号化データ）を復号する。

ステップＳ４０３において、逆量子化部４０３は、可逆復号部４０２により復号されて得られた、量子化された直交変換係数を、図７の量子化部３０５による量子化処理に対応する方法で逆量子化する。ステップＳ４０４において逆直交変換部４０４は逆量子化部４０３により逆量子化されて得られた直交変換係数を、図７の直交変換部３０４による直交変換処理に対応する方法で逆直交変換する。これにより図７の直交変換部３０４の入力（演算部３０３の出力）に対応する差分情報が復号されたことになる。

ステップＳ４０５において、演算部４０５は、ステップＳ４０４の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。

ステップＳ４０６において、ループフィルタ４０６は、ステップＳ４０５の処理により得られた復号画像を適宜フィルタリングする。

ステップＳ４０７において、フレームメモリ４０９は、フィルタリングされた復号画像を記憶する。

ステップＳ４０８において、イントラ予測部４１１および動き予測・補償部４１２は、予測処理を行い、予測画像を生成する。

ステップＳ４０９において、選択部４１３は、ステップＳ４０８の処理により生成された予測画像を選択する。すなわち、選択部４１３には、イントラ予測部４１１により生成された予測画像、若しくは、動き予測・補償部４１２により生成された予測画像が供給される。選択部４１３は、その予測画像が供給された側を選択し、その予測画像を演算部４０５に供給する。この予測画像は、ステップＳ４０５の処理により差分情報に加算される。

ステップＳ４１０において、画面並べ替えバッファ４０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置３００の画面並べ替えバッファ３０２（図７）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ４１１において、D/A変換部４０８は、画面並べ替えバッファ４０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。

［可逆復号処理の流れ］
次に、図２０のフローチャートを参照して、図１９のステップＳ４０２において実行される可逆復号処理の流れの例を説明する。

可逆復号処理が開始されると、ステップＳ４３１において、スライスヘッダバッファ４３２は、蓄積バッファ４０１が保持する符号化データからスライスヘッダ情報を抽出し、取得する。

ステップＳ４３２において、スライス境界アドレスバッファ４４１は、ステップＳ４３１において抽出されたスライスヘッダ情報からスライス境界アドレス情報を抽出する。

ステップＳ４３３において、スライス境界復号部４４２は、ステップＳ４３２において抽出されたスライス境界アドレス情報を復号する。

ステップＳ４３４において、スライス構造決定部４３３は、ステップＳ４３３において復号されたスライス境界アドレスに基づいてスライス境界の位置を決定し、スライス構造を生成する。

ステップＳ４３５において、CUデータ復号部４３４は、ステップＳ４３４において決定されたスライス境界の位置（スライス構造）に基づいて適宜並列化しながら、CUデータを復号する。

ステップＳ４３５の処理を終了すると、CUデータ復号部４３４は、処理を図１９のステップＳ４０２に戻し、ステップＳ４０３以降の処理を実行させる。

以上のように各処理を実行することにより、画像復号装置４００は、シンタックス上でオニオンリング構造を維持しながら、スライス分割の制御精度をCU単位とすることにより、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制する方法を実現することができる。

なお、以上においては、スライス境界アドレスをスライスヘッダに含めるように説明したが、スライスの境界を示す情報は、スライスヘッダ以外の、例えば、シーケンスパラメータセット（SPS）やピクチャパラメータセット（PPS）等に格納されるようにしてもよい。また、例えば、スライスの境界を示す情報が、SEI（Suplemental Enhancement Information）等のパラメータセット（例えばシーケンスやピクチャのヘッダ等）に格納されるようにしてもよい。

さらに、スライスの境界を示す情報が、符号化データとは別に復号側に伝送されるようにしてもよい。その場合、スライスの境界を示す情報と符号化データとの対応関係を明確にする（復号側で把握することができるようにする）必要があるが、その方法は任意である。例えば、別途、対応関係を示すテーブル情報を作成してもよいし、対応先のデータを示すリンク情報を互いのデータに埋め込むなどしてもよい。

また、スライス構造の設定方法を、画像符号化装置３００と画像復号装置４００とで予め共有しておくようにしてもよい。その場合、スライスの境界を示す情報の伝送を省略することができる場合もある。

＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２１に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２１において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、図８に示される可逆符号化部３０６およびスライスヘッダ符号化部３２１を、それぞれ、独立した装置として構成するようにしてもよい。また、図８に示されるスライス設定部３３１、スライス構造符号化部３３２、CUデータ符号化部３３３、スライス境界アドレス算出部３４１、およびスライスヘッダ生成部３４２を、それぞれ、独立した装置として構成するようにしてもよい。さらに、これらの各処理部を任意に組み合わせ、独立した装置として構成するようにしてもよい。もちろん、図７に示される任意の処理部と組み合わせても良いし、図示せぬ処理部と組み合わせても良い。

また、例えば、上述した画像符号化装置や画像復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。

＜４．第４の実施の形態＞
［テレビジョン受像機］
図２２は、本実施の画像復号装置４００を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図２２に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。

地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。

映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。

グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。

パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。

表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。

地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。

音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。

音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。

音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。

さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。

デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。

テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、上述した画像復号装置４００を用いる。なお、放送局等より送信されるMPEG-TSは、画像符号化装置３００によって符号化されている。

MPEGデコーダ１０１７は、画像復号装置４００の場合と同様に、符号化データのスライス境界を含むLCUの前に付加されたスライスヘッダに含まれるスライス境界アドレスを用いて、符号化側で設定されたスライス構造を再構築し、そのスライス構造に従って符号化データを復号する。したがって、MPEGデコーダ１０１７は、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら上位階層のデータの制御精度を向上させることを実現することができる。これにより、MPEGデコーダ１０１７は、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制する方法を実現することができる。

MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。

MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。

また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。

音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。

ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。

音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。

受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。

CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。

USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機１０００は、MPEGデコーダ１０１７として画像復号装置４００を用いることにより、アンテナを介して受信する放送波信号や、ネットワークを介して取得するコンテンツデータの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

＜５．第５の実施の形態＞
［携帯電話機］
図２３は、本実施の画像符号化装置３００および画像復号装置４００を用いる携帯電話機の主な構成例を示すブロック図である。

図２３に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。

また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。

電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。

携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。

また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。

なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。

携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、上述した画像符号化装置３００を用いる。画像エンコーダ１１５３は、画像符号化装置３００の場合と同様に、スライス境界の位置をCU単位で制御するとともに、スライスヘッダにそのスライス境界の位置を示すスライス境界アドレスを含め、そのスライスヘッダを、そのスライス境界を含むLCUの前に付加する。つまり、画像エンコーダ１１５３は、シンタックス上でオニオンリング構造を維持しながら、スライス分割の制御精度をCU単位とすることができる。つまり、画像エンコーダ１１５３は、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら上位階層のデータの制御精度を向上させることができる。これにより、画像エンコーダ１１５３は、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。

携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、上述した画像復号装置４００を用いる。つまり、画像デコーダ１１５６は、画像復号装置４００の場合と同様に、符号化データのスライス境界を含むLCUの前に付加されたスライスヘッダに含まれるスライス境界アドレスを用いて、符号化側で設定されたスライス構造を再構築し、そのスライス構造に従って符号化データを復号する。したがって、画像デコーダ１１５６は、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら上位階層のデータの制御精度を向上させることを実現することができる。これにより、画像デコーダ１１５６は、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制する方法を実現することができる。

このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。

携帯電話機１１００は、画像エンコーダ１１５３として画像符号化装置３００を用いることにより、例えばCCDカメラ１１１６において生成された画像データを符号化して伝送する際に、その符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

また、携帯電話機１１００は、画像デコーダ１１５６として画像復号装置４００を用いることにより、例えば、簡易ホームページ等にリンクされた動画像ファイルのデータ（符号化データ）の利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、本実施の画像符号化装置３００および画像復号装置４００を適用することができる。

＜６．第６の実施の形態＞
［ハードディスクレコーダ］
図２４は、本実施の画像符号化装置３００および画像復号装置４００を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図２４に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図２４に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。

また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。

受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。

通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。

オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。

ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。

ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。

モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。

レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。

以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして画像復号装置４００を用いる。つまり、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、画像復号装置４００の場合と同様に、符号化データのスライス境界を含むLCUの前に付加されたスライスヘッダに含まれるスライス境界アドレスを用いて、符号化側で設定されたスライス構造を再構築し、そのスライス構造に従って符号化データを復号する。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら、上位階層のデータの制御精度を向上させることを実現することができる。これにより、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制する方法を実現することができる。

したがって、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５が受信するビデオデータ（符号化データ）や、記録再生部１２３３が再生するビデオデータ（符号化データ）の利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

また、ハードディスクレコーダ１２００は、エンコーダ１２５１として画像符号化装置３００を用いる。したがって、エンコーダ１２５１は、画像符号化装置３００の場合と同様に、スライス境界の位置をCU単位で制御するとともに、スライスヘッダにそのスライス境界の位置を示すスライス境界アドレスを含め、そのスライスヘッダを、そのスライス境界を含むLCUの前に付加する。つまり、エンコーダ１２５１は、シンタックス上でオニオンリング構造を維持しながら、スライス分割の制御精度をCU単位とすることができる。つまり、エンコーダ１２５１は、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら、上位階層のデータの制御精度を向上させることができる。これにより、エンコーダ１２５１は、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

したがって、ハードディスクレコーダ１２００は、例えば、ハードディスクに記録する符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、本実施の画像符号化装置３００および画像復号装置４００を適用することができる。

＜７．第７の実施の形態＞
［カメラ］
図２５は、本実施の画像符号化装置３００および画像復号装置４００を用いるカメラの主な構成例を示すブロック図である。

図２５に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。

レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。

カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。

以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。

デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。

コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。

さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。

記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。

さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。

以上のようなカメラ１３００は、デコーダ１３１５として画像復号装置４００を用いる。つまり、デコーダ１３１５は、画像復号装置４００の場合と同様に、符号化データのスライス境界を含むLCUの前に付加されたスライスヘッダに含まれるスライス境界アドレスを用いて、符号化側で設定されたスライス構造を再構築し、そのスライス構造に従って符号化データを復号する。したがって、デコーダ１３１５は、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら、上位階層のデータの制御精度を向上させることを実現することができる。これにより、デコーダ１３１５は、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制する方法を実現することができる。

したがって、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３から読み出すビデオデータの符号化データや、ネットワークを介して取得するビデオデータの符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

また、カメラ１３００は、エンコーダ１３４１として画像符号化装置３００を用いる。エンコーダ１３４１は、画像符号化装置３００の場合と同様に、スライス境界の位置をCU単位で制御するとともに、スライスヘッダにそのスライス境界の位置を示すスライス境界アドレスを含め、そのスライスヘッダを、そのスライス境界を含むLCUの前に付加する。つまり、エンコーダ１３４１は、シンタックス上でオニオンリング構造を維持しながら、スライス分割の制御精度をCU単位とすることができる。つまり、エンコーダ１３４１は、階層構造を有するデータにおいて、データの管理構造において上位が下位を包含する包含関係を維持しながら、上位階層のデータの制御精度を向上させることができる。これにより、エンコーダ１３４１は、符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に記録する符号化データや、他の装置に提供する符号化データの利便性の低減を抑制しながら、スライス分割の制御精度の低減を抑制することができる。

なお、コントローラ１３２１が行う復号処理に画像復号装置４００の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に画像符号化装置３００の符号化方法を適用するようにしてもよい。

また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、本実施の画像符号化装置３００および画像復号装置４００は、上述した装置以外の装置やシステムにも適用可能である。

本発明は、例えば、MPEG，H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置や画像復号装置に適用することができる。

３００画像符号化装置，３０６可逆符号化部，３２１スライスヘッダ符号化部，３３１スライス設定部，３３２スライス構造符号化部，３３３ CUデータ符号化部，３４１スライス境界アドレス算出部，３４２スライスヘッダ生成部，４００画像復号装置，４０２可逆復号部，４２１スライスヘッダ復号部，４３１ NALデータバッファ，４３２スライスヘッダバッファ，４３３スライス構造決定部，４３４ CUデータ復号部，４４１スライス境界アドレスバッファ，４４２スライス境界復号部

Claims

階層構造を有するデータにおいて、上位階層単位のデータの境界の位置を、前記上位階層単位より小さい下位階層単位で設定する設定手段と、
前記上位階層単位のデータに関する情報を、前記設定手段により設定された前記境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加する付加手段と
を備える画像処理装置。
前記上位階層単位は、スライスであり、前記中位階層単位は、LCU（Largest Coding Unit）であり、前記下位階層単位はCU（Coding Unit）である
請求項１に記載の画像処理装置。
前記上位階層単位のデータに関する情報は、前記スライスのヘッダ情報であるスライスヘッダである
請求項２に記載の画像処理装置。
前記設定手段により設定された前記境界の位置を示すスライス境界アドレスを算出する算出手段と、
前記算出手段により算出された前記スライス境界アドレスを含む前記スライスヘッダを生成する生成手段と
をさらに備え、
前記付加手段は、前記生成手段により生成された前記スライスヘッダを前記境界を含む前記LCUの前に付加する
請求項３に記載の画像処理装置。
前記付加手段は、前記設定手段により１つのLCUにスライスの境界が複数設定された場合、前記スライスの境界が先頭となるスライスのスライスヘッダを全て前記LCUの前に付加する
請求項４に記載の画像処理装置。
前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるSCU（Smallest Coding Unit）単位のデータ処理順で示す情報である
請求項４または請求項５に記載の画像処理装置。
前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるSCU（Smallest Coding Unit）単位の水平方向および垂直方向の座標で示す情報である
請求項４または請求項５に記載の画像処理装置。
前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるCU単位のデータ処理順で示す情報である
請求項４または請求項５に記載の画像処理装置。
前記データを符号化する符号化手段をさらに備え、
前記付加手段は、前記上位階層単位のデータに関する情報を、前記設定手段により設定された前記境界を含む、前記符号化手段により符号化された前記中位階層単位のデータの前に付加する
請求項１に記載の画像処理装置。
前記上位階層単位は、エントロピスライスであり、前記中位階層単位は、LCU（Largest Coding Unit）であり、前記下位階層単位はCU（Coding Unit）である
請求項１に記載の画像処理装置。
画像処理装置の画像処理方法であって、
設定手段が、階層構造を有するデータにおいて、上位階層単位のデータの境界の位置を、前記上位階層単位より小さい下位階層単位で設定し、
付加手段が、前記上位階層単位のデータに関する情報を、設定された前記境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加する
画像処理方法。
階層構造を有するデータの上位階層単位のデータに関する情報が、前記上位階層単位より小さい下位階層単位で設定された前記上位階層単位のデータの境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加されている、前記データが符号化された符号化データから、前記上位階層単位のデータに関する情報を抽出する抽出手段と、
前記抽出手段により抽出された前記上位階層単位のデータに基づいて前記上位階層単位のデータの境界の位置を決定する決定手段と、
前記決定手段により決定された前記上位階層単位のデータの境界の位置に従って、前記符号化データを復号する復号手段と
を備える画像処理装置。
前記上位階層単位は、スライスであり、前記中位階層単位は、LCU（Largest Coding Unit）であり、前記下位階層単位はCU（Coding Unit）である
請求項１２に記載の画像処理装置。
前記上位階層単位のデータに関する情報は、前記スライスのヘッダ情報であるスライスヘッダである
請求項１３に記載の画像処理装置。
前記抽出手段により抽出された前記スライスヘッダに含まれる前記スライスの境界の位置を示すスライス境界アドレスの符号化データを復号するアドレス復号手段をさらに備え、
前記決定手段は、前記アドレス復号手段により復号されて得られた前記スライス境界アドレスに基づいて、前記スライスの境界となるCUを決定する
請求項１４に記載の画像処理装置。
前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるSCU（Smallest Coding Unit）単位のデータ処理順で示す情報である
請求項１５に記載の画像処理装置。
前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるSCU（Smallest Coding Unit）単位の水平方向および垂直方向の座標で示す情報である
請求項１５に記載の画像処理装置。
前記スライス境界アドレスは、前記境界の位置を、前記LCU内におけるCU単位のデータ処理順で示す情報である
請求項１５に記載の画像処理装置。
１つのLCUがスライスの境界を複数含み、前記LCUの前に複数のスライスヘッダが付加されている場合、
前記抽出手段は、前記LCUの前に付加されている各スライスヘッダを抽出し、
前記決定手段は、各スライスヘッダに基づいて、各スライスの境界の位置を決定する
請求項１４乃至請求項１８のいずれかに記載の画像処理装置。
前記上位階層単位は、エントロピスライスであり、前記中位階層単位は、LCU（Largest Coding Unit）であり、前記下位階層単位はCU（Coding Unit）である
請求項１２に記載の画像処理装置。
画像処理装置の画像処理方法であって、
抽出手段が、階層構造を有するデータの上位階層単位のデータに関する情報が、前記上位階層単位より小さい下位階層単位で設定された前記上位階層単位のデータの境界を含む、前記上位階層単位より小さく、かつ、前記下位階層単位より大きな中位階層単位のデータの前に付加されている、前記データが符号化された符号化データから、前記上位階層単位のデータに関する情報を抽出し、
決定手段が、抽出された前記上位階層単位のデータに基づいて前記上位階層単位のデータの境界の位置を決定し、
復号手段が、決定された前記上位階層単位のデータの境界の位置に従って、前記符号化データを復号する
画像処理方法。