JP2015126508A - 画像復号装置、画像符号化装置、符号化データ変換装置、領域再生装置 - Google Patents

Abstract

【課題】注目領域の設定自由度が高く、かつ、注目領域に相当する階層符号化データへの変換が容易な階層符号化データを符号化、変換、復号、または、再生する。【解決手段】階層動画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、レイヤ位置情報を復号するレイヤ位置復号部を備え、レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含む。【選択図】図１

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、画像を階層的に符号化して階層符号化データを生成する画像符号化装置、階層符号化データを変換する符号化データ変換装置、および、復号画像から出力画像を構成して再生する領域再生装置に関する。

通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。

動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。

これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像を参照して予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。

予測画像の生成方法には、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で参照される局所復号画像は参照ピクチャと呼ばれる。

また、複数の相互に関連性のある動画像をレイヤ（階層）に分けて符号化することで、複数の動画像から符号化データを生成する技術も知られており、階層符号化技術と呼ばれる。階層符号化技術により生成される符号化データは階層符号化データとも呼ばれる。

代表的な階層符号化技術としてHEVCを基礎とするSHVC（Scalable HEVC）が知られている（非特許文献２）。

SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、複数の異なる解像度の動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、原画像を所望の解像度に縮小した画像を下位レイヤとして符号化する。次に原画像をレイヤ間の冗長性を除去するためにレイヤ間予測を適用して、上位レイヤとして符号化する。

SHVCに代表される階層符号化技術を利用するアプリケーションの一つに、注目領域を考慮した映像アプリケーションがある（非特許文献３）。非特許文献３記載のアプリケーションでは、映像再生端末において、通常時は全領域の映像を比較的低解像度で再生する。映像再生端末の視聴者が表示されている映像の一部を注目領域として指定した場合、当該注目領域が高解像度で再生端末に表示される。前記のような注目領域を考慮した映像アプリケーションは、全領域の比較的低解像度の映像を下位レイヤの符号化データとして、注目領域の高解像度映像を上位レイヤの符号化データとして符号化した階層符号化データを用いて実現できる。すなわち、全領域を再生する場合は下位レイヤの符号化データのみを復号して再生し、注目領域の高解像度映像を再生する場合は、上位レイヤの符号化データを前記下位レイヤの符号化データに追加して伝送することで、低解像度映像に対する符号化データと高解像度映像に対する符号化データを両方送る場合に較べて少ない伝送帯域で前記アプリケーションが実現できる。

より具体的には、非特許文献３では、アプリケーション実現のために、拡張レイヤを独立に復号可能なタイルとして符号化する方法が記載されている。ここで、独立に復号可能とは、拡張レイヤの復号ピクチャ上でタイルと異なる領域の復号画像を参照することなく、タイルに相当する領域の復号画像が復号できることを意味する。拡張レイヤを独立に復号可能なタイルを用いて符号化している場合、変換により拡張レイヤの一部を抽出することで、注目領域の高解像度映像を再生可能な符号化データを生成できる。

「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開) JCTVC-O1008_v3 「SHVC Draft 4」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct. - 1 Nov. 2013 （２０１３年１２月７日公開） JCTVC-O0055 「MV-HEVC/SHVC HLS: Skipped slice and use case」Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct. - 1 Nov. 2013（２０１３年１０月１１日公開）

しかしながら、タイルを用いて注目領域に相当する符号化データを生成する場合には、タイルのサイズおよび配置が大きく制限され、タイルと同時に使用可能な並列化ツールが制限されるという課題があった。また、タイルの独立復号可能性を実現するために、タイル符号化時にタイル領域を超える動きベクトルを発生させないような特別な制限が必要であるという課題があった。

また、独立復号可能なタイルを用いて生成した符号化データから、注目領域に相当する符号化データを生成する場合、変換処理が複雑になる場合があるという課題があった。具体的には、符号化データに含まれるデータの中で、ビデオ符号化レイヤと呼ばれる、書き換え処理が複雑であるデータに分類される、スライスヘッダ（slice_segment_header）を変更する必要があるという課題があった。なお、スライスはピクチャの特定の部分領域に相当する符号化データであり、スライスヘッダはそのヘッダ情報である。例えば、スライスヘッダに含まれる、復号ピクチャ内でのアドレス（slice_segment_address）を書き換える必要があった。なぜならば、ピクチャ内の一部のタイルを抽出して拡張レイヤの符号化データを書き換える場合、拡張レイヤに対応するピクチャサイズが変わり、したがって、スライスのピクチャ内での相対位置が変化するためである。

本発明は、上記問題に鑑みてされたものであり、その目的は、注目領域に関するサイズ、配置の自由度を向上させ、タイル符号化処理や並列化ツールの制限を緩和する領域再生装置を実現することにある。また、ビデオ符号化レイヤの書き換え処理を実行することなく、注目領域に相当する符号化データを生成するための変換処理を実行する符号化データ変換装置を実現することにある。加えて、前記変換処理を実現可能な符号化データを生成できる画像符号化装置、および、前記画像符号化装置が生成する符号化データを復号できる画像復号装置を実現することにある。さらに、前記復号装置の出力である復号ピクチャを適切に配置して、注目領域に相当する画像として再生する領域再生装置を実現することにある。

上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、レイヤ位置情報を復号するレイヤ位置復号部を備え、前記レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含むことを特徴としている。

また、上記画像復号装置において、前記画面内レイヤ位置情報は、画面内でのレイヤ復号ピクチャに対応する部分領域の水平位置を特定するレイヤ水平位置識別子と、画面内でのレイヤ復号ピクチャに対応する部分領域の垂直位置を特定するレイヤ垂直位置識別子である、ことが好ましい。

また、上記画像復号装置において、共通のレイヤグループに属する２以上の上位レイヤが共通の参照レイヤを持つ場合に、前記画面内レイヤ位置情報は、各上位レイヤに関連付けられたレイヤ間画素オフセットである、ことが好ましい。

また、上記画像復号装置において、前記２以上の上位レイヤに含まれる全てのレイヤにおいて、レイヤ復号ピクチャの幅とレイヤ間画素水平オフセットの和、および、レイヤ復号ピクチャの高さとレイヤ間画素垂直オフセットの和が等しい、ことが好ましい。

また、上記画像復号装置において、前記レイヤグループ情報は、出力レイヤセット定義と、出力レイヤセット毎に復号されるレイヤグループフラグとの組み合わせである、ことが好ましい。

また、上記画像復号装置において、前記レイヤグループ情報は、各上位レイヤ毎に復号されるレイヤグループ識別子である、ことが好ましい。

また、上記画像復号装置において、前記レイヤ位置情報は、少なくとも１以上のレイヤに対して、前記画面内レイヤ位置情報と前記レイヤグループ情報を復号するか否かを示すレイヤ位置存否フラグを含む、ことが好ましい。

上記課題を解決するために、本発明に係る画像符号化装置は、入力画像を複数の部分領域に分割し、各部分領域に対応する上位レイヤの符号化データを生成する画像符号化装置であって、レイヤ位置情報を符号化するレイヤ位置符号化部を備え、前記レイヤ位置符号化部は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含むことを特徴としている。

上記課題を解決するために、本発明に係る符号化データ変換装置は、入力される階層符号化データを入力される注目領域情報に基づいて変換し、変換後の階層符号化データを出力する階層符号化データ変換装置であって、レイヤ位置情報を復号するレイヤ位置復号部と、階層符号化データから注目領域情報に基づいて所定のレイヤを抽出することで、注目領域に対応する階層符号化データを生成するレイヤ選択部を備え、前記レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含み、前記レイヤ選択部は、注目領域情報の示す注目領域と重複する部分領域に対応するレイヤを前記レイヤ位置情報に基づいて選択することで抽出を行うことを特徴としている。

上記課題を解決するために、本発明に係る符号化データ変換装置は、入力される階層符号化データから表示画像を生成して再生する領域再生装置であって、階層符号化データを復号して、階層符号化データに含まれるレイヤ毎の復号ピクチャとレイヤ位置情報を復号する階層動画像復号部と、前記レイヤ位置情報に基づいて、レイヤ毎の復号ピクチャを配置して表示画像を生成する表示制御部を備え、前記レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含むことを特徴としている。

本発明に係る画像復号装置、画像符号化装置、符号化データ変換装置、および、領域再生装置はレイヤ位置情報を復号／符号化するレイヤ位置復号／符号化部を備えており、該レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含んでいる。したがって、画像符号化装置では、入力画像の各部分領域をレイヤとしてレイヤ位置情報と合わせて符号化データを生成できる。また、符号化データ変換装置では、レイヤ位置情報に基づいて特定のレイヤを抽出することで、所望の注目領域に対応する符号化データが生成できる。また、画像復号装置では、階層符号化データを復号してレイヤ復号ピクチャとレイヤ位置情報を出力でき、領域再生装置では、レイヤ位置情報に基づいてレイヤ復号ピクチャを配置して表示画像を生成して再生できる。したがって、部分領域とレイヤを関連付けることができるため、注目領域のサイズや配置の自由度が高く、また、特定の注目領域に相当する階層符号化データをビデオ符号化レイヤのデータを書き換えることなくレイヤ抽出処理により生成して復号できる。

本発明の一実施形態に係る階層動画像復号装置、階層動画像符号化装置、および、符号化データ変換装置において用いられるレイヤ位置情報が示す符号化データと選択レイヤと出力領域の関係を説明する図である。 本発明における全体領域と部分領域の関係を例示する別の例である。 本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示している。 階層符号化データが複数レイヤに対応する符号化データを含む場合のデータ構造を例示している。 上記階層動画像復号装置の概略的構成を示す機能ブロック図である。 SPS復号時に参照されるシンタックス表の一部であって、レイヤ間画素対応情報に係る部分である。 対象レイヤのピクチャ、参照レイヤのピクチャ、および、レイヤ間画素対応オフセットの関係を例示する図であり、（ａ）は、参照レイヤのピクチャ全体が対象レイヤのピクチャの一部に対応する場合の例を示し、（ｂ）は、参照レイヤのピクチャの一部が対象レイヤのピクチャ全体に対応する場合の例を示す。 特定の部分領域に対応する各レイヤのSPSから復号されるレイヤ間画素対応情報を例示している。 VPSに含まれるレイヤ位置情報の復号時に参照されるシンタックス構造を表すテーブルを示している。 VPSに含まれるレイヤ位置情報の復号時に参照されるシンタックス構造の別の例を表すテーブルを示している。 VPSに含まれるレイヤ位置情報の復号時に参照されるシンタックス構造の別の例を表すテーブルを示している。 VPSに含まれるレイヤ位置情報の復号時に参照されるシンタックス構造の別の例を表すテーブルを示している。 本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 本発明の一実施形態に係る階層符号化データ変換装置の概略的構成を示した機能ブロック図である。 上記階層動画像復号装置を含んで実現する、階層動画像符号化装置、及び、階層符号化データ変換装置の組み合わせにより実現する注目領域表示システムの構成を示したブロック図である。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。

図１〜図１８に基づいて、本発明の一実施形態に係る階層動画像復号装置１、階層動画像符号化装置２、符号化データ変換装置３、および、領域再生装置４を説明すれば以下のとおりである。

〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層符号化データ（符号化データ）を復号して、復号ピクチャを生成する。階層符号化データは、階層動画像符号化装置（画像符号化装置）２により階層映像を符号化して生成される。階層映像とは、品質の異なる複数の動画像を集合である。ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。

階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。

また、本実施の形態に係る符号化データ変換装置３は、階層動画像符号化装置２によって符号化された階層符号化データを変換し、所定の注目領域に関する階層符号化データ（注目領域符号化データ）を生成する。注目領域符号化データは、階層動画像復号装置１で復号できる。

また、本実施の形態に係る領域再生装置４は、階層符号化データを復号することで階層動画像復号装置１により生成された複数の復号ピクチャを適切に配置し、注目領域に対応する画像（注目領域画像）として再生できる。

なお、本実施の形態に係る符号化データ変換装置３は、階層動画像符号化装置２によって符号化された階層符号化データを蓄積し、所定の注目領域に関する階層符号化データ（注目領域符号化データ）を送出する「符号化データ蓄積送出装置」とみなすこともできる。すなわち、階層符号化データの変換とは、例えば、階層符号化データに含まれる一部パラメータや符号を書き替えるのではなく、一連の階層符号化データの一部を切り出して送出することに相当する。また、階層符号化データが１つの直列的なデータとして蓄積されているのではなく、複数のレイヤが独立にアクセス可能なように蓄積されている場合には、符号化データ変換装置３は、注目領域に対応する特定のレイヤを読み出して、送出する処理に相当する。すなわち、符号化データ変換装置３は、特定のレイヤおよびレイヤ群を読み出して送出する「符号化データレイヤ抽出装置」とみなすこともできる。

〔レイヤによる注目領域表現〕
本発明は、概略的には、画像の部分領域毎に対応するレイヤを設定することで、注目領域符号化データの生成時の処理を軽減して前述の課題を解決する。そこで、始めに、図１を参照して、本発明により実現される画像の部分領域とレイヤの関係について説明する。

図１（ａ）は、高品位映像と低品位映像の２つの映像を含む階層映像を構成する画像（高品位画像および低品位画像）における全体領域と部分領域の関係を例示している。高品位画像の全体が、高品位画像の全体領域（ERAll）であり、高品位画像の全体領域には、高品位画像の部分領域（ER00、ER01、ER10、ER11）が含まれている。一方、低品位画像の全体が、低品位画像の全体領域（BRAll）であり、低品位画像の全体領域には、低品位画像の部分領域（BR00）が含まれている。部分領域の形状や数はあくまで例であり、矩形以外の形状であってもよいし、高品位画像に４以外の数の部分領域を含んでいてもよいし、低品位画像に１以外の数の部分領域を含んでいてもよい。

図２は、本発明における全体領域と部分領域の関係を例示する別の例である。高品位画像には、高品位画像の部分領域（ER4、ER5、ER6）が含まれている。ER5は、ER4に含まれ、ER6とER4に重なりがあり、ER6の左上座標および右下座標は、ER4と合致していない。また、ER4、ER5、ER6のサイズは互いに異なり、noneと示す領域は高品位画像の符号化データが存在しない。本発明は、このようなタイルでは表現できない、重なり、互いに異なる開始・終了位置、互いに異なるサイズ、存在しない領域などを実現することができる。また、本図では図示しないが、低品位画像と高品位画像の拡大比やビットデプスなどが高品位画像の領域間で異なっていても良い。

図１（ｂ）は、本発明の階層動画像符号化装置２により階層映像を符号化することで生成できる符号化データ（階層符号化データ）と部分符号化データを例示している。符号化データBSは、低品位映像の全体領域に相当する部分符号化データBBSと、高品位映像の全体領域に相当する部分符号化データEBSを含んでいる。部分符号化データBBSは、低品位映像の各部分領域に相当する部分符号化データBBS00を含んでいる。部分符号化データBBS00には、「０（LID=0）」のレイヤ識別子が付与されている。部分符号化データEBSは、高品位映像の各部分領域に相当する部分符号化データ（EBS00、EBS01、EBS10、EBS11）が含まれている。部分符号化データEBS00、EBS01、EBS10、EBS11には、順に、「１（LID=1）」、「２（LID=2）」、「３（LID=3）」、「４（LID=4）」のレイヤ識別子が付与されている。

図１（ｃ）は、図１（ｂ）で説明した符号化データの一部を本発明による符号化データ変換装置３により抽出して構成される符号化データと、該符号化データを本発明による領域再生装置４で再生した場合の再生画像として表示される領域が対応する図１（ａ）で説明した入力階層映像の領域との対応関係を示している。なお、領域再生装置４は、本発明による階層動画像復号装置１を内部に備えている。例えば、「０（LID=0）」のレイヤ識別子の部分符号化データを抽出した符号化データ（BBS00）を入力とした場合に再生される領域（出力領域）は、低品位画像の全体領域（BRAll）となる。また、例えば、「０〜４（LID=0〜4）」のレイヤ識別子の部分符号化データ（BBS00、EBS00、EBS01、EBS10、EBS11）を入力とした場合の出力領域は、高品位画像の全体領域（ERAll）となる。また、例えば、「０、２、４（LID=0、2、4）」のレイヤ識別子の部分符号化データを抽出した符号化データ（BBS00、EBS01、EBS11）を入力とした場合の出力領域は高品位画像の部分領域（ER01とER11）となる。

以上、図１を参照して、概略的に説明したように、本発明による階層動画像復号装置１、階層動画像符号化装置２、符号化データ変換装置３、および、領域再生装置４を用いることで、階層映像を復号して階層符号化データを生成し、該階層符号化データを変換して注目領域に相当する階層符号化データを生成できる。その後、変換により生成した（一部レイヤおよびレイヤ群を抽出して送出された）階層符号化データを復号して再生することで、注目領域に相当する領域の画像を再生できる。その際、符号化データから注目領域に対応するレイヤ識別子を有する部分符号化データを抽出する処理により変換が実行できるため、スライスヘッダを書き換が不要な軽量な処理により変換が実行できる。

以降、本実施形態に係る階層動画像復号装置１、階層動画像符号化装置２、階層符号化データ変換装置３、および、領域再生装置４の詳細に説明するが、まず、先立って、階層動画像符号化装置２または階層符号化データ変換装置３によって生成され、階層動画像復号装置１によって復号される階層符号化データの構造を説明する。

〔階層符号化データのレイヤ構造〕
まず、図３を用いて、階層符号化データの符号化および復号について説明する。図３は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図３（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。

以下では、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。

図３（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図３（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。

まず、図３（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。

下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図３において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。

また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図３において“Ｂ”にて示している）が含まれる。

また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図３において“Ａ”にて示している）が含まれる。

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。

次に、図３（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。

なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。

例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。

なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。

また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図３（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。

なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。

本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。

上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図３において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。

下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図３において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。

対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。

参照レイヤ（reference layer） ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。

図３（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。

基本レイヤ（base layer；ベースレイヤ） ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像（ベース復号画像）と呼称される。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。

拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。

レイヤ識別子 ： レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データの選択に用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現（レイヤセット）とも呼称される。

一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。

レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。

なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。

〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。

また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。

例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。

（基本レイヤ）
図４は、基本レイヤで採用できる符号化データ（図３の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図４に示す。図４の（ａ）〜（ｃ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図４の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。

なお、アクティブＳＰＳおよびアクティブＰＰＳは、レイヤ毎に異なるＳＰＳやＰＰＳに設定してもよい。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図４の（ｂ）に示すように、スライスヘッダＳＨ1〜ＳＨNS、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスヘッダＳＨ1〜ＳＨNSやスライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。

スライスヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図４の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1〜ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。

（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図４に示すデータ構造とほぼ同様のデータ構造を採用できる。

一般に、階層動画像符号化データには、基本レイヤと複数の拡張レイヤにそれぞれ対応する符号化データがインタリーブされて含まれている。図５は、階層符号化データが複数レイヤに対応する符号化データを含む場合のデータ構造を例示する図である。

シーケンスレイヤでは、処理対象のシーケンスＳＥＱ＿ＭＬを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱ＿ＭＬは、図５の（ａ）に示すように、ＶＰＳ、ＳＰＳ、ＰＰＳ、ピクチャＰＩＣＴ＿ＭＬ１〜ＰＩＣＴ＿ＭＬNP（ＮＰはシーケンスＳＥＱ＿ＭＬに含まれる特定レイヤのピクチャの総数）、及び、ＳＥＩを含む。ＰＩＣＴ＿ＭＬ以外の各要素は図４（ａ）を参照して説明した要素と同一であるが、必要に応じて、付加的な情報を追加したり、パラメータを省略する場合もある。

ピクチャＰＩＣＴ＿ＭＬは、特定タイミングにおける各レイヤに対応するピクチャＰＩＣＴを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴ＿ＭＬは、図５（ｂ）に示すように、ピクチャPICTL1〜PICTLNLを含んでいる（NLは階層符号化データに含まれるレイヤの総数）。例えば、ピクチャPICTL1は、レイヤＬ１に対応するピクチャに対応する符号化データである。なお、ピクチャPICTL1は、図４（ｃ）で説明したピクチャPICTと同様のデータであり、スライスヘッダやスライスデータが含まれる。レイヤＬ１以外についても同様の定義が適用される。

拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。

スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。

拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。

なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。

〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図１３を参照して説明する。

（階層動画像復号装置の構成）
図６を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図６は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層符号化データを復号して、対象レイヤの復号ピクチャを生成して出力する。加えて、階層動画像復号装置１は、階層符号化データを復号して得られるレイヤ位置情報を出力する。

なお、以下では、対象レイヤは基本レイヤを参照レイヤとする拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。

図６に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、ＰＳ復号部１２、スライス復号部１４、復号ピクチャ管理部１６を含む。ＰＳ復号部１２は、内部にレイヤ位置復号部１２１を含む。

ＮＡＬ逆多重化部１１は、NAL（Network Abstraction Layer）におけるNALユニット単位で伝送される階層符号化データを逆多重化する。

NALは、VCL（Video Coding Layer；ビデオ符号化レイヤ）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

VCLは、動画像符号化処理を行う層のことであり、VCLにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。

なお、NALでは、VCLで生成されたビットストリームが、NALユニット（NAL Unit；NALU）という単位で区切られて、宛先となる下位システムへ伝送される。NALUには、VCLで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、NALUに格納されることでNAL多重化されて階層動画像復号装置１に伝送される。

階層符号化データには、VCLで生成されたNALU（VCL NALU）の他に、パラメータセット（VPS、SPS、PPS）やSEI等を含むNALUが含まれる。それらのNALUはVCL NALUに対して非VCL NALUと呼ばれる。

ＮＡＬ逆多重化部１１は、階層符号化データを逆多重化して、VCL NALUと非VCL NALUを抽出する。そして、非VCL NALUをＰＳ復号部１２に、VCL NALUをスライス復号部１４にそれぞれ供給する。

ＰＳ復号部１２は、入力される非VCL NALUからパラメータセットおよびSEIを復号してスライス復号部１４に供給する。ＰＳ復号部１２で復号される情報には、復号ピクチャのサイズ情報やレイヤ間画素対応情報が含まれる。また、ＰＳ復号部１２は、非VCL NALUにレイヤ位置情報に係るデータが含まれる場合、内部のレイヤ位置復号部１２１において当該データからレイヤ位置情報を復号して外部に出力する。なお、レイヤ間画素対応情報、および、レイヤ位置復号部１２１の詳細については後述する。

スライス復号部１４は、入力されるVCL NALU、パラメータセット、および、参照ピクチャに基づいて復号ピクチャを生成して復号ピクチャ管理部１６内のバッファに記録する。

復号ピクチャ管理部１６は、入力される復号ピクチャを内部の復号ピクチャバッファ（DPB: Decoded Picture Buffer）に記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、復号ピクチャ管理部１６は、DPBに記録されている復号ピクチャを、所定のタイミングで出力ピクチャＰＯＵＴ＃Ｔとして外部に出力する。

（レイヤ間画素対応情報）
ＰＳ復号部１２で復号されるレイヤ間画素対応情報の詳細を説明する。レイヤ間画素対応情報は、例えば、上位レイヤのSPSの一部であるSPS拡張（sps_estension）に含まれており、図７に示すシンタックス表に従って復号される。図７は、ＰＳ復号部１２がSPS復号時に参照するシンタックス表の一部であって、レイヤ間画素対応情報に係る部分である。

SPSから復号されるレイヤ間画素対応情報には、SPS拡張に含まれるレイヤ間画素対応情報の個数（num_scaled_ref_layer_offsets）が含まれる。加えて、レイヤ間画素対応情報には、前記レイヤ間画素対応情報の個数分のレイヤ間画素対応オフセットが含まれる。レイヤ間画素対応オフセットには、拡大参照レイヤ左オフセット（scaled_ref_layer_left_offset[i]）、拡大参照レイヤ上オフセット（scaled_ref_layer_top_offset[i]）、拡大参照レイヤ右オフセット（scaled_ref_layer_right_offset[i]）、および、拡大参照レイヤ下オフセット（scaled_ref_layer_bottom_offset[i]）が含まれる。レイヤ間画素対応オフセットは、拡大参照レイヤオフセットとも呼ばれる。

レイヤ間画素対応オフセットに含まれる各オフセットの意味を、図８を参照して説明する。図８は、対象レイヤのピクチャ、参照レイヤのピクチャ、および、レイヤ間画素対応オフセットの関係を例示する図である。

図８（ａ）は、参照レイヤのピクチャ全体が対象レイヤのピクチャの一部に対応する場合の例を示す。この場合、参照レイヤピクチャ全体に対応する対象レイヤ上の領域（対象レイヤ対応領域）は、対象レイヤピクチャの内部に含まれている。図８（ｂ）は、参照レイヤのピクチャの一部が対象レイヤのピクチャ全体に対応する場合の例を示す。この場合、参照レイヤ対応領域の内部に対象レイヤピクチャが含まれている。なお、対象レイヤピクチャ全体にオフセットが含まれている。

図８に示したように、拡大参照レイヤ左オフセット（図ではSRL左オフセット）は、参照レイヤ対応領域左辺の対象レイヤピクチャ左辺に対するオフセットを表わす。なお、SRL左オフセットが０より大きい場合、参照レイヤ対応領域左辺が対象レイヤピクチャ左辺の右側に位置することを表わす。

拡大参照レイヤ上オフセット（図ではSRL上オフセット）は、参照レイヤ対応領域上辺の対象レイヤピクチャ上辺に対するオフセットを表わす。なお、SRL上オフセットが０より大きい場合、参照レイヤ対応領域上辺が対象レイヤピクチャ上辺の下側に位置することを表わす。

拡大参照レイヤ右オフセット（図ではSRL右オフセット）は、参照レイヤ対応領域右辺の対象レイヤピクチャ右辺に対するオフセットを表わす。なお、SRL右オフセットが０より大きい場合、参照レイヤ対応領域右辺が対象レイヤピクチャ右辺の左側に位置することを表わす。

拡大参照レイヤ下オフセット（図ではSRL下オフセット）は、参照レイヤ対応領域下辺の対象レイヤピクチャ下辺に対するオフセットを表わす。なお、SRL下オフセットが０より大きい場合、参照レイヤ対応領域下辺が対象レイヤピクチャ下辺の上側に位置することを表わす。

（レイヤによる部分領域表現時のレイヤ間画素対応情報）
ここで、レイヤ毎に対応する部分領域が存在する場合に復号されるレイヤ間画素対応情報について説明する。以下では、説明の簡単のため、図１を参照して説明したようなレイヤと部分領域の対応関係が用いられる場合を例に挙げるが、他のレイヤと部分領域の対応関係が用いられる場合にも適用可能である。

図９は、特定の部分領域に対応する各レイヤのSPSから復号されるレイヤ間画素対応情報（レイヤ間画素対応オフセット）を例示している。図９（ａ）は、レイヤ０（LID=0）の復号ピクチャである低品位画像BR00をレイヤ間参照ピクチャとして、レイヤ１（LID=1）の復号ピクチャである高品位画像の部分領域ER00を復号する場合のレイヤ間画素対応情報を図示している。この場合、高品位画像の全領域の幅をERAllW、高さをERAllHとする場合、拡大参照レイヤ右オフセット（図中でSRLRO）の値は「-ERAllW÷2」に、拡大参照レイヤ下オフセット（図中でSRLBO）の値は「-ERAllH÷2」に設定されている。拡大参照レイヤ上オフセット（SRLTO）と拡大参照レイヤ左オフセット（SRLLO）の値は共に０に設定されている。同様に、図９（ｂ）、（ｃ）、（ｄ）は、それぞれ、レイヤ２（LID=2）、レイヤ３（LID=3）、レイヤ４（LID=4）の復号ピクチャである高品位画像の部分領域を復号する場合のレイヤ間画素対応情報を図示している。

上記の図９を参照して説明したレイヤ間画素対応情報について、次のように表現することもできる。すなわち、共通の参照レイヤを有する複数の異なるレイヤに対して、それぞれ互いに異なるレイヤ間画素対応オフセットが設定されている。ここで、異なるレイヤ間画素対応オフセットとは、レイヤ間画素対応オフセットを構成するパラメータ（拡大参照レイヤ左オフセット、拡大参照レイヤ上オフセット、拡大参照レイヤ右オフセット、拡大参照レイヤ下オフセット）のうち少なくとも一つのパラメータが異なる値を有することを意味する。したがって、特定のレイヤを抽出して生成される階層符号化データから高品位映像内の異なる部分領域の映像を復号できる。

なお、図１の例のように、高品位画像の全体領域を重複なく複数の分割領域に分けて、各分割領域をレイヤに対応付けて符号化する場合には、拡大参照レイヤピクチャ（SRL Pic）上で対象ピクチャ（EL Pic）の重複がないようにレイヤ間画素対応オフセットを設定する必要がある。

（レイヤ位置情報復号処理）
レイヤ位置復号部１２１におけるレイヤ位置情報復号処理について、図１０を参照して説明する。図１０は、VPSに含まれるレイヤ位置情報の復号時に参照されるシンタックス構造（layer_position()）を表すテーブルを示している。レイヤ位置復号部１２１は、シンタックス構造に従って、レイヤ位置情報、すなわち、下記Ｅ１、Ｅ２、Ｅ３ａ、Ｅ３ｂの情報をVPSから復号する。

Ｅ１：レイヤ位置存否フラグ（layer_position_present_flag）・・・他のレイヤ位置情報のビットストリーム中での存否を示すフラグであって、値が真（１）の場合には存在することを、偽（０）の場合は存在しないことを表す。レイヤ位置存否フラグの値は、１ビットのフラグ（u(1)）を復号して得られる。レイヤ位置存否フラグは、レイヤ位置情報として必須ではないが、レイヤ位置存否フラグを用いることでレイヤ位置情報が不要な場合の符号量を削減できる。

Ｅ２：レイヤグループ識別子（layer_group_idx）・・・レイヤが属するレイヤグループの識別子を表す。レイヤグループ識別子はレイヤ識別子毎に復号され、レイヤ識別子ｉに対応するシンタックスの値はlayer_group_idx[i]と表現される。なお、図１０では、１からMaxLayersMinus1の範囲のレイヤ識別子ｉについて、レイヤグループ識別子を復号している。ここで、MaxLayersMinus1は、最大レイヤ数から１を減算した値である。同一のレイヤグループに対応付けられたレイヤは、共通の画面の部分領域に対応する。例えば、図１で説明した例の場合、共通の画面（高品位画像の全体領域）の部分領域に対応する符号化データEBS、つまり、レイヤ識別子１、２、３、および４に対して同一のレイヤグループ識別子が設定される。レイヤグループ識別子の値は、HEVCでも用いられる非負整数指数ゴロム符号（ue(v)）を復号して得られる。

Ｅ３ａ：レイヤ水平位置識別子（layer_horz_pos_idx）・・・レイヤ識別子の示すレイヤの符号化データを復号して得られる復号ピクチャの、レイヤグループ識別子に対応する共通の画面内での水平方向の相対位置を表す識別子である。レイヤ水平位置識別子はレイヤ識別子毎に復号され、レイヤ識別子ｉに対応するシンタックスの値はlayer_horz_pos_idx[i]と表現される。layer_horz_pos[i]の値が０の場合、レイヤｉを復号して得られる復号ピクチャが共通の画面内で最も左に位置することを意味する。値がＮの場合、復号ピクチャが共通の画面内で左から（Ｎ＋１）番目に位置することを意味する。例えば、図１で説明した例の場合、高品位画像の左端に位置する部分領域ER00とER10に対応するレイヤであるレイヤ１とレイヤ３に対するレイヤ水平位置識別子の値は０である。また、高品位画像の左から２番目に位置する部分領域ER01とER11に対応するレイヤであるレイヤ２とレイヤ４に対するレイヤ水平位置識別子の値は１である。レイヤ水平位置識別子の値は、非負整数指数ゴロム符号（ue(v)）を復号して得られる。

Ｅ３ｂ：レイヤ垂直位置識別子（layer_vert_pos_idx）・・・レイヤ識別子の示すレイヤの符号化データを復号して得られる復号ピクチャの、レイヤグループ識別子に対応する共通の画面内での垂直方向の相対位置を表す識別子である。詳細については、レイヤ水平位置識別子と同様であり、省略する。

なお、上記のレイヤ水平位置識別子とレイヤ垂直位置識別子は、共にレイヤ復号ピクチャの画面内位置を表す情報である。その意味から、以下では、レイヤ水平位置識別子とレイヤ垂直位置識別子を総称して画面内レイヤ位置情報とも呼ぶ。画面内レイヤ位置情報は、レイヤ水平位置識別子とレイヤ垂直位置識別子の上位概念であり、レイヤ復号ピクチャが前記共通の画像のいずれの部分領域であるかを特定する情報と定義できる。

以上説明したように、符号化データから復号されるレイヤ位置情報には、各レイヤが属するレイヤグループを示すレイヤグループ識別子を含んでいる。加えて、レイヤ位置情報には、画面内レイヤ位置情報（レイヤ水平位置識別子およびレイヤ垂直位置識別子）を含んでいる。したがって、復号したレイヤ位置情報を参照することで、特定のレイヤ（特定のレイヤ識別子を有するVCL NALU）を復号することで得られる復号ピクチャが、どの画面のどの部分領域に対応する画像であるかを判定できる。

上記のレイヤグループ識別子は、共通の画面の部分領域に対応するレイヤの復号ピクチャ（レイヤ復号ピクチャ）の集合であるレイヤグループを定義するための情報である。その意味から、レイヤグループ識別子のことをレイヤグループ情報とも呼ぶ。レイヤグループ情報は、レイヤグループ識別子の上位概念であり、レイヤ復号ピクチャが共通の画像の部分領域であることを判定するための情報と定義できる。

なお、必ずしも全てのレイヤグループ識別子に対して対応する画面が設定されている必要はない。例えば、グループ識別子の値０が、レイヤに対して画面内の復号ピクチャの位置情報が不要であることを示していてもよい。その場合、復号ピクチャの位置情報が不要であるレイヤ（例えば、復号ピクチャが画面全体に対応するレイヤ）に対しては、グループ識別子０の値を設定する。

また、レイヤ位置情報に係るシンタックス構造は、必ずしもVPSに含まれている必要はない。例えば、SEIに含まれていてもよい。また、SPSに含まれていてもよい。SPSに含まれる場合、SPSはレイヤ毎に存在することから、一つのSPSに対して、該SPSを参照するレイヤに対するレイヤグループ識別子の値と画面内の復号ピクチャの位置情報を含む構成とする。

また、図１の例では、レイヤ識別子ｉが１からMaxLayersMinus1の範囲のレイヤに対してレイヤグループ識別子や画面内の復号ピクチャの位置情報を復号すると説明したが、レイヤ識別子の範囲は別の範囲でもよく、別の変数でループを制御してマッピングにより得られたレイヤ識別子に対してレイヤグループ識別子や画面内の復号ピクチャの位置情報を復号してもよい。

（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１（階層画像復号装置）は、レイヤ位置情報を復号するレイヤ位置復号部１２１を備えており、前記レイヤ位置情報は、特定のレイヤの復号ピクチャの画面内での位置を特定する情報を含んでいる。したがって、階層符号化データに含まれる一部のレイヤを抽出することで生成される階層符号化データを復号した場合であっても、レイヤ位置情報を通じて復号されたピクチャの画面内での位置を特定できる。

[変形例１：レイヤ位置情報のバリエーション]
レイヤ位置復号部において復号されるレイヤ位置情報は、上記の図１０を参照して説明したレイヤ位置情報に限らない。例えば、以下に示すレイヤ位置情報を代わりに用いる構成としてもよい。

（変形例１Ａ）
図１１に示すレイヤ位置情報の例では、レイヤ位置復号部１２１は、前述のレイヤ位置存否フラグ、レイヤグループ識別子、レイヤ水平位置識別子、および、レイヤ垂直位置識別子に加えて、次の情報を含んでいる。

Ｅ４：レイヤ単位レイヤ位置存否フラグ（layer_pos_present_flag[i]）・・・レイヤｉ（レイヤ識別子ｉのレイヤ）に対するレイヤグループ識別子と画面内レイヤ位置情報のビットストリーム中での存否を示すフラグであって、値が真（１）の場合には存在することを、偽（０）の場合は存在しないことを表す。レイヤ単位レイヤ位置存否フラグの値は、１ビットのフラグ（u(1)）を復号して得られる。レイヤ単位レイヤ位置存否フラグは、レイヤ位置情報として必須ではないが、レイヤ単位レイヤ位置存否フラグを用いることで特定のレイヤに対してレイヤ位置情報が不要な場合の符号量を削減できる。

（変形例１Ｂ）
図１２に示すレイヤ位置情報の例では、レイヤ位置復号部１２１は、前述のレイヤ位置存否フラグに加えて、以下の情報を含んでいる。

Ｅ５：レイヤグループ数（num_layer_group_minus1）・・・（num_layer_group_minus1+1）の値が定義されるレイヤグループ数を示す。num_layer_group_minus1の値は、非負整数指数ゴロム符号（ue(v)）を復号して得られる。

Ｅ６：グループ単位レイヤ位置存否フラグ（layer_pos_in_group_flag[k]）・・・識別子ｋで特定されるレイヤグループに対して分割領域を表す情報のビットストリーム内での存否を表すフラグであって、値が真（１）の場合には存在することを、偽（０）の場合は存在しないことを表す。グループ単位レイヤ位置存否フラグの値は、１ビットのフラグ（u(1)）を復号して得られる。

Ｅ７：分割領域数・・・画面の分割領域の数を表す情報であって、水平方向の分割領域数を表す水平分割領域数（num_sub_region_horz[k]）と、垂直方向の分割領域数を表す垂直分割領域数（num_sub_region_vert[k]）から構成される。すなわち、レイヤグループｋに対応する画面は、水平分割領域数と垂直分割領域数を乗じて得られる個数の分割領域を含んでいる。なお、分割領域数は、レイヤグループｋに対して分割領域を表す情報が存在する場合（layer_pos_in_group_flag[k]が真の場合）に復号される。水平分割領域数と垂直分割領域数の値はともに非負整数指数ゴロム符号（ue(v)）を復号して得られる。

Ｅ８：レイヤスキャン位置識別子（layer_scan_idx[i]）・・・レイヤｉに対応する復号ピクチャが対応する分割領域の、当該レイヤが属するレイヤグループに対応する画面内での位置をラスタスキャンによるスキャンインデックスで表した量。例えば、画面が田の字状に４分割される場合、左上、右上、左下、右下の分割領域に対して、０、１、２、３のスキャンインデックスがそれぞれ対応する。レイヤスキャン位置識別子は、Ｎビットの２進数で表現された符号（u(v)）を復号して得られる。ここで、Ｎは、レイヤｉに関連付けれたレイヤグループに対応する画面内の分割領域数Ａに基づいて、次式により算出される。「Ｎ＝Ｃｅｉｌ（ｌｏｇ２（Ａ））」。すなわち、Ｎは、Ａの２の対数以上の整数であって最大の整数に設定される。なお、レイヤスキャン位置識別子は、画面内レイヤ位置情報の一表現である。したがって、レイヤスキャン位置識別子の代わりに、前述のレイヤ水平位置識別子とレイヤ垂直位置識別子の組み合わせを用いてもよい。

上記の変形例１Ｂのレイヤ位置情報は分割領域数を含んでいるため、抽出された符号化データ、すなわち一部のレイヤに対応するNALUが除去された符号化データにおいても、レイヤグループに対応する画面内に分割領域数が分かる。また、特定のレイヤグループに対応する分割領域数が明示的に分かるため、画面内レイヤ位置情報（レイヤスキャン位置識別子）をより少ないビットから復号できる。

（変形例１Ｃ）
図１３に示すレイヤ位置情報の例では、レイヤ位置復号部１２１は、前述のレイヤ位置存否フラグとレイヤグループ識別子に加えて、以下の情報を含んでいる。

（Ｅ９）画面内レイヤ位置構造（layer_location()）・・・画面内レイヤ位置を表す情報。例えば、前述のレイヤ水平位置識別子とレイヤ垂直位置識別子の組み合わせ、または、前述のレイヤスキャン位置識別子を含んでいる。また、画面内の復号ピクチャの位置を表現する別の情報を含んでいてもよい。例えば、分割領域左上画素の画面左上隅からの画素単位の変位を含んでいてもよい。

（Ｅ１０）レイヤ形状構造（layer_shape()）・・・復号ピクチャに対応する分割領域の画面内での形状を表す情報。例えば、分割領域が矩形である場合、分割領域の画面上の画素単位での幅や高さを含む。また、分割領域が矩形の場合であって、画面全領域の縦横の方向と、分割領域の縦横の方向が一致しない場合に、分割領域の画面に対する傾きを表す量を含んでもよい。また、分割領域が矩形ではない場合、分割領域の形状を表現する適切なパラメータを含んでいてもよい。

上記の変形例１Ｃとして記載したレイヤ位置情報によれば、分割領域の位置や形状設定の自由度が増加し、より多様な分割領域により分割された場合にも対応できる。

（変形例１Ｄ）
特定の高品位映像の部分領域に対応する全てのレイヤが、同一のレイヤの復号ピクチャをレイヤ間参照ピクチャとして用いる場合、画面内レイヤ位置を省略してもよい。換言すると、同一レイヤグループに属する全ての上位レイヤが、共通のレイヤ復号ピクチャを参照する場合、画面内レイヤ位置を省略してもよい。その場合、各レイヤから参照されるSPSに含まれるレイヤ間画素対応オフセットの値を、該レイヤに対応する画面内レイヤ位置として利用できる。例えば、図９を参照して説明したような構成の場合、特定のレイヤの復号ピクチャの高品位画像内の位置をレイヤ間画素対応オフセットの値から特定できる。画面内レイヤ位置を省略することで、レイヤ位置情報の符号量を低減できる。

なお、同一のレイヤグループに２以上の上位レイヤが含まれる場合、前記２以上の上位レイヤに含まれる全てのレイヤにおいて、レイヤ復号ピクチャの幅とレイヤ間画素水平オフセットの和、および、レイヤ復号ピクチャの高さとレイヤ間画素垂直オフセットの和が等しいことが好ましい。換言すると、同一のレイヤグループに属する任意の２つのレイヤ、レイヤＡとレイヤＢに対して、（１）レイヤＡにおけるレイヤ復号ピクチャの幅とレイヤ間画素水平オフセットの和と、レイヤＢにおけるレイヤ復号ピクチャの幅とレイヤ間画素水平オフセットの和が等しく、かつ、（２）レイヤＡにおけるレイヤ復号ピクチャの高さとレイヤ間画素垂直オフセットの和と、レイヤＢにおけるレイヤ復号ピクチャの高さとレイヤ間画素垂直オフセットの和が等しい、ことが好ましい。
ここで、レイヤ間画素水平オフセットの値は、拡大参照レイヤ左オフセットと拡大参照レイヤ右オフセットの和であり、レイヤ間画素垂直オフセットの値は、拡大参照レイヤ上オフセットと拡大参照レイヤ下オフセットの和である。このようにレイヤ間画素オフセットの値を設定することで、同一のレイヤグループに属する全てのレイヤに対して同一のスケールを設定し、該スケールに基づいて共通の参照レイヤピクチャを用いたレイヤ間予測により予測画像が生成できる。同一のスケールが設定できる理由は、例えば水平方向のスケールが、レイヤ復号ピクチャの幅とレイヤ間画素水平オフセットの和と、参照レイヤピクチャの幅との比により決定されるためである。

[変形例２：レイヤセットとの関係]
レイヤ位置情報として各レイヤが属するレイヤグループを示すレイヤグループ情報として、レイヤグループ識別子を例に挙げて説明したが、別のレイヤの集合を表す情報を用いてレイヤグループ情報を表現することで、レイヤグループ識別子を省略することもできる。例えば、パラメータセットから復号される各出力レイヤセットに対して、レイヤグループとして利用するか否かのフラグ（レイヤグループフラグ）を復号し、フラグがレイヤグループとして利用することを示す場合、対応する出力レイヤセットのレイヤグループとしてもよい。この場合、パラメータセットに含まれる出力レイヤセットの定義情報と、前記のレイヤグループフラグの組み合わせがレイヤグループ情報となる。レイヤグループに含まれるレイヤの集合を定義する情報を、出力レイヤセットの定義情報で代替できるため、レイヤ位置情報の符号量を低減できる。

[付記事項１：レイヤグループの制約]
変換処理により同一のレイヤグループに属するレイヤの一部を選択して抽出する場合、前述のレイヤグループ識別子には制約が必要となる。具体的には、同一のレイヤグループに含まれるレイヤ間では、直接または間接的にレイヤ間予測を実行してはならない、という制約が必要となる。つまり、レイヤＡとレイヤＢが同一のレイヤグループ識別子に関連付けられている場合、レイヤＡはレイヤＢの直接参照レイヤ（direct reference layer）または間接参照レイヤ（indirect reference layer）であってはならず、また、レイヤＢはレイヤＡの直接参照レイヤまたは間接参照レイヤであってはならない。このような制約を設けることで、同一レイヤグループ内の一部のレイヤを抽出した場合であっても、抽出されたレイヤと抽出されなかった別のレイヤとの依存関係が無いため、抽出されたレイヤを復号できる。

（階層動画像符号化装置の構成）
図１４を用いて、階層動画像符号化装置２の概略構成を説明する。図１４は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みとする。

図１４に示すように階層動画像符号化装置２は、ＮＡＬ多重化部２１、ＰＳ符号化部２２、スライス符号化部２４、復号ピクチャ管理部１６、および、参照レイヤ復号部２５を備える。ＰＳ符号化部２２は、内部にレイヤ位置符号化部２２１を含む。

ＮＡＬ多重化部２１は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをNALUに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。

ＰＳ符号化部２２は、入力画像に基づいて、入力画像の符号化に用いるパラメータセット（VPS、SPS、および、PPS）を設定して、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部としてVCL NALの形式でパケット化してNAL多重化部２１に供給する。

レイヤ位置符号化部２２１は、階層動画像復号装置１が含むレイヤ位置復号部１２１に対応する構成要素である。レイヤ位置符号化部２２１は、レイヤ位置情報を符号化する。レイヤ位置情報として、例えば、レイヤ位置復号部１２１で図１０を参照して説明したレイヤ位置情報を利用できる。また、変形例１で説明した各種のレイヤ間位置情報を利用してもよい。ただし、出力する階層符号化データを復号する階層動画像復号装置で復号するレイヤ位置情報と同じレイヤ位置情報を符号化する必要がある。

スライス符号化部２４は、入力される入力画像、パラメータセット、および、復号ピクチャ管理部１６に記録されている参照ピクチャに基づいて、ピクチャを構成するスライスに対応する入力画像の一部を符号化して、当該部分の符号化データを生成し、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部としてNAL多重化部２１に供給する。

参照レイヤ復号部２５は、入力される参照レイヤ符号化データを復号して、ベース復号ピクチャを復号して出力する。既に説明した階層動画像復号装置１を、参照レイヤ復号部２５として利用できる。

復号ピクチャ管理部１６は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１６と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１６では、内部のDPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１６の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１６にも適用できる。

（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２（階層画像符号化装置）は、レイヤ位置情報を符号化するレイヤ位置符号化部２２１を備えており、前記レイヤ位置情報は、特定のレイヤの復号ピクチャの画面内での位置を特定する情報を含んでいる。したがって、階層動画像符号化装置２で生成された階層符号化データを復号する際に、レイヤ位置情報を通じて復号されたピクチャの画面内での位置を特定できる。

〔階層符号化データ変換装置３〕
図１５を用いて、階層符号化データ変換装置３の概略構成を説明する。図１５は、階層符号化データ変換装置３の概略的構成を示した機能ブロック図である。階層符号化データ変換装置３は、入力される階層符号化データDATAを変換して、入力される注目領域情報に係る階層符号化データDATA-ROIを生成する。なお、階層符号化データＤＡＴＡは階層動画像符号化装置２により生成された階層符号化データである。また、階層符号化データDATA-ROIを階層動画像復号装置１に入力することで注目領域情報に係る上位レイヤの動画像を再生できる。

図１５に示すように、階層符号化データ変換装置３は、ＮＡＬ逆多重化部１１、ＮＡＬ多重化部２１、ＰＳ復号部１２、レイヤ選択部３２を含む。ＰＳ復号部１２は内部にレイヤ位置復号部１２１を含む。

ＮＡＬ逆多重化部１１、ＰＳ復号部１２、レイヤ位置復号部１２１は、それぞれ、階層動画像復号装置１が含む同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。

ＮＡＬ多重化部２１は、階層動画像符号化装置２が含む同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。

注目領域情報は、動画像を構成するピクチャにおいて、ユーザー（例えば再生動画像の視聴者）が指定するピクチャの部分領域である。注目領域情報は、例えば矩形の領域で指定される。その場合、例えば、注目領域を表わす矩形の上辺、下辺、左辺、右辺のピクチャ全体の対応する辺（上辺、下辺、左辺、または、右辺）からの位置のオフセットを注目領域情報として指定できる。なお、矩形以外の形状の領域（例えば、円、多角形、物体抽出により抽出した物体を示す領域）を注目領域として使用してもよいが、以下では説明の簡単のため矩形の注目領域を想定する。なお、矩形以外の領域に対して、以下に記載する内容を適用する場合、例えば、注目領域を包含する面積最小の矩形を以下の説明における注目領域とみなして適用できる。

レイヤ選択部３２は、入力される注目領域情報の示す注目領域に対応するレイヤを、入力されるレイヤ位置情報とパラメータセットに基づいて選択して、選択したレイヤに対応する階層符号化データの部分データを抽出する。ここで、部分データの抽出は、選択されたレイヤ識別子の集合に含まれるレイヤ識別子の付与された階層符号化データに含まれるNALUから選択し、それ以外のNALUを破棄する。

注目領域情報とレイヤ位置情報に基づくレイヤ識別子の選択は、以下の手順で実行される。
（Ｓ２０１）まず、レイヤ位置情報に含まれるレイヤグループ識別子を参照して、高品位画像に対応するレイヤグループに含まれるレイヤ識別子の集合を決定する。
（Ｓ２０２）次に、レイヤ位置情報に含まれる画面内位置情報、および、パラメータセットに含まれる各レイヤの復号ピクチャサイズを参照して、Ｓ２０１で選択したレイヤ識別子に対応する各レイヤの復号ピクチャが対応する画面内の部分領域の位置を決定する。
（Ｓ２０３）次に、注目領域と重複する領域を持つ全ての部分領域に対応するレイヤを選択して、抽出対象のレイヤ識別子の集合とする。
（Ｓ２０４）最後に、パラメータセットを参照して、選択したレイヤが参照するレイヤのレイヤ識別子を、Ｓ２０３で生成した抽出対象のレイヤ識別子の集合に追加する。

（階層符号化データ変換処理フロー）
階層符号化データ変換装置３による階層符号化データ変換処理は、以下に示す手順を順次実行することで実現される。

（Ｓ５０１）NAL逆多重化部１１は、入力された階層符号化データDATAを逆多重化する。得られた対象レイヤ符号化データDATA#Tのうち、非VCL NALUをパラメータ復号部１２とレイヤ選択部３２に出力して、VCL NALUはレイヤ選択部３２に出力する。

（Ｓ５０２）ＰＳ復号部１２は、入力された非VCL NALUからパラメータセット（VPS、SPS、PPS）およびレイヤ位置情報を復号して、レイア選択部３２に出力する。

（Ｓ５０３）レイヤ選択部３２は、入力される注目領域情報、パラメータセット、および、レイヤ位置情報に基づいて抽出対象のレイヤ識別子の集合を決定し、該レイア識別子の集合に含まれるレイヤ識別子を持つVCL NALUおよび非VCL NALUを選択してＮＡＬ多重化部２１に出力する。

（Ｓ５０４）ＮＡＬ多重化部２１は、入力されるVCL NALUと非VCL NALUを多重化して、階層符号化データDATA-ROIとして外部に出力する。

（階層符号化データ変換装置３の効果）
以上説明した本実施形態に係る階層符号化データ変換装置３は、レイヤ位置情報を復号するレイヤ位置復号部１２１を備えており、前記レイヤ位置情報は、各レイヤの復号ピクチャの画面内での位置を特定する情報を含んでいる。階層符号化データ変換装置３は、レイヤ位置情報に基づいて、注目領域に対応するレイヤを選択して、選択したレイヤに対応する符号化データを抽出することで、注目領域に対応する階層符号化データを生成する。したがって、階層符号化データ変換装置３によれば、階層符号化データのビデオ符号化レイヤの情報の書き換えを必要としない軽量な処理により、注目領域に対応する階層符号化データを生成できる。

〔領域再生装置と注目領域表示システム〕
上述した階層動画像復号装置１を用いて実現できる領域再生装置４について、領域再生装置４、階層動画像符号化装置２、及び、階層符号化データ変換装置３を組み合わせて実現される注目領域情報表示システム（注目領域表示システムＳＹＳ）と合わせて説明する。

図１６を参照して、領域再生装置４および注目領域表示システムＳＹＳを説明する。図１６は、領域再生装置４、および、注目領域表示システムＳＹＳの構成を示したブロック図である。注目領域表示システムＳＹＳは、概略的には、品質の異なる入力画像を階層符号化して蓄積しておき、ユーザーからの注目領域情報に応じて蓄積された階層符号化データを変換して提供し、変換した階層符号化データを復号することで注目領域（ＲＯＩ）に係る高品質の再生画像を表示する。領域再生装置４は、概略的には、注目領域に相当する階層符号化データを入力として受け取り、該階層符号化データに含まれる各レイヤを再生して得られる復号ピクチャを、レイヤ位置情報に基づいて画面の適切な位置に配置して表示する。

図１６に示すように、注目領域表示システムＳＹＳは、階層動画像符号化部ＳＹＳ１Ａ、階層動画像符号化部ＳＹＳ１Ｂ、階層符号化データ蓄積部ＳＹＳ２、階層符号化データ変換部ＳＹＳ３、ＲＯＩ通知部ＳＹＳ４、および、領域再生装置４を構成要素として含む。領域再生装置４は、階層動画像復号部４１、表示制御部４２、表示部４３を構成要素として含む。

階層動画像符号化部ＳＹＳ１Ａ、ＳＹＳ１Ｂには、前述の階層動画像符号化装置２を利用できる。

階層符号化データ蓄積部ＳＹＳ２は、階層符号化データを蓄積し、要求に応じて階層符号化データを供給する。階層符号化データ蓄積部ＳＹＳ２として、記録媒体（メモリ、ハードディスク、光学ディスク）を備えたコンピュータが利用できる。

階層符号化データ変換部ＳＹＳ３には、前述の階層符号化データ変換装置３が利用できる。

ＲＯＩ通知部ＳＹＳ４は、所定の方法でユーザーが指定した注目領域情報を通知する。例えば、ユーザーは全体表示画像が表示された表示領域上で、注目領域に相当する領域を指定することでＲＯＩ通知部に注目領域を伝えることができる。なお、ＲＯＩ通知部ＳＹＳ８は、ユーザーの指定がない場合は、注目領域が全体であることを示す情報を注目領域情報として通知する。

階層動画像復号部４１には、前述の階層動画像復号装置１が利用できる。階層動画像復号部４１は、入力として階層符号化データを受け取って、該階層符号化データに含まれる各レイヤの復号ピクチャを出力する。また、合わせて、レイヤ位置情報を復号して出力する。

表示制御部４２は、レイヤ位置情報に基づいて、各レイヤの復号ピクチャを表示画面に配置して、表示画像として表示部４３に出力する。

表示部４３は、入力された表示画像を表示領域に表示する。例えば、表示領域はテレビの画面、スマートフォンの画面、タブレットの画面である。

（注目領域表示システムのフロー）
注目領域表示システムによる処理は、階層符号化データ生成蓄積処理と注目領域データ生成再生処理に分けることができる。

階層符号化データ生成蓄積処理では、異なる品質の入力画像から階層符号化データを生成して蓄積する。階層符号化データ生成蓄積処理は、Ｔ１０１からＴ１０３の手順で実行される。

（Ｔ１０１）階層動画像符号化部ＳＹＳ１Ｂは、入力される低品質の入力画像を符号化し、生成された階層符号化データを階層動画像符号化部ＳＹＳ１Ａに供給する。つまり、階層動画像符号化部ＳＹＳ１Ｂは、入力画像から、階層動画像符号化部ＳＹＳ１Ａにおいて参照レイヤ（下位レイヤ）として使用される階層符号化データを生成して出力する。

（Ｔ１０２）階層動画像符号化部ＳＹＳ１Ａは、入力される高品質の入力画像を、入力された階層符号化データを参照レイヤの符号化データとして符号化し、階層符号化データを生成して階層符号化データ蓄積部ＳＹＳ２に出力する。

（Ｔ１０３）階層符号化データ蓄積部ＳＹＳ２は、入力された階層符号化データに適切なインデックスを付けて内部の記録媒体に記録する。

注目領域データ生成再生処理では、階層符号化データ蓄積部ＳＹＳ２から階層符号化データを読み出し、注目領域に相当する階層符号化データに変換し、変換した階層符号化データを復号して再生及び表示する。注目領域データ生成再生処理は、以下のＴ２０１〜Ｔ２０７の手順で実行される。

（Ｔ２０１）ユーザーの選択した動画像に関する階層符号化データが階層符号化データ蓄積部ＳＹＳ２から階層符号化データ変換部ＳＹＳ３に供給される。

（Ｔ２０２）ＲＯＩ通知部ＳＹＳ４は、ユーザーの指定した注目領域情報を階層符号化データ変換部ＳＹＳ３に通知する。

（Ｔ２０３）階層符号化データ変換部ＳＹＳ３は、入力された注目領域情報に基づいて、入力された階層符号化データを変換して、領域再生装置４に出力する。

（Ｔ２０４）領域再生装置４に入力された変換後の階層符号化データは、階層動画像復号部４１に入力される。階層動画像復号部４１は、入力された変換後の階層動画像符号化データを復号して、各上位レイヤ復号ピクチャとレイヤ位置情報を表示制御部４２に出力する。

（Ｔ２０５）表示制御部４２は、入力されたレイヤ位置情報に基づいて、入力された各レイヤ復号ピクチャを配置して表示画像を作成して表示部４３に出力する。

（注目領域表示システムＳＹＳと領域再生装置４の効果）
以上説明した本実施形態に係る注目領域表示システムＳＹＳは、ＲＯＩ通知部ＳＹＳ４と、階層符号化データ変換部ＳＹＳ３と領域再生装置４を備えている。したがって、注目領域表示システムでは、指定された注目領域に応じて階層符号化データを変換して、該変換後の階層符号化データを復号して注目領域に対応する表示画像を生成して表示できる。その際、階層符号化データの変換は、注目領域に基づき決定されるレイヤを選択して抽出することで実現できるため、容易に実行できる。

以上説明した本実施形態に係る領域再生装置４は、階層動画像復号部４１と表示制御部４２を備えている。表示制御部４２では、レイヤ毎の復号ピクチャをレイヤ位置情報に基づき適切に配置して表示画像を生成できる。領域再生装置４は、外部の手段（例えばＲＯＩ通知部）から、復号ピクチャの配置に関する情報を受け取ることなく、レイヤ抽出により変換された階層符号化データのみから表示画像を構成できるため、様々な注目領域表示システムに柔軟に組み込むことができる。

（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

図１７に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図１７の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。

図１７の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図１７の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図１７の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図１７の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図１７の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

図１８に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図１８の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。

図１８の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図１８の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図１８の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図１８の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図１８の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。

（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。

１ 階層動画像復号装置（画像復号装置）
１１ ＮＡＬ逆多重化部
１２ ＰＳ復号部
１２１ レイヤ位置復号部
１４ スライス復号部
１６ 復号ピクチャ管理部
２ 階層動画像符号化装置（画像符号化装置）
２１ ＮＡＬ多重化部
２２ ＰＳ符号化部
２２１ レイヤ位置符号化部
２４ スライス符号化部
２５ 参照レイヤ復号部
３ 階層符号化データ変換装置
３２ レイヤ選択部
４ 領域再生装置
４１ 階層動画像復号部
４２ 表示制御部
４３ 表示部
ＳＹＳ 注目領域表示システム

Claims (10)

1. 階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、
   レイヤ位置情報を復号するレイヤ位置復号部を備え、
   前記レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含むことを特徴とする画像復号装置。
2. 前記画面内レイヤ位置情報は、画面内でのレイヤ復号ピクチャに対応する部分領域の水平位置を特定するレイヤ水平位置識別子と、画面内でのレイヤ復号ピクチャに対応する部分領域の垂直位置を特定するレイヤ垂直位置識別子であることを特徴とする、請求項１に記載の画像復号装置。
3. 共通のレイヤグループに属する２以上の上位レイヤが共通の参照レイヤを持つ場合に、
   前記画面内レイヤ位置情報は、各上位レイヤに関連付けられたレイヤ間画素オフセットであることを特徴とする、請求項１に記載の画像復号装置。
4. 前記２以上の上位レイヤに含まれる全てのレイヤにおいて、レイヤ復号ピクチャの幅とレイヤ間画素水平オフセットの和、および、レイヤ復号ピクチャの高さとレイヤ間画素垂直オフセットの和が等しいことを特徴とする、請求項３に記載の画像復号装置。
5. 前記レイヤグループ情報は、出力レイヤセット定義と、出力レイヤセット毎に復号されるレイヤグループフラグとの組み合わせであることを特徴とする、請求項１から請求項４に記載の画像復号装置。
6. 前記レイヤグループ情報は、各上位レイヤ毎に復号されるレイヤグループ識別子であることを特徴とする、請求項１から請求項４に記載の画像復号装置。
7. 前記レイヤ位置情報は、少なくとも１以上のレイヤに対して、前記画面内レイヤ位置情報と前記レイヤグループ情報を復号するか否かを示すレイヤ位置存否フラグを含むことを特徴とする、請求項１から請求項６に記載の画像復号装置。
8. 入力画像を複数の部分領域に分割し、各部分領域に対応する上位レイヤの符号化データを生成する画像符号化装置であって、
   レイヤ位置情報を符号化するレイヤ位置符号化部を備え、
   前記レイヤ位置符号化部は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含むことを特徴とする画像符号化装置。
9. 入力される階層符号化データを入力される注目領域情報に基づいて変換し、変換後の階層符号化データを出力する階層符号化データ変換装置であって、
   レイヤ位置情報を復号するレイヤ位置復号部と、
   階層符号化データから注目領域情報に基づいて所定のレイヤを抽出することで、注目領域に対応する階層符号化データを生成するレイヤ選択部を備え、
   前記レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含み、
   前記レイヤ選択部は、注目領域情報の示す注目領域と重複する部分領域に対応するレイヤを前記レイヤ位置情報に基づいて選択することで抽出を行うことを特徴とする階層符号化データ変換装置。
10. 入力される階層符号化データから表示画像を生成して再生する領域再生装置であって、
    階層符号化データを復号して、階層符号化データに含まれるレイヤ毎の復号ピクチャとレイヤ位置情報を復号する階層動画像復号部と、
    前記レイヤ位置情報に基づいて、レイヤ毎の復号ピクチャを配置して表示画像を生成する表示制御部を備え、
    前記レイヤ位置情報は、レイヤ復号ピクチャが共通の画面の部分領域であることを判定するための情報であるレイヤグループ情報、および、レイヤ復号ピクチャが前記共通の画面のいずれの部分領域であるかを特定する情報である画面内レイヤ位置情報を含むことを特徴とする領域再生装置。