JP2016184844A - 画像処理装置および方法 - Google Patents

Abstract

【課題】画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができるようにする。【解決手段】画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行うようにする。例えば、画像処理装置において、画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行うデータ変更部を備えるようにする。本開示は、例えば、画像処理装置または画像符号化装置等に適用することができる。【選択図】図１１

Description

本開示は、画像処理装置および方法に関し、特に、画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができるようにした画像処理装置および方法に関する。

従来、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像データを複数レイヤ化（階層化）して符号化する階層符号化があった（例えば、特許文献１および非特許文献１参照）。

また、画像データを即時的に（リアルタイムに）符号化して伝送するシステムに、この階層符号化を用いることも考えられた。階層符号化の場合、符号化するレイヤを選択することにより、生成する符号化データのデータ量を容易に制御することができるので、伝送路の帯域変動に対応させやすい特徴がある。

特開２００７−０８１９８３号公報

Jill Boyce, Jianle Chen, Ying Chen, David Flynn, Miska M. Hannuksela, Matteo Naccari, Chris Rosewarne, Karl Sharman, Joel Sole, Gary J. Sullivan, Teruhiko Suzuki, Gerhard Tech, Ye-Kui Wang, Krzysztof Wegner, Yan Ye, "Draft high efficiency video coding (HEVC) version 2, combined format range extensions (RExt), scalability (SHVC), and multi-view (MV-HEVC) extensions", JCTVC-R1013_v6, 2014.10.1

しかしながら、階層符号化におけるレイヤ制御が伝送時の符号化データのデータ量に影響するまでには、そのレイヤ制御の下で画像データが階層符号化され、生成された符号化データが伝送するまでの時間が必要になる。つまり、階層符号化におけるレイヤ制御により伝送する符号化データのデータ量制御を行う方法では、データ量制御に遅延が生じてしまうおそれがあった。また、この方法の場合、符号化するレイヤ数を低減させると、その符号化するレイヤ数を次のIDRピクチャまで増大させることが困難であった。つまり、データ量制御に遅延が生じてしまうおそれがあった。このようなデータ量制御の遅延により、伝送路の帯域変動に追従できなくなるおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができるようにするものである。

本技術の一側面は、画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行うデータ変更部を備える画像処理装置である。

前記データ変更部は、前記符号化データのデータ量が伝送媒体の帯域制限に基づく上限を越える場合、前記データ変更を行うことができる。

前記データ変更部は、前記符号化データのデータ量が前記上限以下となるまで、最上位レイヤから順に各エンハンスメントレイヤについて前記データ変更を行うことができる。

前記階層符号化における参照方向をレイヤ間に制限する参照制限部をさらに備えることができる。

前記参照制限部は、カレントピクチャのカレントレイヤの参照先において前記データ変更が行われた場合、次に前記階層符号化されるピクチャの前記カレントレイヤの参照方向をレイヤ間に制限することができる。

前記参照制限部は、前記階層符号化における参照関係を示す情報に基づいて前記カレントピクチャの前記カレントレイヤの参照先を特定し、前記参照先において前記データ変更が行われたか否かを判定することができる。

前記参照関係を示す情報は、各レイヤの参照先を、レイヤ番号と参照元からの相対時刻とで示す情報を含むことができる。

前記データ変更部によりデータ変更された前記符号化データを伝送する伝送部をさらに備えることができる。

前記画像データを階層符号化する符号化部をさらに備え、前記データ変更部は、前記符号化部により階層符号化された符号化データに対して前記データ変更を行うことができる。

前記符号化部は、画像データを階層化し、各レイヤの画像データを再帰的に分割されたブロック構造にして符号化し、各レイヤの符号化データを多重化することができる。

前記符号化部は、各レイヤの符号化において、伝送媒体の帯域制限に基づいて、符号化データのデータ量を制御することができる。

前記符号化部は、前記伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てることができる。

前記符号化部は、前記伝送媒体の帯域制限に応じて、より上位のレイヤから順にデータ量を所定の下限まで制限することができる。

前記符号化部は、各レイヤの符号化において、前記伝送媒体の帯域制限の変動の程度に応じた方法で、前記符号化データのデータ量を制御することができる。

前記符号化部は、前記伝送媒体の帯域制限の変動が緩やかな場合、前記伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てることができる。

前記符号化部は、前記伝送媒体の帯域制限の変動が急激な場合、前記伝送媒体の帯域制限に応じて、より上位のレイヤから順にデータ量を所定の下限まで制限することができる。

本技術の一側面は、また、画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行う画像処理方法である。

本技術の一側面においては、画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更が行われる。

本開示によれば、画像データを符号化することができる。特に、画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができる。

SHVCにおけるCUについての再帰的なブロック分割の概要を説明するための説明図である。 図１に示したCUへのPUの設定について説明するための説明図である。 図１に示したCUへのTUの設定について説明するための説明図である。 CU／PUの走査順について説明するための説明図である。 画像伝送システムの主な構成例を示すブロック図である。 階層符号化における参照関係の例を説明する図である。 階層符号化のレイヤ制御の様子の例を説明する図である。 データ変更の様子の例を説明する図である。 エンコードモジュールの主な構成例を示すブロック図である。 符号化部の主な構成例を示すブロック図である。 伝送判断モジュールの主な構成例を示すブロック図である。 参照関係補助情報を説明する図である。 デコードモジュールの主な構成例を示すブロック図である。 復号部の主な構成例を示すブロック図である。 画像送信処理の流れの例を説明するフローチャートである。 階層符号化処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 伝送判断処理の流れの例を説明するフローチャートである。 画像受信処理の流れの例を説明するフローチャートである。 階層復号処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 データ量制御の様子の例を説明する図である。 エンコードモジュールのレート制御の例を説明する図である。 エンコードモジュールのレート制御の他の例を説明する図である。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像伝送システム）
２．第２の実施の形態（画像伝送システム）
３．第３の実施の形態（コンピュータ）

＜１．第１の実施の形態＞
＜符号化方式＞
以下においては、画像データをHEVC（High Efficiency Video Coding）方式をスケーラブル拡張したSHVC（Scalable High-efficiency Video Coding）で符号化して、その符号化データを伝送する際の制御に適用する場合を例に、本技術を説明する。

＜ブロック分割＞
MPEG2（Moving Picture Experts Group 2(ISO/IEC 13818-2)）又はH.264及びMPEG-4 Part10（以下、AVC（Advanced Video Coding）と称する）などの旧来の画像符号化方式では、符号化処理は、マクロブロックと呼ばれる処理単位で実行される。マクロブロックは、16x16画素の均一なサイズを有するブロックである。これに対し、HEVCでは、符号化処理は、CU（Coding Unit）と呼ばれる処理単位（符号化単位）で実行される。CUは、最大符号化単位であるLCU（Largest Coding Unit）を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。選択可能なCUの最大サイズは、64x64画素である。選択可能なCUの最小サイズは、8x8画素である。最小サイズのCUは、SCU（Smallest Coding Unit）と呼ばれる。

このように、可変的なサイズを有するCUが採用される結果、HEVCでは、画像の内容に応じて画質及び符号化効率を適応的に調整することが可能である。予測符号化のための予測処理は、PU（Prediction Unit）と呼ばれる処理単位（予測単位）で実行される。PUは、CUをいくつかの分割パターンのうちの１つで分割することにより形成される。さらに、直交変換処理は、TU（Transform Unit）と呼ばれる処理単位（変換単位）で実行される。TUは、CU又はPUをある深さまで分割することにより形成される。

＜再帰的なブロックの分割＞
図１は、HEVCにおけるCUについての再帰的なブロック分割の概要を説明するための説明図である。CUのブロック分割は、1つのブロックの4（=2x2）個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状のツリー構造が形成される。１つの四分木の全体をCTB（Coding Tree Block）といい、CTBに対応する論理的な単位をCTU（Coding Tree Unit）という。

図１の上部には、一例として、64x64画素のサイズを有するCUであるＣ０１が示されている。Ｃ０１の分割の深さは、ゼロに等しい。これは、Ｃ０１がCTUのルートでありLCUに相当することを意味する。LCUサイズは、SPS（Sequence Parameter Set）又はPPS（Picture Parameter Set）において符号化されるパラメータにより指定され得る。CUであるＣ０２は、Ｃ０１から分割される４つのCUのうちの１つであり、32x32画素のサイズを有する。Ｃ０２の分割の深さは、１に等しい。CUであるＣ０３は、Ｃ０２から分割される４つのCUのうちの１つであり、16x16画素のサイズを有する。Ｃ０３の分割の深さは、２に等しい。CUであるＣ０４は、Ｃ０３から分割される４つのCUのうちの１つであり、8x8画素のサイズを有する。Ｃ０４の分割の深さは、３に等しい。このように、CUは、符号化される画像を再帰的に分割することにより形成される。分割の深さは、可変的である。例えば、青空のような平坦な画像領域には、より大きいサイズの（即ち、深さが小さい）CUが設定され得る。一方、多くのエッジを含む急峻な画像領域には、より小さいサイズの（即ち、深さが大きい）CUが設定され得る。そして、設定されたCUの各々が、符号化処理の処理単位となる。

＜CUへのPUの設定＞
PUは、イントラ予測及びインター予測を含む予測処理の処理単位である。PUは、CUをいくつかの分割パターンのうちの１つで分割することにより形成される。図２は、図１に示したCUへのPUの設定について説明するための説明図である。図２の右には、2Nx2N、2NxN、Nx2N、NxN、2NxnU、2NxnD、nLx2N及びnRx2Nという、８種類の分割パターンが示されている。これら分割パターンのうち、イントラ予測では、2Nx2N及びNxNの２種類が選択可能である（NxNはSCUでのみ選択可能）。これに対してインター予測では、非対称動き分割が有効化されている場合に、８種類の分割パターンの全てが選択可能である。

＜CUへのTUの設定＞
TUは、直交変換処理の処理単位である。TUは、CU（イントラCUについては、CU内の各PU）をある深さまで分割することにより形成される。図３は、図１に示したCUへのTUの設定について説明するための説明図である。図３の右には、Ｃ０２に設定され得る１つ以上のTUが示されている。例えば、TUであるＴ０１は、32x32画素のサイズを有し、そのTU分割の深さはゼロに等しい。TUであるＴ０２は、16x16画素のサイズを有し、そのTU分割の深さは１に等しい。TUであるＴ０３は、8x8画素のサイズを有し、そのTU分割の深さは２に等しい。

上述したCU、PU及びTUといったブロックを画像に設定するためにどのようなブロック分割を行うかは、典型的には、符号化効率を左右するコストの比較に基づいて決定される。エンコーダは、例えば１つの2Mx2M画素のCUと、４つのMxM画素のCUとの間でコストを比較し、４つのMxM画素のCUを設定した方が符号化効率が高いならば、2Mx2M画素のCUを４つのMxM画素のCUへと分割することを決定する。

＜CUとPUの走査順＞
画像を符号化する際、画像（又はスライス、タイル）内に格子状に設定されるCTB（又はLCU）が、ラスタスキャン順に走査される。１つのCTBの中では、CUは、四分木を左から右、上から下に辿るように走査される。カレントブロックを処理する際、上及び左の隣接ブロックの情報が入力情報として利用される。図４は、CUとPUの走査順について説明するための説明図である。図４の左上には、１つのCTBに含まれ得る４つのCUである、Ｃ１０、Ｃ１１、Ｃ１２及びＣ１３が示されている。各CUの枠内の数字は、処理の順序を表現している。符号化処理は、左上のCUであるＣ１０、右上のCUであるＣ１１、左下のCUであるＣ１２、右下のCUであるＣ１３の順で実行される。図４の右には、CUであるＣ１１に設定され得るインター予測のための１つ以上のPUが示されている。図４の下には、CUであるＣ１２に設定され得るイントラ予測のための１つ以上のPUが示されている。これらPUの枠内の数字に示したように、PUもまた、左から右、上から下に辿るように走査される。

以下において、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。

＜画像伝送システム＞
図５は、本技術を適用した画像処理装置の一態様である画像送信装置を用いた画像伝送システムの主な構成の一例を示すブロック図である。図５に示される画像伝送システム１００は、画像データを符号化して得られた符号化データをネットワーク１０２を介して伝送するシステムである。

図５に示されるように、画像伝送システム１００は、ネットワーク１０２を介して互いに通信可能に接続される画像送信装置１０１および画像受信装置１０３を有する。

画像送信装置１０１は、即時的に（リアルタイムに）、入力される画像データを符号化して符号化データを生成して、ネットワーク１０２を介して画像受信装置１０３に送信する。画像送信装置１０１は、例えば、エンコードモジュール１１１、伝送判断モジュール１１２、伝送モジュール１１３、および伝送制御部１１４を有する。

エンコードモジュール１１１は、入力される画像データを所定のパラメータについてスケーラビリティ（scalability）機能を有するように、複数レイヤ化（階層化）して符号化する。このような符号化を階層符号化とも称する。また、このような階層符号化により生成される符号化データを階層画像符号化ストリームとも称する。

なお、エンコードモジュール１１１が、伝送路となるネットワーク１０２についての伝送可能な帯域に関する情報を、伝送制御部１１４から取得し、その情報（伝送可能帯域とも称する）に基づいて、階層符号化におけるレイヤ数の制御や、各レイヤの符号化におけるレート制御を行うようにしてもよい。また、エンコードモジュール１１１が、インター予測における参照方向の制限に関する情報を、伝送判断モジュール１１２から取得し、その情報（参照の制限とも称する）に基づいて、インター予測における参照方向の制限を適宜行うようにしてもよい。

エンコードモジュール１１１は、入力される画像データを逐次階層符号化して階層画像符号化ストリームを生成し、生成した階層画像符号化ストリームを逐次伝送判断モジュール１１２に供給する。なお、エンコードモジュール１１１が、その階層符号化のインター予測におけるピクチャ間やレイヤ間の参照関係に関する情報（参照関係補助情報とも称する）を生成し、生成した参照関係補助情報を伝送判断モジュール１１２に供給するようにしてもよい。

伝送判断モジュール１１２は、エンコードモジュール１１１から供給された階層画像符号化ストリームを伝送可能な状態にするための処理を行う。例えば、伝送判断モジュール１１２は、階層画像符号化ストリームを伝送可能なデータ量（ビットレート）にするためのデータ変更を行う。このデータ変更の詳細については後述する。

なお、伝送判断モジュール１１２が、伝送制御部１１４から供給される伝送可能帯域に基づいて、そのデータ変更を行うようにしてもよい。また、伝送判断モジュール１１２が、エンコードモジュール１１１から供給される参照関係補助情報に基づいて、そのデータ変更を行うようにしてもよい。さらに、伝送判断モジュール１１２が、伝送モジュール１１３から供給される送信結果に関する情報（送信結果とも称する）を記憶するようにしてもよい。

伝送判断モジュール１１２は、データ変更を行った階層画像符号化ストリーム、若しくは、データ変更を行う必要がなかった階層画像符号化ストリームを、逐次、伝送モジュール１１３に供給する。また、伝送判断モジュール１１２は、データ変更に関する制御に従って参照の制限を生成し、それをエンコードモジュール１１１に供給するようにしてもよい。

伝送モジュール１１３は、符号化データの送信に関する処理を行う。例えば、伝送モジュール１１３は、伝送判断モジュール１１２から供給される階層画像符号化ストリームを、逐次、ネットワーク１０２に送信する（画像送信装置１０１から出力する）。なお、伝送モジュール１１３が、伝送制御部１１４から供給される伝送可能帯域に応じて、階層画像符号化ストリームの伝送（送信）を制御するようにしてもよい。

伝送制御部１１４は、階層画像符号化ストリームの伝送路（伝送媒体）となるネットワーク１０２についての伝送可能帯域を、エンコードモジュール１１１、伝送判断モジュール１１２、および伝送モジュール１１３に供給する。この伝送可能帯域は、ネットワーク１０２の利用可能な帯域幅（つまり伝送可能なビットレートの上限）を示す。つまり、エンコードモジュール１１１、伝送判断モジュール１１２、および伝送モジュール１１３は、この伝送制御部１１４から供給される伝送可能帯域に基づいて、ネットワーク１０２の利用可能な帯域幅（つまり伝送可能なビットレートの上限）を把握することができる。

なお、伝送制御部１１４が、ネットワーク１０２の利用可能な帯域幅（つまり伝送可能なビットレートの上限）を把握する方法は任意である。例えば、ネットワーク１０２の帯域を管理する他の装置からその情報を取得するようにしてもよいし、画像受信装置１０３から供給される階層画像符号化ストリームの伝送に対する応答に基づいて算出するようにしてもよいし、その他の方法であってもよい。

なお、伝送制御部１１４が、このような伝送可能帯域を、くりかえし、エンコードモジュール１１１、伝送判断モジュール１１２、および伝送モジュール１１３に供給するようにしてもよい。例えば、伝送制御部１１４が、定期的に若しくは不定期に、その時点のネットワーク１０２の利用可能な帯域幅（つまり伝送可能なビットレートの上限）を示す伝送可能帯域をエンコードモジュール１１１、伝送判断モジュール１１２、および伝送モジュール１１３に供給するようにしてもよい。このようにすることにより、エンコードモジュール１１１、伝送判断モジュール１１２、および伝送モジュール１１３は、ネットワーク１０２の利用可能な帯域幅（伝送可能なビットレートの上限）の変動（帯域変動とも称する）を、より正確に（より即時的に）把握することができ、その帯域変動に応じてより適切な処理を行うことができる。

画像送信装置１０１（伝送モジュール１１３）より出力された階層画像符号化ストリームは、ネットワーク１０２を介して画像受信装置１０３に伝送される。

ネットワーク１０２は、階層画像符号化ストリームの伝送媒体となる通信網である。ネットワーク１０２は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク１０２は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク１０２は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。さらに、例えば、ネットワーク１０２は、その一部若しくは全部が、IEEE（Institute of Electrical and Electronic Engineers）802.11無線LANのアドホックモード、IrDA（InfraRed Data Association）のような赤外線等の光通信、またはBluetooth（登録商標）等の所定の規格に準拠する方法であっても良いし、独自の通信方式の無線通信により構成されるようにしてもよい。

画像受信装置１０３は、即時的に（リアルタイムに）、ネットワーク１０２を介して画像送信装置１０１から伝送された符号化データ（階層画像符号化ストリーム）を受信し、受信した符号化データを復号して復号画像の画像データを生成し、その画像データを出力する。画像受信装置１０３は、例えば、伝送モジュール１２１およびデコードモジュール１２２を有する。

伝送モジュール１２１は、符号化データの受信に関する処理を行う。例えば、伝送モジュール１２１は、ネットワーク１０２を介して画像送信装置１０１から伝送された階層画像符号化ストリームを逐次受信する。伝送モジュール１２１は、受信した階層画像符号化ストリームを、逐次、デコードモジュール１２２に供給する。

デコードモジュール１２２は、伝送モジュール１２１から供給される階層画像符号化ストリームの各レイヤを復号して、復号画像の画像データを生成する。つまり、デコードモジュール１２２は、この復号により、階層画像符号化ストリームとして伝送された中で最上位のレイヤの復号画像の画像データを生成する。このような、階層符号化に対応する復号を階層復号とも称する。

デコードモジュール１２２は、伝送モジュール１２１から供給される階層画像符号化ストリームを、逐次階層復号する。デコードモジュール１２２は、この階層復号により生成した復号画像の画像データを、逐次、画像受信装置１０３の外部（例えば、後段の画像処理装置や記憶装置等）に出力する。

＜階層符号化のレイヤ制御によるデータ量制御＞
例えば、SHVCのような階層符号化では、画像データの各ピクチャ（フレームとも称する）が、複数のレイヤに階層化されて符号化される。最下位のレイヤがベースレイヤであり、ベースレイヤ以外のレイヤがエンハンスメントレイヤである。また、予測処理として画像の参照を行うことができる。例えば、インター予測として、画像間（ピクチャ間やレイヤ間）で画像の参照を行うことができる。

図６は、階層符号化される画像データの例を示している。図６において、各四角は、階層化された画像データの各ピクチャの各レイヤの画像を示している。図６の例の場合、画像データは、最下位レイヤのベースレイヤと、２つのエンハンスメントレイヤの３レイヤに階層化されている。また、図６において、画像間の各矢印がその画像間（ピクチャ間やレイヤ間）の参照の関係を示している。矢印の始点が参照先の画像を示し、終点が参照元の画像を示している。

このような階層符号化において、符号化するレイヤを選択することにより符号化データのデータ量を制御する場合、階層符号化は、例えば図７のように行われる。図７においても図６の場合と同様に、各四角は、画像データの階層化された各ピクチャの各レイヤの画像を示し、各矢印は、画像間（ピクチャ間およびレイヤ間）の参照関係を示している。

図７においてバツ印（×）が付された画像は、符号化対象から外された画像を示している。つまり、これらの画像は符号化されない（符号化データが生成されない）。したがって、図７の例のように、最上位レイヤから所望のレイヤまでを符号化対象から外す（レイヤ数を低減させる）ことにより、その分、各ピクチャの符号化データのデータ量を低減させることができる。

画像伝送システム１００（画像送信装置１０１）の場合、エンコードモジュール１１１が、階層符号化のレイヤ数をこのように制御することにより、符号化データのデータ量を低減させることができる。

しかしながら、このようなレイヤ制御が、伝送時の符号化データのデータ量（ビットレート）に反映されるまでには、そのレイヤ制御の下で画像データが階層符号化され、生成された符号化データが伝送するまでの時間が必要になる。例えば、図７の場合、エンコードモジュール１１１が、フレーム番号２について最上位レイヤと下から２番目のレイヤを符号化対象から外し、最下位レイヤ（ベースレイヤ）のみを符号化対象とするように制御するとする。この場合、そのフレーム番号２のベースレイヤ画像が符号化されて、伝送モジュール１１３からネットワーク１０２に出力されて、ようやく、そのレイヤ制御が伝送時の符号化データのデータ量に反映されることになる。

つまり、階層符号化におけるレイヤ制御により伝送する符号化データのデータ量制御を行う方法では、データ量制御に遅延が生じてしまうおそれがあった。符号化データの即時的な（リアルタイムな）伝送を破綻しないようにするためには、符号化データのデータ量が伝送媒体であるネットワーク１０２の帯域制限に基づく上限を越えないようにしなければならない。そのため、上述したような遅延分のマージンを確保しなければならず、その分、符号化データ量を低く設定しなければならず、それによって復号画像の画質が低減するおそれがあった。

また、このようなレイヤ制御の場合、図７に示されるように、符号化するレイヤ数を低減させることになるので、符号化対象から外したレイヤの情報が、符号化データ（階層画像符号化ストリーム）に含まれなくなる。したがって、一旦符号化対象から外したレイヤは、次のIDRピクチャまで符号化対象に戻すことな困難であった。つまり、符号化対象とするレイヤ数を増大させることにより符号化データのデータ量を増大させることは、IDRピクチャでしかできなかった。

そのため、次のIDRピクチャが出現するまでの間、符号化データのデータ量が、伝送媒体であるネットワーク１０２の帯域制限に基づく上限に対して、不要に抑制されることになり、それによって復号画像の画質が低減するおそれがあった。

このようなデータ量の増大に関する遅延については、IDRピクチャの出現頻度をあげることで再び利用可能になるまでの待ちを短くすることができるが、予測符号化で高圧縮が行える画像をIDRピクチャで圧縮することは圧縮率の低下につながる。また、IDRピクチャはデータサイズが、ＰピクチャやＢピクチャと比べて大きいためネットワーク帯域を消費する。これらのことから、IDRピクチャの出現頻度を上げることは現実的ではない。そして、データ量の低減に関する遅延の場合と同様に、符号化処理時間等による遅延は、低減させることが困難であった。

以上のように、階層符号化におけるレイヤ制御によるデータ量制御では、制御の遅延により、伝送路の帯域変動に追従できなくなるおそれがあった。

＜符号化データのデータ変更によるデータ量制御＞
そこで、画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行うようにする。

例えば、画像処理装置において、画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行うデータ変更部を備えるようにする。

このような符号化データのデータ変更によるデータ量制御の例を図８に示す。図８においても図６の場合と同様に、各四角は、画像データの階層化された各ピクチャの各レイヤの画像を示し、各矢印は、画像間（ピクチャ間およびレイヤ間）の参照関係を示している。なお、点線矢印は、復号の際に、画像データを複製することを示している。

図８において白三角形（△）が付された画像は、下位のレイヤの画像データを複製して利用するモードのデータに変更された画像を示している。このモードの場合、処理対象のレイヤであるカレントレイヤの画像に対応する符号化データは伝送されない。つまり、白三角形（△）が付された画像の符号化データは伝送されない。したがって、その分、符号化データのデータ量が低減される。つまり、このようにデータ変更を行ったり、行わなかったりすることで、符号化データのデータ量を制御することができる。

そして、符号化データのデータ変更であるので、この処理は、符号化後に行うことができる。例えば、図１の画像伝送システム１００の場合、このような符号化データのデータ変更によるデータ量制御は、伝送判断モジュール１１２において行うことができる。したがって、この場合、符号化時のレイヤ制御のときのような符号化処理時間等によるデータ量制御の遅延を抑制することができる。つまり、符号化データのデータ量制御をより高速に行うことができる。

また、下位のレイヤの画像データを複製して利用するモードの場合、復号の際には下位のレイヤの画像データを複製してカレントレイヤの復号画像の画像データとすることを示す情報が、シンタクスとして階層画像符号化ストリームに含められる。つまり、階層画像符号化ストリームには、各ピクチャの全レイヤについての情報が含まれ、いずれのピクチャも全レイヤが符号化されたものとして取り扱われる。したがって、この場合、全ピクチャについて、階層復号の際には全レイヤが復号される。つまり、画質は下位のレイヤ相当に低減されるものの、最上位レイヤの復号画像が得られる。

例えば図８の場合、データ変換された白三角形（△）が付された画像に対応する符号化データは伝送されないが、下位のレイヤの画像データを複製してカレントレイヤの復号画像の画像データとすることを示す情報がシンタクスとして階層画像符号化ストリームに含められる。

そのため、図８に示されるフレーム番号「３」や「４」のピクチャのように、任意のピクチャにおいて、データ変換の実行を制御することができる。例えば、IDRピクチャを待たずに、データ変換が行われていたレイヤの画像に対して、データ変換を行わないように制御することができる。すなわち、より高速に、符号化データのデータ量を増大させることができる。

図８において、白丸（○）が付された画像は、データ変更が行われない画像であり、何も図形を付していない画像と同様である。

なお、データ変更された画像（白三角形（△）が付された画像）は、上述したように下位レイヤの画像の複製であるのでデータ変更前の画像と異なる。そのため、復号の際に、そのような画像を参照先とするピクチャ間の予測を行わせると、符号化時の参照先の画像と復号時の参照先の画像とで不一致が生じ、正しく復号することができなくなるおそれがある。

そこで、データ変更の際に、エンコードモジュール１１１を制御して、データ変更される画像（白三角形（△）が付された画像）を参照先とするピクチャ間の参照を行わせないように制御するようにしてもよい。より具体的には、参照の方向をレイヤ間に制限する（限定する）ようにしてもよい。

図８において、黒三角形（▲）が付された画像は、参照の方向をレイヤ間に制限された（限定された）画像を示している。そして、フレーム番号「３」のピクチャの、黒三角形（▲）が付された画像においては、レイヤ間の参照のみが行われ、他のピクチャを参照先とするピクチャ間の参照は禁止されている。

このように制御することにより、階層復号をより正確に行うことができるようになり、復号画像の画質の低減を抑制することができる。

＜エンコードモジュール＞
エンコードモジュール１１１は、供給された画像データを階層符号化する。例えば、エンコードモジュール１１１が、画像データを階層化し、各レイヤの画像データを再帰的に分割されたブロック構造にして符号化し、各レイヤの符号化データを多重化するようにしてもよい。

例えば、図９に示されるように、エンコードモジュール１１１は、画像階層化部１５１、符号化部１５２−１乃至符号化部１５２−３、多重化部１５３、伝送制御部１５４、参照制限部１５５、および参照関係補助情報生成部１５６を有する。

画像階層化部１５１は、供給された画像データの各ピクチャを階層化する。図９の例の場合、画像階層化部１５１は、画像データを、１つのベースレイヤと２つのエンハンスメントレイヤからなる３レイヤの画像に階層化する。画像階層化部１５１は、生成した最下位レイヤ（ベースレイヤ）の画像データ（ベースレイヤ画像とも称する）を、符号化部１５２−１に供給する。また、画像階層化部１５１は、生成した下から２番目のレイヤ（エンハンスメントレイヤ）の画像データ（エンハンスメントレイヤ画像とも称する）を、符号化部１５２−２に供給する。さらに、画像階層化部１５１は、生成した最上位レイヤ（エンハンスメントレイヤ）の画像データ（エンハンスメントレイヤ画像とも称する）を、符号化部１５２−３に供給する。

符号化部１５２−１は、供給されたベースレイヤ画像をSHVC方式で符号化し、最下位レイヤのビットストリーム（ベースレイヤ画像符号化ストリームとも称する）を生成し、それを多重化部１５３に供給する。なお、符号化部１５２−１は、伝送制御部１５４から符号化の目標レートが供給される場合、符号化の際（量子化の際）に、それに従ってベースレイヤ画像符号化ストリームのデータ量を制御する。また、符号化部１５２−１は、参照制限部１５５から参照の制限が供給される場合、その情報に基づいて参照の方向を制限する（限定する）。

符号化部１５２−２は、供給されたエンハンスメントレイヤ画像をSHVC方式で符号化し、下から２番目のレイヤのビットストリーム（エンハンスメントレイヤ画像符号化ストリームとも称する）を生成し、それを多重化部１５３に供給する。なお、符号化部１５２−２は、伝送制御部１５４から符号化の目標レートが供給される場合、符号化の際（量子化の際）に、それに従ってベースレイヤ画像符号化ストリームのデータ量を制御する。また、符号化部１５２−２は、参照制限部１５５から参照の制限が供給される場合、その情報に基づいて参照の方向を制限する（限定する）。

符号化部１５２−３は、供給されたエンハンスメントレイヤ画像をSHVC方式で符号化し、最上位のレイヤのビットストリーム（エンハンスメントレイヤ画像符号化ストリームとも称する）を生成し、それを多重化部１５３に供給する。なお、符号化部１５２−３は、伝送制御部１５４から符号化の目標レートが供給される場合、符号化の際（量子化の際）に、それに従ってベースレイヤ画像符号化ストリームのデータ量を制御する。また、符号化部１５２−３は、参照制限部１５５から参照の制限が供給される場合、その情報に基づいて参照の方向を制限する（限定する）。

なお、符号化部１５２−１乃至符号化部１５２−３を互いに区別して説明する必要が無い場合、符号化部１５２と称する。以上のように、符号化部１５２は、全てのレイヤを符号化することができるように、レイヤ数に相当する数だけ設けられる。なお、符号化部１５２の数と画像データのレイヤ数とが一致していなくてもよい。例えば、全てのレイヤを符号化することができるのであれば、符号化部１５２の数が、レイヤ数より多くてもよいし、少なくてもよい。

多重化部１５３は、各符号化部１５２から供給される各レイヤの符号化ストリーム（エンハンスメントレイヤ画像符号化ストリームやベースレイヤ画像符号化ストリーム）を多重化し、１本の階層画像符号化ストリームとし、伝送判断モジュール１１２（図５）に供給する。

伝送制御部１５４は、伝送制御部１１４（図５）から供給される伝送可能帯域に基づいて、各レイヤの符号化の目標レートを設定し、その目標レートを各レイヤの符号化部１５２に供給する。

参照制限部１５５は、伝送判断モジュール１１２（図５）から供給される参照の制限を、参照の制限を行うレイヤの符号化部１５２に供給する。

参照関係補助情報生成部１５６は、多重化部１５３において生成される階層画像符号化ストリームを参照し、各ピクチャの各レイヤについて、画像の参照先を示す参照関係補助情報を生成する。参照関係補助情報生成部１５６は、生成した参照関係補助情報を伝送判断モジュール１１２（図５）に供給する。

＜符号化部＞
図１０は、符号化部１５２の主な構成例を示すブロック図である。図１０に示されるように符号化部１５２は、画面並べ替えバッファ１７１、演算部１７２、直交変換部１７３、量子化部１７４、可逆符号化部１７５、蓄積バッファ１７６、逆量子化部１７７、および逆直交変換部１７８を有する。また、符号化部１５２は、演算部１７９、ループフィルタ１８０、フレームメモリ１８１、イントラ予測部１８２、インター予測部１８３、および予測画像選択部１８４を有する。さらに、符号化部１５２は、レート制御部１８５を有する。

画面並べ替えバッファ１７１は、入力された画像データの各フレームの画像をその表示順に記憶し、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１７２に供給する。また、画面並べ替えバッファ１７１は、フレームの順番を並び替えた画像を、イントラ予測部１８２およびインター予測部１８３にも供給する。

演算部１７２は、画面並べ替えバッファ１７１から読み出された画像から、予測画像選択部１８４を介してイントラ予測部１８２若しくはインター予測部１８３から供給される予測画像を減算し、その差分情報（残差データ）を直交変換部１７３に供給する。例えば、イントラ符号化が行われる画像の場合、演算部１７２は、画面並べ替えバッファ１７１から読み出された画像の画像データから、イントラ予測部１８２から供給される予測画像の画像データを減算する。また、例えば、インター符号化が行われる画像の場合、演算部１７２は、画面並べ替えバッファ１７１から読み出された画像の画像データから、インター予測部１８３から供給される予測画像の画像データを減算する。

直交変換部１７３は、演算部１７２から供給される残差データに対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１７３は、その直交変換により得られた変換係数を量子化部１７４に供給する。

量子化部１７４は、直交変換部１７３から供給される変換係数を量子化する。量子化部１７４は、レート制御部１８５から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１７４は、量子化された変換係数を可逆符号化部１７５に供給する。

可逆符号化部１７５は、量子化部１７４において量子化された変換係数を任意の符号化方式で符号化する。また、可逆符号化部１７５は、イントラ予測のモードを示す情報などをイントラ予測部１８２から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部１８３から取得する。

可逆符号化部１７５は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）のヘッダ情報の一部とする（多重化する）。可逆符号化部１７５は、符号化して得られた符号化データを蓄積バッファ１７６に供給して蓄積させる。

可逆符号化部１７５の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、CAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。

蓄積バッファ１７６は、可逆符号化部１７５から供給された符号化データを、一時的に保持する。蓄積バッファ１７６は、所定のタイミングにおいて、保持している符号化データを、符号化部１５２の外部（多重化部１５３（図９））に出力する。

また、量子化部１７４において量子化された変換係数は、逆量子化部１７７にも供給される。逆量子化部１７７は、その量子化された変換係数を、量子化部１７４による量子化に対応する方法で逆量子化する。逆量子化部１７７は、その逆量子化により得られた変換係数を、逆直交変換部１７８に供給する。

逆直交変換部１７８は、逆量子化部１７７から供給された変換係数を、直交変換部１７３による直交変換処理に対応する方法で逆直交変換する。逆直交変換部１７８は、逆直交変換された出力（復元された残差データ）を演算部１７９に供給する。

演算部１７９は、逆直交変換部１７８から供給された、復元された残差データに、予測画像選択部１８４を介してイントラ予測部１８２若しくはインター予測部１８３から供給される予測画像を加算し、局所的に再構成された画像（以下、再構成画像と称する）を得る。その再構成画像は、ループフィルタ１８０に供給される。

ループフィルタ１８０は、デブロックフィルタや適応ループフィルタ等を含み、演算部１７９から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１８０は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１８０は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ１８０が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１８０は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１７５に供給し、それを符号化させるようにすることもできる。ループフィルタ１８０は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１８１に供給する。また、ループフィルタ１８０は、上述したフィルタ処理を行う前の再構成画像の画像データをさらにフレームメモリ１８１に供給することができるようにしてもよい。

フレームメモリ１８１は、ループフィルタ１８０から供給される再構成画像や復号画像の画像データを記憶する。なお、フレームメモリ１８１は、他のレイヤの符号化部１５２のフレームメモリ１８１との間で、互いが記憶する画像データを共有することができる。フレームメモリ１８１は、イントラ予測部１８２やインター予測部１８３等からの要求に応じて若しくは所定のタイミングにおいて、記憶している画像データや共有している他のレイヤの画像データを、イントラ予測部１８２若しくはインター予測部１８３に供給する。

イントラ予測部１８２は、フレームメモリ１８１から参照画像として供給される再構成画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１８２は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。

イントラ予測部１８２は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１７１から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１８２は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１８４に供給する。また、イントラ予測部１８２は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１７５に供給し、符号化させる。

インター予測部１８３は、画面並べ替えバッファ１７１から供給される入力画像と、フレームメモリ１８１から供給される参照画像とを用いてインター予測処理を行う。より具体的には、インター予測部１８３は、動き予測を行って動きベクトルを検出し、その動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。

インター予測部１８３は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部１８３は、画面並べ替えバッファ１７１から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部１８３は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１８４に供給する。また、インター予測部１８３は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１７５に供給し、符号化させる。その必要な情報には、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグ等が含まれるようにしてもよい。

予測画像選択部１８４は、演算部１７２および演算部１７９に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１８４は、予測画像の供給元としてイントラ予測部１８２を選択し、そのイントラ予測部１８２から供給される予測画像を演算部１７２や演算部１７９に供給する。また、例えば、インター符号化の場合、予測画像選択部１８４は、予測画像の供給元としてインター予測部１８３を選択し、そのインター予測部１８３から供給される予測画像を演算部１７２や演算部１７９に供給する。

レート制御部１８５は、伝送制御部１５４（図９）から供給される目標レートと、蓄積バッファ１７６に蓄積された符号化データの符号量とに基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１７４の量子化動作のレートを制御する。

＜伝送判断モジュール＞
図１１は、伝送判断モジュール１１２（図５）の主な構成例を示すブロック図である。図１１に示されるように伝送判断モジュール１１２は、データ変更処理部２０１および記憶部２０２を有する。

記憶部２０２は、エンコードモジュール１１１（図５）から供給される階層符号化ストリームを記憶する。また、記憶部２０２は、記憶している階層符号化ストリームを伝送モジュール１１３（図５）に供給する。

データ変更処理部２０１は、データ変更に関する処理を行う。例えば、データ変更処理部２０１は、記憶部２０２に記憶されている階層画像符号化データに対するデータ変更に関する処理を行う。図１１に示されるように、データ変更処理部２０１は、データ変更制御部２１１、サイズ見積部２１２、帯域判定部２１３、参照関係判定部２１４、参照制限部２１５、データ変更設定部２１６、データ変更部２１７、および送信結果記憶部２１８を有する。

データ変更制御部２１１は、データ変更処理部２０１の各処理部のデータ変更に関する動作を制御する。

サイズ見積部２１２は、記憶部２０２に記憶されている階層画像符号化ストリームのサイズの見積もりを行う。例えば、サイズ見積部２１２が、記憶部２０２から階層画像符号化ストリームのデータ量に関する情報であるサイズ情報を取得し、そのサイズ情報に基づいてサイズの見積もりを行うようにしてもよい。このサイズ情報の内容やデータ形式等は任意である。例えば、レイヤ毎の符号化データのデータ量を示す情報が含まれるようにしてもよい。

また、サイズ見積部２１２が、データ変更設定部２１６から供給されるデータ変更に関する情報であるデータ変更情報を取得し、そのデータ変更情報に基づいてサイズの見積もりを行うようにしてもよい。このデータ変更情報の内容やデータ形式等は任意である。例えば、サイズ見積部２１２が、サイズ情報とデータ変更情報とに基づいて、データ変更を反映させた状態の階層画像符号化ストリームのサイズの見積もりを行うようにしてもよい。

サイズ見積部２１２は、その見積もり結果であるサイズ情報、すなわち、見積もりした階層画像符号化ストリームのデータ量を示す情報を含むサイズ情報を帯域判定部２１３に供給する。

帯域判定部２１３は、階層画像符号化ストリームのデータ量がネットワーク１０２の帯域制限に基づく上限を越えるか否かを判定する。例えば、帯域判定部２１３が、伝送制御部１１４（図５）から供給される伝送可能帯域を取得し、サイズ見積部２１２からサイズ情報を取得し、それらの情報に基づいて、見積もりした階層画像符号化ストリームのデータ量（データ変更を反映させたデータ量）が、伝送可能帯域に示されるネットワーク１０２の帯域制限に基づく上限を越えるか否かの判定を行うようにしてもよい。

また、例えば帯域判定部２１３が、その判定結果を示す情報を、データ変更の設定を制御する制御情報（設定変更制御）としてデータ変更設定部２１６に供給するようにしてもよい。

参照関係判定部２１４は、カレントピクチャの参照先がデータ変更されているか否かを判定する。例えば、参照関係判定部２１４が、エンコードモジュール１１１から参照関係補助情報を取得し、その参照関係補助情報に基づいて、参照先のピクチャおよびレイヤを特定し、データ変更設定部２１６からデータ変更情報を取得し、そのデータ変更情報に基づいて、参照先の画像がデータ変更されたか否かを判定するようにしてもよい。

また、例えば、参照関係判定部２１４が、その判定結果を示す情報を、データ変更の設定を制御する制御情報（設定変更制御）としてデータ変更設定部２１６に供給するようにしてもよい。さらに、例えば、参照関係判定部２１４が、その判定結果を示す情報を、参照の制限を制御する制御情報として参照制限部２１５に供給するようにしてもよい。

参照制限部２１５は、適宜、エンコードモジュール１１１による階層符号化における参照方向をレイヤ間に制限する。例えば、参照制限部２１５が、カレントピクチャのカレントレイヤの参照先においてデータ変更が行われた場合、次に階層符号化されるピクチャのカレントレイヤの参照方向をレイヤ間に制限するようにしてもよい。例えば、参照制限部２１５が、参照関係判定部２１４から供給される、カレントピクチャの参照先がデータ変更されているか否かの判定結果を示す情報に基づいて、階層符号化における参照方向をレイヤ間に制限するようにしてもよい。

また、参照制限部２１５が、階層符号化における参照関係を示す情報に基づいてカレントピクチャのカレントレイヤの参照先を特定し、参照先において前記データ変更が行われたか否かを判定するようにしてもよい。つまり、例えば、参照制限部２１５が、参照関係判定部２１４の判定結果に基づいて、階層符号化における参照方向をレイヤ間に制限するようにしてもよい。

さらに、例えば、参照制限部２１５が、階層符号化における参照方向をレイヤ間に制限する制御情報として参照の制限をエンコードモジュール１１１に供給するようにしてもよい。

データ変更設定部２１６は、各レイヤについてデータ変更を行うか否かの設定を行う。例えば、データ変更設定部２１６が、帯域判定部２１３から供給される設定変更制御に従って、各レイヤのデータ変更を行うか否かを制御するようにしてもよい。また、例えば、データ変更設定部２１６が、参照関係判定部２１４から供給される設定変更制御に従って、各レイヤのデータ変更を行うか否かを制御するようにしてもよい。

また、例えば、データ変更設定部２１６が、各レイヤのデータ変更に関する設定を示すデータ変更情報をサイズ見積部２１２や参照関係判定部２１４に供給するようにしてもよい。さらに、例えば、データ変更設定部２１６が、各レイヤのデータ変更に関する設定を示すデータ変更設定をデータ変更部２１７に供給するようにしてもよい。

データ変更部２１７は、画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行う。例えば、データ変更部２１７が、データ変更設定部２１６から供給されるデータ変更設定に基づいて、記憶部２０２に記憶されている階層画像符号化ストリームの各レイヤのデータを変更するようにしてもよい。

また、データ変更部２１７は、帯域判定部２１３や参照関係判定部２１４の判定結果に基づいて、符号化データのデータ量が伝送媒体の帯域制限に基づく上限を越える場合、前記データ変更を行うようにしてもよい。

例えば、データ変更部２１７は、前記符号化データのデータ量が上限以下となるまで、最上位レイヤから順に各エンハンスメントレイヤについてデータ変更を行うようにしてもよい。

送信結果記憶部２１８は、伝送モジュール１１３から供給される送信結果に関する情報（送信結果）を記憶する。この送信結果に関する情報の内容やデータ形式等は任意である。

以上のように、データ変更を行うことにより、データ変更処理部２０１は、画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができる。

なお、本技術を適用した画像処理装置は、データ変更部２１７を有していればよく、その他の構成は任意である。換言するに、本技術を適用した画像処理装置は、例えば、データ変更部２１７のみを有するようにしてもよい。また、参照制限部２１５を備えるようにしてもよい。また、その他の構成を有するようにしてもよい。例えば、伝送モジュール１１３やエンコードモジュール１１１を備えるようにしてもよい。

＜参照関係補助情報＞
次に、参照関係補助情報について説明する。参照関係補助情報は、画像間の参照の様子の例を説明する情報である。参照関係補助情報の内容やデータ形式は任意であるが、例えば、（参照先のフレームのインデックス，参照先のレイヤのインデックス）により、各画像の参照先を示すようにしてもよい。例えば、図１２Ａの例の場合、矢印で示される参照関係は、（−１，１）として表すことができる。このような情報により、参照関係判定部２１４は、より容易に各画像の参照関係を特定することができる。

参照関係補助情報が、このような表現の情報の集合を含むようにしてもよい。例えば、参照関係補助情報が、カレントピクチャの各レイヤについて、このような表現の情報を含むようにしてもよい。もちろん、その他の構成例であってもよい。例えば、図１２Ｂに示されるような参照関係は、Layer #2 : (-1, 2), (0, 1), Layer #1 : (-1, 1), (0, 0), Base Layer #0 : (-1,0) のような、レイヤ毎の情報の集合としてもよい。

＜デコードモジュール＞
デコードモジュール１２２は、供給された階層画像符号化ストリームを階層復号する。例えば、デコードモジュール１２２が、階層画像符号化ストリームを逆多重化し、各レイヤの符号化データを復号し、その内最上位の画像データを出力するようにしてもよい。

図１３に示されるように、デコードモジュール１２２は、逆多重化部３０１、復号部３０２−１乃至復号部３０２−３、並びに画像出力部３０３を有する。

逆多重化部３０１は、供給された階層画像符号化ストリームを逆多重化し、各レイヤのビットストリーム（エンハンスメントレイヤ画像符号化ストリームやベースレイヤ画像符号化ストリーム）を生成する。逆多重化部３０１は、最下位レイヤのビットストリーム（ベースレイヤ画像符号化ストリーム）を復号部３０２−１に供給し、下から２番目のビットストリーム（エンハンスメントレイヤ画像符号化ストリーム）を復号部３０２−２に供給し、最上位のビットストリーム（エンハンスメントレイヤ画像符号化ストリーム）を復号部３０２−３に供給する。

復号部３０２−１は、供給されたベースレイヤ画像符号化ストリームをSHVC方式で復号し、最下位レイヤの画像データ（ベースレイヤ画像）を生成し、それを画像出力部３０３に供給する。

復号部３０２−２は、供給されたエンハンスメントレイヤ画像符号化ストリームをSHVC方式で復号し、下から２番目のレイヤの画像データ（エンハンスメントレイヤ画像）を生成し、それを画像出力部３０３に供給する。

復号部３０２−３は、供給されたエンハンスメントレイヤ画像符号化ストリームをSHVC方式で復号し、最上位レイヤの画像データ（エンハンスメントレイヤ画像）を生成し、それを画像出力部３０３に供給する。

なお、復号部３０２−１乃至復号部３０２−３を互いに区別して説明する必要が無い場合、復号部３０２と称する。以上のように、復号部３０２は、全てのレイヤを復号することができるように、レイヤ数に相当する数だけ設けられる。なお、復号部３０２の数と符号化データのレイヤ数とが一致していなくてもよい。例えば、全てのレイヤを復号することができるのであれば、復号部３０２の数が、レイヤ数より多くてもよいし、少なくてもよい。

画像出力部３０３は、復号部３０２から供給される各ピクチャの画像データを出力する。画像出力部３０３は、その際、最上位のレイヤの画像データを出力する。

＜復号部＞
図１４は、復号部３０２の主な構成例を示すブロック図である。図１４に示されるように復号部３０２は、蓄積バッファ３２１、可逆復号部３２２、逆量子化部３２３、逆直交変換部３２４、演算部３２５、ループフィルタ３２６、および画面並べ替えバッファ３２７を有する。また、復号部３０２は、フレームメモリ３２８、イントラ予測部３２９、インター予測部３３０、および予測画像選択部３３１を有する。

蓄積バッファ３２１は、逆多重化部３０１（図１３）から供給される符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部３２２に供給する。

可逆復号部３２２は、蓄積バッファ３２１より供給された符号化データを、符号化側の可逆符号化部（例えば、可逆符号化部１７５）において行われた可逆符号化の符号化方式に対応する復号方式で可逆復号する。例えば、可逆復号部３２２は、可変長符号化（CAVLC等）に対応する復号方式や、算術符号化（CABAC等）に対応する復号方式で復号を行う。可逆復号部３２２は、復号して得られた、量子化された係数データを、逆量子化部３２３に供給する。

また、可逆復号部３２２は、符号化データに付加された最適な予測モードに関する情報に基づいて、最適な予測モードとしてイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部３２９およびインター予測部３３０の内、選択されたと判定したモードの方に供給する。例えば符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部３２９に供給される。また、例えば符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報がインター予測部３３０に供給される。

さらに、可逆復号部３２２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部３２３に供給する。さらに、図１４において矢印は省略しているが、可逆復号部３２２は、符号化データ（ビットストリーム）を復号して得られる各種情報（例えばヘッダ情報等）を、適宜、復号部３０２の任意の処理部に供給することができる。

逆量子化部３２３は、可逆復号部３２２から供給された、量子化された係数データを、符号化側の量子化部（例えば量子化部１７４）により行われた量子化の量子化方式に対応する方式で逆量子化する。逆量子化部３２３は、得られた係数データを逆直交変換部３２４に供給する。

逆直交変換部３２４は、逆量子化部３２３から供給される直交変換係数を、符号化側の直交変換部（例えば直交変換部１７３）により行われた直交変換の直交変換方式に対応する方式で逆直交変換する。逆直交変換部３２４は、この逆直交変換処理により、符号化側において直交変換される前の状態に対応する残差データを得る。逆直交変換されて得られた残差データは、演算部３２５に供給される。

演算部３２５は、逆直交変換部３２４から残差データを取得する。また、演算部３２５は、予測画像選択部３３１を介して、イントラ予測部３２９若しくはインター予測部３３０から予測画像を取得する。演算部３２５は、差分画像と予測画像とを加算し、符号化側において予測画像が減算される前の画像に対応する復号画像を得る。演算部３２５は、その復号画像をループフィルタ３２６に供給する。

ループフィルタ３２６は、符号化側のループフィルタ（例えばループフィルタ１８０）と同様の処理部であり、同様の処理を行う。すなわち、ループフィルタ３２６は、演算部３２５から供給される復号画像に対して適宜ループフィルタ処理を行う。このループフィルタ処理は、少なくともデブロッキングフィルタ処理を含むフィルタ処理であれば任意である。例えば、ループフィルタ３２６が、復号画像に対してデブロッキングフィルタ処理を行ってデブロック歪を除去するとともに、ウィナーフィルタ（Wiener Filter）を用いて適応ループフィルタ処理を行うことにより画質改善を行うようにしてもよい。ループフィルタ３２６は、フィルタ処理を適宜施した復号画像を画面並べ替えバッファ３２７およびフレームメモリ３２８に供給する。なお、ループフィルタ３２６は、ループフィルタ処理を省略した復号画像をフレームメモリ３２８に供給し、記憶させることもできる。

画面並べ替えバッファ３２７は、画像の並べ替えを行う。すなわち、符号化側において符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。画面並べ替えバッファ３２７は、フレームの順番を並べ替えた復号画像データを画像復号部３０２の外部、すなわち、画像出力部３０３（図１３）に出力する。

フレームメモリ３２８は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、インター予測部３３０等の外部の要求に基づいて、記憶している復号画像を参照画像として、インター予測部３３０に供給する。なお、フレームメモリ３２８は、他のレイヤの復号部３０２のフレームメモリ３２８との間で、互いが記憶する画像データを共有することができる。フレームメモリ３２８は、イントラ予測部３２９やインター予測部３３０等からの要求に応じて若しくは所定のタイミングにおいて、記憶している画像データや共有している他のレイヤの画像データを、イントラ予測部３２９若しくはインター予測部３３０に供給する。

イントラ予測部３２９には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部３２２から適宜供給される。イントラ予測部３２９は、符号化側において用いられたイントラ予測モードで、フレームメモリ３２８から供給されるループフィルタ処理が省略された復号画像を参照画像として用いてイントラ予測を行い、予測画像を生成する。イントラ予測部３２９は、生成した予測画像を予測画像選択部３３１に供給する。

インター予測部３３０は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部３２２から取得する。インター予測部３３０は、可逆復号部３２２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ３２８から取得した参照画像を用いてインター予測を行い、予測画像を生成する。インター予測部３３０は、生成した予測画像を予測画像選択部３３１に供給する。

予測画像選択部３３１は、イントラ予測部３２９またはインター予測部３３０から供給された予測画像を、演算部３２５に供給する。

＜画像送信処理の流れ＞
次に、画像伝送システム１００の各装置において実行される処理の流れの例を説明する。最初に画像送信装置１０１により実行される画像送信処理の流れの例を、図１５のフローチャートを参照して説明する。

画像送信処理が開始されると、画像送信装置１０１のエンコードモジュール１１１は、ステップＳ１０１において、供給された画像データを階層符号化する。

ステップＳ１０２において、伝送判断モジュール１１２は、ステップＳ１０１の処理により生成された階層画像符号化ストリームに対して、データ変更によるデータ量制御を行い、その階層画像符号化ストリームを伝送可能な状態にする。

ステップＳ１０３において、伝送モジュール１１３は、ステップＳ１０２において伝送可能な状態となった階層画像符号化ストリームを、逐次ネットワーク１０２を介して画像受信装置１０３に送信する。

これらの各処理は、画像データのピクチャ毎に繰り返し行われる。ステップＳ１０３の処理が終了すると、画像送信処理が終了する。

＜階層符号化処理の流れ＞
次に、図１６のフローチャートを参照して、図１５のステップＳ１０１において実行される階層符号化処理の流れの例を説明する。階層符号化処理が開始されると、ステップＳ１２１において、画像階層化部１５１は、入力された画像データの各フレームを逐次階層化する。

ステップＳ１２２において、伝送制御部１５４は、供給された伝送可能帯域に基づいて、各レイヤの目標レートを設定する。

ステップＳ１２３において、参照制限部１５５は、供給された参照の制限に基づいて、各レイヤの参照制限を設定する。

ステップＳ１２４において、符号化部１５２は、各レイヤの画像データを符号化する。

ステップＳ１２５において、多重化部１５３は、ステップＳ１２４において得られた各レイヤのビットストリーム（ベースレイヤ画像符号化ストリームやエンハンスメントレイヤ画像符号化ストリーム）を多重化し、１本の階層画像符号化ストリームとして伝送判断モジュール１１２（図５）に供給する。なお、参照関係補助情報を伝送判断モジュール１１２に供給する場合、参照関係補助情報生成部１５６は、符号化ストリームから参照関係補助情報を生成し、それを伝送判断モジュール１１２に供給する。

ステップＳ１２５の処理が終了すると、階層符号化処理が終了し、処理は図１５に戻る。

＜符号化処理の流れ＞
次に、図１６のステップＳ１２４において実行される各レイヤの符号化処理の流れの例を、図１７のフローチャートを参照して説明する。

符号化処理が開始されると、ステップＳ１４１において、フレームメモリ１８１は、下位レイヤの復号画像を共有する。

ステップＳ１４２において、画面並べ替えバッファ１７１は、入力された動画像の各フレーム（ピクチャ）の画像をその表示する順番に記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１４３において、イントラ予測部１８２は、イントラ予測処理を行う。また、ステップＳ１４４において、インター予測部１８３は、インター予測処理を行う。

ステップＳ１４５において、予測画像選択部１８４は、コスト関数値等に基づいて、ステップＳ１４３のイントラ予測処理により生成された予測画像と、ステップＳ１４４のインター予測処理により生成された予測画像のいずれか一方を選択する。

ステップＳ１４６において、演算部１７２は、ステップＳ１４２の処理によりフレーム順を並び替えられた入力画像と、ステップＳ１４５の処理により選択された予測画像との差分を演算する。つまり、演算部１７２は、入力画像と予測画像との残差データを生成する。このようにして求められた残差データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ１４７において、直交変換部１７３は、ステップＳ１４６の処理により生成された残差データを直交変換する。

ステップＳ１４８において、量子化部１７４は、ステップＳ１４７の処理により得られた直交変換係数を量子化する。その際、量子化部１７４は、レート制御部１８５による目標レートを用いたレート制御の下で量子化を行う。

ステップＳ１４９において、逆量子化部１７７は、ステップＳ１４８の処理により生成された量子化された係数（量子化係数とも称する）を、その量子化の特性に対応する特性で逆量子化する。

ステップＳ１５０において、逆直交変換部１７８は、ステップＳ１４７の処理により得られた直交変換係数を逆直交変換する。

ステップＳ１５１において、演算部１７９は、ステップＳ１５０の処理により復元された残差データに、ステップＳ１４５の処理により選択された予測画像を加算することにより、再構成画像の画像データを生成する。

ステップＳ１５２においてループフィルタ１８０は、ステップＳ１５１の処理により生成された再構成画像の画像データにループフィルタ処理を行う。これにより、再構成画像のブロック歪み等が除去される。

ステップＳ１５３において、フレームメモリ１８１は、ステップＳ１５２の処理によりブロック歪み等が除去された再構成画像を記憶する。

ステップＳ１５４において、可逆符号化部１７５は、ステップＳ１４８の処理により得られた、量子化された係数を符号化する。すなわち、残差データに対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。

また、このとき、可逆符号化部１７５は、ステップＳ１４５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１７５は、イントラ予測部１８２から供給される最適イントラ予測モード情報、または、インター予測部１８３から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

ステップＳ１５５において蓄積バッファ１７６は、ステップＳ１５４の処理により得られた符号化データ等を蓄積する。蓄積バッファ１７６に蓄積された符号化データ等は、ビットストリームとして適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ１５６において、レート制御部１８５は、ステップＳ１５５の処理により蓄積バッファ１１６に蓄積された符号化データ等の符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、ステップＳ１４８の量子化処理のレートを制御する。

ステップＳ１４８の処理が終了すると、符号化処理が終了し、処理は図１６に戻る。

＜伝送判断処理の流れ＞
次に、図１８のフローチャートを参照して、図１５のステップＳ１０２において実行される伝送判断処理の流れの例を説明する。

伝送判断処理が開始されると、ステップＳ１７１において、データ変更制御部２１１は、処理対象であるカレントレイヤを最上位レイヤにする。

ステップＳ１７２において、データ変更制御部２１１は、カレントレイヤがベースレイヤであるか否かを判定する。ベースレイヤではない（すなわち、最下位レイヤではない）と判定された場合、処理はステップＳ１７３に進む。

ステップＳ１７３において、サイズ見積部２１２は、これまでに設定したデータ変更を反映したサイズの見積もりを行う。

ステップＳ１７４において、帯域判定部２１３は、伝送可能帯域に基づいて、ステップＳ１７３において見積もられたサイズ（データ量）で全レイヤを伝送可能化否かを判定する。見積もったサイズが、伝送媒体であるネットワーク１０２の帯域制限に基づく上限以下の場合、処理はステップＳ１７７に進む。

また、ステップＳ１７４において、見積もられたサイズ（データ量）が伝送媒体であるネットワーク１０２の帯域制限に基づく上限を越えており、伝送不可能であると判定された場合、処理はステップＳ１７５に進む。

ステップＳ１７５において、参照関係判定部２１４は、カレントピクチャのカレントレイヤの画像が参照先がデータ変更済みであるか否かを判定する。参照先の符号化データがデータ変更済みであると判定された場合、処理はステップＳ１７６に進む。

ステップＳ１７６において、参照制限部２１５は、符号化の参照をレイヤ間に制限する（限定する）。ステップＳ１７６の処理が終了すると処理はステップＳ１７７に進む。

ステップＳ１７７において、データ変更設定部２１６は、カレントレイヤのデータ変更の対象に設定する。ステップＳ１７７の処理が終了すると、処理はステップＳ１７８に進む。

ステップＳ１７５において、参照先がデータ変更されていないと判定された場合、処理はステップＳ１７８に進む。

ステップＳ１７８において、データ変更制御部２１１は、カレントレイヤを１階層下げる。ステップＳ１７８の処理が終了すると、処理はステップＳ１７２に戻り、それ以降の処理を繰り返す。

ステップＳ１７２において、カレントレイヤが最下位レイヤ（ベースレイヤ）であると判定された場合、処理は、ステップＳ１７９に進む。

ステップＳ１７９において、データ変更部２１７は、変更対象に設定されたレイヤをデータ変更する。

ステップＳ１８０において、送信結果記憶部２１８は、伝送モジュール１１３から供給される送信結果を取得し、記憶する。

ステップＳ１８０の処理が終了すると伝送判断処理が終了し、処理は図１５に戻る。

以上のように各処理を実行することにより、画像送信装置１０１は、画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができる。

＜画像受信処理の流れ＞
次に、図１９のフローチャートを参照して、画像受信処理の流れの例を説明する。画像受信処理が開始されると、画像受信装置１０３の伝送モジュール１２１は、ステップＳ２０１において、ネットワーク１０２を介して伝送される階層画像符号化ストリームを受信する。

ステップＳ２０２において、デコードモジュール１２２は、ステップＳ２０１の処理により得られた階層画像符号化ストリームを階層復号する。ステップＳ２０２の処理が終了すると、画像受信処理が終了する。

＜階層復号処理の流れ＞
次に、図２０のフローチャートを参照して、図１９のステップＳ２０２において実行される階層復号処理の流れの例を説明する。

階層復号処理が開始されると、逆多重化部３０１は、ステップＳ２２１において、階層画像符号化ストリームを逆多重化し、各階層のビットストリームを得る。

ステップＳ２２２において、復号部３０２は、ステップＳ２２１の処理により得られた各レイヤのビットストリームを復号し、各レイヤの復号画像の画像データを得る。

ステップＳ２２３において、画像出力部３０３は、ステップＳ２２２において復号されたレイヤの中から画像データを出力するレイヤを選択し、そのレイヤの画像データを出力する。

ステップＳ２２３の処理が終了すると、階層復号処理が終了し、処理は図１９に戻る。

＜復号処理の流れ＞
次に、図２１のフローチャートを参照して、図２０のステップＳ２２２において実行される復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ２４１において、フレームメモリ３２８は、下位レイヤの復号画像を共有する。

ステップＳ２４２において、蓄積バッファ３２１は、逆多重化部３０１から供給されたビットストリームを蓄積する。

ステップＳ２４３において、可逆復号部３２２は、蓄積バッファ３２１から供給されるビットストリームを復号する。すなわち、符号化側により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた画像情報以外の各種情報も復号される。

ステップＳ２４４において、逆量子化部３２３は、ステップＳ２４３の処理により得られた、量子化された係数を逆量子化する。

ステップＳ２４５において、逆直交変換部３２４は、ステップＳ２４４の処理により得られた直交変換係数を逆直交変換する。この処理により、輝度成分の残差データと色差成分の予測残差データが復元される。

ステップＳ２４６において、イントラ予測部３２９若しくはインター予測部３３０は、予測処理を行い、予測画像を生成する。つまり、可逆復号部３２２において判定された、符号化の際に適用された予測モードで予測処理が行われる。

ステップＳ２４７において、演算部３２５は、ステップＳ２４５の処理により復元された残差データに、ステップＳ２４６において生成された予測画像を加算する。これにより再構成画像が得られる。

ステップＳ２４８において、ループフィルタ３２６は、ステップＳ２４７の処理により得られた再構成画像に対して、デブロックフィルタ処理やSAO処理等を含むループフィルタ処理を行う。

ステップＳ２４９において、画面並べ替えバッファ３２７は、ステップＳ２４８の処理により得られた復号画像のフレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。フレームが並べ替えられた復号画像は、復号部３０２の外部、すなわち、画像出力部３０３に出力される。

ステップＳ２５０において、フレームメモリ３２８は、ステップＳ１０８の処理により得られた復号画像を記憶する。

ステップＳ１１０の処理が終了すると、復号処理が終了し、処理は図２０に戻る。

以上のように各処理を実行することにより、画像受信装置１０３は、画像送信装置１０１により生成された符号化ストリームを、より正確に復号することができる。

＜制御例＞
図２２を参照して、本技術を適用した伝送判断モジュール１１２によるデータ量制御の様子の例を説明する図である。

図２２Ａは、階層符号化のレイヤ選択によるデータ量制御の例を示している。図２２Ａに示される表の太線は、ネットワーク１０２の帯域変動の様子の例を示している。つまり、この太線より下側のレイヤの符号化データが伝送可能であることを示している。

図２２Ａに示されるように、フレーム番号３乃至５の各ピクチャにおいてネットワーク１０２の利用可能な帯域幅が低減している。仮に符号化処理時間による遅延を考慮しなかったとしても、図２２Ａのフレーム番号６乃至１４のようにIDRピクチャが出現するまで、ネットワークの帯域幅の回復に追従することができない。したがって、この間不要にビットストリームのデータ量が低減し、復号画像の画質が不要に低減してしまうおそれがあった。

図２２Ｂは、本技術を適用した場合のデータ量制御の例を示しており、符号化データのデータ変更によるデータ量制御の例を示している。この場合、符号化されたデータを処理することによりデータ量を変更しているので、符号化処理時間等による遅延が発生しない。したがって、画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができる。

また、この場合、フレーム番号３乃至フレーム番号５の各ピクチャのように、レイヤ数を維持したままビットストリームのデータ量が低減されるので、フレーム番号６以降のピクチャのように、IDRピクチャの出現を待たずに、符号化データのデータ量を増大させることができ、復号画像の画質の低減を抑制することができる。

ここで、符号化処理により１ピクチャ分遅延するとする。フレーム番号６において、ネットワーク１０２の利用可能な帯域幅が回復しているので、符号化データのデータ量も増大させたいが、エンハンスメントレイヤ（EL0およびEL1）では、画像の参照先となるフレーム番号５の画像がデータ変更されているので、符号化時と復号時とで予測（ピクチャ間の参照）の不一致が生じるおそれがある。そこで、このフレーム番号６のピクチャのエンハンスメントレイヤ（EL0およびEL1）の画像は、データ変更する必要がある。

ここで、階層符号化の参照方向をレイヤ間方向に制限すると、フレーム番号７のエンハンスメントレイヤ（EL0およびEL1）では、レイヤ間の参照のみで予測画像が生成されることになる。したがって、このフレーム番号７のエンハンスメントレイヤ（EL0およびEL1）の画像は正しく復号することができる（符号化時と復号時とで予測が一致する）。これにより、フレーム番号８以降は、参照方向の制限も解除することができる（ピクチャ間の参照も可能になる）。

以上のように、画像データが階層符号化された符号化データのデータ量制御をより高速に行うことができる。

＜２．第２の実施の形態＞
＜エンコーダのレート制御との併用＞
符号化データのデータ量制御は、以上のような符号化後のデータ変換だけでなく、符号化時のレート制御も併用するようにしてもよい。

その場合の符号化時のレート制御の方法は任意である。例えば、図２３の例のように、各レイヤの符号化において、伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てるようにしてもよい。また、例えば、図２４の例のように、伝送媒体の帯域制限に応じて、より上位のレイヤから順にデータ量を所定の下限まで制限するようにしてもよい。

このような符号化時のレート制御では追従出来ない分を、第１の実施の形態において説明したようなデータ変換によるデータ量制御で補間するようにしてもよい。このようにすることにより、第１の実施の形態において説明したように、符号化データのデータ量制御をより高速に行うことができる。

また、各レイヤの符号化において、伝送媒体の帯域制限の変動の程度に応じた方法で、符号化データのデータ量を制御するようにしてもよい。つまり、帯域変動の急峻さ等に応じて、符号化時のレート制御の方法を切り替えるようにしてもよい。例えば、ネットワーク１０２の構成によって帯域の変化の仕方は異なる。例えば、有線より無線ネットワークの方がより伝送帯域が狭く、また、帯域の急な変化が起こりやすい。このようなネットワーク１０２の性質に応じてレート制御の方法を変えることにより、ネットワークの性質により適した制御を行うことができる。

例えば、伝送媒体の帯域制限の変動が緩やかな場合、符号化時のレート制御において、図２３の例のように、伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てるようにしてもよい。このようにすることにより、予測符号化の圧縮効率を各レイヤで効率よく利用することができる。

また、伝送媒体の帯域制限の変動が急激な場合、符号化時のレート制御において、図２４の例のように、より上位のレイヤから順にデータ量を所定の下限まで制限するようにしてもよい。このようにすることにより、より上位のレイヤのデータが伝送され易くなり、復号画像の画質の低減を抑制することができる。

また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して送信する際に用いられる画像処理装置に適用することができる。

＜３．第３の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２５に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

上述した実施形態に係る画像処理装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機などの様々な電子機器に応用され得る。

また、本明細書では、各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

なお、本技術は以下のような構成も取ることができる。
（１） 画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行うデータ変更部
を備える画像処理装置。
（２） 前記データ変更部は、前記符号化データのデータ量が伝送媒体の帯域制限に基づく上限を越える場合、前記データ変更を行う
（１）に記載の画像処理装置。
（３） 前記データ変更部は、前記符号化データのデータ量が前記上限以下となるまで、最上位レイヤから順に各エンハンスメントレイヤについて前記データ変更を行う
（２）に記載の画像処理装置。
（４） 前記階層符号化における参照方向をレイヤ間に制限する参照制限部
をさらに備える（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記参照制限部は、カレントピクチャのカレントレイヤの参照先において前記データ変更が行われた場合、次に前記階層符号化されるピクチャの前記カレントレイヤの参照方向をレイヤ間に制限する
（４）に記載の画像処理装置。
（６） 前記参照制限部は、前記階層符号化における参照関係を示す情報に基づいて前記カレントピクチャの前記カレントレイヤの参照先を特定し、前記参照先において前記データ変更が行われたか否かを判定する
（５）に記載の画像処理装置。
（７） 前記参照関係を示す情報は、各レイヤの参照先を、レイヤ番号と参照元からの相対時刻とで示す情報を含む
（６）に記載の画像処理装置。
（８） 前記データ変更部によりデータ変更された前記符号化データを伝送する伝送部をさらに備える
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記画像データを階層符号化する符号化部をさらに備え、
前記データ変更部は、前記符号化部により階層符号化された符号化データに対して前記データ変更を行う
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記符号化部は、画像データを階層化し、各レイヤの画像データを再帰的に分割されたブロック構造にして符号化し、各レイヤの符号化データを多重化する
（９）に記載の画像処理装置。
（１１） 前記符号化部は、各レイヤの符号化において、伝送媒体の帯域制限に基づいて、符号化データのデータ量を制御する
（１０）に記載の画像処理装置。
（１２） 前記符号化部は、前記伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てる
（１１）に記載の画像処理装置。
（１３） 前記符号化部は、前記伝送媒体の帯域制限に応じて、より上位のレイヤから順にデータ量を所定の下限まで制限する
（１１）に記載の画像処理装置。
（１４） 前記符号化部は、各レイヤの符号化において、前記伝送媒体の帯域制限の変動の程度に応じた方法で、前記符号化データのデータ量を制御する
（１１）に記載の画像処理装置。
（１５） 前記符号化部は、前記伝送媒体の帯域制限の変動が緩やかな場合、前記伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てる
（１４）に記載の画像処理装置。
（１６） 前記符号化部は、前記伝送媒体の帯域制限の変動が急激な場合、前記伝送媒体の帯域制限に応じて、より上位のレイヤから順にデータ量を所定の下限まで制限する
（１４）に記載の画像処理装置。
（１７） 画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行う
画像処理方法。

１００ 画像伝送システム， １０１ 画像送信装置， １０２ ネットワーク， １０３ 画像受信装置， １１１ エンコードモジュール， １１２ 伝送判断モジュール， １１３ 伝送モジュール， １１４ 伝送制御部， １２１ 伝送モジュール， １２２ デコードモジュール， １５１ 画像階層化部， １５２ 符号化部， １５３ 多重化部， １５４ 伝送制御部， １５５ 参照制限部， １５６ 参照関係補助情報生成部， １８１ フレームメモリ， １８２ イントラ予測部， １８３ インター予測部， １８５ レート制御部， ２０１ データ変更処理部， ２０２ 記憶部， ２１１ データ変更制御部， ２１２ サイズ見積部， ２１３ 帯域判定部， ２１４ 参照関係判定部， ２１５ 参照制限部， ２１６ データ変更設定部， ２１７ データ変更部， ２１８ 送信結果記憶部， ３０１ 逆多重化部， ３０２ 復号部， ３０３ 画像出力部

Claims (17)

1. 画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行うデータ変更部
   を備える画像処理装置。
2. 前記データ変更部は、前記符号化データのデータ量が伝送媒体の帯域制限に基づく上限を越える場合、前記データ変更を行う
   請求項１に記載の画像処理装置。
3. 前記データ変更部は、前記符号化データのデータ量が前記上限以下となるまで、最上位レイヤから順に各エンハンスメントレイヤについて前記データ変更を行う
   請求項２に記載の画像処理装置。
4. 前記階層符号化における参照方向をレイヤ間に制限する参照制限部
   をさらに備える請求項１に記載の画像処理装置。
5. 前記参照制限部は、カレントピクチャのカレントレイヤの参照先において前記データ変更が行われた場合、次に前記階層符号化されるピクチャの前記カレントレイヤの参照方向をレイヤ間に制限する
   請求項４に記載の画像処理装置。
6. 前記参照制限部は、前記階層符号化における参照関係を示す情報に基づいて前記カレントピクチャの前記カレントレイヤの参照先を特定し、前記参照先において前記データ変更が行われたか否かを判定する
   請求項５に記載の画像処理装置。
7. 前記参照関係を示す情報は、各レイヤの参照先を、レイヤ番号と参照元からの相対時刻とで示す情報を含む
   請求項６に記載の画像処理装置。
8. 前記データ変更部によりデータ変更された前記符号化データを伝送する伝送部をさらに備える
   請求項１に記載の画像処理装置。
9. 前記画像データを階層符号化する符号化部をさらに備え、
   前記データ変更部は、前記符号化部により階層符号化された符号化データに対して前記データ変更を行う
   請求項１に記載の画像処理装置。
10. 前記符号化部は、画像データを階層化し、各レイヤの画像データを再帰的に分割されたブロック構造にして符号化し、各レイヤの符号化データを多重化する
    請求項９に記載の画像処理装置。
11. 前記符号化部は、各レイヤの符号化において、伝送媒体の帯域制限に基づいて、符号化データのデータ量を制御する
    請求項１０に記載の画像処理装置。
12. 前記符号化部は、前記伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てる
    請求項１１に記載の画像処理装置。
13. 前記符号化部は、前記伝送媒体の帯域制限に応じて、より上位のレイヤから順にデータ量を所定の下限まで制限する
    請求項１１に記載の画像処理装置。
14. 前記符号化部は、各レイヤの符号化において、前記伝送媒体の帯域制限の変動の程度に応じた方法で、前記符号化データのデータ量を制御する
    請求項１１に記載の画像処理装置。
15. 前記符号化部は、前記伝送媒体の帯域制限の変動が緩やかな場合、前記伝送媒体の帯域制限に基づく上限のデータ量を、所定の割合で各レイヤに割り当てる
    請求項１４に記載の画像処理装置。
16. 前記符号化部は、前記伝送媒体の帯域制限の変動が急激な場合、前記伝送媒体の帯域制限に応じて、より上位のレイヤから順にデータ量を所定の下限まで制限する
    請求項１４に記載の画像処理装置。
17. 画像データが階層符号化された符号化データの、少なくとも一部のエンハンスメントレイヤのデータを、下位のレイヤの画像データを複製して利用するモードのデータに変更するデータ変更を行う
    画像処理方法。

Images