JP2014147129A - 奥行き信号の符号化 - Google Patents

Abstract

【課題】奥行き信号の符号化を課題とする。
【解決手段】
一部の実施形態は、符号化パーティション全体の奥行き値代表の決定、供給、使用に関する。一般的な態様によると、画像の第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて画像の第１部分を符号化する。第１部分動きベクトルは第１部分の符号化に用いられる基準画像中の対応部分を示す。第１部分は第１サイズを有する。第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定する。画像の第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化する。第２部分動きベクトルは第２部分の符号化に用いられる基準画像中の対応部分を示す。第２部分は第１サイズとは異なる第２サイズを有する。第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する。
【選択図】図７

Description

符号化システムに関する実施形態を説明する。いろいろな具体的な実施形態は奥行き信号の符号化に関する。

マルチビュービデオ符号化（例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣその他の標準規格、及び非標準的アプローチのＭＶＣ拡張）は、自由視点及び３Ｄビデオアプリケーション、ホームエンターテイメント、及び監視を含む幅広いアプリケーションで使われるキーテクノロジである。奥行きデータは各ビューと関連付けられ例えば、ビュー合成に用いられる。これらのマルチビューアプリケーションでは、必要となるビデオと奥行きデータの量が一般的には膨大になる。よって、カレントビデオ符号化ソリューションの符号化効率を向上する役に立つフレームワークが望まれている。
［関連出願との相互参照］
本出願は、２００８年４月２５日に出願した米国仮出願第６１／１２５，６７４号（発明の名称「奥行き信号の符号化」）の利益を主張するものである。前記出願の内容はその全体をここに参照援用する。

一般的な態様によると、画像の符号化した第１部分に関連し、前記画像の他の部分には関連しない第１部分動きベクトルを用いて、前記画像の第１部分を復号する。前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示す。前記第１部分は第１サイズを有する。前記第１部分全体の、他の部分のではない奥行き情報を与える第１部分奥行き値を処理する。画像の符号化した第２部分に関連し、前記画像の他の部分には関連しない第２部分動きベクトルを用いて、前記画像の第２部分を復号する。前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像中の対応部分を示す。前記第２部分は前記第１サイズとは異なる第２サイズを有する。前記第２部分全体の、他の部分のではない奥行き情報を与える第２部分奥行き値を処理する。

他の一般的な態様によると、ビデオ信号またはビデオ信号構造は次のセクションを含む。画像の符号化した第１部分の第１画像セクションであって、前記第１部分は第１サイズを有する第１画像セクション。第１部分奥行き値の第１奥行きセクションであって、前記第１部分奥行き値は前記第１部分全体の、他の部分のではない奥行き情報を与える第１奥行きセクション。前記画像の第１部分の符号化に用いる第１部分動きベクトルの第１動きベクトルセクションであって、前記第１部分動きベクトルは前記第１部分に関連し、前記画像の他の部分には関連しない、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示す、第１動きベクトルセクション。画像の符号化した第２部分の第２画像セクションであって、前記第２部分は前記第１サイズとは異なる第２サイズを有する第２画像セクション。第２部分奥行き値の第２奥行きセクションであって、前記第２部分奥行き値は前記第２部分全体の、他の部分のではない奥行き情報を与える第２奥行きセクション。前記画像の第２部分の符号化に用いる第２部分動きベクトルの第２動きベクトルセクションであって、前記第２部分動きベクトルは前記第２部分に関連し、前記画像の他の部分には関連しない、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像の対応部分を示す、第２動きベクトルセクション。

他の一般的な態様によると、前記画像の前記第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて画像の第１部分を符号化する。前記第１部分動きベクトルは前記第１部分の符号化に用いられる基準画像中の対応部分を示す。前記第１部分は第１サイズを有する。前記第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定する。前記画像の前記第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化する。前記第２部分動きベクトルは前記第２部分の符号化に用いられる基準画像中の対応部分を示す。前記第２部分は前記第１サイズとは異なる第２サイズを有する。前記第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する。前記符号化第１部分と前記第１部分奥行き値と前記符号化第２部分と前記第２部分奥行き値とを構造化フォーマットにアセンブルする。

１つ以上の実施形態の詳細を、添付した図面と以下の説明に示した。具体的に説明したが、言うまでもなく、実施形態はいろいろな態様で構成したり実施したりできる。例えば、一実施形態では、方法として実行したり、装置として実施したり（例えば、一組の動作を実行するように構成された装置や、一組の動作を実行する命令を格納した装置）、または信号として実施したりすることができる。その他の態様や特徴は、添付した図面と特許請求の範囲を参照して以下の詳細な説明を読めば明らかになるであろう。

符号化器の実施形態を示す図である。 復号器の実施形態を示す図である。 ビデオ送信システムの実施形態を示す図である。 ビデオ受信システムの実施形態を示す図である。 ビデオ処理デバイスの実施形態を示す図である。 時間的推定及びビュー間推定用の階層的Ｂ画像を有するマルチビュー符号化構成の実施形態を示す図である。 奥行き情報を有するマルチビュービデオを送受信するシステムの実施形態を示す図である。 奥行き（Ｋ＝３）の３入力ビューから９出力ビュー（Ｎ=９）を生成するフレームワークの実施形態を示す図である。 奥行きマップの一例である。 １／４解像度と同等な奥行き信号の一例を示す図である。 １／８解像度と同等な奥行き信号の一例を示す図である。 １／１６解像度と同等な奥行き信号の一例を示す図である。 第１の符号化プロセスの実施形態を示す図である。 第１の符号化プロセスの実施形態を示す図（図１３Ａの続き）である。 第１の復号プロセスの実施形態を示す図である。 第２の符号化プロセスの実施形態を示す図である。 第２の符号化プロセスの実施形態を示す図（図１５Ａの続き）である。 第２の復号プロセスの実施形態を示す図である。 第２の復号プロセスの実施形態を示す図（図１６Ｂの続き）である。 第３の符号化プロセスの実施形態を示す図である。 第３の符号化プロセスの実施形態を示す図（図１７Ａの続き）である。 第３の復号プロセスの実施形態を示す図である。 第３の復号プロセスの実施形態を示す図（図１８Ａの続き）である。

少なくとも一実施形態では、奥行き信号を符号化するフレームワークを提案する。少なくとも一実施形態では、ビデオ信号の一部としてシーンの奥行き値を符号化することを提案する。ここに説明する少なくとも一実施形態では、奥行き信号をインター予測したマクロブロックの動きベクトルの追加コンポーネントとして扱う。少なくとも一実施形態では、イントラ予測したマクロブロックの場合、奥行き値を、イントラモードでの信号値として送信する。

このように、少なくとも幾つかの実施形態により解決される少なくとも１つの問題は、マルチビュービデオシーケンス（または、シングルビュービデオシーケンス）の奥行き信号の効率的符号化である。マルチビュービデオシーケンスは、異なる視点から同じシーンを撮影する、２つ以上のビデオシーケンスのセットである。ビュー合成を用いて中間ビューの生成をするために、シーンに加えて、各ビューの奥行き信号がある。

図１は、本発明の一実施形態による、本発明を適用できる符号化器１００を示す。符号化器１００は、変換器１１０の入力と信号通信できるように接続された出力を有する合成器１０５を含む。変換器１１０の出力は、量子化器１１５の入力と信号通信できるように接続されている。量子化器１１５の出力は、エントロピ符号化器１２０の入力及び逆量子化器１２５の入力と信号通信できるように接続されている。逆量子化器１２５の出力は、逆変換器１３０の入力と信号通信できるように接続されている。逆変換器１３０の出力は、合成器１３５の第１の非反転入力と信号通信できるように接続されている。合成器１３５の出力は、イントラ推定器１４５の入力及びデブロッキングフィルタ１５０の入力と信号通信できるように接続されている。デブロッキングフィルタ１５０例えば、マクロブロックの境界のアーティファクトを除去する。デブロッキングフィルタ１５０の第１の出力は、（時間的推定用）基準画像記憶部１５５の入力、及び（ビュー間推定用）基準画像記憶部１６０の第１の入力と信号通信できるように接続されている。基準画像記憶部１５５の出力は、動き補償器１７５の第１の入力及び動き推定器１８０の第１の入力と信号通信できるように接続されている。動き推定器１８０の出力は、動き補償器１７５の第２の入力と信号通信できるように接続されている。基準画像記憶部１６０の第１の出力は、不一致推定器１７０の第１の入力と信号通信できるように接続されている。基準画像記憶部１６０の第２の出力は、不一致補償器１６５の第１の入力と信号通信できるように接続されている。不一致推定器１７０の出力は、不一致補償器１６５の第２の入力と信号通信できるように接続されている。

エントロピ復号器１２０の出力と、モード決定モジュール１２２の第１の出力と、奥行き推定・符号化器１６３の出力とは、それぞれ符号化器１００の出力として、ビットストリームの出力に利用できる。画像／奥行きパーティショナの入力は、符号化器への入力として、ビューｉの画像及び奥行きデータの受信に利用できる。

動き補償器１７５の出力は、スイッチ１８５の第１の入力と信号通信できるように接続されている。不一致補償器１６５の出力は、スイッチ１８５の第２の入力と信号通信できるように接続されている。イントラ推定器１４５の出力は、スイッチ１８５の第３の入力と信号通信できるように接続されている。スイッチ１８５の出力は、合成器１０５の反転入力、及び合成器１３５の第２の非反転入力と信号通信できるように接続されている。モード決定モジュール１２２の第１の出力は、スイッチ１８５にどの入力が供給されているか判断する。モード決定モジュール１２２の第２の出力は、奥行き推定・符号化器１６３の第２の入力と信号通信できるように接続されている。

画像／奥行きパーティショナ１６１の第１の出力は、奥行き代表計算器１６２の入力と信号通信できるように接続されている。奥行き代表計算器１６２の出力は、奥行き推定・符号化器１６３の第１の入力と信号通信できるように接続されている。画像／奥行きパーティショナ１６１の第２の出力は、合成器１０５の非反転入力と、動き補償器１７５の第３の入力と、動き推定器１８０の第２の入力と、不一致推定器１７０の第２の入力と信号通信できるように接続されている。

図１は、部分的に、符号化器、符号化部、またはアクセス部（例えば、ブロック１１０、１１５、１２０）として、個別的に、または集合的に参照される。同様に、ブロック１２５、１３０、１３５、１５０は、例えば、復号器または復号部として、個別的に、または集合的に参照される。

図２は、本発明の一実施形態による、本発明を適用できる復号器２００を示す。復号器２００は、逆量子化器２１０の入力と信号通信できるように接続された出力を有するエントロピ復号器２０５を含む。逆量子化器の出力は、逆変換器２１５の入力と信号通信できるように接続されている。逆変換器２１５の出力は、合成器２２０の第１の非反転入力と信号通信できるように接続されている。合成器２２０の出力は、デブロッキングフィルタ２２５の入力及びイントラ推定器２３０の入力と信号通信できるように接続されている。デブロッキングフィルタ２２５の第１の出力は、（時間的推定用）基準画像記憶部２４０の入力、及び（ビュー間推定用）基準画像記憶部２４５の第１の入力と信号通信できるように接続されている。基準画像記憶部２４０の出力は、動き補償器２３５の第１の入力と信号通信できるように接続されている。基準画像記憶部２４５の出力は、不一致補償器２５０の第１の入力と信号通信できるように接続されている。

ビットストリーム受信器２０１の出力は、ビットストリームパーサ２０２の入力と信号通信できるように接続されている。ビットストリームパーサ２０２の第１の出力（残差ビットストリーム出力用）は、エントロピ復号器２０５の入力と信号通信できるように接続されている。ビットストリームパーサ２０２の第２の出力（スイッチ２５５がどの入力を選択するか制御する制御シンタックス出力用）は、モード選択器２２２の入力と信号通信できるように接続されている。ビットストリームパーサ２０２の第３の出力（動きベクトル出力用）は、動き補償器２３５の第２の入力と信号通信できるように接続されている。ビットストリームパーサ２０２の第４の出力（不一致ベクトル及び／または照明オフセット出力用）は、不一致補償器２５０の第２の入力と信号通信できるように接続されている。ビットストリームパーサ２０２の第５の出力（奥行き情報出力用）は、奥行き代表計算器２１１の入力と信号通信できるように接続されている。言うまでもなく、照明オフセットは任意的入力であり、実施形態によって使ったり使わなかったりする。

スイッチ２５５の出力は、合成器２２０の第２の非反転入力と信号通信できるように接続されている。スイッチ２５５の第１の入力は、不一致補償器２５０の出力と信号通信できるように接続されている。スイッチ２５５の第２の入力は、動き補償器２３５の出力と信号通信できるように接続されている。スイッチ２５５の第３の入力は、イントラ推定器２３０の出力と信号通信できるように接続されている。モードモジュール２２２の出力は、スイッチ２５５と信号通信できるように接続され、スイッチ２５５がどの入力を選択するか制御する。デブロッキングフィルタ２２５の第２の出力は、復号器２００の出力として利用可能である。

奥行き代表計算器２１１の出力は、奥行きマップ再構成器２１２の入力と信号通信できるように接続されている。奥行きマップ再構成器２１２の出力は、復号器２００の出力として利用できる。

図２は、部分的に、例えば、データまたは情報へのアクセスを提供するビットストリームパーサ２０２及びその他のブロックなどのアクセス部として、個別的に、または集合的に参照できる。同様に、ブロック２０５、２１０、２１５、２２０、２２５は、例えば、復号器または復号部として個別的に、または集合的に、参照できる。

図３は、本発明の一実施形態による、本発明を適用できるビデオ送信システム３００を示す。ビデオ送信システム３００は、例えば、衛星、ケーブル、電話線、地上波放送などのいろいろな媒体を用いて信号を送信する、例えば、ヘッドエンドや送信システムである。送信はインターネットその他のネットワークにより行うことができる。

ビデオ送信システム３００は、いろいろなモードを用いて符号化したビデオコンテンツを生成して配信できる。これは、例えば、奥行き情報を含む、または、例えば、復号器を有する受信側で奥行き情報の合成に用いることができる情報を含む符号化信号を生成することにより実現できる。

ビデオ送信システム３００は、符号化器３１０と、符号化信号を送信できる送信器３２０とを含む。符号化器３１０は、ビデオ情報を受信し、それから符号化信号を生成する。符号化器３１０は、例えば、上記の符号化器３００である。符号化器３１０は、例えば、いろいろな情報を受信して記憶または送信用の構造化フォーマットにアセンブルするアセンブリ部を含むサブモジュールを含む。いろいろな情報は、例えば、符号化または非符号化ビデオ、符号化または非符号化奥行き情報、符号化または非符号化要素（例えば、動きベクトル、符号化モードインジケータ、シンタックス要素）を含む。

送信器３２０は、例えば、符号化画像を表す１つ以上のビットストリーム、及び／またはそれに関する情報を有する番組信号を送信するように構成される。典型的な送信器は、エラー訂正符号化、信号中のデータのインターリーブ、信号中のエネルギーのランダム化、信号のキャリアへの変調などの機能を実行する。送信器は、アンテナ（図示せず）を含むか、インタフェースしていてもよい。したがって、送信器３２０の実施形態は、変調器を含むか、それに限定されてもよい。

図４は、本発明の一実施形態による、本発明を適用できるビデオ受信システム４００を示す。ビデオ受信システム４００は、例えば、衛星、ケーブル、電話線、地上波放送などのいろいろな媒体で信号を受信するように構成される。信号は、インターネットその他のネットワークで受信してもよい。

ビデオ受信システム４００は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビジョン、その他の符号化ビデオを受信して、例えば、ユーザに表示するか記憶する復号ビデオを出力するデバイスである。このように、ビデオ受信システム４００は、その出力を、例えば、テレビジョン画面、コンピュータモニタ、コンピュータ（記憶、処理、または表示のため）、またはその他の記憶、処理、または表示デバイスに出力する。

ビデオ受信システム４００は、ビデオ情報を含むビデオコンテンツを受信して処理できる。ビデオ受信システム６００は、本願の実施形態に説明した信号などの符号化信号を受信する受信器４１０と、受信信号を復号する復号器４２０とを含む。

受信器４１０は、例えば、符号化画像を表す複数のビットストリームを有する番組信号を受信するように構成される。典型的な受信器は、例えば、１つ以上の符号化され変調されたデータ信号の受信、キャリアからのデータ信号の復調、信号中のエネルギーの逆ランダム化、信号中のデータの逆インターリーブ、信号のエラー訂正復号などの機能を実行する。受信器４１０アンテナ（図示せず）を含む、またはインタフェースする。受信器４１０の実施形態は、復調器を含む、またはそれに限定される。

復号器４２０は、ビデオ情報と奥行き情報とを含むビデオ信号を出力する。復号器４２０は、例えば、上記の復号器４００である。

図５は、本発明の一実施形態による、本発明を適用できるビデオ処理装置５００を示す。ビデオ処理装置５００例えば、符号化ビデオを受信し、例えば、ユーザへの表示や記憶用の復号ビデオを供給するセットトップボックスその他の装置である。このように、ビデオ処理装置５００は、その出力を、テレビジョン、コンピュータモニタ、コンピュータ、その他の処理装置に供給する。

ビデオ処理装置５００フロントエンド（ＦＥ）装置５０５と復号器５１０とを含む。フロントエンド装置５０５は、例えば、符号化画像を表す複数のビットストリームを有する番組信号を受信し、複数のビットストリームから復号する１つ以上のビットストリームを選択するように構成された受信器である。典型的な受信器例えば、符号化され変調されたデータ信号の受信、データ信号の復号、データ信号の符号化の復号（例えば、チャンネル符号化及び／またはソース符号化）、及び／またはデータ信号のエラー訂正のうち１つ以上などの機能を実行する。フロントエンド装置５０５は、例えば、アンテナ（図示せず）から番組信号を受信する。フロントエンド装置５０５は、受信データ信号を復号器５１０に供給する。

復号器５１０は、データ信号５２０を受信する。データ信号５２０は、例えば、アドバンスビデオ符号化（ＡＶＣ）、スケーラブルビデオ符号化（ＳＶＣ）、またはマルチビュービデオ符号化（ＭＶＣ）互換ストリームのうち１つ以上を含む。復号器５１０受信信号５２０の全部または一部を復号し、出力として復号ビデオ信号５３０を供給する。復号ビデオ５３０は、選択器５５０に供給される。装置５００は、ユーザ入力５７０を受信するユーザインタフェース５６０も含む。ユーザインタフェース５６０は、ユーザ入力５７０に基づいて、画像選択信号５８０を選択器５５０に供給する。画像選択信号５８０とユーザ入力５７０とは、複数の画像、シーケンス、スケーラブルバージョン、ビュー、その他の利用可能復号データの選択のうちどれをユーザが表示したいか示す。選択器５５０は、選択した画像を出力５９０として供給する。選択器５５０は、画像選択情報５８０を用いて、復号ビデオ５３０中のどの画像を出力５９０として供給するか選択する。

いろいろな実施形態において、選択器５５０は、ユーザインタフェース５６０を含み、他の実施形態において、ユーザインタフェース５６０は必要ない。選択器５５０別にインタフェース機能を実行せずに、ユーザ入力５７０を直接受信するからである。選択器５５０は、例えば、ソフトウェアで、または集積回路として実施できる。一実施形態において、選択器５５０は復号器５１０に組み込まれ、他の一実施形態において、復号器５１０と選択器５５０とユーザインタフェース５６０とはすべて一体となっている。

一アプリケーションにおいて、フロントエンド５０５は、いろいろなテレビジョン番組の放送を受信し、処理するものを選択する。番組選択は、視聴したチャンネルのユーザ入力に基づく。フロントエンド装置５０５へのユーザ入力は図５には図示しないが、フロントエンド装置５０５はユーザ入力５７０を受信する。フロントエンド５０５は、放送を受信し、放送スペクトルの関連部分を復調し、復調した番組の外部符号化（outer encoding）を復号して、所望の番組を処理する。フロントエンド５０５は、復号器５１０で復号した番組を供給する。復号器５１０は、装置５６０と５５０を含む一体ユニット（integrated unit）である。復号器５１０は、このように、ユーザ入力を受信する。ユーザ入力は、ユーザが供給した、番組中の視聴したいビューの表示である。復号器５１０は、選択したビューと、他のビューからの要求した参照画像とを復号し、テレビジョン（図示せず）に表示する復号したビュー５９０を供給する。

上記のアプリケーションについて、ユーザは、表示されるビューの切り替えを望み、復号器５１０に新しい入力を供給する。ユーザから「ビュー変更」を受け取ると、復号器５１０は、古いビューと新しいビューを両方とも、及び古いビューと新しいビューの間にある任意のビューを復号する。すなわち、復号器５１０は、物理的に、古いビューを撮っているカメラと新しいビューを撮っているカメラとの間にあるカメラで撮られた任意のビューを復号する。フロントエンド装置５０５は、古いビュー、新しいビュー、及びその間のビューを識別する情報も受信する。かかる情報は、例えば、ビューのロケーションに関する情報を有するコントローラ（図５には図示せず）、または復号器５１０により供給される。他の実施形態では、フロントエンド装置と一体のコントローラを有するフロントエンド装置を用いてもよい。

復号器５１０は、出力５９０としてすべての復号したビューを供給する。後処理器（図５には図示せず）は、ビューを補間し、古いビューから新しいビューに滑らかに移行させ、この移行をユーザに表示する。新しいビューへの移行後、後処理器は、（図示しない通信リンクにより）復号器５１０とフロントエンド装置５０５に、新しいビューのみが必要であることを通知する。その後、復号器５１０は、新しいビューのみを出力５９０として供給する。

システム５００を用いて、画像シーケンスの複数のビューを受信し、表示用の単一ビューを表示し、いろいろなビューを滑らかに切り替える。滑らかな切り替えには、ビューを補間して、他のビューに移ることを含む。また、システム５００により、ユーザは、オブジェクトまたはシーンを回転し、またはオブジェクトまたはシーンの３次元表示を見る。オブジェクトの回転は、例えば、ビューからビューへの移動と、ビュー間を滑らかに移行するための、または単に３次元表示を得るためのビュー間の補間に相当する。すなわち、ユーザは、補間したビューを、表示する「ビュー」として「選択」できる。

マルチビュービデオ符号化（例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、その他の標準規格、及び非標準アプローチへのＭＶＣ拡張）は、自由視点・３次元ビデオアプリケーション、ホームエンターテイメント、及び監視など幅広いアプリケーションに係わるキーテクノロジである。また、奥行きデータは一般的には各ビューに付随している。奥行きデータは、例えば、ビュー合成に用いられる。これらのマルチビューアプリケーションでは、一般的に、関係するビデオと奥行きデータの量は膨大である。そのため、例えば、独立したビューのサイマルキャストを実行する現在のビデオ符号化ソリューションの符号化効率を向上する役に立つフレームワークが望まれている。

マルチビュービデオソースは、同じシーンの複数のビューを含むので、複数のビュー画像の間には高い相関がある。それゆえ、ビューの冗長性は、時間的冗長性に加えて利用でき、異なるビューにわたるビュー予測を行うことにより、実現する。

実際的なシナリオでは、マルチビュービデオシステムは、まばらに配置したカメラを用いてシーンを撮影し、これらのカメラ間のビューは、利用可能な奥行きデータとビュー合成／補間により取得したビューとを用いて生成できる。

また、一部のビューは奥行き情報のみを有し、これらのビューの画素値は後で関連する奥行きデータを用いて復号器で合成される。奥行きデータを用いて中間仮想ビューを生成することもできる。奥行きデータはビデオ信号と送信されるので、データ量は増大する。そのため、奥行きデータを効率的に圧縮することが望ましい。

奥行き圧縮にはいろいろな方法を用いることができる。例えば、一方法では、奥行きが異なればその重要度も異なることを反映するため、関心領域（ＲＯＩ）ベースの符号化と奥行きのダイナミックレンジのリシェーピングを用いる。他の一方法では、奥行き信号の三角メッシュ表示を用いる。他の一方法では、層状（レイヤ）奥行き画像の圧縮方法を用いる。他の一方法では、ウェーブレット領域における奥行きマップの符号化方法を用いる。カラービデオでは、階層予測構造とビュー間推定が有用であることは周知である。図６に示したように、階層予測構造を伴うビュー間推定を、奥行きマップシーケンスの符号化に追加的に適用できる。具体的に、図６は、時間的及びビュー間推定の両方に対する階層的Ｂピクチャを伴うマルチビュー符号化構造を示す図である。図６において、左から右、あるいは右から左に行く矢印は時間的推定を示し、上から下、あるいは下から上に行く矢印はビュー間推定を示す。

奥行きシーケンスをカラービデオとは独立に符号化するよりも、実施形態では、対応するカラービデオからの動き情報を再利用することができる。奥行きシーケンスは同じ時間的動きをすることが多いので、これは有用である。

ＦＴＶ（自由視点ＴＶ）は、マルチビュービデオと奥行き情報の符号化表示を含み、受信器における高画質中間ビューの生成をターゲットとするフレームワークである。これにより、自由視点機能と自動マルチスコーピックディスプレイ用のビュー生成が可能になる。

図７は、本発明の一実施形態による、本発明を適用できる、奥行き情報を有するマルチビュービデオを送受信するシステム７００を示す。図７において、ビデオデータは実線で示し、奥行きデータは破線で示し、メタデータは点線で示した。システム７００は、例えば、自由視点テレビジョンシステムであるが、これに限定はされない。送信器側７１０において、システム７００は、複数のソースのそれぞれから１つ以上のビデオ、奥行き、及びメタデータを受信する複数の入力を有する、３次元（３Ｄ）コンテンツプロデューサ７２０を含む。かかるソースは、ステレオカメラ１１１、奥行きカメラ７１２、マルチカメラセットアップ７１３、及び２次元／３次元（２Ｄ／３Ｄ）変換プロセス７１４を含むが、これに限定されない。１つ以上のネットワーク７３０を用いて、マルチビュービデオ符号化（ＭＶＣ）とデジタルビデオ放送（ＤＶＢ）に関する１つ以上のビデオ、奥行き、及びメタデータを送信する。

受信器側７４０では、奥行き画像ベースのレンダラ７５０が、奥行き画像ベースのレンダリングを実行し、その信号をいろいろなタイプのディスプレイに投影する。このアプリケーションシナリオは、狭角撮影（＜２０度）などの具体的な制約を加えてもよい。奥行き画像ベースのレンダラ７５０は、ディスプレイ設定情報とユーザ嗜好を受け取ることができる。奥行き画像ベースのレンダラ７５０の出力は、２Ｄディスプレイ７６１、マルチビュー３Ｄディスプレイ７６２、及び／またはヘッドトラック型ステレオディスプレイ７６３の１つ以上に供給し得る。

送信されるデータ量の低減を目的として、カメラ（Ｖ１、Ｖ２、...、Ｖ９）の密なアレイをサブサンプリングして、実際にはカメラの粗なセットのみがシーンを撮影する。図８は、本発明の一実施形態による、本発明を適用できる、奥行き（Ｋ＝３）の３入力ビューから９出力ビュー（Ｎ＝９）を生成するフレームワーク８００を示す。フレームワーク８００は、自動ステレオスコーピック３Ｄディスプレイ８１０を含み、これは、複数のビューの出力、第１の奥行き画像ベースのレンダラ８２０、第２の奥行き画像ベースのレンダラ８３０、及び復号データ用バッファ８４０をサポートする。復号データは、マルチプルビュー・プラス・奥行き（ＭＶＤ）データとして知られた表示である。９つのカメラはＶ１からＶ９で表す。３入力ビューの対応する奥行きマップは、Ｄ１、Ｄ５、及びＤ９で表す。撮影したカメラ位置（例えば、Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３）の間にあるどの仮想的カメラ位置も、図８に示したように、利用可能な奥行きマップ（Ｄ１、Ｄ５、Ｄ９）を用いて生成できる。

ここで説明する少なくとも一実施形態では、奥行き信号の符号化効率を向上する問題の解決を提案する。

図９は、本発明の一実施形態による、本発明を適用できる奥行きマップ９００を示す。具体的に、奥行きマップ９００はビュー０のものである。図９から分かるように、奥行き信号は、多くの領域で比較的平坦であり（グレーシェードは奥行きを表し、一定のシェードは一定の奥行きを表す）。これは、多くの領域の奥行き値が大幅には変化しないことを意味している。画像には多くの滑らかなエリアがある。結果として、奥行き信号は、異なる領域では異なる解像度で符号化できる。

奥行き画像を生成するため、一方法では、最初に不一致画像を計算し、投影行列に基づいて奥行き画像に変換する。一実施形態において、不一致の不一致画像への単純な線形写像は次式で表される：

ここでｄは不一致であり、ｄｍｉｎとｄｍａｘは不一致範囲であり、Ｙは不一致画像の画素値である。この実施形態では、不一致画像の画素値は、０と２５５の間（両端を含む）に入る。

奥行きと不一致との関係は、以下の仮定をおくことにより、次の数式に単純化できる。（１）カメラは１Ｄで平行に配置する；（２）マルチビューシーケンス十分対角化されている、すなわち、すべてのビューで回転行列が同じであり、すべてのビューで焦点距離が同じであり、すべてのビューの主点がベースラインに平行な線に沿っている；（３）すべてのカメラ座標のｘ軸はベースラインに沿っている。次式により３Ｄ点とカメラ座標との間の奥行き値を計算する:

ここで、ｆは焦点距離、ｌはベースラインに沿った並進、ｄｕはベースラインに沿った主点間の差である。

数式（２）から、不一致画像はその奥行き画像と同じであることが分かり、真の奥行き値を次式で求めることができる：

ここで、Ｙは不一致／奥行き画像の画素値であり、ＺｎｅａｒとＺｆａｒは奥行きレンジであり、次式で計算できる：

数式（１）に基づく奥行き画像は、各画素の奥行きレベルと真の奥行き値を数式（３）を用いて求めることができる。真の奥行き値を再構成するため、復号器は奥行き画像自体に加えてＺｎｅａｒとＺｆａｒとを用いる。この奥行き値は３Ｄ再構成に用いることができる。

従来のビデオ符号化では、画像は複数のマクロブロック（ＭＢ）により構成されている。各ＭＢは特定の符号化モードで符号化される。モードはインターモードまたはイントラモードである。また、マクロブロックサブマクロブロックモードに分離することもできる。ＡＶＣ標準を考えると、イントラ１６×１６、イントラ４×４、イントラ８×８、インター１６×１６からインター４×４まで、複数のマクロブロックモードがある。一般的に、平坦な領域や大きなオブジェクトには大きなパーティションが使われる。オブジェクト境界や細かいテクスチャには小さなパーティションが多く使われる。各イントラマクロブロックは関連するイントラ予測モードを有し、インターマクロブロックは動きベクトルを有する。各動きベクトルは、２つの成分ｘとｙを有し、これは基準画像におけるカレントマクロブロックの偏移を表す。この動きベクトルは一画像から他の画像へのカレントマクロブロックの動きを表す。基準画像がインタービュー画像であるとき、動きベクトルは不一致を表す。

少なくとも一実施形態では、（インターマクロブロックの場合）動きベクトルの２成分（mvx, mvy）に加えて、カレントマクロブロックまたはサブマクロブロックの奥行きを表す追加的成分（奥行き）を送信することを提案する。イントラマクロブロックの場合、イントラ予測モードに加えて、追加的奥行き信号を送信する。送信する奥行き信号の量は、マクロブロックタイプ（１６×１６、１６×８、８×１６、...、４×４）に応じて決まる。その背景にある理由は、一般的に、平坦な領域には解像度が非常に低い奥行きでよく、オブジェクト境界には解像度が高い奥行きが必要となる。これは動きパーティションの特性と一致する。奥行き信号中のオブジェクト境界は、（特に低い奥行きレンジでは）ビデオ信号中のオブジェクト境界と相関を有する。このように、ビデオ信号のこれらのオブジェクト境界を符号化するために選択されたマクロブロックモード対応する奥行き信号にとっても適当であることが期待できる。ここに説明する少なくとも１つの実施形態により、特にオブジェクト境界においてはビデオ信号の特徴に密接に結びついた奥行き信号の特徴に基づいて、奥行きの解像度を適応的に符号化できる。奥行き信号を復号してから、奥行き信号をフル解像度に補間して戻す。

奥行き信号が、低い解像度にサブサンプリングされ、次にアップサンプリングされた時に、どう見えるかの例を図１０、１１、及び１２に示した。具体的に、図１０は、１／４解像度と同等な奥行き信号１０００を示す図である。図１１は、１／８解像度と同等な奥行き信号１１００を示す図である。図１２は、１／１６解像度と同等な奥行き信号１２００を示す図である。

図１３（図１３Ａ、Ｂ）と図１４は、奥行き信号を含むビデオデータをそれぞれ符号化と復号する方法の例を示す。

具体的に、図１３は、本発明の一実施形態による、奥行き信号を含むビデオデータを符号化する方法１３００を示すフロー図である。ステップ１３０３において、符号化器設定ファイルを読み、各ビューの奥行きデータが利用可能になる。ステップ１３０６において、アンカー及び非アンカー画像基準ＳＰＳ拡張に設定する。ステップ１３０９において、Ｎをビューの数に設定し、変数ｉとｊを０の初期化する。ステップ１３１２において、ｉ＜Ｎであるかどうか判断する。そうであれば、制御をブロック１３１５に渡す。そうでなければ、制御をブロック１３３９に渡す。

ステップ１３１５において、ｊ＜ビューｉ中の画像数（num）であるかどうか判断する。そうであれば、制御をブロック１３１８に渡す。そうでなければ、制御をブロック１３５１に渡す。

ステップ１３１８において、カレントマクロブロックの符号化を開始する。ステップ１３２１において、マクロブロックモードをチェックする。ステップ１３２４において、カレントマクロブロックを符号化する。ステップ１３２７において、画素複製または複素フィルタリングのどちらかを用いて、奥行き信号を再構成する。ステップ１３３０において、すべてのマクロブロックが符号化されたかどうか判断する。そうであれば、制御をブロック１３３３に渡す。そうでなければ、制御をステップ１３１５に返す。

ステップ１３３３において、変数ｊをインクリメントする。ステップ１３３６において、frame_numとＰＯＣをインクリメントする。

ステップ１３３９において、ＳＰＳ１ ＰＰＳ１及び／またはＶＰＳをインバンド（in-band）でシグナリングするかどうか判断する。そうであれば、制御をブロック１３４２に渡す。そうでなければ、制御をブロック１３４５に渡す。

ステップ１３４２において、ＳＰＳ１ ＰＰＳ及び／またはＶＰＳをインバンド（in-band）でシグナリングする。

ステップ１３４５において、ＳＰＳ、ＰＰＳ、及び／またはＶＰＳをアウトオブバンド（out-of-band）でシグナリングする。

ステップ１３４８において、ビットストリームをファイルに書き込むか、ネットワークを介してストリーミングする。符号化器３１０のところで説明したようなアセンブリ部を用いてビットストリームをアセンブル及び書き込みしてもよい。

ステップ１３５１において、変数ｉをインクリメントし、frame_numとＰＯＣをリセットする。

図１４は、本発明の一実施形態による、奥行き信号を含むビデオデータを復号する方法１４００を示すフロー図である。ステップ１４０３において、view_idを、ＳＰＳ、ＰＰＳ、ＶＰＳ、スライスヘッダ及び／またはネットワークアブストラクションレイヤ（ＮＡＬ）ユニットヘッダから解析する。ステップ１４０６において、他のＳＰＳパラメータを解析する。ステップ１４０９において、カレント画像の復号が必要か判断する。そうであれば、制御をブロック１４１２に渡す。そうでなければ、制御をブロック１４４８に渡す。

ステップ１４１２において、ＰＯＣ（curr）！＝ＰＯＣ（prev）であるかどうか判断する。そうであれば、制御をブロック１４１５に渡す。そうでなければ、制御をブロック１４１８に渡す。

ステップ１４１５において、view_numを０に設定する。

ステップ１４１８において、viewjd情報を高レベルでインデックスして、ビュー符号化順序を決定し、view_numをインクリメントする。

ステップ１４２１において、カレント画像（pic）が期待した符号化順序であるかどうか判断する。そうであれば、制御をブロック１４２４に渡す。そうでなければ、制御をブロック１２５１に渡す。

ステップ１４２４において、スライスヘッダを解析する。ステップ１４２７において、マクロブロック（ＭＢ）モード、動きベクトル（mv）、refjdx、及びdepthdを解析する。ステップ１４３０において、カレントブロックの奥行き値を、depthdに基づき再構成する。ステップ１４３３において、カレントマクロブロックを復号する。ステップ１４３６において、再構成した奥行きを、画素複製または複素フィルタリングで場合によってはフィルタする。ステップ１４３６で、再構成した奥行き値を用いて、任意的に画素ごとの奥行きマップを求める。ステップ１４３６例えば、その奥行き値をそれに関連するすべての画素に対して繰り返したり、既知の方法で奥行き値をフィルタ（外挿と補間を含む）したりする演算を用いる。

ステップ１４３９において、すべてのマクロブロックを処理した（復号した）かどうか判断する。そうであれば、制御をブロック１４４２に渡す。そうでなければ、制御をステップ１４２７に返す。

ステップ１４４２において、カレント画像と再構成した奥行きを復号画像バッファ（ＤＰＢ）に挿入する。ステップ１４４５において、すべての画像を復号したかどうか判断する。そうであれば、復号を終了する。そうでなければ、制御をステップ１４２４に返す。

ステップ１４４８において、次の画像を取得する。

ステップ１４５１において、カレント画像を隠す。

実施形態１:
第１の実施形態では、復号器のスライスレイヤ、マクロブロックレイヤ、及びサブマクロブロックシンタックスに対する修正を表１、表２、及び表３にそれぞれ示した。表から分かるように、各マクロブロックタイプには関連する奥行き値がある。表１-３の一部を斜体字で強調した。ここで、どのように奥行きをマクロブロックタイプに送るか説明する。

大まかに言って、ＡＶＣには２つのマクロブロックタイプがある。１つのマクロブロックタイプはイントラマクロブロックであり、他のマクロブロックタイプはインターマクロブロックである。これら２つはそれぞれ、複数の異なるサブマクロブロックモードにさらに分割される。

イントラマクロブロック
イントラマクロブロックの符号化を考える。イントラマクロブロックはイントラ４×４、イントラ８×８、またはイントラ１６×１６タイプであり得る。

イントラ４×４
マクロブロックタイプがイントラ４×４である場合、イントラ４×４予測モードの符号化に用いたのと同様の方法を用いる。表２から分かるように、各４×４ブロックの奥行きをシグナリングする２つの値を送信する。２シンタックスのセマンティックスは次のように規定される：
prev_depth４×４_pred_mode_flag[luma４×４Blkldx]とrem_depth４×４[luma４×４Blkldx]は、インデックスluma４×４Blkldx = ０..１５である４×４ブロックの奥行き予測を規定する。
Depth４×４[luma４×４Blkldx]は次の手順の適用により求める。
predDepth４×４=Min（depthA, depthB）、
mbAがなければ、predDepth４×４ = depthB
mbBがなければ、predDepth４×４ = depthA
mbAとmbBがなければ、predDepth４×４ = １２８
if（prev_depth４×４_pred_mode_flag[luma４×４Blkldx]）
Depth４×４[luma４×４Blkldx] = predDepth４×４
else
Depth４×４[luma４×４Blkldx] = predDepth４×４ + rem_depth４×４[luma４×４Blkldx]
ここで、depthAは左隣のＭＢの再構成した奥行き信号であり、depthBは上となりのＭＢの再構成した奥行き信号である。

イントラ８×８
イントラ８×８予測モードのマクロブロックに、４×４を８×８で置き換えて、同様のプロセスを適用する。

イントラ１６×１６
イントラ１６×１６イントラ予測モードの場合、１つのオプションは、カレントマクロブロックの奥行き信号を明示的に送信することである。これを表２に示す。

この場合、表２のシンタックスは、次のセマンティックスを有する：
depthd[０][０]は、カレントマクロブロックに用いる奥行き値を規定する。

他の一オプションは、イントラ４×４予測モードと同様に隣接する奥行き値を比較した差分値を送信することである。

イントラ１６×１６予測モードでマクロブロックの奥行き値を求めるプロセスは次のようになる：
predDepth１６×１６ = Min（depthA, depthB）
mbAが無ければ、predDepth１６×１６ = depthB
mbBが無ければ、predDepth １６×１６ = depthA
mbAとmbBが無ければ、predDepth１６×１６ = １２８
depth １６×１６ = predDepth１６×１６ + depthd[０][０]
この場合、表２のシンタックスのセマンティックスは、次のように規定される：
depthd[０][０]は、カレントマクロブロックの、使用する奥行き値とその予測の間の差を規定する。

インターマクロブロック
ＡＶＣ仕様において規定されたインターマクロブロック及びサブマクロブロックモードには複数のタイプがある。そこで、各場合に奥行きがどう送信されるか規定する。

ダイレクトＭＢまたはスキップＭＢ
スキップマクロブロックの場合、マクロブロックに関連するデータは他にないから、１つのフラグのみを送信する。すべての情報は空間的近傍から求める（ただし、使用しない残差は除く）。ダイレクトマクロブロックの場合、残差情報のみを送信し、他のデータは空間的または時間的近傍のいずれかから求める。これら２つのモードでは、奥行き信号の回復に２つのオプションがある。

オプション１
奥行き差を明示的に送信できる。これを表１に示した。奥行きは、予測イントラ１６×１６モードと同様に予測を用いて近傍から回復する。

奥行き値の予測（predDepthSkip）は、ＡＶＣ仕様において動きベクトル予測のために規定されたプロセスと同様のプロセスを次のようにたどる：
DepthSkip = predDepthSkip + depthd[０][０]
この場合、表２のシンタックスのセマンティックスは次のように規定する：
depthd[０][０]は、カレントマクロブロックについて使用する奥行き値とその予測との間の差である。

オプション２
あるいは、マクロブロックの奥行きとして、予測信号を使ってもよい。そうすれば、奥行き差を送信しなくて済む。例えば、表１のdepthd[０][０]の明示的シンタックス要素を回避できる。

よって、次の通りとなる：
DepthSkip = predDepthSkip

インター１６×１６、１６×８、８×１６ＭＢ
これらのインター予測モードの場合、各パーティションの奥行き値を送信する。これは表２に示した。シンタックスdepthd[mbPartldx][０]をシグナリングする。

パーティションの最後の奥行きは次式で求める：
DepthSkip = predDepthSkip + depthd[mbPartldx][０]
ここで、奥行き値の予測（predDepthSkip）は、ＡＶＣ仕様において動きベクトル予測に対して規定したプロセスと同様のプロセスに従う。

depthd[mbPartldx][０]のセマンティックスは次のように規定される：
depthd[mbPartldx][０]は、使用する奥行き値とその予測との間の差を規定する。インデックスmbPartldxは、どのマクロブロックパーティションにdepthdを割り当てるか規定する。マクロブロックのパーティショニングはmb_typeにより規定される。

サブＭＢモード（８×８、８×４、４×８、４×４）
これらのインター予測モードの場合、各パーティションの奥行き値を送信する。これは表３に示した。シンタックスdepthd[mbPartldx][subMbPartldx]をシグナリングする。

パーティションの最後の奥行きは次式で求める：
DepthSkip = predDepthSkip + depthd[mbPartldx][subMbPartldx]
ここで、奥行き値の予測（predDepthSkip）は、ＡＶＣ仕様において、動きベクトル予測に対して規定されたプロセスと同様のプロセスに従う。

depthd[mbPartldx][subMbPartldx]のセマンティックスは、次のように規定される：
depthd[mbPartldx][subMbPartldx]は、使用する奥行き値とその予測との間の差を規定する。subMbPartldxを有するサブマクロブロックパーティションインデックスに適用される。インデックスmbPartldxとsubMbPartldxは、depthdがマクロブロックパーティションとサブマクロブロックパーティションのどちらに割り当てられたか規定する。

図１５（図１５Ａ、Ｂ）と１６（図１６Ａ、Ｂ）は、実施形態１による、奥行き信号を含むビデオデータを符号化と復号する方法の例を示す。

具体的に、図１５は、第１の実施形態による奥行き信号を含むビデオデータの符号化方法１５００を示すフロー図である（実施形態１）。ステップ１５０３において、マクロブロックモードをチェックする。ステップ１５０６において、イントラ４×４、イントラ１６×１６、及びイントラ８×８モードをチェックする。ステップ１５０９において、カレントスライスがIスライスであるかどうか判断する。そうであれば、制御をブロック１５１２に渡す。そうでなければ、制御をブロック１５２４に渡す。

ステップ１５１２において、best mode == イントラ１６×１６であるかどうか判断する。そうであれば、制御をブロック１５１５に渡す。そうでなければ、制御をブロック１５３３に渡す。

ステップ１５１５において、奥行き予測子をMin（depthA, depthB）、depthA、depthBまたは１２８に設定する。ステップ１５１８において、depthd[０][０]を、そのロケーションの奥行きの絶対値、または奥行き値と予測子との差に設定する。ステップ１５２１において、リターンする。

ステップ１５２４において、カレントスライスがＰスライスであるかどうか判断する。そうであれば、制御をブロック１５２７に渡す。そうでなければ、制御をブロック１５３０に渡す。

ステップ１５２７において、Ｐスライスに関係するすべてのインターモードをチェックする。

ステップ１５３０において、Ｂスライスに関係するすべてのインターモードをチェックする。

ステップ１５３３において、best mode==イントラ４×４であるかどうか判断する。そうであれば、制御をブロック１５４８に渡す。そうでなければ、制御をブロック１５３６に渡す。

ステップ１５４８において、predDepth４×４を、Min（depthA, depthB）、depthA、depthB、または１２８に設定する。ステップ１５５１において、depth of ４×４ block == predDepth４×４であれば、prev_depth４×４_pred_mode_flag[luma４×４Blkldx]=１を設定する；そうでなければ、prev_depth４×４_pred_mode_flag[luma４×４Blkldx] = ０を設定し、rem_depth４×４[luma４×４Blkldx]をdepth４×４とpredDepth４×４との間の差として送信する。

ステップ１５３６において、best mode == イントラ８×８であるかどうか判断する。そうであれば、制御をブロック１５４２に渡す。そうでなければ、制御をブロック１５３９に渡す。

ステップ１５４２において、predDepth８×８ = Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８。ステップ１５４５において、depth of ８×８ block == predDepth８×８であれば、prev_depth８×８_pred_mode_flag[luma８×８Blkldx]=１を設定する；そうでなければ、prev_depth８×８_pred_mode_flag[luma８×８Blkldx]=０を設定し、rem_depth８×８[luma８×８Blkldx]を、depth８×８とpredDepth８×８との間の差として送信する。

ステップ１５３９において、best mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック１５５４に渡す。そうでなければ、制御をブロック１５６０に渡す。

ステップ１５５４において、奥行き予測子を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１５５７において、depthd[０][０]を、奥行き予測子、または奥行き値と予測子との差に設定する。

ステップ１５６０において、best mode==インター１６×１６またはインター１６×８またはインター８×１６であるかどうか判断する。そうであれば、制御をブロック１５６３に渡す。そうでなければ、制御をブロック１５６９に渡す。

ステップ１５６３において、奥行き予測子を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２６に設定する。ステップ１５６６において、depthd[mbPartIdx][０]を、Ｍ×Ｎブロックの奥行き値と予測子との間の差に設定する。

ステップ１５６９において、best mode==インター８×８またはインター８×４またはインター４×８またはインター４×４であるかどうか判断する。そうであれば、制御をブロック１５７２に渡す。そうでなければ、制御をブロック１５７６に渡す。

ステップ１５７２において、奥行き予測子を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２６に設定する。ステップ１５７５において、depthd[mbPartldx][subMBPartldx]を、Ｍ×Ｎブロックの奥行き値と予測子との間の差に設定する。

ステップ１５７において、エラーを表示する。

図１６は、第１の実施形態による、奥行き信号を含むビデオデータを復号する方法１６００を示すフロー図である（実施形態１）。ステップ１６０３において、奥行き情報を含むブロックヘッダを解析する。ステップ１６０６において、current （curr） mode==イントラ１６×１６であるかどうか判断する。そうであれば、制御をブロック１６０９に渡す。そうでなければ、制御をブロック１６１８に渡す。

ステップ１６０９において、奥行き予測子をMin（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１６１２において、１６×１６ブロックの奥行きを、depthd[０][０]または解析したdepthd[０][０] + depth predictorに設定する。ステップ１６１５において、リターンする。

ステップ１６１８において、curr mode==イントラ４×４であるかどうか判断する。そうであれば、制御をブロック１６２１に渡す。そうでなければ、制御をブロック１６２７に渡す。

ステップ１６２１において、predDepth４×４を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１６２４において、prev_depth４×４_pred_mode_flag[luma４×４Blkldx]==１であれば、４×４ブロックの奥行きを、predDepth４×４に設定する；そうでなければ、４×４ブロックの奥行きをrem_depth４×４[luma４×４Blkldx] + predDepth４×４に設定する。

ステップ１６２７において、curr mode==イントラ８×８であるかどうか判断する。そうであれば、制御をブロック１６３０に渡す。そうでなければ、制御をブロック１６３６に渡す。

ステップ１６３０において、predDepth８×８を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１６３３において、prev_depth８×８_pred_rnode_flag[luma８×８Blkldx]==１であれば、８×８ブロックの奥行きを、predDepth８×８に設定する；そうでなければ、８×８ブロックの奥行きを、rem_depth８×８[luma８×８Blkldx] + predDepth８×８に設定する。

ステップ１６３６において、curr mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック１６３９に渡す。そうでなければ、制御をブロック１６４５に渡す。

ステップ１６３９において、奥行き予測子を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１６４２において、１６×１６ブロックの奥行きを、奥行き予測子、または解析したdepthd[０][０] + depth predictorに設定する。

ステップ１６４５において、curr mode==インター１６×１６またはインター１６×８またはインター８×１６であるかどうか判断する。そうであれば、制御をブロック１６４８に渡す。そうでなければ、制御をブロック１６５４に渡す。

ステップ１６４８において、奥行き予測子を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１６５１において、カレントＭ×Ｎブロックの奥行きを、解析したdepthd[mbPartldx][０] + depth predictorに設定する。

ステップ１６５４において、curr mode==インター８×８またはインター８×４またはインター４×８またはインター４×４であるかどうか判断する。そうであれば、制御をブロック１６５９に渡す。そうでなければ、制御をブロック１６６３に渡す。

ステップ１６５９において、奥行き予測子を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１６６０において、カレントＭ×Ｎブロックの奥行きを、解析したdepthd[mbPartIdx][subMBPartldx] + depth predictorに設定する。

ステップ１６６３において、エラーを表示する。

実施形態２
この実施形態では、インターブロックの動き情報により奥行き信号を予測することを提案する。動き情報はビデオ信号に関連するものと同じである。イントラブロックの奥行きは実施形態１と同じである。動きベクトル情報を用いてpredDepthSkipを求めることを提案する。したがって、フル解像度奥行き信号を記憶する追加的参照バッファを設ける。インターブロックのシンタックスと導出は実施形態１と同じである。

一実施形態では、predDepthSkip = DepthRef（x+mvx, y+mvy）と設定する。xとyはターゲットブロックの左上画素の座標である。mvxとmvyビデオ信号からのカレントマクロブロックに関連する動きベクトルのｘ、ｙ成分である。DepthRefは復号画像バッファ（DPB）に格納される再構成した基準奥行き信号である。

他の一実施形態では、predDepthSkipを、ターゲットブロックの動きベクトルによりポイントされたすべての画素の基準奥行きの平均に設定する。

他の一実施形態では、mvx = mvy = ０と仮定できるので、予測には、コロケートした（collocated）ブロック奥行き値を用いる、すなわち、predDepthSkip = DepthRef（x, y）。

図１７（図１７Ａ、Ｂ）と図１８（図１８Ａ、Ｂ）は、実施形態２による奥行き信号を含むビデオデータを符号化と復号する方法の例を示す。

図１７は、第２の実施形態による、奥行き信号を含むビデオデータを符号化する方法１７００を示すフロー図である（実施形態２）。ステップ１７０３において、マクロブロックモードをチェックする。ステップ１７０６において、イントラ４×４、イントラ１６×１６、及びイントラ８×８モードをチェックする。ステップ１７０９において、カレントスライスがIスライスであるかどうか判断する。そうであれば、制御をブロック１７１２に渡す。そうでなければ、制御をブロック１７２４に渡す。

ステップ１７１２において、best mode == イントラ１６×１６であるかどうか判断する。そうであれば、制御をブロック１７１５に渡す。そうでなければ、制御をブロック１７３３に渡す。

ステップ１７１５において、奥行き予測子を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１７１８において、depthd[０][０]を、そのロケーションにおける奥行きの絶対値、または奥行き値予測子との間の差に設定する。ステップ１７２１において、リターンする。

ステップ１７２４において、カレントスライスがＰスライスであるかどうか判断する。そうであれば、制御をブロック１７２７に渡す。そうでなければ、制御をブロック１７３０に渡す。

ステップ１７２７において、Ｐスライスに関係するすべてのインターモードをチェックする。

ステップ１７３０において、Ｂスライスに関係するすべてのインターモードをチェックする。

ステップ１７３３において、best mode==イントラ４×４であるかどうか判断する。そうであれば、制御をブロック１７４８に渡す。そうでなければ、制御をブロック１７３６に渡す。

ステップ１７４８において、predDepth４×４を、Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１７５１において、depth of ４×４ block == predDepth４×４であれば、prev_depth４×４_pred_mode_flag[luma４×４Blkldx]=１に設定する；そうでなければ、prev_depth４×４_pred_mode_flag[luma４×４Blkldx]=０に設定して、rem_depth４×４[luma４×４Blkldx]をdepth４×４とpredDepth４×４との差として送信する。

ステップ１７３６において、best mode==イントラ８×８であるかどうか判断する。そうであれば、制御をブロック１７４２に渡す。そうでなければ、制御をブロック１７３９に渡す。

ステップ１７４２において、predDepth８×８=Min（depthA, depthB）またはdepthAまたはdepthBまたは１２８とする。ステップ１７４５において、depth of ８×８ block == predDepth８×８であれば、prev_depth８×８_pred_mode_flag[luma８×８Blkldx]=１と設定する；そうでなければ、prev_depth８×８_pred_mode_flag[luma８×８Blkldx]=０と設定し、rem_depth８×８[luma８×８Blkldx]をdepth８×８とpredDepth８×８との間の差として送信する。

ステップ１７３９において、best mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック１７５４に渡す。そうでなければ、制御をブロック１７６０に渡す。

ステップ１７５４において、カレントマクロブロック（ＭＢ）に対応する動きベクトル（ＭＶ）を用いて奥行き予測子を求める。ステップ１７５７において、depthd[０][０]を、奥行き予測子、または奥行き値と予測子との間の差に設定する。

ステップ１７６０において、best mode==インター１６×１６またはインター１６×８またはインター８×１６であるかどうか判断する。そうであれば、制御をブロック１７６３に渡す。そうでなければ、制御をブロック１７６９に渡す。

ステップ１７６３において、カレントマクロブロック（ＭＢ）に対応する動きベクトル（ＭＶ）を用いて奥行き予測子を求める。ステップ１７６６において、depthd[mbPartIdx]０]を、Ｍ×Ｎブロックの奥行き値と予測子との差に設定する。

ステップ１７６９において、best mode==インター８×８またはインター８×４またはインター４×８またはインター４×４であるかどうか判断する。そうであれば、制御をブロック１７７２に渡す。そうでなければ、制御をブロック１７７８に渡す。

ステップ１７７２において、カレントマクロブロック（ＭＢ）に対応する動きベクトル（ＭＶ）を用いて奥行き予測子を求める。ステップ１７７５において、depthd[mbPartldx][subMBPartldx]を、Ｍ×Ｎブロックの奥行き値と予測子との差に設定する。
ステップ１７７８において、エラーを表示する。

図１８は、第２の実施形態による、奥行き信号を含むビデオデータを復号する方法１８００を示すフロー図である（実施形態２）。ステップ１８０３において、奥行き情報を含むブロックヘッダを解析する。ステップ１８０６において、current （curr） mode==イントラ１６×１６かどうか判断する。そうであれば、制御をブロック１８０９に渡す。そうでなければ、制御をブロック１８１８に渡す。

ステップ１８０９において、奥行き予測子をMin（depthA, depthB）、depthA、depthB、または１２８に設定する。ステップ１８１２において、１６×１６ブロックの奥行きをdepthd[０][０]、または解析したdepthd[０][０] + depth predictorに設定する。ステップ１８１５において、リターンする。

ステップ１８１８において、curr mode==イントラ４×４であるかどうか判断する。そうであれば、制御をブロック１８２１に渡す。そうでなければ、制御をブロック１８２７に渡す。

ステップ１８２１において、predDepth４×４をMin（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１８２４において、prev_depth４×４_pred_mode_flag[luma４×４Blkldx]==１であれば、４×４ブロックの奥行きをpredDepth４×４に設定する；そうでなければ、rem_depth４×４[luma４×４Blkldx] + predDepth４×４に設定する。

ステップ１８２７において、curr mode==イントラ８×８であるかどうか判断する。そうであれば、制御をブロック１８３０に渡す。そうでなければ、制御をブロック１８３６に渡す。

ステップ１８３０において、predDepth８×８をMin（depthA, depthB）またはdepthAまたはdepthBまたは１２８に設定する。ステップ１８３３において、prev_depth８×８_pred_mode_flag[luma８×８Blkldx]==１であれば、８×８ ブロックの奥行きをpredDepth８×８に設定する；そうでなければ、８×８ブロックの奥行きをrem_depth８×８[luma８×８Blkldx] + predDepth８×８に設定する。

ステップ１８３６において、curr mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック１８３９に渡す。そうでなければ、制御をブロック１６４５に渡す。

ステップ１８３９において、カレントマクロブロック（ＭＢ）に対応する動きベクトル（ＭＶ）を用いて奥行き予測子を求める。ステップ１８４２において、１６×１６ブロックの奥行きを奥行き予測子または解析したdepthd[０][０] + depth predictorに設定する。

ステップ１８４５において、curr mode==インター１６×１６またはインター１６×８またはインター８×１６であるかどうか判断する。そうであれば、制御をブロック１８４８に渡す。そうでなければ、制御をブロック１８５４に渡す。

ステップ１８４８において、カレントマクロブロック（ＭＢ）に対応する動きベクトル（ＭＶ）を用いて奥行き予測子を求める。ステップ１８５１において、カレントＭ×Ｎブロックの奥行きを、解析したdepthd[mbPartldx][０] + depth predictorに設定する。

ステップ１８５４において、curr mode==インター８×８またはインター８×４またはインター４×８またはインター４×４であるかどうか判断する。そうであれば、制御をブロック１６５９に渡す。そうでなければ、制御をブロック１８６３に渡す。

ステップ１８５９において、カレントマクロブロック（ＭＢ）に対応する動きベクトル（ＭＶ）を用いて奥行き予測子を求める。ステップ１８６０において、カレントＭ×Ｎブロックの奥行きを解析したdepthd[mbPartIdx][subMBPartldx] + depth predictorに設定する。

ステップ１８６３において、エラーを表示する。

図１３、１５、１７の実施形態は、奥行き信号を含むビデオデータを符号化できる。奥行き信号は符号化の必要はないが、例えば、差分符号化、及び／またはエントロピ符号化を用いて符号化してもよい。同様に、図１４、１６、１８の実施形態は、奥行き信号を含むビデオデータを復号できる。図１４、１６、１８により受信及び復号されるデータは、例えば、図１３、１５、１７の実施形態の１つにより供給されるデータであってもよい。図１４、１６、１８の実施形態は、いろいろな方法で奥行き値を処理することができる。かかる処理には、例えば、実施形態に応じて、受信した奥行き値の解析、奥行き値の復号（奥行き値が符号化されていると仮定して）、及び奥行き値に基づく奥行きマップの全部または一部の生成を含む。奥行き値を処理する処理部は、例えば、（１）ビットストリームパーサ２０２（２）奥行き値が予測値からの差である実施形態で予測子への値の加算などのいろいろな演算を実行する奥行き代表計算器２１１（３）奥行きマップ再構成器２１２、及び（４）一部の実施形態において、エントロピ符号化された奥行き値を復号に用いられるエントロピ復号器２０５を含み得ることに留意せよ。

奥行きデータ補間
いろいろな実施形態において、奥行きデータをそのフル解像度まで補間する。すなわち、復号器は、奥行きデータ（１つの奥行き値をつくるために復号される１つの奥行き符号化値など）を受信し、関連する領域（マクロブロックやサブマクロブロック）の画素ごとのフル奥行きマップを生成する。単純なコピー（ゼロ次オーダーの補間）をできる、すなわち、ブロックを同じ値のdepthＭ×Ｎ（Ｍ，Ｎ＝１６,８,４）ので満たす。もっと高度な補間方法を適用することもできる。例えば、バイリニア、バイキュービック補間などである。すなわち、本発明は具体的な補間方法には限定されず、それゆえ、本発明の精神に沿うものであれば、どんな補間方法を用いてもよい。フィルタの適用は補間の前でも後でもよい。

以下の点は上記のコンセプトを少なくとも部分的にさらに説明するものであり、いろいろな実施形態の詳細を提供する。以下の実施形態は、上記の実施形態、またはそのバリエーション、及び／または新しい実施形態に対応する。

いろいろな実施形態は３Ｄ動きベクトル（ＭＶ）を提供するものである。動きベクトルは通常は２Ｄであり、（x, y）を有する。いろいろな実施形態において、奥行き（「Ｄ」）を示す値を付け加えて、奥行き値を動きベクトルの第３の次元であると考える。奥行きは符号化されても、あるいは、別の画像とされてもよい。その場合、ＡＶＣ符号化法を用いてその後に符号化できる。

上述の通り、マクロブロックのパーティションは、奥行きに対しても十分なサイズであることが多い。例えば、平坦なエリアは、１つの動きベクトルで十分なので、一般的に大きなパーティションの影響を受けやすく、そうした平坦なエリアは奥行き符号化の場合も大きなパーティションの影響を受けやすい。平坦であり、平坦なパーティション値に対して１つの奥行き値を使うので、一般的に符号化がよくなる。さらに、動きベクトルにより、奥行き（Ｄ）値を決定または推定するのに使えるパーティションを指し示す。このように、奥行きは推定的に符号化できる。

実施形態では、パーティション（サブマクロブロック）全体の奥行き値に１つの値を用いてもよい。他の実施形態では、複数の値を用いてもよいし、各画素に対して別の値を用いてもよい。奥行きに用いる値は、上記の例に示したように、例えば、メジアン、平均、またはサブマクロブロックの奥行き値に対する他のフィルタリング演算の結果など、いろいろな方法で決めることができる。奥行き値は、他のパーティション／ブロックの奥行き値に基づくものであってもよい。他のパーティション／ブロックは、（空間的に隣接していようがいまいが）同じ画像のものであっても、他のビューの画像のものであっても、他の時間における同じビューからの画像のものであってもよい。奥行きが他のパーティション／ブロックからの奥行きに基づく場合、外挿を用いてもよい。そして、そのパーティション／ブロックから再構成した奥行き値、符号化した奥行き値、または符号化前の実際の奥行き値に基づくものであってもよい。

奥行き値予測子（depth predictor）はいろいろな情報に基づいて求められる。かかる情報には、例えば、（隣接していてもいなくても）近くのマクロブロックまたはサブマクロブロックに対して決定した奥行き値、及び／または動きベクトルにより指し示された対応するマクロブロックまたはサブマクロブロックに対して決定した奥行き値を含む。実施形態によっては、一部のモードにおいて、マクロブロック全体に対して１つの奥行き値をつくるが、他のモードにおいて、マクロブロックの各パーティションに対して１つの奥行き値をつくる。

言うまでもなく、本発明のコンセプトは、必要なら１つのマクロブロックのみに対して適用できるが、画像のいかなる部分にも適用できる。さらに、ここで、「画像」という用語は、例えばフレームまたはフィールドを指す。

ＡＶＣは、より具体的には、既存のInternational Organization for Standardization／International Electrotechnical Commission （ISO／IEC） Moving Picture Experts Group-４（ＭＰＥＧ−４）パート１０アドバンスビデオ符号化（ＡＶＣ）標準／International Telecommunication Union, Telecommunication Sector（ＩＴＵ−Ｔ）Ｈ．２６４ Recommendation（以下、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準」またはそのバリエーションである「ＡＶＣ標準」、または単に「ＡＶＣ」）を指す。ＭＶＣは、一般的に、より具体的に、ＡＶＣ標準のマルチビュービデオ符号化（「ＭＶＣ」）拡張（Annex H）を指し、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＶＣ拡張（「ＭＶＣ拡張」または簡単に「ＭＶＣ」）と呼ばれる。ＳＶＣは、一般的に、より具体的に、ＡＶＣ標準のスケーラブルビデオ符号化（「ＳＶＣ」）拡張（Annex G）を指し、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＳＶＣ拡張（「ＳＶＣ拡張」または簡単に「ＳＶＣ」）と呼ばれる。

この出願で説明した実施形態や特徴は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＡＶＣ）標準、またはＭＶＣ拡張を伴うＡＶＣ標準、またはＳＶＣ拡張を伴うＡＶＣ標準で用いることができる。しかし、これらの実施形態や特徴は、（既存または将来の）他の標準のコンテキストで用いてもよいし、標準化を伴わないコンテキストで用いられてもよい。

また、実施形態では、情報を、例えば、ＳＥＩメッセージ、スライスヘッダ、その他の高レベルシンタックス、非高レベルシンタックス、アウトオブバンド（out-of-band）情報、データストリームデータ、及び黙示的シグナリングなど、いろいろな技術を用いてシグナリングしてもよい。シグナリング方法は、標準を使うか、標準を使う場合はどの標準を使うかに応じて決まる。

明細書において、本発明の「一実施形態」、またはそのバリエーションと言う場合、本発明の少なくとも１つの実施形態に含まれるその実施形態に関して説明する具体的な特徴、構造、特性などを意味する。それゆえ、本明細書を通していろいろなところに記載した「一実施形態において」またはそのバリエーションは、必ずしもすべてが同じ実施形態を参照するものではない。

言うまでもなく、「／」、「及び／または」、及び「少なくとも１つ」の使用は、例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」、及び「ＡとＢのうち少なくとも１つ」の場合、リストした第１のオプション（Ａ）のみの選択、またはリストした第２のオプション（Ｂ）のみ選択、両方のオプション（Ａ及びＢ）の選択を含むものとする。さらに別の例として、「Ａ、Ｂ、及び／またはＣ」及び「Ａ、Ｂ、及びＣのうち少なくとも１つ」の場合、リストした第１のオプション（Ａ）のみの選択、またはリストした第２のオプション（Ｂ）のみの選択、またはリストした第３のオプション（Ｃ）のみの選択、または、リストした第１及び第２のオプション（ＡとＢ）のみの選択、またはリストした第１及び第３のオプション（ＡとＣ）のみの選択、またはリストした第２及び第３のオプション（ＢとＣ）のみの選択、または３つのオプション（ＡとＢとＣ）すべての選択を含むものとする。本技術分野及び関連技術分野の当業者には言うまでもないが、これはより多くのオプションがリストされている場合にも拡張できる。

ここに説明した実施形態は、例えば、方法、プロセス、装置、ソフトウェアプログラム、データストリーム、または信号として実施することができる。１つの形式の実施形態の場合で説明した（例えば、方法としてのみ説明した）場合であっても、説明した機能の実施形態は他の形式（例えば、装置やプログラム）でも実施できる。装置は、例えば、適当なハードウェア、ソフトウェア、及びファームウェアとして実施することができる。装置は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理装置を含む、処理装置一般を指す、例えばプロセッサなどの装置として実施できる。プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、その他のエンドユーザ間の情報通信を行う装置などの通信装置も含む。

ここに説明したプロセスの実施形態や機能は、異なる機器やアプリケーション、具体的には例えばデータ符号化と復号を伴う機器やアプリケーションとして実施することができる。かかる機器の例としては、符号化器、復号器、復号器からの出力を処理する後処理器、符号化器に入力を供給するプリプロセッサ、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、その他の通信装置が含まれる。言うまでもなく、上記の機器は可動なものであってもよいし、移動体に組み込まれていてもよい。

また、方法は、プロセッサで実行される命令により実施することができ、かかる命令（及び／または実施形態で生成されるデータ値）はプロセッサ読み取り可能な媒体に格納してもよい。媒体には、例えば、集積回路、ソフトウェアキャリア、またはその他の例えば、ハードディスク、コンパクトディスケット、ランダムアクセスメモリ（ＲＡＭ）、またはリードオンリメモリ（ＲＯＭ）などがある。命令は、プロセッサ読み取り可能な媒体に化体したアプリケーションプログラムを形成する。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせであってもよい。命令は、例えば、オペレーティングシステム、別のアプリケーション、またはこれらの組み合わせに含まれてもよい。プロセッサは、例えば、プロセスを実行するように構成された装置、及びプロセスを実行する命令を有するプロセッサ読み取り可能な媒体（記憶装置など）を含む装置の両方を含む。さらに、プロセッサ読み取り可能な媒体は、命令に加えて、実施形態により生成されたデータ値を記憶する。

当業者には明らかなように、実施形態により、例えば記憶または送信する情報を担うようにフォーマットされた信号が生成される。この情報は、例えば、方法を実行する命令上記の実施形態の１つにより生成されたデータを含む。例えば、信号は、データとして、上記の実施形態のシンタックスを読み書きするルールを担うようにフォーマットされ、またはデータとして、上記の実施形態により書き込まれた実際のシンタックス値を担うようにフォーマットされる。かかる信号は、例えば、（例えば、スペクトルの無線周波数部分を用いる）電磁波として、またはベースバンド信号としてフォーマットされる。フォーマットは、例えば、データストリームの符号化と、符号化したデータストリームによるキャリアの変調とを含む。信号が担う情報は、例えば、アナログまたはデジタル情報である。信号は、既知の通り、異なるいろいろな有線または無線のリンクを解して送信される。その信号はプロセッサ読み取り可能な媒体に格納してもよい。

このように、具体的な特徴と態様を有する１つ以上の実施形態を提供する。しかし、上記の実施形態の特徴と態様は、他の実施形態に適用することもできる。したがって、ここに説明した実施形態は具体的なコンテキストで説明したが、かかる説明を、その特徴とコンセプトをかかる実施形態やコンテキストに限定するものと解釈してはならない。

言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、これらの実施形態やその他の実施形態が本出願では想定されており、特許請求の範囲に入る。
なお、以下の付記を記載する。
（付記１） 画像の符号化した第１部分に関連し、前記画像の他の部分には関連しない第１部分動きベクトルを用いて、前記画像の第１部分を復号する段階であって、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
前記第１部分全体の、他の部分のではない奥行き情報を与える第１部分奥行き値を処理する段階と、
画像の符号化した第２部分に関連し、前記画像の他の部分には関連しない第２部分動きベクトルを用いて、前記画像の第２部分を復号する段階であって、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する段階と、
前記第２部分全体の、他の部分のではない奥行き情報を与える第２部分奥行き値を処理する段階と
を有する方法。
（付記２） 前記第１部分奥行き値は符号化され、前記第１部分奥行き値を処理する段階は、前記第１部分奥行き値を復号する段階を有する、付記１に記載の方法。
（付記３） 前記第１部分奥行き値を処理する段階は、前記第１部分奥行き値を解析する段階、前記第１部分奥行き値を復号する段階、または、前記第１部分奥行き値に基づき奥行きマップの少なくとも一部を生成する段階のうち１つ以上を有する、付記１に記載の方法。
（付記４） 前記第１部分奥行き値を処理する段階は、前記第１部分奥行き値に基づき、奥行きマップの第１部分を生成する段階を有し、前記奥行きマップの前記第１部分は、前記画像の前記第１部分の各画素の奥行き値を有する、付記１に記載の方法。
（付記５） 前記第１部分奥行き値は符号化器における奥行き予測子から決定される残余であり、
前記奥行きマップの前記第１部分を生成する段階は、
前記第１部分全体の実際の奥行きを表す代表奥行き値の予測を生成する段階と、
前記予測を前記第１部分奥行き値と結合して、前記画像の前記第１部分の再構成した代表奥行き値を決定する段階と、
前記再構成した代表奥行き値に基づき、前記奥行きマップの前記第１部分をポピュレートする段階と、を有する、付記４に記載の方法。
（付記６） ポピュレートする段階は、前記再構成した代表奥行き値を、前記奥行きマップの前記第１部分全体にコピーする段階を有する、付記５に記載の方法。
（付記７） 前記第１部分はマクロブロックまたはサブマクロブロックであり、前記第２部分はマクロブロックまたはサブマクロブロックである、付記１に記載の方法。
（付記８） 表示のために、前記復号第１部分と復号第２部分とを供給する段階をさらに有する、付記１に記載の方法。
（付記９） 前記第１部分奥行き値と前記第１部分動きベクトルを含む構造にアクセスする段階をさらに有する、付記１に記載の方法。
（付記１０） 前記第１部分奥行き値は、前記第１部分の奥行きの平均、前記第１部分の奥行きのメジアン、前記画像中の近傍部分の奥行き情報、または対応する時間的またはインタービュー部分中の部分の奥行き情報のうち１つ以上に基づく、付記１に記載の方法。
（付記１１） 前記第１部分奥行き値は符号化器における奥行き予測子から決定される残余であり、
前記方法は、前記第１部分全体の実際の奥行きを表す代表奥行き値の予測を生成する段階をさらに有し、
前記予測は、前記第１部分の奥行きの平均、前記第１部分の奥行きのメジアン、前記画像中の近傍部分の奥行き情報、または対応する時間的またはインタービュー部分中の部分の奥行き情報のうち１つ以上に基づく、
付記１に記載の方法。
（付記１２） 前記第１部分奥行き値は、前記第１部分全体の実際の奥行きを表す代表奥行き値である、付記１に記載の方法。
（付記１３） 前記方法は復号器で実行される、付記１に記載の方法。
（付記１４） 前記方法は符号化器で実行される、付記１に記載の方法。
（付記１５） 画像の符号化した第１部分に関連し、前記画像の他の部分には関連しない第１部分動きベクトルを用いて、前記画像の第１部分を復号する手段であって、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する手段と、
前記第１部分全体の、他の部分のではない奥行き情報を与える第１部分奥行き値を処理する手段と、
画像の符号化した第２部分に関連し、前記画像の他の部分には関連しない第２部分動きベクトルを用いて、前記画像の第２部分を復号する手段であって、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する手段と、
前記第２部分全体の、他の部分のではない奥行き情報を与える第２部分奥行き値を処理する手段とを有する装置。
（付記１６） プロセッサに、少なくとも、
画像の符号化した第１部分に関連し、前記画像の他の部分には関連しない第１部分動きベクトルを用いて、前記画像の第１部分を復号する段階であって、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
前記第１部分全体の、他の部分のではない奥行き情報を与える第１部分奥行き値を処理する段階と、
画像の符号化した第２部分に関連し、前記画像の他の部分には関連しない第２部分動きベクトルを用いて、前記画像の第２部分を復号する段階であって、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する段階と、
前記第２部分全体の、他の部分のではない奥行き情報を与える第２部分奥行き値を処理する段階と
を実行させる命令を記憶したプロセッサ読み取り可能媒体。
（付記１７） 少なくとも、
画像の符号化した第１部分に関連し、前記画像の他の部分には関連しない第１部分動きベクトルを用いて、前記画像の第１部分を復号する段階であって、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
前記第１部分全体の、他の部分のではない奥行き情報を与える第１部分奥行き値を処理する段階と、
画像の符号化した第２部分に関連し、前記画像の他の部分には関連しない第２部分動きベクトルを用いて、前記画像の第２部分を復号する段階であって、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する段階と、
前記第２部分全体の、他の部分のではない奥行き情報を与える第２部分奥行き値を処理する段階と
を実行するように構成されたプロセッサを有する装置。
（付記１８） 画像の符号化した第１部分に関連し、前記画像の他の部分には関連しない第１部分動きベクトルを用いて、前記画像の第１部分を復号する段階であって、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
前記第１部分全体の、他の部分のではない奥行き情報を与える第１部分奥行き値を処理する段階と、
画像の符号化した第２部分に関連し、前記画像の他の部分には関連しない第２部分動きベクトルを用いて、前記画像の第２部分を復号する段階であって、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する段階と、
前記第２部分全体の、他の部分のではない奥行き情報を与える第２部分奥行き値を処理する段階と
を実行する復号部を有する装置。
（付記１９） 前記装置は符号化器を有する、付記１８に記載の装置。
（付記２０） 信号を受信して復調する復調器であって、前記信号は画像の符号化された第１部分と奥行き情報の第１部分を表す奥行き値とを含み、前記奥行き情報の第１部分は前記画像の第１部分に対応する復調器と、
復号部であって
画像の符号化した第１部分に関連し、前記画像の他の部分には関連しない第１部分動きベクトルを用いて、前記画像の第１部分を復号する段階であって、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
画像の符号化した第２部分に関連し、前記画像の他の部分には関連しない第２部分動きベクトルを用いて、前記画像の第２部分を復号する段階であって、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する段階とを実行する復号部と、
処理部であって、
前記第１部分全体の、他の部分のではない奥行き情報を与える第１部分奥行き値を処理する段階と、
前記第２部分全体の、他の部分のではない奥行き情報を与える第２部分奥行き値を処理する段階とを実行する処理部と
を有する復号器。
（付記２１） 画像の符号化した第１部分の第１画像セクションであって、前記第１部分は第１サイズを有する第１画像セクションと、
第１部分奥行き値の第１奥行きセクションであって、前記第１部分奥行き値は前記第１部分全体の、他の部分のではない奥行き情報を与える第１奥行きセクションと、
前記画像の第１部分の符号化に用いる第１部分動きベクトルの第１動きベクトルセクションであって、前記第１部分動きベクトルは前記第１部分に関連し、前記画像の他の部分には関連しない、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示す、第１動きベクトルセクションと、
画像の符号化した第２部分の第２画像セクションであって、前記第２部分は前記第１サイズとは異なる第２サイズを有する第２画像セクションと、
第２部分奥行き値の第２奥行きセクションであって、前記第２部分奥行き値は前記第２部分全体の、他の部分のではない奥行き情報を与える第２奥行きセクションと、
前記画像の第２部分の符号化に用いる第２部分動きベクトルの第２動きベクトルセクションであって、前記第２部分動きベクトルは前記第２部分に関連し、前記画像の他の部分には関連しない、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像の対応部分を示す、第２動きベクトルセクションと、を有するビデオ信号構造。
（付記２２） 情報を含むようにフォーマットされ、
画像の符号化した第１部分の第１画像セクションであって、前記第１部分は第１サイズを有する第１画像セクションと、
第１部分奥行き値の第１奥行きセクションであって、前記第１部分奥行き値は前記第１部分全体の、他の部分のではない奥行き情報を与える第１奥行きセクションと、
前記画像の第１部分の符号化に用いる第１部分動きベクトルの第１動きベクトルセクションであって、前記第１部分動きベクトルは前記第１部分に関連し、前記画像の他の部分には関連しない、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示す、第１動きベクトルセクションと、
画像の符号化した第２部分の第２画像セクションであって、前記第２部分は前記第１サイズとは異なる第２サイズを有する第２画像セクションと、
第２部分奥行き値の第２奥行きセクションであって、前記第２部分奥行き値は前記第２部分全体の、他の部分のではない奥行き情報を与える第２奥行きセクションと、
前記画像の第２部分の符号化に用いる第２部分動きベクトルの第２動きベクトルセクションであって、前記第２部分動きベクトルは前記第２部分に関連し、前記画像の他の部分には関連しない、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像の対応部分を示す、第２動きベクトルセクションと、
を有するビデオ信号。
（付記２３） 画像の符号化した第１部分の第１画像セクションであって、前記第１部分は第１サイズを有する第１画像セクションと、
第１部分奥行き値の第１奥行きセクションであって、前記第１部分奥行き値は前記第１部分全体の、他の部分のではない奥行き情報を与える第１奥行きセクションと、
前記画像の第１部分の符号化に用いる第１部分動きベクトルの第１動きベクトルセクションであって、前記第１部分動きベクトルは前記第１部分に関連し、前記画像の他の部分には関連しない、前記第１部分動きベクトルは前記第１部分の復号に用いる基準画像中の対応部分を示す、第１動きベクトルセクションと、
画像の符号化した第２部分の第２画像セクションであって、前記第２部分は前記第１サイズとは異なる第２サイズを有する第２画像セクションと、
第２部分奥行き値の第２奥行きセクションであって、前記第２部分奥行き値は前記第２部分全体の、他の部分のではない奥行き情報を与える第２奥行きセクションと、
前記画像の第２部分の符号化に用いる第２部分動きベクトルの第２動きベクトルセクションであって、前記第２部分動きベクトルは前記第２部分に関連し、前記画像の他の部分には関連しない、前記第２部分動きベクトルは前記第２部分の復号に用いる基準画像の対応部分を示す、第２動きベクトルセクションと、
を有するビデオ信号構造を記憶したプロセッサ読み取り可能媒体。
（付記２４） 前記画像の前記第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて画像の第１部分を符号化する段階であって、前記第１部分動きベクトルは前記第１部分の符号化に用いられる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
前記第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定する段階と、
前記画像の前記第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化する段階であって、前記第２部分動きベクトルは前記第２部分の符号化に用いられる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する段階と、
前記第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する段階と、
前記符号化第１部分と前記第１部分奥行き値と前記符号化第２部分と前記第２部分奥行き値とを構造化フォーマットにアセンブルする段階と、.
を有する方法。
（付記２５） 前記構造化フォーマットを送信または記憶のために供給する段階をさらに有する、付記２４に記載の方法。
（付記２６） 前記第１部分奥行き値を決定する段階は、奥行きマップの第１部分に基づき、前記奥行きマップの前記第１部分は、前記画像の前記第１部分中の各画素の奥行き値を有する、付記２４に記載の方法。
（付記２７） 前記第１部分奥行き値と前記第２部分奥行き値とを前記構造化フォーマットにアセンブルする段階が、前記第１部分奥行き値と第２部分奥行き値とを符号化したものをアセンブルする段階を有するように、アセンブルする段階の前に、前記第１部分奥行き値と前記第２部分奥行き値とを符号化する段階をさらに有する、付記２４に記載の方法。
（付記２８） 前記第１部分全体の実際の奥行きを表す代表奥行き値を決定する段階と、
前記代表奥行き値の予測を生成する段階と、
前記予測を前記代表奥行き値と結合して、前記第１部分奥行き値を決定する段階と、をさらに有する、付記２４に記載の方法。
（付記２９） 前記予測を生成する段階は、前記第１部分の奥行きの平均と、前記第１部分の奥行きのメジアンと、前記画像中の近傍部分の奥行き情報と、対応する時間的またはインタービュー部分中の部分の奥行き情報とのうち１つ以上に基づく予測を生成する段階を有する、付記２８に記載の方法。
（付記３０） 前記第１部分奥行き値は、前記第１部分の奥行きの平均と、前記第１部分の奥行きのメジアンと、前記画像中の近傍部分の奥行き情報と、対応する時間的またはインタービュー部分中の部分の奥行き情報とのうちの１つ以上に基づく、付記２４に記載の方法。
（付記３１） 前記第１部分はマクロブロックまたはサブマクロブロックであり、前記第１部分はマクロブロックまたはサブマクロブロックである、付記２４に記載の方法。
（付記３２） アセンブルする段階は、さらに、前記第１部分動きベクトルを前記構造化フォーマットにアセンブルする段階を有する、
付記２４に記載の方法。
（付記３３） 前記方法は符号化器で実行される、付記２４に記載の方法。
（付記３４） 前記画像の前記第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて、画像の第１部分を符号化する手段であって、前記第１部分動きベクトルは前記第１部分の符号化に用いられる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する手段と、
前記第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定する手段と、
前記画像の前記第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化する手段であって、前記第２部分動きベクトルは前記第２部分の符号化に用いられる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する手段と、
前記第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する手段と、
前記符号化第１部分と前記第１部分奥行き値と前記符号化第２部分と前記第２部分奥行き値とを構造化フォーマットにアセンブルする手段と、を有する装置。
（付記３５） プロセッサに、少なくとも、
前記画像の前記第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて画像の第１部分を符号化する段階であって、前記第１部分動きベクトルは前記第１部分の符号化に用いられる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
前記第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定する段階と、
前記画像の前記第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化する段階であって、前記第２部分動きベクトルは前記第２部分の符号化に用いられる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する、
前記第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する段階と、
前記符号化第１部分と前記第１部分奥行き値と前記符号化第２部分と前記第２部分奥行き値とを構造化フォーマットにアセンブルする段階と、
を実行させる命令を格納した、プロセッサ読み取り可能媒体。
（付記３６） 装置であって、少なくとも
前記画像の前記第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて画像の第１部分を符号化する段階であって、前記第１部分動きベクトルは前記第１部分の符号化に用いられる基準画像中の対応部分を示し、前記第１部分は第１サイズを有する段階と、
前記第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定する段階と、
前記画像の前記第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化する段階であって、前記第２部分動きベクトルは前記第２部分の符号化に用いられる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する段階と、
前記第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する段階と、
前記符号化第１部分と前記第１部分奥行き値と前記符号化第２部分と前記第２部分奥行き値とを構造化フォーマットにアセンブルする段階と、.
を実行するように構成されたプロセッサを有する、装置。
（付記３７） 装置であって、
前記画像の前記第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて画像の第１部分を符号化し、前記第１部分動きベクトルは前記第１部分の符号化に用いられる基準画像中の対応部分を示し、前記第１部分は第１サイズを有し、
前記画像の前記第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化し、前記第２部分動きベクトルは前記第２部分の符号化に用いられる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する、符号化部と、
前記第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定し、前記第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する、奥行き代表計算器と、
前記符号化第１部分と前記第１部分奥行き値と前記符号化第２部分と前記第２部分奥行き値とを構造化フォーマットにアセンブルするアセンブリ部と、を有する装置。
（付記３８） 符号化器であって、
前記画像の前記第１部分と関連し他の部分とは関連しない第１部分動きベクトルを用いて画像の第１部分を符号化し、前記第１部分動きベクトルは前記第１部分の符号化に用いられる基準画像中の対応部分を示し、前記第１部分は第１サイズを有し、
前記画像の前記第２部分と関連し他の部分とは関連しない第２部分動きベクトルを用いて画像の第２部分を符号化し、前記第２部分動きベクトルは前記第２部分の符号化に用いられる基準画像中の対応部分を示し、前記第２部分は前記第１サイズとは異なる第２サイズを有する符号化部と、
前記第１部分全体の、他の部分のではない奥行き情報を供給する第１部分奥行き値を決定し、前記第２部分全体の、他の部分のではない奥行き情報を供給する第２部分奥行き値を決定する奥行き代表計算器と、
前記符号化第１部分と前記第１部分奥行き値と前記符号化第２部分と前記第２部分奥行き値とを構造化フォーマットにアセンブルするアセンブリ部と、
前記構造化フォーマットを変調する変調器と
を有する、符号化器。

１００ 符号化器
１０５ 合成器
１１０ 変換器
１１５ 量子化器
１２０ エントロピー符号化器
１２２ モード決定モジュール
１２５ 逆量子化器
１３０ 逆変換器
１３５ 合成器
１４５ イントラ推定器
１５０ デブロッキングフィルタ
１５５ （時間的推定用）基準画像記憶部
１６０ （ビュー間推定用）基準画像記憶部
１６１ 画像／奥行きパーティショナ
１６２ 奥行き代表計算器
１６３ 奥行き推定・符号化器
１６５不一致補償器
１７０ 不一致推定器
１７５ 動き補償器
１８０ 動き推定器
１８５ スイッチ
２００ 復号器
２０１ ビットストリーム受信器
２０２ ビットストリームパーサ
２０５ エントロピ復号器
２１０ 逆量子化器
２１１ 奥行き代表計算器
２１５ 逆変換器
２２０ 合成器
２２５ デブロッキングフィルタ
２３０ イントラ推定器
２３５ 動き補償器
２４０ （時間的推定用）基準画像記憶部
２４５ （ビュー間推定用）基準画像記憶部
２５０ 不一致補償器
２５５ スイッチ
３００ ビデオ送信システム
４００ ビデオ受信システム

Claims (4)

1. 第１部分奥行き値と第１部分動きベクトルとを含む構造にアクセスするステップと、
   画像の符号化された第１の部分を、前記第１の部分に関連し前記画像の他の部分に関連しない前記第１部分動きベクトルを用いて復号するステップであって、前記第１部分動きベクトルは前記第１の部分の復号に用いる対応する第１の参照画像部分を示し、前記第１の部分は第１のブロックサイズを有するステップと、
   前記第１部分奥行き値を処理するステップであって、前記第１部分奥行き値は前記第１の部分全体の、他の部分のではない奥行き情報を提供し、前記第１部分奥行き値は前記第１部分奥行き値を前記画像の符号化された第１の部分に関連付ける構造からアクセスされる、ステップと、
   前記第１部分奥行き値に基づき奥行きマップの第１の部分を生成するステップであって、前記奥行きマップの第１の部分は前記画像の第１の部分の各画素に対して別々の奥行き値を有する、ステップと、
   第２部分奥行き値と第２部分動きベクトルとを含む前記構造にアクセスするステップと、
   画像の符号化された第２の部分を、前記第２の部分に関連し前記画像の他の部分に関連しない前記第２部分動きベクトルを用いて復号するステップであって、前記第２部分動きベクトルは前記第２の部分の復号に用いる対応する第２の参照画像部分を示し、前記第２の部分は前記第１のブロックサイズとは異なる第２のブロックサイズを有するステップと、
   前記第２部分奥行き値を処理するステップであって、前記第２部分奥行き値は前記第２の部分全体の、他の部分のではない奥行き情報を提供し、前記第２部分奥行き値は前記第２部分奥行き値を前記画像の符号化された第２の部分に関連付ける構造からアクセスされる、ステップと、
   を有する方法。
2. 第１部分奥行き値と第１部分動きベクトルとを含む構造にアクセスし、
   画像の符号化された第１の部分を、前記第１の部分に関連し前記画像の他の部分に関連しない前記第１部分動きベクトルを用いて復号し、前記第１部分動きベクトルは前記第１の部分の復号に用いる対応する第１の参照画像部分を示し、前記第１の部分は第１のブロックサイズを有し、
   前記第１部分奥行き値を処理し、前記第１部分奥行き値は前記第１の部分全体の、他の部分のではない奥行き情報を提供し、前記第１部分奥行き値は前記第１部分奥行き値を前記画像の符号化された第１の部分に関連付ける構造からアクセスされ、
   前記第１部分奥行き値に基づき奥行きマップの第１の部分を生成し、前記奥行きマップの第１の部分は前記画像の第１の部分の各画素に対して別々の奥行き値を有し、
   第２部分奥行き値と第２部分動きベクトルとを含む前記構造にアクセスし、
   画像の符号化された第２の部分を、前記第２の部分に関連し前記画像の他の部分に関連しない前記第２部分動きベクトルを用いて復号し、前記第２部分動きベクトルは前記第２の部分の復号に用いる対応する第２の参照画像部分を示し、前記第２の部分は前記第１のブロックサイズとは異なる第２のブロックサイズを有し、
   前記第２部分奥行き値を処理し、前記第２部分奥行き値は前記第２の部分全体の、他の部分のではない奥行き情報を提供し、前記第２部分奥行き値は前記第２部分奥行き値を前記画像の符号化された第２の部分に関連付ける構造からアクセスされる、
   復号器を有する装置。
3. 画像の符号化された第１の部分を、前記第１の部分に関連し前記画像の他の部分に関連しない前記第１部分動きベクトルを用いて符号化するステップであって、前記第１部分動きベクトルは前記第１の部分の符号化に用いる対応する第１の参照画像部分を示し、前記第１の部分は第１のブロックサイズを有し、
   前記第１の部分全体の、他の部分のではない奥行き情報を提供する第１部分奥行き値を決定するステップであって、前記第１部分奥行き値の決定は奥行きマップの第１の部分に基づき、前記奥行きマップの第１の部分は前記画像の第１の部分の各画素に対して別々の奥行き値を有する、ステップと、
   画像の符号化された第２の部分を、前記第２の部分に関連し前記画像の他の部分に関連しない前記第２部分動きベクトルを用いて符号化するステップであって、前記第２部分動きベクトルは前記第２の部分の符号化に用いる対応する第２の参照画像部分を示し、前記第２の部分は前記第１のブロックサイズとは異なる第２のブロックサイズを有し、
   前記第２の部分全体の、他の部分のではない奥行き情報を提供する第１部分奥行き値を決定するステップと、
   前記符号化された第１の部分、前記第１部分奥行き値、前記符号化された第２の部分、及び前記第２部分奥行き値を、構造化されたフォーマットにアセンブルするステップと
   を有する方法。
4. 画像の符号化された第１の部分を、前記第１の部分に関連し前記画像の他の部分に関連しない前記第１部分動きベクトルを用いて符号化する手段であって、前記第１部分動きベクトルは前記第１の部分の符号化に用いる対応する第１の参照画像部分を示し、前記第１の部分は第１のブロックサイズを有する手段と、
   前記第１の部分全体の、他の部分のではない奥行き情報を提供する第１部分奥行き値を決定する手段であって、前記第１部分奥行き値の決定は奥行きマップの第１の部分に基づき、前記奥行きマップの第１の部分は前記画像の第１の部分の各画素に対して別々の奥行き値を有する、手段と、
   画像の符号化された第２の部分を、前記第２の部分に関連し前記画像の他の部分に関連しない前記第２部分動きベクトルを用いて符号化する手段であって、前記第２部分動きベクトルは前記第２の部分の符号化に用いる対応する第２の参照画像部分を示し、前記第２の部分は前記第１のブロックサイズとは異なる第２のブロックサイズを有する手段と、
   前記第２の部分全体の、他の部分のではない奥行き情報を提供する第１部分奥行き値を決定する手段と、
   前記符号化された第１の部分、前記第１部分奥行き値、前記符号化された第２の部分、及び前記第２部分奥行き値を、構造化されたフォーマットにアセンブルする手段と
   を有する装置。

Images