JP2014528190A

JP2014528190A - カメラおよび／または深度パラメータのシグナリング

Info

Publication number: JP2014528190A
Application number: JP2014524967A
Authority: JP
Inventors: アンドレイノルキン，; トーマスラサート，; チワンフェイウー，
Original assignee: テレフオンアクチーボラゲットエルエムエリクソン（パブル）
Priority date: 2011-08-12
Filing date: 2012-06-01
Publication date: 2014-10-23
Also published as: US9414047B2; WO2013025151A1; US20140192165A1; CN103875250A; EP2742688A1

Abstract

カメラパラメータと深度パラメータとのうちの少なくとも１つである「パラメータ」に関連する更新メッセージを提供するためのエンコーダ（３１０）とエンコーダ（３１０）における方法、更新メッセージを復号するためのデコーダ（３２０）とデコーダ（３２０）における方法が提供され、第１のデバイス（８００）は、エンコーダ（３１０）を備え、第２のデバイス（１０００）は、デコーダ（３２０）を備える。パラメータは、デコーダ（３２０）に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと第２のビューのパラメータとに基づいて合成することを可能にさせる。エンコーダ（３１０）は、パラメータのうちのどちらが経時的に変化しているかを検出する。次に、エンコーダ（３１０）は、パラメータをそれぞれのモジュールへとモジュール化する。さらに、エンコーダ（３１０）は、各それぞれのモジュールを更新メッセージへと符号化し、更新メッセージをデコーダ（３２０）に送信する。次に、デコーダ（３２０）が、更新されるパラメータを得るために、更新メッセージの各それぞれのモジュールを復号する。

Description

本明細書における実施形態は、マルチビューディスプレイおよびビュー合成技術に関する。特に、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを提供するためのエンコーダ、およびエンコーダにおける方法と、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを復号するためのデコーダ、およびデコーダにおける方法が、開示される。

三次元（３Ｄ）映像および三次元テレビジョン（３ＤＴＶ）の分野が勢いを増し、家庭用電化製品、モバイルデバイス、コンピュータ、および映画における次の論理的なステップと考えられている。二次元（２Ｄ）映像上の追加の次元は、コンテンツを表示する複数の異なる方向を提供し、視聴者とコンテンツ間のインタラクションに関する可能性を高める。

次世代のオートステレオスコピックディスプレイは、視聴者に眼鏡なしでの深度の知覚の経験を可能にさせる。これらのディスプレイは、例示的な表示方式を示す図１に示すように、わずかに異なるピクチャを異なる方向に投影する。したがって、視聴者がディスプレイの前の適切な位置に位置する場合、彼／彼女の左および右目は、同一のシーンのわずかに異なるピクチャを見、それは、深度の知覚を作り出すことを可能にする。ユーザが画面の前で動いたときに滑らかな視差と視点の変化を達成するために、典型的には７〜２８個の多数のビューが生成される。ビューは、ある特定のカメラ位置から撮られたシーンのピクチャまたは映像である。

上述したアプローチを使用する場合、ビューの送信が高いビットレートを要求し得る、という問題があり得る。しかしながら、この問題は、たとえば１〜３個といった、より少ない数のキーとなるビューを送信し、送信されたキーとなるビューからいわゆるビュー合成処理により他のビューを生成することによって、解消されることができる。合成されたこれらのビューは、キーとなるビュー間に位置する（補間される）か、またはキーとなるビューによってカバーされた範囲外に位置する（外挿される）ことができる。

ビュー合成技法のうちの１つは、デプスイメージベースドレンダリング（ＤＩＢＲ）である。ビュー合成を容易にするために、ＤＩＢＲは、キーとなるビュー（単数または複数）の深度マップ（単数または複数）（理論的には他のビューの深度マップでもあり得る）を使用する。深度マップは、ビューと同一の解像度を有するグレースケール画像、たとえば、映像フレームによって表現され得る。そして、深度マップの各ピクセルは、カメラからその画像／映像フレーム中の対応するピクセルに関する対象物までの距離を表現する。

ビュー合成において使用され得る多数のパラメータが存在する。これらのパラメータは、ビュー合成に関連するパラメータと呼ばれ得る。

ＤＩＢＲビュー合成を容易にするために、多数のパラメータは、ビュー合成を実行するデバイスまたはプログラムモジュールのためにシグナリングされる必要がある。それらのパラメータの中にはまず、考慮中のフレームのための深度マップにおいて最も近いおよび最も遠い深度値を表現するｚｎｅａｒおよびｚｆａｒがある。これらの値は、量子化された深度マップサンプルを、それらが表現する現実の深度値にマッピングするために必要とされる（以下の式の１つ）。上段の式は、空間の原点からの深度値がすべて正、またはすべて負の場合に使用される。そうでなければ下段の式が使用される。

これらの式１、２は、量子化された深度値を現実の深度値に変換するために使用される。変数ｖは、グレースケールの深度画像における各ピクセルのための輝度値（８ビットの深度マップでは、０〜２５５の間）を表現する。Ｔｚは、変換ベクトルのｚ成分（ｚ座標）を表現する。

ビュー合成のために必要とされるパラメータの別のセットがカメラパラメータである。

３Ｄ映像のためのカメラパラメータは普通、２つの部分に分けられる。内部（内在）カメラパラメータと呼ばれる第１の部分は、画像を撮るカメラの光学特性、たとえば、焦点距離、画像主点の座標、および放射歪みを表現する。外部（外在）カメラパラメータは、それらの下でまた、選択された現実世界の座標において、カメラ位置とその光学軸の方向を表現する（ここでの重要な態様は、互いに対するカメラの位置と、シーンにおける対象物である）。外部パラメータ、すなわち、外部カメラパラメータは変換パラメータを含むことができ、変換パラメータは変換ベクトルに含まれ得る、ということにここで注意すべきである。内部および外部カメラパラメータの両方が、（ＤＩＢＲのような）深度情報の使用に基づいたビュー合成処理において要求される。

上記ＤＩＢＲソリューションの代わりに、レイヤードデプスビデオ（ＬＤＶ）が利用され得る。ＬＤＶソリューションは、シーンの表現のために複数のレイヤを使用する。これらのレイヤは、近景のテクスチャ、近景の深度、背景のテクスチャ、および背景の深度であり得る。

カメラパラメータ等がシグナリングされる手法に対し、種々のデバイスをコンパチブルにするために、カメラパラメータをデコーダに送信する手法が標準化されている。

標準化されたこれらの手法のうちの１つは、マルチビュービデオコーディング（ＭＶＣ）標準規格において定義され、それは、周知のアドバンストビデオコーディング（ＡＶＣ）標準規格の、Ｈ．２６４としても知られている添付書類Ｈにおいて定義されている。ＭＶＣの範囲は、シーンをいくつかの視点から表現するステレオビューまたは複数のビューのジョイントコーディングをカバーする。この標準規格は最終的に、ビューを別個に圧縮することと比較してより良好な圧縮効率を達成するために、同一のシーンのこれらのビュー間の相関を活用する。ＭＶＣ標準規格はまた、カメラパラメータ情報のデコーダへの送信をカバーする。カメラパラメータは、補足エンハンスメント情報（ＳＥＩ）メッセージとして送信される。このＳＥＩメッセージのシンタックスは、表０．１に示されている。

ムービングピクチャエクスパーツグループ（ＭＰＥＧ）標準化への寄与がまた、ｚ＿ｎｅａｒおよびｚ＿ｆａｒ値をデコーダにシグナリングするように提案している。ｚ＿ｎｅａｒおよびｚ＿ｆａｒパラメータをシグナリングするための提案されたシンタックスは、表０．２に示されている。

カメラパラメータが浮動小数点表示で送信されることが、表０．１から理解され得る。浮動小数点表示は、パラメータのより高い動的な範囲をサポートすること、およびより高い精度でのカメラパラメータの送信を容易にすることを可能にする。カメラパラメータのより高い精度は、Ｖｅｔｒｏ、他によって示されてきたビュー合成にとって重要である。

多くの映像コーディング標準規格／ソリューションでは、より高いコーディング効率を得て時間スケーラビリティをサポートするために、映像ピクチャがそれらの表示順序とは異なる順序でコーディングされることができる。そのようなコーディング構造の例の１つは、階層Ｂコーディングであり、それは、双方向ピクチャ予測を広範に使用する。

Ｈ．２６４／ＡＶＣでは、コーディング順序と表示順序の両方が、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダにおいてシグナリングされ、それぞれ、フレーム番号とピクチャ順序カウント（ＰＯＣ）によって表現される。デコーダは、シーケンスを復号するために昇順のフレーム番号に従う。ディスプレイは一方で、画面上に画像を描画するために、昇順のＰＯＣに従う。図２は、異なるコーディング順序および表示順序の概念を示す。

たとえＤＩＢＲおよびＬＤＶといった上述の方法がエンコーダとデコーダとの間のビットレートを減じても、要求されるビットレートをさらに減じることが所望されるだろう。

目的は、エンコーダとデコーダとの間で必要とされるビットレートを減じることである。

この目的は、変更されたＳＥＩメッセージのような更新メッセージまたは他の手段を使用することによってカメラパラメータおよび／または深度パラメータを送信するための新しいシンタックスの導入によって解決される。そのような他の手段は、パラメータが、ビットストリームで送信され、変更されたＳＥＩメッセージではない何らかの他の表現を使用すること、であり得る。

したがって、帯域幅効率のよい手法でカメラおよび／または深度パラメータを送信するためのエンコーダにおける方法が提供される。

したがって、この目的は、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを提供するためのエンコーダにおける方法によって達成される。カメラパラメータと深度パラメータとのうちの少なくとも１つは、デコーダに、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの上記少なくとも１つと、に基づいて合成することを可能にさせる。カメラパラメータと深度パラメータとのうちの少なくとも１つは、第２のビューに関連する。エンコーダは、カメラパラメータと深度パラメータとのうちの上記少なくとも１つのどちらが経時的に変化しているかを検出する。次に、エンコーダは、カメラパラメータと深度パラメータとのうちの検出された上記少なくとも１つをそれぞれのモジュールへとモジュール化する。そして、エンコーダは、各それぞれのモジュールを更新メッセージへと符号化し、更新メッセージをデコーダに送信する。

さらなる態様によると、この目的は、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを提供するように構成されたエンコーダによって達成される。カメラパラメータと深度パラメータとのうちの少なくとも１つは、デコーダに、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの上記少なくとも１つと、に基づいて合成することを可能にさせ、カメラパラメータと深度パラメータとのうちの上記少なくとも１つは、第２のビューに関連する。エンコーダは、
カメラパラメータと深度パラメータとのうちの上記少なくとも１つのどちらが経時的に変化しているかを検出し、
カメラパラメータと深度パラメータとのうちの上記少なくとも１つをそれぞれのモジュールへとモジュール化し、
各それぞれのモジュールを更新メッセージへと符号化し、
更新メッセージをデコーダに送信する
ように構成された処理回路を備える。

いくつかの実施形態によると、第１のデバイスはエンコーダを備える。第１のデバイスは、詳細な説明に例示される第１のユーザ機器、等であることができる。

さらに、カメラおよび／または深度パラメータを受信し、カメラのビューを合成するためにそのカメラおよび／または深度パラメータを使用する、デコーダにおける方法が提供される。

したがって、この目的は、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを復号するためのデコーダにおける方法によって達成される。カメラパラメータと深度パラメータとのうちの少なくとも１つは、デコーダに、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの上記少なくとも１つと、に基づいて合成することを可能にさせる。カメラパラメータと深度パラメータとのうちの少なくとも１つは、第２のビューに関連する。デコーダは、エンコーダから更新メッセージを受信し、更新メッセージは、カメラパラメータと深度パラメータとのうちの少なくとも１つのためのそれぞれのモジュールを備える。次に、デコーダは、更新されるカメラパラメータと深度パラメータとのうちの上記少なくとも１つを得るために、更新メッセージの各それぞれのモジュールを復号する。

さらなる別の態様によると、この目的は、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを復号するように構成されたデコーダによって達成される。カメラパラメータと深度パラメータとのうちの少なくとも１つは、デコーダに、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの上記少なくとも１つと、に基づいて合成することを可能にさせる。カメラパラメータと深度パラメータとのうちの少なくとも１つは、第２のビューに関連する。デコーダは、
エンコーダから更新メッセージを受信し、更新メッセージは、カメラパラメータと深度パラメータとのうちの少なくとも１つのためのそれぞれのモジュールを備え、
カメラパラメータと深度パラメータとのうちの上記少なくとも１つを得るために、更新メッセージの各それぞれのモジュールを復号する
ように構成された処理回路を備える。

いくつかの実施形態によると、第２のデバイスはデコーダを備える。第２のデバイスは、詳細な説明に例示される第２のユーザ機器、等であることができる。

本明細書における実施形態によると、カメラおよび／または深度パラメータは、論理ブロック、またはモジュールに分けられる。次に、以前のフレームと比較すると現在のフレームで変化しているカメラパラメータおよび／または最も近いおよび最も遠い深度値（ｚｎｅａｒおよびｚｆａｒ）のみが、デコーダに送信される。これは、受信機に情報を送信するために要求されるビットレートを減じることができる。

パラメータのために要求されるビットレートをさらに減少させるために、いくつかの実施形態によると、カメラおよび／または深度パラメータに対する増分変化のシグナリングが実行され、それは、カメラおよび／または深度パラメータの予測に関連する。増分変化は、現実のカメラおよび／または深度パラメータと推定されたカメラおよび／または深度パラメータとの間の差分として送信される。

したがって、いくつかの実施形態では、予測子、たとえば、計算式もまた、カメラおよび／または深度パラメータをより効率的に送信するために使用されることができる。そして、パラメータの現実の値と予測された値との間の差分（すなわち、予測誤り）が、送信される。したがって、エンコーダとデコーダとの間で送信される情報の量は減少する。

さらなる実施形態によると、カメラおよび／または深度パラメータの増分変化は、インターピクチャ（インターフレーム）予測構造と、効率的に組み合わせられることもできる。インターピクチャ予測構造は、階層符号化に基づき得る。例として、インターピクチャ（インターフレーム）は、階層Ｂフレーム、Ｐフレーム、等であり得る。そして、カメラパラメータの更新は、フレームのコーディング順序で送信および計算される。これは、受信機に、カメラパラメータおよび／または深度パラメータの予測に影響を及ぼさずに、より高い階層のレイヤのための更新メッセージ、たとえば、変更されたＳＥＩメッセージをドロップすることを可能にさせる。

ここで、およびさらに、本明細書において、「パラメータ」という用語は、外部および内部カメラパラメータの両方、現在のフレーム／カメラにおけるｚ＿ｎｅａｒおよびｚ＿ｆａｒと呼ばれる最も近いおよび最も遠い深度値、また、ビュー合成に関連する他のメタデータ情報を想定する。本開示全体を通して、「カメラパラメータと深度パラメータとのうちの少なくとも１つ」は、「カメラパラメータおよび／または深度パラメータ」を意味するものと理解される。

本明細書における実施形態による利点は、パラメータのより効率的なシグナリングが可能になることである。より効率的なシグナリングは、たとえば、カメラパラメータおよび／またはｚ＿ｎｅａｒ、ｚ＿ｆａｒ値のうちのいくつかが経時的に変化しているケースにおける、更新メッセージの使用、およびカメラパラメータおよびｚ＿ｎｅａｒ、ｚ＿ｆａｒ値をシグナリングする他の手法の使用により、実現されることができる。本明細書における実施形態は、パラメータをシグナリングするために要求されるビットレートを減少させる。

特定の特徴および利点を含む、本明細書に開示される実施形態のさまざまな態様が、以下の詳細な説明と添付図面から容易に理解されるだろう。

図１は、オートステレオスコピックディスプレイの、異なる方向に向けられた多数のビューの概観図である。図２は、コーディング順序および表示順序の説明図である。図３は、実施形態が実現され得るシステムの概観図である。図４は、図３のシステムにおいて実現される実施形態に係る例示的な方法を示す、模式的な、組み合わせられたシグナリングおよびフローチャートである。図５ａは、表示順序および符号化順序を示すブロック図である。図５ｂは、表示順序および符号化順序を示すブロック図である。図５ｃは、表示順序および符号化順序を示すブロック図である。図５ｄは、表示順序および符号化順序を示すブロック図である。図６は、３つのＢフレームを用いた階層予測構造を示す概観図である。図７は、エンコーダから見た場合の、図４の例示的な方法を示す模式的なフローチャートである。図８は、図４および／または図７の方法を実行するように構成された例示的なエンコーダの模式的なブロック図である。図９は、デコーダから見た場合の、図４の例示的な方法を示す模式的なフローチャートである。図１０は、図４および／または図９の方法を実行するように構成された例示的なデコーダの模式的なブロック図である。

上に提示した既存のソリューションに伴う１つの問題は、マルチビュー取得情報ＳＥＩメッセージがすべてのカメラパラメータを含むことである。これは、同一のカメラパラメータが映像シーケンス全体にわたって有効である場合、すなわち、パラメータが経時的に相対的に一定である場合には良好に作用するだろう。しかしながら、いくつかのマルチビューシーケンスは、一定のある特定のカメラパラメータ、および経時的に変化する他のカメラパラメータを有し得る。パラメータのうちのいくつか、たとえば、変換ベクトルならびにｚ＿ｎｅａｒおよびｚ＿ｆａｒパラメータが、フレーム毎に変化し得る一方で、いくつかのパラメータは、フレームのシーケンス全体にわたって一定であり得る。最小および最大深度値ｚ＿ｎｅａｒおよびｚ＿ｆａｒがフレーム毎に変わることはまた、ある特定のタイプのコンテンツに極めてよくあることである。カメラパラメータおよびｚ＿ｎｅａｒ、ｚ＿ｆａｒ値は浮動小数点表示を使用して送信されるので、カメラ毎および単一のフレーム毎にパラメータのセットをすべて再送するということは、いくらかの追加の量のビットが送信される必要があることを意味し得る。したがって、コーディングされた映像シーケンスにおいてカメラパラメータおよび／または深度パラメータを表現するために要求されるビットの数を減じることが所望される。

単一のＳＥＩメッセージですべてのビューのためのカメラパラメータを搬送するメカニズムに伴う別の問題は、「ビュースケーラビリティ」が使用される場合、すなわち、Ｎ個のビューのシーケンスからＮ個より少ないＭ個のビューのサブセットが（ビットストリーム抽出によって）抽出される場合には、ＳＥＩメッセージが、新たなＭ個のビューの表現を反映させるために書き換えられなくてはならなくなること、すなわち、抽出されなかったビューのためのパラメータがメッセージから除去されなくてはならなくなることである。そのような書き換え処理は、所望されない複雑さと遅延をもたらし得る。

詳細な説明に進む前に、いくつかの用語を簡単に説明する。

「フレーム」という用語は、ピクチャのことを言う。すなわち、２つのフレームは、（時間的または位置的なアラインメントの制約は何もない）２つのピクチャであり得る。２つのフレームは、同一のまたは異なる時間インスタンス、または同一のまたは異なるビュー、すなわち、異なるカメラ位置に対応し得る。典型的には、２つのフレームが同一の時間インスタンスに対応する場合、その２つのフレームは異なるビューに関連する。また、２つのフレームが同一のビューに対応する場合、その２つのフレームが異なる時間インスタンスに関連することも典型的である。時間インスタンスは、連続的または非連続的であり得る。

述べたとおり、「ビュー」という用語は、ある特定のカメラ位置からのシーンから得られたフレーム、またはフレームのシーケンスである。

「インタービュー予測」という用語は、ピクチャ中の区画を、仮想または現実であり得る別のビュー、たとえば、カメラ位置、に関連する別のピクチャから予測することに関連する。

「時間予測」という用語は、ピクチャ中の区画を、同一のビューに属するが、異なる時間インスタンス、すなわち瞬間、に属する別のピクチャから予測することに関連する。

完全さのために、本明細書では使用されないが、スライスという用語は、Ｈ．２６４、ＭＶＣ、高効率ビデオコーディング（ＨＥＶＣ）、および関連する標準規格の専門用語のことを言う。スライスは、一般的にはラスタ走査順序（ＨＥＶＣにおいては必ずしもそうでない）における整数個のマクロブロック（または、ＣＵ）を備えるピクチャの一部である。したがって、スライスは、ピクチャの一部であり得る。スライスはまた、ピクチャ全体を備え得るが、常にではない。一般的に、Ｈ．２６４において、スライスは、インターまたはイントラ予測され得る。Ｈ．２６４およびＭＶＣには、ＩＤＲスライスと呼ばれるスライスのタイプが存在する。スライスのうちの１つがＩＤＲである場合には、同一のピクチャにおけるすべての他のスライスもまた、ＩＤＲスライスであるべきである。しかしながら、他のケースでは、ピクチャは、インターおよびイントラ予測されたスライスの両方を備え得る。

本明細書において、「イントラ予測された」ピクチャ（フレーム）という用語は、インター予測を使用しない（または使用することを許可されない）ピクチャのことを言うために使用される。「インター予測された」ピクチャ（フレーム）という用語は、インター予測を使用する（または使用することを許可された）ピクチャのことを言うために使用される。

さらに、本明細書において使用される場合、カメラおよび／または深度パラメータとともに使用される場合の「現実」という用語は、符号化の際にエンコーダにおいて利用可能なカメラおよび／または深度パラメータを言うことを意味する。利用可能なこれらのパラメータは、デコーダにおいて抽出または予測されたカメラおよび／または深度パラメータを考えると、現実である。

図３は、本明細書における実施形態が実現され得る、無線通信システム、マルチメディアシステム、等といった、通信システム１００の概観図である。

通信システム１００は、エンコーダ３１０およびデコーダ３２０を備える。

エンコーダ３１０は、処理回路３１１、たとえば、プロセッサを備える。処理回路３１１は、カメラおよび深度パラメータを構成および／または圧縮するように構成され得る。深度パラメータは、（例としてｚ＿ｎｅａｒ、ｚ＿ｆａｒ値を有する）深度マップパラメータと呼ばれ得る。

さらに、エンコーダ３１０は、カメラ、カメラのアレイから、または、カメラパラメータおよび／または深度マップのためのｚ＿ｎｅａｒ／ｚ＿ｆａｒパラメータを決定する３Ｄ映像処理システムから、入力を受信するための入力部３１３を備える。ｚ＿ｎｅａｒおよびｚ＿ｆａｒパラメータは、深度パラメータとも呼ばれる。入力は一般的にいくつかのカメラからである。カメラが１つしかない場合、２Ｄ映像しか存在し得ない。そして、カメラパラメータは一般的に、２Ｄ映像を表示するのには必要とされない。

エンコーダ３１０はさらに、カメラおよび深度マップパラメータおよび他の情報のうちのいくらかを記憶するためのメモリ３１２、および、構成および／または圧縮されたカメラパラメータおよび／または深度パラメータを送信するための出力部３１４を備える。

デコーダ３２０は、エンコーダ３１０からカメラパラメータおよび／または深度パラメータを受信するための入力部３２４を備える。これらのカメラパラメータおよび／または深度パラメータは、処理回路３２１、たとえば、プロセッサによって処理され、ビューを合成するためにビュー合成器３２３によって使用される。デコーダ３２０はまた、たとえば、以前に受信されたカメラおよび深度パラメータを記憶するためのメモリ３２２を備える。

本明細書における実施形態によると、エンコーダ３１０は、図７に示す第１のデバイスに含まれることができ、デコーダ３２０は、図９に示す第２のデバイスに含まれることができる。

本明細書において使用される場合、「デバイス」という表現は、ユーザ機器、モバイルフォン、セルラーフォン、無線通信能力を備える携帯情報端末（ＰＤＡ）、スマートフォン、内部または外部のモバイルブロードバンドモデムを備えるラップトップ、無線通信能力を備えるセンサーデバイス、ポータブル電子無線通信デバイス、等のことを言い得る。

前述したように、いくつかのカメラパラメータはフレームのシーケンスにわたって一定であり得るが、いくつかのパラメータはフレーム毎の頻度で変化し得る。これらのパラメータは、ビュー合成のために、受信機、すなわち、デコーダ３２０に送信される必要があり得る。

以下においては、異なる実施形態にしたがって、カメラパラメータおよび／または深度パラメータを送信するために必要とされるビットレートを減じるための方法が説明される。特に、送信のためのカメラパラメータおよび／または深度パラメータのエンコーダ３１０による予測、または受信されたカメラパラメータからのカメラパラメータおよび／または深度パラメータのデコーダ３２０による予測が説明される。

図４を参照すると、組み合わせられたシグナリングおよびフローチャートが、図３に係る通信システム１００において実現される場合の例示的な方法を示している。エンコーダ３１０は、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを提供するための方法を実行する。したがって、デコーダ３２０は、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを復号するための方法を実行する。カメラパラメータと深度パラメータとのうちの少なくとも１つは、デコーダ３２０に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの上記少なくとも１つと、に基づいて合成することを可能にさせる。カメラパラメータと深度パラメータとのうちの少なくとも１つは、第２のビューに関連する。

更新メッセージは、ＳＥＩメッセージ、または何らかの他の表現であり得る。

更新メッセージは、第１のメッセージおよび第２のメッセージを備え得る。第１のメッセージは、カメラパラメータを備えることができ、第２のメッセージは、深度パラメータを備えることができる。以下の「カメラパラメータ更新メッセージ」および「実施形態７」のセクションを参照。

カメラパラメータは、回転行列を備えることができ、更新メッセージは、回転行列が単位行列であることを示すためのインジケーションを備えることができる。以下の「実施形態８」のセクションを参照。カメラパラメータは、内部パラメータ、外部パラメータを備えることができ、および／または、深度パラメータは、ｚｎｅａｒおよび／またはｚｆａｒ値を備えることができる。

いくつかの実施形態によると、第１のビューは、第３のフレームまたは第４のフレームに関連する。いくつかの例では、第３のフレームは、第４のフレームと同一のフレームである。

「カメラ」という用語は、必ずしも物理的なカメラのことを言うとは限らず、ビューが合成されるカメラのための可能な位置のことを言うことが理解されるべきである。

以下の動作が、任意の適切な順序で実行され得る。
動作４０１

どのパラメータをデコーダ３２０にシグナリングするかを決定するために、エンコーダ３１０は、カメラパラメータと深度パラメータとのうちの上記少なくとも１つのどちらが経時的に変化しているかを検出する。経時的に変化しているパラメータのみのための更新を送信することが好まれ得る。したがって、経時的に変化するパラメータのうちの少なくともいくつかは、第１のビューと比較して第２のビューで異なる。

例として、第２のビューの第２のフレームと第１のビューの第１のフレームとの間で変化するカメラパラメータおよび／または深度パラメータが、デコーダ３２０に送信され得る。この例では、第１および第２のフレームは、異なる時間インスタンスに関連し得る。この例は、本明細書において説明される時間予測と組み合わせられることができる。

別の例として、第２のカメラ位置に対応する第２のビューと第１のカメラ位置に対応する第１のビューとの間で変化するカメラパラメータおよび／または深度パラメータが、デコーダ３２０に送信され得る。この例では、第１のビューおよび第２のビューは、同一の時間インスタンスに関連し得る。この例は、本明細書において説明されるインタービュー予測と組み合わせられることができる。
動作４０２

エンコーダ３１０が、どのパラメータが経時的に変化しているか、またはどのパラメータが第２のビューから第１のビューで変化しているかを認識すると、これらのパラメータは、モジュールへと編成され得る。したがって、エンコーダ３１０は、カメラパラメータと深度パラメータとのうちの検出された上記少なくとも１つをそれぞれのモジュールへとモジュール化する。エンコーダ３１０がカメラパラメータと深度パラメータとのうちの少なくとも１つをモジュール化する場合、カメラパラメータと深度パラメータとのうちの少なくとも１つは、異なるモジュールへと分割され、または分けられる。このように、カメラパラメータと深度パラメータとのうちの少なくとも１つは、経時的に変化しているパラメータのみがデコーダに送信されるように、ブロックまたはモジュールに入れられる。

それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連し得る。「実施形態１」のセクションを参照。

それぞれのモジュールは、変換パラメータとも呼ばれる変換ベクトルのｘ成分に関連し得る。「実施形態２」のセクションを参照。

予測に関連するさらなる実施形態では、各それぞれのモジュールは、予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含み得る。これは、動作４０３〜４０５のうちの１つ以上の後に実行され得る。「実施形態５」のセクションを参照。

モジュールへのパラメータの分割は、固定であり（予め決められている）、エンコーダとデコーダの両方にとって既知であり得るということにもまた、注意すべきである。このケースでは、エンコーダは、予め定義されたモジュールのうちのどれが送信されているかを、デコーダにシグナリングする必要があるのみである。
動作４０３

この動作は、時間予測に関連する。

エンコーダ３１０とデコーダ３２０との間で送信されるビットの数を減じるために、エンコーダ３１０およびデコーダ３２０は、予測アルゴリズムについて合意し得る。予測アルゴリズムは、符号化前の予測中にエンコーダ３１０によって、および、復号後の抽出中にデコーダ３２０によって、使用されるものである。

したがって、エンコーダ３１０は、第１のフレームおよび第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、第１および第２のフレームに近接する第３のフレームのためのカメラパラメータと深度パラメータとのうちの少なくとも１つを線形予測し得る。第１および第２のフレームに近接する、とは、時間に関し近接することを言い得る。第１および第２のフレームは、任意のフレームであり得る。第１および第２フレームは、第３のフレームが第１および第２のフレームを参照して予測されるので、参照フレームと呼ばれ得る。第３のフレームは、第３のフレームが現在符号化され得るので、現在のフレームと呼ばれ得る。以下の「実施形態４」のセクションを参照。

第３のフレームは、時間、すなわち、表示順序に関し、第１および第２のフレームの間に位置し得る。他の例では、第３のフレームは、第１および第２フレームの前または後に位置し得る。第１および第２のフレームは、互いに隣接し得る。第１および第２のフレームは、第３のフレームが第１および第２のフレームの間に位置する場合、時間に関し間隔をあけられることができる。第１および第２のフレームはまた、第３のフレームが第１および第２のフレームの前または後に位置する場合にも、間隔をあけられ得る。

動作４０２が予測に関連する場合、動作４０３は、動作４０２の前に実行され得る。同様に、上述のごとく動作４０２が予測に関連する場合、動作４０２は、動作４０３の後に実行され得る。
動作４０４

この動作は、インタービュー予測に関連する。

エンコーダ３１０は、カメラのための、たとえば、第１のカメラ位置における、カメラパラメータおよび／または深度パラメータを、さらなるカメラのための、たとえば、第２のカメラ位置における、さらなるカメラパラメータおよび／または深度パラメータに基づいて予測し得る。さらなるカメラパラメータおよび／または深度パラメータは、予測されたカメラパラメータおよび／または深度パラメータが有効である同一の時間インスタンスに関連し得る。「インタービュー予測」のセクションを参照。

動作４０２が予測に関連する場合、動作４０４は、動作４０２の前に実行され得る。同様に、上述のごとく動作４０２が予測に関連する場合、動作４０２は、動作４０４の後に実行され得る。
動作４０５

エンコーダ３１０は、第４のフレームのためのカメラパラメータおよび／または深度パラメータを、さらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測し得る。第４のフレームは、第１のビューに関連し得る。さらなるフレームは、第２のビューに関連し得る。第４のフレームおよびさらなるフレームは、異なる時間インスタンス、または同一の時間における異なるビューに関連し得る。ここで、第４のフレームは、それがこの動作において第３のフレームと同様に予測されるので、現在のフレームであることができる。さらなるカメラパラメータは、第３または第４のフレームのような今のフレームに（表示順序またはコーディング順序において）先行するフレームのためのコーディングされたパラメータであることができる。「ＳＥＩ参照」のセクションを参照。異なる言い方をすると、第３または第４のフレームは、現在のまたは今のフレーム、すなわち、カメラおよび／または深度パラメータが有効なフレームであり得る。

動作４０２が予測に関連する場合、動作４０５は、動作４０２の前に実行され得る。同様に、上述のごとく動作４０２が予測に関連する場合、動作４０２は、動作４０５の後に実行され得る。しかしながら、いくつかの例では、モジュール化は、エンコーダとデコーダの両方にとって既知であることができる。そして、動作の順序は、ここに示されたものとは異なり得る。

動作４０３または４０４において説明された予測は、いくつかの実施形態に係るＳＥＩ参照の使用に関連して使用され得る。
動作４０６

エンコーダ３１０は、各それぞれのモジュールを更新メッセージへと符号化する。例として、エンコーダは、更新メッセージのための適切なフォーマット、たとえば、異なる実施形態に係る表１〜８に示すＳＥＩメッセージのためのフォーマットを選択する。

各それぞれのモジュールの符号化は、カメラパラメータと深度パラメータとのうちの上記少なくとも１つの精度の符号化を除き得る。内部パラメータ、回転パラメータ、変換パラメータ（変換ベクトル）、またはｚ＿ｎｅａｒ／ｚ＿ｆａｒといった、パラメータのサブセットのための更新を符号化することもまた可能である。それらのパラメータモジュールの一部のみ、たとえば、変換ベクトルのｘ成分のみを送信することもまた可能である。パラメータの各セットを更新するための判定は、別個に行われ得る。「実施形態３」のセクションを参照。

各それぞれのモジュールの符号化は、予測された深度パラメータの符号化を除き得る。これは、予測された深度パラメータが経時的に変化しない場合、またはデコーダ３２０が更新メッセージから深度パラメータを予測し得る場合、有益であることができる。「実施形態６」のセクションを参照。

各それぞれのモジュールの符号化は、カメラパラメータおよび／または深度パラメータが関連するフレームのコーディング順序に従い得る。「時間スケーラビリティのサポート」のセクションを参照。他の例では、各それぞれのモジュールの符号化は、カメラパラメータおよび／または深度パラメータが関連するフレームの表示順序に従い得る。
動作４０７

エンコーダ３１０は、デコーダ３２０に更新メッセージを送信する。動作４０６において符号化される場合、更新メッセージは、カメラパラメータと深度パラメータとのうちの少なくとも１つのためのそれぞれのモジュールを備える。

このように、説明されたごとく、経時的に変化しているカメラパラメータと深度パラメータとのうちの少なくとも１つの中のパラメータのみが、ＳＥＩメッセージで送信される。結果として、動作４０１および４０２における検出およびモジュール化がない場合と比較すると、より少ない数のビットが送信されるだけでよい。
動作４０８

この動作において、デコーダ３２０は、動作４０６においてエンコーダ３１０によって符号化された更新メッセージの復号を実行する。したがって、デコーダ３２０は、更新されるカメラパラメータと深度パラメータとのうちの上記少なくとも１つを得るために、更新メッセージの各それぞれのモジュールを復号する。

各それぞれのモジュールの復号は、カメラパラメータと深度パラメータとのうちの上記少なくとも１つの精度の復号を除き得る。「実施形態３」のセクションを参照。

各それぞれのモジュールは、予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含み得る。それぞれの差分パラメータは、本明細書において、予測誤りと呼ばれ得る。「実施形態５」のセクションを参照。

各それぞれのモジュールの復号は、予測された深度パラメータの復号を除く。「実施形態６」のセクションを参照。

各それぞれのモジュールの復号は、カメラパラメータと深度パラメータとのうちの上記少なくとも１つが関連するフレームのコーディング順序に従い得る。「時間スケーラビリティのサポート」のセクションを参照。
動作４０９

デコーダ３２０は、動作４０８における復号の後、第１のフレームおよび第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、第１および第２のフレームに近接する第３のフレームのためのカメラパラメータと深度パラメータとのうちの少なくとも１つを抽出する。この動作において、デコーダ３２０は、動作４０３においてエンコーダ３１０によって予測されたカメラパラメータおよび／または深度パラメータを抽出する。動作４０９〜４１１のコンテキストにおいて、抽出は、エンコーダ３１０と同一のまたは対応するアルゴリズムを使用しながらの予測を備え得る。「実施形態４」のセクションを参照。
動作４１０

デコーダ３２０は、たとえば、第１のカメラ位置に位置するカメラのためのカメラパラメータを、さらなるカメラ、たとえば、さらなるカメラビューのためのさらなるカメラパラメータに基づいて抽出し得る。この動作において、デコーダ３２０は、動作４０４においてエンコーダ３１０によって予測されたカメラパラメータおよび／または深度パラメータを抽出する。「インタービュー予測」のセクションを参照。
動作４１１

デコーダ３２０は、第４のフレームのためのカメラパラメータおよび／または深度パラメータを、同一のカメラのさらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて抽出し得る。この動作において、デコーダ３２０は、動作４０５においてエンコーダ３１０によって予測されたカメラパラメータおよび／または深度パラメータを抽出する。「ＳＥＩ参照」のセクションを参照。

本明細書における実施形態は、さらなる実施形態を作り出すために組み合わせられることができる。
パラメータの更新においてパラメータ表現の一部（精度および／または指数）を再利用すること

カメラパラメータをシグナリングする際に費やされるビット数のさらなる減少が、ビットストリームにおける値の一部のみを更新することによって達成されることができる。たとえば、値を表現するために使用される浮動小数点の精度は、シーケンス（またはシーケンスの一部）にわたって一定であり得る。したがって、精度は、シーケンス全体のために（または、イントラ（ＩＤＲ）フレームから始まるピクチャのグループのために）シグナリングされ得る。これらのパラメータは、ＩＤＲピクチャに関連するＳＥＩ（または他のパラメータ表現）においてシグナリングされ得る。そして、仮数、符号、および指数のみが、ＧＯＰ内でパラメータ値のために送信される。パラメータの「予測誤り」（パラメータの現実の値と予測された値との間の差分）のための仮数、符号、および指数の値を送信するための、よりいっそう有効なパラメータ表現があるだろう（予測についての「カメラパラメータおよびｚｎｅａｒ、ｚｆａｒ値の予測」および「時間スケーラビリティのサポート」のセクションを参照）。

ビットを節約するための別の手法は、多数のフレームのために同一の指数を使用し、仮数部のみを更新することである。そして、パラメータの指数が更新された場合にビットシグナリングがＳＥＩメッセージに追加される。
パラメータのモジュール化（実施形態１〜３、５〜８）

前述したように、いくつかのカメラパラメータのみ（たとえば、カメラパラメータにおける変換ベクトルのｘ成分のみ）が、ある特定のシナリオにおいて経時的に変化している。たとえば、１Ｄ（線形）カメラ配列では、外部カメラパラメータにおける変換ベクトルのｘ成分のみが変化している。たとえカメラのベースライン距離が経時的に変化していても、変換ベクトルのｘ座標のみが変化するだろう。

したがって、カメラパラメータ（およびｚ＿ｎｅａｒ、ｚ＿ｆａｒ値）をモジュールに分け、各モジュールのために、そのようなモジュール毎の値が更新されるかどうかがシグナリングされることが有益であろう。どのモジュールも、そのまた下に他のモジュールを含み、それらのモジュールのためのパラメータが現在のフレームのために更新されるかどうかを示すシグナリングビットを含み得る。これらのモジュールにおけるパラメータのための値は、パラメータの新たな値、すなわち、予測誤り（パラメータの値とその予測値との間の差分）を送信することによって、更新され得る。パラメータの値が更新される形態は、送信機と受信機との間で合意される。パラメータの値をシグナリングする手法は、標準規格（またはシステム）のために一定であることができ、すなわち、それは、ＳＥＩメッセージまたは他の手段によって、特定の圧縮された映像シーケンス（またはシーケンスの一部）のためにシグナリングされ得る。

たとえば、外部カメラパラメータを考慮すると、カメラ回転行列が１つのモジュールに入れられ得る一方で、カメラ変換ベクトルは、別のモジュールに入れられる。これは、たとえば、ＭＰＥＧ三次元ビデオ（３ＤＶ）コーディングにおいてよく使用される１Ｄカメラ配列のケースで有益であろう。
カメラパラメータ更新メッセージ

ＩＤＲフレームのためのカメラパラメータを送信し、（ＧＯＰにおいて予測されたフレームのための）カメラパラメータの更新を送信するために、異なるＳＥＩメッセージ（または異なる表現）を使用することが提案される。別のソリューションは、単に、現在のＳＥＩ（表現）がすべてのパラメータのために使用されるのかパラメータの更新のために使用されるのかを示すフラグを有する、同一のＳＥＩメッセージのための異なる構造を使用することである。ＳＥＩメッセージ（またはその構造）のタイプは、ＳＥＩメッセージ（または表現）が属するアクセスユニットのタイプからも導出され得る。これは、上述した第１のメッセージが第２のメッセージとは異なる構造を有し得ることを意味する。

ＳＥＩメッセージ（表現）のタイプを区別することは、パラメータの更新を含むＳＥＩメッセージ（表現）のために、よりモジュール化された構造を使用することを可能にするであろう。ＩＤＲフレームのためのＳＥＩメッセージでは、モジュールにおいてパラメータが送信されている場合、そのようなモジュールにおいてパラメータのほとんど（または、それどころかパラメータのすべて）が送信されるので、モジュール化された構造は、シグナリングにおけるビットの浪費という結果をもたらすであろう。更新メッセージは対照的に、パラメータの一部のみが更新されるので、モジュール化された構造による利点を有するであろう。
カメラパラメータのインタービュー予測

カメラパラメータは、同一の（または異なる）瞬間に対応する別のカメラにおけるカメラパラメータから更新されることもできる。すると、更新ＳＥＩメッセージは、カメラパラメータＳＥＩ（またはカメラ）、または参照メッセージを搬送するサブビットストリームを参照する別の識別子（および、場合によっては参照フレームのＰＯＣ番号またはフレーム番号）を参照して、送信されるべきである。そして、別のカメラからのパラメータの値が、１つのカメラから別のカメラで変化しているカメラパラメータのうちのいくつかのための更新とともに使用され得る。内部カメラパラメータもまた、しばしばすべてのカメラにおいて同一である。たとえば、１Ｄ（線形）カメラ配列では、（ＭＰＥＧ３ＤＶにおけるように）外部カメラパラメータにおける変換ベクトルのｘ成分のみが変化している。このシナリオは、モジュール化されたカメラパラメータ構造を使用することによって大きな利点を有するだろう。

これらのモジュールにおけるパラメータのための値は、パラメータの新たな値、すなわち、予測誤り（パラメータの現在の値とその予測値との間の差分）を送信することによって更新され得る。カメラのための予測順序は合意され得る。マルチビュー映像が（たとえば、Ｈ．２６４／ＡＶＣの添付書類Ｈを使用して可能な）「メインビュー」および「従属ビュー」を使用してコーディングされる場合、コーディング構造においてメインビューのためのパラメータを送信し、従属ビューにおいてそれらを更新することが論理的である。パラメータのための予測構造はまた、明示的にシグナリングされることも、導出されることも、または固定であることもできる。

カメラパラメータのインタービュー予測は、カメラパラメータの時間予測と組み合わせられることができる。そのような組み合わせの例は、メインビューにおいて時間予測を、従属ビューにおいてインタービュー予測を、使用し得る。別の例は、ＩＤＲアクセスユニットにおいてインタービュー予測を、同一のカメラに属するＧＯＰ「内の」ピクチャ間で時間予測を、使用し得る。これらの構造の他の組み合わせもまた可能である。
ＳＥＩ参照

カメラパラメータおよびｚ＿ｎｅａｒ／ｚ＿ｆａｒ値の予測を改善するための別の手法は、「ＳＥＩ参照」を導入することである。すると、（ＳＥＩ）パラメータの更新は、現在のＳＥＩのパラメータ値に近いパラメータ値を有する（ＳＥＩ）メッセージに基づき得る。別のＳＥＩの参照を可能にするために、「ＳＥＩ参照」が導入されるだろう。ＳＥＩメッセージの参照の代わりに、フレーム番号（ｆｒａｍｅ＿ｎｕｍ）の参照が使用され得る。すると、受信機は、たとえば、予測として使用されるパラメータがどこに位置するかを示すために、ｆｒａｍｅ＿ｎｕｍ（またはビュー番号）を使用し得る。ＳＥＩ参照は、インタービュー予測および／または時間予測において使用され得る。
実施形態１

この実施形態では、パラメータが、内部パラメータ、外部パラメータ、およびｚｎｅａｒ／ｚｆａｒ値、の３つの部分に分けられる。各部分は他の部分と別個にＳＥＩメッセージに含まれることができ、それは、すべてのパラメータがフレーム毎に更新される必要のないケースにおいて、要求されるビットレートをより低くすることができる。

ｍｕｌｔｉｖｉｅｗａｃｑｕｉｓｉｔｉｏｎ＿ｉｎｆｏのための、例示的なＳＥＩメッセージ、または他の表現が、以下の表に示される。いくつかの特定の変化に下線が引かれ、他の変化には下線が引かれていない。ｚ＿ｎｅａｒ＿ｚ＿ｆａｒｆｌａｇ、ｚ＿ｎｅａｒおよびｚ＿ｆａｒのシグナリングが、この実施形態において追加される。

実施形態１のための表１を参照。
実施形態２

第２の実施形態では、カメラパラメータおよびｚ＿ｎｅａｒ／ｚ＿ｆａｒ値が、以下のＳＥＩメッセージのｍｕｌｔｉｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｕｐｄａｔｅ＿ｉｎｆｏ（）を用いて更新される。更新メッセージにおけるパラメータは、少ないビット数を使用することにより更新され得る、ということが理解され得る。ｕｐｄａｔｅ＿ｘ＿ｏｎｌｙ＿ｆｌａｇと呼ばれるフラグが付加的に追加される。これは、変換ベクトルのｘ成分を他の成分と別々に更新する可能性を有するために行われる。これは、変換ベクトルの成分ｘのみが変化している線形（１Ｄ）カメラ配列の一般的なシナリオをカバーする。ｍｕｌｔｉｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｍｅｓｓａｇｅ（）とは異なるフィールドが、以下の表で強調表示されている。これらの変化は多くの場合、以前のフレームと比較して変化したパラメータのみの更新を容易にするために、グループにおけるパラメータのモジュール化を含む。実施形態２のための表２を参照。
実施形態３

第３の実施形態では、カメラパラメータおよびｚ＿ｎｅａｒ、ｚ＿ｆａｒ値が、以下のＳＥＩメッセージのｍｕｌｔｉｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｕｐｄａｔｅ＿ｉｎｆｏ（）を用いて更新される。更新メッセージにおけるパラメータは、少ない数のビットを使用することによって更新され得る、ということが理解され得る。変換ベクトルにおけるパラメータが付加的に、ｕｐｄａｔｅ＿ｘ＿ｏｎｌｙ＿ｆｌａｇというフラグによって２つの部分に分けられる。これは、変換ベクトルのｘ成分をｙおよびｚ成分と別々にする可能性を有するために行われる。カメラパラメータおよびｚ＿ｎｅａｒ、ｚ＿ｆａｒ値の精度は、ＩＤＲフレームのためのｍｕｌｔｉｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｉｎｆｏ（）メッセージにおいてシグナリングされているので、シグナリングされない。

実施形態３のための表３を参照。
実施形態５

第５の実施形態では、ｚ＿ｎｅａｒ、ｚ＿ｆａｒは深度マップの特性であり、カメラパラメータはカメラ位置の特性であるので、深度マップパラメータｚ＿ｎｅａｒおよびｚ＿ｆａｒのシグナリングは、カメラパラメータのシグナリングとは別々にされる。更新メッセージは、他のフレームのために送信されたパラメータ値に対する更新として使用される。インタービューケースのためのカメラパラメータの送信に関し、パラメータは、メインビューのために送信され、従属ビューにおいて更新され得る。このケースにおいて、従属ビューのための内部カメラパラメータがメインビューにおけるパラメータと同一である場合、それらを再送する必要はない。

このケースにおけるカメラパラメータのための更新は、「カメラパラメータおよびｚｎｅａｒ、ｚｆａｒ値の予測」および「時間スケーラビリティのサポート」のセクションに示すように、予測されたパラメータ値と現実のパラメータ値との間の差分として、送信されることができる。

実施形態５のための表５．１〜５．４を参照。
実施形態６

第６の実施形態では、ｚ＿ｎｅａｒおよびｚ＿ｆａｒは深度マップの特性であり、カメラパラメータはカメラ位置の特性であるので、パラメータｚ＿ｎｅａｒおよびｚ＿ｆａｒのシグナリングは、カメラパラメータのシグナリングと別々にされる。更新メッセージは、他のフレームのために送信されたパラメータ値に対する更新として使用される。インタービュー予測のケースのためのカメラパラメータの送信に関し、パラメータは、メインビューのために送信され、従属ビューにおいて更新され得る。このケースにおいて、従属ビューのための内部カメラパラメータがメインビューにおけるパラメータと同一である場合、それらを再送する必要はない。

（ｚ＿ｎｅａｒおよびｚ＿ｆａｒ値を含む）パラメータの更新が、このケースでは予測なしで送信される。しかしながら、仮数値のみを更新するオプションが存在する。これは、仮数はパラメータ値の符号および指数よりも頻繁に変化するので、ゆっくりと変化するパラメータ値をシグナリングする場合に有用であることができる。

実施形態６のための表６．１〜６．５を参照。表６．５に示すのは、表６．４と比較したｚ＿ｎｅａｒおよびｚ＿ｆａｒの更新のための代替のシンタックスである。このケースでは、ｚ＿の値を送信することによりメッセージ全体が代わりに送信され得るので、符号および指数はまったくシグナリングされない。
実施形態７

第７の実施形態では、２つの異なるメッセージがそれぞれ、パラメータｚ＿ｎｅａｒおよびｚ＿ｆａｒのシグナリングとカメラパラメータのシグナリングのために使用される。更新メッセージはこの例では使用されない。代わりに、１つのメッセージタイプが、ｚ−値の初期化と更新の両方に使用され、別のメッセージタイプが、カメラパラメータの初期化と更新の両方に使用される。上述したように、初期化と更新のために別々のメッセージを有することは、たとえば、初期化メッセージにおいて（どのパラメータモジュールを更新するかを示すフラグを省略することにより）ビットを節約することを可能にすることができ、同様に、ビットは、更新メッセージにおいて（たとえば、初期化メッセージから精度パラメータを導出することにより）節約されることができる。しかしながら、初期化と更新のために別々のメッセージを有することには、異なるメッセージタイプ（ＳＥＩタイプ）のための値のスペースが限られ、１つのシグナリングタイプのために２つのタイプ（ＳＥＩタイプ）を費やすことは望ましくない、という欠点があり得る。たとえば、精度パラメータが省略された場合のパケット損失のケースにおける誤り伝搬に伴う問題も存在し得る。したがって、この例では、１つのパラメータタイプにつき１つのＳＥＩタイプが使用される。

ｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎｉｎｆｏのために、３つの異なるモジュール、「ｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍ」、「ｒｏｔａｔｉｏｎ＿ｐａｒａｍ」、および「ｔｒａｎｓｌａｔｉｏｎ＿ｐａｒａｍ」が定義される。それらの各々のために、それぞれのパラメータが更新されるかどうかを示すフラグが送信される。「ｔｒａｎｓｌａｔｉｏｎ＿ｐａｒａｍ＿ｆｌａｇ」が設定されるケースでは、ｘ成分のみを更新するための別のオプション（フラグ）が存在する。

パラメータモジュールが更新されないケースでは、参照ピクチャ（たとえば、ＰＯＣまたはコーディング順序（フレーム番号）が最も近い以前のピクチャ）からのそれぞれの値が使用される。あるいは（例示ではなく）、時間参照フレームインジケータ（たとえば、ＰＯＣ番号）が、参照フレームを示すために使用され得る。以前のピクチャが利用可能であるとみなされないＩＤＲピクチャのケースでは、別のビューからの予測が使用され得る。参照ビューは、マルチビュー映像予測のためにも使用される同一のビューであり得るか、またはそれは、ビュー識別子（ここでは例示ではない）によって別々にシグナリングされ得るか、のいずれかである。さらに、いくつかのビューが、マルチビュー予測のために使用され得る。

実施形態７のための表７．１〜７．２を参照。

それぞれのＳＥＩメッセージのうちの１つは、パラメータのいずれかがそれぞれの参照パラメータに対し更新される場合にのみ送信される、ということがさらに示唆される。たとえば、カメラパラメータのシグナリングに関し、これは、ｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｉｎｆｏメッセージが送信されない場合には、ｉｎｔｒｉｎｓｉｃ＿ｐａｒａｍ＿ｆｌａｇも０、ｒｏｔａｔｉｏｎ＿ｐａｒａｍ＿ｆｌａｇも０、ｔｒａｎｓｌａｔｉｏｎ＿ｐａｒａｍ＿ｆｌａｇも０であることが暗に想定されることを意味する。したがって、それらの３つのフラグが０に設定されるケースは、さらなる最適化のために使用され得る、実際のｖｉｅｗ＿ａｃｑｕｓｉｔｉｏｎ＿ｉｎｆｏメッセージでは決して生じないであろう。これは、以下の例において説明される（いくつかの特定のパラメータに下線が引かれ、ｔｒａｎｓｌａｔｉｏｎ＿ｐａｒａｍ＿ｆｌａｇは、（３つのフラグがすべてゼロに等しいケースは除かれるので）他の２つのフラグが０である場合、送信されない）。実施形態７のための表７．３を参照。
実施形態８

第８の実施形態では、カメラパラメータのある特定の特性が、パラメータの圧縮をさらに改善するために考慮される。たとえば、カメラパラメータの１Ｄ（線形）配列のケースでは、回転行列は単位行列に等しい。したがって、追加のビットレートの節約が、回転行列要素をシグナリングする代わりに回転行列が単位行列であることをシグナリングすることによって、達成されることができる。そのようなＳＥＩメッセージのためのシンタックスは、表８において提供される。この実施形態、および応用可能なすべての他の実施形態は、単独で使用されることもできるし、または他の実施形態と組み合わせられることもできる。

実施形態８のための表８を参照すると、関数「ｓｅｔ＿ｉｄｅｎｔｉｔｙ＿ｒｏｔａｔｉｏｎ＿ｍａｔｒｉｘ（）」は（浮動小数点フォーマットで）、回転行列の主対角線における要素を１と等しく設定し、すべての他の要素を０と等しく設定する。
カメラパラメータおよびｚｎｅａｒ、ｚｆａｒ値の予測

カメラパラメータは、ディファレンシャルパルスコードモジュレーション（ＤＰＣＭ）の使用により、カメラパラメータの以前の値から予測されることができる。ＤＰＣＭは、次回の値が以前の値に従うために、パラメータの次回の値が、現在のフレームのためのカメラパラメータに関する値またはｚ＿ｎｅａｒおよびｚ＿ｆａｒ値と、フレームコーディング順序において以前のフレームにおけるこのパラメータの値との間の差分として送信されることを意味する。

ｐ_ｉが、フレームｉにおけるパラメータｐの値を表すとする。すると、フレームｉ−１におけるパラメータｐの値は、ｐ_ｉ−１となるだろう。すると、現在のフレームにおけるパラメータｐの値のための予測はｐ_ｉ’＝ｐ_ｉ−１である。パラメータ値と予測されたパラメータ値との間の差分を送信する必要がある。したがって、差分の値、ｄ_ｉ＝ｐ_ｉ−ｐ_ｉ’＝ｐ_ｉ−ｐ_ｉ−１が受信機に送信される。

カメラパラメータのための別の予測は、２つの以前の値からの線形予測である。このモデルは、パラメータ値が線形的に変化していることを想定する。すると、パラメータ値のための予測は、以前のパラメータ値に、以前のパラメータ値と以前のパラメータ値の前のパラメータ値との間の差分を加えたものであろう。残余値が次に符号化される。

パラメータのための線形予測の例が以下に示される。フレームｉ−２におけるパラメータｐの値をｐ_ｉ−２とする。すると、現在のフレームにおけるパラメータｐの値のための予測は、ｐ_ｉ’＝Ｐ_ｉ−１＋（ｐ_ｉ−１−ｐ_ｉ−２）＝２＊ｐ_ｉ−１−ｐ_ｉ−２である。現実の値と予測された値との間の差分、ｄ_ｉ＝ｐ_ｉ−ｐ_ｉ’＝ｐ_ｉ−２＊ｐ_ｉ−１＋ｐ_ｉ−２が受信機に送信される。

残余値は元のパラメータ値に浮動小数点演算を使用することによって表現されるが、値が厳密に送信され得ることもまた、理解され得る。ＭＶＣフォーマットにおけるパラメータ値は、選択された精度を用いて表現されるので、フレーム毎に別個にパラメータを送信する場合と厳密に同一の値を送信することが可能である。したがって、予測に起因するパラメータ値のずれは生じない。

ビットストリームにランダムアクセス能力を提供する瞬間復号リフレッシュ（ＩＤＲ）スライスを含むイントラフレームまたはフレームは、ビットストリームとの同調を可能にするために予測なしに送信されたカメラパラメータおよびｚ＿ｎｅａｒ、ｚ＿ｆａｒ値を有するべきである。このケースにおいて、２つの以前の値を使用する線形予測が使用される場合、それは、最後のＩＤＲフレームから始まる２つの以前のパラメータ値が利用可能である場合にのみ適用されるべきである。ＩＤＲフレームの後に続くフレームのためのパラメータの値は、ＩＤＲフレームのためのパラメータ値がｐ_０であり、（コーディングまたは表示順序が）次のフレームのためのパラメータ値がｐ_１である場合、ＩＤＲフレームに対応するパラメータの値、すなわち、ｐ_１’＝ｐ_０として予測されるべきである。
時間スケーラビリティのサポート

パラメータ値のコーディングは、フレームの表示順序（たとえば、ピクチャ順序カウント（ＰＯＣ））に従うように選択され得る。しかしながら、階層Ｂフレーム、階層Ｐフレーム、または時間スケーラビリティをサポートする任意の他のコーディング構造を使用する場合、カメラパラメータを予測する順序がフレームのコーディング順序（フレーム番号（ｆｒａｍｅ＿ｎｕｍ））と同一であれば有益であり得る。すると、フレームの復号順序が表示順序と同一でない場合、カメラパラメータの予測は、復号順序（または時間スケーラビリティ順序）に従うべきである。

この状況でパラメータを予測する１つの手法は、最後にコーディングされたパラメータ値を反復することであろう（すなわち、予測は、同一のまたは低い階層レベルにおける最も近いＰＯＣのパラメータの値を使用するであろう）。

別の、一般的により効率的な、パラメータ値を符号化する手法は、予測階層の同一のまたはより低いレベルにある、（表示順序が）最も近いフレームのパラメータの値を予測として使用することである。この方法は、映像予測順序における予測が、より大きいパラメータ差分、よって、より大きい予測誤り（差分）をもたらし得る（より大きいパラメータ差分は、予測がさほど効率的でないので、予測差分を符号化するためにより多くのビットを要求し得る）のに対し、隣接するフレームからのパラメータの予測を含意するので、よりビットレート効率がよい。

上述した予測順序が、図５ａ〜図５ｄに示される。表示順序に従うカメラパラメータの予測は、ビットレート効率を改善するが、時間スケーラビリティをサポートするにはあまりフレキシブルでない可能性がある。復号順序に従うカメラパラメータの予測は、時間スケーラビリティをサポートするが、より高いビットレートという結果をもたらし得る。なお、図面において、「復号順序」のアプローチと「復号順序（代替）」のアプローチとの相違は、前者のアプローチがパラメータの予測のために厳密な復号順序を使用するのに対し、後者のアプローチは、復号順序が考慮される際に利用可能な、復号のための利用可能な最も近いピクチャを使用する、という点である。

図５ａは、階層Ｂ予測構造の例を示す。

図５ｂは、表示順序に従うパラメータ予測の例を示す。

図５ｃは、コーディング／復号順序に従うパラメータ予測の例を示し、（コーディング順序における）以前のフレームのパラメータ値が使用される。

図５ｄは、コーディング／復号順序に従う予測の代替例を示し、表示順序において現在のフレームに最も近い（先行する）フレームのパラメータ値が使用される。

これまでに２つの方法、映像復号順序でパラメータを予測すること、または映像表示順序でパラメータを予測すること、が示唆された。どちらの方法でも、予測順序が（映像復号順序または映像表示順序のいずれか、またはその変形に）予め決められていること、それぞれの予測の差分がフレーム毎にメッセージ（たとえば、ＳＥＩ）において送信されること、が想定される。予め決められた予測順序のそれらの方法の代替例は、動的な予測順序を有することであり、それは、どのパラメータが予測のために使用されたかのインジケーションを（ＳＥＩ）メッセージを用いて送信することを意味する。たとえば、ＳＥＩメッセージは、参照されたパラメータを搬送したピクチャのピクチャ順序カウントを示す「ｒｅｆｅｒｅｎｃｅ＿ｐｏｃ」フィールドを搬送し得る。あるいは、それは、「ｒｅｆｅｒｅｎｃｅ＿ｐｏｃ＿ｄｅｌｔａ」、すなわち、参照されたパラメータのＰＯＣと現在のＰＯＣとの差分を含むこともできる。別の代替例は、フレームの参照としてｆｒａｍｅ＿ｎｕｍを使用することであろう。このケースでは、「ｒｅｆｅｒｅｎｃｅ＿ｆｒａｍｅ＿ｎｕｍ」または「ｒｅｆｅｒｅｎｃｅ＿ｆｒａｍｅ＿ｎｕｍ＿ｄｅｌｔａ」が、予測参照のためのインジケータとして送信され得る。

パラメータ値の線形予測は、予測階層が同一レベルのフレームにおける、パラメータ値間の線形補間を使用することである。たとえば、Ｉ−およびＰ−フレーム（または、最重要レベルである最下位階層レベルのＢ−フレーム）におけるパラメータが、予測なしに直接的に送信されるだけであることができ、または、パラメータは、最下位時間レイヤにおける以前のパラメータ値から予測されることができる。そして、表示順序が予測されたフレーム間であるフレームの予測値は、パラメータ値間の線形補間によって求められることができる。線形補間はまた、予測階層のより高い時間レイヤにおいて、以前の時間レイヤを使用することにより適用され得る。このケースでは、より低い時間レイヤにおける最も近い２つのフレームのパラメータ値間の線形補間が、別の時間レベルの予測を得るために使用されることができる。線形補間は、パラメータ予測のために使用されたフレームと現在の（予測された）フレームとの間の（表示順序における）距離に比例する重みを用いた、（コーディング順序における）以前の２つのフレームのパラメータ値の、重みづけされた平均として実現され得る。
実施形態４−階層Ｂ予測のケースにおけるｚ値の線形予測

第４の実施形態では、階層Ｂフレームのケースにおけるパラメータ値の線形予測の例が説明される。

図６は、３つのＢフレームを有する階層予測構造を示す。３つの時間スケーラブルなレイヤを有する階層Ｂ予測構造が使用されるとする。Ｉ_０、Ｂ_２、Ｐ_４は、参照され得る３つのフレームを表し、ｂ_２およびｂ_３は、２つの非参照フレーム（任意の他のフレームにより参照として使用されないフレーム）を表す。

ｐ（Ｉ_０）と表されるフレームＩ_０のためのパラメータｐが、ｍｕｌｔｉｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｉｎｆｏ（）メッセージにおいて送信される。次に、予測された値、ｐ’（Ｐ_４）が、ｐ’（Ｐ_４）＝ｐ（Ｉ_０）として得られる。フレームＢ_２のためのパラメータｐの予測された値は、ｐ’（Ｂ_２）＝０．５＊ｐ（Ｉ_０）＋０．５＊ｐ’（Ｐ_４）として得られる。パラメータｂ_１およびｂ_３の予測された値は、ｐ’（ｂ_１）＝０．７５＊ｐ（Ｉ_０）＋０．２５＊ｐ’（Ｐ_４）およびｐ’（ｂ_３）＝０．２５＊ｐ（Ｉ_０）＋０．７５＊ｐ’（Ｐ_４）として得られる。パラメータの予測された値を得る代替の手法は、ｐ’（ｂ_１）＝０．５＊ｐ（Ｉ_０）＋０．５＊ｐ’（Ｂ_２）およびｐ’（ｂ_３）＝０．５＊ｐ（Ｂ_２）＋０．５＊ｐ’（Ｐ_４）である。

パラメータｐの予測された値は、ｍｕｌｔｉｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｉｎｆｏ（）メッセージにおける対応するｐｒｅｃ＿ｐフィールドにおいて指定された精度を使用した計算により得られる。

パラメータｐの残余値が、説明された実施形態のうちの１つによると、ｍｕｌｔｉｖｉｅｗ＿ａｃｑｕｉｓｉｔｉｏｎ＿ｕｐｄａｔｅ＿ｉｎｆｏ（）メッセージにおいて送信され、受信機においてパラメータｐの値を得るために予測された値ｐ’に加算される。

図７は、エンコーダ３１０から見た場合の、図４の例示的な方法を示す。したがって、エンコーダ３１０は、カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを提供するための方法を実行する。説明したように、カメラパラメータと深度パラメータとのうちの上記少なくとも１つは、デコーダ３２０に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの上記少なくとも１つと、に基づいて合成することを可能にさせ、カメラパラメータと深度パラメータとのうちの上記少なくとも１つは、第２のビューに関連する。

上述したように、カメラパラメータは、内部パラメータ、外部パラメータを備えることができ、および／または、深度パラメータは、ｚｎｅａｒおよび／またはｚｆａｒ値を備えることができる。

カメラパラメータは、回転行列を備えることができ、更新メッセージは、回転行列が単位行列であることを示すためのインジケーションを備える。

以下の動作が、任意の適切な順序で実行され得る。
動作７０１

エンコーダ３１０は、カメラパラメータと深度パラメータとのうちの上記少なくとも１つのどちらが経時的に変化しているかを検出する。この動作は、動作４０１と同様である。
動作７０２

エンコーダ３１０は、カメラパラメータと深度パラメータとのうちの検出された上記少なくとも１つをそれぞれのモジュールへとモジュール化する４０２。この動作は、動作４０２と同様である。

いくつかの実施形態において、それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連する。それぞれのモジュールは、変換パラメータ（変換ベクトル）のｘ成分に関連し得る。各それぞれのモジュールは、予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含み得る。

いくつかの実施形態において、いくつかのパラメータのモジュール化は、固定である（予め決められている）か、またはエンコーダとデコーダの両方にとって既知であることができる。すると、エンコーダは、現在のメッセージにおいてどのモジュールが送信され、どれが送信されないかを、デコーダにシグナリングするだけでよい。
動作７０３

この動作は、動作７０２の前に実行されることができる。エンコーダ３１０は、第１および第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、第１および第２のフレームに近接する第３のフレームのためのカメラパラメータおよび／または深度パラメータを線形予測する。この動作は、動作４０３と同様である。
動作７０４

エンコーダ３１０は、カメラのためのカメラパラメータおよび／または深度パラメータを、さらなるカメラのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測する。この動作は、動作４０４と同様である。
動作７０５

エンコーダ３１０は、第４のフレームのためのカメラパラメータおよび／または深度パラメータを、さらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測する。この動作は、動作４０５と同様である。
動作７０６

エンコーダ３１０は、各それぞれのモジュールを更新メッセージへと符号化する。各それぞれのモジュールの符号化は、カメラパラメータおよび／または深度パラメータ（予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータ）の精度の符号化を除き得る。各それぞれのモジュールの符号化は、深度パラメータ（または、予測された深度パラメータと現実の深度パラメータとの間の差分）の符号化を除き得る。各それぞれのモジュールの符号化は、カメラパラメータおよび／または深度パラメータが関連するフレームの、コーディング順序または表示順序に従い得る。

更新メッセージは、第１のメッセージおよび第２のメッセージを備えることができ、第１のメッセージは、カメラパラメータを備え、第２のメッセージは、深度パラメータを備える。

この動作は、動作４０６と同様である。
動作７０７

エンコーダ３１０は、デコーダ３２０に更新メッセージを送信する。この動作は、動作４０７と同様である。

図８は、図４および／または図６の方法を実行するように構成された例示的なエンコーダ３１０を示す。したがって、エンコーダ３１０は、カメラパラメータおよび／または深度パラメータに関連する更新メッセージを提供するように構成される。説明したように、カメラパラメータおよび／または深度パラメータは、デコーダ３２０に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの１つ以上と、に基づいて合成することを可能にさせる。カメラパラメータおよび／または深度パラメータは、第２のビューに関連する。

説明したように、カメラパラメータは、内部パラメータ、外部パラメータを備えることができ、および／または、深度パラメータは、ｚｎｅａｒおよび／またはｚｆａｒ値を備えることができる。それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連し得る。それぞれのモジュールは、変換パラメータのｘ成分に関連し得る。説明したように、各それぞれのモジュールは、予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含み得る。

カメラパラメータは、回転行列を備えることができ、更新メッセージは、回転行列が単位行列であることを示すためのインジケーションを備えることができる。

いくつかの実施形態において、第１のデバイス８００は、エンコーダ３１０を備え得る。

説明したように、エンコーダ３１０は、
カメラパラメータと深度パラメータとのうちの少なくとも１つをそれぞれのモジュールへとモジュール化し、
各それぞれのモジュールを更新メッセージへと符号化し、
更新メッセージをデコーダ３２０に送信する
ように構成されたプロセッサのような、処理回路３１１を備える。

処理回路３１１はさらに、各それぞれのモジュールを符号化する際に、カメラパラメータおよび／または深度パラメータの精度の符号化を除くように構成され得る。

処理回路３１１はさらに、
モジュール化する前に、第１および第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、第１および第２のフレームに近接する第３のフレームのためのカメラパラメータおよび／または深度パラメータを線形予測する
ように構成され得る。

処理回路３１１はさらに、各それぞれのモジュールを符号化する際に、予測された深度パラメータの符号化を除くように構成され得る。

処理回路３１１は、各それぞれのモジュールを符号化する際に、カメラパラメータおよび／または深度パラメータが関連するフレームのコーディング順序に従うように構成され得る。あるいは、処理回路３１１は、各それぞれのモジュールを符号化する際に、カメラパラメータおよび／または深度パラメータが関連するフレームの表示順序に従うように構成され得る。

処理回路３１１は、カメラのためのカメラパラメータを、さらなるカメラのためのさらなるカメラパラメータに基づいて予測するように構成され得る。

処理回路３１１は、第４のフレームのためのカメラパラメータおよび／または深度パラメータを、さらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測するように構成され得る。

エンコーダ３１０はさらに、たとえば、処理回路３１１によって実行されるソフトウェアを記憶するためのメモリ３１２を備える。ソフトウェアは、図４および／または図６に関連して上述されたエンコーダ３１０における方法の実行を処理回路に可能にさせるための命令を備え得る。

図９は、デコーダ３２０から見た場合の、図４の例示的な方法を示す。したがって、デコーダ３２０は、カメラパラメータおよび／または深度パラメータに関連する更新メッセージを復号するための方法を実行する。説明したように、カメラパラメータおよび／または深度パラメータは、デコーダ３２０に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの１つ以上と、に基づいて合成することを可能にさせる。カメラパラメータおよび／または深度パラメータは、第２のビューに関連する。

説明したように、カメラパラメータは、内部パラメータ、外部パラメータ、および／または変換パラメータを備えることができ、および／または、深度パラメータは、ｚｎｅａｒおよび／またはｚｆａｒ値を備えることができる。カメラパラメータは、回転行列を備えることができ、更新メッセージは、回転行列が単位行列であることを示すためのインジケーションを備えることができる。

以下の動作が、任意の適切な順序で実行され得る。
動作９０１

デコーダ３２０は、エンコーダ３１０から更新メッセージを受信し、更新メッセージは、カメラパラメータと深度パラメータとのうちの少なくとも１つのためのそれぞれのモジュールを備える。この動作は、動作４０７と同様である。

説明したように、更新メッセージは、第１のメッセージおよび第２のメッセージを備えることができ、第１のメッセージは、カメラパラメータを備えることができ、第２のメッセージは、深度パラメータを備えることができる。

それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連し得る。それぞれのモジュールは、変換パラメータ（変換ベクトル）のｘ成分に関連し得る。各それぞれのモジュールは、予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含み得る。
動作９０２

デコーダ３２０は、更新されるカメラパラメータおよび／または深度パラメータを得るために、更新メッセージの各それぞれのモジュールを復号する。この動作は、動作４０８と同様である。

各それぞれのモジュールの復号は、カメラパラメータおよび／または深度パラメータの精度の復号を除き得る。各それぞれのモジュールの復号は、予測された深度パラメータの復号を除き得る。各それぞれのモジュールの復号は、カメラパラメータおよび／または深度パラメータが関連するフレームの、コーディング順序または表示順序に従い得る。
動作９０３

この動作は、動作９０２の後に実行されることが好ましい。デコーダ３２０は、第１および第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、第１および第２のフレームに近接する第３のフレームのためのカメラパラメータおよび／または深度パラメータを抽出し得る。

この動作は、動作４０９と同様である。
動作９０４

デコーダ３２０は、カメラのためのカメラパラメータおよび／または深度パラメータを、さらなるカメラのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて抽出し得る。この動作は、動作４１０と同様である。
動作９０５

デコーダ３２０は、第４のフレームのためのカメラパラメータおよび／または深度パラメータを、同一のカメラのさらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて抽出し得る。この動作は、動作４１１と同様である。

図１０は、図４および／または図８の方法を実行するように構成された例示的なデコーダ３２０を示す。したがって、デコーダ３２０は、カメラパラメータおよび／または深度パラメータに関連する更新メッセージを復号するように構成される。説明したように、カメラパラメータおよび／または深度パラメータは、デコーダ３２０に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、カメラパラメータと深度パラメータとのうちの１つ以上と、に基づいて合成することを可能にさせる。カメラパラメータおよび／または深度パラメータは、第２のビューに関連する。

いくつかの実施形態において、第２のデバイス１０００は、デコーダ３２０を備える。

カメラパラメータは、内部パラメータ、外部パラメータを備えることができ、および／または、深度パラメータは、ｚｎｅａｒおよび／またはｚｆａｒ値を備えることができる。カメラパラメータは、回転行列を備えることができ、更新メッセージは、回転行列が単位行列であることを示すためのインジケーションを備えることができる。

更新メッセージは、第１のメッセージおよび第２のメッセージを備えることができ、第１のメッセージは、カメラパラメータを備えることができ、第２のメッセージは、深度パラメータを備えることができる。

デコーダ３２０は、
エンコーダ３１０から更新メッセージを受信し、更新メッセージは、カメラパラメータと深度パラメータとのうちの少なくとも１つのためのそれぞれのモジュールを備え、
カメラパラメータおよび／または深度パラメータを得るために、更新メッセージの各それぞれのモジュールを復号する
ように構成されたプロセッサのような、処理回路３２１を備える。

説明したように、各それぞれのモジュールは、予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含む。それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連し得る。それぞれのモジュールは、変換パラメータのｘ成分に関連し得る。

処理回路３２１は、各それぞれのモジュールを復号する際にカメラパラメータおよび／または深度パラメータの精度の復号を除くように構成され得る。

処理回路３２１はさらに、復号の後、第１および第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、第１および第２のフレームに近接する第３のフレームのためのカメラパラメータおよび／または深度パラメータを抽出するように構成され得る。

処理回路３２１は、各それぞれのモジュールを復号する際に、予測された深度パラメータの復号を除くように構成され得る。

処理回路３２１はさらに、各それぞれのモジュールを復号する際に、カメラパラメータおよび／または深度パラメータが関連するフレームのコーディング順序に従うように構成され得る。

処理回路３２１はさらに、カメラのためのカメラパラメータを抽出するように構成されることができ、抽出は、さらなるカメラのためのさらなるカメラパラメータに基づく。

処理回路３２１はさらに、第４のフレームのためのカメラパラメータおよび／または深度パラメータを、さらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて抽出するように構成され得る。

デコーダ３２０はさらに、たとえば、処理回路によって実行されるソフトウェアを記憶するためのメモリ３２２を備える。ソフトウェアは、図４および／または図８に関連して上述されたデコーダ３２０における方法の実行を処理回路に可能にさせるための命令を備え得る。

本明細書において使用される場合、「処理回路」という用語は、処理ユニット、プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、等のことを言い得る。例として、プロセッサ、ＡＳＩＣ、ＦＰＧＡ、等は、１つ以上のプロセッサカーネルを備え得る。

本明細書において使用される場合、「メモリ」という用語は、ハードディスク、磁気記憶媒体、ポータブルコンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、等のことを言い得る。さらに、メモリは、プロセッサの内部レジスタメモリであり得る。

いくつかの実施形態において、エンコーダ３１０またはデコーダ３２０は、有線またはワイヤレスインターフェースによる通信のために構成され得る。さらに、本明細書における実施形態は、ＤＶＤまたはブルーレイディスクといった多用途媒体を介した通信を備え得る。いくつかのそのような実施形態によると、エンコーダ３１０は、たとえばＤＶＤ／ブルーレイプレイヤーのような、メディアプレイヤーを備え得るか、またはそれらに接続可能であり得る。

たとえさまざまな態様の実施形態が説明されていたとしても、それらの多くの異なる変形、変更、等が、当業者に明らかとなるであろう。したがって、説明された実施形態は、本開示の範囲を限定することを意図したものではない。

Claims

カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを提供するためのエンコーダ（３１０）における方法であって、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、デコーダ（３２０）に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つと、に基づいて合成することを可能にさせ、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、前記第２のビューに関連し、前記方法は、
前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つのどちらが経時的に変化しているかを検出すること（４０１）と、
前記カメラパラメータと前記深度パラメータとのうちの検出された前記少なくとも１つをそれぞれのモジュールへとモジュール化すること（４０２）と、
各それぞれのモジュールを前記更新メッセージへと符号化すること（４０６）と、
前記更新メッセージを前記デコーダ（３２０）に送信すること（４０７）と
を備える、方法。
前記カメラパラメータが、内部パラメータ、外部パラメータを備え、および／または、前記深度パラメータが、ｚｎｅａｒおよび／またはｚｆａｒ値を備える、請求項１に記載の方法。
前記それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連する、請求項１または２に記載の方法。
前記それぞれのモジュールは、変換パラメータのｘ成分に関連する、請求項１乃至３のいずれか一項に記載の方法。
各それぞれのモジュールの前記符号化は、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つの精度の符号化を除く、請求項１乃至４のいずれか一項に記載の方法。
前記方法はさらに、前記モジュール化すること（４０２）の前に、
第１のフレームおよび第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、前記第１および第２のフレームに近接する第３のフレームのための前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを線形予測すること（４０３）
を備える、請求項１乃至５のいずれか一項に記載の方法。
各それぞれのモジュールは、予測された前記カメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された前記深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含む、請求項６に記載の方法。
各それぞれのモジュールの前記符号化は、前記予測された深度パラメータの符号化を除く、請求項７に記載の方法。
前記更新メッセージは、第１のメッセージおよび第２のメッセージを備え、前記第１のメッセージは、前記カメラパラメータを備え、前記第２のメッセージは、前記深度パラメータを備える、請求項１または２に記載の方法。
前記カメラパラメータは、回転行列を備え、前記更新メッセージは、前記回転行列が単位行列であることを示すためのインジケーションを備える、請求項１乃至９のいずれか一項に記載の方法。
各それぞれのモジュールの前記符号化は、前記カメラパラメータおよび／または前記深度パラメータが関連するフレームのコーディング順序に従う、請求項１乃至１０のいずれか一項に記載の方法。
前記方法はさらに、
カメラのための前記カメラパラメータおよび／または前記深度パラメータを、さらなるカメラのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測すること（４０４）
を備える、請求項１乃至１１のいずれか一項に記載の方法。
前記方法はさらに、
第４のフレームのための前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを、さらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測すること（４０５）
を備える、請求項１乃至１２のいずれか一項に記載の方法。
カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを復号するためのデコーダ（３２０）における方法であって、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、前記デコーダに、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つと、に基づいて合成することを可能にさせ、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、前記第２のビューに関連し、前記方法は、
エンコーダ（３１０）から前記更新メッセージを受信すること（４０７）であって、前記更新メッセージは、前記カメラパラメータと前記深度パラメータとのうちの少なくとも１つのためのそれぞれのモジュールを備えることと、
更新される前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを得るために、前記更新メッセージの各それぞれのモジュールを復号すること（４０８）と
を備える、方法。
前記カメラパラメータが、内部パラメータ、外部パラメータ、および／または変換パラメータを備え、および／または、前記深度パラメータが、ｚｎｅａｒおよび／またはｚｆａｒ値を備える、請求項１４に記載の方法。
前記それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連する、請求項１４または１５に記載の方法。
前記それぞれのモジュールは、変換ベクトルのｘ成分に関連する、請求項１４乃至１６のいずれか一項に記載の方法。
各それぞれのモジュールの前記復号は、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つの精度の復号を除く、請求項１４乃至１７のいずれか一項に記載の方法。
前記方法はさらに、前記復号すること（４０８）の後に、
第１のフレームおよび第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、前記第１および第２のフレームに近接する第３のフレームのための前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを抽出すること（４０９）
を備える、請求項１４乃至１８のいずれか一項に記載の方法。
各それぞれのモジュールは、予測された前記カメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された前記深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含む、請求項１９に記載の方法。
各それぞれのモジュールの前記復号は、前記予測された深度パラメータの復号を除く、請求項２０に記載の方法。
前記更新メッセージは、第１のメッセージおよび第２のメッセージを備え、前記第１のメッセージは、前記カメラパラメータを備え、前記第２のメッセージは、前記深度パラメータを備える、請求項１４または１５に記載の方法。
前記カメラパラメータは、回転行列を備え、前記更新メッセージは、前記回転行列が単位行列であることを示すためのインジケーションを備える、請求項１４乃至２２のいずれか一項に記載の方法。
各それぞれのモジュールの前記復号は、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つが関連するフレームのコーディング順序に従う、請求項１４乃至２３のいずれか一項に記載の方法。
前記方法はさらに、
カメラのための前記カメラパラメータおよび／または前記深度パラメータを、さらなるカメラのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて抽出すること（４１０）
を備える、請求項１４乃至２４のいずれか一項に記載の方法。
前記方法はさらに、
第４のフレームのための前記カメラパラメータおよび／または前記深度パラメータを、同一のカメラのさらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて抽出すること（４１１）
を備える、請求項１４乃至２５のいずれか一項に記載の方法。
カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを提供するように構成されたエンコーダ（３１０）であって、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、デコーダ（３２０）に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つと、に基づいて合成することを可能にさせ、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、前記第２のビューに関連し、前記エンコーダ（３１０）は、
前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つのどちらが経時的に変化しているかを検出し、
前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つをそれぞれのモジュールへとモジュール化し、
各それぞれのモジュールを前記更新メッセージへと符号化し、
前記更新メッセージを前記デコーダ（３２０）に送信する
ように構成された処理回路（３１１）を備える、エンコーダ（３１０）。
前記カメラパラメータが、内部パラメータ、外部パラメータを備え、および／または、前記深度パラメータが、ｚｎｅａｒおよび／またはｚｆａｒ値を備える、請求項２７に記載のエンコーダ（３１０）。
前記それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連する、請求項２７または２８に記載のエンコーダ（３１０）。
前記それぞれのモジュールは、変換パラメータのｘ成分に関連する、請求項２７乃至２９のいずれか一項に記載のエンコーダ（３１０）。
前記処理回路（３１１）は、各それぞれのモジュールを符号化する際に、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つの精度の符号化を除くように構成される、請求２７乃至３０のいずれか一項に記載のエンコーダ（３１０）。
前記処理回路（３１１）はさらに、
前記モジュール化する前に、第１のフレームおよび第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、前記第１および第２のフレームに近接する第３のフレームのための前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを線形予測する
ように構成される、請求項２７乃至３１のいずれか一項に記載のエンコーダ（３１０）。
各それぞれのモジュールは、予測された前記カメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された前記深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含む、請求項３２に記載のエンコーダ（３１０）。
前記処理回路（３１１）はさらに、各それぞれのモジュールを符号化する際に、前記予測された深度パラメータの符号化を除くように構成される、請求項３３に記載のエンコーダ（３１０）。
前記更新メッセージは、第１のメッセージおよび第２のメッセージを備え、前記第１のメッセージは、前記カメラパラメータを備え、前記第２のメッセージは、前記深度パラメータを備える、請求項２７または２８に記載のエンコーダ（３１０）。
前記カメラパラメータは、回転行列を備え、前記更新メッセージは、前記回転行列が単位行列であることを示すためのインジケーションを備える、請求項２７乃至３５のいずれか一項に記載のエンコーダ（３１０）。
前記処理回路（３１１）は、各それぞれのモジュールを符号化する際に、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つが関連するフレームのコーディング順序に従うように構成される、請求項２７乃至３６のいずれか一項に記載のエンコーダ（３１０）。
前記処理回路（３１１）はさらに、カメラのための前記カメラパラメータおよび／または前記深度パラメータを、さらなるカメラのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測するように構成される、請求項２７乃至３７のいずれか一項に記載のエンコーダ（３１０）。
前記処理回路（３１１）はさらに、第４のフレームのための前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを、さらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて予測するように構成される、請求項２７乃至３８のいずれか一項に記載のエンコーダ（３１０）。
請求項２７乃至３９のいずれか一項に記載のエンコーダ（３１０）を備える第１のデバイス（８００）。
カメラパラメータと深度パラメータとのうちの少なくとも１つに関連する更新メッセージを復号するように構成されたデコーダ（３２０）であって、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、前記デコーダ（３２０）に、第１のカメラ位置のための第１のビューを、第２のカメラ位置のための第２のビューと、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つと、に基づいて合成することを可能にさせ、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つは、前記第２のビューに関連し、前記デコーダ（３２０）は、
エンコーダ（３１０）から前記更新メッセージを受信し、前記更新メッセージは、前記カメラパラメータと前記深度パラメータとのうちの少なくとも１つのためのそれぞれのモジュールを備え、
前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを得るために、前記更新メッセージの各それぞれのモジュールを復号する
ように構成された処理回路（３２１）を備える、デコーダ（３２０）。
前記カメラパラメータが、内部パラメータ、外部パラメータ、および／または変換パラメータを備え、および／または、前記深度パラメータが、ｚｎｅａｒおよび／またはｚｆａｒ値を備える、請求項４１に記載のデコーダ（３２０）。
前記それぞれのモジュールは、内部パラメータ、外部パラメータ、または深度パラメータに関連する、請求項４１または４２に記載のデコーダ（３２０）。
前記それぞれのモジュールは、変換パラメータのｘ成分に関連する、請求項４１乃至４３のいずれか一項に記載のデコーダ（３２０）。
前記処理回路（３２１）は、各それぞれのモジュールを復号する際に、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つの精度の復号を除くように構成される、請求項４１乃至４４のいずれか一項に記載のデコーダ（３２０）。
前記処理回路（３２１）は、前記復号の後、第１のフレームおよび第２のフレームのためのカメラパラメータおよび／または深度パラメータに基づいて、前記第１および第２のフレームに近接する第３のフレームのための前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを抽出するように構成される、請求項４１乃至４５のいずれか一項に記載のデコーダ（３２０）。
各それぞれのモジュールは、予測されたカメラパラメータと現実のカメラパラメータとの間の差分、および／または、予測された深度パラメータと現実の深度パラメータとの間の差分を示す、それぞれの差分パラメータを含む、請求項４６に記載のデコーダ（３２０）。
前記処理回路（３２１）は、各それぞれのモジュールの前記復号の際に、前記予測された深度パラメータの復号を除くように構成される、請求項４７に記載のデコーダ（３２０）。
前記更新メッセージは、第１のメッセージおよび第２のメッセージを備え、前記第１のメッセージは、前記カメラパラメータを備え、前記第２のメッセージは、前記深度パラメータを備える、請求項４１または４２に記載のデコーダ（３２０）。
前記カメラパラメータは、回転行列を備え、前記更新メッセージは、前記回転行列が単位行列であることを示すためのインジケーションを備える、請求項４１乃至４９のいずれか一項に記載のデコーダ（３２０）。
前記処理回路（３２１）はさらに、各それぞれのモジュールを復号する際に、前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つが関連するフレームのコーディング順序に従うように構成される、請求項４１乃至５０のいずれか一項に記載のデコーダ（３２０）。
前記処理回路（３２１）はさらに、カメラのための前記カメラパラメータおよび／または前記深度パラメータを抽出するように構成され、前記抽出は、さらなるカメラのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づく、請求項４１乃至５１のいずれか一項に記載のデコーダ（３２０）。
前記処理回路（３２１）はさらに、第４のフレームのための前記カメラパラメータと前記深度パラメータとのうちの前記少なくとも１つを、さらなるフレームのためのさらなるカメラパラメータおよび／またはさらなる深度パラメータに基づいて抽出するように構成される、請求項４１乃至５２のいずれか一項に記載のデコーダ（３２０）。
請求項４１乃至５３のいずれか一項に記載のデコーダ（３２０）を備える第２のデバイス（１０００）。