JP2012231512A - 映像符号化方法および映像復号化方法並びにその装置 - Google Patents

Abstract

【課題】多視点映像符号化方法及びその装置を提供する。
【解決手段】映像符号器は、ブロックの予測を可能にする、時間予測と視点間予測との間で選択することによってピクチャのブロックを符号化する符号器１００を含んでいる。ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つである。ピクチャは、異なる視点のうちの１つを表す。高レベル構文を使用して、ブロックの視点間予測の利用を表示する。
【選択図】図１

Description

本発明は、映像符号化方法及び映像復号化方法並びにその装置に関し、より詳細には、多視点映像符号化方法及び多視点映像復号化方法並びにその装置に関するものである。

本出願は、参照により本明細書に組み込まれている、２００６年１月９日に出願した米国仮出願第６０／７５７，２８９号、名称「Multi-View Video Coding System」の利益を主張するものである。さらに、本出願は、同一出願人により、全体として参照により本明細書に組み込まれ、本明細書と同時出願した、整理番号ＰＵ０６０１１８、名称「Methods and Apparatus for Multi-View Video Coding」と関連するものである。

多視点映像符号化（ＭＶＣ；Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、多視点のシーケンスを符号化するための圧縮の構成である。多視点映像符号化（ＭＶＣ）のシーケンスは、同じシーンを異なる視点から取り込む２つ以上の映像シーケンスのセットである。

多視点映像符号化は、自由視点及び３Ｄ映像アプリケーションを含む様々なアプリケーション、家庭用娯楽、ならびに監視に役立つ重要な技術であることが、広く認められてきた。この多視点映像アプリケーションでは、含まれる映像データ量が膨大である。したがって、個々の視点を同時に放送している現在の映像符号化ソリューションの符号化効率を向上させるために、効率的な圧縮技術の必要性がある。

近年、多眼映像（ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉｄｅｏ）を圧縮する効率的な方法の設計に、多大な労力が注がれている。従来の単眼圧縮法（ｍｏｎｏｓｃｏｐｉｃ ｃｏｍｐｒｅｓｓｉｏｎ ｍｅｔｈｏｄ）は、多眼画像の対の左右の視点に個々に適用されることが可能である。しかしながら、視点間の高い相関関係が活用されれば、さらに高圧縮率を達成することができる。

多眼画像の対の両方の視点が符号化される従来技術の手法に関しては、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）の動画専門家グループ２（ＭＰＥＧ−２）標準で、一対の映像信号を転送するために、多視点プロファイル（ＭＶＰ）が定義された。ＭＶＰは、多階層信号表現手法（ｍｕｌｔｉ−ｌａｙｅｒ ｓｉｇｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｐｐｒｏａｃｈ）に依拠し、一方の視点（多くの場合左の視点）が基本階層に割り当てられ、もう一方の視点が上位階層に割り当てられる。基本階層には、メインプロファイル（ＭＰ）と同じツールを用いた単眼符号化が適用される。上位階層は、時間拡張可能ツールと、動きフィールド及び視差フィールドのハイブリッド予測とを用いて符号化される。

国際標準化機構／国際電気標準会議（（ＩＳＯ／ＩＥＣ）動画専門家グループ４（ＭＰＥＧ−４）のパート１０高度動画像圧縮符号化（ＡＶＣ）標準／国際電気通信連合の電気通信部門（ＩＴＵ−Ｔ）のＨ．２６４推奨（以下「ＭＰＥＧ−４ ＡＶＣ標準」）に関する従来技術の方法では、次の２つの異なる方法で、すなわち（ｉ）特定パリティのフィールドがすべて左の視点に割り当てられ、逆パリティのフィールドがすべて多眼視コンテンツの右の視点とみなされるインタレース画像符号化という特殊なケースとして、あるいは（ｉｉ）左右の視点からのフレームを交互にして、単一の単眼映像シーケンスを生成することによって、多眼映像の符号化を行うことができる。立体視付加拡張情報（ｓｔｅｒｅｏｖｉｓｉｏｎ ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）のメッセージは、符号化された映像シーケンスが多眼コンテンツを表すかどうか、対応するコンテンツの符号化にどの方法が用いられたかについて復号器に表示される。

これまでに知られているこれらの方法には、既存の単眼符号化技術に最小限の変更が必要である。しかしながら、これらは、多眼の対の２つの視点間に存在する冗長度を軽減する能力が限られている。結果として、多眼視の符号化は、単一の単眼視の符号化と比較すると大きなオーバーヘッドをもたらす。さらに、２つより多いカメラ視点を符号化するための先行サポートがない。

従来技術のこれらの及びその他の欠点及び不都合は、多視点映像符号化方法及びその装置に関する本発明によって対処される。

本発明の一実施態様によれば、映像符号器（ｖｉｄｅｏ ｅｎｃｏｄｅｒ）が提供される。この映像符号器は、ブロックの予測を可能にする時間予測と視点間予測との間で選択することによってピクチャ（ｐｉｃｔｕｒｅ）のブロックを符号化する符号器を含んでいる。このピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つである。このピクチャは、異なる視点のうちの１つを表す。高レベル構文を使用して、ブロックの視点間予測の利用を示す。

本発明の他の実施態様によれば、映像符号器が提供される。この映像符号器は、視差ベクトルを用いてピクチャのブロックを符号化する符号器を含んでいる。ピクチャは、多視点映像コンテンツに対応し、符号化されて、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じる。

本発明のさらに他の実施態様によれば、映像符号器が提供される。この映像符号器は、時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを符号化する符号器を含んでいる。

本発明のさらに他の実施態様によれば、映像符号化方法が提供される。この映像符号化方法は、ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを符号化するステップを含んでいる。このピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つである。ピクチャは、異なる視点のうちの１つを表す。高レベル構文を使用して、ブロックの視点間予測の利用を示す。

本発明のさらなる実施態様によれば、映像符号化方法が提供される。この映像符号化方法は、視差ベクトルを用いてピクチャのブロックを符号化するステップを含み、このピクチャは多視点映像コンテンツに対応し、符号化されて、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じる。

本発明のまたさらなる実施態様によれば、映像符号化方法が提供される。この映像符号化方法は、時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを符号化するステップを含んでいる。

本発明の他の実施態様によれば、映像復号器（ｖｉｄｅｏ ｄｅｃｏｄｅｒ）が提供される。この映像復号器は、ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを復号化する復号器を含んでいる。ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つである。ピクチャは、異なる視点のうちの１つを表す。高レベル構文が読まれて、ブロックの視点間予測の利用を判定する。

本発明のさらに他の実施態様によれば、映像復号器が提供される。この映像復号器は、視差ベクトルを用いてピクチャのブロックを復号化する復号器を含んでいる。ピクチャは、多視点映像コンテンツに対応し、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームから復号化される。

本発明の他の実施態様によれば、映像復号器が提供される。この映像復号器は、時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを復号化する復号器を含んでいる。

本発明のさらに他の実施態様によれば、映像復号化方法が提供される。この映像復号化方法は、ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを復号化するステップを含んでいる。ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つである。ピクチャは、異なる視点のうちの１つを表す。高レベル構文が読まれて、ブロックの視点間予測の利用を判定する。

本発明のまたさらに他の実施態様によれば、映像復号化方法が提供される。この映像復号化方法は、視差ベクトルを用いてピクチャのブロックを復号化するステップを含んでいる。ピクチャは、多視点映像コンテンツに対応し、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームから復号化される（４００）。

本発明のさらなる実施態様によれば、映像復号化方法が提供される。この映像復号化方法は、時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを復号化するステップを含んでいる。

本発明のこれらの及びその他の実施態様、特徴、ならびに利点は、添付の図面と併せて読まれる次の例示的実施形態の詳細な説明から明らかになるであろう。

本発明に係る多視点映像符号化装置の一実施形態を説明するためのブロック図である。 本発明に係る多視点映像復号化装置の一実施形態を説明するためのブロック図である。 本発明の一実施形態により多視点映像コンテンツの参照リストを構成する例示的方法を示す流れ図である。 本発明の一実施形態により時間／視点間モードの判定を行う例示的方法を示す流れ図である。 本発明の一実施形態により、多視点映像コンテンツに対応する同じスライスに対して動きベクトル及び視差ベクトルを処理する例示的方法を示す流れ図である。 本発明の一実施形態により、多視点映像コンテンツに対して動きベクトル及び視差ベクトルを処理する他の方法を示す流れ示す図である。

本発明は、添付の例示的な図と併せてよりよく理解されることが可能である。

本発明は、多視点映像符号化方法及び多視点映像復号化方法その装置を対象とする。

本明細書の記述は、本発明の原理を説明する。したがって、当業者は、本明細書に明確に記載又は表示されていないが、本発明の原理を実現し、本発明の趣旨と範囲内に含まれる様々な構成を考案することができるであろうと認識される。

本明細書に列挙したあらゆる例及び仮定的用語は、本発明の原理及び発明者によって与えられる概念を理解して当技術を促進する助けとする教育上の目的のためであり、このような具体的に列挙した例及び条件への限定ではないと解釈されたい。

さらに、本発明の原理、実施態様、及び実施形態、ならびにその特定の例を列挙する本明細書中のあらゆる記載は、その構造的均等物と機能的均等物を共に包含するものである。さらに、このような均等物は、現在知られている均等物及び将来開発される均等物、すなわち、構造にかかわらず同じ機能を行うように開発されるいかなる要素をも含むものである。

したがって、例えば、当業者には、本明細書に示したブロック図は、本発明の原理を実現する例示的回路の概念図を表す。同様に、コンピュータ又はプロセッサが明確に示されているかどうかにかかわらず、いかなるフローチャート、流れ図、状態遷移図、擬似コードなども、実質的にコンピュータ可読媒体で表示されてコンピュータ又はプロセッサによって実行されることが可能である様々なプロセスを表す。

図に示した様々な要素の機能は、専用のハードウェア、及び適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用して提供されることが可能である。プロセッサによって提供される場合、この機能は、単一の専用のプロセッサによって、単一の共有プロセッサによって、又はいくつかを共有することができる複数の個々のプロセッサによって、提供されることが可能である。さらに、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すと解釈されるべきではなく、暗に、デジタル信号プロセッサ（「ＤＳＰ」）のハードウェア、ソフトウェアを格納するリードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発記憶装置を含む場合がある。

また、従来型及び／又はカスタム型の他のハードウェアを含む場合もある。同様に、図に示したいかなるスイッチも、単に概念上のものである。これらの機能は、プログラム論理の動作によって、専用論理によって、プログラム制御と専用論理の相互作用によって、又は手動でも実行されることが可能であり、特定の技術は、状況からより具体的に理解されるように実装者によって選択可能である。

特許請求の範囲では、特定の機能を行う手段として表されるいかなる要素も、この機能を行ういかなる方法をも包含するものとし、例えば、ａ）この機能を実行する回路素子の組合せ、又は、ｂ）この機能を実行する、ソフトウェアを実行するための適切な回路と結合される、ファームウェア、マイクロコードなどを含む任意の形態の該ソフトウェアを含んでいる。このような特許請求の範囲によって定義される本発明は、説明される様々な手段によって提供される機能が、特許請求の範囲が要求する方法で組み合わされ、１つにまとめられるということに属する。したがって、これらの機能を提供することができるいかなる手段も、本明細書に示した手段と同等であるとみなす。

本明細書における、本原理の「１つの実施形態」又は「一実施形態」への言及は、本実施形態と関連して説明した特定の特徴、構造、特性、その他が、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書にわたって様々な箇所で現れる「１つの実施形態では」又は「一実施形態では」という語句は、必ずしもすべて同じ実施形態を指しているとは限らない。

図１は、本発明に係る多視点映像符号化装置の一実施形態を説明するためのブロック図で、全体として参照符号１００で例示的な多視点映像符号化（ＭＶＣ）符号器を示している。この符号器１００は、出力を変圧器１１０の入力と信号通信で接続された結合器１０５を含んでいる。変圧器１１０の出力は、量子化器１１５の入力と信号通信で接続されている。量子化器１１５の出力は、エントロピ符号器１２０の入力及び逆量子化器１２５の入力と信号通信で接続されている。逆量子化器１２５の出力は、逆変圧器１３０の入力と信号通信で接続されている。逆変圧器１３０の出力は、結合器１３５の第１の非反転入力と信号通信で接続されている。結合器１３５の出力は、イントラ予測器１４５の入力及びデブロッキングフィルタ１５０の入力と信号通信で接続されている。デブロッキングフィルタ１５０の出力は、（視点ｉ用）参照ピクチャ記憶装置１５５の入力と信号通信で接続されている。参照ピクチャ記憶装置１５５の出力は、動き補償器１７５の第１の入力及び動き推定器１８０の第１の入力と信号通信で接続されている。動き推定器１８０の出力は、動き補償器１７５の第２の入力と信号通信で接続されている。

（その他の視点用）参照ピクチャ記憶装置１６０の出力は、視差／照度推定器１７０の第１の入力及び視差／照度補償器１６５の第１の入力と信号通信で接続されている。視差／照度推定器１７０の出力は、視差／照度補償器１６５の第２の入力と信号通信で接続されている。

エントロピ符号器１２０の出力は、符号器１００の出力として利用可能である。結合器１０５の非反転入力は、符号器１００の入力として利用可能であり、視差／照度推定器１７０の第２の入力、及び動き推定器１８０の第２の入力と信号通信で接続されている。スイッチ１８５の出力は、結合器１３５の第２の非反転入力、及び結合器１０５の非反転入力と信号通信で接続されている。スイッチ１８５は、動き補償器１７５の出力と信号通信で接続された第１の入力と、視差／照度補償器１６５の出力と信号通信で接続された第２の入力と、イントラ予測器１４５の出力と信号通信で接続された第３の入力とを含んでいる。

モード判定モジュール１４０は、出力をスイッチ１８５に接続され、スイッチ１８５によってどの入力が選択されるかを制御するようになっている。

図２は、本発明に係る多視点映像復号化装置の一実施形態を説明するためのブロック図で、全体として参照符号２００で例示的な多視点映像符号化（ＭＶＣ）復号器を示している。この復号器２００は、出力を逆量子化器２１０の入力と信号通信で接続されたエントロピ復号器２０５を含んでいる。逆量子化器の出力は、逆変圧器２１５の入力と信号通信で接続されている。逆変圧器２１５の出力は、結合器２２０の第１の非反転入力と信号通信で接続されている。結合器２２０の出力は、デブロッキングフィルタ２２５の入力及びイントラ予測器２３０の入力と信号通信で接続されている。デブロッキングフィルタ２２５の出力は、（視点ｉ用）参照ピクチャ記憶装置２４０の入力と信号通信で接続されている。参照ピクチャ記憶装置２４０の出力は、動き補償器２３５の第１の入力と信号通信で接続されている。

（その他の視点用）参照ピクチャ記憶装置２４５の出力は、視差／照度補償器２５０の第１の入力と信号通信で接続されている。

エントロピ復号器２０５の入力は、復号器２００への入力として利用可能であり、残りのビットストリームを受信する。さらに、モードモジュール２６０の入力も、復号器２００への入力として利用可能であり、制御構文を受信してスイッチ２５５によってどの入力が選択されるかを制御する。さらに、動き補償器２３５の第２の入力が、復号器２００の入力として利用可能であり、動きベクトルを受信する。また、視差／照度補償器２５０の第２の入力が、復号器２００の入力として利用可能であり、視差ベクトル及び照度補償構文を受信する。

スイッチ２５５の出力は、結合器２２０の第２の非反転入力と信号通信で接続されている。スイッチ２５５の第１の入力は、視差／照度補償器２５０の出力と信号通信で接続されている。スイッチ２５５の第２の入力は、動き補償器２３５の出力と信号通信で接続されている。スイッチ２５５の第３の入力は、イントラ予測器２３０の出力と信号通信で接続されている。モードモジュール２６０の出力は、スイッチ２５５と信号通信で接続され、スイッチ２５５によってどの入力が選択されるかを制御する。デブロッキングフィルタ２２５の出力は、復号器の出力として利用可能である。

多視点映像符号化（ＭＶＣ）は、多視点シーケンスを符号化するための圧縮の構成である。多視点映像符号化（ＭＶＣ）シーケンスは、異なる視点から同じシーンを取り込む２つ以上の映像シーケンスのセットである。

多視点映像源は、同じシーンの複数の視点を含むので、複数の視点の画像間には高い相関関係がある。したがって、時間的冗長度（ｔｅｍｐｏｒａｌ ｒｅｄｕｎｄａｎｃｙ）に加えて視点的冗長度（ｖｉｅｗ ｒｅｄｕｎｄａｎｃｙ）を利用することができ、異なる視点にわたって視点予測を行うことによってこれを実行する。結果として、本明細書に記載した本発明の原理の実施形態は、時間と視点間の両方の予測を含むことができる。

説明のために、本発明の実施形態を、本明細書ではＭＰＥＧ−４ ＡＶＣ標準に関して説明する。しかしながら、本発明は、ＭＰＥＧ−４ ＡＶＣ標準に限定されず、本発明の教示が本明細書で提供されると、当技術分野及び関連技術分野の専門家は、本原理の範囲を維持しながら本原理を適用することができる、多視点映像符号化が可能であるこの映像符号化標準及びその他の映像符号化標準を企図するであろうことが理解される。ＭＰＥＧ−４ ＡＶＣ標準に関して、本明細書に説明された本原理の実施形態は、例えば、デブロッキングフィルタの変更、及び／又は構文のエントロピ符号化を含むことができる。

一実施形態では、スライスレベルにおいて、視点間予測リストを導入して視差予測を可能にし、視点間符号化タイプの構文を付加して視差予測の符号化タイプを示す。マクロブロック（ＭＢ）レベルでは、フラグ構文を導入して、各信号ブロックに動き補償又は視差補償が用いられているかどうかを示す。さらに、ＭＰＥＧ−４ ＡＶＣ標準を対象とする実施形態で利用することができる他の変更は、例えば、デブロッキングフィルタ、コンテキスト適応型２値算術符号化（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）の新しい構文のコンテキスト、ならびにパラメータセットレベル及びスライスヘッダレベルの追加構文を含んでいる。

次に、本発明の一実施形態による視点間符号化タイプ及び視点間参照リストに関して説明する。

ＭＰＥＧ−４ ＡＶＣ標準は、２つの予測リスト、Ｌｉｓｔ０及びＬｉｓｔ１を形成することにより、フレーム間予測を行う。したがって、Ｌｉｓｔ０の１つの参照ピクチャのみを用いることにより、又は２つの参照ピクチャ、すなわち、各リストから１つずつを用いることにより、現フレームの画像ブロックを補償することができる。スライスヘッダでは、ｓｌｉｃｅ＿ｔｙｐｅ構文が送信されて、各スライスの時間的符号化タイプを示す。ｓｌｉｃｅ＿ｔｙｐｅ＝Ｐ＿ＳＬＩＣＥのとき、Ｌｉｓｔ０のみが、動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）に使用される。ｓｌｉｃｅ＿ｔｙｐｅ＝Ｂ＿ＳＬＩＣＥのとき、Ｌｉｓｔ０及びＬｉｓｔ１の両方が、動き補償に使用されることが可能である。

異なる視点間で視点間予測を可能にするために、本発明の一実施形態は、２つの新しい予測リスト、ＶｉｅｗＬｉｓｔ０及びＶｉｅｗＬｉｓｔ１を使用することを含んでいる。ＶｉｅｗＬｉｓｔ０／ＶｉｅｗＬｉｓｔ１のピクチャは、現在の視点以外のカメラ視点からの参照ピクチャである。スライスヘッダの新しい構文ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅは、視点間予測の符号化タイプを示すために使用される。例えば、特定のスライスが、ｓｌｉｃｅ＿ｔｙｐｅ＝Ｂ＿ＳＬＩＣＥ及びｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅ＝Ｐ＿ＳＬＩＣＥを有する場合、このスライスのマクロブロック（ＭＢ）は、Ｂ＿ＳＬＩＣＥ符号化タイプとして時間的に符号化されるか、Ｐ＿ＳＬＩＣＥ符号化タイプとして視点間符号化されることが可能である。

ＭＰＥＧ−４ ＡＶＣ標準フレームワークで視点間予測を可能にする代替的方法は、新しい視点予測リスト及び視点間符号化タイプを導入せずに、リストすなわちＬｉｓｔ０／Ｌｉｓｔ１の他の視点から参照ピクチャを挿入することを含んでいる。しかしながら、第１の手法の利点は、次のようなものである。第１の手法の１つの利点は、ＶｉｅｗＬｉｓｔ０／ＶｉｅｗＬｉｓｔ１の参照ピクチャが、視点間参照を含むだけであるので、ｒｅｆ＿ｉｄｘを送信することは、同じリストに同視点参照と視点間参照とを共に有するほどビットを費やさないということである。第１の手法の別の利点は、２つの新しいリスト、ＶｉｅｗＬｉｓｔ０／ＶｉｅｗＬｉｓｔ１を有することで、時間的予測及び視点間予測を与える個々の方法を提供することである。これは、Ｌｉｓｔ０／Ｌｉｓｔ１が時間的参照及び視点間参照を共に含む場合に関し、したがってＭＰＥＧ−４ ＡＶＣ標準の参照ピクチャのリストの構成を再命令する処理は、変更されることが必要となり、必然的により複雑になる。

一実施形態では、各スライスの視点間参照リストは、次のルールに従って形成されることが可能である。第１のルールに関しては、スライスヘッダにおいて、視点間参照ピクチャの数及びそのｖｉｅｗ＿ｉｄ’ｓが、ＶｉｅｗＬｉｓｔ０及びＶｉｅｗＬｉｓｔ１に送られる。このｖｉｅｗ＿ｉｄ’ｓは、２つの視点間予測リストの各々で特有のものである。第２のルールに関しては、視点間予測リストの参照ピクチャが、スライスヘッダに見えるのと同じ順序で配列されている。参照される各視点について、最も近いピクチャ順序カウント（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ；ＰＯＣ）数を有する参照ピクチャが、現スライスの視点間予測リストで使用される。

視点間参照ピクチャをさらに柔軟に処理することができるように、追加の参照再命令構文を含むことができる。

図３は、本発明の一実施形態により多視点映像コンテンツの参照リストを構成する例示的方法を示す流れ図で、全体として参照符号３００で多視点映像コンテンツに参照リストを構成する例示的な方法を示している。この方法３００は、判定ブロック３１０へ制御を渡す開始ブロック３０５を含んでいる。判定ブロック３１０は、現スライスタイプがＰスライス又はＢスライスであるかどうかを判定する。そうである場合、制御は機能ブロック３１５へ渡される。そうでない場合、制御は判定ブロック３３０へ渡される。

機能ブロック３１５は、時間的参照を用いてＬｉｓｔ０を構成し、判定ブロック３２０へ制御を渡す。判定ブロック３２０は、現スライスタイプがＢスライスであるかどうかを判定する。そうである場合、制御は機能ブロック３２５へ渡される。そうでない場合、制御は判定ブロック３３０へ渡される。

機能ブロック３２５は、時間的参照を用いてＬｉｓｔ１を構成し、判定ブロック３３０へ制御を渡す。

判定ブロック３３０は、現在の視点のスライスタイプがＰスライス又はＢスライスであるかどうかを判定する。そうである場合、制御は機能ブロック３３５へ渡される。そうでない場合、制御はループ端ブロック３５０へ渡される。

機能ブロック３３５は、視点間参照を用いてＶｉｅｗＬｉｓｔ０を構成し、判定ブロック３４０へ制御を渡す。判定ブロック３４０は、現在の視点のスライスタイプがＢスライスであるかどうかを判定する。そうである場合、制御は機能ブロック３４５へ渡される。そうでない場合、制御はループ端ブロック３５０へ渡される。

機能ブロック３４５は、視点間参照を用いてＶｉｅｗＬｉｓｔ０を構成し、ループ端ブロック３５０へ制御を渡す。

ループ端ブロック３５０は、可変ｍｂ＝０からＭａｃｒｏＢｌｏｃｋｓＩｎＰｉｃ−１を用いてループの範囲を設定することを含み、各マクロブロックでループを開始し、機能ブロック３５５へ制御を渡す。機能ブロック３５５は、Ｌｉｓｔ０／Ｌｉｓｔ１を用いて現マクロブロックを符号化し、判定ブロック３６０へ制御を渡す。判定ブロック３６０は、現在の視点のスライスタイプがＰスライス又はＢスライスに等しいかどうかを判定する。そうである場合には、制御は機能ブロック３６５へ渡される。そうでない場合、制御は判定ブロック３７０へ渡される。

機能ブロック３６５は、ＶｉｅｗＬｉｓｔ０／ＶｉｅｗＬｉｓｔ１を用いて現マクロブロックを符号化し、機能ブロック３７０へ制御を渡す。

機能ブロック３７０は、ベストモードを選択し、ｍｖｃ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを設定し、機能ブロック３７５へ制御を渡す。機能ブロック３７５は、動き／視差ベクトルのバッファ処理を行い、ループ端ブロック３８０へ制御を渡す。ループ端ブロックがループを終了し、機能ブロック３８５へ制御を渡す。機能ブロック３８５は、符号化されたピクチャを復号化されたピクチャのバッファ（ｄｐｂ）に保存し、終了ブロック３９０へ制御を渡す。

各スライスの視点間予測は、視点間符号化タイプ及び視点予測リストを用いて十分に設定可能であるので、多視点映像符号化（ＭＶＣ）コーデックは、任意の視点の符号化順序及び視点拡張性をサポートすることができる。

一実施形態では、ＭＢレベルにおいてｍｖｃ＿ｐｒｅｄ＿ｆｌａｇと呼ばれる新しい構文が、各信号ブロックの符号化に時間的予測又は視点間予測が使用されるかどうかを示す。ｍｖｃ＿ｐｒｅｄ＿ｆｌａｇ＝０の場合、ｓｌｉｃｅ＿ｔｙｐｅに応じて動き補償にＬｉｓｔ０／Ｌｉｓｔ１を利用する。ｍｖｃ＿ｐｒｅｄ＿ｆｌａｇ＝１のとき、ｖｉｅｗ＿ｓｌｉｃｅ＿ｔｙｐｅに応じてＶｉｅｗＬｉｓｔ０／ＶｉｅｗＬｉｓｔ１を利用する。

図４は、本発明の一実施形態により時間／視点間モードの判定を行う例示的方法を示す流れ図で、全体として参照符号４００で時間的／視点間モードの判定を行う例示的方法を示している。この方法４００は、判定ブロック４１０へ制御を渡す開始ブロック４０５を含んでいる。判定ブロック４１０は、現スライスタイプがＰスライス又はＢスライスであるかどうかを判定する。そうである場合、制御は機能ブロック４１５へ渡される。そうでない場合、制御は判定ブロック４３０へ渡される。

機能ブロック４１５は、時間的参照を用いてＬｉｓｔ０を構成し、判定ブロック４２０へ制御を渡す。判定ブロック４２０は、現スライスタイプがＢスライスであるかどうかを判定する。そうである場合、制御は機能ブロック４２５へ渡される。そうでない場合、制御は判定ブロック４３０へ渡される。

機能ブロック４２５は、時間的参照を用いてＬｉｓｔ１を構成し、判定ブロック４３０へ制御を渡す。

判定ブロック４３０は、現在の視点のスライスタイプがＰスライス又はＢスライスであるかどうかを判定する。そうである場合、制御は機能ブロック４３５へ渡される。そうでない場合、制御はループ端ブロック４５０へ渡される。

機能ブロック４３５は、視点間参照を用いてＶｉｅｗＬｉｓｔ０を構成し、判定ブロック４４０へ制御を渡す。判定ブロック４４０は、現在の視点のスライスタイプがＢスライスであるかどうかを判定する。そうである場合には、制御は機能ブロック４４５へ渡される。そうでない場合、制御はループ端ブロック４５０へ渡される。

機能ブロック４４５は、視点間参照を用いてＶｉｅｗＬｉｓｔ０を構成し、ループ端ブロック４５０へ制御を渡す。

ループ端ブロック４５０は、可変ｍｂ＝０からＭａｃｒｏＢｌｏｃｋｓＩｎＰｉｃ−１を用いてループの範囲を設定することを含み、各マクロブロックでループを開始し、判定ブロック４５５へ制御を渡す。判定ブロック４５５は、ｍｖｃ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが１に等しいかどうかを判定する。そうである場合、制御は機能ブロック４６０へ渡される。そうでない場合、制御は機能ブロック４６５へ渡される。

機能ブロック４６０は、ＶｉｅｗＬｉｓｔ０／ＶｉｅｗＬｉｓｔ１を用いてマクロブロックを復号化し、機能ブロック４７０へ制御を渡す。

機能ブロック４６５は、Ｌｉｓｔ０／Ｌｉｓｔ１を用いてマクロブロックを復号化し、機能ブロック４７０へ制御を渡す。

機能ブロック４７０は、動き／視差ベクトルのバッファ処理を行い、ループ端ブロック４７５へ制御を渡す。ループ端ブロック４７５がループを終了し、機能ブロック４８０へ制御を渡す。機能ブロック４８０は、復号化されたピクチャを復号化されたピクチャのバッファ（ｄｐｂ）に保存し、終了ブロック４８５へ制御を渡す。

ｍｖｃ＿ｐｒｅｄ＿ｄｉｒ構文を符号化するために、３つの新しいＣＡＢＡＣコンテキストを追加する。コンテキストモデリングは、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ構文と同じものである。

ＭＰＥＧ−４ ＡＶＣ標準の多視点拡張では、復号化されたピクチャのバッファ（ｄｐｂ）は、多視点からの復号化されたピクチャを処理することができる必要がある。Ｎ個の入力視点があるとすると、本原理の一実施形態は、Ｎ個の個々のｄｐｂを含むことができる。各ｄｐｂは、１つの特定の視点からの復号化されたピクチャを格納する。

ｄｐｂを管理する代替的方法は、すべての視点のピクチャを単一ｄｐｂに入れることである。しかしながら、第１の手法には、次の利点がある。第１の手法の１つの利点は、各視点が、ＭＰＥＧ−４ ＡＶＣ標準と同じ復号化された参照のマーキング処理を用いた、独自のｄｐｂを有することである。このより簡略化された手法により、同じｄｐｂで異なる視点のピクチャを管理する複雑さを軽減する。第１の手法の別の利点は、時間的相関関係が、一般に視点間相関関係より強力であるので、利用可能な時間的参照フレームの数を削減することが好ましくないことに関連する。各視点がそのｄｐｂで独自の参照ピクチャを管理すれば、時間的予測は、同時放送の場合と同じ複数の参照フレームの予測能力を有する。

従来の映像符号化と比較したＭＶＣ特有の特徴は、動きと視差とが共存していることである。視点間予測の視差ベクトル（ＤＶ）に対して、時間的に予測されるブロックは、動きベクトル（ＭＶ）を送る必要がある。

同じスライスに動きベクトルと視差ベクトルの両方を処理する２つの例示的方法について、本明細書で説明する。しかしながら、本明細書で提供される本発明の教示があれば、当技術及び関連技術の専門家は、本発明の範囲を維持しながら、これらの同様の方法及びその他の同様の方法を企図するであろう。

第１の方法では、各ブロックに対して、動きベクトル又は視差ベクトルを送って格納するが、両方を送って格納しない。動きベクトル又は視差ベクトルのどちらかが、構文ｍｖｃ＿ｐｒｅｄ＿ｆｌａｇに応じて送られ、格納される。これは、必要となる記憶装置は少なくなるが、結合されたベクトル場は整合性がない。

第２の方法では、各ブロックに、動きベクトルと視差ベクトルを共に格納する。これは、両方のベクトルを送るか、又は単に一方を送り、もう一方をベクトル場の補間を用いて埋めることで達成されることが可能である。この手法は、より多くの記憶領域を利用するが、動き及び視差フィールドの両方の整合性をよりよく保存することができる。

第１の方法の例示的実施形態について、図５と関連して示して説明する。第２の方法の例示的実施形態について、図６と関連して示して説明する。

図５は、本発明の一実施形態により、多視点映像コンテンツに対応する同じスライスに対して動きベクトル及び視差ベクトルを処理する例示的方法を示す流れ図で、全体として参照符号５００で、多視点映像コンテンツに対応する同じスライスに動きベクトル及び視差ベクトルを処理する例示的方法が示されている。この方法５００は、判定ブロック５１０へ制御を渡す開始ブロック５０５を含んでいる。判定ブロック５１０は、ｍｖｃ＿ｐｒｅｄ＿ｆｌａｇが０に等しいかどうかを判定する。そうである場合、制御は機能ブロック５１５へ渡される。そうでない場合には、制御は判定ブロック５２０へ渡される。機能ブロック５１５は、視差ベクトル予測子を形成し、視差ベクトルＤＶを処理し、視差ベクトルＤＶをＶｅｃｔｏｒＢｕｆｆｅｒに格納し、終了ブロック５２５へ制御を渡す。

機能ブロック５２０は、動きベクトル予測子を形成し、動きベクトルＭＶを処理し、動きベクトルＭＶをＶｅｃｔｏｒＢｕｆｆｅｒに格納し、終了ブロック５２５へ制御を渡す。

図６は、本発明の一実施形態により、多視点映像コンテンツに対して動きベクトル及び視差ベクトルを処理する他の方法を示す流れ図で、全体として参照符号６００で、多視点映像コンテンツに動きベクトル及び視差ベクトルを処理する他の方法を示している。この方法６００は、機能ブロック６１０へ制御を渡す開始ブロック６０５を含んでいる。機能ブロック６１０は、視差ベクトル予測子を形成し、視差ベクトルＤＶを処理し、視差ベクトルＤＶをＶｅｃｔｏｒＢｕｆｆｅｒ１に格納し、機能ブロック６１５へ制御を渡す。機能ブロック６１５は、動きベクトル予測子を形成し、動きベクトルＭＶを処理し、動きベクトルＭＶをＶｅｃｔｏｒＢｕｆｆｅｒ２に格納し、終了ブロック６２０へ制御を渡す。

同じスライスの符号化に動きベクトルと視差ベクトルとを共に有する意味は、次の側面、すなわち（１）動き／視差ベクトルの予測符号化と、（２）Ｄｉｒｅｃｔ及びＳｋｉｐモードとに現れる。

ＭＰＥＧ−４ ＡＶＣ標準では、動きベクトルの成分は、隣接ブロックから中央値又は方向予測のいずれかを用いて差動符号化される。多視点映像符号化では、隣接ブロックは現ブロックとは異なる予測方向を有する可能性がある。動き／視差ベクトルの符号化におけるビットを節約するためには、最も相関性のある情報を用いて予測子を形成することが好ましい。隣接ブロックに利用可能である動きベクトルと視差ベクトルが共にあるかどうかに応じて、第１の方法では、同じ予測方向を有する隣接ブロックのみを使用し、第２の方法では、動きベクトルの予測子を形成する際に隣接ブロックの動きベクトルのみを使用し、視差予測子を形成する際に隣接ブロックの視差ベクトルのみを使用する。

視差フィールドは、通常時間次元で不変であるので、空間的隣接ブロックの他に、時間的に同一場所に配置されるブロックを用いて視差予測を向上させることができる。

ＭＰＥＧ−４ ＡＶＣ標準のＳｋｉｐ及びＤｉｒｅｃｔモードは、動きベクトルを送信することなく動きを表すことができるため、隣接するマクロブロック間にある時空相関関係をより有効に使う効果的な符号化ツールである。多視点映像符号化では、付加的な視点間相関関係を考慮するために、これらのモードが適用されるべきである。

Ｐ＿Ｓｋｉｐモードでは、復元信号は、Ｌｉｓｔ０のインデックス０に位置するピクチャを参照するＰ＿１６×１６マクロブロックタイプの予測信号と同様に取得される。Ｐ＿Ｓｋｉｐマクロブロックを復元するために使用される動きベクトルは、１６×１６ブロックの動きベクトル予測子と同様である。ＭＶＣでは、上述の動き／視差ベクトル予測子の適用が、Ｐ＿Ｓｋｉｐモードをより有用にするのに役立つ。

Ｂ＿ＳＬＩＣＥ符号化については、Ｂ＿Ｓｋｉｐ／Ｂ＿Ｄｉｒｅｃｔ＿１６×１６／Ｂ＿Ｄｉｒｅｃｔ＿８×８モードが、動きと視差を結びつけることを考えるように適合されるべきである。ＭＰＥＧ−４ ＡＶＣ標準では、２つの異なるＤｉｒｅｃｔモード、すなわち時間Ｄｉｒｅｃｔ及び空間Ｄｉｒｅｃｔがサポートされている。

時間Ｄｉｒｅｃｔモードでは、動きベクトルは、第１のＬｉｓｔ１参照で同一位置から導かれる。第１のＬｉｓｔ１参照が視差予測であるとき、システムは他のＬｉｓｔ１参照（ｒｅｆ＿ｉｄｘ＞０）で同一位置にある動きベクトルを探すか、又は空間的動きベクトル予測子を利用することができる。

空間Ｄｉｒｅｃｔモードでは、動きベクトルは、Ｐ＿ＳＫＩＰにより用いられる同様の方法で、ただし、Ｌｉｓｔ０／Ｌｉｓｔ１を共に考慮に入れて導かれる。Ｐ＿ＳＫＩＰで行われた同じ適合は、Ｌｉｓｔ１で拡張されることも可能である。

表１乃至表４は、本発明の様々な実施形態による構文を含む多視点映像符号化の様々な構文を示している。表１は、多視点映像符号化のシーケンスパラメータセットのＲＢＳＰ構文を示している。表２は、多視点映像符号化のピクチャパラメータセットのＲＢＳＰ構文を示している。表３は、多視点映像符号化のスライスヘッダの構文を示している。表４は、多視点映像符号化のマクロブロック層の構文を示している。

次に、いくつかについては上述したが、本発明の多くの付随する利点／特徴のいくつかについて説明する。例えば、１つの利点／特徴は、ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを符号化する符号器を含む映像符号器である。このピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つである。このピクチャは、異なる視点のうちの１つを表す。高レベル構文を使用して、ブロックの視点間予測の利用を示す。

他の利点／特徴は、上述の映像符号器であり、この符号器は、ピクチャを符号化し、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じる。

さらに他の利点／特徴は、上述の映像符号器であり、高レベル構文はスライスレベルの構文を含んでいる。

さらに、他の利点／特徴は、上述の映像符号器であり、ブロックレベルの構文を用いてブロックに動き補償又は視差補償が適用されるかどうかを示している。

さらに、他の利点／特徴は、視差ベクトルを用いてピクチャのブロックを符号化する符号器を含む映像符号器である。ピクチャは、多視点映像コンテンツに対応し、符号化されて、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じる。

また、他の利点／特徴は、上述の映像符号器であり、この符号器は、共にブロックに対応する動きベクトル及び視差ベクトルを単一ベクトル場で併用する。

また、他の利点／特徴は、上述の映像符号器であり、この符号器は、そのブロックと同じ時間的予測フラッグ及び同じ視点間予測フラッグのうちの少なくとも１つを有する隣接ブロックから導き出された動きベクトル予測子及び視差ベクトル予測子のうちの少なくとも１つを用いてブロックを符号化する。

さらに、他の利点／特徴は、上述の映像符号器であり、この符号器は、ブロックに対応する動きベクトル及び視差ベクトルの個々のベクトル場を用いてブロックを符号化する。

また、他の利点／特徴は、上述の映像符号器であり、この符号器は、単に対応する動きベクトル場を参照する動きベクトル予測子及び単に対応する視差ベクトル場を参照する視差ベクトル予測子のうちの少なくとも１つを用いてブロックを符号化し、この動きベクトル場及び視差ベクトル場は個々のベクトル場に含まれる。

また、他の利点／特徴は、時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを符号化する符号器を含む映像符号器である。

本発明のこれらの及びその他の特徴ならびに利点は、本明細書の教示に基づいて当業者によって容易に確認されることが可能である。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はその組合せの様々な形態で実装されることが可能である。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組合せとして実装される。さらに、ソフトウェアは、プログラム記憶装置に実体的に組み込まれたアプリケーションプログラムとして実装されることが可能である。アプリケーションプログラムは、任意の好適なアーキテクチャを含むマシンにアップロードされ、実行されることが可能である。好ましくは、マシンは、１つ又は複数の中央演算処理装置（［ＣＰＵ」）、ランダムアクセスメモリ（［ＲＡＭ」）、及び入力／出力（「Ｉ／Ｏ」）インターフェースなどのハードウェアを有するコンピュータプラットフォームに実装される。またコンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含んでいる。本明細書に記載した様々な処理及び機能は、マイクロ命令コードの一部、又はアプリケーションプログラムの一部、又はその任意の組合せとすることができ、ＣＰＵによって実行されることが可能である。また、追加のデータ記憶装置及び印刷装置など、他の様々な周辺装置が、コンピュータプラットフォームに接続されることが可能である。

さらに、添付の図面に描かれた構成システムの構成要素及び方法のいくつかは、ソフトウェアに実装されることが好ましいので、システム構成要素又はプロセスの機能ブロック間の実際の関係は、本発明がプログラムされる方法に応じて異なる可能性がある。本明細書の教示があれば、当業者は、本発明のこれらの及び同様の実装又は構成を企図することができるであろう。

添付の図面を参照して説明のための実施形態を記載したが、本発明は、これらの厳密な実施形態に限定されず、本発明の範囲又は趣旨から逸脱することなく、当業者によって様々な変更及び修正がもたらされることが可能である。このような変更及び修正はすべて、添付の特許請求の範囲に示す本発明の範囲内に含まれるものとする。

Claims (48)

1. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを符号化し、前記ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは、前記異なる視点のうちの１つを表す符号器（１００）を含み、
   高レベル構文を使用して、前記ブロックの視点間予測の利用を示す
   ことを特徴とする映像符号化装置。
2. 前記符号器（１００）は、前記ピクチャを符号化して、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じることを特徴とする請求項１に記載の映像符号化装置。
3. 前記高レベル構文は、スライスレベルの構文を含むことを特徴とする請求項１に記載の映像符号化装置。
4. ブロックレベルの構文が使用されて、動き補償又は視差補償が前記ブロックに適用されるかどうかを示すことを特徴とする請求項１に記載の映像符号化装置。
5. 視差ベクトルを用いてピクチャのブロックを符号化し、前記ピクチャは、多視点映像コンテンツに対応し、符号化されて、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じる符号器（１００）
   を含むことを特徴とする映像符号化装置。
6. 前記符号器（１００）は、共に前記ブロックに対応する動きベクトル及び前記視差ベクトルを単一のベクトル場で併用することを特徴とする請求項５に記載の映像符号化装置。
7. 前記符号器（１００）は、前記ブロックと同じ時間的予測フラッグ及び同じ視点間予測フラッグのうちの少なくとも１つを有する隣接ブロックのみから導き出された動きベクトル予測子及び視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを符号化することを特徴とする請求項６に記載の映像符号化装置。
8. 前記符号器（１００）は、前記ブロックに対応する動きベクトル及び視差ベクトルに個々のベクトル場を用いて前記ブロックを符号化することを特徴とする請求項５に記載の映像符号化装置。
9. 前記符号器（１００）は、単に対応する動きベクトル場を参照する動きベクトル予測子及び単に対応する視差ベクトル場を参照する視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを符号化し、前記動きベクトル場及び前記視差ベクトル場は前記個々のベクトル場に含まれることを特徴とする請求項８に記載の映像符号化装置。
10. 時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを符号化する符号器（１００）
    を含むことを特徴とする映像符号化装置。
11. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを符号化し、前記ピクチャは多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは前記異なる視点のうちの１つを表すステップ（３７０）を含み、
    高レベル構文を使用して、前記ブロックの視点間予測の利用を示す
    ことを特徴とする映像符号化方法。
12. 前記符号化するステップは、前記ピクチャを符号化して、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じる（３００）ことを特徴とする請求項１１に記載の映像符号化方法。
13. 前記高レベル構文は、スライスレベルの構文を含む（３３０）ことを特徴とする請求項１１に記載の映像符号化方法。
14. ブロックレベルの構文が使用されて、動き補償又は視差補償が前記ブロックに適用されるかどうかを示す（３７０）ことを特徴とする請求項１１に記載の映像符号化方法。
15. 視差ベクトルを用いてピクチャのブロックを符号化するステップであって、前記ピクチャは、多視点映像コンテンツに対応し、符号化されて、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じるステップ（３００）
    を含むことを特徴とする映像符号化方法。
16. 前記符号化するステップは、共に前記ブロックに対応する動きベクトル及び前記視差ベクトルを単一のベクトル場で併用する（５００）ことを特徴とする請求項１５に記載の映像符号化方法。
17. 前記符号化するステップは、前記ブロックと同じ時間的予測フラッグ及び同じ視点間予測フラッグのうちの少なくとも１つを有する隣接ブロックのみから導き出された動きベクトル予測子及び視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを符号化する（５１５、５２０）ことを特徴とする請求項１６に記載の映像符号化方法。
18. 前記符号化するステップは、前記ブロックに対応する動きベクトル及び視差ベクトルに個々のベクトル場を用いて前記ブロックを符号化する（６００）ことを特徴とする請求項１５に記載の映像符号化方法。
19. 前記符号化するステップは、単に対応する動きベクトル場を参照する動きベクトル予測子及び単に対応する視差ベクトル場を参照する視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを符号化し、前記動きベクトル場及び前記視差ベクトル場は前記個々のベクトル場に含まれる（６１０、６１５）ことを特徴とする請求項１８に記載の映像符号化方法。
20. 時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを符号化するステップ（３７５）
    を含むことを特徴とする映像符号化方法。
21. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを復号化し、前記ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは前記異なる視点のうちの１つを表す復号器（２００）を含み、
    高レベル構文が読まれて、ブロックの視点間予測の利用を判定する
    ことを特徴とする映像復号化装置。
22. 前記復号器（２００）は、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームから前記ピクチャを復号化することを特徴とする請求項２１に記載の映像復号化装置。
23. 前記高レベル構文は、スライスレベルの構文を含むことを特徴とする請求項２１に記載の映像復号化装置。
24. ブロックレベルの構文が使用されて、動き補償又は視差補償が前記ブロックに適用されるかどうかを示すことを特徴とする請求項２１に記載の映像復号化装置。
25. 視差ベクトルを用いてピクチャのブロックを復号化し、前記ピクチャは、多視点映像コンテンツに対応し、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームから復号化される復号器（２００）を含むことを特徴とする映像復号化装置。
26. 前記復号器（２００）は、共に前記ブロックに対応する動きベクトル及び前記視差ベクトルを単一のベクトル場で併用することを特徴とする請求項２５に記載の映像復号化装置。
27. 前記復号器（２００）は、前記ブロックと同じ時間的予測フラッグ及び同じ視点間予測フラッグのうちの少なくとも１つを有する隣接ブロックのみから導き出された動きベクトル予測子及び視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを復号化することを特徴とする請求項２６に記載の映像復号化装置。
28. 前記復号器（２００）は、前記ブロックに対応する動きベクトル及び視差ベクトルに個々のベクトル場を用いて前記ブロックを復号化することを特徴とする請求項２５に記載の映像復号化装置。
29. 前記復号器（２００）は、単に対応する動きベクトル場を参照する動きベクトル予測子及び単に対応する視差ベクトル場を参照する視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを復号化し、前記動きベクトル場及び前記視差ベクトル場は前記個々のベクトル場に含まれることを特徴とする請求項２８に記載の映像復号化装置。
30. 時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを復号化する復号器（２００）
    を含むことを特徴とする映像復号化装置。
31. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによってピクチャのブロックを復号化し、前記ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは前記異なる視点のうちの１つを表すステップを含み、
    高レベル構文が読まれて、前記ブロックの視点間予測の利用を判定する（４５５）
    ことを特徴とする映像復号化方法。
32. 前記復号化するステップは、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームから前記ピクチャを復号化することを特徴とする請求項３１に記載の映像復号化方法。
33. 前記高レベル構文は、スライスレベルの構文を含む（４３０）ことを特徴とする請求項３１に記載の映像復号化方法。
34. ブロックレベルの構文が使用されて、動き補償又は視差補償が前記ブロックに適用されるかどうかを示す（４５５）ことを特徴とする請求項３１に記載の映像復号化方法。
35. 視差ベクトルを用いてピクチャのブロックを復号化し、前記ピクチャは、多視点映像コンテンツに対応し、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームから復号化する（４００）ステップ
    を含むことを特徴とする映像復号化方法。
36. 前記復号化するステップは、共に前記ブロックに対応する動きベクトル及び前記視差ベクトルを単一のベクトル場で併用する（５００）ことを特徴とする請求項３５に記載の映像復号化方法。
37. 前記復号化するステップは、前記ブロックと同じ時間的予測フラッグ及び同じ視点間予測フラッグのうちの少なくとも１つを有する隣接ブロックのみから導き出された動きベクトル予測子及び視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを復号化する（５１５、５２０）ことを特徴とする請求項３６に記載の映像復号化方法。
38. 前記復号化するステップは、前記ブロックに対応する動きベクトル及び視差ベクトルに個々のベクトル場を用いて前記ブロックを復号化する（６００）ことを特徴とする請求項３５に記載の映像復号化方法。
39. 前記復号化するステップは、単に対応する動きベクトル場を参照する動きベクトル予測子及び単に対応する視差ベクトル場を参照する視差ベクトル予測子のうちの少なくとも１つを用いて前記ブロックを復号化し、前記動きベクトル場及び前記視差ベクトル場は前記個々のベクトル場に含まれる（６１０、６１５）ことを特徴とする請求項３８に記載の映像復号化方法。
40. 時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて、多視点映像コンテンツに対応するピクチャのブロックを復号化するステップ（４７０）
    を含むことを特徴とする映像復号化方法。
41. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによって符号化されるピクチャのブロックであって、前記ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは前記異なる視点のうちの１つを表すブロックを含み、
    スライスレベル構文を使用して、前記ブロックの視点間予測の利用を示す
    ことを特徴とする映像符号化のための映像信号構造。
42. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによって符号化されるピクチャのブロックであって、前記ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは前記異なる視点のうちの１つを表すブロックを含み、
    スライスレベル構文を使用して、前記ブロックの視点間予測の利用を示す
    ことを特徴とする映像信号データがそこに符号化された記憶媒体。
43. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによって符号化されるピクチャのブロックであって、前記ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは前記異なる視点のうちの１つを表すブロックを含み、
    ブロックレベルの構文が使用されて、動き補償又は視差補償が前記ブロックに適用されるかどうかを示す
    ことを特徴とする映像符号化のための映像信号構造。
44. ブロックの予測を可能にする時間的予測と視点間予測との間で選択することによって符号化されるピクチャのブロックであって、前記ピクチャは、多視点映像コンテンツに対応し、同じ又は同様のシーンに対して異なる視点を有する一連のピクチャのうちの１つであり、前記ピクチャは前記異なる視点のうちの１つを表すブロックを含み、
    ブロックレベルの構文が使用されて、動き補償又は視差補償が前記ブロックに適用されるかどうかを示す
    ことを特徴とする映像信号データがそこに符号化された記憶媒体。
45. 視差ベクトルを用いて符号化されるピクチャのブロックであって、前記ピクチャは、多視点映像コンテンツに対応し、符号化されて、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じるブロック
    を含むことを特徴とする映像符号化のための映像信号構造。
46. 視差ベクトルを用いて符号化されるピクチャのブロックであって、前記ピクチャは、多視点映像コンテンツに対応し、符号化されて、国際標準化機構／国際電気標準化会議動画専門家グループ４パート１０の高度動画像圧縮符号化標準／国際電気通信連合の電気通信部門によるＨ．２６４の勧告及びその拡張のうちの少なくとも１つに準拠したビットストリームを生じるブロック
    を含むことを特徴とする映像信号データがそこに符号化された記憶媒体。
47. 時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて符号化される、多視点映像コンテンツに対応するピクチャのブロック
    を含むことを特徴とする映像符号化のための映像信号構造。
48. 時間的に同じ場所に位置するブロックの時間的に同じ場所に位置する視差ベクトル及び隣接する視差ベクトルのうちの少なくとも１つを用いる視差ベクトル予測子に基づいて符号化される、多視点映像コンテンツに対応するピクチャのブロック
    を含むことを特徴とする映像信号データがそこに符号化された記憶媒体。
    

Images