JP2012227929A - ３次元ビデオ信号を符号化する符号化方法及び符号化装置並びに対応する復号化方法及び復号化装置 - Google Patents

Abstract

【課題】本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む３次元ビデオ信号を符号化する符号化方法等に関する。
【解決手段】符号化方法は、現在の画像、深度画像及び現在のオクルージョン画像を符号化するステップ（４０，４２，４４）を有する。本発明に従って、現在のオクルージョン画像は、現在のオクルージョン画像の夫々のブロックについて、そのブロックが符号化されるかどうかを示すバイナリ識別子を符号化するステップ（４４０，４４６）と、ブロックが符号化されることをバイナリ識別子が示す夫々のブロックについてオクルージョンデータを符号化するステップ（４４）とに従って、符号化される（４４）。
【選択図】図５

Description

本発明は、３次元ビデオ信号の符号化の分野全般に関する。より具体的には、本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む３次元ビデオ信号を符号化する符号化方法、及び対応する復号化方法に関する。

一般的に、３次元ビデオ信号は、夫々が深度画像（depth image）及びオクルージョン画像（occlusion image）を関連付けられる複数の画像から成る２次元ビデオを有する。深度画像又は深度マップは、ビデオ信号の３次元に関する情報を与える。オクルージョン画像又はオクルージョンマップは、場面の前景に位置するオブジェクトによって隠されている空間に関する情報を与える。また、深度画像としてそのようなオクルージョン画像を送信することも知られている。

オクルージョン画像は、図１及び図２において示されるように関連する画像と非常に似た内容を有する。図１は、上がビデオの現在の画像を示し、下が関連するオクルージョン画像を示す。図２は、上が深度画像を示し、下がこの深度画像に関連するオクルージョン画像を示す。より有効にオクルージョン画像を符号化するために、それらの上に、全てのピクセルが図３に示されるようにそれらが関連付けられる画像のピクセルと同一である区間（又はブロック）をマスクすることが知られている。図３は、図１及び図２において示される画像の詳細を示す。黒色の区間は、ピクセルが現在の画像の対応するピクセルと同一であるオクルージョン画像の区間である。留意すべきは、同タイプのマスク画像は深度画像及び関連するオクルージョン画像を用いて得られる点である。図３において、マスキングは、１６×１６ブロックのグリッド上に整列される。実際に、既存の符号化方法の大部分は、画像データ（すなわち、輝度及びクロミナンス）を符号化するために、そのような１６×１６ブロックを用いる。

３次元ビデオ信号を符号化するよう、２次元の現在の画像、並びにそれらの夫々について、関連する深度画像、現在の画像に関連するマスクされたオクルージョン画像、及び場合により、深度画像に関連するマスクされたオクルージョン画像を符号化することが知られている。現在、マスクされたオクルージョン画像は、文書ＩＳＯ／ＩＥＣ１４４９６−１０において定義される標準規格Ｈ．２６４／ＭＰＥＧ４−ＡＶＣに従って符号化される。それは、関連情報の１項目を含む減少したブロックしか有さないが、そのようなマスクされたオクルージョン画像は、対応するマスクされていないオクルージョン画像を符号化するのとほぼ同じコストがかかる、すなわち、同じ数のビットにより符号化される。実際に、ビットレートが有意に低減されることを可能にするスキップモードは、そのようなマスクされたオクルージョン画像に対してはめったに使用されない。スキップモードが符号化のために維持されるために、ある条件が確認されなければならない。特に、隣接ブロックは、ＩＮＴＲＡにおいて符号化されてはならず、因果関係を示す隣接ブロックのメディアンベクトルは、現在のブロックの運動ベクトルに等しくなければならず、残余コストは零でなければならない。従って、マスクされていないブロックがＩＮＴＲＡモードにおいて符号化されると直ぐに、ＩＮＴＲＡモードは、スキップモードを損ねて、マスクされたものさえ次のブロックへ伝播させる。

本発明の目的は、先行技術の欠点のうち少なくとも１つを解消することである。

この目的のために、本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む３次元ビデオ信号を符号化する符号化方法に関する。それらの画像はブロックに分けられている。符号化方法は、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を符号化するステップを有する。有利に、前記現在のオクルージョン画像は、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されるかどうかを示し、当該ブロックが符号化されない場合は、当該ブロックが復号化されるときに充填データの第１項目により満たされることを示すバイナリ識別子を符号化するステップと、
前記バイナリ識別子がブロックが符号化されること示す夫々のブロックについて、オクルージョンデータを符号化するステップと
に従って符号化される。

本発明の特定の特徴に従って、前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を符号化するステップは、バイナリ画像を失わずに符号化することを含む。

本発明の他の態様に従って、符号化方法は、前記バイナリ識別子によって符号されないと示される前記現在のオクルージョン画像のブロックを充填する画像データの第１項目を符号化するステップをさらに有する。

他の実施形態に従って、前記３次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、符号化方法は、前記バイナリ識別子がブロックが符号化されることを示す前記深度オクルージョン画像の夫々のブロックについて、深度オクルージョンデータを符号化するステップを有する。

本発明の他の態様に従って、符号化方法は、前記バイナリ識別子によって符号化されないと示される前記深度オクルージョン画像のブロックを満たす画像データの第２項目を符号化するステップをさらに有する。

本発明の特定の特徴に従って、前記バイナリ識別子は、前記現在のオクルージョン画像のブロックの全ピクセルが前記現在の画像における対応するブロックのピクセルと同一であるときに、当該ブロックが符号化されないことを示す。

また、本発明は、現在の画像、深度画像及び現在のオクルージョン画像を含む３次元ビデオ信号を復号化する復号化方法に関する。復号化方法は、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を復号化するステップを有する。有利に、前記現在のオクルージョン画像は、
前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されているかどうかを示すバイナリ識別子を復号化するステップと、
前記バイナリ識別子がブロックが符号化されていること示す前記現在のオクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを所定の充填データの第１項目により満たすステップと
に従って復号化される。

本発明の特定の特徴に従って、前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を復号化するステップは、バイナリ画像を失わずに復号化することを含む。

有利に、復号化方法は、前記所定の充填データの第１項目を復号化するステップをさらに有する。

他の実施形態に従って、前記３次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、復号化方法は、
前記バイナリ識別子がブロックが符号化されていることを示す前記深度オクルージョン画像の夫々のブロックを復号化するステップと、
前記バイナリ識別子によって符号化されていないと示されるブロックを所定の充填データの第２項目により満たすステップと
を有する。

本発明の特定の特徴に従って、復号化方法は、前記所定の充填データの第２項目を復号化するステップをさらに有する。

上が２次元画像を示し、下が対応するオクルージョン画像を示す。 上が深度画像を示し、下が対応するオクルージョン画像を示す。 マスクされたオクルージョン画像を示す。 本発明に従う符号化方法を示す。 本発明に従う符号化方法のステップを詳細に示す。 本発明に従う符号化方法の変形例を示す。 本発明に従う復号化方法を示す。 本発明に従う復号化方法のステップを詳細に示す。 本発明に従う復号化方法の変形例を示す。 本発明に従う符号化装置を示す。 本発明に従う復号化装置を示す。

本発明は、決して限定ではなく、図面を参照して、実施形態及び有利な実施によりよりより理解され説明される。

本原理は、ハードウェア、ソフトウェア、ファームウェア、特殊用途のプロセッサ、又はそれらの組み合わせといった種々の形において実施されてよい。望ましくは、本原理は、ハードウェアとソフトウェアとの組み合わせとして実施されてよい。さらに、ソフトウェアは、望ましくは、プログラム記憶装置において有形に具現されたアプリケーションプログラムとして実施される。アプリケーションプログラムは、何らかの適切なアーキテクチャを有するマシンにアップロードされても、あるいは該マシンによって実行されてもよい。望ましくは、マシンは、１又はそれ以上の中央演算処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び入力／出力（Ｉ／Ｏ）インターフェース等のハードウェアを有するコンピュータプラットフォームにおいて実施される。コンピュータプラットフォームは、オペレーティングシステム及びミクロ命令コードをさらに含む。ここで記載される様々な処理及び機能は、オペレーティングシステムを介して実行されるアプリケーションプログラムの一部又はミクロ命令コードの一部（あるいは、それらの組み合わせ）のいずれか１つであってよい。加えて、更なるデータ記憶装置及び印刷装置等の様々な他の周辺装置が、コンピュータプラットフォームへ接続されてよい。

本発明は、然るべく適応された符号化又は復号化手段を有する何らかの電子装置において実現されてよい。例えば、本発明は、テレビ受像機、携帯型ビデオ電話、パーソナルコンピュータ、デジタルビデオカメラ、ナビゲーションシステム又は車載用ビデオシステムにおいて実現されてよい。

３次元ビデオ信号は、少なくとも１つの現在の画像Ｉｃ、深度画像Ｉｐ及び現在のオクルージョン画像Ｉｏｃｃを含む。それらの画像はブロックに分けられている。現在の画像について記載される本発明は、夫々が深度画像及びオクルージョン画像と関連付けられる複数の画像から成るビデオを有する３次元ビデオ信号に直接的に適用する。

図４は、本発明に従う３次元ビデオ信号の符号化方法を示す。方法は、現在の画像Ｉｃを符号データのストリームＦｃへと符号化するステップ４０を有する。簡単な例として、画像Ｉｃは、標準規格Ｈ．２６４に従って符号化される。例えば、符号化方法は、次のステップの幾つかを有する：残余を生成するよう符号化されるデータの予測、係数への残余の変換、係数の量子化、及び量子化された係数のエントロピー符号化。なお、予測ステップ及び変換ステップ等の幾つかのステップは省略され得る。変形例に従って、画像Ｉｃは、文書ＩＳＯ／ＩＥＣ１３８１８−２において記載されるＭＰＥＧ−２標準規格に従って符号化される。当業者は、現在の画像Ｉｃを符号化するよう如何なる画像符号化方法も適用することができ、本発明は、現在の画像Ｉｃを符号化するためにステップ４０において使用される方法によって少しも制限されない。

ステップ４２の間、深度画像Ｉｐは、符号データのストリームＦｐへと符号化される。簡単な例として、深度画像Ｉｐは、標準規格Ｈ．２６４に従って符号化される。変形例に従って、深度画像Ｉｐは、ＭＰＥＧ−２標準規格に従って符号化される。当業者は、深度画像Ｉｐを符号化するよう如何なる符号化方法も適用することができ、本発明は、深度画像Ｉｐを符号化するためにステップ４２において使用される方法によって少しも制限されない。

ステップ４４の間、現在のオクルージョン画像Ｉｏｃｃは、符号データのストリームＦｏｃｃへと符号化される。ステップ４４は、図５を参照して記載される。インデックスｉは、符号化される現在のオクルージョン画像のブロックのインデックスに相当する。

ステップ４４０の間、オクルージョン情報の項目が現在のブロックＢｉについて符号化されるべきかどうかが決定される。図３において、符号化されないブロックは、マスクされたオクルージョン画像において黒色で示されたもの、すなわち、有用なオクルージョン情報が存在しないものである。黒ブロックは、現在のオクルージョン画像Ｉｏｃｃのピクセルが現在の画像Ｉｃの対応するピクセルと同一であるブロックである。ブロックＢｉがオクルージョン情報の有用な項目を含む場合は、方法はステップ４４２へ続き、一方、ブロックＢｉがオクルージョン情報の有用な項目を含まない場合は、方法はステップ４４６へ続く。

ステップ４４２の間、バイナリ識別子Ｉｄｉは、現在のブロックが符号化されることを示す現在のブロックＢｉについて符号化される。一例として、値１は、ブロックＢｉが符号化されることを示すよう符号化される。

ステップ４４４の間、ブロックＢｉのオクルージョンデータは、次いで、例えば、Ｈ．２６４標準規格の符号化原理を用いて、ストリームＦｏｃｃにおいて明示的に符号化される。

ステップ４４６の間、バイナリ識別子Ｉｄｉは、現在のブロックが符号化されないと示す現在のブロックＢｉについて符号化される。一例として、値０は、ブロックＢｉが符号化されないと示すよう符号化される。

ステップ４４８の間、現在のオクルージョン画像ＩｏｃｃのＮ個のブロックの組（Ｎは自然数である。）が処理されたかどうかが確認される。その場合は、方法は現在のオクルージョン画像Ｉｏｃｃについて終了し、そうでない場合は、方法は次のＢｉブロックを処理する。このために、インデックスｉは、ステップ４５０において、１を増分される。

本発明の特定の特徴に従って、現在のオクルージョン画像についてのバイナリ識別子Ｉｄｉは、マスクとも呼ばれるバイナリ画像の形で符号化される。符号化は、損失なしで行われなければならない。そのような画像は、例えば、ストリームＦｍにおいてハフマン符号化により符号化される。変形例に従って、夫々のバイナリ識別子は、ブロックヘッダにおいて（例えば、ストリームＦｏｃｃのブロックヘッダにおいて）符号化される。実際に、画像を符号化するために、画像ヘッダ、次いで夫々の画像ブロックについて、ブロックヘッダ及び有用なデータ（例えば、量子化されたＤＣＴ係数）を符号化することが知られている。ブロックヘッダにおいて、ブロックに関する一般的な情報（例えば、その符号化モード）を符号化することが知られている。

変形例に従って、値０は、ブロックＢｉが符号化されることを示すよう符号化され、値１は、ブロックＢｉが符号化されないことを示すよう符号化される。

図６は、他の実施形態を示す。図４の第１実施形態と同じステップは、図６において同じ参照符号により特定されている。この実施形態に従って、符号化方法はステップ４０、４２及び４４を有する。符号化方法は、符号化されない現在のオクルージョン画像ＩｏｃｃのブロックＢｉのＭＶＦ充填データの第１項目を符号化するステップ４６をさらに有する。かかる値は、現在のオクルージョン画像を再構成するために復号化装置によって使用される。実際に、符号化されないＢｉブロックは、デコーダ側で値によって満たされなければならない。そのようなＭＶＦ充填値は、２次元画像に関連する全ての符号化されるオクルージョン画像について同じである。従って、３次元ビデオ信号全体について１度値を符号化することが望ましい。例えば、そのような値は、ストリームＦｃ、Ｆｐ及びＦｏｃｃにより多重化されるユーザデータ又はプライベートデータにおいて符号化され得る。ＭＰＥＧ−２トランスポートストリームレベルでそのようなデータの項目を符号化することが可能である。変形例に従って、そのようなＭＶＦデータ項目は、ＳＥＩ（Supplemental Enhancement Information）タイプのメッセージにおいて符号化され得る。

３つのストリームＦｃ、Ｆｐ及びＦｏｃｃ並びに場合によりプライベートデータ（例えば、第１のＭＶＦ充填データ項目）は、任意のステップ５０の間に、ネットワーク上の伝送ためにトランスポートストリームへと多重化される。変形例に従って、３つのストリーム及び場合によりプライベートデータは、ＤＶＤ又はハードディスク等の支持体に記憶される。

バイナリ識別子がストリームＦｍにおいてバイナリマスクの形で符号化される場合において、このストリームＦｍも、ステップ５０の間にトランスポートストリームにおいて多重化され、又は支持体に記憶される。

変形例に従って、３次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像Ｉｐｏｃｃをさらに含む。その場合に、符号化方法は、バイナリ識別子ブロックが符号化されることを示す夫々のブロックについて深度オクルージョンデータを符号化する更なるステップを有する。このステップは、ステップ４４４と同じであるが、深度オクルージョン画像ブロックにおいて適用される。留意すべきは、単一のバイナリ識別子はブロックごとに符号化され、あるいは、現在のオクルージョン画像及び深度オクルージョン画像の両方に働く単一のバイナリ画像が符号化される点である。実際に、同じブロックは、現在のオクルージョン画像及び深度オクルージョン画像において符号化され、オクルージョンデータのみが相違する。

変形例に従って、充填データの第２項目がストリームにおいて符号化される。このデータ項目は、深度オクルージョン画像において符号化されないブロックを満たすよう復号化方法によって使用される。例えば、かかる値は、ストリームＦｃ、Ｆｐ及びＦｏｃｃにより多重化されるユーザデータ又はプライベートデータにおいて符号化され得る。ＭＰＥＧ−２トランスポートストリームレベルでそのようなデータの項目を符号化することが可能である。変形例に従って、そのようなＭＶＦデータ項目は、ＳＥＩタイプのメッセージにおいて符号化され得る。この第２のデータ項目は、充填データの第１項目とは異なってよい。

図７は、本発明に従う３次元ビデオ信号の復号化方法を示す。

３つのストリームＦｃ、Ｆｐ及びＦｏｃｃ並びに場合によりプライベートデータ（すなわち、ＭＶＦ充填データの第１項目）は、任意のステップ７０の間に逆多重化される。変形例に従って、３つのストリーム及び場合によりプライベートデータは、ＤＶＤ又はハードディスク等の支持体において読み出される。

ステップ７２の間、現在の画像Ｉｃが復号化される。簡単な例として、画像Ｉｃは、標準規格Ｈ．２６４に従って復号化される。ステップ７２は、ステップ４０の逆である。

ステップ７４の間、深度画像Ｉｐが復号化される。簡単な例として、画像Ｉｐは、標準規格Ｈ．２６４に従って復号化される。ステップ７４は、ステップ４２の逆である。

ステップ７６の間、オクルージョン画像Ｉｏｃｃが復号化される。ステップ７６は、ステップ４４の逆である。ステップ７６については、図８を参照して記載する。インデックスｉは、現在のオクルージョン画像Ｉｏｃｃのブロックのインデックスに相当する。

ステップ７６０の間、バイナリ識別子Ｉｄｉは、現在のブロックＢｉについて復号化されて、現在のブロックが符号化されているかどうかを示す。例えば、値１は、ブロックＢｉが符号化されていることを示すよう復号化され、値０は、ブロックＢｉが符号化されていないことを示す。変形例に従って、値０は、ブロックＢｉが符号化されていることを示すよう復号化され、値１は、ブロックＢｉが符号化されていないことを示すよう復号化される。

ステップ７６２の間、オクルージョン情報の項目が現在のブロックＢｉについて復号化されるべきかどうかが決定される。識別子Ｉｄｉが１に等しい、すなわち、ブロックＢｉが符号化されていることを示す場合は、方法はステップ７６４に続き、それ以外の場合は、方法はステップ７６６に続く。

ステップ７６４の間、ブロックＢｉは復号化される。より具体的には、ブロックＢｉのオクルージョンデータは、例えば、Ｈ．２６４標準規格の符号化原理を用いて復号化され、ブロックＢｉは、それらのデータ項目により満たされる。このステップは、ステップ４４４の逆である。

ステップ７６６の間、符号化されていないと特定されたブロックＢｉは、第１のＭＶＦ所定充填データ項目によって満たされる。ブロックＢｉの夫々の符号化されていないピクセルは、同じＭＶＦ値を割り当てられる。ブロックＢｉはこのようにして一様である。そのような所定の充填データは、復号化方法から知られる。それは、例えば、本発明に従う復号化方法を実施する復号化装置のメモリに記憶されている。それは、コンストラクタデータであってよい。変形例に従って、それはデフォルトで定義され、黒色の符号化されていないブロックＢｉに対応する値０をとる。

ステップ７６８の間、現在のオクルージョン画像のＮ個のブロックの組（Ｎは自然数）が処理されたかどうかが確認される。その場合は、方法は現在のオクルージョン画像Ｉｏｃｃについて終了し、そうでない場合は、方法は次のＢｉブロックを処理する。このために、インデックスｉは、ステップ７７０において、１を増分される。

本発明の特定の特徴に従って、現在のオクルージョン画像についてのバイナリ識別子Ｉｄｉは、バイナリ識別子がストリームＦｍにおいてバイナリ画像の形で符号化された場合に、マスクとも呼ばれるバイナリ画像の形で復号化される。この画像は、例えば、ハフマン復号化により損失なしで復号化される。変形例に従って、夫々のバイナリ識別子は、ブロックヘッダにおいて復号化される。この場合に、ストリームＦｍは、場合により、ステップ７０において逆多重化される。

図９は、他の実施形態を示す。図７の第１の実施形態と同じステップは、図９において同じ参照符号により特定されている。この実施形態に従って、復号化方法は、ステップ７２、７４及び７６を有する。復号化方法は、符号化されていない現在のオクルージョン画像のブロックＢｉのＭＶＦ充填データの第１項目を復号化するステップ７８をさらに有する。かかる値は、オクルージョン画像を再構成するために復号化方法によって使用される。実際に、符号化されていないＢｉブロックは、デコーダ側で値を充填されなければならない。そのような充填データの項目は、全ての復号化されるオクルージョン画像について同じである。例えば、かかる値は、ステップ７０において逆多重化されるプライベートデータ又はユーザデータにおいて復号化される。ＭＰＥＧ−２トランスポートストリームのレベルでそのようなデータの項目を復号化することが可能である。変形例に従って、そのようなＭＶＦデータの項目は、ＳＥＩタイプのメッセージを用いて復号化され得る。

変形例に従って、３次元ビデオ信号は、ブロックに分けられている深度オクルージョン画像Ｉｐｏｃｃをさらに含む。その場合に、復号化方法は、ブロックが符号化されていることをバイナリ識別子が示す夫々のブロックについて深度オクルージョンデータを復号化する更なるステップを有する。このステップは、ステップ７６４と同じであるが、深度オクルージョン画像ブロックにおいて適用される。留意すべきは、ブロックごとの単一のバイナリ識別子が復号化され、あるいは、現在のオクルージョン画像及び深度オクルージョン画像の両方に働く単一のバイナリ画像が復号化される点である。実際に、同じブロックは、現在のオクルージョン画像及び深度オクルージョン画像において復号化され、オクルージョンデータのみが相違する。符号化されていないと特定されるブロックＢｉは、所定の充填データの第２項目によって満たされる。ブロックＢｉの夫々の符号化されていないピクセルは、同じ値を割り当てられる。ブロックＢｉはこのようにして一様である。充填データの第２の所定の項目は、復号化方法から知られる。それは、例えば、本発明に従う復号化方法を実施する復号化装置のメモリに記憶されている。それは、コンストラクタデータであってよい。変形例に従って、それはデフォルトで定義され、白色の符号化されていないＢｉに対応する値２５５をとる。他の変形例に従って、充填データの第２項目は復号化され、このデータ項目は、深度オクルージョン画像における符号化されていないブロックを充填するために復号化方法によって使用される。例えば、かかる値は、ステップ７０の間に逆多重化されるプライベートデータ又はユーザデータにおいて復号化される。この第２のデータ項目は、充填データの第１項目とは異なってよい。それは、充填データの第１項目と同じように復号化される。

本発明により解放されるバンド幅は、より正確な、従って改善された品質を有して他のデータ項目を符号化するために使用され得る。得られるビットレートにおけるゲインは、内容の複雑さ（隠される又は隠されない区間の数）に応じて多かれ少なかれ有意であるが、識別子の符号化に起因するコストは低い。

符号化方法の（時間の観点からの）性能は改善される。実際に、スキップモードとは違って、符号化方法は最適なモードを探す必要がない。符号化されるブロック又は符号化されないブロックの選択は、情報の無関係の項目（exterior item）によって与えられる。この情報は、現在の画像Ｉｃと現在のオクルージョン画像Ｉｏｃｃとの比較によって得られる。この情報は、コーダ及びデコーダに役立つ。この利点は、同時に４つのストリーム（現在の画像、深度画像、現在のオクルージョン画像及び場合により深度オクルージョン画像）を符号化／復号化することを伴う場合に、非常に有意でありうる。

本発明に従う符号化方法は、容易にアプリケーションに適応され得る。実際に、ユーザは、アプリケーションに関して自身に適した充填データを送信することができる。

図７及び図９を参照して、画像Ｉｃ、Ｉｐ、Ｉｏｃｃ及び場合によりＩｐｏｃｃは、その場合に、他の画像又はビューを生成するために使用される（ステップＲ）。このようにして生成されたビューは、次いで、ビューの組（マルチビュー自動立体視システム）の形で３次元ビデオ信号を表示することができる適応スクリーンにおいて表示される（ステップＤ）。そのようなスクリーンは、３次元効果を見るための特別な眼鏡の着用を必要としない。留意すべきは、ステップＲ及びＤは本発明に従う復号化方法の一部でない点である。

図１０を参照して、本発明は、また、本発明に従う符号化方法を実施することができる符号化装置ＥＮＣに関する。任意のモジュールは、図１０において破線で示されている。

符号化装置は、画像シーケンスＩｃ、Ｉｐ及びＩｏｃｃを受け取ることができる少なくとも３つの入力部ＩＮ１、ＩＮ２及びＩＮ３を有する。符号化装置は、画像Ｉｃ、Ｉｐ及びＩｏｃｃを符号化することができる符号化モジュールＥＮＣ１、ＥＮＣ２及びＥＮＣ３をさらに有する。ＥＮＣ１は符号化方法のステップ４０を実施し、ＥＮＣ２は符号化方法のステップ４２を実施し、ＥＮＣ３は符号化方法のステップ４４を実施する。変形例に従って、符号化装置ＥＮＣは、画像シーケンスＩｐｏｃｃを受け取ることができる第４の入力部ＩＮ４を有する。入力部ＩＮ４は、深度オクルージョン画像の符号化を実施することができる符号化モジュールＥＮＣ４へ接続されている。符号化装置は、符号化モジュールからのストリームをトランスポートストリームへと多重化することができる多重化モジュールＭＵＸを有する。多重化モジュールの出力は、符号化装置ＥＮＣの出力部ＯＵＴへ接続されている。変形例に従って、多重化モジュールは符号化装置の外部にあり、その場合に、夫々の符号化モジュールは符号化装置の特定の出力部へ接続される。他の実施形態に従って、符号化装置は、充填データ又は充填データの１つの項目を符号化するＥＮＣＭＶＦモジュールを有する。かかる充填データは、例えば、インターフェースＩＦを介してユーザによって特定される。

図１１を参照して、本発明は、また、本発明に従う復号化装置を実施することができる復号化装置ＤＥＣに関する。任意のモジュールは、図１１において破線で示されている。

復号化装置ＤＥＣは、例えば符号化装置ＥＮＣから入来する３次元ビデオ信号を表すストリームを受け取ることができる入力部ＩＮを有する。この入力部は、入力部ＩＮで受け取られたストリームを少なくとも３つのストリームに逆多重化することができる逆多重化モジュールＤＥＭＵＸへ接続されている。変形例に従って、逆多重化モジュールは復号化装置の外にあり、その場合に、復号化装置ＤＥＣは少なくとも３つの入力部を有し、各入力部はストリームＦｃ、Ｆｐ及びＦｏｃｃを受け取るよう構成される。復号化装置は、深度オクルージョン画像に相当するストリームを受け取る他の入力部を有してよい。

復号化装置ＤＥＣは、逆多重化モジュールＤＥＭＵＸの出力部で接続され、画像Ｉｃ、Ｉｐ及びＩｏｃｃを復号化することができる復号化モジュールＤＥＣ１、ＤＥＣ２及びＤＥＣ３をさらに有する。ＤＥＣ１は復号化方法のステップ７２を実施し、ＤＥＣ２は復号化方法のステップ７４を実施し、ＤＥＣ３は復号化方法のステップ７６を実施する。変形例に従って、復号化装置ＤＥＣは、深度オクルージョン画像の復号化を実施することができる第４の復号化モジュールＤＥＣ４を有する。復号化モジュールの夫々の出力部は、復号化装置ＤＥＣの特定の出力部（ＯＵＴ１、ＯＵＴ２、ＯＵＴ３及びＯＵＴ４）へ接続されている。

他の実施形態に従って、復号化装置は、充填データ又は充填データの１つの項目を復号化するＤＥＣＭＶＦモジュールを有する。かかる充填データは、符号化されていないブロックを充填するために、オクルージョン画像復号化モジュールＤＥＣ３場合によりＤＥＣ４へ供給される。変形例に従って、充填データは復号化装置のメモリに記憶され、その場合に、復号化装置は復号化モジュールＤＥＣＭＶＦを有さない。

当然、本発明は、上記の実施形態の例に限られない。特に、当業者は、如何なる変形も上記の実施形態に適用し、それらをそれらの様々な利点から利益を得るよう組み合わせてよい。深度画像、現在のオクルージョン画像及び場合により深度オクルージョン画像を関連付けられる現在の画像について記載された本発明は、そのような画像のシーケンスに適用することができる。

Ｂｉ ブロック
ＤＥＣ 復号化装置
ＤＥＣ１，ＤＥＣ２，ＤＥＣ３，ＤＥＣ４ 復号化モジュール
ＤＥＭＵＸ 逆多重化モジュール
ＥＮＣ 符号化装置
ＥＮＣ１，ＥＮＣ２，ＥＮＣ３，ＥＮＣ４ 符号化モジュール
Ｆｃ，Ｆｐ，Ｆｏｃｃ 符号データのストリーム
ＩＦ インターフェース
ＩＮ，ＩＮ１，ＩＮ２，ＩＮ３，ＩＮ４ 入力部
Ｉｃ 現在の画像
Ｉｏｃｃ 現在のオクルージョン画像
Ｉｐｏｃｃ 深度オクルージョン画像
Ｉｐ 深度画像
Ｉｄｉ バイナリ識別子
ＭＵＸ 多重化モジュール
ＯＵＴ，ＯＵＴ１，ＯＵＴ２，ＯＵＴ３，ＯＵＴ４ 出力部

Claims (15)

1. ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含むビデオエンコーダにおける３次元ビデオ信号をビデオコーダにおいて符号化する符号化方法であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を符号化するステップを有する符号化方法において、
   前記現在のオクルージョン画像は、
   前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されるかどうかを示し、当該ブロックが符号化されない場合は、当該ブロックが復号化されるときに充填データの第１項目により満たされることを示すバイナリ識別子を符号化するステップと、
   前記バイナリ識別子がブロックが符号化されること示す夫々のブロックについて、オクルージョンデータを符号化するステップと
   に従って符号化される、
   ことを特徴とする符号化方法。
2. 前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を符号化するステップは、バイナリ画像を失わずに符号化することを含む、
   請求項１に記載の符号化方法。
3. 前記充填データの第１項目を符号化するステップをさらに有する、
   請求項２に記載の符号化方法。
4. 前記３次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、
   当該符号化方法は、前記バイナリ識別子がブロックが符号化されることを示す前記深度オクルージョン画像の夫々のブロックについて、深度オクルージョンデータを符号化するステップを有する、
   請求項１乃至３のうちいずれか一項に記載の符号化方法。
5. 前記バイナリ識別子によって符号化されないと示される前記深度オクルージョン画像のブロックを満たす画像データの第２項目を符号化するステップをさらに有する、
   請求項４に記載の符号化方法。
6. 前記バイナリ識別子は、前記現在のオクルージョン画像のブロックの全ピクセルが前記現在の画像における対応するブロックのピクセルと同一であるときに、当該ブロックが符号化されないことを示す、
   請求項１乃至５のうちいずれか一項に記載の符号化方法。
7. ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含むビデオデコーダにおける３次元ビデオ信号をビデオデコーダにおいて復号化する復号化方法であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を復号化するステップを有する復号化方法において、
   前記現在のオクルージョン画像は、
   前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されているかどうかを示し、当該ブロックが符号化されていない場合は、当該ブロックが復号化されるときに充填データの第１項目により満たされることを示すバイナリ識別子を復号化するステップと、
   前記バイナリ識別子がブロックが符号化されていること示す前記現在のオクルージョン画像の夫々のブロックを復号化するステップと、
   前記バイナリ識別子によって符号化されていないと示されるブロックを前記充填データの第１項目により満たすステップと
   に従って復号化される、
   ことを特徴とする復号化方法。
8. 前記現在のオクルージョン画像の夫々のブロックについてバイナリ識別子を復号化するステップは、バイナリ画像を失わずに復号化することを含む、
   請求項７に記載の復号化方法。
9. 前記充填データの第１項目を復号化するステップをさらに有する、
   請求項７又は８に記載の復号化方法。
10. 前記３次元ビデオ信号は、ブロックに分けられる深度オクルージョン画像をさらに含み、
    当該復号化方法は、
    前記バイナリ識別子がブロックが符号化されていることを示す前記深度オクルージョン画像の夫々のブロックを復号化するステップと、
    前記バイナリ識別子によって符号化されていないと示されるブロックを充填データの第２項目により満たすステップと
    を有する、
    請求項７乃至９のうちいずれか一項に記載の復号化方法。
11. 前記充填データの第２項目を復号化するステップをさらに有する、
    請求項１０に記載の復号化方法。
12. ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含む３次元ビデオ信号を符号化する符号化装置であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を符号化する手段を有する符号化装置において、
    前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されるかどうかを示し、当該ブロックが符号化されない場合は、当該ブロックが復号化されるときに充填データの第１項目により満たされることを示すバイナリ識別子を符号化する手段と、
    前記バイナリ識別子がブロックが符号化されること示す夫々のブロックについて、オクルージョンデータを符号化する手段と
    を有する、ことを特徴とする符号化装置。
13. 請求項１乃至６のうちいずれか一項に記載の符号化方法のステップを実行するよう構成される、
    請求項１２に記載の符号化装置。
14. ブロックに分けられる現在の画像、深度画像及び現在のオクルージョン画像を含む３次元ビデオ信号を復号化する復号化装置であって、前記現在の画像、前記深度画像及び前記現在のオクルージョン画像を復号化する手段を有する復号化装置において、
    前記現在のオクルージョン画像の夫々のブロックについて、当該ブロックが符号化されているかどうかを示し、当該ブロックが符号化されていない場合は、当該ブロックが復号化されるときに充填データの第１項目により満たされることを示すバイナリ識別子を復号化する手段と、
    前記バイナリ識別子がブロックが符号化されていること示す前記現在のオクルージョン画像の夫々のブロックを復号化する手段と、
    前記バイナリ識別子によって符号化されていないと示されるブロックを前記充填データの第１項目により満たす手段と
    を有する、ことを特徴とする復号化装置。
15. 請求項７乃至１１のうちいずれか一項に記載の復号化方法のステップを実行するよう構成される、
    請求項１４に記載の復号化装置。

Images