JP2009505550A - 奥行き抽出のためのビデオ処理方法及び装置 - Google Patents

Abstract

本発明は、三次元ディスプレイ上に二次元ビデオシーケンスを表示するために、符号化したビデオビットストリーム（１０２）の動きベクトルから三次元の奥行き情報を抽出することによって、奥行きマップ（１１２）を生成するための改良方法及び装置を提供する。特に本発明は、ビデオビットストリームに既に符号化した、インター符号化マクロブロックの動きベクトルを後処理することによって、奥行き抽出を行い、これによって、従来の動き推定技術に関連する厳しい処理要件をかなり軽減させる。

Description

本発明はビデオ処理システムに関し、特に、二次元のビデオシーケンスから、ディスプレイ上に三次元画像の知覚をレンダリングするための方法及び装置に関する。

一般的に、１つ以上の二次元画像を用いることによって、現実の三次元界における物体の形状を表示し、且つ推定することは、コンピュータ・ビジョンの分野における根本的な問題である。我々の両目で同時に得られる視覚は、合成されて、距離を知覚することができるから、殆どの人間にはシーンや、物体の奥行き知覚が分かる。しかしながら人間は、幾つかの特殊な状況において、照明、陰影、干渉、模様又は相対サイズのような付加的な情報がある場合には、片目でもシーン又は物体の奥行きを知覚することができる。だから、例えば、単眼カメラでも、シーン又は物体の奥行きを推定することが可能である。

新たなレンチキュラー液晶ディスプレイ（ＬＣＤ）技術は、例えば、立体三次元眼鏡を用いなくても、ユーザーに静止画像及び動画像を三次元知覚で表示させることができる。言い換えれば、三次元ＬＣＤでは、シリンドリカルレンズのシート（レンチキュラー）を、ＬＣＤの画像平面がレンズの焦点面に位置付けられるような方法で、ＬＣＤの頂部に載せる。これは、レンズを垂直に見る観察者の目からの視線が、各レンズ下のＬＣＤの中央の部分に集中されることを意味する。同様に、横向きの角度からスクリーンを見る目からの視線は、各レンズ下のＬＣＤの中心を外れた部分に集中する。各レンズの下のＬＣＤを異なるサブピクセルに分割すれば、異なる角度でスクリーンを見る目（両目）は、異なるピクセルを見ることになる。さらに、正しい画像情報を異なるピクセル（すなわち、画像のステレオペア）に与えれば、観察者は三次元的に見ることになる。従って、画像処理及びＬＣＤの駆動には、平坦な２Ｄ画像と共に奥行きマップを用立てる必要がある。

三次元ディスプレイの市場が増え続けていても、全てのビデオコンテンツは早急には「三次元」になり得ない。そのため、二次元情報を三次元感覚で解釈する能力をユーザーに提供することができる、三次元技術の開発が強く切望されている。二次元のビデオシーケンスから三次元の画像又はモデルを再構築することは、認証、監視、部位のモデリング、エンターテイメント、マルチメディア、医学画像、ビデオ通信、及び無数の他の有用な技術用途を有する様々な分野において重要な効果を有する。この擬似的な三次元のケースは、平坦なビデオコンテンツから関連する奥行き情報を抽出することにある。特に、平坦な二次元コンテンツからの奥行き情報の抽出は、研究段階の分野にあり、幾つかの技術が知られている。例えば、当面の物体の動きに基づいて奥行きマップを生成する特定の設計技術が知られている。

このような問題に取り組む共通の方法は、例えば、ステレオペアのディスパリティを解析するように、異なる視点から、同時に取得される幾つかの画像を解析したり、例えば、ビデオシーケンスの連続フレームを解析するように、単一視点から異なる時間に得た幾つかの画像を解析したり、動きを抽出したり、閉塞部位を解析したりするやり方である。さらに他の技術は、デフォーカス手法のような、他の奥行き手掛かりを使用するものである。さらに他の技術は、信頼性のある奥行き推定を得るために、幾つかの奥行き手掛かりを組み合わせるものである。

例えば、ＫｏｎｙａによるＥＰ １３７９０６３ Ａ１には、画像セグメンテーションに基づく二次元画像からの奥行き抽出の一例が開示されている。ここでは特に、人の頭部、首及び肩の二次元の静止画像を撮影するための単一カメラと、二次元の静止画像に視差情報を与えて三次元画像を作成する、三次元画像作成部と、三次元画像を表示するためのディスプレイユニットとを備えた、携帯電話について記載されている。

しかしながら、三次元設計のための上述の従来技術は、要因数が多いためにあまり満足でないことが多い。二次元ビデオシーケンスから奥行きを抽出することを提案しているシステムのほとんどは、時間的な動き推定に基づくものであり、これは、一般的に、近い物体が最高の動きを有すると見なしている。これは、計算機的に非常に激しい処理を意味し、かなりのコンピュータ解析を必要とする。さらに、従来の三次元設計手法は、低コストのコンシューマ機器に生じがちな、焦点距離が極めて短い光学機器、又は品質の劣る光学機器で画像を捕える場合のように、目立った焦点ディスパリティがない場合におけるデフォーカス解析に基づくシステムには及ばず、また幾つかの手掛かりを組み合わせるシステムは、実施するのが極めて複雑であり、低コストのプラットフォームとほとんど互換性を持たない。その結果、品質不足、ロバスト性及びコスト高が、こうした既存技術が直面する課題となっている。

従って、上述した問題をなくし、低コストで簡単に実施し得る改良した方法及びシステムを用いて、ビデオ及びアニメの画像シーケンスのような二次元オブジェクトから、三次元画像化のための奥行き知覚を生成することが切望されている。

従って、本発明の目的は、符号化したビデオビットストリームの動きベクトルから三次元の視差情報を抽出することによって二次元ビデオシーケンスを三次元ディスプレイ上へ表示するために、二次元の符号化したビデオビットストリームから奥行き抽出を行うことによって、ビデオ画像を処理すべく、改良した方法及び装置を提供することにある。

特に本発明は、ビデオ画像を有する二次元ビデオアプリケーションの符号化したビデオビットストリームを受信するステップと；前記符号化したビデオビットストリームの複数のフレームに関連する動きを復号化して、前記複数のフレームのブロックユニットによって複数の動きベクトルを抽出する動き復号化ステップと；動きマップを生成するステップと；同様なタイプの動きベクトルを有するブロックユニットがそれぞれの領域に一緒にグループ化されるように、同様なタイプの動きベクトルを有するブロックユニットをそれぞれの領域にグループ化することによって、複数の動きベクトルを用いて生成した動きマップを処理するステップであって、前記それぞれの領域における前記ブロックユニットが、それぞれの奥行き情報を含むようにする、動きマップ処理ステップと；ビデオ画像のブロックユニットに関連する動きベクトルのタイプに基づいて、動きマップのそれぞれの領域の奥行き情報を統合することによって、奥行きを抽出する奥行き抽出ステップと；二次元ビデオアプリケーションを三次元ディスプレイ上へレンダリングするための奥行きマップを生成するステップとを含む、ビデオ画像処理方法を提供する。

本発明は、以下の特徴事項の１つ以上を含むことができる。

本発明の一態様では、本発明の方法が、ギャップ充填ステップを含み、前記複数のフレームの複数の動きベクトルは、前のフレームから復号化した前記複数の動きベクトルから外挿されるか；前記前のフレームから復号化した前記複数の動きベクトルから複製されるか；又は、複数の隣接フレームから前記複数の動きベクトルを用いて内挿されるようにする。

本発明の他の態様では、動き復号化ステップが、ビデオ圧縮標準によって圧縮したビデオストリームに含まれる動きベクトルを復号化することを含む。

本発明のさらに他の態様では、ビデオ圧縮標準はＭＰＥＧ(Moving Picture Experts Group)標準とし、符号化したビデオビットストリームのフレームは、“Ｉ”、“Ｐ”又は“Ｂ”タイプのフレームを含むようにする。

ビデオ処理方法の他の特徴事項は、従属する請求項において更に詳述されている。

本発明は、三次元ディスプレイ用のビデオ画像を処理するように構成したビデオ装置にも関し、当該ビデオ装置は、ビデオ画像を有する二次元ビデオアプリケーションの符号化したビデオビットストリームを受信するように構成した受信モジュールと；前記符号化したビデオビットストリームの複数のフレームに関連する動きを復号化して、前記複数のフレームのブロックユニットによって複数の動きベクトルを抽出するように構成したビデオデコーダと；同様なタイプの動きベクトルを有するブロックユニットがそれぞれの領域に一緒にグループ化されるように、同様なタイプの動きベクトルを有するブロックユニットをそれぞれの領域にグループ化することによって、複数の動きベクトルを用いて生成した動きマップを処理するように構成したモジュールであって、前記それぞれの領域における前記ブロックユニットが、それぞれの奥行き情報を含むようにした、動きマップ処理モジュールと；ビデオ画像のブロックユニットに関連する動きベクトルのタイプに基づいて、動きマップのそれぞれの奥行き情報を統合するように構成した奥行き抽出モジュールと；二次元ビデオアプリケーションを三次元ディスプレイ上へレンダリングするための奥行きマップを生成するように構成したモジュールとを備える。

本発明は、以下の特徴事項の１つ以上を含むことができる。

本発明の一態様では、前記ビデオ装置はデジタル携帯電話とする。

本発明の他の態様では、前記ビデオ装置はムービープレーヤとする。

前記装置は更に、前のフレームから復号化した動きベクトルから、動きベクトルを外挿するように構成したギャップ充填モジュールを有する。

更にビデオデコーダは、ビデオ圧縮標準に従って圧縮したビデオストリームに含まれる動きベクトルを復号化する。ビデオ圧縮標準は、ＭＰＥＧ標準とする。

ビデオ処理装置の他の特徴事項は、従属する請求項に更に詳述されている。

本発明はまた、装置のマイクロプロセッサによって実行される一連の命令を有するコンピュータ可読媒体にも関し、当該コンピュータ可読媒体はマイクロプロセッサに、ビデオ画像を有する二次元ビデオアプリケーションの符号化したビデオビットストリームを受信させ；複数のフレームのブロックユニットによって複数の動きベクトルを抽出するための、前記符号化したビデオビットストリームの複数のフレームに関連する動きを復号化させ；動きマップを生成させ；同様なタイプの動きベクトルを有するブロックユニットがそれぞれの領域に一緒にブループ化されるように、同様なタイプの動きベクトルを有するブロックユニットをそれぞれの領域にグループ化することによって、複数の動きベクトルを用いて生成した動きマップを処理させ、前記それぞれの領域における前記ブロックユニットが、それぞれの奥行き情報を含むものとし；ビデオ画像のブロックユニットに関連する動きベクトルのタイプに基づいて、動きマップのそれぞれの領域の奥行き情報を統合することによって、奥行きを抽出させ；二次元ビデオアプリケーションを三次元ディスプレイ上にレンダリングするための奥行きマップを生成させる。

本発明の他の目的及び効果は、以下の図面及び好適例の説明を読み、理解することで、当業者によれば明らかになるであろう。本発明は、当業者に明らかなように、種々の形態とし、また様々なコンポーネント及びステップを含めたり、変更を加えたりすることが可能である。

従って、本発明のこれら及び他の態様は、以下の説明で記載される好適例、図面及び請求項から明らかにされるが、これらの図面は本発明の好適例を例示するだけであって、本発明を制限するものとして解釈されるわけではない。

図１を参照するに、フローチャート100は、二次元のビデオビットストリーム102から奥行きマップ112を計算して生成することに関する、本発明の必須のステップ規定している。二次元ビデオの或る特的領域の奥行きを他の領域と比較して示す奥行きマップ112は、例えば、サブピクセルをレンチキュラーＬＣＤモニタに送る前にビデオのマルチビューレンダリングを計算するために必要な、一組のデータを含む。このマルチビューレンダリングの計算は、ＬＣＤモニタに統合させることができるが、これは必ずしもそのようにする必要はない。

奥行きマップの生成方法100は、二次元コンテンツの動きを復号化するステップ104から開始する。すなわち、二次元ビデオストリーム102のコンテンツは、各フレームを数個のブロックに分け、次いで各ブロックに、フレームとその先行フレームとの間における当該ブロックの動きを規定している動きベクトル（ｘ，ｙ）を関連付けることによって、各フレームを処理することにより、フレーム毎に解析する。動き復号化ステップ104の原理は、周知の「動き推定」技法に同化することができる。ここで、動きベクトルは画像解析に基づいて推定されるのではなく、ビットストリームのビデオファイルから復号化される。これについては後に図２につき詳細に説明する。

次に、ギャップ充填のステップ106を実行する。このステップ106では、動きベクトルをステップ104で行われるようにビデオファイルから復号化することができないビデオフレームに独特のタイプの処理を行う。この場合、これらのタイプのフレームに対する動きベクトルは、前のフレームから復号化したベクトルから外挿するか、前のフレームから復号化したベクトルから複製するか、隣接するフレームから復号化したベクトルを用いて内挿する。言い換えれば、ステップ104の間に生成される動きマップには幾つかの「ギャップ」が生じることになる。

その後、動きマップを処理するステップ108を実行する。このステップでは、ステップ104及び106の間に収集した全ての動きベクトルの編成に基づいてビデオのマップを計算する。同様な動きベクトルを有する一群のブロックは、同じ領域に属する全てのブロックが一様な動きパターンをするように、個別の領域に再編成する。

次に、奥行き抽出のステップ110が続く。ここでは、動きが高い程近い物体である、という事実に基づいて各領域に関連する奥行きを計算する。本来、動きマップの各領域は、動きによって特徴付けられる。フレーム内の動きを解析することによって、各領域の移動速度を決定することができる。従って、動きマップにおける高めの動きを伴う領域にはより近い奥行きが与えられ、一方、動きが低い領域には、近い領域よりもずっと離れた奥行きが与えられる。結果として、奥行きマップ112は、ビデオシーケンスの全ての動き領域に奥行き情報を与えることで作成される。

図２Ａ−２Ｃは、動き復号化の処理を概略的に示している。前述したように、動き推定を行うために、従来技術では、ビデオのコンテンツをフレーム毎に処理して、各ブロックの動き推定を計算するやり方を定めている。この方法は多くの時間を消費し、動き推定をリアルタイムで行うために高い処理能力を有するプロセッサを必要とする。

本発明では、従来設計によって開示されているようにビデオそのものを解析することによって動き推定を行うのではなく、ＭＰＥＧ２、ＭＰＥＧ４等のようなビデオ符号化標準規格に従って圧縮する全ての圧縮ビデオストリームに本来含まれる動きベクトルを復号化することによって動き推定を行う。動きベクトルの抽出は外部のビデオデコーダ（すなわち一般に、ビデオを復号化するプレーヤのビデオ復号器）によって行われ、そのデータ量は少量であるので、三次元レンダリングのための処理オーバーヘッドが抑えられる。

図１に示す動き復号化ステップ104を説明するために、例えば、二次元のビデオストリームを符号化するための圧縮フォーマットとしてＭＰＥＧ１を用いる場合を考える。ＭＰＥＧ１のビデオは、３つの異なるタイプのフレーム、すなわち、Ｉフレームと、Ｐフレームと、Ｂフレームとのシーケンスを含んでいる。図２Ａには、模範的なＭＰＥＧビデオ200のフレームシーケンスを‘ＩＰＢＰＢＢＩＢＢＰＢ’として示してある。202のようなＩフレームは、他のフレームを参照することなく再構築することができるので、イントラ符号化フレームと称され、画像コンテンツは、このフレームで完全に符号化され、それはＩフレームにコード化された情報のみに基づいて再構築することが可能である。他方では、204のようなＰフレームは、最後のＩフレーム又はＰフレームから順方向予測される。従って、Ｐフレームは他のフレーム（Ｉ，Ｐ又はＢフレーム）のデータを得ることなく、これらのＰフレームを再構築することは不可能である。205のようなＢフレームは、Ｉフレーム及びＰフレームの両方の特性を有する。すなわちＢフレームは、それらを再構築するのに必要となる２つの他のフレームがあることからして、最後と／次のＩフレーム又はＰフレームから順方向予測され、且つ後方予測される。従って、Ｐフレーム及びＢフレームは、インター符号化フレームと称される。

図２Ｂは、ＭＰＥＧ１のビデオ200からのＩフレーム（以下、206と称する）を示す。このフレームは、幾つかのブロックに分割される。特に、ブロック210ａ，210ｂ及び210ｃを示してある。同様に、図２Ｃは、Ｉフレーム206から順方向予測したＰフレーム（以下、208と称する）を示す。このＰフレーム208は、動きベクトルを格納することによって規定される。例えばＰフレーム208では、ブロック210a’は、そのフレームのコンテンツによって規定されるのではなく、Ｉフレーム206にて完全に規定されたブロック210ａ（図２Ｂ）からの動きベクトル212ａ(+1,0)として規定される。同様に、Ｐフレーム208におけるブロック210c’に対する説明は、動き又は動きベクトル212ｃ(+3,0)に要約される。

従って、動き復号化ステップ104は、圧縮ビデオファイルに含まれる動きベクトル（212ａ，212ｂ，212ｃ）を復号化することにより、動き推定を行うことができる。このステップは、ＣＰＵ処理が少なくて済み、また、ビデオストリームソース自体から情報を収集し、複雑な画像処理ステップに基づいて計算する必要がないから、精度も向上する。さらに、本発明の方法は、今日用いられている圧縮ビデオストリームの殆どの場面に適用される、動きベクトルをサポートする任意のビデオストリーム符号化アルゴリズムに拡張して、実施することができる。

本発明の方法は、システムの観点からも拡張することができる。ＭＰＥＧ標準は、動きベクトルとして符号化した奥行き情報を含むように転用することができる。これは画像圧縮効率を減少させるが、標準規格を順守し、且つ古典的なデコーダとの互換性を保ちつつ、二次元／三次元（２Ｄ-３Ｄ）用の真のサブ解像度（ブロックサイズ）の奥行き情報をビデオデコーダに気付かせるように埋め込むことができる。後処理のプロセスについては図４で更に説明する。動きマップを「真」の奥行きマップとして考慮すべきか、又は、図４で説明するような後処理をすべきかどうかを特定するために、例えば、ビデオコーデック及びピクセルフォーマットを識別するのに一般的に用いられている、ＦＯＵＲＣＣ（Four Character Code）を使うことができる。ＦＯＵＲＣＣでは、４つの文字は、ビデオファイルに包含されるビデオストリームをどのコーデックが符号化している（例えば、ＤＩＶ５、ＨＦＹＵ、ＸＶＩＤ等）を識別する。本発明では、ＦＯＵＲＣＣコードによって、動きマップを「真」の奥行きマップとして考慮すべきか、又は、それを後処理すべきかどうかを指示することができる。

図３Ａ−３Ｃには、動きマップと奥行きマップの生成とを示してある。前述したように、動きマップは、個別の規定領域に再編成される同様な動きベクトルを有するブロックの族を規定する。同じ領域に属する全てのブロックは、一様な動きを有する。図３Ａでは、例えば、ブロック222ａ，222ｂ…222ｎは一様な動きベクトルを有し、これらはビデオフレーム208の領域220に統合される。同様に、規定領域224、226及び228は、一様な動きベクトルを有するブロックを含んでいる。図３Ｂには、動きマップ230を示してあり、このマップの各領域は動きベクトルに関連し、すなわち、領域226は動きベクトル212ｃに関連する。

図３Ｃは、図１の方法100の奥行き抽出ステップ110を実行することで計算し、且つ生成することができる奥行きマップ112を示す。これは例えば、高度の動きを有する物体は近くにあるに違いなく、従って奥行きが浅い、という仮定に基づいて、動きベクトル212ｃを、次の関係式、すなわちD = 1/M（ここでＤは奥行きを表し、Ｍは動きを表す）によって与えられるように、奥行き値214ｃに変換することを伴う。従って、図３Ｃに示すように、奥行きマップ112は、動きマップ230から直接変換することができ、レンチキュラーＬＣＤによって処理することができ、観察者／ユーザーは、三次元の知覚でレンダリングすることができる動きマップ230の種々の領域を、識別することができる。

図４には、図１の方法100から派生した改良方法101を示してある。この方法101には、２つのステップ、すなわち画像安定化のステップ115及び奥行きフィルタリングのステップ117を組み込んでいる。

動き復号化ステップから動きベクトル109をひとたび生成すると、画像安定化のステップ115は、二次元のビデオストリームを全面的に並進兼回転移動させる。画像安定化アルゴリズムは、一般的に、ビデオを撮っている（例えばハンドシェイキング）間における、寄生の動きへの影響を減らすのに用いられている。画像安定化のステップ115を組み入れる影響については、図５で更に説明する。

図４の方法101においては、後処理をした後に、デブロッキングフィルタを用いることによって奥行きマップ112を生成する。圧縮したＭＰＥＧデータからの再構築画像は、ブロッキング効果、リンギング効果、コーナーアウトライアーのように、知覚可能な画像劣化を有する。デブロッキングアルゴリズムは、画像コンテンツの鮮明さを劣化させることなく、ブロッキングのアーチファクトを取り除く。図１の方法100と比較すると、図４の方法101では、奥行き抽出ステップ110は、デブロッキングフィルタを用いてフィルタリングする（ステップ117）ことができる粗い奥行きマップ113を生成する。図１の方法100では、後処理は行わず、奥行き抽出ステップ110の結果が直接、最終的な奥行きマップ112となった。

図５Ａ−５Ｃを参照して、動きベクトルでの画像安定化ステップ115の結果を説明する。これは、図５Ａに位置を示している、フレーム240のブロックＡとブロックＢに焦点を当てて明らかにすることができる。

図５Ｂに示す継続のＰフレーム242における動きベクトル(+1,+1)は、ブロックＡによるものであり、動きベクトル246(+3,+1)はブロックＢによるものである。しかし、ブロックＡに関連する動きがあるように見えるにもかかわらず、ブロックＡは動いていなくて、ブロックＡの動きはハンドシェイキングのようなビデオを撮るカメラの動きによって生じる。この場合に、画像安定化アルゴリズムは(-1,-1)の並進と、０度の回転の補正を適用して、実際の動きベクトルを得るべく指示することになる。

従って、図５Ｃには、安定化アルゴリズムによって与えられる情報を用いて補正した、Ｂフレーム244のブロックＡ及びブロックＢの位置を示してある。実際、ブロックＡの動きベクトルは(0,0)に補正されるが、これは、ブロックＡは動かなかったから正しいものである。ブロックＢの補正動きベクトル248は(+2,0)として設定される。

このように、図５Ａ−５Ｃの例は、奥行きマップ112の正しい決定及び生成のための画像安定化補正の重要性を明示している。このような補正がないと、ブロックＡ及びＢは、動きマップの不正確な領域に割り当てられることになり、従って、奥行きマップに間違った値を与えてしまうことになる。結果的にこれは、三次元のＬＣＤディスプレイに不正確なレンダリングをすることになっている。

本発明の好適な実施例と見なされることについて詳述したが、本発明は、当業者によって、本発明の範囲から逸脱することなく、種々の修正及び変更をすることが可能であることは明らかである。

特に、前述の説明の大部分は携帯ビデオ記録機器に関するものであったが、上述した三次元のレンダリング方法は、コンピュータスクリーン、携帯電話機器、任意タイプのムービープレーヤ、三次元ＬＣＤディスプレイに内蔵される任意タイプのプラットフォーム、及び、ＰＣのようなオフィスプラットフォーム等に実装されるような、任意タイプのビデオアプリケーションにも適用することができる。

加えて、本願明細書にて記載した中心的な発明概念から逸脱することなく、特別な状況を本発明の教示に適用するために、多くの高度なビデオ処理の態様変更をすることができる。更に、本発明の実施例は、上述した全ての特徴事項を含むことができるわけではない。従って、本発明は、開示した特定の例に制限されるものではなく、特許請求の範囲及びこれらと均等の範囲内にある全ての実施例を含む。

本発明の一つの好適例による、奥行きマップを生成する改良方法を示すフローチャートである。 図２Ａ〜図２Ｃは、本発明の一つの好適例による、動き復号化のプロセスを示す概略図である。 図３Ａ〜図３Ｃ本発明の一つの好適例による、動きマップ及び奥行きマップを示す図である。 本発明の他の好適例による、奥行きマップを生成するための改良方法の、他の実施例のフローチャートである。 図５Ａ〜図５Ｃは、図４に記載の画像安定化ステップの間に補正される模範的なフレームを示す図である。

Claims (21)

1. ビデオ画像を処理する方法であって、
   ‐ビデオ画像を有する二次元ビデオアプリケーションの符号化したビデオビットストリームを受信するステップと；
   ‐前記符号化したビデオビットストリームの複数のフレームに関連する動きを復号化して、前記複数のフレームのブロックユニットによって複数の動きベクトルを抽出する動き復号化ステップと；
   ‐動きマップを生成するステップと；
   ‐同様なタイプの動きベクトルを有するブロックユニットがそれぞれの領域に一緒にグループ化されるように、同様なタイプの動きベクトルを有するブロックユニットをそれぞれの領域にグループ化することによって、複数の動きベクトルを用いて生成した動きマップを処理するステップであって、前記それぞれの領域における前記ブロックユニットが、それぞれの奥行き情報を含むようにする、動きマップ処理ステップと；
   ‐ビデオ画像のブロックユニットに関連する動きベクトルのタイプに基づいて、動きマップのそれぞれの領域の奥行き情報を統合することによって、奥行きを抽出する奥行き抽出ステップと；
   ‐二次元ビデオアプリケーションを三次元ディスプレイ上へレンダリングするための奥行きマップを生成するステップと、
   を含むことを特徴とする、ビデオ画像処理方法。
2. 更にギャップ充填ステップを含み、前記複数のフレームの複数の動きベクトルは、
   ‐前のフレームから復号化した前記複数の動きベクトルから外挿されるか；
   ‐前記前のフレームから復号化した前記複数の動きベクトルから複製されるか；又は、
   ‐複数の隣接フレームから前記複数の動きベクトルを用いて内挿される、
   請求項１に記載の方法。
3. 前記動き復号化ステップが、ビデオ圧縮標準によって圧縮したビデオストリームに含まれる前記複数の動きベクトルを復号化するステップを含む、請求項１又は２に記載の方法。
4. 前記ビデオ圧縮標準がＭＰＥＧ標準を含む、請求項３に記載の方法。
5. 前記符号化したビデオビットストリームの前記複数のフレームが、“Ｉ”、“Ｐ”又は“Ｂ”タイプのフレームを含む、前記いずれか一つの請求項に記載の方法。
6. 前記奥行き抽出ステップが、前記複数の動きベクトルからの情報を関係式Ｄ＝１／Ｍに従って奥行き値に変換するステップを含み、Ｄは前記奥行き値を表わし、Ｍは複数のフレームに関連する前記動きを表わす、前記いずれか一つの請求項に記載の方法。
7. 更に、ビデオアプリケーションの寄生の動きから生じる、前記複数の動きベクトルの並進及び回転移動を補正する安定化ステップを含む、前記いずれか一つの請求項に記載の方法。
8. 更に、前記符号化したビデオビットストリームからのビデオ画像における知覚可能な画像劣化効果に対抗するために、デブロッキングフィルタを用いてフィルタリングするのに適合する粗い奥行きマップを生成する奥行きフィルタリングステップを含む、前記いずれか一つの請求項に記載の方法。
9. 前記三次元ディスプレイ用の奥行きマップを生成するステップが、レンチキュラー液晶ディスプレイ上に奥行きマップを表示することを含む、前記いずれか一つの請求項に記載の方法。
10. 三次元ディスプレイ用のビデオ画像を処理するように構成したビデオ装置であって、当該装置が、
    ‐ビデオ画像を有する二次元ビデオアプリケーションの符号化したビデオビットストリームを受信するように構成した受信モジュールと；
    ‐前記符号化したビデオビットストリームの複数のフレームに関連する動きを復号化して、前記複数のフレームのブロックユニットによって複数の動きベクトルを抽出するように構成したビデオデコーダと；
    ‐同様なタイプの動きベクトルを有するブロックユニットがそれぞれの領域に一緒にグループ化されるように、同様なタイプの動きベクトルを有するブロックユニットをそれぞれの領域にグループ化することによって、複数の動きベクトルを用いて生成した動きマップを処理するように構成したモジュールであって、前記それぞれの領域における前記ブロックユニットが、それぞれの奥行き情報を含むようにした、動きマップ処理モジュールと；
    ‐ビデオ画像のブロックユニットに関連する動きベクトルのタイプに基づいて、動きマップのそれぞれの奥行き情報を統合するように構成した奥行き抽出モジュールと；
    ‐二次元ビデオアプリケーションを三次元ディスプレイ上へレンダリングするための奥行きマップを生成するように構成したモジュールと、
    を備えていることを特徴とする、ビデオ装置。
11. 前記装置はデジタル携帯電話とする、請求項１０に記載のビデオ装置。
12. 前記装置はムービープレーヤとする、請求項１０に記載のビデオ装置。
13. 前期装置が更に、前のフレームから復号化した前記複数の動きベクトルから、前記複数の動きベクトルを外挿するように構成したギャップ充填モジュールを備える、請求項１０又は１２に記載のビデオ装置。
14. 前記ビデオデコーダは、ビデオ圧縮標準に従って圧縮したビデオストリームに含まれる前記複数の動きベクトルを復号化する、請求項１０〜１３のいずれか一つに記載のビデオ装置。
15. 前記ビデオ圧縮標準はＭＰＥＧ標準とする、請求項１４に記載のビデオ装置。
16. 前記コード化したビデオビットストリームの前記複数のフレームが、“Ｉ”、“Ｐ”又は“Ｂ”タイプのフレームを含む、請求項１０〜１５のいずれか一つに記載のビデオ装置。
17. 前記奥行き抽出モジュールが、前記複数の動きベクトルからの情報を関係式Ｄ＝１／Ｍに従って奥行き値に変換するように構成され、Ｄは前記奥行き値を表わし、Ｍは複数のフレームに関連する前記動きを表わす、請求項１０〜１６のいずれか一つに記載のビデオ装置。
18. 前記装置は更に、ビデオアプリケーションの寄生の動きから生じる、前記複数の動きベクトルの並進及び回転移動を補正するように構成した安定化モジュールを備える、請求項１０〜１７のいずれか一つに記載のビデオ装置。
19. 前記装置は更に、前記符号化したビデオビットストリームからのビデオ画像における知覚可能な画像劣化効果に対抗するために、デブロッキングフィルタを用いてフィルタリングするのに適合する粗い奥行きマップを生成するように構成した奥行きフィルタリングモジュールを備える、請求項１０〜１８のいずれか一つに記載のビデオ装置。
20. 前記三次元ディスプレイはレンチキュラー液晶ディスプレイとする、請求項１０〜１９のいずれか一つに記載のビデオ装置。
21. 格納された一連の命令を有するコンピュータ可読媒体であって、装置のマイクロプロセッサによって命令を実行する際に、当該プロセッサに；
    ‐ビデオ画像を有する二次元ビデオアプリケーションの符号化したビデオビットストリームを受信させ；
    ‐前記複数のフレームのブロックユニットによって複数の動きベクトルを抽出するための、前記符号化したビデオビットストリームの複数のフレームに関連する動きを復号化させ；
    ‐動きマップを生成させ；
    ‐同様なタイプの動きベクトルを有するブロックユニットがそれぞれの領域に一緒にブループ化されるように、同様なタイプの動きベクトルを有するブロックユニットをそれぞれの領域にグループ化することによって、複数の動きベクトルを用いて生成した動きマップを処理させ、前記それぞれの領域における前記ブロックユニットが、それぞれの奥行き情報を含むものとし；
    ‐ビデオ画像のブロックユニットに関連する動きベクトルのタイプに基づいて、動きマップのそれぞれの領域の奥行き情報を統合することによって、奥行きを抽出させ；
    ‐二次元ビデオアプリケーションを三次元ディスプレイ上にレンダリングするための奥行きマップを生成させる、
    ようにしたコンピュータ可読媒体。

Images