JP2015503253A - 深度マップの処理 - Google Patents

Abstract

三次元３Ｄ映像信号内の深度マップが処理される。３Ｄ映像信号から第１の深度マップＺ１が得られる。第２の深度マップＺ２が多次元フィルタ２２によって生成され、多次元フィルタ２２は、第２の深度マップにスピリングアーティファクトを有させる一方、第１の深度マップは、対応する位置においてより少ないアーティファクトを有し又はかかるアーティファクトを有さない。第１の深度マップと第２の深度マップとの間で深度差が求められ、正の深度差は第２の深度マップ内の深度が観察者にとってより近いことを示す。第１の深度マップの値と第２の深度マップの値とを深度差に応じて結合関数によって結合することにより、最終的な第３の深度マップが生成される。結合関数は深度差が正の場合は第１の値を優先する。

Description

本発明は、三次元［３Ｄ］映像信号を処理する方法に関し、この方法は、第１の深度値を含む第１の深度マップ及び第１の深度マップに対応する画像値を含む２Ｄ画像を３Ｄ映像信号から得るステップと、第２の深度値を有する第２の深度マップを多次元フィルタにより３Ｄ映像信号及び／又は第１の深度マップから生成するステップとを含む。

本発明は、３Ｄ映像装置及びコンピュータプログラムに更に関する。

本発明は、３Ｄ表示装置上での描画を改善するために３Ｄ映像データを処理する分野に関する。特に入手可能な又は生成される深度マップが不正確な場合があり、多次元フィルタによるフィルタリング、例えば平滑化によって改善され得る。画像は通常２つの空間次元内でフィルタリングされる一方で、映像データ内の時間が第３の次元として使用されても良い。異なる領域の画像データ（深度マップをフィルタリングするときの画像輝度値など）を更に使用するバイラテラルフィルタやクロスバイラテラルフィルタは、そのような多次元フィルタの典型的な例である。深度マップは、かかるフィルタリングによる深度アーティファクトを有することがある。本発明は、その深度アーティファクトを減らすための改善策を含む。

文献「Discontinuity-adaptive Depth Map Filtering for 3D View Generation, by Sang-Beom Lee and Yo-Sung Ho, Gwangju Institute of Science and Technology, Korea (GIST), Immerscom 2009, May 27-29, 2009, Berkley, USA; ICST ISBN # 978-963-9799-39-4」は深度画像に基づく描画技法を記載し、この技法は、カラー画像及び対応する深度マップを有する仮想ビューの描画プロセスの１つである。深度画像に基づく描画技法の問題は、仮想ビューが、新たに露出される領域、所謂非オクルージョン箇所において情報を有さないことである。一般的な解決策は、３Ｄワーピングの前にガウス平滑化フィルタを用いて深度マップを平滑化することである。しかし、フィルタされる深度マップは幾何歪みを引き起こし、深度の質が著しく低下される。深度の質を維持しながら非オクルージョン箇所を解決するために、深度マップフィルタリングアルゴリズムが使用される。仮想ビューの見栄えを保つために、変形が更に減らされた状態で深度マップが平滑化される。仮想ビューの位置に応じて対象境界を抽出した後、対象境界の距離及び深度の不連続の量に応じて不連続適合平滑化フィルタが適用される。

上記の方法は、深度マップをフィルタリングする一例であり、その深度マップは３Ｄ描画システム内で様々なビューを生成するために使用される。既知の方法の問題は、深度マップが深度アーティファクトを有し得ることである。

本発明の目的は、深度アーティファクトを減らすために深度マップの処理を行うことである。

このために、本発明の第１の態様によれば、導入部に記載の方法は、第１の深度マップは対応する位置においてスピリング（spilling、こぼれ）アーティファクトをより少なく有する又は有さない一方で、第２の深度マップにかかるアーティファクトを有させる多次元フィルタについて、
−第１の深度マップと第２の深度マップとの間の深度差を求めるステップであって、深度差の正の値は第２の深度マップ内の深度が観察者にとってより近いことを示す、深度差を求めるステップと、
−第１の深度値と第２の深度値とを深度差に応じて結合関数によって結合することにより第３の深度マップを生成するステップであって、結合関数は深度差が正の場合は第１の深度値を優先する、第３の深度マップを生成するステップと
を含む。

このために、本発明の更なる態様によれば、３Ｄディスプレイ上に表示するために３Ｄ映像信号を処理するための３Ｄ映像装置が、３Ｄ映像信号を受け取り、第１の深度マップ及び第１の深度マップに対応する２Ｄ画像をその３Ｄ映像信号から得るための入力手段であって、第１の深度マップは第１の深度値を含み、２Ｄ画像は画像値を含む、入力手段と、第２の深度値を有する第２の深度マップを多次元フィルタにより３Ｄ映像信号及び／又は第１の深度マップから生成すること、第１の深度マップと第２の深度マップとの間の深度差を求めることであって、深度差の正の値は第２の深度マップ内の深度が観察者にとってより近いことを示す、深度差を求めること、及び第１の深度値と第２の深度値とを深度差に応じて結合関数によって結合することにより第３の深度マップを生成することであって、結合関数は深度差が正の場合は第１の深度値を優先する、第３の深度マップを生成することを行うように構成される映像プロセッサとを含む。

これらの対策は、深度アーティファクトを減らす効果を有し、とりわけ画像背景内への前景深度値からのスピリングを減らすことができる。更に、背景深度値から前景物への幾らかのスピリングを認めることにより、深度ジャンプが幾らか低減される。実際にこのことは、新たな視点の画像を描画するために、かかる（より小さい深度ジャンプ／遷移を有する）深度マップが使用される場合、新たな視点内で前景物をシフトすることに起因する非オクルージョンテクスチャを有する領域がより小さくなることを含意する。

多次元フィルタ及び第１の深度マップのソースに基づき、それぞれの深度マップ内の深度ジャンプ／遷移の空間的位置がほぼ対応するという点で、第１の深度マップと第２の深度マップとが相関される。更に、第２の深度マップは、フィルタリングの結果としてより安定しているが、一部の空間的位置においてスピリングアーティファクトを有するのに対し、第１の深度マップはかかるアーティファクトをより少なく有し又は有さない。特に、多次元フィルタは第２の深度マップにスピリングアーティファクトを有させるのに対し、第１の深度マップは対応する位置においてかかるアーティファクトをより少なく有し又は有さない。例えば、元の３Ｄ映像信号又は第１の深度マップ内の大きい深度差、所謂深度ジャンプは、その付近で第２の深度マップの値に影響し得る。更に、多次元フィルタの入力値内の他の不連続、又は複雑なフィルタ戦略、例えばガイド付きフィルタ（guided filter）による他の不所望の効果もかように出力値に影響し得る。スピリングアーティファクトの一例は、多次元フィルタが背景内の値を、深度ジャンプ、輝度ジャンプ、又はカラージャンプ付近に前方へ動かすことであり得る。これが生じる場合、第１の深度マップとの深度差は正になり、実質的に第１の深度値に基づき前述の結合関数によって出力又は第３の深度マップが生成される。

深度の実際の表現は、特定のシステムによって使用される深度値範囲内の値、例えば高い値が観察者にとって近く、ゼロが無限大である０〜２５５内の値や、負のデジタル値が表示画面の前の深度を表す−５１２から＋５１１までの値であり得ることに留意すべきである。更に、深度に基づく値及び／又はフィルタリングについて言及される場合、その用語は視差に基づく表現も包含すると解釈されるべきである。実際、視差マップ及び視差値は典型的には１／Ｚに基づき、Ｚは深度である。本明細書では、「正の深度差」における正の定義は、第２の深度マップ内の要素、例えば前述のスピリングによって汚染されたフィルタ済み深度マップ内の画素が、第１の深度マップ内の対応する要素よりも観察者にとって近いことを示す。その場合、結合関数内で実施される第１の値の優先により、第３の深度マップは第１の深度マップ、例えばフィルタリング前の元の深度マップに実質的に基づく値を有する。有利には、前述のフィルタリングにより深度ジャンプが無い領域内では深度の乱れがより見えにくいのに対し、深度アーティファクトを減らすことにより、深度ジャンプの近くでは背景の歪みがより少ない。

本発明は以下の認識にも基づく。従来技術の文献は、深度マップのための平滑化フィルタについて記載する。平滑化フィルタは通常、入力値内の深度ジャンプ又は他の不連続に起因する歪み効果、所謂スピリングを有する。スピリングは、殆どの現実の対象物（例えば顔）に当てはまるように、対象物が後方に丸められるエッジを有することをもたらすので、前景物の境界においては有利であり得る。しかし本発明者らは、スピリングが背景では特に望ましくないことを見出した。例えば、或る対象物（例えば顔）の前景深度値が背景内にスピリングすることは、とりわけカメラ又は前景物が動いている場合、対象物の隣の背景内で目に見える非線形伸縮効果を引き起こす。提案される結合関数により、相変わらず前景内への背景のスピリングを可能にしながら、背景内への前景のスピリングが回避される。

任意選択的に、この結合関数は、深度差が正の場合は第１の深度値を深度差が負の場合は第２の深度値を出力することを含む。有利には、関数の限られた複雑性が、知覚される深度の不正確さの大幅な改善を実現できるようにする。

任意選択的に、この結合関数は、深度差が正の場合は第１の深度値の大部分と第２の深度値の小部分との混合を、深度差が負の場合は第２の深度値を出力することを含む。この効果は、深度差が正である深度ジャンプの近くでは、深度出力値が５０％超第１の深度値に基づくこと、即ち元の第１の深度値に基づくことである。このようにして、深度ジャンプの近くの背景において低減される平滑化効果が実現される。この低減は、大部分と小部分との比率によって決まる。任意選択的に、小部分は２５％以下である。任意選択的に、この比率は、推定される深度ジャンプのサイズ及び／又は深度ジャンプまでの距離に依存させても良く、大きい深度ジャンプ及び／又は小さい距離は低い小部分、例えば１０％になる場合があり、深度ジャンプが小さく又は距離が大きい場合、小部分はより高く、例えば５０％である。

任意選択的に、この結合関数は、深度差の絶対値が所定の閾値未満の場合は第２の深度値を出力することを含む。これには、小さい深度差が生じる場合、フィルタ済み深度マップしか使用されない効果がある。差が閾値を上回る場合、この関数は結合関数の上記のオプションと組み合わせられても良い。

任意選択的に、フィルタリングは、バイラテラルフィルタ、クロスバイラテラルフィルタ、バイラテラルグリッドフィルタ、又はクロスバイラテラルグリッドフィルタを含む。バイラテラルフィルタリングによりエッジが保たれる。クロスバイラテラルフィルタは深度値だけでなく、ルーマ及び／又は色などの画像値も使用する。グリッドフィルタは、計算の労力を減らすために、近くにある全ての個々の画素値の代わりに、平均値のグリッドを使用する。指定されたバイラテラルフィルタはエッジを保存しながら深度値を平滑化する効果を有する一方で、所定量のスピリングが生じる。従って、それらのバイラテラルフィルタは、上記の第３の深度マップを生成するステップに、前述のスピリングを局所的に減らす適切な前処理を行う。スピリングを引き起こし得る多次元フィルタの他の例は、ガイド付きフィルタである。

任意選択的に、本方法は、少なくとも１つの更なるカスケード処理ステップを含み、カスケード処理ステップは、差分深度マップを生成するために第１の深度マップから第３の深度マップを減算するステップと、安定化された差分深度マップを生成するために差分深度マップを安定させるステップと、安定化された差分深度マップと第３の深度マップとを足すことにより第４の深度マップを生成するステップとを含む。カスケーディングの効果は、残りのアーティファクトが更に低減されることである。とりわけ深度値及び画像値に基づきクロスバイラテラルフィルタを使用する場合、画像値内の対象物のスピリング効果が更に低減され得る。

本発明による方法、３Ｄ装置、及び信号の更なる好ましい実施形態が添付の特許請求の範囲の中で与えられ、その開示は参照により本明細書に援用される。

本発明のこれらの及び他の態様が、以下の説明の中で例として記載される実施形態を参照し、添付図面を参照することで明らかになり更に説明される。

３Ｄ画像データを表示するためのシステム内で３Ｄ映像データを処理するための装置を示す。 ３Ｄ映像データを処理するための３Ｄ映像プロセッサを示す。 深度値の処理を示す。 カスケード式の強化された深度の安定化を示す。 並列フィルタを有する３Ｄ映像プロセッサを示す。 深度マップ生成及び並列フィルタを有する３Ｄ映像プロセッサを示す。

図中、既に記載されている要素に対応する要素は同じ参照番号を有する。

本発明は任意の種類の３Ｄ映像データに使用され得ることを指摘しておく。このシステムは、３Ｄ映像データ内で提供される深度マップを処理する。深度マップは、システムの入力において初めから存在しても、又は以下に記載されるように、例えばステレオ（Ｌ＋Ｒ）映像信号内の左／右フレームから、若しくは２Ｄ映像から生成されても良い。３Ｄ映像データは、デジタルコード化された電子データとして入手可能であると仮定される。本発明はかかる画像データに関し、デジタル領域内の画像データを操作する。

３Ｄ映像フォーマットと呼ばれる、３Ｄ映像データがフォーマットされ、転送され得る多くの異なる方法がある。一部のフォーマットは、同様にステレオ情報を運ぶために２Ｄチャネルを使用することに基づく。例えば、左及び右のビューがインタレースされても良く、又は並べて及び上下に配置されても良い。或いは、２Ｄ画像及び深度マップが転送されても良く、ことによるとオクルージョンや透明性データなどの更なる３Ｄデータが転送されてもよい。インターネットやブルーレイディスク（ＢＤ）など、映像データを提供し又は転送する如何なる方法も３Ｄ映像データを提供し得る。

図１は、三次元（３Ｄ）画像データを表示するためのシステム内で３Ｄ映像データを処理するための装置を示す。３Ｄソースと呼ばれる第１の３Ｄ映像装置４０が、３Ｄプレーヤと呼ばれる更なる３Ｄ映像装置５０に３Ｄ映像信号４１を与え転送し、３Ｄ映像装置５０は３Ｄ表示信号５６を転送するために３Ｄ表示装置６０に結合される。

図１は、３Ｄ映像信号の担体として記録担体５４を更に示す。この記録担体はディスクの形をしており、トラック及び中心孔を有する。物理的に検出可能なマークのパターンによって構成されるトラックは、１つ又は複数の情報層の上でほぼ平行なトラックを構成するらせん状の又は同心性の回転パターンによって構成される。この記録担体は、光学ディスク、例えばＣＤ、ＤＶＤ、又はＢＤ（ブルーレイディスク）と呼ばれ、光学的に読取り可能であり得る。トラックに沿った光学的に検出可能なマーク、例えばピット及びランドにより、情報層の上に情報が具体化される。トラックの構造は、情報ブロックと通常呼ばれる情報単位の位置を指示するための位置情報、例えばヘッダ及びアドレスも含む。記録担体５４は、例えばＤＶＤやＢＤフォーマットなどの既定の記録フォーマット内にＭＰＥＧ２又はＭＰＥＧ４コード化システムに従ってコード化される、映像などのデジタルコード化された３Ｄ画像データを表す情報を運ぶ。

３Ｄソースは、入力ユニット４７を介して受け取られる３Ｄ映像データを処理するための処理装置４２を有する。入力される３Ｄ映像データ４３は、記憶システム、レコーディングスタジオ、３Ｄカメラ等から入手可能であり得る。映像プロセッサ４２は、３Ｄ映像データを含む３Ｄ映像信号４１を生成する。このソースは、３Ｄ映像信号を映像プロセッサから出力ユニット４６を介して更なる３Ｄ映像装置に転送するように、又は例えば記録担体により配布するための３Ｄ映像信号を提供するように構成され得る。３Ｄ映像信号は、例えば３Ｄ映像データ４３を符号器４８によって既定のフォーマットに従ってコード化しフォーマットすることにより、入力される３Ｄ映像データを処理することに基づく。

３Ｄソースは、サーバ、放送装置、記録装置、又はブルーレイディスクなどの光学記録担体を製造するためのオーサリング及び／若しくはプロダクションシステムとすることができる。ブルーレイディスクは、コンテンツクリエータに映像を配布するための対話型プラットフォームを提供する。ブルーレイディスクフォーマットに関する情報は、オーディオビジュアルアプリケーションフォーマットについての文書内で、ブルーレイディスクアソシエーションのウェブサイト、例えばhttp://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdfから入手可能である。光学記録担体の製造工程は、トラック内に物理的なマークのパターンを与えるステップを更に含み、そのパターンは、３Ｄノイズメタデータを含み得る３Ｄ映像信号を具体化し、続いて記録担体の材料をパターンに従って形作り、少なくとも１つの記憶層の上にマークのトラックを与える。

３Ｄプレーヤ装置は、３Ｄ映像信号４１を受け取るための入力ユニット５１を有する。例えばこの装置は、ＤＶＤやブルーレイディスクなどの光学記録担体５４から３Ｄ映像情報を取得するために入力ユニットに結合される光学ディスクユニット５８を含み得る。或いは（又は加えて）、３Ｄプレーヤ装置は、ネットワーク４５、例えばインターネットやブロードキャストネットワークに結合するためのネットワークインターフェイスユニット５９を含んでも良く、かかる装置は通常セットトップボックスと呼ばれる。３Ｄ映像信号は、３Ｄソース４０によって示されているようなリモートのウェブサイト又はメディアサーバから取得され得る。３Ｄプレーヤは、衛星放送受信機又はメディアプレーヤとすることもできる。

３Ｄプレーヤ装置は、出力インターフェイスユニット５５を介して表示装置に転送される３Ｄ表示信号５６、例えばHDMI(登録商標)規格による表示信号（「High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010」参照、その３Ｄの箇所はhttp://hdmi.org/manufacturer/specification.aspxで公開ダウンロード用に入手可能である）を生成するために３Ｄ情報を処理するための、入力ユニット５１に結合される処理装置５２を有する。処理装置５２は、表示装置６０上で表示するための３Ｄ表示信号５６に含まれる画像データを生成するように構成される。

３Ｄ表示装置６０は、３Ｄ画像データを表示するためのものである。この装置は、３Ｄプレーヤ５０から転送される３Ｄ映像データを含む３Ｄ表示信号５６を受け取るための入力インターフェイスユニット６１を有する。転送される３Ｄ映像データは、３Ｄディスプレイ６３、例えばデュアルＬＣＤやレンチキュラＬＣＤ上に表示するために処理装置６２内で処理される。表示装置６０は、３Ｄディスプレイとも呼ばれる如何なる種類の立体ディスプレイでも良い。

３Ｄ映像装置内の映像プロセッサ、即ち３Ｄ映像装置５０内のプロセッサユニット５２は、３Ｄ映像信号を処理するために以下の機能を実行するように構成される。３Ｄ映像信号は入力手段５１、５８、５９によって受け取られ、入力手段は、少なくとも第１の深度マップ（Ｚ１）及び深度マップに対応する２Ｄ画像を含む３Ｄ映像データを表す３Ｄ映像信号を提供する。例えば第１の深度マップは、視差推定によりステレオ（Ｌ＋Ｒ）入力信号から生成されても良い。第１の深度マップは、第１の深度値及び画素の二次元配列内の画像値を含む２Ｄ画像を有する。深度マップは画素の二次元配列も有し、２Ｄ画像に対応するが、深度マップは異なる分解能を有し得ることを指摘しておく。

３Ｄ表示装置６０内の映像プロセッサ６２は、深度マップを改善するために３Ｄ映像データを処理するように構成される。深度マップの処理は、第２の深度値を有する第２の深度マップを生成するために第１の深度マップを多次元フィルタによってフィルタリングすること、第１の深度マップと第２の深度マップとの間の深度差を求めることであって、深度差の正の値は第２の深度マップ内の深度が観察者にとってより近いことを示す、深度差を求めること、及び第１の深度値と第２の深度値とを深度差に応じて結合関数によって結合することにより第３の深度マップを生成することであって、結合関数は深度差が正の場合は第１の値を優先する、第３の深度マップを生成することを含む。多次元フィルタは、２つの空間次元を使用する二次元フィルタとすることができる。更なる次元は時間であり得る。深度マップの処理についての詳細な実施形態が以下で更に明らかにされる。

或いは、３Ｄプレーヤ装置５０内の映像プロセッサ５２又は３Ｄソース装置内の処理装置４２が、前述の深度マップの処理を行うように構成されても良い。

深度マップの処理は、２Ｄ映像信号から深度マップを生成することが更に先立って行われても良い。前述の３Ｄ映像信号の提供は、一連の２Ｄ映像フレームを含む２Ｄ映像信号を受け取ること、及び一連の２Ｄ映像フレームを処理することに基づき第１の深度マップを生成することを含む。そのように生成される深度マップの質はしばしば限られており、本明細書に記載されるように深度マップをフィルタリングし向上させることは、前述の質を大幅に改善し得ることを指摘しておく。深度マップを生成する関数は、３Ｄプレーヤの入力ユニット５１内で、３Ｄ表示装置６０内の映像プロセッサ６２内で、又は３Ｄソース装置内の処理装置４２内で実施されても良い。

深度マップを時間的及び空間的に安定させるために、深度マップに適用されるフィルタリングはバイラテラルグリッド処理であり得る。深度マップに対する好ましい効果の他に、図２及び図３に関して明らかにされるように不所望の副次的効果もある。

図２は、３Ｄ映像データを処理するための３Ｄ映像プロセッサを示す。生成器ユニットＧＥＮ２１は動作中、左右映像信号とも呼ばれるステレオ３Ｄ信号を受け取り、このステレオ３Ｄ信号は、３Ｄ効果を発生させるために視聴者のそれぞれの目に向けて表示される左ビュー及び右ビューを表す、左フレームＬ及び右フレームＲの時間系列を有する。次いでこのユニットは、左ビュー及び右ビューの視差推定により第１の深度マップを生成し、左ビュー及び／又は右ビューに基づき２Ｄ画像を提供する。視差推定は、ＬフレームとＲフレームとを比較するために使用される動き推定アルゴリズムに基づき得る。或る対象物のＬビューとＲビューとの間の大きな差は、観察者にとって近い対象物の位置を示す、高い深度値に変換される。生成器ユニットの出力は、第１の深度マップＺ１である。第１の深度マップＺ１及び対応する２Ｄ画像データを提供するために、他の入力ユニットが使用されても良いことを指摘しておく。

或いは、生成器ユニットは、２Ｄ映像フレームの時間系列を含む２Ｄ映像信号、例えば通常（モノラル）の２Ｄ映像信号を受け取り、２Ｄ映像フレームの時間系列を処理することに基づき第１の深度マップを生成するように構成されても良い。

第１の深度マップＺ１は、第２の深度値を有する第２の深度マップＺ２を生成するために、多次元フィルタにより第１の深度マップをフィルタリングするためのフィルタ２２に結合される。基本的にこのフィルタは、Ｚ２＝ｆ（Ｚ１）で表される、深度マップの任意の適切な後処理を実施することができる。多次元フィルタは、二次元の空間フィルタとすることができる。更なる次元は時間であり得る。

例えばフィルタは、例えばガウスフィルタなどの任意の平滑化フィルタ、特にエッジを不鮮明にする任意のフィルタリング操作とすることができる。任意選択的に、このフィルタは、バイラテラルフィルタ、クロスバイラテラルフィルタ、又はバイラテラルグリッドフィルタとすることができる。

そのため、フィルタリングは画像処理の基本的操作である。「フィルタリング」という用語の最も広い意味において、所与の位置におけるフィルタ済み画像の値は、同じ位置の小さい（周辺）区域内の入力画像の値の関数である。例えば、ガウスの低域フィルタリングは区域内の画素値の加重平均を計算し、その計算では区域の中心からの距離に比例して重みが低下する。画像は、典型的には空間上でゆっくり変化し、そのため近くの画素は同様の値を有する可能性が高く、従ってそれらを一緒に平均するのが適切である。これらの近くの画素を破損するノイズ値は信号値よりも互いに相関しておらず、そのため信号が保たれながら、ノイズが平均され除去（averaged away）される。

しかし、空間的変化が遅いという仮定は、線形低域フィルタリングにより絶えずぼやけるエッジにおいては働かない。バイラテラルフィルタリングは、エッジ保存平滑化のための既知の非反復的手法である。バイラテラルフィルタリングの基礎を成す基本的な考えは、従来のフィルタがその領域内で行うことを画像の範囲内で行うことである。２つの画素は互いに近くても、つまり近くの空間的位置を占めても良く、又は互いに似ていても良く、つまりことによると知覚的に意味のある態様で近い値を有し得る。平滑領域では、小さい区域内の画素値が互いに似ており、バイラテラルフィルタは実質的に標準のドメインフィルタとして機能し、ノイズによって引き起こされる画素値間の小さな弱相関の差を平均して除去する。暗領域と明領域との間のくっきりした境界では、値の範囲が考慮に入れられる。バイラテラルフィルタの中心が境界の明るい側の画素に置かれる場合、相似関数は同じ側にある画素については１に近い値を、暗い側にある画素については０に近い値を想定する。その結果フィルタは、中心にある明るい画素を、その付近にある明るい画素の平均で置換し、暗い画素を事実上無視する。範囲成分のおかげで優れたフィルタリング作用が境界において実現され、くっきりしたエッジが同時に保たれる。

バイラテラルフィルタリングによりエッジが保たれる。更に、クロスバイラテラルフィルタが使用されても良く、クロスという語は、同じ画像の２つの異なるが、対応する表現が使用されることを示す。クロスバイラテラルフィルタリングの一例は、http://www.stanford.edu/class/cs448f/lectures/3.1/Fast%20Filtering%20Continued.pdfの中で見つけることができる（特にジョイント（＝クロス）バイラテラルアップサンプリングについて説明するシートを参照されたい）。

提案されるクロスバイラテラルフィルタは、深度値を使用するだけでなく、輝度及び／又は色に基づく画像値（通常ルーマ値と呼ばれる）に関する更なる入力を有する。この更なる入力は、ＬＵと印付けされている矢印として図２に示されている。ルーマ値は、２Ｄ入力データ、例えば破線矢印２０によって示されているステレオ入力信号内のＬフレームから得られても良い。クロスフィルタリングは、ルーマ値内のエッジと深度内のエッジとの全体的な対応関係に基づく。しかし、そのような対応関係が存在しない場所では、深度マップ内のクロスルーマアーティファクトが生じる。

任意選択的に、計算量を減らすために、バイラテラルフィルタ（又はクロスバイラテラルフィルタ）が所謂グリッドフィルタによって実装されても良い。フィルタの入力として個々の画素値を使用する代わりに、画像がグリッドに細分され、値がグリッドの１区画にわたって平均される。値の範囲はバンドに更に細分されても良く、そのバンドはバイラテラルフィルタ内の重みを設定するために使用され得る。バイラテラルグリッドフィルタリングの一例は、例えばhttp://groups.csail.mit.edu/graphics/bilagrid/bilagrid_web.pdfから入手可能な文献「Real-time Edge-Aware Image Processing with the Bilateral Grid, by Jiawen Chen, Sylvain Paris, Fredo Durand; Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology」の中で見つけることができる。特にこの文献の図３を参照されたい。

任意選択的に、フィルタ２２を実装するために、ステレオから自動ステレオへの変換において一般に適用されるようなガイド付きフィルタの実装が使用されても良い。そのようなものとして、ガイド付きフィルタは、例えばhttp://research.microsoft.com/en-us/um/people/jiansun/papers/GuidedFilter_ECCV10.pdfから入手可能な文献「Guided Image Filtering, by Kaiming He(Department of Information Engineering, The Chinese University of Hong Kong), Jian Sun (Microsoft Research Asia), and Xiaoou Tang (Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, China)」で知られている。

フィルタ２２の出力である第２の深度マップＺ２は、深度差を求めて深度マップを結合する関数を指すＤＴ＋ＣＯと印付けされている混合ユニット２３の入力に結合される。混合ユニットは、元の（フィルタされていない）深度マップＺ１を受け取るための第２の入力を有する。深度差は、第１の深度マップと第２の深度マップとの間で求められ、深度差の正の値は第２の深度マップ内の深度が観察者にとってより近いことを示す。深度マップを結合する関数は、第１の深度値と第２の深度値とを深度差に応じて結合関数によって結合することにより第３の深度マップＺ３を生成することを含む。結合関数は、深度差が正の場合は第１の値を優先する。前述の優先を実施するために様々な選択肢が利用可能である。

第１の実施形態では、結合関数が、深度差が正の場合は第１の深度値を、深度差が負の場合は第２の深度値を出力する。基本的に、結合関数は次式で表され得る。
ＩＦ（Ｚ２＞Ｚ１）出力＝Ｚ１、さもなければ出力＝Ｚ２

或いは、結合関数は以下の基準を実行することができる。
（Ｚ２＜Ｚ１、そのためＺ１の方が近い）：出力はＺ２である
（Ｚ２＞Ｚ１、そのためＺ２の方が近い）：出力はＺ１である
更に、以下のように閾値ＴＨが追加されても良い。
（Ｚ２−Ｚ１＜ＴＨ）：出力はＺ２である
（Ｚ２−Ｚ１＞ＴＨ）：出力はＺ１である

第２の実施形態では、結合関数が、深度差が正の場合は第１の深度値の大部分と第２の深度値の小部分との混合を、深度差が負の場合は第２の深度値を出力することを含む。そのためＺ２の値がＺ１よりも低い場合（負の深度差）、出力はＺ２、即ちフィルタ済み深度マップに基づく。しかしＺ２の値がＺ１よりも高い場合（正の深度差）、出力は主にＺ１に基づき、即ち少なくとも５０％の大部分がＺ１（フィルタされていない深度マップ）に基づき、５０％未満の小部分はＺ２に基づく。Ｚ２の減衰のための実際的な値は２５％である。すると小部分は２５％、或いは更に小さいパーセンテージである。

更なる実施形態では、結合関数が、深度差の絶対値が所定の閾値、例えば深度範囲の１０％未満の場合は第２の深度値を出力することを含む。例えば、画像の深度範囲は８ビット値を使って表され、即ち深度範囲は０〜２５５である。従って、小さな差はエッジと見なされず、深度値がクリップされ又は操作されることはない。

実際、結合関数は以下の基準を実行することができる。
（Ｚ２＜Ｚ１、そのためＺ１の方が近い）：出力は１００％Ｚ２である
（Ｚ２＞Ｚ１、そのためＺ２の方が近い）：出力は１０％Ｚ２＋９０％Ｚ１である
更に、以下のように閾値ＴＨが追加されても良い。
（Ｚ２−Ｚ１＜ＴＨ）：出力は１００％Ｚ２である
（Ｚ２−Ｚ１＞ＴＨ）：出力は１０％Ｚ２、９０％Ｚ１である

Ｚ１及びＺ２の更なる適切な比率は、７５％〜２５％又は６０％〜４０％であり得る。

更なる実施形態では、深度差を求めることが、或る領域内の深度値を評価し、深度ジャンプを別途検出することによって更に強化される。深度ジャンプが（例えば閾値を適用することにより）検出されない場合、混合ユニットはＺ２を出力する。深度ジャンプが検出される場合、Ｚ１とＺ２との混合が既定の比率に応じて適用される。従って、最も近いジャンプから少し離れている場合、Ｚ２だけが使用される。前述の距離又は比率は、深度差に基づき更に調節されても良い。大きいジャンプはそれだけ急な比率をもたらすことができ、その付近ではほぼＺ１だけを使用する。

図３は深度値の処理を示す。図の一番上は、背景の前の対象物３１、例えば顔を含む深度マップの断面を示す。第１の深度マップＺ１が概略的に示されており、深度値３３が対象物の深度位置を示している。深度マップの空間的及び時間的安定を改善するために、上記の処理が適用される。Ｚ１は、深度又は視差推定器からのより安定していない深度マップである。Ｚ２は、フィルタリング後の、例えばルーマ及び深度に関する表を構築することに基づくバイラテラルグリッド処理後の安定化された深度である。しかし、深度のエッジにおけるルーマの遷移並びにルーマ及びＺ１の不完全なアラインメントにより、ルーマと深度の関係及びスプラッティング関数を使用することはエッジの周りでスピリング（Ｚ２では３６、３８）と呼ばれる深度の歪みを引き起こす。

深度値３３及び対象物の両側の深度ジャンプ３４、３５には、ノイズがあると概略的に示されている。実際、エッジ位置における深度値は不安定である。より安定した深度マップＺ２を生成するために、平滑化フィルタが適用される。

深度マップＺ２では、スピリングアーティファクトが示されている。第１の領域３６は、前景深度のスピリングによる深度アーティファクトを示す。第２の領域３８は、背景深度のスピリングによる更なる深度アーティファクトを示す。最後にこの図面は深度マップＺ３を示す。Ｚ３では、第３の領域３７が本発明の効果を示し、Ｚ１の深度値を使用することによりスピリングが除去されている。フィルタリングとその後に続く結合関数により深度マップＺを安定させる強化された関数ＺＳＴＡＢ２４が、図２の中の矢印によって示されている。

様々な視野角（即ち視聴者の目の位置）からの複数のビューが生成されなければならない場合、背景に対する対象物の深度ジャンプがオクルージョンを決定することを指摘しておく。Ｚ１における深度ジャンプの大きさが矢印３２によって示される一方、処理済みの深度マップＺ３における深度ジャンプ３９の大きさの方が小さい。小さい深度ジャンプには、複数のビューのために生成されなければならないオクルージョンデータがより少ないという利点がある。正確なオクルージョンデータの必要性を減らすことは、オクルージョンホールを埋めるために単純な背景の伸縮を可能にする。

図４は、カスケード式の強化された深度の安定化を示す。この回路は図２に示されている回路に基づき、第１の深度マップＺ１を生成するための対応する生成器ユニットＧＥＮ２１を有する。第１の深度マップＺ１は、図２のＺＳＴＡＢと印付けされた部分に対応する、強化された深度マップ安定器２５によって安定化される。ＺＳＴＡＢのクロスバイラテラルフィルタ実装は、ルーマ値に関する更なる入力（破線の入力信号ＬＵによって示す）を有する。任意選択的に、ＺＳＴＡＢ関数２５は、代わりに単に上記の（クロス）バイラテラルフィルタ２２又は他の任意の適切な深度マップ安定化関数でも良い。安定器２５の安定化された深度マップＺａは減算器２６に結合され、減算器２６は、安定化された深度マップＺａから元の深度マップＺ１を減算して差分深度マップＺｂを生成する。差分深度マップＺｂは、更なる強化された安定器２７に入力され、そのようにしてカスケード式の深度安定器を構成する。更なる強化された安定器２７は、ここでも任意選択的にルーマ入力を有する上記のＺＳＴＡＢ関数とすることができる。第１の強化された安定器２５と同じルーマ値が使用され得る。安定化された差分深度マップＺｃが加算器２８に結合され、加算器２８は、安定化された深度マップＺａを加算し、最終的な深度マップＺｄをもたらす。

実際上、安定化された深度マップＺａ内に依然として存在するアーティファクトは、差分深度マップＺｂ内にも存在し、減算関数によって反転されている。Ｚ１からのノイズもＺｂ内に存在し得るが、アーティファクトの構造を保存する、更なる強化された安定器２７によって相殺される。最後に、反転されたアーティファクトが安定化された深度マップＺａに加算される。例えば、黒い目と黒い背景を有する顔は、背景の影響を受ける目の深度位置をもたらし得る（クロスルーマ効果）。目は後方へ押し込まれる。元の深度マップＺ１では目はほぼ顔の深度を有し、従って差分深度マップＺｂは目の位置における前方への効果（forward effect）を反映し、かかる効果は加算器２８における前述の後方への押し込みを補償する。このようにしてこの回路は、空間的及び時間的な安定化された深度マップの利益を依然として有しながら、深度マップに対するバイラテラルフィルタのクロスルーマ効果を減らすことを可能にする。

図５は、並列フィルタを有する３Ｄ映像プロセッサを示す。第１のフィルタＦＩＬＴ−１ ７１は動作中、深度マップ及び２Ｄ画像データ、又は３Ｄ映像データの他の任意の表現を含み得る３Ｄ映像信号を受け取る。ＦＩＬＴ−１は、第１の深度マップＺ１を生成する更なる多次元フィルタを構成する。任意選択的に、第１のフィルタは、ルーマ値に関する更なる入力ＬＵ１を有するクロスバイラテラルフィルタとすることができる。第２のフィルタＦＩＬＴ−２ ７２も動作中に３Ｄ映像信号を受け取る。第２のフィルタＦＩＬＴ−２は、図２に関して上記で説明された、前述のスピリングを発生させる多次元フィルタ２２に対応する。任意選択的に、第２のフィルタは、ルーマ値に関する更なる入力ＬＵ２を有するクロスバイラテラルフィルタとすることができる。任意選択的に、第２のフィルタユニット７２は、Ｚ１を受け取るための更なる入力を有することができる。図２と同様に、フィルタ７２の出力である第２の深度マップＺ２は、混合ユニット２３に関して上記で説明されたように、深度差を求めて深度マップを結合する関数を指すＤＴ＋ＣＯと印付けされている混合ユニット７３の入力に結合される。混合ユニットは、第１の深度マップＺ１を受け取るための更なる入力を有する。上記の直列構成と同様に、混合ユニットは、背景内の前述のスピリングをほぼ除去するために結合関数を実施する。

実際の例では、入力される深度マップが既知の技法を用いて平面画像又はステレオ画像に基づき生成され、その後、後処理、即ち同様のフィルタ特性を有するが異なるフィルタフットプリントを有する２つの並列な二次元ガウスフィルタを使用してフィルタされる。第１の深度マップは、第２の深度マップを生成するために使用される第２のガウスフィルタの第２のフィルタフットプリントよりも小さい第１のフィルタフットプリントを有する、第１のガウスフィルタによって生成される。その結果、第２のガウスフィルタは、第１のガウスフィルタよりも広い領域にわたり深度の遷移を不鮮明にする。

上記のガウスフィルタの代わりに、２つのクロスバイラテラル後処理フィルタを使用することも可能であり得る。クロスバイラテラルフィルタは、平面画像からの輝度及び／又は色情報を使用し、画像コンテンツ内の輝度及び／又は色の遷移に対して深度マップ内の深度の遷移を再調整する。

また或いは、第１の深度マップは、例えば（クロス）バイラテラルフィルタやガイド付きフィルタなどのエッジ保存及び／又は再構築フィルタを使用して生成されるのに対し、第２の深度マップは、上記の二次元ガウスフィルタなどのエッジ平滑化フィルタを使用して生成される。

任意選択的に、後処理が局所的に施されることを更に指摘しておく。本発明が適用される深度マップ内の空間領域を選択するための様々な基準が考えられる。例えば、本発明による方法は、この方法が特定の空間領域に適用されるかどうかを決定するために、深度の遷移についての閾値を利用することができる。或いは、又は加えて、この方法を適用する空間領域は、第１の深度マップ内のエッジと第２の深度マップ内のエッジとの間の実証済みの相関に基づいて選択されても良い。このために、本発明が特定の空間位置内で適用され得るかどうかを、例えば見つかった相関に対して閾値を適用することにより明らかにする目的で、第１の深度マップ内の空間領域内の深度値を、第２の深度マップ内の対応する空間領域に相関させる追加の空間相関ステップが、本発明による方法に追加されても良い。

図６は、深度マップ生成及び並列フィルタを有する３Ｄ映像プロセッサを示す。深度マップ生成器８０（3DRS CABE disp estと印付けされている）は動作中、左フレームＬ及び右フレームＲを有するステレオ３Ｄ信号を受け取る。次いでこのユニットは、左ビュー及び右ビューの視差推定により第１の深度マップＺ０を生成し、左ビュー及び／又は右ビューに基づき２Ｄ画像データを提供する。生成器８０の出力であるＺ０は、第１の深度マップＺ１を生成する第１のフィルタ８１に結合される。第１のフィルタは、小さいカーネルのバイラテラルグリッド、パラメータセットＢ、及びルーマ値のための入力ＬＢを有するように概略的に示されている。Ｚ０は、第２の深度マップＺ２を生成する第２のフィルタ８２にも結合される。第２のフィルタは、大きいカーネルのバイラテラルグリッド、パラメータセットＡ、及びルーマ値のための入力ＬＡを有するように概略的に示されている。図２と同様に、第１の深度マップＺ１及び第２の深度マップＺ２が、結合関数
Ｉｆ（Ｚ２＞Ｚ１）Ｚ１、さもなければＺ２
を有するように概略的に印付けされている混合ユニット８３の入力に結合される。

結合関数は、混合ユニット２３に関して上記で説明されたように、深度差を求めて深度マップを結合する様々な関数を指す。大きい方のカーネルではパラメータセットＡが選択され、より多くのノイズ及び／又はアーティファクトの低減をもたらしているが、より多くのスピリングももたらしている。小さい方のカーネルではパラメータセットＢが選択され、より少ないアーティファクトの低減をもたらしているが、スピリングも少ない。上記のように、３Ｄ映像装置は、３Ｄコンテンツソース装置又は３Ｄ表示装置に相当し得る。３Ｄ表示装置は、例えばシャッターグラスや偏光子ベースのステレオ表示装置などの立体表示装置を含むと理解され、本発明は平面コンテンツを立体コンテンツに変換するために使用されても良く、又は本発明は立体コンテンツを後処理するために使用される。

しかし本発明は、レンチキュラ表示装置やバリアベースの多視点表示装置などの自動立体表示装置でも等しい効果で適用することができ、本発明はかかるディスプレイで使用するためにモノラル／ステレオコンテンツを複数のビューに変換するために使用される。

実際、３Ｄ映像装置は、立体カメラシステム機器に基づき深度マップを出力する３Ｄカメラなど、平面から立体への変換又は深度マップの立体（後）処理を要求する装置を含むように理解される。

上記の説明では、明瞭にするために、本発明の実施形態を機能ユニット及びプロセッサに関して説明したことが理解される。しかし、様々な機能ユニット又はプロセッサ間での任意の適切な機能分散が、本発明から逸脱することなしに使用され得ることが明らかである。例えば、別々のユニット、プロセッサ、又はコントローラによって実行されるように示されている機能が、同じプロセッサ又はコントローラによって実行されても良い。従って、特定の機能ユニットへの言及は、厳密な論理的又は物理的構造若しくは構成を示すのではなく、記載された機能を提供するための適切な手段への言及に過ぎないと見なされるべきである。本発明は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せを含む任意の適切な形式で実装され得る。

上記では殆どの実施形態が装置に関して与えられているが、同じ機能が対応する方法によって実現される。かかる方法は、任意選択的に、１個又は複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装されても良い。本発明の実施形態の要素及びコンポーネントは、任意の適切な方法で物理的に、機能的に、及び論理的に実装され得る。

或る特徴が特定の実施形態に関連して説明されているようである場合、記載された実施形態の様々な特徴が本発明に従って組み合わせられても良いことを当業者なら理解されよう。個々の特徴が有利に組み合わせられても良く、別の請求項に含めることは、特徴の組合せが実現可能でないこと及び／又は有利でないことを含意しない。更に、或る請求項のカテゴリに特徴を含めることは、このカテゴリに限定することを含意せず、むしろその特徴が必要に応じて他の請求項のカテゴリに等しく適用可能であることを示す。更に、請求項の中の特徴の順序は、それらの特徴を働かせなければならない特定の順序を一切含意せず、とりわけ方法クレーム内のそれぞれのステップの順序はステップがその順序で行われなければならないことを含意しない。むしろ、ステップは任意の適切な順序で実行され得る。加えて、単数形での言及は複数形を除外しない。従って、「a」、「an」、「第１の」、「第２の」等の言及は複数形を排除しない。特許請求の範囲の中の参照符号は明確にするための例として与えるに過ぎず、特許請求の範囲を如何なる態様でも限定するものとして解釈されるべきでない。

このために、本発明の第１の態様によれば、導入部に記載の方法は、第１の深度マップは対応する位置においてスピリング（spilling）アーティファクトをより少なく有する又は有さない一方で、第２の深度マップにかかるアーティファクトを有させる多次元フィルタであって、バイラテラルフィルタ、クロスバイラテラルフィルタ、バイラテラルグリッドフィルタ、クロスバイラテラルグリッドフィルタ、及びガイド付きフィルタのうちの少なくとも１つを含む多次元フィルタについて、
−第１の深度マップと第２の深度マップとの間の深度差を求めるステップであって、深度差の正の値は第２の深度マップ内の深度が観察者にとってより近いことを示す、深度差を求めるステップと、
−第１の深度値と第２の深度値とを深度差に応じて結合関数によって結合することにより第３の深度マップを生成するステップであって、結合関数は深度差が正の場合は第１の深度値を優先する、第３の深度マップを生成するステップと
を含む。

このために、本発明の更なる態様によれば、３Ｄディスプレイ上に表示するために３Ｄ映像信号を処理するための３Ｄ映像装置が、３Ｄ映像信号を受け取り、第１の深度マップ及び第１の深度マップに対応する２Ｄ画像をその３Ｄ映像信号から得るための入力手段であって、第１の深度マップは第１の深度値を含み、２Ｄ画像は画像値を含む、入力手段と、第２の深度値を有する第２の深度マップを多次元フィルタにより３Ｄ映像信号及び／又は第１の深度マップから生成することであって、多次元フィルタは、バイラテラルフィルタ、クロスバイラテラルフィルタ、バイラテラルグリッドフィルタ、クロスバイラテラルグリッドフィルタ、及びガイド付きフィルタのうちの少なくとも１つを含む、生成すること、第１の深度マップと第２の深度マップとの間の深度差を求めることであって、深度差の正の値は第２の深度マップ内の深度が観察者にとってより近いことを示す、深度差を求めること、及び第１の深度値と第２の深度値とを深度差に応じて結合関数によって結合することにより第３の深度マップを生成することであって、結合関数は深度差が正の場合は第１の深度値を優先する、第３の深度マップを生成することを行うように構成される映像プロセッサとを含む。

フィルタリングは、バイラテラルフィルタ、クロスバイラテラルフィルタ、バイラテラルグリッドフィルタ、又はクロスバイラテラルグリッドフィルタを含む。バイラテラルフィルタリングによりエッジが保たれる。クロスバイラテラルフィルタは深度値だけでなく、ルーマ及び／又は色などの画像値も使用する。グリッドフィルタは、計算の労力を減らすために、近くにある全ての個々の画素値の代わりに、平均値のグリッドを使用する。指定されたバイラテラルフィルタはエッジを保存しながら深度値を平滑化する効果を有する一方で、所定量のスピリングが生じる。従って、それらのバイラテラルフィルタは、上記の第３の深度マップを生成するステップに、前述のスピリングを局所的に減らす適切な前処理を行う。スピリングを引き起こし得る多次元フィルタの他の例は、ガイド付きフィルタである。

Claims (15)

1. 三次元映像信号を処理する方法であって、
   −第１の深度値を含む第１の深度マップ及び前記第１の深度マップに対応する画像値を含む２Ｄ画像を前記３Ｄ映像信号から得るステップと、
   −第２の深度値を有する第２の深度マップを多次元フィルタにより前記３Ｄ映像信号及び／又は前記第１の深度マップから生成するステップであって、前記多次元フィルタは、前記第２の深度マップにスピリングアーティファクトを有させる一方、前記第１の深度マップは、対応する位置においてより少ないアーティファクトを有する又はかかるアーティファクトを有さない、生成するステップと、
   −前記第１の深度マップと前記第２の深度マップとの間の深度差を求めるステップであって、前記深度差の正の値は前記第２の深度マップ内の深度が観察者にとってより近いことを示す、深度差を求めるステップと、
   −前記第１の深度値と前記第２の深度値とを前記深度差に応じて結合関数によって結合することにより第３の深度マップを生成するステップであって、前記結合関数は前記深度差が正の場合は前記第１の深度値を優先する、第３の深度マップを生成するステップと
   を含む、方法。
2. 前記結合関数は、前記深度差が正の場合は前記第１の深度値を、前記深度差が負の場合は前記第２の深度値を出力することを含む、請求項１に記載の方法。
3. 前記結合関数は、前記深度差が正の場合は前記第１の深度値の大部分と前記第２の深度値の小部分との混合を、前記深度差が負の場合は前記第２の深度値を出力することを含む、請求項１に記載の方法。
4. 前記小部分が２５％以下である、請求項３に記載の方法。
5. 前記結合関数は、前記深度差の絶対値が所定の閾値未満の場合は前記第２の深度値を出力することを含む、請求項１に記載の方法。
6. 前記フィルタリングが、バイラテラルフィルタ、クロスバイラテラルフィルタ、バイラテラルグリッドフィルタ、又はクロスバイラテラルグリッドフィルタを含む、請求項１に記載の方法。
7. 前記方法が少なくとも１つの更なるカスケード処理ステップを含み、前記カスケード処理ステップは、
   −差分深度マップを生成するために前記第１の深度マップから前記第３の深度マップを減算するステップと、
   −安定化された差分深度マップを生成するために前記差分深度マップを安定させるステップと、
   −前記安定化された差分深度マップと前記第３の深度マップとを足すことにより第４の深度マップを生成するステップと
   を含む、請求項１に記載の方法。
8. −左ビューフレーム及び右ビューフレームを含むステレオ３Ｄ映像信号を受け取り、前記Ｌフレーム及びＲフレームを処理することに基づき前記第１の深度マップを得るステップか、
   −２Ｄ映像フレームの時間系列を含む２Ｄ映像信号を受け取り、前記２Ｄ映像フレームの時間系列を処理することに基づき前記第１の深度マップを得るステップか、又は
   −前記３Ｄ映像信号を受け取り、更なる多次元フィルタにより前記第１の深度マップを得るステップ
   を含む、請求項１に記載の方法。
9. 三次元映像信号を処理するための３Ｄ映像装置であって、
   −前記３Ｄ映像信号を受け取り、第１の深度マップ及び前記第１の深度マップに対応する２Ｄ画像を前記３Ｄ映像信号から得るための入力手段であって、前記第１の深度マップは第１の深度値を含み、前記２Ｄ画像は画像値を含む、入力手段と、
   −映像プロセッサであって、
   −第２の深度値を有する第２の深度マップを多次元フィルタにより前記３Ｄ映像信号及び／又は前記第１の深度マップから生成することであって、前記多次元フィルタは、前記第２の深度マップにスピリングアーティファクトを有させる一方、前記第１の深度マップは、対応する位置においてより少ないアーティファクトを有する又はかかるアーティファクトを有さない、生成すること、
   −前記第１の深度マップと前記第２の深度マップとの間の深度差を求めることであって、前記深度差の正の値は前記第２の深度マップ内の深度が観察者にとってより近いことを示す、深度差を求めること、及び
   −前記第１の深度値と前記第２の深度値とを前記深度差に応じて結合関数によって結合することにより第３の深度マップを生成することであって、前記結合関数は前記深度差が正の場合は前記第１の値を優先する、第３の深度マップを生成することを行う映像プロセッサと
   を含む、３Ｄ映像装置。
10. 前記結合関数は、前記深度差が正の場合は前記第１の深度値を、前記深度差が負の場合は前記第２の深度値を出力することを含む、請求項９に記載の装置。
11. 前記結合関数は、前記深度差が正の場合は前記第１の深度値の大部分と前記第２の深度値の小部分との混合を、前記深度差が負の場合は前記第２の深度値を出力することを含む、請求項９に記載の装置。
12. 前記フィルタリングが、バイラテラルフィルタ、クロスバイラテラルフィルタ、バイラテラルグリッドフィルタ、又はクロスバイラテラルグリッドフィルタを含む、請求項９に記載の装置。
13. 前記入力手段が生成器を含み、前記生成器は、
    −３Ｄ効果を発生させるために視聴者のそれぞれの目に向けて表示される少なくとも左ビュー及び右ビューを含む左右映像信号を受け取り、
    −前記左ビュー及び前記右ビューの視差推定により前記第１の深度マップを生成し、
    −前記左ビュー及び／又は前記右ビューに基づき前記２Ｄ画像を提供する、請求項９に記載の装置。
14. コンピュータ上で実行されるとき、請求項１乃至８の何れか一項に記載の方法のステップをプロセッサに実行させるように動作可能なコンピュータプログラムコード手段を含む、コンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムを含む、コンピュータ可読媒体。

Images