JP2013511190A - ３ｄビデオにおける深さ遷移の効率的な符号化 - Google Patents

Abstract

復号化のための方法と共にビデオデータ信号15を符号化する方法が提供される。符号化は、画像中のピクセルのための色情報51を提供し、ピクセルのための深さ情報52を有する深さマップを提供し、画像中の遷移領域61, 72の幅63, 73を表わす遷移情報56, 57, 60, 70, 71を提供し、遷移領域61, 72は深さ遷移62及び前景オブジェクトと背景オブジェクトの色が混合される混合ピクセルを含み、符号化はさらに、色情報51、深さマップ52及び遷移情報56, 57, 60, 70, 71を表す符号化データを含むビデオデータ信号15を生成する(24)。復号は、遷移領域61, 72の幅63, 73を決定して、遷移領域61, 72内のピクセルのためのα値53を決定するために、遷移情報56, 57, 60, 70, 71を用いる。決定されたα値53は、前景オブジェクト及び背景オブジェクトの遷移における混合ピクセルの色を決定するために用いられる。

Description

本発明は、ビデオデータ信号を符号化する方法に関し、当該方法は、画像中のピクセルのための色情報を提供し、ピクセルのための深さ情報を有する深さマップを提供し、前景オブジェクト及び背景オブジェクトの色が混合された混合ピクセルのための遷移情報を提供し、色情報、深さ情報及び遷移情報を表す符号化データを有するビデオデータ信号を生成する。

本発明はさらに、ビデオデータ信号を復号化する方法、符号器、復号器、符号化又は復号化のためのコンピュータプログラム、ビデオデータ信号及びデジタル・データキャリアに関する。

三次元(3D)ビデオの新進の技術において、三次元をビデオデータ信号に符号化するためのさまざまな方法が存在する。3Dビデオを表現するための普及しているアプローチは、１つ以上の二次元(2D)画像に加えて三次元の情報を提供する深さ表現を用いることである。このアプローチはさらに、3D画像データ中に含まれる2D画像とは異なる視点及び観察角によって生成される2D画像を可能にする。そのようなアプローチは、比較的低い複雑度によって3Dビューが生成されることを可能にすること及び効率的なデータ表現を提供することによって、例えば、3Dビデオ信号のための記憶及び通信リソース要求を低減することを含む複数の利点を提供する。

異なる視点を有する画像を生成するときに、異なるオブジェクトの異なる深さは、実行されるべきであるよりも、オブジェクト境界のシフトを引き起こし、新たな境界を生じさせる。オブジェクト境界をシフトすることは、画質を低減させる望ましくない効果を引き起こす場合がある。例えば、焦点の合わない前景オブジェクトからの光反射が、焦点があっている背景オブジェクトと混合されるときに、非現実的に見える境界が現れる可能性がある。この問題は、通常、ビデオデータ信号の別のレイヤにおいて送信されるαマップを用いて解決される。

αマップは、ピクセルごとに、それが前景ピクセルか、背景ピクセルか、又はある程度前景オブジェクトによって及びある程度背景オブジェクトによって色が決定される混合ピクセルであるかどうかを示すα値を有する。α値は混合比を反映する。今後、これらの混合ピクセルは、「不確定」ピクセルとも呼ばれる。この混色は、ブレンディングとも呼ばれる。符号化目的のために、α値は、既存のデータから読み出されるか、手動で割り当てられるか又は推定されることができる。α推定アルゴリズムは、一般的に、「不確定」領域中の全てのピクセルのためのαの値を推定するために、前景及び背景から空間的に近いサンプルを用いる。この推定プロセスを容易にするために、ピクセルごとそれが前景であるか、背景であるか又は不確定であるかどうかを示すいわゆるtrimapが最初に生成される。不確定領域中のピクセルのための前景値、背景値及びα値を推定するために、複数の空間的に近くのサンプルが、近くの前景及び背景から利用される。新たなビューを生成するときに、シフトされた前景ピクセル値は新たな背景と混合される。

一般的に、αマップは、前景ピクセルのための値「1」又は背景ピクセルのための「0」を有する比較的大きい領域を有する。これらの領域間で、α値は、「0」から「1」又はその逆の急な遷移を起こす。これは例えば、前景オブジェクトは焦点がずれており、髪の毛のような非常に細いオブジェクトのためのものであって、これらのオブジェクトを取り扱うためのメカニズムとして透明度を用いると都合のいいオブジェクト遷移の場合である。窓などのようなより大きい領域にわたる真の透明度は、自然なビデオではそれほど頻繁には発生しない。αマップ中の空間的に急激な変化はむしろビデオデータ信号の圧縮を非効率的にし、ビデオデータ信号の送信コストを増加させる。

新たにレンダリングされるビューにおいて滑らかなオブジェクト遷移を維持しつつ送信コストを低減する、冒頭の段落に説明されるようなビデオデータ信号を符号化する方法を提供することが本発明の目的である。

本発明の第１の態様によれば、この目的は、ビデオデータ信号を符号化する方法を提供することによって達成され、当該方法は、画像中のピクセルのための色情報を提供し、ピクセルのための深さ情報を有する深さマップを提供し、画像中の遷移領域の幅を表わす遷移情報を提供し、遷移領域は、深さ遷移並びに前景オブジェクト及び背景オブジェクトの色が混合される混合ピクセルを有し、当該方法はさらに、色情報、深さマップ及び遷移情報を表す符号化されたデータを有するビデオデータ信号を生成する。

遷移領域における全てのピクセルのためのα値を提供しなければならない代わりに、本発明による方法は、深さ遷移周辺の遷移領域の幅に関係する何らかの情報を必要とするのみである。以下で説明されるように、遷移領域の幅に関する情報は、多くの異なる形式で提供されることができる。遷移領域の幅に関する情報を提供する主要な利点は、各々の「不確定」ピクセルのための厳密なα値を提供することを不要にすることである。遷移領域の幅が分かると、不確定ピクセルは、深さ遷移の位置周辺でピクセルのバンドを生成することによって決定される。不確定ピクセルの位置が与えられると、α値は、種々の態様で生成されることができる。

最初に、深さ遷移に対する「不確定」ピクセルの距離及びピクセル自体(局所的な前景又は局所的な背景)の深さは、それぞれのピクセルのα値を生成するために用いられることができる。例えば、αが局所的な背景における0から局所的な前景における1へと不確定ピクセルにわたって線形に変化する場合、線形関数が用いられることができる。他の非線形プロファイルも、もちろん可能である。α値のみを有することは、ピクセルがその上でゆがめられる背景と混ぜられた色を混合することによる新たなビューの粗い(おおよその)レンダリングにとって十分である場合がある。厳密ではないが、視覚的に、これはぼやけた領域を取り扱う許容できる態様であることができる。

次に、αは、２つの未知数、すなわち前景値及びα(データストリーム中に背景マップが既に存在すると仮定)がピクセルごとに推定されるか、又は、３つの未知数、すなわち前景値、背景値及びαが推定される、既知のα推定技術を用いて生成されることができる。したがって、α値を決定するときに、深さ遷移を形成する前景及び/又は背景オブジェクトの深さ値が好ましくは考慮される。これらの深さ値は、深さマップからすでに利用可能である。

本発明による方法は、非常に少量のデータから通常のα値を導き出すことを可能にする。結果として、送信コストは、画質に関する有害な影響を伴うことなく低減される。

この発明の方法の実施の形態において、遷移情報は、幅マップを有する。幅マップは、特定の深さ遷移に含まれるピクセルの数を定める。そのようなマップは、遷移領域の幅を定めるために、１つの整数値のみを必要とする。各ピクセルにα値が含まれる従来の技術において使用されるαマップと比較して、この方法は、同様の情報を提供するためにはるかに少ないデータを使用する。実際的な場合は、例えば、標準的なYUV4:2:0ビデオのUチャネル及び/又はVチャネル中に幅関連データを供給することであり、深さ又は「従来の」αチャネルのような他の情報はYチャネル中に符号化される。

幅マップに使用されるデータの量は、幅をデータブロックに割り当てることによってよりさらに低減されることができ、それによって、幅マップを効果的にダウンスケーリングする。深さ遷移間の距離がブロックサイズより非常に大きい限り、オリジナルの高解像度の再構成は、所与の深さ遷移に最も近いブロックの幅値を割り当てることによって可能である。実際的な場合において、これは、一般的にDC値は圧縮の影響を受けにくいので、U及び/又はVチャネルのDC値が幅データを記憶するために用いられることを意味する。

他の実施の形態において、２進数マップがピクセルごとにそれが遷移領域であるかどうかを示す。そして、遷移領域の幅は、遷移領域中のピクセルの数を数えることによって容易に決定されることができ、α値は、遷移領域の幅及びピクセルの位置を使用して遷移領域中のピクセルごとに決定されることができる。この２進数マップは既知のαマップと同様であるが、８ビットα値の代わりにピクセルごとに「1」又は「0」のみを用いる。２進数マップによるこの実施の形態は、幅マップによる先の実施の形態より多くのピクセルのためにゼロ以外の値を用いるが、データの合計量は依然として少なく、先の実施の形態よりさらに少ない場合もある。

２進数マップに使用されるデータの量は、２進数マップをダウンスケーリングすることによってさらにもっと低減されることができる。そして、より低い解像度の２進数マップが遷移領域の幾分粗い推定として用いられることができる。遷移領域中のピクセルのために、α値の推定が作成される。しかしながら、ダウンスケーリングされた２進数マップは、α値が決定される前に、元のより高い解像度の２進数マップを再構成するために好ましくは用いられる。

他の実施の形態は、幅マップではなく、ルックアップテーブルを用いる。ルックアップテーブルは、異なる遷移深さのための幅パラメータを含むことができる。遷移領域の幅は、画像中の深さ遷移と焦点面との間の距離に強く依存する。焦点面の近くでは、遷移は急であり、遷移領域の幅は小さい。焦平面からさらに離れると、遷移領域はより広くなる。遷移深さは、例えば、遷移深さを引き起こす前景又は背景オブジェクトの深さとして定められることができる。遷移深さは、前景及び背景オブジェクトの深さ値間のどこかに定められることもできる。前景及び背景オブジェクトの深さ値の特定のペアのための幅パラメータを提供するときに、最良の結果が得られる。そして遷移深さは、深さ遷移を引き起こす両方のオブジェクトの深さ値の組み合わせとして定められる。

他の実施の形態において、幅だけではなく、αマップ再構成のための方法(固定曲線、局所的推定)も、ルックアップテーブルにおいて特定されることができる。上述のように、αデータを生成するための複数の方法が存在する。好ましい方法は、コンテンツ（例えば、髪の毛のまわりか他のオブジェクトの周りか）に依存することができ、それは、２進数マップの代わりに不確定領域の位置と同様に再構成の方法を符号化する３つの値を有するマップを有することによって、又は、幅データとこれらのデータを組み合わせることによって、通知されることができる。幅データは一般的に８ビット未満で表されることができ、α再構成方法を示すためにいくつかのビットを残す。よって、幅は例えば整数除算(DIV演算)を用いて抽出されることができ、一方、α再構成方法はモジュロ演算子(MOD)を用いて得られる。

遷移情報は、深さ遷移の深さ及びビデオデータを取り込むために使用されるカメラ設定のいくつかのパラメータを含むことができることに留意する必要がある。本発明者らは、遷移領域の幅が、例えば、遷移深さ並びにカメラレンズの焦点距離及び開口数から決定されることができることを認識した。

本発明のさらに別の態様では、ビデオデータ信号を復号する方法が提供され、前記ビデオデータ信号は、画像中のピクセルのための色情報を表す符号化データ、ピクセルのための深さ情報を有する深さマップ、並びに、深さ遷移及び前景オブジェクトと背景オブジェクトの色が混合される混合ピクセルを含む遷移領域の幅を表わす遷移情報を有する。この復号方法は、前記ビデオデータ信号を受信し、遷移領域の幅を決定し、混合ピクセルのα値を決定し、α値及び色情報に基づいて混合ピクセルの色を決定する。遷移領域の幅の決定は遷移情報に基づく。α値の決定は遷移領域の幅に基づき、混合ピクセルのα値は深さ遷移に対する距離に依存する。

この復号方法において、α値は、ビデオデータ信号とともに符号化される遷移情報から生成される。好ましい復号方法において、α値はさらに、深さ遷移を引き起こす前景オブジェクト及び/又は背景オブジェクトの深さに依存する。ビデオデータを取り込むために使用されるカメラ設定のパラメータを考慮することにより、計算されるα値の精度及び結果として生じるピクセルの色が改善される。

本発明のこれらの及び他の態様は、以下で説明される実施の形態から明らかであり、それらを参照して説明される。

本発明によってビデオデータを符号化するシステムのブロック図。 遷移領域における色の混合を示す図。 遷移領域における色の混合を示す図。 本発明による符号化方法のフローチャート。 テーブルに記憶される遷移情報のグラフィカル表現を示す図。 本発明による幅マップの例を示す図。 本発明によって生成される遷移情報を有する２進数マップの例を示す図。 本発明によって生成される遷移情報を有する２進数マップの例を示す図。 本発明によってビデオデータを復号するシステムのブロック図。 本発明による復号方法のフローチャート。

図1は、本発明によってビデオデータを符号化するシステムのブロック図を示す。システムは、２台のデジタルビデオカメラ11、12及び符号器10を含む。第１カメラ11及び第２カメラ12は、同じシーン100を、僅かに異なる位置から、すなわち僅かに異なる角度から記録する。ビデオカメラ11、12の両方からのレコーダ・デジタルビデオ信号は符号器10に送信される。符号器は、例えば、専用の符号化ボックスの一部、コンピュータにおけるビデオ・カード、又は、汎用マイクロプロセッサによって実行されるソフトウェアで実装された機能である。別の態様では、ビデオカメラ11、12はアナログ・ビデオカメラであり、このアナログ・ビデオ信号は、符号器10に入力として提供される前にデジタルビデオ信号に変換される。ビデオカメラが符号器10に接続される場合、符号化は、シーン100を記録する間に行われる。シーン100を最初に記録し、その後、記録されたビデオデータを符号器10に提供することも可能である。本発明による方法は、ビデオデータ信号を符号化する特別な態様に関し、ビデオデータを取得する特定の態様に制限されないことに留意する必要がある。例えば、１つのビデオカメラのみによって取得されたビデオデータに深さ情報を追加することも可能である。

符号器10は、直接又は間接的に、ビデオカメラ11, 12からデジタルビデオデータを受信して、両方のデジタルビデオ信号を１つの3Dビデオ信号15に組み合わせる。ビデオカメラ11, 12の両方が１つの3Dビデオカメラ中に組み合わせられることができることに留意する必要がある。さらに多くの視点からシーン100を取り込むために、２台を超えるビデオカメラを用いることも可能である。

以下において、本発明による符号化及び復号化方法並びに従来技術の方法との違いが、１つの画像を用いて説明される。3Dビデオ信号は、多くのそのような画像のシーケンスと考えられることができる。符号器10及び復号器によって使用される情報の一部は複数の画像によって共有されることができることに留意する必要がある。いくつかのパラメータは、特定の画像又はシーン(シーケンシャル画像の集合)に固有であってもよい。他のパラメータは、完成したビデオのために有用である。当業者は、ビデオ中の異なる画像のために同じパラメータを用いることが可能であることを認識する。

従来技術の符号器において、生成される3Dビデオ信号は、画像中のピクセルのための色情報51を有する2D画像レイヤ、ピクセルのための深さ情報を有する深さマップ52、並びに、前景色と背景色が深さ遷移においてどのように混合されるべきか及び深さ遷移にどのくらい近いかについて示すα値を有するαマップ53を有する。上記したフォーマットは図2に示され、画像は、複数のピクセルを有する１つの2D画像ライン51として概略的に表される。前景値F(~220)から背景値B(~20)への漸進的な遷移が境界において観察されることができる。遷移領域の幅はUである。これらの領域は、破線によって囲まれている。Zによって示される関連する深さマップ52が画像ライン51の下に示される。遷移領域は、前景オブジェクトと同じ深さ値Z_Bを有する。前景から背景オブジェクトへの厳密な遷移は適切に定められないので、これは任意の選択である。この図における第３の図はαチャネル53を表す。αチャネル53において、（ここでは0に近い）小さい値は、対応するピクセルに対する主要な貢献は背景ピクセルからであることを示し、一方、（ここでは1に近い）大きい値は、主要な貢献が前景ピクセルからであることを示す。この遷移領域外では、α値は未定義である。従来技術のαマップ53は、画像51の各々の遷移領域における各々のピクセルのα値を含む。

カメラで画像を取得することに伴うぼやけ効果が、図3においてさらに詳細に示される。位置C_iのピクセルは、複数の重みつき寄与、すなわち、重みが背景ガウシアン54の左側のマークされた部分Bに反映される周囲の背景ピクセルからの１つの加重和、及び、重みが前景ガウシアン55の右側のマークされた部分Aに反映される前景ピクセルに近いものからの１つの加重和を受ける。ガウシアン曲線の形状は、カメラ設定(例えば焦点距離、開口数)及びカメラに対するオブジェクトの距離(深さとも呼ばれる)に依存する。シーンを取り込む間に用いられる開口及び焦点の設定は、ガウシアンの形状、ひいては、ガウシアン曲線の幅を決定する。影響は、深さ遷移の近くの混合ピクセルの存在である。

画像が既にぼやけているので、復号された画像データから、カメラぼやけプロセスをシミュレートすることができないことに留意することが重要である。至る所で鮮明であることができるコンピュータ・グラフィック画像を有する場合にのみ、これは可能である。その場合、我々は、プロセスの間にカメラ光学系の影響をシミュレートすることができる。しかしながら、遷移領域の適切な幅を選択することによってぼやけプロセスを説明すること、及び、線形又は非線形関数を用いて遷移領域においてαを0から1に徐々に変化させることが可能である。

図4は、本発明による例示的な符号化方法のブロック図を示す。この符号化方法は、図1のシステムの符号器10によって実行されることができる。この符号化方法は、カメラ11, 12から記録されたデジタルビデオデータを用いて、本発明によるビデオデータ信号15を提供する。ベース画像提供ステップ21において、少なくともシーンの第１画像が、ビデオデータ信号15に包含するために提供される。このベース画像は、２台のカメラ11, 12のうちの１つに由来する標準的な2Dビデオデータであることができる。符号器10は、２つのベース画像（第１カメラ11から１つ、第２カメラ12から１つ）を用いることもできる。ベース画像から、記録されたビデオの各々のフレーム中の全てのピクセルの色値が導き出されることができる。ベース画像は、特定の視点から観察された特定の時点におけるシーンを表す。異なる視点からの同じ画像を示す追加の画像が含まれることができる。

3D実現ステップ22において、ビデオカメラ11, 12からの入力ビデオデータは、ベース画像に深さ情報を追加するために用いられる。この追加される情報は、異なる視点からの同じシーンのレンダリング画像を復号器が生成することを可能にする。符号器は、記録された標準的なビデオデータから深さ情報を導き出すために、既知の(好ましくは規格化された)方法を用いる。本発明による符号化方法は、外部ソースに由来した、既に深さ情報を含む3Dビデオデータに実行されることもできることに留意する必要がある。

遷移情報生成ステップ23において、符号器10は、画像中の遷移領域の幅を表わす情報を生成する。この遷移情報は、既に上記で説明されたような、及び図5-7を参照して以下で説明されるような、多くの異なる形態で提供されることができる。

信号生成ステップ24において、先のステップ21, 22, 23において提供された情報は、本発明によるビデオデータ信号15を生成するために用いられる。ビデオデータ信号15は、少なくとも2D画像、深さ情報及び遷移情報を表す。加えて、ビデオデータ信号15は、復号器が高い精度で遷移情報からα値を導き出すことを可能にするためのパラメータを含むことができる。そのようなパラメータは、カメラ位置、照明条件又は用いられたカメラ11, 12の開口数及び焦点距離のような、ビデオデータが取得されたときのカメラ設定を記述するパラメータを含むことができる。

図5は、テーブル中に記憶されることができる遷移情報のグラフィカル表現を示す。本発明によれば、それぞれの遷移深さ(Z)のための幅パラメータ56, 57(U(ZF))が見出されることができるテーブルが提供されることができる。そのようなテーブルから、復号器10は、対応する深さZの前景オブジェクトの境界における遷移領域の幅U(ZF)を見つけ出すことができる。焦点(f)が合った前景オブジェクトの境界における遷移領域は狭い。したがって、そのようなオブジェクトの深さに対応する幅パラメータ57は、他の深さの幅パラメータ56より小さい。焦点からずれるほど、遷移領域は広くなる。前景オブジェクトの深さの代わりに、又はそれに加えて、テーブルはさらに背景オブジェクトの深さを用いることができる。別の態様では、テーブルは、画像において互いに重なり合う前景及び背景オブジェクトのための深さ値の特定のペアのための幅パラメータを含む。幅パラメータU(ZF)56、57は、画像中の遷移領域の幅を復号器が決定することを可能にする。幅パラメータU(ZF) 56, 57は、例えば、両方のオブジェクトからの色の寄与を有するピクセルの数であることができる。

図6は、本発明による幅マップ60の一部の例を示す。幅マップ60の大部分は空である。幅マップ60は、画像中の深さ遷移に対応する位置における幅パラメータを伴うライン62を含む。遷移領域は、幅パラメータから決定されることができ、破線61によって示される。従来技術によるαマップでは、遷移領域中の全てのピクセルがα値を有する必要がある。幅マップ62では、深さ遷移を示すライン62上のピクセルのみがゼロ以外の値を有する。復号器は、この１つの値から遷移領域の幅63を導き出して、遷移領域中の他のピクセルのα値を生成するためにそれを用いる。

図6に示される例示的な状況において、深さ遷移は遷移領域の中央にある。別の態様では、深さ遷移は遷移領域の境界にあることができ、幅パラメータは、遷移領域に属する深さ遷移の上下左右のピクセルの数を示す。他の実施例において、深さ遷移は、デフォルトで、遷移領域と前景オブジェクトとの間の境界に、又は、遷移領域と背景オブジェクトの境界にあることができる。

幅マップにおいて使用されるデータの量は幅をデータブロックに割り当てて、それによって幅マップを効果的にダウンスケーリングすることによってさらに低減されることができる。深さ遷移間の距離がブロックサイズより非常に大きい限り、オリジナルの高解像度の再構成は、所与の深さ遷移に最も近いブロックの幅値を割り当てることによって可能である。実際的な場合では、一般的にDC値は圧縮の影響を受けにくいので、標準的なYUV4:2:0ビデオのU及び/又はVチャネルのDC値が幅データを記憶するために用いられる。

図7a及び7bは、本発明によって生成される遷移情報を有する２進数マップ70, 71の例を示す。図7bの２進数マップ71は、図7aの２進数マップのダウンスケーリングされたバージョンである。図7aの高解像度２進数マップ70は、遷移領域72中の各々のピクセルのための「1」及び遷移領域72中にない各々のピクセルのための「0」を有する。復号器は、連続する「1」の数を数えることによって、遷移領域72の幅を容易に導き出すことができる。この幅を用いて、α値が計算されることができる。この２進数マップ70は、従来技術のαマップと等しい量のデータを含む。しかしながら、αマップはα値を符号化するために例えば８ビット値を用いるのに対して、幅マップ70はピクセルあたり１ビットのみを用いる。したがって、本発明による幅マップ70は送信コストを低減する。

ダウンスケーリングされた２進数マップ71において、画像は、例えば10x10ピクセルのセクション74に分割される。セクション74ごとに、セクションが深さ遷移を含むかどうかを示すために１ビットのみが必要である。復号器はセクション74全体を遷移領域として扱うことができるが、それは、結果としてあまり正確ではないα推定及び低い画質につながる。しかしながら、図7b中の破線75から分かるように、低解像度の２進数マップ71は、遷移領域を正確に再構成するために十分な情報を提供する。この再構成の後、復号器は、図7aのより高解像度の２進数マップ70を用いる場合と同様の精度でα値を決定することができる。

図8は、本発明によるビデオデータを復号化するためのシステムのブロック図を示す。システムは、ビデオデータ信号15を受信して、ビデオデータ信号15をディスプレイ31によって表示されるために適切である表示信号に変換する復号器30を含む。ビデオデータ信号15は、例えばケーブル又は衛星通信を介して、放送信号の一部として、復号器30に達することができる。ビデオデータ信号15は、例えば、インターネットを介して又はビデオ・オン・デマンド・サービスを介して、リクエストに応じて、提供されることもできる。別の態様では、ビデオデータ信号15は、デジタル・データキャリア(例えばDVD又はブルーレイ・ディスク)上で提供される。

ディスプレイ31は、図1のシステムの符号器10によって取り込まれて符号化されたシーン100の3D表示を提供することが可能である。ディスプレイ31は、復号器30を含むことができるか又は復号器30に接続されることができる。例えば、復号器30は、１つ以上の通常のテレビ又はコンピュータディスプレイに接続される3Dビデオ受信機の一部であることができる。好ましくは、ディスプレイは、観察者の異なる目に異なるビューを提供することが可能な専用の3Dディスプレイ31である。

図9は、図8の復号器30によって実行されることができる復号方法のフローチャートを示す。ビデオデータ受信ステップ41において、符号器10によって符号化されたビデオデータ信号15は、復号器30の入力において受信される。受信されたビデオデータ信号15は、画像、深さ情報及び上述の遷移情報を表す符号化データを含む。遷移情報は、例えば、テーブル又は幅マップの形の提供されることができる。符号化されたデータは、追加の情報(例えばカメラ設定パラメータ)を含むことができる。

幅決定ステップ42において、遷移情報は、画像中の遷移領域の幅を決定するために用いられる。α決定ステップ43において、決定された幅は、遷移領域中のピクセルのためのα値を計算するために用いられる。復号器は、幅情報及び深さ情報だけではなくそれ以外のものを用いることができる。例えば、カメラ設定パラメータ及び深さ遷移を引き起こすオブジェクトの深さ情報は、α値を決定する際に有用である場合がある。ピクセル混合ステップ44において、α値及び画像の色情報が、遷移領域中の全てのピクセルの色値を決定するために組み合わせられる。

本発明による方法、符号器及び復号器は、特に、ビデオデータ信号を符号化する方法、データ信号を復号する方法、符号化装置及び復号装置を参照して説明される。しかしながら、本発明は、ビデオデータ信号を送信する方法にも同様に適用されることができ、当該方法は、符号化方法の全てのステップ及び符号化ビデオ信号を送信する更なるステップを有する。逆に、本発明は、ビデオデータ信号を受信する方法に適用されることができ、当該方法は、前記復号方法の全てのステップ及び符号化ビデオデータ信号を受信する更なるステップを有する。

ビデオデータ信号は、有線又は無線チャネルを通じて送信及び/又は受信されることができ、例えば、ビデオデータ信号は、IEEE1394リンクを通じて、IPリンクを通じて、送信されることができる。同様に、ビデオデータ信号は、無線IEEE802.11リンク又はUWBリンクのようなホームネットワークにおける無線リンクを通じて送信されることができる。

本発明は、さらに、ビデオデータ信号のための送信機及び/又は受信機として実施されることができる。本発明による送信機は、本発明による符号化装置を有し、符号化ビデオデータ信号を送信するための送信手段を更に有する。好ましくは、符号器の出力は、送信手段として機能する。逆に、本発明による受信機は、復号装置を有し、符号化ビデオデータ信号を受信するための受信手段を更に有し、有線又は無線チャネルを通じて到着するデータを処理する。好ましくは、復号器の入力は、受信手段として機能する。上に示されるように、送受信手段の性質は、データを交換するために使用されるチャネルの種類に依存する。

あるいは、チャネルを通じて符号化ビデオデータ信号を送信及び/又は受信する代わりに、符号化ビデオデータ信号は、記憶媒体に記憶される及び/又は記憶媒体から読み出されることもできる。そのような実施の形態において、それぞれの方法は、ビデオデータ信号を記憶媒体若しくは記憶装置に記録する及び／又はビデオデータ信号を記憶媒体若しくは記憶装置から読みだす追加のステップを有する。

記憶媒体又は記憶装置は、光学記憶媒体(例えばCD、CD-R、CD-RW、DVD、DVD+R、DVD-R、DVD+RW、DVD-RW又はブルーレイ・ディスク)であることができる。同様に、符号化ビデオデータ信号は、HDD又はソリッドステート記憶媒体に記憶されることができる。記憶及び/又は読出装置は、次に、より大きい装置(例えばパーソナル・コンピュータ、パーソナル・ビデオレコーダ又はブルーレイ・プレーヤー)の一部であることができる。

本発明がビデオデータ信号を記憶する及び/又はビデオデータ信号を読み出すための装置に組み込まれる場合、好ましくはビデオデータ信号を提供するための出力は、さらに、ビデオデータ信号を記憶するための手段を組み込む。逆に、そのような場合、ビデオデータ信号を受信するための入力は、好ましくは、ビデオデータ信号を読み出すための手段を含む。

当業者にとって明らかであるように、それぞれの手段は、関与する記憶媒体又は記憶装置によって変化する。

本発明による復号器及び符号器は、処理のための手段を含み、例えば復号器の場合、復号器は、遷移領域の幅を決定するための手段、α値を決定するための手段及び色を決定するための手段を含む。そのような処理手段が幅広い処理プラットホームで実施されることができることは、当業者にとって明らかである。そのようなプラットホームは、専用のハードウェア(例えばASIC又はFPGA)から成ることができる。しかしながら、そのような処理は、さらに、例えばPC環境内で、汎用プロセッサ又はビデオ信号プロセッサのような汎用処理プラットホーム上での実行のためのソフトウェアとして実施されることができる。ハイブリッド・ハードウェア・ソフトウェア・ソリューションも想定される。本発明が本発明による復号器内の手段に関して説明されたが、同じことが本発明による符号器内の手段にも当てはまる。

本発明は、透明度値及び透明度マップを参照して説明される。しかしながら、本発明は等しい効果を伴って不透明度値及び不透明度マップに適用されることができることは当業者にとって明らかである。透明度及び不透明度はこの点で実質的に相補的であり、一方はオブジェクトが透明である程度を定め、他方はオブジェクトが不透明である程度を定める。

いうまでもなく、本発明は同様に、コンピュータプログラム、特に、本発明を実施するために適応されたキャリア中のコンピュータプログラムに拡張される。プログラムは、ソースコード、オブジェクトコード、コード中間ソース及び部分的にコンパイルされた形のオブジェクトコードの形態、あるいは、本発明による方法の実施における使用に適した任意の他の形態であることができる。いうまでもなく、そのようなプログラムは、多くの異なる方式設計を有することができる。例えば、本発明による方法又はシステムの機能を実施するプログラムコードは、１つ以上のサブルーチンに再分割されることができる。これらのサブルーチンの間に機能を分散する多くの異なる態様は、当業者にとって明らかである。サブルーチンは、自己完結的なプログラムを形成するために、１つの実行可能ファイル中に一緒に記憶されることができる。そのような実行可能ファイルは、コンピュータ実行可能な命令(例えばプロセッサ命令及び/又はインタプリタ命令(例えばJavaインタプリタ命令)) を含むことができる。別の態様では、サブルーチンの１つ以上又は全ては、少なくとも１つの外部ライブラリファイル中に記憶されることができ、例えば実行時に、静的に又は動的にメイン・プログラムにリンクされることができる。メイン・プログラムは、サブルーチンのうちの少なくとも1つ対する少なくとも１つの呼び出しを含む。同様に、サブルーチンは、互いに対する関数呼出しを含むことができる。コンピュータプログラム製品に関する実施の形態は、述べられた方法のうちの少なくとも１つの処理ステップの各々に対応しているコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに再分割されることができ、及び/又は、静的に若しくは動的にリンクされることができる１つ以上のファイル中に記憶されることができる。コンピュータプログラム製品に関する他の実施の形態は、述べられたシステム及び/又は製品のうちの少なくとも１つの手段の各々に対応するコンピュータ実行可能な命令を含む。これらの命令は、サブルーチンに再分割されることができ、及び/又は、静的に若しくは動的にリンクされることができる１つ以上のファイル中に記憶されることができる。

コンピュータプログラムのキャリアは、プログラムを伝達することが可能な任意のエンティティ又は装置であることができる。例えば、キャリアは、ROM（例えばCD-ROM若しくは半導体ROM）、又は、磁気記憶媒体（例えばフロッピーディスク又はハードディスク）のような、記憶媒体を含むことができる。さらに、キャリアは、電気若しくは光ケーブルを介して又は無線若しくは他の手段によって伝達されることができる伝播性キャリア(例えば電気又は光信号)であることができる。プログラムがそのような信号で実施される場合、キャリアは、そのようなケーブル又は他の装置若しくは手段によって構成されることができる。別の態様では、キャリアは、プログラムが組み込まれた集積回路であることができ、この集積回路は、関連する方法を実行するため、又は関連する方法の実行に用いるために適応される。

上述の実施の形態は、本発明を制限ではなく説明し、当業者は添付の請求の範囲から逸脱することなく多くの代替の実施例を設計することが可能であることが留意されるべきである。請求の範囲において、括弧間に配置された任意の参照符号は、請求の範囲を制限するものとして解釈されてはならない。「有する」「含む」などの用語及びそれらの活用形は、請求の範囲に挙げられたもの以外の他の要素又はステップの存在を除外しない。単数で表現される要素は、そのような要素が複数存在することを除外しない。本発明は、いくつかの別個の素子から成るハードウェアによって、そして、適切にプログラムされたコンピュータによって、実施されることができる。いくつかの手段を列挙する装置請求項において、これらの手段のいくつかは、ハードウェアの同じ一つのアイテムによって実施されることができる。単にある手段が相互に異なる従属請求項中に述べられているからといって、利益を得るためにこれらの手段の組み合わせを用いることができないことは意味しない。

Claims (15)

1. ビデオデータ信号を符号化する方法であって、
   画像中のピクセルのための色情報を提供し、
   前記ピクセルのための深さ情報を有する深さマップを提供し、
   前記画像中の遷移領域の幅を表す遷移情報であって、前記遷移領域が深さ遷移及び前景オブジェクトと背景オブジェクトの色が混合される混合ピクセルを含む遷移情報を提供し、
   前記色情報、前記深さマップ及び前記遷移情報を表す符号化データを有する前記ビデオデータ信号を生成する、方法。
2. 前記遷移情報が、混合ピクセルの数としての対応する幅を前記深さ遷移のために定める幅マップを有する、請求項１に記載のビデオデータ信号を符号化する方法。
3. 前記遷移情報が、前記画像中の各ピクセルが前記遷移領域中にあるか否かを示す２進数マップを有する、請求項１に記載のビデオデータ信号を符号化する方法。
4. 前記２進数マップが前記画像より低い解像度を有する、請求項３に記載のビデオデータ信号を符号化する方法。
5. 前記遷移情報が、それぞれの遷移深さのための幅パラメータを有するテーブルを有する、請求項１に記載のビデオデータ信号を符号化する方法。
6. 前記遷移深さが、前記深さ遷移における前記前景オブジェクトの深さとして定められる、請求項５に記載のビデオデータ信号を符号化する方法。
7. 前記遷移深さが、前記深さ遷移における前記前景オブジェクトと前記背景オブジェクトの深さの組み合わせとして定められる、請求項５に記載のビデオデータ信号を符号化する方法。
8. ビデオデータ信号を復号する方法であって、前記ビデオデータ信号は、画像中のピクセルのための色情報、前記ピクセルのための深さ情報を有する深さマップ、並びに、深さ遷移及び前景オブジェクトと背景オブジェクトの色が混合される混合ピクセルを含む遷移領域の幅を表す遷移情報を表す符号化データを有し、当該方法は、
   前記ビデオデータ信号を受信し、
   前記遷移情報に基づいて、前記遷移領域の前記幅を決定し、
   前記遷移領域の前記幅に基づいて、前記混合ピクセルのα値であって、前記深さ遷移に対する距離に依存するα値を決定し、
   前記α値及び前記色情報に基づいて、前記混合ピクセルの色を決定する、方法。
9. 前記α値の決定が、前記深さ遷移の深さにさらに基づく、請求項８に記載のビデオデータ信号を復号する方法。
10. ビデオデータ信号を符号化するための符号化器であって、
    画像中のピクセルのための色情報、前記ピクセルのための深さ情報を有する深さマップ、並びに、深さ遷移及び前景オブジェクトと背景オブジェクトの色が混合される混合ピクセルを含む遷移領域の幅を表す遷移情報を提供する手段、
    前記色情報、前記深さ情報及び前記遷移情報を表す符号化データを有する前記ビデオデータ信号を生成するための手段、
    前記ビデオデータ信号を提供するための出力、
    を有する符号化器。
11. ビデオデータ信号を復号するための復号器であって、
    画像中のピクセルのための色情報、前記ピクセルのための深さ情報を有する深さマップ、並びに、深さ遷移及び前景オブジェクトと背景オブジェクトの色が混合される混合ピクセルを含む遷移領域の幅を表す遷移情報を表す符号化データを有するビデオデータ信号を受信するための入力、
    前記遷移情報に基づいて、前記遷移領域の前記幅を決定するための手段、
    前記遷移領域の前記幅に基づいて、前記混合ピクセルのα値であって、前記深さ遷移に対する距離に依存するα値を決定するための手段、
    前記α値及び前記色情報に基づいて、前記混合ピクセルの色を決定するための手段、
    を有する復号器。
12. ビデオデータ信号を符号化するためのコンピュータプログラムであって、請求項１に記載の方法をプロセッサに実行させるコンピュータプログラム。
13. ビデオデータ信号を復号するためのコンピュータプログラムであって、請求項８に記載の方法をプロセッサに実行させるコンピュータプログラム。
14. 画像中のピクセルのための色情報、前記ピクセルのための深さ情報を有する深さマップ、並びに、深さ遷移及び前景オブジェクトと背景オブジェクトの色が混合される混合ピクセルを有する遷移領域の幅を表す遷移情報を表す符号化データを有するビデオデータ信号。
15. 請求項１４に記載のビデオデータ信号が記録されたデジタルデータ担体。

Images