JP2016510473A - デプスマップのコンテンツを強化するための方法およびデバイス - Google Patents

Abstract

デプスマップ（１０）の第１の要素（２１）に関連付けられたコンテンツを強化するための方法であって、前記デプスマップ（１０）は、視点に従ってシーン（１）に関連付けられる。従って、前記デプスマップの空間内の前記第１の要素（２１）におけるデプスの変動を表す少なくとも第１の情報が設定される。

Description

本発明は、デプスマップの領域に関し、より詳細にはデプスマップのコンテンツを強化することに関する。本発明はまた、コンピュータ生成画像（ＣＧＩまたは３Ｄ−ＣＧＩ）のコンテキストで理解される。

従来技術によると、デプスマップを、シーンを表す画像に関連付けることが知られている。画像は、仮想シーンを表す合成画像かまたはカメラによって撮影された現実のシーンの画像である。また、デプスマップに含まれるデプス情報を使用して、可視性テストを行う、すなわち、カメラ視野に従ってシーンのどのフラグメントがシーンの別のフラグメントによって隠されているかを決定することも知られている。デプスマップは、典型的には、ピクセルまたはテクセルとも呼ばれる要素のＮラインおよびＭ列のアレイに対応し、単一のデプス情報が、デプスマップの各要素に関連付けられている。デプスマップの有限解像度は、シーンの第１のフラグメントがシーンの第２のフラグメントによって（またはその影で）隠されているかどうかを決定する際に、いくつかの近似をもたらし、カメラ視野に関するそのデプスは、デプスマップの（ピクセルまたはテクセルとも呼ばれる）要素に記憶される。結果として生じるエイリアシングは、バイアスエイリアシングとして知られている。このエイリアシングは、特に、デプスマップに関連付けられたカメラ視野から見られたときに、第１のフラグメントおよび第２のフラグメントがシーンのオブジェクトの同一表面に属する場合に発生することができる。

少なくとも部分的にこのバイアスエイリアシングアーチファクトを克服するために、デプスマップに関連付けられたカメラ視野までのフラグメントの距離がバイアスを加えたこのフラグメントに関連付けられたデプスマップの要素に記憶されたデプスより大きいとき、フラグメントが遮蔽されるまたは影になっているとみなされるバイアス値を使用することが知られている。しかしながら、バイアス値の導入は、ピーターパンアーチファクト（peter-panning artifact）として知られる別のエイリアシングを引き起こすことがある。

本発明の目的は、従来技術の欠点の少なくとも１つを克服することである。

より詳細には、本発明の目的は、先行技術よりも高い精度で、デプスマップの１つまたは複数の要素に関連付けられたデプス情報を設定することである。

本発明は、デプスマップの第１の要素に関連付けられたコンテンツを強化するための方法に関し、上記デプスマップは、視点に従ってシーンに関連付けられる。そして、本方法は、上記デプスマップのその空間内の上記第１の要素におけるデプスの変動を表す少なくとも第１の情報を設定するステップを含む。

特定の特徴によると、上記少なくとも第１の情報は、上記第１の要素に関連付けられたデプス情報から、および少なくとも第２の要素に関連付けられたデプス情報から設定され、上記第１の要素および上記少なくとも第２の要素は、上記デプスマップ内に投射された上記シーンの同一表面要素に属する。

有利には、上記第１の要素および上記少なくとも第２の要素は隣接する。

特定の特徴によると、上記少なくとも第１の情報は、上記第１の要素と上記少なくとも第２の要素との間のデプスの差の、上記第１の要素と上記少なくとも第２の要素との間の距離に対する比を計算することによって設定される。

有利には、上記少なくとも第１の情報は、上記デプスマップに関連付けられたカメラ視野の上記空間内に投射された上記シーンの表面要素の式から設定され、その投射された表面要素は、上記第１の要素を含む。

別の特徴によると、上記少なくとも第１の情報は、上記第１の要素におけるデプスの変動を表す傾斜角度の形態で表現される。

有利には、上記傾斜角度の形態で表現された上記少なくとも第１の情報は、奇数べき関数（odd power function）で符号化される。

特定の特徴によると、１つの第１の情報が上記デプスマップの上記空間の次元ごとに設定される。

別の特徴によると、本方法は、上記デプスマップ内の上記第１の要素に関連付けられた上記少なくとも第１の情報を記憶するステップをさらに含む。

有利には、上記第１の要素に関連付けられた上記コンテンツは、上記視点と上記シーンのフラグメントとの間のデプスを表す第２の情報を含み、上記フラグメントは、上記第１の要素を通過する視方向に沿って上記視点から可視の最も近いフラグメントに対応する。

また、本発明は、デプスマップの第１の要素に関連付けられたコンテンツを強化するように構成されたデバイスに関し、上記デプスマップは、視点に従ってシーンに関連付けられ、本デバイスは、上記デプスマップのその空間内の上記第１の要素におけるデプスの変動を表す少なくとも第１の情報を設定するように構成された少なくとも１つのプロセッサを備える。

有利には、上記少なくとも１つのプロセッサは、グラフィックプロセッサユニット（ＧＰＵ）である。

特定の特徴によると、上記少なくとも第１の情報は、上記第１の要素に関連付けられたデプス情報から、および少なくとも第２の要素に関連付けられたデプス情報から設定され、上記第１の要素および上記少なくとも第２の要素は、上記デプスマップ内に投射された上記シーンの同一表面要素に属する。

別の特徴によると、上記少なくとも１つのプロセッサは、上記少なくとも第１の情報を、上記第１の要素におけるデプスの変動を表す傾斜角度の形態で表現し、上記傾斜角度の形態で表現された上記少なくとも第１の情報を、奇数べき関数で符号化するようにさらに構成される。

また、本発明は、プログラムがコンピュータ上で実行されたとき、デプスマップの第１の要素に関連付けられたコンテンツを強化するための方法を実行するための少なくとも１つのプロセッサによる実行ためのプログラムコードの命令を含むコンピュータプログラム製品に関する。

本発明は、添付の図面を参照する以下の説明を読むことで、より良く理解され、他の特定の特徴および利点が明らかになる。
従来技術による、シーンに関連付けられた画像およびデプスマップを示す図である。 本発明の特定の実施形態による、図１のデプスマップの一部を示す図である。 本発明の２つの特定の実施形態による、図１のデプスマップ上に投射された図１のシーンの表面要素の投射を示す図である。 本発明の２つの特定の実施形態による、図１のデプスマップ上に投射された図１のシーンの表面要素の投射を示す図である。 本発明の２つの特定の実施形態による、図１のデプスマップ上に投射された図１のシーンの表面要素の投射を示す図である。 本発明の特定の実施形態による、図１のデプスマップの要素に記憶されたデプス情報を示す図である。 本発明の特定の実施形態による、図１のデプスマップに含まれるデプス情報の符号化を示す図である。 本発明の特定の実施形態による、図１のデプスマップに含まれるデプス情報の符号化を示す図である。 本発明の特定の実施形態による、図１のデプスマップのコンテンツを強化するための方法を実装するためのデバイスを概略的に示す図である。 本発明の特定の実施形態による、図１のデプスマップのコンテンツを強化するための方法を示す図である。

本発明は、デプスマップの第１の要素のコンテンツを強化するための方法の特定の実施形態を参照して説明される。デプスマップは、有利には、ＬおよびＭが０より大きい整数であるＬ行およびＭ列の要素のアレイに対応し、１つまたは複数の画像にレンダリングされるシーンに関連付けられる。デプスマップに含まれる要素の数は、たとえば、シーンの画像のピクセルの数に対応する。デプスマップは、有利には、デプスマップの空間内の第１の要素におけるデプスの変動を表す１つまたは複数の第１の情報によって強化される。

したがって、追加的な第１の情報が、必要に応じて、第１の要素の任意のポイントに関連付けられたデプスを取り出すことを可能にし、一方で、従来技術によるデプスマップでは、デプスマップの要素の任意のポイントに関連付けられたデプスは、第１の要素またはその中心に関連付けられたシーンの最も近い可視のフラグメントのデプスと同じであり、これに対応する。

図１は、特定の非限定的実施形態による、関連付けられたデプスマップ１０を有する画像１１にレンダリングされるシーン１を示す。画像１１は、（カメラ視野とも呼ばれ、図１に示されていない）所与の視点から見られるシーン１を表し、デプスマップは、別の視点１００（すなわち別のカメラ視野）に従って生成される。シーンは、たとえば仮想シーンに対応し、いくつかの仮想オブジェクト、すなわち第１のオブジェクト１２および第２のオブジェクト１３を含む。オブジェクト１２および１３は、当業者に知られている任意の方法によってモデリングされ、たとえば、それぞれがそれを構成する頂点およびエッジのリストによって定義される一組のポリゴン（メッシュ要素）とモデルが同化されるポリゴンモデリング、モデルが制御頂点によって作成された一組の曲線によって定義されるＮＵＲＢＳ（非一様有理Ｂスプライン）タイプ曲線モデリング、表面の細分割によるモデリング、によってモデリングされる。現実の環境／現実のシーン（たとえば、地面、家もしくは家の前面、人、車、木、すなわち、家、街路、町、地方などの一部など、環境を構成する任意の要素）または架空の要素を構成する、（現実または架空の）オブジェクトの（モデリングによって得られる）任意の仮想表現が、仮想オブジェクトによって理解される。シーン１の各オブジェクト１２、１３は、それを覆う表面によって特徴付けられ、各オブジェクトの表面は、それに特有の（１またはいくつかの方向で表面によって反射される入射光の比率に対応する）反射特性を有する。

デプスマップ１０は、ｎ個の要素１０１…１０ｐ’…１０ｎを含み、ｎは、デプスマップ１０の解像度を定義する、０より大きい整数であり、解像度は、たとえば、５１２×５１２ピクセル、１０２４×１０２４ピクセル、または４０９６×４０９６ピクセルに等しい。デプス情報は、有利には、デプスマップ１０の各要素に関連付けられる。このデプス情報は、視点１００と、デプスマップの要素を通過する視方向に沿ったシーン１の最も近い可視のフラグメントとの間の距離に対応し、デプスマップのこの要素は、シーンの最も近い可視のフラグメントに関連付けられる。要素１０ｐ’を例にとると、この要素１０ｐ’に関連付けられたデプス情報は、視点１００を起点として有し、要素１０ｐ’を通過し、有利には要素１０ｐ’の中心を通過する視方向１００ｐ’に沿った、視点１００とシーン１のフラグメントＰ’１２１との間の距離に対応する。フラグメントＰ’１２１は、視点１００から開始して視方向１００ｐ’によって交差されるシーンの最初の要素に対応する。デプス情報は、デプスマップの対応する要素の中心に関連付けられる。デプスマップ１０の要素の内部のデプスの変動を表す第１の情報は、有利には、デプスマップの各要素にさらに関連付けられ、この第１の情報は、図２から図４に関して説明されるように設定される。

画像１１は、ｍ個のピクセル１１１…１１ｐ…１１ｍを含み、ｍは、画像１１の解像度を定義する、０より大きい整数である。有利には、ｍはｎと異なり、たとえば、ｎがｍより大きい、またはｍがｎより大きい（デプスマップの解像度は、たとえば、５１２×５１２ピクセル、１０２４×１０２４ピクセル、または４０９６×４０９６ピクセルであるのに対し、画像１１の解像度は、たとえば、１０２４×７６８ピクセル、１２８０×７２０ピクセル、または１９２０×１２００ピクセルである）。変形形態によると、ｍはｎに等しく、デプスマップ１０と画像１１の両方が同じ解像度を有する。有利には、属性は、画像１１の各ピクセルに関連付けられ、たとえば、画像のピクセルに関連付けられたシーンのフラグメントのカラー情報（たとえばＲＧＢ情報）および／または半透明特徴を含む。フラグメントは、有利には、シーン１のポイントに関連付けられた表面要素に対応し、そのサイズは、ディスプレイスクリーン上でシーン１を表すように表示され得る画像１１のピクセルのサイズと等しい。シーン１のフラグメントは、フラグメントが画像１１に関連付けられた視点から可視である場合、画像内のピクセルとなる。明確にするため、シーン１の要素（たとえばポイント）が３Ｄシーンの空間（ワールド空間）に位置しているとき、フラグメントと呼ばれ、画像１１に関連付けられた視点から可視の同じ要素が画像１１の空間に位置しているとき、ピクセルと呼ばれる。したがって、画像１１に関連付けられた視点から可視のフラグメントおよび画像における対応するピクセルは、シーン１の全く同じ要素を言及し、本説明の残りの部分では一緒に扱われることがある。有利には、フラグメントは、以下のデータアイテムの１つまたはいくつかを一緒にグループ化する一組のデータによって定義される。

− フラグメントのラスター化位置、
− 視点におけるフラグメントのデプス、
− 属性（たとえば、色、テクスチャ座標）、
− フラグメントの半透明特徴を表すアルファチャネル。

シーンのフラグメントが画像１１の視点から可視であるかどうかを決定するために、（ｚバッファアルゴリズムとしても知られる）よく知られたｚバッファ法が、画像１１と同じ視点を有し、デプスマップ１０と同様の構造を有する１つまたは複数のデプスマップに関連して使用される。また、画像１１と同じ視点を有し、ｚバッファアルゴリズムで使用される１つまたは複数のデプスマップは、ｚバッファと呼ばれる。この方法によると、画像１１のピクセル１１ｐを例にとると、画像１１の視点を起点として有し、ピクセル１１ｐの中心を通過する視方向１１０ｐに沿って配置されたシーンのフラグメントのデプスが比較され、最小のデプス（すなわち、視方向１１０ｐに沿った視点からの最短の距離）を有するフラグメントＰ１３１は、属性がピクセル１１ｐに関連付けられたものである。変形形態によると、よく知られたペインタのアルゴリズムは、シーンのどのフラグメントが画像１１の視点から画像１１の各ピクセルについて可視であるかを決定することに関する可視性の問題を解決するために使用される。

図１の例によると、視点１００は、有利にはシーン１の光源に対応し、デプスマップ１０は、シーン１のどのフラグメントが光源によって照明され、シーンのどのフラグメントが影になるかを決定するために使用される。この例によると、デプスマップ１０はシャドウマップとも呼ぶことができる。次いで、（画像１１のピクセル１１ｐに対応する）フラグメントＰ１３１が照明されるか又はシーン１のオブジェクトの影になるかを決定するために、フラグメントＰ１３１が、視点１００とフラグメントＰ１３１とをリンクする視方向に沿ってデプスマップに投射される。視点１００とフラグメントＰ１３１との間の距離||ＬＰ||は、デプスマップ１０内へのフラグメントＰ１３１の投射に対応する要素１０ｐ’の中心に関連付けられたデプス情報||ＬＰ’||と比較される。||ＬＰ||が||ＬＰ’||より大きい場合、フラグメントＰ１３１はフラグメントＰ’１２１の影になっている（すなわち、フラグメントＰ１３１は光源Ｌによって直接照明されない）。||ＬＰ||が||ＬＰ’||以下である場合、フラグメントＰ１３１は光源Ｌによって直接照明される。有利な手法では、距離||ＬＰ||が比較されるデプス情報は、要素１０ｐ’の中心に関連付けられたデプス情報から、および要素１０ｐ’内のデプスの変動を表す第１の情報から取り出される。これは、特に、要素１０ｐ’に属している一方でデプスマップ内へのフラグメントＰ’１３１の投射ポイントが要素１０ｐ’の中心と一致しないときに、シーンの別のフラグメントによりフラグメントＰ１３１が照明されるかそれとも照明されないかを、より良い精度で決定することを可能にする。これは、デプスマップ１０の有限解像度に関係付けられたいくつかの欠陥を是正することを可能にする。フラグメントが照明されるかどうかを決定することは、画像１１におけるシーンをレンダリングするとき、すなわち、考慮されるフラグメントに関連付けられた画像１１のピクセルをレンダリングするとき、フラグメントの照明されるまたは照明されない特徴と調和するように考慮されるフラグメントにビデオ情報（たとえば、ＲＢＧデータ）を関連付けることを可能にする。したがって、画像のピクセルのレンダリングは、従来技術のデプスマップを使用するレンダリング方法と比べて、アーチファクトが少ないまたは存在せず精度が高い。

変形形態によると、シーン１は、画像１１を生成し、有利には異なる視点に従って１つまたは複数の他の画像を生成してシーンの２眼式立体映像を生成するカメラデバイスによって撮影された現実のシーンである。この変形形態によると、デプスマップは画像１１と同じ視点に従って生成され、デプスマップおよび画像１１は互いに関連付けられる。シーンの他の画像に関連付けられたデプスマップも生成することができる。デプスマップの要素の中心に関連付けられたデプス情報は、たとえば、カメラに関連付けられたデプスセンサを介して生成される。別の例によると、デプスマップは、２つの異なる視点に従って取得されたシーン１の２つの画像（たとえば、シーンの左画像および右画像）を比較することによって生成され、視差情報は、２つのペアによる各視界のピクセル間を一致させるために２つの画像をピクセル単位で比較することによって取り出され、視差情報は、左画像内のピクセルの位置と右画像内のその対応するピクセルの位置との間の横軸によるピクセルの差に対応する。この例によるデプスマップは、視差マップと呼ばれる。画像１１に関連付けられた視差マップは、画像１１（たとえば２眼式立体映像の左画像に対応する）と２眼式立体映像の別の画像（たとえば右画像）との間の視差を表し、別の視差マップを右画像に関連付けることができ、この別の視差マップは、右画像と左画像１１との間の視差を表す。各視差マップは、有利には、左画像１１（または右画像）のピクセルと右画像（または左画像１１）のピクセルとの比較およびペアリングによって推定される。左画像１１（または右画像）のピクセルに関連付けられた視差は、有利には、この左画像１１（または右画像）のピクセルと、右画像（または左画像１１）の対応する（またはペアにされた）ピクセル、すなわち、左画像１１（または右画像）のピクセルのビデオ情報（すなわちカラー情報）と同一または同様のビデオ情報を有する右画像（または左画像１１）のピクセルとの間のピクセル距離に対応する。デプスの変動を表す第１の情報は、図２から図４に関してより詳細に説明されるように、デプスマップ１０（視差マップ）の要素で設定され、関連付けられる。

図２は、特定の非限定的実施形態による、図１のデプスマップ１０の一部２０を示す。デプスマップのこの一部は第１の要素２１を中心とし、第１の要素２１はデプスマップ１０の８つの要素によって囲まれ、それらのうち、要素２２、２３および２４は第２の要素と呼ばれる。（図２に表示されない）視点１００とフラグメントＰ_T２５との間の距離を表すデプス情報ｐ_z,21は、第１の要素の中心Ｔ２１１に関連付けられる。第１の要素のポイントＴ２１１は、第１の要素２１を通過する視方向２１０に沿ったフラグメントＰ_T２５の投射ポイントに対応する。第１の要素２１に属するポイントＴ’２１２は、デプスマップ１０に関連付けられた視点１００を起点として有し第１の要素２１を通過する視方向２２０に沿ったフラグメントＰ_T’２６の投射ポイントに対応する。第１のフラグメント２５および第２のフラグメントは、有利には、互いに近く（たとえば隣接し）、シーンのオブジェクトの同一表面、すなわち、デプスマップ１０に関連付けられた視点１００に対応する光源Ｌ（図２に表示されない）によって照明されたオブジェクト１３の表面に属する。フラグメントＰ_T’２６が照明されるかどうかを決定するために、視点１００に従ったフラグメントＰ_T’２６のデプスは、第１の要素２１（または第１の要素２１の中心Ｔ２１１）に関連付けられたデプス情報と、第１の要素２１に関連付けられた第１の要素２１におけるデプスの変動を表す１つまたは複数の第１の情報とを使用して計算される、ポイントＴ’２１２に関連付けられたデプス情報と比較される。従来技術のデプスマップでは、フラグメントＰ_T’２４のデプスは、可視のアーチファクトを引き起こす可能性があった、第１の要素２１の中心Ｔ２１１に関連付けられたデプス情報ｐ_z,21と比較されているだけであった。実際、２つのフラグメント２５および２６が属するオブジェクト１３の表面が、第１のフラグメントおよび第２のフラグメントの視方向２１０および２２０にほぼ接する（または言い換えれば、オブジェクト１３の表面法線と１つの視方向２１０もしくは２２０とによって形成される角度が大きい、すなわち所定の閾値角度より大きい、たとえば４５°より大きい）ことを考慮することによって、特に、第２のフラグメントＰ_T’２６が視点に対して第１のフラグメントＰ_T２５の後であるとき、または第２のフラグメントＰ_T’２６が視点に対して第１のフラグメントＰ_T２５から遠くに配置されているとき、第１の要素２１の中心Ｔ２１１に関連付けられた（実際に距離ｐ_z,21＝||ＬＰ_T||に対応する）デプスと距離||ＬＰ_T’||の比較は、第２のフラグメントＰ_T’２６が第１のフラグメントＰ_T２５の影になることを設定することができる。これは、もちろん、図３Ａ、図３Ｂ、図４、および図５に関して説明されるように設定される第１の情報を含まない先行技術のデプスマップに記憶されるデプス情報の不正確さによる誤った考えである。実際、フラグメントＰ_T２５およびＰ_T’２６の両方が、オブジェクト１３の１つの同一表面に属するため、またデプスマップにおけるそれらの投射ポイントＴ２１１およびＴ’２１２が同じ第１の要素２１に属するため、それらは光源Ｌによって照明される（または視点１００から可視である）。

図３Ａおよび図３Ｂは、本原理の特定の非限定的実施形態による、第１の要素２１におけるデプスの変動を表す１つまたは複数の第１の情報を設定するための第１の方法を示す。図２および図３Ａおよび図３Ｂの共通の要素は同じ参照番号を有する。図３Ａは、シーン１に属する第２の表面要素の投射に対応する第１の表面要素３０を示し、第２の表面要素は、たとえば、シーンがポリゴンモデリングによってモデリングされている場合はメッシュ要素（ポリゴン、たとえば三角形）に、シーン１が表面の細分割によってモデリングされている場合は表面の細分割に対応する。図３の例によると、第１の表面要素は、三角形の形態をとり、デプスマップ１０の空間（ｘ，ｙ）で定義される。第１の表面要素３０は、要素の２×２の正方形を形成する少なくとも４つの要素２１、２２、２３、２４を含む。要素２１は、図２の第１の要素２１に対応し、要素２２、２３および２４は、第２の要素と呼ばれる。ｄｘは、デプスマップの空間（ｘ，ｙ）における横軸ｘに沿った第１の要素２１の中心と第２の要素２２の中心との間の距離を表す。ｄｙは、デプスマップの空間（ｘ，ｙ）における縦軸ｙに沿った第１の要素２１の中心と第２の要素２３の中心との間の距離を表す。デプスマップの空間（ｘ，ｙ）内の第１の要素２１におけるデプスの変動を表す第１の情報は、有利には、デプスマップにおける第１の表面要素３０の（シーン１のどのフラグメントが、シーン１の第２の表面要素の一部、したがってデプスマップの対応する第１の表面要素の一部であるかを決定することを可能にする）ラスター化プロセスの間に設定（すなわち計算または生成）され、ラスター化プロセスは、図５に関して後で説明されるように、ＧＰＵ（グラフィック処理ユニット）に関連付けられたグラフィックハードウェアパイプラインの幾何学図形的配列シェーダーによって行われる。ｘ軸に沿った第１の要素におけるデプスの変動を表す第１の情報は、ｘ軸に沿って第１の要素２１の中心と第２の要素２２の中心とを分離する距離ｄｘを考慮に入れることにより、第１の要素２１の中心に関連付けられたデプス情報から、およびｘ軸に沿って第１の要素２１に有利には隣接する第２の要素２２の中心に関連付けられたデプス情報から、設定される。図３Ｂは、第１の要素２１および第２の要素２２、ならびにそれぞれの中心に関連付けられたデプス情報ｄ１およびｄ２を示す。ｄ１およびｄ２は、破線矢印によって表され、第１の要素２１と第２の要素２２との間のデプス差は、線分３１によって表され、第１の要素２１と第２の要素２２とのそれぞれの中心の間の距離ｄｘ３２は、二重矢印によって表される。第１の要素２１におけるデプスの変動を表す第１の情報は、直線３１の関数の偏微分係数を設定することによって得られるこの線分３１の傾斜に対応する。

ｘ軸に沿ったデプスマップの空間内の第１の要素におけるデプスの変動を表す第１の情報は、次の式によって設定することができる。

式中、ｄｐ_z,21／ｄｘは、第１の要素２１に関連付けられたｘ軸に沿った第１の情報に対応し、またｘ軸に沿ったデプス偏微分係数（partial depth derivative）にも対応し、
ｐ（２１）は、第１の要素２１の中心Ｔ２１１に関連付けられたデプス情報に対応し、
ｐ（２１−ｄｘ）＝ｐ（２２）は、第２の要素２２の中心に関連付けられたデプス情報に対応する。

同様に、ｙ軸に沿った第１の要素におけるデプスの変動を表す第１の情報は、ｙ軸に沿って第１の要素２１の中心Ｔ２１１と第２の要素２３の中心とを分離する距離ｄｙを考慮に入れることにより、第１の要素２１の中心に関連付けられたデプス情報から、およびｙ軸に沿って第１の要素２１に有利には隣接する第２の要素２３の中心に関連付けられたデプス情報から、設定される。ｙ軸に沿ったデプスマップの空間内の第１の要素２１におけるデプスの変動を表す第１の情報は、次の式によって設定することができる。

式中、ｄｐ_z,21／ｄｙは、ｙ軸に沿った第１の要素２１に関連付けられた第１の情報に対応し、またｙ軸に沿ったデプス偏微分係数にも対応し、
ｐ（２１）は、第１の要素２１の中心Ｔ２１１に関連付けられたデプス情報に対応し、
ｐ（２１−ｄｙ）＝ｐ（２３）は、第２の要素２３の中心に関連付けられたデプス情報に対応する。

変形形態によると、（ｘ軸またはｙ軸のいずれかに沿った）２つの第１の情報の一方のみが、ＧＰＵのレンダリングパイプラインで行われる計算量を最小化するように設定される。

他の要素２２、２３および２４に関連付けられた第１の情報は、有利には、要素２１から２４の同じグループで設定される。たとえば、ｘ軸に沿った要素２２におけるデプスの変動を表す第１の情報ｄｐ_z,22／ｄｘは、要素２２の中心と要素２１の中心とを分離する距離ｄｘ３２を考慮に入れることにより、要素２２の中心に関連付けられたデプス情報ｐ（２２）から、および要素２１の中心Ｔ２１１に関連付けられたデプス情報ｐ（２１）から、設定される。ｙ軸に沿った要素２２におけるデプスの変動を表す第１の情報ｄｐ_z,22／ｄｙは、要素２２の中心と要素２４の中心とを分離する距離ｄｙを考慮に入れることにより、要素２２の中心に関連付けられたデプス情報ｐ（２２）から、および要素２４の中心に関連付けられたデプス情報ｐ（２４）から、設定される。（それぞれｘ軸およびｙ軸に沿った）両方の第１の情報は、以下の式によって設定することができる。

図４は、特定の非限定的実施形態による、図２の第１の要素２１におけるデプスの変動を表す１つまたは複数の第１の情報を設定するための第２の方法を示す。図４は、シーン１に属する第２の表面要素４２の投射に対応する第１の表面要素４１を示し、第２の表面要素は、たとえば、シーンがポリゴンモデリングによってモデリングされている場合はメッシュ要素（ポリゴン、たとえば三角形）に、シーン１が表面の細分割によってモデリングされている場合は表面の細分割に対応する。第２の表面要素４２は、ワールド空間、すなわちシーン１の空間において表される。第１の表面要素４１は、デプスマップ１０に関連付けられた正投影カメラに関連付けられた３次元空間４０における第２の表面要素４２の投射に対応する。正投影カメラを使用することは、ワールド空間に属する第２の表面要素を、デプスマップ１０に関連付けられたカメラ視野の３次元空間（ｘ，ｙ，ｚ）内に投射することを可能にする。デプスマップ１０の２Ｄ空間内のデプスマップの第１の要素におけるデプスの変動を表す１つまたは複数の第１の情報を設定するために、正投影カメラ４０の３Ｄ空間内の第１の表面要素４１に関連付けられた平面を表す関数が決定され、以下のようになる。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０ 式５

式中、ａ、ｂ、ｃおよびｄは、平面係数であり、ｘ、ｙおよびｚは、平面のポイントの座標であり、ｚは、デプスに対応する。
ｚ＝−（ａｘ＋ｂｙ＋ｄ）／ｃ 式６

これは、デプスマップの空間のｘ軸に沿った第１の情報（ｄｐ_z,21／ｄｘ）、および／またはデプスマップの空間のｙ軸に沿った第１の情報（ｄｐ_z,22／ｄｙ）を設定することを可能にする。
ｄｐ_z,21／ｄｘ＝−ａ／ｃ 式７
ｄｐ_z,22／ｄｙ＝−ｂ／ｃ 式８

図５は、本原理の特定の非限定的実施形態による、デプスマップ１０の第１の要素２１を表すメモリ要素（またはメモリ要素の組み合わせ）の構造５を概略的に示す。構造５は、３つのメモリブロック５０、５１、５２を含む。第１の要素の中心に関連付けられたデプス情報ｐ_z,21は第１のブロック５０に記憶され、デプスマップの空間のｘ軸に沿ったデプスの変動を表す第１の情報ｄｐ_z,21／ｄｘは第２のブロック５１に記憶され、デプスマップの空間のｙ軸に沿ったデプスの変動を表す第１の情報ｄｐ_z,21／ｄｙは第３のブロック５２に記憶される。デプスマップの構造は、たとえば、３２ビットＲＧＢＡバッファであり、ブロック５０に１６ビットが使用され、第２のブロック５１に８ビットが使用され、第３のブロック５２に８ビットが使用される。別の例によると、デプスマップの構造は、ＲＧＢＡバッファに記憶された６４ビットデータアレイであり、第１のブロック５０に３２ビット、ブロック５１および５２のそれぞれに１６ビットを有する。単一の第１の情報が（ｘ軸またはｙ軸に沿って）設定される場合、ブロック５１および５２の一方が空であり、解放された空間のメモリは、より高い精度で単一の第１の情報を記憶するために使用することができる。

次いで、デプスマップ１０に記憶され図２の第１の要素２１に関連付けられた第１の情報は、第１の要素２１のポイントＴ’２１２に関連付けられたデプス情報を計算するために使用され得る。ポイントＴ’２１２に関連付けられたデプス情報ｐ_z,T’は、以下の式によって計算される。
ｐ_z,T’＝ｐ_T＋(ｘ_T’−ｘ_T)ｄｐ_z,21／ｄｘ＋(ｙ_T’−ｙ_T)ｄｐ_z,21／ｄｙ 式９

式中、ｐ_T＝ｐ_z,21は、第１の要素２１の中心Ｔ２１１に関連付けられたデプス情報であり、
ｘ_T’およびｙ_T’は、デプスマップ１０の空間（ｘ，ｙ）内のポイントＴ’２１２の座標であり、
ｘ_Tおよびｙ_Tは、デプスマップ１０の空間（ｘ，ｙ）内のポイントＴ２１１の座標であり、ｄｐ_z,21／ｄｘは、ｘ軸に沿った第１の要素２１におけるデプスの変動を表す第１の情報であり、ｄｐ_z,21／ｄｙは、ｙ軸に沿った第１の要素２１におけるデプスの変動を表す第１の情報である。

フラグメントＰ_T’２６が照明されるか、それともフラグメントＰ_T２５によって光から隠されるかを決定するために、視点１００とフラグメントＰ_T’２６との間の距離||ＬＰ_T’||が、ポイントＴ’２１２に関連付けられたデプス情報ｐ_z,T’と比較され、式９によって計算される。||ＬＰ_T’||がｐ_z,T’以下である場合、フラグメントＰ_T’２６は（図２に図示されないが図１に図示される）光源Ｌ１００によって照明される。||ＬＰ_T’||がｐ_z,T’より大きい場合、フラグメントＰ_T’２６は光源Ｌ１００によって照明されない。

図６Ａおよび図６Ｂは、特定の非限定的実施形態による、デプスマップ１０の第１の要素２１におけるデプスの変動を表す第１の情報の符号化を示す。デプスマップの第１の要素におけるデプスの変動を表す第１の情報の値は、前向きの表面（すなわち、デプスマップの第１の要素２１の中心を通過する視方向に対して平行または略平行の法線を有するオブジェクトの表面）の存在下でかなり小さく、逆に、グレージング角表面（すなわち、デプスマップの法線に対して垂直または略垂直の法線を有するシーンのオブジェクトの表面）の存在下で非常に大きい可能性がある。そのような振幅は、高精度の浮動記憶域（float storage）を必要とし、デプスマップの記憶域をかなり増大させる可能性がある。他方で、第１の情報が（デプスマップのｘ軸に沿った）ｘおよび（デプスマップのｙ軸に沿った）ｙの線形関数の傾斜を表すため、以下のように傾斜角度によって表すことができる。
θ_x(ｐ_z,21)＝arctan(ｄｐ_z,21／ｄｘ) 式１０
θ_y(ｐ_z,21)＝arctan(ｄｐ_z,21／ｄｙ) 式１１

これらの角関数は、境界範囲［−π／２，π／２］において定義され、たとえば、π／２５６、すなわち約０．７０３度）の精度で、符号なしの８ビット整数値で記憶することができる。図６Ａは、そのような角関数６０を示し、範囲［−π／２，π／２］は、［−１．０；１．０］に正規化される。

図６Ａでは、低角度に関して、第１の情報値（すなわち、微分係数または率）がゆっくり変化し、角度の精度が重要でないことが認められる。それは、領域の境界の近く、すなわち、−π／２およびπ／２の近くでは重要となる。小さい角度変動は、誤ったデプス再構成をもたらす可能性がある大きな微分係数変動を表す。より高い精度を有することは、たとえば１６または３２ビットサイズのデータ記憶域を増大することを必要とする。本発明の１つの特定の非限定的実施形態によると、軸ｘおよびｙに沿ったデプスマップの空間内のデプスマップの第１の要素におけるデプスの変動を表す角関数、すなわち、関数θ_x(ｐ_z,21)およびθ_y(ｐ_z,21)は、０付近の角領域を圧縮し、領域の境界の近く、すなわち、−π／２およびπ／２の近くのエリアについてより高い精度を与えるために、奇数べき関数ｘ^y（たとえばｘ³またはｘ⁵）で符号化される。そのような関数６１および有効な圧縮が、奇数べき関数によって図６Ｂに示されている（図６Ｂは、奇数べき関数（すなわち図６Ｂの例ではｘ³）を使用して正規化された角領域圧縮を示す）。そのような実施形態は、各第１の情報値について８ビットデータ記憶域のみを用いて高精度で第１の情報（すなわち微分係数）を記録できるようにする。符号なしの８ビット整数の（ｘ軸およびｙ軸にそれぞれ沿った）最終的な符号化された第１の情報値Ｅ_dx(ｐ_z,21)およびＥ_dy(ｐ_z,21)は、以下のようにして得られる。

式中、ｎは、正の奇数の整数を表す。

第１の情報値を得るための復号化は、有利には、フラグメントが照明されるかどうか（またはフラグメントが可視であるかどうか）を決定するためにデプス比較を行うシーンレンダリングパスで行われる。

復号化された第１の情報値ｄｐ_z,21／ｄｘおよびｄｐ_z,21／ｄｙは、以下のようにして得られる。

図７は、デプスマップの第１の要素に関連付けられたコンテンツを強化するように構成されたデバイス７のハードウェア実施形態を概略的に示す。デバイス７はまた、シーン１を表す１またはいくつかの合成画像のディスプレイ信号を作成するように構成されている。デバイス７は、たとえば、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、スマートフォンまたはゲームコンソールに対応する。

デバイス７は、クロック信号も移送するアドレスおよびデータのバス７５によって互いに接続された、以下の要素を備える。すなわち、
− マイクロプロセッサ７１（またはＣＰＵ）と、
− グラフィックカード７２であって、
・いくつかのグラフィックプロセッサユニット（またはＧＰＵ）７２０、及び
・グラフィカルランダムアクセスメモリ（ＧＲＡＭ）７２１
を含むグラフィックカード７２、
− ＲＯＭ（読出し専用メモリ）タイプの不揮発性メモリ７６と、
− ランダムアクセスメモリまたはＲＡＭ７７と、
− １またはいくつかのＩ／Ｏ（入力／出力）デバイス７４、たとえば、キーボード、マウス、ウェブカメラなどと、
− 電源７８と、
を備える。

デバイス７はまた、たとえばライブで、グラフィックカード７２において計算および構成された合成画像を表示するために、グラフィックカード７２に直接接続されたディスプレイスクリーンタイプのディスプレイデバイス７３を備える。ディスプレイデバイス７３をグラフィックカード７２に接続するための専用バスの使用は、はるかに速いデータ伝送ビットレートを有するという利点をもたらし、したがって、グラフィックカードによって構成される画像の表示のための待ち時間を低減する。変形形態によると、ディスプレイデバイスは、デバイス７の外部にあり、ディスプレイ信号を送信するためにケーブルまたは無線でデバイス７に接続される。デバイス７たとえばグラフィックカード７２は、たとえばＬＣＤまたはプラスマスクリーンまたはビデオプロジェクタなどの外部ディスプレイ手段へディスプレイ信号を送信するように適合された、伝送または接続用のインターフェース（図７に図示せず）を備える。

メモリ７２１、７６、および７７の説明に使用される単語「レジスタ」は、前述されたメモリのそれぞれにおいて、小容量（いくらかのバイナリーデータ）のメモリ領域とともに、（プログラム全体、または計算されたもしくは表示すべきデータを表すデータのすべてもしくは一部が記憶されることを可能にする）大容量のメモリ領域を示すことに留意されたい。

起動されると、マイクロプロセッサ７１は、ＲＡＭ７７に含まれるプログラムの命令をロードし実行する。

ランダムアクセスメモリ７７は、特に、
− レジスタ７７０における、デバイス７上のスイッチングを担当するマイクロプロセッサ７１のオペレーティングプログラムと、
− シーンを表すパラメータ７７１（たとえば、シーンのオブジェクトのモデリングパラメータ、シーンの照明パラメータ）と、
を含む。

本発明に特有の後述される方法のステップを実装するアルゴリズムは、これらのステップを実装するデバイス７に関連付けられたグラフィックカード７２のメモリＧＲＡＭ７２１に記憶される。起動され、環境を表すパラメータ７７１がＲＡＭ７７にロードされると、グラフィックカード７２のグラフィックプロセッサ７２０は、これらのパラメータをＧＲＡＭ７２１にロードし、これらのアルゴリズムの命令を、たとえば、ＨＬＳＬ（高レベルシェーダー言語）またはＧＬＳＬ（ＯｐｅｎＧＬシェーディング言語）を使用して、「シェーダー」タイプのマイクロプログラムの形態で実行する。

ランダムアクセスメモリＧＲＡＭ７２１は、特に、
− レジスタ７２１１における、シーンを表すパラメータと、
− レジスタ７２１２における、デプスマップの中心に関連付けられたデプス情報と、
− レジスタ７２１３における、デプスマップの空間内のデプスマップの要素におけるデプスの変動を表す１または２つの第１の情報と、
を含む。

変形形態によると、第１の識別子および第２の識別子ならびに距離は、ＲＡＭ７７に記憶されマイクロプロセッサ７１によって処理される。

別の変形形態によると、ＧＲＡＭ７２１で使用可能なメモリ記憶空間が不十分な場合、ＲＡＭ７７の一部が、ＣＰＵ７１によって識別子および距離の記憶域のために割り当てられる。しかしながら、この変形形態は、ＧＰＵに含まれたマイクロプログラムから構成された環境の表現を含む画像の構成において、より長い待ち時間を生じさせるが、その理由は、データがグラフィックカードからランダムアクセスメモリ７７にバス７５を介して送信されなければならず、そのための伝送容量が、ＧＰＵからＧＲＡＭへのデータの伝送およびその逆のためにグラフィックスカードで使用可能なそれらより一般に劣るためである。

別の変形形態によると、電源７８はデバイス７の外部にある。

図８は、本発明の第１の非限定的な特に有利な実施形態による、たとえばデバイス７において実装されるデプスマップの第１の要素に関連付けられたコンテンツを強化するための方法を示す。

初期化プロセス８０において、デバイス７の様々なパラメータが更新される。特に、画像１１において表されるシーン１を表すパラメータ、およびデプスマップ１０に含まれるデプス情報が、何らかのやり方で初期化される。

次いで、ステップ８１において、デプスマップの第１の要素（たとえば、テクセルまたはピクセル）におけるデプスの変動を表す少なくとも第１の情報は、デプスマップの空間内で設定される。第１の情報は、（デプスを表す第２の情報と呼ばれる）１つのデプス情報を含むだけの先行技術のデプスマップのコンテンツを強化するために使用され、そのデプス情報は、第１の要素の中心に関連付けられ、デプスマップの視点を起点として有し第１の要素を通過する視方向に沿ったデプスマップに関連付けられた視点から可視であるシーンのフラグメントのデプスに対応する。有利なやり方では、２つの第１の情報、すなわち、デプスマップの空間の横軸に沿ったデプスの変動を表す１つの第１の情報と、デプスマップの空間の（横軸に垂直の）縦軸に沿ったデプスの変動を表すもう１つの第１の情報とが設定される。変形形態によると、２つの第１の情報の一方のみ、すなわち、デプスマップの空間の横軸に沿ったデプスの変動を表す第１の情報またはデプスマップの空間の縦軸に沿ったデプスの変動を表す第１の情報のいずれかが設定される。第１の情報は、有利には、先行技術によって行われるように第１の要素の中心のデプス情報を第１の要素の任意のポイントに関連付ける代わりに、第１の要素の任意のポイントに関連付けられたデプス情報を、デプスマップの空間において表現されるこのポイントの座標を使用して設定するために、第１の要素の中心に関連付けられたデプス情報に加えて使用される。

第１の情報は、たとえば、第１の要素の中心に関連付けられたデプス情報から、およびデプスマップの第２の要素の中心に関連付けられたデプス情報により設定される。第１の要素および第２の要素は、デプスマップ内へのシーンの表面要素の投射から生じる同一表面要素に属する。デプスマップの空間の横軸に沿ったデプスの変動を表す第１の情報を設定するために使用される第１の要素および第２の要素は、有利には、横軸に沿って隣接する。デプスマップの空間の縦軸に沿ったデプスの変動を表す第１の情報を設定するために使用される第１の要素および第２の要素は、有利には、縦軸に沿って隣接する。第１の情報は、有利には、第１の要素と第２の要素との間のデプスの差の、第１の要素と第２の要素との間の距離（たとえば、第１の要素の中心と第２の要素の中心との間の距離）に対する比に対応する。

別の例によると、第１の情報は、デプスマップに関連付けられたカメラ視野の空間内にシーンの表面要素を投射することにより得られた、第１の要素を含む表面要素の式を使用して、設定される。第１の情報は、この表面要素の傾斜に対応し、その式は、デプスマップの空間の横軸および／または縦軸に関して、デプスマップのカメラ視野の空間において表現される。

変形形態によると、１つまたは２つの第１の情報は、第１の要素におけるデプスの変動を表す傾斜角度の形態で表現される。

別の変形形態によると、第１の情報のこの（これらの）角度表現は、奇数べき関数で符号化される。

さらなる変形形態によると、第１の情報は、第１の要素に関連して、デプスマップに関連付けられたバッファに記憶される。

別の変形形態によると、シーンの画像は、画像に関連付けられた視点（すなわちカメラ視野）から可視であるシーンのフラグメントに関連付けられたピクセルを表示することによってレンダリングされる。画像の表示されたピクセルに関連付けたカラー情報（たとえばＲＧＢ情報）は、画像のピクセルに関連付けたフラグメントに関連付けられたカラー情報に対応する。画像のピクセルに関連付けられたフラグメントのデプスは、有利には、起点としてデプスマップの視点を有し検討されるフラグメントを終点として有する視方向に沿ったシーンに関連付けられたデプスマップ内へのフラグメントの投射のポイントに関連付けられたデプスと比較され、投射のポイントに関連付けたデプスは、投射のポイントを含むデプスマップの要素に関連付けられた第１の情報および第２の情報から取り出される。この比較は、（シーンの光源がデプスマップの視点に対応するときに）検討されるフラグメントが照明されるかどうかを決定することを可能にし、それは、フラグメントに関連付けられたカラー情報に対して、したがって、レンダリングされる画像のピクセルに関連付けられたカラー情報に対して影響を及ぼし得る。

ステップ８１は、有利には、デプスマップの要素ごと、およびシーンの任意の画像に関連付けられたデプスマップごとに反復される。

もちろん、本発明は、先に説明された実施形態に限定されない。

特に、本発明は、デプスマップのコンテンツを強化するための方法に限定されず、この方法を実装する任意のデバイス、特に少なくとも１つのＧＰＵを備える任意のデバイスにも及ぶ。基本的幾何学図形的配列の生成、および基本的幾何学図形的配列に割り当てられる指標値の決定に必要な計算の実装は、いずれもシェーダータイプマイクロプログラムでの実装に限定されず、任意のプログラムタイプ、たとえば、ＣＰＵタイプマイクロプロセッサによって実行され得るプログラムでの実装にも及ぶ。

本発明の利用は、ライブ利用に限定されず、任意の他の利用、たとえば、たとえば合成画像の表示のためのレコーディングスタジオにおけるポストプロダクション処理として知られる処理のための利用にも及ぶ。

本発明はまた、デプスマップの空間内のデプスマップの要素におけるデプスの変動を表すデプス情報を符号化するための方法（および構成されたデバイス）に関する。本発明はさらに、第１の要素の中心に関連付けられたデプス情報、ならびにデプスマップの横軸および／または縦軸に沿ったデプスの変動を表す追加のデプス情報に基づいて、デプスマップの第１の要素のポイントに関連付けられたデプス情報を決定するための方法およびデバイスに関する。

（微分係数とも呼ばれる）第１の情報を第１のパス（シャドウマップレンダリング）で符号化し、それらを第２のパス（シーンレンダリング）で復号化し、それらを使用してデプス比較を行うために、ＧＰＵ（グラフィックプロセッサユニット）に存在するプログラマブルレンダリングパイプラインが利用される。本発明のいくつかの実施形態を組み合わせるプロセス全体のためのＧＰＵ実装は、以下のように動作する。

１．第１のパスが、たとえばデプス／シャドウマップを表す１つの３２ビットレンダリングターゲット（１または２つのコンポーネント）におけるライトビュー（light view）からのシーンをレンダリングする。

２．頂点処理段階で、頂点シェーダーが、メッシュ要素（たとえば三角形）頂点をオブジェクト空間から光クリップ空間に変換するようにセットアップされる。

３．フラグメント処理段階で、フラグメントシェーダーがセットアップされる。フラグメントのデプスｐ_zが、テクセルがラスター化されるために光クリップ空間（すなわち、デプス／シャドウマップの空間）で得られる。ｐ_zが、３２ビットの最終値の上位１６ビットに書き込まれる。

４．第１の情報（デプス微分係数ｄｐ_z／ｄｘ及びｄｐ_z／ｄｙ）が計算される。デプス微分係数は、表面（たとえば三角形）平面式から計算される、または、ほとんどのＧＰＵ（ｄＦｄｘ（ＯｐｅｎＧＬ）もしくはｄｄｘ（ＤｉｒｅｃｔＸ））で使用可能な導関数から直接得られる。次いで、それらは、デプスバッファの２つの下位８ビットに最終値として符号化される。最終値は、デプス／シャドウマップに書き込まれる。

５．第２のパスは、カメラビューからのシーンをレンダリングする。デプス／シャドウマップは、ＧＰＵテクスチャユニットに結合される。

６．フラグメント処理段階で、フラグメントシェーダーがセットアップされる。ビューサンプルＰが光空間（デプス／シャドウマップの空間）に投射されて、クリップ空間におけるそのデプスｐ_z、それが属するシャドウマップ空間（ｐ_x，ｐ_y）およびテクセル（ｉ，ｊ）内のその投射位置を与える。

７．テクスチャ検索がシャドウマップにおいて行われて、記憶された値を取り出す。上位１６ビットが読み取られて、２つの下位８ビット値からｐ_zならびにｄｐ_z／ｄｘおよびｄｐ_z／ｄｙを取り出す。

８．次いで、Ｐ投射と一致する遮眼子（occluder）のデプスｄｚが取り出される。

９．ｄｚ＜ｐ_zである場合、Ｐが影にされる。そうでない場合、それは影にされない。テスト結果が、後で使用される（持ち越される）ためにシャドウバッファに書き込まれる、または同じフラグメントシェーダーにおいて表面照明と組み合わされる。

本明細書に説明された実装は、たとえば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。単一形態の実装の文脈でのみ論じられる（たとえば、方法またはデバイスとしてのみ論じられる）場合でも、論じられた特徴の実装は、他の形態（たとえばプログラム）で実装されてもよい。装置は、たとえば、適切なハードウェア、ソフトウェア、およびファームウェアで実装され得る。たとえば、方法は、たとえば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む、たとえば一般に処理デバイスと呼ばれるプロセッサなどの装置で実装され得る。プロセッサはまた、たとえば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を促進する他のデバイスのような通信デバイスを含む。

本明細書に説明された種々のプロセスおよび特徴の実装は、様々な異なる機器またはアプリケーション、特に、たとえば、データ符号化、データ復号、ビュー生成、テクスチャ処理、ならびに画像および関係付けられたテクスチャ情報および／またはデプス情報の他の処理に関連付けられた機器またはアプリケーションで実施され得る。そのような機器の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力を提供するプリプロセッサ、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セル電話、ＰＤＡ、および他の通信デバイスを含む。明らかに、機器は移動式であってよく、移動車両内に設置されてもよい。

加えて、方法は、命令がプロセッサによって実行されることにより実装されてよく、そのような命令（および／または実装により生成されるデータ値）は、プロセッサ可読媒体、たとえば、集積回路、ソフトウェアキャリアまたは他のストレージデバイス、たとえば、ハードディスク、コンパクトディスク（「ＣＤ」）、光ディスク（たとえば、ディジタル多用途ディスクもしくはディジタルビデオディスクとしばしば呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、または読出し専用メモリ（「ＲＯＭ」）に記憶されてよい。命令は、プロセッサ可読媒体上に有形に具現されるアプリケーションプログラムを形成することができる。命令は、たとえば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせであってよい。命令は、たとえば、オペレーティングシステム、別個のアプリケーション、または２つの組み合わせに見出され得る。したがって、プロセッサは、たとえば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有する（ストレージデバイスなどの）プロセッサ可読媒体を含むデバイスとの両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実装によって生成されたデータ値を記憶することができる。

当業者には明らかなように、実装は、たとえば記憶または送信され得る情報を搬送するようにフォーマットされた種々の信号を生成することができる。情報は、たとえば、方法を実行するための命令、または説明された実装の１つによって生成されたデータを含むことができる。たとえば、信号は、説明された実施形態のシンタックスを書くもしくは読み取るための規則をデータとして搬送する、または説明された実施形態によって書き込まれた実際のシンタックス値をデータとして搬送するようにフォーマットされ得る。そのような信号は、たとえば、（たとえば、スペクトルの無線周波数部分を使用して）電磁波として、またはベースバンド信号としてフォーマットされ得る。フォーマットすることは、たとえば、データストリームを符号化し、符号化されたデータストリームにより搬送波を変調することを含むことができる。信号が搬送する情報は、たとえば、アナログまたはディジタル情報とすることができる。信号は、知られているように、様々な異なる有線またはワイヤレスリンクを介して送信することができる。信号は、プロセッサ可読媒体上で記憶することができる。

多くの実装が説明されてきた。それでも、種々の修正が行われ得ることは理解されよう。たとえば、異なる実装の要素が組み合わされる、補完される、修正される、または除去されることで、他の実装を作成してもよい。加えて、他の構造およびプロセスが、開示されたそれらの代わりとされてもよく、その結果の実装が、少なくとも実質的に同じやり方で少なくとも実質的に同じ機能を実行して、開示された実装と少なくとも実質的に同じ結果を達成することは、当業者には理解されよう。したがって、これらおよび他の実装は本出願によって企図される。

本発明は、たとえば、ＰＣもしくはポータブルタイプコンピュータまたはライブで画像を生成し表示する専用のゲーム機で実行され得るプログラムによるかどうかにかかわらず、ビデオゲームアプリケーションで使用することができる。図７に関して説明されたデバイス７は、有利には、キーボード、マウス、ジョイスティック、または、たとえば音声認識も可能なようなコマンドの導入のための任意の他のモードなどの対話手段が備えられる。

Claims (15)

1. デプスマップ（１０）の第１の要素（２１）に関連付けられたコンテンツを強化するための方法であって、前記デプスマップ（１０）は、視点（１００）に従ってシーン（１）に関連付けられ、前記方法は、前記デプスマップの空間内の前記第１の要素（２１）におけるデプスの変動を表す少なくとも第１の情報（５１、５２）を設定するステップ（８１）を含む、前記方法。
2. 前記少なくとも第１の情報（５１、５２）は、前記第１の要素（２１）に関連付けられたデプス情報（５０）から、および少なくとも第２の要素（２２、２３）に関連付けられたデプス情報から設定され、前記第１の要素および前記少なくとも第２の要素は、前記デプスマップ内に投射された前記シーンの同一表面要素に属する、請求項１に記載の方法。
3. 前記第１の要素（２１）および前記少なくとも第２の要素（２２、２３）は隣接する、請求項２に記載の方法。
4. 前記少なくとも第１の情報（５１、５２）は、前記第１の要素（２１）と前記少なくとも第２の要素（２２）との間のデプスの差の、前記第１の要素（２１）と前記少なくとも第２の要素（２２）との間の距離（３２）に対する比を計算することによって設定される、請求項２又は３に記載の方法。
5. 前記少なくとも第１の情報は、前記デプスマップ（１０）に関連付けられたカメラ視野（４０）の前記空間内に投射された前記シーンの表面要素（４１）の式から設定され、当該投射された表面要素（４１）は、前記第１の要素を含む、請求項１に記載の方法。
6. 前記少なくとも第１の情報は、前記第１の要素におけるデプスの前記変動を表す傾斜角度（６０）の形態で表現される、請求項１乃至５のいずれかに記載の方法。
7. 前記傾斜角度の形態で表現された前記少なくとも第１の情報は、奇数べき関数（６１）で符号化される、請求項６に記載の方法。
8. １つの第１の情報が前記デプスマップの前記空間の次元ごとに設定される、請求項１乃至７のいずれかに記載の方法。
9. 前記デプスマップ内の前記第１の要素に関連付けられた前記少なくとも第１の情報を記憶するステップをさらに含む、請求項１乃至８のいずれかに記載の方法。
10. 前記第１の要素に関連付けられた前記コンテンツは、前記視点（１００）と前記シーン（２５）のフラグメントとの間のデプスを表す第２の情報（５０）を含み、前記フラグメントは、前記第１の要素（２１）を通過する視方向（２１０）に沿って前記視点（１００）から可視の最も近いフラグメントに対応する、請求項１乃至９のいずれかに記載の方法。
11. デプスマップの第１の要素に関連付けられたコンテンツを強化するように構成されたデバイス（７）であって、前記デプスマップは、視点に従ってシーンに関連付けられ、前記デバイスは、前記デプスマップの空間内の前記第１の要素におけるデプスの変動を表す少なくとも第１の情報を設定するように構成された少なくとも１つのプロセッサ（７２０）を備える、前記デバイス（７）。
12. 前記少なくとも１つのプロセッサ（７２０）は、グラフィックプロセッサユニット（ＧＰＵ）である、請求項１１に記載のデバイス（７）。
13. 前記少なくとも第１の情報は、前記第１の要素に関連付けられたデプス情報から、および少なくとも第２の要素に関連付けられたデプス情報から設定され、前記第１の要素および前記少なくとも第２の要素は、前記デプスマップ内に投射された前記シーンの同一表面要素に属する、請求項１１又は１２に記載のデバイス（７）。
14. 前記少なくとも１つのプロセッサは、前記少なくとも第１の情報を、前記第１の要素におけるデプスの前記変動を表す傾斜角度の形態で表現し、前記傾斜角度の形態で表現された前記少なくとも第１の情報を、奇数べき関数で符号化するようにさらに構成される、請求項１１乃至１３のいずれかに記載のデバイス（７）。
15. プログラムがコンピュータ上で実行されたとき、請求項１乃至１０のいずれかに記載の方法を実行するための前記プログラムのコードの命令を含む、コンピュータプログラム製品。