JP2018534705A - ３次元画像のための三角形メッシュの生成 - Google Patents

Abstract

装置は３次元画像の三角形メッシュを生成するように構成される。この装置は、深度マップを提供する深度マップ源（１０１）を含み、ツリー生成器（１０５）が深度マップのｋ−Ｄツリーを生成する。ｋ−Ｄツリーは、非分割領域の深度変動尺度が閾値より小さいとの制約を満たす深度マップの階層的領域構成を表す。三角形メッシュ生成器（１０７）は、内部頂点をｋ−Ｄツリーの各領域内に配置する。次いで、三角形メッシュが、三角形メッシュの三角形の辺を隣接する非分割領域の内部頂点間を結ぶ線として形成することにより生成される。このアプローチにより、多くの３次元ビデオ処理アルゴリズムに適した改良された三角形メッシュが生成され得る。

Description

本発明は、３次元画像用の三角形メッシュの生成に関し、特に、排他的ではないが、２次元画像および深度マップによって表される３次元画像用の三角形メッシュの生成に関する。

３次元（３Ｄ）ディスプレイは、視者の２つの目に視聴されているシーンの異なるビューを提供することによって、視体験に第３の次元を加える。これは、ユーザに、表示される２つのビューを分離する眼鏡をかけさせることによって達成することができる。しかし、これはユーザにとって不便であると考えられるので、多くのシナリオでは、ディスプレイにおいて、（レンチキュラレンズやバリアなどの）手段を使用してビューを分離し、異なる方向にビューを送り、ビューが個別にユーザの目に届くオートステレオスコピックディスプレイを使用することが好ましい。ステレオディスプレイの場合、２つのビューが必要であるのに対して、オートステレオスコピックディスプレイは、一般により多くのビュー（例えば、９つのビューなど）を必要とする。

３Ｄ機能性を実現するためには、３次元情報の効果的な表現および処理を利用できることが重要である。広く使用されている手法の１つは、適切なアルゴリズムによって処理および操作できる３次元オブジェクトによって３次元情報を表現することである。

多くのシナリオで特に効果的なアプローチは、共通のエッジまたはコーナーによってポリゴンのセットが接続されるポリゴンメッシュによってイメージオブジェクトを表現することである。共通のエッジまたはコーナーは３次元の位置によって与えられる。従って、結合された３次元ポリゴンメッシュは、場合によっては画像全体の３次元記述を含む３次元オブジェクトの有効なモデルを提供する。ポリゴンメッシュは、多くの場合、３Ｄ空間で共通のコーナーを持つ三角形で形成された三角形メッシュである。

そのような表現では、ポリゴンメッシュを使用してオブジェクトの３次元形状の情報を提供するが、テクスチャは通常、別個のデータ構造として提供される。具体的には、テクスチャは、処理アルゴリズムによって３次元ジオメトリ上に重ねることができる別個の２次元マップとして提供されることが多い。

三角形メッシュの使用は、コンピュータグラフィックスアルゴリズムによる処理および操作に特に適しており、多くの効率的なソフトウェアおよびハードウェアソリューションが開発され、市販されている。システムの多くで、各ポリゴンを別々に処理するのではなく、複数のポリゴンに共通の個々の頂点を処理するアルゴリズムによって、高い計算効率が達成される。例えば、典型的な三角形メッシュの場合、個々の頂点は複数の（多くの場合３ないし８個の）三角形に共通することが多い。したがって、単一の頂点の処理は、比較的多数の三角形に適用可能であり、それによって、処理されている画像その他のオブジェクト内の点の数が大幅に削減される。

特定の例として、現在の多くのシステムオンチップ（ＳｏＣ）は、３Ｄグラフィックスの処理に高度に最適化されたグラフィック処理ユニット（ＧＰＵ）を含む。例えば、３Ｄオブジェクトジオメトリおよび３Ｄオブジェクトテクスチャの処理は、いわゆるＯｐｅｎＧＬレンダリングパイプライン（またはＤｉｒｅｃｔＸなどの他の多くのＡＰＩ）において、２つの大きく異なるパスを使用して行われる。ＳｏＣ上のＧＰＵのハードウェアは、３Ｄソースが頂点（通常は三角形）とテクスチャの形でＧＰＵに提示されている限り、３Ｄグラフィックスを効率的に処理できる。ＯｐｅｎＧＬアプリケーションインターフェイスでは、３Ｄオブジェクトが２Ｄスクリーンにどのように投影されるかを決定する仮想パースペクティブカメラの設定と制御が可能になる。ＯｐｅｎＧＬは３Ｄオブジェクトを入力として使用するが、出力は通常、通常の２Ｄディスプレイにおける２Ｄ画像である。

しかしながら、このようなアプローチは多くのシナリオにおいて魅力的であるが、３次元情報はポリゴンメッシュおよび関連するテクスチャ情報によって提供されることが必要である。しかしながら、多くの用途において、３次元画像データは、例えば画像及び深度マップなどの異なるフォーマットで提供され得る。

実際、広く使用されている３Ｄフォーマットは、一般にポストプロダクションで制作された、ステレオビデオから推定された、またはデプスカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）を使用してキャプチャされた深度マップを有するビデオである。別のよく使用される３Ｄフォーマットは、左目および右目のビューに対応するステレオ画像を使用するものである。このような頻繁に使用されるフォーマットには、ポリゴンやテクスチャで表される静的オブジェクトは含まれない。

したがって、そのようなアプリケーションでは、ビデオプラスデプス（またはステレオ画像）フォーマットの、例えばＯｐｅｎＧＬアルゴリズムを用いた再生に直接的に好適であるポリゴンメッシュおよびテクスチャ画像からなるフォーマットへの変換を実行することが望ましい。

しかしながら、そのような変換は、簡単なものではなく、多くの複雑な問題と課題を抱えています。具体的には、深度マップ（又はステレオ画像）を有する画像を（ポリゴンメッシュで表される）ジオメトリ及びテクスチャに変換するために、深度マップを、各頂点がｘ、ｙ及びｚ座標を有する頂点を有するポリゴンのセットに変換する必要がある。さらに、変換は、典型的には、各頂点がビデオテクスチャ上のどこにマップするかを指定する、いわゆるｕ、ｖ−テクスチャ座標を決定することができる。これらの（ｕ、ｖ）パラメータは、例えば、投影行列を使用して（ｘ、ｙ）パラメータから求めることができ、またはその逆もできる。

このようなポリゴンマップへの変換を実行するには様々な方法がある。多くの用途において、変換の好ましい特性は次を含む：
− ポリゴンは、各ｕ、ｖテクスチャ座標が３Ｄポリゴンメッシュ上の固有の位置にマップされるメッシュを形成する必要がある。
− メッシュは穴なしで連続している必要がある。
− ポリゴンは深度マップを正確にモデル化しなければならない。
− ＧＰＵの負荷を制限するには、ポリゴンの数を少なくしなければならない；
− 深度マップからポリゴンを抽出するアルゴリズムは、低複雑性でなければならない；
− 好ましくは、変換は、クライアント側またはサーバ側で実行することができる。

しかしながら、画像からポリゴンメッシュを生成する既知のアルゴリズムは、最適ではなく、不完全さに悩まされる傾向がある。したがって、３次元画像用の三角形メッシュを生成する改良された手法が有利であり、特に、柔軟性の向上、精度の向上、より一貫性がありおよび／または連続した三角形メッシュ、複雑さの低減、改善された計算効率、後続のグラフィックス処理に適した表現、グラフィックス処理の既存のアプローチとの互換性の向上、および／または改善された性能が可能なアプローチが有利である。

従って、本発明は、好ましくは、単独でまたは組み合わされて、上記の１つ以上の不利な点を緩和もしくは解消するものである。

本発明の一態様により提供される装置は、３次元画像の三角形メッシュを生成する装置であって、深度マップを提供する深度マップ源と、前記深度マップのｋ−Ｄツリーを生成するツリー生成器であって、前記ｋ−Ｄツリーが、非分割領域の深度変動尺度が閾値より小さいとの要件を満たす前記深度マップの階層的領域構成を表す、ツリー生成器と、内部頂点を前記ｋ−Ｄツリーの各非分割領域内に配置し、前記三角形メッシュの三角形の辺を、隣接する非分割領域の内部頂点間の線として構成することにより、前記三角形メッシュを生成するように構成された三角形メッシュ生成器とを有する。

本発明により、改良された三角形メッシュが生成され得る。本アプローチにより、多くの実施形態において、より正確及び／又は高画質の３次元画像またはビデオ処理及びレンダリングが実現され得る。多くのシナリオにおいて、三角形メッシュを生成する効率的なアプローチを提供しつつ、正確かつ一貫性があり穴の無い三角形メッシュを生成できる。多くの実施形態において、複雑性及び／又はリソース使用量を低減し得る。

深度マップは３次元画像の深度マップを提供し得る。３次元画像は深度マップと２次元画像とにより表され得る。３次元画像はより大きい３次元画像の一部であってもよく、例えば、より大きい画像中の３次元オブジェクトの表現であってもよい。 深度マップは３次元画像の一部の深度マップであってもよい。三角形メッシュは部分的なものであってもよく、３次元画像の一部のみに対して生成されてもよい。特に、深度マップは画像の３次元オブジェクト（のみ）に対して提供されてもよく、三角形メッシュは画像の３次元オブジェクト（のみ）に対して生成されてもよい。

ツリー生成器１０５は、領域の深度変動尺度が閾値より大きいことの検出に応じて、その領域をサブ領域に分割するように構成され得る。閾値は適応的閾値であってもよい。例えば、領域の閾値はその領域のサイズに依存してもよい。

ｋ−Ｄツリーは階層ツリーであってもよく、各ノードが深度マップの領域を表し、親ノードの子ノードが、その親ノードにより表される領域のサブ領域を表してもよい。複数の領域は具体的に少なくとも一点において接触していれば、隣接していると言って良い。

ｋ−Ｄツリーは、深度変動尺度が閾値より小さいとの要件をすべての非分割領域が満たすまで、領域を、より小さいサブ領域（ｓｕｂｒｅｇｉｏｎｓ）に反復的に分割することにより生成され得る。このように、ｋ−Ｄツリーの最小領域の場合、深度変動尺度は閾値より小さく、深度は非分割領域において比較的一定であると考え得る。

内部頂点は領域内に配置され、それゆえその領域に完全に取り囲まれている。内部頂点は、１つの領域のみと接触し、それゆえ二以上の領域間の辺や境界や接合部には配置されない。三角形メッシュは、少なくとも２つの隣接する非分割領域の内部頂点間に形成される辺を有する少なくとも１つの三角形を含み得る。したがって、この三角形は少なくとも２つの隣接した非分割領域の一部を含むように形成され、すなわちこの三角形は少なくとも２つの領域の一部にわたり、完全に１つの領域内には制約されない。

多くの実施形態において、三角形メッシュのすべての三角形は、内部頂点間で辺を形成することにより生成される。多くの実施形態において、少なくとも１つの三角形は、３つの隣接する非分割領域の３つの内部頂点である三角形のコーナー、角または頂点により形成される。多くの実施形態において、三角形メッシュの少なくとも一部のすべての三角形は、３つの隣接する非分割領域の内部頂点として決められたコーナー、角または頂点をそれぞれが有する複数の三角形により形成されている。

三角形メッシュは、複数の三角形の連続的な３次元メッシュであってもよい。

幾つかの実施形態では、ｋ−Ｄツリーは、ある位置に対して、その位置が含まれる領域の寸法（具体的にはサイズ）を示す値を有する深度マップに対応する２次元マップにより表されてもよい。

本発明の任意的な一特徴によると、領域の内部頂点は前記領域の中心に配置される。

これにより多くのシナリオで、有利な三角形メッシュが生成できるようになる一方、オペレーションが容易になる。特に、多くのシナリオで、連続的な三角形メッシュを直接生じ得る複数の頂点の生成を簡単にできる。特に、正方形領域を用いる四分木の場合、本アプローチにより確実に、連続した三角形メッシュを生成することができる。したがって、領域の頂点は、領域の幾何学的中心に位置することができる。

本発明の任意的な一特徴によると、前記三角形メッシュ生成器は、３つの領域間の各接合部に対し、前記三角形が前記３つの領域の内部頂点を接続する辺を有する三角形を形成するように構成される。

これにより、多くのシナリオにおいて、複雑性とリソース使用量を低く抑えながら、改良された三角形メッシュを生成できる。多くのタイプのｋ−Ｄツリーについて、このアプローチにより（自動的に）、連続的な三角形メッシュが生成され得る。例えば、正方形領域を用いる四分木の場合、このアプローチにより、３つの領域間の接合部に対して連続的にフィットした三角形（ｃｏｎｔｉｎｕｏｕｓｌｙ ｆｉｔｔｉｎｇ ｔｒｉａｎｇｌｅｓ）を生成してもよい。

本発明の任意的な一特徴によると、前記三角形メッシュ生成器は、４つの領域間の各接続部に対して２つの三角形を形成するように構成され、前記２つの三角形は前記４つの領域の対角線対向する２つの領域の頂点を結ぶ共通辺を有し、１つの三角形は、前記対角線対向する２つの領域の内部頂点を前記４つの領域のうちの第３の領域の内部頂点と結ぶ辺を有するように形成され、１つの三角形は、前記対角線対向する２つの領域の内部頂点を前記４つの領域のうちの第４の領域の内部頂点と結ぶ辺を有するように形成される。

これにより、多くのシナリオにおいて、複雑性とリソース使用量を低く抑えながら、改良された三角形メッシュを生成できる。多くのタイプのｋ−Ｄツリーについて、このアプローチにより（自動的に）、連続的な三角形メッシュが生成され得る。例えば、正方形領域を用いる四分木の場合、このアプローチにより、４つの領域間の接合部に対して連続的にフィットした三角形（ｃｏｎｔｉｎｕｏｕｓｌｙ ｆｉｔｔｉｎｇ ｔｒｉａｎｇｌｅｓ）を生成してもよい。

三角形メッシュ生成器は、２つの三角形が、４つの領域の対角線対向した２つの領域の頂点を結ぶ共通辺と、４つの領域のうちの第３の領域および第４の領域に対角線対向する２つの涼気の頂点を接続する辺とを有する、４つの領域間に各接合部の２つの三角形を形成するように構成され得る。

本発明の任意的な一特徴によると、ｋ−Ｄツリーは四分木である。

これにより、多くの実施形態において実装が特に効率的になる一方、三角形メッシュを決定するのに有用な非常に正確なｋ−Ｄツリーが生成できる。

本発明の任意的な一特徴によると、前記ツリー生成器はさらに前記３次元画像の輝度またはクロマ特性に応じて領域を分割するように構成される。

これにより、改良されたｋ−Ｄツリーが生成され、それにより、改良された三角形メッシュが生成され得る。

本発明の任意的な一特徴によると、前記ツリー生成器は、正方形領域であることに制約されない矩形領域を有するｋ−Ｄツリーを生成するように構成される。

多くのシナリオにおいて、これにより三角形メッシュの改良が可能となる。特に、多くのシナリオでは、ｋ−Ｄツリーの深度マップへのより密なフィッティングが可能となり、これにより、多くのシナリオでは、生成される領域がより少なくなり、三角形がより少ない三角形メッシュが得られる。これによりさらに、三角形メッシュに基づくその後のビデオ処理が容易になり得る。

ツリー生成器はこのように多くの実施形態では、矩形領域が正方形であるとの制約を受けずに、矩形領域を生成できる。

幾つかの実施形態では、ツリー生成器とメッシュ生成器とのうち少なくとも一方は、接合部を形成する３つの領域の三角形がその接合部を取り囲んでいないことの検出に応じて、少なくとも１つの領域を分割するように構成される。

これは、連続的な三角形メッシュの生成を支援し得る（または幾つかのシナリオにおいて、連続的な三角形メッシュが生成されるようにし得る）。このアプローチは、効率的な実装を可能にすることができ、多くの実施形態では、複雑さの低いおよび／またはリソースの要求の低い実装を提供することができる。

本発明の任意的な一特徴によると、前記ツリー生成器は、分割に続き３つの領域により形成される各接合部が前記接合部を含むとの制約の下に領域を分割するように構成される。

これは、連続的な三角形メッシュの生成を支援し得る（または幾つかのシナリオにおいて、連続的な三角形メッシュが生成されるようにし得る）。このアプローチは、効率的な実装を可能にすることができ、多くの実施形態では、複雑さの低いおよび／またはリソースの要求の低い実装を提供することができる。

幾つかの実施形態では、ツリー生成器は、第１の領域の近傍である第２の領域と、その分割に起因する２つのサブ領域との間の接合部の評価により、第１の領域を分割するように構成され、
前記評価は、以下の評価のうちの少なくとも１つを含む：第１の領域と第２の領域の共通辺と、第２の領域の頂点から第２の領域から遠い第１の領域のコーナーまでの線との間の交点が、接合部よりそのコーナーに近いかどうかの評価と；第２の領域の頂点と、２つのサブ領域の頂点との間の線が、第１の領域と第２の領域との間の共通辺と交わるかどうかの評価と；接合部が第１の領域および第２の領域の共通辺の外側にあるかどうかの評価。

これは、連続的な三角形メッシュの生成を支援し得る（または幾つかのシナリオにおいて、連続的な三角形メッシュが生成されるようにし得る）。このアプローチは、効率的な実装を可能にすることができ、多くの実施形態では、複雑さの低いおよび／またはリソースの要求の低い実装を提供することができる。

本発明の任意的な一特徴によると、前記ツリー生成器は送信器の一部であり、前記三角形メッシュ生成器は受信器の一部であり、前記送信器は前記３次元画像を表す画像データストリームを生成し、前記ｋ−Ｄツリーを前記画像データストリームに符号化するように構成され、前記受信器は前記画像データストリームから前記ｋ−Ｄツリーを取り出し、前記三角形メッシュ生成器に提供するように構成される。

このアプローチは、多くのシナリオにおいて３次元情報の非常に効率的な通信を可能にすることができる。多くの実施形態では、このアプローチは、サーバ側（画像送信器）とクライアント側（画像受信器）との間の機能性および計算資源使用の特に有利な分布をもたらし得る。

三角形メッシュ生成器は、頂点を前記取り出されたｋ−Ｄツリーの各領域内に配置し、前記三角形メッシュの三角形の辺を、取り出されたｋ−Ｄツリーの隣接する領域の頂点間の線として形成することにより、前記三角形メッシュを生成するように構成され得る。

本発明の任意的な一特徴によると、前記送信器は、前記ｋ−Ｄツリーに画像符号化を適用して符号化ｋ−Ｄツリーを生成し、前記符号化ｋ−Ｄツリーを前記画像データストリームに含めるように構成される。

このアプローチは、多くのシナリオにおいて３次元情報の非常に効率的な通信を可能にすることができる。特に、多くの実施形態では、このアプローチは、既存のビデオ符号化フォーマットおよび機能性を再利用することができ、または三角形メッシュに関連する情報を運ぶように容易に適合させることができる。

幾つかの実施形態では、送信器は、ｋ−Ｄツリーにカラーまたは輝度チャネル符号化を適用し、得られた符号化データを画像データストリームに含めるように構成することができる。

幾つかの実施形態では、画像符号化は、複数のチャネルを含む符号化された画像表現を提供し、送信器は、複数のチャネルの第１のチャネルで深度マップを符号化し、ｋ−Ｄツリーを少なくとも複数のチャネルの第２のチャネルで符号化するように構成される。

このアプローチは、多くのシナリオにおいて３次元情報の非常に効率的な通信を可能にすることができる。特に、多くの実施形態では、このアプローチは、既存のビデオ符号化フォーマットおよび機能性を再利用することができ、または三角形メッシュに関連する情報を運ぶように容易に適合させることができる。

幾つかの実施形態では、送信器は、輝度チャネルおよび少なくとも１つのカラーチャネルを含むビデオ表現を符号化するように構成されたビデオエンコーダを備え、送信器は、深度マップを輝度チャネルに符号化し、ｋ−Ｄツリーを少なくとも１つのカラーチャネルに符号化するように構成される。

幾つかの実施形態では、画像符号化は、少なくとも２つのカラーチャネルを含む符号化画像表現を提供し、送信器は、ｋ−Ｄツリーの垂直領域情報を、少なくとも２つのカラーチャネルのうちの１つのカラーチャネルに符号化し、ｋ−Ｄツリーの水平領域情報を、少なくとも２つのカラーチャンネルのうちの他のカラーチャンネルに符号化するように構成される。

このアプローチは、多くのシナリオにおいて３次元情報の非常に効率的な通信を可能にすることができる。特に、多くの実施形態では、このアプローチは、既存のビデオ符号化フォーマットおよび機能性を再利用することができ、または非正方形領域三角形メッシュに関連する情報を運ぶように容易に適合させることができる。

本発明の幾つかの実施形態に従って、本装置は、さらに前記３次元画像を符号化する画像エンコーダをさらに有し、前記画像エンコーダは前記ｋ−Ｄツリーを用いて前記画像を符号化するように構成される。

これは、多くの実施形態において非常に効率的な動作を提供することができ、特に、複雑さ及び／又はリソース使用量及び／又は配信／通信に使用／必要な帯域幅を低減することができる。

本発明の一態様により提供される方法は、３次元画像の三角形メッシュを生成する方法であって、
深度マップを提供することと、前記深度マップのｋ−Ｄツリーを生成することであって、前記ｋ−Ｄツリーが、非分割領域の深度変動尺度が閾値より小さいとの要件を満たす前記深度マップの階層的領域構成を表す、ことと、内部頂点を前記ｋ−Ｄツリーの各非分割領域内に配置することと、前記三角形メッシュの三角形の辺を隣接する非分割領域の内部頂点間を結ぶ線として形成することにより前記三角形メッシュを生成することとを含む。

本発明の一態様により提供される装置は、三角形メッシュを生成する装置であって、３次元画像の表現を提供する画像データと、前記３次元画像の深度マップのｋ−Ｄツリーとを含むビデオ信号を受信する受信器であって、前記ｋ−Ｄツリーは、非分割領域の深度変動尺度が閾値より小さいとの要件を満たす前記深度マップの階層的領域構成を表す、受信器と、内部頂点を前記ｋ−Ｄツリーの各領域内に配置し、前記三角形メッシュの三角形の辺を、隣接する領域の内部頂点間の線として構成することにより、前記三角形メッシュを生成するように構成された三角形メッシュ生成器とを有する。

本発明の幾つかの実施形態に従って、本装置はさらに、前記画像データから３次元画像を復号する復号器をさらに有し、復号は前記ｋ−Ｄツリーに応じて行われる。

これは、多くの実施形態において非常に効率的な動作を提供することができ、特に、複雑さ及び／又はリソース使用量及び／又は配信／通信に使用／必要な帯域幅を低減することができる。

本発明の上記その他の態様、特徴、及び利点を、以下に説明する実施形態を参照して明らかにして説明する。

図面を参照して、本発明の実施形態を例示により説明する。
深度マップのｋ−Ｄツリーからの三角形メッシュの可能な決定を示す図である。 本発明の幾つかの実施形態による三角形メッシュを生成する装置の一例を示す図である。 本発明の幾つかの実施形態により決定される四分木の一部を示す図である。 本発明の幾つかの実施形態により決定される四分木の一部を示す図である。 本発明の幾つかの実施形態により決定される四分木の一部を示す図である。 本発明の幾つかの実施形態により決定される四分木の一部を示す図である。 本発明の幾つかの実施形態により決定される四分木の一部を示す図である。 四分木の１つのセクションに対する三角形メッシュの可能な決定を示す図である。 本発明のいくつかの実施形態によるｋ−Ｄツリーを生成する場合の考えられる考察の例を示す図である。 本発明のいくつかの実施形態によるｋ−Ｄツリーを生成する場合の考えられる考察の例を示す図である。 本発明のいくつかの実施形態によるｋ−Ｄツリーを生成する場合の考えられる考察の例を示す図である。 本発明の幾つかの実施形態による三角形メッシュを生成する装置の一例を示す図である。

（ビデオを含む）多くの３Ｄ画像処理アルゴリズムおよびプロセスは、多くの実施形態において高い計算効率を提供することができるので、三角形メッシュの使用に基づいている。しかし、多くの実施形態では、３次元画像を他のフォーマットで受け取ることができる。例えば、関連する深度マップを有する２次元画像を受け取ることができ、したがって、このような三角形メッシュベースのアルゴリズムでは直接使用することはできない。したがって、２次元画像および深度によって表される３Ｄ画像を、三角形メッシュに変換するアプローチを取ることが望ましい。

言うまでもなく、このような手法は、別のフォーマットの入力が受信されたときにも使用できる。例えば、異なる視点に対応する複数の画像として３次元画像が受信され、具体的には３Ｄ画像がステレオ画像として受信された場合、これを２次元画像および関連する深度マップに変換することができる。例えば、画像の１つは、異なる画像内の対応するオブジェクト間の視差に基づいて決定される対応する深度と、直接的に使用されてもよい。

画像および深度マップから三角形メッシュを生成する１つの手法は、四分木（ｑｕａｄｔｒｅｅ）またはより一般的にはｋ−Ｄツリーが最初に生成され、その後に三角形メッシュが四分木／ｋ−Ｄツリーから生成されるアプローチを用いることである。四分木は、具体的には、高効率ビデオ符号化（ＨＥＶＣ（Ｈ．２６５））規格などのビデオ符号化のいくつかの形態で使用されている。

ｋ−Ｄツリーまたは具体的には四分木では、各ノードは領域を表し（例えば、インデックスされる空間の一部を覆うバウンディングボックスを表すことができる）、ルートノードは空間全体をカバーする。領域の条件が満たされた場合、この領域はｎ個のサブ領域に分割される。そのような場合、領域に対応するノードには、（通常は予め定められた）数の子ノードが与えられ、各ノードはサブ領域を表す。次いで、これらのノードはさらに処理されて、潜在的にさらに分割されてもよい。このようにして、階層ツリーが構築される。

四分木は、具体的に、正方形領域を４つの新しい正方形に再帰的に分割するアルゴリズムを適用することによって画像を空間的に分割する。具体的に、四分木は、各内部ノードが正確に４つの子を有するツリーデータ構造である。四分木は、２次元空間を４つの象限または領域に再帰的に細分することによってその２次元空間を分割するために最も頻繁に使用される。細分化は、典型的には、所与の特性が適切な基準に従って十分に均質である領域にされる。したがって、ある領域が所定の閾値を超えて増加する特性の変化を有すると判定された場合、その領域は４つのより小さい領域に分割される。このプロセスは反復的に繰り返され、階層ツリーをもたらし、レベル数、したがって正方形のサイズが、一般的には画像にわたって変化する。

四分木は、ｋ−Ｄツリーの具体的な例であり、任意のサイズおよびアスペクト比の長方形が使用され得る。したがって、ｋ−Ｄツリーは、空間分割データ構造であり、個々のパーティション／領域が同質性基準を満たすまで、パーティション／領域がより小さいパーティション／領域に反復的に分割される。パーティション／領域は長方形であるが、基本的には任意のサイズおよび形状であってもよい。実際に、パーティション／領域のサブパーティション／領域への分割は、適応的であって、様々な特性およびパラメータに依存してもよく、特に、サブパーティション／領域内の特性に依存してもよい。したがって、ｋ−Ｄツリーの場合、領域／区画の部分領域／区画への分割により、一般的にはパーティション／領域内の特性に応じて、異なる数および領域および形状のサブパーティション／領域が得られる。

対照的に、四分木の場合、パーティションされる際、各領域は４つの部分領域に分割され、その結果、各ノードは正確に４つの子を有する。そのような四分木では、すべての領域がさらに正方形の領域であるため、分割は四つの同一の正方形サブ領域への分割になる。

現在の手法で生成されるｋ−Ｄツリーは、具体的には２次元マップ（深度マップ）に関するものであり、それゆえｋ−Ｄツリーは具体的には２−Ｄツリーである。具体的には、２−Ｄツリーは、領域の各分割が４つの同一かつ正方形の領域になり、したがって各ノードが４つの子（またはなし）を有する四分木であってもよい。

四分木またはｋ−Ｄツリーアルゴリズムが深度マップに適用される場合、これは、ある均質性基準が満たされるまで、再帰的に均質領域に分割されてもよい。しかしながら、このサブ分割から、三角形メッシュがどのように構築されるか、または構築されるべきかは明らかではない。

一つのアプローチは、三角形メッシュの三角形の頂点をそのような四分木の各接合点に配置し、これらを接続して四角形を形成し、その後、各四角形を二つの三角形に分割することができるようにすることである。図１は、かかるアプローチの一例を示す図である。図１は、深度マップの四分木の小さなセクションが複数領域に分割されることを具体的に示している。

このメッシュの問題は、（図中、×印で示した）いくつかの頂点では、対応するピクセル位置（ｉ，ｊ）の深度値Ｄ（ｉ，ｊ）を直接使用することは好ましくないことである。具体的には、識別された点はまた、別の三角形エッジの中間位置にある。交点（ｉ，ｊ）における深度マップの深度Ｄ（ｉ，ｊ）は、交点（ｉ，ｊ）がある側の２つの頂点間の線形補間によって与えられる深度と異なっていてもよい。したがって、深度マップ値Ｄ（ｉ，ｊ）を直接使用すると、３次元メッシュに穴が開く可能性がある。このような穴を開けないようにするアプローチは、その側の頂点間の補間値を決定し、これを使用することである。しかし、一般的には、そのような手法は、計算的にそれほど魅力的とは言えない。メッシュ計算が複雑になり、計算集約的になることが分かっているからである。

図２は、本発明の幾つかの実施形態による三角形メッシュを生成する装置の一例を示す図である。このアプローチは、多くのシナリオで三角形メッシュを改善することができ、具体的に、前述の欠点のいくつかを回避または緩和することができる。具体的には、この装置により、比較的低い計算資源需要を維持しながら、正確な三角形メッシュを生成することができる。

図２は、３次元画像の深度マップに基づいて（例えば、３次元画像の画像オブジェクトの）３次元画像の三角形メッシュを生成することができる装置を示す。したがって、この例では、３次元画像は、２次元画像および関連する深度マップによって表される。しかし、言うまでもなく、他の実施形態では、他のフォーマットを使用することもできる。例えば、２次元画像ではなく、遮蔽されるピクセルに関する情報も含むｚスタックを提供してもよい。

この例では、装置は、３次元画像の深度マップを提供するように構成された深度マップ源１０１と、深度マップに対応する２次元画像を提供するように構成された画像源１０３とを備える。

言うまでもなく、深度マップ源１０１および画像源１０３は、多くの実施形態では、共通の情報源であってもよい。例えば、多くの実施形態では、装置は、２次元画像および関連深度マップによって表される一連の３次元画像を含む３次元ビデオストリームを受信する受信器を有してもよい。受信器は、このデータストリームを復号し、各３次元画像ごとに、対応する画像および深度マップを提供するように構成することができる。したがって、受信器は、深度マップ源１０１と画像源１０３の両方の機能を実装することができる。

深度マップ源１０１は、深度マップからｋ−Ｄツリーを生成するように構成されたツリー生成器１０５に結合される。分割されていない領域の深度変動測定値が閾値未満であるという要件を満たす領域の階層配列を表すｋ−Ｄツリーが生成される。

したがって、ツリー生成器１０５は、深度変動尺度に基づいてｋ−Ｄツリーの生成を実行するように構成される。ある領域の深度変動尺度が所与の閾値を越える場合、その領域を１組のサブ領域に分割する、すなわち、その領域に対応する親ノードのサブ領域に対応する子ノードのセットを生成するように構成される。このアプローチは、生成されたすべての領域が基準を満たすまで反復して適用されるので、深度マップの、深度が比較的一定の複数の非分割領域への分割になる。実際、最も小さな領域、すなわち非分割領域の場合、深度変動尺度は閾値未満であり、したがって各（非分割）領域における深度の変動は（個々の実施形態の特性に応じて）ほぼ一定であることが保証される。

言うまでもなく、ｋ−Ｄツリーの各（最終の／非分割の）領域内で受け入れられる深度変動の程度は、個々の実施形態の好みおよび要件に依存する。同様に、使用される正確な深度変動尺度は、個々の実施形態の好みおよび要件に依存してもよく、言うまでもなく、個々の実施形態に適した領域内の深度の変動の任意の指標を使用してもよい。

一例として、領域内の最高深度値と最低深度値との間の差に対応する深度変動尺度を使用することができる。そのようなシナリオでは、ツリー生成器１０５は、深度マップを、最大深度差が所与の閾値より小さい領域のセットに分割する。これは、三角形メッシュの単一の三角形として潜在的に表現されるのに十分に均質であるとみなせる領域を生成することができる。

言うまでもなく、所与の要件に基づいてｋ−Ｄツリーを生成する様々なアルゴリズムが当業者に知られており、本発明を損なうことなく任意の適切な手法を使用できる。

ツリー生成器１０５は、ツリー生成器１０５によって生成されるｋ−Ｄツリーに応答して三角形メッシュを生成するように構成された三角形メッシュ生成器１０７に結合されている。メッシュ生成器１０７は、ｋ−Ｄツリーの各（非分割）領域内に頂点を配置することにより、メッシュを生成し、次いで、三角形メッシュの三角形の辺を、隣接領域の頂点間の線として構成することにより、三角形メッシュを生成することができる。したがって、メッシュ生成器１０７は、三角形の頂点を、領域間の接合部ではなく領域内に配置するように構成される。具体的には、各領域について、１つの頂点が生成され、領域の側ではなく領域内に、または２つ以上の領域が結合する交点／接合上に配置されてもよい。したがって、メッシュ生成器１０７のアプローチでは、１つの領域のみに属する頂点が生成される（各頂点は、１つの領域のみに接触するか、またはその領域によって囲まれてもよい）。

このアプローチでは、生成される頂点は、領域内に配置される内部頂点である。したがって、各内部頂点は、１つの領域にのみ接触するか、または単一の領域によって完全に囲まれているため、領域の境界、エッジまたは接合部には配置されない。以下では、頂点という用語は、必要に応じて、内部頂点／頂点を適切に参照するために使用され、つまり、簡潔に言うと、領域によって完全に囲まれた内部頂点（２つ以上の領域の境界上ではなく）を頂点と呼ぶ。

多くの実施形態では、所与の領域の頂点は、その領域の中心に生成されてもよい。したがって、領域の頂点は、領域の幾何学的中心に位置することができる。

しかし、言うまでもなく、これは本質的ではなく、実際には他の実施形態では、頂点は中心に配置されなくてもよく、または位置が異なる領域間で動的におよび／または適応的に変化してもよい。

次いで、三角形メッシュ生成器１０７は、これらの内部頂点を接続することによって三角形を生成することができる。一般的には、頂点間に線が形成され、結果として生じる三角形を用いて三角形メッシュを形成してもよい。

頂点は内部頂点であるため、これらの内部頂点を用いて形成される三角形は、１つの領域に限定されるものではなく、本来は複数の領域の一部を含むものである。従って、形成される三角形の各々（少なくとも幾つか）は、複数の領域にまたがって延在する。

多くの実施形態では、三角形を形成するときに、異なる領域間の接合部、すなわち交点が使用され、具体的にはどの頂点を用いて個々の三角形を形成するか選択する。

具体的には、３つの領域が互いに合う接合部については、この３つの領域の３つの内部頂点を三角形の頂点とする三角形を形成することができる。したがって、形成された三角形は、接合部で合う三つの領域のそれぞれの要素を含む三角形である。したがって、接合自体は、形成された三角形の頂点ではなく、どの領域／内部頂点を使用して結果として得られる三角形を形成するか選択するのに使用される。後により詳細に説明するように、内部頂点の位置および三角形の生成は、典型的には、領域間の接合が三角形内に入るようになる（すなわち、接合部の３次元点は、三角形メッシュ内で、接合部で合流する３つの領域の内部頂点を用いて、生成された三角形の点によって表される）。

三角形メッシュ生成器は、多くの実施形態では、三角形が３つの領域の内部頂点を接続する辺を有する３つの領域間の各接合部に対して三角形を形成するように構成されてもよい。

したがって、三角形のセットが生成され、これらの三角形のそれぞれが（これらの頂点はすべて内部頂点であるので）３つの異なる領域にまたがってまたはオーバーラップまたは延在してもよい。

４つの領域が互いに会合する接合部については、４つの領域の４つの内部頂点によって２つの三角形が形成されてもよい。そのようなシナリオでは、三角形メッシュ生成器１０７は、２つの対角線上の対向する領域の間の線（すなわち、共通の面を持たない２つの領域の間）として、２つの三角形の１つの共通辺を形成することができる。１つの三角形は、残りの２つの領域のうちの１つの頂点をさらに含むことによって形成されてもよく、他の三角形は、最後に残る領域の頂点をさらに含むことによって形成されてもよい。

したがって、いくつかの実施形態では、三角形メッシュ生成器１０７は、４つの領域の間に存在する各接合部に対して２つの三角形を形成するように構成されてもよい。２つの三角形は、４つの領域の２つの対角に対向する領域の頂点を接続する共通の側面を有する。次に、２つの対角対向領域の頂点を４つの領域の第３の領域の頂点に接続するように三角形を生成することによって、１つの三角形が形成される。次に、２つの対角対向領域の頂点を４つの領域の第４の領域の頂点に接続することによって、第２の三角形を形成する。

すなわち、三角形メッシュ生成器１０７は、２つの三角形が、４つの領域の対角線対向した２つの領域の頂点を結ぶ共通辺と、４つの領域のうちの第３の領域および第４の領域に対角線対向する２つの涼気の頂点を接続する辺とを有する、４つの領域間に各接合部の２つの三角形を形成するように構成され得る。

３領域接合に対して三角形が形成されるシナリオに関しては、４領域接合のために形成された２つの三角形も内部頂点から形成され、したがって、各三角形は単一の領域に限定されず、３つの異なる地域にまたがることになる。

矩形領域を有する四分木の場合、各接合部に対して三角形を生成する手法は、穴のない連続した三角形メッシュが生成されることになる。

このアプローチにより、三角形メッシュの生成が改善され得る。実際、多くの実施形態では、このアプローチは、比較的簡単かつ複雑でない処理に基づき、非常に正確なだけでなく、もともとメッシュ中に穴が開いていない三角形メッシュを生成できる。

このアプローチにより正確かつ有用な三角形メッシュができることが分かっている。これは、このアプローチがｋ−Ｄツリーから三角形メッシュを生成する仮定された基本的原理を捨てているので、驚くべきことである。特に、ｋ−Ｄツリーを用いて、深度変動が非常に低い個別の領域を生成する。最も直観的なアプローチは、前述の通り、個々の領域の深度変動が低いことを補償できるので、各領域内に三角形を形成することである。これにより、同じ領域の頂点間に三角形が生成される。すなわち、領域の接合部／交点間に三角形が生成される。実際、これにより、各四角形領域が、その領域を対角線で分割することにより形成される２つの三角形により表される。

しかし、図３のシステムのアプローチの基本的かつ重要な特徴は、三角形は１つの領域内に形成されず、複数の領域間に形成されることである。このように、三角形は複数の領域と重なり合い、そのため得られる三角形は異なる領域のセクションを含む。この直観に反するアプローチは、三角形が、深度がｋ−Ｄツリー生成により構成される１つの領域内にあるように制約せず、深度変動が制約されていない複数の領域にわたる三角形を形成する。驚くべきことに、隣接する領域間の深度の変動に制限を課すことなく、高効率で正確な三角形メッシュが生成される傾向があることが分かった。さらに、この生成は本質的に三角形メッシュの穴を回避する。

以下では、四分木を使用する具体的な実施形態をより詳細に説明する。したがって、特定の例では、すべての領域が正方形であり、領域の各分割は４つの子／小領域になる。さらに、特定の例では、頂点は個々の領域の中心に配置される。

この実施形態では、三角形メッシュ生成器１０７は、四分木の各四角を二つに分割するのではなく、３つまたは４つの四分木領域が合う接合部に基づいて三角を構成する。接合部（ｊｕｎｃｔｉｏｎｓ）に頂点を配置する代わりに、単一の頂点が各領域の中心に配置される。３つの四分木領域が合う各接合部について、単一の三角形が構成される。三角形は、合う３つの領域の３つの頂点を接続することによって構成され、すなわち、三角形の辺は、３つの領域の３つの頂点ペアを結ぶ線によって形成される。すべての領域が正方形である四分木の場合、これは本質的に接合部を取り囲んで生成される三角形をもたらし、これにより穴のない一貫した三角形メッシュが生成される。

４つの領域が接触（ｍｅｅｔ）する接合部については、２つの三角形が構成される。２つの三角形は、最初に２つの対角領域（接合部にのみ接触する２つの領域であり、共有エッジを持たない２つの領域）の頂点を選択することによって構築される。これらの２つの頂点は、２つの三角形に共通であるのに対して、残りの２つの頂点は、１つの三角形の一部のみである。したがって、第１の三角形は、２つの共通の頂点と、第３の頂点とにより形成され、第２の三角形は、２つの共通の頂点と、最後の頂点とにより形成される。

このようにして、２つの三角形が形成され、これは、正方形領域によって形成されたマップの場合、接合点を通る共通の側部／辺となる。さらに、３方向接合のため三角形を生成するための上記の手法と共に、穴のない連続した三角形メッシュが自動的に生成される。

このアルゴリズムは、例えば、四分木データ構造による階層的検索を使用して実施することができる。

一例として、図３の（小さい）四分木が考えられる。この例では、各領域内の数字は、各領域の（正方形領域の辺の長さで示される）サイズを示す。この小さな局所的構造に対して、頂点は各領域内に配置されてもよく、三角形は上述の手法を用いて形成されてもよい。図４は、可能性のある結果を示す。図からわかるように、穴のない一貫した三角形メッシュが生成される。

この例では、四分木のエッジの具体的な処理が含まれ得る。例えば、システムは、画像境界上のすべての四分木領域コーナーを頂点として追加することができる。画像境界上のこのような頂点ごとに、（まだ生成されていない場合）３つの三角形を生成することができる。これらの三角形のうちの２つは、そのコーナーの２つの四角形内にあり（２つの境界頂点を四角形の中心頂点に接続する）、第３の三角形はエッジ頂点を２つの中心頂点と接続することができる。これにより、三角形メッシュを画像の端まで拡大することができる。言うまでもなく、他の実装形態では、他の手法を用いても良い（画像のエッジまで完全には拡大されない三角形メッシュを単に生成することを含み、すなわち領域内部の頂点のみを使って三角形メッシュを生成してもよい）。

四分木からメッシュを計算するプロセスは、特に効率的に実行することができる。隣接する正方形間の接合部の位置が四分木データ構造によって定義されるからである。例えば、最大領域が１２８ピクセルのサイズを有する場合、ｘまたはｙ方向の１２８領域の開始点は常に両方向の１２８ピクセルの倍数に位置することが知られている。この知識を用いて、四分木内の最大領域サイズ（例えば１２８）から最小領域サイズ（例えば４）までのすべての領域コーナーを再帰的に訪問する効率的なアルゴリズムを導出することができる。より小さな領域は、それが四分木内の一定の位置にある場合にのみ、評価される必要がある。

三角形メッシュ生成器１０７が三角形メッシュを生成するために用いることができるアルゴリズムの擬似コードの例は、以下の通りである。

この手法では、三角形メッシュ生成器１０７は、最初に、最小領域を識別してそれらの領域を含む三角形を形成し、その後、（より小さい領域を含み、従って、より低いレベルですでに形成されているものはスキップしつつ）次に小さい領域を識別してそれらの領域のための三角形を形成するという意味で、ボトムアップに三角形を決定する。このアルゴリズムは、すべての領域が処理されるまでこのアプローチを継続する。

特定の例では、図２の装置は、ビデオプロセッサ１０９をさらに備える。これは、２次元画像と三角形メッシュとを受け取り、３次元ビデオ処理を実行して出力画像を生成するように構成される。ビデオプロセッサ１０９は、例えば、ＯｐｅｎＧＬ（例えば、ｈｔｔｐｓ：／／ｗｗｗ．ｏｐｅｎｇｌ．ｏｒｇ／ａｂｏｕｔ／を参照）またはＤｉｒｅｃｔＸ（例えばｈｔｔｐｓ：／／ｍｓｄｎ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｌｉｂｒａｒｙ／ｗｉｎｄｏｗｓ／ａｐｐｓ／ｈｈ４５２７４４を参照）レンダリングパイプラインを用いて新しいビューを生成することができる。例えば、ビデオプロセッサ１０９は、生成された三角形メッシュを使用して、ビューシフトまたはビュー合成を実行することができる。

ｋ−Ｄツリーを生成するための正確なアプローチは、異なる実施形態の間で異なり、正確な深度変動の尺度およびこれが分割を必要とする閾値を超えるときの基準は、実施形態が異なれば変化し得る。

いくつかの実施形態では、深度変動尺度は、領域内の最大値と最小値との間の差として具体的に生成されてもよい。これが所定の閾値を超える場合、領域はサブ領域に分割される。

多くの実施形態では、領域の深度変動尺度は、領域の平均深度と、領域が分割されている場合に領域が分割される各サブ領域の平均深度との間の最大差分として有利に決定される。

代替的に（または追加的に）、領域の深度変動尺度は、領域が分割される場合に領域が分割されるサブ領域ペアの平均深度間の最大差分として有利に決定されてもよい。

そのようなアプローチは特に効率的であり、特に計算上非常に効率的である。

具体的には、深度変動尺度の決定は、深度マップに対して生成された積分画像に基づくことができる。深度マップの積分画像では、所与の位置ｘ、ｙの値は、（一般的には）最も右下隅を位置ｘ、ｙとして、矩形内の深度値の積分（総和）として与えられる。したがって、積分画像は、その位置の上および左の領域における積算値を反映する値を含む。

一例として、積分画像が使用される場合、領域を分割するかどうかの決定は、親領域と４つの子領域の平均深度値の間の最大絶対差分に基づくことができる。例えば、３２×３２の正方形ブロックは、

であれば、４つの１６×１６ブロックに分割される。ここでｋは各１６ｘ１６の子ブロックのインデックスである。

この基準の計算上の利点は、積分画像の使用に由来し、各ブロック平均の計算は、積分画像における４回のルックアップ演算、２回の減算、１回の加算および１回のビットシフトからなる。（ビットシフト演算は、正方形ブロック内のピクセル数が常に２の累乗であるということに起因することに留意されたい）。

したがって、このアプローチの基準は、ブロック平均間の差分に基づいてもよい。具体的には、ブロックにわたって平均化されたピクセルごとの値が考慮され得る。従って、大きいブロックと小さいブロックは、同様の範囲の値、例えば［０， ２５５］を有することができる。
そのような実施形態では、閾値ブロックサイズを適応的にすることが有益であり得る、すなわち、最大のブロックについて低い分割閾値を使用し、ブロックサイズが小さければ閾値を増加させて、小さなブロックが過剰になることを防止してもよい。

また、言うまでもなく、ｋ−Ｄツリーを生成するときに、領域を細分するか否かの決定は、深度値だけでなく他のパラメータも考慮に入れることができる。したがって、深度マップ用のｋ−Ｄツリーの生成は、専ら深度マップ自体に基づく必要はない。

実際、多くの実施形態では、ツリー生成器１０５は、３次元画像の輝度または彩度（ｃｈｒｏｍａ）の特性に応答して領域を形成するように構成することができる。具体的には、３次元画像は、視覚情報を表す一以上の２次元画像を含むことができ、すなわち、２次元画像は、輝度または彩度（合成クロミナンスを含む）情報を含むことができる。いくつかの実施形態では、ツリー生成器１０５は、所与の領域を分割するかどうかを決定するときに、この情報を考慮に入れることができる。

例えば、所与の領域について、ツリー生成器１０５は、深度変動尺度（ｄｅｐｔｈ ｖａｒｉａｔｉｏｎ ｍｅａｓｕｒｅ）を決定することができる。ツリー生成器１０５はさらに、クロミナンス（例えば、純粋な輝度または純粋な彩度を含む）変動尺度を決定することができる。尺度は、例えば、最大輝度差分または最大彩度差分（例えば、１つのカラーチャネル内または全カラーチャネルにわたる平均）として決定されてもよい。次いで、ツリー生成器１０５は、深度変動尺度およびクロミナンス変動尺度の両方を評価し、これらの２つの尺度のいずれかがそれぞれの閾値を超える場合、領域を分割することができる。

別の一例として、Ｈ．２６５のようないくつかの符号化標準では、符号化される画像／ビデオのパラメータに基づいて画像／ビデオ符号化の一部としてｋ−Ｄツリーが生成される。このようなシナリオでは、画像／ビデオ符号化のために生成されるｋ−Ｄツリーを再利用することができる（場合によっては深度マップに基づいてさらに精細化される）。

領域の細分化を考慮するときに画像パラメータを含めると、改善された三角形メッシュが生成される可能性がある。

前出の例では、生成されたｋ−Ｄツリーは、正方形領域を使用する四分木である。しかし、説明されたアプローチの利点は、それがそのような四分木に限定されず、実際にｋ−Ｄツリーを形成する領域またはこれを生成するためのアルゴリズムに実質的な制約を課すものではないということである。

したがって、多くの実施形態では、ツリー生成器１０５は、正方形領域のみを生成するように制約されてもよく、具体的には、サブ領域への各分割は、４つの子領域の生成による。したがって、いくつかの実施形態では、ツリー生成器１０５は、四分木を生成するように制約されてもよい。しかし、他の多くの実施形態では、生成により、正方形領域に制約されない矩形領域からなるｋ−Ｄツリーを生成することができる。

例えば、矩形に基づくが（必ずしも）正方形に基づかないｋ−Ｄツリーは、２つの部分ｋ−Ｄツリーであって、１つは水平分割を表し、１つが垂直分割を表すものによって表すことができる。

例えば、単一の四分木表現Ｑ（ｉ，ｊ）を使用する代わりに、２つのサブツリーすなわち水平ツリーＱｈ（ｉ，ｊ）および垂直ツリーＱｖ（ｉ，ｊ）を考えてもよく、これは水平及び垂直変動を別々にモデル化するためである。このような矩形ツリーを使用すると、通常、三角形メッシュ内の三角形の数を減らすことができる。（よく発生する）水平または垂直に細長い構造を記述するために細分化する必要がないからである。

図５は、水平サブツリーＱｈ（ｉ，ｊ）の小セクションの一例を示し、図６は、垂直サブツリーＱｖ（ｉ，ｊ）の対応する小セクションの一例を示す。図７は、結果として得られる四分木全体のセクションを示す。図７はまた、生成され得る、結果として生じる三角形を示す。

したがって、これらの例では、ツリー生成器１０５は、領域を矩形として生成するように構成され、具体的には、水平方向および垂直方向における領域の分離は異なってもよい。ツリー生成器１０５は、例えば、壁および極などの直立構造を分割するために垂直分割を使用し、前景−背景深度ジャンプを分割するために水平分割を使用することができる。水平分割（ｈｏｒｉｚｏｎｔａｌ ｓｐｌｉｔ）と垂直分割（ｖｅｒｔｉｃａｌ ｓｐｌｉｔ）の両方を、斜めに走っている構造に使用することができる。

しかし、四分木により自動的に、中心頂点を接続することによって、連続した一貫性のある三角形メッシュが生成されるが、これは長方形の寸法に制約のない矩形ｋ−Ｄツリーに対しては保証されない。

これを図８に示す。図８は、矩形（但し、必ずしも正方形ではない）領域を使用してｋ−Ｄツリーのセクション内の領域セットの中心にある頂点を接続することによって得られる三角形の例を示す。図から分かるように、結果として得られる三角形は重なり合っており、さらに連続した三角形メッシュを提供せず、むしろ穴を有するメッシュになる。

対照的、四分木（すなわち、すべての領域が正方形）の場合、図８のような状況は起こりえないことを示せる。これを例示するため、非常に大きなブロック（例えば、１２８×１２８）が１×１ブロックの隣にある場合を考える。このようなシナリオでは、２つのブロックの中心間に線を引き、その線がその２つのブロック外にでないようにすることが常に可能である。これは、その２つのブロックが互いにどこで接しているかに依らない。

したがって、多くの実施形態では、四分木を用いて、連続した三角形メッシュを確実に生成することができる。幾つかの実施形態では、ｋ−Ｄツリーの生成には、連続したマップを確実に生成する幾つかの制約を課してもよい。

多くの実施形態では、システムは、３つの領域間に生成される接合部は、これら３つの領域の頂点により形成される三角形に確実に含まれるように構成され得る。これにより、図８に例示したようなシナリオは生じないようにできる。

幾つかの実施形態では、ツリー生成器１０５は、分割に続き３つの隣接領域により形成される各三角形が接合部（ｊｕｎｃｔｉｏｎ）を含むとの制約の下に、領域を分割（ｓｕｂｄｉｖｉｄｅ）するように構成される。したがって、かかる例では、ツリー生成器１０５は、領域を分割する必要があると判断した場合、この分割（ｄｉｖｉｓｉｏｎ）により生成される接合部を考慮することができる。ツリー生成器１０５はさらに、これらの接合部が、新しい領域の中心点が接続された結果として生じる三角形内に入るか考慮してもよい。ツリー生成器１０５は、そうであれば分割し、そうでなければその領域を分割（ｓｕｂｄｉｖｉｄｅ）しない。

他の例として、幾つかの実施形態では、ツリー生成器１０５及び／又は三角形メッシュ生成器１０７は、接合部を形成する３つの領域の三角形がその接合部を取り囲んでいないことを検出すると、それに応じて少なくとも１つの領域を分割するように構成されている。したがって、かかる例では、このシステムは、３つの領域間の接合部がその３つの領域の頂点により形成される三角形内に入らないことを検出し、それに応じて、その領域の少なくとも１つをさらに分割し得る。このように、この場合、１つではなく２つの三角形が生成される。言うまでもなく、反復的に考慮してもよい。すなわち、分割（ｓｕｂｄｉｖｉｓｉｏｎ）により、すべての接合部がその３つの領域の頂点により形成される三角形内に確実に入るようにできる。

多くの実施形態では、ツリー生成器１０５は、第１領域の隣接領域である第２領域と、再分割の結果生じる２つのサブ領域との間の接合部の評価に基づき、その第１領域を再分割（ｓｕｂｄｉｖｉｄｅ）するように構成され得る。したがって、領域を分割するか考慮する際、ツリー生成器１０５は、新しいサブ領域と既存の隣接領域との間に形成される接合部を考慮してもよい。ツリー生成器１０５は、この接合部の他の点に対する位置の特徴を考慮してもよく、要件が満たされたときのみに再分割するようにしてもよい。

図９ないし１１を参照して幾つかの例を説明する。２つの領域ＡとＢが線分Ｅにより互いに接し、領域Ａが領域Ｂに、線分Ｅに垂直に線分Ｅにより領域Ｂを再分割する制約を課している。

具体的に幾つかの実施形態では、分割は、第１領域と第２領域の共通辺と、隣接領域の頂点から分割される領域のコーナーへの線との間の交点が、接合部よりコーナーに近いかどうかの評価による。

このように、図９の例を参照して、線ＬによりＡの中心がＢの反対コーナーＱに接続でき、かかるＬとＱのそれぞれについて、線Ｌが線分ＥとＰで交わるとき、Ｂを、Ｅにより、コーナーＱから遠いＰの側で分割することだけができる。

幾つかの実施形態では、分割は第２領域の頂点と、２つのサブ領域の頂点との間の複数の線が、第１領域と第２領域の共通辺と交わるかどうかの評価に基づいてもよい。

したがって、図１０の例を参照して、制約は、Ｂのサブ領域の中心が、Ｅを通る線により、Ａの中心と接続可能でなければならない。

幾つかの実施形態では、分割は、接合部が、第１領域と第２領域の共通辺の外側にあるかどうかの評価に基づいても良い。その場合、分割が実行され得る。

このように、図１１の例を参照して、領域Ａは線分Ｅの外側に制約を課さない。

上記の分割制約は、隣接領域（ｎｅｉｇｈｂｏｒｉｎｇ ｒｅｇｉｏｎ）と、分割により形成される新しい隣接サブ領域（ａｄｊａｃｅｎｔ ｓｕｂｒｅｇｉｏｎ）の中心を通る線が、その隣接領域とサブ領域内に完全に入っているとの制約を課してもよい。その線が他の領域やサブ領域と交わる場合、極端に浅い三角形及び／又は穴が形成され得る。

前述のように、制約と考慮は、再分割（ｓｕｂｄｉｖｉｓｉｏｎｓ）をしてｋ−Ｄツリーを生成する時に考慮してもよく、多くのシナリオにおいて、反復的に、例えば、三角形メッシュの生成と共に、考慮されてもよい。例えば、説明した制約を、ｋ−Ｄツリーを生成するときに考慮してもよく、得られたｋ−Ｄツリーを用いて三角形メッシュを形成してもよい。あるいは、ｋ−Ｄツリーを最初に決定するときには、制約を用いなくてもよい。このｋ−Ｄツリーを用いてトライアルの三角形メッシュを生成して、制約が満たされなければ、この段階でそれを検出してもよい。制約違反を解消するために、ｋ−Ｄツリーを修正してもよい。

上記の通り、制約が満たされていないと検出されたとき、装置は再分割（ｓｕｂｄｉｖｉｓｉｏｎ）をしなくてもよい。他のシナリオでは、さらに再分割してもよい。例えば、三角形メッシュの生成中に制約が満たされないことが分かれば、本装置は、対応する分割をしないのではなく、新しい分割をして制約が満たされるより小さい領域を生成する。

他の例として、幾つかの実施形態では、システムは、制約が満たされる順序で少なくとも１つの頂点の位置を決定するように構成される。例えば、３方向の接合部が、対応する３つの領域の頂点により形成される三角形内にあるように、頂点を配置するように構成され得る。ツリー生成器１０５は例えば最初にすべての頂点を中心に配置してもよい。１つの接合部が対応三角形の外側にあることが分かったとき、制約が満たされるまで、すなわち接合部が三角形内に入るまで、一以上の頂点の位置を動かす。ツリー生成器１０５は例えば、与えられた領域の異なる位置（例えば、ランダムな位置）を試し、制約が満たされるかチェックしてもよい。そうであれば、頂点はこの位置にされ、そうでなければ、他の位置が選択され評価される。

図２及び前述の例では、説明した機能性は同じ場所にあると考えられている。しかし、発明者が気づいたところによれば、３次元画像情報の特に効率的な通信は、機能性の分配により実現できる。特に、発明者が気づいたところでは、３次元画像を提供するデータストリームの一部としてｋ−Ｄツリーを用いれば、３次元情報の特に魅力的な通信が可能である。

図１２は一例を示し、画像送信器１２０１は画像データストリームを生成し、画像受信器１２０３に送信するように構成されている。この例では、画像送信器１２０１は、深度マップ源１０１と画像源１０３とを含み、これらは図２のものに対応し得る。同様に、画像送信器１２０１は、図２を参照して説明したものに対応するツリー生成器１０５を含む。

また、画像送信器１２０１は、画像データストリームを生成するように構成される画像ストリーム生成器１２０５を含む。多くの実施形態では、画像送信器１２０１は、画像シーケンスを含むビデオストリームを生成するように構成される。次の説明では、ビデオストリームが生成され、単一画像への参照が、ビデオ信号を形成する画像シーケンスのうちの１つの画像への参照として考慮される例を考える。

この例では、画像ストリーム生成器１２０５は、画像源１０３からの画像データと、深度マップ源１０５からの深度マップをビデオストリームに含めるように構成されるが、言うまでもなく、幾つかの実施形態では、画像データと深度マップのうち一方または両方がビデオストリームに含まれなくてもよい。この例では、ビデオストリームが設けられ、これは２次元画像シーケンスと、それに関連する深度マップとを含み得る。

また、画像ストリーム生成器１２０５は、ツリー生成器１０５からｋ−Ｄツリーを受け取り、これをビデオストリームに含めるように構成される。このように、ビデオストリームは、深度マップがどのように、実質的に均一な複数の領域のうちの領域に分割されたかに関する情報を含み得る。

ビデオデータストリームは、画像受信器１２０３に送信され、ストリーム受信器１２０７に入力される。ストリーム受信器１２０７は、受信されたビデオストリームから関連データを取り出すように構成されている。画像受信器１２０３はさらに、図２を参照して説明したものに相当する三角形メッシュ生成器１０７を備える。三角形メッシュ生成器１０７は、ストリーム受信器１２０７に結合されている。ストリーム受信器１２０７は、特にｋ−Ｄツリーを取り出し、それを三角形メッシュ生成器１０７に入力する。三角形メッシュ生成器１０７はさらに、深度マップを受け取り、前述の通り三角形メッシュの生成に進む。

このように、画像受信器１２０３は三角形メッシュを生成する。これは他の関連情報とともに出力できる。関連情報は、２次元画像、深度マップ、テクスチャ画像など、個別の実施形態においてあればよいものである。このデータはその後好適なポストプロセッサで用いることができ、具体的に、ポストプロセッシングは三角形メッシュに基づくことができる。

このシステムでは、三角形メッシュを生成する機能性は、このように画像送信器１２０１と画像受信器１２０３とに分散され、画像／ビデオデータストリームは、ｋ−Ｄツリー情報（ａ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｋ−Ｄ ｔｒｅｅ）とともに送信される。

このアプローチは多くの実施形態において魅力的な解決策を提供し得る。実際、このアプローチは、３次元情報の効率的な符号化を提供し、サーバ側（画像送信器１２０１）とクライアント側（画像受信器１２０３）で複雑性とリソース需要とを有利に分散する。

さらに、このアプローチにより可能となり得る特に有利なアプローチでは、３次元情報が画像／ビデオ信号として符号化される。実際、幾つかの実施形態では、３次元情報は、画像（ビデオ）符号化／復号アプローチを用いて符号化されてもよく、すなわちｋ−Ｄツリーを専用の符号化フォーマットを用いて直接符号化しなくてもよい。３次元情報は、通常の２次元可視画像に対して用いられるのと同じビデオ又は画像符号化アルゴリズムにより符号化される。このように、ビデオエンコーダとデコーダは、ｋ−Ｄツリーにより表される３次元情報を符号化及び復号するにあたり、その３次元情報を通常の画像として処理し、実際にそれが通常の画像以外のものであることを知らずに処理する。

このアプローチは、多数の利点を有し、特に、既存の画像／ビデオのエンコーダ及びデコーダを用いることができる。実際、このアプローチにより、関連する３次元情報の配信が可能となるにあたり、新しいフォーマットや標準を開発する必要はない。この関連する３次元情報は、既存のビデオフォーマットを、データを提供できる「ラッパー（ｗｒａｐｐｅｒｓ）」として用いて、有効に伝達できるからである。

ｋ−Ｄツリーの伝達は、このアプローチにとって特に好適である。その理由は、この情報が、各ピクセルが１つのデータ値を有する単純な２次元マップにより表し得るからである。このように、まさに３次元構造である三角形メッシュを伝達するのと対比して、ｋ−Ｄツリーは２次元マップ（ａ ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ ｍａｐ ｏｆ ｖａｌｕｅｓ）で表せ、ｋ−Ｄツリーの伝達では、２次元画像に適用されるのと同じアプローチとフォーマットとを用いることができる。

したがって、幾つかの実施形態では、画像ストリーム生成器１２０５は、ｋ−Ｄツリーに画像符号化（及び特にカラーまたは輝度チャネル符号化）を適用し、得られた画像符号化データを画像／ビデオデータストリームに含めるように構成される。

例えば、画像ストリーム生成器１２０５は、好適なビデオ符号化標準により符号化された一以上の画像信号を含むビデオストリームを生成するように構成され得る。ビデオ／画像信号は一般的に複数のカラーチャネル（これは純粋なクロマチャネルまたは純粋な輝度チャネルであってもよい）によりカラー画像を表す。例えば、幅広フォーマット（ｗｉｄｅｓｐｒｅａｄ ｆｏｒｍａｔ）は、Ｒｅｄ、Ｇｒｅｅｎ及びＢｌｕｅのカラーチャネルによりカラー画像を表すものである。カラーチャネルはその後個別に符号化される。他の例は画像をＹＵＶフォーマットで表すものであり、Ｙは輝度チャネルであり、ＵとＶは２つのカラーチャネルを表し、カラーチャネルはこの例では純粋なクロマチャネルである。これらのチャネルはそれぞれ、（輝度、クロマまたはクロミナンス値を表す）データ値の２次元マップを１つ含む。

幾つかの実施形態では、ｋ−Ｄツリーは適宜、２次元の値マップ（ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｍａｐ ｏｆ ｖａｌｕｅｓ）により表され得る。例えば、深度マップの各ピクセルについて、ｋ−Ｄツリーマップは、そのピクセルが属する領域のサイズを指定する値を含み得る。このマップは、カラーチャネルのマップであるかのように、ビデオエンコーダに入力されてもよく、画像の（部分的な）表現であるかのように符号化される。

同様に、ストリーム受信器１２０７のビデオデコーダは、そのマップを、カラーチャネル（例えば、純粋な輝度またはクロマチャネル）のマップであるかのごとく復号する。復号されたデータは、２次元マップとして出力され、三角形メッシュ生成器１０７に入力され、三角形メッシュを生成するのに用いられる。

幾つかの実施形態では、ビデオエンコーダはこのように、１チャネルとしてｋ−Ｄツリーマップを含む、符号化する画像を受信する。幾つかの実施形態では、他のチャネルは空でもよい（例えば、すべてのピクセルがダミーのゼロ値を含んでいてもよい）。例えば、ｋ−Ｄツリーは、ＲＧＢ信号のＲチャネルに符号化されてもよく、Ｇ及びＢチャネルにはデータが含まれていなくても（一定データ値が含まれていても）よい。

しかし、他の実施形態では、他のチャネルには他のデータが含まれていてもよい。

特に、幾つかの実施形態では、画像送信器１２０１は、深度マップとｋ−Ｄツリーマップとを、ビデオエンコーダにより符号化されている同じ疑似画像の異なるチャネル（カラー／クロマ／輝度チャネル）に結合するように構成されていてもよい。このように、ビデオエンコーダは、複数のチャネルを含むビデオ表現（ｖｉｄｅｏ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を符号化するように構成され、ここで深度マップが第１チャネルに含まれ、ｋ−Ｄツリーが（少なくとも）第２チャネルに含まれていてもよい。

画像送信器１２０１はカラー画像に対応するデータ構造を生成し得る。例えば、３つの２次元データマップの構造が生成され、各データマップが、例えばＲ、Ｇ及びＢの１つに対応し、またはＹ、ＵおよびＶチャネルの１つに対応してもよい。データマップの１つは、深度マップからのデータ値が追加（ｐｏｐｕｌａｔｅ）され、１つのデータマップはｋ−Ｄツリーマップからのデータが追加されてもよい。最後のデータマップは、例えば、その他のデータ（例えば、透過マップ）が追加されても、（すべての値がゼロに設定されて）空のままであってもよい。その結果として得られたデータ構造は、ビデオエンコーダにより符号化され、ビデオストリームに含められ、画像受信器１２０３により取り出され、深度マップとｋ−Ｄツリーマップとを回復するため画像受信器１２０３のビデオデコーダにより復号される。

多くの実施形態では、ビデオエンコーダは、特に輝度チャネルと少なくとも１つのクロマチャネルとを含むビデオ表現（ｖｉｄｅｏ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を符号化するように構成されてもよく、画像送信器１２０１は、深度マップを輝度チャネルに符号化し、ｋ−Ｄツリーを少なくとも１つのクロマチャネルに符号化するように構成されてもよい。多くの実施形態では、深度マップを輝度チャネルに符号化し、ｋ−Ｄツリーマップをクロマチャネルに符号化するのが特に有利であり得る。一般的に、深度マップはｋ−Ｄツリーマップより値の変動が非常に大きい傾向がある。実際、ｋ−Ｄツリーマップの場合、データ値は各符号化ピクセルブロック（ｅａｃｈ ｅｎｃｏｄｉｎｇ ｂｌｏｃｋ ｏｆ ｐｉｘｅｌｓ）で一般的には一定である。多くのビデオ符号化標準において、輝度チャネルの符号化は、クロマチャネルの符号化より有効または正確である可能性があり、それゆえこの符号化を変動が最も大きいマップに適用することは有利であり得る。

言うまでもなく、すべてのマップの解像度は同じである必要はない。例えば、ｋ−Ｄツリーの解像度は深度マップの解像度よりも低いことが多くてもよい。例えば、ツリー生成器１０５により生成し得る最小領域が４ピクセルである場合、ｋ−Ｄツリーマップの解像度は深度マップの解像度の１／４であってもよい。

また言うまでもないが、深度マップとｋ−Ｄツリーマップの解像度は、画像源１０３により提供される２次元画像の解像度と異なっても良い。実際、深度マップとｋ−Ｄツリーマップは別画像として符号化されので（それゆえビデオストリームは２つの画像ストリームを含み、１つは２次元画像に対応し、１つは結合された深度マップとｋ−Ｄツリーマップに対応する）、符号化は画像とマップとの間の関係にいかなる制約を課す必要もない。

幾つかの実施形態では、ｋ−Ｄツリーは、複数の値により表され得る。例えば、ｋ−Ｄツリーは正方形でない矩形を許容し、それゆえ各領域は水平および垂直のサイズにより定められる。ｋ−Ｄツリーは、各ピクセルにアサイン（ａｓｓｉｇｎｅｄ）された２つの値であって、１つの値は水平サイズを示し、他の値は垂直サイズを示すものにより表され得る。これらの２つの値は、幾つかの実施形態では、１つのｋ−Ｄツリーマップではなく、２つの異なるデータマップにアサインされ得る。画像送信器１２０１は２つのマップを生成し、１つのマップは水平分割を提供し、他のマップは垂直分割を提供するようにしてもよい。これらの２つのマップは異なるチャネルに符号化され得る。例えば、深度マップがＹチャネルで提供され、２つのｋ−Ｄツリー深度マップがそれぞれＵチャネルとＶチャネルで提供されてもよい。

このように、幾つかの実施形態では、ビデオ表現は少なくとも２つのカラーチャネルを含み、画像送信器１２０１は、ｋ−Ｄツリーの垂直領域情報を１つのカラーチャネルに符号化し、ｋ−Ｄツリーの水平領域情報を他のチャネルに符号化する。

具体例として、本アプローチはＨ．２６４ビデオ符号化／復号フォーマットを用いることができる。このフォーマットはＨ．２６４ビデオの符号化と復号をサポートし、深度はビデオストリームに並んで配置される。しかし、かかるアプローチでは、ビデオデータ中の３次元三角形メッシュの符号化は実現できない。三角形メッシュデータを別々に符号化することは原理的には可能であるが、非常に困難であり、一般的には非効率な符号化となる。例えば、ビデオ／画像データを三角形メッシュデータと正確に同期させなければならないことから、大きな問題が生じる。これは上記のｋ−Ｄツリーの符号化により回避し得る。

このように、具体例として、幾つかの実施形態では、四分木Ｑ（ｉ，ｊ）またはＱｈ（ｉ，ｊ）およびＱｖ（ｉ，ｊ）は、別のカラーチャネル（例えば、クロマチャネル）を用いて深度が配置された、ビデオストリーム中の位置に表され得る。四分木は、次いで、（Ｈ．２６４またはＨ．２６５）ビデオ符号化／復号の（ロッシー）符号化と復号ステップで処理される。

留意点として、ビデオ符号化はロッシー（ｌｏｓｓｙ）であり得るが、ｋ−Ｄツリー情報に関する効果は一般的に許容レベルまで減少され得る。さらに、データ値の多くが同じであるため、非常に効果的な符号化を実現することができる。

符号化と復号でエラーが生じるリスクを低減するため、幾つかの実施形態では、可能な限り大きい距離を有する可能なデータ値のサブセットを使用しようとする派生表現を符号化することが有益であり得る。

例えば、マッピングＬ（α）を適用してｋ−Ｄツリーマップのデータを生成する。例えば、値αは個別領域の正方形サイズを表すのに用いられる２の冪乗を表し得る。例えば、

を用いて四分木を、３２ステップで０（領域サイズは２５６）から２５５（領域サイズは１）までの全８ビット範囲の中で、３２レベルの一定ステップで変化する値に変換できる。

幾つかの実施形態では、ｋ−Ｄツリーは、３次元画像の符号化に用いることができ、特に、３次元画像の表現の一部である一以上の２次元画像の符号化に用いることができる。このように、同じｋ−Ｄツリーを、画像／ビデオ符号化と、深度マップの分割との両方に用いて、三角形メッシュが生成されるようにしてもよい。

実際、多くの実施形態では、画像またはビデオ符号化が実行され、画像をサブコーディングブロックに分割する。実際、従来のビデオ符号化フォーマットでは画像を所定の一定サイズの画像フロック（例えば、１６×１６ピクセル）に分割しているが、新しいアプローチが開発されて、画像の個別コーディングブロックへの動的分割が利用されている。かかる幾つかのフォーマットでは、ｋ−Ｄツリーを用いて、比較的類似しており、従って効率的に符号化できるピクセルブロックを含むコーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋｓ）を生成してもよい。

例えば、Ｈ．２６５として知られるビデオ符号化アプローチは、四分木の生成を含み、結果として得られる領域は後で符号化されるコーディングブロックとして用いられる。この四分木はコードブロックツリーとして知られ、符号化される画像データとともに画像ストリーム中に符号化される。従って、受信器／復号器は、受信データストリームからコードブロックツリーを取り出し、これをデコーダに入力する。デコーダはコードブロックツリーを用いて受信画像／ビデオデータを復号する。

幾つかの実施形態では、画像またはビデオ符号化／復号ｋ−Ｄツリーも、三角形メッシュを生成いするｋ−Ｄツリーとして用いてもよい。

このように、復号器において、コードブロックツリーが取り出され、受信画像データを復号するために用いられ得る。また、コードブロックツリーを三角形メッシュ生成器１０７に入力してもよく、三角形メッシュ生成器１０７はそれを用いて前述の通り三角形メッシュを生成する。

このアプローチは、２つのまったく異なるものに、すなわちビデオの符号化／復号と三角形メッシュ生成とに、同じｋ−Ｄツリーを用いてもよい。

このアプローチによりビデオデータの配信が非常に効率的になり得る。実際、関連データがすでに含まれているので、デコーダが、データオーバーヘッドを生じる必要なく、信頼できる三角形メッシュを生成できる。

幾つかの実施形態では、ビデオ信号はさらに、含まれるコードツリーブロックが三角形メッシュの生成に適しているか否かを示すフラグを含み得る。このように、信号は、コードツリーブロックがこの目的で生成されたかどうかを示す組み込みフラグ／メッセージを含み得る。これにより、受信器は、コーディングツリーブロックを用いるか（例えば、
ｈｔｔｐｓ：／／ｓｏｎｎａｔｉ．ｗｏｒｄｐｒｅｓｓ．ｃｏｍ／２０１４／０６／２０／ｈ２６５−ｐａｒｔ−ｉ−ｔｅｃｈｎｉｃａｌ−ｏｖｅｒｖｉｅｗ
を参照）又はデフォルト／フォールバック（ｆａｌｌ−ｂａｃｋ）アプローチ（例えば、ｋ−Ｄツリーをローカルで生成するか）を用いるか決定できる。

このように、幾つかの実施形態では、画像送信器１２０１は、（例えば、Ｈ．２６５を用いて）コードツリーブロックを用いて、画像と深度を符号化するように構成されてもよい。受信器は、このコードツリーブロックを取り出して、それを用いて三角形メッシュを生成してもよい。

より一般的な矩形分割の場合には、圧縮−解凍を緩和するために、できるだけ分離されたレベルにマッピングされる限定数の可能なサイズを用いるマップが生成される。幾つかの実施形態では、符号化はロスレス符号化であってもよい。

言うまでもなく、上記の説明では、明りょうにするため、異なる機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明した。しかし、言うまでもなく、本発明から逸脱することなく、異なる機能回路、ユニット、及びプロセッサの間で機能を適宜分配して、用いることができる。例えば、別のプロセッサやコントローラにより実行される機能は、同じプロセッサやコントローラで実行してもよい。このように、具体的な機能ユニットや回路の参照は、説明した機能を提供する好適な手段の参照であり、論理的あるいは物理的に厳密な構造や組織を表しているわけではない。

本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせを含むいかなる好適な形式で実施することもできる。本発明は、任意的に、１つ以上のデータプロセッサ及び／またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして、少なくとも部分的に実施することができる。本発明の実施形態の構成要素は、いかなる好適な方法で物理的、機能的、論理的に実施してもよい。機能は単一のユニット、複数のユニット、または他の機能ユニットの一部として実施することもできる。このように、本発明は、単一ユニットで実施することもできるし、異なる複数のユニット、回路、及びプロセッサに物理的かつ機能的に分散して実施することもできる。

実施形態に関して本発明を説明したが、ここに記載した具体的な形態に限定することを意図したものではない。むしろ、本発明の範囲は添付した請求の範囲のみにより限定される。また、具体的な実施形態に関して構成を説明したように見えるかも知れないが、当業者には言うまでもなく、説明した実施形態の様々な構成を、本発明により、組み合わせることができる。請求項では、「有する」という用語は他の要素やステップの存在を排除するものではない。

さらに、個別的に列挙されていても、複数の手段、要素、回路、方法ステップは、例えば単一の回路、ユニット、またはプロセッサにより実施してもよい。また、個々の機能（ｆｅａｔｕｒｅ）は異なる請求項に含まれていても、これらを有利に組み合わせることが可能であり、異なる請求項に含まれていても、機能を組み合わせられないとか、組み合わせても有利ではないということを示唆するものでもない。また、ある構成をあるカテゴリーのクレームに含めたとしても、そのカテゴリーに限定することを意味するのではなく、むしろその構成が必要に応じて他のクレームカテゴリーにも等しく適用できることを示すものである。さらに、クレーム中の構成の順序は、その構成が機能しなければならない特定の順序を示すものではなく、特に、方法クレームにおける個々のステップの順序はそのステップがこの順序で実行されなければならないことを示すものではない。むしろ、ステップは任意の好適な順序で実行してもよい。また、単数扱いをしても複数の場合を排除するものではない。よって、「１つの」、「第１の」、「第２の」等は複数の場合を排除するものではない。請求項中の参照符号は、明りょうにするために設けており、請求項の範囲を限定するものと解してはならない。

Claims (15)

1. ３次元画像の三角形メッシュを生成する装置であって、
   深度マップを提供する深度マップ源と、
   前記深度マップのｋ−Ｄツリーを生成するツリー生成器であって、前記ｋ−Ｄツリーが、非分割領域の深度変動尺度が閾値より小さいとの要件を満たす前記深度マップの階層的領域構成を表す、ツリー生成器と、
   内部頂点を前記ｋ−Ｄツリーの各非分割領域内に配置し、前記三角形メッシュの三角形の辺を、隣接する非分割領域の内部頂点間の線として構成することにより、前記三角形メッシュを生成するように構成された三角形メッシュ生成器とを有する、
   装置。
2. 領域の内部頂点は前記領域の中心に配置される、
   請求項１に記載の装置。
3. 前記三角形メッシュ生成器は、３つの領域間の各接合部に対し、前記三角形が前記３つの領域の内部頂点を接続する辺を有する三角形を形成するように構成される、
   請求項１に記載の装置。
4. 前記三角形メッシュ生成器は、４つの領域間の各接続部に対して２つの三角形を形成するように構成され、前記２つの三角形は前記４つの領域の対角線対向する２つの領域の頂点を結ぶ共通辺を有し、１つの三角形は、前記対角線対向する２つの領域の内部頂点を前記４つの領域のうちの第３の領域の内部頂点と結ぶ辺を有するように形成され、１つの三角形は、前記対角線対向する２つの領域の内部頂点を前記４つの領域のうちの第４の領域の内部頂点と結ぶ辺を有するように形成される、
   請求項１に記載の装置。
5. 前記ｋ−Ｄツリーは四分木である、
   請求項１に記載の装置。
6. 前記ツリー生成器はさらに前記３次元画像の輝度またはクロマ特性に応じて領域を分割するように構成される、
   請求項１に記載の装置。
7. 前記ツリー生成器は、正方形領域であることに制約されない矩形領域を有するｋ−Ｄツリーを生成するように構成される、
   請求項１に記載の装置。
8. 前記ツリー生成器は、分割に続き３つの領域により形成される各接合部が前記接合部を含むとの制約の下に領域を分割するように構成される、
   請求項１に記載の装置。
9. 前記ツリー生成器は送信器の一部であり、前記三角形メッシュ生成器は受信器の一部であり、前記送信器は前記３次元画像を表す画像データストリームを生成し、前記ｋ−Ｄツリーを前記画像データストリームに符号化するように構成され、前記受信器は前記画像データストリームから前記ｋ−Ｄツリーを取り出し、前記三角形メッシュ生成器に提供するように構成される、
   請求項１に記載の装置。
10. 前記送信器は、前記ｋ−Ｄツリーに画像符号化を適用して符号化ｋ−Ｄツリーを生成し、前記符号化ｋ−Ｄツリーを前記画像データストリームに含めるように構成される、
    請求項９に記載の装置。
11. 前記３次元画像を符号化する画像エンコーダをさらに有し、前記画像エンコーダは前記ｋ−Ｄツリーを用いて前記３次元画像を符号化するように構成される、
    請求項１に記載の装置。
12. ３次元画像の三角形メッシュを生成する方法であって、
    深度マップを提供することと、
    前記深度マップのｋ−Ｄツリーを生成することであって、前記ｋ−Ｄツリーが、非分割領域の深度変動尺度が閾値より小さいとの要件を満たす前記深度マップの階層的領域構成を表す、ことと、
    内部頂点を前記ｋ−Ｄツリーの各非分割領域内に配置することと、
    前記三角形メッシュの三角形の辺を隣接する非分割領域の内部頂点間を結ぶ線として形成することにより前記三角形メッシュを生成することとを含む、
    方法。
13. コンピュータに、請求項１２に記載の方法のステップを実行させるコンピュータプログラム。
14. 三角形メッシュを生成する装置であって、
    ３次元画像の表現を提供する画像データと、前記３次元画像の深度マップのｋ−Ｄツリーとを含むビデオ信号を受信する受信器であって、前記ｋ−Ｄツリーは、非分割領域の深度変動尺度が閾値より小さいとの要件を満たす前記深度マップの階層的領域構成を表す、受信器と、
    内部頂点を前記ｋ−Ｄツリーの各領域内に配置し、前記三角形メッシュの三角形の辺を、隣接する領域の内部頂点間の線として構成することにより、前記三角形メッシュを生成するように構成された三角形メッシュ生成器とを有する、
    装置。
15. 前記画像データから３次元画像を復号する復号器をさらに有し、復号は前記ｋ−Ｄツリーに応じて行われる、
    請求項１４に記載の装置。

Images