JP2011522300A - 仮想画像を表示するための方法 - Google Patents

Abstract

本発明は、領域の各点に対して画素及び高さを記憶するために領域のステレオ記録を使用して領域における三次元物体の仮想画像を表示するための方法に関する。この方法は、異なる立体角の少なくとも三つの異なるステレオ記録からのステレオ記録が領域をカバーするために使用されること、各々の異なる立体角に対して画素点ごとのテクスチャ及び高さについてのデータを含む少なくとも一つのデータベースが確立されること、及び仮想画像を表示するためのデータが、仮想画像が表示される方向に依存して異なるデータベースから組み合わされることを特徴とする。
【選択図】図８

Description

本発明は、領域の各点に対して画素及び高さを記録するために領域のステレオ記録を使用して領域において三次元物体の仮想画像を表示するための方法に関する。

地面上の各点に対して画素及び高さを生成しかつ記憶することは、マッピング内で従来から知られている。使用されることができる分解能は、例えば地面上で１メートル又は１０センチメートルである。各点に対して記憶される二つのデータは、その点におけるテクスチャ及び高さを記述し、好適な座標系に関係する。これらのデータを生成するとき、幾分異なる位置であるが一般にはむしろ垂線に近い位置からの二つの異なる画像記録を持つことが必要である。これらの画像は、正射写真として表示されることができる。

ステレオ記録はそれ自体、従来から知られており、それは例えばマルチ画像ステレオ処理方法を開示する米国特許第６１７５６４８号を参照することができる。複数の寸法が共通のデータベースに選択されるか又は重み付けされる。ステレオ記録から高さ情報を得る方法は、２００７年４月４日に出願された我々の特許出願ＰＣＴ／ＥＰ２００７／０５６７８０において特に説明されている。

この種のデータの記憶での一つの問題は、内部へ傾斜される垂直な表面（単数又は複数）を記憶する可能性が全くないことである。垂直な表面の典型例は家の壁であるが、内部に傾斜した自然物の構造のような他の物体もありうる。家の壁がそのわきから示されるとき、垂直な表面は屋根と地面の間で補間され、壁のテクスチャが全く利用できない。さらに、高さの計算が一般に少し補間され、結果として家の壁又は正面は外部に傾斜され、そのため家の正面を示す画像が現実の家の正面のように見えないことを生じる。

本発明の目的は、垂直な表面又はさらにはわずかに下方に及び内部に傾斜した表面の表示を実現する方法を得ることである。

本発明の目的は、異なる立体角の少なくとも三つの異なるステレオ記録からのステレオ記録が領域をカバーするために使用されること、各々の異なる立体角に対して画素点ごとのテクスチャ及び高さについてのデータを含む少なくとも一つのデータベースが確立されること、及び仮想画像を表示するためのデータが、仮想画像が表示される方向に依存して異なるデータベースから組み合わされることを特徴とする方法によって達成される。少なくとも三つの異なるステレオ記録及び対応するデータベースを導入することによって、表示される領域に関する情報はまた、垂直な表面、及び地面の方に下方に先細りになる表面に対しても利用可能である。垂直な表面及び傾斜表面についての情報は少なくとも一つのデータベースにおいて利用可能である。

本発明の方法の好ましい展開によれば、立体角に対して仮想画像を表示するためのデータは、二つ以上のステレオ記録に接続されたデータベースから組み合わされる。

本発明の方法の別の好ましい展開によれば、仮想画像を表示するためのデータは、仮想画像が表示される方向に対する角度に最も近いステレオ記録に接続されたデータベースから選択される。選択された仰角を含む角度に最も近いステレオ記録からのデータを選択することによって、一回で一つのデータベースという減少された数のデータベースを使用することができる。これは特に、処理の複雑さを低下させ続けることができることをもたらす。

本発明の方法のさらに好ましい展開によれば、三つの異なるステレオ記録が、各々に実質的に１２０度の方位角をカバーするように互いに実質的に１２０度分離された基面において立体角投射を持って使用され、データが、表示される仮想画像の基面における方向の投射が示す方位角をカバーするデータベースから取り出される。三つのステレオ記録の使用は、表示される領域が問題の全ての方向からカバーされることができると同時にデータの数を低下させ続けることができる。この関連において、異なるステレオ記録は、基面に対して垂直な垂線から約３０度で記録されることができるだろう。

画像品質を高めるために、データベース及び異なるステレオ記録の数は本発明の方法の好ましい展開に従って増大される。提案される方法によれば、四つの異なるステレオ記録が、各々に実質的に９０度の方位角をカバーするように互いに実質的に９０度分離された基面において立体角投射を持って使用され、データが、表示される仮想画像の基面における方向の投射が示す方位角をカバーするデータベースから取り出される。この関連において、異なるステレオ記録は、基面に対して垂直な垂線から約４５度で記録されることができるだろう。

画像品質をさらに高めるために、基面に実質的に垂直な追加のステレオ記録が、円形立体角をカバーするために使用され、そのデータベースから基面に対して垂直又はほぼ垂直に表示される仮想画像の方向に対してデータが取り出される。

さらに、本発明の方法の可能な展開によれば、二つ以上のデータベースからのデータが、異なるステレオ記録間の遷移の近くで補間されることができる。これは、低い画像品質を有するステレオ記録の部分において画像品質を強化することができるだろう。

本発明の方法の別の提案される展開によれば、高さを角度高さとして表示することが提案される。

本発明の方法の別の変形は、データベースにおいて記録角度についての情報をテクスチャ及び高さ情報に加えて記憶することである。

本発明の方法のさらに別の変形によれば、異なるデータベースからの情報が、距離、面積及び容積のような物体の寸法を計算するために使用される。

本発明は、添付図面を参照してより詳細に記載されるだろう。

図１は、領域の画像記録を概略的に示す。

図２は、ステレオ記録を概略的に示す。

図３は、本発明による三次元物体の仮想画像を表示するための方法に従って使用されるステレオ記録の第一例を示す。

図４は、本発明による三次元物体の仮想画像を表示するための方法に従って使用されるステレオ記録の第二例を示す。

図５は、本発明による三次元物体の仮想画像を表示するための方法に従って使用されるステレオ記録の第三例を示す。

図６は、図３のステレオ記録例のために好適なデータベースの第一例を概略的に示す。

図７は、図３のステレオ記録例のために好適なデータベースの第二例を概略的に示す。

図８は、情報の処理方法の一例を示すフローチャートである。

図１では、建造物２ａ−２ｆを有する領域１が、記録装置４によって航空機３から記録されている。飛行機の代わりに、衛星、地上車両又は船舶のような他のいかなる移動可能な運搬手段も使用することができる。従って、記録は、例えば人間の活動によって空、地上又は海から、さらには地面を記録する地面から直接実施されることができる。

図２では、領域のステレオ記録が示されている。画像捕獲ユニット５が含まれる。第一時間に、この画像捕獲ユニットは、領域６ａの画像を捕獲するように第一位置５ａに位置される。第二時間に、画像捕獲ユニットは、領域６ｂの画像を捕獲するように第二位置５ｂに位置される。この方法では、図１に示された領域１の少なくとも一部をそれぞれカバーする少なくとも部分的に重複する複数の画像が生成される。代替例として、図２の画像捕獲ユニットは、互いに関係して装着されて固定される複数の画像捕獲サブユニット５ａ及び５ｂを含むものとして見なすことができる。画像捕獲サブユニット５ａ，５ｂによって捕獲された領域６ａ及び６ｂの画像は一つの例ではその時同時に捕獲される。

図３では、本発明による三次元物体の仮想画像を表示するための方法に従って使用されるステレオ記録の第一例が示されている。この例によれば、領域１は少なくとも三つの方向からステレオ記録される。一例として領域１の基面で見るとき、記録は、矢印７によって示される北と、それに±１２０度の角度の矢印８及び９によって示される方位角においてなされることができるだろう。仰角では、領域１の基面に対して垂直な垂線から約３０度それるように三つの記録が提案される。これらの三つの記録の各々に対して、領域１における各点に対してテクスチャ及び高さについてのデータを少なくとも含むデータベースが構成される。三つの異なる立体角におけるステレオ記録に基いたこのようなデータベースの導入は、全ての家の正面が一つ以上のデータベースにおいて見ることができることをもたらす。

最も明白な方法で仮想画像を表示するとき、各々表示された画素は三つのデータベースの表示の方向に対する角度に最も近いデータベースから選択される。もし例えばビューワがまっすぐ下方を見るなら、全ての三つのデータベースは「１ピースのケーキ」の入力データとして使用され、各ピースは表示画像の約１２０度からなる。もしビューワがまっすぐ南を見るなら、データは、上で与えた例に従って北から記録されたデータベースから取り出されるにすぎない。

対応するように、南からそれぞれ約＋１２０度又は−１２０度それる方向で見るとき、他の二つのデータベース記録の対応したものの一つからデータが取り出される。二つ以上のデータベースからデータを取り出すこともでき、特にこれは観察方向が記録方向から強くそれるときに使用されることができる。従って、例えば、１８０度の視界で南を見るとき、表示画像の最も右及び最も左に関するデータはそれぞれ最も西及び東に関連するデータベースから取り出されることが有利である。このようにして、いわゆるカーテンが表示画像において回避される。

上述のように操作するとき、家の壁又は正面のテクスチャが与えられ、実際の家の壁又は正面の「高さ」のより良好な記述が得られる。これらの寸法は全て一緒に、家及び他の物体のより魅力的な画像提示をもたらす。

上で与えられた例及び下で議論されるさらなる例では、記録角度及びデータベースの角度は同じであることができるが、記録角度とデータベースの角度の間で多少異なる角度で操作することもできる。

図４は、本発明による三次元物体の仮想画像を表示するための方法に従って使用されるステレオ記録の第二例を示す。この例によれば、領域１は矢印１０〜１３によって示された四つの方向からステレオ記録され、従って基面は方位角において各々９０度をカバーする四つの区域に分割される。これらの四つの記録の各々に対してデータベースが構成され、図３を参照して記載された方法に対応する方法で使用される。

三次元物体の仮想画像を表示するための方法をさらに増強するために、図５に従って五つの別個のデータベースを使用して五つの方向からステレオ記録を使用することが提案される。この場合において、方向の四つは図４に記載されたものと同様であり、矢印１０〜１３で示される。これらの四つの方向に加えて、第五の方向１４が使用され、それは基面に対して垂直な方向の近くで記録され、円形立体角をカバーする。この最後に述べた記録は正射写真画像を捕獲する方法と同様である。画像を表示するとき、基面から直立して約３０度の角度をカバーするために第五の記録が使用されることができる。他の四つの記録のために好適な記録仰角は約４５度であることができる。

さらに一層増強された方法では、さらなるデータベースを使用することができる。例えば九つのデータベースを使用することができる。かかる場合においては、一つのデータベースが直線的に上から記録されることができるが、四つのデータベースが例えば２５度の第一仰角で記録されることができ、別の四つのデータベースは例えば４５度の第二仰角で記録されることができ、各仰角での四つのデータベースの記録は約９０度だけ方位角で分離されている。

図３を参照して例示される方法によれば、約３０度の垂線からそれる角度が提案される。図４を参照すると、対応する角度は約４５度であることが提案される。これらの角度は提案したにすぎず、他のいかなる好適な角度を選択することができる。例えば、角度は９０度、さらに多い角度であることができ、結果として家の壁のような垂直な表面は明白な方向で最適に画像形成される。

図３及び４によるケーキの様々なセクター又はピースが二つ以上の角度から収集された各画素点のデータを含んでもよいことが述べられる。

図６では、図３を参照して議論したステレオ記録例のために好適な三方向ステレオ記録のためのデータベースの第一例が概略的に示されている。各記録方向はそれぞれデータベース１５，１６及び１７を割り当てられている。各々のかかるデータベースは、画素点の位置１８、画素のテクスチャ１９及び画素点の高さ情報２０に関する情報を少なくとも含む。この関連において、高さは明示的に表す必要はないが、角度高さ、例えば３０度の高さとして表示されることができる。この関連において、角度高さはデータベースの投射方向でカメラの焦平面に対する高さの投射として規定されることができる。

図７は、図３を参照して議論されたステレオ記録例のために好適なデータベースのわずかに異なる構成を提案する。この場合において、記録角２１についての情報はデータベース１５〜１７に加えられる。

図６及び７に概略的に示されたデータベースに記憶されたデータはまた、距離、面積及び容積のような物体の寸法を計算するために使用可能な情報として利用可能である。

図８では、どのように情報が処理されることができるかを一例として概略的に示すフローチャートが示されている。この方法は開始ブロック２２から開始される。まず、最終画像提示のために必要なステレオ記録が利用可能であることが保証される。ブロック２３はこれらのステレオ記録を与える。ステレオ記録は図２を参照して既に議論され、図３〜５は示される領域をカバーするために好適な記録方向を提案する。

続く工程では、ステレオ記録からの情報はデータベースに記憶され（ブロック２４）、一つのデータベースは各ステレオ記録を割り当てられる。図６及び７を参照して既に議論されたように、データベースは、画素点に関するテクスチャ１９及び高さ２０についての情報を含む。ブロック２５は処理されるステレオ記録の個数ｎを設定し、最小数は３に設定されている。

ブロック２６では、データベースの選択が起こる。最も明白な方法では、仮想画像が表示される方向に対する角度に最も近い方向で記録されたデータベースが選択される。データベースを取扱うために、いわゆるビューワが使用されることができる。かかるビューワは、利用可能でかつ使用可能なデータベースについての知識を持つ。始めに、このビューワは、表示される画像において異なる領域のために使用されるそれぞれのデータベースを計算する。画像が異なるデータベースから生じるとき、画像における遷移を平滑にするために特定のアルゴリズムを使用することができる。これをするための一つの方法は補間である。そのときビューワは画像表示に関連して通常の計算を実施する。従って、今日実施される同じ三次元効果が考慮されることになる。これは、あなたが仮想的に移動して異なる方向で見るとき、あなたが三次元効果を知覚することができること、そして画像中の異なる物体が互いの背後に隠れることを意味する。

次の工程２７では、選択されたデータベースからの情報が好適な表示装置のスクリーン上に画像として表示される。表示される仮想画像の方向が変化され、それが望ましい新しい角度である場合（ブロック２８参照）には、工程はブロック２６の入力から繰り返される。そうでない場合は、工程が停止される（ブロック２９参照）。

本発明は上記の例に限定されず、添付の請求項の範囲内で変更可能である。

Claims (12)

1. 領域の各点に対して画素及び高さを記憶するために領域のステレオ記録を使用して領域における三次元物体の仮想画像を表示するための方法において、異なる立体角の少なくとも三つの異なるステレオ記録からのステレオ記録が領域をカバーするために使用されること、各々の異なる立体角に対して画素点ごとのテクスチャ及び高さについてのデータを含む少なくとも一つのデータベースが確立されること、及び仮想画像を表示するためのデータが、仮想画像が表示される方向に依存して異なるデータベースから組み合わされることを特徴とする方法。
2. 立体角に対して仮想画像を表示するためのデータが、二つ以上のステレオ記録に接続されたデータベースから組み合わされることを特徴とする請求項１に記載の方法。
3. 仮想画像を表示するためのデータが、仮想画像が表示される方向に対する角度に最も近いステレオ記録に接続されたデータベースから選択されることを特徴とする請求項１に記載の方法。
4. 三つの異なるステレオ記録が、各々に実質的に１２０度の方位角をカバーするように互いに実質的に１２０度分離された基面において立体角投射を持って使用されること、及びデータが、表示される仮想画像の基面における方向の投射が示す方位角をカバーするデータベースから取り出されることを特徴とする請求項１又は３に記載の方法。
5. 異なるステレオ記録が、基面に対して垂直な垂線から約３０度で記録されることを特徴とする請求項４に記載の方法。
6. 四つの異なるステレオ記録が、各々に実質的に９０度の方位角をカバーするように互いに実質的に９０度分離された基面において立体角投射を持って使用されること、及びデータが、表示される仮想画像の基面における方向の投射が示す方位角をカバーするデータベースから取り出されることを特徴とする請求項１又は３に記載の方法。
7. 異なるステレオ記録が、基面に対して垂直な垂線から約４５度で記録されることを特徴とする請求項６に記載の方法。
8. 基面に対して実質的に垂直な追加のステレオ記録が、円形立体角をカバーするために使用され、そのデータベースから基面に対して垂直又はほぼ垂直に表示される仮想画像の方向に対してデータが取り出されることを特徴とする請求項１〜７のいずれかに記載の方法。
9. 二つ以上のデータベースからのデータが、異なるステレオ記録間の遷移の近くで補間されることを特徴とする請求項１〜８のいずれかに記載の方法。
10. 高さが角度高さとして表示されることを特徴とする請求項１〜９のいずれかに記載の方法。
11. 記録角度についての情報が、テクスチャ及び高さ情報に加えてデータベースに記録されることを特徴とする請求項１〜８のいずれかに記載の方法。
12. 異なるデータベースからの情報が、距離、面積及び容積のような物体の寸法を計算するために使用されることを特徴とする請求項１〜１１のいずれかに記載の方法。

Images