JP2016505961A

JP2016505961A - 実環境に仮想情報を表現する方法

Info

Publication number: JP2016505961A
Application number: JP2015548230A
Authority: JP
Inventors: ワンレジン; マイヤーペーター; ミスリンガーシュテファン
Original assignee: Metaio GmbH
Current assignee: Metaio GmbH
Priority date: 2012-12-21
Filing date: 2012-12-21
Publication date: 2016-02-25
Anticipated expiration: 2032-12-21
Also published as: CN104995665A; EP2936441B1; JP6050518B2; EP3779895A1; WO2014094881A1; US20150332505A1; CN104995665B; US9558581B2; EP2936441A1

Abstract

【解決手段】システム装置がディスプレイ機器に仮想情報を調和させるために適合される工程と、実環境の少なくとも１つのコンポーネントに関連して視点の位置を決定する工程と、実環境の幾何学モデルを供給し、幾何学モデルは実環境のそれぞれのビルトイン実オブジェクトの複数の表現を具備し、各表現はそれぞれのオブジェクトの範囲を定める少なくとも１つの境界を有する少なくとも１つの二次元又は三次元幾何学形状を具備し、境界の一方はその内側に向かってオブジェクトの範囲を定め、境界の他方はその外側に向かってオブジェクトの範囲を定める工程と、仮想情報の少なくとも１つのアイテム及び仮想情報の少なくとも１つのアイテムの位置を供給する工程と、視点の位置及び幾何学モデルに従ってディスプレイ機器に仮想情報の少なくとも１つのアイテムを調和させる視覚化モードを決定する工程と、視点と仮想情報のアイテムの間の射線を演算する工程と、射線による境界交点の数を決定する工程とを備える。【選択図】図１

Description

本発明は、システム装置に少なくとも１つのディスプレイ機器を設けるステップを有し、前記システム装置は前記ディスプレイ機器の仮想情報を調和するために適合される、実環境の光景に仮想情報を表現する方法に関する。本発明は、前記方法を実行するソフトウェアコードセクションを具備するコンピュータプログラムプロダクトにも関する。

拡張現実（ＡＲ）システムは、実環境又は実環境の一部の光景にコンピュータで生成された仮想情報を重ねて視覚化することにより、実環境の情報を高めることで知られている。仮想情報は、オブジェクト、テキスト、図面、映像、或いはそれらの組合せのように、どのようなタイプの視覚的に知覚できるデータでも良い。ここでわかるように、実環境又は実環境の一部の光景は、ユーザの目で視覚的印象として感知され、且つ／又は、例えばユーザが携行しているか、ユーザが持っている機器に付属しているカメラによって１つ以上の画像として取得される。

重ねられる又は調和される仮想情報は、原理的には、仮想情報の様々なアイテムでよい。例えば、実環境の情報を高められる仮想情報のアイテムは、例えば地図やナビゲーションアプリケーションで知られているような興味点でよい。興味点（ＰＯＩ）は、実環境での実オブジェクト（例えばビルやランドマーク）の位置を表わし、多くの場合、実オブジェクトに関連するデジタルコンテンツを含んでいる。例えば、その位置は全地球位置（例えば経度及び緯度の二次元座標や経度、緯度及び標高の三次元座標のような地理座標）や郵便アドレス（例えば階数、通り、郵便番号、国）である。郵便アドレス及び全地球位置は相互に変換可能である。ＰＯＩのデジタルコンテンツは様々なデータ、例えば、名前、説明、実オブジェクトに関する連絡先を含むことができる。

拡張現実システムの主要な機能は、実環境の光景に仮想情報のアイテム、例えば興味点（ＰＯＩ）を重ねることである。これは、特に、特許文献１、２及び非特許文献１に記載されているように、位置に基づく（モバイル）拡張現実アプリケーション、例えば都市環境を探索するツアーガイダンスにおいて有用であり、普及している。例えば、ユーザが初めての場所にいて、目にしたものの情報を得たいとき、実環境の光景にＰＯＩを重ねる拡張現実アプリケーションを利用することができる。拡張現実システムでは、ＰＯＩ情報は、所望の視覚や有用性を満たすように、実環境又は実環境の一部の中で表現されなければならない。ＰＯＩ情報のためのデータソースの多くは、１つ以上のポイント又は頂点をもつ三次元モデルとしてではなく、実世界でのポイントに関する情報を提供する。本発明は仮想情報のアイテムの視覚化を制御するのに適しており、それらのアイテムは緯度、経度及びオプションとして標高及びテキストや二次元画像情報からなる付加的なメタ情報によって描写される。

拡張現実アプリケーションにおける実環境の光景へのＰＯＩ情報の調和又は重ね合わせでの視覚認識及び有用性を改良するために、いくつかの方法が開発されている。

ＰＯＩのビュー距離は、ＰＯＩの位置とカメラ又はユーザが立っている位置との間の距離に関連する。ＰＯＩのビュー方向は、カメラ又はユーザが立っている位置からＰＯＩの位置までの方向に関連する。

非特許文献１でのHoellererらは、ラベルがユーザの方を向いて、可読性を保証する距離に関係なくサイズを維持している間、ユーザの見るポーズに対して正確な遠近感の中の仮想フラグ及びラベルとしてＰＯＩを表示することを提案している。

拡張現実システムは、より有効的にＰＯＩをユーザに表示するという重要な技術的挑戦に直面している。特許文献１でのUusitaloらは、実環境の分割に基づいてＰＯＩ情報を表示する方法を開示している。その方法では、実環境の光景の１つ以上の区画に基づいて１つ以上のＰＯＩを重ねることを決定している。建物を区画に分けるためにフロアプランや建物の高さの知識を利用し、建物の画像において対応する区画にＰＯＩを重ねることを教示している。

ＰＯＩが同じビュー方向である場合、拡張現実アプリケーションでの表示ではお互いに隠れて配置されてしまうかもしれない。この際、ＰＯＩのいくつかが、他のＰＯＩの後ろに隠れてしまって、見えなくなってしまうかもしれない。これに対して、特許文献２でのSandbergは、同じビュー方向のＰＯＩをグループ化し、グループ化したＰＯＩを見える状態で表示することを動機付けとしている。

特許文献３でのMeierらは、視点までのその領域の距離に基づいて実環境の光景を複数の領域に細分することにより、拡張現実システムでのＰＯＩの人間工学的な表現を達成する方法を開示している。

拡張現実システムは、通常、実環境の光景の上にＰＯＩを不透明に重ねる。例示的な風景を図９に示しており、ＰＯＩは、実環境５１の画像８１の上に不透明なラベル９２、９３、９４、９５、９６、９７、９８及び９９として重ねられている。このように、ＰＯＩの表示（例えば不透明なラベル）が、画像の中で実環境又は実環境の一部をオクルードする。特許文献２でのSandbergと特許文献１でのUusitaloらも、実環境の画像にＰＯＩのアイコン及びラベルを不透明に重ねている。これにより、ユーザが重ねられたＰＯＩから実環境を素早く直感的に理解することが困難になる。

実環境の実オブジェクトは、それらの前に置かれた実オブジェクトによって視点からオクルードされ、実環境の光景の中で時々見えなくなることがある。例が図８（ＰＯＩを除いた図９のシーンを示している）に示されており、実環境５１中の実オブジェクト（建物）Ｄ（図７参照）が、その環境での画像８１の中で見えなくなっている。この状況において、オクルードされたオブジェクトに関連するＰＯＩを(図９で示されているように)実環境の光景の上に単純に重ねると、ユーザがその光景で見えている前方の物体にそのＰＯＩを誤って関連付けて、ユーザを混乱させるかもしれない。図９の例では、ユーザはＰＯＩ情報９３、９４、９５、９６、９７及び９８を実オブジェクト（建物）Ａに関連付けるかもしれないが、ＰＯＩ＿７及びＰＯＩ＿８で表わされる９７及び９８は建物Ａとは関係ない。

従って、見えている前方の物体とは違う方法で、さらにはユーザがオクルージョン効果を直感的に知覚できる方法で、オクルードされたオブジェクトに関連するＰＯＩを視覚化することが望ましい。例えば、オクルードされたオブジェクトに関連するＰＯＩが半透明或いは破線で示され、前方の物体に関連するＰＯＩは不透明、実線或いは違う色で示される。

特許文献３でのMeierらは、オクルージョンモデルにＰＯＩを表示するかどうかを決定するために、視点から実環境へのビュー方向に沿っての奥行きを使用することを教示している。もしＰＯＩが奥行きよりも長いビュー距離を有しているならば、ＰＯＩは、特許文献３に従って、オクルージョンの方法、即ち、半透明或いは破線で表示される。

実環境の実オブジェクトは、多くの場合、三次元空間でのボリュームである三次元の空間を占有するが、実オブジェクトに関連するＰＯＩは、三次元空間でのポイントである位置を表わす。ＰＯＩの位置は、ＰＯＩが関連している実オブジェクト中のどこにでも割り当てられる。従って、ＰＯＩが実オブジェクトへのビュー方向に沿って推定された奥行きよりも長いビュー距離を有している限り、実オブジェクトは視点から見ることができる。例えば、建物（例えばショッピングモール）は、その建物に関連するＰＯＩのビュー距離が視点から建物の外面（例えば壁）までの奥行きよりも長い限り、実環境の光景の中で見ることができる。

図５、６、７及び８には、実オブジェクトＡが画像８１の中に見ることができるが、Ａに関連するＰＯＩ＿３（図７）は視点７１に対してＡより遠くにある例が描かれている。この場合では、特許文献３でMeierらによって開示された方法では、実環境の光景へのＰＯＩの重ね合わせで不適切なオクルージョン理解という結果になるであろう。

拡張現実の空間での一般的な問題は、見栄えの良い拡張現実の体験のモックアップ又は空想映画を人々が非常に簡単に作れるが、そのような体験を達成するための詳細な問題が検討されておらず、解決されていないことである。

ＰＯＩが他の実オブジェクトの中に置かれた実オブジェクトを表わすような状況は、拡張現実システムでＰＯＩを適切に表示するためには、より挑戦的である。例えば、ＰＯＩ＿４は実環境５１での建物Ａの中にある実オブジェクト(部屋)Ａ３を表わしている（図７）。ユーザが建物Ａの外に立ち、実環境５１の画像にＰＯＩ＿４を重ねるために拡張現実のテクノロジーを使用する場合、非オクルージョンモデルの中でＰＯＩ＿４情報を表示する、即ち、画像の中で表示されるのが好ましい。他の場合では、建物Ｄは建物Ａの外にあり、画像８１の中でＡによってオクルードされている（図７、８）。この場合では、画像８１上のＤに関連するＰＯＩ＿８をオクルージョンモデルの中で重ねる、即ち、画像の中では表示されないのが好ましい。従来開発された方法は、オクルージョンモデルの中でＰＯＩ＿８を表示することや非オクルージョンモデルの中でＰＯＩ＿４を表示することを教示又は動機付けしていない。

米国特許出願公開第２０１２／０１１３１３８号明細書米国特許出願公開第２０１２／００７５３４１号明細書米国特許出願公開第２０１２／０１７６４１０号明細書

Hoellerer, T., and S. Feriner. "Mobile augmented reality." Telegeoinformatics: Location-Based Computing and Services. Taylor and Francis Books Ltd., London, UK(2004) Feiner, Steven, et al. "A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment." Personal and Ubiquitous Computing 1.4(1997): 208-217. Woop et al. "RPU: a programmable ray processing unit for realtime ray tracing." ACM Transaction on Graphics(TOG). Vol.24. No.3. ACM, 2005 Ivan Sutherland et al., "A Characterization of Ten Hidden-Surface Algorithms" 1974, ACM Computing Surveys vol.6 no.1. "Point in Polygon, One More Time...", Ray Tracing News, vol.3 no.4, October 1, 1990 Horvat,. "Ray-casting point-in-polyhedron test."2012

上記の事情に鑑み、本発明の目的は、仮想情報のアイテムを、特に拡張現実のアプリケーション又はシステムでの実環境の光景へ調和させるときに、オクルージョン理解を改良することができる、実環境での仮想情報を表現する方法を提供することである。

本発明の態様によれば、実環境の光景に仮想情報を表現する方法であって、少なくとも１つのディスプレイ機器を備えるシステム装置を設け、前記システム装置は前記ディスプレイ機器の仮想情報を調和させるために適合される工程と、前記実環境の少なくとも１つのコンポーネントに関連して視点の位置を決定する工程と、前記実環境の幾何学モデルを供給し、前記幾何学モデルは前記実環境のそれぞれのビルトイン実オブジェクトの複数の表現を具備し、各表現は前記それぞれのオブジェクトの範囲を定める少なくとも１つの境界を有する少なくとも１つの二次元又は三次元幾何学形状を具備し、前記境界の一方はその内側に向かって前記オブジェクトの範囲を定め、前記境界の他方はその外側に向かって前記オブジェクトの範囲を定める工程と、仮想情報の少なくとも１つのアイテム及び前記仮想情報の少なくとも１つのアイテムの位置を供給する工程と、前記視点の位置及び前記幾何学モデルに従って前記ディスプレイ機器に前記仮想情報の少なくとも１つのアイテムを調和させる視覚化モードを決定する工程と、前記視点と前記仮想情報のアイテムの間の射線を演算する工程と、前記射線による境界交点の数を決定する工程とを備え、前記境界交点の数が２未満ならば前記仮想情報のアイテムは非オクルージョンモードで調和され、そうでなければオクルージョンモードで調和され、且つ／又は、前記仮想情報のアイテムの位置が前記視点に対して前記交差された境界の前に移動することを特徴とする実環境の光景に仮想情報を表現する方法が提供される。

特に、本発明は、前記視点の位置及び前記実環境の幾何学モデル、好ましくは二次元及び／又は三次元形状モデルを使用することにより、拡張現実アプリケーションでの前記実環境又は実環境の一部の光景に、仮想情報のデジタルコンテンツ又はアイテム、例えば興味点（ＰＯＩ）を調和又は重ねることでの不適切なオクルージョン理解の問題を扱う。

仮想情報のデジタルコンテンツ又はアイテムは、オブジェクト、テキスト、図面、映像、或いはそれらの組合せのように、どのようなタイプの視覚的に知覚できるデータでも良い。実環境又は実環境の一部の光景は、キャプチャ機器によって取り込まれる。例えば、実環境の光景はユーザの目によって視覚的印象として取り込まれるか、又はユーザが携行しているかユーザが持っている機器に付属しているカメラによって１つ以上の画像として取得される。他に代わりとなるディスプレイ機器はヘッドアップディスプレイで、例えば自動車や飛行機の中に取り付けられている。人間の目及びカメラは同じイメージング数学モデル、即ちピンホール投影モデルを有している。ピンホール投影モデルは、三次元ポイントの座標と光景上へのその画像投影との関係を記述する。画像平面は、光学システムによって生成される画像を形成する平面である。三次元ポイントの画像投影は、視点から三次元ポイントまでの射線と画像平面との交点によって定義される。

重ねられる又は調和される仮想情報のアイテム、例えばＰＯＩの情報及び実環境を、半透明のメガネを有する既知の光学シースルーディスプレイにユーザは見ることができる。そして、ユーザは、前記半透明のメガネを通して、メガネの中で調和されたＰＯＩの仮想情報により拡張された実環境のオブジェクトを見る。ＰＯＩと実環境の重ね合わせも、カメラと一般のディスプレイ機器を有するビデオシースルーディスプレイにユーザは見ることができる。実環境はカメラによって取り込まれ、仮想データと実環境の重ね合わせはディスプレイでユーザに示される。

実施形態では、前記方法は実環境の少なくとも１つのコンポーネントに関連する視点のポーズの決定を含んでおり、そのポーズはキャプチャ機器（例えばカメラや人間の目）が画像又は視覚として実環境又は実環境の一部の光景を取り込む位置及び方向を記述する。

実環境は実世界でのどんな現実のシーンでも良く、例えば、自然のシーン、屋内環境のシーン又は市街のシーンである。実環境は１つ以上の実オブジェクトを含む。実オブジェクト、例えば場所、建物、木又は山は実環境に置かれ、エリアを占める。場所は、典型的にはエリア内に名前をもつ空間の境界又は部分によって実環境に置かれるエリアであり、例えば建物の屋内エリア、ミュンヘン、マンハッタン又はイギリス式庭園（ミュンヘンにある緑地）である。実オブジェクトは、さらに、含んでいる実オブジェクトの中に１つ以上の実環境を含むことがある。例えば、市街（実環境）はショッピングモール（市街の中の実オブジェクト）を含み、ショッピングモールは様々な店（ショッピングモールの中の実オブジェクト）を含む屋内シーン（実環境）を含むことがある。

特に、幾何学モデルは、オブジェクトの範囲を定めるための少なくとも１つの境界を有する少なくとも１つの二次元又は三次元幾何学形状をそれぞれ具備するビルトイン実オブジェクトの複数の表現を具備し、また、前記方法は視点と仮想情報のアイテムの間の射線を演算し、射線による境界交点の数を決定する工程を含む。特に、境界交点の数が２未満ならば仮想情報のアイテムは非オクルージョンモードで光景に調和され、そうでなければオクルージョンモードで調和される。付加的或いは代替の実施形態によれば、境界交点の数が２未満ならば、仮想情報のアイテムの位置は視点に対して交差された境界の前に移動する。境界の一方は一方に向かって、特にその内側に向かってオブジェクトの範囲を定め、境界の他方はもう一方に向かって、特にその外側に向かってオブジェクトの範囲を定める。例えば、境界は、そのラインの一方がその内側に向かってオブジェクトの範囲を定め、そのラインの他方がその外側に向かってオブジェクトの範囲を定めるラインの場合がある。例えば、ラインは建物の壁を表わすことがある。他の例によれば、境界はラインのセットによって定義されることがあり、例えば２つの側面（即ち、内側と外側）をもつ壁を示し、例えば壁の一方に対するラインと壁のもう一方に対するラインによって表わされる。この例では、境界は、壁を境界として表わす２つのラインのセットによって形成されると理解されるべきで、境界の一方（即ち、壁の内側の面／ライン）はその内側に向かってオブジェクトの範囲を定め、境界のもう一方（即ち、壁の外側の面／ライン）はその外側に向かってオブジェクトの範囲を定める。

実施形態によれば、基準は、幾何学モデルを使用して視点からビルトイン実オブジェクトまでの１つ以上の射線を放つことによって、少なくとも部分的には決定される。ビルトイン実オブジェクトの少なくとも１つの境界と最初に交差する、視点からの射線が少なくとも１つ存在するならば、ビルトイン実オブジェクトは実環境の光景の中で少なくとも部分的には見える。

実施形態によれば、ビルトイン実オブジェクトの表現は、オブジェクトの範囲を定める少なくとも１つの境界を有する少なくとも１つの二次元又は三次元幾何学形状を具備し、また、その方法は、仮想情報のアイテムの位置が二次元又は三次元幾何学形状の内側にあるか決定し、仮想情報のアイテムをそれに基づくビルトイン実オブジェクトと関連づける工程を含んでいる。

実施形態によれば、前記方法は繰り返し実行され、各繰り返しでは前記仮想情報のアイテムの高さが増加し、前記射線による前記境界交点の数が２未満になったとき、或いは前記高さが予め定められたリミットを超えたとき、繰り返しがストップする。

さらなる実施形態によれば、前記仮想情報のアイテムの視覚化モードの決定は前記視点までの前記仮想情報の距離に影響を受け、仮想情報のアイテムが非オクルージョンモードで調和されると決定された場合、前記仮想情報のアイテムの図形表現が前記幾何学モデルに付加され、仮想情報の次のアイテムの前記視覚化モードを決定するときに考慮される。

例えば、前記幾何学モデルは前記ディスプレイ機器、例えばステレオカメラ、アレイカメラ又はタイムオブフライトカメラと関連する深度センサ源から得られる。

さらなる実施形態では、前記方法は仮想情報の複数のアイテムを供給し、実環境の光景で少なくとも部分的には見えるビルトイン実オブジェクトに、つまり実環境のフロントシーングループ又は実環境のオクルードされたシーングループに仮想情報のアイテムのそれぞれを関連づける工程を具備する。

さらなる実施形態では、前記方法は、仮想情報の複数のアイテムを供給し、ビルトイン実オブジェクトに、つまり実環境のフロントシートグループ又は実環境のオクルードされたシーングループに仮想情報のアイテムのそれぞれを関連付け、見えないビルトインオブジェクトに関連付けられた仮想情報のアイテムを、オクルードされたシーングループに割り当てる工程を具備する。

詳細な実装では、写真を撮ることによって実環境の少なくとも１つの光景を供給し、少なくとも光景の一部の実環境に仮想情報が重ねられるようなディスプレイ機器に仮想情報を調和するためにシステム装置が適合される。

実施形態によれば、実環境の少なくとも１つの描写された光景を供給し、少なくとも光景の一部の実環境に仮想情報が重ねられるようなディスプレイ機器に仮想情報を調和するためにシステム装置が適合される。

他の実施形態では、実環境の少なくとも１つの光景を供給し、少なくとも光景の一部の実環境に仮想情報が重ねられるような半透明のディスプレイ機器に仮想情報を調和するためにシステム装置が適合される。

例えば、前記方法は、見えるビルトインオブジェクトに関連付けられた仮想情報のアイテムを非オクルージョンモードで、フロントシーングループの仮想情報のアイテム非オクルージョンモードで、オクルードされたシーングループの仮想情報のアイテムをオクルージョンモードで、実環境の光景に重ねる工程をさらに具備する。

前記方法は、システム装置の少なくとも１つの距離センサによって供給される実環境の光景の距離画像に基づいて、フロントシーングループかオクルードされたシーングループにフロントシーングループの仮想情報のアイテムを割り当て直す工程をさらに具備することができる。

実施形態によれば、前記方法は、システム装置の少なくとも１つの距離センサによって供給される実環境の光景の距離画像を供給する工程をさらに具備し、前記基準が距離画像に基づいて少なくとも部分的には決定される。

例えば、幾何学モデルは、特定平面、例えば二次元モデルのグランドプレーンに対して実環境の二次元形状を描写する実環境の二次元モデルである。幾何学モデルは、典型的には光景に表示されず、ここで述べられるように、寧ろ演算と処理の目的のために使用される。しかし、所望があれば、幾何学モデルを光景に表示することができる。

幾何学モデルは、実環境の属性である形状、対称性、幾何学サイズ、構造の少なくとも１つを描写することができる。幾何学モデルは、市街地図、市街地青写真、建物のフロアプラン又はショッピングモールの青写真を表わすことができる。

他の実施形態によれば、幾何学モデルは、実環境の三次元形状を描写する実環境の三次元モデルである。例えば、実環境の三次元モデルは、二次元モデルと二次元モデルのグランドプレーンに直交する次元から得られる。

好ましくは、幾何学モデルでは、実環境のビルトイン実オブジェクトは、幾何学モデル内に少なくとも１つの閉じた境界、例えば少なくとも１つのエッジ又は面を有する二次元及び三次元幾何学形状の少なくとも１つによって表わされる実オブジェクトに関連している。

実施形態によれば、実環境の光景でのオクルードされた実オブジェクトに関連する仮想情報のアイテムは半透明又は破線で示され、実環境の光景で少なくとも部分的に見ることができる実オブジェクトに関連する仮想情報のアイテムは不透明、実線又は異なる色で示される。

本発明は、デジタルコンピュータシステムの内部メモリにロードされるように適合されたコンピュータプログラムプロダクトにも関連しており、前記プロダクトが前記コンピュータシステム上で動作しているときに、上記の態様及び実施形態のいずれかに従う工程が実行されるために用いられるソフトウェアコードセクションを具備している。

拡張現実アプリケーションにおいて実環境の光景にＰＯＩを重ねる本発明による方法の実施形態のフローチャートを示す。実環境の二次元モデルを使用して、見えるビルトインオブジェクトを決定する実施形態のフローチャートを示す。実環境の三次元モデルを使用して、見えるビルトインオブジェクトを決定する他の実施形態のフローチャートを示す。見えるビルトインオブジェクト、フロントシーングループ又はオクルードされたシーングループにＰＯＩを関連付ける実施形態のフローチャートを示す。見えるビルトインオブジェクト、フロントシーングループ又はオクルードされたシーングループにＰＯＩを関連付ける他の実施形態のフローチャートを示す。拡張現実アプリケーションにおいて実環境の光景にＰＯＩを重ねる本発明による方法の他の実施形態のフローチャートを示す。建物Ａ、Ｂ、Ｃ、Ｄ及びＥの形式で実オブジェクトを含む例示的な実環境を示す。実オブジェクトＡ１、Ａ２、Ａ３及びＡ４を含む実環境６２をさらに含む建物Ａを有する、図５による実環境の例示的な青写真を示す。視野をもつ視点の遠近感からの図６のシーン及び実環境に対するＰＯＩ（ＰＯＩ＿１、ＰＯＩ＿２、ＰＯＩ＿３、ＰＯＩ＿４、ＰＯＩ＿５、ＰＯＩ＿６、ＰＯＩ＿７、ＰＯＩ＿８及びＰＯＩ＿９）の位置を示す。図７に示されるような視野をもつ視点で得られる実環境の例示的な画像を示す。ＰＯＩが画像に不透明に重ねられる図８のシーンを示す。本発明の実施形態により図８のシーンの画像にＰＯＩを重ねる適切なオクルージョン理解の実施形態を示す。本発明の実施形態により図８のシーンの画像にＰＯＩを重ねる適切なオクルージョン理解の他の実施形態を示す。建物Ｆ及びＧの形式で実オブジェクトを含む例示的な実環境を示す。視点及び実環境に対するＰＯＩ（ＰＯＩ＿１０、ＰＯＩ＿１１及びＰＯＩ＿１２）の位置を有する、図１２による実環境の例示的な青写真を示す。図１３に示されるような視野をもつ視点で得られる実環境の例示的な画像を示す。

図面と関連付けた以下の説明から、本発明のさらなる態様、有利な特徴及び実施形態を明らかにする。

拡張現実アプリケーションにおいて実環境の光景に仮想情報のアイテム、例えばＰＯＩを重ねる本発明による方法の第１実施形態を説明するフローチャートとして、本発明の実施形態を図１に示す。

ステップ１では、キャプチャ機器、特にカメラが実環境の光景又は実環境の一部を取り込む。例えば、光景は、ユーザの目で視覚的印象として取り込まれ、且つ／又は、ユーザが携行しているか、ユーザが持っている機器に付属しているカメラによって１つ以上の画像として取得される。本実施形態では、図７に示されるように、取り込まれた光景は、視点７１のポーズを決定するために使用することができる。

ステップ２では、キャプチャ機器が実環境の光景を取り込む視点７１の位置及び方向（ポーズ）並びに視野７２が決定される。視点の位置及び方向並びに視野は、実環境に対して決定されなければならない。キャプチャ機器の全地球位置、例えば経度及び緯度の二次元座標又は経度、緯度及び標高の三次元座標を決定するために、全地球測位システム（ＧＰＳ）を使用することができる。様々な方位センサ、例えばコンパス及び重力センサが、グローバル座標システムに対する方向を測定することができる。実環境の二次元又は三次元形状モデルもグローバル座標システムに表わされる。この情報を有することにより、実環境に対する視点の位置及び方向が決定される。様々なビジョンベースのポーズ推定方法が、例えば実環境の二次元又は三次元形状モデルに基づいて、視点の位置及び方向を推定するために使用される。光景の角度範囲と共に、視覚方向は、実環境が見られる視野を定める。

視覚ポーズ、即ち視点の位置は、地理的位置又は参考の座標システムに対する位置となることができる。地理的位置は、経度及び緯度の二次元座標又は経度、緯度及び標高の三次元座標によって記述することができる。ユーザ又はカメラ機器は実環境において地表面に立つと知られているように、経度及び緯度の二次元座標は、多くの状況において視覚ポーズの位置を決定するには十分である。

視覚ポーズ、即ち視点の方向は角度位置又は参考の座標システムに対する視覚方向の姿勢を描写する。光景の角度範囲と共に、視覚方向は、実環境が見られる視野を定める。

視点の位置及び方向がわかり、幾何学モデル、例えば実環境の二次元及び／又は三次元形状モデルを使用することにより、下記でより詳細に述べているように、本発明の態様では、視点の位置と各ＰＯＩ間の射線による幾何学モデルでのビルトインオブジェクトの境界の横断または交点の数を決定又は確認することができる。

ここで記述されているように、実環境のビルトイン実オブジェクトは、オブジェクトの範囲を定めるために、それぞれ実環境の二次元及び三次元モデルにおいて少なくとも１つの境界、特に閉じた境界、例えばエッジ、面及び／又は壁を有する二次元及び／又は三次元幾何学形状により表わされる実オブジェクトを参考にする。二次元及び／又は三次元幾何学形状は、エッジ及び面を描写する任意の数式的表現、例えば二次元形状では多角形、円又は閉じたＢスプライン、三次元形状では多面体、球体、円柱によって定義することができる。

「境界」という用語は、ここでは、境界の一方は一方、例えばその内側に向かってオブジェクトの範囲を定め、境界のもう一方はそのもう一方、例えばその外側に向かってオブジェクトの範囲を定めるということで理解すべきである。例えば、境界は、その内側、即ち建物のように閉じた或いは略閉じたオブジェクトの内側に向かってオブジェクトの範囲を定めるラインの一方と、その外側、例えば建物の外側に向かってオブジェクトの範囲を定めるラインのもう一方とを有するラインとすることができる。例えば、ラインは建物の壁を表わすかもしれない。他の例によれば、境界は、２つの側面（即ち、内側と外側）をもつ壁によって定められ、例えば壁の内側のライン及び壁の外側のラインによって表わすことができる。この例では、境界は、壁を境界として表わす２つのラインのセットによって形成されると理解すべきで、境界の一方（即ち、壁の内側の面／ライン）はその内側に向かってオブジェクトの範囲を定め、境界のもう一方（即ち、壁の外側の面／ライン）はその外側に向かってオブジェクトの範囲を定める。閉じた外殻、例えば建物によりオブジェクトが範囲を定められておらず、開いた形状（例えば、壁）を有している場合、オブジェクトの内側は視点から離れて向き合う境界面であると理解し、オブジェクトの外側は視点に向かって向き合う境界面であると理解すべきである。

建物又は道路は二次元市街地図では多角形で表わされるので、通常、市街のビルトイン実オブジェクトである。部屋は屋内シーンの二次元青写真では多角形で表わされるので、屋内シーンのビルトイン実オブジェクトとすることができる。人間又は移動する自動車は実環境の二次元又は三次元モデルでは実環境の一部として描写されないので、多くの場合、ビルトイン実オブジェクトではない。

本発明の態様によれば、実環境でのビルトイン実オブジェクトが実環境の光景において見えるか或いは部分的に見えるべきかが決定される。これは、視覚ポーズの位置及び方向並びに実環境の二次元及び／又は三次元形状モデルを使用することにより達成することができる。見えるビルトイン実オブジェクトに関してより現実的な結果は、距離センサからの実環境の光景の距離画像を考慮することにより得ることができ、それは任意のものであり、下記でより詳細に記述されている。本発明の様態では、さらにＰＯＩがオクルージョンモードか非オクルージョンモードのどちらで表示されるべきかを決定する方法を開示する。これは、下記でより詳細に記述されているように、境界を横切る又は交差する数に基づいてビルトイン実オブジェクトに各ＰＯＩを関連付けることにより達成される。

特に、実環境の二次元モデルは、特定平面に対して実環境の二次元形状を描写する。幾何学的形状は以下の属性、これらに限られないが、即ち形状、対称性、幾何学サイズ及び構造を記述する。二次元モデルによって描写される特定平面は、二次元モデルのグランドプレーンを参照して良い。

実環境の二次元モデルは、市街地図、市街地青写真、建物のフロアプラン又はショッピングモールの青写真とすることができる。市街地図又は青写真は、典型的には地球プレーンに対して市街の二次元形状を描写する。建物のフロアプランは、特定フロア上の建物の二次元形状又は構造として使用することができる。地球プレーン及びフロアプレーンは、ここでは、それぞれ二次元市街地図及び二次元フロアプランに対するグランドプレーンとして使用される。

特に、実環境の三次元モデルは、実環境の三次元形状及び実環境の実オブジェクトを描写する。その環境の三次元モデルは、二次元モデル及び二次元モデルのグランドプレーンに直交する次元から獲得することができる。市街の三次元モデルは、市街地青写真及び対応する高さデータから組み立てることができる。三次元モデルは、周囲表面の垂直及び水平次元である地形とすることもできる。

図１２は建物Ｆ及びＧの形式で実オブジェクトを含む例示的な実環境を示し、図１３は図１２による実環境１２１の例示的な青写真を示しており、実環境に対して視点１３１及び仮想情報（ここではＰＯＩ）のアイテムの位置、特にＰＯＩ＿１０、ＰＯＩ＿１１及びＰＯＩ＿１２を有している。図１４は、図１３に示されるような光景のフィールドでの視点において得られる実環境の例示的なイメージ１４１を示す。

実環境の光景にて見ることができるビルトイン実オブジェクトの内部にＰＯＩが位置するとき、関連するＰＯＩと視点との間にビルトイン実オブジェクトの１つの境界が存在する可能性が高い（例えば、実環境１２１でのビルトイン実オブジェクトとしての建物Ｆに対する視点１３１及びＰＯＩ＿１０、視点１３１にて取り込まれる光景１４１に対する建物Ｆの前面の壁である境界を有する図１３参照）。従って、横切る（又は交差する）境界の数が２未満ならば、ＰＯＩは非オクルージョンモードで光景に重ねられ、そうでなければ、オクルージョンモードで重ねられる。視点１３１とＰＯＩ＿１０の間の射線１３４は１つの境界を横切る。ＰＯＩ＿１０は、例えば実線（図１４参照）にように、非オクルージョンモードで光景１４１に重ねられる。視点１３１とＰＯＩ＿１２の間の射線１３２は２つの境界を横切る。ＰＯＩ＿１２は、例えば破線（図１４参照）にように、オクルージョンモードで光景１４１に重ねられる。射線１３３は３つの境界を横切るので、同様のことがＰＯＩ＿１１（図１４参照）に対して起こる。

各ビルトイン実オブジェクトの境界に２未満で交差するＰＯＩの位置を、視点に対して横切る各境界の前に移動することも可能である。そのとき、対応する（例えば、距離センサからの）奥行きデータと比べて視点により近く置かれたＰＯＩは非オクルージョンモードで表示され、対応する奥行きデータと比べて視点からさらに離れて置かれたＰＯＩはオクルージョンモードで表示される。これは、境界を横切る数を再計算せずに横切られる境界が実環境の光景で見ることができる限り、全ての場合で動作することができる。

ここで、図１の手順に戻ると、ステップ３は、実環境の光景で見えるビルトイン実オブジェクトを決定する。見えるビルトイン実オブジェクトは実環境の光景において見ることができる又は部分的に見ることができるビルトイン実オブジェクト（或いは、ここでは略称でビルトインオブジェクト）である。部分的に見ることができるとは、ビルトインオブジェクトの少なくとも一部が光景の中に見ることができることを意味する。本発明の態様では、実環境でのビルトインオブジェクトが実環境の光景において見ることができる又は部分的に見ることができるかどうかを決定する方法を開示する。これは、視覚ポーズの位置及び方向並びに実環境の二次元及び／又は三次元幾何学モデルを使用することにより達成することができる。見えるビルトインオブジェクトを決定する、より現実的な結果は、距離センサからの実環境の光景の距離画像を考慮することにより得ることができる。

視点及びＰＯＩの二次元位置並びに実環境の二次元モデルは、多くの状況において見えるビルトインオブジェクトを決定するのに十分である。一例として、視界内での視点及びビルトインオブジェクトが実環境のグランドプレーンに対して同じ距離レベルにある状況がある。例えば、全ての建物とランドマークが市街の実環境で地球プレーン上に置かれているのと同じ地球プレーン上にキャプチャ機器が立っている。他の例として、視界内のビルトインオブジェクトが実環境のグランドプレーンに対して同じ距離レベルにあり、ビルトインオブジェクトがグランドプレーンに対して同じ高さをもつか高さがその光景におけるビルトインオブジェクトの可視性に影響を及ぼさない状況がある。例えば、ショッピングモール内の全ての店が同じ高さをもつことがあり、ショッピングモール内のキャプチャ機器により取り込まれる光景における店の可視性に高さが影響を及ぼさない。

実環境の二次元モデルを使用して、図１のステップ３に従って、見えるビルトインオブジェクトを決定する実施形態を図２Ａに示す。ステップ３．１Ａは実環境の二次元モデルを供給する。ステップ３．２Ａは二次元モデルの二次元平面において視界内の視点から放たれる射線により、見えるビルトインオブジェクトを決定する。ビルトインオブジェクトの少なくとも一部が視点からの射線と最初に交わっているならば、ビルトインオブジェクトはその光景において見ることができる。交点座標は、視点からの射線の方程式とビルトインオブジェクトの二次元幾何学モデルの方程式に基づいて計算することができる。さらに、ステップ３．２Ａは、見えるビルトインオブジェクトそれぞれがカバーする景域の一部を計算する。例えば、見えるビルトインオブジェクトがカバーする景域を、実環境の光景で取り込まれた画像中の見えるビルトインオブジェクトの画像領域とすることがある。その光景で見えるビルトインオブジェクトを決定する、画像面及び対応する射線又は対応する射線の一部との間の交点に基づいて、見えるビルトインオブジェクトがカバーする景域の一部は決定されることがある。見えるビルトインオブジェクトがカバーする景域の一部は、実環境に関連する視点の位置及び方向がわかり、見えるビルトインオブジェクトの幾何形状又は幾何形状の一部を画像面上に投影することによっても決定されることがある。

ステップ３．３Ａでは、１つ以上の距離センサ（例えば、タイムオブフライトカメラ）から距離画像が実環境の光景に対して存在するかの確認が実行される。距離画像は、視点から実環境又は実環境の一部までの距離（即ち、奥行き）を測定する１つ以上の距離センサによって測定される奥行きデータのセットである。距離センサから距離画像が得られない場合、処理は終了する。１つ以上の距離センサから距離画像がステップ３．３Ａから得られる場合、ステップ３．４Ａが実行される。

実環境は、多くの場合、実オブジェクト、例えば実環境の二次元モデルには存在しない移動する自動車及び／又は人間を含む。距離センサは視点から実環境までの距離を測定するので、距離センサからの距離画像を使用することにより、見えるビルトインオブジェクトを決定する、より現実的な結果を得ることができる。

ステップ３．４Ａで、ステップ３．３Ａで決定された見えるビルトインオブジェクトの可視性が距離画像により再決定されることがある。ステップ３．３Ａからの見えるビルトインオブジェクトそれぞれに対して人工の高さを作成し、その人工の高さは少なくとも視界内のグランドプレーンと直交する次元をカバーする。それから、見えるビルトインオブジェクトの三次元モデルは、人工の高さ及びそれらの二次元モデルから再構成される。三次元モデルを、奥行きデータから対応する奥行きと比較する。対応する奥行きと比べて三次元モデルの少なくとも一部が視点からあまり離れていなければ、ビルトインオブジェクトは光景の中で見ることができ、そうでなければ、見ることができない。距離画像の奥行きデータが、空に向かっているように、ビルトインオブジェクトが存在しないことを示しているかもしれないことに注意する。従って、ステップ３．４Ａで見えるビルトインオブジェクトを再決定する前に、一定の閾値を超えた奥行きは、奥行きゼロと設定されることがある。

次のステップ３．５Ａでは、見えるビルトインオブジェクトを距離画像により再決定する、画像面及び対応する射線との間の交点が、見えるビルトインオブジェクトがカバーする景域の少なくとも一部を再定義することがある。

図１のステップ３による実環境の三次元モデルを使用して、見えるビルトインオブジェクトを決定する実施形態を図２Ｂに示す。ステップ３．１Ｂは実環境の三次元モデルを供給し、実環境のビルトインオブジェクトは多面体によって表わすことができる。その環境の三次元モデルは、二次元モデルと二次元モデルのグランドプレーンと直交する次元から得られる。市街の三次元モデルは、市街地青写真及び対応する高さデータから組み立てられる。次のステップ３．２Ｂでは、距離センサ（例えば、タイムオブフライトカメラ）からの距離画像が実環境の光景に対して存在するか確認される。距離センサからの距離画像が得られない場合、ステップ３．３Ｂが実行される。

ステップ３．３Ｂでは、実環境の光景に対する距離画像が、視点のポーズ及び実環境の三次元モデルに基づいて作成される。これは、レイ・キャスティング法又は所謂ラスタ化法を使用することにより達成される。レイ・キャスティングの基本概念は、三次元空間での視点から多くの射線を放射し、三次元モデルによって定められた面と射線の最初の交点を検出することである。レイ・キャスティングの処理では、見えるビルトインオブジェクトは、視点からの射線と最初に交差するビルトインオブジェクトの少なくとも一部によって決定される。

距離センサからの距離画像がステップ３．２Ｂから得られる場合、ステップ３．４Ｂが実行される。ステップ３．４Ｂでは、距離画像での対応する奥行きと比べてオブジェクトの少なくとも一部が視点から射線に沿ってあまり離れていなければ、ビルトインオブジェクトは光景で見ることができる。

次のステップ３．５Ｂでは、見えるビルトインオブジェクトそれぞれがカバーする景域の一部が計算される。見えるビルトインオブジェクトがカバーする景域の一部は、その光景で見えるビルトインオブジェクトを決定する、画像面及び対応する射線又は対応する射線の一部との間の交点に基づいて決定されることがある。見えるビルトインオブジェクトがカバーする景域の一部は、実環境に関連する視点の位置及び方向がわかり、見えるビルトインオブジェクトの幾何形状又は幾何形状の一部を画像面上に投影することによっても決定されることがある。

図５は、ビルトインオブジェクトＡ、Ｂ、Ｃ、Ｄ及びＥを含む実環境５１を示す。ビルトインオブジェクトＡは、さらにビルトインオブジェクトＡ１、Ａ２、Ａ３及びＡ４（図６）を含む実環境（屋内環境）６２を含む。視点７１で視界７２にて取り込まれる実環境５１の光景は、図８での画像８１として示される。三次元モデルを使用して実環境の光景で見えるビルトインオブジェクトを決定する開示された方法に基づいて、Ａ、Ｂ、Ｃ及びＥは光景８１で見えるビルトインオブジェクトである。

図１を再度参照すると、ステップ４は、ＰＯＩを実環境の光景に表示させるか、重ねるか、或いは調和させるかを選択する。興味点（ＰＯＩ）は実環境においてビルトイン実オブジェクトと関連する位置のデジタルコンテンツを含む。ＰＯＩの位置は、関連するビルトイン実オブジェクトの内部以外に存在することができる。

基本的に、ＰＯＩは様々なソースから生じ、特許文献３でMeierらによって開示されたように、多くの種類で異なった形式の情報に対して設定される。インターネットからＰＯＩ情報を自動的に抽出することができる。例えば、それは、評価を与える、アドレスやページを有する会社やレストランのウェブサイトかもしれない。ユーザはテキスト、画像或いは三次元オブジェクトをそれらに置くことができ、他人に対して共用とすることができる。情報ページ、例えばウィキペディア（Ｗｉｋｉｐｅｄｉａ）（登録商標）は地理情報のために検索され、そのページはＰＯＩとしてアクセス可能とされる。ＰＯＩは、検索から自動的に作成され、モバイル機器のユーザの行動をブラウズする。他の興味対象の場所、例えば地下鉄又はバスステーション、病院、警察署、医者、不動産広告又はフィットネスクラブを示すことも可能である。

実環境の光景に重ねられる又は調和されるＰＯＩは、種々の基準、例えば視点からの距離、視点からの視線に沿っているか、及び／又は視界内かに基づいて選ばれる。

図１のステップ５は、見えるビルトインオブジェクト、フロントシーングループ又はオクルードされたシーングループに、選択された各ＰＯＩを関連付けている。フロントシーングループではＰＯＩは非オクルージョンモードで示されるのに対して、オクルードされたシーングループではＰＯＩはオクルージョンモードで示されるように取り扱われる（例えば、ここでより詳細に提示されるように、全く示されないか、破線で示される等）。

視点及びＰＯＩの二次元位置並びに実環境の二次元幾何学モデルは、見えるビルトインオブジェクト又は関連のないグループに、選択された各ＰＯＩを関連付けるには十分である。一例として、視界内での視点及びビルトインオブジェクトが実環境のグランドプレーンに対して同じ距離レベルにある状況がある。例えば、全ての建物とランドマークが市街の実環境で地球プレーン上に置かれているのと同じ地球プレーン上にキャプチャ機器が立っている。他の例として、視界内のビルトインオブジェクトが実環境のグランドプレーンに対して同じ距離レベルにあり、ビルトインオブジェクトがグランドプレーンに対して同じ高さをもつか高さがその光景におけるビルトインオブジェクトの可視性に影響を及ぼさない状況がある。例えば、ショッピングモール内の全ての店が同じ高さをもつことがあり、ショッピングモールの屋内シーンの光景において店の可視性に高さが影響を及ぼさない。

見えるビルトインオブジェクトにＰＯＩを関連付けると、フロントシーングループ又はオクルードされたシーングループは、仮想情報のポイント（即ち、ＰＯＩ）がビルトインオブジェクトの二次元又は三次元幾何学形状の中にあるか調べることに基づくことになる。ポイントが二次元又は三次元幾何学形状の中にあるか調べるためにいくつかの方法、特に、例えばポイントインポリゴン（point-in-polygon）テスト（非特許文献４及び５参照）又はポイントインポリヘドロン（point-in-polyhedron）テスト（非特許文献６参照）が使用される。本発明の態様では、ＰＯＩがビルトインオブジェクトの中に置かれるか否かのテストが提案される。それは、ＰＯＩから視点までの射線に基づいて境界（例えば、二次元及び三次元幾何学形状それぞれに対するエッジ及び面）を横切ることにより実現される。このようなレイ・キャスティングに基づくアプローチは、ポイントからスタートし、任意の方向に向かう射線が二次元（又は三次元）形状のエッジ（又は面）に交差する回数を確認することにより、ポイントが二次元（又は三次元）形状の中に置かれているか調べることができる。ポイントが外にある場合、交差の数は偶数であり、中にある場合、奇数である。視点は全ての見えるビルトインオブジェクト（二次元又は三次元形状を調べる必要がある）の外にあると知られている。従って、射線が視点に届くまで、射線に沿ってＰＯＩからテストがスタートする。

仮想情報のアイテム（例えば、ＰＯＩ）がビルトインオブジェクトの中に置かれているか否かの他のテストを提案する。例えば、非特許文献４で提案されている二次元多角形の中のポイントを調べるためにアングルサムメンション（angle summation）法が使用されたものである。アングルサムメンション法は、各エッジの終点近くのポイントで形成される符号付きの角度を合計するように実行されることがある。１つの符号付き角度は、１つのエッジがもつ２つの終点に対することによって、ポイント近くに形成される。合計がゼロならば、ポイントは外にあり、ゼロでなければ、ポイントは内にある。アングルサムメンション法は、多角形で近似られる任意の二次元形状に適用することができる。アングルサムメンション法は、ポイントと三次元幾何学形状を交差して二次元幾何学形状を形成することによって、ポイントが三次元幾何学形状の中にあるか調べることにも適用することができる。ポイントが中にない交差した二次元幾何学形状が１つ存在するならば、ポイントは三次元形状の外にあり、そうでなければ、ポイントは三次元形状の中にある。

見えるビルトインオブジェクト又は関連のないグループにＰＯＩを関連付ける可能性のある実装を、図１のステップ５を実装するための実施形態として、図３Ａに示されるフローチャートで記述する。

ステップ５．１では、ＰＯＩの位置から視点までの射線を生成する。ステップ５．２では、ビルトインオブジェクト、好ましくは全てのビルトインオブジェクトの境界（例えば、エッジ又は面）と射線の交点を検出する。全く交点がない場合、ＰＯＩをフロントシーングループに関連付ける（ステップ５．３）。交点がある場合、交点からＰＯＩまでの距離の順で射線が交差したビルトインオブジェクトを分類する（ステップ５．４）。ステップ５．５では、分類されたグループから、最初に交差されたビルトインオブジェクトを取得する。ステップ５．６では、横切られた境界に基づいて、交差されたビルトインオブジェクトの内部にＰＯＩがあるか確認する。イエスの場合、交差されたビルトインオブジェクトが、見えるビルトインオブジェクトであるか確認する（ステップ５．７）。イエスの場合、対応する見えるビルトインオブジェクトにＰＯＩを関連付ける（ステップ５．１１）。ステップ５．６及び５．７からの結果がノーの場合、ステップ５．８にて、交差され確認されたビルトインオブジェクトが、分類されたグループの中の最後の１つか確認する。最後の１つならば、オクルードされたシーングループにＰＯＩを関連付ける（ステップ５．９）。そうでなければ、分類されたグループ中の次に移る（ステップ５．１０）。

図１に戻ると、オプションであるステップ６では、１つ以上の距離センサから供給される距離画像に基づいて、フロントシーングループのＰＯＩをフロントシーングループかオクルードされたシーングループのどちらかに割り当て直す。これにより、例えば自動車及び／又は人間を含む実環境の現実的な奥行きデータに基づいて、フロントシーングループ及びオクルードされたシーングループに対して、より現実的な結果を導き出すことができる。その環境の二次元又は三次元モデルに存在しない自動車や人間は前面に存在することがあり、視点に対してＰＯＩをオクルードする。ＰＯＩから視点までの距離が、それに対応した距離画像中のＰＯＩから視点までの射線に沿った奥行きより長いならば、ＰＯＩはオクルードされたシーングループに関連付けられ、そうでなければ、フロントシーングループに関連付けられる。

二次元モデルを使用して、見えるビルトインオブジェクト、フロントシーングループ又はオクルードされたシーングループにＰＯＩを関連付ける開示された方法によれば、図１０に示されるように、フロントシーングループはＰＯＩ＿２を含み、オクルードされたシーングループはＰＯＩ＿７及びＰＯＩ＿８を含む。さらに、ＰＯＩ＿１は見えるビルトインオブジェクトＢに関連付けられ、ＰＯＩ＿６は見えるビルトインオブジェクトＣに関連付けられ、ＰＯＩ＿９は見えるビルトインオブジェクトＥに関連付けられ、ＰＯＩ＿３、ＰＯＩ＿４及びＰＯＩ＿５は見えるビルトインオブジェクトＡに関連付けられる。

本発明による方法の他の実施形態を図４に示す。図１及び４に示される実施形態では、ステップ１、２、３、４、６及び７に関しては、お互いに一致している。図１に対する図４による実施形態の違いは、以下に述べるように、ステップ４４及び４５にある。

図４に示される実施形態によれば、見えるビルトインオブジェクトがわからなくても、選択された各ＰＯＩを、ビルトインオブジェクトか、フロントシーングループか、又はオクルードされたシーングループに関連付けることができる（ステップ４４）。見えるビルトインオブジェクトの情報がステップ３より利用可能となったらすぐに、ステップ４５で見えないビルトインオブジェクトに関連するＰＯＩをオクルードされたシーングループに割り当てることができる。

図３Ｂは、図４のステップ４４を実装するための実施形態として、選択された各ＰＯＩをビルトインオブジェクト、フロントシーングループ又はオクルードされたシーングループに関連付ける可能性のある実装を示す。図３Ａ及び３Ｂに示される実施形態では、ステップ５．１、５．２、５．３、５．４、５．５、５．６及び５．８、５．９、５．１０に関しては、お互いに一致している。図３Ａに対する図３Ｂによる実施形態の違いは、ステップ５．７及び５．１１に代わるステップ５．１２にある。ステップ５．１２では、ＰＯＩは、見えるか否かに関係なく、各ビルトインオブジェクトに関連付けられる。見えるビルトインオブジェクトの情報がステップ３より利用可能となったらすぐに、図４のステップ４５で、図３Ｂで示されるようにオクルードされたシーングループ又はフロントシーングループにまだ割り当てられておらず、見えないビルトインオブジェクトに関連しているＰＯＩを、オクルードされたシーングループに割り当てる。残ったビルトインオブジェクト及びそれらに関連するＰＯＩは、少なくとも部分的に見えるビルトインオブジェクトに属するものと取り扱われる。

図１及び４の両方の実施形態によれば、ステップ７で、実環境の光景に、見えるビルトインオブジェクトに関連するＰＯＩはオクルードされないものとして、フロントシーングループのＰＯＩはオクルードされないものとして、オクルードされたシーングループのＰＯＩはオクルードされるものとして重ねる。図１０に示されるように、オクルードされるＰＯＩは半透明又は破線で示し、一方、オクルードされないＰＯＩは不透明、実線又は異なる色で示すことができる。

さらに、各ＰＯＩは、好ましくは、重ねられたＰＯＩから実環境を素早く且つ直感的にユーザが理解できるような使用可能でフレンドリな方法で、実環境の光景に重ねられるべきである。実環境にＰＯＩを配置することにより、実環境の光景へのＰＯＩの重ね合わせにおける有用性及びフレンドリ性を向上することができる。見えるビルトインオブジェクトの景域の一部分の内部又は近くに、見えるビルトインオブジェクトに関係するＰＯＩを配置することができる。この目的のために、ステップ３．１Ａ、３．５Ａ及び／又は３．５Ｂでは、見えるビルトインオブジェクトそれぞれがカバーする景域の一部を計算する。例えば、図１０に示されるように、光景８１において、ＰＯＩ＿６を、関連する見えるビルトインオブジェクトＣがカバーする領域の近くに配置するのが好ましい。他の例として、図１９に示されるように、光景８１において、ＰＯＩ＿３、ＰＯＩ＿４及びＰＯＩ＿５を、関連する見えるビルトインオブジェクトＡがカバーする領域に配置するものがある。ビルトインオブジェクトＢは光景８１において見られるか、部分的に見られるので、関連するＰＯＩ＿１は光景８１においてビルトインオブジェクトＢの画像領域に配置される。

さらに詳しくは、ＰＯＩを実環境の光景において意味のある位置に配置するのが好ましい。実環境で入口を有する建物に対して、建物に関連するＰＯＩは、入口がカバーする景域の一部の近くか内部に重ねることがある。実環境５１の光景８１において、ＰＯＩ＿３、ＰＯＩ＿４及びＰＯＩ＿５は建物Ａの入口に置かれ、ＰＯＩ＿９は建物Ｅの入口に置かれる（図１１）。入口が明示されている二次元又は三次元モデルを使用して、レイ・キャスティング又はラスタ化に基づいて、入口の画像領域を決定することができる。入口の視覚特性、例えば周囲とは異なるテクスチャに基づいて、画像ベースのパタン認識方法によっても入口の画像領域を検出することができる。

なお、キャプチャ機器が実オブジェクトの内部に位置し、屋内環境の光景を取り込んだとき、実オブジェクトに関連するＰＯＩは、オクルージョンモードや非オクルージョンモードとは異なったモードで光景に重ねることができる。これにより、それらが実オブジェクトの内部にあることをユーザに気付かせることができる。

５１、６２、１２１実環境
７１、１３１視点
７２視野
８１画像
１３２、１３３、１３４射線
１４１光景

Claims

実環境の光景に仮想情報を表現する方法であって、
少なくとも１つのディスプレイ機器を備えるシステム装置を設け、前記システム装置は前記ディスプレイ機器に仮想情報を調和させるために適合される工程と、
前記実環境の少なくとも１つのコンポーネントに関連して視点の位置を決定する工程と、
前記実環境の幾何学モデルを供給し、前記幾何学モデルは前記実環境のそれぞれのビルトイン実オブジェクトの複数の表現を具備し、各表現は前記それぞれのオブジェクトの範囲を定める少なくとも１つの境界を有する少なくとも１つの二次元又は三次元幾何学形状を具備し、前記境界の一方はその内側に向かって前記オブジェクトの範囲を定め、前記境界の他方はその外側に向かって前記オブジェクトの範囲を定める工程と、
仮想情報の少なくとも１つのアイテム及び前記仮想情報の少なくとも１つのアイテムの位置を供給する工程と、
前記視点の位置及び前記幾何学モデルに従って前記ディスプレイ機器に前記仮想情報の少なくとも１つのアイテムを調和させる視覚化モードを決定する工程と、
前記視点と前記仮想情報のアイテムの間の射線を演算する工程と、
前記射線による境界交点の数を決定する工程とを備え、
前記境界交点の数が２未満ならば前記仮想情報のアイテムは非オクルージョンモードで調和され、そうでなければオクルージョンモードで調和され、且つ／又は、前記仮想情報のアイテムの位置が前記視点に対して前記交差された境界の前に移動することを特徴とする実環境の光景に仮想情報を表現する方法。
前記方法は繰り返し実行され、各繰り返しでは前記仮想情報のアイテムの高さが増加し、前記射線による前記境界交点の数が２未満になったとき、或いは前記高さが予め定められたリミットを超えたとき、前記繰り返しがストップする請求項１に記載の方法。
前記仮想情報のアイテムの視覚化モードの決定は前記視点までの前記仮想情報の距離に影響を受け、前記仮想情報のアイテムが非オクルージョンモードで調和されると決定された場合、前記仮想情報のアイテムの図形表現が前記幾何学モデルに付加され、仮想情報の次のアイテムの前記視覚化モードを決定するときに考慮される請求項１又は２に記載の方法。
前記幾何学モデルは、前記ディスプレイ機器、例えばステレオカメラ、アレイカメラ又はタイムオブフライトカメラと関連する深度センサ源から得られる請求項１乃至３のいずれか１項に記載の方法。
前記幾何学モデルは、特定平面、特に二次元モデルのグランドプレーンに対して実環境の二次元形状を描写する前記実環境の前記二次元モデルである請求項１乃至４のいずれか１項に記載の方法。
前記幾何学モデルは、前記実環境の属性である形状、対称性、幾何学サイズ、構造の少なくとも１つを描写する請求項１乃至５のいずれか１項に記載の方法。
前記幾何学モデルは、市街地図、市街地青写真、建物のフロアプラン又はショッピングモールの青写真を表わしている請求項１乃至６のいずれか１項に記載の方法。
前記幾何学モデルは、実環境の三次元形状を描写する前記実環境の三次元モデルである請求項１乃至７のいずれか１項に記載の方法。
前記実環境の前記三次元モデルは、二次元モデルと前記二次元モデルのグランドプレーンと直交する次元から得られる請求項８に記載の方法。
前記幾何学モデルでは、前記実環境の前記ビルトイン実オブジェクトは、前記幾何学モデルでの少なくとも１つの閉じた境界、特に少なくとも１つのエッジ又は面を有する二次元及び三次元幾何学形状の少なくとも１つによって表わされる実オブジェクトに関連している請求項１乃至９のいずれか１項に記載の方法。
オクルードされた実オブジェクトに関連する仮想情報のアイテムは半透明又は破線で示され、少なくとも部分的に見ることができる実オブジェクトに関連する仮想情報のアイテムは不透明、実線又は異なる色で示される請求項１乃至１０のいずれか１項に記載の方法。
写真を撮ることによって前記実環境の少なくとも１つの光景を供給し、前記光景の少なくとも一部の前記実環境に仮想情報が重ねられるように前記ディスプレイ機器に前記仮想情報を調和するために前記システム装置が適合される請求項１乃至１１のいずれか１項に記載の方法。
前記実環境の少なくとも１つの描写された光景を供給し、前記光景の少なくとも一部の前記実環境に仮想情報が重ねられるように前記ディスプレイ機器に前記仮想情報を調和するために前記システム装置が適合される請求項１乃至１２のいずれか１項に記載の方法。
前記実環境の少なくとも１つの光景を供給し、前記光景の少なくとも一部の前記実環境に仮想情報が重ねられるように半透明のディスプレイ機器に前記仮想情報を調和するために前記システム装置が適合される請求項１乃至１３のいずれか１項に記載の方法。
デジタルコンピュータシステムの内部メモリにロードされるように適合されたコンピュータプログラムプロダクトであって、前記プロダクトが前記コンピュータシステム上で動作しているときに、請求項１乃至１４のいずれか１項に記載の工程を実行するために用いられるソフトウェアコードセクションを具備することを特徴とするコンピュータプログラムプロダクト。