JP2018077836A - ２ｄ対象点の３ｄマッピングのための方法 - Google Patents

Abstract

【課題】２次元対象点を３次元ビューにマッピングするための方法を提供する。【解決手段】開示される方法は、拡張現実デバイスを用いて３次元（３Ｄ）画像を取り込むステップを含む。方法は、２Ｄ画像データベースの画像を、取り込まれた３Ｄ画像に一致させるステップを含み、２Ｄ画像データベースは、２次元（２Ｄ）データ・セットを有する対象点に関連付けられた２次元（２Ｄ）画像を保有する。また方法は、２Ｄ画像が３Ｄ画像に一致するときに、一致した２Ｄ画像についての３Ｄデータを取り込むステップと、対象点の２Ｄデータ・セットを３Ｄデータ・セットに変換するステップとを含む。開示される方法は、拡張現実デバイスなどの３Ｄアプリケーションのために、対象点の構成を単純化する。【選択図】図２

Description

本発明は、２Ｄ対象点（ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ：ｐｏｉ）の３Ｄマッピングのための方法、および拡張現実デバイスに関する。とりわけ、本方法は、２次元画像用に定義された対象点を、拡張現実デバイスによって取り込まれる３次元画像においてマッピングすることに関する。

マッピングおよびナビゲーション・アプリケーションにおいて、対象点は、通例、特定のオブジェクトがどこで発見され得るかを示すために適用される。そのようなオブジェクトは、ガソリンスタンド、レストランなど、リソースであることも、部品またはコンポーネントであることもある。そのようなオブジェクトが発見されることになる場所の大まかに示すことは、通常十分であるものの、ある一定の条件においては、これでは足りないことがある。とりわけ、工場用地または他の種類の製造プラントにおいては、不注意の損害、またはさらには危険な事態を防ぐために、機械、制御キャビネット、または他の工業機器に存在するコンポーネントの正確な場所が要求される。そのような状況では、どこで正確に部品を発見し、認識すべきかの知識が極めて重要である。先行技術の解決策は、特定の機械の配置または構造を指し示す配置図および機械図を含む。その強化されたバージョンは、特定の機械または電気制御ボックスの実際の写真、すなわちフォト画像を含む。しかしながら、構成は、経時的に改変されることがある。たとえば、部品が取り替えられる、またはコンポーネントが更新されるときである。

上で言及されたニーズに対処するために、特定の機械、制御キャビネット、または機器が点検される、または少なくとも互いに影響しあう度に、オペレータおよび保守要員が画像を再撮影するように指示されることがある。あるいは、新たな機器が取り付けられる、または機器が更新されるときに、新たに取り付けられた構成の写真を撮影するように指示されることがある。

これらの画像では、対象点は、取り込まれた画像内に座標を割り当てることによって関連付けられてよい。オペレータは、写真を撮影する時点で画像における対象点を識別してもよいし、識別はまた、後の段階で実施されてもよい。あるいは、識別は、対象となる事前に定義されたコンポーネント、機器、または他の該当する部品を識別することが可能な画像認識ソフトウェアによって実施されてもよい。いずれにしても、これらの対象点は、ある一定の該当する部品または情報に関係した２Ｄ画像において定義される。これにより、２次元（２Ｄ）空間において定義された、関連付けられた対象点を有する画像のデータベースを作成することが可能になる。したがって、取り込まれた画像は、２Ｄキャンバス、すなわち、デカルト座標によって測られ得る、または任意の他の好適な座標系によって定義され得る表面空間として扱われる。

本発明の目的は、３次元アプリケーションのために、対象点の定義をさらに緩和することである。

一態様によれば、２次元対象点を３次元画像にマッピングするための方法が提供される。方法は、拡張現実デバイスを用いて３次元（３Ｄ）画像を取り込むステップを含む。方法は、２Ｄ画像データベースの画像を３Ｄ画像に一致させるステップを含み、２Ｄ画像データベースは、２次元（２Ｄ）データ・セットを有する対象点に関連付けられた２次元（２Ｄ）画像を保有する。また方法は、２Ｄ画像が３Ｄ画像に一致するときに、一致した２Ｄ画像についての３Ｄデータを取り込むステップと、対象点の２Ｄデータ・セットを３Ｄデータ・セットに変換するステップとを含む。

開示される方法は、たとえば、Ｘ、Ｙ座標のみが２Ｄ画像に関連付けられることを必要とするので、拡張現実デバイスなどの３Ｄアプリケーションのために、対象点の構成を単純化する。

本発明は、対象点を定義することがなおも２Ｄ画像において行われ得るので、対象点を定義する手間をさらに削減する。あるいは、これはあらかじめ行われていてもよく、したがって、対象点を保有する２Ｄ画像で先行して作成されたデータベースの再利用を可能にする。

本発明は、２Ｄ画像および関連付けられた３Ｄ絶対位置座標のみが記憶されることになり、全３Ｄ画像および関連付けられたコンテンツは記憶されないので、記憶されるために要求されるデータの量をさらに削減する。

このアプリケーションでは、任意の３Ｄ画像は、２Ｄフレーム内のいくつかの点またはすべての点について、２Ｄ画像からなる３Ｄ表現、すなわち、関連付けられた奥行き情報を伴う２Ｄフレームを有する。

例のみとして、本開示の実施形態が、添付の図面を参照して説明される。

工業用制御システムにおける拡張現実システムの例を模式的に示す図である。 本発明に従った拡張現実システムの例を模式的に示す図である。 本発明に従った方法の例を示す図である。 本発明に従った方法の別の例を示す図である。 ２Ｄ画像データベースを作成するための方法の例を示す図である。 ３次元座標系における２次元画像の一致を模式的に示す図である。 本発明に従った方法を示す流れ図である。

図１を参照すると、工業用制御システム１を典型的に構成するさまざまなコンポーネントが示されている。オートメーション・サーバ２、ＳＣＡＤＡステーション３、プログラマブル・ロジック・コントローラを持つキャビネット４、５、および他の機器が存在している。拡張現実画像サーバ６および拡張現実デバイス７もまた示されており、これらは、工業用制御環境において拡張現実システムを構成する。オペレータは、点検を受けるオブジェクトの前にデバイス７を設置することによって、キャビネット４、５における機器を点検するときの補助に、デバイス７を使用することができる。デバイス７は、機器の画像を取り込み、画像において機器を認識し、画像サーバ６と通信し、認識された機器に関する追加的な情報を示すように意図されている。このようにして、機器に関係した任意の情報が取り出され、デバイス７の表示装置上に示される画像においてオーバーレイとして示され得るとき、拡張現実が取得されてよい。

図２において、拡張現実システムの拡張現実デバイス７および拡張現実画像サーバ６が、より詳細に模式的に示されている。拡張現実画像サーバ６は、２次元（２Ｄ）データ・セットを有する対象点を伴う２次元画像を保有する２Ｄデータベース８と、３次元（３Ｄ）データ・セットを有する対象点を伴う３次元画像を保有する３Ｄデータベース９とを有する。

拡張現実、すなわち３Ｄデバイス７は、画像センサ１０、調整可能なレンズ１１、および３Ｄセンサ１２を有し、３Ｄセンサ１２は、奥行き、すなわち３Ｄデバイスと可視オブジェクトとの間の距離を決定することができる。３Ｄデバイスは、この例ではＧＰＳセンサである絶対測位センサ１３、および表示装置１４をさらに有する。図２では、２Ｄ画像認識モジュール１５、３Ｄデータ取り込みモジュール１６、および２Ｄ to ３Ｄ変換モジュール１７をさらに示している。この例において、これらは、３Ｄデバイス７の一部である別個のハードウェア・モジュールとして示されている。別の例において、これらのモジュールは、汎用処理ユニットによって実行されるソフトウェア・モジュールとして実装されてもよい。さらに別の例において、これらのモジュールは、拡張現実画像サーバ６の一部であってもよいし、または拡張現実システムの一部として別個のサーバ上に場所決めされてもよい。

この例では、絶対位置センサはＧＰＳセンサであるが、基準点に対するデバイスの位置を決定することが可能な他のナビゲーション・センサ、たとえば、ＥＵガリレオ測位システムまたは中国のＢｅｉＤｏｕナビゲーション衛星システムなどもまた適している。固定された既知の基準点を定義し、その定義された基準位置に対するデバイス位置を決定することを可能にする位置センサおよびシステムなどの、地理的空間内での絶対位置を取得することを可能にする他の位置センサもまた適している。

図３を参照すると、２次元対象点を３次元ビューにおいてマッピングするための方法が示されている。方法は、図２を参照して説明された拡張現実システムの例によって実装されてよい。方法は、拡張現実デバイスを用いて３次元（３Ｄ）画像を取り込むこと（１０２）から始まる。２Ｄ画像データベースの画像を、取り込まれた３Ｄ画像に一致させること（１０３）が後に続く。この２Ｄ画像データベースは、２次元（２Ｄ）データ・セットを有する対象点に関連付けられた２次元（２Ｄ）画像を保有する。２Ｄ画像が３Ｄ画像に一致するときに、方法は、一致した２Ｄ画像についての３Ｄデータを取り込むこと（１０４）、および対象点の２Ｄデータ・セットを３Ｄデータ・セットに変換すること（１０５）によって続行する。取得された３Ｄデータ・セットは、対象点を、たとえばＧＰＳ座標などのグローバル位置座標で記憶することになり、それにより、拡張現実デバイスのグローバル位置に基づいて、対象点を容易に取り出すことを可能にすることになる。

上の工程は、学習フェーズとみなされてよく、ここで、ＡＲサーバ上の３Ｄデータベースは、後の取り出しのために利用可能な対象点の３Ｄデータ・セットでポピュレートされる。このようにして、各対象点の３Ｄデータ・セットがグローバル位置座標で記憶されることになるので、１つの画像の２Ｄ画像認識は、一度しか要求されない。

図４に移ると、２次元対象点を３次元ビューにおいて表示するための方法の例が示されている。方法はまた、図２を参照して説明された拡張現実システムの例によって実装されてよい。この方法は、図３を参照して説明された方法と同様に、３Ｄ画像を取り込むこと（２０２）を含み、２Ｄ画像データベースの画像を、取り込まれた３Ｄ画像に一致させること（２０３）が後に続き、２Ｄ画像が３Ｄ画像に一致するとき、３Ｄデータを取り込むこと（２０４）、および対象点の２Ｄデータ・セットを３Ｄデータ・セットに変換すること（２０５）によって続行する。上記に加えて、方法は、２次元（２Ｄ）データ・セットを有する対象点に関連付けられた２次元（２Ｄ）画像を保有する２Ｄ画像データベースを提供すること（２０１）、および対象点を３Ｄビューにおいて拡張現実として表示すること（２０６）を含む。たとえば、オペレータが点検または保守作業を実施しているとき、３Ｄビューは、拡張現実デバイスの表示装置上に示されてよい。３Ｄビューはまた、遠隔制御室のワーク・ステーションの表示装置上に示されてもよい。

上で説明された方法の１つの利点は、これにより、非常に単純なやり方で２Ｄ画像において対象点が定義されることを可能にし、一方で学習フェーズにおいて、すべての対象点が、２Ｄ認識を用いて、アプリケーションのための３Ｄ画像においてインスタンス化され得ることである。

図５を参照すると、対象点に関連付けられた２次元（２Ｄ）画像を記憶する２Ｄ画像データベースを作成するための方法が示されている。そのような２Ｄ画像データベースを作成するためには、たとえばオペレータによってあらかじめ撮影された、または別のやり方で提供される（３０１）画像を処理するために、２Ｄ設計ツールが使用される。２Ｄ画像において、対象点が定義されることになり、対象点は、たとえば、ある一定のスイッチ、回路遮断機、Ｉ／Ｏ接続部、または他のコンポーネントを指していてよい。

それに加えて、各画像は、画像を参照するための一意の手段としての画像識別子ＩＤ−ｉｍを割り当てられる（３０２）。画像の長さＬおよび幅Ｗのようなさらなる特性が決定され（３０３）、基準点もまた同様に決定される。基準点は、画像の隅のうちの１つであってもよいし、画像の中心であってもよいし、またはデカルト系の原点などの座標系の原点として取られるのに好適な任意の他の基準点であってもよい。後者の場合、原点が１つの隅にあると、ＸおよびＹの最大値は、ＬおよびＷと等しくなることになる。

２Ｄ画像が処理されるのに伴い、それぞれのｐｏｉ識別子ＩＤ−ｐｏｉを有する対象点が、画像内で定義されてよい（３０４）。対象点の定義およびそのｐｏｉ識別子と共に、基準点すなわち画像の原点に対する対象点の第１の座標、たとえば、Ｘ−ｐｏｉおよびＹ−ｐｏｉが決定され（３０５）、その目的のために、２Ｄ画像は、デカルト座標空間Ｒとみなされてよい。１つの２Ｄ画像が多数の対象点を示すことがあるので、上記は、多数の点について繰り返されてよい。このようにして、各対象点は、２Ｄ画像におけるｐｏｉの座標を少なくとも保有する２次元（２Ｄ）データ・セットを有する。そのようなデータ・セットは、たとえば、Ｐ．ｏ．Ｉ．ごとに（ＩＤ−ｐｏｉ，Ｘ−ｐｏｉ，Ｙ−ｐｏｉ，ＩＤ−ｉｍ）としての形を取ることができる。

２Ｄ画像データベースを作成することは、各定義された対象点を画像識別子に関連付けること（３０６）をさらに要求する。これは、画像識別子ごとにレコードを作成し、画像およびその画像識別子に関連付けられたそれぞれの対象点のすべてのｐｏｉ識別子を記憶することによって行われてよい。それはまた、ｐｏｉ識別子ごとにレコードを作成し、レコードに関連付けられた画像識別子を記憶することによって行われてもよい。

上記のすべて、つまり、画像識別子、画像の長さおよび幅、画像における基準点、ｐｏｉ識別子、少なくとも１つの対象点の座標、ならびに各定義された対象点との関連付けが、２Ｄ画像データベースに記憶される（３０７）。それに応じて、２次元（２Ｄ）データ・セットを有する対象点に関連付けられた２次元（２Ｄ）画像を保有する２Ｄ画像データベースが提供される。

図２および図３に戻って、方法はさらに詳細に説明される。３Ｄ画像を取り込むために、拡張現実デバイスの３Ｄセンサおよび画像センサを介して、取り込まれる３Ｄ画像の３Ｄ表現が取得される。この３Ｄ表現は、２Ｄフレームを含み、２Ｄフレームは、この例では、デカルト座標系におけるＸおよびＹの値などの、２次元フレーム座標によって定義された点からなる、画像センサによって取り込まれた２Ｄ画像である。２Ｄフレームにおける各点は、デカルト座標Ｚに類似した奥行きに関連付けられ、奥行きは、３Ｄセンサによって取得される。２Ｄフレームはまた、各点（Ｘ、Ｙ）について定義されたベクトルＺを持つベクトル・フィールドとして構築され得る。２Ｄフレームは、必ずしも連続的である必要はなく、たとえば、それはまた離散形式であってもよい。

たとえば、３Ｄデバイスは、行列射影（ｍａｔｒｉｘ ｐｒｏｊｅｃｔｉｏｎ）を適用するためのレーザを使用して、３Ｄデバイスの前にあるオブジェクトによって引き起こされた歪みを決定することができる。そのような射影は、行列射影のメッシュサイズまたはピッチに応じて限定された数の点についてのＺの値、すなわち、奥行きのみを取得することになる。さらに別のやり方で、２Ｄフレームは、Ｘ−Ｙ平面上のＺ軸に沿った３Ｄ画像の射影として解釈されてもよい。

２Ｄ画像データベースの画像を３Ｄ画像に一致させることは、２Ｄフレーム上で２Ｄ画像を変倍し、並進させることによって、２Ｄ画像データベースの各２Ｄ画像を、３Ｄ表現の２Ｄフレームと比較することを含む。要求される処理動作の例が、単純化されたやり方で図６に示されている。

２Ｄ画像が、３Ｄ画像に、つまり上の例では３Ｄ表現の２Ｄフレームに一致するとき、対応する一致についての３Ｄデータが取り込まれる必要がある。一致した２Ｄ画像についての３Ｄデータのこの取り込みは、３Ｄ表現の２Ｄフレームにおける２Ｄ画像の基準点のフレーム座標を決定することを含む。取り込むことは、変倍情報を決定すること、および拡張現実デバイスと２Ｄ画像との間の距離Ｄを取得することをさらに含み、その両方は、３Ｄデバイスのレンズから取得されてよい。変倍を実施する１つのよくあるやり方が、相似拡大射影（ｈｏｍｏｔｈｅｔｉｃ ｐｒｏｊｅｃｔｉｏｎ）であり、これは、その比率アスペクトを維持しながら、最小限の歪みで、形状のサイズ変更を可能にする。

一致した画像の、フレーム座標、変倍情報、距離Ｄ、および画像識別子は、一致した画像オブジェクトに中間結果として記憶されてよい。

取り込まれた３Ｄデータにより、対象点の２Ｄデータ・セットは、３Ｄデータ・セットに変換され得る。２Ｄデータ・セットの３Ｄデータ・セットへのこの変換は、対象点の第１の座標に変倍情報を適用することを含む。変換することは、対象点のフレーム座標を取得するために、対象点の座標に基準点のフレーム座標を適用することをさらに含む。そして最後に、対象点についての奥行き座標を取得するために、対象点のフレーム座標に関連付けられた奥行きおよび変倍情報が処理されて、奥行き座標を計算する。このようにして、対象点の一組の３次元座標が取得され、拡張現実デバイスＲ’の座標系において定義される。

これらのフレーム座標は、たとえば、ＧＰＳなどとして知られるグローバル位置座標に変換されてよい。それに加えて、拡張現実デバイスのグローバル位置が取得される。ここから、対象点のフレーム座標および奥行き座標に、拡張現実デバイスのグローバル位置を適用することによって、対象点のグローバル位置が取得される。これらの３Ｄデータは次いで、対象点のグローバル位置として３Ｄデータ・セットに記憶されてよい。

図６は、２Ｄ画像１８の座標空間Ｒと、拡張現実デバイスの考え得る座標空間Ｒ’との関係を示す。別の例において、デカルト座標の代わりに、デバイス座標空間はまた、球面座標によっても定義され得る。

図７を参照すると、本発明に従った方法のさらなる例を示す流れ図が示されている。２Ｄ設計ツール１９が、２Ｄ画像用に対象点を定義するために使用される。２Ｄ設計ツール１９は、これらの２Ｄ画像を２Ｄ画像データベース８に送り出し、２Ｄ画像データベース８には、２Ｄ画像が、画像識別子ＩＤ−ｉｍ、長さＬ、幅Ｗと一緒に記憶される。加えて、対象点は、対象点ごとに、ｐｏｉ識別子ＩＤ−ｐｏｉ、２Ｄ画像におけるｐ．ｏ．ｉ．のＸ座標Ｘ−ｐｏｉ、２Ｄ画像におけるｐ．ｏ．ｉ．のＹ座標Ｙ−ｐｏｉ、および画像識別子ＩＤ−ｉｍと一緒に記憶され、これらについて対象点は定義されており、したがって関連付けられている。３Ｄ画像は、画像の各点についてのＸ、Ｙ、Ｚ座標を伴って取り込まれる（４０５）。

２Ｄ画像は、取り込まれた３Ｄ画像に一致させる（４０１）ように、２Ｄ認識ツールによって１つずつ処理される。一致したとき、画像識別子ＩＤ−ｉｍを保有する一致画像オブジェクトが作成され、更新された座標Ｘ’およびＹ’が、取り込まれた３Ｄ画像における原点の座標を定義し、変倍情報が、取り込まれた３Ｄ画像における２Ｄ画像の変倍を定義する。取り込まれた３Ｄ画像は多数の対象点を示すことがあるので、３Ｄ画像は、２Ｄ画像データベースのさらなる２Ｄ画像と比較され、さらなる一致が取得された場合、これらもまた一致画像オブジェクトに記憶される。したがって、一致の場合は、これが新たな一致であるか否かがチェックされる（４０２）。３Ｄデバイスの場所は既知であり得るので、比較されるために該当する２Ｄ画像の数は、その場所に基づいて限定されてよい。

２Ｄ画像が３Ｄ画像に一致したとき、２ＤデータのＸ−ｐｏｉ、Ｙ−ｐｏｉは、２Ｄ to ３Ｄモジュールによって、１つの３Ｄデータ・セットに変換され（４０３）、その３Ｄデータ・セットは、３Ｄデータベース９に記憶される。変換は、３Ｄ画像に関連付けられた２Ｄ画像ごとに、一致画像オブジェクトを処理することによって実施される。２Ｄ画像の一致はそれ自体でもまた、多数の対象点を保有することがあり、その場合、２Ｄデータ・セットの変換は、その画像について定義されたすべての対象点に適用される。すべての変換された３Ｄデータ・セットは、３Ｄデータベース９に記憶される。

２Ｄ画像があらかじめ３Ｄ画像に一致していたとき、先行して変換された３Ｄデータ・セットが利用可能になるので、変換はスキップされてよい。したがって、新たに一致した画像が取得されるときにのみ、２Ｄの３Ｄデータ・セットへの変換が実施されることになる。

３Ｄデータ・セットが取得されると、３Ｄ画像は、すべての識別された対象点と一緒に、３Ｄデバイスの表示装置上に示されることになる。

本発明が特定の実施形態を参照して上で説明されてきたが、本発明は、本明細書に記述された特定の形態に限定されることを意図されていない。むしろ、本発明は、添付する請求項によってのみ限定され、上の特定の実施形態以外の実施形態は、これらの付属の請求項の範囲内で等しく可能である。

さらに、上では例示的な実施形態が、コンポーネントおよび／または機能のいくつかの例示的な組合せにおいて説明されてきたが、本開示の範囲から逸脱することなく、代替実施形態が、部材および／または機能の異なる組合せによって提供されてよいことが認識されるべきである。加えて、個々に説明された、または実施形態の一部として説明された特定の特徴は、他の個々に説明された特徴、または他の実施形態の一部と組み合わされてもよいことが明確に企図される。

１ 工業用制御システム
２ オートメーション・サーバ
３ ＳＣＡＤＡステーション
４ キャビネット
５ キャビネット
６ 拡張現実画像サーバ
７ 拡張現実デバイス／３Ｄデバイス
８ ２Ｄ画像データベース／２Ｄデータベース
９ ３Ｄデータベース
１０ 画像センサ
１１ 調整可能なレンズ
１２ ３Ｄセンサ
１３ 絶対測位センサ
１４ 表示装置
１５ ２Ｄ画像認識モジュール
１６ ３Ｄデータ取り込みモジュール
１７ ２Ｄ to ３Ｄ変換モジュール
１８ ２Ｄ画像
１９ ２Ｄ設計ツール

Claims (12)

1. ２次元対象点を３次元ビューにおいてマッピングするための方法であって、
   拡張現実デバイス（７）を用いて３次元（３Ｄ）画像を取り込むステップ（１０２）と、
   ２次元（２Ｄ）画像データベース（８）の画像を、取り込まれた３Ｄ画像に一致させるステップ（１０３）であって、前記２Ｄ画像データベース（８）が２次元（２Ｄ）データ・セットを有する対象点に関連付けられた２次元（２Ｄ）画像を備える、一致させるステップ（１０３）と、
   前記２Ｄ画像が前記３Ｄ画像に一致するときに、
   一致した２Ｄ画像についての３Ｄデータを取り込むステップ（１０４）と、
   前記対象点の前記２Ｄデータ・セットを３Ｄデータ・セットに変換するステップ（１０５）と
   を備える方法。
2. ２Ｄ画像を提供するステップ（３０１）と、
   画像ごとに、
   画像識別子を割り当てるステップ（３０２）と、
   前記画像の長さおよび幅を決定するステップ（３０３）と、
   それぞれのｐｏｉ識別子を有する少なくとも１つの対象点を定義するステップ（３０４）と、
   前記画像の基準点に対する前記少なくとも１つの対象点の第１の座標を決定するステップ（３０５）と、
   各定義された対象点を前記画像識別子に関連付けるステップ（３０６）と、
   前記画像識別子、前記長さおよび前記幅、前記基準点、前記ｐｏｉ識別子、前記少なくとも１つの対象点の前記座標、ならびに各定義された対象点との関連付けを記憶するステップ（３０７）と
   によって、前記２Ｄ画像データベースが作成される、
   請求項１に記載の方法。
3. 前記３Ｄ画像を取り込むステップが、
   前記拡張現実デバイスの３Ｄセンサ（１２）を介して、前記３Ｄ画像の３Ｄ表現を取得するステップを備え、
   前記３Ｄ表現が、２次元フレーム座標によって定義された点からなる２Ｄフレームを備え、各点が奥行きに関連付けられている、
   請求項１または２に記載の方法。
4. 前記２Ｄ画像データベースの画像を前記３Ｄ画像に一致させるステップが、
   前記２Ｄフレーム上で前記２Ｄ画像を変倍し、並進させることによって、前記２Ｄ画像データベースの各２Ｄ画像を、前記３Ｄ表現の前記２Ｄフレームと比較するステップ
   を備える、請求項１から３のいずれか一項に記載の方法。
5. 前記一致した２Ｄ画像についての３Ｄデータを取り込むステップが、
   前記２Ｄフレームにおいて前記２Ｄ画像の前記基準点のフレーム座標を決定するステップと、
   前記２Ｄ画像のサイズおよび前記２Ｄフレームのサイズから変倍情報を決定するステップと、
   前記拡張現実デバイスと前記２Ｄ画像との間の距離を取得するステップと
   を備える、請求項１から４のいずれか一項に記載の方法。
6. 前記対象点の前記２Ｄデータ・セットを３Ｄデータ・セットに変換するステップが、
   前記対象点の前記第１の座標に前記変倍情報を適用するステップと、
   前記対象点のフレーム座標を取得するために、前記対象点の前記第１の座標に前記基準点の前記フレーム座標を適用するステップと
   を備える、請求項１から５のいずれか一項に記載の方法。
7. 前記対象点の前記２Ｄデータ・セットを３Ｄデータ・セットに変換するステップが、
   前記対象点の前記フレーム座標に関連付けられた奥行き、および
   前記変倍情報
   から、前記対象点についての奥行き座標を決定するステップと
   をさらに備える、請求項６に記載の方法。
8. 前記対象点の前記２Ｄデータ・セットを３Ｄデータ・セットに変換するステップが、
   前記拡張現実デバイスの絶対位置を取得するステップと、
   前記対象点の前記フレーム座標および前記奥行き座標に前記拡張現実デバイスのグローバル位置を適用することによって、前記対象点の絶対位置を決定するステップと、
   前記対象点の前記絶対位置を前記３Ｄデータ・セットに記憶するステップと
   をさらに備える、請求項７に記載の方法。
9. ２次元対象点を３次元ビューにおいて表示するための方法であって、
   請求項１から８のいずれかに記載の方法によって取得された３次元（３Ｄ）データ・セットを有する対象点を備える３Ｄ画像データベースを提供するステップと、
   前記対象点を前記３Ｄビューにおいて拡張現実として表示するステップと
   を備える方法。
10. 調整可能なレンズ（１１）と、
    画像センサ（１０）と、
    ３Ｄセンサ（１２）と、
    絶対測位センサ（１３）と、
    表示装置（１４）と、
    処理ユニット（１５、１６、１７）と
    を備える、３Ｄ画像を取り込むための拡張現実デバイスであって、前記処理ユニット（１５、１６、１７）が、
    ２Ｄデータベースからの画像を、前記画像センサ（１０）によって取り込まれた３Ｄ画像に一致させ、
    ２Ｄ画像が前記３Ｄ画像に一致するときに、前記３Ｄセンサ（１２）および前記レンズ（１１）から前記３Ｄ画像の３Ｄデータを取り込み、
    対象点の２Ｄデータ・セットを３Ｄデータ・セットに変換し、
    前記対象点を３Ｄビューにおいて拡張現実として前記表示装置（１４）上に表示するために
    配置されている、拡張現実デバイス。
11. 拡張現実を提供するためのシステムであって、
    請求項１０に記載の拡張現実デバイス（７）と、
    ２次元（２Ｄ）データ・セットを有する対象点を伴う画像を備える２Ｄデータベース（８）、および
    ３次元（３Ｄ）データ・セットを有する対象点を伴う画像を備える３Ｄデータベース（９）
    を備える拡張現実画像サーバ（６）と
    を備えるシステム。
12. 調整可能なレンズ（１１）と、
    画像センサ（１０）と、
    ３Ｄセンサ（１２）と、
    絶対測位センサ（１３）と、
    表示装置（１４）と、
    ２次元（２Ｄ）データ・セットを有する対象点を伴う画像を備える２Ｄデータベース（８）と、
    ３次元（３Ｄ）データ・セットを有する対象点を伴う画像を記憶するための３Ｄデータベース（９）と、
    処理ユニット（１５、１６、１７）と
    を備える、３Ｄ画像を取り込むための拡張現実デバイスであって、前記処理ユニット（１５、１６、１７）が、
    前記２Ｄデータベース（８）からの画像を、前記画像センサ（１０）によって取り込まれた３Ｄ画像に一致させ、
    ２Ｄ画像が前記３Ｄ画像に一致するときに、前記３Ｄセンサ（１２）および前記レンズ（１１）から前記３Ｄ画像の３Ｄデータを取り込み、
    前記対象点の前記２Ｄデータ・セットを３Ｄデータ・セットに変換し、
    前記対象点を３Ｄビューにおいて拡張現実として前記表示装置（１４）上に表示するために
    配置されている、拡張現実デバイス。