JP2013528870A - 拡張現実のための方法および装置 - Google Patents

Abstract

【課題】本発明は、実世界の指標を必要としない拡張現実のためのモバイル機器における方法に関する。
【解決手段】その方法は、所定の位置で少なくとも１つのカメラにより撮られた実世界環境の画像を受信するステップ（２００）と、前記位置を受信するステップ（２１０）と、前記位置と関連するＩＤを受信するステップであって、前記ＩＤが前記画像から一組の特徴を抽出するために前記画像で使用されるべきアルゴリズムと関連付けられるステップ（２２０）と、前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組を受信するステップ（２３０）と、前記アルゴリズムを使用して前記画像から前記特徴の組を抽出するステップ（２４０）と、前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するステップ（２５０）とを備える。また、本発明は、対応するサーバおよびモバイル機器に関する。
【選択図】図２

Description

本発明は、拡張現実のための装置および方法に関し、特に、カメラが実世界環境（realworld environment）内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定するための方法および装置に関する。

（背景）
拡張現実、ＡＲは、仮想のＣＧ像により実世界環境が拡張される、実世界環境の生の直接的な或いは間接的な視野である。

一般に、ユーザは拡張現実ゴーグルを携行し、この拡張現実ゴーグルによってユーザは実世界環境を見ることができる。同時に、１つの画像がユーザの視野内に投影される。画像が適切にユーザにより受けられるように、画像は幾何学的に正確に投影されなければならない。起こり得る世界をリアルタイムで広げる拡張現実を可能にするために、これは、例えばコンピュータゲームや他の用途などの多くの用途を大幅に変革し得る。

拡張現実に関連する１つの問題は、ユーザの視野内への画像の地理的に正確な投影の計算方法である。計算されなければならないパラメータは、例えば、姿勢、および、実世界環境内の物体までの距離である。

拡張現実を実施するために、カメラは、最初に、拡張現実システムが仮想のＣＧ像により拡張したい実世界環境の画像を撮る必要がある。その後、拡張現実システムは、画像が何を描いているのかを決定し、その後、姿勢および実世界環境内の物体までの距離を決定する必要がある。これは、例えば、三次元内の物体とカメラの位置との間の関係であってもよい。

物体とカメラの位置との間の関係を決定するための１つの解決策は、容易に識別され得る公知のパターンを伴う指標を使用することであった。これらの指標は、実世界環境内に配置されてきた。拡張現実システムが後に画像を解析するときに、これらの指標が識別され得る。その後、カメラと指標との間の関係を計算するために、パターンが使用され得る。この情報は、その後、画像がユーザの視野内へどのようにして地理的に正確に投影されるべきかを決定するために使用される。

しかしながら、この解決策に伴う欠点は、それが実世界環境における指標を必要とするという点である。

したがって、前述した問題のうちの少なくとも１つを解決する或いは少なくとも軽減する、拡張現実のための改良された解決策の必要性がある。

（概要）
したがって、本発明の目的は、実世界環境における指標を必要としない拡張現実のための装置および方法を提供することである。

第１の態様によれば、本発明は、拡張現実のためのモバイル機器に関する。モバイル機器は、所定の位置で少なくとも１つのカメラにより撮られた実世界環境の画像を受信するように構成される受信手段を備える。受信手段は、その位置と、画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられるＩＤと、アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組と、を受信するように更に構成される。モバイル機器は、アルゴリズムを使用して画像から特徴の組を抽出するとともに、その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定するように構成される処理手段を更に備える。

したがって、本発明に係る目的は、画像から抽出される特徴の組と記憶された特徴の組とを比較することにより達成される。画像全体を使用する代わりにその特徴の組と記憶された特徴の組とを比較すると、その特徴の組または記憶された特徴の組をモバイルネットワーク内で転送するだけで済むため、モバイル環境内のソリューションを使用できる。

第２の態様によれば、本発明は、拡張現実のためのモバイル機器における方法に関する。方法は、所定の位置で少なくとも１つのカメラにより撮られた実世界環境の画像を受信するステップと、その位置を受信するステップと、その位置と関連するＩＤを受信するステップであって、ＩＤが画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられるステップと、アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組を受信するステップと、アルゴリズムを使用して画像から特徴の組を抽出するステップと、その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定するステップとを備える。

第３の態様によれば、本発明は、拡張現実のためのサーバに関する。サーバは、所定の位置で少なくとも１つのカメラにより撮られた実世界環境の画像から抽出される一組の特徴とその位置とを受信するように構成される受信手段を備える。また、サーバは、その位置と関連するＩＤであって、画像から特徴の組を抽出するために画像で使用されたアルゴリズムと関連付けられるＩＤと、アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組とを検索するように構成される検索手段を更に備える。サーバの更なる手段は、その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定するように構成される処理手段である。

第４の態様によれば、本発明は、拡張現実のためのサーバにおける方法に関する。方法は、少なくとも１つのカメラにより撮られた所定位置での実世界環境の画像から抽出される一組の特徴を受信するステップと、その位置を受信するステップと、その位置と関連するＩＤを検索するステップであって、ＩＤが画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられるステップと、アルゴリズムを使用して抽出された所定の位置での実世界環境における記憶された特徴の組を検索するステップと、その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定するステップと、を備える。

本発明の実施形態に伴う利点は、画像全体ではなくその特徴の組または記憶された特徴の組をモバイルネットワーク内で転送するだけで済むため、モバイル環境内のソリューションを実施できるという点である。

本発明の実施形態に伴う更なる他の利点は、その特徴の組または記憶された特徴の組だけを転送すれば済むため、ネットワークリソースの消費が少なくなるという点である。

また、本発明の実施形態に伴う更なる利点は、実世界環境における指標が不要であるという点である。

本発明の実施形態に伴う更に他の利点は、画像全体ではなく画像に関連する特徴だけがソリューション内で転送されるため、既存のソリューションよりも良好な実時間性能である。

以下、添付図面を参照して本発明を更に詳しく説明する。

本発明の典型的な実施形態に係るモバイル機器を概略的に示している。 本発明の典型的な実施形態に係る方法を示している。 本発明の典型的な実施形態に係るサーバを概略的に示している。 本発明の典型的な実施形態に係る方法を示している。

（詳細な説明）
以下の記述では、限定的ではなく説明の目的で、本発明の十分な理解を与えるために、ステップの特定の順序や機器構成などの特定の詳しい内容が記載される。当業者であれば明らかなように、本発明は、これらの特定の詳しい内容から逸脱する他の実施形態で実施されてもよい。

また、当業者であれば分かるように、以下の本明細書中で説明される機能および手段は、プログラムされたマイクロプロセッサまたは汎用コンピュータと併せてソフトウェア機能を使用して、および／または、特定用途向け集積回路（ＡＳＩＣ）を使用して実施されてもよい。

ここで、本発明に係るモバイル機器１００の典型的な実施形態を示す図１を参照する。モバイル機器１００は、ユーザにより容易に移動され得る携帯電話端末、ラップトップコンピュータ、または、任意の他の携帯端末機器であってもよい。モバイル機器は、所定の位置で少なくとも１つのカメラ（図示せず）により撮られた実世界環境の画像を受信するように構成される受信手段１１０を備える。複数のカメラを使用すると、精度を高めることができる。カメラは、例えば、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、ＨＵＤ、すなわち、ヘッドアップディスプレイ、におけるカメラであってもよい。また、受信手段１１０は、画像が撮られた位置を受信するように構成される。その位置は、例えば、二次元または三次元の座標から成ってもよい。その位置には、例えばカメラがどの方向を向いているかなどの他の情報が加えられてもよい。

また、ＩＤが受信手段１１０により受信されもよい。ＩＤは、画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと、関連付けられる。アルゴリズムは、その位置で撮られた画像から特徴を可能な限り効果的に抽出するために、その位置の実世界環境に基づいて選択されてもよい。異なる位置での実世界環境に基づくアルゴリズムの選択は、それが当分野における一般的な知識であると考えられるため、本明細書ではこれ以上説明しない。

また、受信手段１１０は、アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組を受信するように更に構成される。記憶された特徴の組は、例えば、その位置での実世界環境の画像における勾配であってもよい。モバイル機器における更なる他の手段は処理手段１２０である。処理手段１２０は、アルゴリズムを使用して実世界環境の画像から特徴の組を抽出するように構成される。その特徴の組のアルゴリズムと同じである、受信手段１１０により受信される記憶された特徴の組を抽出するためのアルゴリズムが使用されたため、これらの両方の異なる特徴の組を使用して、カメラが実世界環境内の物体を観察しているかどうか、および、カメラが実世界環境内の物体をどのように観察しているのかを決定することができる。この決定は、その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定するように更に構成される処理手段１２０によって行なわれる。

カメラが物体を観察しているかどうか、およびカメラが物体をどのように観察しているのかという処理手段１２０により行なわれる決定は、例えば、実世界環境内の物体に対するカメラのより正確な位置の決定をもたらしてもよい。より正確な位置は、例えば、実世界環境内の物体に対するカメラにおける方向、回転、および、より正確な位置座標を含んでもよい。

受信手段１１０は、仮想画像または仮想物体を受信するように更に構成される。この仮想画像または仮想物体は、ユーザの視野内に投影されるべき仮想画像または仮想物体である。仮想画像または仮想物体の幾何学的に正確な投影は、カメラが実世界環境内の物体をどのように観察しているのかに基づいて、処理手段１２０により計算される。仮想画像または仮想物体の幾何学的に正確な投影の計算は、それぞれの眼ごとに投影を計算してもよい。仮想画像または仮想物体の幾何学的に正確な投影の計算は、より良い投影を計算するために、その位置での時期、天候、および、光状態を考慮に入れてもよい。

処理手段１２０は、その特徴の組と記憶された特徴の組との間の比較に基づいてカメラの今後の動きを予測するように構成されてもよい。

処理手段１２０によって行なわれるその特徴の組と記憶された特徴の組との間の比較は、その特徴の組および記憶された特徴の組の一部に関して行なわれてもよい。

図２を参照すると、本発明の前述した実施形態に係るステップを記載する拡張現実に関するモバイル機器１００における方法のフローチャートが示されている。図２に示されるように、その方法は、
２００ 所定の位置で少なくとも１つのカメラにより撮られた実世界環境の画像を受信し、
２１０ その位置を受信し、
２２０ その位置と関連するＩＤを受信し、ＩＤは画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられ、
２３０ アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組を受信し、
２４０ アルゴリズムを使用して画像から特徴の組を抽出し、
２５０ その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定する、
ことを備える。

前述したように、その方法は、ユーザの視野内に投影されるべき仮想画像または仮想物体を受信する更なるステップ（図示せず）を備えてもよい。

その方法は、カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算する更なるステップ（図示せず）を備えてもよい。

ここで、本発明に係るサーバ３００の典型的な実施形態を示す図３を参照する。サーバは、所定の位置で少なくとも１つのカメラ（図示せず）により撮られた実世界環境の画像の記憶された特徴の組を受信するように構成される受信手段３１０を備える。カメラは、例えば、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、ＨＵＤ、すなわち、ヘッドアップディスプレイにおけるカメラであってもよい。また、受信手段３１０は、画像が撮られた位置を受信するように構成される。その位置は、例えば、二次元または三次元の座標から成ってもよい。その位置には、例えばカメラがどの方向を向いているかなどの他の情報が加えられてもよい。

サーバ３００は検索手段３２０を更に備える。検索手段３２０は、その位置と関連するＩＤを検索するように構成される。ＩＤは、画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられる。アルゴリズムは、その位置で撮られた画像から特徴を可能な限り効果的に抽出するためにその位置の実世界環境に基づいて選択されている。異なる位置での実世界環境に基づくアルゴリズムの選択は、それが当分野における一般的な知識であると考えられるため、本明細書ではこれ以上説明しない。

また、検索手段３２０は、アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組を検索するように更に構成される。記憶された特徴の組は、例えば、その位置での実世界環境の画像における勾配であってもよい。サーバ３００における更なる他の手段は、処理手段３３０である。検索手段３２０により検索される記憶された特徴の組を抽出するために、受信手段３１０により受信される特徴の組と同じアルゴリズムが使用されたため、これらの両方の異なる特徴の組を使用して、カメラが実世界環境内の物体を観察しているかどうか、および、カメラが実世界環境内の物体をどのように観察しているのかを決定することができる。この決定は、その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定するように更に構成される処理手段３３０によって行なわれる。

カメラが物体を観察しているかどうか、およびカメラが物体をどのように観察しているのかという処理手段３３０により行なわれる決定は、例えば、実世界環境内の物体に対するカメラのより正確な位置の決定をもたらしてもよい。より正確な位置は、例えば、実世界環境内の物体に対するカメラにおける方向、回転、および、より正確な位置座標を含んでもよい。

検索手段３２０は、仮想画像または仮想物体を検索するように更に構成される。この仮想画像または仮想物体は、ユーザの視野内に投影されるべき仮想画像または仮想物体である。

仮想画像または仮想物体の幾何学的に正確な投影は、カメラが実世界環境内の物体をどのように観察しているのかに基づいて、処理手段３３０により計算される。

検索手段３２０により検索される画像は、少なくとも１つのカメラにより撮られてもよく、その場合、少なくとも１つのカメラは、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、ＨＵＤ、すなわち、ヘッドアップディスプレイにおけるカメラであってもよい。

仮想画像または仮想物体の幾何学的に正確な投影の計算は、それぞれの眼ごとに投影を計算してもよい。仮想画像または仮想物体の幾何学的に正確な投影の計算は、より良い投影を計算するために、その位置での時期、天候、および、光状態を考慮に入れてもよい。

処理手段３３０は、その特徴の組と記憶された特徴の組との間の比較に基づいてカメラの今後の動きを予測するように構成されてもよい。

処理手段３３０によって行なわれるその特徴の組と記憶された特徴の組との間の比較は、その特徴の組および記憶された特徴の組の一部に関して行なわれてもよい。

図４を参照すると、本発明の前述した実施形態に係るステップを記載する拡張現実に関するサーバ３００における方法のフローチャートが示されている。図４に示されるように、その方法は、
４１０ 少なくとも１つのカメラにより撮られた所定の位置での実世界環境の画像の記憶された特徴の組を受信し、
４２０ その位置を受信し、
４３０ その位置と関連するＩＤを検索し、ＩＤは画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられ、
４４０ アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組を検索し、
４６０ その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定する、
ことを備える。

前述したように、その方法は、ユーザの視野内に投影されるべき仮想画像または仮想物体を検索する更なるステップ（図示せず）を備えてもよい。

その方法は、カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算する更なるステップ（図示せず）を備えてもよい。

なお、本発明が１つの画像を使用して説明された場合であっても、本発明は、異なるカメラにより撮られる２つ以上の画像を使用して行なわれてもよい。これらの実施形態では、最良の結果を与える画像が使用されてもよい。例えば、最も特異なデータを含む特徴の組をもたらす画像が使用されてもよい。

特定の実施形態（特定の機器構成および様々な方法の中のステップの特定の順序を含む）に関して本発明を説明してきたが、当業者であれば分かるように、本発明は本明細書中で図示して説明した特定の実施形態に限定されない。そのため、この開示が単なる例示であることは言うまでもない。したがって、本発明が添付の特許請求の範囲によってのみ限定されるべきことが意図される。

その方法は、カメラが実世界環境内の物体をどのように観察しているのかに基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算する更なるステップ（図示せず）を備えてもよい。

その方法は、カメラが実世界環境内の物体をどのように観察しているのかに基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算する更なるステップ（図示せず）を備えてもよい。

Claims (24)

1. 所定の位置で少なくとも１つのカメラにより撮られた実世界環境の画像を受信するように構成される受信手段（１１０）を備え、
   前記受信手段（１１０）が、前記位置と、前記画像から一組の特徴を抽出するために前記画像で使用されるべきアルゴリズムと関連付けられるＩＤと、前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組とを受信するように更に構成され、
   前記アルゴリズムを使用して前記画像から前記特徴の組を抽出するとともに、前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するように構成される処理手段（１２０）を備える、
   拡張現実のためのモバイル機器（１００）。
2. 前記受信手段（１１０）が、ユーザの視野内に投影されるべき仮想画像または仮想物体を受信するように更に構成される請求項２に記載のモバイル機器。
3. 前記処理手段は、前記カメラが実世界環境内の物体をどのように観察しているのかに基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算するように更に構成される請求項２に記載のモバイル機器。
4. 前記少なくとも１つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、ＨＵＤ、すなわち、ヘッドアップディスプレイにおけるカメラである請求項２〜３のいずれか一項に記載のモバイル機器。
5. 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項２〜４のいずれか一項に記載のモバイル機器。
6. 前記処理手段が、前記特徴の組の一部が前記記憶された特徴の組の一部と一緒であることを比較するように更に構成される請求項２〜５のいずれか一項に記載のモバイル機器。
7. 所定の位置で少なくとも１つのカメラにより撮られた実世界環境の画像を受信するステップ（２００）と、
   前記位置を受信するステップ（２１０）と、
   前記位置と関連するＩＤを受信するステップであって、前記ＩＤが前記画像から一組の特徴を抽出するために前記画像で使用されるべきアルゴリズムと関連付けられるステップ（２２０）と、
   前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組を受信するステップ（２３０）と、
   前記アルゴリズムを使用して前記画像から前記特徴の組を抽出するステップ（２４０）と、
   前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するステップ（２５０）と、
   を備える拡張現実のためのモバイル機器における方法。
8. ユーザの視野内に投影されるべき仮想画像または仮想物体を受信する更なるステップを備える請求項７に記載の方法。
9. 前記カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への前記仮想画像または前記仮想物体の幾何学的に正確な投影を計算する更なるステップを備える請求項８に記載の方法。
10. 前記少なくとも１つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、ＨＵＤ、すなわち、ヘッドアップディスプレイにおけるカメラである請求項７〜９のいずれか一項に記載の方法。
11. 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項７〜１０のいずれか一項に記載の方法。
12. 決定する前記ステップ（２５０）において、前記特徴の組の一部が前記記憶された特徴の組の一部と比較される請求項７〜１１のいずれか一項に記載の方法。
13. 所定の位置および前記位置で少なくとも１つのカメラにより撮られた実世界環境の画像から抽出される一組の特徴と前記位置とを受信するように構成される受信手段（３１０）と、
    前記位置と関連するＩＤであって、前記画像から前記特徴の組を抽出するために使用されたアルゴリズムと関連付けられるＩＤと、前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組とを検索するように構成される検索手段（３２０）と、
    前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するように構成される処理手段（３３０）と、
    を備える、拡張現実のためのサーバ（３００）。
14. 前記検索手段（３２０）が、ユーザの視野内に投影されるべき仮想画像または仮想物体を検索するように更に構成される請求項１３に記載のサーバ。
15. 前記処理手段（３３０）は、前記カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算するように更に構成される請求項１４に記載のサーバ。
16. 前記少なくとも１つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、ＨＵＤ、すなわち、ヘッドアップディスプレイにおけるカメラである請求項１３〜１５のいずれか一項に記載のサーバ。
17. 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項１３〜１６のいずれか一項に記載のサーバ。
18. 前記処理手段が、前記特徴の組の一部と前記記憶された特徴の組の一部とを比較するように更に構成される請求項１３〜１７のいずれか一項に記載のサーバ。
19. 少なくとも１つのカメラにより撮られた所定位置での実世界環境の画像画像から抽出される一組の特徴を受信するステップ（４１０）と、
    前記位置を受信するステップ（４２０）と、
    前記位置と関連するＩＤを検索するステップであって、前記ＩＤが前記画像から一組の特徴を抽出するために前記画像で使用されたアルゴリズムと関連付けられるステップ（４３０）と、
    前記アルゴリズムを使用して抽出された所定の位置での前記実世界環境における記憶された特徴の組を検索するステップ（４４０）と、
    前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するステップ（４６０）と、
    を備える拡張現実のためのサーバにおける方法。
20. ユーザの視野内に投影されるべき仮想画像または仮想物体を検索する更なるステップを備える請求項１９に記載の方法。
21. 前記カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への前記仮想画像または前記仮想物体の幾何学的に正確な投影を計算する更なるステップを備える請求項２０に記載の方法。
22. 前記少なくとも１つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、ＨＵＤ、すなわち、ヘッドアップディスプレイにおけるカメラである請求項１９〜２１のいずれか一項に記載の方法。
23. 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項１９〜２２のいずれか一項に記載の方法。
24. 決定する前記ステップ（４６０）において、前記特徴の組の一部が前記記憶された特徴の組の一部と比較される請求項１９〜２３のいずれか一項に記載の方法。

Images