JP2013507677A - 実環境視像における仮想情報の表示方法 - Google Patents

実環境視像における仮想情報の表示方法 Download PDF

Info

Publication number
JP2013507677A
JP2013507677A JP2012532629A JP2012532629A JP2013507677A JP 2013507677 A JP2013507677 A JP 2013507677A JP 2012532629 A JP2012532629 A JP 2012532629A JP 2012532629 A JP2012532629 A JP 2012532629A JP 2013507677 A JP2013507677 A JP 2013507677A
Authority
JP
Japan
Prior art keywords
image
virtual object
pose data
server
real environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012532629A
Other languages
English (en)
Other versions
JP5582548B2 (ja
Inventor
マイヤー ペーター
クーン ミハエル
アンゲルマン フランク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metaio GmbH
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of JP2013507677A publication Critical patent/JP2013507677A/ja
Application granted granted Critical
Publication of JP5582548B2 publication Critical patent/JP5582548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

【解決手段】実環境視像における仮想情報の表示方法であって、サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、モバイル機器（３０）を用いて、少なくとも１つの実環境（４０）の画像（５０）を撮影し、前記画像が撮影された前記地理的グローバル座標系に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータ（ＰＷ５０）を提供する工程と、前記モバイル機器のディスプレイ（３１）に前記画像（５０）を表示する工程と、前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータ（ＰＷ１０，ＰＷ５０）に基づいて、前記ディスプレイに示された前記画像（５０）に前記仮想オブジェクト（１０）を位置付ける工程と、前記仮想オブジェクト（１０）を操作する、若しくは前記ディスプレイに表示された前記画像（５０）内の対応する位置に位置付けることにより、別の仮想オブジェクト（１１）を追加する工程と、前記画像（５０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）内の前記画像（５０）の位置付けに一致する第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程と、を具備し、前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認している。
【選択図】図３

Description

本発明は、実環境視像における仮想情報の表示方法に関する。
拡張現実（感）（ＡＲ）とは、バーチャルデータが現実の上に置かれ、それ故に、現実とデータの統合を容易にする技術である。モバイルＡＲシステムの使用は、既に先行技術として知られている。この数年の間に、高いパフォーマンスのモバイル機器（例えば、スマートフォン（登録商標））が、ＡＲアプリケーションに適するように生産されている。その間、これらの機器は、比較的大きなカラーディスプレイ、複数の設置カメラ、優れたプロセッサ、並びに例えば方位センサ及びＧＰＳといったような追加センサを有するようになっている。更に付け足せば、その機器の場所は、無線ネットワークを経由して概算することができる。
過去に、ＡＲを用いたモバイル機器に関して、実行された種々の計画があった。先ず、該機器の場所及び方位を確認するために専用の光学マークが使用された。広いエリアにも使用され、それ故域ＡＲと称されるＡＲに関しては、ＨＭＤｓ（ヘッドマウントディスプレイ。例えば非特許文献３参照。）に関連したオブジェクトの知覚的表示のための手がかりも公開されている。更に近年では、ＧＰＳ及び最新機器の方位センサシステムを利用するアプローチもなされている（例えば非特許文献１、２、４、５参照）。
しかしながら、公開されたそのアプローチは、ＡＲ分野において、他のユーザのシンプルな統合を認めないという欠点を有する。更に付け足せば、ＧＰＳ及びコンパスに基づいた大抵のシステムは、これらの機器が、適切に備え付けられなくてはならなく、かつ大きな誤差の発生があり得るという欠点を有する。
米国特許出願公開第２００９／０１７９８５号明細書（特許文献１）は、実環境の画像における三次元メモ若しくは注釈（“ストリートビュー”）の統合方法を記載している。前記画像中の選択ボックスの手段により、ユーザは、注釈が統合される場所を選択する。その後、該選択ボックスは、画像に関連した注釈の場所を決定するために、三次元モデルに写しだされる。更には、三次元モデル上の映像に関連した場所データが決定され、ユーザによって入力された注釈に統合される。前記注釈は、サーバのデータベースの中に場所データと共に保存され、場所データに一致する実環境の別の画像に統合される。
一般的及び次の場合における“タッギング（〜を付加する）”なる用語は、ユーザによる追加情報によって、現実性を高めることを述べるときに使用される。タッギングに関連して実現されるアプローチに関する限り、特定の場所ポイントにテキストメッセージを作り出すと同時に、マップビュー（例えばグーグルマップ（登録商標））のオブジェクトを設置し、場所ポイントの写真を撮影し、追加コメントと共にこれらの画像を保存することが含まれる。そこには、遠隔の閲覧者及びユーザが、世界におけるインタラクティブなシーンへのＡＲアクセスを得ることは出来ない、という欠点がある。ＡＲ分野のいわゆるスクリーンショット（スクリーン画像）を閲覧することは出来るが、改変することは出来ない。
米国特許出願公開第２００９／０１７９８５号明細書
ＡＲアプリ"Wikitude"，インターネット＜URL:http://www.mobilizy.com/wikitude.php.＞ ナビゲーションアプリ"Enkin"，インターネット＜URL:http://www.Enkin.net.＞ S. Feiner, B. Maclntyre,T. Hollerer, A. Webstar, "A touring machine:Prototyping 3d mobile augmented reality systems for exploring the urban environment",Proceeding of the 1st International Symposium on Wearable Computers,pp74-81,1997. セカイカメラ"Sekai Camera"，インターネット＜URL:http://www.tonichidot.com./product-info.html.＞ レイヤードットコム，インターネット＜URL:http://www.layer.com.＞ 国家画像地図局（ＮＩＭＡ）、米国防総省ＤｏＤ（Department of.Defense）の世界測地系 １９８４，テクニカルレポート ＴＲ ８３５０．２，第３版，２０００年１月． Manolos I.A.Lourakis;Antonis A.Argyros A;"SBA:A Software Package for Generic Sparse Bundle Adjustment",ACM Transactions on Mathematical Software,Vol.36,No.1,Article 2(March 2009).
上記の事情に鑑み、本発明の目的は、実環境視像における仮想情報の表示方法であって、拡張現実を用いて他のユーザにより作り出されたＡＲ画像場面をユーザがインタラクティブな形式で見ることを可能にし、そうする（インタラクティブな形式で見る）時に、高い精度及びユーザの利便性を保証することを可能にする表示方法を提供する。
本発明の第１実施形態によれば、実環境視像における仮想情報の表示方法であって、サーバのデータベースにおいて、地理的グローバル座標系に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定を容認する第１ポーズデータと共に提供する工程と、モバイル機器を用いて、少なくとも１つの実環境の画像を撮影し、前記画像が撮影された前記地理的グローバル座標系に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータを提供する工程と、前記モバイル機器のディスプレイに前記画像を表示する工程と、前記サーバのデータベース内の仮想オブジェクトにアクセスし、前記第１及び第２ポーズデータに基づいて、前記ディスプレイに示された画像に前記仮想オブジェクトを位置付ける工程と、前記仮想オブジェクトを操作する、若しくは前記ディスプレイに表示された前記画像内の対応する位置に位置付けることにより、更に仮想オブジェクトを追加する工程と、前記画像における位置付けに一致する修正第１ポーズデータと共に操作された仮想オブジェクト、若しくは前記サーバの前記データベース内の前記画像の位置付けに一致する第３ポーズデータと共に更なる仮想オブジェクトを提供し、前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認する工程とを具備する表示方法が提供される。このことに関連して、前記画像は、例えば前記第２ポーズデータと共に、前記サーバ上に提供することができる。
本発明の更なる目的によれば、実環境視像における仮想情報の表示方法であって、サーバのデータベースにおいて、地理的グローバル座標系に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトのグローバルポジション及び方位について与えられる決定を容認する第１ポーズデータと共に提供する工程と、データグラス（例えば、光学シースルーグラス若しくはビデオシースルーグラスと称される）を用いて、データグラスが位置付けされた前記地理的グローバル座標系に関連したどのポジションでありどの方位であるかという決定を容認する第２ポーズデータと共に、少なくとも１つの実環境視像を提供する工程と、前記サーバの前記データベース内の仮想オブジェクトにアクセスし、前記第１及び第２ポーズデータに基づいて、前記視像において前記仮想オブジェクトを位置付ける工程と、前記仮想オブジェクトを操作する、若しくは前記視像内の対応する位置に位置付けることにより、更に仮想オブジェクトを追加する工程と、前記視像における位置付けに一致する修正第１ポーズデータと共に操作された仮想オブジェクト、若しくは前記サーバの前記データベースにおける前記視像の位置付けに関連した第３ポーズデータと共に更なる仮想オブジェクトを提供し、前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認している工程とを具備する表示方法が提供される。
本発明の実施形態では、前記モバイル機器若しくは前記データグラスが、前記第２ポーズデータの発生手段を具備又は該手段に連結されている。
例えば、前記ポーズデータには、位置及び方位に関係する３次元（３Ｄ）の値がそれぞれ含まれている。また、実環境の画像方位は、地球の表面とは無関係に定義される。
本発明における別の実施形態においては、サーバ上に記録された位置は、実環境のそれぞれの画像又は実環境のそれぞれの視像で記憶し、それぞれの仮想オブジェクトには、ポーズデータが備わっている。
モバイル機器の位置が、例えばＧＰＳ（ＧＰＳ：グローバル・ポジショニング・システム）センサによって決定される場合、モバイル機器の位置が、相対的に不正確な状態のまま決定されるということが、センサ誤差若しくはＧＰＳに内在する誤差により起こり得る。他の画像や異なった視野角において、このことは、地理的グローバル座標系に関連した画像に、統合された仮想オブジェクトが対応する誤差を伴って位置付けられるという結果になり、そのために他の画像や異なる視野角において、そこで統合された仮想オブジェクトが、現実に対して、対応する移動した状態で示されてしまう。
実環境の画像における、仮想オブジェクトの表示や位置の精度を上げるために、本発明の方法における実施形態では、それぞれの参照視界がカメラによって撮影された地理的グローバル座標系に関連したどの位置及び方位であるかとの結果を容認するポーズデータと共に、実環境の参照視界を伴った参照データベースを提供する工程と、前記参照視界の少なくとも１つに含まれた現実オブジェクトの少なくとも一部分を伴った画像に示されている現実オブジェクトの少なくとも一部分を比較し、少なくとも１つの前記参照視像のポーズデータを伴った画像の第２ポーズデータをマッチングする工程と、前記マッチングの結果である、少なくとも１つの参照視像のポーズデータの少なくとも一部分に基づいて、前記第２ポーズデータの少なくとも一部分を修正する工程とを具備する。
更に、別の実施形態としては、前記少なくとも１つの参照視像のポーズデータを伴った画像の前記第２ポーズデータのマッチングの結果である、該画像に位置付けられた仮想オブジェクトの第１ポーズデータの少なくとも一部分を修正する工程を具備する。
本発明の更なる展開及び実施形態は、特許請求の範囲の従属請求項に記載の事項から理解される。
本発明に係る方法を実行するために使用される、システム装置の第１実施形態の概略構成を示す平面図である。 本発明に係る方法を実行するために使用される、システム装置の第２実施形態の概要を示す平面図である。 本発明に係る方法を実行するためのシステムの一実施形態におけるデータの構成の例を示す概略図である。 本発明の実施形態における共有座標系の外観を示す概略図である。 本発明の実施形態における方法の典型的な工程を示す図である。 本発明のもう一つの実施形態による方法の、特に画像ポーズを改良するために任意の手段によって補足される方法の典型的な工程を示す図である。 ポーズの改善がもたらされること無く仮想オブジェクトが配置される実環境の典型的な場面を示す図である。 ポーズの改善がもたらされた後に、仮想オブジェクトが配置される実環境の典型的な場面を示す図である。 仮想オブジェクトが配置された実世界の典型的なマップビューを示す図である。 図７Ａと同じ場面を示す典型的な透視図である。
以下に、図面を参照しながら、本発明をより詳細に説明する。
図１Ａは、本発明に係る方法を実行するために使用される、システム装置の第１実施形態の概略構成を示す平面図である。
図１Ａにおいて、ユーザは、ディスプレイ機器として、システム装置２０の一部であるディスプレイ２１を具備するヘッドマウントディスプレイ（“ヘッドマウントディスプレイ”。以下、ＨＭＤと略す。）システムを身に着けている。システム装置２０の少なくとも一部分は、１つ以上の互いに接続される構成要素を具備するモバイル機器としてみなされるが、詳細は後述する。構成要素は、ワイヤ接続及び／又はワイヤレスの方法により、互いに接続される。更に、例えばコンピュータ２３のような構成要素のいくつかは、固定した構成要素として備え付けられ、それゆえ、ユーザと共に移動しないことも有り得る。例えば、ディスプレイ２１は、コンピュータ２３により与えられた仮想情報が、既知の方法で統合されているいわゆる光学シースルーデータグラス（現実がデータグラスの半透明な構造を通して見ることの出来る“光学シースルーディスプレイ”）の様式又はいわゆるビデオシースルーデータグラス（現実が、ユーザの頭部の前面に装着しているスクリーン上に表示される“ビデオシースルーディスプレイ”）の様式で、一般的に知られているデータグラスである。ユーザはそのとき、ディスプレイ２１を通して若しくはディスプレイ２１上で見られる、視角若しくは開口角２６の範囲内における現実世界の視像７０において、仮想情報１０に統合され拡張させることの出来る実環境４０のオブジェクト（現実世界に関連した、例えばＰＯＩオブジェクトと略して言及される、いわゆるポイントオブインタレスト（Point of interest）オブジェクトと称されるもの）を見る。仮想オブジェクト１０は、ユーザが、仮想オブジェクト１０がまるで実環境４０における概位に配置されているかのように知覚するように統合される。この仮想オブジェクト１０の位置はまた、地球座標系のような、地理的グローバル座標系に関連したグローバルポジションとして保存されるが、それについては後述する。この方法においては、システム装置２０は、本発明に係る方法に使用することの出来る、一般的に知られている拡張現実システムの第１実施形態を構成する。
ディスプレイ２１は、回転センサ、ＧＰＳセンサ又は超音波センサのような増設センサ２４と、それに備え付けられた光学追跡又は１つ以上の画像（“視像（views）”と称される）を撮影するためのカメラ２２とを有する。ディスプレイ２１は、半透明にすることが出来、或いはカメラ２２のカメラ画像によ現実の画像を写すようにしても良い。半透明なディスプレイ２１の場合には、ユーザの目２５とディスプレイ２１の間で較正（キャリブレーション）が必要である。シースルー較正と称されるこの較正は、当業者に知られている。該較正は有利に、カメラ２２に対して、目のポーズを同時に決定することができる。カメラは、他のユーザが利用しやすいようにするために、視像を撮影若しくは録画するために使用され得るが、そのことについては後述する。通常におけるポーズは、参照座標系に関連したオブジェクトの位置若しくは方位であると解される。ポーズを決定することに関しては、先行技術として文章化され、且つ専門家に知られた種々な方法がある。ディスプレイ２１若しくはユーザの体上のどこか、又はコンピュータ２３においても有利に、実世界４０における地理的ポジション決定システム装置２０（例えば、経度、緯度及び高度に応じて）を可能にするための、例えばＧＰＳセンサ（ＧＰＳ：全地球測位システム）のような位置センサもまたインストールされる。該システム装置のいずれの箇所におけるポーズ決定も、原則として、その結果をユーザの位置及び視像方向で提供することが可能である。
図１Ｂは、例えば最新の携帯電話（“スマートフォン（登録商標）”と称される）においてよく見られる、別の典型的なシステム装置３０を示す。例えば、ディスプレイ機器３１（例えば、ディスプレイスクリーン若しくはディスプレイの形をしたもの）、コンピュータ３３、センサ３４及びカメラ３２は、例えば携帯電話の共通する筐体の中に適合したシステムユニットを構成する。システム装置３０の少なくとも一部分は、言及された１つ以上の構成要素を具備するモバイル機器とみなすことができる。構成要素は、共通の筐体に適合されるか、（一部を）分配され、ワイヤ接続及び／又はワイヤレスの方法により互いに接続することができる。
実環境４０の視像は、視角の中で開口角３６をもって、カメラ３２により捉えられた実環境４０の画像５０を表示しているディスプレイ３１により提供される。拡張現実アプリケーションのために、カメラの画像５０が、ディスプレイ３１に表示され、図１Ａに同様に開示されているように、現実に関連した特定の位置を有する追加仮想情報１０（例えば、現実世界に関連するＰＯＩオブジェクト）によって拡張される。このように、システム装置３０は、一般的に知られている拡張現実（ＡＲ）システムの別の実施形態を構成する。
図１Ａに関して記載されているものと類似した較正は、他のユーザに同様（に利用しやすいようにする）な利便性を与えるために、カメラ３２について仮想オブジェクト１０のポーズを決定するために使用されるが、それについては後述する。ポーズの決定のために、種々の方法が先行技術として文書化され、且つ専門家に知られている。モバイル機器上（特にシステム装置３０がユニット形式である場合）若しくはユーザの体上のいずれかの場所、又はコンピュータ３３にもまた有利に、実世界４０において、システム装置３０の地理的位置の決定（例えば経度及び緯度による）を容認するために、例えばＧＰＳセンサ３４のような位置センサが添え付けられる。ある状況下では、例えばポーズがＧＰＳ及び方位センサによってのみ決定されるとき、ポーズ決定のためにカメラを必要としない。基本的には、結果がユーザの位置及び視界方向で提供される限り、システム装置のいずれの部分でのポーズ決定も、適正である。
基本的に、本発明は、ＡＲの全形態に有効に使用される。例えば、その表示が、半透明ＨＭＤを伴ったいわゆる光学シースルーモード或いはカメラとディスプレイを伴ったビデオシースルーモードにより実行されるかどうかは関連性がない。
本発明は基本的に、立体表示に関連してもまた使用することができ、ビデオシースルーアプローチは有利に、目（視覚）を通じて１つのビデオストリームにそれぞれ録画するための２つのカメラを使用する。いずれの状況においても、仮想情報の項目は、それぞれの目に個別に判断され、及びサーバに一組として保存することができる。
後述するように異なる部分的な工程の処理は基本的に、ネットワーク経由で種々のコンピュータに分配することができる。このように、クライアント／サーバ・アーキテクチャ或いはそれ以上のクライアントベースの解決すること（回答、ソリューション）が、可能である。また、クライアント若しくはサーバは、例えば数個のＣＰＵ若しくは特殊化されたハードウェアコンポーネント、例えば通常知られたＦＰＧＡ、ＡＳＩＣ、ＧＰＵ又はＤＳＰといった数個のコンピュータユニットを具備しても良い。
ＡＲが実現されるには、カメラのポーズ（位置及び方位）に広がりが必要である。このことは、種々の異なった方法で実現される。単にＧＰＳ及び電子コンパス（例えば、いくつかの最新の携帯電話に設置されている）と一体となった方位センサを使用することにより、現実世界におけるポーズを決定することが可能である。しかしながらその場合、ポーズの不確かさは、極めて高い。従って、例えば、光初期化及びトラッキング又はＧＰＳ及び方位センサと一体となった光学的方法の組み合わせなど他の方法を使用することもまた可能である。ＷＬＡＮの位置決めもまた使うことができ、又はＲＦＩＤ（“無線周波数識別”のためのマーカ若しくはチップ）若しくは光学マーカが、位置決め工程をサポートできる。前述したように、クライアント／サーバベースのアプローチは、ここにおいても可能である。特に、クライアントは、光トラッキングに必要である位置特定情報をサーバから要求できる。このような情報は、例えばポーズ情報及び深度情報を伴った周辺環境の参照画像である。これに関連して、本発明の追加の実施形態では、特に、サーバ上の視像のポーズを改良すること、及びこの情報に基づいて、同様に世界内に設置された仮想オブジェクトのポーズも改良することを可能にする。
それに加えて、本発明はまた、モニター、ＨＭＤ或いはヘッドアップディスプレイを使用することで、車両、航空機或いは船に設置、又は搭載することが可能である。
基本的に、例えばポイントオブインタレスト（“ＰＯＩ”）のような仮想オブジェクトは、非常に多くの異なる形の情報について設定され得る。その例としては、次の様なものがある：ＧＰＳ情報を用いた場所の画像を表示することが可能である。インターネットから情報を自動的に抽出することも可能である。例えば、これは、アドレスや評価のページを伴った会社若しくはレストランのウェブサイトであったりする。ユーザは、特定の位置に、テキスト、画像若しくは三次元オブジェクトを蓄積することができ、他者にそれを利用させることもできる。例えばウィキペディア（登録商標）のような情報ページは、地理情報を検索でき、且つＰＯＩとしてアクセス可能である。ＰＯＩは、検索及びモバイル機器のユーザのブラウジング動作から自動的に生成することができる。例えば、地下鉄輸送機関若しくはバス停留所、病院、警察署、内科医師、不動産広告又はフィットネスクラブのような、他の興味事項の位置を示すことが可能である。
このような情報の項目は、現実世界４０の中の特定位置における仮想オブジェクト１０として、画像５０若しくは視像７０（図１Ａ及び図１Ｂと比較）にユーザにより蓄積され、それぞれの場所に対応した位置と共に、他者がアクセスできるようにする。アクセスできた現実世界の視像若しくは画像において、他のユーザは次に例えば、その位置に一致するように統合されたこの情報を操作することができ、更に仮想オブジェクトを追加することもできる。このことは、より詳細に後述する。
図１Ｃは、先ず第１に、本発明の実施形態に対応するように採用されたデータ構造を示しており、それについては次に簡単に説明する。
視像というのは、具体的には視像（図１Ａにおける視像７０）、画像（図１Ｂにおける画像５０）又は画像シーケンス（フィルム若しくは動画）のような、現実世界で捉えられた視像である。視像（画像５０／視像７０）に関連付けられるのは、カメラのパラメータであり、それはカメラ２２、３２の光学的特性（例えば、開口角、フォーカス移動、又は画像歪曲に関連する）を示し、画像５０又は視像７０にそれぞれ関連付けられる。それ以外に、視像はまた、地球に関連した画像５０若しくは視像７０の位置及び方向を示す視像に関連付けられたポーズデータを有する。最終的には、例えば経度及び緯度により、現実世界における地理的グローバルポジションの決定を可能にするために、地理的グローバル座標系は地球に関連付けられる。
設置されたモデルは、図（図１Ａ及び図１Ｂにおけるオブジェクト１０）で示される仮想オブジェクトであり、それもまたポーズデータを有する。該設置されたモデルは、例えばモデルデータベースのモデル例を表示する、すなわちそれを参照することができる。もしこのことがそうであるならば、それぞれの仮想モデル（オブジェクト）１０が現実世界４０内に、画像５０又は視像７０のどちらに設置されるのが有利かによって、蓄積される。このことは、ポーズデータを改良するのに使用されるが、それについての詳細は後述する。シーン（景観）は、画像５０、視像７０と、０〜ｎの設置されたモデル（オブジェクト）１０とのコンビネーションで構成され、作成日が随意に含まれる。データ構造の全て若しくは部分は、更にメタデータにリンクすることができる。例えば、創作者、日付、画像／視像の頻度、評価及びキーワード（の情報）は、蓄積することが可能である。
図１Ｂに係る実施形態に関連する本発明の態様は、次に詳細に説明するが、画像５０は、カメラ３２によって撮影され、統合された仮想オブジェクト１０と共にディスプレイ３１上の閲覧者（ビューア）により、閲覧される。しかしながら、これに関するステートメント（記述）は、専門家によって図１Ａに係るＨＭＤを用いた実施形態に関して、容易に類似した記述に置換えることができる。
図２は、本発明の実施形態による参加型座標系の概観を示す。一方では、地球座標系２００（この実施形態においては、地理的グローバル座標系により表示される）が、使用され、接続要素を構成している。地球の表面は、数表示２０１で図２中に表示される。例えば地球座標系２００のような、地理的グローバル座標系を定義するには、種々の基準が、当業者に知られている（例えば、ＷＧＳ８４。ＷＧＳ８４については、国家画像地図局（ＮＩＭＡ）、米国防総省ＤｏＤ（Department of.Defense）の世界測地系 １９８４、テクニカルレポート ＴＲ ８３５０．２， 第３版， ２０００年１月（非特許文献６）参照。）。更には、カメラ座標系は、表示された仮想オブジェクト１０及び画像５０の間の接続を提供する。専門家に知られた変換手段によって、地球座標系２００におけるカメラ３２のポーズ及び画像５０から、画像５０に関連したオブジェクト１０のポーズＰ５０＿１０（“画像におけるポーズモデル”）を計算することが可能である。グローバル画像ポーズＰＷ５０（“世界におけるポーズ画像”）は、例えば、ＧＰＳ及び／又は方位センサを経由して計算される。次に、ポーズＰＷ５０及びＰ５０＿１０から、仮想オブジェクト１０のグローバルポーズＰＷ１０（“世界におけるポーズモデル”）が、計算される。
似たような方法で、第２画像６０に関連したオブジェクト１０のポーズＰ６０＿１０（“画像２におけるポーズモデル”）を、別の地球座標系２００におけるグローバルポーズＰＷ６０と共に第２画像６０のポーズから計算することが可能である。グローバル画像ポーズＰＷ６０（“世界におけるポーズ画像２”）もまた、例えば、ＧＰＳ及び／又は方位センサを経由して計算される。
このように、第１画像（画像５０）に仮想オブジェクト１０を配置し、その近傍に位置する地球上の位置において、第２画像（画像６０）に同じ仮想オブジェクトを異なる視野角からの位置に表示させることが可能である。例えば、オブジェクト１０は、ポーズＰＷ５０と共に第１画像５０の中に、第１ユーザにより配置される。モバイル機器と共に第２ユーザが、画像６０による視像を発生させる時に、画像６０は、開口角若しくは視野角の中でポーズＰＷ１０のグローバルポジションを含む現実世界の一部、をカバーする（に及ぶ）ならば、第１ユーザによって配置された仮想オブジェクト１０は、ポーズＰＷ１０に対応する同じグローバルポジションにおいて、画像６０の中に自動的に統合される。
次に、本発明に係る実施形態を、図３及び図４のフローチャート（作業工程経路図）により、他の図を参照しながら、詳細に説明する。
図３は、本発明の実施形態における方法の典型的なコースを示す。第１ステップ１．０において、世界に関連したデータが生成される。これらは、例えばインターネットから抽出されるか、又はカメラ（図１Ｂ）若しくはカメラと一体となったＨＭＤ（図１Ａ）を使用する第１ユーザにより生成される。最終的に、ステップ１．０におけるユーザは、世界における位置及び方位（ポーズ）が確定される（ステップ２．０）ことに関連した視像（画像若しくは捉えられたビュー）を撮影する。この確定は、例えばＧＰＳ及びコンパスを使用することで行うことができる。発生したデータの不確かさに関する情報を、随意に追加記録することもできる。
視像（画像若しくはキャプチャされたビュー）が存在するとき、ユーザは有利に、モバイル機器上で、視像の中に仮想オブジェクトを直接配置することができる（ステップ３．０）。有利に、該オブジェクトは、カメラ座標系において配置及び操作される。このような場合、視像のグローバルポーズ及びカメラ座標系におけるオブジェクトのポーズ、現実世界（例えば、座標系２００に関連する）における仮想オブジェクトのグローバルポーズから、ステップ４．０において、計算される。これは、クライアント１若しくはサーバ２上で実行することができる。
クライアントとは、サーバのサービスを使用するために、サーバ上の別のプログラムとの接触を確立する、機器上のプログラムである。内在するクライアント−サーバモデルは、コンピュータネットワークにおいて異なるコンピュータにタスクが分配されることを容認する。クライアントは、１つ以上の特定のタスクそれ自体を決定するのではなく、サーバによってタスクを実行又はサービスを提供するという趣旨で、サーバから、関連データを受信している。基本的に、このシステムの工程の多くは、サーバ上若しくはクライアント上のどちらか一方で、実行される。高いコンピュータ能力を伴うクライアントでは、例えばできる限り多くの計算をクライアントにさせてサーバを楽にさせるという、利点がある。
ステップ５．０において、ステップ４．０からの情報のこれらの項目は、図１Ｃに関する利点として記載されているように、次にサーバ２のデータベースの中に記録される。ステップ６．０において、同じユーザ若しくは別のクライアントのユーザは次に、実環境の画像を撮影し（若しくはＨＭＤの手段によって該環境の特定部分を見）、次にサーバ２から見られた実環境の位置に関連して、ステップ５．０に記録されたデータを読み込む。拡張現実を用いた位置関連情報及び地球空間機能の特色を有利に備えているデータベースを読み込んで表示することは、技術的に知られている。ユーザは、こうして今や前もって記録された若しくは新しい視野角から前もって記録された情報を見、変化（すでに存在している及び／又は新しく追加された仮想情報を操作）を達成する能力があり、その変化は、順にサーバ２に記録される。ここで、ユーザは存在しなくてもよいが、オフィスで勤務中、例えば、インターネットへ接続可能なクライアントにおいて、前もって且つ有利に記録された現実上のウィンドウとしての視像を使用することができる。
図１及び２の例においては、ユーザはこのようにして、仮想オブジェクト１０のグローバルポジション及び方位についての決定を容認するポーズデータ（ポーズＰＷ１０）と共に、地理的グローバル座標系２００に関連したグローバルポジション及び方位を有するサーバ２のデータベース３上に、仮想オブジェクト１０を供給若しくは発生させる。このユーザ若しくは別のユーザは、画像５０が影された地理的グローバル座標系２００に関して位置及び方位についての決定を容認するポーズデータ（ポーズＰＷ５０）と共に、モバイル機器３０を用いて実環境４０の少なくとも１つの画像５０を撮影する。画像５０は、該モバイル機器のディスプレイ３１に表示される。サーバのデータベース３内の仮想オブジェクト１０にアクセスが行われ、且つ、次に仮想オブジェクト１０は、ポーズＰＷ１０及びＰＷ５０のポーズデータに基づいて、ディスプレイに表示された画像５０に位置付けられる。仮想オブジェクト１０は次に、ディスプレイ上に表示される（例えば、取り替えられた）画像５０における位置付け（図１Ｂにおける矢印ＭＰ）に対応することによって操作されるか、又はディスプレイ上に表示された画像５０における位置付けに対応することによって追加された、別の仮想オブジェクト１１があるかもしれない。
このような画像５０における位置付けに準じた修正ポーズデータ（修正ポーズＰＷ１０）と共に操作された仮想オブジェクト１０若しくは画像５０における位置付けに準じたそれのポーズデータと一体となった更なる仮想オブジェクト１１は、座標系２００に関連して操作されたオブジェクト１０若しくは更なる仮想オブジェクト１１のグローバルポジション及び方位についての決定を、それぞれ容認する修正ポーズデータＰＷ１０及び新しい仮想オブジェクト１１のポーズデータを伴って、サーバ２のデータベース３に記録される。
サーバに到達できないということ、それにより新しいシーンの記録ができないということが、ある場合において起こり得る。この事象において、サーバが再び利用できるまで、システムが、情報をバッファするように、対処及び準備することが有利に可能である。１つの実施形態では、サーバへのネットワーク接続が不具合の場合には、サーバに記録されるべきデータが、モバイル機器にバッファされ、ネットワーク接続が再び利用できる時に、サーバに伝送される。
別の実施形態において、ユーザは、近接若しくは地図上、又は拡張現実を用いてオーダーされたリストの中で、ユーザの選択のために利用できるようにされた実環境（例えば、ユーザの周囲若しくはローカルエリア）の領域におけるシーンの一群を検索することができる。
別の実施形態では、画像若しくは仮想情報は、ユニークに識別する特性（例えばユニークな名前等）を有し、クライアント上若しくはモバイル機器上（これは、仮想モデルデータ若しくは視像であろう）に既に存在している画像若しくは仮想情報は、サーバからはもはやダウンロードされず、ローカルデータストレージから読み込まれ（ロードされ）る。
図４は、特に画像ポーズを改良するための任意の手段によって補完される、本発明の別の実施形態における方法の典型的な工程を示す。該方法は、ステップ１．０〜図３のステップ６．０から成る。更に、図４のステップ７．０及び８．０において、視像（画像若しくは捉えられたビュー）のポーズは、例えば光学的方法によって、引き続き改良され、どの仮想情報がどの視像手段によって設置されたかとの情報を有利に記録するために、情報のポーズもまた修正される。そうでなければ、視像のポーズは、サーバ２の参照データベース４からクライアント１に、この視像、若しくは近似のポーズと一体となった視像のための、光学的トラッキング参照情報を提供することにより、クライアント１上に視像を作成した直後に改善することができる。そうでなければ、視像の精度もまた、設置された仮想オブジェクトのポーズ（ステップ４．０）を計算する前に達成され、正しい方法で、視像の精度を直接記録することができる。しかしながら、後続のアプローチの利点は、参照データがもはや全ての場所で使用できなくても良く、それゆえ、参照データが使用可能になるとすぐに、そのような視像の修正もまた実行されるということである。
言うまでもなく、特に多くの視像が（記憶）場所で使用可能になるとき、参照データとして使用される他の視像を使用することがまた、可能になる。バンドル調整と称される、この方法は、例えばManolos I.A.Lourakis;Antonis A.Argyros A;“SBA:A Software Package for Generic Sparse Bundle Adjustment”,ACM Transactions on Mathematical Software,Vol.36,No.1,Article 2(March 2009)（非特許文献７）.に開示されているように、当業者に知られている。このような場合、点対応の３次元位置、視像のポーズ及び有利に本来備わっているカメラのパラメータもまた、最適化される。このように、本発明におけるアプローチはまた、このようなデータを一般的に使用するために、世界の固有のモデルを作り出す可能性をも提供する。例えば、深さの認識を補足するためのモデルをマスキングするためであったり、リアルタイムにおける光学トラッキングのためであったりする。
図５は、これまでのところ行われてきたポーズの改善無しで、仮想オブジェクトをその中に設置した実環境の典型的なシーンを示す。図５は、修正前の、起こり得るシチュエーションを示す。モバイル機器３０から見ているように、仮想オブジェクト１０（例えば、レストランのレビュー）は、現実オブジェクト４１，４２（例えば、レストランの建物を表示する）に関連した機器３０のディスプレイ３１に表示されている画像の中に設置される。誤った若しくは不正確なＧＰＳデータに基づいて、画像及びオブジェクト１０の両方は、誤って若しくは不正確に決定されたカメラのポーズデータＰ３０−２に対応する様態において、誤った世界座標と一緒に記録される。このことは、オブジェクト１０−２が対応する不正確な方法で記録されるということを導く。この捉えられた画像において、そのようであることは問題にならない。しかしながら、例えば地図上若しくは別の画像の中で見られたとき、仮想オブジェクト１０は、その誤りが明らかになる。
もし、画像が、本物（真正）若しくは正確なカメラのポーズデータＰ３０−１と共に作り出されたとしたら、仮想オブジェクト１０−１の表示によって示されるように、仮想オブジェクト１０は、画像内の位置に表示されるだろうし、仮想オブジェクト１０を作り出したユーザによりこの方法で見られるであろう。しかしながら、誤って記録された仮想オブジェクト１０−２は、誤りのあるカメラポーズデータＰ３０−２が、本物のカメラポーズデータＰ３０−１から移された範囲に応じて、仮想オブジェクト１０の在るべき位置から移された別の画像に示される。このように、モバイル機器３０の画像に誤って記憶された仮想オブジェクト１０−２の表示は、前の画像における作り手であるユーザによる本来の位置付けに一致しない。
実環境の画像における仮想オブジェクトの表示及びそれらの位置の正確さを改善するために、本発明に係る方法の実施形態は、以下の工程を備える：それぞれの参照視像がカメラによって撮影された、地理的グローバル座標系２００に関連した位置及び方位についての決定を容認するポーズデータと共に、実環境の参照視像を伴った参照データベース４が備えられる。次に、画像に示されている現実オブジェクトの少なくとも一部分が、参照視像の少なくとも１つに含まれる現実オブジェクトの少なくとも一部分と比較され、及び少なくとも１つの参照視像のポーズデータと画像のポーズデータのマッチングが達成される。その後、画像のポーズデータの少なくとも一部分は、マッチングの結果としての、各参照視像のポーズデータの少なくとも一部分に基づいて修正される。
また、更なる実施形態では、画像の中に位置付けられた仮想オブジェクトのポーズデータの少なくとも一部分は、各参照視像のポーズデータを伴った画像のポーズデータのマッチング結果として、修正される。
図６は、ポーズの改良が行われた後、仮想オブジェクト１０−１が設置された、図５の実環境のシーンに類似した実環境の典型的なシーンを示す。図６は、一方で画像における画像特徴の認識のメカニズムを示し、もう一方では、画像ポーズ及びオブジェクトポーズの対応する修正を示す。特に、画像特徴４３（例えば現実オブジェクト４１及び４２の顕著な特徴）は、参照データベース４の参照画像の対応する特性と比較し、マッチングされる（画像特徴の“マッチング”として知られる）。
ここで、仮想オブジェクト１０は、他の画像（正しいポーズを持っている画像）では正しく表示される、または配置補正を行うことができる。表示配置修正とは、仮想オブジェクトを透視法で配置することにおいて、ユーザが、地面の上に配置されたオブジェクトの高さについて全く誤った判断をしてしまうことを指摘することである。記憶された現実の部分においてオーバーラップする２つの画像の方法によって、地面レベルを抽出したり、そのような方法で地面上に設置されたオブジェクトを移動させたりすることが可能であるが、画像において、それらオブジェクトが最初に配置された画像の位置と殆ど同じ位置にとどまっているように見える。
図７Ａは、仮想オブジェクトが配置されている現実世界の典型的なマップビューを示すのに対し、図７Ｂは、図７Ａにおける同じシーンの典型的な透視図を示す。特に、図７Ａ及び７Ｂは、カメラポーズのユーザを補助する決定について図示することに役立っている。例えば、モバイル機器が、コンパスが備わっていない状態で使用される時に、ビューイング方向の大きなマーカの見積りを得るのに有効である。最終的に、図７Ｂに示されているように、ユーザは、有効な方法で画像５０を撮影し、現実オブジェクト４１に関連して仮想オブジェクト１０を配置することができる。その後、ユーザは、地図８０上に配置されたオブジェクト１０若しくは図７Ａに示されたように世界の仮想視像８１の位置を再び示すように指示される。画像５０のＧＰＳ位置と地図８０上におけるオブジェクト１０のオブジェクト位置の関係に基づいて、世界における画像５０の方位（方向−ヘッディング）を計算又は修正することが可能である。モバイル機器が、ＧＰＳも搭載していない場合、そのプロセスはまた、２つ若しくは１つの仮想オブジェクト及び現在位置の指示によって、実行される。更にまた、図７Ａに例示されているように、最後の画像の“視像領域”（画像セクションのインジケータ８１）をユーザに示すことが可能であり、修正のために、ユーザが、地図における“視像領域”を対話形式（相互作用方式？）で動かすこと及び再設定（“視像領域”を新しい方向に向けることができる？）することができる。ここで、“視像領域”の開口角は、内在するカメラパラメータに従って示される。
この実施形態によれば、特に、本発明の方法は、モバイル機器のディスプレイ上にマップビュー（マップビュー８０）を提供する工程、及び撮影する画像のビューイング方向をユーザが選択するための選択肢を提供する工程を包含する。このようにして、個別の瞬間において、ユーザがカメラを伴って見るビューイング方向を地図の中で選択することが可能である。
本発明の別の実施形態によれば、本発明の方法は、実環境の画像の中及びモバイル機器のディスプレイ上に提供されたマップビューの中に、仮想オブジェクトを設置する工程と、画像の決定された位置及び提供されたマップビューにおける仮想オブジェクトの位置から画像の方位を決定する工程とを更に具備する。このように、地図上、更にはユーザの方位についての決定を容認する実環境の透視画像の中に、仮想オブジェクトを配置することが可能である。
遠くから（例えば、インターネットを経由して、サーバに通じているクライアント上で）、仮想オブジェクトと共に拡張された実環境の画像を見たり編集したりすることを、他のユーザにも許可するためには、本発明の実施形態に、次に示す更なる工程を具備する本発明の方法が提供される。
サーバのデータベース上に、少なくとも１つの実環境の画像がそのポーズデータと共に提供される。その後、サーバ上の実環境の画像に対してアクセスされクライアント機器上に該画像を表示するために、該画像がクライアント機器に伝送される。ユーザは、仮想オブジェクトを操作するか、又はクライアント機器上に示された実環境の画像の中で、対応する位置付けを行うことにより、別の仮想オブジェクトを追加する。サクライアント機器上に表示された画像における位置付けによる修正ポーズデータと共に、操作された仮想オブジェクト、若しくはクライアント機器上に表示された画像における位置付けによる（新しい）ポーズデータと共に、更なる仮想オブジェクトはそれぞれ、サーバのデータベース上で、その修正ポーズデータ若しくは新しいポーズデータと共に、クライアント機器上に表示された画像における操作された仮想オブジェクト、又は更なる仮想オブジェクトのグローバルポジション及び方位についての決定をそれぞれ容認している。このように、クライアント機器で“リモートアクセス”を伴って、画像における拡張現実シーンは、追加的な仮想情報と共に修正若しくは拡張され、元のサーバに書き込まれる。操作された仮想情報若しくは新しい仮想情報の新たに記録されたグローバルポジションのために、この位置（ポジション）は順に、サーバへのアクセスを通じて、他のユーザにより検索され、グローバルポジションに対応した拡張現実シーンの中で見ることができる。
これに基づいて、本発明の方法における別の実施形態では、サーバ上の実環境の画像にアクセスし、その画像を第２クライアント機器上で見るために、第２クライアント機器に伝送する工程と、第２クライアント機器上における画像の視像の中に表示された実環境の中に、グローバルポジションがある仮想オブジェクトを表示している第２クライアント機器上の画像の視像と共に、サーバ上に提供された仮想オブジェクトにアクセスする工程を更に備えている。このように、別のクライアント機器上で、閲覧者（ビューア）は、それらの仮想オブジェクトが、対応した位置（即ち、そのクライアント機器上における画像の視像の中に表示された実環境の中にあるグローバルポジション）において他のユーザにより、より以前にすでに位置付けされていたということが表示された風景を閲覧することが可能である。言い換えると、ビューアは、視像の可視フィールドにおいて、他のユーザにより既に前もって配置されたそれらの仮想オブジェクトを、ビューアの視野角から見ている。
１ クライアント
２ サーバ
３ データベース
１０ 仮想オブジェクト
３０ モバイル機器
４０ 実環境
４１ 現実オブジェクト
５０ 画像
８０ 地図（マップビュー）
２００ グローバル座標系

Claims (16)

  1. 実環境視像における仮想情報の表示方法であって、
    サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、
    モバイル機器（３０）を用いて、少なくとも１つの実環境（４０）の画像（５０）を撮影し、前記画像が撮影された前記地理的グローバル座標系に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータ（ＰＷ５０）を提供する工程と、
    前記モバイル機器のディスプレイ（３１）に前記画像（５０）を表示する工程と、
    前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータ（ＰＷ１０，ＰＷ５０）に基づいて、前記ディスプレイに示された前記画像（５０）に前記仮想オブジェクト（１０）を位置付ける工程と、
    前記仮想オブジェクト（１０）を操作する、若しくは前記ディスプレイに表示された前記画像（５０）内の対応する位置に位置付けることにより、別の仮想オブジェクト（１１）を追加する工程と、
    前記画像（５０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）内の前記画像（５０）の位置付けに一致する第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程と、を具備し、
    前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認していることを特徴とする実環境視像における仮想情報の表示方法。
  2. 前記画像（５０）は、前記第２ポーズデータ（ＰＷ５０）と共に前記サーバ上に提供される請求項１に記載の方法。
  3. 実環境視像における仮想情報の表示方法であって、
    サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトのグローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、
    データグラス（２０）を用いて、そのデータグラスが位置付けされた前記地理的グローバル座標系（２００）に関連したどのポジションでありどの方位であるかという決定を容認する第２ポーズデータと共に、実環境（４０）の少なくとも１つの視像（７０）を提供する工程と、
    前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータに基づいて、前記視像の中に前記仮想オブジェクト（１０）を位置付けする工程と、
    前記仮想オブジェクト（１０）を操作する、若しくは前記視像内の対応する位置に位置付けることにより、更なる仮想オブジェクト（１１）を追加する工程と、
    前記視像（７０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）における前記視像（７０）の位置付けに関連した第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程とを具備し、
    前記修正第１ポーズデータ及び第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認していることを特徴とする実環境視像における仮想情報の表示方法。
  4. 前記モバイル機器（３０）若しくは前記データグラス（２０）は、前記第２ポーズデータを発生させるための手段（２４，３４）を具備する、又は該手段に連結されている請求項１乃至３のいずれか１項に記載の方法。
  5. 前記ポーズデータ（ＰＷ１０，ＰＷ５０）は、位置及び方位について、それぞれ三次元的な値を含む請求項１乃至４のいずれか１項に記載の方法。
  6. 前記実環境の前記画像（５０）の方位は、地球表面（２０１）とは無関係に定義される請求項１乃至５のいずれか１項に記載の方法。
  7. 前記サーバ（２）の記録場所は、実環境のそれぞれの画像（５０）の中、若しくは実環境のそれぞれの視像（７０）の中に記録し、それぞれの仮想オブジェクトの仮想オブジェクト（１０）は、ポーズデータが設けられている請求項１乃至６のいずれか１項に記載の方法。
  8. カメラによって撮影された、前記地理的グローバル座標系（２００）に関する位置及び方向について与えられる決定を容認するポーズデータと共に、実環境の参照視像を伴って、参照データベース（４）を提供する工程と、
    少なくとも１つの前記参照視像に含まれる現実オブジェクトの少なくとも一部分と共に前記画像に示される、少なくとも１の現実オブジェクト（４１，４２）を比較し、前記少なくとも１つの参照視像のポーズデータと、前記画像の第２ポーズデータ（ＰＷ５０）とのマッチング工程と、
    前記整合の結果として、前記少なくとも１つの参照視像のポーズデータの少なくとも一部分に基づいて、前記第２ポーズデータ（ＰＷ５０）の少なくとも一部分を修正する工程とを更に具備する請求項１乃至７のいずれか１項に記載の方法。
  9. 更に、前記画像に位置付けられる前記仮想オブジェクト（１０）の第１ポーズデータ（ＰＷ１０）の少なくとも一部分が、前記少なくとも１つの参照視像のポーズデータと、前記第２ポーズデータとのマッチングの結果として、修正される請求項８に記載の方法。
  10. 前記サーバ（２）のデータベース（３）において、前記第２ポーズデータ（ＰＷ５０）と共に、前記実環境の少なくとも１つの画像（５０）を提供する工程と、
    前記サーバ（２）上の前記実環境の画像（５０）にアクセスし、前記画像を表示するためのクライアント装置（１）に伝送する工程と、
    前記仮想オブジェクト（１０）を操作、若しくは前記クライアント装置上に表示される前記実環境の画像内の対応する位置に位置付けることにより、更なる仮想オブジェクト（１１）を追加する工程と、
    前記クライアント装置に表示された前記画像における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に、操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）において、前記クライアント装置に表示された前記画像の位置付けに関連した第３ポーズデータと共に、更なる前記仮想オブジェクト（１１）を提供する工程とを更に具備し、
    前記修正第１ポーズデータ及び第３ポーズデータは、前記操作された若しくは更なる仮想オブジェクトの全地球位置及び方向について与えられる決定をそれぞれ容認している請求項１乃至９のいずれか１項に記載の方法。
  11. 前記サーバ（２）上の前記実環境の画像（５０）にアクセスし、前記画像を見るための第２クライアント装置に前記画像を伝送する工程と、
    前記第２クライアント装置の前記画像の前記視像に示されている前記実環境の中にある前記グローバルポジションの仮想オブジェクトを表示している前記第２クライアント装置の前記画像の前記視像と共にサーバに備え付けられる仮想オブジェクト（１０）にアクセスする工程とを更に具備する請求項１０に記載の方法。
  12. 前記モバイル機器のディスプレイにマップビュー（８０）を提供する工程と、前記実環境の少なくとも１つの画像を撮影している視像方向を選択するために、ユーザに対して選択を提供する工程とを更に具備する請求項１乃至１１のいずれか１項に記載の方法。
  13. 前記実環境の画像の中及び前記モバイル機器のディスプレイに備え付けられるマップビュー（８０）の中に、少なくとも１つの仮想オブジェクト（１０）を認識する工程と、
    前記画像の決定された位置及び備え付けられた前記マップビュー（８０）における前記少なくとも１つの仮想オブジェクト（１０）の位置から前記実環境の画像（５０）の方向を決定する工程とを具備する請求項１乃至１２のいずれか１項に記載の方法。
  14. 前記サーバ（２）に対するネットワーク接続の不具合が起こった場合、サーバ上に記憶されるためのデータは、前記モバイル機器上にバッファされ、前記ネットワーク接続が再び使用可能になるとすぐに、前記サーバに伝送される請求項１乃至１３のいずれか１項に記載の方法。
  15. 前記ユーザは、実環境の領域における、シーンの収束を検索でき、該シーンは、近接に若しくは地図上にソートされ、又は拡張現実を用いたリストの選考のために、ユーザに都合のいいように作り出される請求項１乃至１４のいずれか１項に記載の方法。
  16. 前記画像若しくは前記仮想情報は、一意的に同定特性を有し、且つ既にクライアント若しくは前記モバイル機器上に存在する画像若しくは仮想情報は、もはや前記サーバからダウンロードされなく、ローカルデータストレージから読み込まれる請求項１乃至１５のいずれか１項に記載の方法。
JP2012532629A 2009-10-12 2010-10-11 実環境視像における仮想情報の表示方法 Active JP5582548B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009049073A DE102009049073A1 (de) 2009-10-12 2009-10-12 Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE102009049073.6 2009-10-12
PCT/EP2010/065207 WO2011045276A1 (de) 2009-10-12 2010-10-11 Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung

Publications (2)

Publication Number Publication Date
JP2013507677A true JP2013507677A (ja) 2013-03-04
JP5582548B2 JP5582548B2 (ja) 2014-09-03

Family

ID=43365284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532629A Active JP5582548B2 (ja) 2009-10-12 2010-10-11 実環境視像における仮想情報の表示方法

Country Status (6)

Country Link
US (6) US9001154B2 (ja)
EP (2) EP3410405A1 (ja)
JP (1) JP5582548B2 (ja)
CN (2) CN105046752B (ja)
DE (1) DE102009049073A1 (ja)
WO (1) WO2011045276A1 (ja)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
JP5709906B2 (ja) 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8884950B1 (en) * 2011-07-29 2014-11-11 Google Inc. Pose data via user interaction
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
DE102011122206A1 (de) 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US20140002580A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US11266919B2 (en) 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
US9922446B2 (en) 2012-12-21 2018-03-20 Apple Inc. Method for representing virtual information in a real environment
FR3000242A1 (fr) 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
FR3000241A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels.
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
EP2960867A4 (en) 2013-02-21 2016-08-03 Fujitsu Ltd DISPLAY DEVICE, DISPLAY PROCEDURE, DISPLAY PROGRAM AND POSITION SETTING SYSTEM
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US9928652B2 (en) * 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US20140267776A1 (en) * 2013-03-15 2014-09-18 MJK Holding. LLC Tracking system using image recognition
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
FR3007860A1 (fr) * 2013-06-27 2015-01-02 France Telecom Procede d'interaction entre un objet numerique, representatif d'au moins un objet reel ou virtuel localise dans un perimetre geographique distant, et un dispositif de pointage local
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
DE102013021137B4 (de) 2013-12-13 2022-01-27 Audi Ag Verfahren zum Betreiben einer Datenschnittstelle eines Kraftwagens und Kraftwagen
KR20150101686A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 방송수신장치 및 그 제어방법
WO2015144209A1 (en) 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
WO2015160828A1 (en) * 2014-04-15 2015-10-22 Huntington Ingalls Incorporated System and method for augmented reality display of dynamic environment information
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
KR101583286B1 (ko) * 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
CN106415671B (zh) * 2014-06-03 2020-05-19 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
US10915754B2 (en) * 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
CN105338479B (zh) 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
WO2015191346A1 (en) 2014-06-09 2015-12-17 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US10504294B2 (en) * 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
DE102014008852B4 (de) 2014-06-14 2024-07-04 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
DE102014009608A1 (de) * 2014-06-27 2015-12-31 Audi Ag Betrieb einer AR-Brille im Kraftfahrzeug
WO2016011149A1 (en) * 2014-07-16 2016-01-21 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
US9727583B2 (en) * 2014-07-25 2017-08-08 Rovio Entertainment Ltd Interactive physical display
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
DE102015201290A1 (de) * 2015-01-26 2016-07-28 Prüftechnik Dieter Busch AG Positionieren zweier Körper mittels eines Ausrichtsystems mit einer Datenbrille
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10083534B2 (en) 2016-07-01 2018-09-25 Phillips 66 Company Process for rendering and presenting underground utilities for efficient identification, marking and inspection
WO2018027206A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10373342B1 (en) * 2017-01-10 2019-08-06 Lucasfilm Entertainment Company Ltd. Content generation in an immersive environment
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10776529B2 (en) 2017-02-22 2020-09-15 Middle Chart, LLC Method and apparatus for enhanced automated wireless orienteering
WO2020068177A1 (en) 2018-09-26 2020-04-02 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US10831945B2 (en) 2017-02-22 2020-11-10 Middle Chart, LLC Apparatus for operation of connected infrastructure
US10949579B2 (en) 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
US10872179B2 (en) 2017-02-22 2020-12-22 Middle Chart, LLC Method and apparatus for automated site augmentation
US10620084B2 (en) 2017-02-22 2020-04-14 Middle Chart, LLC System for hierarchical actions based upon monitored building conditions
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US10628617B1 (en) 2017-02-22 2020-04-21 Middle Chart, LLC Method and apparatus for wireless determination of position and orientation of a smart device
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US11900023B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Agent supportable device for pointing towards an item of interest
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
US10762251B2 (en) 2017-02-22 2020-09-01 Middle Chart, LLC System for conducting a service call with orienteering
DE102017207894A1 (de) * 2017-05-10 2018-11-15 Krones Aktiengesellschaft Verfahren und Computersystem zur Planung einer Anlage im Bereich der Getränkeverarbeitungsindustrie
CN108932051B (zh) * 2017-05-24 2022-12-16 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
FR3067842B1 (fr) * 2017-06-19 2020-09-25 SOCIéTé BIC Procede d'application de texture en realite augmentee, systeme et kits correspondants
US11127212B1 (en) 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
WO2019055679A1 (en) 2017-09-13 2019-03-21 Lahood Edward Rashid METHOD, APPARATUS, AND COMPUTER-READABLE MEDIA FOR DISPLAYING INCREASED REALITY INFORMATION
US10102659B1 (en) * 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
WO2019102245A1 (en) * 2017-11-21 2019-05-31 Volvo Truck Corporation Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
EP3495936A1 (de) 2017-12-07 2019-06-12 Siemens Aktiengesellschaft Sichere brillenartige vorrichtung und verfahren
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
CN108245172B (zh) * 2018-01-10 2020-04-07 山东大学 一种不受位置约束的人体姿态识别方法
US10989816B2 (en) * 2018-02-09 2021-04-27 Matterport, Inc. Selecting exterior images of a structure based on capture positions of indoor images associated with the structure
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
CN108510525B (zh) * 2018-03-30 2019-03-12 百度在线网络技术（北京）有限公司 模板追踪方法、装置、增强现实系统及存储介质
CN110415293B (zh) * 2018-04-26 2023-05-23 腾讯科技（深圳）有限公司 交互处理方法、装置、系统和计算机设备
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CN109126121B (zh) * 2018-06-01 2022-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
US20200090409A1 (en) * 2018-09-14 2020-03-19 Streem, Inc. Location persistent augmented reality object and annotation placement
US11017605B2 (en) * 2018-10-22 2021-05-25 Unity IPR ApS Method and system for addressing and segmenting portions of the real world for visual digital authoring in a mixed reality environment
CN109636464A (zh) * 2018-12-11 2019-04-16 深圳市房多多网络科技有限公司 基于ar技术的智能找房方法及系统
CN109814710B (zh) * 2018-12-27 2022-05-13 青岛小鸟看看科技有限公司 数据处理方法、装置及虚拟现实设备
KR102232045B1 (ko) 2019-01-08 2021-03-25 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
US11024096B2 (en) 2019-04-29 2021-06-01 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
DE102019213740A1 (de) 2019-09-10 2021-03-11 Audi Ag Verfahren zum Betreiben eines am Kopf tragbaren Anzeigegeräts in einem Kraftfahrzeug, Steuereinrichtung, und am Kopf tragbares Anzeigegerät
CN112561952A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 用于为目标设置可呈现的虚拟对象的方法和系统
CN111179435B (zh) 2019-12-24 2024-02-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111710047A (zh) * 2020-06-05 2020-09-25 北京有竹居网络技术有限公司 一种信息展示方法、装置和电子设备
CN111707280A (zh) * 2020-06-24 2020-09-25 深圳市元征科技股份有限公司 2d地图软件ar导航方法、装置、设备及存储介质
CN112712559B (zh) * 2020-12-28 2021-11-30 长安大学 基于NED坐标系向量旋转的SfM点云校正方法
US20230040573A1 (en) * 2021-03-24 2023-02-09 AbdurRahman Bin Shahzad Bhatti Data systems for wearable augmented reality apparatus
DE102021117904A1 (de) 2021-07-12 2023-01-12 Valeo Comfort And Driving Assistance Videostreamen von einem Fahrzeug zu einem entfernten Virtuelle-Realität-System
DE102021131060B3 (de) 2021-11-26 2022-07-28 Sick Ag System und Verfahren mit einem System
DE102022100840A1 (de) * 2022-01-14 2023-07-20 Sick Ag Augmented-reality-system zum unterrichten eines anwenders einer applikation
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
DE102023001842A1 (de) 2023-05-08 2023-07-27 Mercedes-Benz Group AG Verfahren zur Darstellung von lmmobilienangeboten in einem Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108873A (ja) * 2000-09-25 2002-04-12 Internatl Business Mach Corp <Ibm> 空間情報利用システム、情報取得装置、およびサーバシステム
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US20020120728A1 (en) * 2000-12-22 2002-08-29 Jason Braatz Method and apparatus for network-enablement of devices using device intelligence and network architecture
US6822648B2 (en) * 2001-04-17 2004-11-23 Information Decision Technologies, Llc Method for occlusion of movable objects and people in augmented reality scenes
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
GB2404247B (en) * 2003-07-22 2005-07-20 Hitachi Int Electric Inc Object tracing method and object tracking apparatus
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
JP2005196678A (ja) * 2004-01-09 2005-07-21 Neucore Technol Inc テンプレートマッチング方法および対象画像領域抽出装置
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7374103B2 (en) * 2004-08-03 2008-05-20 Siemens Corporate Research, Inc. Object localization
US7756300B2 (en) * 2005-02-25 2010-07-13 The Invention Science Fund I, Llc Image mapping to provide visual geographic path
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
CN101273368A (zh) * 2005-08-29 2008-09-24 埃韦里克斯技术股份有限公司 经由移动图像识别的交互
DE102005041628B4 (de) * 2005-09-01 2012-12-27 Siemens Ag Vorrichtung und Verfahren zur Verarbeitung von Daten unterschiedlicher Modalitäten
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
JP4950550B2 (ja) * 2006-04-21 2012-06-13 株式会社東芝 パターン合わせずれ計測方法およびプログラム
US8026929B2 (en) * 2006-06-26 2011-09-27 University Of Southern California Seamlessly overlaying 2D images in 3D model
US20090231485A1 (en) * 2006-09-06 2009-09-17 Bernd Steinke Mobile Terminal Device, Dongle and External Display Device Having an Enhanced Video Display Interface
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
FR2913128B1 (fr) * 2007-02-23 2009-08-28 Total Immersion Sa Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle
CN100493180C (zh) * 2007-04-17 2009-05-27 天栢宽带网络科技（上海）有限公司 一种基于数字机顶盒的虚拟现实游戏装置和方法
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
CN100487568C (zh) * 2007-05-29 2009-05-13 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
US8763058B2 (en) * 2007-06-28 2014-06-24 Apple Inc. Selective data downloading and presentation based on user interaction
EP2009868B1 (en) * 2007-06-29 2016-09-07 Alcatel Lucent Method and system for improving the appearance of a person on the RTP stream coming from a media terminal
CN101127621A (zh) * 2007-09-26 2008-02-20 许立新 虚拟互联网跨媒体系统
US20090167760A1 (en) * 2007-12-27 2009-07-02 Nokia Corporation Triangle Mesh Based Image Descriptor
US8072448B2 (en) 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US20090231248A1 (en) * 2008-03-14 2009-09-17 Palm, Inc. Apparatus and methods for configuring the color of a mobile computing device cover
US8537174B2 (en) * 2009-10-06 2013-09-17 Palm, Inc. Techniques for adaptive brightness control of a display
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US9088791B2 (en) * 2009-11-17 2015-07-21 Eidgenossische Technische Hochschule Zurich Transparent autostereoscopic image display apparatus and method
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
WO2014048497A1 (en) * 2012-09-28 2014-04-03 Metaio Gmbh Method of image processing for an augmented reality application
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
EP3335098A1 (en) * 2016-02-22 2018-06-20 Google LLC Separate time-warping for a scene and an object for display of virtual reality content
WO2019087513A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20230022269A (ko) * 2019-10-15 2023-02-14 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108873A (ja) * 2000-09-25 2002-04-12 Internatl Business Mach Corp <Ibm> 空間情報利用システム、情報取得装置、およびサーバシステム
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAN GUO 外4名: "APPLICATION OF AUGMENTED REALITY GIS IN ARCHITECTURE", THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND以下備考, vol. V37 P.B5, JPN5012017252, 2008, pages 331 - 336, XP002616413, ISSN: 0002828064 *

Also Published As

Publication number Publication date
DE102009049073A1 (de) 2011-04-21
US10074215B2 (en) 2018-09-11
US11880951B2 (en) 2024-01-23
CN105046752B (zh) 2018-11-09
EP3410405A1 (de) 2018-12-05
US9001154B2 (en) 2015-04-07
US11410391B2 (en) 2022-08-09
EP2489013A1 (de) 2012-08-22
CN102598064B (zh) 2015-08-26
US20200160605A1 (en) 2020-05-21
US20120218263A1 (en) 2012-08-30
CN102598064A (zh) 2012-07-18
US20220375123A1 (en) 2022-11-24
WO2011045276A1 (de) 2011-04-21
US20190005734A1 (en) 2019-01-03
US10453267B2 (en) 2019-10-22
US20150154803A1 (en) 2015-06-04
JP5582548B2 (ja) 2014-09-03
US20240127561A1 (en) 2024-04-18
CN105046752A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
JP5582548B2 (ja) 実環境視像における仮想情報の表示方法
US10473465B2 (en) System and method for creating, storing and utilizing images of a geographical location
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
JP4236372B2 (ja) 空間情報利用システムおよびサーバシステム
JP5383930B2 (ja) 端末装置の視野に含まれている客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体
US7272501B2 (en) System and method for automatically collecting images of objects at geographic locations and displaying same in online directories
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
US20070070069A1 (en) System and method for enhanced situation awareness and visualization of environments
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
WO2011118282A1 (ja) 世界座標系データベースを利用したサーバ及び端末
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP2015084229A (ja) カメラ姿勢決定方法、及び実環境物体認識方法
JP5780417B2 (ja) 車載システム
US20220390250A1 (en) User Equipment and Control Method Thereof
JP5709261B2 (ja) 情報端末、情報提供システム及び情報提供方法
US11751005B2 (en) Providing grave information using augmented reality
CN112689114B (zh) 对车辆的目标位置进行确定的方法、装置、设备和介质
KR20110042440A (ko) 강화 이미지 제공 시스템 및 방법
TWM439180U (en) Moving object tracking system
JP2004341742A (ja) 施設情報表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131224

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140129

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140709

R150 Certificate of patent or registration of utility model

Ref document number: 5582548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250