JP2014526174A - モバイル拡張現実システム - Google Patents

モバイル拡張現実システム Download PDF

Info

Publication number
JP2014526174A
JP2014526174A JP2014519221A JP2014519221A JP2014526174A JP 2014526174 A JP2014526174 A JP 2014526174A JP 2014519221 A JP2014519221 A JP 2014519221A JP 2014519221 A JP2014519221 A JP 2014519221A JP 2014526174 A JP2014526174 A JP 2014526174A
Authority
JP
Japan
Prior art keywords
data
poi
live view
sensor
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014519221A
Other languages
English (en)
Other versions
JP6022562B2 (ja
Inventor
ウー,イー
タカクス,ゲイブリエル
チョウバッシ,マハ エル
ヴィー. コジンツェフ,イゴール
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US13/175,608 priority Critical
Priority to US13/175,608 priority patent/US9600933B2/en
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Priority to PCT/US2012/045205 priority patent/WO2013006534A1/en
Publication of JP2014526174A publication Critical patent/JP2014526174A/ja
Application granted granted Critical
Publication of JP6022562B2 publication Critical patent/JP6022562B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本発明の実施形態は、モバイルコンピューティング装置上に表示される関連データで拡張された画像データを提供するシステム、装置及び方法に関する。本発明の実施形態は、他の物体の中から或る物体を特定する情報で拡張されたライブビューを表示する。本発明の実施形態は、ライブビュー内の物体の具体的な位置を取得するために、例えば3Dポイントクラウドデータやその物体に関する画像データ及び位置データなど、他の関連データを利用し得る。本発明の実施形態は更に、モバイルコンピューティング装置のイメージセンサの位置及び向きと3次元的に一致する拡張データとともにライブビューを表示し得る。

Description

本発明の実施形態は、概してモバイルコンピューティング装置に関し、より具体的には画像装置によってキャプチャされたライブビュー(生映像)を関連コンテンツで拡張(オーグメント)することに関する。

モバイル(移動式)コンピューティング装置は、典型的に、カメラと、位置センサ及び方位センサと、ますます強力になる計算リソースとを含んでいる。モバイルコンピューティング装置はまた、高帯域幅の接続を構築して、クラウドコンピューティング基盤及びサービスプロバイダを利用することができる。

モバイルコンピューティング装置に含まれるディスプレイは、装置ユーザがリアルタイム画像データ(例えば、写真、ビデオ)をキャプチャすることを可能にするライブ・ファインダとして使用されることがあるが、大抵のアプリケーションは、表示されるライブビュー(すなわち、ファインダ)内の対象物に関連する追加情報をユーザに提供することのためには、モバイルコンピューティング装置に利用可能な計算リソースを利用していない。ライブビューを増強すなわち拡張することを試みる限られた数のアプリケーションも、例えばユーザと或る概略位置との間の距離などの基本的な情報、又はユーザの周りについての基本的な情報(例えば、ライブビュー内の企業の業種)を表示することに限られており、これは、ユーザの位置に関して、そしてライブビュー内にキャプチャされるユーザの周りの描写に関して不正確である。

例えば、キャプチャされたライブビュー内で特定の企業の位置を特定することをユーザが望んでいるが、その企業が幾つかの他の企業とともに或る建物に入居している場合、現行のソリューションは、その建物を特定するデータでライブビューを拡張することはできても、その企業の位置についてのもっと正確な情報を伝えることはできない。

モバイル拡張現実システムを開示する。

一実施形態に係る方法は、興味ポイント(POI)を指定するデータを受信し、イメージセンサによってキャプチャされたライブビュー内に含まれる、前記POIを含む構造物の表面を検出し、前記POIに対する前記イメージセンサの位置及び向きを、前記ライブビュー内に含まれる前記構造物の前記検出された表面と、第2のセンサからのデータと、に少なくとも部分的に基づいて決定し、前記イメージセンサが前記ライブビューをキャプチャする間、前記イメージセンサの前記位置及び前記向きを追跡することを含み得る。この方法は更に、前記ライブビューを拡張するための前記POIに関連付けられた画像データを含む表示データを生成することを含み、該画像データは、前記構造物の前記検出された表面の前記POIの位置で前記ライブビュー内に表示されるとき、前記イメージセンサの前記位置及び前記向きと3次元的に一致する。

以下の記載は、本発明の実施形態の実現例として与えられる説明図を有する図面の説明を含んでいる。図面は、限定としてではなく、例として理解されるべきである。ここでは、1つ以上の“実施形態”への言及は、本発明の少なくとも1つの実現例に含まれる機能、構造又は特徴を説明するものとして理解されるものである。故に、ここに現れる“一実施形態において”又は“他の一実施形態において”などの言い回しは、本発明の様々な実施形態及び実現例を説明するものであり、必ずしも同一の実施形態について言及しているわけではない。また、それらは必ずしも相互に排他的なものでもない。
本発明の一実施形態を示すフロー図である。 本発明の一実施形態に従って画像データを拡張するために使用される3Dモデルを示す図である。 本発明の一実施形態に従って拡張されるライブビューシーンを示す図である。 本発明の一実施形態に従って3Dクラウドデータに基づいて生成される複数の投影マスクを例示する図である。 本発明の一実施形態に従った拡張されたライブビューを例示する図である。 本発明の一実施形態に従った複数の興味ポイントに関する投影マスク及び拡張されたライブビューを例示する図である。 本発明の一実施形態に従った複数の興味ポイントに関する投影マスク及び拡張されたライブビューを例示する図である。 本発明の一実施形態を利用し得るシステムを示すブロック図である。 以下は、後述する実施形態の一部又は全てを描写し得る図面の説明、及びここに提示される発明概念のその他の可能性ある実施形態又は実現例の議論を含む、特定の細部及び実現例の説明である。本発明の実施形態の概説が以下にて提供され、それに続いて、図面を参照しての更に詳細な説明が行われる。

本発明の実施形態は、モバイルコンピューティング装置上に表示される関連データで拡張された画像データを提供するシステム、装置及び方法に関する。現行のソリューションは3Dデータを処理して限られたリアルタイム物体認識を実行するが、そのような情報は有用な情報をユーザに伝えるのに不十分なことがある。例えば、キャプチャされたライブビュー内で特定の企業の位置を特定することをユーザが望んでいるが、その企業が幾つかの他の企業とともに或る建物に入居している場合、3Dポイントクラウド(点群)データのみを処理することは、その企業の位置がどこかをユーザに教えるのに十分な情報を生成しない。換言すれば、現行のソリューションは、このような状況において、建物を特定するデータでライブビューを拡張することはできても、企業の位置についてのもっと正確な情報を伝えることはできない。

本発明の実施形態は、例えば、共通の建物の外観内に含まれる或る1つの店舗正面口(又は複数の店舗正面口)の範囲を見い出すなど、3Dポイントクラウドデータ内の他の物体の中から或る物体を特定する情報でライブビューを拡張することによって、上述の限界を解消する。本発明の実施形態は、ライブビュー内の物体の具体的な位置を取得するために、例えばその物体に関する画像データ及び位置データなど、他の関連データを利用し得る。

本発明の実施形態は更に、モバイルコンピューティング装置のイメージセンサの位置及び向きと3次元的に一致する拡張データとともにライブビューを表示し得る。本発明の実施形態は、ライブビュー画像データ及び既存の3D画像データを処理することによって、ライブビューのアライメントを決定し得る。イメージセンサの位置及び方位の決定は更に、ホストのモバイルコンピューティング装置のその他のセンサからのセンサデータに基づいてもよい。

後述するシナリオ例は、複数の企業又は店舗を含んだ建物内の興味ポイントに注目したものである。理解されるように、本発明の実施形態は、例えば、壁内に含まれる一組の輪郭によって画定される物体、本棚内に含まれる書物の区画、或る彫刻の特定の造形部など、或る物体内に含まれるが3Dポイントクラウドデータのみからでは区別することができない如何なる興味ポイントにも使用され得る。

図1は、本発明の一実施形態のフロー図である。ここに例示するフロー図は、様々な処理動作のシーケンスの例を与えるものである。特定のシーケンス又は順序で示されるが、特に断らない限り、動作順序は変更可能である。故に、示される実現例は単に例として理解されるべきであり、示されるプロセスは異なる順序で実行されることができ、また、幾つかの動作が並行して実行されてもよい。更に、本発明の様々な実施形態においては1つ以上の動作が省略されることができ、故に、全ての動作が全ての実現形態で必要とされるわけではない。他のプロセスフローも可能である。

プロセスフロー100において、ステップ110にて、物体に関する3Dクラウドデータのデータベースが処理される。このデータベースは、ライダー、ステレオ撮像、ストラクチャードライト(構造化光)、飛行時間カメラ、又は物体の3Dモデルを生成するための入力として使用されるその他の技術、によって取得された3Dポイントクラウドデータを含み得る。理解されるように、物体の3Dモデルは、その物体の様々な輪郭を表現する複数のセグメント(断片)を含むことになる。例えば、単純な立方体形状を有する物体の3Dモデルは、複数の2D平面の配置を含むことになり、より複雑な表面変化を有する物体は、2D平面と3Dセグメントとの双方を含み得る。

故に、物体の3Dデータを処理することは、物体セグメント(例えば、2D平面)を抽出することと、ポイントクラウドデータの組を結合することと、ポイントクラウドデータを位置データと関連付けること(後述する)と、ノイズ除去とを含み得る。この3Dデータの処理は、異なるプロセスによって異なる順序で実行されてもよい。

一部の実施形態において、3Dデータを処理することは更に、予め格納された様々な視野角(ビューアングル)からの物体又はシーンの複数の2D画像を、複数の異なる視野角及び観察位置(ビューポジション)からの対応する3Dポイントクラウドデータセットとともに処理することを含み得る。これらのポイントクラウドデータセットは重なっていてもよい。重なっている領域を特定するため、それら複数セットのポイントクラウドデータは局所的な近隣に限定され、関連するポイントクラウド情報が融合され得る。

一実施形態において、3Dポイントクラウドデータセットは、実際の3Dポイントの一組のノイズのある測定結果としてモデル化される(ノイズ源は測定地点の不確かさ、その方位、センサノイズなどを含み得る)。そして、ノイズ統計の評価と、重なっている領域内のオリジナル(元の)3Dポイントセットとが取得され得る。これらのノイズ統計は、後述のように使用されることになる投影マスクを抽出するために、全てのポイントクラウドデータセットに関する一層良好な3Dポイントの評価を得るのに利用され得る。理解されるように、重なり領域内の3Dポイントが最も正確な評価を有し、故に、これらのポイントに、それらが属する投影マスクを評価する際に優先度を与えてもよい(例えば、これらのポイントに大き目の重みを割り当てて、投影マスクパラメータの評価に加重最小二乗法が使用され得る)。

一実施形態において、3Dポイントクラウドデータに関連する確かさ/信頼性情報が受信される。この追加情報は、3Dポイント測定の信頼性を推測するために3Dポイントクラウドデータとともに活用され得る。一実施形態において、より正確に3Dポイントクラウドデータから物体を特定するために、色情報が用いられ得る。例えば、同じ平面内にあり、ピクセル距離において近く、且つ同様の色を有する(すなわち、予め格納された画像内の同じ色のピクセルに対応する)3Dポイントは、同一のポテンシャル物体(可能性ある物体)に指定される傾向にある。

ステップ120にて、モバイルコンピューティング装置のイメージセンサによってキャプチャされるライブビュー内で、リアルタイム物体検出が実行され得る。上述のように、3Dポイントクラウドデータから抽出された物体セグメントは、予め格納された画像データの大まかな3Dモデルを形成する。3Dモデルからのこれら物体セグメントを使用して、キャプチャされたライブビュー内でその物体を特定し得る。一実施形態において、物体を特定することの助けとなるよう、例えばモバイルコンピューティング装置の位置を特定するデータなどの関連データも使用され得る。モバイルコンピューティング装置は、システムコンポーネント及びアプリケーション(例えば、グローバルポジショニングシステム(GPS)センサ、セルラー若しくはWiFiネットワーク接続、方位センサ)を利用して、当該装置の位置を絞り込んでもよい。

ステップ130にて、モバイルコンピューティング装置のイメージセンサの、物体に対する位置及び向きが決定される。これらの位置及び向きは、キャプチャされた物体のライブビューに基づいて決定され得る。すなわち、ライブビュー内でどの物体セグメントが見えているかを特定し、それら物体セグメントを物体の3Dモデルに対してマッチングすることによって、モバイルコンピューティング装置のイメージセンサが物体に対してどこに位置しているかを決定することができる。立方体形状の物体を眺める例に戻るに、その立方体状物体の北向きの側面がライブビュー内で視認できる場合、イメージセンサが、ライブビュー内で物体の1つの側面のみを視認できるのに十分な近さの物体の近傍で、立方体状物体の北に位置していることを決定することができる。一実施形態において、関連付けられる上述の位置データはまた、イメージセンサの位置及び視野角を決定することを助けるためにも使用される。

ステップ140にて、物体に含まれる興味ポイント用の投影マスクが物体の3Dモデルから生成される。興味ポイントは例えば、名称、カテゴリー、主題などによって特定され得る。上述のように、興味ポイントを目立たせるように物体を拡張することにおいて特に難しいのは、物体がその他にもポテンシャル興味ポイント(可能性ある興味ポイント)を含んでいるときである。故に、複数のポテンシャル興味ポイントが、物体の同一3Dモデル内に含まれることになり、また、3Dモデルの同一3Dセグメント内、あるいは更には3Dモデルの同一2D平面内に含まれることもある。

一実施形態において、イメージセンサの位置及び向きの情報が、近似ビュー(例えば、基準モデル)の近くのビューを有する興味ポイントの近似位置の、関連する予め格納された画像データとともに、物体の視覚的な特徴を抽出するために使用され得る。これら視覚的な特徴が3Dモデルの適切なセグメントにマッピングされ、物体の3Dモデル内のその興味ポイント用の投影マスクが形成される。故に、各投影マスクは、3Dモデルのセグメントのサブセット(部分集合)を含むことになり、あるいは状況により、後述のように、3Dモデルの1つのセグメントの一部を含むことになる。

そしてステップ150にて、画像データが投影マスク内に含められるよう、且つ画像データがイメージセンサの位置及び向きと3次元的に一致して表示されるよう、ライブビューが画像データで拡張される。故に、拡張アプリケーション又はモジュールは、興味ポイント又は興味物体に関連する生成された投影マスク内にデータを投影し得る。換言すれば、ユーザは、モバイルコンピューティング装置を用いて画像を取得し、それを3Dモデルにおける正確な眺めに合わせることができる。画像又はライブビューは、例えばテキスト、画像若しくはビデオ、又は何らかの3D構造などの追加情報を正確な眺めで付加して、リアルタイムに拡張され得る。

上述の実施形態プロセスを実行するモバイルクライアントプラットフォームは、カメラ、位置センサ及び方位センサ、並びに無線通信能力を含み得る。一実施形態において、モバイルクライアント装置は、サーバからの処理されたデータにネットワークを介してリアルタイムにアクセスする。ユーザがコスト又はその他の理由によりネットワークに接続することができない場合には、小さいデータベースをモバイルクライアント装置に予めロードすることができる。

故に、本発明の実施形態は、オフラインでのデータベース処理、オンラインでの物体検出、及びモバイルコンピューティング装置追跡を実行し、オフラインデータ及びオンラインデータを有意義な拡張ユーザ表示へと結合してもよい。

図2は、本発明の一実施形態に従って画像データを拡張するために使用される3Dモデルを示す図である。図2は、本発明の実施形態によって処理され得る画像データ、3Dポイントクラウドデータ及び投影マスクを例示している。3Dポイントクラウド(点群)250は、物体205の予め格納された3D画像200に対応している。クラウド250内の各3Dポイントは、画像200のピクセルの実際の3D位置を表す。画像200内の一部のピクセル(例えば、空の中のピクセル)は、対応する3Dポイントを有しないことがある。

一部の実施形態において、3Dポイントクラウドデータ250は、後続処理に一層適した座標系に変換される。例えば、3Dポイントクラウドデータ250が“緯度、経度及び高度”のフォーマットである場合、このフォーマットを、座標値が小さくなるよう(すなわち、地球の中心を原点とする系における座標と比較して)、例えば東、北、高さ(east,north,up;ENU)などの座標系へと変換することがより有用となり得る。この変換はまた、3Dポイントクラウドデータ250の鉛直方向及び水平方向を更に良好に伝え得る。

一部の実施形態において、3Dポイントクラウドデータ250は、より大きい3Dポイントクラウドデータセットを計算の高速化のために部分サンプリングしたものから得られる。これは、予め格納された画像又は対応する3Dポイントクラウドをダウンサンプリングすることによって達成され得る。例えば、200×500の画像の場合、対応する3Dポイントクラウドデータのサイズは150,000ものポイントで構成され得る。この画像を水平方向及び鉛直方向の双方の次元でレート10でサンプリングすることにより、3Dポイントの数は1,500ポイントまで減少され得る。

3Dポイントクラウドデータ250から物体205の輪郭を決定するため、本発明の実施形態は、3Dポイントクラウドデータを任意にサンプリングするのではなく、ランダムサンプルコンセンサス(RANSAC)手法を採用してもよく、RANSACにおけるサンプリング処理をガイドするために、予め格納された画像200及び3Dポイントクラウドデータ250の双方を組み合わせてもよい。この例において、物体205は立方体形状であるので、その3Dモデルは、2D平面セグメント290、291及び292を含む限られた数の2D平面からなる。

物体205内のユーザ指定された興味ポイントを特定する使用例において、何れの2D平面セグメントがその興味ポイントを含んでいるかが決定され得る。この例において、ユーザ指定された興味ポイントは2D平面セグメント290及び291内に見えている。ユーザ選択された興味ポイントのその他の情報を処理して、図示のような投影マスク299を生成するための興味ポイントの境界が決定される。

図3は、本発明の一実施形態に従って拡張されるライブビューシーンである。この例において、ディスプレイ310は、モバイルコンピューティング装置300に含まれたイメージセンサ(例えば、カメラ)を介したユーザの周囲のリアルタイムビュー320を含んでいる。この装置は、例えばラップトップコンピュータ、タブレットコンピュータ、スマートフォン、手持ち式コンピューティング装置、車両コンピューティングシステムなど、如何なる可搬式コンピューティングシステムであってもよい。

理解されるように、リアルタイムビュー320を表示することにより、ディスプレイ310は、画像データ(例えば、写真、ビデオ)を表示するファインダとして機能して、ユーザが装置300のイメージセンサの標的を観察することを可能にし得る。この例において、リアルタイムビュー320は建物330、340、350、360及び370のビューを含んでおり、これら建物のビューの一部は樹木380及び385によって部分的に遮られている。

本発明の実施形態は、モバイル装置300でのリアルタイムの使用のために、利用可能な3Dモデル及び線愛的な拡張情報を処理する。例えば、本発明の実施形態は、所在地住所、3Dモデル、3Dポイントクラウド、奥行画像、及び放射測定(カラー)画像を融合して、各建物内のポテンシャル興味ポイントの真の範囲を決定し得る。一部の実施形態はこの情報をオフラインで前処理するので、時間、計算の複雑さ、又は記憶に厳しい制約は存在しない(すなわち、理解されるように、建物検出は計算的に高価な演算であり、典型的にビデオフレームレートで実行されることができない)。

また、上述の処理は、装置300がビュー320内の建物の検出(すなわち、認識)及び追跡を行って建物に対する装置300のイメージセンサの位置及び向きを推定することを可能にする。一実施形態において、GPS、又は例えばWiFi及び3Gなどのその他の位置特定サービスが、方位センサ(例えば、コンパス、加速度計)と結合されて、イメージセンサの位置及び向きを見い出すために使用される。理解されるように、システムは位置及び向きの制約を満たすデータベース画像のみに対してマッチングを行えばよいので、このセンサ情報は建物検出を簡易化し得る。建物検出を行うため、装置300の入力ビデオフレームからの視覚的な特徴が抽出され、これが、候補データベース画像からの前処理された視覚的な特徴と比較され得る。

建物検出及び装置追跡の処理は計算のために異なる時間長さを要し得るので、本発明の実施形態は、マルチスレッド化されたフレームワークを用いてこれらのタスクを連係させてもよい。例えば、装置300の位置及び向きを決定するための追跡スレッドはリアルタイムで行われる一方で、建物検出スレッドは厳しい時間制約なしで行われてもよい。マルチスレッド化されたフレームワークはまた、建物検出スレッドからの出力と追跡スレッドからの出力とを連係させ得る。一実施形態において、確かさ測定を利用して、建物検出処理からの出力の信頼性が検査され、新たな結果が利用可能なとき、それらが以前の結果より確かである場合にディスプレイ310が更新される。確かさ値が追跡スレッドからの古くなった確かさ値より大きい場合、建物検出スレッドからの出力を用いて、装置300の決定された姿勢が更新される。

故に、ライブビュー320を拡張することに先立ち、本発明の実施形態は、上述の建物検出・装置追跡処理を実行し得る。この処理は、モバイルコンピューティング装置上、モバイルコンピューティング装置に動作的に結合された別のコンピューティング装置若しくはサーバ上、又はこれらの組み合わせで行われ得る。同様に、建物検出・装置追跡処理で使用されるデータは、モバイルコンピューティング装置上、モバイルコンピューティング装置に動作的に結合された別のコンピューティング装置若しくはサーバ上、又はこれらの組み合わせに含められ得る。

この例において、装置300の位置は、建物330−370の正面のみがビュー320内にあるような位置である。上述のように、ユーザ指定の興味ポイントがその他の非選択企業とともに或る建物内に含まれる企業であるとき、特定の難題が屋外建物認識及び拡張に発生する。この例において、建物330及び350は各々、複数の企業を含んでおり、故に、単に建物を特定して各建物の正面に関する投影マスクを抽出するだけでは、意味のある拡張コンテンツをユーザに伝えることには十分でない。これらの理由により、システムは、各建物の緯度及び経度とともに、その3D幾何学構成を認識しなければならない。シーンが拡張されるとき、意味があるようにラベルを個々の店舗正面口に関連付けなければならない。故に、本発明の実施形態は更に、関連データを処理することで、拡張コンテンツを関連する店舗正面口に位置決めし、建物の正面のうちの適切な部分に拡張コンテンツが現れるように投影マスクを生成することを可能にする。一実施形態において、拡張コンテンツは店舗正面口の中心又はその付近に置かれ、生成される投影マスクの範囲は店舗正面口の範囲と同じにされる。この種の体験をユーザに提示するため、本発明の実施形態は、適切な場合に、建物を意味的に拡張し得る。

図4は、本発明の一実施形態に従って3Dクラウドデータに基づいて生成される複数の投影マスクを例示するものである。図示する投影マスクは、上述のプロセスを介して、ビュー320に関係する3D情報から抽出される。この例において、ビュー320内で建物の形状及びそれらの眺めが与えられており、複数の投影マスクが、各建物の正面に含まれる2D平面セグメントであるように示されている。

建物330は、4つの異なるポテンシャル興味ポイント(例えば、4つの異なる企業)を含んでおり、投影マスク431、432、433及び434によって表されている。建物350は、3つの異なるポテンシャル興味ポイントを含んでおり、投影マスク451、452及び453によって表されている。建物340、360及び370は各々1つのポテンシャル興味ポイントを含むのみであり、故に、各々がそれぞれ単一の投影マスク441、461及び471によって表されている。

上述の投影マスクの各々は、ビュー320に現れるとき、それらそれぞれの建物の表面と幾何学的に一致する。複数のポテンシャル興味ポイントを含んでいる建物330及び350に関し、本発明の実施形態は、適切な投影マスクを生成するために、位置情報、建物幾何学構成、及び視覚的イメージを処理し得る。

一実施形態において、建物の3Dモデルにおける店舗正面口の中心が推定される。この中心は、例えば、所在地ブロックに対する各店舗正面口の順序及び大体の位置を与え得るものである各企業の既知の所在地住所を活用して推定され得る。そして、幾何学的な制約を強いて、この粗い推定を3Dモデル上に投影することができる。このような制約は、店舗正面口の最小幅及び最大幅、又は正面の区別可能な平面に対する位置を含み得る。

一実施形態において、処理されたデータは、既知の高密度のGPS位置でのストリートレベルの球面パノラマ画像の集合を含む。奥行データの形態の3D情報とともに処理されたこれらの画像、及び一連の投影マスクは、ビュー320に含まれる都市景観の構造を近似することになる。上述のように、一部の実施形態において、このようなデータをモバイル装置上での処理(例えば、検出、追跡、及び拡張)に使用可能にするには前処理が必要である。これらのパノラマは、ディスプレイ310を含んだ装置に対して固定された向きで上述の平面に該パノラマを投影することによって処理される。理解されるように、このような投影された2D画像は、モバイル装置からの問い合わせ画像と同様のジオメトリを有するとき、モバイル装置上での視覚的なマッチングの基準画像として使用されるのに適したものとなり得る。

一実施形態において、各建物内の個々の店舗正面口の真の範囲の更なる推定が、上述のストリートレベルの球面パノラマ画像の集合を用いて行われる。各店舗正面口はデータベース内の複数のビューに表されており、それらから細かい尺度の奥行が再構成される。そして、このカラー及び奥行のデータが3Dモデルを用いて組み立てられ、各店舗正面口の範囲が、自然なカラー及び/又は奥行境界に到達するまで、中心点から拡大され得る。

本発明の実施形態は更に、例えば投影マスクの中心のGPS座標といった位置情報を用いて、ジオコーディング(平面画像セグメントに座標を付与すること)、又は逆ジオコーディング(所与の位置に関する既存情報を調べること)を実行し得る。逆ジオコーディングは、リアルタイム装置オペレーションのための拡張情報の1つのソース(情報源)として使用されることができる。ジオコーディングシステムの準備が整うと、後の使用のためにユーザに関してレガシー画像・ビデオコンテンツにジオタギングするサービスとして配備され得る。

店舗正面口の範囲を推定することは更に、事業主又は装置ユーザによって提供される一層多くのデータを含めることによって支援されることができる。装置ユーザの場合、本発明の実施形態は、拡張を操作するための単純な編集方法を提供し得る。これは、ユーザがコーナーを移動することを可能にされる単純な多角形とし得る。これは、サービスを迅速に更新するために、正確であるが僅かに位置がずれた結果をユーザが入力することを可能にする。そして、次のユーザが改善されたサービスを受けるように、これらの更新が集約され、互いに、及びその他の既知のデータに対して比較される。一実施形態において、店主は店舗についての正確なデータの一層やる気のある信頼できる貢献者であると想定されるので、事業主からのデータはこの集約手法において高い優先度を与えられてもよい。

図5は、本発明の一実施形態に従った拡張されたライブビューを例示するものである。この実施形態において、拡張されたコンテンツウィンドウ500が、建物350内の適切な興味ポイントを特定し、リアルタイムビュー520内に興味ポイントに関する画像データ510を表示している。画像データ510は、そのそれぞれの投影マスクと幾何学的に一致するよう(すなわち、図4の2D平面452に幾何学的に一致するよう)表示されている。

画像データ510は、例えば、興味ポイントの境界を特定する画像、興味ポイントに関するビデオコンテンツ(例えば、ビデオ広告)、3Dアニメーションオブジェクト(例えば、3Dアニメーション広告)、又は興味点に関するテキストデータといった、興味ポイントに関する画像を含み得る。この画像データは、装置300のメモリストレージに含まれていてもよいし、あるいはネットワーク接続(例えば、無線インターネット接続)を介してデータベースから取得されてもよい。

図6A及び6Bは、本発明の一実施形態に従った複数の興味ポイントに関する投影マスク及び拡張されたライブビューを例示している。この実施形態において、建物600のキャプチャされたビューは、イメージセンサの視点から比較的平面状である2つの正面セグメント610及び630と、曲線状の正面セグメント620とを含んでいる。故に、本発明の実施形態は、2D平面セグメント及び3D曲面/球面マスクを利用して、建物600の正面の範囲の粗い見積もりをシステムに提供し得る。

故に、理解されるように、投影されるマスク610−630を用いて、物体の該当部分の表面輪郭を表現し得る。曲面状の投影マスク620は後にリアルタイム処理で拡張コンテンツに使用され、その拡張コンテンツはマスク620の輪郭と一致する(且つ、建物600に対するホストモバイル装置の向きと一致する)ように投影されることになる。さらに、輪郭情報をエッジ検出と組み合わせて用いて、建物600を特定する物体検出を向上させ得る。

故に、複数の興味ポイントが特定され得る。これらの興味ポイントに対応する関連画像データ(例えば、アイコン、テキストデータ、ビデオ、3Dアニメーションオブジェクト、又は上述のような画像データ)が表示され得る。この例においては、図6Bに示されるように、建物600内の各企業の名称を特定するテキストデータが表示されている。これらのテキストデータは、それぞれの企業の境界内で中心に置かれるとともに、該当する投影マスクに基づいて表示されている。

図7は、本発明の一実施形態を利用し得るシステムのブロック図である。システム700は、予め格納された画像及び3Dポイントクラウドデータに関与する処理を実行して上述のような物体の3Dモデルを生成する前処理モジュール710を含み得る。システム700は更に、上述のような画像データをキャプチャするイメージセンサ720を含み得る。

投影モジュール730が、上述のように、3Dデータ及び物体の位置データを処理して投影マスクを生成し得る。拡張モジュール740が、上述のように投影マスク内で、キャプチャされた画像データを関連コンテンツで拡張し得る。拡張された画像データがディスプレイ750上に表示され得る。

この実施形態において、モジュール710、730及び740はプロセッサ760によって実行される。上述のシステム700のコンポーネントは全て、バス770を介して動作的に結合され得る。理解されるように、図7に記載される様々なモジュールは全て、モバイルコンピューティング装置に含まれていてもよいし、様々な位置に別々に含まれていてもよい(すなわち、図7のモジュールの何れか又は全てが、“バックエンド処理”を提供するようモバイルコンピューティング装置とインタフェース接続されるサーバに含まれていてもよい)。また、理解されるように、記載のモジュールに関する処理は単に一実施形態例であり、上述の何れかの処理が共に動作的に結合された複数の装置によって実行されてもよい。

ここに記載のプロセッサ、サーバ又はツールを参照した様々なコンポーネントは、上述の機能を実行する一手段である。ここに記載の各コンポーネントは、ソフトウェア若しくはハードウェア、又はこれらの組み合わせを含む。各々全てのコンポーネントは、ソフトウェアモジュール、ハードウェアモジュール、専用ハードウェア(例えば、特定用途向けハードウェア、ASIC、DSPなど)、内臓コントローラ、ハードワイヤード回路、ハードウェアロジックなどとして実装され得る。ソフトウェアコンテンツ(例えば、データ、命令、設定)は、実行されることが可能な命令を表現するコンテンツを提供する非一時的な有形のコンピュータ又は機械読み取り可能記憶媒体を含む製造品を介して提供され得る。これらのコンテンツは、コンピュータがここに記載の様々な機能/処理を実行することをもたらす。コンピュータ読み取り可能記憶媒体は、例えば記録可能/記録不能な媒体(例えば、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、等々)など、コンピュータ(例えば、コンピューティング装置、電子システム、等々)によってアクセス可能な形態で情報を提供(すなわち、格納及び/又は伝送)する何らかの機構を含む。コンテンツは、直接的に実行可能な形態(“オブジェクト”若しくは“実行可能”形態)、ソースコード、又は差分コード(“デルタ”若しくは“パッチ”コード)とし得る。コンピュータ読み取り可能記憶媒体はまた、それからコンテンツをダウンロードすることができるストレージ又はデータベースを含み得る。コンピュータ読み取り可能記憶媒体はまた、販売時又は配達時にコンテンツを格納される装置又は製品を含み得る。故に、格納コンテンツを有する装置を送達すること、又は通信媒体上でのダウンロードにコンテンツを提供することは、ここに記載のそのようなコンテンツを有する製造品を提供することとして理解され得る。

Claims (20)

  1. プロセッサと、
    メモリと、
    前記メモリに含まれる拡張モジュールであり、前記プロセッサによって実行されて、
    興味ポイント(POI)を指定するデータを受信し、
    イメージセンサによってキャプチャされたライブビュー内に含まれる、前記POIを含む構造物の表面を検出し、
    前記POIに対する前記イメージセンサの位置及び向きを、前記ライブビュー内に含まれる前記構造物の前記検出された表面と、第2のセンサからのデータと、に少なくとも部分的に基づいて決定し、
    前記イメージセンサが前記ライブビューをキャプチャする間、前記イメージセンサの前記位置及び前記向きを追跡し、且つ
    前記ライブビューを拡張するための前記POIに関連付けられた画像データを含む表示データを生成し、前記画像データは、前記構造物の前記検出された表面の前記POIの位置で前記ライブビュー内に表示されるとき、前記イメージセンサの前記位置及び前記向きと3次元的に一致する、
    拡張モジュールと、
    を有する装置。
  2. 当該装置は、モバイルコンピューティング装置に動作的に結合されるサーバ装置を有し、前記モバイルコンピューティング装置が、前記イメージセンサと、前記第2のセンサと、前記POIに関連付けられた前記画像データを含む拡張されたライブビューを表示するディスプレイとを含む、請求項1に記載の装置。
  3. 当該装置はモバイルコンピューティング装置を有し、該モバイルコンピューティング装置は更に、前記POIに関連付けられた前記画像データを含む拡張されたライブビューを表示するディスプレイを含む、請求項1に記載の装置。
  4. 前記構造物は建物を有し、前記構造物の前記検出された表面は前記建物の外面を有する、請求項1に記載の装置。
  5. 前記第2のセンサからの前記データはグローバルポジショニングシステム(GPS)データを有する、請求項1に記載の装置。
  6. 当該装置は更に移動電話動作ユニットを有し、前記第2のセンサは、セルラー電話塔三角測量による当該装置の地理情報を捕捉する、請求項3に記載の装置。
  7. 前記第2のセンサからの前記データは、加速度計によって捕捉される加速度データを有する、請求項1に記載の装置。
  8. 前記第2のセンサからの前記データは、コンパスによって捕捉される磁界データを有する、請求項1に記載の装置。
  9. 前記POIに関連付けられた前記画像データは、前記構造物の前記検出された表面内の前記POIの一組の境界線を特定する、請求項1に記載の装置。
  10. 前記拡張モジュールは更に、前記構造物の前記検出された表面内の前記POIの中心を決定し、前記表示データは、前記POIの前記中心に基づいて生成される、請求項1に記載の装置。
  11. 前記POIに関連付けられた前記画像データは、静止画像データ及びビデオ画像データのうちの少なくとも一方を有する、請求項1に記載の装置。
  12. 興味ポイント(POI)を指定するデータを受信し、
    イメージセンサによってキャプチャされたライブビュー内に含まれる、前記POIを含む構造物の表面を検出し、
    前記POIに対する前記イメージセンサの位置及び向きを、前記ライブビュー内に含まれる前記構造物の前記検出された表面と、第2のセンサからのデータと、に少なくとも部分的に基づいて決定し、
    前記イメージセンサが前記ライブビューをキャプチャする間、前記イメージセンサの前記位置及び前記向きを追跡し、且つ
    前記ライブビューを拡張するための前記POIに関連付けられた画像データを含む表示データを生成し、前記画像データは、前記構造物の前記検出された表面の前記POIの位置で前記ライブビュー内に表示されるとき、前記イメージセンサの前記位置及び前記向きと3次元的に一致する、
    ことを有する方法。
  13. 前記構造物は建物を有し、前記構造物の前記検出された表面は前記建物の外面を有する、請求項12に記載の方法。
  14. 前記第2のセンサからの前記データはグローバルポジショニングシステム(GPS)データを有する、請求項12に記載の方法。
  15. 前記第2のセンサからの前記データは、セルラー電話塔三角測量によって捕捉される地理情報を有する、請求項12に記載の方法。
  16. 前記第2のセンサからの前記データは、加速度計によって捕捉される加速度データを有する、請求項12に記載の方法。
  17. ホスト装置の前記センサデータは、コンパスによって捕捉される前記ホスト装置の磁界データを含み、請求項12に記載の方法。
  18. 前記POIに関連付けられた前記画像データは、前記構造物の前記検出された表面内の前記POIの一組の境界線を特定する、請求項12に記載の方法。
  19. 当該方法は更に、前記構造物の前記表面内の前記POIの中心を決定することを有し、前記表示データは、前記POIの前記中心に基づいて生成される、請求項12に記載の方法。
  20. 前記POIに関連付けられた前記画像データは、静止画像データ及びビデオ画像データのうちの少なくとも一方を有する、請求項12に記載の方法。
JP2014519221A 2011-07-01 2012-07-02 モバイル拡張現実システム Active JP6022562B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/175,608 2011-07-01
US13/175,608 US9600933B2 (en) 2011-07-01 2011-07-01 Mobile augmented reality system
PCT/US2012/045205 WO2013006534A1 (en) 2011-07-01 2012-07-02 Mobile augmented reality system

Publications (2)

Publication Number Publication Date
JP2014526174A true JP2014526174A (ja) 2014-10-02
JP6022562B2 JP6022562B2 (ja) 2016-11-09

Family

ID=47390174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014519221A Active JP6022562B2 (ja) 2011-07-01 2012-07-02 モバイル拡張現実システム

Country Status (5)

Country Link
US (3) US9600933B2 (ja)
EP (1) EP2727332A4 (ja)
JP (1) JP6022562B2 (ja)
CN (1) CN103703758B (ja)
WO (1) WO2013006534A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7503007B2 (en) * 2006-05-16 2009-03-10 International Business Machines Corporation Context enhanced messaging and collaboration system
GB201100403D0 (en) * 2011-01-11 2011-02-23 Totom Dev Germany Gmbh An efficient location referencing method
US9153073B2 (en) * 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
US9332243B2 (en) * 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
US20140160161A1 (en) * 2012-12-06 2014-06-12 Patricio Barreiro Augmented reality application
US9269011B1 (en) * 2013-02-11 2016-02-23 Amazon Technologies, Inc. Graphical refinement for points of interest
US9460561B1 (en) 2013-03-15 2016-10-04 Bentley Systems, Incorporated Hypermodel-based panorama augmentation
US9761045B1 (en) 2013-03-15 2017-09-12 Bentley Systems, Incorporated Dynamic and selective model clipping for enhanced augmented hypermodel visualization
US9069415B2 (en) * 2013-04-22 2015-06-30 Fuji Xerox Co., Ltd. Systems and methods for finger pose estimation on touchscreen devices
US9569892B2 (en) 2013-09-26 2017-02-14 Qualcomm Incorporated Image capture input and projection output
US20170148223A1 (en) * 2014-10-31 2017-05-25 Fyusion, Inc. Real-time mobile device capture and generation of ar/vr content
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US9264479B2 (en) * 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US10296663B2 (en) 2014-05-13 2019-05-21 Atheer, Inc. Method for moving and aligning 3D objects in a plane within the 2D environment
FR3021442B1 (fr) * 2014-05-21 2018-01-12 Airbus Group Sas Procede de traitement d'informations locales
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
WO2016017121A1 (ja) * 2014-07-28 2016-02-04 パナソニックIpマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法
US20160224657A1 (en) * 2015-01-30 2016-08-04 Llc Daqri, Llc Digitized interactions with an identified object
US9471954B2 (en) * 2015-03-16 2016-10-18 International Business Machines Corporation Video sequence assembly
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
CN105184825A (zh) * 2015-10-29 2015-12-23 丽水学院 一种面向室内场景的移动增强现实方法
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9984499B1 (en) * 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US9918204B1 (en) * 2015-12-08 2018-03-13 Bentley Systems, Incorporated High accuracy indoor tracking
KR102040156B1 (ko) * 2016-03-02 2019-11-05 한국전자통신연구원 3차원 건물 데이터 편집장치 및 그 방법
US10484643B2 (en) * 2016-11-10 2019-11-19 Avaya Inc. Intelligent contact recording in a virtual reality contact center
CN107197349A (zh) * 2017-06-30 2017-09-22 北京金山安全软件有限公司 一种视频处理方法、装置、电子设备及存储介质
CN108133654B (zh) * 2018-01-10 2019-12-13 河北农业大学 基于ar手机的棉花株型设计实验教学的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003079937A (ja) * 2001-09-12 2003-03-18 Namco Ltd ゲームシステム
JP2008293357A (ja) * 2007-05-25 2008-12-04 Canon Inc 情報処理方法および情報処理装置
JP2009038451A (ja) * 2007-07-31 2009-02-19 Toshiba Corp 動画編集再生システムおよび装置
JP2009075652A (ja) * 2007-09-18 2009-04-09 Denso It Laboratory Inc 情報表示装置
JP2010049690A (ja) * 2008-08-19 2010-03-04 Sony Computer Entertainment Europe Ltd エンタテイメント装置、システム、及び方法
JP2011113127A (ja) * 2009-11-24 2011-06-09 Ntt Docomo Inc オブジェクト位置決め装置及びオブジェクト位置決め方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098435B2 (en) * 1996-10-25 2006-08-29 Frederick E. Mueller Method and apparatus for scanning three-dimensional objects
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
WO2004042662A1 (en) 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
GB0126526D0 (en) 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
US20070035562A1 (en) * 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
US8896660B2 (en) * 2003-05-30 2014-11-25 Alcatel Lucent Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments
WO2006083297A2 (en) * 2004-06-10 2006-08-10 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
JP4785416B2 (ja) * 2005-05-11 2011-10-05 キヤノン株式会社 位置姿勢計測方法及び装置
JP2007136133A (ja) 2005-11-18 2007-06-07 Fumito Arai 拡張現実感呈示システム
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
FR2911463B1 (fr) * 2007-01-12 2009-10-30 Total Immersion Sa Dispositif d'observation de realite augmentee temps reel et procede de mise en oeuvre d'un dispositif
US20100079481A1 (en) * 2007-01-25 2010-04-01 Li Zhang Method and system for marking scenes and images of scenes with optical tags
CN101030784A (zh) * 2007-02-02 2007-09-05 唐丽辉 位置服务中重要问题解决的方法
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US8275352B2 (en) * 2007-06-28 2012-09-25 Apple Inc. Location-based emergency information
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
US8031210B2 (en) * 2007-09-30 2011-10-04 Rdv Systems Ltd. Method and apparatus for creating a composite image
US20090244097A1 (en) * 2008-03-25 2009-10-01 Leonardo William Estevez System and Method for Providing Augmented Reality
JP5111210B2 (ja) * 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes
US9024972B1 (en) * 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
JP5290864B2 (ja) 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
US8943420B2 (en) 2009-06-18 2015-01-27 Microsoft Corporation Augmenting a field of view
US8331611B2 (en) 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
KR101229078B1 (ko) 2009-12-21 2013-02-04 한국전자통신연구원 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
KR100985737B1 (ko) 2010-02-05 2010-10-06 (주)올라웍스 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8199977B2 (en) * 2010-05-07 2012-06-12 Honeywell International Inc. System and method for extraction of features from a 3-D point cloud
US20110279445A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
KR101337555B1 (ko) 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2608153A1 (en) 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003079937A (ja) * 2001-09-12 2003-03-18 Namco Ltd ゲームシステム
JP2008293357A (ja) * 2007-05-25 2008-12-04 Canon Inc 情報処理方法および情報処理装置
JP2009038451A (ja) * 2007-07-31 2009-02-19 Toshiba Corp 動画編集再生システムおよび装置
JP2009075652A (ja) * 2007-09-18 2009-04-09 Denso It Laboratory Inc 情報表示装置
JP2010049690A (ja) * 2008-08-19 2010-03-04 Sony Computer Entertainment Europe Ltd エンタテイメント装置、システム、及び方法
JP2011113127A (ja) * 2009-11-24 2011-06-09 Ntt Docomo Inc オブジェクト位置決め装置及びオブジェクト位置決め方法

Also Published As

Publication number Publication date
US10134196B2 (en) 2018-11-20
US9600933B2 (en) 2017-03-21
WO2013006534A1 (en) 2013-01-10
EP2727332A4 (en) 2015-12-23
CN103703758B (zh) 2017-08-15
JP6022562B2 (ja) 2016-11-09
US20170337739A1 (en) 2017-11-23
EP2727332A1 (en) 2014-05-07
US20130002649A1 (en) 2013-01-03
CN103703758A (zh) 2014-04-02
US20180225877A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
US8989502B2 (en) Image-based georeferencing
US8902308B2 (en) Apparatus and method for generating an overview image of a plurality of images using a reference plane
EP2261604B1 (en) Computer arrangement for and method of calculating motion vectors using range sensor data
JP5799521B2 (ja) 情報処理装置、オーサリング方法及びプログラム
EP2583254B1 (en) Mobile device based content mapping for augmented reality environment
EP2396767B1 (en) Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
EP2491530B1 (de) Bestimmung der pose einer kamera
US20040105573A1 (en) Augmented virtual environments
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
DE112011100458T5 (de) Systeme und Verfahren zur Verarbeitung von Kartierungs- und Modellierungsdaten
US9153073B2 (en) Spatially registered augmented video
Chen et al. City-scale landmark identification on mobile devices
US9400941B2 (en) Method of matching image features with reference features
US9286721B2 (en) Augmented reality system for product identification and promotion
EP2423871B1 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
US9240074B2 (en) Network-based real time registered augmented reality for mobile devices
US20160012588A1 (en) Method for Calibrating Cameras with Non-Overlapping Views
US9420265B2 (en) Tracking poses of 3D camera using points and planes
CN102939742B (zh) 相机视图与地图视图之间的用户界面转变
US9324003B2 (en) Location of image capture device and object features in a captured image
TWI494898B (zh) 從地理參考影像擷取和映對三維特徵之技術
JP6255085B2 (ja) 位置特定システムおよび位置特定方法
US10489930B2 (en) Digitally encoded marker-based augmented reality (AR)
Ventura et al. Global localization from monocular slam on a mobile phone
JP2013232195A (ja) 3DGeoArcを用いた多モードデータの画像登録

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161005

R150 Certificate of patent or registration of utility model

Ref document number: 6022562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250