JP2013528870A - 拡張現実のための方法および装置 - Google Patents
拡張現実のための方法および装置 Download PDFInfo
- Publication number
- JP2013528870A JP2013528870A JP2013513131A JP2013513131A JP2013528870A JP 2013528870 A JP2013528870 A JP 2013528870A JP 2013513131 A JP2013513131 A JP 2013513131A JP 2013513131 A JP2013513131 A JP 2013513131A JP 2013528870 A JP2013528870 A JP 2013528870A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- world environment
- image
- features
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 description 4
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】その方法は、所定の位置で少なくとも1つのカメラにより撮られた実世界環境の画像を受信するステップ(200)と、前記位置を受信するステップ(210)と、前記位置と関連するIDを受信するステップであって、前記IDが前記画像から一組の特徴を抽出するために前記画像で使用されるべきアルゴリズムと関連付けられるステップ(220)と、前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組を受信するステップ(230)と、前記アルゴリズムを使用して前記画像から前記特徴の組を抽出するステップ(240)と、前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するステップ(250)とを備える。また、本発明は、対応するサーバおよびモバイル機器に関する。
【選択図】図2
Description
拡張現実、ARは、仮想のCG像により実世界環境が拡張される、実世界環境の生の直接的な或いは間接的な視野である。
したがって、本発明の目的は、実世界環境における指標を必要としない拡張現実のための装置および方法を提供することである。
以下の記述では、限定的ではなく説明の目的で、本発明の十分な理解を与えるために、ステップの特定の順序や機器構成などの特定の詳しい内容が記載される。当業者であれば明らかなように、本発明は、これらの特定の詳しい内容から逸脱する他の実施形態で実施されてもよい。
200 所定の位置で少なくとも1つのカメラにより撮られた実世界環境の画像を受信し、
210 その位置を受信し、
220 その位置と関連するIDを受信し、IDは画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられ、
230 アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組を受信し、
240 アルゴリズムを使用して画像から特徴の組を抽出し、
250 その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定する、
ことを備える。
410 少なくとも1つのカメラにより撮られた所定の位置での実世界環境の画像の記憶された特徴の組を受信し、
420 その位置を受信し、
430 その位置と関連するIDを検索し、IDは画像から一組の特徴を抽出するために画像で使用されるべきアルゴリズムと関連付けられ、
440 アルゴリズムを使用して抽出された位置での実世界環境における記憶された特徴の組を検索し、
460 その特徴の組と記憶された特徴の組とを比較することによってカメラが実世界環境内の物体を観察しているかどうか、およびカメラが実世界環境内の物体をどのように観察しているのかを決定する、
ことを備える。
Claims (24)
- 所定の位置で少なくとも1つのカメラにより撮られた実世界環境の画像を受信するように構成される受信手段(110)を備え、
前記受信手段(110)が、前記位置と、前記画像から一組の特徴を抽出するために前記画像で使用されるべきアルゴリズムと関連付けられるIDと、前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組とを受信するように更に構成され、
前記アルゴリズムを使用して前記画像から前記特徴の組を抽出するとともに、前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するように構成される処理手段(120)を備える、
拡張現実のためのモバイル機器(100)。 - 前記受信手段(110)が、ユーザの視野内に投影されるべき仮想画像または仮想物体を受信するように更に構成される請求項2に記載のモバイル機器。
- 前記処理手段は、前記カメラが実世界環境内の物体をどのように観察しているのかに基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算するように更に構成される請求項2に記載のモバイル機器。
- 前記少なくとも1つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、HUD、すなわち、ヘッドアップディスプレイにおけるカメラである請求項2〜3のいずれか一項に記載のモバイル機器。
- 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項2〜4のいずれか一項に記載のモバイル機器。
- 前記処理手段が、前記特徴の組の一部が前記記憶された特徴の組の一部と一緒であることを比較するように更に構成される請求項2〜5のいずれか一項に記載のモバイル機器。
- 所定の位置で少なくとも1つのカメラにより撮られた実世界環境の画像を受信するステップ(200)と、
前記位置を受信するステップ(210)と、
前記位置と関連するIDを受信するステップであって、前記IDが前記画像から一組の特徴を抽出するために前記画像で使用されるべきアルゴリズムと関連付けられるステップ(220)と、
前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組を受信するステップ(230)と、
前記アルゴリズムを使用して前記画像から前記特徴の組を抽出するステップ(240)と、
前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するステップ(250)と、
を備える拡張現実のためのモバイル機器における方法。 - ユーザの視野内に投影されるべき仮想画像または仮想物体を受信する更なるステップを備える請求項7に記載の方法。
- 前記カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への前記仮想画像または前記仮想物体の幾何学的に正確な投影を計算する更なるステップを備える請求項8に記載の方法。
- 前記少なくとも1つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、HUD、すなわち、ヘッドアップディスプレイにおけるカメラである請求項7〜9のいずれか一項に記載の方法。
- 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項7〜10のいずれか一項に記載の方法。
- 決定する前記ステップ(250)において、前記特徴の組の一部が前記記憶された特徴の組の一部と比較される請求項7〜11のいずれか一項に記載の方法。
- 所定の位置および前記位置で少なくとも1つのカメラにより撮られた実世界環境の画像から抽出される一組の特徴と前記位置とを受信するように構成される受信手段(310)と、
前記位置と関連するIDであって、前記画像から前記特徴の組を抽出するために使用されたアルゴリズムと関連付けられるIDと、前記アルゴリズムを使用して抽出された前記位置での前記実世界環境における記憶された特徴の組とを検索するように構成される検索手段(320)と、
前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するように構成される処理手段(330)と、
を備える、拡張現実のためのサーバ(300)。 - 前記検索手段(320)が、ユーザの視野内に投影されるべき仮想画像または仮想物体を検索するように更に構成される請求項13に記載のサーバ。
- 前記処理手段(330)は、前記カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への仮想画像または仮想物体の幾何学的に正確な投影を計算するように更に構成される請求項14に記載のサーバ。
- 前記少なくとも1つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、HUD、すなわち、ヘッドアップディスプレイにおけるカメラである請求項13〜15のいずれか一項に記載のサーバ。
- 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項13〜16のいずれか一項に記載のサーバ。
- 前記処理手段が、前記特徴の組の一部と前記記憶された特徴の組の一部とを比較するように更に構成される請求項13〜17のいずれか一項に記載のサーバ。
- 少なくとも1つのカメラにより撮られた所定位置での実世界環境の画像画像から抽出される一組の特徴を受信するステップ(410)と、
前記位置を受信するステップ(420)と、
前記位置と関連するIDを検索するステップであって、前記IDが前記画像から一組の特徴を抽出するために前記画像で使用されたアルゴリズムと関連付けられるステップ(430)と、
前記アルゴリズムを使用して抽出された所定の位置での前記実世界環境における記憶された特徴の組を検索するステップ(440)と、
前記特徴の組と前記記憶された特徴の組とを比較することによって前記カメラが前記実世界環境内の物体を観察しているかどうか、および前記カメラが前記実世界環境内の物体をどのように観察しているのかを決定するステップ(460)と、
を備える拡張現実のためのサーバにおける方法。 - ユーザの視野内に投影されるべき仮想画像または仮想物体を検索する更なるステップを備える請求項19に記載の方法。
- 前記カメラが実世界環境内の物体をどのように観察しているのか基づいてユーザの視野内への前記仮想画像または前記仮想物体の幾何学的に正確な投影を計算する更なるステップを備える請求項20に記載の方法。
- 前記少なくとも1つのカメラが、一対の拡張現実ゴーグル、携帯電話端末、デジタルカメラ、または、HUD、すなわち、ヘッドアップディスプレイにおけるカメラである請求項19〜21のいずれか一項に記載の方法。
- 前記アルゴリズムが、前記位置での前記実世界環境に基づいて選択された請求項19〜22のいずれか一項に記載の方法。
- 決定する前記ステップ(460)において、前記特徴の組の一部が前記記憶された特徴の組の一部と比較される請求項19〜23のいずれか一項に記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/SE2010/050598 WO2011152764A1 (en) | 2010-06-01 | 2010-06-01 | Methods and arrangements for augmented reality |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013528870A true JP2013528870A (ja) | 2013-07-11 |
JP5578691B2 JP5578691B2 (ja) | 2014-08-27 |
Family
ID=45066964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013513131A Active JP5578691B2 (ja) | 2010-06-01 | 2010-06-01 | 拡張現実のための方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8917289B2 (ja) |
EP (1) | EP2577504B1 (ja) |
JP (1) | JP5578691B2 (ja) |
WO (1) | WO2011152764A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013054494A (ja) * | 2011-09-02 | 2013-03-21 | Sony Corp | 情報処理装置、情報処理方法、プログラム、記録媒体、及び情報処理システム |
US9429912B2 (en) * | 2012-08-17 | 2016-08-30 | Microsoft Technology Licensing, Llc | Mixed reality holographic object development |
US10586395B2 (en) * | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
US9767615B2 (en) | 2014-04-23 | 2017-09-19 | Raytheon Company | Systems and methods for context based information delivery using augmented reality |
EP3748586A3 (en) * | 2014-10-09 | 2020-12-23 | Huawei Technologies Co., Ltd. | Apparatus and method for generating an augmented reality representation of an acquired image |
JP6283329B2 (ja) * | 2015-05-26 | 2018-02-21 | 株式会社オプティム | 拡張現実対象認識装置 |
US11127212B1 (en) | 2017-08-24 | 2021-09-21 | Sean Asher Wilens | Method of projecting virtual reality imagery for augmenting real world objects and surfaces |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005038153A (ja) * | 2003-07-14 | 2005-02-10 | Olympus Corp | 画像処理装置 |
JP2008046806A (ja) * | 2006-08-14 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、画像処理装置およびプログラム |
JP2008530676A (ja) * | 2005-02-11 | 2008-08-07 | ザ・ユニバーシティ・コート・オブ・ザ・ユニバーシティ・オブ・エディンバラ | 取得した画像を使用したアクセスのための情報の格納 |
JP2010118019A (ja) * | 2008-11-14 | 2010-05-27 | Sharp Corp | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60228744D1 (de) * | 2001-10-09 | 2008-10-16 | Sirf Tech Inc | Verfahren und system zum versenden von positionskodierten bildern über ein drahtloses netz |
GB2403363A (en) | 2003-06-25 | 2004-12-29 | Hewlett Packard Development Co | Tags for automated image processing |
US7706603B2 (en) * | 2005-04-19 | 2010-04-27 | Siemens Corporation | Fast object detection for augmented reality systems |
EP2147392A1 (en) | 2007-05-08 | 2010-01-27 | Eidgenössische Technische Zürich | Method and system for image-based information retrieval |
US20090237546A1 (en) * | 2008-03-24 | 2009-09-24 | Sony Ericsson Mobile Communications Ab | Mobile Device with Image Recognition Processing Capability |
US20100045701A1 (en) * | 2008-08-22 | 2010-02-25 | Cybernet Systems Corporation | Automatic mapping of augmented reality fiducials |
US8970690B2 (en) * | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
-
2010
- 2010-06-01 US US13/701,089 patent/US8917289B2/en active Active
- 2010-06-01 EP EP10852597.3A patent/EP2577504B1/en active Active
- 2010-06-01 JP JP2013513131A patent/JP5578691B2/ja active Active
- 2010-06-01 WO PCT/SE2010/050598 patent/WO2011152764A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005038153A (ja) * | 2003-07-14 | 2005-02-10 | Olympus Corp | 画像処理装置 |
JP2008530676A (ja) * | 2005-02-11 | 2008-08-07 | ザ・ユニバーシティ・コート・オブ・ザ・ユニバーシティ・オブ・エディンバラ | 取得した画像を使用したアクセスのための情報の格納 |
JP2008046806A (ja) * | 2006-08-14 | 2008-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、画像処理装置およびプログラム |
JP2010118019A (ja) * | 2008-11-14 | 2010-05-27 | Sharp Corp | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 |
Non-Patent Citations (1)
Title |
---|
矢澤 尚之 外4名: ""屋外での注釈情報表示の為のパノラマデータベースからの局所特徴に基づく画像検索による自己位置方向推定", 電子情報通信学会技術研究報告, vol. 第109巻,第215号, JPN6014023209, 1 October 2009 (2009-10-01), JP, pages 23 - 28, ISSN: 0002826961 * |
Also Published As
Publication number | Publication date |
---|---|
EP2577504A1 (en) | 2013-04-10 |
US20130069986A1 (en) | 2013-03-21 |
JP5578691B2 (ja) | 2014-08-27 |
EP2577504A4 (en) | 2014-10-29 |
US8917289B2 (en) | 2014-12-23 |
WO2011152764A1 (en) | 2011-12-08 |
EP2577504B1 (en) | 2018-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5578691B2 (ja) | 拡張現実のための方法および装置 | |
CN105210113B (zh) | 具有一般和全景相机移动的单眼视觉slam | |
JP6602889B2 (ja) | 移動体装置ローカリゼーションのためのエリア記述ファイルのクラウドソーシングによる作成および更新 | |
KR102149374B1 (ko) | 로컬화 영역 설명 파일에 대한 프라이버시-민감 질의 | |
EP3134870B1 (en) | Electronic device localization based on imagery | |
CN107820593B (zh) | 一种虚拟现实交互方法、装置及系统 | |
WO2019242262A1 (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
JP6258953B2 (ja) | 単眼視覚slamのための高速初期化 | |
JP7017689B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
JP6609640B2 (ja) | 電子デバイス上における環境マッピング用のフィーチャ・データの管理 | |
JP2017005532A (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
CN110168615B (zh) | 信息处理设备、信息处理方法和存储介质 | |
JP5494427B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
JP2018112790A (ja) | 情報処理装置およびその制御方法、プログラム | |
CN110060354B (zh) | 真实图像在虚拟空间中的定位和交互方法 | |
KR101586071B1 (ko) | 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 | |
JP6388532B2 (ja) | 画像提供システムおよび画像提供方法 | |
JP2016195323A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2012146305A (ja) | ウィンドウ状の拡張現実を提供する装置および方法 | |
JP2015005220A (ja) | 情報表示装置及び情報表示方法 | |
CN110880187A (zh) | 一种相机位置信息确定方法、装置、电子设备及存储介质 | |
JP6208977B2 (ja) | 情報処理装置、通信端末およびデータ取得方法 | |
JP2011171932A (ja) | 画像表示装置、画像表示方法及びプログラム | |
JP2018077732A (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5578691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |