JP2021051497A - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP2021051497A JP2021051497A JP2019173475A JP2019173475A JP2021051497A JP 2021051497 A JP2021051497 A JP 2021051497A JP 2019173475 A JP2019173475 A JP 2019173475A JP 2019173475 A JP2019173475 A JP 2019173475A JP 2021051497 A JP2021051497 A JP 2021051497A
- Authority
- JP
- Japan
- Prior art keywords
- processor
- act
- marker
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 13
- 239000003550 marker Substances 0.000 claims abstract description 156
- 238000009795 derivation Methods 0.000 claims abstract description 11
- 238000012217 deletion Methods 0.000 claims description 13
- 230000037430 deletion Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 45
- 230000008859 change Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 230000036544 posture Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100054767 Dictyostelium discoideum act26 gene Proteins 0.000 description 1
- 101100054768 Dictyostelium discoideum act27 gene Proteins 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
図1は、実施形態に係る情報提供システム1及び情報提供システム1に含まれる各装置の要部構成の一例を示すブロック図である。情報提供システム1は、店舗又は業務現場などの特定空間において、拡張現実を用いて情報を提供するシステムである。なお、特定空間は、屋内に限らない。情報提供システム1は、一例として、複数の端末装置10及びサーバー装置20を含む。情報提供システム1は、情報処理システムの一例である。
マーカーDB141は、テーブルT1を用いて、各マーカーについて、マーカーIDに、特徴量データ、位置データ及び履歴データを関連付ける。
マーカーIDは、マーカーごとに付与されるユニークな識別情報である。
特徴量データは、マーカーの特徴量を示すデータである。
位置データは、例えば、ワールド座標系におけるマーカーの位置姿勢を示すデータであり、ワールド座標系とマーカー座標系の関係を示すデータである。
相対姿勢データは、マーカー登録時の端末装置10との相対姿勢を示すデータである。
履歴データは、マーカーの位置姿勢の履歴を示すデータである。マーカーの位置姿勢を複数回求める場合があり、履歴データは、複数回求めた位置姿勢を記憶している。
なお、センサー18は、端末装置10の外部に有線又は無線で接続されるものであっても良い。
さらに、補助記憶デバイス24は、情報提供システム1に含まれる端末装置10の一覧である端末リストを記憶している。
図3〜図5及び図7は、端末装置10のプロセッサー11による処理の一例を示すフローチャートである。プロセッサー11は、例えば、ROM12又は補助記憶デバイス14などに記憶されたプログラムに基づいてこの処理を実行する。なお、プロセッサー11は、例えば、図3〜図5の処理と、図7の処理とを並行又は並列して行う。
図6は、サーバー装置20のプロセッサー21による処理の一例を示すフローチャートである。プロセッサー21は、例えば、ROM22又は補助記憶デバイス24などに記憶されたプログラムに基づいてこの処理を実行する。
図3のACT11においてプロセッサー11は、設定を変更する操作が行われたか否かを判定する。プロセッサー11は、設定を変更する操作が行われたならば、ACT11においてYesと判定してACT12へと進む。
登録モードは、マーカーを自動で登録するモードである。登録モードの有効及び無効は、自動及び手動により切り替え可能である。
同期モードは、他の端末装置10と、マーカーの登録内容を共有するモードである。
ACT13においてプロセッサー11は、図4及び図5に示す画像処理を行う。
以上より、ACT21の処理を行うことで、プロセッサー11は、カメラ16で撮影した画像を取得する取得部として機能する。
ACT24においてプロセッサー11は、マーカーDBを参照して、取得画像中にマーカーがあるか否かを判定する。プロセッサー11は、マーカーDBに記憶された特徴量を用いてマーカーがあるか否かを判定する。プロセッサー11は、取得画像中にマーカーがないならば、ACT24においてNoと判定して図4及び図5に示す画像処理を終了する。対して、プロセッサー11は、マーカーDBを参照して、取得画像中にマーカーがあるならば、ACT24においてYesと判定してACT25へと進む。
以上より、プロセッサー11は、ACT24及びACT25の処理を行うことで、カメラ16の位置を求める位置推定部として機能する。
ACT26においてプロセッサー11は、取得画像から所定の法則にしたがい長方形の画像を切り抜く。プロセッサー11は、ACT28でYesと判定するまでACT26の処理を複数回実行するが、ACT26の処理を行うたびに、取得画像から異なる部分の長方形の画像を切り抜く。例えば、プロセッサー11は、最初に取得画像の左上の角から長方形の画像を切り抜き、ACT26の処理を行うたびに徐々にずらした長方形の画像を切り抜いていき、最後に右下の角から長方形の画像を切り抜く。当該長方形は、例えば、全ての辺が、取得画像のいずれかの辺と平行であるような長方形である。なお、長方形の大きさは固定であっても良いし、可変であっても良い。また、当該長方形のアスペクト比は固定であっても可変であっても良い。図8には、当該長方形の画像の一例として長方形画像IM2を示している。
以上より、ACT26の処理を行うことで、プロセッサー11は、取得画像内からマーカーとして用いる長方形画像を切り抜く切り抜き部として機能する。
以上より、プロセッサー11は、ACT37の処理を行うことで、変更部として機能する。
ACT38においてプロセッサー11は、同期モードが有効であるか否かを判定する。プロセッサー11は、同期モードが有効であるならば、ACT38においてYesと判定してACT39へと進む。
ACT57においてプロセッサー21は、未選択の端末装置10があるか否かを判定する。プロセッサー21は、未選択の端末装置10があるならば、ACT57においてYesと判定してACT54へと戻る。対して、プロセッサー21は、未選択の端末装置10がないならば、ACT57においてNoと判定してACT51へと戻る。
以上のように、プロセッサー21は、未選択の端末装置10が無くなるまでACT54〜ACT57を繰り返すことで、同期モードが有効な端末装置10それぞれに変更情報を送信する。
ACT40においてプロセッサー11は、ACT34と同様にして、マーカー候補の位置姿勢を求める。
以上より、プロセッサー11は、ACT27及びACT40の処理を行うことで、特徴量及び位置を求める導出部として機能する。
この判定を行う理由は、特徴量が異なるマーカーが同じ位置にあっても良いためである。これは、同じ位置を映した画像であっても、世界座標系における端末装置10の位置によって、異なる画像として映ることによる。
以上より、プロセッサー11は、ACT43の処理を行うことで、削除部として機能する。ここで削除されるマーカーは、第2の領域の一例である。
ACT44においてプロセッサー11は、マーカー候補を新規のマーカーとしてマーカーDB141に登録する。このために、プロセッサー11は、テーブルT1に新規レコードを追加する。プロセッサー11は、他のマーカーIDと重複しないマーカーIDを発行する。そして、当該新規レコードのマーカーIDの値を、発行したマーカーIDにする。また、プロセッサー11は、当該新規レコードの特徴量データの値を、図4のACT27で求めた特徴量にする。そして、プロセッサー11は、当該新規レコードの位置データの値を、ACT40で求めた位置姿勢にする。さらにプロセッサー11は、当該新規レコードの相対姿勢データの値を、ACT31で求めた相対姿勢にする。また、プロセッサー11は、当該新規レコードの計測履歴データに、ACT40で求めた位置姿勢を追加する。
以上より、プロセッサー11は、ACT44の処理を行うことで、特徴量及び位置を記憶する記憶部として機能する。あるいは、マーカーDBは、記憶部として機能する。ここで新規に登録されるマーカーは、第1の領域の一例である。
ACT58においてプロセッサー21は、受信された登録情報に基づきマーカーDB241を更新する。すなわち、プロセッサー21は、マーカーDB241のテーブルT1に新規レコードを追加し、当該新規レコードの各フィールドの値を、当該登録情報に含まれる値にする。また、プロセッサー21は、登録情報に削除情報が含まれる場合には、削除情報に含まれるマーカーIDと同じマーカーIDであるマーカーを、マーカーDB241から削除する。
ACT62においてプロセッサー11は、未選択の端末装置10があるか否かを判定する。プロセッサー11は、未選択の端末装置10があるならば、ACT62においてYesと判定してACT58へと戻る。対して、プロセッサー11は、未選択の端末装置10がないならば、ACT62においてNoと判定してACT51へと戻る。
以上のように、プロセッサー21は、未選択の端末装置10が無くなるまでACT59〜ACT62を繰り返すことで、同期モードが有効な端末装置10それぞれに登録情報を送信する。
ACT15においてプロセッサー11は、ACT14で取得した計測値に基づきトラッキングを行う。これにより、プロセッサー11は、マーカーによるトラッキングを行っていない間も端末装置10の位置が分かる。
ACT18においてプロセッサー11は、登録モードの終了条件を満たしたか否かを判定する。プロセッサー11は、登録モードの終了条件を満たしていないならば、ACT18においてNoと判定してACT11へと戻る。
上記の実施形態では、端末装置10のプロセッサー11がACT26において切り抜く画像の形状は長方形である。しかしながら、プロセッサー11は、円形などのその他の形状で切り抜いても良い。
Claims (6)
- カメラで撮影した画像を取得する取得部と、
前記画像内からマーカーとして用いる第1の領域を切り抜く切り抜き部と、
前記第1の領域の特徴量及び位置を求める導出部と、
前記第1の領域の特徴量及び位置を記憶する記憶部と、
前記記憶部に記憶された特徴量を用いて前記画像内に前記第1の領域が映っていることを判定し、前記第1の領域が映っていると判定した前記画像及び前記第1の領域の位置を用いて前記カメラの位置を求める位置推定部と、を備える情報処理装置。 - 前記記憶部は、第2の領域の特徴量及び位置を記憶し、
導出部によって求められた前記第1の領域の位置が、前記記憶部に記憶された前記第2の領域の位置と同じである場合、前記第2の領域の特徴量及び位置を削除する削除部をさらに備える、請求項1に記載の情報処理装置。 - 前記導出部は、前記第1の領域の前記カメラに対する相対姿勢を求め、
前記記憶部は、前記第2の領域の相対姿勢を記憶し、
前記削除部は、前記導出部によって求められた前記第1の領域の位置及び相対姿勢が、前記第2の領域の位置及び相対姿勢と同じであると判定する場合、前記第2の領域の特徴量、位置及び相対姿勢を削除する、請求項2に記載の情報処理装置。 - 導出部によって求められた前記第1の領域の位置が、前記記憶部に記憶された前記第1の領域の位置と異なる場合、前記記憶部に記憶された前記第1の領域の位置を変更する変更部をさらに備える、請求項1乃至請求項3のいずれか1項に記載の情報処理装置。
- 前記記憶部は、登録モードが有効である場合、前記第1の領域の特徴量及び位置を記憶し、登録モードが有効でない場合、前記第1の領域の特徴量及び位置を記憶しない、請求項1乃至請求項4のいずれか1項に記載の情報処理装置。
- カメラで撮影した画像を取得する取得部と、
前記画像内からマーカーとして用いる第1の領域を切り抜く切り抜き部と、
前記第1の領域の特徴量及び位置を求める導出部と、
前記第1の領域の特徴量及び位置を記憶する記憶部と、
前記記憶部に記憶された特徴量を用いて前記画像内に前記第1の領域が映っていることを判定し、前記第1の領域が映っていると判定した前記画像及び前記第1の領域の位置を用いて前記カメラの位置を求める位置推定部と、して機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019173475A JP2021051497A (ja) | 2019-09-24 | 2019-09-24 | 情報処理装置及びプログラム |
US16/911,347 US11321933B2 (en) | 2019-09-24 | 2020-06-24 | Information processing apparatus configured to determine a location of a candidate for a marker for augmented reality |
EP20190150.1A EP3798905A1 (en) | 2019-09-24 | 2020-08-07 | Information processing apparatus, method performed thereby, and information processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019173475A JP2021051497A (ja) | 2019-09-24 | 2019-09-24 | 情報処理装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021051497A true JP2021051497A (ja) | 2021-04-01 |
Family
ID=72145214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019173475A Pending JP2021051497A (ja) | 2019-09-24 | 2019-09-24 | 情報処理装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11321933B2 (ja) |
EP (1) | EP3798905A1 (ja) |
JP (1) | JP2021051497A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006172016A (ja) * | 2004-12-14 | 2006-06-29 | Toshiba Corp | 移動ロボット、移動ロボット制御方法および移動ロボット制御プログラム |
US20110064312A1 (en) * | 2009-09-14 | 2011-03-17 | Janky James M | Image-based georeferencing |
JP2013164754A (ja) * | 2012-02-10 | 2013-08-22 | Fujitsu Ltd | 画像処理装置、事前情報更新方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8350871B2 (en) * | 2009-02-04 | 2013-01-08 | Motorola Mobility Llc | Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system |
JP2013225245A (ja) | 2012-04-23 | 2013-10-31 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP6424601B2 (ja) | 2014-12-10 | 2018-11-21 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
US9918204B1 (en) * | 2015-12-08 | 2018-03-13 | Bentley Systems, Incorporated | High accuracy indoor tracking |
JP2017162013A (ja) | 2016-03-07 | 2017-09-14 | 富士通株式会社 | 情報処理システム、情報処理方法及び情報処理プログラム |
EP3803688A4 (en) * | 2018-06-05 | 2021-08-04 | Magic Leap, Inc. | MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT |
US20200334901A1 (en) * | 2019-04-19 | 2020-10-22 | Hover Inc. | Thresholds for change identification when comparing imagery |
-
2019
- 2019-09-24 JP JP2019173475A patent/JP2021051497A/ja active Pending
-
2020
- 2020-06-24 US US16/911,347 patent/US11321933B2/en active Active
- 2020-08-07 EP EP20190150.1A patent/EP3798905A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006172016A (ja) * | 2004-12-14 | 2006-06-29 | Toshiba Corp | 移動ロボット、移動ロボット制御方法および移動ロボット制御プログラム |
US20110064312A1 (en) * | 2009-09-14 | 2011-03-17 | Janky James M | Image-based georeferencing |
JP2013164754A (ja) * | 2012-02-10 | 2013-08-22 | Fujitsu Ltd | 画像処理装置、事前情報更新方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210090350A1 (en) | 2021-03-25 |
EP3798905A1 (en) | 2021-03-31 |
US11321933B2 (en) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230056006A1 (en) | Display of a live scene and auxiliary object | |
JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
CN107656961B (zh) | 一种信息显示方法及装置 | |
US20220076469A1 (en) | Information display device and information display program | |
US10147231B2 (en) | System and terminal device for sharing moving virtual images and method thereof | |
US8170784B2 (en) | Method and apparatus for moving content to mobile devices | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN107766476B (zh) | 基于楼块数据的众包数据处理方法、装置、设备及存储介质 | |
JP2014209680A (ja) | 土地境界表示プログラム、方法、及び端末装置 | |
JP5379043B2 (ja) | 三次元位置情報生成装置、方法及びプログラム | |
JP5837404B2 (ja) | 画像処理装置、画像処理方法 | |
JP7493572B2 (ja) | 基地局および遠隔管理装置 | |
JP2021051497A (ja) | 情報処理装置及びプログラム | |
JP2021051498A (ja) | 情報処理システム、情報処理装置及びプログラム | |
CN107806862B (zh) | 航测外业测量方法及系统 | |
EP3956690B1 (en) | System and method for converging mediated reality positioning data and geographic positioning data | |
JP7404011B2 (ja) | 情報処理装置 | |
JP2015207168A (ja) | 情報提示システム、方法及びプログラム | |
JP2011113127A (ja) | オブジェクト位置決め装置及びオブジェクト位置決め方法 | |
JP5634925B2 (ja) | 整備情報表示装置、整備情報表示方法、及びプログラム | |
JP5285650B2 (ja) | 情報提供システム、高度情報取得システム、高度情報取得装置及びプログラム | |
JP2005134242A (ja) | ナビゲーションシステム、ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム | |
JP2011164701A (ja) | オブジェクト表示制御装置及びオブジェクト表示制御方法 | |
JP2019138751A (ja) | 地図補完装置および地図補完プログラム | |
CN107704579B (zh) | 基于路网的众包数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240213 |