JP2020537119A - 画像及び電波単語に基づく移動機器の改良された位置認識 - Google Patents
画像及び電波単語に基づく移動機器の改良された位置認識 Download PDFInfo
- Publication number
- JP2020537119A JP2020537119A JP2020516684A JP2020516684A JP2020537119A JP 2020537119 A JP2020537119 A JP 2020537119A JP 2020516684 A JP2020516684 A JP 2020516684A JP 2020516684 A JP2020516684 A JP 2020516684A JP 2020537119 A JP2020537119 A JP 2020537119A
- Authority
- JP
- Japan
- Prior art keywords
- mobile device
- radio
- word
- reference position
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0252—Radio frequency fingerprinting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/024—Guidance services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
- H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
Description
−例えば自身の目、耳及び両肩にLEDと、
−自身の耳に配置された拡声器を例えば2個含んでいてよい。
−Zkはステップkにおける観測ベクトル、
−Zkはステップkまでの観測ベクトルの集合(逆に、Zk−1はステップk−1までの観測ベクトルの集合)、
−p(Zk│Li,Zk−1)は、より簡略にp(Zk│Li)と表記でき、ステップkで位置Liから観測ベクトルを観測する確率、
−p(Li│Zk−1)は、以前のステップにおける観測の集合Zk−1に基づいて位置Liに存在する確率であり、この項は従って、以前の位置に関する知識及びトポロジカルノードの関係を用いて現在位置を推測可能にし、
−p(Zk│Zk−1)は正規化項とも呼ばれ、以前の観測ベクトルの集合Zk−1に基づいて観測ベクトルZkを観測する大域的確率を与える。
上述の正規化ステップの項p(Li│Zk−1)及びp(Zk│Zk−1)は、例えばCummins,M.,&Newman,P.(2008).FAB−MAP:Probabilistic localization and mapping in the space of appearance.The International Journal of Robotics Research,27(6),647−665及びCummins,M.,&Newman,P.(2011).Appearance−only SLAM at large scale with FAB−MAP 2.0.The International Journal of Robotics Research,30(9),1100−1123に開示されているFABMAPアルゴリズムで用いられている正規化と同様の仕方で計算することができる。
−曲線510a、510b及び511b:本発明による位置認識方法の距離に応じたエラー率の変化、
−曲線520a、520b及び521b:視覚的位置認識を順次実行し、次いでWi−Fi情報に基づいて位置認識を確認する位置認識方法の距離に応じたエラー率の変化
−曲線530a、530b及び531b:視覚的情報のみに基づく位置認識方法の距離に応じたエラー率の変化、
−曲線540a、540b及び541b:Wi−Fiに基づく位置認識を行い、次いで視覚的情報を用いて当該位置認識の精度を高める位置認識方法の距離に応じたエラー率の変化、
−曲線550a、550b及び551b:Wi−Fiに基づく位置認識と視覚に基づく位置認識を別々に実行し、次いで粒子フィルタを用いて情報を融合する位置認識方法の距離に応じたエラー率の変化、
−曲線560a、560b及び561b:Wi−Fiのみに基づく位置認識方法の距離に応じたエラー率の変化。
図5a、5bは、本発明の位置認識方法が、他の全ての視覚的、Wi−Fi又は混合方法よりも、全ての距離で顕著に良好な位置認識結果をもたらすことを明らかに示している。
Claims (15)
- −1個以上のデジタル画像センサ(210)と、
−電波受信機(20)と、
−以下の集合、すなわち
・視覚的単語の集合(333)、
・電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合(334)、
・対応する基準位置における視覚的単語及び電波単語の有無を各々決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合、
を保存する1個以上のメモリ(230)への通信リンクと、
−以下の適合機能、すなわち
・前記1個以上のデジタル画像センサから前記移動機器の環境の画像(310)を取得する適合機能(241)、
・前記電波受信機を用いて受信可能な電波送信機(320)を検知する適合機能(242)、
・前記画像内における前記視覚的単語(331)の有無を決定するバイナリ値(335)、及び受信可能な電波送信機内における電波単語(332)の有無を決定するバイナリ値(336)を含む観測ベクトル(330)を生成する適合機能(243)、
・前記観測ベクトル及び前記基準位置ベクトルに基づいて少なくとも前記基準位置の集合における前記移動機器の現在位置を判定する適合機能(244,344)、
を含む処理ロジック(240)への通信リンクを含む移動機器(200)。 - 前記移動機器の現在位置を判定する前記適合機能が、ある基準位置ベクトルに対して、前記移動機器が前記対応する基準位置に存在する場合に前記観測ベクトルを観測する尤度の計算を実行する適合機能を含んでいる、請求項1に記載の移動機器。
- 前記基準位置ベクトル対する、前記移動機器が前記対応する基準位置に存在する場合に前記観測ベクトルを観測する可能性の前記計算が、前記観測ベクトル、前記基準位置ベクトル、及び前記観測及び基準位置ベクトルの要素の相関木に基づいている、請求項2に記載の移動機器。
- 前記処理ロジックが更に、前記移動機器の現在位置が前記基準位置のうち1個に存在するか否かを判定する前記適合機能により、前記移動機器が前記基準位置のいずれにも存在しないと判定された場合、前記基準位置の集合に、前記観測ベクトルを基準位置ベクトルとして有する更なる基準位置を追加する適合機能を含んでいる、請求項1〜3のいずれか1項に記載の移動機器。
- 前記電波単語の集合が、前記環境の探索中に電波送信機の検知を含む単一の訓練フェーズ中に構築される、請求項1〜4のいずれか1項に記載の移動機器。
- 前記処理ロジックが更に、前記電波受信機を用いて受信可能な電波送信機を検知する前記適合機能が、どの電波単語にも関連付けられていない受信可能な電波送信機を検知した場合、前記受信可能な電波送信機に関連付けられた電波単語を前記電波単語の集合に追加する適合機能を含んでいる、請求項1〜5のいずれか1項に記載の移動機器。
- 前記受信可能な電波送信機に関連付けられた電波単語を追加する前記適合機能が、
−現在位置に前記対応する基準ベクトルにおける前記電波単語の存在を示すバイナリ値と、
−他の基準位置の各々に前記電波単語が存在しないことを示すバイナリ値を
追加すべく前記基準位置ベクトルを変更する適合機能を含んでいる、請求項4に依存する、請求項6に記載の移動機器。 - 前記移動機器の現在位置を判定する前記適合機能が、各基準位置に対して、前記移動機器が前記基準位置に存在する場合に、前記基準位置ベクトル及び、観測ベクトルと基準ベクトルの要素同士の相関に基づいて、前記観測ベクトルを観測する尤度を計算する適合機能を含んでいる、請求項2に依存する、請求項2〜7のいずれか1項に記載の移動機器。
- 各基準位置に対して、前記移動機器が前記基準位置に存在する場合に前記観測ベクトルを観測する尤度を計算する前記適合機能が、視覚的単語に関連付けられた要素と、電波単語に関連付けられた要素との相関を別々計算する適合機能を含んでいる、請求項8に記載の移動機器。
- 前記移動機器の現在位置を判定する前記適合機能が、少なくとも前記電波単語の集合から無作為に生成された受信可能な電波送信機の人為的なリストを用いて構築された人為的な基準位置ベクトルの集合に基づいて、前記移動機器が未知の位置に存在する場合に前記観測ベクトルを観測する確率を計算する適合機能を含んでいる、請求項9に記載の移動機器。
- −前記電波単語が更に、前記対応する電波送信機から受信した信号強度の範囲により決定され、
−観測ベクトルを生成する前記適合機能が、対応する電波送信機から前記電波受信機が対応する信号強度の信号を受信したならば前記電波単語が前記観測ベクトルに存在することを示す適合機能を含んでいる、請求項1〜10のいずれか1項に記載の移動機器。 - 前記移動機器の現在位置を判定する前記適合機能が更に、
−前記観測ベクトル及び前記基準位置ベクトルに基づいて前記移動機器が各基準位置に存在する確率(350)を計算し、
−前記移動機器の現在位置が最も高い確率を有する基準位置であると判定する適合機能を含んでいる、請求項1〜11のいずれか1項に記載の移動機器。 - −前記移動機器が各基準位置に存在する確率を計算する前記適合機能が更に、前記移動機器が未知の位置に存在する確率を計算する適合機能を含み、
−前記移動機器が前記基準位置に存在する確率、及び前記移動機器が未知の位置に存在する確率の和が1に等しい、請求項12に記載の移動機器。 - −移動機器の環境の画像を、前記移動機器に搭載された1個以上のデジタル画像センサから取得するステップ(610)と、
−前記移動機器に搭載された電波受信機を用いて受信可能な電波送信機を検知するステップ(620)と、
−以下の集合、すなわち
・視覚的単語の集合(333)、
・電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合(334)、
・前記対応する基準位置における視覚的単語及び電波単語の有無を決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合、
を保存するメモリにアクセスするステップ(630)と、
−前記画像内における視覚的単語の有無を決定するバイナリ値(335)、及び受信可能な電波送信機内における電波単語の有無を決定するバイナリ値(336)を含む観測ベクトルを生成するステップ(640)と、
−前記観測ベクトル及び前記基準位置ベクトルに基づいて、前記移動機器の現在位置が前記基準位置の1つに存在するか否かを判定するステップ(650)を含む方法(600)。 - −移動機器の環境の画像を、前記移動機器に搭載された1個以上のデジタル画像センサから取得し、
−前記移動機器に搭載された電波受信機を用いて受信可能な電波送信機を検知し、
−以下の集合、すなわち
・視覚的単語の集合、
・電波単語が少なくとも電波送信機の識別子により決定される電波単語の集合、
・前記対応する基準位置における視覚的単語及び電波単語の有無を決定するバイナリ値を含む基準位置ベクトルが各々の基準位置に関連付けられている基準位置の集合、
を保存するメモリにアクセスし、
−前記画像内における視覚的単語の有無を決定するバイナリ値、及び受信可能な電波送信機を用いて電波単語の有無を決定するバイナリ値を含む観測ベクトルを生成して、
−前記観測ベクトル及び前記基準位置ベクトルに基づいて前記移動機器の現在位置が前記基準位置の1個に存在するか否かを判定すべく構成されたコンピュータコード命令を含むコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17306252.2 | 2017-09-22 | ||
EP17306252.2A EP3460400B1 (en) | 2017-09-22 | 2017-09-22 | Improved localization of a mobile device based on image and radio words |
PCT/EP2018/075739 WO2019057954A1 (en) | 2017-09-22 | 2018-09-24 | ENHANCED LOCATION OF A MOBILE DEVICE BASED ON IMAGE AND RADIO WORDS |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537119A true JP2020537119A (ja) | 2020-12-17 |
JP6991317B2 JP6991317B2 (ja) | 2022-01-12 |
Family
ID=60083902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020516684A Active JP6991317B2 (ja) | 2017-09-22 | 2018-09-24 | 画像及び電波単語に基づく移動機器の改良された位置認識 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11076264B2 (ja) |
EP (1) | EP3460400B1 (ja) |
JP (1) | JP6991317B2 (ja) |
KR (1) | KR102406084B1 (ja) |
CN (1) | CN111630346B (ja) |
AU (1) | AU2018335369A1 (ja) |
CA (1) | CA3076372A1 (ja) |
WO (1) | WO2019057954A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230004797A1 (en) * | 2020-03-10 | 2023-01-05 | Sri International | Physics-guided deep multimodal embeddings for task-specific data exploitation |
CN112325883B (zh) * | 2020-10-19 | 2022-06-21 | 湖南大学 | 一种WiFi和视觉多源融合的移动机器人室内定位方法 |
US20230232183A1 (en) * | 2022-01-19 | 2023-07-20 | Qualcomm Incorporated | Determining communication nodes for radio frequency (rf) sensing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011094992A (ja) * | 2009-10-27 | 2011-05-12 | Jvc Kenwood Holdings Inc | ナビゲーション装置、ナビゲーション方法、およびナビゲーションプログラム |
US20130195314A1 (en) * | 2010-05-19 | 2013-08-01 | Nokia Corporation | Physically-constrained radiomaps |
WO2017037423A1 (en) * | 2015-08-28 | 2017-03-09 | Imperial College Of Science, Technology And Medicine | Mapping a space using a multi-directional camera |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7304585B2 (en) * | 2004-07-02 | 2007-12-04 | Nokia Corporation | Initiation of actions with compressed action language representations |
US8938355B2 (en) * | 2009-03-13 | 2015-01-20 | Qualcomm Incorporated | Human assisted techniques for providing local maps and location-specific annotated data |
US8615254B2 (en) * | 2010-08-18 | 2013-12-24 | Nearbuy Systems, Inc. | Target localization utilizing wireless and camera sensor fusion |
US9262699B2 (en) * | 2012-07-19 | 2016-02-16 | Qualcomm Incorporated | Method of handling complex variants of words through prefix-tree based decoding for Devanagiri OCR |
US9846227B2 (en) * | 2013-03-15 | 2017-12-19 | Kirill Mostov | Multi-sensor surveillance system for monitoring a space and detection of objects |
US20160255139A1 (en) * | 2016-03-12 | 2016-09-01 | Yogesh Chunilal Rathod | Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s) |
CN103712617B (zh) * | 2013-12-18 | 2016-08-24 | 北京工业大学 | 一种基于视觉内容的多层语义地图的创建方法 |
EP2952300A1 (en) | 2014-06-05 | 2015-12-09 | Aldebaran Robotics | Collision detection |
EP2952993B1 (en) | 2014-06-05 | 2018-04-25 | Softbank Robotics Europe | Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot |
US10217120B1 (en) * | 2015-04-21 | 2019-02-26 | Videomining Corporation | Method and system for in-store shopper behavior analysis with multi-modal sensor fusion |
US9772395B2 (en) * | 2015-09-25 | 2017-09-26 | Intel Corporation | Vision and radio fusion based precise indoor localization |
-
2017
- 2017-09-22 EP EP17306252.2A patent/EP3460400B1/en active Active
-
2018
- 2018-09-24 JP JP2020516684A patent/JP6991317B2/ja active Active
- 2018-09-24 WO PCT/EP2018/075739 patent/WO2019057954A1/en active Application Filing
- 2018-09-24 US US16/648,642 patent/US11076264B2/en active Active
- 2018-09-24 AU AU2018335369A patent/AU2018335369A1/en not_active Abandoned
- 2018-09-24 CN CN201880060739.8A patent/CN111630346B/zh active Active
- 2018-09-24 CA CA3076372A patent/CA3076372A1/en not_active Abandoned
- 2018-09-24 KR KR1020207008383A patent/KR102406084B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011094992A (ja) * | 2009-10-27 | 2011-05-12 | Jvc Kenwood Holdings Inc | ナビゲーション装置、ナビゲーション方法、およびナビゲーションプログラム |
US20130195314A1 (en) * | 2010-05-19 | 2013-08-01 | Nokia Corporation | Physically-constrained radiomaps |
WO2017037423A1 (en) * | 2015-08-28 | 2017-03-09 | Imperial College Of Science, Technology And Medicine | Mapping a space using a multi-directional camera |
Also Published As
Publication number | Publication date |
---|---|
AU2018335369A1 (en) | 2020-04-16 |
WO2019057954A1 (en) | 2019-03-28 |
EP3460400A1 (en) | 2019-03-27 |
KR20200094729A (ko) | 2020-08-07 |
US20200236504A1 (en) | 2020-07-23 |
US11076264B2 (en) | 2021-07-27 |
CN111630346B (zh) | 2024-02-09 |
JP6991317B2 (ja) | 2022-01-12 |
CN111630346A (zh) | 2020-09-04 |
CA3076372A1 (en) | 2019-03-28 |
KR102406084B1 (ko) | 2022-06-07 |
EP3460400B1 (en) | 2021-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6991317B2 (ja) | 画像及び電波単語に基づく移動機器の改良された位置認識 | |
Papaioannou et al. | Fusion of radio and camera sensor data for accurate indoor positioning | |
JP2021530821A (ja) | 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム | |
US10197399B2 (en) | Method for localizing a robot in a localization plane | |
Hashemifar et al. | Augmenting visual SLAM with Wi-Fi sensing for indoor applications | |
Radke | A survey of distributed computer vision algorithms | |
Jang et al. | Survey of landmark-based indoor positioning technologies | |
US11561553B1 (en) | System and method of providing a multi-modal localization for an object | |
Wang et al. | Finding misplaced items using a mobile robot in a smart home environment | |
Anjum | Camera localization in distributed networks using trajectory estimation | |
Kim et al. | InFo: indoor localization using fusion of visual information from static and dynamic cameras | |
US20220413512A1 (en) | Information processing device, information processing method, and information processing program | |
CN115112123A (zh) | 基于视觉-imu融合的多移动机器人协同定位方法及系统 | |
Liu et al. | An efficient and effective localization method for networked disjoint top-view cameras | |
Faria | Sensor Fusion for Mobile Robot Localization Using UWB and ArUco Markers | |
KR101917362B1 (ko) | 시각 장애인용 실내 위치기반 서비스 시스템 | |
Jia et al. | Robot localization in indoor environments using radio frequency identification technology and stereo vision | |
Wang et al. | Localization with laser range finder in a metrically inconsistent map from monocular slam | |
Henken | Indoor-localization using a mobile phone | |
Menegatti et al. | Discovery, localization and recognition of smart objects by a mobile robot | |
Karabey et al. | Utilization of room-to-room transition time in Wi-Fi fingerprint-based indoor localization | |
Petrou et al. | RoboCup Rescue 2015-Robot League Team PANDORA (Greece) | |
Miao et al. | [Retracted] Privacy‐Oriented Successive Approximation Image Position Follower Processing | |
Zhu et al. | Navigating in signal space: A crowd-sourced sensing map construction for navigation | |
Iocchi et al. | Smart monitoring of complex public scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6991317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |