JP2021517284A - 室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体 - Google Patents

室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体 Download PDF

Info

Publication number
JP2021517284A
JP2021517284A JP2020528385A JP2020528385A JP2021517284A JP 2021517284 A JP2021517284 A JP 2021517284A JP 2020528385 A JP2020528385 A JP 2020528385A JP 2020528385 A JP2020528385 A JP 2020528385A JP 2021517284 A JP2021517284 A JP 2021517284A
Authority
JP
Japan
Prior art keywords
positioning
matching
keyframe
waiting
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020528385A
Other languages
English (en)
Other versions
JP7247186B2 (ja
Inventor
月 李
月 李
童 ▲劉▼
童 ▲劉▼
景涛 ▲許▼
景涛 ▲許▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of JP2021517284A publication Critical patent/JP2021517284A/ja
Application granted granted Critical
Publication of JP7247186B2 publication Critical patent/JP7247186B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/01—Determining conditions which influence positioning, e.g. radio environment, state of motion or energy consumption
    • G01S5/011—Identifying the radio environment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/02—Indoor

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)

Abstract

本発明では、室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能記憶媒体が公開されている。当該室内位置決め方法は、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定し、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めすることを含む。

Description

関連出願の相互参照
本発明は、2018年3月26日に提出された、中国特許出願NO. 201810253021.2の優先権を主張し、公開されている内容は引用して本発明に組み込まれている。
本発明は室内位置決め技術分野に属し、具体的には室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体に関するものである。
データ業務とマルチメディア業務の急速な増加に伴い、人々の位置決めとナビゲーションに対する需要が日増しに増大している。特に、ビル、空港ホール、ショールーム、スーパーマーケット、図書館、地下駐車場などの複雑な室内環境において、携帯端末またはその所有者、施設と物品の室内における位置情報を確定する必要があることから、視覚位置決め技術と無線位置決め技術が現れた。
本発明の解決しようとする技術課題は、従来技術における上記不備に対するものであり、室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体を提供するものである。
第1方面において、本発明実施例は、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定し、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするステップを含む、室内位置決め方法を提供する。
本発明の一実施例において、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するステップは、無線位置決め技術を用いて、ターゲットの第1の位置座標を決定するステップと、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップと、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するステップとを備え、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して第1のマッチング待ちキーフレームグループを取得する。
本発明の一実施例において、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするステップは、短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めして第1の位置決め結果を得るステップと、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得るステップと、第2の位置決め結果を用いて第1の位置決め結果を校正するステップとを含む。
本発明の一実施例において、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップは、第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップと、

Figure 2021517284
そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標であり、（xa、ya）はターゲットの第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループである。
本発明の一実施例において、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するステップは、ターゲット画像の現在のフレームを取得し、現在のフレームの視覚単語を決定するステップと、第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、スコアが最も高いマッチング待ちキーフレームとターゲット画像の現在のフレームを基に、前記ターゲットの初期位置を算出するステップとを含む。
本発明の一実施例において、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得るステップは、第4のマッチング待ちキーフレームグループを取得するために、第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングするステップと、第4のマッチング待ちキーフレームグループを用いて、且つ初期位置に基づいてターゲットの第2の位置決め結果を算出するステップとを含み、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第3のマッチング待ちキーフレームグループを取得する。
本発明の一実施例において、第1の位置決め結果を用いて視覚特徴マップにおける第3のマッチング待ちキーフレームをフィルタリングして形成される第4のマッチング待ちキーフレームグループのステップは、第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップを含み、

Figure 2021517284
そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループである。
本発明の一実施例において、第4のマッチング待ちキーフレームグループを用いて、且つ初期位置を基にターゲットの第2の位置決め結果を算出するステップは、ターゲット画像の現在のフレームを取得し、現在のフレームの視覚単語を決定するステップと、第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、第4のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、スコアが最も高いマッチング待ちキーフレームとターゲット画像の現在のフレームを基に、初期位置に対する現在のフレームの座標変換行列を算出するステップと、座標変換行列を基にターゲットの第2の位置決め結果を算出するステップとを含む。
本発明の一実施例において、第2の位置決め結果を用いて第1の位置決め結果を校正するステップは、拡張カルマンフィルタリングアルゴリズムを用いて、第1の位置決め結果と第2の位置決め結果をデータ融合するステップであり、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得るステップを含む。
本発明の一実施例において、ターゲットのある室内環境の視覚特徴マップを構築することをさらに含む。
別の方面では、本発明の実施例には、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するように配置された位置決め初期化部材と、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするように配置されたオンライン位置決め部材とを含む、室内位置決めシステムを提供する。
本発明の一実施例において、位置決め初期化部材は、無線位置決め技術を用いてターゲットの第1の位置座標を決定するように配置された第1の位置決め部材と、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、且つ第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するように配置された第2の位置決め部材とを備え、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して第1のマッチング待ちキーフレームグループを取得する。
本発明の一実施例において、オンライン位置決め部材は、短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めして第1の位置決め結果を得るように配置された第3の位置決め部材と、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得て、且つ第2の位置決め結果を用いて第1の位置決め結果を校正するように配置された第4の位置決め部材とを備える。
本発明の一実施例において、第2の位置決め部材は、第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、

Figure 2021517284
そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、（xa、ya）はターゲットの第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループであるように配置された第1のフィルタ部材と、第2のマッチング待ちキーフレームを用いてターゲットの初期位置を算出するように配置された第1の算出部材とをさらに備える。
本発明の一実施例において、第4の位置決め部材は、第4のマッチング待ちキーフレームグループを取得するために、第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングし、且つ第4のマッチング待ちキーフレームグループを用いて初期位置を基にターゲットの第2の位置決め結果を算出するように配置されたサブ位置決め部材と、所定の時間ごとに、前記サブ位置決め部材の操作を触発するように配置されたタイミング部材と、第2の位置決め結果を用いて第1の位置決め結果を校正するように配置され校正部材とを備え、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して第3のマッチング待ちキーフレームグループを取得する。
本発明の一実施例において、サブ位置決め部材は、第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、

Figure 2021517284
そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループであるように配置された第2のフィルタ部材と、第4のマッチング待ちキーフレームグループを用いて、且つ初期位置を基にターゲットの第2の位置決め結果を算出するように配置された第2の算出部材とを備える。
本発明の一実施例において、校正部材は、拡張カルマンフィルタリングアルゴリズムを用いて、第1の位置決め結果と第2の位置決め結果をデータ融合するように配置され、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得る。
さらに別の方面では、本発明の実施例において1つまたは複数のプロセッサと、1つまたは複数のメモリとを備え、そのうち、メモリはコンピュータ実行可能指令を記憶し、実行可能指令がプロセッサにより実行される際に室内位置決め方法を実行する、室内位置決めデバイスを提供する。
さらに別の方面では、本発明の実施例において、コンピュータ読み取り可能媒体はコンピュータ実行可能指令を記憶し、且つ実行可能指令がプロセッサにより実行される際に室内位置決め方法を実行する、コンピュータ読み取り可能媒体を提供する。
本発明実施例において提供される室内位置決め方法のフロー図である。 本発明実施例において提供される室内位置決め方法の位置決め初期化段階のフロー図である。 本発明実施例において提供される室内位置決め方法のステップS13のフロー図である。 本発明実施例において提供される室内位置決め方法のステップS2のフロー図である。 本発明実施例において提供される室内位置決め方法のステップS22のフロー図である。 本発明実施例において提供される室内位置決め方法のステップS222のフロー図である。 本発明実施例において提供される室内位置決めシステムのブロック図である。 本発明実施例において提供される室内位置決めシステムのもう1つのブロック図である。 本発明実施例において提供される上記室内位置決めシステムを含むデバイスの例示的なブロック図である。
当業者が本発明の技術案をよりよく理解するために、本発明の目的、技術案および利点をより明確にするために、以下に図面と具体的な実施形態とを組み合わせて本発明をさらに詳しく説明する。
データ業務とマルチメディア業務の急速な増加に伴い、人々の位置決めとナビゲーションに対する需要が日増しに増大している。特に、ビル、空港ホール、ショールーム、スーパーマーケット、図書館、地下駐車場などの複雑な室内環境において、携帯端末またはその所有者、施設と物品の室内における位置情報を確定する必要があることから、視覚位置決め技術と無線位置決め技術が現れた。Bluetooth位置決め、RFID位置決め、wifi位置決めなどの無線に基づく位置決めの方法は、計算量が小さく、ユーザが携帯する携帯電話やタブレット端末でリアルタイムに位置決めすることができるが、位置決めの精度は高くなく、環境に邪魔されやすい。視覚に基づく位置決め方法は、位置決め精度は高いが、一般的には視覚特徴マップの検索、マッチング方法を通して位置決めされており、視覚特徴マップのデータ量が多く、ユーザの携帯する電子機器では実行できない。また、視覚による位置決め方法を用いれば、周囲の環境の類似度が高い（例えば、2つの内装スタイルが似ている部屋）場合、位置決めに失敗する可能性がある。如何にして位置決めの計算量を減少させるとともに、類似度が高い環境における位置決めミスを回避するかが、現在の解決すべき技術課題となっている。
図1は本発明の一実施例における室内位置決め方法のフロー図であり、本実施例の室内位置決め方法は通常、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するステップS1を含むことができる。
具体的には、無線位置決めは、Bluetooth位置決め、RFID位置決め、WiFi位置決めなどとすることができ、本実施例は、Bluetooth位置決めで説明する。そのうち、ターゲットは、例えば、携帯電話、タブレット、またはノートパソコンなどの室内環境にあるユーザが携帯するBluetoothおよび撮像機能を備えた電子機器であってもよい。ターゲットはBluetooth位置決めプログラム、フレーム間マッチングの視覚位置決めプログラムとデータ融合プログラムを実行するために使用される。ターゲットの初期位置は、ターゲットが室内環境に入った後、位置決めを行うときの位置を指す。
簡潔に説明するために、ステップS1（無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定する）を位置決め初期化段階と称する。
ターゲットの初期位置を基に短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするステップS2である。
簡潔に説明するために、ステップS2（ターゲットの初期位置を基に短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めする）をオンライン位置決め段階と称する。
位置決め初期化段階を実行する前に、本発明実施例の室内位置決め方法はターゲットのある室内環境の視覚特徴マップを構築することをさらに含む。視覚特徴マップの構築はターゲットのカメラを利用する。具体的には、ターゲットが置かれている室内環境全体に対して、カメラを介して室内環境画像データをカバーして収集する場合、カメラは水平面に対して斜め上に一定の角度を必要とし、本発明の一実施例では、角度は30°から45°であり、周囲の動態環境情報の収集を回避するのが目的である。これと同時に、ORB_SLAM（ORB_Simultaneous Localization And Mapping）アルゴリズム（「ORB-SLAM:A Versatile and Accurate Monocular SLAM System，in IEEE Transactionson Robotics，vol.31，no.5，pp.1147-1163，Oct.2015」ではORB_SLAMアルゴリズムが公開されている）を基に同期位置決めしてまばらな三次元特徴点マップの構築を行い、構築が完了すると、画像情報のキーフレームとマップの三次元特徴点の関連パラメータをサーバに保存し、構築されたオフラインマップデータとしてバックグラウンドサーバ端でロードとアプリケーションを行うことで、視覚特徴マップの構築を完了する。視覚オフラインマップ座標系は無線位置決めシステムの座標系と合わせる必要があり、2つの位置決めシステムが同じ世界座標系であることを保証する。サーバはターゲットを受信するデバイスから転送されたBluetooth位置決めデータと画像データに用いられ、オフラインマップデータとマッチング位置決めしてターゲットの位置決め座標値に戻る。
図2は本発明実施例において提供される室内位置決め方法の位置決め初期化段階のフロー図であり、具体的に、位置決め初期化段階は、
無線（例えば、Bluetooth）位置決め技術を用いて、ターゲットの第1の位置座標を決定するステップS11を備え、
3点重み付けセントロイドアルゴリズムを用いてターゲットを位置決めし、ターゲットの第1の位置座標を得る。無線位置決めは、Bluetooth位置決め、RFID位置決め、WiFi位置決めなどとすることができ、本実施例は、Bluetooth位置決めで説明する。具体的には、室内環境内においてブルートゥース（登録商標）ビーコンノードを配置することができ、任意で、3〜5メートルごとにブルートゥース（登録商標）ビーコンノードを配置し、一定の高さで、ターゲットはブルートゥース（登録商標）信号を受信して、信号強度が一番強い、またはターゲットと一番近い3つのビーコンをフィルタリングする。座標はそれぞれ（x1、y1）、（x2、y2）、（x3、y3）であり、ターゲットと上記の3つのビーコンまでの距離値は、それぞれd1、d2、d3であり、3点重み付けセントロイドアルゴリズムに基づいて、ターゲットの第1の位置座標（xa、ya）を求める。

Figure 2021517284
有線接続または無線接続を介して第1位置座標をサーバに送信する。
第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、第2のマッチング待ちキーフレームグループを取得し、そのうち、第2のマッチング待ちキーフレームグループの範囲は、第1のマッチング待ちキーフレームグループの範囲より小さいステップS12である。
具体的には、(xi、yi、zi)を、第1のマッチング待ちキーフレームグループの第iのマッチング待ちキーフレームの位置座標であり、視覚オフラインマップ座標系の原点に対する変換行列はTcwiであり、かつ(xi、yi、zi)T=Tcwi(x0、y0、z0)Tを満たし、そのうち、(x0、y0、z0)を、視覚オフラインマップ座標系の原点とし、(xa、ya)はターゲットの第1の位置座標であり、ΔdはBluetooth位置決めの最大の位置ミスであり、マッチング待ちキーフレームは同時に以下の関係式を満たす場合、

Figure 2021517284
マッチング待ちキーフレームは、信頼可能範囲内にあるとみなされ、当該マッチング待ちキーフレームを保留する。そうでなければ、マッチング待ちキーフレームを削除し、最後に保留されたすべてのマッチング待ちキーフレームの集合を、第2のマッチング待ちキーフレームグループとする。そのうち、第2のマッチング待ちキーフレームグループの範囲は、第1のマッチング待ちキーフレームグループの範囲より小さく、すなわち、第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの数は、第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの数より小さい。なお、本出願の実施例において、マッチング待ちキーフレームの座標xとyだけが上記の関係を満たす必要があり、これは、無線位置決め段階で決定されるのは、ある高さでの平面上の座標、すなわち、zがある固定値であるからである。
ステップS12の前に、第1のマッチング待ちキーフレームグループを取得することをさらに含む。
具体的には、まず、有線接続または無線接続を介してサーバに送信されるオフラインマップデータとターゲット画像に対してORB（Orinted FAST and Rotated BRAIEF）の特徴を抽出し、対応する視覚単語を取得する。そして、オフラインマップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを候補フレームとして探し出すことで、第1のマッチング待ちキーフレームグループを構成する。
第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するステップS13である。図3を参照して、図2で説明したステップS13の具体的な流れについて説明する。図3は、本発明の実施例において提供される室内位置決め方法のステップS13のフロー図である。
具体的には、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するには、
ターゲット画像の現在のフレームを取得し、現在のフレームの視覚単語を決定するS131と、
第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度を基に、第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点し、最的なキーフレームグループを取得するS132と、を備える。
具体的には、第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの同じ視覚単語を有する単語数を統計してから、マッチング待ちキーフレームから同じ視覚単語を有する単語数が第1の閾値よりも大きく、且つ単語の整合度が第2の閾値よりも大きいマッチング待ちキーフレームを選択し、共視フレームとする。各共視フレームは、いずれも自分との共視度が最も高い（即ち、同じ視覚単語を持つ単語数が最大であり、単語の整合度が大きい）最初の10フレームを1つのグループにまとめ、累積スコアを算出し、最終的なマッチング待ちキーフレームとして最後にグループスコアが最も高いマッチング待ちキーフレームを選択する。
上記内容は視覚単語が同じ数と、視覚単語の整合度とを組み合わせた採点方法であるの過ぎないが、本発明の実施例はこれに限定されない。本発明のその他の実施例では、最終的なマッチング待ちキーフレームを得るために、視覚単語の同じ数だけを基に採点しても良いし、または視覚単語の整合度だけを基に採点しても良い。
最終的なマッチング待ちキーフレームとターゲット画像の現在のフレームを基にターゲットの初期位置を算出するS133である。
具体的には、ターゲットの現在のフレームと最終的なマッチング待ちキーフレームに対し、EPnPアルゴリズムに基づく姿勢反復推定を行い、最後に視覚オフラインマップ座標系の原点に対する現在のフレームの座標変換行列を求め、さらにターゲットの現在のフレームの座標、即ち、ターゲットの初期位置を決定し、位置決め初期化段階を完了する。そのうち、EPnPアルゴリズムは、ORB−SLAMにおいて、主に現在のカメラの初期姿勢を迅速に確立するために使用される。そして、EPnPアルゴリズムに基づく姿勢反復推定をデバイス端で行う。
位置決め初期化段階において、無線位置決め技術を利用してターゲットを大まかに位置決めし、ターゲットの第1の位置座標を得て、第1の位置座標を用いて視覚特徴マップにおける第1のマッチング待ちキーフレームグループのマッチング待ちキーフレームをスクリーニングし、マッチング待ちキーフレームの範囲を大幅に縮小し、計算量を低減し、ターゲットの初期位置の求解速度を向上させるとともに、視覚位置決めにおける高い類似度環境でのマッチングミスを効果的に回避する。
図4を参照して、図1で説明したオンライン位置決め段階の具体的な流れについて説明する。図4は、本発明の実施例において提供される室内位置決め方法のオンライン位置決め段階のフロー図である。
図4に示すように、オンライン位置決め段階は、具体的に、
短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めし、第1の位置決め結果を得るS21を含む。
具体的には、ターゲットのデバイスのカメラを通して、ターゲットの現在の位置の画像をリアルタイムに収集し、現在の位置の画像からターゲットの現在のフレームを取得し、フレーム間特徴マッチングの方法を用いて、前フレームに対応するターゲットの位置座標と組み合わせて、ターゲットをオンラインで位置決めし、第1の位置決め結果を得る。そのうち、オンライン位置決め段階の初期時刻において、前フレームに対応するターゲットの位置は位置決め初期化段階で得られたターゲットの初期位置である。しかしながら、次の時刻において、前フレームに対応するターゲットの位置は、前の時刻に算出された校正後の第1の位置決め結果に相当する。
所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得るS22である。
具体的には、オンライン位置決め段階に入ると、タイマーが起動し、タイマーの値が所定時間に達すると、ターゲットに対して視覚特徴マップマッチング位置決めをトリガし、第2の位置決め結果を得る操作であり、タイマーをゼロにリセットし、上記プロセスを繰り返して各所定時間を実現し、ターゲットに対して視覚特徴マップマッチング位置決めを行い、第2の位置決め結果を得る。そのうち、所定時間取得値は10〜50sであり、任意で、20sまたは30sの値をとる。
第2の位置決め結果を用いて第1の位置決め結果を校正するS23である。
具体的には、拡張カルマンフィルタリングアルゴリズムを用いて、2つの位置決め結果をデータ融合し、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得て、オンライン位置決め段階の短時間フレーム間特徴マッチング位置決めの累積誤差を削除する。
説明する必要がある点としては、短時間フレーム間特徴マッチングの方法を用いてターゲットをリアルタイムに位置決めし、第1の位置決め結果を得ることは、持続的な動的プロセスである。一方、所定時間ごとに、ターゲットを視覚特徴マップマッチング位置決めし、第2の位置決め結果を得ることも、持続的な動的プロセスであるが、所定時間ごとに1回実行する必要がある。上記2つのステップは同時に行われ、所定時間間隔を置くと、ターゲットを視覚特徴マップマッチング位置決めすることにより、第2の位置決め結果が得られ、第2の位置決め結果を用いて、現在の時刻の第1の位置決め結果を校正し、現在の第1の位置決め結果の累積誤差を除去する。次の時刻の短時間フレーム間特徴マッチングは、ターゲットを位置決めすると、前の時刻で校正された第1の位置決め結果に基づいて現在時刻のターゲットの位置を算出する。言い換えれば、オンライン位置決め段階の初期時刻における第1の位置決め結果は、ターゲットの初期位置（即ち、位置決め初期化段階で得られたターゲットの初期位置）を基に算出されたものである。次の時刻では、前フレームに対応するターゲットの位置座標は、前の時刻で算出された校正後の第1の位置決め結果に相当し、さらに現在のフレームの特徴を求める。このように、位置決めが終了するまで、当該オンライン位置決め段階を繰り返す。したがって，蓄積誤差を除去し、リアルタイムでの位置決めの精度を向上させることができる。このほか、本発明におけるステップ番号は、ステップ順序を限定しない。本発明のその他の実施例では、本発明に示すステップは、逆の順序または並行して実行されてもよい。
図5を参照して、図4で説明したステップS22の具体的な流れについて以下に説明する。図5は、本発明の実施例において提供される室内位置決め方法のステップS22のフロー図である。具体的には、図5を参照して、所定時間ごとにターゲットに対し視覚特徴マップマッチング位置決めして第2の位置決め結果を得るステップは、
第1の位置決め結果を用いて、第4のマッチング待ちキーフレームグループを取得するために視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングする。そのうち、第4のマッチング待ちキーフレームグループの範囲は、第3のマッチング待ちキーフレームグループの範囲より小さいS221を含む。
具体的には、（xj、yj、zj）を第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標に設置し、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、当該マッチング待ちキーフレームが同時に下記関係式を満たす場合、

Figure 2021517284
当該マッチング待ちキーフレームは、信頼可能範囲内にあるとみなされ、当該マッチング待ちキーフレームを保留する。そうでなければ、当該マッチング待ちキーフレームを削除し、最後に保留されたすべてのマッチング待ちキーフレームの集合を、第4のマッチング待ちキーフレームグループとする。なお、本出願の実施例において、マッチング待ちキーフレームの座標xとyだけが上記の関係を満たす必要があり、これは、無線位置決め段階で決定されるのは、ある高さでの平面上の座標、すなわち、zがある固定値であるからである。そのうち、第4のマッチング待ちキーフレームグループの範囲は第3のマッチング待ちキーフレームグループの範囲より小さい。
ステップS221の前に、第3のマッチング待ちキーフレームグループをさらに含む。
具体的には、オフラインマップデータとターゲット画像に対してORB特徴を抽出し、対応する視覚単語を取得する。そして、オフラインマップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを候補フレームとして探し出すことで、第3のマッチング待ちキーフレームグループを構成する。
第4のマッチング待ちキーフレームグループを用いてターゲットの第2の位置決め結果を算出するS222である。
図6を参照して、図5で説明したステップS222の具体的な流れについて説明する。図6は、本発明の実施例において提供される室内位置決め方法のステップS222のフロー図である。
具体的には、図6を参照して、第4のマッチング待ちキーフレームグループを用いてターゲットの第2の位置決め結果を算出するステップは、
ターゲット画像の現在のフレームを取得し、現在フレームの視覚単語を確定するS2221と、
第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度を基に、第4のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点して、最終的なマッチング待ちキーフレームを取得するS2222とを含み、
具体的には、第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームとが同じ視覚単語を有する単語数を統計してから、マッチング待ちキーフレームから同じ視覚単語を有する単語数が第1の閾値よりも大きく、且つ単語の整合度が第2の閾値よりも大きいマッチング待ちキーフレームを選択し、共視フレームとする。各共視フレームは、いずれも自分との共視度が最も高い（即ち、同じ視覚単語を持つ単語数が最大であり、単語の整合度が大きい）最初の10フレームを1つのグループにまとめ、累積スコアを算出し、最終的なマッチング待ちキーフレームとして最後にグループスコアが最も高いマッチング待ちキーフレームを選択する。
上記内容は視覚単語が同じ数と、視覚単語の整合度とを組み合わせた採点方法であるの過ぎないが、本発明の実施例はこれに限定されない。本発明のその他の実施例では、最終的なマッチング待ちキーフレームを得るために、視覚単語の同じ数だけを基に採点しても良いし、または視覚単語の整合度だけを基に採点しても良い。
最終的なマッチング待ちキーフレームとターゲット画像の現在のフレームを基に、初期位置に対する現在のフレームの座標変換行列を算出し、さらに座標変換行列を基にターゲットの第2の位置決め結果を算出するS2223である。
具体的には、ターゲットの現在のフレームと最終的なマッチング待ちキーフレームに対し、EPnPアルゴリズムに基づく姿勢反復推定を行い、ターゲットの初期位置に対する現在のフレームの座標変換行列Tcwを求め、さらに座標変換行列を基にターゲットの現在のフレームの座標を算出し、即ち、ターゲットの第2の位置決め結果を得る。
また、位置決めが終了するまで、オンライン位置決め段階の各ステップを繰り返す。短時間の視覚オンラインフレーム間マッチング位置決め、タイミングとオフラインマップデータのマッチングによる累積位置決め誤差を解消する技術手段を用いることで、ターゲットのデバイスのオンライン位置決め時のデータ計算量を効果的に低減し、より高い室内位置決め精度を得ることができる。
なお、短時間フレーム間特徴マッチング位置決めの核心的な思想は、現在のフレームの特徴と前フレームの特徴との相違点を通して、前フレームに対応するターゲットの位置座標と組み合わせて、現在のフレームの位置座標、即ち第1の位置決め結果を算出することである。そのうち、オンライン位置決め段階の初期時刻における第1の位置決め結果は、ターゲットの初期位置（即ち、位置決め初期化段階で得られたターゲットの初期位置）を基に算出される。次の時刻では、前フレームに対応するターゲットの位置座標は、前の時刻で算出された校正後の第1の位置決め結果に相当し、さらに現在のフレームの特徴を求める。このように、位置決めが終了するまで、当該オンライン位置決め段階を繰り返す。よって、短時間フレーム間特徴マッチング位置を一定時間オンライン位置決めすると、得られた第1の位置決め結果は大きな累積誤差を生じ、リアルタイム位置決め結果の精度を低下させる。したがって、ターゲットに対し所定時間ごとに視覚特徴マップマッチング位置決めを行い、さらに第2の位置決め結果を得て、第2の位置決め結果を用いて現在の第1の位置決め結果を校正し、累積誤差を除去し、校正後の位置決め結果を得ることで、オンライン位置決め結果の精度を向上させる必要がある。
本発明は、ブルートゥース（登録商標）位置決め技術を視覚位置決め方法に融合させることにより、ブルートゥース（登録商標）位置決め結果を用いて視覚特徴マップにおけるマッチング待ちキーフレームの範囲を大幅に縮小し、特徴マッチング時の計算量を減少させ、初期位置の求解速度を向上させるとともに、視覚位置決めにおける類似度の高い環境におけるマッチングミスを効果的に回避する。
別の方面では、短時間フレーム間特徴マッチング位置決めを用いて、所定時間ごとに視覚特徴マップマッチング位置決めを行い、視覚特徴マップマッチング位置決めの位置決め結果を用いて短時間フレーム間特徴マッチング位置決めの累積誤差を除去し、より高い室内位置決め精度を得ることができる。
図7は本発明において提供される室内位置決めシステムのブロック図である。
図7を参照して、本発明実施例において、位置決め初期化部材1とオンライン位置決め部材2とを含む室内位置決めシステム700であって、そのうち、
無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するように配置された位置決め初期化部材1を提供する。
そのうち、無線位置決めは、Bluetooth位置決め、RFID位置決め、WiFi位置決めなどとすることができ、本実施例は、Bluetooth位置決めで説明する。そのうち、ターゲットは、例えば、携帯電話、タブレット、またはノートパソコンなどの室内環境にあるユーザが携帯するBluetoothおよび撮像機能を備えた電子機器であってもよい。ターゲットはBluetooth位置決めプログラム、フレーム間マッチングの視覚位置決めプログラムとデータ融合プログラムを実行するために使用される。ターゲットの初期位置は、ターゲットが室内環境に入った後、位置決めを行うときの位置を指す。
オンライン位置決め部材2は、位置決め初期化が成功した後に、ターゲットの初期位置に応じて、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法でターゲットに対しリアルタイムに位置決めするように配置されている。
本発明の一実施例において、位置決め初期化部材1は第1の位置決め部材3と第2の位置決め部材4とを含み、
第1の位置決め部材3は、無線（例えば、Bluetooth）位置決め技術を用いて、ターゲットの第1の位置座標を決定するように配置されており、実際の応用では、室内環境内においてブルートゥース（登録商標）ビーコンノードを配置することができ、任意で、3〜5メートルごとにブルートゥース（登録商標）ビーコンノードを配置することができる。
第2の位置決め部材4は、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、そのうち、第2のマッチング待ちキーフレームグループの範囲は第1のマッチング待ちキーフレームグループの範囲よりも小さく、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するように配置される。
本発明の一実施例において、オンライン位置決め部材2は第3の位置決め部材5と第4の位置決め部材6とを含み、
第3の位置決め部材5は、短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めして第1の位置決め結果を得るように配置され、
第4の位置決め部材6は、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得て、且つ前記第2の位置決め結果を用いて第1の位置決め結果を校正するように配置される。
図8は本発明実施例において提供される室内位置決めシステム800のもう1つのブロック図である。図8を参照して、第2の位置決め部材4は、
第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標が下記関係を満たすかどうかを判断するように配置される第1のフィルタ部材7と、

Figure 2021517284
そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標であり、視覚オフラインマップ座標系の原点に対する変換行列はTcwiであり、かつ(xi、yi、zi)T=Tcwi(x0、y0、z0)Tを満たし、そのうち、(x0、y0、z0)を、視覚オフラインマップ座標系の原点とし、(xa、ya)はターゲットの第1の位置座標であり、ΔdはBluetooth位置決めの最大の位置ミスであり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループであり、
第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するように配置されている第1の算出部8とを備える。
本発明の一実施例において、第4の位置決め部材6は、
第4のマッチング待ちキーフレームグループを取得するために、第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングし、そのうち第4のマッチング待ちキーフレームグループの範囲は第3のマッチング待ちキーフレームグループ範囲よりも小さく、第4のマッチング待ちキーフレームグループを用いて初期位置を基にターゲットの第2の位置決め結果を算出するように配置されたサブ位置決め部材10と、
所定の時間ごとに、サブ位置決め部材の操作を触発し、タイマーで実現することができるように配置されたタイミング部材9と、
第2の位置決め結果を用いて第1の位置決め結果を校正するように配置された校正部材11とを備える。
本発明の一実施例において、サブ位置決め部材10は、
第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが下記関係を満たすかどうかを判断するように配置された第2のフィルタ部材（示されていない）と、

Figure 2021517284
そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループであり、
第4のマッチング待ちキーフレームグループを用いて、且つ初期位置を基にターゲットの第2の位置決め結果を算出するように配置されている第2の算出部材（示されていない）とを備える。
本発明の一実施例において、校正部材11は、拡張カルマンフィルタリングアルゴリズムを用いて、2つの位置決め結果をデータ融合するように配置され、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得て、オンライン位置決め段階の短時間フレーム間特徴マッチング位置決めの累積誤差を削除した。
説明する必要がある点としては、第1の位置決め部材3と第3の位置決め部材5の計算量は比較的小さいため、任意で、第1の位置決め部材3と第3の位置決め部材5をユーザのデバイス端に集めることができ、第2の位置決め部材4とサブ位置決め部材10の計算量が比較的大きいため、任意で、第2の位置決め部材4、サブ位置決め部材10、タイミング部材9、および校正部材11をサーバ端に集め、ユーザデバイスは、サーバと有線接続または無線接続によって通信することができ、さらにはユーザデバイスとサーバとの通信頻度を低減することができる。上記は1つの配置方法に過ぎないが、これに限らず、全てサーバ端に配置されても良いが、このような方法では、ユーザデバイスとサーバとの通信頻度がいくらか高くなる。
図9は本発明実施例において提供される室内位置決めデバイスの例示的なブロック図である。
別の方面では、本発明実施例は、1つまたは複数のプロセッサ901と、1つまたは複数のメモリ902とを備え、そのうち、メモリはコンピュータ実行可能指令を記憶し、実行可能指令がプロセッサにより実行される際に上記室内位置決め方法を実行する、室内位置決めデバイス900を提供する。
さらに別の方面では、本発明実施例は、コンピュータ実行可能指令を記憶し、且つ実行可能指令がプロセッサにより実行される際に室内位置決め方法を実行する、コンピュータ読み取り可能媒体を提供する。
以上の実施の形態は、本発明の原理を説明するためだけに採用された例示的な実施の形態であるに過ぎず、本発明はこれに限定されないということを理解することができる。当業者は、本発明の精神と本質から逸脱しない限り、様々な変形および改善が可能であり、これらの変形および改善も本発明の請求範囲とみなされる。
901 1つまたは複数のプロセッサ
902 1つまたは複数のメモリ

Claims (19)

  1. 無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定し、
    前記ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと前記視覚特徴マップマッチング位置決めとを組み合わせた方法を用いて前記ターゲットをリアルタイムに位置決めするステップを含む、
    室内位置決め方法。
  2. 前記無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するステップは、
    無線位置決め技術を用いて、前記ターゲットの第1の位置座標を決定するステップと、
    第2のマッチング待ちキーフレームグループを取得するために、前記第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップと、
    前記第2のマッチング待ちキーフレームグループを用いて前記ターゲットの初期位置を算出するステップとを備え、
    そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第1のマッチング待ちキーフレームグループを取得する、
    請求項1に記載の室内位置決め方法。
  3. 前記ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いて前記ターゲットをリアルタイムに位置決めするステップは、
    短時間フレーム間特徴マッチング位置決めの方法を用いて前記ターゲットをリアルタイムに位置決めして第1の位置決め結果を得るステップと、
    所定の時間ごとに、前記ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ前記初期位置に基づいて第2の位置決め結果を得るステップと、
    前記第2の位置決め結果を用いて前記第1の位置決め結果を校正するステップとを含む、
    請求項1に記載の室内位置決め方法。
  4. 第2のマッチング待ちキーフレームグループを取得するために、前記第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップは、
    前記第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップと、

    Figure 2021517284
     そのうち、（xi、yi、zi）は前記第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標であり、（xa、ya）は前記ターゲットの前記第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、
    満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループである、
    請求項2に記載の室内位置決め方法。
  5. 前記第2のマッチング待ちキーフレームグループを用いて前記ターゲットの初期位置を算出するステップは、
    前記ターゲット画像の現在のフレームを取得し、前記現在のフレームの視覚単語を決定するステップと、
    前記第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、前記第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、
    スコアが最も高いマッチング待ちキーフレームと前記ターゲット画像の現在のフレームを基に、前記ターゲットの初期位置を算出するステップとを含む、
    請求項2に記載の室内位置決め方法。
  6. 所定の時間ごとに、前記ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ前記初期位置に基づいて第2の位置決め結果を得るステップは、
    第4のマッチング待ちキーフレームグループを取得するために、前記第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングするステップと、
    前記第4のマッチング待ちキーフレームグループを用いて、且つ前記初期位置に基づいて前記ターゲットの第2の位置決め結果を算出するステップとを含み、
    そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第3のマッチング待ちキーフレームグループを取得する、
    請求項3に記載の室内位置決め方法。
  7. 前記第1の位置決め結果を用いて視覚特徴マップにおける第3のマッチング待ちキーフレームをフィルタリングして形成される第4のマッチング待ちキーフレームグループのステップは、
    前記第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップを含み、

    Figure 2021517284
     そのうち、（xj、yj、zj）は前記第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、
    満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループである、
    請求項6に記載の室内位置決め方法。
  8. 前記第4のマッチング待ちキーフレームグループを用いて、且つ前記初期位置を基に前記ターゲットの第2の位置決め結果を算出するステップは、
    前記ターゲット画像の現在のフレームを取得し、前記現在のフレームの視覚単語を決定するステップと、
    前記第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、前記第4のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、
    スコアが最も高いマッチング待ちキーフレームと前記ターゲット画像の現在のフレームを基に、前記初期位置に対する現在のフレームの座標変換行列を算出するステップと、
    座標変換行列を基に前記ターゲットの第2の位置決め結果を算出するステップとを含む、
    請求項6に記載の室内位置決め方法。
  9. 第2の位置決め結果を用いて前記第1の位置決め結果を校正するステップは、
    拡張カルマンフィルタリングアルゴリズムを用いて、前記第1の位置決め結果と第2の位置決め結果をデータ融合するステップであり、そのうち、前記第1の位置決め結果を状態事前推定量として、前記第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得るステップを含む、
    請求項3に記載の室内位置決め方法。
  10. 前記ターゲットのある室内環境の視覚特徴マップを構築することをさらに含む、
    請求項1に記載の室内位置決め方法。
  11. 無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するように配置された位置決め初期化部材と、
    前記ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと前記視覚特徴マップマッチング位置決めとを組み合わせた方法を用いて前記ターゲットをリアルタイムに位置決めするように配置されたオンライン位置決め部材とを含む、
    室内位置決めシステム。
  12. 前記位置決め初期化部材は、
    無線位置決め技術を用いて前記ターゲットの第1の位置座標を決定するように配置された第1の位置決め部材と、
    第2のマッチング待ちキーフレームグループを取得するために、前記第1の位置座標を用いて、前記視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、且つ前記第2のマッチング待ちキーフレームグループを用いて前記ターゲットの初期位置を算出するように配置された第2の位置決め部材とを備え、
    そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第1のマッチング待ちキーフレームグループを取得する、
    請求項11に記載の室内位置決めシステム。
  13. 前記オンライン位置決め部材は、
    前記短時間フレーム間特徴マッチング位置決めの方法を用いて前記ターゲットをリアルタイムに位置決めして第1の位置決め結果を得るように配置された第3の位置決め部材と、
    所定の時間ごとに、前記ターゲットに対し前記視覚特徴マップマッチング位置決めを行ない、且つ前記初期位置に基づいて第2の位置決め結果を得て、且つ前記第2の位置決め結果を用いて前記第1の位置決め結果を校正するように配置された第4の位置決め部材とを備える、
    請求項11に記載の室内位置決めシステム。
  14. 第2の位置決め部材は、
    第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、

    Figure 2021517284
     そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、（xa、ya）はターゲットの第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、
    満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は前記第2のマッチング待ちキーフレームグループであるように配置された第1のフィルタ部材と、
    前記第2のマッチング待ちキーフレームを用いて前記ターゲットの初期位置を算出するように配置された第1の算出部材とをさらに備える、
    請求項12に記載の室内位置決めシステム。
  15. 前記第4の位置決め部材は、
    第4のマッチング待ちキーフレームグループを取得するために、前記第1の位置決め結果を用いて、前記視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングし、且つ第4のマッチング待ちキーフレームグループを用いて前記初期位置を基に前記ターゲットの第2の位置決め結果を算出するように配置されたサブ位置決め部材と、
    所定の時間ごとに、前記サブ位置決め部材の操作を触発するように配置されたタイミング部材と、
    前記第2の位置決め結果を用いて前記第1の位置決め結果を校正するように配置され校正部材とを備え、
    そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第3のマッチング待ちキーフレームグループを取得する、
    請求項13に記載の室内位置決めシステム。
  16. 前記サブ位置決め部材は、
    前記第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、

    Figure 2021517284
     そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、
    満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループであるように配置された第2のフィルタ部材と、
    前記第4のマッチング待ちキーフレームグループを用いて、且つ前記初期位置を基に前記ターゲットの第2の位置決め結果を算出するように配置された第2の算出部材とを備える、
    請求項15に記載の室内位置決めシステム。
  17. 前記校正部材は、拡張カルマンフィルタリングアルゴリズムを用いて、前記第1の位置決め結果と前記第2の位置決め結果をデータ融合するように配置され、そのうち、前記第1の位置決め結果を状態事前推定量として、前記第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得る、
    請求項15に記載の室内位置決めシステム。
  18. 1つまたは複数のプロセッサと、
    1つまたは複数のメモリとを備え、
    そのうち、前記メモリはコンピュータ実行可能指令を記憶し、前記実行可能指令が前記プロセッサにより実行される際に請求項1〜10のいずれかに記載の室内位置決め方法を実行する、
    室内位置決めデバイス。
  19. コンピュータ読み取り可能媒体はコンピュータ実行可能指令を記憶し、且つ前記実行可能指令がプロセッサにより実行される際に請求項1〜10のいずれかに記載の室内位置決め方法を実行する、
    コンピュータ読み取り可能媒体。
JP2020528385A 2018-03-26 2019-01-02 室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体 Active JP7247186B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810253021.2 2018-03-26
CN201810253021.2A CN110360999B (zh) 2018-03-26 2018-03-26 室内定位方法、室内定位系统和计算机可读介质
PCT/CN2019/070093 WO2019184542A1 (zh) 2018-03-26 2019-01-02 室内定位方法、室内定位系统、室内定位设备和计算机可读介质

Publications (2)

Publication Number Publication Date
JP2021517284A true JP2021517284A (ja) 2021-07-15
JP7247186B2 JP7247186B2 (ja) 2023-03-28

Family

ID=68062186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528385A Active JP7247186B2 (ja) 2018-03-26 2019-01-02 室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体

Country Status (5)

Country Link
US (1) US11395100B2 (ja)
EP (1) EP3779360A4 (ja)
JP (1) JP7247186B2 (ja)
CN (1) CN110360999B (ja)
WO (1) WO2019184542A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020630A (zh) * 2018-04-27 2020-12-01 北京嘀嘀无限科技发展有限公司 用于更新建筑物的3d模型的系统和方法
CN110889349A (zh) * 2019-11-18 2020-03-17 哈尔滨工业大学 一种基于vslam的稀疏三维点云图的视觉定位方法
KR20210089552A (ko) * 2020-01-08 2021-07-16 엘지전자 주식회사 로봇의 위치 인식
CN113137968B (zh) * 2020-01-16 2023-03-14 浙江舜宇智能光学技术有限公司 基于多传感器融合的重定位方法、重定位装置和电子设备
CN111986261B (zh) * 2020-08-13 2023-08-18 清华大学苏州汽车研究院（吴江） 一种车辆定位方法、装置、电子设备及存储介质
CN112163502B (zh) * 2020-09-24 2022-07-12 电子科技大学 一种室内动态场景下的视觉定位方法
CN112325883B (zh) * 2020-10-19 2022-06-21 湖南大学 一种WiFi和视觉多源融合的移动机器人室内定位方法
CN112362047A (zh) * 2020-11-26 2021-02-12 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
US20220381870A1 (en) * 2021-05-28 2022-12-01 Nec Laboratories America, Inc. Visual and rf sensor fusion for multi-agent tracking
CN113872693B (zh) * 2021-09-29 2022-08-23 佛山市南海区广工大数控装备协同创新研究院 基于关键帧选取的可见光定位与深度相机的紧耦合方法
CN114025320A (zh) * 2021-11-08 2022-02-08 易枭零部件科技(襄阳)有限公司 一种基于5g信号的室内定位方法
WO2024001339A1 (zh) * 2022-07-01 2024-01-04 华为云计算技术有限公司 确定位姿的方法、装置以及计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209203A (ja) * 2010-03-30 2011-10-20 Sony Corp 自己位置推定装置および自己位置推定方法
WO2012024516A2 (en) * 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
JP2016162075A (ja) * 2015-02-27 2016-09-05 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
CN106793086A (zh) * 2017-03-15 2017-05-31 河北工业大学 一种室内定位方法
CN107478214A (zh) * 2017-07-24 2017-12-15 杨华军 一种基于多传感器融合的室内定位方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4952360B2 (ja) * 2007-04-26 2012-06-13 日本電気株式会社 動画像復号方法、動画像復号装置、動画像復号プログラム
US8265817B2 (en) 2008-07-10 2012-09-11 Lockheed Martin Corporation Inertial measurement with an imaging sensor and a digitized map
US9151822B2 (en) * 2009-12-31 2015-10-06 Optimal Ranging, Inc. Precise positioning using a distributed sensor network
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
US9613388B2 (en) * 2014-01-24 2017-04-04 Here Global B.V. Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes
CN104936283B (zh) * 2014-03-21 2018-12-25 中国电信股份有限公司 室内定位方法、服务器和系统
CN104819723B (zh) * 2015-04-29 2017-10-13 京东方科技集团股份有限公司 一种定位方法和定位服务器
CN105188135B (zh) * 2015-08-17 2019-06-25 京东方科技集团股份有限公司 终端定位方法及系统、目标终端及定位服务器
CN106470478B (zh) * 2015-08-20 2020-03-24 西安云景智维科技有限公司 一种定位数据处理方法、装置和系统
CN105246039B (zh) * 2015-10-20 2018-05-29 深圳大学 一种基于图像处理的室内定位方法及系统
CN105371847B (zh) * 2015-10-27 2018-06-29 深圳大学 一种室内实景导航方法及系统
US10057725B2 (en) * 2016-04-25 2018-08-21 Viavi Solutions Uk Limited Sensor-based geolocation of a user device
CN107356252B (zh) 2017-06-02 2020-06-16 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107246868B (zh) 2017-07-26 2021-11-02 上海舵敏智能科技有限公司 一种协同导航定位系统及导航定位方法
CN107677279B (zh) * 2017-09-26 2020-04-24 上海思岚科技有限公司 一种定位建图的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209203A (ja) * 2010-03-30 2011-10-20 Sony Corp 自己位置推定装置および自己位置推定方法
WO2012024516A2 (en) * 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
JP2016162075A (ja) * 2015-02-27 2016-09-05 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
CN106793086A (zh) * 2017-03-15 2017-05-31 河北工业大学 一种室内定位方法
CN107478214A (zh) * 2017-07-24 2017-12-15 杨华军 一种基于多传感器融合的室内定位方法及系统

Also Published As

Publication number Publication date
WO2019184542A1 (zh) 2019-10-03
CN110360999A (zh) 2019-10-22
EP3779360A4 (en) 2022-01-05
JP7247186B2 (ja) 2023-03-28
EP3779360A1 (en) 2021-02-17
US20210360368A1 (en) 2021-11-18
CN110360999B (zh) 2021-08-27
US11395100B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
JP2021517284A (ja) 室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体
CN110856112B (zh) 一种群智感知的多源信息融合室内定位方法及系统
CN107179086B (zh) 一种基于激光雷达的制图方法、装置及系统
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
CN105792353B (zh) 群智感知式WiFi信号指纹辅助的图像匹配室内定位方法
KR20200121274A (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
JP2021152662A (ja) リアルタイムのマッピングと位置確認のための方法及び装置
WO2019196403A1 (zh) 定位方法、定位服务器及定位系统
CN110375739B (zh) 一种移动端视觉融合定位方法、系统及电子设备
CN104936283A (zh) 室内定位方法、服务器和系统
WO2020248458A1 (zh) 一种信息处理方法、装置及存储介质
US9239965B2 (en) Method and system of tracking object
WO2019136613A1 (zh) 机器人室内定位的方法及装置
Feng et al. Visual map construction using RGB-D sensors for image-based localization in indoor environments
WO2020007323A1 (zh) 商超购物车定位方法、商超购物车定位系统及商超购物车
Shu et al. 3d point cloud-based indoor mobile robot in 6-dof pose localization using a wi-fi-aided localization system
CN111783849B (zh) 一种室内定位方法、装置、电子设备及存储介质
Luo et al. Indoor mapping using low-cost MLS point clouds and architectural skeleton constraints
CN113344954A (zh) 边界检测方法、装置、计算机设备、存储介质和传感器
CN108731679A (zh) 移动机器人环境特征定位方法
WO2022088613A1 (zh) 一种机器人的定位方法及装置、设备、存储介质
CN111898648A (zh) 路网图生成方法、装置、电子设备和计算机可读存储介质
CN109269477A (zh) 一种视觉定位方法、装置、设备和存储介质
Jia et al. Indoor navigation for a complex parking building based on computer vision
CN114078325B (zh) 多感知系统配准方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R150 Certificate of patent or registration of utility model

Ref document number: 7247186

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150