JP2022518810A - 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体 - Google Patents
共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2022518810A JP2022518810A JP2021543389A JP2021543389A JP2022518810A JP 2022518810 A JP2022518810 A JP 2022518810A JP 2021543389 A JP2021543389 A JP 2021543389A JP 2021543389 A JP2021543389 A JP 2021543389A JP 2022518810 A JP2022518810 A JP 2022518810A
- Authority
- JP
- Japan
- Prior art keywords
- current frame
- map data
- feature
- positioning
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 138
- 238000012545 processing Methods 0.000 claims description 80
- 230000000295 complement effect Effects 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 13
- 230000001960 triggered effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 abstract description 21
- 230000033001 locomotion Effects 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2019年06月27日に中国特許局に提出された、出願番号が201910569120.6であり、名称が「共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第2端末により収集された画像における現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得ることと、を含む。
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得することと、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
第1端末が画像収集を行い、少なくとも1つのキーフレームを含むグローバル地図データを得ることと、
前記第1端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第1端末が第2端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信することと、を含む。
前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含む。
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
第2端末が画像収集を行い、収集された画像における現在のフレームを得て、前記現在のフレームを送信することと、
前記第2端末が測位結果を受信することであって、前記測位結果は、第1端末が前記現在のフレームと前記キーフレームに関連する局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて得られた結果であることと、を含み、
グローバル地図データは、第1端末により収集された画像における少なくとも1つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得することと、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
第2端末が、少なくとも1つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第2端末が画像収集を行い、収集された画像における現在のフレームを得ることと、
前記第2端末が前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、を含む。
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得することと、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含む。
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含む。
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第2端末により収集された画像における現在のフレームを受信することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、
前記測位結果を送信することと、を含む。
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第1抽出ユニットと、
第2端末により収集された画像における現在のフレームを取得するように構成される第1取得ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第1マッチングユニットと、を備える。
前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備える。
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得し、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
画像収集を行い、少なくとも1つのキーフレームを含むグローバル地図データを得るように構成される第1収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第1抽出ユニットと、
第2端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第1マッチングユニットと、を備える。
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得て、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出し、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成される。
画像収集を行い、収集された画像における現在のフレームを得て、前記現在のフレームを送信するように構成される第2収集ユニットと、
測位結果を受信するように構成される第2マッチングユニットであって、前記測位結果は、第1端末が前記現在のフレームと前記キーフレームに関連する局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて得られた結果である第2マッチングユニットと、を備え、
グローバル地図データは、第1端末により収集された画像における少なくとも1つのキーフレームを含む地図データであって且つデータ量が前記局所的地図データより大きい。
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得し、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備える。
少なくとも1つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第2抽出ユニットと、
画像収集を行い、収集された画像における現在のフレームを得るように構成される第2収集ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第2マッチングユニットと、を備える。
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第1受信ユニットと、
第2端末により収集された画像における現在のフレームを受信するように構成される第2受信ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得るように構成される第3マッチングユニットと、
前記測位結果を送信するように構成される第3測位ユニットと、を備える。
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、上記共有地図に基づいた測位方法を実行するように構成される。
図5は、本願の実施例による共有地図に基づいた測位方法を示す。2つの端末装置(装置1及び装置2)を例として、示された2つの端末装置に限定されず、複数の端末装置も共有地図により測位を行うこともできる。図5に示すように、測位過程は以下を含む。装置1によりシーンを走査し、少なくとも1つのキーフレームを含む地図を生成し、該地図を共有地図と定義する。該共有地図は、装置1ローカルに記憶されてもよく、又は他の端末装置(例えば、装置2)にアップロードされてもよい。該共有地図は、クラウド側に記憶されてもよい。共有地図を必要とする1つ又は複数の装置(図面において、装置2と略称する)は、自体により収集された現在のフレームデータを測位ユニットに送信することができる。測位ユニットは、いずれか1つの装置で実行されてもよく、又はクラウド側に位置してもよい。装置2から伝送された現在のフレームデータに加えて、測位ユニットは、共有地図データを取得することもできる。測位ユニットは、現在のフレーム画像及び共有地図データに基づいて、現在のフレームの測位結果を得て、測位結果を装置2に返送することができる。このような方式により、装置2は、共有地図の座標系に対する自己の相対的位置姿勢を得ることができる。
例えば、本願は以下の項目を提供する。
(項目1)
共有地図に基づいた測位方法であって、
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第2端末により収集された画像における現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。
(項目2)
前記第2端末により収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
項目1に記載の方法。
(項目3)
前記第2端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
項目2に記載の方法。
(項目4)
前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得することと、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
項目2又は3に記載の方法。
(項目5)
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも1つを含むことを特徴とする
項目4に記載の方法。
(項目6)
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目1-5のうちいずれか一項に記載の方法。
(項目7)
共有地図に基づいた測位方法であって、
第1端末が、画像収集を行い、少なくとも1つのキーフレームを含むグローバル地図データを得ることと、
前記第1端末が、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第1端末が、第2端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信することと、を含むことを特徴とする、共有地図に基づいた測位方法。
(項目8)
前記第1端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することは、
前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含むことを特徴とする
項目7に記載の方法。
(項目9)
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目7又は8に記載の方法。
(項目10)
共有地図に基づいた測位方法であって、
第2端末が、少なくとも1つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第2端末が、画像収集を行い、収集された画像における現在のフレームを得ることと、
前記第2端末が、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。
(項目11)
前記第2端末が画像収集を行い、収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
項目10に記載の方法。
(項目12)
前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
項目11に記載の方法。
(項目13)
前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得することと、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
項目11又は12に記載の方法。
(項目14)
前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも1つを含むことを特徴とする
項目13に記載の方法。
(項目15)
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
項目10-14のうちいずれか一項に記載の方法。
(項目16)
共有地図に基づいた測位装置であって、
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第1抽出ユニットと、
第2端末により収集された画像における現在のフレームを取得するように構成される第1取得ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第1マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。
(項目17)
前記装置は、
前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備えることを特徴とする
項目16に記載の装置。
(項目18)
前記装置は、
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得し、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備えることを特徴とする
項目16又は17に記載の装置。
(項目19)
共有地図に基づいた測位装置であって、
画像収集を行い、少なくとも1つのキーフレームを含むグローバル地図データを得るように構成される第1収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第1抽出ユニットと、
第2端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第1マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。
(項目20)
前記第1マッチングユニットは、更に、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得て、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出し、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成されることを特徴とする
項目19に記載の装置。
(項目21)
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、項目1から6、項目7から9、項目10から15のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、電子機器。
(項目22)
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目1から6、項目7から9、項目10から15のうちいずれか一項に記載の方法を実現させることを特徴とする、コンピュータ可読記憶媒体。
(項目23)
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、項目1から6、項目7から9、項目10から15のうちいずれか一項に記載の方法を実行することを特徴とする、コンピュータプログラム。
Claims (23)
- 共有地図に基づいた測位方法であって、
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
第2端末により収集された画像における現在のフレームを取得することと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。 - 前記第2端末により収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
請求項1に記載の方法。 - 前記第2端末により収集された現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
請求項2に記載の方法。 - 前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得することと、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
請求項2又は3に記載の方法。 - 前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも1つを含むことを特徴とする
請求項4に記載の方法。 - 前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
請求項1-5のうちいずれか一項に記載の方法。 - 共有地図に基づいた測位方法であって、
第1端末が、画像収集を行い、少なくとも1つのキーフレームを含むグローバル地図データを得ることと、
前記第1端末が、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第1端末が、第2端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信することと、を含むことを特徴とする、共有地図に基づいた測位方法。 - 前記第1端末が前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することは、
前記キーフレームを参照中心として、前記キーフレーム及び所定の抽出範囲に基づいて得られた地図データを前記局所的地図データとすることを含むことを特徴とする
請求項7に記載の方法。 - 前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
請求項7又は8に記載の方法。 - 共有地図に基づいた測位方法であって、
第2端末が、少なくとも1つのキーフレームを含むグローバル地図データを受信し、前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出することと、
前記第2端末が、画像収集を行い、収集された画像における現在のフレームを得ることと、
前記第2端末が、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることと、を含むことを特徴とする、共有地図に基づいた測位方法。 - 前記第2端末が画像収集を行い、収集された画像における現在のフレームを取得する前に、前記方法は、前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガすることを更に含むことを特徴とする
請求項10に記載の方法。 - 前記現在のフレームに、前記現在のフレームに対する特徴点補完処理を行った後に得られた現在のフレームが含まれることを特徴とする
請求項11に記載の方法。 - 前記現在のフレームに対する特徴点補完処理を行うことは、
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得することと、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくすることと、を含むことを特徴とする
請求項11又は12に記載の方法。 - 前記参照情報は、画像収集の環境情報、画像収集装置におけるパラメータ情報、現在のフレームの自らの画像情報のうちの少なくとも1つを含むことを特徴とする
請求項13に記載の方法。 - 前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得ることは、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得ることと、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出することと、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とすることと、を含むことを特徴とする
請求項10-14のうちいずれか一項に記載の方法。 - 共有地図に基づいた測位装置であって、
第1端末により収集された画像における、少なくとも1つのキーフレームを含むグローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第1抽出ユニットと、
第2端末により収集された画像における現在のフレームを取得するように構成される第1取得ユニットと、
前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて、現在のフレームの測位結果を得るように構成される第1マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。 - 前記装置は、
前記現在のフレームから抽出された特徴点の数が特徴マッチングのための所望閾値未満であるかどうかを判定し、所望閾値未満である場合、前記現在のフレームに対する特徴点補完処理をトリガするように構成されるトリガユニットを更に備えることを特徴とする
請求項16に記載の装置。 - 前記装置は、
現在のフレームに対して特徴点抽出を行うための第1選別閾値を取得し、
参照情報に基づいて、前記第1選別閾値に対して自己適応的に調整を行い、第2選別閾値を得て、前記第2選別閾値に基づいて前記現在のフレームに特徴点を増やして補完し、特徴点の数を実際の収集により得られた特徴点の数より大きくするように構成される特徴点補完ユニットを更に備えることを特徴とする
請求項16又は17に記載の装置。 - 共有地図に基づいた測位装置であって、
画像収集を行い、少なくとも1つのキーフレームを含むグローバル地図データを得るように構成される第1収集ユニットと、
前記グローバル地図データから、前記キーフレームに関連する局所的地図データを抽出するように構成される第1抽出ユニットと、
第2端末により収集された現在のフレームを受信し、前記現在のフレームと前記局所的地図データに対して特徴マッチングを行い、マッチング結果に基づいて現在のフレームの測位結果を得て、前記測位結果を送信するように構成される第1マッチングユニットと、を備えることを特徴とする、共有地図に基づいた測位装置。 - 前記第1マッチングユニットは、更に、
前記現在のフレームと前記局所的地図データにおける少なくとも1つのキーフレームに対して、特徴点の2D特徴マッチングを行い、2D特徴マッチング結果を得て、
前記2D特徴マッチング結果から、3D情報を含む2D特徴マッチング結果を選別し、前記3D情報を抽出し、
前記3D情報に基づいて、前記現在のフレームの位置姿勢を得て、前記現在のフレームの位置姿勢を前記測位結果とするように構成されることを特徴とする
請求項19に記載の装置。 - 電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、請求項1から6、請求項7から9、請求項10から15のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、電子機器。 - コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項1から6、請求項7から9、請求項10から15のうちいずれか一項に記載の方法を実現させることを特徴とする、コンピュータ可読記憶媒体。
- コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、請求項1から6、請求項7から9、請求項10から15のうちいずれか一項に記載の方法を実行することを特徴とする、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569120.6 | 2019-06-27 | ||
CN201910569120.6A CN112148815B (zh) | 2019-06-27 | 2019-06-27 | 一种基于共享地图的定位方法及装置、电子设备和存储介质 |
PCT/CN2020/080465 WO2020258936A1 (zh) | 2019-06-27 | 2020-03-20 | 一种基于共享地图的定位方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022518810A true JP2022518810A (ja) | 2022-03-16 |
JP7261889B2 JP7261889B2 (ja) | 2023-04-20 |
Family
ID=73868781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543389A Active JP7261889B2 (ja) | 2019-06-27 | 2020-03-20 | 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210350170A1 (ja) |
JP (1) | JP7261889B2 (ja) |
CN (1) | CN112148815B (ja) |
SG (1) | SG11202108199YA (ja) |
TW (1) | TWI748439B (ja) |
WO (1) | WO2020258936A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
CN109615698A (zh) * | 2018-12-03 | 2019-04-12 | 哈尔滨工业大学(深圳) | 基于互回环检测的多无人机slam地图融合算法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104748736A (zh) * | 2013-12-26 | 2015-07-01 | 电信科学技术研究院 | 一种定位方法及装置 |
US10068373B2 (en) * | 2014-07-01 | 2018-09-04 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
KR102332752B1 (ko) * | 2014-11-24 | 2021-11-30 | 삼성전자주식회사 | 지도 서비스를 제공하는 전자 장치 및 방법 |
US10217221B2 (en) * | 2016-09-29 | 2019-02-26 | Intel Corporation | Place recognition algorithm |
CN107392964B (zh) * | 2017-07-07 | 2019-09-17 | 武汉大学 | 基于室内特征点和结构线结合的室内slam方法 |
WO2019045711A1 (en) * | 2017-08-31 | 2019-03-07 | Sony Mobile Communications Inc. | SIMULTANEOUS LOCALIZING AND MAPPING DEVICES (SLAM) WITH SCALE DETERMINATION AND METHODS OF OPERATION THEREOF |
TWI657230B (zh) * | 2017-09-18 | 2019-04-21 | 財團法人工業技術研究院 | 導航定位裝置及應用其之導航定位方法 |
CN107832331A (zh) * | 2017-09-28 | 2018-03-23 | 阿里巴巴集团控股有限公司 | 可视化对象的生成方法、装置和设备 |
EP3474230B1 (en) * | 2017-10-18 | 2020-07-22 | Tata Consultancy Services Limited | Systems and methods for edge points based monocular visual slam |
CN107990899B (zh) * | 2017-11-22 | 2020-06-30 | 驭势科技(北京)有限公司 | 一种基于slam的定位方法和系统 |
CN107818592B (zh) * | 2017-11-24 | 2022-04-01 | 北京华捷艾米科技有限公司 | 协作式同步定位与地图构建的方法、系统及交互系统 |
TWI648556B (zh) * | 2018-03-06 | 2019-01-21 | 仁寶電腦工業股份有限公司 | 同步定位與地圖建構及手勢辨識方法 |
CN108921893B (zh) * | 2018-04-24 | 2022-03-25 | 华南理工大学 | 一种基于在线深度学习slam的图像云计算方法及系统 |
CN109559277B (zh) * | 2018-11-28 | 2023-02-28 | 中国人民解放军国防科技大学 | 一种面向数据共享的多无人机协同地图构建方法 |
-
2019
- 2019-06-27 CN CN201910569120.6A patent/CN112148815B/zh active Active
-
2020
- 2020-03-20 WO PCT/CN2020/080465 patent/WO2020258936A1/zh active Application Filing
- 2020-03-20 JP JP2021543389A patent/JP7261889B2/ja active Active
- 2020-03-20 SG SG11202108199YA patent/SG11202108199YA/en unknown
- 2020-05-06 TW TW109114996A patent/TWI748439B/zh active
-
2021
- 2021-07-23 US US17/383,663 patent/US20210350170A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
CN109615698A (zh) * | 2018-12-03 | 2019-04-12 | 哈尔滨工业大学(深圳) | 基于互回环检测的多无人机slam地图融合算法 |
Also Published As
Publication number | Publication date |
---|---|
CN112148815A (zh) | 2020-12-29 |
WO2020258936A1 (zh) | 2020-12-30 |
JP7261889B2 (ja) | 2023-04-20 |
SG11202108199YA (en) | 2021-08-30 |
TWI748439B (zh) | 2021-12-01 |
TW202100955A (zh) | 2021-01-01 |
CN112148815B (zh) | 2022-09-27 |
US20210350170A1 (en) | 2021-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6916970B2 (ja) | ビデオ処理方法及び装置、電子機器並びに記憶媒体 | |
JP7262659B2 (ja) | 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体 | |
WO2021164469A1 (zh) | 目标对象的检测方法、装置、设备和存储介质 | |
JP2022531188A (ja) | 人体キーポイント検出方法及び装置、電子機器並びに記憶媒体 | |
TWI767596B (zh) | 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質 | |
JP2022540072A (ja) | 位置姿勢決定方法及び装置、電子機器並びに記憶媒体 | |
US20210158560A1 (en) | Method and device for obtaining localization information and storage medium | |
CN111563138B (zh) | 定位方法及装置、电子设备和存储介质 | |
CN112219224B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP2022530821A (ja) | 座標系のアライメント方法及び装置、電子機器並びに記憶媒体 | |
CN114088061B (zh) | 目标定位方法及装置、电子设备和存储介质 | |
JP2022546201A (ja) | ターゲット検出方法および装置、電子機器並びに記憶媒体 | |
JP7316456B2 (ja) | 点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム | |
EP3651144A1 (en) | Method and apparatus for information display, and display device | |
CN114581525A (zh) | 姿态确定方法及装置、电子设备和存储介质 | |
CN111325786B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN111311588B (zh) | 重定位方法及装置、电子设备和存储介质 | |
JP2022552772A (ja) | 目標追跡方法及び装置、電子デバイスと記憶媒体 | |
JP7084485B2 (ja) | 画像処理方法及び装置、電子機器、並びに記憶媒体 | |
CN112837372A (zh) | 数据生成方法及装置、电子设备和存储介质 | |
JP2022518810A (ja) | 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体 | |
CN114549983A (zh) | 计算机视觉模型训练方法及装置、电子设备和存储介质 | |
CN109543544B (zh) | 跨光谱图像匹配方法及装置、电子设备和存储介质 | |
EP3599763A2 (en) | Method and apparatus for controlling image display | |
CN112308878A (zh) | 一种信息处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7261889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |