JP2021181977A - モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置 - Google Patents

モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置 Download PDF

Info

Publication number
JP2021181977A
JP2021181977A JP2021048382A JP2021048382A JP2021181977A JP 2021181977 A JP2021181977 A JP 2021181977A JP 2021048382 A JP2021048382 A JP 2021048382A JP 2021048382 A JP2021048382 A JP 2021048382A JP 2021181977 A JP2021181977 A JP 2021181977A
Authority
JP
Japan
Prior art keywords
mobile edge
edge computing
image
target image
computing node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021048382A
Other languages
English (en)
Inventor
ドゥグォ シァ，
Deguo Xia
ジージョウ ファン，
Jizhou Huang
リゥフイ ジャン，
Liuhui Zhang
カイ ジョン，
Kai Zhong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2021181977A publication Critical patent/JP2021181977A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置の提供。【解決手段】モバイル・エッジ・コンピューティングノードは、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することＳ１１０、モバイル・エッジ・コンピューティングノードは、複数の候補画像から、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングすることＳ１２０、モバイル・エッジ・コンピューティングノードは、被測位デバイスがポーズ情報から電子地図における測位情報を決定するために、被測位装置のポーズ情報を被測位デバイスに送信することＳ１３０、を含む。【選択図】図１ａ

Description

本出願は、コンピュータ技術に係り、特に、コンピュータ視覚画像技術分野に係る。
ユーザはナビゲーション製品を使用する場合、カーナビでも歩行ナビゲーションでも、ユーザの位置をリアルタイムで取得する必要があり、これにより、ユーザに正確な経路計画を与えることができる。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、全地球測位システム）は、広く使われている測位案として、衛星の状況、天気状況、データチェーンの伝送状況に影響されやすい。例えば、高架橋上/橋下、本道/側道、室内、及び高層ビルが密集している商業エリアなどの場合では使用できない。そのため、高架橋上/橋下、本道/側道、室内と高層ビルが密集している商業エリアなどの場合のナビゲーションの位置付けの問題を解決するための新たな測位方法が必要である。
本出願の実施形態は、モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置を提供する。
第１方面において、本出願の実施形態は、
モバイル・エッジ・コンピューティングノードは、前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することと、
前記モバイル・エッジ・コンピューティングノードは、複数の候補画像から、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングすることと、
前記モバイル・エッジ・コンピューティングノードは、前記被測位デバイスが前記ポーズ情報から電子地図における測位情報を決定するために、前記被測位装置のポーズ情報を前記被測位デバイスに送信することと、
を含むモバイル・エッジ・コンピューティングに基づく視覚測位方法を提供する。
第２方面において、本出願の実施形態は、
モバイル・エッジ・コンピューティングノードのカバー領域内の被測位装置によって撮影された環境画像を受信するための受信モジュールと、
複数の候補画像から、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングするためのコンピューティングモジュールと、
前記被測位デバイスが前記ポーズ情報から電子地図における測位情報を決定するために、前記被測位デバイスのポーズ情報を前記被測位デバイスに送信するための送信モジュールと、
を含むモバイル・エッジ・コンピューティングに基づく視覚測位装置を提供する。
第３方面において、本出願の実施形態は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサがいずれかの実施形態に提供されるモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行できるように前記少なくとも１つのプロセッサに実行され、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記少なくとも１つのプロセッサに通信可能に接続されているメモリと、
を含む電子デバイスを提供する。
第４方面において、本出願の実施形態は、コンピュータに、いずれかの実施形態に提供されるモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行させるためのコンピュータ命令を記憶する非一時的コンピュータ可読記憶媒体をさらに提供する。
第５方面において、本出願の実施形態は、コンピュータプログラムであって、プロセッサにより実行されると、いずれかの実施形態に提供されるモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行させるコンピュータプログラムをさらに提供する。
本出願の技術によれば、モバイル・エッジ・コンピューティングに基づく視覚測位方法は、特に複雑な場合の測位状況に適用される。
本部分に記載された内容は、本開示の実施形態のキーまたは重要な特徴を識別することを意図しているわけではなく、本開示の範囲を制限するためのものではない、ことを理解すべきである。本開示の他の特徴は、以下の説明によって分かりやすくなる。
図面は、本出願をよりよく理解するためのものであり、本出願に対する限定を構成しない。
図１ａは本出願の実施形態に係る第１のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。 図１ｂは本出願の実施形態に提供されるＭＥＣノードカバー範囲の概略図である。 図２ａは本出願の実施形態に係る第２のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。 図２ｂは本出願の実施形態に提供されるポーズ情報のコンピューティングフローの概略図である。 図３は本出願の実施形態に係る第３のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。 図４ａは本出願の実施形態に係る第４のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。 図４ｂは本出願の実施形態に提供されるモバイル・エッジ・コンピューティングに基づく視覚測位システムのフローチャートである。 図５は本出願の実施形態に係るモバイル・エッジ・コンピューティングに基づく視覚測位装置の構成図である。 図６は本発明の実施形態に係るモバイル・エッジ・コンピューティングに基づく視覚測位方法を実現するためのモバイル・エッジ・コンピューティングノードのブロック図である。
以下、添付図面と合わせて、本出願の例示的な実施形態を説明する。ここでは、理解を助けるために、本出願の実施形態の様々な細部が含まれ、それらが単なる例示的なものであると考えられるべきである。したがって、当業者は、本出願の範囲および思想から逸脱することなく、本明細書に記載された実施形態に対して様々な変形および修正を行うことができる、ことを認識すべきである。同様に、以下の説明では、明確かつ簡明にするために、公知の機能と構造についての説明を省略する。
本出願の実施形態によれば、図１ａは本出願の実施形態に係る第１のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。本出願の実施形態は、デバイスを測位するための場合に適用され、特に、高架橋上/橋下、本道/側道、室内、及び高層ビルが密集している商業エリアなどのＧＰＳを使用できない場合に適用される。この方法は、モバイル・エッジ・コンピューティングに基づく視覚測位装置によって実行され、この装置は、ソフトウェアおよび／またはハードウェアで実現され、具体的に、一定のデータ演算能力を備えるモバイル・エッジ・コンピューティングノードに配置されている。
図１ａに示すように、モバイル・エッジ・コンピューティングに基づく視覚測位方法は、
Ｓ１１０：モバイル・エッジ・コンピューティングノードは、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することを含む。
説明と区別を容易にするために、ローカルポジショニングが必要なデバイスを、例えば携帯電話、スマート腕時計などの携帯端末、またはデスクトップなどの固定端末と呼ぶ。
被測位デバイスは、高架橋上/橋下、本道/側道、室内、及び高層ビルが密集している商業エリアなどのＧＰＳを使用できない場所に位置する場合に、カメラをオンにして周囲の環境を撮影し、環境画像を得ることができる。測位精度を向上し、地理的位置の特徴を強調するために、周囲にランドマークのある建築物を撮影することは一般的である。
撮影が完了したら、環境画像を最も近いモバイル・エッジ・コンピューティング（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ、ＭＥＣ）ノードに送信する。ＭＥＣノードは、無線アクセスネットワーク（Ｒａｄｉｏ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋ、ＲＡＮ）内でインターネット技術サービス環境、コンピューティング及び記憶機能を提供する。ＭＥＣノードは、論理的にネットワークの他の部分に依存しない。これは、セキュリティ要求が高いアプリケーションにとって非常に重要である。また、ＭＥＣノードは通常高いコンピューティング能力を有しているので、特に大量のデータを解析処理するのに適する。同時に、ＭＥＣノードは、ユーザまたはメッセージソースから地理的に非常に近いので、ネットワークを用いてユーザの要求に応答する遅延が大幅に減少し、伝送ネットワークおよびコアネットワークの部分でネットワーク輻輳が発生する可能性も低減される。異なるＭＥＣノードのカバー範囲が異なり、複数のＭＥＣノードが異なるカバー範囲内に送信された環境画像を処理する。
図１ｂは本出願の実施形態に提供されるＭＥＣノードカバー範囲の概略図である。Ｔ１時刻において、被測位デバイスは第１のＭＥＣノードのカバー範囲に位置し、その後、Ｔ２時刻において、被測位デバイスは第２のＭＥＣノードのカバー範囲に位置する。被測位デバイスは、Ｔ１時刻に撮影された環境画像を第１のＭＥＣノードに送信し、Ｔ２時刻に撮影された環境画像を第２のＭＥＣノードに送信する。
Ｓ１２０：モバイル・エッジ・コンピューティングノードは、複数の候補画像から、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングする。
本実施形態において、ＭＥＣノードは、複数の候補画像と、各候補画像を撮影しているデバイスのポーズ情報を予め保持する。ここで、複数の候補画像は、異なる位置で撮影された画像であり、例えば、複数のランドマーク建築物を各位置から撮影した画像である。ポーズ情報は、位置情報と姿勢情報を含み、即ち地球座標系（ｘ軸、ｙ軸、ｚ軸を含む）における６つの自由度（ｘ軸に沿って平行移動し、ｙ軸に沿って平行移動し、ｚ軸に沿って平行移動し、ｘ軸を回り、ｙ軸を回り、ｚ軸を回ることを含む）の情報である。
環境画像とマッチングすることは、環境画像の画像コンテンツと一致し、例えば、画像に含まれるエンティティの種類及び向きが同じであることを意味する。オプションとして、ＭＥＣノードは、予め識別された各候補画像におけるエンティティ種類と向きも記憶している。環境画像におけるエンティティの種類及び向きを識別し、目標画像として環境画像におけるエンティティの種類及び向きと一致している候補画像を選択し、目標画像を撮影するデバイスのポーズ情報と、被測位デバイスのポーズ情報とが一致すると考えられる。
Ｓ１３０：モバイル・エッジ・コンピューティングノードは、被測位デバイスがポーズ情報から電子地図における測位情報を決定するために、被測位装置のポーズ情報を被測位デバイスに送信する。
被測位デバイスは、ポーズ情報を受信した後に、ポーズ情報に基づいて測位情報を決定し、測位情報を被測位デバイスで運行されている電子地図に表示する。
一例として、二次元電子地図では、ｘ軸、ｙ軸に沿って平行移動した位置から電子地図における位置を決定し、ｚ軸回りの回転角度から電子地図における向きを決定する。
一例として、三次元電子地図では、ｘ軸、ｙ軸、ｚ軸に沿って平行移動した位置から電子地図における位置を決定し、ｘ軸、ｙ軸、ｚ軸を回る回転角度から電子地図における向きを決定する。
本実施形態において、ＭＥＣノードは、実行主体として、複数の候補画像及び候補画像を撮影しているデバイスのポーズ情報をＭＥＣノードに予め配置し、ローカル化及び近距離配置を形成することで、ネットワーク伝送中のデータの時間消費を効果的に低減するとともに、ネットワークフィードバック帯域幅に対する要求とネットワーク負荷を低減し、実際の応用におけるリアルタイムで信頼できる測位要求を満たすことができる。複数の候補画像から、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングして測位情報を得る。これにより、コンピュータ視覚に基づく測位方式を採用し、ＭＥＣノードで視覚測位のアルゴリズムを実行することで、ユーザがＧＰＳ測位システムを起動するかどうかにかかわらず、測位情報を効果的に得ることができる。さらに、被測位デバイスは、高架橋上/橋下、本道/側道、室内、及び高層ビルが密集している商業エリアなどのＧＰＳを使用できない場所に位置する場合でも、依然として高精度な測位を行うことができる。
上記の実施形態および下記の実施形態において、複数の候補画像はＭＥＣノードのカバー領域内で撮影されたものである。ＭＥＣノードが受信した環境画像はカバー範囲内のデバイスにより撮影されたので、それとマッチングする目標画像もＭＥＣノードのカバー領域内で撮影されるべきである。目標画像を決定するには、少数の候補画像を環境画像とマッチングさせるだけでよく、視覚的な測位のコンピューティングを効果的に加速させることができる。
本出願の実施形態によれば、図２ａは本出願の実施形態に係る第２のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。本出願の実施形態は、上記の各実施形態の技術案に基づいて、ポーズ情報のコンピューティングプロセスを最適化するものである。
図２ａに示すように、モバイル・エッジ・コンピューティングに基づく視覚測位方法は、
Ｓ２１０：モバイル・エッジ・コンピューティングノードは、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することと、
Ｓ２２０：モバイル・エッジ・コンピューティングノードは、複数の候補画像から、環境画像とマッチングする目標画像を決定することと、
を含む。
図２ｂは本出願の実施形態に提供されるポーズ情報のコンピューティングフローの概略図である。図２ｂに示すように、ＭＥＣノードは、目標画像に対して特徴抽出を行い、目標画像の画像特徴を得る。具体的に、ＭＥＣノードは、ＳＩＦＴ（Ｓｃｒｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、スケール不変の特徴変換）に基づく特徴を選択するか、または、例えばＮｅｔＶＬＡＤのようなディープニューラルネットワークに基づく特徴抽出モデルを選択する。ＮｅｔＶＬＡＤは、ＶＬＡＤ（Ｖｅｃｔｏｒ ｏｆ ｌｏｃａｌｌｙ ａｇｇｒｅｇａｔｅｄ ｄｅｓｃｒｉｐｔｏｒｓ、局所集合ベクトル）層を有する畳み込みニューラルネットワークモデルである。
本実施形態において、図２ｂに示すように、サーバ（例えば、クラウドサーバ）は、予め候補画像ごとに特徴抽出を行い、候補画像のそれぞれの画像特徴を得て、ＭＥＣノードのカバー領域によって、候補画像の画像特徴を対応するカバー領域のＭＥＣノードに対して発し、ＭＥＣノードの画像特徴ライブラリーに格納する。
そして、ＭＥＣノードは、複数の候補画像から、環境画像の画像特徴とマッチングする目標画像を、近似最近傍探索アルゴリズムを用いて探索する。本実施形態では、画像特徴マッチングを用いて、環境画像とマッチングする目標画像を決定し、具体的に、近似最近傍探索アルゴリズムを用いて特徴マッチングを行う。ここで、近似最近傍探索アルゴリズムは、図や、ツリーまたはハッシュに基づくアルゴリズムであってもよく、所与の環境画像の画像特徴について、複数の候補画像の画像特徴（例えば、前述の画像特徴ライブラリー）から最も類似した前のｋ個（ｋは自然数であり、例えば１）の画像特徴を見つける。
本実施の形態では、画像特徴のディメンションから画像マッチングを行って、マッチングした目標画像を正確に見つけることができる。そして、近似最近傍探索アルゴリズムによって、マッチング効率を効率的に向上させることができる。
Ｓ２３０：モバイル・エッジ・コンピューティングノードは、環境画像と目標画像とがマッチングした特徴点ペアセットをコンピューティングする。
環境画像と目標画像におけるエンティティの種類は同じであるが、エンティティの向きはやや異なるかもしれない。即ち、画像特徴の中には、いくつかの特徴点がマッチングしていない。測位精度を高めるために、環境画像を撮影しているデバイスのポーズ情報を点ペアセットに応じて調整し、被測位デバイスのポーズ情報を得る必要がある。
オプションとして、最適ビン優先（ｂｅｓｔ−ｂｉｎ−ｆｉｒｓｔ）アルゴリズムまたはランダム・サンプル・コンセンサス（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アルゴリズムを用いて、環境画像の画像特徴と目標画像の画像特徴から、マッチングする複数の特徴点ペアを探索し、特徴点ペアセットを構成する。図２ｂにおいて、特徴点ペアが元の画像にマッピングされた画素点を接続し、特徴点ペアのマッチング関係を可視化で示している。
Ｓ２４０：モバイル・エッジ・コンピューティングノードは、目標画像を撮影しているデバイスのポーズ情報と特徴点ペアセットに基づいて、被測位デバイスのポーズ情報をコンピューティングする。
図２ｂに示すように、Ｉ１とＩ２は、それぞれマッチングされた目標画像と環境画像である。Ｐ１とＰ２は、それぞれ実際の空間におけるＰ点の、目標画像を撮影しているデバイスの座標系と被測位デバイスの座標系における座標系である。ｐ１とｐ２は、それぞれＰ１とＰ２の対応する画像における画素点であり、
Ｏ１とＯ２は、それぞれ目標画像と環境画像を撮影しているカメラの光心である。以下のような式（１）となり、
Figure 2021181977
 その中、目標画像から環境画像までの回転マトリクスはＲとし、平行移動ベクトルはｔとすれば、式（２）となる。
Figure 2021181977
ＭＥＣノードには、目標画像を撮影しているデバイスのポーズ情報が予め記憶されているため、被測位デバイスのポーズ情報が求められると、目標画像を撮影しているデバイスから被測位デバイスまでの動きを推定する必要がある。即ち、推定の目的はＲ、ｔを求めることである。
式（２）及び針孔結像原理により、式（３）が得られ、
Figure 2021181977
 その中、Ｋ１とＫ２は、それぞれ目標画像と環境画像を撮影しているカメラの内部参照である。式（３）に基づいて、Ｒ、ｔを求めることができる。次に、目標画像を撮影しているデバイスのポーズ情報をもとに、Ｒ、ｔに従って回転及び平行移動し、被測位デバイスのポーズ情報を得られる。
各特徴点ペアに基づいて、一組の被測位デバイスのポーズ情報を得ることができ、特徴点ペアセットに対するコンピューティングが完了すると、複数のポーズ情報が得られる。複数のポーズ情報に最小二乗法を適用して、最終のポーズ情報が推定される。
本実施形態において、ポーズ推定アルゴリズムと針孔結像原理を用いて、目標画像を撮影しているデバイスのポーズ情報と特徴点ペアセットに基づいて、被測位デバイスのポーズ情報をコンピューティングし、環境画像を撮影しているデバイスのポーズ情報を調整して、被測位デバイスのポーズ情報が得られ、測位精度が向上する。
本出願の実施形態によれば、図３は本出願の実施形態に係る第３のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。本出願の実施形態は、上記の各実施形態の技術案に基づいて最適化するものである。
オプションとして、「モバイル・エッジ・コンピューティングノードは、複数の候補画像から、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングする」という動作を、「モバイル・エッジ・コンピューティングノードは、視覚測位モデルによって、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングする」ように、視覚測位モデルによってポーズ情報をコンピューティングすることに細分化する。
オプションとして、「モバイル・エッジ・コンピューティングノードは、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信する」という動作の前に、「モバイル・エッジ・コンピューティングノードは、更新後の複数の候補画像と、更新後の複数の候補画像を撮影したデバイスのポーズ情報、及び更新後の視覚測位モデルをサーバから取得する」ことを追加し、ＭＥＣノードの更新機構が提供されている。
図３に示すように、モバイル・エッジ・コンピューティングに基づく視覚測位方法は、
Ｓ３１０：モバイル・エッジ・コンピューティングノードは、更新後の複数の候補画像と、更新後の複数の候補画像を撮影したデバイスのポーズ情報、及び更新後の視覚測位モデルをサーバから取得することを含む。
ＭＥＣノードの視覚測位効果を継続的に繰り返すために、サーバ内の更新状況に応じて、ＭＥＣノードの候補画像、ポーズ情報、視覚測位モデルを同期して更新する必要がある。オプションとして、ＭＥＣノードが候補画像の画像特徴をさらに記憶している場合に、候補画像の画像特徴を同期して更新する必要がある。
オプションとして、ＭＥＣノードは、サーバにカバー範囲内の更新後の複数の候補画像、ポーズ情報、視覚測位モデルを定期的に要求する。或いは、サーバが更新された後に、ＭＥＣノードのカバー領域に基づいて、更新された複数の候補画像、ポーズ情報、視覚測位モデルをＭＥＣノードに更新する。
Ｓ３２０：モバイル・エッジ・コンピューティングノードは、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信する。
Ｓ３３０：モバイル・エッジ・コンピューティングノードは、視覚測位モデルによって、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングする。
本実施形態において、ポーズ情報のコンピューティングアルゴリズムを視覚測位モデルにパッケージする。オプションとして、視覚測位モデルは、目標画像に対して特徴抽出を行い、目標画像の画像特徴を得るための画像特徴抽出ユニットと、複数の候補画像から、環境画像の画像特徴とマッチングする目標画像を、近似最近傍探索アルゴリズムを用いて探索するための近似候補画像コンピューティングユニットと、環境画像と目標画像とがマッチングした特徴点ペアセットをコンピューティングするための画像特徴点マッチングユニットと、目標画像を撮影しているデバイスのポーズ情報と特徴点ペアセットに基づいて、被測位デバイスのポーズ情報をコンピューティングするためのポーズコンピューティングユニットと、を備える。
Ｓ３４０：モバイル・エッジ・コンピューティングノードは、被測位デバイスがポーズ情報から電子地図における測位情報を決定するために、被測位装置のポーズ情報を被測位デバイスに送信する。
本実施形態は、ＭＥＣノードにおける候補画像、ポーズ情報、視覚測位モデルを更新することにより、ＭＥＣノードの視覚測位効果を継続的に繰り返すことができ、ポーズ情報のコンピューティングアルゴリズムを視覚測位モデルにパッケージすることにより、アルゴリズム全体の更新とメンテナンスを便利にすることができる。
本出願の実施形態において、図４ａは本出願の実施形態に係る第４のモバイル・エッジ・コンピューティングに基づく視覚測位方法のフローチャートである。本出願の実施形態は、上記の各実施形態の技術案に基づいて、環境画像の受信プロセスを最適化するものである。
図４ａに示すように、第４のモバイル・エッジ・コンピューティングに基づく視覚測位方法は、
Ｓ４１０：モバイル・エッジ・コンピューティングノードは、第５世代の移動通信技術により、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することを含む。
図４ｂは本出願の実施形態に提供されるモバイル・エッジ・コンピューティングに基づく視覚測位システムのフローチャートである。図４ｂは、被測位デバイスとして、クラウドサーバ、コアネットワーク、ｎ個のＭＥＣノード、各ＭＥＣノードに接続された複数の５Ｇ基地局と２台の携帯電話を含む。
ここで、各ＭＥＣノードは、予めクラウドサーバから対応するカバー領域内のデバイスが撮影した複数の候補画像、この候補画像を撮影しているデバイスのポーズ情報、及び視覚測位モデルをダウンロードまたは更新する。さらに、この候補画像の画像特徴をクラウドサーバからダウンロードまたは更新することもできる。
ユーザのナビゲーション中にＧＰＳによる測位に問題が発生した場合、携帯電話のカメラを開いて近くの顕著な建物を撮影することで環境画像を得ることができ、５Ｇ（５ｔｈ ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｎｅｔｗｏｒｋｓ、第５世代の移動通信技術）ネットワーク上を介して環境画像をアップロードすることができる。５Ｇ基地局は、環境画像を受信した後、近くのＭＥＣノードを選択することにより、携帯電話のある領域をカバーするＭＥＣノードに環境画像をアップロードする。次に、ＭＥＣノードによってＳ４２０およびＳ４３０を実行する。
Ｓ４２０：モバイル・エッジ・コンピューティングノードは、複数の候補画像から、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングする。
Ｓ４３０：モバイル・エッジ・コンピューティングノードは、被測位デバイスがポーズ情報から電子地図における測位情報を決定するために、被測位装置のポーズ情報を被測位デバイスに送信する。
本実施形態において、ＭＥＣの配置方式に基づいて、視覚測位アルゴリズムおよび候補画像をＭＥＣノードに予め配置し、測位デバイスが環境画像を撮影した後、５Ｇネットワークを介して近くのＭＥＣノードにアクセスし、５Ｇネットワークが低遅延、高併発の利点を持つことにより、視覚測位のコンピューティングを加速し、低遅延の視覚測位を提供することができる。
図５に示すように、モバイル・エッジ・コンピューティングに基づく視覚測位装置５００は、
モバイル・エッジ・コンピューティングノードのカバー領域内の被測位装置によって撮影された環境画像を受信するための受信モジュール５０１と、
複数の候補画像から、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングするためのコンピューティングモジュール５０２と、
被測位デバイスがポーズ情報から電子地図における測位情報を決定するために、被測位デバイスのポーズ情報を被測位デバイスに送信するための送信モジュール５０３と、を含む。
本実施形態において、ＭＥＣノードは、実行主体として、複数の候補画像及び候補画像を撮影しているデバイスのポーズ情報をＭＥＣノードに予め配置し、ローカル化及び近距離配置を形成することで、ネットワーク伝送中のデータの時間消費を効果的に低減するとともに、ネットワークフィードバック帯域幅に対する要求とネットワーク負荷を低減し、実際の応用におけるリアルタイムで信頼できる測位要求を満たすことができる。複数の候補画像から、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングして測位情報を得る。これにより、コンピュータ視覚に基づく測位方式を採用し、ＭＥＣノードで視覚測位のアルゴリズムを実行することで、ユーザがＧＰＳ測位システムを起動するかどうかにかかわらず、測位情報を効果的に得ることができる。さらに、被測位デバイスは、高架橋上/橋下、本道/側道、室内、及び高層ビルが密集している商業エリアなどのＧＰＳを使用できない場所に位置する場合でも、依然として高精度な測位を行うことができる。
さらに、複数の候補画像は、モバイル・エッジ・コンピューティングノードのカバー領域内で撮影されたものである。
さらに、コンピューティングモジュール５０２は、複数の候補画像から、環境画像とマッチングする目標画像を決定するための決定ユニットと、環境画像と目標画像とがマッチングした特徴点ペアセットをコンピューティングするための特徴点ペアセットコンピューティングユニットと、目標画像を撮影しているデバイスのポーズ情報と特徴点ペアセットに基づいて、被測位デバイスのポーズ情報をコンピューティングするためのポーズ情報コンピューティングユニットと、を含む。
さらに、決定ユニットは、具体的に、目標画像に対して特徴抽出を行って、目標画像の画像特徴が得られ、複数の候補画像から、環境画像の画像特徴とマッチングする目標画像を、近似最近傍探索アルゴリズムを用いて探索する。
さらに、コンピューティングユニット５０２は、視覚測位モデルによって、環境画像とマッチングする目標画像を決定し、目標画像を撮影しているデバイスのポーズ情報に基づいて、被測位デバイスのポーズ情報をコンピューティングする。
さらに、装置は、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信する前に、更新後の複数の候補画像と、更新後の複数の候補画像を撮影したデバイスのポーズ情報、及び更新後の視覚測位モデルをサーバから取得するための更新モジュールをさらに含む。
さらに、受信モジュール５０１は、具体的に、第５世代の移動通信技術により、モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信する。
上記のモバイル・エッジ・コンピューティングに基づく視覚測位装置は、本出願のいずれかの実施形態によって提供されるモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行し、モバイル・エッジ・コンピューティングに基づく視覚測位方法に対応する機能モジュールと有益な効果を備えている。
本出願の実施形態によれば、本出願は、ＭＥＣノード及び読み取り可能な記憶媒体をさらに提供している。
図６は、本発明の実施形態に係るモバイル・エッジ・コンピューティングに基づく視覚測位方法を実現するためのＭＥＣノードのブロック図である。ＭＥＣノードとは、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータのような様々な形態のデジタルコンピュータを示す。ＭＥＣノードとは、パーソナルデジタルプロセシング、携帯電話、スマートフォン、ウェアラブルデバイス、および他の類似のコンピューティングデバイスのような様々な形態のモバイルデバイスを示すこともできる。ここで示された部材、それらの接続と関係、およびそれらの機能は一例にすぎず、本出願で説明されたものおよび／または要求された実施形態を限定することは意図されない。
図６に示すように、当該ＭＥＣノードは、１つ又は複数のプロセッサ６０１と、メモリ６０２と、高速インターフェースおよび低速インターフェースを含む各構成要素を接続するためのインターフェースを備える。各構成要素は異なるバスを利用して互いに接続され、共通のマザーボードに取り付けられてもよく、必要に応じて他の形態で取り付けられてもよい。プロセッサは、メモリに記憶される命令や、メモリにＧＵＩのグラフィカル情報を外部入出力装置（例えば、インターフェースに接続された表示装置）に表示するための命令を含む、ＭＥＣノード内で実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサおよび／または複数のバスを複数のメモリおよび複数のメモリとともに使用することができる。同様に、複数のＭＥＣノードを接続してもよく、各ＭＥＣノードは、部分的に必要な動作（例えば、サーバアレイ、ブレードサーバのセット、またはマルチプロセッサシステムとする）を提供する。図６では、１つのプロセッサ６０１を例にする。
メモリ６０２は、本出願に提供される非一時的コンピュータ可読記憶媒体である。その中、メモリは、少なくとも１つのプロセッサによって実行される命令を記憶し、本出願で提供されるモバイル・エッジ・コンピューティングに基づく視覚測位方法を少なくとも１つのプロセッサに実行させる。本出願の非一時的コンピュータ可読記憶媒体は、コンピュータに本出願で提供されるモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行させるためのコンピュータ命令を記憶する。
メモリ６０２は、非一時的コンピュータ可読記憶媒体として、例えば、本出願の実施形態におけるモバイル・エッジ・コンピューティングに基づく視覚測位方法に対応するプログラム命令／モジュール（例えば、図５に示すように、受信モジュール５０１、コンピューティングモジュール５０２、送信モジュール５０３を含む）のような非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、及びモジュールを記憶するために使用されてもよい。プロセッサ６０１は、メモリ６０２に格納された非一時的ソフトウェアプログラム、命令、およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理、すなわち、上記の方法の実施形態におけるモバイル・エッジ・コンピューティングに基づく視覚測位を実現する方法を実行する。
メモリ６０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶することができるプログラム記憶領域と、モバイル・エッジ・コンピューティングに基づく視覚測位方法を実現するＭＥＣノードの使用によって生成されたデータなどを記憶することができるデータ記憶領域を含んでもよい。さらに、メモリ６０２は、高速ランダムアクセスメモリを含んでもよく、例えば、少なくとも１つのディスク記憶装置、フラッシュメモリ装置、または他の非一時的固体記憶装置のような非一時的メモリを含んでもよい。いくつかの実施形態では、メモリ６０２は、プロセッサ６０１に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介してモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行するためのＭＥＣノードに接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワークおよびそれらの組み合わせを含むが、これらに限定されない。
モバイル・エッジ・コンピューティングに基づく視覚測位方法を実行するＭＥＣノードは、入力装置６０３と出力装置６０４をさらに含んでもよい。プロセッサ６０１、メモリ６０２、入力装置６０３、および出力装置６０４は、バスまたは他の方法で接続されてもよく、図６は、バスを介して接続されている例である。
入力装置６０３は、入力された数字や文字情報を受信し、モバイル・エッジ・コンピューティングに基づく視覚測位方法を実行するＭＥＣノードのユーザ設定および機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つまたは複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置６０４は、表示装置、補助照明デバイス（例えばＬＥＤ）、触覚フィードバックデバイス（例えば、振動モータ）などを含んでもよい。この表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、およびプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態では、表示装置はタッチスクリーンであってもよい。
ここで記載されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムに実施されてもよく、この１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行および／または解釈されてもよく、このプログラマブルプロセッサは、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータと命令を受信し、そのデータと命令を当該記憶システム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に送信する専用または汎用プログラマブルプロセッサであってもよい。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも言う）は、プログラマブルプロセッサのマシン命令を含み、これらのコンピューティングプログラムは、高度なプロセスおよび／またはオブジェクトに向けたプログラミング言語、および／またはアセンブリ／機械言語を用いて実行されてもよい。本明細書で使用されるように、「機械可読（読取可能な）媒体」および「コンピュータ可読（読取可能な）媒体」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ）を意味し、機械読取可能な信号としての機械命令を受信する機械読取可能なメディアを含む。「機械読取可能な信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのインタラクティブを提供するために、ここで記載されたシステムおよび技術をコンピュータ上で実施することができる。このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えており、ユーザは、このキーボードおよびこのポインティングデバイスを介してコンピュータに入力を提供することができる。他の種類のデバイスは、ユーザとのインタラクティブを提供するために使用されてもよい。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音入力、音声入力、または触覚入力を含む）で受信されてもよい。
ここで記載されたシステムおよび技術は、バックグラウンド構成要素を含むコンピューティングシステム（例えば、データサーバとして）、またはミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはネットワークブラウザを有するユーザコンピュータであり、ユーザは、グラフィカルユーザインターフェースまたはネットワークブラウザを介して、ここで記載されたシステムおよび技術の実施形態と対話することができる）、このようなバックグラウンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されてもよい。システムの構成要素は、任意の形態またはメディアのデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例は、ローカル局（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット、ブロックチェーンネットワークを含む。
コンピュータシステムは、クライアントとサーバを含んでもよい。クライアントとサーバの同士は一般的に離れており、通常、通信ネットワークを介してインタラクティブする。クライアントとサーバとの関係は、相応するコンピュータ上で動作し、クライアントとサーバとの関係を持つコンピュータプログラムによって生成される。
上記の様々な形式のフローを使用して、順序付け、追加、またはステップ削除が可能であることを理解すべきである。例えば、本出願に記載された各ステップは、並列に実行されても良いし、順次に実行されても良いし、異なる順序で実行されても良いし、本開示の技術案が所望する結果を実現することができる限り、ここでは限定されない。
上記の具体的な実施形態は、本出願の保護範囲に対する制限を構成していない。設計要求とその他の要素に応じて、様々の修正、組合せ、下位組合せ及び置き換えを行うことができることを当業者は理解すべきである。本出願の思想及び原則内になされた修正、均等置換及び改進等は、すべて本出願の保護範囲に含まれるものとする。

Claims (17)

  1. モバイル・エッジ・コンピューティングノードは、前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することと、
    前記モバイル・エッジ・コンピューティングノードは、複数の候補画像から、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングすることと、
    前記モバイル・エッジ・コンピューティングノードは、前記被測位デバイスが前記ポーズ情報から電子地図における測位情報を決定するために、前記被測位装置のポーズ情報を前記被測位デバイスに送信することと、
    を含むモバイル・エッジ・コンピューティングに基づく視覚測位方法。
  2. 前記複数の候補画像は、前記モバイル・エッジ・コンピューティングノードのカバー領域内で撮影されたものである、請求項１に記載の方法。
  3. 前記モバイル・エッジ・コンピューティングノードは、複数の候補画像から、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングすることは、
    前記モバイル・エッジ・コンピューティングノードは、前記環境画像とマッチングする目標画像を決定することと、
    前記モバイル・エッジ・コンピューティングノードは、前記環境画像と前記目標画像とがマッチングした特徴点ペアセットをコンピューティングすることと、
    前記モバイル・エッジ・コンピューティングノードは、前記目標画像を撮影しているデバイスのポーズ情報と前記特徴点ペアセットに基づいて、前記被測位デバイスのポーズ情報をコンピューティングすることと、を含む請求項１に記載の方法。
  4. 前記モバイル・エッジ・コンピューティングノードは、複数の候補画像から、前記環境画像とマッチングする目標画像を決定することは、
    前記モバイル・エッジ・コンピューティングノードは、前記目標画像に対して特徴抽出を行い、前記目標画像の画像特徴を得ることと、
    前記モバイル・エッジ・コンピューティングノードは、複数の候補画像から、前記環境画像の画像特徴とマッチングする目標画像を、近似最近傍探索アルゴリズムを用いて探索することと、を含む請求項３に記載の方法。
  5. 前記モバイル・エッジ・コンピューティングノードは、複数の候補画像から、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングすることは、
    前記モバイル・エッジ・コンピューティングノードは、視覚測位モデルによって、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングすること、を含む請求項１に記載の方法。
  6. 前記モバイル・エッジ・コンピューティングノードは、前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することの前に、
    前記モバイル・エッジ・コンピューティングノードは、更新後の複数の候補画像と、更新後の複数の候補画像を撮影したデバイスのポーズ情報、及び更新後の前記視覚測位モデルをサーバから取得すること、をさらに含む請求項５に記載の方法。
  7. 前記モバイル・エッジ・コンピューティングノードは、前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信することは、
    前記モバイル・エッジ・コンピューティングノードは、第５世代の移動通信技術により、前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信すること、を含む請求項１〜６の何れか一項に記載の方法。
  8. モバイル・エッジ・コンピューティングノードに配置されているモバイル・エッジ・コンピューティングに基づく視覚測位装置であって、
    前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位装置によって撮影された環境画像を受信するための受信モジュールと、
    複数の候補画像から、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングするためのコンピューティングモジュールと、
    前記被測位デバイスが前記ポーズ情報から電子地図における測位情報を決定するために、前記被測位デバイスのポーズ情報を前記被測位デバイスに送信するための送信モジュールと、
    を含むモバイル・エッジ・コンピューティングに基づく視覚測位装置。
  9. 前記複数の候補画像は、前記モバイル・エッジ・コンピューティングノードのカバー領域内で撮影されたものである、請求項８に記載の装置。
  10. 前記コンピューティングモジュールは、
    複数の候補画像から、前記環境画像とマッチングする目標画像を決定するための決定ユニットと、
    前記環境画像と前記目標画像とがマッチングした特徴点ペアセットをコンピューティングするための特徴点ペアセットコンピューティングユニットと、
    前記目標画像を撮影しているデバイスのポーズ情報と前記特徴点ペアセットに基づいて、前記被測位デバイスのポーズ情報をコンピューティングするためのポーズ情報コンピューティングユニットと、を含む請求項８に記載の装置。
  11. 前記決定ユニットは、具体的に、前記目標画像に対して特徴抽出を行って、前記目標画像の画像特徴が得られ、複数の候補画像から、前記環境画像の画像特徴とマッチングする目標画像を、近似最近傍探索アルゴリズムを用いて探索する、請求項１０に記載の装置。
  12. 前記コンピューティングユニットは、視覚測位モデルによって、前記環境画像とマッチングする目標画像を決定し、前記目標画像を撮影しているデバイスのポーズ情報に基づいて、前記被測位デバイスのポーズ情報をコンピューティングする、請求項８に記載の装置。
  13. 前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信する前に、更新後の複数の候補画像と、更新後の複数の候補画像を撮影したデバイスのポーズ情報、及び更新後の前記視覚測位モデルをサーバから取得するための更新モジュールをさらに含む請求項１２に記載の装置。
  14. 前記受信モジュールは、具体的に、第５世代の移動通信技術により、前記モバイル・エッジ・コンピューティングノードのカバー領域内の被測位デバイスによって撮影された環境画像を受信する、請求項８〜１３の何れか一項に記載の装置。
  15. 少なくとも1つのプロセッサと、
    前記少なくとも１つのプロセッサが請求項１〜７の何れか一項に記載のモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行できるように前記少なくとも１つのプロセッサに実行され、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記少なくとも１つのプロセッサに通信可能に接続されているメモリと、
    を含むモバイル・エッジ・コンピューティングノード。
  16. コンピュータに、請求項１〜７の何れか一項に記載のモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行させるためのコンピュータ命令を記憶する非一時的コンピュータ可読記憶媒体。
  17. コンピュータプログラムであって、
    プロセッサにより実行されると、請求項１〜７の何れか一項に記載のモバイル・エッジ・コンピューティングに基づく視覚測位方法を実行させるコンピュータプログラム。

JP2021048382A 2020-06-04 2021-03-23 モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置 Pending JP2021181977A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010501319.8A CN111649724B (zh) 2020-06-04 2020-06-04 基于移动边缘计算的视觉定位方法和装置
CN202010501319.8 2020-06-04

Publications (1)

Publication Number Publication Date
JP2021181977A true JP2021181977A (ja) 2021-11-25

Family

ID=72344781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048382A Pending JP2021181977A (ja) 2020-06-04 2021-03-23 モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置

Country Status (5)

Country Link
US (1) US11380012B2 (ja)
EP (1) EP3842748A3 (ja)
JP (1) JP2021181977A (ja)
KR (1) KR20210036317A (ja)
CN (1) CN111649724B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150507B (zh) * 2020-09-29 2024-02-02 厦门汇利伟业科技有限公司 一种物体姿态和位移的3d模型同步重现方法及系统
US20220201256A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method, apparatus, and system for capturing an image sequence for a visual positioning service request
CN112954269B (zh) * 2021-01-08 2023-06-06 鹏城实验室 一种用于大规模视觉计算系统的节点协同选择方法
JP2022143412A (ja) * 2021-03-17 2022-10-03 株式会社東芝 画像処理装置および画像処理方法
CN113379803B (zh) * 2021-07-07 2024-02-02 上海谦尊升网络科技有限公司 一种基于视觉图像的定位方法
CN113938816B (zh) * 2021-09-10 2023-04-28 中国联合网络通信集团有限公司 算力资源调度方法及其装置
CN113888635B (zh) * 2021-09-29 2023-04-18 北京百度网讯科技有限公司 视觉定位方法、相关装置
CN114051264B (zh) * 2021-10-15 2023-12-01 鹏城实验室 一种基于用户体验的边缘自适应视频加速方法及相关装置
CN114526739B (zh) * 2022-01-25 2024-05-07 中南大学 移动机器人室内重定位方法、计算机装置及产品
CN114821273B (zh) * 2022-03-10 2023-06-30 慧之安信息技术股份有限公司 基于边缘计算的天文望远镜设备智能化方法和装置
CN115019167B (zh) * 2022-05-26 2023-11-07 中国电信股份有限公司 基于移动终端的融合定位方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015529911A (ja) * 2012-09-28 2015-10-08 インテル コーポレイション 拡張現実情報の決定
JP2016066270A (ja) * 2014-09-25 2016-04-28 Kddi株式会社 作業類似度算出方法、装置およびプログラム
JP2019068429A (ja) * 2018-11-08 2019-04-25 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
WO2019187816A1 (ja) * 2018-03-30 2019-10-03 日本電産シンポ株式会社 移動体および移動体システム
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844696B (zh) * 2015-12-31 2019-02-05 清华大学 基于射线模型三维重构的图像定位方法以及装置
US9964955B2 (en) * 2016-08-04 2018-05-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位系统及方法
CN106813672B (zh) * 2017-01-22 2020-02-14 深圳悉罗机器人有限公司 移动机器人的导航方法及移动机器人
US10282860B2 (en) * 2017-05-22 2019-05-07 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 地图创建以及运动实体定位的方法和装置
CN110631554B (zh) * 2018-06-22 2021-11-30 北京京东乾石科技有限公司 机器人位姿的确定方法、装置、机器人和可读存储介质
CN109141396B (zh) * 2018-07-16 2022-04-26 南京航空航天大学 辅助信息与随机抽样一致算法融合的无人机位姿估计方法
CN110164135B (zh) * 2019-01-14 2022-08-02 腾讯科技（深圳）有限公司 一种定位方法、定位装置及定位系统
CN109978755B (zh) * 2019-03-11 2023-03-17 广州杰赛科技股份有限公司 全景图像合成方法、装置、设备与存储介质
CN110322500B (zh) * 2019-06-28 2023-08-15 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110415297B (zh) * 2019-07-12 2021-11-05 北京三快在线科技有限公司 定位方法、装置及无人驾驶设备
CN110609311B (zh) * 2019-10-10 2022-12-23 武汉理工大学 基于车载环视图像与毫米波雷达融合的智能车定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015529911A (ja) * 2012-09-28 2015-10-08 インテル コーポレイション 拡張現実情報の決定
JP2016066270A (ja) * 2014-09-25 2016-04-28 Kddi株式会社 作業類似度算出方法、装置およびプログラム
WO2019187816A1 (ja) * 2018-03-30 2019-10-03 日本電産シンポ株式会社 移動体および移動体システム
JP2019068429A (ja) * 2018-11-08 2019-04-25 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法

Also Published As

Publication number Publication date
EP3842748A3 (en) 2021-10-06
US20210383568A1 (en) 2021-12-09
KR20210036317A (ko) 2021-04-02
CN111649724B (zh) 2022-09-06
EP3842748A2 (en) 2021-06-30
US11380012B2 (en) 2022-07-05
CN111649724A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
JP2021181977A (ja) モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置
US10217231B2 (en) Systems and methods for utilizing anchor graphs in mixed reality environments
US9361729B2 (en) Techniques to present location information for social networks using augmented reality
JP7258066B2 (ja) 測位方法、測位装置及び電子機器
US20120242842A1 (en) Terminal device, information processing device, object identifying method, program, and object identifying system
US11828606B2 (en) Method and apparatus for updating point cloud
US20240118083A1 (en) Localisation of mobile device using image and non-image sensor data in server processing
WO2021088498A1 (zh) 虚拟物体显示方法以及电子设备
CN111462029B (zh) 视觉点云与高精地图融合方法、装置和电子设备
CN112333491B (zh) 视频处理方法、显示装置和存储介质
CN112101209B (zh) 用于路侧计算设备的确定世界坐标点云的方法和装置
JP7487321B2 (ja) 測位方法及びその装置、電子機器、記憶媒体、コンピュータプログラム製品、コンピュータプログラム
JP7164589B2 (ja) 室内測位方法、装置、機器および記憶媒体
US20220020216A1 (en) Method for displaying annotation information, electronic device and storage medium
JP2021197157A (ja) キーポイントの特定方法及び装置、機器、記憶媒体
WO2021088497A1 (zh) 虚拟物体显示方法、全局地图更新方法以及设备
CN112102417A (zh) 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法
CN112632181B (zh) 地图显示方法、装置、设备、存储介质和终端设备
US20150109508A1 (en) Method and apparatus for generating a media capture request using camera pose information
JP7269979B2 (ja) 歩行者を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
US20240095265A1 (en) Method and apparatus for retrieving 3d map
Komianos et al. Design of a Computational Offloading Platform for Immersive Experiences in Digital Culture
WO2022252236A1 (zh) 3d地图的编解码方法及装置
CN117635697A (zh) 位姿确定方法、装置、设备、存储介质和程序产品
JP2024521375A (ja) ３ｄマップを取り出すための方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231121