CN111649724A - 基于移动边缘计算的视觉定位方法和装置 - Google Patents

基于移动边缘计算的视觉定位方法和装置 Download PDF

Info

Publication number
CN111649724A
CN111649724A CN202010501319.8A CN202010501319A CN111649724A CN 111649724 A CN111649724 A CN 111649724A CN 202010501319 A CN202010501319 A CN 202010501319A CN 111649724 A CN111649724 A CN 111649724A
Authority
CN
China
Prior art keywords
equipment
pose information
edge computing
image
computing node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010501319.8A
Other languages
English (en)
Other versions
CN111649724B (zh
Inventor
夏德国
黄际洲
张刘辉
钟开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010501319.8A priority Critical patent/CN111649724B/zh
Publication of CN111649724A publication Critical patent/CN111649724A/zh
Priority to US17/112,221 priority patent/US11380012B2/en
Priority to KR1020210033438A priority patent/KR20210036317A/ko
Priority to JP2021048382A priority patent/JP2021181977A/ja
Priority to EP21166144.2A priority patent/EP3842748A3/en
Application granted granted Critical
Publication of CN111649724B publication Critical patent/CN111649724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请实施例公开了一种基于移动边缘计算的视觉定位方法和装置，涉及计算机视觉图像技术领域，将图像数据输入至训练好的模型进行图像处理。具体实现方案为：移动边缘计算节点接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像；移动边缘计算节点从多张候选图像中，确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息；移动边缘计算节点向所述待定位设备发送所述待定位设备的位姿信息，以供所述待定位设备根据所述位姿信息确定电子地图中的定位信息。本实施例采用基于计算机视觉的定位方法，尤其适用于复杂场景的定位情况。

Description

基于移动边缘计算的视觉定位方法和装置
技术领域
本申请涉及计算机技术，尤其涉及计算机视觉图像技术领域。
背景技术
用户在使用导航产品时，无论是驾车导航，还是步行导航，都需要实时的获取用户的位置，才能给用户准确的路线规划。
GPS(Global Positioning System，全球定位系统)作为广泛使用的定位方案，容易受卫星状况、天气状况、数据链传输状况影响。例如，在高架桥上/桥下场景、主辅路场景、室内和高楼密集商业区无法使用。因此，需要新的定位方法来解决高架桥上/桥下场景、主辅路场景、室内和高楼密集商业区等场景下的导航定位问题。
发明内容
本申请实施例提供了一种基于移动边缘计算的视觉定位方法和装置。
第一方面，本申请实施例提供了一种基于移动边缘计算的视觉定位方法，包括：
移动边缘计算节点接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像；
所述移动边缘计算节点从多张候选图像中，确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息；
所述移动边缘计算节点向所述待定位设备发送所述待定位设备的位姿信息，以供所述待定位设备根据所述位姿信息确定电子地图中的定位信息。
第二方面，本申请实施例提供了一种基于移动边缘计算的视觉定位装置，包括：
接收模块，用于接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像；
计算模块，用于从多张候选图像中，确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息；
发送模块，用于向所述待定位设备发送所述待定位设备的位姿信息，以供所述待定位设备根据所述位姿信息确定电子地图中的定位信息。
第三方面，本申请实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一实施例所提供的一种基于移动边缘计算的视觉定位方法。
第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行任一实施例所提供的一种基于移动边缘计算的视觉定位方法。
根据本申请实施例采用基于计算机视觉的定位方法，尤其适用于复杂场景的定位情况。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1a是本申请实施例中的第一种基于移动边缘计算的视觉定位方法的流程图；
图1b是本申请实施例提供的MEC节点覆盖范围的示意图；
图2a是本申请实施例中的第二种基于移动边缘计算的视觉定位方法的流程图；
图2b是本申请实施例提供的位姿信息的计算流程的示意图；
图3是本申请实施例中的第三种基于移动边缘计算的视觉定位方法的流程图；
图4a是本申请实施例中的第四种基于移动边缘计算的视觉定位方法的流程图；
图4b是本申请实施例提供的基于移动边缘计算的视觉定位系统的流程图；
图5是本申请实施例中的基于移动边缘计算的视觉定位装置的结构图；
图6是用来实现本申请实施例的基于移动边缘计算的视觉定位方法的移动边缘计算节点的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据本申请的实施例，图1a是本申请实施例中的第一种基于移动边缘计算的视觉定位方法的流程图，本申请实施例适用于对设备进行定位的情况，尤其适用于高架桥上/桥下场景、主辅路场景、室内和高楼密集商业区等场景下GPS不可用的情况。该方法通过基于移动边缘计算的视觉定位装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的移动边缘计算节点中。
如图1a所示的基于移动边缘计算的视觉定位方法，包括：
S110、移动边缘计算节点接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像。
为了方便描述和区分，将需要进行本地定位的设备称为待定位设备，例如，手机、智能手表等移动终端，或者台式机等固定终端。
当待定位设备位于高架桥上/桥下场景、主辅路场景、室内和高楼密集商业区等GPS不可用的场景下时，可以开启摄像头对待定位设备周围的环境进行拍摄，得到环境图像。为了提高定位精度，突出地理位置的特点，一般需要对周围具有标志性的地标建筑进行拍摄。
拍摄完成后，将环境图像发送至最近的移动边缘计算(Mobile Edge Computing，MEC)节点。MEC节点在无线接入网(Radio Access Network，RAN)内提供互联网技术服务环境、计算和存储功能。MEC节点逻辑上并不依赖于网络的其他部分，这点对于安全性要求较高的应用来说非常重要。另外，MEC节点通常具有较高的计算能力，因此特别适合于分析处理大量数据。同时，由于MEC节点距离用户或信息源在地理上非常邻近，使得网络响应用户请求的时延大大减小，也降低了传输网和核心网部分发生网络拥塞的可能性。不同的MEC节点的覆盖范围不同，从而多个MEC节点对不同覆盖范围内发送的环境图像进行处理。
图1b是本申请实施例提供的MEC节点覆盖范围的示意图。T1时刻时待定位设备位于第一MEC节点的覆盖范围，后续，T2时刻时待定位设备位于第二MEC节点的覆盖范围。待定位设备将T1时刻拍摄到的环境图像发送至第一MEC节点，将T2时刻拍摄到的环境图像发送至第二MEC节点。
S120、移动边缘计算节点从多张候选图像中，确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息。
本实施例中，MEC节点预存有多张候选图像以及拍摄每张候选图像的设备的位姿信息。其中，多张候选图像是在不同位置处拍摄的图像，例如，从各个位置对多个地标建筑进行拍摄的图像。位姿信息包括位置信息和姿态信息，也就是设备在地球坐标系(包括x轴、y轴和z轴)中的6个自由度(包括沿x轴平移，沿y轴平移，沿z轴平移，绕x轴转动，绕y轴转动，绕z轴转动)的信息。
与环境图像相匹配为与环境图像的图像内容一致，例如，图像包括的实体种类相同、朝向相同。可选的，MEC节点还存储有预先识别出的每张候选图像中的实体种类和朝向。识别环境图像中的实体种类和朝向，选择与环境图像中的实体种类和朝向一致的候选图像，作为目标图像，可以认为拍摄目标图像的设备的位姿信息与待定位设备的位姿信息一致。
S130、移动边缘计算节点向待定位设备发送待定位设备的位姿信息，以供待定位设备根据位姿信息确定电子地图中的定位信息。
待定位设备接收到位姿信息之后，根据位姿信息确定定位信息，并将定位信息展示在待定位设备中运行的电子地图中。
示例性的，在二维电子地图中，根据沿x轴、y轴平移位置，确定电子地图中的位置，根据绕z轴转动角度，确定电子地图中的朝向。
示例性的，在三维电子地图中，根据沿x轴、y轴、z轴平移位置，确定电子地图中的位置，根据绕x轴、y轴、z轴转动角度，确定电子地图中的朝向。
本实施例中，MEC节点作为执行主体，将多张候选图像以及拍摄候选图像的设备的位姿信息预先部署在MEC节点中，形成本地化和近距离部署，可以有效减少数据在网络传输中的时间消耗，同时降低对网络回传带宽的要求和网络负荷，满足实际应用中实时可靠的定位诉求；通过从多张候选图像中，确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息，并以此得到定位信息，从而采用基于计算机视觉的定位方式，通过MEC节点中运行视觉定位的算法，无论用户是否开启GPS定位系统，都可以有效得到定位信息，而且，当待定位设备位于高架桥上/桥下场景、主辅路场景、室内和高楼密集商业区等GPS不可用的场景下时，依然能够进行高精度的定位。
在上述实施例和下述实施例中，多张候选图像是在MEC节点覆盖区域内拍摄到的。由于MEC节点接收到的环境图像是覆盖范围内的设备拍摄到的，因此，与其匹配的目标图像也应是在MEC节点覆盖区域内拍摄到的。在确定目标图像时，只需要将数量较少的候选图像与环境图像相匹配即可，有效加速视觉定位的计算。
根据本申请的实施例，图2a是本申请实施例中的第二种基于移动边缘计算的视觉定位方法的流程图，本申请实施例在上述各实施例的技术方案的基础上对位姿信息的计算过程进行优化。
如图2a所示的第二种基于移动边缘计算的视觉定位方法，包括：
S210、移动边缘计算节点接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像。
S220、移动边缘计算节点从多张候选图像中，确定与环境图像相匹配的目标图像。
图2b是本申请实施例提供的位姿信息的计算流程的示意图。如图2b所示，MEC节点对目标图像进行特征提取，得到目标图像的图像特征；具体的，选择基于SIFT(Scale-invariant feature transform，尺度不变特征变换)特征，或是基于深度神经网络的特征抽取模型，比如NetVLAD。NetVLAD是一个带有VLAD(Vector of locally aggregateddescriptors，局部聚合向量)层的卷积神经网络模型。
本实施例中，如图2b所示，服务器(如云端服务器)预先对每张候选图像进行特征提取，得到每张候选图像的图像特征，并按照MEC节点覆盖区域，将候选图像的图像特征针对性地下发至对应覆盖区域的MEC节点，并存储至MEC节点的图像特征库中。
然后，MEC节点采用近似最近邻查找算法，从多张候选图像中，查找与环境图像的图像特征相匹配的目标图像。本实施例采用图像特征匹配的方式确定与环境图像相匹配的目标图像，具体采用近似最近邻查找算法进行特征匹配。其中，近似最近邻查找算法可以是基于图的、基于树的或基于哈希的算法，用于给定环境图像的图像特征，从多张候选图像的图像特征(如前述图像特征库)中找到最相似的前k个图像特征，k是自然数，例如1。
本实施例从图像特征维度进行图像匹配，能够精确找到相匹配的目标图像，而且通过近似最近邻查找算法能够有效提高匹配效率。
S230、移动边缘计算节点计算环境图像和目标图像相匹配的特征点对集。
环境图像和目标图像中的实体类别是相同的，实体朝向可能有些微不同，即图像特征中有些特征点是不匹配的。为了提高定位精度，需要根据点对集对拍摄环境图像的设备的位姿信息进行调整，得到待定位设备的位姿信息。
可选的，采用最优节点优先(best-bin-first)算法或者随机抽样一致(RANdomSAmple Consensus，RANSAC)算法从环境图像的图像特征和目标图像的图像特征中查找相匹配的多个特征点对，构成特征点对集。图2b中，将特征点对映射回原图像的像素点进行连接，以可视化的方式表示特征点对的匹配关系。
S240、移动边缘计算节点根据拍摄目标图像的设备的位姿信息和特征点对集，计算待定位设备的位姿信息。
如图2b所示，I1和I2分别是相匹配的目标图像和环境图像。P1和P2分别是实际空间中的P点在拍摄目标图像的设备的坐标系和待定位设备的坐标系中的坐标。p1和p2分别是是P1和P2在对应的图像中的像素点，O1和O2分别是拍摄目标图像和环境图像的摄像头的光心，有式(1)：
P1＝(X1 Y1 Z1)，P2＝(X2 Y2 Z2)； (1)
其中，从目标图像到环境图像的旋转矩阵设为R，平移向量设为t，存在式(2)：
P2＝RP1+t； (2)
由于MEC节点中预先存储了拍摄目标图像的设备的位姿信息，若要求得待定位设备的位姿信息，需要估计拍摄目标图像的设备到待定位设备的运动情况，即估计的目的就是求解出R、t。
根据式(2)和小孔成像原理，得到式(3)：
K1 -1p2＝RK2 -1p1+t； (3)
其中，K1和K2分别是拍摄目标图像和环境图像的摄像头的内参。基于式(3)可以求解出R、t。接着，在拍摄目标图像的设备的位姿信息的基础上，按照R、t进行旋转和平移，得到待定位设备的位姿信息。
基于每对特征点对均可以得到一组待定位设备的位姿信息，在对特征点对集进行计算完成后，会得到多组位姿信息。对多组位姿信息采用最小二乘法，估计出最终位姿信息。
本实施例中，利用位姿估计算法和小孔成像原理，根据拍摄目标图像的设备的位姿信息和特征点对集，计算待定位设备的位姿信息，对拍摄环境图像的设备的位姿信息进行调整得到待定位设备的位姿信息，提高定位精度。
根据本申请的实施例，图3是本申请实施例中的第三种基于移动边缘计算的视觉定位方法的流程图，本申请实施例在上述各实施例的技术方案的基础上进行优化。
可选的，将操作“移动边缘计算节点从多张候选图像中，确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息”细化为“移动边缘计算节点通过视觉定位模型确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息”，通过视觉定位模型计算位姿信息。
可选的，在操作“移动边缘计算节点接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像”之前，追加“移动边缘计算节点从服务器获取更新后的多张候选图像，拍摄更新后的多张候选图像的设备的位姿信息，以及更新后的视觉定位模型”，提供了MEC节点的更新机制。
如图3所示的第三种基于移动边缘计算的视觉定位方法，包括：
S310、移动边缘计算节点从服务器获取更新后的多张候选图像，拍摄更新后的多张候选图像的设备的位姿信息，以及更新后的视觉定位模型。
为了能够持续迭代MEC节点的视觉定位效果，需要根据服务器中的更新情况，来同步更新MEC节点的候选图像、位姿信息和视觉定位模型。可选的，如果MEC节点还存储候选图像的图像特征时，需要同步更新候选图像的图像特征。
可选的，MEC节点周期性向服务器请求覆盖范围内的更新后的多张候选图像、位姿信息和视觉定位模型；或者，当服务器更新后，基于MEC节点的覆盖区域，将更新后的多张候选图像、位姿信息和视觉定位模型更新到MEC节点。
S320、移动边缘计算节点接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像。
S330、移动边缘计算节点通过视觉定位模型确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息。
本实施例中，将位姿信息的计算算法封装在视觉定位模型中，可选的，视觉定位模型包括：图像特征提取单元、相似候选图像计算单元、图像特征点匹配单元和位姿计算单元；其中，图像特征提取单元用于对目标图像进行特征提取，得到目标图像的图像特征；相似候选图像计算单元用于采用近似最近邻查找算法，从多张候选图像中，查找与环境图像的图像特征相匹配的目标图像；图像特征点匹配单元用于计算环境图像和目标图像相匹配的特征点对集；位姿计算单元用于根据拍摄目标图像的设备的位姿信息和特征点对集，计算待定位设备的位姿信息。
S340、移动边缘计算节点向待定位设备发送待定位设备的位姿信息，以供待定位设备根据位姿信息确定电子地图中的定位信息。
本实施例通过更新MEC节点中的候选图像、位姿信息和视觉定位模型，能够持续迭代MEC节点的视觉定位效果；通过将位姿信息的计算算法封装在视觉定位模型中，可以方便对整个算法的更新和维护。
本申请实施例中，图4a是本申请实施例中的第四种基于移动边缘计算的视觉定位方法的流程图，本申请实施例在上述各实施例的技术方案的基础上对环境图像的接收过程进行优化。
如图4a所示的第四种基于移动边缘计算的视觉定位方法，包括：
S410、移动边缘计算节点通过第五代移动通信技术接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像。
图4b是本申请实施例提供的基于移动边缘计算的视觉定位系统的流程图。图4b包括云端服务器、核心网、n个MEC节点、与每个MEC节点连接的多个5G基站和两部手机作为待定位设备。
其中，每个MEC节点预先从云端服务器下载或更新对应覆盖区域内的设备拍摄的多张候选图像，拍摄该候选图像的设备的位姿信息和视觉定位模型；进一步的，还可以从云端服务器下载或更新该候选图像的图像特征。
当用户导航过程中通过GPS定位发生问题时，可以通过打开手机摄像头拍摄附近显著建筑得到环境图像，并通过5G(5th generation mobile networks，第五代移动通信技术)网络上传环境图像。5G基站接收到环境图像后，通过选择就近的MEC节点，将环境图像上传到覆盖手机所在区域的MEC节点。接着由MEC节点执行S420和S430。
S420、移动边缘计算节点从多张候选图像中，确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息。
S430、移动边缘计算节点向待定位设备发送待定位设备的位姿信息，以供待定位设备根据位姿信息确定电子地图中的定位信息。
本实施例中，基于MEC的部署方式，将视觉定位算法及候选图像提前部署到MEC节点中，当待定位设备拍摄环境图像后，通过5G网络接入选择就近的MEC节点中，基于5G网络具有低时延、高并发的优势，可以加速视觉定位的计算，并可以提供低时延的视觉定位。
根据本申请的实施例，图5是本申请实施例中的基于移动边缘计算的视觉定位装置的结构图，本申请实施例适用于对设备进行定位的情况，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的MEC节点中。
如图5所示的一种基于移动边缘计算的视觉定位装置500，包括：接收模块501、计算模块502和发送模块503；其中，
接收模块501，用于接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像；
计算模块502，用于从多张候选图像中，确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息；
发送模块503，用于向待定位设备发送待定位设备的位姿信息，以供待定位设备根据位姿信息确定电子地图中的定位信息。
本实施例中，MEC节点作为执行主体，将多张候选图像以及拍摄候选图像的设备的位姿信息预先部署在MEC节点中，形成本地化和近距离部署，可以有效减少数据在网络传输中的时间消耗，同时降低对网络回传带宽的要求和网络负荷，满足实际应用中实时可靠的定位诉求；通过从多张候选图像中，确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息，并以此得到定位信息，从而采用基于计算机视觉的定位方式，通过MEC节点中运行视觉定位的算法，无论用户是否开启GPS定位系统，都可以有效得到定位信息，而且，当待定位设备位于高架桥上/桥下场景、主辅路场景、室内和高楼密集商业区等GPS不可用的场景下时，依然能够进行高精度的定位。
进一步的，多张候选图像是在移动边缘计算节点覆盖区域内拍摄到的。
进一步的，计算模块502包括确定单元、特征点对集计算单元和位姿信息计算单元；其中，确定单元，用于从多张候选图像中，确定与环境图像相匹配的目标图像；特征点对集计算单元，用于计算环境图像和目标图像相匹配的特征点对集；位姿信息计算单元，用于根据拍摄目标图像的设备的位姿信息和特征点对集，计算待定位设备的位姿信息。
进一步的，确定单元，具体用于对目标图像进行特征提取，得到目标图像的图像特征；采用近似最近邻查找算法，从多张候选图像中，查找与环境图像的图像特征相匹配的目标图像
进一步的，计算模块502，用于通过视觉定位模型确定与环境图像相匹配的目标图像，并根据拍摄目标图像的设备的位姿信息，计算待定位设备的位姿信息。
进一步的，装置还包括：更新模块，用于在接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像之前，从服务器获取更新后的多张候选图像，拍摄更新后的多张候选图像的设备的位姿信息，以及更新后的视觉定位模型。
进一步的，接收模块501，具体用于通过第五代移动通信技术接收移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像。
上述基于移动边缘计算的视觉定位装置可执行本申请任意实施例所提供的基于移动边缘计算的视觉定位方法，具备执行基于移动边缘计算的视觉定位方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种MEC节点和一种可读存储介质。
如图6所示，是实现本申请实施例的基于移动边缘计算的视觉定位方法的MEC节点的框图。MEC节点旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。MEC节点还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该MEC节点包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在MEC节点内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个MEC节点，各个MEC节点提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的基于移动边缘计算的视觉定位方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于移动边缘计算的视觉定位方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的基于移动边缘计算的视觉定位的方法对应的程序指令/模块(例如，附图5所示的包括接收模块501、计算模块502和发送模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于移动边缘计算的视觉定位的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现基于移动边缘计算的视觉定位方法的电子MEC节点的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至执行基于移动边缘计算的视觉定位方法的MEC节点。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行基于移动边缘计算的视觉定位方法的MEC节点还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与执行基于移动边缘计算的视觉定位方法的MEC节点的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种基于移动边缘计算的视觉定位方法，包括：
移动边缘计算节点接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像；
所述移动边缘计算节点从多张候选图像中，确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息；
所述移动边缘计算节点向所述待定位设备发送所述待定位设备的位姿信息，以供所述待定位设备根据所述位姿信息确定电子地图中的定位信息。
2.根据权利要求1所述的方法，其中，所述多张候选图像是在所述移动边缘计算节点覆盖区域内拍摄到的。
3.根据权利要求1所述的方法，其中，所述移动边缘计算节点从多张候选图像中，确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息，包括：
所述移动边缘计算节点从多张候选图像中，确定与所述环境图像相匹配的目标图像；
所述移动边缘计算节点计算所述环境图像和所述目标图像相匹配的特征点对集；
所述移动边缘计算节点根据拍摄所述目标图像的设备的位姿信息和所述特征点对集，计算所述待定位设备的位姿信息。
4.根据权利要求3所述的方法，其中，所述移动边缘计算节点从多张候选图像中，确定与所述环境图像相匹配的目标图像，包括：
所述移动边缘计算节点对所述目标图像进行特征提取，得到所述目标图像的图像特征；
所述移动边缘计算节点采用近似最近邻查找算法，从多张候选图像中，查找与所述环境图像的图像特征相匹配的目标图像。
5.根据权利要求1所述的方法，其中，所述移动边缘计算节点从多张候选图像中，确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息，包括：
所述移动边缘计算节点通过视觉定位模型确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息。
6.根据权利要求5所述的方法，在所述移动边缘计算节点接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像之前，还包括：
所述移动边缘计算节点从服务器获取更新后的多张候选图像，拍摄更新后的多张候选图像的设备的位姿信息，以及更新后的所述视觉定位模型。
7.根据权利要求1-6任一项所述的方法，其中，所述移动边缘计算节点接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像，包括：
所述移动边缘计算节点通过第五代移动通信技术接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像。
8.一种基于移动边缘计算的视觉定位装置，所述装置配置在移动边缘节点中，包括：
接收模块，用于接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像；
计算模块，用于从多张候选图像中，确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息；
发送模块，用于向所述待定位设备发送所述待定位设备的位姿信息，以供所述待定位设备根据所述位姿信息确定电子地图中的定位信息。
9.根据权利要求8所述的装置，其中，所述多张候选图像是在所述移动边缘计算节点覆盖区域内拍摄到的。
10.根据权利要求8所述的装置，其中，所述计算模块包括：
确定单元，用于从多张候选图像中，确定与所述环境图像相匹配的目标图像；
特征点对集计算单元，用于计算所述环境图像和所述目标图像相匹配的特征点对集；
位姿信息计算单元，用于根据拍摄所述目标图像的设备的位姿信息和所述特征点对集，计算所述待定位设备的位姿信息。
11.根据权利要求10所述的装置，其中，
所述确定单元，具体用于对所述目标图像进行特征提取，得到所述目标图像的图像特征；采用近似最近邻查找算法，从多张候选图像中，查找与所述环境图像的图像特征相匹配的目标图像。
12.根据权利要求8所述的装置，其中，
所述计算模块，用于通过视觉定位模型确定与所述环境图像相匹配的目标图像，并根据拍摄所述目标图像的设备的位姿信息，计算所述待定位设备的位姿信息。
13.根据权利要求12所述的装置，所述装置还包括：
更新模块，用于在接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像之前，从服务器获取更新后的多张候选图像，拍摄更新后的多张候选图像的设备的位姿信息，以及更新后的所述视觉定位模型。
14.根据权利要求8-13任一项所述的装置，其中，
所述接收模块，具体用于通过第五代移动通信技术接收所述移动边缘计算节点覆盖区域内的待定位设备拍摄的环境图像。
15.一种移动边缘计算节点，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的一种基于移动边缘计算的视觉定位方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的一种基于移动边缘计算的视觉定位方法。
CN202010501319.8A 2020-06-04 2020-06-04 基于移动边缘计算的视觉定位方法和装置 Active CN111649724B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010501319.8A CN111649724B (zh) 2020-06-04 2020-06-04 基于移动边缘计算的视觉定位方法和装置
US17/112,221 US11380012B2 (en) 2020-06-04 2020-12-04 Method and apparatus for visual positioning based on mobile edge computing
KR1020210033438A KR20210036317A (ko) 2020-06-04 2021-03-15 모바일 에지 컴퓨팅 기반의 시각적 위치 확정 방법 및 장치
JP2021048382A JP2021181977A (ja) 2020-06-04 2021-03-23 モバイル・エッジ・コンピューティングに基づく視覚測位方法及び装置
EP21166144.2A EP3842748A3 (en) 2020-06-04 2021-03-31 Method and apparatus for visual positioning based on mobile edge computing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010501319.8A CN111649724B (zh) 2020-06-04 2020-06-04 基于移动边缘计算的视觉定位方法和装置

Publications (2)

Publication Number Publication Date
CN111649724A true CN111649724A (zh) 2020-09-11
CN111649724B CN111649724B (zh) 2022-09-06

Family

ID=72344781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010501319.8A Active CN111649724B (zh) 2020-06-04 2020-06-04 基于移动边缘计算的视觉定位方法和装置

Country Status (5)

Country Link
US (1) US11380012B2 (zh)
EP (1) EP3842748A3 (zh)
JP (1) JP2021181977A (zh)
KR (1) KR20210036317A (zh)
CN (1) CN111649724B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150507A (zh) * 2020-09-29 2020-12-29 厦门汇利伟业科技有限公司 一种物体姿态和位移的3d模型同步重现方法及系统
CN112954269A (zh) * 2021-01-08 2021-06-11 鹏城实验室 一种用于大规模视觉计算系统的节点协同选择方法
CN113888635A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 视觉定位方法、相关装置及计算机程序产品
CN114051264A (zh) * 2021-10-15 2022-02-15 鹏城实验室 一种基于用户体验的边缘自适应视频加速方法及相关装置
CN114821273A (zh) * 2022-03-10 2022-07-29 慧之安信息技术股份有限公司 基于边缘计算的天文望远镜设备智能化方法和装置
CN115019167A (zh) * 2022-05-26 2022-09-06 中国电信股份有限公司 基于移动终端的融合定位方法、系统、设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220201256A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method, apparatus, and system for capturing an image sequence for a visual positioning service request
JP2022143412A (ja) * 2021-03-17 2022-10-03 株式会社東芝 画像処理装置および画像処理方法
CN113379803B (zh) * 2021-07-07 2024-02-02 上海谦尊升网络科技有限公司 一种基于视觉图像的定位方法
CN113938816B (zh) * 2021-09-10 2023-04-28 中国联合网络通信集团有限公司 算力资源调度方法及其装置
CN114526739B (zh) * 2022-01-25 2024-05-07 中南大学 移动机器人室内重定位方法、计算机装置及产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106813672A (zh) * 2017-01-22 2017-06-09 深圳悉罗机器人有限公司 移动机器人的导航方法及移动机器人
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位系统及方法
US20180336697A1 (en) * 2017-05-22 2018-11-22 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
US20190005718A1 (en) * 2015-12-31 2019-01-03 Tsinghua University Method and device for image positioning based on 3d reconstruction of ray model
CN109141396A (zh) * 2018-07-16 2019-01-04 南京航空航天大学 辅助信息与随机抽样一致算法融合的无人机位姿估计方法
CN109978755A (zh) * 2019-03-11 2019-07-05 广州杰赛科技股份有限公司 全景图像合成方法、装置、设备与存储介质
CN110164135A (zh) * 2019-01-14 2019-08-23 腾讯科技（深圳）有限公司 一种定位方法、定位装置及定位系统
CN110322500A (zh) * 2019-06-28 2019-10-11 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110415297A (zh) * 2019-07-12 2019-11-05 北京三快在线科技有限公司 定位方法、装置及无人驾驶设备
CN110609311A (zh) * 2019-10-10 2019-12-24 武汉理工大学 基于车载环视图像与毫米波雷达融合的智能车定位方法
CN110631554A (zh) * 2018-06-22 2019-12-31 北京京东尚科信息技术有限公司 机器人位姿的确定方法、装置、机器人和可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9691180B2 (en) * 2012-09-28 2017-06-27 Intel Corporation Determination of augmented reality information
JP6290760B2 (ja) * 2014-09-25 2018-03-07 Kddi株式会社 作業類似度算出方法、装置およびプログラム
US9964955B2 (en) * 2016-08-04 2018-05-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 地图创建以及运动实体定位的方法和装置
JPWO2019187816A1 (ja) * 2018-03-30 2021-04-01 日本電産シンポ株式会社 移動体および移動体システム
JP2019068429A (ja) * 2018-11-08 2019-04-25 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
JP7337654B2 (ja) * 2018-11-13 2023-09-04 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005718A1 (en) * 2015-12-31 2019-01-03 Tsinghua University Method and device for image positioning based on 3d reconstruction of ray model
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位系统及方法
CN106813672A (zh) * 2017-01-22 2017-06-09 深圳悉罗机器人有限公司 移动机器人的导航方法及移动机器人
US20180336697A1 (en) * 2017-05-22 2018-11-22 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
CN110631554A (zh) * 2018-06-22 2019-12-31 北京京东尚科信息技术有限公司 机器人位姿的确定方法、装置、机器人和可读存储介质
CN109141396A (zh) * 2018-07-16 2019-01-04 南京航空航天大学 辅助信息与随机抽样一致算法融合的无人机位姿估计方法
CN110164135A (zh) * 2019-01-14 2019-08-23 腾讯科技（深圳）有限公司 一种定位方法、定位装置及定位系统
CN109978755A (zh) * 2019-03-11 2019-07-05 广州杰赛科技股份有限公司 全景图像合成方法、装置、设备与存储介质
CN110322500A (zh) * 2019-06-28 2019-10-11 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110415297A (zh) * 2019-07-12 2019-11-05 北京三快在线科技有限公司 定位方法、装置及无人驾驶设备
CN110609311A (zh) * 2019-10-10 2019-12-24 武汉理工大学 基于车载环视图像与毫米波雷达融合的智能车定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
叶人珍: "《视频图像处理研究 基于监控场景下的视觉算法》", 30 September 2018 *
周大为，钟桦: "《软件技术基础》", 31 August 2008 *
王尚广: "《移动边缘计算》", 31 October 2017 *
聂？等: "一种基于合作目标的视觉定位方法", 《制导与引信》 *
陈敏: "《认知计算导论》", 31 May 2017 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150507A (zh) * 2020-09-29 2020-12-29 厦门汇利伟业科技有限公司 一种物体姿态和位移的3d模型同步重现方法及系统
CN112150507B (zh) * 2020-09-29 2024-02-02 厦门汇利伟业科技有限公司 一种物体姿态和位移的3d模型同步重现方法及系统
CN112954269A (zh) * 2021-01-08 2021-06-11 鹏城实验室 一种用于大规模视觉计算系统的节点协同选择方法
CN112954269B (zh) * 2021-01-08 2023-06-06 鹏城实验室 一种用于大规模视觉计算系统的节点协同选择方法
CN113888635A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 视觉定位方法、相关装置及计算机程序产品
CN114051264A (zh) * 2021-10-15 2022-02-15 鹏城实验室 一种基于用户体验的边缘自适应视频加速方法及相关装置
CN114051264B (zh) * 2021-10-15 2023-12-01 鹏城实验室 一种基于用户体验的边缘自适应视频加速方法及相关装置
CN114821273A (zh) * 2022-03-10 2022-07-29 慧之安信息技术股份有限公司 基于边缘计算的天文望远镜设备智能化方法和装置
CN115019167A (zh) * 2022-05-26 2022-09-06 中国电信股份有限公司 基于移动终端的融合定位方法、系统、设备及存储介质
CN115019167B (zh) * 2022-05-26 2023-11-07 中国电信股份有限公司 基于移动终端的融合定位方法、系统、设备及存储介质

Also Published As

Publication number Publication date
JP2021181977A (ja) 2021-11-25
CN111649724B (zh) 2022-09-06
EP3842748A3 (en) 2021-10-06
KR20210036317A (ko) 2021-04-02
EP3842748A2 (en) 2021-06-30
US11380012B2 (en) 2022-07-05
US20210383568A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
CN111649724B (zh) 基于移动边缘计算的视觉定位方法和装置
US11037023B2 (en) Terminal device, information processing device, object identifying method, program, and object identifying system
CN110246182B (zh) 基于视觉的全局地图定位方法、装置、存储介质和设备
CN111968229A (zh) 高精度地图制图方法及装置
WO2021088498A1 (zh) 虚拟物体显示方法以及电子设备
CN111553844A (zh) 用于更新点云的方法及装置
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
JP7164589B2 (ja) 室内測位方法、装置、機器および記憶媒体
CN112101209A (zh) 用于路侧计算设备的确定世界坐标点云的方法和装置
CN111797745A (zh) 一种物体检测模型的训练及预测方法、装置、设备及介质
CN111784834A (zh) 一种点云地图生成方法、装置以及电子设备
CN111462179B (zh) 三维物体跟踪方法、装置及电子设备
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
WO2021088497A1 (zh) 虚拟物体显示方法、全局地图更新方法以及设备
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN111967481B (zh) 视觉定位方法、装置、电子设备及存储介质
CN114187509B (zh) 对象定位方法、装置、电子设备以及存储介质
CN112381877B (zh) 定位融合、室内定位方法、装置、设备及介质
CN115439536A (zh) 视觉地图更新方法、装置及电子设备
CN110689575B (zh) 图像采集器标定方法、装置、设备和介质
CN116704034A (zh) 视觉定位方法、装置、设备及介质
CN115773759A (zh) 自主移动机器人的室内定位方法、装置、设备及存储介质
CN117268343A (zh) 目标的远程寻找方法、装置、增强现实设备及存储介质
CN116721119A (zh) 一种图像的关注区域的多重特征描述字提取方法
CN116429103A (zh) 一种端云融合的室内Web AR导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant