CN112907663A - 定位方法、计算机程序产品、装置及系统 - Google Patents

定位方法、计算机程序产品、装置及系统 Download PDF

Info

Publication number
CN112907663A
CN112907663A CN202110151160.6A CN202110151160A CN112907663A CN 112907663 A CN112907663 A CN 112907663A CN 202110151160 A CN202110151160 A CN 202110151160A CN 112907663 A CN112907663 A CN 112907663A
Authority
CN
China
Prior art keywords
image
images
neural network
determining
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110151160.6A
Other languages
English (en)
Inventor
白延成
刘柳
蔡炀
郭芯宏
任小枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202110151160.6A priority Critical patent/CN112907663A/zh
Publication of CN112907663A publication Critical patent/CN112907663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本公开公开了定位方法、计算机程序产品、装置及系统。所述定位方法包括：基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像；将参考图像和待定位图像输入预先训练的包含卷积神经网络和回归网络的深度神经网络模型，其中，卷积神经网络输出的特征图经过相关性层，得到参考图像和待定位图像的特征相似度数据，将特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿；根据相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。能够用较低的成本实现精度较高的定位。

Description

定位方法、计算机程序产品、装置及系统
技术领域
本公开涉及定位技术领域，特别涉及定位方法、计算机程序产品、装置及系统。
背景技术
目前，基于GPS的定位可以提供十米左右定位精度的定位结果，但是在需要更精准定位结果的场景中，例如车道级定位，十米的定位精度已无法满足需求。为提高定位精度，现有技术提出了基于GPS、IMU和激光雷达等传感器的融合定位方式，该方式虽然通过不同传感器的优势互补实现了较高精度(厘米级或者分米级)的定位，但在实际应用中，发明人发现：一方面不是所有设备都搭载了这些传感器，另一方面有些传感器的成本较高，为提高定位精度增加成本较高的传感器会出现设备成本整体上升的问题。因此，提供精度较高且成本合理的定位技术是本领域技术人员需要解决的问题。
发明内容
鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的定位方法、计算机程序产品、装置及系统。
第一方面，本公开实施例提供一种定位方法，包括：
基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像；
将所述参考图像和待定位图像输入预先训练的包含卷积神经网络和回归网络的深度神经网络模型，其中，卷积神经网络输出的特征图经过相关性层，得到所述参考图像和待定位图像的特征相似度数据，将所述特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿；
根据所述相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。
第二方面，本公开实施例提供一种机器学习模型的训练方法，包括：
获取训练样本集，所述样本集中的每个样本包括两帧图像及其相对位姿；
用所述训练样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，其中，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将所述特征相似度数据输入到回归网络进行相对位姿的参数估计。
第三方面，本公开实施例提供一种定位装置，包括：
参考图像确定模块，用于基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像；
相对位姿确定模块，用于将所述参考图像确定模块确定的参考图像和待定位图像输入预先训练的包含卷积神经网络和回归网络的深度神经网络模型，其中，卷积神经网络输出的特征图经过相关性层，得到所述参考图像和待定位图像的特征相似度数据，将所述特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿；
绝对位姿确定模块，用于根据所述相对位姿确定模块确定的相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。
第四方面，本公开实施例提供一种机器学习模型的训练装置，包括：
获取模块，用于获取训练样本集，所述样本集中的每个样本包括两帧图像及其相对位姿；
训练模块，用于使用所述获取模块获取的样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，其中，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将所述特征相似度数据输入到回归网络进行相对位姿的参数估计。
第五方面，本公开实施例提供一种定位系统，包括标准图像数据库、定位请求装置、设置于移动设备内的视觉传感器和上述定位装置；
所述定位请求装置，用于将所述视觉传感器拍摄的图像作为待定位图像，根据所述待定位图像和所述移动设备的位置信息生成定位请求，将所述定位请求发送给所述定位装置；
所述定位装置，用于根据接收到的定位请求和所述标准图像数据库，确定待定位图像的绝对位姿，作为所述移动设备的绝对位姿。
第六方面，本公开实施例提供一种计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现上述定位方法，或实现上述机器学习模型的训练方法。
本公开实施例提供的上述技术方案的有益效果至少包括：
(1)本公开实施例提供的定位方法，从标准图像数据库中，确定与定位请求携带的待定位图像的相似度满足设定条件的标准图像，作为参考图像；将参考图像和待定位图像输入预先训练的深度神经网络模型,得到参考图像与待定位图像间的相对位姿；根据相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。仅需要从预先采集的已知位姿的标准图像构成的标准图像数据库中筛选参考图像，便可通过训练好的深度神经网络模型确定待定位图像与参考图像间的相对位姿，根据相对位姿和参考图像的绝对位姿，便可以确定待定位图像的绝对位姿，定位准确度和效率均较高，且定位成本低，普适性更强；同时，由于标准图像数据库中的标准图像的位姿定位精度较高，故最终确定的待定位图像的位姿的定位精度也较高。
(2)目前大部分模型在利用卷积神经网络分别提取两帧图像的特征后，直接通过池化操作串联特征，然后输入到回归网络中计算相对位姿，由于特征直接池化丢失了两帧图像之间的相对位姿关系信息，降低了模型最终预测的准确度；本公开实施例提供的定位方法，预先训练的深度神经网络模型包含卷积神经网络和回归网络，其中，卷积神经网络输出的图像的特征图经过相关性层，得到参考图像和待定位图像的特征相似度数据，将特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿，由于保留了图像间的相对位姿关系信息，简化了学习过程，提升了模型预测的准确度，且提高了定位效率。
(3)本公开实施例提供的机器学习模型的训练方法，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将特征相似度数据输入到回归网络进行相对位姿的参数估计，由于相似度数据保留了两帧图像间的相对位姿关系信息，较将每帧图像的特征数据直接池化相比，简化了学习过程，减少了迭代轮数，提升了模型的预测准确度。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。在附图中：
图1为本公开实施例一中机器学习模型的训练方法的流程图；
图2为图1中步骤S11的具体实现流程图；
图3为本公开实施例中机器学习模型的训练方法的示例图；
图4为本公开实施例二中定位方法的流程图；
图5为图4中步骤S41的具体实现流程图；
图6为本公开实施例中定位方法的示例图；
图7为本公开实施例中定位装置的结构示意图；
图8为本公开实施例中机器学习模型的训练装置的结构示意图；
图9为本公开实施例中定位系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的无法低成本实现高精定位的问题，本公开实施例定位方法、计算机程序产品、装置及系统，定位精度高，成本低。
移动设备位姿的确定，可以是利用设置于移动设备内的视觉传感器拍摄的图像，来确定视觉传感器的位姿，再根据视觉传感器与移动设备间的相对位姿，确定移动设备的位姿。故在视觉传感器与移动设备间的相对位姿已知的情况下，移动设备的定位可以转换为视觉传感器的定位，即根据视觉传感器拍摄的图像的信息来确定视觉传感器的位置。
可选的，视觉传感器也可以不是设置于移动设备内，只要与移动设备同步移动，且与移动设备间的相对位姿已知即可。
实施例一
本公开实施例一提供一种机器学习模型的训练方法，其流程如图1所示，包括如下步骤：
步骤S11：获取训练样本集。
上述样本集中的每个样本包括两帧图像及其相对位姿。
获取的训练样本集，是预先建立的，在一个实施例中，参照图2所示，训练样本集的建立，可以包括下述步骤：
步骤S111：将多帧图像进行两两匹配，得到图像对。
具体的，可以包括，根据图像的绝对位姿，从多帧图像中确定距离小于预设距离阈值，且相似度满足设定条件的两帧图像，得到多组图像对；或，根据图像的绝对位姿，从多帧图像中确定距离小于预设距离阈值，角度小于预设角度阈值，且相似度满足设定条件的两帧图像，得到多组图像对。
上述两帧图像的相似度，指两帧图像的总体相似度，可选的，也可以在确定图像对时，不考虑两帧图像的相似度，只考虑两帧图像间的距离，或两帧图像间的距离和角度。即将位置上比较靠近的两帧图像，或将位置上比较靠近且角度相近的两帧图像确定为一组图像对。图像的角度指位姿中的偏航角、俯仰角和滚转角，两帧图像的角度小于预设角度阈值，具体可以包括，两帧图像的偏航角的差值小于预设的偏航角角度阈值，两帧图像的俯仰角的差值小于预设的俯仰角角度阈值，同时两帧图像的滚转角的差值小于预设的滚转角角度阈值。例如可以是，将距离小于30米且角度小于20度的两帧图像确定为一组图像对。可选的，也可以是两帧图像间的偏航角、俯仰角和滚转角中至少一种类型的角的差值满足条件即可。
步骤S112：根据图像的绝对位姿，确定图像对中两帧图像的相对位姿。
图像的绝对位姿是已知的，根据图像对中每帧图像的绝对位姿可以确定两帧图像的相对位姿。
步骤S113：将每个图像对包含的两帧匹配图像及其相对位姿确定为一条训练样本，得到由训练样本构成的训练样本集。
步骤S12：用训练样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练。
其中，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将相似度数据输入到回归网络进行相对位姿的参数估计。具体的，图像的特征图，包括图像中每个像素点的特征；相应的，得到两帧图像的特征相似度数据，首先将两帧图像的像素点进行两两配对，确定一帧图像中的每个像素点在另一帧图像中匹配的像素点，根据匹配的像素点对中两个点的特征，确定该像素点对的特征相似度；所有像素点对的特征相似度，构成了两帧图像的特征相似度数据。
训练的停止条件可以是，训练的迭代次数超过预设的次数阈值；或是，当前模型的输出结果的误差满足预设的误差要求。
上述图像的位姿，即根据图像数据确定的拍摄图像的视觉传感器的位姿。位姿即位置和姿态，在导航场景中，位置包括经纬度、姿态和偏航角三个维度。
本公开实施例一提供的机器学习模型的训练方法，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将特征相似度数据输入到回归网络进行相对位姿的参数估计，由于相似度数据保留了两帧图像间的相对位姿关系信息，较将每帧图像的特征数据直接池化相比，简化了学习过程，减少了迭代轮数，提升了模型的准确度。
参照图3所示，上述机器学习模型的训练过程，可以概述为：将训练图像库中的图像进行分组，得到若干图像对，每组图像对中的两帧图像的距离相近且角度相近，进一步的，一帧图像可以属于不同的图像对，即一帧图像可以与不同的图像组成不同的图像对；用训练样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，具体包括，卷积神经网络输出的特征图经过相关性层，分别确定图像对中两帧图像的特征数据，得到一帧图像的最低层的特征数据为
Figure BDA0002931702710000071
维的特征数据A，最高层的特征数据为
Figure BDA0002931702710000072
维的特征数据B，m为特征数据的分析层级，根据两帧图像的最高层的特征数据的特征匹配，得到两帧图像的所有点之间的特征相似度的相似度数据C；将两帧图像的特征相似度数据C输入到回归网络，与相对位姿进行回归拟合，完成模型的学习。
实施例二
本公开实施例二提供一种定位方法，参见图4所示，包括如下步骤：
步骤S41：基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像。
参见图5所示，步骤S41的具体实现流程，可以包括下述步骤：
步骤S411：基于定位请求携带的位置信息及待定位图像，将标准图像数据库中，该位置周边且到该位置的距离小于设定距离阈值的标准图像确定为备选图像。
上述位置信息即拍摄待定位图像的视觉传感器所在的移动设备的定位结果，可以是根据至少一项下述信息确定的移动设备的定位结果：
GNSS信号信息、基站信号信息和WIFI信号信息。
先粗略的确定匹配范围，在匹配范围内确定参考图像，减少了匹配计算量。
步骤S412：确定与待定位图像间的相似度高于设定相似度阈值的备选图像为待定位图像的参考图像。
标准图像数据库中的标准图像，包括图像的特征数据和图像的绝对位姿，即拍摄图像的视觉传感器的绝对位姿。根据待定位图像的特征数据和备选图像的特征数据，确定二者的相似度，即二者的特征数据的总体相似度。
具体的，确定的参考图像可以是一帧，也可以是多帧。
步骤S42：将参考图像和待定位图像输入预先训练的包含卷积神经网络和回归网络的深度神经网络模型，得到参考图像与待定位图像间的相对位姿。
其中，卷积神经网络输出的特征图经过相关性层，得到参考图像和待定位图像的特征相似度数据，将特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿。
上述深度神经网络模型是采用实施例一中的方法训练得到的。
步骤S43：根据相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。
根据模型输出的两帧图像的相对位姿和参考图像的绝对位姿，可以确定待定位图像的绝对位姿，即拍摄待定位图像的视觉传感器的绝对位姿。
本公开实施例二提供的定位方法，从标准图像数据库中，确定与定位请求携带的待定位图像的相似度满足设定条件的标准图像，作为参考图像；将参考图像和待定位图像输入预先训练的深度神经网络模型,得到参考图像与待定位图像间的相对位姿；根据相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。仅需要从预先采集的已知位姿的标准图像构成的标准图像数据库中筛选参考图像，便可通过训练好的深度神经网络模型确定待定位图像与参考图像间的相对位姿，根据相对位姿和参考图像的绝对位姿，便可以确定待定位图像的绝对位姿，定位准确度和效率均较高，且定位成本低，普适性更强；同时，由于标准图像数据库中的标准图像的位姿定位精度较高，故最终确定的待定位图像的位姿的定位精度也较高。
目前大部分模型在利用卷积神经网络分别提取两帧图像的特征后，直接通过池化操作串联特征，然后输入到回归网络中计算相对位姿，由于特征图直接池化丢失了两帧图像之间的相对位姿关系信息，降低了模型最终预测的准确度；本公开实施例提供的定位方法，预先训练的深度神经网络模型包含卷积神经网络和回归网络，其中，卷积神经网络输出的图像的特征图经过相关性层，得到参考图像和待定位图像的特征相似度数据，将特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿，由于保留了图像间的相对位姿关系信息，简化了学习过程，提升了模型预测的准确度，且提高了定位效率。
参照图6所示，上述定位过程，可以概述为：获取请求图像，即待定位图像也是query图像，及其GPS定位位置；参考图像筛选，根据query图像的特征数据和GPS定位位置从参考图像数据库中筛选参考图像，具体的，根据query图像的GPS定位位置确定匹配范围，从参考图像数据库中在匹配范围内的图像中，确定与query图像的相似度最为接近的图像为参考图像，即refer图像；通过用于预测两帧图像的相对位姿的模型，即预先训练好的深度神经网络确定请求图像query图像与参考图像refer图像的相对位姿
Figure BDA0002931702710000091
根据相对位姿
Figure BDA0002931702710000092
和参考图像的绝对位姿Prefer，确定请求图像的绝对位姿Pquery。
基于本公开的发明构思，本公开实施例还提供一种定位装置，所述装置的结构如图7所示，包括：
参考图像确定模块71，用于基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像；
相对位姿确定模块72，用于将参考图像确定模块71确定的参考图像和待定位图像输入预先训练的包含卷积神经网络和回归网络的深度神经网络模型，其中，卷积神经网络输出的特征图经过相关性层，得到所述参考图像和待定位图像的特征相似度数据，将所述特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿；
绝对位姿确定模块73，用于根据相对位姿确定模块72确定的相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。
在一个实施例中，参考图像确定模块72，具体用于：
基于定位请求携带的位置信息及待定位图像，将标准图像数据库中，所述位置周边且到所述位置的距离小于设定距离阈值的标准图像确定为备选图像；
将与待定位图像间的相似度高于设定相似度阈值的备选图像，确定为待定位图像的参考图像。
在一个实施例中，上述装置还包括模型训练装置74，用于训练相对位姿确定模块72所使用的深度神经网络模型，具体用于：
获取训练样本集，所述样本集中的每个样本包括两帧图像及其相对位姿；用所述训练样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，其中，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将该特征相似度数据输入到回归网络进行相对位姿的参数估计。
基于本公开的发明构思，本公开实施例还提供一种机器学习模型的训练装置，其结构如图8所示，包括：
获取模块81，用于获取训练样本集，所述样本集中的每个样本包括两帧图像及其相对位姿；
训练模块82，用于使用获取模块81获取的样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，其中，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将所述特征相似度数据输入到回归网络进行相对位姿的参数估计。
在一个实施例中，获取模块81，具体用于：
将多帧图像进行两两匹配，得到图像对，一个图像对包括两帧匹配的图像；根据图像的绝对位姿，确定图像对中两帧图像的相对位姿；将每个图像对包含的两帧匹配图像及其相对位姿确定为一条训练样本，得到由训练样本构成的训练样本集。
在一个实施例中，获取模块81，将多帧图像进行两两匹配，得到图像对，具体用于：
根据图像的绝对位姿，从多帧图像中确定距离小于预设距离阈值，且相似度满足设定条件的两帧图像，得到图像对；或，根据图像的绝对位姿，从多帧图像中确定距离小于预设距离阈值，角度小于预设角度阈值，且相似度满足设定条件的两帧图像，得到图像对。
基于本公开的发明构思，本公开实施例还提供一种定位系统，其结构如图9所示，包括标准图像数据库91、定位请求装置92、设置于移动设备内的视觉传感器93和上述定位装置94；
定位请求装置92，用于将视觉传感器93拍摄的图像作为待定位图像，根据所述待定位图像和所述移动设备的位置信息生成定位请求，将所述定位请求发送给定位装置94；
定位装置94，用于根据接收到的定位请求和标准图像数据库91，确定待定位图像的绝对位姿，作为所述移动设备的绝对位姿。
关于上述实施例中的装置和系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于本公开的发明构思，本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述定位方法，或实现上述机器学习模型的训练方法。
基于本公开的发明构思，本公开实施例还提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述定位方法，或实现上述机器学习模型的训练方法。
除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本公开处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本公开单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

Claims (10)

1.一种定位方法，其中，包括：
基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像；
将所述参考图像和待定位图像输入预先训练的包含卷积神经网络和回归网络的深度神经网络模型，其中，卷积神经网络输出的特征图经过相关性层，得到所述参考图像和待定位图像的特征相似度数据，将所述特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿；
根据所述相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。
2.如权利要求1所述的方法，其中，所述深度神经网络模型是通过下述步骤预先训练的：
获取训练样本集，所述样本集中的每个样本包括两帧图像及其相对位姿；
用所述训练样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，其中，卷积神经网络输出的特征图经过相关性层，得到样本中两帧图像的特征相似度数据，将该特征相似度数据输入到回归网络进行相对位姿的参数估计。
3.如权利要求1所述的方法，其中，所述基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像，具体包括：
基于定位请求携带的位置信息及待定位图像，将标准图像数据库中，所述位置周边且到所述位置的距离小于设定距离阈值的标准图像确定为备选图像；
将与待定位图像间的相似度高于设定相似度阈值的备选图像，确定为待定位图像的参考图像。
4.一种机器学习模型的训练方法，其中，所述方法包括：
获取训练样本集，所述样本集中的每个样本包括两帧图像及其相对位姿；
用所述训练样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，其中，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将所述特征相似度数据输入到回归网络进行相对位姿的参数估计。
5.如权利要求4所述的方法，其中，所述获取训练样本集，具体包括：
将多帧图像进行两两匹配，得到图像对，一个图像对包括两帧匹配的图像；
根据图像的绝对位姿，确定图像对中两帧图像的相对位姿；
将每个图像对包含的两帧匹配图像及其相对位姿确定为一条训练样本，得到由训练样本构成的训练样本集。
6.如权利要求5所述的方法，其中，所述将多帧图像进行两两匹配，得到图像对，具体包括：
根据图像的绝对位姿，从多帧图像中确定距离小于预设距离阈值，且相似度满足设定条件的两帧图像，得到图像对；或，
根据图像的绝对位姿，从多帧图像中确定距离小于预设距离阈值，角度小于预设角度阈值，且相似度满足设定条件的两帧图像，得到图像对。
7.一种定位装置，其中，包括：
参考图像确定模块，用于基于定位请求携带的待定位图像，从标准图像数据库中，确定与待定位图像的相似度满足设定条件的标准图像，作为参考图像；
相对位姿确定模块，用于将所述参考图像确定模块确定的参考图像和待定位图像输入预先训练的包含卷积神经网络和回归网络的深度神经网络模型，其中，卷积神经网络输出的特征图经过相关性层，得到所述参考图像和待定位图像的特征相似度数据，将所述特征相似度数据输入到回归网络得到参考图像与待定位图像间的相对位姿；
绝对位姿确定模块，用于根据所述相对位姿确定模块确定的相对位姿和参考图像的绝对位姿，确定待定位图像的绝对位姿。
8.一种机器学习模型的训练装置，其中，所述装置包括：
获取模块，用于获取训练样本集，所述样本集中的每个样本包括两帧图像及其相对位姿；
训练模块，用于使用所述获取模块获取的样本集中的样本对包含卷积神经网络和回归网络的深度神经网络模型进行训练，其中，卷积神经网络输出的特征图经过相关性层，得到两帧图像的特征相似度数据，将所述特征相似度数据输入到回归网络进行相对位姿的参数估计。
9.一种定位系统，其中，包括标准图像数据库、定位请求装置、设置于移动设备内的视觉传感器和如权利要求7所述的定位装置；
所述定位请求装置，用于将所述视觉传感器拍摄的图像作为待定位图像，根据所述待定位图像和所述移动设备的位置信息生成定位请求，将所述定位请求发送给所述定位装置；
所述定位装置，用于根据接收到的定位请求和所述标准图像数据库，确定待定位图像的绝对位姿，作为所述移动设备的绝对位姿。
10.一种计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现权利要求1～3任一所述的定位方法，或实现权利要求4～6任一项所述的机器学习模型的训练方法。
CN202110151160.6A 2021-02-03 2021-02-03 定位方法、计算机程序产品、装置及系统 Pending CN112907663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110151160.6A CN112907663A (zh) 2021-02-03 2021-02-03 定位方法、计算机程序产品、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110151160.6A CN112907663A (zh) 2021-02-03 2021-02-03 定位方法、计算机程序产品、装置及系统

Publications (1)

Publication Number Publication Date
CN112907663A true CN112907663A (zh) 2021-06-04

Family

ID=76122115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110151160.6A Pending CN112907663A (zh) 2021-02-03 2021-02-03 定位方法、计算机程序产品、装置及系统

Country Status (1)

Country Link
CN (1) CN112907663A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167468A (zh) * 2021-12-14 2022-03-11 四川大学 一种基于图像和gnss的目标空间定位方法
CN114821639A (zh) * 2022-04-11 2022-07-29 西安电子科技大学广州研究院 面向特殊场景下人体姿态估计和理解的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584299A (zh) * 2018-11-13 2019-04-05 深圳前海达闼云端智能科技有限公司 一种定位方法、定位装置、终端及存储介质
CN111627065A (zh) * 2020-05-15 2020-09-04 Oppo广东移动通信有限公司 一种视觉定位方法及装置、存储介质
CN111862213A (zh) * 2020-07-29 2020-10-30 Oppo广东移动通信有限公司 定位方法及装置、电子设备、计算机可读存储介质
US20200364509A1 (en) * 2019-05-16 2020-11-19 Naver Corporation System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
WO2020235804A1 (ko) * 2019-05-17 2020-11-26 네이버 주식회사 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
US20210407128A1 (en) * 2019-03-12 2021-12-30 Huawei Technologies Co., Ltd. Learnable localization using images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584299A (zh) * 2018-11-13 2019-04-05 深圳前海达闼云端智能科技有限公司 一种定位方法、定位装置、终端及存储介质
US20210407128A1 (en) * 2019-03-12 2021-12-30 Huawei Technologies Co., Ltd. Learnable localization using images
US20200364509A1 (en) * 2019-05-16 2020-11-19 Naver Corporation System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
WO2020235804A1 (ko) * 2019-05-17 2020-11-26 네이버 주식회사 포즈 유사도 판별 모델 생성방법 및 포즈 유사도 판별 모델 생성장치
CN111627065A (zh) * 2020-05-15 2020-09-04 Oppo广东移动通信有限公司 一种视觉定位方法及装置、存储介质
CN111862213A (zh) * 2020-07-29 2020-10-30 Oppo广东移动通信有限公司 定位方法及装置、电子设备、计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167468A (zh) * 2021-12-14 2022-03-11 四川大学 一种基于图像和gnss的目标空间定位方法
CN114821639A (zh) * 2022-04-11 2022-07-29 西安电子科技大学广州研究院 面向特殊场景下人体姿态估计和理解的方法及装置
CN114821639B (zh) * 2022-04-11 2023-04-18 西安电子科技大学广州研究院 面向特殊场景下人体姿态估计和理解的方法及装置

Similar Documents

Publication Publication Date Title
CN110322702B (zh) 一种基于双目立体视觉系统的车辆智能测速方法
EP3309751B1 (en) Image processing device, method, and program
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
CN110136058B (zh) 一种基于俯视拼接图的建图方法及车载终端
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN112907663A (zh) 定位方法、计算机程序产品、装置及系统
CN111947663B (zh) 视觉定位数字地图ar导航系统和方法
US11748449B2 (en) Data processing method, data processing apparatus, electronic device and storage medium
CN111256693A (zh) 一种计算位姿变化方法及车载终端
CN110596741A (zh) 车辆定位方法、装置、计算机设备和存储介质
CN115512124A (zh) 一种重定位帧的确定方法、装置、车辆及存储介质
CN108917752A (zh) 无人船导航方法、装置、计算机设备和存储介质
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
US20090153307A1 (en) Position measurement terminal and method using locations of position identifying tags
US20220164595A1 (en) Method, electronic device and storage medium for vehicle localization
WO2018131546A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN111553474A (zh) 船只检测模型训练方法及基于无人机视频的船只跟踪方法
CN115352452A (zh) 车辆环境的感知方法、系统、电子设备及存储介质
CN112633043B (zh) 一种车道线确定方法、装置、电子设备及存储介质
CN111275039B (zh) 水尺字符定位方法、装置、计算设备及存储介质
CN114396956A (zh) 导航方法及装置、计算设备、存储介质和计算机程序产品
CN113468931A (zh) 数据处理方法、装置、电子设备及存储介质
CN114322996A (zh) 一种多传感器融合定位系统的位姿优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination