CN112328715A - 视觉定位方法及相关模型的训练方法及相关装置、设备 - Google Patents

视觉定位方法及相关模型的训练方法及相关装置、设备 Download PDF

Info

Publication number
CN112328715A
CN112328715A CN202011110569.5A CN202011110569A CN112328715A CN 112328715 A CN112328715 A CN 112328715A CN 202011110569 A CN202011110569 A CN 202011110569A CN 112328715 A CN112328715 A CN 112328715A
Authority
CN
China
Prior art keywords
matching
point
image
points
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011110569.5A
Other languages
English (en)
Other versions
CN112328715B (zh
Inventor
鲍虎军
章国锋
余海林
冯友计
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202011110569.5A priority Critical patent/CN112328715B/zh
Publication of CN112328715A publication Critical patent/CN112328715A/zh
Priority to JP2021578181A priority patent/JP7280393B2/ja
Priority to KR1020227003201A priority patent/KR20220051162A/ko
Priority to PCT/CN2021/082198 priority patent/WO2022077863A1/zh
Priority to TW110132126A priority patent/TW202217662A/zh
Application granted granted Critical
Publication of CN112328715B publication Critical patent/CN112328715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视觉定位方法及相关模型的训练方法及相关装置、设备，其中，匹配预测模型的训练方法包括：利用样本图像和地图数据，构建样本匹配数据，其中，样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自样本图像和地图数据；利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值；利用实际匹配值和预测匹配值，确定匹配预测模型的损失值；利用损失值，调整匹配预测模型的参数。上述方案，提高视觉定位的准确性和即时性。

Description

视觉定位方法及相关模型的训练方法及相关装置、设备
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种视觉定位方法及相关模型的训练方法及相关装置、设备。
背景技术
视觉定位根据地图数据的表达方式不同，可分为多种方式。其中，尤以基于结构的方式，又称为基于特征(feature-based)的方式以其精度高、泛化性能优而受到广泛关注。
目前，在利用基于特征的方式进行视觉定位时，需要匹配得到图像数据与地图数据之间的多个点对。然而，采用局部相似度建立匹配关系，其可靠性较弱，特别是在大规模场景或具有重复结构/重复纹理的场景中，极易产生错误匹配，从而影响视觉定位的准确性。使用随机采样一致性(Random Sample Consensus，RANSAC)虽然可以剔除错误匹配，但是由于RANSAC对每个样本点进行等概率采样，当初始匹配中的外点过多时，RANSAC存在耗时久且精度低的问题，从而影响视觉定位的即时性和准确性。有鉴于此，如何提高视觉定位的准确性和即时性成为亟待解决的问题。
发明内容
本申请提供一种视觉定位方法及相关模型的训练方法及相关装置、设备。
本申请第一方面提供了一种匹配预测模型的训练方法，包括：利用样本图像和地图数据，构建样本匹配数据，其中，样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自样本图像和地图数据；利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值；利用实际匹配值和预测匹配值，确定匹配预测模型的损失值；利用损失值，调整匹配预测模型的参数。
因此，通过利用样本图像和地图数据构建得到样本匹配数据，且样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自样本图像和地图数据，从而利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值，进而利用实际匹配值和预测匹配值，确定匹配预测模型的损失值，利用损失值来对匹配预测模型的参数进行调整，故能够利用匹配预测模型建立匹配关系，从而能够在视觉定位中利用匹配预测模型预测点对之间的匹配值，因而能够基于预测得到的匹配值优先采样高匹配值的点对，进而能够有利于提高视觉定位的准确性和即时性。
其中，利用样本图像和地图数据，构建样本匹配数据包括：从样本图像中获取若干图像点，以及从地图数据中获取若干地图点，以组成若干组点对；其中，若干组点对包括至少一组所包含的图像点和地图点之间匹配的匹配点对；对于每组匹配点对：利用样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点；并基于图像点和投影点之间的差异，确定匹配点对的实际匹配值。
因此，通过从样本图像中获取若干图像点，以及从地图数据中获取若干地图点，以组成若干组点对，且若干组点对中包括至少一组所包含的图像点和地图点之间匹配的匹配点对，故能够生成用于训练匹配预测模型的样本，并对于每组匹配点对，利用样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点，从而基于图像点和投影点之间的差异，确定匹配点对的实际匹配值，故能够使匹配预测模型在训练过程中学习到匹配点对几何特征，有利于提高匹配预测模型的准确性。
其中，若干组点对包括至少一组所包含的图像点和地图点之间不匹配的非匹配点，利用样本图像和地图数据，构建样本匹配数据还包括：将非匹配点对的实际匹配值设置为预设数值
因此，若干组点对包括至少一组所包含的图像点和地图点之间不匹配的非匹配点对，并区别于匹配点对，将非匹配点对的实际匹配值设置预设数值，从而能够有利于提高匹配预测模型的鲁棒性。
其中，从样本图像中获取若干图像点，以及从地图数据中获取若干地图点，以组成若干组点对，包括：将样本图像中的图像点划分为第一图像点和第二图像点，其中，第一图像点在地图数据中存在与其匹配的地图点，第二图像点在地图数据中不存在与其匹配的地图点；对于每一第一图像点，从地图数据中分配若干第一地图点，并分别将第一图像点与每一第一地图点作为一第一点对，其中，第一地图点中包含与第一图像点匹配的地图点；以及，对于每一第二图像点，从地图数据中分配若干第二地图点，并分别将第二图像点与每一第二地图点作为一第二点对；从第一点对和第二点对中抽取得到若干组点对。
因此，通过将样本图像中的图像点划分为第一图像点和第二图像点，且第一图像点在地图中存在与其匹配的地图点，第二图像点在图像数据中不存在与其匹配的图像点，并对第一图像点，从地图数据中分配若干第一地图点，分别将第一图像点与每一第一地图点作为一第一点对，且第一地图点中包含与第一图像点匹配的地图点，而对于每一第二图像点，从地图数据中分配若干第二地图点，分别将第二图像点与每一第二地图点作为一第二点对，并从第一点对和第二点对中抽取得到若干组点对，从而能够构建得到数量丰富且包含非匹配点对和匹配点对的若干组点对，以用于训练匹配预测模型，故能够有利于提高匹配预测模型的准确性。
其中，利用样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点包括：基于匹配点对，计算样本图像的位姿参数；利用位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点。
因此，通过利用匹配点对，计算样本图像的位姿参数，并利用位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点，从而能够有利于提高投影点与图像点之间差异的准确性，进而能够有利于提高匹配预测模型的准确性。
其中，基于图像点和投影点之间的差异，确定匹配点对的实际匹配值包括：利用预设概率分布函数将差异转换为概率密度值，作为匹配点对的实际匹配值。
因此，通过利用预设概率分布函数将差异转换为概率密度值，作为匹配点对的实际匹配值，故能够有利于准确地描述投影点与图像点之间的差异，从而能够有利于提高匹配预测模型的准确性。
其中，样本匹配数据为二分图，二分图包括若干组点对和连接每组点对的连接边，且连接边标注有对应点对的实际匹配值；匹配预测模型包括与样本图像所属的维度对应的第一点特征提取子模型、与地图数据所属的维度对应的第二点特征提取子模型以及边特征提取子模型；利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值包括：分别利用第一点特征提取子模型和第二点特征提取子模型对二分图进行特征提取，得到第一特征和第二特征；利用边特征提取子模型对第一特征和第二特征进行特征提取，得到第三特征；利用第三特征，得到连接边对应的点对的预测匹配值。
因此，通过对二分图分别进行点特征抽取以及边特征抽取，从而能够使匹配预测模型更加有效地感知匹配的空间几何结构，进而能够有利于提高匹配预测模型的准确性。
其中，第一点特征提取子模型和第二点特征提取子模型的结构为以下任一种：包括至少一个残差块，包括至少一个残差块和至少一个空间变换网络；和/或，边特征提取子模型包括至少一个残差块。
因此，通过将第一点特征提取子模型和第二点特征提取子模型的结构设置为以下任一者：包括至少一个残差块，包括至少一个残差块和至少一个空间变换网络，且将边特征提取子模型设置为包括至少一个残差块，故能够有利于匹配预测模型的优化，并提高匹配预测模型的准确性。
其中，若干组点对包括至少一组所包含的图像点和地图点之间匹配的匹配点对和至少一组所包含的图像点和地图点之间不匹配的非匹配点对；利用实际匹配值和预测匹配值，确定匹配预测模型的损失值包括：利用匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第一损失值；并利用非匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第二损失值；对第一损失值和第二损失值进行加权处理，得到匹配预测模型的损失值。
因此，通过利用匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第一损失值，并利用非匹配点对的预测匹配值和实际损失值，确定匹配预测模型的第二损失值，从而对第一损失值和第二损失值进行加权处理，得到匹配预测模型的损失值，故能够有利于使匹配预测模型有效感知匹配的空间几何结构，从而提高匹配预测模型的准确性。
其中，利用匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第一损失值之前，方法还包括：分别统计匹配点对的第一数量，以及非匹配点对的第二数量；利用匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第一损失值包括：利用匹配点对的预测匹配值和实际匹配值之间的差值，以及第一数量，确定第一损失值；利用非匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第二损失值包括：利用非匹配点对的预测匹配值和实际匹配值之间的差值，以及第二数量，确定第二损失值。
因此，通过统计匹配点对的第一数量，以及非匹配点对的第二数量，从而利用匹配点对的预测匹配值和实际匹配值之间的差值，以及第一数量，确定第一损失值，并利用非匹配点对的预测匹配值和实际匹配值之间的差异，以及第二数量，确定第二损失值，能够有利于提高匹配预测模型的损失值的准确性，从而能够有利于提高匹配预测模型的准确性。
其中，样本图像所属的维度为2维或3维，地图数据所属的维度为2维或3维。
因此，通过设置样本图像和地图数据所属的维度，能够训练得到用于2维-2维的匹配预测模型，或者能够训练得到用于2维-3维的匹配预测模型，或者能够训练得到用于3维-3维的匹配预测模型，从而能够提高匹配预测模型的适用范围。
本申请第二方面提供了一种视觉定位方法，包括：利用待定位图像和地图数据，构建待识别匹配数据，其中，待识别匹配数据包括若干组点对，每组点对的两个点分别来自待定位图像和地图数据；利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值；基于点对的预测匹配值，确定待定位图像的摄像器件的位姿参数。
因此，通过利用待定位图像和地图数据，构建待识别匹配数据，且待识别匹配数据包括若干组点对，每组点对的两个点分别来自待定位图像和地图数据，从而利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值，进而基于点对的预测匹配值，确定待定位图像的摄像器件的位姿参数，故能够在视觉定位中利用匹配预测模型预测点对之间的匹配值而建立匹配关系，能够有利于提高视觉定位的准确性和即时性。
其中，基于点对的预测匹配值，确定待定位图像的摄像器件的位姿参数，包括：将若干组点对按照预测匹配值从高到低的顺序进行排序；利用前预设数量组点对，确定待定位图像的摄像器件的位姿参数。
因此，通过将若干组点对按照预测匹配值从高到低的顺序进行排序，并利用前预设数量组点对，确定待定位图像的摄像器件的位姿参数，从而能够有利于利用排序后的点对进行增量式采样，优先采样匹配值高的点对，故能够通过几何先验引导位姿参数的求解，从而能够提高视觉定位的准确性和即时性。
其中，匹配预测模型是利用上述第一方面中的匹配预测模型的训练方法得到的。
因此，通过上述匹配预测模型的训练方法得到的匹配预测模型进行视觉定位，能够提高视觉定位的准确性和即时性。
本申请第三方面提供了一种匹配预测模型的训练装置，包括：样本构建模块、预测处理模块、损失确定模块和参数调整模块，样本构建模块用于利用样本图像和地图数据，构建样本匹配数据，其中，样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自样本图像和地图数据；预测处理模块用于利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值；损失确定模块用于利用实际匹配值和预测匹配值，确定匹配预测模型的损失值；参数调整模块用于利用损失值，调整匹配预测模型的参数。
本申请第四方面提供了一种视觉定位装置，包括：数据构建模块、预测处理模块和参数确定模块，数据构建模块用于利用待定位图像和地图数据，构建待识别匹配数据，其中，待识别匹配数据包括若干组点对，每组点对的两个点分别来自待定位图像和地图数据；预测处理模块用于利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值；参数确定模块用于基于点对的预测匹配值，确定待定位图像的摄像器件的位姿参数。
本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的匹配预测模型的训练方法，或者实现上述第二方面中的视觉定位方法。
本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的匹配预测模型的训练方法，或者实现上述第二方面中的视觉定位方法。
上述方案，能够利用匹配预测模型建立匹配关系，从而能够在视觉定位中利用匹配预测模型预测点对之间的匹配值，因而能够基于预测得到的匹配值优先采样高匹配值的点对，而建立匹配关系，进而能够有利于提高视觉定位的准确性和即时性。
附图说明
图1是本申请匹配预测模型的训练方法一实施例的流程示意图；
图2是本申请匹配预测模型的训练方法一实施例的状态示意图；
图3是图1中步骤S11一实施例的流程示意图；
图4是图3中步骤S111一实施例的流程示意图；
图5是本申请视觉定位方法一实施例的流程示意图；
图6是本申请匹配预测模型的训练装置一实施例的框架示意图；
图7是本申请视觉定位装置一实施例的框架示意图；
图8是本申请电子设备一实施例的框架示意图；
图9是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请匹配预测模型的训练方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：利用样本图像和地图数据，构建样本匹配数据。
具体地，样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自样本图像和地图数据。
在一个实施场景中，地图数据可以是通过样本图像而构建得到。具体地，样本图像所属的维度可以为2维或3维，地图数据所属的维度可以为2维或3维，在此不做限定。例如，样本图像为二维图像，则可以通过诸如SFM(Structure From Motion)等三维重建方式对二维图像进行处理，得到诸如稀疏点云模型的地图数据，此外，样本图像还可以包括三维信息，例如，样本图像具体还可以为RGB-D图像(即色彩图像与深度图像)，在此不做限定。地图数据可以是由单纯的二维图像组成，也可以是由三维点云地图组成，也可以是二维图像和三维点云的结合，在此不做限定。
在一个实施场景中，样本匹配数据可以为二分图，二分图又称为二部图，是由点集和边集所构成的无向图，且点集可以分为两个互不相交的子集，边集中的每条边所关联的两个点分别属于这两个互不相交的子集。具体地，样本匹配数据为二分图时，其包括若干组点对和连接每组点对的连接边，且连接边标注有对应点对的实际匹配值，用于描述对应点对的匹配程度，例如，实际匹配值可以为0～1之间的数值，具体地，实际匹配值为0.1时，可以表明对应点对之间匹配程度较低，点对中来自样本图像的点与来自地图数据中的点对应于空间中同一点的概率较低，实际匹配值为0.98时，可以表明对应点对之间的匹配程度较高，点对中来自样本图像的点与来自地图数据中的点对应于空间中同一点的概率较高。请结合参阅图2，图2是本申请匹配预测模型的训练方法一实施例的状态示意图，如图2所示，左侧为由二分图表示的样本匹配数据，二分图的上侧和下侧两个为互不相交的点集，连接两个点集中的点为连接边，连接边标注有实际匹配值(未图示)。
在一个实施场景中，为了提高样本匹配数据多样化，还可以对样本匹配数据进行数据增强。例如，可以将样本匹配数据中的三维点的坐标分别对三个轴进行随机旋转；或者，还可以对样本匹配数据中的三维点进行归一化处理，在此不做限定。
步骤S12：利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值。
请继续结合参阅图2，仍以样本匹配数据以二分图表示为例，匹配预测模型可以包括与样本图像所属的维度对应的第一点特征提取子模型、与地图数据所属的维度对应的第二点特征提取子模型，以及边特征提取子模型。例如，样本图像为二维图像、地图数据包括二维图像时，第一点特征提取子模型和第二点特征提取子模型为二维点特征提取子模型，则训练得到的匹配预测模型可以用于二维-三维的匹配预测；或者，样本图像为三维图像、地图数据包括三维点云时，第一点特征提取子模型和第二点特征提取子模型为三维点特征提取子模型，则训练得到的匹配预测模型可以用于三维-三维的匹配预测；或者，样本图像为二维图像、地图数据包括三维点云时，第一点特征提取子模型为二维点特征提取子模型、第二点特征提取子模型为三维点特征提取子模型，则训练得到的匹配预测模型可以用于二维-三维的匹配预测，具体可以根据实际应用进行设置，在此不做限定。
在一个具体的实施场景中，可以利用第一点特征提取子模型和第二点特征提取子模型对二分图进行特征提取，得到第一特征和第二特征，再利用边特征提取子模型对第一特征和第二特征进行特征提取，得到第三特征，利用第三特征，得到连接边对应点的预测匹配值，如图2中的w1,…wk表示二分图中各连接边对应的预测匹配值。
在一个具体的实施场景中，当第一点特征提取子模型和第二点特征提取子模型为二维点特征提取子模型时，可以包括至少一个残差块(resblock)，例如，1个残差块、2个残差块、3个残差块等等，每个残差块(resblock)由多个基本块(base block)组成，而每个基本块(base block)由一层1*1的卷积层、批标准化层(batch normalization)、上下文标准化层(context normalization)组成。当第一点特征提取子模型和第二点特征提取子模型为三维点特征提取子模型时，可以包括至少一个残差块(resblock)和至少一个空间变换网络(如，t-net)，例如，1个残差块、2个残差块、3个残差块等等，在此不做限定。空间变换网络可以为1个、2个，具体地，空间变换网络可以位于模型的首尾位置，在此不做限定。残差块(resblock)的具体结构可以参考前述实施场景中的结构，在此不再赘述。边特征提取子模型可以包括至少一个残差块，例如，1个残差块、2个残差块、3个残差块等等，在此不做限定，残差块(resblock)的具体结构可以参考前述实施场景中的结构，在此不再赘述。
步骤S13：利用实际匹配值和预测匹配值，确定匹配预测模型的损失值。
在一个实施场景中，可以统计实际匹配值和预测匹配值之间的差异，从而确定匹配预测模型的损失值。具体地，可以统计所有点对的预测匹配值和其实际匹配值之间差值的总和，再利用该总和和所有点对的数量，求取所有点对的预测匹配值的均值，作为匹配预测模型的损失值。
在另一个实施场景中，若干组匹配点对可以包括至少一组所包含的图像点和地图点之间匹配的匹配点对，即匹配点对所包含的图像点与地图点为空间中的同一点，若干组匹配点对还可以包括至少一组所包含的图像点和地图点之间不匹配的非匹配点对，即非匹配点对所包含的图像点与地图点为空间中的不同点，则可以利用匹配点对的预测匹配值w*和实际匹配值w，确定匹配预测模型的第一损失值Lpos(w,w*)，并利用非匹配点对的预测匹配值w*和实际匹配值w，确定匹配预测模型的第二损失值Lneg(w,w*)，从而通过对第一损失值Lpos(w,w*)和第二损失值Lneg(w,w*)进行加权处理，得到匹配预测模型的损失值L(w,w*)，具体地，可以表示为：
L(w,w*)＝αLpos(w,w*)+βLneg(w,w*)……(1)
上述公式(1)中，L(w,w*)表示匹配预测模型的损失值，Lpos(w,w*)表示匹配点对所对应的第一损失值，Lneg(w,w*)表示非匹配点对所对应的第二损失值，α和β分别表示第一损失值Lpos(w,w*)的权重、第二损失值Lneg(w,w*)的权重。
在一个具体的实施场景中，还可以分别统计匹配点对的第一数量|εpos|和非匹配点对的第二数量|εneg|，从而可以利用匹配点对的预测匹配值和实际匹配值之间的差异，以及第一数量，确定第一损失值，具体地，可以表示为：
Figure BDA0002728454790000111
上述公式(2)中，Lpos(w,w*)表示第一损失值，|εpos|表示第一数量，w,w*分别表示匹配点对的实际匹配值和预测匹配值。
还可以利用非匹配点对的预测匹配值和实际匹配值之间的差异，以及第二数量，确定第二损失值，具体地，可以表示为：
Figure BDA0002728454790000112
上述公式(3)中，Lneg(w,w*)表示第二损失值，|εneg|表示第二数量，w,w*分别表示非匹配点对的实际匹配值和预测匹配值，此外，非匹配点对的实际匹配值w还可以统一设置为一预设数值(例如，0)。
步骤S14：利用损失值，调整匹配预测模型的参数。
具体地，可以采用随机梯度下降(Stochastic Gradient Descent，SGD)、批量梯度下降(Batch Gradient Descent，BGD)、小批量梯度下降(Mini-Batch Gradient Descent，MBGD)等方式，利用损失值对匹配预测模型的参数进行调整，其中，批量梯度下降是指在每一次迭代时，使用所有样本来进行参数更新；随机梯度下降是指在每一次迭代时，使用一个样本来进行参数更新；小批量梯度下降是指在每一次迭代时，使用一批样本来进行参数更新，在此不再赘述。
在一个实施场景中，还可以设置一训练结束条件，当满足训练结束条件时，可以结束对匹配预测模型的训练。具体地，训练结束条件可以包括：损失值小于一预设损失阈值，且损失值不再减小；当前训练次数达到预设次数阈值(例如，500次、1000次等)，在此不做限定。
上述方案，通过利用样本图像和地图数据构建得到样本匹配数据，且样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自样本图像和地图数据，从而利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值，进而利用实际匹配值和预测匹配值，确定匹配预测模型的损失值，利用损失值来对匹配预测模型的参数进行调整，故能够利用匹配预测模型建立匹配关系，从而能够在视觉定位中利用匹配预测模型预测点对之间的匹配值，因而能够基于预测得到的匹配值优先采样高匹配值的点对，进而能够有利于提高视觉定位的准确性和即时性。
请参阅图3，图3是图1中步骤S11一实施例的流程示意图。具体地，通过如下步骤构建得到样本匹配数据：
步骤S111：从样本图像中获取若干图像点，以及从地图数据中获取若干地图点，以组成若干组点对。
若干组点对包括至少一组所包含的图像点和地图点之间匹配的匹配点对，也就是说，若干组点对中至少包含一组所包含的图像点和地图点对应于空间中同一点的匹配点对。以样本图像为二维图像，地图数据为通SFM重建方式得到的稀疏点云模型为例，若干组点对中至少包含1个三角化的点以及该三角化的点对应于稀疏点云模型中的三维点。
在一个实施场景中，若干组点对中还可以包括至少一组所包含的图像点与地图点之间不匹配的非匹配点对，也就是说，若干组点对中还可以包括至少一组所包含的图像点和地图点对应于空间中不同点的非匹配点对。仍以样本图像为二维图像，地图数据为通SFM重建方式得到的稀疏点云模型为例，若干组点对中还可以包括未三角化的点以及稀疏点云模型中的任一点，以构成一组非匹配点对，从而能够在样本匹配数据中加入噪声，进而能够提高匹配预测模型的鲁棒性。
在一个具体的实施场景中，请结合参阅图4，图4是图3中步骤S111一实施例的流程示意图。具体地，可以通过如下步骤，得到若干组点对：
步骤S41：将样本图像中的图像点划分为第一图像点和第二图像点。
具体地，第一图像点在地图数据中存在与其匹配的地图点，第二图像点在地图数据中不存在与其匹配的地图点。仍以样本图像为二维图像，地图数据为通SFM重建方式得到的稀疏点云模型为例，第一图像点可以为样本图像中三角化的特征点，第二图像点可以为样本图像中未三角化的特征点，在其他应用场景中，可以以此类推，在此不做限定。
在一个实施场景中，样本图像中的图像点为样本图像的特征点。在另一个实施场景中，还可以将特征点的坐标转换到归一化平面上。
步骤S42：对于每一第一图像点，从地图数据中分配若干第一地图点，并分别将第一图像点与每一第一地图点作为一第一点对，其中，第一地图点中包含与第一图像点匹配的地图点。
对于每一第一图像点，从地图数据中分配若干第一地图点，并分别将第一图像点与每一第一地图点作为一第一点对，且第一地图点中包含与第一图像点匹配的地图点。在一个实施场景中，对于每一第一图像点分配的第一地图点的数量可以相同，也可以不同。在另一个实施场景中，在分配第一地图点之前，还可以从划分得到的第一图像点中随机抽取若干第一图像点，并对抽取得到的第一图像点，执行从地图数据中分配若干第一地图点，并分别将第一图像点与每一第一地图点作为一第一点对的步骤，在此不做限定。在一个具体的实施场景中，可以从划分得到的第一图像点中随机抽取N个点，并对抽取得到的N个第一图像点中的每一个第一图像点，从地图数据中随机分配K个第一地图点，且随机分配的K个第一地图点中包含与第一图像点匹配的地图点。
步骤S43：对于每一第二图像点，从地图数据中分配若干第二地图点，并分别将第二图像点与每一第二地图点作为一第二点对。
对于每一第二图像点，从地图数据中分配若干第二地图点，并分别将第二图像点与每一第二地图点作为一第二点对。在一个实施场景中，对于每一第二图像点分配的第二地图点的数量可以相同，也可以不同。在另一个实施场景中，在分配第二地图点之前，还可以从划分得到的第二图像点中随机抽取若干第二图像点，并对抽取得到的第二图像点，执行从地图数据中分配若干第二地图点，并分别将第二图像点与每一第二地图点作为一第二点对的步骤，在此不做限定。在一个具体的实施场景中，可以从划分得到的第二图像点中随机抽取M个点，并对抽取得到的M个第二图像点中的每一个第二图像点，从地图数据中随机分配K个第二地图点。
在一个实施场景中，为了便于明确每一第一点对和每一第二点对是否为匹配点对，还可以遍历每一第一点对和每一第二点对，并利用第一标识符(例如，1)对匹配点对进行标记，利用第二标识符(例如，0)对非匹配点对进行标记。
上述步骤S42和步骤S43可以按照先后顺序执行，例如，先执行步骤S42，后执行步骤S43；或者，先执行步骤S43，后执行步骤S42；此外，上述步骤S42和步骤S43也可以同步执行，在此不做限定。
步骤S44：从第一点对和第二点对中抽取得到若干组点对。
具体地，可以从第一点对和第二点对中随机抽取，得到若干组点对，作为一样本匹配数据。在一个实施场景中，还可以对第一点对和第二点对随机抽取若干次，从而得到若干个样本匹配数据。在另一个实施场景中，还可以获取多个样本图像和地图数据，并对每一样本图像和地图数据，重复执行上述步骤，得到多个样本匹配数据，从而能够提高样本数量，有利于提高匹配预测模型的准确性。
步骤S112：对于每组匹配点对：利用样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点；并基于图像点和投影点之间的差异，确定匹配点对的实际匹配值。
对于每组匹配点对，可以利用与其对应的样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点。仍以样本图像为二维图像，地图数据为通SFM重建方式得到的稀疏点云模型为例，可以利用位姿参数将三维点重投影，从而得到其投影点。
在一个实施场景中，可以利用预设概率分布函数将图像点和其投影点之间的差异转换为概率密度值，作为匹配点对的实际匹配值。在一个具体的实施场景中，预设概率分布函数可以是标准高斯分布函数，从而能够将取值范围在负无穷至正无穷之间的差异转换为对应的概率密度值，且差异的绝对值越大，对应的概率密度值越小，相应表示点对的匹配程度越低，差异的绝对值越小，对应的概率密度值越小，相应表示点对的匹配程度越高，当差异的绝对值为0时，其对应的概率密度值最大。
在一个实施场景中，在利用位姿参数将地图点投影至样本图像所属的维度之前，还可以基于匹配点对，计算样本图像的位姿参数，具体地，可以采用BA(BundleAdjustment)计算位姿参数，从而利用位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点。
在一个实施场景中，还可以将非匹配点对的实际匹配值设置为预设数值，例如，将非匹配点对的实际匹配值设置为0。
区别于前述实施例，通过从样本图像中获取若干图像点，以及从地图数据中获取若干地图点，以组成若干组点对，且若干组点对中包括至少一组所包含的图像点和地图点之间匹配的匹配点对，故能够生成用于训练匹配预测模型的样本，并对于每组匹配点对，利用样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点，从而基于图像点和投影点之间的差异，确定匹配点对的实际匹配值，故能够使匹配预测模型在训练过程中学习到匹配点对几何特征，有利于提高匹配预测模型的准确性。
请参阅图5，图5是本申请视觉定位方法一实施例的流程示意图。具体地，可以包括如下步骤：
步骤S51：利用待定位图像和地图数据，构建待识别匹配数据。
具体地，待识别匹配数据包括若干组点对，每组点对的两个点分别来自待定位图像和地图数据。具体地，待定位图像和地图数据所属的维度可以为2维或3维，在此不做限定。例如，待定位图像可以为二维图像，或者，待定位图像还可以还是RGB-D图像，在此不做限定，地图数据可以为单纯的二维图像组成，也可以是由三维点云地图组成，也可以是二维图像和三维点云的结合，在此不做限定。
步骤S52：利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值。
匹配预测模型为预先通过样本匹配数据训练得到的神经网络模型。在一个具体的实施场景中，匹配预测模型可以是通过前述任一匹配预测模型的训练方法实施例中的步骤训练得到的，具体训练步骤可以参考前述实施例中的步骤，在此不再赘述。
通过利用匹配预测模型对若干组点对进行预测处理，可以得到待识别匹配数据中点对的预测匹配值。在一个具体的实施场景中，待识别匹配数据为二分图，二分图中包括若干组点对和连接每组点对的连接边，匹配预测模型包括与待定位图像所属的维度对应的第一点特征提取子模型、与地图数据所属的维度对应的第二点特征提取子模型，以及边特征提取子模型，从而可以利用第一点特征提取子模型和第二点特征提取子模型对二分图进行特征提取，得到第一特征和第二特征，并利用边特征提取子模型对第一特征和第二特征进行特征提取，得到第三特征，进而利用第三特征，得到连接边对应的点对的预测匹配值。具体可以参阅前述实施例中的步骤，在此不再赘述。
步骤S53：基于点对的预测匹配值，确定待定位图像的摄像器件的位姿参数。
通过待识别匹配数据中点对的预测匹配值，可以优先利用预测匹配值比较高的点对，确定待定位图像的摄像器件的位姿参数。在一个具体的实施场景中，可以利用预测匹配值比较高的n个点对，构建PnP(Perspective-n-Point)问题，从而采用诸如EPnP(EfficientPnP)等方式对PnP问题进行求解，进而得到待定位图像的摄像器件的位姿参数。在另一个具体的实施场景中，还可以将若干组点对按照预测匹配值从高到低的顺序进行排序，并利用前预设数量组点对，确定待定位图像的摄像器件的位姿参数。具体地，前预设数量可以根据实际情况进行设置，例如，将排序后的若干组点对中预测匹配值不为0的点对作为前预设数量组点对；或者，还可以将排序后的若组点对中预测匹配值大于一下限值的点对作为前预设数量组点对，具体可以根据实际应用而设置，在此不做限定。具体地，还可以采用诸如PROSAC(PROgressive SAmple Consensus，渐进一致采样)的方式，对排序后的点对进行处理，得到待定位图像的摄像器件的位姿参数。在一个具体的实施场景中，待定位图像的摄像器件的位姿参数可以包括摄像器件在地图数据所属的地图坐标系中的6个自由度(Degreeof freedom,DoF)，包括：位姿(pose)，即(x,y,z)坐标，以及环绕x轴的偏转yaw(俯仰角)、绕y轴的偏转pitch(偏航角)、绕z轴的偏转roll(翻滚角)。
上述方案，通过利用待定位图像和地图数据，构建待识别匹配数据，且待识别匹配数据包括若干组点对，每组点对的两个点分别来自待定位图像和地图数据，从而利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值，进而基于点对的预测匹配值，确定待定位图像的摄像器件的位姿参数，故能够在视觉定位中利用匹配预测模型预测点对之间的匹配值而建立匹配关系，能够有利于提高视觉定位的准确性和即时性。
请参阅图6，图6是本申请匹配预测模型的训练装置60一实施例的框架示意图。匹配预测模型的训练装置60包括样本构建模块61、预测处理模块62、损失确定模块63和参数调整模块64，样本构建模块61用于利用样本图像和地图数据，构建样本匹配数据，其中，样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自样本图像和地图数据；预测处理模块62用于利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值；损失确定模块63用于利用实际匹配值和预测匹配值，确定匹配预测模型的损失值；参数调整模块64用于利用损失值，调整匹配预测模型的参数。
上述方案，能够利用匹配预测模型建立匹配关系，从而能够在视觉定位中利用匹配预测模型预测点对之间的匹配值，因而能够基于预测得到的匹配值优先采样高匹配值的点对，进而能够有利于提高视觉定位的准确性和即时性。
在一些实施例中，样本构建模块61包括点对获取子模块，用于从样本图像中获取若干图像点，以及从地图数据中获取若干地图点，以组成若干组点对；其中，若干组点对包括至少一组所包含的图像点和地图点之间匹配的匹配点对，样本构建模块61包括第一匹配值确定子模块，用于对于每组匹配点对：利用样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点；并基于图像点和投影点之间的差异，确定匹配点对的实际匹配值。
区别于前述实施例，通过从样本图像中获取若干图像点，以及从地图数据中获取若干地图点，以组成若干组点对，且若干组点对中包括至少一组所包含的图像点和地图点之间匹配的匹配点对，故能够生成用于训练匹配预测模型的样本，并对于每组匹配点对，利用样本图像的位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点，从而基于图像点和投影点之间的差异，确定匹配点对的实际匹配值，故能够使匹配预测模型在训练过程中学习到匹配点对几何特征，有利于提高匹配预测模型的准确性。
在一些实施例中，若干组点对包括至少一组所包含的图像点和地图点之间不匹配的非匹配点对，样本构建模块61包括第二匹配值确定子模块，用于将非匹配点对的实际匹配值设置为预设数值。
区别于前述实施例，若干组点对包括至少一组所包含的图像点和地图点之间不匹配的非匹配点对，并区别于匹配点对，将非匹配点对的实际匹配值设置预设数值，从而能够有利于提高匹配预测模型的鲁棒性。
在一些实施例中，点对获取子模块包括图像点划分单元，用于将样本图像中的图像点划分为第一图像点和第二图像点，其中，第一图像点在地图数据中存在与其匹配的地图点，第二图像点在地图数据中不存在与其匹配的地图点，点对获取子模块包括第一点对获取单元，用于对于每一第一图像点，从地图数据中分配若干第一地图点，并分别将第一图像点与每一第一地图点作为一第一点对，其中，第一地图点中包含与第一图像点匹配的地图点，点对获取子模块包括第二点对获取单元，用于对于每一第二图像点，从地图数据中分配若干第二地图点，并分别将第二图像点与每一第二地图点作为一第二点对，点对获取子模块包括点对抽取单元，用于从第一点对和第二点对中抽取得到若干组点对。
区别于前述实施例，通过将样本图像中的图像点划分为第一图像点和第二图像点，且第一图像点在地图中存在与其匹配的地图点，第二图像点在图像数据中不存在与其匹配的图像点，并对第一图像点，从地图数据中分配若干第一地图点，分别将第一图像点与每一第一地图点作为一第一点对，且第一地图点中包含与第一图像点匹配的地图点，而对于每一第二图像点，从地图数据中分配若干第二地图点，分别将第二图像点与每一第二地图点作为一第二点对，并从第一点对和第二点对中抽取得到若干组点对，从而能够构建得到数量丰富且包含非匹配点对和匹配点对的若干组点对，以用于训练匹配预测模型，故能够有利于提高匹配预测模型的准确性。
在一些实施例中，第一匹配值确定子模块包括位姿计算单元，用于基于匹配点对，计算样本图像的位姿参数，第一匹配值确定子模块包括投影单元，用于利用位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点。
区别于前述实施例，通过利用匹配点对，计算样本图像的位姿参数，并利用位姿参数将地图点投影至样本图像所属的维度中，得到地图点的投影点，从而能够有利于提高投影点与图像点之间差异的准确性，进而能够有利于提高匹配预测模型的准确性。
在一些实施例中，第一匹配值确定子模块包括概率密度转换单元，用于利用预设概率分布函数将差异转换为概率密度值，作为匹配点对的实际匹配值
区别于前述实施例，通过利用预设概率分布函数将差异转换为概率密度值，作为匹配点对的实际匹配值，故能够有利于准确地描述投影点与图像点之间的差异，从而能够有利于提高匹配预测模型的准确性。
在一些实施例中，样本匹配数据为二分图，二分图包括若干组点对和连接每组点对的连接边，且连接边标注有对应点对的实际匹配值；匹配预测模型包括与样本图像所属的维度对应的第一点特征提取子模型、与地图数据所属的维度对应的第二点特征提取子模型以及边特征提取子模型，预测处理模块62包括点特征提取子模块，用于分别利用第一点特征提取子模型和第二点特征提取子模型对二分图进行特征提取，得到第一特征和第二特征，预测处理模块62包括边特征提取子模块，用于利用边特征提取子模型对第一特征和第二特征进行特征提取，得到第三特征，预测处理模块62包括预测子模块，用于利用第三特征，得到连接边对应的点对的预测匹配值。
区别于前述实施例，通过对二分图分别进行点特征抽取以及边特征抽取，从而能够使匹配预测模型更加有效地感知匹配的空间几何结构，进而能够有利于提高匹配预测模型的准确性。
在一些实施例中，第一点特征提取子模型和第二点特征提取子模型的结构为以下任一种：包括至少一个残差块，包括至少一个残差块和至少一个空间变换网络；和/或，边特征提取子模型包括至少一个残差块。
区别于前述实施例，通过将第一点特征提取子模型和第二点特征提取子模型的结构设置为以下任一者：包括至少一个残差块，包括至少一个残差块和至少一个空间变换网络，且将边特征提取子模型设置为包括至少一个残差块，故能够有利于匹配预测模型的优化，并提高匹配预测模型的准确性。
在一些实施例中，若干组点对包括至少一组所包含的图像点和地图点之间匹配的匹配点对和至少一组所包含的图像点和地图点之间不匹配的非匹配点对，损失确定模块63包括第一损失确定子模块，用于利用匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第一损失值，损失确定模块63包括第二损失确定子模块，用于利用非匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第二损失值，损失确定模块63包括损失加权子模块，用于对第一损失值和第二损失值进行加权处理，得到匹配预测模型的损失值。
区别于前述实施例，通过利用匹配点对的预测匹配值和实际匹配值，确定匹配预测模型的第一损失值，并利用非匹配点对的预测匹配值和实际损失值，确定匹配预测模型的第二损失值，从而对第一损失值和第二损失值进行加权处理，得到匹配预测模型的损失值，故能够有利于使匹配预测模型有效感知匹配的空间几何结构，从而提高匹配预测模型的准确性。
在一些实施例中，损失确定模块63还包括数量统计子模块，用于分别统计匹配点对的第一数量，以及非匹配点对的第二数量，第一损失确定子模块具体用于利用匹配点对的预测匹配值和实际匹配值之间的差值，以及第一数量，确定第一损失值，第二损失确定子模块具体用于利用非匹配点对的预测匹配值和实际匹配值之间的差值，以及第二数量，确定第二损失值。
区别于前述实施例，通过统计匹配点对的第一数量，以及非匹配点对的第二数量，从而利用匹配点对的预测匹配值和实际匹配值之间的差值，以及第一数量，确定第一损失值，并利用非匹配点对的预测匹配值和实际匹配值之间的差异，以及第二数量，确定第二损失值，能够有利于提高匹配预测模型的损失值的准确性，从而能够有利于提高匹配预测模型的准确性。
在一些实施例中，样本图像所属的维度为2维或3维，地图数据所属的维度为2维或3维。
区别于前述实施例，通过设置样本图像和地图数据所属的维度，能够训练得到用于2维-2维的匹配预测模型，或者能够训练得到用于2维-3维的匹配预测模型，或者能够训练得到用于3维-3维的匹配预测模型，从而能够提高匹配预测模型的适用范围。
请参阅图7，图7是本申请视觉定位装置70一实施例的框架示意图。视觉定位装置70包括数据构建模块71、预测处理模块72和参数确定模块73，数据构建模块71用于利用待定位图像和地图数据，构建待识别匹配数据，其中，待识别匹配数据包括若干组点对，每组点对的两个点分别来自待定位图像和地图数据；预测处理模块72用于利用匹配预测模型对若干组点对进行预测处理，得到点对的预测匹配值；参数确定模块73用于基于点对的预测匹配值，确定待定位图像的摄像器件的位姿参数。
上述方案，能够利用匹配预测模型建立匹配关系，从而能够在视觉定位中利用匹配预测模型预测点对之间的匹配值而建立匹配关系，能够有利于提高视觉定位的准确性和即时性。
在一些实施例中，参数确定模块73包括点对排序子模块，用于将若干组点对按照预测匹配值从高到低的顺序进行排序，参数确定模块73还包括参数确定子模块，用于利用前预设数量组点对，确定待定位图像的摄像器件的位姿参数。
区别于前述实施例，通过将若干组点对按照预测匹配值从高到低的顺序进行排序，并利用前预设数量组点对，确定待定位图像的摄像器件的位姿参数，从而能够有利于利用排序后的点对进行增量式采样，优先采样匹配值高的点对，故能够通过几何先验引导位姿参数的求解，从而能够提高视觉定位的准确性和即时性。
在一些实施例中，匹配预测模型是利用上述任一匹配预测模型的训练装置实施例中的匹配预测模型的训练装置训练得到的。
区别于前述实施例，通过上述任一匹配预测模型的训练装置实施例中的匹配预测模型的训练装置得到的匹配预测模型进行视觉定位，能够提高视觉定位的准确性和即时性。
请参阅图8，图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一匹配预测模型的训练方法实施例中的步骤，或实现上述任一视觉定位方法实施例中的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：手机、匹配电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一匹配预测模型的训练方法实施例中的步骤，或实现上述任一视觉定位方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
上述方案，能够利用匹配预测模型建立匹配关系，从而能够在视觉定位中利用匹配预测模型预测点对之间的匹配值，因而能够基于预测得到的匹配值优先采样高匹配值的点对，进而能够有利于提高视觉定位的准确性和即时性。
请参阅图9，图9为本申请计算机可读存储介质90一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一匹配预测模型的训练方法实施例中的步骤，或实现上述任一视觉定位方法实施例中的步骤。
上述方案，能够利用匹配预测模型建立匹配关系，从而能够在视觉定位中利用匹配预测模型预测点对之间的匹配值，因而能够基于预测得到的匹配值优先采样高匹配值的点对，进而能够有利于提高视觉定位的准确性和即时性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

1.一种匹配预测模型的训练方法，其特征在于，包括：
利用样本图像和地图数据，构建样本匹配数据，其中，所述样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自所述样本图像和所述地图数据；
利用匹配预测模型对所述若干组点对进行预测处理，得到所述点对的预测匹配值；
利用所述实际匹配值和所述预测匹配值，确定所述匹配预测模型的损失值；
利用所述损失值，调整所述匹配预测模型的参数。
2.根据权利要求1所述的训练方法，其特征在于，所述利用样本图像和地图数据，构建样本匹配数据包括：
从所述样本图像中获取若干图像点，以及从所述地图数据中获取若干地图点，以组成若干组点对；其中，所述若干组点对包括至少一组所包含的图像点和地图点之间匹配的匹配点对；
对于每组所述匹配点对：利用所述样本图像的位姿参数将所述地图点投影至所述样本图像所属的维度中，得到所述地图点的投影点；并基于所述图像点和所述投影点之间的差异，确定所述匹配点对的实际匹配值。
3.根据权利要求2所述的训练方法，其特征在于，所述若干组点对包括至少一组所包含的图像点和地图点之间不匹配的非匹配点对，所述利用样本图像和地图数据，构建样本匹配数据还包括：
将所述非匹配点对的实际匹配值设置为预设数值。
4.根据权利要求2或3所述的训练方法，其特征在于，所述从所述样本图像中获取若干图像点，以及从所述地图数据中获取若干地图点，以组成若干组点对，包括：
将所述样本图像中的图像点划分为第一图像点和第二图像点，其中，所述第一图像点在所述地图数据中存在与其匹配的所述地图点，所述第二图像点在所述地图数据中不存在与其匹配的所述地图点；
对于每一所述第一图像点，从所述地图数据中分配若干第一地图点，并分别将所述第一图像点与每一所述第一地图点作为一第一点对，其中，所述第一地图点中包含与所述第一图像点匹配的所述地图点；以及，
对于每一所述第二图像点，从所述地图数据中分配若干第二地图点，并分别将所述第二图像点与每一所述第二地图点作为一第二点对；
从所述第一点对和所述第二点对中抽取得到若干组点对。
5.根据权利要求2至4任一项所述的训练方法，其特征在于，所述利用所述样本图像的位姿参数将所述地图点投影至所述样本图像所属的维度中，得到所述地图点的投影点包括：
基于所述匹配点对，计算所述样本图像的位姿参数；
利用所述位姿参数将所述地图点投影至所述样本图像所属的维度中，得到所述地图点的投影点；
和/或，所述基于所述图像点和所述投影点之间的差异，确定所述匹配点对的实际匹配值包括：
利用预设概率分布函数将所述差异转换为概率密度值，作为所述匹配点对的实际匹配值。
6.根据权利要求1至5任一项所述的训练方法，其特征在于，所述样本匹配数据为二分图，所述二分图包括若干组点对和连接每组点对的连接边，且所述连接边标注有对应所述点对的实际匹配值；所述匹配预测模型包括与所述样本图像所属的维度对应的第一点特征提取子模型、与所述地图数据所属的维度对应的第二点特征提取子模型以及边特征提取子模型；
所述利用匹配预测模型对所述若干组点对进行预测处理，得到所述点对的预测匹配值包括：
分别利用所述第一点特征提取子模型和所述第二点特征提取子模型对所述二分图进行特征提取，得到第一特征和第二特征；
利用所述边特征提取子模型对所述第一特征和所述第二特征进行特征提取，得到第三特征；
利用所述第三特征，得到所述连接边对应的点对的预测匹配值。
7.根据权利要求6所述的训练方法，其特征在于，所述第一点特征提取子模型和所述第二点特征提取子模型的结构为以下任一种：包括至少一个残差块，包括至少一个残差块和至少一个空间变换网络；
和/或，所述边特征提取子模型包括至少一个残差块。
8.根据权利要求1至7任一项所述的训练方法，其特征在于，所述若干组点对包括至少一组所包含的图像点和地图点之间匹配的匹配点对和至少一组所包含的图像点和地图点之间不匹配的非匹配点对；
所述利用所述实际匹配值和所述预测匹配值，确定所述匹配预测模型的损失值包括：
利用所述匹配点对的所述预测匹配值和所述实际匹配值，确定所述匹配预测模型的第一损失值；
并利用所述非匹配点对的所述预测匹配值和所述实际匹配值，确定所述匹配预测模型的第二损失值；
对所述第一损失值和所述第二损失值进行加权处理，得到所述匹配预测模型的损失值。
9.根据权利要求8所述的训练方法，其特征在于，所述利用所述匹配点对的所述预测匹配值和所述实际匹配值，确定所述匹配预测模型的第一损失值之前，所述方法还包括：
分别统计所述匹配点对的第一数量，以及所述非匹配点对的第二数量；
所述利用所述匹配点对的所述预测匹配值和所述实际匹配值，确定所述匹配预测模型的第一损失值包括：
利用所述匹配点对的所述预测匹配值和所述实际匹配值之间的差值，以及所述第一数量，确定所述第一损失值；
所述利用所述非匹配点对的所述预测匹配值和所述实际匹配值，确定所述匹配预测模型的第二损失值包括：
利用所述非匹配点对的所述预测匹配值和所述实际匹配值之间的差值，以及所述第二数量，确定所述第二损失值。
10.根据权利要求1至9任一项所述的训练方法，其特征在于，所述样本图像所属的维度为2维或3维，所述地图数据所属的维度为2维或3维。
11.一种视觉定位方法，其特征在于，包括：
利用待定位图像和地图数据，构建待识别匹配数据，其中，所述待识别匹配数据包括若干组点对，每组点对的两个点分别来自所述待定位图像和所述地图数据；
利用匹配预测模型对所述若干组点对进行预测处理，得到所述点对的预测匹配值；
基于所述点对的预测匹配值，确定所述待定位图像的摄像器件的位姿参数。
12.根据权利要求11所述的视觉定位方法，其特征在于，所述基于所述点对的预测匹配值，确定所述待定位图像的摄像器件的位姿参数，包括：
将所述若干组点对按照所述预测匹配值从高到低的顺序进行排序；
利用前预设数量组所述点对，确定所述待定位图像的摄像器件的位姿参数。
13.根据权利要求11或12所述的视觉定位方法，其特征在于，所述匹配预测模型是利用权利要求1至10任一项所述的匹配预测模型的训练方法得到的。
14.一种匹配预测模型的训练装置，其特征在于，包括：
样本构建模块，用于利用样本图像和地图数据，构建样本匹配数据，其中，所述样本匹配数据包括若干组点对以及每组点对的实际匹配值，每组点对的两个点分别来自所述样本图像和所述地图数据；
预测处理模块，用于利用匹配预测模型对所述若干组点对进行预测处理，得到所述点对的预测匹配值；
损失确定模块，用于利用所述实际匹配值和所述预测匹配值，确定所述匹配预测模型的损失值；
参数调整模块，用于利用所述损失值，调整所述匹配预测模型的参数。
15.一种视觉定位装置，其特征在于，包括：
数据构建模块，用于利用待定位图像和地图数据，构建待识别匹配数据，其中，所述待识别匹配数据包括若干组点对，每组点对的两个点分别来自所述待定位图像和所述地图数据；
预测处理模块，用于利用匹配预测模型对所述若干组点对进行预测处理，得到所述点对的预测匹配值；
参数确定模块，用于基于所述点对的预测匹配值，确定所述待定位图像的摄像器件的位姿参数。
16.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至10任一项所述的匹配预测模型的训练方法，或权利要求11至13任一项所述的视觉定位方法。
17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至10任一项所述的匹配预测模型的训练方法，或权利要求11至13任一项所述的视觉定位方法。
CN202011110569.5A 2020-10-16 2020-10-16 视觉定位方法及相关模型的训练方法及相关装置、设备 Active CN112328715B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011110569.5A CN112328715B (zh) 2020-10-16 2020-10-16 视觉定位方法及相关模型的训练方法及相关装置、设备
JP2021578181A JP7280393B2 (ja) 2020-10-16 2021-03-22 視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器
KR1020227003201A KR20220051162A (ko) 2020-10-16 2021-03-22 시각적 포지셔닝 방법, 관련 모델의 훈련 방법 및 관련 장치, 기기
PCT/CN2021/082198 WO2022077863A1 (zh) 2020-10-16 2021-03-22 视觉定位方法及相关模型的训练方法及相关装置、设备
TW110132126A TW202217662A (zh) 2020-10-16 2021-08-30 視覺定位方法及相關模型的訓練方法、電子設備和電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011110569.5A CN112328715B (zh) 2020-10-16 2020-10-16 视觉定位方法及相关模型的训练方法及相关装置、设备

Publications (2)

Publication Number Publication Date
CN112328715A true CN112328715A (zh) 2021-02-05
CN112328715B CN112328715B (zh) 2022-06-03

Family

ID=74313967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011110569.5A Active CN112328715B (zh) 2020-10-16 2020-10-16 视觉定位方法及相关模型的训练方法及相关装置、设备

Country Status (5)

Country Link
JP (1) JP7280393B2 (zh)
KR (1) KR20220051162A (zh)
CN (1) CN112328715B (zh)
TW (1) TW202217662A (zh)
WO (1) WO2022077863A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240656A (zh) * 2021-05-24 2021-08-10 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备
CN113822916A (zh) * 2021-08-17 2021-12-21 北京大学 图像匹配方法、装置、设备及可读存储介质
WO2022077863A1 (zh) * 2020-10-16 2022-04-21 浙江商汤科技开发有限公司 视觉定位方法及相关模型的训练方法及相关装置、设备
WO2023097491A1 (zh) * 2021-11-30 2023-06-08 宁德时代新能源科技股份有限公司 机器视觉检测方法、其检测装置及其检测系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998600B (zh) * 2022-06-17 2023-07-25 北京百度网讯科技有限公司 图像处理方法、模型的训练方法、装置、设备及介质
CN117351306B (zh) * 2023-12-04 2024-03-22 齐鲁空天信息研究院 三维点云投影位姿求解器训练方法、确定方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
US20160209846A1 (en) * 2015-01-19 2016-07-21 The Regents Of The University Of Michigan Visual Localization Within LIDAR Maps
US20180005393A1 (en) * 2016-06-30 2018-01-04 Daqri, Llc Deep Image Localization
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN109658445A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 网络训练方法、增量建图方法、定位方法、装置及设备
CN110095752A (zh) * 2019-05-07 2019-08-06 百度在线网络技术（北京）有限公司 定位方法、装置、设备和介质
CN110473259A (zh) * 2019-07-31 2019-11-19 深圳市商汤科技有限公司 位姿确定方法及装置、电子设备和存储介质
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111508019A (zh) * 2020-03-11 2020-08-07 上海商汤智能科技有限公司 目标检测方法及其模型的训练方法及相关装置、设备
CN111538855A (zh) * 2020-04-29 2020-08-14 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN111627065A (zh) * 2020-05-15 2020-09-04 Oppo广东移动通信有限公司 一种视觉定位方法及装置、存储介质
CN111652929A (zh) * 2020-06-03 2020-09-11 全球能源互联网研究院有限公司 一种视觉特征的识别定位方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI356355B (en) * 2007-12-03 2012-01-11 Inst Information Industry Motion transition method and system for dynamic im
CN110009722A (zh) 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 三维重建方法及装置
CN110274598B (zh) * 2019-06-24 2023-03-24 西安工业大学 一种机器人单目视觉鲁棒定位估计方法
CN111414968B (zh) 2020-03-26 2022-05-03 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN111476251A (zh) 2020-03-26 2020-07-31 中国人民解放军战略支援部队信息工程大学 一种遥感影像匹配方法及装置
CN111627050B (zh) 2020-07-27 2020-12-01 杭州雄迈集成电路技术股份有限公司 一种目标跟踪模型的训练方法和装置
CN112328715B (zh) * 2020-10-16 2022-06-03 浙江商汤科技开发有限公司 视觉定位方法及相关模型的训练方法及相关装置、设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
US20160209846A1 (en) * 2015-01-19 2016-07-21 The Regents Of The University Of Michigan Visual Localization Within LIDAR Maps
US20180005393A1 (en) * 2016-06-30 2018-01-04 Daqri, Llc Deep Image Localization
CN107967457A (zh) * 2017-11-27 2018-04-27 全球能源互联网研究院有限公司 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN109658445A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 网络训练方法、增量建图方法、定位方法、装置及设备
CN110095752A (zh) * 2019-05-07 2019-08-06 百度在线网络技术（北京）有限公司 定位方法、装置、设备和介质
CN110473259A (zh) * 2019-07-31 2019-11-19 深圳市商汤科技有限公司 位姿确定方法及装置、电子设备和存储介质
CN111260726A (zh) * 2020-02-07 2020-06-09 北京三快在线科技有限公司 一种视觉定位方法及装置
CN111508019A (zh) * 2020-03-11 2020-08-07 上海商汤智能科技有限公司 目标检测方法及其模型的训练方法及相关装置、设备
CN111538855A (zh) * 2020-04-29 2020-08-14 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN111627065A (zh) * 2020-05-15 2020-09-04 Oppo广东移动通信有限公司 一种视觉定位方法及装置、存储介质
CN111652929A (zh) * 2020-06-03 2020-09-11 全球能源互联网研究院有限公司 一种视觉特征的识别定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHICHAO YE GUOFENG ZHANG HUJUN BAO: "Efficient Covisibility-based Image Matching for Large-Scale SfM", 《IEEE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077863A1 (zh) * 2020-10-16 2022-04-21 浙江商汤科技开发有限公司 视觉定位方法及相关模型的训练方法及相关装置、设备
CN113240656A (zh) * 2021-05-24 2021-08-10 浙江商汤科技开发有限公司 视觉定位方法及相关装置、设备
CN113822916A (zh) * 2021-08-17 2021-12-21 北京大学 图像匹配方法、装置、设备及可读存储介质
CN113822916B (zh) * 2021-08-17 2023-09-15 北京大学 图像匹配方法、装置、设备及可读存储介质
WO2023097491A1 (zh) * 2021-11-30 2023-06-08 宁德时代新能源科技股份有限公司 机器视觉检测方法、其检测装置及其检测系统

Also Published As

Publication number Publication date
TW202217662A (zh) 2022-05-01
JP7280393B2 (ja) 2023-05-23
KR20220051162A (ko) 2022-04-26
JP2023502819A (ja) 2023-01-26
CN112328715B (zh) 2022-06-03
WO2022077863A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN112328715B (zh) 视觉定位方法及相关模型的训练方法及相关装置、设备
CN111627065B (zh) 一种视觉定位方法及装置、存储介质
CN112633350B (zh) 一种基于图卷积的多尺度点云分类实现方法
CN111291768B (zh) 图像特征匹配方法及装置、设备、存储介质
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN110276768B (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN112435193B (zh) 一种点云数据去噪的方法、装置、存储介质和电子设备
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
CN110838122A (zh) 点云的分割方法、装置及计算机存储介质
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113298870A (zh) 一种物体的姿态跟踪方法、装置、终端设备和存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN113177592A (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN109857895B (zh) 基于多环路视图卷积神经网络的立体视觉检索方法与系统
CN111382791A (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN111104965A (zh) 车辆目标识别的方法及装置
CN115457202B (zh) 一种三维模型更新的方法、装置及存储介质
CN116309643A (zh) 人脸遮挡分确定方法、电子设备及介质
CN116912486A (zh) 基于边缘卷积和多维特征融合的目标分割方法、电子装置
CN114820755A (zh) 一种深度图估计方法及系统
CN113971737A (zh) 用于机器人的物体识别方法、电子设备、介质和程序产品
CN108898636B (zh) 一种基于改进pso的相机一维标定方法
CN111967579A (zh) 使用卷积神经网络对图像进行卷积计算的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037267

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant