CN115512124A - 一种重定位帧的确定方法、装置、车辆及存储介质 - Google Patents

一种重定位帧的确定方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN115512124A
CN115512124A CN202211288217.8A CN202211288217A CN115512124A CN 115512124 A CN115512124 A CN 115512124A CN 202211288217 A CN202211288217 A CN 202211288217A CN 115512124 A CN115512124 A CN 115512124A
Authority
CN
China
Prior art keywords
map
determining
key frame
current
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211288217.8A
Other languages
English (en)
Inventor
陈江秋
傅文标
林宝尉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Ecarx Hubei Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecarx Hubei Tech Co Ltd filed Critical Ecarx Hubei Tech Co Ltd
Priority to CN202211288217.8A priority Critical patent/CN115512124A/zh
Publication of CN115512124A publication Critical patent/CN115512124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种重定位帧的确定方法、装置、车辆及存储介质。该方法包括：获取特征地图；确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵；根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识；基于所述重定位标识，在所述特征地图中确定目标重定位帧。本发明实施例的技术方案，建立的特征地图占用的内存资源更小，解决了在语义地图的全局范围内查找重定位帧消耗极大的计算资源的问题，适用于场景相似度高且通讯信号较差的场景，提高了重定位帧的准确性和鲁棒性。

Description

一种重定位帧的确定方法、装置、车辆及存储介质
技术领域
本发明涉及车辆定位技术领域，尤其涉及一种重定位帧的确定方法、装置、车辆及存储介质。
背景技术
视觉特征建图是室内自动驾驶等机器人应用技术的基础与核心技术之一，为机器人视觉重定位的特征匹配提供有效的先验信息。按照特征种类分类，图像特征可分为两类，分别是局部图像特征与全局图像特征。
目前，主要有两种重定位技术。一种是基于几何关系的重定位，即对已知位置的参考设备测距或测角，再通过几何关系计算机器人的位姿。另外一种是基于特征地图的重定位，是将当前的观测特征与预先建好的特征地图进行匹配来计算机器人的位姿。
然而，基于特征地图的高精度定位需要当前观测到的初始位置与语义地图做匹配，在语义地图的全局范围内查找初始地图帧(即重定位帧)通常会消耗极大的计算资源，对于场景相似度高且通讯信号较差的室内场景，如地下停车库，常规方法确定出的初始地图帧的准确性和鲁棒性较差。
发明内容
本发明提供了一种重定位帧的确定方法、装置、车辆及存储介质，以解决确定的初始地图帧的准确性和鲁棒性较差的问题。
第一方面，本发明实施例提供了一种重定位帧的确定方法，包括：
获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征；
确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征；
根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置；
基于所述重定位标识，在所述特征地图中确定目标重定位帧。
第二方面，本发明实施例提供了一种重定位帧的确定装置，包括：
特征地图获取模块，用于获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征；
差异度矩阵确定模块，用于确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征；
重定位标识确定模块，用于根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置；
重定位帧确定模块，用于基于所述重定位标识，在所述特征地图中确定目标重定位帧。
第三方面，本发明实施例提供了一种车辆，该车辆包括：
至少一个处理器；
以及与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面的重定位帧的确定方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现上述第一方面的重定位帧的确定方法。
本发明实施例提供的重定位帧的确定方案，获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征，确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征，根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置，基于所述重定位标识，在所述特征地图中确定目标重定位帧。通过采用上述技术方案，获取特征地图并确定当前图像的图像关键帧，根据特征地图和该图像关键帧的全局特征，确定当前差异度矩阵，然后利用预设动态规划算法，根据当前差异度矩阵确定出重定位标识，最后根据该重定位标识在特征地图中确定目标重定位帧，本方案中建立的由地图关键帧组成的特征地图，占用的内存资源更小，解决了在语义地图的全局范围内查找初始地图帧(即重定位帧)消耗极大的计算资源的问题，适用于场景相似度高且通讯信号较差的场景，提高了重定位帧的准确性和鲁棒性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种重定位帧的确定方法的流程图；
图2是根据本发明实施例二提供的一种重定位帧的确定方法的流程图；
图3是根据本发明实施例二提供的一种全局特征图；
图4是根据本发明实施例二提供的一种差异度矩阵的可视化示意图；
图5是根据本发明实施例二提供的一种基于动态规划算法确定的最优路径示意图；
图6是根据本发明实施例三提供的一种重定位帧的确定装置的结构示意图；
图7是根据本发明实施例四提供的一种车辆的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/
或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品、车辆或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种重定位帧的确定方法的流程图，本实施例可适用于重定位时，为语义地图确定重定位帧的情况，该方法可以由重定位帧的确定装置来执行，该重定位帧的确定装置可以采用硬件和/或软件的形式实现，该重定位帧的确定装置可配置于车辆中，该车辆可以是两个或多个物理实体构成，也可以是一个物理实体构成。
如图1所示，该本发明实施例一提供的一种重定位帧的确定方法，具体包括如下步骤：
S101、获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征。
在本实施例中，可以预先建立特征地图，当需要该特征地图时，如需要确定重定位帧时，可以从设定的存储区加载该预先建立的特征地图。在建立特征地图之前，通常需要先定义坐标系，该坐标系可以包括世界坐标系和车体坐标系，世界坐标系可以采用笛卡尔坐标系，并设定世界坐标系中原点位置，车体坐标系的原点位置可以为车辆的预设位置，如车辆的后轴中心。地图关键帧可以理解为，利用预设录像设备获取的图像帧中，满足第一预设要求的图像帧即为地图关键帧，第一预设要求可以为对地图图像的图像帧之间时间间隔或图像帧之间对应的位置间隔的要求等。局部图像特征，即局部特征，通常指的是图像特征的局部表达，一般为图像局部的极值等。全局图像特征，即全局特征，通常是指整幅图像上的特征，其包括纹理颜色和形状特征等。
具体的，定位技术可以分为几何定位、航位推算与特征地图定位等。几何定位可以提供绝对定位信息，常见的几何定位技术包括，GNSS(Global Navigation SatelliteSystem，全球卫星导航系统)、蓝牙通讯技术、5G(5th Generation Mobile CommunicationTechnology，第五代移动通信技术)以及UWB(Ultra Wide Band，超宽带)通讯技术等技术。GNSS在自动驾驶行业中应用最为广泛，它可以为高精地图，如语义地图，提供初始位置，GNSS与RTK(Real-time kinematic，实时动态)载波相位差分技术，还可以提供观测值来进行融合定位。航位推算可以理解为，利用IMU(Inertial Measurement Unit，惯性测量单元)与轮速传感器等，根据上一时刻的位置对下一时刻的位姿进行预测的技术。然而，随着相对运动的进行，航位推算出的位姿的误差会不断的增大。特征地图定位需要将当前观测到的图像特征与预先建好的特征地图进行匹配。然而，图像特征的数量、质量和区分度等会直接影响特征地图定位的精度与召回率，当场景等外界因素影响特征观测时，特征地图定位的精度和稳定性将下降。
具体的，重定位可以理解为，在无位姿先验信息的情况下，在特征地图的全局范围内，进行特征匹配与位姿获取的过程，重定位通常是定位的一部分。现今，主要有两种重定位技术，一种为基于几何关系的几何重定位，该项技术对已知位置的参考设备进行测距或测角，再通过几何关系计算目标物体的位姿，常见技术包括GPS技术(Global PositioningSystem，全球定位系统)和RTK载波相位差分技术等，另外一种为基于特征地图的重定位，该项技术将当前的观测特征与预先建好的特征地图进行匹配，来计算目标物体的位姿。重定位在室外环境下，通常使用几何重定位，如GNSS，来进行地图匹配初始化，但是GNSS在高架桥下等室外环境下，会存在信号差等情况，GNSS在室内环境下通常无信号，因此GNSS在信号较差的场景下，无法用其来进行地图匹配初始化。此外，当语义地图特征较少，或因DR(Deadreckoning，航位推算)的相关传感器暂时性功能障碍导致定位位姿协方差过大时，定位结果通常不可信，因此需要重定位来重新进行地图匹配初始化。
S102、确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征。
在本实施例中，可以利用地图关键帧的确定方法，来确定当前图像的图像关键帧，然后可以根据图像关键帧的全局特征和地图关键帧的全局特征，确定出二者的差异程度，即差异度，其表现形式可以为由差异度组成的差异度矩阵。其中，图像关键帧与地图关键帧的确定方法可以相同，也可以不同，当前图像可以理解为，利用预设录像设备获取的当前的实时图像，当前图像的图像关键帧可以理解为，利用预设录像设备获取当前的实时图像帧中，满足第二预设要求的图像帧即为当前图像的图像关键帧，第二预设要求可以为对当前图像的图像帧之间时间间隔或图像帧之间对应的位置间隔的要求等，当前差异度矩阵可以为多维矩阵。其中，地图关键帧的第一预设要求和该第二预设要求可以相同，也可以不同。
S103、根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置。
在本实施例中，可以利用预设动态规划算法，确定出当前差异度矩阵中每列或每行的差异度中最小差异度的位置，即确定出特征地图中与图像关键帧差异度最小的地图关键帧，也可以理解为特征地图中与图像关键帧相似度最高的地图关键帧，重定位标识可以用来表示，与图像关键帧相似度最高的地图关键帧中，满足预设位置要求的地图关键帧的位置，其中，预设位置要求可以为，与当前图像的图像关键帧差异度最小的地图关键帧。
S104、基于所述重定位标识，在所述特征地图中确定目标重定位帧。
在本实施例中，根据上述步骤确定出的重定位标识，可以在当前差异度矩阵中确定出目标重定位帧，根据该目标重定位帧中的全局位姿，即可计算出车辆的初始位置，并与语义地图进行匹配，从而实现车辆的重定位。其中，全局位姿可以理解为，全局特征在世界坐标系与车体坐标系之间的转换关系，位姿的变化可以包含平移和旋转两个过程。
本发明实施例提供的重定位帧的确定方法，获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征，确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征，根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置，基于所述重定位标识，在所述特征地图中确定目标重定位帧。本发明实施例技术方案，获取特征地图并确定当前图像的图像关键帧，根据特征地图和该图像关键帧的全局特征，确定当前差异度矩阵，然后利用预设动态规划算法，根据当前差异度矩阵确定出重定位标识，最后根据该重定位标识在特征地图中确定目标重定位帧，本方法中建立的由地图关键帧组成的特征地图，占用的内存资源更小，解决了在语义地图的全局范围内查找初始地图帧(即重定位帧)消耗极大的计算资源的问题，适用于场景相似度高且通讯信号较差的场景，提高了重定位帧的准确性和鲁棒性。
实施例二
图2为本发明实施例二提供的一种重定位帧的确定方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化，给出了确定重定位帧的具体方式。
可选的，所述根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵，包括：根据所述图像关键帧的全局特征中像素的光照强度和所述地图关键帧的全局特征中像素的光照强度的差值，确定全局特征差异度；确定所述全局特征差异度与预设全局特征的像素数量的比值，以得到差异度向量，其中，所述预设全局特征包括所述图像关键帧的全局特征或所述地图关键帧的全局特征；根据更新前的差异度矩阵的预设参数是否大于预设参数阈值，以及所述差异度向量，确定更新后的当前差异度矩阵，其中，所述预设参数包括所述差异度矩阵的行数和/或列数。这样设置的好处在于，根据图像关键帧的全局特征中像素的光照强度和地图关键帧的全局特征中像素的光照强度，确定出的差异度向量为时序数据，从而即使在实时变化以及相似度高的场景中，根据当前差异度矩阵确定出的序列图匹配结果依然具有较强的鲁棒性。
可选的，所述根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，包括：利用预设动态规划算法，遍历所述当前差异度矩阵的差异度，确定所述当前差异度矩阵的第一预设位置、与所述当前差异度矩阵的维数对应的预设矩阵、以及在所述预设矩阵中与所述第一预设位置对应的第二预设位置，其中，所述第一预设位置包括所述当前差异度矩阵中，第一预设方向上的最小差异度所在的位置，所述第一预设方向包括每行方向或每列方向，所述预设位置包括行位置和列位置，所述预设矩阵中的值基于所述差异度的和值确定；将所述第二预设位置中最后一列对应的行位置，或最后一行对应的列位置，确定为重定位标识，其中，所述重定位标识对应的第二预设位置上的值基于所述第一预设位置上差异度的和值确定。这样设置的好处在于，相比常规的线性搜索，利用预设动态规划算法，在当前差异度矩阵中可以动态的规划第一预设位置的搜索路径，从而提高了重定位标识的准确性，即与图像关键帧相似度最高的地图关键帧的准确性。
可选的，所述基于所述重定位标识，在所述特征地图中确定目标重定位帧，包括：确定所述重定位标识的置信度，根据所述置信度确定序列图匹配结果；基于所述序列图匹配结果，对所述重定位标识对应的初始重定位帧的局部特征进行校验，并根据校验结果，在所述特征地图中确定目标重定位帧。这样设置的好处在于，通过对重定位标识对应的序列图匹配结果的校验，可以提高目标重定位帧的准确性。
如图2所示，本发明实施例二提供的一种重定位帧的确定方法，具体包括如下步骤：
S201、获取特征地图。
其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征。
具体的，局部特征之间相关性小，在遮挡情况下，不会因为部分局部特征的消失而影响其他局部特征的检测与匹配。一些优秀的局部特征，如利用SIFT(Scale-invariantfeature transform，尺度不变特征变换)或SURF算法(Speed-up robust features，增速鲁棒特征)得到的局部特征，具有检测重复率高，以及特征描述子具有旋转、光照、尺度不变性等优点。然而，现今量产的自动驾驶系统的计算与存储资源有限，上述具有旋转、光照、尺度不变性的特征提取算法，在CPU(Central Processing Unit，中央处理器)中占用大量计算存储资源。虽然一些局部特征，如在高斯空间下提取的ORB(Oriented FAST and RotatedBRIEF，定向的加速分段测试特征和旋转的二元鲁棒独立基本特征)，在一定程度上解决了尺度不变性的问题，旋转BRIREF(Binary Robust Independent Elementary Features，二元鲁棒独立基本特征)描述子也在一定程度上，解决了旋转不变性的问题，但是基于ORB特征的特征地图在光照变化明显、视角变化大以及环境极其相似的场景中，如地下车库中，重定位的效果并不好。除此之外，通常基于局部特征的重定位，还需预先训练一个词袋模型，该词袋模型需要将图像的局部特征，聚合成为图像的全局特征，然后再利用该全局特征在特征地图上进行检索，从而得到重定位帧，并通过特征地图的图像帧间三维空间(3D)与二维空间(2D)的几何关系，计算机器人当前的位姿。然而，这种方法需要加载预训过的词袋模型，大量的占用了存储资源，并且不同的应用场景下，需要训练对应的不同的词袋模型，而且基于单目相机的3D-2D几何关系的计算，即相对位姿的计算，是没有尺度的，从而很难在线对利用单目相机获取的特征地图，进行尺度的对齐以及重定位。
具体的，全局特征通常为像素级别的低层可视特征，全局特征中的像素之间，一般具有几何相关性，故全局特征在环境变化的情况下，仍然具有良好的环境变化不变性。全局特征还具有表达直观以及计算简易等特点。
可选的，所述特征地图的更新方式包括：
1)根据地图图像的当前帧的位置相对于前一地图关键帧的位置的偏移距离是否大于预设距离阈值，确定地图图像的当前关键帧，其中，所述位置基于车辆所在的世界坐标系确定。
具体的，可以利用预设录像设备，如前视鱼眼相机，获取地图图像，可以把预设录像设备和车体看为一个整体，计算地图图像的当前帧在上文所述的世界坐标系的位置，与前一地图关键帧在世界坐标系的位置之间的差值，即为偏移距离，若偏移距离大于或等于预设距离阈值，如9米，则可确定地图图像的当前帧为当前关键帧，若偏移距离小于预设距离阈值，则可确定当前帧不是当前关键帧，并继续获取地图图像的帧图像。其中，前视鱼目相机作为地图图像的输入设备，相比于单目相机，增加了空间几何信息，从而可以提高计算场景间差异度时的精度和准确率，以及关键帧的召回率，特征地图中的地图关键帧通常被存在预设缓存中。
2)基于所述当前关键帧的第一时间戳，从预设位姿缓存库中，确定地图关键帧的相邻全局位姿估计，并利用预设线性插值算法，对所述相邻全局位姿估计进行插值处理，得到所述当前关键帧的全局位姿，其中，关键帧包含表示时间信息的第一时间戳，所述相邻全局位姿估计包括时间上最接近所述第一时间戳的至少两个全局位姿估计，所述预设位姿缓存库包含至少两个所述全局位姿估计，所述全局位姿估计包含表示时间信息的第二时间戳。
具体的，关键帧、全局位姿估计以及全局位姿中均可包含表示时间信息的时间戳，一般情况下图像的采集频率会小于航位推算的频率，从而导致当前关键帧的第一时间戳与全局位姿估计的第二时间戳存在无法对齐的情况，因此可以从预设位姿缓存库中，获取与当前关键帧的第一时间戳的接近时间对应的至少两个全局位姿估计，如可以获取先于该第一时间戳且最接近的时间对应的全局位姿估计
Figure BDA0003900229340000091
与迟于该第一时间戳且最接近的时间对应的全局位姿估计
Figure BDA0003900229340000092
这两个全局位姿估计即为相邻全局位姿估计，然后再利用预设线性插值算法，如基于四元数的线性插值算法，对该相邻全局位姿估计进行插值处理，从而计算出当前关键帧的全局位姿，并实现第一时间戳与第二时间戳时间上的对齐。其中，利用预设传感器，如IMU和轮速计等，可进行航位推算，从而得到估算出来的全局位姿，即全局位姿估计，基于IMU和轮速计等传感器航位推算出的全局位姿，与单纯基于视觉航位推算出的全局位姿相比，不但具备尺度信息，还拥有更高的精度，由于全局位姿估计为预测值，故全局位姿估计的确定时间会先于当前关键帧的确定时间，IMU坐标系通常在车辆上，IMU测量到的数据均在IMU坐标系上随车辆做刚体运动，IMU测量到的数据以及航位推算的结果，与车体坐标系均相差一个外参TBI。
示例性的，当前关键帧的全局位姿中的平移量tc的确定方式可以为：
Figure BDA0003900229340000093
其中，
Figure BDA0003900229340000094
表示先于图像关键帧的第一时间戳，且最接近该第一时间戳的时间对应的全局位姿估计，
Figure BDA0003900229340000095
表示迟于图像关键帧的第一时间戳，且最接近该第一时间戳的时间对应的全局位姿估计，scale表示第一系数，其根据图像关键帧的第一时间戳、
Figure BDA0003900229340000096
的第二时间戳以及
Figure BDA0003900229340000097
的第二时间戳确定。
示例性的，当前关键帧的全局位姿中的旋转量qc的确定方式可以为：
Figure BDA0003900229340000098
其中，
Figure BDA0003900229340000099
表示先于图像关键帧的第一时间戳，且最接近该第一时间戳的时间对应的全局位姿估计的旋转量，
Figure BDA00039002293400000910
表示迟于图像关键帧的第一时间戳，且最接近该第一时间戳的时间对应的全局位姿估计的旋转量，scale0表示第二系数，scale1表示第三系数，第二系数和第三系数均根据图像关键帧的第一时间戳、
Figure BDA0003900229340000101
与
Figure BDA0003900229340000102
的夹角确定，第二系数的具体确定方式与第三系数的具体确定方式通常不同。
3)对所述当前关键帧的灰度图像进行缩小化处理，并基于缩小化处理后的灰度图像中像素的光照强度，确定所述当前关键帧的全局特征。
具体的，可以对当前关键帧进行灰度化处理，从而得到当前关键帧的灰度图像，然后利用预设缩小化算法，如兰索斯插值(Lanczos)算法，将该灰度图像缩小为设定尺寸，如64毫米*32毫米，的小图像，并可以将该小图像分割为多个小格，再对每个小格进行快标准化处理，从而得到当前关键帧的全局特征。
示例性的，图3为一种全局特征图，块标准化处理后的小格内每个像素的光照强度
Figure BDA0003900229340000103
的计算方法可以为：
Figure BDA0003900229340000104
其中，I表示小格内每个像素的光照强度值，
Figure BDA0003900229340000105
表示小格内所有像素的光照强度平均值，σk表示小格内所有像素的光照强度的样本偏差，如图3所示，每个小格内都可以包含多个像素。
4)对所述当前关键帧的灰度图像进行缩小化处理，并利用预设模型，对缩小化处理后的灰度图像进行降维映射处理，以得到所述当前关键帧的局部特征。
具体的，可以继续利用上文所述的方法得到缩小化处理后的灰度图像，然后从该缩小化处理后的灰度图像中提取预设数量，如300个，ORB特征点，再利用预先训练好的模型，对ORB特征中的BRIEF描述子进行PCA(Principal Component Analysis，主成分分析)降维映射处理，从而剔除了灰度图像中的冗余信息，保留了有效信息，得到了当前关键帧的局部特征。
5)根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，更新所述特征地图。
具体的，可以利用上文获得的当前关键帧、当前关键帧的全局特征、当前关键帧的全局位姿以及当前关键帧的局部特征，确定一个地图关键帧，可将该地图关键帧插入特征地图中，以完成特征地图的更新。
其中，上述所述的更新特征地图的好处在于，上述特征地图的更新方式，提升了特征地图的确定速度，降低了特征地图所需的储存空间，还保留了环境的结构信息和丰富的语义信息，当车辆面对环境实时变化的场景时，相比于常规的基于特征点确定特征地图的方法，本特征地图的更新方式具有更强的鲁棒性。
进一步的，所述根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，更新所述特征地图，包括：根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，确定初始地图关键帧；对所述初始地图关键帧进行回环检测和回环矫正，得到校验后的地图关键帧；根据所述特征地图中地图关键帧的第一时间戳，将所述校验后的地图关键帧加入特征地图中，以更新所述特征地图。
具体的，可以先整合上文获得的当前关键帧、当前关键帧的全局特征、当前关键帧的全局位姿以及当前关键帧的局部特征，得到初始地图关键帧，然后在特征地图中，对该初始地图关键帧进行回环检测，判断该初始地图关键帧是否在特征地图中出现过，若出现过，可针对特征地图、语义地图与轨迹地图进行回环矫正，将回环矫正后的初始地图关键帧，确定为地图关键帧，最后根据该地图关键帧的第一时间戳和特征地图中已有的地图关键帧的第一时间戳，将校验后的地图关键帧加入至特征地图中合适的位置，如可以按照时间戳显示的时间信息的先后关系来确定插入位置，从而得到更新后的特征地图。其中，若初始地图关键帧没在特征地图中出现过，可不进行回环矫正，并将该初始地图关键帧直接确定为初始地图关键帧，轨迹地图可以根据车辆的行驶轨迹生成。
S202、确定当前图像的图像关键帧，根据所述图像关键帧的全局特征中像素的光照强度和所述地图关键帧的全局特征中像素的光照强度的差值，确定全局特征差异度。
示例性的，可以采用上文所述的确定地图关键帧的方式，确定当前图像的图像关键帧，然后计算图像关键帧和每个地图关键帧的全局特征差异度，全局特征差异度f的确定方式可以为：
Figure BDA0003900229340000111
其中，W表示全局特征图的宽度值，H表示全局特征图的高度值，
Figure BDA0003900229340000112
表示当前图像关键帧的全局特征图在图像坐标系中，位置为(x,y)对应的小格的光照强度值，
Figure BDA0003900229340000113
表示某个地图关键帧的全局特征图在图像坐标系中，位置为(x,y)对应的小格的光照强度值，该计算式可以理解为，统计某个地图关键帧的全局特征中，与图像关键帧的全局特征存在差异的小格的数量。其中，如图3所示，全局特征的表现形式可以为全局特征图。
S203、确定所述全局特征差异度与预设全局特征的像素数量的比值，以得到差异度向量。
其中，所述预设全局特征包括所述图像关键帧的全局特征或所述地图关键帧的全局特征。
示例性的，差异度D的确定方式可以为：
Figure BDA0003900229340000121
其中，WH表示图像关键帧全局特征图的像素数量，或地图关键帧的全局特征图的像素数量，即预设全局特征的像素数量，通常这二者的像素数量相同。利用上述方法可以分别计算出图像关键帧与设定数量的地图关键帧的差异度，从而得到差异度向量：[D1,D2,D3,…,Dt-1,Dt]，Di表示差异度，i＝1,2,…，t，t表示预设数量。通过计算，图像关键帧的全局特征和地图关键帧的全局特征差异度的非零数量，与预设全局特征图的像素数量的比值来计算差异度，统一了差异度的计算标准，与常规差异度计算方法相比，可以不用进行对比度增强的相关操作。
S204、根据更新前的差异度矩阵的预设参数是否大于预设参数阈值，以及所述差异度向量，确定更新后的当前差异度矩阵。
其中，所述预设参数包括所述差异度矩阵的行数和/或列数。
具体的，可以先对更新前的差异度矩阵的预设参数，如行数和/或列数进行判断，当预设参数小于预设参数阈值时，可将上文获得的差异度向量，按照时间的先后顺序，横向或竖向的拼接到更新前的差异度矩阵的尾部，当预设参数大于或等于预设参数阈值时，可执行上述的拼接步骤，并对应的将更新前的差异度矩阵头部的差异度向量丢弃，从而得到更新后的当前差异度矩阵。其中，差异度矩阵可以由多个差异度向量组成，更新前的差异度矩阵的尾部可以理解为，在更新前的差异度矩阵中，在时间上最接近图像关键帧的差异度向量，与该尾部相对的为更新前的差异度矩阵的头部，更新前的差异度矩阵头部的差异度向量丢弃的数量，可以与将要拼接的差异度向量的个数一致。
示例性的，若预设参数为列数，预设参数阈值为20，按照时间的先后顺序，更新前的差异度矩阵的左侧为头部，右侧为尾部，则当更新前的差异度矩阵的列数小于20时，可将上文获得的差异度向量，横向的拼接到更新前的差异度矩阵的右侧，即差异度矩阵中每列向量为一个差异度向量，从而得到更新后的当前差异度矩阵，图4为一种差异度矩阵的可视化示意图，如图4所示，每个小格都表示一个差异度，颜色越深表示差异度越小，图4中的每一列都表示一个差异度向量。
S205、利用预设动态规划算法，遍历所述当前差异度矩阵的差异度，确定所述当前差异度矩阵的第一预设位置、与所述当前差异度矩阵的维数对应的预设矩阵、以及在所述预设矩阵中与所述第一预设位置对应的第二预设位置。
其中，所述第一预设位置包括所述当前差异度矩阵中，第一预设方向上的最小差异度所在的位置，所述第一预设方向包括每行方向或每列方向，所述预设位置包括行位置和列位置，所述预设矩阵中的值基于所述差异度的和值确定。
具体的，可以利用预设动态规划算法，如动态规划算法，遍历当前差异度矩阵的差异度，并建立与当前差异度矩阵的维数相同的预设矩阵Total，以及预设步长矩阵Path，搜索出当前差异度矩阵中每行或每列差异度中，最小差异度的位置，即第一预设位置，以及对应的确定出预设矩阵Total中的第二预设位置，如在当前差异度矩阵中第一预设位置为(1，2)，即第一行的第二个值，则在预设矩阵Total中对应的第二预设位置也为(1，2)，在遍历和搜索的过程中，可以相应的得到多个差异度搜索路径以及多个步长，在当前差异度矩阵中不同的差异度搜索路径会经过不同的差异度，上述的多个步长可以写入预设步长矩阵Path中，不同的差异度搜索路径对应的差异度和值，可以分别写入预设矩阵Total中。其中，若当前差异度矩阵是由差异度向量横向拼接的，则当前差异度矩阵中每列差异度中，最小差异度的位置为第一预设位置，若当前差异度矩阵是由差异度向量纵向拼接的，则当前差异度矩阵中每行差异度中，最小差异度的位置为第一预设位置，预设矩阵Total中每个位置上的差异度和值可以理解为，从预设矩阵Total中任意取一个位置A，位置A在前差异度矩阵中的对应位置为a，利用预设动态规划算法遍历当前差异度矩阵的差异度后，在当前差异度矩阵中存在多条差异度搜索路径，在多条差异度搜索路径中存在一条差异度搜索路径l经过位置a，则在预设矩阵Total中位置A上的值为，在经过位置a前，差异度搜索路径l经过的所有的差异度的和值。
S206、将所述第二预设位置中最后一列对应的行位置，或最后一行对应的列位置，确定为重定位标识。
其中，所述重定位标识对应的第二预设位置上的值基于所述第一预设位置上差异度的和值确定。
示例性的，图5为一种基于动态规划算法确定的最优路径示意图，如图5所示，该图为在图4的差异度矩阵的可视化示意图的基础上，利用动态规划算法确定出的最佳路径，图5中的多个圆点组成的路径即为最佳路径，每个圆点对应的位置即为第一预设位置，该第一预设位置为当前差异度矩阵中每列差异度中，在最优路径中所对应的位置，则对应的预设矩阵Total的第二预设位置中，最后一列对应的行位置，即为重定位标识，重定位标识对应的地图关键帧，即为与图像关键帧的全局特征相似度最高的地图关键帧。其中，若当前差异度矩阵是由差异度向量横向拼接的，更新前的差异度矩阵的尾部对应第二预设位置中最后一列，重定位表示即为最后一列对应的行位置，若当前差异度矩阵是由差异度向量纵向拼接的，更新前的差异度矩阵的尾部对应第二预设位置中最后一行，重定位表示即为最后一行对应的列位置，上文所述的差异度搜索路径中，经过的差异度的和值最小的路径，即为最优路径，该最优路径上经过的差异度的和值，即为重定位标识对应的第二预设位置上的值。
S207、确定所述重定位标识的置信度，根据所述置信度确定序列图匹配结果。
具体的，可以计算重定位标识对应的差异度的和值的置信度，若该置信度符合设定要求，则可确定该重定位标识对应的序列图匹配结果为正确，反之则可确定该重定位标识对应的序列图匹配结果为错误。
可选的，所述确定所述重定位标识的置信度，根据所述置信度确定序列图匹配结果，包括：将所述重定位标识对应的第二预设位置上的值输入预设概率分布模型，得到第一概率，并将所述预设矩阵中所述重定位标识所在行或列上的值的均值输入预设概率分布模型，得到第二概率；根据所述第一概率和所述第二概率的比值，确定所述重定位标识的置信度；当所述置信度超过预设置信度阈值时，确定序列图匹配结果为正确，其中，所述序列图匹配结果包括正确和错误。这样设置的好处在于，利用预设概率分布模型计算出的差异度概率的比值，即第一概率和第二概率的比值，当作置信度，可以滤除不正确的序列图匹配结果及其对应的重定位标识。
具体的，可以将重定位标识对应的差异度，输入至预设概率分布模型，如拉普拉斯分布模型，从而得到输出的第一概率，并将重定位标识所在行或列上的值的均值，输入至预设概率分布模型，从而得到输出的第二概率，第一概率和第二概率的比值即为重定位标识的置信度，当该置信度大于或等于预设置信度阈值时，如大于或等于1.08，则可确定序列图匹配结果为正确，否则可确定序列图匹配结果为错误。其中，若当前差异度矩阵是由差异度向量横向拼接的，则将重定位标识所在列上的值的均值，输入至预设概率分布模型中，若当前差异度矩阵是由差异度向量纵向拼接的，则将重定位标识所在行上的值的均值，输入至预设概率分布模型中。
S208、基于所述序列图匹配结果，对所述重定位标识对应的初始重定位帧的局部特征进行校验，并根据校验结果，在所述特征地图中确定目标重定位帧。
具体的，当序列图匹配结果为正确时，可对重定位标识对应的初始重定位帧的局部特征进行校验，若校验后得到校验结果表明，序列图匹配结果无误，则可将重定位标识对应的地图关键帧，确定为目标重定位帧。
可选的，所述基于所述序列图匹配结果，对所述重定位标识对应的初始重定位帧的局部特征进行校验，并根据校验结果，在所述特征地图中确定目标重定位帧，包括：当所述序列图匹配结果为正确时，将所述重定位标识对应的地图关键帧，确定为初始重定位帧；对图像关键帧的局部特征和所述初始重定位帧的局部特征进行暴力匹配，得到匹配点对；确定所述匹配点对中的特征点，其中，所述特征点包括内点和外点；根据内点数量占特征点数量的比例和所述内点数量，确定校验结果，并根据所述校验结果，从所述特征地图中确定目标重定位帧，其中，所述特征地图中包含所述目标重定位帧的全局位姿，所述目标重定位帧的全局位姿用于为语义地图提供初始位置，所述校验结果包括序列图匹配结果正确和序列图匹配结果错误。这样设置的好处在于，根据内点数量占特征点数量的比例以及内点数量，对序列图匹配结果重定位结果再进行一次校验，提高了目标重定位帧的准确率。
具体的，当序列图匹配结果为正确时，可以将重定位标识对应的地图关键帧，作为初始重定位帧，然后将图像关键帧的局部特征和初始重定位帧的局部特征进行暴力匹配，找到两张图中相似度最高的特征点，即可确定匹配点对，然后可以利用预设抽样算法，如随机抽样一致性算法，计算该匹配点的基础矩阵，并得到内点和外点，若内点数量占特征点数量的比例属于预设比例范围，如大于或等于0.6且小于0.65，以及内点数量满足预设数量范围，如小于或等于8，则可确定对序列图匹配结果的校验结果为，序列图匹配结果正确，反之，则可确定校验结果为，序列图匹配结果错误，若序列图匹配结果正确，则可将该初始重定位帧确定为目标重定位帧，该目标重定位帧中的全局位姿可以用于为语义地图提供初始位置。其中，外点可以理解为异常值点，内点可以理解为非异常值点。
本发明实施例提供的重定位帧的确定方法，获取特征地图的地图关键帧，根据地图关键帧的全局特征中像素的光照强度和图像关键帧的全局特征中像素的光照强度，确定当前差异度矩阵，然后利用预设动态规划算法遍历当前差异度矩阵的差异度，从而确定出重定位标识，再将该重定位标识对应的地图关键帧确定为初始重定位帧，并对该初始重定位帧进行校验，根据校验结果即可确定目标重定位帧，本方法中的特征地图的更新方式，提升了特征地图的确定速度，降低了特征地图所需的储存空间，还保留了环境的结构信息和丰富的语义信息，当车辆面对环境实时变化的场景时，相比于常规的基于特征点确定特征地图的方法，具有更强的鲁棒性，同时利用预设动态规划算法，可以提高重定位标识和初始重定位帧的准确性，避免了局部最优解，再对初始重定位帧对应的序列图匹配结果进行了两次校验，进一步保证了目标重定位帧的准确性。
实施例三
图6为本发明实施例三提供的一种重定位帧的确定装置的结构示意图。如图6所示，该装置包括：特征地图获取模块301、差异度矩阵确定模块302、重定位标识确定模块303以及重定位帧确定模块304，其中：
特征地图获取模块，用于获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征；
差异度矩阵确定模块，用于确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征；
重定位标识确定模块，用于根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置；
重定位帧确定模块，用于基于所述重定位标识，在所述特征地图中确定目标重定位帧。
本发明实施例提供的重定位帧的确定装置，获取特征地图并确定当前图像的图像关键帧，根据特征地图和该图像关键帧的全局特征，确定当前差异度矩阵，然后利用预设动态规划算法，根据当前差异度矩阵确定出重定位标识，最后根据该重定位标识在特征地图中确定目标重定位帧，本装置建立的由地图关键帧组成的特征地图，占用的内存资源更小，解决了在语义地图的全局范围内查找初始地图帧(即重定位帧)消耗极大的计算资源的问题，适用于场景相似度高且通讯信号较差的场景，提高了重定位帧的准确性和鲁棒性。
可选的，所述特征地图的更新方式包括：根据地图图像的当前帧的位置相对于前一地图关键帧的位置的偏移距离是否大于预设距离阈值，确定地图图像的当前关键帧，其中，所述位置基于车辆所在的世界坐标系确定；基于所述当前关键帧的第一时间戳，从预设位姿缓存库中，确定地图关键帧的相邻全局位姿估计，并利用预设线性插值算法，对所述相邻全局位姿估计进行插值处理，得到所述当前关键帧的全局位姿，其中，关键帧包含表示时间信息的第一时间戳，所述相邻全局位姿估计包括时间上最接近所述第一时间戳的至少两个全局位姿估计，所述预设位姿缓存库包含至少两个所述全局位姿估计，所述全局位姿估计包含表示时间信息的第二时间戳；对所述当前关键帧的灰度图像进行缩小化处理，并基于缩小化处理后的灰度图像中像素的光照强度，确定所述当前关键帧的全局特征；对所述当前关键帧的灰度图像进行缩小化处理，并利用预设模型，对缩小化处理后的灰度图像进行降维映射处理，以得到所述当前关键帧的局部特征；根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，更新所述特征地图。
进一步的，所述根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，更新所述特征地图，包括：根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，确定初始地图关键帧；对所述初始地图关键帧进行回环检测和回环矫正，得到校验后的地图关键帧；根据所述特征地图中地图关键帧的第一时间戳，将所述校验后的地图关键帧加入特征地图中，以更新所述特征地图。
可选的，差异度矩阵确定模块，包括：
全局特征差异度确定单元，用于根据所述图像关键帧的全局特征中像素的光照强度和所述地图关键帧的全局特征中像素的光照强度的差值，确定全局特征差异度；
差异度向量确定单元，用于所述全局特征差异度与预设全局特征的像素数量的比值，以得到差异度向量，其中，所述预设全局特征包括所述图像关键帧的全局特征或所述地图关键帧的全局特征；
差异度矩阵确定单元，用于根据更新前的差异度矩阵的预设参数是否大于预设参数阈值，以及所述差异度向量，确定更新后的当前差异度矩阵，其中，所述预设参数包括所述差异度矩阵的行数和/或列数。
可选的，重定位标识确定模块，包括：
位置确定单元，用于利用预设动态规划算法，遍历所述当前差异度矩阵的差异度，确定所述当前差异度矩阵的第一预设位置、与所述当前差异度矩阵的维数对应的预设矩阵、以及在所述预设矩阵中与所述第一预设位置对应的第二预设位置，其中，所述第一预设位置包括所述当前差异度矩阵中，第一预设方向上的最小差异度所在的位置，所述第一预设方向包括每行方向或每列方向，所述预设位置包括行位置和列位置，所述预设矩阵中的值基于所述差异度的和值确定；
重定位标识确定单元，用于将所述第二预设位置中最后一列对应的行位置，或最后一行对应的列位置，确定为重定位标识，其中，所述重定位标识对应的第二预设位置上的值基于所述第一预设位置上差异度的和值确定。
可选的，重定位帧确定模块，包括：匹配结果确定单元，用于确定所述重定位标识的置信度，根据所述置信度确定序列图匹配结果；重定位帧确定单元，用于基于所述序列图匹配结果，对所述重定位标识对应的初始重定位帧的局部特征进行校验，并根据校验结果，在所述特征地图中确定目标重定位帧。
可选的，所述确定所述重定位标识的置信度，根据所述置信度确定序列图匹配结果，包括：将所述重定位标识对应的第二预设位置上的值输入预设概率分布模型，得到第一概率，并将所述预设矩阵中所述重定位标识所在行或列上的值的均值输入预设概率分布模型，得到第二概率；根据所述第一概率和所述第二概率的比值，确定所述重定位标识的置信度；当所述置信度超过预设置信度阈值时，确定序列图匹配结果为正确，其中，所述序列图匹配结果包括正确和错误。
可选的，所述基于所述序列图匹配结果，对所述重定位标识对应的初始重定位帧的局部特征进行校验，并根据校验结果，在所述特征地图中确定目标重定位帧，包括：当所述序列图匹配结果为正确时，将所述重定位标识对应的地图关键帧，确定为初始重定位帧；对图像关键帧的局部特征和所述初始重定位帧的局部特征进行暴力匹配，得到匹配点对；确定所述匹配点对中的特征点，其中，所述特征点包括内点和外点；根据内点数量占特征点数量的比例和所述内点数量，确定校验结果，并根据所述校验结果，从所述特征地图中确定目标重定位帧，其中，所述特征地图中包含所述目标重定位帧的全局位姿，所述目标重定位帧的全局位姿用于为语义地图提供初始位置，所述校验结果包括序列图匹配结果正确和序列图匹配结果错误。
本发明实施例所提供的重定位帧的确定装置可执行本发明任意实施例所提供的重定位帧的确定方法，具备执行方法相应的功能模块和有益效果。
实施例四
图7示出了可以用来实施本发明的实施例的车辆40的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，车辆40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)
43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储车辆40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
车辆40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许车辆40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如重定位帧的确定方法。
在一些实施例中，重定位帧的确定方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到车辆40上。当计算机程序加载到RAM43并由处理器41执行时，可以执行上文描述的重定位帧的确定方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行重定位帧的确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
上述提供的计算机设备可用于执行上述任意实施例提供的重定位帧的确定方法，具备相应的功能和有益效果。
实施例五
在本发明的上下文中，计算机可读存储介质可以是有形的介质，所述计算机可执行指令在由计算机处理器执行时用于执行重定位帧的确定方法，该方法包括：
获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征；
确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征；
根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置；
基于所述重定位标识，在所述特征地图中确定目标重定位帧。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
上述提供的计算机设备可用于执行上述任意实施例提供的重定位帧的确定方法，具备相应的功能和有益效果。
值得注意的是，上述重定位帧的确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种重定位帧的确定方法，其特征在于，包括：
获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征；
确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征；
根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置；
基于所述重定位标识，在所述特征地图中确定目标重定位帧。
2.根据权利要求1所述的方法，其特征在于，所述特征地图的更新方式包括：
根据地图图像的当前帧的位置相对于前一地图关键帧的位置的偏移距离是否大于预设距离阈值，确定地图图像的当前关键帧，其中，所述位置基于车辆所在的世界坐标系确定；
基于所述当前关键帧的第一时间戳，从预设位姿缓存库中，确定地图关键帧的相邻全局位姿估计，并利用预设线性插值算法，对所述相邻全局位姿估计进行插值处理，得到所述当前关键帧的全局位姿，其中，关键帧包含表示时间信息的第一时间戳，所述相邻全局位姿估计包括时间上最接近所述第一时间戳的至少两个全局位姿估计，所述预设位姿缓存库包含至少两个所述全局位姿估计，所述全局位姿估计包含表示时间信息的第二时间戳；
对所述当前关键帧的灰度图像进行缩小化处理，并基于缩小化处理后的灰度图像中像素的光照强度，确定所述当前关键帧的全局特征；
对所述当前关键帧的灰度图像进行缩小化处理，并利用预设模型，对缩小化处理后的灰度图像进行降维映射处理，以得到所述当前关键帧的局部特征；
根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，更新所述特征地图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，更新所述特征地图，包括：
根据所述当前关键帧、所述当前关键帧的全局特征、所述当前关键帧的全局位姿以及所述当前关键帧的局部特征，确定初始地图关键帧；
对所述初始地图关键帧进行回环检测和回环矫正，得到校验后的地图关键帧；
根据所述特征地图中地图关键帧的第一时间戳，将所述校验后的地图关键帧加入特征地图中，以更新所述特征地图。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵，包括：
根据所述图像关键帧的全局特征中像素的光照强度和所述地图关键帧的全局特征中像素的光照强度的差值，确定全局特征差异度；
确定所述全局特征差异度与预设全局特征的像素数量的比值，以得到差异度向量，其中，所述预设全局特征包括所述图像关键帧的全局特征或所述地图关键帧的全局特征；
根据更新前的差异度矩阵的预设参数是否大于预设参数阈值，以及所述差异度向量，确定更新后的当前差异度矩阵，其中，所述预设参数包括所述差异度矩阵的行数和/或列数。
5.根据权利要求4所述的方法，其特征在于，所述根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，包括：
利用预设动态规划算法，遍历所述当前差异度矩阵的差异度，确定所述当前差异度矩阵的第一预设位置、与所述当前差异度矩阵的维数对应的预设矩阵、以及在所述预设矩阵中与所述第一预设位置对应的第二预设位置，其中，所述第一预设位置包括所述当前差异度矩阵中，第一预设方向上的最小差异度所在的位置，所述第一预设方向包括每行方向或每列方向，所述预设位置包括行位置和列位置，所述预设矩阵中的值基于所述差异度的和值确定；
将所述第二预设位置中最后一列对应的行位置，或最后一行对应的列位置，确定为重定位标识，其中，所述重定位标识对应的第二预设位置上的值基于所述第一预设位置上差异度的和值确定。
6.根据权利要求5所述的方法，其特征在于，所述基于所述重定位标识，在所述特征地图中确定目标重定位帧，包括：
确定所述重定位标识的置信度，根据所述置信度确定序列图匹配结果；
基于所述序列图匹配结果，对所述重定位标识对应的初始重定位帧的局部特征进行校验，并根据校验结果，在所述特征地图中确定目标重定位帧。
7.根据权利要求6所述的方法，其特征在于，所述确定所述重定位标识的置信度，根据所述置信度确定序列图匹配结果，包括：
将所述重定位标识对应的第二预设位置上的值输入预设概率分布模型，得到第一概率，并将所述预设矩阵中所述重定位标识所在行或列上的值的均值输入预设概率分布模型，得到第二概率；
根据所述第一概率和所述第二概率的比值，确定所述重定位标识的置信度；
当所述置信度超过预设置信度阈值时，确定序列图匹配结果为正确，其中，所述序列图匹配结果包括正确和错误。
8.根据权利要求6所述的方法，其特征在于，所述基于所述序列图匹配结果，对所述重定位标识对应的初始重定位帧的局部特征进行校验，并根据校验结果，在所述特征地图中确定目标重定位帧，包括：
当所述序列图匹配结果为正确时，将所述重定位标识对应的地图关键帧，确定为初始重定位帧；
对图像关键帧的局部特征和所述初始重定位帧的局部特征进行暴力匹配，得到匹配点对；
确定所述匹配点对中的特征点，其中，所述特征点包括内点和外点；
根据内点数量占特征点数量的比例和所述内点数量，确定校验结果，并根据所述校验结果，从所述特征地图中确定目标重定位帧，其中，所述特征地图中包含所述目标重定位帧的全局位姿，所述目标重定位帧的全局位姿用于为语义地图提供初始位置，所述校验结果包括序列图匹配结果正确和序列图匹配结果错误。
9.一种重定位帧的确定装置，其特征在于，包括：
特征地图获取模块，用于获取特征地图，其中，所述特征地图包括多个地图关键帧，所述地图关键帧包含地图图像的全局特征和局部特征；
差异度矩阵确定模块，用于确定当前图像的图像关键帧，根据所述图像关键帧的全局特征和所述地图关键帧的全局特征，确定当前差异度矩阵,其中，所述差异度矩阵用于表征所述图像关键帧和所述地图关键帧的差异程度，所述图像关键帧包含当前图像的全局特征和局部特征；
重定位标识确定模块，用于根据预设动态规划算法和所述当前差异度矩阵，确定重定位标识，其中，所述重定位标识基于所述当前差异度矩阵中的第一预设位置确定，所述第一预设位置包括所述当前差异度矩阵中，每列或每行的差异度中最小差异度的位置；
重定位帧确定模块，用于基于所述重定位标识，在所述特征地图中确定目标重定位帧。
10.一种车辆，其特征在于，所述车辆包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的重定位帧的确定方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的重定位帧的确定方法。
CN202211288217.8A 2022-10-20 2022-10-20 一种重定位帧的确定方法、装置、车辆及存储介质 Pending CN115512124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211288217.8A CN115512124A (zh) 2022-10-20 2022-10-20 一种重定位帧的确定方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211288217.8A CN115512124A (zh) 2022-10-20 2022-10-20 一种重定位帧的确定方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN115512124A true CN115512124A (zh) 2022-12-23

Family

ID=84509848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211288217.8A Pending CN115512124A (zh) 2022-10-20 2022-10-20 一种重定位帧的确定方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN115512124A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258769A (zh) * 2023-05-06 2023-06-13 亿咖通(湖北)技术有限公司 一种定位校验方法、装置、电子设备和存储介质
CN116481515A (zh) * 2023-06-16 2023-07-25 北京集度科技有限公司 一种地图生成方法、装置、计算机设备及存储介质
CN116539026A (zh) * 2023-07-06 2023-08-04 杭州华橙软件技术有限公司 地图构建方法、装置、设备及存储介质
CN116719067A (zh) * 2023-08-08 2023-09-08 科沃斯家用机器人有限公司 基准站位置变动的检测方法、设备及可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258769A (zh) * 2023-05-06 2023-06-13 亿咖通(湖北)技术有限公司 一种定位校验方法、装置、电子设备和存储介质
CN116481515A (zh) * 2023-06-16 2023-07-25 北京集度科技有限公司 一种地图生成方法、装置、计算机设备及存储介质
CN116481515B (zh) * 2023-06-16 2023-09-05 北京集度科技有限公司 一种地图生成方法、装置、计算机设备及存储介质
CN116539026A (zh) * 2023-07-06 2023-08-04 杭州华橙软件技术有限公司 地图构建方法、装置、设备及存储介质
CN116539026B (zh) * 2023-07-06 2023-09-29 杭州华橙软件技术有限公司 地图构建方法、装置、设备及存储介质
CN116719067A (zh) * 2023-08-08 2023-09-08 科沃斯家用机器人有限公司 基准站位置变动的检测方法、设备及可读存储介质
CN116719067B (zh) * 2023-08-08 2023-10-17 科沃斯家用机器人有限公司 基准站位置变动的检测方法、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN115512124A (zh) 一种重定位帧的确定方法、装置、车辆及存储介质
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
CN114526745B (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及系统
Chen et al. NDT-LOAM: A real-time LiDAR odometry and mapping with weighted NDT and LFA
CN111261016B (zh) 道路地图的构建方法、装置和电子设备
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN109115232B (zh) 导航的方法和装置
CN113870379A (zh) 地图生成方法、装置、电子设备及计算机可读存储介质
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
de Paula Veronese et al. Evaluating the limits of a LiDAR for an autonomous driving localization
CN115900712A (zh) 一种信源可信度评价组合定位方法
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
Flores et al. Efficient probability-oriented feature matching using wide field-of-view imaging
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
CN111079523B (zh) 物体检测方法、装置、计算机设备和存储介质
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
Harms et al. Accuracy analysis of surface normal reconstruction in stereo vision
CN115952248A (zh) 终端设备的位姿处理方法、装置、设备、介质及产品
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质
CN114690226A (zh) 基于载波相位差分技术辅助的单目视觉测距方法及系统
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113763468A (zh) 一种定位方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination