CN115683129A - 一种基于高清地图的长期重定位方法和装置 - Google Patents

一种基于高清地图的长期重定位方法和装置 Download PDF

Info

Publication number
CN115683129A
CN115683129A CN202310006962.7A CN202310006962A CN115683129A CN 115683129 A CN115683129 A CN 115683129A CN 202310006962 A CN202310006962 A CN 202310006962A CN 115683129 A CN115683129 A CN 115683129A
Authority
CN
China
Prior art keywords
feature points
point
semantic feature
semantic
definition map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310006962.7A
Other languages
English (en)
Other versions
CN115683129B (zh
Inventor
赵群河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Shangtong Mofang Intelligent Technology Co ltd
Original Assignee
Suzhou Shangtong Mofang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Shangtong Mofang Intelligent Technology Co ltd filed Critical Suzhou Shangtong Mofang Intelligent Technology Co ltd
Priority to CN202310006962.7A priority Critical patent/CN115683129B/zh
Publication of CN115683129A publication Critical patent/CN115683129A/zh
Application granted granted Critical
Publication of CN115683129B publication Critical patent/CN115683129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本申请提供了一种基于高清地图的长期重定位方法和装置，其中方法包括：S1、输入传感器数据和高清地图，所述传感器数据包括采集得到的图像数据和位置数据；S2、从图像数据中检测出目标对象，并根据图像数据和位置数据获得目标对象的几何表示，所述几何表示包括目标对象的中心点坐标和单位方向向量，将被检测对象的语义标签及几何表示组成一个语义特征点
Figure 277340DEST_PATH_IMAGE001
以表示目标对象；S3、对语义特征点之间的相对位置关系采用描述符进行编码，通过相似度匹配，将语义特征点
Figure 29396DEST_PATH_IMAGE002
与高清地图中的路标特征点
Figure 507650DEST_PATH_IMAGE003
相关联；S4、进行位姿优化。本申请能够在不依赖于GNSS的条件下准确、鲁棒地实现长期重定位，并且在存储、计算和时间方面具有高效性。

Description

一种基于高清地图的长期重定位方法和装置
技术领域
本发明涉及自动驾驶汽车的全局定位技术，尤其涉及一种基于高清地图的长期重定位方法和相关装置。
背景技术
高度准确和鲁棒的重定位或定位初始化能力对于自动驾驶汽车 (Autonomousvehicles，AV) 非常重要。传统的基于 GNSS 的方法在遮挡和多路径条件下不够可靠，极大地影响了自动驾驶汽车的定位性能。因此GPS信号失效时的无人驾驶汽车的全局定位问题不仅是国内外高校及科研院所的重点研究方向，也是该领域的行业痛点。
为了解决这个问题，通常使用基于视觉模板匹配的方法、基于激光雷达的方法、基于语义特征和高清地图的方法。
基于视觉模板匹配的方法通常提取局部特征描述符（例如 SIFT 、SURF 、ORB 、FAST 、BRISK 、BRIEF ）或全局特征描述符（例如 HOG ，GIST ），并基于 Bag-of-Word(BoW) 或 VLAD 在数据库中找到与查询图像最相似的图像，以获得查询图像的全局位姿。然而，视觉特征描述符对光照、天气、季节、视点和外观变化具有较高的敏感性，这使得它们难以在长期动态自动驾驶场景中获得可靠的结果。
基于激光雷达的方法因为使用几何信息而对光照、天气和季节变化具有更强的鲁棒性，该方法通常基于传统或基于学习的方法提取局部描述符或全局描述符，然而由于缺乏语义特征容易出现漏检、误检的情况，而且对遮挡、旋转、结构变化和动态对象敏感。
上述基于视觉视觉模板匹配和基于激光雷达的方法分别需要大量存储空间来存储原始图像和点云，这对商业级 AV 来说是一个很大的挑战。
基于语义特征和高清地图的方法，主要是利用诸如道路线、红绿灯、标志和电线杆等广泛出现在城市道路上的语义特征，对光照、天气、季节和外观变化具有长期稳定和鲁棒性。现有基于语义特征和高清地图的定位方法，虽然可以实现准确和鲁棒的定位，但还是依赖于 GNSS 进行姿态初始化，同时计算量巨大且耗时。
发明内容
本发明的目的在于提供一种基于高清地图的长期重定位方法及装置，以解决当GPS信号丢失或不可靠时的无人驾驶汽车全局定位问题。
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
根据本发明的第一方面，提供了一种基于高清地图的长期重定位方法，包括以下步骤：
S1、输入传感器数据和高清地图，所述传感器数据包括采集得到的图像数据和位置数据；
S2、从图像数据中检测出目标对象，并根据图像数据和位置数据获得目标对象的几何表示，所述几何表示包括目标对象的中心点坐标和单位方向向量，将被检测对象的语义标签及几何表示组成一个语义特征点
Figure 1842DEST_PATH_IMAGE001
以表示目标对象；
S3、对语义特征点之间的相对位置关系采用描述符进行编码，通过相似度匹配，将语义特征点
Figure 745676DEST_PATH_IMAGE002
与高清地图中的路标特征点
Figure 809447DEST_PATH_IMAGE003
相关联；
S4、进行位姿优化。
在一实施例中，所述S3具体包括：
S31、将语义特征点
Figure 414872DEST_PATH_IMAGE004
向XY平面投影；
S32、搜索语义特征点
Figure 349330DEST_PATH_IMAGE005
的固定半径R范围内的邻居点，得到点集合
Figure 765530DEST_PATH_IMAGE006
：
Figure 51018DEST_PATH_IMAGE007
以语义特征点
Figure 194554DEST_PATH_IMAGE008
为中心点，将其与点集合
Figure 452360DEST_PATH_IMAGE009
中的各点相连形成边，采用描述子
Figure 334734DEST_PATH_IMAGE010
来描述每条边两个端点的相对位置关系，
Figure 841939DEST_PATH_IMAGE011
其中，
Figure 523587DEST_PATH_IMAGE012
表示中心点与邻居点的距离关系，
Figure 698217DEST_PATH_IMAGE013
表示中心点与邻居点的单位方向向量角度差，
Figure 975659DEST_PATH_IMAGE014
表示中心点的单位方向向量；
将各条边的描述子均以中心点的单位方向向量为基准，按逆时针顺序排列，构成集合，作为该语义特征点
Figure 298056DEST_PATH_IMAGE015
的描述符，
Figure 908029DEST_PATH_IMAGE016
搜索高清地图中的路标特征点
Figure 812531DEST_PATH_IMAGE017
固定半径R范围内的邻居点，得到点集合
Figure 849757DEST_PATH_IMAGE018
：
Figure 223232DEST_PATH_IMAGE019
以路标特征点
Figure 636896DEST_PATH_IMAGE020
为中心点，将其与点集合
Figure 130325DEST_PATH_IMAGE021
中的各点相连形成边，采用描述子
Figure 259824DEST_PATH_IMAGE022
来描述每条边两个端点的相对关系，
Figure 635442DEST_PATH_IMAGE023
其中，
Figure 10053DEST_PATH_IMAGE024
表示中心点与邻居点的距离关系，
Figure 748202DEST_PATH_IMAGE025
表示中心点与邻居点的单位方向向量角度差，
Figure 533756DEST_PATH_IMAGE026
表示中心点的单位方向向量；
将各条边的描述子以中心点的单位方向向量为基准，按逆时针顺序排列，构成集合，作为该路标特征点
Figure 114779DEST_PATH_IMAGE027
的描述符，
Figure 542349DEST_PATH_IMAGE028
；
S33、对语义特征点的描述符
Figure 400583DEST_PATH_IMAGE029
和路标特征点的描述符
Figure 45454DEST_PATH_IMAGE030
进行量化；
S34、对语义特征点
Figure 910510DEST_PATH_IMAGE031
与路标特征点
Figure 79455DEST_PATH_IMAGE032
进行相似度匹配，保留匹配成功的语义特征点
Figure 792196DEST_PATH_IMAGE033
；
S35、通过几何一致性验证，去除语义特征点
Figure 404705DEST_PATH_IMAGE034
中的异常点；
S36、通过语义跟踪，建立连续帧中的语义特征点
Figure 835686DEST_PATH_IMAGE035
之间的关联；
S37、通过匹配一致性检查，在连续帧中的语义特征点和高清地图中的路标特征点之间构建最佳一致匹配。
在一实施例中，所述S33具体包括：
对角度空间进行分割并编码，将描述子中的中心点与邻居点的单位方向向量角度差，以及中心点的单位方向向量，用所处空间的编码进行表示。
在一实施例中，所述S33具体包括：
将0°~360°角度空间均匀分割为n份，每份用唯一的数字进行编码，将中心点与邻居点的相对角度关系，以及中心点的单位方向向量，按照其所属的分割空间，查表确定其编码，并通过对应数字进行表示。
在一实施例中，所述S34中，当满足下式时，语义特征点
Figure 808321DEST_PATH_IMAGE036
与路标特征点
Figure 578831DEST_PATH_IMAGE032
的相似度匹配成功：
Figure 736143DEST_PATH_IMAGE037
其中，
Figure 779054DEST_PATH_IMAGE038
是语义特征点
Figure 414435DEST_PATH_IMAGE039
的语义标签，
Figure 977135DEST_PATH_IMAGE040
是路标特征点
Figure 728184DEST_PATH_IMAGE041
的语义标签，
Figure 9124DEST_PATH_IMAGE042
为是匹配成功的边的对数，
Figure 369567DEST_PATH_IMAGE043
为预设占比，
Figure 911407DEST_PATH_IMAGE044
为总边对数。
在一实施例中，边匹配成功需满足以下条件：
Figure 82625DEST_PATH_IMAGE045
其中，
Figure 70435DEST_PATH_IMAGE046
为描述子
Figure 47618DEST_PATH_IMAGE047
对应的边的语义标签，
Figure 584910DEST_PATH_IMAGE048
为描述子
Figure 520505DEST_PATH_IMAGE049
对应的边的语义标签，
Figure 759725DEST_PATH_IMAGE050
为预设的边的长度差异阈值，
Figure 540599DEST_PATH_IMAGE051
为预设的单位方向向量角度差的差异阈值，
Figure 932398DEST_PATH_IMAGE052
为预设的单位方向向量差异阈值。
在一实施例中，所述S35中的几何一致性验证包括：判断语义特征点是否满足以下条件，寻找最大几何一致集：
Figure 773315DEST_PATH_IMAGE053
其中，
Figure 578460DEST_PATH_IMAGE054
表示语义特征点构成的局部地图中两个语义特征点之间的距离，
Figure 789123DEST_PATH_IMAGE055
表示高清地图上对应匹配的两个路标特征点之间的距离，
Figure 160062DEST_PATH_IMAGE056
表示语义特征点构成的局部地图中两个语义特征点单位方向向量的角度之差，
Figure 47246DEST_PATH_IMAGE057
表示高清地图上对应匹配的两个路标特征点单位方向向量的角度之差，
Figure 136425DEST_PATH_IMAGE058
为预设阈值。
在一实施例中，所述几何一致性验证只在语义特征点构成的局部地图与高清地图中创建的对应网格分区及其相邻分区之间进行，所述对应网格分区为根据高清地图中与语义特征点匹配的路标特征点位置和局部地图的大小，创建的正方形2D网格分区，其边长为局部地图中语义特征之间的最大距离。
根据本发明的第二方面，提供了一种基于高清地图的长期重定位装置，包括：
输入模块，用于输入传感器数据和高清地图，所述传感器数据包括采集得到的图像数据和位置数据；
检测模块，从图像数据中检测出目标对象，并根据图像数据和位置数据获得目标对象的几何表示，所述几何表示包括目标对象的中心点坐标和单位方向向量，将被检测对象的语义标签及几何表示组成一个语义特征点
Figure 649315DEST_PATH_IMAGE059
以表示目标对象；
特征关联模块，用于对语义特征点之间的相对位置关系采用描述符进行编码，通过相似度匹配，将语义特征点
Figure 874760DEST_PATH_IMAGE060
与高清地图中的路标特征点
Figure 932846DEST_PATH_IMAGE061
相匹配；
优化位姿模块，用于进行位姿优化。
根据本发明的第三方面，提供了一种装置，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如第一方面任一项所述的基于高清地图的长期重定位方法。
本发明实施例的有益效果是：通过语义特征点表示检测出的目标对象，通过描述符对语义特征点之间的位置关系和方向向量关系进行编码，能够在不依赖于GNSS的条件下准确、鲁棒地实现长期重定位，并且在存储、计算和时间方面具有高效性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1是本申请方法实施例的方法流程图；
图2是本申请方法实施例的步骤S3具体方法流程图；
图3是空间编码部分示意图；
图4是本申请装置实施例的模块示意图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
如图1所示，本申请实施例提供了一种基于高清地图的长期重定位方法，包括以下步骤：
S1、输入传感器数据和高清地图，传感器数据包括采集得到的图像数据和位置数据。例如，图像数据可以为RGB图像，其来源可以为相机等；位置数据可以为目标对象的3D位置，其来源可以为激光雷达等。
S2、从图像数据中检测出目标对象，并根据图像数据和位置数据获得目标对象的几何表示，所述几何表示包括目标对象的中心点坐标和单位方向向量，将被检测对象的语义标签及几何表示组成一个语义特征点
Figure 712583DEST_PATH_IMAGE062
以表示目标对象。
在本实施例中，选择道路线、道路标线、标杆、交通灯和标志作为被检测的目标对象。因为它们很容易检测、时常出现、储存效率高、且不易受到天气变化、光照变化、视角变化、外观变化的影响。此外，在本实施例中采用现有的yoloV5检测算法从RGB图像中检测出上述目标。以标杆为例，其语义标签为“标杆”，其中心点坐标为其与路面的接触点坐标，其单位方向向量指向其所在道路中道路线的方向。
S3、对语义特征点之间的相对位置关系采用描述符进行编码，通过相似度匹配，将语义特征点
Figure 638951DEST_PATH_IMAGE063
与高清地图中的路标特征点
Figure 965957DEST_PATH_IMAGE064
相关联。由于奇异性、错误和漏检特征以及通常出现的相似场景，数据关联成为长期重新定位的最具挑战性的问题之一。如图2所示，本方法通过以下步骤来解决相似关系的模糊性：
S31、将语义特征点
Figure 460523DEST_PATH_IMAGE065
向XY平面投影，以减少计算量；
S32、搜索语义特征点
Figure 258715DEST_PATH_IMAGE066
的固定半径R范围内的邻居点，得到点集合
Figure 847828DEST_PATH_IMAGE067
：
Figure 251128DEST_PATH_IMAGE068
以语义特征点
Figure 41229DEST_PATH_IMAGE069
为中心点，将其与点集合
Figure 936504DEST_PATH_IMAGE070
中的各点相连形成边，采用描述子
Figure 470254DEST_PATH_IMAGE071
来描述每条边两个端点的相对位置关系，
Figure 150896DEST_PATH_IMAGE072
其中，
Figure 111899DEST_PATH_IMAGE073
表示中心点与邻居点的距离关系，
Figure 760049DEST_PATH_IMAGE074
表示中心点与邻居点的单位方向向量角度差，
Figure 831910DEST_PATH_IMAGE075
表示中心点的单位方向向量；
将各条边的描述子均以中心点的单位方向向量为基准，按逆时针顺序排列，构成集合，作为该语义特征点
Figure 600015DEST_PATH_IMAGE076
的描述符，
Figure 731919DEST_PATH_IMAGE077
。
同理，搜索高清地图中的路标特征点
Figure 398524DEST_PATH_IMAGE078
固定半径R范围内的邻居点，得到点集合
Figure 634595DEST_PATH_IMAGE079
：
Figure 70256DEST_PATH_IMAGE080
以路标特征点
Figure 107482DEST_PATH_IMAGE081
为中心点，将其与点集合
Figure 979492DEST_PATH_IMAGE082
中的各点相连形成边，采用描述子
Figure 393156DEST_PATH_IMAGE083
来描述每条边两个端点的相对关系，
Figure 152164DEST_PATH_IMAGE084
其中，
Figure 360292DEST_PATH_IMAGE085
表示中心点与邻居点的距离关系，
Figure 955483DEST_PATH_IMAGE086
表示中心点与邻居点的单位方向向量角度差，
Figure 172838DEST_PATH_IMAGE087
表示中心点的单位方向向量；
将各条边的描述子以中心点的单位方向向量为基准，按逆时针顺序排列，构成集合，作为该路标特征点
Figure 786353DEST_PATH_IMAGE088
的描述符
Figure 430961DEST_PATH_IMAGE089
。
S33、对语义特征点的描述符
Figure 11984DEST_PATH_IMAGE090
和路标特征点的描述符
Figure 33030DEST_PATH_IMAGE091
进行量化，以减少计算量。
在本实施例中，采用对空间进行分割编码的方式来对角度进行量化，具体包括：对角度空间进行分割并编码，将描述子中的中心点与邻居点的单位方向向量角度差，以及中心点的单位方向向量，用所处空间的编码进行表示。
例如，可如图3所示，将0°~360°角度空间均匀分割为16份，每份用唯一的4位二进制数进行编码，将中心点与邻居点的相对角度关系，以及中心点的单位方向向量，按照其所属的分割空间，查表确定其编码，并通过对应数字进行表示。最终一个描述子可以采用浮点型数据和4位二进制字节表示为：
Figure 766630DEST_PATH_IMAGE092
。需要说明的是，也可将角度空间分割为其他份数，并用其他位数和进制的数字进行编码。
S34、对语义特征点
Figure 582140DEST_PATH_IMAGE093
与路标特征点
Figure 886344DEST_PATH_IMAGE094
进行相似度匹配，保留匹配成功的语义特征点
Figure 445502DEST_PATH_IMAGE095
；
当满足下式时，语义特征点
Figure 33609DEST_PATH_IMAGE096
与路标特征点
Figure 20019DEST_PATH_IMAGE094
的相似度匹配成功：
Figure 575635DEST_PATH_IMAGE097
其中，
Figure 672904DEST_PATH_IMAGE098
是语义特征点
Figure 115517DEST_PATH_IMAGE096
的语义标签，
Figure 476092DEST_PATH_IMAGE099
是路标特征点
Figure 128790DEST_PATH_IMAGE003
的语义标签，
Figure 655848DEST_PATH_IMAGE100
为是匹配成功的边的对数，
Figure 343182DEST_PATH_IMAGE101
为预设占比，
Figure 546761DEST_PATH_IMAGE102
为总边对数。上式的含义为：如果被检测的语义特征点
Figure 686755DEST_PATH_IMAGE103
和路标特征点
Figure 250461DEST_PATH_IMAGE104
的语义标签相同，且对应描述符中匹配边的数量
Figure 792300DEST_PATH_IMAGE105
大于
Figure 166781DEST_PATH_IMAGE106
，则认为
Figure 59651DEST_PATH_IMAGE107
匹配成功。
边匹配成功需满足以下条件：
Figure 928512DEST_PATH_IMAGE108
其中，
Figure 590437DEST_PATH_IMAGE109
为描述子
Figure 135819DEST_PATH_IMAGE110
对应的边的语义标签，
Figure 984827DEST_PATH_IMAGE111
为描述子
Figure 155914DEST_PATH_IMAGE112
对应的边的语义标签，
Figure 672346DEST_PATH_IMAGE113
为预设的边的长度差异阈值，
Figure 388629DEST_PATH_IMAGE114
为预设的单位方向向量角度差的差异阈值，
Figure 724932DEST_PATH_IMAGE115
为预设的单位方向向量差异阈值。上式的含义为，当两个边的语义信息相同，长度差异小于阈值
Figure 512760DEST_PATH_IMAGE116
，角度差的差异小于阈值
Figure 509797DEST_PATH_IMAGE117
，单位方向向量差异小于阈值
Figure 521615DEST_PATH_IMAGE118
时，判定为一对匹配成功的边。
S35、通过几何一致性验证，去除语义特征点
Figure 751740DEST_PATH_IMAGE119
中的异常点。由于语义特征的奇异性、错误和遗漏检测以及城市场景中常见的相似场景，匹配的语义特征对中必然存在一定数量的异常值。因此，异常点去除是长期语义重定位系统中最重要的组成部分之一。异常值去除过程的目标是找到最大几何一致集，局部成对几何一致性可定义如下：
Figure 608837DEST_PATH_IMAGE120
其中，
Figure 490074DEST_PATH_IMAGE121
表示语义特征点构成的局部地图中两个语义特征点之间的距离，
Figure 672794DEST_PATH_IMAGE122
表示高清地图上对应匹配的两个路标特征点之间的距离，
Figure 859056DEST_PATH_IMAGE123
表示语义特征点构成的局部地图中两个语义特征点单位方向向量的角度之差，
Figure 785424DEST_PATH_IMAGE124
表示高清地图上对应匹配的两个路标特征点单位方向向量的角度之差，
Figure 334217DEST_PATH_IMAGE125
为预设阈值。本质上，上式描述的是关于局部地图与全局地图中特征点内部结构性一致性的判定。
优选地，为了减少一致性验证次数，可利用局部映射的原理，减少测试对的数量，由于语义特征点构成的局部地图明显小于高清地图，可以在高清地图中创建网格分区，上述几何一致性的验证只在局部地图与对应网格分区及其相邻分区之间进行。网格分区为根据高清地图中与语义特征点匹配的路标特征点位置和局部地图的大小创建的正方形2D网格分区，其边长为局部地图中语义特征之间的最大距离。
S36、通过语义跟踪，建立连续帧中的语义特征点
Figure 98955DEST_PATH_IMAGE126
之间的关联。该过程可表述为一个多阶图匹配问题，并需要考虑位置、大小和法线相似性。由于连续帧中的语义跟踪可能会产生错误匹配，本实施例中利用现有的 CLEAR（Consistent Lifting, Embedding andAlignment Rectification）算法来建立跨多个视图的语义特征之间的正确关联。
S37、通过匹配一致性检查，在连续帧中的语义特征点和高清地图中的路标特征点之间构建最佳一致匹配。可通过加权匹配度和设置置信度的方式构建最佳一致匹配。如果最佳感知语义特征的累积置信度远大于次优感知语义特征的累积置信度，则最佳感知特征将被视为路标特征点
Figure 772513DEST_PATH_IMAGE003
的匹配对。否则，
Figure 502572DEST_PATH_IMAGE003
被认为具有不确定匹配，并且可以给出与每个感知特征的匹配概率。
S4、进行位姿优化，即对汽车当前位置与姿态进行优化，达到高精度定位的效果。在本实施例中，采用现有的分级非凸性（GNC）算法来重新定位姿势，误差模型定义为语义特征与相应匹配语义特征地标之间的中心位置和单位方向向量的欧几里得距离。
如图4所示，本申请实施例还提供了一种基于高清地图的长期重定位装置，包括：
输入模块401，用于输入传感器数据和高清地图，所述传感器数据包括采集得到的图像数据和位置数据；
检测模块402，从图像数据中检测出目标对象，并根据图像数据和位置数据获得目标对象的几何表示，所述几何表示包括目标对象的中心点坐标和单位方向向量，将被检测对象的语义标签及几何表示组成一个语义特征点
Figure 905871DEST_PATH_IMAGE127
以表示目标对象；
特征关联模块403，用于对语义特征点之间的相对位置关系采用描述符进行编码，通过相似度匹配，将语义特征点
Figure 555027DEST_PATH_IMAGE128
与高清地图中的路标特征点
Figure 840515DEST_PATH_IMAGE129
相关联；
优化位姿模块404，用于进行位姿优化。
容易理解地，本申请实施例还提供了一种基于高清地图的长期重定位系统，包括存储器和处理器。其中，存储器可用于存储指令、程序、代码、代码集或指令集。存储器可以包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述基于高清地图的长期重定位的方法的指令等；存储数据区可存储上述基于高清地图的长期重定位的方法中涉及到的数据等。
处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集，调用存储在存储器内的数据，执行本申请的各种功能和处理数据。处理器可以为特定用途集成电路、数字信号处理器、数字信号处理装置、可编程逻辑装置、现场可编程门阵列、中央处理器、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
本申请实施例上述基于高清地图的长期重定位系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，ReadOnly Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
相应地，本发明实施例还提供一种计算机存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本发明实施例的上述基于高清地图的长期重定位方法。
综上所述，本申请实施例所提供的基于高清地图的长期重定位方法和装置，通过构建描述符对语义特征点之间的位置和方向关系进行编码，并通过语音特征匹配方法和异常点去除方法，实现了准确、鲁棒的长期重定位。此外，通过投影、量化等步骤，减少了计算量和存储空间要求，从而使该方法更适用于商业级自动驾驶汽车。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种基于高清地图的长期重定位方法，其特征在于，包括以下步骤：
S1、输入传感器数据和高清地图，所述传感器数据包括采集得到的图像数据和位置数据；
S2、从图像数据中检测出目标对象，并根据图像数据和位置数据获得目标对象的几何表示，所述几何表示包括目标对象的中心点坐标和单位方向向量，将被检测对象的语义标签及几何表示组成一个语义特征点
Figure 496485DEST_PATH_IMAGE001
以表示目标对象；
S3、对语义特征点之间的相对位置关系采用描述符进行编码，通过相似度匹配，将语义特征点
Figure 226544DEST_PATH_IMAGE002
与高清地图中的路标特征点
Figure 301947DEST_PATH_IMAGE003
相关联；
S4、进行位姿优化。
2.根据权利要求1所述的基于高清地图的长期重定位方法，其特征在于，所述S3具体包括：
S31、将语义特征点
Figure 826470DEST_PATH_IMAGE004
向XY平面投影；
S32、搜索语义特征点
Figure 236591DEST_PATH_IMAGE005
的固定半径R范围内的邻居点，得到点集合
Figure 770341DEST_PATH_IMAGE006
：
Figure 700251DEST_PATH_IMAGE007
以语义特征点
Figure 395674DEST_PATH_IMAGE008
为中心点，将其与点集合
Figure 794557DEST_PATH_IMAGE009
中的各点相连形成边，采用描述子
Figure 600839DEST_PATH_IMAGE010
来描述每条边两个端点的相对位置关系，
Figure 916413DEST_PATH_IMAGE011
其中，
Figure 517159DEST_PATH_IMAGE012
表示中心点与邻居点的距离关系，
Figure 167452DEST_PATH_IMAGE013
表示中心点与邻居点的单位方向向量角度差，
Figure 777425DEST_PATH_IMAGE014
表示中心点的单位方向向量；
将各条边的描述子均以中心点的单位方向向量为基准，按逆时针顺序排列，构成集合，作为该语义特征点
Figure 681927DEST_PATH_IMAGE015
的描述符，
Figure 187995DEST_PATH_IMAGE016
搜索高清地图中的路标特征点
Figure 669792DEST_PATH_IMAGE017
固定半径R范围内的邻居点，得到点集合
Figure 709554DEST_PATH_IMAGE018
：
Figure 593197DEST_PATH_IMAGE019
以路标特征点
Figure 942269DEST_PATH_IMAGE020
为中心点，将其与点集合
Figure 911362DEST_PATH_IMAGE021
中的各点相连形成边，采用描述子
Figure 987772DEST_PATH_IMAGE022
来描述每条边两个端点的相对关系，
Figure 257079DEST_PATH_IMAGE023
其中，
Figure 511474DEST_PATH_IMAGE024
表示中心点与邻居点的距离关系，
Figure 233442DEST_PATH_IMAGE025
表示中心点与邻居点的单位方向向量角度差，
Figure 615007DEST_PATH_IMAGE026
表示中心点的单位方向向量；
将各条边的描述子以中心点的单位方向向量为基准，按逆时针顺序排列，构成集合，作为该路标特征点
Figure 207663DEST_PATH_IMAGE027
的描述符，
Figure 898538DEST_PATH_IMAGE028
；
S33、对语义特征点的描述符
Figure 842223DEST_PATH_IMAGE029
和路标特征点的描述符
Figure 526015DEST_PATH_IMAGE030
进行量化；
S34、对语义特征点
Figure 238756DEST_PATH_IMAGE031
与路标特征点
Figure 834953DEST_PATH_IMAGE032
进行相似度匹配，保留匹配成功的语义特征点
Figure 265935DEST_PATH_IMAGE033
；
S35、通过几何一致性验证，去除语义特征点
Figure 566466DEST_PATH_IMAGE034
中的异常点；
S36、通过语义跟踪，建立连续帧中的语义特征点
Figure 25391DEST_PATH_IMAGE035
之间的关联；
S37、通过匹配一致性检查，在连续帧中的语义特征点和高清地图中的路标特征点之间构建最佳一致匹配。
3.根据权利要求2所述的基于高清地图的长期重定位方法，其特征在于，所述S33具体包括：
对角度空间进行分割并编码，将描述子中的中心点与邻居点的单位方向向量角度差，以及中心点的单位方向向量，用所处空间的编码进行表示。
4.根据权利要求3所述的基于高清地图的长期重定位方法，其特征在于，所述S33具体包括：
将0°~360°角度空间均匀分割为n份，每份用唯一的数字进行编码，将中心点与邻居点的相对角度关系，以及中心点的单位方向向量，按照其所属的分割空间，查表确定其编码，并通过对应数字进行表示。
5.根据权利要求2所述的基于高清地图的长期重定位方法，其特征在于，所述S34中，当满足下式时，语义特征点
Figure 917124DEST_PATH_IMAGE036
与路标特征点
Figure 710768DEST_PATH_IMAGE037
的相似度匹配成功：
Figure 877307DEST_PATH_IMAGE038
其中，
Figure 423695DEST_PATH_IMAGE039
是语义特征点
Figure 486328DEST_PATH_IMAGE040
的语义标签，
Figure 767268DEST_PATH_IMAGE041
是路标特征点
Figure 471919DEST_PATH_IMAGE042
的语义标签，
Figure 639857DEST_PATH_IMAGE043
为是匹配成功的边的对数，
Figure 138972DEST_PATH_IMAGE044
为预设占比，
Figure 641629DEST_PATH_IMAGE045
为总边对数。
6.根据权利要求5所述的基于高清地图的长期重定位方法，其特征在于，边匹配成功需满足以下条件：
Figure 884391DEST_PATH_IMAGE046
其中，
Figure 405371DEST_PATH_IMAGE047
为描述子
Figure 75387DEST_PATH_IMAGE048
对应的边的语义标签，
Figure 65340DEST_PATH_IMAGE049
为描述子
Figure 49476DEST_PATH_IMAGE050
对应的边的语义标签，
Figure 565908DEST_PATH_IMAGE051
为预设的边的长度差异阈值，
Figure 44643DEST_PATH_IMAGE052
为预设的单位方向向量角度差的差异阈值，
Figure 646525DEST_PATH_IMAGE053
为预设的单位方向向量差异阈值。
7.根据权利要求2所述的基于高清地图的长期重定位方法，其特征在于，所述S35中的几何一致性验证包括：判断语义特征点是否满足以下条件，寻找最大几何一致集：
Figure 106457DEST_PATH_IMAGE054
其中，
Figure 477395DEST_PATH_IMAGE055
表示语义特征点构成的局部地图中两个语义特征点之间的距离，
Figure 879426DEST_PATH_IMAGE056
表示高清地图上对应匹配的两个路标特征点之间的距离，
Figure 703026DEST_PATH_IMAGE057
表示语义特征点构成的局部地图中两个语义特征点单位方向向量的角度之差，
Figure 966648DEST_PATH_IMAGE058
表示高清地图上对应匹配的两个路标特征点单位方向向量的角度之差，
Figure 192093DEST_PATH_IMAGE059
为预设阈值。
8.根据权利要求7所述的基于高清地图的长期重定位方法，其特征在于，
所述几何一致性验证只在语义特征点构成的局部地图与高清地图中创建的对应网格分区及其相邻分区之间进行，所述对应网格分区为根据高清地图中与语义特征点匹配的路标特征点位置和局部地图的大小，创建的正方形2D网格分区，其边长为局部地图中语义特征之间的最大距离。
9.一种基于高清地图的长期重定位装置，其特征在于，包括：
输入模块，用于输入传感器数据和高清地图，所述传感器数据包括采集得到的图像数据和位置数据；
检测模块，从图像数据中检测出目标对象，并根据图像数据和位置数据获得目标对象的几何表示，所述几何表示包括目标对象的中心点坐标和单位方向向量，将被检测对象的语义标签及几何表示组成一个语义特征点
Figure 911DEST_PATH_IMAGE060
以表示目标对象；
特征关联模块，用于对语义特征点之间的相对位置关系采用描述符进行编码，通过相似度匹配，将语义特征点
Figure 780649DEST_PATH_IMAGE061
与高清地图中的路标特征点
Figure 707016DEST_PATH_IMAGE062
相关联；
优化位姿模块，用于进行位姿优化。
10.一种基于高清地图的长期重定位装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1至8中任一项所述的基于高清地图的长期重定位方法。
CN202310006962.7A 2023-01-04 2023-01-04 一种基于高清地图的长期重定位方法和装置 Active CN115683129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310006962.7A CN115683129B (zh) 2023-01-04 2023-01-04 一种基于高清地图的长期重定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310006962.7A CN115683129B (zh) 2023-01-04 2023-01-04 一种基于高清地图的长期重定位方法和装置

Publications (2)

Publication Number Publication Date
CN115683129A true CN115683129A (zh) 2023-02-03
CN115683129B CN115683129B (zh) 2023-03-14

Family

ID=85057526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310006962.7A Active CN115683129B (zh) 2023-01-04 2023-01-04 一种基于高清地图的长期重定位方法和装置

Country Status (1)

Country Link
CN (1) CN115683129B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012497A (zh) * 2023-03-29 2023-04-25 腾讯科技（深圳）有限公司 动画重定向方法、装置、设备及介质
CN116105603A (zh) * 2023-04-13 2023-05-12 安徽蔚来智驾科技有限公司 用于确定移动物体在场所中的位置的方法及系统
CN117807252A (zh) * 2024-02-29 2024-04-02 创意信息技术股份有限公司 一种基于知识图谱的数据处理方法、装置、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427317A (zh) * 2015-11-25 2016-03-23 武汉大学 一种适用于多视角自动化配准多站地面激光点云数据的方法
CN112767485A (zh) * 2021-01-26 2021-05-07 哈尔滨工业大学（深圳） 一种基于静态语义信息的点云地图创建与场景辨识方法
CN113034584A (zh) * 2021-04-16 2021-06-25 广东工业大学 一种基于物体语义路标的移动机器人视觉定位方法
WO2022012229A1 (zh) * 2020-07-15 2022-01-20 京东科技信息技术有限公司 机器人的重定位方法及装置、存储介质、电子设备
CN114088099A (zh) * 2021-11-18 2022-02-25 北京易航远智科技有限公司 基于已知地图的语义重定位方法、装置、电子设备及介质
CN115330861A (zh) * 2022-07-11 2022-11-11 东北大学 基于物体平面共同表示和语义描述符匹配的重定位算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427317A (zh) * 2015-11-25 2016-03-23 武汉大学 一种适用于多视角自动化配准多站地面激光点云数据的方法
WO2022012229A1 (zh) * 2020-07-15 2022-01-20 京东科技信息技术有限公司 机器人的重定位方法及装置、存储介质、电子设备
CN112767485A (zh) * 2021-01-26 2021-05-07 哈尔滨工业大学（深圳） 一种基于静态语义信息的点云地图创建与场景辨识方法
CN113034584A (zh) * 2021-04-16 2021-06-25 广东工业大学 一种基于物体语义路标的移动机器人视觉定位方法
CN114088099A (zh) * 2021-11-18 2022-02-25 北京易航远智科技有限公司 基于已知地图的语义重定位方法、装置、电子设备及介质
CN115330861A (zh) * 2022-07-11 2022-11-11 东北大学 基于物体平面共同表示和语义描述符匹配的重定位算法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012497A (zh) * 2023-03-29 2023-04-25 腾讯科技（深圳）有限公司 动画重定向方法、装置、设备及介质
CN116012497B (zh) * 2023-03-29 2023-05-30 腾讯科技（深圳）有限公司 动画重定向方法、装置、设备及介质
CN116105603A (zh) * 2023-04-13 2023-05-12 安徽蔚来智驾科技有限公司 用于确定移动物体在场所中的位置的方法及系统
CN116105603B (zh) * 2023-04-13 2023-09-19 安徽蔚来智驾科技有限公司 用于确定移动物体在场所中的位置的方法及系统
CN117807252A (zh) * 2024-02-29 2024-04-02 创意信息技术股份有限公司 一种基于知识图谱的数据处理方法、装置、系统及存储介质
CN117807252B (zh) * 2024-02-29 2024-04-30 创意信息技术股份有限公司 一种基于知识图谱的数据处理方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN115683129B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN115683129B (zh) 一种基于高清地图的长期重定位方法和装置
Toft et al. Semantic match consistency for long-term visual localization
Sattler et al. Efficient & effective prioritized matching for large-scale image-based localization
Schönberger et al. Semantic visual localization
Baatz et al. Large scale visual geo-localization of images in mountainous terrain
Irschara et al. From structure-from-motion point clouds to fast location recognition
Sattler et al. Fast image-based localization using direct 2d-to-3d matching
Baatz et al. Leveraging 3D city models for rotation invariant place-of-interest recognition
CN109858361B (zh) 基于街景图像匹配重复结构建筑的定位方法
Lin et al. A fast, complete, point cloud based loop closure for LiDAR odometry and mapping
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
Tran et al. On-device scalable image-based localization via prioritized cascade search and fast one-many ransac
Shi et al. Visual localization using sparse semantic 3D map
Son et al. A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments
Mousavian et al. Semantic image based geolocation given a map
Thoma et al. Soft contrastive learning for visual localization
Sadeghi et al. 2DTriPnP: A robust two-dimensional method for fine visual localization using Google streetview database
Cieslewski et al. Matching features without descriptors: implicitly matched interest points
Lu et al. Memory efficient large-scale image-based localization
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
Wang et al. LTSR: Long-term semantic relocalization based on HD map for autonomous vehicles
Yue et al. Automatic vocabulary and graph verification for accurate loop closure detection
She et al. Image patch-matching with graph-based learning in street scenes
Jin Kim et al. Learned contextual feature reweighting for image geo-localization
Shi et al. Dense semantic 3D map based long-term visual localization with hybrid features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant