CN115752476B - 一种基于语义信息的车辆地库重定位方法、装置、设备和介质 - Google Patents
一种基于语义信息的车辆地库重定位方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN115752476B CN115752476B CN202211510746.8A CN202211510746A CN115752476B CN 115752476 B CN115752476 B CN 115752476B CN 202211510746 A CN202211510746 A CN 202211510746A CN 115752476 B CN115752476 B CN 115752476B
- Authority
- CN
- China
- Prior art keywords
- landmark
- matched
- library
- result
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 85
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 239000003550 marker Substances 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 28
- 230000008859 change Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Navigation (AREA)
Abstract
本发明涉及机器人导航定位技术以及自动驾驶技术领域，具体涉及一种基于语义信息的车辆地库重定位方法、装置、设备和介质，方法包括：接收重定位功能机制触发信号；进行局部地标检测，得到地标检测结果；将所述地标检测结果同矢量地图库中的地标进行全局匹配，获得第一定位结果；采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数；利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果。本发明提供的车辆地库重定位方法可以在定位失效且不受光线变化条件干扰情况下，达到快速重定位的目的，能够满足大部分功能场景车辆地库重定位的情况，也能保证精准实现自动泊车功能。
Description
技术领域
本发明涉及机器人导航定位技术以及自动驾驶技术领域，具体涉及一种基于语义信息的车辆地库重定位方法、装置、设备和介质。
背景技术
当前车辆在地库中实现自动泊车，大多数采用的是AVP，全称Automated ValetParking，中文名“自动代客泊车系统”。作为自动驾驶在泊车场景下的应用，AVP实现的是全自动驾驶代客泊车功能，最终目标是取代传统的人工代客泊车，帮助用户节省大量的停车时间，解决高峰期排队停车的痛点。
AVP涉及的细分场景复杂，技术难度大，并且对保证车辆安全性来说，也是巨大的挑战。目前行业还没有量产的产品面世。而AVP场景的完整功能实现涉及车联网、感知识别、同步定位、规划控制等多个领域，其中涉及的关键技术有高精地图、SLAM、融合感知、融合定位、路径规划等。其中，定位方向对整个功能场景起到了至关重要的角色。
传统车辆的定位主要依赖于GNSS，即全球导航卫星系统，如GPS、北斗等。但GNSS的定位精度只有米级，无法满足自动驾驶的定位需求；同时对于AVP来说，卫星信号无法覆盖地下车库的场景，故而传统GNSS定位会失效。
发明内容
鉴于以上所述现有技术的缺点，本发明提供了一种基于语义信息的车辆地库重定位方法、设备和介质，能够在车辆定位失效的情况下快速重定位还同时不受光线干扰，保证车辆能够在定位失效时重新定位准确找到当前所在位置。
为实现上述目的及其他相关目的，本发明提供一种基于语义信息的车辆地库重定位方法，包括如下步骤：接收重定位功能机制触发信号；
进行局部地标检测，得到地标检测结果；将所述地标检测结果同矢量地图库中的地标进行全局匹配，获得第一定位结果；采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数；利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果。
在本发明的一可选实施例中，重定位功能机制的触发条件包括：
获取车辆的环境图像；将所述环境图像进行语义分割，分割结果在图像中以像素点的形式表征；将分割结果中的像素点与所述矢量地图库中的特征向量点进行匹配；当在所述矢量地图库中匹配不到对应的所述特征向量点时，触发重定位功能机制。
在本发明的一可选实施例中，在接收重定位功能机制触发信号步骤之前还包括：
建立地标向量组地图库，所述地标向量组地图库包括多组路标向量，其中，所述路标向量包括中心位置、方向向量和路面标记的元素类别。
在本发明的一可选实施例中，进行局部地标检测，得到地标检测结果的步骤包括：
重新获取所述车辆的环境图像，对所述环境图像进行语义分割，以分割出所述环境图像中路面标记，其中，所述路面标记在图像中以像素的形式表征；对分割出的所述路面标记的像素进行矢量化处理，提取所述路面标记的轮廓点；根据所述路面标记的轮廓点计算中心位置，以作为所述路面标记的中心位置；根据所述路面标记的轮廓点，来获取所述路面标记的方向向量；根据所述中心位置、所述方向向量和元素类别组成当前车辆位置的地标检测结果。
在本发明的一可选实施例中，根据所述路面标记的轮廓点，来获取所述路面标记的方向向量，具体包括：当所述路面标记为箭头元素，根据主成分分析方法对箭头元素进行处理，得到所述箭头元素的轮廓点，根据所述箭头元素的轮廓点计算中心位置，以作为所述路面标记的中心位置得到实际箭头指向的方向向量。在本发明的一可选实施例中，将所述地标检测结果同矢量地图库中的地标进行全局匹配，获得第一定位结果步骤包括：
通过卡尔曼滤波器追踪惯性测量单元以及轮速里程计航迹推算结果，得到所述地标检测结果的圆形覆盖范围；
根据所述卡尔曼滤波器所提供的针对定位均值和方差的高斯分布的结果若包含在所述地标检测结果的圆形覆盖范围，则进行全局匹配，若不包含在所述地标检测结果的圆形覆盖范围，则舍弃；将所述地标检测结果同矢量地图库中的地标进行全局匹配，获得第一定位结果；在矢量地图库中筛选出同所述地标检测结果的圆形覆盖范围的地标元素类别排列组合相同的至少一个待匹配地标；对筛选出的所述至少一个待匹配地标与所述地标向量组地图库中的地标的两个地标进行匹配计算，将匹配成功的待匹配地标作为所述第一定位结果。
在本发明的一可选实施例中，对筛选出的所述至少一个待匹配地标与所述地标向量组地图库中的地标进行匹配计算，将匹配成功的待匹配地标作为所述第一定位结果的步骤包括：
若筛选出多个待匹配地标，对所述多个待匹配地标逐个计算中心位置的距离和角度朝向进行计算；若得到所述中心位置的距离小于预设值，所述角度朝向小于预设角度，则两个地标匹配成功，将匹配成功的待匹配地标作为所述第一定位结果。
在本发明的一可选实施例中，对筛选出的所述至少一个待匹配地标与所述地标向量组地图库中的地标进行匹配计算，得到所述第一定位结果的步骤还包括：
若筛选出一个待匹配地标，则两个地标匹配成功，将匹配成功的待匹配地标作为所述第一定位结果。
在本发明的一可选实施例中，采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数的步骤包括：
将待匹配的地标所占的局部空间进行体素化；计算每个体素的多维正态分布参数；根据所述多维正态分布参数计算网格的概率分布模型；变换所述地标向量组地图库中对应的地标到参考坐标系下；计算对应点落在对应所述网格中的概率，通过基于栅格化地图的算法处理，得到配准得分函数。
在本发明的一可选实施例中，利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果的步骤包括：
对所述配准得分函数通过高斯牛顿算法进行迭代优化，得到第二定位结果。
为实现上述目的及其他相关目的，本发明还提供一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现所述的基于语义信息的车辆地库重定位方法。
为实现上述目的及其他相关目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行所述的基于语义信息的车辆地库重定位方法。
本发明的有益效果：本发明的基于语义信息的车辆地库重定位方法，仅使用车载环视相机、IMU、轮速里程计等车载装置实现，结合视觉语义信息构建语义矢量地图，通过地图匹配功能实现车辆在地库中的语义定位，同时针对现有方案重定位功能存在的局限性以及感知的偏差，采用语义信息构建独特的地标组，采用地标组匹配功能实现车辆在地库环境下的重定位，有效解决了现有技术中存在的视觉感知偏差以及地库场景单一、环境一致性的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明的实施例所提供的基于语义信息的车辆地库重定位方法的应用场景示意图；
图2是本发明的实施例所提供的基于语义信息的车辆地库重定位方法的流程图；
图3是本发明的实施例所提供的重定位功能机制的触发条件的流程图；
图4是本发明的实施例所提供的局部地标检测的流程图；
图5是本发明的实施例所提供的获得第一定位结果的流程图；
图6是本发明的实施例所提供的得到配准得分函数的流程图；
图7是本发明的实施例所提供的基于语义信息的车辆地库重定位方法的具体流程图；
图8是本发明的实施例所提供的自动驾驶的数据记录装置的功能模块框图；
图9是本发明的实施例所提供的电子设备的结构框图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
电子信息技术主要是通过对电子技术的运用来实现对信息的获取、传递、处理并对信息加以利用的现代化技术。电子信息技术集多种技术于一身，主要包含了计算机技术、传感技术、通信技术和信号处理技术等多种技术内容。目前电子信息技术已经被广泛的运用到生产生活的各个领域当中，电子信息技术产业化发展趋势越来越明显。通信设备制造业、计算机及相关设备制造业、微电子和元器件制造业、视频音频产品、专用信息应用设备制造业、软件业以及信息服务业和网络建设等多个领域都广泛的运用电子信息技术。
机器人的导航技术牵涉到两个技术，分别是定位技术和路径规划，定位是确定移动机器人在二维工作环境中相对于全局坐标的位置及其本身的姿态，是移动机器人导航的最基本环节。基于对应关系的定位可以将定位分为相对定位和绝对定位。通过一定的检测手段获取移动机器人在空间中的位置、方向以及所处环境的信息，并用一定的算法对所获信息进行处理并建立环境模型，从而寻找一条最优或近似最优的无碰路径，实现移动机器人安全移动的路径规划。通常机器人导航模块在机器人运动之前会根据静态地图，利用全局规划器(路径规划算法)计算出一条可行的路径，然后将全局路径上的路径点设置给局部规划器(局部避障算法)当作目标点，局部规划器根据机器人周围的环境信息规划出控制指令发送给执行器。全局规划器与局部规划器的结合使得机器人既能快速的到达目标地，同时也可以避让环境中的动态障碍物。
自动驾驶系统是一个汇集众多高新技术的综合系统，作为关键环节的环境信息获取和智能决策控制依赖于传感器技术、图像识别技术、电子与计算机技术与控制技术等一系列高新技术的创新和突破。无人驾驶汽车要想取得长足的发展，有赖于多方面技术的突破和创新。自动驾驶系统相关的关键技术，包括环境感知、逻辑推理和决策、运动控制、处理器性能等。随着机器视觉(如3D摄像头技术)、模式识别软件(如光学字符识别程序)和光达系统(已结合全球定位技术和空间数据)的进步，车载计算机可以通过将机器视觉、感应器数据和空间数据相结合来控制汽车的行驶。
在其它的应用场景中，针对数据的信息传输据实际情况进行设置，本发明的实施例不对此进行限制。
图1是本发明的实施例所提供的基于语义信息的车辆地库重定位方法的应用场景示意图，当车辆在地库定位失效时，车载环视相机提供对车辆周边环境的拼接俯视图像信息，拼接完成后采用U-net深度学习网络对图像信息进行语义分割，分割结果在图像中以像素的形式表征，得到像素点后，将像素点与矢量地图中的特征向量点进行匹配，当无法匹配时触发重定位机制。
当机制触发后，重新获取环境图像信息，并进行语义分割，对分割后的路面标记进行矢量化处理，提取路面标记的轮廓点后，得到轮廓点的中心位置、路面标记的方向向量和元素类别，从而组成地标检测结果，并判断当前检测地标是否符合匹配标准，若符合则根据地标检测结果在矢量地图库中筛选出类别排列组合相同的至少一个地标，对筛选出的地标逐个进行匹配计算，匹配成功的则得到第一定位结果。采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数，利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
图2是本发明的实施例所提供的基于语义信息的车辆地库重定位方法的流程图，一种车辆地库重定位方法，需要说明的是，本发明采用U-net深度学习网络对环视拼接信息进行语义分割，得到的分割结果标签包括，车道线、库位线、减速带和地面箭头等标记，这里的环视拼接信息是由硬件装置的车载环视摄像头提供的。该方法可以应用于图1所示的实施环境，应理解的是，该方法也可以适用于其他的实例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。进一步地，本发明所提及的车辆地库重定位方法的硬质装置采用的是量产车型配置传感器，量产车型配置传感器包括，论述里程计、惯性测量单元和环视摄像头。
如图2所示，本实施例的车辆地库重定位方法至少包括：
步骤S21：接收重定位功能机制触发信号。这里需要说明的是在接收重定位功能机制触发型号步骤之前包括：
建立地标向量组地图库，所述地标向量组地图库包括多组路标向量，其中，所述路标向量包括中心位置、方向向量和路面标记的元素类别。这里需要说明的是，地标向量组地图库是利用语义信息的可观测类别的特性而建立的。
步骤S22：进行局部地标检测，得到地标检测结果。
步骤S23：将所述地标检测结果同矢量地图库中的地标进行全局匹配，获得第一定位结果。
步骤S24：采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数。需要说明的是用栅格化地图的算法将所述第一结果离散为相同大小的网格，方便后续步骤的实现。
步骤S25：利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果。
如图3所示，本实施例所提供的重定位功能机制的触发条件具体包括：
步骤S31：获取车辆的环境图像。这里需要说明的是环境图像是由安装在车辆的前后车标以及左右后视镜上的多个环视摄像头所捕获，进行环视拼接，为车辆周围环境提供360度成像，完整提供车辆周边环境的拼接俯视图像信息。
步骤S32：将所述环境图像进行语义分割，分割结果在图像中以像素点的形式表征。这里的分割结果包括车道线、库位线、减速带和地面箭头等路面标记。
步骤S33：将分割结果中的像素点与所述矢量地图库中的特征向量点进行匹配。
步骤S34：当在所述矢量地图库中匹配不到对应的所述特征向量点时，触发重定位功能机制。这里说明的是匹配不到对应所述特征向量点，在一具体实施例中是指匹配的所述特征向量点的数量过少，在另一具体实施例中是指此时矢量地图库中的像素点被孤立，当孤立的像素点在连续帧的检测中都无法匹配矢量图中的所述特征向量点。
如图4所示，本实施例所提供的局部地标检测具体包括：
步骤S41：采用环视摄像头重新获取所述车辆的环境图像，采用U-net深度学习网络对所述环境图像进行语义分割，以分割出所述环境图像中路面标记，其中，所述路面标记在图像中以像素的形式表征，需要说明的是语义分割能够很好的滤除动态物体对环境变化及建图的影响，使得建图环境中只存在静态目标物体。
步骤S42：对分割出的所述路面标记的像素进行矢量化处理，提取所述路面标记的轮廓点。
步骤S43：根据所述路面标记的轮廓点计算中心位置，以作为所述路面标记的中心位置。需要说明的是这里的中心位置即所述路面标记的质心。
步骤S44：根据所述路面标记的轮廓点，来获取所述路面标记的方向向量。需要说明的是，需要说明的是路面标记包括墙体、车道线、停车线、箭头、文本、减速带等静态目标物体，在一具体实施例中，当所述路面标记为箭头元素时，则采用主成分分析方法对箭头元素进行处理，得到所述箭头元素的轮廓点，并根据所述箭头元素的轮廓点计算中心位置，以作为所述路面标记的中心位置，得到实际箭头所指向的方向向量，本发明是对箭头元素采用主成分分析方法，对于其他元素的轮廓提取也属于本发明保护范围。
进一步的，在一实施例中，在获取所述路面标记的方向向量之前，对于非标准大小的轮廓将被剔除，这里的非标准大小包括非国家标准尺度大小、非完整轮廓等，来保证后续获取所述路面标记的方向向量更加精准，减少筛选时间。
步骤S45：根据所述中心位置、所述方向向量和元素类别组成当前车辆位置的地标检测结果。
如图5所示，本实施例所提供的获得第一定位结果具体包括：
步骤S51：通过卡尔曼滤波器追踪惯性测量单元以及轮速里程计航迹推算结果，得到所述地标检测结果的圆形覆盖范围。这里的圆形覆盖范围是通过卡尔曼滤波器追踪惯性测量单元以及轮速里程计的航迹推算结果得到的，在一具体实施例中圆形覆盖范围是为了确定定位预测的结果以及感知路标所在的可能。
步骤S52：根据所述卡尔曼滤波器所提供的针对定位均值和方差的高斯分布的结果若包含在所述地标检测结果的圆形覆盖范围，则进行全局匹配，若不包含在所述地标检测结果的圆形覆盖范围，则舍弃。需要说明的是，上述方法是作为判断当前检测地标是否用来做匹配的标准。
进一步，在一具体实施例中，对于分层的地库，地标的相似度会很高，导致无法使用上述方法作为判断当前检测地标是否用来做匹配标准，此时可以根据车辆的轮速里程计的运行状态判断车辆是否上下楼，从而在定位失效前确认车辆当前所在楼层。
在另一具体实施例中，可以根据气压计来判断车辆的里程从而判断车辆所在楼层。
步骤S53：将所述地标检测结果同矢量地图库中的地标进行全局匹配，获得第一定位结果。
步骤S54：在矢量地图库中筛选出同所述地标检测结果的圆形覆盖范围的地标元素类别排列组合相同的至少一个待匹配地标。
步骤S55：对筛选出的所述至少一个待匹配地标与所述地标向量组地图库中的地标的两个地标进行匹配计算，将匹配成功的待匹配地标作为所述第一定位结果；具体包括：
在一具体实施例中，若筛选出多个待匹配地标，对所述多个待匹配地标逐个计算中心位置的距离和角度朝向进行计算；
若得到所述中心位置的距离小于预设值，所述角度朝向小于预设角度，则两个地标匹配成功，将匹配成功的待匹配地标作为所述第一定位结果。
在另一具体实施例中，若筛选出一个待匹配地标，则两个地标匹配成功，将匹配成功的待匹配地标作为所述第一定位结果。
如图6所示，本实施例所提供的得到配准得分函数具体包括：
步骤S61：将待匹配的地标所占的局部空间进行体素化。需要说明的是体素化是指将物体的几何形式表示转化成最接近该物体的体素表示形式，产生体数据，包含模型的表面信息和内部属性。
步骤S62：计算每个体素的多维正态分布参数；
步骤S63：根据所述多维正态分布参数计算网格的概率分布模型。这里的概率分布模型包括离散概率分布、连续概率分布和几何分布等模型。
步骤S64：变换所述地标向量组地图库中对应的地标到参考坐标系下，以便更好更便捷的进行计算概率。
步骤S65：计算对应点落在对应所述网格中的概率，通过基于栅格化地图的算法处理，得到配准得分函数。需要说明的是，栅格化地图算法是根据特定分辨率将外部环境离散为相同大小的网格，每个栅格由状态表示，即占用状态和空闲状态，指示栅格位置是否是障碍物。路径规划算法占用一个栅格，并通过搜索自由栅格并避开障碍物来规划由多个栅格组成的路径，本发明使用栅格化地图是为了将不规则形状的障碍物可栅格化，提高分辨率，准确的表达车辆周围的局部空间信息。
本发明基于语义信息特征信息，为了实现车辆地库重定位，建立了地标向量组地图库，并获得路面标记的中心位置、方向向量和元素类别，在保证获得第二定位结果的同时，保证在重定位时不受光线变化条件的干扰，这种在基于语义特征信息地标情况下，有效解决了现有技术中存在的视觉感知偏差以及地库场中场景单一，环境一致性的问题。
图7是本发明的实施例所提供的基于语义信息的车辆地库重定位方法的具体流程图，以下结合一种具体实施例对本发明的技术方案进行说明：
在建立地标向量组地图库的基础上，当车辆在追踪定位失效的情况下，会触发重定位机制，触发重定位机制的关键在于通过对车辆所捕获的环视图像信息进行语义分割，当确定触发重定位功能的机制后进行局部检测，得到地标检测结果，并根据这个地标检测结果进行全局匹配，得到第一定位结果，采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数，利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果。
综上所述，通过本发明提供的基于语义信息的车辆地库重定位方法，可以达在追踪失效时对车辆进行重定位的目的，能够满足大部分功能场景的车辆地库重定位情况，也能保证精准实现自动泊车功能。
图8是本发明的实施例所提供的基于语义信息的车辆地库重定位装置的功能模块框图本发明提供的是基于语义信息的车辆地库重定位装置包括接收触发信号模块81、局部地标检测模块82、全局匹配模块83、算法处理模块84、迭代优化模块85，接收触发信号模块81，是为了接收重定位功能机制触发信号；局部地标检测模块82，是为了进行局部地标检测，得到地标检测结果；全局匹配模块83，是为了将所述地标检测结果同矢量地图库中的地标进行全局匹配，获得第一定位结果，算法处理模块84，是为了采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数；迭代优化模块85，是为了利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果。
需要说明的是，上述实施例所提供的如图8所示基于语义信息的车辆地库重定位装置与上述实施例所提供的自动驾驶的数据记录和回放方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的基于语义信息的车辆地库重定位装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本发明的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的基于语义信息的车辆地库重定位方法。
图9示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。需要说明的是，图9示出的电子设备的计算机系统900仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理单元(Central Processing Unit，CPU)601，其可以根据存储在只读存储器(Read-Only Memory，ROM)902中的程序或者从储存部分906加载到随机访问存储器(Random Access Memory，RAM)903中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM902以及RAM 903通过总线904彼此相连。输入/输出(Input/Output，I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分907；包括硬盘等的储存部分906；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入储存部分906。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的系统中限定的各种功能。
需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本发明的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前基于语义信息的车辆地库重定位方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本发明的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的基于语义信息的车辆地库重定位方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于语义信息的车辆地库重定位方法，其特征在于，包括：
接收重定位功能机制触发信号；
进行局部地标检测，得到当前车辆位置的地标检测结果；
通过卡尔曼滤波器追踪惯性测量单元以及轮速里程计航迹推算结果，得到所述地标检测结果的圆形覆盖范围；
根据所述卡尔曼滤波器所提供的针对定位均值和方差的高斯分布的结果若包含在所述地标检测结果的圆形覆盖范围，则进行全局匹配；
在矢量地图库中筛选出同所述地标检测结果的圆形覆盖范围的地标元素类别排列组合相同的至少一个待匹配地标；
对筛选出的所述至少一个待匹配地标与地标向量组地图库中的地标进行匹配计算，将匹配成功的待匹配地标作为第一定位结果；
采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数；
利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果；
其中，所述重定位功能机制的触发条件包括：
获取车辆的环境图像；
将所述环境图像进行语义分割，分割结果在图像中以像素点的形式表征；
将分割结果中的像素点与所述矢量地图库中的特征向量点进行匹配；
当在所述矢量地图库中匹配不到对应的所述特征向量点时，触发重定位功能机制；
其中，在接收所述重定位功能机制触发信号步骤之前还包括：
建立所述地标向量组地图库，所述地标向量组地图库包括多组路标向量，其中，所述路标向量包括中心位置、方向向量和路面标记的元素类别。
2.根据权利要求1所述的基于语义信息的车辆地库重定位方法，其特征在于，进行局部地标检测，得到当前车辆位置的地标检测结果的步骤包括：
重新获取所述车辆的环境图像，对所述环境图像进行语义分割，以分割出所述环境图像中路面标记，其中，所述路面标记在图像中以像素的形式表征；
对分割出的所述路面标记的像素进行矢量化处理，提取所述路面标记的轮廓点；
根据所述路面标记的轮廓点计算中心位置，以作为所述路面标记的中心位置；
根据所述路面标记的轮廓点，来获取所述路面标记的方向向量；
根据所述中心位置、所述方向向量和元素类别组成当前车辆位置的地标检测结果。
3.根据权利要求2所述的基于语义信息的车辆地库重定位方法，其特征在于，根据所述路面标记的轮廓点，来获取所述路面标记的方向向量，具体包括：
当所述路面标记为箭头元素，根据主成分分析方法对箭头元素进行处理，得到所述箭头元素的轮廓点，根据所述箭头元素的轮廓点计算中心位置，以作为所述路面标记的中心位置得到实际箭头指向的方向向量。
4.根据权利要求1所述的基于语义信息的车辆地库重定位方法，其特征在于，对筛选出的所述至少一个待匹配地标与所述地标向量组地图库中的地标进行匹配计算，将匹配成功的待匹配地标作为所述第一定位结果的步骤包括：
若筛选出多个待匹配地标，对所述多个待匹配地标逐个计算中心位置的距离和角度朝向进行计算；
若得到所述中心位置的距离小于预设值，所述角度朝向小于预设角度，则两个地标匹配成功，将匹配成功的待匹配地标作为所述第一定位结果。
5.根据权利要求4所述的基于语义信息的车辆地库重定位方法，其特征在于，对筛选出的所述至少一个待匹配地标与所述地标向量组地图库中的地标进行匹配计算，得到所述第一定位结果的步骤还包括：
若筛选出一个待匹配地标，则两个地标匹配成功，将匹配成功的待匹配地标作为所述第一定位结果。
6.根据权利要求1所述的基于语义信息的车辆地库重定位方法，其特征在于，采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数的步骤包括：
将待匹配的地标所占的局部空间进行体素化；
计算每个体素的多维正态分布参数；
根据所述多维正态分布参数计算网格的概率分布模型；
变换所述地标向量组地图库中对应的地标到参考坐标系下；
计算对应点落在对应所述网格中的概率，通过基于栅格化地图的算法处理，得到配准得分函数。
7.根据权利要求6所述的基于语义信息的车辆地库重定位方法，其特征在于，利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果的步骤包括：
对所述配准得分函数通过高斯牛顿算法进行迭代优化，得到第二定位结果。
8.一种基于语义信息的车辆地库重定位的装置，其特征在于，包括：
接收触发信号模块，接收重定位功能机制触发信号；
局部地标检测模块，进行局部地标检测，得到当前车辆位置的地标检测结果；
全局匹配模块，通过卡尔曼滤波器追踪惯性测量单元以及轮速里程计航迹推算结果，得到所述地标检测结果的圆形覆盖范围，根据所述卡尔曼滤波器所提供的针对定位均值和方差的高斯分布的结果若包含在所述地标检测结果的圆形覆盖范围，则进行全局匹配；在矢量地图库中筛选出同所述地标检测结果的圆形覆盖范围的地标元素类别排列组合相同的至少一个待匹配地标，对筛选出的所述至少一个待匹配地标与地标向量组地图库中的地标进行匹配计算，将匹配成功的待匹配地标作为第一定位结果；
算法处理模块，采用基于栅格化地图的算法对所述第一定位结果进行处理，得到配准得分函数；
迭代优化模块，利用高斯牛顿算法对所述配准得分函数进行迭代优化，得到第二定位结果；
其中，所述重定位功能机制的触发条件包括：
获取车辆的环境图像；
将所述环境图像进行语义分割，分割结果在图像中以像素点的形式表征；
将分割结果中的像素点与所述矢量地图库中的特征向量点进行匹配；
当在所述矢量地图库中匹配不到对应的所述特征向量点时，触发重定位功能机制；
其中，在接收所述重定位功能机制触发信号步骤之前还包括：
建立所述地标向量组地图库，所述地标向量组地图库包括多组路标向量，其中，所述路标向量包括中心位置、方向向量和路面标记的元素类别。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1-7中任一项所述的基于语义信息的车辆地库重定位方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的基于语义信息的车辆地库重定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211510746.8A CN115752476B (zh) | 2022-11-29 | 2022-11-29 | 一种基于语义信息的车辆地库重定位方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211510746.8A CN115752476B (zh) | 2022-11-29 | 2022-11-29 | 一种基于语义信息的车辆地库重定位方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115752476A CN115752476A (zh) | 2023-03-07 |
| CN115752476B true CN115752476B (zh) | 2024-06-18 |
Family
ID=85340231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211510746.8A Active CN115752476B (zh) | 2022-11-29 | 2022-11-29 | 一种基于语义信息的车辆地库重定位方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115752476B (zh) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8953856B2 (en) * | 2008-11-25 | 2015-02-10 | Algotec Systems Ltd. | Method and system for registering a medical image |
| CN110147095A (zh) * | 2019-03-15 | 2019-08-20 | 广东工业大学 | 基于路标信息与多传感器数据融合的机器人重定位方法 |
| US11867818B2 (en) * | 2020-05-29 | 2024-01-09 | Faro Technologies, Inc. | Capturing environmental scans using landmarks based on semantic features |
| CN111780763B (zh) * | 2020-06-30 | 2022-05-06 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN111949943B (zh) * | 2020-07-24 | 2022-08-30 | 北京航空航天大学 | 一种面向高级自动驾驶的v2x和激光点云配准的车辆融合定位方法 |
| US20230306761A1 (en) * | 2020-09-02 | 2023-09-28 | The General Hospital Corporation | Methods for identifying cross-modal features from spatially resolved data sets |
| CN112902953B (zh) * | 2021-01-26 | 2022-10-04 | 中国科学院国家空间科学中心 | 一种基于slam技术的自主位姿测量方法 |
| CN113537208B (zh) * | 2021-05-18 | 2024-06-11 | 杭州电子科技大学 | 一种基于语义orb-slam技术的视觉定位方法及系统 |
| CN113409410B (zh) * | 2021-05-19 | 2024-04-02 | 杭州电子科技大学 | 一种基于3d激光雷达的多特征融合igv定位与建图方法 |
| CN113256712B (zh) * | 2021-06-01 | 2023-04-18 | 北京有竹居网络技术有限公司 | 定位方法、装置、电子设备和存储介质 |
| CN113865580B (zh) * | 2021-09-15 | 2024-03-22 | 北京易航远智科技有限公司 | 构建地图的方法、装置、电子设备及计算机可读存储介质 |
| CN114543819B (zh) * | 2021-09-16 | 2024-03-26 | 北京小米移动软件有限公司 | 车辆定位方法、装置、电子设备及存储介质 |
| CN114821363A (zh) * | 2022-03-29 | 2022-07-29 | 群周科技(上海)有限公司 | 一种基于语义信息匹配的无人机定位建图方法及系统 |
| CN114812573A (zh) * | 2022-04-22 | 2022-07-29 | 重庆长安汽车股份有限公司 | 基于单目视觉特征融合的车辆定位方法及可读存储介质 |
| CN114964236A (zh) * | 2022-05-25 | 2022-08-30 | 重庆长安汽车股份有限公司 | 一种针对地下停车场环境的建图与车辆定位系统及方法 |
-
2022
- 2022-11-29 CN CN202211510746.8A patent/CN115752476B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 惯导辅助视觉组合导航技术研究;陈墨;中国优秀硕士学位论文全文数据库 (信息科技辑);20210715;I136-466 * |
| 移动机器人自主定位与三维语义地图构建算法研究;何乃超;中国优秀硕士学位论文全文数据库 (信息科技辑);20210215;I140-939 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115752476A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110497901B (zh) | 一种基于机器人vslam技术的泊车位自动搜索方法和系统 | |
| US10192113B1 (en) | Quadocular sensor design in autonomous platforms | |
| US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
| US10496104B1 (en) | Positional awareness with quadocular sensor in autonomous platforms | |
| US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
| US11094112B2 (en) | Intelligent capturing of a dynamic physical environment | |
| CN107145578B (zh) | 地图构建方法、装置、设备和系统 | |
| CN112740268B (zh) | 目标检测方法和装置 | |
| CN111492403A (zh) | 用于生成高清晰度地图的激光雷达到相机校准 | |
| WO2019092418A1 (en) | Method of computer vision based localisation and navigation and system for performing the same | |
| CN112734765B (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
| CN110136058B (zh) | 一种基于俯视拼接图的建图方法及车载终端 | |
| CN111353453B (zh) | 用于车辆的障碍物检测方法和装置 | |
| US20230266129A1 (en) | Map selection for vehicle pose system | |
| KR20230008000A (ko) | 차선 및 특징 포인트에 기초한 위치확정방법 및 장치, 전자장비, 저장매체, 컴퓨터 프로그램 및 자율주행차량 | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN110780325B (zh) | 运动对象的定位方法及装置、电子设备 | |
| CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
| Golovnin et al. | Video processing method for high-definition maps generation | |
| CN115752476B (zh) | 一种基于语义信息的车辆地库重定位方法、装置、设备和介质 | |
| CN116678424A (zh) | 高精度车辆定位、矢量化地图构建及定位模型训练方法 | |
| CN113469045B (zh) | 无人集卡的视觉定位方法、系统、电子设备和存储介质 | |
| CN111754388A (zh) | 一种建图方法及车载终端 | |
| CN113158816B (zh) | 面向室外场景物体的视觉里程计二次曲面路标构建方法 | |
| CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |