CN117541465A - 一种基于特征点的地库定位方法、系统、车辆及存储介质 - Google Patents
一种基于特征点的地库定位方法、系统、车辆及存储介质 Download PDFInfo
- Publication number
- CN117541465A CN117541465A CN202210911951.9A CN202210911951A CN117541465A CN 117541465 A CN117541465 A CN 117541465A CN 202210911951 A CN202210911951 A CN 202210911951A CN 117541465 A CN117541465 A CN 117541465A
- Authority
- CN
- China
- Prior art keywords
- information
- pixel
- feature point
- points
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000010330 laser marking Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
Abstract
本申请公开了一种基于特征点的地库定位方法、系统、车辆及存储介质，属于数据处理技术领域。该方法主要包括：对多个相机实时分别拍摄到的图片进行图像拼接，获取全景拼接图；对全景拼接图进行全局初始化，获取初始位姿；提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息；利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取3维地图点；计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差；根据像素误差对初始位姿进行优化，获取位姿信息。通过地库中特征物体对应的特征点与3维地图的匹配，以在3维地图中对车辆定位，提高定位的准确性。
Description
技术领域
本申请涉及数据处理技术领域，特别涉及一种基于特征点的地库定位方法、系统、车辆及存储介质。
背景技术
固定物体的特征点信息是汽车实现自动驾驶最重要的环境感知信息之一。利用特征点信息自动驾驶汽车才能够保持安全行驶在当前空间。同时，准确的特征点能够使车辆的行驶过程中能够更加准确的进行判断，提升体验感和安全性。
在现有技术中，多采用为固定物体激光标识，以使得通过激光标线的反射获取该特征点的定位信息，或采用GPS(全球定位系统)定位的方式获取该特征点的定位信息。
然而，对于贴激光标识的方式来说，该方式需要前期花费大量人力资源来为固定物体激光标识，并且地图定位的区域非常广，人力为全部的固定物体激光标识基本不能实现；而对于采用GPS定位的方式，当GPS应用于地库或高层时，往往精度受影响，因此GPS的局限性强，另外，在一些特殊环境下，例如雨天、阴天等时上述两种方案都会对点位的精度造成很大影响。
发明内容
针对现有技术存在的消耗人力资源、局限性强以及受环境影响大的问题，本申请主要提供一种基于特征点的地库定位方法、系统、车辆及存储介质。
第一方面，本申请实施例提供一种基于特征点的地库定位方法，其包括：对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；对全景拼接图进行全局初始化，获取车辆实时的初始位姿；提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息；利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点；计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差；以及根据像素误差对初始位姿进行优化，获取车辆的位姿信息。本申请实施例的技术方案基于纯视觉的方式，由于特征点对环境的变化鲁棒性极强，因此通过地库中特征物体对应的特征点对3维特征点地图的匹配，以在3维特征点地图中对车辆定位，提高定位的准确性。
可选地，利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点，包括：分别计算3维地库特征点地图中的描述信息与特征点对应的描述信息之间的相似度；以及将相似度大于或等于预设相似阈值的3维地库特征点地图中的描述信息对应的3维地库特征点地图中的特征点，作为3维地图点。
可选地，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差，包括：将3维地图点投影到以多个相机中任一相机为中心建立的相机坐标系中，获取3维地图点对应的像素信息；以及计算3维地图点对应的像素信息与特征点的像素信息之间的像素误差。
可选地，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差，还包括：将3维地图点分别投影到以多个相机中每一相机为中心建立的相机坐标系中，获取多个3维地图点对应的像素信息；以及计算每一3维地图点对应的像素信息分别与特征点的像素信息之间的像素误差。
可选地，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差，还包括：将3维地图点投影到以车辆为中心建立的相机坐标系中，获取3维地图点对应的像素信息；以及计算3维地图点对应的像素信息与特征点的像素信息之间的像素误差。
可选地，根据像素误差对初始位姿进行优化，获取车辆的位姿信息，包括：若像素误差小于或等于预设误差阈值，则将初始位姿作为车辆的位姿信息；若像素误差大于预设误差阈值，则对初始位姿进行修正，将修正后的初始位姿作为车辆的位姿信息。
可选地，利用车辆装载的位置传感器系统获取的IMU信息与轮速信息，计算获取车辆的轮速轨迹信息；根据多帧的图片获取车辆的视觉轨迹信息；对轮速轨迹信息与视觉轨迹信息进行融合，获取车辆的位姿信息。由于利用相机获取的图片对应的是视觉里程计，相对于IMU信息与轮速信息计算生成的轮速里程计而言，频率较低；若定位的时刻不是相机的拍摄时间，因此利用视觉里程计无法获得定位信息，而高频的轮速里程计存有对应时刻的定位信息，因此将视觉里程计与轮速里程计进行融合，获取定位时刻的视觉里程计对应的位姿信息，提高位姿信息的精度。
第二方面，本申请实施例提供一种基于特征点的地库定位系统，其包括：图片拼接模块，对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；特征点提取模块，提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息；特征点匹配模块，利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点；误差计算模块，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差；以及定位模块，根据像素误差对初始位姿进行优化，获取车辆的位姿信息。
第三方面，本申请实施例提供一种车辆，其特征在于，车辆包括上述方案中的基于特征点的地库定位系统，其中基于特征点的地库定位系统包括：图片拼接模块，对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；特征点提取模块，提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息；特征点匹配模块，利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点；误差计算模块，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差；以及定位模块，根据像素误差对初始位姿进行优化，获取车辆的位姿信息。
第四方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被操作以执行上述方案中的基于特征点的地库定位方法。
第五方面，本申请实施例提供一种计算机设备，其包括：至少一个处理器，处理器和存储器耦合，存储器存储有计算机指令，其特征在于，计算机指令以执行方案一中的基于特征点的地库定位方法。
第六方面，本申请实施例提供一种计算机程序产品，其包含计算机指令，该计算机指令被操作以执行上述方案中的基于特征点的地库定位方法。
对于以上第二方面至第六方面对应方案的有益效果，参照前述第一方面中方案的有益效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一种基于特征点的地库定位方法的一个可选实施方式的示意图；
图2是本申请一种基于特征点的地库定位系统的一个可选实施方式的示意图；
图3是本申请一种计算机设备的一个具体实施方式示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
固定物体的特征点信息是汽车实现自动驾驶最重要的环境感知信息之一。利用特征点信息自动驾驶汽车才能够保持安全行驶在当前空间。同时，准确的特征点能够使车辆的行驶过程中能够更加准确的进行判断，提升体验感和安全性。
在现有技术中，多采用为固定物体激光标识，以使得通过激光标线的反射获取该特征点的定位信息，或采用GPS定位的方式获取该特征点的定位信息。
然而，对于贴激光标识的方式来说，该方式需要前期花费大量人力资源来为固定物体激光标识，并且地图定位的区域非常广，人力为全部的固定物体激光标识基本不能实现；而对于采用GPS定位的方式，当GPS应用于地库或高层时，往往精度受影响，因此GPS的局限性强，另外，在一些特殊环境下，例如雨天、阴天等时上述两种方案都会对点位的精度造成很大影响。
针对现有技术存在的问题，本申请主要提供一种基于特征点的地库定位方法、系统、车辆及存储介质。该方法主要包括：对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；对全景拼接图进行全局初始化，获取车辆实时的初始位姿；提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息；利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点；计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差；以及根据像素误差对初始位姿进行优化，获取车辆的位姿信息。
本申请实施例的技术方案基于纯视觉的方式，由于特征点对环境的变化鲁棒性极强，因此通过地库中特征物体对应的特征点对3维特征点地图的匹配，以在3维特征点地图中对车辆定位，提高定位的准确性。
下面，以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面述及的具体的实施例可以相互结合形成新的实施例。对于在一个实施例中描述过的相同或相似的思想或过程，可能在其他某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1示出了本申请一种基于特征点的地库定位方法的一个可选实施方式。
在图1所示的可选实施方式中，基于特征点的地库定位方法主要包括步骤S101，对多个相机实时分别拍摄到的地库鱼眼图片进行图像拼接，获取地库鱼眼图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围。
在该可选实施方式中，由于视觉的图片并不受环境、场景等外因的限制，GPS因受到高层的限制，使得在建立同一楼层的地图时，无法利用GPS获取精准的定位，因此采用利用视觉感知的相机建立该楼层的地图，以便进行定位；例如，在地下车库中对驶入车库的车辆进行实时定位时，在车辆周围安装相机，在进入车库时，各个相机实时拍摄图片；将图片进行编码，并在数据库中储存该图片对应的位姿信息，优选地相机可选用鱼眼相机。为后续的检索步骤提供基础；因此，在全局初始化的过程中，首先根据多个相机实时拍摄的图片，拼接获得全景拼接图。
在图1所示的可选实施方式中，基于特征点的地库定位方法还包括步骤S102，对全景拼接图进行全局初始化，获取车辆实时的初始位姿。
在该可选实施方式中，将全景拼接图输入预设的深度学习模型中，由模型输出描述该全景拼接图各个地面标识方位关系、大小形状等特性的描述信息；例如，全景拼接图的场景为地库的一个十字路口，道路上有减速带、车道线、左拐箭头、右拐箭头、斑马线、引导线等，道路两旁的车位线。根据该全景拼接图的描述信息获取车辆的初始位姿，为后续的重定位步骤提供基础。
在本申请的一个可选实例中，根据全景拼接图的描述信息在预建立的全局初始化模型中检索与之匹配的描述信息，将该描述信息所属类型的位姿信息作为车辆初始位姿；或将在预建立的全局初始化模型中检索获取的位姿信息作为先验位姿，对预建立的3维特征点地图与该全景拼接图中的特征点进行匹配，根据匹配成功的3维特征点地图中局部特征点地图对应的位姿信息，对先验位姿进行修正，获取车辆在当前帧的初始位姿；当相机为鱼眼相机或针孔相机时，在获取先验位姿后，将全景拼接图转换为柱面全景图，利用预建立的3维特征点地图与该柱面全景图中的特征点进行匹配，根据匹配成功的3维特征点地图中局部特征点地图对应的位姿信息，对先验位姿进行修正，获取车辆的初始位姿。
在图1所示的可选实施方式中，基于特征点的地库定位方法还包括步骤S103，提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息。
在该可选实施方式中，将全景拼接图输入预设的深度学习模型中，由模型输出描述该全景拼接图中各个特征点的描述信息；例如，全景拼接图中的某一特征点所处环境为，道路旁灯牌的右上角的角点，则该特征点的描述信息则描述该角点的高度、方位、与其它特征点之间的关系等信息。同时，提取该特征点所处全景拼接图中的像素位置对应的像素信息。其中，描述信息以及像素信息的生成为后续的匹配及修正提供必要的特征基础。
在图1所示的可选实施方式中，基于特征点的地库定位方法还包括步骤S104，利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点。
在该可选实施方式中，提取预建立的3维地库特征点地图中特征点的描述信息，将全景拼接图中特征点的描述信息与3维地库特征点地图中特征点的描述信息进行匹配，获取全景拼接图中特征点在3维地库特征点地图中对应的3维地图点，为后续利用3维地图点的像素信息获取车辆的位姿信息提供基础。
在本申请的一个可选实例中，将全景拼接图映射到3维特征点地图中，将映射后全景拼接图覆盖的区域作为局部特征点地图；在局部特征点地图中检索3维地图点。即首先利用全景拼接图在3维特征点地图中筛选，与该全景拼接图对应的局部特征点地图，后续的步骤均利用局部特征点地图进行匹配，相较于利用完整的3维地库特征点地图中的特征点地图进行匹配，极大的减少了系统的运算量，加快了系统的运算的速率。
在本申请的一个可选实施例中，利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点，包括：分别计算3维地库特征点地图中的描述信息与特征点对应的描述信息之间的相似度；以及将相似度大于或等于预设相似阈值的3维地库特征点地图中的描述信息对应的3维地库特征点地图中的特征点，作为3维地图点。
在该可选实施例中，分别对比3维地库特征点地图中的特征点与全景拼接图中的特征点分别对应描述信息的相似性，将与该全景拼接图中的特征点相似性大于或等于预设相似阈值的描述信息对应的3维地库特征点地图中的特征点确定为3维地图点。
在本申请的一个可选实例中，预先设置相似阈值，对3维地库特征点地图中的特征点与全景拼接图中的特征点分别对应的描述信息进行对比，判断描述信息之间的相似性，将与全景拼接图中的特征点相似性大于预设相似阈值的描述信息对应3维地库特征点地图中的特征点确定为3维地图点；例如，当预设相似阈值为99％时，将与全景拼接图中的特征点相似性大于99％的描述信息对应3维地库特征点地图中的特征点确定为3维地图点，即3维地图点与该全景拼接图中的特征点的描述信息之间的相似性均大于99％。
在图1所示的可选实施方式中，基于特征点的地库定位方法还包括步骤S105，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差。
在该可选实施方式中，根据3维地图点在相机坐标系中的像素位置，确定该3维地图点的像素信息，计算该3维地图点的像素信息与该全景拼接图中特征点的像素信息之间的像素误差，为后续利用像素误差确定车辆的位姿信息提供基础，保证车辆的位姿信息的精度。
在本申请的一个可选实施例中，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差，包括：将3维地图点投影到以多个鱼眼相机中任一鱼眼相机为中心建立的相机坐标系中，获取3维地图点对应的像素信息；以及计算3维地图点对应的像素信息与特征点的像素信息之间的像素误差。
在该可选实施例中，以车辆装载的多个相机中任一相机为中心，建立相机坐标系，将该3维地图点投影到该相机坐标系中，获取3维地图点对应的像素信息；计算该全景拼接图中的特征点的像素信息与3维地图点的像素信息之间的像素误差，为后续利用像素误差确定车辆的位姿信息提供基础，保证车辆的位姿信息的精度。
在本申请的一个可选实施例中，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差，还包括：将3维地图点分别投影到以多个相机中每一相机为中心建立的相机坐标系中，获取多个3维地图点对应的像素信息；以及计算每一3维地图点对应的像素信息分别与特征点的像素信息之间的像素误差。
在该可选实施例中，以车辆装载的多个相机中每一相机分别为中心，建立对应数量个相机坐标系，将该3维地图点投影分别到各个相机坐标系中，获取3维地图点分别在各个相机坐标系中的像素信息；计算该全景拼接图中的特征点的像素信息与3维地图点的像素信息分别对应的像素误差，为后续利用像素误差确定车辆的位姿信息提供基础，保证车辆的位姿信息的精度。
在本申请的一个可选实施例中，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差，还包括：将3维地图点投影到以车辆为中心建立的相机坐标系中，获取3维地图点对应的像素信息；以及计算3维地图点对应的像素信息与特征点的像素信息之间的像素误差。
在该可选实施例中，以车辆为中心建立相机坐标系，将该3维地图点投影到该相机坐标系中，获取3维地图点对应的像素信息；计算该全景拼接图中的特征点的像素信息与3维地图点的像素信息之间的像素误差，为后续利用像素误差确定车辆的位姿信息提供基础，保证车辆的位姿信息的精度。
在图1所示的可选实施方式中，基于特征点的地库定位方法还包括步骤S106，根据像素误差对初始位姿进行优化，获取车辆的位姿信息。
在该可选实施方式中，根据前述获取的像素误差对初始位姿进行修正，获取准确的位姿信息，提高车辆定位的精度。
本申请的一个可选实施例中，根据像素误差对初始位姿进行优化，获取车辆的位姿信息，包括：若像素误差小于或等于预设误差阈值，则将初始位姿作为车辆的位姿信息；若像素误差大于所述预设误差阈值，则对初始位姿进行修正，将修正后的初始位姿作为车辆的位姿信息。
在该可选实施例中，预设误差值即为允许的误差范围的上限阈值，像素误差小于或等于预设误差值，均为允许的误差，此时无需对初始位姿进行修正，将初始位姿直接作为车辆在当前帧的位姿信息。像素误差大于预设误差值，均为需修正的误差，此时需对初始位姿进行修正，根据像素误差将初始位姿修正到像素误差小于或等于预设误差值，将此时修正的初始位姿作为车辆在当前帧的位姿信息。
在本申请的一个可选实施例中，基于特征点的地库定位方法还包括：利用车辆装载的位置传感器系统获取的IMU信息与轮速信息，计算获取车辆的轮速轨迹信息；根据多帧的图片获取车辆的视觉轨迹信息；对轮速轨迹信息与视觉轨迹信息进行融合，获取车辆的位姿信息。
在该可选实施例中，由于利用相机获取的图片对应的是视觉里程计，相对于IMU信息与轮速信息计算生成的轮速里程计而言，频率较低；若当前时刻不是鱼眼相机的拍摄时间，因此利用视觉里程计无法获得定位信息，而高频的轮速里程计存有对应时刻的定位信息，因此将视觉里程计与轮速里程计进行融合，获取当前时刻的视觉里程计对应的位姿信息，提高该位姿信息的精度。
在本申请的一个可选实例中，根据当前帧之前的历史帧下，利用鱼眼相机获取的地库鱼眼图片对应的是视觉里程计，与该历史帧的IMU信息与轮速信息计算生成的轮式里程计，计算两者之间的转换关系，利用该转换关系，将当前帧的轮式里程计对应时刻的位姿信息转换为当前帧的视觉里程计对应的位姿信息。
图2示出了本申请一种基于特征点的地库定位系统的可选实施方式。
在图2所示的可选实施方式中，基于特征点的地库定位系统主要包括：图片拼接模块201，对多个相机实时分别拍摄到的图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块202，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；特征点提取模块203，提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息；特征点匹配模块204，利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点；误差计算模块205，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差；以及定位模块206，根据像素误差对初始位姿进行优化，获取车辆的位姿信息。
在本申请的一个可选实施例中，本申请一种基于特征点的地库定位系统中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。
本申请提供的基于特征点的地库定位系统，可用于执行上述任一实施例描述的基于特征点的地库定位方法，其实现原理和技术效果类似，在此不再赘述。
本申请采用的可选实施方式中，一种车辆，其包括上述方案中的基于特征点的地库定位系统，其中基于特征点的地库定位系统包括：图片拼接模块，对多个相机实时分别拍摄到的地库鱼眼图片进行图像拼接，获取图片对应的全景拼接图，其中图片中的图像信息为同一楼层不同角度的环境信息，相机装载在车辆的周围；初始化模块，对全景拼接图进行全局初始化，获取车辆实时的初始位姿；特征点提取模块，提取全景拼接图中各个特征点对应的像素信息与描述特征点所处环境的描述信息；特征点匹配模块，利用描述信息在预建立的3维地库特征点地图中对特征点进行匹配，获取特征点在3维地库特征点地图中的3维地图点；误差计算模块，计算获取3维地图点的像素信息与特征点的像素信息之间的像素误差；以及定位模块，根据像素误差对初始位姿进行优化，获取车辆的位姿信息。
本申请提供的车辆，可用于执行上述任一实施例描述的基于特征点的地库定位方法，其实现原理和技术效果类似，在此不再赘述。
在本申请的另一个可选实施方式中，一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行上述实施例中描述的基于特征点的地库定位方法。
在本申请的一个可选实施方式中，如图3所示，一种计算机设备，其包括：至少一个处理器，处理器和存储器耦合，存储器存储有计算机指令，该计算机指令被处理器执行时实现上述任一方案中的基于特征点的地库定位方法。
在本申请的另一个具体实施方式中，一种计算机程序产品，其包含计算机指令，该计算机指令被操作以执行上述任一方案中的基于特征点的地库定位方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于特征点的地库定位方法，其特征在于，包括：
对多个相机实时分别拍摄到的图片进行图像拼接，获取所述图片对应的全景拼接图，其中所述图片中的图像信息为同一楼层不同角度的环境信息，所述相机装载在车辆的周围；
对所述全景拼接图进行全局初始化，获取所述车辆实时的初始位姿；
提取所述全景拼接图中各个特征点对应的像素信息与描述所述特征点所处环境的描述信息；
利用所述描述信息在预建立的3维地库特征点地图中对所述特征点进行匹配，获取所述特征点在所述3维地库特征点地图中的3维地图点；
计算获取所述3维地图点的像素信息与所述特征点的像素信息之间的像素误差；以及
根据所述像素误差对所述初始位姿进行优化，获取所述车辆的位姿信息。
2.根据权利要求1所述的基于特征点的地库定位方法，其特征在于，所述利用所述描述信息在预建立的3维地库特征点地图中对所述特征点进行匹配，获取所述特征点在所述3维地库特征点地图中的3维地图点，包括：
分别计算所述3维地库特征点地图中的描述信息与所述特征点对应的描述信息之间的相似度；以及
将所述相似度大于或等于预设相似阈值的所述3维地库特征点地图中的描述信息对应的所述3维地库特征点地图中的特征点，作为所述3维地图点。
3.根据权利要求1所述的基于特征点的地库定位方法，其特征在于，所述计算获取所述3维地图点的像素信息与所述特征点的像素信息之间的像素误差，包括：
将所述3维地图点投影到以所述多个相机中任一相机为中心建立的相机坐标系中，获取所述3维地图点对应的像素信息；以及
计算所述3维地图点对应的像素信息与所述特征点的像素信息之间的像素误差。
4.根据权利要求1所述的基于特征点的地库定位方法，其特征在于，所述计算获取所述3维地图点的像素信息与所述特征点的像素信息之间的像素误差，还包括：
将所述3维地图点分别投影到以所述多个相机中每一相机为中心建立的相机坐标系中，获取多个所述3维地图点对应的像素信息；以及
计算每一所述3维地图点对应的像素信息分别与所述特征点的像素信息之间的像素误差。
5.根据权利要求1所述的基于特征点的地库定位方法，其特征在于，所述计算获取所述3维地图点的像素信息与所述特征点的像素信息之间的像素误差，还包括：
将所述3维地图点投影到以所述车辆为中心建立的相机坐标系中，获取所述3维地图点对应的像素信息；以及
计算所述3维地图点对应的像素信息与所述特征点的像素信息之间的像素误差。
6.根据权利要求1-5任一项所述的基于特征点的地库定位方法，其特征在于，所述根据所述像素误差对所述初始位姿进行优化，获取所述车辆的位姿信息，包括：
若所述像素误差小于或等于预设误差阈值，则将所述初始位姿作为所述车辆的位姿信息；
若所述像素误差大于所述预设误差阈值，则对所述初始位姿进行修正，将修正后的所述初始位姿作为所述车辆的位姿信息。
7.根据权利要求1所述的基于特征点的地库定位方法，其特征在于，还包括：
利用所述车辆装载的位置传感器系统获取的IMU信息与轮速信息，计算获取所述车辆的轮速轨迹信息；
根据多帧的图片获取所述车辆的视觉轨迹信息；
对所述轮速轨迹信息与所述视觉轨迹信息进行融合，获取所述车辆的位姿信息。
8.一种基于特征点的地库定位系统，其特征在于，包括：
图片拼接模块，对多个相机实时分别拍摄到的图片进行图像拼接，获取所述图片对应的全景拼接图，其中所述图片中的图像信息为同一楼层不同角度的环境信息，所述相机装载在车辆的周围；
初始化模块，对所述全景拼接图进行全局初始化，获取所述车辆实时的初始位姿；
特征点提取模块，提取所述全景拼接图中各个特征点对应的像素信息与描述所述特征点所处环境的描述信息；
特征点匹配模块，利用所述描述信息在预建立的3维地库特征点地图中对所述特征点进行匹配，获取所述特征点在所述3维地库特征点地图中的3维地图点；
误差计算模块，计算获取所述3维地图点的像素信息与所述特征点的像素信息之间的像素误差；以及
定位模块，根据所述像素误差对所述初始位姿进行优化，获取所述车辆的位姿信息。
9.一种车辆，其特征在于，所述车辆包括如权利要求8所述的基于特征点的地库定位系统。
10.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令被操作以执行权利要求1-7中任一项所述的基于特征点的地库定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210911951.9A CN117541465A (zh) | 2022-07-29 | 2022-07-29 | 一种基于特征点的地库定位方法、系统、车辆及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210911951.9A CN117541465A (zh) | 2022-07-29 | 2022-07-29 | 一种基于特征点的地库定位方法、系统、车辆及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117541465A true CN117541465A (zh) | 2024-02-09 |
Family
ID=89786659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210911951.9A Pending CN117541465A (zh) | 2022-07-29 | 2022-07-29 | 一种基于特征点的地库定位方法、系统、车辆及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541465A (zh) |
-
2022
- 2022-07-29 CN CN202210911951.9A patent/CN117541465A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3505869B1 (en) | Method, apparatus, and computer readable storage medium for updating electronic map | |
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
| CN112667837A (zh) | 图像数据自动标注方法及装置 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| WO2020043081A1 (zh) | 定位技术 | |
| CN113034566B (zh) | 高精度地图构建方法、装置、电子设备及存储介质 | |
| CN111830953A (zh) | 车辆自定位方法、装置及系统 | |
| CN111508258A (zh) | 一种定位方法及装置 | |
| CN112739983B (zh) | 校正点云数据的方法和相关装置 | |
| CN111105695B (zh) | 地图制作方法、装置、电子设备及计算机可读存储介质 | |
| CN110260857A (zh) | 视觉地图的校准方法、装置及存储介质 | |
| CN113139031B (zh) | 用于自动驾驶的交通标识的生成方法及相关装置 | |
| CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
| WO2020049089A1 (en) | Methods and systems for determining the position of a vehicle | |
| CN113223064A (zh) | 一种视觉惯性里程计尺度的估计方法和装置 | |
| CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
| CN116485856A (zh) | 一种基于语义分割的无人机图像地理配准方法及相关设备 | |
| CN116295463A (zh) | 一种导航地图元素的自动标注方法 | |
| CN115457084A (zh) | 一种多相机目标检测跟踪方法、装置 | |
| CN117541465A (zh) | 一种基于特征点的地库定位方法、系统、车辆及存储介质 | |
| CN112528918A (zh) | 道路元素识别方法、地图标注方法及装置、车辆 | |
| CN113838129A (zh) | 一种获得位姿信息的方法、装置以及系统 | |
| CN117522969A (zh) | 一种联合地库定位方法、系统、车辆、存储介质及设备 | |
| CN117516527A (zh) | 一种地库定位方法、系统、车辆、存储介质及设备 | |
| CN114531580B (zh) | 图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |