CN115143952A - 基于视觉辅助的自动驾驶车辆定位方法、装置 - Google Patents

基于视觉辅助的自动驾驶车辆定位方法、装置 Download PDF

Info

Publication number
CN115143952A
CN115143952A CN202210856264.1A CN202210856264A CN115143952A CN 115143952 A CN115143952 A CN 115143952A CN 202210856264 A CN202210856264 A CN 202210856264A CN 115143952 A CN115143952 A CN 115143952A
Authority
CN
China
Prior art keywords
vehicle
feature
pair set
point pair
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210856264.1A
Other languages
English (en)
Inventor
李岩
费再慧
张海强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202210856264.1A priority Critical patent/CN115143952A/zh
Publication of CN115143952A publication Critical patent/CN115143952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于视觉辅助的自动驾驶车辆定位方法、装置，其中所述方法包括基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素；根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息；基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。通过本申请提高了在特殊场景下车辆定位的稳定性，不受是否存在点云地图的影响。

Description

基于视觉辅助的自动驾驶车辆定位方法、装置
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种基于视觉辅助的自动驾驶车辆定位方法、装置。
背景技术
随着计算机视觉技术的发展，视觉定位越来越多的被应用到自动驾驶车辆的定位中，其中最主要的是视觉SLAM技术。
作为一种辅助定位方法，视觉SLAM技术通过使用提取出图像中的特征点，预先建立一个特征点云地图作为参考，后续自动驾驶车辆经过有预设点云地图的区域，可以通过特征点匹配技术，计算出自车当前在地图中的位置，并将这个位置转换为绝对的经纬度作为多传感器融合定位的一个观测信息。
然而，相关技术中由于光照、动态物体等影响，在实际的建图和定位中，很容易造成特征点跟踪、关联丢失。其次，地图的存储和导入需要占用大量的资源，如果自动驾驶车辆的行驶区域较大，大面积的点云地图往往会存在很大的误差，并且特征点匹配计算会存在不可预估的延迟。此外，由于车速的影响，目前的视觉SLAM技术并没有很好的应用到广泛的场景中，仅局限在停车场自动泊车、封闭园区配送等场景。
发明内容
本申请实施例提供了基于视觉辅助的自动驾驶车辆定位方法、装置，以提高在特殊场景下车辆定位的稳定性。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种基于视觉辅助的自动驾驶车辆定位方法其中，所述方法包括：基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素；根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息；基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
在一些实施例中，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位包括：
基于卡尔曼滤波器融合定位框架将所述自动驾驶车辆的GNSS信息作为主观测值，所述自动驾驶车辆的图像定位信息作为辅助观测值。
在一些实施例中，所述基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位，还包括：
在当前区域内有所述目标地图信息且可获取所述自动驾驶车辆当前位姿数据的情况下，将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量；
在当前区域内没有所述目标地图信息且可通过车身轮速辅助的视觉里程计推算出相对位移，则将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量，所述目标地图信息包括点云地图数据。
在一些实施例中，所述基于预设特征点建立第一特征描述子点对集，包括：
通过安装在所述自动驾驶车辆上的广角鱼眼摄像头采集自动驾驶车辆行驶过程中路边和/或路面上的特征元素，作为预设特征点；
对所述预设特征点进行语义分割处理，并对语义分割处理结果进行分类，提取出路面元素和/或道路上静态语义元素；
获取所述路面元素和/或道路上静态语义元素中的角点信息得到特征描述子，建立第一特征描述子点对集。
在一些实施例中，所述获取所述路面元素和/或道路上静态语义元素中的角点信息得到特征描述子，建立第一特征描述子点对集，包括：
根据车速和车身航向角变化率信息，计算出采集的特征元素在任意两帧之间的位移关系；
根据所述位移关系确定所述特征描述子在图像中的位置区间，并结合所述路面元素和/或道路上静态语义元素中的角点信息进行数据关联，得到第一特征描述子点对集。
在一些实施例中，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位，包括：
如果有预先加载的所述目标地图信息和/或有匹配的所述特征描述子点对集，则通过匹配所述目标地图信息进行车辆定位；
如果无预先加载的所述目标地图信息和/或无匹配的所述特征描述子点对集，且无法通过重定位获得车辆位姿信息，则使用所述视觉里程计进行车辆定位。
在一些实施例中，根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息，包括：
将第一特征描述子点对集与所述第二特征描述子点对集结合的过程中，预先对所述第一特征描述子点对集中的特征描述子点赋予第一权重、对所述第一特征描述子点对集中的特征描述子点赋予第二权重，所述第一权重大于所述第二权重；
将第一特征描述子点对集与所述第二特征描述子点对集组合并输入原始视觉SLAM点云地图建立框架，进行视觉SLAM建图得到目标地图信息。
第二方面，本申请实施例还提供一种基于视觉辅助的自动驾驶车辆定位装置其中，所述装置包括：特征描述子建立模块，用于基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素；建图模块，用于根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息；定位模块，用于基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
通过基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，然后根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息。在进行定位时，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位，提高定位的稳定性，消除对于特征点云地图的依赖。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中基于视觉辅助的自动驾驶车辆定位方法流程示意图；
图2为本申请实施例中基于视觉辅助的自动驾驶车辆定位装置结构示意图；
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人发现，由于通过SLAM预先建立的点云地图往往需要占用较多资源，且往往会受到光照、动态物体等影响在点云地图中造成特征点丢失。
针对上述不足，本申请的实施例中提供了一种基于视觉辅助的自动驾驶车辆定位方法，通过使用区分度高、(相对)静态物体上的特征点去弥补相关技术中SLAM框架随机选取的特征点进行数据关联。进一步，可以保证两帧图像之间有稳定数量的特征点对以计算位姿，防止由于特征点数量过少带来的跟踪失败。优选地，还将轮速与视觉里程计结合计算的位姿作为额外的观测信息输入到多传感器融合滤波框架中，不受地图存在与否的影响或减小地图是否存在的影响。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种基于视觉辅助的自动驾驶车辆定位方法，如图1所示，提供了本申请实施例中基于视觉辅助的自动驾驶车辆定位方法流程示意图，所述方法至少包括如下的步骤S110至步骤S130：
步骤S110，基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素。
基于预设特征点的选取规则在自动驾驶车辆行驶过程中，尽量多的采集得到道路(路边)两侧的特征元素，以及路面上的特征元素。并通过这些指定/特定的特征元素得到多个特征描述子，根据多个特征描述子建立第一特征描述子点对集。
可以理解，多个所述特征描述子是基于指定或者特定特征元素得到的，相较于随机生成的特征元素会更具有针对性。
在一些实施例中，所述特征元素包括但不限于，车道线、路面箭头、标识牌、楼房等相对静态且区分度明显的元素。
同时，按照相关技术中随机选择特征点的方式，基于视觉SLAM建立第二特征描述子点对集。再通过人工指定规则选择特征点结合现有算法框架中的特征点随机选择机制，保障特征点的数量和质量。
步骤S120，根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息。
根据得到的所述第一特征描述子点对集、所述第二特征描述子点对集，输入到相关技术中的视觉SLAM框架中进行建图，得到一个目标地图信息。
需要注意的是，这里的目标地图信息是指针对某个指定区域内的建立，且并不限制场景(并不限制在停车场自动泊车、封闭园区配送等场景)。
步骤S130，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
根据所述目标地图信息，进行自动驾驶车辆的定位。在定位的过程中，是基于融合定位框架进行的，通过预测与观测更新，进行定位状态估计。
进一步地，如果存在可以匹配的目标地图信息，则可以进行直接匹配，以获得车辆当前的定位信息；如果不存在可以匹配的目标地图信息，则需要借助自动驾驶车辆上的视觉里程计进行车辆定位，同时将上述定位信息作为辅助观测值进行输入。使用视觉里程计与视觉SLAM相结合的方式，消除预先建立点云地图的依赖。
本申请实施例中的方法，在相关技术中仅通过路面信息做匹配的基础上，提供额外的观测信息，可以提升算法在特殊场景下的稳定性，减少在信息不足导致的定位精度下降时的人工接管。
在本申请的一个实施例中，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位包括：基于卡尔曼滤波器融合定位框架将所述自动驾驶车辆的GNSS信息作为主观测值，所述自动驾驶车辆的图像定位信息作为辅助观测值。
具体实施时，使用目标地图信息以及特征描述子进行定位时，使用卡尔曼滤波做融合框架，同时GNSS作为主要的观测值，图像定位作为辅助观测值，用以防止GNSS信号不稳定/丢失带来的定位偏差。
需要注意的是，定位过程中需要使用包括IMU+RTK/GNSS的定位模块的定位数据、车身数据(包含车速以及角速度变化率)、点云地图信息即目标地图信息、图像信息(特征描述子、相关技术中视觉SLAM随机选择的特征点)。
在本申请的一个实施例中，所述基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位，还包括：在当前区域内有所述目标地图信息且可获取所述自动驾驶车辆当前位姿数据的情况下，将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量；在当前区域内没有所述目标地图信息且可通过车身轮速辅助的视觉里程计推算出相对位移，则将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量，所述目标地图信息包括点云地图数据。
具体实施时，在当前区域内有所述目标地图信息且可获取所述自动驾驶车辆当前位姿数据(当前区域属于通过重定位计算出置信度高的位姿的区域，即位姿数据可用)的情况下，将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量。
另外一种情况，在当前区域内没有所述目标地图信息且可通过所述车身轮速辅助的视觉里程计VO(visual odometry)推算出相对位移，则将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量，所述目标地图信息包括点云地图数据。
可以理解，这里的图像定位信息包括但不限于通过基于开源视觉SLAM算法随机获得的特征点以及通过预设特征点结合计算得到的图像定位信息。
在本申请的一个实施例中，所述基于预设特征点建立第一特征描述子点对集，包括：通过安装在所述自动驾驶车辆上的摄像头采集自动驾驶车辆行驶过程中路边和/或路面上的特征元素，作为预设特征点；对所述预设特征点进行语义分割处理，并对语义分割处理结果进行分类，提取出路面元素和/或道路上静态语义元素；获取所述路面元素和/或道路上静态语义元素中的角点信息得到特征描述子，建立第一特征描述子点对集。
具体实施时，通过使用至少一个广角鱼眼摄像头作为图像采集装置，保证车辆在行驶过程中，有足够大的视场角可以尽可能多的拍摄到路面两侧建筑物的轮廓。接着对采集到图像进行语义分割，并对语义分割后的结果进行分类，提取出路面元素比如箭头、车道线等以及路边静态语义元素比如标识牌、楼房等。最后，提取出上述语义元素的角点信息(如路面长方形标识牌的四个角点信息)，由于路边静态语义元素在图像两侧，形状规则且与背景(通常将天空作为图像背景)区分度大，然后计算出的角点信息的特征描述子，比如可以是orb算子，再生成特征描述子建立特征描述子点对集。
在本申请的一个实施例中，所述获取所述路面元素和/或道路上静态语义元素中的角点信息得到特征描述子，建立第一特征描述子点对集，包括：根据车速和车身航向角变化率信息，计算出采集的特征元素在任意两帧之间的位移关系；根据所述位移关系确定所述特征描述子在图像中的位置区间，并结合所述路面元素和/或道路上静态语义元素中的角点信息进行数据关联，得到第一特征描述子点对集。
具体实施时，在生成特征描述子的同时可以同步生成语义元素模板作为位姿计算的优化条件，即：计算优化位姿时，两帧中同一个或多个元素模板上的像素应更多的重合。可以理解语义模板可以是红绿灯或标识牌等，在本申请中并不进行具体限定。
进一步地，根据当前车速以及车身角速度变化率，计算出两帧图像之间的位移关系，根据此位移关系，计算出中提取出的特征描述子在图像中的位置区间，并结合语义分割的计算出的角点位置，进行数据关联，得到第一特征描述子点对集S1。
在计算两帧图像之间的位移关系时，由于自动驾驶车辆行驶区域相对平滑，颠簸相对较少，可近似认为高度方向变化非常小。
在本申请的一个实施例中，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位，包括：根据所述特征描述子点对集和/或所述目标地图信息，进行车辆定位；如果有预先加载的所述目标地图信息和/或有匹配的所述特征描述子点对集，则通过匹配所述目标地图信息进行车辆定位；如果无预先加载的所述目标地图信息和/或无匹配的所述特征描述子点对集，且无法通过重定位获得车辆位姿信息，则使用所述视觉里程计进行车辆定位。
具体实施时，如果在预先有目标地图信息的地方，则直接进行地图匹配定位；而如果因为无目标地图信息或地图匹配失败等的原因，无法通过重定位获得位姿信息，则直接使用语义视觉里程计VO推算的结果。并且在实际计算时，也会同时使用第一特征描述子点对集S1和第二特征描述子点对集S2。
可以理解，上述过程中视觉里程计VO(visual odometry)一直运行，不会在目标地图信息匹配失败后再运行。
在本申请的一个实施例中，根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息，包括：将第一特征描述子点对集与所述第二特征描述子点对集结合的过程中，预先对所述第一特征描述子点对集中的特征描述子点赋予第一权重、对所述第一特征描述子点对集中的特征描述子点赋予第二权重，所述第一权重大于所述第二权重；将第一特征描述子点对集与所述第二特征描述子点对集组合并输入原始视觉SLAM点云地图建立框架，进行视觉SLAM建图得到目标地图信息。
首先可以使用现有的SLAM框架，计算出第二特征描述子点对集S2。
之后进行建图，通过组合第一特征描述子点对集S1和第二特征描述子点对集S2，输入到现有的SLAM框架中进行建图。现有的SLAM框架并不是本申请的改进点，在此不再进行赘述。
进一步地，将第一特征描述子点对集S1和第二特征描述子点对集S2结合时，由于S1的角点信息在静态物体上，稳定且区分度高，赋予S1中的特征描述子点对更高的权重。之后将第一特征描述子点对集与所述第二特征描述子点对集组合并输入原始视觉SLAM框架建立点云地图，得到目标地图信息。赋予不同特征点不同的权重，使得图像中稳定存在且易识别出的特征点对更容易被选择计算位姿。
本申请实施例还提供了基于视觉辅助的自动驾驶车辆定位装置200，如图2所示，提供了本申请实施例中基于视觉辅助的自动驾驶车辆定位装置的结构示意图，所述基于视觉辅助的自动驾驶车辆定位装置200至少包括：特征描述子建立模块210、建图模块220以及定位模块230，其中：
在本申请的一个实施例中，所述特征描述子建立模块210具体用于：基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素。
基于预设特征点的选取规则在自动驾驶车辆行驶过程中，尽量多的采集得到道路的特征元素，以及路面上的特征元素。并通过这些指定/特定的特征元素得到多个特征描述子，建立特征描述子点对集。
在一些实施例中，所述特征元素包括但不限于，车道线、路面箭头、标识牌、楼房等相对静态且区分度明显的元素。
同时，按照相关技术中随机选择特征点的方式，基于视觉SLAM建立第二特征描述子点对集。
在本申请的一个实施例中，所述建图模块220具体用于：根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息。
根据得到的所述第一特征描述子点对集、所述第二特征描述子点对集，输入到相关技术中的视觉SLAM框架中进行建图，得到一个目标地图信息。
需要注意的是，这里的目标地图信息是指针对某个指定区域内的建立，且并不限制场景(并不限制在停车场自动泊车、封闭园区配送等场景)。
在本申请的一个实施例中，所述定位模块230具体用于：基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
根据所述目标地图信息，进行自动驾驶车辆的的定位。在定位的过程中，是基于融合定位框架进行的，将相关观测值作为输入，得到预测值。
进一步地，如果存在可以匹配的目标地图信息，则可以进行直接匹配，以获得车辆当前的定位信息。如果不存在可以匹配的目标地图信息，则需要借助自动驾驶车辆上的视觉里程计进行车辆定位，同时将相关特征描述子作为辅助观测值进行输入。
能够理解，上述基于视觉辅助的自动驾驶车辆定位装置，能够实现前述实施例中提供的基于视觉辅助的自动驾驶车辆定位方法的各个步骤，关于基于视觉辅助的自动驾驶车辆定位方法的相关阐释均适用于基于视觉辅助的自动驾驶车辆定位装置，此处不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成基于视觉辅助的自动驾驶车辆定位装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素；
根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息；
基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
上述如本申请图1所示实施例揭示的基于视觉辅助的自动驾驶车辆定位装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中基于视觉辅助的自动驾驶车辆定位装置执行的方法，并实现基于视觉辅助的自动驾驶车辆定位装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中基于视觉辅助的自动驾驶车辆定位装置执行的方法，并具体用于执行：
基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素；
根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息；
基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于视觉辅助的自动驾驶车辆定位方法，其中，所述方法包括：
基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素；
根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息；
基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
2.如权利要求1所述方法，其中，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位包括：
基于卡尔曼滤波器融合定位框架将所述自动驾驶车辆的GNSS信息作为主观测值，所述自动驾驶车辆的图像定位信息作为辅助观测值。
3.如权利要求2所述方法，其中，所述基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位，还包括：
在当前区域内有所述目标地图信息且可获取所述自动驾驶车辆当前位姿数据的情况下，将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量；
在当前区域内没有所述目标地图信息且可通过车身轮速辅助的视觉里程计推算出相对位移，则将所述图像定位信息作为辅助观测值输入卡尔曼滤波器融合定位框架，并修正GNSS存在的偏置量，所述目标地图信息包括点云地图数据。
4.如权利要求1所述方法，其中，所述基于预设特征点建立第一特征描述子点对集，包括：
通过安装在所述自动驾驶车辆上的摄像头采集自动驾驶车辆行驶过程中路边和/或路面上的特征元素，作为预设特征点；
对所述预设特征点进行语义分割处理，并对语义分割处理结果进行分类，提取出路面元素和/或道路上静态语义元素；
获取所述路面元素和/或道路上静态语义元素中的角点信息得到特征描述子，建立第一特征描述子点对集。
5.如权利要求4所述方法，其中，所述获取所述路面元素和/或道路上静态语义元素中的角点信息得到特征描述子，建立第一特征描述子点对集，包括：
根据车速和车身航向角变化率信息，计算出采集的特征元素在任意两帧之间的位移关系；
根据所述位移关系确定所述特征描述子在图像中的位置区间，并结合所述路面元素和/或道路上静态语义元素中的角点信息进行数据关联，得到第一特征描述子点对集。
6.如权利要求1所述方法，其中，基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位，包括：
如果有预先加载的所述目标地图信息和/或有匹配的所述特征描述子点对集，则通过匹配所述目标地图信息进行车辆定位；
如果无预先加载的所述目标地图信息和/或无匹配的所述特征描述子点对集，且无法通过重定位获得车辆位姿信息，则使用所述视觉里程计进行车辆定位。
7.如权利要求1所述方法，其中，根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息，包括：
将第一特征描述子点对集与所述第二特征描述子点对集结合的过程中，预先对所述第一特征描述子点对集中的特征描述子点赋予第一权重、对所述第一特征描述子点对集中的特征描述子点赋予第二权重，所述第一权重大于所述第二权重；
将第一特征描述子点对集与所述第二特征描述子点对集组合并输入原始视觉SLAM点云地图建立框架，进行视觉SLAM建图得到目标地图信息。
8.一种基于视觉辅助的自动驾驶车辆定位装置，其中，所述装置包括：
特征描述子建立模块，用于基于预设特征点建立第一特征描述子点对集以及基于视觉SLAM建立第二特征描述子点对集，所述预设特征点包括自动驾驶车辆行驶过程中路边和/或路面上的特征元素；
建图模块，用于根据所述第一特征描述子点对集、所述第二特征描述子点对集，进行视觉SLAM建图得到目标地图信息；
定位模块，用于基于融合定位框架，通过匹配所述目标地图信息进行车辆定位，或者通过所述自动驾驶车辆上的视觉里程计进行车辆定位。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。
CN202210856264.1A 2022-07-12 2022-07-12 基于视觉辅助的自动驾驶车辆定位方法、装置 Pending CN115143952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210856264.1A CN115143952A (zh) 2022-07-12 2022-07-12 基于视觉辅助的自动驾驶车辆定位方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210856264.1A CN115143952A (zh) 2022-07-12 2022-07-12 基于视觉辅助的自动驾驶车辆定位方法、装置

Publications (1)

Publication Number Publication Date
CN115143952A true CN115143952A (zh) 2022-10-04

Family

ID=83412969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210856264.1A Pending CN115143952A (zh) 2022-07-12 2022-07-12 基于视觉辅助的自动驾驶车辆定位方法、装置

Country Status (1)

Country Link
CN (1) CN115143952A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115493612A (zh) * 2022-10-12 2022-12-20 中国第一汽车股份有限公司 一种基于视觉slam的车辆定位方法及装置
CN116052468A (zh) * 2023-03-29 2023-05-02 禾多科技（北京）有限公司 位置信息的确定方法及装置、存储介质及电子装置
CN117647254A (zh) * 2024-01-30 2024-03-05 智道网联科技(北京)有限公司 自动驾驶车辆融合定位方法、装置、设备、存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115493612A (zh) * 2022-10-12 2022-12-20 中国第一汽车股份有限公司 一种基于视觉slam的车辆定位方法及装置
CN116052468A (zh) * 2023-03-29 2023-05-02 禾多科技（北京）有限公司 位置信息的确定方法及装置、存储介质及电子装置
CN117647254A (zh) * 2024-01-30 2024-03-05 智道网联科技(北京)有限公司 自动驾驶车辆融合定位方法、装置、设备、存储介质
CN117647254B (zh) * 2024-01-30 2024-04-09 智道网联科技(北京)有限公司 自动驾驶车辆融合定位方法、装置、设备、存储介质

Similar Documents

Publication Publication Date Title
CN115143952A (zh) 基于视觉辅助的自动驾驶车辆定位方法、装置
CN111311902B (zh) 一种数据处理方法、装置、设备和机器可读介质
CN114547222A (zh) 语义地图构建方法、装置及电子设备
CN115493602A (zh) 语义地图构建方法、装置及电子设备、存储介质
CN114279453B (zh) 基于车路协同的自动驾驶车辆定位方法、装置及电子设备
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN115077541A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN115962774A (zh) 点云地图更新方法、装置及电子设备、存储介质
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
CN115950441B (zh) 自动驾驶车辆的融合定位方法、装置及电子设备
CN116740680A (zh) 一种车辆定位方法、装置及电子设备
CN115031755A (zh) 自动驾驶车辆定位方法、装置及电子设备、存储介质
CN115112125A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN116164763A (zh) 目标航向角确定方法、装置及电子设备、存储介质
CN115620277A (zh) 单目3d环境感知方法、装置及电子设备、存储介质
CN114910083A (zh) 定位方法以及定位装置、电子设备、存储介质
CN111077893B (zh) 一种基于多灭点的导航方法、电子设备和存储介质
CN111174796B (zh) 一种基于单灭点的导航方法、电子设备和存储介质
CN115096287A (zh) 用于无人巴士的定位地图构建方法、装置及电子设备
CN116994179A (zh) 一种目标跟踪方法、装置和电子设备
CN115187782A (zh) 自动驾驶车辆融合定位方法、装置及电子设备、存储介质
CN115601516A (zh) 高精地图的道路标识确定方法、装置及电子设备
CN115127563A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN116580090A (zh) 一种初始航向角确定方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination