CN115493612A - 一种基于视觉slam的车辆定位方法及装置 - Google Patents
一种基于视觉slam的车辆定位方法及装置 Download PDFInfo
- Publication number
- CN115493612A CN115493612A CN202211246923.6A CN202211246923A CN115493612A CN 115493612 A CN115493612 A CN 115493612A CN 202211246923 A CN202211246923 A CN 202211246923A CN 115493612 A CN115493612 A CN 115493612A
- Authority
- CN
- China
- Prior art keywords
- information
- lane line
- current frame
- visual
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000004807 localization Effects 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 4
- 229910052731 fluorine Inorganic materials 0.000 claims description 3
- 125000001153 fluoro group Chemical group F* 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 5
- 230000008447 perception Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于视觉SLAM的车辆定位方法及装置，涉及自动驾驶技术领域。所述基于视觉SLAM的车辆定位方法包括：获取车辆行驶过程中当前帧的图像信息以及前一帧的图像信息；根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；对当前帧的图像信息进行处理，从而获取车道线语义定位信息；将车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。本申请利用摄像头传感器输出的原始数据和感知输出数据作为SLAM算法的输入源，分别将显著度信息以及车道线语义信息加入到SLAM框架中，增强视觉定位SLAM的视觉语义信息表示能力，弥补现有方法不足，能够更好提取图像中用于定位的信息，提升SLAM定位精度和鲁棒性。
Description
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种基于视觉SLAM的车辆定位方法以及基于视觉SLAM的车辆定位装置。
背景技术
随着自动驾驶近些年的迅猛发展，其应用场景也在不断扩展。目前ADAS行业对定位精度的要求越来越高，不仅在精度上要求在分米级别，更是要求在例如阳光照射、阴暗、雨雪天气等各种自动驾驶场景下均能保证定位的稳定性。
目前，基于视觉SLAM定位算法由于其成本低，计算速度快受到自动驾驶行业的重视和推广，已经成为多源融合定位的主要研究方向。然而相机相比于激光雷达等传感器存在其自身的缺点，即对光线比较敏感，构成的特征易受到噪音干扰，因此传统的视觉SLAM算法鲁棒性不足，不能覆盖完整场景，这使得SLAM算法在自动驾驶领域存在局限性。
现有技术的方案是通过视觉与激光雷达融合的定位方案，通过多传感器的融合来弥补各自的缺陷。
然而，现有车辆中很多车辆可能没有打在激光雷达，从而无法采用上述的方法进行车辆定位。
因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明的目的在于提供一种基于视觉SLAM的车辆定位方法来至少解决上述的一个技术问题。
本发明的一个方面，提供一种基于视觉SLAM的车辆定位方法，所述基于视觉SLAM的车辆定位方法包括：
获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
可选地，所述根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息包括：
根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度；
根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取显著向量相似度；
根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息；
根据结合相似度信息获取视觉里程计定位信息。
可选地，所述根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息包括：
采用如下公式获取结合相似度信息：
Dr＝exp(dm+ds)；其中，
Dr为结合相似度信息；dm为SITF特征描述符相似度；ds为显著向量相似度；exp指e的幂。
可选地，所述对当前帧的图像信息进行处理，从而获取车道线语义定位信息包括：
获取地图信息，所述地图信息中包括车道线语义特征；
提取当前帧的图像信息中的车道线点特征；
根据所述车道线点特征以及所述车道线语义特征获取车道线语义定位信息。
可选地，将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
根据所述车道线语义定位信息获取车道线置信度；
根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
可选地，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度大于第一预设阈值时，根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
可选地，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度小于第一预设阈值且大于第二预设阈值时，获取当前帧的车道线置信度以及该帧之后的预设帧数的车道线置信度；
根据所述当前帧的车道线置信度以及该帧之前的预设帧数的车道线置信度判断是否根据所述车道线置信度以及所述视觉里程计定位信息进行融合，若是，则
根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
可选地，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度小于第二预设阈值时，为所述车道线置信度生成一个权重信息；
根据所述权重以及所述视觉里程计定位信息进行融合。
可选地，采用如下公式对所述车道线置信度以及所述视觉里程计定位信息进行融合：
K＝PHT(HPHT+V)-1
x＝K(h(xf)-h(xp))
P＝(I-KH)P；其中，
其中x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差；xf代表预测的位姿状态；xp代表的是观测的位姿状态，I为单位矩阵，T表示矩阵的转置。
本申请还提供了一种基于视觉SLAM的车辆定位装置，所述基于视觉SLAM的车辆定位装置包括：
图像信息获取模块，所述图像信息获取模块用于获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
视觉里程计定位信息获取模块，所述视觉里程计定位信息获取模块用于根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
车道线语义定位信息获取模块，所述车道线语义定位信息获取模块用于对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
融合模块，所述融合模块用于将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
有益效果
本申请的基于视觉SLAM的车辆定位方法利用摄像头传感器输出的原始数据(图像数据)和感知输出数据(语义数据)作为SLAM算法的输入源，分别将显著度信息以及车道线语义信息加入到SLAM框架中，增强了视觉定位SLAM的视觉语义信息表示能力，弥补了现有方法存在的不足，能够更好的提取图像中用于定位的有效信息，进一步提升视觉SLAM定位的精度和鲁棒性。
附图说明
图1是本申请一实施例的基于视觉SLAM的车辆定位方法的流程示意图。
图2是能够实现本申请一实施例的基于视觉SLAM的车辆定位方法的电子设备的示意图。
图3是本申请一实施例的基于视觉SLAM的车辆定位方法的详细流程示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
图1是本申请一实施例的基于视觉SLAM的车辆定位方法的流程示意图。图3是本申请一实施例的基于视觉SLAM的车辆定位方法的详细流程示意图。
如图1以及图3所示的基于视觉SLAM的车辆定位方法包括：
步骤1：获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
步骤2：根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
步骤3：对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
步骤4：将车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息。
本申请的基于视觉SLAM的车辆定位方法利用摄像头传感器输出的原始数据(例如图像数据获取视觉里程计定位信息)和感知输出数据(根据原始的图像进行感知从而获取车道线语义定位信息)作为SLAM算法的输入源，分别将显著度信息以及车道线语义信息加入到SLAM框架中，增强了视觉定位SLAM的视觉语义信息表示能力，弥补了现有方法存在的不足，能够更好的提取图像中用于定位的有效信息，进一步提升视觉SLAM定位的精度和鲁棒性。
在本实施例中，根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息包括：
根据当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度；
根据当前帧的图像信息以及当前帧的前一帧的图像信息获取显著向量相似度；
根据SITF特征描述符相似度以及显著向量相似度获取结合相似度信息；
根据结合相似度信息获取视觉里程计定位信息。
在本实施例中，根据当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度采用如下方案：
首先通过密集取样来得到SIFT特征，这种特征描述符具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。SIFT特征符可以表示为：
为每个点L(x，y)的梯度的模；
为每个点L(x，y)的方向。
从图像中依次提取局部块并且其中每块为一个SIFT描述符。用X＝[x1，x2，...，xn]∈RD×N代表所得到的SIFT描述符。其中xi为从第i块中提取的描述符。通过PQFT方法计算局部块里的每一个像素的显著值。PQFT(Phase Spectrum of Quaternion FourierTransform)模型通过计算图像的四元傅里叶变换的相位谱得到图像的时空显著性映射。其中四元组图像可以表示为如下形式：
q(t)＝M(t)+RG(t)μ1+BY(t)μ2+I(t)μ3；
通过计算逆相位信息q′(t)可得到
q′(ρ)＝ρ0(t)+ρ1(t)μ1+ρ2(t)μ2+ρ3(t)μ3；其中，
RG(t)表示人眼视觉系统的生理结构中人类视觉皮层所存在的红/绿神经元、BY(t)表示人眼视觉系统的生理结构中人类视觉皮层所存在的蓝/黄神经元。I(t)为t时刻的输入图像F(t)亮度特征，M(t)为t时刻的输入图像F(t)的运动特征；
q(t)为一个四元数；
μi，i＝1，2，3
q’(t)为对Q(t)进行傅里叶变换的逆变换所得到的信息。
时空显著度映射为sM(t)＝g*||q′(t)||2。通过PQFT方法可以计算得到每个SIFT描述符的显著向量，即M＝[m1，m2，…，mN]∈RS×N。
至此我们通过特征提取算法将图像中的SIFT特征描述符以及对应的显著向量均提取出来用于匹配定位。最后，在前后帧间匹配过程中，我们分别计算SIFT特征描述符以及显著向量的相似度，根据相似度来进行特征点匹配。首先通过欧式距离来计算每个SIFT特征描述符的相似性，以及对应显著度的显著向量相似度，其中，显著向量相似度公式如下：
dm＝D(mk，mk+1)＝∑(mkj-m(k+1)j)2；其中，
dm代表显著向量相似度，k为前一帧，k+1为当前帧，其值越大，表示对应的点云相似度越小。
当分别获取到SITF特征描述符相似度以及显著向量相似度后，采用如下公式获取结合相似度信息：
Dr＝exp(dm+ds)；其中，
Dr为结合相似度信息；dm为SITF特征描述符相似度；ds为显著向量相似度；exp指e的幂。
在本实施例中，自动驾驶摄像头生成的图像分为前景和背景。前景往往是自动驾驶中包含特征非常丰富的区域，而背景则包含了大量冗余的信息。对定位系统来讲，在匹配时加入显著度信息有助于匹配效果的提升。在显著度检测中，前景的显著值往往比背景的显著值高；因此，可以认为显著度相似的特征所包含的信息往往较为相似，因此SLAM中视觉里程计匹配时，前后帧特征如果显著度相似，匹配的概率就会增加。
在本实施例中，对当前帧的图像信息进行处理，从而获取车道线语义定位信息包括：
获取地图信息，地图信息中包括车道线语义特征；
提取当前帧的图像信息中的车道线点特征；
根据车道线点特征以及车道线语义特征获取车道线语义定位信息。
下面具体描述下如何获取车道线语义定位信息：
通过车道线匹配方法进行定位。首先我们车上要部署高精度地图，高精度地图可以为高德、百度等图商提供，也可以是自采集的。地图中包含定位所需的语义信息。通过车道线匹配利用当前摄像头输出的语义信息，从地图中选取候选车道线上点特征，满足阈值的即为地图中的候选特征。
其中需要对z轴的位置进行判断：
同时，需要对二者平面的位置进行判断，需要满足：
最后，针对地面方向进行判断，需要满足：
其中ylm为地图中车道线特征的位置，glm为车道线上点特征的平面法向量。th为阈值参数，其中，thdir、Thd以及Thh分别为方向、高度和平面距离的阈值参数。
将当前全部观测的车道线上点特征与地图候选特征进行最近邻搜索，满足阈值的即为匹配上的地图特征与观测特征。
其中观测到的车道线上点特征与地图中的车道线上点特征的距离为：
在本实施例中，将车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
根据车道线语义定位信息获取车道线置信度；
根据车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
在本实施例中，根据所述车道线置信度、车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当车道线置信度大于第一预设阈值时，根据车道线语义定位信息以及视觉里程计定位信息进行融合。
在本实施例中，车道线置信度可以通过摄像头感知端获取，为现有技术，在此不再赘述。
在本实施例中，根据车道线置信度、车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当车道线置信度小于第一预设阈值且大于第二预设阈值时，获取当前帧的车道线置信度以及该帧之后的预设帧数的车道线置信度；
根据当前帧的车道线置信度以及该帧之前的预设帧数的车道线置信度判断是否根据车道线置信度以及所述视觉里程计定位信息进行融合，若是，则
根据车道线语义定位信息以及视觉里程计定位信息进行融合。
在本实施例中，根据所述车道线置信度、车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当车道线置信度小于第二预设阈值时，为车道线置信度生成一个权重信息；
根据权重以及视觉里程计定位信息进行融合。
在本实施例中，采用如下公式对所述车道线置信度以及所述视觉里程计定位信息进行融合：
K＝PHT(HPHT+V)-1
x＝K(h(xf)-h(xp))
P＝(I-KH)P；其中，
其中x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差；。
举例来说，针对车道线语义定位信息以及所述视觉里程计定位信息进行多源融合。
我们采取卡尔曼滤波的方式进行融合。并且我们针对自动驾驶不同场景进行区分。当车道线清晰稳定时，车道线的鲁棒性较高。通过车道线的置信度判断当前的融合方案，当车道线信息的置信度≥0.7(第一预设阈值)时，我们将显著度特征定位信息和车道线定位信息进行融合，当车道线置信度<0.7(第一预设阈值)但是＞0.3(第二预设阈值)时，我们先评估前5帧的车道线识别效果，如果连续识别并且没有跳变，我们采取将车道线匹配结果乘以权重后与显著度特征定位信息融合。当车道线置信度≤0.3(第二预设阈值)时，我们只采用显著度特征定位信息作为定位源，但需要保证不同定位源时的连贯性，保证定位前后帧间的跳动不超过10cm。本申请采用如下公式进行融合：
K＝PHT(HPHT+V)-1
x＝K(h(xf)-h(xp))
P＝(I-KH)P；其中，
x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差，通过上述方法对特征匹配的定位结果和车道线语义匹配的定位结果进行融合能够实现稳定的定位效果，同时该方法得到结果也是理论上的最优估计。
本申请还提供了一种基于视觉SLAM的车辆定位装置，所述基于视觉SLAM的车辆定位装置包括图像信息获取模块、视觉里程计定位信息获取模块、车道线语义定位信息获取模块以及融合模块；其中，
图像信息获取模块用于获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
视觉里程计定位信息获取模块用于根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
车道线语义定位信息获取模块用于对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
融合模块用于将车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息。
可以理解的是，上述对方法的描述，也同样适用于对装置的描述。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的基于视觉SLAM的车辆定位方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的基于视觉SLAM的车辆定位方法。
图2是能够实现根据本申请一个实施例提供的基于视觉SLAM的车辆定位方法的电子设备的示例性结构图。
如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的基于视觉SLAM的车辆定位方法。
在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的基于视觉SLAM的车辆定位方法。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种基于视觉SLAM的车辆定位方法，其特征在于，所述基于视觉SLAM的车辆定位方法包括：
获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
2.如权利要求1所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息包括：
根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度；
根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取显著向量相似度；
根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息；
根据结合相似度信息获取视觉里程计定位信息。
3.如权利要求2所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息包括：
采用如下公式获取结合相似度信息：
Dr＝exp(dm+ds)；其中，
Dr为结合相似度信息；dm为SITF特征描述符相似度；ds为显著向量相似度；exp指数e的幂。
4.如权利要求3所述的基于视觉SLAM的车辆定位方法，其特征在于，所述对当前帧的图像信息进行处理，从而获取车道线语义定位信息包括：
获取地图信息，所述地图信息中包括车道线语义特征；
提取当前帧的图像信息中的车道线点特征；
根据所述车道线点特征以及所述车道线语义特征获取车道线语义定位信息。
5.如权利要求1至4中任意一项所述的基于视觉SLAM的车辆定位方法，其特征在于，将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
根据所述车道线语义定位信息获取车道线置信度；
根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
6.如权利要求5所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度大于第一预设阈值时，根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
7.如权利要求6所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度小于第一预设阈值且大于第二预设阈值时，获取当前帧的车道线置信度以及该帧之后的预设帧数的车道线置信度；
根据所述当前帧的车道线置信度以及该帧之前的预设帧数的车道线置信度判断是否根据所述车道线置信度以及所述视觉里程计定位信息进行融合，若是，则
根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
8.如权利要求7所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度小于第二预设阈值时，为所述车道线置信度生成一个权重信息；
根据所述权重以及所述视觉里程计定位信息进行融合。
9.如权利要求7所述的基于视觉SLAM的车辆定位方法，其特征在于，采用如下公式对所述车道线置信度以及所述视觉里程计定位信息进行融合：
K＝PHT(HPHT+V)-1
x＝K(h(xf)-h(xp))
P＝(I-KH)P；其中，
其中x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差；xf代表预测的位姿状态；xp代表的是观测的位姿状态，I为单位矩阵，T表示矩阵的转置。
10.一种基于视觉SLAM的车辆定位装置，其特征在于，所述基于视觉SLAM的车辆定位装置包括：
图像信息获取模块，所述图像信息获取模块用于获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
视觉里程计定位信息获取模块，所述视觉里程计定位信息获取模块用于根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
车道线语义定位信息获取模块，所述车道线语义定位信息获取模块用于对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
融合模块，所述融合模块用于将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211246923.6A CN115493612A (zh) | 2022-10-12 | 2022-10-12 | 一种基于视觉slam的车辆定位方法及装置 |
| PCT/CN2023/091511 WO2024077935A1 (zh) | 2022-10-12 | 2023-04-28 | 一种基于视觉slam的车辆定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211246923.6A CN115493612A (zh) | 2022-10-12 | 2022-10-12 | 一种基于视觉slam的车辆定位方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115493612A true CN115493612A (zh) | 2022-12-20 |
Family
ID=84473628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211246923.6A Pending CN115493612A (zh) | 2022-10-12 | 2022-10-12 | 一种基于视觉slam的车辆定位方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115493612A (zh) |
| WO (1) | WO2024077935A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115923847A (zh) * | 2023-03-15 | 2023-04-07 | 安徽蔚来智驾科技有限公司 | 自动驾驶车辆的感知信息的预处理方法、装置及车辆 |
| WO2024077935A1 (zh) * | 2022-10-12 | 2024-04-18 | 中国第一汽车股份有限公司 | 一种基于视觉slam的车辆定位方法及装置 |
| CN118505746A (zh) * | 2024-05-15 | 2024-08-16 | 安徽工程大学 | 一种基于深度学习的视觉低光闭环检测算法、存储介质及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109945858A (zh) * | 2019-03-20 | 2019-06-28 | 浙江零跑科技有限公司 | 用于低速泊车驾驶场景的多传感融合定位方法 |
| CN113188557A (zh) * | 2021-04-28 | 2021-07-30 | 江苏方天电力技术有限公司 | 一种融合语义特征的视觉惯性组合导航方法 |
| WO2022002039A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN114913494A (zh) * | 2022-04-28 | 2022-08-16 | 重庆长安汽车股份有限公司 | 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 |
| CN115143952A (zh) * | 2022-07-12 | 2022-10-04 | 智道网联科技(北京)有限公司 | 基于视觉辅助的自动驾驶车辆定位方法、装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101803195B1 (ko) * | 2016-06-28 | 2017-11-30 | 경희대학교 산학협력단 | 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법 |
| CN114667437A (zh) * | 2019-08-31 | 2022-06-24 | 辉达公司 | 用于自主驾驶应用的地图创建和定位 |
| CN114723779A (zh) * | 2021-01-06 | 2022-07-08 | 广州汽车集团股份有限公司 | 一种车辆定位方法、装置及计算机可读存储介质 |
| CN113920198B (zh) * | 2021-12-14 | 2022-02-15 | 纽劢科技(上海)有限公司 | 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法 |
| CN114719840A (zh) * | 2022-04-07 | 2022-07-08 | 岚图汽车科技有限公司 | 一种基于道路特征融合的车辆智能驾驶保障方法与系统 |
| CN115493612A (zh) * | 2022-10-12 | 2022-12-20 | 中国第一汽车股份有限公司 | 一种基于视觉slam的车辆定位方法及装置 |
-
2022
- 2022-10-12 CN CN202211246923.6A patent/CN115493612A/zh active Pending
-
2023
- 2023-04-28 WO PCT/CN2023/091511 patent/WO2024077935A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109945858A (zh) * | 2019-03-20 | 2019-06-28 | 浙江零跑科技有限公司 | 用于低速泊车驾驶场景的多传感融合定位方法 |
| WO2022002039A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN113188557A (zh) * | 2021-04-28 | 2021-07-30 | 江苏方天电力技术有限公司 | 一种融合语义特征的视觉惯性组合导航方法 |
| CN114913494A (zh) * | 2022-04-28 | 2022-08-16 | 重庆长安汽车股份有限公司 | 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 |
| CN115143952A (zh) * | 2022-07-12 | 2022-10-04 | 智道网联科技(北京)有限公司 | 基于视觉辅助的自动驾驶车辆定位方法、装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李希宇;仲首任;马芳武;: "无人驾驶车辆视觉SLAM方法综述", 汽车文摘, no. 07, 30 June 2020 (2020-06-30) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024077935A1 (zh) * | 2022-10-12 | 2024-04-18 | 中国第一汽车股份有限公司 | 一种基于视觉slam的车辆定位方法及装置 |
| CN115923847A (zh) * | 2023-03-15 | 2023-04-07 | 安徽蔚来智驾科技有限公司 | 自动驾驶车辆的感知信息的预处理方法、装置及车辆 |
| CN118505746A (zh) * | 2024-05-15 | 2024-08-16 | 安徽工程大学 | 一种基于深度学习的视觉低光闭环检测算法、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024077935A1 (zh) | 2024-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN108961327B (zh) | 一种单目深度估计方法及其装置、设备和存储介质 | |
| Uittenbogaard et al. | Privacy protection in street-view panoramas using depth and multi-view imagery | |
| US20180189577A1 (en) | Systems and methods for lane-marker detection | |
| CN115493612A (zh) | 一种基于视觉slam的车辆定位方法及装置 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| CN103700099A (zh) | 一种旋转和尺度不变的宽基线立体匹配方法 | |
| CN114565668A (zh) | 即时定位与建图方法及装置 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114898321B (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
| Wang et al. | Combining semantic scene priors and haze removal for single image depth estimation | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| Jin Kim et al. | Learned contextual feature reweighting for image geo-localization | |
| CN116129386A (zh) | 可行驶区域检测方法、系统及计算机可读介质 | |
| CN113592706B (zh) | 调整单应性矩阵参数的方法和装置 | |
| CN114972492A (zh) | 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质 | |
| CN113569600A (zh) | 物体重识别的方法、装置、电子设备及存储介质 | |
| Itu et al. | An efficient obstacle awareness application for android mobile devices | |
| CN114120160B (zh) | 基于Faster-RCNN物体空间区分方法、装置、计算机设备及存储介质 | |
| CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
| CN113763468B (zh) | 一种定位方法、装置、系统及存储介质 | |
| Kiran et al. | Automatic hump detection and 3D view generation from a single road image | |
| CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
| CN115731542A (zh) | 一种多模态弱监督三维目标检测方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |