CN117824672A - 一种bev车道信息协同的多传感器融合定位方法及系统 - Google Patents
一种bev车道信息协同的多传感器融合定位方法及系统 Download PDFInfo
- Publication number
- CN117824672A CN117824672A CN202311795483.4A CN202311795483A CN117824672A CN 117824672 A CN117824672 A CN 117824672A CN 202311795483 A CN202311795483 A CN 202311795483A CN 117824672 A CN117824672 A CN 117824672A
- Authority
- CN
- China
- Prior art keywords
- bev
- information
- lane
- sensor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000005259 measurement Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000002864 sequence alignment Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 3
- 241000709691 Enterovirus E Species 0.000 description 114
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种BEV车道信息协同的多传感器融合定位方法及系统，方法包括：S1，基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息；S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。本发明达到了BEV车道信息与多传感器定位融合目的，实现了复杂场景下高精度、低成本和强扩展性的车辆定位。
Description
技术领域
本发明涉及自动驾驶定位技术领域，更具体地，涉及一种BEV车道信息协同的多传感器融合定位方法及系统。
背景技术
BEV是鸟瞰图(Bird’s Eye View)的简称，是一种用于描述感知世界的视角或坐标系(3D)。BEV常被用于自动驾驶定位技术中。自动驾驶定位技术作为自动驾驶技术中关键环节，得益于多传感器集成、多源的信息融合等技术发展，解决了导航系统单一数据类型的脆弱性和失效性问题。GNSS(Global Navigation Satellite System)/INS组合导航技术在车辆导航定位领域具备显著优势，为自动驾驶车辆提供高精度、低延迟的实时定位，从而为行业提供关键解决方案。然而，组合导航在城市道路、高空遮挡路段以及复杂天气条件下面临挑战。GNSS信号可能因卫星数量较少、分布不均匀或受到周围建筑物和障碍物的影响而受限，导致定位精度和可靠性下降。此外，GNSS和INS系统间的协调性问题也会影响融合后的位置信息，例如可能导致融合后的位置信息不准确或者出现跳跃等问题。在遮挡等复杂场景下，GNSS/INS组合导航技术难以满足载体定位精度需求。
针对以上出现的问题，车辆定位导航系统需要解决对GNSS的强依赖性、加强车辆导航状态估计的可靠性，以及加入道路辅助信息的必要性。因此，有必要提供一种基于多传感器融合的定位方案，以优化复杂场景下的车辆定位效果。
发明内容
本发明针对现有技术中存在的技术问题，提供一种BEV车道信息协同的多传感器融合定位方法及系统，达到了BEV车道信息与多传感器定位融合目的，实现了复杂场景下高精度、低成本和强扩展性的车辆定位。
根据本发明的第一方面，提供了一种BEV车道信息协同的多传感器融合定位方法，包括：
S1，基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；
S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，步骤S1，包括：
S101，定义标称状态向量和误差状态向量，以构建状态模型，其中，所述标称状态向量至少包括位置、速度和姿态；为各传感器分别建立测量模型，将各传感器的原始测量值映射到状态模型中对应的状态向量；
S102，利用IMU的加速度测量值和角速度测量值，预先计算自车的位移和旋转的增量，并用于ESKF模型的预测步骤，其余传感器的测量数据用于ESKF模型的更新步骤；
S103，基于过程噪声和测量噪声，计算和更新误差状态的协方差矩阵；
S104，根据IMU的测量数据和初始状态不断更新自车的位置、速度和姿态；
S105，将IMU的测量数据和其他传感器的测量数据进行时序对齐和同步，然后以信息融合框架融入多传感器的数据；
S106，执行ESKF算法，以进行状态的预测和更新，根据不同传感器的信息，分别对各传感器的偏差进行估计和补偿；利用ESKF算法得到的误差状态和协方差，更新标称状态向量，以获得更准确的位置、速度和姿态估计。
可选的，步骤S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息，包括：
S201，选取原始图像中的ROI区域，根据所述ROI区域的框选点计算目标BEV图像与原始图像之间的单应性矩阵，根据所述单应性矩阵将所述原始图像转换为BEV图像；
S202，对所述BEV图像进行预处理，通过Laplacian变换强化预处理后的BEV图像中车道线的边缘，基于边缘检测算法识别预处理后BEV图像中的多条线段；
S203，根据斜率和中垂线过滤识别的多条线段，以筛除非车道线的线段以及车道线中间的线段；采用FitLine算法拟合车道线段，获得清晰拟合的车道线；将提取的车道线存为左右点集并投影至所述BEV图像。
可选的，S202中，所述对所述BEV图像进行预处理，包括：
对所述BEV图像依次进行灰度化、二值化和高斯滤波。
可选的，S203，具体包括：
计算图像中每条线段的两端点像素坐标，根据各条线段的两端点像素坐标计算该线段的斜率，将斜率绝对值小于斜率阈值的线段认为是非车道线的线段并删除；
根据各条线段的两端点像素坐标计算图像中每条线段的两端点到图像中垂线的距离，若计算得到的所述距离小于距离阈值，则认为该线段为车道线中间的线段，将其删除；
采用FitLine算法，将余下的线段进行拟合，得到清晰拟合的车道线；将提取的车道线存为左右点集，以得到参数化的车道线信息；将提取的车道线投影至所述BEV图像。
可选的，S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果，包括：
将全部传感器的信息进行时序对齐和同步，输入所述多传感器松散融合定位系统模型，得到初始定位信息；
将BEV图像与车道线地图进行数据匹配，提取出当前车辆的全局位姿信息，并剔除误匹配点信息；根据匹配结果计算车道线观测误差雅可比方程，从而为所述多传感器松散融合定位系统模型提供观测模型；
整合来自不同传感器的信息、车道线观测误差雅可比方程和车道线地图信息，通过ESKF模型对所述初始定位信息进行状态估计和修正，得到车辆的准确定位信息。
可选的，所述将BEV图像与车道线地图进行数据匹配，提取出当前车辆的全局位姿信息，并剔除误匹配点信息；根据匹配结果计算车道线观测误差雅可比方程，从而为所述多传感器松散融合定位系统模型提供观测模型，包括：
通过惯性导航计算出的初始位置，对分块的车道线地图中的每个地图点进行遍历，计算其与车辆的最小距离，从而搜索车辆在车道线地图上的大致位置；从上一次搜索结果的位置沿着车辆移动方向进行进一步搜索，以确定车辆在车道线地图上的精确位置；
使用从BEV图像中提取的参数化的车道线段首尾端点坐标，在车道线地图中搜索与之对应的车道线段，以建立车道线坐标系；
根据车道线坐标系与世界坐标系之间的转换关系，将BEV图像中车道线的各个关键特征点坐标转换到世界坐标系中，得到若干个地图假设对应点，通过滤波的方式删除所述地图假设对应点中的误匹配点；
根据ESKF模型的误差状态方程、标称状态方程和若干个地图假设对应点，得到车道线观测误差雅可比方程，将所述车道线观测误差雅可比方程作为所述多传感器松散融合定位系统模型的观测模型。
根据本发明的第二方面，提供一种BEV车道信息协同的多传感器融合定位系统，包括：
模型构建模块，用于基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；
车道线检测模块，用于基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
融合定位模块，用于整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述BEV车道信息协同的多传感器融合定位方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述BEV车道信息协同的多传感器融合定位方法的步骤。
本发明提供的一种BEV车道信息协同的多传感器融合定位方法、系统、电子设备及存储介质，显著提升了车辆定位的连续性、可靠性和精确度。该方案成功整合了SINS(捷联惯导系统)机械编排和误差状态卡尔曼滤波，克服了多传感器非线性测量模型融合的定位发散问题，达成了精确的状态估计与误差修正。借助相机图像与BEV视角的转换矩阵，精准实现了BEV车道线的识别、提取和参数化，进而保障了与地图要素匹配的一致性。此外，还通过设计的有效数据关联及卡尔曼滤波器实现了优化的姿态和全局位置信息更新，实现高精度的车道级别定位服务。相比于传统技术，这一技术方案在保证定位技术的高精度的同时，也极大地提高了在非理想GNSS条件下的系统鲁棒性。
附图说明
图1为本发明提供的一种BEV车道信息协同的多传感器融合定位方法流程图；
图2为某一实施例提供的一种BEV车道信息协同的多传感器融合定位方法的算法框架示意图；
图3为某一实施例提供的基于BEV视角提取参数化的车道线信息的过程示意图；
图4为本发明提供的一种BEV车道信息协同的多传感器融合定位系统组成框图；
图5为本发明提供的一种可能的电子设备的硬件结构示意图；
图6为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种BEV车道信息协同的多传感器融合定位方法流程图，图2所示为某一具体实施场景的一种BEV车道信息协同的多传感器融合定位方法的算法框架示意图，结合图1和图2所示，方法包括：
S1，基于ESKF(简明误差卡尔曼滤波器)模型信息融合框架，构建多传感器松散融合定位系统模型；
S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种BEV车道信息协同的多传感器融合定位方法。本发明的方法显著提升了车辆定位的连续性、可靠性和精确度。该方法成功整合了SINS(捷联惯导系统)机械编排和误差状态卡尔曼滤波，克服了多传感器非线性测量模型融合的定位发散问题，达成了精确的状态估计与误差修正。借助相机图像与BEV视角的转换矩阵，精准实现了BEV车道线的识别、提取和参数化，进而保障了与地图要素匹配的一致性。此外，还通过设计的有效数据关联及卡尔曼滤波器实现了优化的姿态和全局位置信息更新，实现高精度的车道级别定位服务。相比于传统技术，这一技术方案在保证定位技术的高精度的同时，也极大地提高了在非理想GNSS条件下的系统鲁棒性。
在一种可能的实施例方式中，步骤S1，包括：
S101，定义标称状态向量和误差状态向量，以构建状态模型，其中，所述标称状态向量至少包括位置、速度和姿态；为各传感器分别建立测量模型，将各传感器的原始测量值映射到状态模型中对应的状态向量；如图2所示，本发明实施例的多传感器以IMU(惯性传感器)、GNSS(全球卫星导航系统)定位模块、里程计为例进行说明；
S102，利用IMU的加速度测量值和角速度测量值，预先计算自车的位移和旋转的增量，并用于ESKF模型的预测步骤，其余传感器的测量数据用于ESKF模型的更新步骤；
S103，基于过程噪声和测量噪声，计算和更新误差状态的协方差矩阵；
S104，根据IMU的测量数据和初始状态不断更新自车的位置、速度和姿态；
S105，将IMU的测量数据和其他传感器的测量数据进行时序对齐和同步，然后以信息融合框架融入多传感器的数据；
S106，执行ESKF算法，以进行状态的预测和更新，根据不同传感器的信息，分别对各传感器的偏差进行估计和补偿；利用ESKF算法得到的误差状态和协方差，更新标称状态向量，以获得更准确的位置、速度和姿态估计。
可以理解的是，本实施例首先使用了IMU测量的加速度和角速度等信息，推导了位置、速度、姿态更新的数学模型，即PVQ的标称状态传播。在捷联惯性导航(INS)解算的基础上，针对多传感器数据融合带来的非线性问题，搭建了位姿误差状态卡尔曼滤波信息融合框架，包括构建多传感器的观测状态和误差状态修正等过程。基于ESKF模型信息融合框架的多传感器融合定位理论，依据捷联惯性导航机械编排算法流程，推导了位置、速度和位姿的标称状态传播，梳理了误差状态传播、状态转移方程和误差状态修正等主要滤波更新过程，完成了对多传感器的松散融合定位系统的模型构建。
在一种可能的实施例方式中，步骤S2，如图3所示，基于BEV视角进行车道线检测，得到参数化的BEV车道信息，包括：
S201，选取原始图像中的ROI区域，根据所述ROI区域的框选点计算目标BEV图像与原始图像之间的单应性矩阵，根据所述单应性矩阵将所述原始图像转换为BEV图像；
S202，对所述BEV图像进行预处理，通过Laplacian变换强化预处理后的BEV图像中车道线的边缘，基于Canny边缘检测算法识别预处理后BEV图像中的多条线段；
可以理解的是，Laplacian(拉普拉斯)变换是使用Laplacian算子(也称为二阶微分算子)对图像进行卷积来提取图像边缘和细节信息。Laplacian变换主要用于图像边缘检测和图像锐化。在图像边缘检测中，Laplacian变换可以帮助识别图像中的边缘和线条，并通过计算梯度来强调这些特征。在图像锐化中，Laplacian变换可以帮助增强图像的细节，从而使其更加清晰和更具视觉效果。Laplacian变换提取和锐化了车道线的边缘，变换后的图像仅保留线段的边缘信息。Canny边缘算法是主要用于检测图像中的边缘，它的主要特点是高效、精确、不敏感于噪声，广泛地应用于图像处理和计算机视觉领域。Canny边缘算法主要步骤为：计算图像梯度找出图像边缘；非极大值抑制边缘像素点；双阈值检测识别图像中的边缘；边缘连接形成边缘线条等。Canny边缘算法进一步通过对亮度的敏感性，进一步找出图像边缘信息。
S203，根据斜率和中垂线过滤识别的多条线段，以筛除非车道线的线段以及车道线中间的线段；采用FitLine算法拟合车道线段，获得清晰拟合的车道线；将提取的车道线存为左右点集并投影至所述BEV图像。
可以理解的是，原始图像来自于车载相机拍摄。本实施例主要针对构建BEV车道线提取模型，解决车道线参数化问题。使用物体成像的逆透视变换原理，在最大化保留车道线原始特征信息基础上生成车道线鸟瞰图(BEV图像)，再完成车道线提取及参数化工作，即BEV视角的车道线检测。首先，根据原始图像投影到鸟瞰图投影模型的转换矩阵进行BEV视角变换；其次，实现BEV图像车道线检测的基本过程，从感兴趣区域ROI(Region ofInterest)中识别、提取、参数化车道线，完成了BEV车道线检测过程。通过本实施例，建立BEV变换模型和车道线提取等工作，达到了二维锥视视角的车道线到三维BEV视角的车道线转化过程，最大化提取、参数化车道线特征信息，完成了BEV视角车道线检测。
在一种可能的实施例方式中，S202中，如图3所示，所述对所述BEV图像进行预处理，包括：
对所述BEV图像依次进行灰度化、二值化和高斯滤波。
可以理解的是，灰度化是仅使用一个灰度值(或灰度级)表示每个像素，将彩色图像转换为灰度图像，达到减少计算数据量和快捷处理的作用。二值化变换用于简化图像，仅使用黑色或白色两种颜色值表示每个像素，使其便于自动处理和分析。二值化变换部分后的图像包含了绝大部分车道线转换后的白色像素线段集，也包含了车道上杂质线段。高斯滤波是使用高斯模板对图像像素进行卷积来实现图像平滑和消除噪声的目的，有效帮助压抑噪声并保护图像的边缘和细节。
在一种可能的实施例方式中，S203，具体包括：
计算图像中每条线段的两端点像素坐标，根据各条线段的两端点像素坐标计算该线段的斜率，将斜率绝对值小于斜率阈值的线段认为是非车道线的线段并删除；
根据各条线段的两端点像素坐标计算图像中每条线段的两端点到图像中垂线的距离，若计算得到的所述距离小于距离阈值，则认为该线段为车道线中间的线段，将其删除；
采用FitLine算法，将余下的线段进行拟合，得到清晰拟合的车道线；将提取的车道线存为左右点集，以得到参数化的车道线信息；将提取的车道线投影至所述BEV图像。
可以理解的是，筛选和拟合是将储存的线段，进行两部分操作：根据斜率和中垂线过滤线段，采用FitLine算法拟合直线。计算图像中线段的两端点像素坐标，计算线段斜率，筛除斜率绝对值过小的非车道线的线段。同时，根据线段两端点到图像中垂线的距离设定距离阈值，筛除车道线中间的绝大多数线段。经过筛选拟合部分处理得到清晰拟合的车道线的线段。通过FitLine算法将处理后的线段端点也分别存为左右点集，拟合最佳直线投影至BEV前视图，完成车道线提取和参数化过程。因此，步骤S2用于实时准确地识别和跟踪车道线，在后续BEV视觉-地图匹配定位方面发挥着重要作用，为BEV道路信息-语义地图匹配算法实现做出充分准备工作。
在一种可能的实施例方式中，如图2所示，步骤S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果，包括：
S301，将全部传感器的信息进行时序对齐和同步，输入所述多传感器松散融合定位系统模型，得到初始定位信息；
S302，将BEV图像与车道线地图进行数据匹配，提取出当前车辆的全局位姿信息，并剔除误匹配点信息；根据匹配结果计算车道线观测误差雅可比方程，从而为所述多传感器松散融合定位系统模型提供观测模型；
S303，整合来自不同传感器的信息、车道线观测误差雅可比方程和车道线地图信息，通过ESKF模型对所述初始定位信息进行状态估计和修正，得到车辆的准确定位信息。
本实施例中，采取松耦合的方式将BEV道路信息-地图要素匹配的全局信息作为卡尔曼滤波器的位置观测信息，推导车道线定位的观测方程和状态估计，来解算系统车道线观测误差雅可比方程，与其他传感器进行滤波更新，完成整个多传感算法的融合过程。可以理解的是，基于姿态误差状态卡尔曼滤波作为信息融合框架，由系统的主机统一给各个传感器提供基准时间，使得传感器每帧数据同步到统一的时间戳上，达到系统软件时间同步。如图2所示BEV车道信息协同的多传感器融合定位算法框架设计，其中，图2中“ⅡBEV道路信息-地图要素匹配”部分为相机为视觉传感器的BEV道路信息-地图要素匹配算法模块，其输出的匹配结果作为位置观测，进行状态估计和观测误差的求解。匹配后的位置信息作为卡尔曼滤波(ESKF模型)的观测信息参与滤波更新，为多传感器(例如GNSS)信号质量不佳或者失锁的情况，融合连续可靠的观测位姿，实现了BEV车道线检测过程。
在一种可能的实施例方式中，S302，所述将BEV图像与车道线地图进行数据匹配，提取出当前车辆的全局位姿信息，并剔除误匹配点信息；根据匹配结果计算车道线观测误差雅可比方程，从而为所述多传感器松散融合定位系统模型提供观测模型，包括：
通过惯性导航计算出的初始位置，对分块的车道线地图中的每个地图点进行遍历，计算其与车辆的最小距离，从而搜索车辆在车道线地图上的大致位置；从上一次搜索结果的位置沿着车辆移动方向进行进一步搜索，以确定车辆在车道线地图上的精确位置；
使用从BEV图像中提取的参数化的车道线段首尾端点坐标，在车道线地图中搜索与之对应的车道线段，以建立车道线坐标系；
根据车道线坐标系与世界坐标系之间的转换关系，将BEV图像中车道线的各个关键特征点坐标转换到世界坐标系中，得到若干个地图假设对应点，通过滤波的方式删除所述地图假设对应点中的误匹配点；
根据ESKF模型的误差状态方程、标称状态方程和若干个地图假设对应点，得到车道线观测误差雅可比方程，将所述车道线观测误差雅可比方程作为所述多传感器松散融合定位系统模型的观测模型。
可以理解的是，车道线地图是一种用于车道线匹配的数据库，它保存了车道线的位置信息，例如实线和虚线。它提供了对道路行驶方向和道路曲率的清晰视觉指导，天气条件，道路曲率等因素的影响，而车道线地图可以作为安全的参考依据，客观上帮助驾驶时保持车辆的平稳性和安全性。车道线地图可以帮助车辆系统识别道路的轮廓，从而确定车辆在道路上的位置。这种定位能力对于提高自动驾驶技术的安全性和可靠性非常重要。车道线地图采集与制作通常通过专业的移动测图设备采集，例如激光雷达和相机，以采集现实场景中的点云和图像信息，再将点云的数据经过三维重建后，提取关键的地图元素。同时，将车道线地图分成若干个独立的区块，然后对每个区块进行处理，从而获得有关车道线的有用信息。其中，车道线地图分块的处理可以有效地减少处理的时间。在进行车道线匹配时，可以通过内插获取车道线上任意一点的实际坐标，提供了水平定位约束和垂向定位约束。如果涉及多条道路，则需要记录每条道路的首尾和其他道路的连接关系，以便在地图匹配时使用。
BEV道路-地图要素匹配是一种将图像中提取的车道线线段与车道线地图相匹配的方法，目的是建立匹配关联模型。先通过惯性导航计算出的初始位置，在高精度的地图中进行分块搜索，先确定大致的位置，再进行精细搜索。第一次搜索时，对分块的车道线地图中的每个地图点进行遍历，计算其与车辆的最小距离，从而确定车辆在车道线地图上的位置。在非第一次搜索(后续搜索)时，因为车辆一直沿着道路行驶，所以只需要从上一次估计结果的位置沿着移动方向进行搜索即可。其次，需要在图像中建立车道线坐标系，使用的通过BEV视角提取的参数化的车道线段首尾端点坐标，在车道线地图中搜索与之对应的车道线段，建立车道线坐标系。通过车道线坐标系和世界坐标系之间的转换关系，得到相应的变换矩阵。将当前匹配帧选取车道线的关键特征点坐标转换到统一的世界坐标下，即得到地图假设对应点。通过这样的方式，可将BEV图像中选取的车道线的关键点与地图上对应的假设点一一匹配。但是由于存在误差因素，将关键特征点转换到世界坐标系后可能不在地图车道线上。考虑状态估计的鲁棒性和高精度要求，需要采用滤波的方式对匹配点进行剔除误匹配操作。
车道线误差是在车体坐标系下计算，车道线误差定义为x值相同的图像提取车道线与对应地图车道线的特征点之间的距离平方，即两点y值的差值平方。采样拟合车道线方程，将车道线坐标系下的地图点的x值代入车道线方程，计算y方向误差，可得到其对应的观测方程。根据得到的观测方程对位置求偏导，得到雅可比矩阵H；再对误差状态求导，即可推出系统车道线观测误差雅可比方程。
本实施例通过参数化的BEV车道线与地图先验信息之间构建数据关联及推导车道线的观测信息融合工作，达到了BEV车道信息与惯性导航定位的融合目的，完成了BEV车道信息协同的多传感器融合定位的完整输出。
图4为本发明实施例提供的一种BEV车道信息协同的多传感器融合定位系统结构图，如图4所示，一种BEV车道信息协同的多传感器融合定位系统，包括模型构建模块、车道线检测模块和融合定位模块，其中：
模型构建模块，用于基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；
车道线检测模块，用于基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
融合定位模块，用于整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
可以理解的是，本发明提供的一种BEV车道信息协同的多传感器融合定位系统与前述各实施例提供的BEV车道信息协同的多传感器融合定位方法相对应，BEV车道信息协同的多传感器融合定位系统的相关技术特征可参考BEV车道信息协同的多传感器融合定位方法的相关技术特征，在此不再赘述。
请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提供了一种电子设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：
S1，基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；
S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
请参阅图6，图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：
S1，基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；
S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
本发明实施例提供的一种BEV车道信息协同的多传感器融合定位方法、系统及存储介质，可以接受图像、IMU、GNSS、里程计等四种传感器数据作为输入，并输出包括位置、速度、姿态等定位结果以及车道线检测等一些中间结果。其中，车道线检测模块和融合定位模块可以独立运行。初始化后，车道线检测模块主要运行车道线检测、车道线匹配与观测信息的构建等任务；融合定位模块(多传感器松散融合定位系统模型)主要运行惯性导航机械编排、卡尔曼滤波预测、GNSS与里程计观测信息构建、卡尔曼滤波更新等任务。车道线检测模块和融合定位模块可以独立运行，即融合定位模块不工作时，系统运行单独的车道线检测任务，输出车道线检测结果；车道线检测模块不工作时，系统运行GNSS/INS/里程计融合定位算法，输出定位结果。两个模块之间也有数据交换，车道线检测模块接收里程计和IMU数据辅助检测，同时在构建观测时接收惯性导航定位结果进行地图搜索或地图投影；融合定位模块使用车道线检测模块提供的观测信息进行滤波更新。本发明引入了视觉车道线与车道线地图之间构成的数据关联，得到匹配的松散耦合观测信息作为全局的位置信息，对整个系统进行状态更新和误差修正，完成系统完整的观测输出工作。本发明显著提升了车辆定位的连续性、可靠性和精确度，在保证定位技术的高精度的同时，也极大地提高了在非理想GNSS条件下的系统鲁棒性。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种BEV车道信息协同的多传感器融合定位方法，其特征在于，包括：
S1，基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；
S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
2.根据权利要求1所述的一种BEV车道信息协同的多传感器融合定位方法，其特征在于，步骤S1，包括：
S101，定义标称状态向量和误差状态向量，以构建状态模型，其中，所述标称状态向量至少包括位置、速度和姿态；为各传感器分别建立测量模型，将各传感器的原始测量值映射到状态模型中对应的状态向量；
S102，利用IMU的加速度测量值和角速度测量值，预先计算自车的位移和旋转的增量，并用于ESKF模型的预测步骤，其余传感器的测量数据用于ESKF模型的更新步骤；
S103，基于过程噪声和测量噪声，计算和更新误差状态的协方差矩阵；
S104，根据IMU的测量数据和初始状态不断更新自车的位置、速度和姿态；
S105，将IMU的测量数据和其他传感器的测量数据进行时序对齐和同步，然后以信息融合框架融入多传感器的数据；
S106，执行ESKF算法，以进行状态的预测和更新，根据不同传感器的信息，分别对各传感器的偏差进行估计和补偿；利用ESKF算法得到的误差状态和协方差，更新标称状态向量，以获得更准确的位置、速度和姿态估计。
3.根据权利要求1或2所述的一种BEV车道信息协同的多传感器融合定位方法，其特征在于，步骤S2，基于BEV视角进行车道线检测，得到参数化的BEV车道信息，包括：
S201，选取原始图像中的ROI区域，根据所述ROI区域的框选点计算目标BEV图像与原始图像之间的单应性矩阵，根据所述单应性矩阵将所述原始图像转换为BEV图像；
S202，对所述BEV图像进行预处理，通过Laplacian变换强化预处理后的BEV图像中车道线的边缘，基于边缘检测算法识别预处理后BEV图像中的多条线段；
S203，根据斜率和中垂线过滤识别的多条线段，以筛除非车道线的线段以及车道线中间的线段；采用FitLine算法拟合车道线段，获得清晰拟合的车道线；将提取的车道线存为左右点集并投影至所述BEV图像。
4.根据权利要求3所述的一种BEV车道信息协同的多传感器融合定位方法，其特征在于，S202中，所述对所述BEV图像进行预处理，包括：
对所述BEV图像依次进行灰度化、二值化和高斯滤波。
5.根据权利要求3所述的一种BEV车道信息协同的多传感器融合定位方法，其特征在于，S203，具体包括：
计算图像中每条线段的两端点像素坐标，根据各条线段的两端点像素坐标计算该线段的斜率，将斜率绝对值小于斜率阈值的线段认为是非车道线的线段并删除；
根据各条线段的两端点像素坐标计算图像中每条线段的两端点到图像中垂线的距离，若计算得到的所述距离小于距离阈值，则认为该线段为车道线中间的线段，将其删除；
采用FitLine算法，将余下的线段进行拟合，得到清晰拟合的车道线；将提取的车道线存为左右点集，以得到参数化的车道线信息；将提取的车道线投影至所述BEV图像。
6.根据权利要求3所述的一种BEV车道信息协同的多传感器融合定位方法，其特征在于，S3，整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果，包括：
将全部传感器的信息进行时序对齐和同步，输入所述多传感器松散融合定位系统模型，得到初始定位信息；
将BEV图像与车道线地图进行数据匹配，提取出当前车辆的全局位姿信息，并剔除误匹配点信息；根据匹配结果计算车道线观测误差雅可比方程，从而为所述多传感器松散融合定位系统模型提供观测模型；
整合来自不同传感器的信息、车道线观测误差雅可比方程和车道线地图信息，通过ESKF模型对所述初始定位信息进行状态估计和修正，得到车辆的准确定位信息。
7.根据权利要求6所述的一种BEV车道信息协同的多传感器融合定位方法，其特征在于，所述将BEV图像与车道线地图进行数据匹配，提取出当前车辆的全局位姿信息，并剔除误匹配点信息；根据匹配结果计算车道线观测误差雅可比方程，从而为所述多传感器松散融合定位系统模型提供观测模型，包括：
通过惯性导航计算出的初始位置，对分块的车道线地图中的每个地图点进行遍历，计算其与车辆的最小距离，从而搜索车辆在车道线地图上的大致位置；从上一次搜索结果的位置沿着车辆移动方向进行进一步搜索，以确定车辆在车道线地图上的精确位置；
使用从BEV图像中提取的参数化的车道线段首尾端点坐标，在车道线地图中搜索与之对应的车道线段，以建立车道线坐标系；
根据车道线坐标系与世界坐标系之间的转换关系，将BEV图像中车道线的各个关键特征点坐标转换到世界坐标系中，得到若干个地图假设对应点，通过滤波的方式删除所述地图假设对应点中的误匹配点；
根据ESKF模型的误差状态方程、标称状态方程和若干个地图假设对应点，得到车道线观测误差雅可比方程，将所述车道线观测误差雅可比方程作为所述多传感器松散融合定位系统模型的观测模型。
8.一种BEV车道信息协同的多传感器融合定位系统，其特征在于，包括：
模型构建模块，用于基于ESKF模型信息融合框架，构建多传感器松散融合定位系统模型；
车道线检测模块，用于基于BEV视角进行车道线检测，得到参数化的BEV车道信息；
融合定位模块，用于整合BEV车道信息、地图信息以及多传感器信息并输入所述多传感器松散融合定位系统模型，得到参数化的BEV车道信息协同的多传感器融合定位结果。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的BEV车道信息协同的多传感器融合定位方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的BEV车道信息协同的多传感器融合定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311795483.4A CN117824672A (zh) | 2023-12-24 | 2023-12-24 | 一种bev车道信息协同的多传感器融合定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311795483.4A CN117824672A (zh) | 2023-12-24 | 2023-12-24 | 一种bev车道信息协同的多传感器融合定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117824672A true CN117824672A (zh) | 2024-04-05 |
Family
ID=90512752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311795483.4A Pending CN117824672A (zh) | 2023-12-24 | 2023-12-24 | 一种bev车道信息协同的多传感器融合定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117824672A (zh) |
-
2023
- 2023-12-24 CN CN202311795483.4A patent/CN117824672A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| CN108303103B (zh) | 目标车道的确定方法和装置 | |
| Veľas et al. | Calibration of rgb camera with velodyne lidar | |
| Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
| EP2660777B1 (en) | Image registration of multimodal data using 3D geoarcs | |
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
| Bensrhair et al. | Stereo vision-based feature extraction for vehicle detection | |
| CN111652179A (zh) | 基于点线特征融合激光的语义高精地图构建与定位方法 | |
| CN109887033A (zh) | 定位方法及装置 | |
| US20120243775A1 (en) | Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints | |
| WO2016118499A1 (en) | Visual localization within lidar maps | |
| CN101529201A (zh) | 用于匹配不同来源的位置数据的计算机布置和方法 | |
| CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| CN112904395A (zh) | 一种矿用车辆定位系统及方法 | |
| CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
| Konrad et al. | Localization in digital maps for road course estimation using grid maps | |
| Dawood et al. | Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera | |
| KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| Zhu et al. | Fusing GNSS/INS/vision with a priori feature map for high-precision and continuous navigation | |
| US20210304518A1 (en) | Method and system for generating an environment model for positioning | |
| CN109115232B (zh) | 导航的方法和装置 | |
| CN117470259A (zh) | 一种子母式空地协同多传感器融合三维建图系统 | |
| Hussnain et al. | Automatic extraction of accurate 3D tie points for trajectory adjustment of mobile laser scanners using aerial imagery | |
| WO2021063756A1 (en) | Improved trajectory estimation based on ground truth | |
| KR102195040B1 (ko) | 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |