CN107229063A - 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法 - Google Patents
一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法 Download PDFInfo
- Publication number
- CN107229063A CN107229063A CN201710494149.3A CN201710494149A CN107229063A CN 107229063 A CN107229063 A CN 107229063A CN 201710494149 A CN201710494149 A CN 201710494149A CN 107229063 A CN107229063 A CN 107229063A
- Authority
- CN
- China
- Prior art keywords
- mrow
- gnss
- msup
- msub
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 34
- 230000002605 anti-dotal Effects 0.000 title abstract description 5
- 239000000729 antidote Substances 0.000 title abstract description 5
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000000875 corresponding Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000750 progressive Effects 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims 2
- 238000005259 measurement Methods 0.000 abstract description 3
- 230000000295 complement Effects 0.000 abstract description 2
- 239000000969 carrier Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000000630 rising Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
本发明涉及一种基于GNSS和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法，(1)基于单目视觉的车道线检测；(2)单目视觉里程计定位精度优化；(3)GNSS/VO组合导航系统的定位精度矫正。本发明利用车道线辅助视觉里程计，然后与GNSS定位进行融合以提高车辆定位系统的可靠性。GNSS/VO具有很强的互补特性，GNSS可以获得长时间稳定的定位结果，而VO可以获取短期高精度定位数据，利用两种传感器对位置测量值的差值进行滤波计算，使用VO系统误差的估计值去校正VO系统的误差，实现利用GNSS数据限制VO数据长时间漂移的目的。
Description
技术领域
本发明涉及无人驾驶车载组合导航技术领域，具体涉及一种基于GNSS、视觉里程计、和车道线检测的融合导航方法。
背景技术
随着汽车的普及和使用频率的上升，道路拥堵、环境污染与交通事故已经成为人们不得不面对的问题。发展无人驾驶车辆及研究车辆的自主行驶系统是目前实现安全、高效交通的最佳选择。定位作为无人驾驶车辆的关键技术，是目前车载导航系统亟待解决的问题。早期的车辆定位系统中常使用的是全球卫星导航系统GNSS(GPS，GLONASS，Galileo,BeiDou)。GNSS可以提供全球性的、高精度的定位服务，但是受到卫星轨道误差、时钟误差以及信号传播误差等的影响，GNSS的定位精度只能达到米级。虽然通过载波相位差分技术可以将定位精度提高到厘米级，但是在建筑物密集的城市区域，由于卫星信号受到阻挡以及多路径效应的其它因素干扰，GNSS往往无法满足无人驾驶汽车的定位需求。
为了弥补GNSS的缺陷，通常采用组合导航的方式来提高车载导航系统的精度与鲁棒性。例如自主导航系统，基于车辆的相对运动模型，可以由车辆的上一个位置信息计算出车辆当前的位置。早期车辆自主定位系统常使用轮速编码器来进行航迹推算。然而，轮速编码器存在原理性的累积误差，并且在某些特殊环境下(如土质疏松、轮胎打滑等)会出现失误，不能确保得到精确的车辆位置与姿态估计。另一种常用的基于航位推算的自主定位方法是惯性导航系统(Inertial Navigation System，INS)，通过测量载体相对于惯性空间的角速度和加速度，在对测量的值进行积分来推算而获得载体的导航参数并实时输出。但是，在GNSS信号受干扰区域GNSS/INS组合系统的误差会随着时间而逐渐积累[4],无法完成无人驾驶汽车的精准定位。且高精度的惯性传感器价格昂贵，不利于无人驾驶汽车的产业化发展。
发明内容
针对以上现有技术问题，本发明的目的是针对目前组合导航系统价格昂贵、精度低、可靠性差的问题，提出一种基于GNSS和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法。具体技术方案如下：
一种车道线辅助视觉里程计和GNSS融合的组合导航方法，所述方法的步骤为：
(1)基于单目视觉的车道线检测；
(2)单目视觉里程计定位精度优化；
(3)GNSS与视觉里程计组合导航系统的定位精度矫正；
进一步的，步骤(1)中基于单目视觉的车道线检测的方法为：读取一帧图像，对图像逐行处理，对图像中各行，采用对水平方向敏感的Sobel算法增强边缘，然后对行信息进行处理，进行二值化，对二值化后数据采用车道线内边缘提取算法，提取车道线内边缘点，采用hough变换进行拟合车道线，得到车道线极坐标参数，提取车辆在在道路坐标系下的航向角ψD和横向位置yD；
进一步的，视觉里程计是由多个模块组合得到的系统，包括图像采集模块、特征选择和关联模块、位姿估计模块以及可选的局部优化模块；
进一步的，特征选择与关联、帧间位姿估计这两个模块子在获取每一帧图像时都需要进行计算，是构成视觉里程计的必要模块；
进一步的，基于特征的视觉里程计的算法流程为：
(1)从车载相机采集的视频中读取一系列的图像序列Ik，对某一时刻的单帧图像进行特征点检测，寻找那些比较突出的像素，即根据特定响应度计分函数计算得到的特征度要明显高于其邻域像素，用不同的高斯差来对图像进行滤波并检测局部极值，以获得图像对尺度的不变性，在每个不同的尺度都用高斯差滤波器来对图像做卷积：
通过用不同的高斯核G(σ)对图像做卷积运算；
(2)计算卷积图像的差选取局部极值作为特征候选点，只是该处的局部极值不仅要与当前尺度图像In中的8个邻近点比较，还要与“上层”图像In-1和“下层”图像In+1中的18个临近点进行比较；
(3)用抛物线拟合来对特征候选点位置进行亚像素细化，再用对图像强度的阈值化方法来剔除对比度过小的候选点；公式如下：
检测到特征点p后，要为其计算一个具有尺度是旋转不变性的环装多维描述符，首先为p分配一个方向αp使描述符具备对图像旋转的不变性：为围绕p的每一个像素都要计算梯度值g和方向α，并用g和围绕p的高斯窗口计算的加权直方图分布，αp的选择就是该直方图的峰值位置，随后，用欧式距离对描述符进行相似度度量，在用相似度度量比较了两帧图像之间的特征描述符之后，第一帧图像在第二帧图像中的最好关联将被选为最接近的描述符；
(4)位姿估计是以特征检测与关联的输出为输入的模块，是由内层的外数据移除和基于全部内数据的外层细化计算组成的二步过程，用随机采样一致性方法从点关联集合中随机采样最小子集来计算模型假设，然后在点关联集合的其他数据上验证假设，与其他数据表现出最高一致性的假设将被选为优胜解；随后，用通用求解器计算相对位姿，采用高效5点算法，获得的是最小二乘解，扩展到用N对点关联对进行计算，其中N>5，随后通过图像匹配求解车辆运动的6自由度运动参数；
(5)利用车辆在在道路坐标系下的航向角ψD和横向位置yD修正基于视觉里程计方法求解的6自由度参数，提高车辆在车道上横向位置上的定位精度，抑制视觉里程计的漂移误差；
进一步的，在完成单目视觉里程计相对定位的基础上，利用卡尔曼滤波器将无人驾驶汽车的视觉定位坐标与GNSS定位坐标进行融合矫正，在融合导航系统GNSS的信号可以抑制VO的漂移，当GNSS信号受遮挡而无法正常工作时，VO可以提供连续的导航结果；
进一步的，首先在无人驾驶汽车车载平台上建立动力学模型，该模型用于预测车辆新的运动状态，根据GNSS与视觉定位结果建立GNSS/VO系统的误差模型；其次根据上一时刻的坐标向量与下一时刻的坐标向量的转换关系建立系统状态方程；最后根据状态向量和观测向量之间的关系建立观测方程，而GNSS与视觉系统将作为观测向量中的成员同时对整个系统进行数据融合，卡尔曼滤波器接收GNSS与VO两个导航子系统对车辆位置参数输出值的差值，经过滤波计算，估计出各误差量的最优估计值，用VO导航系统误差的估计值去校正VO系统特征匹配中的相应六自由度导航参数，即将误差的最优估计值反馈到VO导航系统的动力学模型中进行导航参数修正，最后输出经反馈校正后的定位坐标。
本发明与现有技术相比，具有如下优点和效果：
利用车道线辅助视觉里程计，然后与GNSS定位进行融合以提高车辆定位系统的可靠性。视觉里程计(VO)是利用车载相机采集到的图像信息来恢复车体本身的6自由度信息，包括3自由度的旋转和3自由度的平移。视觉传感器可以提供丰富的感知信息，既可以满足车辆的自定位需求，同时可以为其它功能提供信息，如车道线检测、避障等，路标识别等。而且，视觉传感器还具有成本低、体积小等优点。GNSS/VO具有很强的互补特性，GNSS可以获得长时间稳定的定位结果，而VO可以获取短期高精度定位数据，利用两种传感器对位置测量值的差值进行滤波计算，使用VO系统误差的估计值去校正VO系统的误差，实现利用GNSS数据限制VO数据长时间漂移的目的。
附图说明
图1为车道线检测步骤
图2为基于特征的视觉里程计的算法流程
图3为RANSAC算法流程示意图
图4为GNSS和视觉组合导航的原理框图
具体实施方式
下面根据附图对本发明进行详细描述，其为本发明多种实施方式中的一种优选实施例。
(1)基于单目视觉的车道线检测
读取一帧图像，对图像逐行处理。对图像中各行，首先采用对水平方向敏感的Sobel算法增强边缘。然后对行信息进行处理，进行二值化，对二值化后数据采用车道线内边缘提取算法，提取车道线内边缘点，采用hough变换进行拟合车道线，得到车道线极坐标参数(极坐标半径和角度)。提取车辆在在道路坐标系下的航向角ψD和横向位置yD。车道线检测流程如图1所示。
(2)单目视觉里程计定位精度优化
视觉里程计是由多个模块组合得到的系统，包括图像采集模块、特征选择和关联模块、位姿估计模块以及可选的局部优化模块。基于两帧框架的视觉里程计系统，其工作流程一般包括特征的选择与关联，以及基于所获得的特征关联集合的帧间位姿估计。其中，特征选择与关联、帧间位姿估计这两个模块子在获取每一帧图像时都学要进行计算，是构成视觉里程计的必要模块；在视觉里程计定位的基础上，利用车道线参数对视觉定位结果进行局部优化。图2展示了基于特征的视觉里程计的算法流程。
首先，从车载相机采集的视频中读取一系列的图像序列Ik。对某一时刻的单帧图像进行特征点检测，其基本的思想是寻找那些比较突出的像素，即根据特定响应度计分函数计算得到的特征度要明显高于其邻域像素。用不同的高斯差(Difference ofGaussians,DoG)来对图像进行滤波并检测局部极值，以获得图像对尺度的不变性，也即构建图像金字塔，在每个不同的尺度都用高斯差滤波器来对图像做卷积：
通过用不同的高斯核G(σ)对图像做卷积运算，然后计算卷积图像的差选取局部极值作为特征候选点，只是该处的局部极值不仅要与当前尺度图像In中的8个邻近点比较，还要与“上层”图像In-1和“下层”图像In+1中的18个临近点进行比较。接下来，还可以用抛物线拟合来对特征候选点位置进行亚像素细化，再用对图像强度的阈值化方法来剔除对比度过小的候选点。如题公式如下：
检测到特征点p后，要为其计算一个具有尺度是旋转不变性的环装多维描述符。首先为p分配一个方向αp使描述符具备对图像旋转的不变性：为围绕p的每一个像素都要计算梯度值g和方向α，并用g和围绕p的高斯窗口计算的加权直方图分布。αp的选择就是该直方图的峰值位置。随后，用欧式距离对描述符进行相似度度量。在用相似度度量比较了两帧图像之间的特征描述符之后，第一帧图像在第二帧图像中的最好关联将被选为最接近的描述符。
位姿估计是以特征检测与关联的输出为输入的模块，是由内层的外数据移除和基于全部内数据的外层细化计算组成的二步过程。用随机采样一致性方法从点关联集合中随机采样最小子集来计算模型假设，然后在点关联集合的其他数据上验证假设，与其他数据表现出最高一致性的假设将被选为优胜解。其算法流程如图3所示。
随后，用通用求解器计算相对位姿，相对定姿问题的代表性最小集求解器是Nister的高校五点算法。高效5点算法本质意义上获得的是最小二乘解，因此很容易扩展到用N(N>5)对点关联对进行计算。随后通过图像匹配求解车辆运动的6自由度运动参数。最后，利用车辆在在道路坐标系下的航向角ψD和横向位置yD修正基于视觉里程计方法求解的6自由度参数，提高车辆在车道上横向位置上的定位精度，抑制视觉里程计的漂移误差。
(3)GNSS/VO组合导航系统的定位精度矫正方法
在完成单目视觉里程计相对定位的基础上，利用卡尔曼滤波器(Kalman Filter)将无人驾驶汽车的视觉定位坐标与GNSS定位坐标进行融合矫正。在融合导航系统GNSS的信号可以抑制VO的漂移，当GNSS信号受遮挡而无法正常工作时，VO可以提供连续的导航结果。
GNSS与视觉定位系统具有良好的互补性，GNSS可以提供比较稳定的长时间范围内的定位结果，而视觉里程计在短时间内可以提供高精度的定位输出。利用最优估计法将无人驾驶汽车的视觉定位坐标与GNSS定位坐标进行融合矫正，多传感器信息融合系统的最优估计常采用的技术是卡尔曼滤波。由于视觉定位与GNSS定位的输出都是非线性系统，所以采用间接法滤波。首先在无人驾驶汽车车载平台上建立动力学模型，该模型用于预测车辆新的运动状态。根据GNSS与视觉定位结果建立GNSS/VO系统的误差模型；其次根据上一时刻的坐标向量与下一时刻的坐标向量的转换关系建立系统状态方程；最后根据状态向量和观测向量之间的关系建立观测方程。而GNSS与视觉系统将作为观测向量中的成员同时对整个系统进行数据融合。卡尔曼滤波器接收GNSS与VO两个导航子系统对车辆位置参数输出值的差值，经过滤波计算，估计出各误差量的最优估计值。用VO导航系统误差的估计值去校正VO系统特征匹配中的相应六自由度导航参数，即将误差的最优估计值反馈到VO导航系统的动力学模型中进行导航参数修正，最后输出经反馈校正后的定位坐标。间接法滤波原理如图4所示。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。
Claims (7)
1.一种车道线辅助视觉里程计和GNSS融合的组合导航方法，其特征在于，所述方法的步骤为：
(1)基于单目视觉的车道线检测；
(2)单目视觉里程计定位精度优化；
(3)GNSS与视觉里程计组合导航系统的定位精度矫正。
2.如权利要求1所述的一种车道线辅助视觉里程计和GNSS融合的组合导航方法，所述的步骤(1)中基于单目视觉的车道线检测的方法为：读取一帧图像，对图像逐行处理，对图像中各行，采用对水平方向敏感的Sobel算法增强边缘，然后对行信息进行处理，进行二值化，对二值化后数据采用车道线内边缘提取算法，提取车道线内边缘点，采用hough变换进行拟合车道线，得到车道线极坐标参数，提取车辆在在道路坐标系下的航向角ψD和横向位置yD。
3.如权利要求1所述的一种车道线辅助视觉里程计和GNSS融合的组合导航方法，所述的视觉里程计是由多个模块组合得到的系统，包括图像采集模块、特征选择和关联模块、位姿估计模块以及可选的局部优化模块。
4.如权利要求3所述的一种车道线辅助视觉里程计和GNSS融合的组合导航方法，所述的特征选择与关联、帧间位姿估计这两个模块子在获取每一帧图像时都需要进行计算，是构成视觉里程计的必要模块。
5.如权利要求4所述的一种车道线辅助视觉里程计和GNSS融合的组合导航方法，所述的基于特征的视觉里程计的算法流程为：
(1)从车载相机采集的视频中读取一系列的图像序列Ik，对某一时刻的单帧图像进行特征点检测，寻找那些比较突出的像素，即根据特定响应度计分函数计算得到的特征度要明显高于其邻域像素，用不同的高斯差来对图像进行滤波并检测局部极值，以获得图像对尺度的不变性，在每个不同的尺度都用高斯差滤波器来对图像做卷积：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>DoG</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>&sigma;</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>k</mi>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mn>2</mn>
<msup>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
通过用不同的高斯核G(σ)对图像做卷积运算；
(2)计算卷积图像的差选取局部极值作为特征候选点，只是该处的局部极值不仅要与当前尺度图像In中的8个邻近点比较，还要与“上层”图像In-1和“下层”图像In+1中的18个临近点进行比较；
(3)用抛物线拟合来对特征候选点位置进行亚像素细化，再用对图像强度的阈值化方法来剔除对比度过小的候选点；公式如下：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>I</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mi>I</mi>
<mo>*</mo>
<msub>
<mi>DoG</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>k&sigma;</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mo>*</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>I</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mi>I</mi>
<mo>*</mo>
<msub>
<mi>DoG</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<msub>
<mi>k&sigma;</mi>
<mn>0</mn>
</msub>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>k</mi>
<mn>2</mn>
</msup>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mo>*</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&sigma;</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
检测到特征点p后，要为其计算一个具有尺度是旋转不变性的环装多维描述符，首先为p分配一个方向αp使描述符具备对图像旋转的不变性：为围绕p的每一个像素都要计算梯度值g和方向α，并用g和围绕p的高斯窗口计算的加权直方图分布，αp的选择就是该直方图的峰值位置，随后，用欧式距离对描述符进行相似度度量，在用相似度度量比较了两帧图像之间的特征描述符之后，第一帧图像在第二帧图像中的最好关联将被选为最接近的描述符；
(4)所述的位姿估计是以特征检测与关联的输出为输入的模块，是由内层的外数据移除和基于全部内数据的外层细化计算组成的二步过程，用随机采样一致性方法从点关联集合中随机采样最小子集来计算模型假设，然后在点关联集合的其他数据上验证假设，与其他数据表现出最高一致性的假设将被选为优胜解；随后，用通用求解器计算相对位姿，采用高效5点算法，获得的是最小二乘解，扩展到用N对点关联对进行计算，其中N>5，随后通过图像匹配求解车辆运动的6自由度运动参数；
(5)利用车辆在在道路坐标系下的航向角ψD和横向位置yD修正基于视觉里程计方法求解的6自由度参数，提高车辆在车道上横向位置上的定位精度，抑制视觉里程计的漂移误差。
6.如权利要求5所述的一种车道线辅助视觉里程计和GNSS融合的组合导航方法，在完成单目视觉里程计相对定位的基础上，利用卡尔曼滤波器将无人驾驶汽车的视觉定位坐标与GNSS定位坐标进行融合矫正，在融合导航系统GNSS的信号可以抑制VO的漂移，当GNSS信号受遮挡而无法正常工作时，VO可以提供连续的导航结果。
7.如权利要求6所述的一种车道线辅助视觉里程计和GNSS融合的组合导航方法，首先在无人驾驶汽车车载平台上建立动力学模型，该模型用于预测车辆新的运动状态，根据GNSS与视觉定位结果建立GNSS/VO系统的误差模型；其次根据上一时刻的坐标向量与下一时刻的坐标向量的转换关系建立系统状态方程；最后根据状态向量和观测向量之间的关系建立观测方程，而GNSS与视觉系统将作为观测向量中的成员同时对整个系统进行数据融合，卡尔曼滤波器接收GNSS与VO两个导航子系统对车辆位置参数输出值的差值，经过滤波计算，估计出各误差量的最优估计值，用VO导航系统误差的估计值去校正VO系统特征匹配中的相应六自由度导航参数，即将误差的最优估计值反馈到VO导航系统的动力学模型中进行导航参数修正，最后输出经反馈校正后的定位坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710494149.3A CN107229063A (zh) | 2017-06-26 | 2017-06-26 | 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710494149.3A CN107229063A (zh) | 2017-06-26 | 2017-06-26 | 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107229063A true CN107229063A (zh) | 2017-10-03 |
Family
ID=59935700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710494149.3A Pending CN107229063A (zh) | 2017-06-26 | 2017-06-26 | 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107229063A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107728175A (zh) * | 2017-09-26 | 2018-02-23 | 南京航空航天大学 | 基于gnss和vo融合的无人驾驶车辆导航定位精度矫正方法 |
| CN107782321A (zh) * | 2017-10-10 | 2018-03-09 | 武汉迈普时空导航科技有限公司 | 一种基于视觉和高精度地图车道线约束的组合导航方法 |
| CN107907894A (zh) * | 2017-11-09 | 2018-04-13 | 上汽通用五菱汽车股份有限公司 | 无人驾驶汽车定位方法、装置、存储介质及无人驾驶汽车 |
| CN108196285A (zh) * | 2017-11-30 | 2018-06-22 | 中山大学 | 一种基于多传感器融合的精确定位系统 |
| CN109164801A (zh) * | 2018-08-08 | 2019-01-08 | 尹彦勇 | 一种无人驾驶系统 |
| CN109186616A (zh) * | 2018-09-20 | 2019-01-11 | 禾多科技（北京）有限公司 | 基于高精度地图和场景检索的车道线辅助定位方法 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
| CN109752008A (zh) * | 2019-03-05 | 2019-05-14 | 长安大学 | 智能车多模式协同定位系统、方法及智能车辆 |
| CN110070712A (zh) * | 2019-04-12 | 2019-07-30 | 同济大学 | 一种低速清扫车全局定位系统及方法 |
| CN110207714A (zh) * | 2019-06-28 | 2019-09-06 | 广州小鹏汽车科技有限公司 | 一种确定车辆位姿的方法、车载系统及车辆 |
| CN110243358A (zh) * | 2019-04-29 | 2019-09-17 | 武汉理工大学 | 多源融合的无人车室内外定位方法及系统 |
| CN110411462A (zh) * | 2019-07-22 | 2019-11-05 | 武汉大学 | 一种gnss/惯性/车道线约束/里程计多源融合方法 |
| CN110556012A (zh) * | 2019-09-16 | 2019-12-10 | 北京百度网讯科技有限公司 | 车道定位方法及车辆定位系统 |
| CN110567468A (zh) * | 2018-06-06 | 2019-12-13 | 百度在线网络技术（北京）有限公司 | 道路轨迹获取方法、设备及存储介质 |
| CN110645994A (zh) * | 2019-09-24 | 2020-01-03 | 奇瑞汽车股份有限公司 | 一种车载实景增强导航系统及方法 |
| CN111492202A (zh) * | 2017-10-24 | 2020-08-04 | 日产北美公司 | 车辆运行的位置确定 |
| CN114114369A (zh) * | 2022-01-27 | 2022-03-01 | 智道网联科技(北京)有限公司 | 自动驾驶车辆定位方法和装置、电子设备和存储介质 |
| CN115480280A (zh) * | 2022-11-14 | 2022-12-16 | 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) | 基于车辆伪基站的协同定位方法及存储介质 |
| CN115480280B (zh) * | 2022-11-14 | 2023-02-24 | 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) | 基于车辆伪基站的协同定位方法及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
| CN101639983A (zh) * | 2009-08-21 | 2010-02-03 | 任雪梅 | 一种基于图像信息熵的多车道车流量检测方法 |
| CN103630122A (zh) * | 2013-10-15 | 2014-03-12 | 北京航天科工世纪卫星科技有限公司 | 一种单目视觉车道线检测方法及其测距方法 |
| CN103940434A (zh) * | 2014-04-01 | 2014-07-23 | 西安交通大学 | 基于单目视觉和惯性导航单元的实时车道线检测系统 |
| CN103968837A (zh) * | 2014-04-25 | 2014-08-06 | 惠州华阳通用电子有限公司 | 惯性导航系统中陀螺仪刻度因子的校正方法及装置 |
| CN104008645A (zh) * | 2014-06-12 | 2014-08-27 | 湖南大学 | 一种适用于城市道路车道线预测及预警方法 |
| CN104180818A (zh) * | 2014-08-12 | 2014-12-03 | 北京理工大学 | 一种单目视觉里程计算装置 |
| CN105868696A (zh) * | 2016-03-23 | 2016-08-17 | 奇瑞汽车股份有限公司 | 一种检测多车道车道线的方法和装置 |
| CN106529443A (zh) * | 2016-11-03 | 2017-03-22 | 温州大学 | 改进霍夫变化检测车道线的方法 |
-
2017
- 2017-06-26 CN CN201710494149.3A patent/CN107229063A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
| CN101639983A (zh) * | 2009-08-21 | 2010-02-03 | 任雪梅 | 一种基于图像信息熵的多车道车流量检测方法 |
| CN103630122A (zh) * | 2013-10-15 | 2014-03-12 | 北京航天科工世纪卫星科技有限公司 | 一种单目视觉车道线检测方法及其测距方法 |
| CN103940434A (zh) * | 2014-04-01 | 2014-07-23 | 西安交通大学 | 基于单目视觉和惯性导航单元的实时车道线检测系统 |
| CN103968837A (zh) * | 2014-04-25 | 2014-08-06 | 惠州华阳通用电子有限公司 | 惯性导航系统中陀螺仪刻度因子的校正方法及装置 |
| CN104008645A (zh) * | 2014-06-12 | 2014-08-27 | 湖南大学 | 一种适用于城市道路车道线预测及预警方法 |
| CN104180818A (zh) * | 2014-08-12 | 2014-12-03 | 北京理工大学 | 一种单目视觉里程计算装置 |
| CN105868696A (zh) * | 2016-03-23 | 2016-08-17 | 奇瑞汽车股份有限公司 | 一种检测多车道车道线的方法和装置 |
| CN106529443A (zh) * | 2016-11-03 | 2017-03-22 | 温州大学 | 改进霍夫变化检测车道线的方法 |
Non-Patent Citations (6)
| Title |
|---|
| DAMIEN DUSHA LUIS MEJIAS: "Attitude observability of a loosely-coupled GPS/Visual Odometry Integrated Navigation Filter", 《AUSTRALASIAN CONFERENCE ON ROBOTICS AND AUTOMATION (ACRA 2010)》 * |
| SHUNSUKE KAMIJO ET AL.: "GNSS/INS/On-Board Camera Integration for Vehicle Self-Localization in Urban Canyon", 《2015 IEEE 18TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 彭红 等: "基于扩展卡尔曼滤波器的车道线检测算法", 《光电子 激光》 * |
| 曾庆喜 等: "融合视觉的智能车组合导航技术分析", 《导航定位学报》 * |
| 林英杰 等: "基于FPGA的快速车道偏离预警系统硬件实现", 《电子科技》 * |
| 江燕华: "车辆运动特性约束的智能车辆视觉里程计系统研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107728175A (zh) * | 2017-09-26 | 2018-02-23 | 南京航空航天大学 | 基于gnss和vo融合的无人驾驶车辆导航定位精度矫正方法 |
| CN107782321A (zh) * | 2017-10-10 | 2018-03-09 | 武汉迈普时空导航科技有限公司 | 一种基于视觉和高精度地图车道线约束的组合导航方法 |
| CN107782321B (zh) * | 2017-10-10 | 2020-10-30 | 武汉迈普时空导航科技有限公司 | 一种基于视觉和高精度地图车道线约束的组合导航方法 |
| CN111492202A (zh) * | 2017-10-24 | 2020-08-04 | 日产北美公司 | 车辆运行的位置确定 |
| CN111492202B (zh) * | 2017-10-24 | 2022-03-08 | 日产北美公司 | 车辆运行的位置确定 |
| CN107907894A (zh) * | 2017-11-09 | 2018-04-13 | 上汽通用五菱汽车股份有限公司 | 无人驾驶汽车定位方法、装置、存储介质及无人驾驶汽车 |
| CN108196285A (zh) * | 2017-11-30 | 2018-06-22 | 中山大学 | 一种基于多传感器融合的精确定位系统 |
| US11307038B2 (en) | 2018-06-06 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device for acquiring road track, and storage medium |
| CN110567468A (zh) * | 2018-06-06 | 2019-12-13 | 百度在线网络技术（北京）有限公司 | 道路轨迹获取方法、设备及存储介质 |
| CN109164801A (zh) * | 2018-08-08 | 2019-01-08 | 尹彦勇 | 一种无人驾驶系统 |
| CN109164801B (zh) * | 2018-08-08 | 2021-06-29 | 尹彦勇 | 一种无人驾驶系统 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
| CN109186616A (zh) * | 2018-09-20 | 2019-01-11 | 禾多科技（北京）有限公司 | 基于高精度地图和场景检索的车道线辅助定位方法 |
| CN109752008A (zh) * | 2019-03-05 | 2019-05-14 | 长安大学 | 智能车多模式协同定位系统、方法及智能车辆 |
| CN110070712A (zh) * | 2019-04-12 | 2019-07-30 | 同济大学 | 一种低速清扫车全局定位系统及方法 |
| CN110243358A (zh) * | 2019-04-29 | 2019-09-17 | 武汉理工大学 | 多源融合的无人车室内外定位方法及系统 |
| CN110243358B (zh) * | 2019-04-29 | 2023-01-03 | 武汉理工大学 | 多源融合的无人车室内外定位方法及系统 |
| CN110207714A (zh) * | 2019-06-28 | 2019-09-06 | 广州小鹏汽车科技有限公司 | 一种确定车辆位姿的方法、车载系统及车辆 |
| CN110207714B (zh) * | 2019-06-28 | 2021-01-19 | 广州小鹏自动驾驶科技有限公司 | 一种确定车辆位姿的方法、车载系统及车辆 |
| CN110411462B (zh) * | 2019-07-22 | 2021-05-18 | 武汉大学 | 一种gnss/惯导/车道线约束/里程计多源融合方法 |
| CN110411462A (zh) * | 2019-07-22 | 2019-11-05 | 武汉大学 | 一种gnss/惯性/车道线约束/里程计多源融合方法 |
| CN110556012B (zh) * | 2019-09-16 | 2022-03-08 | 北京百度网讯科技有限公司 | 车道定位方法及车辆定位系统 |
| CN110556012A (zh) * | 2019-09-16 | 2019-12-10 | 北京百度网讯科技有限公司 | 车道定位方法及车辆定位系统 |
| CN110645994A (zh) * | 2019-09-24 | 2020-01-03 | 奇瑞汽车股份有限公司 | 一种车载实景增强导航系统及方法 |
| CN114114369A (zh) * | 2022-01-27 | 2022-03-01 | 智道网联科技(北京)有限公司 | 自动驾驶车辆定位方法和装置、电子设备和存储介质 |
| CN115480280A (zh) * | 2022-11-14 | 2022-12-16 | 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) | 基于车辆伪基站的协同定位方法及存储介质 |
| CN115480280B (zh) * | 2022-11-14 | 2023-02-24 | 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) | 基于车辆伪基站的协同定位方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107229063A (zh) | 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法 | |
| CN106441319B (zh) | 一种无人驾驶车辆车道级导航地图的生成系统及方法 | |
| CN109945858B (zh) | 用于低速泊车驾驶场景的多传感融合定位方法 | |
| CN107728175A (zh) | 基于gnss和vo融合的无人驾驶车辆导航定位精度矫正方法 | |
| CN102353377B (zh) | 一种高空长航时无人机组合导航系统及其导航定位方法 | |
| CN104848867B (zh) | 基于视觉筛选的无人驾驶汽车组合导航方法 | |
| CN109946732B (zh) | 一种基于多传感器数据融合的无人车定位方法 | |
| CN104061899B (zh) | 一种基于卡尔曼滤波的车辆侧倾角与俯仰角估计方法 | |
| KR101454153B1 (ko) | 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템 | |
| Tao et al. | Lane marking aided vehicle localization | |
| CN108303103A (zh) | 目标车道的确定方法和装置 | |
| CN106780699A (zh) | 一种基于sins/gps和里程计辅助的视觉slam方法 | |
| CN107180215A (zh) | 基于库位和二维码的停车场自动建图与高精度定位方法 | |
| CN111551958B (zh) | 一种面向矿区无人驾驶的高精地图制作方法 | |
| CN104236566B (zh) | 基于智能手机的地图匹配方法 | |
| CN107796391A (zh) | 一种捷联惯性导航系统/视觉里程计组合导航方法 | |
| CN108885106A (zh) | 使用地图的车辆部件控制 | |
| CN108645420B (zh) | 一种基于差分导航的自动驾驶车辆多路径地图的创建方法 | |
| CN110411462B (zh) | 一种gnss/惯导/车道线约束/里程计多源融合方法 | |
| CN104777499A (zh) | 一种基于ins/gps/sar的联合导航方法 | |
| CN110186468B (zh) | 用于自动驾驶的高精度地图制作方法和制作装置 | |
| CN103499351A (zh) | 一种基于磁地标和磁传感器的车辆辅助定位方法 | |
| Dumble et al. | Airborne vision-aided navigation using road intersection features | |
| CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
| CN114199259B (zh) | 一种基于运动状态与环境感知的多源融合导航定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171003 |
|
| RJ01 | Rejection of invention patent application after publication |