CN117649583A - 一种自动驾驶车辆行驶实时道路模型融合方法 - Google Patents
一种自动驾驶车辆行驶实时道路模型融合方法 Download PDFInfo
- Publication number
- CN117649583A CN117649583A CN202410125740.1A CN202410125740A CN117649583A CN 117649583 A CN117649583 A CN 117649583A CN 202410125740 A CN202410125740 A CN 202410125740A CN 117649583 A CN117649583 A CN 117649583A
- Authority
- CN
- China
- Prior art keywords
- road model
- vehicle
- information
- visual
- information road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 230000016776 visual perception Effects 0.000 claims abstract description 31
- 230000008447 perception Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种自动驾驶车辆行驶实时道路模型融合方法，包括如下步骤：通过车辆的视觉感知系统获取视觉感知参数Is，通过车辆的毫米波雷达获取毫米波雷达感知参数Ih，通过车载信息系统获取车辆行驶参数Ix；基于视觉感知参数Is得到视觉信息道路模型Ms，基于毫米波雷达感知参数Ih得到雷达信息道路模型Ms，基于车辆行驶参数Ix得到行驶信息道路模型Mx；对视觉信息道路模型Ms、雷达信息道路模型Ms和行驶信息道路模型Mx进行融合，获得融合后的综合信息道路模型。本发明的自动驾驶车辆行驶实时道路模型融合方法，具有能够有效解决单一数据源生成的道路模型鲁棒性差的问题、提高自动驾驶的安全性、生成道路模型成本低且周期短等优点。
Description
技术领域
本发明涉及一种车辆自动驾驶技术，尤其是一种自动驾驶车辆行驶实时道路模型融合方法。
背景技术
自动驾驶是近年来备受关注的领域之一，它代表了汽车行业的一次革命性变革。自动驾驶利用先进的传感器、计算技术、感知技术、决策技术和控制技术，使汽车能够在没有人类干预的情况下实现自主导航和操作。自动驾驶工程中，使用各类传感器（如激光雷达、摄像头和雷达）来获取车辆周围环境的信息。决策技术则利用感知数据进行环境分析和路径规划，以做出合适的驾驶决策。控制技术负责控制车辆的加速、制动和转向等操作。这些技术相互协作，使车辆能够感知周围环境、做出决策并安全地行驶。
道路交通模型是指表明道路交通参数与相关的社会经济参数之间关系的数学或物理方程式。道路交通参数有交通量、车速、密度、车头时距等，社会经济参数指人口、道路里程、土地利用等。交通流系统主要部分的体现，应用数理统计、定性定量分析等建立模式。道路模型在自动驾驶车辆的规划控制过程中起到至关重要的作用，它可以定义道路特征，例如拓扑、行驶方向、高程、坡度/坡道（slope/ramps）、规则、路沿/边界（curbs/boundaries）和交叉路口等。通过定义好的道路特征可以给车辆提供行驶参考，对车辆进行局部规划和车辆控制，实现车辆自动驾驶。因此，道路模型是自动驾驶领域的一项关键技术。
目前，道路模型的生成来源多为单一数据源，鲁棒性受限，难以融合提升，不能很好的提供全方位的参考保证：（1）基于车辆当前位姿将高精地图转换到车身坐标系下生成道路模型，转换简易但成本较高，且受地图的更新周期影响不能很好的预测实时的道路模型；（2）基于车辆行驶信息（车速和横摆角速度）获取车辆轨迹和预测道路模型，该方法能很好的预测车辆当前状态，但难以对前方变换的道路进行预测，存在安全隐患；（3）基于视觉等感知信息的道路模型，对前方道路有很好的预测能力，但受限于感知的稳定性（如车道线磨损等情况），鲁棒性受限。因此，基于传统算法的道路模型多集中在直行和变道等场景，转弯场景的适应性较差，并且由于获取源数据的信息不统一，很难对多源数据进行融合生成道路模型。
发明内容
本发明是为避免上述已有技术中存在的不足之处，提供一种自动驾驶车辆行驶实时道路模型融合方法，以解决现有道路模型成本高、更新周期长、多源数据融合不便等问题、提高自动驾驶的安全性和可靠性。
本发明为解决技术问题采用以下技术方案。
一种自动驾驶车辆行驶实时道路模型融合方法，包括如下步骤：
步骤1：通过车辆的视觉感知系统获取视觉感知参数Is，通过车辆的毫米波雷达获取毫米波雷达感知参数Ih，通过车载信息系统获取车辆行驶参数Ix；
步骤2：将视觉感知参数Is输入基础道路模型后得到视觉信息道路模型Ms，将毫米波雷达感知参数Ih输入基础道路模型后得到雷达信息道路模型Mh，将车辆行驶参数Ix输入基础道路模型后得到行驶信息道路模型Mx；
其中，将车辆行驶参数Ix输入基础道路模型后得到行驶信息道路模型Mx的过程包括如下步骤：
步骤231：计算本车的运动轨迹，获得本车的车辆位置信息；车辆位置信息包括横摆角yaw、坐标（xt，yt）和转换矩阵RTt；
横摆角yaw的计算公式见下式（4）；
（4）
上式（4）中， t为当前时刻，yawrate为横摆角速度；
距离dist的计算公式见下式（5）；
（5）
上式（5）中，speedt为t时刻的速度，△t为t时刻与t-1时刻的时间差；
坐标（xt，yt）更新计算公式见下式（6）；
（6）
上式（6）中，（xt，yt）为t时刻的车辆坐标；
转换矩阵RTt见下式（7）；
（7）
上式（7）中，Tt为车辆当前在首帧坐标系的位置[xt，yt，zt]T，Rt为基于横摆角yaw角度计算的旋转矩阵。
步骤232：将多个时刻下的车辆位置信息转换到当前时刻的车身坐标系下，然后根据转换后的车辆位置信息进行曲线拟合；
所述车辆位置信息的转换公式见下式（8）；
（8）
上式（8）中，RT为转换矩阵，RT-1为转换矩阵RT的逆矩阵，Pw为首帧坐标系下的坐标，Pc为当前的某时刻车身坐标系的坐标；曲线拟合结果为；
步骤233：基于拟合的行驶车道中线和横摆角yaw，对车辆行驶状态进行预估；
步骤234：转弯状态下，结合视觉可行驶区域与毫米波雷达的边线拟合结果，对车辆行驶信息的视觉信息道路模型Ms进行更新，获得行驶信息道路模型Mx；
步骤3：对视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx进行融合，获得融合后的综合信息道路模型Mz。
本发明的一种自动驾驶车辆行驶实时道路模型融合方法的结构特点也在于：
进一步地，所述步骤1中，所述视觉感知参数Is包括车道线参数和可行使区域参数；所述毫米波雷达感知参数Ih包括车辆的纵向绝对速度；车辆行驶参数Ix包括车速和横摆角速度yawrate。
进一步地，所述步骤2中，将视觉感知参数Is输入基础道路模型后得到视觉信息道路模型Ms的过程包括如下步骤：
步骤211：根据视觉感知参数Is判断车道线和可行驶区域的有效性；
步骤212：将车道线点云化；
步骤213：对上述点云进行配准处理，获得视觉信息道路模型Ms。
进一步地，所述步骤2中，将毫米波雷达感知参数Ih输入基础道路模型后得到雷达信息道路模型Mh的过程包括如下步骤：
步骤221：根据毫米波雷达感知参数Ih判定动态目标和静态目标，保留动态目标；
步骤222：对多个时刻下的动态目标进行基于卡尔曼的MOT跟踪聚类；
步骤223：通过动态目标的聚类结果，拟合出虚拟车道中线；
步骤224：通过虚拟车道中线计算出车道边线，得到雷达信息道路模型Mh。
进一步地，所述步骤234中，在视觉信息道路模型Ms和雷达信息道路模型Mh均为无效更新的情况下，结合车辆轨迹拟合结果和视觉可行使区域进行道路更新，更新过程包括如下步骤；
步骤2341：设定默认道路宽度，由轨迹拟合中线生成对于道路边线，对边线进行参数点云化；
步骤2342：对边线点云进行迭代计算，判定是否为可行驶区域内部点；
步骤2343：存在边线点在可行驶区域之外的情况下，调整拟合参数c0、c1、c2和c3，直至输出符合可行驶区域的道路模型。
进一步地，所述步骤3中，对视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx进行融合的过程包括如下步骤：
步骤31：分别计算视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx的得分；
步骤32：对无效数据源得到的道路模型进行剔除；
步骤33：剔除无效数据源的道路模型后，按照视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx的得分进行融合。
进一步地，所述步骤32中，判定无效数据源的道路模型的规则如下：
规则1：在视觉信息道路模型Ms的更新过程中，存在少于两条有效车道线更新的情况下，设置视觉信息道路模型Ms无效；
规则2：雷达信息道路模型Mh的车道中线合并后，存在少于一条有效车道中线的情况下，设置雷达信息道路模型Mh无效。
本发明还公开了一种电子设备，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器；其特征是，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的自动驾驶车辆行驶实时道路模型融合方法。
本发明还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征是，所述计算机指令用于使所述计算机执行所述的自动驾驶车辆行驶实时道路模型融合方法。
本发明还公开了一种计算机程序产品，包括计算机程序；其特征是，所述计算机程序在被处理器执行时实现所述的自动驾驶车辆行驶实时道路模型融合方法。
与已有技术相比，本发明有益效果体现在：
本发明公开了一种自动驾驶车辆行驶实时道路模型融合方法，包括如下步骤：通过车辆的视觉感知系统获取视觉感知参数Is，通过车辆的毫米波雷达获取毫米波雷达感知参数Ih，通过车载信息系统获取车辆行驶参数Ix；基于视觉感知参数Is得到视觉信息道路模型Ms，基于毫米波雷达感知参数Ih得到雷达信息道路模型Ms，基于车辆行驶参数Ix得到行驶信息道路模型Mx；对视觉信息道路模型Ms、雷达信息道路模型Ms和行驶信息道路模型Mx进行融合，获得融合后的综合信息道路模型。
本发明的自动驾驶车辆行驶实时道路模型融合方法，具有以下几个方面的技术优点。
1、提供轻量化的实时在线地图生成道路模型方法，仅使用低成本的摄像头、毫米波雷达和车辆行驶数据生成，可以有效解决使用高精度地图生成道路模型的成本大和更新周期长的问题；
2、提供不同源的道路模型对齐方法，可以有效解决多源数据道路模型不能有效融合问题；
3、提供多源数据的融合生成道路模型方法，可以有效解决单一数据源生成的道路模型鲁棒性差的问题，提高自动驾驶的安全性；
4、提供路口转弯状态下视觉车道线和radar雷达感知失效解决方法，可以有效解决转弯下的道路模型缺失导致的安全性问题，为自动驾驶提供连续和全面的参考依据。
本发明的自动驾驶车辆行驶实时道路模型融合方法，具有能够有效解决单一数据源生成的道路模型鲁棒性差的问题、提高自动驾驶的安全性、生成道路模型成本低且周期短等优点。
附图说明
图1为自适应巡航控制的功能状态和状态跳转示意图。
以下通过具体实施方式，并结合附图对本发明作进一步说明。
具体实施方式
参见图1，本发明的一种自动驾驶车辆行驶实时道路模型融合方法，包括如下步骤：
步骤1：通过车辆的视觉感知系统获取视觉感知参数Is，通过车辆的毫米波雷达获取毫米波雷达感知参数Ih，通过车载信息系统获取车辆行驶参数Ix；
步骤2：将视觉感知参数Is输入基础道路模型后得到视觉信息道路模型Ms，将毫米波雷达感知参数Ih输入基础道路模型后得到雷达信息道路模型Mh，将车辆行驶参数Ix输入基础道路模型后得到行驶信息道路模型Mx；
步骤3：对视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx进行融合，获得融合后的综合信息道路模型Mz。
如图1，本发明的自动驾驶车辆行驶实时道路模型融合方法，通过将视觉感知参数Is、毫米波雷达感知参数Ih和车辆行驶参数Ix等源数据初始化，分别基于视觉感知参数Is、毫米波雷达感知参数Ih和车辆行驶参数Ix等三种源数据来分别更新道路模型，获得三个新的道路模型；然后基于所述的视觉感知参数Is、毫米波雷达感知参数Ih和车辆行驶参数Ix等三种源数据的输入更新，分别得到每一种源数据的道路模型的参数信息，通过对三种不同源数据的每一个道路模型的参数信息进行对齐处理，同时基于不同感知类型的状态，确定当前道路模型融合的输入源，得到融合后的综合信息道路模型。该综合信息道路模型可作为下一时刻的道路模型的输入值之一。将综合信息道路模型Mz作为最新的基础道路模型，结合下一时刻的视觉感知参数Is、毫米波雷达感知参数Ih和车辆行驶参数Ix等源数据，重复上述步骤，再次获得融合后的综合信息道路模型Mz，如此反复可不断更新获取最新道路模型。
具体实施时，所述步骤1中，所述视觉感知参数Is包括车道线参数和可行使区域参数；所述毫米波雷达感知参数Ih包括车辆的纵向绝对速度；车辆行驶参数Ix包括车速和横摆角速度yawrate。
具体实施时，所述步骤2中，将视觉感知参数Is输入基础道路模型后得到视觉信息道路模型Ms的过程包括如下步骤：
步骤211：根据视觉感知参数Is判断车道线和可行驶区域的有效性；
在其中一个实施例中，本发明采用的基础道路模型主要定义为车辆当前状态下的客观存在或拟合的车道边界（车道线）估计，基础道路模型y(x)的表达公式见下式（1）。
y(x)=c0+c1x+c2x2+ c3x3 （1）
上式（1）中，截距d为c0，单位为m（米）；斜率k为arctan（c1）；曲率C为2c2，单位为（1/米）；曲率变化率CCR为6c3，单位/>（1/平方米）。
根据视觉感知参数Is判定视觉感知结果中的车道线和可行使区域的有效性，该判断过程主要包括曲率C、截距d和可行使区域是否符合；对车道线有效性进行判定，对曲率C和截距d均为零值或异常值的结果进行剔除；对可行使区域结果进行有效性判定，保留道路边缘点，对非道路边缘点进行剔除。
步骤212：将车道线点云化；
具体实施时，可先划定道路格网大小（默认网格尺寸为0.5m），然后根据上述基础道路模型y(x)的公式y(x)=c0+c1x+c2x2+ c3x3进行车道线路网点云坐标生成。
步骤213：对上述点云进行配准处理，获得视觉信息道路模型Ms。
采用ICP（Iterative Closest Point，迭代最近点）算法对点云处理，计算公式如下式（2）；基于ICP配准结果进行车道参数更新和车道属性合并，从而获得视觉信息道路模型Ms。
（2）
上式（2）中，原始点云为，目标点云为/>，R和t为基于起始车辆位姿的旋转矩阵和位移向量。残差值J越小，证明匹配越好。
例如，t-1时刻视觉感知到四条车道线（参数Is包含车道线属性id和对应曲线的c0、c1、c2和c3等参数），车道线id从车身左往右依次为-3，-1，1，3，在行驶下一时刻t1，视觉感知到三条车道线，id为-3，-1，1，则车道参数更新、车道属性合并和视觉道路模型Ms计算过程如下：
首先通过公式（1）将t-1时刻车道参数转换为四条车道点云，并通过Rt矩阵转换到t1车身系下（转换公式详见下述公式 8），将t1时刻车道参数转换为三条车道点云；
之后在t1时刻车身系下ICP配准成功后，可得到三条叠加车道（id为-3，-1，1）点云和一条t-1时刻车道（id为3）点云。叠加车道的属性id相同则合并id，id不相同则对所有车道按左往右依次为-3，-1，1，3的方式重新排序；
最后，对每个id属性下的点云做多项式拟合，拟合公式为y(x)=c0+c1x+c2x2+ c3x3，重新生成对应曲线的c0、c1、c2、c3等参数，最新的视觉信息道路模型Ms包含车道线id和id对应的曲线参数c0、c1、c2和c3等。
具体实施时，所述步骤2中，将毫米波雷达感知参数Ih输入基础道路模型后得到雷达信息道路模型Mh的过程包括如下步骤：
步骤221：根据毫米波雷达感知参数Ih判定动态目标和静态目标，保留动态目标；
通过毫米波雷达感知目标（主要为高于地面且有一定大小的动静态物体）的纵向绝对速度判定动静态目标，仅保留动态目标结果。具体实施时，考虑到雷达精度问题，可默认将速度阈值放宽到2m/s（7.2km/h），纵向绝对速度低于2m/s的目标均判定为静态目标。
步骤222：对多个时刻下的动态目标进行基于卡尔曼的MOT跟踪聚类；
对多个时刻下的radar动态目标结果进行基于卡尔曼的MOT（Multiple ObjectTracking，多目标跟踪）跟踪聚类；此处融合了卡尔曼预测的逻辑，在基于起始位姿的全局坐标系下对radar目标的下一位置进行预测和匹配，其计算公式如下式（3）。
（3）
上式（3）中，为在k-1时刻下的坐标值，/>为预测的k时刻下的坐标值，A为状态转移矩阵，uk表示为k时刻下的控制输入，B表示k时刻下的控制输入矩阵。
对预测结果进行临近点迭代匹配，得到k时刻下的聚类点集pk；具体实施时，默认截至到当前时刻的16组输入数据匹配聚类结果。
步骤223：通过动态目标的聚类结果，拟合出虚拟车道中线；
对聚类点集pk进行曲线拟合，得到虚拟车道中线拟合结果，拟合公式为y(x)=c0+c1x+c2x2+ c3x3；
先定义车道范围和默认车道宽度（设定三车道，仅保留当前车道和左右临近车道），然后对车道级范围内的多个虚拟车道中线结果进行聚类，得到合并后的三车道中线结果，并更新车道宽度。
步骤224：通过虚拟车道中线计算出车道边线，得到雷达信息道路模型Mh。
基于车道中线计算结果和车道宽度计算车道边线（设定初始车道宽度，由中线计算的宽度更新）；然后通过边线计算曲线参数和车道属性，更新雷达信息道路模型Mh。
例如，id为2的车道中线，计算左右id分别为1和3的车道边线过程如下：
通过中线计算车道边线截距公式如下：
其中 为车道中线拟合参数中的c0， />和/>为中线对应的左右两条车道边线对应的c0， />为当前时刻t更新出的车道宽度。
车道宽度更新公式如下：
其中和/>分别为t和t-1时刻更新的车道宽度，/>为当前时刻t计算出的车道宽度。
最后，对每个车道边线id下的c0使用上述计算值，c1、c2和c3等使用中线对应参数值，用以更新雷达信息道路模型Mh。最新的雷达信息道路模型Mh包含车道线id和id对应的曲线参数c0、c1、c2和c3等。
具体实施时，所述步骤2中，将车辆行驶参数Ix输入基础道路模型后得到行驶信息道路模型Mx的过程包括如下步骤：
步骤231：计算本车的运动轨迹，获得本车的车辆位置信息；
进行本车的运动轨迹的计算，通过车辆行驶参数Ix中的车速和横摆角速度yawrate，计算车辆基于起始位置的车辆位置信息：横摆角yaw、坐标（xt，yt）和转换矩阵RTt；
横摆角yaw的计算公式见下式（4）。
（4）
上式（4）中， t为当前时刻（默认将起始时刻置为0)；
距离dist的计算公式见下式（5）。
（5）
上式（5）中，speedt为t时刻的速度，△t为t时刻与t-1时刻的时间差；
坐标更新计算公式见下式（6）。
（6）
上式（6）中，（xt，yt）为t时刻的车辆坐标（平面下默认高度坐标z不做更新）；
转换矩阵RTt见下式（7）。
（7）
上式（7）中，Tt为车辆当前在首帧坐标系的位置[xt，yt，zt]T，Rt为基于横摆角yaw角度计算的旋转矩阵。
步骤232：将多个时刻下的车辆位置信息转换到当前时刻的车身坐标系下，然后根据转换后的车辆位置信息进行曲线拟合；
所述车辆位置信息的转换公式见下式（8）。
（8）
上式（8）中，RT为转换矩阵，RT-1为转换矩阵RT的逆矩阵，Pw为首帧坐标系下的坐标，Pc为当前的某时刻车身坐标系的坐标；曲线拟合结果为。
步骤233：基于拟合的行驶车道中线和横摆角yaw，对车辆行驶状态进行预估；
转弯行驶状态预估：拟合结果中选取c1和c2参数值，横摆角yaw选取到当前时刻的连续16次输入，当参数值c1变化超过10%或0.001（弧度），c2变化超过10%或0.001（1/米），横摆角yaw历史变化超过0.02弧度，且连续变化超过拟合阶数二倍（默认为6）的情况下，认为车辆进入了转弯的状态。
步骤234：转弯状态下，结合视觉可行驶区域与毫米波雷达的边线拟合结果，对车辆行驶信息的视觉信息道路模型Ms进行更新，获得行驶信息道路模型Mx。
在视觉信息道路模型Ms和雷达信息道路模型Mh均为无效更新的情况下，结合车辆轨迹拟合结果和视觉可行使区域进行道路更新，更新过程包括如下步骤。
步骤2341：设定默认道路宽度，由轨迹拟合中线生成对于道路边线，对边线进行参数点云化；
步骤2342：对边线点云进行迭代计算，判定是否为可行驶区域内部点，即与可行驶区域的点坐标进行向量叉乘，叉乘为正则为外部点，叉乘为负则为内部点；
步骤2343：存在边线点在可行驶区域之外的情况下，调整拟合参数c0、c1、c2和c3，直至输出符合可行驶区域的道路模型。
具体实施时，所述步骤3中，对视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx进行融合的过程包括如下步骤：
步骤31：分别计算视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx的得分；
先对步骤2中获得的三种源数据对应输出的道路模型进行先验得分计算；将视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx进行点云化，做到融合输入统一，对点云中的点进行得分属性赋值，得分上限为1，视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx中的得分结果如下：
1、视觉信息道路模型Ms在车速1.1倍距离下的得分为1，车速1.1倍到最大距离下得分为0.5；
2、雷达信息道路模型Mh在车速1.1倍距离下得分为0.5，车速1.1倍到最大距离下得分为1；
3、行驶信息道路模型Mx的得分设置为0.25。
步骤32：对无效数据源得到的道路模型进行剔除；
判定无效数据源的道路模型的规则如下。
1、在视觉信息道路模型Ms的更新过程中，存在少于两条有效车道线更新的情况下，设置视觉信息道路模型Ms无效；
2、雷达信息道路模型Mh的车道中线合并后，存在少于一条有效车道中线的情况下，设置雷达信息道路模型Mh无效。
步骤33：剔除无效数据源的道路模型后，按照视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx的得分进行融合。
最后，按照步骤31中计算的得分结果进行融合。
对不同源数据，以存在最高得分结果为参考，其余源结果通过点云的临近点迭代进行配准，配准公式参考上述ICP公式（2），配准参考点云为步骤32中剔除无效数据源后得分最高的源数据。配准后融合点云选取公式如下：
为步骤31中不同模型基于车身下x坐标的得分结果（视觉信息道路模型Ms的表达式ys（x）、雷达信息道路模型Mh的表达式 yh（x）和行驶信息道路模型Mx的表达式yx（x）），融合过程为迭代输入车身系下x坐标，获得得分最高的y值，生成融合点云。对融合后的点云，做曲线拟合参数化和车道属性输出，输出综合信息道路模型Mz的参数（包含车道线id和id对应的曲线参数c0、c1、c2和c3等）。
本发明还公开了一种电子设备，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器；其特征是，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的自动驾驶车辆行驶实时道路模型融合方法。
本发明还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征是，所述计算机指令用于使所述计算机执行所述的自动驾驶车辆行驶实时道路模型融合方法。
本发明还公开了一种计算机程序产品，包括计算机程序；其特征是，所述计算机程序在被处理器执行时实现所述的自动驾驶车辆行驶实时道路模型融合方法。
本发明的自动驾驶车辆行驶实时道路模型融合方法，随着自动驾驶技术的发展，感知、融合和定位等方面的突破，通过多源数据进行融合从而获取更加鲁棒的道路模型，将会对自动驾驶提供全方位的参考保证，具有以下4个方面的技术优点。
1、提供轻量化的实时在线地图生成道路模型方法，解决使用高精度地图生成道路模型的成本大和更新周期长的问题。
2、提供不同源的道路模型对齐方法，解决多源数据道路模型不能较好融合问题。
3、提供多源数据的融合生成道路模型方法，解决单一数据源生成的道路模型鲁棒性差的问题，提高自动驾驶的安全性，具有较好的鲁棒性。
4、提供路口转弯状态下视觉车道线和radar雷达感知失效的解决方法，解决转弯下的道路模型缺失和安全性问题，为自动驾驶提供连续和全面的参考依据。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种自动驾驶车辆行驶实时道路模型融合方法，其特征是，包括如下步骤：
步骤1：通过车辆的视觉感知系统获取视觉感知参数Is，通过车辆的毫米波雷达获取毫米波雷达感知参数Ih，通过车载信息系统获取车辆行驶参数Ix；
步骤2：将视觉感知参数Is输入基础道路模型后得到视觉信息道路模型Ms，将毫米波雷达感知参数Ih输入基础道路模型后得到雷达信息道路模型Mh，将车辆行驶参数Ix输入基础道路模型后得到行驶信息道路模型Mx；
其中，将车辆行驶参数Ix输入基础道路模型后得到行驶信息道路模型Mx的过程包括如下步骤：
步骤231：计算本车的运动轨迹，获得本车的车辆位置信息；车辆位置信息包括横摆角yaw、坐标（xt，yt）和转换矩阵RTt；
横摆角yaw的计算公式见下式（4）；
（4）
上式（4）中， t为当前时刻，yawrate为横摆角速度；
距离dist的计算公式见下式（5）；
（5）
上式（5）中，speedt为t时刻的速度，△t为t时刻与t-1时刻的时间差；
坐标（xt，yt）更新计算公式见下式（6）；
（6）
上式（6）中，（xt，yt）为t时刻的车辆坐标；
转换矩阵RTt见下式（7）；
（7）
上式（7）中，Tt为车辆当前在首帧坐标系的位置[xt，yt，zt]T，Rt为基于横摆角yaw角度计算的旋转矩阵；
步骤232：将多个时刻下的车辆位置信息转换到当前时刻的车身坐标系下，然后根据转换后的车辆位置信息进行曲线拟合；
所述车辆位置信息的转换公式见下式（8）；
（8）
上式（8）中，RT为转换矩阵，RT-1为转换矩阵RT的逆矩阵，Pw为首帧坐标系下的坐标，Pc为当前的某时刻车身坐标系的坐标；曲线拟合结果为；
步骤233：基于拟合的行驶车道中线和横摆角yaw，对车辆行驶状态进行预估；
步骤234：转弯状态下，结合视觉可行驶区域与毫米波雷达的边线拟合结果，对车辆行驶信息的视觉信息道路模型Ms进行更新，获得行驶信息道路模型Mx；
步骤3：对视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx进行融合，获得融合后的综合信息道路模型Mz。
2.根据权利要求1所述的一种自动驾驶车辆行驶实时道路模型融合方法，其特征是，所述步骤1中，所述视觉感知参数Is包括车道线参数和可行使区域参数；所述毫米波雷达感知参数Ih包括车辆的纵向绝对速度；车辆行驶参数Ix包括车速和横摆角速度yawrate。
3.根据权利要求1所述的一种自动驾驶车辆行驶实时道路模型融合方法，其特征是，所述步骤2中，将视觉感知参数Is输入基础道路模型后得到视觉信息道路模型Ms的过程包括如下步骤：
步骤211：根据视觉感知参数Is判断车道线和可行驶区域的有效性；
步骤212：将车道线点云化；
步骤213：对上述点云进行配准处理，获得视觉信息道路模型Ms。
4.根据权利要求1所述的一种自动驾驶车辆行驶实时道路模型融合方法，其特征是，所述步骤2中，将毫米波雷达感知参数Ih输入基础道路模型后得到雷达信息道路模型Mh的过程包括如下步骤：
步骤221：根据毫米波雷达感知参数Ih判定动态目标和静态目标，保留动态目标；
步骤222：对多个时刻下的动态目标进行基于卡尔曼的MOT跟踪聚类；
步骤223：通过动态目标的聚类结果，拟合出虚拟车道中线；
步骤224：通过虚拟车道中线计算出车道边线，得到雷达信息道路模型Mh。
5.根据权利要求3所述的一种自动驾驶车辆行驶实时道路模型融合方法，其特征是，所述步骤234中，在视觉信息道路模型Ms和雷达信息道路模型Mh均为无效更新的情况下，结合车辆轨迹拟合结果和视觉可行使区域进行道路更新，更新过程包括如下步骤；
步骤2341：设定默认道路宽度，由轨迹拟合中线生成对于道路边线，对边线进行参数点云化；
步骤2342：对边线点云进行迭代计算，判定是否为可行驶区域内部点；
步骤2343：存在边线点在可行驶区域之外的情况下，调整拟合参数c0、c1、c2和c3，直至输出符合可行驶区域的道路模型。
6.根据权利要求1所述的一种自动驾驶车辆行驶实时道路模型融合方法，其特征是，所述步骤3中，对视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx进行融合的过程包括如下步骤：
步骤31：分别计算视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx的得分；
步骤32：对无效数据源得到的道路模型进行剔除；
步骤33：剔除无效数据源的道路模型后，按照视觉信息道路模型Ms、雷达信息道路模型Mh和行驶信息道路模型Mx的得分进行融合。
7.根据权利要求1所述的一种自动驾驶车辆行驶实时道路模型融合方法，其特征是，所述步骤32中，判定无效数据源的道路模型的规则如下：
规则1：在视觉信息道路模型Ms的更新过程中，存在少于两条有效车道线更新的情况下，设置视觉信息道路模型Ms无效；
规则2：雷达信息道路模型Mh的车道中线合并后，存在少于一条有效车道中线的情况下，设置雷达信息道路模型Mh无效。
8.一种电子设备，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器；其特征是，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的自动驾驶车辆行驶实时道路模型融合方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征是，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的自动驾驶车辆行驶实时道路模型融合方法。
10.一种计算机程序产品，包括计算机程序；其特征是，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的自动驾驶车辆行驶实时道路模型融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410125740.1A CN117649583B (zh) | 2024-01-30 | 2024-01-30 | 一种自动驾驶车辆行驶实时道路模型融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410125740.1A CN117649583B (zh) | 2024-01-30 | 2024-01-30 | 一种自动驾驶车辆行驶实时道路模型融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649583A true CN117649583A (zh) | 2024-03-05 |
| CN117649583B CN117649583B (zh) | 2024-05-14 |
Family
ID=90046453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410125740.1A Active CN117649583B (zh) | 2024-01-30 | 2024-01-30 | 一种自动驾驶车辆行驶实时道路模型融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649583B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170025017A1 (en) * | 2015-07-20 | 2017-01-26 | Dura Operating, Llc | Sensor fusion of camera and v2v data for vehicles |
| CN108960183A (zh) * | 2018-07-19 | 2018-12-07 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别系统及方法 |
| CN111090095A (zh) * | 2019-12-24 | 2020-05-01 | 联创汽车电子有限公司 | 信息融合环境感知系统及其感知方法 |
| CN111413983A (zh) * | 2020-04-08 | 2020-07-14 | 江苏盛海智能科技有限公司 | 一种无人驾驶车辆的环境感知方法及控制端 |
| WO2020216316A1 (zh) * | 2019-04-26 | 2020-10-29 | 纵目科技（上海）股份有限公司 | 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 |
| CN113359706A (zh) * | 2021-05-17 | 2021-09-07 | 中国矿业大学 | 一种多体辅助运输系统协同转弯轨迹自规划系统与方法 |
| CN113665500A (zh) * | 2021-09-03 | 2021-11-19 | 南昌智能新能源汽车研究院 | 全天候作业的无人驾驶运输车环境感知系统及方法 |
| US20210403008A1 (en) * | 2020-06-29 | 2021-12-30 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle |
| CN114475573A (zh) * | 2022-02-14 | 2022-05-13 | 科大国创合肥智能汽车科技有限公司 | 基于v2x与视觉融合的起伏路况识别及车辆控制方法 |
| CN114743175A (zh) * | 2022-03-24 | 2022-07-12 | 重庆长安汽车股份有限公司 | 自动驾驶道路边界构建方法、系统、车辆及存储介质 |
| US20230028484A1 (en) * | 2021-07-23 | 2023-01-26 | Embark Trucks, Inc. | Automatic extrinsic calibration using sensed data as a target |
-
2024
- 2024-01-30 CN CN202410125740.1A patent/CN117649583B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170025017A1 (en) * | 2015-07-20 | 2017-01-26 | Dura Operating, Llc | Sensor fusion of camera and v2v data for vehicles |
| CN108960183A (zh) * | 2018-07-19 | 2018-12-07 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别系统及方法 |
| WO2020216316A1 (zh) * | 2019-04-26 | 2020-10-29 | 纵目科技（上海）股份有限公司 | 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 |
| CN111090095A (zh) * | 2019-12-24 | 2020-05-01 | 联创汽车电子有限公司 | 信息融合环境感知系统及其感知方法 |
| CN111413983A (zh) * | 2020-04-08 | 2020-07-14 | 江苏盛海智能科技有限公司 | 一种无人驾驶车辆的环境感知方法及控制端 |
| US20210403008A1 (en) * | 2020-06-29 | 2021-12-30 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle |
| CN113359706A (zh) * | 2021-05-17 | 2021-09-07 | 中国矿业大学 | 一种多体辅助运输系统协同转弯轨迹自规划系统与方法 |
| US20230028484A1 (en) * | 2021-07-23 | 2023-01-26 | Embark Trucks, Inc. | Automatic extrinsic calibration using sensed data as a target |
| CN113665500A (zh) * | 2021-09-03 | 2021-11-19 | 南昌智能新能源汽车研究院 | 全天候作业的无人驾驶运输车环境感知系统及方法 |
| CN114475573A (zh) * | 2022-02-14 | 2022-05-13 | 科大国创合肥智能汽车科技有限公司 | 基于v2x与视觉融合的起伏路况识别及车辆控制方法 |
| CN114743175A (zh) * | 2022-03-24 | 2022-07-12 | 重庆长安汽车股份有限公司 | 自动驾驶道路边界构建方法、系统、车辆及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 李治国等: "基于惯导/激光雷达的无人车融合定位技术研究", 软件, no. 01, 15 January 2020 (2020-01-15) * |
| 杨萍等: "基于机器视觉的车道线检测系统的研究", 新乡学院学报, no. 06, 23 June 2017 (2017-06-23) * |
| 赵翔等: "基于视觉和毫米波雷达的车道级定位方法", 上海交通大学学报, no. 01, 28 January 2018 (2018-01-28) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649583B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110928297B (zh) | 基于多目标动态粒子群优化的智能公交车辆路径规划方法 | |
| CN110015306B (zh) | 驾驶轨迹获取方法及装置 | |
| JP6997211B2 (ja) | ポリゴンにおける中間点を低減する方法および装置 | |
| CN110531770B (zh) | 一种基于改进的rrt路径规划方法和系统 | |
| CN108088456A (zh) | 一种具有时间一致性的无人驾驶车辆局部路径规划方法 | |
| Aycard et al. | Intersection safety using lidar and stereo vision sensors | |
| Kim et al. | Lane-level localization using an AVM camera for an automated driving vehicle in urban environments | |
| WO2019042295A1 (zh) | 一种无人驾驶路径规划方法、系统和装置 | |
| US20200189597A1 (en) | Reinforcement learning based approach for sae level-4 automated lane change | |
| CN111795699B (zh) | 无人车的路径规划方法、装置和计算机可读存储介质 | |
| CN114258366A (zh) | 对于自主车辆的折线轮廓表示 | |
| CN112824997B (zh) | 用于局部行进车道感知的方法和系统 | |
| CN115303297B (zh) | 基于注意力机制与图模型强化学习的城市场景下端到端自动驾驶控制方法及装置 | |
| CN113247023B (zh) | 一种行驶规划方法、装置、计算机设备及存储介质 | |
| WO2023092451A1 (zh) | 预测可行驶车道的方法和装置 | |
| CN115690146A (zh) | 一种多目标跟踪方法、装置、计算设备和存储介质 | |
| JPWO2018066133A1 (ja) | 車両判定方法、走行経路補正方法、車両判定装置、及び走行経路補正装置 | |
| CN111089597A (zh) | 基于图像和地图数据来定位的方法和装置 | |
| Yang et al. | An algorithm of curved path tracking with prediction model for autonomous vehicle | |
| CN113255998A (zh) | 基于多智能体强化学习的高速道路无人驾驶车辆编队方法 | |
| CN113515111B (zh) | 一种车辆避障路径规划方法及装置 | |
| CN115900738A (zh) | 路径规划方法、装置、车辆以及存储介质 | |
| Malayjerdi et al. | Practical path planning techniques in overtaking for autonomous shuttles | |
| Park et al. | Path generation algorithm based on crash point prediction for lane changing of autonomous vehicles | |
| JP2018173534A (ja) | 地図生成方法及び地図生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |