CN114353817A - 多源传感器车道线确定方法、系统、车辆及计算机可读存储介质 - Google Patents

Abstract

本发明请求保护一种多源传感器车道线确定方法，涉及自动驾驶技术领域。布置在车身周围的前雷达、角雷达、环视雷达等采集获取广义车道线，计算多源广义车道线；计算各源车道线误差分布以及其统计信息如方差均值等得出性能指标，确定使用标准；记录每一帧广义车道线方程各系数与前摄像头的差值，获得广义车道线方程系数的误差分布，计算误差均值和方差，通过均值和方差判断传感器的整体性能，得到其分布函数确定阈值；剔除超出阈值的道路曲率，本车速度，路面坡度分布等场景信息，获取有效的广义车道线；融合多源传感器中有效的广义车道线，根据使用条件调整融合源输入，获得最终的多源传感器车道线。

Description

多源传感器车道线确定方法、系统、车辆及计算机可读存储 介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及对多传感器输出的目标级和非目标级自拟合车道线评价以及有效使用场景的筛选。

背景技术

传统的传感器性能测试方法一般都只针对硬件性能进行评测，即使有目标级的测试方案也只针对目前比较主流的车道线进行测试，诸如护栏、路沿曲线性能没有一个广泛的测试方法和指标。并且需要搭建台架增加成本，可维护性较差。

公开号CN113591618A，名称：前方道路形状估算方法、系统、车辆及存储介质的中国发明专利申请公开了一种前方道路形状估算方法、系统、车辆及存储介质，包括以下步骤：(1)信息采集：获取当前车道和相邻车道的车道线曲线方程、左右路沿曲线方程、前方目标信息以及前方可通行区域点；获取前方目标信息以及左、右两侧护栏的反射点信息；(2)目标融合；(3)车道线处理；(4)点云拟合；(5)道路边界融合；(6)历史行驶经过点拟合；(7)车流轨迹拟合；(8)历史轨迹推算；(9)曲线置信度计算和筛选。本发明仅使用本车道的车道线和前车信息的L2级驾驶辅助系统，更多的利用了道路边界信息和车流信息，大幅提升了系统的鲁棒性。

公开号CN111401446A，名称：单传感器、多传感器车道线合理性检测方法、系统及车辆的中国发明专利申请。公开了一种单传感器、多传感器车道线合理性检测方法，包括：获取道路信息，所述道路信息包括车道线信息；从道路信息中提取出车道线信息，并做数据预处理，预处理根据特性做原始数据的数据清洗；若提取到车道线数据，则缓存获取到的车道线，保存为车道线历史信息；分析当前车道线的合理性。本发明针对单传感器，能够基于车道线特性判断单传感器输出的车道线合理性以及可用性；在多传感器数据融合过程中，能够选择合理的车道线信息进行车道线融合，并且能够对融合后的车道线信息进行合理性检测，减少了下游环节使用车道线信息的风险。

公开号CN112373474A，名称：车道线融合及横向控制方法、系统、车辆及存储介质的中国发明专利申请，发明公开了一种车道线融合及横向控制方法、系统、车辆及存储介质，包括：获取前视摄像头探测的护栏信息、路沿信息、车道线及车道线置信率；获取前向毫米波雷达探测的路沿信息和护栏信息；获取侧向毫米波雷达探测的路沿信息和护栏信息；获取ADAS地图输出的道路曲率和道路等级；获取环视摄像头探测的车道线及车道线置信率；基于车道线、车道线置信率、护栏信息、路沿信息、道路曲率和道路等级对车道线进行融合，并输出融合的车道线、车道线的类型以及融合置信率；根据融合的车道线、车道线的类型以及融合置信率对车辆进行横向控制。在车道线丢失时，本发明会虚拟出一条车道线，不会直接退出系统，故能够保证控制的连贯性，用户体验友好.

专利申请号：CN202010140452.5，名称：一种自动驾驶性能检测方法和装置的中国发明专利申请，公开一种自动驾驶性能检测方法和装置；本发明实施例在获取将待检测自动驾驶程序加载至预设自动驾驶系统后进行仿真行驶的自动驾驶程序的行驶数据集合，基于自动驾驶程序的类型，在行驶数据集合中识别出目标行驶数据，对目标行驶数据进行特征提取，得到目标行驶数据的初始特征值，对初始特征值进行分类，并基于分类结果，确定初始特征值对应的权重，根据权重，在初始特征值中筛选出目标特征值，对目标特征值进行解析，得到加载待检测自动驾驶程序的预设自动驾驶系统的综合驾驶性能参数，当综合驾驶性能参数超过预设参数阈值时，确定待检测自动驾驶程序的自动驾驶性能检测合格；该方案可以大大提高自动驾驶车辆的测试效率和准确率。

该方法使用仿真测试数据测试得出的结果无法适应复杂多变的场景。上述公开的技术没有充分考虑使用场景，对车道线性能和使用场景未进行完全的评测。不能作为真值系统用来评测其他传感器车道线性能指标达成情况。

发明内容

本发明针对现有技术中存在的上述问题，提出一种基于前摄像头的多源传感器车道线性能评价及使用场景判断的方法。以实现车道线性能评测和使用场景检测为模版，亦可以作为传感器其他数据的评测方法。

本发明解决上述技术问题的技术方案是主要解决多源传感器车道线融合问题中不同传感器使用条件的判断以及判断哪种场景下不同传感器车道线性能，可以作为真值系统用来评测其他传感器车道线性能指标达成情况。包括计算多源广义车道线，计算各源车道线误差分布，确定使用标准。根据使用标准判断使用场景以及使用条件。具体包括：

一种多源传感器车道线融合确定方法，其特征在于，包括：布置在车身周围的多种传感器采集获取广义车道线信息，建立多源广义车道线方程；根据车道线方程计算各源与前置摄像头采集获取的车道线信息计算一定时长的误差分布；通过数据回注获得用于评价各传感器源广义车道线方程系数的误差分布均值和方差，根据分布函数确定阈值，剔除方差和均值超出阈值的广义车道线信息，获取多源传感器采集的有效车道线信息，融合有效多源车道线信息，调整融合源输入，获得最终的多源传感器车道线。

进一步地，根据前雷达、角雷达、环视相机、前摄像头获取的反射点坐标位置(x，y)，构建广义车道线方程：

确定各传感器源对应的车道宽度、曲线斜率、曲率、广义车道线最远端的曲率，其中，系数a0、b0、c0、d0为前雷达、角雷达、环视相机、前摄像头采集获取的车道宽度，系数a1、b1、c1、d1的为在本车位置x＝0处前雷达、角雷达、环视相机、前摄像头的曲线斜率，系数a2、b2、c2、d2为前雷达、角雷达、环视相机、前摄像头的曲率，a3、b3、c3、d3为前雷达、角雷达、环视相机、前摄像头对应的广义车道线最远端的曲率。

进一步地，通过校验系数是否越界，获得有效系数，系数a0、b0、c0、d0是高速公路真实车道宽度值误差范围内值的为有效车道宽度，x＝0处的各传感器曲线斜率范围为-0.01至+0.01，各传感器曲率的两倍为x＝0处的曲率。进一步地，调用公式p(a₀，a₁，a₂，a₃|x_i，y_i)＝N(h(x_i，y_i)，Q_i)求出其分布函数并选取阈值。

进一步地，选取误差的不同分布位置作为阈值，将西格玛值作为广义车道线方程系数的误差分布函数的标准差，将均值对应的西格玛与2西格玛、3西格纳进行对比得到阈值。

进一步地，融合有效多源车道线信息包括，通过数据回注统计道路曲率，本车速度，道路坡度分布，计算统计信息确定使用场景，剔除超出阈值的道路曲率，本车速度，路面坡度分布场景信息，获取有效的包括道路曲率，本车速度，路面坡度信息的有效车道线，融合有效车道线。

进一步地，使用前摄像头采集识别的车道线作为对比真值，在预定时间段内提取一段包含记录车道线类型、车道线颜色、车道线长度的数据，每一帧数据与其他各传感器源获得的包括车道宽度、曲线斜率、曲率、最远端曲率确定的系数计算差值，得到广义车道线方程系数误差的分布，求出误差均值和方差。

第二方面，本发明提出一种多源传感器车道线融合确定系统，包括：多源传感器采集单元、计算单元、比较识别单元、融合单元，多源传感器采集单元采集获取布置在车身周围的多种传感器采集的广义车道线信息，计算单元建立多源广义车道线方程，根据广义车道线方程计算各源与前置摄像头采集获取的车道线信息计算一定时长的误差分布获得均值和方差；比较识别单元根据分布函数确定阈值，剔除方差和均值超出阈值的广义车道线信息，获取多源传感器采集的有效车道线信息，融合单元融合有效多源车道线信息，调整融合源输入，获得最终的多源传感器车道线。

第三方面，本发明提出一种车辆，包括上述所述的用于多源传感器车道线融合确定的系统。

第四方面，本发明提出一种计算机可读存储介质，其上存储有计算机程序，该程序能够被处理器加载和运行以执行上面所述的多源传感器车道线确定方法。

本发明专利使用前视摄像头输出车道线作为真值，不需要搭建其他额外台架，节约成本，并且能给出使用场景。本发明使用实车测试场景，并且可以根据用户不断新增的数据不断训练模型参数，提高多变场景的鲁棒性。

附图说明

图1本发明设计的整体框架流程图；

图2计算误差分布流程图；

图3判断使用场景流程图。

具体实施方式

以下结合附图和具体实施例对本发明的实施作进一步具体的描述。

如图1所示为本发明整体框架流程图。多种传感器可包括前摄像头、前雷达、角雷达、环视雷达等等。布置在车身周围的前雷达、角雷达、环视雷达等采集获取广义车道线，计算多源广义车道线；计算各源车道线误差分布以及其统计信息如方差均值等得出性能指标，确定使用标准。根据使用指标判断使用场景以及使用条件，进行车道线融合。

一、计算多源广义车道线

我们所熟悉的车道线是由前视摄像头识别输出的目标级车道线方程系数，自动驾驶车上一般除了前视摄像头外，一般都会配有前雷达，角雷达，环视等其他传感器，这些传感器无法识别车道线，但为了提高传感器使用效率，增强车道线的鲁棒性，往往会使用这些传感器创造出类车道线我们称之为广义车道线，比如将识别出了护栏，路沿等能表征道路形状的类似车道线的物体作为广义车道线。

如，前雷达、角雷达、前摄像头等采集获取前方金属护栏、路沿等类似车道线的相关反射点，环视相机为智能摄像头，会自动识别车道线并给出对应的语义信息，输出识别的车道线。将这些反射点通过聚类算法筛选出点拟合一条曲线用来表征前方护栏的形状。如

构建广义车道线方程包括：

前雷达曲线方程y＝a₀+a₁x+a₂x²+a₃x³，

角雷达曲线方程y＝b₀+b₁x+b₂x²+b₃x³，

环视雷达/相机曲线方程：y＝c₀+c₁x+c₂x²+c₃x³，

前摄像头曲线方程y＝d₀+d₁x+d₂x²+d₃x³。根据前雷达、角雷达、环视相机、前摄像头获取的反射点坐标，其中，系数a0、b0、c0、d0为前雷达、角雷达、环视相机、前摄像头采集获取的车道宽度，系数a1、b1、c1、d1的为在本车位置x＝0处前雷达、角雷达、环视相机、前摄像头的曲线斜率，系数a2、b2、c2、d2为前雷达、角雷达、环视相机、前摄像头的曲率，a3、b3、c3、d3为前雷达、角雷达、环视相机、前摄像头对应的广义车道线最远端的曲率。

进一步做信息有效性的校验，通过校验方程系数是否越界，校验车道线长度是否为0等校验前雷达、角雷达、环视相机、前摄像头等采集信息的有效性。如根据高速公路的真实车道宽度(3.75米)可确定系数a0、b0、c0、d0是否有效，x＝0处的曲线斜率范围为-0.01至+0.01，曲率的两倍约等于x＝0处，

得到这些“广义车道线”信息可以为后面车道线融合算法提供输入。但是他们并不是真正的车道线，仅仅只是表征车道形状，为了剔除掉其中异常的车道线，需要计算他们的误差分布以及统计特性，对其性能表现以及使用条件进行限制。

二、计算各源车道线误差分布

图2所示为计算误差分布流程图。通过误差分布确定多源广义车道线，安装在车身周围的传感器采集获取各种车道信息，计算各传感器与前摄像头的差值，通过大量数据回注，确定有效的多源广义车道线，回注完成，统计误差分布，计算统计信息。根据分成分布设定阈值，输出指标。

若要表征各个广义车道线的性能我们要求出各个参数的误差分布。使用前摄像头识别的车道线作为对比真值，在预定时间(如10分钟)段内提取一段包含记录车道线类型(虚线、实线、虚实线、实虚线等)、车道线颜色(白色、黄色等)、车道线长度(线的起点、线的终点)、的数据内，计算前面的曲线方程中，每一帧广义车道线方程各个系数与前摄像头确定的系数的差值，根据公式：差值＝(曲线方程计算的y)-(前摄像头获取的车道线y)，通过大量数据计算求出广义车道线方程系数误差的分布，大致接近于正态分布，求出误差均值和方差，通过均值和方差可以在总体上判断传感器的整体性能情况，包括前雷达，角雷达，环视相机等等传感器的车道线识别精度，方差越小、均值与前摄像头的均值越接近表明获得的是有效车道线信息的可能性越高，并且，求出其分布函数为选取阈值做准备。

p(a₀，a₁，a₂，a₃|x_i，y_i)＝N(h(x_i，y_i)，Q_i)。

根据不同使用指标情况，根据传感器本身性能约束，可以选取不同西格玛值作为选取标准，西格玛值为广义车道线方程系数的误差分布函数的标准差。如进行评价时选取2西格玛值和3西格玛值进行衡量，±2西格玛值表征准确率95.45％，±3西格玛表征准确率99.73％。选取误差的不同分布位置作为阈值。将均值对应的西格玛与2西格玛、3西格纳进行对比得到选取的阈值。

因此，我们就得到了评价该传感器广义车道线方程各个系数的误差分布以及性能指标，通过大量数据的回注计算，我们的结果会更准确，覆盖的场景也更全面。数据包播放完毕即代表回注计算结束。

三、根据使用标准判断使用场景

图3所示为判断使用场景流程图。通过多源广义车道线计算与前置摄像头差值(前雷达、角雷达、环视提取得到的a0、a1、a2、a3的值与前摄像头提供的真值作差)，差值如果大于阈值，记录此时道路曲率，本车速度，道路坡度等信息，通过大量数据回注统计道路曲率，本车速度，道路坡度等信息分布，计算统计信息，根据分布确定使用场景，融合车道线。

根据上面得出的各个传感器广义车道线方程各个系数的误差分布以及性能指标，判断具体在那些场景下可以使用该广义车道线，那些场景下不能使用。

由于无法识别实际路况或场景，把场景提取成能用数据量化的特征，例如道路曲率，本车速度，路面坡度等。通过测试把超过广义车道线误差阈值时刻的道路曲率，本车速度，路面坡度记录下来，就是该传感器在此情况下不能使用的场景。记录大量数据后，剔除这些超出阈值的道路曲率，本车速度，路面坡度分布等场景信息，获取有效的广义车道线，包括道路曲率，本车速度，路面坡度等场景信息。

融合多源传感器中有效的广义车道线，可以根据使用条件(符合广义车道线误差阈值的道路曲率、本车速度、路面坡度)调整融合源的输入(若某传感器在某一时刻不符合使用条件，就不使用该传感器的数据，)，使得不准确的数据不会参与到融合中来，使融合更准确，还可通过大量数据的回注计算，使得区分的场景更加精细化，覆盖的场景也更全面。

Claims (10)

1.一种多源传感器车道线融合确定方法，其特征在于，包括：布置在车身周围的多源传感器采集获取广义车道线信息，建立多源广义车道线方程；根据车道线方程计算各源与前置摄像头采集获取的车道线信息计算一定时长的误差分布；通过数据回注获得用于评价各源传感器广义车道线方程系数的误差分布均值和方差，根据分布函数确定阈值，剔除方差和均值超出阈值的广义车道线信息，提取多源传感器采集的有效车道线信息，融合有效多源车道线信息，调整融合源输入，获得最终的多源传感器车道线。

2.根据权里要求1所述的方法，其特征在于，根据前雷达、角雷达、环视相机、前摄像头获取的反射点坐标位置(x，y)，构建广义车道线方程：

y＝a₀+a₁x+a₂x²+a₃x³

y＝c₀+c₁x+a₂x²+c₃x³

y＝b₀+b₁x+b₂x²+b₃x³

y＝d₀+d₁x+d₂x²+d₃x³，确定各源传感器对应的车道宽度、曲线斜率、曲率、车道线最远端的曲率，其中，系数a0、b0、c0、d0为前雷达、角雷达、环视相机、前摄像头采集获取的车道宽度，系数a1、b1、c1、d1的为在本车位置x＝0处前雷达、角雷达、环视相机、前摄像头获取的对应曲线斜率，系数a2、b2、c2、d2为前雷达、角雷达、环视相机、前摄像头获取的对应曲率，a3、b3、c3、d3为前雷达、角雷达、环视相机、前摄像头获取的对应广义车道线最远端曲率。

3.根据权里要求1所述的方法，其特征在于，通过校验系数是否越界，获得有效系数，系数a0、b0、c0、d0是高速公路真实车道宽度值误差范围内值的为有效车道宽度，x＝0处的各传感器曲线斜率范围为-0.01至+0.01，各传感器曲率的两倍为x＝0处的曲率。

4.根据权里要求1所述的方法，其特征在于，调用公式p(a₀，a₁，a₂，a₃|x_i，y_i)＝N(h(x_i，y_i)，Q_i)求出其分布函数并选取阈值。

5.根据权里要求1所述的方法，其特征在于，选取误差的不同分布位置作为阈值，将西格玛值作为广义车道线方程系数的误差分布函数的标准差，将均值对应的西格玛与2西格玛、3西格纳进行对比得到阈值。

6.根据权里要求1所述的方法，其特征在于，融合有效多源车道线信息包括，通过数据回注统计道路曲率，本车速度，道路坡度分布，计算统计信息确定使用场景，剔除超出阈值的道路曲率，本车速度，路面坡度分布场景信息，获取有效的包括道路曲率，本车速度，路面坡度信息的有效车道线，融合有效车道线。

7.根据权里要求1所述的方法，其特征在于，使用前摄像头采集识别的车道线作为对比真值，在预定时间段内提取一段包含记录车道线类型、车道线颜色、车道线长度的数据，每一帧数据与其他各传感器源获得的包括车道宽度、曲线斜率、曲率、最远端曲率确定的系数计算差值，得到广义车道线方程系数误差的分布，求出误差均值和方差。

8.一种多源传感器车道线融合确定系统，其特征在于，包括：多源传感器采集单元、计算单元、比较识别单元、融合单元，多源传感器采集单元采集获取布置在车身周围的多种传感器采集的广义车道线信息，计算单元建立多源广义车道线方程，根据广义车道线方程计算各源与前置摄像头采集获取的车道线信息计算一定时长的误差分布获得均值和方差；比较识别单元根据分布函数确定阈值，剔除方差和均值超出阈值的广义车道线信息，获取多源传感器采集的有效车道线信息，融合单元融合有效多源车道线信息，调整融合源输入，获得最终的多源传感器车道线。

9.一种车辆，其特征在于，包括权利要求8所述的用于多源传感器车道线融合确定的系统。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序能够被处理器加载和运行以执行权利要求1至6中任一项所述的多源传感器车道线确定方法。

Images