CN114926813A - 车道线融合方法、装置、设备及存储介质 - Google Patents

车道线融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114926813A
CN114926813A CN202210528667.3A CN202210528667A CN114926813A CN 114926813 A CN114926813 A CN 114926813A CN 202210528667 A CN202210528667 A CN 202210528667A CN 114926813 A CN114926813 A CN 114926813A
Authority
CN
China
Prior art keywords
lane line
sensor
coefficient
weight
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210528667.3A
Other languages
English (en)
Other versions
CN114926813B (zh
Inventor
张广伟
李小雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuxian Technology Co Ltd
Original Assignee
Beijing Zhuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuxian Technology Co Ltd filed Critical Beijing Zhuxian Technology Co Ltd
Priority to CN202210528667.3A priority Critical patent/CN114926813B/zh
Publication of CN114926813A publication Critical patent/CN114926813A/zh
Application granted granted Critical
Publication of CN114926813B publication Critical patent/CN114926813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供一种车道线融合方法、装置、设备及存储介质，涉及自动驾驶技术领域，该方法可应用于港口、公路货运、矿山、机场、口岸、城市配送等有车道线的业务场景。该方法包括：获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理；确定预处理后的车道线信息对应的置信度；基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数；基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。本申请实施例实现了解决视觉传感器异常时，无法得到准确的车道线信息的问题，提高车道线信息的可靠性和准确性。

Description

车道线融合方法、装置、设备及存储介质
技术领域
本申请实施例涉及自动驾驶技术领域，尤其涉及一种车道线融合方法、装置、设备及存储介质。
背景技术
随着多样化交通需求的产生，自动驾驶技术逐渐得到更广泛的应用。协同自动驾驶车队是指多辆车基于自动驾驶技术和车联网技术的支持，以极小的车距跟随行驶的编队状态，通常情况下，协同自动驾驶车队中的跟随车会根据其前车和/或领航车行驶参数进行自动驾驶控制，以保证跟随车在自主跟车过程中的安全行驶。
目前，跟随车主要通过识别车道线来进行车辆的横向控制，车道线的识别主要通过视觉传感器实现，当视觉传感器异常时，就无法得到准确的车道线信息。
发明内容
本申请实施例提供了一种车道线融合方法、装置、设备及存储介质，以解决视觉传感器异常时，无法得到准确的车道线信息的问题，进而提高车道线信息的可靠性和准确性。
第一方面，本申请实施例提供了一种车道线融合方法，车道线融合方法包括：
获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理，至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器中的至少一种；
确定预处理后的车道线信息对应的置信度；
基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数；
基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。
可见，能够实时充分利用各个传感器的优点提升最终融合输出结果的精度和可靠性；且由于各个传感器特性具有互补的效果，通过多个传感器的车道线信息，能够有效提升基于车道线识别的智能驾驶系统的通用性，能够有效应对匝道口、桥洞、隧道等复杂工况；同时，通过设计权重系数，使准确的车道线信息分配更多的权重，有利于灵活配置，提升融合效果，进而提高车道线信息的可靠性和准确性。
可选地，当传感器为视觉传感器或激光雷达传感器时，对车道线信息进行预处理，包括：基于视觉传感器或激光雷达传感器对应的第一车道线信息，计算当前时刻车道线坐标，第一车道线信息包括车辆位置系数、车辆方向系数和车道线系数；基于当前时刻车道线坐标和该传感器计算得到的前一时刻车道线坐标的第一差值，确定第一车道线信息中存在异常的车道线坐标，存在异常的车道线坐标用于表示第一差值大于第一设定值的当前时刻车道线坐标；去除第一车道线信息中存在异常的车道线坐标。
可见，通过根据视觉传感器或激光雷达传感器输出的第一车道线信息的特征，计算对应的车道线坐标，并与前一时刻车道线数据对应的车道线坐标对比，从而能够实现基于每一时刻的得到的车道线数据对下一时刻的传感器准确性和可靠性的判断和调节，有效排除第一车道线信息中的存在异常的车道线坐标，保证后续计算当前时刻车道线数据的准确性和可靠性。
可选地，确定预处理后的车道线信息对应的置信度，包括：计算前一时刻得到的车道线数据中的融合车道线坐标和当前时刻车道线坐标的第二差值；基于第二差值与第二设定值，确定预处理后的第一车道线信息对应的置信度。
可见，通过车道线数据对应的融合车道线坐标和当前时刻通过第一车道线信息得到的车道线坐标，除了能够剔除存在异常的车道线坐标，还能辅助判断第一车道线信息的整体置信度。其中，前者是对特定点的判断，后者是对当前时刻第一车道线信息得到的全部车道线坐标的整体判断，进而有效保证判断的准确性。
可选地，当传感器为高精地图定位传感器时，车道线信息包括车道线坐标；对车道线信息进行预处理，包括：确定高精地图定位传感对应的第二车道线信息中包含的车道线坐标；基于当前时刻第二车道线信息中包含的车道线坐标，和该传感器得到的前一时刻的车道线坐标的第三差值，确定存在异常的车道线坐标；去除第二车道线信息中存在异常的车道线坐标。
可见，由于第二车道线信息本身即为车道线坐标，因此，通过第二车道线信息与车道线数据中的车道线坐标直接对比，能够简单快速的判断存在异常的车道线坐标点，提高判断效率，进而提高得到车道线数据的处理速度。
可选地，确定预处理后的车道线信息对应的置信度，包括：计算第二车道线信息中车身位置处的车道线坐标，与前一时刻得到的车道线数据中的对应位置的融合车道线坐标的第四差值；若第四差值小于第四设定值，以第二车道线信息中车身位置处和最远点的车道线坐标与前一时刻得到的车道线数据中对应的融合车道线坐标相等为目标，对第二车道线信息中的车道线坐标进行平移处理；计算平移处理后的第二车道线信息中的每一个车道线坐标与对应融合车道线坐标的第五差值；对第五差值作求和并取绝对值处理；基于处理后的第五差值与第五设定值，确定预处理后的第二车道线信息对应的置信度。
可见，通过将第二车道线信息对应的车道线坐标的起始点与车道线数据中的融合车道线坐标的对应点对比，能够有效确定第二车道线信息对应车道线坐标的横向偏移，能够方便地计算第二车道线信息与车道线数据中的位置偏差程度，再通过将第二车道线信息对应的车道线坐标平移后，与融合车道线坐标整体进行对比，进而得到其对应的形状偏差程度，从而从特征点和整体上共同评估第二车道线信息的置信度，提高评估的可信度和准确性。
可选地，基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数，包括：基于各个传感器对应的预设权重与置信度，确定各个传感器对应置信度权重；基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重；基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数。
可见，通过将实时权重、置信度权重结合以得到车道线信息对应的权重系数，能够综合考虑各个传感器在当前时刻和过去时间段内输出结果的可信度，保证最终得到的权重系数能够有效反映传感器输出结果在车道线数据中的合理占比，以确保得到的车道线数据的有效性。
可选地，车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数，基于各个传感器对应的预设权重与置信度，确定各个传感器对应置信度权重，包括：基于各个传感器对应的车身姿态信息的预设权重与置信度，确定各个传感器对应车身姿态信息的置信度权重，车身姿态信息包括车辆位置系数和车辆方向系数对应的信息；基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重，道路形状信息包括道路形状系数对应的信息；相应地，基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数，包括：基于每个传感器的车身姿态信息的置信度权重与实时权重，确定各个传感器对应车身姿态信息的权重系数；基于每个传感器的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
可见，通过将车道线信息拆分为车身姿态信息和道路形状信息两部分，能够通过分别设置不同部分的预设权重，使不同部分对应的权重系数能够更好的反映对应传感器在该方面的准确性特点和可靠性特点，进而增强得到的车道线数据的准确性和可靠性。
可选地，车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数，基于各个传感器对应的预设权重与置信度，确定各个传感器对应置信度权重，包括：基于各个传感器对应的车辆位置信息的预设权重与置信度，确定各个传感器对应车身位置信息的置信度权重，车身位置信息包括车辆位置系数对应的信息；基于各个传感器对应的车辆方向信息的预设权重与置信度，确定各个传感器对应车身方向信息的置信度权重，车身方向信息包括车辆方向系数对应的信息；基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重，道路形状信息包括道路形状系数对应的信息；相应地，基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数，包括：基于每个传感器的车身位置信息的置信度权重与实时权重，确定各个传感器对应车身位置信息的权重系数；基于每个传感器的车身方向信息的置信度权重与实时权重，确定各个传感器对应车身方向信息的权重系数；基于每个传感器的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
可见，通过将车道线信息拆分为车辆位置、车辆方向信息和道路形状信息三部分，并分别设置不同部分的预设权重，使不同部分对应的权重系数能够进一步地准确反映对应传感器在该方面的准确性特点和可靠性特点，进而最大限度地增强得到的车道线数据的准确性和可靠性。
第二方面，本申请实施例提供了一种车道线融合装置，该车道线融合装置包括：
预处理模块，用于获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理，至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器中的至少一种；
置信度计算模块，用于确定预处理后的车道线信息对应的置信度；
权重计算模块，用于基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数；
融合模块，用于基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。
可选地，预处理模块具体用于，当传感器为视觉传感器或激光雷达传感器时，基于视觉传感器或激光雷达传感器对应的第一车道线信息，计算当前时刻车道线坐标，第一车道线信息包括车辆位置系数、车辆方向系数和车道线系数；基于当前时刻车道线坐标和该传感器计算得到的前一时刻车道线坐标的第一差值，确定第一车道线信息中存在异常的车道线坐标，存在异常的车道线坐标用于表示第一差值大于第一设定值的当前时刻车道线坐标；去除第一车道线信息中存在异常的车道线坐标。
可选地，置信度计算模块具体用于，计算前一时刻得到的车道线数据中的融合车道线坐标和当前时刻车道线坐标的第二差值；基于第二差值与第二设定值，确定预处理后的第一车道线信息对应的置信度。
可选地，预处理模块具体用于，当传感器为高精地图定位传感器时，确定高精地图定位传感对应的第二车道线信息中包含的车道线坐标；基于当前时刻第二车道线信息中包含的车道线坐标，和该传感器得到的前一时刻的车道线坐标的第三差值，确定存在异常的车道线坐标；去除第二车道线信息中存在异常的车道线坐标。
可选地，置信度计算模块具体用于，计算第二车道线信息中车身位置处的车道线坐标，与前一时刻得到的车道线数据中的对应位置的融合车道线坐标的第四差值；若第四差值小于第四设定值，以第二车道线信息中车身位置处和最远点的车道线坐标与前一时刻得到的车道线数据中对应的融合车道线坐标相等为目标，对第二车道线信息中的车道线坐标进行平移处理；计算平移处理后的第二车道线信息中的每一个车道线坐标与对应融合车道线坐标的第五差值；对第五差值作求和并取绝对值处理；基于处理后的第五差值与第五设定值，确定预处理后的第二车道线信息对应的置信度。
可选地，权重计算模块具体用于，基于各个传感器对应的预设权重与置信度，确定各个传感器对应置信度权重；基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重；基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数。
可选地，权重计算模块具体用于，当车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数时，基于各个传感器对应的车身姿态信息的预设权重与置信度，确定各个传感器对应车身姿态信息的置信度权重，车身姿态信息包括车辆位置系数和车辆方向系数对应的信息；基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重，道路形状信息包括道路形状系数对应的信息；相应地，基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数，包括：基于每个传感器的车身姿态信息的置信度权重与实时权重，确定各个传感器对应车身姿态信息的权重系数；基于每个传感器的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
可选地，权重计算模块具体用于，当车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数时，基于各个传感器对应的车辆位置信息的预设权重与置信度，确定各个传感器对应车身位置信息的置信度权重，车身位置信息包括车辆位置系数对应的信息；基于各个传感器对应的车辆方向信息的预设权重与置信度，确定各个传感器对应车身方向信息的置信度权重，车身方向信息包括车辆方向系数对应的信息；基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重，道路形状信息包括道路形状系数对应的信息；并，基于每个传感器的车身位置信息的置信度权重与实时权重，确定各个传感器对应车身位置信息的权重系数；基于每个传感器的车身方向信息的置信度权重与实时权重，确定各个传感器对应车身方向信息的权重系数；基于每个传感器的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
第三方面，本申请实施例还提供了一种电子设备，该电子设备包括：
至少一个处理器；
以及与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使电子设备执行如本申请实施例第一方面中任一实施例对应的车道线融合方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一的车道线融合方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该程序产品包含计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请实施例第一方面对应的任意实施例的车道线融合方法。
附图说明
图1为本公开实施例提供的车道线融合方法的一种应用场景图；
图2为本公开一个实施例提供的车道线融合方法的流程图；
图3a为本公开又一个实施例提供的车道线融合方法的流程图；
图3b为本公开又一个实施例提供的结合车道线数据确定第二车道线信息的置信度的流程图；
图4为本公开又一个实施例提供的车道线融合方法的流程图；
图5为本公开又一个实施例提供的车道线融合方法的流程图；
图6为本公开又一个实施例提供的车道线融合装置的结构示意图；
图7为本公开又一个实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本申请实施例的技术方案以及本申请实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请实施例的实施例进行描述。
在协同自动驾驶中，基于自动驾驶技术和车联网技术的支持，以极小的车距跟随行驶的编队状态，此时，前车可以由自动驾驶系统驱动，也可以由驾驶人员手动操控；跟随车会根据同时基于前车和/或领航车行驶参数以及跟随车两侧的车道线来对其自动驾驶的状态进行控制，以保证跟随车在自主跟车过程中的安全行驶。但如果跟随车无法识别车道线时，就会存在无法有效确定跟随车在车道上的横向相对位置，即无法实施有效的横向控制，导致跟随车控制失灵的问题。因此，对自动驾驶车辆而言，准确获取车道线信息至关重要。
而目前获取车道线信息的方法，主要是依赖视觉传感器的检测，但视觉传感器受光线影响较大，且容易受到遮挡，也容易受实际车道的影响，导致出现模糊、错误或跳变等情况，使得视觉传感器无法获取准确的车道线信息，进而影响自动驾驶车辆的横向控制。
为了解决上述问题，本申请实施例提供一种车道线融合方法，通过获取多个传感器的车道线信息，并为其赋予不同的权重后，将车道线信息融合，由此，能够综合利用多个传感器的优势，适应不同复杂工况，保证车道线信息的准确性和可靠性。
图1为本申请实施例提供的车道线融合方法的一种应用场景图。如图1所示，在进行车道线融合流程中，自动驾驶车辆100通过识别领航车110的位置确定前进的方向(图中粗实线部分表示对领航车的识别)，通过识别车道线120确定自身的横向位置(图中虚线部分表示对车道线的识别)。
需说明的是，图1所示场景中自动驾驶车辆、领航车和车道线仅以一个为例进行示例说明，但本申请实施例不以此为限制，也就是说，自动驾驶车辆、领航车和车道线的数量可以是任意的。
以下通过具体实施例详细说明本申请提供的车道线融合方法。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请一实施例提供的车道线融合方法的流程图。如图2所示，包括但不限于以下步骤：
步骤S201、获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理。
其中，至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器。
具体的，车道线信息为自动驾驶车辆上设置的传感器所获取并输出的车道线相关信息，如视觉传感器获取的车道线图像，并输出基于车道线图像确定的车道线位置信息。
根据传感器不同，其输出的车道线信息可能有不同的形式，如高精地图定位传感器输出的车道线信息可以是车道线的坐标和车辆自身坐标(从而可以得到车道线相对于车辆的相对坐标)，而激光雷达传感器可以输出车道线坐标，也可以输出用于计算车道线坐标的多项式参数。
其中，在通过视觉图像识别车道线的领域，通常用四个多项式系数来描述车道线信息，包括用于代表车辆所在位置的系数A0、用于代表车辆行驶方向的系数A1、用于代表车道线角度和形状的系数A2和A3。相应的，基于车辆自身位置为坐标原点建立的坐标系中，沿车辆自身行驶方向的距离x与车道线坐标y的关系可以通过如下换算多项式表示：
y＝A0+A1·x+A2·x2+A3·x3，
由此，可以得到每一时刻的车道线坐标与多项式系数的换算关系，如果车道线信息为车道线坐标和车辆自身坐标，则可以换算得到对应的多项式系数；反之，如果得到多项式系数，则可以换算得到对应的车道线相对于车辆自身的坐标。
进一步地，由于获取车道线信息的传感器可以有多个种类，如包括视觉传感器、高精地图定位传感器和激光雷达传感器三种，还可以包括超声定位传感器、或卫星定位传感器等。
对应每个种类的传感器，其数量可以不止一个，如用于获取车道线信息的视觉传感器可以有两个，以分别获取车辆两侧的车道线的信息。
进一步地，对于不同传感器，其有不同的测量优势和缺点。例如，视觉传感器的优点在于局部感知准确、在良好条件下获取的车道线信息准确度高，但缺点是容易受光线、天气、遮挡、道线不规则的影响；高精地图定位传感器的优点在于全局信息准确度高，能够准确输出道路形状、坡度等环境信息，缺点是容易受定位偏差的影响；激光雷达传感器的优点在于不受光照条件影响、局部感知准确度高，缺点是同样容易受天气、遮挡、道线不规则影响。
因此，在不同工况下，各个传感器的数据都有可能出现问题，如糟糕天气下，视觉传感器输出的车道线信息可靠性就会受影响，而隧道等定位困难的环境中，高精地图定位传感器输出的车道线信息可靠性就会受影响，在车道线受灌木或泥水遮挡的环境下，激光雷达传感器输出的车道线信息可靠性就会受影响。
通过将这些不同种类的数据获取的车道线信息进行融合，能够最大限度削弱问题数据的影响，提高获取的车道线信息的精度和可靠性。
进一步地，对传感器获取的车道线信息的预处理方法，为剔出其中异常数据(如根据车道线信息显示车道线中存在连续心跳图式的折线变化，但实际上车道线不会有这样的形状，说明存在异常数据)和明显跳变的数据(如根据车道线信息显示在某个位置两侧车道线突然会收拢至1m的宽度，说明该位置数据存在明显跳变)。这些都可以通过预设的数据排除规则检查并剔除。
通过对车道线信息进行预处理，能够有效规避问题数据对于车道线信息可靠性的影响。
进一步地，获取传感器对应车道线信息的设备可以是自动驾驶车辆的车端控制设备(此时对车道线进行预处理、计算置信度、权重系数和融合处理的动作都可以由车端控制设备完成)，也可以是与自动驾驶车辆实时通讯连接的云端服务器(此时车端控制设备在接收到传感器对应车道线信息时，会将车道线信息发送给云端服务器，或进行预处理之后发送给云端服务器，由云端服务器完成后续处理，包括计算置信度、权重系数和进行融合处理等动作，并将得到的车道线数据发送给车端控制设备)。
步骤S202、确定预处理后的车道线信息对应的置信度。
具体的，由于每个车道线信息在不同环境下的可靠性不同，因此，在对车道线信息进行预处理后，还需要分别确定每个传感器对应车道线信息的置信度。
由于车道线信息为自动驾驶车辆在行驶过程中实时持续获取的信息(如每隔0.02秒获取一次，此时车辆移动距离很小，且一般不会产生很大横向移动)，且自动驾驶车辆会实时基于车道线信息计算对应的车道线数据，因此，可以将每一个传感器对应的当前时刻预处理后的车道线信息与前一时刻或前一步长得到的车道线数据进行对比，根据对比后的偏差值确定置信度。其中，前一步长得到的车道线数据即前一次通过本方法的流程计算得到的车道线数据。
示例性的，高精地图定位传感器得到的当前时刻车身位置处对应的一侧车道线坐标为(0,172)，前一步长得到的车道线数据中的对应位置的车道线坐标为(1,175)，其中，1为前一步长到当前时刻车身移动的相对于车道线的纵向距离，且前一步长中，车辆沿平行与车道线方向行驶(即前一步长和当前时刻的车道线与车身距离应该相等)，因此，车道线坐标的横向偏差值为3，若设定的最高置信度的阈值为5，由于5>3，则可以认为高精地图定位传感器输出的车道线信息的置信度为最高置信度。
步骤S203、基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数。
具体的，基于预处理后的每个传感器实时获取的车道线信息和对应的置信度，可以实时动态地确定该传感器在各个方面的车道线信息的权重系数，即权重系数与特定传感器的特定种类车道线信息相对应，如视觉传感器在当前时刻的车辆所在位置系数A0的权重系数。
与置信度一样，权重系数也会在每次计算车道线数据时进行实时计算和判断，以实时保证实时确定的车道线数据的准确性。
进一步的，不同种类的车道线信息可以使用相同的权重系数，如车辆姿态相关的系数(包括车辆所在位置系数A0和车辆行驶方向的系数A1)的权重系数可以为同一个，因为这两个系数均用于表达车辆状态，具有关联性，通过使用相同的权重系数，可以保证相关性的同时，减小计算量，提高计算效率；但也可以不同，如车辆和道路相关系数的权重系数，就可以互不相同，以避免表达不同信息的数据间因为相同权重系数而对影响计算结果。
进一步的，不同传感器的同一种类的车道线信息的权重系数一般不同(因为是通过各个传感器对应车道线信息分别计算得到)。
步骤S204、基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。
具体的，计算得到的车道线数据与车道线信息相对应，也包括四个多项式系数和车道线与车辆间的相对坐标。
通过权重系数和预处理后车道线信息计算车道线数据的具体方法，为将每一项传感器得到的每一种车道线数据与对应权重系数相乘后，再将不同传感器对应的同一种车道线数据与权重系数的乘积相加，从而得到该种车道线数据的融合数据。计算完毕所有种类的车道线数据的融合数据，记得到了车道线数据。
进一步地，车道线数据会实时缓存用于引导自动驾驶车辆控制自身横向位置，并用于下一步长/下一时刻的车道线数据的计算。
本申请实施例提供的车道线融合方法，通过获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理，再确定预处理后的车道线信息对应的置信度；然后基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数；最后基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。由此，能够实时充分利用各个传感器的优点提升最终融合输出结果的精度和可靠性；且由于各个传感器特性具有互补的效果，通过多个传感器的车道线信息，能够有效提升基于车道线识别的智能驾驶系统的通用性，能够有效应对匝道口、桥洞、隧道等复杂工况；同时，通过设计权重系数，使准确的车道线信息分配更多的权重，有利于灵活配置，提升融合效果，进而提高车道线信息的可靠性和准确性。
图3a为本申请又一实施例提供的车道线融合方法的流程图。如图3a所示，该车道线融合方法包括：
步骤S301、当传感器为视觉传感器或激光雷达传感器时，基于视觉传感器或激光雷达传感器对应的第一车道线信息，计算当前时刻车道线坐标。
其中，第一车道线信息包括车辆当前坐标与车道线坐标相互换算的车辆位置系数、车辆方向系数和车道线系数。
具体的，视觉传感器和激光雷达传感器输出的车道线信息的种类相同，均为图2所示实施例中步骤S201提到的多项式系数(即第一车道线信息)，由图2所示实施例中步骤S201给出的换算多项式，可以通过多项式系数计算对应的车道线坐标，且计算得到的车道线坐标为车道线相对于车辆所在位置的相对坐标。
步骤S302、基于当前时刻车道线坐标和该传感器计算得到的前一时刻车道线坐标的第一差值，确定第一车道线信息中存在异常的车道线坐标。
其中，存在异常的车道线坐标用于表示第一差值大于第一设定值的当前时刻车道线坐标。
具体的，当第一车道线信息来自视觉传感器时，依次计算基于当前时刻第一车道线信息计算得到的车道线坐标与前一时刻计算得到的车道线坐标的差值。
示例性的，如以车辆自身为坐标轴的x的范围为[0:1:50](表示从0到50，且步长为1)，其对应的车道线坐标为line0＝y0(0)、y0(1)……y0(50)，相应的，前一时刻的车道线坐标为line1＝y1(0)、y1(1)……y1(50)，此时，第一差值ERR0可以表示为：
Figure BDA0003645651190000081
由此，第一差值ERR0用于表示当前时刻视觉传感器信号与前一时刻视觉传感器信号间的跳动程度，跳动程度越大，信号的可靠性越低。
当第一差值ERR0大于设定跳变阈值时，即认为视觉传感器信号出现跳变，可靠性极低，对应的第一车道线信息存在异常，其结果无法用于车道线融合处理。
步骤S303、去除第一车道线信息中存在异常的车道线坐标。
具体的，对于存在异常的第一车道线信息，应直接剔除，不用于进一步的融合处理和分析。
进一步地，若传感器获取的第一车道线信息被踢出后，可以基于前一时刻获取的第一车道线信息(或车辆对应的全局坐标和车速等信息)，通过离散预测方程预测当前时刻的车辆所在坐标，并基于预测的车辆所在坐标，通过换算多项式，得到对应的多项式系数，以替代第一车道线信息。
离散预测方程可以表示为：
Figure BDA0003645651190000082
其中，X、Y为车辆在全局坐标中的位置，k-1为前一时刻，k为当前时刻，u为相对于车道线的纵向车速，v为车身相对于车道线的横向速度，ax为纵向加速度，ay为横向加速度，T为离散步长/时长。由此，能够保证任意传感器在每个步长均能提供对应的车道线信息，以进行数据融合处理。
步骤S304、计算前一时刻得到的车道线数据中的融合车道线坐标和当前时刻车道线坐标的第二差值。
具体的，在得到预处理后的第一车道线信息后，可以确定车道线数据中车道线相对于车身的相对坐标与基于第一车道线信息得到的对应的相对坐标的差值，确定当前时刻该传感器获取的第一车道线信息的偏差，即第二差值(其计算方式参考ERR0的计算)，若第二差值过大，可以认为当前时刻传感器获取的第一车道线信息的可信度较差。
步骤S305、基于第二差值与第二设定值，确定预处理后的第一车道线信息对应的置信度。
具体的，第二设定值可以为单个值也可以为多个值，如第二设定值同时包括较低的阈值和较高的阈值，此时，若第二差值小于较低的阈值，则认为预处理后的第一车道线信息的置信度最高(如置信度为2)；若第二差值大于较低的阈值而小于较高的阈值，可以认为置信度低一档(如置信度为1)；若第二差值大于较高的阈值，可以认为置信度最低(如置信度为0)。
第二设定值也可以为单个值时，可以基于第二差值持续大于第二设定值的时间是否超过设定时间，进一步区分置信度，如第二差值持续大于第二设定值超过设定时间，则认为置信度从中档下降至最低(如置信度从1变为0)。
进一步地，当传感器为激光雷达传感器、超声传感器时，其实现方式与视觉传感器相同，本领域技术人员可以基于步骤S301至步骤S305，同样得到激光雷达传感器、超声传感器获取的信息对应的置信度。
步骤S306、当传感器为高精地图定位传感器时，确定高精地图定位传感对应的第二车道线信息中包含的车道线坐标。
具体的，由于高精地图定位传感器得到的数据本身即为车辆本身和车道线的全局坐标，因此，可以直接基于高精地图定位传感器得到的数据计算车道线相对于车身的相对坐标，即第二车道线信息对应的车道线坐标。
步骤S307、基于当前时刻第二车道线信息中包含的车道线坐标，和该传感器得到的前一时刻的车道线坐标的第三差值，确定存在异常的车道线坐标。
具体的，通过直接计算第二车道线信息对应的当前时刻的车道线坐标与前一时刻的车道线坐标的第三差值，并根据第三差值与对应的设定的阈值对比，判断是否异常，如第三差值表明车道线坐标中的某一点在一个步长内横向移动了2米，则可以直接确定该车道线坐标存在异常。
步骤S308、去除第二车道线信息中存在异常的车道线坐标。
具体的，对于存在异常的车道线坐标，可以直接去除对应单个点的坐标。
进一步地，当第二车道线信息中存在单个点的坐标被剔除时，可以基于其相邻的车道线坐标，计算该点的替代坐标。如连续三个点的车道线坐标分别为(10,114)、(11,195)、(12,116)，显然第二个点的车道线坐标为异常坐标，此时可以直接剔除该点坐标，然后基于前后两个点的车道线坐标，计算该点的替代坐标为：(11,115)。
步骤S309、确定预处理后的第二车道线信息对应的置信度。
具体的，在对第二车道线信息进行预处理后，同样可以基于车道线数据中对应的车道线坐标与第二车道线信息中的车道线坐标对比，以确定该高精地图传感器得到的第二车道线信息的置信度。
进一步的，如图3b所示，其为结合车道线数据确定第二车道线信息的置信度的流程图，确定第二车道线信息置信度，具体包括如下步骤：
步骤S3091、计算第二车道线信息中车身位置处的车道线坐标，与前一时刻得到的车道线数据中的对应位置的融合车道线坐标的第四差值。
具体的，对第二车道线信息的置信度的判断，会从基于车道线坐标的位置偏差程度和基于车道线坐标得到的车道线整体的形状偏差程度这两个角度判断。
其中，位置偏差程度可以通过第二车道线信息和车道线数据中同一位置的车道线坐标的差值判断。
在本实施例中，通过车身位置处的车道线坐标的差值，即第二车道线信息和车道线数据各自的y(0)的差值，即第四差值，来判断位置偏差程度。若第四差值小于/等于设定的对应阈值，即第四设定值，则认为第二车道线信息的位置偏差程度在可以接收的范围内，需要进一步判断其形状偏差程度；若第四差值大于设定的第四设定值，则认为高精地图定位传感器的定位出现较大偏差，第二车道线信息不可用，其置信度为最低值。
步骤S3092、若第四差值小于第四设定值，以第二车道线信息中车身位置处和最远点的车道线坐标与前一时刻得到的车道线数据中对应的融合车道线坐标相等为目标，对第二车道线信息中的车道线坐标进行平移处理。
具体的，若第四差值小于第四设定值，则需要根据第二车道线信息对应车道线坐标的形状偏差程度，进一步确定第二车道线信息的置信度。
为比较第二车道线信息对应车道线坐标与车道线数据中的融合车道线坐标的形状偏差程度，需要将车道线坐标和融合车道线坐标平移至存在两个点相重合，然后再根据其他点的差值，判断形状偏差。
其中，为方便计算，可以固定选择车身位置处和最远点(即当前时刻的第二车道线信息中包含的相对于车身位置最远的车道线坐标，或x取值最大的车道线坐标)为重合点。当车道线坐标的x取值为[0:1:50]时，即可以选择(0,y(0))和(50,y(50))两个点，使车道线坐标和融合车道线坐标的这两个点相重合，如将车道线坐标平移至上述两点与融合车道线坐标中的对应两个点的相同的位置。具体平移方法可以参考平面坐标系中的线条平移方法。
步骤S3093、计算平移处理后的第二车道线信息中的每一个车道线坐标与对应融合车道线坐标的第五差值。
具体的，第五差值为第二车道线信息对应的车道线坐标与融合车道线坐标间的每个点的差值(组成的集合)，即第五差值包括多个值，如x取值为[1:1:49]的共49个差值。
步骤S3094、对第五差值作求和并取绝对值处理；基于处理后的第五差值与第五设定值，确定预处理后的第二车道线信息对应的置信度。
具体的，将第五差值中的全部差值求和后，对求和后的结果取绝对值(如全部差值求和之后为-50，说明第二车道线信息对应的车道线坐标偏向车身一侧，此时需要对其求绝对值，以方便评估偏差程度)，根据处理后的第五差值与第五设定值的大小，可以确定第二车道线信息的置信度。
可选地，第五设定值可以为单个值，若处理后的第五差值小于或等于第五设定值，则认为第二车道线信息的置信度为最高值，若处理后的第五差值大于第五设定值的时长小于或等于对应的设定时长，可以认为第二车道线信息的置信度为次高值；若处理后的第五差值大于第五设定值的时长大于对应的设定时长，可以认为第二车道线信息的置信度为最低值。
可选地，第五设定值可以包括较高值和较低值，此时如处理后的第五差值大于较高的第五设定值，则认为第二车道线信息的置信度为最低值；如处理后的第五差值小于较低的第五设定值，则认为第二车道线信息的置信度为最高值；如处理后的第五差值在较低的第五设定值和较高的第五设定值之间，则认为第二车道线信息的置信度为次高值。
由此，能够确定高精地图定位传感器输出的第二车道线信息的置信度。
一些实施例中，若传感器为卫星定位传感器，其处理方式也可以参照步骤S306至步骤S309，此处不再赘述。
步骤S310、基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数。
步骤S311、基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。
具体的，步骤S310至步骤S311与图2所示实施例中的步骤S203和步骤S204内容相同，此处不再赘述。
本申请实施例提供的车道线融合方法，对应不同的传感器，采取不同方式分别将传感器输出的车道线信息进行预处理，并根据预处理后的车道线信息和前一步长/时刻的车道线数据的对比，确定该传感器对应车道线信息的置信度，然后基于置信度和预处理的车道线信息，确定各车道线信息的权重系数，进而确定融合处理后的车道线数据。由此，能够适应不同类型传感器的特点，保证从传感器获取的车道线信息的准确性，并通过针对性确定传感器对应车道线信息的置信度，保证最后得到的车道线数据的准确性和可靠性，从而提高自动驾驶车辆的安全性和可靠性。
图4为本申请再一实施例提供的车道线融合方法的流程图。如图4所示，本实施例提供的车道线融合方法包括以下步骤：
步骤S401、获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理。
其中，至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器。
步骤S402、确定预处理后的车道线信息对应的置信度。
具体的，本步骤与图2所示实施例中的步骤S201至步骤S202内容相同，此处不再赘述。
步骤S403、基于各个传感器对应的车身姿态信息的预设权重与置信度，确定各个传感器对应车身姿态信息的置信度权重。
具体的，由于不同传感器输出的车道线信息在不同方面的数据的准确性和可靠性不同，如高精地图定位传感器对车身位置的定位准确性较高，但对车辆当前时刻前进方向的识别准确性则相对较低；视觉传感器对车道线与车辆相对位置的识别准确性较高，但对车辆的全局坐标识别准确性相对较低。因此，需要将每个传感器输出的车道线信息按照针对的每一个方面分别确定对应的权重系数，以基于不同传感器输出的车道线信息的权重系数和对应的预处理后的车道线信息结合，计算车道线数据。
具体计算权重系数的方法，为先基于实时接收的车道线信息确定对应的置信度，然后在确定置信度之后，需要基于各个传感器对应的预设权重与置信度，确定各个传感器对应置信度权重，再设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重，最后基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数。具体步骤参见步骤S403至步骤S405和/或步骤S406至步骤S408。
在本实施例中，将车道线信息分为车身姿态信息和道路形状信息两个方面，分别设置对应的预设权重，并基于对应的预设权重分别计算两个方面中各个传感器对应的权重系数，以更准确地计算车道线数据。车身姿态信息对应车道线信息中代表车辆所在位置的系数A0和代表车辆行驶方向的系数A1，道路形状信息对应代表车道线角度和形状的系数A2和A3。
其中，由于视觉传感器、激光雷达传感器等输出第一车道线信息的传感器，属于局部感知类的传感器，其对车身周围的信息感知更加准确，因此，其对应的预设权重会高于输出第二车道线信息的传感器(如高精地图定位传感器或卫星定位传感器)。
示例性的，传感器共有三种，且分别为视觉传感器、激光雷达传感器和高精地图定位传感器，则可以将视觉传感器、激光雷达传感器的预设权重分别设置为0.4，将高精地图定位传感器的预设权重设置为0.2。
与预设权重结合的置信度为基于传感器实时输出的车道线信息的置信度，在传感器只有三种的情况下，可以将根据预设权重与置信度确定置信度权重的计算公式表示为：
Figure BDA0003645651190000111
式中，Q1、Q2、Q3用于表示三种不同传感器的置信度，Ws1-A1、Ws1-A2、Ws1-A3分别为传感器在车身姿态信息方面对应的预设权重，Ws2-A1、Ws2-A2、Ws2-A3分别为传感器在车身姿态信息方面对应的置信度权重。
步骤S404、基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重。
具体的，本步骤为在步骤S403之后执行的步骤。
在确定各个传感器对应的权重系数时，除了考虑实时置信度的权重，还需要考虑在设定时长内各个传感器的历史平均偏差趋势。如某传感器在过去5分钟的平均偏差均较大，但其对应实时置信度又为最高值，基于步骤S403计算得到的实时置信度权重也较高，此时若只依赖置信度权重评估权重系数，就容易造成结果失真，无法反映该传感器长时间的置信度变化。因此，还需要计算各个传感器的历史平均偏差影响的实时权重。
对任意一个传感器，其历史平均偏差的计算方法包括如下步骤：
步骤一(未示出)、依次计算设定时长内每一时刻/步长中该传感器对应的车道线信息与对应的前一时刻/步长的车道线数据的第六差值。
具体的，自动驾驶车辆每一次计算得到的车道线数据一般都会实时保存在云服务器或控制设备的数据库中，以便实时调用。
第六差值一般为多个值，根据设定时长和步长可以确定第六差值的数量，如设定时长为1分钟，步长为0.5秒，则第六差值的数量为120个。
其中用于计算的车道线信息和车道线数据一般为车道线相对于车身的坐标，以方便计算差值。
步骤二(未示出)、对设定时长内的第六差值作求和处理。
具体的，通过对第六差值求和，以体现车道线数据的在一段时间内偏差的累积趋势。
步骤三(未示出)、对求和处理后的第六差值取绝对值，得到其对应的历史平均偏差。
具体的，通过取绝对值，以方便对不同车道线历史平均偏差进行统一比较。
进一步地，在确定历史平均偏差之后，得到实时权重的计算公式可以表示为：
Figure BDA0003645651190000121
式中，ERRA1、ERRA2、ERRA3分别为三种传感器对应的历史平均偏差，分别为，Ws3-A1、Ws3-A2、Ws3-A3分别为传感器对应的实时权重。
特别的，若某传感器的置信度为0，则其置信度权重也为0，同时，将其对应的实时权重也设置为0。
步骤S405、基于每个传感器的车身姿态信息的置信度权重与实时权重，确定各个传感器对应车身姿态信息的权重系数。
具体的，通过将每个传感器对应的实时权重与车身姿态信息的置信度权重结合，就可以得到其对应车身姿态信息的权重系数，具体计算公式可以表示为：
Figure BDA0003645651190000131
式中，WA1、WA2、WA3分别为传感器对应车身姿态信息的权重系数。
步骤S406、基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重。
具体的，输出第二车道线信息的传感器，如高精地图定位传感器或卫星定位传感器，一半能够跟准确的描述道路形状，因此，其在道路形状信息中的预设权重会高于输出第一车道线信息的传感器。如四种传感器情况下，若同时有两个输出第二车道线信息的传感器B1、B2和两个输出第一车道线信息的传感器B3、B4，则B1、B2的预设权重可以设置为0.3、0.4，B3的权重可以设置为0.15、0.15。
一些实施例中，预设权重可以根据车辆实际配置状况调整，如某车辆中输出第一车道线信息的某一种传感器质量较高，则可以上调该传感器对应的初始权重。
具体计算置信度权重的方法与步骤S403相同，此处不再赘述。
步骤S407、基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重。
具体的，本步骤为基于步骤S406之后执行的步骤，但具体内容与步骤S404内容相同，此处不再赘述。
步骤S408、基于每个传感器的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
具体的，确定权重系数的方法与步骤S405内容相同，此处不再赘述。
步骤S409、基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。
具体的，在计算车道线数据时，需要使预处理后的车道线信息均为多项式系数的形式(即将第二车道线信息中的车道线坐标和车身坐标转化为多项式系数，参考步骤S201中多项式可以得到)。
具体计算车道线数据的公式可以表示为：
Figure BDA0003645651190000132
式中，C0、C1、C2、C3分别为车道线数据对应的多项式系数，由这四个多项式系数可以得到对应的融合车道线坐标；WB1、WB2、WB3分别为传感器对应道路形状信息的权重系数，A0-1、A1-1、A2-1、A3-1分别为第一种传感器的四个多项式系数，A0-2、A1-2、A2-2、A3-2分别为第二种传感器的四个多项式系数，A0-3、A1-3、A2-3、A3-3分别为第三种传感器的四个多项式系数。
进一步地，对应四种或更多种传感器的情况，也可以由步骤S403至步骤S409中的公式简单推导得到，对本领域技术人员而言，不需要付出任何创造性劳动。
本申请实施例提供的车道线融合方法，在确定各车道线对应置信度之后，将权重系数分为对应车身姿态信息和道路形状信息两个方面，分别设置对应的预设权重，并基于各个传感器的置信度与预设权重结合，计算对应方面的置信度权重，再与基于历史平均偏差的实时权重结合，得到每个传感器在各个方面对应的权重系数，将权重系数与预处理的车道线信息结合，得到车道线数据。通过将权重系数分开为对应车身和道路的不同方面，并设置不同的预设权重，有效利用不同类型的传感器在不同方面的数据的准确性和可靠性，最大限度提高车道线数据的准确性和可靠性，从而有效提高自动驾驶车辆的安全性。
图5为本申请再一实施例提供的车道线融合方法的流程图。如图5所示，本实施例提供的车道线融合方法包括以下步骤：
步骤S501、获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理。
其中，至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器。
步骤S502、确定预处理后的车道线信息对应的置信度。
具体的，本步骤与图2所示实施例中的步骤S201至步骤S202内容相同，此处不再赘述。
步骤S503、基于各个传感器对应的车辆位置信息的预设权重与置信度，确定各个传感器对应车身姿态信息的置信度权重。
具体的，在将不同传感器输出的车道线信息分为多个方面分别计算权重系数时，除图4所示实施例中分为车身姿态信息和道路形状信息两个方面外，也可以再进一步将车身姿态信息分为车辆位置信息和车辆(行驶)方向信息两个方面，并与道路形状信息方面结合，从而从三个方面分别计算各个传感器对应的权重系数。
其中，车身姿态信息对应车道线信息中代表车辆所在位置的系数A0。
进一步地，输出第一车道线信息的传感器一般对应车身姿态信息的准确性较高，因此，其预设权重较高。其中，视觉传感器、激光雷达传感器、超声雷达传感器等不同传感器，在识别车辆位置时的准确性不同，因此，可以分别设置不同的对应预设权重。如输出第一车道线信息的传感器为视觉传感器和激光雷达传感器两种时，其对应车辆位置信息的权重可以分别为0.5和0.4(因为通过视觉传感器确定车辆位置时，通常比激光雷达传感器的对应信息更全面，可靠性更强)，此时输出第二车道线信息的传感器(如高精地图定位传感器)的权重可以为0.1。
基于预设权重和置信度计算置信度权重的具体方法可以参考步骤S403，此处不再赘述。
步骤S504、基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重。
具体的，历史平均偏差对应的实时权重实际在每个计算车道线数据的时刻/步长都会运算得到，并在每次计算完毕置信度权重后，调用对应的实时权重计算结果。即计算实时权重这一步骤发生的时间可以在计算置信度权重之后，也可以发生在计算置信度权重以前，或者计算置信度以前。
在每个时刻/步长中，实时权重只会计算一次，但根据车道线信息被分为的方面种类数量不同，实时权重被调用的次数会有相应的变化(与车道线信息的方面种类数量相对应)。
在本实施例中，在步骤S503、S506、S509计算得到置信度权重之后，会在随后的步骤S504、S507、S510中调用当前时刻/步长计算得到的实时权重。
本步骤与图4所示实施例中的步骤S404相同，此处不再赘述。
步骤S505、基于每个传感器的车辆位置信息的置信度权重与实时权重，确定各个传感器对应车身姿态信息的权重系数。
具体的，根据置信度权重和实时权重计算权重系数的方法可以参考步骤S405，此处不再赘述。
步骤S506、基于各个传感器对应的车辆方向信息的预设权重与置信度，确定各个传感器对应车身姿态信息的置信度权重。
具体的，车辆方向信息用于表示车辆实时相对于以自身为止为坐标原点的坐标系中的前进方向，如角度为0，则车辆为沿当前行驶方向直行，如角度为正，则向左转向，如角度为负，则向右转向。
不同种类的传感器在获取车辆方向信息中的准确性和可靠性不同，一般输出第一车道线信息的传感器的准确性会高于输出第二车道线信息的传感器，且如激光雷达传感器在获取实时的车辆方向信息时，准确性会高于高精地图定位传感器。因此，输出第一车道线信息的传感器的预设权重会高于输出第二车道线信息的传感器的预设权重。如输出第一车道线信息的传感器为视觉传感器和超声传感器两种时，其对应车辆位置信息的权重可以分别为0.5和0.3(因为通过视觉传感器确定车辆位置时，通常比超声传感器的实时性更强，结果更准确)，此时输出第二车道线信息的传感器(如卫星定位传感器)的权重可以为0.2。
基于预设权重和置信度计算置信度权重的具体方法可以参考图4所示实施例中的步骤S403，此处不再赘述。
步骤S507、基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重。
具体的，本步骤与步骤S504内容相同，此处不再赘述。
步骤S508、基于每个传感器的车辆方向信息的置信度权重与实时权重，确定各个传感器对应车身姿态信息的权重系数。
具体的，根据置信度权重和实时权重计算权重系数的方法可以参考图4所示实施例中的步骤S405，此处不再赘述。
步骤S509、基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重。
步骤S510、基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重。
步骤S511、基于每个传感器的道路形状信息的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
具体的，步骤S509至步骤S511与图4所示实施例中的步骤S406至步骤S408内容相同，此处不再赘述。
步骤S512、基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。
具体的，在分别计算出三个方面的权重系数后，可以得到其对应的车道线数据的计算公式：
Figure BDA0003645651190000151
式中，WC1、WC2、WC3分别为本实施例中传感器对应车辆位置信息的权重系数，WD1、WD2、WD3分别为本实施例中传感器对应车辆方向信息的权重系数，其他符号含义与图4所示实施例中的步骤S409相同，此处不再赘述。
本申请实施例提供的车道线融合方法，在确定各车道线对应置信度之后，将权重系数分为对应车身位置信息、车身方向信息和道路形状信息三个方面，分别设置对应的预设权重，并基于各个传感器的置信度与预设权重结合，计算对应方面的置信度权重，再与基于历史平均偏差的实时权重结合，得到每个传感器在各个方面对应的权重系数，将权重系数与预处理的车道线信息结合，得到车道线数据。通过将权重系数分开为对应车身位置、车身方向和道路的不同方面，并设置不同的预设权重，进一步利用不同类型的传感器在不同方面的数据的准确性和可靠性，最大限度提高车道线数据的准确性和可靠性，从而有效提高自动驾驶车辆的安全性。
图6为本申请一实施例提供的车道线融合装置的结构示意图。如图6所示，该车道线融合装置600包括：预处理模块610、置信度计算模块620、权重计算模块630和融合模块640。其中：
预处理模块610，用于获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理，至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器中的至少一种；
置信度计算模块620，用于确定预处理后的车道线信息对应的置信度；
权重计算模块630，用于基于置信度和预处理后的车道线信息，确定车道线信息对应的权重系数；
融合模块640，用于基于权重系数和预处理后的车道线信息，确定融合处理后的车道线数据。
可选地，预处理模块610具体用于，当传感器为视觉传感器或激光雷达传感器时，基于视觉传感器或激光雷达传感器对应的第一车道线信息，计算当前时刻车道线坐标，第一车道线信息包括车辆位置系数、车辆方向系数和车道线系数；基于当前时刻车道线坐标和该传感器计算得到的前一时刻车道线坐标的第一差值，确定第一车道线信息中存在异常的车道线坐标，存在异常的车道线坐标用于表示第一差值大于第一设定值的当前时刻车道线坐标；去除第一车道线信息中存在异常的车道线坐标。
可选地，置信度计算模块620具体用于，计算前一时刻得到的车道线数据中的融合车道线坐标和当前时刻车道线坐标的第二差值；基于第二差值与第二设定值，确定预处理后的第一车道线信息对应的置信度。
可选地，预处理模块610具体用于，当传感器为高精地图定位传感器时，确定高精地图定位传感对应的第二车道线信息中包含的车道线坐标；基于当前时刻第二车道线信息中包含的车道线坐标，和该传感器得到的前一时刻的车道线坐标的第三差值，确定存在异常的车道线坐标；去除第二车道线信息中存在异常的车道线坐标。
可选地，置信度计算模块620具体用于，计算第二车道线信息中车身位置处的车道线坐标，与前一时刻得到的车道线数据中的对应位置的融合车道线坐标的第四差值；若第四差值小于第四设定值，以第二车道线信息中车身位置处和最远点的车道线坐标与前一时刻得到的车道线数据中对应的融合车道线坐标相等为目标，对第二车道线信息中的车道线坐标进行平移处理；计算平移处理后的第二车道线信息中的每一个车道线坐标与对应融合车道线坐标的第五差值；对第五差值作求和并取绝对值处理；基于处理后的第五差值与第五设定值，确定预处理后的第二车道线信息对应的置信度。
可选地，权重计算模块630具体用于，基于各个传感器对应的预设权重与置信度，确定各个传感器对应置信度权重；基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重；基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数。
可选地，权重计算模块630具体用于，当车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数时，基于各个传感器对应的车身姿态信息的预设权重与置信度，确定各个传感器对应车身姿态信息的置信度权重，车身姿态信息包括车辆位置系数和车辆方向系数对应的信息；基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重，道路形状信息包括道路形状系数对应的信息；相应地，基于每个传感器的实时权重与置信度权重，确定各个传感器对应车道线信息的权重系数，包括：基于每个传感器的车身姿态信息的置信度权重与实时权重，确定各个传感器对应车身姿态信息的权重系数；基于每个传感器的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
可选地，权重计算模块630具体用于，当车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数时，基于各个传感器对应的车辆位置信息的预设权重与置信度，确定各个传感器对应车身位置信息的置信度权重，车身位置信息包括车辆位置系数对应的信息；基于各个传感器对应的车辆方向信息的预设权重与置信度，确定各个传感器对应车身方向信息的置信度权重，车身方向信息包括车辆方向系数对应的信息；基于各个传感器对应的道路形状信息的预设权重与置信度，确定各个传感器对应道路形状信息的置信度权重，道路形状信息包括道路形状系数对应的信息；并，基于每个传感器的车身位置信息的置信度权重与实时权重，确定各个传感器对应车身位置信息的权重系数；基于每个传感器的车身方向信息的置信度权重与实时权重，确定各个传感器对应车身方向信息的权重系数；基于每个传感器的置信度权重与实时权重，确定各个传感器对应道路形状信息的权重系数。
在本实施例中，车道线融合装置通过各模块的结合，能够实时充分利用各个传感器的优点提升最终融合输出的车道线坐标的精度和可靠性，从而保证自动驾驶车辆的安全性。
图7为本申请一实施例提供的电子设备的结构示意图，如图7所示，该电子设备700包括：存储器710和处理器720。
其中，存储器710存储有可被至少一个处理器720执行的计算机程序。该算机程序被至少一个处理器720执行，以使电子设备实现如上任一实施例中提供的车道线融合方法。
其中，存储器710和处理器720可以通过总线730连接。
相关说明可以对应参见方法实施例所对应的相关描述和效果进行理解，此处不予赘述。
本申请一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述的任意实施例的车道线融合方法。
其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请一个实施例提供了一种计算机程序产品，其包含计算机执行指令，该计算机执行指令被处理器执行时用于实现如图2至图3对应的任意实施例的车道线融合方法。
在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员在考虑说明书及实践这里公开的实施例后，将容易想到本申请实施例的其它实施方案。本公开旨在涵盖本申请实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请实施例未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (10)

1.一种车道线融合方法，其特征在于，所述方法包括：
获取至少两种传感器对应的车道线信息，并对所述车道线信息进行预处理，所述至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器中的至少一种；
确定预处理后的车道线信息对应的置信度；
基于所述置信度和所述预处理后的车道线信息，确定所述车道线信息对应的权重系数；
基于所述权重系数和所述预处理后的车道线信息，确定融合处理后的车道线数据。
2.根据权利要求1所述的方法，其特征在于，当所述传感器为所述视觉传感器或所述激光雷达传感器时，
所述对所述车道线信息进行预处理，包括：
基于所述视觉传感器或所述激光雷达传感器对应的第一车道线信息，计算当前时刻车道线坐标，所述第一车道线信息包括车辆位置系数、车辆方向系数和车道线系数；
基于所述当前时刻车道线坐标和所述传感器计算得到的前一时刻车道线坐标的第一差值，确定所述第一车道线信息中存在异常的车道线坐标，所述存在异常的车道线坐标用于表示所述第一差值大于第一设定值的当前时刻车道线坐标；
去除所述第一车道线信息中存在异常的车道线坐标。
3.根据权利要求2所述的方法，其特征在于，所述确定预处理后的车道线信息对应的置信度，包括：
计算前一时刻得到的车道线数据中的融合车道线坐标和所述当前时刻车道线坐标的第二差值；
基于所述第二差值与第二设定值，确定所述预处理后的第一车道线信息对应的置信度。
4.根据权利要求1所述的方法，其特征在于，当所述传感器为高精地图定位传感器时，所述车道线信息包括车道线坐标；
所述对所述车道线信息进行预处理，包括：
确定所述高精地图定位传感对应的第二车道线信息中包含的车道线坐标；
基于当前时刻所述第二车道线信息中包含的车道线坐标，和所述传感器得到的前一时刻的车道线坐标的第三差值，确定存在异常的车道线坐标；
去除所述第二车道线信息中存在异常的车道线坐标。
5.根据权利要求4所述的方法，其特征在于，所述确定预处理后的车道线信息对应的置信度，包括：
计算第二车道线信息中车身位置处的车道线坐标，与所述前一时刻得到的车道线数据中的对应位置的融合车道线坐标的第四差值；
若所述第四差值小于第四设定值，以第二车道线信息中车身位置处和最远点的车道线坐标与所述前一时刻得到的车道线数据中对应的融合车道线坐标相等为目标，对所述第二车道线信息中的车道线坐标进行平移处理；
计算平移处理后的第二车道线信息中的每一个车道线坐标与对应融合车道线坐标的第五差值；
对所述第五差值作求和并取绝对值处理；
基于处理后的第五差值与第五设定值，确定所述预处理后的第二车道线信息对应的置信度。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述基于所述置信度和所述预处理后的车道线信息，确定所述车道线信息对应的权重系数，包括：
基于各个传感器对应的预设权重与所述置信度，确定各个传感器对应置信度权重；
基于设定时长中各个传感器对应车道线信息与前一时刻车道线数据中对应参数的偏差，确定各个传感器对应的实时权重；
基于每个传感器的所述实时权重与所述置信度权重，确定各个传感器对应车道线信息的权重系数。
7.根据权利要求6所述的方法，其特征在于，所述车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数，所述基于各个传感器对应的预设权重与所述置信度，确定各个传感器对应的置信度权重，包括：
基于所述各个传感器对应的车身姿态信息的预设权重与所述置信度，确定各个传感器对应车身姿态信息的置信度权重，所述车身姿态信息包括车辆位置系数和车辆方向系数对应的信息；
基于所述各个传感器对应的道路形状信息的预设权重与所述置信度，确定所述各个传感器对应道路形状信息的置信度权重，所述道路形状信息包括道路形状系数对应的信息；
相应地，所述基于每个传感器的所述实时权重与所述置信度权重，确定各个传感器对应车道线信息的权重系数，包括：
基于每个传感器的车身姿态信息的置信度权重与所述实时权重，确定各个传感器对应车身姿态信息的权重系数；
基于每个传感器的置信度权重与所述实时权重，确定各个传感器对应道路形状信息的权重系数。
8.根据权利要求6所述的方法，其特征在于，所述车道线信息包括车辆位置系数、车辆方向系数和车道线形状系数，所述基于各个传感器对应的预设权重与所述置信度，确定各个传感器对应置信度权重，包括：
基于所述各个传感器对应的车辆位置信息的预设权重与所述置信度，确定所述各个传感器对应车身位置信息的置信度权重，所述车身位置信息包括车辆位置系数对应的信息；
基于所述各个传感器对应的车辆方向信息的预设权重与所述置信度，确定所述各个传感器对应车身方向信息的置信度权重，所述车身方向信息包括车辆方向系数对应的信息；
基于所述各个传感器对应的道路形状信息的预设权重与所述置信度，确定所述各个传感器对应道路形状信息的置信度权重，所述道路形状信息包括道路形状系数对应的信息；
相应地，所述基于每个传感器的所述实时权重与所述置信度权重，确定各个传感器对应车道线信息的权重系数，包括：
基于每个传感器的车身位置信息的置信度权重与所述实时权重，确定各个传感器对应车身位置信息的权重系数；
基于每个传感器的车身方向信息的置信度权重与所述实时权重，确定各个传感器对应车身方向信息的权重系数；
基于每个传感器的置信度权重与所述实时权重，确定各个传感器对应道路形状信息的权重系数。
9.一种车道线融合装置，其特征在于，包括：
预处理模块，用于获取至少两种传感器对应的车道线信息，并对车道线信息进行预处理，所述至少两种传感器包括视觉传感器、高精地图定位传感器和激光雷达传感器中的至少一种；
置信度计算模块，用于确定预处理后的车道线信息对应的置信度；
权重计算模块，用于基于所述置信度和所述预处理后的车道线信息，确定所述车道线信息对应的权重系数；
融合模块，用于基于所述权重系数和所述预处理后的车道线信息，确定融合处理后的车道线数据。
10.一种电子设备，其特征在于，包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行如权利要求1至8中任一项所述的车道线融合方法。
CN202210528667.3A 2022-05-16 2022-05-16 车道线融合方法、装置、设备及存储介质 Active CN114926813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210528667.3A CN114926813B (zh) 2022-05-16 2022-05-16 车道线融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210528667.3A CN114926813B (zh) 2022-05-16 2022-05-16 车道线融合方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114926813A true CN114926813A (zh) 2022-08-19
CN114926813B CN114926813B (zh) 2023-11-21

Family

ID=82808581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210528667.3A Active CN114926813B (zh) 2022-05-16 2022-05-16 车道线融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114926813B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471708A (zh) * 2022-09-27 2022-12-13 禾多科技（北京）有限公司 车道线类型信息生成方法、装置、设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180031384A1 (en) * 2016-07-28 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented road line detection and display system
CN111247525A (zh) * 2019-01-14 2020-06-05 深圳市大疆创新科技有限公司 一种车道检测方法、装置及车道检测设备、移动平台
CN111401446A (zh) * 2020-03-16 2020-07-10 重庆长安汽车股份有限公司 单传感器、多传感器车道线合理性检测方法、系统及车辆
CN112712717A (zh) * 2019-10-26 2021-04-27 华为技术有限公司 一种信息融合的方法和系统
CN114347991A (zh) * 2022-02-07 2022-04-15 中国第一汽车股份有限公司 一种车辆的自动换道方法、装置、存储介质及车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180031384A1 (en) * 2016-07-28 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented road line detection and display system
CN111247525A (zh) * 2019-01-14 2020-06-05 深圳市大疆创新科技有限公司 一种车道检测方法、装置及车道检测设备、移动平台
CN112712717A (zh) * 2019-10-26 2021-04-27 华为技术有限公司 一种信息融合的方法和系统
CN111401446A (zh) * 2020-03-16 2020-07-10 重庆长安汽车股份有限公司 单传感器、多传感器车道线合理性检测方法、系统及车辆
CN114347991A (zh) * 2022-02-07 2022-04-15 中国第一汽车股份有限公司 一种车辆的自动换道方法、装置、存储介质及车辆

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471708A (zh) * 2022-09-27 2022-12-13 禾多科技（北京）有限公司 车道线类型信息生成方法、装置、设备和计算机可读介质
CN115471708B (zh) * 2022-09-27 2023-09-12 禾多科技（北京）有限公司 车道线类型信息生成方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
CN114926813B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
WO2022022694A1 (zh) 自动驾驶环境感知方法及系统
CN109813328B (zh) 一种驾驶路径规划方法、装置及车辆
CN110705458B (zh) 边界检测方法及装置
CN111009153B (zh) 一种轨迹预测模型的训练方法、装置和设备
CN110745140B (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN111742326A (zh) 车道线的检测方法、电子设备与存储介质
KR20180009755A (ko) 차선의 추정 방법
CN109583416B (zh) 伪车道线识别方法及系统
WO2020029706A1 (zh) 一种伪车道线剔除方法及装置
EP4425462A1 (en) Method and apparatus for predicting drivable lane
US20230060542A1 (en) Method and Apparatus for Evaluating Maps for Autonomous Driving and Vehicle
CN110751836A (zh) 车辆行驶预警方法及系统
CN112085843B (zh) 一种隧道类目标特征实时提取及测量方法和装置
US11420632B2 (en) Output device, control method, program and storage medium
CN114995398A (zh) 路径生成方法、装置、存储介质、处理器及电子装置
CN114926813B (zh) 车道线融合方法、装置、设备及存储介质
CN117612132A (zh) 鸟瞰视角bev俯视图的补全方法、装置和电子设备
JP2015170249A (ja) 安全確認判定装置、及び運転支援装置
CN113640810A (zh) 空间车位检测方法、设备、存储介质和程序产品
CN115497322B (zh) 一种窄路会车方法、装置、设备及存储介质
US20240265713A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
CN115379408A (zh) 基于场景感知的v2x多传感器融合方法及装置
CN115116029A (zh) 一种自动驾驶决策方法和装置
CN114037969A (zh) 基于雷达点云和图像融合的自动驾驶车道信息检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant