CN116994217A - 基于多源传感器的车道线检测方法及相关设备 - Google Patents

基于多源传感器的车道线检测方法及相关设备 Download PDF

Info

Publication number
CN116994217A
CN116994217A CN202310768886.3A CN202310768886A CN116994217A CN 116994217 A CN116994217 A CN 116994217A CN 202310768886 A CN202310768886 A CN 202310768886A CN 116994217 A CN116994217 A CN 116994217A
Authority
CN
China
Prior art keywords
lane line
line information
sensor
scene
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310768886.3A
Other languages
English (en)
Inventor
刘世高
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202310768886.3A priority Critical patent/CN116994217A/zh
Publication of CN116994217A publication Critical patent/CN116994217A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶技术领域，公开了一种基于多源传感器的车道线检测方法及相关设备。该方法包括：利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据多组车道线信息识别驾驶场景的场景类型，其中，车道线信息中包括多个车道线参数；根据各组车道线信息中的各个车道线参数，按照场景类型对应的融合策略计算各个传感器之间的相关性，并根据相关性，从各组车道线信息中筛选对应融合数量的目标数据；根据目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。本发明将两种算法按照不同的场景进行应用，扩展不同驾驶场景下的车道线检测，兼顾检测速度和精度，针对不同的驾驶场景类型进行快速检测方式的灵活变换。

Description

基于多源传感器的车道线检测方法及相关设备
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种基于多源传感器的车道线检测方法及相关设备。
背景技术
基于相机、激光雷达和高精地图的多源传感器系统，在驾驶过程中执行车道线检测时，如果使用单一传感器容易使得检测质量下降，而影响到车道线识别的可靠性。故现有车道线融合方式都是将基于视觉的车道线、基于激光雷达的车道线和来自高精地图的车道线，选择其中至少两种进行融合后输出，来提高了车道线的检测精度。
但是由于驾驶场景的复杂路况，可能存在如下各种问题：时间(白天、夜晚)、天气、道路等变化而导致的突然照明变化；当车道线着色、侵蚀或堵塞时，部分或全部被遮挡；由于雨雪等恶劣天气造成的视野模糊；由于存在其他类似特征，如护栏、路面标记、道路，导致车道检测不正确分隔线、车辆线、树影等；由于进入隧道等信号较差的道路容易丢失高精地图数据；现有的车道线检测方法难以兼顾到上述的各种复杂路况，无法针对不同的驾驶场景类型进行快速检测方式的灵活变换。
发明内容
本发明的主要目的在于解决现有车道线检测算法存在无法针对不同驾驶场景类型进行灵活变换快速检测方式的技术问题。
本发明第一方面提供了一种基于多源传感器的车道线检测方法，包括：利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据所述多组车道线信息识别所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据；根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。
可选的，在本发明第一方面的第一种实现方式中，所述根据所述多组车道线信息识别所述驾驶场景的场景类型包括：根据各组车道线信息中的各个车道线参数，确定各个传感器对应的各组车道线坐标，并计算每两组车道线坐标之间的全局相似距离；分别对比各个全局相似距离与预设第一相似距离阈值之间的大小，并根据对比的结果，确定各组车道线信息的有效性；基于所述有效性，确定所述驾驶场景的场景类型。
可选的，在本发明第一方面的第二种实现方式中，所述根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据包括：若所述驾驶场景为第一场景类型，则采用各组车道线信息中在预设数据分布下的各个车道线参数，分别构建各个传感器之间对应的误差距离矩阵；根据各个车道线参数对应的误差距离矩阵，按照预设误差距离阈值，构建各个传感器之间对应的关系矩阵；根据各个车道线参数对应的关系矩阵的数值，分别从各组车道线信息的各个车道线参数中筛选对应融合数量的目标数据。
可选的，在本发明第一方面的第三种实现方式中，所述根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息包括：根据所述目标数据以及每个车道线参数对应的融合数量，按照每个车道线参数对应的数据分布，对相同类型的车道线参数进行融合，得到最终的车道线信息，所述车道线参数包括车道线的位置坐标信息、曲率和坡度。
可选的，在本发明第一方面的第四种实现方式中，所述根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据包括：若所述驾驶场景为第二场景类型，则基于所述有效性确定各个传感器之间的相关性；各组车道线信息中筛选从有效的的车道线信息，得到对应融合数量的目标数据。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息包括：根据所述全局相似距离确定每个传感器对应的融合加权系数；根据所述融合加权系数，对所述目标数据中相同类型的车道线参数按照所属的传感器进行融合，得到最终的车道线信息。
可选的，在本发明第一方面的第六种实现方式中，所述多源传感器至少包括相机、雷达传感器和定位传感器，所述利用多源传感器分别识别驾驶场景中的多组车道线信息包括：利用多源传感器采集驾驶场景中的多组原始传感数据、以及获取所述多源传感器的预设帧数的各组历史车道线信息；提取所述相机对应的原始传感数据的车道线特征，并利用所述相机对应的历史车道线信息，对所述车道线特征进行补全，按照补全后的车道线特征识别所述驾驶场景中的第一组车道线信息；按照预设雷达反射条件对所述雷达传感器对应的原始传感数据进行滤波处理，并按照滤波结果构建点云图像，按照所述雷达传感器对应的历史车道线信息对所述点云图像进行拟合和匹配，得到所述驾驶场景中的第二组车道线信息；根据所述定位传感器对应的原始传感器，提取所述驾驶场景中的高精地图车道线信息，并作为第三组车道线信息。
本发明第二方面提供了一种基于多源传感器的车道线检测装置，包括：识别模块，用于利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据所述多组车道线信息识别所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；筛选模块，用于根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据；融合模块，用于根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。
可选的，在本发明第二方面的第一种实现方式中，所述识别模块包括：相似距离计算单元，用于根据各组车道线信息中的各个车道线参数，确定各个传感器对应的各组车道线坐标，并计算每两组车道线坐标之间的全局相似距离；场景确定单元，用于分别对比各个全局相似距离与预设第一相似距离阈值之间的大小，并根据对比的结果，确定各组车道线信息的有效性；基于所述有效性，确定所述驾驶场景的场景类型。
可选的，在本发明第二方面的第二种实现方式中，所述筛选模块包括局部筛选单元，用于：若所述驾驶场景为第一场景类型，则采用各组车道线信息中在预设数据分布下的各个车道线参数，分别构建各个传感器之间对应的误差距离矩阵；根据各个车道线参数对应的误差距离矩阵，按照预设误差距离阈值，构建各个传感器之间对应的关系矩阵；根据各个车道线参数对应的关系矩阵的数值，分别从各组车道线信息的各个车道线参数中筛选对应融合数量的目标数据。
可选的，在本发明第二方面的第三种实现方式中，所述融合模块还包括局部融合单元，用于：根据所述目标数据以及每个车道线参数对应的融合数量，按照每个车道线参数对应的数据分布，对相同类型的车道线参数进行融合，得到最终的车道线信息，所述车道线参数包括车道线的位置坐标信息、曲率和坡度。
可选的，在本发明第二方面的第四种实现方式中，所述筛选模块还包括全局筛选单元，用于：若所述驾驶场景为第二场景类型，则基于所述有效性确定各个传感器之间的相关性；各组车道线信息中筛选从有效的的车道线信息，得到对应融合数量的目标数据。
可选的，在本发明第二方面的第五种实现方式中，所述融合模块还包括全局融合单元，用于：根据所述全局相似距离确定每个传感器对应的融合加权系数；根据所述融合加权系数，对所述目标数据中相同类型的车道线参数按照所属的传感器进行融合，得到最终的车道线信息。
可选的，在本发明第二方面的第六种实现方式中，所述多源传感器至少包括相机、雷达传感器和定位传感器，所述识别模块还包括：采集单元，用于利用多源传感器采集驾驶场景中的多组原始传感数据、以及获取所述多源传感器的预设帧数的各组历史车道线信息；相机识别单元，用于提取所述相机对应的原始传感数据的车道线特征，并利用所述相机对应的历史车道线信息，对所述车道线特征进行补全，按照补全后的车道线特征识别所述驾驶场景中的第一组车道线信息；雷达识别单元，用于按照预设雷达反射条件对所述雷达传感器对应的原始传感数据进行滤波处理，并按照滤波结果构建点云图像，按照所述雷达传感器对应的历史车道线信息对所述点云图像进行拟合和匹配，得到所述驾驶场景中的第二组车道线信息；地图识别单元，用于根据所述定位传感器对应的原始传感器，提取所述驾驶场景中的高精地图车道线信息，并作为第三组车道线信息。
本发明第三方面提供了一种基于多源传感器的车道线检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于多源传感器的车道线检测设备执行上述的基于多源传感器的车道线检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于多源传感器的车道线检测方法。
本发明提供的技术方案中，将两种算法按照不同的场景进行应用，扩展不同驾驶场景下的车道线检测，兼顾检测速度和精度。从全局上检测是否存在至少一个传感器不可用，然后决定采用全局的加权融合方式，还是局部的贝叶斯融合方式。针对不同的驾驶场景类型进行快速检测方式的灵活变换。
附图说明
图1为本发明实施例中基于多源传感器的车道线检测方法的一个实施例示意图；
图2为本发明实施例中基于多源传感器的车道线检测方法的另一个实施例示意图；
图3为本发明实施例中基于多源传感器的车道线检测装置的一个实施例示意图；
图4为本发明实施例中基于多源传感器的车道线检测装置的另一个实施例示意图；
图5为本发明实施例中基于多源传感器的车道线检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于多源传感器的车道线检测方法及相关设备，利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据多组车道线信息识别驾驶场景的场景类型，其中，车道线信息中包括多个车道线参数；根据各组车道线信息中的各个车道线参数，按照场景类型对应的融合策略计算各个传感器之间的相关性，并根据相关性，从各组车道线信息中筛选对应融合数量的目标数据；根据目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。本发明将两种算法按照不同的场景进行应用，扩展不同驾驶场景下的车道线检测，兼顾检测速度和精度，针对不同的驾驶场景类型进行快速检测方式的灵活变换。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于多源传感器的车道线检测方法的第一个实施例包括：
101、利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据所述多组车道线信息识别所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；
可以理解的是，本发明的执行主体可以为基于多源传感器的车道线检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，多源传感器指的是在车辆在驾驶过程中，用于感知环境的传感器，包括视觉类传感器、雷达类测距传感器和定位传感器等，视觉类传感器可以包括：单目立体视觉、双目立体视觉、全景视觉及红外相机等，雷达类测距传感器包括：激光雷达、毫米波雷达、超声波雷达等；此处多源传感器至少包括如视觉类传感器、雷达类测距传感器和定位传感器等不同探测类型的传感器中，至少两种探测类型的传感器的组合，以融合不同探测优势的传感器来识别车道线信息。其中，多源传感器中至少包括定位传感器，如GPS传感器。
其中，每种探测类型的传感器在驾驶车辆上设置的数量为一个或者多个，比如针对视觉类传感器，可以在如驾驶车辆前端设置一个或多个摄像头，根据视角大小，按照平行于路面或者以预设俯视角度进行设置，还可以在驾驶车辆的预设分段位置的两端分别设置一个或多个摄像头，预设分段位置包括如车体前段位置、中段位置或者后段位置(可以按照车体三等分或者其他预设比例进行分段)。一个或多个摄像头最终的单张图像或者组合多张图像，其拍摄内容至少包括在驾驶车辆行进方向的当前车道的车道线，还可以包括驾驶车辆车体前端部分区域、隔壁车道线、和/或驾驶场景中的其他驾驶车辆等。
具体的，多源传感器中每组相同探测类型的传感器，分别识别驾驶场景中的一组车道线信息。针对雷达类探距传感器，辅助驾驶控制器接收如激光雷达的发射信号，根据激光雷达的反射波长和反射强度，过滤出车道线点云，再将车道线点云进行拟合得到最终的车道线信息；示例的，车道线对激光雷达发射信号的回波强度为12Hz-30Hz，对沥青和混凝土类道路对激光雷达发射信号的回波强度为5Hz-8Hz，车辆、路灯、路牌等金属类对激光雷达发射信号的回波强度为45Hz-150Hz，按照回波强度为12Hz-30Hz的接收信号进行滤波处理，根据处理结果生成车道线点云。针对视觉类传感器，通过辅助驾驶控制器接收相机的图像信息，利用深度学习模型从图像信息中提取车道线的特征信息，根据特征信息提取出车道线信息，最后执行车道线拟合得到车道线信息。
其中，车道线信息可以包括车道线的三维空间信息、曲率信息、和/或坡度信息等车道线参数。至少基于定位传感器的的车道线信息，得到高精地图数据，基于高精地图数据识别驾驶场景的类型，比如包括容易丢失高精地图数据的无信号/弱信号驾驶场景和正常信号驾驶场景。
102、根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据；
本实施例中，在不同的场景类型下，预设对应的融合策略来计算每组不同探测类型的传感器之间的相关性和执行目标数据的筛选。其中融合策略的设置标准至少包括驾驶场景的场景类型，对应的设置内容包括每个车道线参数分别独立进行相关性计算和目标数据的筛选，和/或全部车道线参数作为一个整体进行相关性计算和目标数据的筛选。
其中，多源传感器的每组车道线信息中的各个车道线参数，如激光雷达探测得到的车道线参数(X1，Y1，C1，S1，)，相机识别得到的车道线参数(X2，Y2，C2，S2，)，GPS传感器定位得到的高精地图的车道线参数(X2，Y3，C3，S3，)，分别表示车道线的X坐标，Y坐标，C曲率和S坡度。基于每组车道线信息中的各个车道线参数，按照探测类型计算每两组传感器之间的相关性，基于相关性来确定正确的车道线信息和存在异常的车道线信息，基于确定的结果，得到对应的车道线信息的融合数量，筛选对应的车道线信息作为目标数据。
示例性的，场景类型为无信号/弱信号驾驶场景，此时可以确定定位传感器输出的车道线信息不可信，在一种方式中可以直接剔除，减少相关性的计算和目标数据的筛选的计算资料消耗；场景类型为正常信号驾驶场景，确定定位传感器输出的车道线信息可信，以此作为筛选基准计算与其他探测类型的传感器之间的相关性，以确定其他探测类型的传感器探测的车道线信息的可信度，筛选目标数据
103、根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。
本实施例中，在筛选得到目标数据之后，基于每种探测类型传感器筛选得到的目标数据所处的位置坐标，对相同位置坐标且相同类型的车道线参数进行融合；其中，基于不同场景类型选取的融合策略，对对应的车道线参数进行融合。
示例性的，针对无信号/弱信号驾驶场景，将全部车道线参数作为一个整体，按照预设相关性对车道线信息中每个位置坐标上的车道线参数进行加权处理，得到最终的车道线信息。针对正常信号驾驶场景，分别对目标数据中，每个单独的相同类型的车道线参数，按照所处相同坐标位置，分别执行融合，得到最终的车道线信息。
本发明实施例中，将两种算法按照不同的场景进行应用，扩展不同驾驶场景下的车道线检测，兼顾检测速度和精度。从全局上检测是否存在至少一个传感器不可用，然后决定采用全局的加权融合方式，还是局部的贝叶斯融合方式。针对不同的驾驶场景类型进行快速检测方式的灵活变换。
请参阅图2，本发明实施例中基于多源传感器的车道线检测方法的另一个实施例包括：
201、利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据各组车道线信息中的各个车道线参数，确定各个传感器对应的各组车道线坐标，并计算每两组车道线坐标之间的全局相似距离；
本实施例中，所述多源传感器至少包括相机、雷达传感器和定位传感器，所述利用多源传感器分别识别驾驶场景中的多组车道线信息包括：利用多源传感器采集驾驶场景中的多组原始传感数据、以及获取多源传感器的预设帧数的各组历史车道线信息；提取相机对应的原始传感数据的车道线特征，并利用相机对应的历史车道线信息，对车道线特征进行补全，按照补全后的车道线特征识别驾驶场景中的第一组车道线信息；按照预设雷达反射条件对雷达传感器对应的原始传感数据进行滤波处理，并按照滤波结果构建点云图像，按照雷达传感器对应的历史车道线信息对点云图像进行拟合和匹配，得到驾驶场景中的第二组车道线信息；根据定位传感器对应的原始传感器，提取驾驶场景中的高精地图车道线信息，并作为第三组车道线信息。
本实施例中，将各组车道线信息中的车道线参数作为一个整体，比如确定前述三种探测类型的各组传感器中，是否存在至少一组传感器发生异常，通过车道线参数可以直接得到车道线坐标，计算每两组车道线坐标之间的全局相似距离，在两组传感器均未发生异常的情况下，则探测得到的两组车道线坐标应该为相同、或者基于环境或者其他因素影响导致的误差，至少两者之间的相似度应该较高(预设相似度)；反之则两组传感器中，至少存在一组传感器是异常的。
202、分别对比各个全局相似距离与预设第一相似距离阈值之间的大小，并根据对比的结果，确定各组车道线信息的有效性；
203、基于所述有效性，确定所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；
本实施例中，根据各个全局相似距离(即前述的相似度)，与预设的第一相似距离阈值比较，对于低于第一相似距离阈值的情况，则确定两组车道线信息的相似度较低，则确定至少存在一组车道线信息是无效的；对于高于第一相似距离阈值的情况，则确定两组车道线信息的相似度较高，则认为两者车道线信息是有效的。
本实施例中，针对存在至少一组车道线信息时无效的情况，则确定驾驶场景的场景类型为无信号/弱信号驾驶场景，或者还可以为如天气、时间不同、车道线着色等由于视觉上导致视觉类传感器发生检测精度下降的驾驶场景，或者还可以为车道线遮挡、护栏、路面标记等由于信号回传异常导致探距类传感器发生检测精度下降的驾驶场景(第二场景类型)；针对存在全部组别的车道线信息均为有效，则确定驾驶场景的场景类型为正常驾驶场景(第一场景类型)。
具体的，比如激光雷达测量数据的车道线参数为(ai1,ai2,ai3,ai4),相机探测数据的车道线参数为(bi1,bi2,bi3,bi4)，高精地图数据的车道线参数为(ci1,ci2,ci3,ci4)，分别表示第i个点的车道线的X坐标，Y坐标，曲率和坡度。I为正整数。示例性的，计算每两组车道线参数之间的平方差：
比如，若A小于预设差值，则表示激光雷达测量数据和相机探测数据均有效，若A大于预设差值，则表示激光雷达测量数据和相机探测数据至少存在一个是无效，以此类推。
204、若所述驾驶场景为第一场景类型，则采用各组车道线信息中在预设数据分布下的各个车道线参数，分别构建各个传感器之间对应的误差距离矩阵；
205、根据各个车道线参数对应的误差距离矩阵，按照预设误差距离阈值，构建各个传感器之间对应的关系矩阵；
206、根据各个车道线参数对应的关系矩阵的数值，分别从各组车道线信息的各个车道线参数中筛选对应融合数量的目标数据；
本实施例中，假设各组车道线参数，如包括相机测量数据，激光雷达测量数据和高精地图数据满足正态分布，则以其中的车道线X坐标为例，即车道线X坐标为X～N(μ0，σ2)，测量数据k＝1，2，3。K＝1，表示相机测量数据；K＝2，表示激光雷达测量数据；K＝3，表示高精地图数据。
具体的，计算3个传感器的置信距离作为误差距离：其中，则置信距离dij(如i，j＝1，2，3)会构成一个置信距离矩阵作为误差距离矩阵：/>然后基于预设置信距离阈值∈作为预设误差距离阈值，基于构建得到对应的关系矩阵：/> 最终基于关系矩阵，进行目标数据的筛选，选择最佳融合数量m，对应得到目标数据为A＝(A1，A2，……，Am)。
207、根据所述目标数据以及每个车道线参数对应的融合数量，按照每个车道线参数对应的数据分布，对相同类型的车道线参数进行融合，得到最终的车道线信息，所述车道线参数包括车道线的位置坐标信息、曲率和坡度。
本实施例中，基于车道线参数对应的融合数量和数据分布，融合后的车道线X坐标同理，可以得到车道线的Y坐标，曲率和坡度的贝叶斯融合值。
本实施例中，若所述驾驶场景为第二场景类型，则所述根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据包括：基于所述有效性确定各个传感器之间的相关性；各组车道线信息中筛选从有效的的车道线信息，得到对应融合数量的目标数据。
具体的，针对第二场景类型的驾驶场景，则基于前面计算得到的各传感器之间的有效性，如两者的车道线信息均为有效，则确定两组传感器为相关，反之为不相关，选取相关的，或者不相关的车道线信息中的其中一组车道线信息，同时统计选取车道线信息的组别数量，得到对应的融合数量以及目标数据。
在一种实施方式中，所述根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息包括：根据所述全局相似距离确定每个传感器对应的融合加权系数；根据所述融合加权系数，对所述目标数据中相同类型的车道线参数按照所属的传感器进行融合，得到最终的车道线信息。
具体的，基于筛选得到的目标数据，计算融合后的车道线信息di＝(Ji*(ai1,ai2,ai3,ai4)+Ki(bi1,bi2,bi3,bi4)+Li(ci1,ci2,ci3,ci4))/(Ji+Ki+Li)。其中，Ji,ki,Li为加权系数，值域为(0，1)；当上述平方差为无效时，加权系数为0；当平方差的值越小时，加权系数越大。
上面对本发明实施例中基于多源传感器的车道线检测方法进行了描述，下面对本发明实施例中基于多源传感器的车道线检测装置进行描述，请参阅图3，本发明实施例中基于多源传感器的车道线检测装置一个实施例包括：
识别模块301，用于利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据所述多组车道线信息识别所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；
筛选模块302，用于根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据；
融合模块303，用于根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。
本发明实施例中，将两种算法按照不同的场景进行应用，扩展不同驾驶场景下的车道线检测，兼顾检测速度和精度。从全局上检测是否存在至少一个传感器不可用，然后决定采用全局的加权融合方式，还是局部的贝叶斯融合方式。针对不同的驾驶场景类型进行快速检测方式的灵活变换。
请参阅图4，本发明实施例中基于多源传感器的车道线检测装置的另一个实施例包括：
识别模块301，用于利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据所述多组车道线信息识别所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；
筛选模块302，用于根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据；
融合模块303，用于根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。
具体的，所述识别模块301包括：
相似距离计算单元3011，用于根据各组车道线信息中的各个车道线参数，确定各个传感器对应的各组车道线坐标，并计算每两组车道线坐标之间的全局相似距离；
场景确定单元3012，用于分别对比各个全局相似距离与预设第一相似距离阈值之间的大小，并根据对比的结果，确定各组车道线信息的有效性；基于所述有效性，确定所述驾驶场景的场景类型。
具体的，所述筛选模块302包括局部筛选单元3021，用于：
若所述驾驶场景为第一场景类型，则采用各组车道线信息中在预设数据分布下的各个车道线参数，分别构建各个传感器之间对应的误差距离矩阵；
根据各个车道线参数对应的误差距离矩阵，按照预设误差距离阈值，构建各个传感器之间对应的关系矩阵；
根据各个车道线参数对应的关系矩阵的数值，分别从各组车道线信息的各个车道线参数中筛选对应融合数量的目标数据。
具体的，所述融合模块303包括局部融合单元3031，用于：
根据所述目标数据以及每个车道线参数对应的融合数量，按照每个车道线参数对应的数据分布，对相同类型的车道线参数进行融合，得到最终的车道线信息，所述车道线参数包括车道线的位置坐标信息、曲率和坡度。
可选的，在本发明第一方面的第四种实现方式中，所述筛选模块302还包括全局筛选单元3022，用于：
若所述驾驶场景为第二场景类型，则基于所述有效性确定各个传感器之间的相关性；
各组车道线信息中筛选从有效的的车道线信息，得到对应融合数量的目标数据。
具体的，所述融合模块303还包括全局融合单元3032，用于：
根据所述全局相似距离确定每个传感器对应的融合加权系数；
根据所述融合加权系数，对所述目标数据中相同类型的车道线参数按照所属的传感器进行融合，得到最终的车道线信息。
具体的，所述多源传感器至少包括相机、雷达传感器和定位传感器，所述识别模块301还包括：
采集单元3013，用于利用多源传感器采集驾驶场景中的多组原始传感数据、以及获取所述多源传感器的预设帧数的各组历史车道线信息；
相机识别单元3014，用于提取所述相机对应的原始传感数据的车道线特征，并利用所述相机对应的历史车道线信息，对所述车道线特征进行补全，按照补全后的车道线特征识别所述驾驶场景中的第一组车道线信息；
雷达识别单元3015，用于按照预设雷达反射条件对所述雷达传感器对应的原始传感数据进行滤波处理，并按照滤波结果构建点云图像，按照所述雷达传感器对应的历史车道线信息对所述点云图像进行拟合和匹配，得到所述驾驶场景中的第二组车道线信息；
地图识别单元3016，用于根据所述定位传感器对应的原始传感器，提取所述驾驶场景中的高精地图车道线信息，并作为第三组车道线信息。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于多源传感器的车道线检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于多源传感器的车道线检测设备进行详细描述。
图5是本发明实施例提供的一种基于多源传感器的车道线检测设备的结构示意图，该基于多源传感器的车道线检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于多源传感器的车道线检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于多源传感器的车道线检测设备500上执行存储介质530中的一系列指令操作。
基于多源传感器的车道线检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于多源传感器的车道线检测设备结构并不构成对基于多源传感器的车道线检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于多源传感器的车道线检测设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于多源传感器的车道线检测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于多源传感器的车道线检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多源传感器的车道线检测方法，其特征在于，所述基于多源传感器的车道线检测方法包括：
利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据所述多组车道线信息识别所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；
根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据；
根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。
2.根据权利要求1所述的基于多源传感器的车道线检测方法，其特征在于，所述根据所述多组车道线信息识别所述驾驶场景的场景类型包括：
根据各组车道线信息中的各个车道线参数，确定各个传感器对应的各组车道线坐标，并计算每两组车道线坐标之间的全局相似距离；
分别对比各个全局相似距离与预设第一相似距离阈值之间的大小，并根据对比的结果，确定各组车道线信息的有效性；
基于所述有效性，确定所述驾驶场景的场景类型。
3.根据权利要求2所述的基于多源传感器的车道线检测方法，其特征在于，所述根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据包括：
若所述驾驶场景为第一场景类型，则采用各组车道线信息中在预设数据分布下的各个车道线参数，分别构建各个传感器之间对应的误差距离矩阵；
根据各个车道线参数对应的误差距离矩阵，按照预设误差距离阈值，构建各个传感器之间对应的关系矩阵；
根据各个车道线参数对应的关系矩阵的数值，分别从各组车道线信息的各个车道线参数中筛选对应融合数量的目标数据。
4.根据权利要求3所述的基于多源传感器的车道线检测方法，其特征在于，所述根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息包括：
根据所述目标数据以及每个车道线参数对应的融合数量，按照每个车道线参数对应的数据分布，对相同类型的车道线参数进行融合，得到最终的车道线信息，所述车道线参数包括车道线的位置坐标信息、曲率和坡度。
5.根据权利要求2所述的基于多源传感器的车道线检测方法，其特征在于，所述根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据包括：
若所述驾驶场景为第二场景类型，则基于所述有效性确定各个传感器之间的相关性；
各组车道线信息中筛选从有效的的车道线信息，得到对应融合数量的目标数据。
6.根据权利要求5所述的基于多源传感器的车道线检测方法，其特征在于，所述根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息包括：
根据所述全局相似距离确定每个传感器对应的融合加权系数；
根据所述融合加权系数，对所述目标数据中相同类型的车道线参数按照所属的传感器进行融合，得到最终的车道线信息。
7.根据权利要求1所述的基于多源传感器的车道线检测方法，其特征在于，所述多源传感器至少包括相机、雷达传感器和定位传感器，所述利用多源传感器分别识别驾驶场景中的多组车道线信息包括：
利用多源传感器采集驾驶场景中的多组原始传感数据、以及获取所述多源传感器的预设帧数的各组历史车道线信息；
提取所述相机对应的原始传感数据的车道线特征，并利用所述相机对应的历史车道线信息，对所述车道线特征进行补全，按照补全后的车道线特征识别所述驾驶场景中的第一组车道线信息；
按照预设雷达反射条件对所述雷达传感器对应的原始传感数据进行滤波处理，并按照滤波结果构建点云图像，按照所述雷达传感器对应的历史车道线信息对所述点云图像进行拟合和匹配，得到所述驾驶场景中的第二组车道线信息；
根据所述定位传感器对应的原始传感器，提取所述驾驶场景中的高精地图车道线信息，并作为第三组车道线信息。
8.一种基于多源传感器的车道线检测装置，其特征在于，所述基于多源传感器的车道线检测装置包括：
识别模块，用于利用多源传感器分别识别驾驶场景中的多组车道线信息，并根据所述多组车道线信息识别所述驾驶场景的场景类型，其中，所述车道线信息中包括多个车道线参数；
筛选模块，用于根据各组车道线信息中的各个车道线参数，按照所述场景类型对应的融合策略计算各个传感器之间的相关性，并根据所述相关性，从各组车道线信息中筛选对应融合数量的目标数据；
融合模块，用于根据所述目标数据，分别对相同类型的车道线参数进行融合，得到最终的车道线信息。
9.一种基于多源传感器的车道线检测设备，其特征在于，所述基于多源传感器的车道线检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于多源传感器的车道线检测设备执行如权利要求1-7中任意一项所述的基于多源传感器的车道线检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任意一项所述基于多源传感器的车道线检测方法的步骤。
CN202310768886.3A 2023-06-27 2023-06-27 基于多源传感器的车道线检测方法及相关设备 Pending CN116994217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310768886.3A CN116994217A (zh) 2023-06-27 2023-06-27 基于多源传感器的车道线检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310768886.3A CN116994217A (zh) 2023-06-27 2023-06-27 基于多源传感器的车道线检测方法及相关设备

Publications (1)

Publication Number Publication Date
CN116994217A true CN116994217A (zh) 2023-11-03

Family

ID=88522182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310768886.3A Pending CN116994217A (zh) 2023-06-27 2023-06-27 基于多源传感器的车道线检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN116994217A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117433512A (zh) * 2023-12-20 2024-01-23 福龙马城服机器人科技有限公司 一种针对道路清扫车的低成本车道线实时定位与建图方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117433512A (zh) * 2023-12-20 2024-01-23 福龙马城服机器人科技有限公司 一种针对道路清扫车的低成本车道线实时定位与建图方法
CN117433512B (zh) * 2023-12-20 2024-03-08 福龙马城服机器人科技有限公司 一种针对道路清扫车的低成本车道线实时定位与建图方法

Similar Documents

Publication Publication Date Title
US20220326350A1 (en) Multisensor data fusion method and apparatus to obtain static and dynamic environment fratures
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN113034960B (zh) 用于更新精密路线地图的对象变化检测系统及其方法
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
US11100806B2 (en) Multi-spectral system for providing precollision alerts
US9779315B2 (en) Traffic signal recognition apparatus and traffic signal recognition method
WO2003001473A1 (en) Vision-based collision threat detection system_
CN102542843A (zh) 防止车辆碰撞的预警方法及装置
WO2019230123A1 (ja) 検知装置及び検知システム
CN116994217A (zh) 基于多源传感器的车道线检测方法及相关设备
CN112740225A (zh) 一种路面要素确定方法及装置
JP2006012178A (ja) 駐車車両検知方法及び駐車車両検知システム
CN112053559A (zh) 一种高速公路安全态势评估方法及评估系统
US11900691B2 (en) Method for evaluating sensor data, including expanded object recognition
Labayrade et al. Robust and fast stereovision based obstacles detection for driving safety assistance
US11485373B2 (en) Method for a position determination of a vehicle, control unit, and vehicle
US11487293B2 (en) Map-information obstacle-tracking system and method
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN111612818A (zh) 新型双目视觉多目标跟踪方法及系统
CN110539748A (zh) 基于环视的拥堵跟车系统和终端
CN115116034A (zh) 一种夜间行人检测方法、装置及系统
CN113469045B (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
von Trzebiatowski et al. Detecting reflection posts-lane recognition on country roads
Mandai et al. Real time vision based overtaking assistance system for drivers at night on two-lane single carriageway
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination