CN115546744A - 使用dbscan进行车道检测 - Google Patents

使用dbscan进行车道检测 Download PDF

Info

Publication number
CN115546744A
CN115546744A CN202210499589.9A CN202210499589A CN115546744A CN 115546744 A CN115546744 A CN 115546744A CN 202210499589 A CN202210499589 A CN 202210499589A CN 115546744 A CN115546744 A CN 115546744A
Authority
CN
China
Prior art keywords
input image
data points
image
density
hcnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210499589.9A
Other languages
English (en)
Inventor
I·F·G·曼苏尔
A·尤马特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dus Operation Co ltd
Original Assignee
Dus Operation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dus Operation Co ltd filed Critical Dus Operation Co ltd
Publication of CN115546744A publication Critical patent/CN115546744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种使用基于密度的噪声应用空间聚类(DBSCAN)进行车道检测的系统和方法，包括利用设置在机动车辆上的一个或多个光学传感器捕获输入图像。该方法还包括使输入图像通过异构卷积神经网络(HCNN)。HCNN产生HCNN输出。该方法还包括利用DBSCAN处理HCNN输出，以在HCNN输出中选择性地分类出离群数据点和集群数据点。该方法还包括产生选择性地将集群数据点定义为输入图像中的预测的车道线的DBSCAN输出。该方法还包括通过在输入图像上叠加预测的车道线来标记输入图像。

Description

使用DBSCAN进行车道检测
技术领域
本公开涉及一种使用神经网络预测路面上各种车道线类型的系统和方法。
背景技术
本部分中的陈述仅提供与本公开相关的背景信息，可能构成或可能不构成现有技术。
车辆技术，如基于网格导航的自由测距及停车引导和信息系统，有助于防止驾驶员驾驶车辆时发生人为操作失误。此类技术已被用于改善道路导航，并提升车辆驾驶员在车内时其停车技能。例如，已开发出车载检测系统和碰撞警报系统协助车辆操作人员操纵车辆，以避免发生碰撞。典型的车载检测系统利用机器视觉来确定或预测车辆的周围环境。检测系统通常依靠照相机和/或其他光学传感器来预测车道线、车道类型，以辅助车辆的自动驾驶系统。更具体地，检测系统为自动驾驶系统和高级驾驶员辅助系统(ADAS)提供数据，以自动检测并避开障碍物，或者协助机动车辆操作人员在驾驶时检测并避开障碍物，避免碰撞。一些自动驾驶系统甚至已适应于在车辆操作人员将车辆定位到停车位附近的预定义位置后，自动将车辆停放在停车位上。
虽然这些系统和方法对实现其预期目的是有用的，但典型的检测系统会受到天气、碎片等引起的光学干扰的影响。因此，本领域需要一种能稳健地预测车道线和车道类型的新的改进的车辆技术。
发明内容
根据本公开的若干方面，一种使用基于密度的噪声应用空间聚类(DBSCAN)进行车道检测的方法，包括利用设置在机动车辆上的一个或多个光学传感器捕获输入图像。该方法还包括使输入图像通过异构卷积神经网络(HCNN)。HCNN产生HCNN输出。该方法还包括利用DBSCAN处理HCNN输出，以在HCNN输出中选择性地分类出离群数据点和集群数据点。该方法还包括产生选择性地将集群数据点定义为输入图像中的预测的车道线的DBSCAN输出。该方法还包括通过在输入图像上叠加预测的车道线来标记输入图像。
在本公开的另一方面，捕获输入图像还包括利用设置在机动车辆上的多个相机来捕获输入图像。多个相机具有在机动车辆前方延伸预定距离并且从机动车辆的左侧向机动车辆的右侧延伸至少180°的视场。
在本公开的又一方面，使输入图像通过HCNN还包括在HCNN的特征提取层(FEL)部分中直接接收输入图像。HCNN具有彼此堆叠在一起的多个卷积层、池化层和激活层。该方法还包括利用包括阈值分割算法部分和变换算法部分的算法来分析FEL部分中的输入图像。
在本公开的又一方面，分析FEL部分中的输入图像还包括，为输入图像中的不同的预测的车道线相关的数据点分配不同颜色，聚类FEL部分的输出以识别集群数据点，并标记预测的车道线。
在本公开的又一方面，分析FEL部分中的输入图像还包括在FEL部分中接收全尺寸输入图像，并且将全尺寸图像裁剪为预定尺寸。
在本公开的又一方面，阈值分割算法部分还包括利用Canny边缘检测，通过FEL部分，产生包括在输入图像中检测到的边缘的二值图像。二值图像准确地捕获图像中尽可能多的边缘。检测到的边缘准确定位在每个边缘的中心；并且其中图像中的每个边缘在图像中仅被标记一次。
在本公开的又一方面，变换算法部分还包括利用霍夫变换通过FEL部分，计算输入图像中检测到的线段的端点。这些线段定义输入图像中可能的车道线的至少一些部分。
在本公开的又一方面，通过HCNN处理输入图像还包括检测并预测输入图像中的车道线位置，其中由集群数据点来定义预测的车道线位置。
在本公开的又一方面，产生DBSCAN输出还包括确定数据点之间的距离是否小于阈值距离，并确定数据点的密度是否高于阈值密度。数据点的密度是预定半径距离内的数据点的数量。当距离小于阈值距离并且数据点的密度高于阈值密度时，该方法将数据点定义为预测的车道线。当距离大于阈值距离或数据点的密度低于阈值密度时，该方法将数据点定义为离群数据点。
在本公开的又一方面，标记输入图像还包括将数据点之间的距离小于阈值距离且密度高于阈值密度的数据点集群叠加到输入图像上。标记输入图像还包括将数据点集群进行颜色编码，以使标记在输入图像上的每条预测的车道线分配有一个不同于其他预测的车道线的颜色。
在本公开的又一方面，一种用于使用基于密度的噪声应用空间聚类(DBSCAN)进行车道检测的系统，包括一个或多个光学传感器。该一个或多个光学传感器设置在机动车辆上，并捕获输入图像。该系统还包括控制模块，该控制模块具有处理器、存储器和输入/输出端口，输入/输出端口与一个或多个光学传感器进行电子通信并且接收输入图像，存储器存储计算机可执行控制逻辑部分，计算机可执行控制逻辑部分包括异构卷积神经网络(HCNN)。控制模块执行用于使输入图像通过HCNN的第一控制逻辑部分。HCNN产生HCNN输出。控制模块执行第二控制逻辑部分，用于利用DBSCAN处理HCNN输出并在HCNN输出中选择性地分类出离群数据点和集群数据点。第二控制逻辑部分检测和预测输入图像中的车道线位置。由集群数据点定义预测的车道线位置。控制模块执行用于产生DBSCAN输出的第三控制逻辑部分，DBSCAN输出选择性地将集群数据点定义为输入图像中的预测的车道线。控制模块执行第四控制逻辑部分，用于通过在输入图像上叠加预测的车道线来标记输入图像。
在本公开的又一方面，一个或多个光学传感器是设置在机动车辆上的多个相机。多个相机具有在机动车辆前方延伸预定距离并从机动车辆的左侧向机动车辆的右侧延伸至少180°的视场。
在本公开的又一方面，第一控制逻辑部分还包括用于在HCNN的特征提取层(FEL)部分中直接接收输入图像的计算机可执行程序代码，HCNN具有彼此堆叠在一起的多个卷积层、池化层和激活层。第一控制逻辑部分还利用包括阈值分割算法部分和变换算法部分的算法来分析FEL部分中的输入图像。
在本公开的又一方面，用于分析FEL部分中的输入图像的计算机可执行程序代码还包括用于为与输入图像中的不同预测的车道线相关的数据点分配不同颜色、聚类FEL部分的输出以识别集群数据点，并标记预测的车道线的逻辑。
在本公开的又一方面，用于分析FEL部分中的输入图像的计算机可执行程序代码还包括用于在FEL部分中接收全尺寸输入图像并将全尺寸图像裁剪为预定尺寸的逻辑。
在本公开的又一方面，阈值分割算法部分还包括用于利用Canny边缘检测，通过FEL部分，产生包括在输入图像中检测到的边缘的二值图像的计算机可执行程序代码。二值图像准确地捕获图像中尽可能多的边缘；检测到的边缘准确定位在每个边缘的中心；并且其中图像中的每个边缘在图像中仅被标记一次。
在本公开的又一方面，变换算法部分还包括用于利用霍夫变换通过FEL部分计算输入图像中检测到的线段的端点的计算机可执行程序代码。这些线段定义输入图像中的可能的车道线的至少一些部分。
在本公开的又一方面，第三控制逻辑部分还包括用于确定数据点之间的距离是否小于阈值距离的计算机可执行程序代码。第三控制逻辑部分还确定数据点的密度是否高于阈值密度。数据点的密度是预定半径距离内的数据点的数量。当距离小于阈值距离并且数据点的密度高于阈值密度时，第三控制逻辑将数据点定义为预测的车道线，并且当距离大于阈值距离或数据点的密度低于阈值密度时，第三控制逻辑将数据点定义为离群数据点。
在本公开的又一方面，第四控制逻辑部分还包括用于将数据点之间的距离小于阈值距离且密度高于阈值密度的数据点集群叠加到输入图像上的计算机可执行程序代码。第四控制逻辑还将数据点集群进行颜色编码，以使标记在输入图像上的每条预测的车道线分配有一个不同于其他预测的车道线的颜色。
在本公开的又一方面，一种使用基于密度的噪声应用空间聚类(DBSCAN)进行车道检测的方法，包括利用设置在机动车辆上的多个相机捕获输入图像，多个相机具有在机动车辆前方延伸预定距离并从机动车辆的左侧向机动车辆的右侧延伸至少180°的视场。该方法还包括使输入图像通过异构卷积神经网络(HCNN)。HCNN通过在HCNN的特征提取层(FEL)部分中直接接收全尺寸输入图像来产生HCNN输出，HCNN具有彼此堆叠在一起的多个卷积层、池化层和激活层；并且HCNN通过将全尺寸输入图像裁剪为预定尺寸来产生裁剪后的图像，预定尺寸包括全尺寸输入图像的包括路面的部分。该方法还包括利用包括阈值分割算法部分和变换算法部分的算法来分析FEL部分中的裁剪后的图像。阈值分割算法部分利用Canny边缘检测，通过FEL部分产生包括在裁剪后的图像中检测到的边缘的二值图像。二值图像准确地捕获裁剪后的图像中尽可能多的边缘；检测到的边缘准确地定位在每个边缘的中心；并且其中图像中的每个边缘在裁剪后的图像中仅被标记一次。变换算法部分利用霍夫变换通过FEL部分计算裁剪后的图像中检测到的线段的端点，其中这些线段定义裁剪后的图像中的可能的车道线的至少一些部分。该方法还包括为与裁剪后的图像中的预测的不同车道线相关的数据点分配不同颜色，聚类FEL部分的输出以识别集群数据点，并标记预测的车道线。该方法还包括利用DBSCAN处理HCNN输出，以在HCNN输出中选择性地分类出离群数据点和集群数据点。DBSCAN检测并预测输入图像中的车道线位置，使得预测的车道线位置由集群数据点来定义。该方法还包括确定数据点之间的距离是否小于阈值距离，并确定数据点的密度是否高于阈值密度。数据点的密度是数据点的预定半径距离内的数据点的数量。当距离小于阈值距离并且数据点的密度高于阈值密度时，该方法将数据点定义为预测的车道线，并且当距离大于阈值距离或数据点的密度低于阈值密度时，该方法将数据点定义为离群数据点。该方法还包括将数据点集群进行颜色编码，以使标记在输入图像上的每条预测的车道线分配有一个不同于其他预测的车道线的颜色。该方法还包括产生选择性地将集群数据点定义为全尺寸输入图像中的预测的车道线的DBSCAN输出，并且通过在全尺寸输入图像上叠加定义预测的车道线的数据点集群来标记全尺寸输入图像。
根据本文提供的描述中，进一步的适用领域将变得显而易见。应理解，说明书和具体示例仅用于说明目的，并不旨在限制本公开的范围。
附图说明
本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。
图1是根据本公开的实施例的利用基于密度的噪声应用空间聚类(DBSCAN)来预测车辆附近的车道线位置的车辆的示意图；
图2是根据本公开的实施例的用于预测车道线位置的一系列程序步骤的示意图；以及
图3是根据本公开的实施例的用于利用DBSCAN来预测车道线位置的方法的流程图。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或用途。
参考图1，示出了使用DBSCAN来执行车道检测的系统10。在一个示例中，系统10在车辆12上运行。车辆12示为载客车辆，然而，在不脱离本公开的范围或意图的情况下，车辆12可是卡车、运动型多功能车、货车、房车或任何其他类型的道路交通工具、水上交通工具或空中交通工具。
车辆12配备有一个或多个控制模块14。每个控制模块14为非通用型电子控制装置，该非通用型电子控制装置具有预编程数字计算机或处理器16、用于存储如控制逻辑、指令、图像数据、查找表等数据的非暂时性计算机可读介质或存储器18、以及多个输入/输出(I/O)外围设备或端口20。处理器16被设置成执行控制逻辑或指令。这些控制逻辑或指令包括任何类型的计算机可执行程序代码(包括源代码、目标代码和可执行代码)。控制逻辑还包括软件程序，如用于执行特定函数或函数集的算法22。控制逻辑可包括适于以适当的计算机可读程序代码实现的一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类别、示例、相关数据或其部分。控制逻辑可存储在控制模块14的存储器18中或附加或单独的存储器18中。
控制模块14可具有附加处理器16或与处理器16通信的附加集成电路，例如用于分析可视数据的感知逻辑电路，或专用的车辆与车辆(V2V)或车辆与基础设施(V2I)电路。替代地，控制模块14的功能可分布在多个子系统中。存储器18包括可以永久存储数据的介质和/或可以存储并随后重写数据的介质，例如可重写光盘或可擦除存储器装置。在更多示例中，存储器18可包括多种不同存储介质中的任何一种，例如闪速存储器、嵌入式多媒体卡(EMMC)闪速存储器、随机存取存储器(RAM)等。I/O端口20从车辆12的一个或多个传感器24和致动器26接收输入数据。
在若干方面，传感器24包括光学传感系统28，该光学传感系统具有光学和/或电磁传感器，如相机30、超声波传感器、光检测和测距(LiDAR)单元32以及无线电检测和测距(RADAR)单元34。光学传感系统28的传感器24示出在图1的车辆12上四个不同的位置，然而，应当理解，在不脱离本公开的范围或意图的情况下，传感器24可以位于车辆12上或车辆之外的多个其他位置中的任何位置。在具体示例中，图1中示出了光学传感系统28采用了多个相机30。传感器24还包括运动传感器，如陀螺仪传感器36、加速度计38等。致动器26应被理解为包括能够改变车辆12的运动的各种电子装置、液压装置、热装置、燃烧装置、机械装置、摩擦装置和/或气动装置中的任何一种。
控制模块14以电子、气动、液压等方式与具有上述传感器24和致动器26的多个车载系统通信。在若干方面，系统10识别道路标记，如车道线40。为了训练系统10执行这种识别任务，车辆12沿路面42行使。当车辆12行使时，光学传感系统28捕获车辆12附近的路面42的输入图像44。更具体地，由光学传感系统28的相机30捕获的输入图像44可包括静止图像、视频、或两者的任意组合等。输入图像44包括车辆12周围的预定区域。在示例中，设置在车辆12上的至少一个前向相机30在车辆12前方的预定视场46中捕获视频和/或静止图像形式的光学信息。预定视场46的尺寸和形状可基于应用变化。在一个示例中，预定视场46在车辆12前方延伸一半径或一段距离，并且延伸约180°的弧。
现在转到图2，并继续参考图1，减小输入图像44的尺寸以提高控制模块14的效率并降低分析输入图像44所需的计算量和复杂度。更具体地，输入图像44定义一个全尺寸图像48或多个全尺寸图像48。相机30，或更精确地说，光学传感系统28，通过I/O端口20将全尺寸图像48发送到控制模块14的处理器16，其中处理器16执行存储在存储器18中的程式控制逻辑，该程式控制逻辑通过仅将一部分全尺寸图像48保留在存储器18中来减小全尺寸图像48中的光学信息的尺寸。具体地，将全尺寸图像48裁剪为预定尺寸以提高分析效率。在示例中，全尺寸图像48的尺寸为大约是320*235(像素宽*像素高)，裁剪后的图像50的大小为320*110(像素宽*像素高)。然而，应当理解，对全尺寸图像48和裁剪后的图像50的精确尺寸和形状进行选择以确保保留在存储器18中的该部分光学信息包括靠近车辆12的路面42。
随后，对裁剪后的图像50进行分析，以使用基于密度的噪声应用空间聚类(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)算法22来检测并批注车道线40。DBSCAN算法22是用于机器学习的数据聚类算法。DBSCAN算法22基于距离测量和最小点数(minpoints)将彼此接近的数据点集集合在一起。在该过程中，DBSCAN算法22将低密度区域标记为离群值点。DBSCAN算法22采用了本文中提到的两个主要参数ε或“eps”和“minpoints”。如果两个数据点之间的距离小于或等于“eps”，则认为这两个数据点相邻。另一方面，“Minpoints”是构成半径等于“eps”的密集区域或集群64所需的数据点的数量。结合起来，“eps”和“Minpoints”必须基于给定的应用进行适当的调整。应当理解，小“eps”值将导致给定数据集的大部分数据没有被聚集，而是作为离群值65点被拒绝。反之，当使用大“eps”值时，离群值65更有可能包括在集群64中。即，“eps”值越小，给定数据集中作为离群值65数据点而被拒绝的数据的量越大，而“eps”值越大，给定数据集中作为离群值65而被拒绝的数据的量越小。
如果给定数据集中的噪声量很高，则“minpoints”的值也同样会很高，从而导致产生相当数量的集群64。相反，当使用低“minpoints”值时，离群数据包含在集群64中的可能性更高。一般而言，利用DBSCAN算法22的系统10能够从“良好”数据中区分出噪声。在若干方面，DBSCAN算法22访问数据集中的每个数据点，可多次访问(例如，作为不同数据集群64的候选)。为了减少DBSCAN算法22所需的计算资源，施加了时间限制。时间限制可基于各种因素根据不同应用而变化，该因素包括可用的计算资源、输入图像44的复杂度等。
更具体地，在裁剪后的图像50通过异构卷积神经网络(HCNN)52后应用DBSCAN算法22。HCNN 52执行一系列计算和操作以对裁剪后的图像50中的光学信息进行评估并检测光学信息中多个车道线40的位置。HCNN 52包括多个卷积和激活层54、池化层55和全连接层56。卷积和激活层54也可描述为指数线性单元(ELU)。相对于修正线性单元(ReLU)、带泄漏ReLU(LReLU)和参数化ReLU(PReLU)等，ELU加速了对神经网络的深度学习。也就是说，ELU具有改进的学习特性并缓解了梯度消失问题。此外，ELU比其他已知算法22具有更高的分类准确度。在后续的每个卷积和激活层54中，通过对来自每个卷积和激活层54中光学信息进行滤波并在每次尺寸减小后对后续池化层55中光学信息进行池化，来反复地减小裁剪后的图像50的尺寸。一旦裁剪后的图像50已经通过所有的卷积和激活层54以及池化层55，则使裁剪后的图像50通过全连接层56。
在全连接层56中，控制模块14预测分配给预定对象特征的多个值。更具体地，在每个全连接层56中，对裁剪后的光学信息进行分析，并将裁剪后的图像50中的多个特征映射到分配给预定对象特征的值。当控制模块14分析裁剪后的图像50中的光学信息时，控制模块14表征裁剪后的图像50中的颜色变化。控制模块14，例如，识别裁剪后的图像50中的颜色和/或光强变化，并将颜色和/或光强变化表征为输入图像44中的对象。应当理解，虽然图2中示出了四个卷积和激活层54、四个池化层55和三个全连接层56，但是各自的精确数量可能会根据系统10的架构和处理要求而有所不同。因此，卷积和激活层、池化层55和全连接层56的数量变化应被理解为在本公开的范围和意图内。
在一个示例中，HCNN 52在HCNN 52的特征提取层(FEL)部分58中直接接收全尺寸图像48。FEL部分58包含卷积和激活层54、池化层55和全连接层56。FEL部分58执行多个操作以将裁剪后的图像50的光学信息提炼为可用数据。系统利用FEL部分58来执行阈值分割算法部分60和变换算法部分62。阈值分割算法部分60根据裁剪后的图像50数据产生二值图像。也就是说，阈值分割算法部分60将感兴趣的数据与可能无关的数据区分开来。在一个示例中，阈值分割算法部分60为Canny边缘检测算法60。Canny边缘检测算法60是检测图像中的广范围的边缘的多级算法22。具体地，Canny边缘检测算法60首先用高斯滤波器来平滑图像并去除图像中的噪声。然后Canny边缘检测算法60找寻图像中的强度梯度。接着，Canny边缘检测算法60运用梯度幅值阈值分割或下限截止抑制以去除对边缘检测的伪响应。Canny边缘检测算法60然后应用双阈值来确定可能的边缘。最后，Canny边缘检测算法60通过抑制所有其他弱边缘和没有连接到强边缘的边缘来进行滞后，最终完成图像中边缘检测。
然后，系统10使用FEL部分58执行变换算法部分62。一般地，变换算法部分62确定由Canny边缘检测算法60检测到的线段的端点。在具体示例中，变换算法部分62为霍夫变换算法62。霍夫变换算法62是用于图像分析、计算机视觉和数字图像处理的特征提取算法22。霍夫变换算法62通过投票程序在特定种类的形状中找寻对象的不完美实例。霍夫变换算法62通常用于检测简单的形状，如直线、圆、椭圆等。在一个具体示例中，霍夫变换算法62利用Canny边缘检测算法60的输出来计算在输入图像44中检测到的线段的端点。线段定义了输入图像44中的至少部分可能的车道线40。系统10通过FEL部分58利用阈值分割算法部分60和变换算法部分62的输出来定义输入图像44中的预测的车道线63。每个预测的或可能的车道线40分配有与输入图像44中的其他预测的车道线63不同且可区分的颜色。HCNN 52的输出，尤其是阈值分割算法部分60和变换算法部分62的输出定义了表示为点或块等的多个数据点。
系统10利用DBSCAN算法22对点、块或其他此类数据点表示进行处理，以选择性地对输入图像44中的离群数据点65和集群数据点64进行分类。具体来说，DBSCAN算法22确定相邻数据点之间的距离是否小于阈值距离。DBSCAN算法22还确定输入图像44中数据点的密度。数据点的密度为在给定数据点的预定半径距离内的数据点的数量。当数据点之间的距离小于阈值距离，且数据点的密度高于阈值密度时，DBSCAN算法22将数据点标记为“良好”数据，并聚类这些数据点。将集群数据点64进行颜色编码，并且每个定义的数据集群在输入图像44中分配有不同的颜色，使得输入图像44中的每个预测的或可能的车道线40分配有不同的颜色。
相反，当数据点之间的距离大于阈值距离和/或数据点的密度低于阈值密度值时，DBSCAN算法22将数据点分类为离群值或“噪声”数据点65，而不是聚类的“良好”数据点64。不考虑将离群数据点65作为路面42上的可能的车道线40标记。
系统10利用DBSCAN算法22的输出来标记输入图像44。更具体地，系统10将颜色编码的数据点集群64叠加到输入图像44上。颜色编码的数据点叠加集群64在输入图像44中标记出预测的车道线63。
现在转到图3，并且继续参考图1至图2，示出了使用DBSCAN进行车道检测的方法200。方法200开始于框202。在框204，设置在机动车辆12上的光学传感系统28的一个或多个传感器24(如相机30)捕获输入图像44。在框206，输入图像44通过I/O端口20与控制模块14的处理器16进行电子通信。控制模块14还具有存储包括HCNN 52和DBSCAN算法22的计算机可执行控制逻辑部分的存储器18。在框208，控制模块14执行用于使输入图像44通过HCNN52的第一控制逻辑部分。具体地，第一控制逻辑部分执行阈值分割算法部分60和变换算法部分62。阈值分割算法部分60检测输入图像44中的边缘，而变换算法部分62确定通过使用阈值分割算法部分60检测到的线段的端点。
在框210，控制模块14执行第二控制逻辑部分，用于利用DBSCAN算法22处理HCNN输出。DBSCAN算法22在HCNN输出中选择性地分类出离群数据点65和集群数据点64。即在框210，当数据点之间的距离小于阈值距离且数据点的密度高于阈值密度时，数据点被归类为集群数据点64，并且当数据点之间的距离大于阈值距离和/或数据点的密度低于阈值密度时，数据点被归类为离群数据点65。如果数据点被归类为离群值，则方法200前进到框212，其中将离群数据点65从进一步的计算中移除。方法200随后从框212回到框202，在框202处理其他输入图像44。然而，当数据点被归类为集群数据点64时，该方法前进到框214。基于框214，控制模块14在框216执行产生DBSCAN算法22输出的第三控制逻辑部分。DBSCAN算法22进一步将集群数据点64归类为输入图像44中的预测的车道线63位置。
在框218，控制模块14执行第四控制逻辑部分，其通过在输入图像44上叠加预测的车道线63来标记输入图像44。将集群数据点64进行颜色编码，使得在输入图像44上标记的每个集群数据在光学上与输入图像44中的其他预测的车道线63不同并且可区分。在框220，车辆12的车载系统利用标记的预测的车道线63调整车辆12的驾驶功能。在一个示例中，标记的预测的车道线63通过车载显示器66(如设置在仪表组、中央控制栈、平视显示器等内的屏幕)向机动车辆操作人员显示。因此，标记的预测的车道线63可用于协助机动车辆操作人员确定路面42上机动车辆12附近的车道线40的位置。同样，标记的预测的车道线63可用作机动车辆12上配备的高级驾驶员辅助系统(ADAS)的输入，从而协助机动车辆12保持车道定位、方向等。在框222，方法结束并返回到框202，在框202方法200再次运行。根据车载ADAS系统等的要求，方法200可连续地或周期性地等运行。
使用DBSCAN进行车道检测的系统和方法具有若干优点。这些优点包括能够利用先前存在的基础设施来执行图像分析，从而克服了由天气、碎片等引起的光学干扰。此外，本公开的系统和方法能够模仿和改进人类驾驶员确定路面42上车道线40的位置和类型的能力。该系统和方法即使在路面42被天气、碎片等遮挡时依然可对车道线40和车道类型进行稳健预测。
本公开的描述本质上仅仅是示例性的，并且不背离本公开的主旨的变型旨在落入本公开的范围内。这种变型不应视为背离了本公开的精神和范围。

Claims (20)

1.一种使用基于密度的噪声应用空间聚类(DBSCAN)进行车道检测的方法，所述方法包括：
利用设置在机动车辆上的一个或多个光学传感器捕获输入图像；
使所述输入图像通过异构卷积神经网络(HCNN)，所述HCNN产生HCNN输出；
利用DBSCAN处理所述HCNN输出，以在所述HCNN输出中选择性地分类出离群数据点和集群数据点；
产生DBSCAN输出，所述DBSCAN输出选择性地将所述集群数据点定义为所述输入图像中的预测的车道线；和
通过在所述输入图像上叠加所述预测的车道线来标记所述输入图像。
2.根据权利要求1所述的方法，其中，捕获输入图像还包括：
利用设置在所述机动车辆上的多个相机来捕获所述输入图像，所述多个相机具有在所述机动车辆前方延伸预定距离并从所述机动车辆的左侧向所述机动车辆的右侧延伸至少180°的视场。
3.根据权利要求1所述的方法，其中，使所述输入图像通过HCNN还包括：
在所述HCNN的特征提取层(FEL)部分中直接接收所述输入图像，所述HCNN具有彼此堆叠在一起的多个卷积层、池化层和激活层；
利用算法分析所述FEL部分中的所述输入图像，所述算法包括：
阈值分割算法部分；和
变换算法部分。
4.根据权利要求3所述的方法，其中，分析所述FEL部分中的所述输入图像还包括：
为所述输入图像中的不同的预测的车道线相关的数据点分别分配不同颜色；以及
聚类所述FEL部分的输出以识别集群数据点并标记所述预测的车道线。
5.根据权利要求3所述的方法，其中，分析所述FEL部分中的所述输入图像还包括：
在所述FEL部分中接收全尺寸输入图像；以及
将所述全尺寸图像裁剪为预定尺寸。
6.根据权利要求3所述的方法，其中，所述阈值分割算法部分还包括：
利用Canny边缘检测，通过所述FEL部分产生二值图像，所述二值图像包括在所述输入图像中检测到的边缘，其中所述二值图像准确地捕获所述图像中尽可能多的边缘；所述检测到的边缘准确定位在每个边缘的中心；并且其中所述图像中的每个边缘在所述图像中仅被标记一次。
7.根据权利要求3所述的方法，其中，所述变换算法部分还包括：
利用霍夫变换，通过所述FEL部分计算在所述输入图像中检测到的线段的端点，其中所述线段定义所述输入图像中可能的车道线的至少一些部分。
8.根据权利要求1所述的方法，其中，通过HCNN处理所述输入图像还包括：
检测并预测所述输入图像中的车道线位置，其中由集群数据点来定义预测的车道线位置。
9.根据权利要求8所述的方法，其中，产生DBSCAN输出还包括：
确定数据点之间的距离是否小于阈值距离；
确定数据点的密度是否高于阈值密度，其中所述数据点的密度是预定半径距离内的数据点的数量；以及
当距离小于所述阈值距离且数据点的密度高于所述阈值密度时，将所述数据点定义为预测的车道线，而当距离大于所述阈值距离或数据点的密度低于所述阈值密度时，将所述数据点定义为离群数据点。
10.根据权利要求9所述的方法，其中，标记所述输入图像还包括：
将数据点之间的距离小于所述阈值距离且密度高于所述阈值密度的数据点集群，叠加到所述输入图像上；以及
对所述数据点集群进行颜色编码，以使在所述输入图像上标记的每条预测的车道线分配有不同于其他预测的车道线的颜色。
11.一种使用基于密度的噪声应用空间聚类(DBSCAN)进行车道检测的系统，所述系统包括：
一个或多个光学传感器，设置在机动车辆上，用于捕获输入图像；
控制模块，具有处理器、存储器和输入/输出端口，所述输入/输出端口与所述一个或多个光学传感器进行电子通信并接收所述输入图像，所述存储器存储计算机可执行控制逻辑部分，所述计算机可执行控制逻辑部分包括异构卷积神经网络(HCNN)；
所述控制模块执行第一控制逻辑部分，用于使所述输入图像通过所述HCNN，所述HCNN产生HCNN输出；
所述控制模块执行第二控制逻辑部分，用于利用DBSCAN处理所述HCNN输出并在所述HCNN输出中选择性地分类出离群数据点和集群数据点，所述第二控制逻辑部分检测和预测所述输入图像中的车道线位置，其中由集群数据点定义预测的车道线位置；
所述控制模块执行第三控制逻辑部分，用于产生DBSCAN输出，所述DBSCAN输出选择性地将所述集群数据点定义为所述输入图像中的预测的车道线；并且
所述控制模块执行第四控制逻辑部分，用于通过在所述输入图像上叠加所述预测的车道线来标记所述输入图像。
12.根据权利要求11所述的系统，其中，所述一个或多个光学传感器为设置在所述机动车辆上的多个相机，所述多个相机具有在所述机动车辆前方延伸预定距离并从所述机动车辆的左侧向所述机动车辆的右侧延伸至少180°的视场。
13.根据权利要求11所述的系统，其中，所述第一控制逻辑部分还包括用于以下操作的计算机可执行程序代码：
在所述HCNN的特征提取层(FEL)部分中直接接收所述输入图像，所述HCNN具有彼此堆叠在一起的多个卷积层、池化层和激活层；以及
利用算法来分析所述FEL部分中的所述输入图像，所述算法包括：
阈值分割算法部分；和
变换算法部分。
14.根据权利要求13所述的系统，其中，用于分析所述FEL部分中的所述输入图像的所述计算机可执行程序代码还包括：
为与所述输入图像中的不同的预测的车道线相关的数据点分别分配不同颜色；和
聚类所述FEL部分的输出以识别集群数据点并标记所述预测的车道线。
15.根据权利要求13所述的系统，其中，用于分析所述FEL部分中的所述输入图像的所述计算机可执行程序代码还包括：
在所述FEL部分中接收全尺寸输入图像；以及
将所述全尺寸图像裁剪为预定尺寸。
16.根据权利要求13所述的系统，其中，所述阈值分割算法部分还包括：
计算机可执行程序代码，用于利用Canny边缘检测，通过所述FEL部分产生二值图像，所述二值图像包括在所述输入图像中检测到的边缘，其中所述二值图像准确地捕获所述图像中尽可能多的边缘；所述检测到的边缘准确定位在每个边缘的中心；并且其中所述图像中的每个边缘在所述图像中仅被标记一次。
17.根据权利要求13所述的系统，其中，所述变换算法部分还包括：
计算机可执行程序代码，用于利用霍夫变换，通过所述FEL部分计算所述输入图像中检测到的线段的端点，其中所述线段定义所述输入图像中可能的车道线的至少一些部分。
18.根据权利要求11所述的系统，其中，所述第三控制逻辑部分还包括用于以下操作的计算机可执行程序代码：
确定数据点之间的距离是否小于阈值距离；
确定数据点的密度是否高于阈值密度，其中所述数据点的密度是预定半径距离内的数据点的数量；以及
当距离小于所述阈值距离且数据点的密度高于所述阈值密度时，将所述数据点定义为预测的车道线，而当距离大于所述阈值距离或数据点的密度低于所述阈值密度时，将所述数据点定义为离群数据点。
19.根据权利要求18所述的系统，其中，所述第四控制逻辑部分还包括用于以下操作的计算机可执行程序代码：
将数据点之间的距离小于所述阈值距离且密度高于所述阈值密度的数据点集群，叠加到所述输入图像上；以及
将所述数据点集群进行颜色编码，以使标记在所述输入图像上的每条预测的车道线分配有不同于其他预测的车道线的颜色。
20.一种使用基于密度的噪声应用空间聚类(DBSCAN)进行车道检测的方法，所述方法包括：
利用设置在机动车辆上的多个相机捕获全尺寸输入图像，所述多个相机具有在所述机动车辆前方延伸预定距离并从所述机动车辆的左侧向所述机动车辆的右侧延伸至少180°的视场；
使所述全尺寸输入图像通过异构卷积神经网络(HCNN)，所述HCNN通过以下操作来产生HCNN输出：
在所述HCNN的特征提取层(FEL)部分中直接接收所述全尺寸输入图像，所述HCNN具有彼此堆叠在一起的多个卷积层、池化层和激活层；以及
通过将所述全尺寸输入图像裁剪为预定尺寸来产生裁剪后的图像，所述预定尺寸包括所述输入图像的包括路面的部分；
利用算法来分析所述FEL部分中的所述裁剪后的图像，所述算法包括：
阈值分割算法部分，所述阈值分割算法部分利用Canny边缘检测，通过所述FEL部分产生二值图像，所述二值图像包括在所述裁剪后的图像中检测到的边缘，其中所述二值图像准确地捕获所述裁剪后的图像中尽可能多的边缘；所述检测到的边缘准确地定位在每个边缘的中心；并且其中所述裁剪后的图像中的每个边缘在所述裁剪后的图像中仅被标记一次；和
变换算法部分，所述变换算法部分利用霍夫变换，通过所述FEL部分计算所述裁剪后的图像中检测到的线段的端点，其中所述线段定义所述裁剪后的图像中的可能的车道线的至少一些部分；
为所述输入图像中不同的预测的车道线相关的数据点分别分配不同颜色；
聚类所述FEL部分的输出以识别集群数据点，并标记所述预测的车道线；
利用DBSCAN处理所述HCNN输出，以在所述HCNN输出中选择性地分类出离群数据点和集群数据点，包括：
检测并预测所述输入图像中的车道线位置，其中由集群数据点来定义预测的车道线位置；
确定数据点之间的距离是否小于数据点的阈值距离；
确定数据点的密度是否高于阈值密度，其中所述数据点的密度是数据点的预定半径距离内的数据点的数量；
当距离小于所述阈值距离且数据点的密度高于所述阈值密度时，将所述数据点定义为预测的车道线，而当距离大于所述阈值距离或数据点的密度低于所述阈值密度时，将所述数据点定义为离群数据点；
将数据点集群进行颜色编码，以使标记在所述全尺寸输入图像上的每条预测的车道线分配有不同于其他预测的车道线的颜色；
产生DBSCAN输出，所述DBSCAN输出选择性地将所述集群数据点定义为所述全尺寸输入图像中的预测的车道线；以及
通过在所述全尺寸输入图像上叠加定义预测的车道线的数据点集群，来标记所述全尺寸输入图像。
CN202210499589.9A 2021-06-29 2022-05-09 使用dbscan进行车道检测 Pending CN115546744A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/362,209 2021-06-29
US17/362,209 US20220414385A1 (en) 2021-06-29 2021-06-29 Use of dbscan for lane detection

Publications (1)

Publication Number Publication Date
CN115546744A true CN115546744A (zh) 2022-12-30

Family

ID=82214476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210499589.9A Pending CN115546744A (zh) 2021-06-29 2022-05-09 使用dbscan进行车道检测

Country Status (3)

Country Link
US (1) US20220414385A1 (zh)
EP (1) EP4113377A1 (zh)
CN (1) CN115546744A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230192121A1 (en) * 2021-12-22 2023-06-22 Gm Cruise Holdings Llc Class-aware depth data clustering

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994390A (zh) * 2019-12-03 2022-01-28 辉达公司 针对自主驾驶应用的使用曲线拟合的地标检测

Also Published As

Publication number Publication date
EP4113377A1 (en) 2023-01-04
US20220414385A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US8040227B2 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US20150161796A1 (en) Method and device for recognizing pedestrian and vehicle supporting the same
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
KR101694837B1 (ko) 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
Prakash et al. Robust obstacle detection for advanced driver assistance systems using distortions of inverse perspective mapping of a monocular camera
Hechri et al. Robust road lanes and traffic signs recognition for driver assistance system
JP2022142165A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
Muthalagu et al. Object and Lane Detection Technique for Autonomous Car Using Machine Learning Approach
EP4113377A1 (en) Use of dbscan for lane detection
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法
EP4009228A1 (en) Method for determining a semantic free space
CN112989956A (zh) 基于感兴趣区域的红绿灯识别方法、系统及存储介质
EP4083940A1 (en) Use of neural networks to predict lane line types
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
Bubeníková et al. The ways of streamlining digital image processing algorithms used for detection of lines in transport scenes video recording
CN112686136B (zh) 一种对象检测方法、装置及系统
GB2593482A (en) A method for associating a traffic light detection for an at least partially autonomous motor vehicle, as well as an assistance system
JP7005762B2 (ja) カメラ装置の標識認識方法及び標識認識装置
EP4290407A1 (en) Method and system for unknown object detection
US11654897B2 (en) System and method for controlling autonomous parking of vehicle
JP7538300B2 (ja) 自動運転車のオブジェクト認識率の改善方法およびその装置
EP4224434A1 (en) Apparatus and method for evaluating a machine learning model used for assisted or autonomous driving of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination