CN111066024B - 用于识别车道的方法和装置、驾驶员辅助系统以及车辆 - Google Patents

用于识别车道的方法和装置、驾驶员辅助系统以及车辆 Download PDF

Info

Publication number
CN111066024B
CN111066024B CN201880054786.1A CN201880054786A CN111066024B CN 111066024 B CN111066024 B CN 111066024B CN 201880054786 A CN201880054786 A CN 201880054786A CN 111066024 B CN111066024 B CN 111066024B
Authority
CN
China
Prior art keywords
lane
vehicle
feature points
image
boundaries
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880054786.1A
Other languages
English (en)
Other versions
CN111066024A (zh
Inventor
C·拜尔
C·海勒
C·洛依
A·阿布拉莫夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Zhixing Germany Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Zhixing Germany Co ltd filed Critical Continental Zhixing Germany Co ltd
Publication of CN111066024A publication Critical patent/CN111066024A/zh
Application granted granted Critical
Publication of CN111066024B publication Critical patent/CN111066024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于识别车道(F)的方法，该方法包括以下步骤：借助车辆(5)的摄像装置(2)捕获(S1)车辆周围环境的摄像机图像(K)；在捕获到的摄像机图像(K)中测定(S2)与可能的车道界限(M1、M2)的区域相对应的特征点(P1‑P15)；在各特征点(P1‑P15)周围生成(S3)所捕获到的摄像机图像(K)的图像剪裁部分；使用神经网络对图像剪裁部分进行分析(S4)，以对特征点(P1‑P15)进行分类；以及在考虑经分类的特征点(P1‑P15)情况下，测定(S5)车辆周围环境中的车道。

Description

用于识别车道的方法和装置、驾驶员辅助系统以及车辆
技术领域
本发明涉及一种用于识别车道的方法、一种用于识别车道的装置、一种驾驶员辅助系统以及一种车辆。
背景技术
驾驶员辅助系统基于大量传感器数据生成车辆周围环境的模型。除了检测障碍物和其他交通参与者外，识别车道也特别重要。通过确定车辆在车道中的运动，可在车辆意外离开车道时提前对驾驶员提出警告。此外，驾驶员辅助系统还可辅助驾驶员保持车道及控制车辆自主沿车道行驶。
通常通过确定车道界限来识别车道，车道界限尤其是指车道标记和路边石边缘(Bordsteinkanten)。专利文献DE 10 2015 209467 A1公布了一种使用特征矢量估计车道的方法，所述特征矢量是基于不同的传感器彼此独立地确定的。
由于大多数白色或黄色车道标记与较暗的车道形成鲜明对照，因此可使用检测较亮区域和较暗区域之间的过渡的边缘检测方法来确定车道标记。广泛使用的是索贝尔(Sobel)滤波器，其中，主要计算的是两个相邻区域亮度值的差值。在亮度恒定情况下，该差值的平均值为零，而边缘上得出不同于零的数值。
用于目标识别，尤其是用于车道标记识别的神经网络越来越普遍。这类方法的优点是，相对于静态索贝尔滤波器的使用，所述方法可更好地考虑不同的周围环境条件，例如由于一天中时间或天气条件的变化而导致的亮度变化。
但是，由于借助神经网络识别图像的分析评估典型情况下是以像素进行的，因此计算量相对较高，这会导致能耗增加以及分析评估速度下降。
发明内容
因此，本发明的一项任务是能快速、精确地实现车道识别。
该任务通过具有权利要求1所述特征的用于识别车道的方法、通过具有权利要求10所述特征的用于识别车道的装置、通过具有权利要求14所述特征的驾驶员辅助系统以及通过具有权利要求15所述特征的车辆来解决。
其他优选的实施方式是从属权利要求的主题。
根据第一方面，本发明因此提供了一种用于识别车道的方法，其中，借助车辆的摄像装置捕获该车辆周围环境的摄像机图像。测定与可能的车道界限的区域相对应的特征点。围绕各相应特征点生成捕获到的摄像机图像的图像剪裁部分(图像区，Bildausschnitt)。使用神经网络对图像剪裁部分进行分析以对特征点分类。最后，在考虑经分类的特征点情况下识别车辆周围环境中的车道。
根据第二方面，本发明因此提供了一种用于识别车道的装置，该装置具有一接口，它用于接收借助车辆的摄像装置捕获的车辆周围环境的摄像机图像。所述装置还包括一计算装置，它在借助所述接口接收到的摄像机图像中测定对应于可能的车道界限区域的特征点。所述计算装置围绕一特征点生成捕获到的摄像机图像的图像剪裁部分，使用神经网络对所述图像剪裁部分进行分析，以用于特征点的分类，并考虑经分类的特征点测定车辆周围环境中的车道。
根据第三方面，本发明涉及一种用于车辆的驾驶员辅助系统，该系统包括捕获车辆周围环境的摄像机图像的摄像装置，并包括根据所述摄像装置捕获到的摄像机图像识别车道的装置。
根据第四方面，本发明涉及带有驾驶员辅助系统的车辆。
本发明提供两阶段的车道识别。在第一阶段中，优选使用经典特征识别方法对摄像机图像进行分析，并测定对应于可能的车道界限区域的特征点。在此第一步骤中，在一粗略分析评估中已分选出不太相关的区域，即有极大可能不会出现车道界限的区域。这减少了在数据进一步处理中的计算量。
在随后的第二阶段中，将对找到的特征点进行更详细的分析。为此，借助神经网络对特征点周围的图像剪裁部分进行分析评估。由此，可对特征点进行分类，即将特征点归类为是否对应于车道界限。根据已被分类为对应于车道界限的特征点对车道进行测定。
神经网络相对于索贝尔滤波器的另一优点是考虑了较大的图像剪裁部分。即索贝尔滤波器通常具有约3x3像素的检测区域，而神经网络的图像剪裁部分例如可具有128x128像素的检测区域。通过该较大的图像剪裁部分使神经网络可检测周围环境的相互关系/背景，以便对特征点进行分类。例如，图像剪裁部分内的灌木丛可表示一护栏，并由此表示一错误的标识或一异常值。由此，能以有益的方式对图像剪裁部分的周围环境区域一起分析评估。
因此，本发明优选将经典方法与神经网络的使用相结合。但是，由于进行了预过滤，因此仅须借助神经网络对摄像机图像的特定区域进行分析，并可省略所有像素的总体分析评估。由此可快速、有效地进行车道识别。同时，充分利用了神经网络的高识别精度。
为防止车道界限不被识别，优选将使一像素被检测为特征点而必须超越的阈值设置得相当低。随后，借助神经网络再次滤除由此产生的错误标识。如果仅使用索贝尔滤波器，典型情况下阈值被选择成使得尽可能少地产生错误标识。但是，由此无法识别对比度小的车道界限。通过根据本发明所述的两阶段方法，不必做出这类折衷，并且识别准确度较高。
根据所述方法优选的一其他结构形式，使用边缘检测算法测定特征点。由此，借助经典方法，并优选借助索贝尔滤波器的使用进行边缘检测。
根据所述方法优选的一其他结构形式，可能的车道界限包括车道标记。尤其是，仅车道标记可被识别为可能的车道界限。车道标记或道路标记应理解为车道表面上的彩色标记，这些彩色标记划分或界定了各单一车道。然而，根据其他实施方式，尤其是在缺少车道标记的情况下，车道界限还可包括路边石边缘、护栏或植被。
根据所述方法优选的一其他结构形式，神经网络是卷积神经网络。
根据所述方法优选的一其他结构形式，神经网络借助数据库中预先规定的训练数据进行学习。
根据一其他结构形式，训练数据包括车道界限的图像。训练数据还可包括不表示车道标记的其他结构图像。这些图像优选的选择方式是，它们能反映典型情况下借助经典边缘检测被错误识别为车道标记的结构或目标。这些结构或目标例如可能是不表示车道界限的车辆或护栏图像。经此方法学习的神经网络能将车道界限图像与不表示车道界限的图像区分开。
用于借助神经网络进行分析的图像剪裁部分优选具有预先规定数量的像素或预先规定的大小。被选作训练数据的图像优选对应于借助车辆摄像装置捕获到的具有所述预先规定像素数量或大小的车辆周围环境图像的典型图像。
所述图像优选至少部分在不同亮度情况下生成。例如，图像可在一天的不同时间生成。还可在不同的照明条件下生成图像，例如在光线不足或光线充足的街道上生成图像。此外，还可在例如阳光明媚、有雾、下雨或下雪等不同天气条件下捕获图像。
根据所述方法优选的一其他结构形式，通过对被归类为属于车道界限的相邻特征点进行插值来测定车道界限的走向。根据车道界限的走向确定车辆可行驶车道。
根据所述装置优选的一其他结构形式，计算装置使用边缘检测算法测定特征点。
根据所述装置优选的一其他结构形式，计算装置使用索贝尔滤波器进行边缘检测。
根据优选的一其他结构形式，所述装置的计算装置设置用于，通过对被归类为与车道界限相对应的相邻特征点进行插值来确定车道界限的走向。计算装置根据车道界限的走向确定车辆可行驶车道。
附图说明
下面，根据示意图中所给出的实施例对本发明进行进一步的解释。其中：
图1是根据本发明一实施方式的用于识别车道的装置的方框示意图；
图2是由摄像装置捕获到的摄像机图像示意图；
图3是作为神经网络用训练数据的图像；
图4是在摄像机图像中识别到的车道界限；
图5是驾驶员辅助系统的方框示意图；
图6是车辆的方框示意图；以及
图7是用于车道识别方法的流程图。
具体实施方式
本发明其他的可能实施方式、其他结构形式和实施例也包括之前或之后相关实施例所述的本发明特征的未明确说明的组合。
附图可帮助进一步理解本发明的实施方式。它们直观地阐明实施方式，并有利于结合说明阐述本发明的原理和方案。在图中还有其他实施方式和许多列举的优势。在此，相同的附图标记指代作用相同或类似的组件。
图1展示了用于识别车道的装置1的方框示意图。
装置1包括接口11，该接口设置成用于无线地或通过有线连接装置接收和发送数据。所述接口11尤其用于接收摄像机数据，并将该数据传输给装置1的计算装置12。摄像机数据包括由车辆的摄像装置2生成的至少一个摄像机图像。摄像机图像也可由摄像装置2的车载摄像机的多个单一图像或由摄像装置2的多个车载摄像机的多个图像组合而成。
计算装置12借助图像识别方法对摄像机图像进行分析，以提取与车辆周围环境中的具有车道界限的区域相对应的特征点。计算装置12包括至少一个微处理器，用于执行计算步骤。
计算装置12围绕每个特征点分别生成相应的图像剪裁部分。该图像剪裁部分用作分析该图像剪裁部分的神经网络的输入参数。所述神经网络优选为卷积神经网络。借助所述神经网络对反映车道界限的图像剪裁部分的概率进行计算。如果所述概率超过一预先规定的阈值，则计算装置12识别出图像剪裁部分的特征点对应于车道界限。
以此方式分类的特征点由计算装置12进一步分析评估，以确定车辆周围环境中的车道。由此，计算装置12可通过对与车道界限相对应的彼此相邻的特征点进行插值来测定摄像机图像中车道界限的走向。车道界限之间的区域可被识别为车道，并且计算装置12可生成周围环境模型。
下面根据图2到图4更准确地图示装置1的各个方面。
图2展示由摄像装置2捕获到的摄像机图像K。图中所描绘的目标包括右车道标记51，中间车道标记52，处于右车道边缘的护栏53以及在平行车道上行驶的车辆54。
计算装置12借助边缘识别的经典方法对摄像机图像K的像素进行分析。计算装置12尤其可在每个像素上应用索贝尔滤波器，以识别像素周围环境旁或周围环境的一个边缘。所述索贝尔滤波器可考虑要检查的像素周围环境的3x3像素，但也可计算像素的更大的周围环境区域。
计算装置12可为每个像素确定，像素是否处于一边缘附近或一边缘中。计算装置12尤其可将借助索贝尔滤波器计算的数值与一预先规定的阈值加以比较。如果超越阈值，则计算装置12确定，像素是与一可能的车道界限相对应的特征点。
在图2所示的摄像机图像K中，计算装置12测定从P1到P15总共15个特征点。这只是示例。通常，将生成更大数量的特征点。
对P1到P15的每个特征点，计算装置12生成图像剪裁部分B1到B3，在图2中为清楚起见，仅展示前三个特征点P1到P3。图像剪裁部分B1到B3可有一预先规定的大小，例如128x128像素。特征点P1到P15分别优选设置在各相应图像剪裁部分B1到B3的中心。
在图3中更准确地解释进一步分析图像剪裁部分B1到B3所用的神经网络的生成。据此，首先生成具有训练数据的数据库DB。训练数据包括借助车载摄像机捕获到的图像。这些图像优选被手动分类为两组。Ta1到Ta4的第一组包括展示车道界限的图像。这些图像只能包括车道标记的图像。然而，根据其他实施方式，这些图像也可反映路边石边缘或其他车道界限。为此，这些图像可在不同亮度或天气条件下生成。第二组包括图形Tb1到Tb4，这些图形显示具有边缘、但不是车道界限的目标。它们可能是车辆Tb1、Tb3、护栏Tb2或桥梁Tb4的图像。
神经网络的训练方式是，使第一组Ta1到Ta4的图像被分类为车道界限的图像，而第二组Tb1到Tb4的图像被分类为不展示车道界限的图像。在训练阶段后，计算装置12可借助神经网络对B1到B3的任意图像剪裁部分进行分类。为此，首先可借助神经网络给出图像剪裁部分B1到B3是一车道界限图像的概率。如果计算得到的概率超越一预先规定的阈值，例如0.5，则计算装置12将图像剪裁部分B1到B3分类为对应于一车道界限。
针对摄像机图像K的特征点P1到P15，计算装置12例如识别出，中间车道标记52的特征点P2、P5到P8以及右车道标记51的特征点P1、P9到P13是与车道界限相对应的特征点。相反，护栏53和车辆54的测量点P4、P3、P14和P15被作为错误的标识而丢弃，因为所描绘的目标不是车道界限。
为测定车道，计算装置12优选仅包括被识别为与车道界限相对应的特征点P1到P15。
现在，计算装置12可通过对相邻的剩余特征点P1到P15或像素进行插值来测定相应的车道界限。
如图4中所示，计算装置12例如针对图2中所描绘的摄像机图像K识别第一车道界限M1和第二车道界限M2。与此相应，计算装置12测定，在车道界限M1和M2之间有一车道F。
所描述的车道识别优选以迭代方式进行，其中，已识别的车道界限和车道被加以更新。
在图5中图示了根据本发明一实施方式的用于车辆的驾驶员辅助系统4的方框图。驾驶员辅助系统4包括摄像装置2，该摄像装置具有一个或多个车载摄像机，它们设置或可设置在车辆上。
驾驶员辅助系统4还包括上面所述的用于识别车道的装置1。该装置包括上面所述的接口12，它接收由摄像装置2捕获到的摄像机图像，该装置还包括计算装置12，它根据摄像机图像测定车道F。
驾驶员辅助系统4可包括控制装置3，它可控制车辆的特定驾驶功能。控制装置3因此可根据所识别的车道以如下方式控制车辆，即使车辆加速、制动或转向。驾驶员辅助系统4可由此实现车辆的半自主或自主控制。控制装置3也可设置成用于，在车辆离开所识别的车道F时，输出一警告信号，以警告驾驶员不要意外偏离车道F。
图6图示了根据本发明一实施方式的车辆5的方框图。车辆5可例如为轿车、货车或摩托车。车辆5包括上面所述的驾驶员辅助系统4，该系统具有用于识别车辆5车辆周围环境中的车道F的装置1。
图7展示根据本发明一实施方式的用于识别车道F的方法的流程图。
在方法步骤S1中，借助摄像装置2捕获车辆周围环境的摄像机图像。在此，也可将多个单一图像加以组合。
在进一步的方法步骤S2中，借助边缘检测方法对摄像机图像的单一像素进行分析评估，以测定特征点P1到P15。为此，例如可使用索贝尔滤波器以用于边缘检测。如果借助索贝尔滤波器计算得到的数值超越一预先规定的阈值，则将像素标识为可与车道界限相对应的特征点P1到P15。
在方法步骤S3中，围绕每个特征点P1到P15生成一图像剪裁部分B1到B3。特征点P1到P15可优选处于一正方形图像剪裁部分B1到B3的中心。图像剪裁部分的大小可为例如128x128像素。然而，本发明不限于此。图像剪裁部分不必一定是正方形或矩形的。例如可根据摄像装置2的透视描绘选择图像剪裁部分的形状。
在方法步骤S4中，使用神经网络对图像剪裁部分进行分析。为此，根据数据库中的训练数据生成神经网络或使神经网络进行学习。所述训练数据包括结合图3中所述的车道界限图像或不含车道界限的车道周围环境图像。在训练阶段后，神经网络设置成用于，对任意图像剪裁部分进行分析和分类。针对各图像剪裁部分识别，所描述的车辆周围环境区域是否反映一车道界限。对特征点进行相应分类。对借助神经网络被分类为与车道界限相对应的那些特征点进行进一步的分析评估，而其余特征点则被丢弃。
根据剩下的特征点，在方法步骤S5中测定车道界限M1和M2的走向。根据车道界限M1和M2的走向，识别出可供车辆5行驶的车道F。
根据所识别的车道F，还可输出警告信号，或执行对车辆5的半自主或自主控制。
附图标记列表
1 用于识别车道的装置
2 摄像装置
3 控制装置
4 驾驶员辅助系统
5 车辆
11 接口
12 计算装置
51 右车道标记
52 中间车道标记
53 护栏
54 车辆
F 车道
M1、M2 车道界限
P1到P15 特征点
B1到B3 图像剪裁部分
Ta1到Ta4 车道界限图像
Tb1到Tb4 非车道界限的目标图像

Claims (11)

1.一种用于识别车道(F)的方法，该方法包括以下步骤：
借助车辆(5)的摄像装置(2)捕获(S1)车辆周围环境的摄像机图像(K)；
通过利用不使用神经网络的图像处理技术来分析摄像机图像以通过计算两个相邻区域亮度值的差值在捕获到的摄像机图像(K)中测定(S2)特征点(P1-P15)；其中，使用边缘检测算法测定所述特征点(P1-P15)，边缘检测包括索贝尔滤波器的使用；特征点(P1-P15)与可能的车道界限(M1、M2)的区域相对应，其中消除了预期不会出现车道界限的区域；其中，针对每个像素确定，所述像素是否处于一边缘附近或一边缘中，以及将借助索贝尔滤波器计算的数值与一预先规定的阈值加以比较；如果超越阈值，则确定像素是与一可能的车道界限相对应的特征点；
在各特征点(P1-P15)周围生成(S3)所捕获到的摄像机图像(K)的具有相应的预先规定的大小的图像剪裁部分；
使用神经网络对所述图像剪裁部分进行分析(S4)，以针对所述特征点是否代表实际车道界限而对所述特征点(P1-P15)进行分类，其中输出所述图像剪裁部分反映车道界限(M1、M2)的概率，并且如果计算的概率超过预先规定的阈值，则该图像剪裁部分被分类为对应于车道界限；以及
在考虑经分类的代表实际车道界限的特征点(P1-P15)的情况下，测定(S5)车辆周围环境中的车道；
其中，为防止车道界限不被识别，将使一像素被检测为特征点而必须超越的阈值设置得相当低，随后，借助神经网络再次滤除由此产生的错误标识。
2.根据权利要求1所述的方法，其中，可能的车道界限(M1、M2)包括车道标记(51、52)。
3.根据上述权利要求中任一项所述的方法，其中，神经网络是卷积神经网络。
4.根据上述权利要求中任一项所述的方法，其中，神经网络借助一数据库中预先规定的训练数据进行学习。
5.根据权利要求4所述的方法，其中，所述训练数据包括车道界限(M1、M2)的图像和不构成车道界限(M1、M2)的结构的图像。
6.根据权利要求5所述的方法，其中，所述图像至少部分是在不同的亮度和/或一天中不同时间和/或不同天气条件下生成的。
7.根据上述权利要求中任一项所述的方法，其中，通过对相邻的已被分类为与车道界限相对应的特征点(P1-P15)进行插值，测定车道界限(M1、M2)的走向，其中，根据车道界限(M1、M2)的走向来确定所述车辆(5)能行驶的车道(F)。
8.一种用于识别车道(F)的装置(1)，所述装置包括：
接口(11)，所述接口用于接收借助车辆(5)的摄像装置(2)捕获到的车辆(5)的周围环境的摄像机图像(K)；以及
计算装置(12)，所述计算装置设置成用于：
-通过利用不使用神经网络的图像处理技术来分析摄像机图像以通过计算两个相邻区域亮度值的差值在借助所述接口(11)接收到的所述摄像机图像(K)中测定特征点(P1-P15)，计算装置(12)使用边缘检测算法测定特征点(P1-P15)，计算装置(12)使用索贝尔滤波器进行边缘检测，该特征点(P1-P15)对应于可能的车道界限(M1、M2)的区域，其中消除了预期不会出现车道界限的区域，计算装置针对每个像素确定，像素是否处于一边缘附近或一边缘中，计算装置将借助索贝尔滤波器计算的数值与一预先规定的阈值加以比较；如果超越阈值，则计算装置确定，像素是与一可能的车道界限相对应的特征点；
-在各特征点(P1-P15)周围生成所捕获到的摄像机图像(K)的具有相应的预先规定的大小的图像剪裁部分，
-使用神经网络对所述图像剪裁部分进行分析，以针对所述特征点是否代表实际车道界限而对特征点(P1-P15)进行分类，其中输出所述图像剪裁部分反映车道界限(M1、M2)的概率，并且如果计算的概率超过预先规定的阈值，则该图像剪裁部分被分类为对应于车道界限，并且
-在考虑经分类的代表实际车道界限的特征点(P1-P15)的情况下，测定车辆周围环境中的车道(F)；
其中，为防止车道界限不被识别，将使一像素被检测为特征点而必须超越的阈值设置得相当低，随后，借助神经网络再次滤除由此产生的错误标识。
9.根据权利要求8所述的装置(1)，其中，计算装置设置成用于，通过对相邻的已被分类为与车道界限(M1、M2)相对应的特征点(P1-P15)进行插值，测定车道界限(M1、M2)的走向，并根据车道界限(M1、M2)的走向来确定车辆(5)能行驶的车道(F)。
10.一种用于车辆(5)的驾驶员辅助系统(4)，该驾驶员辅助系统包括：
摄像装置(2)，所述摄像装置设置成用于，捕获所述车辆(5)的周围环境的摄像机图像(K)；以及
用于根据权利要求8或9所述的用于识别车道(F)的装置(1)，所述装置根据摄像装置(2)捕获到的摄像机图像(K)来识别车道。
11.包括根据权利要求10所述的驾驶员辅助系统(4)的车辆(5)。
CN201880054786.1A 2017-09-22 2018-08-31 用于识别车道的方法和装置、驾驶员辅助系统以及车辆 Active CN111066024B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017216802.1A DE102017216802A1 (de) 2017-09-22 2017-09-22 Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102017216802.1 2017-09-22
PCT/DE2018/200078 WO2019057252A1 (de) 2017-09-22 2018-08-31 Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug

Publications (2)

Publication Number Publication Date
CN111066024A CN111066024A (zh) 2020-04-24
CN111066024B true CN111066024B (zh) 2024-07-19

Family

ID=63637607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054786.1A Active CN111066024B (zh) 2017-09-22 2018-08-31 用于识别车道的方法和装置、驾驶员辅助系统以及车辆

Country Status (5)

Country Link
US (1) US11417117B2 (zh)
JP (1) JP7548813B2 (zh)
CN (1) CN111066024B (zh)
DE (2) DE102017216802A1 (zh)
WO (1) WO2019057252A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3933755A4 (en) * 2019-03-01 2022-03-16 NEC Corporation CONTROL METHOD, LEARNING DEVICE, DISCRIMINATION DEVICE AND PROGRAM
CN112164228A (zh) * 2020-09-15 2021-01-01 深圳市点创科技有限公司 驾驶电动车未佩戴头盔行为检测方法、电子设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202877A (ja) * 1995-01-31 1996-08-09 Toyota Motor Corp 画像認識装置
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE10127034A1 (de) * 2001-06-02 2002-12-05 Opel Adam Ag Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn
JP2007003298A (ja) * 2005-06-22 2007-01-11 Toyota Motor Corp 道路モデル生成装置
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8773535B2 (en) * 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
EP2549408A1 (de) * 2011-07-20 2013-01-23 Delphi Technologies, Inc. Verfahren zur Detektion und Klassifikation von Objekten
DE102011111856B4 (de) * 2011-08-27 2019-01-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
DE102011122310A1 (de) 2011-12-23 2015-06-18 Daimler Ag Verfahren und Vorrichtung zur Erkennung von Fahrspurmarkierungen
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP6141788B2 (ja) * 2014-04-14 2017-06-07 本田技研工業株式会社 レーンマーク認識装置
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市系统服务（中国）有限公司 一种车道线追踪方法及系统
CN104967885B (zh) * 2015-03-27 2019-01-11 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
DE102015209467A1 (de) 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
CN105046235B (zh) * 2015-08-03 2018-09-07 百度在线网络技术（北京）有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US10124730B2 (en) 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN107145904A (zh) * 2017-04-28 2017-09-08 北京小米移动软件有限公司 图像类别的确定方法、装置及存储介质
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies
US10634317B2 (en) * 2017-08-03 2020-04-28 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic control of vehicle lamps during maneuvers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建

Also Published As

Publication number Publication date
DE112018003499A5 (de) 2020-04-30
CN111066024A (zh) 2020-04-24
DE102017216802A1 (de) 2019-03-28
US11417117B2 (en) 2022-08-16
US20200410256A1 (en) 2020-12-31
JP2020534600A (ja) 2020-11-26
JP7548813B2 (ja) 2024-09-10
WO2019057252A1 (de) 2019-03-28

Similar Documents

Publication Publication Date Title
US11318928B2 (en) Vehicular automated parking system
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
US8634593B2 (en) Pixel-based texture-less clear path detection
US8670592B2 (en) Clear path detection using segmentation-based method
US10147002B2 (en) Method and apparatus for determining a road condition
US8452053B2 (en) Pixel-based texture-rich clear path detection
EP1930863B1 (en) Detecting and recognizing traffic signs
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
JP5679461B2 (ja) 有効車線区分線を確定する方法及び装置
US8699754B2 (en) Clear path detection through road modeling
US9435885B2 (en) Road-terrain detection method and system for driver assistance systems
US7403219B2 (en) Driving lane recognizer and driving lane recognizing method
US10839263B2 (en) System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
JP2021517675A (ja) 路面状態と天候に基づく環境影響を認識し評価するための方法及び装置
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US20060233424A1 (en) Vehicle position recognizing device and vehicle position recognizing method
US9352746B2 (en) Lane relative position estimation method and system for driver assistance systems
US20100104137A1 (en) Clear path detection using patch approach
CN111066024B (zh) 用于识别车道的方法和装置、驾驶员辅助系统以及车辆
CN116134492A (zh) 用于对至少部分自动行驶的交通工具的环境进行环境感知的方法和装置
JP7005762B2 (ja) カメラ装置の標識認識方法及び標識認識装置
JPWO2019057252A5 (zh)
WO2021250934A1 (ja) 画像処理装置および画像処理方法
CN116977980A (zh) 一种车辆交通路口通行检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230106

Address after: Germany Ingolstadt

Applicant after: Continental Zhixing Germany Co.,Ltd.

Address before: Frankfurt, Germany

Applicant before: CONTINENTAL TEVES AG & Co. OHG

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant