CN110809766B - 高级驾驶员辅助系统和方法 - Google Patents

高级驾驶员辅助系统和方法 Download PDF

Info

Publication number
CN110809766B
CN110809766B CN201780092521.6A CN201780092521A CN110809766B CN 110809766 B CN110809766 B CN 110809766B CN 201780092521 A CN201780092521 A CN 201780092521A CN 110809766 B CN110809766 B CN 110809766B
Authority
CN
China
Prior art keywords
feature
feature coordinate
fluoroscopic image
coordinates
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780092521.6A
Other languages
English (en)
Other versions
CN110809766A (zh
Inventor
阿塔纳斯·波夫
奥纳伊·优厄法利欧格路
班基·塞蒂亚万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110809766A publication Critical patent/CN110809766A/zh
Application granted granted Critical
Publication of CN110809766B publication Critical patent/CN110809766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于车辆的高级驾驶员辅助系统(100)，所述高级驾驶员辅助系统(100)用于检测在所述车辆前方道路的透视图像中的车道标记，所述透视图像定义了消失点。所述高级驾驶员辅助系统(100)包括：特征提取单元(101)，用于从所述透视图像中提取多个特征(尤其是车道标记)，用于生成特征坐标组(尤其是车道标记坐标)，其中所述特征坐标组定义了在所述透视图像中多个特征的各自位置；处理单元(109)，用于：生成多个特征坐标对，其中每个特征坐标对定义一条直线；基于所述多个特征坐标对的子集估计车道曲率，其中对于所述多个特征坐标对的所述子集的每个特征坐标对，所述特征坐标对定义的直线与所述透视图像的预定义的目标部分相交，所述预定义的目标部分包括所述消失点的多个可能位置。

Description

高级驾驶员辅助系统和方法
技术领域
本发明涉及图像处理和分析领域。更为具体地，本发明涉及用于根据道路的车道标记的图像估计车道曲率的高级驾驶员辅助系统。
背景技术
高级驾驶员辅助系统(Advanced driver assistance system，简称ADAS)既在危险情况中警示驾驶员又积极参与驾驶，将逐渐被置入车辆中。在不久的将来，这些系统会变得越来越复杂，走向完全自主。开发此类系统的主要挑战之一就是给ADAS提供道路和车道感知能力。
道路颜色和纹理，道路边界以及车道标记都是人类驾驶的主要感知线索。半自主和全自主车辆想和人类驾驶员共享道路，因此很可能继续像人类一样取决于相同的感知线索。虽然，原则上讲，对于人类驾驶员和车辆，可能存在不同的基础设施线索(如针对人类的车道标记以及针对车辆的车辆与基础设施通信的一些形式)，但是期望巨额投资建造和维持这种双重基础设施是不现实的，因为不匹配的标记会带来相关风险。因此，通过传统线索感知道路和车道仍然是自主驾驶最可能的途径。
道路和车道理解包括在城市、农村和高速场景中检测道路的宽度，车道的数量和位置，车道和道路的汇合处、分裂处和终点。虽然近几年取得了很大的进展，但是这种理解超出了现有的感知系统的能力范围。
存在几种用于道路和车道理解的传感模态，包括视觉(即一个摄影机)、立体音响、LIDAR、从汽车里程计获得的车辆动力学信息或使用全球定位系统(Global PositioningSystem，简称GPS)和数字地图获得的带有全球定位信息的惯性测量单元(InertialMeasurement Unit，简称IMU)。基于车道标记为人类视觉而制作这一事实，视觉在车道和道路检测中是最突出的研究领域，而LIDAR和全球定位是重要补充。
一般而言，在ADAS中车道和道路检测包括从图像中提取低层特征(也称为“特征提取”)。对于道路检测，这些通常包括颜色和纹理统计，允许道路分割、道路补丁胶带分类或路缘检测。对于车道检测，收集车道标记的证据，例如以特征坐标的形式，即潜在车道标记坐标。特征提取阶段提供的特征坐标组(即车道候选坐标)，通常包括一些离群值，即车道候选坐标。为了估计车道曲率的最终目的，通常将线路拟合到所述特征坐标组上，任务是找到特征坐标组，该特征坐标组极有可能支持所述图像上的所述车道标记对应的线路模型。
对于线路拟合，通常采用一种被称为RANSAC的流行方法，该方法最初见于MartinA.Fischler和Robert C.Bolles，“随机抽样一致性：模型拟合应用于图像分析和自动制图中的应用范例”，ACM通信，24(6)：381–395，1981。RANSAC的计算成本与迭代次数成比例，迭代次数是在找到足够好的模型之前选择的假设集的数量。这通常不足以应用于实时应用程序，如ADAS。
RANSAC方法最近的一些改进属于条件采样的范畴，如安东尼·梅尔、马里恩·德克鲁兹和詹姆斯·克劳利所著的《BetaSAC：RANSAC新的条件采样》、弗雷德里克·拉博罗斯、雷耶·茨威格拉尔、刘永怀和伯尼·提德曼共同编辑的《英国机器视觉会议论文集》，第42.1-42.11页，BMVA出版社，2010年9月，doi:10.5244/C.24.42中公开的BetaSAC，以及Boterill,T.，Mills,S.和Green,R.的“用于加速ransac的新的条件采样策略”，《英国机器视觉会议论文集》(2009)中公开的BaySAC和SimSAC。例如，BetaSAC增量地构建假设集，根据为该集选择的以前的数据条件选择数据点。这种采样表明，在正常值比率方面提供了更合适的样本，并有可能得到更准确的参数估计。然而，这些改进并不能应用到车道标记检测的具体问题上。
因此，需要改进的高级驾驶员辅助系统以及对应的方法。
发明内容
本发明的目的是提供改进的高级驾驶员辅助系统以及对应的方法。
上述和其它目的通过独立权利要求的主题来实现。进一步的实现形式在从属权利要求、具体实施方式和附图中显而易见。
根据第一方面，本发明涉及车辆的高级驾驶员辅助系统。所述高级驾驶员辅助系统用于检测车辆前方道路的透视图像中的车道标记，所述透视图像定义了所述道路的消失点。正如所理解的，在所述透视图像中的所述消失点的位置可取决于，例如用于捕获所述透视图像的摄像头相对于所述道路的位置和/或朝向，以及所述道路的属性，例如道路曲率、道路倾斜度等。
根据所述第一方面，所述高级驾驶员辅助系统包括：特征提取单元，用于从所述透视图像中提取多个特征(尤其是车道标记)，用于生成特征坐标组(尤其是车道标记坐标)，其中所述特征坐标组定义了所述透视图像中多个特征的各自位置；处理单元，用于生成多个特征坐标对，其中每个特征坐标对定义一条直线且基于多个特征坐标对的子集估计车道曲率，对于所述多个特征坐标对的所述子集的每个特征坐标对，由所述特征坐标对定义的各自的直线与所述透视图像的预定义的目标部分相交，所述预定义的目标部分包括所述消失点的多个可能位置。
因此，提供了改进的ADAS。所述改进的ADAS基于通过应用特定的约束来细化采样方案，如所述RANSAC算法的一般思路，该约束须由用于所述模型拟合的特征坐标来满足。选择适合于车道标记检测的具体问题的所述约束。简而言之，所述目标部分(即所述图像中可能出现所述消失点的区域)的所述先验定义被选择为“引导”或“指导”所述采样方案，特别是所述RANSAC算法的约束。因此，所述改进的ADAS显著提高了稳健性和速度，并显著降低了计算复杂度。
在所述第一方面的另外实现方式中，所述预定义的目标部分在所述透视图像中具有四边形的形状，此形状例如由所述四边形的目标部分的宽度、高度、中心点或角的所述坐标定义。这允许对所述预定义的目标部分进行计算高效的定义。
在所述第一方面的另外实现方式中，所述处理单元用于通过RANSAC算法，基于所述多个特征坐标对的所述子集估计所述车道曲率。
在所述第一方面的另外实现方式中，所述处理单元用于通过RANSAC算法执行以下步骤，基于所述多个特征坐标对的所述子集估计所述车道曲率：随机挑选n个特征坐标对，其中n是生成拟合模型所需的最小数量；基于所述n个特征坐标对生成所述拟合模型；统计与该拟合模型一致的特征坐标对的数量；重复上述步骤直到找到与大量特征坐标对相一致的拟合模型。
在所述第一方面的另外实现方式中，所述处理单元用于通过以下方式生成所述多个特征坐标对：把所述透视图像分成多个水平延伸条带，并从所述透视图像由下到上处理所述多个水平延伸条带。
在所述第一方面的另外实现方式中，对于当前处理的水平延伸条带，所述处理单元用于将所述当前处理的水平延伸条带分成多个源窗口，并从位于所述多个源窗口中的至少一个的至少一个特征中选择特征坐标，生成特征坐标对的第一特征坐标。
在所述第一方面的另外实现方式中，对于当前处理的水平延伸条带，所述处理单元用于将位于所述当前处理的水平延伸条带上方的所述相邻的水平延伸条带分成多个目的窗口，并从位于多个目的窗口中的至少一个的至少一个特征中选择特征坐标，生成特征坐标对的第二特征坐标。
在所述第一方面的另外实现方式中，位于所述当前处理的水平条带上方的所述相邻的水平延伸条带的所述多个目的窗口至少部分重叠。
在所述第一方面的另外实现方式中，所述处理单元用于：将所述多个特征坐标对的所述子集的多个特征坐标对定义的所述多条直线聚集到包括一条或多条所述多条直线的直线集群组中；并为每个直线集群确定一条有代表性的集群线。
在所述第一方面的另外实现方式中，所述处理单元用于基于所述有代表性的集群线组估计所述车道曲率。
在所述第一方面的另外实现方式中，所述系统还包括立体摄像头，用于提供所述车辆前方道路的所述透视图像作为具有第一通道和第二通道的立体图像。
在所述第一方面的另外实现方式中，所述特征提取器用于从所述立体图像的所述第一通道和所述立体图像的所述第二通道中独立提取特征；所述系统还包括过滤单元，用于确定已经从所述立体图像的所述第一通道和所述第二通道中提取的这些特征。
根据第二方面，本发明涉及一种检测车辆前方道路的透视图像中的车道标记的对应方法，其中所述透视图像定义了所述道路的消失点。所述方法包括如下步骤：从所述透视图像中提取多个特征(尤其是车道标记)，用于生成特征坐标组(尤其是车道标记坐标)，其中所述特征坐标组定义了所述透视图像中所述多个特征的各自位置；生成多个特征坐标对，其中每个特征坐标对定义一条直线；根据所述多个特征坐标对的子集估计车道曲率，其中对于所述多个特征坐标对的所述子集的每个特征坐标对，由所述特征坐标对定义的各自的直线与所述透视图像的预定义的目标部分相交，所述预定义的目标部分包括所述消失点的多个可能位置。
本发明第二方面所述的方法可以由本发明第一方面所述的ADAS执行。本发明第二方面所述的方法的更多特征直接从根据本发明第一方面及其不同实现方式所述的ADAS的功能中得到。
根据第三方面，本发明涉及一种包括程序代码的计算机程序，所述计算机程序在计算机或处理器上被执行时用于执行第二方面所述的方法。
本发明可以硬件和/或软件的方式来实现。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1示出了一实施例提供的高级驾驶员辅助系统的示意图；
图2示出了一实施例提供的高级驾驶员辅助系统不同方面的示意图；
图3示出了一实施例提供的由高级驾驶员辅助系统处理和分析的道路示例性透视图的示意图；
图4示出了一实施例提供的高级驾驶员辅助系统不同方面的示意图；
图5示出了一实施例提供的高级驾驶员辅助系统中实现的若干处理步骤的示意图；
图6示出了一实施例提供的高级驾驶员辅助系统不同方面的示意图；
图7示出了一实施例提供的高级驾驶员辅助系统的操作方法的示意图。
在各种附图中，相同的或至少功能等同的特征使用相同的标号。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或系统也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性方面的特征可彼此组合。
图1示出了车辆一实施例提供的高级驾驶员辅助系统(ADAS)100的示意图。所述高级驾驶员辅助系统(ADAS)100用于检测车辆前方道路的透视图像中的车道标记，所述透视图像定义了所述道路的消失点。正如所理解的，在所述透视图像中的所述消失点的位置可以取决于，例如用于捕获所述透视图像的所述车辆摄像头相对于所述道路的位置和/或朝向，以及所述道路的属性，例如道路曲率、道路倾斜度等。
如图1所示的所述实施例中，所述ADAS 100包括立体摄像头。该立体摄像头用于提供具有第一通道或左摄像头图像103a、第二通道或右摄像头图像103b的立体图像。所述立体摄像头可安装在所述车辆的合适位置，以便所述左摄像头图像103a和所述右摄像头图像103b至少提供所述车辆前方环境的部分视图，例如道路的一部分。所述ADAS 100的所述立体摄像头的准确位置和/或朝向定义摄像头投影参数Θ。
如图1所示，所述ADAS 100还包括特征提取器101，所述特征提取器101用于从所述透视图像中提取特征，如所述立体摄像头提供的所述左摄像头图像103a、所述右摄像头图像103b。所述特征提取器101提取的特征可包括所述透视图像所示的道路上的车道标记坐标，如x和y坐标。
此外，所述ADAS 100包括处理单元109，所述处理单元109用于：生成多个特征坐标对，其中每个特征坐标对定义一条直线；基于所述多个特征坐标对的子集估计车道曲率，其中对于所述多个特征坐标对的所述子集的每个特征坐标对，由所述特征坐标对定义的各自的直线与所述透视图像的预定义的目标部分相交，所述预定义的目标部分包括所述消失点的多个可能位置。将在下面(特别是在图3的上下文中)更详细地描述。
如图1所示，所述ADAS 100的所述特征提取器101可用于将道路的所述透视图像分成多个水平条带，所述透视图像的每个水平条带对应于与车辆平均距离不同的不同道路部分。所述特征提取器101还可用于基于多个内核从所述多个水平条带中提取特征，每个内核与内核宽度相关联。
在一实施例中，所述特征提取器101还可用于进行卷积操作，并将各自卷积操作的结果与用于提取所述特征(特别是车道标记的坐标)的各自阈值进行比较。在数学上，这种卷积操作可通过以下二维离散卷积方程来描述：
Figure BDA0002334400640000041
其中，所述内核K是大小(Kr×Kc)或(内核行或高×内核列或宽)的矩阵，I(i,j)和O(i，j)表示输入和输出图像强度值的各自阵列。所述ADAS 100的所述特征提取器101可用于基于水平一维内核K(即内核矩阵只取决于m(即水平方向)而不取决于n(即垂直方向)的内核)进行特征提取。
如图1所示的示例性实施例中，将由所述特征提取器101提取的所述特征提供至用于确定这些特征的单元105，这些特征是从所述立体图像的左摄像头图像103a和右摄像头图像103b提取的。只有由所述单元105确定的这些匹配特征才会传递至用于过滤离群值的过滤单元107。将所过滤的特征坐标提供至所述处理单元109。
如图1所示，所述ADAS 100还可以包括单元104，用于进行鸟瞰视图和透视图之间的转换，反之亦然。图2示出了车辆前方示例性环境的鸟瞰视图200和对应的透视图像视图200'之间的关系，即道路分别包括两个示例性的车道标记201a，b和201a'，b'。
通过变换矩阵H，可以实现从所述鸟瞰视图(即所述非失真视图200)到所述透视图像视图(即所述失真视图200')的几何变换，所述矩阵将所述失真域的每个点映射到非失真域的对应点，反之亦然，因为变换操作是可逆的。
Lx和Ly分别是车道标记和采样步骤的非失真预期宽度。它们可从所述摄像头投影参数Θ，所述车道标记的期望物理宽度Ω，虚线标记之间的期望物理间隙Ψ中获取。
Ly＝f(Θ，Ω，Ψ)
Lx＝f(Θ，Ω，Ψ)
在图像视图中，索引r的每个水平条带都有失真采样步骤L′y(r)的高度，该高度对应非失真采样步骤，即Ly。
在条带r上的车道标记的所述预期宽度用失真预期宽度L′x(r)表示，该宽度对应车道标记Lx的非失真预期宽度。通过变换矩阵H，可以实现从所述失真域(原始图像)到所述非失真域(鸟瞰视图)的几何变换，所述矩阵将所述失真域的每个点映射到非失真域的对应点。此操作是可逆的。
如图2的所述透视图像视图200'所示以及图1上下文已经提到的，所述ADAS100的所述特征提取器101可用于将所述示例性透视输入图像200'分离成多个水平条带，即水平延伸条带。在图2中，示出了两个示例性水平条带，即由第一条带标识符r标识的第一示例性水平条带203a'以及由第二条带标识符r+4标识的第二示例性水平条带203b'。如图2所示的示例性实施例中，所述第二示例性水平条带203b'位于所述第一示例性水平条带203a'的上方，因此提供了道路部分的图像，该道路部分与ADAS 100相机的平均距离大于所述第一示例性水平条带203a'覆盖的道路部分。
正如所理解的以及如图2所示，由于失真效应，在所述水平条带203a'中的所述车道标记201a'的所述水平宽度L′x(r)大于所述水平条带203b'中的所述车道标记201a'的所述水平宽度L′x(r+4)。同样地，所述水平条带203a'的所述垂直高度L′y(r)大于所述水平条带203b'的所述垂直高度L′y(r+4)。
正如上文所提及的，图1所示的所述ADAS的所述处理单元109用于：生成多个特征坐标对，其中每个特征坐标对定义一条直线；基于所述多个特征坐标对的子集估计车道曲率，其中对于所述多个特征坐标对的所述子集的每个特征坐标对，由所述特征坐标对定义的各自的直线与所述透视图像的预定义的目标部分相交，所述预定义的目标部分包括所述消失点的多个可能位置。
图3示出了具有示例性预定义的目标部分301(即消失点可能出现的区域)的道路示例性透视图像300。正如所理解的，在所述透视图像300中所述消失点的位置可取决于以下参数：用于捕获所述透视图像300的摄像头相对于所述道路的所述位置和/或朝向，以及所述道路的属性，如所述道路曲率，道路倾斜度等。如图3所示的所述示例性预定义的目标部分301具有四边形的形状，例如由所述四边形目标部分301的宽度、高度、中心点或角的坐标定义。也可使用所述预定义的目标部分301的其它形状。
除了所述预定义的目标部分301，图3示出了所述ADAS 100的所述特征提取器101提供的多个特征坐标，例如所述特征坐标302a和303a。这些特征坐标可与所述处理单元109用于估计车道曲率的各自拟合模型一致(“正常值”)或不一致(“离群值”)。
在一实施例中，所述ADAS 100的所述处理单元109用于通过RANSAC(随机抽样一致性)算法，根据所述多个特征坐标对的所述子集估计所述车道曲率。因此，在一实施例中，所述ADAS 100的所述处理单元109用于通过以下步骤基于所述多个特征坐标对的所述子集估计所述车道曲率：随机挑选n个特征坐标对，其中n是生成拟合模型所需的最小数量；基于所述n个特征坐标对生成所述拟合模型；统计与该拟合模型一致的特征坐标对的数量；重复上述步骤直到找到与大量特征坐标对相一致的拟合模型。
如图3所示，所述ADAS 100的所述处理单元109用于通过以下方式生成所述多个特征坐标对：将所述透视图像300分成多个水平延伸条带(如当前处理的水平条带304和相邻的水平条带306)以及从所述透视图像300由下而上处理所述多个水平延伸条带。所述处理单元109可用于将所述当前处理的水平延伸条带304分成多个源窗口(如所述示例性源窗口302)且通过从位于所述源窗口302的特征302a处选择特征坐标，生成特征坐标对的第一特征坐标。所述处理单元109还可用于将直接位于所述条带304上方的所述相邻的水平延伸条带306分成多个目的窗口(如所述示例性目的窗口303)且通过从位于所述目的窗口303的特征303a处选择特征坐标，生成特征坐标对的第二特征坐标。然而，如果这些特征坐标定义的直线(即如图3所示的所述直线305)与所述透视图像300的所述预定义的目标部分301相交，所述处理单元109选择与所述特征302a、303a相关联的对应的特征坐标对，并使用所述特征坐标对估计所述车道曲率。如果情况不是这样，所述对应的特征坐标对被认为是离群值，RANSAC算法不会将其用于估计所述车道曲率。如图3所示，所述多个目的窗口可至少部分重叠。
正如所理解的，源/目的窗口可包含零个或多个特征坐标，并且可具有任意定义的大小。在一实施例中，所述目的窗口可比所述源窗口更宽。源窗口可以看作是位于所述透视图像300中的网格。所述网格不一定是等距的。例如，通过将图像宽度除以常量cw，将图像高度除以常量ch，就可以得到一个等距网格。在一实施例中，所述扫描操作将源窗口置于所述透视图像300中可能的车道标记外观上，例如仅扫描所述透视图像300的下半部。
如上所述，目的窗口(可以被认为定义了引导搜索区域)位于所述源窗口条带“上方”的所述水平条带上。源窗口和目的窗口之间没有重叠。它们之间可能重叠了所述目的窗口。在一实施例中，目的窗口的构造考虑到所述目标部分(即所述消失点可能出现的区域(例如给定立体摄像头，所述消失点可能在所述摄像头中间以一定距离出现))的先验定义。因此，位于左侧的源窗口的所述目的窗口往往占据所述源窗口右侧的更多空间。所述窗口水平和垂直扫描所述图像。
如图4所示，目的窗口的相对大小，如所述目的窗口303，所述目的窗口303的所述预定义目标部分301和相对于位于所述源窗口302中的特征302a的朝向可由两个角α、β表示。在一实施例中，这些角将确定所述目的窗口303的偏移量和宽度。所述角是考虑到所述目标部分301(即所述消失点可能出现的区域)推导出来的。
图5示出了一实施例提供的总结所述ADAS 100的所述处理单元109实现的所述处理步骤的示意图。
在预处理阶段501中，所述透视图像300(或至少其中的一部分)基于所述目标部分301(即所述消失点可能出现的区域)的先验定义，分成源窗口(如源窗口302)和对应的(可能重叠的)目的窗口(如所述目的窗口303)。
在处理阶段503中，对每个源-目的窗口对执行以下步骤：
在步骤503a中，获取所述源窗口(如所述源窗口302)中的特征坐标组，以及所述目的窗口(如所述目的窗口303)中的特征坐标组。
在步骤503b中，选择N(N<＝所有可能的组合)个不同的特征对，其中每一特征对包括来自所述源窗口302的特征坐标和来自所述目的窗口303的特征坐标。
在步骤503c中，通过将所述直线拟合到所选的特征对，确定从所述源窗口302到所述目的窗口303的直线(如所述直线305)。
上述步骤503a-c为每个源-目的窗口对提供了一组初始线。在最后阶段505中，通过将这些直线聚集成一组包括一条或多条直线的直线集群，并为每个直线集群确定具有代表性的集群线，可进一步处理该组初始线。在此实施例中，所述ADAS的所述处理单元109可根据该组代表性的集群线估计所述车道曲率。
图6还说明了所述源窗口(如所述源窗口302)和所述目的窗口(如所述目的窗口303)之间的关系，用于确定所述车道曲率。
图7是示出了检测车辆前方道路的透视图像中的车道标记的对应方法700的示意图，其中所述透视图像定义所述道路的消失点。所述方法700包括如下步骤：从所述透视图像中提取701多个特征(尤其是车道标记)，用于生成特征坐标组(尤其是车道标记坐标)，其中所述特征坐标组定义了在所述透视图像中所述多个特征的各自位置；生成703多个特征坐标对，其中每个特征坐标对定义一条直线；根据所述多个特征坐标对的子集估计705车道曲率，其中对于所述多个特征坐标对的所述子集的每个特征坐标对，由所述特征坐标对定义的各自的直线与所述透视图像的预定义的目标部分相交，所述预定义的目标部分包括所述消失点的多个可能位置。
尽管本发明的特定特征或方面可能已经仅结合几种实施方式或实施例中的一种进行公开，但此类特征或方面可以和其它实施方式或实施例中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其它变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”，“例如”仅表示为示例，而不是最好或最佳的。可以使用术语“耦合”和“连接”及其派生词。应当理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但所属领域的技术人员应了解，多种替代和/或等效实施方式可在不脱离本发明的范围的情况下所示和描述的特定方面。该申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，所属领域的技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但所属领域的技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (14)

1.一种高级驾驶员辅助系统(100)，应用于车辆，其特征在于，所述高级驾驶员辅助系统(100)用于检测所述车辆前方道路的透视图像(300)中的车道标记，所述透视图像定义了消失点，其中所述高级驾驶员辅助系统(100)包括：
特征提取单元(101)，用于从所述透视图像(300)中提取多个特征，所述多个特征包括车道标记，用于生成特征坐标组，所述特征坐标组包括车道标记坐标，所述特征坐标组定义了在所述透视图像(300)中所述多个特征的各自位置；
处理单元(109)，用于：生成多个特征坐标对，其中每个特征坐标对定义一条直线；根据多个特征坐标对的子集估计车道曲率，其中对于所述多个特征坐标对的所述子集的每个特征坐标对，由所述特征坐标对定义的直线与所述透视图像(300)的预定义的目标部分(301)相交，其中所述预定义的目标部分(301)包括所述消失点的多个可能位置。
2.根据权利要求1所述的系统(100)，其特征在于，所述预定义的目标部分(301)在所述透视图像(300)中具有四边形的形状。
3.根据权利要求1或2所述的系统(100)，其特征在于，所述处理单元(109)用于通过RANSAC算法，基于所述多个特征坐标对的所述子集估计所述车道曲率。
4.根据权利要求3所述的系统(100)，其特征在于，所述处理单元(109)用于通过RANSAC算法执行以下步骤，基于所述多个特征坐标对的所述子集估计所述车道曲率：随机挑选n个特征坐标对，其中n是生成拟合模型所需的最小数量；基于所述n个特征坐标对生成所述拟合模型；统计与该拟合模型一致的特征坐标对的数量；重复上述步骤直到找到与大量特征坐标对相一致的拟合模型。
5.根据权利要求1-2和4任一项所述的系统(100)，其特征在于，所述处理单元(109)用于通过以下方式生成所述多个特征坐标对：将所述透视图像(300)分成多个水平延伸条带(304、306)，并由下到上处理所述多个水平延伸条带(304、306)。
6.根据权利要求5所述的系统(100)，其特征在于，对于当前处理的水平延伸条带(304)，所述处理单元(109)用于：将所述当前处理的水平延伸条带(304)分成多个源窗口(302)；通过从位于多个源窗口(302)中的至少一个的至少一个特征(302a)中选择特征坐标，生成特征坐标对的第一特征坐标。
7.根据权利要求6所述的系统(100)，其特征在于，对于所述当前处理的水平延伸条带(304)，所述处理单元(109)用于：将位于所述当前处理的水平延伸条带(304)上方的相邻的水平延伸条带(306)分成多个目的窗口(303)；通过从位于所述多个目的窗口(303)中至少一个的至少一个特征(303a)选择特征坐标，生成特征坐标对的第二特征坐标。
8.根据权利要求7所述的系统(100)，其特征在于，位于所述当前处理的水平延伸条带(304)上方的所述相邻的水平延伸条带(306)的所述多个目的窗口(303)至少部分重叠。
9.根据权利要求1-2和6-8任一项所述的系统(100)，其特征在于，所述处理单元(109)用于：将所述多个特征坐标对的所述子集的所述多个特征坐标对定义的多条直线聚集到包括一条或多条所述多条直线的直线集群组中；为每个直线集群确定一条有代表性的集群线。
10.根据权利要求9所述的系统(100)，其特征在于，所述处理单元(109)用于基于所述有代表性的集群线组估计所述车道曲率。
11.根据权利要求1-2、6-8和10任一项所述的系统(100)，其特征在于，所述系统(100)还包括立体摄像头，用于提供所述车辆前方道路的所述透视图像作为具有第一通道(103a)和第二通道(103b)的立体图像。
12.根据权利要求11所述的系统(100)，其特征在于，所述特征提取单元(101)用于从所述立体图像的所述第一通道(103a)和所述立体图像的所述第二通道(103b)中独立提取特征；所述系统(100)还包括过滤单元(107)，用于确定已经从所述立体图像的所述第一通道(103a)和所述第二通道(103b)中提取的这些特征。
13.一种高级驾驶员辅助方法，用于检测车辆前方道路的透视图像(300)中的车道标记，其特征在于，所述透视图像(300)定义了消失点，其中所述方法包括：
从所述透视图像(300)中提取多个特征，所述多个特征包括车道标记，用于生成特征坐标组，所述特征坐标组包括车道标记坐标，其中所述特征坐标组定义了在所述透视图像(300)中的多个特征的各自位置；
生成多个特征坐标对，其中每个特征坐标对定义一条直线；
基于所述多个特征坐标对的子集估计车道曲率，其中对于所述多个特征坐标对的所述子集的每个特征坐标对，所述特征坐标对定义的直线与所述透视图像(300)的预定义的目标部分(301)相交，所述预定义的目标部分(301)包括所述消失点的多个可能位置。
14.一种包括程序代码的计算机程序，其特征在于，所述计算机程序在被计算机或处理器执行时用于执行权利要求13所述的方法(700)。
CN201780092521.6A 2017-06-28 2017-06-28 高级驾驶员辅助系统和方法 Active CN110809766B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/065986 WO2019001698A1 (en) 2017-06-28 2017-06-28 ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD

Publications (2)

Publication Number Publication Date
CN110809766A CN110809766A (zh) 2020-02-18
CN110809766B true CN110809766B (zh) 2022-08-09

Family

ID=59276734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780092521.6A Active CN110809766B (zh) 2017-06-28 2017-06-28 高级驾驶员辅助系统和方法

Country Status (4)

Country Link
US (1) US11164012B2 (zh)
EP (1) EP3631675B1 (zh)
CN (1) CN110809766B (zh)
WO (1) WO2019001698A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671300B (zh) * 2019-01-16 2021-03-19 上海交通大学 一种多车协作车道检测方法
CN112050821B (zh) * 2020-09-11 2021-08-20 湖北亿咖通科技有限公司 一种车道线聚合方法
CN112365549B (zh) * 2021-01-12 2021-04-09 腾讯科技（深圳）有限公司 车载相机的姿态校正方法、装置和存储介质及电子装置
CN114821531B (zh) * 2022-04-25 2023-03-28 广州优创电子有限公司 基于电子外后视镜adas的车道线识别图像显示系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256854A (ja) * 2002-02-27 2003-09-12 Nissan Motor Co Ltd 道路白線認識装置
TWI228086B (en) * 2003-12-03 2005-02-21 Ind Tech Res Inst Lane departure warning device and method of forming the same
CN101101333A (zh) * 2006-07-06 2008-01-09 三星电子株式会社 用于产生行进车辆的驾驶员辅助信息的设备和方法
CN101470801A (zh) * 2007-12-24 2009-07-01 财团法人车辆研究测试中心 车辆偏移的检知方法与装置
KR101268473B1 (ko) * 2013-02-25 2013-06-04 주식회사 피엘케이 테크놀로지 기준 소실점 자동 보정 방법 및 그를 이용한 영상 인식 장치
CN103535029A (zh) * 2011-06-13 2014-01-22 本田技研工业株式会社 驾驶辅助装置
CN104866817A (zh) * 2015-04-24 2015-08-26 河南科技大学 基于梯度约束的统计霍夫变换车道检测方法
JP2016009333A (ja) * 2014-06-24 2016-01-18 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
CN105691299A (zh) * 2014-12-10 2016-06-22 Lg电子株式会社 车辆驾驶辅助装置及车辆
KR20160083410A (ko) * 2014-12-31 2016-07-12 가천대학교 산학협력단 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3736346B2 (ja) * 2000-12-26 2006-01-18 日産自動車株式会社 車線検出装置
JP2004199341A (ja) * 2002-12-18 2004-07-15 Nissan Motor Co Ltd 道路白線認識装置
US20110010041A1 (en) * 2003-01-30 2011-01-13 Smr Patents S.A.R.L. Software for an automotive hazardous detection and information system
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
US8462988B2 (en) * 2007-01-23 2013-06-11 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
CN106778593B (zh) * 2016-12-11 2020-02-07 北京联合大学 一种基于多地面标志融合的车道级定位方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256854A (ja) * 2002-02-27 2003-09-12 Nissan Motor Co Ltd 道路白線認識装置
TWI228086B (en) * 2003-12-03 2005-02-21 Ind Tech Res Inst Lane departure warning device and method of forming the same
CN101101333A (zh) * 2006-07-06 2008-01-09 三星电子株式会社 用于产生行进车辆的驾驶员辅助信息的设备和方法
CN101470801A (zh) * 2007-12-24 2009-07-01 财团法人车辆研究测试中心 车辆偏移的检知方法与装置
CN103535029A (zh) * 2011-06-13 2014-01-22 本田技研工业株式会社 驾驶辅助装置
KR101268473B1 (ko) * 2013-02-25 2013-06-04 주식회사 피엘케이 테크놀로지 기준 소실점 자동 보정 방법 및 그를 이용한 영상 인식 장치
JP2016009333A (ja) * 2014-06-24 2016-01-18 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
CN105691299A (zh) * 2014-12-10 2016-06-22 Lg电子株式会社 车辆驾驶辅助装置及车辆
KR20160083410A (ko) * 2014-12-31 2016-07-12 가천대학교 산학협력단 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법
CN104866817A (zh) * 2015-04-24 2015-08-26 河南科技大学 基于梯度约束的统计霍夫变换车道检测方法
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Applying Visual Image and Satellite Positioning for Fast Vehicle Detection and Lane Marking Recognition;Bao Rong Chang 等;《2009 Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing》;20091117;全文 *
车辆辅助驾驶系统中的三车道检测算法;王家恩 等;《汽车工程》;20141130;第36卷(第11期);全文 *

Also Published As

Publication number Publication date
EP3631675A1 (en) 2020-04-08
CN110809766A (zh) 2020-02-18
EP3631675B1 (en) 2023-09-13
WO2019001698A1 (en) 2019-01-03
US20200134326A1 (en) 2020-04-30
US11164012B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
EP2811423B1 (en) Method and apparatus for detecting target
US11164012B2 (en) Advanced driver assistance system and method
US8611585B2 (en) Clear path detection using patch approach
JP5687712B2 (ja) レーン認識装置
JP4363295B2 (ja) ステレオ画像による平面推定方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
JP2003228711A (ja) レーンマーク認識方法
CN108280450A (zh) 一种基于车道线的高速公路路面检测方法
CN110276343B (zh) 图像的分割和注释的方法
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
JP6753134B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
Suddamalla et al. A novel algorithm of lane detection addressing varied scenarios of curved and dashed lanemarks
US20200143176A1 (en) Advanced driver assistance system and method
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
US20200193184A1 (en) Image processing device and image processing method
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
JP6132807B2 (ja) レーンマーク認識装置
JP7344032B2 (ja) 画像処理装置
CN111937004A (zh) 用于检测车道和道路的方法
CN117152210B (zh) 基于动态观测视场角的图像动态追踪方法及相关装置
JP7344031B2 (ja) 画像処理装置
Wang et al. A novel lane changing algorithm with efficient method of lane detection
JP2007299414A (ja) レーンマーク認識装置
CN117593355A (zh) 路面要素面积计算方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant