CN110809767B - 高级辅助驾驶系统和方法 - Google Patents

高级辅助驾驶系统和方法 Download PDF

Info

Publication number
CN110809767B
CN110809767B CN201780092552.1A CN201780092552A CN110809767B CN 110809767 B CN110809767 B CN 110809767B CN 201780092552 A CN201780092552 A CN 201780092552A CN 110809767 B CN110809767 B CN 110809767B
Authority
CN
China
Prior art keywords
kernel
width
average distance
horizontal stripe
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780092552.1A
Other languages
English (en)
Other versions
CN110809767A (zh
Inventor
阿塔纳斯·波夫
奥纳伊·优厄法利欧格路
班基·塞蒂亚万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110809767A publication Critical patent/CN110809767A/zh
Application granted granted Critical
Publication of CN110809767B publication Critical patent/CN110809767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Abstract

本发明涉及一种用于车辆的高级驾驶系统(100)，其中，所述高级辅助驾驶系统(100)用于检测所述车辆前方道路的透视图像中的车道标记。所述高级辅助驾驶系统(100)，包括特征提取器(101)，用于将所述道路的透视图像分成多个水平条纹，其中所述透视图像的每个水平条纹对应于距离所述车辆不同的平均距离处的不同的道路部分，其中所述特征提取器还用于使用多个内核从所述多个水平条纹中提取特征，每个内核与内核宽度相关联，其中所述提取是通过使用与第一内核宽度相关联的第一内核来处理对应于第一平均距离处的第一道路部分的第一水平条纹、使用与第二内核宽度相关联的第二内核来处理对应于第二平均距离处的第二道路部分的第二水平条纹以及使用与第三内核宽度相关联的第三内核来处理对应于第三平均距离处的第三道路部分的第三水平条纹来进行，所述第一平均距离小于所述第二平均距离，所述第二平均距离小于所述第三平均距离，其中所述第一内核宽度与所述第二内核宽度的比率大于所述第二内核宽度与所述第三内核宽度的比率。

Description

高级辅助驾驶系统和方法
技术领域
本发明涉及图像处理领域。更具体地，本发明涉及一种用于检测车道标记的高级辅助驾驶系统。
背景技术
无论是在危险情况下警告驾驶员还是积极参与驾驶，高级辅助驾驶系统(advanced driver assistance system，简称ADAS)都逐渐被嵌入到车辆中。在不久的将来，此类系统将变得越来越复杂，走向完全自主。开发这些系统的主要挑战之一是提供具有道路和车道感知能力的ADAS。
道路颜色和纹理、道路边界和车道标记是人类驾驶的主要感知提示。半自动和完全自动车辆有望与人类驾驶员共享道路，因此是最有可能和人类一样继续依赖于相同感知提示。虽然原则上可以针对人类驾驶员和车辆有不同的基础设施提示(例如，针对人类的车道标记和针对车辆的某种形式的车辆到基础设施通信)，但是期望构建和维护这种双重基础设施所需的巨大投资是不现实的，并且标记不匹配会带来相关风险。因此，通过传统提示的道路和车道感知仍然是通向自动驾驶的最可能途径。
道路和车道的理解包括在城市、乡村和高速公路场景中检测道路的范围、车道的数量和位置，合并、分割和终止车道和道路。尽管近年来取得了较大进展，但这种理解已经超出了当前感知系统的范围。
有几种用于道路和车道理解的感测方式，包括(即，一个摄像机)、立体声、LIDAR、从汽车里程表或惯性测量单元(Inertial Measurement Unit，简称IMU)获得的车辆动力信息以及使用全球定位系统(Global Positioning System，简称GPS)和数字地图获得的全球定位信息。视觉是车道和道路检测中最突出的研究领域，这是由于车道标记是为人类视觉而制作，而LIDAR和全球定位则是重要的补充。
通常，ADAS中的车道和道路检测包括从图像中提取低级特征(也称为“特征提取”)。针对道路检测，这些通常包括允许道路分割、道路补丁分类或路缘检测的颜色和纹理统计。针对车道检测，收集车道标记的证据。
基于视觉的特征提取方法依赖于滤波器的使用，滤波器通常基于内核，因此需要指定内核规模。许多传统方法，如J.McCall和M.Trivedi在2006年的《IEEE智能交通系统汇刊》第七卷第一期中公开的“基于视频的车道估计和跟踪进行驾驶辅助：调查、系统和评估”，选择在逆透视图像域或鸟瞰域(非失真域)中工作，以避免内核的大小发生变化。在此域中，以补偿透视失真的方式对原始图像(失真图像)进行变换。
其他传统方法，如Huang等人在2009年的《自主机器人》第二十六卷第103至122页公开的“利用视觉和LIDAR在城市道路网络中寻找多条车道”，采用在(透视)图像域中执行滤波的其它方法，其中透视失真通过使内核大小变化来补偿。Huang等人提出了一种用于提取特征的特定内核形状。
尽管上述传统方法提供了一些优点，但仍有改进的余地。因此，需要一种改进的高级辅助驾驶系统以及相应的方法。
发明内容
本发明的目的在于提供一种改进的高级辅助驾驶系统及相应的方法。
上述和其它目的通过独立权利要求的主题来实现。进一步的实施形式在从属权利要求、具体说明和附图中显而易见。
根据第一方面，本发明涉及一种用于车辆的高级辅助驾驶系统(advanced driverassistance system，简称ADAS)，其中所述ADAS用于检测所述车辆前方道路的透视图像中的车道标记。所述ADAS包括特征提取器，用于将所述道路的所述透视图像分成多个水平条纹，其中所述透视图像的每个水平条纹对应于距离所述车辆不同的平均距离处的不同的道路部分。所述特征提取器还用于使用多个内核从所述多个水平条纹中提取特征(例如，车道标记的坐标)，每个内核与内核宽度相关联，所述提取通过使用与第一内核宽度相关联的第一内核来处理对应于第一平均距离处的第一道路部分的第一水平条纹、使用与第二内核宽度相关联的第二内核来处理对应于第二平均距离处的第二道路部分的第二水平条纹以及使用与第三内核宽度相关联的第三内核来处理对应于第三平均距离处的第三道路部分的第三水平条纹来进行，所述第一平均距离小于所述第二平均距离，所述第二平均距离小于所述第三平均距离，其中所述第一内核宽度与所述第二内核宽度的比率大于所述第二内核宽度与所述第三内核宽度的比率。
因此，提供了一种改进的ADAS。所述改进的ADAS使用具有可变内核宽度的特征提取，其中例如，对照所述内核高度，所述内核宽度以较低的速率减小，以考虑随着特征尺寸变小而引起的摄像机传感器噪声的增加的影响。
在第一方面进一步的实现方式中，所述第一水平条纹与所述第二水平条纹相邻，所述第二水平条纹与所述第三水平条纹相邻。
在第一方面进一步的实现方式中，所述多个内核中的每个内核由多个内核权重定义，且每个内核包括左和右外内核部分、左和右中间内核部分以及中心内核部分，所述中心内核部分包括左和右中心内核部分，其中对于每个内核，所述相关联的内核宽度为所述整个内核的宽度，即所述两个外内核部分、所述两个中间内核部分和所述中心内核部分的宽度之和。
在第一方面进一步的实现方式中，为了检测特征，即提取特征，所述特征提取器还用于基于相应内核使用各卷积运算来为每个水平条纹确定所述左和右中心内核部分、所述左和右中间内核部分以及所述左和右外内核部分中的各平均强度，并将所述各卷积运算的结果与各阈值进行比较。所述卷积输出可以在所述比较之前通过信号处理操作(例如，中值滤波)进行预处理。
在第一方面进一步的实现方式中，对于通过条纹索引r标识的当前处理的水平条纹，所述特征提取器用于基于以下等式确定所述中心内核部分的宽度dC(r)、所述左和右中间内核部分的宽度dB(r)以及所述左和右外内核部分的宽度dA(r)：
dA(r)＝L′x(r)；dB(r)＝L′y(r)；dC(r)＝dA(r)-dB(r)+1；
Figure BDA0002336222890000021
Figure BDA0002336222890000022
以及，
Kr(r)＝dB(r)＝L′y(r)；dC(r)≥1,
其中L′x(r)表示所述车道标记的失真的预期宽度，L′y(r)表示所述当前处理的水平条纹的高度，dC1(r)表示所述左中心内核部分的宽度，dC2(r)表示所述右中心内核部分的宽度以及Kr(r)表示所述当前处理的水平条纹的所述高度。
在第一方面进一步的实现方式中，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器用于基于以下等式确定所述多个内核权重：
Figure BDA0002336222890000023
其中，wA1(r)表示所述左外内核部分的内核权重，wA2(r)表示所述右外内核部分的内核权重，wB(r)表示所述左和右中间内核部分的内核权重，wC1(r)表示所述左中心内核部分的内核权重以及wC2(r)表示所述右中心内核部分的内核权重。
因此，提供了一种改进的参数化的内核，用于检测所述车道标记与其周围环境之间的平均强度的差异。
在第一方面进一步的实现方式中，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器用于基于以下等式确定所述多个内核权重：
wA1(r)＝wA2(r)＝0；wB(r)＝0；
Figure BDA0002336222890000031
其中，wA1(r)表示所述左外内核部分的内核权重，wA2(r)表示所述右外内核部分的内核权重，wB(r)表示所述左和右中间内核部分的内核权重，wC1(r)表示所述左中心内核部分的内核权重，wC2(r)表示所述右中心内核部分的权重。
因此，提供了一种改进的参数化的内核，用于检测所述车道标记区域中的强度的均匀性。
在第一方面进一步的实现方式中，对于条纹索引r标识的当前处理的水平条纹，所述特征提取器用于基于以下等式确定所述多个内核权重：
Figure BDA0002336222890000032
wA2(r)＝wB(r)＝0；
Figure BDA0002336222890000033
其中，wA1(r)表示所述左外内核部分的内核权重，wA2(r)表示所述右外内核部分的内核权重，wB(r)表示所述左和右中间内核部分的内核权重，wC1(r)表示所述左中心内核部分的内核权重，wC2(r)表示所述右中心内核部分的权重。
因此，提供了一种改进的参数化的内核，用于检测车道的平均强度与车道标记左侧的路面之间的差异。
在第一方面进一步的实现方式中，对于条纹索引r标识的当前处理的水平条纹，所述特征提取器用于基于以下等式确定所述多个内核权重：
Figure BDA0002336222890000034
wA1(r)＝wB(r)＝0；
Figure BDA0002336222890000035
其中，wA1(r)表示所述左外内核部分的内核权重，wA2(r)表示所述右外内核部分的内核权重，wB(r)表示所述左和右中间内核部分的内核权重，wC1(r)表示所述左中心内核部分的内核权重，wC2(r)表示所述右中心内核部分的权重。
因此，提供了一种改进的参数化的内核，用于检测车道的平均强度与车道标记右侧的路面之间的差异。
在第一方面进一步的实现方式中，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器用于基于所述车道标记的所述失真的预期宽度L′x(r)和所述当前处理的水平条纹的所述高度L′y(r)确定所述多个内核权重。
在第一方面进一步的实现方式中，对于通过条纹索引r标识的当前处理的水平条纹，所述特征提取器用于基于所述车道标记的所述失真的预期宽度L′x(r)和所述当前处理的水平条纹的高度L′y(r)确定所述中心内核部分的宽度dC(r)、所述左和右中间内核部分的宽度dB(r)、所述左和右外内核部分的宽度dA(r)；并且基于所述中心内核部分的宽度dC(r)、所述左和右中间内核部分的宽度dB(r)以及所述左和右外内核部分的宽度dA(r)确定多个所述多个内核权重。
在第一方面进一步的实现方式中，所述系统还包括立体摄像机，用于将所述车辆前方的所述道路的所述透视图像提供为具有第一通道和第二通道的立体图像。
在第一方面进一步的实现方式中，所述特征提取器用于单独地从所述立体图像的所述第一通道和所述立体图像的所述第二通道提取特征，并且所述系统还包括一个单元，用于确定已经从所述立体图像的所述第一通道和所述第二通道提取的所述特征。
根据第二方面，本发明涉及运行车辆的高级辅助驾驶系统的相应方法，其中，所述高级辅助驾驶系统用于检测所述车辆前方道路的透视图像中的车道标记。所述方法包括如下步骤：将所述道路的透视图像分成多条水平条纹，其中所述透视图像的每条水平条纹对应于距离所述车辆不同的平均距离处的不同道路部分；使用多个内核从所述多个水平条纹中提取特征，每个内核与内核宽度相关联，其中所述提取通过使用与第一内核宽度相关联的第一内核来处理对应于第一平均距离处的第一道路部分的第一水平条纹、使用与第二内核宽度相关联的第二内核来处理对应于第二平均距离处的第二道路部分的第二水平条纹以及使用与第三内核宽度相关联的第三内核来处理对应于第三平均距离处的第三道路部分的第三水平条纹来进行，其中所述第一平均距离小于所述第二平均距离，所述第二平均距离小于所述第三平均距离，所述第一内核宽度与所述第二内核宽度的比率大于所述第二内核宽度与所述第三内核宽度的比率。
根据本发明第二方面的方法可以由根据本发明的第一方面的ADAS执行。根据本发明的第二方面的方法的进一步特征可以直接从根据本发明的第一方面及其不同实现方式的ADAS的功能中得到。
根据第三方面，本发明涉及一种计算机程序，包括程序代码，用于在计算机上被执行时，执行根据第二方面的方法。
本发明可以硬件和/或软件的方式来实现。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1示出了一个示意图，其示出了一个实施例提供的高级辅助驾驶系统；
图2示出了一个示意图，其示出了一个实施例提供的高级辅助驾驶系统的不同方面；
图3示出了一个示意图，其示出了一个实施例提供的高级辅助驾驶系统中实现的多个内核；
图4示出了一个示意图，其示出了一个实施例提供的高级辅助驾驶系统的不同方面；
图5示出了两个曲线图的示图，其示出了与传统的调整对比的一个实施例提供的高级驾驶员辅助系统中实现的内核宽度调整；
图6示出了一个示意图，其示出了一个实施例提供的高级辅助驾驶系统中实现的处理步骤；
图7示出了一个示意图，其示出了一个实施例提供的高级辅助驾驶系统中实现的处理步骤；
图8示出了一个示意图，其示出了一个实施例提供的运行高级辅助驾驶系统的方法的示意图。
在各个附图中，相同的或至少功能等同的特征使用相同的符号。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或系统也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性方面的特征可彼此组合。
图1示出了一个实施例提供的用于车辆的高级辅助驾驶系统(advanced driverassistance system，简称ADAS)100的示意图。所述高级辅助驾驶系统(ADAS)100用于检测车辆前方道路的透视图像中的车道标记。
在图1中所示的实施例中，所述ADAS 100包括立体摄像机，用于提供具有第一通道或左摄像机图像103a和第二通道或右摄像机图像103b的立体图像。所述立体摄像机可以安装在所述车辆的合适位置，使得所述左摄像机图像103a和所述右摄像机图像103b提供所述车辆前方环境的至少部分视图，例如，道路的一部分。所述ADAS 100的立体摄像机的精确位置和/或方位定义了摄像机投影参数Θ。
如图1中所示，所述ADAS 100还包括特征提取器101，用于从所述透视图像中提取特征，例如所述立体摄像机提供的所述左摄像机图像103a和所述右摄像机图像103b。在一个实施例中，所述特征提取器101提取的特征包括所述透视图像中所示的所述道路上的车道标记的坐标。
如图1中所示，所述ADAS 100的所述特征提取器101用于将所述道路的所述透视图像分成多条水平条纹，其中所述透视图像的每条水平条纹对应于距离所述车辆不同的平均距离处的不同的道路部分。所述特征提取器101还用于基于多个内核从所述多个水平条纹中提取特征，其中每个内核与内核宽度相关联。
如下面将进一步详细描述的，例如，所述特征提取器101用于，对照所述内核高度，将所述内核宽度以较低的速率减小，以考虑随着特征尺寸变小而引起的摄像机传感器噪声的增加的影响。换言之，特征提取器101用于基于所述多个内核，从所述多个水平条纹提取特征，所述提取通过使用与第一内核宽度相关联的第一内核来处理对应于距离所述车辆第一平均距离处的第一道路部分的第一水平条纹、使用与第二内核宽度相关联的第二内核来处理对应于所述车辆第二平均距离处的第二道路部分的第二水平条纹以及使用与第三内核宽度相关联的第三内核来处理对应于距离所述车辆第三平均距离处的第三道路部分的第三水平条纹来进行，所述第一平均距离小于所述第二平均距离，所述第二平均距离小于所述第三平均距离，其中所述第一内核宽度与所述第二内核宽度的比率大于所述第二内核宽度与所述第三内核宽度的比率。如所理解，对于所述内核宽度的常规线性变化，所述第一内核宽度与所述第二内核宽度的比率等于所述第二内核宽度与所述第三内核宽度的比率，即恒定的。因此，可以认为所述ADAS 100的特征提取器101基于比线性依赖关系变化更大的依赖关系来改变内核宽度。
在一个实施例中，所述特征提取器101还用于执行卷积运算，并且将各卷积运算的结果与各阈值进行比较以提取特征，尤其是车道标记的坐标。从数学上讲，对于2-D离散卷积，这种卷积运算可以通过以下等式来描述：
Figure BDA0002336222890000051
其中，所述内核K是大小为(Kr×Kc))或(内核行或高度×内核列或宽度)的矩阵，且I(i，,j)和O(i，j)表示输入和输出图像强度值的相应阵列。所述ADAS 100的特征提取器101可用于基于水平1-D内核K(即具有仅取决于m(即，水平方向)而非n(即，垂直方向)的内核矩阵的内核，进行特征提取。
在图1中所示的示例性实施例中，所述特征提取器101提取的特征提供给单元105，所述单元105用于确定已经从所述立体图像的所述左摄像机图像103a和所述右摄像机图像103b两者中提取的那些特征。仅将所述单元105确定的这些匹配特征传递至用于过滤离群点的滤波器单元107。所述过滤的特征坐标由所述ADAS 100的其它单元109、111、113和115处理，以便实质上估计检测到的车道的曲率。
如图1中所示，所述ADAS 100还可以包括用于在鸟瞰图与透视图之间执行转换的单元104，反之亦然。图2中示出了鸟瞰图200与车辆前方的示例性环境的对应的透视图像视图200'之间的关系，即道路分别包括两个示例性车道标记201a和201b与201a'和201b'。通过将失真域的每个点映射到非失真域的对应点上的变换矩阵H，从鸟瞰图(即非失真视图200)到透视图像视图(即失真视图200')的几何变换是可行的，反之亦然。
Lx和Ly分别为车道标记的非失真预期宽度和采样步长。它们可以从摄像机投影参数Θ、车道标记的预期物理宽度Ω和虚线标记之间的预期物理间隙Ψ中获得。
Ly＝f(Θ，Ω，Ψ)
Lx＝f(Θ，Ω，Ψ)
所述图像视图中的索引r的每个水平条纹具有失真的采样步长的高度L′y(r)的高度，所述失真的采样步长对应于所述非失真采样步长(即Ly)。
条纹r处的车道标记的预期宽度由对应于车道标记的非失真预期宽度Lx的失真的预期宽度L′x(r)表示。通过将失真域的每个点映射到非失真域的对应点的变换矩阵H，从失真域(原始图像)到非失真域(鸟瞰图)的几何变换是可行的。所述操作是可逆的。
所述过滤是逐块和逐行进行的，其中提议的内核高度对应于所述高度并且所述内核宽度根据所述参数L′y(r)和L′x(r)进行调整。由于这些参数对于每个条纹都是恒定的，因此对于给定条纹，内核大小也将是恒定的。如后面所描述，内核宽度可以分为若干个区域或部分。
如图2的透视图像视图200'中所示，并且如在图1的上下文中已经提到的，所述ADAS 100的所述特征提取器101用于将示例性透视输入图像200'分成多个水平条纹。图2中示出了两个示例性水平条纹，即由第一条纹标识符r标识的第一示例性水平条纹203a'以及由第二条纹标识符r+4标识的第二示例性水平条纹203b'。在图2所示的示例性实施例中，所述第二示例性水平条纹203b'位于所述第一示例性水平条纹203a'的上方，并且因此提供了道路部分的图像，所述道路部分距离所述ADAS 100的摄像机的平均距离大于由所述第一示例性水平条纹203a'覆盖的道路部分。
如所理解并且如图2中所示，由于失真影响，水平条纹203a'内的车道标记201a'的水平宽度L′x(r)大于水平条纹203b'内的车道标记201a'的水平宽度L′x(r+4)。同样，水平条纹203a'的垂直高度L′y(r)大于水平条纹203b'的垂直高度L′y(r+4)。
图3示出了一个示意图，其示出了图3中称为内核#1至#4的一组四个内核。图3中所示的一个或多个内核可以在一个实施例所述的ADAS 100的所述特征提取器101中实现。如图3中所示，每个内核由多个内核权重定义，并且包括左和右外内核部分或区域A、左和右中间内核部分或区域B以及中心内核部分或区域C，所述中心内核部分或区域C包括左和右中心内核部分。
在实施例中，对于通过条纹索引r标识的当前处理的水平条纹，所述ADAS 100的所述特征提取器101用于基于以下等式确定所述中心内核部分的宽度dC(r)、所述左和右中间内核部分的宽度dB(r)以及所述左和右外内核部分的宽度dA(r)。
dA(r)＝L′x(r)；dB(r)＝L′y(r)；dC(r)＝dA(r)-dB(r)+1；dC1(r)＝dC2(r)＝dC(r)/2,，以及
Kr(r)＝dB(r)＝L′y(r)；dC(r)≥1,
其中L′x(r)表示所述车道标记的失真的预期宽度，L′y(r)表示当所述前处理的水平条纹的高度，dC1(r)表示左中心内核部分的宽度，dC2(r)表示右中心内核部分的宽度，Kr(r)表示所述当前处理的水平条纹的高度。
所述左和右外内核部分的各自的宽度dA(r)可以基于紧密间隔的车道标记之间的最小预期间隙。在上述实施例中，假定dA(r)等于Lx(r)。在另一实施中，dA(r)可以为Lx(r)的一部分，如Lx(r)/2。
在上述实施例中，所述左右中间内核部分的各自的宽度dB(r)等于L′y(r)。在进一步的实施例中，如图4中所示，dB(r)可以等于L′y(r)·tanθ,，其中θ表示所述车道标记的预期最大坡度。在上述实施例中，θ为45度。类似地，在进一步的实施例中，所述中心内核部分的宽度dC(r)的宽度可以等于L′x(r)-L′y(r)·tanθ。
在一个实施例中，所述特征提取器101用于使用图3中所示的内核#1进行特征提取，并且基于以下等式确定内核#1的多个内核权重：
Figure BDA0002336222890000071
wB(r)＝0；
Figure BDA0002336222890000072
其中，wA1(r)表示所述左外内核部分的内核权重，wA2(r)表示所述右外内核部分的内核权重，wB(r)表示所述左和右中间内核部分的内核权重，wC1(r)表示所述左中心内核部分的内核权重，wC2(r)表示所述右中心内核部分的内核权重。内核#1特别适合用于检测所述车道标记与其周围环境之间的平均强度的差异。
可替换地或附加地，所述特征提取器101用于使用图3中所示的内核#2进行特征提取，并且基于以下等式确定内核#2的多个内核权重：
wA1(r)＝wA2(r)＝0；wB(r)＝0；
Figure BDA0002336222890000073
内核#2特别适合用于检测所述车道标记的区域中的强度的均匀性。
可替换地或附加地，所述特征提取器101可以用于使用图3中所示的内核#3进行特征提取，并且基于以下等式确定内核#3的多个内核权重：
Figure BDA0002336222890000074
wA2(r)＝wB(r)＝0；
Figure BDA0002336222890000075
内核#3特别适合用于检测车道的平均强度与车道标记左侧的道路表面之间的差异。
可替换地或附加地，所述特征提取器101可以用于使用图3中所示的内核#4进行特征提取，并且基于以下等式确定内核#4的多个内核权重：
Figure BDA0002336222890000076
wA1(r)＝wB(r)＝0；
Figure BDA0002336222890000077
内核#3特别适合用于检测车道的平均强度与车道标记右侧的道路表面之间的差异。
图5示出了两个曲线图的示图，其示出了一个实施例提供所述ADAS 100的所述特征提取器101中实现的“非线性”内核宽度调整。如上所述，图5中所示的内核部分的水平与垂直比率的非线性缩放允许解决摄像机噪声对位于较大距离处且因此具有较小尺寸的特征的影响增加的问题。
图6示出了一个示意图，其示出了一个实施例提供的ADAS 100的特征提取器101中实现的处理步骤。在步骤601中，选择待处理的第一或下一水平条纹(由水平条纹标识符r标识)。在步骤603中，为所选择的条纹r确定车道标记的失真的高度L′y(r)和失真的预期宽度L′x(r)。在步骤605中，基于所述失真的高度L′x(r)与所述失真的预期宽度L′x(r)，为所选择的条纹r确定所述可调整的内核的权重，即wA1(r)、wA2(r)、wB(r)、wC1(r)以及wC2(r)。
图7示出了一个示意图，其示出了一个进一步实施例提供的ADAS 100的特征提取器101中实现的处理步骤。在步骤701中，选择待处理的第一或下一水平条纹(由水平条纹标识符r标识)。在步骤703中，为所选择的条纹r确定车道标记的失真的高度L′y(r)和失真的预期宽度L′x(r)。在步骤705中，基于所述失真高度L′y(r)和所述失真的预期宽度L′x(r)，为所选择的条纹r确定可调整的内核的不同区域的水平宽度，即dA(r)、dB(r)、dC1(r)以及dC2(r)。
在步骤707中，基于所述可调整的内核的不同区域的所述水平宽度，为所选择的条纹r确定所述可调整的内核的权重，即wA1(r)、wA2(r)、wB(r)、wC1(r)以及wC2(r)。
图8示出了一个示意图，其示出了一个实施例提供的运行高级辅助驾驶系统100的对应方法800。所述方法800包括第一步骤801：将道路的透视图像分解或分割成多个水平条纹，其中，所述透视图像的每个水平条纹对应于距离所述车辆不同的平均距离处的不同的道路部分。此外，方法800包括第二步骤803：使用多个内核从所述多个水平条纹中提取特征，每个内核与内核宽度相关联，其中所述提取通过使用与第一内核宽度相关联的第一内核来处理对应于第一平均距离处的第一道路部分的第一水平条纹、使用与第二内核宽度相关联的第二内核来处理对应于第二平均距离处的第二道路部分的第二水平条纹以及使用与第三内核宽度相关联的第三内核来处理第三平均距离处的第三道路部分的第三水平条纹来进行，其中所述第一平均距离小于所述第二平均距离，所述第二平均距离小于所述第三平均距离，其中所述第一内核宽度与所述第二内核宽度的比率大于所述第二内核宽度与所述第三内核宽度的比率。
尽管本发明的特定特征或方面可能已经仅结合几种实施方式或实施例中的一种进行公开，但此类特征或方面可以和其它实施方式或实施例中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其他变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”，“例如”仅表示为示例，而不是最好或最佳的。可以使用术语“耦合”和“连接”及其派生词。应当理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但所属领域的技术人员应了解，多种替代和/或等效实施方式可在不脱离本发明的范围的情况下所示和描述的特定方面。该申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，所属领域的技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但所属领域的技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (14)

1.一种用于车辆的高级辅助驾驶系统(100)，其特征在于，所述高级辅助驾驶系统(100)用于检测所述车辆前方的道路的透视图像中的车道标记，其中所述高级辅助驾驶系统(100)包括：
特征提取器(101)，用于将所述道路的透视图像分成多个水平条纹，其中所述透视图像的每个水平条纹对应于距离所述车辆不同的平均距离处的不同道路部分，其中所述特征提取器还用于使用多个内核从所述多个水平条纹中提取特征，所述特征与所述车道标记相关；每个内核与内核宽度相关联，其中所述提取是通过使用与第一内核宽度相关联的第一内核来处理对应于在第一平均距离处的第一道路部分的第一水平条纹、使用与第二内核宽度相关联的第二内核来处理对应于在第二平均距离处的第二道路部分的第二水平条纹和使用与第三内核宽度相关联的第三内核来处理对应于在第三平均距离处的第三道路部分的第三水平条纹来进行，其中所述第一平均距离小于所述第二平均距离，所述第二平均距离小于所述第三平均距离，并且所述第一内核宽度与所述第二内核宽度的比率大于所述第二内核宽度与所述第三内核宽度的比率；所述多个内核中的每个内核由多个内核权重定义，且每个内核包括左和右外内核部分(A)、左和右中间内核部分(B)以及中心内核部分(C)；
为了检测特征，所述特征提取器(101)还用于使用各卷积运算为每个水平条纹确定所述中心内核部分(C)、所述左和右中间内核部分(B)以及所述左和右外内核部分(A)中各平均强度，并将所述各卷积运算的结果与各阈值进行比较。
2.根据权利要求1所述的系统(100)，其特征在于，所述第一水平条纹与所述第二水平条纹相邻，所述第二水平条纹与所述第三水平条纹相邻。
3.根据权利要求1所述的系统(100)，其特征在于，所述中心内核部分(C)包括左和右中心内核部分，其中对于每个内核，所述相关联的内核宽度为整个内核的宽度。
4.根据权利要求3所述的系统，其特征在于，对于通过条纹索引r标识的当前处理的水平条纹，所述特征提取器(101)用于基于以下等式确定所述中心内核部分的宽度dC(r)、所述左和右中间内核部分的宽度dB(r)以及所述左和右外内核部分的宽度dA(r)；
dA(r)＝L′x(r)；dB(r)＝L′y(r)；dC(r)＝dA(r)-dB(r)+1；dC1(r)＝dC2(r)＝dC(r)/2，以及
Kr(r)＝dB(r)＝L′y(r)；dC(r)≥1，
其中L′x(r)表示所述车道标记的失真的预期宽度，L′y(r)表示所述当前处理的水平条纹的高度，dC1(r)表示左中心内核部分的宽度，dC2(r)表示右中心内核部分的宽度，Kr(r)所述当前处理的水平条纹的所述高度。
5.根据权利要求4所述的系统(100)，其特征在于，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器(101)用于基于以下等式确定所述多个内核权重：
Figure FDA0003680257000000011
wB(r)＝0；
Figure FDA0003680257000000012
其中，wA1(r)表示左外内核部分的内核权重，wA2(r)表示右外内核部分的内核权重，wB(r)表示所述左和右中间内核部分的内核权重，wC1(r)表示左中心内核部分的内核权重，wC2(r)表示右中心内核部分的内核权重。
6.根据权利要求4所述的系统(100)，其特征在于，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器(101)用于基于以下等式确定所述多个内核权重：
wA1(r)＝wA2(r)＝0；wB(r)＝0；
Figure FDA0003680257000000013
其中，wA1(r)表示左外内核部分的内核权重，wA2(r)表示右外内核部分的内核权重，wB(r)表示所述左和右中间内核部分的内核权重，wC1(r)表示左中心内核部分的内核权重，wC2(r)表示右中心内核部分的内核权重。
7.根据权利要求4所述的系统(100)，其特征在于，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器(101)用于基于以下等式确定所述多个内核权重：
Figure FDA0003680257000000021
wA2(r)＝wB(r)＝0；
Figure FDA0003680257000000022
其中，wA1(r)表示左外内核部分的内核权重，wA2(r)表示右外内核部分的内核权重，wB(r)表示左和右中间内核部分的内核权重，wC1(r)表示左中心内核部分的内核权重，wC2(r)表示右中心内核部分的内核权重。
8.根据权利要求4所述的系统(100)，其特征在于，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器(101)用于基于以下等式确定所述多个内核权重：
Figure FDA0003680257000000023
wA1(r)＝wB(r)＝0；
Figure FDA0003680257000000024
其中，wA1(r)表示左外内核部分的内核权重，wA2(r)表示右外内核部分的内核权重，wB(r)表示左和右中间内核部分的内核权重，wC1(r)表示左中心内核部分的内核权重，wC2(r)表示右中心内核部分的内核权重。
9.根据权利要求4所述的系统(100)，其特征在于，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器(101)用于基于所述车道标记的所述失真的预期宽度L′x(r)和所述当前处理的水平条纹的所述高度L′y(r)确定所述多个内核权重。
10.根据权利要求4所述的系统(100)，其特征在于，对于通过条纹索引r标识的所述当前处理的水平条纹，所述特征提取器(101)用于基于所述车道标记的所述失真的预期宽度L′x(r)和所述当前处理的水平条纹的高度L′y(r)确定所述中心内核部分的宽度dC(r)的宽度、所述左和右中间内核部分的宽度dB(r)的宽度以及所述左和右外内核部分的宽度dA(r)的宽度；并且基于所述中心内核部分的宽度dC(r)的宽度、所述左和右中间内核部分的宽度dB(r)的宽度以及所述左和右外内核部分的宽度dA(r)的宽度确定多个所述多个内核权重。
11.根据权利要求1-3中任一项所述的系统(100)，其特征在于，所述系统(100)还包括立体摄像机，用于将所述车辆前方的所述道路的所述透视图像提供为具有第一通道和第二通道的立体图像。
12.根据权利要求11所述的系统(100)，其特征在于，所述特征提取器(101)用于单独地从所述立体图像的所述第一通道和所述立体图像的所述第二通道提取特征，并且所述系统(100)还包括一个单元(105)，用于确定已经从所述立体图像的所述第一通道和所述第二通道两者中提取的所述特征。
13.一种用于运行车辆的高级辅助驾驶系统(100)的方法，其特征在于，所述高级辅助驾驶系统(100)用于检测所述车辆前方道路的透视图像中的车道标记，所述方法包括：
将所述道路的所述透视图像分成(801)多个水平条纹，其中所述透视图像的每条水平条纹对应于距离所述车辆不同的平均距离处的不同道路部分；
使用多个内核从所述多个水平条纹中提取(803)特征，所述特征与所述车道标记相关；每个内核与内核宽度相关联，其中所述提取是通过使用与第一内核宽度相关联的第一内核来处理对应于第一平均距离处的第一道路部分的第一水平条纹、使用与第二内核宽度相关联的第二内核来处理对应于第二平均距离处的第二道路部分的第二水平条纹以及使用与第三内核宽度相关联的第三内核来处理对应于第三平均距离处的第三道路部分的第三水平条纹来进行，其中所述第一平均距离小于所述第二平均距离，所述第二平均距离小于所述第三平均距离，所述第一内核宽度与所述第二内核宽度的比率大于所述第二内核宽度与所述第三内核宽度的比率；所述多个内核中的每个内核由多个内核权重定义，且每个内核包括左和右外内核部分(A)、左和右中间内核部分(B)以及中心内核部分(C)；
还使用各卷积运算为每个水平条纹确定所述中心内核部分(C)、所述左和右中间内核部分(B)以及所述左和右外内核部分(A)中各平均强度，并将所述各卷积运算的结果与各阈值进行比较。
14.一种计算机存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序包括可执行指令，所述可执行指令当被处理器执行时使所述处理器执行根据权利要求13所述的方法。
CN201780092552.1A 2017-07-06 2017-07-06 高级辅助驾驶系统和方法 Active CN110809767B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/066877 WO2019007508A1 (en) 2017-07-06 2017-07-06 ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD

Publications (2)

Publication Number Publication Date
CN110809767A CN110809767A (zh) 2020-02-18
CN110809767B true CN110809767B (zh) 2022-09-09

Family

ID=59581832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780092552.1A Active CN110809767B (zh) 2017-07-06 2017-07-06 高级辅助驾驶系统和方法

Country Status (4)

Country Link
US (1) US20200143176A1 (zh)
EP (1) EP3649571A1 (zh)
CN (1) CN110809767B (zh)
WO (1) WO2019007508A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726708B (zh) * 2019-03-13 2021-03-23 东软睿驰汽车技术（沈阳）有限公司 一种车道线识别方法及装置
CN109948504B (zh) * 2019-03-13 2022-02-18 东软睿驰汽车技术（沈阳）有限公司 一种车道线识别方法及装置
US11557132B2 (en) * 2020-10-19 2023-01-17 Here Global B.V. Lane marking

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812704A (en) * 1994-11-29 1998-09-22 Focus Automation Systems Inc. Method and apparatus for image overlap processing
CN101750049A (zh) * 2008-12-05 2010-06-23 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
CN103034863A (zh) * 2012-12-24 2013-04-10 重庆市勘测院 一种结合核Fisher与多尺度提取的遥感影像道路获取方法
CN103699899A (zh) * 2013-12-23 2014-04-02 北京理工大学 基于等距曲线模型的车道线检测方法
CN104217427A (zh) * 2014-08-22 2014-12-17 南京邮电大学 一种交通监控视频中车道线定位方法
JP2015016799A (ja) * 2013-07-11 2015-01-29 株式会社日本自動車部品総合研究所 走行経路生成装置
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
CN106372618A (zh) * 2016-09-20 2017-02-01 哈尔滨工业大学深圳研究生院 一种基于svm与遗传算法的道路提取方法及系统
CN106683112A (zh) * 2016-10-10 2017-05-17 中国交通通信信息中心 一种基于高分辨率图像的道路路域建筑物变化提取方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
WO2009119070A1 (ja) * 2008-03-26 2009-10-01 本田技研工業株式会社 車両用画像処理装置及び画像処理プログラム
US8456480B2 (en) * 2009-01-14 2013-06-04 Calos Fund Limited Liability Company Method for chaining image-processing functions on a SIMD processor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812704A (en) * 1994-11-29 1998-09-22 Focus Automation Systems Inc. Method and apparatus for image overlap processing
CN101750049A (zh) * 2008-12-05 2010-06-23 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
CN103034863A (zh) * 2012-12-24 2013-04-10 重庆市勘测院 一种结合核Fisher与多尺度提取的遥感影像道路获取方法
JP2015016799A (ja) * 2013-07-11 2015-01-29 株式会社日本自動車部品総合研究所 走行経路生成装置
CN103699899A (zh) * 2013-12-23 2014-04-02 北京理工大学 基于等距曲线模型的车道线检测方法
CN104217427A (zh) * 2014-08-22 2014-12-17 南京邮电大学 一种交通监控视频中车道线定位方法
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
CN106372618A (zh) * 2016-09-20 2017-02-01 哈尔滨工业大学深圳研究生院 一种基于svm与遗传算法的道路提取方法及系统
CN106683112A (zh) * 2016-10-10 2017-05-17 中国交通通信信息中心 一种基于高分辨率图像的道路路域建筑物变化提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Generating lane level road data from vehicle trajectories using Kernel Density Estimation;E.R.I.A.C.M. Uduwaragoda 等;《16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013)》;20140130;全文 *
基于机器视觉的道路及车辆检测技术研究;战宇辰;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20170331(第3期);全文 *

Also Published As

Publication number Publication date
CN110809767A (zh) 2020-02-18
US20200143176A1 (en) 2020-05-07
EP3649571A1 (en) 2020-05-13
WO2019007508A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
Wu et al. Lane-mark extraction for automobiles under complex conditions
US8611585B2 (en) Clear path detection using patch approach
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
JP6995188B2 (ja) 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
CN109791598A (zh) 用于识别地面标记的图像处理方法以及地面标记检测系统
US8098933B2 (en) Method and apparatus for partitioning an object from an image
CN105825173A (zh) 通用道路和车道检测系统与方法
KR20150084234A (ko) 차량 및 차선 위치 검출 시스템 및 방법
US11164012B2 (en) Advanced driver assistance system and method
EP3738072A1 (en) A multi-spectral system for providing pre-collision alerts
CN110809767B (zh) 高级辅助驾驶系统和方法
KR101840974B1 (ko) 자율주행용 차선 식별 시스템
CN109829365B (zh) 基于机器视觉的多场景适应驾驶偏离及转弯预警方法
CN110276343A (zh) 图像的分割和注释的方法
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
US20200193184A1 (en) Image processing device and image processing method
US11904843B2 (en) Autonomous parking systems and methods for vehicles
JP2020095623A (ja) 画像処理装置および画像処理方法
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
US10417518B2 (en) Vehicle camera system
CN117078717A (zh) 基于无人机单目相机的道路车辆轨迹提取方法
Zarbakht et al. Lane detection under adverse conditions based on dual color space
JP6132807B2 (ja) レーンマーク認識装置
Park et al. Lane estimation by particle-filtering combined with likelihood computation of line boundaries and motion compensation
JP2020095621A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant