CN109791598A

CN109791598A - 用于识别地面标记的图像处理方法以及地面标记检测系统

Info

Publication number: CN109791598A
Application number: CN201780029644.5A
Authority: CN
Inventors: M·勒维尤; M·C·拉哈勒; D·格吕耶
Original assignee: French Institute Of Transport Planning And Network Science And Technology (ifsttar); Vidiko Institute
Current assignee: (ifsttar); French Institute Of Transport Planning And Network Science And Technology (ifsttar); Vidiko Institute; Institut Francais des Sciences et Technologirs des Transports de lAmenagement et des Reseaux; Institut Vedecom
Priority date: 2016-05-13
Filing date: 2017-05-11
Publication date: 2019-05-21
Also published as: EP3455788A1; US20190188498A1; JP2019517089A; WO2017194890A1; FR3051275A1; JP6978491B2

Abstract

本发明涉及一种用于识别地面标记的图像处理方法，所述图像处理方法包括用于接收车辆前方和/或后方的地面的至少一个图像的接收步骤，其特征在于，所述图像处理方法包括用于计算与置信图对应的数字图像的计算步骤，所述计算步骤旨在给经获取图像的每个像素分配值，经分配的值与关于该像素归属于标记区域的置信度对应，然后通过使下述等式的函数f最小化来进行标记检测步骤：‑F是回归函数，‑x±与由代理穿过的第i个像素的x坐标对应，‑y±与由代理穿过的第i个像素的y坐标对应，‑w±与由代理穿过的第i个像素的灰度值V±对应，‑B指示函数空间，以及‑λ指示平滑参数，所述平滑参数取决于所述道路的类型。

Description

用于识别地面标记的图像处理方法以及地面标记检测系统

本发明要求于2016年5月13日提交的法国申请1654322的优先权，该申请的内容(文本、附图和权利要求)在此整体并入本文引作参考。

技术领域

本发明涉及用于识别地面标记(尤其是道路标记或在车辆的停放区域上的标记)的领域。

“标记”理解成行车道(道路或通行区域或停放区域)的具有不同颜色的地面线，所述地面线限界出通行道路的侧边。所述地面线可为连续的或中断的。“标记”还理解成行车道的边缘，也就是说，在(例如由沥青制成的)用于通行的表面与路边之间的边界。

背景技术

用于检测道路标记的检测方法通常用于在所述车辆偏离通行道路时例如通过发射声音信号和/或光信号来辅助机动车辆的驾驶员。还考虑使用该类型的方法以例如通过根据经检测道路标记自动控制机动车辆的速度和/或方向来自动控制所述机动车辆。

应用还涉及向驾驶辅助系统(ADAS，即Advanced Driver Assistance Systems(高级驾驶员辅助系统)的首字母缩合词)提供信息，所述驾驶辅助系统辅助驾驶员将车辆维持在通行道路中，所述辅助基于对道路边缘的参数的实时估计、对无人驾驶车辆的设计、对道路遗产的分析(以评估现有标记的质量和任选退化)、先进的地理参考数据库的构成、自适应速度限制器……。

对于跟踪和识别道路标记线的技术难点由经装载图像的获取条件(遭受投射阴影、眩光、被障碍物遮挡等)产生。

文件(Ieng、Tarel和Charbonnier，“用于通过摄像机检测和跟踪的稳健估计”，信号处理，卷21，编号3，页数205-226，2004)描述了一种用于在图像中检测道路标记的检测方法。在该方法中，估计表示所述道路标记的曲线的参数。该估计建立在从所述图像提取的全部点的基础上，所述点可与一部分道路标记对应，该估计还建立在噪声函数上，所述噪声函数使在经提取的点与所述道路标记之间的统计联系模型化。

然而，发现到，已知的道路标记检测方法提供了有限的可靠性。特别是，例如由于道路状态、照明、能见度、寄生元件的存在、道路标记的缺失或彼此邻近的两个道路标记的存在，已知的道路标记检测方法可提供不精确或错误的结果。此外，所述道路标记检测方法在没有标记的道路的情况下没有任何用。

通常，地面标记识别方法按照两个步骤运行：

首先，基于摄像机信息提取道路标记的基元(primitives)。

其次，经由数学方法(多项式回归、RANSAC、Hough变换)对所述基元进行空间分析，以从中提取通行道路。该模型用于开发LIVIC多道路检测算法。

现有技术：

在现有技术中已知欧洲专利EP1221643，该欧洲专利描述了一种用于识别道路标记线的装置和方法。该方法包括以下步骤：

-获取朝向车辆前方的道路图像；

-在所述图像数据上建立通行道路检测窗口；

-在所涉及的通行道路检测窗口内部的每个点上的亮度信息的基础上，检测穿过检测窗口的通行道路标记；

-建立多个其它通行道路检测窗口；

-检测在每个噪声检测窗口内部的边缘强度；

-依照在所述噪声检测窗口中的所考虑噪声检测窗口中的边缘强度修改通行道路检测窗口中的每个的权重值；以及

-通过使用经检测的通行标记中的任一个以及经修改的权重值来计算道路轮廓。

在现有技术中还已知以下文章：AHARON BAR HILLEL等人，“Recent progress inroad and lane detection:a survey(道路和车道检测中的最新进展：调查)”，MACHINEVISION AND APPLICATIONS(机器视觉和应用)，卷25，编号3，2014年4月1日，页数727-745，XP055113665，ISSN：0932-8092，DOI：10.1007/s00138-011-0404-2。

该文件描述了一种用于检测道路标记线(主要是直线)的解决方案，所述解决方案实施不同的替代方案，在第738页描述的其中一个替代方案提出了对三次样条函数(splines cubiques)的多项式函数的使用。

还已知文章BROGGI等人的“an agent based evolutionary approach to pathdection for off-road vehicle guidance(对于用于车辆非公路引导的路线检测的基于代理的演进性接近)”，XP027922645，所述文章涉及有区别的问题，即车辆相对于行车道边缘的完全地面引导问题。

现有技术的缺点：

现有技术的解决方案并不完全令人满意。特别是，例如对于主道路出口的道路标记，这些解决方案不太适用于识别遇到的具有渐进角加速度的曲率半径变化的拓扑。现有技术的解决方案不能良好地识别在直线与圆圈之间的具有渐进角加速度的这些连续的连结区域(称作回旋曲线)，因为所述处理建立在与直线识别适配或与具有恒定曲率的线适配的几何模型的基础上。如果增加多项式阶数，噪声增加，会导致识别丢失。

在AHARRON等人的文件中描述的实施三次样条函数类型的回归函数的解决方案并不令人满意，因为这些解决方案对异常点的存在非常敏感。这种处理的稳健性的缺乏由此与自主车辆的引导应用不兼容。

发明内容

为了克服这些缺点，本发明涉及一种用于识别地面标记的图像处理方法，所述图像处理方法符合独立权利要求以及符合从属权利要求的客体变型。

附图说明

通过阅读下文中本发明的非限制性实施例的详细说明和附图，将更好地理解本发明，在所述附图中：

-图1示出了本发明的硬件架构的示意图，

-图2示出了本发明的功能架构的示意图，

-图3示出了标记检测模块的逻辑图示例，

-图4示出了通过标记检测代理的模拟的逻辑图示例。

具体实施方式

图1示出了安装在机动车辆中的根据实施例的地面标记识别系统的硬件架构的示意图。

在所描述的示例中，所述系统包括三个摄像机(1至3)，所述三个摄像机中的两个布置在所述车辆的前方分别在右边和左边，并且另一个位于所述车辆的后部中央位置。所述摄像机(1至3)中的每个的视角是平坦的，也就是说，所述视角具有的范围的宽度大于高度。

以太网转换器(英语中的“switch(交换机)”)(4)接收所述摄像机(1至3)的信号并且将所述信号传送到计算机(5)。该计算机(5)确保了对于标记的处理和检测。

第二计算机(6)接收呈现样条函数形式的与标记有关的信息，并且应用调度算法(algorithme de planification)以便引导所述车辆。

摄像机(1至3)由电源(7)供电。可替换地，摄像机(1至3)可通过“Power Ethernet(电力以太网)”技术直接由网络电缆供电。

在所述摄像机装配在所述车辆上时，所述摄像机(1至3)中的每个相对于与所述车辆的后车轴相关的参考系的位置和定向由所述摄像机的校准进程知晓。

对于所述摄像机(1至3)中的每个，确定与一对摄像机模型和目标(couple de modèle de caméra et d'objectif)直接对应的固有参数，以及确定与相对于所述后车轴的位置和定向对应的外在参数。

计算机(5)还接收由转向柱的角位置传感器提供以及由用于检测后轮的旋转速度的传感器提供的服务信号。这些信息由车辆的CAN网络经由接口电路(8)传送。

这些信息能够周期性地重新计算在上一重复时检测到的标记的位置，以使所述标记与在当前重复时进行的检测对应。

激光雷达(9)由可动激光构成，所述可动激光确保朝向所述车辆的前方方向的扫描，以检测在道路平面上方的任何元件，并且过滤图像空间以避免处理由障碍物或车辆遮挡的地面区域。

功能架构：

由摄像机(1至3)获取的图像经受由模块(11)进行图像处理，所述模块还接收来自掩蔽模块(12)的信息，所述掩蔽模块处理由激光雷达(9)传送的信息。

模块(11)计算呈现具有灰度等级的图像的形式的置信图，所述置信图增加了可与标记对应的区域的亮度，或者对于某些区域(这些区域的与道路标记对应的概率较小)减小了像素亮度。

换句话说，该图像的每个像素具有表示归属于道路标记的归属概率的等级。

标记检测器的算子(Opérateur)：

该置信图的计算通过道路标记检测算子来实施。

所述道路标记检测算子的目的在于创建置信图，所述置信图接下来由标记追捕代理(agents traqueurs de marquages)使用。

卷积(convolution)的算子：

第一算子建立在所给像素的水平邻域与完美的标记模型之间的卷积的基础上。由线的全部像素显示特征的函数f与(与门函数对应的)曲线g进行卷积。该算子取决于l(即所述道路标记的经估计宽度)，该宽度与所述门函数的宽度对应。该卷积如下限定：

其中：

-Y与在所述图像的线中的经处理像素的横坐标(absices)对应，

-m与积分的变量对应，

-l(y)与表示所述像素的置信度的灰度等级对应，

-α与g的高/低比率对应，

-S与预确定参数对应，所述预确定参数与投射在图像空间中并且围绕y定中心的道路标记的标称宽度对应，

其中，g(m)如下限定：

由模块(11)实施的该处理因此能够计算与置信图对应的图像的每个像素的值，所述置信图区分出具有对于归属于道路标记的较大概率的区域。

由模块(11)实施的该处理在与由掩蔽模块(12)提供的掩蔽信息的图像对应的区域中被抑制。

标记的检测：

基于由模块(11)计算的该图像，检测模块(13)通过检测与道路标记对应的样条函数的多代理方法来应用处理。

代理的感知范围的确定：

代理的感知模型建立在三角形感知范围的基础上。所述感知范围由顶点(即与所述代理的位置对应的点)和具有2S的宽度的基部(上文限定的S与投射在图像空间中的标记的标称宽度对应)、以及取决于与自身车辆(égo-véhicule)间距的距离(即由所述代理处理的区域相对于车辆参考点的距离)的深度L限定。该三角形限定了与所述代理的方向对应的向量V_代理，该方向与同基部垂直的轴线对应，由所述顶点经过。

该三角形范围接下来投射到图像空间中，以限定由所述代理处理的置信图像的全部像素。

确定代理的移动模型：

通过计算上文限定的三角形范围的重心来确定移动模型，所述重心由该范围的像素的值加权(任选地，应用一个下方阈值，以除去具有过小值的像素)。

经加权的该重心确定由所述代理瞄准的目标点。计算在向量V_代理与由所述三角形的顶点以及所述重心的坐标限定的向量V_移动之间的角度。

如果所述代理的感知范围中包括的全部点小于阈值，所述重心的计算是不可能的。

在该情况下，可基于来自一个或多个相邻的代理的信息来确定目标。例如在所述代理在两个短划线(tirets)之间传播时以及在相邻的代理在连续的标记中传播时发生所述情形。在该情况下，第一代理的演变方向的演变与第二代理的演变方向的演变相同。

在代理不可计算重心并且未布置任何可计算重心的相邻的代理的情况下，移动角度是不变的，所述代理继续朝向上文确定的方向移动。

所述代理接下来朝向与该角度对应的方向移动，并且限制成预确定值。该预确定值取决于道路类型并且取决于所考虑的用于检测的最大曲率。该值可为根据关于车辆所行驶在的道路的性质的假设(如果道路是高速公路，值减小，如果道路是地方道路，值较大)可变的。

移动长度是恒定的，并且与在两个像素之间的距离对应。

代理的表现：

所述代理重复地交替感知步骤和移动步骤，直到移动到与图像空间中的界面(horizon)对应的线。

在所述代理的每个经过点，记录对应的像素的值，以及所述代理的位置(呈现一对数[V_x，P_x]的形式，其中，x在所述代理的起始点与到达点之间变化)。

代理的选择：

以下步骤旨在选择代理，经选择的代理的移动与标记对应。

为此，对于期望检测的标记类型中的每种，记录比率R_道路。例如，对于连续的标记，所述比率等于1。

对于不连续的标记，所述比率根据所述标记的调制而在0与1之间。

在以下情况下保留代理：

-如果比率R_代理在以下值之间：

○在大于预确定阈值的像素值V_x之间，以及

○在小于预确定阈值的像素值V_x之间，

并且所述比率R_代理小于比率R_道路，且具有预限定的容差余地。

-由所述代理记录的像素的平均强度V_x大于预确定阈值。

代理的创建：

所述代理创建在所述图像的下边边缘、右边边缘或左边边缘上，并且朝向所述图像的光学中心的方向移动。

区分出三个阶段：

-初始化阶段，在所述初始化阶段中，发送N个代理中的多个，所述代理中的每个在置信图像上隔有预确定距离，

-重新初始化阶段，在所述重新初始化阶段中，使用经选择的代理的先前踪迹(traces)，以使对应的代理重新初始化到所述代理的踪迹的开始位置，

-在每次重复时，

○在经选择的最右边的代理的右边创建代理，或

○在经选择的最左边的代理的左边创建代理，

在每次重复时，改变对于侧的选择。

道路标记的形式的估计：

道路标记的形式的估计或所述标记的三次样条函数的估计由处理实施，所述处理旨在基于由所述代理穿过的所有像素来计算显示所述标记的特征的三次样条函数。

通过使下述等式的函数f最小化来计算所述三次样条函数的公式：

其中：

-x_i与由代理穿过的第i个像素的x坐标对应，

-y_i与由代理穿过的第i个像素的y坐标对应，

-w_i与由代理穿过的第i个像素的灰度值V_i对应，

-B指示函数空间，

-λ指示平滑参数，所述平滑参数在0与0.15之间并且取决于所述道路的类型。

参数λ在基本笔直的道路(例如高速公路)上为零或接近零，并且对于具有频繁曲率的道路(例如山路)，接近0.1。

参数λ的调整可手动地实施或基于来自外部系统(例如地理定位装置(GPS))的数据来实施。

该处理的结果提供了与所述道路标记对应的平滑样条函数。

实施变型的展示：

图3示出了根据本发明的用于识别地面标记的解决方案和更确切地用于检测标记的检测模块(13)的另一逻辑图示例。

所述处理应用在由模块(11)计算的置信图像上。

第一步骤(20)旨在对于标记的每个短划线确定用于描述最大化位置演变的全部参数。该演变考虑到由车辆的颠簸引起的误差以及由地面的平整度缺陷引起的误差。

下一步骤(21)确定在上一重复时是否存在至少一个经选择的代理，所述至少一个经选择的代理描述了在上文置信图像上的标记。

-如果存在至少一个代理，下一步骤(22)旨在研究标记估计的空间一致性，以便消除非相干的代理。

接下来在步骤(23)中将代理添加到在上一重复时选择的更右边代理的右边或更左边代理的左边。

-如果不存在任何经选择的代理，使朝向光学中心的方向传播的多个代理初始化(24)。

步骤(25)旨在对于所述代理中的每个在所述代理传播之前估计相邻的代理。

步骤(26)旨在发起通过代理检测标记的检测进程，所述检测进程在下文中参考图4描述。

步骤(27)旨在对于所述代理中的每个估计感知阈值和稳定性阈值。所述感知阈值通过估计借助于所述代理的踪迹辨识的短划线并且通过推断随后的短划线的位置和长度来计算。

根据这些元件，为下一次重复调整所述代理的感知阈值。

所述稳定性根据在其中值大于阈值的像素数量与其中值小于该阈值的像素数量之间的比率来估计。

步骤(28)旨在当稳定性的值小于阈值时或当所述踪迹的像素值的平均值小于阈值时消除不适当的代理。

步骤(29)涉及估计车辆相对于道路轴线的平均速度。该估计通过回归方法从所述代理的踪迹的时间修正(recalage)得出。

标记录入步骤(30)旨在在缓冲存储器中记录所述代理的踪迹的第一像素的连续值，并且通过将所述连续值与不同类型的标记的签名库进行比较来从中推导出标记的类型。

步骤(31)旨在使在所述摄像机的感知范围(摄像机的视锥(frustum))与显示所述标记特征的三次样条函数之间的交叉处的代理重新初始化。

步骤(32)涉及从左到右地分拣(tri)代理，以便为下一重复步骤(25)计算邻居。

步骤(33)旨在计算所述车辆所处在的当前道路。

步骤(34)旨在消除超出在步骤(30)中显示特征的不可越过的线的标记。该步骤能够减小所需的计算功率并且在使用自动驾驶仪的情况下避免意外的道路变化。

多代理模拟的逻辑图：

第一步骤(40)与对道路定向的估计对应；所述道路定向通过在代理方向上进行协调(consensus)的协调方法获得。

步骤(41)旨在确定最后边的代理，并且通过上文限定的演变模型来移动该代理(步骤(42))。

步骤(43)旨在验证所述代理是否到达界面。

-如果所述代理没有到达界面，从步骤(40)起重复所述进程，

-否则，如果所述代理到达了界面，验证所述代理是否遵循如上文描述的稳定性阈值以及验证所述踪迹上的像素的平均值是否符合上文描述的比较。

接下来进行验证步骤(44)。如果结果是否定的，使所述代理重新初始化到开端，并且从所述步骤(40)起进行使所述进程再重复的再重复步骤(45)，以消除与相邻的代理配合的部件。所述代理由此标记有重新初始化旗标。已重新初始化的代理不可第二次重新初始化。

接下来(步骤46)进行记录所述代理的踪迹的像素，并且(步骤47)进行估计所述标记在当前重复与上一重复之间的移动，以便能够通过协调来处理用于估计平均速度的估计步骤(29)。

步骤(48)通过使上一重复的代理的踪迹与当前重复的代理的踪迹进行比较来实施对所述代理的任选脱离情形的估计。所述脱离限定成在上一重复与当前重复之间的信息丢失(标记的短划线)。

在在步骤中检测到脱离的情况下，从步骤(40)起进行使进程再重复的再重复步骤(49)，以消除与相邻的代理配合的部件。在检测到的脱离区域的开始时以及在从步骤(40)起的进程的再重复的开始时，使所述代理重新初始化。

如果所有的代理都到达了界面，所述进程结束(步骤(50))。

Claims

1.一种用于识别地面标记的图像处理方法，所述图像处理方法包括用于接收车辆前方和/或后方的地面的至少一个图像的接收步骤，其特征在于，所述图像处理方法包括用于计算与置信图对应的数字图像的计算步骤，所述计算步骤旨在给经获取图像的每个像素分配值，经分配的值与关于所述像素归属于标记区域的置信度对应，然后通过使下述等式的函数f最小化来进行标记检测步骤：

其中：

-F是回归函数，

-x_i与由代理穿过的第i个像素的x坐标对应，

-y_i与由代理穿过的第i个像素的y坐标对应，

-w_i与由代理穿过的第i个像素的灰度值V_i对应，

-B指示函数空间，

-λ指示平滑参数，所述平滑参数取决于所述道路的类型。

2.根据权利要求1所述的用于识别地面标记的图像处理方法，其特征在于，所述图像处理方法包括基于来自地理定位系统的数据来调整参数λ的调整步骤。

3.根据权利要求1所述的用于识别地面标记的图像处理方法，其特征在于，所述图像处理方法包括用于接收车辆前方和/或后方的地面的至少一个图像的接收步骤，其特征在于，所述图像处理方法还包括通过来自元件检测模块的信息来局部地掩蔽经获取图像的掩蔽步骤，所述元件检测模块用于检测地平面上方的位于摄像机范围中的元件。

4.根据权利要求1所述的用于识别地面标记的图像处理方法，其特征在于，所述图像处理方法包括以下步骤：

-接收车辆前方和/或后方的地面的至少一个图像，

-进行图像预处理，所述图像预处理旨在给所述图像的每个像素分配数字指数，所述数字指数表示所述像素归属于标记，

-使多代理进程初始化，所述多代理进程旨在：

-从所述图像的边缘像素[一个像素]起向所述图像的光学中心传播多个代理，所述代理中的每个与N个相邻像素的感知范围相关联，

-控制所述代理中的每个在所述感知范围中朝向所述感知范围的重心的方向移动，所述重心由归属于所述范围的像素的数字归属指数加权，

-对于所述代理中的每个，重复所述步骤直到包括至少一个标记的图像带的边缘，

-对于所述代理中的每个，记录所浏览的像素的坐标以及相关联的数字归属指数的值，

-选择代理，经选择的代理的经记录的数字值是最大化的，

-记录所述代理的记录序列，

然后，在所述初始化步骤之后，对于每个新图像，

-根据在上一重复时获得的标记估计与所述图像的边缘之间的交叉来重新估计所述代理中的每个的起始位置，

-使在上一步骤时选择的代理重新初始化到所述起始位置，

然后：

-从所述起始位置起传播全部经选择的代理，

-选择代理，经选择的代理的经记录的数字值是最大化的，

-对于所述新图像，记录所述代理的记录序列。

5.根据权利要求3所述的用于识别地面标记的图像处理方法，其特征在于，所述图像处理方法还包括处理步骤，所述处理步骤旨在对于所述记录中的每个通过三次样条函数方法来施加平滑，所述三次样条函数由所述数字归属指数的值加权。

6.根据权利要求3所述的用于识别地面标记的图像处理方法，其特征在于，所述图像处理方法包括在标记检测部件之间的信息交换部件。

7.一种用于检测地面标记的系统，所述系统包括至少一个摄像机(1至3)和计算机(5)，其特征在于，所述计算机(5)执行用于控制图像处理以识别地面标记的程序，所述程序包括用于接收车辆前方和/或后方的地面的至少一个图像的接收步骤，其特征在于，所述程序包括用于计算与置信图对应的数字图像的计算步骤，所述计算步骤旨在给经获取图像的每个像素分配值，经分配的值与关于所述像素归属于标记区域的置信度对应，然后进行标记检测步骤以计算样条函数。

8.根据权利要求7所述的用于检测地面标记的系统，其特征在于，所述系统还包括激光雷达(7)，所述激光雷达由可动激光构成，所述可动激光确保朝向所述车辆的前方方向的扫描，以检测在道路平面上方的任何元件，并且过滤图像空间以避免处理由障碍物或车辆遮挡的地面区域。