CN110555361B

CN110555361B - 车道分类的图像处理方法

Info

Publication number: CN110555361B
Application number: CN201910449459.2A
Authority: CN
Inventors: 苏煜; A·波斯; 赵坤; M·莫伊特; C·努恩
Original assignee: Aptiv Technologies Ltd
Current assignee: Anbofu Manufacturing Management Services Co ltd
Priority date: 2018-05-30
Filing date: 2019-05-28
Publication date: 2023-04-07
Anticipated expiration: 2039-05-28
Also published as: US20190370566A1; EP3576008A1; US10943131B2; CN110555361A; EP3576008B1

Abstract

提供了用于车道分类的图像处理方法。本发明涉及一种车道分类的图像处理方法，该方法包括以下步骤：确定道路图像中的候选轨迹，其中，所述候选轨迹被建模为与所述道路图像中的候选车道标记相对应的参数化线或曲线；将所述候选轨迹划分成多个单元，每个单元对应于所述候选轨迹的区段；针对多个所述单元确定至少一个小标记，其中，单元的每个小标记与连接所述候选车道标记的左右边缘的线或曲线相对应；基于所述多个单元中的每个单元的所述小标记的特征，确定每个相应单元的至少一个局部特征；通过聚合所述多个单元的所述局部特征来确定所述候选轨迹的至少一个全局特征；以及基于所述至少一个全局特征，确定所述候选车道标记是否表示车道标记。

Description

车道分类的图像处理方法

技术领域

本发明涉及基于道路图像来执行车道分类的图像处理方法。

背景技术

现有技术中已知这样的应用，其中，自动驾驶车辆配备有联接至图像处理模块的车载摄像头，该图像处理模块使得能够处理摄像头图像以获得关于周围环境的信息。

例如，可以在摄像头图像中识别车道标记以在车辆越过车道边界的情况下发出警告。这样的系统代表车道偏离警告(LDW)系统。

LDW系统的一个重要功能是检测相应车道标记，识别车道标记的类型(例如，实线或虚线)及其有效范围(例如，视觉感知长度)。

为此，现有技术的图像处理方法将道路图像(如从车辆视角看到的)转换成鸟瞰图像，通过边缘检测从该鸟瞰图中找到车道标记的线段。然后，通过检查线段的连通性(特别是在图像的相关部分中)，和/或通过确定并分析从车辆视角看到的远、近图像部分中的线段的长度，来执行车道类型分类。

尽管直观，但在许多情况下，这些方法无法正确分类车道标记。例如，如果实线因污垢、制动滑行痕迹或另一车辆的部件而磨损、损坏或遮挡，那么缺少连通性的线段可能导致虚线的不正确分类。

类似地，车道标记分类器必须能够区分真车道标记与假车道标记，例如以避免因图像中捕获的护栏或路缘而造成的错误分类。在现有技术应用中，车道标记通常被建模为参数化曲线，例如建模为没有长度限制的线或多项式曲线。然而，在实际实现中，图像中捕获的车道标记可能因遮挡、污垢、磨损等而具有缺陷或无效部分，该车道标记可能难以建模为连续且空间无限制的参数化曲线。例如，正在驶来的车辆的前部或道路边缘处的侧杆可以对应于参数化曲线，因此可能被错误地检测为车道标记。

发明内容

鉴于前述内容，本发明的目的是提供一种改进基于道路图像的车道分类的性能的图像处理方法。

该目的通过具有权利要求1的特征的、车道分类的图像处理方法得以满足。

根据本发明，一种车道分类的图像处理方法包括以下步骤：

确定道路图像中的候选轨迹，其中，所述候选轨迹被建模为与所述道路图像中的候选车道标记相对应的参数化线或参数化曲线；

将所述候选轨迹划分成多个单元，每个单元与所述候选轨迹的区段相对应；

针对多个所述单元确定至少一个小标记(marklet)，其中，单元的每个小标记与连接所述候选车道标记的左边缘和右边缘的线或曲线相对应；

基于所述多个单元中的每个单元的所述小标记的特征，确定每个相应单元的至少一个局部特征；

通过聚合所述多个单元的所述局部特征来确定所述候选轨迹的至少一个全局特征；以及

基于所述至少一个全局特征，确定所述候选车道标记是否表示车道标记。

因此，首先在道路图像中确定候选轨迹。将所述候选轨迹建模为参数化线或参数化曲线，其中参数被选择成使该候选轨迹与候选车道标记匹配。

更具体地，将所述候选轨迹的参数选择为使该候选轨迹对应于候选车道标记，其中，所述候选车道标记规定了所述道路图像中的类似于车道标记的图像图案。例如，霍夫(Hough)变换可以用于选择被建模为线或多项式的候选轨迹的参数，以便检测所述道路图像中的、可以对应于车道标记的边缘或其它图案的线性图案或曲线。

然后，将所述候选轨迹划分成多个单元，其中，每个单元对应于所述候选轨迹的区段。因为所述候选轨迹被建模为参数化线或参数化曲线，所以所述单元分别表示所述候选轨迹的线段或曲线段。

优选地，每个单元对应于所述候选轨迹的、具有固定长度的区段。该长度可以对应于所述道路图像中的、沿特定方向(例如沿所述候选轨迹的纵向方向)覆盖所述单元长度的像素的数量。另选地，每个区段的长度可以对应于在路面上测量到的固定长度。在这个示例中，每个单元的长度被选择成对应于投影在所述路面上的所述候选轨迹的区段的长度。可以基于从车辆的视角看到的摄像头视角来执行所述路面上的投影。在一个示例中，每个单元的所述固定长度处于10cm至5m的范围内，优选地处于50cm至2m的范围内，更优选地处于80cm至1.2m的范围内，如在所述路面上测量的。

针对多个所述单元确定小标记，使得单元的每个小标记对应于连接所述候选车道标记的左边缘和右边缘的线或曲线。例如，可以将单元的小标记确定为所述道路图像中的、在所述候选车道标记的左右边缘之间提供线性连接的水平像素行。因此，所述小标记可以描述所述候选车道标记的水平轮廓(horizontal profile)，在该水平轮廓中，所述候选车道标记在所述道路图像中沿垂直方向延伸。

因此，单元的每个小标记提供关于所述单元的局部信息，更具体地，关于所述候选车道标记的特定局部区段的信息。

然后，基于所述多个单元中的每个单元的所述小标记的特征，确定相应单元的至少一个局部特征。

例如，单元的所确定的至少一个局部特征可以包括所述单元的小标记的光学特征，优选地，通过确定连接所述候选车道标记的边缘的所述线或曲线的像素的灰度值的梯度模式。例如，灰度值的相应梯度模式可以用于确定相应像素连接候选车道标记的边缘的似然性。因此，单元的如此确定的局部特征提供了所述候选车道标记是否是真车道标记的指示。

类似地，单元的所述至少一个局部特征可以包括所述单元的小标记的几何特征，优选地，通过确定所述小标记相对于所述候选轨迹的位置。换句话说，所述小标记相对于所述候选轨迹的位置可以提供潜在候选车道标记是否是真车道标记的指示。例如，如果小标记的位置相对于所述候选轨迹显著偏移，那么所述候选车道标记不太可能是真车道标记。

因此，候选轨迹的一些所述单元的所述局部特征可以指示所述候选轨迹对应于车道标记，而所述候选轨迹的其它单元可能不会确认该指示。例如，非确认单元可以对应于所述车道标记的、局部损坏或至少部分地被道路上的障碍物遮挡的区段。

然后，通过聚合所述多个单元的所述局部特征来确定所述候选轨迹的至少一个全局特征，并且所述至少一个全局特征用于确定所述候选车道标记是否表示车道标记。

例如，可以分析和/或比较所述多个单元的所述局部特征，以便确定聚合的全局特征，该聚合的全局特征可以用于确定是否已经在所述多个单元中检测到车道标记的至少一部分。优选地，可以利用机器学习分类器(例如人工神经网络，该人工神经网络接收所述局部特征作为网络输入，并且提供是否已经检测到车道标记的至少一部分的判定作为网络输出)来执行局部特征的聚合和基于相应全局特征的以下分类。

以这种方式，提供了用于车道分类的鲁棒且高效的图像处理方法，该方法对检测到的车道标记中的局部变化不太敏感，特别是在所述车道标记局部损坏或者被道路上的障碍物部分遮挡的情况下。

优选地，如果确定所述候选车道标记表示车道标记，则基于多个所述单元的所述局部特征，将所述车道标记分类为实线或虚线。

例如，如果仅交替的单元组具有指示已检测到车道标记的局部特征，那么可以将所述车道标记分类为虚线。

优选地，确定单元的至少一个局部特征的步骤可以包括确定所述单元的至少一个内点比(inlier ratio)的步骤。例如，可以将单元的内点比确定为针对该单元确定的小标记的数量与针对单个单元可确定的小标记的最大数量(例如，相应单元包含的图像像素线的数量)之比。

因此，接近1的内点比很可能表明所述单元与实线车道标记相关联，而接近0的内点比很可能表明所述单元不与实线车道标记相关联。

可以基于所述候选轨迹的连续单元的所述内点比的方差，将所述车道标记分类为实线或虚线。这里，所述内点比的低方差指示在连续单元中检测到一致的线型，例如，指示检测到的车道标记应当被分类为实线。相比之下，所述内点比的高方差指示在连续单元中检测到不一致的线型，例如，指示检测到的车道标记应当被分类为虚线。

类似地，可以基于在所述道路的连续图像中捕获的单元的所述内点比的方差，优选地针对位于所述车辆的附近范围中(更具体地，所述车辆携带的用于捕获所述道路图像的所述摄像头的附近范围中)的单元，将所述车道标记分类为实线或虚线。如果所述车辆正在以足够的速度行驶(例如，以超过10m/s的速度行驶)，那么位于相应摄像头的附近范围中的单元沿着所述车道标记移动，因此可以用于扫描所述车道标记以基于所述道路的连续图像执行所述车道标记类型分类。

而且，在这个示例中，可以基于单元的所述内点比的方差，按这样的方式将所述车道标记分类为实线或虚线：将与小的单元内点比方差相对应的线标记分类为实线，而将与大的单元内点比方差相对应的线标记分类为虚线。

优选地，如果上述至少一个全局特征指示所述候选车道标记表示车道标记，那么基于所述候选轨迹的多个单元的局部特征确定所述车道标记的范围。在这方面，所述车道标记的所述范围被规定为从所述车辆摄像头的视角看到的、所述道路图像上的所述车道标记的未遮挡长度。优选地，所述车道标记的所述范围是在所述道路上测量的所述车道标记的未遮挡空间长度。

优选地，通过将多个单元的所述至少一个局部特征与单元模型进行比较来确定所述车道标记的所述范围，该单元模型用于确定所述单元中的哪些与车道标记区段匹配。例如，所述单元模型可以规定单元的所述内点比的阈值，该阈值规定单元是否应当被认为与车道标记区段匹配。

优选地，如果确定单元与车道标记区段匹配，则将所述车道标记区段的长度添加至所述车道标记的所述范围。

优选地，如果确定单元与车道标记区段匹配，则将所述匹配单元的所述至少一个局部特征用于更新所述单元模型，例如，调整单元的所述内点比的阈值，该阈值规定单元是否应当被认为与车道标记区段匹配。以这种方式，所述单元模型跟随所述车道标记的变化特征以改善分类性能。

在任何情况下，利用所述至少一个全局特征来确定所述候选车道标记是否表示车道标记的步骤可以包括以下步骤：通过机器学习分类器(例如人工神经网络)，或者优选地通过支持向量机来执行分类。

附图说明

在下面的附图描述中描述了本发明进一步的实施方式。下面，借助于实施方式并且参照附图，对本发明进行详细说明，附图中示出了：

图1是道路场景的俯视图，其中，车辆遮挡了另一车辆的视线；

图2是道路场景的立体图，其中，车辆遮挡了另一车辆的视线；

图3是示出用于车道分类的图像处理方法的框图；

图4是示出包括多个单元的两个候选轨迹的道路场景的立体图；以及

图5是图4的、进一步例示单元的小标记的道路场景。

具体实施方式

下面，关于组件或标记方向的任何陈述都是相对于图中所示的位置做出的，并且在实际应用位置上可以自然地变化。

图1示出了道路场景100的俯视图，其中，车辆110和车辆150沿相同方向行驶。第一车辆110配备有摄像头120，与第二车辆150在同一车道中并且跟在第二车辆150后面行驶。

第一车辆110的摄像头120联接至图像处理系统，以便执行车道分类的图像处理方法。以这种方式，在摄像头图像中识别车道标记，以在车辆110越过车道边界130、140的情况下发出警告。

此外，检测车道标记的类型以区分实线车道标记140与虚线车道标记130。例如，可以认为越过实线车道标记140比越过虚线车道标记130危险，因此可能需要不同类型的警告。在一个示例中，在越过实线车道边界140时可以发出警告，而在越过虚线车道边界130时可以省略警告。

因此，由摄像头120提供的道路图像用于检测车道标记130、140，识别车道标记的类型(例如，实线或虚线)并且还可能用于确定车道标记的有效范围，以便提供关于车辆周围环境的额外有用信息。

图2示出了由图1中所示的第一车辆110的摄像头120提供的道路图像200。道路图像200提供道路场景100的立体图，如从第一车辆110的摄像头120的视角所看到的。这里，第二车辆230在与第一车辆110相同的方向和相同的车道上行驶，因此，遮挡了道路上的实线车道标记220的至少一部分以及虚线车道标记210的至少一部分。

图2中所示的范围240表示虚线车道标记210的视觉感知长度，图2中所示的范围250表示在道路图像200的右手侧上的实线车道标记220的视觉感知长度。

由此可见，车道标记的遮挡会增加分类任务的负担。类似地，如果实线因污垢、制动滑行痕迹或另一车辆的部件而磨损、损坏或遮挡，那么可能出现缺乏连通性的实线线段。因此，应当避免这种情况导致虚线的错误分类。

有鉴于此，提出了一种车道分类的多步骤图像处理方法。首先，将道路图像中的候选车道标记分类为真车道标记或假车道标记。为此，确定对应于候选车道标记的候选轨迹，然后确定并聚合候选轨迹的局部特征以得到至少一个全局特征。然后，将所述至少一个全局特征用于确定候选车道标记是否表示真车道标记。

以这种方式，车道标记分类的鲁棒性和精度得到显著提高。更具体地，图像中捕获的车道标记可能因遮挡、污垢、磨损等而具有局部缺陷或无效部分，该车道标记可能难以或无法建模为常规的连续且空间无限制的参数化曲线。因此，本发明不是基于空间广义的全局特征来执行分类，而是提出确定候选轨迹的局部特征，其中，候选轨迹对应于候选车道标记，然后基于局部特征得到全局特征。

由此可见，用于分类的信息基于已基于局部特征确定的全局特征，因此允许在检测到的候选车道标记的局部遮挡或者损坏的区段或部分之间进行区分。换句话说，车道标记分类过程可以在候选车道标记的局部区段之间进行区分，从而允许考虑候选车道标记的局部缺陷或局部遮挡部分。因此，可以显著提高分类性能。

图3示出了所提出的车道分类的图像处理方法300的对应框图。在第一步骤310中，在道路图像中确定候选轨迹，并且将候选轨迹建模为与作为分类主体的候选车道标记相对应的参数化线或参数化曲线。例如，图4示出了道路图像500中的两个候选车道标记510、520，其中，两个候选轨迹530、540被建模为参数化线，以便对应于候选车道标记510、520。

换句话说，在道路图像500中检测到候选车道标记510、520(例如，通过边缘或图案识别算法)，并且将对应的候选轨迹530、540建模为穿过候选车道标记510、520的线。

为了确定相应候选车道标记510、520是表示街道表面上的真车道标记还是假车道标记，将候选车道标记510、520各自的候选轨迹530、540划分成多个单元C1-C7。因此，在图3的步骤310中，确定候选轨迹，然后将该候选轨迹划分成多个单元，每个单元对应于候选轨迹的区段。

在图4所示示例中，每个单元C1-C7对应于相应候选轨迹530、540的线性区段。更具体地，单元C1-C7以近似相等的分布间隔在单元边缘550处分开。在该示例中，每个单元C1-C7在路面上具有约1米的固定长度。然而，可以选择其它长度和/或不等长度模式。例如，可以将单元长度调整得足够大以收集足够的信息来增强该单元对局部噪声的鲁棒性，而缩短单元长度提高了由车道标记分类提供的空间分辨率。

在图3的步骤320中，针对多个单元确定至少一个小标记。这里，单元的每个小标记与连接候选车道标记的左右边缘的线或曲线相对应。

例如，图5中所示的道路场景600对应于图4的道路图像500，并且还例示了单元C1-C7中的小标记630的排布。在该示例中，每个小标记630表示连接候选车道标记610、620的左右边缘的线，并且小标记在沿着候选车道标记610、620延伸的方向上分布。由此可见，针对实线候选车道标记620确定的小标记630的数量超过针对虚线候选车道标记630确定的小标记630的数量。

在图3所示的下一步骤330中，基于小标记630的特征确定所述多个单元C1-C7中的每个单元的至少一个局部特征340。

在该示例中，小标记630的特征用于确定这些小标记各自的单元C1-C7中的每个单元的光学特征和几何特征两者。

更具体地，通过对与连接候选车道标记610、620的边缘的相应线性小标记630相对应的像素的灰度值的梯度模式进行分析来确定单元C1-C7的光学局部特征。在该示例中，灰度值的梯度模式用于确定相应像素连接候选车道标记的边缘的似然性，因此用于提供相应单元C1-C7是否真正与车道标记相关联的指示。

类似地，通过对每个小标记630相对于其关联候选轨迹530、540的位置进行分析来确定单元C1-C7的小标记630的几何特征。换句话说，小标记630相对于其候选轨迹530、540的位置提供了相应单元C1-C7是否真正与车道标记相关联的指示。例如，如果单元C1-C7的小标记630的位置相对于其候选轨迹530、540显著偏移，那么相应单元不太可能与真车道标记相关联。

因此，候选轨迹630、540的单元C1-C7的局部特征提供候选轨迹630、640是否对应于真车道标记的指示。然而，非确认单元C1-C7可以对应于车道标记的、在虚线中缺少的、局部损坏或者至少部分地被道路上的障碍物遮挡的区段。

有鉴于此，在图3的步骤350中，通过将与相应候选轨迹530、540相关联的所述多个单元C1-C7的局部特征进行聚合来确定候选轨迹530、540的至少一个全局特征，然后，将所述至少一个全局特征用于确定与候选轨迹530、540相关联的候选车道标记是否表示真车道标记。

在这个示例中，分析候选轨迹530、540的多个单元的局部特征，以确定聚合的全局特征，该聚合的全局特征可以用于确定是否已经在所述多个单元中检测到车道标记的至少一部分。为此，利用机器学习分类器(例如支持向量机(SVM))来执行局部特征的聚合和基于相应全局特征的后续分类。

例如，如果潜在候选车道标记局部损坏和/或被道路上的障碍物部分遮挡，那么该候选车道标记的单元C1-C7中的一些单元的局部特征可以指示潜在候选轨迹530、540对应于真车道标记，而其余单元C1-C7的局部特征可能无法确认该指示。因此，通过聚合局部特征来生成用于分类的全局特征，可以在候选车道标记610、620的空间分离部分之间进行区分。换句话说，即使候选车道标记610、620部分损坏、被遮挡或表示虚线，候选车道标记的不受损坏、障碍物或虚线类型影响的单元也允许局部检测车道标记的存在，从而提高车道标记分类方法的鲁棒性和效率。

如果在图3的步骤350中确定候选车道标记不对应于真车道标记，那么该方法进行至步骤360，以终止针对该特定候选车道标记的车道标记分类。

另选地，如果在图3的步骤350中确定候选车道标记对应于真车道标记，那么该方法进行至步骤370以确定检测到的车道标记的类型，并且进行至步骤380以确定检测到的车道标记的范围。

更具体地，在图3的步骤370中，基于多个所述单元C1-C7的局部特征，将与候选轨迹530、540相对应的候选车道标记610、620分类为实线或虚线。例如，如图5所示，如果仅交替的单元C1-C7的组具有指示已检测到车道标记的局部特征，那么可以将该车道标记分类为虚线。

此外，在图3的步骤330中，通过分析每个单元的内点比来确定单元C1-C7的至少一个局部特征。在这个示例中，将单元C1-C7的内点比确定为针对单元C1-C7确定的小标记630的数量与相应单元C1-C7包括的图像像素线的数量之比。

如图5所示，接近1的内点比表示相应单元已经检测到最大可能数量的连接车道标记的左右边缘的小标记630，表示单元C1-C7与实线相关联，而接近0的内点比表示单元C1-C7不与实线相关联，而是可能与虚线车道标记中的间隙单元相关联。

由此可见，可以基于候选轨迹530、540的连续单元C1-C7的内点比的方差，将车道标记分类为实线或虚线。这里，内点比的低方差指示在连续单元C1-C7中检测到一致的线型，例如，指示检测到的真车道标记在步骤370中应当被分类为实线。相比之下，内点比的高方差指示在连续单元中检测到不一致的线型，例如，指示检测到的车道标记在步骤370中应当被分类为虚线。

另选地，不使用候选轨迹530、540的连续单元C1-C7的内点比的方差，而是可以选择内点比的最小值与最大值之差来描述对应的车道标记的特征。通常，虚线车道标记的该差值应当大于实线车道标记的差值。

类似地，图3中的步骤370可以基于在道路的连续图像中捕获的单元(优选针对位于车辆的附近范围中的单元，例如，在图5所示的单元C1和/或C2的范围中)的内点比方差来执行车道标记类型分类。因此，如果车辆正在以足够的速度行驶(例如，以超过10m/s的速度行驶)，那么附近范围单元C1和/或C2沿着车道标记移动。以这种方式，附近范围单元C1和/或C2扫描相应车道标记，以供基于道路的连续图像600来执行车道标记类型分类。

在任何情况下，在图3中提供了分类为实线或虚线的结果，作为车道标记类型分类的结果390。

在图3的步骤380中，基于单元C1-C7的局部特征340确定检测到的车道标记的范围。图2中将范围240、250规定为从车辆摄像头的视角看到的车道标记210、220的未遮挡长度。例如，范围210、220可以与在路面上测量的车道标记的未遮挡空间长度相对应。

在这个示例中，通过将多个单元C1-C7的所述至少一个局部特征与单元模型进行比较来确定范围240、250，该单元模型确定单元C1-C7中的哪些与有效车道标记区段匹配。例如，该单元模型可以规定单元C1-C7的内点比的阈值，该阈值规定单元是否应当被认为与车道标记区段匹配。

例如，如果单元C1的局部特征满足该单元模型并因此与车道标记区段匹配，则该范围包括单元C1的长度。然后，如果确定单元C2也与车道标记区段匹配，则将单元C2的长度添加至该车道标记的范围内。对于实线车道标记，这可以重复，直到最近的单元无法匹配车道标记区段。

以这种方式，可以从道路图像200中的由近到远区域检查单元，以便确定检测到的车道标记的范围。由此可见，可以检查单元C1-C7的光学特征和几何特征，以确定单元是否是有效车道标记的一部分。

例如，在光学检查期间，计算单元与单元模型之间的相似性。为此目的，最初根据附近范围中(例如，在路面上测量的5米内)的几个单元构建该模型。如果相似性足够，则该单元被视为有效，否则该单元被视为无效。

在几何检查期间，计算单元与候选轨迹之间的位置偏差和宽度偏差，其中，可以基于该单元的小标记的位置和/或宽度将该单元的位置和/或宽度规定为该单元的局部特征。对于无效单元(例如，对于靠近道路边缘的杆)，可能出现大的偏差，并且其它几何特征(例如单元的宽度)可能与车道标记的几何特征不同。因此，例如，如果单元的宽度对应于车道标记宽度，那么该单元与候选轨迹的大偏差导致该单元被视为无效，而对于小偏差，该单元被视为有效。

在检查完相应单元后，在图3中，例如通过利用上述从道路图像200的由近到远区域对单元进行扫描的方法，通过确定沿着车道标记到最后一个有效单元的长度来提供有效范围估计结果400。

对于虚线车道标记，可以使用附加标准来对范围进行有效性检查，例如通过利用这样的直观知识：虚线车道标记的交替标记长度和间隙长度是明确定义的并且是固定的。

在一个示例中，如果正在检查远范围中的单元，则与在近场中相比，基于不太严格的标准来验证光学特征和几何特征，例如，考虑图像远场中的图像模糊和较低像素分辨率。

在任何情况下，如果单元被认为满足由单元模型提供的匹配标准，则可以根据所检查的单元的特征来更新该单元模型。例如，如果确定单元与车道标记区段匹配，则可以将该单元的所述至少一个局部特征用于更新该单元模型，例如，调整单元的内点比的阈值，该阈值规定单元是否应当被认为与车道标记区段匹配。以这种方式，该单元模型适于跟随车道标记的变化的特征以改善分类性能。

在一个示例中，利用所述至少一个全局特征来确定候选车道标记是否表示车道标记的步骤可以包括以下步骤：通过机器学习分类器(例如人工神经网络)，优选地通过支持向量机来执行分类。

附图标记列表：

100 道路场景

110、150 车辆

120 安装在车辆上的摄像头

130 虚线车道标记

140 实线车道标记

200 道路图像

210 虚线车道标记

220 实线车道标记

230 第二车辆

240 虚线车道标记的范围

250 实线车道标记的范围

300 车道分类的图像处理方法

310 确定道路图像中的候选轨迹并将该候选轨迹划分成多个单元

320 针对多个单元确定至少一个小标记

330 确定每个单元的至少一个局部特征

340 单元的局部特征

350 基于单元的局部特征来确定候选轨迹的至少一个全局特征，并且确定该候选轨迹是否对应于真车道标记

360 终止车道标记分类

370 确定检测到的车道标记的类型

380 确定检测到的车道标记的范围

390 车道标记类型分类的结果

400 车道标记估计的范围的结果

500 道路图像

510 虚线候选车道标记

520 实线候选车道标记

530、540 候选轨迹

550 单元边缘

600 道路场景

610 虚线候选车道标记

620 实线候选车道标记

630 单元的小标记

C1-C7 候选轨迹的单元

Claims

1.一种车道分类的图像处理方法(300)，所述图像处理方法包括以下步骤：

确定道路图像中的候选轨迹(310)，其中，所述候选轨迹(530、540)被建模为与所述道路图像(200、500)中的候选车道标记(510、520、610、620)相对应的参数化线或参数化曲线；

将所述候选轨迹划分成多个单元(310)，每个单元(C1-C7)与所述候选轨迹(530、540)的区段相对应；

针对多个所述单元确定至少一个小标记(320)，其中，单元(C1-C7)的每个小标记(630)与连接所述候选车道标记(510、520、610、620)的左边缘和右边缘的线或曲线相对应；

基于所述多个单元(C1-C7)中的每个单元的所述小标记(630)的特征，确定每个相应单元(C1-C7)的至少一个局部特征(330)；

通过聚合所述多个单元(C1-C7)的所述局部特征(340)来确定所述候选轨迹的至少一个全局特征；以及

基于所述至少一个全局特征，确定所述候选车道标记(510、520、610、620)是否表示车道标记，

其中，如果确定所述候选车道标记(510、520、610、620)表示车道标记，则基于多个所述单元(C1-C7)的所述局部特征(340)将所述车道标记分类为实线或虚线，并且

其中，确定至少一个局部特征的步骤(330)包括以下步骤：将所述单元(C1-C7)中的至少一个单元的至少一个内点比确定为针对该单元(C1-C7)确定的小标记(630)的数量与该单元(C1-C7)包含的图像像素线的数量之比，其中，基于所确定的至少一个内点比将所述车道标记分类为实线或虚线。

2.根据权利要求1所述的图像处理方法(300)，其中，单元的每个小标记(630)被确定为所述道路图像(200、500)的、连接所述候选车道标记(510、520、610、620)的左边缘和右边缘的水平像素行，所述候选车道标记在所述道路图像(200、500)中沿垂直方向延伸。

3.根据权利要求1或2所述的图像处理方法(300)，其中，确定至少一个局部特征的步骤(330)包括以下步骤：确定所述小标记(630)的光学特征。

4.根据权利要求3所述的图像处理方法(300)，其中，确定所述小标记(630)的光学特征通过确定所述候选车道标记(510、520、610、620)的、与单元(C1-C7)的小标记(630)相对应的线或曲线的像素的灰度值的梯度模式进行。

5.根据权利要求1所述的图像处理方法(300)，其中，确定至少一个局部特征的步骤(330)包括以下步骤：确定所述小标记(630)的几何特征。

6.根据权利要求5所述的图像处理方法(300)，其中，确定所述小标记(630)的几何特征通过确定单元(C1-C7)的小标记(630)相对于所述候选轨迹(530、540)的位置来进行。

7.根据权利要求1所述的图像处理方法(300)，其中，按照以下方式将所述候选轨迹(530、540)划分成多个单元(C1-C7)：每个单元(C1-C7)与所述候选轨迹(530、540)的、具有固定长度的区段相对应。

8.根据权利要求7所述的图像处理方法(300)，其中，每个区段的长度与在路面上测量到的固定长度相对应。

9.根据权利要求7所述的图像处理方法(300)，其中，每个单元(530、540)的所述固定长度处于10cm至5m的范围内。

10.根据权利要求9所述的图像处理方法(300)，其中，每个单元(530、540)的所述固定长度处于50cm至2m的范围内。

11.根据权利要求10所述的图像处理方法(300)，其中，每个单元(530、540)的所述固定长度处于80cm至1.2m的范围内。

12.根据权利要求1所述的图像处理方法(300)，其中，所述车道标记是基于所述候选轨迹(530、540)的连续单元(C1-C7)的所述内点比的方差来分类为实线或虚线的。

13.根据权利要求1所述的图像处理方法(300)，其中，所述车道标记是基于在所述道路的连续图像中捕获的单元的所述内点比的方差来分类为实线或虚线的。

14.根据权利要求1所述的图像处理方法(300)，其中，所述车道标记是基于在所述道路的连续图像中捕获的单元的所述内点比的方差来分类为实线或虚线的，所捕获的单元是位于捕获所述道路图像(200、500)的相应摄像头的附近范围中的单元(C1、C2)。

15.根据权利要求12或13所述的图像处理方法(300)，其中，所述车道标记是按照如下方式基于单元(C1-C7)的所述内点比的方差来分类为实线或虚线的：被分类为实线的车道标记的单元(C1-C7)的内点比的方差比被分类为虚线的车道标记的单元(C1-C7)的内点比的方差小。

16.根据权利要求1所述的图像处理方法(300)，其中，如果确定所述候选车道标记(510、520、610、620)表示车道标记，则基于多个所述单元(C1-C7)的所述局部特征(340)来确定所述车道标记的范围(240、250)。

17.根据权利要求16所述的图像处理方法(300)，其中，所述车道标记的所述范围(240、250)对应于所述车道标记的未遮挡长度。

18.根据权利要求16所述的图像处理方法(300)，其中，所述车道标记的所述范围(240、250)是通过将多个单元(C1-C7)的所述至少一个局部特征(340)与单元模型进行比较而确定的，所述单元模型确定所述单元(C1-C7)中的哪些与车道标记区段匹配。

19.根据权利要求18所述的图像处理方法(300)，其中，如果确定单元(C1-C7)与车道标记区段匹配，则将所述候选轨迹(530、540)的、与所述单元(C1-C7)相对应的所述区段的长度添加至所述车道标记的所述范围(240、250)。

20.根据权利要求19所述的图像处理方法(300)，其中，将所述单元(C1-C7)的所述至少一个局部特征(340)用于更新所述单元模型。

21.根据权利要求1所述的图像处理方法(300)，其中，基于所述至少一个全局特征来确定所述候选车道标记是否表示车道标记的步骤(350)包括以下步骤：利用机器学习分类器、人工神经网络来执行分类。

22.根据权利要求1所述的图像处理方法(300)，其中，基于所述至少一个全局特征来确定所述候选车道标记是否表示车道标记的步骤(350)包括利用支持向量机来执行分类。