CN107273788A - 在车辆中执行车道检测的成像系统与车辆成像系统 - Google Patents

Abstract

本公开涉及在车辆中执行车道检测的成像系统与车辆成像系统。执行车道检测而不使用帧缓冲器的方法可以包括使用车辆成像系统中的图像传感器捕获图像帧。车辆成像系统中的特征提取电路系统可以分析帧以检测与可能的车道标志相对应的特征。特征可以被提取并且存储在存储器中用于进一步的处理，而帧的剩余部分可以不存储在存储器中并且可以不经历进一步的处理。处理电路系统可以基于在多个不同图像帧中存在的连续特征执行车道标志位置的第一估计，并且可以基于单个图像帧中形成连接特征的多个特征执行车道标志位置的第二估计。处理电路系统可以基于连续特征和连接特征确定车道标志的存在。

Description

在车辆中执行车道检测的成像系统与车辆成像系统

技术领域

本公开一般地涉及成像系统，并且尤其涉及具有车道检测能力的成像系统。

背景技术

图像传感器通常在诸如蜂窝式电话、相机和计算机这样的电子设备中使用以捕获图像。在典型的配置中，电子设备提供有以像素行和像素列排列的图像像素阵列。图像像素包含用于响应图像光生成电荷的光电二极管。电路系统通常耦合到每个像素列，用于读出来自图像像素的图像信号。

图像传感器通常在车辆应用(例如，汽车、飞机、船舶和其他应用)中使用。在汽车应用中，成像系统可以用来检测公路上的车道标志。例如，汽车成像系统中的图像传感器可以捕获轿车正在行进的公路的图像帧。这些图像的每个可以存储在汽车成像系统中的一个或多个全帧缓冲器中并且被处理以确定公路上车道标志的存在。然而，这种全帧缓冲器可能需要大量的存储器，并且处理全图像以确定车道标志的存在可以在也可能不得不同时执行一个或多个其他图像处理任务的图像处理电路系统上施加大的处理和功率负担。

因此，提供具有改进的车道检测能力的系统和方法将是期望的。

发明内容

根据本公开的一个方面，提供一种在车辆中执行车道检测的成像系统，其特征在于所述成像系统包括：图像传感器，其捕获多个图像，每个图像包括图像数据的行；处理电路系统，其当图像数据的行生成时从图像数据的行中提取特征点；以及存储器，其存储所提取特征点的图像元数据而不存储所述多个图像的未提取部分，其中所述处理电路系统基于所提取特征点来确定车道标志的存在。

根据上述成像系统的一个单独实施例，其特征在于所述多个图像中的每个包括感兴趣区域，其中所述处理电路系统从感兴趣区域内的图像的部分中提取特征点，而不从感兴趣区域外部的图像的部分中提取特征点，其中在图像平面中捕获多个图像，并且其中处理电路系统将从图像平面中的图像数据的行中提取的特征点的至少一些映射到地平面中的相应位置。

根据上述成像系统的一个单独实施例，其特征在于图像元数据包括关于所提取特征点在多个图像中的位置的信息，以及关于所提取特征点的颜色信息，并且存储器通过将图像元数据作为矢量存储在存储器中来存储图像元数据。

根据上述成像系统的一个单独实施例，其特征在于处理电路系统确定来自多个不同图像的第一组所提取特征点形成在多个不同图像的每个中存在的连续特征，其中处理电路系统确定来自多个图像的给定一个的第二组所提取特征点连接以形成线段，并且将第二组所提取特征点组合成连接特征，以及其中处理电路系统基于连续特征和连接特征确定车道标志的存在。

根据本公开的另一个方面，提供一种用于执行车道检测而不使用帧缓冲器的车辆成像系统，其特征在于车辆成像系统包括：图像传感器，捕获图像帧，其中图像传感器包括以行和列排列、生成原始像素值的像素阵列；特征提取电路系统，当图像传感器捕获图像帧时从图像帧的原始像素值中提取特征；存储器，存储特征而不存储原始图像像素值；以及处理电路系统，基于存储在存储器中的所提取特征确定车道的位置。

根据上述车辆成像系统的一个单独实施例，其特征在于特征的每个包括图像元数据，图像元数据包括图像帧中特征的颜色、特征的大小以及特征的位置，其中图像元数据作为矢量存储在存储器中，其中特征提取电路系统仅提取所捕获图像帧中预定的感兴趣区域中的特征，其中处理电路系统将车道标志的位置传输给驾驶控制电路系统，以及其中驾驶控制电路系统基于车道标志的位置修改包含车辆成像系统和驾驶控制电路系统的车辆的操作。

根据上述车辆成像系统的一个单独实施例，其特征在于处理电路系统检测到来自多个不同图像帧的第一多个所提取特征形成在多个不同图像帧的每个中存在的时间连续特征，其中处理电路系统检测到来自给定一个图像帧的第二多个所提取特征形成图像帧中的空间连接区域，其中处理电路系统将第二多个所提取特征组合以形成连接特征，以及其中处理电路系统基于连续特征和连接特征确定车道标志的位置。

根据本公开的再一个方面，提供一种捕获多个图像帧并且处理多个图像帧而不将多个图像帧存储在缓冲器中的车辆成像系统，其特征在于车辆成像系统包括：处理电路系统，识别多个图像帧中指示车道标志的存在的感兴趣点，确定多个图像帧中的感兴趣点形成在每个图像帧中存在的连续特征，确定给定一个图像帧中的多个感兴趣点空间连接以形成连接特征，以及基于连续特征和连接特征检测图像帧中的车道标志；以及存储器，存储识别到的感兴趣点而不存储没有指示车道标志存在的多个图像帧的部分。

根据上述车辆成像系统的一个单独实施例，其特征在于每个图像帧包括像素值，其中处理电路系统通过在图像帧正在被捕获时，执行给定图像帧中像素值的逐行线扫描识别感兴趣点，并且其中基于像素值对应的图像帧中的位置以及与像素值相关联的颜色识别感兴趣点。

根据上述车辆成像系统的一个单独实施例，其特征在于处理电路系统将连续特征映射到地平面，并且当连续特征映射到地平面时在连续特征上执行模型拟合，其中处理电路系统将连接特征映射到地平面，并且当连接特征映射到地平面时在连接特征上执行模型拟合。

附图说明

图1是根据本发明的实施例，具有使用像素阵列捕获图像的图像传感器和处理电路系统的例示性电子设备的图。

图2是根据本发明的实施例，具有成像系统和车辆成像系统处理电路系统的例示性车辆的图。

图3A是根据本发明的实施例，由诸如图1和2中所示的这样的成像系统捕获的例示性图像帧的图像平面视图。

图3B是根据本发明的实施例，诸如图3中所示的这样的例示性图像帧的地平面视图。

图4是根据本发明的实施例，可以在基于所捕获的图像帧确定车道标志的存在时执行的例示性步骤的流程图。

图5A是根据本发明的实施例，可以在从所捕获的图像帧中提取特征时执行的例示性步骤的流程图。

图5B是根据本发明的实施例，可以在进行车道标志存在的第一确定时执行的例示性步骤的流程图。

图5C是根据本发明的实施例，可以在进行车道标志存在的第二确定时执行的例示性步骤的流程图。

具体实施方式

具有数字相机模块的成像系统在诸如数字相机、计算机、蜂窝式电话这样的电子设备以及其他电子设备中广泛地使用。数字相机模块可以包括收集进入的光以捕获图像的一个或多个图像传感器。

在一些情况下，成像系统可以形成诸如监控系统、车辆(例如，汽车、公共汽车、卡车、摩托车或者任何其他车辆)的安全系统和/或驾驶员帮助系统(有时在这里称作高级驾驶员辅助系统或者ADAS)这样的更大系统的一部分。在驾驶员辅助系统中，由成像系统捕获的图像可以用来确定车辆周围的环境条件。作为示例，车辆安全系统可以包括诸如停车辅助系统、自动或者半自动巡航控制系统、自动制动系统、碰撞避免系统、车道检测或者车道标志检测系统、车道保持系统(有时称作车道漂移避免系统)、行人检测和/或避免系统、驾驶员行为分析系统等这样的系统。在这些场景中，由成像系统捕获的图像数据可以由驾驶员辅助系统使用，用于执行自动功能(例如，与汽车的机械操作相关联的功能，该功能可以与确保汽车的安全和/或汽车附近的对象的安全相关联或者不相关联)。在至少一些实例中，成像系统可以形成半自主或者自主自驾车辆的车辆安全系统和/或驾驶员帮助系统的部件。

车辆安全系统可以包括计算装备(例如，在具有易失性和/或非易失性存储器以及诸如中央处理系统或者其他处理装备这样的处理器的存储和处理电路系统上实现)以及将由计算装备生成的指令翻译成与驾驶车辆相关联的机械操作的相应驾驶控制装备(有时在这里称作驾驶控制电路系统)。例如，驾驶控制装备可以响应由驾驶员帮助系统生成的控制信号驱动与车辆相关联的机械系统。车辆安全系统可以处理图像数据以生成控制信号，使得控制信号用来指示驾驶控制装备执行与驾驶车辆相关联的期望的机械操作。例如，驾驶控制系统可以调整车辆的方向盘，使得车辆向期望的方向转弯(例如，用于执行车辆由车辆安全系统引导至停车点中的停车辅助功能，用于执行自动地调整方向盘以维持车辆的航向在公路车道标志之间的车道辅助功能)，可以控制车辆的发动机(马达)，使得车辆具有一定速度或者使得车辆以期望的发动机功率向前或者向后移动(例如，驾驶控制系统可以调整车辆的节流阀，使得车辆相对于车辆前方的另一个车辆维持期望的距离等)，可以调整与车辆相关联的制动系统(例如，可以驱动停车制动、防抱死制动等)，或者可以执行与车辆的移动相关联的任何其他机械操作。车辆安全系统可以执行检测车辆侧方、前方和/或后方的对象的危险检测操作，其向驾驶员警告危险(例如，经由警报或者显示)和/或自动地调整车辆的移动(例如，通过控制驾驶系统)来避免检测到的危险或者对象。由车辆安全系统执行用于(例如，通过控制驾驶控制系统)维持车辆安全的功能有时在这里可以称作车辆安全操作、车辆安全功能和/或驾驶员辅助功能。

驾驶员辅助系统可以包括一个或多个处理器，处理器主要或者完整地专用于连同驾驶员帮助系统执行处理操作。例如，高级驾驶员辅助系统可以包括一个或多个专用高级驾驶员辅助系统处理器(ADAS处理器)，用于处理由车辆安全系统中的图像传感器捕获的图像和/或控制接收来自车辆安全系统的控制信号的驾驶控制装备。

专用ADAS处理器可能需要在来自形成车辆的驾驶员帮助系统的多个不同相机的多个不同图像(或者图像流)上执行许多不同的图像处理操作。例如，ADAS处理器可能需要运行各种不同的计算机视觉算法，诸如对象检测、行人检测、碰撞避免、图像拼接以及车道检测和保持操作。这些操作的一些或者全部可能需要全帧缓冲和图像处理，这可以需要大量的处理能力并且向专用ADAS处理器施加计算负担。通常，同时运行多个全帧机器视觉算法可以是具有挑战性的。

通过将低级至中级的计算机视觉任务(例如，可以以相对低的处理能力实现的图像处理操作)重新分布到其他处理组件(例如，专用于给定图像传感器或者特定机器视觉操作或算法的传感器上处理电路系统或者离散处理电路系统)，可以减轻否则将施加于专用ADAS处理器上的处理负担中的一些。例如，不需要全帧缓冲器和相应车道检测电路系统的改进的车道检测算法可以用来减少专用ADAS处理器上的总体处理负担。

诸如在车辆安全系统的成像系统中实现的这样的图像传感器可以包括一个或多个图像像素阵列。阵列中的像素可以包括将进入的光转换成电荷的诸如光电二极管这样的光敏元件。像素阵列可以具有任何数量的像素(例如，数百或者数千或者更多)。典型的图像传感器可以例如具有数百、数千或者数百万的像素(例如，兆像素)。如果期望的话，每个像素可以具有在那个像素上形成的相关联的微透镜(以及滤色元件)。图像传感器可以包括控制电路系统，诸如用于操作图像像素的电路系统以及用于读出与由光敏元件生成的电荷相对应的图像信号的读出电路系统。

图1是诸如使用图像传感器捕获图像的电子设备这样的例示性成像系统的图。图1的电子设备10可以是便携式电子设备，诸如相机、蜂窝式电话、平板计算机、网络摄像头、摄像机、视频监控系统、汽车成像系统、具有成像能力的视频游戏系统或者捕获数字图像数据的任何其他期望成像系统或者设备。相机模块12可以用来将进入的光转换成数字图像数据。相机12可以包括一个或多个透镜14以及一个或多个相应的图像传感器16。透镜14可以包括固定和/或可调节透镜，并且可以包括在图像传感器16的成像表面上形成的微透镜。在图像捕获操作期间，来自场景的光可以由透镜14聚焦到图像传感器16上。图像传感器16可以包括用于将模拟像素数据转换成将要提供给存储和处理电路系统18的相应数字图像数据的电路系统。如果期望的话，相机模块12可以提供有透镜14的阵列以及相应图像传感器16的阵列。

如果期望的话，图1中所示类型的成像系统10可以是专用车道检测系统，它使用图像传感器16捕获图像并且使用存储和处理电路系统18使用车道检测算法(例如，无缓冲车道检测算法)执行车道检测操作。如果期望的话，这种成像系统10可以将车道检测信号传输到主ADAS处理器(例如，用于进一步的处理或者用于路由到驾驶控制电路系统)。然而，这仅是例示性的。通常，成像系统10可以捕获图像并且连同任何适当的车辆安全或者驾驶员帮助操作处理图像。

诸如汽车这样的车辆22的例示性示例在图2中示出。如图2的例示性示例中所示，汽车22可以包括一个或多个成像系统10。成像系统10可以是具有专用图像捕获和/或图像处理功能的成像系统(例如，车道检测成像系统)。如果期望的话，成像系统10可以执行与给定驾驶员帮助操作相关联的图像处理功能的一些或者全部。诸如处理器20这样的专用驾驶员帮助处理器可以接收来自成像系统10的信号，信号需要很少或者不需要由驾驶员帮助处理器20进行进一步的处理并且可以由处理器20使用以执行驾驶控制操作。这样，专用成像系统10可以减少ADAS处理器20上的计算负担。

在另一个适当的示例中，成像系统10可以执行与给定驾驶员帮助功能相关联的图像处理操作的仅一些或者不执行这种图像处理操作。例如，成像系统10可以仅捕获车辆22周围的环境的图像并且将图像数据传输到ADAS处理器20用于进一步处理。这种配置可以用于车辆安全系统功能，其需要大量的处理能力和存储器(例如，所捕获图像的全帧缓冲和处理)。如果期望的话，由成像系统10捕获的图像的处理可以在处理电路系统18与ADAS处理器20之间分割。然而，前述示例仅是例示性的。通常，所捕获图像的处理可以针对任何期望的驾驶员帮助操作以任何期望的配置在成像系统10与专用驾驶员帮助处理器20之间分割。

在图2的例示性示例中，第一成像系统10示出安装在轿车22的前面，并且第二成像系统10示出安装在轿车22的内部。如果期望的话，成像系统10可以安装在车辆22的后端(亦即，与第一成像系统10在图2中安装的位置相对的车辆的后面)。然而，这仅是例示性的。一个或多个成像系统10可以安装在车辆22上或者车辆22内部任何适当的位置。

由成像系统10捕获的例示性图像帧30的图像平面视图在图3A中示出。如图3A中所示，在图像平面中观看的图像帧30可以代表如从捕获图像的图像传感器16中的像素阵列的视角观看的场景。因为图像平面中的图像帧从这个视角观看，透视变形可能在图像中存在。例如，车道标志26和28在图3A中好像汇聚，虽然实际上，车道标志26和28在长达轿车22正在行进的公路的长度上彼此平行前行。

图像帧30可以包括感兴趣区域24。在图3A的例示性示例中，第一和第二(亦即，左侧和右侧)各自的感兴趣区域24-1和24-2由覆盖到图像帧30上的虚线示出。感兴趣区域24-1可以代表当车辆22沿着公路行进时车辆22的左手侧上的车道标志26期望存在的车辆22前方的区域。感兴趣区域24-2可以代表当车辆22沿着公路行进时车辆22的右手侧上的车道标志28期望存在的车辆22前方的区域。虽然如图3A中所示图像传感器16可以捕获完整的图像帧，但是图像帧的车道检测处理可以仅对于位于第一感兴趣区域24-1和第二感兴趣区域24-2内的图像的部分而发生。仅在所捕获图像的一部分上执行车道检测处理操作可以比执行全帧车道检测处理操作需要少的处理能力并且可以减少算法复杂度。

由成像系统10捕获的例示性图像帧30的地平面视图在图3B中示出。如图3B中所示，在地平面中观看的图像帧30可以形成场景的鸟瞰视角。例如，由图像传感器16捕获的图像帧(亦即，图像平面中的图像帧)可以被处理并且投影到地平面上以生成如图3B中所示的地平面图像。如果期望的话，仅从图像平面中的图像中提取的特征可以映射到地平面。通过提取图像平面中的特征点并且仅将所提取的特征点投影到地平面中，可以减少执行映射所必需的处理和计算功率(例如，与将整个图像从图像平面映射到地平面相比较)。因为地平面中的特征点从顶部向下观看，所以可以完全或者基本上消除在图像的图像平面视图中存在的透视变形。例如，图3B示出车道标志26和28基本上彼此平行延伸。

在一个适当的示例中，可以基于图像帧30的地平面视图确定感兴趣区域24-1和24-2。因为地平面中的对象可以以绝对单位(例如，米、毫米、英尺、英寸等)测量，所以感兴趣区域可以定义为汽车22前面(或者后面或者任一侧上)地平面中的预定的大小和形状。例如，如在地平面中测量的，感兴趣区域24-1和24-2可以定义为轿车22前方大约10米长并且6米宽的区域。在地平面中定义感兴趣区域24-1和24-2之后，感兴趣区域可以投影回到图像平面中，使得当它们出现在图像平面中时感兴趣区域可以定义所捕获图像帧30的面积。在地平面中确定的感兴趣区域可以基于允许处理电路系统确定与地平面中给定位置相对应的图像平面中的位置的已知的相机校准值和设置投影回到图像平面中。

使用全图像帧执行车道检测操作可以是计算密集性的，并且向车辆22中的处理电路系统(例如，ADAS处理器20)施加增加的负担，以及需要更多的传感器上存储器，这增加芯片成本。尤其，全帧车道检测算法需要当处理先前捕获的图像帧时，在图像帧由图像传感器捕获时存储图像帧的缓冲器。当这些全帧车道检测算法的缓冲和处理需求与其他驾驶员帮助系统算法(例如，行人检测、碰撞避免等)的缓冲和处理需求组合在一起时，车辆系统上的处理和缓冲负担能够非常高。

为了减少执行车道检测的计算负担，可以使用无缓冲车道检测算法。“无缓冲车道检测算法”可以不依赖于全帧数据(或者全图像)进行车道检测。当图像被捕获并且图像数据由图像传感器生成时，通过使用流传输数据实现检测(亦即，帧数据逐行地流传输)。可以根据无缓冲车道检测算法执行的例示性步骤的流程图在图4中示出。

在步骤402，可以使用作为车辆22中的车辆成像系统的部件的诸如图像传感器16这样的图像传感器捕获围绕车辆22的环境的一个或多个图像。如下面所描述的，特征提取可以在图像捕获期间(亦即，同时、与其同时)发生。当捕获图像数据的行时，可以从图像数据的个体行中提取特征。当图像捕获完成时，特征点的提取也可以完成。所捕获的图像可以向下游发送，用于由车辆20中的其他系统进一步处理，但是不本地地存储在图像传感器芯片上。仅所提取的特征在本地存储用于进一步处理。如果期望的话，图像传感器16可以以规则的间隔捕获图像帧，诸如每秒1帧(fps)、2fps、5fps、10fps、20fps、40fps、60fps或者任何其他适当的帧速率。在步骤402处捕获的每个帧可以是图像平面中的图像帧(例如，如连同图3A所示并且所描述的)。然而，这仅是例示性的。如果期望的话，可以针对一个图像帧确定感兴趣区域24并且应用于一个或多个随后的图像帧，而不将随后的图像帧映射到地平面和/或针对每个帧确定离散的感兴趣区域。

在步骤404，可以提取在步骤402中由图像传感器16捕获的图像帧中的特征(有时在这里称作特征点、感兴趣点或者车道标志指示)。特征提取可以包括处理一行像素(不是整个图像)。如连同步骤402所描述的，图像数据逐行捕获，并且流传输到处理电路系统18。例如，由图像传感器16捕获的每个图像帧30可以包括具有与在图像传感器12中像素阵列中以行和列排列的像素相对应的像素值的图像数据。成像系统10中的特征提取电路系统(例如，处理电路系统18)可以在特征提取操作期间一次处理进入的一行像素数据(例如，串行地处理来自帧中每行的数据)。在一个适当的示例中，可以在特征提取操作期间仅处理在感兴趣区域24-1和24-2中的图像30的部分的像素值(因为图像的这些部分已经预先选择为最有可能包括车道标志的区域)。每当给定行的像素值可用时(亦即，在已经生成给定行的像素数据之后)，图像帧30的处理可以包括执行感兴趣区域24-1和24-2中帧30的部分的逐行分析(亦即，与在像素阵列的给定行中形成的像素相对应的像素值的分析)。这样，特征提取可以在已经捕获整个图像之前开始。该处理可以搜索作为车道标志特性的像素值。例如，特征提取可以基于图像平面中特征的位置、像素中特征的宽度以及特征的颜色(例如，如基于像素值而确定)确定特征在帧中存在。

一旦已经识别到图像帧中的特征，处理电路系统可以不处理除了特征之外的、与帧相关联的所有其他图像数据(例如，可以忽略图像的未提取部分)。然后可以将与特征相关联的像素值转换成图像元数据(例如，与像素值相关联的行、列和/或颜色等)。然后代表所提取特征的这些元数据可以存储在矢量中。这样，仅存储并且处理与特征相关的信息(亦即，指示车道标志存在的图像数据)，消除对于缓冲器的需求并且启用无缓冲车道检测算法。

在步骤406，可以进行车道标志位置(亦即，车道标志存在)的初始(第一)估计。在该初始估计期间，可以分析来自多个图像帧的特征点以确定相似的特征点在每个图像帧中存在。例如，处理电路系统18可以比较来自两个、三个、四个、五个、十个、多于十个或者任何其他适当数量的帧的特征以检测在不同时间捕获的帧中特征之间的连续性。特征之间的时间连续性可以包括检测在所比较的帧中存在的特征实际上形成一个连续特征(例如，在几个帧的过程中捕获)。当检测到不同帧的特征之间的时间连续性时，特征可以组合(有时在这里称作时间融合)成时间连续特征。来自不同图像帧的特征的该时间融合可以通过提供由图像传感器捕获的车道标志的短“历史”而提高车道标志可检测性，同时仍然需要相对少的存储器。

在步骤408，可以进行车道标志位置(亦即，车道标志存在)的精细(第二)估计。在该精细估计期间，可以检查来自单个给定图像帧的多个特征点，以检查空间连接性(亦即，可以执行图像平面中特征点的连接性检查)。在连接性检查期间，可以检查来自给定图像的多个特征点以确定特征点是否连接以形成与线段(例如，可以与车道标志相对应的线段)相似的对象。在一个适当的配置中，连接性检查可以确定给定帧中的多个特征对应于图像帧的相邻部分。在另一个适当的示例中，连接性检查可以确定特征对应于由在像素阵列的给定行或列中彼此直接相邻的像素所生成的像素值。空间连接性检查也可以校正在图像平面中存在的透视变形。当给定图像中的多个特征点在空间上连接时，特征可以组合成连接特征。连接特征可以指示给定帧中的车道标志。通常，时间融合提供相对强健的车道标志检测，但是没有空间连接性检查准确。空间连接性检查提供相对准确的车道标志检测，但是没有时间融合强健。

在步骤410，可以基于初始和精细估计确定车道标志的存在。例如，处理电路系统18可以使用初始和精细估计来确定哪些特征点对应于车道标志并且哪些不对应。关于检测到的车道标志的信息可以直接发送给驾驶控制电路系统，或者可以发送给ADAS处理器20用于进一步处理或者路由至车辆22中的其他适当的电路系统。

可以根据从所捕获图像帧中提取特征(例如，图4的步骤404期间)执行的例示性步骤的流程图在图5A中示出。

在步骤4042，可以确定所捕获图像帧中的感兴趣区域。如上面连同图3A和3B所描述的，可以预先定义地平面中的感兴趣区域(ROI)。ROI从地平面到图像平面的映射取决于已知的相机校准值(亦即，相机取向和透镜特性)。这样，可以确定为了特征提取将要分析的所捕获图像中图像数据的像素(以及相关联的像素值)。

如果期望的话，可以对于给定的一个或多个图像帧确定一个或多个感兴趣区域。例如，第一感兴趣区域24-1可以针对可能存在车道标志的图像帧的第一部分(例如，汽车的左前)而确定，并且第二感兴趣区域24-2可以针对可能存在车道标志的图像帧的第二部分(例如，汽车的右前)而确定。然而，这仅是例示性的。通常，可以针对一个或多个图像帧确定并且使用任何适当数量的感兴趣区域。

在步骤4044，可以扫描位于在步骤4042确定的感兴趣区域内的图像帧的部分以提取特征，或者具有可以指示车道标志的特性的图像的部分。可以针对与感兴趣区域中的图像帧的部分相对应的像素值以逐行为基础执行扫描处理。扫描处理可以类似于光栅(Raster)扫描，并且可以仅需要一行像素值作为输入。特征可以识别为与图像传感器中的单个像素相对应的单个像素值，或者可以识别为与图像传感器中的两个或多个像素相对应的像素值的若干组。这些像素可以在图像传感器中为相邻像素。特征可以基于三个分量而识别(提取)：图像平面中特征的开始点、像素中特征的宽度以及特征的颜色。如果期望的话，颜色分量可以登记为四个值中仅一个：白色、黄色、灰色或者无效(亦即，所有其他颜色)。颜色分量可以使用两位进行编码。

一旦已经识别到特征，它可以作为矢量存储(有时在这里称作特征矢量)，而不是存储实际的图像数据和/或原始像素值。在一种适当的配置中，矢量可以包括与特征相关联的(一或多个)行和(一或多个)列(亦即，像素坐标)的信息(数值表示)以及颜色。一旦特征已经翻译成矢量，所有其他图像数据(例如，与特征相关联的原始图像数据和/或与不对应特征的图像的未提取部分相关联的图像数据)可以从进一步的处理中排除(亦即，忽略、忽视和/或不存储在矢量或者其他存储器中)。这样，在车道标志检测操作期间不需要缓冲器存储图像数据，并且可以使用无缓冲算法来处理所提取的特征，并且具有比需要全帧缓冲的车道检测算法少的处理能力和计算负担。

通常，可以使用简单的逻辑来确定图像的一部分不对应于特征(有时在这里称作杂波抑制)。例如，太宽、太长、不是正确的颜色等的图像的部分可以识别为不对应于车道标志并且被忽略。

在步骤4046，可以比较从多个不同帧中提取的特征以确定在不同时间捕获的特征之间的连续性(亦即，从不同图像中提取的特征之间的时间连续性)。如果期望的话，可以分析来自两个、三个、四个、五个、十个或者多于十个或者任何其他适当数量(相继捕获的)图像帧的特征以确定从多个不同图像帧中提取的特征是否构成跨越多个不同图像帧而存在(亦即，跨越多个不同图像帧而延伸)的连续特征。这样，可以生成车道标志的短历史，而不需要大量的存储器和处理能力。多个不同图像帧中的连续特征可以经历“时间融合”，它将特征组合成时间融合的特征。通过将时间连续特征组合成组合的时间特征，车道标志可以在初始确定阶段更可检测。

可以在初始车道标志位置估计操作期间(例如，图4的步骤406期间)执行的例示性步骤的流程图在图5B中示出。

在步骤4062，可以对连续时间特征(例如，来自图5A的步骤4046)执行模型拟合。在模型拟合期间，可以使用逆透视映射将连续时间特征投影到地平面，逆透视映射可以将连续特征从图像平面映射到地平面。执行逆透视映射可以去除当在平面图像中观看时与连续特征相关联的透视变形，并且简化连续特征的模型拟合。

可以对连续特征使用模拟拟合以提供连续特征实际上是否形成直线和/或曲线(亦即，代表车道标志)的初始确定。模型拟合可以基于Hough变换的概念或者它的变体，但是可以实现高效的实现方式而不使用累加器阵列存储参数空间中的表决得分并且不计算三角函数，(如由标准Hough变换所必需的)。

在步骤4064，可以使用分类器(这可以是第一分类器；有时在这里称作决策树或者一组决策树)进行关于所提取的特征是否对应于车道标志的初始决策。例如，车道标志检测逻辑可以使用在步骤4062执行的模型拟合的结果，进行时间连续特征确实对应于车道标志的初始确定(例如，模型拟合可以指示连续特征对应于具有车道标志的质量特性的直线)。作为替代，车道标志检测逻辑可以使用步骤4062的模型拟合的结果，进行时间连续特征不对应于车道标志的初始确定(例如，模型拟合可以指示连续特征不对应于具有车道标志的质量特性的形状)。当执行进一步的特征处理时，车道标志存在的该初始确定可以存储在成像系统10中的存储器中。

可以在精细车道标志位置估计操作期间(例如，图4的步骤408期间)执行的例示性步骤的流程图在图5C中示出。

在步骤4082，可以执行给定帧的单和/或双车道标志的检测。例如，可以分析在图5A的步骤4044提取的特征以确定特征是否对应于单车道标记(亦即，一个分段或者连续的直线)还是双车道标记(亦即，两个分段和/或连续的、基本上平行的直线)。在一个适当的示例中，特征可以分析为矢量特征(如上面连同图5A的步骤4044所描述的)以确定特征对应于单车道标志配置还是双车道标志配置。然而，这仅是例示性的。通常，可以以任何适当的方式分析特征以确定所提取的特征对应于单车道标志还是双车道标志。

在步骤4084，可以使用连接性检查算法分析从图像帧(例如，多个所捕获的图像帧中的单个图像帧)中提取的多个特征，以确定特征之间的空间连接性。如果期望的话，可以在最近捕获的图像帧上实时地(亦即，当图像帧被捕获时)执行连接性检查算法。连接性检查算法确定帧中特征之间的线段连接性(亦即，分析特征以确定给定帧中的多个特征是否形成“线段”状的对象)。确定特征的空间连接性可以包括考虑在图像平面中存在的图像帧的部分的透视变形。这样，与仅考虑像素连接性(其中透视变形可以导致错误的车道标志确定)相比较，连接性检查算法的线段连接性的确定可以提供车道标志存在的更准确的确定。在一种适当的配置中，连接性确定算法可以比较特征分量(例如，大小、颜色等)与作为车道标志特性的预定的特征分量，并且确定连接分量是否对应于车道标志。在另一个适当的示例中，连接性确定算法可以通过分析特征对应的图像帧中的位置并且确定特征代表图像帧的直接相邻或者连续连接的部分，来确定特征是被连接的。

在步骤4086，可以在如步骤4084中确定的示范连接性的特征或者特征的集群上执行清理操作。可以在清理操作期间在示范连接性的特征上执行许多形态学操作。例如，连接分量可以经历分支修剪操作和/或间隙链接操作。在清理操作之后，仅选择属于图像帧中大的、连接分量的那些特征点。这些特征可以称作连接特征。连接特征可以包括给定图像帧内的多个特征点，它们组合以形成连接特征。

在步骤4088，可以对连接特征(例如，来自图5C的步骤4086)执行模型拟合。通常，连接特征的模型拟合可以与连同如上面连同图5B的步骤4062描述的时间连续特征而执行的模型拟合相类似。然而，如果期望的话，可以使用与在对时间连接特征进行模型拟合时使用的不同的算法执行步骤4088的模型拟合，以考虑连接特征的空间连接性。在一种适当的配置中，连接特征的模型拟合在紧参数界限内执行(例如，与连续特征的模型拟合相比较)，以提高效率并且减少复杂度。

在步骤4090，可以使用分类器(这可以是第二分类器)进行关于所提取的特征是否对应于车道标志的精细决策。例如，车道标志检测逻辑可以使用在步骤4088执行的模型拟合的结果，进行连接特征确实对应于车道标志的精细确定(例如，模型拟合可以指示连接特征对应于具有车道标志的质量特性的直线)。作为替代，车道标志检测逻辑可以使用步骤4088的模型拟合的结果，进行连接特征不对应于车道标志的精细确定(例如，模型拟合可以指示连接特征不对应于具有车道标志的质量特性的形状)。当执行进一步的特征处理时，车道标志存在的该精细确定可以存储在成像系统10中的存储器中。

在步骤4092，可以使用分类器(这可以是第三分类器)进行最终车道标志存在确定。例如，车道标志检测逻辑可以使用初始确定(上面连同步骤4064所描述的)和精细确定(上面连同步骤4090所描述的)来确定车道标志是否存在于左边的感兴趣区域24-1和右边的感兴趣区域24-2中的一个、两个中或者两个中都不存在。如果期望的话，该车道标志检测步骤可以包括几何验证，相对于预定的车道标志形状验证检测到的车道标志的形状和相对位置。当确定车道标志存在时，成像系统10可以将该确定连同车道标志在地平面上的位置的信息一起传输到专用ADAS处理器22进行进一步的处理，或者可以将该确定直接传输到驾驶控制电路系统。这样，可以减少在专用驾驶员帮助处理器上的总体处理负担。

虽然初始和精细车道标志检测确定在上面描述为相继操作，但是这仅是例示性的。如果期望的话，可以在相同或者不同的图像帧上同时执行这些操作。

根据本发明的实施例，使用车辆中的无缓冲成像系统执行车道检测的方法可以包括使用成像系统中的图像传感器捕获图像，使用成像系统中的处理电路系统从流传输数据中提取特征点，将关于所提取的特征点的图像元数据存储在成像系统中的存储器中(而不存储图像的未提取部分)，以及基于所提取的特征点确定车道标志的存在。图像可以包括感兴趣区域，并且处理电路系统可以从感兴趣区域中提取特征点而不从感兴趣区域外部的图像帧的部分中提取特征点。感兴趣区域可以在地平面上由预定的形状定义并且投影到图像平面上。处理电路系统可以确定所提取特征点的第一子集对应于在不同时间捕获的多个不同图像帧中存在的连续特征。处理电路系统可以确定所提取特征点的第二子集彼此直接相邻(例如，对应于图像的直接相邻的部分)，使得所提取特征点形成空间连接特征。处理电路系统可以基于时间连续特征和空间连接特征确定车道标志的存在。

根据本发明的实施例，用于执行车道检测操作而不使用帧缓冲器的车辆成像系统可以包括捕获具有感兴趣区域的图像帧的图像传感器，从进入的感兴趣区域内的流传输数据中提取特征的特征提取电路系统，存储所提取的特征而不存储图像帧的未提取部分的存储器，以及基于存储在存储器中的所提取特征确定感兴趣区域中车道标志的位置的处理电路系统。特征的每个可以包括元数据，元数据包括与图像帧内的特征的颜色、大小和位置有关的信息。元数据可以作为矢量存储在存储器中。特征提取电路系统可以仅从感兴趣区域内的图像帧的部分中提取特征。处理电路系统可以确定来自多个不同的所捕获图像帧的第一多个特征形成跨越多个不同的所捕获图像帧的时间连续特征。处理电路系统可以确定来自单个给定所捕获图像帧(其可以是最近捕获的图像帧)的第二多个特征形成图像帧中的空间连续区域。空间连续区域可以完全并且排他地由所提取特征形成。构成空间连续区域的所提取特征可以组合成单个连接特征。可以基于连续特征和连接特征确定车道标志的存在。车辆成像系统可以包括在车辆中，车辆也包括驾驶控制电路系统以及一个或多个驾驶员帮助系统处理器。处理电路系统可以将车道标志的位置传输给驾驶控制电路系统和/或驾驶员帮助系统处理器。驾驶控制电路系统和/或驾驶员帮助系统处理器可以基于接收到的车道标志位置控制车辆的驾驶操作。

处理由车辆成像系统捕获的多个图像帧而不将多个图像帧存储在缓冲器中的方法可以包括识别图像帧中指示可能的车道标志位置的感兴趣点。可以在图像捕获处理期间提取那些感兴趣点。识别到的点可以存储在成像系统中的存储器中，而图像的所有其他部分可以不存储在成像系统中的存储器中。识别感兴趣点的处理电路系统可以确定感兴趣点形成遍及多个帧而存在的连续特征，并且可以确定给定一个图像帧中的多个特征点连接以形成连续连接的“线段”状的对象。可以基于连续特征和连续连接特征点线段检测车道标志。图像帧的每个可以包括由在成像系统中以行和列排列的个体图像像素生成的像素值，使得识别特征点可以包括以逐行为基础分析像素值。在逐行分析期间，可以基于与点相对应的图像帧中的位置(例如，像素坐标)以及如由像素值指示的点的颜色识别兴趣点。处理电路系统可以将连续特征和特征点线段映射到地平面并且在映射到地平面时对特征执行模型拟合。

根据实施例，提供使用车辆中的成像系统执行车道检测的方法，包括使用成像系统中的图像传感器，捕获每个包括图像数据的行的多个图像，使用成像系统中的处理电路系统，在生成图像数据的行时，从图像数据的行中提取特征点，使用成像系统中的存储器，存储关于所提取特征点的图像元数据而不存储多个图像的未提取部分，以及使用处理电路系统，基于所提取的特征点确定车道标志的存在。

根据另一个实施例，多个图像的每个包括感兴趣区域，并且提取特征点包括从感兴趣区域内的图像的部分中提取特征点，而不从感兴趣区域外部的图像的部分中提取特征点。

根据另一个实施例，在图像平面中捕获多个图像，并且方法还包括，使用处理电路系统，将从图像平面中的图像数据的行中提取的特征点的至少一些映射到地平面中的相应位置。

根据另一个实施例，图像元数据包括关于所提取特征点在多个图像中的位置的信息，以及关于所提取特征点的颜色信息，并且方法还包括存储图像元数据，包括将图像元数据作为矢量存储在存储器中。

根据另一个实施例，方法包括，使用处理电路系统，确定来自多个不同图像的第一组所提取特征点形成在多个不同图像的每个中存在的连续特征。

根据另一个实施例，方法包括，使用处理电路系统，确定来自多个图像的给定一个的第二组所提取特征点连接以形成线段，以及使用处理电路系统，将第二组所提取特征点组合成连接特征。

根据另一个实施例，车道标志的存在基于连续特征和连接特征而确定。

根据实施例，提供用于执行车道检测而不使用帧缓冲器的车辆成像系统，包括捕获图像帧的图像传感器，并且包括以行和列排列、生成原始像素值的像素阵列，当图像传感器捕获图像帧时从图像帧的原始像素值中提取特征的特征提取电路系统，存储特征而不存储原始图像像素值的存储器，以及基于存储在存储器中的所提取特征确定车道的位置的处理电路系统。

根据另一个实施例，特征的每个包括图像元数据，图像元数据包括图像帧中特征的颜色、特征的大小以及特征的位置，并且图像元数据作为矢量存储在存储器中。

根据另一个实施例，特征提取电路系统仅提取所捕获图像帧中预定的感兴趣区域中的特征。

根据另一个实施例，处理电路系统检测到来自多个不同图像帧的第一多个所提取特征形成在多个不同图像帧的每个中存在的时间连续特征。

根据另一个实施例，处理电路系统检测到来自给定一个图像帧的第二多个所提取特征形成图像帧中的空间连接区域，并且处理电路系统将第二多个所提取特征组合以形成连接特征。

根据另一个实施例，处理电路系统基于连续特征和连接特征确定车道标志的位置。

根据另一个实施例，处理电路系统将车道标志的位置传输给驾驶控制电路系统，并且驾驶控制电路系统基于车道标志的位置修改包含车辆成像系统和驾驶控制电路系统的车辆的操作。

根据实施例，提供处理由车辆成像系统捕获的多个图像帧而不将多个图像帧存储在缓冲器中的方法，包括使用车辆成像系统中的处理电路系统，识别多个图像帧中指示车道标志存在的感兴趣点，使用处理电路系统，确定多个图像帧中的感兴趣点形成在每个图像帧中存在的连续特征，使用处理电路系统，确定给定一个图像帧中的多个感兴趣点被空间连接以形成连接特征，以及使用处理电路系统，基于连续特征和连接特征检测图像帧中的车道标志。

根据另一个实施例，每个图像帧包括像素值，并且识别感兴趣点包括，使用处理电路系统，在图像帧正在被捕获时，执行给定图像帧中像素值的逐行线扫描。

根据另一个实施例，基于像素值对应的图像帧中的位置以及与像素值相关联的颜色识别感兴趣点。

根据另一个实施例，方法包括，使用处理电路系统，将连续特征映射到地平面，以及当连续特征映射到地平面时，对连续特征执行模型拟合。

根据另一个实施例，方法包括，使用处理电路系统，将连接特征映射到地平面，以及当连接特征映射到地平面时，对连接特征执行模型拟合。

根据另一个实施例，方法包括将识别到的感兴趣点存储在车辆成像系统中的存储器中，而不存储没有指示车道标志存在的多个图像帧的部分。

根据实施例，提供在车辆中执行车道检测的成像系统，包括捕获每个包括图像数据的行的多个图像的图像传感器，当图像数据的行生成时从图像数据的行中提取特征点的处理电路系统，以及存储所提取特征点的图像元数据而不存储多个图像的未提取部分的存储器，以及基于所提取特征点确定车道标志的存在的处理电路系统。

根据另一个实施例，多个图像的每个包括感兴趣区域，处理电路系统从感兴趣区域内的图像的部分中提取特征点，而不从感兴趣区域外部的图像的部分中提取特征点，在图像平面中捕获多个图像，并且处理电路系统将从图像平面中的图像数据的行中提取的特征点的至少一些映射到地平面中的相应位置。

根据另一个实施例，图像元数据包括关于所提取特征点在多个图像中的位置的信息，以及关于所提取特征点的颜色信息，并且存储器通过将图像元数据作为矢量存储在存储器中来存储图像元数据。

根据另一个实施例，处理电路系统确定来自多个不同图像的第一组所提取特征点形成在多个不同图像的每个中存在的连续特征，处理电路系统确定来自多个图像的给定一个的第二组所提取特征点连接以形成线段，并且将第二组所提取特征点组合成连接特征，以及处理电路系统基于连续特征和连接特征确定车道标志的存在。

根据实施例，提供捕获多个图像帧并且处理多个图像帧而不将多个图像帧存储在缓冲器中的车辆成像系统，包括处理电路系统，处理电路系统识别多个图像帧中指示车道标志的存在的感兴趣点，确定多个图像帧中的感兴趣点形成在每个图像帧中存在的连续特征，确定给定一个图像帧中的多个感兴趣点被空间连接以形成连接特征，以及基于连续特征和连接特征检测图像帧中的车道标志，以及存储识别到的感兴趣点而不存储没有指示车道标志存在的多个图像帧的部分的存储器。

根据另一个实施例，每个图像帧包括像素值，处理电路系统通过在图像帧正在被捕获时，执行给定图像帧中像素值的逐行线扫描识别感兴趣点，并且基于像素值对应的图像帧中的位置以及与像素值相关联的颜色识别感兴趣点。

根据另一个实施例，处理电路系统将连续特征映射到地平面，并且当连续特征映射到地平面时对连续特征执行模型拟合，并且处理电路系统将连接特征映射到地平面，并且当连接特征映射到地平面时对连接特征执行模型拟合。

前述仅例示本发明的原理并且可以由本领域技术人员进行各种修改而不背离本发明的范围和精神。前述实施例可以单独地或者以任何组合实现。

Claims (10)

1.一种在车辆中执行车道检测的成像系统，其特征在于所述成像系统包括：

图像传感器，其捕获多个图像，每个图像包括图像数据的行；

处理电路系统，其当图像数据的行生成时从图像数据的行中提取特征点；以及

存储器，其存储所提取特征点的图像元数据而不存储所述多个图像的未提取部分，其中所述处理电路系统基于所提取特征点来确定车道标志的存在。

2.根据权利要求1所述的成像系统，其特征在于所述多个图像中的每个包括感兴趣区域，其中所述处理电路系统从所述感兴趣区域内的图像的部分中提取所述特征点，而不从所述感兴趣区域外部的图像的部分中提取特征点，其中在图像平面中捕获所述多个图像，并且其中所述处理电路系统将从所述图像平面中的所述图像数据的行中提取的所述特征点的至少一些映射到地平面中的相应位置。

3.根据权利要求1所述的成像系统，其特征在于所述图像元数据包括关于所提取特征点在所述多个图像中的位置的信息，以及所提取特征点的颜色信息，并且其中所述存储器通过将所述图像元数据作为矢量存储在所述存储器中来存储所述图像元数据。

4.根据权利要求1所述的成像系统，其特征在于所述处理电路系统确定：来自多个不同图像的第一组所提取特征点形成在所述多个不同图像的每个中存在的连续特征，其中所述处理电路系统确定：来自所述多个图像中的给定一个的第二组所提取特征点连接而形成线段，并且将所述第二组所提取特征点组合成连接特征，并且其中所述处理电路系统基于所述连续特征和所述连接特征确定所述车道标志的存在。

5.一种车辆成像系统，用于执行车道检测而不使用帧缓冲器，其特征在于所述车辆成像系统包括：

图像传感器，其捕获图像帧，其中所述图像传感器包括以行和列排列、生成原始像素值的像素的阵列；

特征提取电路系统，其当所述图像传感器捕获图像帧时从所述图像帧的所述原始像素值中提取特征；

存储器，其存储所述特征而不存储所述原始图像像素值；以及

处理电路系统，其基于存储在所述存储器中的所提取特征来确定车道的位置。

6.根据权利要求5所述的车辆成像系统，其特征在于所述特征的每一个包括图像元数据，所述图像元数据包括所述图像帧中所述特征的颜色、所述特征的大小以及所述特征的位置，其中所述图像元数据作为矢量存储在所述存储器中，其中所述特征提取电路系统仅提取所捕获图像帧中预定的感兴趣区域中的特征，其中所述处理电路系统将车道标志的位置传输给驾驶控制电路系统，并且其中所述驾驶控制电路系统基于车道标志的位置修改包含所述车辆成像系统和所述驾驶控制电路系统的车辆的操作。

7.根据权利要求5所述的车辆成像系统，其特征在于所述处理电路系统检测：来自多个不同图像帧的第一多个所提取特征形成在所述多个不同图像帧的每个中存在的时间连续特征，其中所述处理电路系统检测：来自给定一个图像帧的第二多个所提取特征形成所述图像帧中的空间连接区域，其中所述处理电路系统将所述第二多个所提取特征组合以形成连接特征，并且其中所述处理电路系统基于所述连续特征和所述连接特征来确定车道标志的位置。

8.一种车辆成像系统，其捕获多个图像帧并且处理所述多个图像帧而不将所述多个图像帧存储在缓冲器中，其特征在于所述车辆成像系统包括：

处理电路系统，其识别所述多个图像帧中指示车道标志的存在的感兴趣点，确定所述多个图像帧中的所述感兴趣点形成每个所述图像帧中存在的连续特征，确定所述图像帧的给定一个中的多个所述感兴趣点被空间连接而形成连接特征，并且基于所述连续特征和所述连接特征检测所述图像帧中的车道标志；以及

存储器，其存储所识别的感兴趣点而不存储所述多个图像帧的没有指示车道标志存在的部分。

9.根据权利要求8所述的车辆成像系统，其特征在于每个图像帧包括像素值，其中所述处理电路系统通过在所述图像帧正在被捕获时，执行给定图像帧中像素值的逐行线扫描来识别所述感兴趣点，并且其中所述感兴趣点基于所述像素值所对应的图像帧中的位置以及与所述像素值关联的颜色来识别。

10.根据权利要求8所述的车辆成像系统，其特征在于所述处理电路系统将所述连续特征映射到地平面，并且当所述连续特征映射到所述地平面时对所述连续特征执行模型拟合，并且其中所述处理电路系统将所述连接特征映射到所述地平面，并且当所述连接特征映射到所述地平面时对所述连接特征执行模型拟合。