CN104185588B - 用于确定道路宽度的车载成像系统及方法 - Google Patents

Abstract

用于确定道路宽度的车载成像系统包括一个用于捕捉图像的图像传感器及一个用于接收所捕捉图像的图像处理器。图像处理器通过识别由图像传感器捕捉到并已经过处理的图片所含的道路标志物及临近车辆来确定道路宽度，并通过道路规模及/或宽度及临近车辆位置来确定车辆在道路上的位置及道路所划分车道的数量。

Description

用于确定道路宽度的车载成像系统及方法

相关申请交叉引用

本专利申请主张对于2012年3月28日所提交的标题为“用于确定道路宽度的车载成像系统和方法”、申请号为13/432,250的美国专利的优先权。

技术领域

本发明一般涉及车载成像系统，尤其涉及用于确定道路宽度及交通定位的车用环境成像系统。

技术背景

多年来人们一直使用各种光学设备与系统来检测车辆前方的车道、路标和图像。该驾驶员辅助系统基于光学原理，是一款通过使用光学成像技术来控制前照灯位置及强度的车辆前照灯辅助系统。“基于光学原理的车辆前照灯控制系统”这一类系统可以最大限度协助驾驶员安全驾驶车辆。

附图概述

类似的附图标记是指完全相同或功能类似的元素，且这些附图与下文中的详细说明一起被并入、并构成说明书的一部分，用来根据本发明进一步阐明各种实施例，并解释各种原理及优点。

图1是一个方框图，说明了一个用来根据本发明实施例确定道路宽度的系统。

图2是一个流程图，说明了根据本发明实施例确定道路宽度的方法。

图3A说明原始像素图像数据可由成像器检测出来。

图3B说明如何使用特征抽取方法来检测与区分光峰。

图4A和图4B说明如何根据本发明实施例来检测图像以及灯峰分类，并将其转换为位置信息。

图5说明车辆如何根据本发明实施例来确定道路宽度。

技术人员将理解，图中元素的标识仅为了实现简单清晰的目的，而不一定按比例绘制。例如，为帮助加深对本发明实施例的理解，附图中部分元素的尺寸相对于其他元素可能有所放大。

发明内容

本发明实施例涉及一个用于确定道路宽度的车载成像系统，其包含一个被配置为捕捉图像的图像传感器。图像处理器被配置为接收所捕捉到的图像，以及通过识别在图像传感器中捕捉到的已处理图象中的道路标识来确定道路规模及/或宽度。在本发明的另一个实施例中，一个光学成像系统用于确认机动车道的规模及/或宽度，其包括至少一个图像处理器，该处理器被配置为接收从至少一个用于确认路边标志的成像器所捕捉到的图像，因此，至少有一个处理器被配置为确定与用于识别道路规模的路边标志之间的距离。

具体实施方式

在详述本发明实施例之前，应当留意到，实施例主要涉及用于确定道路规模及宽度的与车载系统相关的方法步骤及设备组件。

因此，设备组件及方法步骤在附图中用常规符号进行了适当表示，不过只显示了与理解本发明实施例有关的特定细节，以免因为某些细节过多而导致所公开内容的含糊不清，而普通技术人员具有本专利书所描述的优势，他们对于这些细节就非常了解。

在本文档中，“第一”和“第二”、“顶部”和“底部”等表示关系的用词可能仅用于将一个实体或操作与另一实体或操作区分开来，而不一定要求或暗示这些实体或操作之间实际存在此类关系或顺序。“包含”一词或任何其他变体意在涵盖非排他性包含关系，从而使得包含一系列元素的某种流程、方法、物品或设备不仅包含这些元素，还可能包括未明确列出的其他元素或者该等流程、方法、物品或设备本身所固有的元素。在未做更多限制的情况下，由“包含一个...”所限定的元素并未排除以下情况，即在包括元素的流程、方法、物品或设备中还存在其他相同元素。

可以理解，本文所描述的本发明实施例可以包含一个或多个普通处理器和独特的存储程序指令，此类指令用于控制一个或多个处理器，以便通过结合某些非处理器电路来实现一个车载系统和方法所具有的部分、大多数或全部功能，用以确定本文所描述的道路类型、规模及/或宽度。这些非处理器电路包括但不限于信号驱动器、时钟电路、电源电路以及用户输入设备。正因如此，这些功能可以解释为用于确定道路型号、规模及/或宽度的方法而需要实现的步骤。此外，全部或部分功能也可通过未存储程序指令的状态机来实现，或者在一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中予以实现，其中一些全部或部分功能的组合可通过定制逻辑模块来完成。当然，也可以结合使用两种或更多方法。因此，本文已描述了实现这些功能的方法和手段。另外，尽管可能需付出巨大努力及借助可用时间、当前技术和经济考虑等诸多因素来推动众多设计选择，但预计普通技术人员将能够在本文所公开的概念和原理的指导下以最少的实验次数轻松生成此类软件指令、程序和IC。

图1是一个方框图，显示了根据本发明实施例实现的车辆设备控制系统。控制系统100包含一个专用图像控制器101，用于通过连接件105来控制图像传感器103及执行一些预处理功能，例如图像自动曝光、动态范围压缩、过滤及/或色彩调节。接下来图像数据会经数据链路107传输至一个或多个处理器108中。处理器108通常是一个被分离配置或被多个使用现场可编程门阵列(FPGA)的组件实例化的微处理器，或者结合了独立部件和FPGA等，并被配置及/或改造为可执行多种功能，包括但不限于前照灯控制及其他驾驶员辅助功能。处理器108可以直接向图像控制器101发出图像请求，而非通过直接控制摄像机103这样做。处理器108还可向图像控制器101发出特定图像数据请求，也可定期接收图像数据流，并将其存储在内部缓冲区中。内部缓冲区接收的像素可以存储在多行中，此处仅为举例而非限制权利范围。存储多行数据后，便可使用数据缓冲区来确定图像中的颜色、光峰及/或对象，此时图像数据流正在生成。本领域技术人员将认识到，可根据缓冲区的大小使用其他类型的存储技术。

随后，图像控制器101接收到的图像数据会借助一种或多种算法用于109a、109b、109c等各个处理步骤中。各个处理步骤109a、109b、109c与车辆驾驶员辅助功能(如车辆界面111、道路宽度模块117、前照灯控制系统、交通标志识别系统(TSR)及用于检测车道位置的车道偏离报警系统(LDW)119)结合使用。车辆界面111，如LIN或CAN总线，通常与用于控制车辆照明115功能的前照灯控制模块113结合使用。使用期间，不同的处理步骤可与前照灯控制器结合使用，以便为控制车辆照明及/或处理及直接控制前照灯提供建议。本领域技术人员将认识到，前照灯控制可能意味着对前照灯亮度控制、照明分配及/或其他照明功能。如本文所述，道路宽度检测模块117用于确定道路宽度。同样，LDW模块119用于确定Ines机动车道的位置并向驾驶员发出车道偏离报警。该信息也可与前照灯控制结合使用。本领域技术人员将认识到，图像控制器101可能与摄像机(例如图像传感器103)一起提供，并/或作为图像传感器在同一硅片上实现单片集成。

在本文所述的实施例中，图像传感器103可能置于汽车后视镜底座上或车辆外部。将摄像机放置于镜架上有几个优点，即镜架会被牢牢固定；镜架一般放置于车辆挡风玻璃雨刷处，由于车镜已安装，工厂安装便得以简化。在美国专利8,120,652及美国申请序号中可找到此类摄像机安装及/或定位的示例。13/405,697及13/402701共同受让予GentexCorporation，在此引用其全部内容作为参考。摄像机或成像器可与车镜分开放置，但有时可能需要执行其他工厂安装步骤。无论图像传感器103的位置如何，图像控制器101与处理器108都可与图像传感器103一同放置于相同或不同的电路板上。处理器108也可置于后视镜镜体中并可执行附加功能，例如可用作罗盘传感器及/或对自动防眩目后视镜或半透反射式后视镜进行控制。同样，也可将这些处理器置于车辆顶篷、顶置控制台或其他合适位置上。

图2是一个流程图，说明了根据本发明的多种实施例及使用道路宽度模块来确定道路200的规模及/或宽度的方法。本领域技术人员应认识到，道路“规模”为定性测量，而确定道路“宽度”的系统及方法为定量测量。本文所描述的道路规模是指道路类型(高速公路、双车道、多车道等)，而道路宽度则为计算出的道路特征及/或测量结果(一些定性的测量单位，如“米”)。如本文所述，使用道路宽度特征可估算出道路规模及/或类型。

该流程一开始使用了图像采集模块201，在此模块中，车辆上的前置成像器或摄像机捕捉到由一帧或多帧数据组成的数字图像。虽然成像器用于生成多帧数据，但图2所述的流程图也描述了与单个数据帧结合使用的整个流程。一旦捕捉到数字图像，该图像就会首先存储于高速缓冲存储器或缓冲区中进行光学处理。由于微处理器上的缓冲区较小，整个图像并非存储于整个缓冲区中，而是仅预先占用了其部分空间。此后，通过与光峰检测模块203结合使用的光学算法将数据处理成图像。光峰检测对光的多种像素进行分析和处理，以确定光的强度，如局部亮度波幅峰值。这些亮度波幅的峰值随后被用于识别某个光源或反射体的“局部强度极值”部分。这些光峰及其邻近区域随后可用于确定某个光源的强度、大小、位置、类型、种类及/或特性。

在本发明的至少一项实施例中，道路边缘反射镜或其他标识可由车载控制系统100检测出，用于计算道路规模及/或宽度。据本领域技术人员所知，车道指示牌或标识物为反光性的塑料或金属物体，通常附着于一根长度为2-4米的金属杆或杆状物上。在许多情况下，根据使用场合的不同，反射镜颜色大体上呈白色或黄色，并在黄昏或夜间行车状况下可由车载光学相机检测到。因此，虽然本系统在用于交通标志识别及/或其他驾驶辅助系统应用时可调整为适用白天状态，但用于检测这些反射镜或其他标识的图像处理模块在白天状态下则无法使用。根据本发明，该车载光学系统用于定位和识别道路边缘左右两侧的标识物。但在另一个实施例中，使用道路上方的道路标识进行计算，也可确定道路宽度及/或规模。这些标识物的位置通常与道路保持特定距离，如距离道路铺砌表面边缘5米以外；对于废弃的车道或道路，标识物也可能埋在土中，位于其边缘的特定距离之外。一旦检测到标识物，该系统就可以通过图像内的多种光学参数来确定道路宽度及/或规模。这些参数可首先用于计算标识物与车辆光学系统(如车辆成像器)之间的距离，随后再将该数据用于确定或估算一条高速公路或道路的整体规模及/或宽度。与该道路交叉点或道路中心相关的任何信息都可作为车辆光学器件的对准目标，该光学器件用于实现远光灯辅助功能等。车载系统对准目标是通过使用软件对准像素选择技术来实现的。软件实施像素选择技术的实例可参见美国专利申请号13/274,808，该专利已转让至Gentex公司，此处通过整体引用并入本文。根据以上信息，该系统通过运用所规定的车道公称宽度，还可确定车辆在道路及/或某个特定车道中的位置，以及该道路的具体车道数量。例如，这种标准道路的总宽度可能约为6米，但根据多种计算方法，也可选择较大或较小的车道宽度。

随着驾驶员辅助成像系统在新车上日益流行，这些系统可能需要进行软件升级，以便用于识别道路规模或宽度。例如，鉴于车道偏离报警系统通常可用于识别车道标识物，如油漆反光道路标识线或道路上的条纹标识等，这些系统还可能用于识别道路外部边缘的标识。此处需注意，多种算法除了可实现正常车道偏离报警功能之外，还可与这些系统结合使用，用于识别一种或多种道路边缘标识物，以确定道路规模、宽度及/或车道位置。因此，根据本发明实施例，目前的驾驶辅助系统可以与其他车载系统结合使用及/或改造，以确定道路类型、规模及宽度。这一流程包括识别超出某些预定光照特征阈值的像素，由此可识别道路标识物，并比对前照灯、尾灯、道路标识及/或其他物体对其进行归类。例如，这些流程参考自美国专利号7,565,006、7,881,839、8,085,760，美国公开号US 2007/0290886及美国申请号13/343,752，该等专利已共同转让于Gentex公司，并通过整体引用并入本文，此处仅为举例而非限制权利范围。

确定道路规模及/或宽度的方法还包括特征提取流程205这一步骤。该流程包括识别重要光源，然后对来自这些光源的光学数据进行处理，以收集关于该光源的其他信息。这些其他信息可能包括但不限于该像素灯光的尺寸(如宽度及高度)、色率(如红色光与蓝绿色光的波长比率)及/或该灯光是否为强光散射，据此推测其为光源还是反射面。车辆的多种参数如速度、偏航角度、侧倾角度、方向盘位置及车辆行驶方向等，即车辆运动数据209可与车辆位置结合使用来确定光源光峰的位置。已提取特征随后会被归类为不同的类型207，这有助于确定各种光源，如前照灯、尾灯、路灯、路标、道路标识物或其他图像反射器。在光峰来源检测期间及随后使用驾驶辅助功能期间，光源分类还要考虑车辆运动数据209，如车辆速度及其运动向量，或偏航角度，如直线或不同类型弯曲道路上的转弯等。

图3A和图3B说明了如何根据本发明的某项实施例进行图像检测及光峰分类这一流程。具体来说，图3A说明了如何在图像中首先识别原始像素图像数据。在这种情况下，原始图像数据可能为路标、道路标识物或其他车灯。图3A中所示的图像为多个高动态范围成像(HDR)快照，其包含不同的尺寸及曝光时间，以便能捕捉一个HDR合成图像。此外也可使用HDR单帧成像技术。同样，图3B说明了特征提取流程的使用，在该流程中对光峰进行了检测和分类。在该示例中，所有光峰都被依次编号，以便更容易与所有光峰相关的特征列表相匹配。因此，一旦通过其他传感器提供的数据获取车辆的速度及偏航角度数据，图像中的光峰及峰值位置就会传送到车辆总线，该车辆总线包括但不限于CAN总线或LIN总线。

图4A和图4B显示了特征提取流程的不同示例，其中图4A显示的图像是在道路左右两侧与车辆的预定距离处带有道路标识物或指示牌。图4B为图4A中所示图像的俯视图，该图利用道路两旁的路标或图像确定其与行车路径(Z)之间的距离(X)，以确保这些路标或图像为首选光峰。例如，图4A和4B都说明了如何将一个光峰确定为道路标识物，并在随后如何确定其相对于车辆的全球定位。因此，图4B说明了如何使用多帧数据(如帧1和帧2等)来确定道路标识物在车辆两侧的具体位置。这两张附图都说明了如何根据车辆位置对已发现的光峰进行全球定位。随着系统从不同数据帧(帧1、帧2等)对光点进行逐一追踪，车辆运动数据为已知量，由此便可用三角测量法测算出光点位置。如本文所述，此项数据对于整体道路宽度的计算非常关键。

再次参考图2时发现，利用车辆运动数据这一步骤使用了从车辆通信中获得的测量参数，包括但不限于从摄像机或成像器以外来源获取的速度及偏航数据。对图像进行分类时，显示光源状态为近光或远光的车辆反馈数据也是一项重要参数。该流程继续进行，同时结合使用道路更新模型211和车辆运动数据209来确定车辆行驶所在道路的宽度。道路模型211对光源进行分类时所用的参数包括但不限于1)光源定位；2)车辆运动数据；3)使用道路边缘标识；4)目前计算的车辆位置及/或5)已划分的光源类型。该光点与车辆所在的道路模型相拟合，在此使用被归类为路标的光源的平均横向距离来更新道路左右两侧边缘的模型。使用被归类为临近车辆的光源的平均横向距离来更新临近车道的道路模型。这样一来，多个模型的“强度”就得以更新，此时会根据各个模型的平均方差进行计算。一旦有多个道路模型达到可表明目前模型确定性的阈值或“强度”，则该模型随后可用于输入其他系统特征，这样一来，车道及道路细节等信息便可服务于其他驾驶辅助系统，包括但不限于前照灯控制、前照灯光束模式调节、车道偏离报警系统(LDW)、盲区检测、前后灯误报驳回、车辆目标追踪列表等。最后会对重新初始化状态进行检查，此时低速及高偏航度等特定状态可能会导致道路模型返回默认值。

图5说明，根据本发明实施例，在已确定车道宽度的情况下，系统已计算出车辆左侧与车道左侧边缘的距离(-X(米)及车辆右侧与车道右侧边缘的距离(+X(米)，从而确定了车辆在道路上的位置。因此，在本例中，可确定车辆正在虚线右侧车道朝+Z(米)方向行进。

一旦车道模型更新至211，其所含信息便可用于确定机动车道213的宽度、临近车道或同向车道位置215、或其他输入数据217，包括但不限于用于迅速识别车辆周围各类光源的车辆目标追踪列表。为便于说明，本领域技术人员将认定“临近”一词意为(但不限于)在空间、时间上接近及/或靠近某一点。若光点已被系统归类为“靠近”或“超前”车辆，其光学位置将被投影至道路宽度模型中。该投影将有助于确定光峰位置是否与道路模型相一致，以及是否与其相矛盾。若光峰位置与道路模型相矛盾，则原因可能是光源

错误归类或全球定位出错。一旦确定道路宽度，机动车道识别模块213会将临近车辆模型的横向距离与已知实验模型进行比对。此外也可将临近车辆模型与道路左侧边缘模型进行比对以识别机动车道。临近车道或同向车道位置以及车道位置215的识别结果可用于指明车辆使用本发明所述系统所定位的那条车道。本发明中至少有一种方法的所述步骤包括，将车辆与道路右侧边缘模型的距离同预估车道位置进行比对，并通过预估车道位置推算出“近似”路肩尺寸及车道宽度。此外也可通过将道路左侧边缘模型与预估车道位置进行比对，以确定该车道位置，并通过预估车道位置推算“近似”路肩尺寸及车道宽度。道路两侧有效且一致的道路标识物不一定总是能确定左右车道的位置。决策逻辑系统221及其他车载输入系统219将利用这一信息来确定各种车载系统的功能及运行状态。

因此，本发明中的多个实施例均为针对车载成像系统的说明，该系统用于识别道路宽度，其包括一个成像器，用于捕捉车身周围图像，以及一个或多个图像处理器，用于识别已捕捉到图像中的道路边缘指示牌。通过该流程可确定道路左右两侧边缘指示牌与车辆之间的各自实际距离，用于识别道路宽度信息。该信息可用于各种电子系统及车辆通讯系统，以提升车辆的操作性能及安全性。

在上述专利说明中，已对本发明的具体实施例进行了说明。然而，本领域技术人员应当理解，在本发明之下列权利要求所阐述的范围内，可对本发明进行各种修改和变更。因此，本说明书及附图应以说明性而非限定性的意义予以考虑，且一切修改均应在本发明的范围内进行。任何收益、利益、问题解决方案及任何可能导致任何收益、利益或解决方案或使其更为明显的因素，均不得被解释为任何或所有权利要求中关键的、必需的或重要的特征或因素。本发明仅由随附的权利要求进行定义，其中包括在本申请及所提权利要求的等价物未决期间所作的任何修改。

Claims (18)

1.一种用于确定具有由车道标识物分开的两个或更多个车道的道路的道路宽度的车载成像系统，所述系统包括：

被配置为捕捉图像的图像传感器，以及

被配置为接收和处理已捕捉的图像的图像处理器；

其中，图像传感器还被配置为观看车辆的前方，使得图像传感器的视野包括道路及道路左侧和右侧的道路标识物，所述道路标识物包括杆上的反射镜；

其中，图像处理器被配置为识别由图像传感器捕捉到的、经处理的图像中的道路标识物，识别经处理的图像中的光源的位置，并且识别通信信号中的车辆运动，以确定道路宽度，

其中，图像处理器还被配置为使用道路宽度来控制车辆上的驾驶员辅助功能，并且其中，所述驾驶员辅助功能是前照灯控制功能、交通标志识别功能和车道偏离报警功能中的至少一个。

2.根据权利要求1所述的车载成像系统，其中，图像传感器是摄像机。

3.一种用于识别具有由车道标识物分开的两个或更多个车道的机动车道宽度的车载成像系统，包括：

至少一个成像器，其被配置为捕捉图像,其中，所述至少一个成像器还被配置为观看车辆的前方，使得所述至少一个成像器的视野包括道路及道路左侧和右侧的道路标识物，所述道路标识物包括杆上的反射镜；及

至少一个图像处理器，其被配置为接收由所述至少一个成像器所捕捉到的图像，以识别已捕捉的图像中的道路标识物并识别已捕捉的图像中的光源的位置，并且从车辆传感器接收信号以识别通信信号中的车辆运动，

其中，所述至少一个图像处理器被配置为确定距道路标识物的距离，以识别道路宽度及规模，

其中，所述至少一个图像处理器还被配置为使用道路宽度来控制车辆上的驾驶员辅助功能，并且其中，所述驾驶员辅助功能是前照灯控制功能、交通标志识别功能和车道偏离报警功能中的至少一个。

4.根据权利要求1、2或3所述的车载成像系统，其中，图像处理器还被配置为识别所捕捉到图像中与道路标识物有关的峰值。

5.根据权利要求1或3所述的车载成像系统，其中，通过计算已知车辆位置与至少一个道路标识物之间的距离来确定道路宽度。

6.根据权利要求1或3所述的车载成像系统，其中，使用被识别为左侧道路边缘和右侧道路边缘中的至少一个的位置来确定道路宽度。

7.根据权利要求1或3所述的车载成像系统，其中，图像处理器被配置为创建道路宽度模型以识别道路中的车道的数量。

8.根据权利要求1或3所述的车载成像系统，其中，图像处理器被配置为使用道路宽度模型来识别车辆在道路上的位置。

9.根据权利要求1或3所述的车载成像系统，其中，道路标识物被在多帧上进行追踪，以根据已知车辆位置，通过三角测量法测算得出道路标识物的位置。

10.根据权利要求1或3所述的车载成像系统，其中，处理器还被配置为追踪至少一辆临近车辆以确定临近道路车道的位置。

11.根据权利要求1或3所述的车载成像系统，其中，处理器还被配置为使用道路宽度来对车辆的驾驶员辅助功能进行控制。

12.根据权利要求1或3所述的车载成像系统，其中，至少一个图像处理器被配置为确定车辆在道路上的位置。

13.根据权利要求1或3所述的车载成像系统，其中，使用被识别为左侧道路边缘的位置来确定道路宽度。

14.根据权利要求1或3所述的车载成像系统，其中，图像处理器被配置为创建道路宽度模型以识别道路中的车道的数量。

15.根据权利要求1或3所述的车载成像系统，其中，至少一辆临近车辆的灯被追踪以确定临近道路车道的位置。

16.根据权利要求1或3所述的车载成像系统，其中，图像处理器还被配置为通过确定距道路标识物的距离来确定道路宽度。

17.根据权利要求1或3所述的车载成像系统，其中，图像处理器是专用集成电路和现场可编程门阵列中的一个。

18.根据权利要求3所述的车载成像系统，其中，所述至少一个成像器是至少一个摄像机。

Images