CN102834309B - 自动车辆设备监控、报警和控制系统 - Google Patents

Abstract

提供一种自动车辆设备控制系统（106）及其方法，该系统（106）包括：构造成获取高动态范围单帧图像的连续序列的至少一个成像器；处理器；色彩光谱滤光器阵列，其包括多个滤色器和成像器像素阵列的像素（3），多个滤色器中的至少一部分是不同的颜色，成像器像素阵列的像素（3）与基本上一个滤色器光学通信；以及透镜（1、411），其中，成像器构造成以高动态范围图像的一个图像帧捕获附近迎面前灯（116）、散射车道标识中的至少一个以及远的后灯（111）的非饱和图像，并且该系统（106）构造成检测所述公路标线和所述尾灯（111）中的至少一个，并且从一个图像帧中的数据来量化来自迎面前灯（116）的光。

Description

自动车辆设备监控、报警和控制系统

相关申请的交叉引用

本申请在35U.S.C.§119（e）下要求2010年2月26日提交的美国临时专利申请序列号61/308,497、2010年6月21日提交的61/356,843、2010年10月7日提交的61/390,794以及2010年11月15日提交的61/413,797的优先权，所有这些申请的全部内容在此通过引入方式并入本文。

技术领域

本发明总体上涉及自动车辆控制系统及其方法，并且更具体地涉及构造成处理高动态范围图像的自动车辆控制系统及其方法。

背景技术

一般地，车辆可以包括成像器，由成像器捕获的图像用于控制车辆的一个或更多个部件。一般地，成像器是互补金属氧化物半导体（CMOS）或电荷耦合装置（CCD）成像器。

发明内容

根据本发明的一个方面，提供一种自动车辆设备控制系统，其包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且至少一个成像器包括像素阵列；和处理器，其与至少一个成像器通信，并且构造成处理高动态范围图像的连续序列。该系统还包括：颜色光谱滤光器阵列，其与至少一个成像器光学通信，颜色光谱滤光器阵列包括多个滤色器，多个滤色器中的至少一部分是不同的颜色，像素阵列的像素与基本的一个光谱滤色器光学通信；和透镜，其与至少一个成像器和颜色光谱滤光器阵列光学通信，其中，成像器构造成以高动态范围单帧图像的连续序列的一个图像帧捕获附近迎面前灯以及散射车道标线和远的后灯中的至少一个的非饱和图像，自动车辆设备控制系统构造成检测所述公路标线和所述尾灯中的至少一个，并且从一个图像帧中的数据量化来自迎面前灯的光。

根据本发明的另一个方面，一种自动车辆控制系统，包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且至少一个成像器具有像素阵列；和颜色光谱滤光器阵列，其与至少一个成像器光学通信，颜色光谱滤光器阵列包括多个滤色器，多个滤色器中的至少一部分是不同的颜色，像素阵列的像素与基本的一个所述光谱滤色器光学通信。该自动车辆控制系统还包括：透镜，其与至少一个成像器和颜色光谱滤光器阵列光学通信，和处理器，其与至少一个成像器通信，并且构造成处理高动态范围图像的所述连续序列，其中，处理器还构造成利用用于像素阵列的像素的颜色信息，以增强高动态范围图像中的黄色颜色特征，从而检测黄色车道标线。

根据本发明的又一个方面，一种自动车辆控制系统，包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且至少一个成像器具有像素阵列；和颜色光谱滤光器阵列，其与至少一个成像器光学通信，颜色光谱滤光器阵列包括多个滤色器，多个滤色器中的至少一部分是不同的颜色，像素阵列的像素与基本的一个所述光谱滤色器光学通信。该自动车辆控制系统还包括：透镜，其与至少一个成像器和颜色光谱滤光器阵列光学通信；和与至少一个成像器通信的处理器，其中，该处理器构造成在高动态范围图像的连续序列的至少一个图像中将多个亮点聚集成单个光源目标。

根据本发明的另一个方面，一种自动车辆控制系统，包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且至少一个成像器具有像素阵列；和颜色光谱滤光器阵列，其与至少一个成像器光学通信，颜色光谱滤光器阵列包括多个滤色器，多个滤色器中的至少一部分是不同的颜色，像素阵列的像素与基本的一个所述光谱滤色器光学通信。该自动车辆控制系统还包括：透镜，其与至少一个成像器和颜色光谱滤光器阵列光学通信；和与至少一个成像器通信的处理器，所述处理器构造成检测高动态范围图像的连续序列中的交流（AC）光源，其中，至少一个成像器构造成具有比AC光源的闪变循环周期更长的取样图像重复周期。

根据本发明的又一个方面，一种产生车道偏离报警的方法，包括以下步骤：形成用于进入的像素数据的全局坐标系网格，划出标记点，处理划出的标记点，基于处理的和划出的标记点确定一种类型的车道线，计算车辆与车道线的偏离，以及确定是否应该发出报警。

根据本发明的另一个方面，一种产生车辆前灯控制的控制信号的方法，包括以下步骤：提取一列光目标，将单一峰值光源组合成多峰值光目标，将当前光源连接到包含在前述图像中的光源，以及确定车辆的前灯的适当的状态。

通过参考以下说明书、权利要求书以及附图，本领域技术人员将进一步地理解和领略本发明的这些及其他特征、优势和目的。

附图说明

由详细说明和附图将更加全面地理解本发明，在附图中：

图1是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图2是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的示意性视图；

图3a是根据本发明的一个实施例的具有自动车辆设备控制系统的后视装置的前透视图；

图3b是图3a的后视装置的后透视图；

图4是根据本发明的一个实施例的后视装置的成像器壳体的分解透视图；

图5是示出根据本发明的一个实施例的关于列坐标（像素）的列分数的曲线图；

图6是示出根据本发明的一个实施例的关于行坐标（像素）的行分数的曲线图；

图7a是示出根据本发明的一个实施例的在一定帧频时的曝光时间的效果的曲线图；

图7b是示出根据本发明的一个实施例的在一定帧频时的曝光时间的效果的曲线图；

图7c是示出根据本发明的一个实施例的在一定帧频时的曝光时间的效果的曲线图；

图8a是示出根据本发明的一个实施例的在一定帧频时的曝光时间的效果的曲线图；

图8b是示出根据本发明的一个实施例的在一定帧频时的曝光时间的效果的曲线图；

图8c是示出根据本发明的一个实施例的在一定帧频时的曝光时间的效果的曲线图；

图9是根据本发明的一个实施例的使景象成像的成像器系统的示意图；

图10是根据本发明的一个实施例的像素布置的图示；

图11是根据本发明的一个实施例的像素布置的图示；

图12是根据本发明的一个实施例的自动车辆设备控制系统的电路框图；

图13是根据本发明的一个实施例的自动车辆设备控制系统的电路框图；

图13a是根据本发明的一个实施例的自动车辆设备控制系统的电路框图；

图14是示出根据本发明的一个实施例的相对于用于多个光源的图像帧的光强度的曲线图；

图15是示出根据本发明的一个实施例的相对于用于多个光源的图像帧的光强度的曲线图；

图16是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图17是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图18是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图19是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图20是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图21是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图22是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图23是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图24是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图25是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图26是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图27是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图28是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图29是根据本发明的一个实施例的具有自动车辆设备控制系统的受控车辆的环境视图；

图30是根据本发明的一个实施例的检测车道偏差的流程图；

图31a是根据本发明的一个实施例的图像预处理器的示意图；

图31b是根据本发明的一个实施例的图像预处理器的示意图；

图31c是根据本发明的一个实施例的图像预处理器的示意图；

图31d是根据本发明的一个实施例的图像预处理器的示意图；

图32是根据本发明的一个实施例的控制车辆的至少一个外部光的流程图；

图33a是根据本发明的一个实施例的分开的置换算法；

图33b是示出图33a的分开的置换算法的曲线图；

图34是根据本发明的一个实施例的成像器的视域的环境视图；

图35是根据本发明的一个实施例的示出成像光源的各个样本的曲线图；以及

图36是根据本发明的一个实施例的用于检测图像中的交流（AC）光源的方法的流程图。

具体实施方式

当前所示出的实施例主要在于与具有至少一个高动态范围成像器的自动车辆设备控制系统及其方法相关的方法步骤和设备部件的组合。因此，在适当时已通过附图中的惯用符号表示设备部件和方法步骤，这些惯用符号仅示出与理解本发明的实施例相关的那些细节，以免使得具有对于受益于本文的说明的本领域普通技术人员来说显而易见的细节的公开内容变得模糊。此外，说明书和附图中的相同数字表示相同元件。

在该文献中，比如为第一和第二、顶部和底部以及类似的关系术语仅用于区别一个实体或动作与另一个实体或动作，而未必要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其他变化旨在覆盖非行他性内含物，使得包括一系列元件的过程、方法、物品或设备不只包括这些元件，而可以包括对于该处理、方法、物品或设备没有明确地列出或固有的其他元件。在没有更多限制的情况下，由“包括…一个”表达的元件不行除在包括该元件的处理、方法、物品或设备中存在另外的相同元件。

先参照图1，为了例示目的，一般以参考标示106指示的自动车辆设备控制系统示出为安装在受控车辆105内。尽管控制系统106描述为与内部后视镜组件成整体，但可以理解，控制系统或其独立部件中的任一个可以安装在受控车辆105的内部内或外部上的任何适当的位置中。术语“受控车辆”在本文中可用于参照根据一个实施例的车辆，该车辆包括自动车辆外部光控系统、车道偏离报警系统、本文中说明的其他车辆控制系统、类似系统及其组合。控制系统106可以包括至少一个成像器（图像传感器、成像装置、摄像机等等），其中，用于安装成像器的适当的位置可以是提供受控车辆105的大致向前的景象的基本无障碍视界和允许在与受控车辆105有关的眩光区域108内检测迎面车辆115的前灯116和前导车辆110的尾灯111的那些位置。如下所述，根据一些实施例，控制系统106可以改变受控车辆105的外部光的照明模式107（例如，亮度、形状等等），以便减少对于眩光区域108中的任何车辆的驾驶员的眩光。

图2描述了受控车辆105，受控车辆105包括采用具有处理和控制系统（例如，处理器、控制器等等）以及成像器的自动车辆设备控制系统106的内部后视镜组件。处理和控制系统作用为向成像器发送配置数据、接收来自成像器的图像数据，以处理图像并且产生外部光控信号。这些自动车辆设备控制系统的详细说明包含在普通指定的美国专利No.5,837,994、5,990,469、6,008,486、6,130,448、6,130,421、6,049,171、6,465,963、6,403,942、6,587,573、6,611,610、6,621,616、6,631,316、7,683,326、6,774,988、6,631,316、6,587,573、6,861,809、6,895,684以及美国专利申请公开No.2004/0201483中；上述申请的公开的全部内容通过引入方式并入本文。受控车辆105还描述成包括驾驶员的侧外部后视镜组件210a、乘客的侧外部后视镜组件210b、中心高位安装的停车灯（CHMSL）245、A列250a、250b、B列255a、255b以及C列260a、260b；应当理解的是，这些位置中的任一个可以提供用于一个成像装置、多个成像装置、相关处理和/或控制部件的可替代的位置。应当理解，后视镜中的任一个或全部可以是自动调节电子光学镜，对后视镜的说明用于解释而非限制的目的，使得控制系统106的至少一部分可以包括在后视装置（例如，镜、显示器等等）中。受控车辆105描述成包括多个外部灯，多个外部灯包括前灯220a、220b、恶劣天气灯230a、230b、前转弯指示器/危险灯235a、235b、尾灯225a、225b、后转弯指示器灯226a、226b、后危险灯227a、227b以及倒车灯240a、240b。应当理解，可以设置另外的外部灯，比如，分离的近光和远光前灯、包括多用途灯的集成灯等等。还应当理解，外部灯中的任一个可以设置有定位器以调整给定的外部灯的相关的主光轴。应当理解，图2的受控车辆一般用于例示目的，适当的自动车辆外部光控系统，比如在通过引入方式并入本文的专利和专利申请中公开的那些，可以与本文中说明的以及通过引入方式并入本文的公开中的其他特征一起被采用。

在至少一个实施例中，多个成像装置与至少一个显示器一起结合在车辆视觉系统中，至少一个显示器构造成向驾驶员提供围绕受控车辆的区域的“鸟瞰”视野。例如，第一成像装置集成在一般观察受控车辆的前方的内部后视镜组件中，第二成像装置集成在一般观察受控车辆的后方的CHMSL 245组件或后部牌照区域组件中，第三成像装置邻近受控车辆的驾驶员侧安装，第四成像装置邻近受控车辆的乘客侧安装。在至少一个相关实施例中，执行数字图像处理算法以将单独的图像合成地“缝合”成用于显示给驾驶员的一个连续图像。然后，可以采用任何给定成像装置、成像装置的组合或成像装置的次级组合用于另外的自动控制/报警任务，比如，自动远光辅助、盲点检测、车道偏离、故障改造、防撞、隧道检测、行人检测、标记识别、雾灯控制等等。

现在转向图3a和3b，内部后视镜组件的实施例一般示出在附图标记300处。镜组件300可以包括一般以附图标记302指示的固定附件组件，包括前壳体385和后壳体390。前壳体385可被构造成限定用于成像装置可视开口的孔386。固定附件组件302与后视镜300一起由附接构件355承载。后视镜300包括镜壳体360、聚光圈361和镜元件362。包括导线罩盖394以掩蔽相关的配线315。后视镜组件300还采用环境光传感器365、至少一个传声器366、眩目光传感器365、操作员接口363、指示器364以及至少一个信息显示器370。

现在转向图4，示出附件组件302的分解的透视图。在优选的实施例中，附件组件302可以提供用于安装复位地安装的内部后视镜以及准确地对准的成像装置的刚性结构，准确地对准的成像装置或者固定地安装，如在普通指定的美国专利申请公开No.2004/0164228中更加详细地说明的，或者自动地复位，如在普通指定的美国专利No.7,565,006中所说明的，以上两者的全部内容通过引入方式在此并入。优选的附件组件302能够便于组件的简易性以及提供用于相关部件的可重复的、可靠的以及精确的对准。在至少一个实施例中，相关成像器用于自动外部车辆灯光控制，对于自动外部车辆灯光控制来说，图像传感器的精确对准是优选的。应当理解，本文中所说明的实施例的各个有创造性的方面除具有汽车和用户电子设备应用之外，还具有一般照亮感测光学器件的广泛应用。

图4示出根据一个实施例的可被至少部分地封装在附件组件302中的各个电气和机械部件及其定向。成像器板410设置有具有透镜411的成像装置。在优选的实施例，成像器板410还包括图像传感器控制逻辑和定时电路、通信线路驱动器和线束插孔413。可选择地，成像器板410可以包括用于接收和至少部分地处理从成像装置获得的图像的处理器。在优选的实施例中，成像装置和选自以下组的至少一个其他装置集成在共同专用集成电路（ASIC）中，最优选地集成在共同硅片上，所述组包括：1）成像装置控制逻辑；2）A/D转换器；3）低压差分信号线驱动器；4）温度传感器；5）控制输出；6）电压调节器；7）第二图像传感器；8）微处理器；9）湿度传感器；10）FPGA;以及11）罗盘。在至少一个实施例中，具有透镜411的成像装置包括构造成用于接合镜头盖420和咬合夹421的镜头盖咬合部412。镜头盖可被构造成限定用于与成像装置和透镜411的光轴对准的孔422。

成像器板配线束优选地在其任一端上设置有插塞。成像器板优选地设置有用于接收成像器板配线束的插塞中的一个的插头。根据一个实施例，根据本发明的成像装置采用大约5.62μm像素和高质量透镜结构。

在至少一个实施例中，通用处理器可被构造成确定电子光学元件控制参数，以及其他功能，比如，自动外部灯光控制；盲点监控；信息显示器；其次级组合；或者其组合。在至少一个实施例中，第一受控车辆CAN总线接口电路可被构造成将通用处理器接口至受控车辆CAN总线。在至少一个实施例中，图解处理单元可被构造成执行以下功能中的至少一个：车道偏离报警（LDW）；适应性巡航控制（ACC）；防撞（CA）；交通标志识别（TSR）；自动前灯控制（AHC）；行人检测（PD）；乘坐者_识别（OI）；睡意检测（DD）；智能空气囊配置（SAD）；车辆盗窃识别（VTI）；电传线控（DBW）；盲点检测（BSD）；其次级组合；或者其组合。

在至少一个实施例中，第一成像装置可被至少部分地封装在具有受控车辆105的大致前方视野的附件组件302中。第二成像装置可被定位成邻近受控车辆105的具有受控车辆105的大致一百八十度后方视野的牌照区域。第一成像装置构造成以下功能中的至少一个：车道偏离报警（LDW）；适应性巡航控制（ACC）；防撞（CA）；交通标志识别（TSR）；自动前灯控制（AHC）；行人检测（PD）；乘坐者识别（OI）；睡意检测（DD）；智能空气囊配置（SAD）；车辆盗窃识别（VTI）；电传线控（DBW）；盲点检测（BSD）；其次级组合；或其组合。第二成像装置构造成以下功能中的至少一个：车道偏离报警（LDW）；适应性巡航控制（ACC）；防撞（CA）；交通标志识别（TSR）；自动前灯控制（AHC）；行人检测（PD）；乘坐者识别（OI）；睡意检测（DD）；智能空气囊配置（SAD）；车辆盗窃识别（VTI）；电传线控（DBW）；盲点检测（BSD）；其次级组合；或其组合。应当理解，第一成像装置可被构造成与第二成像装置一起起作用，以执行以下功能中的至少一个：车道偏离报警（LDW）；适应性巡航控制（ACC）；防撞（CA）；交通标志识别（TSR）；自动前灯控制（AHC）；行人检测（PD）；乘坐者识别（OI）；睡意检测（DD）；智能空气囊配置（SAD）；车辆盗窃识别（VTI）；电传线控（DBW）；盲点检测（BSD）；其次级组合；或其组合。应当理解，在通过引入方式在此全部地并入本文的普通指定美国专利申请公开No.2010/0073480中描述的光流算法可被采用以执行以下功能中的至少一个：车道偏离报警（LDW）；适应性巡航控制（ACC）；防撞（CA）；交通标志识别（TSR）；自动前灯控制（AHC）；行人检测（PD）；乘坐者识别（OI）；睡意检测（DD）；智能空气囊配置（SAD）；车辆盗窃识别（VTI）；电传线控（DBW）；盲点检测（BSD）；其次级组合；或者其组合。

在至少一个实施例中，本发明涉及从安装在大致前向位置中的高动态范围成像装置获取数据的算法，优选地使得该算法提供穿过受控车辆105的挡风玻璃的前方道路的视野。利用该成像装置提供用于执行优选地一个以上的功能，包括感测车辆105的相对于道路上的车道标线的位置。利用成像器的其他功能中的一些还可以包括检测道路上的其他车辆的灯光以做出待使用的前灯设定的判断，从而使得对于道路上的其他车辆的驾驶员的眩目光最小化。为了执行该功能，优选提供采用滤色阵列的成像装置，以使得能够判定灯光的颜色，特别是红色尾灯111、对向的前灯116以及在图像中检测的车道标线。颜色感测性能的提供则对于包括车道检测功能的其他成像装置功能是有用的。

为了说明而非限制的目的，系统106可用于检测一个或更多个车道标线，使得系统106能够发出车道偏离报警（例如，可视的、可听的、能触知的、机械的等等），并且系统106可被构造成增强车道标线的颜色（例如黄色）。用于标记被用于相对的行进方向的车道之间的边界的车道标线中的许多是黄色的或者也许是橙色的，特别是在美国如此。车道偏离报警的一些执行过程处理黑白或灰度图像以执行车道检测功能。当瓦片式拜尔滤色阵列或其他颜色图像感测技术用于感测颜色时，高质量的黑白图像的产生优选地通过首先在每个像素部位内插颜色分量中的至少一个实现，在每个像素部位处，高质量的黑白图像没有提供每个像素部位处的颜色分量中的全部或至少一个，并且灰度图像优选地产生作为加权平均或每个像素位置处的颜色分量中的一个或更多个的其他功能。随着用于灰度转换的亮度提取，即使内插颜色分量中的全部被用于提供灰度图像，仍需要剩余的颜色分量用于特定功能。例如，黄色与蓝色互补，因此，黄色道路标志的检测至少部分地取决于像素的蓝色值的使用，以检测相对于像素的红色和绿色含量的低蓝色含量。典型地，这是区别黄色车道标志与周围道路的强有力的指示器。

当系统106包括构造成捕获高动态范围图像的成像器时，系统106可被构造成增强高动态范围颜色内插。通过具有传统的拜尔红色、绿色、绿色、蓝色滤色阵列的成像器，四个像素中的仅一个具有红色（蓝色）滤色器，因此由红色（蓝色）颜色分量产生的图像通过提供用于非红色（非蓝色）像素位置的内插的红色（蓝色）值被大大地增强，内插图像的质量很大程度地取决于所采用的插值算法的质量。颜色插值算法优选地包括图像数据的分析，以检测图像中的边缘图案，内插值至少部分地基于检测的边缘图案。在普通指定的美国专利申请公开No.2010/0195908中说明的优选的内插布置主要基于像素部位的五乘五像素邻域中的像素执行边缘图案和/或其他图案检测，对于像素部位的五乘五像素邻域，内插值被计算出并且部分地基于被检测的边缘图案和/或其他图案选择内插方程式，上述专利申请的公开内容通过引入方式将其全部并入本文。边缘图案检测可以选择性地限制为具有例如为绿色的选定颜色的滤色器的像素。然后，至少部分地基于相对于镶嵌的滤色阵列图案的像素的位置、被计算的遗漏成分的颜色以及检测用于待执行的内插的像素位置的边缘图案，如果有的话，选择内插方程式。

根据高动态范围摄像机，相邻像素的像素值的比，甚至对于具有不同颜色的滤色器的像素的像素值的比，通常由于透镜和成像装置的限制而受限。但是，相邻的第一像素和第二像素之间的值的比率可以几乎与第二像素和第三像素之间的值的比率一样高，使得其间具有仅一个像素的第一像素和第三像素的值之间的比率可以几乎等于相邻像素的值的比率的平方，其中第三像素在与第一像素相对的侧面上靠近第二像素。内插位置的五乘五邻域包含十六个像素，十六个像素在其与阵列的中心处的内插位置之间具有一个像素，然而内插位置的三乘三邻域没有在其与阵列的中心处的内插位置之间具有插入像素的像素。

对于利用来自五乘五阵列的像素值的内插计算，阵列的中心处的内插位置的像素值与非相邻像素之间的极端大的比率可以引起支配计算结果的一个或两个像素值。由于图像中的颜色内插是近似处理，因此用于内插颜色值的这些结果可以彻底地不同于通过内插近似的像素的颜色分量的真实颜色或亮度，这些错误的像素值可以如同所产生的可视图像中的不许可的瑕疵那样显著，并且当用于机器视觉应用中时可能引起误差或图象译码的性能降低。内插误差传导至计算的灰度值，使得灰度值还不利地影响相关灰度图像的使用。基于包围内插位置的值的五乘五（5x5核心）阵列中的像素值的使用对具有内插值的高动态范围图像的高反差部分进行的检查证实具有严重内插误差的不许可数量的像素的出现。主要作为来自如在普通指定的美国专利申请公开No.2010/0195908中详细阐述的内插位置的三乘三邻域的像素值的函数的一组内插方程式，包括具有不同于内插在相当大的数量的内插方程式中的颜色的滤色器颜色的像素的像素值。基于使用像素值的边缘检测算法选择这些方程式，像素值包括内插位置的三乘三邻域以外的像素的值。

利用具有更大像素基数的边缘图案检测选择利用所提供的更小像素基数的内插方程式导致具有更进一步地小的内插误差，上述内插误差在图像中与用于基于来自内插位置的五乘五邻域的值选择内插方程式的相似边缘图案检测算法相比更显著。用于计算每个遗漏颜色成分的内插方程式利用来自延伸超过内插位置的三乘三邻域的内插位置的邻域的像素值基于边缘图案检测进行选择，内插方程式主要基于落入用于计算遗漏颜色成分的像素的三乘三邻域内的值。以另一种方式描述，内插方程式主要基于位于内插位置处或作为内插位置的紧邻邻域的像素的值和利用像素值检测的图案的值，像素值包括不位于内插位置或内插位置的紧邻邻域处的像素的值。基于来自内插位置的更小邻域的像素值的内插值和基于内插位置的更大邻域的边缘图案检测也提供相对双线性插值的显著的提高，双线性插值还基于内插位置的三乘三邻域中的像素值计算内插值。但是，惯用的双线性插值没有采用边缘图案检测，而利用仅来自具有计算用于颜色的内插值的相同滤色器的像素的像素值。本方法包括具有不同于内插在相当大数量的内插方程式中的颜色的过滤颜色的像素的像素值，该方法如在共同受让的美国专利申请公开No.2010/0195901和No.2010/0195908中所描述的，这些专利申请的全部内容通过引入方式并入本文。

在优选的实施例中，包括道路视域的图像利用具有滤色阵列的成像装置获得。执行供应遗漏像素颜色成分的内插，优选地利用如早先指出以及在共同受让的美国专利申请公开No.2010/0195901和No.2010/0195908中的边缘图案检测，颜色成分值优选地计算用于图像中的像素。还优选地计算和使用与用于每个像素的亮度相关的灰度值。优选地研究图像中的像素的颜色成分值以检测色域中的像素，色域中的像素指示其可能是选择的颜色或多色或多色的范围的路标，例如黄色。在优选的实施例至，检测黄色像素。修改用于所选择的颜色的像素的灰度值，优选地通过增加其相对于非黄色像素的值，以便便于其作为单色图象的车道标线基于灰度像素值进行的检测，修改灰度值以加强如在本文中指示的车道标线的检测，分析车道标线以确定车道标线的存在以及车辆105相对于划线机的位置。特殊颜色的像素的选择在应用于构成普通类别的车道标线的颜色或多色，比如黄色时一般是最有效的。另外，在路标中比在道路的其他部分中通常更加普遍的颜色，比如黄色，使其成为优选的选择。

作为选择，像素位于预选色域中的指示可以以其他方式传递，比如设定与像素有关的指示位，但是当处理特定图像以检测和分析道路标线时，优选地修改该图像以通过便于相关特征的提取的方式提高所选择的颜色的像素。在优选的实施例中，图像中的用于分析的黄色像素的灰度值相对于其他像素值大致加倍。用于图像分析的某些装置映射像素以通过空间变换的应用整形图像，比如用于但不限于以下目的，呈现自顶向下的视图、校正镜头畸变或缝合（stitching）多重图像。图像的这种变换可以使其难以追踪在图像承受这些变换时与独立的像素相关的信息。因此，在优选的实施例中，图像中的与颜色相关的特征被检测并用于在执行空间变换或映射图像以便整形图像之前提高图像的灰度版本。在优选的实施方式中，基于颜色的增强作用承受与图像的其余部分基本相同的空间变换。

根据一个实施例，系统106可被构造成基于可能的流行照明条件动态地调整颜色检测准则。天空光具有比直接阳光更强的蓝色成分，阴影区通常从蓝色天空光比来自直接阳光接收更多的光亮，从而相对于直接阳光中的目标改变阴影中的目标的表观颜色。像素是黄色的判定通过内插之后的红色、绿色和蓝色颜色成分值的全部利用图像像素数据做出。为了确定所选择的像素是否是黄色，用于像素各种颜色成分值与用于相同像素的其他选择的颜色成分值的颜色比例被测试用于查看其是否全部落入特定范围内，当满足规定的准则时，像素被分类为黄色。对比优选地设置成利用多重操作而非通常需要更多资源和计算时间的分离方式。用于黄色的比值等级对比一般包括用于确保蓝色像素颜色成分值充分地低于用于相同像素的红色和/或绿色颜色成分值的对比，以及确保红色和绿色像素颜色成分值之间的比值位于与在当前照明条件下分类的颜色一致的范围中的对比。纯黄色通常指定为完全红色和完全绿色成分而没有蓝色成分。根据高动态范围图像，由于读数非常强烈地取决于照度，因此需要在宽范围的照度水平上识别黄色，用于宽范围的光源以及宽范围的黄色路面划线机状态。在阴影区和直接光照区中的用于黄色的相同标准的使用导致分类太多作为道路的日光区域中的黄色和/或分类太少作为阴影区中的黄色。由于暴露于直接阳光的区域中的像素值通常比完全阴影区中的对应的像素值高十倍以上，因此更高的像素读数可用于区分日光区与阴影区。作为用于特定成像装置的示例，30,000的绿色像素值被选择为用于日光区和阴影区的典型像素值之间的阈值水平，利用调谐至更低的色温的直接阳光标准将具有超过该水平的绿色像素颜色成分值的像素分类为黄色，利用调谐至更高的色温的阴影区标准将具有不超过上述水平的绿色像素颜色成分值的像素分类为黄色。作为进一步的选择，可以建立与像素值的函数关系，从而以连续或多重步进的方式调整黄色分类标准。另外，其他黄色分类标准适用于阴天与晴天的对比，并且还适用于前灯照明，在前灯照明中，分类标准优选地特别选择用于车辆上的前灯的类型，前灯安装在车辆上并且可选择地用于前灯系统的更加独特的特性。在颜色标准的选择中也可以考虑道路的类型和颜色特性。在此，分类为黄色的像素的相对颜色成分与不分类为黄色的像素的颜色成分的比较可以以直方图形式组合，所产生的直方图可被分析以确定提供黄色与非黄色分类之间的良好分离的相对颜色成分中的阈值水平。用于分类的阈值的调整则可以至少部分地基于这些阈值水平。可选择地，当条件使得直方图显示分离较弱时，彩色增强模式可被关闭或消弱。

可以至少部分地基于像素亮度调整颜色检测参数，以补偿直接来自日光区的太阳和来自在阴影区具有更高的蓝色成分的天空光的照度，这种调整可被扩展至适应其他的情况。例如，日光的颜色还受云量的类型和程度的影响。为了评价云量的类型和程度，可以在通过照相机获得的图像中检测天空的部分，各种类型的云的检测可以部分地基于颜色、像素亮度或基于指示局部云量的像素亮度中的空间变化。该数据可被用于进一步区分照明条件，以指示照明源的可能的或直接测量的颜色成分，颜色检测阈值的选择可以部分地基于来自天空的图像的图像数据。另外，来自通过比如为位置、尺寸和定向的特征识别的车道标线以及通用颜色的图像的像素的颜色可被用于调整颜色检测阈值以提高这些颜色的内含物。同样地，作为车道标志颜色检测而非清晰地检测的区域的颜色可被用于调整颜色阈值以减小这些区域的内含物。对于夜间驾驶，一般照明水平可被用于指示照明主要来自车辆105的前灯220a、220b，在车辆105的前灯220a、220b上安装有车道偏离控制器，车辆的前灯220a、200b的已知特性，特别是颜色成分，可被用作颜色检测标准的基础。颜色检测的使用在一些情况下比其他更加有益，这取决于检测车道标线的颜色的相对难度以及不利用颜色信息时检测车道标线的难度，因此，作为选择，可以基于照明条件选择性地启用颜色检测，照明条件以与在使用颜色检测时基于照明条件的检测调整颜色检测参数相同的方式检测。作为进一步的选择，并非完全地启用或停用颜色检测的使用，作为检测颜色的结果应用的图像增强的水平可以基于对颜色检测的质量和/或应用彩色增强的有益效果的评价而改变。

以下是可用于分类如刚刚所述的晴天的黄色的“C”程序语言代码：

根据一个实施例，系统106可被构造成减少由系统106上的一个或更多个处理器执行的处理的量。一个示例是将需要重复分离计算的调整量的分母项替换已经作为计算的一部分的指数，以提供消除重复分离的初始方程式的近似。现在转向图33a和33b，描述了用于各种数学分离函数的替换的分离替换算法，否则各种数学分离函数将被用于计算各种图像信息。基数是计算用于每一个像素的双向滤值。在图33a中描述以及如在图33b中表示的方程式，BASE通过BASE表示或表示为B。用于支持消除分母项的近似的方程式1]到9]以下列出在图33a中。方程式1]指示BASE的用于将像素映射到输出图像内的最大值Bmax和最小值Bmin。Brange是Bmax减去Bmin。这些值建立在逐帧的基础上。方程式2]是用于计算压缩系数CF（BASE，Cr）的杜兰德-多尔塞方程式，压缩系数CF（BASE，Cr）作为BASE的函数，压缩比的计算用于每一个像素的双滤值Cr计算用于每个帧。方程式3]指示bFactor，bFactor可作为杜兰德—多尔塞压缩系数CF的倍加系数增加，从而提高所产生的图像的音调匀称。方程式4]指示组合的压缩系数，为了在图33b中标绘方便起见，组合的压缩系数标准化成在BASE等于Bmax时为1。在实际应用中，将优选地选择恒定比例因数以恰当地限制在音调映射之后饱和的像素值的的数量。

需要实现方程式3]的分母项的每个像素分离均值得实现。方程式2]的压缩系数CF的对数坐标图是直线，直线的斜率由压缩比Cr决定。方程式4]中的分母项的对数坐标图足够接近直线，其可以由直线近似。方程式5]是BASE等于Bmax时标准化为1的方程式3]的分子。方程式6]是方程式3]在其互逆形式中的分母，标准化成在BASE等于Bmax时为1。方程式7]是压缩比变型CrD的计算式，用在指数表达式中以接近方程式6]的Denom_n的值。当CrD用于与用于CF的表达式相似的指数表达式中并且在BASE等于Bmax时按比例成为1，指数表达式的值等于用于在方程式6]中的标准化的分母的表达式，用于BASE等于Bmin和用于BASE等于Bmax。然后，方程式8]指示用于杜兰德—多尔塞压缩系数CF的指数项和用于分母项的近似的结果缩小了CrD在杜兰德—多尔塞表达式中向Cr的增加，即已经作为压缩系数计算式的一部分的杜兰德—多尔塞表达中的压缩比的变型。因此，分母项的每像素一次的估算以及其所需的分离由方程式7]每帧一次的估算和向用于杜兰德—多尔塞方程式中的压缩比Cr的结果的增量替代。比例乘数还被调整为反映Cr的调整，并且然后仅分子项和杜兰德—多尔塞压缩系数保持在每个像素基数上计算。方程式9]指示标准化成在BASE等于Bmax时为一的最终近似方程式。

在以下的图33b中，曲线A]是杜兰德—多尔塞压缩系数和修改量的结果的绘图；曲线B]是利用消除分母项的近似值的绘图；曲线C]是分母项在其互逆形式中的绘图；以及曲线D]是用于分母项的指数近似的绘图。

根据一个实施例，系统106可被构造成处理一个或更多个高动态范围图像，以控制车辆105的外部光，比如但不限于检测迎面车辆115的前灯116和/或前导车辆110的尾灯111，以打开或关闭受控车辆105的远光灯、控制受控车辆105的前灯220a、220b的照明样式、类似操作或其组合。现在转向图9，透镜1表示优选的成像装置透镜。目标2a表示具有扩散反射面的远程照明目标，其定位在与成像装置一定距离处，目标2b表示在运动至是与透镜1的距离的两倍远的距离B之后的相同的目标。虚线正方形3a表示与目标2距离为A的区域，其投影到成像装置的像素3上，点4a表示小面积光源，也在如像素3上的点4投影的距离A处。在该示例中，目标2b、虚线正方形3b和小面积光源4b代表相同的成分，由于位于位置A而且从位置A运动至位置B，因此其为与成像装置的距离的两倍。在该示例中，假设目标的照度以及小面积光源的亮度在位置B与在位置A相同。正方形4b的线性尺寸是正方形4a的线性尺寸的两倍，其面积是正方形4a的面积的四倍。从小面积源或从更大目标的给定非常小的面积投影到像素3的区域4上光随着正方形到A或B的距离而减少，因此其为B处的四分之一，但正方形4b的面积比由于距离而补偿减小的正方形4a大四倍，因此，对投影到像素上的光强度的贡献对于大面积的光照表面保持几乎恒定，只要其投影面积覆盖像素即可，而小面积光源的亮度随着正方形与成像装置的距离而衰减。

以下是根据本发明的用于利用重复的帧频成像装置和调查方式用于前灯控制的成像装置的示例性优点，以全力减轻由重复的帧采集提出的挑战以及灵活性的损失，从而利用大量捕获顺序以及由现有技术的双透镜成像装置提供的纯色滤光器图案的损失获得图像。根据与现有技术的成像装置相比的七比一缩小的像素面积，根据本发明的成像装置对于具有大面积和低亮度的光照目标具有降低的敏感性；但是，对于高亮度和具有高质量透镜的小面积光源，来自冲击透镜的这种光源的大多数光（更精确地，透镜的入射光孔）可被聚焦到单像素或相邻像素的非常小的组上。根据高质量、最佳聚焦的透镜，即使来自远的后灯111的光对于像素读取给予相对强烈的响应，用于单独的像素或光聚焦其上的小簇像素。根据本发明的成像装置的高动态范围使其能够直接成像前灯116和后灯111，不论其是否非常近或非常远，并且在成像装置不饱和的情况下成像。通过提供有效地定位和提供用于连续图像中的光源的装置，统计学上计算的光照水平可以提供用于滤光器阵列中的每一个，基于在投影图像的位置随着时间而改变时随着时间采取的读数，统计学上计算的用于颜色成分中的每一种的计算值的颜色和对比可被用于区分一种类型的灯与其他的光源，比如区分红色后灯111与其他光源。来自用于给定光的连续帧的相同的图像数据还可以用于对于光源的位置和轨迹提供其他分级，光源的位置和轨迹可以与颜色一起使用或者取代颜色，以区分各种类型的光源，包括前灯116、尾灯111、路灯以及照明标志。假设照明水平以递增距离的平方方式下降，以指示光源与具有成像装置的车辆的距离，则统计学上计算的亮度也可以是距离的最佳指示器中的一个。根据具有惯用动态范围的成像装置，除非常远离灯的图像值外的光源的直接图像通常饱和，现有技术的高动态范围成像装置在其可用动态范围上一般不提供精确的光照水平读数，提出了用于实施本发明的成像装置的这些问题，通过非常高动态范围的成像装置可以启用和提高这种选择的有效使用。

对于100码或更远的光源，单独的前灯或后灯的典型的图像可以与单独的像素的尺寸比较，随着前灯或后灯的位置在成像装置的视野领域的改变，图像将冲击各个像素，或者更通常地在两个或更多个相邻像素的非常小的簇之间分离。一系列图像中的单独图像可被分离以定位图像中的亮点，优选地在其被获取时进行分析。该数据优选地以提供阵列中的明亮像素的位置的指示以及覆盖给定像素的滤光器的颜色的指示的方式记录。滤光器颜色的指示可以隐含给定的像素位置。然后，可以分析关于亮点的记录数据以分类可能从控制器应当响应的比如为前灯或后灯的光源起源的亮点。一旦亮点被分类成需要进一步处理的亮点，则产生并保持记录，以记录比如为位置和获取的相对时间的指示的数据，以及测量用于亮点的附近的像素的亮度的数据，使得包括具有一个以上颜色的滤光器的像素，当相关亮点通过多重图像时，该记录被保持并改进。该数据可被立即用于分析和/或按照需要进入记录器中。在利用如上所述获得的数据的算法中，对于通过给定颜色的颜色阵列滤光器采取的用于给定光源的像素读数组中的每一组，像素的与光源有关的像素读数可被查询以找出具有一系列图像中的峰值像素读数的一个或更多个，该峰值读数可以用于颜色成分。可选择地，其他算法或算法的组合可以用于分析数据以制定光源的颜色和亮度的估算。另外，比如为光源的轨迹、相对速度和尺寸的其他信息，比如为来自迎面车辆的一对前灯或前导车辆的后灯其他光的相关独立光源的存在可被检测并被用作分类给定光源的另外的特征。比如为双重或多重光源的颜色、亮度或位置的测量值的准确度可以通过采取和利用来自光的一个或更多个相关图像的光的测量值进行改进。在此注意到，通过多重图像对光源的定位和保持跟踪与然后利用该数据库确定光源的一个以上的特性的协作。这些特性可以包括但不限于颜色、亮度、亮度的型面与时间、位置、轨迹、速度或类似参数的对比或其组合。

当光源的图像在成像装置的表面上随机地运动时，通常是在安装在受控车辆105的成像装置的情况下，具有给定颜色的滤光器的像素的总体响应将与具有阵列中的给定颜色的滤光器的这些像素的密度大致成正比，以及与累加在整体中的值的数量成比例。例如，在惯用的拜尔图案滤光器阵列中，25%的像素具有红色滤光器，50%的像素具有绿色滤光器，25%像素具有蓝色滤光器，因此绿色滤光器像素的总体响应将是红色或蓝色像素相对于直接暴露于成像光源的每种颜色的像素的响应的总体响应的大约两倍。光源的给定颜色的像素的总体响应将与在滤光器阵列中具有特定颜色光谱滤光器的像素的百分比大致成正比，例如25%用于红色和蓝色，50%用于绿色。这些百分比最好基于实验结果进行调整。由于该方法是统计的，因此提供估算结果的准确度的方式是审慎的。估算准确度的一种方法是应用一个以上的算法以获得两个或更多个结果，并进而利用不同的算法比较计算的值，看其是否可接受地接近。例如，峰值读数可以与调整用于读数的数量和在阵列中具有给定颜色的滤光器的像素的密度的总数进行比较。可以做出其他质量评价。例如，对于惯用的拜尔图案RGB颜色光谱滤光器阵列，具有绿色滤光器的像素的一半位于具有与红色滤光器交替相邻的像素的行中，具有绿色滤光器的像素的另一半位于具有与蓝色滤光器交替相邻的像素的行中。统计上，对于这两组中的像素的总体响应应会聚成几乎等于观察到对光的像素响应超过多个连续图像时的值。用于具有蓝色像素的行中的绿色像素和用于具有红色像素的行中的绿色像素的绿色像素值的总和可被单独地累加以及比较，以基于具有给定颜色的滤光器的像素对调整用于成像阵列中的所述像素的密度的给定光源的平均响应时间，提供测量值的统计质量的另外的估算。

检测前灯116和后灯111的问题随着距离而变大。需要检测数千英尺以外的前灯116和超过一千英尺的后灯111以适当地控制受控车辆105的前灯变暗功能。大多数前灯116和尾灯111具有小于由用于与成像装置的距离超过数百英尺的一个像素对着的尺寸小的尺寸，并且可被合理地分类为小面积光源，小面积光源的亮度在距离超过数百英尺时随着正方形与成像装置的距离而减弱。

如上所述，覆盖仅非常小数量的像素的光源的图像不提供充分的信息，以基于内插提供可靠的颜色信息。图像可被扩散，可能通过利用双折射滤光器，但精确地控制的扩散的实施和减小图像分辨率是成本高的。还如上所述和所示，用于保持高分辨率的一种方法是利用相对较高的图像帧频和将与特定光源有关的经历进行定位和创建。定位图像中的光源的第一和计算地强化的步骤是扫描图像并且利用超过设定用于给定滤光器颜色的最小阈值的峰值读数值定位局部像素。由于后灯111和前灯116两者均具有红色成分，因此对于图像中的光的检测可以基于大于或等于最近的红色邻近值的红色像素值的位置。用于每个颜色的最小阈值优选地基于比如为图像的邻接区域中的亮点的密度的各种图像参数进行设定。可选择地，用于每个颜色的最小阈值可以相等。

当使用颜色光谱滤光器阵列时，一般需要边缘保留颜色内插以提供用于目标的像素颜色和亮度信息，目标的像素颜色和亮度信息足够大以跨越图像中的多个连续的像素，但是标准颜色内插不适于确定用于远的小面积光源的隔离的图像的颜色，需要不同的算法以提供用于这些远的小面积光源的图像的可靠的颜色数据。这就是说，通过用于不同目的的不同计算的颜色内插和在图像对图像像素读数的局部顶点的定位中的每一个是计算上强化的，并且每一个优选地基于来自成像装置的相同的像素数据。此外，每一个可以主要基于通过目标像素位置的小邻域中的成像装置获得的像素数据。对于以上两者，有利的是，提供表示通过用于目标像素位置的邻域中的像素的成像装置获得的像素数据的装置，以及共享该数据以执行独立的颜色内插和峰值检测功能。目标像素位置通过图像或图像的区域串联，优选地用于成行的像素的像素乘像素，然后在图像中用于各行的行乘行，用于目标像素的邻域中的像素的成像装置像素数据被更新以保持其相对于也提供像素值的当前目标像素的位置的流动。如上所述，用于包括支承像素数据的邻域中的像素的成像装置像素数据优选地共用以计算像素颜色内插数据以及还执行目标像素值与邻域像素值的对比，以便在对于目标像素的读数中确定定位的顶点或高值，支承像素数据是用于目标像素的核心。

成功的现有技术前灯控制系统基于照相机，该照相机通过对单独的图像帧和短序列的图像帧的组合的采集捕获用于控制前灯的信息。在捕获次序期间，图像曝光、图像帧位置、图像帧尺寸和图像捕获效率在大的范围上规则地调整以获得用于控制前灯的信息。照相机专用于前灯控制功能，照相机利用双透镜构造以投影双图像，每个透镜通过独立的滤色器以分离成像阵列的各部分。照相机主要致力于前灯控制，利用多个不同的采集设定获得的图像的顺序通常用于在短时间间隔期间分类存在于图像中的变化的特征，以提供用于前灯控制功能的输入。作为用于特定目的的短序列图像的一个示例，该系统缝合来自在独立的曝光水平拍摄的三个独立的图像的信息，以提供在未饱和的情况下观察明亮的光照符号所需的动态范围，以便区分其与迎面车辆的前灯。作为另一个示例，成像器利用定心在光上的小图像窗口中相对少的像素采用快速的曝光顺序，以测量AC成分，看光是否是路灯。

提供装备成获取用于一个以上功能的图像的成像器已变成所期望的，优选地执行这些功能中的许多，使得以超过用于前灯控制所需要的场景的大部分的图像的采集速率的周期采集速率获取场景的大部分的图像。另外，一些功能需要非常高的分辨率。对于利用非常高的分辨率以及以用于其他控制功能的相对较高的帧频获取包括场景的大部分的图像的成像器，内插与由以上参照的现有技术成像器所采用的相似的专用图像获取序列的时间和中断特性将引起过度的像素数据速率，并且限制可用于提供曝光的时间，上述曝光足够长以提供所需的低光照水平灵敏性。现有技术摄像机当前以重复视频模式用于更高的像素计数，但许多不执行前灯控制功能以及如上简要地所述更加专用、低成本的现有技术系统。

根据用于提供前灯控制的数据和另外地提供其他功能的照相机的应用，比如受益于高分辨率和优选地保持一致、适度快速、帧频的捕获序列的车道偏离报警，优选地从各种图像的捕获转移范型，每个范型被调整为用于特定目的，以捕获优选地以指定帧频获得的图像的优选的单一次序，指定帧频更接近地类似于捕获一致次序的图像的摄影机，而非捕获高度专业图像的变化的分级的专用摄像机。如上所述，现有技术的装置也不同程度地利用该范型，但即使不是全部至少大多数承受不能基于在大大地扩展的动态范围上捕获具有相对较高和一致的像素读出准确度的图像以提供图像的限制，而同时向可以通过单独图像中的相对少数的像素分离的图像特征提供许多或全部扩展的动态范围。

作为当采取多种成像器捕获模式的基本同一场景的图像不可用时，则单一次序的图像需要提供足以执行指定功能的信息。在对于常用次序的图像的信任中的重要障碍在于在需要分析的图像细节中遇到的非常大范围的亮度水平。另外，每一个均需要被观察到以执行相应的基于摄像机的功能的暗淡和明亮的目标在同一图像帧中可以彼此相对地靠近。作为示例，利用具有低光照水平灵敏度的高动态范围摄像机，该摄像机需要在晚上观察前灯照亮的路标细节，接近的迎面车辆的前灯的直射图像间或地记录像素读数，其比来自用于车道偏离报警的前灯照亮的道路标线的像素读数高一百万倍以上。所关注的远光后灯111可以记录峰值像素读数，其比最亮的前灯116的读数低一万倍以上。所关注的AC路灯优选地分析用于AC闪变成分，这指示路灯由AC电源线提供电力，以使其与汽车前灯区别开。这种路灯可以，例如，具有比道路标线明亮一百倍至几十万倍的峰值像素读数。上述特征的任意组合可存在于同一图像中，甚至存在于相邻区域中，因此，宽动态范围优选地在每个像素基数上是可用的。这种摄像机的示例在通过引入方式并入的一个或更多个专利或专利申请中描述。发明人已知并且目的用于汽车应用的现有技术摄像机不具有动态范围，该动态范围在与接近全动态范围的规定结合基本全部的动态范围上向在尺寸上接近一个像素的特征提供所需的读出分辨率，其中主要的限制在于如通过以上参照的摄像机提供的光学器件和相邻像素的串扰。高动态范围与其在图像中延伸至密集的特征（例如，小于大约100像素，小于大约50像素，小于大约10像素，小于大约5像素，小于大约2像素，一个像素）的大部分范围上的一致的高精度的组合，使其提供详细的信息以从共用次序的高动态范围图像检测和分类以上提到的目标和特征，共用次序的高动态范围图像优选地通过高动态范围成像装置获得为单流高动态范围图像。作为另一个示例，根据用于进行包括啊本发明中的特征的实验的同一高动态范围摄像机和透镜构造，光照水平将需要衰减小于二到一，以避免即使当直接观察太阳时像素读数的重要比例的饱和。然而，一些单独的像素读数偶尔通过经过时的迎面汽车的前灯116变饱和。

本文中描述的大部分特征不限于以下情况，但在以下情况时执行良好：基于通过引入方式并入本文的一个或更多个专利或专利申请中的说明利用摄像机在单一组的高动态范围图像上操作时，通过摄像机曝光和图像获取设定利用每像素每图像的一个读数，图像获取设定通过延长时间的操作保持无变化并且有时候用作用于应用的永久设定。直接读取用于总计包括尾灯、路灯、符号和甚至前灯的直接观察的灯的最明亮状态的像素曝光水平的能力大大地提高执行用于AC成分的分析和利用其他算法以检测颜色以及将亮度利用作特性，该特性非常有助于在各种光源的分类中区别符号与前灯。这些能力协调地作业以提供在没有过多数量的假检测的情况下恰当地相应汽车前灯和尾灯的控制。

因此，成像器可被构造成以高动态范围单帧图像的连续序列的一个图像帧捕获附近迎面前灯116以及散射车道标线和远光后灯111中的至少一个的非饱和图像，控制系统106可被构造成检测公路标线和尾灯111中的至少一个，并且从一个图像帧中的数据量化来自迎面前灯116的光。一般地，非饱和图像的捕获至少部分地是能够确定不依赖于用于像素阵列的其他像素的整体周期的整体周期的像素阵列中的每一个像素3的函数，使得像素阵列的至少两个像素具有不同整体周期。另外地或可替代地，控制系统106可被构造成同时检测和量化单帧中的暗淡的光源，同时还在没有像素阵列的饱和像素的情况下检测和量化明亮的光源。一般地，成像器的捕获序列在延长的时间内保持不变，延长的时间可以包括当检测到多种不用类型的光源时。

根据一个实施例，系统106可被构造成图像中的明亮度峰值。在该实施例中，处理器（例如，FPGA）可被配置用于明亮度峰值检测，并且通过逆马赛克变换处理或灰度图像重构工序共用至少一个工序资源/成分。普通指定的美国专利申请公开No.2010/0195908公开了一种基于利用5x5核心的颜色插值算法，5x5核心定中心在提供遗漏的色值的目标像素位置处。在以下说明书中，用于支承用作基数以产生多个图形图像和用于计算以提供遗漏的彩色成分的图像像素数据流和缓冲区还可用于产生图像中的像素的映射，映射的值等于或超过图像中的彩色平面中的最近邻域（优选地沿八个方向）的值。用于处理像素数据以使其运动至（通过）一组寄存器以向核心阵列中的数据提供访问入口的行缓冲存储器和逻辑电路通过用于提供内插色值的电路提供，因此提供峰值检测的逻辑电路增加物是最小的。峰值检测可以有选择地采用其自身的比较电路或者共用用于产生图形图像的比较电路，图形图像用于边缘或图形检测以及用于颜色内插的分类。在任一动作中，在用于访问像素数据以执行颜色内插或亮度或灰度提取和峰值检测以定位灯的共用电路中存在经济学。其组合功能优选地在FPGA中执行。

在图10中，三个像素阵列由G、R和B表示，G、R和B分别代表具有绿色、红色和蓝色颜色光谱滤光器的像素的像素值。每个阵列中的具有C下标的中心像素是正在做出峰值像素读数或亮点判定的目标像素。0到7的下标值指示最靠近的领域像素，最靠近的领域像素位于作为用于每个阵列的目标中心像素的同一颜色平面中并且包括通过具有C下标的目标中心像素垂直、水平和对角地对准的像素。图10的三个阵列中的每一个中描述的像素优选地是5x5核心阵列的子组，当绿色、红色和蓝色像素分别地位于5x5核心阵列的中心处的目标像素位置中时示出阵列。在用于具有作为亮点的C下标的像素的分类的例子使用的条件表示在以下每个阵列中。在具有等于最近邻域中的一个或更多个以及大于相应的彩色平面中的其他部分的中心像素的示例性局部最大值或高点包括局部最大值。在可替代的实施方式中，标准可被改变以要求中心像素大于而非仅大于或等于彩色平面中的最近邻域的一些或全部。由于像素数据优选地通过核心阵列转换，因此每个阵列中的像素的位置对应于其在5x5核心阵列中的位置，因此比较电路可被直接连接在核心阵列中的对应的位置之间。G0、G2、G4和G6具有与R0、R2、R4和R6以及B0、B2、B4和B6相同的位置，因此相同的四个比较电路可被用于三种情况中的每一种。G1、G3、G5和G7具有与共用相同位置的R1、R3、R5和R7或者B1、B3、B5和B7不同的位置，因此两组四个直接连接的比较电路需要执行用于像素的这两个个别的阵列配置，两个个别的阵列配置被用于两个不同的阵列配置中的比较操作。

图11表示利用总共五个而非十二个分离的比较电路以及提供用于第一阵列中的右侧列、第二阵列的中心列和第三阵列的左侧列中的中心像素的选择在三个周期中执行八次比较操作的选项。如在普通指定的美国专利申请公开No.2010/0195908中所示，公开了用于核心阵列的像素值，用于核心阵列的像素值每次在右侧列的像素值上输入列，像素值的右侧列已位于阵列中，随着每个新列的输入右侧列向左侧转换一列。图11表示在处理序列中的三个不同的点处位于核心阵列中的像素位置。左侧上的阵列指示当像素Cc位于右侧列时像素值的第一位置，中间的阵列指示像素值的第二位置，该第二位置在中心阵列中的列已向左侧移动两列之后出现两个像素处理时期，其中，新的像素数据显现在最右二列中，像素Cc现在位于中心列中，右侧的阵列指示像素值的第三位置，该第三位置在中心阵列中的列已向左侧移动另外两列之后出现两个像素处理时期，其中，新的像素数据显现在最右二列中，像素Cc现在位于中心阵列的左侧列中。电路提供数据选择器以如在每个阵列中描述的从其三个位置访问Cc。具有B下标的像素比较值选择用于绿色像素，具有A下标的比较值选择用于红色和蓝色像素。提供比较电路以比较所选择的Cc值与五个像素值中的每一个。通过从右侧的中心阵列的第一和第二列中的像素的更黑的阴影描述用于比较操作的像素。当像素值位于如图11中已选择Cc的三个位置中每一个中时，在三个操作中执行比较。比较指示的适当的子集选择用于三个操作中的每一个，并且逻辑地组合以提供Cc是否大于或等于具有相同滤光器颜色的八个最近邻域像素中的每一个的指示。该示例用于标准拜尔图案滤光器阵列，如果红色和绿色互换以便具有两倍多的红色，则图10中的第一阵列用于红色而非绿色像素，并且在图11中，具有B下标的值用于红色而非绿色像素。该实施例可以用于远光红色后灯111的检测非常重要的前灯控制应用。只要双颜色光谱滤光器中的每一个在棋盘状图案中使用，则指示用于绿色棋盘状图案的图案用于全部比较，并且不需要指示用于红色和蓝色的可替代图案。用于实现图11的构造的选择器电路可能需要三个比较电路那么多的资源，因此实现图11中的版本的净硬件节省可以为大约30%。

根据一个实施例，图像中的检测的亮点或峰值可以与可变阈值进行比较，以便优先考虑和/或分类明亮度峰值。符号以及扩散地反射光并且通过外部电源照亮的其他相对大面积的表面的发光密度（指的是每单位面积）通常比前灯或后灯的发光面积的发光密度低得多，用于大多数外部照亮目标的像素读数远低于用于全部而且非常远的前灯后灯的统计上计算的峰值像素读数。但是，从包括雪和冰的各种物体、从石料的晶体或光滑面、从发光物体或从做成回复反光表面的小透镜反射的光未必扩散，并且当其强烈地发光以及相对地靠近成像装置时可以引起图像中的许多、相对强烈的点。这些点趋于小和多，并且由于其镜面特性，其亮度趋于如从光源到反射点以及从反射点到成像装置的路径的总距离的正方形那样地衰减。为了减少经历进一步处理的亮点的数量，优选地提供筛选机构以在像素读数中筛选出很多峰值，由于这种镜面反射，同时保持响应于可能来源于需要被检测的光源的亮点。由于镜面反射而足够亮已被关注的亮点的大多数一般限制在靠近并且由车辆前灯或者也许通过其他明亮的附近光源直接照亮的区域，当其出现在这些区域中时，通常出现其中的很多。在出现大多数亮点的与成像装置相对较短距离处，前灯或后灯的直接图像通常非常明亮，使得用于从另外的工艺步骤中的一些筛选具有低像素读数的峰值的阈值明亮度中的审慎的增长不会导致对来自附近车辆的前灯和后灯的明亮的峰值的抑制。图像的区域中的亮点的相对高的密度提供合理的指示，发生镜面反射使其基于筛选的亮点的附近或邻近区域中的亮点的增大的密度审慎地提高用于亮点的最低亮度的筛选阈值。

实现此的一种方法是将图像分割成垂直条带（优选地而未必多于一个）并且提供指示器，优选地对于条带中的每一个具有用于其最大值和最小值的箝位极限。每个箝位指示器的值在试图将指示值提高到其上限以上时设定为高箝位极限，并且当试图将指示值减小到其下限以下时设定为低箝位极限。然后，与亮点的出现相关并且可选择地取决于亮点的水平的增加值在条带中的像素分类为亮点时可被加到与条带相关的箝位指示值上，与没有亮点相关的减小值在条带中的像素不被分类为亮点时从箝位指示值减去。

可能恒定的第一筛选阈值优选地用于将像素分类为用于密度指示的亮点，优选地部分基于亮点密度指示的优选地不同的第二筛选阈值优选地用于筛选受到进一步处理的亮点。第一筛选阈值的第一值优选地选择成小于可能指定给第二筛选阈值的值。一般地，在出现亮点时被加到箝位指示值上的增加值优选地基本大于当像素不被分类为亮点时从箝位指示值减去的减小值。增加值例如可以比减小值大400倍。通过对于出现的亮点增加的增加值、对于没有亮点减去的减小值、条带的形成区域的边界的宽度以及筛选阈值基于箝位指示器的值而提高的量的适当的选择实现预期的结果。在一个试验中，采用10条垂直条带，并且第二筛选阈值在30至1的范围上调整。根据以上所述的参数的适当的值，箝位指示器的值对于最近处理中的更高密度的亮点以及由此的相关条带的附近区域增大，并且当最近处理中的亮点的密度以及由此的相关条带的附近区域较低时减小。然后，当亮点被识别时，基于条带的箝位指示值以及选择性地还对于用于邻接条带的箝位指示值的筛选阈值用于确定是否将检测的亮点分类为应当包括在列表或位图中的亮点，列表或位图提供包括在进一步的处理步骤中的亮点的指示。在有限范围内，筛选阈值优选地随着相关条带中的亮点的密度的增大而增大。

数字装置从提供像素值的相关中心阵列的成像装置提供一定序列的目标像素值，像素值的相关中心阵列包括其相关的目标像素值，相关阵列中的像素值向当前目标像素提供一致的空间关系。目标像素和相关阵列的次序用作基数以提供用于两个或更多个独立的计算序列的数据，两个或更多独立的计算序列用于计算用于独立的应用的数据的独立流，独立的应用可以包括遗漏色值的提供和图像中的明亮度的相对的亮点或高点区域的映射的提供。

图12中的电路在共同受让的美国专利申请公开No.2010/0195908中详细地描述。其描述了逻辑器件的以下实施例，在缓冲区1250的电路中，来自具有颜色光谱滤光器阵列的成像装置的成行的像素数据将像素数据转换并传送至像素数据存储器位置的5x6阵列1251，像素数据存储器位置的5x6阵列1251提供对用于在区块1241A和1252中执行的基于数据中心的计算的数据的访问。具有全部颜色成分的像素数据转变为区块1253中的应用所需的形式。包括图12，因为区块1250中的像素数据的行缓冲和转换以及用于目标像素S22和示例中的像素的相关阵列的集合用作指示在图12中，并且还共用以提供用于在图13描述的亮点检测电路的数据，示例包括S00、S02、S04、S11、S13、S20、S24、S31、S33、S40、S42和S44。

图13是配置成执行用于如图10中指示的图像亮点检测的对比的电路的框图。电路可被容易地修改以在如图11所示的具有很少的硬件部件的情况下在多阶段中执行计算。另外，在某些实施例中，图12的区块1241A中的比较电路可被共用以提供用于图13中的峰值检测计算的比较操作的一些或全部。列1303中的比较电路相应地比较像素值S02、S04、S13、S24、S44、S33、S42、S40、S31、S20、S00和S11与目标像素S22 1301的像素值，以提供用于确定目标像素值S22是否是光照强度值中的相对于领域像素的局部最大值或高点的一组比较值，领域像素优选地具有与目标像素S22同样颜色的颜色光谱滤光器。CP电路1304指示用于目标像素的颜色光谱滤光器阵列的图案，目标像素通过峰值检测逻辑电路1305使用以选择比较输入，从而选择用于像素S22的颜色光谱滤光器的图案的正确组的领域像素。例如，对于图10中描绘的拜尔图案滤光器图案，用于S04、S44、S40和S00的下标比较值用于具有红色和蓝色滤光器的像素，B下标比较值S13、S33、S31和S11替代地用于具有绿色滤光器的像素。本领域技术人员可以理解，当两个红色像素、一个绿色像素和一个蓝色像素用于颜色光谱滤光器图案中时，参照的红色和绿色在本文的说明中互换。

目标像素值S22 1301通过比较电路CT1 1307与阈值T1 1306进行比较，以从用于提供亮点的指示的像素值中筛选低像素值，从而包括在在区域的指示电路1309中执行的亮点密度计算中。仅当像素S22是如由也超过阈值T1的峰值检测逻辑1305指示的亮度中的局部峰值或高点时，逻辑门ZS 1308提供目标像素S22是亮点的指示。区域指示电路1309优选地配置成保持用于每个区域的箝位累加指示器，当S22位于区域以及电路ZS 1308将S22分类为超过亮度T1的亮点时，与S22是构件的区域相关的指示器增大第一更大值。与S22是构件的区域有关的同一指示器减小第二更小值；否则，当S22位于区域中时不是超过阈值T1的亮点。可选择地，一个刚刚详细的其他算法或细化可用于提供区域指示值，这种修改被认为是在本发明的范围内。区域指示电路1309包括在简图中未示出的输入端，以选择对应于S22的活动区域，从而做出计算并提供与目标像素S22所属的区域相关的区域指示器数据。该效果在区域中的最近处理的目标像素的高比例的均值被分类为亮点时提高了与给定区域有关的指示器的值，并且在区域中的最近处理的目标像素的低比例被分类为亮点上减小。区域指示器的值与亮点的密度之间的关系作为示例给出，并且可以任意数量的不同方式建立，以便于达到以下预期效果，当目标像素附近的亮点的密度更大时，增大筛选阈值T2。

第二阈值T2 1310优选地至少部分地基于用于S22是构件的区域的区域指示值1309，并且可选择地还基于用于某些领域区域的区域指示器值或基于图像中的中心区域，在优选的实施例中，用于像素S22是构件的区域的区域指示器可被直接用作阈值T2。目标像素值S22 1301在比较电路CT21311中与阈值T2 1310进行比较，以从用于提供亮点的指示的像素值中筛选低像素值，从而包括在指示用于另外的处理的亮点的亮点矩阵1313中。仅当像素S22是如由也超过阈值T2的峰值检测逻辑1305指示的亮度中的局部峰值或高点时，逻辑门BS 1312提供目标像素S22是亮点的指示。

亮点矩阵1313包括对于进一步的处理感兴趣的图像中的亮点的指示。该数据优选地被传递至微机、数字处理器或其他的计算装置，以在出现图像中的亮点时提供图像数据，从而便于进一步地分析以提供前灯或其他控制或报警或与所获得的图像相关的告示功能。数据可以以许多可选择的形式的任何一种提供，包括但不限于组织在矩阵中的指示器的阵列，优选地单一位，其中每个位的位置对应于图像中的相关像素位置，或者作为一列亮点，亮点中的每一个具有相关目标像素的位置的指示，如包括有每一个像素值的指示。

对于图13的装置，优选自上而下逐渐地处理图像，并且以用于引起T2值的区域指示器的设定为起点，由于需要最大灵敏度的远的后灯趋于在场景中显得更高，因此T2值接近最大筛选灵敏度。这可以通过将区块1308中的箝位区域指示值初始化为其最小值或接近其最小值来实现，上述初始化在每个帧开始时执行并且然后根据区域内的峰值的更高的空间密度以增大对应的区域指示值，从而增大T2阈值以筛选出更多的低强度峰值。照亮的道路，特别是由车辆的前灯直接照亮的车道标线趋于在场景中更低，并且趋于形成许多低至图像中的中等强度的峰值。通过以场景的顶部处的高灵敏度（初始化为指示峰值的低空间密度的值的区域指示器）为起点并在用于区域的区域指示器由于车辆光照或照明的其他光源而调整至峰值的增加的密度时前进至更低的灵敏度（峰值的增大的密度），通常在容许感测大多数远的后灯的峰值筛选阈值中存在平稳过渡，同时防止报告由于来自雪地或道路的反射的过多数量的峰值。优选地将CT1阈值设定的相当低，例如为用于可变阈值T2的最小设定的一半，使得区域指示器可以响应更低的峰值并且在大量峰值超过T2之前调整可变阈值T2，以使其被报告。

方案同样不执行的一种情况是当具有在场景中看起来比远的后灯更高的比如为路灯的许多吊灯时，由此在扫描到后灯之前降低灵敏度。为了减轻该问题，由于远的后灯通常看上去在图像的中心部分中的相对较小的区域内，因此识别该图像的该中心区域，峰值的最大灵敏度或接近最大灵敏度（选择用于T2的低值）被施加用于筛选峰值，从而报告其位于该区域中。优选地，允许区域指示器的调整以正常地继续，而在中心区域中，选择值用于容许报告来自相对远的后灯的峰值的T2。

图13a与图13相似，区块1301和1303到1313基本无变化，增加了区块1314a到1317b。中心区域1315a可以例如包括沿水平和竖直方向的大致六度的覆盖范围，但更大或更小的中心区域仍然被认为在本发明的范围内。最重要的选择是图像中的中心区域1315a的下边界，因为如果其太低，则照亮的道路中的大量峰值将被报告，如果其太高，则将不能包括许多后灯。前灯眩目控制功能的其他部分取决于摄像机的瞄准，因此作为制造厂校准和/或作为动力学或定期地调整的参数提供的相对于车辆1314A的向前方向的摄像机瞄准定向已经可用。该摄像机瞄准指示1314a优选地用于定位峰值报告灵敏度保持在高水平的中心区域1315a。对于放置在可变地定位的中心区域1315a内的图像的部分，选择电路1317a选择用于T21310的中心区域阈值1316a，中心区域阈值1316a提供充分的灵敏度以报告看起来位于中心区域1315a内的相对远的后灯。优选地允许区域指示器在1309中的调整以正常地继续，同时处理位于中心区域1315a中的像素，因此优选地，仅阈值T2的选择在中心区域中改变。

区域指示电路筛选亮度中的由于镜面反射的许多峰值，同时仍然提供对来自这些区域中的前灯和后灯的亮点的令人满意的响应，并且还向非常远的前灯和后灯提供响应，非常远的前灯和后灯很可能位于不包含高密度的亮点的区域中的面积内。在此，优选地将成像装置配置成指令图像数据采集以首先提供来自更远的区域的像素数据，使得区域指示值将趋于基于更远的区域内的范围。这可以通过沿大致的水平定向定位图像行并且在从场景的下部投影之前由从场景的上部投影的图像的行前进。然后，例如，在远的后灯的图像突然出现在山的顶峰上的情况下，区域指示值将基于场景的远部而非基于存在于接近车辆的图像中或道路的顶峰之前的道路的明亮的光照区域。

在峰值或局部高点已被定位之后，其可被用于定位和确定场景中的光源。下文中的峰值将涉及峰值或局部高点，在峰值或局部高点处，给定颜色的像素大于或等于如同沿竖直、水平与对角方向的彩色像素的八个邻域中的每一个值。红色峰值将指代用于具有红色滤光器的像素的峰值。作为选择，可以采用具有滤色器颜色中的任一部分或全部的峰值。对于车辆前灯和后灯的检测，远的后灯是最昏暗的，来自前灯的光具有相当大的红色成分，因此优选的选择是寻找红色峰值并且利用这些峰值作为起点以找到待分类的光。在找到峰值之后，图像的围绕峰值的区域可被分析以将其分类用于各种特性，比如明亮度和尺寸。

根据一个实施例，系统106可被配置成对两个或更多个像素或明亮度峰值分组，使得系统106还可以处理单一实体的组，而非分别地处理组的每个构件。一个以上的峰值可与单一目标相关，因此对属于同一目标的峰值的组进行定位是有利的。以下算法对与通用目标关的关联峰值是有用的。其以确定峰值是超过阈值明亮度的图像中的像素的关联设定的两个（全部）成员，阈值明亮度优选地基于至少一个峰值的亮度。作为选择，阈值亮度可以被选择为更明亮的峰值的部分（例如百分之五十）。在此，如果能够沿水平、竖直或对角方向每次一个像素横过相邻像素之间，以在没有离开该组的情况下从组中的任何起始像素行进至任何终止像素，则该组像素被认为是相关的。如果峰值小于阈值明亮度，则其不关联至其他峰值。当一个或更多个峰值超过阈值明亮度时，有必要观察所讨论的像素中的哪一个是超过所选择的阈值明亮度的像素的相关组的成员。超过阈值明亮度的像素的相关组可以通过在所选择的优选地为矩形区域上形成二元阈值明亮度图像来构造，以使其包括所讨论的峰值，优选地具有做的足够大的区域，以使所考虑的峰值是来自最近边界的至少几个像素（例如五个）。其亮度值大致超过阈值明亮度的选择的区域中的像素包括在形成明亮度阈值图像的像素的组中。然后，像素的相关组可以由作为明亮度阈值图像的成员的像素迭代地构造。相关组可以通过选择峰值中的一个，优选地最亮的，作为构造一组相关像素的种子成员来迭代地构造相关组，该相关组通过词法扩张的迭代应用迭代地展开，词法扩张将该组展开成包括来自形成明亮度阈值图像并且与已作为相关组的成员的像素邻接的组的另外的像素。该迭代可以持续，直到迭代地产生的相关组包括保持点或其关联正被讨论的点为止，或者直到没有更多的点通过另外的迭代步骤增加为止。当没有另外的点通过迭代词法扩张步骤增加时，所讨论的不在相关组中的任何峰值不与用作种子像素的峰值相关，并且根据标准不是同一光照目标的部分。作为同一相关组的部分的峰值根据标准是同一光照目标的部分。

成像器像素可被滤光器图案覆盖，比如拜尔滤光器图案，作为选择，不同颜色的像素可别单独地处理，不同的重量可被给予用于不同颜色的像素的像素值。在优选的构造中，红色滤光像素的仅明亮度峰值被选择为光源候选物，全部颜色的像素的像素值在不考虑其在用于关联的测试中的颜色的情况下被处理，如本文中所述。由于红色和蓝色像素在拜尔滤光器图案中不邻接，因此来自相对纯红色或相对纯蓝色光源的多个峰值在如上所述的测试中不相关。用于关联的测试可以以多种方式修改为更多的颜色盲点或颜色包含物。例如，选择可以包括但不限于利用分别用于主要红色或主要蓝色光源的仅红色或仅蓝色像素，或者用于关联的测试可以利用迭代词法扩张步骤中的结构化元件实现，结构化元件将允许相同颜色像素之间的间隙。优选地限制测试用于关联的峰值的间距。例如，可以考虑彼此沿x和y方向的30个像素内的峰值。关联的分类帮助更细化的分级的公式化，比如符号或一起运动的成对光的识别。

光（例如，亮点或峰值）聚集（例如，分组）可以通过利用可调阈值（例如，0.5或0.25）在两个候选峰值的邻域中产生二元图像来执行，在此，根据一个实施例，大于阈值的像素值表示为一组，等于或低于阈值的像素表示为零。这还可以在单一颜色信道（例如，绿色）上实现，使得色差不影响计算。

一旦产生二元图像，则种子填充操作能够确定在路径中的全部像素均在阈值之上的两个峰值之间是否存在路径。一般地，种子填充从峰值中的一个开始并且沿多个方向测试其邻近值（一般地为N、E、W、S，在此这些字母分别是对于北方、东方、西方和南方的简写）。如果测试的像素满足一个或更多个标准（例如，明亮度），则其邻近值则可被校验。检验邻近值可以继续，直到没有所关注的像素的邻近值满足标准为止。这可以利用递推非常有效地实现。

在进行种子填充的过程中，如果所讨论的另一个峰值总是所关注的像素，则可以得知在两个峰值之间具有像素的直接通路以及两个光应聚集成一个，全部直接通路均满足或超过我们的标准。因此，任意数量的光可被聚集成单个光。

在检测到明亮度峰值的任何实施例中，可以优先考虑峰值（或组）以便在次要的峰值之前处理更重要的峰值。利用来自在重复帧频处捕获的高动态范围摄像机来控制受控车辆105的前灯220a、220b，以最小化对其他驾驶员的眩目。主要基于检测高动态范围图像的序列中的这些车辆110、115的前灯116和后灯111来对道路上的其他车辆110、115进行检测，这些车辆的灯111、116的检测通常以图像中的红色峰值或最大值的检测开始。根据依照场景中的位置进行调整的接受阈值并且根据图像中的区域中的峰值的出现频率筛选红色阈值。根据这些筛选特征，对于大多数图像报告适度地小数量的峰值。但是，大致按照重要性的顺序处理峰值仍然是合乎需要的，其中，最重要的峰值首先处理，使得即使当处理器耗尽时间并且被迫跳过尚未被处理的峰值时重要的光也不可能被遗漏。在优选的实施例中，在同一FPGA中产生4位、16级的优先数值，该数值与被报告的每个峰值的出现一起被报告为四位输入。一般地，所采用的FPGA与用于分析图像以及在扫描图像时检测峰值的FPGA是同一FPGA。

另外，对于被报告的每个峰值，其他颜色中的每一个的最亮的相邻像素的方向可被报告。对于红色峰值，具有四个相邻或领接绿色像素，一个在红色像素的右边，一个在红色像素的下面，一个在红色像素的左边，一个在红色像素的上面，以及位于红色像素的对角角落处的四个邻接蓝色像素。一个二位项用于报告最亮的（或存在一个以上时最亮的中的一个）相邻蓝色像素的方向，第二二位项用于报告最亮的相邻绿色像素的方向。根据用于每对绿色像素和蓝色像素的两个红色像素，最亮的蓝色和最亮的绿色像素的方向可以利用该编码方法或任何适当的可替代的编码方法进行报告。因此，报告八位信息，其中每个红色峰值包括用于优先级的四位的一项和二位的二项，其中的每一个用于指示最亮的相邻蓝色和最亮的相邻绿色像素的方向。在优选的实施例中，由于真实关注的光是两者均具有红色成分的前灯和后灯，因此仅红色峰值被报告。可选择地，绿色和/或蓝色峰值也可被报告，相似的优先级和最亮的邻接方向指示可以用于绿色和/或蓝色峰值。对于绿色像素，具有四个其他的绿色邻近值，位于相对侧上的两个红色像素和位于相对侧上的两个蓝色像素。对于具有分别用于绿色像素和蓝色像素对的两个红色像素的构造，具有两个相邻绿色像素、两个相邻蓝色像素和四个对角地相邻的红色像素。

FPGA能够产生具有峰值读数的像素的非等量加权，峰值读数基于单独的加权因子的总和进行报告，单独的加权因子的总和优选地包括用于图像阵列中的峰值的行位置的加权因子、用于图像阵列中的峰值的列位置的加权因子、峰值的明亮度的近似对数以及峰值相对于相邻红色和蓝色像素的数值。

作为例子，基于Xilinx Spartan 6FPGA的逻辑电路可用于检测通过用在宽VGA（480行x 752列）的高动态范围摄像机上的拜尔滤光器阵列的红色滤光器感测的图像的部分中的峰值。FPGA还用于通过指示所关注的峰值的相似性的更高数量计算四位秩索引。首先，基于给定峰值的单独的秩的分离的行列值如下计算：从0变化到120的行秩计算作为除以2的行数，用于小于或等于240的行数和作为用于其余行的（480-行数）/2。从0变化到117的列秩计算作为列数乘以5/16，用于小于或等于376的列数以及作为用于其余列的235减去列数乘以5/6。从0变化到460的峰值亮度秩计算作为20乘以峰值像素读数的24位整数表示中的前置位的位位置。像素位位置被编号，从用于最小有效为的0到用于最大有效位的23，像素值中的最前一个的位位置对应于峰值读数像素值的基数2的对数的整数部分。邻近峰值红色像素的绿色和蓝色像素的像素值的总和被加和，基于峰值红色值与该总和的对比指定从0变化至322的红色秩。如果峰值红色像素值分别大于相邻非红色像素的总和的1、1/2、1/4或1/8并且不同地被设定为零，则红色秩被设定为322、242、161或80。这可悲调整为大于2、1、1/2或1/4，用于具有用于绿色和蓝色像素中的每对的两个红色像素的构造。

如上所述的行位置、列位置、峰值亮度和红色秩被加和，十个比特数中的四个最高位用作指定给峰值的4位优先级秩，并且将其向评估峰值的处理器报告。用于单独的行列的最大值的和刚好在1023在下，因此，优先级秩可以从0变化至15。

根据一个实施例，一旦发现像素是峰值，则可以给予该峰值分数，其可以指令以下如何处理该峰值。该得分可以基于像素值的组合、图像中的位置、颜色推定、类似参数或其组合。可以采用或可替代的特征，包括但不限于高度、宽度、明亮度、运动、年限、反差等等。此外，对于每个特征计算的单独的分数可以以任意组合加权以产生想要的结果。

为了说明而非限制的目的，像素的列位置可以产生列分数，这将被输入到全部峰值分数的最后计算。如果列位置小于除以二的图像宽度，则列分数等于列位置除以十六和列位置除以四的加和。如果列位置大于除以二的图像宽度，则列分数等于图像宽度与列位置除以16之间的差值和图像宽度与列位置除以四之间的差值的加和。该列得分方法引起从图像的任一边缘向图像的中心（图5）的线性地增大的分数。

像素的行位置可以产生行分数，这然后被输入至全部峰值分数的最终计算。如果行位置小于图像高度除以二，则行分数等于行位置除以二。如果行位置大于图像高度除以二，则行分数等于图像高度与行位置除以2之间的差值。行得分可能引起从图像的任一边缘向图像的中心（图6）的线性地增加的分数。

颜色分数可以以更高的红色成分将产生更高优先级峰值的前提为基础。红色像素与绿色和蓝色像素之间的比率的加权比例可被用于有效地推定峰值的红色成分。示例颜色分数是：

rval=峰值的像素值；//峰值始终以红色为基础（在该算法中）

gval=绿色像素的靠近峰值的最大值；

bval=蓝色像素的靠近峰值的最大值；

如果rval大于gval+bval，则颜色分数等于322

另外如果rval>（gval+bval）/2则颜色分数等于242

另外如果rval>（gval+bval）/4则颜色分数等于161

另外如果rval>（gval+bval）/8则颜色分数等于80

另外的颜色分数等于0

可用于全部峰值分数计算的另一个特征是峰值像素的线性化像素值。该特征可以基于更亮的光源倾向于比更暗的光源更加受关注的假设。峰值分数可以作为对数函数增大。

这种对数函数的例子可以是峰值分数=20*（1+log（线性化像素值）/log（2）），除其中的峰值分数使得为零的零情况之外。峰值分数的最终计算是除以64的单独的特征分数的总和。峰值分数=（列分数+行分数+颜色分数+峰值瓦尔（val）分数）/64。最终结果现在可以是0到15的比例上的分数，其中，0是最低优先级峰值，15是最高优先级峰值。

处理器现在可以利用峰值分数信息以按照优先级的顺序处理峰值。这样做以便更智能地围绕系统的限制作业，特别是定时和存储。因此，系统106可被构造成滤出低优先级峰值以节省处理时间和存储器使用，系统106可被构造成按照首先最高优先级峰值的顺序处理峰值，并且如果时间是因子，则系统106可被确保已首先处理最重要的峰值。

一般地，系统106可以检测非前灯或尾灯光源，比如如同交流（AC）光源（例如，路灯）。在其中控制系统106构造成控制车辆105的前灯220a、220b的实施例中，系统106可以检测AC光源，并且忽视这些光源，使得系统106不基于路灯的检测产生远光关闭信号。检测和判别路灯与前灯提出了对于夜间光照识别系统的挑战。两种灯共用许多特性，其产生他们自身的亮度而非仅代表反射，如符号、邮箱及其他路边物体。但是，前灯调光器系统将忽略路灯（一般说来）而相应前灯。

光照的这种类似性通过许多成像器在大约20或30帧每秒下运转的事实加重，大约20或30帧每秒等于或接近许多路灯的AC闪烁率的谐频（在北美洲和日本部分地区为120Hz，其他地区为100Hz）。因此，在许多情况下路灯与光照闪变频率相同地取样，并且其变化的闪变不容易检测。另外，观察闪烁率可以通过大致地直接查看具有摄像机的光源并且甚至包括图像中的光照的图像中的最亮的像素来最佳地实现。最现有技术的摄像机不设置动态范围以提供精确的、不饱和的、优选地线性的读出的这些光源的强度，作为标准视频图像的一部分。

该问题的一个解决方案是利用具有非常高的动态范围的成像器并且以120Hz或100Hz光照的非谐频运行成像器，其中特别地选择图像捕获频率以产生具有超过许多帧的过程的灯光的拍频。在典型应用中，获取连续图像的帧频基本上低于产生假频人为现像的AC引起的闪烁率。AC行频通常已知为50Hz或60Hz，其中闪烁率一般地为AC行频的两倍，摄像机帧频和闪烁率通常是众所周知的，因此可预测许多假频人为现像。响应图案的存在，即使其由于以刚好位于闪烁率以下的速率走样，也可用于指示光照可能是与汽车前灯相反的街灯或其他行频供给的光源。相比之下，响应图形的缺少可被用于指示光可能来自于汽车或其他车辆光源。为了初始校准或为了检验没有遇到可替代行频，判定AC电源是50Hz或60Hz是必需的或是有益的，走样的响应图形的特性可用于做出这种判定。

作为上述内容的细化，选择奇整数n以及将闪变的周期（频率的倒数）表示为闪变周期可能是有利的。图像获取的重复周期（图像重复率的倒数）则可被选择，使其比乘以n/2的闪变周期稍长或稍短预定量。作为奇数的整数n的选择以及n除以2的意义是在通过连续图像获取周期之间的大约（优选地未必是）180度实现交替获得图像的时候形成光的闪变成分的相位。然后，当靠近用于一个图像的闪变循环的峰值获取图像时，可能在靠近用于下一个图像的闪变循环的极小值时获得，获取下一个图像以使得图像中的光照的亮度从一个周期到下一个周期接近最大变化。图像获取的重复速率对于每个连续的图像可被设定为稍高于或稍低于闪变的相位将改变相位准确地180度，以防止静态相位关系与如上指示的对于以30帧每秒（即331/3毫秒每帧）获取具有120Hz闪烁率的光照或以25帧每秒获取具有100Hz闪烁率的光照相似。

作为替代，为了防止对于25或30帧每秒的选择的上述问题，图像获取的重复速率可被选择为产生拍频半周期，拍频半周期优选地为至少二个图像获取周期长（未必是整数），以便在拍频半周期期间，交替采集图形的相位相对于闪变循环移位大约180度。该结果是拍频图形，其中用于次级取样的闪变频率的信号趋于以大致等于帧频的一半的速度振荡（即正偏转与负偏转之间的大致一个图像帧周期和负偏转与下一个正偏转之间的大致一个图像帧周期产生用于完整周期的大致两个图像帧周期），该信号的相位在拍频半周期相位反转周期中的每一个期间反转。因此，闪烁光的复杂样本波形提供通过相移包络线调节的更高频率替代图形的波形，其中更高频率的替代图形的相位对于相位反转的每个半周期反转。

随着电源线频率准确地设定为50或60Hz以及通过精确的晶体振荡器建立摄像机采集速率，以上涉及的频率和周期是高度可再现的。因此，相关滤光器可被用于检测刚刚说明的波形的存在和相对强度。在此，强相关表示光由线频率源提供电力并且大概地与车辆相反地固定。所采用的数据优选地利用在该文献的其他地方说明并且在通过引入方式并入本文的其他地方的相关申请中说明的装置进行组合。组合数据的步骤可以包括，首先在优选地利用高动态范围摄像机获得的图像中将灯定位为明亮度的峰值或高点，然后使峰值或峰值的组关联至光源，然后通过所关注的光源上的帧经历追踪和保持帧，然后基于与每个图像中的光源相关的更亮的像素的强度的总和计算亮度，然后执行各个解析操作，比如仅说明用于分类光源并且最后例如通过用于迎面车辆的暗淡的前灯恰当地响应的一个操作。

控制系统106可被构造成利用更长的取样图像重复周期，比如但不限于AC光源的闪变循环周期的整数倍n，其中n大于1以检测在一个或更多个高动态范围图像中成像的光源的AC成分。用于采样AC成分的图像还可被分析以定位所关注的其他可能的点。可以通过基于傅里叶的分析、n是奇数的附加限制和利用基于相关滤光器的分析、类似参数或其组合来检测和测量闪变成分。

根据一个实施例，如图14所示，可以追踪来自各种光源的光的强度，光在右侧被标识为路灯、停止符号、黄色符号、邮箱、住宅光和反射器。绘图的值从在x轴上标识为0到-15的16个连续图像获得，其中，图像0是最近地获得的。用于每个光源的亮度级基于与相应的光相关的像素值的总和并且绘制在一轴上。测量全部取自15个图像，连接测量值的线仅提供用于指示趋势和相关点。帧频稍稍超过22帧每秒，局部中的行频为60Hz，因此，在用于相关120Hz闪变率的每个连续的图像的采集之间具有大约5.4个闪变周期。这些闪变变化不被测量并且不通过连接代表所采取的测量的点的图形上的线指示。光源的识别基于测量值，如上所述，如所述的走样的结果不表示光源的真实波形，但仍然提供足以公式化光源的有用分类的信息，用于路灯的强度测量通过连接的点曲线1400上的1401到1416的16个点指示。相位反转临近大致跨越用于拍频的半周期的7帧的成像器读数取样点1405和1412地出现，因此对于完整的拍差周期均有大致14帧。

作为简要的例子，优选地首先在应用相关滤光器之前标准化读数，使得滤光器输出与曲线的形状和频率成分比与明亮度读数的整体大小更加紧密地相关。优选地，来自光照的标准化的明亮度读数通过加和具有加权因子1的点1401、1403、1406、1408、1410和1413，以及具有加权因子0的点1405和1412，以及具有加权因子-1的点1402、1404、1407、1409、1411和1414以及采用加和的绝对值的滤光器处理。对于曲线1400，这提供强烈的正指示，如果具有更大数值的点与更小数值的点互换，则正指示仍将保持。扩展用于相关滤光器的样本的数目是有益的，特别地增大了不显示更低拍频的光的衰减。如此做的一种方式是在将其从14扩展至28像素之上重复图形。这些选择的有益效果优选地和对于相对快速响应的需要保持平衡。一个选择是首先利用可以在大约七帧之后提供可用指示的快速响应，然后通过对用于从更大的采样基数产生的光和/或相关指示的后续的相关指示的经历的分析，可以改正或细化指示。用于最远的响应，AC成分的可用指示可以由七个样本获得。

一旦光的经历已知（如图14中所示），其AC或然性可以通过标准化数据以及使得结果通过相关滤光器在数学上确定。当输入波形通过相关滤光器匹配所搜寻的图形时，相关滤光器具有最大输出。

标准化可以包括通过从最大亮度减去最小亮度确定用于给定光的亮度范围，将该范围一分为二，以及加上最低亮度和（分割的）范围以得到补偿。从每个样本减去该补偿，然后每个样本除以该范围，以使得全部样本进入a-1到+1空间。在这些操作之后，没有样本在+1以上或-1以下。

由于摄像机在运动，因此，光的明亮度通常由于光源接近车辆105而变化。将AC线亮度变化（当如上所述地选择采样频率时一般为正弦曲线）与距离变化（对于接近的光照，用于所讨论的时间帧的基本线性一般增大）分离是重要的。在增加的计算复杂性的代价之下，可以利用用于每个点的任意数量的线性逼近（最小平方法，端点法，平均多端点法等）在标准化步骤期间减去该变化。可以利用以下方程式计算标准化：

Z_i=（Y_i-[（X_i*m）+b]）/R；

其中Z_i是标准化的明亮度，Y_i是原始亮度样本，X_i是对应的样本数（或相对时间戳记，如果可用），m是线性逼近的最佳配合斜率，b是线性逼近的最佳配合截距，以及R是原始的范围（最大亮度减去最小亮度）。

标准化之后，样本应该服从相关滤光器设定。在22.2Hz处检测120Hz闪变，14帧的拍频变得明显。滤光器系数是：

{+1,-1,+1,-1,+1,-1,0,+1,-1,+1,-1,+1,-1,0}

相关滤光器结果是具有乘以第一系数的最近样本的标准FIR滤光器，下一个最近样本乘以第二系数，等等，聚积这些结果中的每一个并获得其绝对值。该输出将从12（完美匹配）变化到0（根本不匹配）。

由于该系统在拍频循环内没有其相位的先验知识，因此我们可以应用许多相关滤光器以测试用于最大可检测性的每个相位。由于相关滤光器系数的对称特性，仅组合的一半需要计算。为了改变相关滤光器的相位，仅使最后系数旋转到前部上。例如，以上指定的滤光器变为：

{0,+1,-1,+1,-1,+1,-1,0,+1,-1,+1,-1,+1,-1}

再一个迭代使其为：

{-1,0,+1,-1,+1,-1,+1,-1,0,+1,-1,+1,-1,+1}

诸如此类，直到循环穿越在初始相关滤光器处到达后部。通过穿过这些滤光器中的每一个供给标准化数据，并且采用最大值，则可以检测最佳匹配相位。

该测量数据还可以许多帧对比，以判定光相位是否按照期望通过相关滤光器中的每一个循环，相关滤光器中的每一个提供光源由AC线路电压供电的进一步的确认。基数测量数据提供AC电力光的或然性，该确认提供在辨别AC电力光和其他变化的光时的很多信心。

通过优选地将该结果标准化为光源的一般亮度，并且应用具有对应于在1401和1408处、在1402和1409处、在1403和1410处、在1404和1411处以及在1406和1413处的接近相位反转位置的零系数，并且记录最大值，可以确定用于光源的AC闪变相关值。作为占用更多捕获时间的选择，在每个点处可以获得仅一个或减少数量的相关测量值，可以采用超过上次七个读数的最大相关值。可选择地，例如可以通过从用于相关测量值的数值集合减去最佳配合线去除比如为直线趋势的成分。由于取样点基数偏离并且需要更多时间，结果稍微不同，但结果应当相似并且执行很少的计算。例如，标准化步骤可被用于通过用于计算的14个亮度测量值的平均数划分所产生的值。在上述中注意到，绝对值的使用允许每个相关测量值应用到两个独立的例子中，使得滤光器操作不需要包括七个另外的步骤，在七个另外的步骤中，全部加权因子的所有符号倒置。刚刚说明的相关滤光器提供用于路灯的更高的输出值，路灯由60Hz电源提供电力，以使其相比另一个光源具有120Hz的闪变率。住宅光照可能具有带钨丝的灯泡并且可以具有较弱的120Hz特征，较弱的120Hz特征可以用于某些情况下，因为其优选地还使这种光区别于汽车光源。

根据图15中示出的实施例，其为与图14的绘图相似的绘图1500（例如，点1501-1516与1401-1416相关），绘图1500描绘了记录用于16个连续图像帧的五个不同的光源的测量的亮度。包括绘图1500以示出当路灯大致与图14中的路灯远离两倍时的性能，因此所测量的光强度是用于图14中的光源的光强度的大约25%。来自图15中的黄色符号的反射是明亮的，因此其缩放至其原始值的十分之一，使其装配上曲线图上。由于优选的标准化步骤，因此绘图的形状仍然是适当的。如直观上明显的，120Hz相关性指示对于该暗淡光不是强烈的，但其仍然足够高以清晰地区别AC电力路灯与另一种光源。

实施例优选地采用提供大致180的帧到帧相变的帧频，或者可选择地大约120度、大约240度、或来自AC电力光的光闪变信号的相位的其他适当的变化。这由于AC线引起的光能级读数的走样的记录的闪变而提供相对较高的频率分量。优选地，实施例还包括在来自AC光源的闪变光信号的采样中的基本较小的叠加的帧到帧的相移分量，来自AC光源的闪变光信号的采样相对于闪变水平的相位以较低频率跳动。高频和拍频的组合可以通过相关滤光器计算，以提供指示其由AC线路提供电力的光源中的闪变成分的指示。

优选利用提供用于50Hz或60Hz的线路频率的良好性能的帧频。这需要折衷，作为选择，该系统可被构造成提供用于帧频仅具有小的变化的50Hz或60Hz的优化性能，使得图像捕获的灵敏性和其他特性基本上不会变化。对于最佳性能，图像截获周期应为AC线路周期加上一半循环（例如，3.5x，5.5x）的整数倍，稍微改变以产生拍频。这种修改对于判定用于检测拍频的周期（即，帧的数量）也是决定性的。对于应答（即，必须检查少数相邻帧）和存储用法（即，更少用于史料的存储）优选相当地短的拍频周期（6-20帧）。

对于120Hz，具有用于26.67帧每秒图像捕获速率的4.5个闪变周期。对于100Hz，具有用于28.57帧每秒图像捕获速率的3.5个闪变周期。对于120Hz，具有用于26.818帧每秒图像捕获速率的5.5个闪变周期。对于100Hz，具有用于22.22帧每秒图像捕获速率的4.5个闪变周期。为了提供闪变信号相对于七个帧周期期间的帧捕获的180度转换，对于120Hz闪变率的帧频可以从21.818增大到22.11帧每秒，对于100Hz闪变率可以从22.22减小到21.875帧每秒。在此，小于四分之一帧每秒或稍微大于摄像机帧频中的百分之一的变化允许该变化调整摄像机，用于利用60Hz和50Hz在区域之间的相似的闪变检测特性。对于选择用于60Hz的22.11帧每秒设定和对于用于闪变循环相对于帧捕获的180度相位移的7个捕获帧，在使用50Hz时将具有每180度相位移21.9（几乎22）个捕获帧。对于选择用于50Hz的21.875帧每秒设定和对于用于闪变循环相对于帧捕获的180度相位移的7个捕获帧，在使用60Hz时将具有每180度相位移35个捕获帧。这些过度缓慢的拍频可被检测，并用于指示摄像机没有处于适当的帧频捕获模式中，并应当大概地从50Hz变化到60Hz模式，或反之亦然。

根据一个实施例，系统106可被构造成利用离散的时间傅里叶变换（DTFT）以检测一个或更多个图像中的AC光源。关于图7A-8C和35，系统106可被构造成采取检测的光源的多个样本。一般地，样本包括直流电流（DC）样本和七个不同的复杂正弦曲线样本（AC1到AC7）（例如，AC频率桶或箱）。DC样本和AC样本可以对比以便确定成像的光源是否是DC光源（例如，前灯116或尾灯111）或AC光源（例如，路灯）。采样周期可以在15Hz与30Hz之间，在20Hz与25Hz之间，或其他适当的采样周期。另外地或可选择地，采样周期配置成使得在60Hz操作的AC光源和在50赫兹操作的AC光源能被检测。因此，系统106可被构造成基本同时地监控50Hz AC和60Hz光源，使得系统106不需要基于待检测的AC光源的类型被重新配置。

关于图7a-7c，这些图表示出利用大约22.1124Hz帧频的曝光时间的效果，其中，图7a示出大约44.99ms的曝光时间，图7b示出大约11.3008ms的曝光时间，图7c示出大约2.8252ms的曝光时间。关于图8a-8c，这些图表示出利用大约23.3293Hz帧频的曝光时间的效果，其中，图8a示出大约42.64ms的曝光时间，图8b示出大约10.7192ms的曝光时间，图8c示出大约2.6797ms的曝光时间。

对于图35和36，在图36中以参考标号3600大致示出检测一个或更多个高动态范围图像中的AC光源的方法。在步骤302，恢复光经历，其可以包括恢复已存储用于两个或更多个图像的检测光源的数据。根据一个实施例，可以采用七个大致连续的图象，其产生DC桶和6个AC箱。可替代地，可以采用其他适当数量的大致连续的图象，比如但不限于14个图像，这产生DC桶和13个AC箱。采用DTFT的样本产生DC样本和各种AC样本。在步骤3604，从时域中的样本减去检测的DC，并且在步骤3608，确定的能量与其他AC频率样本（桶）和DC样本对比。

在判定步骤3610中，判定所确定的能量是否大于另一个AC样本。如果在判定步骤3610判定所确定的能量大于另一个AC样本，则该方法3600前进至判定步骤3612，在判定步骤3612中，判定所确定的能量是否大于DC。如果在判定步骤3612判定所确定的能量大于DC，则该方法3600前进至步骤3614，在步骤3614中，成形的光源被分类为AC光源。但是，如果在判定步骤3612判定所确定的能量不大于DC样本，则该方法3600前进至步骤3616，在步骤3616中，如果曝光大约为10ms或更长则成像的光源被分类为远光源（例如，远离受控车辆105）。

如果在判定步骤3610判定所确定的能量不大于另一个AC样本（已经能够确定光源不是AC光源），则方法3600前进至判定步骤3618，在判定步骤3618中判定所确定的能量是否大于DC样本。如果在判定步骤3618判定所确定的能量不大于DC样本，则方法3600前进至步骤3622，在步骤3622中，判定光源不是AC光源（例如，前灯116或尾灯111）。但是，如果在判定步骤3618判定所确定的能量大于DC样本，则方法3600前进至步骤3620，在步骤3620中，成形的光源被分类为噪音（例如，由于运动引起的光闪变）。

在至少一个实施例中，成像装置的曝光性能配置用于场景中的亮度的突变，比如高速公路地道；来自沿着高速公路侧的树的阴影和高速公路隧道入口/出口。在至少一个实施例中，高动态范围成像装置在比如以下申请公开中描述：共同受让的美国专利申请公开No.2008/0192132、No.2009/0160987、No.2009/0256938和No.2009/0190015以及2008年1月30日提交的台湾专利申请No.97103404，以上专利公开和专利申请中的每一个的公开内容通过引入方式全部并入本文。上述申请中的每一个的公开的全部内容通过引入方式并入本文。在至少一个实施例中，采用如能够从Aptina成像获得的WVGA的1/3英寸独立CMOS成像装置p/nMT9V024；在相关实施例中，可以利用用于如已知的给定非高动态范围成像装置的两个或更多个独特的组合周期，仅有非高动态范围图像的组合使得“合成地”产生的高动态范围光源是可用的。

在至少一个实施例中，控制系统构造成采用如在共同受让的美国专利7,683,326中描述的合成的高动态范围图像，该专利的全部内容通过引入方式并入本文。在至少一个实施例中，成像装置可以采用至少部分地是具有不同于成像装置的视域的第二光传感器的函数的整合周期。

本发明在结合各种车辆应用中使用的车道偏离报警、车道追踪和车道保持系统时是特别有利的。在至少一个实施例中，系统106构造成检测车道标线，其中一个车道标线处于阴影中，另一个车道标线在没有阴影的场景的一部分内。在至少一个实施例中，控制器构造成检测阴影中的车道标线和在共用图像内暴露于日光的车道标线。在至少一个实施例中，系统106构造成在即使迎面车辆115的前灯116存在于给定场景的晚上的车道标线；在优选的实施例中，系统106构造成检测迎面车辆115位于最近车道中的车道标线。

在至少一个实施例中，系统106构造成检测光亮路面（例如湿公路）的车道标线；优选的实施例构造成当相关受控车辆正朝向朝阳或斜阳行驶时检测光亮路面上的车道标线。

相对于致力于检测湿公路上的车道标线和图34的一个实施例，湿公路上的光的反射，特别是来自其他车辆110、115的尾灯111或前灯116的反射频繁地作为可能与道路车道标线混淆的延长的条纹出现。易于与车道标线混淆的类型的延长的反射通常来自靠近道路的远光，前灯116和尾灯111如上所述通常作为光源。所描述的系统106可以定位其他光并且不限于前灯116或尾灯111。筛选出这些假航路指示中的许多的方法是将相关明亮光源定位为反射的原因，或者验证没有这些反射的类似的光源以证实图像可能标记在道路上。由于在该装置中使用的图像包括关闭的直接观察的灯，因此特别宽动态范围的摄像机大大地提高了装置的性能。

为了正确地关联光源与其反射以及为了加快搜索以定位这些光源，研究这些反射的一些典型的几何特征是有益的。覆盖有水的光滑的水平截面的公路可以可以接近适度地散射的水平反射面。具有适度的表面起伏的水体可以提供相似的反射。在包括静止的、类似镜子的水体的场景和用沿水平方向瞄准的摄像机拍摄的包括场景及其反射图像的反射场景的图片中，反射图像中的特征倒置，但与实际场景中的对应的特征垂直地对准。当引入适度的波动时，显著的效果是适度的加宽反射的图像并使其加长，有时候特别是在沿着通过目标的图像和反射图像中的最强烈反射的区域的垂直线的大致垂直方向。在此，最强烈的反射的区域通常接近垂直地对准的区域，在该区域中反射图像将出现静止水。这些特性与来自湿的平整水平道路的反射较好的相关。一个特性差值是大多数高速公路不是平坦的而具有适度的隆起。隆起使得光源与相关反射图像的对准在场景的左侧向左适度地倾斜并且在场景的右侧向右适度地倾斜。这使得通过光源及其相关反射图像画出的线的摄像机图像中的适度的发散从左侧上的反射变成右侧上的反射。这通过在一条线从更近的位置朝向图像的底部前进至朝向图像的顶部看更远的位置时稍微地加宽图34中的线3407、3408、3409、3410和3411的间隔指示。在上述例子中，垂直和水平用于指示相对定向。由于车辆相对于与其轮胎接触的道路的部分定位，因此其趋于保持其相对于道路的该部分可能具有的任何倾度的角定向，应当理解的是，支承车辆的道路的该角定向在技术上相对于参照竖直或水平是更好的参照。因此，上述说明刚好如其应用到水平地定向的平面或隆起表面上那样应用到道路的平整或隆起以及一致地倾斜的部分上，在这种更加一般的情况下，垂直参照由垂直于路面的参照替代。

在优选的应用中，执行扫描以定位可能是车道标线的图像中的特征。作为选择，这可以利用其上已经应用了透视变换的场景的版本来实现，但定位和定向的参照在应用这些变换之前应用到图像上。然后，执行搜索以定位或验证没有明亮的峰值，没有明亮的峰值指示所讨论的特征中的每一个上部的相对窄的区域中的强光源。如果在特征上部的限制区域中发现光源，则表示相关标记是反射的或然性，这种光源的缺失增加了标记位于道路上的佐证。所搜索的区域可被调整以通过提供图像的左侧上的搜索区域的适度的逆时针旋转和图像的右侧上的搜索的适度的顺时针旋转来补偿道路的隆起，上述图像为待评估为反射的特征上的这些旋转定心。所讨论的标记的颜色还可以如进一步验证匹配的相关光源的颜色相比较。在此，例如，来自后灯的反射比绿色或蓝色成分具有相当多的红色成分，来自前灯的反射相对于红色成分具有明显的绿色成分（这并不意味着绿色必须高于红色，仅表示绿色比期望与红色相比极度地低）。不同的前灯以及甚至不同的尾灯的颜色分量可以相当大地不同，因此，执行匹配的最佳方法是获取来自反射的光和相关光的颜色测量值，并且比较这些测量值的相关颜色。反射光的颜色分量不一定与光源的颜色分量匹配，因此，优选地提供容差以适应这些变化以及颜色测量误差。优选的实施例提供部分地用于计算特征是道路标线的概率的颜色匹配分数。

图34表示由安装为沿通过安装摄像机的车辆105（图1和2）的挡风玻璃的向前方向观察道路的摄像机拍摄的数字图象的特征。道路上的反射从卡车110'和汽车110"的两个尾灯111是看得见的，来自汽车115的驾驶员侧前灯116的反射也是看得见的。在更多细节中，来自卡车110'的后灯111的反射产生如由更厚的线3411表示的道路上的看得见的条纹。更轻的虚的构造线3414表示灯111及其在道路上的反射3411以及图像中的线的大致垂直定向的近似共线对准。更重的线3407、3408、3409和3410指示来自湿公路的其他四个光的反射，与线3414相似的虚构造线指示光源及其相关反射的近似垂直定向和近似共线。相关构造线沿向上方向的非常适度的发散表示道路中的隆起的效应。线3401和3412标记道路的边缘，虚线3413是车道标线，3405是中心隔离带。注意到，对于相对直的道路的透视图中的这些线的相对大角度的会聚与由于隆起的道路而适度地发散的反射的靠近的平行线相反。这些几何特征可以选择地用作其他指示器以区分反射与道路标线。但是，在某些例子中，仅一个反射特征被感测，并且在不知道图像中的特征是反射或实际标线的情况下，与图像中的特征的相对定向相比搜索用于远光源的相对界限分明的区域更加简单。

用于车道偏离报警的摄像机通常用于相关功能，比如前灯变暗和/或瞄准控制，这部分地取决于场景中定位光，因此用于定位光的信息可以共用。反射的靠近的垂直定向指的是原始影象而非映射，比如改变线的方向定西那个的由顶向下观察的变换，因此，所表示的方法可以迫使所讨论的特征的定位从映射空间转换回到与原始影象更直接地相关的定向，以便访问正确的数据以在存在光时定位相关的光。作为替代，所需信息的一些或全部可被映射至变换空间，在图像中的接近垂直的定向可被分类以使其在变换图象空间中被识别。

在至少一个实施例中，系统106被构造成检测黑暗路面的车道标线；优选的实施例被构造成当受控车辆在黎明朦胧或晚间期间行驶时检测车道标线。在至少一个实施例中，控制器构造成在黎明朦胧或晚间期间利用场景内的迎面车辆的前灯检测车道标线。在相关实施例中，控制器构造成在黎明朦胧晚间期间利用最近的对向行车道处的图像内的迎面车辆115的前灯116检测车道标线。

在本发明的至少一个实施例中，控制器构造成检测所获得的图像内的车道标线，而相关受控车辆105以及由此的相关成像装置除平行于道路运动之外还垂直和/或水平地运动。优选的实施例构造成检测所获得的一系列图像内的车道标线，而相关受控车辆105除平行于道路运动之外还垂直和/或水平地运动。在至少一个实施例中，控制器构造成计算一系列单独的图像内的电子运动。相关实施例采用至少一个加速计输入以给予图像稳定性。本发明的优选的实施例构造成使给定图像中的检测的车道标线与一系列图像内的第二图像中的检测的车道标线相关联；在至少一个实施例中，控制器构造成检测和追踪一系列稳定图像内的给定车道标线。在相关的实施例中，系统106构造成当相关受控车辆在比如夜间或隧道的环境中行驶时检测和追踪一系列稳定图像内的车道标线，在上述环境中，相关成像装置具有相对长的曝光时间。

在至少一个实施例中，提供系统106以检测低对比度标线；优选的实施例构造成混凝土护面路面上的黄色和白色车道标线。在相关实施例中，控制器构造成检测浅色车道标线；优选的实施例构造成在晚上检测浅色车道标线。本发明的至少一个实施例构造成检测由绘制成道路表面的一系列突出部组成的车道标线；优选的实施例构造成检测由当车道标线在日间位于阴影中时绘制成道路表面的一系列突出部组成的车道标线。通常，一系列突出部突出部被称为博特点，博特点围绕非反射提升公路标线。在许多美国各州和几个其他地区中，博特点用于（与反射升高的公路标线一起）标记高速公路和干线道路上的车道。当博特点跨越行驶车道并且类似于震动带时，博特点向驾驶员提供触觉反馈。博特点是最普通的白色，但当用于替代在北美洲分离交通的相对方向的黄线时还可以是黄色。点由各种陶瓷材料或如聚酯的塑料制成。在一些道路上，仅利用博特点和传统反射标线的混合标记车道，消除了对于重画分道线的需要。

在至少一个实施例中，提供系统以在对应的受控车辆在雨中和雾中行驶时检测车道标线。相关实施例可以如在共同受让的美国专利5,923,027、6,863,405和7,019,275中描述的那样配置，上述专利的公开内容通过引入方式完全地并入。

在至少一个实施例中，系统106构造成在相关受控车辆105与在前车辆110之间存在小的距离时检测车道标线；在优选的实施例中，控制器构造成在相关受控车辆105与在前车辆110之间存在小距离并且受控车辆105的速度在速度阈值以下时不检测车道标线。

在至少一个实施例中，提供系统106以在高噪声环境中检测车道标线，例如：具有斑块表面图形的道路表面；道路养护/轮胎印痕（滑道印迹）之后的焦油印记；低对比度车道标线（具有黄色车道标线的混凝土路面）；如图16中描述的不完全删除的车道标线1620；路面上的油漆（除车道标线之外）；车道外侧的雪；公路连接线；并行行驶的车辆（邻近车道中的靠近车辆）；局部边石道路（一般说来）；护栏；靠近车道标线的墙；道路/受控车辆风挡刮水器运动上的雨/水；夜间非车辆灯光；平行于车道标线的阴影。如图16所述，受控车辆105位于具有左侧车道标线1615和右侧车道标线1610的道路1600上。

在本发明的至少一个实施例中，控制器构造成检测低密度车道标线（具有大空间的标线，多达25米）；优选的实施例构造成检测由绘制成道路表面的一系列低密度突出部组成的车道标线。

在至少一个实施例中，系统106构造成在驱动受控车辆105通过收费站之后、在道路并入部分之后和在十字路口之后在检测时间周期内检测车道标线。在相关实施例中，系统106构造成在车道标线消失之后在不检测时间周期内停止车道标线检测。参照图17，当受控车辆105沿着路径1706以及在1730处行驶时，在1735处不需要报警。在至少一个实施例中，系统106在车辆105位于十字路口内时配置用于低假警报率。如图17中所示，受控车辆105位于具有左侧车道标线1715a、1715b、中央车道标线1720a、1720b和右侧车道标线1710a、1710b的四车道道路1700上。

在至少一个实施例中，检测在道路中限定曲率的车道标线；在相关实施例中，用于车道标线曲率半径的系统阈值被选择为使得在急剧道路弯道上检测车道标线。在至少一个实施例中，利用车道标线曲率的变化率检测车道标线；在优选的实施例中，时间变化率与受控车辆105的速度是线性的。

本发明的至少一个实施例构造成检测独特的车道标线。如图18所示，受控车辆105位于具有左侧车道标线1815和右侧车道标线1810的道路1800上。在至少一个实施例中，独特的车道标线，比如：并行的多车道标线和复合车道标线。如图18所示，系统106配置成相对于实线1825的报警定义为适当的定时，相对第一虚车道标线1820的报警为早期报警，相对于第二虚车道标线1830的报警被认为是晚期报警。具有与所关注的道路相关的10个主要图案；优选的实施例构造成检测复合图案的全部10个图案。至少一个实施例构造成检测具有如图19中所示的汽车共享车道（HOV车道）1920a的道路上的车道标线，应当理解，全世界存在各种类型的汽车共享车道。如图19所示，受控车辆105a、105b分别位于具有左侧车道标线1915a、1915b、右侧车道标线1910a、1910b和非汽车共享车道1920b的道路1900上。在至少一个实施例中，系统106配置成使得当受控车辆105在汽车共享车道中行驶时，1925处的报警是适当的并且1930和1935处的报警被认为是晚期报警。在至少一个实施例中，系统106配置成使得当受控车辆106在非汽车共享车道中行驶时，1935处的报警是适当的并且1925和1930处的报警被认为是晚期报警。

如图20所述，受控车辆105位于具有左侧车道标线2015、右侧车道标线2010a、2010b的道路2000和没有车道标线的道路支路上。在至少一个实施例中，报警不应该出现在2020处，在2025处期望报警，在2030处报警被认为是待定的；优选的实施例在2020处不产生报警并且能够在2025处产生报警。如图21所述，受控车辆2105位于具有合流的道路1600上，合流不具有车道标线、左侧车道标线2115和右侧车道标线2110a、2110b、2110c。

如图22中所示，受控车辆105位于具有支路车道标线2210b、左侧车道标线2215和右侧车道标线2210a、2210c的道路2200上；优选的实施例构造成在区域2220处产生报警。

如图23所示，受控车辆105位于具有左转弯车道、左侧车道标线2315a、2315b和右侧车道标线2310的道路2300上；优选的实施例构造成在2320处不产生报警并且应该准备在2325处产生报警。

如图24所示，受控车辆105位于具有右转弯车道、左侧车道标线2415a、2415b和右侧车道标线2410的道路2400上；优选的实施例构造成在2420处不产生报警并且应该准备在2425处产生报警。

如图25所示，受控车辆105位于具有汽车共用车道出口部分、左侧车道标线2515和右侧车道标线2510a、2510b的道路2500上；优选的实施例构造成在2520处不产生报警，准备在2530处产生报警并且应该在2525处产生报警。

如图26所示，受控车辆105位于具有暂行共用区域、左侧车道标线2615、右侧车道标线2610a、2610b、塔柱2635和临时线路标线2640的道路2600上；本发明的优选的实施例构造成在2620处产生报警，在2625和/或2630处的报警定义为晚期报警。

至少一个实施例构造成检测邻近道路的墙上的车道标线。在至少一个实施例中，系统构造成呈现用于分散地间隔的车道标线的迟滞，比如在汽车共用车道、复合车道标线、具有斑块表面图案的道路、固定的道路表面图案（柏油/滑动）、短车道标线和其间具有长间隙的车道标线中。在至少一个实施例中，系统106构造成检测没有车道标线可检测的道路上的大致路宽，比如，积雪道路和没有车道标线的狭窄道路。至少一个实施例构造成检测仅位于道路中心的单车道标线。

如图27所示，受控车辆105位于具有弯曲、左侧车道标线2715和右侧车道标线2710的道路2700上。本发明的至少一个实施例构造成当受控车辆105从位置2705a沿着路径2706行驶至2705b时不在2720处产生假报警。

如图28所示，受控车辆105位于具有弯曲、左侧车道标线2815和右侧车道标线2810的道路2800上。本发明的至少一个实施例构造成当受控车辆105从位置2805a沿着路径2806行驶至2805b时不在2820处产生假报警。

如图29所示，受控车辆105位于具有弯曲、左侧车道标线2915和右侧车道标线2910的道路2900上。本发明的至少一个实施例构造成当受控车辆105从位置2905a沿着路径2906行驶至2905b时不在2720处产生假报警。

应当理解，右侧曲线在汽车在道路右侧行驶的地区具有更多假报警的机会，因此，优选的系统构造成检测受控车辆105是否在右手或左手行驶区域行驶并进行自动补偿。在至少一个实施例中，系统106构造成具有低的假报警率，其中假报警率具有驾驶员在曲线部分故意驾驶的“外-内-外”车道标线行驶。

转向图30，车辆车道偏离报警（LDW）算法框图3000描述为可被包括在系统106中。优选地，车道偏离报警起始程序块3005每动力循环运行一次。在起始期间，产生查找表格。该查找表格加快将图像坐标系转变成完全坐标系的处理，如在共同受让的美国专利申请No.7,881,839中所描述的，该专利申请的全部公开内容通过引入方式并入本文。这种转变将图像从大致前向的成像装置转换至俯视图。

在每个图象处理循环程序块3010的开始中，LDW应用由输入像素数据填充完全坐标样本网格。在至少一个实施例中，算法利用仅从成像装置获得的亮度信息。在样本网格点在图像平面中转变成分数坐标的情况下执行双线性插值。在至少一个实施例中，在24位亮度+8位色度格式中提供输入成像装置数据，8位色度数据复位至零。

在程序块3015中，标线点（例如，检测的车道标线）是“计分的”。LDW应用计算用于一系列网格取样点的交互相关误差。通过将模板配合至转换的图像数据，可以计算指示一系列网格取样点表示车道标线的或然性的分数。该步骤的输出产生一组索引/行对，涉及潜在车道标线的中心，以及用于指示潜在车道标线是实际车道标线点的概率的对应的分数。在至少一个实施例中，LDW应用的当前状态仅为落在所关注的特定区域内的点计分。

在程序块3020中，处理在程序块3015中计分的点。该步骤将线分类成八个可能的线类型：未知的、单一的、单一虚线、单一未知、双的、双虚线左侧、双虚线右侧或双未知的。该分类几乎全部基于沿着车道标线的边缘建立的点的数量和沿着车道边缘的点的位移。

在程序块3025中，车道线基于线的类型（双/实体/虚线）和检测车道线的车辆105的侧面确定。在LDW应用该步骤计算那条线装配车辆105的每一侧上。对于给定线，该算法尝试线角、曲率半径和曲率的每个组合，由最可能的候选物开始并且向外运动至极端的情况。对于用于这三个参数的每组可能的值，计算产生最可能的线配合的横向偏移。最佳线配合定义为计算的线与实际点之间的绝对差的总和。确定最佳线配合的处理在一旦落入可接受的极限（即，其不是穷举搜索）内就停止。最后还执行一些文档记载。基于该线，用于下一帧的初始门电路可以基于该线路设定，这可以使得线配合处理在连续帧中更加有效。还由此确保车道线中的一定水平的可靠度或一致性。在至少一个实施例中，在任何潜在报警之前要求一致性的水平。

在程序块3030中，计算车辆从车道线的偏离。如果LDW应用已经追踪用于某个时间段的线路，并且车辆105跨越该线路，则对待发出的报警做出标志。利用1-D卡尔曼滤光器计算用于横过线路的潜势。卡尔曼滤光器基于模型经历和当前接近速率。来自卡尔曼滤光器的输出确定车道横过的时间（TLC）。如果车辆105正朝向车道边缘快速靠近，则报警条件通过至判定逻辑。一旦车辆105已经完全地穿过线（例如，当改变到下一个车道内时），LDW应用将左侧的全部经历复制到右侧（例如），以便保持全部相关经历。

判定逻辑程序块3035处理来自LDW应用的输出。该步骤确定是否应该给出报警。对报警的判定基于以下输入的至少一个：1）速度，2）扭转信号开关位置，3）偏航和4）来自LDW应用的输出（以报警或不报警）。定时数据可被输入用于迟滞目的。一般地，如果系统106已指示报警，则系统106不会在5秒时限内在此报警。

转向图31a，描述图像预处理器3100a；如本文中别处所论述的，采用优选地字段可编程门阵列（FPGA）以有利于图像预处理器。在至少一个实施例中，两个成像装置，CAM0和CAM1，向图像预处理器提供图像的光源。在至少一个实施例中，结合有包括从属部件3110a和寄存器3115a的内部集成电路（I²C）3105a，内部集成电路3105a提供具有串行数据线（SDA）的多主机序列单末端计算机总线和将I²C连接至外部处理器的序列时钟（SCL）。第三视频输入，V1D2，被容置用于至少部分地预处理图像流的输入。在至少一个实施例中，提供峰值检测算法程序块3120a以提取如本文中所述的所关注的可能的点（POPI）。在至少一个实施例中，提供去马赛克程序块3125a、3140a以将遗漏的颜色数据给予输入的成像装置数据的每一个像素，如在共同受让美国专利申请公开No.2010/0195908以及本文中所描述的。在至少一个实施例中，提供黑色像素调整程序块3135a、3150a以补偿用于暗电流噪声的原始像素数据。在至少一个实施例中，颜色转换程序块3130a、3145a提供用于图像数据从红色、绿色、蓝色（RGB）格式向YUV格式的转换；在本文中说明适当的算法。在至少一个实施例中，色调映射程序块3165a结合用于将高动态范围图像数据转换成低范围数据，如在共同受让的美国专利申请公开No.2010/0195901中所述。在至少一个实施例中，提供尺寸重定器/初始搅拌器程序块3155a和薄膜晶体管（TFT）转换程序块3160a以使V1D2视频输入对接至TFT显示器。

根据一个实施例，系统106可以包括一个或更多个可执行软件程序，一个或更多个可执行软件程序由一个或更多个处理器执行以处理捕获的图像并产生控制信号。一般地，一个或更多个可执行软件程序可被构造成减少处理器所需的处理器的量。对于用于高动态范围的高动态范围像素数据格式存在选择，图像包括LogLuvTIFF，LogLuvTIFF在提供亮度分量和基本不依赖于亮度的两个相对紧凑的颜色分量的格式中代码化高动态范围图像数据。该格式基于根据CIE1976标准编码的知觉地均匀颜色。早期的CIE1931标准引入xyY颜色空间，其中，Y代表亮度，x和y代表亮度独立颜色座标。对于其许多优势，LogLuv编码在计算上难以在数字装置中执行，比如在FPGA中，并且转换至颜色空间以及由颜色空间转换，两者均需要难以有效地执行的分离操作。xyY颜色空间稍易于执行，但仍然需要分离，并且需要其他计算转换至xyY颜色空间或由xyY颜色空间转换。

彩色图像向黑白色的转换、机器视觉和许多色调映射算法基于亮度执行广泛的计算。包括黑白电视上示出的那些的黑白照片基于亮度和NTSC利用像素值，利用YUV，比如为YIQ的变型被用于彩色电视标准以提供颜色和黑白设定之间的兼容性，并且提供亮度信道和在YUV与RGB之间计算地简单转换的通用性。YUV分离亮度分量Y与主要旨在输送颜色信息的U和V成分，但是由于U和V与颜色成分相关，而颜色成分与亮度直接成比例，颜色成分还与强度亮度Y的变化直接成比例。甚至对于受限的正常动态范围中的图像数据，颜色成分与亮度的比例限制低亮度水平处的颜色清晰度。对于高动态范围图像，情况恶化，不仅是亮度，全部三个颜色成分均需要扩张尺寸以提供所需的动态范围。作为本发明的一部分的像素编码，不同于CIE格式，可以在FPGA中经济地执行，不同于RGB或YUV，其需要扩张仅亮度分量的位尺寸，以编码高动态范围像素数据。通过分别以Y或以与Y紧密地相关的值（比如（Y+1））分离U和V，产生尺寸上与亮度无关的颜色成分。该分离可以包括以Y+1分离，或者可选择地以在另一种方式中修改的Y分离，使其是非零或正值以零分离。然后，取代如在RGB或YUV的例子中需要用于亮度和用于每个颜色成分的大约相同数量的位，两个颜色成分所需的为的数量减小至充分地输送用于显示或用于图象处理的颜色信息所需的数量，并且仅亮度值需要输送高动态范围信息。由于比如在共同受让的美国专利申请公开No.2010/0195901中说明的许多色调映射算法，比例亮度可用于压缩图像，然后再施加颜色，其中U/（Y+1）和V/（Y+1）的比率通过色调映射操作基本不变。这节省了计算步骤并且大大地减小了存储像素颜色数据所需的存储器，同时进行色调映射。

在另外的改进中，成分Y、U和V，或来自具有亮度分量的另一个颜色空间的相似成分，以及其值与亮度成比例的两个或更多个颜色相关的成分中的每一个均被转换成对数形式（考虑到负值的独立的处理），除运算通过在对数领域从颜色成分中的每一个的对数减去亮度对数（或亮度的对数+1）替代。由于包含甚至在高动态范围图像中的有用信息的为的数量由A/D转换的精度的限制，因此保持存在于读数中的精度的大部分的像素值的对数转换不需要如相对较高的速度分离操作那么多的计算时间或使用如其那么多的FPGA资源，这使其成为所期望的替代方案。

在像素数据上执行的高动态范围像素的值的优选可替代像素表示通过以系数转换成YUV的变体开始示出在此，以从选择用于应用的RGB颜色空间变换。从RGB变换的第一级与从RGB向YUV变换的类似之处在于用于像素的像素数据变换成优选地与RGB线性地相关的颜色座标值，其中，变换的像素数据包括主要与像素的亮度相关的一个值和主要与像素的颜色相关的两个其他成分。为了计算亮度（Y的值），52.3%的红色值、47.3%的绿色值和0.4%的蓝色值加在一起。更典型的亮度值将大致基于30%红色、60%绿色和10%蓝色。该例子基于用于车道偏离报警和特定摄像机构造的值，而非旨在限制本发明的范围。

现在U和V颜色成分转换成以保持高动态范围性能的形式输送颜色信息并且尺寸上与光能无关的形式。所选择的形式限制将高动态范围像素数据编码为亮度信道所需的大量位，亮度信道允许用于U和V以其可替代的编码形式的像素信息的更加紧凑的编码。在例子中，初始24位亮度清晰度的20位被保持，因此，对于与20位亮度数据一起以新式格式编码的U和V颜色信息中的每一个利用仅6位以提供（20:6:6）数据格式中的20位范围上的具有合理颜色逼真度的像素数据需要仅32位数据。这在更加传统的RGB编码中将需要60位或许62位，以包括可能用于YUV格式中的U和V的负号。

如在例子中详述的，如所指示地计算Y、U和V的值，U和V各自分成一位符号变量（分别为Us和Vs，Us和Vs分别等于U的符号和V的符号，优选地利用用作加号的0和用作减号的1）和绝对值变量（分别为Uabs和Vabs，Uabs和Vabs分别等于U的绝对值和V的绝对值）。然后，优选地基数2的对数Ylog、Ulog和Vlog分别计算用于Y、Uabs和Vabs。分别通过Ualr和Valr将对数表示为（Uabs+1/（Y1）和（Vabs+1）/（Y+1）的比值的基数2，以分别将U的绝对值的比值的对数表示成亮度以及V的绝对值的比值的对数表示成亮度。利用Ycl将通过箝位超过特定最大值的Y的值而修改的Y的值表示为最大值。通过围绕或除去低顺序位的Ualr和Valr形成Ualr和Valr的装填形式Ualrp和Valrp，更高顺序位的Ualr和Valr被箝位。利用所选择的格式，比如优选地制订以保持次序和均等的特性的二进制补码，编码所产生的值。包括Ycl、Us、Ualrp、Vs和Valrp的结果以指定顺序包装成二进制表示的颜色像素值。在上述操作中，通过基于Y而非基于Ycl计算颜色成分，正确的颜色成分保持用于完全的初始动态范围，使得甚至在亮度被限制而在像素值饱和时颜色信息通常损失的情况下的许多区域中保持适当的颜色。

这里是利用Y:U:V的变体在FPGA中执行的例子，其中新的像素表示利用用于亮度的20位和用于（20:6:6）像素值布局中的两个颜色成分中的每一个的6位。

1．通过向YUV（24:25:25）的颜色转换采取线性化的RGB（24:24:24），其中U和V是标记的线性结果（因此第25个符号位）。

2．通过应用以下公式执行颜色转换：

Y-0.523*R+0.473*G+0.004*B

U=0.340*R-0.336*G-0.004*B

V=-0.297*1*-0.266*G+0.563*B

3．对于Y，计算Y的对数基数2（Ylog），并且将线性Y值箝位为20位（Ycl）。

4．对于U和V（25位，标记的输入），分别将Us和Vs设定成等于U和V的符号。

5．采用U和V的绝对值以产生变量Uabs和Vabs。

6．计算Uabs和Vabs的基数2的对数，以产生Ulog和Vlog（格式是18-位，其中5个整数位和13个分数位）。

7．设定Ulog=log2（Uabs+1）和Vlog=log2（Vabs+1）以及Ylog=log2（Yabs+1）。增加1以防止采用零的对数。

8．设定Ualr=Ulog-Ylog和Valr=Vlog-Ylog

9．为了装填形成Ualrp的Ualr，截取小数部分Ualr并且将整数部分箝位至五位。以5位2的补码格式（+15至-16是范围）表达带符号的整数部分。调用该Ualrp。

10．对于Valr也如此以产生Valrp。

11．对于传送，发送用于20位亮度部分的Ycl。用于U部分，发送6位作为U和（Uabs+1）/（Vabs+1）的比值的包装的对数值的初始符号。该结果设置为作为（Us:Ualrp）的五位包装对数值之后的一位符号。对于V部分，如同刚刚对于U部分所说明的一样地发送作为（Vs:Valrp）的6位组合。注意到，我们具有U和V成分中的每一个中的2个符号位。还注意到，U和V标准化为Y。

12．在紧凑的6位格式中，通过增加亮度的对数可以执行亮度的倍增，简单的查找表格可用于将6位对数地编码的颜色成分中的每一个转变成可以按照需要乘以亮度值的线性形式。

转向图31b，根据一个实施例，描述图像预处理器3100b；如本文中的别处所论述的，采用优选地字段可编程门阵列（FPGA）以有利于图像预处理器。在至少一个实施例中，两个成像装置，CAM0和CAM1，向图像预处理器提供图像的光源。在至少一个实施例中，采用光学流动程序块3170b；共同受让的美国专利申请公开No.2010/0073480描述了用在本发明上的光学流动算法，该专利申请公开的全部公开内容通过引入方式并入本文。在至少一个实施例中，结合有包括从属部件3110b和寄存器3115b的内部集成电路（I²C）3105b，内部集成电路3105b提供具有串行数据线（SDA）的多主机序列单末端计算机总线和将I²C连接至外部处理器的序列时钟（SDL）。第三视频输入，V1D2，被容置用于至少部分地预处理图像流的输入。在至少一个实施例中，提供峰值检测算法程序块3120b以提取如本文中所述的所关注的可能的点（POPI）。在至少一个实施例中，提供去马赛克程序块3125b、3140b以将遗漏的颜色数据给予输入的成像装置数据的每一个像素，如在共同受让美国专利申请公开No.2010/0195908以及本文中所描述的。在至少一个实施例中，提供黑色像素调整程序块3135b、3150b以补偿用于暗电流噪声的原始像素数据。在至少一个实施例中，颜色转换程序块3130b、3145b提供用于图像数据从RGB格式向YUV格式的转换；在此说明适当的算法。在至少一个实施例中，色调映射程序块3165b结合用于将高动态范围图像数据转换成低范围数据，如在共同受让的美国专利申请公开No.2010/0195901中所述。在至少一个实施例中，提供尺寸重定器/初始搅拌器程序块3155b和薄膜晶体管（TFT）转换程序块3160b以使V1D2视频输入对接至TFT显示器。

转向图31c，根据一个实施例，描述图像预处理器3100c；如本文中的别处所论述的，采用优选地字段可编程门阵列（FPGA）以有利于图像预处理器。在至少一个实施例中，两个成像装置，CAM0和CAM1，向图像预处理器提供图像的光源。在至少一个实施例中，结合有包括从属部件3110c和寄存器3115c的内部集成电路（I²C）3105c，内部集成电路3105c提供具有串行数据线（SDA）的多主机序列单末端计算机总线和将I²C连接至外部处理器的序列时钟（SDL）。在至少一个实施例中，锁相环控制程序块3116c提供用于在图像预处理器3100c以外的至少一个装置的同步。在至少一个实施例中，线路缓冲器3117c提供用于缓冲输入的成像装置数据。在至少一个实施例中，整数转换程序块3119c提供用于表示图像数据的对数向线性化格式的转换。第三视频输入，V1D2，被容置用于至少部分地预处理图像流的输入。在至少一个实施例中，提供峰值检测算法程序块3120c以提取如本文中所述的所关注的可能的点（POPI）。在至少一个实施例中，采用5x5核心程序块3121c以分析像素的次级阵列，如本文中所说明并且如在共同受让的美国专利申请公开No.2010/0195901和No.2010/0195908中所述。在至少一个实施例中，提供去马赛克程序块3125c以向输入成像装置数据的每一个像素给予遗漏的颜色数据，如在共同受让的美国专利申请公开20100195908以及在本文中所描述的，该专利申请公开的内容通过引入方式全部并入本文。在至少一个实施例中，黑色像素调整程序块3135c提供用于补偿用于暗电流噪声的原始像素数据。在至少一个实施例中，颜色转换程序块3130c提供用于图像数据从RGB格式向YUV格式的转换；本文中说明适当的算法。在至少一个实施例中，色调映射程序块3165c结合用于将高动态范围图像数据转换成低范围数据，如在共同受让的美国专利申请公开No.2010/0195901中所述。在至少一个实施例中，提供尺寸重定器/初始搅拌器程序块3155c和薄膜晶体管（TFT）转换程序块3160c以使V1D2视频输入对接至TFT显示器。在至少一个实施例中，输出格式程序块3180c提供用于将相关的预处理图像数据格式化成Y24、YUV（20:6:6）或YUV（18:7:7）格式。在至少一个实施例中，与和CAM0相关的路径相同的复制成像装置数据路径3185c提供用于CAM1输入减去峰值检测算法程序块3120c，用于连接至大致面向受控车辆105的后部的成像装置。连接至CAM0输入的成像装置大致向前面向受控车辆105。

应当理解，在本发明的至少一个实施例中，字段可编程门阵列（类似于图31c中描述的FPGA）配置成使得给定颜色（“RGB至YUV”）的转换算法（程序块3130c，分成3130c1、3130c2）基于外部的信息位；比如1）是否是白天（高周围光环境），或2）夜晚（低周围光环境）。在相关实施例中，颜色转换程序块3130c配置有两个或更多个颜色转换算法（即：第一颜色转换算法、第二颜色转换算法，等等）；给定颜色转换算法的自动选择可以基于图像数据是否想要用于显示目的、自动车辆外部灯光控制目的、车道检测目的、车道追踪目的、车道保持目的、盲点报警目的、其任意次级组合或其组合；给定外部设备影响FPGA以执行所需的颜色转换算法。

现在转向图31d中示出的实施例，帧捕获器3100d描述为具有第一内部集成电路（I²C）3105d1和第二内部集成电路（I²C），所采用的第一内部集成电路（I²C）3105d1包括从属部件3110d1和寄存器3115d1，所采用的第二内部集成电路（I²C）3105d2包括从属部件3110d2和寄存器3115d2；以及第三内部集成电路（I²C）3105d3，所采用的第三内部集成电路（I²C）3105d3包括从属部件3110d3和寄存器3115d3，寄存器3115d3提供具有单独的串行数据线（SDA）和将给定I²C连接至外部设备的单独的序列时钟（SDL）的多个多主机序列单端计算机总线；数字信号处理器（DSP）、CAM0和CAM1。在至少一个实施例中，第一锁相环控制程序块3116d1提供用于帧捕获器3100d的外部的至少第一装置的同步，第二锁相环控制程序块3116d2提供用于帧捕获器3100d的外部的至少一个第二装置的同步。在至少一个实施例中，第一线路缓冲器3117d1提供用于缓冲从第一成像装置输入的成像装置数据。在至少一个实施例中，第二线路缓冲器3117d2提供用于缓冲从第二成像装置输入的成像装置数据。在至少一个实施例中，第一整数转换程序块3119d1提供用于来源于第一成像装置的对数表示的图像数据向线性化格式的转换。在至少一个实施例中，第二整数转换程序块3119d2提供用于来源于第二成像装置的对数表示的图像数据向线性化格式的转换。

应用编程接口（API）是通过软件程序执行的接口，软件程序使其能够与其他软件相互作用。其以类似于用户界面便于人和计算机之间的相互作用的方式便于不同的软件程序之间的相互作用。通过应用、程序库和操作系统执行API以确定其词表接着又调用约定，API用于访问其服务。其可以包括用于程序、数据结构、对象分类和用于在用户和API的工具之间通信的协议的技术要求。

参照图32，描述用于嵌入式系统的车辆外部灯光控制算法框图3200。优选的处理是可配置的“黑盒子”程序库中的一个。计算的每个主要区域利用任何种类的处理可被插接的标准化功能接口。产生的外部算法API是紧凑的并且对于以下2-功能接口是直观的：1）初始化外部光照状态结构以及配置相关算法的计算区域中的每一个，以及2）处理图像数据的一个帧，并且基于图像数据的当前帧以及已经在前灯控制状态变量中保存的任何历史数据输出结构限定的外部光照状态。

该算法在其上运行的优选的嵌入式系统在计算能力和结构方面可以改变。图像数据预处理程序块3205优选地在字段可编程门阵列（FPGA）或其他这种装置中执行。该算法接受预限定的输入，预限定的输入包括包括32位线性化像素数据和在表示潜在关注的点（POPI）的FPGA中保持执行的一些登记。

算法3200已被分割成相关计算的六个区域。计算的每个区域具有功能接口，该功能接口有利于确定计算的编译时间或可插接计算的运动时间。相关计算的每个区域采取作为其输入，通过全部上述计算区域计算数据然后在每个光或每场景基础上产生输出。

POPI改进算法程序块3210将通过预处理器产生的全部POPI转换成一列光目标。其被分解为两个不同的步骤：1）POPI获得，和2）POPI花细化。POPI获得件分析来自程序块3205的预处理编码输出，并产生一列POPI花目标。该POPI细化处理穿过这列POPI花至注册的细化工厂中的每一个。在细化的终点，工厂将分配光源目标并填充“单一峰值”光列表，该“单一峰值”光列表是包含仅单个预处理图像定位的峰值的一列光源。

POPI细化的第一步骤是获得全部POPI，其中预处理步骤已经建立并且编码到输入预处理图像数据内。图像数据预处理器和POPI采集器之间的接口如下：1）行内的峰值（POPIs）表示在位字段中，其后为每行图像数据。每个位代表行中的列，如果位设定为1，则该像素通过预处理程序块3205被标记为可能关注的点，以及2）用于行中的每个POPI，FPGA还将填充8位信息“元（meta）”数据到最高的8位图像数据。这仅对于由POPI位字段中的1标记的像素实施。该“元”数据格式如下：1）像素的像素[31:30]方向位于在峰值（POPI）的3x3邻域中最高的拜尔滤光器颜色A之下，2）像素的像素[29:28]方向在峰值（POPI）的3x3邻域中的最高的拜尔滤光器颜色B之下，以及3）像素[27:24]优先级（0-15）计算用于权衡明亮的、为红色以及位于最深的图像帧的中心的峰值。

拜尔光谱滤光器颜色A和颜色B是不同于峰值像素的颜色的两种颜色，并且方向是根据峰值像素的颜色的北-东-南-西（0、1、2、3）或东北-东南-西南-西北（0、1、2、3）的编码。如果峰值像素是红色（或蓝色），则颜色A将是指向峰值像素的北、东、南或西方的绿色像素，并且颜色B将是指向峰值像素的东北、东南、西南或西北方的蓝色（或分别为红色）。如果峰值是绿色像素，则颜色A将是指向北或南方的红色或蓝色像素，并且颜色B将是指向东或西方的蓝色或红色像素。

至少一个POPI细化工厂负责通过采集器产生POPI光源花目标的列表进行迭代，并且分配/初始化用于认为适合于进一步考虑的花的光源目标结构。如果细化者确定花应该转换成光源目标，则负责计算光源的一些基本特性，比如：红色/白色比值，光源内的峰值像素，包围和包括光源内的峰值像素的像素的5x5阵列内的斜率，总灰度值，经过的帧光源位置，当前帧光源位置，运动，宽度，高度，面积，年代，和生长等，或其组合。

将多个光聚集在一起的处理是当峰值检测算法能够产生单个光源或反射器内的多个峰值时变得必需的计算负荷。例如，峰值检测算法可以沿着路肩在单个符号目标内找到3或4个峰值。虽然其可以为后续处理能够处理的东西，但最通常的建议是在使其通过追踪以及核算计算的面积的特性之前确定光目标的实际范围。

光源聚合器程序块3215实施光源聚合器功能接口，并且负责增加光源目标的最终列表，该最终列表将随着时间被追踪，并且全部光源特性计算将在最终列表上运行。在优选的实施例中，光源聚合器将单一峰值光源组合成可能更大（多峰值）光源。作为输入，聚合器功能3215接收来自POPI细化阶段3210的“单一峰值”光源的列表。这些光源已经通过细化处理被预滤光，并且使一些基本性能通过细化工厂计算，比如：红色/白色比值，光源内的峰值像素，包围和包括光源内的峰值像素的像素的5x5阵列内的斜率，总灰度值，经过的帧光源位置，当前的帧光源位置，运动，宽度，高度，面积，年代，生长等，或其组合。

光经历追踪程序块3220负责连接当前光与前代光。在优选的实施例中，经历追踪程序块从一帧到下一帧地追踪光源目标。系谱树模拟已被选择以描述该处理的各个方面。每个帧被认为是系谱树中的一代，每代都具有作为单调增加计数器的ID。被发现与在前帧（或代）中的光源足够相似（基于一些类似量度，比如：红色/白色比值，光源内的峰值像素值，包围和包括光源内的峰值像素的像素的5x5阵列内的斜率，总灰度值，经过的帧光源位置，当前帧光源位置，运动，宽度，高度，面积，年代和/或生长）的光源采用该光源作为其母体。同时，来自上代的光源采用来自当前帧的光源作为其子光源。光源可具有许多子光源，但仅一个母体。光源可以采用来自非相邻代的母体（即，非其直接母体，而是祖母体或老祖母体），而代隙可以不大于未被采用的光可以坐置在在前光列表中的代的数量。光源年代是其历史中的最老光源的一代ID与光源的一代ID之间的差值。

利用图像数据和可能的其他在前计算的光属性实现光源特性程序块3225中的计算，比如：红色/白色比值，光源内的峰值像素，包围和包括光源内的峰值像素的像素的5x5阵列内的斜率，总灰度值，经过的帧光源位置，当前的帧光源位置，运动，宽度，高度，面积，年代，生长等，或其组合。每个特性计算可以优选地在经过的光源的列表中的每一个光源上执行（即，每个光源目标可以优选地具有通过每次计算更新的相同数量的变量）。每个光源特性计算优选地符合特性计算功能协议，并且应当利用光源特性增加计算功能进行记录。

场景特性程序块3230计算利用全部在前计算的光源属性和光经历在每个帧范围上实现。在优选的实施例中，每个场景特性计算均经过在当前帧内建立和表征的光源的有效地只读列表，并且然后应当执行关于场景或作为整体的光源的收集一些更高水平或宏观的判定/计算。全部计算的场景属性保持在与光源列表分离的结构中。场景属性的例子是村庄检测、汽车道检测和车辆（或车辆集合）识别。

车辆外部灯光控制判定逻辑程序块3235在其输入全部在前计算输出时起作用，在前计算输出包括（但不限于）全部场景（或宏观）属性、表征的整个列表、存在于当前帧中的分类的光源和帧中的每个光源的完整经历。判定逻辑基于数据输入确定用于车辆外部光的适当的状态。判定逻辑自由地保持其在用于计时器和状态滞后的结构内的自身状态。由构造系统限定由判定逻辑使用和更新的实际输出结构。这种灵活性允许开发者为特定车辆定制判定逻辑。在每个车辆上定制输出格式和判定逻辑的能力允许开发者以集中和有效的方式调整用于最佳性能的判定逻辑。

根据一个实施例，一种自动车辆设备控制系统，包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且所述至少一个成像器包括像素阵列；处理器，其与所述至少一个成像器通信，并且构造成处理所述高动态范围图像的连续序列；颜色光谱滤光器阵列，其与至少一个成像器光学通信，颜色光谱滤光器阵列包括多个颜色光谱滤光器，所述多个颜色光谱滤光器中的至少一部分是不同的颜色，所述像素阵列的像素与基本的一个所述光谱颜色光谱滤光器光学通信；以及透镜，其与所述至少一个成像器和所述颜色光谱滤光器阵列光学通信；其中，所述成像器构造成以所述高动态范围单帧图像的连续序列的一个图像帧捕获附近迎面前灯以及散射车道标线和远的后灯中的至少一个的非饱和图像，所述自动车辆设备控制系统构造成检测所述公路标线和所述尾灯中的至少一个，并且从所述一个图像帧中的数据量化来自所述迎面前灯的光。

如上所述的自动车辆设备控制系统，其中，所述迎面前灯以及所述散射车道标线和所述远的后灯中的至少一个通过所述成像器直接观察。

如上所述的自动车辆设备控制系统，其中，所述成像器具有用于捕获所述高动态范围单帧图像的连续序列的捕获序列，并且所述捕获序列在检测多个不同类型的光源时在延长的时间段内保持不变。

如上所述的自动车辆设备控制系统，其中，所述透镜构造成使得所述至少一个成像器对于具有大面积和低亮度的所述光源具有降低的敏感性，所述透镜还构造成使得来自小光照面积光源的光的大部分基本聚焦在所述像素阵列的一个像素上。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成通过内插用于遗漏所述颜色数据的每一个像素的至少一个颜色成分处理镶嵌式彩色图像，并且在每一个像素位置处产生作为所述颜色成分的加权平均的灰度图像。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成增强对所述图像中的黄色的检测，以便检测所述图像中的黄色车道标线。

如上所述的自动车辆设备控制系统，其中，内插方程式基于像素相对于镶嵌式滤色阵列图案的位置、计算的遗漏成分的颜色和检测用于执行所述内插的所述像素位置的边缘图案中的至少一个。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成利用具有更大像素基数的边缘图形检测，以基于来自更小像素基数的像素值选择内插方程式。

如上所述的自动车辆设备控制系统，还构造成主要基于邻近内插位置的像素的值选择计算内插值的内插方程式。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成通过增加其相对于非黄色像素的值改变用于与所选择的所述颜色光谱滤光器相关的至少一个像素的灰度值。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成在连续图像中定位成像光源的位置、统计地计算用于所述光谱滤光器阵列颜色的光照水平以及比较用于所述颜色成分中的每一个所述统计学计算值以区分灯的类型。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成在所述投影图像的位置随着时间而变化时随着时间进行读数。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成使得来自用于给定光源的连续帧的所述图像数据进一步被利用，以提供用于所述光源的位置和轨迹的分类。

如上所述的自动车辆设备控制系统，还包括与所述处理器通信的存储设备，所述存储设备构造成存储从捕获的所述图像获得的数据，其中，所述包括所述像素阵列中的明亮像素的位置和覆盖每个所述像素的每个所述光谱颜色光谱滤光器的位置中的至少一个。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成定位和追踪多个图像上成形光源，以便分析所述数据以确定所述光源的多个特性。

如上所述的自动车辆设备控制系统，其中，所述多个特性包括颜色、亮度、亮度相对于时间的轮廓、位置、轨迹和速度中的至少一个。

如上所述的自动车辆设备控制系统，其中，所述颜色光谱滤光器阵列布置成图案，其中，多个第一颜色光谱滤光器大致为多个第二颜色光谱滤光器的数量的两倍，所述多个第一颜色光谱滤光器大致为多个第三颜色光谱滤光器的数量的两倍，并且所述处理器还构造成单独地累加并比较一行中的第一颜色像素值和第二颜色像素值的总和与一行中的所述第一颜色像素值与第三颜色像素值的总和，以基于具有给定颜色的所述光谱滤光器的所述像素对于调整用于所述像素阵列中的所述像素的密度的给定光源的时间平均响应，提供测量值的统计量的推定。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成扫描所述图像以定位具有明亮度峰值读数值的局部所述像素，所述明亮度峰值读数值超过设定用于给定光谱颜色光谱滤光器的明亮度峰值阈值。

如上所述的自动车辆设备控制系统，其中，基于所述图像的邻接区域中的亮点的密度确定用于每个给定的所述光谱颜色光谱滤光器的所述明亮度峰值阈值。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成执行边缘保留颜色内插，以提供用于足够大以跨越所述图像中的多个连续的所述像素的目标的像素颜色和亮度信息。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成在目标像素位置的邻域中获取用于所述像素的像素数据，以及共有这些数据以执行分别的颜色内插和明亮度峰值检测功能。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成检测所述图像中的至少一个明亮度峰值。

如上所述的自动车辆设备控制系统，其中，至少两个不同的光谱滤光器颜色像素与同一比较电路的至少一部分通信，所述比较电路配置用于比较两个不同的像素阵列配置中的操作。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成基于作为光源的成像反射的所述明亮度峰值筛选出所述明亮度峰值的至少一部分。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成指示基于作为亮度的局部峰值或高点的所述亮点而被进一步处理的所述明亮度峰值的至少一部分。

如上所述的自动车辆设备控制系统，其中，所述明亮度峰值是给定的所述颜色像素的像素值大于或等于沿指定方向邻近相同颜色像素的像素值的位置。

如上所述的自动车辆设备控制系统，其中，所述邻近的相同颜色像素包括沿竖直、水平和对角线方向中的至少一个的大致八个邻接的相同颜色像素。

如上所述的自动车辆设备控制系统，其中，用于屏幕亮度峰值的明亮度峰值阈值是可变的。

如上所述的自动车辆设备控制系统，其中，基于邻近被筛选的亮点的亮点的增大的密度提高所述可变明亮度峰值阈值。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成对多个明亮度峰值进行分组。

如上所述的自动车辆设备控制系统，其中，基于所述明亮度峰值是超过所述明亮度峰值阈值的所述像素阵列中像素的连通组的成员的判定，对所述明亮度峰值进行分组。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成通过空间变换映射所述像素的至少一部分以整形图像。

如上所述的自动车辆设备控制系统，其中，所述图像的所述整形用于提供从上到下的视图、校正透镜畸变和缝合从多个成像器获得的多重图像中的至少一个。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成根据可变阈值检测和筛选红色明亮度峰值，所述可变阈值根据所述红色明亮度峰值在所述图像中的位置和所述红色明亮度峰值在所述图像的区域中的出现频率进行调整。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成在所述图像中检测和优先考虑明亮度峰值，使得具有更高优先化的所述明亮度峰值的至少一部分在具有低优先化的所述明亮度峰值的至少一部分之前被处理。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成对于被检测的每个明亮度峰值确定其他所述颜色像素中的每一个的最明亮相邻像素的方向。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成产生具有基于以下参数的总和报告的峰值读数的像素的非等量加权，所述参数为包括用于图像阵列中的峰值的一行位置的加权因子中的至少一个的单独的加权因子、所述图像阵列中的所述峰值的列位置、所述峰值的明亮度的近似对数以及所述峰值相对于相邻红色和蓝色像素的峰值的大小。

如上所述的自动车辆设备控制系统，其中，所述成像器的所述帧频是可选择的。

如上所述的自动车辆设备控制系统，其中，所述成像器构造成具有大约20至25帧每秒的所述帧频。

如上所述的自动车辆设备控制系统，其中，所述帧频使得以大约60Hz和50Hz操作的交流（AC）光源是可检测的。

如上所述的自动车辆设备控制系统，其中，所述成像器构造成具有相对于交流（AC）光源的非谐频帧频。

如上所述的自动车辆设备控制系统，其中，所述非谐频帧频是拍频波形图，在所述拍频波形图中，用于次级样本闪变频率的信号以大致等于所述帧频的一半的速率振荡，所述信号的相位在每个拍频半周期相位反转周期期间反转。

如上所述的自动车辆设备控制系统，其中，所述成像器构造成具有相对于交流（AC）光源的拍频帧频，使得用于所述拍频的图像获取的重复速率是大致两个图像获取周期的循环周期的大致一半，使得在所述拍频半循环周期期间，交替获取图案的相位相对于闪变循环移位大约180度。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成定位所述图像中的明亮度峰值、将峰值分组至所述光源、通过多个帧追踪所述光源的经历、基于与每个所述图像中的所述光源相关的明亮像素的强度的总和计算亮度、分类所述光源以及基于所述分类的光源产生控制信号。

如上所述的自动车辆设备控制系统，还包括具有来自所述至少一个成像器的不同的视域的至少一个光传感器，其中，所述成像器具有作为至少部分地是由所述光传感器检测的光的函数的整合周期。

如上所述的自动车辆设备控制系统，其中，所述至少一个成像器包括第一成像器和第二成像器，所述第一成像器具有受控车辆的大致前方的视域，所述第二成像器具有所述受控车辆的大致后方的视域。

如上所述的自动车辆设备控制系统，其中，所述至少一个成像器构造成用于至少一个系统中，所述至少一个系统车道偏离报警、适应性巡航控制、防撞、交通标志识别、自动前灯控制、行人检测、乘坐者识别、睡意检测、智能空气囊配置、车辆盗窃识别、通过导线驱动和盲点检测。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成检测所述图像中的多个车道标线，并且确定车道标线曲率的变化率以检测另外的车道标线。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成检测车道标线，使得所述颜色光谱滤光器阵列包括至少一个蓝色滤光器、至少一个绿色滤光器和至少一个红色滤光器，其中，相对于绿色像素值和红色像素值的低蓝色像素值表示黄色车道标线的检测。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成执行基于所述图像数据的分析的颜色内插以检测边缘图案，其中，内插值是所述检测的边缘图案的函数。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成基于边缘图形检测利用来自延伸超出所述内插位置的三乘三邻域的内插位置的邻域的像素值，执行内插方程式以计算遗漏的颜色成分，所述内插方程式还基于具有遗漏的颜色成分计算所用于的像素的所述三乘三邻域的像素的值。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成计算用于所述像素阵列中的所述像素的至少一部分的颜色成分值。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成计算与用于所述像素阵列中的所述像素的至少一部分的亮度相关的灰度值。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成通过增加其相对于非黄色像素的值改变用于所选择的颜色的至少一部分像素的灰度值，以便便于其作为车道标线的检测。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成在分析以检测车道标线的所述图像中加倍黄色像素的至少一部分的灰度值。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成基于光照状态调整颜色检测准则。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成判定当用于所述像素的各种颜色成分值相对于用于相同所述像素的其他选择的颜色成分值的颜色比例在预定范围之内时，所选择的像素是黄色。

如上所述的自动车辆设备控制系统，其中，所述光照状态包括直接阳光、阴影区域和前灯中的一个。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成基于天空的所述图像检测云型，天空的所述图像作为颜色、像素、亮度和像素亮度中的空间变化的函数。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成利用来自车道标线的图像的像素的颜色调整颜色检测阈值，以增加这些颜色的内含物。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成替换分母项，所述分母项需要通过计算调整至作为计算的一部分的指数的重复分离，以向初始方程式提供近似值以便消除所述重复分离。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成利用减少像素值的数量的比例因子，所述像素值的数量在调谐映射之后饱和。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成格式化像素数据，以提供基本不依赖于亮度的亮度分量和两个细密的颜色成分。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成基于包括检测的环境光照的量的外部信息比特自动地选择颜色转换算法。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成基于是否正在显示自动车辆外部灯光控制、车道检测、车道追踪、车道保持和盲点报警的图像数据中的至少一个来自动地选择颜色转换算法。

如上所述的自动车辆设备控制系统，其中，所述处理器还构造成基于对颜色检测的质量的评估和应用颜色增强的益处中的至少一个，改变作为检测颜色的效果应用的图像增强的水平。

根据一个实施例，一种自动车辆设备控制系统，包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且所述至少一个成像器包括像素阵列；颜色光谱滤光器阵列，其与所述至少一个成像器光学通信，所述颜色光谱滤光器阵列包括多个颜色光谱滤光器，所述多个颜色光谱滤光器中的至少一部分是不同的颜色，所述像素阵列的像素与基本的一个所述光谱颜色光谱滤光器光学通信；透镜，所述透镜与所述至少一个成像器和所述颜色光谱滤光器阵列光学通信；以及处理器，其与所述至少一个成像器通信，并且构造成处理高动态范围图像的所述连续序列，其中，所述处理器还构造成利用来自所述像素阵列的用于像素的颜色信息，以增强所述高动态范围图像中的黄色颜色特征，从而检测黄色车道标线。

根据一个实施例，一种自动车辆设备控制系统，包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且所述至少一个成像器包括像素阵列；颜色光谱滤光器阵列，其与所述至少一个成像器光学通信，所述颜色光谱滤光器阵列包括多个颜色光谱滤光器，所述多个颜色光谱滤光器中的至少一部分是不同的颜色，所述像素阵列的像素与基本的一个所述光谱颜色光谱滤光器光学通信；透镜，其与所述至少一个成像器和所述颜色光谱滤光器阵列光学通信；以及与所述至少一个成像器通信的处理器，其中，所述处理器还构造成在高动态范围图像的所述连续序列的至少一个图像中将多个明亮像素聚集成单个光源目标。

根据一个实施例，一种自动车辆设备控制系统，包括：至少一个成像器，其构造成获取高动态范围单帧图像的连续序列，并且所述至少一个成像器包括像素阵列；颜色光谱滤光器阵列，其与所述至少一个成像器光学通信，所述颜色光谱滤光器阵列包括多个颜色光谱滤光器，所述多个颜色光谱滤光器中的至少一部分是不同的颜色，每个所述像素阵列的像素与基本的一个所述光谱颜色光谱滤光器光学通信；透镜，其与所述至少一个成像器和所述颜色光谱滤光器阵列光学通信；以及处理器，其与所述至少一个成像器通信，所述处理器构造成在所述高动态范围图像的连续序列中检测交流（AC）光源，其中，所述至少一个成像器构造成具有比所述AC光源的闪变循环周期的取样图像重复周期长的取样图像重复周期。

根据一个实施例，一种产生车道偏离报警的方法，包括以下步骤：形成用于进入的像素数据的全局坐标系网格；为标记点记分；处理所述计分的标记点；基于所述处理的和划出的标记点确定一种类型的车道线；计算车辆与所述车道线的偏离；以及确定是否应该发出报警。

如上所述的方法，其中所述产生用于输入的像素数据的全局坐标系的步骤还包括利用亮度信息。

如上所述的方法，其中，所述产生用于输入的像素数据的全局坐标系的步骤还包括在样本网格点在图像平面中转换成分数坐标时的双线性内插。

如上所述的方法，其中，所述为标记点记分的步骤包括计算用于一系列网格取样点的交互相关误差。

如上所述的方法，其中，所述处理所述划出的标记点的步骤包括将每个车道线分类为未知类型、单一类型、单一虚线类型、单一未知类型、双重类型、双虚线左侧类型、双虚线右侧类型和双未知类型中的一种。

如上所述的方法，其中，所述处理所述划出的标记点的步骤包括基于沿着车道标线的边缘建立的很多点和点沿着所述车道标线的所述边缘的位移分类每个线。

如上所述的方法，其中，所述确定一种类型车道线的步骤还包括确定所述车道线是否是双线、实线和虚线中的一种。

如上所述的方法，还包括以下步骤，当受控车辆从右向左基本完全地穿过所述线时记录从左侧到右侧内的所述线检测的经历，以及当所述受控车辆从左至右基本完全地穿过所述线时记录从所述右侧到所述左侧内的所述线检测的经历。

如上所述的方法，其中，所述确定是否应该发出报警的步骤还包括评估受控车辆的速度、扭转信号开关位置、所述受控车辆的偏航速率和输出车道偏离报警应用中的至少一个。

如上所述的方法，还包括产生用于将图像坐标系转换成全局坐标系的查找表格的步骤。

根据一个实施例，一种用于产生用于车辆的控制信号的方法，包括以下步骤：提取一列光目标；将单一峰值光源组合成多峰值光目标；将当前光源连接到包含在前述图像中的光源；计算至少一个光源特性；以及确定车辆的前灯的适当的状态。

如上所述的方法，其中，所述提取一列光目标的步骤还包括所关注可能点（POPI）的获取和POPI花提炼。

如上所述的方法，其中，所述POPI获取包括分析所述预处理的代码化输出，以及产生一列POPI花目标。

如上所述的方法，其中，所述POPI花提炼包括使所述一列POPI花目标通过至至少一个注册的精炼工厂。

如上所述的方法，其中，所述至少一个精炼工厂分配光源目标，并且形成包含仅单个预处理图像定位峰值的单个峰值光列表。

如上所述的方法，其中，所述至少一个注册的精炼工厂确定所述光源的至少一个性质，所述至少一个性质包括红色/白色比例、所述光源内的峰值像素、包围和包括具有所述光源的所述峰值像素的像素的5x5阵列内的斜率、总灰度值、经过帧光源位置、当前帧光源位置、运动、宽度、高度、面积、年代和生长中的至少一个。

如上所述的方法，还包括基于所述光源特性和光源经历中的至少一个计算用于图像帧的至少一个场景特性的步骤。

有利地，系统106可以捕获高动态范围图像，有效地处理高动态范围图像并且产生控制信号，该控制信号可被用于改变受控车辆105的操作。系统106还可被构造成以各种方式处理捕获的高动态范围图像，这可以取决于产生什么控制信号（例如，前灯控制，LDW等等）。本领域技术人员应当理解，该系统106及其方法可以具有另外的或可替代的优势。本领域技术人员还应当理解，如上所述的成分和步骤可以组合在各种替代方案（包括本文中未作明确说明的替代方案）中。

本领域技术人员和做出或利用本发明的人员将会想到本发明的变型。因此，可以理解，附图中所示和如上所述的实施例仅用于例示目的而非旨在限制本发明的范围，本发明的范围由根据专利法的原则解释的以下权利要求限定，包括等同原则。

Claims (15)

1.一种自动车辆设备控制系统，包括：

至少一个成像器，所述至少一个成像器构造成获取高动态范围单帧图像的连续序列，并且所述至少一个成像器包括像素阵列；

处理器，所述处理器与所述至少一个成像器通信，并且构造成处理所述高动态范围单帧图像的所述连续序列；

颜色光谱滤光器阵列，所述颜色光谱滤光器阵列与所述至少一个成像器光学通信，所述颜色光谱滤光器阵列包括多个滤色器，所述多个滤色器中的至少一部分是不同的颜色，所述像素阵列的像素与基本上一个所述光谱滤色器光学通信；以及

透镜，所述透镜与所述至少一个成像器和所述颜色光谱滤光器阵列光学通信；

其中，所述成像器构造成在所述高动态范围单帧图像的连续序列的一个图像帧中捕获附近迎面前灯以及散射车道标线和远的后灯中的至少一个的非饱和图像，所述自动车辆设备控制系统构造成检测所述散射车道标线和所述远的后灯中的至少一个，并且从所述一个图像帧中的数据量化来自所述附近迎面前灯的光。

2.根据权利要求1所述的自动车辆设备控制系统，其中，所述成像器具有用于捕获所述高动态范围单帧图像的连续序列的捕获序列，并且所述捕获序列在检测多个不同类型的光源时在延长的时间段内保持不变。

3.根据权利要求1所述的自动车辆设备控制系统，其中，所述透镜构造成使得所述至少一个成像器对于具有足以覆盖所述像素阵列的像素的面积的光源具有降低的敏感性。

4.根据权利要求1所述的自动车辆设备控制系统，其中，所述处理器还构造成增强对所述一个图像帧中的黄色的检测，以便检测所述一个图像帧中的黄色车道标线。

5.根据权利要求1所述的自动车辆设备控制系统，其中，所述处理器还构造成检测所述一个图像帧中的至少一个明亮度峰值，所述处理器进一步构造成基于作为光源的成像反射的所述明亮度峰值筛选出所述明亮度峰值的至少一部分。

6.根据权利要求1所述的自动车辆设备控制系统，其中，所述处理器还构造成在所述一个图像帧中检测多个明亮度峰值和对所述明亮度峰值进行优先化分级，用来通过将所述明亮度峰值与可变阈值比较来处理。

7.根据权利要求1所述的自动车辆设备控制系统，其中，所述成像器的帧频是可选择的。

8.根据权利要求1所述的自动车辆设备控制系统，其中，所述成像器构造成具有每秒20至25帧的帧频。

9.根据权利要求8所述自动车辆设备控制系统，其中，所述成像器的帧频使得以大约60Hz和50Hz操作的交流(AC)光源是可检测的。

10.根据权利要求1所述的自动车辆设备控制系统，其中，所述成像器构造成具有相对于交流(AC)光源的非谐频帧频。

11.根据权利要求10所述自动车辆设备控制系统，其中，所述非谐频帧频是拍频波形图，在所述拍频波形图中，用于次级样本闪变频率的信号以大致等于所述帧频的一半的速率振荡，所述信号的相位在每个拍频半周期相位反转周期期间反转。

12.根据权利要求1所述的自动车辆设备控制系统，其中，所述成像器构造成具有相对于交流(AC)光源的拍频帧频，使得用于所述拍频的图像获取的重复速率是大致两个图象获取周期的循环周期的大致一半，使得在所述拍频半循环周期期间，交替获取图案的相位相对于闪变循环移位大约180度。

13.根据权利要求1所述的自动车辆设备控制系统，还包括具有来自所述至少一个成像器的不同的视域的至少一个光传感器，其中，所述成像器具有作为至少部分地是由所述光传感器检测的光的函数的整合周期。

14.根据权利要求1所述的自动车辆设备控制系统，其中，所述处理器还构造成检测车道标线，使得所述颜色光谱滤光器阵列包括至少一个蓝色滤光器、至少一个绿色滤光器和至少一个红色滤光器，其中，相对于绿色像素值和红色像素值的低蓝色像素值表示黄色车道标线的检测。

15.根据权利要求1所述自动车辆设备控制系统，其中，所述处理器还构造成基于光照状态调整颜色检测准则，所述光照状态包括直接阳光、阴影区域和前灯中的一个。