CN109496187B - 用于处理视频数据以通过动态曝光控制来检测和消除闪变光源的系统和方法 - Google Patents

Abstract

提供一种用于车辆的图像捕获系统，所述车辆配备有用于显示接近所述车辆的场景的流式传输视频图像的显示器。所述图像捕获系统包含：相机，其用于在所选择曝光时间捕获接近所述车辆的所述场景的视频图像且对所述视频图像进行流式传输；以及图像处理单元，其用于接收所述流式传输视频图像，处理所述流式传输视频图像且将所述流式传输视频图像供应到所述显示器。所述图像处理单元被配置成检测所述流式传输视频图像中的经调幅光源，且调整所述相机的曝光时间以匹配于所述经调幅光源的调制频率的倍数，从而减小被供应给所述显示器的所述流式传输视频图像中的所述经调幅光源的闪变强度。

Description

用于处理视频数据以通过动态曝光控制来检测和消除闪变光 源的系统和方法

技术领域

本发明大体上涉及处理流式传输到显示器的视频图像，且更具体来说，涉及处理车辆外部的场景的流式传输视频图像。在一些实施例中，本发明甚至更具体地涉及处理从车辆中的充当后视镜的替代物的面向后相机获得的流式传输到显示器的视频图像。

背景技术

现有技术中存在已知的用于处理车辆外部的场景的流式传输视频图像的系统和方法。然而，开发改进的用于处理车辆外部的场景的流式传输视频图像的系统和方法一直是本领域的目标。

发明内容

根据本公开的一个方面，公开一种用于车辆的图像捕获系统。所述图像捕获系统包括相机，其包括视场，且用于捕获接近所述车辆的场景的视频图像并对所述视频图像进行流式传输。所述图像捕获系统还包括图像处理单元，其用于接收流式传输视频图像，处理流式传输视频图像，且将流式传输视频图像供应到显示器。所述图像处理单元被配置成基于视场中的环境光条件选择第一曝光时间，且基于流式传输视频图像中的经调幅光源将所述第一曝光时间调整为至少第二曝光时间。所述图像处理单元进一步被配置成以经调幅光源的经减少闪变强度显示被供应给显示器的流式传输视频图像中的经调幅光源。

根据本公开的另一方面，提供一种用于车辆的图像系统。所述图像系统包括：相机，其用于在所选择曝光时间捕获接近所述车辆的场景的视频图像且对所述视频图像进行流式传输；图像处理单元，其用于接收流式传输视频图像且处理流式传输视频图像；以及显示器，其用于显示所述流式传输视频图像。其中为了执行所述流式传输视频图像的处理，所述图像处理单元被配置成：检测流式传输视频图像中的经调幅光源，且调整所述相机的曝光时间以匹配于经调幅光源的调制频率的倍数，从而减小被供应给显示器的流式传输视频图像中的经调幅光源的闪变强度。

根据本公开的另一个方面，提供一种捕获从车辆内的相机流式传输的视频图像的方法。所述方法包括：检测流式传输视频图像中的经调幅光源；以及调整相机的曝光时间以匹配于经调幅光源的调制频率的倍数，以使得当显示时经调幅光源在流式传输视频图像中并不表现为闪变。

总之，本发明在此公开了下述第1项、第10项和第15项的实施方案，其余各项为优选实施方案：

1.一种用于车辆的图像捕获系统，所述车辆配备有用于显示接近所述车辆的场景的流式传输视频图像的显示器，所述图像捕获系统包括：

相机，其包括视场，且用于捕获接近所述车辆的所述场景的视频图像并对所述视频图像进行流式传输；以及

图像处理单元，其用于接收所述流式传输视频图像，处理所述流式传输视频图像且将所述流式传输视频图像供应到所述显示器，其中所述图像处理单元被配置成：

基于所述视场中的环境光条件选择第一曝光时间；

基于所述流式传输视频图像中的经调幅光源将所述第一曝光时间调整为至少第二曝光时间；以及

以所述经调幅光源的经减少闪变强度显示被供应给所述显示器的所述流式传输视频图像中的所述经调幅光源。

2.根据上述1所述的图像捕获系统，其中所述处理单元被进一步配置成：

检测所述经调幅光源的调制频率。

3.根据上述2所述的图像捕获系统，其中所述处理单元被进一步配置成：

将所述第一曝光时间调整为所述第二曝光时间，其中所述第二曝光时间近似为所述经调幅光源的调制频率的倍数。

4.根据上述1-3中任一项所述的图像捕获系统，其中所述处理单元被进一步配置成：

选择第一多个曝光时间，其中所述第二曝光时间是所述第一多个曝光时间中的一个。

5.根据上述4所述的图像捕获系统，其中所述处理单元被进一步配置成：

基于所述第一曝光时间选择所述第一多个曝光时间，其中所述第一多个曝光时间包括比所述第一曝光时间长的所述第二曝光时间以及比所述第一曝光时间短的第三曝光时间。

6.根据上述4所述的图像捕获系统，其中所述处理单元被进一步配置成：

捕获基于所述第一曝光时间选择的包括第四曝光时间和第五曝光时间的所述第一多个曝光时间。

7.根据上述4所述的图像捕获系统，其中所述处理单元被进一步配置成：

针对所述第一多个曝光时间中的每一个计算所述经调幅光源的所述闪变强度的变化。

8.根据上述7所述的图像捕获系统，其中所述处理单元被进一步配置成：

基于所述第一多个曝光时间中的每一个的所述闪变强度的所述变化，确定所述第一多个曝光时间中的每一个的所述闪变强度是增加、减小还是处于近似局部最小值。

9.根据上述8所述的图像捕获系统，其中所述处理单元被进一步配置成：

响应于所述第一多个曝光时间未能包括处于所述近似局部最小值的曝光时间，基于所述第一多个曝光时间中的最大改进曝光时间选择第二多个曝光时间，其中所述最大改进曝光时间包括所述闪变强度的最大减小。

10.一种用于车辆的图像系统，所述图像系统包括：

相机，其用于在所选择曝光时间捕获接近所述车辆的场景的视频图像且对所述视频图像进行流式传输；

图像处理单元，其用于接收所述流式传输视频图像且处理所述流式传输视频图像；以及

显示器，其用于显示所述流式传输视频图像；

其中所述图像处理单元被配置成：

检测所述流式传输视频图像中的经调幅光源；以及

调整所述相机的所述曝光时间以匹配于所述经调幅光源的调制频率的倍数，从而减小被供应给所述显示器的所述流式传输视频图像中的所述经调幅光源的闪变强度。

11.根据上述10所述的图像系统，其中所述图像处理单元被进一步配置成通过以下操作调整所述相机的所述曝光时间以匹配于所述调制频率的所述倍数：

确定所述经调幅光源的拍频；以及

基于所述拍频调整所述相机的所述曝光时间。

12.根据上述10-11中任一项所述的图像系统，其中所述图像处理单元被进一步配置成：

通过选择第一曝光时间且基于所述第一曝光时间选择第一多个曝光时间来调整所述相机的所述曝光时间以匹配于所述调制频率的所述倍数。

13.根据上述12所述的图像系统，其中所述图像处理单元被进一步配置成：

确定多个所述视频图像的所述第一多个曝光时间中的每一个的闪变强度；

确定所述第一多个曝光时间中的每一个的所述闪变强度的取样函数的量值；

比较所述第一多个曝光时间中的每一个的所述量值以确定所述多个曝光时间中的一个是否为近似局部最小值；

响应于识别出近似局部最小值，将所述曝光时间设定为所述第一多个曝光时间中的所述一个；以及

响应于未能识别出所述近似最小值，选择第二多个曝光时间。

14.根据上述12所述的图像系统，其中所述图像处理单元被进一步配置成：

(a)通过选择第一曝光时间来调整所述相机的所述曝光时间以

匹配于所述调制频率的所述倍数；

(b)基于所述第一曝光时间选择多个曝光时间；

(c)针对包括所述第一曝光时间和多个额外曝光时间的所述多个曝光时间中的每一个确定在若干帧上的所述经调幅光源的感知

亮度；

(d)根据所述经调幅光源的所述感知亮度计算所述多个曝光时

间中的每一个的取样函数；

(e)确定所述多个曝光时间中的每一个的所述取样函数的量值

是否处于近似局部最小值；

(f)响应于识别出所述多个曝光时间中的所选择曝光时间提供所述近似局部最小值，将所述相机的曝光时间指派于所述所选择曝

光时间；以及

(g)响应于未能识别出所述多个曝光时间中的一个为所述近似局部最小值，以不同曝光时间重复步骤(a)-(g)直到识别出近似局部最小值为止。

15.一种捕获从车辆内的相机流式传输的视频图像的方法，所述方法包括：

检测所述流式传输视频图像中的经调幅光源；以及

调整所述相机的曝光时间以匹配于所述经调幅光源的调制频率的倍数，从而减小当显示时所述流式传输视频图像中的所述经调幅光源的闪变强度。

16.根据上述15所述的方法，其进一步包括：

迭代地选择多个曝光时间；以及

计算多个所述视频图像的所述多个曝光时间中的每一个的闪变强度的取样函数。

17.根据上述16所述的方法，其进一步包括：

比较所述多个曝光时间中的每一个的所述取样函数的量值以识别所述取样函数的近似最小值；以及

重复所述多个曝光时间的所述选择直到所述多个曝光时间中的一个产生所述近似最小值为止。

18.根据上述17所述的方法，其中所述多个曝光时间的每一迭代选择是基于根据所述多个曝光时间的先前迭代识别的最低标准偏差曝光时间。

19.根据上述15所述的方法，其中为了调整所述相机的所述曝光时间以匹配于所述经调幅光源的调制频率的倍数，所述方法进一步包括：

确定所述经调幅光源的拍频；以及

基于所述拍频调整所述相机的所述曝光时间。

20.根据上述15所述的方法，其中为了调整所述相机的所述曝光时间以匹配于经调幅光源的调制频率的倍数，所述方法进一步包括：

(a)选择第一曝光时间；

(b)基于所述第一曝光时间选择多个曝光时间；

(c)针对多个曝光时间中的每一个确定在若干帧上的所述经调

幅光源的感知亮度；

(d)根据所述经调幅光源的所述感知亮度计算所述多个曝光时

间中的每一个的取样函数；

(e)确定所述多个曝光时间中的每一个的所述取样函数的量值

是增加、减小还是处于近似局部最小值；

(f)响应于识别出所述多个曝光时间中的所选择曝光时间提供所述近似局部最小值，将所述相机的曝光时间指派于所述所选择曝

光时间；以及

(g)响应于未能识别出所述多个曝光时间中的一个为所述近似局部最小值，以不同曝光时间重复步骤(a)-(g)直到识别出近似局部最小值为止。

通过参考所附说明书和附图以及上述第1至20项，所属领域的技术人员将进一步理解和了解本发明的这些和其它特征、优点和目标。

附图说明

在附图中：

图1是根据本发明的实施例的成像系统的框图；

图2是示出图1中所示的图像处理单元执行的方法步骤的流程图；

图3是示出当未校正时由经调幅光源造成的闪变效应的一系列时序图；

图4是示出使用本文公开的系统和方法进行校正的由经调幅光源造成的闪变效应的一系列时序图；

图5是示出用于调整相机的曝光时间的方法的流程图，所述曝光时间被配置成匹配于经调幅光源的调制频率的倍数；

图6是示出本文公开的系统的经调幅光源的闪变强度对曝光时间的绘图；

图7是示出使用图5的迭代方法进行校正的经调幅光的强度随时间的绘图；

图8是展示用于调整相机的曝光时间以匹配于经调幅光源的调制频率的倍数的方法的流程图；

图9是包括根据本公开的图像系统的车辆的剖视平面图；

图10A是其中可实施成像系统的各种组件的后视组合件的正面和侧面透视图；以及

图10B是图10A中示出的后视组合件的前正视图。

具体实施方式

出于本文中描述的目的，术语“上”、“下”、“右”、“左”、“后”、“前”、“竖直”、“水平”和其派生词应与如图10A中定向的装置有关。然而，应当理解，除明确指定相反之外，本文中论述的装置可以采取各种替代定向和步骤序列。还应理解，附图中说明且在下文说明书中所描述的具体装置和过程仅仅是所附权利要求书中限定的发明性概念的示例性实施例。因此，除非权利要求书另外明确陈述，否则与本文中公开的实施例有关的具体尺寸和其它物理特性不应被视为限制性的。

现将详细参考本公开的当前优选实施例，其实例在附图中说明。在可能的情况下，将在整个图式中使用相同参考编号来指代相同或相似部分。在图中，为了强调和便于理解，所描绘的结构元件未按比例绘制，并且某些部件相对于其它部件被放大。

当正在被成像的物体含有经调幅(amplitude-modulated，AM)光源时，与再现由成像器捕获的流式传输视频数据相关联的问题会发生。AM光源的实例是以某一周期性速率脉冲式接通/断开的光源，如构造有发光二极管(light emitting diodes，LED)的车灯组合件，其中LED经脉宽调制(pulse-width-modulated，PWM)。在此类灯组合件中的PWM周期和占空比可能导致LED以某一周期性速率接通和断开。由于周期性激活(例如，接通/断开周期)，拍摄这种灯组合件的流式传输图像或视频的相机可捕获连续图像，其中LED可以在一个或多个连续图像中‘接通’并且然后在一个或多个后续图像中‘断开’。

对于上文所列的多数示例性AM光源，直接观察AM光源的人类不会察觉‘接通/断开’模式中的任何闪变，这是由于接通/断开模式的频率高于人类视觉系统能察觉的频率(PWM LED前灯/尾灯组合件是主要实例)。然而，当用电子相机系统记录AM光源时，当捕获AM光源时使用的曝光时间、帧速率和快门方案(例如，滚动或全局)可能导致当AM光源非作用中时成像器阵列的一个或多个像素积聚光。表示AM光源的图像数据的此非同步捕获可能导致展示表示AM光源的像素的一些图像处于‘接通’状态且展示所述像素的连续图像处于‘断开’状态。在这些条件中，AM光源可以一致地在作用中，但是以在图像数据中产生闪变作用的频率进行调制。因此，当以某一显示帧速率显示图像数据时，显示系统可以为人类观察者呈现可辨别为‘闪变’光的‘接通/断开’模式。

图1示出根据第一实施例的图像系统10。如图所示，图像系统10包含图像捕获系统11，其包含捕获场景的图像且输出场景的流式传输视频图像的相机26。图像系统10进一步包含显示系统12，其包含显示流式传输视频图像的显示器32。图像系统10还包含图像处理单元30，其从相机26接收流式传输视频图像且处理图像(如下文详细地论述)，调整相机26的曝光时间，且将流式传输视频图像供应到显示器32。图像处理单元30可以视为图像捕获系统11、显示系统12或这两者的部分。

本说明书中描述的方法和处理顺序意在缓解AM前灯和尾灯(尤其是指PWM LED组合件，但不限于所述技术的照明)的经再现图像中所见的‘闪变’现象。如下文所描述，可在上面实施这些方法的平台是汽车镜替换系统的部分，其中车镜替换为相机(透镜加数字成像器)26、图像处理单元(串行处理器和/或ASIC/FPGA)30和电子显示器(LCD/LED面板)32。本说明书中所描述的方法可并入于上述系统10中的图像处理单元30中。

如图2所示，图像处理单元30可以是可操作的以执行用于捕获图像数据以使得AM光源的闪变效应可以减轻的方法。所述方法可以包括图像处理单元30：1)以所选择曝光时间捕获视频图像(步骤100)；

2)在一连串所捕获图像中检测AM光源(步骤102)；3)将流式传输视频图像供应到显示器32(步骤104)；4)确定曝光时间是否匹配于AM光源的调制频率的倍数(步骤106)；4)如果曝光时间不匹配于AM光源的调制频率的倍数，那么调整相机26的曝光时间(步骤108)，并且接着重复步骤100-106；以及5)一旦曝光时间匹配于AM光源的调制频率的倍数，所述方法还可以继续重复步骤100-106。下文详述用于这些步骤中的每一个的可能技术。

图3图示了当以不匹配于AM光源的调制频率的倍数的曝光时间进行捕获时AM光源对AM光源的感知强度可具有的闪变效应的实例。在图3中，示出四个绘图，其中时间是沿着水平轴线的共同变量。第一绘图(最上部)示出相机的帧速率和曝光时间，其中脉冲表示曝光周期且垂直线划定经标记图像帧(例如，帧1、帧2等)的开始和停止时间。在此实例中，周期(在本文中也被称为帧速率或取样速率)是1/60.0Hz，具有60Hz的对应频率，曝光时间是2.00毫秒，且相角是0.20。

图3的第二绘图示出AM光源的强度。在此特定实例中，AM光源调制频率是130.00Hz，占空比是50％，且相角是2.42。

图3的第三绘图表明第一绘图中的曝光时间和如第二绘图中所示的经调幅光源的强度的重叠。举例来说，在第一帧中，AM光源的强度在曝光时间期间处于零且因此在第一帧中不存在重叠。第一帧与AM光源的激活之间缺乏重叠将错误地指示无光源存在。因此，如第四绘图中所示，AM光源的感知强度在第一帧中是零。在第二帧中，AM光源的第一脉冲的一些但非全部在曝光时间期间存在(如图所示，AM光源在曝光时间的一半期间处于高强度)，且因此存在完整值的一半的感知亮度。

在第三帧中，AM光源在整个曝光周期处于高水平，且因此感知强度处于完全强度。第四帧产生与第三帧相同的结果。第五帧产生与第二帧相同的结果，且第六帧产生与第一帧相同的结果。在图示的六个帧上，平均强度是完全强度的50％，且感知强度范围是从0.00到1.00。强度标准偏差是0.45。从图3中示出实例，AM光源的感知强度的所得变化导致连续图像帧上的光强度的明显改变，从而导致显示器32上所显示的闪变效应。

图4图示了当以匹配于AM光源的调制频率的倍数的曝光时间进行捕获时当前方法在减少AM光源的感知闪变方面的益处的实例。在图4中，示出四个绘图，其中时间是沿着水平轴线的共同变量。第一绘图(最上部)示出相机的帧速率和曝光时间，其中脉冲表示曝光周期且垂直线划定经标记图像帧(例如，帧1、帧2等)的开始和停止时间。在此实例中，频率是60.0Hz，曝光时间是7.69毫秒，且相角是0.20。

图4的第二绘图示出AM光源的强度。在此特定实例中，AM光源调制频率是130.00Hz，占空比是50％，且相角是2.42(相同于图3中的实例)。

第三绘图示出第一绘图中的曝光时间和如第二绘图中所示的AM光源的强度的重叠。不同于图3的实例，曝光时间延长而导致每一帧中的相同量的重叠且因此对于每一帧为0.50的相同感知强度。在图示的六个帧上，平均强度是完全强度的50％，且感知强度范围是从0.50到0.50。强度标准偏差是0.00。在图4中所示的实例中，AM光源的感知强度不闪变，且具有0.50的正确感知强度。

返回参看图2，存在用于检测AM光源的多个方法(步骤102)。所述方法可以涉及检测所捕获图像序列中的时变光。在后视镜替换系统(基于电子相机26、图像处理单元30和显示系统32)的问题区域中，通常遇到的AM光源可以是PWM LED灯。此类光可以来源于车辆前灯和尾灯系统，在与配备后视镜替换系统的车辆相同的道路上会遇到。因此，所关注的PWMLED灯的图像数据中的搜索空间会受到道路检测影响。

识别搜索空间的道路检测可以通过许多方法来识别。举例来说，可以经由自动瞄准或车道检测系统识别AM光源的搜索空间。在此类系统中，图像处理单元30可以将相机26的视场内的光搜索空间选择为在由车道检测系统识别的检测到的道路边界上方的竖直区。类似地，图像处理单元30可以选择或指派图像数据中的搜索空间围绕可能与自动瞄准系统相关联的扩展焦点。通过识别AM光源的搜索空间，图像处理单元30可以进一步区别车辆光源与静止的非车辆光源。在搜索空间中，可以应用多种方法来检测AM光源(例如，PWM LED灯)，其中一些在共同拥有的以下美国专利中公开：6,587,573、6,593,698、6,611,610、6,631,316、6,653,614、6,728,393、6,774,988、6,861,809、6,906,467、6,947,577、7,321,112、7,417,221、7,565,006、7,567,291、7,653,215、7,683,326、7,881,839、8,045,760、8,120,652和8,543,254，以上专利的完整公开内容以引用的方式并入本文中。

另外，图像处理单元30可以应用例如帧减法等检测方法来检测时变光源。帧减法可以包括将连续图像彼此相减以产生时间差图。所得的图可以由图像处理单元30处理为例程(实施于软件中或ASIC/FPGA网状架构中)，其执行定限和/或滤波的某一组合以识别所述图中在两个源图像之间存在像素亮度的显著改变的空间区域。差数据的绝对值指示帧之间像素强度改变的量值，且差数据的正负号指示帧之间像素值的改变是否与光源增亮或变暗相关联。用以产生这些时间差图的帧数据可为来自拜耳图案化图像的原始数据、从所述图像提取的明度数据，或从图像处理路径提取的某一其它图像形式。在典型道路场景中，一对帧(参考单个像素位置)之间的像素值的最显著增量往往会与从极其明亮变成完全断开的PWM LED(AM)灯有关。运动假象也可造成像素位置处图像值的时间改变，但在车辆所成像的道路的搜索空间中，此运动是相当小的，这是因为与车辆动力学相比，图像捕获速率是快速的，且与不产生其自有照明的物体有关的亮度改变也基本上减少。举例来说，将在第一帧中的像素处的车辆车身成像到下一帧中的车辆减震器的一部分不会产生与PWM LED在其接通/断开定序中展现的明度改变一样显著的明度改变。

从成像器实施方案可以利用检测AM光的存在的其它方法。举例来说，一些成像器可以在像素级将信息供应到图像处理单元30。此类信息可以包含在像素阵列每一像素的曝光时间期间场景亮度是否改变状态。此信息可以与被配置成在曝光时间期间改进图像数据的动态范围的成像器相关联。此成像器的实例是被配置成用于高动态范围(HDR)操作的互补型金属氧化物半导体(CMOS)成像器。因此，图像处理单元30可以利用每一像素的曝光信息以识别像素阵列中的每一像素中是否发生亮度改变。

相对于步骤106和108，可以使用各种方法调整相机26的曝光时间以匹配于AM光源的调制频率的倍数，以使得一个或多个AM光源在被供应给显示器32的流式传输视频图像中并不表现为闪变。一个此类方法在图5中图示且在下文描述。

在接近于车辆的场景中可能出现的AM光源的调制频率可能相当大地变化且一般不会事先知道。虽然有可能扫过所有可能的曝光时间直到感知闪变不再存在，但可能有利的是以允许尽可能快速地选择适当曝光时间的方式来选择曝光时间。以此方式，图像系统10可以在选择适当曝光时间所花费的时间期间使显示器32的观看者感知的闪变最小化。

图5中说明第一迭代方法。在此方法中，图像处理单元30可以设定五个曝光时间的初始集合。图像处理单元可以通过选择第一曝光时间而开始(步骤120)。基于第一曝光时间，图像处理单元30可以进一步选择四个额外曝光时间(步骤122)。图像处理单元30可以随后针对五个曝光时间中的每一个在若干帧上识别AM光源的感知亮度(步骤124)。从感知亮度的变化，图像处理单元30可以针对五个曝光时间中的每一个识别闪变的强度(步骤126)。

接下来，感知亮度的变化可以由图像处理单元30计算为标准偏差的平方。当标准偏差的平方最小化时不存在可感知的闪变。然而，标准偏差或可感知闪变的变化的任何减小都可以归于闪变强度的减少。在一些实施例中，可以应用迭代方法以在曝光时间的连续选择(例如，第一多个曝光时间、第二多个曝光时间等)上减少闪变强度以便最小化标准偏差和对应闪变强度。标准偏差的平方的此最小化条件可以对应于本文所描述的测量的局部最小值。因此，在步骤128中，确定标准偏差是否最小化。

虽然参看参考图5论述的示例性实施例描述五个曝光时间，但所选择曝光时间的数目可以变化。举例来说，曝光时间的数目可以对应于二、三、四、五、六、七或各种其它数目的曝光时间。因此，除非另有明确陈述，否则本文中论述的示例性实施例不应被视为对所要求的发明具限制性。

图像处理单元30可以在步骤120中基于使用相机26的自动曝光控制所选择的曝光时间而设定(五个曝光时间的初始集合的)第一曝光时间。举例来说，图像处理单元30可以基于由相机26的成像器的像素检测到的光级或平均光级而确定自动曝光。自动曝光时间可以由图像处理单元30选择以最小化成像器的像素中的一个或多个的过度曝光，以使得对于大多数像素可以收集有意义的图像数据。即，图像处理单元30可以在步骤120中基于自动曝光设定选择第一曝光时间。在一些实施例中，自动曝光设定可以由图像处理单元30选择以确保像素不会过度曝光(例如，曝光太长的时间周期以使得大量像素饱和)或欠曝光(例如，曝光短时间周期以使得像素没有对准或检测到的光)。以此方式，图像处理单元30可以基于相机26的成像器的视场中所捕获的场景的环境照明而控制相机26以捕获第一曝光时间。

在步骤122中，图像处理单元30可以控制成像器以比第一曝光时间长的曝光时间捕获接下来两个曝光时间(例如，第二曝光和第三曝光)。另外，图像处理单元30可以控制成像器以比初始曝光时间短的曝光时间捕获最后两个曝光时间(例如，第四曝光和第五曝光)。曝光时间的间距可以是固定的或平均场景强度的百分比。五个曝光时间的分离可以足够远以考虑任何噪声，但不会太大而超过局部最小值(下文描述)。

如上所述，强度变化是用以描述如本文所论述的感知闪烁或闪变的强度的度量。然而，强度变化可能由噪声或除AM光源的闪变外的某物或场景中的其它某物造成。因此，图像处理单元30可以存储识别若干先前所捕获的帧中的峰的数目的帧历史。图像处理单元30可以用高通滤波器处理帧历史且产生高通输出数据。图像处理单元30可以随后处理高通输出数据，确定帧历史中的峰的数目。基于峰的数目，图像处理单元30可以确定帧历史中是否存在高与低值之间的快速周期性振荡或随机变化。如果快速周期性振荡存在，那么图像处理单元30可以确定图像数据中存在闪变光源或AM光源。

概念上，在一些实施例中，图像处理单元30可用于基于曝光时间扫掠操作确定曝光时间。参看图6，示出此操作的实例。在此类实施例中，图像处理单元30可以通过指派最小曝光时间而开始且扫掠到最大曝光时间。图像处理单元30可以随后标绘由相机26检测到的感知亮度的取样函数。在示例性实施例中，取样函数可以对应于平方的正弦基数函数。此取样函数可以通常被称为用于图像数据中指示的感知亮度的sinc平方函数(例如，[sinx/x]²)。图6表明sinc平方函数[sinx/x]²作为图像数据的感知亮度的闪变强度对曝光时间的绘图。示例性绘图具有若干局部最大值和局部最小值。每一局部最小值对应于作为AM光源的调制频率的倍数的曝光时间。

当在步骤120和122中选择五个曝光时间的初始集合时，图像处理单元30可能初始未被告知取样函数(例如，sinc平方函数[sinx/x]²)中的对应闪变强度。举例来说，所选择五个曝光时间可以一般位于取样函数的临界点或临界点的左边或右边。即，所选择五个曝光时间中的一个可以位于局部最小值、局部最大值、或这些临界点的左侧或右侧。为了确定所选择五个曝光时间沿着取样函数处于何处，图像处理单元30可以将所选择五个曝光时间中的每一个的值关于彼此进行比较。如果所选择五个曝光时间中的三个邻近时间展示谷线，那么可以识别近似局部最小值。举例来说，所选择五个曝光时间中的三个邻近时间包含沿着取样函数相对于彼此位于左边、中间和右边的曝光时间。因此，如果中间曝光时间具有比左边和右边量值低的量值，那么图像处理单元30可以识别中间曝光时间近似对应于取样函数的局部最小值。

如本文中所描述，近似局部最小值可指代靠近但可能不确切落在临界点或局部最小值上的点。近似局部最小值的近似性质可以考虑与所述多个所选择曝光时间(例如，所选择五个曝光时间)当中的曝光时间的步长或差异直接相关的局部最小值的确切值之间的误差。在操作中，当应用本文中论述的迭代方法时，图像处理单元30可以基于取样函数的预期频率和临界点之间的对应距离而选择所选择曝光时间之间的差或差量。举例来说，图像处理单元30可以被配置成以范围从近似60Hz到600Hz的频率搜索AM光源。对于此频率范围，可以计算所述多个所选择曝光时间之间的差以限制由于所述差超出取样函数的波长的一部分(例如，一半波长)而使取样函数的临界点或拐点被跳过或错过的可能性。

因此，在识别具有比邻近的左边和右边量值低的量值的中间曝光时间后，图像处理单元30可以即刻识别中间曝光时间对应于取样函数的近似局部最小值。以此方式，图像处理单元30可以识别近似局部最小值而不需要额外处理时间来确切识别取样函数的数学临界点。为了进一步确保不会由于步长超出取样函数的部分波长而错误地识别近似局部最小值，图像处理单元30可以进一步计算闪变强度的标准偏差以确保闪变强度最小化或低于预定阈值(例如，近似零)。以此方式，图像处理单元30可以高确定性水平识别取样函数的近似局部最小值，且将相机曝光设定为近似局部最小值以确保当在显示器32上显示流式传输图像时明显闪变被最小化。因此，近似局部最小值可以实现闪变强度的显著减少以确保从显示器32有效地消除AM光源的闪变。

因此，当在步骤124中针对五个曝光时间在若干帧上进行测量时，可以从图像处理单元30的测量确定闪变强度。随后，基于闪变强度，图像处理单元30可以确定在取样函数([sinx/x]²)中测量值位于何处且从每一测量值确定闪变强度是增加、减小还是处于局部最小值。

如果图像处理单元30在初始五个曝光时间中未识别出局部最小值，那么图像处理单元30可以基于针对五个曝光时间的先前集合获得的测量值选择额外五个曝光时间。举例来说，如果图像处理单元30识别出闪变强度针对比初始曝光时间长的两个曝光时间减小，那么图像处理单元30可以将接下来五个曝光时间指派为比先前五个曝光时间长。另一方面，如果图像处理单元30识别出五个曝光时间的集合的中间曝光时间中的一个具有最低闪变强度，那么图像处理单元30可以选择具有最低闪变强度的曝光时间附近的五个曝光时间的下一集合，同时减少曝光时间之间的间距以变窄于局部最小值上。以此方式，图像处理单元30可以进一步改进或检验所述多个曝光时间的中间曝光时间准确地识别近似局部最小值。

在操作中，图像处理单元30可以继续曝光时间的此观察和调整过程，直到图像处理单元30基于取样函数([sinx/x]²)识别出近似局部最小值(且标准偏差是近似零)为止。AM光源的调制频率越高，越接近最小值。因此，图像处理单元30可以被配置成在所述多个曝光时间之间具有最大间距或步长以便检测AM光源的最大频率。以此方式，图像处理单元30可以被配置成准确且高效地检测取样函数的局部最小值。

图7示出在调整曝光时间以找到近似局部最小值时闪变光源的强度随时间变化的实例。如图7中指示，图像处理单元30可以通过设定如第一样本中所展示的初始曝光且基于本文所描述的方法递增地改进曝光时间的选择而随时间减小闪变光源的强度。举例来说，将参考图5论述的迭代方法应用于由类似于用于图像系统10的相机的示例性相机所捕获的周期性光源，以产生用以标绘图7的样本数据。因此，本文所提供的方法可用于显著限制由相机26的成像器所捕获的较多AC光源中的一个的强度变化。

图8图示了用于执行步骤106和108的另一方法。在此方法中，图像处理单元30可以分离图像的其中出现闪变AM光源的部分与图像的其余部分(步骤140)。接下来，图像处理单元30可以在预定数目的帧上监视AM光源的强度且确定所述预定数目的帧上的平均强度(步骤142)。接下来，图像处理单元30可以对平均强度记录应用高通滤波器从而正规化强度记录且移除任何长期低频率变化(步骤144)。

图像处理单元30可以随后对过滤器的输出应用变换，例如傅立叶变换或其它合适的数学分析方法(步骤146)。举例来说，傅立叶变换的输出可以提供具有在0Hz与成像器的取样速率或频率的近似一半之间的频率的输出信号。输出信号的值可以识别拍频。拍频表示相机的取样率的倍数与AM光源的调制频率之间的差。举例来说，如果图像处理单元30从傅立叶变换识别在10Hz处的强尖峰，那么图像处理单元30可以识别AM光源从相机26的当前取样率的倍数或谐波频率偏离10Hz。例如如果相机的取样率是60Hz，那么AM光源的调制频率可以如下：对于60Hz的基频的50Hz或70Hz，对于120Hz的第一谐波频率的110Hz或130Hz，对于180Hz的第二谐波频率的170Hz或190Hz等。这些值对应于图6所示的取样函数([sinx/x]²)的临界值。闪变速率越接近相机26的取样速率的倍数，拍频越低，且闪变出现越慢但越严重。

以上步骤142-146因此提供闪变AM光源的可能调制频率的集合。通过选择对应于这些可能的调制频率的倍数的曝光时间，图像处理单元30可以产生曝光时间的列表(步骤148)。图像处理单元30可以基于场景亮度将曝光时间列表分选为优选次序(步骤150)。随后图像处理单元30可以从列表选择曝光(步骤152)且可以在所选择曝光时间测量闪变强度(步骤154)。图像处理单元30可以迭代地重复步骤142和154直到图像处理单元30识别出获得可接受闪变强度为止(步骤156)。可接受闪变强度可以小于预定闪变强度。最终，一旦曝光时间和帧速率由图像处理单元30确定，图像处理单元30就可以控制相机26以利用相关联曝光时间与AM光源存在于图像数据中一样久。

上文关于图5和8所描述的方法可以由图像处理单元30串联地应用。具体地说，如果可确定拍频，那么可能的调制频率可以初始地由图像处理单元30在图5的方法中使用以有效地缩窄搜索空间。

在成像场景的总体亮度低于阈值的情况下，图像处理单元30可以最大化相机26的曝光时间，这可以减少图6所示的取样函数([sinx/x]²)显而易见的闪变。如果成像场景的亮度不低于阈值，那么图像处理单元30可以不应用最大曝光时间以免使图像数据过度曝光或饱和。

现参考图9，示出上述实施例的车辆实施方案的示意图。示出操作者22驾驶的车辆20。一个或多个相机26操作以查看接近车辆20的场景24。在所示的实例中，场景24通常在车辆20后方。然而，当然相机26可以多种方式定向以在接近车辆20的其它位置查看场景，包含但不限于侧面、后部、前部、底部、顶部和内部。在所示的实例中，表示场景24的信号经由通道28发送到图像处理单元30。图像处理单元30在一个或多个显示器32上产生场景24的增强图像。来自任选的环境光传感器34和一个或多个直接眩光传感器36的输入也可用于图像处理单元30。此类输入可用于帮助识别相机26的初始曝光设定。

在一些实施例中，车辆20的后视组合件50(图10A和10B)可以被具有相机26的图像系统10增强或代替。相机26可具有延伸到车辆20的后部和侧面的延伸或宽视场，以使得在车辆20正后方的行人或其它对象可以被看见并且使得来自侧面的即将到来的交通可以被看见。系统10被设计成使得当向后退出停车场时，可在向后退到通行车道中之前看见迎面而来的车辆。此性能可能要求相机26具有近似180°视场或要求若干相机26安装于车辆的后部附近。具有安装于车辆20前部附近的一个或多个相机26的类似系统可以进一步适于在进入十字路口交通的行进车道之前查看在“盲区”相交点处的十字路口交通。这些都是本发明的所需应用，其增补常规后视镜的观察功能。

图10A和10B展示带有显示器32的具有壳体54的后视组合件50的实例。如所展示，后视组合件50可进一步包括定位于显示器32前方的任选的镜元件52。可以提供用户开关56，其用于使镜元件52和/或显示器32倾斜以当被激活时减少显示器32上的眩光。此后视组合件50的实例在共同拥有的第9,511,715号美国专利以及美国专利申请公开案2015/0266427A1和2015/0277203A1中公开，以上案的完整公开内容以引用的方式并入本文中。任选的环境光传感器34和直接眩光传感器36可以另外并入在后视组合件50中。此外，图像处理单元30可安置于后视组合件50中。后视组合件50可为如图10A和10B中所示的内部后视组合件，或可为外部后视组合件。

以上描述仅视为对优选实施例的描述。所属领域的技术人员以及制作或使用本发明的技术人员可以对本发明做出修改。因此，应理解，在图中示出且在上文描述的实施例仅用作说明的目的，并不旨在限制本发明的范围，本发明的范围由根据专利法的原则和其等同原则来解释的权利要求限定。

Claims (13)

1.一种用于车辆的图像捕获系统，所述车辆配备有用于显示接近所述车辆的场景的流式传输视频图像的显示器，所述图像捕获系统包括：

相机，其包括视场，且用于捕获接近所述车辆的所述场景的视频图像并对所述视频图像进行流式传输；以及

图像处理单元，其用于接收所述流式传输视频图像，处理所述流式传输视频图像且将所述流式传输视频图像供应到所述显示器，

其中所述图像处理单元被配置成：

选择第一多个曝光时间，所述第一多个曝光时间包括第一曝光时间和至少第二曝光时间；

基于所述视场中的环境光条件选择所述第一曝光时间；

基于所述流式传输视频图像中的经调幅光源将所述第一曝光时间调整为所述第二曝光时间；

针对所述第一多个曝光时间中的每一个计算所述经调幅光源的闪变强度的变化；

基于所述第一多个曝光时间中的每一个的所述闪变强度的所述变化，确定所述第一多个曝光时间中的每一个的所述闪变强度是增加、减小还是处于近似局部最小值；以及

以所述经调幅光源的近似局部最小值闪变强度显示被供应给所述显示器的所述流式传输视频图像中的所述经调幅光源。

2.根据权利要求1所述的图像捕获系统，其中所述处理单元被进一步配置成：

检测所述经调幅光源的调制频率。

3.根据权利要求2所述的图像捕获系统，其中所述第二曝光时间近似为所述经调幅光源的调制频率的倍数。

4.根据权利要求1所述的图像捕获系统，其中所述处理单元被进一步配置成：

基于所述第一曝光时间选择所述第一多个曝光时间，其中所述第一多个曝光时间包括比所述第一曝光时间长的所述第二曝光时间以及比所述第一曝光时间短的第三曝光时间。

5.根据权利要求1所述的图像捕获系统，其中所述处理单元被进一步配置成：

捕获基于所述第一曝光时间选择的包括第四曝光时间和第五曝光时间的所述第一多个曝光时间。

6.根据权利要求1所述的图像捕获系统，其中所述处理单元被进一步配置成：

响应于所述第一多个曝光时间未能包括处于所述近似局部最小值的曝光时间，基于所述第一多个曝光时间中的最大改进曝光时间选择第二多个曝光时间，其中所述最大改进曝光时间包括所述闪变强度的最大减小。

7.一种用于车辆的图像系统，所述图像系统包括：

相机，其用于在所选择曝光时间捕获接近所述车辆的场景的视频图像且对所述视频图像进行流式传输；

图像处理单元，其用于接收流式传输视频图像且处理所述流式传输视频图像；以及

显示器，其用于显示所述流式传输视频图像；

其中所述图像处理单元被配置成：

检测所述流式传输视频图像中的经调幅光源；

通过选择第一曝光时间且基于所述第一曝光时间选择第一多个曝光时间来调整所述相机的所述曝光时间以匹配于所述经调幅光源的调制频率的倍数；

确定多个所述视频图像的所述第一多个曝光时间中的每一个的闪变强度；

确定所述第一多个曝光时间中的每一个的所述闪变强度的取样函数的量值；

比较所述第一多个曝光时间中的每一个的所述量值以确定所述第一多个曝光时间中的一个是否为近似局部最小值；

响应于识别出近似局部最小值，将所述曝光时间设定为所述第一多个曝光时间中的所述一个；

响应于未能识别出所述近似局部最小值，选择第二多个曝光时间；以及

调整所述相机的所述曝光时间为所述近似局部最小值，以匹配于所述经调幅光源的所述调制频率的所述倍数，从而减小被供应给所述显示器的所述流式传输视频图像中的所述经调幅光源的闪变强度。

8.根据权利要求7所述的图像系统，其中所述图像处理单元被进一步配置成通过以下操作调整所述相机的所述曝光时间以匹配于所述调制频率的所述倍数：

确定所述经调幅光源的拍频；以及

基于所述拍频调整所述相机的所述曝光时间。

9.根据权利要求7所述的图像系统，其中所述图像处理单元被进一步配置成：

(a)通过选择第一曝光时间来调整所述相机的所述曝光时间以匹配于所述调制频率的所述倍数；

(b)基于所述第一曝光时间选择所述第一多个曝光时间；

(c)针对包括所述第一曝光时间和多个额外曝光时间的所述第一多个曝光时间中的每一个确定在若干帧上的所述经调幅光源的感知亮度；

(d)根据所述经调幅光源的所述感知亮度计算所述第一多个曝光时间中的每一个的取样函数；

(e)确定所述第一多个曝光时间中的每一个的所述取样函数的量值是否处于近似局部最小值；

(f)响应于识别出所述第一多个曝光时间中的所选择曝光时间提供所述近似局部最小值，将所述相机的曝光时间指派于所述所选择曝光时间；以及

(g)响应于未能识别出所述第一多个曝光时间中的一个为所述近似局部最小值，以不同曝光时间重复步骤(a)-(g)直到识别出近似局部最小值为止。

10.一种捕获从车辆内的相机流式传输的视频图像的方法，所述方法包括：

检测所述流式传输视频图像中的经调幅光源；

迭代地选择多个曝光时间；

计算多个所述视频图像的所述多个曝光时间中的每一个的闪变强度的取样函数；

比较所述多个曝光时间中的每一个的所述取样函数的量值以识别所述取样函数的近似局部最小值；

重复所述多个曝光时间的所述选择直到所述多个曝光时间中的一个产生所述近似局部最小值为止；以及

调整所述相机的曝光时间为所述近似局部最小值，以匹配于所述经调幅光源的调制频率的倍数，从而减小当显示时所述流式传输视频图像中的所述经调幅光源的闪变强度。

11.根据权利要求10所述的方法，其中所述多个曝光时间的每一迭代选择是基于根据所述多个曝光时间的先前迭代识别的最低标准偏差曝光时间。

12.根据权利要求10所述的方法，其中为了调整所述相机的所述曝光时间以匹配于所述经调幅光源的调制频率的倍数，所述方法进一步包括：

确定所述经调幅光源的拍频；以及

基于所述拍频调整所述相机的所述曝光时间。

13.根据权利要求10所述的方法，其中为了调整所述相机的所述曝光时间以匹配于经调幅光源的调制频率的倍数，所述方法进一步包括：

(a)选择第一曝光时间；

(b)基于所述第一曝光时间选择多个曝光时间；

(c)针对多个曝光时间中的每一个确定在若干帧上的所述经调幅光源的感知亮度；

(d)根据所述经调幅光源的所述感知亮度计算所述多个曝光时间中的每一个的取样函数；

(e)确定所述多个曝光时间中的每一个的所述取样函数的量值是增加、减小还是处于近似局部最小值；

(f)响应于识别出所述多个曝光时间中的所选择曝光时间提供所述近似局部最小值，将所述相机的曝光时间指派于所述所选择曝光时间；以及

(g)响应于未能识别出所述多个曝光时间中的一个为所述近似局部最小值，以不同曝光时间重复步骤(a)-(g)直到识别出近似局部最小值为止。

Images