CN103916610B - 用于动态后视镜的眩光减少 - Google Patents

Abstract

本申请涉及用于动态后视镜的眩光减少。一种用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的方法包括获得短曝光图像和长曝光图像并且基于短曝光图像和长曝光图像产生所得高动态范围图像。监测短曝光图像和长曝光图像内的像素值。基于监测的像素值在短曝光图像和长曝光图像内识别光源区域。基于识别的光源区域以及长曝光图像和短曝光图像的监测的像素值之间的计算的像素比和计算的像素差之一来识别眩光区域。所得高动态范围图像上识别的眩光区域通过短曝光图像内识别的光源区域来修改。基于所得HDR图像上修改的识别的眩光区域来产生眩光减少的图像。

Description

用于动态后视镜的眩光减少

相关申请的交叉引用

此申请要求2013年1月7日提交的序号为61/749,783的美国临时申请权益，该申请以引用的方式并入本文。

技术领域

此披露涉及减少从直接和反射照明源捕获到的图像中的眩光效果。

背景技术

这个部分中的陈述仅提供与本披露有关的背景信息。因此，这些陈述并不意欲构成对现有技术的承认。

车辆系统可以使用车载视觉系统来用于后视场景检测、侧视场景检测以及前视场景检测。车载视觉系统所捕获到的图像中的眩光效果可能通过直接照明源和通过反射而存在。直接照明源可以包括前灯并且反射可以来自路面、交通基础设施标志或车载视觉系统内的其他结构。

已知的是，对摄像设备进行硬件实施来减少图像眩光。例如，可以对摄像设备的透镜和/或护罩玻璃应用极化。然而，在应用极化时眩光可能仅在一个平面中减少，并且因此，可能仅适用于减少由从路面反射导致的眩光而不减少从竖直建筑物反射导致的眩光，且反之亦然。此外或者替代地，可以对摄像设备的透镜和/或护罩玻璃应用染色；然而，虽然可以减少眩光，但是在捕获到的图像中不希望地减少了颜色信息和/或图像敏感度。

发明内容

一种用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的方法包括获得短曝光图像和长曝光图像并且基于短曝光图像和长曝光图像产生所得高动态范围图像。监测短曝光图像和长曝光图像内的像素值。基于监测的像素值在短曝光图像和长曝光图像内识别光源区域。基于识别的光源区域以及长曝光图像和短曝光图像的监测的像素值之间的计算的像素比和计算的像素差之一来识别眩光区域。所得高动态范围图像上识别的眩光区域通过短曝光图像内识别的光源区域来修改。基于所得HDR图像上的修改的识别的眩光区域来产生眩光减少的图像。

方案1. 用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的方法，包括：

获得由摄像设备捕获到的短曝光图像和长曝光图像；

基于短曝光图像和长曝光图像产生所得高动态范围（HDR）图像；

监测短曝光图像和长曝光图像内的像素值；

基于监测的像素值在短曝光图像和长曝光图像内识别光源区域；

计算长曝光图像和短曝光图像的监测的像素值之间的像素比和像素差之一；

基于识别的光源区域以及计算的像素比和计算的像素差之一来识别眩光区域；

通过短曝光图像内识别的光源区域修改所得高动态范围图像上的识别的眩光区域；以及

基于所得HDR图像上的修改的识别的眩光区域来产生眩光减少的图像。

方案2. 如方案1所述的方法，其中当摄像设备利用并入用于每个像素的短曝光子像素和长曝光子像素的分离子像素成像芯片时，同时获得短曝光图像和长曝光图像。

方案3. 如方案1所述的方法，其中当摄像设备利用具有每个像素每次在短曝光时间和长曝光时间中的一个之间可调的像素阵列的成像芯片时，在不同的时间周期期间获得短曝光图像和长曝光图像。

方案4. 如方案3所述的方法，其中获得短曝光图像和长曝光图像包括：

对于每个像素，在第一时间周期期间利用短曝光时间从而获得短曝光图像并且在第二时间周期期间利用长曝光时间从而获得长曝光图像。

方案5. 如方案1所述的方法，其中在短曝光图像和长曝光图像内识别光源区域包括：

将监测的像素值与光源阈值进行比较；以及

识别短曝光图像和长曝光图像内对应于其中监测的像素值超过光源阈值的区域的光源区域。

方案6. 如方案1所述的方法，其中监测的像素值至少包括用于短曝光图像和长曝光图像内的每个像素的强度值。

方案7. 如方案6所述的方法，其中监测的像素值进一步包括用于短曝光图像和长曝光图像内的每个像素的颜色信息。

方案8. 如方案1所述的方法，其中识别眩光区域包括：

将计算的像素比与眩光阈值进行比较；

识别对应于围绕其中计算的像素比超过眩光阈值的识别的光源周边的区域的眩光区域。

方案9. 如方案1所述的方法，其中识别眩光区域包括：

将计算的像素差与眩光阈值进行比较；

识别对应于围绕其中计算的像素差超过眩光阈值的识别的光源周边的区域的眩光区域。

方案10. 如方案1所述的方法，其中产生眩光减少的图像进一步包括：

在未识别为眩光区域的所有其他区域中，应用高动态范围处理以增强用于所得高动态范围图像的图像质量。

方案11. 如方案10所述的方法，其中应用高动态范围处理包括应用的调和映射、调整的曝光时间、图像灰度校正以及像素位深转换中的至少一个。

方案12. 如方案1所述的方法，其中修改所得高动态范围图像上的识别的眩光区域包括：

修改识别的眩光区域以包括大于长曝光区域内的识别的光源区域部分的短曝光图像内的识别的光源区域部分。

方案13. 如方案12所述的方法，其中短曝光图像内的识别的光源区域部分从识别的眩光区域的中心朝向识别的眩光区域的周边逐渐减小。

方案14. 用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的方法，包括：

获得由摄像设备捕获到的短曝光图像和长曝光图像；

基于获得的短曝光图像和长曝光图像产生所得高动态范围（HDR）图像；

监测短曝光图像和长曝光图像内的像素值，每个像素值至少包括强度值；

基于监测的像素值在短曝光图像和长曝光图像内识别光源区域；

基于长曝光图像和短曝光图像的监测的像素值之间计算的像素比来识别围绕识别的光源周边的眩光区域；

通过短曝光图像内相应的识别的光源区域修改所得高动态范围图像上的识别的眩光区域；

应用高动态范围处理以在未识别为眩光区域的所有其他区域中获得用于所得高动态范围图像的最佳图像质量；以及

基于所得高动态范围图像上的修改的识别的眩光区域来产生眩光减少的图像。

方案15. 如方案14所述的方法，其中识别的光源区域包括直接光源区域和反射光源区域中的一个。

方案16. 如方案14所述的方法，其中获得短曝光图像和长曝光图像包括以下之一：

当摄像设备利用并入用于每个像素的短曝光子像素和长曝光子像素的分离子像素成像芯片时，空间上同时获得短曝光图像和长曝光图像；以及

当摄像设备利用具有每个像素每次在短曝光时间和长曝光时间中的一个之间可调的像素阵列的成像芯片时，在不同的时间周期期间在时间上获得短曝光图像和长曝光图像。

方案17. 如方案14所述的方法，其中基于监测的像素值来识别短曝光图像和长曝光图像内的光源区域包括：

将监测的像素值与光源阈值进行比较，光源阈值包括指示光源的最小强度；

识别短曝光图像和长曝光图像内对应于其中监测的像素值超过光源阈值的区域的光源区域。

方案18. 如方案14所述的方法，其中识别围绕识别的光源的周边的眩光区域包括：

将计算的像素比与眩光阈值进行比较，眩光阈值包括指示眩光效果的最小强度值；以及

识别对应于其中计算的像素比超过眩光阈值的识别的光源周边的区域的眩光区域。

方案19. 如方案14所述的方法，其中摄像设备包括用于捕获主车辆后方视场的后视摄像设备。

方案20. 一种用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的装置，包括：

捕获从主车辆投射出的视场的摄像设备；以及

处理设备，其被配置成：

获得由摄像设备捕获到的短曝光图像和长曝光图像；

基于获得的短曝光图像和长曝光图像产生所得高动态范围（HDR）图像；

监测短曝光图像和长曝光图像内的像素值；

基于监测的像素值在短曝光图像和长曝光图像内识别光源区域；

计算长曝光图像和短曝光图像的监测的像素值之间的像素比；

基于识别的光源区域和像素比来识别眩光区域；

通过短曝光图像内识别的光源区域修改所得高动态范围图像上的识别的眩光区域，以及

基于所得高动态范围图像上的修改的识别的眩光区域来产生眩光减少的图像。

附图说明

现在将参照附图通过示例来描述一个或多个实施例，附图中：

图1示出根据本披露的包括基于视觉的周围视野的成像系统的主车辆；

图2示出根据本披露的表示车辆后方视场的从图1的后视摄像设备捕获到的短曝光图像；

图3示出根据本披露的表示车辆后方视场的从图1的后视摄像设备捕获到的长曝光图像；

图4示出根据本披露的非限制的示例性眩光减少的图像，其中具有来自前灯的眩光效果的识别的区域通过短曝光区域修改；

图5示出根据本披露的分离子像素成像芯片的示例性实施例；

图6示出根据本披露的具有每次在短曝光时间和长曝光时间中的一个之间可调的像素阵列的成像芯片的示例性实施例；以及

图7示出根据本披露的用于产生眩光减少的图像的示例性流程。

具体实施方式

现在参照图式，其中展示仅用于示出某些示例性实施例的目的而并不用于对其限制，图1示出根据本披露的包括基于视觉的周围视野的成像系统12的主车辆（车辆）10。该车辆沿道路行驶并且基于视觉的成像系统12捕获道路图像。基于视觉的成像系统12基于一个或多个基于视觉的摄像设备的位置来捕获车辆周围的图像。在本文描述的实施例中，基于视觉的成像系统将被描述为捕获车辆后方的图像；然而，还应理解，基于视觉的成像系统12可以延伸为捕获车辆前方和车辆侧方的图像。

基于视觉的成像系统12可以包括用于捕获车辆10的前方视场（FOV）的前视摄像设备14、用于捕获车辆10的后方FOV的后视摄像设备16、用于捕获车辆10的左侧FOV的左侧视摄像设备18以及用于捕获车辆10的右侧FOV的右侧视摄像机的任何组合。摄像机14-18可以是适用于本文描述的实施例的任何摄像机，其中一些是汽车技术中已知的，它们能够接收光或其他辐射并且使用例如电荷耦合设备（CCD）传感器或互补金属氧化物半导体（CMOS）传感器中的一个来将光能转换成像素格式的电信号。摄像机14-18以一定数据帧速率产生图像数据帧，这些帧可以被存储以用于随后处理。摄像机14-18可以安装在是车辆零件的任何适合结构内或其上，诸如保险杠、扰流板、车尾行李箱盖、仪表板、格栅、侧视镜、门板等，如本领域技术人员将很好理解和了解的。来自摄像机14-18的图像数据被发送到处理器22（即，永久性处理设备），该处理器处理图像数据以产生可以显示在后视镜显示设备24上的图像。

控制模块、模块、控制、控制器、控制单元、处理器以及类似术语意味着以下各项中的一个或多个的任一个或各种组合：（多个）特定用途集成电路（ASIC）、（多个）电子电路、执行一个或多个软件或固件程序或例行程序的（多个）中央处理单元（优选地微处理器）和相关的内存和存储器（只读、可编程只读、随机存取、硬盘驱动器等）、（多个）组合逻辑电路、（多个）输入/输出电路和设备、适当的信号调节和缓冲器电路以及用以提供所述功能性的其他部件。软件、固件、程序、指令、例行程序、代码、算法和类似术语意味着包括校准和查找表的任何指令集。控制模块具有执行以提供所需功能的一组控制例行程序。例行程序通过诸如中央处理单元来执行，并且可操作以监测来自感测设备和其他联网控制模块的输入，并且执行控制和诊断例行程序以控制致动器的操作。例行程序可以以规则的时间间隔（例如在前进的发动机和车辆操作过程中每3.125、6.25、12.5、25以及100微秒）执行。或者，可以响应于事件的发生来执行例行程序。

图2-4示出根据本披露的表示车辆10的后方视场（FOV）的由图1的后视摄像设备16捕获到的示例性图像100、200、300。在非限制的示例性实施例中，后视摄像设备16被配置成以向下纵倾捕获车辆后方180°FOV。摄像设备能够捕获短曝光和长曝光图像数据。来自摄像设备16的图像数据可以由图1的处理器22处理以产生可以显示在包括图1的后视镜显示设备24的任何适合的车辆显示单元上。在一个实施例中，后视镜显示设备集成在车辆的人机界面（HMI）内。在另一个实施例中，后视显示设备与安装在车辆内部内的后视镜集成。虽然本文描述的实施例涉及配置成捕获车辆后方FOV的后视摄像设备16，但是将理解，本文实施例可以类似地应用于捕获表示车辆前方和/或车辆侧方FOV的图像的摄像设备。

参照图2，示出从摄像设备16捕获到的短曝光图像100。短曝光图像100在低光或夜间行驶条件下具有不良的最佳图像质量。然而，存在来自行驶车辆的前灯的光源202和204，而不会在短曝光图像中产生任何显著的眩光效果。

参照图3，示出从摄像设备16捕获到的长曝光图像200。长曝光图像200表示与图2的示例性短曝光图像100相同的场景。长曝光图像200增强了在低光或夜间行驶条件下的最佳图像质量，因为较长曝光时间允许更多光进入摄像设备16的成像芯片。然而，来自行驶车辆的前灯的光源202和204在成像芯片上产生过多光，这在长曝光图像200中产生眩光效果203和205。

图4示出非限制的示例性眩光减少的图像300，其中所得高动态范围（HDR）图像上具有来自前灯的眩光效果的识别的区域由短曝光区域替代。将了解，产生的HDR图像是基于所获得的短曝光图像和长曝光图像。在所示示例中，眩光减少的图像300的在图3的长曝光图像200中存在眩光效果的区域被识别并且由对应于从图2的短曝光图像100识别的光源（例如，前灯202和204）的区域的短曝光区域替代。虽然图4所示的非限制性实施例用短曝光图像替代识别的眩光效果，但是本文实施例是针对用短曝光图像内识别的光源区域来修改识别的眩光效果。例如，所得HDR图像可以包括获得的长曝光图像和短曝光图像的每个的相等部分。识别的眩光效果可以通过增加短曝光图像内识别的光源区域部分并减小应用到其的长曝光图像内识别的光源区域部分来修改。

示例性实施例是针对产生眩光减少的图像。产生眩光减少的图像可以由图1的处理器22来执行，其中必须首先识别短曝光图像和长曝光图像内的光源区域。处理器22可以识别光源区域作为饱和区域，其中高强度值（即，光）的检测指示潜在饱和。随后，在一个实施例中，处理器22可以计算长曝光图像和短曝光图像的监测的像素值之间的像素比来识别眩光区域。在另一个实施例中，处理器22可以计算长曝光图像和短曝光图像的监测的像素值之间的像素差来识别眩光区域。在一个实施例中，术语“像素值”是至少指用于短曝光图像和长曝光图像内的每个像素的强度值。在另一个实施例中，术语“像素值”另外是指用于短曝光图像和长曝光图像内的每个像素的颜色信息。当围绕短曝光图像和长曝光图像内识别的光源周边的像素比（或像素差）大时，处理器22检测到指示眩光效果的区域。在一个实施例中，当像素比超过眩光阈值时，存在指示眩光效果的区域。在另一个实施例中，当像素差超过眩光阈值时，存在指示眩光效果的区域。将了解，关于像素差的眩光阈值是与关于像素比的眩光阈值不同的值。下文中，此披露将描述基于计算的像素比来识别眩光区域；然而，将理解，可以基于计算的像素差来类似地识别眩光区域。因此，存在眩光效果的这些区域可以被称为围绕光源周边的“眩光区域”。最后，使用处理器22通过对应于短曝光图像中识别的光源区域的短曝光区域来修改指示眩光效果的识别的眩光区域。因此，眩光减少的图像（例如，图4的眩光减少的图像300）包括已经通过所得HDR图像上的短曝光区域修改眩光效果从而减少用于最佳（即，增强的）图像质量的所有其他区域中的眩光的区域。

摄像设备16利用具有像素传感器阵列的集成电路的颜色敏感的成像芯片，每个传感器包括光检测器和有源放大器。在一个实施例中，成像芯片是互补金属氧化物半导体（CMOS）传感器。在另一个实施例中，成像芯片是电荷耦合设备（CCD）传感器并且安装到摄像设备的摄像机板上。CCD传感器和CMOS传感器都通过使用对光起反应并且将光转换成电荷的光敏电路来起作用。传感器中的模拟数字电路可以将来自光伏电荷的模拟信号（例如，电压或电流）转换成数字数据（例如，捕获到的图像）。

CCD传感器是将光记录为其像素或单元的每一个中的小电荷的光敏模拟设备。本质上，CCD是CCD单元的集合。CCD电路可以包括用于将模拟信号传输到用于存储由时钟信号控制的数据的触发器阵列的多层电容器（例如，级）。因此，当CCD传感器接收到光时，CCD传感器根据多少光已经碰撞到具体的CCD单元来获得电荷，其中每个CCD单元可以将其电荷传递到其邻近单元并且随后传递到外部电路。可以使用模拟数字转换器以在一定范围上读取整数的电荷。

在CMOS传感器中，每个像素具有局部地执行模拟数字转换的邻近晶体管。在一个实施例中，每个像素可以是有源像素传感器（APS）。成像逻辑集成在CMOS传感器本身上，从而代替对CCD传感器要求额外电路来执行模拟数字转换的需要。因此，可以降低用于操作CMOS传感器的功率消耗。虽然CMOS传感器的设计可能由于集成电路而比CCD传感器昂贵，但是CMOS传感器可以在任何标准硅生产线上便宜地制造。CMOS传感器的一个缺点在于它们由于集成在传感器上的额外电路而比CCD传感器更加杂乱。

在一些实施例中，处理器22可以利用并入用于每个像素的短曝光子像素（S）和长曝光子像素（L）的分离子像素成像芯片来在空间上获得短曝光图像和长曝光图像。分离子像素成像芯片使得能够同时获得短曝光图像和长曝光图像。在其他实施例中，处理器22可以利用具有每个像素每次在短曝光时间（S）和长曝光时间（L）中的一个之间可调的像素阵列的成像芯片来在时间上获得短曝光图像和长曝光图像。因此，当使用具有像素阵列的成像芯片来在时间上获得短曝光图像和长曝光图像时，每个像素可以在获得用于给定时间周期的短曝光图像和长曝光图像之间进行调整。将理解，与短曝光像素或子像素（S）相比，具有较高光亮度的传送进入长曝光像素或子像素（L），因为长曝光图像具有较长快门时间（或较大区域）来增加进入每个像素的光的聚集。通常，短曝光像素或子像素（S）增强彩色保真度并且在白天行驶条件下在捕获到的图像中获得较高分辨率。而长曝光像素或子像素（L）通过增加进入相应像素或子像素的光的聚集而增加图像敏感度，并且因此可以用来增加捕获到的图像的动态范围。因此，基于获得的短曝光图像和获得的长曝光图像产生所得HDR图像。

参照图5，示出根据本披露的分离子像素成像芯片400的示例性实施例。分离子像素成像芯片400包括滤色器部分402和电路部分404。虽然并不单独区分，但是滤色器部分402和电路部分404仅为了说明目的而分离以描述本文描述的示例性实施例。像素450包括绿色（Gr和Gb）、蓝色（B）和红色（R）像素，这些像素由于不同的滤色器而各自具有对光的相应响应。参照电路部分404，每个像素450是包括短曝光子像素（S）451和长曝光子像素（L）452的分离子像素。在非限制性实施例中，每个子像素451和452是3 μm x 6 μm。使用分离子像素成像芯片400，处理器22可以在空间上同时获得短曝光图像和长曝光图像。

参照图6，示出根据本披露的包括像素阵列550的成像芯片500的示例性实施例。成像芯片500包括滤色器部分502和电路部分504。虽然并不单独区分，但是滤色器部分502和电路部分504仅为了说明目的而分离以描述本文描述的示例性实施例。像素550包括绿色（Gr和Gb）、蓝色（B）和红色（R）像素，这些像素由于不同的滤色器而各自具有对光的相应响应。参照电路部分504，每个像素550能够每次在短曝光时间和长曝光时间中的一个之间进行调整。使用成像芯片500，处理器22可以在时间上获得用于给定时间周期的短曝光和长曝光。例如，每个像素550可以在第一时间周期期间包括短曝光时间从而获得短曝光图像并且随后每个像素550可以被调整成在第二时间周期期间包括长曝光时间从而获得长曝光图像。

图7示出根据本披露的用于产生眩光减少的图像的示例性流程。示例性流程600可以由图1中所示的处理器22（即，永久性处理设备）执行并且在其内实施。表1是提供作为图7的关键字，其中标记数字的方框和相应功能如下阐述。

表1

方框 方框内容

602 获得短曝光图像

604 获得长曝光图像

606 基于监测的像素值来识别短曝光图像和长曝光图像内的光源区域

608 计算长曝光图像和短曝光图像的监测的像素值之间的像素比

610 基于识别的光源区域和像素比来识别眩光区域

612 在未指示识别的光源区域的短曝光图像和长曝光图像内的所有其他区域中获得最佳图像质量

614 通过对应于短曝光图像中识别的光源区域的短曝光区域来修改所得HDR图像上的眩光区域

616 基于所得HDR图像上修改的所识别的眩光区域来产生眩光减少的图像。

参照方框602，获得短曝光图像603并将其提供给方框606、608和612。在所示实施例中，短曝光图像603对应于图2中所示的短曝光图像100并且由图1中所示的后视摄像设备16捕获。在方框604，获得长曝光图像605并将其提供给方框606、608和612。在所示实施例中，长曝光图像605对应于图3中所示的长曝光图像200并且由图1中所示的后视摄像设备16捕获。此外，处理器22所获得的短曝光图像和长曝光图像在低光和夜间周围行驶条件之一过程中由摄像设备捕获。

在一个实施例中，当摄像设备利用并入用于每个像素的短曝光子像素和长曝光子像素的分离子像素成像芯片时，分别同时获得短曝光图像603和长曝光图像605。在另一个实施例中，当摄像设备利用具有每个像素每次在短曝光时间和长曝光时间中的一个之间可调的像素阵列的成像芯片时，分别在不同的时间周期期间获得短曝光图像603和长曝光图像605。分别基于短曝光图像603和长曝光图像605产生HDR图像。

参照方框606，基于监测的像素值在短曝光图像和长曝光图像内识别光源区域。仅为了说明目的描绘识别的光源图像607，其包括两个识别的光源区域，例如，行驶车辆的一对前灯。因此，所示示例包括来自行驶车辆的前灯的直接光源；然而，识别的光源区域可以包括来自路面或交通基础设施标志的反射光源。在方框606，分别监测短曝光图像603和长曝光图像605内的像素值。随后将监测的像素值与光源阈值进行比较。光源区域（例如，对应于该对前灯中的一个的第一区域和对应于该对前灯中的另一个的第二区域）在短曝光图像和长曝光图像中被识别为对应于其中监测的像素值超过光源阈值的区域。在一个实施例中，光源阈值可以包括指示光源的最小强度值并且每个像素值可以包括强度值。例如，包括高强度值的监测的像素值可以被检测为饱和区域。短曝光图像和长曝光图像内识别的光源区域被提供给方框610。

参照方框608，计算长曝光图像和短曝光图像的监测的像素值之间的像素比（例如，像素强度比）。为了说明描绘像素比图像609。计算的像素比被提供给方框610。方框608可以额外地或者替代地计算长曝光图像和短曝光图像的监测的像素值之间的像素强度差。

参照方框610，基于短曝光图像和长曝光图像内识别的光源区域和短曝光图像与长曝光图像之间的像素比来识别眩光区域。为了说明描绘识别的眩光区域图像611。在方框610，将计算的像素比与眩光阈值相比较。在一个实施例中，计算的像素比指示强度比并且眩光阈值对应于指示具有上述眩光效果的最小比。将了解，在检测的光源区域的周围区域内，长曝光图像中的高像素值和短曝光图像中的低像素值指示眩光效果。因此，眩光区域可以被识别为对应于围绕计算的像素比超过眩光阈值的识别的光源周边的区域。在所示实施例中，两个眩光区域被识别为对应于行驶车辆的该对前灯中的相应的灯。（多个）识别的眩光区域被提供给方框612和614。此外或者替代地，可以基于短曝光图像和长曝光图像内识别的光源区域和超过眩光阈值的短曝光图像和长曝光图像之间的像素差来识别眩光区域。

参照方框612，未指示光源区域的短曝光图像和长曝光图像内的其他区域包括应用HDR处理来获得用于HDR成像（例如，所得HDR图像）的最佳图像质量。如上所述，分别基于方框602、604的获得的短曝光图像和长曝光图像来产生所得HDR图像。例如，可以使用长曝光时间来保留暗区域的细节并且可以使用短曝光时间来保留来自饱和的亮区域的细节（例如，亮的动态范围）。可以组合长曝光时间和短曝光时间来产生具有延伸的HDR的所得HDR图像以展示未指示光源区域的暗和亮区域的细节。方框612的HDR处理可以包括应用的调和映射、调整的曝光时间、图像灰度校正和像素位深中的至少一个以获得这些其他区域中的最佳图像质量。在所示的非限制性实施例中，图像613包括用于所得HDR图像的其他区域的获得的最佳图像质量。随后，未指示识别的光源区域的最佳图像质量的其他区域被提供给方框616。

参照方框614，执行眩光区域增强。眩光区域增强包括从方框610中识别出的识别的眩光区域减少眩光效果。在眩光区域中减少眩光效果包括通过对应于短曝光图像中识别的光源区域的短曝光区域来在修改所得HDR图像上的眩光区域。将了解，当在所得HDR图像上存在眩光区域时，短曝光区域和长曝光区域可以相等部分应用到该眩光区域。例如，所得HDR图像上的眩光区域可以包括短曝光图像内识别的光源区域的一半和长曝光图像内识别的光源区域的一半。在所示的非限制性实施例中，修改该对前灯中的相应灯的眩光区域包括通过短曝光图像中识别的光源区域中的相应区域来替代眩光区域。然而，修改眩光区域的其他实施例可以包括增加短曝光图像中识别的光源区域部分同时减小长曝光图像中识别的光源区域部分。换句话说，长曝光图像中识别的光源区域可以分担比短曝光图像中识别的光源区域部分小的某个部分。为了说明描绘包括通过用对应于短曝光图像中识别的光源区域的短曝光区域来替代修改的眩光区域的增强的眩光区域图像615。增强的眩光区域图像615被提供给方框616。

将了解，仅通过短曝光区域替代所得HDR图像上的眩光区域可能产生不希望的“强度跳跃”。因此，该对前灯中的对应灯的眩光区域可以通过改变应用到眩光区域的短曝光区域部分的分担额度来修改。例如，眩光区域的中心可以包括与长曝光区域相比增加分担额度的短曝光区域部分，其中短曝光区域部分分担额度朝向识别的眩光区域的周边逐渐减少。在非限制性示例中，识别的眩光区域的中心可以包括95%的短曝光区域部分和5%的长曝光区域部分，而识别的眩光区域的周边可以包括相等的短曝光区域和长曝光区域分担额度。

在方框616，基于所得HDR图像上修改的识别的眩光区域来产生眩光减少的图像617。在所示实施例中，眩光减少的图像617对应于图4的眩光减少的图像300。眩光减少的图像617包括由方框614的短曝光区域替代的眩光区域并且向未指示方框612的眩光区域的区域应用HDR处理以获得最佳图像质量。

本披露已经描述了某些优选实施例和其修改。其他人可以在阅读和理解说明书之后想到其他修改和变更。因此，本披露并不意欲限于作为考虑用于实现本披露的最佳模式所披露的（多个）具体实施例，而是本披露将包括落入随附权利要求范围内的所有实施例。

Claims (20)

1.用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的方法，包括：

获得由摄像设备捕获到的短曝光图像和长曝光图像；

基于短曝光图像和长曝光图像产生所得高动态范围（HDR）图像；

监测短曝光图像和长曝光图像内的像素值；

基于监测的像素值在短曝光图像和长曝光图像内识别光源区域；

计算长曝光图像和短曝光图像的监测的像素值之间的像素比和像素差之一；

基于识别的光源区域以及计算的像素比和计算的像素差之一在所得高动态范围图像上识别眩光区域；

通过短曝光图像内识别的光源区域修改所得高动态范围图像上的识别的眩光区域；以及

基于所得HDR图像上的修改的识别的眩光区域来产生眩光减少的图像。

2.如权利要求1所述的方法，其中当摄像设备利用并入用于每个像素的短曝光子像素和长曝光子像素的分离子像素成像芯片时，同时获得短曝光图像和长曝光图像。

3.如权利要求1所述的方法，其中当摄像设备利用具有每个像素每次在短曝光时间和长曝光时间中的一个之间可调的像素阵列的成像芯片时，在不同的时间周期期间获得短曝光图像和长曝光图像。

4.如权利要求3所述的方法，其中获得短曝光图像和长曝光图像包括：

对于每个像素，在第一时间周期期间利用短曝光时间从而获得短曝光图像并且在第二时间周期期间利用长曝光时间从而获得长曝光图像。

5.如权利要求1所述的方法，其中在短曝光图像和长曝光图像内识别光源区域包括：

将监测的像素值与光源阈值进行比较；以及

识别短曝光图像和长曝光图像内对应于其中监测的像素值超过光源阈值的区域的光源区域。

6.如权利要求1所述的方法，其中监测的像素值至少包括用于短曝光图像和长曝光图像内的每个像素的强度值。

7.如权利要求6所述的方法，其中监测的像素值进一步包括用于短曝光图像和长曝光图像内的每个像素的颜色信息。

8.如权利要求1所述的方法，其中识别眩光区域包括：

将计算的像素比与眩光阈值进行比较；

识别对应于围绕其中计算的像素比超过眩光阈值的识别的光源周边的区域的眩光区域。

9.如权利要求1所述的方法，其中识别眩光区域包括：

将计算的像素差与眩光阈值进行比较；

识别对应于围绕其中计算的像素差超过眩光阈值的识别的光源周边的区域的眩光区域。

10.如权利要求1所述的方法，其中产生眩光减少的图像进一步包括：

在未识别为眩光区域的所有其他区域中，应用高动态范围处理以增强用于所得高动态范围图像的图像质量。

11.如权利要求10所述的方法，其中应用高动态范围处理包括应用的调和映射、调整的曝光时间、图像灰度校正以及像素位深转换中的至少一个。

12.如权利要求1所述的方法，其中修改所得高动态范围图像上的识别的眩光区域包括：

修改识别的眩光区域以包括大于长曝光区域内的识别的光源区域部分的短曝光图像内的识别的光源区域部分。

13.如权利要求12所述的方法，其中短曝光图像内的识别的光源区域部分从识别的眩光区域的中心朝向识别的眩光区域的周边逐渐减小。

14.用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的方法，包括：

获得由摄像设备捕获到的短曝光图像和长曝光图像；

基于获得的短曝光图像和长曝光图像产生所得高动态范围（HDR）图像；

监测短曝光图像和长曝光图像内的像素值，每个像素值至少包括强度值；

基于监测的像素值在短曝光图像和长曝光图像内识别光源区域；

基于长曝光图像和短曝光图像的监测的像素值之间计算的像素比在所得高动态范围图像上识别围绕识别的光源周边的眩光区域；

通过短曝光图像内相应的识别的光源区域修改所得高动态范围图像上的识别的眩光区域；

应用高动态范围处理以在未识别为眩光区域的所有其他区域中获得用于所得高动态范围图像的最佳图像质量；以及

基于所得高动态范围图像上的修改的识别的眩光区域来产生眩光减少的图像。

15.如权利要求14所述的方法，其中识别的光源区域包括直接光源区域和反射光源区域中的一个。

16.如权利要求14所述的方法，其中获得短曝光图像和长曝光图像包括以下之一：

当摄像设备利用并入用于每个像素的短曝光子像素和长曝光子像素的分离子像素成像芯片时，空间上同时获得短曝光图像和长曝光图像；以及

当摄像设备利用具有每个像素每次在短曝光时间和长曝光时间中的一个之间可调的像素阵列的成像芯片时，在不同的时间周期期间在时间上获得短曝光图像和长曝光图像。

17.如权利要求14所述的方法，其中基于监测的像素值来识别短曝光图像和长曝光图像内的光源区域包括：

将监测的像素值与光源阈值进行比较，光源阈值包括指示光源的最小强度；

识别短曝光图像和长曝光图像内对应于其中监测的像素值超过光源阈值的区域的光源区域。

18.如权利要求14所述的方法，其中识别围绕识别的光源的周边的眩光区域包括：

将计算的像素比与眩光阈值进行比较，眩光阈值包括指示眩光效果的最小强度值；以及

识别对应于其中计算的像素比超过眩光阈值的识别的光源周边的区域的眩光区域。

19.如权利要求14所述的方法，其中摄像设备包括用于捕获主车辆后方视场的后视摄像设备。

20.一种用于从主车辆的摄像设备捕获到的图像产生眩光减少的图像的装置，包括：

捕获从主车辆投射出的视场的摄像设备；以及

处理设备，其被配置成：

获得由摄像设备捕获到的短曝光图像和长曝光图像；

基于获得的短曝光图像和长曝光图像产生所得高动态范围（HDR）图像；

监测短曝光图像和长曝光图像内的像素值；

基于监测的像素值在短曝光图像和长曝光图像内识别光源区域；

计算长曝光图像和短曝光图像的监测的像素值之间的像素比；

基于识别的光源区域和像素比在所得高动态范围图像上识别眩光区域；

通过短曝光图像内识别的光源区域修改所得高动态范围图像上的识别的眩光区域，以及

基于所得高动态范围图像上的修改的识别的眩光区域来产生眩光减少的图像。