CN112840637A - 空间复用曝光高动态范围图像传感器的自动曝光 - Google Patents

空间复用曝光高动态范围图像传感器的自动曝光 Download PDF

Info

Publication number
CN112840637A
CN112840637A CN201980067622.7A CN201980067622A CN112840637A CN 112840637 A CN112840637 A CN 112840637A CN 201980067622 A CN201980067622 A CN 201980067622A CN 112840637 A CN112840637 A CN 112840637A
Authority
CN
China
Prior art keywords
exposure
long
short
exposure time
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980067622.7A
Other languages
English (en)
Other versions
CN112840637B (zh
Inventor
J·S·麦克尔韦恩
W·C·吉什
J·R·米勒
G·J·沃德
R·阿特金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN112840637A publication Critical patent/CN112840637A/zh
Application granted granted Critical
Publication of CN112840637B publication Critical patent/CN112840637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种用于空间复用曝光(SME)高动态范围(HDR)图像传感器的自动曝光方法包括：(a)从空间复用曝光高动态范围图像传感器的曝光取得原始图像数据；(b)对原始图像数据的长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(c)将在预处理步骤之后剩余的长曝光像素值和在预处理步骤之后剩余的短曝光像素值合成为高动态范围直方图；(d)从高动态范围直方图中得到优良性度量；(e)至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(f)将长曝光时间和短曝光时间中的经调整的至少一项输出到空间复用曝光高动态范围图像传感器。

Description

空间复用曝光高动态范围图像传感器的自动曝光
相关申请的交叉引用
本申请要求于2018年9月7日提交的第62/728,660号美国临时专利申请和于2018年9月7日提交的第18193264.1号欧洲专利申请的优先权，这些专利申请中的每一个的全部内容通过引用合并入本文中。
技术领域
本申请涉及数字相机的自动曝光。
背景技术
对于传统的数字相机，调整适当的图像曝光对于通过相机图像处理流水线获得高质量图像至关重要。曝光过度可能产生图像的过曝区域，并且曝光不足可能造成过度的噪声水平和可能的颜色伪影。对于专业和高端消费者相机，如数字单镜反光(DSLR)相机，通常存在在自动曝光的情况下调整的三个参数：曝光时间、模拟和/或数字增益(ISO速度)和虹膜光圈大小(f数)。智能手机相机和其他基于移动设备的相机通常具有固定镜头。在这些平台上，自动曝光算法优化两个参数：曝光时间和增益。通常，自动曝光算法分析由成像系统捕获的一个或多个图像，以优化曝光时间和增益(以及在可变虹膜相机的情况下的f数)。
如智能手机相机等大多数基于移动设备的相机的图像传感器由于位深度输出较低(通常为10位)以及像素的全阱容量降低而因此动态范围有限。对于许多场景，此动态范围不足以同时捕获场景中的最亮区和最暗区。例如，当拍摄背光人物的照片时，人物的脸部可能会出现曝光不足，或者替代性地，较明亮的背景可能会出现曝光过度。存在高动态范围(HDR)成像功能的若干个示例，并且其中一些示例可以将相机的动态范围扩展超出图像传感器的动态范围。在典型方法中，HDR数字相机捕获同一场景的两个图像：一个图像的曝光时间较短以获得场景的明亮部分的良好图像数据，而另一个图像的曝光时间较长以获得场景的较黑暗部分的良好图像数据。机载图像处理电路然后将这两个图像缩放到共同的比例并且将经缩放的图像进行组合以产生场景的单个HDR图像，该单个HDR图像更好地描绘了较明亮和较黑暗的场景部分。这种HDR成像在许多情形下都效果很好，并且这种类型的HDR成像功能已经成为用于静态摄影的许多设备的标准特征。然而，短曝光和长曝光是在不同时间记录的，该不同时间之间至少存在全帧读出过程，并且因此，当场景不是静态时，图像组合经常产生不期望的伪影。如果对象在短曝光与长曝光之间移动，则HDR图像可能会在严重的情况下示出移动对象的偏移重复图像或者在不太严重的情况下示出移动对象的边缘伪影。
为了消除HDR图像中的运动伪影，业界开发了可以在单次拍摄中实现更明亮和更昏暗的曝光的空间复用曝光(SME)HDR图像传感器。SME HDR图像传感器将曝光时间模式应用于图像传感器的像素阵列，使得并非所有像素都以相同的曝光时间操作。在通常被称为之字形HDR图像传感器的一种SME HDR图像传感器类型中，像素阵列被分成之字形像素线，其中，该之字形线在长曝光时间与短曝光时间之间交替。在另一种SME HDR图像传感器类型中，即，四(Quad)HDR图像传感器，扩展了常见的拜尔(Bayer)滤色器模式，使得每个滤色器覆盖2×2像素块。在2×2块内，一个像素在长曝光时间下曝光，另一个像素在短曝光时间下曝光，并且剩余两个像素在中间曝光时间下曝光。
发明内容
在实施例中，一种用于空间复用曝光(SME)高动态范围(HDR)图像传感器的自动曝光方法包括(a)从SME HDR图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的像素的短曝光像素值；(b)对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(c)将在预处理步骤之后剩余的长曝光像素值和在预处理步骤之后剩余的短曝光像素值合成为HDR直方图；(d)从HDR直方图中得到优良性度量；(e)至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(f)将长曝光时间和短曝光时间中的经调整的至少一项输出到SME HDR图像传感器。
在实施例中，一种用于SME HDR图像传感器的自动曝光的产品包括在非暂态存储器中编码的机器可读指令。机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从SME HDR图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自SMEHDR图像传感器的由长曝光时间表征的像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的像素的短曝光像素值；(b)预处理指令，预处理指令当由处理器执行时对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(c)合成指令，合成指令当由处理器执行时将(i)在执行预处理指令之后剩余的长曝光像素值和(ii)在执行预处理指令之后剩余的短曝光像素值合成为HDR直方图；(d)度量指令，度量指令当由处理器执行时从HDR直方图中得到优良性度量；(e)调整指令，调整指令当由处理器执行时至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(f)数据输出指令，数据输出指令当由处理器执行时输出长曝光时间和短曝光时间中的至少一项。
在实施例中，一种用于图像传感器的自动曝光方法包括(a)针对来自图像传感器在相应曝光时间设置下的相应多个单独曝光的像素值的多个直方图中的每一个，评估直方图的单独直条对直方图的总熵的贡献的方差，以确定图像传感器的与方差的最小值相对应的最佳曝光时间；以及(b)将最佳曝光时间输出到图像传感器。
在实施例中，一种用于图像传感器的自动曝光的产品包括在非暂态存储器中编码的机器可读指令。机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从图像处理器取得像素值；(b)熵方差优化指令，熵方差优化指令当由处理器执行时跨来自图像传感器在相应曝光时间设置下的相应多个单独曝光的像素值的多个直方图中的每一个，评估直方图的单独直条对直方图的总熵的贡献的方差，以确定图像传感器的与方差的最小值相对应的最佳曝光时间；以及(c)数据输出指令，数据输出指令当由处理器执行时将最佳曝光时间输出到图像传感器。
在实施例中，一种用于空间复用曝光(SME)高动态范围(HDR)图像传感器的自动曝光方法包括(a)从SME HDR图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自SMEHDR图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(b)针对SME-HDR图像传感器的多个空间区域中的每一个，评估空间区域中的所选长曝光像素的饱和度水平；(c)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的短曝光像素的减少的短曝光时间以及(ii)补偿减少的短曝光时间的增加的数字增益值；以及(d)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个短曝光像素。
在实施例中，一种具有自动曝光功能的高动态范围(HDR)成像系统包括SME HDR图像传感器，SME HDR图像传感器具有被配置成单独地针对多个空间区域中的每一个调整至少一个曝光时间的电路。HDR成像系统进一步包括处理器和在非暂态存储器中编码的机器可读指令。机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从SMEHDR图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(b)饱和度评估指令，饱和度评估指令当由处理器执行时针对空间区域中的每一个评估空间区域中的至少一个所选长曝光像素的饱和度水平；(c)调整指令，调整指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的每个短曝光像素的减少的短曝光时间以及(ii)补偿减少的短曝光时间的增加的数字增益值；以及(d)数据输出指令，数据输出指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的每个空间区域，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个短曝光像素。
附图说明
图1和图2图示了根据实施例的用于HDR相机中的空间复用曝光(SME)高动态范围(HDR)图像传感器的自动曝光的曝光时间控制器。
图3示出了用于场景的示例光亮度直方图。
图4图示了根据实施例的用于至少部分地基于对从由来自HDR图像传感器的长曝光像素值和短曝光像素值合成的HDR直方图得到的优良性度量的评估来自动曝光SME HDR图像传感器的曝光时间控制器。
图5图示了根据实施例的用于SME HDR图像传感器的自动曝光方法。
图6是示例熵方差的绘图。
图7图示了根据实施例的用于至少部分地基于对从由来自SME HDR图像传感器的长曝光像素值和短曝光像素值合成的HDR直方图得到的优良性度量的评估来自动曝光的SME HDR图像传感器的计算机。
图8图示了根据实施例的具有包括多个多色像素组的像素阵列的彩色SME HDR图像传感器。
图9图示了根据实施例的可以在图8的彩色SME HDR图像传感器中实施的多色三曝光时间像素组。
图10图示了根据实施例的用于彩色SME HDR图像传感器的自动曝光方法，该自动曝光方法生成并考虑彩色SME HDR图像传感器的每种颜色的HDR直方图。
图11图示了根据实施例的用于彩色SME HDR图像传感器的自动曝光方法，该自动曝光方法生成并考虑光亮度值的HDR直方图。
图12图示了根据实施例的之字形HDR图像传感器。
图13图示了根据实施例的四SME HDR彩色图像传感器。
图14图示了根据实施例的预处理方法。
图15示出了长曝光像素值的示例直方图。
图16示出了短曝光像素值的示例直方图。
图17是图示了噪声对像素值的直方图的示例影响的示例绘图。
图18图示了根据实施例的用于合成HDR直方图的方法。
图19示出了使用图18的方法合成的一个示例HDR直方图。
图20图示了根据实施例的用于双曝光时间SME HDR图像传感器的自动曝光方法，该方法基于熵方差首先优化长曝光时间并且接下来优化短曝光时间。
图21是在图20的方法中计算的示例熵方差的绘图。
图22图示了根据实施例的用于优化SME HDR图像传感器的长曝光时间的方法。
图23、图24和图25图示了在图22的方法中进行HDR直方图生成和对目标长曝光时间的估计的一个示例。
图26是在图22的方法中生成的示例初步HDR直方图。
图27是根据在图22的方法中输出的最佳长曝光时间移位的示例HDR直方图。
图28至图31是在图22的方法中考虑的示例HDR直方图。
图32和图33图示了根据实施例的包括用于缩小场景的动态范围的梯度滤波器的HDR相机。
图34图示了根据实施例的用于重构当由HDR相机使用梯度滤波器捕获时的场景的原始动态范围的至少一部分的方法。
图35图示了根据实施例的用于自动曝光SME HDR图像传感器的视频流捕获的方法，其中视频流的时间明亮度不稳定性在捕获后减少。
图36图示了根据实施例的用于自动曝光SME HDR图像传感器的视频流捕获的方法，该方法根据未来场景的预测明亮度来优化自动曝光。
图37图示了根据实施例的具有局部曝光时间控制的SME HDR图像传感器。
图38图示了根据实施例的用于SME HDR图像传感器的局部自动曝光的方法。
图39图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光SMEHDR图像传感器的曝光时间控制器。
图40图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光SMEHDR图像传感器的方法。
图41图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光SMEHDR图像传感器的计算机。
图42图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光单曝光时间图像传感器的曝光时间控制器。
图43图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光单曝光时间图像传感器的方法。
图44图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光单曝光时间图像传感器的计算机。
图45图示了根据实施例的用于基于SME HDR图像传感器的长曝光像素的饱和度水平来自动曝光SME HDR图像传感器的曝光时间控制器。
图46图示了根据实施例的针对其像素阵列的多个局部空间区域具有单独的短曝光时间控制的SME HDR图像传感器。
图47图示了根据实施例的针对代表SME HDR图像传感器的每个光谱灵敏度等级和曝光时间的每个局部像素组具有单独的短曝光时间控制的SME HDR图像传感器。
图48图示了根据实施例的用于基于SME HDR图像传感器的长曝光像素的饱和度水平来自动曝光SME HDR图像传感器的方法。
图49图示了根据实施例的用于基于长曝光像素的饱和度水平来自动曝光SME HDR图像传感器的计算机。
具体实施方式
本文公开了用于空间复用曝光(Spatially-multiplexed-exposure,SME)高动态范围(High-dynamic-range,HDR)图像传感器的自动曝光的系统和方法以及采用SME HDR图像传感器并且具有自动曝光功能的相机系统。所公开的系统和方法的某些实施例具有超出SME HDR图像传感器的自动曝光的适用性。
图1和图2图示了用于HDR相机102中的SME HDR图像传感器110的自动曝光的一个曝光时间控制器100。图1示出了在一个使用示例中在HDR相机102中实施的曝光时间控制器100。图2是图示了HDR相机102中的曝光时间控制器100的功能的功能框图。最好一起观看图1和图2。
在图1的使用情景中，HDR相机102生成至少因为人192被太阳196背光照亮而具有高动态范围的场景190的HDR图像，使得人192的面部194比被太阳196直接照亮的场景190的各部分显著更黑暗。出于实现HDR成像的目的，SME HDR图像传感器110的光敏像素阵列220包括多个长曝光像素222和多个短曝光像素224。长曝光像素222被配置成在长曝光时间292下操作，而短曝光像素224被配置成在短曝光时间294下操作。当生成HDR影像时(例如，根据需要，以捕获场景190的动态范围)，长曝光时间292比短曝光时间294长。然而，在一些实施例中，当场景的动态范围不需要HDR影像或者当HDR相机102的用户已经禁用HDR功能时，SMEHDR图像传感器110可以被配置成以相等的长曝光时间292和短曝光时间294操作。
可以理解的是，图2中描绘的像素阵列220中的长曝光像素222和短曝光像素224的布局仅是像素阵列220的可能配置的一个示例。在不脱离其范围的情况下，像素阵列220可以与图2所示的布局不同地布置长曝光像素222和短曝光像素224。然而，为了获得HDR影像，像素阵列220以马赛克方式布置长曝光像素222和短曝光像素224，使得每个长曝光像素222邻近或接近至少一个短曝光像素224，并且反之亦然(例如，如图2中的像素组226所指示的)。
SME HDR图像传感器110在单次“拍摄”中曝光像素阵列220的所有像素，使得由像素阵列220捕获的每个帧包括长曝光像素222和短曝光像素224两者的像素值。作为比较，时间复用曝光HDR相机无法将不同的曝光时间应用于同一像素阵列的不同像素。相反，时间复用曝光HDR相机配备有标准单曝光时间像素阵列并且在两个(或更多个)不同的相应曝光时间下顺序地捕获两个(或更多个)全帧。
曝光时间控制器100被配置成调整长曝光时间292和短曝光时间294中的至少一项，以获得对于场景190最佳的扩展动态范围。
图3示出了如场景190等场景的一个示例光亮度直方图300。典型的单曝光时间图像传感器具有动态范围310。这种单曝光时间图像传感器的自动曝光可以将动态范围310移动到光亮度直方图300的最重要部分。然而，无论其位置如何，动态范围310都将错过光亮度直方图300中的信号的显著部分。相比之下，长曝光像素222和短曝光像素224的共存使SMEHDR图像传感器110能够获得大于动态范围310的高动态范围(如高动态范围320)。长曝光像素222和短曝光像素224中的每一个可以具有与动态范围310类似的动态范围，但是长曝光像素222和短曝光像素224的动态范围可以协作以捕获更高的动态范围。
再次参考图1和图2，曝光时间控制器100被配置成确定最佳地捕获光亮度直方图300中的信号的长曝光时间292和短曝光时间294的值。因此，曝光时间控制器100可以调整高动态范围320的位置和程度两者，以最佳地捕获场景190的动态范围。
曝光时间控制器100从像素阵列220的曝光取得原始图像数据280。对于由像素阵列220捕获的每个帧，原始图像数据280包括(a)来自相应长曝光像素222的长曝光像素值282和(b)来自相应短曝光像素224的短曝光像素值284两者。曝光时间控制器100处理原始图像数据280的一个或多个帧，以针对场景190的动态范围属性调整长曝光时间292和短曝光时间294。曝光时间控制器100将包括长曝光时间292和短曝光时间294的值的经调整的曝光时间集合290传送到SME HDR图像传感器110。曝光时间控制器100可以调整长曝光时间292和短曝光时间294之一或两者。
在一种实施方式中，曝光时间控制器100通过迭代过程优化曝光时间集合290。在此迭代过程中，曝光时间控制器执行以下各项的多次迭代：(a)从SME HDR图像传感器110取得原始图像数据280的帧；(b)基于长曝光像素值282和短曝光像素值284来调整长曝光时间292和短曝光时间294之一或两者；以及(c)将经调整的曝光时间步骤290传送到SME HDR图像传感器110。每个后续迭代都基于根据在先前迭代中接收的经调整的曝光时间集合290捕获的原始图像数据280。在另一种实施方式中，曝光时间控制器100基于对来自若干个不同帧的原始图像数据280的分析以非迭代的方式优化曝光时间集合290，每个帧使用不同的曝光时间集合290捕获。
HDR相机102可以进一步包括从原始图像数据280生成HDR图像270(例如，如在由曝光时间控制器100对SME HDR图像传感器110进行自动曝光之后所捕获的)的HDR图像生成器250。
图4图示了用于至少部分地基于对从由来自SME HDR图像传感器的长曝光像素值和短曝光像素值合成的HDR直方图得到的优良性度量的评估来自动曝光SME HDR图像传感器的一个曝光时间控制器400。曝光时间控制器400是曝光时间控制器100的实施例并且可以与SME HDR图像传感器110一起在HDR相机402(HDR相机102的实施例)中实施。替代性地，曝光时间控制器400可以被提供为要与第三方SME HDR图像传感器一起实施的独立产品。
曝光时间控制器400包括预处理器420、合成器430和调整器440。调整器440包括度量评估器442。曝光时间控制器400可以进一步包括数据输入处理程序410和数据输出处理程序450之一或两者。
在操作中，预处理器420处理来自SME HDR图像传感器110的曝光(即，来自由SMEHDR图像传感器110捕获的一个帧)的原始图像数据280的长曝光像素值282和短曝光像素值284。数据输入处理器410可以从SME HDR图像传感器110取得原始图像数据280。在由预处理器420进行预处理之后，合成器430将长曝光像素值282和短曝光像素值284合成为像素值的HDR直方图。调整器440利用度量评估器442来评估HDR直方图的优良性度量。调整器440至少部分地基于此优良性度量来生成经调整的曝光时间集合290。数据输出处理器450可以将经调整的曝光时间集合290传送到SME HDR图像传感器110。
在实施例中，曝光时间控制器400进一步包括面部检测器460。面部检测器460处理从SME HDR图像传感器110接收的图像数据(例如，由数据输入处理器410取得的原始图像数据280)以检测由SME HDR图像传感器110捕获的图像中的更多个面部(如面部194)之一。在此实施例中，调整器440可以进一步将由面部检测器460检测到的一个或多个面部的曝光考虑在内，以调整曝光时间集合290。在此实施例的一个示例中，调整器440共同考虑优良性度量和由面部检测器460检测到的一个或多个面部的曝光，以针对(多个)面部的适当曝光和HDR直方图的一般动态范围的理想捕获两者来优化曝光时间集合290。调整器440可以被配置成根据预先配置的或用户可定义的设置来权衡这两个度量。
曝光时间控制器400可以进一步包括组合器416。下文主要参考图11讨论组合器416的功能。
HDR相机402可以进一步包括从原始图像数据280生成HDR图像270(例如，如在由曝光时间控制器400对SME HDR图像传感器110进行自动曝光之后所捕获的)的HDR图像生成器250。
图5图示了用于SME HDR图像传感器的一种自动曝光方法500。方法500可以由曝光时间控制器400执行，例如以自动曝光HDR相机102中的SME HDR图像传感器110。
在步骤510中，方法500从SME HDR图像传感器的曝光取得原始图像数据，该原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的像素的短曝光像素值。对于每个长曝光像素值，存在至少一个对应短曝光像素值，并且反之亦然。对应的长曝光像素值和短曝光像素值的每个这样的组源自邻近或附近的长曝光像素和短曝光像素。例如，像素组226生成长曝光像素值282和短曝光像素值284的空间关联组。在步骤510的一个示例中，数据输入处理器410从SME HDR图像传感器110的曝光取得原始图像数据280的帧。
在步骤520中，方法500对在步骤510中取得的长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值。步骤520可以包括单独地对长曝光像素值和短曝光像素值进行过滤的步骤522。步骤522可以去除饱和的长曝光像素值和受噪声显著影响的短曝光像素值。步骤520还可以去除受运动伪影影响的长曝光像素值和短曝光像素值。即使长曝光像素值和短曝光像素值源自SMEHDR图像传感器的相同曝光，长曝光时间与短曝光时间之间的差异也可能导致场景的非静态区域中的长曝光像素值与短曝光像素值之间不一致。这些运动伪影不如利用时间复用曝光HDR相机经历的那些严重，其中，长曝光和短曝光至少相隔完整的读出周期。在实施例中，步骤520包括从长曝光像素值和短曝光像素值中去除噪声影响的步骤524。预处理器420可以对长曝光像素值282和短曝光像素值284执行步骤520。
在步骤520中进行预处理之后，剩余长曝光像素值中的一些可能不再具有空间上关联的剩余短曝光像素值，并且剩余短期曝光像素值中的一些可能不再具有空间上关联的剩余长曝光像素值。然而，空间上关联的长曝光像素值和短曝光像素值的一些组可以仍是完整的或者至少仍包括一个长曝光像素值和一个短曝光像素值。
在步骤530中，方法500将在步骤520之后剩余的长曝光像素值和短曝光像素值合成为HDR直方图。在步骤530的一个示例中，合成器430在根据步骤520进行预处理之后合成从预处理器420接收的长曝光像素值282和短曝光像素值284。
在步骤540中，方法500从在步骤530中合成的HDR直方图得到优良性度量。优良性度量可以基于如以下各项等一个或多个参数：(a)HDR直方图中曝光过度或曝光不足的像素的数量；(b)在HDR直方图中的下端和/或上端裁剪的像素的数量；(c)HDR直方图的统计参数(例如，平均值、加权平均值或中值)；(d)从直方图计算的总熵(例如Stotal＝-∑pilog2(pi))，其中，pi是HDR直方图的第i'个直条中的相对计数，并且求和是关于HDR直方图的所有直条i；(e)总熵Stotal的加权版本；(f)由于噪声造成的熵Snoise；(g)确定为F＝Stotal-Snoise的有用熵；(h)单独直条对总熵的贡献的跨HDR直方图的方差，例如，Var(Si)＝(Si-mean(Si))2，其中，Si＝-pilog2(pi)；以及(i)过渡点噪声差异，该过渡点噪声差异在本文被定义为在从由SME HDR图像传感器捕获的图像数据对HDR图像的HDR图像生成中使用长曝光像素值与使用短曝光像素值之间的过渡点处的长曝光像素值与短曝光像素值之间的噪声差异。在优良性度量包括多于一个参数的实施方式中，优良性度量可以是这种参数的加权和。可以根据参数的较低值还是较高值被认为有利来设置权重的幅值。在步骤540的一个示例中，度量评估器442从由合成器430合成的HDR直方图得到优良性度量。
在步骤550中，方法500调整SME HDR图像传感器的长曝光时间和短曝光时间中的至少一项。步骤550将此调整至少部分地基于优良性度量，并且由步骤550进行的调整寻求改善此优良性度量。例如，步骤550可以调整长和/或短曝光时间以最大化有用熵，以共同最小化Var(Si)和过渡点噪声差异、减少HDR直方图的上端和/或下端处的裁剪或优化上文关于步骤540列出的另一个优良性度量。步骤550可以考虑复合优良性度量的若干个方面并且基于不同方面进行不同的调整。在步骤550的一个示例中，调整器440至少部分地基于在步骤540中确定的优良性度量来调整长曝光时间292和短曝光时间294之一或两者并且输出所得经调整的曝光时间集合290。
图6是可以在方法500的步骤540的多次重复中计算的示例熵方差的绘图600。绘图600示出了随长曝光时间与短曝光时间之间的固定比率16而变的长曝光时间Var(Si)。绘图600示出了在大约5毫秒的长曝光时间下的熵方差Var(Si)的最小值。因此，在基于绘图600的数据的步骤550的示例中，步骤550可以确定最佳长曝光时间为大约5毫秒。
方法500的步骤550可以利用如绘图600中所示的那些数据等数据来确定最佳曝光时间，可选地同时还考虑其他因素。步骤550可以将熵方差Var(Si)视为长曝光时间的函数(例如，如图6所示)、短曝光时间的函数或短曝光时间和长曝光时间两者的函数。
在实施例中，方法500进一步包括检测由SME HDR图像传感器生成的图像中的更多个面部之一的步骤560。在方法500的此实施例中，步骤550包括改善(多个)检测到的面部的曝光的步骤552。面部检测器460可以执行步骤560。步骤552可以将(多个)检测到的面部的明亮度与目标明亮度进行比较并且相应地缩放长曝光时间(可选地以权衡的方式)，其中根据优良性度量对曝光时间进行优化。例如，步骤550可以在步骤552中调整长曝光时间以改善面部曝光并且然后调整短曝光时间以改善步骤540的优良性度量。
在步骤570中，方法500将如在步骤550中调整的曝光时间集合输出到SME HDR图像传感器。在步骤570的一个示例中，数据输出处理器450将经调整的曝光时间集合290输出到SME HDR图像传感器110。
方法500可以进一步包括捕获在步骤510中取得的原始图像数据的步骤502。在步骤502的一个示例中，SME HDR图像传感器110捕获原始图像数据280。
在一种实施方式中，方法500执行步骤510、520、530、540、550(可选地在步骤560之前并且包括步骤552)和570以及可选地步骤502的若干次迭代，以迭代地优化SME HDR图像传感器的曝光时间。在此实施方式中，每次迭代(除了第一次迭代)都基于利用根据如先前迭代中调整的曝光时间生成的原始图像数据。一个迭代优化过程的不同迭代可以强调不同的优良性度量和/或面部曝光。例如，初始迭代可以对长曝光时间进行调整以减少HDR直方图的低端处的裁剪和/或改善面部曝光，而后续迭代调整短曝光时间并且对长曝光时间进行较小调整以优化从HDR直方图得到的优良性度量(如基于熵的度量)。
在不脱离其范围的情况下，方法500可以执行步骤510、520、530和540(以及可选地步骤560和502之一或两者)的若干次重复，而不是执行迭代优化，以根据长和/或短曝光时间来绘制出优良性度量(以及可选地面部曝光)。在此替代性实施方式中，步骤550选择优化优良性度量或共同优化优良性度量和面部曝光的曝光时间集合，并且步骤570将所选曝光时间集合输出到SME HDR图像传感器。
尽管图5中未示出，但是方法500可以进一步包括从在通过步骤510、520、530、540、550和570(以及可选地560)的迭代或重复对SME HDR图像传感器110进行自动曝光之后捕获的原始图像数据生成HDR图像(例如，HDR图像270)的步骤。HDR图像生成器250可以执行生成HDR图像的此步骤。
图7图示了用于至少部分地基于对从由来自HDR图像传感器的长曝光像素值和短曝光像素值合成的HDR直方图得到的优良性度量的评估来自动曝光SME HDR图像传感器的一个计算机700。计算机700是曝光时间控制器400的实施例并且可以与SME HDR图像传感器110一起在HDR相机402中实施。替代性地，计算机700可以被提供为要与第三方SME HDR图像传感器一起实施的独立产品。计算机700包括处理器710、非暂态存储器720和接口790。存储器720包括机器可读指令730并且可以进一步包括动态数据存储设备760。
机器可读指令730包括在由处理器710执行时分别执行方法500的步骤510、520、530、550、540和570的数据输入指令732、预处理指令740、合成指令742、调整指令746、度量指令748和数据输出指令734。数据输入指令732被配置成经由接口790取得原始图像数据280，并且数据输出指令734被配置成经由接口790输出曝光时间集合290。机器可读指令730可以进一步包括在由处理器710执行时分别执行方法500的步骤560和524的面部检测指令750和噪声去除指令752之一或两者。
在某些实施例中，机器可读指令730包括迭代指令754，该迭代指令在由处理器710执行时根据数据输入指令732、预处理指令740、合成指令742、调整指令746、度量指令748和方法和数据输出指令734以及可选地面部检测指令750和噪声去除指令752之一或两者来实现(effect)方法500的若干次迭代的执行。
动态数据存储设备760可以存储以下各项中的一项或多项：(a)在由处理器710执行数据输入指令732时经由接口790接收并且在由处理器710执行预处理指令740时预处理的长曝光像素值282和短曝光像素值284；(b)在由处理器710执行合成指令742时生成的HDR直方图770；(c)在由处理器710执行度量指令748时生成的优良性度量值772；以及在由处理器710执行调整指令746时调整的长曝光时间292和短曝光时间294。
机器可读指令730可以进一步包括与处理器710协作以形成组合器416的实施例的组合指令736。
数据输入指令732、预处理指令740、合成指令742、调整指令746、度量指令748、数据输出指令734、面部检测指令750和组合指令736与处理器710协作形成数据输入处理器410、预处理器420、合成器430、调整器440、度量评估器442、数据输出处理器450、面部检测器460和组合器416的相应实施例。噪声去除指令752可以在预处理器420中实施。迭代指令754可以在曝光时间控制器400中实施。
应当理解，机器可读指令730可以被提供为在非暂态存储器中编码以用于与第三方处理器710和接口790一起实施的独立软件产品。
SME HDR图像传感器可以被配置成在每次曝光中利用多于两个不同曝光时间，例如长曝光时间、中间曝光时间和短曝光时间。上文关于图1至图7描述的系统和方法易于被扩展成与这种SME HDR图像传感器一起工作。因此，在不脱离其范围的情况下，除了长曝光像素222和短曝光像素224之外，SME HDR图像传感器110还可以包括一组或多组中间曝光像素，其中，每组中间曝光像素在比长曝光时间292短但比短曝光时间294长的相应中间曝光时间下曝光。SME HDR图像传感器110的这种实施例在原始图像数据280的每个帧中输出长曝光像素值282、短曝光像素值284以及由一组或多组相应中间曝光像素生成的一组或多组中间曝光像素值。例如，每个像素组226可以被定位于相同空间区域中的一个或多个中间曝光像素扩展。
相应地，曝光时间控制器100可以处理进一步包括这种中间曝光像素值的原始图像数据280。与限于两个不同曝光时间的实施例相比，基于三个或更多不同曝光时间的实施例可以进一步扩展高动态范围320。替代性地或与其组合地，(多个)附加曝光时间可以用于减少对SME HDR图像传感器的位深度或噪声要求或者在自动曝光过程中提供至少一个附加自由度。
现在参考曝光时间控制器400，数据输入处理器410、预处理器420和合成器430中的每一个可以被配置成进一步处理一组或多组中间曝光像素值作为原始图像数据280的一部分。具体地，预处理器420可以从每组中间曝光像素值中去除饱和的中间曝光像素值和受到噪声显著影响的中间曝光像素值两者。调整器440和数据输出处理器450中的每一个可以被配置成处理作为曝光时间集合290的一部分的一个或多个中间曝光时间。类似地，对于方法500，步骤502、510、520和530(以及在某些实施例中还有步骤560)中的每一个可以被适配成除了长曝光像素值和短曝光像素值之外还处理一组或多组中间曝光像素值，并且步骤550和570中的每一个可以被适配成除了长曝光时间和短曝光时间之外还处理一个或多个中间曝光时间。因此，计算机700可以被类似地配置成进一步处理一组或多组中间曝光像素值和一个或多个中间曝光时间。
在包括一个或多个中间曝光时间的实施例中，过渡点噪声差异可以指代在持续时间方面彼此邻近的两个曝光时间之间的过渡点噪声差异。例如，在具有长曝光时间、单个中间曝光时间和短曝光时间的实施例中，可以在长曝光像素值与中间曝光像素值之间和/或在中间曝光像素值与短曝光像素值之间评估过渡点噪声差异。
上文关于图1至图7所讨论的实施例适用于单色SME HDR图像传感器和彩色SMEHDR图像传感器两者。对于彩色SME HDR图像传感器，长曝光像素值和短曝光像素值(以及在适用时，每组中间曝光像素值)各自包含多种不同颜色(如三种颜色)的像素值。例如，每个像素组226可以被扩展成包括(a)分别对三种不同颜色敏感的三个长曝光像素222以及(b)分别对所述三种不同颜色敏感的三个短曝光像素224(以及在适用时，分别对所述三种不同颜色敏感的一组或多组三个中间曝光像素)。曝光时间控制器100、曝光时间控制器400、方法500和计算机700可以被配置成首先将不同的颜色组合以生成代表光亮度的长曝光像素值和短曝光像素值(以及在适用时，一组或多组中间曝光像素值)并且然后如上文所讨论的继续进行以基于这些曝光时间特定的光亮度值来确定(多个)曝光时间。曝光时间控制器400可以采用组合器416来组合不同的颜色。替代性地，曝光时间控制器100、曝光时间控制器400、方法500和计算机700可以被配置成单独地处理不同的颜色，至少直到调整曝光时间集合的点为止，在该点处，可以统一定义所有颜色的每个曝光时间。
图8图示了具有包括多个多色像素组830的像素阵列820的一个彩色SME HDR图像传感器810。彩色SME HDR图像传感器810是SME HDR图像传感器110的实施例，像素阵列820是像素阵列220的实施例，并且像素组830是像素组226的实施例。每个像素组830包括长曝光像素832和短曝光像素834。长曝光像素832和短曝光像素834是长曝光像素222和短曝光像素224的实施例。在每个像素组830内，长曝光像素832包括颜色特定像素842L、844L和846L，并且短曝光像素834包括颜色特定像素842S、844S和846S。像素842L和842S对第一颜色敏感，像素844L和844S对第二颜色敏感，并且像素846L和846S对第三颜色敏感。第一颜色、第二颜色和第三颜色可以分别是红色、绿色和蓝色。每个像素组830可以包括颜色特定像素842L、844L、846L、842S、844S和846S中的任何一个的两个或更多个实例。例如，如图8所示，每个像素组830可以包括像素844L的两个实例和像素844S的两个实例。
图9图示了可以在彩色SME HDR图像传感器810中实施的一个多色三曝光时间像素组930。像素组930是进一步包括至少一组中间曝光像素936的像素组830的实施例。每组中间曝光像素936在比长曝光时间短但比短曝光时间长的中间曝光时间下曝光。每组中间曝光像素936包括分别对第一颜色、第二颜色和第三颜色敏感的颜色特定像素942M、944M和946M。每个像素组930可以包括颜色特定像素842L、844L、846L、842S、844S、846S、942M、944M和946M中的任何一个的两个或更多个实例。例如，如图9中的虚线框所示，每个像素组930可以包括像素844L的两个实例、像素844S的两个实例和像素944M的两个实例。在包括多于一组中间曝光像素936的像素组930的实施例中，每组中间曝光像素936在不同的相应曝光时间下曝光。
图10图示了用于彩色SME HDR图像传感器的一种自动曝光方法1000，该自动曝光方法生成并考虑彩色SME HDR图像传感器的每种颜色的HDR直方图。方法1000是方法500的实施例。方法1000可以由曝光时间控制器400或计算机700执行，例如以自动曝光HDR相机102中的彩色SME HDR图像传感器810。
方法1000针对每种颜色单独执行步骤510、520、530和540。方法1000由此确定每种颜色的优良性度量。优良性度量对于不同的颜色可以或可以不相同或类似。在一个示例中，数据输入处理器410、预处理器420、合成器430和度量评估器442基于原始图像数据280分别针对彩色SME HDR图像传感器810的第一颜色、第二颜色和第三颜色中的每一个执行步骤510、520、530和540，该原始图像数据包括来自长曝光像素832的长曝光像素值282和来自短曝光像素834的短曝光像素值284以及可选地来自中间曝光像素936的中间曝光像素值。
接下来，方法1000至少部分地基于对在步骤540中确定的颜色特定的优良性度量的共同评估来执行调整长曝光时间和短曝光时间中的至少一项的步骤1050。在步骤1050中确定的每个曝光时间适用于每种颜色。步骤1050不生成颜色特定的曝光时间。步骤1050是步骤550的实施例。在对颜色特定的优良性度量的共同评估中，步骤1050可以将相同的权重应用于每种颜色或应用依赖于颜色的权重。依赖于颜色的权重可以自适应于场景内容，使得为主要颜色分配更大的权重。在步骤1050的一个示例中，调整器440至少部分地基于对在步骤540中确定的颜色特定的优良性度量的共同评估来调整长曝光时间292和短曝光时间294(以及可选地一个或多个中间曝光时间)中的至少一项，并且调整器440输出所得经调整的曝光时间集合290。
如上文关于图5所讨论的，方法1000可以包括步骤560和552。在一种实施方式中，方法1000使步骤560基于不同颜色中的一种或多种颜色并且在颜色特定的图像数据中(例如，在绿色图像数据中)搜索面部。在另一种实施方式中，方法1000在步骤560中组合不同的颜色以生成形成面部检测的基础的光亮度图像。
在完成步骤1050之后，方法1000执行步骤570，以将如在步骤550中调整的曝光时间集合输出到彩色SME HDR图像传感器。在步骤570的一个示例中，数据输出处理器450将经调整的曝光时间集合290输出到彩色SME HDR图像传感器810。
方法1000可以进一步包括捕获在步骤510中取得的原始图像数据的步骤502。如在方法1000中实施的，在步骤502的一个示例中，彩色SME HDR图像传感器810捕获原始图像数据280，该原始图像数据包括来自长曝光像素832的长曝光像素值282和来自短曝光像素834的短曝光像素值284以及可选地来自中间曝光像素936的中间曝光像素值。
方法1000可以执行步骤510、520、530、540、550(可选地在步骤560之前并且包括步骤552)和570以及可选地步骤502的若干次迭代，以迭代地优化SME HDR图像传感器的曝光时间，其中，在每次迭代中针对每种颜色执行步骤510、520、530和540。如上文关于图5所讨论的，每次迭代(除第一次迭代)都基于利用根据如先前迭代中调整的曝光时间生成的原始图像数据，并且一个迭代优化过程的不同迭代可以强调不同的优良性度量和/或面部曝光。在不脱离其范围的情况下，方法1000可以执行步骤510、520、530和540(以及可选地步骤560和502之一或两者)的若干次重复，而不是执行迭代优化，以根据长和/或短曝光时间来绘制出优良性度量(以及可选地面部曝光)，其中，在每次重复中针对每种颜色执行步骤510、520、530和540。在此替代性实施方式中，步骤550选择优化优良性度量或共同优化优良性度量和面部曝光的曝光时间集合，并且步骤570将所选曝光时间集合输出到SME HDR图像传感器。
图11图示了用于彩色SME HDR图像传感器的一种自动曝光方法1100，该自动曝光方法生成并考虑光亮度值的HDR直方图。方法1100是方法500的实施例。方法1100可以由曝光时间控制器400或计算机700执行，例如以自动曝光HDR相机102中的彩色SME HDR图像传感器810。
在步骤1110中，方法1100针对每种颜色从SME HDR图像传感器的曝光取得原始图像数据。原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的像素的颜色特定的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的像素的颜色特定的短曝光像素值。原始图像数据还可以包括一组或多组颜色特定的中间曝光像素值，其中，每组颜色特定的中间曝光像素值源自SME HDR图像传感器的由相应中间曝光时间表征的像素。在步骤1110的一个示例中，数据输入处理器410从SME HDR图像传感器110的曝光取得原始图像数据280的帧，其中，原始图像数据280的帧包括来自每个像素组830的长曝光像素832的长曝光像素值282和来自每个像素组830的短曝光像素834的短曝光像素值283。原始图像数据280的帧还可以包括一组或多组中间曝光像素值，其中，每组源自每个像素组930的在相应中间曝光时间下曝光的中间曝光像素936。
后续步骤1120针对每个曝光时间将来自与不同颜色相关联的空间邻近像素的像素值组合以生成相应的曝光时间特定的光亮度值。步骤1120将与不同颜色相关联的空间上邻近的颜色特定的长曝光像素值组合，以生成代表光亮度的长曝光像素值，并且将与不同颜色相关联的空间上邻近的颜色特定的短曝光像素值组合，以生成代表光亮度的短曝光像素值。步骤1120还可以将与不同颜色相关联的空间上邻近的颜色特定的中间曝光像素值组合，以生成代表光亮度的中间曝光像素值。在步骤1120的一个示例中，组合器416处理从每个像素组830接收的像素值。对于每个像素组830，组合器416(a)将来自像素842L、844L和846L的长曝光像素值282组合，以形成所考虑的像素组830的长曝光光亮度值，并且(b)将来自像素842S、844S和846S的短曝光像素值283组合，以形成所考虑的像素组830的短曝光光亮度值。组合器416还可以针对每个像素组830(930)并且针对每个中间曝光时间，将来自像素942M、944M和946M的中间曝光像素值组合，以形成所考虑的像素组830(930)和中间曝光时间的中间曝光光亮度值。
在步骤1130中，方法1100执行步骤520和530，以基于在步骤1120中的步骤中获得的曝光时间特定的光亮度值，来生成光亮度值的HDR直方图。接下来，方法1100执行步骤540，以从直方图得到优良性度量。此优良性度量涉及光亮度并且不是颜色特定的。方法1100继续进行以执行步骤550和570，如上文关于图5所讨论的。
方法1100可以进一步包括捕获在步骤510中取得的原始图像数据的步骤502。如在方法1000中实施的，在步骤502的一个示例中，彩色SME HDR图像传感器810捕获原始图像数据280，该原始图像数据包括来自长曝光像素832的长曝光像素值282和来自短曝光像素834的短曝光像素值284、以及可选地来自中间曝光像素936的中间曝光像素值。
在实施例中，方法1100包括步骤560，并且步骤550包括552。在此实施例的一种实施方式中，步骤560基于在步骤1110中取得的原始图像数据。例如，面部检测器460可以处理从数据输入处理器410接收的原始图像数据280，以检测一个或多个面部。在此实施例的另一种实施方式中，步骤560基于在步骤1120中生成的光亮度数据。例如，面部检测器460可以处理由数据组合器416生成的光亮度数据以检测一个或多个面部。
方法1100可以执行步骤1110、1120、1130、540、550(可选地在步骤560之前并且包括步骤552)和570以及可选地步骤502的若干次迭代，以迭代地优化彩色SME HDR图像传感器的曝光时间。如上文关于图5所讨论的，每次迭代(除第一次迭代)都基于利用如先前迭代中调整的曝光时间生成的原始图像数据，并且一个迭代优化过程的不同迭代可以强调不同的优良性度量和/或面部曝光。在不脱离其范围的情况下，方法1100可以执行步骤1110、1120、1130和540(以及可选地步骤560和502之一或两者)的若干次重复，而不是执行迭代优化，以根据长和/或短曝光时间来绘制出优良性度量(以及可选地面部曝光)，其中，在每次重复中针对每种颜色执行步骤1110、1120、1130和540。在此替代性实施方式中，步骤550选择优化优良性度量或共同优化优良性度量和面部曝光的曝光时间集合，并且步骤570将所选曝光时间集合输出到彩色SME HDR图像传感器。
图12图示了一个之字形HDR图像传感器1200。图像传感器1200是彩色SME HDR图像传感器810的实施例。图像传感器1200的像素被布置成正方形像素组1210。应当理解，图像传感器1200可以包括比图12中所描绘的像素组更多的像素组1210，例如数百或数千个像素组1210。每个像素组1210包括长曝光时间像素1222(在图12中用白色背景示出)和短曝光时间像素1224(在图12中用阴影背景示出)。在每个像素组1210中，长曝光时间像素1222包括对绿光敏感的四个像素“GL”、对红光敏感的两个像素“RL”和对蓝光敏感的两个像素“BL”，并且短曝光时间像素1224包括对绿光敏感的四个像素“GS”、对红光敏感的两个像素“RS”和对蓝光敏感的两个像素“BS”。像素组1210沿交替的之字形路径(参见图12中的白色和阴影之字形路径)布置长曝光时间像素1222和短曝光时间像素1224。每个像素组1210都是像素组830的实施例。
曝光时间控制器400和计算机700可以使用方法1000或1100来使之字形HDR图像传感器1200自动曝光。
图13图示了四SME HDR彩色图像传感器1300。图像传感器1300是实施像素组930的彩色SME HDR图像传感器810的实施例。图像传感器1300的像素被布置成正方形像素组1310。应当理解，图像传感器1300可以包括比图13中所描绘的像素组更多的像素组1310，例如数百或数千个像素组1310的阵列。每个像素组1310包括对红光敏感的一个2×2红色像素像素簇1332、对绿光敏感的两个2×2绿色像素像素簇1334和对蓝光敏感的一个2×2蓝色像素像素簇1336。每个像素簇1332、1334和1336包括一个长曝光时间像素1322、两个中间曝光时间像素1326和一个短曝光时间像素1324。因此，如图13所指示的，每个像素簇1332包括一个长曝光时间像素“RL”、两个中间曝光时间像素“RM”和一个短曝光时间像素“RS”，每个像素簇1334包括一个长曝光时间像素“GL”、两个中间曝光时间像素“GM”和一个短曝光时间像素“GS”，并且每个像素簇1336包括一个长曝光时间像素“BL”、两个中间曝光时间像素“BM”和一个短曝光时间像素“BS”。
曝光时间控制器400和计算机700可以使用方法1000或1100来使四SME HDR彩色图像传感器1300自动曝光。
图14图示了一种预处理方法1400。方法1400是方法500的步骤520的实施例。方法1400可以在方法1000的步骤520和方法1100的步骤1130中实施。方法1400可以由预处理器420执行。方法1400包括过滤步骤1410和1420。步骤1410从长曝光像素值中去除高于饱和度相关阈值的长曝光像素值。步骤1420从短曝光像素值中去除低于噪声相关阈值的短曝光像素值。步骤1410可以构造长曝光像素值的直方图，并且将去除高于饱和度相关阈值的长曝光像素值的掩模应用于此直方图。类似地，步骤1420可以构造短曝光像素值的直方图，并且将去除低于噪声相关阈值的短曝光像素值的掩模应用于此直方图。
图15示出了在直条1510中装直条的长曝光像素值282的示例直方图1500。每个直条1510由中心值1512表征。步骤1410可以从长曝光像素值282构造直方图1500。步骤1410可以过滤出超过饱和度阈值1520的长曝光像素值282。出于此目的，步骤1410可以将掩模1540应用于直方图1500。
图16示出了在直条1610中装直条的短曝光像素值284的示例直方图1600。每个直条1610由中心值1612表征。步骤1420可以从短曝光像素值284构造直方图1600。步骤1420可以过滤出低于噪声阈值1630的短曝光像素值284。出于此目的，步骤1420可以将掩模1640应用于直方图1600。
再次参考图14，应当理解，方法1400可以进一步包括从一组或多组中间曝光像素值中的每一组中去除高于饱和度相关阈值的中间曝光像素值和低于噪声相关阈值的中间曝光像素值的步骤。
在某些实施例中，方法1400进一步包括附加过滤步骤1430，该过滤步骤根据考虑从SME HDR图像传感器的空间区域中去除受运动差异影响的像素值。当成像的场景变化得如此迅速，使得长曝光时间与短曝光时间之间的差异导致由长曝光像素提供的信息与由邻近或附近的短曝光像素提供的信息之间有过多差异时，出现这些运动差异。步骤1430将在步骤1410和1420中过滤之后剩余的长曝光像素值和短曝光像素值进行比较，以评估长曝光像素值与短曝光像素值之间的运动差异。步骤1430然后从SME HDR图像传感器的空间区域中去除受超过阈值运动差异水平的运动差异影响的短曝光像素值和长曝光值。
在一个示例中，步骤1430从像素组226中过滤出所有像素值，在这些像素值中，对应的长曝光像素值282和短曝光像素值284在已经根据长曝光时间和短曝光时间缩放到共同的比例之后彼此显著偏离。在此比较中，步骤1430可以解释像素阵列220中的长曝光像素222与短曝光像素224之间的位置差异。在另一个示例中，步骤1430从像素组830中过滤出所有像素值，在这些像素值中，一对或多对相同颜色的长曝光像素值832和短曝光像素值834在已经根据长曝光时间和短曝光时间缩放到共同的比例之后彼此显著偏离。在此示例中，步骤1430可以考虑若干种颜色或仅一种颜色，例如，源自绿色长曝光像素844L和绿色短曝光像素844S的像素值。
在比较中，步骤1430可容易地扩展成进一步包括一组或多组中间曝光像素值。例如，步骤1430可以考虑来自像素组930的像素值。步骤1430可以丢弃空间区域的像素值，在这些像素值中，缩放到共同的曝光时间比例的至少一对长曝光像素值和对应短曝光像素值彼此偏离超过阈值。“对应短曝光像素值”是与长曝光像素值所源自的长曝光像素最接近或在预定义距离之内的短曝光像素的像素值，其中，对于彩色SME HDR图像传感器的附加要求是：对应短曝光像素具有与长曝光像素相同的颜色。对于单色SME HDR图像传感器，对应的长曝光像素和短曝光像素通常彼此相邻地定位。对于彩色SME HDR图像传感器，对应的长曝光像素和短曝光像素通常以其间不同颜色的一个或多个像素彼此间隔开。
在一个示例中，步骤1430丢弃来自空间区域的像素值，在这些像素值中，一对或多对对应的长曝光像素和短曝光像素无法满足以下要求：
|dlong-r*dshort|≤ε，
其中，dlong是长曝光像素值，是dshort短曝光像素值，r是长曝光时间与短曝光时间的比率，并且ε是阈值。在另一个示例中，步骤1430利用进一步解释长曝光像素和短曝光像素不共同定位的改进的关系。在此改进的示例中，步骤1430可以丢弃来自空间区域的像素值，在这些像素值中，一对或多对对应的长曝光像素和短曝光像素无法满足以下要求：
Figure BDA0003018868650000211
其中，xlong和xshort分别指代长曝光像素和短曝光像素的位置，并且
Figure BDA0003018868650000212
是长曝光像素值的梯度。
Figure BDA0003018868650000213
可以通过插值确定。
在方法1400的进一步考虑一组或多组中间曝光像素的实施例中，步骤1430可以进一步将中间曝光像素值与对应长曝光像素值和/或对应短曝光像素值进行比较，以评估其间的运动差异。替代性地，步骤1430可以仅使其过滤基于长曝光像素值与短曝光像素值之间的比较(即使对于方法1400的考虑中间曝光像素的实施例)，因为长曝光像素值与短曝光像素值之间的关系是对运动最敏感的关系。
方法1400可以进一步包括噪声去除步骤1440和1450。步骤1440从长曝光像素值中去除噪声影响，并且步骤1450从短曝光像素值中去除噪声影响。尽管在图14中未示出，但是方法1400可以进一步包括从一组或多组中间曝光像素值中的每一组中去除噪声影响的步骤。在计算机700中，处理器710可以执行噪声去除指令752，以从短曝光像素值和长曝光像素值(以及可选地中间曝光像素值)中去除噪声影响。
图17是图示了噪声对像素值的直方图1710的影响的绘图1700。直方图1710的像素值可以与长曝光时间、短曝光时间或中间曝光时间相关联。在不脱离其范围的情况下，直方图1710的像素值可以是通过组合颜色特定的像素值而形成的光亮度值。在以下描述中，图17最好与图14一起观看。
直方图1710是无噪声的并且具有两个尖峰，从而对应于仅具有两个明亮度的假设场景。实际上，噪声将存在，并且此噪声导致这两个尖峰加宽。直方图1720是受到噪声存在影响的直方图1710的像素值分布的示例。对于高斯噪声，直方图1710是用由标准偏差σ表征的高斯分布对直方图1720的卷积。标准偏差σ可以是像素值的函数。
假设高斯分布的标准偏差σ与像素值无关(对于给定的曝光时间)，可以根据以下等式从直方图1720重构直方图1710：
ps(v)＝Cps+n(v)+(1-C)(Gσ*ps+n)(v)，
其中，v是直条定位，ps是直方图1710，Gσ是高斯噪声分布，C是可以是可以依赖于传感器的调谐参数，ps+n是直方图1720，并且Gσ*ps+n是ps+n的高斯卷积。
在另一个示例中，高斯分布的标准偏差σ取决于像素值，使得高斯的方差是如线性噪声模型σ2＝mv+b所指示的像素值的线性函数(对于给定的曝光时间)，其中，m≠0。对于任何特定的SME HDR图像传感器模型，可以测量或已知系数m和b。在此示例中，可以根据直条定位v来调整高斯滤波器Gσ，或者可以使用保形映射来映射直方图1720以模拟恒定噪声水平。例如，直方图1720可以根据以下保形映射函数被重新装直条：
Figure BDA0003018868650000221
在此，y是处于高斯噪声遵循由σ＝1表征的恒定模型的比例的直条定位。在以y比例根据恒定高斯噪声模型进行重新装直条和去卷积之后，可以通过应用以下逆保形映射函数将保形映射反转为原始v比例：
Figure BDA0003018868650000231
步骤1440和步骤1450中的每一个都可以去除噪声影响，如上文针对图17和直方图1720所讨论的。在不脱离其范围的情况下，方法1400可以在适用时包括针对每组中间曝光像素值的类似的步骤。
方法1400可以在机器可读指令730中编码为预处理指令740，可选地具有编码为噪声去除指令752的步骤1440和1450(以及类似的中间曝光噪声去除步骤)。
图18图示了用于合成HDR直方图的一种方法1800。方法1800是方法500的步骤530的实施例并且可以由合成器430来执行。方法1800可以在机器可读指令730中编码为合成指令742。方法1800可以在方法1000的步骤520和方法1100的步骤1130中实施。方法1800包括步骤1810、1820和1830。
步骤1810将(a)在方法500的步骤520中预处理之后剩余的长曝光像素值的第一直方图和(b)在方法500的步骤520中预处理之后剩余的短曝光像素值的第二直方图缩放到共同的比例。步骤1810根据长曝光时间与短曝光时间之间的比率执行此缩放。例如，步骤1810可以将短曝光时间值乘以长曝光时间与短曝光时间的比率，以使短曝光时间值处于与长曝光时间值相同的比例。在步骤1810的一个示例中，合成器430将直方图1500和1600缩放到共同的比例。
步骤1820从第二直方图中去除在共同的比例上具有小于或等于第一直方图的最上面直条的中心值的中心值的短曝光像素值直条。步骤1820用于确保在第一直方图和第二直方图两者中均未呈现相同颜色的空间上关联的像素组(例如，来自一个像素组226、830或930的相同颜色像素值)。在步骤1820的一个示例中，合成器430处理直方图1600(如果在步骤1810中被缩放，则经过缩放)，以从其中去除具有小于直方图1500(如果在步骤1810中被缩放，则经过缩放)中的最低直条1510的中心值1512的中心值1612(如果在步骤1810中被缩放，则经过缩放)的所有直条。例如，步骤1820可以从直方图1600(如果在步骤1810中被缩放，则经过缩放)中去除低于像素值1650的所有直条。
步骤1830将第一直方图与第二直方图合并以形成HDR直方图。
图19示出了在步骤1810和1820中对直方图1500和1600进行处理之后在步骤1830中从直方图1500和1600合成的一个示例HDR直方图1900。直方图1900被装直条到直条1910中。直条1910的下限范围1920源自直方图1500的长曝光像素值，而直条1910的上限范围1930源自直方图1600的短曝光像素值。
再次参考图18，为了合成第一直方图和第二直方图(例如，直方图1500和1600)，方法1800可以重新装直条第一直方图和第二直方图之一或两者的像素值，以实现这两个直方图之间相互一致的装直条。方法1800可以在步骤1820与1830之间执行此重新装直条。
在不脱离其范围的情况下，例如，当处理来自像素组930的像素值时，方法1800还可以处理与一个或多个中间曝光时间相关联的中间曝光像素值。在这种实施例中，方法1800处理与至少三个相应曝光时间相关联的至少三个直方图，并且步骤1820从每个直方图中去除在共同的比例上具有小于或等于与最接近的较长曝光时间相关联的直方图的最上面直条的中心值的中心值的直条。
图20图示了用于双曝光时间SME HDR图像传感器的一种自动曝光方法2000，该自动曝光方法基于熵方差首先优化长曝光时间并且接下来优化短曝光时间。方法2000可以由曝光时间控制器400执行，例如以自动曝光HDR相机102中的SME HDR图像传感器110。方法2000是方法500的一种实施方式。方法2000可以应用于自动曝光彩色SME HDR图像传感器810。
方法2000包括步骤2010和2020。步骤2010确定长曝光时间。步骤2020执行方法500的步骤510、520、530、540和550的多次重复，以确定最佳短曝光时间，其中，在步骤540中使用的优良性度量是或包括跨HDR直方图的熵方差，例如，上文关于图5所讨论的Var(Si)。步骤2020可以在重复中的一次或多次重复中进一步包括步骤560。
在一个实施例中，方法2000实施方法1000。在此实施例中，步骤2020执行如上文关于图10所讨论的步骤510、520、530、540和550(以及可选地步骤560)。在另一个实施例中，方法2000实施方法1100。在此实施例中，步骤2020执行如上文关于图11所讨论的步骤1110、1120、1130、540和550(以及可选地步骤560)。当方法2000应用于彩色SME HDR图像传感器时，步骤2010可以基于对光亮度值的考虑、基于对与一种特定颜色相关联的像素值的考虑或基于对与两种或更多种不同颜色相关联的像素值的共同考虑来确定最佳长曝光时间。
方法2000允许在步骤2010中基于除用于优化短曝光时间的一个或多个参数之外的其他参数来优化长曝光时间。步骤2010可以将最佳长曝光时间确定为最小化曝光不足的像素的数量、优化面部的曝光和/或最小化长曝光像素值与短曝光像素之间的过渡点噪声差异(在对由SME HDR图像传感器捕获的图像数据进行去马赛克以生成HDR图像时出现)的长曝光时间。这种去马赛克例如由HDR图像生成器250执行以生成HDR图像270。
对于从SME HDR图像传感器生成的HDR图像的每个图像像素，去马赛克包括选择要利用的曝光时间。例如，对来自图2的像素组226的原始图像数据280进行去马赛克可以包括从长曝光像素222中选择长曝光像素值282或从短曝光像素224中选择短曝光像素值284。替代性地，对来自图2的像素组226的原始图像数据280进行去马赛克可以包括对来自长曝光像素222的长曝光像素值282和来自短曝光像素224的短曝光像素值284的贡献进行加权。在场景从黑暗过渡到明亮的任一种情况下，去马赛克过程可以从仅或主要使用长曝光像素值切换到仅或主要使用短曝光像素值。即使对像素值进行缩放以补偿从长曝光像素值到短曝光像素值的切换，某些噪声贡献(如读出噪声)也不会随曝光时间缩放。
因此，图像伪影可能在HDR图像中显现为基于长曝光像素值的图像区域与基于短曝光像素值的图像区域之间的显而易见的边界。在大区域从较黑暗平稳地过渡到较明亮的情况下，这种伪影可以特别明显。在从彩色SME HDR图像传感器810生成的HDR图像中可能会出现类似的图像伪影。
在一个实施例中，步骤2010包括步骤2012：改变长曝光时间，以最小化在对由SMEHDR图像传感器捕获的图像数据进行去马赛克时使用长曝光像素值的与使用短曝光像素值之间的过渡点处的长曝光像素值与短曝光像素值之间的过渡点噪声差异。步骤2012可以设置长曝光时间以最小化或减少在过渡点处具有像素值的像素的数量。当方法2000应用于彩色SME HDR图像传感器时，步骤2012可以使一种所选颜色、若干种颜色中的每一种或光亮度值的过渡点噪声差异最小化。
图21是在方法2000的步骤2020中计算的示例熵方差的绘图2100。绘图2100示出了在2毫秒的长曝光时间下随曝光时间比率(即，长曝光时间与短曝光时间的比率)而变的Var(Si)。绘图2100示出了在曝光比率8下的最小值。因此，如果基于绘图2100，则方法2000的步骤2020将短曝光时间设置为0.25毫秒。
方法2000可以扩展至利用多于两个不同的曝光时间操作的SMR HDR图像传感器(例如，实施像素组930的彩色SME HDR图像传感器810)的自动曝光。在一种这样的实施方式中，方法2000在步骤2010中优化长曝光时间并且然后在步骤2020中优化剩余曝光时间。当被包括至利用多于两个不同的曝光时间操作的自动曝光SMR HDR图像传感器时，步骤2012最小化两个最接近的曝光时间之间(例如，长曝光时间与最接近的中间曝光时间之间)的过渡点噪声差异。
图22图示了用于优化SME HDR图像传感器的长曝光时间的一种方法2200。当应用于双曝光时间SME HDR图像传感器时，方法2200确定使长曝光像素值与短曝光像素值之间的过渡点噪声差异最小化的长曝光时间。尽管以下将方法2200讨论为涉及双曝光时间SMEHDR图像传感器，但是，在不脱离其范围的情况下，如上文针对方法2000的步骤2010所讨论的，方法2200可以应用于具有多于两个不同曝光时间的SME HDR图像传感器。方法2200是方法2000的步骤2012的实施例。方法2000的步骤2010可以可选地结合对如脸部曝光和曝光不足的像素的数量等其他度量的考虑，应用方法2200来优化长曝光时间。
在步骤2210中，方法2200将SME HDR图像传感器的长曝光时间设置为初始值，并且将SME HDR图像传感器的短曝光时间设置为最小值。接下来，方法2200继续进行以执行一系列步骤的一次或多次迭代以优化长曝光时间，同时将短曝光时间保持在步骤2210中定义的最小值。每次迭代包括步骤2220、2230、2240、2250、决策2260和取决于决策2260的结果的步骤2270或2280。
步骤2220执行方法500的步骤510、520和530的多次重复以生成初步HDR直方图。对于彩色SME HDR图像传感器，步骤2220反而可以执行步骤1110、1120和1130以生成光亮度值的初步HDR直方图，或者步骤2220可以针对一种所选颜色或针对若干种不同的颜色执行步骤510、520、530。
步骤2230从在步骤2220中生成的初步HDR直方图估计长曝光时间的目标值。例如，对于HDR直方图1900，可以有利的是调整长曝光时间，使得谷1950上移至下限范围1920与上限范围1930之间的过渡点，或使得谷1952下移至下限范围1920与上限范围1930之间的过渡点。因此，在此示例中，2230可以设置目标长曝光时间，以将谷1950或谷1952移位到下限范围1920与上限范围1930之间的过渡点。替代性地，步骤2230可以设置目标长曝光时间，使初步HDR直方图的平均值、中值或众数移位远离过渡点。
对于彩色SME HDR图像传感器，分别地，步骤2230可以基于光亮度值的初步HDR直方图来估计目标值，步骤2230可以基于一种所选颜色的像素值的初步HDR直方图来估计目标值，或者步骤2230可以基于对与若干种不同颜色相关联的若干个初步HDR直方图的共同考虑来估计目标值。
图23、图24和图25图示了步骤2220中的HDR直方图生成和步骤2230中的对目标长曝光时间的估计的一个示例。在以下描述中，图23、图24和图25最好与图22一起观看。图23是如场景190等场景的一个示例光亮度直方图2300。图24是在步骤2230中基于来自由光亮度直方图2300表征的场景的原始图像数据280生成的示例HDR直方图2400，其中，利用在步骤2210中定义的初始长曝光时间和最小短曝光时间来捕获原始图像数据280。在此示例中，长曝光像素值与短曝光像素值之间的过渡点2410处于大约210处。为了使直方图的大部分移动远离过渡点2410，步骤2330可以将减少的长曝光时间作为目标。图25示出了通过模拟减少的长曝光时间对HDR直方图2400的数据的影响而形成的模拟的HDR直方图2500。在此示例中，目标长曝光时间是将模拟的HDR直方图2500的平均像素值<v>定位在过渡点2410的18％处的曝光时间。因此，在此示例中，目标长曝光时间为
Figure BDA0003018868650000271
如在图25中明显的，模拟的HDR直方图2500的大部分移位远离过渡点2410。在类似但更通用的示例中，可以将目标长曝光时间设置为
Figure BDA0003018868650000272
其中，A小于一，例如介于0.1与0.5之间。在替代性示例中，目标长曝光时间被设置为
Figure BDA0003018868650000273
其中，P(v)是HDR直方图2400的另一个统计参数，如中值、几何平均值或众数。
针对在步骤2230中估计的目标长曝光时间附近的长曝光时间的范围，步骤2240计算指示将由长曝光时间导致的过渡点噪声差异的参数。参数可以是过渡点噪声差异的期望值，或随长曝光时间而变与过渡点噪声差异成比例的参数的期望值。对于彩色SME HDR图像传感器，在步骤2240中计算出的参数可以涉及光亮度值之间的过渡点噪声差异，或者步骤2240可以单独地计算一种或多种颜色的参数。步骤2240的以下描述适用于与光亮度值、单色SME HDR图像传感器的像素值或与彩色SME HDR图像传感器的一种颜色相关联的像素值相关联的参数的计算。然而，描述容易扩展到若干组参数的计算，每组参数与不同的颜色相关联。在步骤2240中考虑的长曝光时间的范围从最小长曝光时间跨越tlong_min到最大长曝光时间tlong_max。在一个示例中，tlong_min＝tlong_target-Δtand tlong_max＝tlong_target+Δt，其中，Δt是某个百分比的目标长曝光时间tlong_target。在一个示例中，Δt介于目标长曝光时间tlong_target的5％与50％之间。在另一个示例中，Δt介于目标长曝光时间tlong_target的15％与25％之间。在步骤2240中，将初始长曝光时间tlong_initial缩放到经修改长曝光时间tlong_mod相当于将(在步骤2220中生成的)HDR直方图的直条值v缩放到经修改直条值v′＝v*tlong_mod/tlong_initial。步骤2240然后评估在从最小经修改直条值v′min＝v*tlong_min/tlong_initial到最大经修改直条值v′max＝v*tlong_max/tlong_initial的范围内的多个经修改直条值中的每一个处的过渡点噪声差异。
在实施例中，步骤2240计算过渡点噪声差异。在此实施例中，步骤2240可以应用噪声模型。在一种实施方式中，步骤2240应用上文关于图14和图17所讨论的线性噪声模型σ2＝mv+b。在此实施方式中，过渡点处的短曝光像素值与长曝光像素值之间的噪声水平差可以写为
Figure BDA0003018868650000281
其中，r是长曝光时间与短曝光时间的比率，并且vt是通过将短曝光像素值放大到长曝光像素值的比例而形成的HDR直方图中的过渡点的像素值。vt是例如长曝光像素值的饱和度阈值(例如，饱和度阈值1520)。可以将影响HDR图像的过渡点噪声差异εnoise计算为通过过渡点处的像素计数p(vt)加权的噪声水平差Δ(σ2)：
εnoise＝Δ(σ2)p(vt)。
然而，由于Δ(σ2)与长曝光时间无关并且仅p(vt)取决于长曝光时间，因此，p(vt)本身关于过渡点噪声差异具有足够的信息以确定哪个长曝光时间使过渡点噪声差异εnoise最小化。因此，在另一个实施例中，步骤2240仅计算介于tlong_min与tlong_max之间的范围内的多个长曝光时间中的每一个的p(vt)，而不计算Δ(σ2)和εnoise。
步骤2250从在步骤2240中计算的参数推导与过渡点相对应的长曝光时间的修正值，该过渡点与在步骤2250中计算的最小过渡点噪声差异值相关联的直条一致。因此通过步骤2250处理的参数可以是p(vt)、εnoise或指示过渡点噪声差异的另一个参数。步骤2250可以以将过渡点放置在直方图中的具有相对较少计数的定位的方式来修正长曝光时间。在一个实施例中，步骤2250选择在步骤2240中评估的范围内使p(vt)最小化的长曝光时间。在步骤2240单独地处理若干种不同颜色的实施例中，步骤2250共同考虑与这些不同颜色相关联的参数，以修正长曝光时间的值。
步骤2260是确定方法2200继续进行到步骤2270还是步骤2280的决策步骤。如果在步骤2250中推导的修正长曝光时间小于在步骤2210中设置的初始长曝光时间，则方法2200继续进行到步骤2270。否则，方法2200继续进行到步骤2280。步骤2270将步骤2210的初始长曝光时间更新为在步骤2250中推导的修正长曝光时间，并且方法2200执行步骤2220、2230、2240、2250、2260和2270或2280的后续迭代。步骤2280输出在步骤2250中推导的修正长曝光时间作为最佳长曝光时间并且终止方法2200。
在不脱离其范围的情况下，方法2200可以省略步骤2240和2250，反而继续进行到利用在步骤2230中估计的目标长曝光时间的决策步骤2260。
现在参考在步骤2012中实施方法2200的方法2000的实施例，步骤2020也可以将过渡点噪声差异视为优良性度量的一部分。在一个这种实施例中，步骤2020最小化复合误差度量εtotal＝var(Si)+a*εnoise，其中，a是定义了熵方差var(Si)和过渡点噪声差异εnoise的相对重要性的预定义参数。
图26至图31提供了在方法2000的实施例中生成和处理的数据的示例，该实施例在步骤2012中实施方法2200并且将过渡点噪声差异视为步骤2020中的优良性度量或步骤2020中的优良性度量的一部分。在以下描述中，图26至图31最好与图20和图22一起观看。
图26是在方法2200的步骤2220(作为方法2000的步骤2010的一部分)中生成的示例初步HDR直方图2600。直方图2600基于长曝光时间1毫秒和长短曝光时间比r 16。图27是根据在方法2200的步骤2280(作为方法2000的步骤2010的一部分)中输出的最佳长曝光时间而移位的示例HDR直方图2700。对于HDR直方图2700，长短曝光时间比r为16。图28至图31是方法2000的步骤2020中考虑的示例HDR直方图2800、2900、3000和3100。HDR直方图2800、2900、3000和3100中的每一个基于使用方法2200在步骤2010中确定的最佳长曝光时间，但是对于HDR直方图2800、2900、3000和3100中的每一个，长短曝光时间比r是不同的，分别为2、4、8和16。步骤2020可以可选地结合如上文关于图5所讨论的那些参数等其他参数，以在其优良性度量中包括εnoise例如作为复合误差度量εtotal的一部分。
图32和图33图示了包括用于缩小场景3290的动态范围的梯度滤波器的一个HDR相机3200。图32是HDR相机3200的截面视图，并且图33是HDR相机3200的图像传感器的平面视图。在以下描述中，最好一起观看图32和图33。
HDR相机3200是HDR相机102的实施例并且可以由曝光时间控制器100根据方法500、1000或1100自动曝光。HDR相机3200包括SME HDR图像传感器110、梯度滤波器3240、放置在图像传感器110与梯度滤波器3240之间的成像物镜3230以及控制器3250。梯度滤波器3240是中性密度滤波器，其透射系数在至少一个维度上展现出梯度。在图32和图33中描绘的实施例中，梯度滤波器3240的透射系数由一维的线性梯度表征。梯度滤波器3240的此实施例可以适合于具有明亮的上半部分和昏暗的下半部分的场景3290的图像捕获，如地平线的照片。然而，在不脱离其范围的情况下，梯度滤波器3240可以展现出更复杂的透射系数变化。
在其通往像素阵列220的途中穿过梯度滤波器3240的较少透射部分的光线3292衰减得比在其通往像素阵列220的途中穿过梯度滤波器3240的较多透射部分的光线3294更多。拍摄者可以选择梯度滤波器3240并且使所选梯度滤波器3240定向以使场景3290的较明亮部分变昏暗。在图32和图33中描绘的情景中，梯度滤波器3240使场景3290的上部比场景3290的下部更昏暗。梯度滤波器3240的功能类似于在像素阵列220上应用虚拟掩模3310，其中虚拟掩模3310的透射系数以与梯度滤波器3240的透射系数类似的方式变化。
通过梯度滤波器3240减小场景3290的动态范围会减少对SME HDR图像传感器110的动态范围要求。例如，梯度滤波器3240可以减少由SME HDR图像传感器110生成的HDR图像中曝光不足或曝光过度的像素的数量，反而将这种像素带入到SME HDR图像传感器110的动态范围中以捕获对应场景部分的全部信息。
控制器3250至少控制由SME HDR图像传感器110进行的图像捕获的各方面。控制器3250可以处理由HDR相机3200中的SME HDR图像传感器110生成的图像数据，以补偿梯度滤波器3240的存在。因此，与不包括梯度滤波器3240和控制器3250的HDR相机102的实施例相比，梯度滤波器3240和控制器3250协作以进一步扩展HDR相机3200的动态范围。控制器3250还可以自动曝光SME HDR图像传感器110。在一个实施例中，控制器3250包括曝光时间控制器100。
图34图示了用于重构当由HDR相机3200使用梯度滤波器3240捕获时场景3290的原始动态范围的至少一部分的一种方法3400。方法3400可以由控制器3250执行。方法3400包括缩放SME HDR图像传感器110的输出图像以补偿梯度滤波器3240的存在的步骤3420。在步骤3420中应用的缩放至少部分地重构在通过梯度滤波器3240非均匀地衰减之前场景3290的原始动态范围。步骤3420可以通过虚拟掩模3310的反演来缩放SME HDR图像传感器110的输出图像，以反转由梯度滤波器3240施加的衰减。在一种情景下，步骤3420重构场景3290的整个动态范围。在另一种情景下，即使被梯度滤波器3240减小，场景3290的动态范围也超过SME HDR图像传感器110的动态范围。在此情景下，步骤3240仅部分地重构场景3290的原始动态范围。步骤3240可以基于在控制器3250中编码或者由用户向其提供的梯度滤波器3240的规范。
在实施例中，方法3400进一步包括执行方法500(或方法1000或1100)以在存在梯度滤波器3240的情况下自动曝光SME HDR图像传感器110的步骤3410。
图35图示了用于自动曝光SME HDR图像传感器的视频流捕获的一种方法3500，其中视频流的时间明亮度不稳定性在捕获后减少。方法3500可以由HDR相机402执行或者由曝光时间控制器400与HDR图像生成器250一起执行。
在视频流捕获期间，方法3500执行步骤3510和3520的迭代，以在视频流的捕获期间自动曝光SME HDR图像传感器。方法3500可以连续或有规律地执行步骤3510和3520，以在场景改变时自动曝光SME HDR图像传感器。方法3500进一步包括协作以生成HDR视频流的步骤3530和3540。在实施例中，方法3500还包括捕获视频流的步骤3502。步骤3502可以由SMEHDR图像传感器110执行。
步骤3510从视频流的帧取得原始图像数据，该原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的像素的短曝光像素值。在步骤3510的一个示例中，曝光时间控制器400从SMEHDR图像传感器110取得原始图像数据280的帧。在不脱离其范围的情况下，在步骤3510中取得的图像数据可以进一步包括来自SME HDR图像传感器的分别由一个或多个中间曝光时间表征的像素的一组或多组中间曝光像素值。步骤3520执行方法500的步骤520、530、540、550(以及可选地560)和570，以至少部分地基于优良性度量(以及可选地面部曝光)来将长曝光时间和短曝光时间中的至少一项调整并输出到SME HDR图像传感器。应当理解，步骤3520可以根据方法1000或1100来实施步骤520、530、540、550(以及可选地560)和570。在步骤3520的一个示例中，曝光时间控制器400调整长曝光时间292和短曝光时间294中的至少一项，并且将曝光时间集合290输出到SME HDR图像传感器110。
步骤3530针对视频流的每个帧产生HDR图像，以产生HDR视频流。在步骤3530的一个示例中，HDR图像生成器250由从SME HDR图像传感器110接收的视频流的每个帧生成HDR图像270。通过步骤3530进行处理以生成HDR影像的帧的帧速率可以与通过步骤3510进行处理以自动曝光SME HDR图像传感器的帧的帧速率相同或不同。在一种实施方式中，通过步骤3510和3520进行的自动曝光比步骤3530中处理的视频流的帧速率慢。在另一种实施方式中，通过步骤3510和3520进行的自动曝光比步骤3530中处理的视频流的帧速率快。例如，方法3500可以执行步骤3510和3520的若干次迭代，以在捕获在步骤3530中进行处理以得到HDR影像的每个帧之前自动曝光SME HDR图像传感器。
在某些情景下，视频流捕获的自动曝光(借助于步骤3510和3520)可能导致在步骤3530中生成的视频流中出现明亮度跳跃。为了解决此问题，步骤3540对HDR视频流进行后处理，以减少HDR视频流的时间明亮度不稳定性。HDR图像生成器250可以执行步骤3540。在实施例中，步骤3540包括将每个HDR图像乘以(a)固定参考灵敏度与(b)SME HDR图像传感器在捕获生成HDR图像的帧期间使用的曝光时间处的灵敏度的比率的步骤3542。
在不脱离其范围的情况下，方法3500可以被适配成自动曝光除SME HDR图像传感器之外的其他类型的图像传感器，如时间复用曝光HDR图像传感器或单曝光时间图像传感器。当方法3500被适配成通过单曝光时间图像传感器自动曝光视频捕获时，在步骤3530中生成的图像可以不是HDR图像。
图36图示了用于自动曝光SME HDR图像传感器的视频流捕获的一种方法3600，该方法根据未来场景的预测明亮度来优化自动曝光。方法3600可以由HDR相机402执行或者由曝光时间控制器400与HDR图像生成器250一起执行。
在视频流捕获期间，方法3600执行步骤3510、3620、3630和3640的迭代，以在视频流的捕获期间自动曝光SME HDR图像传感器，其中，自动曝光将要捕获的场景的预期明亮度考虑在内。方法3600可以连续或有规律地执行步骤3510、3620、3630和3640，以在场景改变时自动曝光SME HDR图像传感器。方法3600可以进一步包括协作以生成HDR视频流的步骤3530和3540，如上文关于图35所讨论的。
步骤3510从视频流的帧取得原始图像数据，如上文关于图35所讨论的。除了步骤3620不将(多个)经调整的曝光时间输出到SME HDR图像传感器以外，步骤3620类似于步骤3520。步骤3630分析原始视频流的时间明亮度变化，以预测要由SME HDR图像传感器捕获的后一帧的明亮度。在步骤3630的一个示例中，曝光时间控制器400分析由SME HDR图像传感器110捕获的原始视频流的时间明亮度变化，以预测要由SME HDR图像传感器110捕获的下一帧或后一帧的明亮度。步骤3640基于在步骤3630中预测的明亮度来操纵如通过步骤3620调整的(多个)曝光时间，以进一步将(多个)曝光时间调整成对于要由SME HDR图像传感器捕获的后一帧是最佳的。步骤3630可以由曝光时间控制器400执行，使得曝光时间控制器400将如在步骤3620和3640中调整并进一步操纵的曝光时间集合290输出到SME HDR图像传感器110，以在捕获后一帧时由SME HDR图像传感器110应用。
方法3600可以进一步包括用于生成HDR视频流的步骤3530，如上文关于图35所讨论的。可选地，方法3600还包括用于减少HDR视频流的时间明亮度不稳定性的步骤3540，如上文关于图35所讨论的。
在不脱离其范围的情况下，方法3600可以被适配成自动曝光除SME HDR图像传感器之外的其他类型的图像传感器，如时间复用曝光HDR图像传感器或单曝光时间图像传感器。当方法3600被适配成通过单曝光时间图像传感器自动曝光视频捕获时，在步骤3530中生成的图像可以不是HDR图像。
图37图示了具有局部曝光时间控制的一个SME HDR图像传感器3710。SME HDR图像传感器3710是SME HDR图像传感器110的实施例并且可以在HDR相机102中实施。SME HDR图像传感器3710包括像素阵列3720和局部曝光时间控制电路3750。像素阵列3720被分成局部区域3730，并且局部曝光时间控制电路3750被配置成独立地设置每个局部区域3730的曝光时间。例如，局部曝光时间控制电路3750可以将一组曝光时间分配给一个局部区域3730的像素3740，并且将另一组曝光时间分配给另一个局部区域3730的像素3740。
在不脱离其范围的情况下，像素阵列3720可以被分成比图37中描绘的局部区域更多或更少的局部区域3730，局部区域3730可以具有与图37中描绘的那些局部区域不同的大小和形状，并且局部区域3730的大小和/或形状在不同的局部区域3730之间可以有所不同。
在一个实施例中，像素阵列3720配置有像素组226，并且每个局部区域3740包括至少一个像素组226。在另一个实施例中，像素阵列3720配置有像素组830，并且每个局部区域3740包括至少一个像素组830。在又另一个实施例中，像素阵列3720配置有像素组930，并且每个局部区域3740包括至少一个像素组930。
图38图示了用于SME HDR图像传感器的局部自动曝光的一种方法3800。方法3800可以用于SME HDR图像传感器3710的局部自动曝光，并且为像素阵列3720的不同的相应局部区域3730设置不同的曝光时间。
方法3800执行用于从SME HDR图像传感器的曝光取得原始图像数据的步骤510，如上文关于图5所描述的。在方法3800的步骤510的一个示例中，曝光时间控制器400从SMEHDR图像传感器3710取得原始图像数据280的帧。
接下来，在步骤3820中，针对SME HDR图像传感器的像素阵列的多个局部区域中的每一个，方法3800执行步骤520、530、540和550(以及可选地步骤560)，以针对局部区域调整长曝光时间和短曝光时间中的至少一项。因此，步骤3820允许针对每个局部区域进行独立的曝光时间调整。应当理解，步骤3820可以针对局部区域中的一个或多个局部区域调整(多个)曝光时间，同时针对任何剩余局部区域保持曝光时间不变。步骤3820可以根据方法1000或1100来实施步骤520、530、540和550(以及可选地步骤560)。在步骤3820的一个示例中，曝光时间控制器400针对SME HDR图像传感器3710的一个或多个局部区域3730中的每一个调整长曝光时间292和/或短曝光时间294。
在不脱离其范围的情况下，方法3800可以应用于以多于两个不同的曝光时间操作的SME HDR图像传感器的自动曝光，在这种情况下，步骤510和3820进一步处理一组或多组中间曝光像素值，并且步骤3820可以针对局部区域中的一个或多个局部区域中的每一个调整一个或多个中间曝光时间。
在步骤3840中，方法3800将如经调整的曝光时间输出到SME HDR图像传感器。在步骤3840的一个示例中，曝光时间控制器400将多个曝光时间集合290输出到SME HDR图像传感器3710的相应多个局部区域3730。
在某些实施例中，方法3800进一步包括在步骤3820与3840之间执行的步骤3830。步骤3830修正如在步骤3820中经调整的局部曝光时间，以使不同局部区域之间的曝光时间过渡平滑。在一个这种实施例中，步骤3830对相邻区域的曝光时间之间的差施加上限。在另一个这种实施例中，步骤3830将空间平滑滤波器应用于如在步骤3820中经调整的曝光时间。在又另一个这种实施例中，步骤3820以小于SME HDR图像传感器的局部区域的空间分辨率的局部区域的空间分辨率执行，并且步骤3830利用SME HDR图像传感器的局部区域的全空间分辨率来使曝光时间过渡平滑。曝光时间控制器400可以执行步骤3830。
方法3800可以进一步包括步骤502，如上文关于图5所讨论的。在步骤502的一个示例中，如在方法3800中实施的，SME HDR图像传感器3710捕获原始图像数据280。
方法3800可以以与上文针对方法500所讨论的方式类似的方式执行步骤510、3820和3840(以及可选地还有步骤502和3830之一或两者)的若干次迭代或重复，以针对SME HDR图像传感器的每个局部区域优化曝光时间。
图39图示了用于至少部分地基于熵方差Var(Si)的最小化来自动曝光SME HDR图像传感器的一个曝光时间控制器3900。曝光时间控制器3900是曝光时间控制器100的实施例，并且可以与HDR相机3902中的SME HDR图像传感器110耦接。HDR相机3902是HDR相机102的实施例。
曝光时间控制器3900包括熵方差优化器3950，该熵方差优化器处理从SME HDR图像传感器110接收的原始图像数据280，以基于熵方差Var(Si)的最小化来优化曝光时间集合290。曝光时间控制器3900还可以将其他度量(如过渡点噪声差异、面部曝光和/或包括上文关于方法500的步骤540和550所讨论的那些度量的其他度量)考虑在内。
在实施例中，熵方差优化器3950包括用于合成HDR直方图的合成器430。在此实施例中，合成器430可以从多个曝光时间特定的直方图合成HDR直方图，并且熵方差优化器3950可以进一步包括噪声去除器3960，该噪声去除器从每个曝光时间特定的直方图中去除噪声影响。
曝光时间控制器3900可以自动曝光以两个曝光时间(即，长曝光时间292和短曝光时间294)操作的SME HDR图像传感器110的实施例。替代性地，曝光时间控制器3900可以自动曝光以多于两个曝光时间(即，长曝光时间292、短曝光时间294和一个或多个中间曝光时间)操作的SME HDR图像传感器110的实施例。曝光时间控制器3900能够自动曝光彩色SMEHDR图像传感器110以及单色SME HDR图像传感器110。
图40图示了用于至少部分地基于熵方差Var(Si)的最小化来自动曝光SME HDR图像传感器的一种方法4000。方法4000是方法500的实施例并且可以由曝光时间控制器3900执行以自动曝光SME HDR图像传感器110。方法4000包括步骤4010和4020。步骤4010至少部分地基于熵方差Var(Si)的最小化来确定最佳曝光时间设置，并且步骤4020将最佳曝光时间设置输出到SME HDR图像传感器。例如，曝光时间控制器3900可以(a)在步骤4010中处理来自SME HDR图像传感器110的原始图像数据280并且采用熵方差优化器3950来确定最佳曝光时间集合290，并且(b)在步骤4020中将最佳曝光时间集合290输出到SME HDR图像传感器110。
步骤4010处理来自SME-HDR图像传感器在不同的相应曝光时间设置下的相应多个单独曝光的像素值的多个HDR直方图。针对这些多个HDR直方图中的每一个，步骤4010评估HDR直方图的单独直条对HDR直方图的总熵的贡献的方差Var(Si)，以确定与熵方差Var(Si)的最小值相对应的图像传感器的最佳曝光时间设置。
在实施例中，步骤4010针对每个不同的曝光时间设置执行步骤4014和4018。步骤4014从在曝光时间设置中的相应曝光时间设置下的曝光生成像素值的HDR直方图的实例。在步骤4014的一个示例中，合成器430由从SME HDR图像传感器110取得的原始图像数据280的帧生成HDR直方图。步骤4014可以包括从与在相应多个不同曝光时间下操作的SME HDR图像传感器的相应多个像素子集相关联的多个曝光时间特定的直方图合成HDR直方图的步骤4016。在步骤4016的一个示例中，合成器430从长曝光像素值282的直方图和短曝光像素值284的直方图合成HDR直方图。步骤4018计算每个HDR直方图的熵方差Var(Si)。
在方法4000的实施例中，其中，步骤4014包括步骤4016，步骤4010可以在步骤4014之前执行步骤4012。步骤4012从步骤4016中用于合成HDR直方图的每个曝光时间特定的直方图中去除噪声影响。步骤4014类似于上文关于图14和图17所讨论的步骤1440和1450。在步骤4012的一个示例中，噪声去除器3960从(a)长曝光像素值282的直方图和(b)短曝光时间像素值284的直方图中的每一项中去除噪声影响。
步骤4010可以以迭代的方式执行步骤4014和4018(以及可选地4012)的重复，其中，除了第一次迭代以外的每次迭代都基于利用如在先前迭代中确定的曝光时间设置而捕获的原始图像数据。步骤4010还可以将除熵方差之外的其他度量(如过渡点噪声差异、面部曝光和/或其他度量、上文关于方法500的步骤540和550讨论那些度量)考虑在内。
方法4000可以自动曝光单色SME HDR图像传感器和彩色SME HDR图像传感器。当应用于彩色SME HDR图像传感器(如彩色SME HDR图像传感器810)的自动曝光时，方法4000可以最小化在步骤4014和4018中处理的光亮度值HDR直方图的熵方差Var(Si)，或者方法4000可以最小化在步骤4014和4018中处理的一个或多个颜色特定的像素值的HDR直方图的熵方差Var(Si)。
在不脱离其范围的情况下，方法4000可以应用于被配置成在多于两个不同的曝光时间下操作的SME HDR图像传感器。在这种情景下，方法4000可以进一步分别处理一组或多组中间曝光时间值并且确定一个或多个最佳中间曝光时间。同样在不脱离其范围的情况下，方法4000可以应用于时间复用曝光HDR图像传感器的自动曝光。
图41图示了用于至少部分地基于熵方差Var(Si)的最小化来自动曝光SME HDR图像传感器的一个计算机4100。计算机4100是曝光时间控制器3900的实施例并且可以与SMEHDR图像传感器110一起在HDR相机3902中实施。替代性地，计算机4100可以被提供为要与第三方SME HDR图像传感器一起实施的独立产品。计算机4100包括处理器4110、非暂态存储器4120和接口4190。存储器4120包括机器可读指令4130并且可以进一步包括动态数据存储设备4160。
机器可读指令4130包括数据输入指令4132、熵方差指令4140和数据输出指令4134。在由处理器4110执行时，数据输入指令4132经由接口4190从SME HDR图像传感器取得原始图像数据(例如，原始图像数据280)。原始图像数据要在方法4000的步骤4010中使用。在由处理器4110执行时，熵方差指令4140和数据输出指令4134分别执行方法4000的步骤4010和4020。熵方差4132可以包括合成指令4142和噪声去除指令4150之一或两者，该合成指令和该噪声去除指令在由处理器4110执行时分别执行方法4000的步骤4016和4012。数据输出指令4134被配置成经由接口4190输出曝光时间集合290。
动态数据存储设备4160可以存储以下各项中的一项或多项：(a)在由处理器4110执行数据输入指令4132时经由接口4190接收的长曝光像素值282和短曝光像素值284；(b)在由处理器4110执行合成指令4142时生成的一个或多个HDR直方图770；(c)在由处理器4110执行熵方差指令4140时生成的一个或多个熵方差值4172；以及(d)在由处理器4110执行熵方差指令4140时生成的长曝光时间292和短曝光时间294。
应当理解，机器可读指令4130可以被提供为在非暂态存储器中编码以用于与第三方处理器4110和接口4190一起实施的独立软件产品。在不脱离其范围的情况下，作为独立软件产品提供的计算机4100和机器可读指令4130中的任一项可以应用于时间复用曝光HDR图像传感器的自动曝光。
图42图示了用于至少部分地基于熵方差Var(Si)的最小化来自动曝光单曝光时间图像传感器的一个曝光时间控制器4200。除了被适配成优化单个曝光时间而不是两个或更多个曝光时间以外，曝光时间控制器4200类似于曝光时间控制器3900。曝光时间控制器4200可以与相机4202中的单曝光时间图像传感器4210耦接。单曝光时间图像传感器4210包括全部在相同曝光时间下曝光的像素4230的像素阵列4220。
曝光时间控制器4200包括熵方差优化器4250，该熵方差优化器处理从单曝光时间图像传感器4210接收的原始图像数据4280(包括像素值4282)，以基于像素值4282的直方图的熵方差Var(Si)的最小化来优化单曝光时间图像传感器4210的曝光时间4290。曝光时间控制器4200可以进一步将其他度量(如其他基于熵的度量、面部曝光、曝光过度的像素4230的数量和/或曝光不足的像素4230的数量)考虑在内。熵方差优化器4250可以包括从像素值4282的直方图中去除噪声影响的噪声去除器4260。
曝光时间控制器4200能够自动曝光彩色图像传感器以及单色图像传感器。
图43图示了用于至少部分地基于熵方差Var(Si)的最小化来自动曝光单曝光时间图像传感器的一种方法4300。除了仅优化适用于单曝光时间图像传感器的所有像素的单个曝光时间以外，方法4300类似于方法4000。方法4300可以由曝光时间控制器4200执行，以自动曝光单曝光时间图像传感器4210。方法4300包括步骤4310和4320。步骤4310至少部分地基于熵方差Var(Si)的最小化来确定最佳曝光时间，并且步骤4320将最佳曝光时间输出到单曝光时间图像传感器。例如，曝光时间控制器4200可以(a)在步骤4310中处理来自单曝光时间图像传感器4210的原始图像数据4280，并且采用熵方差优化器4250来确定最佳曝光时间4290，并且(b)在步骤4320中将最佳曝光时间4290输出到单曝光时间图像传感器4210。
步骤4310处理来自单曝光时间图像传感器在不同的相应曝光时间下的相应多个单独曝光的像素值的多个直方图。针对这些多个直方图中的每一个，步骤4310评估直方图的单独直条对直方图的总熵的贡献的方差Var(Si)，以确定与熵方差Var(Si)的最小值相对应的图像传感器的最佳曝光时间。
在实施例中，步骤4310针对每个不同的曝光时间执行步骤4312和4316。针对每个曝光时间，步骤4312从曝光时间下的曝光生成像素值的HDR直方图的实例。在步骤4312的一个示例中，熵方差优化器4250生成从单曝光时间图像传感器4210取得的像素值4282的直方图。步骤4316计算在步骤4312中生成的直方图的熵方差Var(Si)。
在实施例中，步骤4310在步骤4312与4316之间执行步骤4314。在步骤4316中进行熵方差计算之前，步骤4314从步骤4312中生成的直方图中去除噪声影响。步骤4314类似于上文关于图14和图17所讨论的步骤1440和1450。在步骤4314的一个示例中，噪声去除器4260从像素值4282的直方图中去除噪声影响。
步骤4310可以以迭代的方式执行步骤4312和4316(以及可选地4314)的重复，其中，除了第一次迭代以外的每次迭代都基于利用如在先前迭代中确定的曝光时间设置捕获的原始图像数据。步骤4310还可以将除熵方差之外的其他度量(如其他基于熵的度量、面部曝光、曝光过度的像素4230的数量和/或曝光不足的像素4230的数量)考虑在内。
方法4300可以自动曝光单色单曝光时间图像传感器和彩色单曝光时间图像传感器。当应用于彩色单曝光时间图像传感器(如具有拜尔滤色器阵列的单曝光时间图像传感器)的自动曝光时，方法4300可以最小化通过组合不同颜色的像素值4282生成的光亮度值的直方图的熵方差Var(Si)，或者方法4300可以最小化颜色特定的像素值4282的一个或多个直方图的熵方差Var(Si)。
图44图示了用于至少部分地基于熵方差Var(Si)的最小化来自动曝光单曝光时间图像传感器的一个计算机4400。计算机4400是曝光时间控制器4200的实施例并且可以与单曝光时间图像传感器4210一起在相机4202中实施。替代性地，计算机4400可以被提供为要与第三方单曝光时间图像传感器一起实施的独立产品。计算机4400包括处理器4410、非暂态存储器4420和接口4490。存储器4420包括机器可读指令4430并且可以进一步包括动态数据存储设备4460。
机器可读指令4430包括数据输入指令4432、熵方差指令4440和数据输出指令4434。在由处理器4410执行时，数据输入指令4432经由接口4490从单曝光时间图像传感器取得原始图像数据(例如，原始图像数据4280)。原始图像数据要在方法4300的步骤4310中使用。在由处理器4410执行时，熵方差指令4440和数据输出指令4434分别执行方法4300的步骤4310和4320。熵方差指令4440可以包括噪声去除指令4450，该噪声去除指令在由处理器4410执行时执行方法4300的步骤4314。数据输出指令4434被配置成经由接口4490输出曝光时间4290。
动态数据存储设备4460可以存储以下各项中的一项或多项：(a)在由处理器4410执行数据输入指令4432时经由接口4490接收的像素值4282；(b)在由处理器4410执行熵方差指令4440时生成的一个或多个直方图4470；(c)在由处理器4410执行熵方差指令4440时生成的一个或多个熵方差值4472；以及(d)在由处理器4410执行熵方差指令4440时生成的曝光时间4290。
应当理解，机器可读指令4430可以被提供为在非暂态存储器中编码以用于与第三方处理器4410和接口4490一起实施的独立软件产品。
图45图示了用于基于SME HDR图像传感器的长曝光像素的饱和度水平来自动曝光SME HDR图像传感器的一个曝光时间控制器4500。曝光时间控制器4500基本上将SME HDR图像传感器的长曝光像素用作测光表。曝光时间控制器4500可以与HDR相机4502中的SME HDR图像传感器110耦接。曝光时间控制器4500包括饱和度评估器4510。
在操作中，曝光时间控制器4500处理从SME HDR图像传感器110接收的原始图像数据280的一个帧或多个帧。饱和度评估器4510相对于饱和度阈值评估原始图像数据280的长曝光像素值282的水平。如果来自长曝光像素222的长曝光像素值282超过预定义的饱和度阈值，则曝光时间控制器4500为SME HDR图像传感器110的短曝光像素224中的至少一些短曝光像素设置减少的短曝光时间4592。为了补偿曝光时间的减少，曝光时间控制器4500为这些短曝光像素224设置增加的数字增益4594，使得短曝光时间与对应数字增益的乘积不变。
在一个实施例中，曝光时间控制器4500将相同的短曝光时间4592和对应数字增益4594应用于SME HDR图像传感器110的所有短曝光像素224。在另一个实施例中，曝光时间控制器4500被配置成定义依赖于位置的短曝光时间4592和对应数字增益4594。在此实施例中，曝光时间控制器4500可以根据在这些局部空间区域中的每一个中由饱和度评估器4510确定的饱和度水平单独地为像素阵列220的不同局部空间区域设置短曝光时间4592(和对应数字增益4594)。
在一种实施方式中，曝光时间控制器4500自动曝光单色SME HDR图像传感器110，其中，所有长曝光像素222和短曝光像素224具有相同的光谱灵敏度。在另一种实施方式中，曝光时间控制器4500自动曝光彩色SME HDR图像传感器110(如彩色SME HDR图像传感器810)，该彩色SME HDR图像传感器包括若干种不同的光谱灵敏度等级，例如红色、绿色和蓝色。在此实施方式中，曝光时间控制器4500可以(a)针对像素阵列220的所有短曝光时间像素224全局地，或者(b)针对像素阵列220的多个可单独配置的局部空间区域中的每一个内的所有短曝光时间像素224将相同的短曝光时间4592和对应数字增益4594定义至所有光谱灵敏度等级。
图46图示了针对其像素阵列220的多个局部区域4622具有单独的短曝光时间控制的一个SME HDR图像传感器4610。SME HDR图像传感器4610是SME HDR图像传感器110的实施例。SME HDR图像传感器4610可以在HDR相机4502中实施，使得曝光时间控制器4500可以单独地自动曝光每个局部区域4622，如上文关于图45所讨论的。尽管为了说明清楚起见，图46仅描绘了两个可单独控制的局部区域4622，但是SME HDR图像传感器4610的像素阵列220可以被配置至多于两个可单独控制的局部区域4622。SME HDR图像传感器4610可以是单色图像传感器或彩色图像传感器(如彩色SME HDR图像传感器810)。
图47图示了针对代表SME HDR图像传感器4710的每个光谱灵敏度等级和曝光时间的每个局部像素组具有单独的短曝光时间控制的一个SME HDR图像传感器4710。在SME HDR图像传感器4710的单色实施例中，其中，每个像素组226由一个长曝光像素222和一个短曝光像素224构成，并且短曝光时间4592和对应数字增益4594可针对每个短曝光像素224与其他短曝光像素224分开地配置。在配置有像素组830的SME HDR图像传感器4710的彩色实施例中，短曝光时间4592和对应数字增益4594可针对每个像素组830与其他像素组830分开地配置。
图48图示了用于基于SME HDR图像传感器的长曝光像素的饱和度水平来自动曝光SME HDR图像传感器的一种方法4800。方法4800可以由曝光时间控制器4500执行至HDR相机4502中的自动曝光SME HDR图像传感器110。
在步骤4810中，方法4800从SME HDR图像传感器的曝光取得原始图像数据。原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值。在步骤4810的一个示例中，曝光时间控制器4500从SME HDR图像传感器110取得原始图像数据280(包括长曝光像素值282和短曝光像素值284)。
接下来，方法4800针对SME HDR图像传感器的每个可单独配置的局部空间区域执行步骤4820和4830以及执行步骤4840(如果需要的话)。在一种情景下，SME HDR图像传感器限于在整个像素阵列中利用相同的短曝光时间和对应数字增益的操作。在此情景下，方法4800执行步骤4820和4830以及步骤4840(如果需要的话)一次以全局地设置短曝光时间和对应数字增益。在另一种情景下，SME HDR图像传感器被配置有两个或更多个可单独配置的局部空间区域，例如，如图46和图47所示。在此情景下，方法4800针对这些局部空间区域中的每一个执行步骤4820和4830以及步骤4840(如果需要的话)。
步骤4820评估所考虑的局部空间区域中的至少一个所选长曝光像素的饱和度水平。在一个示例中，饱和度评估器4510评估局部空间区域中的至少一个长曝光像素222的饱和度。当局部空间区域包括多于一个的长曝光像素222时，步骤4820可以评估(a)这些长曝光像素222中的单个所选长曝光像素、(b)所有这些长曝光像素222或者(c)这些长曝光像素222的适当子集。
步骤4830是决策步骤。如果如在步骤4820中评估的(多个)所选长曝光像素的长曝光像素值超过饱和度阈值，则方法4800继续进行到步骤4840。步骤4840确定(i)用于局部空间区域中的短曝光像素的减少的短曝光时间和(ii)补偿减少的短曝光时间的增加的数字增益值。在步骤4830和4840的一个示例中，曝光时间控制器4500基于饱和度评估器4510的评估来确定局部空间区域中的一个或多个所选长曝光像素的长曝光像素值超过饱和度阈值，并且曝光时间控制器4500然后定义减少的短曝光时间4592和补偿短曝光时间减少的对应数字增益4594。
在步骤4840之后，方法4800执行步骤4860。针对由(多个)所选长曝光像素的超过饱和度阈值的长曝光像素值表征的每个局部空间区域，步骤4860将减少的短曝光时间和对应地增加的数字增益值输出到局部空间区域中的每个短曝光像素。在步骤4860的一个示例中，曝光时间控制器4500将短曝光时间4592和对应数字增益4594输出到受超过饱和度阈值的长曝光像素饱和度影响的每个局部空间区域。
在被配置为具有两个或更多个可单独配置的局部空间区域的自动曝光SME HDR图像传感器的方法4800的实施例中，方法4800可以进一步包括介于步骤4840与4860之间的步骤4850。在步骤4840中进行的调整之后，步骤4850将空间平滑应用于短曝光时间和数字增益值。在此实施例的一种实施方式中，步骤4850对相邻局部空间区域的短曝光时间之间的差施加上限。在此实施例的另一种实施方式中，步骤4850将空间平滑滤波器应用于如在步骤4840中经调整的短曝光时间。在此实施例的又另一种实施方式中，步骤4840以小于SMEHDR图像传感器的局部空间区域的空间分辨率的空间分辨率执行，并且步骤4850利用SMEHDR图像传感器的局部空间区域的全空间分辨率来使曝光时间过渡平滑。曝光时间控制器4500可以执行步骤4850。
方法4800可以应用于单色SME HDR图像传感器以及彩色SME HDR图像传感器的自动曝光，如上文针对曝光时间控制器4500所讨论的。
图49图示了用于基于长曝光像素的饱和度水平来自动曝光SME HDR图像传感器的一个计算机4900。计算机4900是曝光时间控制器4500的实施例并且可以与SME HDR图像传感器110一起在HDR相机4502中实施。替代性地，计算机4900可以被提供为要与第三方SMEHDR图像传感器一起实施的独立产品。计算机4900包括处理器4910、非暂态存储器4920和接口4990。存储器4920包括机器可读指令4930并且可以进一步包括动态数据存储设备4960。
机器可读指令4930包括数据输入指令4932、饱和度评估指令4940、调整指令4942和数据输出指令4934。在由处理器4910执行时，数据输入指令4432执行方法4800的步骤4810以经由接口4990从SME HDR图像传感器取得原始图像数据(例如，原始图像数据280)。在由处理器4910执行时，饱和度评估指令4940执行方法4800的步骤4820。在由处理器4910执行时，调整指令4942执行方法4800的步骤4830以及步骤4840(如果需要的话)。在实施例中，机器可读指令4930进一步包括平滑指令4936，该平滑指令在由处理器4910执行时执行方法4800的步骤4850。数据输出指令4434被配置成经由接口4990输出短曝光时间4592和对应数字增益4594。
动态数据存储设备4960可以存储以下各项中的一项或多项：(a)在由处理器4910执行数据输入指令4932时经由接口4990接收的长曝光像素值282和短曝光像素值284；(b)在由处理器4910执行饱和度评估指令4940时确定的一个或多个饱和度条件4970；以及(c)在由处理器4910执行调整指令4942时生成的一组或多组短曝光时间4592和对应数字增益4594。
应当理解，机器可读指令4930可以被提供为在非暂态存储器中编码以用于与第三方处理器4910和接口4990一起实施的独立软件产品。
特征组合
在不脱离其范围的情况下，上述特征以及以下要求保护的特征可以以各种方式组合。例如，应理解，本文描述的用于图像传感器的自动曝光的一种方法或产品的各方面可以结合或交换本文描述的用于图像传感器的自动曝光的另一种方法或产品的特征。以下示例说明了以上所描述的实施例的一些可能的非限制性组合。应当清楚的是，在不脱离本发明的精神和范围的情况下，可以对本文的方法、产品和系统进行许多其他改变和修改：
(A1)一种用于SME HDR图像传感器的自动曝光方法可以包括(I)从SME HDR图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的像素的短曝光像素值；(II)对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(III)将在预处理步骤之后剩余的长曝光像素值和在预处理步骤之后剩余的短曝光像素值合成为HDR直方图，(IV)从HDR直方图中得到优良性度量；(V)至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(VI)将长曝光时间和短曝光时间中的经调整的至少一项输出到SMEHDR图像传感器。
(A2)在如(A1)所述的自动曝光方法中，优良性度量可以包括熵度量。
(A3)在如(A2)所述的自动曝光方法中，优良性度量可以包括HDR直方图的单独直条对HDR直方图的总熵的贡献的跨HDR直方图的方差。
(A4)在如(A3)所述的自动曝光方法中，得到步骤可以包括将HDR直方图的每个单独直条i的贡献Si计算为Si＝-pilog2(pi)，其中，pi是单独直条i中的计数。
(A5)如(A3)和(A4)所述的自动曝光方法中的任一种自动曝光方法可以进一步包括在合成步骤之前从长曝光像素值和短曝光像素值中去除噪声影响。
(A6)在如(A5)所述的自动曝光方法中，去除噪声影响的步骤可以包括根据噪声模型对(a)长曝光像素值的第一直方图和(b)短曝光像素值的第二直方图中的每一个进行去卷积。
(A7)在如(A6)所述的自动曝光方法的噪声模型中，可以用像素值的线性函数对噪声方差的期望值进行建模。
(A8)如(A3)至(A7)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括执行取得、预处理、合成、得到、调整和输出步骤的多次迭代，以确定使方差最小化的长曝光时间和短曝光时间的最佳集合。
(A9)如(A8)所述的自动曝光方法可以进一步包括在执行多次迭代的步骤之前确定最佳长曝光时间，并且执行多次迭代的步骤可以包括确定最佳短曝光时间，同时将长曝光时间保持在最佳长曝光时间。
(A10)在如(A9)所述的自动曝光方法中，确定最佳长曝光时间的步骤可以包括改变长曝光时间以最小化在过渡点处长曝光像素值与短曝光像素值之间的噪声差异，过渡点定义在对由SME HDR图像传感器捕获的图像数据进行去马赛克时在使用长曝光像素值与使用短曝光像素值的使用之间的过渡。
(A11)在如(A10)所述的自动曝光方法中，改变长曝光时间的步骤可以包括(1)将长曝光时间设置为初始值并且将短曝光时间设置为最小值；以及(2)实行以下各项的至少一次迭代：(a)执行取得、预处理和合成步骤以生成初步HDR直方图；(b)从初步HDR直方图估计长曝光时间的目标值；(c)针对长曝光时间的在目标值左右的范围内的多个值，计算指示将由长曝光时间导致的噪声差异的相应多个参数；(d)从参数的值推导与过渡点相对应的长曝光时间的修正值，过渡点与同噪声差异的值中的最小值相关联的直条一致；(e)除非长曝光时间的修正值大于或等于长曝光时间的初始值，否则将长曝光时间的初始值更新为长曝光时间的修正值并且继续进行后续迭代；以及(f)如果长曝光时间的修正值大于或等于长曝光时间的初始值，则输出长曝光时间的修正值作为最佳长曝光时间。
(A12)如(A2)至(A11)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括在原始图像数据中检测面部，并且调整步骤可以包括部分地基于优良性度量来调整长曝光时间和短曝光时间的集合，并且部分地调整长曝光时间和短曝光时间的集合来改善面部的曝光。
(A13)在如(A2)至(A12)所述的自动曝光方法中的任何一种自动曝光方法中，优良性度量可以进一步包括指示HDR直方图的上端和下端之一或两者处的裁剪的度量。
(A14)如(A1)至(A13)所述的自动曝光方法中的任何一种自动曝光方法可以包括(i)在取得步骤中，进一步取得来自SME HDR图像传感器的由比长曝光时间短但比短曝光时间长的中间曝光时间表征的像素的中间曝光像素值作为原始图像数据的一部分；(ii)在预处理步骤，进一步预处理中间曝光像素值以从其中去除无法满足一个或多个第二质量要求的中间曝光像素值；(iii)在合成步骤中，进一步将预处理步骤之后剩余的中间曝光像素值合成为HDR直方图；(iv)在调整步骤中，进一步调整中间曝光时间；以及(v)在输出步骤中，进一步输出经调整的中间曝光时间。
(A15)在如(A1)至(A14)所述的自动曝光方法中的任何一种自动曝光方法中，SMEHDR图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且其中，颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集，并且自动曝光时间可以进一步包括(A)单独地针对颜色特定像素集合中的每一个执行取得、预处理、合成和得到步骤；以及(B)共同评估针对颜色特定像素集合确定的每个优良性度量，以生成长曝光时间和短曝光时间的适用于所有颜色的一个经调整的集合。
(A16)在如(A1)至(A14)所述的自动曝光方法中的任何一种自动曝光方法中，SMEHDR图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且其中，颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集，并且自动曝光方法可以进一步包括(1)在取得步骤中，针对颜色特定像素集合中的每一个，取得相应颜色特定的长曝光像素值和相应颜色特定的短曝光像素值；以及(2)在预处理步骤之前，将颜色特定的长曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的长曝光像素值组合以生成长曝光像素值，并且将颜色特定的短曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的短曝光像素值组合以生成短曝光像素值，其中，长曝光像素值和短曝光像素值代表光亮度。
(A17)在如(Al)至(A16)所述的自动曝光方法中的任何一种自动曝光方法中，预处理步骤可以包括彼此单独地过滤长曝光像素值和短曝光像素值。
(A18)在如(A17)所述的自动曝光方法中，预处理步骤可以包括(1)在过滤步骤中，(a)从长曝光像素值中去除高于饱和度相关阈值的长曝光像素值并且(b)从短曝光像素值中去除低于噪声相关阈值的短曝光像素值。
(A19)在如(A17)和(A18)所述的自动曝光方法中，预处理步骤进一步包括将过滤步骤之后剩余的长曝光像素值和短曝光像素值进行比较，以评估运动差异并且从SME HDR图像传感器的空间区域中去除受超过阈值运动差异水平的运动差异影响的短曝光像素值和长曝光值。
(A20)在如(A19)和(A5)所述的自动曝光方法中，将去除所述噪声影响的步骤单独应用于在所述从所述空间复用曝光高动态范围图像传感器的所述空间区域中去除受超过阈值运动差异水平的运动差异影响的所述短曝光像素值和所述长曝光值的步骤之后剩余的所述长曝光像素值和所述短曝光像素值。
(A21)在如(A1)至(A20)所述的自动曝光方法的任何一种自动曝光方法中，合成步骤可以包括(1)将(a)预处理步骤之后剩余的长曝光像素值的第一直方图和(b)预处理步骤之后剩余的短曝光像素值的第二直方图缩放到共同的比例；(2)从第二直方图中去除在共同的比例上具有小于或等于第一直方图的最上面直条的中心值的中心值的短曝光像素值直条；以及(3)在去除步骤之后，将第一直方图和第二直方图合并以形成HDR直方图。
(A22)在如(A1)至(A21)所述的自动曝光方法中的任何一种自动曝光方法中，预处理步骤可以包括缩放长曝光像素值和短曝光像素值，以补偿SME HDR图像传感器与由原始图像数据表示的场景之间光学梯度滤波器的存在。
(A23)如(A1)至(A22)所述的自动曝光方法中的任何一种自动曝光方法可以包括执行取得、预处理、合成、得到、调整和输出步骤的多次迭代，以确定优化优良性度量的长曝光时间和短曝光时间的最佳集合。
(A24)在如(A23)所述的自动曝光方法中，每个后续迭代可以基于由SME HDR图像传感器使用在最近的先前迭代中输出到SME HDR图像传感器的长曝光时间和短曝光时间的经调整的集合而获取的原始图像数据。
(A25)如(A23)和(A24)所述的自动曝光方法中的任一种自动曝光方法可以进一步包括针对SME HDR图像传感器的多个局部区域单独地执行执行步骤，以局部优化长曝光时间和短曝光时间的空间变化集合。
(A26)如(A23)至(A25)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括(1)在取得步骤中，从由SME HDR图像传感器记录的原始视频流的帧取得原始图像数据；(2)针对原始视频流的多个帧的原始图像数据执行取得、预处理、合成、得到、调整和输出步骤，以在由SME HDR图像传感器捕获原始视频流期间调整曝光时间和短曝光时间的最佳长集合；(3)针对原始视频流的每个帧，从长曝光像素值和短曝光像素值产生HDR图像，以从原始视频流产生HDR视频流；以及(4)对HDR视频流进行后处理，以减少由捕获视频系列期间对长曝光时间和短曝光时间的最佳集合的调整而引起的HDR视频流的时间明亮度不稳定性。
(A27)在如(A26)所述的自动曝光方法中，后处理步骤可以包括将每个HDR图像乘以(a)固定参考灵敏度与(b)SME HDR图像传感器在捕获与HDR图像相关联的帧期间使用的长曝光时间和短曝光时间处的灵敏度的比率。
(A28)如(A23)至(A25)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括(1)获得由SME HDR图像传感器记录的帧的原始视频流；(2)分析原始视频流的时间明亮度变化，以预测要由SME HDR图像传感器捕获的后一帧的明亮度；以及(3)对原始视频流的帧中的至少一些帧执行迭代，其中，迭代中的每一次进一步包括基于在分析步骤中预测的明亮度对长曝光时间和短曝光时间的最佳集合进行操纵，以使其对于后一帧是最佳的。
(B1)一种用于SME HDR图像传感器的自动曝光的产品可以包括在非暂态存储器中编码的机器可读指令，其中，机器可读指令包括(I)数据输入指令，数据输入指令当由处理器执行时从SME HDR图像传感器的曝光取得原始图像数据，原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的像素的短曝光像素值；(II)预处理指令，预处理指令当由处理器执行时对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(III)合成指令，合成指令当由处理器执行时将(a)在执行预处理指令之后剩余的长曝光像素值和(b)在执行预处理指令之后剩余的短曝光像素值合成为HDR直方图；(IV)度量指令，度量指令当由处理器执行时从HDR直方图中得到优良性度量；(V)调整指令，调整指令当由处理器执行时至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(VI)数据输出指令，数据输出指令当由处理器执行时输出长曝光时间和短曝光时间中的至少一项。
(B2)在如(B1)所述的产品中，优良性度量可以是HDR直方图的单独直条对HDR直方图的总熵的贡献的跨HDR直方图的方差。
(B3)在如(B2)所述的产品中，度量指令可以被配置成当由处理器执行时将HDR直方图的每个单独直条i的贡献Si计算为Si＝-pilog2(pi)，其中，pi是单独直条i中的计数。
(B4)在如(B3)所述的产品中，机器可读指令可以进一步包括噪声去除指令，噪声去除指令当由处理器执行时从HDR直方图中去除噪声影响，机器可读指令被配置成当由处理器执行时命令处理器在度量指令之前执行噪声去除指令。
(B5)在如(B4)所述的产品中，噪声去除指令可以被配置成当由处理器执行时根据噪声模型对HDR直方图进行去卷积。
(B6)在如(B5)所述的产品的噪声模型中，可以用像素值的线性函数对噪声方差的期望值进行建模。
(B7)在如(B2)至(B6)所述的产品中的任何一种产品中，机器可读指令可以进一步包括迭代指令，迭代指令当由处理器执行时执行对执行数据输入指令、预处理指令、合成指令、度量指令、调整指令和数据输出指令的多次迭代，以确定并向SME HDR图像传感器输出使方差最小化的长曝光时间和短曝光时间的最佳集合。
(B8)一种具有自动曝光功能的SME HDR成像系统可以包括SME HDR图像传感器、处理器和如(B2)至(B7)所述的产品中的任何一种产品，以用于当处理器执行产品的机器可读指令时调整SME HDR图像传感器的长曝光时间和短曝光时间，其中，产品的机器可读指令进一步包括迭代指令，迭代指令当由处理器执行时执行对执行数据输入指令、预处理指令、合成指令、度量指令、调整指令和数据输出指令的多次迭代，以确定并向SME HDR图像传感器输出优化优良性度量的长曝光时间和短曝光时间的最佳集合。
(B9)在如(B8)所述的SME HDR成像系统中，SME HDR图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且其中，颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集。机器可读指令可以被配置成当由处理器执行时命令处理器针对颜色特定像素集合中的每一个单独地执行数据输入指令、预处理指令、合成指令和度量指令，并且调整指令可以被配置成当由处理器执行时共同评估针对颜色特定像素集合中的每一个确定的优良性度量，以调整长曝光时间和短曝光时间中的至少一项，其中，长曝光时间和短曝光时间中的至少一项适用于所有颜色。
(B10)在如(B9)所述的SME HDR成像系统中，SME HDR图像传感器可以是之字形HDR图像传感器。
(B11)在如(B9)或(B10)所述的SME HDR成像系统中，SME HDR图像传感器可以是四HDR图像传感器，并且机器可读指令可以被配置成使得(1)数据输入指令当由处理器执行时进一步取得来自SME HDR图像传感器的由比长曝光时间短但比短曝光时间长的中间曝光时间表征的像素的中间曝光像素值作为原始图像数据的一部分，(2)预处理指令当由处理器执行时进一步处理中间曝光像素值以从其中去除无法满足一个或多个第二质量要求的中间曝光像素值，(3)合成指令当由处理器执行时进一步将执行预处理执行之后剩余的中间曝光像素值合成为HDR直方图，并且(4)调整指令当由处理器执行时进一步调整中间曝光时间，并且(5)数据输出指令的步骤当由处理器执行时进一步输出经调整的中间曝光。
(B12)在如(B8)所述的SME HDR成像系统中，SME HDR图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集。数据输入指令可以被配置成当由处理器执行时针对颜色特定像素集合中的每一个取得相应的颜色特定的长曝光像素值和相应的颜色特定的短曝光像素值，并且机器可读指令可以进一步包括组合指令，组合指令当由处理器在执行预处理指令之前执行时，(a)将颜色特定的长曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的长曝光像素值组合以生成长曝光像素值，并且(b)将颜色特定的短曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的短曝光像素值组合以生成短曝光像素值，其中，长曝光像素值和短曝光像素值代表光亮度。
(B13)在如(B12)所述的SME HDR成像系统中，SME HDR图像传感器可以是之字形HDR图像传感器。
(B14)在如(B12)所述的SME HDR成像系统中，SME HDR图像传感器可以是四HDR图像传感器，并且机器可读指令可以被配置成使得(1)数据输入指令当由处理器执行时进一步取得来自SME HDR图像传感器的由比长曝光时间短但比短曝光时间长的中间曝光时间表征的像素的颜色特定的中间曝光像素值作为原始图像数据的一部分，(2)组合指令当由处理器执行时将颜色特定的中间曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的中间曝光像素值组合以生成中间曝光像素值，其中，中间曝光像素值代表光亮度，(3)预处理指令当由处理器执行时进一步处理中间曝光像素值以从其中去除无法满足一个或多个第二质量要求的中间曝光像素值，(4)合成指令当由处理器执行时进一步将根据预处理指令进行预处理之后剩余的中间曝光像素值合成为HDR直方图，(5)调整指令当由处理器执行时进一步调整中间曝光时间，并且(6)数据输出指令当由处理器执行时进一步输出经调整的中间曝光时间。
(B15)在如(B8)至(B14)所述的SME HDR成像系统中的任何一种SME HDR成像系统中，迭代指令可以被配置成当由处理器执行时针对SME HDR图像传感器的多个局部区域单独地执行迭代，以局部优化长曝光时间和短曝光时间的空间变化集合，并且SME HDR图像传感器可以包括用于针对局部区域中的每一个局部定义长曝光时间和短曝光时间的电路。
(C1)一种用于图像传感器的自动曝光方法可以包括(I)针对来自图像传感器在相应曝光时间设置下的相应多个单独曝光的像素值的多个直方图中的每一个，评估直方图的单独直条对直方图的总熵的贡献的方差，以确定图像传感器的与方差的最小值相对应的最佳曝光时间；以及(II)将最佳曝光时间输出到图像传感器。
(C2)在如(C1)所述的自动曝光方法中，评估步骤可以包括针对多个不同的曝光时间设置执行以下各项的相应多次迭代：(a)从图像传感器在曝光时间设置设置中的相应曝光时间设置设置下的曝光生成像素值的直方图的实例；以及(b)从直方图的实例计算方差。
(C3)在如(C2)所述的自动曝光方法中，计算步骤可以包括针对每个单独直条i将贡献计算为Si＝-pilog2(pi)，其中，pi是单独直条i中的计数。
(C4)在如(C2)和(C3)所述的自动曝光方法中的任一种自动曝光方法中，迭代中的每一次可以进一步包括在计算步骤之前从直方图的实例中去除噪声影响。
(C5)在如(C4)所述的自动曝光方法中，去除噪声影响的步骤可以包括根据噪声模型对直方图的实例进行去卷积。
(C6)在如(C1)至(C5)所述的自动曝光方法中的任何一种自动曝光方法中，图像传感器可以被配置成在相同的曝光时间下曝光图像传感器的所有像素。
(C7)在如(C1)至(C6)所述的自动曝光方法中的任何一种自动曝光方法中，图像传感器可以是空间复用曝光高动态范围图像传感器，并且自动曝光方法可以包括从与在相应多个不同曝光时间下操作的空间复用曝光高动态范围图像传感器的相应多个像素子集相关联的多个曝光时间特定的直方图合成直方图。
(C8)如(C7)所述的自动曝光方法可以进一步包括在合成步骤之前从曝光时间特定的直方图中的每一个中去除噪声影响。
(C9)在如(C8)所述的自动曝光方法中，去除噪声影响的步骤可以包括根据噪声模型对曝光时间特定的直方图中的每一个进行去卷积。
(D1)一种用于图像传感器的自动曝光的产品可以包括在非暂态存储器中编码的机器可读指令，其中，机器可读指令包括：(I)数据输入指令，数据输入指令当由处理器执行时从图像处理器取得像素值；(II)熵方差优化指令，熵方差优化指令当由处理器执行时评估直方图的单独直条对直方图的总熵的贡献的跨来自图像传感器在相应曝光时间设置下的相应多个单独曝光的像素值的多个直方图中的每一个的方差，以确定图像传感器的与方差的最小值相对应的最佳曝光时间；以及(III)数据输出指令，数据输出指令当由处理器执行时将最佳曝光时间输出到图像传感器。
(D2)在如(D1)所述的产品中，熵方差优化指令可以被配置成当由处理器执行时针对多个不同的曝光时间设置执行以下各项的相应多次迭代：(a)从图像传感器在曝光时间设置中的相应曝光时间设置下的曝光生成像素值的直方图的实例；以及(b)从直方图的实例计算方差。
(D3)在如(D2)所述的产品中，熵方差优化指令可以被进一步配置成当由处理器执行时针对每个单独直条i将直条的贡献计算为Si＝-pilog2(pi)，其中，pi是单独直条i中的计数。
(D4)在如(D2)和(D3)所述的产品中的任一种产品中，熵方差优化指令可以包括噪声去除指令，噪声去除指令当由处理器执行时在迭代中的每一次中在计算方差之前从直方图的实例中去除噪声影响。
(D5)在如(D4)所述的产品中，噪声去除指令可以被配置成当由处理器执行时根据噪声模型对直方图的实例进行去卷积。
(D6)在如(D5)所述的产品的所述噪声模型中，可以用像素值的线性函数对噪声方差的期望值进行建模。
(D7)一种具有自动曝光功能的成像系统可以包括图像传感器、处理器和如(D1)至(D6)中任一项所述的产品，以用于当处理器执行机器可读指令时确定图像传感器的最佳曝光时间。
(D8)在如(D7)所述的成像系统中，图像传感器可以被配置成在相同的曝光时间下曝光图像传感器的所有像素。
(D9)在如(D7)和(D8)所述的成像系统中的任一种成像系统中，图像传感器可以是空间复用曝光高动态范围图像传感器，并且机器可读指令可以进一步包括合成指令，合成指令当由处理器执行时从与在相应多个不同曝光时间下操作的空间复用曝光高动态范围图像传感器的相应多个像素子集相关联的多个曝光时间特定的直方图合成直方图。
(D10)在如(D9)所述的成像系统中，熵方差优化指令可以包括噪声去除指令，噪声去除指令当由处理器执行时在迭代中的每一次中在执行合成指令之前从曝光时间特定的直方图中的每一个中去除噪声影响。
(D11)在如(D10)所述的成像系统中，噪声去除指令可以被配置成当由处理器执行时根据噪声模型对曝光时间特定的直方图中的每一个进行去卷积。
(E1)一种用于SME HDR图像传感器的自动曝光方法可以包括(I)从SME HDR图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(II)针对SME-HDR图像传感器的多个空间区域中的每一个，评估空间区域中的所选长曝光像素的饱和度水平；(III)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的短曝光像素的减少的短曝光时间和(ii)补偿减少的短曝光时间的增加的数字增益值；以及(IV)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个短曝光像素。
(E2)在如(E1)所述的自动曝光方法中，针对SME-HDR图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以由一个长曝光像素和一个相关联的短曝光像素构成。
(E3)在如(E1)所述的自动曝光方法中，针对SME-HDR图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以包括多个长曝光像素和多个短曝光像素。
(E4)在如(E1)至(E3)所述的自动曝光方法中的任何一种自动曝光方法中，空间区域可以共同包括SME-HDR图像传感器的所有长曝光像素和所有短曝光像素。
(F1)一种具有自动曝光功能的HDR成像系统可以包括(I)具有电路的空间复用曝光(SME)HDR图像传感器，电路被配置成单独地调整多个空间区域中的每一个的至少一个曝光时间；(II)处理器；以及(III)在非暂态存储器中编码的机器可读指令，其中，机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从SME HDR图像传感器的曝光取得原始图像数据，原始图像数据包括来自SME HDR图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自SME HDR图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(b)饱和度评估指令，饱和度评估指令当由处理器执行时针对空间区域中的每一个，评估空间区域中的至少一个所选长曝光像素的饱和度水平；(c)调整指令，调整指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的每个短曝光像素的减少的短曝光时间和(ii)补偿减少的短曝光时间的增加的数字增益值；以及(d)数据输出指令，数据输出指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的每个空间区域，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个短曝光像素。
(F2)在如(F1)所述的产品中，针对SME-HDR图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以由一个长曝光像素和一个相关联的短曝光像素构成。
(F3)在如(F1)所述的产品中，针对SME-HDR图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以包括多个长曝光像素和多个短曝光像素。
(F4)在如(F1)至(F3)所述的产品中的任何一种产品中，空间区域可以共同包括SME-HDR图像传感器的所有长曝光像素和所有短曝光像素。
在不脱离其范围的情况下，可以对以上系统和方法进行改变。因此，应当注意，包含在以上说明书中并且在附图中示出的内容应当被解释为说明性的而不是限制性的意义。以下权利要求旨在涵盖本文所描述的一般特征和特定特征以及本发明系统和方法的范围的所有陈述，该陈述在语言上可以被说成落在其间。

Claims (33)

1.一种用于空间复用曝光(SME)高动态范围(HDR)图像传感器的自动曝光方法，所述自动曝光方法包括：
从所述空间复用曝光高动态范围图像传感器的曝光取得原始图像数据，所述原始图像数据包括来自所述空间复用曝光高动态范围图像传感器的由长曝光时间表征的像素的长曝光像素值和来自所述空间复用曝光高动态范围图像传感器的由短曝光时间表征的像素的短曝光像素值；
对所述长曝光像素值和所述短曝光像素值进行预处理，以从其中去除无法满足一个或多个图像质量要求的长曝光像素值和短曝光像素值；
将在所述预处理步骤之后剩余的所述长曝光像素值和在所述预处理步骤之后剩余的所述短曝光像素值合成为高动态范围直方图；
从所述高动态范围直方图中得到优良性度量；
至少部分地基于所述优良性度量来调整所述长曝光时间和所述短曝光时间中的至少一项；以及
将所述长曝光时间和所述短曝光时间中的经调整的所述至少一项输出到所述空间复用曝光高动态范围图像传感器。
2.如权利要求1所述的自动曝光方法，所述优良性度量包括在整个所述高动态范围直方图中所述高动态范围直方图的单独直条对所述高动态范围直方图的总熵的贡献的方差。
3.如权利要求2所述的自动曝光方法，所述得到步骤包括将所述高动态范围直方图的每个单独直条i的所述贡献Si计算为Si＝-pilog2(pi)，其中，pi是所述单独直条i中的计数。
4.如权利要求2或3所述的自动曝光方法，进一步包括在所述合成步骤之前从所述长曝光像素值和所述短曝光像素值中去除噪声影响。
5.如权利要求4所述的自动曝光方法，其中，所述去除所述噪声影响的步骤包括根据噪声模型对(a)所述长曝光像素值的第一直方图和(b)所述短曝光像素值的第二直方图中的每一者进行去卷积。
6.如权利要求5所述的自动曝光方法，用像素值的线性函数对噪声方差的期望值进行建模。
7.如权利要求2至6中任一项所述的自动曝光方法，进一步包括执行所述取得、预处理、合成、得到、调整和输出步骤的多次迭代，以确定使所述方差最小化的所述长曝光时间和所述短曝光时间的最佳集合。
8.如权利要求7所述的自动曝光方法，
进一步包括在执行所述多次迭代的步骤之前确定最佳长曝光时间；并且
执行所述多次迭代的步骤包括在将所述长曝光时间保持在所述最佳长曝光时间的同时确定最佳短曝光时间。
9.如权利要求8所述的自动曝光方法，所述确定所述最佳长曝光时间的步骤包括改变所述长曝光时间以最小化在过渡点处所述长曝光像素值与所述短曝光像素值之间的噪声差异，所述过渡点定义在对由所述空间复用曝光高动态范围图像传感器捕获的图像进行去马赛克时在使用所述长曝光像素值与使用所述短曝光像素值之间的过渡。
10.如权利要求9所述的自动曝光方法，所述改变所述长曝光时间的步骤包括
将所述长曝光时间设置为初始值并且将所述短曝光时间设置为最小值；以及
实行对以下各项的至少一次迭代：
(a)执行所述取得、预处理和合成步骤以生成初步高动态范围直方图，
(b)从所述初步高动态范围直方图估计所述长曝光时间的目标值，
(c)针对所述长曝光时间的在所述目标值左右的范围内的多个值，计算指示将由所述长曝光时间导致的所述噪声差异的相应多个参数，
(d)从所述参数的所述值推导与所述过渡点相对应的所述长曝光时间的修正值，所述过渡点与同所述噪声差异的所述值中的最小值相关联的直条一致，
(e)除非所述长曝光时间的所述修正值大于或等于所述长曝光时间的所述初始值，否则将所述长曝光时间的所述初始值更新为所述长曝光时间的所述修正值并且继续进行后续迭代，以及
(f)如果所述长曝光时间的所述修正值大于或等于所述长曝光时间的所述初始值，则输出所述长曝光时间的所述修正值作为所述最佳长曝光时间。
11.如权利要求1至10中任一项所述的自动曝光方法，
进一步包括在所述原始图像数据中检测面部；并且
所述调整步骤包括部分地基于所述优良性度量来调整所述长曝光时间和所述短曝光时间的所述集合并且部分地改善所述面部的曝光。
12.如权利要求1至11中任一项所述的自动曝光方法，包括：
在所述取得步骤中，进一步取得来自所述空间复用曝光高动态范围图像传感器的由比所述长曝光时间短但比所述短曝光时间长的中间曝光时间表征的像素的中间曝光像素值作为所述原始图像数据的一部分；
在所述预处理步骤中，进一步对所述中间曝光像素值进行预处理，以从其中去除无法满足一个或多个第二质量要求的中间曝光像素值；
在所述合成步骤中，进一步将所述预处理步骤之后剩余的所述中间曝光像素值合成为所述高动态范围直方图；
在所述调整步骤中，进一步调整所述中间曝光时间；以及
在所述输出步骤中，进一步输出经调整的所述中间曝光时间。
13.如权利要求1至12中任一项所述的自动曝光方法，所述空间复用曝光高动态范围图像传感器是具有多个颜色特定像素集合的彩色图像传感器，所述颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，所述颜色特定像素集合中的每一个包括由所述长曝光时间表征的所述像素的子集和由所述短曝光时间表征的所述像素的子集，并且所述自动曝光方法进一步包括：
单独地针对所述颜色特定像素集合中的每一个执行所述取得、预处理、合成和得到步骤；以及
共同评估针对所述颜色特定像素集合确定的每个优良性度量，以生成所述长曝光时间和所述短曝光时间的适用于所有所述颜色的一个经调整的集合。
14.如权利要求1至12中任一项所述的自动曝光方法，所述空间复用曝光高动态范围图像传感器是具有多个颜色特定像素集合的彩色图像传感器，其中，所述颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且其中，所述颜色特定像素集合中的每一个包括由所述长曝光时间表征的所述像素的子集和由所述短曝光时间表征的所述像素的子集，其中，所述自动曝光方法进一步包括：
在所述取得步骤中，针对所述颜色特定像素集合中的每一个，取得相应颜色特定的长曝光像素值和相应颜色特定的短曝光像素值，以及在所述预处理步骤之前，
将所述颜色特定的长曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的长曝光像素值组合以生成所述长曝光像素值，并且
将所述颜色特定的短曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的短曝光像素值组合以生成所述短曝光像素值，其中，所述长曝光像素值和所述短曝光像素值代表光亮度。
15.如权利要求1至14中任一项所述的自动曝光方法，所述预处理步骤包括彼此单独地过滤所述长曝光像素值和所述短曝光像素值。
16.如权利要求15所述的自动曝光方法，其中，所述过滤步骤包括(a)从所述长曝光像素值中去除高于饱和度相关阈值的长曝光像素值并且(b)从所述短曝光像素值中去除低于噪声相关阈值的短曝光像素值。
17.如权利要求15和16所述的自动曝光方法，其中，所述预处理步骤包括将所述过滤步骤之后剩余的所述长曝光像素值和所述短曝光像素值进行比较，以评估运动差异并且从所述空间复用曝光高动态范围图像传感器的空间区域中去除受超过阈值运动差异水平的运动差异影响的短曝光像素值和长曝光值。
18.如权利要求17所述且从属于权利要求5的自动曝光方法，其中，将所述去除所述噪声影响的步骤单独应用于在所述从所述空间复用曝光高动态范围图像传感器的所述空间区域中去除受超过阈值运动差异水平的运动差异影响的所述短曝光像素值和所述长曝光值的步骤之后剩余的所述长曝光像素值和所述短曝光像素值。
19.如权利要求1至18中任一项所述的自动曝光方法，所述合成步骤包括：
将(a)所述预处理步骤之后剩余的所述长曝光像素值的第一直方图和(b)所述预处理步骤之后剩余的所述短曝光像素值的第二直方图缩放到公共比例；
从所述第二直方图中去除在所述公共比例上具有小于或等于所述第一直方图的最上面直条的中心值的中心值的短曝光像素值直条；以及
在所述去除步骤之后，将所述第一直方图和所述第二直方图合并以形成所述高动态范围直方图。
20.如权利要求1至19中任一项所述的自动曝光方法，所述预处理步骤包括缩放所述长曝光像素值和所述短曝光像素值，以补偿所述空间复用曝光高动态范围图像传感器与由所述原始图像数据表示的场景之间光学梯度滤波器的存在。
21.如权利要求1至20中任一项所述的自动曝光方法，包括执行所述取得、预处理、合成、得到、调整和输出步骤的多次迭代，以确定优化所述优良性度量的所述长曝光时间和所述短曝光时间的最佳集合。
22.如权利要求21所述的自动曝光方法，其中，每个后续迭代基于由所述空间复用曝光高动态范围图像传感器使用在最近的先前迭代中输出到所述空间复用曝光高动态范围图像传感器的所述长曝光时间和所述短曝光时间的经调整的集合而获取的原始图像数据。
23.如权利要求21或22所述的自动曝光方法，进一步包括针对所述空间复用曝光高动态范围图像传感器的多个局部区域单独地执行所述执行步骤，以局部优化所述长曝光时间和所述短曝光时间的空间变化集合。
24.如权利要求21至23中任一项所述的自动曝光方法，进一步包括(1)在所述取得步骤中，从由所述空间复用曝光高动态范围图像传感器记录的原始视频流的帧取得所述原始图像数据；(2)针对所述原始视频流的多个帧的所述原始图像数据执行所述取得、预处理、合成、得到、调整和输出步骤，以在由所述空间复用曝光高动态范围图像传感器捕获所述原始视频流期间调整所述曝光时间和所述短曝光时间的最佳长集合；(3)针对所述原始视频流的每个帧，从所述长曝光像素值和所述短曝光像素值产生空间复用曝光高动态范围图像，以从所述原始视频流产生空间复用曝光高动态范围视频流；以及(4)对所述空间复用曝光高动态范围视频流进行后处理，以减少由所述捕获所述视频系列期间对所述长曝光时间和所述短曝光时间的所述最佳集合的调整而引起的所述空间复用曝光高动态范围视频流的时间明亮度不稳定性。
25.如权利要求24所述的自动曝光方法，所述后处理步骤包括将每个高动态范围图像乘以(a)固定参考灵敏度与(b)所述空间复用曝光高动态范围图像传感器在捕获与所述高动态范围图像相关联的所述帧期间使用的所述长曝光时间和所述短曝光时间处的灵敏度的比率。
26.如权利要求21至23中任一项所述的自动曝光方法，进一步包括(1)获得由所述空间复用曝光高动态范围图像传感器记录的帧的原始视频流；(2)分析所述原始视频流的时间明亮度变化，以预测要由所述空间复用曝光高动态范围图像传感器捕获的后一帧的明亮度；以及(3)对所述原始视频流的所述帧中的至少一些帧执行所述迭代，其中，所述迭代中的每一次进一步包括基于在所述分析步骤中预测的所述明亮度对所述长曝光时间和所述短曝光时间的所述最佳集合进行操纵，以使所述长曝光时间和所述短曝光时间的所述最佳集合对于所述后一帧是最佳的。
27.一种用于空间复用曝光高动态范围图像传感器的自动曝光的产品，所述产品包括在非暂态存储器中编码的机器可读指令，所述机器可读指令包括：
数据输入指令，所述数据输入指令当由处理器执行时使所述处理器执行如权利要求1至26所述的方法中的任何一种方法。
28.一种具有自动曝光功能的空间复用曝光高动态范围成像系统，所述空间复用曝光高动态范围成像系统包括：空间复用曝光高动态范围图像传感器；处理器；以及如权利要求27所述的产品，以用于当所述处理器执行所述产品的所述机器可读指令时调整所述空间复用曝光高动态范围图像传感器的所述长曝光时间和所述短曝光时间，其中，所述产品的所述机器可读指令进一步包括迭代指令，所述迭代指令当由所述处理器执行时执行对执行所述数据输入指令、所述预处理指令、所述合成指令、所述度量指令、所述调整指令和所述数据输出指令的多次迭代，以确定并向所述空间复用曝光高动态范围图像传感器输出优化所述优良性度量的所述长曝光时间和所述短曝光时间的最佳集合。
29.一种用于空间复用曝光高动态范围图像传感器的自动曝光方法，所述自动曝光方法包括：(I)从所述空间复用曝光高动态范围图像传感器的曝光取得原始图像数据，所述原始图像数据包括来自所述空间复用曝光高动态范围图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自所述空间复用曝光高动态范围图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(II)针对所述空间复用曝光高动态范围图像传感器的多个空间区域中的每一个，评估所述空间区域中的所选长曝光像素的饱和度水平；(III)针对由所述所选长曝光像素的超过饱和度阈值的所述长曝光像素值表征的所述空间区域中的每一个，确定(i)用于所述空间区域中的所述短曝光像素的减少的短曝光时间以及(ii)补偿所述减少的短曝光时间的增加的数字增益值；以及(IV)针对由所述所选长曝光像素的超过所述饱和度阈值的所述长曝光像素值表征的所述空间区域中的每一个，将所述减少的短曝光时间和所述增加的数字增益值输出到所述空间区域中的每个短曝光像素。
30.如权利要求29所述的自动曝光方法，其中，针对所述空间复用曝光高动态范围图像传感器的每个像素光谱灵敏度等级，所述空间区域中的每一个包括一个长曝光像素和一个相关联的短曝光像素。
31.如权利要求29所述的自动曝光方法，其中，针对所述空间复用曝光高动态范围图像传感器的每个像素光谱灵敏度等级，所述空间区域中的每一个包括多个所述长曝光像素和多个所述短曝光像素。
32.如权利要求29至31中任一项所述的自动曝光方法，其中，所述空间区域共同包括所述空间复用曝光高动态范围图像传感器的所有长曝光像素和所有短曝光像素。
33.一种具有自动曝光功能的高动态范围成像系统，所述高动态范围成像系统包括：(I)空间复用曝光高动态范围图像传感器，所述空间复用曝光高动态范围图像传感器具有被配置成单独地针对多个空间区域中的每一个调整至少一个曝光时间的电路；(II)处理器；以及(III)在非暂态存储器中编码的机器可读指令，其中，所述机器可读指令包括(a)数据输入指令，所述数据输入指令当由所述处理器执行时使所述处理器执行如权利要求28至31中任一项所述的方法。
CN201980067622.7A 2018-09-07 2019-09-05 自动曝光方法 Active CN112840637B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862728660P 2018-09-07 2018-09-07
EP18193264 2018-09-07
EP18193264.1 2018-09-07
US62/728,660 2018-09-07
PCT/US2019/049706 WO2020051305A1 (en) 2018-09-07 2019-09-05 Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensors

Publications (2)

Publication Number Publication Date
CN112840637A true CN112840637A (zh) 2021-05-25
CN112840637B CN112840637B (zh) 2022-04-05

Family

ID=67989092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980067622.7A Active CN112840637B (zh) 2018-09-07 2019-09-05 自动曝光方法

Country Status (5)

Country Link
US (1) US11412154B2 (zh)
EP (1) EP3847800B1 (zh)
JP (1) JP7150147B2 (zh)
CN (1) CN112840637B (zh)
WO (1) WO2020051305A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3884673B1 (en) 2018-11-19 2022-12-28 Dolby Laboratories Licensing Corporation Video encoder and encoding method
CN110891149B (zh) * 2019-11-13 2021-07-23 深圳市道通智能航空技术股份有限公司 高动态范围图像自动曝光方法及无人飞行器
US11856175B2 (en) 2020-04-14 2023-12-26 Selene Photonics, Inc. Welding mask with light field image capture and display
US11554440B2 (en) * 2020-04-14 2023-01-17 Selene Photonics, Inc. Digital display welding mask with HDR imaging
US11483497B2 (en) 2020-05-29 2022-10-25 Canon Kabushiki Kaisha Encoding apparatus and method, image capture apparatus, and storage medium
CN112689099B (zh) * 2020-12-11 2022-03-22 北京邮电大学 一种面向双镜头相机的无重影高动态范围成像方法及装置
US11651479B2 (en) * 2020-12-22 2023-05-16 Advanced Micro Devices, Inc. Unified ISP pipeline for image sensors with various color filter array and high dynamic range schemes
JP2022126388A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 撮像制御装置、撮像制御方法およびプログラム
US11972538B2 (en) 2022-01-18 2024-04-30 Apple Inc. Demosaicing circuit for demosaicing Quad Bayer raw image data
US11889033B2 (en) 2022-05-11 2024-01-30 Samsung Electronics Co., Ltd. Flare mitigation via deconvolution using high dynamic range imaging
CN117082355B (zh) * 2023-09-19 2024-04-12 荣耀终端有限公司 图像处理方法和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
US20120113297A1 (en) * 2009-05-25 2012-05-10 Panasonic Corporation Camera device, exposure control method, and program
EP2565843A2 (en) * 2011-08-31 2013-03-06 Sony Corporation Image processing apparatus, image processing method, and program
US20150042836A1 (en) * 2013-08-08 2015-02-12 Quanta Computer Inc. Method for Controlling Exposure Time of High Dynamic Range Image
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
CN104980652A (zh) * 2014-04-11 2015-10-14 韩华泰科株式会社 图像处理设备和图像处理方法
CN105323498A (zh) * 2014-08-01 2016-02-10 全视科技有限公司 不含运动伪影的高动态范围hdr图像
US20180191934A1 (en) * 2016-12-30 2018-07-05 Samsung Electronics Co., Ltd. Image capturing device and method of driving the same

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580454B1 (en) 1998-11-18 2003-06-17 Agilent Technologies, Inc. CMOS active pixel sensor having in-pixel local exposure control
JP2006180015A (ja) 2004-12-21 2006-07-06 Seiko Epson Corp ヒストグラム生成装置及びヒストグラム生成方法
US20070242141A1 (en) * 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
JP5188101B2 (ja) 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
WO2009050594A2 (en) 2007-07-25 2009-04-23 Yunn-En Yeo Exposure control for an imagning system
US8441535B2 (en) 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
KR20090127602A (ko) 2008-06-09 2009-12-14 삼성전자주식회사 엔트로피를 이용한 영상 획득 방법 및 장치
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
US8125545B2 (en) * 2008-10-14 2012-02-28 International Business Machines Corporation Photo sensor array using controlled motion
JP5315125B2 (ja) 2009-05-20 2013-10-16 株式会社メガチップス 画像処理装置、撮像装置、および合成画像の生成方法
US8233789B2 (en) 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
US8077256B1 (en) 2010-06-04 2011-12-13 Apple, Inc. Scene-aware automatic-exposure control
US8325890B2 (en) 2010-06-06 2012-12-04 Apple Inc. Auto exposure techniques for variable lighting conditions
US8531542B2 (en) 2010-09-01 2013-09-10 Apple Inc. Techniques for acquiring and processing statistics data in an image signal processor
TWI486058B (zh) 2010-11-12 2015-05-21 Altek Corp 影像擷取裝置及其影像合成方法
KR101812807B1 (ko) 2011-06-29 2017-12-27 엘지이노텍 주식회사 영역별 가중치를 기반으로 한 적응형 자동 노출 제어 방법
KR101699919B1 (ko) 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
US9172889B2 (en) 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9402018B2 (en) 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
KR102149453B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
KR102149187B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
TWI530911B (zh) 2014-02-25 2016-04-21 宏碁股份有限公司 動態曝光調整方法及其電子裝置
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
JP2016034094A (ja) 2014-07-31 2016-03-10 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびイメージセンサ
EP3217652A4 (en) 2014-11-06 2018-06-20 Sony Corporation Image processing device, image display device, image processing method, and image display method
EP3046318A1 (en) 2015-01-15 2016-07-20 Thomson Licensing Method and apparatus for motion-based video tonal stabilization
KR102277178B1 (ko) 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
WO2016165967A1 (en) 2015-04-14 2016-10-20 Fotonation Limited Image acquisition method and apparatus
US9813635B2 (en) 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
US9916644B1 (en) 2016-09-09 2018-03-13 Omnivision Technologies, Inc. Ghost artifact removal system and method
CN108419025B (zh) 2018-05-30 2020-01-07 北京图森未来科技有限公司 一种曝光参数调整方法、装置和可读介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
US20120113297A1 (en) * 2009-05-25 2012-05-10 Panasonic Corporation Camera device, exposure control method, and program
EP2565843A2 (en) * 2011-08-31 2013-03-06 Sony Corporation Image processing apparatus, image processing method, and program
US20150042836A1 (en) * 2013-08-08 2015-02-12 Quanta Computer Inc. Method for Controlling Exposure Time of High Dynamic Range Image
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
CN104980652A (zh) * 2014-04-11 2015-10-14 韩华泰科株式会社 图像处理设备和图像处理方法
CN105323498A (zh) * 2014-08-01 2016-02-10 全视科技有限公司 不含运动伪影的高动态范围hdr图像
US20180191934A1 (en) * 2016-12-30 2018-07-05 Samsung Electronics Co., Ltd. Image capturing device and method of driving the same

Also Published As

Publication number Publication date
EP3847800B1 (en) 2023-07-26
JP2022501883A (ja) 2022-01-06
US11412154B2 (en) 2022-08-09
JP7150147B2 (ja) 2022-10-07
EP3847800A1 (en) 2021-07-14
WO2020051305A1 (en) 2020-03-12
CN112840637B (zh) 2022-04-05
US20210243352A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
CN112840637B (zh) 自动曝光方法
CN112655195B (zh) 自动曝光方法、计算机程序产品和成像系统
US10530995B2 (en) Global tone mapping
US7583297B2 (en) Image processing method, image processing apparatus, and computer program used therewith
US9083935B2 (en) Combining multiple images in bracketed photography
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
US9646397B2 (en) Image processing apparatus and image processing method
JP6097588B2 (ja) 画像処理装置及び画像処理方法
JP5887303B2 (ja) 画像信号処理装置，撮像装置および画像処理プログラム
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
KR20080112798A (ko) 영상 향상 방법 및 장치, 이를 이용한 영상 처리 시스템
TW202022799A (zh) 測光補償方法及其相關監控攝影設備
US20180288336A1 (en) Image processing apparatus
WO2020206659A1 (en) Method and apparatus for combining low-dynamic range images to a single image
WO2012143870A1 (en) Tonal stabilization of video
CN112750087A (zh) 图像处理方法和装置
CN113724144A (zh) 一种图像处理方法及终端设备上的图像信号处理器
CN116982074A (zh) 图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant