CN112219391A - 从单拍摄hdr彩色图像传感器生成hdr图像 - Google Patents

从单拍摄hdr彩色图像传感器生成hdr图像 Download PDF

Info

Publication number
CN112219391A
CN112219391A CN201980036715.3A CN201980036715A CN112219391A CN 112219391 A CN112219391 A CN 112219391A CN 201980036715 A CN201980036715 A CN 201980036715A CN 112219391 A CN112219391 A CN 112219391A
Authority
CN
China
Prior art keywords
color
exposure time
pixel
hdr
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980036715.3A
Other languages
English (en)
Other versions
CN112219391B (zh
Inventor
李粤龙
J·S·麦克尔韦恩
M·托菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN202111019859.3A priority Critical patent/CN113691738B/zh
Publication of CN112219391A publication Critical patent/CN112219391A/zh
Application granted granted Critical
Publication of CN112219391B publication Critical patent/CN112219391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成HDR彩色图像的方法包括：获得由图像传感器的传感器像素的局部区域生成的像素值；根据与第一颜色相关联的像素值确定局部区域的运动参数；以及对局部区域的像素值去马赛克，以针对三种颜色中的每一种颜色确定图像像素的输出值，其中根据运动参数将短曝光时间像素和长曝光时间像素对输出值的相对贡献加权。一种用于从三曝光时间单拍摄HDR彩色图像传感器生成HDR彩色图像的方法包括：根据短曝光时间像素值和中等曝光时间像素值生成第一双曝光时间HDR图像；根据中等曝光时间像素值和长曝光时间像素值生成第二双曝光时间HDR图像；以及根据第一和第二双曝光时间HDR图像生成三曝光时间HDR彩色图像。

Description

从单拍摄HDR彩色图像传感器生成HDR图像
相关申请的交叉引用
本申请要求于2018年6月7日提交的美国临时专利申请号62/681,789和于2018年6月7日提交的欧洲专利申请号18176403.6以及于2019年4月23日提交的美国临时专利申请号62/837,361的优先权权益，所述专利申请通过引用以其全文结合于此。
技术领域
本申请涉及高动态范围成像。
背景技术
大多数手持相机设备(如智能手机)利用位深度为8位或可能10位的图像传感器。对于许多场景，这样的位深度不足以同时捕获场景中的最亮区和最暗区。例如，当拍摄背光人物的照片时，人物的脸部可能会出现曝光不足，或者替代性地，较亮的背景可能会出现曝光过度。
高动态范围(HDR)成像功能试图克服这个问题。在典型方法中，HDR数码相机捕获同一场景的两个图像：一个图像的曝光时间较短以获得场景中明亮部分的良好图像数据，而另一个图像的曝光时间较长以获得场景中较暗部分的良好图像数据。将这两个图像缩放到公共比例并组合，以产生场景的同时恰当地描绘较亮场景部分和较暗场景部分的单个HDR图像。这种HDR成像在许多情况下都效果很好，并且HDR成像功能已经成为如智能手机等许多设备的标准特征。然而，短曝光和长曝光是在不同时间记录的，所述不同时间之间至少存在全帧读出过程，并且因此，当场景不是静态场景时，图像组合经常产生不期望的伪影。如果对象在短曝光与长曝光之间移动，则在严重的情况下，HDR图像可能会示出移动对象的偏移重复图像，或者在不太严重的情况下示出移动对象的边缘伪影。
为了消除HDR图像中的运动伪影，业界开发了所谓的“单拍摄”HDR图像传感器，所述单拍摄HDR图像传感器可以在单次拍摄中实现更亮和更暗的曝光。一类单拍摄图像传感器将大像素和小像素整合在同一像素阵列中。小像素比更大的像素收集的光少。因此，小像素与大像素之间的尺寸差提供了与使用短曝光时间和长曝光时间的动态范围益处相似的动态范围益处。不幸的是，这种双尺寸图像传感器的像素布局显著增加了制造复杂性。另一种类型的单拍摄HDR图像传感器的像素尺寸全部相同，但是对一些像素应用短曝光时间而对其他像素应用长曝光时间。由于这两种不同类型像素的曝光在时间上是重叠的而不是完全分开的，因此这种设计大大减少了运动伪影。
然而，即使这两种不同类型像素的曝光时间重叠，运动的存在仍然可能不利地影响所记录图像的质量。在这种情况下，运动可能是例如由于借助于图像传感器记录的任何移动对象的移动或者由于图像传感器本身的移动而导致的。无论具有长曝光时间的像素传感器和具有短曝光时间的像素传感器是在重叠的时间间隔期间还是非重叠的时间间隔期间记录的，所得图像都可能由于像素传感器的不同曝光时间而不同。因此，可以认为本文档的目标是提供一种用于基于短曝光像素值和长曝光像素值生成图像的改进的图像生成方法。更具体地，本文档的目标是提供一种用于双曝光时间单拍摄图像传感器的改进的图像生成方法，其中，所述方法对运动具有稳健性。
US 2015062368(A1)描述了一种具有图像传感器的电子设备，所述图像传感器捕获长曝光像素值的行与短曝光像素值的行交错的交错图像。电子设备中的处理电路可以(在空间上)将交错图像划分成多个仓(bin)。处理电路可以生成每个仓的加权长曝光像素值和每个仓的加权短曝光像素值。每个仓中的加权长曝光值和加权短曝光值可以组合在一起，以生成所述仓的装仓高动态范围(HDR)像素值。处理电路可以将由装仓HDR像素值形成的装仓HDR图像输出至附加电路，如视频处理电路，以用于执行附加图像处理操作。如果期望，则图像传感器和处理电路可以组合成生成单个装仓HDR像素值的集成结构，并且可以使用多个集成结构。US 2014152694(A1)描述了一种生成高动态范围(HDR)图像的方法。所述方法包括：捕获场景的长曝光图像和短曝光图像；基于像素位置的像素值和饱和度阈值计算长曝光图像的每个像素位置的合并权重；以及以长曝光图像和短曝光图像中的对应像素值的加权和计算HDR图像的每个像素位置的像素值，其中，应用于短曝光图像的像素位置的像素值的权重和应用于像素长曝光图像中的像素位置的像素值的权重基于针对像素位置计算的合并权重并响应于长曝光图像和短曝光图像的场景中的运动来确定。
发明内容
在实施例中，一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的方法包括：获得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值。所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置。对于三种不同颜色中的每一种颜色，所述局部区域的传感器像素包括对相应颜色敏感的多个短曝光时间像素和多个长曝光时间像素。所述方法还包括：(a)根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数，以及(b)对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定所述图像像素的输出值，其中，根据所述运动参数将所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献进行加权。
在实施例中，一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的产品包括：在非暂态存储器中编码的机器可读指令。所述指令包括数据选择指令，所述数据选择指令当由处理器执行时取得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值。所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置。对于三种不同颜色中的每一种颜色，所述局部区域的传感器像素包括对相应颜色敏感的多个短曝光时间像素和多个长曝光时间像素。所述指令还包括：(a)运动指令，所述运动指令当由所述处理器执行时根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数，以及(b)去马赛克指令，所述去马赛克指令当由所述处理器执行时对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定所述图像像素的输出值，其中，根据所述运动参数将所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献进行加权。
在实施例中，一种方法被配置成从具有多个短曝光时间像素、多个中等曝光时间像素和多个长曝光时间像素的三曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成HDR彩色图像。所述方法包括：(I)根据(a)来自所述短曝光时间像素的短曝光时间像素值与(b)来自所述中等曝光时间像素的中等曝光时间像素值的第一组合生成第一双曝光时间HDR图像；(II)根据(a)来自所述中等曝光时间像素的中等曝光时间像素值与(b)来自所述长曝光时间像素的长曝光时间像素值的第二组合生成第二双曝光时间HDR图像；以及(III)根据所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像生成三曝光时间HDR彩色图像。
在实施例中，一种产品被配置成从具有多个短曝光时间像素、多个中等曝光时间像素和多个长曝光时间像素的三曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成HDR彩色图像。所述产品包括在非暂态存储器中编码的机器可读指令。所述指令包括：(I)双曝光时间指令，所述双曝光时间指令当由处理器执行时根据(a)来自所述短曝光时间像素的短曝光时间像素值与来自所述中等曝光时间像素的中等曝光时间像素值的第一组合或者(b)来自所述中等曝光时间像素的中等曝光时间像素值与来自所述长曝光时间像素的长曝光时间像素值的第二组合生成双曝光时间HDR图像；以及(II)双至三HDR指令，所述双至三HDR指令当由所述处理器执行时根据(a)所述双曝光时间HDR图像的基于所述第一组合的第一实例与(b)所述双曝光时间HDR图像的基于所述第二组合的第二实例的组合生成三曝光时间HDR彩色图像。
附图说明
图1图示了根据实施例的用于生成运动补偿HDR图像的运动补偿高动态范围(HDR)相机。
图2更详细地示出了根据实施例的图1的相机的双曝光时间单拍摄彩色HDR图像传感器。
图3图示了根据实施例的之字形HDR彩色图像传感器。
图4图示了根据实施例的扩展的拜耳(Bayer)HDR彩色图像传感器。
图5图示了根据实施例的用于基于由双曝光时间单拍摄HDR彩色图像传感器捕获的单个图像帧生成运动补偿HDR彩色图像的图像像素的输出值的方法。
图6图示了基于之字形HDR彩色图像传感器的、图5的方法的一部分的示例。
图7图示了基于扩展的拜耳HDR彩色图像传感器的、图5的方法的一部分的示例。
图8图示了根据实施例的运动补偿HDR图像生成器，所述运动补偿HDR图像生成器用于生成运动补偿HDR彩色图像的一个或多个图像像素的运动补偿HDR输出值。
图9图示了根据实施例的运动补偿HDR图像生成器，所述运动补偿HDR图像生成器用于根据由双曝光时间单拍摄彩色HDR图像传感器在单次拍摄中生成的像素值生成运动补偿HDR彩色图像。
图10示出了局部区域定义的示例。
图11A和图11B图示了根据实施例的用于基于从由双曝光时间单拍摄HDR彩色图像传感器捕获的单个图像帧获得的像素值利用条件去马赛克生成运动补偿HDR彩色图像的方法。
图12图示了根据实施例的用于评估短曝光时间像素与长曝光时间像素之间的运动差异的方法。
图13A和图13B示出了示例拟合权重函数。
图14图示了根据实施例的用于对与HDR彩色图像的图像像素相关联的局部区域的像素值进行运动补偿去马赛克的方法。
图15图示了根据实施例的另一个运动补偿HDR图像生成器，所述运动补偿HDR图像生成器用于根据由双曝光时间单拍摄彩色HDR图像传感器在单次拍摄中生成的像素值生成运动补偿HDR彩色图像。
图16图示了根据实施例的用于从双曝光时间单拍摄HDR彩色图像传感器生成运动补偿HDR彩色图像的系统。
图17图示了根据实施例的用于从双曝光时间单拍摄HDR彩色图像传感器生成运动补偿HDR彩色图像的另一个系统。
图18是根据实施例的混合函数的图，所述混合函数限定短曝光时间彩色图像和长曝光时间彩色图像的相对组合权重以生成HDR图像。
图19是图18的混合函数对长曝光时间像素的曲线图。
图20图示了根据实施例的使用一维查找表来确定超越混合函数的值的方法。
图21是示出在图20的方法的步骤中像素值移位的一个示例的曲线图。
图22图示了根据实施例的用于生成三曝光时间HDR彩色图像的HDR相机。
图23更详细地示出了图22的系统的三曝光时间单拍摄HDR彩色图像传感器。
图24图示了根据实施例的用于从三曝光时间单拍摄HDR彩色图像传感器生成HDR彩色图像的方法。
图25图示了根据实施例的用于从三曝光时间HDR彩色图像传感器生成双曝光时间HDR图像的方法。
图26图示了根据实施例的用于从两个双曝光时间HDR图像生成三曝光时间HDR彩色图像的基于视差的方法。
图27图示了根据实施例的用于从两个双曝光时间HDR图像生成三曝光时间HDR彩色图像的基于融合的方法。
图28图示了根据实施例的三曝光时间HDR彩色图像传感器，其像素以颜色特定的四联体方式布置，每个四联体包括对三个不同曝光时间敏感的像素。
图29图示了根据实施例的用于从图28的三曝光时间HDR彩色图像传感器生成三曝光时间HDR彩色图像的方法。
图30图示了根据实施例的用于从三曝光时间单拍摄HDR彩色图像传感器生成三曝光时间HDR彩色图像的系统。
具体实施方式
图1图示了用于生成运动补偿HDR彩色图像180的一个运动补偿高动态范围(HDR)相机110。HDR相机110包括双曝光时间单拍摄HDR彩色图像传感器120和运动补偿HDR图像生成器100。图像传感器120被配置成以短曝光时间曝光其光敏像素中的一些光敏像素，并且以更长的曝光时间曝光其光敏像素中的其他光敏像素。因此，由图像传感器120捕获的每个图像帧包含短曝光时间图像数据和长曝光时间图像数据两者。然而，由于较短曝光时间和较长曝光时间的持续时间不同，因此当场景发生运动时，短曝光时间图像数据和长曝光时间图像数据可以代表不同的场景组成。运动补偿HDR图像生成器100将由图像传感器120通过记录单个帧(即，单次拍摄)生成的短曝光时间图像数据和长曝光时间图像数据组合成单个HDR图像，同时补偿场景中的运动以消除或至少减少运动伪影。
HDR相机110可以在图像捕获设备140中实施。图像捕获设备140是例如智能手机、数码单镜头反射(DSLR)相机或另一种手持设备。
在图1所描绘的使用场景中，图像传感器120接收来自场景160的光168。应当理解，HDR相机110或图像捕获设备140可以包括镜头或成像物镜(为了清楚说明起见未在图1中示出)以在图像传感器120上形成场景160的图像。场景160具有亮区(例如，体育场灯166)和暗区(例如，未被体育场灯166照亮的观众区165和观众164)两者。场景160还包括移动的对象，即足球运动员162和球163。运动补偿HDR图像生成器100处理由图像传感器120的短曝光时间像素和长曝光时间像素生成的像素值170，以生成运动补偿HDR彩色图像180。运动补偿HDR图像生成器100利用图像传感器120的HDR功能来产生场景160的运动补偿HDR彩色图像180，所述运动补偿HDR彩色图像准确地描绘了明亮的体育场灯166和未被照亮的观众区165中的观众164。当对来自图像传感器120的短曝光时间像素和长曝光时间像素的像素值170进行组合时，HDR图像生成器100对运动进行补偿，并且因此所得运动补偿HDR彩色图像180还示出了没有运动伪影的足球运动员162和球163。
相反，如果用不补偿运动的传统图像组合算法代替运动补偿HDR图像生成器100，则所得系统将代替地产生在足球运动员162和球163边缘具有运动伪影195的HDR图像190(在文献中通常被称为“重影”)。
图2更详细地示出了双曝光时间单拍摄HDR彩色图像传感器120。图像传感器120包括具有多个相同的像素组220的像素阵列210。每个像素组220包括短曝光时间像素222和长曝光时间像素224。图像传感器120被配置成使长曝光时间像素224曝光的时间比短曝光时间像素222曝光的时间长。短曝光时间像素222包括分别对第一颜色、第二颜色和第三颜色的光168敏感的像素232S、234S和236S。类似地，长曝光时间像素224包括分别对第一颜色、第二颜色和第三颜色的光168敏感的像素232L、234L和236L。第一颜色、第二颜色和第三颜色是例如绿色、红色和蓝色。
在不脱离本文范围的情况下，每个像素组220可以包括传感器像素232S、234S、236S、232L、234L和236L中的一个或多个传感器像素的一个以上的实例。例如，每个像素组220可以包括对第一颜色敏感的多个像素232S和多个像素232L。在一个实施方式中，第一颜色是绿色。
再次参考图1，运动补偿HDR图像生成器100处理由每个像素组220的传感器像素232S、234S、236S、232L、234L和236L产生的像素值170，以生成运动补偿HDR彩色图像180。
运动补偿HDR图像生成器100可以以处理器和在非暂态存储器中编码的机器可读指令的形式实施，所述机器可读指令当由处理器执行时处理来自图像传感器120的像素值170，以生成运动补偿HDR彩色图像180或其一部分。运动补偿HDR图像生成器100的某些实施例作为在非暂态存储器中编码的机器可读指令提供，其中，机器可读指令被配置成与由第三方提供的处理器协作来处理来自图像传感器120的像素值170，以生成运动补偿HDR彩色图像180或其一部分。
在不脱离本文范围的情况下，HDR图像生成器100可以作为独立的产品提供，所述产品被配置成根据从第三方提供的双曝光时间单拍摄HDR彩色图像传感器120接收的像素值170生成运动补偿HDR彩色图像180。
图3图示了之字形HDR彩色图像传感器300。图像传感器300是双曝光时间单拍摄HDR彩色图像传感器120的实施例。图像传感器300的像素以正方形像素组310形式布置。应当理解，图像传感器300可以包括比图3中所描绘的像素组更多的像素组310，例如数百或数千个像素组310。每个像素组310包括短曝光时间像素322(在图3中用白色背景示出)和长曝光时间像素324(在图3中用阴影背景示出)。在每个像素组310中，短曝光时间像素322包括对绿光敏感的四个像素“GS”、对红光敏感的两个像素“RS”和对蓝光敏感的两个像素“BS”，并且长曝光时间像素324包括对绿光敏感的四个像素“GL”、对红光敏感的两个像素“RL”和对蓝光敏感的两个像素“BL”。像素组310将短曝光时间像素322和长曝光时间像素324沿交替的之字形路径(参见图3中的白色和阴影之字形路径)布置。替代性地，图像传感器300可以被视为包含多个交错的像素组312。每个像素组312由两个GS像素、两个GL像素、一个RS像素、一个RL像素、一个BS像素和一个BL像素构成。像素组310和像素组312中的每一个都是像素组220的实施例。
图4图示了扩展的拜耳HDR彩色图像传感器400。图像传感器400是双曝光时间单拍摄HDR彩色图像传感器120的实施例。图像传感器400的像素以正方形像素组410形式布置。应当理解，图像传感器400可以包括比图4中所描绘的像素组更多的像素组410，例如数百或数千个像素组410的阵列。每个像素组410包括短曝光时间像素322和长曝光时间像素324。在每个像素组410中，短曝光时间像素322包括对绿光敏感的四个像素“GS”、对红光敏感的两个像素“RS”和对蓝光敏感的两个像素“BS”，并且长曝光时间像素324包括对绿光敏感的四个像素“GL”、对红光敏感的两个像素“RL”和对蓝光敏感的两个像素“BL”。在每个像素组410中，这些像素以四个拜耳型块的方式布置：各自具有两个GS像素、一个RS像素和一个BS像素的两个拜耳型块414；以及各自具有两个GL像素、一个RL像素和一个BL像素的两个拜耳型块416。图像传感器400可以被视为包含多个交错的像素组412，所述像素组412由一个拜耳型块414和一个拜耳型块416构成。
图5图示了一种用于基于由双曝光时间单拍摄HDR彩色图像传感器120捕获的单个图像帧生成运动补偿HDR彩色图像180的图像像素的输出值的方法500。方法500可以由运动补偿HDR图像生成器100来执行。可以针对HDR彩色图像180的每个图像像素重复方法500，以填充整个HDR彩色图像180。
在步骤510中，方法500获得由图像传感器120的相应传感器像素的局部区域生成的像素值170。此局部区域位于像素阵列210内的与运动补偿HDR彩色图像180的所考虑图像像素的位置相对应的位置。对于第一颜色、第二颜色和第三颜色(以上参考图2讨论的)中的每一种颜色，所述局部区域的传感器像素包括对相应颜色敏感的多个短曝光时间像素222和多个长曝光时间像素224。因此，所述局部区域包括多个传感器像素232S、234S、236S、232L、234L和236L中的每一个。
图6图示了基于之字形HDR彩色图像传感器300的方法500的步骤510的示例。在此示例中，步骤510从图像传感器300的局部区域620获得像素值170，基于此，方法500的后续步骤生成运动补偿HDR彩色图像180的对应定位像素610的输出值。局部区域620是5×5传感器像素阵列，使得在局部区域620的中心和每个角落找到相同类型的传感器像素。如图6所示，局部区域620的中心和每个角落具有像素GL。替代性地，局部区域620可以以像素GS、RS、RL、BS或BL为中心。局部区域620还可以大于5×5传感器像素，例如为7×7传感器像素。
在不脱离本文范围的情况下，局部区域620和图像像素610的位置之间的对应关系可以被配置成使得HDR彩色图像180代表图像传感器300的整个像素阵列，或者仅代表其子部分。
图7图示了基于扩展的拜耳HDR彩色图像传感器400的方法500的步骤510的另一个示例。图7示例类似于图6示例，除了基于图像传感器400以及因此像素GS、GL、RS、RL、BS和BL的布局不同之外。在图7示例中，步骤510从作为5×5传感器像素阵列的局部区域720获得像素值170，使得在局部区域620的中心和每个角落找到相同类型的传感器像素。如图7所示，局部区域720的中心和每个角落具有像素GS。替代性地，局部区域720可以以像素GL、RS、RL、BS或BL为中心。局部区域720还可以大于5×5传感器像素，例如为7×7传感器像素。
再次参考图5，步骤510的局部区域可以被配置成使得通过方法500的多次重复所形成的HDR彩色图像180可以仅表示像素阵列210的一部分(例如，中心区域或感兴趣区域)。HDR彩色图像180的分辨率可以与像素阵列210的传感器像素分辨率相同或更低。
在步骤530中，方法500根据与第一颜色(例如，绿色)相关联的短曝光时间像素232S和长曝光时间像素232L的像素值确定局部区域的运动参数m。运动参数指示步骤510从其获得像素值170的局部区域中的运动程度。小的运动参数指示运动较少，并且大的运动参数指示运动较多。在一个示例中，步骤530根据短曝光时间像素232S与长曝光时间像素232L之间的视差(disparity)Δ确定运动参数，所述短曝光时间像素232S与长曝光时间像素232L被缩放到公共比例以补偿曝光时间的差异。
在一个实施例中，视差Δ是图像像素的针对第一颜色的短曝光时间值β1，S与长曝光时间值β1，L(缩放到公共比例以补偿曝光时间的差异)之间的绝对值差：
Δa＝|rβ1，S-β1，L|， (方程1)
其中，r是长曝光时间与短曝光时间的比率。步骤530根据在步骤510中获得的短曝光时间像素232S的像素值170得到(a)β1，S，并且根据在步骤510中获得的长曝光时间像素232L的像素值170得到(b)β1，L。
通常，短曝光时间值β1，S和长曝光时间值β1，L可以以多种不同的方式缩放到公共比例。根据第一种方式，比率r可以被确定为如前述示例中所描述的长曝光时间与短曝光时间的比率。然后，此比率r可以用于通过将短曝光时间值β1，S与所述比率r相乘来将短曝光时间值β1，S缩放到公共比例。替代性地，根据第二种方式，第二比率r2可以被确定为短曝光时间与长曝光时间的比率。然后，此第二比率r2可以用于通过将长曝光时间值β1，L与第二比率r2相乘来将长曝光时间值β1，L缩放到公共比例。根据另一个替代方案，缩放可以通过(a)将长曝光时间值β1，L与短曝光时间相乘和(b)将短曝光时间值β1，S和长曝光时间相乘来实现。因此，显而易见的是，本领域技术人员将很容易地提出用于将短曝光时间值β1，S和长曝光时间值β1，L缩放到公共比例的进一步替代方案。
在另一个实施例中，针对传感器噪声校正视差Δ，以仅反映出在统计上显著超过源自传感器噪声的预期像素值变化的视差。在此实施例中，视差Δ可以表示为高于噪声视差(above-noise-disparity)：
Figure BDA0002807640740000101
其中，k是常数，并且Var(β1，S，β1，L)是短曝光时间像素232S的像素值170和长曝光时间像素232L的像素值170的组合噪声方差。
在一个实施方式中，Var(β1，S，β1，L)＝r2VarS+VarL，其中，VarS是短曝光时间像素232S的像素值170的噪声方差，并且VarL是长曝光时间像素232L的像素值170的噪声方差。VarS和VarL中的每一个可以基于图像传感器120的已知的或假设的噪声性质来预先确定。因为传感器噪声可能取决于像素值，所以VarS和VarL可以分别是β1，S和长曝光时间值β1，L的函数。
在又一实施例中，步骤530相对于源自传感器噪声的预期像素值变化考虑所述高于噪声视差Δn。在此实施例中，视差Δ可以表达为相对高于噪声视差：
Figure BDA0002807640740000102
步骤530可以以m＝sinh(Δ/α1)、m＝tanh(Δ/α1)或m＝Δ/α1计算运动参数，其中，α1是标准化参数，并且视差Δ可以是Δa、Δn和Δr中的任何一个。运动参数m的这种函数映射被配置成将m限制为从0到1的范围内的值。对于位深度为10位的图像传感器120的示例，α1可以介于5与50之间的范围内。
如果长曝光时间像素232L中的一个或多个是饱和的，则步骤530可以不考虑这种饱和的长曝光时间像素232L，使得运动参数根据短曝光时间像素232S和不饱和的长曝光时间像素232L确定。
在步骤540中，方法500对在步骤510中获得的像素值170去马赛克，以针对第一颜色、第二颜色和第三颜色中的每一种颜色确定图像像素的输出值。步骤540的去马赛克过程与HDR组合相结合。更具体地，对于每种颜色，步骤540根据与所述颜色相关联的短曝光时间像素222和与所述颜色相关联的长曝光时间像素224确定图像像素的输出值。步骤540根据步骤530中确定的运动参数m将短曝光时间像素222和长曝光时间像素224对输出值的相对贡献进行加权。对于每种颜色，图像像素的输出值Vout，C可以表达为：
Vout，C＝(1-m)βC，L+mrβC，S， (方程4)
其中，索引C采用值1、2和3之一来分别指示第一颜色、第二颜色或第三颜色，并且其中，βC，S和βC，L分别是针对图像像素和所考虑颜色的短曝光时间值和长曝光时间值。步骤540从在步骤510中获得的像素值170得到βC，S和βC，L。步骤540可以不考虑饱和的长曝光时间像素224，并且基于短曝光时间像素222和不饱和的长曝光时间像素224确定每个输出值。
在方程4中，运动参数m可以在0到1的范围内，其中，较小的运动参数m可以指示局部区域中较低程度的运动，并且其中，较大的运动参数m可以指示局部区域中较高程度的运动。一方面，如果局部区域中没有运动，则运动参数m可以是0，并且可以仅基于长曝光时间值βC，L来确定图像像素的输出值Vout，C。另一方面，如果局部区域中的运动量超过预先确定的最大运动量，则运动参数m可以是1，并且可以仅基于短曝光时间值βC，S来确定图像像素的输出值Vout，C。也就是说，通常，局部区域中较高程度的运动将导致短曝光时间值βC，S的较高加权以及长曝光时间值βC，L的较低加权，使得图像像素的输出值Vout，C由短曝光时间值βC，S决定。相反地，局部区域中较低程度的运动将导致长曝光时间值βC，L的较高加权以及短曝光时间值βC，S的较低加权，使得图像像素的输出值Vout，C由长曝光时间值βC，L决定。
在实施例中，步骤540针对每种颜色将方程1拟合到与所述颜色相关联的短曝光时间像素222和长曝光时间像素224的像素值170，其中运动参数m在步骤530中预先确定。
再次参考步骤530，组合噪声方差Var(β1，S，β1，L)的替代性(并且可能更准确)确定考虑了方程3中使用的相对组合权重1-m和m，并且认为组合噪声方差可以取决于运动参数m。在此替代性实施方式中，步骤530考虑更一般形式的组合噪声方差Var(β1，S，β1，L，m)。然后，高于噪声视差Δn可以代替地表达为：
Figure BDA0002807640740000121
并且相对高于噪声视差Δr可以代替地表达为：
Figure BDA0002807640740000122
在基于高于噪声视差Δ′n的实施方式中，步骤530可以求解以下超越方程之一来确定运动参数m：
Figure BDA0002807640740000123
Figure BDA0002807640740000124
Figure BDA0002807640740000125
在基于高于噪声视差Δ′r的实施方式中，步骤530可以求解以下超越方程之一来确定运动参数m：
Figure BDA0002807640740000126
Figure BDA0002807640740000127
Figure BDA0002807640740000131
组合噪声方差可以表达为Var(β1，S，β1，L，m)＝(1-m)VarL+mr2VarS。以上列出的超越方程(方程7至方程12)可以被修改成包括附加项，当短曝光时间像素232S的像素值170接近零时，所述附加项使运动参数m逼近零。此修改针对方程11在此明确地写出：
Figure BDA0002807640740000132
其中，α2是缩放参数。超越方程方程7至方程10和方程12中的每一个可以类似地修改。实施超越方程方程7至方程13之一的步骤530的实施例可以使用数值方法(如迭代牛顿法)或者使用查找表(如将结合图18至图21进一步详细讨论的)来求解运动参数m的超越方程。
由于视差Δ取决于短曝光时间值β1，S与长曝光时间值β1，L(缩放到公共比例以补偿曝光时间的差异)之间的差异，因此除了运动之外的其他影响可能被结合到运动参数m中。例如，短曝光时间值β1，S和长曝光时间值β1，L之一或两者中的噪声可能会引起视差Δ，并且因此影响运动参数m。因此，运动参数m可以更通常地被称为“混合函数”，所述混合函数考虑了一种或多种不同的影响，如运动和噪声之一或两者。
可能会出现运动补偿不合适的情况。例如，如果在局部区域中，与第一颜色相关联的所有长曝光时间像素232L都是饱和的，则不可能确定是否存在运动。类似地，如果例如与第一颜色相关联的长曝光时间像素232L的大部分是饱和的，则不可能以足够的准确度来评估运动程度以保证运动补偿。为了避免在这种情况下HDR彩色图像180中的运动伪影，可以优选放弃使用长曝光时间像素222的像素值170。在其他情况下，像素值170可以允许准确的运动评估，但是如果这种运动评估揭示局部区域没有受到运动的显著影响，则放弃运动补偿并且代替地在不考虑运动的情况下组合短曝光时间像素232S和长曝光时间像素232L可能在计算上是高效的。另外，一致的场景部分(即，在亮度或颜色上没有变化或只有不显著变化的场景部分)在运动下是不变的，并且因此不需要运动补偿。
方法500的实施例通过仅在合适时执行运动校正来解决这种情况。在此实施例中，方法500还包括步骤520和550。步骤520在步骤510之后并且在可能前进到步骤530之前执行。步骤520针对第一颜色、第二颜色和第三颜色中的每一种颜色评估运动补偿是否合适。对于步骤520确定运动补偿合适的每种颜色，方法500前进到根据步骤530和540处理所述颜色。对于步骤520确定运动补偿不合适的每种颜色，方法500代替地前进到根据步骤550处理所述颜色。
对于转到步骤550的每种颜色，方法500对在步骤510中获得的像素值170执行非运动补偿去马赛克，以确定图像像素的输出值。更具体地，对于每种这样的颜色，步骤550在不补偿运动的情况下根据(a)与所述颜色相关联的短曝光时间像素222或者(b)与所述颜色相关联的短曝光时间像素222和长曝光时间像素224的组合确定图像像素的输出值。
步骤520可以包括步骤522、524和526中的一个或多个。在步骤522中，方法500评估在步骤510中获得的长曝光时间像素224的饱和度。在一个示例中，步骤522确定超过阈值数量的与第一颜色相关联的长曝光时间像素224是饱和的(步骤530中的处理基于此)，并且然后步骤520断定运动补偿不合适。在另一个示例中，步骤522确定超过阈值数量的与第一颜色之外的另一种颜色相关联的长曝光时间像素224是饱和的，并且然后步骤522断定对此颜色的运动补偿不合适，因为可从与此颜色相关联的长曝光时间像素224获得的数据不足以用于步骤540的去马赛克。
步骤524评估在步骤510中获得的短曝光时间像素232S和长曝光时间像素232L的像素值170(缩放到公共比例以补偿曝光时间的差异)之间的视差，以确定运动是否显著。如果步骤524确定没有运动或者只有不显著的运动，则步骤524断定运动补偿不合适。在一个实施方式中，步骤524使用类似于以上参考步骤530所讨论的方法(例如根据方程1至方程3、方程5和方程6之一)来计算视差。在这种实施方式中，步骤524可以替代地作为步骤530的一部分来执行，其中在步骤530中确定的运动参数小于预先指定的阈值的情况下重新前进到步骤550，并且只有当运动参数超过阈值时才根据步骤540进行处理。
对于每种颜色，步骤526评估在步骤510中获得的像素值170的方差。如果与所述颜色相关联的短曝光时间像素222的方差和与所述颜色相关联的长曝光时间像素224的方差都小于阈值方差(如根据传感器噪声预期的方差)，则步骤526确定运动补偿是不必要的，然后方法500前进到步骤550。
应当理解，在包括步骤522、524和526中的一个以上步骤的实施例中，如果步骤522、524和526之一确定运动补偿不合适或不必要，则方法500可以前进到步骤550，而无需执行步骤522、524和526中的(一个或多个)其余步骤。
步骤550可以利用在步骤522中获得的信息来确定在去马赛克过程中包括长曝光时间像素222是否合适。
在不脱离本文范围的情况下，方法500可以替代地处理第一颜色、第二颜色和第三颜色的线性组合，而不是处理分别与这些颜色相关联的三类像素值。例如，方法500可以处理G、(R-G)/2和(B-G)/2，而不是处理像素值R、G和B(分别从对红色、绿色和蓝色光敏感的传感器像素获得)。
在实施例中，方法500还包括选择第一颜色的步骤502。步骤502可以评估在步骤510中接收的像素值170，以确定哪种颜色最适合于运动评估。通常，对于图像传感器120的大多数实施例以及在大多数情况下，绿色是第一颜色的首选，因为大多数图像传感器120的绿色像素是蓝色像素或红色像素的两倍。然而，如果场景部分在绿色通道中几乎没有信号，则步骤502可以选择不同的颜色作为第一颜色。在一个实施方式中，步骤502选择光亮度最大的颜色。
图8图示了一种运动补偿HDR图像生成器800，所述运动补偿HDR图像生成器用于生成针对运动补偿HDR彩色图像180的一个或多个图像像素的运动补偿HDR输出值874。HDR图像生成器800是运动补偿HDR图像生成器100的实施例，并且可以执行方法500。HDR图像生成器800可以与图像传感器120耦接，以形成运动补偿HDR相机802。HDR相机802是HDR相机110的实施例。
HDR图像生成器800包括数据选择器810、运动分析器820和运动补偿HDR去马赛克模块830。HDR图像生成器800从图像传感器120捕获的单个图像帧获得像素值170并对这些像素值170进行处理，以产生运动补偿HDR彩色图像180的运动补偿HDR输出值874。HDR图像生成器800可以处理像素值170中的不同像素值来填充整个HDR彩色图像180。
为了生成每个运动补偿HDR输出值874，HDR图像生成器800如以下所讨论的进行操作。在步骤510的示例中，数据选择器810从像素值170中选择定位于与所考虑的图像像素相关联的局部区域中的局部区域像素值870。在步骤530的示例中，运动分析器820处理局部区域像素值870的与第一颜色相关联的子集，以确定运动参数872。在步骤540的示例中，运动补偿HDR去马赛克模块830针对第一颜色、第二颜色和第三颜色中的每一种颜色，根据(a)局部区域像素值870的与所述颜色相关联的子集和(b)运动参数872确定运动补偿HDR输出值874。
在实施例中，HDR图像生成器800被配置成确定运动补偿是否合适，并相应地执行运动补偿去马赛克或非运动补偿去马赛克。在此实施例中，HDR图像生成器800还包括评估器812和非运动补偿去马赛克模块832。在步骤520的示例中，对于由数据选择器810输出的每组局部区域像素值870，评估器812针对第一颜色、第二颜色和第三颜色中的每一种颜色确定运动补偿是否合适。如果评估器812确定运动补偿合适，则HDR图像生成器800应用运动分析器820和运动补偿HDR去马赛克模块830，以确定如以上所讨论的运动补偿HDR输出值874。对于评估器812确定运动补偿不合适的每个图像像素和相关颜色，(a)HDR图像生成器800代替地应用非运动补偿去马赛克模块832，并且(b)在步骤550的示例中，非运动补偿去马赛克模块832处理局部区域像素值870的相关子集，以确定图像像素的针对所述颜色的非运动补偿HDR输出值876。
HDR图像生成器800可以以处理器和在非暂态存储器中编码的机器可读指令的形式实施，所述机器可读指令当由处理器执行时处理来自图像传感器120的像素值170，以生成运动补偿HDR输出值874和/或非运动补偿输出值876。数据选择器810、运动分析器820和运动补偿HDR去马赛克模块830可以共享同一处理器。此外，包含与数据选择器810、运动分析器820和运动补偿HDR去马赛克模块830相关联的这种机器可读指令的非暂态存储器可以作为独立的产品提供，所述产品被配置成与第三方处理器协作来处理来自图像传感器120的像素值170，以生成运动补偿HDR输出值874和/或非运动补偿输出值876。
在不脱离本文范围的情况下，HDR图像生成器800可以代替地处理第一颜色、第二颜色和第三颜色的线性组合，而不是处理分别与这些颜色相关联的三类像素值。例如，HDR图像生成器800可以处理G、(R-G)/2和(B-G)/2，而不是处理像素值R、G和B(分别从对红色、绿色和蓝色光敏感的传感器像素获得)。
图9图示了一种运动补偿HDR图像生成器900，所述运动补偿HDR图像生成器用于根据由双曝光时间单拍摄HDR彩色图像传感器120在单次拍摄中生成的像素值170生成运动补偿HDR彩色图像180。HDR图像生成器900是运动补偿HDR图像生成器800的实施例，其包括非运动补偿去马赛克模块832并且还包括采样器942和主模块940。主模块940是评估器812的实施方式。HDR图像生成器900可以执行方法500。
对于HDR彩色图像180的每个图像像素，采样器942控制由数据选择器810从像素值170中选择对应的局部区域像素值870。采样器942和数据选择器810一起执行步骤510的示例。采样器942被配置成根据HDR彩色图像180的期望像素分辨率以及根据局部区域的期望大小控制由数据选择器810的像素值选择。
图10示出了由采样器942进行的局部区域定义的示例。图10描绘了图像传感器120的像素阵列210。像素阵列210包括多个传感器像素1010。传感器像素1010统称为像素232S、232L、234S、234L、236S和236L中的任一个。为了清楚说明起见，在图10中仅标记了一个传感器像素1010。图10指示了两个局部区域1020(1)和1020(2)，其对应于由数据选择器810针对HDR彩色图像180的两个相邻图像像素进行的局部区域选择。每个局部区域1020具有高度1030和宽度1032。在图10示例中，高度1030和宽度1032限定了5×5像素局部区域1020。然而，采样器942可以命令数据选择器810通过相应地限定高度1030和宽度1032来对像素阵列210的更小或更大的区域进行采样。图10示出了正方形的局部区域1020。然而，在不脱离本文范围的情况下，局部区域1020可以具有不同的形状，如细长的矩形。
局部区域1020(1)和1020(2)分别具有中心像素1022(1)和1022(2)。中心像素1022(1)和1022(2)是传感器像素1010的示例。局部区域1020(1)和1020(2)具有中心到中心间距1040。在图10示例中，中心到中心间距1040是两个像素1010，使得HDR彩色图像180的分辨率至少在水平维度上被下采样两倍。采样器942可以设定中心到中心间距1040，以达到期望的分辨率。例如，采样器942可以将中心到中心间距1040设定为一个像素，以在HDR彩色图像180中保持像素阵列210的全像素分辨率。替代性地，采样器942可以设定中心到中心间距1040，以在水平维度和竖直维度中的每一个维度上对HDR彩色图像180的像素分辨率下采样例如两倍、四倍或八倍，或多达10倍。
再次参考图9，主模块(master)940处理局部区域像素值870，以确定哪种类型的运动补偿适合于相关图像像素的每种颜色。主模块940执行步骤520的示例。所得HDR彩色图像180可以由运动补偿HDR输出值874和非运动补偿输出值876的组合构成。甚至有可能图像像素的针对一种颜色的输出值是运动补偿HDR输出值874，而同一图像像素的针对另一种颜色的输出值是非运动补偿输出值876。主模块940包括饱和度评估器950和视差评估器960。
饱和度评估器950评估局部区域像素值870的每个实例的饱和度水平，如以上参考步骤522所讨论的。在实施例中，饱和度评估器950包括低于饱和度标准952。对于每种颜色，低于饱和度标准952是例如与此颜色相关联的一定数量的局部区域像素值870必须为不饱和的要求。
视差评估器960针对局部区域像素值870评估与第一颜色相关联的长曝光时间像素与短曝光时间像素(缩放到公共比例以补偿曝光时间的差异)之间的视差，如以上参考步骤524所讨论的。在实施例中，视差评估器960包括视差阈值966。当根据方程2计算视差时，视差阈值966可以为零或接近零。当根据方程1计算视差时，视差阈值966可以是
Figure BDA0002807640740000181
替代性地，视差阈值966被定义为在运动补偿与处理时间之间实现期望的折衷(因为运动补偿去马赛克通常比非运动补偿去马赛克在计算上成本更高)。
在某些实施例中，主模块940还包括方差评估器968，所述方差评估器对局部区域像素值870的方差进行评估，如以上参考步骤526所讨论的。主模块940可以被进一步配置成执行步骤502。
HDR图像生成器900可以以处理器和在非暂态存储器中编码的机器可读指令的形式实施，所述机器可读指令当由处理器执行时处理来自图像传感器120的像素值170，以生成运动补偿HDR输出值874和/或非运动补偿输出值876。主模块940、采样器942、数据选择器810、运动分析器820、运动补偿HDR去马赛克模块830和非运动补偿去马赛克模块832可以共享同一处理器。此外，包含与主模块940、采样器942、数据选择器810、运动分析器820和运动补偿HDR去马赛克模块830以及非运动补偿去马赛克模块832相关联的这种机器可读指令的非暂态存储器可以作为独立的产品提供，所述产品被配置成与第三方处理器协作来处理来自图像传感器120的像素值170，以生成运动补偿HDR输出值874和/或非运动补偿输出值876。
图11A和图11B图示了一种用于基于从由双曝光时间单拍摄HDR彩色图像传感器120捕获的单个图像帧获得的像素值、利用条件去马赛克(conditional demosaicing)生成运动补偿HDR彩色图像180的方法1100。方法1100至少评估饱和度水平和运动视差，以对HDR彩色图像180的每个图像像素和每个相关颜色应用对应的适当类型的去马赛克。方法1100的每次迭代生成HDR彩色图像180的图像像素的针对第一颜色、第二颜色和第三颜色中的每一种颜色的输出值。可以针对HDR彩色图像180的每个图像像素重复方法1100，以填充整个HDR彩色图像180。方法1100是方法500的实施例。方法1100例如由HDR图像生成器900执行。图11A示出了方法1100的第一部分，并且图11B示出了方法1100的第二部分。在以下描述中最好一起查看图11A和图11B。
方法1100包括步骤1110、1120和1130。步骤1110获得像素值170。步骤1120获得数据选择参数。在步骤1110和1120的一个示例中，数据选择器810接收(a)来自图像传感器120的像素值170和(b)来自采样器942的数据选择参数，如高度1030、宽度1032和中心到中心间距1040。步骤1130从在步骤1110中获得的像素值170中，以及根据在步骤1120中获得的数据选择参数，来选择由双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值870。在步骤1130的一个示例中，数据选择器810根据在步骤1120中获得的局部区域1020的定义来选择由图像传感器120生成的像素值870。在实施例中，方法1100还包括选择第一颜色的步骤502。
在完成步骤1110、1120和1130以及任选的502之后，方法1100前进到执行针对第一颜色的步骤框1102以及针对第二颜色和第三颜色中的每一种颜色的步骤框1104。框1102开始于决定1140。决定1140评估与第一颜色相关联的长曝光时间像素的饱和度。如果与第一颜色相关联的长曝光时间像素的像素值870满足低于饱和度标准，则方法1100前进到另一个决定1144。否则，方法1100前进到(a)在步骤1142中处理针对第一颜色的像素值870，以及(b)根据步骤1152处理针对第二颜色和第三颜色中的每一种颜色的像素值870。在决定1140的一个示例中，饱和度评估器950将长曝光时间像素232L的像素值870的饱和度水平与低于饱和度标准952进行比较。接下来，在此示例中，如果长曝光时间像素232L不满足低于饱和度标准952，则主模块940命令非运动补偿去马赛克模块832根据如以下进一步详细讨论的步骤1142和1152来处理针对第一颜色、第二颜色和第三颜色中的每一种颜色的像素值870。另一方面，如果长曝光时间像素232L满足低于饱和度标准952，则主模块940前进到对与第一颜色相关联的像素值870应用视差评估器960。
当在决定1140中与第一颜色相关联的长曝光时间像素的像素值870不满足饱和度标准时，长曝光时间像素的数据质量被认为不足以进行运动分析。在这种情况下，方法1100没有获得对运动的认识。因此，方法1100依靠像素值870的非运动补偿去马赛克。此外，即使与第二颜色或第三颜色相关联的长曝光时间像素满足饱和度标准，方法1100也不知道短曝光时间像素与长曝光时间像素之间的任何潜在运动视差。因此，在这种情况下，方法1100针对第一颜色、第二颜色和第三颜色中的每一种颜色仅基于短曝光时间像素来执行非运动补偿去马赛克。因此，步骤1142仅使用短曝光时间像素来执行非运动补偿去马赛克，以针对第一颜色确定图像像素的输出值。类似地，步骤1152仅使用短曝光时间像素来执行非运动补偿去马赛克，以针对第二颜色和第三颜色中的每一种颜色确定图像像素的输出值。在步骤1142和1152的一个示例中，主模块940命令非运动补偿去马赛克模块832处理与第一颜色、第二颜色和第三颜色中的每一种颜色相关联的短曝光时间像素的像素值870，以确定针对每种颜色的非运动补偿输出值876。在此示例中，非运动补偿去马赛克模块832：(a)对针对第一颜色的短曝光时间像素232S的像素值870去马赛克，(b)对针对第二颜色的短曝光时间像素234S的像素值870去马赛克，以及(c)对针对第三颜色的短曝光时间像素236S的像素值870去马赛克。
决定1144计算与第一颜色相关联的短曝光时间像素与长曝光时间像素(缩放到公共比例以补偿曝光时间的差异)之间的视差，并将此视差与视差阈值进行比较。如果视差超过视差阈值，则方法1100前进到(a)根据步骤530和540处理与第一颜色相关联的像素值870以确定图像像素的针对第一颜色的运动补偿输出值的步骤1148，以及(b)在决定1150中评估第二颜色和第三颜色中的每一种颜色的长曝光时间像素的饱和度水平。另一方面，如果视差没有超过视差阈值，则方法1100前进到(a)根据步骤1146处理与第一颜色相关联的像素值870，以及(b)在决定1150的另一个实例1150’中评估第二颜色和第三颜色中的每一种颜色的长曝光时间像素的饱和度水平。在决定1144的一个示例中，视差评估器960计算短曝光时间像素232S与长曝光时间像素232L的像素值870(缩放到公共比例以补偿曝光时间的差异)之间的视差，并将此视差与视差阈值966进行比较，如以上参考图9所讨论的。在此示例中，如果视差超过视差阈值，则在步骤1146中，主模块940命令非运动补偿去马赛克模块832处理与第一颜色相关联的像素值870，以确定图像像素的针对第一颜色的非运动补偿输出值876。相反，如果视差低于视差阈值，则在决定1150中，主模块940前进到对与第二颜色和第三颜色相关联的长曝光时间像素的像素值870应用饱和度评估器950。当视差低于视差阈值并且与第一颜色相关联的长曝光时间像素的像素值870满足饱和度标准时(对应于决定1144中的结果“否”)，方法1100可以利用短曝光时间像素和长曝光时间像素两者来确定图像像素的针对第一颜色的输出值。然而，运动补偿被认为是不必要的。因此，步骤1146使用与第一颜色相关联的短曝光时间像素和长曝光时间像素来执行非运动补偿去马赛克，以确定图像像素的针对第一颜色的输出值。在视差超过视差阈值并且与第一颜色相关联的长曝光时间像素的像素值870满足饱和度标准的情况下(对应于决定1144中的结果“是”)，对第一颜色执行运动补偿去马赛克被认为是合适的。因此，步骤1148针对第一颜色执行步骤530和步骤540，以针对第一颜色确定图像像素的运动补偿输出值。步骤1146可以不考虑饱和的长曝光时间像素，并且基于短曝光时间像素和不饱和的长曝光时间像素确定每个输出值。在步骤1146的示例中，非运动补偿去马赛克模块832基于短曝光时间像素232S和不饱和的长曝光时间像素232L的像素值870的组合确定针对第一颜色的非运动补偿输出值876。在步骤1148的示例中，运动分析器820和运动补偿HDR去马赛克模块830处理与第一颜色相关联的短曝光时间像素232S和长曝光时间像素232L的像素值870，以确定图像像素的针对第一颜色的运动补偿HDR输出值874。
决定1150类似于决定1140，除了其被应用于第二颜色和第三颜色中的每一种颜色而不是第一颜色之外。如果决定1150确定长曝光时间像素满足饱和度标准，则方法1100前进到执行步骤530和步骤540的与所考虑颜色相关联的一部分以确定图像像素的针对所考虑颜色的运动补偿输出值的步骤1158。否则，方法1100前进到步骤1152。步骤1158类似于步骤1148，除了其被应用于第二颜色和/或第三颜色之外。决定1150’与决定1150相同，但是位于方法1100的决定过程中的不同点。如果对决定1150’的回答是“否”，则方法1100前进到步骤1152。如果对决定1150’的回答是“是”，则方法1100前进到步骤1156。步骤1156类似于步骤1146，除了其应用于第二颜色和/或第三颜色之外。
在一个实施例中，方法1100进一步考虑像素值870的方差，以确定去马赛克的最佳类型。方法1100的此实施例还包括决定1149和1149’。决定1149拦截从决定1144到步骤1148的路径。决定1149是步骤526的实施例，并且评估与第一颜色相关联的像素值870的方差是否超过阈值方差。如果是，则方法1100前进到步骤1148。如果否，则方法1100代替地重新行进到步骤1146。决定1149’拦截从决定1150到步骤1158的路径。决定1149’是步骤526的实施例，并且针对第二颜色和第三颜色中的每一种颜色评估与所考虑颜色相关联的像素值870的方差是否超过阈值方差。如果是，则方法1100前进到针对所述颜色的步骤1158。如果否，则方法1100重新行进到针对所述颜色的步骤1156。
图12图示了一种用于评估与第一颜色相关联的短曝光时间像素与长曝光时间像素之间的运动差异的方法1200。方法1200是步骤530的实施例，并确定运动参数m。方法1200可由运动分析器820执行，以基于像素值870确定运动参数872。方法1200包括步骤1210、1220和1230。
步骤1210将第一模型拟合到(与第一颜色相关联的)短曝光时间像素232S的像素值870，以确定图像像素的短曝光时间第一颜色值，例如，方程1的β1，S。此短曝光时间第一颜色值表示对与图像像素相关联的实际第一颜色光亮度的最佳估计。如以上参考步骤510所讨论的，由于从其获得像素值870的局部区域包括对第一颜色敏感的多个短曝光时间像素232S，因此多个像素值可用于确定图像像素的短曝光时间第一颜色值。局部区域的中心可以或可以不与短曝光时间像素232S重合。步骤1210考虑局部区域内的所有短曝光时间像素232S，以内插图像像素的短曝光时间第一颜色值。即使当局部区域的中心与短曝光时间像素232S重合时，步骤1210使用的拟合过程也可以用于平均掉噪声，并且因此增加确定短曝光时间第一颜色值的稳健性。
步骤1220类似于步骤1210，除了其与长曝光时间有关之外。步骤1220将第二模型拟合到(与第一颜色相关联的)长曝光时间像素232L的像素值870，以确定图像像素的长曝光时间第一颜色值，例如，方程1的β1，L。
步骤1210和1220可以包括将β1，S和β1，L缩放到公共比例，以补偿曝光时间的差异。替代性地，步骤1230执行此缩放。
步骤1230计算在步骤1210中确定的短曝光时间第一颜色值与在步骤1220中确定的长曝光时间第一颜色值之间的视差，以确定运动参数，其中，短曝光时间第一颜色值和长曝光时间第一颜色值被缩放到公共比例。步骤1230可以利用方程1到方程3、方程5或方程6。在实施例中，步骤1230以m＝sinh(Δ/α1)、m＝tanh(Δ/α1)，或m＝Δ/α1计算运动参数，如以上参考步骤530所讨论的，或根据方程7至方程13之一计算。
在实施例中，步骤1210包括步骤1212，并且步骤1220包括步骤1222。一方面，步骤1212对在步骤1210的拟合中使用的每个像素值870应用拟合权重。例如，步骤1212可以通过将短曝光时间像素的像素值与所述拟合权重相乘来将拟合权重应用于短曝光时间像素。步骤1212的拟合权重是像素值870的信号质量或像素值870的预期信号质量的递增函数，使得在拟合中给数据质量更好的像素值870分配相对更多的权重。步骤1212的拟合权重可以从图像传感器120的传感器噪声的模型中得到。另一方面，步骤1222对在步骤1220的拟合中使用的每个像素值870应用拟合权重。例如，步骤1222可以通过将长曝光时间像素的像素值与所述拟合权重相乘来将拟合权重应用于长曝光时间像素。步骤1222的拟合权重也是像素值870的信号质量或像素值870的预期信号质量的递增函数。步骤1212和1222的拟合权重可以基于图像传感器120的噪声性质和/或饱和行为的模型。
图13A和图13B示出了可以在步骤1212和1222中使用的示例拟合权重函数。图13A示出了适用于短曝光时间像素(如短曝光时间像素232S)的拟合权重函数1310。图13B示出了适用于长曝光时间像素(如长曝光时间像素232L)的拟合权重函数1350。在以下描述中最好一起查看图13A和图13B。图13A和图13B中的每一个将相应的拟合权重函数绘制为拟合权重1304对像素值1302。
拟合权重函数1310在下阈值1312与最大像素值1314之间是一(unity)，并且当像素值从下阈值1312减小到零时，拟合权重函数1310逐渐减小至零。这种下降反映了随着传感器噪声对像素值的贡献变得越来越显著，数据质量恶化。在一个实施例中，拟合权重函数1310也在最高像素值处逐渐减小，如虚线1320所指示的。这种下降反映了随着饱和度开始限制像素值，数据质量恶化。
拟合权重函数1350在零与上阈值1352之间是一，并且当像素值从上阈值1352增加到最大像素值1354时，拟合权重函数1350逐渐减小至零。这种下降反映了随着饱和度开始限制像素值，数据质量恶化。在一个实施方式中，最大像素值1354是图像传感器可以输出的最高像素值。在另一个实施方式中，最大像素值1354小于图像传感器可以输出的最高像素值，并且代替地限定了某个水平，超过所述水平的饱和度是不可接受的。这种实施方式不考虑明显饱和的像素值。
在一个实施例中，拟合权重函数1350也在最低像素值处逐渐减小，如虚线1360所指示的。这种下降反映了随着传感器噪声对像素值的贡献变得越来越显著，数据质量恶化。
再次参考图12，步骤1212可以利用拟合权重函数1310(在有逐渐变小部1320或没有逐渐变小部1320的情况下)，并且步骤1222可以利用拟合权重函数1350(在有逐渐变小部1360或没有逐渐变小部1360的情况下)。
在实施例中，步骤1210包括使用一个二维(2D)多项式模型的步骤1214，并且步骤1220包括使用另一个2D多项式模型的步骤1224。步骤1214和1224的2D多项式模型可以相同或彼此不同。每个2D多项式模型是多项式函数，所述多项式函数具有水平和竖直像素坐标作为输入参数并且具有相应的拟合权重作为输出参数。类似于图13A和图13B所示的拟合权重函数1310和1350，多项式函数可以被归一化，例如归一化为最大值1。
在步骤1214中应用的2D多项式的阶数可以取决于局部区域的大小。例如，5×5区域(如图6和图7中所描绘的区域)可以允许一阶2D多项式对短曝光时间像素232S的像素值870的稳健拟合，而7×7区域可以允许二阶或三阶2D多项式对短曝光时间像素232S的像素值870的稳健拟合。通常，较大的区域允许更高阶的多项式的拟合。一方面，高阶多项式允许更准确地拟合局部区域内的像素变化。另一方面，较大的局部区域可能导致比期望的更加模糊。另外，将高阶多项式拟合到较大的局部区域比将低阶多项式拟合到较小的局部区域在计算上成本更高。在一个实施例中，步骤1210利用一阶多项式(平面)或零阶多项式(常数)来例如最小化处理时间。
由于步骤1220处理易于受饱和影响的长曝光时间像素232L，因此步骤1220可以省略从饱和的像素获得的像素值870，并且仅考虑不饱和的像素值870。因此，可用于步骤1220的拟合过程的像素值870的数量可以小于局部区域中长曝光时间像素232L的数量。因此，在步骤1224中应用的2D多项式的阶数可以进一步取决于不饱和的长曝光时间像素232L的实际数量。
在一个实施例中，步骤1212的2D多项式模型是一阶、二阶或三阶2D多项式，并且步骤1224的2D多项式模型比步骤1212的2D多项式模型少一阶或二阶。例如，步骤1212的2D多项式模型是二阶或三阶2D多项式，而步骤1212的2D多项式模型是零阶或一阶2D多项式。在另一个实施例中，第一模型和第二模型是相同阶数的2D多项式。
图14图示了一种用于对与HDR彩色图像180的图像像素相关联的局部区域的像素值进行运动补偿去马赛克的方法1400。方法1400确定图像像素的针对一种颜色的输出值。步骤540可以针对每种颜色执行方法1400。运动补偿HDR去马赛克模块830可以执行方法1400，以基于像素值870和运动参数872生成运动补偿HDR输出值874。方法1400包括步骤1410、1420和1430。
步骤1410将第一模型拟合到与所考虑颜色相关联的短曝光时间像素222的像素值870，以确定图像像素的针对此颜色的短曝光时间值，例如方程4的βC，S。此短曝光时间值表示对与图像像素的此颜色相关联的实际光亮度的最佳估计。将模型拟合到像素值870的益处类似于以上参考步骤1210所讨论的益处。
步骤1420类似于步骤1410，除了其与长曝光时间有关之外。步骤1420将第二模型拟合到与所考虑颜色相关联的长曝光时间像素224的像素值870，以确定图像像素的针对此颜色的长曝光时间值，例如方程4的βC，L。
步骤1410和1420可以包括将βC，S和βC，L缩放到公共比例，以补偿曝光时间的差异。替代性地，步骤1430执行此缩放。
步骤1430以(a)在步骤1410中确定的短曝光时间值和(b)长曝光时间值二者的加权平均值计算图像像素的输出值(针对所考虑颜色)。加权平均值使用运动参数m作为权重，如以上参考方程4所讨论的。
在实施例中，步骤1410包括步骤1412，并且步骤1420包括步骤1422。步骤1412和1422中的每个步骤将模型拟合到分别相关联的像素值。步骤1412类似于步骤1210，除了其适用于第一颜色、第二颜色和第三颜色中的任一种颜色之外。同样，步骤1422类似于步骤1220，除了其适用于第一颜色、第二颜色和第三颜色中的任一种颜色之外。步骤1412可以包括步骤1414和1416之一或两者，并且步骤1422可以包括步骤1424和1426之一或两者。步骤1414和1424分别类似于步骤1212和1222。步骤1416类似于步骤1214，除了步骤1416的2D多项式的阶数可以取决于所考虑颜色之外。例如，步骤1416可以对第二颜色和第三颜色应用比在步骤1214中应用于第一颜色的阶数低的2D多项式，以说明与第二颜色和第三颜色中的每一种颜色相关的像素值870比与第一颜色相关的像素值少。类似地，步骤1426类似于步骤1224，除了步骤1426的2D多项式的阶数可以取决于所考虑颜色之外。例如，步骤1426可以对第二颜色和第三颜色应用比在步骤1224中应用于第一颜色的阶数低的2D多项式。
现在一起参考图5、图12和图14，方法500可以使用方法1200来执行步骤530，并且使用方法1400来执行步骤540。在这种实施例中，方法1400不需要对第一颜色重复步骤1410和1420中的计算，因为使用方法1200的步骤530已经执行了这些计算。在此实施例中，当所考虑颜色是第一颜色时，步骤1410和1420可以分别实施步骤1418和1428。步骤1418针对第一颜色将短曝光时间值设定为在步骤1210中确定的短曝光时间第一颜色值。同样，步骤1428针对第一颜色将长曝光时间值设定为在步骤1220中确定的长曝光时间第一颜色值。
现在一起参考图11、图12和图14，步骤1148和1158中的每个步骤都可以根据方法1200和1400来执行。步骤1146和1156中的每个步骤都可以根据方法1400来执行，其中一种修改是步骤1430中的加权平均值被简单的未加权平均值或者不使用运动参数作为权重的加权平均值代替。在后一种情况下，权重可以从图13A和图13B所示的拟合权重的共同考虑中得到。步骤1142和1152中的每个步骤都可以根据步骤1410来执行。另外，决定1144可以至少利用方法1200的一部分来确定决定1144的视差。
图15图示了另一种运动补偿HDR图像生成器1500，所述运动补偿HDR图像生成器用于根据由双曝光时间单拍摄HDR彩色图像传感器120在单次拍摄中生成的像素值170生成运动补偿HDR彩色图像180。HDR图像生成器1500是被适配成执行方法1100的运动补偿HDR图像生成器900的实施例，其实施方法1200和包括步骤1412和1422的1400的实施例。
在HDR图像生成器1500中，主模块940实施饱和度评估器1550和视差评估器1560，作为饱和度评估器950和视差评估器960的相应实施例。饱和度评估器1550包括低于饱和度标准952，并被配置成执行决定1140、1150和1150’。视差评估器1560包括一个或多个模型1562、以及拟合权重1564，其被配置成在决定1144中使用以根据方法1200的至少一部分确定视差。拟合权重1564是例如图13A和图13B的拟合权重。例如，每个模型1562是2D多项式。视差评估器1560还包括视差阈值966。如在HDR图像生成器1500中实施的主模块940还可以包括用于执行决定1149和1149’的方差评估器968。
HDR图像生成器1500包括运动分析器1520和运动补偿HDR去马赛克模块1530，即运动分析器820和运动补偿HDR去马赛克模块830的相应实施例。运动分析器1520包括一个或多个模型1522、以及拟合权重1524。运动分析器1520利用(一个或多个)模型1522和拟合权重1524来执行包括步骤1212、1214、1222和1224的方法1200的实施例。运动补偿HDR去马赛克模块1530包括一个或多个模型1532、以及拟合权重1534。运动补偿HDR去马赛克模块1530利用(一个或多个)模型1532和拟合权重1534来执行包括步骤1414、1416、1424和1426的方法1400的实施例。例如，每个模型1522和1532是2D多项式。拟合权重1524和1534是例如图13A和图13B的拟合权重。运动分析器1520和运动补偿HDR去马赛克模块1530被配置成执行步骤1148和1158。
HDR图像生成器1500包括非运动补偿去马赛克模块1540，所述非运动补偿去马赛克模块是非运动补偿去马赛克模块832的实施例。非运动补偿去马赛克模块1540包括一个或多个模型1542、以及拟合权重1544。非运动补偿去马赛克模块1540被配置成利用(一个或多个)模型1522和拟合权重1524来执行步骤1142、1146、1152和1156。
在实施例中，拟合权重1524、1534、1544和1564中的至少一些是相同的。应当理解，在此实施例中，HDR图像生成器1500不需要包括相同拟合权重的副本，而是可以代替地仅包括这种拟合权重的一个实例。类似地，模型1522、1532、1542和1562中的至少一些可以是相同的，在这种情况下，HDR图像生成器1500不需要包括相同模型的副本，而是可以代替地仅包括这种模型的一个实例。
HDR图像生成器1500可以以处理器和在非暂态存储器中编码的机器可读指令的形式实施，所述机器可读指令当由处理器执行时处理来自图像传感器120的像素值170，以生成运动补偿HDR输出值874和/或非运动补偿输出值876。主模块940、采样器942、数据选择器810、运动分析器1520、运动补偿HDR去马赛克模块1530和非运动补偿去马赛克模块1540可以共享同一处理器。此外，包含与主模块940、采样器942、数据选择器810、运动分析器1520、运动补偿HDR去马赛克模块1530以及非运动补偿去马赛克模块1540相关联的这种机器可读指令的非暂态存储器可以作为独立的产品提供，所述产品被配置成与第三方处理器协作来处理来自图像传感器120的像素值170，以生成运动补偿HDR输出值874和/或非运动补偿输出值876。
图16图示了一种用于从双曝光时间单拍摄HDR彩色图像传感器120生成运动补偿HDR彩色图像180的系统1600。系统1600可以由计算机实施，并且被配置成执行方法500。系统1600包括处理器1610、非暂态存储器1620和接口1690。处理器1610和存储器1620(以及在某些实施例中，接口1690)协作以形成HDR图像生成器800的实施例。系统1600还可以包括双曝光时间单拍摄HDR彩色图像传感器120，在这种情况下，系统1600是HDR相机802的实施例。
存储器1620包括机器可读指令1630。指令1630可以在存储器1620的非易失性部分中编码。指令1630包括数据选择指令1632、运动指令1634和运动补偿HDR去马赛克指令1636。在一个实施例中，存储器1620还可以包括动态数据存储装置1680，所述动态数据存储装置被配置成存储经由接口1690接收的数据和/或指令1630在由处理器1610执行时生成的数据。在另一个实施例中，系统1600不包括存储器1620，而是代替地被配置成与例如由第三方提供的外部存储器协作。
在由处理器1610执行时，数据选择指令1632获得局部区域像素值870。数据选择指令1632可以被配置成经由接口1690或者从动态数据存储装置1680中获得局部区域像素值870。动态数据存储装置1680可以包含由图像传感器120记录的帧的所有像素值170，使得数据选择指令1632可以被配置成从像素值170中选择局部区域像素值870。数据选择指令1632和处理器1610协作以形成数据选择器810的实施例。
在由处理器1610执行时，运动指令1634处理局部区域像素值870的与第一颜色相关联的子集，以确定运动参数872。运动指令1634可以被配置成将运动参数872存储在动态数据存储装置1680中。运动指令1634和处理器1610协作以形成运动分析器820的实施例。
在由处理器1610执行时，运动补偿HDR去马赛克指令1636针对第一颜色、第二颜色和第三颜色中的每一种颜色，根据(a)局部区域像素值870的与所述颜色相关联的子集和(b)运动参数872确定运动补偿HDR输出值874。运动补偿HDR去马赛克指令1636可以被配置成(a)从动态数据存储装置1680取得运动参数872和局部区域像素值870的子集，以及(b)经由接口1690将运动补偿HDR输出值874存储到动态数据存储装置1680或者输出运动补偿HDR输出值874。运动补偿HDR去马赛克指令1636和处理器1610协作以形成运动补偿HDR去马赛克模块830的实施例。
在实施例中，指令1630还包括评估指令1640和非运动补偿去马赛克指令1642。在由处理器1610执行时，评估指令1640针对第一颜色、第二颜色和第三颜色中的每一种颜色确定运动补偿是否合适。评估指令1640和处理器1610协作以形成评估器812的实施例。如果由处理器1610执行评估指令1640使得确定运动补偿是合适的，则处理器1610执行如以上所述讨论的运动补偿HDR去马赛克指令1636。另一方面，如果由处理器1610执行评估指令1640使得确定运动补偿不合适，则处理器1610代替地执行非运动补偿去马赛克指令1642。在由处理器1610执行时，非运动补偿去马赛克指令1642处理局部区域像素值870的与所考虑颜色相关联的子集，以确定图像像素的针对所述颜色的非运动补偿输出值876。非运动补偿去马赛克指令1642可以被配置成(a)从动态数据存储装置1680取得局部区域像素值870的子集，以及(b)经由接口1690将非运动补偿输出值876存储到动态数据存储装置1680或者输出非运动补偿输出值876。非运动补偿去马赛克指令1642和处理器1610协作以形成非运动补偿去马赛克模块832的实施例。
在不脱离本文范围的情况下，机器可读指令1630可以作为被配置成在第三方计算机上实施的独立的软件产品提供，所述第三方计算机具有(a)用于存储机器可读指令1630的非暂态存储器以及(b)用于执行机器可读指令1630的处理器。
图17图示了用于从双曝光时间单拍摄HDR彩色图像传感器120生成运动补偿HDR彩色图像180的另一个系统1700。系统1700可以由计算机实施，并且被配置成执行方法1100，其实施方法1200和包括步骤1412和1422的1400的实施例。系统1700包括处理器1610、非暂态存储器1720和接口1690。处理器1610和存储器1720(以及在某些实施例中，接口1690)协作以形成HDR图像生成器1500的实施例。系统1700还可以包括双曝光时间单拍摄HDR彩色图像传感器120，在这种情况下，系统1700是被配置成执行方法1100的HDR相机802的实施例，其实施方法1200和包括步骤1412和1422的1400的实施例。此外，系统1700是系统1600的实施例。
存储器1720包括机器可读指令1730和参数存储装置1770。指令1730可以在存储器1720的非易失性部分中编码。存储器1720是存储器1620的实施例。指令1730是指令1630的实施例，其还包括采样指令1732、拟合指令1750和主指令1740。主指令1740包括评估指令1742。评估指令1742是评估指令1640的实施例，其包括饱和度评估指令1744和视差评估指令1746。评估指令1742还可以包括方差评估指令1748。参数存储装置1770包括一个或多个模型1762、拟合权重964、低于饱和度标准952和视差阈值966。参数存储装置1770还可以包括区域大小1772和步长大小1774。
在由处理器1610执行时，采样指令1732指定了当处理器1610执行数据选择指令1632时对要使用的局部区域像素值870的选择。采样指令1732可以被配置成从参数存储装置1770取得区域大小1772(例如，高度1030和宽度1032)和步长大小1774(例如，中心到中心间距1040)，或者替代性地，经由接口1690接收区域大小1772和步长大小1774，并且然后将区域大小1772和步长大小1774存储到参数存储装置1770或动态数据存储装置1780。采样指令1732和处理器1610协作以形成采样器942的实施例。
在由处理器1610执行时，拟合指令1750：(a)从参数存储装置1770取得模型1762和拟合权重964，以及(b)使用拟合权重964将此模型1762拟合到某些局部区域像素值870，以确定短曝光时间像素值1782或长曝光时间像素值1784。拟合指令1750可以被配置成将短曝光时间像素值1782和长曝光时间像素值1784存储到动态数据存储装置1780。
在系统1700中，运动补偿HDR去马赛克指令1636和非运动补偿去马赛克指令1642被配置成命令执行拟合指令1750。因此，如在系统1700中实施的运动补偿HDR去马赛克指令1636和非运动补偿去马赛克指令1642分别形成运动补偿HDR去马赛克模块1530和非运动补偿去马赛克模块1540的实施例。类似地，在系统1700中，运动指令1634被配置成命令执行拟合指令1750。因此，如在系统1700中实施的运动指令1634形成运动分析器1520的实施例。
在由处理器1610执行时，饱和度评估指令1744评估局部区域像素值870是否满足从参数存储装置1770取得的低于饱和度标准952。饱和度评估指令1744利用拟合指令1750。饱和度评估指令1744可以被配置成从动态数据存储装置1780取得局部区域像素值870。饱和度评估指令1744和处理器1610协作以形成饱和度评估器1550的实施例。
在由处理器1610执行时，视差评估指令1746将与第一颜色相关联的长曝光时间像素值870与短曝光时间像素值870之间的视差与从参数存储装置1770取得的视差阈值966进行比较。视差评估指令1746利用拟合指令1750。视差评估指令1746可以被配置成从动态数据存储装置1780取得局部区域像素值870。视差评估指令1746和处理器1610协作以形成视差评估器1560的实施例。
在由处理器1610执行时，方差评估指令1748评估像素值870的方差。方差评估指令1748可以被配置成从动态数据存储装置1780取得局部区域像素值870。方差评估指令1748和处理器1610协作以形成方差评估器968的实施例。
在由处理器1610执行时，主指令1740命令由处理器1610(a)执行评估指令1742，以及(b)根据评估指令1742的执行结果，执行运动补偿HDR去马赛克指令1636或非运动补偿去马赛克指令1642。主指令1740和处理器1610协作以形成如在HDR图像生成器1500中实施的主模块940的实施例。
在不脱离本文范围的情况下，机器可读指令1730可以例如与参数存储装置1770的参数一起作为被配置成在第三方计算机上实施的独立的软件产品提供，所述第三方计算机具有(a)用于存储机器可读指令1730以及任选的存储参数存储装置1770的参数的非暂态存储器以及(b)用于执行机器可读指令1730的处理器。
图18是一个示例混合函数f的图1800，所述示例混合函数限定短曝光时间彩色图像和长曝光时间彩色图像的相对组合权重以生成HDR图像。HDR图像的每个像素的像素值Vout，C可以表达为：
Vout，C＝(1-f)VC，L+frVC，S， (方程14)
其中，所述索引C采用值1、2和3之一来分别指示第一颜色、第二颜色或第三颜色，其中，VC，S和VC，L分别是针对HDR图像像素和所考虑颜色的短曝光时间值和长曝光时间值，并且其中，r是长曝光时间与短曝光时间的比率。方程14分别处理每种颜色，并且因此所得HDR图像呈彩色马赛克的形式。此彩色马赛克可以进行去马赛克以产生HDR彩色图像，其中，每个像素具有全彩色信息。方程14的混合函数f是针对至少一种颜色的VC，S和VC，L的函数。例如，混合函数f可以基于V1，S和V1，L确定，并且然后针对在空间上同位的像素应用于V2，S、V2，L、V3，S和V3，L。替代性地，分别针对每种颜色确定混合函数f。混合函数f可以与以上参考图5和方程7至方程13所讨论的运动参数m相同或相似。VC，S和VC，L可以分别是βC，S和βC，L。
图1800根据比例1802绘制混合函数f的值，所述混合函数是VC，S(竖直轴)和VC，L(水平轴)的函数。远离区域1810(在所述区域1810中VC，L与rVC，S近似)，混合函数f的值接近一。混合函数f在区域1810中下降到零，在所述区域1810中VC，L与rVC，S近似(在图1800中被视为暗带)。
图18中所描绘的示例混合函数f与根据方程13的运动参数m具有相同的形式。因此，此示例混合函数f由超越方程限定
Figure BDA0002807640740000301
然而，在不脱离本文范围的情况下，混合函数f可以是另一种超越函数，其大体上接近一，但是当VC，L与rVC，S近似时下降到零。在图18中所绘制的示例中，曝光时间比率r等于8，使得混合函数f在VC，L＝8VC，S周围的区域中下降到零。在不脱离本文范围的情况下，曝光时间比率r可以不同于8。
图19是图18的混合函数f的曲线图1900，其被绘制为曲线1910，相对于针对短曝光时间值VC，S的单个值(即VC，S＝60)的长曝光时间像素值VC，L而言。曲线1910相当于沿虚线1890(由VC，S＝60限定)截取的图1800的线条轮廓。曲线1910大体上接近于一，除了下降部(dip)1912之外，该下降部1912在VC，L＝8VC，S＝480处达到峰值。在VC，L＝8VC，S周围的区域中，下降部1912被方程15中的最大值函数箝位到零。
可以例如使用牛顿迭代法在数值上求解方程14，以确定分别与HDR图像的每个输出像素值相关联的每组像素值VC，S和VC，L的混合函数f。然而，所需的时间和/或计算能力可能使这种方法不太有吸引力，尤其是要在移动设备(例如，蜂窝电话)上针对视频流的每一帧执行计算的情况下。作为实时求解方程14的替代方案，图1800可以被预先计算并编码为二维查找表。
图20图示了一种使用一维(1D)查找表来确定超越混合函数的值的方法2000。方法2000可以用于针对短曝光时间值VC，S和长曝光时间像素值VC，L的任何一对值确定以上参考图18和图19所讨论的混合函数f的值。方法2000可以在方法500的步骤530中实施。方法2000利用针对VC，S的单个值
Figure BDA0002807640740000311
对f(VC，L)进行编码的一维查找表。
图19的曲线1910是在方法2000使用的1D查找表中编码的值的一个示例。更一般地，1D查找表对具有峰值的函数进行编码。在下文中，峰值被认为是负峰值，即下降部，但是峰值可以代替地是正峰值。
通过在1D查找表中查找之前操纵VC，L的值并且根据VC，S的实际值如何与
Figure BDA0002807640740000312
不同，方法2000可以使用对
Figure BDA0002807640740000313
有效的1D查找表来读取针对不同于
Figure BDA0002807640740000314
的VC，S的值的混合函数的值。方法2000包括用于在执行查找步骤2030之前操纵VC，L的值的移位步骤2010和缩放步骤2020。步骤2010对VC，L的值进行移位，以确定经移位值
Figure BDA0002807640740000315
在某些实施方式场景中，方法2000可以显著快于使用2D查找表来确定混合函数f的值的方法。在存储器资源有限的移动设备(如配备相机的智能手机)中，方法2000使用的1D查找表可以存储在快速的本地存储器缓存中，使得能够快速从1D查找表中读出。可以使用乘法和加法/减法操作来执行方法2000的在前操作(步骤2010和2020)，这些操作在计算上廉价并且因此相对较快。相比之下，2D查找表需要几兆字节的存储空间，这超过了典型移动相机设备的快速本地存储器缓存的容量。因此，在这样的设备中，2D查找表需要存储在较慢的存储器中，并且读出过程将比存储在快速本地存储器缓存中的1D查找表慢得多。
图21是示出方法2000的步骤2010中像素值移位的一个示例的曲线图2100。图21绘制了图19的曲线1910以及曲线2120和2130。对于
Figure BDA0002807640740000321
曲线1910指定了f(VC，L)。对于VC，S＝20，曲线2120指定了f(VC，L)。曲线2120相当于沿虚线1892截取的图1800的线条轮廓。曲线2120具有下降部2122，其中VC，L≈8×20＝160。对于VC，S＝100，曲线2130指定了f(VC，L)。曲线2130相当于沿虚线1894截取的图1800的线条轮廓。曲线2130具有下降部2132，其中VC，L≈8×100＝800。
现在结合示例参考图20和图21，当实际值VC，S＝20时，步骤2010计算经移位值
Figure BDA0002807640740000322
例如，如果VC，L的实际值为160，则曲线2120指示混合函数f的值应该为零。然而，1D查找表包含曲线1910的数据，而不是曲线2120的数据。步骤2010通过将VC，L(即，160)的实际值移位成V′C，L＝160+320＝480来部分地校正这个问题，其与曲线1910的下降部1912一致，在这里混合函数f确实为零。箭头2124所指示的这种移位补偿了下降部2122与1912之间的偏移。问题仍然存在，即下降部2122比下降部1912窄。(如下降部2122、1912和2132的宽度所指示的，下降部的宽度随VC，S的值而增加)。因此，对于在下降部2122的斜率上的VC，L的实际值，需要进一步校正以准确地确定混合函数f的值。
步骤2020根据
Figure BDA0002807640740000323
与VC，S的实际值之间的比率进一步缩放V′C，L。由此，步骤2020至少近似地校正了下降部宽度随VC，S的值增加的问题。步骤2020计算缩放值
Figure BDA0002807640740000324
其中，
Figure BDA0002807640740000325
是
Figure BDA0002807640740000326
的下降部的中心位置。在
Figure BDA0002807640740000327
(曲线1910)的示例中，中心位置
Figure BDA0002807640740000328
在
Figure BDA0002807640740000329
和VC，S＝20的示例中，在步骤2020中执行的缩放对应于按系数
Figure BDA00028076407400003210
进行的下降部宽度的缩放。模拟显示，在步骤2020中执行的缩放是极好的近似，并且至少几乎完美地校正了依赖于VC，S的下降部宽度。
在某些实施例中，步骤2020包括从1D缩放系数查找表中读取缩放系数
Figure BDA00028076407400003211
的步骤2022，其中，1D缩放系数查找表的每个条目都列出了针对VC，S的相应值的缩放系数
Figure BDA00028076407400003212
从1D缩放系数查找表中读取缩放系数
Figure BDA00028076407400003213
可能比计算缩放系数更快。在存储器资源有限的移动设备(如配备相机的智能手机)中，步骤2022使用的1D查找表可以存储在快速的本地存储器缓存中，并且步骤2022可以因此受益于如以上所讨论的相同的快速读出，就在快速本地存储器缓存中对步骤2030的1D查找表进行编码的方法2000的实施方式而言。在不脱离本文范围的情况下，缩放系数可以是比
Figure BDA0002807640740000331
更复杂的函数VC，S，在这种情况下，在1D查找表中对缩放函数进行编码在计算效率方面可以甚至是更有利的。
在步骤2010和2020中对VC，L进行移位和缩放之后，步骤2030读取1D查找表的索引V″C，L处的混合函数f的值。例如，当VC，S＝20且VC，L＝180(对应于图21中曲线2120的右边斜率上的位置2126)并且
Figure BDA0002807640740000332
时，步骤2030读取1D查找表中在索引
Figure BDA0002807640740000333
处的条目。在此索引位置处，步骤2030读出在图21中的位置2128处指示的曲线1910的值，所述值与曲线2120上的位置2126示出为正确值的值相匹配。
在不脱离本文范围的情况下，方法2000可以用VC，L和VC，S交换的角色来执行，并且代替地利用针对VC，L的单个值列出f(VC，S)的1D查找表。
方法2000可以在方法500的步骤530中实施，以确定运动参数m(例如，运动参数872)。方法200可以例如结合被编码为运动指令1634的一部分或者被存储到动态数据存储装置1680中的1D查找表而在系统1600的运动指令1634中编码。
图22图示了一种用于生成三曝光时间HDR彩色图像2290的HDR相机2202。HDR相机2202可以在图像捕获设备140中实施。HDR相机2202包括三曝光时间单拍摄HDR彩色图像传感器2230和三曝光时间HDR图像生成器2200。图像传感器2230被配置成以短曝光时间TS曝光其光敏像素中的一些像素，以中等曝光时间TM曝光其光敏像素中的其他像素，并且以长曝光时间TL曝光其光敏像素中的另外的其他像素，其中，TS＜TM＜TL。因此，由图像传感器2230捕获的每个图像帧包含短曝光时间图像数据、中等曝光时间图像数据和长曝光时间图像数据。三曝光时间HDR图像生成器2200将短曝光时间图像数据、中等曝光时间图像数据和长曝光时间图像数据组合，以形成三曝光时间HDR彩色图像2290。三曝光时间HDR图像生成器2200在两级过程中执行此图像数据组合。首先，双曝光时间HDR图像生成器2210：(a)根据来自短曝光时间像素的短曝光时间像素值和来自中等曝光时间像素的中等曝光时间像素值的组合生成双曝光时间HDR图像2280SM，并且(b)根据来自中等曝光时间像素的中等曝光时间像素值和来自长曝光时间像素的长曝光时间像素值的组合生成双曝光时间HDR图像2280ML。接下来，双至三(dual-to-triple)HDR图像生成器2220根据双曝光时间HDR图像2280SM和2280ML生成三曝光时间HDR彩色图像2290。
与HDR相机110相比，HDR相机2202通过使用三种不同的曝光时间而不是仅两种不同的曝光时间来允许进一步扩展动态范围。替代性地，HDR相机2202可以被配置成在使用由比图像传感器120小的位深度表征的图像传感器2230的实施例时达到与HDR相机110的动态范围类似的动态范围。
由于短曝光时间、中等曝光时间和长曝光时间的持续时间不同，因此当场景发生运动时，短曝光时间图像数据、中等曝光时间图像数据和长曝光时间图像数据可以代表不同的场景组成。三曝光时间HDR图像生成器2200可以被配置成补偿场景中的运动，以消除或至少减少运动伪影。图像传感器2230的位深度可以等于、小于或大于图像传感器120的位深度。
图23更详细地示出了三曝光时间单拍摄HDR彩色图像传感器2230。图像传感器2230包括像素阵列2310。像素阵列2310包括相同的像素组2320的阵列。每个像素组2320包括短曝光时间像素2322S、中等曝光时间像素2322M和长曝光时间像素2322L。短曝光时间像素2322S包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素2332S、2334S和2336S。第一颜色、第二颜色和第三颜色可以分别是绿色、红色和蓝色。中等曝光时间像素2322M包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素2332M、2334M和2336M。长曝光时间像素2322L包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素2332L、2334L和2336L。
在不脱离本文范围的情况下，每个像素组2320可以包括传感器像素2332S、2334S、2336S、2332M、2334M、2336M、2332L、2334L和2336L中的一个或多个传感器像素的一个以上的实例。例如，每个像素组2320可以包括对第一颜色敏感的多个像素2332S、多个像素2332M和多个像素232L。在一个实施方式中，第一颜色是绿色。
再次参考图22，三曝光时间HDR图像生成器2200处理由每个像素组2320的传感器像素2332S、2334S、2336S、2332M、2334M、2336M、2332L、2334L和2336L产生的像素值2270，以生成三曝光时间HDR彩色图像2290。
三曝光时间HDR图像生成器2200可以以处理器和在非暂态存储器中编码的机器可读指令的形式实施，所述机器可读指令在由处理器执行时处理来自图像传感器2230的像素值2270，以生成三曝光时间HDR彩色图像2200或其一部分。三曝光时间HDR图像生成器2200的某些实施例作为在非暂态存储器中编码的机器可读指令提供，其中，机器可读指令被配置成与由第三方提供的处理器协作来处理来自图像传感器2230的像素值2270，以生成三曝光时间HDR彩色图像2290或其一部分。
在不脱离本文范围的情况下，三曝光时间HDR图像生成器2200可以作为独立的产品提供，所述产品被配置成根据从第三方提供的三曝光时间单拍摄HDR彩色图像传感器2230接收的像素值2270来生成三曝光时间HDR彩色图像2290。
图24图示了一种用于从具有多个短曝光时间像素、多个中等曝光时间像素和多个长曝光时间像素的三曝光时间单拍摄HDR彩色图像传感器生成HDR彩色图像的方法2400。方法2400例如由三曝光时间HDR图像生成器2200执行。方法2400包括步骤2410、2420和2430。
步骤2410根据以下各项的组合生成第一双曝光时间HDR图像：(a)来自短曝光时间像素的短曝光时间像素值和(b)来自中等曝光时间像素的中等曝光时间像素值。在步骤2410的一个示例中，双曝光时间HDR图像生成器2210根据以下各项的组合生成双曝光时间HDR图像2280SM：(a)来自短曝光时间像素2322S的像素值2270和(b)来自中等曝光时间像素2322M的像素值2270。
步骤2420根据以下各项的组合生成第二双曝光时间HDR图像：(a)来自中等曝光时间像素的中等曝光时间像素值和(b)来自长曝光时间像素的长曝光时间像素值。在步骤2420的一个示例中，双曝光时间HDR图像生成器2210根据以下各项的组合生成双曝光时间HDR图像2280ML：(a)来自中等曝光时间像素2322M的像素值2270和(b)来自长曝光时间像素2322L的像素值2270。
步骤2430根据分别在步骤2410和2420中生成的第一双曝光时间HDR图像和第二双曝光时间HDR图像生成三曝光时间HDR彩色图像。在步骤2430的一个示例中，双至三HDR图像生成器2220根据从双曝光时间HDR图像生成器2210接收的双曝光时间HDR图像2280SM和2280ML生成三曝光时间HDR彩色图像2290。
在一个实施例中，在步骤2410和2420中形成的双曝光时间图像是全彩色图像。在另一个实施例中，在步骤2410和2420中形成的双曝光时间图像是彩色马赛克图像。在本文中，“全彩色图像”是指其中每个像素具有全彩色信息的图像，而“彩色马赛克图像”是指由不同类型的颜色特定像素(例如，红色、绿色和蓝色)的马赛克形成的图像。
在全彩色实施例中，步骤2410和2420分别实施步骤2412和2422，并且步骤2430实施步骤2432。步骤2412和2422分别将第一双曝光时间HDR图像和第二双曝光时间HDR图像生成为第一全彩色图像和第二全彩色图像。步骤2412和2422中的每个步骤都包括去马赛克步骤。在步骤2412和2422的一个示例中，双曝光时间HDR图像生成器2210将双曝光时间HDR图像2280SM和2280ML生成为全彩色图像。在此示例中，双曝光时间HDR图像生成器2210可以根据类似于方法500(即，在HDR组合中集成了去马赛克)的方法生成双曝光时间HDR图像2280SM和2280ML中的每一个。替代性地，双曝光时间HDR图像生成器2210可以首先将双曝光时间HDR图像2280SM和2280ML中的每一个生成为彩色马赛克HDR图像，并且然后，随后对彩色马赛克HDR图像去马赛克以生成HDR全彩色图像。步骤2432根据第一彩色图像和第二彩色图像生成三曝光时间HDR彩色图像。在步骤2432的一个示例中，双至三HDR图像生成器2220根据从双曝光时间HDR图像生成器2210接收的双曝光时间HDR图像2280SM和2280ML的全彩色实施例生成三曝光时间HDR彩色图像2290。
在彩色马赛克实施例中，步骤2410和2420分别实施步骤2414和2424，并且步骤2430实施步骤2434和2436。步骤2414和2424分别将第一双曝光时间HDR图像和第二双曝光时间HDR图像生成为第一彩色马赛克图像和第二彩色马赛克图像。在步骤2414和2424的一个示例中，双曝光时间HDR图像生成器2210将双曝光时间HDR图像2280SM和2280ML生成为彩色马赛克图像。例如，双曝光时间HDR图像生成器2210：(a)将来自像素2332S和2332M的像素值2270组合以生成双曝光时间HDR图像2280SM的一组第一颜色像素，以及(b)将来自像素2332M和2332L的像素值2270组合以生成双曝光时间HDR图像2280ML的一组第一颜色像素。步骤2434根据在步骤2414和2424中生成的第一彩色马赛克图像和第二彩色马赛克图像产生作为彩色马赛克图像的中间三曝光时间HDR图像。接下来，步骤2436对中间三曝光时间HDR图像去马赛克，以生成HDR全彩色图像。在步骤2434和2436的一个示例中，双至三HDR图像生成器2220将双曝光时间HDR图像2280SM和2280ML的彩色马赛克实施例组合(在步骤2434中)，以形成彩色马赛克三曝光时间HDR图像，并且然后(在步骤2436中)对彩色马赛克三曝光时间HDR图像去马赛克，以生成三曝光时间HDR彩色图像2290。
图25图示了一种用于从三曝光时间HDR彩色图像传感器生成第一双曝光时间HDR图像的方法2500。方法2500是方法2400的步骤2410的实施例，并且可以由双曝光时间HDR图像生成器2210来执行。方法2500可以在方法2400的全彩色实施例和方法2400的彩色马赛克实施例中的任一个中实施。
方法2500包括将短曝光时间像素值和中等曝光时间像素值对第一组合的相对贡献进行局部加权的步骤2520。步骤2520至少部分地基于以下各项将相对贡献进行加权：(a)短曝光时间像素值与中等曝光时间像素值之间的视差程度(例如，以上参考图5所讨论的Δa、Δn和Δr中的任一个)和(b)中等曝光时间像素值的饱和度。在步骤2520的一个示例中，双曝光时间HDR图像生成器2210至少部分地基于以下各项将短曝光时间像素2322S的像素值2270对双曝光时间HDR图像2280SM的贡献相对于中等曝光时间像素2322M的像素值2270对双曝光时间HDR图像2280SM的贡献进行局部加权：(a)短曝光时间像素2322S与中等曝光时间像素2322M之间的视差程度和(b)中等曝光时间像素2322M的饱和度。
步骤2520可以包括针对每种颜色以对应的短曝光时间像素值和对应的中等曝光时间像素值的线性组合计算第一双曝光时间HDR图像的每个像素的像素值的步骤2522。在步骤2522中，相对组合权重由混合函数限定，所述混合函数取决于短曝光时间像素值和中等曝光时间像素值。在步骤2522的与方法2400的彩色马赛克实施例有关的一个示例中，双曝光时间HDR图像生成器2210根据方程14计算双曝光时间HDR图像2280SM的每个像素的像素值。在步骤2522的与方法2400的全彩色实施例有关的另一个示例中，双曝光时间HDR图像生成器2210根据方法500计算双曝光时间HDR图像2280SM的每个像素的像素值。
步骤2520可以包括步骤2524和2526。步骤2524将中等曝光时间像素值与低于饱和度标准进行比较。在步骤2524的一个示例中，双曝光时间HDR图像生成器2210将中等曝光时间像素2322M与低于饱和度标准952进行比较。步骤2526使用在步骤2524中执行的比较，以确保在被表征为中等曝光时间像素值中的一个或多个不满足低于饱和度标准的局部区域中，步骤2520仅根据短曝光时间像素值生成第一双曝光时间HDR图像。在步骤2526的一个示例中，双曝光时间HDR图像生成器2210使用关于中等曝光时间像素2322M在哪些局部区域中满足低于饱和度标准952以及中等曝光时间像素2322M在哪些局部区域中不满足低于饱和度标准952的信息。步骤2526将此信息用于计算第一双曝光时间HDR图像的像素值：对于中等曝光时间像素2322M不满足低于饱和度标准952的区域，步骤2526确保双曝光时间HDR图像生成器2210仅根据短曝光时间像素2322S的像素值2270生成双曝光时间HDR图像2280SM。
方法2500可以包括步骤2520之前的步骤2510。步骤2510在步骤2520的HDR组合之前对短曝光时间像素值和中等曝光时间像素值进行去噪。步骤2510可以对短曝光时间像素值应用比对中等曝光时间像素值更积极的去噪，因为当在步骤2520中组合这些像素值时，短曝光时间像素值相对于中等曝光时间像素值按比例放大。因此，短曝光时间像素值中的任何残留噪声可能比中等曝光时间像素值中的任何残留噪声对步骤2520的准确度具有更大的影响。在步骤2520的一个示例中，双曝光时间HDR图像生成器2210对短曝光时间像素2322S和中等曝光时间像素2322M的像素值2270进行去噪。步骤2520可以使用本领域已知的一种或多种去噪方法。
取代步骤2410，方法2500具有形成方法2400的步骤2420的实施例的对应方法。此对应方法类似于方法2500，除了其分别处理中等曝光时间像素值和长曝光时间像素值而不是短曝光时间像素值和中等曝光时间像素值，以便生成第二双曝光时间HDR图像而不是第一双曝光时间HDR图像之外。在某些实施例中，还有另一个区别：该对应方法可以跳过在被表征为中等曝光时间像素值不满足低于饱和度标准的局部区域中的第二双曝光时间HDR图像的像素值的计算。
图26图示了一种用于根据两个双曝光时间HDR图像生成三曝光时间HDR彩色图像的基于视差的方法2600。方法2600是方法2400的步骤2430的实施例，并且可以在方法2400的全彩色实施例和彩色马赛克实施例中的任一个中实施。方法2600可以由双至三HDR图像生成器2220来执行。
方法2600包括将第一双曝光时间HDR图像和第二双曝光时间HDR图像对三曝光时间HDR彩色图像的相对贡献进行局部加权的步骤2610。步骤2610至少部分地基于以下各项将这些相对贡献进行加权：(a)短曝光时间像素值与中等曝光时间像素值之间的视差程度(以下称为“短-中等视差”)和/或(b)中等曝光时间像素值与长曝光时间像素值之间的视差程度(以下称为“中等-长视差”)。例如，如果短-中等视差和中等-长视差对于局部区域都是显著的，则这可以指示局部区域受到运动的影响，并且步骤2610可以向第一双曝光时间HDR图像分配更大的权重。如果对于局部区域，中等-长视差显著并且超过短-中等视差，则这也可以是运动的指示，并且步骤2610可以向第一双曝光时间HDR图像分配更大的权重。相反，如果短-中等视差显著超过中等-长视差，则这可能是第一双曝光时间HDR图像中的噪声过量的结果，并且步骤2610可以向第二双曝光时间HDR图像分配更大的权重。在步骤2610的一个示例中，双至三HDR图像生成器2220至少部分地基于以下各项将双曝光时间HDR图像2280SM和2280ML对三曝光时间HDR彩色图像2290的相对贡献进行局部加权：(a)在方法2500的步骤2520中确定的短曝光时间像素2322S与中等曝光时间像素2322M之间的视差程度和/或(b)在步骤2520的与第二双曝光时间HDR图像的生成有关的对应步骤中确定的中等曝光时间像素2322M与长曝光时间像素2322L之间的视差程度。
步骤2610可以包括步骤2612。步骤2612规定，在被表征为一个或多个长曝光时间像素值不满足低于饱和度标准的局部区域中，步骤2610仅根据第一双曝光时间HDR图像生成三曝光时间HDR图像。在步骤2612的一个示例中，双至三HDR图像生成器2220生成三曝光时间HDR彩色图像，使得在被表征为长曝光时间像素2322L不满足低于饱和度标准(例如，低于饱和度标准952)的局部区域中，对应的像素值仅基于双曝光时间HDR图像2280SM。
图27图示了一种用于根据两个双曝光时间HDR图像生成三曝光时间HDR彩色图像的基于融合的方法2700。方法2700是方法2400的步骤2430的实施例。方法2700是方法2600的替代方法，并且可以由双至三HDR图像生成器2220来执行。方法2600至少部分地基于对数据的认识(方法2600的输入图像是根据所述数据生成的)来回顾并组合第一双曝光时间图像和第二双曝光时间图像(在方法2400的步骤2410和2420中生成的)，而方法2700根据由方法2700生成的输出图像的期望质量的优化来展望并组合第一双曝光时间图像和第二双曝光时间图像。
方法2700包括根据三曝光时间HDR彩色图像的一个或多个质量度量的局部优化来融合两个双曝光时间HDR图像的步骤2710。因此，步骤2710对第一双曝光时间图像和第二双曝光时间图像应用位置敏感的组合权重，以便以位置敏感的方式优化三曝光时间HDR彩色图像的一个或多个质量度量。在步骤2710的一个示例中，双至三HDR图像生成器2220通过根据三曝光时间HDR彩色图像2290的一个或多个质量度量的局部优化融合双曝光时间HDR图像2280SM和2280ML来生成三曝光时间HDR彩色图像2290。
在实施例中，步骤2710实施步骤2712，所述步骤2712仅仅根据局部优化来设定第一双曝光时间HDR图像和第二双曝光时间HDR图像对三曝光时间HDR彩色图像的相对贡献。与方法2600的方法相反，步骤2712在不考虑(a)短曝光时间像素值与中等曝光时间像素值之间的视差程度和(b)中等曝光时间像素值与长曝光时间像素值之间的视差程度这两者中的任一个的情况下设定这些相对贡献。在此实施例的一个示例中，双曝光时间HDR图像2280SM和2280ML是源自像素值2270的馈送到双至三HDR图像生成器2220的唯一数据。
步骤2710可以实施优化三曝光时间HDR彩色图像的对比度、饱和度和良好曝光度中的至少一项的步骤2714。步骤2714可以以类似于在以下文献中讨论的方式优化这些参数：Mertens,T.，Kautz,J.和Van Reeth,F.，2007年10月，“Exposure fusion(曝光融合)”，刊登于“Computer Graphics and Applications(计算机图形学与应用)”，2007，PG’07，第15届太平洋会议(15th Pacific Conference),第382-390页，IEEE(尽管在当前情况下，优化被应用于比没有色调映射的输入图像具有更高动态范围的输出图像，而Mertens等人的论文研究的是将输入图像组合以形成与输入图像的动态范围相同的色调映射输出图像)。
在某些实施例中，步骤2710包括步骤2716和2718。步骤2716缩放第一双曝光时间HDR图像和第二双曝光时间HDR图像中的至少一个，以使第一双曝光时间HDR图像和第二双曝光时间HDR图像处于公共比例。在步骤2716的一个示例中，双至三HDR图像生成器2220缩放双曝光时间HDR图像2280SM和2280ML中的至少一个，以使双曝光时间HDR图像2280SM和2280ML处于公共比例。例如，双曝光时间HDR图像2280SM最初可能处于反映中等曝光时间的比例，并且双曝光时间HDR图像2280ML最初可能处于反映长曝光时间的比例。步骤2718生成动态范围涵盖第一双曝光时间HDR图像和第二双曝光时间HDR图像中的每一个的动态范围的三曝光时间HDR彩色图像。在步骤2718的一个示例中，双至三HDR图像生成器2220生成动态范围涵盖双曝光时间HDR图像2280SM和2280ML中的每一个的动态范围的三曝光时间HDR彩色图像2290。例如，考虑三曝光时间HDR彩色图像传感器2230的位深度是10位并且曝光时间根据表达式TL＝8*TM和TM＝8*TS表示的情况。在这种情况下，双曝光时间HDR图像2280SM和2280ML中的每一个的位深度可以是13位，使得(a)双曝光时间HDR图像2280SM涵盖短曝光时间像素2322S和中等曝光时间像素2322M的组合动态范围，并且(b)双曝光时间HDR图像2280ML涵盖中等曝光时间像素2322M和长曝光时间像素2322L的组合动态范围。进一步地，在这种情况下，三曝光时间HDR彩色图像2290的位深度可以是16位，以涵盖双曝光时间HDR图像2280SM和2280ML的组合动态范围，并且因此也涵盖短曝光时间像素2322S、中等曝光时间像素2322M和长曝光时间像素2322L的组合动态范围。
在修改的实施例中，步骤2710包括步骤2718但是省略了步骤2716。当第一双曝光时间图像和第二双曝光时间图像在通过方法2700被接收时已经处于同一比例时，方法2700的此实施例可能是有用的。
方法2700可以在融合第一双曝光时间图像和第二双曝光时间图像时分别优化每种颜色。替代性地，方法2700可以以相互依赖的方式优化不同的颜色(例如，红色、绿色和蓝色)，或者仅优化这些颜色之一(例如，绿色)。
图28图示了一种三曝光时间HDR彩色图像传感器2800，其像素以颜色特定的四联体(quadruplet)方式布置，每个四联体包括对三个不同曝光时间敏感的像素。图像传感器2800是图像传感器2230的实施例。图像传感器2800包括相同的4×4像素块2810的阵列。为了清楚说明起见，图28仅描绘了四个4×4像素块2810。应当理解，图像传感器2800可以包括数百、数千或数百万个4×4像素块2810。每个4×4像素块2810包括四个所述颜色特定的四联体，即对第一颜色(例如，绿色)敏感的两个2×2像素组2812、对第二颜色(例如，红色)敏感的一个2×2像素组2814和对第三颜色(例如，蓝色)敏感的一个2×2像素组2816。2×2像素组2812、2814和1816中的每一个包括一个短曝光时间像素2822S、两个中等曝光时间像素2822M和一个长曝光时间像素2822L。
在图28所描绘的特定示例中，图像传感器2800对红色、绿色和蓝色特别敏感。在此示例中，每个2×2像素组2812对绿光敏感，并且包括一个标记为“GS”的短曝光时间像素2822S、两个标记为“GM”的中等曝光时间像素2822M和一个标记为“GL”的长曝光时间像素2822L。类似地，每个2×2像素组2814对红光敏感，并且包括一个标记为“RS”的短曝光时间像素2822S、两个标记为“RM”的中等曝光时间像素2822M和一个标记为“RL”的长曝光时间像素2822L；并且每个2×2像素组2816对蓝光敏感，并且包括一个标记为“BS”的短曝光时间像素2822S、两个标记为“BM”的中等曝光时间像素2822M和一个标记为“BL”的长曝光时间像素2822L。
图29图示了一种用于从三曝光时间HDR彩色图像传感器2800生成三曝光时间HDR彩色图像的方法2900。方法2900是方法2400的彩色马赛克实施例的示例。方法2900可以由三曝光时间HDR图像生成器2200来执行。
方法2900的输入是多个4×4像素值块2910。为了清楚说明起见，图29中仅描绘了单个块2910。每个4×4像素值块2910包含图像传感器2800的对应4×4像素块2810的像素值。每个4×4像素值块2910包括两个2×2像素值组2912，所述两个2×2像素值组2912包含图像传感器2800的两个对应的2×2像素组2812的像素值。因此，每个2×2像素值组2912包含从图像传感器2800的对应像素GS、GM和GL获得的一个像素值GS、两个像素值GM和一个像素值GL。每个2×2像素值组2914包含从图像传感器2800的对应像素RS、RM和RL获得的一个像素值RS、两个像素值RM和一个像素值RL。每个2×2像素值组2916包含从图像传感器2800的对应像素BS、BM和BL获得的一个像素值BS、两个像素值BM和一个像素值BL。
方法2900包括步骤2901、2902、2903、2904、2906和2908。步骤2901和2903形成方法2400的步骤2410的实施例。步骤2902和2904形成方法2400的步骤2420的实施例。步骤2906和2908分别是方法2400的步骤2434和2436的实施例。步骤2901、2902、2903和2904可以由双曝光时间HDR图像生成器2210来执行。步骤2906和2908可以由双至三HDR图像生成器2220来执行。
步骤2901从每个4×4像素值块2910提取短曝光时间像素值和中等曝光时间像素值。因此，对于每个像素值块2910，步骤2901获得像素块2910SM，所述像素块2910SM：(a)在两个2×2像素组2912SM的每一个中，包含一个像素值GS和两个像素值GM，(b)在2×2像素组2914SM中，包含一个像素值RS和两个像素值RM，以及(c)在2×2像素组2916SM中，包含一个像素值BS和两个像素值BM。
然后，步骤2903在2×2像素组2912SM、2914SM和2916SM中的每一个内执行HDR组合。步骤2903可以根据方法2500组合短曝光时间像素值和中等曝光时间像素值。步骤2903的输出是2×2HDR像素块2920SM，所述像素块2920SM包含与绿色通道(G)有关的两个双曝光时间HDR像素值2922SM、与红色通道(R)有关的一个双曝光时间HDR像素值2924SM和与蓝色通道(B)有关的一个双曝光时间HDR像素值2926SM。在步骤2903中形成的多个2×2像素块2920SM一起形成双曝光时间HDR图像2280SM的彩色马赛克实施例的示例。与图像传感器2800的分辨率相比，双曝光时间图像2280SM的此示例在竖直和水平维度中的每个维度上具有一半的分辨率。例如，如果图像传感器2800具有4000×3000像素，则在这种情况下，在步骤2903中形成的双曝光时间HDR图像具有2000×1500像素。
在一个实施方式中，步骤2903执行包括步骤2522以及任选的还包括步骤2524和2526的方法2500的彩色马赛克实施例。在此实施方式中，步骤2522可以利用方程14的混合函数f来设定每个4×4像素块2910SM的每个2×2像素组2912SM、2914SM和2916SM内的短曝光时间像素和中等曝光时间像素的相对组合权重。步骤2913可以分别针对每种颜色确定混合函数f，使得对每个2×2像素组2912SM、2914SM和2916SM进行混合函数f的单独确定。替代性地，步骤2913可以针对每个4×4像素块2910SM对预定义的颜色(例如，基于两个2×2像素组2912SM中的像素值的绿色)进行一次混合函数f的确定，并且然后将混合函数f的所述值应用于所述4×4像素块2910SM内的所有2×2像素组2912SM、2914SM和2916SM。步骤2903可以利用方法2000来确定混合函数f的值。
步骤2902和2904分别类似于步骤2901和2903，除了其涉及中等曝光时间像素值和长曝光时间像素值的组合之外。步骤2902从每个4×4像素值块2910提取中等曝光时间像素值和长曝光时间像素值。因此，对于每个像素值块2910，步骤2902获得像素值块2910ML，所述像素值块2910ML：(a)在两个2×2像素组2912ML的每一个中，包含一个像素值GL和两个像素值GM，(b)在2×2像素组2914ML中，包含一个像素值RL和两个像素值RM，以及(c)在2×2像素组2916ML中，包含一个像素值BL和两个像素值BM。
然后，步骤2904以类似于以上针对2903所讨论的方式在2×2像素组2912ML、2914ML和2916ML中的每一个内执行HDR组合。步骤2904的输出是2×2HDR像素块2920ML，所述像素块2920ML包含与绿色通道(G)有关的两个双曝光时间HDR像素值2922ML、与红色通道(R)有关的一个双曝光时间HDR像素值2924ML和与蓝色通道(B)有关的一个双曝光时间HDR像素值2926ML。在步骤2904中形成的多个2×2像素块2920ML一起形成双曝光时间HDR图像2280ML的彩色马赛克实施例的示例。
在某些实施例中，步骤2903和2904中的每个步骤都应用去噪。在一个这种实施例中，步骤2903应用比步骤2904更积极的去噪，因为在随后的步骤2906中，2×2像素块2920SM中的残留噪声将相对于2×2像素块2920ML中的残留噪声按比例放大。步骤2903还可以对短曝光时间像素值应用比对中等曝光时间像素值更积极的去噪，因为步骤2903相对于中等曝光时间像素值中的残留噪声放大了短曝光时间像素值中的残留噪声。出于类似的原因，步骤2904可以对中等曝光时间像素值应用比长曝光时间像素值更积极的去噪。
步骤2906将对应的2×2像素块对2920SM和2920ML组合，以实现分别针对每种颜色的三曝光时间HDR像素值。更具体地，步骤2906将每个2×2像素块2920SM的彩色马赛克与对应的2×2像素块2920ML的彩色马赛克组合，以生成中间2×2像素块2930。每个2×2像素块2930包括与绿色通道(G)有关的两个三曝光时间HDR像素值2932SML、与红色通道(R)有关的一个三曝光时间HDR像素值2934SML和与蓝色通道(B)有关的一个三曝光时间HDR像素值2936SML。步骤2906例如根据方法2600或2700，从对应的同位双曝光时间HDR像素值对2922SM和2922ML形成每个三曝光时间HDR像素值2932SML。步骤2906例如根据方法2600或2700，从对应的同位双曝光时间HDR像素值对2924SM和2924ML形成每个三曝光时间HDR像素值2934SML。步骤2906例如根据方法2600或2700，从对应的同位双曝光时间HDR像素值对2926SM和2926ML形成每个三曝光时间HDR像素值2936SML。在步骤2906中形成的多个中间2×2像素块2930协作以形成彩色马赛克三曝光时间HDR图像，其中，每个像素具有颜色特定的信息。
步骤2908对每个中间2×2像素块2930去马赛克，以形成相应的全彩色三曝光时间HDR 2940。步骤2908可以使用本领域已知的去马赛克方法。多个三曝光时间HDR 2940协作以形成三曝光时间HDR彩色图像2290的实施例。
图30图示了一种用于从三曝光时间单拍摄HDR彩色图像传感器2230生成三曝光时间HDR彩色图像2290的系统3000。系统3000可以由计算机实施，并且被配置成执行方法2400。系统3000包括处理器3010、非暂态存储器3020和接口3090。处理器3010和存储器3020(以及在某些实施例中，接口3090)协作以形成三曝光时间HDR图像生成器2200的实施例。系统3000还可以包括三曝光时间单拍摄HDR彩色图像传感器2230，在这种情况下，系统3000是HDR相机2202的实施例。
存储器3020包括机器可读指令3030。指令3030可以在存储器3020的非易失性部分中编码。指令3030包括双曝光时间指令3032和双至三HDR指令3040。在一个实施例中，存储器3020还包括动态数据存储装置3080，所述动态数据存储装置被配置成存储经由接口3090接收的数据和/或当指令3030在由处理器3010执行时生成的数据。在另一个实施例中，系统3000不包括存储器3020，而是代替地被配置成与例如由第三方提供的外部存储器协作。存储器3020还可以包括参数存储装置3070。
在由处理器3010执行时，双曝光时间指令3032从图像传感器2230或从动态数据存储装置3080获得像素值2270，并执行(a)方法2400的步骤2410以生成双曝光时间HDR图像2280SM和/或(b)方法2400的步骤2420以生成双曝光时间HDR图像2280ML。双曝光时间指令3032可以命令处理器3010将双曝光时间HDR图像2280SM和/或2280ML存储到动态数据存储装置3080。
在实施例中，双曝光时间指令3032被配置成根据方法2500执行步骤2410，并且还根据方法2500的对应方法(以上参考图25所讨论的)执行步骤2420。在此实施例中，双曝光时间指令3032可以包括视差评估指令3034、饱和度评估指令3036和混合函数评估指令3038中的一个或多个。在由处理器3010执行时，视差评估指令3034执行方法2500的步骤2520。视差评估指令3034可以被配置成调用饱和度评估指令3036来执行方法2500的步骤2524和2526。饱和度评估指令3036可以被配置成命令处理器3010从参数存储装置3070取得低于饱和度标准3052。低于饱和度标准3052是低于饱和度标准952的示例。视差评估指令3034还可以被配置成调用混合函数评估指令3038来执行方法2500的步骤2524。在一个实施方式中，混合函数评估指令3038被配置成执行方法2000。在此实施方式中，混合函数评估指令3038可以命令处理器3010从参数存储装置3070访问混合函数查找表3054。混合函数评估指令3038可以命令处理器3010将混合函数值3082存储到动态数据存储装置3080，并且在需要时从动态数据存储装置3080取得混合函数值3082。
在由处理器3010执行时，双至三HDR指令3040从动态数据存储装置3080获得双曝光时间HDR图像2280SM和2280ML，并执行方法2400的步骤2430以生成三曝光时间HDR彩色图像2290。双至三HDR指令3040可以命令处理器3010将三曝光时间HDR彩色图像2290存储到动态数据存储装置3080，或者经由接口3090输出三曝光时间HDR彩色图像2290。在一个实施例中，双至三HDR指令3040包括基于视差的双至三指令3042，所述基于视差的双至三指令3042在由处理器3010执行时，执行方法2600。在另一个实施例中，双至三HDR指令3040包括基于融合的双至三指令3044，所述基于融合的双至三指令3044在由处理器3010执行时，执行方法2700。
在不脱离本文范围的情况下，机器可读指令3030可以作为被配置成在第三方计算机上实施的独立的软件产品提供，所述第三方计算机具有(a)用于存储机器可读指令3030的非暂态存储器以及(b)用于执行机器可读指令3030的处理器。
在不脱离本文范围的情况下，可以对上述设备、系统和方法进行改变。因此，应当注意，包含在以上说明书中并且在附图中示出的内容应当被解释为说明性的而不是限制性的意义。所附的权利要求旨在涵盖本文所描述的一般特征和特定特征，以及本设备、系统和方法的范围的所有陈述在语言上可以被解释成落入其中。

Claims (54)

1.一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的方法，所述方法包括：
获得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值，所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置，对于三种不同颜色中的每一种颜色，所述局部区域的所述传感器像素包括对相应的颜色敏感的多个短曝光时间像素和多个长曝光时间像素；
根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数；以及
对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定所述图像像素的输出值，所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献根据所述运动参数被加权。
2.如权利要求1所述的方法，还包括：针对要生成的所述运动补偿HDR彩色图像的每个图像像素：
执行所述获得的步骤；以及
针对每种颜色：
评估运动补偿是否合适，以及
生成与所述颜色相关联的所述图像像素的输出值，所述生成包括：
(i)当运动补偿合适时，执行确定所述运动参数和去马赛克的步骤，以利用运动补偿并针对所述颜色确定所述图像像素的所述输出值，以及
(ii)当运动补偿不合适时，执行非运动补偿去马赛克，以针对所述颜色确定所述图像像素的所述输出值。
3.如权利要求2所述的方法，评估运动补偿是否合适的步骤包括仅在以下情况确定所述运动补偿是合适的：
(a)所述局部区域的并且与所述颜色相关联的所述长曝光时间像素的所述像素值满足低于饱和度标准；
(b)如果所述颜色不同于所述第一颜色，所述局部区域的并且与所述第一颜色相关联的所述长曝光时间像素的所述像素值满足所述低于饱和度标准；或者
(c)如果所述局部区域的并且与所述第一颜色相关联的所述长曝光时间像素的所述像素值满足所述低于饱和度标准，所述局部区域的并且与所述第一颜色相关联的所述短曝光时间像素与所述长曝光时间像素之间的视差超过与传感器噪声相关像素值变化相关联的视差阈值。
4.如权利要求3所述的方法，所述评估运动补偿是否合适的步骤还包括：
将与所述第一颜色相关联的所述短曝光时间像素的所述像素值与根据第一模型的相应的第一拟合权重相乘，以确定用于所述图像像素的短曝光时间第一颜色值；
将与所述第一颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素的所述像素值与根据第二模型的相应的第二拟合权重相乘，以确定用于所述图像像素的长曝光时间第一颜色值；以及
以缩放到公共比例的所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的差值的绝对值计算所述视差。
5.如权利要求3所述的方法，所述评估运动补偿是否合适的步骤还包括：
基于用于所述双曝光时间单拍摄HDR彩色图像传感器的噪声模型估计与所述图像像素和所述第一颜色相关联的像素值变化的期望值；以及
根据所述期望值计算所述视差阈值。
6.如权利要求2所述的方法，所述获得的步骤包括：以与所述双曝光时间单拍摄HDR彩色图像传感器相比的下采样分辨率选择所述局部区域以产生所述运动补偿HDR彩色图像。
7.如权利要求2所述的方法，所述获得的步骤包括：以与所述双曝光时间单拍摄HDR彩色图像传感器相比相同的分辨率选择所述局部区域以产生所述运动补偿HDR彩色图像。
8.如权利要求1所述的方法，所述运动参数指示所述局部区域中的运动程度。
9.如权利要求1所述的方法，确定所述运动参数的步骤包括：
将与所述第一颜色相关联的所述短曝光时间像素的所述像素值与根据第一模型的相应的第一拟合权重相乘，以确定用于所述图像像素的短曝光时间第一颜色值；
将与所述第一颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素的所述像素值与根据第二模型的相应的第二拟合权重相乘，以确定用于所述图像像素的长曝光时间第一颜色值；以及
计算所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的视差以确定所述运动参数。
10.如权利要求9所述的方法，其中，所述拟合权重是像素值的函数，所述函数随所述像素值的信号质量而增大。
11.如权利要求9所述的方法，所述第一模型和所述第二模型中的每一个模型是传感器像素位置的二维多项式函数，其中，所述二维多项式函数的输出值分别是所述第一拟合权重或所述第二拟合权重。
12.如权利要求11所述的方法，所述二维多项式函数是一阶多项式、二阶多项式或三阶多项式。
13.如权利要求1所述的方法，所述去马赛克的步骤包括：
基于与所述颜色相关联的所述短曝光时间像素确定用于所述图像像素的短曝光时间值；
基于与所述颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素确定用于所述图像像素的长曝光时间值；以及
使用所述运动参数作为权重，以所述短曝光时间值和所述长曝光时间值的加权平均值计算所述输出值。
14.如权利要求13所述的方法，包括：
在确定所述运动参数的步骤中：
(a)基于所述第一颜色的所述短曝光时间像素确定用于所述图像像素的短曝光时间第一颜色值，
(b)基于所述长曝光时间像素确定用于所述图像像素的长曝光时间第一颜色值，以及
(c)计算所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的视差以确定所述运动参数；以及
在所述去马赛克的步骤中，针对所述第一颜色，将用于所述第一颜色的所述短曝光时间值设定为所述短曝光时间第一颜色值，并且将用于所述第一颜色的所述长曝光时间值设定为所述长曝光时间第一颜色值。
15.如权利要求13所述的方法，包括：
在确定所述短曝光时间值的步骤中，将与所述颜色相关联的所述短曝光时间像素的所述像素值与根据第一模型的相应的第一拟合权重相乘以确定所述短曝光时间值；以及
在确定所述长曝光时间值的步骤中，将与所述颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素的所述像素值与根据第二模型的相应的第二拟合权重相乘以确定所述长曝光时间值。
16.如权利要求15所述的方法，所述第一模型和所述第二模型中的每一个模型是传感器像素位置的二维多项式函数。
17.如权利要求16所述的方法，
对于所述第一颜色，所述二维多项式函数是一阶多项式、二阶多项式或三阶多项式；以及
对于不同于所述第一颜色的每种颜色，所述二维多项式函数的阶数低于用于所述第一颜色的所述二维多项式的阶数。
18.如权利要求1所述的方法，确定所述运动参数的步骤包括：使用与所述双曝光时间单拍摄HDR彩色图像传感器的最大数量的传感器像素相关联的颜色作为所述第一颜色。
19.如权利要求18所述的方法，所述三种颜色是红色、绿色和蓝色，所述第一颜色是绿色。
20.如权利要求18所述的方法，所述第一颜色是绿色，所述三种颜色中的其余两种颜色是红色、绿色和蓝色的不同相应线性组合。
21.如权利要求18所述的方法，所述双曝光时间单拍摄HDR彩色图像传感器是之字形HDR图像传感器。
22.如权利要求1所述的方法，还包括，在确定所述运动参数的步骤之前，基于对所述局部区域中的每一种颜色的光亮度的评估来选择所述第一颜色。
23.如权利要求1所述的方法，还包括：使用所述双曝光时间单拍摄HDR彩色图像传感器的由至少5×5个相邻传感器像素所限定的正方形部分作为所述局部区域。
24.如权利要求23所述的方法，还包括：使用之字形HDR图像传感器作为所述双曝光时间单拍摄HDR彩色图像传感器。
25.如权利要求1所述的方法，还包括，针对所述运动补偿HDR彩色图像的每个图像像素：
执行所述获得的步骤；以及
生成针对所述三种不同颜色中的每一种颜色的输出值，所述生成包括：
(i)对于所述第一颜色：
(a)当与所述第一颜色相关联的所述长曝光时间像素满足低于饱和度标准时：
(1)计算所述局部区域的并且与所述第一颜色相关联的短曝光时间像素与长曝光时间像素之间的视差，
(2)根据与所述图像像素和所述第一颜色相关联的像素值变化的期望值计算视差阈值，
(3)当所述视差超过所述视差阈值时，针对所述第一颜色执行确定所述运动参数的步骤和所述去马赛克的步骤，以利用运动补偿确定与所述第一颜色相关联的所述图像像素的所述输出值，以及
(4)当所述视差不超过所述视差阈值时，针对所述第一颜色执行非运动补偿HDR去马赛克，以根据与所述第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的组合确定与所述颜色相关联的所述图像像素的所述输出值，以及
(b)当与所述第一颜色相关联的所述长曝光时间像素不满足所述低于饱和度标准时，针对所述第一颜色执行非运动补偿去马赛克，以仅根据与所述第一颜色相关联的所述短曝光时间像素确定与所述第一颜色相关联的所述图像像素的所述输出值，以及
(ii)对于不同于所述第一颜色的每种颜色：
(a)当与所述颜色和所述第一颜色相关联的所述长曝光时间像素满足所述低于饱和度标准并且所述视差超过所述视差阈值时，针对所述颜色执行所述去马赛克的步骤，以利用运动补偿确定与所述颜色相关联的所述图像像素的所述输出值，
(b)当与所述颜色和所述第一颜色相关联的所述长曝光时间像素满足所述低于饱和度标准并且所述视差不超过所述视差阈值时，针对所述颜色执行非运动补偿去马赛克，以根据与所述颜色相关联的所述短曝光时间像素和所述长曝光时间像素的组合来确定与所述颜色相关联的所述图像像素的所述输出值，以及
(c)当与所述颜色相关联的所述长曝光时间像素不满足所述低于饱和度标准、或者与所述第一颜色相关联的所述长曝光时间像素不满足所述低于饱和度标准时，针对所述颜色执行非运动补偿去马赛克，以仅根据与所述颜色相关联的所述短曝光时间像素确定与所述颜色相关联的所述图像像素的所述输出值。
26.一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的产品，所述产品包括在非暂态存储器中编码的机器可读指令，所述指令包括：
数据选择指令，所述数据选择指令当由处理器执行时取得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值，所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置，对于三种不同颜色中的每一种颜色，所述局部区域的所述传感器像素包括对相应的颜色敏感的多个短曝光时间像素和多个长曝光时间像素；
运动指令，所述运动指令当由所述处理器执行时根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数；以及
去马赛克指令，所述去马赛克指令当由处理器执行时对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定所述图像像素的输出值，所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献根据所述运动参数被加权。
27.如权利要求26所述的产品，还包括：
模型，所述模型用于所述局部区域内的像素值变化；
拟合权重函数，所述拟合权重函数随所述像素值的信号质量而增加；
以及在所述运动指令中：
拟合指令，所述拟合指令在所述处理器执行所述运动指令时被调用，以使用所述拟合权重将所述拟合模型拟合到所述局部区域的与所述第一颜色相关联的像素值，从而针对所述图像像素确定短曝光时间第一颜色值和长曝光时间第一颜色值，以及
视差指令，所述视差指令在所述处理器执行所述运动指令时被调用，以计算所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的视差，从而确定所述运动参数。
28.如权利要求27所述的产品，所述去马赛克指令被配置成当由所述处理器执行时：
对于不同于所述第一颜色的每种颜色，基于与所述颜色相关联的所述短曝光时间像素确定用于所述图像像素的短曝光时间值，并且基于与所述颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素确定用于所述图像像素的长曝光时间值；
对于所述第一颜色，将用于所述第一颜色的所述短曝光时间值设定为所述短曝光时间第一颜色值，并且将用于所述第一颜色的所述长曝光时间值设定为所述长曝光时间第一颜色值；以及
对于每种颜色，使用所述运动参数作为权重，以所述短曝光时间值和所述长曝光时间值的加权平均值计算所述输出值。
29.如权利要求26所述的产品，还包括：
参数存储装置，所述参数存储装置被编码在非暂态存储器中，所述参数存储装置包括：
区域大小，以及
步长大小；以及
在所述指令中：
采样指令，所述采样指令当由所述处理器执行时命令由所述处理器对所述运动补偿HDR彩色图像的每个图像像素执行所述数据选择指令，其中(i)所述局部区域的大小根据所述区域大小设定，并且(ii)与相邻图像像素相对应的局部区域之间的中心到中心距离根据所述步长大小设定，以及
主指令，所述主指令当由所述处理器执行时针对根据所述采样指令所处理的每个图像像素生成用于所述颜色中的每种颜色的输出值，所述主指令被配置成对与运动相关联的图像像素和满足低于饱和度标准的长曝光时间像素应用所述运动指令和去马赛克指令。
30.如权利要求26所述的产品，所述指令还包括：
非运动补偿去马赛克指令，所述非运动补偿去马赛克指令当由所述处理器执行时执行非运动补偿去马赛克，以确定用于所述运动补偿HDR彩色图像的图像像素和相关颜色的输出值；以及
主指令，所述主指令当由所述处理器执行时并且对于所述运动补偿HDR彩色图像的每个图像像素：
命令由所述处理器执行所述数据选择指令；
对于与所述图像像素相关联的每种颜色，评估运动补偿是否合适，
当运动补偿合适时，命令由所述处理器执行所述运动指令和所述去马赛克指令，以利用运动补偿并针对所述颜色确定所述图像像素的所述输出值，以及
当运动补偿不合适时，命令由所述处理器执行所述非运动补偿去马赛克指令，以针对所述颜色确定所述图像像素的所述输出值。
31.如权利要求30所述的产品，还包括：
参数存储装置，所述参数存储装置被编码在非暂态存储器中，所述参数存储装置包括：
低于饱和度标准，所述低于饱和度标准限定针对长曝光时间像素的像素值的接受上限，以及
视差阈值，所述视差阈值与传感器噪声相关像素值变化相关联，并且限定运动的最小阈值；以及
在所述主指令中，
评估指令，所述评估指令当由所述处理器执行时针对每个图像像素和颜色相对于所述低于饱和度标准和所述视差阈值评估所述局部区域的像素值，以确定运动补偿是否合适。
32.一种运动补偿高动态范围(HDR)相机，包括：
如权利要求26所述的产品；以及
双曝光时间单拍摄HDR彩色图像传感器，所述双曝光时间单拍摄HDR彩色图像传感器用于生成由所述产品处理的像素值。
33.如权利要求32所述的运动补偿HDR相机，所述双曝光时间单拍摄HDR彩色图像传感器是之字形HDR图像传感器。
34.一种蜂窝电话，包括如权利要求32所述的运动补偿HDR相机。
35.一种用于从具有多个短曝光时间像素、多个中等曝光时间像素和多个长曝光时间像素的三曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成HDR彩色图像的方法，所述方法包括：
根据(a)来自所述短曝光时间像素的短曝光时间像素值和(b)来自所述中等曝光时间像素的中等曝光时间像素值的第一组合生成第一双曝光时间HDR图像；
根据(a)来自所述中等曝光时间像素的中等曝光时间像素值和(b)来自所述长曝光时间像素的长曝光时间像素值的第二组合生成第二双曝光时间HDR图像；以及
根据所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像生成三曝光时间HDR彩色图像。
36.如权利要求35所述的方法，
生成所述第一双曝光时间HDR图像的步骤包括：至少部分地基于所述短曝光时间像素值与所述中等曝光时间像素值之间的视差程度和所述中等曝光时间像素值的饱和度，将所述短曝光时间像素值和所述中等曝光时间像素值对所述第一组合的相对贡献进行局部加权；以及
生成所述第二双曝光时间HDR图像的步骤包括：至少部分地基于所述中等曝光时间像素值与所述长曝光时间像素值之间的视差程度和所述长曝光时间像素值的饱和度，将所述中等曝光时间像素值和所述长曝光时间像素值对所述第二组合的相对贡献进行局部加权。
37.如权利要求36所述的方法，生成所述三曝光时间HDR彩色图像的步骤包括：至少部分地基于以下各项中的至少一项将所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像对所述三曝光时间HDR彩色图像的相对贡献进行局部加权：(i)所述短曝光时间像素值与所述中等曝光时间像素值之间的视差程度和(ii)所述中等曝光时间像素值与所述长曝光时间像素值之间的视差程度。
38.如权利要求36所述的方法，生成所述三曝光时间HDR彩色图像的步骤包括：根据所述三曝光时间HDR彩色图像的一个或多个质量度量的局部优化来融合所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像。
39.如权利要求38所述的方法，局部融合的步骤包括：仅根据所述局部优化设定所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像对所述三曝光时间HDR彩色图像的相对贡献，而不考虑以下各项中的任一项：(i)所述短曝光时间像素值与所述中等曝光时间像素值之间的视差程度和(ii)所述中等曝光时间像素值与所述长曝光时间像素值之间的视差程度。
40.如权利要求38所述的方法，局部融合的步骤包括：
缩放所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像中的至少一个，以使所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像处于公共比例；以及
以动态范围涵盖所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像中的每一个图像的动态范围来生成所述三曝光时间HDR彩色图像。
41.如权利要求38所述的方法，所述一个或多个质量度量包括对比度、饱和度和良好曝光度中的至少一个。
42.如权利要求36所述的方法，还包括：
在生成所述第一双曝光时间HDR图像的步骤中并且在包括于其中的将相对贡献进行局部加权的步骤之前，对所述短曝光时间像素值和所述中等曝光时间像素值进行去噪；以及
在生成所述第二双曝光时间HDR图像的步骤中并且在包括于其中的将相对贡献进行局部加权的步骤之前，对所述中等曝光时间像素值和所述长曝光时间像素值进行去噪。
43.如权利要求35所述的方法，
还包括：将所述中等曝光时间像素值和所述长曝光时间像素值与低于饱和度标准进行比较；
如果局部区域被表征为一个或多个中等曝光时间像素值未满足所述低于饱和度标准，则：
(i)在生成所述第一双曝光时间HDR图像的步骤中，仅根据所述短曝光时间像素值生成用于所述局部区域的所述第一双曝光时间HDR图像，以及
(ii)在生成所述三曝光时间HDR彩色图像的步骤中，仅根据所述第一双曝光时间HDR图像生成用于所述局部区域的所述三曝光时间HDR彩色图像；以及
如果局部区域被表征为一个或多个长曝光时间像素值未满足所述低于饱和度标准，并且所述局部区域的每个中等曝光时间像素值满足所述低于饱和度标准，则：
(i)在生成所述第二双曝光时间HDR图像的步骤中，仅根据所述中等曝光时间像素值生成用于所述局部区域的所述第二双曝光时间HDR图像。
44.如权利要求35所述的方法，所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像中的每一个由与至少三种不同颜色相关联的双HDR像素值的马赛克构成，生成所述三曝光时间HDR彩色图像的步骤包括：
根据所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像产生中间三曝光时间HDR图像，所述中间三曝光时间HDR图像由与所述至少三种不同颜色相关联的三HDR像素值的马赛克构成；以及
对所述中间三曝光时间HDR图像去马赛克以生成所述三曝光时间HDR彩色图像。
45.如权利要求35所述的方法，
所述三曝光时间单拍摄HDR彩色图像传感器包括相同的4×4像素块的阵列，每个4×4像素块由以下各项构成：对第一颜色的光敏感的一个第一颜色2×2像素组、对第二颜色的光敏感的两个第二绿色2×2像素组和对第三颜色的光敏感的一个第三颜色2×2像素组，所述2×2像素组中的每一个包括所述短曝光时间像素之一、所述中等曝光时间像素中的两个和所述长曝光时间像素之一；
所述方法包括：
执行生成所述第一双曝光时间HDR图像的步骤，使得(i)所述2×2像素组中的每一个由所述第一双曝光时间HDR图像的正好一个像素值表示，并且(ii)所述第一双曝光时间HDR图像由2×2像素块构成，所述2×2像素块具有与所述第一颜色相关联的一个像素值、与所述第二颜色相关联的两个像素值以及与所述第三颜色相关联的一个像素值，以及
至少在所述中等曝光时间像素满足低于饱和度标准的情况下，执行生成所述第二双曝光时间HDR图像的步骤，使得(i)所述2×2像素组中的每一个由所述第二双曝光时间HDR图像的正好一个像素值表示，并且(ii)所述第二双曝光时间HDR图像由2×2像素块构成，所述2×2像素块具有与所述第一颜色相关联的一个像素值、与所述第二颜色相关联的两个像素值以及与所述第三颜色相关联的一个像素值。
46.如权利要求45所述的方法，生成所述三曝光时间HDR彩色图像的步骤包括：
缩放所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像中的至少一个，以使所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像处于公共比例；
处理所述第一双曝光时间HDR图像和所述第二双曝光时间HDR图像以生成三曝光时间HDR图像，所述三曝光时间HDR图像包括用于所述三曝光时间单拍摄HDR彩色图像传感器的所述4×4像素块中的每一个4×4像素块的2×2像素块，所述三曝光时间HDR图像的每个2×2像素块由以下各项构成：与所述第一颜色相关联的一个像素值、与所述第二颜色相关联的两个像素值以及与所述第三颜色相关联的一个像素值；以及
对所述三曝光时间HDR图像去马赛克以生成所述三曝光时间HDR彩色图像，所述三曝光时间单拍摄HDR彩色图像传感器的所述4×4像素块中的每一个4×4像素块由所述三曝光时间HDR彩色图像的单个全彩色HDR像素值表示。
47.如权利要求35所述的方法，
生成所述第一双曝光时间HDR图像的步骤包括，至少在所述中等曝光时间像素满足低于饱和度标准的情况下，针对所述第一双曝光时间HDR图像的每个输出像素值Vout，根据方程Vout＝(1-f)VM+fVS以短曝光时间像素值VS和中等曝光时间像素值VM的线性组合计算所述输出像素值Vout，其中，f是混合函数，其至少部分地取决于所述短曝光时间像素值VS与所述中等曝光时间像素值VM之间的高于噪声视差，所述高于噪声视差是所述短曝光时间像素值VS、所述中等曝光时间像素值VM、以及所述输出像素值Vout的噪声水平的函数，所述噪声水平是所述混合函数f的函数。
48.如权利要求47所述的方法，所述混合函数f包括当所述短曝光时间像素值VS接近零时，使所述混合函数f逼近零的项。
49.如权利要求47所述的方法，计算所述输出像素值Vout的步骤包括：根据一维查找表推导所述混合函数f的值，所述一维查找表列出了仅针对第二参数的单个值作为第一参数的函数的所述混合函数f，所述第一参数表示所述短曝光时间像素值VS和所述中等曝光时间像素值VM中的一个，所述第二参数表示所述短曝光时间像素值VS和所述中等曝光时间像素值VM中的另一个。
50.如权利要求49所述的方法，所述混合函数f在所述第一参数和所述第二参数相等的情况下表现出下降，所述推导的步骤包括：
将所述第一参数移位所述第二参数的所述单个值与实际值之间的差值，其中，所述差值被缩放到与所述第一参数相关联的曝光时间；
在所述移位的步骤之后并且根据所述第二参数的所述单个值与实际值之间的比率，还缩放经移位的第一参数；以及
在所述缩放的步骤之后，在所述查找表的对应于经移位和经缩放的第一参数的索引处读取所述混合函数f的值。
51.一种用于从具有多个短曝光时间像素、多个中等曝光时间像素和多个长曝光时间像素的三曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成HDR彩色图像的产品，所述产品包括在非暂态存储器中编码的机器可读指令，所述指令包括：
双曝光时间指令，所述双曝光时间指令当由处理器执行时根据以下各项中任一项生成双曝光时间HDR图像：(a)来自所述短曝光时间像素的短曝光时间像素值和来自所述中等曝光时间像素的中等曝光时间像素值的第一组合，或者(b)来自所述中等曝光时间像素的中等曝光时间像素值和来自所述长曝光时间像素的长曝光时间像素值的第二组合；以及
双至三HDR指令，所述双至三HDR指令当由所述处理器执行时，根据以下各项的组合生成三曝光时间HDR彩色图像：(a)所述双曝光时间HDR图像的基于所述第一组合的第一实例和(b)所述双曝光时间HDR图像的基于所述第二组合的第二实例。
52.一种高动态范围(HDR)相机，包括：
如权利要求51所述的产品；以及
三曝光时间单拍摄HDR彩色图像传感器。
53.如权利要求52所述的HDR相机，所述三曝光时间单拍摄HDR彩色图像传感器包括相同的4×4像素块的阵列，每个4×4像素块由以下各项构成：对第一颜色的光敏感的一个第一颜色2×2像素组、对第二颜色的光敏感的两个第二绿色2×2像素组和对第三颜色的光敏感的一个第三颜色2×2像素组，所述2×2像素组中的每一个包括所述短曝光时间像素之一、所述中等曝光时间像素中的两个和所述长曝光时间像素之一。
54.一种蜂窝电话，包括如权利要求52所述的HDR相机。
CN201980036715.3A 2018-06-07 2019-06-04 生成hdr彩色图像的方法、hdr相机及蜂窝电话 Active CN112219391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111019859.3A CN113691738B (zh) 2018-06-07 2019-06-04 从单拍摄hdr彩色图像传感器生成hdr图像

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862681789P 2018-06-07 2018-06-07
EP18176403.6 2018-06-07
US62/681,789 2018-06-07
EP18176403 2018-06-07
US201962837361P 2019-04-23 2019-04-23
US62/837,361 2019-04-23
PCT/US2019/035454 WO2019236626A2 (en) 2018-06-07 2019-06-04 Hdr image generation from single-shot hdr color image sensors

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111019859.3A Division CN113691738B (zh) 2018-06-07 2019-06-04 从单拍摄hdr彩色图像传感器生成hdr图像

Publications (2)

Publication Number Publication Date
CN112219391A true CN112219391A (zh) 2021-01-12
CN112219391B CN112219391B (zh) 2022-05-10

Family

ID=67403001

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980036715.3A Active CN112219391B (zh) 2018-06-07 2019-06-04 生成hdr彩色图像的方法、hdr相机及蜂窝电话
CN202111019859.3A Active CN113691738B (zh) 2018-06-07 2019-06-04 从单拍摄hdr彩色图像传感器生成hdr图像

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111019859.3A Active CN113691738B (zh) 2018-06-07 2019-06-04 从单拍摄hdr彩色图像传感器生成hdr图像

Country Status (6)

Country Link
US (1) US11922639B2 (zh)
EP (2) EP4274250A3 (zh)
JP (1) JP7130777B2 (zh)
KR (1) KR102485885B1 (zh)
CN (2) CN112219391B (zh)
WO (1) WO2019236626A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367458A (zh) * 2020-09-18 2021-02-12 格科微电子（上海）有限公司 Hdr图像的生成方法及装置、存储介质、图像处理设备
WO2022206353A1 (zh) * 2021-03-27 2022-10-06 影石创新科技股份有限公司 图像处理方法、拍摄装置、图像处理装置及可读存储介质
WO2023050029A1 (zh) * 2021-09-28 2023-04-06 迪克创新科技有限公司 曝光控制电路及相关图像传感器及电子装置
CN116055847A (zh) * 2023-03-28 2023-05-02 荣耀终端有限公司 图像增强处理方法和电子设备
CN117135471A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 一种图像处理方法和电子设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
US11282168B2 (en) * 2017-10-23 2022-03-22 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
JP6959277B2 (ja) * 2019-02-27 2021-11-02 ファナック株式会社 ３次元撮影装置および３次元撮影条件調整方法
JP7253634B2 (ja) 2019-04-11 2023-04-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 結合前ノイズ除去による高ダイナミックレンジ画像生成
KR20220085542A (ko) * 2020-12-15 2022-06-22 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20220101452A (ko) * 2021-01-11 2022-07-19 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
US11836889B2 (en) 2021-02-10 2023-12-05 Apple Inc. Dual-mode image fusion architecture
US11373281B1 (en) * 2021-02-23 2022-06-28 Qualcomm Incorporated Techniques for anchor frame switching
KR20220132128A (ko) * 2021-03-23 2022-09-30 에스케이하이닉스 주식회사 이미지 센싱 장치
JP2022184134A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 撮像装置およびその制御方法
US11843868B2 (en) 2021-07-13 2023-12-12 SK Hynix Inc. Electronic apparatus based on multiple exposure image and operating method thereof
CN113676635B (zh) * 2021-08-16 2023-05-05 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465966A (zh) * 2007-12-18 2009-06-24 索尼株式会社 成像设备、成像处理方法及成像控制程序
CN101764959A (zh) * 2008-12-25 2010-06-30 昆山锐芯微电子有限公司 图像拾取系统及图像处理方法
CN101867727A (zh) * 2009-04-16 2010-10-20 华为技术有限公司 一种视频处理方法及装置
US20120044381A1 (en) * 2010-08-23 2012-02-23 Red.Com, Inc. High dynamic range video
CN202535464U (zh) * 2012-02-27 2012-11-14 徐辰 成像装置
CN103141081A (zh) * 2010-09-01 2013-06-05 高通股份有限公司 高动态范围图像传感器
CN103190145A (zh) * 2010-11-12 2013-07-03 索尼公司 图像处理装置、成像装置、图像处理方法和程序
US20140152694A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image
CN103856720A (zh) * 2012-11-30 2014-06-11 三星泰科威株式会社 图像处理设备和方法
CN103945145A (zh) * 2013-01-17 2014-07-23 三星泰科威株式会社 处理图像的设备和方法
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及系统
US20150062368A1 (en) * 2013-08-27 2015-03-05 Aptina Imaging Corporation Imaging systems and methods for generating binned high-dynamic-range images
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
US20170339325A1 (en) * 2016-05-18 2017-11-23 Texas Instruments Incorporated Image data processing for multi-exposure wide dynamic range image data

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056573A (ja) 2002-07-22 2004-02-19 Sony Corp 映像信号処理方法、処理回路、及び撮像装置の駆動方法
US7412107B2 (en) 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8073246B2 (en) 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
US8368771B2 (en) 2009-12-21 2013-02-05 Olympus Imaging Corp. Generating a synthesized image from a plurality of images
DE102010028746B4 (de) * 2010-05-07 2012-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und Verfahren zum Aufnehmen eines Bildes
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
GB2488769A (en) 2011-03-07 2012-09-12 Sony Corp Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US9055178B2 (en) * 2011-08-30 2015-06-09 University Of Dayton Single-shot high dynamic range imaging
JP2013066142A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
CN202856877U (zh) * 2012-04-18 2013-04-03 格科微电子（上海）有限公司 图像传感器
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
RU2580093C2 (ru) * 2012-08-08 2016-04-10 Долби Лабораторис Лайсэнзин Корпорейшн Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)
US9160936B1 (en) * 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US20140063300A1 (en) 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
JP6121234B2 (ja) * 2013-05-10 2017-04-26 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP6173027B2 (ja) * 2013-05-10 2017-08-02 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
US9413992B2 (en) * 2013-05-20 2016-08-09 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
US9578223B2 (en) 2013-08-21 2017-02-21 Qualcomm Incorporated System and method for capturing images with multiple image sensing elements
JP6227935B2 (ja) * 2013-08-23 2017-11-08 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP6184290B2 (ja) 2013-10-21 2017-08-23 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP6408372B2 (ja) 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP6434963B2 (ja) * 2014-04-22 2018-12-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
US20160037043A1 (en) * 2014-08-01 2016-02-04 Omnivision Technologies, Inc. High dynamic range (hdr) images free of motion artifacts
US9832388B2 (en) 2014-08-04 2017-11-28 Nvidia Corporation Deinterleaving interleaved high dynamic range image by using YUV interpolation
US9344639B2 (en) 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
EP3007431A1 (en) * 2014-10-10 2016-04-13 Thomson Licensing Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
GB201509384D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Reducing bandwidth for HDR storage
US9813635B2 (en) 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
JP6603557B2 (ja) * 2015-11-25 2019-11-06 ハンファテクウィン株式会社 画像処理装置および画像処理方法
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
CN107395998A (zh) 2017-08-24 2017-11-24 维沃移动通信有限公司 一种图像拍摄方法及移动终端
US11075234B2 (en) * 2018-04-02 2021-07-27 Microsoft Technology Licensing, Llc Multiplexed exposure sensor for HDR imaging

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465966A (zh) * 2007-12-18 2009-06-24 索尼株式会社 成像设备、成像处理方法及成像控制程序
CN101764959A (zh) * 2008-12-25 2010-06-30 昆山锐芯微电子有限公司 图像拾取系统及图像处理方法
CN101867727A (zh) * 2009-04-16 2010-10-20 华为技术有限公司 一种视频处理方法及装置
US20120044381A1 (en) * 2010-08-23 2012-02-23 Red.Com, Inc. High dynamic range video
CN103141081A (zh) * 2010-09-01 2013-06-05 高通股份有限公司 高动态范围图像传感器
CN103190145A (zh) * 2010-11-12 2013-07-03 索尼公司 图像处理装置、成像装置、图像处理方法和程序
CN202535464U (zh) * 2012-02-27 2012-11-14 徐辰 成像装置
CN103856720A (zh) * 2012-11-30 2014-06-11 三星泰科威株式会社 图像处理设备和方法
US20140152694A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image
CN103945145A (zh) * 2013-01-17 2014-07-23 三星泰科威株式会社 处理图像的设备和方法
US20150062368A1 (en) * 2013-08-27 2015-03-05 Aptina Imaging Corporation Imaging systems and methods for generating binned high-dynamic-range images
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
CN103973989A (zh) * 2014-04-15 2014-08-06 北京理工大学 获取高动态图像的方法及系统
US20170339325A1 (en) * 2016-05-18 2017-11-23 Texas Instruments Incorporated Image data processing for multi-exposure wide dynamic range image data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367458A (zh) * 2020-09-18 2021-02-12 格科微电子（上海）有限公司 Hdr图像的生成方法及装置、存储介质、图像处理设备
WO2022206353A1 (zh) * 2021-03-27 2022-10-06 影石创新科技股份有限公司 图像处理方法、拍摄装置、图像处理装置及可读存储介质
WO2023050029A1 (zh) * 2021-09-28 2023-04-06 迪克创新科技有限公司 曝光控制电路及相关图像传感器及电子装置
CN117135471A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 一种图像处理方法和电子设备
CN116055847A (zh) * 2023-03-28 2023-05-02 荣耀终端有限公司 图像增强处理方法和电子设备
CN116055847B (zh) * 2023-03-28 2023-08-11 荣耀终端有限公司 图像增强处理方法和电子设备

Also Published As

Publication number Publication date
EP4274250A3 (en) 2024-01-03
EP3804294A2 (en) 2021-04-14
EP4274250A2 (en) 2023-11-08
EP3804294B1 (en) 2023-08-30
US11922639B2 (en) 2024-03-05
KR102485885B1 (ko) 2023-01-09
WO2019236626A3 (en) 2020-02-06
JP7130777B2 (ja) 2022-09-05
WO2019236626A2 (en) 2019-12-12
JP2021526248A (ja) 2021-09-30
CN112219391B (zh) 2022-05-10
CN113691738A (zh) 2021-11-23
CN113691738B (zh) 2023-04-18
US20210248758A1 (en) 2021-08-12
KR20210006443A (ko) 2021-01-18

Similar Documents

Publication Publication Date Title
CN112219391B (zh) 生成hdr彩色图像的方法、hdr相机及蜂窝电话
US7548689B2 (en) Image processing method
EP2987135B1 (en) Reference image selection for motion ghost filtering
KR101428427B1 (ko) 고 다이나믹 레인지 이미지의 캡처 및 렌더링
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
US8830341B2 (en) Selection of an optimum image in burst mode in a digital camera
JP6020199B2 (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
US8982251B2 (en) Image processing apparatus, image processing method, photographic imaging apparatus, and recording device recording image processing program
US20130308012A1 (en) Image processing apparatus, image processing method, photographic imaging apparatus, and recording device recording image processing program
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
US11941791B2 (en) High-dynamic-range image generation with pre-combination denoising
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP5882702B2 (ja) 撮像装置
CN110996015B (zh) 空间多重曝光
JP6541416B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
Gil Rodríguez et al. High quality video in high dynamic range scenes from interlaced dual-iso footage
Gil Rodríguez et al. Issues with common assumptions about the camera pipeline and their impact in hdr imaging from multiple exposures
JP2023111637A (ja) 画像処理装置及び方法、及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant