CN113632134A - 使用预组合去噪的高动态范围图像生成 - Google Patents

使用预组合去噪的高动态范围图像生成 Download PDF

Info

Publication number
CN113632134A
CN113632134A CN202080025950.3A CN202080025950A CN113632134A CN 113632134 A CN113632134 A CN 113632134A CN 202080025950 A CN202080025950 A CN 202080025950A CN 113632134 A CN113632134 A CN 113632134A
Authority
CN
China
Prior art keywords
exposure time
image
time image
hdr
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080025950.3A
Other languages
English (en)
Other versions
CN113632134B (zh
Inventor
J·S·麦克尔文
W·C·吉什
G·J·沃德
R·阿特金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN113632134A publication Critical patent/CN113632134A/zh
Application granted granted Critical
Publication of CN113632134B publication Critical patent/CN113632134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一种用于生成高动态范围(HDR)图像的方法，所述方法包括：(a)对短曝光时间图像进行去噪，其中，所述去噪包括将第一引导滤波器应用于所述短曝光时间图像，所述引导滤波器利用长曝光时间图像作为其引导，(b)在去噪步骤之后，对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度，以及(c)在缩放步骤之后，将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像。

Description

使用预组合去噪的高动态范围图像生成
相关申请的交叉引用
本申请要求于2019年4月11日提交的美国临时专利申请序列号62/832,617和2019年4月11日提交的欧洲专利申请序列号19168612.0的优先权，所述专利申请中的每一个均通过引用以其全文并入本文。
技术领域
本申请涉及高动态范围成像。
背景技术
大多数手持相机设备(如智能电话)利用位深度为8位或可能10位的图像传感器。对于许多场景，这样的位深度不足以同时捕获场景中的最亮区和最暗区。例如，当拍摄背光人物的照片时，人物的脸部可能会出现曝光不足，或者替代性地，较明亮的背景可能会出现曝光过度。
高动态范围(HDR)成像功能试图克服这个问题。最常用的是，HDR数字相机捕获同一场景的两个图像：一个图像的曝光时间较短以获得场景的明亮部分的良好图像数据，而另一个图像的曝光时间较长以获得场景的较黑暗部分的良好图像数据。然后将这两个图像组合以生成该场景的单个HDR图像，该HDR图像正确地描绘了较亮和较暗的场景部分。所述组合包括将这两个图像缩放到共同辐射尺度并且然后合并这两个图像。
最广泛使用的HDR数字相机类型使用时间复用，其中，短曝光时间图像和长曝光时间图像被顺序地捕获。然而，当场景中的物体在两次曝光之间移动时，或者如果存在相机运动，则两次曝光之间的时间偏移会导致运动伪影。为了最小化运动伪影，更新型的HDR图像传感器改为利用空间复用，其中，传感器像素的第一子集以短曝光时间操作，而传感器像素的与第一子集交错的第二子集以长曝光时间操作。为了最小化时间差，短曝光时间像素在长曝光时间像素曝光期间曝光。
无论是用于HDR还是标准单次曝光图像捕获，如今使用的绝大多数图像传感器都是彩色图像传感器。为了从在两个不同曝光时间捕获的图像数据生成HDR图像，非HDR数字彩色相机的标准图像处理流水线还适于进一步包括在两个不同曝光时间捕获的图像数据的组合(缩放和合并)。标准图像处理流水线对来自彩色图像传感器的原始(非HDR)图像数据进行去噪，并且然后对不同颜色分量进行去马赛克以生成全彩色图像，其中，每个输出像素都具有完整颜色信息。在HDR成像中，该标准图像处理流水线通过附加前端方便地扩展，该前端对在不同曝光时间捕获的图像数据进行缩放和合并。该前端生成与原始非HDR图像数据格式相同的图像数据，使得现有标准流水线(去噪和去马赛克)可以继续进行而无需任何HDR适配。
发明内容
在实施例中，一种用于生成高动态范围(HDR)图像的方法包括：(a)至少部分地基于从长曝光时间图像获得的结构信息对短曝光时间图像进行去噪；(b)在去噪步骤之后，对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度(Common Radiance Scale)；以及(c)在缩放步骤之后，将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像。
在实施例中，一种用于生成高动态范围HDR图像传感器的产品包括在非暂态存储器中编码的机器可读指令。所述机器可读指令包括：(a)去噪指令，当由处理器执行时，所述去噪指令至少部分地基于从长曝光时间图像获得的结构信息对短曝光时间图像进行去噪；(b)缩放指令，当由所述处理器执行时，所述缩放指令对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度；(c)合并指令，当由所述处理器执行时，所述合并指令将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像；以及(d)控制指令，当由所述处理器执行时，所述控制指令控制所述处理器(i)取得所述短曝光时间图像和所述长曝光时间图像以及(ii)按以下顺序执行所述去噪指令、所述缩放指令和所述合并指令。
附图说明
图1图示了根据实施例的用于使用预组合去噪生成HDR图像的去噪高动态范围(HDR)相机。
图2图示了根据实施例的空间复用曝光(SME)HDR图像传感器。
图3图示了根据实施例的彩色SME HDR图像传感器。
图4图示了根据实施例的之字形HDR彩色图像传感器。
图5图示了根据实施例的扩展的拜耳(Bayer)HDR彩色图像传感器。
图6图示了根据实施例的被配置为对其所有像素使用相同曝光时间进行操作的彩色图像传感器。
图7图示了根据实施例的用于使用预组合去噪生成HDR图像的方法。
图8图示了根据实施例的用于从短曝光时间彩色图像和长曝光时间彩色图像生成去噪的彩色HDR图像的方法。
图9图示了根据实施例的用于从短曝光时间彩色图像和长曝光时间彩色图像生成去噪的彩色HDR图像的另一种方法。
图10图示了根据实施例的使用来自一个曝光时间的图像信息对另一个曝光时间的图像数据进行去噪的去噪HDR图像生成器。
图11图示了根据实施例的用于生成去噪的HDR图像的系统。
图12图示了根据实施例的被配置为在三个不同曝光时间捕获图像数据的SME HDR图像传感器。
图13图示了根据实施例的被配置为在三个不同曝光时间捕获图像数据的彩色SMEHDR图像传感器。
图14图示了根据实施例的彩色SME HDR图像传感器，其像素以颜色特定的四联体方式布置，每个四联体包括对三个不同曝光时间敏感的像素。
图15图示了根据实施例的基于在三个或更多个不同曝光时间捕获的输入图像使用预组合去噪生成HDR图像的方法。
具体实施方式
图1图示了用于使用预组合去噪生成HDR图像180的一个去噪高动态范围(HDR)相机102。HDR相机102包括HDR图像传感器150和去噪HDR图像生成器100。HDR图像传感器150被配置为捕获同一场景(例如，图1中描绘的场景160)的短曝光时间图像170S和长曝光时间图像170L。HDR图像传感器150可以使用时间复用或空间复用来获得这两个图像。HDR图像传感器150可以是彩色图像传感器或单色图像传感器。HDR图像传感器150的每个像素的位深度是例如8位或10位。去噪HDR图像生成器100处理短曝光时间图像170S和长曝光时间图像170L以生成HDR图像180。
去噪HDR图像生成器100包括去噪器110和组合器120。去噪器110对短曝光时间图像170S和长曝光时间图像170L中的至少一个进行去噪。组合器120组合图像170S和170L以形成HDR图像180。组合器120包括缩放模块122和合并模块124。缩放模块122对短曝光时间图像170S和长曝光时间图像170L中的至少一个进行缩放以使短曝光时间图像170S和长曝光时间图像170L处于共同辐射尺度。合并模块124合并短曝光时间图像170S和长曝光时间图像170L以形成HDR图像180。
在一个实施例中，合并模块124利用位置相关的组合权重形成短曝光时间图像170S和长曝光时间图像170L的线性组合。例如，合并模块124可以向场景的较亮区域中的短曝光时间图像170S分配更多权重，并且向场景的较暗区域中的长曝光时间图像170L分配更多权重。合并模块124还可以在捕获短曝光时间图像170S和长曝光时间图像170L期间考虑场景中的运动，并且减少受运动影响的场景区域中的长曝光时间图像170S的权重。
去噪HDR图像生成器100被配置为在组合器120之前应用去噪器110，以便在组合短曝光时间图像170S和长曝光时间图像170L以形成HDR图像180之前对短曝光时间图像170S和/或长曝光时间图像170L进行去噪。因此，在将短曝光时间图像170S和长曝光时间图像170L缩放到共同辐射尺度之前，短曝光时间图像170S和/或长曝光时间图像170L被去噪。与长曝光时间图像170L中的噪声相比，在缩放之前对曝光时间图像170S进行去噪可以防止短曝光时间图像170S中的噪声的不期望的放大。此外，与图像170S和170L的组合相比，单个图像的噪声性质可能更易于理解。更好地了解噪声性质有助于去噪。
在本文中，“去噪”是指对图像数据的操纵，所述操纵使所得HDR图像(例如，HDR图像180)的噪声性质得到改善。因此，短曝光时间图像170S或长曝光时间图像170L的“去噪”不一定分别与短曝光时间图像170S或长曝光时间图像170L中的噪声降低同义。在一些实例中，图像170S或170L的去噪降低了其中的噪声水平。然而，在其他实例中，图像170S或170L的去噪以使得HDR图像180看上去更少噪声的方式向图像添加噪声。
在组合之前执行去噪的附加优点是来自图像170S和170L中的一个图像的信息可以用于指导图像170S和170L中的另一个图像的去噪。这在图像组合后是不可能的。
在图1所描绘的示例使用场景中，HDR图像传感器150接收来自场景160的光168。应当理解，HDR相机102可以包括镜头或成像物镜(为了清楚说明起见未在图1中示出)以在HDR图像传感器150上形成场景160的图像。场景160具有亮区(例如，体育场灯166)、暗区(例如，未被体育场灯166照亮的观众区165和观众164)以及适度照亮区(例如，围墙167)。场景160还包括移动对象，即足球运动员162和球163。去噪HDR图像生成器100处理短曝光时间图像170S和长曝光时间图像170L，以生成准确描绘例如明亮的体育场灯166和未照亮的观众区165中的观众164两者的HDR图像180。在组合器120组合短曝光时间图像170S和长曝光时间图像170L之前，去噪器110对短曝光时间图像170S和长曝光时间图像170L(或其中的至少一个)进行去噪。去噪器110由此通过缩放模块122防止或减少不期望的噪声的放大，以便产生具有很少或最小噪声的HDR图像180。
相比之下，如果在组合器120组合短曝光时间图像170S和长曝光时间图像170L之后进行去噪，则原始短曝光时间图像170S和原始长曝光时间图像170L中的噪声将由缩放模块122缩放并且由合并模块124合并。在这样的缩放和合并之后，像通过去噪HDR图像生成器100所完成的那样干净地去除噪声将复杂得多并且也许是不可能的。短曝光时间图像170S中的噪声将由缩放模块122放大，并且例如在围墙167、足球运动员162和球163上可见，如在替代性的HDR图像190中所描绘的。通常，在组合器120之后无法像在组合器120之前一样有效地去除噪声。与缩放且合并的并且因此在很大程度上被处理的图像中的噪声相比，如短曝光时间图像170S和长曝光时间图像170L等原始图像中的噪声更容易理解。因此，去噪HDR图像生成器100的去噪能力优于仅在缩放和合并原始图像之后应用去噪的HDR图像生成器的去噪能力。例如，在替代性的HDR图像190中的围墙167、足球运动员162和球163上可见的噪声在HDR图像180中不存在。
在某些实施例中，合并模块124补偿场景中的运动，以消除或减少HDR图像180中的运动伪影。例如，如上文所提到的，合并模块124可以减少受运动影响的场景区域中的长曝光时间图像170L的权重。因此，HDR图像180可以示出没有运动伪影的(在场景160中移动的)足球运动员162和球163。在没有这种运动补偿的情况下，如在替代性的HDR图像190中所描绘的运动伪影195可能会发生在足球运动员162和球163的边缘处(在文献中通常被称为“重影”)。应当理解，去噪HDR图像生成器100的一些实施例不包括运动补偿。然而，这样的实施例可能最适合于捕获静止场景的静态图像。
在被配置用于彩色成像的HDR相机102的实施例中，HDR图像传感器150是彩色图像传感器，并且去噪HDR图像生成器100进一步包括去马赛克模块130。在这样的实施例中，去噪器110和组合器120对每个颜色通道的短曝光时间图像170S和长曝光时间图像170L进行去噪和组合以形成针对每个颜色通道的颜色特定的HDR图像(例如，红色HDR图像、绿色HDR图像和蓝色HDR图像)。接下来，去马赛克模块130根据HDR图像传感器150的颜色布局对不同颜色通道进行去马赛克以形成HDR图像180，其中HDR图像180的每个像素均具有全色信息。
HDR相机102可以在图像捕获设备104中实施。图像捕获设备104是例如智能电话、数码单镜头反射(DSLR)相机或另一种手持设备。在不脱离其范围的情况下，去噪HDR图像生成器100可以作为被配置为从接收自第三方图像传感器的短曝光时间图像170S和长曝光时间图像170L产生HDR图像180的独立产品来提供。
去噪HDR图像生成器100可以以处理器和在非暂态存储器中编码的机器可读指令的形式实施，所述机器可读指令在由处理器执行时，处理来自HDR图像传感器150的短曝光时间图像170S和长曝光时间图像170L以生成HDR图像180。去噪HDR图像生成器100的某些实施例作为在非暂态存储器中编码的机器可读指令提供，其中，机器可读指令被配置成与由第三方提供的处理器协作来处理来自HDR图像传感器150的短曝光时间图像170S和长曝光时间图像170L以生成HDR图像180。
在一个使用场景中，去噪HDR图像生成器100将HDR图像180输出到显示器，例如集成在图像捕获设备104中的显示器或另一个设备的显示器。在另一个使用场景中，去噪HDR图像生成器100将HDR图像180输出到非暂态存储器。该非暂态存储器可以集成在HDR相机102或图像捕获设备104中，或者在外部存储设备中实施。在又另一个使用场景中，去噪HDR图像生成器100将HDR图像180输出到外部通信总线(例如，网络)或外部图像处理设备(例如，存储设备、计算机或显示设备)。
图2图示了一个空间复用曝光(SME)HDR图像传感器200。SME HDR图像传感器200是HDR图像传感器150的实施例。SME HDR图像传感器200包括具有相同像素组220的阵列的像素阵列210。每个像素组220包括至少一个短曝光时间像素232S和至少一个长曝光时间像素232L。短曝光时间像素232S在短曝光时间TS期间收集光，而长曝光时间像素232L在长曝光时间TL期间收集光，其中，TL＞TS。TS和TL可以在时间上重叠，例如TS完全在TL内以最小化由短曝光时间像素232S生成的图像数据与由长曝光时间像素232L生成的图像数据之间的时间偏移。由SME HDR图像传感器200捕获的单个帧包括短曝光时间图像(图像170S的示例)和长曝光时间图像(图像170L的示例)两者。
TS与TL之间的关系可以表示为TL＝r·TS。在一个示例中，r在介于2与16之间的范围内。为了计算简单，r的值可以限制为2的幂，使得可以通过对去噪的图像170S和170L的像素值进行编码的二进制数的移位来执行由缩放模块122进行的缩放。
再次参考图1，无论HDR图像传感器150是SME HDR图像传感器(如SME HDR图像传感器200)还是时间复用的图像传感器，由去噪HDR图像生成器110执行的处理基本上相同。HDR图像传感器150的时间复用实施例也输出短曝光时间图像170S和长曝光时间图像170L，尽管这两个图像是顺序地捕获的。HDR图像传感器150的时间复用实施例可能存在更大的运动差异，这至少在某些情况下可以提高合并模块124的运动补偿的重要性，以产生没有运动伪影的HDR图像180。HDR图像传感器150的时间复用实施例的噪声特性也可以与SMR HDR图像传感器200的噪声特性略有不同。然而，与来自SMR HDR图像传感器200的图像不同，通常不需要去噪器110的适配来处理来自图像传感器150的时间复用实施例的图像170S和170L。
通常，缩放模块122将短曝光时间图像170S的像素值SS和长曝光时间图像170L(去噪后)的像素值SL缩放为SS，scaled＝α·r·SS和SL，scaled＝α·SL，其中，α是正缩放因子，其可以是一、大于一或小于一。在最简单的场景中，α＝1，使得缩放模块122根据表达式SS，scaled＝r·SS将短曝光时间图像170S缩放到长曝光时间图像170L的辐射尺度，而SL保持原样。不管α的值如何，相对于长曝光时间图像170L的像素值SL，短曝光时间图像170S中的任何噪声分量都以因子r被放大了。这突显了在缩放前去噪的显著优点。去噪器110能够在缩放之前最小化短曝光时间图像170S中的噪声以及潜在地由缩放模块122导致的噪声放大。
对于HDR图像180中的每个像素，合并模块124将像素值计算为SHDR＝(1-f)·SL，scaled+f·SS，scaled，其中，f取决于像素位置并且0≤f≤1。应当理解，缩放模块122和合并模块124可以彼此整合，使得组合器120将HDR图像180的每个像素的像素值确定为SHDR＝(1-f)·α·SL+f·α·r·SS。对于包含多个颜色通道的SME HDR图像传感器200的实施例，SHDR的以上表达式单独地与每个颜色通道相关。下文讨论的图3至图5示出了SME HDR图像传感器200的这种实施例。
图3图示了一个彩色SME HDR图像传感器300。彩色SME HDR图像传感器300是具有多个颜色通道的SME HDR图像传感器200的实施例。彩色SME HDR图像传感器300在图3中被描绘为具有三个颜色通道，但是在不脱离其范围的情况下可以具有两个、四个或更多个颜色通道。彩色SME HDR图像传感器300包括具有相同像素组320的阵列的像素阵列310。每个像素组320包括短曝光时间像素322S和长曝光时间像素322S、短曝光时间像素232S和长曝光时间像素232L的示例。短曝光时间像素322S包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素332S、334S和336S。类似地，长曝光时间像素322L包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素332L、334L和336L。第一颜色、第二颜色和第三颜色是例如绿色、红色和蓝色。
当由彩色SME HDR图像传感器300生成时，短曝光时间图像170S和长曝光时间图像170L中的每一个都包含三个颜色分量：由像素332S或332L的像素值构成的第一颜色分量、由像素334S或334L的像素值构成的第二颜色分量、以及由像素336S或336L的像素值构成的第三颜色分量。
在不脱离其范围的情况下，每个像素组320可以包括传感器像素332S、334S、336S、332L、334L和336L中的一个或多个的一个以上实例。例如，每个像素组320可以包括对第一颜色敏感的多个像素332S和多个像素332L。在一个实施方式中，第一颜色是绿色。
图4图示了一个之字形HDR彩色图像传感器400。图像传感器400是彩色SME HDR图像传感器300的实施例。图像传感器400的像素被布置成正方形像素组410。应当理解，图像传感器400可以包括比图4中所描绘的像素组更多的像素组410，例如数百或数千个像素组410。每个像素组410包括短曝光时间像素422S(在图4中用白色背景示出)和长曝光时间像素422L(在图4中用阴影背景示出)。在每个像素组410中，短曝光时间像素422S包括对绿光敏感的四个像素“GS”、对红光敏感的两个像素“RS”和对蓝光敏感的两个像素“BS”，并且长曝光时间像素422L包括对绿光敏感的四个像素“GL”、对红光敏感的两个像素“RL”和对蓝光敏感的两个像素“BL”。像素组410沿交替的之字形路径(参见图4中的白色和阴影之字形路径)布置短曝光时间像素422S和长曝光时间像素422L。替代性地，图像传感器400可以被视为包含多个交错的像素组412。每个像素组412由两个GS像素、两个GL像素、一个RS像素、一个RL像素、一个BS像素和一个BL像素构成。像素组410和像素组412中的每一个都是像素组320的实施例。
图5图示了扩展的拜耳HDR彩色图像传感器500。图像传感器500是彩色SME HDR图像传感器300的实施例。图像传感器500的像素被布置成正方形像素组510。应当理解，图像传感器500可以包括比图5中所描绘的像素组更多的像素组510，例如数百或数千个像素组510的阵列。每个像素组510包括短曝光时间像素522S和长曝光时间像素522L。在每个像素组510中，短曝光时间像素522S包括对绿光敏感的四个像素“GS”、对红光敏感的两个像素“RS”和对蓝光敏感的两个像素“BS”，并且长曝光时间像素522L包括对绿光敏感的四个像素“GL”、对红光敏感的两个像素“RL”和对蓝光敏感的两个像素“BL”。在每个像素组510中，这些像素以四个拜耳型块的方式布置：各自具有两个GS像素、一个RS像素和一个BS像素的两个拜耳型块514；以及各自具有两个GL像素、一个RL像素和一个BL像素的两个拜耳型块516。图像传感器500可以被视为包含由一个拜耳型块514和一个拜耳型块516构成的多个交错的像素组512。
图6图示了被配置为对其所有像素612使用相同曝光时间进行操作的一个彩色图像传感器600。彩色图像传感器600的曝光时间是可调整的。彩色图像传感器600因此可以通过捕获帧对来用作彩色HDR图像传感器，其中，每对由在短曝光时间捕获的一帧和在长曝光时间捕获的另一帧构成。彩色图像传感器600因此表示HDR图像传感器150的时间复用实施例。
彩色图像传感器是拜耳类型的并且包括相同像素组610的阵列。每个像素组610包括多个像素612，具体地对绿光敏感的两个像素“G”、对红光敏感的一个像素“R”和对蓝光敏感的一个像素“B”。
图7图示了用于使用预组合去噪生成HDR图像的一种方法700。方法700可以由去噪HDR图像生成器100来执行。方法700包括步骤710、730和750，所述步骤可以分别由去噪器110、缩放模块122和合并模块124来执行。在下文中，在单色HDR成像(即，仅处理单个颜色通道)的上下文中讨论方法700。然而，方法700容易地扩展到彩色HDR图像，例如如下文参考图8和图9所讨论的。
步骤710至少部分地基于从长曝光时间图像获得的信息来对短曝光时间图像进行去噪。在步骤710的一个示例中，去噪器110至少部分地基于从长曝光时间图像170L获得的信息来对短曝光时间图像170S进行去噪。步骤710对短曝光时间图像进行空间滤波以从中去除噪声。由于长曝光时间图像通常包含关于局部边缘和图像结构的更可靠信息，因此来自长曝光时间图像的结构信息可以有助于揭示短曝光时间图像中与基于噪声相对的基于场景的结构。例如，长曝光时间图像可以用于调整应用于短曝光时间图像的空间滤波强度，以允许对暗区域进行更强的滤波并且对更亮的区域进行更少的滤波，同时保留长曝光时间图像中的边缘信息。
步骤710可以包括步骤712。步骤712将引导滤波器应用于短曝光时间图像，例如，短曝光时间图像170S。引导滤波器使用长曝光时间图像(例如，长曝光时间图像170L)作为其引导。至少因为引导滤波器使用位置敏感信息(长曝光时间图像)作为其引导，引导滤波器是位置敏感的。
步骤712的引导滤波器例如是联合引导滤波器或联合双边滤波器，或本领域已知的不同类型的引导滤波器。联合引导滤波器和联合双边滤波器在例如以下文献中公开：(i)He等人,“Guided Image Filtering[引导图像滤波]”,IEEE Transactions on PatternAnalysis and Machine Intelligence[IEEE模式分析与机器智能汇刊],第35卷,第6期,第1397-1409页,2012.；(ii)He等人,“Guided Image Filtering[引导图像滤波]”,Daniilidis K.,Maragos P.,Paragios N.(编辑)Computer Vision-ECCV 2010[计算机视觉-ECCV 2010].ECCV2010.Lecture Notes in Computer Science[计算机科学课程讲义],第6311卷.Springer,Berlin,Heidelberg[柏林海德堡施普林格出版社]；以及(iii)Kopf等人,“Joint bilateral upsampling[联合双边上采样]”,ACM Trans.Graph[美国计算机协会图形学汇刊].26,3,第96条(2007年7月)。这些参考文献中的每一篇都通过引用以其全文并入本文。
在实施例中，步骤712的引导滤波器利用滤波器内核W(IL)，其中IL是长曝光时间图像，使得去噪的短曝光时间图像中第i个像素的像素值可以表示为S′S，i＝∑jWij(IL)·SS，j，其中，总和在内核W(IL)定义的长曝光时间图像的对应局部区域内的所有像素上运行。W(IL)的确切形式取决于所使用的滤波器。对于联合引导滤波器和联合双边滤波器两者，W(IL)的形式是这样的，即去噪的短曝光时间图像中第i个像素的像素值可以表示为S′S，i＝a·SL，i+b，其中，系数a和b取决于在第i个像素处的短曝光时间图像的局部区域中的像素值SS，k。因此，将原始短曝光时间图像的图像数据嵌入到系数a和b中。系数a和b中的每一个都是位置敏感的。换言之，在引导滤波器的这个实施例中，将去噪的短曝光时间图像中第i个像素的像素值确定为第i个像素处的短曝光时间图像的局部区域中是长曝光时间图像(即用于滤波器的引导图像)中的对应像素值的线性函数。
短曝光时间图像可以被分成多个局部区域，每个局部区域包括给定数量的像素。系数a和b可以通过最小化那些局部区域中的每一个中的成本函数来确定。例如，成本函数可以基于去噪的短曝光时间图像中的第i个像素的像素值S′S，i与长曝光时间图像中的对应像素值SL，i之间的差。系数a和b可以通过最小化这种差来确定。然而，可以设想并且最小化适合于特定实施方式的其他成本函数。
换言之，在引导滤波器的这个实施例中，假设局部线性模型可以用于将滤波器输出与图像的每个局部区域中的引导图像关联。系数a和b将滤波器输出与引导图像线性地关联。系数a和b在短曝光时间图像的每个局部区域之间空间地变化。系数a和b取决于局部区域的像素值，所述系数是针对所述像素值确定的。例如，系数a和b中的每一个都可以确定为每个局部区域在该区域的给定数量的像素上的平均值。
步骤730对短曝光时间图像和长曝光时间图像中的至少一个进行缩放，以使短曝光时间图像和长曝光时间图像处于共同辐射尺度。在步骤730的一个示例中，缩放模块122对短曝光时间图像170S和长曝光时间图像170L中的至少一个进行缩放以使短曝光时间图像170S和长曝光时间图像170L处于共同辐射尺度，如上文参考图1所讨论的。步骤730在步骤710之后执行。
步骤750在步骤730之后执行，并且将短曝光时间图像和长曝光时间图像合并以生成HDR图像。在步骤750的一个示例中，合并模块124合并短曝光时间图像170S和长曝光时间图像170L以形成HDR图像180。步骤750可以将HDR图像的每个像素值计算为SHDR＝(1-f(SS，scaled，SL，scaled))·SL，scaled+f(SS，scaled，SL，scaled)·SS，scaled，其中，f(SS，scaled，SL，scaled)是短曝光时间图像和长曝光时间图像的缩放版本的像素值SS，scaled和SL，scaled的函数。f(SS，scaled，SL，scaled)被配置成有利于场景的昏暗区域的长曝光时间图像，并且有利于场景的明亮区域的短曝光时间图像。替代性地，函数f可以是短曝光时间图像和长曝光时间图像分别在去噪之后缩放之前的像素值S′S和S′L的函数。在任何一种情况下，函数f都受益于已经去噪的短曝光时间图像和长曝光时间图像。更高级别的噪声可能会传播到函数f中并且导致不连续性(在HDR图像中作为噪声出现)，这仅仅是因为组合权重成为位置的空间噪声函数。
方法700的一个实施例适于补偿合并过程中的运动。方法700的该实施例进一步包括步骤740，并且该实施例的步骤750包括步骤752。步骤740评估短曝光时间图像与长曝光时间图像之间的差异程度。在步骤740的一个示例中，组合器120比较短曝光时间图像170S与长曝光时间图像170L(在由去噪器110进行去噪之前、在由去噪器110进行去噪与由缩放模块122进行缩放之间、或在由缩放模块122进行缩放之后)以评估其之间的差异。步骤740可以产生指示短曝光时间图像与长曝光时间图像之间的差异程度的差异参数D。差异是例如由运动和/或噪声引起的。差异参数D是位置敏感的。
步骤752使用至少部分地取决于在步骤740中发现的差异程度的组合权重来生成HDR图像作为短曝光时间图像和长曝光时间图像的线性组合。例如，步骤752可以将HDR图像的每个像素值计算为SHDR＝(1-fm(D，SS，scaled，SL，scaled))·SL，scaled+fm(D，SS，scaled，SL，scaled)·SS，scaled，其中，fm(D，SS，scaled，SL，scaled)是差异参数D的函数，也是短曝光时间图像和长曝光时间图像的缩放版本的像素值SS，scaled和SL，scaled的函数。fm(D，SS，scaled，SL，scaled)是f(SS，scaled，SL，scaled)的实施例，当差异参数高时所述实施例进一步减少长曝光时间图像的权重。替代性地，函数fm可以是短曝光时间图像和长曝光时间图像分别在去噪之后缩放之前的像素值S′S和S′L的函数。在任何一种情况下，函数fm都受益于已经去噪的短曝光时间图像和长曝光时间图像。
方法700还可以包括对长曝光时间图像进行去噪的步骤720。步骤720在步骤730之前执行。在步骤720的一个示例中，去噪器110对长曝光时间图像170L进行去噪。与步骤710中产生的去噪的短曝光时间图像中的残余噪声相比，步骤720中产生的去噪的长曝光时间图像中的残余在随后的缩放步骤730中没有被放大。因此，与从短曝光时间图像中去除噪声相比，从长曝光时间图像中去除噪声可能不是那么重要。由于步骤710中短曝光时间图像的去噪可能不完美，因此短曝光时间图像可能存在残余噪声。与长曝光时间图像中的任何噪声相比，这种残余噪声在步骤730中被放大。因此，像素值SS，scaled中的噪声水平通常可能高于像素值SS，scaled中的噪声水平。在步骤750中生成的HDR图像的区域中，其中短曝光时间图像和长曝光时间图像的相对权重发生变化，例如，函数f随位置快速变化，短曝光时间图像和长曝光时间图像的噪声水平的任何显著差异都将导致局部HDR图像结构的空间不连续性。这些空间不连续性将作为HDR图像中的噪声阶跃呈现给观看者。
为了减少这种空间不连续性，步骤720可以包括适配缩放的长曝光时间图像(例如，步骤730之后的图像170L)的噪声性质以产生与缩放的短曝光时间图像(例如，步骤730之后的图像170S)类似的噪声特性的步骤722。步骤722可以包括将短曝光时间图像的噪声性质混合到长曝光时间图像中的步骤724。例如，步骤724可以向长曝光时间图像170L添加噪声，使得像素值SS，scaled中的噪声水平类似于在相同位置处的像素值SS，scaled中的噪声水平。在一个实施例中，步骤724包括将引导滤波器应用于长曝光时间图像，使用短曝光时间图像作为其引导的步骤726。
步骤726类似于步骤712，除了短曝光时间图像和长曝光时间图像的角色互换。在实施例中，步骤726可以利用类似于上文参考步骤712所讨论的那些引导滤波器中的任何一个的引导滤波器。步骤726的引导滤波器利用滤波器内核K(IS)，其中，IS是短曝光时间图像，使得去噪的长曝光时间图像中第i个像素的像素值可以表示为S′L，i＝∑jKij(IS)·SL，j，其中，总和在内核K(IS)定义的短曝光时间图像的对应局部区域内的所有像素上运行。K(IS)的确切形式取决于所使用的滤波器。对于联合引导滤波器和联合双边滤波器，K(IS)的形式是这样的，即去噪的长曝光时间图像中第i个像素的像素值可以表示为S′L，i＝c·SS，i+d，其中，系数c和d取决于在第i个像素处的长曝光时间图像的局部区域中的像素值SL，k。因此，将原始长曝光时间图像的图像数据嵌入到系数c和d中。系数c和d中的每一个都是位置敏感的。可以以与参考步骤712所描述的相同方式来确定系数c和d，除了在引导滤波器的这个实施例中，短曝光时间图像被用作对长曝光时间图像去噪的引导。因此类似于参考步骤712所描述的引导滤波器，引导滤波器利用短曝光时间图像作为其引导可以包括将去噪的长曝光时间图像中的像素值确定为在所述去噪的长曝光时间图像中的所述像素值处的所述长曝光时间图像的局部区域中是所述短曝光时间图像中的对应像素值的线性函数。
同样，在引导滤波器的这个实施例中，假设局部线性模型可以用于将滤波器输出与图像的每个局部区域中的引导图像关联。系数c和d将滤波器输出与引导图像(在这种情况下为短曝光时间图像)线性地关联。系数c和d在长曝光时间图像的每个局部区域之间空间地变化。系数c和d取决于局部区域的像素值，所述系数是针对所述局部区域确定的。例如，系数c和d中的每一个都可以确定为每个局部区域在该区域的给定数量的像素上的平均值。
为了进一步控制短曝光时间图像的噪声混合到长曝光时间图像的程度，可以调整滤波器内核K(IS)的空间大小。大内核会将更多的噪声混合到长曝光时间图像中，而小内核会将更少的噪声混合到长曝光时间图像中。在内核大小为单个像素的情况下，没有噪声混合到长曝光时间图像中。内核K(IS)的大小可以是位置敏感的，使得噪声混合到长曝光时间图像中的程度是位置敏感的。
以类似于步骤722的方式，步骤710可以包括适配短曝光时间图像(例如，步骤730之后的图像170S)的噪声性质以产生与长曝光时间图像(例如，步骤730之后的图像170S)类似的噪声特性的步骤714。
在不脱离其范围的情况下，方法700可以以类似于上文参考图1所讨论的缩放模块122与合并模块124的整合的方式来整合步骤730和750。
图8图示了用于从短曝光时间彩色图像和长曝光时间彩色图像生成去噪的彩色HDR图像的一种方法800。短曝光时间彩色图像和长曝光时间彩色图像包括相同的多个颜色分量。方法800可以通过去噪HDR图像生成器100来执行，例如基于从彩色SME HDR图像传感器300或彩色图像传感器600接收的图像170S和170L。方法800是方法700的扩展。方法800包括步骤810、830、850和860。对短曝光时间彩色图像和长曝光时间彩色图像的每个颜色分量重复步骤810、830和850。在步骤810之后执行步骤830，并且在步骤830之后执行步骤850。
步骤810执行方法700的步骤710，仅使用所考虑的颜色分量的图像数据来对短曝光时间图像的该颜色分量进行去噪。在步骤810的一个示例中，去噪器110对从彩色SME HDR图像传感器300或彩色图像传感器600接收的短曝光时间彩色图像的一个颜色分量(例如，红色、绿色或蓝色)进行去噪。在实施步骤712和/或步骤714的步骤810的实施例中，在步骤712和714中使用的长曝光时间图像数据来自与短曝光时间图像的正被处理的颜色分量相同的颜色分量。例如，当步骤810处理短曝光时间彩色图像的红色颜色分量时，在步骤810中实施的步骤712的引导滤波器使用长曝光时间彩色图像的红色颜色分量作为其引导。
步骤830根据方法700的步骤730处理短曝光时间彩色图像和长曝光时间彩色图像的所考虑的颜色分量，以便使短曝光时间彩色图像和长曝光时间彩色图像处于共同辐射尺度。在步骤830的一个示例中，缩放模块122对图像170S和170L中的至少一个图像的一种颜色分量进行缩放以使图像170S和170L的该颜色分量处于共同辐射尺度。
步骤850将(a)短曝光时间彩色图像的所考虑的颜色分量与(b)长曝光时间彩色图像的相同颜色分量合并，以生成该颜色分量的颜色特定的HDR图像。在步骤850的一个示例中，合并模块124将短曝光时间图像170S的一个颜色分量(例如，红色、绿色或蓝色)与长曝光时间图像170L的相同颜色分量合并，以生成该颜色分量的颜色特定的HDR图像。
方法800可以进一步包括对长曝光时间彩色图像的所考虑的颜色分量进行去噪的步骤820。步骤820执行方法700的步骤720以唯一地使用长曝光时间彩色图像的所考虑的颜色分量的图像数据来对该颜色分量进行去噪。因此，实施步骤722、724和726中的一个或多个的步骤820的实施例仅考虑该单个颜色分量。步骤820在步骤830之前执行。在步骤820的一个示例中，去噪器110对从彩色SME HDR图像传感器300或彩色图像传感器600接收的长曝光时间彩色图像的一个颜色分量(例如，红色、绿色或蓝色)进行去噪。
在一个实施例中，被配置为补偿运动的方法800进一步包括在步骤850之前执行的步骤840，并且步骤850实施步骤752。在该实施例中，步骤840针对所考虑的颜色分量评估短曝光时间彩色图像与长曝光时间彩色图像之间的差异。如在步骤850中实施的，步骤752考虑该颜色特定差异。
步骤860对在步骤850的相应执行中为多个颜色分量生成的颜色特定的HDR图像进行去马赛克，以生成全色HDR图像。全色HDR图像中的每个像素都包含全色信息。在步骤860的一个示例中，去马赛克模块130对从组合器120接收的多个颜色特定的HDR图像(例如，红色、绿色和蓝色)进行去马赛克，以生成HDR图像180的全色实施例。
图9图示了用于从短曝光时间彩色图像和长曝光时间彩色图像生成去噪的彩色HDR图像的另一种方法900。短曝光时间彩色图像和长曝光时间彩色图像包括相同的多个颜色分量。方法800可以通过去噪HDR图像生成器100来执行，例如基于从彩色SME HDR图像传感器300或彩色图像传感器600接收的图像170S和170L。方法900类似于方法800，除了短曝光时间图像的多个颜色分量中的每一个的去噪至少部分地基于从长曝光时间彩色图像的单个预选颜色分量获得的结构信息。例如，方法900可以至少部分地基于长曝光时间图像的绿色颜色分量对短曝光时间图像的红色、绿色和蓝色颜色分量中的每一个进行去噪。方法900非常适用于一种颜色(例如绿色)通常占主导地位的场景。
与方法800相比，方法900用步骤910替换步骤810。步骤910执行方法700的步骤710，以至少部分地基于从长曝光时间图像的预选颜色分量获得的结构信息来对短曝光时间图像的所考虑的颜色分量进行去噪。在步骤910的一个示例中，去噪器110对短曝光时间彩色图像的一个颜色分量进行去噪。无论考虑短曝光时间彩色图像的哪个颜色分量，去噪器110至少部分地基于长曝光时间彩色图像的预选颜色分量进行去噪。在实施步骤712和/或步骤714的步骤910的实施例中，在步骤712和714中使用的长曝光时间图像数据来自预选颜色分量，而不管正在处理短曝光时间图像的哪个颜色分量。在一个示例中，在处理短曝光时间彩色图像的红色、绿色和蓝色颜色分量中的每一个时，在步骤910中实施的步骤712的引导滤波器使用长曝光时间彩色图像的绿色颜色分量作为其引导。
尽管未在图9中示出，可选的步骤840(如在方法900中实施的)可以评估与预选的颜色分量相关联的颜色通道中的差异程度，并且步骤852(如在方法900中实施的)可以基于与预选的颜色分量相关联的颜色通道中的差异进行其运动补偿，不管在步骤850中合并哪个颜色分量(如在方法900中实施的)。
图10图示了使用来自一个曝光时间的图像信息对另一个曝光时间的图像数据进行去噪的一个去噪HDR图像生成器1000。去噪HDR图像生成器1000是去噪HDR图像生成器100的实施例，并且可以执行方法700、800或900。去噪HDR图像生成器1000可以与HDR相机1002中的HDR图像传感器150耦合。去噪HDR图像生成器1000包括分别为去噪器110和组合器120的实施例的去噪器1010和组合器1020。
在操作中，去噪器1010从HDR图像传感器150接收图像数据1070。图像数据1070包括短曝光时间图像170S和长曝光时间图像170L。在由组合器1020组合之前，去噪器1010对短曝光时间图像170S和长曝光时间图像170L之一或两者进行去噪。接下来，组合器1020将短曝光时间图像170S和长曝光时间图像170L(其中至少一个已被去噪器1010去噪)组合以形成HDR图像1080。HDR图像1080是HDR图像180的示例。
去噪器1010被配置为(a)在对短曝光时间图像170S进行去噪期间利用来自长曝光时间图像170L的信息和/或(b)在对长曝光时间图像170L进行去噪期间利用来自短曝光时间图像170S的信息。在一个实施方式中，去噪器1010执行实施步骤712和/或步骤714的方法700的步骤710(可选地作为方法800或900的一部分)的实施例。在该实施例中，去噪器1010根据步骤712和/或步骤714利用从长曝光时间图像170L获得的信息对短曝光时间图像170S进行去噪。在另一个实施方式中，去噪器执行实施步骤722的步骤720(可选地作为方法800的一部分)的实施例。在该实施例中，去噪器1010根据步骤722利用从短曝光时间图像170S获得的信息对长曝光时间图像170L进行去噪。
被配置为执行步骤712的去噪HDR图像生成器1000的实施例可以进一步包括由去噪器1010使用的引导滤波器1012。类似地，被配置为执行步骤726的去噪HDR图像生成器1000的实施例可以进一步包括由去噪器1010使用的引导滤波器1026。
组合器1020包括缩放模块122和合并模块124。组合器1020可以进一步包括被配置为执行步骤740或840的差异评估器1028。在操作中，差异评估器1028处理如由缩放模块122缩放的短曝光时间图像170S和长曝光时间图像170L，以确定上文参考图7所讨论的差异参数D。差异评估器1028将差异参数D馈送至合并模块124。替代性地，在由缩放模块122缩放之前但在由去噪器1010对短曝光时间图像170S和长曝光时间图像170L中的至少一个进行去噪之后，差异评估器1028处理这两个图像。
合并模块124输出像素值1072。在短曝光时间图像170S和长曝光时间图像170L仅包含单个颜色分量的场景中(例如，是单色图像)，HDR像素值1072构成通过去噪HDR图像生成器1000生成的最终HDR图像1080。在短曝光时间图像170S和长曝光时间图像170L为彩色图像并且因此包含多个颜色分量的场景中，HDR像素值1072构成相应的多个颜色特定的HDR图像。为了从这样的多个颜色特定的HDR图像生成最终的全色HDR图像1080，去噪HDR图像生成器1000可以进一步包括去马赛克模块130以执行方法800或900的步骤860。
在某些实施例中，去噪HDR图像生成器1000包括控制器1050，所述控制器控制通过去噪HDR图像生成器1000的图像数据1070流。例如，控制器1050可以在HDR图像生成器1000接收到图像数据1070后，将图像数据1070发送到去噪器1010，然后将如由去噪器1010处理的图像数据1070发送到组合器1020。当图像数据1070包括若干颜色分量时，控制器1050可以根据方法800或900控制通过去噪器1010、组合器1020和去马赛克模块130的每个这样的颜色分量流。
图11图示了用于生成去噪的HDR图像的一个系统1100。系统1100包括处理器1110、非暂态存储器1120和接口1190。处理器1110和存储器1120(以及在某些实施例中，接口1190)协作形成去噪HDR图像生成器1000的计算机实施方式。系统1100可以进一步包括HDR图像传感器150，在这种情况下，系统1100是HDR相机1002的实施例。
存储器1120包括机器可读指令1130。机器可读指令1130可以在存储器1120的非易失性部分中编码。机器可读指令1130包括去噪指令1132、缩放指令1134和合并指令1136。在一个实施例中，存储器1120可以进一步包括动态数据存储装置1180，所述动态数据存储装置被配置成存储经由接口1190接收的数据和/或机器可读指令1130在由处理器1110执行时生成的数据。在另一个实施例中，系统1100不包括存储器1120，而是代替地被配置成与例如由第三方提供的外部存储器协作。
在由处理器1110执行时，去噪指令1132获得包含短曝光时间图像170S和长曝光时间图像170L的图像数据1070，并且执行方法700的步骤710(可选地作为方法800或900的一部分)。处理器1110可以在动态数据存储装置1180中存储原始的和去噪的短曝光时间图像170S和长曝光时间图像170L。在由处理器1110执行时，缩放指令1134对短曝光时间图像170S和长曝光时间图像170L(其中至少一个已经去噪)执行方法700的步骤730或方法800或900的步骤830。处理器1110可以将短曝光时间图像170S和/或长曝光时间图像170L的缩放版本存储到动态数据存储装置1180。在由处理器1110执行时，合并指令1136执行方法700的步骤750或方法800或900的步骤850，以生成HDR像素值1072。处理器1110可以将HDR像素值1072存储到动态数据存储装置1180。在短曝光时间图像170S和长曝光时间图像170L是单色的场景中，处理器1110可以将HDR像素值1072直接作为HDR图像1080存储到动态数据存储装置1180。
在某些实施例中，机器可读指令进一步包括去马赛克指令1144，所述去马赛克指令在由处理器执行时，(a)取得HDR像素值1072(形成多个颜色特定的HDR图像)，以及(b)执行方法800或900的步骤860以生成全色HDR图像。处理器1110可以将该全色HDR图像作为HDR图像1080存储到动态数据存储装置1180或经由接口1190输出该全色HDR图像。
机器可读指令1130可以进一步包括差异评估指令，所述差异评估指令在由处理器1110执行时执行方法700的步骤740或方法800或900的步骤840，以确定差异参数D。处理器1110可以将差异参数D作为差异参数1172存储到动态数据存储装置1180。
在实施例中，机器可读指令1130进一步包括引导滤波器1012和引导滤波器1026之一或两者。在该实施例中，去噪指令1132被配置为当由处理器1110执行时调用引导滤波器1012和/或引导滤波器1026。
可选地，机器可读指令1130进一步包括控制指令1142。控制指令1142与处理器1110协作以形成控制器1050的实施例。在一个场景中，在执行去马赛克指令1144之前，控制指令1142当由处理器1110执行时针对短曝光时间图像170S和长曝光时间图像170L的多个颜色通道中的每一个管理去噪指令1132、缩放指令1134和合并指令1136的执行。
在不脱离其范围的情况下，机器可读指令1130可以作为被配置成在第三方计算机上实施的独立运行的软件产品提供，所述第三方计算机具有(a)用于存储机器可读指令1130的非暂态存储器以及(b)用于执行机器可读指令1130的处理器。
上文图1至图11的讨论已经涉及从在两个不同曝光时间(短曝光时间和长曝光时间)捕获的原始图像生成HDR图像。然而，如以下将讨论的，图1至图11中公开的系统和方法容易地扩展到从在三个或更多个不同曝光时间捕获的原始图像生成HDR图像。
图12图示了被配置为在三个不同曝光时间捕获图像数据的一个SME HDR图像传感器1200。SME HDR图像传感器1200是SME HDR图像传感器200扩展到三种不同的曝光时间(短曝光时间TS、中等曝光时间TM和长曝光时间TL，其中，TS＜TM＜TL)的实施例。
SME HDR图像传感器1200包括具有相同像素组1220的阵列的像素阵列1210。每个像素组1220包括至少一个短曝光时间像素232S、至少一个中等曝光时间像素232M和至少一个长曝光时间像素232L。短曝光时间像素232S在短曝光时间TS期间收集光，中等曝光时间像素232M在中等曝光时间TM期间收集光，并且长曝光时间像素232L在长曝光时间TL期间收集光。TS、TM和TL可能在时间上重叠，例如TS完全在TM内并且TM完全在TL内，以最小化由短曝光时间像素232S生成的图像数据、由中等曝光时间像素232M生成的图像数据与由长曝光时间像素232L生成的图像数据之间的时间偏移。由SME HDR图像传感器1200捕获的单个帧包括短曝光时间图像(图像170S的示例)、中等曝光时间图像(表示为图像170M)和长曝光时间图像(图像170L的示例)。
SME HDR图像传感器1200可以容易地扩展到以四个或更多个曝光时间进行操作。例如，SME HDR图像传感器1200可以通过在每个像素组1220中包括被配置为在与TS、TM和TL中的任何一个不同的曝光下收集光的至少一个像素来扩展到四个不同的曝光时间。
图13图示了被配置为在三个不同曝光时间捕获图像数据的一个彩色SME HDR图像传感器1300。彩色SME HDR图像传感器1300是具有多个颜色通道的SME HDR图像传感器1200的实施例。彩色SME HDR图像传感器1300在图4中被描绘为具有三个颜色通道，但是在不脱离其范围的情况下可以具有两个、四个或更多个颜色通道。
彩色SME HDR图像传感器1300包括具有相同像素组1320的阵列的像素阵列1310。每个像素组1320包括短曝光时间像素322S、中等曝光时间像素322M和长曝光时间像素322L。短曝光时间像素322S是短曝光时间像素232S的示例并且包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素332S、334S和336S。中等曝光时间像素332M是中等曝光时间像素232M的示例并且包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素332M、334M和336M。长曝光时间像素322L是长曝光时间像素232L的示例并且包括分别对第一颜色、第二颜色和第三颜色的光敏感的像素332L、334L和336L。第一颜色、第二颜色和第三颜色是例如绿色、红色和蓝色。
当由彩色SME HDR图像传感器1300生成时，短曝光时间图像170S、中等曝光时间图像170M和长曝光时间图像170L中的每一个都包含三个颜色分量：由像素332S、332M或332L的像素值构成的第一颜色分量、由像素334S、334M或334L的像素值构成的第二颜色分量、以及由像素336S、336M或336L的像素值构成的第三颜色分量。
在不脱离其范围的情况下，每个像素组1320可以包括传感器像素332S、334S、336S、332M、334M、336M、332L、334L和336L中的一个或多个的一个以上实例。例如，每个像素组1320可以包括对第一颜色敏感的多个像素332S、多个像素332M和多个像素332L。在一个实施方式中，第一颜色是绿色。
图14图示了一个彩色SME HDR图像传感器1400，其像素以颜色特定的四联体方式布置，每个四联体包括对三个不同曝光时间敏感的像素。彩色SME HDR图像传感器1400是彩色SME HDR图像传感器300的实施例。彩色SME HDR图像传感器1400包括相同正方形像素组1410的阵列。应当理解，彩色SME HDR图像传感器1400可以包括比图14中所描绘的像素组更多的像素组1410，例如数百或数千个像素组1410。每个像素组1410包括短曝光时间像素1422S(在图14中用白色背景示出)、中等曝光时间像素1422M(在图14中用浅阴影背景示出)和长曝光时间像素1422L(在图14中用深色阴影背景示出)。每个像素组1410以颜色特定四联体布置像素1422S、1422M和1422L。更具体地，每个像素组1410包括对红光敏感的一个四联体1412、对绿光敏感的两个四联体1414和对蓝光敏感的一个四联体1416。每个四联体1412由一个短曝光时间像素“RS”、两个中等曝光时间像素“RM”和一个长曝光时间像素“RL”构成。每个四联体1414由一个短曝光时间像素“GS”、两个中等曝光时间像素“GM”和一个长曝光时间像素“GL”构成。每个四联体1416由一个短曝光时间像素“BS”、两个中等曝光时间像素“BM”和一个长曝光时间像素“BL”构成。每个像素组1410都是像素组1320的实施例。
SME HDR图像传感器1200、1300和1400中的每一个可以在HDR相机102中实施为要生成的HDR图像传感器150。类似地，被配置为在三个或更多个不同曝光时间顺序捕获图像的时间复用图像传感器可以在HDR相机102中实施为HDR图像传感器150。更一般地，HDR图像传感器150可以被配置为生成相同场景的分别在三个或更多个不同曝光时间捕获的三个或更多个不同图像。方法700、800和900中的每一个都容易地扩展以处理在三个或更多个不同曝光时间捕获的图像数据。
图15图示了用于基于在三个或更多个不同曝光时间捕获的输入图像使用预组合去噪来生成HDR图像的一种方法1500。方法1500可以由去噪HDR图像生成器100来执行。方法1500是方法700到三个或更多个不同曝光时间的扩展。去噪HDR图像生成器100、去噪HDR图像生成器1000和系统1100中的每一个都可以适于执行方法1500。
方法1500包括步骤1510、1530和1550，所述步骤可以分别由去噪器110、缩放模块122和合并模块124来执行。在下文中，在单色HDR成像(即，仅处理单个颜色通道)的上下文中讨论方法1500。然而，方法1500容易地扩展到彩色HDR图像，例如以类似于上文参考图8和图9所讨论的方式。
方法1500接收分别在三个或更多个不同曝光时间捕获的三个或更多个曝光时间特定图像作为输入。在最短曝光时间捕获的曝光时间特定图像被称为最短曝光时间图像。在最长曝光时间捕获的曝光时间特定图像被称为最长曝光时间图像。不是最长曝光时间图像的任何曝光时间特定图像都被称为较短曝光时间图像。不是最短曝光时间图像的任何曝光时间特定图像都被称为较长曝光时间图像。例如，在方法1500接收图像170S、170M和170L的情况下，(a)图像170S是最短曝光时间的图像，(b)图像170L是最长曝光时间图像，(c)图像170S和170M都是较短曝光时间图像，并且(d)图像170M和170L都是较长曝光时间图像。
对每个较短曝光时间图像单独执行步骤1510。步骤1510的每个这样的实例都类似于步骤710。对于每个较短曝光时间图像，步骤1510至少部分地基于从最长曝光时间图像获得的结构信息对较短曝光时间图像进行去噪。在步骤1510的一个示例中，去噪器110至少部分地基于从图像170L获得的结构信息对图像170S和170M中的每一个进行去噪。步骤1510可以包括分别类似于步骤712和714的步骤1512和1514中的一个或两者。
步骤1512将引导滤波器应用于较短曝光时间图像，例如，图像170S或170M。引导滤波器使用最长曝光时间图像(例如，图像170L)作为其引导。步骤1512的引导滤波器例如是联合引导滤波器或联合双边滤波器，或本领域已知的不同类型的引导滤波器(参见上文参考图7的讨论)。
步骤1514适配较短曝光时间图像(例如，在步骤1530中进行后续缩放后的图像170S或170M)的噪声性质以产生与最长曝光时间图像(例如，在步骤1530中进行后续缩放后的图像170L)类似的噪声特性。
步骤1530对除一个曝光时间特定图像之外的所有曝光时间特定图像进行缩放，以使短曝光时间图像和长曝光时间图像处于共同辐射尺度。步骤1530是步骤730到三个或更多个不同曝光时间的扩展。在步骤1530的一个示例中，缩放模块122对图像170S、170M和170L中的至少两个进行缩放以使所有图像170S、170M和170L处于共同辐射尺度。步骤1530在步骤1510之后执行。
步骤1550在步骤1530之后执行，并且合并曝光时间特定图像以生成HDR图像。步骤1550是步骤750到三个或更多个不同曝光时间的扩展。在步骤1550的一个示例中，合并模块124合并图像170S、170M和170L以形成HDR图像180。
方法1500的一个实施例适于补偿合并过程中的运动。方法1500的该实施例进一步包括步骤1540，并且该实施例的步骤1550包括步骤1552。步骤1540和1552分别类似于步骤740和752。步骤1540评估至少一些曝光时间特定图像之间的差异程度。在步骤1540的一个示例中，组合器120比较图像170S、170M和170L中的两个或三个(在由去噪器110进行去噪之前、在由去噪器110进行去噪与由缩放模块122进行缩放之间、或在由缩放模块122进行缩放之后)以评估差异。步骤1540可以产生差异参数D。
步骤1552使用至少部分地取决于在步骤1540中发现的差异程度的组合权重来生成HDR图像作为曝光时间特定图像的线性组合。
方法1500还可以包括对较长曝光时间图像中的一个或多个进行去噪的步骤1520。步骤1520是步骤720到具有三个或更多个不同曝光时间的场景的扩展。步骤1520在步骤1530之前执行。在步骤1520的一个示例中，去噪器110对图像170M和170L中的一个或两者进行去噪。步骤1520可以包括适配缩放的较长曝光时间图像(例如，步骤1530之后的图像170M或170L)的噪声性质以产生与缩放的较短曝光时间图像(例如，步骤1530之后的图像170S或170M)中的一个或多个类似的噪声特性的步骤1522。步骤1522是步骤722到具有三个或更多个不同曝光时间的场景的扩展。步骤1522可以包括将一个或多个较短曝光时间图像的噪声性质混合到较长曝光时间图像中的步骤1524。步骤1524是步骤724到具有三个或更多个不同曝光时间的场景的扩展。在一个实施例中，步骤1524包括将引导滤波器应用于较长曝光时间图像，使用较短曝光时间图像之一作为其引导的步骤1526。步骤1526是步骤726到具有三个或更多个不同曝光时间的场景的扩展。
在不脱离其范围的情况下，方法1500可以以类似于上文参考图1所讨论的缩放模块122与合并模块124的整合的方式来整合步骤1530和1550。
通过图7、图8、图9和图15描述的任何方法可以由处理器执行，例如图11的系统1100的处理器1110。可以在处理器中执行计算机程序以执行上述方法中的任何方法。计算机程序可以包括在非暂态存储器(例如图11中的存储器1120)中编码的机器可读指令(例如图11的指令1130)，以在处理器执行程序时执行上述方法中的任何方法。
特征组合
在不脱离其范围的情况下，上述特征以及以下要求保护的特征可以以各种方式组合。例如，应当理解，本文描述的用于生成HDR图像的一种方法或产品的各方面可以结合或交换本文描述的用于生成HDR图像的另一种方法或产品的特征。以下示例说明了以上所描述的实施例的一些可能的非限制性组合。应当清楚的是，在不脱离本发明的精神和范围的情况下，可以对本文的方法、产品和系统进行许多其他改变和修改：
(A1)一种用于生成HDR图像的方法可以包括：(a)至少部分地基于从长曝光时间图像获得的结构信息对短曝光时间图像进行去噪；(b)在去噪步骤之后，对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度；以及(c)在缩放步骤之后，将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像。
(A2)在如(A1)所述的方法中，去噪步骤可以包括将位置敏感滤波器应用于所述短曝光时间图像，使得对于所述短曝光时间图像的每个局部区域，所述位置敏感滤波器取决于所述长曝光时间图像的对应局部区域的像素值。
(A3)在如(A1)和(A2)所述的方法中的任一种方法中，去噪步骤可以包括将第一滤波器应用于所述短曝光时间图像，其中，所述引导滤波器利用所述长曝光时间图像作为其引导。
(A4)在如(A3)所述的方法中，应用第一引导滤波器的步骤可以包括将所述短曝光时间图像S的去噪版本S'确定为S′＝aL+b，其中，L是所述长曝光时间图像并且系数a和b中的每一个都是所述长曝光时间图像L的位置敏感函数。
(A5)在如(A3)和(A4)所述的方法中的任一种方法中，所述第一引导滤波器可以选自由联合双边滤波器和联合引导滤波器构成的组。
(A6)如(A1)至(A5)所述的方法中的任一种方法可以进一步包括，在缩放步骤之前，使所述短曝光时间图像和所述长曝光时间图像中的至少一个的噪声性质适应所述短曝光时间图像和所述长曝光时间图像中的另一个图像的模拟噪声性质。
(A7)如(A1)至(A6)所述的方法中的任一种方法可以进一步包括，在缩放步骤之前，将所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中。
(A8)在如(A7)所述的方法中，混合步骤可以包括将第二引导滤波器应用于所述长曝光时间图像，所述第二引导滤波器利用所述短曝光时间图像作为其引导。
(A9)在如(A8)所述的方法中，应用第二引导滤波器的步骤可以包括将所述长曝光时间图像L的修改版本L'确定为L′＝cS+d，其中，S是所述短曝光时间图像并且系数c和d中的每一个都是所述短曝光时间图像S的位置敏感函数。
(A10)在如(A9)所述的方法中，所述第二引导滤波器可以选自由联合双边滤波器和联合引导滤波器构成的组。
(A11)在如(A8)至(A10)所述的方法中的任一种方法中，混合步骤可以进一步包括调整所述第二引导滤波器的空间尺度以调整所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中的程度。
(A12)如(A1)至(A11)所述的方法中的任一种方法可以进一步包括：评估所述短曝光时间图像与所述长曝光时间图像之间的差异程度；以及在合并步骤中，使用至少部分地取决于所述差异程度的组合权重来生成所述HDR图像作为所述短曝光时间图像与所述长曝光时间图像的线性组合。
(A13)如(A1)至(A12)所述的方法中的任一种方法可以进一步包括从通过空间复用曝光图像传感器捕获的单个帧中获得所述短曝光时间图像和所述长曝光时间图像。
(A14)在如(A1)至(A13)所述的方法中的任一种方法中，所述短曝光时间图像和所述长曝光时间图像中的每一个可以是由多个颜色分量构成的彩色图像，并且所述方法可以包括(i)对所述多个颜色分量中的每一个单独执行去噪步骤、缩放步骤和合并步骤，以分别为所述多个颜色分量生成多个颜色特定的HDR图像，以及(ii)对所述多个颜色特定的HDR图像进行去马赛克以创建全色HDR图像。
(A15)在如(A1)至(A13)所述的方法中的任一种方法中，所述短曝光时间图像和所述长曝光时间图像中的每一个可以是由多个颜色分量构成的彩色图像，其中，所述颜色分量包括第一颜色，并且所述方法可以包括：(i)对于所述颜色分量中的每一个，执行去噪步骤，其中，所述结构信息是从所述长曝光时间图像的所述第一颜色中获得的；(ii)在对所述颜色分量中的每一个执行去噪步骤之后，对所述颜色分量中的每一个单独执行缩放和合并步骤，以分别为所述多个颜色分量生成多个颜色特定的HDR图像；以及(iii)对所述多个颜色特定的HDR图像进行去马赛克以创建全色HDR图像。
(A16)如(A1)至(A15)所述的方法中的任一种方法可以进一步包括从图像传感器接收所述短曝光时间图像和所述长曝光时间图像，以及将所述HDR图像输出到选自由显示器、非暂态存储器和通信总线构成的组的部件。
(B1)一种用于生成高动态范围HDR图像的产品，所述产品可以包括在非暂态存储器中编码的机器可读指令，其中，所述机器可读指令包括：(a)去噪指令，当由处理器执行时，所述去噪指令至少部分地基于从长曝光时间图像获得的结构信息对短曝光时间图像进行去噪；(b)缩放指令，当由所述处理器执行时，所述缩放指令对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度；(c)合并指令，当由所述处理器执行时，所述合并指令将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像；以及(d)控制指令，当由所述处理器执行时，所述控制指令控制所述处理器(i)取得所述短曝光时间图像和所述长曝光时间图像以及(ii)按以下顺序执行所述去噪指令、所述缩放指令和所述合并指令。
(B2)在如(B1)所述的产品中，所述机器可读指令可以进一步包括由所述去噪指令调用的第一引导滤波器，当由所述处理器执行时，所述去噪指令使用所述长曝光时间图像作为其引导来对所述短曝光时间图像进行去噪。
(B3)如(B1)和(B2)所述的产品中的任一种产品可以进一步包括混合指令，当由所述处理器执行时，所述混合指令将所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中，其中，所述控制指令被配置成当由所述处理器执行时，控制所述处理器在所述缩放指令之前执行所述混合指令。
(B4)在如(B3)所述的产品中，所述机器可读指令可以进一步包括由所述混合指令调用的第二引导滤波器，当由所述处理器执行时，所述混合指令使用所述短曝光时间图像作为其引导来将所述短曝光时间图像的所述噪声性质混合到所述长曝光时间图像中。
(B5)一种HDR相机可以包括(I)空间复用曝光图像传感器，所述空间复用曝光图像传感器被配置为在单个帧中捕获短曝光时间图像和长曝光时间图像，(II)处理器，以及(III)如(B1)至(B4)所述的产品中的任一种产品，所述产品用于当所述机器可读指令由所述处理器执行时从所述单个帧生成HDR图像。
(B6)在如(B5)所述的HDR相机中，所述空间复用曝光图像传感器的位深度可以不超过10位。
(B7)在如(B6)所述的HDR相机中，所述空间复用曝光图像传感器的每个像素的面积可以不超过4平方微米。
在不脱离其范围的情况下，可以对上述设备、系统和方法进行改变。因此，应当注意，包含在以上说明书中并且在附图中示出的内容应当被解释为说明性的而不是限制性的意义。以下的权利要求旨在涵盖本文所描述的一般特征和特定特征，以及本设备、系统和方法的范围的所有陈述在语言上可以被说成落在其间。
可以从以下枚举的示例实施例(EEE)中理解本发明的各个方面：
1.一种用于生成高动态范围(HDR)图像的方法，所述方法包括：
至少部分地基于从长曝光时间图像获得的结构信息来对短曝光时间图像进行去噪；
在去噪步骤之后，对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度；以及
在缩放步骤之后，将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像。
2.如EEE 1所述的方法，去噪步骤包括将位置敏感滤波器应用于所述短曝光时间图像，使得对于所述短曝光时间图像的每个局部区域，所述位置敏感滤波器取决于所述长曝光时间图像的对应局部区域的像素值。
3.如EEE 1或EEE 2所述的方法，去噪步骤包括将第一引导滤波器应用于所述短曝光时间图像，所述引导滤波器利用所述长曝光时间图像作为其引导。
4.如EEE 3所述的方法，应用第一引导滤波器的步骤包括将所述短曝光时间图像S的去噪版本S'确定为S′＝aL+b，其中，L是所述长曝光时间图像并且系数a和b中的每一个都是所述长曝光时间图像L的位置敏感函数。
5.如EEE 3或EEE 4所述的方法，所述第一引导滤波器选自由联合双边滤波器和联合引导滤波器构成的组。
6.如EEE 1至5中任一项所述的方法，进一步包括，在缩放步骤之前，使所述短曝光时间图像和所述长曝光时间图像中的至少一个的噪声性质适应所述短曝光时间图像和所述长曝光时间图像中的另一个图像的模拟噪声性质。
7.如EEE 1至6中任一项所述的方法，进一步包括，在缩放步骤之前，将所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中。
8.如EEE 7所述的方法，混合步骤包括将第二引导滤波器应用于所述长曝光时间图像，所述第二引导滤波器利用所述短曝光时间图像作为其引导。
9.如EEE 8所述的方法，应用第二引导滤波器的步骤包括将所述长曝光时间图像L的修改版本L'确定为L′＝cS+d，其中，S是所述短曝光时间图像并且系数c和d中的每一个都是所述短曝光时间图像S的位置敏感函数。
10.如EEE 9所述的方法，所述第二引导滤波器选自由联合双边滤波器和联合引导滤波器构成的组。
11.如EEE 8至10中任一项所述的方法，混合步骤进一步包括调整所述第二引导滤波器的空间尺度以调整所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中的程度。
12.如EEE 1至11中任一项所述的方法，进一步包括：
评估所述短曝光时间图像与所述长曝光时间图像之间的差异程度；以及
在合并步骤中，使用至少部分地取决于所述差异程度的组合权重来生成所述HDR图像作为所述短曝光时间图像与所述长曝光时间图像的线性组合。
13.如EEE 1至12中任一项所述的方法，进一步包括从通过空间复用曝光图像传感器捕获的单个帧中获得所述短曝光时间图像和所述长曝光时间图像。
14.如EEE 1至13中任一项所述的方法，所述短曝光时间图像和所述长曝光时间图像中的每一个是由多个颜色分量构成的彩色图像，所述方法包括：
对所述多个颜色分量中的每一个单独执行去噪步骤、缩放步骤和合并步骤，以分别为所述多个颜色分量生成多个颜色特定的HDR图像；以及
对所述多个颜色特定的HDR图像进行去马赛克以创建全色HDR图像。
15.如EEE 1至14中任一项所述的方法，所述短曝光时间图像和所述长曝光时间图像中的每一个是由多个颜色分量构成的彩色图像，所述颜色分量包括第一颜色，所述方法包括：
对于所述颜色分量中的每一个，执行去噪步骤，其中，所述结构信息是从所述长曝光时间图像的所述第一颜色中获得的；
在对所述颜色分量中的每一个执行去噪步骤之后，对所述颜色分量中的每一个单独执行缩放和合并步骤，以分别为所述多个颜色分量生成多个颜色特定的HDR图像；以及
对所述多个颜色特定的HDR图像进行去马赛克以创建全色HDR图像。
16.如EEE 1至15中任一项所述的方法，进一步包括：
从图像传感器接收所述短曝光时间图像和所述长曝光时间图像；以及
将所述HDR图像输出到选自由显示器、非暂态存储器和通信总线构成的组的部件。
17.一种用于生成高动态范围HDR图像的产品，所述产品包括在非暂态存储器中编码的机器可读指令，所述机器可读指令包括：
去噪指令，当由处理器执行时，所述去噪指令至少部分地基于从长曝光时间图像获得的结构信息来对短曝光时间图像进行去噪；
缩放指令，当由所述处理器执行时，所述缩放指令对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度；
合并指令，当由所述处理器执行时，所述合并指令将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像；以及
控制指令，当由所述处理器执行时，所述控制指令控制所述处理器(a)取得所述短曝光时间图像和所述长曝光时间图像以及(b)按以下顺序执行所述去噪指令、所述缩放指令和所述合并指令。
18.如EEE 17所述的产品，所述机器可读指令进一步包括由所述去噪指令调用的第一引导滤波器，当由所述处理器执行时，所述去噪指令使用所述长曝光时间图像作为其引导来对所述短曝光时间图像进行去噪。
19.如EEE 17或EEE 18所述的产品，进一步包括混合指令，当由所述处理器执行时，所述混合指令将所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中，所述控制指令被配置成当由所述处理器执行时，控制所述处理器在所述缩放指令之前执行所述混合指令。
20.如EEE 19所述的产品，所述机器可读指令进一步包括由所述混合指令调用的第二引导滤波器，当由所述处理器执行时，所述混合指令使用所述短曝光时间图像作为其引导来将所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中。
21.一种HDR相机，包括：
空间复用曝光图像传感器，所述空间复用曝光图像传感器被配置为在单个帧中捕获短曝光时间图像和长曝光时间图像；
处理器；以及
如EEE 17至20中任一项所述的产品，所述产品用于当所述机器可读指令由所述处理器执行时从所述单个帧生成HDR图像。
22.如EEE 21所述的HDR相机，所述空间复用曝光图像传感器的位深度不超过10位。
23.如EEE 22所述的HDR相机，所述空间复用曝光图像传感器的每个像素的面积不超过4平方微米。

Claims (19)

1.一种用于生成高动态范围(HDR)图像的方法，所述方法包括：
对短曝光时间图像进行去噪，其中，去噪包括
将第一引导滤波器应用于所述短曝光时间图像，所述引导滤波器利用长曝光时间图像作为其引导，
在去噪步骤之后，对所述短曝光时间图像和所述长曝光时间图像中的至少一个进行缩放，以使所述短曝光时间图像和所述长曝光时间图像处于共同辐射尺度；以及
在缩放步骤之后，将所述短曝光时间图像与所述长曝光时间图像合并以生成所述HDR图像。
2.如权利要求1所述的方法，去噪步骤包括将位置敏感滤波器应用于所述短曝光时间图像，使得对于所述短曝光时间图像的每个局部区域，所述位置敏感滤波器取决于所述长曝光时间图像的对应局部区域的像素值。
3.如权利要求1或2所述的方法，其中，应用所述第一引导滤波器的步骤包括将去噪的短曝光时间图像中的像素值确定为在所述去噪的短曝光时间图像中的所述像素值处的所述短曝光时间图像的局部区域中是所述长曝光时间图像中的对应像素值的线性函数。
4.如前述权利要求中任一项所述的方法，其中，应用所述第一引导滤波器的步骤包括将去噪的短曝光时间图像S中的第i个像素值确定为S′S，i＝aSL，i+b，其中，SL，i是所述长曝光时间图像的像素值，并且其中，系数a和b中的每一个取决于所述第i个像素处的所述短曝光时间图像的局部区域中的像素值。
5.如权利要求4所述的方法，其中，所述系数a和b中的每一个都是位置敏感的。
6.如前述权利要求中任一项所述的方法，所述第一引导滤波器选自包括以下各项的滤波器组：联合双边滤波器和联合引导滤波器。
7.如前述权利要求中任一项所述的方法，进一步包括在缩放步骤之前，将第二引导滤波器应用于所述长曝光时间图像，所述第二引导滤波器利用所述短曝光时间图像作为其引导。
8.如权利要求7所述的方法，其中，应用所述第二引导滤波器的步骤包括将去噪的长曝光时间图像中的像素值确定为在所述去噪的长曝光时间图像中的所述像素值处的所述长曝光时间图像的局部区域中是所述短曝光时间图像中的对应像素值的线性函数。
9.如权利要求7或8所述的方法，应用所述第二引导滤波器的步骤包括将去噪的长曝光时间图像L中的第i个像素值确定为S′L，i＝c·SS，i+d，其中，SS，i是所述短曝光时间图像的像素值，并且系数c和d中的每一个取决于在所述第i个像素处所述长曝光时间图像的局部区域中的像素值。
10.如权利要求9所述的方法，其中，所述系数c和d是位置敏感的。
11.如权利要求7至10中任一项所述的方法，所述第二引导滤波器选自包括以下各项的滤波器组：联合双边滤波器和联合引导滤波器。
12.如权利要求7至11中任一项所述的方法，进一步包括调整所述第二引导滤波器的空间尺度以调整所述短曝光时间图像的噪声性质混合到所述长曝光时间图像中的程度。
13.如权利要求1至12中任一项所述的方法，进一步包括：
评估所述短曝光时间图像与所述长曝光时间图像之间的差异程度；以及
在合并步骤中，使用至少部分地取决于所述差异程度的组合权重来生成所述HDR图像作为所述短曝光时间图像与所述长曝光时间图像的线性组合。
14.如权利要求1至13中任一项所述的方法，进一步包括从通过空间复用曝光图像传感器捕获的单个帧中获得所述短曝光时间图像和所述长曝光时间图像。
15.如权利要求1至14中任一项所述的方法，所述短曝光时间图像和所述长曝光时间图像中的每一个是由多个颜色分量构成的彩色图像，所述方法包括：
对所述多个颜色分量中的每一个单独执行去噪步骤、缩放步骤和合并步骤，以分别为所述多个颜色分量生成多个颜色特定的HDR图像；以及
对所述多个颜色特定的HDR图像进行去马赛克以创建全色HDR图像。
16.如权利要求1至15中任一项所述的方法，所述短曝光时间图像和所述长曝光时间图像中的每一个是由多个颜色分量构成的彩色图像，所述颜色分量包括第一颜色，所述方法包括：
对于所述颜色分量中的每一个，至少部分地基于所述长曝光时间图像的第一颜色执行去噪步骤；
在对所述颜色分量中的每一个颜色分量执行去噪步骤之后，对所述颜色分量中的每一个颜色分量单独执行缩放步骤和合并步骤，以分别为所述多个颜色分量生成多个颜色特定的HDR图像；以及
对所述多个颜色特定的HDR图像进行去马赛克以创建全色HDR图像。
17.如权利要求1至16中任一项所述的方法，进一步包括：
从图像传感器接收所述短曝光时间图像和所述长曝光时间图像；以及
将所述HDR图像输出到选自由显示器、非暂态存储器和通信总线构成的组的部件。
18.一种计算机程序产品，包括在非暂态存储器中编码的机器可读指令，以在所述程序由处理器执行时执行如权利要求1至17中任一项所述的方法。
19.一种HDR相机，包括：
空间复用曝光图像传感器，所述空间复用曝光图像传感器被配置为在单个帧中捕获短曝光时间图像和长曝光时间图像；
处理器，所述处理器用于执行如权利要求18所述的计算机程序。
CN202080025950.3A 2019-04-11 2020-04-09 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机 Active CN113632134B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962832617P 2019-04-11 2019-04-11
EP19168612 2019-04-11
US62/832,617 2019-04-11
EP19168612.0 2019-04-11
PCT/US2020/027439 WO2020210472A1 (en) 2019-04-11 2020-04-09 High-dynamic-range image generation with pre-combination denoising

Publications (2)

Publication Number Publication Date
CN113632134A true CN113632134A (zh) 2021-11-09
CN113632134B CN113632134B (zh) 2023-06-13

Family

ID=70465547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080025950.3A Active CN113632134B (zh) 2019-04-11 2020-04-09 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机

Country Status (5)

Country Link
US (1) US11941791B2 (zh)
EP (1) EP3953896A1 (zh)
JP (1) JP7253634B2 (zh)
CN (1) CN113632134B (zh)
WO (1) WO2020210472A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847211A (zh) * 2023-06-13 2023-10-03 广州城建职业学院 一种颜色滤波阵列及插值方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021109047A1 (de) * 2020-04-16 2021-10-21 Panasonic Intellectual Property Management Co., Ltd. Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungssystem
CN112785537A (zh) * 2021-01-21 2021-05-11 北京小米松果电子有限公司 图像处理方法、装置以及存储介质
WO2023205548A1 (en) 2022-04-21 2023-10-26 Dolby Laboratories Licensing Corporation Generating hdr image from corresponding camera raw and sdr images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160050354A1 (en) * 2014-08-12 2016-02-18 Google Technology Holdings LLC High Dynamic Range Array Camera
US20160352995A1 (en) * 2015-05-26 2016-12-01 SK Hynix Inc. Apparatus for generating image and method thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840066B1 (en) 2005-11-15 2010-11-23 University Of Tennessee Research Foundation Method of enhancing a digital image by gray-level grouping
RU2426264C2 (ru) 2009-07-20 2011-08-10 Дмитрий Валерьевич Шмунк Способ улучшения изображений
JP6039188B2 (ja) 2012-02-06 2016-12-07 キヤノン株式会社 画像処理装置および画像処理方法
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9275445B2 (en) 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
WO2015124212A1 (en) 2014-02-24 2015-08-27 Huawei Technologies Co., Ltd. System and method for processing input images before generating a high dynamic range image
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
JP2016201733A (ja) 2015-04-13 2016-12-01 ソニー株式会社 撮像装置、撮像方法、並びにプログラム
US9626745B2 (en) 2015-09-04 2017-04-18 Apple Inc. Temporal multi-band noise reduction
US9521351B1 (en) 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
CN105354805B (zh) 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
US9860456B1 (en) 2016-11-11 2018-01-02 Motorola Mobility Llc Bayer-clear image fusion for dual camera
US11922639B2 (en) 2018-06-07 2024-03-05 Dolby Laboratories Licensing Corporation HDR image generation from single-shot HDR color image sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160050354A1 (en) * 2014-08-12 2016-02-18 Google Technology Holdings LLC High Dynamic Range Array Camera
US20160352995A1 (en) * 2015-05-26 2016-12-01 SK Hynix Inc. Apparatus for generating image and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KRONANDER JOEL ET AL: ""A unified framework for multi-sensor HDR video reconstruction"", ELSEVIER *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847211A (zh) * 2023-06-13 2023-10-03 广州城建职业学院 一种颜色滤波阵列及插值方法
CN116847211B (zh) * 2023-06-13 2024-03-08 广州城建职业学院 一种颜色滤波阵列的插值方法

Also Published As

Publication number Publication date
US11941791B2 (en) 2024-03-26
EP3953896A1 (en) 2022-02-16
JP7253634B2 (ja) 2023-04-06
WO2020210472A1 (en) 2020-10-15
US20220198625A1 (en) 2022-06-23
CN113632134B (zh) 2023-06-13
JP2022525853A (ja) 2022-05-20

Similar Documents

Publication Publication Date Title
EP3847800B1 (en) Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensors
EP2987135B1 (en) Reference image selection for motion ghost filtering
CN102077572B (zh) 用于在成像系统中防止运动模糊和重影的方法及装置
CN113632134B (zh) 用于生成高动态范围图像的方法、计算机可读存储介质和hdr相机
EP3847799B1 (en) Auto exposure of image sensors based upon entropy variance
CN103854259B (zh) 图像处理设备以及处理图像的方法
US20110097008A1 (en) Method for processing a digital object and related system
WO2014112291A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN113228094A (zh) 图像处理器
CN112969005A (zh) 用于处理图像的方法和系统
JP6598479B2 (ja) 画像処理装置、その制御方法、および制御プログラム
Lee et al. Image contrast enhancement using classified virtual exposure image fusion
CN110557572B (zh) 一种图像处理方法、装置及卷积神经网络系统
CN114549383A (zh) 一种基于深度学习的图像增强方法、装置、设备及介质
CN112927162A (zh) 一种面向低照度图像的增强方法及系统
JP2013128212A (ja) 画像処理装置および撮像装置並びにその方法
EP3547251B1 (en) Dynamic range extension of partially clipped pixels in captured images
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN117670706A (zh) 用于生成经摩尔纹校正的图像文件的方法和相机设备
CN117635462A (zh) 一种图像处理方法、装置和图像传感器
CN117115018A (zh) 一种考虑真实噪声和伪影的微光图像增强方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant