CN105323497A - 恒定包围的高动态范围（cHDR）操作 - Google Patents

恒定包围的高动态范围（cHDR）操作 Download PDF

Info

Publication number
CN105323497A
CN105323497A CN201510247222.8A CN201510247222A CN105323497A CN 105323497 A CN105323497 A CN 105323497A CN 201510247222 A CN201510247222 A CN 201510247222A CN 105323497 A CN105323497 A CN 105323497A
Authority
CN
China
Prior art keywords
image
tone mapping
mapping image
exploded view
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510247222.8A
Other languages
English (en)
Other versions
CN105323497B (zh
Inventor
张雪梅
M·蒂考
白英俊
F·A·巴卡伊
F·里卡迪
陈隽青
P·M·胡渤
G·E·威廉姆斯
T·S·萨奇斯
梁勇方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN105323497A publication Critical patent/CN105323497A/zh
Application granted granted Critical
Publication of CN105323497B publication Critical patent/CN105323497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了恒定包围的高动态范围(cHDR)操作，具体公开了在适合场景时采集并处理高动态范围(HDR)图像的系统、方法和计算机可读介质。在适合时，按曝光稍微不足的单个曝光值采集多个图像(形成恒定包围HDR采集序列)，并且局部色调映射(LTM)被应用于每个图像。局部色调映射图和直方图信息能够被用来生成能够在融合操作过程中使用的噪声放大掩模。按照所公开的方式来获得并融合的图像提供了具有改善的噪声和去重影特性的高动态范围。

Description

恒定包围的高动态范围（cHDR）操作
技术领域
本公开内容一般地涉及数字摄影领域。更具体地，本发明涉及用于在适合场景时采集和处理高动态范围图像的技术。如同本文所使用的，术语数码相机、数字成像系统或设备等意指具有采集数字图像(静止图像和视频)的能力的任何设备、装置或系统。
背景技术
现今，许多个人电子设备都配备有数字相机。说明性的个人电子设备包括但不限于移动电话、个人数据助理、便携式音乐播放器、笔记本计算机系统、桌面计算机系统、平板计算机系统及诸如手表和眼镜的可穿戴电子设备。在这些类型的设备中使用的图像传感器通常具有相对较小的动态范围。也就是，它们在单个图像中采集从完全黑暗到充满日光的光照范围的能力是有限的。消费级的传感器通常仅提供8-10位的分辨率。这样的传感器能够区分256-1024个不同的亮度级别(假定没有噪声)；256-1024通常是不足以充分表示它们所曝光的光照范围的数量。场景超出传感器/相机的动态范围的一个结果是：像素被裁剪掉。随着所裁剪的像素的数量增加，会到达图像变得看上去并不悦目的点。
高动态范围成像(HDRI或HDR)是由数字采集系统用来再现比使用标准的单图像采集技术可能达到的动态范围更大的动态范围的一系列技术。具体地，HDR图像一般通过采集多个标准图像来实现，通常利用包围曝光，在包围曝光中每个图像均按不同的曝光值来采集，然后多个标准图像被合并成单个HDR图像。在提供具有扩展的动态范围的图像的同时，这些操作并不是任意使用的。当试图将具有不同的曝光水平的各个采集图融合成HDR图像时，当场景中存在对象运动时则很难避免重影，即使使用了先进的去重影技术。这是包围曝光HDR操作的根本局限。由于该局限，因而仅在需要时才采用HDR技术是很重要的。
发明内容
本公开内容涉及执行新颖的HDR采集序列的系统、方法和计算机可读介质。在一种实施例中，本发明公开的主题提供获得第一曝光值(被选择来对场景进行与中间或EV0曝光值相关的不足曝光)的方法，该方法然后可以被用来采集场景的多个图像，所有图像采集都按第一曝光值。然后，对于每个采集的图像都可以获得一个或多个色调映射图(其中每个图像都具有相同数量的色调映射图)。在每个图像与多于一个色调映射图关联时，每个色调映射图都可以与图像的不同区域关联。在一种实施例中，色调映射图可以从配置为与设备的图像采集电路一起工作的专用硬件获得。每个色调映射图都可以被应用于其相应的采集图像(或者它的一部分)以生成色调映射的图像，并且在某些情况下生成噪声信息(每个采集图像一个色调映射的图像)。在某些实施例中，每个图像同样可以用相应的(亮度)直方图来获得(每个色调映射图都具有相应的直方图)。在此类情况下，可以为每个色调映射的图像基于该色调映射的图像的相应色调映射图和直方图来生成噪声放大掩模。为了清晰起见，如果获得了用于每个图像的多个色调映射图和(亮度)直方图，则每个直方图对应于其相应图像的不同部分或区域，正如每个色调映射图那样。像色调映射图一样，直方图可以由专用硬件生成。高动态范围的输出图像可以通过根据两个或更多个色调映射的图像的相应的噪声放大掩模来融合这两个或更多个色调映射的图像而生成。在一种实施例中，被融合的色调映射的图像可以首先被分解(例如，经由金字塔或小波分解)，在分解的图像中的相应层根据所分解图像的噪声放大掩模之一或两者来结合。最后，色调映射的图像的各个融合层可以被重构以生成可以存储于存储器内的和/或进行显示的HDR合成图像。
附图说明
图1以流程框图的形式示出了根据一种实施例的恒定包围HDR(cHDR)操作。
图2以流程图的形式示出了根据一种实施例的由局部色调映射图得出的噪声放大掩模生成操作。
图3以流程图的形式示出了根据一种实施例的图像融合操作。
图4以框图的形式示出了根据一种实施例的电子设备。
具体实施方式
本公开内容涉及在适合场景时使用新颖的HDR采集序列来采集并处理高动态范围(HDR)图像的系统、方法和计算机可读介质。一般地，公开了用于按单个曝光值(被选择来对场景进行稍微不足的曝光)采集多个图像的技术。局部色调映射(LTM)可以被应用于每个图像并且结合图像亮度信息来使用，以使噪声放大掩模显影以便在融合操作过程中使用。按照所公开的方式来获得并融合的图像提供了具有改善的噪声和去重影特性的高动态范围。
出于解释的目的，在下面的描述中阐述了众多具体的细节，以便提供关于所公开的概念的全面理解。作为该描述的一部分，本公开内容的一些附图以框图的形式来表示结构和设备，以便避免使所公开的概念的新颖的方面变得晦涩难懂。为了清晰起见，并非实际实现方式的全部特征都进行描述。而且，在本公开内容中使用的语言主要出于可读性和指导的目的而选择，而并非为了划定或限制本发明的主题而选择，诉诸于为确定该发明的主题所必需的权利要求书。在本公开内容中对“一种实施例”或“实施例”的引用意指结合该实施例来描述的特定特征、结构或特性包含于本公开的主题的至少一种实施例中，并且对“一种实施例”或“实施例”的多个引用不应被理解为一定是全部引用同一实施例。
将意识到，在任何实际实现方式的开发中(例如，在任何软件和/或硬件开发项目中)，必须做出众多的决定以实现开发者的具体目标(例如，符合系统相关及业务相关的约束)，并且这些目标在不同的实现方式间可以是不同的。还将意识到，这样的开发工作可能是复杂的且耗时的，但是对本领域技术人员而言在设计中仍然是惯例任务的是：图像采集与处理系统的实现方式拥有本公开内容的好处。
参照图1，根据一种实施例的恒定包围HDR(cHDR)操作100最初接收HDR得分(框105)。例如，HDR得分可以表示根据当前曝光值采集的图像将会具有大量的裁剪像素的可能性。如同本文所使用的，术语“裁剪像素”指其值比指定的裁剪阈值大的像素。在使用8个位来表示每个像素通道的实施例中，如果裁剪阈值为255，则其值为255的任何像素通道都可以被认为是要裁剪的。在另一种实施例中，如果裁剪阈值为247，则其值大于247的任何像素通道都可以被认为是要裁剪的。应当理解，所采用的裁剪阈值可以至少取决于所选择的具体图像传感器以及图像采集设备的期望用途是什么。如果HDR得分指示EV0(由例如自动曝光模块或系统返回的曝光值)将会产生数量可接受的剪裁像素(框110的“否”分支)，则图像可以根据非HDR过程使用EV0来采集(框115)。如果HDR得分指示EV0将会产生数量不可接受的剪裁像素(框110的“是”分支)，则曝光值可以被设定为对场景进行稍微不足的曝光(表示为EV-)，以便使剪裁像素的数量减少到可接受的水平(框120)。在一种实施例中，EV-可以被设定为比由EV0指示的档数小1/2档。在另一种实施例中，EV-可以被设定为比由EV0指示的档数小一整档。一般地，使曝光值偏移的量可以由具体的图像采集系统的具体品质(例如，操作特性)以及该系统的预期用途来确定。如同本文所使用的，“档(stop)”或“f档(f-stop)”指的是图像采集设备的F数(设备焦距与其孔径直径之比)。所选的EV-可以被用来采集场景的多个图像(框125)。也就是，指定数量的图像(也称为帧)被依次采集——每个图像都使用根据框120确定的EV-。在一种实施例中，指定的帧数可以是3。在另一种实施例中，指定的帧数可以是4。更一般地，所采集的帧数能够是任何合理的数字，该数字由可用的采集与处理时间约束以及从融合中获得的去噪收益来确定。每个采集的图像然后可以被局部色调映射(框130)。局部色调映射(LTM)可以使用与图像采集设备的选定操作环境和目标相关的且对其有利的任何色调映射操作。一般地，局部色调映射修改图像像素的噪声特性——在某些像素中放大噪声以及在其他像素中减小噪声。在一种实施例中，例如，局部色调映射操作可以被选择以便使每个图像的平均亮度返回到与若按EV0采集图像可能得到的值近似相等的值。在另一种实施例中，LTM操作可以被选择以便使每个图像的中值亮度返回到与若按EV0采集图像可能得到的值近似相等的值。还可以使用每个图像的LTM(与图像的光度信息结合)来生成噪声放大掩模(框135)，该噪声放大掩模然后可以被用来在融合图像(框140)时指导在不同位置处的融合强度以产生输出图像IO(框145)。
在某些实施例中，由根据框125的动作提供的图像同样可以具有多个相应的LTM色调曲线(以下称为色调曲线)和多个光度直方图(以下称为直方图)。一般地，每个采集的图像都可以具有m×n个相应的色调曲线以及m×n个相应的直方图。在一种实施例中，光度指的是估计的亮度，然而在其他实施例中，光度可以指的是图像的通道值的加权和(例如，图像的红色、蓝色及绿色通道值的加权和)。在还有一些其他实施例中，光度的选定形式可以被进一步调整以符合目标实现方式的需要。
一般地，如果给噪声放大掩模生成操作135提供的每个图像都具有pr行和pc列像素，并且每个图像都具有m×n个色调曲线和m×n个直方图，每个色调曲线和每个直方图表示(pr÷m)×(pc÷n)个像素的图像区域。作为示例，在图像为3008×2000个像素(6百万像素)并且m＝8且n＝4的实现方式中，每个图像将会具有32个相应的色调曲线，并且每个图像具有32个相应的直方图，每个色调曲线和每个直方图代表376×500个像素的图像区域。按照类似的方式，在图像为3264×2448个像素(8百万像素)并且m＝8且n＝6时，每个图像都将会具有48个相应的色调曲线，每个色调曲线将会代表408×408个像素的图像区域。
参照图2，根据一种实施例的噪声放大掩模生成操作135可以接收色调映射图集合200和直方图集合205(框210)。在一种实施例中，对于每个采集的图像将会存在1个色调映射图以及1个直方图。在另一种实施例中，对于每个图像存在多个色调映射图和多个直方图(例如，m×n个色调曲线以及m×n个直方图)。使用对于特定实现方式的目标有意义的且有益的任何关系将色调映射图200与直方图205结合(框215)会产生噪声放大掩模220(以下称为掩模)。在形式上：
M＝f(T,H)，公式1
其中M表示掩模集合220，T表示所有色调曲线的集合200，H表示所有直方图的集合205，而f()是通用函数。在一种特定的实施例中，例如：
公式2
其中M如上文所述的那样，表示根据直方图估计出的总计亮度值，而表示基于色调曲线与对应的色调输出值。
一般地，如果噪声放大掩模的值(即，每个掩模的m×n个值之一)小于1，则与该掩模值对应的图像像素使它们的噪声通过局部色调映射操作来减小。如果掩模的值大于1，则与该掩模值对应的图像像素使它们的噪声通过局部色调映射操作来增大，并且如果掩模的值为1，则与该掩模值对应的图像像素的噪声没有通过局部色调映射操作来改变。应当理解，在实际的实现方式中，关于具体的掩模值是在1之上还是在1之下的确定能够使用误差阈值Δ。在一种实施例中，比1+ΔU大的值可以被认为是大于1，而比1-ΔL小的值可以被认为是小于1，其中ΔU和ΔL的值可以按经验来确定。在某些实施例中，ΔU可以等于ΔL，而在其他实施例中，它们可以是不同的。因为掩模的分辨率通常低于其相应的图像，所以需要做出关于如何处理由给定的掩模值表示的所有像素的决定。在一种实施例中，在与掩模值对应的区域内的每个像素可以被分配该掩模的值。在另一种实施例中，在与掩模值对应的区域内的一个或多个中心像素可以被分配该掩模的值，而在该区域内的所有其他像素的值是从中心像素内插的值。虽然将掩模的值指定给其相应的像素的任何适当的方法都可以采用，但是能够有收益的是所采用的方法在不同区域之间的边界处得出相同的值。例如，如果区域A和B邻接，则用来确定区域A的像素的值的方法以及用来确定区域B的像素的值的方法对于构成区域A和B之间的边界的那些像素都应当得出相同的值。
在一种实施例中，可以表示由H确定的相应的图像区域的中值亮度。在另一种实施例中，可以表示由H确定的相应的图像区域的平均亮度。在又一种实施例中，可以表示由H确定的相应的图像区域的加权平均亮度，其中权重可以是关于整个图像的区域位置的函数。例如，在图像的中心处的区域与图像外周上的区域相比可以被赋予更大的权重。
现在参照图3，根据一种实施例的图像融合操作140首先选择根据框125采集的图像之一作为参考图像，并且除此以外，还选择图像的相应掩模(框300)。该选择可以基于对于具体的实现方式有意义的任何准则或度量。例如，在一种实施例中，可以选择由自动对焦过程确定的“最锐利”图像。在另一种实施例中，可以选择被确定为具有最大对比度的图像。在又一种实施例中，可以选择被判断为由例如运动传感器(例如，陀螺仪或加速计)确定的具有最小关联的设备运动的图像。所选的参考图像可以被分解以为融合作准备(框305)。然后可以选择来自采集图像的第一非参考图像(框310)，连同其相应的掩模以及其分解图像一起(框315)。虽然对于所公开的主题的实现是不必要的，但是通过根据框305和315的动作来分解的图像可以使用带通金字塔(拉普拉斯算子)分解方案。一般地，可以使用大量其他多尺度图像分解方案中的任一种，包括但不限于小波和曲波(curvelet)分解。一旦两种图像都被分解，它们就可以根据所选的图像的掩模而被逐层融合(框320)。在一种实施例中，如果R(l)表示参考图像的金字塔的第l层，而表示每个输入图像的金字塔的第l层(不同于参考图像)，与所融合的金字塔的层l对应的输出可以由下式给出：
公式3
其中表示第k个输入图像的第l层的加权函数，并且可以用函数描述为：
Wk＝f(R-Ik,σ)，公式4
其中f()是关于其第一自变量的绝对值的递减函数，并且其值一般在0和1之间。在一种说明性的实施例中，f()可以由下式给出：
公式5
其中τ表示可以被调整以实现在噪声与重影伪像之间的期望的视觉权衡的调整因子(一般基于大量的测试图像)，而σ表示等效的噪声标准差，σ的值可以由下式给出：
公式6
在此，MR表示在当前的像素和层的参考图像掩模的值，Mk表示在当前的像素和层的第k输入图像掩模，σR表示在当前的像素和层的参考图像的噪声标准差，而σk表示在当前的像素和层的第k输入图像的噪声标准差。当参考及当前选择的图像的每个像素和每层按照这种方式来处理时，所产生的融合图像可以根据其金字塔层来重构。公式3、4、5和6指在金字塔的给定层的单个像素的权重计算(像素坐标(x，y)已经被省略以简化表示)。在公式4、5和6中，层符号“(l)”同样已经被省略以简化表示。在公式6中标识的掩模被假定为缩放到特定的金字塔层的分辨率。正因如此，在该特定的金字塔层中的每个像素处都存在着每个掩模的值，并且该值被用来根据公式3计算在该像素中的噪声。已经发现，掩模MR和Mk在图像之间通常并不是相差很大。该认识可以被用来通过仅使用参考掩模来减少cHDR操作100所需的计算时间。采取这种方法会略微改变公式3；使得Mk等于MR。
随着参考图像与当前选择的图像的融合完成(框320)，可以进行检查以确定是否根据框125采集的所有图像都已经被处理(框325)。如果至少一个输入图像还没有被处理(框325的“否”分支)，则下一个未处理的图像(不是参考图像)以及其相应的掩模被选择(框330)，随后处理在框315继续进行。如果所有的输入图像都已经被处理(框325的“是”分支)，则输出图像IO(框145)可以根据最终的输出金字塔来重构(框130)。
通过按EV-采集所有图像(对于大部分的采集图像使用比常规的HDR过程更短的曝光时间)，cHDR操作100与先前的HDR技术相比呈现出了较小的帧到帧模糊(frame-to-frameblur)。使用单个曝光时间还会使得去重影和融合更加鲁棒。例如，因为根据cHDR操作100采集的所有图像都具有共同的曝光时间，所以可以使用更加积极的融合操作。常规的HDR过程一般地必须考虑不同图像之间的亮度变化(由它们不同的曝光值导致)，因为这会导致同一对象在每个图像中看起来是不同的，使得去重影变得更困难。此外，通过对在图像处理序列中较早的输入图像进行色调映射，根据本公开内容的cHDR操作还会在其他处理，比如进一步色调映射以供输出(这通常会减小图像的位深度)，之前“提升(lift)”图像的固有暗区。这允许在图像处理过程中保留更多的信息。与常规的HDR操作相比，这进而允许在最终的输出图像中更好地保持(恢复)阴影区。
参照图4，图中示出了根据一种实施例的说明性的电子设备400的简化的功能框图。电子设备400能够是例如移动电话、个人媒体设备、便携式相机和/或视频摄像机、平板计算机系统、笔记本计算机系统、桌面计算机系统，或者诸如手表或眼镜的可穿戴电子设备。如图所示，电子设备400可以包含图像传感器405、图像信号处理(ISP)管道410、处理器单元415、显示器420、存储器425、存储装置430和传感器435。图像传感器405可以是例如电荷耦合器件(CCD)或者互补型金属氧化物半导体(CMOS)传感器。ISP管道410表示专用硬件，该专用硬件被设计为提供对接收自传感器405的原始图像的多个预先确定的操作，并且将它们放置于存储器425和/或存储装置430和/或显示器420上。处理器单元415表示配置为根据存储于存储器425和/或存储装置430内的指令来处理图像的一个或多个处理器，这些处理器的序列由处理链440表示。说明性的指令包括被设计为至少部分地实现根据本公开内容的操作的那些指令。处理器可以是片上系统，比如见于移动设备中的那些系统，并且能够包含基于精简指令集计算机(RISC)或复杂指令集计算机(CISC)体系结构或者任何其他合适的体系结构的一个或多个中央处理单元，并且可以包含一个或多个处理内核。处理器还可以包含一个或多个专用的图形处理单元(GPU)。显示器420可以被用来显示由传感器405采集的图像，并且还可以提供用户界面，通过该用户界面可以控制电子设备400的许多功能。存储器425可以包括由处理器单元415使用的一个或多个不同类型的介质。例如，存储器425可以包括存储器高速缓存、只读存储器(ROM)，和/或随机存取存储器(RAM)。存储装置430可以存储媒体(例如，音频、图像和视频文件)、计算机程序指令或软件、偏好信息、设备配置信息，以及任何其他合适的数据。存储装置430可以包括一个或多个非瞬时存储介质，包括，例如，磁盘(固定磁盘、软盘和可移动磁盘)和磁带；光介质，比如CD-ROM和数字视频光盘(DVD)；以及半导体存储器设备，比如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)。存储器425和存储装置430可以被用来保留组织成一个或多个模块的且以任何期望的计算机编程语言编写的计算机程序指令或代码。当由例如处理器单元415中的处理器执行时，这样的计算机程序代码可以至少部分地实现本文所描述的一种或多种方法。传感器435表示与电子设备400耦接的一个或多个传感器。说明性的传感器包括但不限于运动传感器(例如，陀螺仪和加速计)、声音传感器和GPS传感器。
许多常规的HDR过程使用处理器单元415将来自ISP410的图像数据转换成不同的格式(例如，RGB格式)，并且在该格式中，执行对齐、去重影和融合操作，包括局部色调映射的应用。根据本公开内容的操作(例如，cHDR操作100)允许ISP410执行局部色调映射和掩模生成操作。只有这时cHDR操作100才融合图像。因为用ISP410来执行大部分的操作，所以所描述的cHDR操作能够比常规的HDR方法更快速并且消耗更少的功率。除此以外，因为cHDR操作100(经由专用硬件410)早早地应用局部色调映射，所以再次与常规的HDR操作相比，在最终的输出图像中的较大的动态范围是可能的。
应当理解，以上的描述意指为说明性的，而非限制性的。材料已经被给出以使得本领域技术人员能够实现并使用所声明的本公开的主题，并且是在特定的实施例的背景下提供的，这些实施例的变型对本领域技术人员而言将是显而易见的(例如，所公开的实施例中的一些可以相互结合起来使用)。例如，色调映射图可以基于函数，而不是如同本文所描述的亮度直方图的平均值和中位值。此外，在某些实施例中可以省略、重复和/或按照与图1、2和3所示的顺序不同的顺序来执行各种步骤、行为或动作。因此，图1、2和3所示的步骤或动作的具体布置不应当被解释为对本公开的主题的范围的限定。因此，本发明的范围应当参考所附的权利要求书连同此类权利要求所赋权的等效形式的完全范围一起来确定。在所附的权利要求书中，术语“包括”和“在其中”各自作为术语“包含”和“其中”的简洁英文等效形式来使用。

Claims (17)

1.一种采集图像的方法，包括：
获得用于图像采集设备的第一曝光值，其中所述第一曝光值适合于对场景进行相对于中间曝光值的不足曝光；
使用所述图像采集设备按所述第一曝光值采集所述场景的多个图像；
获得用于所述多个图像中的每个图像的相应色调映射图；
将每个色调映射图应用于其相应图像以生成相应的多个色调映射图像；
基于每个色调映射图像的相应图像的所述色调映射图来生成用于每个色调映射图像的掩模；
基于每个色调映射图像的掩模来融合所述色调映射图像中的两个或更多个图像，以生成高动态范围HDR合成图像；以及
将所述HDR合成图像存储于存储器内。
2.根据权利要求1所述的方法，其中获得用于所述多个图像中的每个图像的相应色调映射图还包括获得用于所述多个图像中的每个图像的相应光度直方图。
3.根据权利要求2所述的方法，其中生成用于每个色调映射图像的掩模包括：
识别用于所述每个色调映射图像的相应图像的相应色调映射图和光度直方图；以及
基于所述相应色调映射图和光度直方图来生成掩模。
4.根据权利要求2所述的方法，其中每个光度直方图包括每个图像的颜色通道的加权组合。
5.根据权利要求3所述的方法，其中融合所述色调映射图像中的两个或更多个图像包括：
从所述多个色调映射图像中选出第一色调映射图像；
从所述多个色调映射图像中选出第二色调映射图像；
将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及第二分解图像，每个分解图像都具有相应的多个层；
基于所述第一色调映射图像及第二色调映射图像中的每个图像的所述掩模来将所述第一分解图像的每个层与所述第二分解图像的相应层结合，以生成相应的多个融合层；以及
重构所述相应的多个融合层以生成所述HDR合成图像。
6.根据权利要求3所述的方法，其中融合所述色调映射图像中的两个或更多个图像包括：
从所述多个色调映射图像中选出第一色调映射图像；
从所述多个色调映射图像中选出第二色调映射图像；
将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及第二分解图像，每个分解图像都具有相应的多个层；
基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二分解图像的相应层结合，以生成相应的多个融合层；以及
重构所述相应的多个融合层以生成所述HDR合成图像。
7.根据权利要求1所述的方法，其中：
获得用于所述多个图像中的每个图像的相应色调映射图包括获得用于所述多个图像中的每个图像的相应的多个色调映射图；以及
获得用于所述多个图像中的每个图像的相应光度直方图包括获得用于所述多个图像中的每个图像的相应的多个光度直方图。
8.根据权利要求7所述的方法，其中生成用于每个色调映射图像的掩模包括：
识别所述相应的多个色调映射图以及相应的多个光度直方图；以及
基于所述相应的多个色调映射图以及所述相应的多个光度直方图来生成掩模。
9.根据权利要求8所述的方法，其中融合所述色调映射图像中的两个或更多个图像包括：
从所述多个色调映射图像中选出第一色调映射图像；
从所述多个色调映射图像中选出第二色调映射图像；
将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及第二分解图像，每个分解图像都具有相应的多个层；
基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二分解图像的相应层结合，以生成相应的多个融合层；以及
重构所述相应的多个融合层以生成所述HDR合成图像。
10.一种非瞬时程序存储设备，包含存储于其上的指令以使得一个或多个处理器进行以下操作：
获得用于图像采集设备的第一曝光值，其中所述第一曝光值适合于对场景进行相对于中间曝光值的不足曝光；
使用所述图像采集设备按所述第一曝光值采集所述场景的多个图像；
获得用于所述多个图像中的每个图像的相应色调映射图；
将每个色调映射图应用于其相应图像以生成相应的多个色调映射图像；
基于每个色调映射图像的相应图像的所述色调映射图来生成用于每个色调映射图像的掩模；
基于每个色调映射图像的掩模来融合所述色调映射图像中的两个或更多个图像，以生成高动态范围HDR合成图像；以及
将所述HDR合成图像存储于存储器内。
11.根据权利要求10所述的非瞬时程序存储设备，其中使得所述一个或多个处理器获得用于所述多个图像中的每个图像的相应色调映射图的指令还包括使得所述一个或多个处理器获得用于所述多个图像中的每个图像的相应光度直方图的指令。
12.根据权利要求11所述的非瞬时程序存储设备，其中使得所述一个或多个处理器生成用于每个色调映射图像的掩模的所述指令包括使得所述一个或多个处理器进行以下操作的指令：
识别用于所述每个色调映射图像的相应图像的相应色调映射图和光度直方图；以及
基于所述相应色调映射图和光度直方图来生成掩模。
13.根据权利要求12所述的非瞬时程序存储设备，其中使得所述一个或多个处理器融合所述色调映射图像中的两个或更多个图像的所述指令包括使得所述一个或多个处理器进行以下操作的指令：
从所述多个色调映射图像中选出第一色调映射图像；
从所述多个色调映射图像中选出第二色调映射图像；
将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及第二分解图像，每个分解图像都具有相应的多个层；
基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二分解图像的相应层结合，以生成相应的多个融合层；以及
重构所述相应的多个融合层以生成所述HDR合成图像。
14.一种电子设备，包含：
图像采集单元；
显示器；
一个或多个处理器，通信地与所述图像采集单元及所述显示器耦接，并且被配置用于：
获得第一曝光值，其中所述第一曝光值适合于对场景进行相对于中间曝光值的不足曝光，
使得所述图像采集单元按所述第一曝光值采集所述场景的多个图像，
获得用于所述多个图像中的每个图像的相应的色调映射图，
将每个色调映射图应用于其相应图像以生成相应的多个色调映射图像，
基于每个色调映射图像的相应图像的所述色调映射图来生成用于每个色调映射图像的掩模，
基于每个色调映射图像的掩模来融合所述色调映射图像中的两个或更多个图像，以生成高动态范围HDR合成图像；以及
存储器，通信地与所述图像采集单元、所述显示器及所述一个或多个处理器耦接，所述存储器被配置用于存储所述HDR合成图像。
15.根据权利要求14所述的电子设备，其中获得用于所述多个图像中的每个图像的相应色调映射图还包括获得用于所述多个图像中的每个图像的相应光度直方图。
16.根据权利要求15所述的电子设备，其中生成用于每个色调映射图像的掩模包括：
识别用于所述每个色调映射图像的相应图像的相应色调映射图和光度直方图；以及
基于所述相应色调映射图和光度直方图来生成掩模。
17.根据权利要求16所述的电子设备，其中融合所述色调映射图像中的两个或更多个图像包括：
从所述多个色调映射图像中选出第一色调映射图像；
从所述多个色调映射图像中选出第二色调映射图像；
将所述第一色调映射图像及第二色调映射图像中的每个图像分解成第一分解图像及第二分解图像，每个分解图像都具有相应的多个层；
基于所述第一色调映射图像的所述掩模来将所述第一分解图像的每个层与所述第二分解图像的相应层结合，以生成相应的多个融合层；以及
重构所述相应的多个融合层以生成所述HDR合成图像。
CN201510247222.8A 2014-05-30 2015-05-15 恒定包围的高动态范围(cHDR)操作 Active CN105323497B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/292,792 US9344638B2 (en) 2014-05-30 2014-05-30 Constant bracket high dynamic range (cHDR) operations
US14/292,792 2014-05-30

Publications (2)

Publication Number Publication Date
CN105323497A true CN105323497A (zh) 2016-02-10
CN105323497B CN105323497B (zh) 2018-09-11

Family

ID=53404893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510247222.8A Active CN105323497B (zh) 2014-05-30 2015-05-15 恒定包围的高动态范围(cHDR)操作

Country Status (3)

Country Link
US (1) US9344638B2 (zh)
CN (1) CN105323497B (zh)
WO (1) WO2015184208A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198152A (zh) * 2018-02-07 2018-06-22 广东欧珀移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108781260A (zh) * 2016-04-13 2018-11-09 谷歌有限责任公司 用于合成长曝光的现场更新
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
CN114257750A (zh) * 2020-09-23 2022-03-29 苹果公司 向后兼容的高动态范围（hdr）图像

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9740959B2 (en) * 2015-03-13 2017-08-22 Trimble Inc. Acceleration of exposure fusion with pixel shaders
KR102529120B1 (ko) 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
CN106204513B (zh) * 2016-08-15 2019-07-05 厦门美图之家科技有限公司 图像处理的方法、装置和系统
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
DE102017100531A1 (de) * 2017-01-12 2018-07-12 Connaught Electronics Ltd. Verfahren zum Betreiben einer Kamera mit einem ersten Betriebsmodus und einem zweiten Betriebsmodus, Kamera und Kraftfahrzeug
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
CN108270977A (zh) * 2018-03-06 2018-07-10 广东欧珀移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
CN115037884A (zh) 2018-06-01 2022-09-09 苹果公司 用于成像的统一包围曝光方法
CN111050143B (zh) * 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
US11200653B2 (en) * 2019-08-06 2021-12-14 Samsung Electronics Co., Ltd. Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
CN110570496B (zh) * 2019-08-26 2021-03-16 武汉大学 一种基于球谐光照的rgbd图像环境光编辑方法和系统
KR20210123608A (ko) * 2020-04-03 2021-10-14 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
JP2023530728A (ja) * 2020-06-26 2023-07-19 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 適応型輝点減衰を伴う逆トーンマッピング
US11223780B1 (en) * 2020-10-23 2022-01-11 Black Sesame Technologies Inc. Two-stage method to merge burst image frames
US20220222854A1 (en) * 2021-01-13 2022-07-14 Samsung Electronics Co., Ltd. Dynamic calibration correction in multi-frame, multi-exposure capture
CN115760663B (zh) * 2022-11-14 2023-09-22 辉羲智能科技(上海)有限公司 基于多帧多曝光的低动态范围图像合成高动态范围图像的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052101A (zh) * 2006-04-03 2007-10-10 三星Techwin株式会社 用于图像拾取的装置和方法
CN102077572A (zh) * 2008-06-19 2011-05-25 松下电器产业株式会社 用于在成像系统中防止运动模糊和重影的方法及装置
CN103324033A (zh) * 2012-03-23 2013-09-25 盛乐信息技术（上海）有限公司 曝光方法及系统
US20130335596A1 (en) * 2012-06-15 2013-12-19 Microsoft Corporation Combining multiple images in bracketed photography

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008064349A1 (en) * 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
ES2396318B1 (es) 2007-07-25 2013-12-16 Tay HIOK NAM Control de exposicion para un sistema de formacion de imagenes
EP4336447A1 (en) * 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8570396B2 (en) 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8525900B2 (en) 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
WO2011002505A1 (en) * 2009-06-29 2011-01-06 Thomson Licensing Zone-based tone mapping
KR101633460B1 (ko) 2009-10-21 2016-06-24 삼성전자주식회사 다중 노출 제어 장치 및 그 방법
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
US8737736B2 (en) * 2010-12-31 2014-05-27 Microsoft Corporation Tone mapping of very large aerial image mosaic
US8391598B2 (en) * 2011-01-05 2013-03-05 Aptina Imaging Corporation Methods for performing local tone mapping
US8570394B1 (en) 2011-01-18 2013-10-29 Intellectual Ventures Fund 79 Llc Systems, methods, and mediums for adjusting an exposure of an image using a histogram
US8760538B2 (en) 2011-01-21 2014-06-24 Exelis, Inc. Adaptive gain control image processing system and method
US9036042B2 (en) * 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US8881044B2 (en) 2011-07-14 2014-11-04 Apple Inc. Representing ranges of image data at multiple resolutions
US9681062B2 (en) * 2011-09-26 2017-06-13 Magna Electronics Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
EP2613532A1 (en) * 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US9852499B2 (en) * 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
JP6417809B2 (ja) * 2014-03-05 2018-11-07 ソニー株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052101A (zh) * 2006-04-03 2007-10-10 三星Techwin株式会社 用于图像拾取的装置和方法
CN102077572A (zh) * 2008-06-19 2011-05-25 松下电器产业株式会社 用于在成像系统中防止运动模糊和重影的方法及装置
CN103324033A (zh) * 2012-03-23 2013-09-25 盛乐信息技术（上海）有限公司 曝光方法及系统
US20130335596A1 (en) * 2012-06-15 2013-12-19 Microsoft Corporation Combining multiple images in bracketed photography

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘冬梅: "高动态范围图像显示算法的研究", 《中国优秀硕士学位论文全文数据库》 *
谢德红: "高动态范围图像显示再现技术的研究", 《中国博士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108781260A (zh) * 2016-04-13 2018-11-09 谷歌有限责任公司 用于合成长曝光的现场更新
CN108781260B (zh) * 2016-04-13 2019-06-04 谷歌有限责任公司 用于合成长曝光的即时更新
CN108198152A (zh) * 2018-02-07 2018-06-22 广东欧珀移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN114257750A (zh) * 2020-09-23 2022-03-29 苹果公司 向后兼容的高动态范围（hdr）图像
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20150350513A1 (en) 2015-12-03
WO2015184208A1 (en) 2015-12-03
US9344638B2 (en) 2016-05-17
CN105323497B (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN105323497A (zh) 恒定包围的高动态范围（cHDR）操作
EP2987134B1 (en) Generation of ghost-free high dynamic range images
US9826149B2 (en) Machine learning of real-time image capture parameters
JP5615973B2 (ja) 高ダイナミックレンジ画像を捕捉するデバイスの作動法
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
US20180350043A1 (en) Shallow Depth Of Field Rendering
US20200082508A1 (en) Information processing method, information processing apparatus, and recording medium
WO2014197154A1 (en) Methods of image fusion for image stabilizaton
KR102561714B1 (ko) 합성 이미지에서 이미지 데이터 프로세싱
Gryaditskaya et al. Motion aware exposure bracketing for HDR video
EP4218228A1 (en) Saliency based capture or image processing
EP2750391B1 (en) Method, apparatus and computer program product for processing of images
CN113379609A (zh) 一种图像处理方法、存储介质及终端设备
CN116433496A (zh) 一种图像去噪方法、装置和存储介质
JP2015075793A (ja) 画像処理装置及びプログラム
Lee et al. Virtual high dynamic range imaging for robust recognition
CN117726564A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR20220013290A (ko) 오토포커스를 보상하는 방법 및 오토포커스를 보상하는 전자 장치
CN114882436A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN117876237A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant