CN105453134B - 用于图像的动态范围增强的方法和设备 - Google Patents

用于图像的动态范围增强的方法和设备 Download PDF

Info

Publication number
CN105453134B
CN105453134B CN201480045303.3A CN201480045303A CN105453134B CN 105453134 B CN105453134 B CN 105453134B CN 201480045303 A CN201480045303 A CN 201480045303A CN 105453134 B CN105453134 B CN 105453134B
Authority
CN
China
Prior art keywords
image
weight
enhancing
reference picture
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480045303.3A
Other languages
English (en)
Other versions
CN105453134A (zh
Inventor
普拉·卡什·帕布赛
萨布里·拉朱·尚穆根
纳拉辛哈·戈帕尔克里希纳·派
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105453134A publication Critical patent/CN105453134A/zh
Application granted granted Critical
Publication of CN105453134B publication Critical patent/CN105453134B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供一种用于在不影响图像的整体动态范围的情况下用于使用包围式曝光的图像集的内容来增强图像的局部动态范围的方法和设备。在从用户接收到参考图像之后，所述方法允许用户选择参考图像的用于增强的至少一个区域。所述方法还包括通过使用曝光权重来分割参考图像，并从包围式曝光的图像集中选择增强支持图像。此外，所述方法确定参考图像的权重图和增强支持图像的权重图，并使用确定的权重图来产生动态范围增强的参考图像。

Description

用于图像的动态范围增强的方法和设备
技术领域
本公开涉及一种用于增强图像的动态范围的方法和设备，更具体地讲，涉及一种用于使用包围式曝光(exposure bracketed)的图像的内容来增强图像的局部动态范围的方法和设备。
背景技术
图像感测装置(诸如电荷耦合器件(CCD))通常存在于诸如数字相机、扫描仪和视频相机的产品中。当与传统负片产品相比时，这些图像感测装置具有非常有限的动态范围。图像感测装置具有大约五个光圈数的动态范围。
另外，通常情况下，场景由于多个光源而具有非常宽的动态范围(例如，场景的前光部和背光部)。在宽动态范围场景的实施例中，针对被摄体选择合适的曝光经常需要削减图像的另一部分中的数据。因此，与卤化银材质相关的图像感测装置的低动态范围导致由图像感测装置获得的图像的质量低下。因此，图像的一部分可能被过度曝光或曝光不足。
与使用传统相机的单个图像捕获相比，高动态范围(HDR)成像方法提供更高动态范围的图像。HDR成像已成为手持相机和照片编辑工具上的固有功能之一。获得动态范围提高的图像的此方法按不同曝光来捕获相同分辨率的多个静态图像，并将这些图像合并为动态范围提高的单个输出图像。此方法常在数字相机中使用单独的捕获模式和处理路径。
另外，多个捕获的时间接近度受限于从图像传感器读取图像的速度。在捕获之间的更大的时间差距使得在所述捕获之间存在运动(即，不管是与手抖动相关的相机运动，还是对象在场景中移动而导致的场景运动)的可能性增大。运动增加了将多个图像融合为单个输出图像的难度。
另外，来自多个曝光图像的HDR图像产生使阴影增大、提供中间色调和突出的细节，这对于用户的期望而言可能并不是最优的。
另外，被称为辐照度图(radiance map)的此单个输出图像的针对每个像素/通道使用8个比特以上，并且不能被显示在存在于目前装置中的液晶显示器(LCD)或发光二极管(LED)显示器上，并因此必须将色调映射到被称为低动态范围(LDR)图像的8比特表示。用于进行此映射的操作器(被称为色调映射操作器)将辐射度图映射为低动态范围图像。作为此处理的结果，具有相对较小对比度的一些区域可使用比图像的其余部分更少的颜色来呈现。因此，用户可在不影响图像的所述其余部分的情况下使这些区域的动态范围增强。现有技术中存在一些用于增强图像的整个动态范围的方法。
发明内容
技术问题
HDR图像的产生过程使用一个图像来估计相机响应函数(CRF)并获知曝光设置。对于这样的方法，由于运动对象在最终图像中生成被称为“重影”的伪影，因而动态场景构成了挑战。对于动态场景，必需执行附加操作来去除由于场景中的运动对象而引入的重影。此过程被称为去重影，可通过在不进行任何局部移动的情况下从多个曝光图像中的一个或更多个图像中更换运动区域的像素强度来执行。去重影算法被用于减少这种伪影，但是由于图像捕获中的曝光差异，去重影算法可能检测不到重影或错误地检测重影，进而降低了HDR图像质量。
解决方案
此处的实施例的主要目标在于提供一种用于通过使用包围式曝光的图像的内容来增强图像的局部动态范围的方法和设备。
本公开的另一方面在于提供一种用于减少图像的重影效应以提高高动态范围(HDR)图像质量的方法和设备。
为了解决上述缺点，首要目标是提供一种用于增强参考图像的动态范围的方法，所述方法还包括：选择参考图像的用于增强的至少一个区域。所述方法还包括：通过使用曝光权重来分割参考图像。所述方法还包括：从包围式曝光的图像集选择增强支持图像，并确定参考图像的被选择的至少一个区域的权重图和增强支持图像的被选择的至少一个区域的权重图。所述方法还包括：产生动态范围增强的参考图像。
相应地，本公开提供一种用于减少参考图像的重影效应的方法，所述方法还包括：针对重影选择参考图像的至少一个区域，并从包围式曝光的图像集中选择增强支持图像。所述方法还包括：确定参考图像的被选择的区域的权重图和增强支持图像的被选择的区域的权重图，并产生增强的参考图像。
此处的实施例的这些和其它方面在结合以下描述和附图进行理解时将更加清楚和更好理解。但是，应理解，通过示例说明而非限制的方式给出了指示不同实施例及其许多具体细节的以下描述。可在不脱离实施例的精神的情况下，在实施例的范围内做出许多改变和修改，并且此处的实施例包括所有这样的修改。
在着手下面的“具体实施方式”之前，阐述在本专利文档中通篇使用的特定词汇和短语的定义会是有益的：术语“包括”和“包含”及其派生词意指包含而没有限制；意指“和/或”的术语“或”是包含性的；短语“与…相关联的”和“与其相关联的”及其派生词可意指包括、被包括在内、与…相互连接、包含、被包含在内、连接到…或与…连接、耦合到…或与…耦合、与…可通信、与…合作、交织、并置、近似于、被绑定到…或与…绑定、具有、具有…的属性，等等；术语“控制器”意指控制至少一个操作的任何装置、系统或装置、系统的一部分，其中，可在硬件、固件或软件或者硬件、固件和软件中的至少两个的某一组合中实施所述装置。应注意：无论是本地地还是远程地，可集中或分散与任何特定控制器相关联的功能。在本专利文件中通篇提供针对特定词汇和短语的定义，本领域普通技术人员应理解：在许多(如果不是最多的)示例中，所述定义应用于所述限定的词汇和短语的之前以及未来的使用。
有益效果
本公开的用于增强图像的局部动态范围的方法和设备提供许多益处。提供快速、简单和有效的用户交互方式，并且，与包围式曝光的图像集中的其它图像相比，将在所选区域中具有最高曝光权重的图像选为增强支持图像的处理对增强动态范围带来了更多的贡献。除此之外，非对称加权允许对低曝光图像中的较亮区域和高曝光图像中的较暗区域进行优先加权，从而在将增强支持图像与参考图像进行合并时导致高动态范围。此外，所提供的方法和设备提供一种降低用户选择区域的复杂度的基于分割的区域选择。在选择给定区域中的所有像素以及对区域边界进行区分方面更加有效。
附图说明
为了更全面地理解本公开及其优点，现在将结合附图进行以下描述，其中，相同的参考标号表示相同的部分：
图1示出根据在此公开的实施例的用于增强图像的局部动态范围的设备的总体框图；
图2示出根据在此公开的实施例的用于在手动动态范围增强模式下增强图像的局部动态范围的设备的完整框图；
图3示出根据在此公开的实施例的用于在自动动态范围增强模式下增强图像的局部动态范围的设备的完整框图；
图4示出根据在此公开的实施例的用于不同输入图像的预定义权重图的示例；
图5示出解释根据在此公开的实施例的增强图像的动态范围的方法的流程图；
图6示出解释根据在此公开的实施例的在自动动态范围增强模式下进行图像处理的方法的流程图；
图7示出解释根据在此公开的实施例的在手动动态范围增强模式下进行图像处理的方法的流程图；
图8示出解释根据在此公开的实施例的在重影效应减少模式下进行图像处理的方法的流程图；
图9a至图9e示出根据在此公开的实施例的用于增强图像的亮区的动态范围的示例方法；
图10a至图10e示出根据在此公开的实施例的用于增强图像中的暗区的动态范围的示例方法；
图11a至图11d示出根据在此公开的实施例的用于减少图像中的重影效应的示例方法。
具体实施方式
在此专利文档中的以下讨论的图1至图11d以及用于描述本公开的原理的各种实施例仅用于例证说明，不应以任何限制本公开的范围的方式来进行解释。本领域的技术人员将理解，本公开的原理可以以任何适当布置的系统和方法来实现。参照在附图中示出并在以下描述中详细说明的非限制性实施例来更全面地解释此处的实施例及其各种特征和有利细节。公知组件和处理技术的描述被省略，以免不必要地模糊此处的实施例。在此使用的示例仅意图促进对可实践此处的实施例的各种方式的理解，并且还使本领域技术人员能够实践此处的实施例。因此，不应将示例解释为限制此处的实施例的范围。
此处的实施例实现一种用于使用包围式曝光的图像集的内容来增强高动态范围(HDR)图像的所选区域的动态范围并减少图像的重影效应的方法和设备。所述图像集包括按不同曝光范围捕获的同一场景的多个图像。所提供的方法从用户接收参考图像，并选择参考图像的将被增强的期望区域，并将参考图像的区域进行分割。所述方法还能够通过相对于参考图像校正包围式曝光的图像集中的所有图像中的全局位移来补偿图像捕获装置的全局运动(图像捕获装置移动/手抖)。另外，所述方法允许用户选择期望的修正或增强，即，增大或减小这些特定区域的动态范围。使用从包围式曝光的图像集中选择的增强支持图像来校正这些选择的区域。
可选地，在所述方法的一个模式或实现中，基于预定义的曝光权重图来确定在所选区域中的用于增强支持图像的权重。在所述方法的其它模式或实现中，允许用户通过用户接口输入用于增强支持图像的权重，从而对HDR处理提供更精细的用户控制。
与传统系统相比，所述方法允许用户交互地选择图像的期望的区域，从而在不影响图像的整体动态范围的情况下增强这些所选区域的动态范围。通过举例而非限制的方式，相对于根据传统系统实践而将调整全局地应用于图像的所有部分而言，用户可选择仅对图像的某些选择的区域改变亮度或颜色(例如，范围、位移等)。
根据提供的方法，允许用户一次选择具有相似属性或特性的一个或更多个区域来进行修正或增强。通过举例而非限制的方式，图像的区域可包括具有相似曝光或相似颜色的对象或区域。这些对象或区域可包括人脸、纹理区域和同质区域中的至少一种。
在实施例中，捕获装置可以是数字相机、包含相机的移动装置、摄像机、智能电话、平板电脑、电子配件或能够捕获包围式曝光的图像集的任何其它装置。为了描述简单起见，此处未提供本领域普通技术人员已知的执行图像捕获操作的细节。
在实施例中，用户接口可以是触摸机构、鼠标指示器或能够与交互式显示器进行交互的任何其它接口。
贯穿整个描述，术语图像显示模块和交互式显示器能够被互换地使用。
现在参照附图，更具体地讲是参照图1至图8，示出了各种实施例，其中，相同的参考标号在附图中始终表示相应的特征。
图1示出根据在此公开的实施例的本公开的总体框图。附图描绘了图像动态范围增强设备100，其中，图像动态范围增强设备100包括图像捕获模块101、图像显示模块102和图像处理模块103。图像捕获模块101按不同的曝光范围捕获同一场景的多个图像。这些图像包括自动曝光图像、至少一个低曝光图像和至少一个高曝光图像。图像显示模块102允许用户通过不同用户接口与显示器进行交互，并显示接收到的图像和用户期望的包括操作模式的图像编辑功能。通过举例而非限制的方式，根据在此描述的实施例的图像编辑功能包括曝光系数、亮度、色彩饱和度和锐度。图像处理模块103被配置为处理在图像显示模块102上显示的参考图像的所选择的区域以在不影响图像的整体动态范围的情况下增强图像的所选择的区域的局部动态范围。
图2和图3分别示出在自动动态范围增强模式和手动动态范围增强模式下的本公开的设备的实施例。
设备被配置为从用户接收参考图像201作为输入，通过举例而非限制的方式，参考图像可被捕获为自动曝光图像或色调映射的高动态范围图像。交互式显示器102被配置为显示接收到的参考图像，所述设备还允许用户通过接口(通过触摸机构、鼠标指示器或能够与交互式显示器进行交互的任何其它接口)与显示器进行交互。所述设备还被配置为通过用户接口接收针对以下项的用户请求：亮度、动态范围和色彩饱和度的增强、重影效应去除、锐度和其它图像编辑功能。使用用户接口，用户选择参考图像的具有相似属性或特征的多个区域来进行增强。具有相似特征的区域可同时被选择以进行增强，然而具有不同属性的区域可在单独的选择中被增强。可对任意区域执行多次选择以进行增强。
图像处理模块(103)包括区域选择设备、图像选择模块202、权重确定模块205和HDR合成模块206。区域选择设备包括接收参考图像201的图像分割模块204。图像分割模块202被配置为接收参考图像201，并通过确定图像中的所选择的区域的像素簇并使用图4的自动曝光图像的预定义的权重图来基于曝光权重对所选择的区域进行分割。通过举例而非限制的方式，图像分割模块202通过使用曝光权重来分割参考图像201。
图像处理模块103通过使用曝光系数确定模块300确定曝光权重，或者通过使用由用户输入的处于曝光系数或增强系数的形式的权重，来利用多个被不同曝光的图像203增强参考图像201，即，图像处理模块103被配置为根据用户请求分别按自动动态范围增强模式或按手动动态范围增强模式来处理参考图像。
图像选择模块204接收包围式曝光的图像集203、曝光系数和操作模式。在接收后，选择模块204被配置为从曝光图像集中选择合适的增强支持图像，将该增强支持图像与参考图像进行合并以进行用户期望的增强。
权重确定模块205接收选择的增强支持图像和曝光系数，并被配置为产生用于增强支持图像中的所选区域的权重图和参考图像中的所选区域的权重图。在自动动态范围增强模式下，基于图4的低曝光图像和高曝光图像的预定义的非对称曝光权重图来确定用于增强支持图像的权重。在手动动态范围增强模式下，基于处于正百分比或负百分比形式的用户提供的曝光系数来确定增强支持图像的权重图，其中，所述用户提供的曝光系数是经由用户接口通过用户而被接收到的。权重确定模块可在重影去除模式时产生二进制权重，并在动态范围增强模式时产生连续权重。
HDR合成模块206被配置为接收产生的参考图像的权重图和增强支持图像的权重图，然后通过使用曝光融合或色调映射技术来合并被不同曝光的图像以产生增强的HDR图像。
所述设备工作在闭环模式下，其中，在闭环模式下，如果有需要，则产生的HDR图像被提交给交互式显示器以进行进一步的增强。设备还向用户提供保存产生的图像的选项。
图4示出根据在此公开的实施例的用于不同输入图像的预定义的权重图的示例。通过输入图像的加权合并来合成HDR图像。这些权重是从权重图确定的，其中，所述权重图是从不同响应函数产生的数据。权重图可被预先确定并被存储为查看表。使用如数学等式1给出的对称高斯分布函数来产生自动曝光/HDR图像权重图401。
数学等式1
[数学.1]
其中，a是函数的缩放比，b是平均值，c是标准差，x属于间隔(0,1)，其中，间隔(0,1)被映射为值处于0至255之间的8比特像素表示。
对于自动曝光/HDR权重图401，使用0.5的平均值、1的缩放比和0.5的标准差。此外，可从如数学等式2给出的使用瑞利函数的非对称函数来产生自动曝光图像权重图401。
数学等式2
[数学.2]
其中，α是缩放比参数，该缩放比参数的值通过实验被选择为最适合于用于捕获低曝光图像的传感器响应和曝光时间。f(x,α)可超过缩放比或者数据范围R，或针对如数学等式3给出的所选α的任何归一化。
数学等式3
[数学.3]
使用由数学等式4给出的功率响应函数来产生低曝光图像权重图402。
数学等式4
[数学.4]
f(x)＝mxy,m>0,y>0
其中，m和y分别是缩放比和幂参数，其中，缩放比和幂参数是通过实验被选择的。x表示从像素范围(0,255)映射来的间隔(0,1)。
使用由数学等式5给出的函数来计算高曝光图像权重图403。
数学等式5
[数学.5]
f(x)＝m(1-xy),m>0,y>0
图5示出解释根据在此公开的实施例的本公开的增强图像的动态范围的方法的流程图。如流程图500中所示，在操作501，从用户接收包围式曝光的图像集203，其中，包围式曝光的图像集203包括经过相机的各种曝光等级捕获的同一场景的多个图像。之后在操作502，通过用户接收动态范围将被增强的参考图像，并且该参考图像被提交给交互式显示器102。在操作503，用户通过用户接口与交互式显示器102进行交互，从而选择期望的操作模式，其中，所述期望的操作模式包括自动动态范围增强模式、手动动态范围增强模式和重影效应减少模式。
如在操作504所述的，基于选择的操作模式，图像处理模块103处理接收到的图像201，从而输出动态范围增强后的所述接收到的图像201。如在操作505所述的，与本方法的实施例一致的方法还提供检查产生的增强后的输出图像的质量的选项。如果需要进一步的增强，则如在操作507所述的，所述方法通过将产生的增强后的参考图像考虑为用于进一步增强的参考图像来重复操作504。如果增强后的输出图像满足用户所需的要求，则在操作506，所述方法允许用户保存产生的增强后的输出图像。流程图500中的各种操作可按呈现的顺序、按不同顺序或同时执行。另外，在一些实施例中，图5中所列的一些操作可被省略。
图6示出解释如图5中所描述的图像处理模块在手动动态范围增强模式下的操作(504)的流程图。如流程图600中所示，在操作601，用户与交互式显示器102进行交互，从而选择图像中的将被增强的具有相似特性的至少一个区域。在操作602，接收到的图像101被提交给区域选择设备，进而被提交给图像分割模块202以通过使用预定义的非对称权重图(即，图4的自动曝光或高动态范围图像(AE/HDR图像))确定像素簇来基于曝光权重对图像中的区域进行分割。在操作603，用户输入所选区域的期望的增强系数或曝光系数以及其它图像编辑功能中的至少一个。可使用不同技术来执行分割。通过举例而非限制性的方式，基于曝光权重来执行图像分割。然而，如果所选区域针对于基于对象的增强，则可采用基于颜色或图像纹理的分割。如以上所述，可在用户交互之前对整个图像执行分割。可选地，可通过使用区域生长算法来确定像素簇以在用户所选区域周围执行分割。
如在操作604所述的，在选择了将被增强的区域并接收到所述区域的动态曝光系数或增强系数之后，图像选择模块204通过确定所选区域中的所有像素的平均曝光权重来从包围式曝光的图像集203中选择增强支持图像。如果用户输入了正百分比，则图像选择模块204使用图4的高曝光图像(HE图像)的预定义的非对称权重图来确定多个高曝光捕获图像的在所选区域中的所有像素的曝光权重，并选择具有最高平均曝光权重的高曝光图像作为增强支持图像。如果用户输入了负百分比，则所述方法使用图4的低曝光图像(LE图像)的非对称权重图来确定多个低曝光捕获图像的在所选区域中的所有像素的曝光权重，并选择具有最大曝光权重的低曝光图像作为增强支持图像。例如，如果用户增加所选区域的动态范围，则所述方法选择在所有捕获的高曝光图像中给出最高平均曝光权重的图像，如果用户减小所选区域的动态范围，则所述方法选择在所有捕获的低曝光图像中给出最高平均曝光权重的图像，并将相应图像选为增强支持图像。
响应于在操作604由图像选择模块204选择了增强支持图像，权重确定模块205接收增强支持图像和参考图像。如在操作605所述的，权重确定模块205进一步产生用于这两个图像的权重图。权重确定模块205将用户提供的动态增强系数或曝光系数分配为用于所选区域中的所有像素的权重，并在增强支持图像的未被选择的区域中将零分配为权重以去除增强支持图像的未被选择的区域对参考图像的未被选择的区域的影响。通过针对所选区域和未被选择的区域中的每个像素计算最高可能性的权重与增强支持图像的权重之间的差，来确定用于参考图像201的权重图并将所述计算的差分配为用于参考图像的像素的权重。
响应于在操作605产生了用于参考图像201的权重图和用于增强支持图像的权重图，如在操作606所述的，HDR合成模块206产生通过对接收到的图像201的权重图和增强的动态范围的权重图进行处理来产生动态范围增强的图像。所述处理的操作包括：在用于使用多分辨率高斯金字塔扩散进行平滑融合的有限邻域上对权重图的权重进行平滑。通过限定扩散的等级数来控制平滑的量，然而扩散的等级数又是由所选区域与其邻域的像素之间的平均强度差决定的。强度差越大，则等级数越高。使用高斯金字塔的权重扩散确保在边界处没有任何块效应的情况下对图像进行平滑融合。流程图600中的各种操作可按呈现的顺序、按不同顺序或同时执行。另外，在一些实施例中，图6中所列的一些操作可被省略。
图7示出解释如图5中所描述的图像处理模块在自动动态范围增强模式下的操作(504)的流程图。如流程图700中所示，在操作701，用户与交互式显示器102进行交互，从而选择图像中的将被增强的具有相似特性的至少一个区域。在操作702，接收到的图像被提交给区域选择设备，进而被提交给图像分割模块202以通过使用图4的预定义的非对称权重图(即，自动曝光或高动态范围图像(AE或HDR图像))确定像素簇来基于曝光权重对图像中的区域进行分割。在操作703，所述方法使用图4的预定义的非对称权重图(即，自动曝光或高动态范围图像(AE或HDR图像))，基于参考图像的在所选区域中的所有像素的曝光权重来确定所选区域的动态增强系数300。如上所述，可在用户交互之前对整个图像执行分割，或者，可通过使用区域生长算法来确定像素簇以在用户所选区域周围执行分割。如果期望的区域选择针对于基于对象的增强，则可采用基于颜色纹理的分割。
如在操作704所述的，在操作703选择了将被增强的区域和所述区域的动态曝光系数之后，图像选择模块204通过确定所选区域中的所有像素的曝光权重来从曝光集中选择增强支持图像。图像选择模块204使用预定义的非对称权重图来确定参考图像的在所选区域中的像素的平均曝光权重、捕获的高曝光图像的在所选区域中的像素的平均曝光权重以及捕获的低曝光图像的在所选区域中的像素的平均曝光权重，并选择具有最高平均曝光权重的图像作为增强支持图像。
如在操作705所述的，响应于由图像选择模块204选择了合适的增强支持图像，权重确定模块205接收增强支持图像和参考图像201，并产生用于这两个图像的权重图。权重确定模块205基于图4的预定义的非对称权重图曲线来计算增强支持图像和参考图像的所选区域的所有像素的权重，并将增强支持图像中的未被选择的区域的所有像素的权重分配为零，并将用于参考图像的未被选择的区域的所有像素的权重分配为最大值。
响应于在操作705产生了用于参考图像201的权重图和用于增强支持图像的权重图，如在操作706所述的，HDR合成模块206通过对接收到的图像201的权重图和增强的动态范围的权重图进行处理来产生动态范围增强的图像。所述处理的操作包括：在用于使用多分辨率高斯金字塔扩散进行平滑融合的有限邻域上对权重图的权重进行平滑。通过限定扩散的等级数来控制平滑的量，然而扩散的等级数又是由所选区域与其邻域的像素之间的平均强度差决定的。强度差越大，则等级数越高。使用高斯金字塔的权重扩散确保在边界处没有任何块效应的情况下对图像进行平滑融合。流程图700中的各种操作可按呈现的顺序、按不同顺序或同时执行。另外，在一些实施例中，图7中所列的一些操作可被省略。
图8示出解释如图5中所描述的图像处理模块在重影效应减少模式下的操作(504)的流程图。如流程图800中所示，在操作801，用户与交互式显示器进行交互，从而选择具有重影效应的图像的重影区域。
如在操作802所述的，在选择了至少一个重影区域之后，图像选择模块204通过确定所选区域中的所有像素的曝光权重来从曝光集中选择增强支持图像。图像选择模块204确定高曝光捕获图像的在所选区域中的所有像素的平均曝光权重以及低曝光捕获图像的在所选区域中的所有像素的平均曝光权重，并选择具有最高平均曝光权重的图像作为增强支持图像。
如在操作803所述的，响应于由图像选择模块204选择了合适的增强支持图像，权重确定模块205接收增强支持图像和参考图像201两者，并产生用于这两个图像的权重图。权重确定模块205向增强支持图像中的所选区域中的所有像素分配最大权重，并向该图像中的所有其余的未被选择的区域分配零，并通过颠倒增强支持图像的权重来确定参考图像的权重。
如在操作804所述的，响应于在操作803产生了用于参考图像201的权重图和用于增强支持图像的权重图，HDR合成模块206通过对接收到的图像的权重图和增强的动态范围的权重图进行处理来产生动态范围增强的图像。所述处理的操作包括：在用于使用多分辨率高斯金字塔扩散进行平滑融合的有限邻域上对权重图的权重进行平滑。通过限定扩散的等级数来控制平滑的量，然而扩散的等级数又是由所选区域与其邻域的像素之间的平均强度差决定的。强度差越大，则等级数越高。使用高斯金字塔的权重扩散确保在边界处没有任何块效应的情况下对图像进行平滑融合。
响应于操作804，本方法检查重影的质量，并通过将输出的增强后的图像用作参考图像来重复操作801至804以进一步提高图像质量。如果产生的图像满足所需的要求，则所述方法允许用户保存产生的图像而不再重复方法操作。
图9a至图9e示出了根据在此公开的实施例的用于增强图像的亮区的动态范围的示例方法。图9a和图9b分别示出了由用户捕获的图像的自动图像和HDR图像。用户选择用于动态范围增强的HDR图像的较亮区域，如图9c中所示。响应于区域选择，所提供的方法在所选区域上执行基于曝光的分割，并基于操作模式接收或计算用于这些所选区域的动态曝光系数。图9d描绘了在所选区域上执行分割后的图像。响应于分割后的图像，所述方法从包围式曝光的图像集中选择合适的增强支持图像，从而确定捕获的HDR图像的权重图和增强支持图像的权重图。所述方法进一步产生如图9e中所描绘的动态范围增强的HDR图像。
图10a至图10e示出根据在此公开的实施例的用于增强图像的较暗区域的动态范围的示例方法。图10a和图10b分别示出由用户捕获的图像的自动图像和HDR图像。用户选择用于动态范围增强的HDR图像的较亮区域，如图10c所示。响应于区域选择，所提供的方法在所选区域上执行基于曝光的分割，并基于操作模式接收或计算用于这些所选区域的动态曝光系数。图10d描绘在所选区域上执行分割后的图像。响应于分割后的图像，所述方法从包围式曝光的图像集中选择合适的增强支持图像，从而确定捕获的HDR图像的权重图和增强支持图像的权重图。所述方法进一步产生如图10e中所描绘的动态范围增强的HDR图像。
图11a至图11d示出根据在此公开的实施例的用于减少图像的所选区域中的重影效应的示例方法。图11a和图11b分别示出由用户捕获的图像的自动图像和HDR图像。用户选择HDR图像的用于去重影的区域，如图11c中所示。响应于选择的区域，所述方法从包围式曝光的图像集中选择合适的增强支持图像，从而确定捕获的HDR图像的权重图和增强支持图像的权重图。所述方法进一步产生如图11d中所描绘的动态范围增强的HDR图像。
本公开的用于增强图像的局部动态范围的所述方法和设备提供许多益处。提供快速、简单和有效的用户交互方式，并且，与包围式曝光的图像集中的其它图像相比，将在所选区域中具有最高曝光权重的图像选为增强支持图像的处理对增强动态范围带来了更多的贡献。除此之外，非对称加权允许对低曝光图像中的较亮区域和高曝光图像中的较暗区域进行优先加权，从而在将增强支持图像与参考图像进行合并时导致高动态范围。此外，所提供的方法和设备提供一种降低用户选择区域的复杂度的基于分割的区域选择。在选择给定区域中的所有像素以及对区域边界进行区分方面更加有效。
特定实施例的以上描述在此处如此充分地揭示了实施例的一般性质，使得其他人能够在不脱离一般构思的情况下通过应用当前的知识容易地修改和/或应用各种应用(诸如特定实施例)，因此，这样的应用和修改应该并且意图被包含在所公开的实施例的等同形式的含义和范围内。应理解，在此采用的用词和术语是用于描述的目的而非限制。因此，虽然已根据各种实施例描述了此处的实施例，但是本领域技术人员将认识到，可对此处的实施例进行在描述于此的实施例的精神和范围内的修改。
虽然已用示例实施例描述了本公开，但是可将各种改变和修改建议给本领域技术人员。本公开意图包含落入权利要求的范围内的这样的改变和修改。

Claims (15)

1.一种用于增强参考图像的动态范围的方法，其中，所述方法包括：
选择参考图像的用于增强的至少一个区域；
通过使用曝光权重来分割参考图像的被选择的至少一个区域；
从包围式曝光的图像集选择在被选择的至少一个区域中具有最高曝光权重或最高平均曝光权重的图像作为增强支持图像；
确定参考图像的被选择的至少一个区域的权重图和增强支持图像的被选择的至少一个区域的权重图；
通过对确定的参考图像的被选择的至少一个区域的权重图和确定的增强支持图像的被选择的至少一个区域的权重图进行处理来产生动态范围增强的参考图像。
2.根据权利要求1所述的方法，其中，所述包围式曝光的图像集包括按不同曝光范围捕获的同一场景的多个图像。
3.根据权利要求2所述的方法，其中，所述多个图像包括自动曝光图像、至少一个低曝光图像和至少一个高曝光图像。
4.根据权利要求3所述的方法，其中，参考图像是自动曝光图像和色调映射的高动态范围图像中的至少一个。
5.根据权利要求3所述的方法，其中，分割参考图像的操作是使用自动曝光图像的预定义的非对称权重图来执行的，
其中，所述非对称权重图是对低曝光图像中的较亮区域和高曝光图像中的较暗区域进行优先加权的权重图。
6.根据权利要求1所述的方法，其中，参考图像的被选择的区域包括具有相似曝光和相似颜色之一的区域。
7.根据权利要求1所述的方法，其中，所述方法还包括：向用户提供用于输入期望的图像编辑功能的选项，其中，所述选项包括局部动态范围增强系数、区域的曝光系数和期望的操作模式中的至少一个。
8.根据权利要求7所述的方法，其中，所述期望的操作模式包括手动动态范围增强模式、自动动态范围增强模式和重影效应减少模式中的至少一个。
9.根据权利要求8所述的方法，其中，在所述自动动态范围增强模式下选择增强支持图像的步骤包括：
使用预定义的非对称权重图，确定在参考图像的被选择的区域中的所有像素的平均曝光权重、在捕获的高曝光图像中的每一个高曝光图像的被选择的区域中的所有像素的平均曝光权重以及在捕获的低曝光图像中的每一个低曝光图像的被选择的区域中的所有像素的平均曝光权重；
选择具有最高平均曝光权重的图像作为增强支持图像，
其中，所述非对称权重图是对低曝光图像中的较亮区域和高曝光图像中的较暗区域进行优先加权的权重图。
10.根据权利要求8所述的方法，其中，在所述手动动态范围增强模式下选择增强支持图像的步骤包括：
从用户接收用于被选择的区域的动态范围增强系数，其中，接收到的动态范围增强系数是正百分比和负百分比之一；
如果用户输入正百分比，则使用高曝光图像的预定义的非对称权重图来确定在捕获的高曝光捕获图像中的每一个高曝光捕获图像的被选择的区域中的所有像素的曝光权重，并选择具有最高曝光权重的高曝光图像作为增强支持图像；
如果用户输入负百分比，则使用低曝光图像的预定义的非对称权重图来确定在捕获的高曝光图像中的每一个高曝光图像的被选择的区域中的所有像素的曝光权重，并选择具有最大曝光权重的低曝光图像作为增强支持图像，
其中，所述非对称权重图是对低曝光图像中的较亮区域和高曝光图像中的较暗区域进行优先加权的权重图。
11.根据权利要求8所述的方法，其中，在所述自动动态范围增强模式下确定参考图像的权重图和增强支持图像的权重图的步骤包括：
基于预定义的非对称权重图来计算增强支持图像和参考图像的被选择的区域的所有像素的权重；
将增强支持图像的未被选择的区域的所有像素的权重分配为零，并将用于参考图像的未被选择的区域的所有像素的权重分配为最大值，
其中，所述非对称权重图是对低曝光图像中的较亮区域和高曝光图像中的较暗区域进行优先加权的权重图。
12.根据权利要求8所述的方法，其中，在所述手动动态范围增强模式下确定参考图像的权重图和增强支持图像的权重图的步骤包括：
将用户提供的动态范围增强系数分配为用于在被选择的区域中的所有像素的权重，并在增强支持图像的未被选择的区域中将零分配为权重；
针对被选择的区域和未被选择的区域中的每一个像素计算最高可能性的权重与增强支持图像的权重之间的差；
将计算出的差分配为用于参考图像的像素的权重。
13.根据权利要求1所述的方法，其中，产生增强的参考图像的步骤包括：
对参考图像的权重图中的权重和增强支持图像的权重图中的权重进行平滑；
将参考图像的权重图和增强支持图像的权重图进行合并和平均以产生增强的参考图像。
14.一种用于减少参考图像的重影效应的方法，其中，所述方法包括：
针对重影选择参考图像的至少一个区域；
从包围式曝光的图像集中选择在被选择的至少一个区域中具有最高平均曝光权重的图像作为增强支持图像；
确定参考图像的被选择的区域的权重图和增强支持图像的被选择的区域的权重图；
通过减少重影效应来产生增强的参考图像。
15.根据权利要求14所述的方法，其中，产生增强的参考图像的步骤包括：
对参考图像的权重图中的权重和增强支持图像的权重图中的权重进行平滑；
将平滑后的参考图像的权重图和平滑后的增强支持图像的权重图进行合并和平均来产生增强的参考图像。
CN201480045303.3A 2013-08-12 2014-08-04 用于图像的动态范围增强的方法和设备 Expired - Fee Related CN105453134B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN3579/CHE/2013 2013-08-12
IN3579CH2013 2013-08-12
KR1020130122017A KR102145201B1 (ko) 2013-08-12 2013-10-14 이미지의 동적 범위 향상을 위한 방법 및 장치
KR10-2013-0122017 2013-10-14
PCT/KR2014/007162 WO2015023074A1 (en) 2013-08-12 2014-08-04 A method and apparatus for dynamic range enhancement of an image

Publications (2)

Publication Number Publication Date
CN105453134A CN105453134A (zh) 2016-03-30
CN105453134B true CN105453134B (zh) 2018-03-27

Family

ID=52578981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480045303.3A Expired - Fee Related CN105453134B (zh) 2013-08-12 2014-08-04 用于图像的动态范围增强的方法和设备

Country Status (5)

Country Link
US (1) US9218653B2 (zh)
EP (1) EP3033731A4 (zh)
KR (1) KR102145201B1 (zh)
CN (1) CN105453134B (zh)
WO (1) WO2015023074A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292825A1 (en) * 2015-04-06 2016-10-06 Qualcomm Incorporated System and method to refine image data
CN105827936B (zh) * 2015-08-28 2019-06-07 维沃移动通信有限公司 一种图像处理方法及移动终端
KR102477522B1 (ko) * 2015-09-09 2022-12-15 삼성전자 주식회사 전자 장치 및 그의 카메라 노출 조정 방법
KR102584187B1 (ko) * 2016-03-30 2023-10-05 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
US10366478B2 (en) * 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
CN105931213B (zh) * 2016-05-31 2019-01-18 南京大学 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
CN106127718B (zh) * 2016-06-17 2018-12-07 中国人民解放军国防科学技术大学 一种基于小波变换的多曝光图像融合方法
CN106157305B (zh) * 2016-06-30 2019-02-15 北京大学 基于局部特性的高动态图像快速生成方法
US9955085B2 (en) 2016-09-22 2018-04-24 Apple Inc. Adaptive bracketing techniques
US10425599B2 (en) * 2017-02-01 2019-09-24 Omnivision Technologies, Inc. Exposure selector for high-dynamic range imaging and associated method
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
JP6921972B2 (ja) * 2017-09-29 2021-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
CN109729269B (zh) * 2018-12-28 2020-10-30 维沃移动通信有限公司 一种图像处理方法、终端设备及计算机可读存储介质
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
WO2020166791A1 (ko) * 2019-02-15 2020-08-20 삼성전자 주식회사 Hdr 영상을 생성하는 전자 장치 및 그 동작 방법
CN110035237B (zh) * 2019-04-09 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN115104120A (zh) * 2019-04-11 2022-09-23 中科创达软件股份有限公司 将低动态范围图像合并为单幅图像的方法及装置
CN110619610B (zh) * 2019-09-12 2023-01-10 紫光展讯通信(惠州)有限公司 图像处理方法及装置
CN111028189B (zh) * 2019-12-09 2023-06-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
EP3836527B1 (en) * 2019-12-13 2021-11-10 Axis AB Multi-sensor high dynamic range imaging
CN111083389B (zh) * 2019-12-27 2021-11-16 维沃移动通信有限公司 一种拍摄图像的方法和装置
CN111353960B (zh) * 2020-03-02 2022-04-26 浙江大学 一种基于区域生长与交叉通道信息的图像紫边校正方法
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
KR20220084578A (ko) 2020-12-14 2022-06-21 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20220114209A (ko) * 2021-02-08 2022-08-17 삼성전자주식회사 연사 영상 기반의 영상 복원 방법 및 장치
CN113362264B (zh) * 2021-06-23 2022-03-18 中国科学院长春光学精密机械与物理研究所 一种灰度图像融合方法
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
US11924563B2 (en) * 2021-12-22 2024-03-05 Qualcomm Incorporated High dynamic range (HDR) photography with in-sensor zoom

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296321A (zh) * 2007-04-24 2008-10-29 索尼株式会社 摄像装置、摄像方法、曝光控制方法和程序
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法
CN103002225A (zh) * 2011-04-20 2013-03-27 Csr技术公司 多曝光高动态范围图像捕捉

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002361210A1 (en) * 2001-12-21 2003-07-09 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
KR100562405B1 (ko) 2004-02-18 2006-03-17 삼성테크윈 주식회사 디지털 카메라의 이미지 수정 방법
US7612804B1 (en) * 2005-02-15 2009-11-03 Apple Inc. Methods and apparatuses for image processing
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
KR101520069B1 (ko) 2008-12-26 2015-05-21 삼성전자 주식회사 관심 영역 기반 영상 처리 장치 및 방법
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5136669B2 (ja) 2011-03-18 2013-02-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296321A (zh) * 2007-04-24 2008-10-29 索尼株式会社 摄像装置、摄像方法、曝光控制方法和程序
CN103002225A (zh) * 2011-04-20 2013-03-27 Csr技术公司 多曝光高动态范围图像捕捉
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Exposure Fusion";Tom Mertens et al;《15th Pacific Conference on Computer Graphics and Applications》;20071231;第382-384页 *

Also Published As

Publication number Publication date
EP3033731A1 (en) 2016-06-22
KR102145201B1 (ko) 2020-08-18
KR20150019985A (ko) 2015-02-25
CN105453134A (zh) 2016-03-30
US20150043811A1 (en) 2015-02-12
WO2015023074A1 (en) 2015-02-19
EP3033731A4 (en) 2017-08-09
US9218653B2 (en) 2015-12-22

Similar Documents

Publication Publication Date Title
CN105453134B (zh) 用于图像的动态范围增强的方法和设备
Rana et al. Deep tone mapping operator for high dynamic range images
US20210272251A1 (en) System and Method for Real-Time Tone-Mapping
CN103002225B (zh) 多曝光高动态范围图像捕捉
CN101959018B (zh) 图像处理设备和图像处理方法
Kolås et al. Spatio-temporal Retinex-inspired envelope with stochastic sampling: a framework for spatial color algorithms
US10628989B2 (en) Photometric image processing
CN109644224A (zh) 用于捕获数字图像的系统和方法
US9483815B2 (en) Systems and methods for computational lighting
CN110008969A (zh) 图像显著性区域的检测方法和装置
US11526067B2 (en) Lighting assembly for producing realistic photo images
US20160112616A1 (en) Hair Consultation Tool Arrangement and Method
CN110248141B (zh) 一种视频画面亮度调节方法、装置、设备及可读存储介质
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
CN106709888B (zh) 一种基于人眼视觉模型的高动态范围图像产生方法
CN105830438B (zh) 影像显示装置
CN105210360B (zh) 影像显示装置
CN108550124B (zh) 一种基于仿生螺线的光照补偿及图像增强方法
CN110246086A (zh) 彩色图像增强的图像处理方法及其图像处理系统
Zhang et al. A retina inspired model for high dynamic range image rendering
CN116055800A (zh) 一种移动端获得定制背景实时舞蹈视频的方法
Ko et al. IceNet for interactive contrast enhancement
CN106780400B (zh) 一种图像处理方法及装置
JP2006186983A (ja) カラー画像の露出補正方法
CN110402455A (zh) 影像显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180327

Termination date: 20210804

CF01 Termination of patent right due to non-payment of annual fee