CN110832541B - 图像处理装置和方法 - Google Patents
图像处理装置和方法 Download PDFInfo
- Publication number
- CN110832541B CN110832541B CN201780092720.7A CN201780092720A CN110832541B CN 110832541 B CN110832541 B CN 110832541B CN 201780092720 A CN201780092720 A CN 201780092720A CN 110832541 B CN110832541 B CN 110832541B
- Authority
- CN
- China
- Prior art keywords
- image
- ldr
- exposure
- hdr
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title description 37
- 230000001537 neural effect Effects 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000003672 processing method Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 18
- 238000013442 quality metrics Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种图像处理装置(300)，用于根据包括第一LDR图像和第二LDR图像在内的多个LDR图像生成与第一视图相关的HDR图像，其中，所述第一LDR图像与所述第一视图和第一曝光，即第一动态范围相关，所述第二LDR图像与第二视图和第二曝光，即第二动态范围相关。所述图像处理装置(300)包括处理单元(301)，用于提供神经网络，其中所述神经网络包括多个神经子网络，其中包含第一神经子网络(303)，所述第一神经子网络(303)用于根据以下内容生成所述HDR图像：(i)所述第一LDR图像，(ii)所述第二LDR图像，以及(iii)修改的第一LDR图像，其中所述修改的第一LDR图像与所述第一视图和所述第二曝光相关。此外，本发明涉及一种对应的图像处理方法。
Description
技术领域
本发明涉及图像处理领域。更具体地，本发明涉及一种用于根据多个低动态范围(low dynamic range，LDR)图像，使用基于神经网络的机器学习或深度学习来生成高动态范围(high dynamic range，HDR)图像的图像处理装置和方法。
背景技术
创建场景的高动态范围(high dynamic range，HDR)图像的一种常见方法是将在不同照度(曝光)设置下捕获的若干个低动态范围(low dynamic range，LDR)图像合并，从而涵盖从曝光不足(暗)到过度曝光(亮)的范围。这种技术被称为包围曝光，其假设输入LDR图像都是对准的。但是，这一假设很少成立，因为输入图像是按时间顺序捕获的。由于相机或场景相关的运动导致的位置不准会在最终的HDR图像中产生可见的伪影，其中可以看到同一对象的多个实例。这些伪影被称为“重影效应”。
计算机视觉领域已经对动态场景的无伪影HDR图像渲染进行了深入的研究。有几种方法声称可以成功地处理位置不准和相关的不一致性，因此最终的HDR没有重影且不模糊。这些方法通常分为两大类：
第一类属于去重影方法的范围。这些方法背后的想法是，与从输入堆栈中选择的参考LDR图像进行对比，检测动态像素上的不一致性。这些方法通常假设相机是静止的，更确切地说，提出一个全局配准步骤来补偿位置不准。当相机运动(平动和转动)时，参考图像和非参考图像中所描绘的场景的背景会有所不同。为了将参考图像与非参考图像对准，提出了复杂度低的全局运动配准步骤。一般而言，该步骤基于：使用参考图像与非参考图像之间的匹配特征点来计算“单应性”矩阵H。为此，可以使用SURF/SIFT或类似的方法来检测和提取参考和非参考图像对之间的特征点。可以使用多种特征匹配方法，例如RANSAC。基于该单应性矩阵，非参考图像被扭曲回参考图像的视图。该步骤使对象运动的检测更加简单。
一般而言，合并过程使最终的HDR图像中不存在动态区域和不一致性。图1示出了总结传统去重影方法100中最相关的步骤的示意图示。
去重影方法是在启用算法的计算成本需较低的场景下选择的方法。但是，具有较大曝光度和场景差异的场景对于这些方法而言可能具有挑战性。在非刚性运动或视角差异较大的情况下，与参考LDR图像对比，仍然可以看到与运动相关的伪影。
第二类包括依赖于匹配(稀疏或密集)来对准图像的方法。在该上下文中，对准可以是空间性的，其中将非参考LDR图像扭曲到所选参考图像的视图，也可以是通过将参考LDR图像按颜色分别与每个非参考LDR图像对准而与颜色相关(颜色映射)。这两种情况下的目标都是重新生成与参考视图对应的一组对准但曝光不同的LDR图像。
S.B.Kang、M.Uyttendaele、S.Winder和R.Szeliski在2003年美国计算机学会图形学汇刊(ACM Transactions on Graphics(TOG))第22卷第319–325页“高动态范围视频(High dynamic range video)”一文中介绍了一种在视频HDRI的上下文中使用光流来对准所输入的曝光不同的图像的方法。在2012年美国计算机学会图形学汇刊(亚洲电脑图像和互动技术展览及会议(SIGGRAPH Asia)2012会议记录)31(6)：1–11页中，P.Sen、N.KhademiKalantari、M.Yaesoubi、S.Darabi、D.Goldman和E.Shechtman的“基于稳健补丁的动态场景HDR重建(Robust Patch-Based HDR Reconstruction of Dynamic Scenes)”公开了一种使用基于联合补丁的最小化框架同时进行HDR图像重建和输入图像对准的方案。对准是基于在2010年第11次欧洲计算机视觉会议(European Conference on Computer Vision，ECCV)会刊第29–43页，C.Barnes、E.Shechtman、D.B.Goldman和A.Finkelstein的“广义PatchMatch匹配算法(The Generalized PatchMatch Correspondence Algorithm)”中公开的PatchMatch(PM)算法的修改版本。同样，在2013年IEEE计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognition)会刊第1163–1170页，J.Hu、O.Gallo、K.Pulli和X.Sun的“HDR去重影：如何处理饱和度？(HDR Deghosting:Howto Deal with Saturation？)”提出将每个非参考LDR图像与所选参考图像对准，参考图像通常具有最多数量的良好曝光像素。
图2提供了总结在传统的基于对准的方法200的上下文中最相关的步骤的示意图示。
考虑上述以及在图1和图2中总结的两类方法，针对动态场景的现有HDRI方法的HDR渲染阶段以参考LDR图像和非参考LDR(去重影方法，图2)或者输入参考LDR和颜色映射结果(或类似阶段的输出)作为输入。因此，这两类现有HDRI方法都只利用了一部分实际可用于渲染HDR图像的信息。例如，如果对应曝光时间等于非参考LDR的曝光时间的参考LDR的一个实例可用，则在HDR渲染阶段，不存在包含非参考LDR的方法。
因此，需要一种改进的数据处理装置和方法。
发明内容
本发明的目的是提供一种改进的数据处理装置和方法。
上述和其它目的通过独立权利要求的主题来实现。其它实施形式在从属权利要求、具体说明和附图中显而易见。
总体来说，本发明实施例提供了一种用于从具有场景(即，视图)差异和/或由于捕获设备的不同曝光设置而导致的色差的LDR图像的输入堆栈生成HDR图像的新方法。本发明实施例基于以下想法：提供输入LDR图像的所有可能组合作为HDR合并阶段的输入，包括原始的输入参考和非参考LDR图像，以及所有估计的参考LDR实例(例如，具有非参考图像的曝光时间)。本发明实施例基于卷积神经网络(convolutional neural network，CNN)，CNN提供方便的框架，以一种考虑了多个输入图像所提供的所有可能信息的方式来同时处理这些图像。本发明实施例将HDR渲染流程分解为多个子流程，即，颜色映射、HDR合并和HDR导向去重影。每个子流程通过一个CNN子网络表示。在训练阶段，每个子网络了解与分配给它的任务相关的功能的参数。所有子网络连接在一起，在输入LDR图像与参考的对应HDR图像之间形成端到端映射。
为了详细描述本发明，将使用以下术语、缩写和符号：
图像——通过数码相机捕获的现实世界或综合场景的视觉表示；也称为图片。
像素——最小的可寻址图片/图像元素。
颜色映射——(也称为颜色校准或颜色匹配)是将图像(源图像)的颜色映射到另一图像(参考图像)的颜色的操作。
图像直方图——图像的像素颜色强度分布的图形说明。
参考图像——属于图像输入堆栈的LDR图像。最终HDR图像是参考图像的具有更大动态范围的修改版本。
非参考图像——属于图像输入堆栈的LDR图像。非参考图像在场景内容和/或颜色属性方面与参考图像不同。
曝光——描述捕获设备(相机等)收集的光量。低曝光图像看起来较暗，高曝光图像看起来较亮。
动态像素——描绘所捕获的场景相比于参考图像内具有相同像素坐标的像素的不同部分的图像像素。动态像素通常属于运动对象。
运动像素——动态像素。
重影效应——HDR图像中由于合并多个未对准的输入LDR图像(由于相机或场景运动而未对准)而导致的一种图像噪声(伪影)。运动相关的对象在HDR中多次描绘，产生了重影效应。
目标图像——颜色分布(或直方图)将在颜色映射操作中用作参考的图像。目标图像相比于源图像通常包含语义差异。
地表真实图像——包含较大动态范围或不同曝光属性等目标颜色属性的图像，但其描述的场景内容与相关参考图像相同。
机器学习——专注于分析和学习输入数据、以建立能够进行预测的模型为目的的研究领域。
人工神经网络——是深度学习上下文中机器学习的子领域，由生物神经网络推动。人工网络旨在通过自适应地学习一组连接权来估计有大量输入的函数。
卷积——使用积分计算来计算2个函数的重叠量的数学运算，其中一个函数被反转和移位。
卷积神经网络——是一种人工神经网络，其架构中至少包含一个卷积层。
特征图——捕获卷积网络的每一层中的高级数据抽象或特征。特征图通过在整个图像的子区域上卷积滤波器来得到。
根据第一方面，本发明涉及一种图像处理装置，用于根据包括第一LDR图像(其可以是参考图像)和第二LDR图像在内的多个LDR图像生成与第一视图相关的HDR图像，其中，所述第一LDR图像与所述第一视图和第一曝光相关，所述第二LDR图像与第二视图和第二曝光相关。所述图像处理装置包括处理单元，用于提供神经网络，其中所述神经网络包括多个神经子网络，其中包含第一神经子网络，所述第一神经子网络用于根据以下内容生成所述HDR图像：(i)所述第一LDR图像，(ii)所述第二LDR图像，以及(iii)所述第一LDR图像的修改版本，其中所述修改的第一LDR图像与所述第一视图和所述第二曝光相关。
因此，提供了一种改进的图像处理装置。与现有技术相比，所述改进的图像处理装置考虑了输入LDR图像的更多可能组合来渲染所述HDR图像，从而提高所述HDR图像的质量。
在所述第一方面的另一实施形式中，所述多个神经子网络包括第二神经子网络，用于根据(i)所述第一LDR图像和(ii)所述第二LDR图像，通过将所述第一LDR图像映射到所述第二曝光，即颜色映射，来生成所述第一LDR图像的所述修改版本。
如上文所定义的，颜色映射是将图像(源图像)的颜色映射到另一图像(参考图像)的颜色的操作。
在所述第一方面的又一实施形式中，所述多个LDR图像还包括与第三视图和第三曝光相关的第三LDR图像，所述第二神经子网络包括第一部分和第二部分，其中所述第二神经子网络的所述第一部分用于：根据(i)所述第一LDR图像和(ii)所述第二LDR图像，通过将所述第一LDR图像映射到所述第二曝光来生成所述第一LDR图像的所述修改版本，所述第二神经子网络的所述第二部分用于：根据(i)所述第一LDR图像和(ii)所述第三LDR图像，通过将所述第一LDR图像映射到所述第三曝光来生成所述第一LDR图像的进一步修改版本，其中所述进一步修改的第一LDR图像与所述第一视图和所述第二曝光相关。
在所述第一方面的又一实施形式中，所述多个神经子网络包括第三神经子网络，用于通过根据以下内容从所述HDR图像中去除重像伪影来提供所述HDR图像的改进版本：(i)所述第一LDR图像，(ii)所述第二LDR图像，(iii)所述第一LDR图像的所述修改版本，(iv)与所述第一视图相关的所述HDR图像，以及(v)去重影引导的HDR图像。
在所述第一方面的又一实施形式中，所述处理单元还用于提供曝光融合单元，用于基于(i)所述第一LDR图像和(ii)所述第二LDR图像，根据曝光融合方案生成所述去重影引导的HDR图像。
在所述第一方面的又一实施形式中，所述曝光融合单元用于根据所述曝光融合方案，通过使用基于一个或多个质量度量的权重图执行(i)所述第一LDR图像和(ii)所述第二LDR图像的加权融合，来生成所述去重影引导的HDR图像。
在所述第一方面的又一实施形式中，所述多个神经子网络中的每一个包括一个或多个卷积层以及一个或多个去卷积层。
在所述第一方面的又一实施形式中，所述神经网络用于根据多个训练集进行训练，其中每个训练集包括一个与相应第一视图相关的HDR图像和多个LDR图像，并且至少部分训练集包括不止两个LDR图像。
在所述第一方面的又一实施形式中，所述第一神经子网络还包括加权层，用于基于一个或多个质量度量生成权重图，以便在生成所述HDR图像时降低所述第一LDR图像和所述第二LDR图像的低质量区域的影响。所述权重图表示根据对比度和/或良好曝光和/或饱和度等特定质量度量以及各种其它度量作出的对应LDR图像的质量评估。
在所述第一方面的又一实施形式中，所述处理单元还用于根据参考图像选择的质量度量，从所述多个LDR图像中选择所述第一LDR图像作为参考图像。
在所述第一方面的又一实施形式中，所述图像处理装置还包括图像捕获单元，例如相机，用于捕获所述第一LDR图像和所述第二LDR图像。
在所述第一方面的又一实施形式中，所述图像处理装置还包括显示器，用于显示最终HDR图像。
在所述第一方面的又一实施形式中，所述图像处理装置是智能手机。
根据第二方面，本发明涉及一种对应的图像处理方法，用于根据包括第一LDR图像和第二LDR图像在内的多个LDR图像生成与第一视图相关的HDR图像，其中，所述第一LDR图像与所述第一视图和第一曝光相关，所述第二LDR图像与第二视图和第二曝光相关，所述图像处理方法包括以下步骤：提供神经网络，其中所述神经网络包括多个神经子网络，其中包含第一神经子网络；以及所述第一神经子网络根据以下内容生成所述HDR图像：(i)所述第一LDR图像，(ii)所述第二LDR图像，以及(iii)所述第一LDR图像的修改版本，其中所述修改的第一LDR图像与所述第一视图和所述第二曝光相关。
根据本发明所述第二方面的所述图像处理方法可以由根据本发明所述第一方面的所述图像处理装置来执行。根据本发明所述第二方面的所述图像处理方法的更多特征从根据本发明所述第一方面的所述图像处理装置的功能及其不同实施形式直接得到。
根据第三方面，本发明涉及一种包括程序代码的计算机程序，所述计算机程序在处理器或计算机上执行时，用于执行根据所述第二方面的所述方法。
本发明可以在硬件和/或软件中实施。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1所示为示出一种用于渲染HDR图像的传统去重影方法的示意图；
图2所示为示出一种用于渲染HDR图像的传统的基于对准的方法的示意图；
图3所示为根据一实施例的示出一种用于渲染HDR图像的图像处理装置的示意图；
图4所示为根据一实施例的示出一种用于渲染HDR图像的图像处理装置的示意图；
图5所示为根据一实施例的示出一种图像处理方法的流程图。
在各附图中，相同或至少功能等同的特征使用相同的参考标号。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或系统也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性方面的特征可彼此组合。
图3所示为根据一实施例的一种示出用于根据多个低动态范围(low dynamicrange，LDR)图像生成高动态范围(high dynamic range，HDR)图像的图像处理装置300的示意图。图像处理装置300可以是例如智能手机或者带有用于显示HDR图像的显示器的另一电子设备。所述多个LDR图像包括与第一视图和第一曝光相关的第一LDR图像以及与第二视图和第二曝光相关的第二LDR图像。例如，可以选择第一LDR图像作为参考图像，意味着最终HDR图像也将与和第一LDR图像相同的视图相关，即，与第一视图相关。例如，第一LDR参考图像可以是曝光不足的较暗LDR图像，而第二LDR参考图像是过度曝光的较亮LDR图像。本发明实施例通常可以应用于输入LDR图像之间的任何曝光率。
图像处理装置300包括处理单元301，用于提供神经网络，其中神经网络包括多个神经子网络，其中包含第一神经子网络303，其在图3中称为“HDR合并”。如下文将进一步详述的，第一神经子网络303用于根据以下内容生成HDR图像：(i)第一LDR图像，即参考图像，(ii)第二LDR图像，以及(iii)第一LDR图像的修改版本，其中修改的第一LDR图像与第一视图和第二曝光相关。在图3所示的实施例中，第一LDR参考图像由相机等捕获单元311的第一部分311a提供，第二LDR图像由捕获单元311的第二部分311b提供。与第一LDR图像和第二LDR图像相关的不同视图可以是例如由于捕获单元311的运动或者由于捕获单元311以立体相机的形式实现。
在图3所示的实施例中，处理单元301提供的神经网络的多个神经子网络还包括第二神经子网络305(在图3中称为“颜色映射”)，用于根据(i)第一LDR图像，即参考图像，以及(ii)第二LDR图像，通过将第一LDR图像的颜色映射到第二曝光来生成第一LDR图像的修改版本。在处理单元301提供的神经网络的这一部分中，第二颜色映射子网络305了解一种颜色映射模型，该模型实现了参考LDR图像的不同曝光实例的估计。这意味着在这一阶段中，生成参考LDR图像的具有曝光e2和视图1的第二版本。
处理单元301提供的神经网络的多个神经子网络还可以包括第三神经子网络307，在图3中称为“HDR导向去重影”，用于通过根据以下内容从第一神经子网络303提供的HDR图像中去除重像伪影来提供HDR图像的改进版本：(i)第一LDR图像，即参考图像，(ii)第二LDR图像，(iii)第一LDR图像的修改版本，(iv)第一神经子网络303提供的HDR图像，以及(v)去重影引导的HDR图像。第三神经子网络307的目的是使用先前渲染的重影HDR图像所提供的先验信息来提升第一神经子网络303(HDR合并)提供的HDR图像的视觉质量。这样，可以在最终HDR图像中减少与曝光不足和/或过度曝光有关的伪影。在一实施例中，第三神经子网络307和/或其它神经子网络303、305的模型可以使用由大堆LDR组成的地表真实HDR图像进行训练。
在图3所示的实施例中，处理单元301还包括曝光融合单元309，用于基于(i)第一LDR图像，即参考图像，以及(ii)第二LDR图像，根据曝光融合方案生成去重影引导的HDR图像，作为对第三神经子网络307的输入。所生成的图像(在图3中称为“重影HDR”图像)包含所谓的“重像伪影”，这是因为，由于输入LDR之间存在内容差异，导致相同对象的多个实例出现在不同位置。如上文所述，“重影HDR”图像可以用作最后阶段的额外输入，最后阶段即第三导向去重影子网络307。
在一实施例中，处理单元301的曝光融合单元309用于根据曝光融合方案，通过使用基于一个或多个质量度量的权重图执行(i)第一LDR图像，即参考图像，以及(ii)第二LDR图像的加权融合，来生成去重影引导的HDR图像。处理单元301的曝光融合单元309的可能实施方式的更多细节可以在2007年环太平洋计算机图形学及应用会议(Pacific Graphics)会刊第369–378页，T.Mertens、J.Kautz和F.Van Reeth的“曝光融合(Exposure Fusion)”中找到，该文件的全部内容以引入的方式并入本文本中。
如上文所述，第一神经子网络303(HDR合并)用于根据以下内容生成HDR图像：(i)第一LDR图像，即参考图像，(ii)第二LDR图像，以及(iii)第二神经子网络305(颜色映射)提供的第一LDR图像的修改版本。在一实施例中，这些输入图像可以连接起来，并作为尺寸为宽度x高度x9(在RGB输入的情况下)的张量呈现给第一神经网络303。训练HDR合并子网络303，以生成对应动态范围大于输入LDR图像中可用范围的HDR图像。在一实施例中，通过在训练阶段使用更多的LDR图像生成对应的地表真实HDR图像来完成这一操作。因此，训练后的HDR合并模型能够生成比输入中可用的动态范围更大的动态范围。这样，训练后的模型不仅渲染无重影HDR图像，还模拟有2个以上的输入LDR图像可用的情况。这允许处理曝光差异和输入图像数量方面的具有挑战性的情况。
处理单元301提供的神经网络的神经子网络303、305、307中的每一个可以包括一个或多个卷积层以及一个或多个去卷积层。
在一实施例中，第一神经子网络303还包括加权层，用于基于一个或多个质量度量生成权重图，以便在生成HDR图像时降低第一LDR图像和第二LDR图像的低质量区域的影响。这种权重图表示根据对比度和/或良好曝光和/或饱和度等特定质量度量和/或各种其它度量作出的对应LDR图像的质量评估。为每个输入LDR图像生成的权重图能够将这些图像选择性地合并为最终HDR图像。例如，在一实施例中，如果权重图基于良好曝光度量，则输入LDR图像中值接近127(或0.5)的像素可以获得较高的权重。相比之下，像素值接近0或255分别对应曝光不足和过度曝光区域，这些像素将获得较低的权重。相应地，根据本发明实施例，可以限制这些区域对最终HDR图像的影响。在一实施例中，还可以在第三神经子网络307中实施这些权重图。
在一实施例中，处理单元301还用于：根据用于选择参考图像的质量度量，从所述多个LDR图像中选择第一LDR图像作为参考图像。用于选择参考图像的这一质量度量可以与在上述曝光融合单元309中使用的质量度量相似或相同，例如为饱和度、良好曝光和/或对比度。
图4所示为用于渲染HDR图像的图像处理装置300的又一实施例。与图3所示的图像处理装置300的处理单元301相比，图4所示的图像处理装置300的处理单元301将与不同视图和/或曝光相关的三个LDR图像作为输入，例如，捕获单元311的第一部分311b提供的第一“中亮”LDR参考图像、捕获单元311的第二部分311a提供的第二“暗”LDR图像和捕获单元311的第三部分311c提供的第三“亮”LDR图像。通常，与曝光不足(“暗”)和过度曝光(“亮”)的图像相比，“中亮”LDR图像应包含更多的场景细节。
因此，在图4所示的实施例中，第二神经子网络305包括第一神经子网络部分305a(在图4中称为“中亮到暗颜色映射”)和第二神经子网络部分305b(在图4中称为“中亮到亮颜色映射”)。第二神经子网络305的第一部分305a用于根据(i)第一LDR参考图像和(ii)第二LDR图像，通过将第一LDR参考图像的颜色映射到第二曝光来生成修改的第一LDR图像。第二神经子网络305的第二部分305b用于根据(i)第一LDR参考图像和(ii)第三LDR图像，通过将第一LDR参考图像的颜色映射到第三曝光来生成进一步修改的第一LDR图像，其中进一步修改的第一LDR图像与第一视图和第二曝光相关。如图4的实施例所述，第一部分305a提供的修改的第一LDR图像和第二部分305b提供的进一步修改的第一LDR图像都是第一神经子网络303和第三神经子网络307的输入。
图5所示为示出用于生成HDR图像的对应图像处理方法500的流程图，该方法可以由图像处理装置300执行。图像处理方法500包括步骤501，提供神经网络，其中神经网络包括多个神经子网络，其中包含第一神经子网络303。方法500包括另一步骤503，通过第一神经子网络303根据以下内容生成HDR图像：(i)第一LDR图像，(ii)第二LDR图像，以及(iii)第一LDR图像的修改版本，其中修改的第一LDR图像与第一视图和第二曝光相关。
因此，本发明实施例提供了一种允许在HDR合并步骤的范围内包含所有可用LDR图像的新方法。这包括原始的输入参考和非参考LDR图像，以及所有估计的参考LDR图像实例(例如，具有非参考图像的曝光时间)。此外，本发明实施例提供了一种新的HDR导向去重影阶段，其基于由所有可用LDR图像组成的输入张量，其中，从输入LDR图像和与参考LDR的视图对应的HDR图像的初始估计中获得重影HDR图像。导向去重影步骤在噪声自由度和动态范围扩展方面提升了最终HDR的质量。本发明实施例基于CNN，目的是在HDR合并和导向去重影阶段有效地处理多个图像。因此，每个阶段可以通过一个CNN子网络(颜色映射、HDR渲染和导向去重影)表示。所有子网络相连，在输入LDR图像与参考图像的输出HDR之间形成端到端映射。本发明实施例允许使用通过3个或更多LDR图像生成的地表真实HDR图像对模型进行训练，从而模拟更大堆栈的可用LDR图像。
尽管本发明的特定特征或方面可能已经仅结合几种实施方式或实施例中的一种进行公开，但此类特征或方面可以和其它实施方式或实施例中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其它变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”，“例如”仅表示为示例，而不是最好或最佳的。可使用术语“耦合到”和“连接到”以及派生词。应当理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述了特定方面，但所属领域的技术人员应了解，在不脱离本发明的范围的情况下，多种替代和/或等效实施方式可替代所示和描述的特定方面。该申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，所属领域的技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但所属领域的技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。
Claims (13)
1.一种图像处理装置(300)，用于根据包括第一低动态范围LDR图像和第二LDR图像在内的多个LDR图像生成高动态范围HDR图像，其中，所述第一LDR图像与第一视图和第一曝光相关，所述第二LDR图像与第二视图和第二曝光相关，其中，所述第一视图与所述第二视图不相同，所述第一曝光的曝光率低于所述第二曝光的曝光率，其特征在于，所述图像处理装置(300)包括：
处理单元(301)，用于提供神经网络，其中所述神经网络包括多个神经子网络，其中包含第一神经子网络(303)，所述第一神经子网络(303)用于根据以下内容生成所述HDR图像：(i)所述第一LDR图像，(ii)所述第二LDR图像，以及(iii)修改的第一LDR图像，其中所述修改的第一LDR图像与所述第一视图和所述第二曝光相关；
其中，所述多个神经子网络包括第二神经子网络(305)，用于根据(i)所述第一LDR图像和(ii)所述第二LDR图像，通过将所述第一LDR图像映射到所述第二曝光来生成所述修改的第一LDR图像。
2.根据权利要求1所述的图像处理装置(300)，其特征在于，所述多个LDR图像还包括与第三视图和第三曝光相关的第三LDR图像，所述第二神经子网络(305)包括第一部分(305a)和第二部分(305b)，其中
所述第二神经子网络(305)的所述第一部分(305a)用于：根据(i)所述第一LDR图像和(ii)所述第二LDR图像，通过将所述第一LDR图像映射到所述第二曝光来生成所述修改的第一LDR图像，以及
所述第二神经子网络(305)的所述第二部分(305b)用于：根据(i)所述第一LDR图像和(ii)所述第三LDR图像，通过将所述第一LDR图像映射到所述第三曝光来生成进一步修改的第一LDR图像，其中所述进一步修改的第一LDR图像与所述第一视图和所述第二曝光相关。
3.根据前述权利要求2所述的图像处理装置(300)，其特征在于，所述多个神经子网络包括第三神经子网络(307)，用于通过根据以下内容从所述HDR图像中去除重像伪影来提供所述HDR图像的改进版本：(i)所述第一LDR图像，(ii)所述第二LDR图像，(iii)所述修改的第一LDR图像，(iv)所述HDR图像，以及(v)去重影引导的HDR图像。
4.根据权利要求3所述的图像处理装置(300)，其特征在于，所述处理单元(301)还用于提供曝光融合单元(309)，用于基于(i)所述第一LDR图像和(ii)所述第二LDR图像，根据曝光融合方案生成所述去重影引导的HDR图像。
5.根据权利要求4所述的图像处理装置(300)，其特征在于，所述曝光融合单元(309)用于根据所述曝光融合方案，通过使用基于一个或多个质量度量的权重图执行(i)所述第一LDR图像和(ii)所述第二LDR图像的加权融合，来生成所述去重影引导的HDR图像。
6.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述多个神经子网络中的每一个包括一个或多个卷积层以及一个或多个去卷积层。
7.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述神经网络用于根据多个训练集进行训练，其中每个训练集包括一个HDR图像和多个LDR图像，并且至少部分训练集包括不止两个LDR图像。
8.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述第一神经子网络(303)还包括加权层，用于基于一个或多个质量度量生成权重图，以便在生成所述HDR图像时降低所述第一LDR图像和所述第二LDR图像的低质量区域的影响。
9.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述处理单元(301)还用于根据参考图像选择的质量度量，从所述多个LDR图像中选择所述第一LDR图像作为参考图像。
10.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述图像处理装置(300)还包括捕获单元(311)，用于捕获所述第一LDR图像和所述第二LDR图像。
11.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述图像处理装置(300)还包括显示器，用于显示所述HDR图像。
12.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述图像处理装置是智能手机。
13.一种图像处理方法(500)，用于根据包括第一低动态范围LDR图像和第二LDR图像在内的多个图像生成高动态范围HDR图像，其中，所述第一LDR图像与第一视图和第一曝光相关，所述第二LDR图像与第二视图和第二曝光相关，其中，所述第一视图与所述第二视图不相同，所述第一曝光的曝光率低于所述第二曝光的曝光率，其特征在于，所述图像处理方法(500)包括：
提供神经网络，其中所述神经网络包括多个神经子网络，其中包含第一神经子网络(303)，以及
所述第一神经子网络(303)根据以下内容生成所述HDR图像：(i)所述第一LDR图像，(ii)所述第二LDR图像，以及(iii)修改的第一LDR图像，其中所述修改的第一LDR图像与所述第一视图和所述第二曝光相关；
所述多个神经子网络包括第二神经子网络(305)，所述第二神经子网络(305)根据(i)所述第一LDR图像和(ii)所述第二LDR图像，通过将所述第一LDR图像映射到所述第二曝光来生成所述修改的第一LDR图像。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2017/066017 WO2019001701A1 (en) | 2017-06-28 | 2017-06-28 | APPARATUS AND METHOD FOR IMAGE PROCESSING |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110832541A CN110832541A (zh) | 2020-02-21 |
| CN110832541B true CN110832541B (zh) | 2022-10-04 |
Family
ID=59295180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780092720.7A Active CN110832541B (zh) | 2017-06-28 | 2017-06-28 | 图像处理装置和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11055827B2 (zh) |
| EP (1) | EP3631754B1 (zh) |
| CN (1) | CN110832541B (zh) |
| WO (1) | WO2019001701A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
| US11094043B2 (en) * | 2017-09-25 | 2021-08-17 | The Regents Of The University Of California | Generation of high dynamic range visual media |
| US10540589B2 (en) * | 2017-10-24 | 2020-01-21 | Deep North, Inc. | Image quality assessment using similar scenes as reference |
| CN110475072B (zh) * | 2017-11-13 | 2021-03-09 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
| US20210166360A1 (en) * | 2017-12-06 | 2021-06-03 | Korea Advanced Institute Of Science And Technology | Method and apparatus for inverse tone mapping |
| CN108833775B (zh) * | 2018-05-22 | 2020-04-03 | 深圳岚锋创视网络科技有限公司 | 一种抗运动鬼影的hdr方法、装置及便携式终端 |
| US20210217151A1 (en) * | 2018-08-29 | 2021-07-15 | Tonetech Inc. | Neural network trained system for producing low dynamic range images from wide dynamic range images |
| US10936909B2 (en) * | 2018-11-12 | 2021-03-02 | Adobe Inc. | Learning to estimate high-dynamic range outdoor lighting parameters |
| US11107205B2 (en) * | 2019-02-18 | 2021-08-31 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
| CN110213498B (zh) * | 2019-05-29 | 2021-04-23 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
| WO2021112550A1 (en) * | 2019-12-02 | 2021-06-10 | Samsung Electronics Co., Ltd. | System and method for generating multi-exposure frames from single input |
| CN111223061A (zh) * | 2020-01-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像修正方法、修正装置、终端设备及可读存储介质 |
| CN111292264B (zh) * | 2020-01-21 | 2023-04-21 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
| CN111372006B (zh) * | 2020-03-03 | 2021-05-07 | 山东大学 | 一种面向移动端的高动态范围成像方法及系统 |
| US11430094B2 (en) | 2020-07-20 | 2022-08-30 | Samsung Electronics Co., Ltd. | Guided multi-exposure image fusion |
| CN111986106B (zh) * | 2020-07-30 | 2023-10-13 | 南京大学 | 一种基于神经网络的高动态图像重建方法 |
| CN112689099B (zh) * | 2020-12-11 | 2022-03-22 | 北京邮电大学 | 一种面向双镜头相机的无重影高动态范围成像方法及装置 |
| KR102374069B1 (ko) * | 2021-01-06 | 2022-03-11 | 아주대학교산학협력단 | Hdr 이미지 생성 장치 및 방법 |
| US11595589B2 (en) | 2021-07-22 | 2023-02-28 | Arthrex, Inc. | Surgical camera system with high dynamic range |
| CN116157825A (zh) * | 2021-09-17 | 2023-05-23 | 京东方科技集团股份有限公司 | 图像处理模型训练方法、高动态范围图像生成方法 |
| WO2023069451A1 (en) * | 2021-10-18 | 2023-04-27 | Arthrex, Inc. | Surgical camera system with high dynamic range and fluorescent imaging |
| CN117793544A (zh) * | 2024-02-28 | 2024-03-29 | 荣耀终端有限公司 | 一种图像处理方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102959957A (zh) * | 2010-07-06 | 2013-03-06 | 皇家飞利浦电子股份有限公司 | 在多视图视频编码中从低动态范围图像生成高动态范围图像 |
| CN103312942A (zh) * | 2012-03-12 | 2013-09-18 | 华晶科技股份有限公司 | 动态范围图像的噪声处理方法及其图像捕捉装置 |
| CN103413286A (zh) * | 2013-08-02 | 2013-11-27 | 北京工业大学 | 一种基于学习的高动态范围与高分辨率图像联合重建方法 |
| CN104717432A (zh) * | 2013-12-13 | 2015-06-17 | 柯尼卡美能达美国研究所有限公司 | 处理一组输入图像的方法、图像处理设备和数字照相机 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201036453A (en) * | 2009-03-25 | 2010-10-01 | Micro Star Int Co Ltd | Method and electronic device to produce high dynamic range image |
| WO2012110894A1 (en) * | 2011-02-18 | 2012-08-23 | DigitalOptics Corporation Europe Limited | Dynamic range extension by combining differently exposed hand-held device-acquired images |
| EP3007431A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device |
| CN109791688B (zh) * | 2016-06-17 | 2021-06-01 | 华为技术有限公司 | 曝光相关的亮度变换 |
| WO2018191287A1 (en) * | 2017-04-13 | 2018-10-18 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for hiln characterization using convolutional neural network |
| US10609286B2 (en) * | 2017-06-13 | 2020-03-31 | Adobe Inc. | Extrapolating lighting conditions from a single digital image |
| US11094043B2 (en) * | 2017-09-25 | 2021-08-17 | The Regents Of The University Of California | Generation of high dynamic range visual media |
| US10475169B2 (en) * | 2017-11-28 | 2019-11-12 | Adobe Inc. | High dynamic range illumination estimation |
| KR102524671B1 (ko) * | 2018-01-24 | 2023-04-24 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
| US11330163B2 (en) * | 2018-06-29 | 2022-05-10 | Qualcomm Incorporated | Exchanging an HDR-combined stream and associated exposures between a camera sensor module and a vision processing system |
| US11544823B2 (en) * | 2019-06-12 | 2023-01-03 | Intel Corporation | Systems and methods for tone mapping of high dynamic range images for high-quality deep learning based processing |
-
2017
- 2017-06-28 EP EP17736607.7A patent/EP3631754B1/en active Active
- 2017-06-28 CN CN201780092720.7A patent/CN110832541B/zh active Active
- 2017-06-28 WO PCT/EP2017/066017 patent/WO2019001701A1/en unknown
-
2019
- 2019-12-27 US US16/729,039 patent/US11055827B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102959957A (zh) * | 2010-07-06 | 2013-03-06 | 皇家飞利浦电子股份有限公司 | 在多视图视频编码中从低动态范围图像生成高动态范围图像 |
| CN103312942A (zh) * | 2012-03-12 | 2013-09-18 | 华晶科技股份有限公司 | 动态范围图像的噪声处理方法及其图像捕捉装置 |
| CN103413286A (zh) * | 2013-08-02 | 2013-11-27 | 北京工业大学 | 一种基于学习的高动态范围与高分辨率图像联合重建方法 |
| CN104717432A (zh) * | 2013-12-13 | 2015-06-17 | 柯尼卡美能达美国研究所有限公司 | 处理一组输入图像的方法、图像处理设备和数字照相机 |
Non-Patent Citations (2)
| Title |
|---|
| CNN BASED NON-LOCAL COLOR MAPPING;Fahd Bouzaraa等;《2016 IEEE International Symposium on Multimedia》;20170119;第313-316页 * |
| Deep Neural Networks for HDR imaging;Kshiteej Sheth等;《arXiv》;20161103;第1-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110832541A (zh) | 2020-02-21 |
| EP3631754A1 (en) | 2020-04-08 |
| WO2019001701A1 (en) | 2019-01-03 |
| US11055827B2 (en) | 2021-07-06 |
| US20200134787A1 (en) | 2020-04-30 |
| EP3631754B1 (en) | 2021-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110832541B (zh) | 图像处理装置和方法 | |
| Fan et al. | Integrating semantic segmentation and retinex model for low-light image enhancement | |
| US10666873B2 (en) | Exposure-related intensity transformation | |
| Fan et al. | A generic deep architecture for single image reflection removal and image smoothing | |
| Gallo et al. | Artifact-free high dynamic range imaging | |
| US20080181507A1 (en) | Image manipulation for videos and still images | |
| CN104717432A (zh) | 处理一组输入图像的方法、图像处理设备和数字照相机 | |
| Moriwaki et al. | Hybrid loss for learning single-image-based HDR reconstruction | |
| Mangiat et al. | Spatially adaptive filtering for registration artifact removal in HDR video | |
| Celebi et al. | Fuzzy fusion based high dynamic range imaging using adaptive histogram separation | |
| CN113039576A (zh) | 图像增强系统和方法 | |
| Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
| Lou et al. | Integrating haze density features for fast nighttime image dehazing | |
| CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| Zhong et al. | Real-world video deblurring: A benchmark dataset and an efficient recurrent neural network | |
| US20140078321A1 (en) | Motion blur estimation and restoration using light trails | |
| CN112927160B (zh) | 一种基于深度Retinex的单张低光图像增强方法 | |
| CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
| Xue | Blind image deblurring: a review | |
| Min et al. | Noise reduction in high dynamic range images | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| Wang et al. | An exposure fusion approach without ghost for dynamic scenes | |
| Roomi et al. | A novel de-ghosting image fusion technique for multi-exposure, multi-focus images using guided image filtering | |
| Saha et al. | Low dynamic range image set generation from single image | |
| Gouiffès et al. | HTRI: High time range imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |