CN116113978A - 基于小波变换的深度高动态范围成像 - Google Patents

基于小波变换的深度高动态范围成像 Download PDF

Info

Publication number
CN116113978A
CN116113978A CN202080103402.8A CN202080103402A CN116113978A CN 116113978 A CN116113978 A CN 116113978A CN 202080103402 A CN202080103402 A CN 202080103402A CN 116113978 A CN116113978 A CN 116113978A
Authority
CN
China
Prior art keywords
data
image
frequency
input
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080103402.8A
Other languages
English (en)
Inventor
天虹·戴
袁善欣
贾旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116113978A publication Critical patent/CN116113978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本文描述了一种包括一个或多个处理器(704)的图像处理装置(700)，用于：接收(601)多个输入图像(301、302、303)；对于每个输入图像，通过将所述输入图像(301、302、303)或其滤波版本(307、308、309)分解为多个频率特定分量(313)来形成(602)分解数据集，每个频率特定分量表示所述输入图像或其滤波版本中相应频率间隔的特征的出现；使用一个或多个卷积神经网络处理(603)每个分解数据集，以形成组合图像数据集(327)；对所述组合图像数据集(327)执行(604)构建操作，所述构建操作适于从多个频率特定分量进行图像构建，从而形成表示所述输入图像组合的输出图像(333)。所生成的HDR输出图像可能具有更少的伪影并提供更好的质量结果。此外，所述装置的计算效率高，在精度和效率之间保持良好的平衡。

Description

基于小波变换的深度高动态范围成像
技术领域
本发明涉及高动态范围(High Dynamic Range，HDR)图像的生成。
背景技术
使用多个低动态范围(Low Dynamic Range，LDR)图像的HDR成像是计算摄影中用于通过利用来自多个LDR图像的信息来生成具有大范围亮度的高质量HDR图像的技术。
数码相机通常可以一次捕获亮度范围有限的LDR图像，其中，LDR图像会存在一些曝光过度和/或曝光不足的区域，从而降低图像质量。对于可穿戴设备中使用的相机，传感器和光圈存在限制，因此到达每个像素的电子数有限，使得难以一次捕获HDR图像。现有的高端数字设备使用大传感器和大光圈来捕获HDR图像，这使得它们难以集成到智能手机等可穿戴设备中。这些大型设备通常也非常昂贵。
一种实用的方案是捕获几张曝光时间不同的LDR图像，并将它们合并成单个HDR图像。为了生成HDR图像，HDR成像方法应该能够从多个LDR图像中恢复丢失的信息(曝光过度和曝光不足的区域)，并保留有用的信息。
图1示出了典型的HDR成像框架，其中，输入为三个LDR图像101至103(101为短曝光，102为中等曝光，103为长曝光)，输出为高质量HDR图像104。将中等曝光图像102(输入2)视为参考图像，而短曝光图像101和长曝光图像103(分别为输入1和输入3)为支持图像。需要注意的是，参考图像和支持图像之间存在相机运动和物体运动。
这一领域的现有方法受到不同类型的伪影的影响，包括重影、细节缺失、褪色和噪声。
优选地，好的HDR成像方法应该满足以下要求。该方法应该生成高质量的HDR图像。生成的HDR图像最好不存在曝光过度或曝光不足的区域，充分利用来自不同曝光的不同LDR图像的补充信息。HDR图像还应该在整个图像中具有良好的细节、正确的颜色，并且没有噪声。生成的图像应该无重影。所捕获的几个LDR图像之间通常存在相机运动和物体运动。如果这些LDR图像未能很好地对齐，最终合并的HDR图像中可能会出现重影伪影。优选地，该方法还应该具有较高的计算效率，这样可以有效地应用于可穿戴设备。
由于深度卷积神经网络(convolutional neural networks，CNN)具有较强的表征能力，人们提出了越来越多与深度神经网络相结合的HDR成像算法。在Nima KhademiKalantari和Ravi Ramamoorthi在《ACM图形学汇刊》上所发表文章“动态场景的深度高动态范围成像(Deep high dynamic range imaging of dynamic scenes)”(2017年)描述的方法中，通过使用光流将支持图像与参考图像对齐。然后，使用CNN网络合并已对齐的LDR图像，以生成HDR图像。在K.Ram Prabhakark、Susmit Agrawal、Durgesh Kumar Singh、BalrajAshwath和R.Venkatesh Babu在欧洲计算机视觉国际会议(European Conference onComputer Vision，ECCV)论文集中所发表文章“使用CNN实现实用高效的高分辨率HDR去伪影(Towards practical and efficient high-resolution HDR deghosting with CNN)”(2020年)描述的方法将合并低分辨率的输入LDR图像以节省计算成本，并使用双边引导上采样器将图像恢复到原始尺度。然后，这些方法需要光流来对齐帧，这需要额外的计算成本，并且一些硬件不支持扭曲操作，这意味着无法在此类硬件中应用该方法。
为避免使用光流，Shangzhe Wu、Jiarui Xu、Yu-Wing Tai和Chi-Keung Tang在欧洲计算机视觉国际会议(European Conference on Computer Vision，ECCV)论文集中所发表文章“较大前景运动下的深度高动态范围成像(Deep high dynamic range imagingwith large foreground motions)”(2018年)描述的方法将HDR成像问题表述为图像到图像的转换问题。该方法使用UNet结构网络将输入LDR图像直接映射到HDR图像。然而，它表现出比使用光流的算法更差的性能。Qingsen Yan、Dong Gong、Pingping Zhang、QingfengShi、Jinqiu Sun、Ian Reid和Yanning Zhang在2019年IEEE计算机视觉应用冬季会议(Winter Conference on Applications of Computer Vision，WACV)上所发表文章“用于深度高动态范围成像的多尺度密集网络(Multi-scale dense networks for deep highdynamic range imaging)”描述的方法采用三种不同尺度的子网络来逐步重建HDR图像。Qingsen Yan、Lei Zhang、Yu Liu、Yu Zhu、Jinqiu Sun、Qinfeng Shi和Yanning Zhang在《IEEE图像处理事务》中所发表文章“通过非本地网络进行深度HDR成像(Deep hdr imagingvia a non-local network)”(2020年)描述的方法提出了NHDRRnet，它使用UNet提取低维特征，然后将特征发送到全局非本地网络，该网络可以根据它们的对应关系从输入中融合特征。该方法能够有效去除最终输出中的重影伪影。然后，性能仍然受到传统UNet结构的限制，比之前使用光流的方法要差。
Qingsen Yan、Dong Gong、Qinfeng Shi、Anton van den Hengel、Chunhua Shen、Ian Reid和Yanning Zhang在IEEE国际计算机视觉与模式识别会议(Conference onComputer Vision and Pattern Recognition，CVPR)论文集中所发表文章“无重影高动态范围成像的注意力引导网络(Attention-guided network for ghost-free high dynamicrange imaging)”(2019年)描述的方法提出了一种具有注意力模块的固定尺度网络，用于处理支持帧中的未对齐区域，并采用扩大的残差密集块将特征合并为单个HDR图像。虽然该方法可以获得最新结果，但计算效率不高，这使得该方法很难应用于可穿戴设备。
需要开发一种克服这些问题的方法。
发明内容
根据一方面，本发明提供了一种包括一个或多个处理器的图像处理装置，用于：接收多个输入图像；对于每个输入图像，通过将所述输入图像或其滤波版本分解为多个频率特定分量来形成分解数据集，每个频率特定分量表示所述输入图像或其滤波版本中相应频率间隔的特征的出现；使用一个或多个卷积神经网络处理每个分解数据集，以形成组合图像数据集；对所述组合图像数据集执行构建操作，所述构建操作适于从多个频率特定分量进行图像构建，从而形成表示所述输入图像组合的输出图像。
与之前的方法相比，所生成的HDR输出图像可能具有更少的伪影并提供更好的质量结果。此外，所述装置的计算效率高，在精度和效率之间保持良好的平衡。
所述分解所述输入图像的步骤可以包括对所述输入图像执行离散小波变换(discrete wavelet transform，DWT)操作。这可能有助于减少下采样期间的信息丢失。
所述构建操作可以是逆离散小波变换(inverse discrete wavelet transform，IDWT)操作。由此可以使用DWT的输出重建信号。
所述装置可以包括相机或其它成像设备。所述装置可以用于响应来自所述装置用户的输入，使所述相机或成像设备捕获所述多个输入图像，所述输入图像中的每一个均采用与其它所述输入图像不同的曝光来捕获。由此可以通过利用来自多个LDR图像的信息来生成具有大范围亮度的高质量HDR图像。
所述分解数据可以通过分解由卷积滤波器滤波的所述相应输入图像版本来形成。由此可以调整所述输入的通道数，从而允许为每个输入图像形成特征图。
所述装置可以用于：对所述一些分解数据集的至少一些区域进行掩码和加权处理，以形成注意力滤波后的分解数据；选择所述注意力滤波后的分解数据的分量子集，其中，所述分量对应于比所述注意力滤波后的分解数据的其它分量更低的频率；至少合并所述分量子集中的分量，以形成合并数据；其中，所述合并数据构成所述构建操作的输入。由此可以合并所述低频分量。
所述装置可以用于：分解所述注意力滤波后的数据；通过多次残差操作合并所述注意力滤波后的数据的相对低频分量，以形成卷积后的低频数据；根据所述注意力滤波后的数据的相对高频分量以及所述卷积后的低频数据，执行重构操作。由此可以合并所述低频分量并使用所述高频分量进行上采样。
所述装置可以用于：对于每个输入图像，通过将所述输入图像或其滤波版本分解为第一多个频率特定分量集来形成所述相应分解数据集，每个频率特定分量集表示所述输入图像或其滤波版本中相应频率间隔的特征的出现；对所述频率特定分量集中的每一个执行卷积运算，以形成卷积数据；将所述卷积数据分解为第二多个频率特定分量集，每个频率特定分量集表示所述卷积数据中相应频率间隔的特征的出现。由此可以在合并之前对每个输入图像进行下采样。
所述装置可以用于：合并所述第二多个频率特定分量集的第一子集，以形成第一合并数据；对所述第二多个频率特定分量集的第一子集和所述第一合并数据执行掩码和加权组合，以形成第一组合数据；对所述第二多个频率特定分量集的第二子集执行第一卷积组合，以形成第二组合数据；对所述第一组合数据和所述第二组合数据进行上采样，以形成第一上采样数据；对所述第一多个频率特定分量集的第一子集和所述第一上采样数据执行掩码和加权组合，以形成第三组合数据；对所述第一多个频率特定分量集的第二子集执行第二卷积组合，以形成第四组合数据；对所述第三组合数据和所述第四组合数据进行上采样，以形成第二上采样数据；其中，所述输出图像根据所述第二上采样数据来形成。由此可以单独融合来自所述不同输入图像、具有不同频率间隔的几个分量(例如，低频分量和高频分量)。
所述第一子集可以是相对低频分量的子集。所述第二子集可以是相对高频分量的子集。这些分量可以是因使用离散小波变换操作而产生。低频分量包含更多结构信息。因此，在所述合并阶段使用低频分量可以有利于减轻重影伪影并恢复所述输入的曝光不足和曝光过度区域。高频分量可以保留细节信息，这有助于在上采样过程中重建细节。
所述输出图像可以根据所述第二上采样数据和所述输入图像的卷积版本的组合来形成。这可以使用全局残差连接来实现。这可以增强所述网络的表征能力。
根据第二方面，本发明提供了一种计算机实现的图像处理方法，包括：接收多个输入图像；对于每个输入图像，通过将所述输入图像或其滤波版本分解为多个频率特定分量来形成分解数据集，每个频率特定分量表示所述输入图像或其滤波版本中相应频率间隔的特征的出现；使用一个或多个卷积神经网络处理每个分解数据集，以形成组合图像数据集；对所述组合图像数据集执行构建操作，所述构建操作适于从多个频率特定分量进行图像构建，从而形成表示所述输入图像组合的输出图像。
与之前的方法相比，使用该方法生成的HDR图像可能具有更少的伪影并提供更好的质量结果。此外，所述方法的计算效率高，在精度和效率之间保持良好的平衡。
所述多个输入图像可以包括参考图像和多个支持图像，每个支持图像具有比所述参考图像更长或更短的曝光。由此可以产生高质量的HDR图像。所述参考图像和所述支持图像之间可以存在相机运动和物体运动。
附图说明
现将参考附图通过示例的方式对本发明进行描述。
在附图中：
图1示出了从多个帧接收输入的HDR成像任务的示意图；
图2示意性地示出了离散小波变换(discrete wavelet transform，DWT)；
图3示出了网络整体结构的示意图；
图4示出了特征合并模块的示意图；
图5示出了上采样模块的示意图；
图6示出了计算机实现的图像处理方法的示例；
图7示出了用于实现本文所述方法的设备的示例；
图8示出了使用本文所述方法和基线方法生成的结果之间的定性比较。
具体实施方式
本文描述的装置和方法中实现的网络为UNet(如Olaf Ronneberger、PhilippFischer和Thomas Brox在国际医学图像计算与计算机辅助介入大会上发表的文章“U-net：用于生物医学图像分割的卷积网络(U-net:Convolutional networks for biomedicalimage segmentation)”(Springer，Cham，2015年，第234至241页)所述)，这是一种深度神经网络架构，通常用于图像去噪、超分辨率、联合去噪和去马赛克等图像处理操作。
小波变换是将图像变换成不同频率分量组的有用工具。如图2所示，小波变换可以将图像对应的信号分解为具有不同频率间隔的分量，称为低-低(LL)(201处示出)、高-低(HL)(202处示出)、低-高(LH)(203处示出)、高-高(HH)(204处示出)。
在优选实施方式中，本文描述的装置和方法将小波变换与UNet结合用于使用多个LDR图像作为输入的HDR成像。采用离散小波变换(discrete wavelet transform，DWT)和逆离散小波变换(inverse discrete wavelet transform，IDWT)代替所述UNet网络中的最大池化/步长卷积运算。使用DWT可以减少下采样期间的信息丢失。IDWT可以利用DWT的输出重构信号，以将特征图恢复到所述原始尺度。
小波变换还用于特征合并模块，用于合并所述输入的低频分量。在以所述低频分量作为输入的所述特征合并模块中，空间注意力模块用于处理所述参考图像和支持图像之间的未对齐区域。
图3示出了本发明的一种实施方式的整体网络架构。除基本的UNet结构外，所述网络还包括一个特征合并模块和两个上采样模块。
每个LDR输入将发送至同一结构的单个编码器中。在本示例中，使用三个LDR输入301、302和303。对于每个输入，卷积层304、305、306用于调整所述输入的通道数并形成特征图307、308、309。
然后，如310、311、312处所示，使用DWT将每个输入的特征图分解为一个低频分量和三个高频分量，它们显示在313处的虚线框中。因此，对于每个输入图像，分解数据集通过将所述特征图分解为多个特定频率分量来形成，每个频率特定分量表示所述特征图中相应频率间隔的特征的出现。
然后，如下文详细描述的那样，使用一个或多个卷积神经网络处理每个分解数据集以形成组合图像数据集。对所述组合图像数据集执行构建操作，所述构建操作适于从多个频率特定分量进行图像构建，从而形成表示所述输入图像组合的输出图像。
在图3所示的示例中，所述分解数据通过分解由卷积滤波器304、305、306滤波的相应输入图像301、302、303的版本307、308、309来形成。每个相应的分解数据集通过将所述滤波图像分解为第一多个频率特定分量集来形成，每个频率特定分量集表示所述滤波图像(特征图)中相应频率间隔的特征的出现。
如图3所示，在该示例中，在保留所述高频分量用于后期阶段(如虚线314所示)的同时，每组分解数据的所述低频分量通过另一卷积层315、316、317进行特征提取。
分别形成卷积数据318、319和320。随后，将所述卷积数据分解为第二多个频率特定分量集，每个频率特定分量集表示所述卷积数据中相应频率间隔的特征的出现，如虚线框324所示。在该示例中，再次使用DWT，如321、322、323处所示，将所述每个输入的特征图318、319、320分解为虚线框324中示出的不同频率分量(三个高频和一个低频)，其中，将所述低频分量从该虚线框发送至所述特征合并模块325(稍后参考图4描述)，在该特征合并模块中执行特征融合并存储所述高频分量以供后期阶段使用(如虚线326所示)。
将融合后的特征图327与预先存储的低频和高频分量一起依次发送至上采样模块328和329，以将所述特征图重建为所述原始尺度，如330所示。在该示例中，添加全局残差连接(如331处所示)，以增强所述网络的表征能力。所述最终特征图显示在332处，色调映射之后的HDR图像显示在333处。
图4示出了特征合并模块(图3中的325)的示例性图示。所述合并模块的输入是来自不同LDR图像的三个低频分量，如401、402和403处所示。此处，L2为所述参考帧的所述低频分量。L1和L3为所述支持帧的所述低频分量。
所述装置用于对所述一些分解数据集的至少一些区域进行掩码和加权处理，以形成注意力滤波后的分解数据。选择所述注意力滤波后的分解数据的分量子集，其中，所述分量对应于比所述注意力滤波后的分解数据的其它分量更低的频率。合并该子集，以形成合并数据，所述合并数据构成所述构建操作的输入。
在初始阶段，将所述输入L1和L3分别与所述参考低频分量L2一起发送至所述注意力模块404和405，以生成相应的注意力掩码
Figure BDA0004090732000000051
和
Figure BDA0004090732000000052
然后，使用逐元素乘法将所述掩码应用于相应输入，以获得L′1和L′3：
Figure BDA0004090732000000053
Figure BDA0004090732000000054
如406处所示，将L′1、L2和L′3连接在一起，并通过卷积层以压缩所述特征图407的通道数。然后，使用DWT将所述特征图407分解为不同的频率分量。所述高频分量显示在虚线框408中。所述低频分量409通过几个残差块(如410处所示)，以将所述特征合并到特征图411中。最后，使用IDWT层412将所述特征图恢复到所述原始尺度。所得到的特征图如413处所示。
因此，在该示例中，所述装置还用于：分解所述注意力滤波后的数据；通过多次残差操作(410处所示的残差块)合并所述注意力滤波后的数据的相对低频分量，以形成卷积后的低频数据；根据所述注意力滤波后的数据的相对高频分量以及所述卷积后的低频数据，执行重构操作。
在该示例中，对于每个输入图像，所述装置用于：通过将所述已滤波特征图分解为第一多个频率特定分量集来形成所述相应分解数据集，每个频率特定分量集表示所述特征图中相应频率间隔的特征的出现；对所述频率特定分量集中的每一个执行卷积运算，以形成卷积数据；将所述卷积数据分解为第二多个频率特定分量集，每个频率特定分量集表示所述卷积数据中相应频率间隔的特征的出现。
合并所述第二多个频率特定分量集的第一子集，以形成第一合并数据。对所述第二多个频率特定分量集的第一子集和所述第一合并数据执行掩码和加权组合，以形成第一组合数据。对所述第二多个频率特定分量集的第二子集执行第一卷积组合，以形成第二组合数据。对所述第一组合数据和所述第二组合数据进行上采样，以形成第一上采样数据。对所述第一多个频率特定分量集的第一子集(对应于所述相对低频分量)和所述第一上采样数据执行掩码和加权组合，以形成第三组合数据。
对所述第一多个频率特定分量集的第二子集(对应于所述相对高频分量)执行第二卷积组合，以形成第四组合数据。
对所述第三组合数据和所述第四组合数据进行上采样，以形成第二上采样数据，并且作为图3中所示全局残差连接331的结果，所述输出图像根据所述第二上采样数据和所述输入图像的卷积版本的组合来形成。
图5示出了上采样模块的示例性图示。与之前使用小波变换、只有单一输入(例如去噪、分类)的计算机视觉任务不同，HDR成像任务通常有多个输入LDR图像。因此，在每个DWT层之后，可以实现多组低分量和高分量，例如：
Figure BDA0004090732000000061
Figure BDA0004090732000000062
Figure BDA0004090732000000063
此处，Ln为第nth个输入，[LLn,LHn,HLn,HHn]为与第nth个输入具有不同频率间隔的分量。然后，使用IDWT对所述特征图进行上采样时，仅使用一组这些分量。在本文描述的方法中，可学习合并模块将这些低频和高频分量合并成可在上采样期间使用的集合。首先，对于高频分量，将具有相同频率间隔的所述分量组合在一起：
LHs＝Concat(LH1,LH2,LH3) (6)
HLs＝Concat(HL1,HL2,HL3) (7)
HHs＝Concat(HH1,HH2,HH3) (8)
这些分组的分量分别在图5中的501、502和503处示出。然后，这些分组的分量通过几个卷积层，以生成一组高频分量，分别在504、505和506处示出并且在507处集中示出。
按照所述特征合并模块中的步骤(将LL1和LL3分别与所述参考低频分量LL2一起发送至所述注意力模块511和512以生成相应的注意力掩码
Figure BDA0004090732000000064
和
Figure BDA0004090732000000065
并且使用逐元素乘法将所述掩码应用于相应输入以获得L′1和L′3)，融合508、509、510处所示的低频分量LLn，然后将其与来自前一层的所述特征图F′513连接在一起，以生成514处所示的单个低频分量。然后，如515处所示，利用IDWT来使用所生成的低频分量514和高频分量507将所述特征图恢复到所述原始尺度。
如上所述，对于所述网络的输入，使用一组LDR图像{L1,L2,L3+。根据伽玛校正，将该组LDR图像映射到HDR域{H1,H2,H3+：
Figure BDA0004090732000000071
其中，γ为伽玛校正参数，ti为LDR图像Li的曝光时间。将这两组图像连接在一起，以生成最终输入集{X1,X2,X3+：
Xi＝Concat(Li,Hi) (10)
本文描述的方法将HDR成像问题表述为图像到图像的转换问题。因此，通过最大程度地减少预测的色调映射之后的输出
Figure BDA0004090732000000072
和色调映射之后的地面真值Τ(H)之间的L1损失，来训练所述网络：
Figure BDA0004090732000000073
其中，Τ(·)为μ-law函数，可表示为：
Figure BDA0004090732000000074
其中，μ为控制压缩的系数。
因此，本文描述的方法构成一种基于学习的方法，该方法与小波变换相结合，用于来自多帧输入的HDR图像融合。
如上所述，所述装置包括：小波变换模块，用于将输入分解为特征空间中具有不同频率间隔的多个分量；参数化学习模块，用于处理所述网络中的所述低频分量和所述高频分量的特征融合；以及注意力模块，用于处理所述支持帧中的未对齐区域。
本文描述的方法不需要光流。
所述可学习模块用于单独融合来自所述不同输入图像、具有不同频率间隔的几个分量(低频分量和高频分量)。对于所述特征合并模块，仅采用低频分量。低频分量包含更多结构信息。因此，在所述合并阶段使用低频分量可以有利于减轻重影伪影并恢复所述输入的曝光不足和曝光过度区域。高频分量可以保留细节信息，这有助于在上采样过程中重建细节。
图6示出了计算机实现的图像处理方法的示例；在步骤601中，所述方法包括接收多个输入图像。在步骤602中，所述方法包括：对于每个输入图像，通过将所述输入图像或其滤波版本分解为多个频率特定分量来形成分解数据集，每个频率特定分量表示所述输入图像或其滤波版本中相应频率间隔的特征的出现。在步骤603中，所述方法包括：使用一个或多个卷积神经网络处理每个分解数据集，以形成组合图像数据集。在步骤604中，所述方法包括：对所述组合图像数据集执行构建操作，所述构建操作适于从多个频率特定分量进行图像构建，从而形成表示所述输入图像组合的输出图像。
所述设备可以包括成像设备，例如相机。所述装置可以用于响应来自所述装置用户的输入，使所述相机或其它成像设备以与其它输入图像不同的曝光来捕获所述每个输入图像。
图7示出了包括成像设备701的装置700的示例，所述装置用于使用本文描述的方法来处理所述设备中至少一个图像传感器捕获的图像数据。所述设备701包括图像传感器702、703。此类设备701包括一些板载处理能力。这可以由所述处理器704提供。所述处理器704还可以用于所述设备的基本功能。
收发器705能够通过网络与其它实体710、711通信。这些实体可以在物理上远离所述设备701。所述网络可以是公共可访问网络，例如互联网。所述实体710、711可以基于云。实体710是计算实体。实体711是命令和控制实体。这些实体是逻辑实体。实际上，它们中的每一个都可以由一个或多个物理设备(例如，服务器和数据存储区)提供，并且两个或多个所述实体的功能可以由单个物理设备提供。实现实体的每个物理设备包括处理器和存储器。所述设备还包括收发器，用于向设备701的收发器705发送数据并从该收发器接收数据。所述存储器以非瞬时方式存储代码，所述代码可由所述处理器执行，以通过本文描述的方式实现相应实体。
所述命令和控制实体711可以训练所述设备中使用的所述模型。这通常是一项计算密集型任务，即使可以有效地描述所获得的模型，因此可以高效地在云中执行所述算法的开发，可以预见的是云中有大量能源和计算资源可用。可以预见的是，这比在典型成像设备上形成此类模型更有效。
在一实施方式中，在云中开发所述算法后，所述命令和控制实体即可自动形成相应的模型并使其传输到相关成像设备。在该示例中，由处理器704在所述设备701处实现所述模型。
在另一可能的实施方式中，可以由所述传感器702、703中的一个或两个捕获图像，并且可以由所述收发器705将所述图像数据发送到云端进行处理。然后，可以将所生成的图像发送回所述设备701，如图7中的712所示。
因此，可以通过多种方式部署所述方法，例如部署在云中、所述设备上或专用硬件中。如上所述，云设施可以执行训练，以开发新算法或改进现有算法。根据数据语料库附近的计算能力，所述训练可以在靠近源数据的位置进行，也可以在云中进行，例如使用推理引擎。
与现有方法不同，本文描述的方法不需要使用光流来对齐所述输入帧。DWT有利地用于减少因最大池化和步长卷积运算导致的信息丢失。DWT有利地用于执行下采样，而IDWT用于上采样。
不使用光流可以节省计算成本。此外，一些硬件不支持光流。因此，本文描述的方法可以在更广泛的硬件上使用，并且可以部署在移动设备中。
由于采用小波变化，下采样期间的信息丢失有所减少。因此，可以生成质量更好的HDR图像。与之前的方法相比，本发明实施例可以在图像质量和计算效率之间实现良好的平衡。
图8示出了本文所述方法(图像802)与基线方法UNet(801)和AHDR(803)之间的定性比较。从图8中可以看出，在该示例中，UNet在人脸和手臂中产生了伪影，而AHDR在汽车和建筑物中产生了伪影。使用本文所述方法生成的HDR图像没有这些伪影，并且可提供更好的质量结果。所述方法可以实现最佳性能，且计算效率高，在精度和效率之间保持良好的平衡。
申请方在此单独公开本文描述的每一个体特征及两个或两个以上此类特征的任意组合。以本领域技术人员的普通知识，能够基于本说明书将此类特征或组合作为整体实现，而不考虑此类特征或特征的组合是否能解决本文所公开的任何问题，并且不限于权利要求的范围。本申请表明本发明的各方面可由任何这类单独特征或特征的组合构成。鉴于前文描述可在本发明的范围内进行各种修改对本领域技术人员来说是显而易见的。

Claims (13)

1.一种包括一个或多个处理器(704)的图像处理装置(700)，其特征在于，用于：
接收(601)多个输入图像(301、302、303)；
对于每个输入图像，通过将所述输入图像(301、302、303)或其滤波版本(307、308、309)分解为多个频率特定分量(313)来形成(602)分解数据集，每个频率特定分量表示所述输入图像或其滤波版本中相应频率间隔的特征的出现；
使用一个或多个卷积神经网络处理(603)每个分解数据集，以形成组合图像数据集(327)；
对所述组合图像数据集(327)执行(604)构建操作，所述构建操作适于从多个频率特定分量进行图像构建，从而形成表示所述输入图像组合的输出图像(333)。
2.根据权利要求1所述的图像处理装置，其特征在于，所述分解所述输入图像的步骤包括对所述输入图像执行离散小波变换操作。
3.根据权利要求1或2所述的图像处理装置，其特征在于，所述构建操作是逆离散小波变换操作。
4.根据上述任一权利要求所述的图像处理装置，其特征在于，所述装置包括相机(701)，且所述装置用于响应来自所述装置用户的输入，使得所述相机捕获所述多个输入图像(301、302、303)，所述输入图像中的每一个均采用与其它所述输入图像不同的曝光来捕获。
5.根据上述任一权利要求所述的图像处理装置，其特征在于，所述分解数据通过分解由卷积滤波器滤波的所述相应输入图像版本来形成。
6.根据上述任一权利要求所述的图像处理装置，其特征在于，所述装置用于：
对所述一些分解数据集的至少一些区域进行掩码和加权处理，以形成注意力滤波后的分解数据；
选择所述注意力滤波后的分解数据的分量子集，其中，所述分量对应于比所述注意力滤波后的分解数据的其它分量更低的频率；
至少合并所述分量子集中的分量，以形成合并数据，
其中，所述合并数据构成所述构建操作的输入。
7.根据权利要求6所述的图像处理装置，其特征在于，所述装置用于：分解所述注意力滤波后的数据；通过多次残差操作合并所述注意力滤波后的数据的相对低频分量，以形成卷积后的低频数据；根据所述注意力滤波后的数据的相对高频分量以及所述卷积后的低频数据，执行重构操作。
8.根据上述任一权利要求所述的图像处理装置，其特征在于，所述装置用于：
对于每个输入图像，通过将所述输入图像或其滤波版本分解为第一多个频率特定分量集来形成所述相应分解数据集，每个频率特定分量集表示所述输入图像或其滤波版本中相应频率间隔的特征的出现；对所述频率特定分量集中的每一个执行卷积运算，以形成卷积数据；将所述卷积数据分解为第二多个频率特定分量集，每个频率特定分量集表示所述卷积数据中相应频率间隔的特征的出现。
9.根据权利要求8所述的图像处理装置，其特征在于，所述装置用于：
合并所述第二多个频率特定分量集的第一子集，以形成第一合并数据；
对所述第二多个频率特定分量集的第一子集和所述第一合并数据执行掩码和加权组合，以形成第一组合数据；
对所述第二多个频率特定分量集的第二子集执行第一卷积组合，以形成第二组合数据；
对所述第一组合数据和所述第二组合数据进行上采样，以形成第一上采样数据；
对所述第一多个频率特定分量集的第一子集和所述第一上采样数据执行掩码和加权组合，以形成第三组合数据；
对所述第一多个频率特定分量集的第二子集执行第二卷积组合，以形成第四组合数据；
对所述第三组合数据和所述第四组合数据进行上采样，以形成第二上采样数据；
其中，所述输出图像根据所述第二上采样数据来形成。
10.根据权利要求8所述的图像处理装置，其特征在于，所述第一子集(409)是相对低频分量的子集。
11.根据权利要求8或9所述的图像处理装置，其特征在于，所述第二子集(408)是相对高频分量的子集。
12.根据权利要求8至10中任一项所述的图像处理装置，其特征在于，所述输出图像根据所述第二上采样数据和所述输入图像的卷积版本的组合来形成。
13.一种计算机实现的图像处理方法(600)，其特征在于，包括：
接收(601)多个输入图像(301、302、303)；
对于每个输入图像，通过将所述输入图像(301、302、303)或其滤波版本(307、308、309)分解为多个频率特定分量(313)来形成(602)分解数据集，每个频率特定分量表示所述输入图像或其滤波版本中相应频率间隔的特征的出现；
使用一个或多个卷积神经网络处理(603)每个分解数据集，以形成组合图像数据集(327)；
对所述组合图像数据集(327)执行(604)构建操作，所述构建操作适于从多个频率特定分量进行图像构建，从而形成表示所述输入图像组合的输出图像(333)。
CN202080103402.8A 2020-11-05 2020-11-05 基于小波变换的深度高动态范围成像 Pending CN116113978A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/126617 WO2022094824A1 (en) 2020-11-05 2020-11-05 Wavelet transform based deep high dynamic range imaging

Publications (1)

Publication Number Publication Date
CN116113978A true CN116113978A (zh) 2023-05-12

Family

ID=81456836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080103402.8A Pending CN116113978A (zh) 2020-11-05 2020-11-05 基于小波变换的深度高动态范围成像

Country Status (4)

Country Link
US (1) US20230237627A1 (zh)
EP (1) EP4197192A4 (zh)
CN (1) CN116113978A (zh)
WO (1) WO2022094824A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700072A (zh) * 2013-12-17 2014-04-02 北京工业大学 一种基于自适应小波阈值和双边滤波器的图像去噪方法
JP6344934B2 (ja) * 2014-03-04 2018-06-20 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
WO2019112085A1 (en) * 2017-12-06 2019-06-13 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
CN110728614B (zh) * 2019-09-27 2023-09-19 天津大学 灰狼优化算法和完全三叉树结构小波域彩色多水印方法
CN111161128A (zh) * 2019-11-18 2020-05-15 田树耀 基于频域方向滤波的图像变换及其在稀疏分解中的应用
CN111382795B (zh) * 2020-03-09 2023-05-05 交叉信息核心技术研究院(西安)有限公司 基于频域小波基处理的神经网络的图像分类处理方法
CN111861957B (zh) * 2020-07-02 2024-03-08 Tcl华星光电技术有限公司 图像融合方法及装置

Also Published As

Publication number Publication date
WO2022094824A1 (en) 2022-05-12
US20230237627A1 (en) 2023-07-27
EP4197192A4 (en) 2023-10-04
EP4197192A1 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
Dong et al. Denoising prior driven deep neural network for image restoration
Ng et al. Solving constrained total-variation image restoration and reconstruction problems via alternating direction methods
KR20210114856A (ko) 딥 컨볼루션 신경망을 이용한 이미지 노이즈 제거 시스템 및 방법
KR20010072265A (ko) Ｌｃｄ패널에서의 이미지 디스플레이에 적합한ｄｗｔ-기반 업샘플링 알고리즘
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN114723630B (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
JP2000306089A (ja) 画像処理方法および装置並びに記録媒体
Witwit et al. Global motion based video super-resolution reconstruction using discrete wavelet transform
Chen et al. Attention-based broad self-guided network for low-light image enhancement
Vyas et al. Review of the application of wavelet theory to image processing
CN117830154A (zh) 基于潜变量先验知识引导的视频去模糊方法、计算机设备、可读存储介质和程序产品
CN111353982B (zh) 一种深度相机图像序列筛选方法及装置
CN117670733A (zh) 一种基于小波谱学习的低光照图像增强方法
Xiao et al. Deep progressive feature aggregation network for multi-frame high dynamic range imaging
CN115867934A (zh) 排列不变的高动态范围成像
CN116113978A (zh) 基于小波变换的深度高动态范围成像
KR20090079470A (ko) 카메라 모듈에서 신호 의존적인 잡음 추정 장치 및 방법
KR102448498B1 (ko) 적외선 영상의 잡음을 제거하는 방법 및 장치
CN116385280A (zh) 一种图像降噪系统、方法及降噪神经网络训练方法
CN116266336A (zh) 视频超分辨率重建方法、装置、计算设备及存储介质
CN113554567A (zh) 一种基于小波变换的鲁棒去重影系统及方法
Lakshman et al. Image interpolation using shearlet based sparsity priors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination