CN116362998A - 图像增强装置、方法、电子设备和存储介质 - Google Patents

图像增强装置、方法、电子设备和存储介质 Download PDF

Info

Publication number
CN116362998A
CN116362998A CN202310181125.8A CN202310181125A CN116362998A CN 116362998 A CN116362998 A CN 116362998A CN 202310181125 A CN202310181125 A CN 202310181125A CN 116362998 A CN116362998 A CN 116362998A
Authority
CN
China
Prior art keywords
image
feature
feature map
layer
brightness enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310181125.8A
Other languages
English (en)
Inventor
胡威
李伟琪
顾淳涛
黄远东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eswin Computing Technology Co Ltd
Original Assignee
Beijing Eswin Computing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eswin Computing Technology Co Ltd filed Critical Beijing Eswin Computing Technology Co Ltd
Priority to CN202310181125.8A priority Critical patent/CN116362998A/zh
Publication of CN116362998A publication Critical patent/CN116362998A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像增强装置、方法、电子设备和存储介质，涉及图像处理技术领域，该装置包括：图像获取模块，用于获取待处理的低照度图像；图像增强模块，用于将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像；降噪模块，用于将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息，从第一亮度增强图像中去除噪声信息，得到低照度图像的第二亮度增强图像；其中，亮度增强模型用于对低照度图像进行基于多流特征交互的亮度增强。本发明提供的技术方案能够在保证图像亮度增强效果的同时，抑制噪声的产生并减少颜色信息的丢失。

Description

图像增强装置、方法、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像增强装置、方法、电子设备和存储介质。
背景技术
随着多媒体技术的发展，图像和视频等的应用越来越广泛。但受图像采集设备的限制或夜晚等光线不足环境的影响，采集到的图像会因为曝光不足而出现可见度低、细节不可见、噪声干扰大、光照不均匀等问题，不仅在视觉上带来较差的感受，而且会影响基于图像的计算机视觉系统的正常工作，因此，对低照度图像进行亮度增强显得十分重要。
相关技术中，可以通过基于直方图均衡的增强方法、基于视网膜大脑皮层(Retinex)理论的增强方法以及基于深度学习的端到端增强方法进行低照度图像的增强。其中，基于直方图均衡的增强方法在处理前景和背景较暗的图像时可以获得较好的效果，但由于某些区域的过度增强，容易出现细节丢失和颜色偏差。基于Retinex理论的增强方法在对Retinex模型中的反射率和光照分解时存在局限性，粗略的估计反射率值容易导致图像增强的结果出现过曝光或欠曝光现象。基于深度学习的端到端方法尽管可以避开物理原理的局限性，但容易忽略图像噪声和增强过程中颜色信息的丢失。
因此，如何在保证图像亮度增强效果的同时抑制噪声的产生并减少颜色信息的丢失，是目前亟待解决的技术问题。
发明内容
本发明提供一种图像增强装置、方法、电子设备和存储介质，以在保证图像亮度增强效果的同时，抑制噪声的产生并减少颜色信息的丢失。
本发明提供一种图像增强装置，包括：
图像获取模块，用于获取待处理的低照度图像；
图像增强模块，用于将所述低照度图像输入亮度增强模型，获得所述亮度增强模型输出的第一亮度增强图像；所述亮度增强模型用于对所述低照度图像进行基于多流特征交互的亮度增强，所述多流特征包括所述低照度图像在原始图像特征尺度下的主流特征图和基于所述主流特征图确定的至少一个分流特征图，所述至少一个分流特征图的图像特征尺度各不相同且不同于所述原始图像特征尺度；
降噪模块，用于将所述第一亮度增强图像输入降噪模型，获得所述降噪模型输出的噪声信息，从所述第一亮度增强图像中去除所述噪声信息，得到所述低照度图像的第二亮度增强图像；所述降噪模型用于提取所述第一亮度增强图像的噪声信息。
根据本发明提供的一种图像增强装置，所述图像增强模块包括：
第一特征提取单元，用于将所述低照度图像输入所述亮度增强模型的第一特征提取层，获得所述第一特征提取层输出的第一初始特征图；所述第一特征提取层用于对所述低照度图像进行图像特征提取；
第一分流单元，用于将所述第一初始特征图输入所述亮度增强模型的第一分流层，获得所述第一分流层输出的所述主流特征图和所述至少一个分流特征图；所述第一分流层用于对所述第一初始特征图进行不同图像特征尺度上的卷积；
第一信息交互单元，用于将所述主流特征图和所述至少一个分流特征图输入所述亮度增强模型的第一信息交互层，获得所述第一信息交互层输出的所述主流和所述至少一个分流各自对应的第一特征图；所述第一信息交互层用于对所述主流特征图和所述至少一个分流特征图进行交互融合；
图像复原单元，用于将所述第一特征图输入所述亮度增强模型的图像复原层，获得所述图像复原层输出的所述第一亮度增强图像；所述图像复原层用于对所述主流和所述至少一个分流各自对应的所述第一特征图进行反卷积融合。
根据本发明提供的一种图像增强装置，所述至少一个分流特征图包括第一分流特征图和第二分流特征图；所述第一分流单元包括：
第一分流子单元，用于将所述第一初始特征图输入所述第一分流层的主流层，获得所述主流层输出的所述主流特征图；所述主流层用于对所述第一初始特征图进行在所述第一初始特征图的图像特征尺度上的卷积；
第二分流子单元，用于将所述第一初始特征图输入所述第一分流层的第一子分流层，获得所述第一子分流层输出的所述第一分流特征图；所述第一子分流层用于对所述第一初始特征图进行第一下采样，并对第一下采样得到的第一特征图进行在所述第一特征图的图像特征尺度上的卷积；
第三分流子单元，用于将所述第一分流特征图和所述主流特征图输入所述第一分流层的第二子分流层，获得所述第二子分流层输出的所述第二分流特征图；所述第二子分流层用于对所述主流特征图进行第二下采样，并将第二下采样得到的第二特征图与所述第一分流特征图进行在所述第二特征图的图像特征尺度上的卷积；其中，所述第一下采样与所述第二下采样的采样尺度不同。
根据本发明提供的一种图像增强装置，所述第一信息交互单元包括：
采样子单元，用于将所述主流特征图和所述至少一个分流特征图输入所述第一信息交互层的采样层，获得所述采样层输出的各信息流对应的采样特征图；所述信息流包括所述主流和所述至少一个分流；所述采样层用于将所述主流特征图和所述至少一个分流特征图分别采样至各所述信息流的特征图尺寸；
融合子单元，用于针对每个信息流，将每个所述信息流对应的采样特征图进行交互融合，得到每个所述信息流对应的特征图。
根据本发明提供的一种图像增强装置，所述图像复原层具体用于：对所述主流和所述至少一个分流各自对应的所述第一特征图，从特征图尺寸最小的信息流对应的所述第一特征图开始，以尺寸递进的方式，将当前信息流的融合特征图反卷积至所述当前信息流的后一信息流的特征图尺寸，并将反卷积后的特征图与所述后一信息流对应的第一特征图进行融合，直至融合所述主流对应的第一特征图，得到所述第一亮度增强图像；
其中，所述当前信息流的融合特征图是将所述当前信息流的前一信息流的第一特征图反卷积至所述当前信息流的特征图尺寸，并将反卷积后的特征图与所述当前信息流的第一特征图进行融合得到的。
根据本发明提供的一种图像增强装置，所述亮度增强模型是基于低照度样本图像、所述低照度样本图像对应的第一基准照度样本图像和增强损失函数对初始亮度增强模型进行训练得到的；
所述增强损失函数是基于所述低照度样本图像与所述第一基准照度样本图像之间的像素差异、结构相似度和色差中的至少一项确定的。
根据本发明提供的一种图像增强装置，所述降噪模块包括：
第二特征提取单元，用于将所述第一亮度增强图像输入所述降噪模型的第二特征提取层，获得所述第二特征提取层输出的第二初始特征图；所述第二特征提取层用于对所述第一亮度增强图像进行图像特征提取；
第二分流单元，用于将所述第二初始特征图输入所述降噪模型的第二分流层，获得所述第二分流层输出的降噪主流特征图和至少一个降噪分流特征图；所述第二分流层用于对所述第二初始特征图进行不同图像特征尺度上的卷积；
第二信息交互单元，用于将所述降噪主流特征图和所述至少一个降噪分流特征图输入所述降噪模型的第二信息交互层，获得所述第二信息交互层输出的降噪主流和至少一个降噪分流各自对应的第三特征图；所述第二信息交互层用于对所述降噪主流和所述至少一个降噪分流的所述第三特征图进行交互融合；
噪声提取单元，用于将所述第三特征图输入所述降噪模型的噪声提取层，获得所述噪声提取层输出的所述噪声信息；所述噪声提取层用于对所述降噪主流和所述至少一个降噪分流各自对应的所述第三特征图进行噪声提取。
根据本发明提供的一种图像增强装置，还包括：
模型训练模块，用于获取第二基准照度样本图像，并对所述第二基准照度样本图像添加噪声，得到加噪样本图像，基于所述加噪样本图像、所述第二基准照度样本图像和降噪损失函数对初始降噪模型进行训练，得到所述降噪模型；
其中，所述降噪损失函数是基于第一结构相似度和第二结构相似度确定的，所述第一结构相似度为所述加噪样本图像去除所述初始降噪模型输出的噪声之后的图像与所述第二基准照度样本图像之间的结构相似度，所述第二结构相似度为所述第二基准照度样本图像添加所述初始降噪模型输出的噪声之后的图像与所述加噪样本图像之间的相似度。
本发明还提供一种图像增强方法，包括：
获取待处理的低照度图像；
将所述低照度图像输入亮度增强模型，获得所述亮度增强模型输出的第一亮度增强图像；所述亮度增强模型用于对所述低照度图像进行基于多流特征交互的亮度增强，所述多流特征包括所述低照度图像在原始图像特征尺度下的主流特征图和基于所述主流特征图确定的至少一个分流特征图，所述至少一个分流特征图的图像特征尺度各不相同且不同于所述原始图像特征尺度；
将所述第一亮度增强图像输入降噪模型，获得所述降噪模型输出的噪声信息；所述降噪模型用于提取所述第一亮度增强图像的噪声信息；
从所述第一亮度增强图像中去除所述噪声信息，得到所述低照度图像的第二亮度增强图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述图像增强方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像增强方法。
本发明提供的图像增强装置、方法、电子设备和存储介质，先通过亮度增强模型对待处理的低照度图像进行基于多流特征交互的亮度增强，获得亮度增强模型输出的第一亮度增强图像；接着通过降噪模型提取第一亮度增强图像的噪声信息；然后从第一亮度增强图像中去除该噪声信息，得到低照度图像的第二亮度增强图像，从而在保证图像亮度增强效果的同时抑制了噪声的产生。其中的多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于该主流特征图确定的至少一个分流特征图，该至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度，因此，在对低照度图像进行基于多流特征交互的亮度增强过程中，能够在保证低照度图像原始图像信息的同时获得更多的语义信息，保留了低照度图像更多的细节和颜色信息，从而在保证图像亮度增强效果的同时，抑制了噪声的产生并减少了颜色信息的丢失。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像增强装置的结构示意图之一；
图2是本发明实施例提供的图像增强装置的结构示意图之二；
图3是本发明实施例中第一分流单元的工作原理示意图；
图4是本发明实施例中第一信息交互单元的工作原理示意图；
图5是本发明实施例提供的图像增强装置的工作原理示意图；
图6是本发明实施例提供的图像增强方法的流程示意图；
图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明中为描述的对象所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
低照度图像增强的目的是突出图像的有用特征，同时削弱或消除干扰信息，将不清晰或者亮度较低的图像变得清晰或者增强亮度。在夜间等光照较暗的环境，比如月光、火光、灯光等，会使得周围环境的光线复杂，从而导致可见光和对比度严重下降，并且伴随着大量的噪声产生；或者因为光照不均匀的影响，出现图像区域间亮度相差较大的现象。对于军事、监测、安防等领域而言，提高低照度图像的亮度显得尤为重要。
在图像增强的相关技术中，可以通过基于直方图均衡的增强方法、基于Retinex理论的增强方法以及基于深度学习的端对端增强方法。
其中，基于直方图均衡的增强方法的主要是扩展图像直方图统计的像素动态范围，通过增加图像的对比度来改善视觉效果，这种增强算法主要包括基于局部的直方图均衡和基于全局的直方图均衡。这类方法在处理前景和背景较暗的图像时可以获得较好的效果，同时，由于计算量小，在处理时间上有很大优势。但由于存在某些区域的过度增强，会出现细节丢失和颜色偏差的问题。尽管基于直方图均衡的增强算法在时间上有很大的优势，但由于亮度增强过程中考虑的是图像的整体统计特性，因此在处理复杂场景图像时不能获得良好的效果。
Retinex理论的主要思想是人眼所感知到的物体的颜色和亮度是由物体表面的反射特性和入射特性(或光照特性)共同作用决定的，而这恰恰与亮度的特性相似。Retinex理论提出后，大量基于该理论的方法被提出，尽管这些方法在某些情况下能取得较好的结果，但它们在对Retinex模型中的反射率和光照分解时仍然存在局限性，因为设计一种适用于各种场景的图像分解约束是图像增强中的主要难点。此外，由于求解反射率图是一个粗略估计的过程，粗略的估计值容易导致图像增强的结果出现过曝光或欠曝光现象。
随着人工智能的发展和神经网络在图像处理领域的优异表现，基于深度学习的方法在图像增强领域得到了迅速发展。这类方法又可以以是否基于Retinex理论分为两类，这两类方法都能取得较好的图像增强结果。但是直接端到端生成增强结果的方法容易忽视噪声的产生，从而生成有噪声的增强结果，而基于Retinex理论的深度学习方法则容易忽略低照度图像在增强过程中产生的色偏现象。
基于此，本发明实施例提供了一种图像增强装置，可以包括：图像获取模块，用于获取待处理的低照度图像；图像增强模块，用于将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像；亮度增强模型用于对低照度图像进行基于多流特征交互的亮度增强，多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于主流特征图确定的至少一个分流特征图，至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度；降噪模块，用于将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息，从第一亮度增强图像中去除噪声信息，得到低照度图像的第二亮度增强图像，其中的降噪模型用于提取第一亮度增强图像的噪声信息。能够在保证图像亮度增强效果的同时，抑制噪声的产生并减少颜色信息的丢失。
下面结合图1-图5对本发明的图像增强装置进行描述。该图像增强装置可以通过软件、硬件或两者的结合来实现。
图1示例性示出了本发明实施例提供的图像增强装置的结构示意图之一，参照图1所示，图像增强装置可以包括图像获取模块110、图像增强模块120和降噪模块130。
其中，图像获取模块110用于获取待处理的低照度图像；
图像增强模块120用于将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像；
降噪模块130用于将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息，从第一亮度增强图像中去除噪声信息，得到低照度图像的第二亮度增强图像。其中的亮度增强模型用于对低照度图像进行基于多流特征交互的亮度增强，多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于主流特征图确定的至少一个分流特征图，至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度；降噪模型用于提取第一亮度增强图像的噪声信息。
具体的，低照度图像为图像采集设备在低光照环境下采集的图像。
具体的，亮度增强模型可以基于低照度样本图像、低照度样本图像对应的第一基准照度样本图像和增强损失函数对初始亮度增强模型进行训练得到的。其中的增强损失函数是基于低照度样本图像与第一基准照度图像之间的像素差异、结构相似度和色差中的至少一项确定的。
示例性的，基于主流特征图确定的至少一个分流特征图可以是对主流特征图进行不同图像特征尺度的下采样后得到的，比如对主流特征图分别下采样2倍和4倍后得到两个分流特征图。
或者，基于主流特征图确定的至少一个分流特征图可以包括：对低照度图像的初始特征图进行在保持图像尺寸不变的情况下进行卷积，得到主流特征图；对该初始特征图进行不同图像特征尺度的下采样，得到不同图像特征尺度各自对应的特征图；将该特征图在保持该特征图尺寸的情况下进行卷积，得到该特征图所在信息流的分流特征图；从尺度最大的分流特征图开始，以递进的方式，针对每个分流特征图，将该分流特征图与前面各信息流的特征图进行卷积融合，得到该分流特征图下一信息流的分流特征图。其中，各分流特征图的图像特征尺度不同。
例如，可以对低照度图像的初始特征图在保持图像尺寸不变的情况下进行卷积，得到主流特征图；对该初始特征图下采样2倍，将下采样得到的第一特征图在保持图像尺寸不变的情况下进行卷积，得到第一分流特征图；对主流特征图下采样4倍，将下采样得到的第二特征图与第一分流特征图在第二特征图的图像特征尺度下进行卷积融合，得到第二分流特征图。
其中，初始亮度增强模型比如可以包括卷积神经网络(Convolutional NeuralNetworks，CNN)、循环神经网络(Recurrent Neural Network Transducer，RNN)、长短期记忆网络(Long short-term memory，LSTM)等其中的至少一种神经网络，但不限于此。
由于自然场景下很难获取场景内容一致而亮度不一致的图像对，在本发明实施例中，可以通过调整图像采集设备或者对图像采集设备采集的图像进行后期处理的方式获取训练样本数据集。示例性的，在本发明实施例中，可以将如下的至少一个数据库作为进行亮度增强模型和降噪模型的训练样本数据集：
(1)低照度图像对数据库(Low-Light，LOL)，其中包含500幅低照度样本图像和各自对应的正常曝光样本图像，每张图像大小比如为400*600。LOL通过调整自然场景(包括住宅、郊区、街道等)中的曝光时间来获得低照度样本图像。
(2)合成数据库，是从RAISE数据库中选择M个原始图像，如1000个，并使用AdobeLightroom提供的接口来调整图像亮度通道的值，以将这些图像合成为低照度样本图像，从而获得M个对应的图像对。最后，这些图像对被调整为设定的尺寸，比如400*600的大小。
可以理解的是，训练样本数据集可以是直接采用这两个数据库中的样本，或者是从这两个数据库中选择预设数量个图像对作为训练样本数据集。其中的图像对是指低照度样本图像和低照度样本图像对应的基准照度样本图像(也即正常曝光样本图像)。
基于该训练样本数据集，在亮度增强模型的训练阶段，以训练样本数据集中的低照度样本图像为初始亮度增强模型输入，获取初始亮度增强模型的输出结果，基于该输出结果和低照度样本图像对应的第一基准照度样本图像计算增强损失函数的损失值，根据该损失值调整初始亮度增强模型的模型参数，如此反复迭代，直至损失值满足设定要求，得到训练好的亮度增强模型。示例性的，在训练过程中，可以采用随机梯度下降法更新初始亮度增强模型的权值，通过更新后的权值对初始亮度增强模型重新进行训练。
示例性的，以增强损失函数是基于低照度样本图像与第一基准照度图像之间的像素差异、结构相似度和色差确定的为例，该增强损失函数中可以包括：L1损失函数(L1)、结构相似度损失函数(Ls)和颜色差异损失函数(Lc)。具体如下：
L1损失函数提供了一种定量方法来测量训练过程中初始亮度增强模型输出的增强图像和真实图像之间的像素级差异，也即将低照度样本图像输入模型后得到的增强图像与该低照度样本图像对应的第一基准照度样本图像之间的像素级差异。该L1损失函数L1可以用如下的公式(1)表示：
Figure BDA0004102424200000121
其中，N表示图像中的像素数量，yi表示低照度样本图像对应的第一基准照度样本图像中的第i个像素点，f(S)i表示初始亮度增强模型的输出，||·||1表示L1范式。
结构相似度损失函数是评价两幅图像结构相似性的指标。在本发明实施例中，亮度增强模型的结构是多尺度的，可以采用多尺度结构损失函数。结构相似度MS(a1,a2)可以用如下公式(2)表示：
Figure BDA0004102424200000122
其中，a1和a2表示低照度样本图像和对应的第一基准照度样本图像，l(a1,a2)表示亮度，c(a1,a2)表示对比度，
Figure BDA0004102424200000123
表示a1和a2之间第i个像素点的结构相似度；i表示像素点，m表示像素点的总数；α、β和γ表示权重参数，用于调整其重要性。结构相似度的值越大，表示两者相似性越高，为了保持训练时损失函数的一致性，多尺度的结构损失函数可以被转换为如下的公式(3)：
LMS(a1,a2)＝1-MS(a1,a2) (3)
其中，LMS表示结构相似度损失。
进一步可以将结构相似度损失函数LS表示为如下的公式(4)：
LS＝LMS(yi,f(S)i) (4)
其中，yi表示低照度样本图像对应的第一基准照度样本图像中的第i个像素点，f(S)i表示初始亮度增强模型的输出。
由于低照度图像丢失了很多颜色信息，增强结果很容易出现色偏，基于此，在本发明实施例中，引入CIEDE2000作为颜色损失函数来计算两幅图像之间的色差。具体的，可以将真实图像与模型输出的增强图像从RGB颜色空间转换为Lab颜色空间，然后根据CIEDE2000方法计算第一基准照度样本图像(真实图像)和模型输出的增强图像中每个像素点之间的色差。颜色差异损失函数Lc可以表示为如下的公式(5)：
Figure BDA0004102424200000131
其中，N表示图像中的像素数量，ΔE表示两幅图像每个像素在Lab颜色空间的颜色差异，yi表示低照度样本图像对应的第一基准照度样本图像中的第i个像素点，f(S)i表示初始亮度增强模型的输出。.
进一步的，增强损失函数可以表示为如下的公式(6)：
L＝ρL1+σLs+δLc (6)
其中，L1是L1损失函数，LS表示结构相似度损失函数，Lc表示颜色差异损失函数，ρ、σ和δ分别是损失函数的权重。
这样，一方面，通过在增强损失函数中引入颜色损失，以测量增强结果与真实图像之间的颜色相似性，可以在图像增强过程中考虑色差，进一步避免增强结果的颜色失真。另一方面，增强损失函数是从多个角度考虑的联合损失函数，能够使图像增强结果更接近真实图像。
对于降噪模型的训练，由于上述数据库缺乏噪声图像，因此，在本发明实施例中，可以结合低曝光图像噪声的分布特点，在正常曝光样本图像上添加泊松噪声，将添加噪声的噪声样本图像和对应的正常曝光样本图像作为降噪模型训练的训练数据集。
具体的，降噪模型可以是基于加噪样本图像、第二基准照度样本图像和降噪损失函数对初始降噪模型进行训练得到的。其中的初始降噪模型可以包括CNN、RNN和LSTM等其中的至少一种神经网络，但不限于此。降噪损失函数可以是基于第一结构相似度和第二结构相似度确定的，第一结构相似度为加噪样本图像去除初始降噪模型输出的噪声之后的图像与第二基准照度样本图像之间的结构相似度，第二结构相似度为第二基准照度样本图像添加初始降噪模型输出的噪声之后的图像与加噪样本图像之间的相似度。
在降噪模型的训练过程中，可以将加噪样本图像输入初始降噪模型，得到初始降噪模型输出的噪声，将加噪样本图像与该噪声相减，得到图像增强结果，然后基于该图像增强结果和加噪样本图像对应的第二基准照度样本图像计算降噪损失函数的损失值，基于该损失值对初始降噪模型的模型参数进行调整，如此反复迭代，直至损失值满足设定要求，得到训练好的降噪模型。
本发明提供的图像增强装置，先通过亮度增强模型对待处理的低照度图像进行基于多流特征交互的亮度增强，获得亮度增强模型输出的第一亮度增强图像；接着通过降噪模型提取第一亮度增强图像的噪声信息；然后从第一亮度增强图像中去除该噪声信息，得到低照度图像的第二亮度增强图像，从而在保证图像亮度增强效果的同时抑制了噪声的产生。其中的多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于该主流特征图确定的至少一个分流特征图，该至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度，因此，在对低照度图像进行基于多流特征交互的亮度增强过程中，能够在保证低照度图像原始图像信息的同时获得更多的语义信息，保留了低照度图像更多的细节和颜色信息，从而在保证图像亮度增强效果的同时，抑制了噪声的产生并减少了颜色信息的丢失。
基于图1对应实施例的图像增强装置，图2示例性示出了本发明实施例提供的图像增强装置的结构示意图之二，参照图2所示，该图像增强装置还可以包括模型训练模块210。模型训练模块210可以用于获取第二基准照度样本图像，并对第二基准照度样本图像添加噪声，得到加噪样本图像，基于加噪样本图像、第二基准照度样本图像和降噪损失函数对初始降噪模型进行训练，得到降噪模型。
其中，降噪损失函数是基于第一结构相似度和第二结构相似度确定的，第一结构相似度为加噪样本图像去除初始降噪模型输出的噪声之后的图像与第二基准照度样本图像之间的结构相似度，第二结构相似度为第二基准照度样本图像添加初始降噪模型输出的噪声之后的图像与加噪样本图像之间的相似度。
具体的，降噪损失函数可以表示为如下的公式(7)：
LN＝Lp+Ln (7)
其中，Lp＝LMS(y,yn-f(yn))表示第一结构相似度，Ln＝LMs(yn,y+f(yn))表示第二结构相似度；yn表示加噪样本图像，f(yn)表示初始降噪模型输出的噪声，y表示第二基准照度样本图像。
基于图1或图2对应实施例的图像增强装置，在一种示例实施例中，图像增强模块120可以包括：
第一特征提取单元，用于将低照度图像输入亮度增强模型的第一特征提取层，获得第一特征提取层输出的第一初始特征图；第一特征提取层用于对低照度图像进行图像特征提取；
第一分流单元，用于将第一初始特征图输入亮度增强模型的第一分流层，获得第一分流层输出的主流特征图和至少一个分流特征图；第一分流层用于对第一初始特征图进行不同图像特征尺度上的卷积；
第一信息交互单元，用于将主流特征图和至少一个分流特征图输入亮度增强模型的第一信息交互层，获得第一信息交互层输出的主流和至少一个分流各自对应的第一特征图；第一信息交互层用于对主流特征图和至少一个分流特征图进行交互融合；
图像复原单元，用于将第一特征图输入亮度增强模型的图像复原层，获得图像复原层输出的第一亮度增强图像；图像复原层用于对主流和至少一个分流各自对应的第一特征图进行反卷积融合。
示例性的，第一特征提取层可以包括预设数量个基础卷积块，比如包括3个基础卷积块，每个卷积块可以由步长为1、卷积核尺寸为3*3的卷积层组成。
示例性的，第一分流层输出的至少一个分流特征图可以包括第一分流特征图和第二分流特征图；第一分流单元可以包括：
第一分流子单元，用于将第一初始特征图输入第一分流层的主流层，获得主流层输出的主流特征图；其中的主流层用于对第一初始特征图进行在第一初始特征图的图像特征尺度上的卷积；
第二分流子单元，用于将第一初始特征图输入第一分流层的第一子分流层，获得第一子分流层输出的第一分流特征图；其中的第一子分流层用于对第一初始特征图进行第一下采样，并对第一下采样得到的第一特征图进行在第一特征图的图像特征尺度上的卷积；
第三分流子单元，用于将第一分流特征图和主流特征图输入第一分流层的第二子分流层，获得第二子分流层输出的第二分流特征图；其中的第二子分流层用于对主流特征图进行第二下采样，并将第二下采样得到的第二特征图与第一分流特征图进行在第二特征图的图像特征尺度上的卷积；其中，第一下采样与第二下采样的采样尺度不同。
其中，各信息流结构中的特征图在卷积过程中的大小始终保持相同。通过对主流特征图进行下采样可以扩展卷积核的感受野。
例如，图3示例性示出了第一分流单元的工作原理示意图，参照图3所示，以卷积核大小是3、第一下采样为下采样2倍、第二下采样为下采样4倍为例，将第一初始特征图输入主流层，利用主流层对第一初始特征图进行卷积，如进行卷积核大小为3、步长为1的卷积，得到主流层输出的主流特征图。通过第一子分流层对第一初始特征图下采样2倍，得到第一特征图，然后对第一特征图进行卷积，如进行卷积核大小为3、步长为2的卷积，得到第一子分流层输出的第一分流特征图。通过第二子分流层对主流特征图下采样4倍，得到第二特征图，将第二特征图与第一分流特征图进行步长为4的卷积，卷积至与第二特征图相同的图像特征尺度，得到第二子分流层输出的第二分流特征图。此时，可以得到第一初始特征图在不同图像特征尺度上的特征图。
示例性的，第一信息交互单元可以包括：
采样子单元，用于将主流特征图和至少一个分流特征图输入第一信息交互层的采样层，获得采样层输出的各信息流对应的采样特征图；信息流包括主流和至少一个分流；采样层用于将主流特征图和至少一个分流特征图分别采样至各信息流的特征图尺寸；
融合子单元，用于针对每个信息流，将每个信息流对应的采样特征图进行交互融合，得到每个信息流对应的第一特征图。
例如，结合图3，图4示例性示出了第一信息交互单元的工作原理示意图，参照图4所示，以第一分流单元通过图3得到的主流特征图、第一分流特征图和第二分流特征图为例，可以通过采样层对主流特征图进行1倍采样，得到采样特征图41，对第一分流特征图上采样2倍得到采样特征图42，对第二分流特征图上采样4倍得到采样特征图43，然后通过第一信息交互单元的融合子单元将采样特征图41、采样特征图42和采样特征图43进行交互融合，得到主流对应的第一特征图A，该第一特征图A与主流特征图保持相同的尺度。类似的，通过采样层对第一分流特征图进行1倍采样、对主流特征图下采样2倍、对第二分流特征图上采样2倍，将分别得到的采样特征图通过第一信息交互单元的融合子单元进行交互融合，得到第一分流对应的第一特征图B，该第一特征图B与第一分流特征图保持相同的尺度。类似的，通过采样层对第二分流特征图进行1倍采样、对主流特征图下采样4倍、对第一分流特征图下采样2倍，将分别得到的采样特征图通过第一信息交互单元的融合子单元进行交互融合，得到第二分流对应的第一特征图C，该第一特征图C与第二分流特征图保持相同的尺度。
这样，通过对三种结构的特征图进行卷积(下采样)或反卷积(上采样)运算，可以得到每个结构对应的下采样或上采样的特征图；然后，该结构的特征图被传递到其他两个结构进行交互融合，可以实现三个结构之间的信息交互，减少了下采样过程中的信息丢失得到的第一特征图A、第一特征图B和第一特征图C均包含了三条信息流的图像信息，可以实现信息补充。
示例性的，图像复原层可以具体用于：对主流和至少一个分流各自对应的第一特征图，从特征图尺寸最小的信息流对应的第一特征图开始，以尺寸递进的方式，将当前信息流的融合特征图反卷积至当前信息流的后一信息流的特征图尺寸，并将反卷积后的特征图与后一信息流对应的第一特征图进行融合，直至融合主流对应的第一特征图，得到第一亮度增强图像；其中，当前信息流的融合特征图是将当前信息流的前一信息流的第一特征图反卷积至当前信息流的特征图尺寸，并将反卷积后的特征图与当前信息流的第一特征图进行融合得到的。
例如，以图4得到的3个第一特征图为例，在图像复原层，从第一特征图C开始，将第一特征图C反卷积至与第一特征图B相同的图像特征尺度，并将反卷积后的特征图与第一特征图B进行融合，得到融合特征图1；接着将融合特征图1反卷积至与第一特征图A相同的图像特征尺度，并将反卷积后的特征图与第一特征图A进行融合，得到融合特征图2，此时的融合特征图2即可作为第一亮度增强图像输出。这样，通过对两个分流的第一特征图执行反卷积操作，以递进的方式，从尺寸最小的分流开始，每反卷积一次，融合当前尺寸大小的分流或主流特征图，三条信息流在经过信息交互后，可以融合到与输入相同尺寸的主信息流上，得到的第一亮度增强图像保留了待处理的低照度图像在原始图像特征尺度下的主信息流特征，保留原图像的更多细节，而且，融合了不同尺度的特征信息，语义更丰富。
基于图1或图2对应实施例的图像增强装置，在一种示例实施例中，降噪模块可以包括：
第二特征提取单元，用于将第一亮度增强图像输入降噪模型的第二特征提取层，获得第二特征提取层输出的第二初始特征图；第二特征提取层用于对第一亮度增强图像进行图像特征提取；
第二分流单元，用于将第二初始特征图输入降噪模型的第二分流层，获得第二分流层输出的降噪主流特征图和至少一个降噪分流特征图；第二分流层用于对第二初始特征图进行不同图像特征尺度上的卷积；
第二信息交互单元，用于将降噪主流特征图和至少一个降噪分流特征图输入降噪模型的第二信息交互层，获得第二信息交互层输出的降噪主流和至少一个降噪分流各自对应的第三特征图；第二信息交互层用于对降噪主流和至少一个降噪分流的第三特征图进行交互融合；
噪声提取单元，用于将第三特征图输入降噪模型的噪声提取层，获得噪声提取层输出的噪声信息；噪声提取层用于对降噪主流和至少一个降噪分流各自对应的第三特征图进行噪声提取。
基于此，降噪模块可以采用与图像增强模块120类似的网络结构和工作原理，以多流信息交互的方式对图像增强模块120输出的第一亮度增强图像进行图像特征提取、分流、多流信息交互融合和噪声提取，得到第一亮度增强图像的噪声信息。之后，从第一亮度增强图像中去除该噪声信息，得到第二亮度增强图像，该第二亮度增强图像即为低噪声图像进行亮度增强和降噪处理后的图像。能够在渐进式增强图像的过程中达到降噪的效果，使得到的第二亮度增强图像更接近正常曝光图像。其中，降噪模块调用的降噪模型与亮度增强模型不同的是，降噪模型最后一层得到的不是去噪的结果，而是噪声信息。
基于上述各实施例的图像增强装置，图5示例性示出了本发明实施例提供的图像增强装置的工作原理示意图，参照图5所示，待处理的低照度图像输入亮度增强模型，经亮度增强模型的第一特征提取层进行图像特征提取，得到第一初始特征图；该第一初始特征图经第一分流层分流出主流特征图和至少一个分流特征图，这些信息流的特征图经第一信息交互层进行信息交互融合后得到各信息流对应的特征图，然后通过图像复原层对这些特征图进行递进方式的反卷积融合，复原到与第一初始特征图相同尺度的图像，得到亮度增强后的第一亮度增强图像。接着将该第一亮度增强图像输入降噪模型，通过降噪模型的第二特征提取层进行图像特征提取，得到第二初始特征图；该第二初始特征图经第二分流层分流出主流特征图和至少一个分流特征图，这些信息流的特征图经第二信息交互层进行信息交互融合后得到各信息流对应的特征图，然后通过噪声提取层对这些特征图进行递进方式的反卷积融合，得到第一亮度增强图像对应的噪声信息。之后，从第一亮度增强图像中减掉该噪声信息，即可得到低照度图像经亮度增强和降噪处理后的第二亮度增强图像。
本发明实施例提供的图像增强装置，通过亮度增强模型对待处理的低照度图像进行初步特征提取后，将提取出的特征图逐步构建出分信息流特征图，所有信息流特征图的尺寸均与该相应信息流的输入保持一致，能够在保证原图像信息的同时获取更多的语义信息；之后，多个信息流经过信息交互融合后，通过图像复原单元的复原得到初步增强的第一亮度增强图像。第一亮度增强图像被输入降噪模型，通过降噪模型提取出噪声信息，然后从第一亮度增强图像中减去该噪声信息，得到亮度增强和降噪处理后的第二亮度增强图像。这样，通过渐进式的方式对待处理的低照度图像进行亮度增强和降噪处理，使得待处理的低照度图像能够被复原为更接近正常曝光的图像，同时能够保留图像的大部分细节和颜色信息，为高级视觉任务提供更好的数据支撑，提高后续高级视觉任务的准确性。另外，通过联合L1损失函数、结构相似度损失函数和颜色差异损失函数三项损失函数进行亮度增强模型的训练，考虑了增强过程中产生的颜色偏差，能够进一步避免了增强过程中的颜色失真，使得增强后图像更接近正常曝光图像。
下面对本发明提供的图像增强方法进行描述，下文描述的图像增强方法与上文描述的图像增强装置可相互对应参照。
图6示例性示出了本发明实施例提供的图像增强方法的流程示意图，参照图6所示，该图像增强方法可以包括如下的步骤610～步骤640。
步骤610：获取待处理的低照度图像。
步骤620：将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像。
其中，亮度增强模型用于对低照度图像进行基于多流特征交互的亮度增强，多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于主流特征图确定的至少一个分流特征图，该至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度。
示例性的，亮度增强模型可以基于低照度样本图像、低照度样本图像对应的第一基准照度样本图像和增强损失函数对初始亮度增强模型进行训练得到。其中，增强损失函数是基于低照度样本图像与第一基准照度样本图像之间的像素差异、结构相似度和色差中的至少一项确定的。
步骤630：将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息。
其中，降噪模型用于提取第一亮度增强图像的噪声信息。
示例性的，降噪模型可以基于如下步骤训练得到：获取第二基准照度样本图像，并对第二基准照度样本图像添加噪声，得到加噪样本图像；基于加噪样本图像、第二基准照度样本图像和降噪损失函数对初始降噪模型进行训练，得到降噪模型；其中，降噪损失函数是基于第一结构相似度和第二结构相似度确定的，第一结构相似度为加噪样本图像去除初始降噪模型输出的噪声之后的图像与第二基准照度样本图像之间的结构相似度，第二结构相似度为第二基准照度样本图像添加初始降噪模型输出的噪声之后的图像与加噪样本图像之间的相似度。
步骤640：从第一亮度增强图像中去除噪声信息，得到低照度图像的第二亮度增强图像。
本发明提供的图像增强方法，先通过亮度增强模型对待处理的低照度图像进行基于多流特征交互的亮度增强，获得亮度增强模型输出的第一亮度增强图像；接着通过降噪模型提取第一亮度增强图像的噪声信息；然后从第一亮度增强图像中去除该噪声信息，得到低照度图像的第二亮度增强图像，从而在保证图像亮度增强效果的同时抑制了噪声的产生。其中的多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于该主流特征图确定的至少一个分流特征图，该至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度，因此，在对低照度图像进行基于多流特征交互的亮度增强过程中，能够在保证低照度图像原始图像信息的同时获得更多的语义信息，保留了低照度图像更多的细节和颜色信息，从而在保证图像亮度增强效果的同时，抑制了噪声的产生并减少了颜色信息的丢失。
基于图6对应实施例的图像增强方法，在一种示例实施例中，将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像可以包括：将低照度图像输入亮度增强模型的第一特征提取层，获得第一特征提取层输出的第一初始特征图，该第一特征提取层用于对低照度图像进行图像特征提取；将第一初始特征图输入亮度增强模型的第一分流层，获得第一分流层输出的主流特征图和至少一个分流特征图，该第一分流层用于对第一初始特征图进行不同图像特征尺度上的卷积；将主流特征图和各分流特征图输入亮度增强模型的第一信息交互层，获得第一信息交互层输出的主流和各分流各自对应的第一特征图，该第一信息交互层用于对主流特征图和各分流特征图进行交互融合；将第一特征图输入亮度增强模型的图像复原层，获得图像复原层输出的第一亮度增强图像，该图像复原层用于对主流和各分流各自对应的第一特征图进行反卷积融合。
示例性的，分流特征图可以包括第一分流特征图和第二分流特征图；将第一初始特征图输入亮度增强模型的第一分流层，获得第一分流层输出的主流特征图和至少一个分流特征图，可以包括：将第一初始特征图输入第一分流层的第一子分流层，获得第一子分流层输出的第一分流特征图，该第一子分流层用于对第一初始特征图进行第一下采样，并对第一下采样得到的第一特征图进行在第一初始特征图的图像特征尺度上的卷积；将第一分流特征图和主流特征图输入第一分流层的第二子分流层，获得第二子分流层输出的第二分流特征图，该第二子分流层用于对主流特征图进行第二下采样，并将第二下采样得到的第二特征图与第一分流特征图进行在第一特征图的图像特征尺度上的卷积；对第一初始特征图进行第二下采样，得到第二特征图，并将第二特征图和主流特征图输入第一分流层的第二子分流层，获得第二子分流层输出的第二分流特征图，该第二子分流层用于对第二特征图进行在第二特征图的图像特征尺度上的卷积；其中，第一下采样与第二下采样的采样尺度不同。
示例性的，将主流特征图和至少一个分流特征图输入亮度增强模型的第一信息交互层，获得第一信息交互层输出的主流和至少一个分流各自对应的第一特征图，可以包括：将主流特征图和至少一个分流特征图输入第一信息交互层的采样层，获得采样层输出的各信息流对应的采样特征图；信息流包括主流和至少一个分流；采样层用于将主流特征图和至少一个分流特征图分别采样至各信息流的特征图尺寸；针对每个信息流，将每个信息流对应的采样特征图进行交互融合，得到每个信息流对应的特征图。
示例性的，图像复原层可以具体用于：对主流信息流和各分流信息流各自对应的第一特征图，从特征图尺寸最小的信息流对应的第一特征图开始，以尺寸递进的方式，将当前信息流的融合特征图反卷积至当前信息流的后一信息流的特征图尺寸，并将反卷积后的特征图与后一信息流对应的第一特征图进行融合，直至融合主流对应的第一特征图，得到第一亮度增强图像。
其中，当前信息流的融合特征图是将当前信息流的前一信息流的第一特征图反卷积至当前信息流的特征图尺寸，并将反卷积后的特征图与当前信息流的第一特征图进行融合得到的。
基于图6对应实施例的图像增强方法，在一种示例实施例中，将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息，可以包括：将第一亮度增强图像输入降噪模型的第二特征提取层，获得第二特征提取层输出的第二初始特征图；第二特征提取层用于对第一亮度增强图像进行图像特征提取；将第二初始特征图输入降噪模型的第二分流层，获得第二分流层输出的降噪主流特征图和至少一个降噪分流特征图；第二分流层用于对第二初始特征图进行不同图像特征尺度上的卷积；将降噪主流特征图和至少一个降噪分流特征图输入降噪模型的第二信息交互层，获得第二信息交互层输出的降噪主流和至少一个降噪分流各自对应的第三特征图；第二信息交互层用于对降噪主流和至少一个降噪分流的第三特征图进行交互融合；将第三特征图输入降噪模型的噪声提取层，获得噪声提取层输出的噪声信息；噪声提取层用于对降噪主流和至少一个降噪分流各自对应的第三特征图进行噪声提取。
图7示例了一种电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communication Interface)720、存储器(memory)730和通信总线740，其中，处理器710、通信接口720和存储器730可以通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各方法实施例提供的图像增强方法，该方法比如可以包括：获取待处理的低照度图像；将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像；将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息；从第一亮度增强图像中去除噪声信息，得到低照度图像的第二亮度增强图像；其中，亮度增强模型用于对低照度图像进行基于多流特征交互的亮度增强，多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于主流特征图确定的至少一个分流特征图，至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度；降噪模型用于提取第一亮度增强图像的噪声信息。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的图像增强方法，该方法比如可以包括：获取待处理的低照度图像；将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像；将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息；从第一亮度增强图像中去除噪声信息，得到低照度图像的第二亮度增强图像；其中，亮度增强模型用于对低照度图像进行基于多流特征交互的亮度增强，多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于主流特征图确定的至少一个分流特征图，至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度；降噪模型用于提取第一亮度增强图像的噪声信息。
又一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例所提供的图像增强方法，该方法比如可以包括：获取待处理的低照度图像；将低照度图像输入亮度增强模型，获得亮度增强模型输出的第一亮度增强图像；将第一亮度增强图像输入降噪模型，获得降噪模型输出的噪声信息；从第一亮度增强图像中去除噪声信息，得到低照度图像的第二亮度增强图像；其中，亮度增强模型用于对低照度图像进行基于多流特征交互的亮度增强，多流特征包括低照度图像在原始图像特征尺度下的主流特征图和基于主流特征图确定的至少一个分流特征图，至少一个分流特征图的图像特征尺度各不相同且不同于原始图像特征尺度；降噪模型用于提取第一亮度增强图像的噪声信息。
示例性的，计算机可读存储介质可以包括非暂态计算机可读存储介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种图像增强装置，其特征在于，包括：
图像获取模块，用于获取待处理的低照度图像；
图像增强模块，用于将所述低照度图像输入亮度增强模型，获得所述亮度增强模型输出的第一亮度增强图像；所述亮度增强模型用于对所述低照度图像进行基于多流特征交互的亮度增强，所述多流特征包括所述低照度图像在原始图像特征尺度下的主流特征图和基于所述主流特征图确定的至少一个分流特征图，所述至少一个分流特征图的图像特征尺度各不相同且不同于所述原始图像特征尺度；
降噪模块，用于将所述第一亮度增强图像输入降噪模型，获得所述降噪模型输出的噪声信息，从所述第一亮度增强图像中去除所述噪声信息，得到所述低照度图像的第二亮度增强图像；所述降噪模型用于提取所述第一亮度增强图像的噪声信息。
2.根据权利要求1所述的图像增强装置，其特征在于，所述图像增强模块包括：
第一特征提取单元，用于将所述低照度图像输入所述亮度增强模型的第一特征提取层，获得所述第一特征提取层输出的第一初始特征图；所述第一特征提取层用于对所述低照度图像进行图像特征提取；
第一分流单元，用于将所述第一初始特征图输入所述亮度增强模型的第一分流层，获得所述第一分流层输出的所述主流特征图和所述至少一个分流特征图；所述第一分流层用于对所述第一初始特征图进行不同图像特征尺度上的卷积；
第一信息交互单元，用于将所述主流特征图和所述至少一个分流特征图输入所述亮度增强模型的第一信息交互层，获得所述第一信息交互层输出的主流和至少一个分流各自对应的第一特征图；所述第一信息交互层用于对所述主流特征图和所述至少一个分流特征图进行交互融合；
图像复原单元，用于将所述第一特征图输入所述亮度增强模型的图像复原层，获得所述图像复原层输出的所述第一亮度增强图像；所述图像复原层用于对所述主流和所述至少一个分流各自对应的所述第一特征图进行反卷积融合。
3.根据权利要求2所述的图像增强装置，其特征在于，所述至少一个分流特征图包括第一分流特征图和第二分流特征图；所述第一分流单元包括：
第一分流子单元，用于将所述第一初始特征图输入所述第一分流层的主流层，获得所述主流层输出的所述主流特征图；所述主流层用于对所述第一初始特征图进行在所述第一初始特征图的图像特征尺度上的卷积；
第二分流子单元，用于将所述第一初始特征图输入所述第一分流层的第一子分流层，获得所述第一子分流层输出的所述第一分流特征图；所述第一子分流层用于对所述第一初始特征图进行第一下采样，并对第一下采样得到的第一特征图进行在所述第一特征图的图像特征尺度上的卷积；
第三分流子单元，用于将所述第一分流特征图和所述主流特征图输入所述第一分流层的第二子分流层，获得所述第二子分流层输出的所述第二分流特征图；所述第二子分流层用于对所述主流特征图进行第二下采样，并将第二下采样得到的第二特征图与所述第一分流特征图进行在所述第二特征图的图像特征尺度上的卷积；其中，所述第一下采样与所述第二下采样的采样尺度不同。
4.根据权利要求2所述的图像增强装置，其特征在于，所述第一信息交互单元包括：
采样子单元，用于将所述主流特征图和所述至少一个分流特征图输入所述第一信息交互层的采样层，获得所述采样层输出的各信息流对应的采样特征图；所述信息流包括所述主流和所述至少一个分流；所述采样层用于将所述主流特征图和所述至少一个分流特征图分别采样至各所述信息流的特征图尺寸；
融合子单元，用于针对每个所述信息流，将每个所述信息流对应的采样特征图进行交互融合，得到每个所述信息流对应的特征图。
5.根据权利要求2所述的图像增强装置，其特征在于，所述图像复原层具体用于：对所述主流和所述至少一个分流各自对应的所述第一特征图，从特征图尺寸最小的信息流对应的所述第一特征图开始，以尺寸递进的方式，将当前信息流的融合特征图反卷积至所述当前信息流的后一信息流的特征图尺寸，并将反卷积后的特征图与所述后一信息流对应的第一特征图进行融合，直至融合所述主流对应的第一特征图，得到所述第一亮度增强图像；
其中，所述当前信息流的融合特征图是将所述当前信息流的前一信息流的第一特征图反卷积至所述当前信息流的特征图尺寸，并将反卷积后的特征图与所述当前信息流的第一特征图进行融合得到的。
6.根据权利要求1至5任一项所述的图像增强装置，其特征在于，所述亮度增强模型是基于低照度样本图像、所述低照度样本图像对应的第一基准照度样本图像和增强损失函数对初始亮度增强模型进行训练得到的；
所述增强损失函数是基于所述低照度样本图像与所述第一基准照度样本图像之间的像素差异、结构相似度和色差中的至少一项确定的。
7.根据权利要求1至5任一项所述的图像增强装置，其特征在于，所述降噪模块包括：
第二特征提取单元，用于将所述第一亮度增强图像输入所述降噪模型的第二特征提取层，获得所述第二特征提取层输出的第二初始特征图；所述第二特征提取层用于对所述第一亮度增强图像进行图像特征提取；
第二分流单元，用于将所述第二初始特征图输入所述降噪模型的第二分流层，获得所述第二分流层输出的降噪主流特征图和至少一个降噪分流特征图；所述第二分流层用于对所述第二初始特征图进行不同图像特征尺度上的卷积；
第二信息交互单元，用于将所述降噪主流特征图和所述至少一个降噪分流特征图输入所述降噪模型的第二信息交互层，获得所述第二信息交互层输出的降噪主流和至少一个降噪分流各自对应的第三特征图；所述第二信息交互层用于对所述降噪主流和所述至少一个降噪分流的所述第三特征图进行交互融合；
噪声提取单元，用于将所述第三特征图输入所述降噪模型的噪声提取层，获得所述噪声提取层输出的所述噪声信息；所述噪声提取层用于对所述降噪主流和所述至少一个降噪分流各自对应的所述第三特征图进行噪声提取。
8.根据权利要求1至5任一项所述的图像增强装置，其特征在于，还包括：
模型训练模块，用于获取第二基准照度样本图像，并对所述第二基准照度样本图像添加噪声，得到加噪样本图像，基于所述加噪样本图像、所述第二基准照度样本图像和降噪损失函数对初始降噪模型进行训练，得到所述降噪模型；
其中，所述降噪损失函数是基于第一结构相似度和第二结构相似度确定的，所述第一结构相似度为所述加噪样本图像去除所述初始降噪模型输出的噪声之后的图像与所述第二基准照度样本图像之间的结构相似度，所述第二结构相似度为所述第二基准照度样本图像添加所述初始降噪模型输出的噪声之后的图像与所述加噪样本图像之间的相似度。
9.一种图像增强方法，其特征在于，包括：
获取待处理的低照度图像；
将所述低照度图像输入亮度增强模型，获得所述亮度增强模型输出的第一亮度增强图像；所述亮度增强模型用于对所述低照度图像进行基于多流特征交互的亮度增强，所述多流特征包括所述低照度图像在原始图像特征尺度下的主流特征图和基于所述主流特征图确定的至少一个分流特征图，所述至少一个分流特征图的图像特征尺度各不相同且不同于所述原始图像特征尺度；
将所述第一亮度增强图像输入降噪模型，获得所述降噪模型输出的噪声信息；所述降噪模型用于提取所述第一亮度增强图像的噪声信息；
从所述第一亮度增强图像中去除所述噪声信息，得到所述低照度图像的第二亮度增强图像。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求9所述图像增强方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求9所述图像增强方法。
CN202310181125.8A 2023-02-16 2023-02-16 图像增强装置、方法、电子设备和存储介质 Pending CN116362998A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310181125.8A CN116362998A (zh) 2023-02-16 2023-02-16 图像增强装置、方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310181125.8A CN116362998A (zh) 2023-02-16 2023-02-16 图像增强装置、方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116362998A true CN116362998A (zh) 2023-06-30

Family

ID=86912650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310181125.8A Pending CN116362998A (zh) 2023-02-16 2023-02-16 图像增强装置、方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116362998A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117376485A (zh) * 2023-10-23 2024-01-09 上海为旌科技有限公司 一种yuv联合去除图像色度噪声的方法和滤波器
CN117934353A (zh) * 2024-03-20 2024-04-26 上海玄戒技术有限公司 一种图像处理方法、装置、设备、存储介质及芯片

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117376485A (zh) * 2023-10-23 2024-01-09 上海为旌科技有限公司 一种yuv联合去除图像色度噪声的方法和滤波器
CN117376485B (zh) * 2023-10-23 2024-04-23 上海为旌科技有限公司 一种yuv联合去除图像色度噪声的方法和滤波器
CN117934353A (zh) * 2024-03-20 2024-04-26 上海玄戒技术有限公司 一种图像处理方法、装置、设备、存储介质及芯片

Similar Documents

Publication Publication Date Title
KR102134405B1 (ko) 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN110675336A (zh) 一种低照度图像增强方法及装置
CN116362998A (zh) 图像增强装置、方法、电子设备和存储介质
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
CN108364270B (zh) 偏色图像颜色还原方法及装置
CN108694705A (zh) 一种多帧图像配准与融合去噪的方法
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
Tsai Adaptive local power-law transformation for color image enhancement
CN113052814B (zh) 基于Retinex和注意力机制的暗光图像增强方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111372006B (zh) 一种面向移动端的高动态范围成像方法及系统
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
KR102095443B1 (ko) 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
Pei et al. Effective image haze removal using dark channel prior and post-processing
CN111316316A (zh) 用于图像复原的神经网络及其训练与使用方法
CN107464217A (zh) 一种图像处理方法及装置
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
Lin et al. Low-light enhancement using a plug-and-play Retinex model with shrinkage mapping for illumination estimation
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN115880177A (zh) 聚合上下文和增强细节的全分辨率低照度图像增强方法
Gasparyan et al. Iterative retinex-based decomposition framework for low light visibility restoration
Xie et al. DHD-Net: A novel deep-learning-based dehazing network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination