CN114511449A - 图像增强方法、装置及计算机可读存储介质 - Google Patents

图像增强方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114511449A
CN114511449A CN202011279491.XA CN202011279491A CN114511449A CN 114511449 A CN114511449 A CN 114511449A CN 202011279491 A CN202011279491 A CN 202011279491A CN 114511449 A CN114511449 A CN 114511449A
Authority
CN
China
Prior art keywords
image
enhanced
frequency
training
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011279491.XA
Other languages
English (en)
Inventor
李道静
张宇鹏
王炜
刘丽艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN202011279491.XA priority Critical patent/CN114511449A/zh
Publication of CN114511449A publication Critical patent/CN114511449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像增强方法、装置及计算机可读存储介质，属于图像处理技术领域。所述图像增强方法包括：获取多组训练数据，每组训练数据包括第一图像和第二图像；构建包括第一级和第二级生成式对抗网络的图像增强模型，利用多组训练数据对所述图像增强模型进行训练，其中，以第二图像作为目标图像，基于第一图像的低频特征生成的增强低频图像，对第一级生成式对抗网络进行训练；以第二图像为目标图像，基于第一图像的融合图像生成的增强图像，对第二级生成式对抗网络进行训练；所述融合图像通过融合第一图像和增强低频图像得到；将待增强的第三图像输入训练好的图像增强模型，输出图像增强后的第四图像。本发明能够提高图像的图像质量。

Description

图像增强方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，特别是指一种图像增强方法、装置及计算机可读存储介质。
背景技术
全景相机拍摄的全景图像通常具有180度或者更高视场角，然而，相对高质量相机(比如数码单反相机或数字单镜头反射相机)拍摄的平面图像，全景图像在锐度、分辨率和色相差等方面都比较差。
为了解决以上问题，现有技术提出了对图像进行增强和超分辨率(Super-Resolution，SR)处理的方法，这些方法在图像锐化、去噪、去模糊、对比度改善和色差校正等方面都取得了很好的改进，提升了图像质量。但是，上述方法在图像细节方面通常没有得到很好的恢复，同时还产生了一些伪影。特别是全景相机的极限区域，这种伪影在超分辨率(本文有时也将超分辨率简称为超分)倍数越大时越严重。
发明内容
本发明要解决的技术问题是提供一种图像增强方法、装置及计算机可读存储介质，能够提高图像的质量。
为解决上述技术问题，本发明的实施例提供技术方案如下：
本发明的实施例提供一种图像增强方法，包括：
获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
可选的，所述以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练，包括：
从所述第一图像中提取低频特征；
基于所述低频特征进行图像增强，生成所述第一图像的增强低频图像；
以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
可选的，所述第一级生成式对抗网络的损失函数Loss_G_1为：Loss_G_1＝Lcobi1+λ1LG1+η1Lcolor1；
其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函数；LG1表示针对所述增强低频图像与第二图像的对抗损失函数；Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数；λ1和η1均为预设常数。
可选的，所述以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练，包括：
对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像，并基于所述融合图像，生成所述第一图像的增强图像；
以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
可选的，所述第二级生成式对抗网络的损失函数Loss_G_2为：Loss_G_2＝η2Lcobi-hf+η3Lcobi2+λ2LG2+η4Lcolor2；
其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图像与第二图像的颜色损失函数；η2、η3、λ2和η4均为预设常数。
可选的，同一组训练数据中的第一图像和第二图像所拍摄的内容相同。
可选的，所述第一图像为等距柱状投影图或透视图，所述第二图像为透视图。
可选的，所述第二图像的图像质量优于所述第一图像的图像质量包括以下至少一种：
所述第二图像的分辨率大于所述第一图像的分辨率；
所述第二图像的信噪比高于所述第一图像的信噪比；
所述第二图像的色相差低于所述第一图像的色相差。
本发明实施例还提供了一种图像增强装置，包括：
获取模块，用于获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
训练模块，用于构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
图像处理模块，将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
可选的，所述第一级生成式对抗网络包括有：
八度卷积模块，用于从所述第一图像中提取低频特征；
第一生成网络，用于基于所述第一图像的低频特征进行图像增强，生成所述第一图像的增强低频图像；
第一对抗网络，用于判断所述增强低频图像与第二图像是否一致；
所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
可选的，所述第二级生成式对抗网络包括有：
融合模块，用于对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像；
第二生成网络，用于基于所述融合图像，生成所述第一图像的增强图像；
第二对抗网络，用于判断所述增强图像与所述第二图像是否一致；
所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
本发明实施例还提供了一种图像增强装置，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像增强方法的步骤。
本发明的实施例具有以下有益效果：
本发明实施例通过在第一级生成式对抗网络中提取低频特征，并对该低频特征进行增强；然后将图像的原始特征添加到增强后的低频特征中，减少噪声的影响，在减少伪影生成的同时还能保留更多的纹理细节。另外，本发明实施例引入了高频相似度损失，该损失只关注生成图像的高频部分，可以直接减少伪影的生成。另外，本发明实施例还将现有网络损失函数中L1损失替换为颜色损失函数，颜色损失函数更关注数据的整体分布，有助于减少伪影的生成。另外，本发明实施例还将现有网络损失函数中的感知损失替换为CoBi损失，该损失对数据对齐不敏感，也有助于减少伪影的生成。
附图说明
图1为本发明实施例图像增强方法的一种流程示意图；
图2为本发明实施例的图像增强模型的一种结构示意图；
图3为本发明实施例的八度卷积模块的结构示意图；
图4为本发明实施例图像增强装置的一种结构框图；
图5为本发明实施例图像增强装置的另一种结构框图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
全景相机拍摄的全景图像通常具有180度或者更高视场角，然而，相对高质量相机(比如数码单反相机)拍摄的平面图像，全景图像在锐度，分辨率和色相差等方面都比较差。
图像增强和超分(SR)方法可以提升全景图像的质量。图像增强包含图像锐化，去噪，去模糊，对比度增强以及色相差校正；图像超分则通过提高图像分辨率来提高图像质量，但传统图像增强和超分方法对全景图像质量提升时，容易引入伪影等问题。
为了解决上述问题，本发明的实施例提供一种图像增强方法、装置及计算机可读存储介质，能够提高图像的质量。
本发明实施例提供一种图像增强方法，如图1所示，包括：
步骤101，获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量。
这里，第一图像和第二图像均为透视图；或者第一图像是等距柱状投影图，第二图像是透视图。当然，第一图像和第二图像还可以为其他类型的图像。
所述训练数据中，同一组训练数据中的第一图像和第二图像所拍摄的内容相同。为了获取训练数据，可以预先利用不同成像质量的相机对同一拍摄内容进行拍摄，比如利用成像质量较好的相机对内容A进行拍摄，获得高质量图像，再利用成像质量较差的相机对内容A进行拍摄，获得低质量图像，之后对高质量图像和低质量图像进行匹配，得到第一图像和第二图像。
衡量图像质量的参数包括分辨率、信噪比和色相差，第二图像的图像质量优于第一图像的图像质量可以是以下至少一种：第二图像的分辨率大于第一图像的分辨率，第二图像的信噪比高于第一图像的信噪比，第二图像的色相差低于第一图像的色相差。
步骤102，构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，从而获得训练好的图像增强模型。
这里，在所述图像增强模型的训练过程中，以所述第二图像作为目标图像(也可以称为真实图像)，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像(也可以称为真实图像)，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到。
在对所述图像增强模型进行训练时，当达到预设的训练结束条件时结束过程，得到训练好的图像增强模型。具体的，所述训练结束条件可以是达到纳什均衡(Nashequilibrium)或者是训练过程已收敛。
步骤103，将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
通过以上步骤，本发明实施例在第一级GAN的第一生成网络中，利用第一图像的低频特征，生成增强低频图像，并以第二图像作为真实图像，在GAN的第一判别网络中判断所述增强低频图像是否为真实图像。由于引入了第一图像的低频特征并对其进行了增强，可以直接降低噪声的影响，去除该部分的噪声有利于减少伪影的产生，进而提高最终生成的增强图像的质量。
例如，以第一图像为全景图像为例，全景图像的极限区域(如顶部或底部边缘的极点区域)被拉伸到图像的整个宽度。靠近极点的区域水平拉伸。等矩形图像的极点区域严重扭曲，使得恢复这些区域变得非常困难。采用以上方法后，通过提取并增强低频特征部分，可以直接降低或去除噪声的影响，由于噪声是产生伪影的主要因素(因为高频通常用精细的细节和噪声编码，低频通常用全局结构编码)，因此本发明实施例能够减少伪影的产生。
图2给出了本发明实施例的图像增强模型的一种简化的结构示意图。关于GAN的更为具体结构，可以参考相关现有技术的说明，本文不再赘述。本发明实施例的图像增强模型可以包括有两级生成式对抗网络(GAN，Generative Adversarial Networks)，即上述第一级生成式对抗网络和第二级生成式对抗网络均采用GAN。每级GAN均包括有生成网络和判别网络。
第一级生成式对抗网络是一种增强网络，负责对低频特征图像进行增强，以获得无噪声或噪声较少的增强的低质量图像。其中，第一级生成网络基于第一图像的低频特征，生成增强的低质量图像(增强低频图像)，第一级判决网络判断所述低质量图像(增强低频图像)与第二图像是否一致。考虑到第二图像是高质量图像，在进行判决前，可以通过下采样模块对第二图像进行下采样，然后判断所述低质量图像(增强低频图像)，是否与第二图像经下采样处理后的图像一致，获得判决结果。下采样的实现方式包括双线性插值、反卷积等。
在上述图像增强模型的训练过程中，本发明实施例从所述第一图像中提取低频特征；然后，基于所述低频特征进行图像增强，生成所述第一图像的增强低频图像；然后，以所述第二图像作为目标图像(也可以称为参考图像)，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。例如，以第二图像为目标图像，通过计算并更新第一级生成式对抗网络的损失函数，损失函数值不断更新，直至满足所述训练结束条件。
这里，作为一种实现方式，本发明实施例可以采用八度卷积(OctaveConvolution，OctConv)模块，从所述第一图像中提取低频特征。如图3所示，给出了八度卷积模块的结构示意图，OctConv(Octave Convolution)是一个即插即用的结构，可以在提高精度的同时，节约计算资源的消耗。自然图像可以分解为低空间频率和高空间频率两部分。卷积层的输出图也可以根据其空间频率分解和分组。OctConv使用一个系数α，将特征图显示因式分解为XH和XL，分别代表特征图的高频特征和低频特征的分量。OctConv提出的多频特征表示方法将平滑变化的低频映射存储在低分辨率张量中，以减少空间冗余。对XL使用的高斯滤波将其空间分辨率变为原来的一半，XH则不进行任何操作。
图3中，输入Cin:X∈R c×h×w，输入特征。其中h和w表示空间维度，c表示特征映射或通道的数量。
X＝{XH,XL}；
XH∈R(1-α)c×h×w为高频特征，包括有较多的细节；
XL∈Rαc×h/2×w/2为低频特征，在空间维度变化较慢。
输出Cout:XL,低频特征。
本发明实施例中为了得到低频特征，可以设置αin＝0，αout＝1。
关于OctConv的更为具体的结构，可以参考相关论文(Drop an Octave:ReducingSpatial Redundancy in Convolutional Neural Networks with Octave Convolution，ICCV 2019 arXiv:1904.05049[cs.CV])，本文不再赘述。
下面提供第一级生成式对抗网络的损失函数Loss_G_1的一种具体表示形式，需要说明的是，以下公式仅为本发明实施例可以采用的一种损失函数的示例，并不用于限定本发明：
Loss_G_1＝Lcobi1+λ1LG1+η1Lcolor1；
其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失(Contextual Bilateral Loss，CoBi-Loss)函数。引入Cobi-loss函数可以进一步减少伪影的产生，特别是极限区域。由于这一区域的失真非常严重，数据不易对齐，而该损失函数对这类数据不敏感。关于CoBi-Loss的详细定义，可以参考现有技术的Xuaner Zhang,et al.“Zoom to Learn,Learn to Zoom”arXiv:1905.05169v1(2019)的说明。
LG1表示针对所述增强低频图像与第二图像的对抗损失函数，即保真度的对抗性损失。
Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数，可以使得增强低频图像和第二图像(高质量图像)具有相似的基本结构和颜色。在这里，本发明实施例使用颜色损失函数代替了现有技术的L1损失函数。L1损失函数是像素级的，考虑到数据很难对齐(特别是极限区域的失真很严重)，因此很容易产生伪影，所以本发明实施例提出的损失更多地集中在数据的总体分布上，有助于减少伪影的生成。作为一个示例，该颜色损失函数从浓度趋势(均值)、分离趋势(协方差)和分布模式(偏度)三个方面描述数据，然后使用L2损失函数来判断该分布的相似性。
Figure BDA0002780270110000091
其中，n是批量大小,∝1,∝2,∝3为相应的参数。设Ck＝(R,G,B)T为图像中的某个像素，则该图像的均值、协方差和偏度定义为：
E＝∑kCk/N,Var＝∑k(Ck-E)(Ck-E)T/N,
Figure BDA0002780270110000092
N为该图像的像素个数，C表示图像中的一个像素的像素值，可以由R、G和B三通道来表示。
λ1和η1均为预设常数。例如，λ1＝5 e-3；η1＝1 e-2等。
第二级生成式对抗网络是一种超分(SR)网络，其输入为原始的第一图像和第一级生成式对抗网络的结果(即增强低频图像)相融合的融合图像(也可以是从融合图像中提取的图像特征)。具体的，可以是对所述第一图像和增强低频图像相同位置的像素进行相加，即通过像素相加的方式，将两个图像在同一位置上的像素进行相加，获得融合图像。通过融合上述图像的特征，可以在增强低频图像中引入原始图像特征，从而减少伪影的同时并增加纹理的细节。其中，第二级生成网络基于融合图像生成增强图像，第二级判决网络判断所述增强图像与第二图像是否一致。
在上述图像增强模型的训练过程中，本发明实施例融合所述第一图像和增强低频图像，得到融合图像，并基于所述融合图像，生成所述第一图像的增强图像；然后，以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。例如，以第二图像为目标图像，通过计算并更新第二级生成式对抗网络的损失函数，损失函数值不断更新，直到满足预设的训练结束条件。
下面提供第二级生成式对抗网络的损失函数Loss_G_2的一种具体表示形式，需要说明的是，以下公式仅为本发明实施例可以采用的一种损失函数的示例，并不用于限定本发明：
Loss_G_2＝η2Lcobi-hf+η3Lcobi2+λ2LG2+η4Lcolor2；
其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数。LG2表示针对所述增强图像与第二图像的对抗损失函数。Lcolor2表示针对所述增强图像与第二图像的颜色损失函数。η2、η3、λ2和η4均为预设常数。
Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损失函数。极性区域包含的大量背景区域和纹理细节被严重拉伸，上述损失函数只关注图像的高频部分，从而可以减少伪影的产生。由于图像的边缘信息和伪影通常只存在于高频部分，因此只需要比较生成的增强图像的高频和第二图像的高频之间的相似性。尤其是在不受低频背景影响的情况下，可以更好地去除伪影。针对训练图像不对齐的问题，本发明实施例可以借鉴CoBi-loss函数的实现。例如，CoBi-Loss函数是对上下文损失(Contextual loss)的改进，CX损失函数计算的是特征点之间距离的相似度；Cobi-loss是在此基础上对其进行空间限制，可以得到更好的增强图像。Cobi-loss函数更加关注VGG特性。现有技术的Cobi-loss函数的一种表示形式如下：
Figure BDA0002780270110000101
不同于Cobi-loss函数更加关注VGG特性，本发明实施例利用RGB和空间信息直接计算高频图像中距离的相似度。例如，可以利用高频特征中的2x2图像块作为特征点，其中，
Figure BDA0002780270110000111
可以使用增强图像的高频特征和第二图像的高频特征上2x2图像块的相似性来替换。上述损失函数只集中在生成图像的高频部分，因此可以直接减少伪影的产生(特别是极限区域，其包含大量背景区域，而且纹理细节拉伸的很严重)。
从以上所述可以看出，本发明实施例通过在第一级生成式对抗网络中提取低频特征，并对该低频特征进行增强；然后将图像的原始特征添加到增强后的低频特征中，减少噪声的影响，最终减少伪影生成还能保留更多的纹理细节。另外，本发明实施例引入了高频相似度损失，该损失只关注生成图像的高频部分，可以直接减少伪影的生成。另外，本发明实施例还将现有网络损失函数中L1损失替换为颜色损失函数，颜色损失函数更关注数据的整体分布，有助于减少伪影的生成。另外，本发明实施例还将现有网络损失函数中的感知损失替换为CoBi损失，该损失对数据对齐不敏感，也有助于减少伪影的生成。
基于以上的图像增强方法，本发明实施例还提供了一种图像增强装置40，如图4所示，包括：
获取模块41，用于获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
训练模块42，用于构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
图像处理模块43，将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
通过以上模块，本发明实施例的图像增强装置40，在减少伪影生成的同时还能保留更多的纹理细节，提供图像的质量。
可选的，所述第一级生成式对抗网络包括有：
八度卷积模块，用于从所述第一图像中提取低频特征；
第一生成网络，用于基于所述第一图像的低频特征进行图像增强，生成所述第一图像的增强低频图像；
第一对抗网络，用于判断所述增强低频图像与第二图像是否一致；
所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
作为一种实现方式，所述第一级生成式对抗网络的损失函数Loss_G_1为：
Loss_G_1＝Lcobi1+λ1LG1+η1Lcolor1；
其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函数；LG1表示针对所述增强低频图像与第二图像的对抗损失函数；Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数；λ1和η1均为预设常数。
可选的，所述第二级生成式对抗网络包括有：
融合模块，用于对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像；
第二生成网络，用于基于所述融合图像，生成所述第一图像的增强图像；
第二对抗网络，用于判断所述增强图像与所述第二图像是否一致；
所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
作为一种实现方式，所述第二级生成式对抗网络的损失函数Loss_G_2为：
Loss_G_2＝η2Lcobi-hf+η3Lcobi2+λ2LG2+η4Lcolor2；
其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图像与第二图像的颜色损失函数；η2、η3、λ2和η4均为预设常数。
可选的，同一组训练数据中的第一图像和第二图像所拍摄的内容相同。
可选的，所述第一图像为等距柱状投影图或透视图，所述第二图像为透视图。
可选的，所述第二图像的图像质量优于所述第一图像的图像质量包括以下至少一种：
所述第二图像的分辨率大于所述第一图像的分辨率；
所述第二图像的信噪比高于所述第一图像的信噪比；
所述第二图像的色相差低于所述第一图像的色相差。
请参考图5，本发明实施例还提供了图像增强装置的一种硬件结构框图，如图5所示，该图像增强装置500包括：
处理器502；和
存储器504，在所述存储器504中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器502执行以下步骤：
获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
进一步地，如图5所示，该图像增强装置500还可以包括网络接口501、输入设备503、硬盘505、和显示设备506。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是包括任意数量的互联的总线和桥。具体由处理器502代表的一个或者多个具有计算能力的处理器，所述处理器可以包括中央处理器(CPU,Central Processing Unit)和/或图形处理器(GPU，Graphics Processing Unit)，以及由存储器504代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口501，可以连接至网络(如因特网、局域网等)，从网络中接收数据(如训练数据)，并可以将接收到的数据保存在硬盘505中。
所述输入设备503，可以接收操作人员输入的各种指令，并发送给处理器502以供执行。所述输入设备503可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等)。
所述显示设备506，可以将处理器502执行指令获得的结果进行显示，例如显示模型训练的进度以及答案预测结果等。
所述存储器504，用于存储操作系统运行所必须的程序和数据，以及处理器502计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器504可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器504旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器504存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统5041和应用程序5042。
其中，操作系统5041，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序5042，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5042中。
本发明上述实施例揭示的图像增强方法可以应用于处理器502中，或者由处理器502实现。处理器502可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述图像增强方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器504，处理器502读取存储器504中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，所述计算机程序被处理器502执行时还可实现如下步骤：
从所述第一图像中提取低频特征；
基于所述低频特征进行图像增强，生成所述第一图像的增强低频图像；
以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
具体地，所述第一级生成式对抗网络的损失函数Loss_G_1为：Loss_G_1＝Lcobi1+λ1LG1+η1Lcolor1；
其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函数；LG1表示针对所述增强低频图像与第二图像的对抗损失函数；Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数；λ1和η1均为预设常数。
具体地，所述计算机程序被处理器502执行时还可实现如下步骤：
对所述第一图像和增强低频图像相同位置的像素进行相加，并基于所述融合图像，生成所述第一图像的增强图像；
以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
具体地，所述第二级生成式对抗网络的损失函数Loss_G_2为：Loss_G_2＝η2Lcobi-hf+η3Lcobi2+λ2LG2+η4Lcolor2；
其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图像与第二图像的颜色损失函数；η2、η3、λ2和η4均为预设常数。
可选的，同一组训练数据中的第一图像和第二图像所拍摄的内容相同。
可选的，所述第一图像为等距柱状投影图或透视图，所述第二图像为透视图。
可选的，所述第二图像的图像质量优于所述第一图像的图像质量包括以下至少一种：
所述第二图像的分辨率大于所述第一图像的分辨率；
所述第二图像的信噪比高于所述第一图像的信噪比；
所述第二图像的色相差低于所述第一图像的色相差。
该程序被处理器执行时能实现上述图像增强方法中的所有实现方式，且能达到相同的技术效果，为避免重复，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像增强方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种图像增强方法，其特征在于，包括：
获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
2.根据权利要求1所述的图像增强方法，其特征在于，所述以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练，包括：
从所述第一图像中提取低频特征；
基于所述低频特征进行图像增强，生成所述第一图像的增强低频图像；
以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
3.根据权利要求2所述的图像增强方法，其特征在于，所述第一级生成式对抗网络的损失函数Loss_G_1为：Loss_G_1＝Lcobi1+λ1LG1+η1Lcolor1；
其中，Lcobi1表示针对所述增强低频图像和所述第二图像的上下文双边损失函数；LG1表示针对所述增强低频图像与第二图像的对抗损失函数；Lcolor1表示针对所述增强低频图像与第二图像的颜色损失函数；λ1和η1均为预设常数。
4.根据权利要求1至3任一项所述的图像增强方法，其特征在于，所述以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练，包括：
对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像，并基于所述融合图像，生成所述第一图像的增强图像；
以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
5.根据权利要求4所述的图像增强方法，其特征在于，所述第二级生成式对抗网络的损失函数Loss_G_2为：Loss_G_2＝η2Lcobi-hf+η3Lcobi2+λ2LG2+η4Lcolor2；
其中，Lcobi2表示针对所述增强图像和所述第二图像的上下文双边损失函数；Lcobi-hf表示针对所述增强图像的高频特征和所述第二图像的高频特征的上下文双边损失函数；LG2表示针对所述增强图像与第二图像的对抗损失函数；Lcolor2表示针对所述增强图像与第二图像的颜色损失函数；η2、η3、λ2和η4均为预设常数。
6.根据权利要求4所述的图像增强方法，其特征在于，同一组训练数据中的第一图像和第二图像所拍摄的内容相同。
7.根据权利要求1所述的图像增强方法，其特征在于，所述第一图像为等距柱状投影图或透视图，所述第二图像为透视图。
8.根据权利要求1所述的图像增强方法，其特征在于，所述第二图像的图像质量优于所述第一图像的图像质量包括以下至少一种：
所述第二图像的分辨率大于所述第一图像的分辨率；
所述第二图像的信噪比高于所述第一图像的信噪比；
所述第二图像的色相差低于所述第一图像的色相差。
9.一种图像增强装置，其特征在于，包括：
获取模块，用于获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
训练模块，用于构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
图像处理模块，将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
10.根据权利要求9所述的图像增强装置，其特征在于，所述第一级生成式对抗网络包括有：
八度卷积模块，用于从所述第一图像中提取低频特征；
第一生成网络，用于基于所述第一图像的低频特征进行图像增强，生成所述第一图像的增强低频图像；
第一对抗网络，用于判断所述增强低频图像与第二图像是否一致；
所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强低频图像对所述第一级生成式对抗网络进行训练，直至满足预设的训练结束条件。
11.根据权利要求9或10所述的图像增强装置，其特征在于，所述第二级生成式对抗网络包括有：
融合模块，用于对所述第一图像和增强低频图像相同位置的像素进行相加，得到融合图像；
第二生成网络，用于基于所述融合图像，生成所述第一图像的增强图像；
第二对抗网络，用于判断所述增强图像与所述第二图像是否一致；
所述训练模块，还用于以所述第二图像作为目标图像，利用所述第一图像的增强图像对所述第二级生成式对抗网络进行训练，直至满足预设的训练结束条件。
12.一种图像增强装置，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取多组训练数据，每组训练数据包括第一图像和第二图像，其中，所述第二图像的图像质量优于所述第一图像的图像质量；
构建包括第一级生成式对抗网络和第二级生成式对抗网络的图像增强模型，利用所述多组训练数据对所述图像增强模型进行训练，获得训练好的图像增强模型，其中，以所述第二图像作为目标图像，基于所述第一图像的低频特征生成的增强低频图像，对所述第一级生成式对抗网络进行训练；以所述第二图像为目标图像，基于所述第一图像的融合图像生成的增强图像，对所述第二级生成式对抗网络进行训练；所述融合图像通过融合所述第一图像和增强低频图像得到；
将待增强的第三图像输入所述图像增强模型，输出图像增强后的第四图像。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的图像增强方法的步骤。
CN202011279491.XA 2020-11-16 2020-11-16 图像增强方法、装置及计算机可读存储介质 Pending CN114511449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011279491.XA CN114511449A (zh) 2020-11-16 2020-11-16 图像增强方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279491.XA CN114511449A (zh) 2020-11-16 2020-11-16 图像增强方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114511449A true CN114511449A (zh) 2022-05-17

Family

ID=81546830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279491.XA Pending CN114511449A (zh) 2020-11-16 2020-11-16 图像增强方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114511449A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质
WO2023061116A1 (zh) * 2021-10-12 2023-04-20 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN116782041A (zh) * 2023-05-29 2023-09-19 武汉工程大学 一种基于液晶微透镜阵列的图像质量提高方法及系统
CN116866731A (zh) * 2023-05-29 2023-10-10 武汉工程大学 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质
CN116866731B (zh) * 2023-05-29 2024-05-10 武汉工程大学 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061116A1 (zh) * 2021-10-12 2023-04-20 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN115689947A (zh) * 2022-12-30 2023-02-03 杭州魔点科技有限公司 一种图像锐化的方法、系统、电子装置和存储介质
CN116782041A (zh) * 2023-05-29 2023-09-19 武汉工程大学 一种基于液晶微透镜阵列的图像质量提高方法及系统
CN116866731A (zh) * 2023-05-29 2023-10-10 武汉工程大学 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质
CN116782041B (zh) * 2023-05-29 2024-01-30 武汉工程大学 一种基于液晶微透镜阵列的图像质量提高方法及系统
CN116866731B (zh) * 2023-05-29 2024-05-10 武汉工程大学 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
Li et al. Luminance-aware pyramid network for low-light image enhancement
Ma et al. Learning deep context-sensitive decomposition for low-light image enhancement
Zuo et al. Learning iteration-wise generalized shrinkage–thresholding operators for blind deconvolution
Hui et al. Progressive perception-oriented network for single image super-resolution
CN114511449A (zh) 图像增强方法、装置及计算机可读存储介质
Li et al. Learning a deep dual attention network for video super-resolution
Liu et al. Depth super-resolution via joint color-guided internal and external regularizations
Liu et al. Depth restoration from RGB-D data via joint adaptive regularization and thresholding on manifolds
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN107993208A (zh) 一种基于稀疏重叠组先验约束的非局部全变分图像复原方法
CN111553841B (zh) 一种基于最佳缝合线更新的实时视频拼接方法
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
US11688100B1 (en) Systems and methods for multi-sensor image enhancement
Yan et al. High dynamic range imaging via gradient-aware context aggregation network
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
Cai et al. TDPN: Texture and detail-preserving network for single image super-resolution
Liu et al. Multi-scale residual hierarchical dense networks for single image super-resolution
Lee et al. Exposure-structure blending network for high dynamic range imaging of dynamic scenes
CN115883988A (zh) 视频图像拼接方法、系统、电子设备及存储介质
Zhong et al. Deep attentional guided image filtering
Li et al. D2c-sr: A divergence to convergence approach for real-world image super-resolution
CN117036581B (zh) 基于二维神经渲染的体渲染方法、系统、设备及介质
Tan et al. Low-light image enhancement with geometrical sparse representation
Zheng et al. Windowing decomposition convolutional neural network for image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination