CN116797491A - 基于任务解耦的暗光模糊图像增强方法 - Google Patents
基于任务解耦的暗光模糊图像增强方法 Download PDFInfo
- Publication number
- CN116797491A CN116797491A CN202310853029.3A CN202310853029A CN116797491A CN 116797491 A CN116797491 A CN 116797491A CN 202310853029 A CN202310853029 A CN 202310853029A CN 116797491 A CN116797491 A CN 116797491A
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- image
- frequency information
- conv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000004927 fusion Effects 0.000 claims abstract description 76
- 230000006870 function Effects 0.000 claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 230000016776 visual perception Effects 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 44
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000004821 distillation Methods 0.000 claims description 11
- 230000008447 perception Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 18
- 238000005286 illumination Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及基于任务解耦的暗光模糊图像增强方法。包括以下步骤：步骤S1、构建用于训练的数据集，对暗光模糊图像的每幅图像进行预处理，得到训练数据集；步骤S2、设计任务解耦的暗光模糊图像增强网络，该网络由颜色变换分支、融合增强分支和高频信息重建分支组成；步骤S3、设计用于训练步骤S2所设计网络的损失函数；步骤S4、使用训练数据集训练基于任务解耦的暗光模糊图像增强网络；步骤S5、将待测暗光模糊图像输入到所设计的网络中，利用训练好的网络预测生成具有更好视觉感知的最终结果。
Description
技术领域
本发明涉及图像处理以及计算机视觉技术领域，特别是基于任务解耦的暗光模糊图像增强方法。
背景技术
近些年来，科学技术的进步和发展显著推动了社会与人民生活的改善。随着图像采集设备体积的微小化和采集能力的高效化，图像和图像系统与人们的日常生活以及生产发展息息相关。基于图像的处理系统在生活场景中有着广泛用途，图像系统可方便使用者直观的进行记录和实时观察，具有很高的便捷性。但受限于采集设备所处环境和使用状态，所获得的图像欠缺理想的可观察性，这体现在图像的运动模糊、照度不佳等现象。尤其是在光照条件较差时，照度不佳的情况很常见，此时所拍摄的图像往往存在多个暗色区域，同时物体运动和相机抖动可能会造成图像模糊，这对于人眼阅读或机器视觉处理都带来困难。因此，设计暗光模糊图像的增强方法具备重要的理论和应用意义。
暗光图像可由于曝光不足或环境条件因素产生，暗光图像中通常包含可视度较差的区域；模糊图像可由于图像拍摄时物体或摄影器材发生运动产生，是图像采集中常见的问题。暗光图像和模糊图像均会造成人眼的感知困难，同时也使得这些图像难以被应用于计算机的高级视觉任务中。暗光模糊图像中的物体和场景信息被极大掩盖，具体来说，暗光模糊图像中的像素分布差异较小，像素值趋近于0，颜色和纹理信息难以察觉。同时模糊因素也会对纹理结构和轮廓造成极大破坏，特别是对于细节信息的影响很严重。
对于暗光模糊图像中单一问题的解决已有部分研究，例如研究暗光图像增强，或者是图像去模糊问题，单一问题的场景中颜色与细节轮廓的丢失局限于某个特性，例如暗光图像若不存在模糊问题，则仅需要对于像素值进行相应改变，无需修复图像的结构和细节信息；同理，若模糊图像不存在暗光问题，则仅需要对于纹理和细节进行增强和复原，这个过程中图像整体色调、亮度等均不会发生大的改变。但是当暗光与模糊问题同时发生，尚需要有效的方法同时解决这些问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于任务解耦的暗光模糊图像增强方法，能提升暗光模糊图像的感知和可视度。
为实现上述目的，本发明采用如下技术方案：基于任务解耦的暗光模糊图像增强方法，包括以下步骤：
步骤S1、构建用于训练的数据集，对暗光模糊图像的每幅图像进行预处理，得到训练数据集；
步骤S2、设计任务解耦的暗光模糊图像增强网络，该任务解耦的暗光模糊图像增强网络由颜色变换分支、融合增强分支和高频信息重建分支组成；
步骤S3、设计用于训练步骤S2所设计网络的损失函数；
步骤S4、使用训练数据集训练基于任务解耦的暗光模糊图像增强网络；
步骤S5、将待测暗光模糊图像输入到所设计的网络中，利用训练好的网络预测生成具有更好视觉感知的最终结果。
在一较佳的实施例中，所述步骤S1包括以下步骤：
步骤S11、将数据集中的每张图像缩放为尺寸为H×W的大小相同的图像；
步骤S12、将训练图像进行归一化处理；给定图像Itrain，计算归一化后的图像的公式如下：
其中，Itrain是具有8位色彩深度的H×W大小的图像，Ibit_max是H×W大小且像素值均为255的图像。
在一较佳的实施例中，所述步骤S2包括以下步骤：
步骤S21、设计颜色变换分支，颜色变换分支由颜色变换预处理网络、颜色变换主干网络、和颜色变换头部网络组成；颜色变换分支接受归一化的大小为H×W的暗光模糊图像X作为输入，最终输出大小为的颜色变换结果/>
步骤S22、设计融合增强分支，融合增强分支由融合增强预处理网络、融合增强主干网络、和融合增强头部网络组成；融合增强分支的输入为：归一化的大小为H×W的暗光模糊图像X，颜色变换分支的输出特征，和高频信息重建分支的输出特征，最终输出大小为H×W的融合增强结果
步骤S23、设计高频信息重建分支，高频信息重建分支由高频信息重建预处理网络、高频信息重建主干网络、和高频信息重建头部网络组成；高频信息重建分支接受归一化的大小为H×W的暗光模糊图像X作为输入，最终输出大小为H×W的高频信息重建结果
在一较佳的实施例中，所述步骤S21具体包括以下步骤：
步骤S211、设计颜色变换预处理网络，颜色变换预处理网络包含1个PixelUnShuffle层和1个卷积层；其中PixelUnShuffle层对的暗光模糊图像X进行像素重组，将输入的暗光模糊图像X的大小变换为通道数量即变换为原通道数的16倍，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；颜色变换预处理网络的输出记为F0 col；
步骤S212、设计颜色变换主干网络，颜色变换主干网络包含若干个结构相同的颜色变换模块，以第i个模块为例，i≥1，对于输入颜色变换模块的特征Fi-1 col，首先由特征蒸馏与通道调制单元FDCMU预测颜色变换的权重，输出的结果记为Ki，类似地，颜色变换的偏置也由FDCMU得到，记为bi；同时基于Fi-1 col预测通道映射，Fi-1 col以此经过FDCMU、全局平均池化GAP运算和多层感知机MLP，最终得到与Fi-1 col通道维数相同的向量记为gi；颜色变换模块的输出Fi col由如下变换得到：
Fi col＝（Fi-1 col*Ki+bi)exp(gi）.
其中*为矩阵的元素乘法，+为矩阵的元素加法，exp(·)为带有广播机制的指数运算；
步骤S213、设计特征蒸馏与通道调制单元FDCMU；对于给定输入特征fD，由FDCMU得到输出特征fD out的过程描述为：
fD 1a＝PReLU(Conv1×1(DWConv5×5(fD))).
fD 1b＝DWConv3×3(Conv1×1(fD)).
fD 2＝PReLU(Conv3×3(PReLU(fD 1b))).
fD 2b＝PReLU(Conv1×1(fD 1b)).
fD 3＝Conv1×1(Concatenate(fD 1a,fD 1b,fD 2,fD 2b)).
fD out＝Conv1×1(fD 3⊙wc⊕bc).
其中，Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，DWConv3×3是卷积核大小为3×3、步长为1、填充为1的通道可分离卷积，DWConv5×5为是卷积核大小为5×5、步长为1、填充为2的通道可分离卷积，PReLU(·)是激活函数；Concatenate(·)是沿通道的特征拼接；wc与bc是可学习的参数向量，⊙与⊕是带有广播机制的元素乘法与元素加法；
步骤S214、设计颜色变换头部网络；颜色变换头部网络接受来自颜色变换主干网络的输出作为其输入，并最终输出大小为的颜色变换结果/>颜色变换头部网络由卷积层、ReLU激活函数和卷积层依次堆叠而成，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。
在一较佳的实施例中，所述步骤S22包括以下步骤：
步骤S221、设计融合增强预处理网络，融合增强预处理网络由1个卷积层组成，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；输出特征记为F0 fuse；
步骤S222、设计融合增强主干网络，融合增强主干网络包含若干个结构相同的融合增强模块，以第i个模块为例，i≥1，融合增强模块接受的输入为：来自上一个融合增强模块的特征Fi-1 fuse，当i＝1时，该输入为融合增强预处理网络的输出、来自颜色变换模块的特征Fi col、来自高频信息重建模块的特征Fi high；首先，来自颜色变换模块的特征Fi col经过通道扩充与上采样模块CEUM变换输出特征Fi col'；而后，特征Fi-1 fuse由多尺度特征融合单元MFFU提取并且融合多尺度特征，而后与特征Fi high和Fi col'分别逐元素相加，经过两个卷积层处理后得到Fi fuse；卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；
步骤S223、设计通道扩充与上采样模块CEUM；对于给定输入特征fE，由CEUM得到输出特征fE out的过程描述为：
fE 1＝Conv1×1(fE).
fE 2a＝FDCMU(fE 1).
fE 2b＝FDCMU(fE 1).
fE 3＝Conv3×3(Conv1×1(Concatenate(fE 2a,fE 2b))).
fE out＝Conv1×1(Conv3×3(PixelShuffle(fE 3))).
其中Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，FDCMU是步骤S213所述特征蒸馏与通道调制单元；Concatenate(·)是沿通道的特征拼接；PixelShuffle(·)为PixelShuffle层，其功能是通过像素重排将输入的大小为的特征变换为H×W，通道数量即变换为原通道数的1/16倍；
步骤S224、设计多尺度特征融合单元MFFU；对于给定输入特征fM，由CEUM得到输出特征fM out的过程描述为：
fM 1＝Conv3×3(fM).
fM 2＝ResBlocks(fM 1).
fM 2a＝Up×2(ResBlocks(Down×2(fM 1))).
fM 2b＝Up×4(ResBlocks(Down×4(fM 1))).
fM out＝Conv3×3(Conv1×1(Concatenate(fM 1,fM 2,fM 2a,fM 2b))).
其中Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积；Down×4(·)是由双线性插值方法进行的空间4倍下采样，Up×4(·)是由双线性插值方法进行的空间4倍上采样；Down×2(·)是由双线性插值方法进行的空间2倍下采样，Up×2(·)是由双线性插值方法进行的空间2倍上采样；ResBlocks是由若干残差块(ResBlock)构成，在本实施例中，残差块的个数为15；残差块由卷积层、PReLU激活函数和卷积层堆叠，并且输入与输出进行跳跃相加，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；
步骤S225、设计融合增强头部网络；融合增强头部网络接受来自融合增强主干网络的输出作为其输入，并最终输出大小为H×W的融合增强结果融合增强头部网络由卷积层、ReLU激活函数和卷积层依次堆叠而成，其中卷积层是是卷积核大小为3×3、步长为1、填充为1的卷积。
在一较佳的实施例中，所述步骤S23具体包括以下步骤：
步骤S231、设计高频信息重建预处理网络，高频信息重建预处理网络预处理网络由1个卷积层组成，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；输出特征记为F0 high；
步骤S232、设计高频信息重建主干网络，高频信息重建主干网络包含若干个结构相同的高频信息重建模块，以第i个模块为例，i≥1，对于输入高频信息重建模块的特征Fi -1 high，由步骤S224所述多尺度特征融合单元(MFFU)和门控傅里叶变换单元GFU依次处理特征；高频信息重建模块的输出记为Fi high；
步骤S224、设计门控傅里叶变换单元GFU；对于给定输入特征fG，由GFU得到输出特征fG out的过程描述为：
fG 1a＝Conv3×3(PReLU(Conv3×3(fG))+fG.
fG 1b＝PReLU(Conv1×1(fG)).
fG 2＝IFFT(PReLU(Conv1×1(FFT(fG 1b))))+fG 1b.
fG out＝Conv1×1(Sigmoid(fG 1b)*fG 2).
其中，Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，PReLU(·)是激活函数；FFT(·)为取实部的傅里叶变换，IFFT(·)为取实部的傅里叶逆变换，Sigmoid(·)是激活函数；*为矩阵的元素乘法；
步骤S225、设计高频信息重建头部网络；高频信息重建头部网络接受来自高频信息重建主干网络的输出作为其输入，并输出大小为H×W的高频信息重建结果
在一较佳的实施例中，所述步骤S3中，设计用于训练步骤S2所设计网络的损失函数；包括以下步骤：
步骤S31、设计整个网络的总优化目标；优化目标为最小化总损失函数
其中，表示颜色变换损失函数，λcol表示颜色变换损失函数的权重；/>表示语义感知损失函数，λsem表示语义感知损失函数的权重；/>表示像素损失函数，λpix表示像素损失函数的权重；/>表示高频信息重建损失函数，λhigh表示高频信息重建损失函数的权重；
步骤S32、设计颜色变换损失函数；的计算公式如下：
其中，是颜色变换分支的输出结果，大小为/>Y↓4是参考图像经过双线性插值运算缩小为/>的结果，AvgPool(·)为核大小为4的均值池化运算，||·||1是取绝对值操作；
步骤S33、设计语义感知损失函数；的计算公式如下：
其中为颜色变换分支输出的颜色变换结果，Y↓4为参考图像经过双线性插值缩小4倍的图像，/>为融合增强分支的输出结果，Y为参考图像；Φ(·)代表使用在ImageNet预训练的VGG-16模型提取Conv2-2、Conv3-2、Conv4-2层特征的操作；||·||1是取绝对值操作；
步骤S34、设计光像素损失函数；的计算公式如下：
其中，为融合增强分支的输出结果，Y为参考图像；||·||1是取绝对值操作；
步骤S35、设计高频信息重建损失函数；的计算公式如下：
其中，为高频信息重建分支的输出结果，Y为参考图像，HighFreq(·)为取得高频信息部分的运算，高频信息部分由离散余弦变换(DCT)将原图变换至频域，取得高频后再进行逆变换取得；||·||1是取绝对值操作。
在一较佳的实施例中，所述步骤S4包括以下步骤：
步骤S41、在经过步骤S1构建的数据集中，选取随机的训练图像X；
步骤S42、训练图像编码与增强；输入图像X，经过任务解耦的暗光模糊图像增强网络，计输出颜色变换结果融合增强结果/>和高频信息重建结果/>计算步骤S31中的总损失函数损失/>
步骤S43、使用反向传播方法计算任务解耦的暗光模糊图像增强网络中各参数的梯度，并利用Adam优化方法更新参数；
步骤S44、以上步骤为训练过程的一次迭代，整个训练过程需要105次迭代，且每次迭代过程中，随机采样多个图像对作为一个批次进行训练。
在一较佳的实施例中，所述步骤S5中，将待测暗光模糊图像输入到所设计的网络中，利用训练好的网络输出结果，其中融合增强结果即为最终结果。
与现有技术相比，本发明具有以下有益效果：本发明的针对现有的暗光图像增强方法或图像去模糊方法均不能有效解决暗光模糊图像的增强。本发明提出了基于任务解耦的暗光模糊图像增强方法，通过设计并行的网络将暗光模糊图像增强解耦为颜色变换和高频信息重建，并且设计了对应的监督学习任务；设计的网络能够有效地提升输入图像的亮度，并且消除模糊效应，输出高质量的正常照度的清晰图像。
附图说明
图1为本发明实施例的方法流程图。
图2为本发明实施例的基于任务解耦的暗光模糊图像增强网络。
图3为本发明实施例的特征蒸馏与通道调制单元(FDCMU)。
图4为本发明实施例的通道扩充与上采样模块(CEUM)。
图5为本发明实施例的多尺度特征融合单元(MFFU)。
图6为本发明实施例的门控傅里叶变换单元(GFU)。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供基于任务解耦的暗光模糊图像增强方法，如图1-6所示，包括以下步骤：
步骤S1、构建用于训练的数据集，对暗光模糊图像的每幅图像进行预处理，得到训练数据集；
步骤S2、设计任务解耦的暗光模糊图像增强网络，该网络由颜色变换分支、融合增强分支和高频信息重建分支组成；
步骤S3、设计用于训练步骤S2所设计网络的损失函数；
步骤S4、使用训练数据集训练基于任务解耦的暗光模糊图像增强网络；
步骤S5、将待测暗光模糊图像输入到所设计的网络中，利用训练好的网络预测生成具有更好视觉感知的最终结果。
进一步地，步骤S1包括以下步骤：
步骤S11、将数据集中的每张图像缩放为尺寸为H×W的大小相同的图像。
步骤S12、将训练图像进行归一化处理。给定图像Itrain，计算归一化后的图像的公式如下：
其中，Itrain是具有8位色彩深度的H×W大小的图像，Ibit_max是H×W大小且像素值均为255的图像。
进一步地，步骤S2包括以下步骤，如图2所示：
步骤S21、设计颜色变换分支，颜色变换分支由颜色变换预处理网络、颜色变换主干网络、和颜色变换头部网络组成。颜色变换分支接受归一化的大小为H×W的暗光模糊图像X作为输入，最终输出大小为的颜色变换结果/>
步骤S22、设计融合增强分支，融合增强分支由融合增强预处理网络、融合增强主干网络、和融合增强头部网络组成。融合增强分支的输入为：归一化的大小为H×W的暗光模糊图像X，颜色变换分支的输出特征，和高频信息重建分支的输出特征，最终输出大小为H×W的融合增强结果
步骤S23、设计高频信息重建分支，高频信息重建分支由高频信息重建预处理网络、高频信息重建主干网络、和高频信息重建头部网络组成。高频信息重建分支接受归一化的大小为H×W的暗光模糊图像X作为输入，最终输出大小为H×W的高频信息重建结果
进一步地，步骤S21包括以下步骤：
步骤S211、设计颜色变换预处理网络，颜色变换预处理网络包含1个PixelUnShuffle层和1个卷积层。其中PixelUnShuffle层对的暗光模糊图像X进行像素重组，将输入的暗光模糊图像X的大小变换为通道数量即变换为原通道数的16倍，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。颜色变换预处理网络的输出记为F0 col。
步骤S212、设计颜色变换主干网络，颜色变换主干网络包含若干个结构相同的颜色变换模块，以第i(i≥1)个模块为例，对于输入颜色变换模块的特征Fi-1 col，首先由特征蒸馏与通道调制单元(Feature Distillation and Channel Modulation Unit(FDCMU))预测颜色变换的权重，输出的结果记为Ki，类似地，颜色变换的偏置也由FDCMU得到，记为bi。同时基于Fi-1 col预测通道映射，Fi-1 col以此经过FDCMU、全局平均池化(GAP)运算和多层感知机(MLP)，最终得到与Fi-1 col通道维数相同的向量记为gi。颜色变换模块的输出Fi col由如下变换得到：
Fi col＝(Fi-1 col*Ki+bi)exp(gi).
其中*为矩阵的元素乘法，+为矩阵的元素加法，exp(·)为带有广播机制的指数运算。
步骤S213、设计特征蒸馏与通道调制单元(FDCMU)，如图3所示。对于给定输入特征fD，由FDCMU得到输出特征fD out的过程可以描述为：
fD 1a＝PReLU(Conv1×1(DWConv5×5(fD))).
fD 1b＝DWConv3×3(Conv1×1(fD)).
fD 2＝PReLU(Conv3×3(PReLU(fD 1b))).
fD 2b＝PReLU(Conv1×1(fD 1b)).
fD 3＝Conv1×1(Concatenate(fD 1a,fD 1b,fD 2,fD 2b)).
fD out＝Conv1×1(fD 3⊙wc⊕bc).
其中，Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，DWConv3×3是卷积核大小为3×3、步长为1、填充为1的通道可分离卷积，DWConv5×5为是卷积核大小为5×5、步长为1、填充为2的通道可分离卷积，PReLU(·)是激活函数。Concatenate(·)是沿通道的特征拼接。wc与bc是可学习的参数向量，⊙与⊕是带有广播机制的元素乘法与元素加法。
步骤S214、设计颜色变换头部网络。颜色变换头部网络接受来自颜色变换主干网络的输出作为其输入，并最终输出大小为的颜色变换结果/>颜色变换头部网络由卷积层、ReLU激活函数和卷积层依次堆叠而成，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。
进一步地，步骤S22包括以下步骤：
步骤S221、设计融合增强预处理网络，融合增强预处理网络由1个卷积层组成，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。输出特征记为F0 fuse。
步骤S222、设计融合增强主干网络，融合增强主干网络包含若干个结构相同的融合增强模块，以第i(i≥1)个模块为例，融合增强模块接受的输入为：来自上一个融合增强模块的特征Fi-1 fuse(当i＝1时，该输入为融合增强预处理网络的输出)、来自颜色变换模块的特征Fi col、来自高频信息重建模块的特征Fi high。首先，来自颜色变换模块的特征Fi col经过通道扩充与上采样模块(Channel Expansion and Upsampling Module(CEUM))变换输出特征Fi col'。而后，特征Fi-1 fuse由多尺度特征融合单元(Multi-scale Feature Fusion Unit(MFFU))提取并且融合多尺度特征，而后与特征Fi high和Fi col'分别逐元素相加，经过两个卷积层处理后得到Fi fuse。卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。
步骤S223、设计通道扩充与上采样模块(CEUM)，如图4所示。对于给定输入特征fE，由CEUM得到输出特征fE out的过程可以描述为：
fE 1＝Conv1×1(fE).
fE 2a＝FDCMU(fE 1).
fE 2b＝FDCMU(fE 1).
fE 3＝Conv3×3(Conv1×1(Concatenate(fE 2a,fE 2b))).
fE out＝Conv1×1(Conv3×3(PixelShuffle(fE 3))).
其中Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，FDCMU是步骤S213所述特征蒸馏与通道调制单元。Concatenate(·)是沿通道的特征拼接。PixelShuffle(·)为PixelShuffle层，其功能是通过像素重排将输入的大小为的特征变换为H×W，通道数量即变换为原通道数的1/16倍。
步骤S224、设计多尺度特征融合单元(MFFU)，如图5所示。对于给定输入特征fM，由CEUM得到输出特征fM out的过程可以描述为：
fM 1＝Conv3×3(fM).
fM 2＝ResBlocks(fM 1).
fM 2a＝Up×2(ResBlocks(Down×2(fM 1))).
fM 2b＝Up×4(ResBlocks(Down×4(fM 1))).
fM out＝Conv3×3(Conv1×1(Concatenate(fM 1,fM 2,fM 2a,fM 2b))).
其中Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积。Down×4(·)是由双线性插值方法进行的空间4倍下采样，Up×4(·)是由双线性插值方法进行的空间4倍上采样；Down×2(·)是由双线性插值方法进行的空间2倍下采样，Up×2(·)是由双线性插值方法进行的空间2倍上采样。ResBlocks是由若干残差块(ResBlock)构成，在本实施例中，残差块的个数为15。残差块由卷积层、PReLU激活函数和卷积层堆叠，并且输入与输出进行跳跃相加，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。
步骤S225、设计融合增强头部网络。融合增强头部网络接受来自融合增强主干网络的输出作为其输入，并最终输出大小为H×W的融合增强结果融合增强头部网络由卷积层、ReLU激活函数和卷积层依次堆叠而成，其中卷积层是是卷积核大小为3×3、步长为1、填充为1的卷积。
进一步地，步骤S23包括以下步骤：
步骤S231、设计高频信息重建预处理网络，高频信息重建预处理网络预处理网络由1个卷积层组成，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。输出特征记为F0 high。
步骤S232、设计高频信息重建主干网络，高频信息重建主干网络包含若干个结构相同的高频信息重建模块，以第i(i≥1)个模块为例，对于输入高频信息重建模块的特征Fi -1 high，由步骤S224所述多尺度特征融合单元(MFFU)和门控傅里叶变换单元(Gated FFTUnit(GFU))依次处理特征。高频信息重建模块的输出记为Fi high。
步骤S224、设计门控傅里叶变换单元(GFU)，如图6所示。对于给定输入特征fG，由GFU得到输出特征fG out的过程可以描述为：
fG 1a＝Conv3×3(PReLU(Conv3×3(fG))+fG.
fG 1b＝PReLU(Conv1×1(fG)).
fG 2＝IFFT(PReLU(Conv1×1(FFT(fG 1b))))+fG 1b.
fG out＝Conv1×1(Sigmoid(fG 1b)*fG 2).
其中，Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，PReLU(·)是激活函数。FFT(·)为取实部的傅里叶变换，IFFT(·)为取实部的傅里叶逆变换，Sigmoid(·)是激活函数。*为矩阵的元素乘法。
步骤S225、设计高频信息重建头部网络。高频信息重建头部网络接受来自高频信息重建主干网络的输出作为其输入，并输出大小为H×W的高频信息重建结果
进一步地，步骤S3包括以下步骤：
步骤S31、设计整个网络的总优化目标。优化目标为最小化总损失函数
其中，表示颜色变换损失函数，λcol表示颜色变换损失函数的权重；/>表示语义感知损失函数，λsem表示语义感知损失函数的权重；/>表示像素损失函数，λpix表示像素损失函数的权重；/>表示高频信息重建损失函数，λhigh表示高频信息重建损失函数的权重。
步骤S32、设计颜色变换损失函数。的计算公式如下：
其中，是颜色变换分支的输出结果，大小为/>Y↓4是参考图像经过双线性插值运算缩小为/>的结果，AvgPool为核大小为4的均值池化运算，||·||1是取绝对值操作。
步骤S33、设计语义感知损失函数。的计算公式如下：
其中为颜色变换分支输出的颜色变换结果，Y↓4为参考图像经过双线性插值缩小4倍的图像，/>为融合增强分支的输出结果，Y为参考图像。Φ(·)代表使用在ImageNet预训练的VGG-16模型提取Conv2-2、Conv3-2、Conv4-2层特征的操作。||·||1是取绝对值操作。
步骤S34、设计光像素损失函数。的计算公式如下：
其中，为融合增强分支的输出结果，Y为参考图像。||·||1是取绝对值操作。
步骤S35、设计高频信息重建损失函数。的计算公式如下：
其中，为高频信息重建分支的输出结果，Y为参考图像，HighFreq(·)为取得高频信息部分的运算，高频信息部分由离散余弦变换(DCT)将原图变换至频域，取得高频后再进行逆变换取得。||·||1是取绝对值操作。
进一步地，步骤S4包括以下步骤：
步骤S41、在经过步骤S1构建的数据集中，选取随机的训练图像X。
步骤S42、训练图像编码与增强。输入图像X，经过任务解耦的暗光模糊图像增强网络，计输出颜色变换结果融合增强结果/>和高频信息重建结果/>计算步骤S31中的总损失函数损失/>
步骤S43、使用反向传播方法计算任务解耦的暗光模糊图像增强网络中各参数的梯度，并利用Adam优化方法更新参数。
步骤S44、以上步骤为训练过程的一次迭代，整个训练过程需要105次迭代，且每次迭代过程中，随机采样多个图像对作为一个批次进行训练。
进一步地，步骤S5包括以下步骤：
步骤S5、将待测暗光模糊图像输入到所设计的网络中，利用训练好的网络输出结果，其中融合增强结果即为最终结果。
本发明提出了基于任务解耦的暗光模糊图像增强方法。该方法基于图像暗光与模糊问题的独立特性，创造性地将暗光模糊图像问题解耦为颜色变换与高频信息复原，同时设计了对应的任务，即对于颜色变换任务与高频信息复原任务均由相应的参考图像进行监督。所设计的网络采用并行结构，以下采样的小图像学习颜色变换，能够削弱噪声和模糊带来的影响，同时高频信息复原任务可使得网络学习与颜色变换无关的细节复原，有利于对暗光和去模糊双充问题的解决。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (9)
1.基于任务解耦的暗光模糊图像增强方法，其特征在于，包括以下步骤：
步骤S1、构建用于训练的数据集，对暗光模糊图像的每幅图像进行预处理，得到训练数据集；
步骤S2、设计任务解耦的暗光模糊图像增强网络，该任务解耦的暗光模糊图像增强网络由颜色变换分支、融合增强分支和高频信息重建分支组成；
步骤S3、设计用于训练步骤S2所设计网络的损失函数；
步骤S4、使用训练数据集训练基于任务解耦的暗光模糊图像增强网络；
步骤S5、将待测暗光模糊图像输入到所设计的网络中，利用训练好的网络预测生成具有更好视觉感知的最终结果。
2.根据权利要求1所述的基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11、将数据集中的每张图像缩放为尺寸为H×W的大小相同的图像；
步骤S12、将训练图像进行归一化处理；给定图像Itrain，计算归一化后的图像的公式如下：
其中，Itrain是具有8位色彩深度的H×W大小的图像，Ibit_max是H×W大小且像素值均为255的图像。
3.根据权利要求1所述的基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21、设计颜色变换分支，颜色变换分支由颜色变换预处理网络、颜色变换主干网络、和颜色变换头部网络组成；颜色变换分支接受归一化的大小为H×W的暗光模糊图像X作为输入，最终输出大小为的颜色变换结果/>
步骤S22、设计融合增强分支，融合增强分支由融合增强预处理网络、融合增强主干网络、和融合增强头部网络组成；融合增强分支的输入为：归一化的大小为H×W的暗光模糊图像X，颜色变换分支的输出特征，和高频信息重建分支的输出特征，最终输出大小为H×W的融合增强结果
步骤S23、设计高频信息重建分支，高频信息重建分支由高频信息重建预处理网络、高频信息重建主干网络、和高频信息重建头部网络组成；高频信息重建分支接受归一化的大小为H×W的暗光模糊图像X作为输入，最终输出大小为H×W的高频信息重建结果
4.根据权利要求3所述的基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S21具体包括以下步骤：
步骤S211、设计颜色变换预处理网络，颜色变换预处理网络包含1个PixelUnShuffle层和1个卷积层；其中PixelUnShuffle层对的暗光模糊图像X进行像素重组，将输入的暗光模糊图像X的大小变换为通道数量即变换为原通道数的16倍，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；颜色变换预处理网络的输出记为F0 col；
步骤S212、设计颜色变换主干网络，颜色变换主干网络包含若干个结构相同的颜色变换模块，以第i个模块为例，i≥1，对于输入颜色变换模块的特征Fi-1 col，首先由特征蒸馏与通道调制单元FDCMU预测颜色变换的权重，输出的结果记为Ki，类似地，颜色变换的偏置也由FDCMU得到，记为bi；同时基于Fi-1 col预测通道映射，Fi-1 col以此经过FDCMU、全局平均池化GAP运算和多层感知机MLP，最终得到与Fi-1 col通道维数相同的向量记为gi；颜色变换模块的输出Fi col由如下变换得到：
Fi col＝(Fi-1 col*Ki+bi)exp(gi).
其中*为矩阵的元素乘法，+为矩阵的元素加法，exp(·)为带有广播机制的指数运算；
步骤S213、设计特征蒸馏与通道调制单元FDCMU；对于给定输入特征fD，由FDCMU得到输出特征fD out的过程描述为：
fD 1a＝PReLU(Conv1×1(DWConv5×5(fD))).
fD 1b＝DWConv3×3(Conv1×1(fD)).
fD 2＝PReLU(Conv3×3(PReLU(fD 1b))).
fD 2b＝PReLU(Conv1×1(fD 1b)).
fD 3＝Conv1×1(Concatenate(fD 1a,fD 1b,fD 2,fD 2b)).
fD out＝Conv1×1(fD 3⊙wc⊕bc).
其中，Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，DWConv3×3是卷积核大小为3×3、步长为1、填充为1的通道可分离卷积，DWConv5×5为是卷积核大小为5×5、步长为1、填充为2的通道可分离卷积，PReLU(·)是激活函数；Concatenate(·)是沿通道的特征拼接；wc与bc是可学习的参数向量，⊙与⊕是带有广播机制的元素乘法与元素加法；
步骤S214、设计颜色变换头部网络；颜色变换头部网络接受来自颜色变换主干网络的输出作为其输入，并最终输出大小为的颜色变换结果/>颜色变换头部网络由卷积层、ReLU激活函数和卷积层依次堆叠而成，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积。
5.根据权利要求3所述的基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S22包括以下步骤：
步骤S221、设计融合增强预处理网络，融合增强预处理网络由1个卷积层组成，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；输出特征记为F0 fuse；
步骤S222、设计融合增强主干网络，融合增强主干网络包含若干个结构相同的融合增强模块，以第i个模块为例，i≥1，融合增强模块接受的输入为：来自上一个融合增强模块的特征Fi-1 fuse，当i＝1时，该输入为融合增强预处理网络的输出、来自颜色变换模块的特征Fi col、来自高频信息重建模块的特征Fi high；首先，来自颜色变换模块的特征Fi col经过通道扩充与上采样模块CEUM变换输出特征Fi col'；而后，特征Fi-1 fuse由多尺度特征融合单元MFFU提取并且融合多尺度特征，而后与特征Fi high和Fi col'分别逐元素相加，经过两个卷积层处理后得到Fi fuse；卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；
步骤S223、设计通道扩充与上采样模块CEUM；对于给定输入特征fE，由CEUM得到输出特征fE out的过程描述为：
fE 1＝Conv1×1(fE).
fE 2a＝FDCMU(fE 1).
fE 2b＝FDCMU(fE 1).
fE 3＝Conv3×3(Conv1×1(Concatenate(fE 2a,fE 2b))).
fE out＝Conv1×1(Conv3×3(PixelShuffle(fE 3))).
其中Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，FDCMU是步骤S213所述特征蒸馏与通道调制单元；Concatenate(·)是沿通道的特征拼接；PixelShuffle(·)为PixelShuffle层，其功能是通过像素重排将输入的大小为的特征变换为H×W，通道数量即变换为原通道数的1/16倍；
步骤S224、设计多尺度特征融合单元MFFU；对于给定输入特征fM，由CEUM得到输出特征fM out的过程描述为：
fM 1＝Conv3×3(fM).
fM 2＝ResBlocks(fM 1).
fM 2a＝Up×2(ResBlocks(Down×2(fM 1))).
fM 2b＝Up×4(ResBlocks(Down×4(fM 1))).
fM out＝Conv3×3(Conv1×1(Concatenate(fM 1,fM 2,fM 2a,fM 2b))).
其中Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积；Down×4(·)是由双线性插值方法进行的空间4倍下采样，Up×4(·)是由双线性插值方法进行的空间4倍上采样；Down×2(·)是由双线性插值方法进行的空间2倍下采样，Up×2(·)是由双线性插值方法进行的空间2倍上采样；ResBlocks是由若干残差块(ResBlock)构成，在本实施例中，残差块的个数为15；残差块由卷积层、PReLU激活函数和卷积层堆叠，并且输入与输出进行跳跃相加，其中卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；
步骤S225、设计融合增强头部网络；融合增强头部网络接受来自融合增强主干网络的输出作为其输入，并最终输出大小为H×W的融合增强结果融合增强头部网络由卷积层、ReLU激活函数和卷积层依次堆叠而成，其中卷积层是是卷积核大小为3×3、步长为1、填充为1的卷积。
6.根据权利要求3所述的基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S23具体包括以下步骤：
步骤S231、设计高频信息重建预处理网络，高频信息重建预处理网络预处理网络由1个卷积层组成，卷积层是卷积核大小为3×3、步长为1、填充为1的卷积；输出特征记为F0 high；
步骤S232、设计高频信息重建主干网络，高频信息重建主干网络包含若干个结构相同的高频信息重建模块，以第i个模块为例，i≥1，对于输入高频信息重建模块的特征Fi-1 high，由步骤S224所述多尺度特征融合单元(MFFU)和门控傅里叶变换单元GFU依次处理特征；高频信息重建模块的输出记为Fi high；
步骤S224、设计门控傅里叶变换单元GFU；对于给定输入特征fG，由GFU得到输出特征fG out的过程描述为：
fG 1a＝Conv3×3(PReLU(Conv3×3(fG))+fG.
fG 1b＝PReLU(Conv1×1(fG)).
fG 2＝IFFT(PReLU(Conv1×1(FFT(fG 1b))))+fG 1b.
fG out＝Conv1×1(Sigmoid(fG 1b)*fG 2).
其中，Conv1×1为是卷积核大小为1×1、步长为1、填充为0的卷积，Conv3×3为是卷积核大小为3×3、步长为1、填充为1的卷积，PReLU(·)是激活函数；FFT(·)为取实部的傅里叶变换，IFFT(·)为取实部的傅里叶逆变换，Sigmoid(·)是激活函数；*为矩阵的元素乘法；
步骤S225、设计高频信息重建头部网络；高频信息重建头部网络接受来自高频信息重建主干网络的输出作为其输入，并输出大小为H×W的高频信息重建结果
7.根据权利要求1所述的基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S3中，设计用于训练步骤S2所设计网络的损失函数；包括以下步骤：
步骤S31、设计整个网络的总优化目标；优化目标为最小化总损失函数
其中，表示颜色变换损失函数，λcol表示颜色变换损失函数的权重；/>表示语义感知损失函数，λsem表示语义感知损失函数的权重；/>表示像素损失函数，λpix表示像素损失函数的权重；/>表示高频信息重建损失函数，λhigh表示高频信息重建损失函数的权重；
步骤S32、设计颜色变换损失函数；的计算公式如下：
其中，是颜色变换分支的输出结果，大小为/>Y↓4是参考图像经过双线性插值运算缩小为/>的结果，AvgPool(·)为核大小为4的均值池化运算，||·||1是取绝对值操作；
步骤S33、设计语义感知损失函数；的计算公式如下：
其中为颜色变换分支输出的颜色变换结果，Y↓4为参考图像经过双线性插值缩小4倍的图像，/>为融合增强分支的输出结果，Y为参考图像；Φ(·)代表使用在ImageNet预训练的VGG-16模型提取Conv2-2、Conv3-2、Conv4-2层特征的操作；||·||1是取绝对值操作；
步骤S34、设计光像素损失函数；的计算公式如下：
其中，为融合增强分支的输出结果，Y为参考图像；||·||1是取绝对值操作；
步骤S35、设计高频信息重建损失函数；的计算公式如下：
其中，为高频信息重建分支的输出结果，Y为参考图像，HighFreq(·)为取得高频信息部分的运算，高频信息部分由离散余弦变换(DCT)将原图变换至频域，取得高频后再进行逆变换取得；||·||1是取绝对值操作。
8.根据权利要求1所述基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41、在经过步骤S1构建的数据集中，选取随机的训练图像X；
步骤S42、训练图像编码与增强；输入图像X，经过任务解耦的暗光模糊图像增强网络，计输出颜色变换结果融合增强结果/>和高频信息重建结果/>计算步骤S31中的总损失函数损失/>
步骤S43、使用反向传播方法计算任务解耦的暗光模糊图像增强网络中各参数的梯度，并利用Adam优化方法更新参数；
步骤S44、以上步骤为训练过程的一次迭代，整个训练过程需要105次迭代，且每次迭代过程中，随机采样多个图像对作为一个批次进行训练。
9.根据权利要求1所述的基于任务解耦的暗光模糊图像增强方法，其特征在于，所述步骤S5中，将待测暗光模糊图像输入到所设计的网络中，利用训练好的网络输出结果，其中融合增强结果即为最终结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310853029.3A CN116797491A (zh) | 2023-07-12 | 2023-07-12 | 基于任务解耦的暗光模糊图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310853029.3A CN116797491A (zh) | 2023-07-12 | 2023-07-12 | 基于任务解耦的暗光模糊图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116797491A true CN116797491A (zh) | 2023-09-22 |
Family
ID=88036420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310853029.3A Pending CN116797491A (zh) | 2023-07-12 | 2023-07-12 | 基于任务解耦的暗光模糊图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797491A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575943A (zh) * | 2023-12-13 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 一种对比度增强与降噪相结合的4k暗光图像增强方法 |
-
2023
- 2023-07-12 CN CN202310853029.3A patent/CN116797491A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575943A (zh) * | 2023-12-13 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 一种对比度增强与降噪相结合的4k暗光图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Hdrunet: Single image hdr reconstruction with denoising and dequantization | |
| CN112767251B (zh) | 基于多尺度细节特征融合神经网络的图像超分辨率方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Xiong et al. | Unsupervised low-light image enhancement with decoupled networks | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN112598579A (zh) | 面向监控场景的图像超分辨率方法、装置及存储介质 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| US11915383B2 (en) | Methods and systems for high definition image manipulation with neural networks | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN116797491A (zh) | 基于任务解耦的暗光模糊图像增强方法 | |
| CN115035011B (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| Zhao et al. | Better Visual Image Super-Resolution with Laplacian Pyramid of Generative Adversarial Networks. | |
| CN116385283A (zh) | 一种基于事件相机的图像去模糊方法及系统 | |
| Liu et al. | Residual-guided multiscale fusion network for bit-depth enhancement | |
| Chen et al. | Attention-based broad self-guided network for low-light image enhancement | |
| Jaisurya et al. | Attention-based single image dehazing using improved cyclegan | |
| Xiao et al. | Deep neural inverse halftoning | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
| CN113962882A (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| CN114862699B (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| Xu et al. | Swin transformer and ResNet based deep networks for low-light image enhancement | |
| CN114820389B (zh) | 一种基于无监督解耦表征的人脸图像去模糊方法 | |
| Song et al. | MBD-GAN: Model-based image deblurring with a generative adversarial network | |
| CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |