CN115205147A - 一种基于Transformer的多尺度优化低照度图像增强方法 - Google Patents

一种基于Transformer的多尺度优化低照度图像增强方法 Download PDF

Info

Publication number
CN115205147A
CN115205147A CN202210828621.3A CN202210828621A CN115205147A CN 115205147 A CN115205147 A CN 115205147A CN 202210828621 A CN202210828621 A CN 202210828621A CN 115205147 A CN115205147 A CN 115205147A
Authority
CN
China
Prior art keywords
network
image
low
scale
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210828621.3A
Other languages
English (en)
Inventor
牛玉贞
林晓锋
李悦洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210828621.3A priority Critical patent/CN115205147A/zh
Publication of CN115205147A publication Critical patent/CN115205147A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于Transformer的多尺度优化低照度图像增强方法。包括：将数据进行数据预处理；构建基于Transformer的多任务恢复和增强子网络；设计基于Transformer的多尺度优化低照度图像增强网络，该网络由多尺度浅层特征提取子网络、多尺度特征融合子网络、基于Transformer的低照度图像特征增强子网络和多尺度低照度图像增强子网络组成；根据网络结构设计损失函数，指导网络模型的参数优化；用图像块数据训练网络，优化网络模型参数，收敛到平衡状态；将低照度图像进行切块处理，然后将图像块分别输入训练好的图像增强网络，得到相应增强后的图像块后，将图像块拼接成增强后的完整图像。本发明能对低照度图像进行增强，综合解决低照度图像存在的退化问题。

Description

一种基于Transformer的多尺度优化低照度图像增强方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域，具体涉及一种基于Transformer的多尺度优化低照度图像增强方法。
背景技术
在光照不足、背光或非均匀光照环境下拍摄的图像一方面丢失细节信息、颜色信息等，具有较低的对比度，造成有用信息缺失；另一方面，在黑暗区域有比较多的噪声干扰，扰乱图像信息。低照度图像增强过程中常常面临亮度不足、图像噪声、色彩偏差、伪影等附加问题，常常会影响人类的视觉感知体验，同时降低目标检测、人脸识别、语义分割等下游任务的检测性能。因此，近年来，低照度图像增强方法不断发展，旨在解决上述问题。
传统方法主要分为两类：一是直方图均衡化方法，使用直方图均衡化来扩展图像的动态范围，具备的可学习参数量较少，缺失对图像结构信息的有效建模；二是基于Retinex的低照度图像增强方法，把图像分解为决定图像固有性质的反射分量和代表环境光特性的照明分量，由于直接将反射分量直接作为增强后的图像，噪声问题很难解决，本身就会造成细节的丢失和颜色的损坏，并且不能适当地增强具有相对高动态范围的图像。近年来深度学习飞速发展，许多基于深度学习的方法相继被提出，一些关注色差恢复的算法忽略了噪声处理，导致增强结果有明显的噪声，扰乱了图像的可观测信息，对下游任务有很强的干扰作用；一些基于Retinex理论的深度学习方法开始分解出噪声分量，去除噪声，但是常常忽略了细节保留，去除噪声的同时把图像的有用信息也一并去除。然而，低照度图像增强作为一种上游任务需要应用在检测、识别等多种下游任务，需要综合考虑图像问题，从多方面提升图像质量；另一方面，人的视觉感知质量的高低也受图像综合因素的影响，而不是单一因素。
已有方法大多只能针对其中一两个问题提出解决方法，而不能综合关注到更多的问题，导致方法的片面性，很难从根本上全面提升人类视觉感知并有效适用于下游任务。本发明设计了一种基于Transformer的多尺度优化低照度图像增强方法，首先根据低照度图像在各个问题上的严重程度构建基于Transformer的多任务恢复和增强子网络对低照度图像存在的亮度、色差、噪声、对比度等进行初步的综合增强，然后设计了基于Transformer的多尺度优化低照度图像增强网络在不同尺度增强图像，保证图像总体和图像细节兼顾，而且在每个分支设置了注意力模块和色彩校正模块有针对性地针对色差和对比度问题进一步地增强。
发明内容
本发明的目的在于提供一种基于Transformer的多尺度优化低照度图像增强方法，该方法结合了多尺度的网络结构和多目标的综合增强，有利于显著提高低照度图像增强的性能。
为实现上述目的，本发明的技术方案是：一种基于Transformer的多尺度优化低照度图像增强方法，包括如下步骤：
步骤A、将数据进行数据预处理，首先将数据进行配对处理，接着对其做数据切块、数据增强处理；
步骤B、构建基于Transformer的多任务恢复和增强子网络，该网络由头部、身体部分和尾部组成，使用多任务数据集预训练并使用合成低照度图像数据集微调；
步骤C、设计基于Transformer的多尺度优化低照度图像增强网络，该网络由多尺度浅层特征提取子网络、多尺度特征融合子网络、基于Transformer的低照度图像特征增强子网络和多尺度低照度图像增强子网络组成；
步骤D、根据网络结构设计损失函数，指导网络模型的参数优化；
步骤E、用图像块数据训练网络，优化网络模型参数，收敛到平衡状态；
步骤F、将低照度图像进行切块处理，然后将图像块分别输入训练好的图像增强网络，得到相应增强后的图像块后，将图像块拼接成增强后的完整图像。
相较于现有技术，本发明具有以下有益效果：本发明根据低照度图像在各个问题上的严重程度构建了基于Transformer的多任务恢复和增强网络，能够对低照度图像存在的亮度、色差、噪声、对比度等进行综合增强。设计了一种基于Transformer的多尺度优化低照度图像增强网络，能够对图像整体和图像细节均有效关注，而且在每个分支设置了注意力模块和色彩校正模块有针对性地针对色差和对比度问题进一步地增强，不同于其他方法只解决一两个问题，本发明能够综合解决低照度图像存在的退化问题。
附图说明
图1是本发明方法的实现流程图。
图2是本发明实施例中基于Transformer的多任务恢复和增强子网络的结构图。
图3是本发明实施例中基于Transformer的多尺度优化低照度图像增强网络的结构图。
图4是本发明实施例中注意力模块的结构图。
图5是本发明实施例中色彩校正模块的结构图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供一种基于Transformer的多尺度优化低照度图像增强方法，如图1所示，包括以下步骤：
步骤A：将数据进行数据预处理，首先将数据进行配对处理，接着对其做数据切块、数据增强处理；
步骤B：构建基于Transformer的多任务恢复和增强子网络，该网络由头部、身体部分和尾部组成，使用多任务数据集预训练并使用合成低照度图像数据集微调；
步骤C：设计基于Transformer的多尺度优化低照度图像增强网络，该网络由多尺度浅层特征提取子网络、多尺度特征融合子网络、基于Transformer的低照度图像特征增强子网络和多尺度低照度图像增强子网络组成；
步骤D：根据网络结构设计损失函数，指导网络模型的参数优化；
步骤E：用图像块数据训练网络，优化网络模型参数，收敛到平衡状态；
步骤F：将低照度图像进行切块处理，然后将图像块分别输入训练好的图像增强网络，得到相应增强后的图像块后，将图像块拼接成增强后的完整图像。
进一步地，所述步骤A包括以下步骤：
步骤A1：将真实低照度图像与对应的标签图像进行配对处理；
步骤A2：将所有的真实低照度图像都进行不同的三次随机切块处理，对真实低照度图像I的配对标签图像也进行与其相同的切块处理方式。随机切块过程如下：设给定真实低照度图像I，图像尺寸为h×w×3，裁切出的图像块的尺寸均为q×q×3，其中，h、w分别表示低照度图像I的高度和宽度，q表示裁切出的图像块的高度和宽度。
步骤A3：对配对图像块实施相同的随机水平翻转、垂直翻转、旋转操作进行数据增强，得到真实低照度图像数据集。
步骤A4：分别对噪声图像和标签图像、水下图像和标签图像、低分辨率图像和标签图像、合成低照度图像和标签图像，采用步骤A1至A3相同的方式进行预处理，得到噪声图像数据集、水下图像数据集、低分辨率图像数据集、合成低照度图像数据集。
进一步地，所述步骤B包括以下步骤：
步骤B1：构建基于Transformer的多任务恢复和增强子网络，该网络由头部、身体部分和尾部组成，网络输入依次通过头部、身体部分和尾部得到输出结果，任务之间共享身体部分的参数，不共享头部和尾部的参数。
步骤B2：使用多任务数据集预训练步骤B1中的网络模型，使用网络目标损失函数来优化模型参数，这里使用L1损失，计算方式如下：
Figure BDA0003743979050000031
其中，
Figure BDA0003743979050000041
表示第i个任务的损坏图像，
Figure BDA0003743979050000042
表示输入为
Figure BDA0003743979050000043
时基于Transformer的多任务恢复和增强子网络得到的结果，Igt表示损坏图像
Figure BDA0003743979050000044
对应的标签图像，||·||1表示L1损失，n表示n个任务，包括图像去噪、水下图像增强、图像超分辨率、合成低照度图像增强。
在训练过程中，每个批次随机从除合成低照度增强任务之外的n-1个任务中选择一个训练，每个批次包含相同数量的从步骤A4构建的相应数据集中随机抽取的损坏图像和标签图像对，将损坏图像输入步骤B1所述网络中，得到结果图像。根据网络的目标损失函数，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新网络的参数，直至迭代次数达到阈值，保存训练好的模型，完成网络训练过程。
步骤B3：使用合成低照度图像数据集微调步骤B2中得到的网络模型参数。加载B2中预训练得到的网络模型作为预训练模型，作为接下来微调网络参数过程的初始网络参数。每个批次中从合成低照度图像数据集中随机抽取相同数量的合成低照度图像，输入B1所述网络中，得到增强图像。根据网络的目标损失函数，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新网络的参数，直至迭代次数达到阈值，保存训练好的模型，完成网络训练过程。最终得到基于Transformer的多任务恢复和增强子网络的模型参数，该模型将在后续步骤中作为预训练模型。
进一步地，所述步骤B1包括以下步骤：
步骤B11：构建头部结构，每个任务的头部结构由一个卷积层和两个残差结构组成，第i个任务的损坏图像
Figure BDA0003743979050000045
经过头部结构后，得到输出特征图
Figure BDA0003743979050000046
计算过程如下：
Resi(x)＝Cinvi(ReLU(Convi(x)))+x,i＝1,2,…n
Figure BDA0003743979050000047
其中，i表示第i个任务，n表示共有n个任务，Resi(·)表示第i个任务对应的残差结构，x为残差结构的输入，Convi表示第i个任务对应的卷积层，ReLU为激活函数。
步骤B12：构建身体部分结构，身体部分采用Vision Transformer的编码解码器结构。所有任务对应的身体部分参数共享、结构相同，因此对不同任务图像经过头部得到的特征图做同样的处理，这里把
Figure BDA0003743979050000048
统一记作Fcorrupted。首先把头部得到的特征图
Figure BDA0003743979050000049
Figure BDA00037439790500000410
分解成一系列的块
Figure BDA00037439790500000411
P是块的大小，为每一个块加入可学习的位置编码
Figure BDA00037439790500000412
后，送入Transformer编码器。同样地，经过Transformer解码器后得到一系列的块输出
Figure BDA0003743979050000051
再将N个块输出
Figure BDA0003743979050000052
重组成特征图
Figure BDA0003743979050000053
步骤B13：构建尾部结构，与头部结构相同，尾部采用多尾结构适应不同的任务，超分辨率任务的尾部由一个卷积层和一个上采样层组成，其他任务的尾部均由一个卷积层组成，输入为身体部分得到的特征图Fo，输出为结果图像
Figure BDA0003743979050000054
计算方式如下：
Figure BDA0003743979050000055
其中，i表示第i个任务，n表示共有n个任务，第n个任务为超分辨率任务，Convi表示第i个任务对应的卷积层，Upsample表示上采样层。
步骤B14：构建基于Transformer的多任务恢复和增强子网络，通过整合头部、身体部分和尾部。该网络由头部、身体部分和尾部组成，网络输入依次通过头部、身体部分和尾部得到输出结果，多任务之间共享身体部分的参数，不共享头部和尾部的参数。具体来说，将步骤B11中提到的损坏图像
Figure BDA0003743979050000056
输入头部，由步骤B11得到输出特征图
Figure BDA0003743979050000057
将
Figure BDA0003743979050000058
输入身体部分，由步骤B12得到输出特征图Fo；将Fo输入尾部，由步骤B13得到输出图像
Figure BDA0003743979050000059
进一步地，所述步骤C包括以下步骤：
步骤C1：设计多尺度浅层特征提取子网络，网络的输入为步骤A3得到的低照度图像数据集中的低照度图像块Iin，经过ResNet三个阶段的特征提取后，得到三个不同尺度的特征
Figure BDA00037439790500000510
Figure BDA00037439790500000511
加上原始尺度得到的特征
Figure BDA00037439790500000512
共得到四个尺度的浅层特征，其中第一尺度到第四尺度依次变大，计算方式如下：
Figure BDA00037439790500000513
Figure BDA00037439790500000514
其中，Iin表示输入低照度图像块，
Figure BDA00037439790500000515
表示第i个尺度的输出低照度图像浅层特征，f4-i表示ResNet的第4-i个阶段的操作。
步骤C2：设计多尺度特征融合子网络，网络由四个分支组成，四个分支的输入特征图为步骤C1的输出特征图
Figure BDA00037439790500000516
分支序号越大尺度越大，每一分支的输入特征均先经过一层1×1卷积层变换到相同的通道数，记为特征Fi,i＝1,2,3,4，然后再进行特征融合，特征融合后各分支的特征图均由特征融合前每个分支的特征图Fi经过尺度变换后相加得到，这是因为融合前后分支的尺度不同，所以在变换过程中需要经过上采样操作或步长为2的卷积操作变换到第某分支的尺度后进行相加操作。特征融合后第j个分支得到的特征图为
Figure BDA00037439790500000517
融合过程如下：
Figure BDA0003743979050000061
Figure BDA0003743979050000062
Figure BDA0003743979050000063
其中，Conv1表示步长为1的1×1卷积，a(Fi,j)表示Fi从第i尺度转换成第j尺度后得到的特征图，
Figure BDA0003743979050000064
表示上采样层，把特征图的大小扩大2j-i倍，(Conv3)i-j表示i-j个步长为2的3×3卷积。
步骤C3：设计基于Transformer的低照度图像特征增强子网络，该网络的输入为步骤C2中第一分支的输出特征图
Figure BDA0003743979050000065
输出特征图由输入特征图与输入特征图经过步骤B中的基于Transformer的多任务恢复和增强子网络后得到的特征图相加得到，计算方式如下：
Figure BDA0003743979050000066
其中，
Figure BDA0003743979050000067
表示将特征图
Figure BDA0003743979050000068
送入步骤B中得到的基于Transformer的多任务恢复和增强子网络的身体部分后得到的特征图。
步骤C4：设计多尺度低照度图像增强子网络，网络由三个分支组成，每个分支均包含注意力模块和色彩校正模块，注意力模块由通道注意力模块和空间注意力模块两个并行分支组成。
步骤C5：设计基于Transformer的多尺度优化低照度图像增强网络，通过整合多尺度浅层特征提取子网络、多尺度特征融合子网络、基于Transformer的低照度图像特征增强子网络、多尺度低照度图像增强子网络组成。输入低照度图像块Iin首先进入步骤C1中的多尺度浅层特征提取子网络，得到四个尺度的浅层特征
Figure BDA0003743979050000069
第一到第四尺度依次变大；然后进入步骤C2中的多尺度特征融合子网络，得到融合后四个尺度的特征
Figure BDA00037439790500000610
再把
Figure BDA00037439790500000611
输入步骤C3中基于Transformer的低照度图像特征增强子网络，得到第一个尺度的输出增强图像特征tout；把
Figure BDA00037439790500000612
和tout输入步骤C4中多尺度低照度图像增强子网络，其中
Figure BDA00037439790500000613
和tout输入多尺度低照度图像增强子网络的第1分支；
Figure BDA00037439790500000614
和
Figure BDA00037439790500000615
分别输入第2和3分支，得到每个分支增强后的不同尺度图像块
Figure BDA00037439790500000616
其中，第三个分支得到的增强图像块R为整个网络最终的增强结果。
进一步地，所述步骤C4包括以下步骤：
步骤C41：设计通道注意力模块，设输入特征图为Fatt，依次通过卷积层、层标准化、激活函数、卷积层、层标准化得到
Figure BDA0003743979050000071
后，分成两个分支，一个分支执行空间的全局平均池化得到尺度为1×1×C的向量后与Fch1相乘，再经过卷积、激活函数、卷积得到
Figure BDA0003743979050000072
另一个分支执行空间的全局最大池化得到尺度为1×1×C的向量后与Fch1相乘，再经过卷积、激活函数、卷积得到
Figure BDA0003743979050000073
将Fch11与Fch12相加，通过Sigmoid激活函数后得到尺度为H×W×C的特征图在每个像素点上的权重，使用该权重和Fch相乘后得到通道注意力模块的输出特征图Och。计算过程表示如下：
Fch1＝LN(Conv3(ReLU(LN(conv3(Fatt)))))
Fch＝Fch1
Fch11＝Conv1(ReLU(Conv1(Fch1×AvgPoolings(Fch1))))
Fch12＝Conv1(ReLU(Conv1(Fch1×MaxPoolings(Fch1))))
Och＝Fch×Sigmoid(Fch11+Fch12)
其中，Och表示输入的特征图Fatt经过通道注意力模块后得到输出特征图，Fch1表示通过卷积层、层标准化、激活函数、卷积层、层标准化后的特征图，Conv3表示步长为1的3×3卷积，LN表示层标准化，ReLU是激活函数，Fch11是空间的全局平均池化分支得到的特征图，Fch12表示空间的全局最大池化分支得到的特征图，Conv1是1×1卷积，用于升维和降维，AvgPoolings是全局平均池化，MaxPoolings是全局最大池化，Sigmoid表示Sigmoid激活函数。
步骤C42：设计空间注意力模块，空间注意力模块的输入与通道注意力模块相同，因此空间注意力模块输入特征图也为Fatt，输入特征图通过卷积层、批标准化、激活函数、卷积层、批标准化得到
Figure BDA0003743979050000074
后，分成两个分支，一个分支执行通道维度的平均池化后得到尺度为H×W×1的向量，再与Fsp1相乘得到
Figure BDA0003743979050000075
另一个分支执行通道维度的最大池化得到尺度为H×W×1的向量，再与
Figure BDA0003743979050000076
相乘得到
Figure BDA0003743979050000077
将Fsp11与Fsp12在通道维度拼接后，使用1x1卷积将通道数降为C，再通过Sigmoid激活函数得到尺度为H×W×C的特征图在每个像素点上的权重，使用该权重和Fsp相乘后得到空间注意力模块的输出。计算过程表示如下：
Fsp1＝BNConv3(ReLU(BN(Conv3(Fatt)))))
Fsp＝Fsp1
Fsp11＝Fsp1×AvgPoolingc(Fsp1)
Fsp12＝Fsp1×MaxPoolingc(Fsp1)
Osp＝Fsp×Sigmoid(Conv1(Concat(Fsp11，Fsp12)))
其中，Osp表示输入的特征图Fatt经过空间注意力模块后得到输出特征图，Fsp1表示通过卷积层、批标准化、激活函数、卷积层、批标准化后的特征图，Conv3表示步长为1的3×3卷积，BN表示批标准化，ReLU是激活函数，Fsp11是通道的平均池化分支得到的特征图，Fsp12表示通道的最大池化分支得到的特征图，AvgPoolingc是通道维度的平均池化，MaxPoolingc是通道维度的最大池化，Sigmoid表示Sigmoid激活函数。
步骤C43：设计注意力模块，整合通道注意力模块和空间注意力模块。注意力模块由通道注意力模块和空间注意力模块两个并行模块组成。具体来说，设注意力模块的输入特征图为Fatt，将步骤C41得到的通道注意力模块的输出Och和步骤C42得到的空间注意力模块的输出Osp通过通道维度拼接，然后经过步长为1的3×3卷积后再与Fatt相加，得到注意力模块的输出特征图Oatt。表示如下：
Oatt＝Fatt+Conv3(Concat(Och，Osp))
步骤C44：设计色彩校正模块，设色彩校正模块的输入为Fcolor，输入特征首先经过平均池化层，之后依次经过1×1卷积、激活函数、1×1卷积、激活函数、1×1卷积进行降维和升维，再经过两倍的最近邻上采样后与Fcolor沿通道维度拼接，之后送入SE模块，再通过步长为1的1×1卷积调整通道数后输出经过色彩校正的特征图Ocolor。计算方式如下：
Fc＝Upsample(Conv1(ReLU(Conv1(ReLU(Conv1(AvgPooling(Fcolor)))))))
SE(y)＝y×Sigmoid(Conv1(ReLU(Conv1(AvgPooling(y)))))
Ocolor＝Conv1(SE(concat(Fc，Fcolor)))
其中，Fc和Ocolor分别表示色彩校正模块的中间特征图和输出特征图，SE(·)表示SE模块，y为SE模块的输入，Conv1表示步长为1的1×1卷积，ReLU表示激活函数，Sigmoid表示Sigmoid激活函数。
步骤C45：设计多尺度的低照度图像增强子网络，该子网络由三个分支组成，每个分支网络结构相同，依次包含1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和2个3*3卷积层，第一到第三分支尺度依次变大。网络第一分支的输入为由步骤C3得到的输出特征图tout反卷积后与步骤C2中得到的输出特征图
Figure BDA0003743979050000091
拼接得到的特征图，依次经过1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图
Figure BDA0003743979050000092
网络第二分支的输入为第一分支的输出特征
Figure BDA0003743979050000093
反卷积后与步骤C2中得到的输出特征图
Figure BDA0003743979050000094
拼接得到的特征图，依次经过1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图
Figure BDA0003743979050000095
网络第三分支的输入为第二分支的输出特征
Figure BDA0003743979050000096
反卷积后与步骤C2中得到的输出特征图
Figure BDA0003743979050000097
拼接得到的特征图，依次经过1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图
Figure BDA0003743979050000098
各分支的输出特征图
Figure BDA0003743979050000099
经过步长为1的3×3卷积后，与由步骤C1中输入低照度图像块Iin缩放为与该分支对应尺度一致的图像块
Figure BDA00037439790500000910
相加，得到分支对应尺度的增强图像块
Figure BDA00037439790500000911
用于后续计算损失函数。第三个分支得到的增强图像块
Figure BDA00037439790500000912
为整个网络最终的增强结果R。计算方式如下：
Figure BDA00037439790500000913
Figure BDA00037439790500000914
Figure BDA00037439790500000915
Figure BDA00037439790500000916
Figure BDA00037439790500000917
其中，
Figure BDA00037439790500000918
表示第i分支输出的特征图，deconv表示反卷积操作，Ffi表示第i分支未经过步骤C44中色彩校正模块前的特征图，Conv3表示步长为1的3×3卷积，lrelu表示LeakyRelu激活函数，Atten表示步骤C43中的注意力模块，Concat表示按通道维度拼接，Color表示步骤C44中的色彩校正模块。
Figure BDA0003743979050000101
表示第i个分支得到的第i个尺度的增强图像块，
Figure BDA0003743979050000102
表示由输入低照度图像块缩放为与分支i对应尺度一致的图像块，Resizei表示把图像块缩放为分支i对应的尺度大小，R表示网络最终输出的增强图像块。
进一步地，所述步骤D实现如下：
设计网络的目标损失函数，网络的总目标损失函数如下：
Figure BDA0003743979050000103
其中，R为步骤C中设计的基于Transformer的多尺度优化低照度图像增强网络的最终输出结果，G为对应标签图像块，||·||1表示L1损失，Resize2表示把图像块缩放为步骤C4中多尺度低照度图像增强子网络第二分支对应尺度的大小，Resize1表示把图像块缩放为步骤C4中多尺度低照度图像增强子网络第一分支对应尺度的大小。
进一步地，所述步骤E实现如下：
将配对的低照度图像块和对应的标签图像块随机划分为若干个批次，每个批次包含N对图像块，将低照度图像块输入步骤C设计的基于Transformer的多尺度优化低照度图像增强网络模型中，对最终输出的增强图像块和各分支输出的图像块分别与对应尺度标签图像块计算步骤D中设计的损失，根据损失使用反向传播方法计算网络中参数的梯度，并利用随机梯度下降方法更新网络参数。
进一步地，所述步骤F包括以下步骤：
步骤F1：将低照度图像在高度和宽度方向按照步距q/2从左上方开始切块，每个图像块切成与训练时图像块一样的大小，即q×q×c；
步骤F2：依次将步骤F1切出的图像块输入训练好的图像增强网络，输出增强后的图像块；
步骤F3：将步骤F2中的增强图像块按照步骤F1中切块的顺序进行拼接，得到最终的低照度图像增强结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (9)

1.一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，包括如下步骤：
步骤A、将数据进行数据预处理，首先将数据进行配对处理，接着对其做数据切块、数据增强处理；
步骤B、构建基于Transformer的多任务恢复和增强子网络，该网络由头部、身体部分和尾部组成，使用多任务数据集预训练并使用合成低照度图像数据集微调；
步骤C、设计基于Transformer的多尺度优化低照度图像增强网络，该网络由多尺度浅层特征提取子网络、多尺度特征融合子网络、基于Transformer的低照度图像特征增强子网络和多尺度低照度图像增强子网络组成；
步骤D、根据网络结构设计损失函数，指导网络模型的参数优化；
步骤E、用图像块数据训练网络，优化网络模型参数，收敛到平衡状态；
步骤F、将低照度图像进行切块处理，然后将图像块分别输入训练好的图像增强网络，得到相应增强后的图像块后，将图像块拼接成增强后的完整图像。
2.根据权利要求1所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤A具体实现步骤如下：
步骤A1、将真实低照度图像与对应的标签图像进行配对处理；
步骤A2、将所有的真实低照度图像都进行不同的三次随机切块处理，对真实低照度图像I的配对标签图像也进行与其相同的切块处理方式；随机切块过程如下：设给定真实低照度图像I，图像尺寸为h×w×3，裁切出的图像块的尺寸均为q×q×3，其中，h、w分别表示真实低照度图像I的高度和宽度，q表示裁切出的图像块的高度和宽度；
步骤A3、对配对图像块实施相同的随机水平翻转、垂直翻转、旋转操作进行数据增强，得到真实低照度图像数据集；
步骤A4、分别对噪声图像和标签图像、水下图像和标签图像、低分辨率图像和标签图像、合成低照度图像和标签图像，采用步骤A1至A3相同的方式进行预处理，得到噪声图像数据集、水下图像数据集、低分辨率图像数据集、合成低照度图像数据集。
3.根据权利要求2所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤B具体实现步骤如下：
步骤B1、构建基于Transformer的多任务恢复和增强子网络，该网络由头部、身体部分和尾部组成，网络输入依次通过头部、身体部分和尾部得到输出结果，任务之间共享身体部分的参数，不共享头部和尾部的参数；
步骤B2、使用多任务数据集预训练步骤B1中构建的基于Transformer的多任务恢复和增强子网络，使用网络目标损失函数来优化模型参数，这里使用L1损失，计算方式如下：
Figure FDA0003743979040000021
其中，
Figure FDA0003743979040000022
表示第i个任务的损坏图像，
Figure FDA0003743979040000023
表示输入为
Figure FDA0003743979040000024
时基于Transformer的多任务恢复和增强子网络得到的结果，Igt表示损坏图像
Figure FDA0003743979040000025
对应的标签图像，||·||1表示L1损失，n表示n个任务，包括图像去噪、水下图像增强、图像超分辨率、合成低照度图像增强；
在训练过程中，每个批次随机从除合成低照度图像增强任务之外的n-1个任务中选择一个训练，每个批次包含相同数量的从步骤A4构建的相应数据集中随机抽取的损坏图像和标签图像对，将损坏图像输入步骤B1构建的基于Transformer的多任务恢复和增强子网络中，得到结果图像；根据网络的目标损失函数，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新网络的参数，直至迭代次数达到阈值，保存训练好的模型，完成网络训练过程；
步骤B3、使用合成低照度图像数据集微调步骤B2中得到的网络模型参数；加载B2中预训练得到的网络模型作为预训练模型，作为接下来微调网络参数过程的初始网络参数；每个批次中从合成低照度图像数据集中随机抽取相同数量的合成低照度图像，输入B1构建的基于Transformer的多任务恢复和增强子网络中，得到增强图像；根据网络的目标损失函数，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新网络的参数，直至迭代次数达到阈值，保存训练好的模型，完成网络训练过程；最终得到基于Transformer的多任务恢复和增强子网络的模型参数，该模型将在后续步骤中作为预训练模型。
4.根据权利要求3所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤B1具体实现步骤如下：
步骤B11、构建头部结构，每个任务的头部结构由一个卷积层和两个残差结构组成，第i个任务的损坏图像
Figure FDA0003743979040000026
经过头部结构后，得到输出特征图
Figure FDA0003743979040000027
计算过程如下：
Resi(x)＝Convi(ReLU(Convi(x)))+x，i＝1，2，…n
Figure FDA0003743979040000028
其中，i表示第i个任务，n表示共有n个任务，Resi(·)表示第i个任务对应的残差结构，x为残差结构的输入，Convi表示第i个任务对应的卷积层，ReLU为激活函数；
步骤B12、构建身体部分结构，身体部分采用Vision Transformer的编码解码器结构；所有任务对应的身体部分参数共享、结构相同，因此对不同任务图像经过头部得到的特征图做同样的处理，这里把
Figure FDA0003743979040000031
统一记作Fcorrupted；首先把头部得到的特征图
Figure FDA0003743979040000032
Figure FDA0003743979040000033
分解成一系列的块
Figure FDA0003743979040000034
P是块的大小，为每一个块加入可学习的位置编码
Figure FDA0003743979040000035
后，送入Transformer编码器；同样地，经过Transformer解码器后得到一系列的块输出
Figure FDA0003743979040000036
再将N个块输出
Figure FDA0003743979040000037
重组成特征图
Figure FDA0003743979040000038
步骤B13、构建尾部结构，与头部结构相同，尾部采用多尾结构适应不同的任务，超分辨率任务的尾部由一个卷积层和一个上采样层组成，其他任务的尾部均由一个卷积层组成，输入为身体部分得到的特征图Fo，输出为结果图像
Figure FDA0003743979040000039
计算方式如下：
Figure FDA00037439790400000310
其中，i表示第i个任务，n表示共有n个任务，第n个任务为超分辨率任务，Convi表示第i个任务对应的卷积层，Upasample表示上采样层；
步骤B14、构建基于Transformer的多任务恢复和增强子网络，通过整合头部、身体部分和尾部；网络输入依次通过头部、身体部分和尾部得到输出结果，多任务之间共享身体部分的参数，不共享头部和尾部的参数；即将步骤B11中提到的损坏图像
Figure FDA00037439790400000311
输入头部，由步骤B11得到输出特征图
Figure FDA00037439790400000312
将
Figure FDA00037439790400000313
输入身体部分，由步骤B12得到输出特征图Fo；将Fo输入尾部，由步骤B13得到输出图像
Figure FDA00037439790400000314
5.根据权利要求2所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤C具体实现步骤如下：
步骤C1、设计多尺度浅层特征提取子网络，网络的输入为步骤A3得到的真实低照度图像数据集中的真实低照度图像块Iin，经过ResNet三个阶段的特征提取后，得到三个不同尺度的特征
Figure FDA00037439790400000315
加上原始尺度得到的特征
Figure FDA00037439790400000316
共得到四个尺度的浅层特征，其中第一尺度到第四尺度依次变大，计算方式如下：
Figure FDA00037439790400000317
Figure FDA00037439790400000318
其中，Iin表示输入真实低照度图像块，
Figure FDA00037439790400000319
表示第i个尺度的输出真实低照度图像浅层特征，f4-i表示ResNet的第4-i个阶段的操作；
步骤C2、设计多尺度特征融合子网络，网络由四个分支组成，四个分支的输入特征图为步骤C1的输出特征图
Figure FDA0003743979040000041
分支序号越大尺度越大，每一分支的输入特征均先经过一层1×1卷积层变换到相同的通道数，记为特征Fi,i＝1,2,3,4，然后再进行特征融合，特征融合后各分支的特征图均由特征融合前每个分支的特征图Fi经过尺度变换后相加得到，这是因为融合前后分支的尺度不同，所以在变换过程中需要经过上采样操作或步长为2的卷积操作变换到第某分支的尺度后进行相加操作；特征融合后第j个分支得到的特征图为
Figure FDA0003743979040000042
融合过程如下：
Figure FDA0003743979040000043
Figure FDA0003743979040000044
Figure FDA0003743979040000045
其中，Conv1表示步长为1的1×1卷积，a(Fi,j)表示Fi从第i尺度转换成第j尺度后得到的特征图，
Figure FDA0003743979040000046
表示上采样层，把特征图的大小扩大2j-i倍，(Conv3)i-j表示i-j个步长为2的3×3卷积；
步骤C3、设计基于Transformer的低照度图像特征增强子网络，该网络的输入为步骤C2中第一分支的输出特征图
Figure FDA0003743979040000047
输出特征图由输入特征图与输入特征图经过步骤B中的基于Transformer的多任务恢复和增强子网络后得到的特征图相加得到，计算方式如下：
Figure FDA0003743979040000048
其中，
Figure FDA0003743979040000049
表示将特征图
Figure FDA00037439790400000410
送入步骤B中得到的基于Transformer的多任务恢复和增强子网络的身体部分后得到的特征图；
步骤C4、设计多尺度低照度图像增强子网络，网络由三个分支组成，每个分支均包含注意力模块和色彩校正模块，注意力模块由通道注意力模块和空间注意力模块两个并行分支组成；
步骤C5、设计基于Transformer的多尺度优化低照度图像增强网络，通过整合多尺度浅层特征提取子网络、多尺度特征融合子网络、基于Transformer的低照度图像特征增强子网络、多尺度低照度图像增强子网络组成；输入低照度图像块Iin首先进入步骤C1中的多尺度浅层特征提取子网络，得到四个尺度的浅层特征
Figure FDA00037439790400000411
第一到第四尺度依次变大；然后进入步骤C2中的多尺度特征融合子网络，得到融合后四个尺度的特征
Figure FDA00037439790400000412
再把
Figure FDA00037439790400000413
输入步骤C3中基于Transformer的低照度图像特征增强子网络，得到第一个尺度的输出增强图像特征tout；把
Figure FDA0003743979040000051
和tout输入步骤C4中多尺度低照度图像增强子网络，其中
Figure FDA0003743979040000052
和tout输入多尺度低照度图像增强子网络的第1分支；
Figure FDA0003743979040000053
和
Figure FDA0003743979040000054
分别输入第2和3分支，得到每个分支增强后的不同尺度图像块
Figure FDA0003743979040000055
其中，第三个分支得到的增强图像块R为整个网络最终的增强结果。
6.根据权利要求5所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤C4具体实现步骤如下：
步骤C41、设计通道注意力模块，设输入特征图为Fatt，依次通过卷积层、层标准化、激活函数、卷积层、层标准化得到
Figure FDA0003743979040000056
后，分成两个分支，一个分支执行空间的全局平均池化得到尺度为1×1×C的向量后与Fch1相乘，再经过卷积、激活函数、卷积得到
Figure FDA0003743979040000057
另一个分支执行空间的全局最大池化得到尺度为1×1×C的向量后与Fch1相乘，再经过卷积、激活函数、卷积得到
Figure FDA0003743979040000058
将Fch11与Fch12相加，通过Sigmoid激活函数后得到尺度为H×W×C的特征图在每个像素点上的权重，使用该权重和Fch相乘后得到通道注意力模块的输出特征图Och；计算过程表示如下：
Fch1＝LN(Conv3(ReLU(LN(Conv3(Fatt)))))
Fch＝Fch1
Fch11＝Conv1(ReLU(Conv1(Fch1×AvgPoolings(Fch1))))
Fch12＝Conv1(ReLU(Conv1(Fch1×MaxPoolings(Fch1))))
Och＝Fch×Sigmoid(Fch11+Fch12)
其中，Och表示输入的特征图Fatt经过通道注意力模块后得到输出特征图，Fch1表示通过卷积层、层标准化、激活函数、卷积层、层标准化后的特征图，Conv3表示步长为1的3×3卷积，LN表示层标准化，ReLN是激活函数，Fch11是空间的全局平均池化分支得到的特征图，Fch12表示空间的全局最大池化分支得到的特征图，Conv1是1×1卷积，用于升维和降维，AvgPoolings是全局平均池化，MaxPoolings是全局最大池化，Sigmoid表示Sigmoid激活函数；
步骤C42、设计空间注意力模块，空间注意力模块的输入与通道注意力模块相同，因此空间注意力模块输入特征图也为Fat，输入特征图通过卷积层、批标准化、激活函数、卷积层、批标准化得到
Figure FDA0003743979040000059
后，分成两个分支，一个分支执行通道维度的平均池化后得到尺度为H×W×1的向量，再与Fsp1相乘得到
Figure FDA0003743979040000061
另一个分支执行通道维度的最大池化得到尺度为H×W×1的向量，再与Fsp1相乘得到
Figure FDA0003743979040000062
将Fsp11与Fsp12在通道维度拼接后，使用1x1卷积将通道数降为C，再通过Sigmoid激活函数得到尺度为H×W×C的特征图在每个像素点上的权重，使用该权重和Fsp相乘后得到空间注意力模块的输出；计算过程表示如下：
Fsp1＝BN(Conv3(ReLU(BN(Conv3(Fatt)))))
Fsp＝Fsp1
Fsp11＝Fsp1×AvgPoolingc(Fsp1)
Fsp12＝Fsp1×MaxPoolingc(Fsp1)
Osp＝Fsp×Sigmoid(Conv1(Concat(Fsp 11，Fsp 12)))
其中，Osp表示输入的特征图Fatt经过空间注意力模块后得到输出特征图，Fsp1表示通过卷积层、批标准化、激活函数、卷积层、批标准化后的特征图，Conv3表示步长为1的3×3卷积，BN表示批标准化，ReLU是激活函数，Fsp11是通道的平均池化分支得到的特征图，Fsp12表示通道的最大池化分支得到的特征图，AvgPoolingc是通道维度的平均池化，MaxPoolingc是通道维度的最大池化，Sigmoid表示Sigmoid激活函数；
步骤C43、设计注意力模块，整合通道注意力模块和空间注意力模块；注意力模块由通道注意力模块和空间注意力模块两个并行模块组成；具体来说，设注意力模块的输入特征图为Fatt，将步骤C41得到的通道注意力模块的输出Och和步骤C42得到的空间注意力模块的输出Osp通过通道维度拼接，然后经过步长为1的3×3卷积后再与Fatt相加，得到注意力模块的输出特征图Oatt；表示如下：
Oatt＝Fatt+Conv3(Concat(Och，Osp))
步骤C44、设计色彩校正模块，设色彩校正模块的输入为Fcolor，输入特征首先经过平均池化层，之后依次经过1×1卷积、激活函数、1×1卷积、激活函数、1×1卷积进行降维和升维，再经过两倍的最近邻上采样后与Fcolor沿通道维度拼接，之后送入SE模块，再通过步长为1的1×1卷积调整通道数后输出经过色彩校正的特征图Ocolor；计算方式如下：
Fc＝Upsample(Conv1(ReLU(Conv1(ReLU(Conv1(AvgPooling(Fcolor)))))))
SE(y)＝y×Sigmoid(Conv1(ReLU(Conv1(AvgPooling(y)))))
Ocolor＝Conv1(SE(Concat(Fc，Fcolor)))
其中，Fc和Ocolor分别表示色彩校正模块的中间特征图和输出特征图，SE(·)表示SE模块，y为SE模块的输入，Conv1表示步长为1的1×1卷积，ReLU表示激活函数，Sigmoid表示Sigmoid激活函数；
步骤C45、设计多尺度低照度图像增强子网络，该子网络由三个分支组成，每个分支网络结构相同，依次包含1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和2个3*3卷积层，第一到第三分支尺度依次变大；网络第一分支的输入为由步骤C3得到的输出特征图tout反卷积后与步骤C2中得到的输出特征图
Figure FDA0003743979040000071
拼接得到的特征图，依次经过1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图
Figure FDA0003743979040000072
网络第二分支的输入为第一分支的输出特征
Figure FDA0003743979040000073
反卷积后与步骤C2中得到的输出特征图
Figure FDA0003743979040000074
拼接得到的特征图，依次经过1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图
Figure FDA0003743979040000075
网络第三分支的输入为第二分支的输出特征
Figure FDA0003743979040000076
反卷积后与步骤C2中得到的输出特征图
Figure FDA0003743979040000077
拼接得到的特征图，依次经过1个3*3卷积层、注意力模块、1个3*3卷积层、一个ReLU激活函数、色彩校正模块和1个3*3卷积层后输出特征图
Figure FDA0003743979040000078
各分支的输出特征图
Figure FDA0003743979040000079
经过步长为1的3×3卷积后，与由步骤C1中输入低照度图像块Iin缩放为与该分支对应尺度一致的图像块
Figure FDA00037439790400000710
相加，得到分支对应尺度的增强图像块
Figure FDA00037439790400000711
用于后续计算损失函数；第三个分支得到的增强图像块
Figure FDA00037439790400000712
为整个网络最终的增强结果R；计算方式如下：
Figure FDA00037439790400000713
Figure FDA00037439790400000714
Figure FDA00037439790400000715
Figure FDA0003743979040000081
Figure FDA0003743979040000082
其中，
Figure FDA0003743979040000083
表示第i分支输出的特征图，deconv表示反卷积操作，Ffi表示第i分支未经过步骤C44中色彩校正模块前的特征图，Conv3表示步长为1的3×3卷积，lrelu表示LeakyRelu激活函数，Atten表示步骤C43中的注意力模块，Concat表示按通道维度拼接，Color表示步骤C44中的色彩校正模块；
Figure FDA0003743979040000084
表示第i个分支得到的第i个尺度的增强图像块，
Figure FDA0003743979040000085
表示由输入低照度图像块缩放为与分支i对应尺度一致的图像块，Resizei表示把图像块缩放为分支i对应的尺度大小，R表示网络最终输出的增强图像块。
7.根据权利要求1所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤D具体实现方式为：
设计网络的目标损失函数，网络的总目标损失函数如下：
Figure FDA0003743979040000086
其中，R为步骤C中设计的基于Transformer的多尺度优化低照度图像增强网络的最终输出结果，G为对应标签图像块，||.||1表示L1损失，Resize2表示把图像块缩放为步骤C4中多尺度低照度图像增强子网络第二分支对应尺度的大小，Resize1表示把图像块缩放为步骤C4中多尺度低照度图像增强子网络第一分支对应尺度的大小。
8.根据权利要求1所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤E具体实现方式为：
将配对的低照度图像块和对应的标签图像块随机划分为若干个批次，每个批次包含N对图像块，将低照度图像块输入步骤C设计的基于Transformer的多尺度优化低照度图像增强网络模型中，对最终输出的增强图像块和各分支输出的图像块分别与对应尺度标签图像块计算步骤D中设计的损失，根据损失使用反向传播方法计算网络中参数的梯度，并利用随机梯度下降方法更新网络参数。
9.根据权利要求1所述的一种基于Transformer的多尺度优化低照度图像增强方法，其特征在于，所述步骤F具体实现步骤如下：
步骤F1、将低照度图像在高度和宽度方向按照步距q/2从左上方开始切块，每个图像块切成与训练时图像块一样的大小，即q×q×c；
步骤F2、依次将步骤F1切出的图像块输入训练好的图像增强网络，输出增强后的图像块；
步骤F3、将步骤F2中的增强图像块按照步骤F1中切块的顺序进行拼接，得到最终的低照度图像增强结果。
CN202210828621.3A 2022-07-13 2022-07-13 一种基于Transformer的多尺度优化低照度图像增强方法 Pending CN115205147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210828621.3A CN115205147A (zh) 2022-07-13 2022-07-13 一种基于Transformer的多尺度优化低照度图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210828621.3A CN115205147A (zh) 2022-07-13 2022-07-13 一种基于Transformer的多尺度优化低照度图像增强方法

Publications (1)

Publication Number Publication Date
CN115205147A true CN115205147A (zh) 2022-10-18

Family

ID=83581966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210828621.3A Pending CN115205147A (zh) 2022-07-13 2022-07-13 一种基于Transformer的多尺度优化低照度图像增强方法

Country Status (1)

Country Link
CN (1) CN115205147A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051428A (zh) * 2023-03-31 2023-05-02 南京大学 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN116137023A (zh) * 2023-04-20 2023-05-19 中国民用航空飞行学院 基于背景建模和细节增强的低照度图像增强方法
CN116152117A (zh) * 2023-04-18 2023-05-23 煤炭科学研究总院有限公司 一种基于Transformer的井下低光照图像增强方法
CN116363009A (zh) * 2023-03-31 2023-06-30 哈尔滨工业大学 基于有监督学习的快速轻量化低照度图像增强方法及系统
CN116740414A (zh) * 2023-05-15 2023-09-12 中国科学院自动化研究所 图像识别方法、装置、电子设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051428A (zh) * 2023-03-31 2023-05-02 南京大学 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN116363009A (zh) * 2023-03-31 2023-06-30 哈尔滨工业大学 基于有监督学习的快速轻量化低照度图像增强方法及系统
CN116363009B (zh) * 2023-03-31 2024-03-12 哈尔滨工业大学 基于有监督学习的快速轻量化低照度图像增强方法及系统
CN116152117A (zh) * 2023-04-18 2023-05-23 煤炭科学研究总院有限公司 一种基于Transformer的井下低光照图像增强方法
CN116137023A (zh) * 2023-04-20 2023-05-19 中国民用航空飞行学院 基于背景建模和细节增强的低照度图像增强方法
CN116740414A (zh) * 2023-05-15 2023-09-12 中国科学院自动化研究所 图像识别方法、装置、电子设备和存储介质
CN116740414B (zh) * 2023-05-15 2024-03-01 中国科学院自动化研究所 图像识别方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN115205147A (zh) 一种基于Transformer的多尺度优化低照度图像增强方法
CN112233026A (zh) 一种基于多尺度残差注意力网络的sar图像去噪方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN112184577A (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN113902658B (zh) 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112614061A (zh) 基于双路编解码器的低照度图像亮度增强及超分辨率方法
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN113902622A (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN114399440A (zh) 图像处理方法、图像处理网络训练方法、装置及电子设备
CN113436101B (zh) 基于高效通道注意力机制的龙格库塔模块去雨的方法
CN113129300A (zh) 一种降低误检率的排水管道缺陷检测方法、装置、设备及介质
CN116823610A (zh) 一种基于深度学习的水下图像超分辨率生成方法和系统
Wang et al. Fully non-homogeneous atmospheric scattering modeling with convolutional neural networks for single image dehazing
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN114638761B (zh) 一种高光谱图像全色锐化方法、设备及介质
CN110930314A (zh) 图像条带噪声抑制方法及其装置、电子设备、存储介质
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination