CN112419171A - 一种多残差块条件生成对抗网络的图像复原方法 - Google Patents
一种多残差块条件生成对抗网络的图像复原方法 Download PDFInfo
- Publication number
- CN112419171A CN112419171A CN202011177381.2A CN202011177381A CN112419171A CN 112419171 A CN112419171 A CN 112419171A CN 202011177381 A CN202011177381 A CN 202011177381A CN 112419171 A CN112419171 A CN 112419171A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- residual block
- generation
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000002238 attenuated effect Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种多残差块条件生成对抗网络的图像复原方法，属于输电线路遥感图像处理技术领域。针对遥感图像运动模糊导致输电杆塔结构特征发生改变的问题，使用条件生成对抗网络（CGAN）模型，模型中使用多残差块结构和渐变惩罚判别网络，优化参数，然后应用运动模糊数据集对网络权值文件进行训练，最后实现含有清晰输电杆塔的遥感图像运动模糊的去除，获得遥感复原图像。本发明方法采用深度学习方法实现图像复原，具有便捷、高效、特征学习能力强、网络设计自由度高的特点，能够有效去除遥感图像中的运动模糊，保证复原的图像的色彩信息、细节信息和纹理信息。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种多残差块条件生成对抗网络 的图像复原方法。
背景技术
在图像获取过程中，运动模糊、散焦、噪声等因素都会降低图像质量，导 致了获取的图像不能直接利用。图像复原作为图像处理领域中一个重要的分支， 是根据降质图像的降质模型来建立复原模型，恢复高质量的清晰图像，节约了 图像重复获取的成本，同时也便于图像信息的提取和利用，克服了由于外界环 境和成像设备自身原因所带来的一系列问题。
现有的图像复原方法主要分为两大类，一类为经典的图像复原方法，一类 为基于学习的图像复原方法。经典的图像复原方法有约束最小二乘 Richardson-Lucy算法(参考：Richardson W H.Bayesian-Based Iterative Method of Image Restoration[J].Journal of the Optical Society of America (1917-1983),1972,62(1):55-59.)、最大似然估计盲复原(参考：Harikumar G, Bresler Y.Perfect Blind Restoration ofImages Blurred by Multiple Filters:theory and Efficient Algorithms[J].IEEETransactions on Image Processing,1999,8(2):202-219.)等，这些方法先对模糊函数进行估计，通过将模 糊函数和模糊图像做卷积运算，得到复原图像。对于经典的图像复原方法的研 究，很多都是基于数学和物理的方法来进行研究。基于学习的图像复原算法可 以通过机器学习的方法来模拟复杂的数理模型，不依赖降质系统传递函数的特 性，其研究价值和应用价值更高。到现在为止，大多数基于学习的图像复原算 法都基本能够解决图像复原问题，而且复原效果较好。例如使用FCN的图像复 原(参考：Gong D,Yang J,Liu L,etal.From Motion Blur to Motion Flow:A Deep Learning Solution for RemovingHeterogeneous Motion Blur[C]//IEEE Conference on Computer Vision and PatternRecognition.2017:3806-3815.3.)、多尺度卷积神 经网络的图像复原(参考：Nah S,HyunKim T,Mu Lee K.Deep Multi-Scale Convolutional Neural Network for DynamicScene Deblurring[C]//Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition,2017:3883-3891.)等。随着深度学习在机器学习领域取得的卓越成 果，使得图像处理技术达到了一个很高的高度，尤其是在自然图像复原和图像 超分辨率领域应用较为广泛。
在目前的学习算法中，对于网络结构、参数(学习率、参数初始化、权值 衰减系数和Dropout参数等)的设定是很难确定的，并且这些参数对于训练深层 神经网络是至关重要的。处理自然图像的较多，在遥感图像复原方面的实验验 证较少，自然图像和遥感图像在成像内容和地物特征方面还是有很多差异的， 自然图像复原算法不能直接应用于遥感图像处理。同时，考虑到输电杆塔形状、 高度以及结构特征等均存在一定的差异性，杆塔的周边环境也复杂多变，某些 杆塔建造于辽阔的平原的地区，某些则位于崎岖陡峭的山地，导致在平原地区 的杆塔形状清晰可见，而在山区的杆塔其形状则相对模糊，受背景影响较大， 给影像后续处理带来了一定难度。因此如何克服现有技术的不足是目前图像处 理技术领域亟需解决的问题。
发明内容
本发明的目的在于针对含有输电杆塔的遥感图像运动模糊问题，提出一种 多残差块条件生成对抗网络的图像复原方法，寻找最优网络结构和参数，实现 含有输电杆塔的遥感影像质量提升。
为实现上述目的，本发明采用的技术方案如下：
一种多残差块条件生成对抗网络的图像复原方法，包括步骤如下：
步骤(1)：采集多张不同背景环境下的含有输电塔的清晰图像和对应的模 糊图像，并对图像数据进行预处理，构成训练模型的训练集；
步骤(2)：根据遥感图像运动模糊特征，构建多残差块条件生成对抗网络 模型，并对多残差块条件生成对抗网络模型中的残差块结构和归一化层进行优 化；所述的多残差块条件生成对抗网络模型包括生成网络与判别网络；生成网 络捕获数据分布，判别网络估计输入判别网络的样本是来自生成网络还是训练 数据的概率；二者通过对抗训练过程来提升各自的能力，当生成样本与真实样 本无法区分时训练终止；
步骤(3)：对步骤(2)所得多残差块条件生成对抗网络模型中的超参数进 行设定并微调直到网络收敛，将步骤(1)中数据集输入上述网络中进行训练， 直到多残差块条件生成对抗网络模型收敛，训练出该网络模型的权值文件；
步骤4：使用步骤(3)中训练出的网络权值文件，将不同背景环境下的含 有输电杆塔的运动模糊的遥感图像输入步骤(2)中多残差块条件生成对抗网络 的生成网络中，获得遥感复原图像。
进一步，优选的是，步骤(1)中，数据预处理的方式为：将清晰图像和对 应的模糊图像对应命名，并将图像尺寸全部裁剪为256×256像素。
进一步，优选的是，步骤(1)中，训练集包括对象检测基准的数据集、GoPro 数据集和不同背景环境下的含有输电杆塔的遥感数据集；
所述的对象检测基准的数据集包括街景、光学遥感的清晰图像和对应的模 糊图像，且模糊图像的成因为相机抖动或被摄物体的运动；
所述的GoPro数据集包括含有街景的清晰图像和对应的模糊图像，且模糊 图像的成因为相机抖动或相机和被摄物体相对运动；
所述的不同背景环境下的含有输电杆塔的遥感数据集为清晰图像和对应的 模糊图像，且模糊图像的成因为遥感传感器拍时运动；所述的背景环境包括农 田、河流、建筑、山林。
进一步，优选的是，步骤(2)中：所述的网络结构为：使用两个卷积层进 行特征提取，然后接两个跨步卷积层、九个残差块组成的残差网络、两个转置 的卷积层、最末端为一个卷积层和Tanh函数；生成网络除了第一个卷积层和最 后一个卷积层卷积核的大小为7×7，其它层卷积核的大小均为3×3；
所述的判别网络包含4个卷积层，除最后一个卷积层外，其余的卷积层之 后都为批量标准化层和LeakyReLU激活函数；
对多残差块条件生成对抗网络模型中的残差块结构进行优化的方法为：将 多残差块条件生成对抗网络模型中的残差块结构的实例正则化层改为批量标准 化层，并去掉Dropout正则化；注：该部分为优化归一化层；
根据多残差块条件生成多残差块条件生成对抗网络模型中的损失函数，所 述的损失函数包括对抗损失和内容损失。
进一步，优选的是，多残差块条件生成对抗网络模型目标函数表示为最大- 最小问题如式(1)所示：
其中，G表示生成器，D表示判别器，D(t|f)表示输入判别网络的真实图 片是否真实的概率，t是真实样本数据，f为附加约束条件，z为生成数据， D(G(z|f))表示判别网络判断生成网络生成的图片是否真实的概率，E代表数学 期望，～表示服从分布，pdata(t)表示真实数据t的分布，pz(z)表示生成数据z的 分布。
多残差块-条件生成对抗网络：多残差块是代表组成网络结构的基本单元是 多个残差块；整体结构是条件生成对抗网络。所以目标函数为条件生成对抗网 络的目标函数
进一步，优选的是，所述残差块由卷积层、批量标准化层和ReLU激活函 数组成。
进一步，优选的是，所述损失函数的公式表达如式(2)。
L＝LCGAN+λLC (2)
其中，L为总损失，LCGAN为对抗损失，LC为内容损失，λ表示循环损失的权 值系数。
判别网络不输出重建图像清晰的概率，损失计算如公式(3)，其中S为清 晰图像；
D(G(S))表示判别网络判断生成网络生成的图片是否真实的概率；
内容损失为L1正则化或MAE损失、原始像素上的L2正则化或MSE损失。
进一步，优选的是，λ设为100；
内容损失为基于生成图像和目标图像CNN特征图差异的L2正则化损失； 计算如式(4)：
其中，φi,j是在多残差块条件生成对抗网络中的第i层池化层和第j层卷积层 之间的特征图；Wi,j和Hi,j是特征图的宽度和高度，M是模糊图像，G(M)表示生 成网络的输出图像，S为清晰图像。x和y为像素的位置。
进一步，优选的是，步骤(3)中，训练过程使用Nadam(Nesterov-acceleratedadaptive moment estimation)优化算法作为求解器执行下一步生成网络生成， 动量参数beta设置为0.5；网络每迭代5次保存一次生成网络和判别网络的权 值；生成网络和判别网络的学习率最初设定为0.0001；迭代训练150次之后， 在接下来的150次迭代中将学习速率线性衰减到零；所有的模型都用批量大小 为1进行训练。
进一步，优选的是，步骤(3)中训练过程：所述网络通过从训练集的训练 样本中学习清晰图像与运动模糊图像之间的差异，在目标函数(式(1))和损 失函数(式(2))对网络损失的约束下，对生成网络生成的内容进行优化，以 使生成网络生成的图像越来越接近清晰图像；当真实数据的样本分布与生成数 据的样本分布不相等时，所述多残差块条件生成对抗网络并没有达到平衡状态， Adam优化算法对优化参数进行计算，并通过反向传播算法反传回生成网络，以 增强生成网络的学习能力和增加生成网络生成的图像内容；当真实数据的样本 分布与生成数据的样本分布相等时，判别网络不能判别出输入判别网络的是真实图像还是生成网络生成的图像，此时多残差块条件生成对抗网络达到平衡状 态，学习率衰减为0，输出权值文件。
本发明的思路是，采用改进的残差块代替原条件生成对抗网络结构模型中 的残差块，并改进判别网络，形成新的网络结构模型，利用对象检测基准的数 据集、GoPro数据集和不同背景环境下的含有输电杆塔的遥感数据集进行训练， 直到模型收敛，最终将得到的权值文件对遥感影像进行超分辨率重建处理。
本发明与现有技术相比，其有益效果为：
本发明方法采用深度学习方法实现图像复原，具有便捷、高效、特征学习 能力强、网络设计自由度高的特点，能够有效去除遥感图像中的运动模糊，保 证复原的图像的色彩信息、细节信息和纹理信息。
建议多说一些本发明的优点，最好与现有技术相比，提供带有量化数据的 效果。
附图说明
图1为本发明的实现流程图；
图2为本发明的条件生成对抗网络模型图；
图3为本发明修改的残差块结构图；
图4为本发明的河岸运动模糊仿真实验对比图；
图5为本发明的船只运动模糊仿真实验对比图；
图6为本发明的建筑物运动模糊仿真实验对比图。
具体实施方式
下面结合实施例对本发明作进一步的详细描述。
本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限 定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所 描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商 者，均为可以通过购买获得的常规产品。
一种多残差块条件生成对抗网络的图像复原方法，包括步骤如下：
步骤(1)：采集多张不同背景环境下的含有输电杆塔的清晰图像和对应的 模糊图像，并对图像数据进行预处理，构成训练模型的训练集；
步骤(2)：根据遥感图像运动模糊特征，构建多残差块条件生成对抗网络 模型，并对多残差块条件生成对抗网络模型中的残差块结构和归一化层进行优 化；所述的多残差块条件生成对抗网络模型包括生成网络与判别网络；生成网 络捕获数据分布，判别网络估计输入判别网络的样本是来自生成网络还是训练 数据的概率；二者通过对抗训练过程来提升各自的能力，当生成样本与真实样 本无法区分时训练终止；
步骤(3)：对步骤(2)所得多残差块条件生成对抗网络模型中的超参数进 行设定并微调直到网络收敛，将步骤(1)中数据集输入上述网络中进行训练， 直到多残差块条件生成对抗网络模型收敛，训练出该网络模型的权值文件；
步骤4：使用步骤(3)中训练出的网络权值文件，将不同背景环境下的含 有输电杆塔的运动模糊的遥感图像输入步骤(2)中多残差块条件生成对抗网络 的生成网络中，获得遥感复原图像。
步骤(1)中，数据预处理的方式为：将清晰图像和对应的模糊图像对应命 名，并将图像尺寸全部裁剪为256×256像素。
步骤(1)中，训练集包括对象检测基准的数据集、GoPro数据集和不同背 景环境下的含有输电杆塔的遥感数据集；
所述的对象检测基准的数据集包括街景、光学遥感的清晰图像和对应的模 糊图像，且模糊图像的成因为相机抖动或被摄物体的运动；
所述的GoPro数据集包括含有街景的清晰图像和对应的模糊图像，且模糊 图像的成因为相机抖动或相机和被摄物体相对运动；
所述的不同背景环境下的含有输电杆塔的遥感数据集为清晰图像和对应的 模糊图像，且模糊图像的成因为遥感传感器拍时运动；所述的背景环境包括农 田、河流、建筑、山林。
步骤(2)中：所述的网络结构为：使用两个卷积层进行特征提取，然后接 两个跨步卷积层、九个残差块组成的残差网络、两个转置的卷积层、最末端为 一个卷积层和Tanh函数；生成网络除了第一个卷积层和最后一个卷积层卷积核 的大小为7×7，其它层卷积核的大小均为3×3；
所述的判别网络包含4个卷积层，除最后一个卷积层外，其余的卷积层之 后都为批量标准化层和LeakyReLU激活函数；
对多残差块条件生成对抗网络模型中的残差块结构进行优化的方法为：将 多残差块条件生成对抗网络模型中的残差块结构的实例正则化层改为批量标准 化层，并去掉Dropout正则化；
根据多残差块条件生成多残差块条件生成对抗网络模型中的损失函数，所 述的损失函数包括对抗损失和内容损失。
多残差块条件生成对抗网络模型目标函数表示为最大-最小问题，如式(1) 所示：
其中，G表示生成器，D表示判别器，D(t|f)表示输入判别网络的真实图 片是否真实的概率，t是真实样本数据，f为附加约束条件，z为生成数据， D(G(z|f))表示判别网络判断生成网络生成的图片是否真实的概率，E代表数学 期望，～表示服从分布，pdata(t)表示真实数据t的分布，pz(z)表示生成数据z的 分布。
所述残差块由卷积层、批量标准化层和ReLU激活函数组成。
所述损失函数的公式表达如式(2)。
L＝LCGAN+λLC (2)
其中，L为总损失，LCGAN为对抗损失，LC为内容损失，λ表示循环损失的权 值系数。
判别网络不输出重建图像清晰的概率，损失计算如公式(3)，其中S为清 晰图像；
D(G(S))表示判别网络判断生成网络生成的图片是否真实的概率；
内容损失为L1正则化或MAE损失、原始像素上的L2正则化或MSE损失。
λ设为100；
内容损失为基于生成图像和目标图像CNN特征图差异的L2正则化损失； 计算如式(4)：
其中，φi,j是在多残差块条件生成对抗网络中的第i层池化层和第j层卷积层 之间的特征图；Wi,j和Hi,j是特征图的宽度和高度，M是模糊图像，G(M)表示生 成网络的输出图像，S为清晰图像x和y为像素的位置。
步骤(3)中，训练过程使用Nadam优化算法作为求解器执行下一步生成 网络生成，动量参数beta设置为0.5；网络每迭代5次保存一次生成网络和判 别网络的权值；生成网络和判别网络的学习率最初设定为0.0001；迭代训练150 次之后，在接下来的150次迭代中将学习速率线性衰减到零；所有的模型都用 批量大小为1进行训练。
步骤(3)中训练过程：所述网络通过从训练集的训练样本中学习清晰图像 与运动模糊图像之间的差异，在目标函数和损失函数对网络损失的约束下，对 生成网络生成的内容进行优化，以使生成网络生成的图像越来越接近清晰图像； 当真实数据的样本分布与生成数据的样本分布不相等时，所述多残差块条件生 成对抗网络并没有达到平衡状态，Adam优化算法对优化参数进行计算，并通过 反向传播算法反传回生成网络，以增强生成网络的学习能力和增加生成网络生 成的图像内容；当真实数据的样本分布与生成数据的样本分布相等时，判别网 络不能判别出输入判别网络的是真实图像还是生成网络生成的图像，此时多残 差块条件生成对抗网络达到平衡状态，学习率衰减为0，输出权值文件。
应用实例
参照图1，对本发明实现的具体步骤做进一步的描述。
步骤1：准备训练模型数据集，并进行预处理。所述训练模型数据集共含 6000余张图像，包括：清晰图像和对应的模糊图像。数据集来源为：对象检测 基准的数据集、GoPro数据集和不同背景环境下的含有输电杆塔的遥感数据集。
其中，对象检测基准数据集的图像内容为街道、停车位、不同数量和类型 的汽车，主要的降质模糊类型包括相机抖动和被摄物体的运动引起的运动模糊， 构建了包含1151张清晰图像和1151张模糊图像一一对应的街景视图数据集。GoPro数据集的图像内容包括街景，主要的降质模糊类型包括相机抖动、相机和 被摄物体相对运动引起的运动模糊，构建了包含2103张自然图像和2103张模 糊图像一一对应的数据集。不同背景环境下的含有输电杆塔的遥感数据集，包 括3068张不同背景环境下的影像，背景环境包括农田、河流、建筑、山林等。 训练库图像的降质类型为运动模糊。
对数据集进行预处理，将所述数据集中清晰图像和模糊图像按规则对应命 名，同时将所述数据集中图像尺寸全部裁剪为256×256像素，可以提高网络计 算效率。
步骤2：根据遥感图像运动模糊特征，构建改进的CGAN模型，并对该模 型中的残差块结构、归一化层等进行改进。
所述模型是通过对抗过程来优化生成网络的新模型，包括生成网络G和判 别网络D，如图2。生成网络捕获数据分布，判别网络估计输入判别网络的样本 是来自生成网络还是训练数据的概率。二者通过对抗训练过程来不断提升各自 的能力，当生成样本与真实样本无法区分时训练终止。所述CGAN模型目标函 数表示为最大-最小问题，如式(1)所示：
其中，G表示生成器，D表示判别器，D(t|f)表示输入判别网络的真实图 片是否真实的概率，t是真实样本数据，f为附加约束条件，z为生成数据， D(G(z|f))表示判别网络判断生成网络生成的图片是否真实的概率，E代表数学 期望，～表示服从分布，pdata(t)表示真实数据t的分布，pz(z)表示生成数据z的 分布。
2-1多残差块条件生成对抗网络生成网络结构为：使用两个卷积层进行特征 提取，然后接两个跨步卷积层、九个残差块组成的残差网络、两个转置的卷积 层、最末端为一个卷积层和Tanh函数(双曲正切函数)。生成网络除了第一个 卷积层和最后一个卷积层卷积核的大小为7×7，其它层卷积核的大小均为3×3， 如表1所示。
2-2判别网络是一个具有渐变惩罚的网络模型(WGAN-GP)，判别网络包含 4个卷积层，除最后一个卷积层外，其余的卷积层之后都是修改为批量标准化层 和LeakyReLU激活函数(泄露修正线性单元激活函数，这里设置非零斜率为0.2 来改进判别网络的训练)，具体结构如表2所示。
2-3改进的残差块结构，将残差块中的实例正则化层改为批量标准化层，并 去掉Dropout正则化。所述残差块由卷积层、批量标准化层和ReLU激活函数组 成。使用批量标准化，不仅使的网络更容易训练，还加速了网络的收敛，同时 具有正则化的作用，可以防止模型过拟合问题的产生。具体结构如图3。
表1 CGAN模型生成网络结构
表2 CGAN模型判别网络结构
2-4改进的CGAN模型中损失函数结合对抗损失和内容损失。
所述损失函数的公式表达如式(2)。
L＝LCGAN+λLC (2)
其中，L为总损失，LCGAN为对抗损失，LC为内容损失，λ表示循环损失的权 值系数。在所有的实验中将λ设为100。不需要对判别网络进行调节，也不需要 惩罚输入数据与输出数据之间的不匹配。判别网络不输出重建图像清晰的概率， 损失计算如公式(3)，其中S为清晰图像。
内容损失一般定义为L1正则化或MAE(平均绝对误差)损失、原始像素 上的L2正则化或MSE(均方误差)损失。本发明中将感知损失定义为内容损失， 其计算为基于生成图像和目标图像CNN特征图差异的L2正则化损失。计算如 式(4)。
其中，φi,j是在多残差块条件生成对抗网络中的第i层池化层和第j层卷积层 之间的特征图；Wi,j和Hi,j是特征图的宽度和高度，M是模糊图像，G(M)表示生 成网络的输出图像，S为清晰图像，x和y为像素的位置；
步骤3：训练网络，得权值文件。对步骤2所得改进的CGAN模型中的超 参数进行设定并调整至最优，将步骤1中数据集输入改进的CGAN模型中进行 训练，直到模型收敛，训练出该网络模型的权值文件。
所述训练过程，执行5个梯度下降。然后使用Nadam优化算法作为求解器 执行下一步生成网络生成，动量参数beta设置为0.5。网络每迭代5次保存一次 生成网络和判别网络的权值。生成网络和判别网络的学习率最初设定为0.0001。 迭代训练150次之后，在接下来的150次迭代中将学习速率线性衰减到零。所 有的模型都用批量大小为1进行训练。利用本训练库训练所述多残差块条件生 成对抗网络时间约为120小时。
所述网络通过从训练样本中学习清晰图像与运动模糊图像之间的差异，在 目标函数和损失函数对网络损失的约束下，不断地对生成网络生成的内容进行 调整和优化，使生成网络生成的图像越来越接近清晰图像，达到去模糊的目的。 当真实数据的样本分布与生成数据的样本分布不相等时，所述网络并没有达到 平衡状态，优化算法对优化参数进行计算，并通过反向传播算法反传回生成网 络，增强生成网络的学习能力和增加生成网络生成的图像内容；当真实数据的 样本分布与生成数据的样本分布相等时，判别网络不能判别出输入判别网络的 是真实图像还是生成网络生成的图像，此时网络达到平衡状态，学习率衰减为0， 输出权值文件。
步骤4：使用步骤3中训练出的网络权值文件，将含运动模糊的遥感图像输 入步骤2中生成网络中，获得遥感复原图像。
下面结合复原实验对本发明的效果做进一步的说明：
复原内容及其结果分析：
本次仿真实验所有图像大小为512×512，添加运动模糊，得到仿真遥感运动 模糊图像进行测试。
从图4可见，河岸细节信息最清晰，且无噪声出现，在细节方面处理的最 好。
从图5可见，船的轮廓信息更明显，且图像无变形现象。
从图6可见，建筑物轮廓清晰，而且图像拖影很小，地物细节更加全面。
以上测试图片定量评价指标见表3。
表3不同地物遥感图像的复原结果评价指标
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中 描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明 还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本 发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种多残差块条件生成对抗网络的图像复原方法，其特征在于，包括步骤如下：
步骤(1)：采集多张不同背景环境下的含有输电杆塔的清晰图像和对应的模糊图像，并对图像数据进行预处理，构成训练模型的训练集；
步骤(2)：根据遥感图像运动模糊特征，构建多残差块条件生成对抗网络模型，并对多残差块条件生成对抗网络模型中的残差块结构和归一化层进行优化；所述的多残差块条件生成对抗网络模型包括生成网络与判别网络；生成网络捕获数据分布，判别网络估计输入判别网络的样本是来自生成网络还是训练数据的概率；二者通过对抗训练过程来提升各自的能力，当生成样本与真实样本无法区分时训练终止；
步骤(3)：对步骤(2)所得多残差块条件生成对抗网络模型中的超参数进行设定并微调直到网络收敛，将步骤(1)中数据集输入上述网络中进行训练，直到多残差块条件生成对抗网络模型收敛，训练出该网络模型的权值文件；
步骤4：使用步骤(3)中训练出的网络权值文件，将不同背景环境下的含有输电杆杆塔的运动模糊的遥感图像输入步骤(2)中多残差块条件生成对抗网络的生成网络中，获得遥感复原图像。
2.根据权利要求1所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，步骤(1)中，数据预处理的方式为：将清晰图像和对应的模糊图像对应命名，并将图像尺寸全部裁剪为256×256像素。
3.根据权利要求1所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，步骤(1)中，训练集包括对象检测基准的数据集、GoPro数据集和不同背景环境下的含有输电杆塔的遥感数据集；
所述的对象检测基准的数据集包括街景、光学遥感的清晰图像和对应的模糊图像，且模糊图像的成因为相机抖动或被摄物体的运动；
所述的GoPro数据集包括含有街景的清晰图像和对应的模糊图像，且模糊图像的成因为相机抖动或相机和被摄物体相对运动；
所述的不同背景环境下的含有输电杆塔的遥感数据集为清晰图像和对应的模糊图像，且模糊图像的成因为遥感传感器拍时运动；所述的背景环境包括农田、河流、建筑、山林。
4.根据权利要求1所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，步骤(2)中：所述的网络结构为：使用两个卷积层进行特征提取，然后接两个跨步卷积层、九个残差块组成的残差网络、两个转置的卷积层、最末端为一个卷积层和Tanh函数；生成网络除了第一个卷积层和最后一个卷积层卷积核的大小为7×7，其它层卷积核的大小均为3×3；
所述的判别网络包含4个卷积层，除最后一个卷积层外，其余的卷积层之后都为批量标准化层和LeakyReLU激活函数；
对多残差块条件生成对抗网络模型中的残差块结构进行优化的方法为：将多残差块条件生成对抗网络模型中的残差块结构的实例正则化层改为批量标准化层，并去掉Dropout正则化；
根据多残差块条件生成多残差块条件生成对抗网络模型中的损失函数，所述的损失函数包括对抗损失和内容损失。
5.根据权利要求4所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，多残差块条件生成对抗网络模型目标函数表示为最大-最小问题，如式(1)所示：
其中，G表示生成器，D表示判别器，D(t|f)表示输入判别网络的真实图片是否真实的概率，t是真实样本数据，f为附加约束条件，z为生成数据，D(G(z|f))表示判别网络判断生成网络生成的图片是否真实的概率，E代表数学期望，～表示服从分布，pdata(t)表示真实数据t的分布，pz(z)表示生成数据z的分布。
6.根据权利要求4所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，所述残差块由卷积层、批量标准化层和ReLU激活函数组成。
7.根据权利要求4所述的多残差块条件生成对抗网络的图像复原方法，其特征在于：
所述损失函数的公式表达如式(2)；
L＝LCGAN+λLC (2)
其中，L为总损失，LCGAN为对抗损失，LC为内容损失，λ表示循环损失的权值系数；
判别网络不输出重建图像清晰的概率，损失计算如公式(3)，其中S为清晰图像；
D(G(S))表示判别网络判断生成网络生成的图片是否真实的概率；
内容损失为L1正则化或MAE损失、原始像素上的L2正则化或MSE损失。
8.根据权利要求7所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，λ设为100；
内容损失为基于生成图像和目标图像CNN特征图差异的L2正则化损失；计算如式(4)：
其中，φi,j是在多残差块条件生成对抗网络中的第i层池化层和第j层卷积层之间的特征图；Wi,j和Hi,j是特征图的宽度和高度，M是模糊图像，G(M)表示生成网络的输出图像，S为清晰图像；x和y为像素的位置。
9.根据权利要求7所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，步骤(3)中，训练过程使用Nadam优化算法作为求解器执行下一步生成网络生成，动量参数beta设置为0.5；网络每迭代5次保存一次生成网络和判别网络的权值；生成网络和判别网络的学习率最初设定为0.0001；迭代训练150次之后，在接下来的150次迭代中将学习速率线性衰减到零；所有的模型都用批量大小为1进行训练。
10.根据权利要求7所述的多残差块条件生成对抗网络的图像复原方法，其特征在于，步骤(3)中训练过程：所述网络通过从训练集的训练样本中学习清晰图像与运动模糊图像之间的差异，在目标函数和损失函数对网络损失的约束下，对生成网络生成的内容进行优化，以使生成网络生成的图像越来越接近清晰图像；当真实数据的样本分布与生成数据的样本分布不相等时，所述多残差块条件生成对抗网络并没有达到平衡状态，Adam优化算法对优化参数进行计算，并通过反向传播算法反传回生成网络，以增强生成网络的学习能力和增加生成网络生成的图像内容；当真实数据的样本分布与生成数据的样本分布相等时，判别网络不能判别出输入判别网络的是真实图像还是生成网络生成的图像，此时多残差块条件生成对抗网络达到平衡状态，学习率衰减为0，输出权值文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011177381.2A CN112419171A (zh) | 2020-10-28 | 2020-10-28 | 一种多残差块条件生成对抗网络的图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011177381.2A CN112419171A (zh) | 2020-10-28 | 2020-10-28 | 一种多残差块条件生成对抗网络的图像复原方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112419171A true CN112419171A (zh) | 2021-02-26 |
Family
ID=74841283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011177381.2A Pending CN112419171A (zh) | 2020-10-28 | 2020-10-28 | 一种多残差块条件生成对抗网络的图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419171A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610736A (zh) * | 2021-07-16 | 2021-11-05 | 华东师范大学 | 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及系统 |
| CN114782285A (zh) * | 2022-06-17 | 2022-07-22 | 苏州大学 | 一种低分辨率模糊图像增强方法 |
| WO2023004595A1 (zh) * | 2021-07-27 | 2023-02-02 | 中国科学院深圳先进技术研究院 | 一种停车数据修复方法、装置、计算机设备以及存储介质 |
| CN116091168A (zh) * | 2023-02-23 | 2023-05-09 | 禧糖餐饮科技(深圳)有限公司 | 基于计算机视觉的餐饮服务智能结算系统及方法 |
| CN116758394A (zh) * | 2023-06-02 | 2023-09-15 | 青岛理工大学 | 一种基于深度学习对无铆钉铆接接头成形截面的预测方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| CN109035149A (zh) * | 2018-03-13 | 2018-12-18 | 杭州电子科技大学 | 一种基于深度学习的车牌图像去运动模糊方法 |
| CN109118438A (zh) * | 2018-06-29 | 2019-01-01 | 上海航天控制技术研究所 | 一种基于生成对抗网络的高斯模糊图像复原方法 |
| CN109242841A (zh) * | 2018-08-30 | 2019-01-18 | 广东工业大学 | 一种基于生成对抗网络的输电杆塔缺陷检测方法 |
| CN109255762A (zh) * | 2018-08-27 | 2019-01-22 | 国网天津市电力公司 | 一种基于深度学习的输电线路航拍照片去噪方法及照片和应用 |
| CN109376768A (zh) * | 2018-09-21 | 2019-02-22 | 福州大学 | 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法 |
| CN109377459A (zh) * | 2018-09-30 | 2019-02-22 | 国网山东省电力公司电力科学研究院 | 一种生成式对抗网络的超分辨率去模糊方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110472699A (zh) * | 2019-08-24 | 2019-11-19 | 福州大学 | 一种基于gan的电力场所有害生物运动模糊图像检测方法 |
| CN110533588A (zh) * | 2019-07-16 | 2019-12-03 | 中国农业大学 | 基于生成对抗网络的根系图像修复方法 |
| CN110807359A (zh) * | 2019-09-19 | 2020-02-18 | 江苏濠汉信息技术有限公司 | 基于部署在无人机中模型的杆塔缺陷巡检的方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111754446A (zh) * | 2020-06-22 | 2020-10-09 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的图像融合方法、系统及存储介质 |
| JP2020174320A (ja) * | 2019-04-12 | 2020-10-22 | 国立大学法人 鹿児島大学 | 映像修復システム、映像修復方法及びプログラム |
| KR102169242B1 (ko) * | 2018-12-26 | 2020-10-23 | 포항공과대학교 산학협력단 | 초해상도 영상 복원을 위한 기계 학습 방법 |
-
2020
- 2020-10-28 CN CN202011177381.2A patent/CN112419171A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN109035149A (zh) * | 2018-03-13 | 2018-12-18 | 杭州电子科技大学 | 一种基于深度学习的车牌图像去运动模糊方法 |
| CN108711141A (zh) * | 2018-05-17 | 2018-10-26 | 重庆大学 | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 |
| CN109118438A (zh) * | 2018-06-29 | 2019-01-01 | 上海航天控制技术研究所 | 一种基于生成对抗网络的高斯模糊图像复原方法 |
| CN109255762A (zh) * | 2018-08-27 | 2019-01-22 | 国网天津市电力公司 | 一种基于深度学习的输电线路航拍照片去噪方法及照片和应用 |
| CN109242841A (zh) * | 2018-08-30 | 2019-01-18 | 广东工业大学 | 一种基于生成对抗网络的输电杆塔缺陷检测方法 |
| CN109376768A (zh) * | 2018-09-21 | 2019-02-22 | 福州大学 | 一种基于深度学习的航拍图像杆塔标识牌故障诊断方法 |
| CN109377459A (zh) * | 2018-09-30 | 2019-02-22 | 国网山东省电力公司电力科学研究院 | 一种生成式对抗网络的超分辨率去模糊方法 |
| KR102169242B1 (ko) * | 2018-12-26 | 2020-10-23 | 포항공과대학교 산학협력단 | 초해상도 영상 복원을 위한 기계 학습 방법 |
| JP2020174320A (ja) * | 2019-04-12 | 2020-10-22 | 国立大学法人 鹿児島大学 | 映像修復システム、映像修復方法及びプログラム |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110533588A (zh) * | 2019-07-16 | 2019-12-03 | 中国农业大学 | 基于生成对抗网络的根系图像修复方法 |
| CN110472699A (zh) * | 2019-08-24 | 2019-11-19 | 福州大学 | 一种基于gan的电力场所有害生物运动模糊图像检测方法 |
| CN110807359A (zh) * | 2019-09-19 | 2020-02-18 | 江苏濠汉信息技术有限公司 | 基于部署在无人机中模型的杆塔缺陷巡检的方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111754446A (zh) * | 2020-06-22 | 2020-10-09 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的图像融合方法、系统及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| 卜丽静 等: "条件生成对抗网络在遥感图像复原中的可行性", 《国土资源遥感》 * |
| 吴细宝 等: "《人工神经网络原理与实践》", 31 January 2016, 西安电子科技大学出版社 * |
| 尚荣华 等: "《计算智能导论》", 30 September 2019, 西安电子科技大学出版社 * |
| 裴慧坤 等: "基于生成对抗网络的无人机图像去模糊方法", 《地理空间信息》 * |
| 郑树泉 等: "《工业智能技术与应用》", 31 December 2018, 上海科学技术出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610736A (zh) * | 2021-07-16 | 2021-11-05 | 华东师范大学 | 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及系统 |
| CN113610736B (zh) * | 2021-07-16 | 2023-09-19 | 华东师范大学 | 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及系统 |
| WO2023004595A1 (zh) * | 2021-07-27 | 2023-02-02 | 中国科学院深圳先进技术研究院 | 一种停车数据修复方法、装置、计算机设备以及存储介质 |
| CN114782285A (zh) * | 2022-06-17 | 2022-07-22 | 苏州大学 | 一种低分辨率模糊图像增强方法 |
| CN116091168A (zh) * | 2023-02-23 | 2023-05-09 | 禧糖餐饮科技(深圳)有限公司 | 基于计算机视觉的餐饮服务智能结算系统及方法 |
| CN116758394A (zh) * | 2023-06-02 | 2023-09-15 | 青岛理工大学 | 一种基于深度学习对无铆钉铆接接头成形截面的预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765319B (zh) | 一种基于生成对抗网络的图像去噪方法 | |
| CN110188685B (zh) | 一种基于双注意力多尺度级联网络的目标计数方法及系统 | |
| CN112419171A (zh) | 一种多残差块条件生成对抗网络的图像复原方法 | |
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN111932452B (zh) | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 | |
| CN114140469B (zh) | 一种基于多层注意力的深度分层图像语义分割方法 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| CN112634171A (zh) | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 | |
| CN117391958B (zh) | 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 | |
| Zhang et al. | Mffe: Multi-scale feature fusion enhanced net for image dehazing | |
| CN117350927A (zh) | 一种基于深度学习的图像去雨方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| CN115760589A (zh) | 一种用于运动模糊图像的图像优化方法及装置 | |
| CN113487491B (zh) | 一种基于稀疏性与非局部均值自相似性的图像复原方法 | |
| Ren et al. | SCGA‐Net: Skip Connections Global Attention Network for Image Restoration | |
| CN115880175A (zh) | 一种基于改进生成对抗网络的模糊图像复原方法 | |
| CN111681156B (zh) | 一种应用于无线传感器网络的深度压缩感知图像重构方法 | |
| He et al. | Feature aggregation convolution network for haze removal | |
| CN111738919A (zh) | 基于线性多步残差稠密网的低清小脸真实感幻构方法 | |
| CN112884643A (zh) | 一种基于edsr网络的红外图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210226 |