CN110610459A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN110610459A CN110610459A CN201910878610.4A CN201910878610A CN110610459A CN 110610459 A CN110610459 A CN 110610459A CN 201910878610 A CN201910878610 A CN 201910878610A CN 110610459 A CN110610459 A CN 110610459A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- resolution
- deconvolution
- image reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 238000007499 fusion processing Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 41
- 230000004913 activation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012549 training Methods 0.000 description 41
- 238000001556 precipitation Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 21
- 238000005457 optimization Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种图像处理方法及装置，该方法包括：通过至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图；通过第一级图像重建网络中的图像重构网络对第一特征图和待处理图像分别进行重构处理，得到第一特征图对应的第一卷积图像和待处理图像对应的第一反卷积图像；通过第一级图像重建网络中的图像融合网络对第一卷积图像与第一反卷积图像进行融合处理，获得第一目标图像。本方案通过残差网络可以很好地提取待处理图像中的特征，从而可以有效避免梯度消散的问题，使得获得的高分辨率图像可以保留原始的待处理图像中更多的细节，效果更好。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及装置。
背景技术
图像超分辨率技术(Super-Resolution)是指从低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。图像超分辨率技术可分为两类，一类是从多张低分辨率图像重建出高分辨率图像，另一类是从单张低分辨率图像重建出高分辨率图像。
传统的低分辨率图像的超分辨率重建主要采用插值法，如最近元法、双线性内插法和三次内插法等。这些方法是针对图像上每个像素点的值是用其周围几个像素点进行计算逼近得到，而这些采用插值法的方法得到的图像过于平滑，丢失了很多高频细节，因此导致最终得到的高分辨率图像不能很好地保留原始图像的细节。
发明内容
本申请实施例的目的在于提供一种图像处理方法及装置，用以改善现有技术中获得的高分辨率图像不能很好地保留原始图像的细节的问题。
第一方面，本申请实施例提供了一种图像处理方法，用于通过图像重建模型对图像进行重建，所述图像重建模型包括至少一级图像重建网络，所述至少一级图像重建网络中的每一级图像重建网络均包括残差网络、图像重构网络以及图像融合网络，所述方法包括：通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图，其中，所述待处理图像的分辨率为第一分辨率；通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像，其中，所述第一卷积图像和所述第一反卷积图像的分辨率均为第二分辨率，所述第二分辨率高于所述第一分辨率；通过所述第一级图像重建网络中的图像融合网络对所述第一卷积图像与所述第一反卷积图像进行融合处理，获得第一目标图像，所述第一目标图像的分辨率为所述第二分辨率。
在上述实现过程中，通过在图像重建模型中加入残差网络，由于残差网络中各个卷积层的输入均为前面所有卷积层的输出，所以，残差网络可以很好地提取待处理图像中的特征，从而可以有效避免梯度消散的问题，使得获得的高分辨率图像可以保留原始的待处理图像中更多的细节，效果更好。
可选地，所述图像重建网络的级数为根据需对所述待处理图像的分辨率进行放大的放大倍数确定的，从而可以根据实际需求灵活设置图像重建网络的级数。
可选地，所述至少一级图像重建网络包括多级图像重建网络，在所述获得第一目标图像之后，所述方法还包括：通过第n级图像重建网络中的残差网络对获得的第n-1反卷积图像进行特征提取，获得第n特征图，其中，所述第n-1反卷积图像的分辨率为第n分辨率，n为大于或等于2的正整数；通过所述第n级图像重建网络中的图像重构网络对所述第n特征图和第n目标图像分别进行重构处理，得到所述第n特征图对应的第n卷积图像和所述第n目标图像对应的第n反卷积图像，其中，所述第n卷积图像和所述第n反卷积图像的分辨率均为第n+1分辨率，所述第n+1分辨率大于第n分辨率；通过所述第n级图像重建网络中的图像融合网络对所述第n卷积图像与所述第n反卷积图像进行融合处理，获得第n目标图像，所述第n目标图像的分辨率为所述第n+1分辨率。
在上述实现过程中，可以通过第n级图像重建网络继续对分辨率进行放大，从而可实现对待处理图像的分辨率的多倍放大。
可选地，所述残差网络包括多个卷积层，所述通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图，包括：
通过以下公式对所述待处理图像进行特征提取，获得第一特征图；
F1＝dense_block(x)；
其中，F1表示所述第一特征图，x表示所述待处理图像，dense_block()函数表示所述多个卷积层对所述待处理图像进行特征提取操作。
可选地，第i个卷积层通过以下公式进行特征提取操作：
xi＝T([x0,x1,...,xi-1])；
其中，xi表示第i个卷积层的输出，T(·)函数表示有三个函数串联组合的函数，表示如下：
BN→ReLU→Conv(3*3)
其中，BN表示归一化操作，ReLU表示激活函数，Conv(·)表示卷积操作，其中，Conv(·)表示为：
Conv(·)＝[x0,x1,…xi-1]×W+bias
其中，[x0,x1,...,xi-1]表示第i个卷积层的输入为前i-1个卷积层的输出的串联组合，W为卷积核，bias为偏置参数。
可选地，所述通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像，包括：通过所述第一级图像重建网络中的图像重构网络对所述第一特征图进行反卷积处理，获得目标反卷积图像，其中，所述目标反卷积图像的分辨率为所述第二分辨率；通过所述第一级图像重建网络中的图像重构网络对所述目标反卷积图像进行卷积操作，获得第一卷积图像，其中，所述第一卷积图像的分辨率为所述第二分辨率；通过所述第一级图像重建网络中的图像重构网络对所述待处理图像进行反卷积处理，获得第一反卷积图像，其中，所述第一反卷积图像的分辨率为所述第二分辨率。
在上述实现过程中，通过采用反卷积操作来提高图像分辨率，而不是利用插值法将图像转为指定尺寸，从而可以有效避免加入不必要的人为噪声，以防止对模型输出结果的影响。
可选地，所述通过所述第一级图像重建网络中的图像重构网络对所述待处理图像进行反卷积处理，获得第一反卷积图像，包括：
通过以下公式对所述待处理图像进行反卷积处理，获得第一反卷积图像；
H1＝Conv_transpose(x,w1,output_shape1)；
其中，H1表示所述第一反卷积图像，w1为反卷积核，output_shape1表示所述第一反卷积图像大小，x表示所述待处理图像，Conv_transpose()表示反卷积操作。
可选地，所述通过所述第一级图像重建网络中的图像重构网络对所述第一特征图进行反卷积处理，获得目标反卷积图像，包括：
通过以下公式对所述第一特征图进行反卷积处理，获得目标反卷积图像；
F2＝Conv_transpose(F1,w2,output_shape2)；
其中，F2表示所述目标反卷积图像，F1表示所述第一特征图，w2为反卷积核，output_shape2表示所述目标反卷积图像的大小，Conv_transpose()表示反卷积操作。
可选地，所述通过所述第一级图像重建网络中的图像重构网络对所述目标反卷积图像进行卷积操作，获得第一卷积图像，包括：
通过以下公式对所述目标反卷积图像进行卷积操作，获得第一卷积图像；
S1＝F2×W2+bias2；
其中，S1表示所述第一卷积图像，F2表示所述目标反卷积图像，W2为卷积核，bias2为偏置参数。
可选地，所述通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图之前，所述方法还包括：
基于以下优化函数对所述图像重建模型进行训练；
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像重建模型进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像重建模型中的网络参数。
在上述实现过程中，通过上述的优化函数对图像重建模型进行训练，从而可以优化图像重建模型中的网络参数，进而可获得最优的网络参数。
可选地，所述待处理图像表示目标区域在目标时段的降水数据的低分辨率图像。
第二方面，本申请实施例提供了一种图像处理装置，用于通过图像重建模型对图像进行重建，所述图像重建模型包括至少一级图像重建网络，所述至少一级图像重建网络中的每一级图像重建网络均包括残差网络、图像重构网络以及图像融合网络，所述装置包括：
特征提取模块，用于通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图，其中，所述待处理图像的分辨率为第一分辨率；
图像重构模块，用于通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像，其中，所述第一卷积图像和所述第一反卷积图像的分辨率均为第二分辨率，所述第二分辨率高于所述第一分辨率；
图像融合模块，用于通过所述第一级图像重建网络中的图像融合网络对所述第一卷积图像与所述第一反卷积图像进行融合处理，获得第一目标图像，所述第一目标图像的分辨率为所述第二分辨率。
可选地，所述图像重建网络的级数为根据需对所述待处理图像的分辨率进行放大的放大倍数确定的。
可选地，所述装置还包括：
另一图像重建模块，用于：
通过第n级图像重建网络中的残差网络对获得的第n-1反卷积图像进行特征提取，获得第n特征图，其中，所述第n-1反卷积图像的分辨率为第n分辨率，n为大于或等于2的正整数；
通过所述第n级图像重建网络中的图像重构网络对所述第n特征图和所述第n目标图像分别进行重构处理，得到第n特征图对应的第n卷积图像和所述第n目标图像对应的第n反卷积图像，其中，所述第n卷积图像和所述第n反卷积图像的分辨率均为第n+1分辨率，所述第n+1分辨率大于第n分辨率；
通过所述第n级图像重建网络中的图像融合网络对所述第n卷积图像与所述第n反卷积图像进行融合处理，获得第n目标图像，所述第n目标图像的分辨率为所述第n+1分辨率。
可选地，所述残差网络包括多个卷积层，所述特征提取模块，具体用于通过以下公式对所述待处理图像进行特征提取，获得第一特征图；
F1＝dense_block(x)；
其中，F1表示所述第一特征图，x表示所述待处理图像，dense_block()函数表示所述多个卷积层对所述待处理图像进行特征提取操作。
可选地，第i个卷积层通过以下公式进行特征提取操作：
xi＝T([x0,x1,...,xi-1])；
其中，xi表示第i个卷积层的输出，T(·)函数表示有三个函数串联组合的函数，表示如下：
BN→ReLU→Conv(3*3)
其中，BN表示归一化操作，ReLU表示激活函数，Conv(·)表示卷积操作，其中，Conv(·)表示为：
Conv(·)＝[x0,x1,…xi-1]×W+bias
其中，[x0,x1,...,xi-1]表示第i个卷积层的输入为前i-1个卷积层的输出的串联组合，W为卷积核，bias为偏置参数。
可选地，所述图像重构模块，具体用于通过所述第一级图像重建网络中的图像重构网络对所述第一特征图进行反卷积处理，获得目标反卷积图像，其中，所述目标反卷积图像的分辨率为所述第二分辨率；通过所述第一级图像重建网络中的图像重构网络对所述目标反卷积图像进行卷积操作，获得第一卷积图像，其中，所述第一卷积图像的分辨率为所述第二分辨率；通过所述第一级图像重建网络中的图像重构网络对所述待处理图像进行反卷积处理，获得第一反卷积图像，其中，所述第一反卷积图像的分辨率为所述第二分辨率。
可选地，所述图像重构模块，还用于通过以下公式对所述待处理图像进行反卷积处理，获得第一反卷积图像；
H1＝Conv_transpose(x,w1,output_shape1)；
其中，H1表示所述第一反卷积图像，w1为反卷积核，output_shape1表示所述第一反卷积图像大小，x表示所述待处理图像，Conv_transpose()表示反卷积操作。
可选地，所述图像重构模块，还用于通过以下公式对所述第一特征图进行反卷积处理，获得目标反卷积图像；
F2＝Conv_transpose(F1,w2,output_shape2)；
其中，F2表示所述目标反卷积图像，F1表示所述第一特征图，w2为反卷积核，output_shape2表示所述目标反卷积图像的大小，Conv_transpose()表示反卷积操作。
可选地，所述图像重构模块，还用于：
通过以下公式对所述目标反卷积图像进行卷积操作，获得第一卷积图像；
S1＝F2×W2+bias2；
其中，S1表示所述第一卷积图像，F2表示所述目标反卷积图像，W2为卷积核，bias2为偏置参数。
可选地，所述装置还包括：
训练模块，用于基于以下优化函数对所述图像重建模型进行训练；
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像重建模型进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像重建模型中的网络参数。
可选地，所述待处理图像表示目标区域在目标时段的降水数据的低分辨率图像。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图；
图2为本申请实施例提供的一种图像重建模型的结构示意图；
图3为本申请实施例提供的一种LapSRN模型的结构示意图；
图4为本申请实施例提供的一种LapSRN模型的详细网络结构示意图；
图5为本申请实施例提供的一种图像处理方法的流程图；
图6为本申请实施例提供的另一种图像重建模型的结构示意图；
图7为本申请实施例提供的一种图像重建模型的详细结构示意图；
图8为本申请实施例提供的一种图像处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请实施例提供的一种电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行下述图5所示方法过程。
请参照图2，图2为本申请实施例提供的一种图像重建模型200的结构示意图，所述图像重建模型200包括至少一级图像重建网络，每级图像重建网络均包括残差网络212、图像重构网络214以及图像融合网络216。
其中，残差网络212是一种卷积神经网络，其用于对图像进行卷积操作，以提取图像特征。残差网络212中对每个卷积层的输入看作一个参考，学习形成残差函数，这种残差函数更容易优化，能够使网络层数大大加深，残差网络212可以有效避免梯度消散的问题。
残差网络212一般有残差网络ResNet以及密集连接卷积网络(Densely ConnectedConvolutional Networks，简称DenseNet)等，由于DenseNet残差网络可以直接从原图生成高分辨率图像，使得该网络可以充分利用原始的低分辨率图像的所有分层特征，重构出高质量的图像。所以，本申请实施例中的残差网络212为DenseNet，下述均以残差网络212为DenseNet网络为例说明。
图像重构网络214用于对通过残差网络212提取的特征进行重构，以形成新的图像。
图像融合网络216是用于将两个图像进行融合，以获得新的图像。
为了获得较好的图像超分辨率效果，在本申请实施例中，图像重建模型200是在具有深拉普拉斯金字塔网络的快速准确图像超分辨率(Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks，简称LapSRN)模型上进行改进获得的。
请参照图3，图3为本申请实施例提供的一种LapSRN模型的结构示意图，LapSRN模型主要是结合反卷积和残差的思想来提高速度和精度，其采用拉普拉斯金字塔的思想来完成网络多倍数的学习。如图3所示，可以看出，该LapSRN模型采用分级计算，其包括两个分支，分别为特征提取和图像重构，其中每一级中间进行一系列的卷积计算，卷积之后添加一个反卷积核，然后再由两个分支分别进行处理，其中一个分支继续进行下一级对应的卷积计算，另一分支采用一个卷积提取上采样之后的特征，该特征就是高频特征。除此之外，还有一条分支是直接使用反卷积的计算方式将原图像进行扩张，最终得到相同倍数的上采样图，和卷积网络获得的高频特征相加得到恢复后的图，然后依次往后继续进行处理可以得到最终需要的大小的图像，并且中间过程是2倍往上增加的，即每级网络均可以对图像的分辨率进行两倍放大。
因为LapSRN模型中有另一条分支直接将网络的输出特征进行相加，所以属于残差结构，同时由于其学习的是高频特征，因此属于稀疏连接，所以虽然网络的层数增加了，但是其对应的计算反而减少了，速度也提高了。由于每一级的网络都是提高2倍分辨率，所以其采用的卷积结构几乎一样，所以在每一级之间卷积的参数也是共享的，由于这一共享机制的存在导致该LapSRN模型在训练的时候也会有更好的速度。
也就是说，LapSRN模型可以将低分辨率图像直接输入到模型中，通过逐级放大，在减少计算量的同时，也有效地提高了精度。
另外，LapSRN模型是建立在拉普拉斯金字塔结构的基础上，输入为低分辨率图像，而不是插值填充后的图像，模型由特征提取和图像重构两部分组成，如图4所示，图4为本申请实施例提供的一种LapSRN模型的详细网络结构示意图。
其中，特征提取用于通过卷积等建立非线性映射，然后上采样得到图像，图像重构用于首先进行上采样，然后与特征提取获得的图像进行融合。
特征提取部分包括特征嵌入层、上采样(反卷积层)和卷积层，由于每一级的网络结构相同，所以网络参数可以在每级网络中共享，由于参数共享，使得模型的数据处理速度更快。
由于上述的LapSRN模型中的卷积层深度不深，其不能很好地提取原始图像的特征，为了使得LapSRN模型中特征提取的效果更好，所以，本申请实施例中在LapSRN模型中加入了残差网络212，即将原来LapSRN模型中提取特征的卷积层替换为残差网络212。
由于为了较好的提取特征，一般会将网络层加深，而网络层加深会导致梯度消散的问题，所以残差网络212可有效解决该问题。残差网络212的特点是容易优化，并且能够通过增加相当的深度来提高准确度，其内部的残差块使用了跳跃连接，缓解了神经网络中增加网络深度带来的梯度消散的问题。
而DenseNet残差网络通过保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，即在DenseNet残差网络中每个卷积层的输入为前面所有卷积层的输出，使得DenseNet残差网络加强了特征的传递，从而避免了梯度弥散的问题。
DenseNet残差网络主要包括密集块(DenseBlock)和过渡层(Transition)，在密集块中各个层的特征图大小一致，可以在通道(channel)维度上连接。
可以理解地，本申请实施例中的图像重建模型200是在LapSRN模型中加入DenseNet残差网络形成的模型，即将LapSRN模型中的卷积操作由DenseNet残差网络来代替。
本申请实施例中在LapSRN模型中加入DenseNet残差网络后，其具有以下优点：第一方面，提高图像分辨率主要采用反卷积法，而不是利用线性插值将图像转为指定尺寸，从而有效地避免加入不必要的人为噪声；第二方面，引入DenseNet残差网络，将整个模型分成了几个密集块，而每个密集块中又包含多个卷积层，每个卷积层的输入数据都是前几个卷积层的输出数据的总和，从而有效地避免梯度消散的问题；第三方面，该模型在图像处理中有很强的迁移性，使得其能很好地将各种分辨率大小的图像提高到固定的分辨率，能很好的学习低分辨率到高分辨率的映射。
另外，由于LapSRN模型在提升图像分辨率时，通过每级网络可实现分辨率的2倍放大，所以，可以根据实际需求，灵活设置本申请实施例中的图像重建模型200中图像重建网络的级数，即该图像重建网络的级数为根据需对待处理图像的分辨率进行放大的放大倍数确定的，从而可以根据实际需求灵活设置图像重建网络的级数。例如，在放大倍数为4倍时，图像重建模型200可包括2级图像重建网络，在放大倍数为8倍，图像重建模型200可以包括3级图像重建网络，也就是说，在放大倍数为2n倍时，其图像重建模型200包括n级图像重建网络，每级图像重建网络均包括上述的残差网络212、图像重构网络214以及图像融合网络216。
下面对本申请实施例中通过上述的图像重建模型200实现低分辨率图像生成高分辨率图像的过程进行详细介绍。
请参照图5，图5为本申请实施例提供的一种图像处理方法的流程图，该方法应用于上述的图像重建模型200，该方法包括如下步骤：
步骤S110：通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图。
若需要对待处理图像的分辨率进行2倍放大时，则图像重建模型200可以包括1级图像重建网络，该1级图像重建网络称为第一级图像重建网络210，第一级图像重建网络210包括残差网络212、图像重构网络214以及图像融合网络216。
另外，本申请的应用场景可以是针对目前降水天气预报空间分辨率方面的不足，不能提供更精细的天气预报，从而提供一种图像重建模型200对低分辨率降水数据进行处理，获得高分辨率降水数据。
也就是说，上述待处理图像是表示目标区域在目标时段的降水数据的低分辨率图像，该待处理图像可以为三维图像。
例如，可以获取低分辨率的降水数据，其表示形式为(hour,lat,lon),即表示当前时刻hour在(lat,lon)经纬度下地区的降水量，即表示当前时刻hour在(lat,lon)经纬度下地区的降水量。假设其分辨率为300*300(对应lat*lon)，时间hour＝48，表示48个小时(即上述的目标时段)的(lat,lon)对应区域(即上述的目标区域)的降水数据，则降水数据的维度可表示为(48,300,300)。
然后获取目标区域的坐标数据，其表示形式为(lat,lon)，即表示目标区域的经纬度坐标，其维度和上述的降水数据的分辨率一致为300*300，则坐标数据可表示为(300,300)。
可以理解地，在实际应用中，由于设备的限制，一般只能采集大区域范围内的降水数据，即上述的低分辨率降水数据，所以为了对小区域范围内的降水数据的预测，需要将低分辨率降水数据转换为高分辨率降水数据，即通过本申请实施例中的图像重建模型200可实现低分辨率降水数据生成高分辨率降水数据，从而可通过图像重建模型200预测小区域的降水数据。
其中，上述的降水数据可看作是三维图像，坐标数据可看作是二维图像。由于降水数据与坐标数据的维度不一样，所以，为了将降水数据与坐标数据聚合，形成双通道数据，则需将坐标数据扩充一个维度变成三维数据，其维度表示形式为(1,lat,lon)，此时，就可以将降水数据与坐标数据聚合，变成维度为(hour,lat,lon,filter)的双通道数据，此处filter＝2，表示该数据能表示相同维度的降水数据和坐标数据。所以，上述的降水数据和坐标数据聚合后，所获得的待处理图像可以表示为(48,300,300,2)，此时待处理图像的分辨率为第一分辨率，即第一分辨率为300*300。
所以，可以通过上述的DenseNet残差网络对待处理图像进行特征提取，可获得第一特征图。
步骤S120：通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像。
图像重构网络214用于对第一特征图和待处理图像进行重构处理，其包括反卷积层和卷积层，反卷积处理的作用是将特征图进行分辨率放大，由此可获得第一特征图对应的第一卷积图像和待处理图像对应的第一反卷积图像，第一卷积图像和第二反卷积图像的分辨率均为第二分辨率，第二分辨率大于第一分辨率。并且由于LapSRN模型是进行2倍放大的，所以，第二分辨率为第一分辨率的两倍，即通过第一级图像重建网络210对待处理图像的分辨率进行两倍放大。
其中，可以通过合理设置图像重构网络214中的反卷积核的大小，以此可使得第二分辨率为第一分辨率的两倍，即第一卷积图像和第一反卷积图像的分辨率为600*600。
步骤S130：通过所述第一级图像重建网络中的图像融合网络对所述第一卷积图像与所述第一反卷积图像进行融合处理，获得第一目标图像。
图像融合网络216用于对第一卷积图像和第一反卷积图像进行融合，即将第一卷积图像与第二反卷积图像的各个像素点进行相加，从而获得第一目标图像，第一目标图像的分辨率也为第二分辨率，即600*600，由此，通过第一级图像重建网络210可实现将低分辨率的待处理图像转换为高分辨率的目标图像。
在上述实现过程，通过在图像重建模型200中加入残差网络212，由于残差网络212中各个卷积层的输入均为前面所有卷积层的输出，所以，残差网络212可以很好地提取待处理图像中的特征，从而可以有效避免梯度消散的问题，使得获得的高分辨率图像可以保留原始的待处理图像中更多的细节，效果更好。
另外，在需要对待处理图像的分辨率进行多倍放大时，则至少一级图像重建网络包括多级图像重建网络，在获得第一目标图像之后，还可以通过第n级图像重建网络中的残差网络对获得的第n-1反卷积图像进行特征提取，获得第n特征图，其中，第n-1反卷积图像的分辨率为第n分辨率，n为大于或等于2的正整数。然后再通过第n级图像重建网络中的图像重构网络对第n特征图和第n目标图像分别进行重构处理，得到第n特征图对应的第n卷积图像和第n目标图像对应的第n反卷积图像，其中，第n卷积图像和第n反卷积图像的分辨率均为第n+1分辨率，第n+1分辨率大于第n分辨率。然后通过第n级图像重建网络中的图像融合网络对第n卷积图像与第n反卷积图像进行融合处理，获得第n目标图像，第n目标图像的分辨率为第n+1分辨率。
可以理解地，由于每级图像重建网络的结构相同，所以每级图像重建网络的处理过程均相似。以上述n＝2为例，若分辨率的放大倍数为4倍时，则图像重建网络的级数可以为2，可以理解的，待处理图像经过每级图像重建网络后，可将其分辨率提升两倍，所以，在需要将待处理图像的分辨率提升4倍，可设置两级图像重建网络，如图6所示，图6为本申请实施例提供的另一种图像重建模型200的结构示意图，该图像重建模型200包括2级图像重建网络，即包括第一级图像重建网络210和第二级图像重建网络220。
在经过第一级图像重建网络210获得第一目标图像之后，为了对第一目标图像的分辨率继续提升，则由另一级图像重建网络对继续进行处理，另一级图像重建网络的结构与上述图像重建网络的结构一致，具体实现如下：
再通过第一级图像重建网络210获得第一反卷积图像和第一目标图像后，将第一反卷积图像输入至第二级图像重建网络220的残差网络中，通过残差网络对第一反卷积图像继续进行特征提取，获得第二特征图，然后通过图像重构网络对第二特征图进行重构，获得第二特征图对应的第二卷积图像，第一目标图像也经过第二级图像重建网络220中的图像重构网络进行重构处理，获得第一目标图像对应的第二反卷积图像，然后通过第二级图像重建网络220中的图像融合网络将第二卷积图像和第二反卷积图像进行融合处理，由此获得第二目标图像，该第二目标图像的分辨率为第三分辨率，第三分辨率大于第二分辨率，且是第二分辨率的两倍，是第一分辨率的四倍，从而通过两级图像重建网络实现对待处理图像的分辨率的四倍放大，即获得第二目标图像的分辨率为1200*1200。
在上述实现过程中，可以通过第n级图像重建网络继续对分辨率进行放大，从而可实现对待处理图像的分辨率的多倍放大。
另外，图像重构网络214包括卷积层和反卷积层，请参照图7，图7为本申请实施例提供的一种图像重建模型200的详细结构示意图，在第一级图像重构网络214中的残差网络212对输入的待处理图像进行特征提取获得第一特征图后，通过图像重构网络214中的反卷积层对第一特征图进行反卷积处理，然后获得目标反卷积图像，在通过卷积层对目标反卷积图像进行卷积操作，继续提取目标反卷积图像中的特征，获得第一卷积图像，然后通过反卷积层对待处理图像进行反卷积处理，获得第一反卷积图像，第一反卷积图像和第一卷积图像的分辨率均为第二分辨率，即均为600*600。
下面对第一级图像重建网络210的处理过程进行详细描述。
残差网络212包括多个卷积层，每个卷积层的输入数据都是之前所有卷积层的输出数据综合，从而可以有效避免梯度消散的问题。
具体地，通过以下公式对待处理图像进行特征提取，获得第一特征图：
F1＝dense_block(x)；
其中，F1表示所述第一特征图，x表示所述待处理图像，dense_block()函数表示所述多个卷积层对所述待处理图像进行特征提取操作。
其中，第i个卷积层可以通过以下公式进行特征提取操作：
xi＝T([x0,x1,...,xi-1])；
其中，xi表示第i个卷积层的输出，T(·)函数表示有三个函数串联组合的函数，表示如下：
BN→ReLU→Conv(3*3)
其中，BN表示归一化操作，ReLU表示激活函数，Conv(·)表示卷积操作，其中，Conv(·)表示为：
Conv(·)＝[x0,x1,…xi-1]×W+bias
其中，[x0,x1,...,xi-1]表示第i个卷积层的输入为前i-1个卷积层的输出的串联组合，W为卷积核，bias为偏置参数。
再通过以下公式对所述待处理图像进行反卷积处理，获得第一反卷积图像；
H1＝Conv_transpose(x,w1,output_shape1)；
其中，H1表示所述第一反卷积图像，w1为反卷积核，output_shape1表示所述第一反卷积图像大小(即分辨率大小)，x表示所述待处理图像，Conv_transpose()表示反卷积操作。
通过以下公式对所述第一特征图进行反卷积处理，获得目标反卷积图像；
F2＝Conv_transpose(F1,w2,output_shape2)；
其中，F2表示所述目标反卷积图像，F1表示所述第一特征图，w2为反卷积核，output_shape2表示所述目标反卷积图像的大小，Conv_transpose()表示反卷积操作。
通过以下公式对所述目标反卷积图像进行卷积操作，获得第一卷积图像；
S1＝F2×W2+bias2；
其中，S1表示所述第一卷积图像，F2表示所述第一反卷积图像，W2为卷积核，bias2为偏置参数。
将获得的第一卷积图像S1和第一反卷积图像H1进行融合获得第一目标图像H2表示为：
H2＝H1+S1。
由于S1和H1表示相同大小的图像，所以其融合方式可以表示如下：
对于上述的第二级图像重建网络220的数据处理过程也跟上述一致，在此不过多赘述。
另外，为了使得图像重建模型200具有较好的效果，可以对预先对图像重建模型200进行训练，如基于以下优化函数对所述图像重建模型200进行训练；
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像重建模型200进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像重建模型200中的网络参数。
在训练过程中，获取训练样本可以采用如下方式获取：
其中，首先从给定的气象文件Weather_A中(如：.nc文件)提取出高分辨率的降水数据A_water(可看做三维图像)，其表示形式为(hour,lat,lon),即表示当前hour时刻在(lat,lon)经纬度下地区的降水量。假设最大分辨率为1200*1200(对应lat*lon)，时间hour＝48(即该气象文件Weather_A中总共记录了48个小时的(lat,lon)对应区域的降水数据)，则降水数据A_water的维度可表示为(48,1200,1200)，可以将降水数据分为训练集和测试集。
其中，训练集用于对LapSRN模型进行训练，测试集用于对于训练后的LapSRN模型进行测试，以优化模型中的网络参数。
从给定的气象文件Weather_B中(如：.nc文件)提取上述降水数据对应的地形数据B_terrain(可看做二维图像)，其表示形式为(lat,lon)，即表示当前区域的经纬度坐标，其维度和上述的降水数据的最大分辨率相一致，为1200*1200，则地形数据B_terrain的维度可表示为(1200,1200)。
然后对训练集中的降水数据进行下采样至300*300分辨率，即维度为(48,300,300)，将该降水数据作为第一训练集，在对地形数据也下采样至300*300分辨率，即维度为(300,300)，将该地形数据作为第二训练集。
需要说明的是，对上述数据进行下采样，不会增加人为噪声，对模型的训练结果不会产生影响。
另外，降水数据和地形数据的维度大小可以根据实际需求进行设置，上述过程中将维度设置为300*300，且需提升至维度为1200*1200，是因为在训练过程中，图像重建模型200包括两级图像重建网络。
然后将第一训练集和第二训练集聚合在一起，形成双通道数据，其表示形式为(hour,lat,lon,filter)，此处filter＝2，表示双通道数据能分别表示第一训练集和第二训练集，其维度为(48,300,300,2)，这数据作为模型训练的目标训练集(即训练样本)。
上述处理过程为数据预处理过程，因为降水数据是一种比较特殊的数据，其可以分为静态数据和动态数据，静态数据是指目标区域内每一个坐标点的经纬度，动态数据是指目标区域在某一时刻的降水数据，就是加了一个时间维度。降水数据的维度表示形式为：(hour,lat,lon)，地形数据的维度表示形式为：(lat,lon)，这两个数据的维度是不一样的，正常情况下是无法聚合成一个数据的，所以得先给地形数据扩充一个维度变成三维数据，其维度表示形式为：(1,lat,lon)，此时就可以将维度相同的降水数据和地形数据整合在一起，变成维度为：(hour,lat,lon,filter)的双通道数据，此处filter＝2，而此数据就是所需的训练数据。
需要说明的是，上述降水数据仅仅是一个示例，在实际应用中，还可以是其他数据，如其他气象数据，如温度、湿度等，当然，待处理图像也可以表示其他数据的图像。
将上述获得的目标训练集输入图像重建模型200中，将测试集作为标签数据输入图像重建模型200中，在训练过程中，不断优化图像重建模型200的输出结果与标签数据的误差大小，并更新模型的参数，最终获得训练后的模型的参数。
其中，图像重建模型200的训练过程跟上述实施例中的具体实现过程一致，在此不过多赘述。在训练过程中，根据图像重建模型200的输出结果设置优化函数，基于优化函数对目标训练集进行迭代，继续对图像重建模型200进行训练，从而得到训练后的图像重建模型200。
其中，图像重建模型200中的网络参数包括残差网络212中的卷积核、图像重构网络214中的反卷积核以及卷积核。
然后根据优化函数中的网络参数来对图像重建模型200进行优化，当网络参数处于一个预设范围且保持稳定后，得到训练后的图像重建模型200。
对于训练后的图像重建模型200，可以设置一系列指标来对图像重建模型200的预测效果进行评价，具体指标如下：
准确率：
召回率：
均方误差：
其中，TP为真正例，FP为假正例，FN为假反例，准确率是主要考量的指标，准确率越高，在表明模型的预测效果越好。均方误差即为损失函数，其中，labeli表示正确的标签数据，predictioni表示图像重建模型200输出的预测值，n表示目标训练集的数量。
在上述实现过程中，通过上述的优化函数对图像重建模型200进行训练，从而可以优化图像重建模型200中的网络参数，进而可获得最优的网络参数。
请参照图8，图8为本申请实施例提供的一种图像处理装置300的结构框图，该装置300可以是电子设备上的模块、程序段或代码。应理解，该装置300与上述图5方法实施例对应，能够执行图5方法实施例涉及的各个步骤，该装置300具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。其中，该装置300中存储有图像重建模型，用于通过图像重建模型对图像进行重建，所述图像重建模型包括至少一级图像重建网络，所述至少一级图像重建网络中的每一级图像重建网络均包括残差网络、图像重构网络以及图像融合网络。
可选地，该装置300包括：
特征提取模块310，用于通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图，其中，所述待处理图像的分辨率为第一分辨率；
图像重构模块320，用于通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像，其中，所述第一卷积图像和所述第一反卷积图像的分辨率均为第二分辨率，所述第二分辨率高于所述第一分辨率；
图像融合模块330，用于通过所述第一级图像重建网络中的图像融合网络对所述第一卷积图像与所述第一反卷积图像进行融合处理，获得第一目标图像，所述第一目标图像的分辨率为所述第二分辨率。
可选地，所述图像重建网络的级数为根据需对所述待处理图像的分辨率进行放大的放大倍数确定的。
可选地，所述装置300还包括：
另一图像重建模块，用于：
通过第n级图像重建网络中的残差网络对获得的第n-1反卷积图像进行特征提取，获得第n特征图，其中，所述第n-1反卷积图像的分辨率为第n分辨率，n为大于或等于2的正整数；
通过所述第n级图像重建网络中的图像重构网络对所述第n特征图和所述第n目标图像分别进行重构处理，得到第n特征图对应的第n卷积图像和所述第n目标图像对应的第n反卷积图像，其中，所述第n卷积图像和所述第n反卷积图像的分辨率均为第n+1分辨率，所述第n+1分辨率大于第n分辨率；
通过所述第n级图像重建网络中的图像融合网络对所述第n卷积图像与所述第n反卷积图像进行融合处理，获得第n目标图像，所述第n目标图像的分辨率为所述第n+1分辨率。
可选地，所述残差网络包括多个卷积层，所述特征提取模块310，具体用于通过以下公式对所述待处理图像进行特征提取，获得第一特征图；
F1＝dense_block(x)；
其中，F1表示所述第一特征图，x表示所述待处理图像，dense_block()函数表示所述多个卷积层对所述待处理图像进行特征提取操作。
可选地，第i个卷积层通过以下公式进行特征提取操作：
xi＝T([x0,x1,...,xi-1])；
其中，xi表示第i个卷积层的输出，T(·)函数表示有三个函数串联组合的函数，表示如下：
BN→ReLU→Conv(3*3)
其中，BN表示归一化操作，ReLU表示激活函数，Conv(·)表示卷积操作，其中，Conv(·)表示为：
Conv(·)＝[x0,x1,…xi-1]×W+bias
其中，[x0,x1,...,xi-1]表示第i个卷积层的输入为前i-1个卷积层的输出的串联组合，W为卷积核，bias为偏置参数。
可选地，所述图像重构模块320，具体用于通过所述第一级图像重建网络中的图像重构网络对所述第一特征图进行反卷积处理，获得目标反卷积图像，其中，所述目标反卷积图像的分辨率为所述第二分辨率；通过所述第一级图像重建网络中的图像重构网络对所述目标反卷积图像进行卷积操作，获得第一卷积图像，其中，所述第一卷积图像的分辨率为所述第二分辨率；通过所述第一级图像重建网络中的图像重构网络对所述待处理图像进行反卷积处理，获得第一反卷积图像，其中，所述第一反卷积图像的分辨率为所述第二分辨率。
可选地，所述图像重构模块320，还用于通过以下公式对所述待处理图像进行反卷积处理，获得第一反卷积图像；
H1＝Conv_transpose(x,w1,output_shape1)；
其中，H1表示所述第一反卷积图像，w1为反卷积核，output_shape1表示所述第一反卷积图像大小，x表示所述待处理图像，Conv_transpose()表示反卷积操作。
可选地，所述图像重构模块320，还用于通过以下公式对所述第一特征图进行反卷积处理，获得目标反卷积图像；
F2＝Conv_transpose(F1,w2,output_shape2)；
其中，F2表示所述目标反卷积图像，F1表示所述第一特征图，w2为反卷积核，output_shape1表示所述目标反卷积图像的大小，Conv_transpose()表示反卷积操作。
可选地，所述图像重构模块320，还用于：
通过以下公式对所述目标反卷积图像进行卷积操作，获得第一卷积图像；
S1＝F2×W2+bias2；
其中，S1表示所述第一卷积图像，F2表示所述目标反卷积图像，W2为卷积核，bias2为偏置参数。
可选地，所述装置300还包括：
训练模块，用于基于以下优化函数对所述图像重建模型进行训练；
其中，n表示训练样本个数，函数H表示第i个训练样本Xi经过所述图像重建模型进行处理后的输出结果，Yi表示所述训练样本Xi对应的标签数据，θ为所述图像重建模型中的网络参数。
可选地，所述待处理图像表示目标区域在目标时段的降水数据的低分辨率图像。
本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图5所示方法实施例中电子设备所执行的方法过程。
综上所述，本申请实施例提供一种图像处理方法及装置，该方法中通过在图像重建模型中加入残差网络，由于残差网络中各个卷积层的输入均为前面所有卷积层的输出，所以，残差网络可以很好地提取待处理图像中的特征，从而可以有效避免梯度消散的问题，使得获得的高分辨率图像可以保留原始的待处理图像中更多的细节，效果更好。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，用于通过图像重建模型对图像进行重建，所述图像重建模型包括至少一级图像重建网络，所述至少一级图像重建网络中的每一级图像重建网络均包括残差网络、图像重构网络以及图像融合网络，所述方法包括：
通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图，其中，所述待处理图像的分辨率为第一分辨率；
通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像，其中，所述第一卷积图像和所述第一反卷积图像的分辨率均为第二分辨率，所述第二分辨率高于所述第一分辨率；
通过所述第一级图像重建网络中的图像融合网络对所述第一卷积图像与所述第一反卷积图像进行融合处理，获得第一目标图像，所述第一目标图像的分辨率为所述第二分辨率。
2.根据权利要求1所述的方法，其特征在于，所述图像重建网络的级数为根据需对所述待处理图像的分辨率进行放大的放大倍数确定的。
3.根据权利要求2所述的方法，其特征在于，所述至少一级图像重建网络包括多级图像重建网络，在所述获得第一目标图像之后，所述方法还包括：
通过第n级图像重建网络中的残差网络对获得的第n-1反卷积图像进行特征提取，获得第n特征图，其中，所述第n-1反卷积图像的分辨率为第n分辨率，n为大于或等于2的正整数；
通过所述第n级图像重建网络中的图像重构网络对所述第n特征图和第n目标图像分别进行重构处理，得到所述第n特征图对应的第n卷积图像和所述第n目标图像对应的第n反卷积图像，其中，所述第n卷积图像和所述第n反卷积图像的分辨率均为第n+1分辨率，所述第n+1分辨率大于第n分辨率；
通过所述第n级图像重建网络中的图像融合网络对所述第n卷积图像与所述第n反卷积图像进行融合处理，获得第n目标图像，所述第n目标图像的分辨率为所述第n+1分辨率。
4.根据权利要求1所述的方法，其特征在于，所述残差网络包括多个卷积层，所述通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图，包括：
通过以下公式对所述待处理图像进行特征提取，获得第一特征图；
F1＝dense_block(x)；
其中，F1表示所述第一特征图，x表示所述待处理图像，dense_block()函数表示所述多个卷积层对所述待处理图像进行特征提取操作。
5.根据权利要求4所述的方法，其特征在于，第i个卷积层通过以下公式进行特征提取操作：
xi＝T([x0,x1,...,xi-1])；
其中，xi表示第i个卷积层的输出，T(·)函数表示有三个函数串联组合的函数，表示如下：
BN→ReLU→Conv(3*3)
其中，BN表示归一化操作，ReLU表示激活函数，Conv(·)表示卷积操作，其中，Conv(·)表示为：
Conv(·)＝[x0,x1,…xi-1]×W+bias
其中，[x0,x1,...,xi-1]表示第i个卷积层的输入为前i-1个卷积层的输出的串联组合，W为卷积核，bias为偏置参数。
6.根据权利要求1所述的方法，其特征在于，所述通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像，包括：
通过所述第一级图像重建网络中的图像重构网络对所述第一特征图进行反卷积处理，获得目标反卷积图像，其中，所述目标反卷积图像的分辨率为所述第二分辨率；
通过所述第一级图像重建网络中的图像重构网络对所述目标反卷积图像进行卷积操作，获得第一卷积图像，其中，所述第一卷积图像的分辨率为所述第二分辨率；
通过所述第一级图像重建网络中的图像重构网络对所述待处理图像进行反卷积处理，获得第一反卷积图像，其中，所述第一反卷积图像的分辨率为所述第二分辨率。
7.根据权利要求6所述的方法，其特征在于，所述通过所述第一级图像重建网络中的图像重构网络对所述待处理图像进行反卷积处理，获得第一反卷积图像，包括：
通过以下公式对所述待处理图像进行反卷积处理，获得第一反卷积图像；
H1＝Conv_transpose(x,w1,output_shape1)；
其中，H1表示所述第一反卷积图像，w1为反卷积核，output_shape1表示所述第一反卷积图像的大小，x表示所述待处理图像，Conv_transpose()表示反卷积操作。
8.根据权利要求6所述的方法，其特征在于，所述通过所述第一级图像重建网络中的图像重构网络对所述第一特征图进行反卷积处理，获得目标反卷积图像，包括：
通过以下公式对所述第一特征图进行反卷积处理，获得目标反卷积图像；
F2＝Conv_transpose(F1,w2,output_shape2)；
其中，F2表示所述目标反卷积图像，F1表示所述第一特征图，w2为反卷积核，output_shape2表示所述目标反卷积图像的大小，Conv_transpose()表示反卷积操作。
9.根据权利要求8所述的方法，其特征在于，所述通过所述第一级图像重建网络中的图像重构网络对所述目标反卷积图像进行卷积操作，获得第一卷积图像，包括：
通过以下公式对所述目标反卷积图像进行卷积操作，获得第一卷积图像；
S1＝F2×W2+bias2；
其中，S1表示所述第一卷积图像，F2表示所述目标反卷积图像，W2为卷积核，bias2为偏置参数。
10.一种图像处理装置，其特征在于，用于通过图像重建模型对图像进行重建，所述图像重建模型包括至少一级图像重建网络，所述至少一级图像重建网络中的每一级图像重建网络均包括残差网络、图像重构网络以及图像融合网络，所述装置包括：
特征提取模块，用于通过所述至少一级图像重建网络中第一级图像重建网络中的残差网络对获得的待处理图像进行特征提取，获得第一特征图，其中，所述待处理图像的分辨率为第一分辨率；
图像重构模块，用于通过所述第一级图像重建网络中的图像重构网络对所述第一特征图和所述待处理图像分别进行重构处理，得到所述第一特征图对应的第一卷积图像和所述待处理图像对应的第一反卷积图像，其中，所述第一卷积图像和所述第一反卷积图像的分辨率均为第二分辨率，所述第二分辨率高于所述第一分辨率；
图像融合模块，用于通过所述第一级图像重建网络中的图像融合网络对所述第一卷积图像与所述第一反卷积图像进行融合处理，获得第一目标图像，所述第一目标图像的分辨率为所述第二分辨率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910878610.4A CN110610459A (zh) | 2019-09-17 | 2019-09-17 | 图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910878610.4A CN110610459A (zh) | 2019-09-17 | 2019-09-17 | 图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110610459A true CN110610459A (zh) | 2019-12-24 |
Family
ID=68891445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910878610.4A Pending CN110610459A (zh) | 2019-09-17 | 2019-09-17 | 图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610459A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827666A (zh) * | 2021-01-27 | 2022-07-29 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064407A (zh) * | 2018-09-13 | 2018-12-21 | 武汉大学 | 基于多层感知机层的密集连接网络图像超分辨率方法 |
| CN109299163A (zh) * | 2018-11-26 | 2019-02-01 | 武汉大学 | 一种基于卷积神经网络的降水数据的插值方法及装置 |
| CN109544448A (zh) * | 2018-11-09 | 2019-03-29 | 浙江工业大学 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
| CN110020987A (zh) * | 2019-03-24 | 2019-07-16 | 北京工业大学 | 一种基于深度学习的医学影像超分辨率重建方法 |
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
-
2019
- 2019-09-17 CN CN201910878610.4A patent/CN110610459A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064407A (zh) * | 2018-09-13 | 2018-12-21 | 武汉大学 | 基于多层感知机层的密集连接网络图像超分辨率方法 |
| CN109544448A (zh) * | 2018-11-09 | 2019-03-29 | 浙江工业大学 | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 |
| CN109299163A (zh) * | 2018-11-26 | 2019-02-01 | 武汉大学 | 一种基于卷积神经网络的降水数据的插值方法及装置 |
| CN110020987A (zh) * | 2019-03-24 | 2019-07-16 | 北京工业大学 | 一种基于深度学习的医学影像超分辨率重建方法 |
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| GAO HUANG 等: "Densely Connected Convolutional Networks", 《HTTP://WWW.ARXIV.COM》 * |
| TONG TONG 等: "Image Super-Resolution Using Dense Skip Connections", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| WEI-SHENG LAI 等: "Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827666A (zh) * | 2021-01-27 | 2022-07-29 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN113033570B (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| CN110782395B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN113486897A (zh) | 一种卷积注意力机制上采样解码的语义分割方法 | |
| CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
| CN110288524B (zh) | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 | |
| CN112258526A (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
| CN109377532B (zh) | 基于神经网络的图像处理方法及装置 | |
| CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
| CN110619604B (zh) | 三维降尺度方法、装置、电子设备及可读存储介质 | |
| CN111754404A (zh) | 基于多尺度机制和注意力机制的遥感图像时空融合方法 | |
| CN112700460B (zh) | 图像分割方法及系统 | |
| CN111353939A (zh) | 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法 | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| CN114494022B (zh) | 模型训练方法、超分辨率重建方法、装置、设备及介质 | |
| CN113538402B (zh) | 一种基于密度估计的人群计数方法及系统 | |
| Chen et al. | A lightweight iterative error reconstruction network for infrared image super-resolution in smart grid | |
| CN110517267B (zh) | 一种图像分割方法及装置、存储介质 | |
| CN117726954B (zh) | 一种遥感图像海陆分割方法及系统 | |
| CN115272082A (zh) | 模型训练、视频质量提升方法、装置和计算机设备 | |
| CN110610459A (zh) | 图像处理方法及装置 | |
| CN116434039B (zh) | 一种基于多尺度拆分注意力机制的目标检测方法 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191224 |