CN115170396A - 一种图像处理方法及装置、电子设备、存储介质 - Google Patents
一种图像处理方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN115170396A CN115170396A CN202210842060.2A CN202210842060A CN115170396A CN 115170396 A CN115170396 A CN 115170396A CN 202210842060 A CN202210842060 A CN 202210842060A CN 115170396 A CN115170396 A CN 115170396A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- network
- image processing
- processing model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 111
- 238000012549 training Methods 0.000 claims abstract description 61
- 230000033001 locomotion Effects 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000004913 activation Effects 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法及装置、电子设备、存储介质，可应用于人工智能或金融领域，所述方法包括：获取当前待处理图像；将当前待处理图像输入预先训练好的图像处理模型中，通过图像处理模型对当前待处理图像进行处理，得到当前待处理图像的目标图像；其中，目标图像指代清晰的高分辨率图像；图像处理模型预先利用多组训练数据训练得到；图像处理模型包括图像超分辨重建子网络和运动去模糊子网络；图像超分辨重建子网络包括多个残差单元；每个残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子；第一比例因子与第二比例因子的和为1；运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法及装置、电子设备、存储介质。
背景技术
随着自媒体行业的不断发展，当前越来越多的人存在对图像或者视频帧进行处理的需求。而对图像进行处理，最基本的就是将低质量的模糊图像，处理为高质量的清晰图像，其次再是根据个人需求进行其他的处理。
由于图像质量的下降主要的一个原因是由下采样引起的图像的分辨率较低导致的。所以当前，通常会通过高分辨率的图像训练出超分辨率映射网络模型，然后通过超分辨率映射网络模型对低质量的图像进行处理，从而提高图像的分辨率，进而提供图像的质量。
但是图像质量下降还存在一个较大的因素，就是运动模糊，即在一次保管中拍摄的图像快速快动而导致的。并且，在实现的拍摄过程中得到低质量的图像，往往是两个因素同时造成的，所以采用现有的方式，对于图像质量的提高非常的有限。
发明内容
基于上述现有技术的不足，本申请提供了一种图像处理方法及装置、电子设备、存储介质，以解决现有技术对图像质量的提供比较有限的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请第一方面提供了一种图像处理方法，包括：
获取当前待处理图像；
将所述当前待处理图像输入预先训练好的图像处理模型中，通过所述图像处理模型对所述当前待处理图像进行处理，得到所述当前待处理图像的目标图像；其中，所述目标图像指代清晰的高分辨率图像；所述图像处理模型预先利用多组训练数据训练得到；所述图像处理模型包括图像超分辨重建子网络和运动去模糊子网络；所述图像超分辨重建子网络包括多个残差单元；每个所述残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子；所述第一比例因子与所述第二比例因子的和为1；所述运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。
可选地，在上述的图像处理方法中，所述图像处理模型的训练方法，包括：
获取多组所述训练数据；其中，一组所述训练数据包括一张图像的第一图像、第二图像以及第三图像；所述第一图像指代清晰的高分辨率图像；第二图像指代模糊的高分辨率图像；第三图像指代模糊的低分辨率图像；
基于ADAM梯度下降算法，利用各组所述样本图像中的所述第一图像和所述第二图像对所述运动去模糊子网络进行训练；
利用各组所述样本图像中的所述第一图像和所述第三图像，对所述图像超分辨重建子网络和所述运动去模糊子网络进行联合训练，得到训练好的所述图像处理模型。
可选地，在上述的图像处理方法中，所述获取多组所述训练数据，包括：
从GOPRO数据集中获取多组图像数据；其中，每组所述图像数据包括一张图像的所述第一图像以及所述第二图像；
分别针对每组所述图像数据，利用插值法对所述图像数据中的所述第二图像进行处理，得到所述第二图像对应的所述第三图像，并将所述第二图像对应的第三图像划分至所述二图像所属的所述图像数据中；
按照预设裁剪步长将各组所述图像数据中的图像裁剪成指定大小，得到多组所述训练数据。
可选地，在上述的图像处理方法中，还包括：
从所述GOPRO数据集和Lai数据集中选取多张图像作为验证集；
将所述验证集中各张所述图像分别输入所述图像处理模型中进行处理，得到所述验证集中的各张所述图像的所述目标图像；
基于验证集中的各种所述图像以及各张所述图像的所述目标图像，计算峰值信噪比以及结构相似性；
若所述峰值信噪比以及所述结构相似性均满足对应的预设阈值，则确定所述图像处理模型满足预设标准。
本申请第二方面提供了一种图像处理装置，包括：
第一获取单元，用于获取当前待处理图像；
第一处理单元，用于将所述当前待处理图像输入预先训练好的图像处理模型中，通过所述图像处理模型对所述当前待处理图像进行处理，得到所述当前待处理图像的目标图像；其中，所述目标图像指代清晰的高分辨率图像；所述图像处理模型预先利用多组训练数据训练得到；所述图像处理模型包括图像超分辨重建子网络和运动去模糊子网络；所述图像超分辨重建子网络包括多个残差单元；每个所述残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子；所述第一比例因子与所述第二比例因子的和为1；所述运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。
可选地，在上述的图像处理装置中，还包括：
第二获取单元，用于获取多组所述训练数据；其中，一组所述训练数据包括一张图像的第一图像、第二图像以及第三图像；所述第一图像指代清晰的高分辨率图像；第二图像指代模糊的高分辨率图像；第三图像指代模糊的低分辨率图像；
第一训练单元，用于基于ADAM梯度下降算法，利用各组所述样本图像中的所述第一图像和所述第二图像对所述运动去模糊子网络进行训练；
第二训练单元，用于利用各组所述样本图像中的所述第一图像和所述第三图像，对所述图像超分辨重建子网络和所述运动去模糊子网络进行联合训练，得到训练好的所述图像处理模型。
可选地，在上述的图像处理装置中，所述第二获取单元，包括：
数据获取单元，用于从GOPRO数据集中获取多组图像数据；其中，每组所述图像数据包括一张图像的所述第一图像以及所述第二图像；
插值处理单元，用于分别针对每组所述图像数据，利用插值法对所述图像数据中的所述第二图像进行处理，得到所述第二图像对应的所述第三图像，并将所述第二图像对应的第三图像划分至所述二图像所属的所述图像数据中；
裁剪单元，用于按照预设裁剪步长将各组所述图像数据中的图像裁剪成指定大小，得到多组所述训练数据。
可选地，在上述的图像处理装置中，还包括：
选取单元，用于从所述GOPRO数据集和Lai数据集中选取多张图像作为验证集；
第二处理单元，用于将所述验证集中各张所述图像分别输入所述图像处理模型中进行处理，得到所述验证集中的各张所述图像的所述目标图像；
计算单元，用于基于验证集中的各种所述图像以及各张所述图像的所述目标图像，计算峰值信噪比以及结构相似性；
确定单元，用于在所述峰值信噪比以及所述结构相似性均满足对应的预设阈值时，确定所述图像处理模型满足预设标准。
本申请第三方面提供了一种电子设备，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的图像处理方法。
本申请第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的图像处理方法。
本申请提供了一种图像处理方法，预先利用多组训练数据训练好了图像处理模型。其中，该图像处理模型包括图像超分辨重建子网络和运动去模糊子网络，从而这两个任务进行解耦合，并共同训练。其中，图像超分辨重建子网络包括多个残差单元；每个残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子；第一比例因子与第二比例因子的和为1；运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。所以在获取到当前待处理图像时，将当前待处理图像输入预先训练好的图像处理模型中，通过图像处理模型对当前待处理图像进行处理，就可以得到当前待处理图像的清晰的高分辨率的目标图像。同时考虑了图像的低分辨率因素以及运动模糊因素，从而可以有效提供图像的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程图；
图2为本申请实施例提供的一种图像处理模型的训练方法的流程图；
图3为本申请实施例提供的一种获取多组训练数据的方法的流程图；
图4为本申请实施例提供的一种图像处理模型的验证方法的流程图；
图5为本申请实施例提供的一种图像处理装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种图像处理方法，如图1所示，包括以下步骤：
S101、获取当前待处理图像。
需要说明的是，由于本申请实施例中的图像处理模型是由解耦的图像超分辨重建子网络和运动去模糊子网络组成的，所以可以完成单去模糊，单超分辨率处理以及同时去模糊和超分辨处理，当前待处理图像可以是存在上面三项需求的任意一项的图像。
S102、将当前待处理图像输入预先训练好的图像处理模型中，通过图像处理模型对当前待处理图像进行处理，得到当前待处理图像的目标图像。
其中，目标图像指代清晰的高分辨率图像。图像处理模型预先利用多组训练数据训练得到。
需要说明的是，对于清洗图像x，因采样原因生成模糊图像的图像退化模型可以表示为：
y＝(xs1)s2+n
其中，n表示加性噪音，一般为高斯噪音；s1和s2分别表示倍数为s的下采样和上采样操作。
而在给定的采用到的清晰帧运动模糊的累计过程可以表示为：
其中，N和xi分别标识在一定时间内采样得到的帧数据量和采用得到的第i个清晰的视频帧，y表示的是既不是低分辨，也不存在运动模糊的图像。
所以根据上述的两个表达式，广泛使用的多退化因素的退化模型可以由下述公式表示：
需要说明的是，为了模拟运动模糊，所以对相邻的几个视频帧作取平均操作，而通过先下采样然后上采样会导致图像的分辨率降低。并且，若是这两种方式的顺序对调，则退化模型也会相应的变化，具体可以表示为：
在本申请实施例中，为了将低分辨率且模糊的图像恢复为高分辨率且清晰的图像。基于此，构建一个基于解耦合作学习的快速图像超分辨率同时运动去模糊网络。该网络的图像超分辨率重建任务中，可以将双三次下采样操作看成对高分辨率图像的线性卷积，所以可以将两次采样操作视为一个卷积操作，将其卷积的卷积核记为h。对于图像运动去模糊任务，则可以假设模糊核为k，将与每个模糊图像对应的潜在清晰图像作为清晰帧的中间帧来生成模糊图像，所以根据上面的两个退化模型的表达时，可以得到要构建的网络的表达式为：
y＝(x*k)*h+n
其中，“*”表示卷积操作。
而根据卷积运行的结合律，上式可以表示为：
y＝x*(k*h)+n
根据上市，反过来将模糊且低分辨率的图像作为输入，清晰且高分辨率的图像作为输出，则可以表示为：
其中，rHR和rM分别表示的超分辨重建的参数以及运动去模糊的参数。
所以可见，可以通过不同的CNN独立学习到这两个参数，则将退化图像y输入模型中，就可以重建出清晰，且具有高分辨率的目标图像x。
因此，本申请实施例提供的图像处理模型包括图像超分辨重建子网络和运动去模糊子网络。
可选地，在由于是将两者进行解耦，所以需要分别标识高分辨率细节和运动模糊细节，所以在本申请实施例中所设置解耦合众学习的损失函数为：
其中，H(y,θ)和
分别表示高分辨率细节和运动模糊细节；θ和
分别表示的是图像超分辨重建子网络和运动去模糊子网络的网络参数；xi和yi分别表一对清晰的高分辨率图像和多个退化图像，即模糊的低分辨率图像。
图像超分辨重建子网络包括多个残差单元。每个残差单元包括一对具有激活函数(PReLU)以及第一比例因子β的对称卷积层和反卷积层，以及第二比例因子α，即还在每个残差单元中引入了第二比例因子。其中，第一比例因子与第二比例因子的和为1。
所以，低于第l个残差单元，若其输入为，输出为，则该残差单元的定义为：
t1＝αh(xl)+β(xl,wl),xl+1＝g(tl)
其中，h是旁路路径的身份映射；wl为该参数单元的参数；g为PreLU激活函数。
因此通过多个残差单元构建的图像超分辨重建子网络可以表示为：
H(x,θ)＝frec(Rn(Rn-1(...R(x)...)))
其中，x为输入，θ为该子网络的参数，R即为残差单元，n为残差单元的数量，frec为卷积网络重建操作。
对于运动去模糊网络，其采用多层递归结果的深度编码器和解码器构成的框架。其可以将提取的一定尺度的特征信息递归地传递给模型的不同尺度层。当输入模糊图像时，图像去模糊子网络将按照解码器的不同尺度结构逐步重建运动细节。
可选地，在本申请另一实施例中，提供了一种图像处理模型的训练方法，如图2所示，包括：
S201、获取多组训练数据。
其中，一组训练数据包括一张图像的第一图像、第二图像以及第三图像。
第一图像指代清晰的高分辨率图像。第二图像指代模糊的高分辨率图像。第三图像指代模糊的低分辨率图像。
可选地，在本申请另一实施例中，步骤S201的一种具体实施方式，如图3所示，包括：
S301、从GOPRO数据集中获取多组图像数据。
其中，每组图像数据包括一张图像的第一图像以及第二图像。
需要说明的是，GOPRO数据集是一种现有的，通过混合高速摄像机捕获的清晰视频帧而生成合成数据集，其训练集中包含2103组清晰和模糊的高分辨率图像对，即包含了2103组图像数据。测试集中包含1111张模糊的高分辨率图像，所有图像的分辨率均为1280×720。
所以为了方便，所以本申请实施例，直接从GOPRO数据集的训练集中获取多组图像数据用于模型训练。
S302、分别针对每组图像数据，利用插值法对图像数据中的第二图像进行处理，得到第二图像对应的第三图像，并将第二图像对应的第三图像划分至二图像所属的图像数据中。
需要说明的是，在GOPRO数据集中未包含有模糊的低分辨率图像，所以需要通过其中的模糊的高分辨率图像获得，即通过对第二图像进行处理得到。
具体使用双三次插值的方法来来实现。
S303、按照预设裁剪步长将各组图像数据中的图像裁剪成指定大小，得到多组训练数据。
为了便于训练，所以在本申请实施例中，还需要将图像裁剪为指定大小。具体可以是按照补充27，将图像裁剪为96×96大小。
S202、基于ADAM梯度下降算法，利用各组样本图像中的第一图像和第二图像对运动去模糊子网络进行训练。
可选地，对于运动去模糊子网络的训练的学习率可以设置为0.001，超参数batchsize可以设置为24。
S203、利用各组样本图像中的第一图像和第三图像，对图像超分辨重建子网络和运动去模糊子网络进行联合训练，得到训练好的图像处理模型。
具体的，使用第三图像作为输入，而使用第一图像监督其输出。并且可选地，同样可以使用ADAM优化器，学习率设置为0.0001。
可选地，在本申请另一实施例中，还进一步包括对图像处理模型的验证方法，如图4所示，本申请实施例提供的一种图像处理模型的验证方法，包括：
S401、从GOPRO数据集和Lai数据集中选取多张图像作为验证集。
需要说明的是，本申请实施例提供的图像模型需要能单去模糊，单超分辨率处理以及同时去模糊和超分辨处理。而GOPRO数据集的训练集中包含有模糊的高分辨率图像。Lai数据集是一个人工制作的运动模糊图像数据集，每张图像的大小从502×351到1280×680，是通过清晰图像与一个范围在21×21到75×75之间的一个随机模糊核卷积而来的，所以其包含有模糊的低分辨率图像和模糊的高分辨率图像，因此从GOPRO数据集和Lai数据集中选取图像作为验证集，可以更全面的对模型进行验证。
S402、将验证集中各张图像分别输入图像处理模型中进行处理，得到验证集中的各张图像的目标图像。
S403、基于验证集中的各种图像以及各张图像的目标图像，计算峰值信噪比以及结构相似性。
S404、判断峰值信噪比以及结构相似性是否均满足对应的预设阈值。
其中，峰值信噪比(PSNR)是一种评价图像的客观标准，用于衡量某个处理程序能否令人满意。结构相似性(SSIM)是一种衡量两幅图像相似度的指标，所以通过这两个指标，可以更准确的判断出图像处理模型对于验证集的图像的处理效果是否满足要求。
其中，若判断峰值信噪比以及结构相似性均满足对应的预设阈值，则执行步骤S405。
S405、确定图像处理模型满足预设标准。
本申请实施例提供了一种图像处理方法，预先利用多组训练数据训练好了图像处理模型。其中，该图像处理模型包括图像超分辨重建子网络和运动去模糊子网络，从而这两个任务进行解耦合，并共同训练。其中，图像超分辨重建子网络包括多个残差单元；每个残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子；第一比例因子与第二比例因子的和为1；运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。所以在获取到当前待处理图像时，将当前待处理图像输入预先训练好的图像处理模型中，通过图像处理模型对当前待处理图像进行处理，就可以得到当前待处理图像的清晰的高分辨率的目标图像。同时考虑了图像的低分辨率因素以及运动模糊因素，从而可以有效提供图像的质量。
本申请另一实施例提供了一种图像处理装置，如图5所示，包括：
第一获取单元501，用于获取当前待处理图像。
第一处理单元502，用于将当前待处理图像输入预先训练好的图像处理模型中，通过图像处理模型对当前待处理图像进行处理，得到当前待处理图像的目标图像。
其中，目标图像指代清晰的高分辨率图像。图像处理模型预先利用多组训练数据训练得到。图像处理模型包括图像超分辨重建子网络和运动去模糊子网络。图像超分辨重建子网络包括多个残差单元。每个残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子。第一比例因子与第二比例因子的和为1。运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。
可选地，在本申请另一实施例提供的图像处理装置中，还包括：
第二获取单元，用于获取多组训练数据。
其中，一组训练数据包括一张图像的第一图像、第二图像以及第三图像。第一图像指代清晰的高分辨率图像。第二图像指代模糊的高分辨率图像。第三图像指代模糊的低分辨率图像。
第一训练单元，用于基于ADAM梯度下降算法，利用各组样本图像中的第一图像和第二图像对运动去模糊子网络进行训练。
第二训练单元，用于利用各组样本图像中的第一图像和第三图像，对图像超分辨重建子网络和运动去模糊子网络进行联合训练，得到训练好的图像处理模型。
可选地，在本申请另一实施例提供的图像处理装置中，第二获取单元，包括：
数据获取单元，用于从GOPRO数据集中获取多组图像数据。其中，每组图像数据包括一张图像的第一图像以及第二图像。
插值处理单元，用于分别针对每组图像数据，利用插值法对图像数据中的第二图像进行处理，得到第二图像对应的第三图像，并将第二图像对应的第三图像划分至二图像所属的图像数据中。
裁剪单元，用于按照预设裁剪步长将各组图像数据中的图像裁剪成指定大小，得到多组训练数据。
可选地，在本申请另一实施例提供的图像处理装置中，还包括：
选取单元，用于从GOPRO数据集和Lai数据集中选取多张图像作为验证集。
第二处理单元，用于将验证集中各张图像分别输入图像处理模型中进行处理，得到验证集中的各张图像的目标图像。
计算单元，用于基于验证集中的各种图像以及各张图像的目标图像，计算峰值信噪比以及结构相似性。
确定单元，用于在峰值信噪比以及结构相似性均满足对应的预设阈值时，确定图像处理模型满足预设标准。
需要说明的是，本申请上述实施例提供的各个单元的具体工作过程可相应地参考上述方法实施例中的相应的步骤，此处不再赘述。
本申请另一实施例提供了一种电子设备，如图6所示，包括：
存储器601和处理器602。
其中，存储器601用于存储程序。
处理器602用于执行存储器601存储的程序，该程序被执行时，具体用于实现如上述任意一个实施例提供的图像处理方法。
本申请另一实施例提供了一种计算机存储介质，用于存储计算机程序，该计算机程序被执行时，用于实现如上述任意一个实施例提供的图像处理方法。
计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，本发明提供的一种图像处理方法及装置、电子设备、存储介质可用于人工智能领域或金融领域。上述仅为示例，并不对本发明提供的一种图像处理方法及装置、电子设备、存储介质的应用领域进行限定。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取当前待处理图像；
将所述当前待处理图像输入预先训练好的图像处理模型中，通过所述图像处理模型对所述当前待处理图像进行处理，得到所述当前待处理图像的目标图像；其中，所述目标图像指代清晰的高分辨率图像；所述图像处理模型预先利用多组训练数据训练得到；所述图像处理模型包括图像超分辨重建子网络和运动去模糊子网络；所述图像超分辨重建子网络包括多个残差单元；每个所述残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子；所述第一比例因子与所述第二比例因子的和为1；所述运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。
2.根据权利要求1所述的方法，其特征在于，所述图像处理模型的训练方法，包括：
获取多组所述训练数据；其中，一组所述训练数据包括一张图像的第一图像、第二图像以及第三图像；所述第一图像指代清晰的高分辨率图像；第二图像指代模糊的高分辨率图像；第三图像指代模糊的低分辨率图像；
基于ADAM梯度下降算法，利用各组所述样本图像中的所述第一图像和所述第二图像对所述运动去模糊子网络进行训练；
利用各组所述样本图像中的所述第一图像和所述第三图像，对所述图像超分辨重建子网络和所述运动去模糊子网络进行联合训练，得到训练好的所述图像处理模型。
3.根据权利要求2所述的方法，其特征在于，所述获取多组所述训练数据，包括：
从GOPRO数据集中获取多组图像数据；其中，每组所述图像数据包括一张图像的所述第一图像以及所述第二图像；
分别针对每组所述图像数据，利用插值法对所述图像数据中的所述第二图像进行处理，得到所述第二图像对应的所述第三图像，并将所述第二图像对应的第三图像划分至所述二图像所属的所述图像数据中；
按照预设裁剪步长将各组所述图像数据中的图像裁剪成指定大小，得到多组所述训练数据。
4.根据权利要求3所述的方法，其特征在于，还包括：
从所述GOPRO数据集和Lai数据集中选取多张图像作为验证集；
将所述验证集中各张所述图像分别输入所述图像处理模型中进行处理，得到所述验证集中的各张所述图像的所述目标图像；
基于验证集中的各种所述图像以及各张所述图像的所述目标图像，计算峰值信噪比以及结构相似性；
若所述峰值信噪比以及所述结构相似性均满足对应的预设阈值，则确定所述图像处理模型满足预设标准。
5.一种图像处理装置，其特征在于，包括：
第一获取单元，用于获取当前待处理图像；
第一处理单元，用于将所述当前待处理图像输入预先训练好的图像处理模型中，通过所述图像处理模型对所述当前待处理图像进行处理，得到所述当前待处理图像的目标图像；其中，所述目标图像指代清晰的高分辨率图像；所述图像处理模型预先利用多组训练数据训练得到；所述图像处理模型包括图像超分辨重建子网络和运动去模糊子网络；所述图像超分辨重建子网络包括多个残差单元；每个所述残差单元包括一对具有激活函数以及第一比例因子的对称卷积层和反卷积层，以及第二比例因子；所述第一比例因子与所述第二比例因子的和为1；所述运动去模糊网络采用多层递归结果的深度编码器和解码器构成的框架。
6.根据权利要求5所述的装置，其特征在于，还包括：
第二获取单元，用于获取多组所述训练数据；其中，一组所述训练数据包括一张图像的第一图像、第二图像以及第三图像；所述第一图像指代清晰的高分辨率图像；第二图像指代模糊的高分辨率图像；第三图像指代模糊的低分辨率图像；
第一训练单元，用于基于ADAM梯度下降算法，利用各组所述样本图像中的所述第一图像和所述第二图像对所述运动去模糊子网络进行训练；
第二训练单元，用于利用各组所述样本图像中的所述第一图像和所述第三图像，对所述图像超分辨重建子网络和所述运动去模糊子网络进行联合训练，得到训练好的所述图像处理模型。
7.根据权利要求6所述的装置，其特征在于，所述第二获取单元，包括：
数据获取单元，用于从GOPRO数据集中获取多组图像数据；其中，每组所述图像数据包括一张图像的所述第一图像以及所述第二图像；
插值处理单元，用于分别针对每组所述图像数据，利用插值法对所述图像数据中的所述第二图像进行处理，得到所述第二图像对应的所述第三图像，并将所述第二图像对应的第三图像划分至所述二图像所属的所述图像数据中；
裁剪单元，用于按照预设裁剪步长将各组所述图像数据中的图像裁剪成指定大小，得到多组所述训练数据。
8.根据权利要求7所述的装置，其特征在于，还包括：
选取单元，用于从所述GOPRO数据集和Lai数据集中选取多张图像作为验证集；
第二处理单元，用于将所述验证集中各张所述图像分别输入所述图像处理模型中进行处理，得到所述验证集中的各张所述图像的所述目标图像；
计算单元，用于基于验证集中的各种所述图像以及各张所述图像的所述目标图像，计算峰值信噪比以及结构相似性；
确定单元，用于在所述峰值信噪比以及所述结构相似性均满足对应的预设阈值时，确定所述图像处理模型满足预设标准。
9.一种电子设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如权利要求1至4任意一项所述的图像处理方法。
10.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，用于实现如权利要求1至4任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210842060.2A CN115170396A (zh) | 2022-07-18 | 2022-07-18 | 一种图像处理方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210842060.2A CN115170396A (zh) | 2022-07-18 | 2022-07-18 | 一种图像处理方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170396A true CN115170396A (zh) | 2022-10-11 |
Family
ID=83494293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210842060.2A Pending CN115170396A (zh) | 2022-07-18 | 2022-07-18 | 一种图像处理方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170396A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468613A (zh) * | 2023-06-20 | 2023-07-21 | 深圳市景创科技电子股份有限公司 | 超高清虚拟显示及控制方法、装置、设备及计算机介质 |
-
2022
- 2022-07-18 CN CN202210842060.2A patent/CN115170396A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468613A (zh) * | 2023-06-20 | 2023-07-21 | 深圳市景创科技电子股份有限公司 | 超高清虚拟显示及控制方法、装置、设备及计算机介质 |
| CN116468613B (zh) * | 2023-06-20 | 2023-10-27 | 深圳市景创科技电子股份有限公司 | 超高清虚拟显示及控制方法、装置、设备及计算机介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021233006A1 (zh) | 图像处理模型的训练方法、图像处理方法、装置及设备 | |
| CN111738953A (zh) | 一种基于边界感知对抗学习的大气湍流退化图像复原方法 | |
| CN106570862B (zh) | 一种超分辨率重建质量的评价方法及装置 | |
| FR2851676A1 (fr) | Procede d'obtention d'une image a resolution augmentee par l'utilisation d'une pluralite d'images a faible resolution | |
| JP2022549684A (ja) | 深層学習による位相画像の再構築 | |
| Nair et al. | Direction based adaptive weighted switching median filter for removing high density impulse noise | |
| CN115170396A (zh) | 一种图像处理方法及装置、电子设备、存储介质 | |
| Midoh et al. | Accuracy improvement of phase estimation in electron holography using noise reduction methods | |
| CN110111261B (zh) | 图像的自适应平衡处理方法、电子设备和计算机可读存储介质 | |
| FR2790852A1 (fr) | Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede | |
| Yoo et al. | Sinogram image completion for limited angle tomography with generative adversarial networks | |
| Roziere et al. | Tarsier: Evolving noise injection in super-resolution gans | |
| CN114372935A (zh) | 一种运动模糊图像的复原方法、装置、设备及可读介质 | |
| CN112801890B (zh) | 一种视频处理方法、装置及设备 | |
| CN111929688B (zh) | 一种用于确定雷达回波预测帧序列的方法与设备 | |
| Agarwal et al. | Deblurring of MRI image using blind and non-blind deconvolution methods | |
| Welker et al. | DriftRec: Adapting diffusion models to blind JPEG restoration | |
| CN110278487B (zh) | 图像处理方法、装置及设备 | |
| CN115170812A (zh) | 图像去噪模型训练、降噪方法及其设备、存储介质 | |
| Koloda et al. | Denoising-based image reconstruction from pixels located at non-integer positions | |
| Asha et al. | Satellite image enhancement using contrast limited adaptive histogram equalization | |
| Nguyen | ANALYSIS OF DEEP LEARNING-BASED SUPERRESOLUTION ON THE CLOUD | |
| Kanemura et al. | Hyperparameter estimation in Bayesian image superresolution with a compound Markov random field prior | |
| WO2023125228A1 (zh) | Ct图像环状伪影的处理方法、装置、系统及存储介质 | |
| Sonti et al. | Image Filtration using Graph-based Low Pass Filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |