CN114119428B - 一种图像去模糊方法和装置 - Google Patents
一种图像去模糊方法和装置 Download PDFInfo
- Publication number
- CN114119428B CN114119428B CN202210111165.0A CN202210111165A CN114119428B CN 114119428 B CN114119428 B CN 114119428B CN 202210111165 A CN202210111165 A CN 202210111165A CN 114119428 B CN114119428 B CN 114119428B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- sub
- processing
- deblurring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012545 processing Methods 0.000 claims abstract description 171
- 238000005070 sampling Methods 0.000 claims abstract description 93
- 230000008569 process Effects 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims description 70
- 238000011176 pooling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000011084 recovery Methods 0.000 description 5
- 235000002566 Capsicum Nutrition 0.000 description 4
- 239000006002 Pepper Substances 0.000 description 4
- 241000722363 Piper Species 0.000 description 4
- 235000016761 Piper aduncum Nutrition 0.000 description 4
- 235000017804 Piper guineense Nutrition 0.000 description 4
- 235000008184 Piper nigrum Nutrition 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 150000003839 salts Chemical class 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像去模糊方法，包括：将模糊图像输入预先训练好的去模糊网络；利用所述去模糊网络对输入的模糊图像进行去模糊处理；其中，所述去模糊网络包括结构和参数相同的多个级联子网络。其中子网络可以是U型子网络；在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，得到输出图像，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现所述下采样处理。应用本申请，能够有效恢复图像，且模型的参数量小，易训练。
Description
技术领域
本申请涉及图像处理技术，特别涉及一种图像去模糊方法和装置。
背景技术
视频监控广泛应用于公共安全及交通管理领域，基于视频图像的目标识别等处理可以极大地提高安全预警与分析处理能力。但现有视频监控系统中由于成像器件存在各种物理缺陷或使用环境不利于良好成像、以及使用者的操作问题等原因，对快速运动物体成像时容易存在运动模糊，导致拍摄到的图像细节不够清晰，不利于使用者后续处理与分析。
对于存在运动模糊的图像，传统方法主要是利用预设的模糊核去恢复图像，但是这种方式对复杂环境的适应能力较差。
近年来随着深度学习的兴起，一些深度学习方法也应用在了图像恢复领域，但是目前已有的在图像恢复领域采用深度学习的方法进行图像恢复时，图像恢复效果不好，且网络参数量非常大，对运行时间和空间消耗的比较多。还有一些研究人员使用生成对抗网络进行图像去模糊，但是相应模型的训练难度大，且对数据质量要求很高。
发明内容
本申请提供一种图像去模糊方法和装置，能够有效恢复图像，且模型的参数量小，易训练。
为实现上述目的，本申请采用如下技术方案：
一种图像去模糊方法，其特征在于，包括：
将模糊图像输入预先训练好的去模糊网络；
利用所述去模糊网络对输入的模糊图像进行去模糊处理；
其中，所述去模糊网络包括结构和参数相同的多个级联子网络。
较佳地，所述子网络为U型子网络；
其中，在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，得到输出图像，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现所述下采样处理。
较佳地，训练所述去模糊网络时使用的训练数据是：清晰图像以及由清晰图像生成的对应模糊图像组成的图像对；
由清晰图像生成对应模糊图像的方式包括：
在所述清晰图像上叠加脉冲噪声和/或斑点噪声后生成对应模糊图像；或者，
利用高斯函数对清晰图像进行计算生成对应模糊图像；或者，
将所述清晰图像按照设定方向移动后与原始位置的所述清晰图像叠加，并利用模糊核对叠加后的图像进行模糊处理，生成按照所述设定方向运动后的对应模糊图像。
较佳地，所述清晰图像上目标的运动速度越快，生成对应模糊图像时使用的所述模糊核越大。
较佳地，每个子网络的输入为两个图像在通道维度上的拼接结果；第一个子网络的输入为两个所述模糊图像的拼接结果，除所述第一个子网络外的其他子网络的输入为前一个子网络的输出与所述模糊图像的拼接结果。
较佳地，不同子网络的输入图像尺寸相同；或者，
所述多个级联子网络中，子网络的级联位置越靠前，相应的输入图像尺寸越小。
较佳地，在所述下采样处理后进一步包括池化处理，在与所述下采样处理对应的上采样处理前进一步包括与所述池化处理对应的上采样处理。
较佳地，所述上采样处理为反卷积处理或双线性插值处理。
较佳地，所述利用所述去模糊网络对输入的模糊图像进行去模糊处理包括：
利用所述去模糊网络中的前N个子网络进行处理，并将处理结果作为去模糊处理
的结果；其中，所述N
M，M为所述去模糊网络包括的子网络的总数，所述N和M均为正整数。
较佳地，根据设备的实际性能和/或对复原图像的清晰度要求，确定所述N。
一种图像去模糊装置，包括：输入单元和处理单元；
所述输入单元，用于将模糊图像输入处理单元；
所述处理单元，用于利用预先训练好的去模糊网络对所述模糊图像进行去模糊处理；
其中，所述去模糊网络包括结构和参数相同的多个级联子网络。
较佳地，所述子网络为U型子网络；其中，在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现所述下采样处理。
一种训练装置，包括：训练数据生成单元和训练单元；
所述训练数据单元，用于获取用于训练去模糊网络的训练数据；
所述训练单元，用于利用所述训练数据单元获取的训练数据，训练所述去模糊网络；其中，所述去模糊网络包括结构和参数相同的多个级联子网络。
较佳地，所述子网络为U型子网络；其中，在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现所述下采样处理。
由上述技术方案可见，本申请中，将模糊图像输入预先训练好的去模糊网络；利用去模糊网络对输入的模糊图像进行去模糊处理。其中，去模糊网络包括结构和参数相同的多个级联子网络。在上述处理中，通过将多个结构和参数相同的子网络进行级联来搭建去模糊网络，这样一方面能够提升去模糊的处理效果，另一方面又更加容易训练。
进一步地，多个级联的子网络可以是U型子网络，且在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，得到输出结果；每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现下采样处理。通过上述处理，一方面利用U型子网络能够有效融合图像的多尺度特征，提高去模糊处理的性能，另一方面U型子网络中的下采样处理利用残差模块来实现，这样，能够有效避免梯度消失，又能够进一步提高性能。
附图说明
图1为本申请中图像去模糊方法的基本流程示意图；
图2为本申请实施例中图像去模糊方法的流程示意图；
图3为本申请中图像去模糊网络的基本结构示意图；
图4为残差模块的结构示意图；
图5为U型子网络的另一结构示意图；
图6为本申请中图像去模糊装置的基本结构示意图；
图7为本申请中训练装置的基本结构示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
图1为本申请中图像去模糊方法的基本流程示意图。如图1所示，该方法包括：
步骤101，将模糊图像输入预先训练好的去模糊网络。
其中，去模糊网络包括结构和参数相同的多个级联的子网络。具体地，级联的各个子网络可以是各种现有的神经网络，优选地，可以采用U型子网络，从而能够有效融合图像的多尺度特征，提高去模糊处理的性能。其中，每个U型子网络中的处理可以包括：对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与多级下采样处理分别对应的多级上采样处理，得到输出图像。
在U型子网络中，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出，下采样处理通过残差模块来实现。
步骤102，利用去模糊网络对输入的模糊图像进行去模糊处理。
至此，图1所示的流程结束。在上述图1所示的图像去模糊方法中，去模糊网络要通过预先训练生成，该去模糊网络的训练处理与利用训练好的网络进行的去模糊处理可以在不同设备上进行。
下面通过具体实施例说明本申请的图像去模糊方法。
图2为本申请实施例中图像去模糊方法的流程示意图。其中的子网络采用U型子网络。如图2所示，该方法包括：
步骤201，获取用于训练去模糊网络的训练数据。
在实际拍摄中由于相机的抖动、对焦时间、物体的运动、环境噪声等因素的影响拍摄出的照片经常会有模糊的现象。去模糊的目的就是把这些模糊的图像恢复成清晰的图像，从而提供更多需要的信息。在训练模型前首先需要获取训练数据。通常，可以利用清晰图像进行模糊处理生成对应的模糊图像，在进行去模糊网络的训练时，将清晰图像及其对应的模糊图像组成图像对，将若干图像对作为训练数据。
为了更好的模拟实际应用中遇到的问题，模糊图像可以分为两大类：一类为添加噪声的图像，第二类为由于物体或者相机运动产生的运动模糊等图像。下面分别描述这两类模糊图像的生成方式。
一、在图像上添加噪声
脉冲噪声一般分为三种：盐粒噪声、胡椒噪声、椒盐噪声。盐粒噪声是指随机添加到图像上的像素值为255的白点噪声。胡椒噪声是指随机添加到图像上的像素值为0的黑点噪声。椒盐噪声是指以上两种噪声的随机混合添加。该噪声也称作随机丢弃噪声，因为它会依概率随机丢弃一些原始的像素值，主要来源于成像系统的感知单元的故障。
斑点噪声是指在光学成像和数字全息摄影上常见的问题，在图像重建过程会有斑点噪声的存在。斑点噪声固有地存在于图像中，并且使图像退化。斑点噪声可以通过乘以一张图像上不同的随机像素值来产生。
上述带有各类脉冲噪声和斑点噪声的模糊图像的生成方式可以为：在清晰图像上叠加脉冲噪声和/或斑点噪声后生成模糊图像。
高斯噪声是一种统计性噪声，高斯噪声的概率密度分布等于正态分布。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。一般由于拍摄环境比较暗，亮度不均匀，电子器件等因素造成。
高斯模糊可以采用高斯核函数对图像进行计算，一维高斯函数为
，其中，
是x的均值，x为像素值，
是x的方差，在实际计算中图像
中心点为原点，所以
等于0。
推导到二维高斯函数为， 
，其中，x和y分别为图像像素
的横纵坐标，为方差。如果采用的高斯核越大那么模糊的效果就越明显，实际中采用3x3 大
小的高斯核。
生成高斯模糊图像的方式可以为：利用高斯函数对清晰图像进行计算生成模糊图像。具体地，假定高斯核大小为3x3，利用高斯核对清晰图像中每个3x3块进行处理，最后得到整个模糊图像。
二、生成反映运动模糊的模糊图像
运动模糊是由于相机和物体之间的相对运动造成的模糊，又称为动态模糊。运动模糊的效果取决于模糊核的设置和要模仿的运动方向，模糊核实际上就是一个矩阵，清晰图像与模糊核卷积后导致图像变得模糊，因此叫模糊核。生成包含运动模糊的模糊图像的方式可以为：将清晰图像按照设定方向进行移动，再将移动后的图像与原始位置的清晰图像叠加，并利用模糊核对叠加后的图像进行模糊处理（也就是将叠加后的图像与模糊核进行卷积操作），生成按照设定方向运动后的模糊图像。其中，设定方向可以是随机方向，也可以是通过与操作人员的交互接收的指定方向。通常，图像中目标的运动速度越快，那么运动模糊的程度就越大；而在模糊处理时，模糊核越大，处理后图像模糊的程度就越大。基于此，在具体实现本申请时，根据图像中目标的不同速度可以选择不同的模糊核大小，针对不同的目标生成的模糊程度不一样，以模拟图像中目标相应运动速度下的运动模糊。比如车辆的速度比较快，那么生成的模糊图像就需要模糊程度高一些，可以使用较大的模糊核，比如13*13；而行人的速度比较慢，那么生成的模糊图像的模糊程度就低一些，可以使用比较小的模糊核，比如6*6。
通过上述方式可以生成模糊图像。将清晰图像与其对应模糊图像组成图像对，将图像对输入要训练的去模糊网络进行训练处理。
步骤202，训练生成去模糊网络。
神经网络在设计的时候考虑到对各种设备的适应能力强一些，尽量使用参数量少且结构简单的网络结构。在图像去模糊中，感受野大的神经网络结构对于图像恢复的效果比较好，这就需要网络的层数比较深，因而会导致参数量增加。本申请采用了多个结构和参数相同的子网络进行级联，来组成去模糊网络，不同的子网络共享特征，这样可以大大减少去模糊网络的参数，简化训练过程。
具体地，本申请中的去模糊网络由多个U型子网络级联而成，如图3所示，每个U型子网络的结构和参数均相同，下面以第一个U型子网络为例来说明该子网络的网络结构。
如图3所示，U型子网络的网络结构主要由三个部分组成：下采样（图3中灰色块所示）、上采样（图3中斜线块所示）和跳跃连接（图3中点划线的箭头所示）。具体地，输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与多级下采样处理分别对应的多级上采样处理，得到输出图像，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出。其中，每个处理块的大小代表相应处理图像的大小，下采样是通过残差模块来实现的。
更详细地，在每个U型子网络中，从上到下分析看，子网络的上半部分相当于图像压缩的过程，可以看作编码器（Encoder），其通过卷积和下采样来降低图像尺寸，提取一些浅层的特征。子网络的下半部分是一个上采样的过程，相当于图像解压缩的过程，可以看作解码器（Decoder），其通过卷积和上采样来获取一些深层的特征。中间的跳跃连接通过拼接的方式对不同的特征层进行结合，细化图像特征同时得到浅层和深层的特征。深层的特征有着更大的感受野，浅层的特征包含丰富的纹理特征，因此，深层特征和浅层特征都有各自的意义，通过解码器部分恢复的图像无法恢复所有丢失的信息，此时通过跳跃连接的拼接操作使得相应的图像既包含深层的特征也包含浅层的特征，这样后面的处理层可以在浅层特征与深层特征自由选择自己需要的信息。
如前所述，图3所示的下采样处理是通过残差模块来实现的，即图3中的ResBlock。残差模块的结构图示例如图4所示，通过一个跳连操作使该模块可以学习恒等映射，防止网络退化。具体地，当输入为 x时，模块学习到的特征记为 H(x) ，我们希望其可以学习到残差 F(x)=H(x)-x，那么其实模块原始学习到的特征就是 F(x)+x 。之所以这样处理是因为残差学习相比原始特征直接学习更加容易。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，而实际上残差不会为0，这也会使得堆积层在输入特征基础上能够学习到新的特征，从而拥有更好的性能。残差模块的输入输出关系可以表示为：
其中，
和
分别表示残差模块的输入和输出，F为残差函数，表示学习到的残
差，f表示激活函数，图4中激活函数为relu函数，当然本申请具体实现时激活函数f不仅限
于relu函数，i表示残差模块的索引，
表示权重，h(xi)=xi表示恒等映射。图4所示的残差
模块示意图中包括两级权重层的处理，在实际应用中，可以根据实际需要选择合适的权重
层处理的级数，本申请对此不作限定。
上采样（Up sample）可以采用双线性插值或反卷积来实现。相对比双线性插值的方法，反卷积的处理多了可以学习的参数，更有助于在图像去模糊中对细节的修复，当然训练的复杂度要增加一些。在具体实现时，可以根据去模糊性能和设备能力来选择合适的上采样方式。
当利用反卷积实现上采样时，可以利用反卷积的步长和卷积核的大小来控制图像尺寸的变化。具体地，图像的输出大小为：
其中，s 为stride步长参数，i为input 输入的图像大小，p 为padding 的大小，k为卷积核的大小，out 为输出图像的大小。
上述为单个U型子网络的最基本的结构。另外，在每个U型子网络中，每一级下采样的处理之后还可以进一步包括池化操作，由于池化操作也可以影响图像大小，因此，如果包括池化操作，那么在设计卷积处理的步长和卷积核时也需要考虑下池化操作对于图像大小的影响。事实上，池化操作本身实现的也是对数据的下采样处理，因此，如果下采样（例如第一下采样）的处理之后包括池化操作，也可以认为又多进行了一级下采样处理，相应地，可以增加与该池化操作对应的上采样处理，并将池化操作的输出作为对应的上采样处理的输入，新增的上采样处理位于第一下采样处理所对应的第一上采样处理之前，从而构成完整的U型结构，如图5所示。
上述即为单个U型子网络的具体结构。在图3所示的单个U型子网络中，下采样处理进行了两次，相应地，如果不包括池化操作，那么上采样处理也进行了两次；事实上，上采样和下采样的处理次数可以不限于两次，具体次数可以根据实际需要（例如设备性能、应用场景的数据和项目去模糊处理的指标要求等）做灵活调整，本申请对于下采样和上采样处理的次数不作限定。
另外，由图3所示的去模糊网络结构可以看出，每个U型子网络的输出作为下一级U型子网络的输入，同时，输入图像也作为下一级U型子网络的输入，由此可见，第二个U型子网络到最后一个U型子网络中的每一个，都有两个输入；事实上，对于第一个U型子网络也有两个输入，只是这两个输入是相同的。具体地，对于每个U型子网络，其输入为两个图像在通道维度上的拼接结果（例如两个输入图像的维度为12×12×3和12×12×3，其中，3表示通道数，比如常用的RGB三个通道，在通道维度上进行拼接得到拼接后的图像维度为12×12×6）；第一个子网络的输入为两个模糊图像的拼接结果，除第一个子网络外的其他子网络的输入为前一级子网络的输出与模糊图像的拼接结果。这样处理是考虑到经过每个U型子网络的处理之后，输出图像是输入图像的特征，部分原始图像信息可能已经不包括在这些特征中了，通过将原始模糊图像作为输入可以保留原图信息，以使后续U型子网络可以从原图信息中提取需要的特征。如上结构的每个U型子网络，其输入和输出的图像尺寸是一致的。在不同U型子网络之间，可以采用相同的图像输入尺寸；或者，为能够实现更好的去模糊效果，在级联的多个U型子网络中，U型子网络的级联位置越靠前，其输入图像的尺寸可以越小，这样，在级联处理中，第一个子网络的输入图像尺寸最小，在每一级子网络输出时，将输出图像尺寸增大，再将原始图像变换为与输出图像尺寸相同，将输出图像和变换尺寸后的原始图像输入下一级U型子网络，由此在各级U型子网络中，图像的尺寸是逐级增加的。不同尺寸的图像可以反映图像中不同特征，图像尺寸越大，越能反映图像中的细节特征，图像尺寸越小，越能反映图像的整体特征；经过上述处理，可以利用不同U型子网络处理不同尺度的图像，从而对于不同尺度的图像信息都可以进行特征分析和提取。
在所有U型子网络的处理完成后，将最后一个U型子网络的输出图像作为本次训练的去模糊处理结果，在作为训练数据的图像对中确定原始模糊图像对应的清晰图像，将本次训练的去模糊处理结果与确定出的清晰图像进行比较，计算去模糊网络的损失函数，本实施例中以最小化平方误差作为损失函数，即L2损失函数：
其中，
为确定出的与原始模糊图像对应的清晰图像，为本次训练的去模糊处理
结果，即恢复后图像，i为像素点索引，n为图像的像素点总数。L2损失函数处处可导，使得使
用L2损失函数求解可以得到一个解。根据损失函数的计算结果或者当前训练次数确定训练
是否结束，若未结束，则根据损失函数对U型子网络的参数进行更新，并开始下一次训练，直
到训练结束。
一般地，通过上述处理可以利用前述步骤201制作的一部分训练数据训练生成去模糊网络。在训练结束后，再对利用另一部分训练数据对生成的去模糊网络进行测试。例如，申请人在对3个U型子网络级联的模糊网络的实际训练中采用20万自然场景下清晰的图像及生成的对应模糊图像作为训练数据，其中训练集和测试集比例可以为8：2；在实际测试中采用PSNR (Peak Signal-to-Noise Ratio) 峰值信噪比和人眼观察同时确定图像效果。在测试集合中峰值信噪比由28 提升到31，恢复了很多原本模糊的细节。
步骤203，将模糊图像输入预先训练好的去模糊网络。
步骤204，利用步骤202训练的去模糊网络对输入的模糊图像进行去模糊处理。
通过前述步骤202的训练生成了去模糊网络。假定训练好的网络为M个U型子网络的级联。在本步骤中具体进行去模糊处理时，可以选择使用完整的网络处理，或者还可以选择其中前N（N≤M）个U型子网络进行处理，并将处理结果作为去模糊处理的结果。具体可以根据设备的实际性能和/或对复原图像的清晰度要求，灵活选择N，所述N和M均为正整数。
例如，训练生成的完整去模糊网络是四次级联网络，那么四次级联的恢复效果肯定是最好的。实际的使用可以选用他的子集，比如设备的性能较差那么可以选用三次级联网络，级联少推理一次。
比如原始图像尺寸为960×960，希望恢复后的图像尺寸为480×480，且使用三次级联网络，那么整体流程可以如下进行：
1）第一级U型子网络：
两个输入都为原始图像缩小到120×120×3，进行拼接后的输入图像为120×120×6，经过子网络处理输出120×120×3清晰的图像；
2）第二级U型子网络：
一个输入为上一级子网络的输出放大到240×240×3，一个输入为原始图像缩小到240×240×3 ，两个输入拼接成240×240×6送入网络，经过子网络处理输出240×240×3 清晰的图像；
3）第三级U型子网络：
一个输入为上一级网络的输出放大到480×480×3，一个输入为原始图像缩放到480×480×3，两个输入拼接成480×480×6送入网络，经过子网络处理输出480×480 清晰的图像，作为最后去模糊处理结果。
如果设备性能较差，只用两层级联网络那么整体流程可以如下进行：
1）第一级U型子网络：
两个输入都为原始图像缩小到240×240×3，进行拼接后的输入图像为240×240×6，经过子网络处理输出240×240×3清晰的图像；
2）第二级U型子网络：
一个输入为上一级网络的输出放大到480×480×3，一个输入为原始图像缩放到480×480×3，两个输入拼接成480×480×6送入网络，经过子网络处理输出480×480 清晰的图像，作为最后去模糊处理结果。
上述处理中，最终的图像输出尺寸一般是根据业务需求确定的，例如对于人脸识别的图像，一般图像输出尺寸为几十×几十像素，对于风景类的图像，一般图像输出尺寸为几百×几百像素。
至此，图2所示的图像去模糊方法流程结束。通过上述实施例中图像去模糊方法的具体实现可见，本申请中利用结构和参数相同的多个U型子网络级联构成去模糊网络，这样一方面能够改善去模糊效果，另一方面可以有效减少网络训练过程中的参数数量，更容易训练；同时，在U型子网络中利用残差模块来实现下采样操作，能够效避免梯度消失，又能够进一步提高性能。
本申请还提供了一种图像去模糊装置和一种训练装置，可以分别用于实施上述模糊网络的训练过程以及使用去模糊网络进行图像去模糊处理的过程。图6为本申请中图像去模糊装置的基本结构示意图。如图6所示，该图像去模糊装置包括输入单元和处理单元。
其中，输入单元，用于将模糊图像输入处理单元。
处理单元，用于利用预先训练好的去模糊网络对所述模糊图像进行去模糊处理；其中，去模糊网络包括结构和参数相同的多个级联子网络。
可选地，子网络可以是U型子网络；在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与多级下采样处理分别对应的多级上采样处理，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现下采样处理。
可选地，图像去模糊装置还可以进一步包括子网络个数确定单元，用于确定参与
去模糊处理的Ｕ型子网络的个数Ｎ，并通知处理单元。处理单元，利用去模糊网络中的前N
个U型子网络进行处理，并将处理结果作为去模糊处理的结果。其中，N
M，M为去模糊网络
包括的U型子网络的总数。
可选地，在子网络个数确定单元中，可以根据设备的实际性能和/或对复原图像的清晰度要求，确定参与去模糊处理的Ｕ型子网络的个数N。
图7为本申请中训练装置的基本结构示意图。如图7所示，该装置包括：训练数据生成单元和训练单元；
训练数据单元，用于获取用于训练去模糊网络的训练数据。
训练单元，用于利用训练数据单元获取的训练数据，训练去模糊网络。其中，去模糊网络包括结构和参数相同的多个级联子网络。
可选地，子网络可以是U型子网络；在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与多级下采样处理分别对应的多级上采样处理，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现下采样处理。
可选地，训练数据可以是清晰图像以及由清晰图像生成的模糊图像组成的图像对。在训练数据单元中，通过清晰图像生成模糊图像的方式可以包括：
在清晰图像上叠加脉冲噪声和/或斑点噪声后生成模糊图像；或者，利用高斯函数对清晰图像进行计算生成模糊图像；或者，将清晰图像按照设定方向移动后与原始位置的所述清晰图像叠加，并利用模糊核对叠加后的图像进行模糊处理，生成按照设定方向运动后的模糊图像。其中，清晰图像上目标的运动速度越快，生成模糊图像时使用的模糊核可以越大。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (11)
1.一种图像去模糊方法，其特征在于，包括：
将模糊图像输入预先训练好的去模糊网络；
利用所述去模糊网络对输入的模糊图像进行去模糊处理；
其中，所述去模糊网络包括结构和参数相同的多个级联子网络，且在所述多个级联子网络中，子网络的级联位置越靠前，相应的输入图像尺寸越小；
每个子网络的输入为两个图像在通道维度上的拼接结果；第一个子网络的输入为缩放后的两个所述模糊图像的拼接结果，除所述第一个子网络外的其他子网络的输入为前一个子网络的输出图像放大后的结果和所述模糊图像缩放至与所述放大后的结果尺寸相同的图像的拼接结果；
在级联的多个U型子网络中，各级U型子网络中的图像的尺寸是逐级增加的；
根据设备的实际性能和/或对复原图像的清晰度要求，确定参与去模糊处理的U型子网络的个数N。
2.根据权利要求1所述的方法，其特征在于，所述子网络为U型子网络；
其中，在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，得到输出图像，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现所述下采样处理。
3.根据权利要求1所述的方法，其特征在于，训练所述去模糊网络时使用的训练数据是：清晰图像以及由清晰图像生成的对应模糊图像组成的图像对；
由清晰图像生成对应模糊图像的方式包括：
在所述清晰图像上叠加脉冲噪声和/或斑点噪声后生成对应模糊图像；或者，
利用高斯函数对清晰图像进行计算生成对应模糊图像；或者，
将所述清晰图像按照设定方向移动后与原始位置的所述清晰图像叠加，并利用模糊核对叠加后的图像进行模糊处理，生成按照所述设定方向运动后的对应模糊图像。
4.根据权利要求3所述的方法，其特征在于，所述清晰图像上目标的运动速度越快，生成对应模糊图像时使用的所述模糊核越大。
5.根据权利要求2所述的方法，其特征在于，在所述下采样处理后进一步包括池化处理，在与所述下采样处理对应的上采样处理前进一步包括与所述池化处理对应的上采样处理。
6.根据权利要求2或5所述的方法，其特征在于，所述上采样处理为反卷积处理或双线性插值处理。
7.根据权利要求1所述的方法，其特征在于，所述利用所述去模糊网络对输入的模糊图像进行去模糊处理包括：
利用所述去模糊网络中的前N个子网络进行处理，并将处理结果作为去模糊处理的结果；其中，所述N≤M，M为所述去模糊网络包括的子网络的总数，所述N和M均为正整数。
8.一种图像去模糊装置，其特征在于，包括：输入单元和处理单元；
所述输入单元，用于将模糊图像输入处理单元；
所述处理单元，用于利用预先训练好的去模糊网络对所述模糊图像进行去模糊处理；
其中，所述去模糊网络包括结构和参数相同的多个级联子网络，且在所述多个级联子网络中，子网络的级联位置越靠前，相应的输入图像尺寸越小；
每个子网络的输入为两个图像在通道维度上的拼接结果；第一个子网络的输入为缩放后的两个所述模糊图像的拼接结果，除所述第一个子网络外的其他子网络的输入为前一个子网络的输出图像放大后的结果和所述模糊图像缩放至与所述放大后的结果尺寸相同的图像的拼接结果；
在级联的多个U型子网络中，各级U型子网络中的图像的尺寸是逐级增加的
根据设备的实际性能和/或对复原图像的清晰度要求，确定参与去模糊处理的U型子网络的个数N。
9.根据权利要求8所述的装置，其特征在于，所述子网络为U型子网络；其中，在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现所述下采样处理。
10.一种训练装置，其特征在于，包括：训练数据生成单元和训练单元；
所述训练数据生成单元，用于获取用于训练去模糊网络的训练数据；其中，所述训练数据包括模糊图像及其对应的清晰图像；
所述训练单元，用于利用所述训练数据单元获取的训练数据，训练所述去模糊网络；其中，所述去模糊网络包括结构和参数相同的多个级联子网络，且在所述多个级联子网络中，子网络的级联位置越靠前，相应的输入图像尺寸越小；
每个子网络的输入为两个图像在通道维度上的拼接结果；第一个子网络的输入为缩放后的两个所述模糊图像的拼接结果，除所述第一个子网络外的其他子网络的输入为前一个子网络的输出图像放大后的结果和所述模糊图像缩放至与所述放大后的结果尺寸相同的图像的拼接结果；
在级联的多个U型子网络中，各级U型子网络中的图像的尺寸是逐级增加的；
根据设备的实际性能和/或对复原图像的清晰度要求，确定参与去模糊处理的U型子网络的个数N。
11.根据权利要求10所述的训练装置，其特征在于，所述子网络为U型子网络；其中，在每个U型子网络中，对输入图像依次进行多级下采样处理后进行卷积处理，再对卷积处理结果进行与所述多级下采样处理分别对应的多级上采样处理，每级上采样处理的输入包括上一级处理的输出和对应下采样处理的输出；通过残差模块实现所述下采样处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210111165.0A CN114119428B (zh) | 2022-01-29 | 2022-01-29 | 一种图像去模糊方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210111165.0A CN114119428B (zh) | 2022-01-29 | 2022-01-29 | 一种图像去模糊方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114119428A CN114119428A (zh) | 2022-03-01 |
| CN114119428B true CN114119428B (zh) | 2022-09-23 |
Family
ID=80361776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210111165.0A Active CN114119428B (zh) | 2022-01-29 | 2022-01-29 | 一种图像去模糊方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119428B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114724022B (zh) * | 2022-03-04 | 2024-05-10 | 大连海洋大学 | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561826A (zh) * | 2020-12-22 | 2021-03-26 | 杭州趣链科技有限公司 | 基于人工智能的图像去模糊方法、装置、设备及存储介质 |
| CN112801906A (zh) * | 2021-02-03 | 2021-05-14 | 福州大学 | 基于循环神经网络的循环迭代图像去噪方法 |
| CN113888426A (zh) * | 2021-09-28 | 2022-01-04 | 国网安徽省电力有限公司电力科学研究院 | 一种基于深度可分离残差网络的电力监控视频去模糊方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509159A (zh) * | 2018-11-20 | 2019-03-22 | 湖南湖工电气有限公司 | 一种基于深度学习的无人机模糊图像端到端复原方法 |
| WO2020231210A1 (en) * | 2019-05-14 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and system for generation of a high-speed video with frames from a pre-recorded video sequence |
| CN113012050B (zh) * | 2019-12-18 | 2024-05-24 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法及装置 |
| CN113450261A (zh) * | 2020-03-25 | 2021-09-28 | 江苏翼视智能科技有限公司 | 一种基于条件生成对抗网络的单幅图像去雾方法 |
| CN112150400B (zh) * | 2020-10-10 | 2024-03-12 | 清华大学 | 图像增强方法、装置和电子设备 |
| CN112053306A (zh) * | 2020-10-10 | 2020-12-08 | 哈尔滨工业大学 | 基于深度多块网络的图像去模糊方法 |
| CN113284080A (zh) * | 2021-06-17 | 2021-08-20 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN113822824B (zh) * | 2021-11-22 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 视频去模糊方法、装置、设备及存储介质 |
-
2022
- 2022-01-29 CN CN202210111165.0A patent/CN114119428B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561826A (zh) * | 2020-12-22 | 2021-03-26 | 杭州趣链科技有限公司 | 基于人工智能的图像去模糊方法、装置、设备及存储介质 |
| CN112801906A (zh) * | 2021-02-03 | 2021-05-14 | 福州大学 | 基于循环神经网络的循环迭代图像去噪方法 |
| CN113888426A (zh) * | 2021-09-28 | 2022-01-04 | 国网安徽省电力有限公司电力科学研究院 | 一种基于深度可分离残差网络的电力监控视频去模糊方法 |
Non-Patent Citations (1)
| Title |
|---|
| 大视场航天相机遥感图像复原研究;杨利红;《中国博士学位论文全文数据库_信息科技辑》;20120915;I140-59 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114119428A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Deep image deblurring: A survey | |
| Ye et al. | Perceiving and modeling density for image dehazing | |
| Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110084757B (zh) | 一种基于生成对抗网络的红外深度图像增强方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| Atoum et al. | Color-wise attention network for low-light image enhancement | |
| CN111507909A (zh) | 一种有雾图像清晰化的方法、装置及存储介质 | |
| Kim et al. | Multiple level feature-based universal blind image quality assessment model | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN112750201B (zh) | 三维重建方法及相关装置、设备 | |
| CN112446835B (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| CN116664446A (zh) | 基于残差密集块的轻量级暗光图像增强方法 | |
| Hovhannisyan et al. | AED-Net: A single image dehazing | |
| CN110942097A (zh) | 基于单像素探测器的免成像分类方法和系统 | |
| Zhang et al. | Iterative multi‐scale residual network for deblurring | |
| Zhang et al. | Dynamic selection of proper kernels for image deblurring: a multistrategy design | |
| Hu et al. | CNN-based deghosting in high dynamic range imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |