CN113436104A - 一种基于特征金字塔模型的运动模糊图像去模糊方法 - Google Patents
一种基于特征金字塔模型的运动模糊图像去模糊方法 Download PDFInfo
- Publication number
- CN113436104A CN113436104A CN202110725569.4A CN202110725569A CN113436104A CN 113436104 A CN113436104 A CN 113436104A CN 202110725569 A CN202110725569 A CN 202110725569A CN 113436104 A CN113436104 A CN 113436104A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- training
- layer
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims 2
- 230000004913 activation Effects 0.000 claims 1
- 230000004927 fusion Effects 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征金字塔模型的运动模糊图像去模糊方法，包括以下步骤：S1.获取多个运动模糊图像和与之相对应的多个清晰图像组成图像对作为训练集，并获取多个待去模糊的运动图像作为测试集；S2.采用特征金字塔模型对生成对抗网络搭建；S3.设计用于生成对抗网络训练的损失函数；S4.采用步骤S1获取的训练集和步骤S3设计的损失函数对特征金字塔生成对抗网络进行训练；S5.将步骤S1获取的测试集输入到步骤S4训练好的网络模型中得到相应的去模糊图像。本发明采用的基于特征金字塔模型的运动模糊图像去模糊方法，可以获取更多特征信息，减少噪声，有效提高了运动模糊图像去模糊的效率与质量。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种基于特征金字塔模型的运动模糊图像去模糊方法。
背景技术
在不断趋于科技化、数字化、智能化的大时代背景下，图像在获取信息上扮演着愈来愈重要的角色。有研究表明，人类视觉系统所获取的信息占人类获取所有信息的比重高达83％，可谓是一张图像胜过千言万语。近几年，人工智能和虚拟现实的应用越来越普遍，各种拍照设备获取图像也更加的方便，图像成为了人类传递和获取信息的重要方式。但这些图像在获取、处理、传输和保存的过程中由于多种原因的影响，容易导致图像出现严重的质量退化现象，为人们的生活、学习和工作带来很大的困扰，模糊图像就是其中常见的一种。
模糊图像去模糊的主要目的是以相对最小的代价从退化图像中恢复出贴合实际的、并含有丰富纹理细节的清晰图像。而传统模糊图像恢复的方法大部分都是建立在模糊核已知或先决调节预估、假设的前提下，存在相当大的局限性。并且现实场景的模糊核估计难度很大，噪声和场景也存在不确定性，使传统模糊图像恢复无法解决生活、学习和工作中的需求。同时，随着各种成像设备应用于天文检测、医学成像、军事航空、天眼工程等领域，对于图像的质量要求越来越高，而稳定的拍摄器件成本高、操作难度大、实际模糊情况复杂等特点限制了其模糊图像恢复的效果。
发明内容
针对上述研究的问题，本发明的目的在于：为了有效提高了运动模糊图像去模糊的效率与质量，提出了一种基于特征金字塔模型的运动模糊图像去模糊方法。
为了解决上述技术问题，本发明采用的技术方案如下：
一种基于特征金字塔模型的运动模糊图像去模糊方法，包括如下步骤：
S1：获取多个运动模糊图像和与之相对应的多个清晰图像组成图像对作为训练集，并获取多个待去模糊的运动图像作为测试集；
S2：采用特征金字塔模型对生成对抗网络搭建；
进一步的，所述S2的具体步骤为：
S2.1：采用五层由下至上的特征金字塔结构作为生成器的特征提取模块；
S2.2：采用上采样模块根据每层提取的特征生成得到每层的生成图；
S2.3：采用并接模块对每层的生成图进行并接；
S2.4：使用二分类的分类器作为鉴别器模块；
S3：设计用于生成对抗网络训练的损失函数；
S4：采用步骤A获取的训练集和步骤C设计的损失函数对特征金字塔生成对抗网络进行训练；
进一步的，所述S4的具体步骤为：
S4.1：将权力要求1步骤A所获取的训练集输入到权利要求1步骤B搭建的网络中；
S4.2：生成器通过特征提取、上采样、并接生成所述清晰的生成图像；
S4.3：将生成图像与真实图像输入到判别器中；
S4.4：判别器通过损失函数计算得到判别损失，根据计算的损失更新判别器参数；
S4.5：通过更新的判别器计算生成图像与清晰图像的误差；
S4.6：将误差反向传输给生成器；
S4.7：生成器通过生成器损失函数计算得到生成损失，根据计算的损失更新生成器的参数；
S4.8：重复步骤S4.2到步骤S4.7直到达成训练条件，得到训练完成的生成对抗网络模型；
与现有技术相比，本发明的有益效果是：所提出的基于特征金字塔模型的运动模糊图像去模糊方法，采取特征金字塔结构作为图像的特征提取部分，能够多尺度，精细的提取到更多的特征信息，减少噪声的影响，提升了主观评价指标的视觉效果和客观评价指标的数值。采取感知损失和对抗损失结合的损失函数，确保本发明提出的方法有更好的准确性与鲁棒性。设计的网络结构能够更加快速的对运动模糊图像进行去模糊，提高了训练网络的速度，节省时间。
附图说明
图1为本发明流程图；
图2为本发明特征金字塔生成对抗网络训练流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，提出相应具体实施方案，对本发明进一步详细说明。
如图1所示，一种基于特征金字塔模型的运动模糊图像去模糊方法，其具体步骤如下：
S1：获取多个运动模糊图像和与之相对应的多个清晰图像组成图像对作为训练集，并获取多个待去模糊的运动图像作为测试集；
S2：采用特征金字塔模型对生成对抗网络搭建；
S3：设计用于生成对抗网络训练的损失函数；
S4：采用步骤A获取的训练集和步骤C设计的损失函数对特征金字塔生成对抗网络进行训练；
如图2所示，一种基于特征金字塔模型的运动模糊图像去模糊方法，包括以下步骤：
S1：将权力要求1步骤S1所获取的训练集输入到权利要求1步骤S2搭建的网络中；
S2：生成器通过特征提取、上采样、并接生成所述清晰的生成图像；
S3：将生成图像与真实图像输入到判别器中；
S4：判别器通过损失函数计算得到判别损失，根据计算的损失更新判别器参数；
S5：通过更新的判别器计算生成图像与清晰图像的误差；
S6：将误差反向传输给生成器；
S7：生成器通过生成器损失函数计算得到生成损失，根据计算的损失更新生成器的参数；
S8：重复步骤S2到步骤S7直到达成训练条件，得到训练完成的生成对抗网络模型；
综上所述，本发明采用的模块化的形式，模块化提高了网络的清晰度，并便于移植与学习；采用基于特征金字塔模型的生成对抗网络，能够多尺度提取到更多的特征信息，减少噪声的影响，提升了主观评价指标的视觉效果和客观评价指标的数值；设计训练流程进行训练。介于模糊图像信息较多，建立特征金字塔结构，通过多尺度提取图像的多尺度特征。采用内插值法上采样对特征进行有效的还原。对还原后的分块图像并接，恢复出完整的生成清晰图像，并利用二分类的判别器对生成清晰图像进行判别分类，将得到的结果信息反馈给判别器和生成器，使其更新参数，从而训练出本发明中的特征金字塔生成对抗网络去模糊模型。本发明采用的基于特征金字塔模型的运动模糊图像去模糊方法，可以获取更多特征信息，减少噪声，有效提高了运动模糊图像去模糊的效率与质量。
以上所述仅为本发明的一个实施方式，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于特征金字塔模型的运动模糊图像去模糊方法，其特征在于，包括以下步骤：
S1：获取多个运动模糊图像和与之相对应的多个清晰图像组成图像对作为训练集，并获取多个待去模糊的运动图像作为测试集；
S2：采用特征金字塔模型对生成对抗网络进行搭建；
S3：设计用于生成对抗网络训练的损失函数；
S4：采用步骤S1获取的训练集和步骤S3设计的损失函数对特征金字塔生成对抗网络进行训练；
S5：将步骤S1获取的测试集输入到步骤S4训练好的网络模型中得到相应的去模糊图像，验证图像质量。
2.根据权利要求1所述的一种基于特征金字塔模型的运动模糊图像去模糊方法，其特征在于，所述步骤S1中训练集与测试集获取方法如下：
S1.1：使用Gopro运动相机拍摄n张不同场景下的清晰图像与模糊图像，组成训练集的图像对；
S1.2：使用Gopro运动相机拍摄0.1n张不同于步骤S1.1场景的清晰图像与模糊图像作为测试集。
3.根据权利要求1所述的一种基于特征金字塔模型的运动模糊图像去模糊方法，其特征在于：所述步骤S2中特征金字塔生成对抗网络搭建方法如下：
S2.1：采用五层由下至上的特征金字塔结构作为生成器的特征提取模块；
S2.2：采用上采样模块根据每层提取的特征生成得到每层的生成图；
S2.3：采用并接模块对每层的生成图进行并接；
S2.4：使用二分类的分类器作为鉴别器模块。
4.根据权利要求3所述方法，其特征在于：所述特征提取模块，包含五层特征金字塔结构，每层由两层卷积核大小为3×3，步长为1的卷积层和步长为2的池化层组成，每层后紧跟着归一化层和RELU激活函数层；所述上采样模块，采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，将原有图像大小扩大一倍；所述并接模块，将特征提取与上采样模块采用卷积核为1×1的卷积层连接，改变特征图通道数，以达到各个水平特征图处理大小相同，将图片并接成一个完整的图像。再采用3×3的卷积核对每个融合结果进行卷积，消除上采样的混叠效应。
5.根据权利要求1所述的一种基于特征金字塔模型的运动模糊图像去模糊方法，其特征在于，所述步骤S3生成对抗网络损失函数如下：
生成器整体损失函数为：
LG＝0.5*lp+0.006*lx+0.01*la
其中lp表示均方方差，其函数为：
所述N为数据总量，yi是真实数据，
是拟合数据；
其中lx表示感知损失，其函数为：
所述M为特征图的宽，N为特征图的高xi,j表示网络中第i个池化层前的第j个卷积层的特征；
判别器整体损失函数为：
其中x～Pd(X)表示清晰图像x取自于清晰图像集X，Pd(X)表示清晰图像集X的概率分布；y～Pz(Y)表示模糊图像y取自于模糊图像集Y,Pz(Y)表示模糊图像集Y的概率分布；D(x)表示判别器对输入图像x的判别概率，G(z)表示由输入图像经生成器生成的结果图像，Z[·]表示对括号内取期望。
6.根据权利要求1所述的一种基于特征金字塔模型的运动模糊图像去模糊方法，其特征在于：所述步骤S4特征金字塔生成对抗网络进行训练方法如下：
S4.1：将权力要求1步骤S1所获取的训练集输入到权利要求1步骤S2搭建的网络中；
S4.2：生成器通过特征提取、上采样、并接生成所述清晰的生成图像；
S4.3：将生成图像与真实图像输入到判别器中；
S4.4：判别器通过损失函数计算得到判别损失，根据计算的损失更新判别器参数；
S4.5：通过更新的判别器计算生成图像与清晰图像的误差；
S4.6：将误差反向传输给生成器；
S4.7：生成器通过生成器损失函数计算得到生成损失，根据计算的损失更新生成器的参数；
S4.8：重复步骤S4.2到步骤S4.7直到达成训练条件，得到训练完成的生成对抗网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725569.4A CN113436104A (zh) | 2021-06-29 | 2021-06-29 | 一种基于特征金字塔模型的运动模糊图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725569.4A CN113436104A (zh) | 2021-06-29 | 2021-06-29 | 一种基于特征金字塔模型的运动模糊图像去模糊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113436104A true CN113436104A (zh) | 2021-09-24 |
Family
ID=77757788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110725569.4A Pending CN113436104A (zh) | 2021-06-29 | 2021-06-29 | 一种基于特征金字塔模型的运动模糊图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436104A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001858A (zh) * | 2020-08-10 | 2020-11-27 | 深思考人工智能科技(上海)有限公司 | 一种细胞病理图像处理的方法及系统 |
| CN112509001A (zh) * | 2020-11-24 | 2021-03-16 | 河南工业大学 | 一种多尺度和多特征融合的特征金字塔网络盲复原方法 |
| CN112686119A (zh) * | 2020-12-25 | 2021-04-20 | 陕西师范大学 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
-
2021
- 2021-06-29 CN CN202110725569.4A patent/CN113436104A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001858A (zh) * | 2020-08-10 | 2020-11-27 | 深思考人工智能科技(上海)有限公司 | 一种细胞病理图像处理的方法及系统 |
| CN112509001A (zh) * | 2020-11-24 | 2021-03-16 | 河南工业大学 | 一种多尺度和多特征融合的特征金字塔网络盲复原方法 |
| CN112686119A (zh) * | 2020-12-25 | 2021-04-20 | 陕西师范大学 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| Li et al. | Single image dehazing via conditional generative adversarial network | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN113592736B (zh) | 一种基于融合注意力机制的半监督图像去模糊方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN111861894B (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN108537754B (zh) | 基于形变引导图的人脸图像复原系统 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN112634163B (zh) | 基于改进型循环生成对抗网络去图像运动模糊方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN113658040B (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN112288627A (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
| CN114049434B (zh) | 一种基于全卷积神经网络的3d建模方法及系统 | |
| CN112509144B (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN112446835B (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及系统 | |
| CN110889868B (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
| CN111539888B (zh) | 一种基于金字塔通道特征注意力的神经网络图像去雾方法 | |
| CN114170290A (zh) | 图像的处理方法及相关设备 | |
| Hou et al. | Joint learning of image deblurring and depth estimation through adversarial multi-task network | |
| CN113870162A (zh) | 一种融合光照和反射的低光图像增强方法 | |
| CN112184555B (zh) | 一种基于深度交互学习的立体图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210924 |
|
| WD01 | Invention patent application deemed withdrawn after publication |