CN109523482B - 一种基于深度神经网络的对含纹理退化图像的复原方法 - Google Patents
一种基于深度神经网络的对含纹理退化图像的复原方法 Download PDFInfo
- Publication number
- CN109523482B CN109523482B CN201811349795.1A CN201811349795A CN109523482B CN 109523482 B CN109523482 B CN 109523482B CN 201811349795 A CN201811349795 A CN 201811349795A CN 109523482 B CN109523482 B CN 109523482B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- texture
- clear
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000000342 Monte Carlo simulation Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012634 optical imaging Methods 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000000593 degrading effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 claims description 2
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域，特别涉及通过计算机复原退化图像领域。一种基于深度神经网络的含纹理退化图像的复原方法，利用含纹理的清晰图像和根据退化物理过程进行蒙特卡洛模拟得到的模糊图像训练卷积神经网络，实现对退化过程的点扩散函数建模；基于图像纹理具有的自相似特点，利用已有的清晰纹理图像，借助神经网络对复原出的图像进行质量评价，图像质量评分作为损失函数继续迭代训练优化点扩散函数模型。通过上述两个过程，得到含纹理的清晰图像。
Description
技术领域
本发明涉及图像处理领域，特别涉及通过计算机复原退化图像领域。
背景技术
利用光学系统进行光学成像时,图像会受到由大气湍流引起波前误差和抖动，以及由重力和热变化产生的光学畸变等因素的影响，使得获取到的图像会有不同程度的退化现象，进而造成图像模糊。为了得到清晰的图像，就需要运用有效的复原方法对退化图像进行复原。
发明内容
本发明所要解决的技术问题是：如何对我们获取的退化图像进行复原，以得到较清晰的图像。
本发明所采用的技术方案是：一种基于深度神经网络的对含纹理退化图像的复原方法，按照如下步骤进行：
步骤一：随机挑选一批含纹理的清晰图像，根据获取清晰图像所用望远镜或相机的参数（如望远镜光学设计结构，相机像元大小，噪声参数等），并考虑模糊图像获取时的外部环境监控信息（如大气相干长度，大气湍流廓线等），通过蒙特卡洛模拟，生成一系列点扩散函数。利用点扩散函数将清晰图像退化为模糊图像，实现用含纹理的清晰图像模拟得到模糊图像。
步骤二：将每张清晰图像和模拟得到的模糊图像进行预处理，预处理过程为将每张图像像素去均值，并归一化到0-1；
步骤三：构建深度卷积神经网络Ⅰ，利用经预处理的清晰图像和模糊图像对网络进行有监督的训练，根据清晰图像与模糊图像之间的像素差异，以MSE作为损失函数训练卷积神经网络得到点扩散函数模型即图像复原网络，其中深度卷积神经网络Ⅰ根据ResNet网络搭建；
步骤四：构建用于图像特征提取的深度卷积神经网络Ⅱ，并使用大量图像对其进行预训练，其中深度卷积神经网络Ⅱ根据Vgg-Net网络搭建；
步骤五：把需复原的自然图像（模糊图像）经步骤二所述预处理过程后，利用图像复原网络得到复原图像。根据模糊图像的纹理特征与清晰图像的纹理特征的相关性，选取与之具有相同纹理的清晰图像作为标准图像，在清晰图像和复原图像上分别截取其中具有自相似特点的一小块纹理相似的区域，大小不限，分别记作图像A和图像B，并对图像A和图像B像素去均值，并归一化到0-1;
步骤六：将像素值归一化到0-1的图像A和图像B送入用于质量评价的深度卷积神经网络Ⅱ，提取深度卷积神经网络中适当层的输出作为图像特征；
步骤七: 用提取的图像特征构建出gram矩阵，gram矩阵中的元素为Gij= (vi,vj)，其中vi,vj分别为提取的图像特征。然后计算清晰图像与网络Ⅰ复原出的图像两个gram矩阵之间的余弦距离cosØ=(A,B)/(|A||B|)，得到图像质量的评分；
步骤八：将图像质量评分作为退化图像复原质量的评价标准，即复原图像的质量评分作为复原网络的损失函数，对点扩散函数模型的网络参数重新优化；
步骤九：重复步骤五、六、七、八，迭代训练直到得到复原图像质量评分最高的退化图像复原网络，实现含纹理的退化图像的复原。
作为一种优选方式：步骤一中所述的蒙特卡洛模拟指的是根据成像的物理原理对成像物理过程进行仿真的办法，包括但不限于对大气扰动，由于各种因素造成的相机抖动等造成的影响。
作为一种优选方式：步骤一中所述的外界环境监控信息，包括但不限于记录大气，海洋的湍流和散射造成的光学系统点扩散函数的变化。
作为一种优选方式：步骤二中所述纹理图像指的是具有重复性结构的自然图像如沙漠、树林、海洋，细胞，天文图像等。
作为一种优选方式：步骤二中所述含纹理的清晰图像是指在良好环境下（如空间或实验室观测）或使用自适应光学成像技术去除大气湍流及抖动影响后的纹理图像。
本发明的有益效果是：本发明首先根据清晰图像与模糊图像之间的像素差异，利用卷积神经网络建立点扩散函数模型；根据自然图像纹理相似性，结合深度卷积神经网络的纹理特征提取能力，提取纹理特征作为图像复原质量的评价指标，参考复原质量对点扩散函数模型进行参数优化，实现含纹理的退化图像的复原。
具体实施方式
本实施例我们将在下面通过构建一种基于深度神经网络的对含纹理退化图像的复原方法进行详细的说明。本实施例包含如下的步骤：
实验数据：实验选用的太阳望远镜拍摄的清晰图片数据作为原始数据（标准图像），图片大小为512*512。
步骤一：选取清晰太阳图像数据，对清晰图像利用大气湍流干扰（贾鹏，基于衍射光学元件的通用型大气湍流相位屏的设计方法:中国，CN104374546A[P].2015-02-25）做不同程度的退化获得模拟的模糊图像。将每张清晰图像和模拟得到的模糊图像进行预处理，预处理过程将每张图像像素去均值，并归一化到0-1；
步骤二：构建深度卷积神经网络Ⅰ，利用经预处理的清晰太阳图像和模糊太阳图像对网络进行有监督的训练，根据清晰图像与模糊图像之间的像素差异，以MSE作为损失函数训练卷积神经网络得到点扩散函数模型即图像复原网络，其中深度卷积神经网络采用的是ResNet，ResNet卷积神经网络，在Kaiming He, Xiangyu Zhang, Shaoqing Ren, et al.《Deep Residual Learning for Image Recognition》有详细构造介绍;
步骤三：构建用于图像特征提取的深度卷积神经网络Ⅱ，并使用大量图像对其进行预训练，其中深度卷积神经网络采用的是Vgg-Net，Vgg-Net卷积神经网络，在KarenSimonyan, Andrew Zisserman《Very Deep Convolutional NetWorks for Large-ScaleImage Recognition》有详细构造介绍;
步骤四：把需复原的模糊太阳图像经预处理后，利用图像复原网络得到复原出的太阳图像。根据模糊图像的纹理特征与清晰图像的纹理特征的相关性，选取与之具有相同纹理的清晰太阳图像作为标准图像，在清晰太阳图像和复原出的太阳图像上分别截取其中具有自相似特点的一小块纹理相似的区域，大小不限，分别记作图像A和图像B，并对图像A和图像B做预处理去均值，然后将像素值归一化到0-1;
步骤五：将像素值归一化到0-1的图像A和图像B送入用于质量评价的深度卷积神经网络Ⅱ，提取深度卷积神经网络中适当层的输出作为图像特征；
步骤六: 用提取的图像特征构建出gram矩阵，gram矩阵中的元素为Gij= (vi,vj)，其中vi,vj分别为提取的图像特征。然后计算清晰太阳图像与网络Ⅰ复原出的太阳图像两个gram矩阵之间的余弦距离cosØ=(A,B)/(|A||B|)，得到复原出的太阳图像的质量评分。
步骤七：将图像质量评分作为退化图像复原质量的评价标准，即复原图像的质量评分作为复原网络的损失函数，对点扩散函数模型的网络参数重新优化；
步骤八：重复步骤四、五、六、七，迭代训练直到得到复原出的太阳图像质量评分最高的退化图像复原网络。此网络不仅能够实现含纹理的退化太阳图像的复原，也能实现其他含纹理的退化图像的复原。
Claims (3)
1.一种基于深度神经网络的含纹理退化图像的复原方法，其特征在于按照如下步骤进行：
步骤一：随机挑选一批含纹理的清晰图像，根据获取清晰图像所用望远镜或相机的参数，并考虑模糊图像获取时的外部环境监控信息，通过蒙特卡洛模拟，生成一系列点扩散函数，利用点扩散函数将清晰图像退化为模糊图像，实现用含纹理的清晰图像模拟得到模糊图像；
步骤二：将每张清晰图像和模拟得到的模糊图像进行预处理，预处理过程为将图像像素去均值，并归一化到0-1；
步骤三：构建深度卷积神经网络Ⅰ，利用经预处理的清晰图像和模糊图像对网络进行有监督的训练，根据清晰图像与模糊图像之间的像素差异，以MSE作为损失函数训练卷积神经网络得到点扩散函数模型即图像复原网络，其中深度卷积神经网络Ⅰ根据ResNet网络搭建；
步骤四：构建用于图像特征提取的深度卷积神经网络Ⅱ，并使用大量图像对其进行预训练，其中深度卷积神经网络根据Vgg-Net网络搭建；
步骤五：把需复原的自然图像经步骤二所述预处理过程后，利用图像复原网络得到复原图像，根据模糊图像的纹理特征与清晰图像的纹理特征的相关性，选取与之具有相同纹理的清晰图像作为标准图像，在清晰图像和复原图像上分别截取其中具有自相似特点的一小块纹理相似的区域，大小不限，分别记作图像A和图像B，并对图像A和图像B像素去均值，并归一化到0-1;
步骤六：将像素值归一化到0-1的图像A和图像B送入用于质量评价的深度卷积神经网络Ⅱ，提取深度卷积神经网络Ⅱ中适当层的输出作为图像特征；
步骤七: 用提取的图像特征构建出gram矩阵，gram矩阵中的元素为Gij= (vi,vj)，其中vi,vj分别为提取的图像特征，然后计算清晰图像与网络Ⅰ复原出的图像两个gram矩阵之间的余弦距离cosØ=(gramA·gramB)/(|gramA||gramB|)，gramA为图像A的gram矩阵，gramB为图像B的gram矩阵，得到图像质量的评分；
步骤八：将图像质量评分作为退化图像复原质量的评价标准，即复原图像的质量评分作为复原网络的损失函数，对点扩散函数模型的网络参数重新优化；
步骤九：重复步骤五、六、七、八，迭代训练直到得到复原图像质量评分最高的退化图像复原网络，实现含纹理的退化图像的复原。
2.根据权利要求1所述的一种基于深度神经网络的含纹理退化图像的复原方法，其特征在于：步骤一中所述纹理图像指的是具有重复性结构的自然图像。
3.根据权利要求1所述的一种基于深度神经网络的含纹理退化图像的复原方法，其特征在于：步骤一中所述含纹理的清晰图像是指在良好环境下或使用自适应光学成像技术去除大气湍流及抖动影响后的纹理图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811349795.1A CN109523482B (zh) | 2018-11-14 | 2018-11-14 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811349795.1A CN109523482B (zh) | 2018-11-14 | 2018-11-14 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109523482A CN109523482A (zh) | 2019-03-26 |
| CN109523482B true CN109523482B (zh) | 2021-04-30 |
Family
ID=65776566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811349795.1A Active CN109523482B (zh) | 2018-11-14 | 2018-11-14 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523482B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223242B (zh) * | 2019-05-07 | 2021-08-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN110111286B (zh) * | 2019-05-16 | 2022-02-11 | 北京印刷学院 | 图像优化方式的确定方法和装置 |
| CN110443882B (zh) * | 2019-07-05 | 2021-06-11 | 清华大学 | 基于深度学习算法的光场显微三维重建方法及装置 |
| CN110415301A (zh) * | 2019-08-08 | 2019-11-05 | 太原理工大学 | 一种基于嵌入式设备的天文暂现源实时预警方法 |
| CN110874827B (zh) * | 2020-01-19 | 2020-06-30 | 长沙超创电子科技有限公司 | 湍流图像复原方法、装置、终端设备及计算机可读介质 |
| CN111462002B (zh) * | 2020-03-19 | 2022-07-12 | 重庆理工大学 | 一种基于卷积神经网络的水下图像增强与复原方法 |
| CN113284068A (zh) * | 2021-06-04 | 2021-08-20 | 中国科学院光电技术研究所 | 一种基于通道共享时空网络的自适应光学图像盲复原方法 |
| CN115861099B (zh) * | 2022-11-24 | 2024-02-13 | 南京信息工程大学 | 一种引入物理成像先验知识约束的卫星云图图像复原方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567079A (zh) * | 2009-06-05 | 2009-10-28 | 西安电子科技大学 | 基于Hopfield神经网络的运动模糊图像恢复方法 |
| CN101699509A (zh) * | 2009-11-11 | 2010-04-28 | 耿则勋 | 一种利用气象数据进行大气模糊遥感影像恢复的方法 |
| CN104374546A (zh) * | 2014-09-25 | 2015-02-25 | 太原理工大学 | 基于衍射光学元件的通用型大气湍流相位屏的设计方法 |
| CN104714226A (zh) * | 2015-03-25 | 2015-06-17 | 电子科技大学 | 一种基于相位的动态规划检测前跟踪方法 |
| CN107133923A (zh) * | 2017-03-02 | 2017-09-05 | 杭州电子科技大学 | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 |
| CN107463093A (zh) * | 2017-07-13 | 2017-12-12 | 东北大学 | 一种基于kpls鲁棒重构误差的高炉铁水质量监测方法 |
| CN107730469A (zh) * | 2017-10-17 | 2018-02-23 | 长沙全度影像科技有限公司 | 一种基于卷积神经网络cnn的三片简单透镜图像复原方法 |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
-
2018
- 2018-11-14 CN CN201811349795.1A patent/CN109523482B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567079A (zh) * | 2009-06-05 | 2009-10-28 | 西安电子科技大学 | 基于Hopfield神经网络的运动模糊图像恢复方法 |
| CN101699509A (zh) * | 2009-11-11 | 2010-04-28 | 耿则勋 | 一种利用气象数据进行大气模糊遥感影像恢复的方法 |
| CN104374546A (zh) * | 2014-09-25 | 2015-02-25 | 太原理工大学 | 基于衍射光学元件的通用型大气湍流相位屏的设计方法 |
| CN104714226A (zh) * | 2015-03-25 | 2015-06-17 | 电子科技大学 | 一种基于相位的动态规划检测前跟踪方法 |
| CN107133923A (zh) * | 2017-03-02 | 2017-09-05 | 杭州电子科技大学 | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 |
| CN107463093A (zh) * | 2017-07-13 | 2017-12-12 | 东北大学 | 一种基于kpls鲁棒重构误差的高炉铁水质量监测方法 |
| CN107730469A (zh) * | 2017-10-17 | 2018-02-23 | 长沙全度影像科技有限公司 | 一种基于卷积神经网络cnn的三片简单透镜图像复原方法 |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
Non-Patent Citations (4)
| Title |
|---|
| Astronomical image reconstruction with convolutional neural networks;Rémi Flamary et al.;《IEEE-2017 25th European Signal Processing Conference (EUSIPCO)》;20171026;全文 * |
| Deep Residual Learning for Image Recognition;Kaiming He et al.;《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20161212;全文 * |
| Very Deep Convolutional NetWorks for Large-Scale Image Recognition;Karen Simonyan et al.;《Computer Science-Computer Vision and Pattern Recognition》;20140904;全文 * |
| 基于卷积神经网络的图像复原方法研究;兰妙萍;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109523482A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523482B (zh) | 一种基于深度神经网络的对含纹理退化图像的复原方法 | |
| Kim et al. | Median filtered image restoration and anti-forensics using adversarial networks | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111062892B (zh) | 一种基于复合残差网络和深层监督的单幅图像去雨方法 | |
| CN113450288B (zh) | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 | |
| CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN104680491A (zh) | 一种基于深度神经网络的图像非均匀运动模糊去除方法 | |
| CN111369487A (zh) | 一种高光谱和多光谱图像融合方法、系统及介质 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN116051408B (zh) | 一种基于残差自编码的图像深度去噪方法 | |
| CN112991199B (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
| CN112184547B (zh) | 红外图像的超分辨率方法及计算机可读存储介质 | |
| CN108665484A (zh) | 一种基于深度学习的危险源识别方法与系统 | |
| CN111915506B (zh) | 一种序列图像条带噪声消除方法 | |
| CN110599416B (zh) | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 | |
| CN116721033A (zh) | 一种基于随机掩码卷积和注意力机制的单幅图像去雾方法 | |
| CN111738939A (zh) | 一种基于半训练生成器的复杂场景图像去雾方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN111047537A (zh) | 一种图像去噪中恢复细节的系统 | |
| CN115239602A (zh) | 一种基于空洞卷积扩大感受野的车牌图像去模糊方法 | |
| CN112330572B (zh) | 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法 | |
| Chen et al. | Inverse atmoshperic scattering modeling with convolutional neural networks for single image dehazing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |