CN113129232A - 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法 - Google Patents
一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法 Download PDFInfo
- Publication number
- CN113129232A CN113129232A CN202110406678.XA CN202110406678A CN113129232A CN 113129232 A CN113129232 A CN 113129232A CN 202110406678 A CN202110406678 A CN 202110406678A CN 113129232 A CN113129232 A CN 113129232A
- Authority
- CN
- China
- Prior art keywords
- speckle
- image
- value
- imaging
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011084 recovery Methods 0.000 title claims abstract description 28
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 21
- 238000013441 quality evaluation Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 208000032460 X-linked 1 intellectual disability-hypotonic facies syndrome Diseases 0.000 claims description 6
- 238000001518 sector field mass spectrometry Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000005457 optimization Methods 0.000 abstract description 7
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000007493 shaping process Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明提供一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法，包括以下步骤：S1：获取点光源的散斑PSF；S2：获取未知物的散斑I；S3：对未知物的散斑I和点光源的散斑PSF实施图像灰阶自适应非线性归一化得到
S4：根据散射体成像系统的最近似噪信比
和所述归一化后的点光源散斑
对所述归一化后的未知物散斑
实施解卷积操作得到未知物恢复图像Otem；S5：将所述未知物恢复图像Otem输入至预训练好的深度卷积生成对抗网络模型，得到未知物最终重建图像O。本发明能够从信息光学、自适应优化以及深度学习出发构建完整闭环的散斑恢复成像方法，不仅增强了解卷积散斑成像的能力，还大大提高了深度学习在散斑成像恢复中的泛化性。
Description
技术领域
本发明涉及计算光学成像技术领域，更具体地，涉及一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法。
背景技术
光学成像是人类接收信息的重要途径之一。在天文望远、安防摄像、生物医学成像、显微成像等场景中，由于如雾霾雨雪、生物组织等散射介质的存在，光被介质中波长量级大小的粒子所散射，导致入射光初始波前严重扭曲，因此仅通过传统的成像方法难以获得高质量图像。虽然携带原始图像的入射光被散射成看似无规律的散斑，但其携带的信息并没有丢失，而是受到了散射介质的调制。因此，在存在散射介质的情况下重建原本的物象在科学、民用、医学以及军事应用中具有重要的研究意义。随着计算机技术的不断进步，以物理光学作为理论支撑，结合计算机技术、图像处理算法的计算成像技术为散射光成像提供了新思路，目前主要发展出基于波前整形、散斑相关、深度学习等方法的散射光成像技术。
波前整形技术，包括光学相位共轭(OPC)、基于反馈优化的波前整形和基于光学传输矩阵(TM)三类。此类技术需要光场调控器件的辅助，系统较复杂，不同波前整形方法的优化耗时差别较大。基于散射体光学记忆效应的散斑相关成像技术，无需昂贵的激光器、光场调控器件以及复杂的机械扫描或控制系统，成像迅速，具有很强的应用潜力。但是成像清晰度和视场角范围仍有很大的提升空间，且在弱光环境下，或者在噪声光影响下，成像质量将大大降低。基于深度学习的散斑成像技术，现有的主流方案是将散斑图和对应的真实物象图作为图像对去训练设计好的自编码器。模型训练好后，输入散斑输出对应的物象。这种方案依赖于大量的训练集，训练好的神经网络模型只能针对某一种，甚至具体到某一个散射介质的成像，泛化性较差。
根据以上现有技术的优劣，利用机器学习和深度学习的方法对散斑相关恢复的图像进行去噪修复与增强，可克服弱光或噪声光影响条件下散斑相关成像质量低下的弱点，从而拓宽散斑相关成像的应用场景，降低其技术门槛。另一方面，此深度学习结合散斑相关成像的方案解决了基于深度学习的散斑恢复方案泛化性差、严重依赖训练集的缺点。
公开日为2017年10月13日，公开号为CN107247332A的中国专利公开了一种基于散斑估计和反卷积的非侵入式散射成像方法，包括：使用非侵入式成像系统采集N个经过相同散射介质遮挡区域的训练样本的集成强度矩阵并经处理得到训练样本的重构结果利用散斑图样S以及前一步骤得到的训练样本重构结果和集成强度矩阵之间的卷积关系建立受约束的最小二乘模型，得到估计的散斑图样对散射介质遮挡区域的待观测样本Oc，采集其集成强度矩阵IIMc，进行反卷积操作重构待观测样本的像本发明可非侵入式地得到估计的散斑图样。但该方法没有对成像系统噪信比进行自适应优化，缺乏对输入散斑的预处理，在弱光条件下，或者强噪声条件下成像效果较差。
发明内容
本发明提供一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法，解决现有技术中弱光条件下，散斑相关成像质量较低的缺点。
为解决上述技术问题，本发明的技术方案如下：
一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法，包括以下步骤：
S1：获取点光源的散斑PSF；
S2：获取未知物的散斑I；
S3：对未知物的散斑I和点光源的散斑PSF实施图像灰阶自适应非线性归一化得到
S4：根据散射体成像系统的最近似噪信比
和所述归一化后的点光源散斑
对所述归一化后的未知物散斑
实施解卷积操作得到未知物恢复图像Otem；
S5：将所述未知物恢复图像Otem输入至预训练好的深度卷积生成对抗网络模型，得到未知物最终重建图像O。
优选地，步骤S3中所述对未知物的散斑I和点光源的散斑PSF实施图像灰阶自适应非线性归一化得到
具体为：
式中，
分别表示散斑
中坐标(i，j)处像素点的灰阶值，min(I)表示散斑I中最小的灰阶值，max(I)表示散斑I中最大的灰阶值，其中1≤i≤M，1≤j≤N，所述的M为I的宽度，N为I的高度，γ为幂；
优选地，所述γ的值由以下步骤获取：
S3.1：获取标定物的散斑I0；
S3.2：获取标定物的原始物象Otrue；
S3.3：设定γ初始值γ0＝1.5；
S3.4：使用γ0对所述标定物的散斑I0和所述点光源的散斑PSF实施图像灰阶非线性归一化得到
S3.5：根据所述归一化后的点光源散斑
对所述归一化后的标定物散斑
实施解卷积操作得到恢复图像Oγ；
S3.6：使用图像质量评价函数以标定物的物象Otrue作为参考图像，对所述解卷积恢复图像Oγ进行图像质量评分；
S3.7：根据所述计算得到的图像质量评分对所述γ值进行调整，判断所述计算得到的图像质量评分是否达到极大值，若否，则更新γ值，并回到步骤S3.4，若是，则输出该γ值。
优选地，步骤S3.6中所述图像质量评价函数为空-频双域相似度函数SFMS，
优选地，步骤S4中所述散射体成像系统的最近似噪信比
由以下步骤获取：
S4.1：获取标定物的散斑I0；
S4.2：获取标定物的物象Otrue；
S4.3：设定初始的散射体成像系统噪信比k值为k0；
S4.4：根据所述散射体成像系统噪信比k值和所述点光源散斑PSF对所述标定物散斑I0实施解卷积操作得到恢复图像Ok；
S4.5：使用图像质量评价函数以标定物的物象Otrue作为参考图像，对所述解卷积恢复图像Ok进行图像质量评分；
S4.6：根据所述计算得到的图像质量评分对所述噪信比k值进行调整，判断所述计算得到的图像质量评分是否达到极大值，若否，则更新k值，并回到步骤S4.4，若是，则以此时的噪信比k值作为所述散射体成像系统的最近似噪信比
并输出。
优选地，步骤S4.3中所述散射体成像系统噪信比k值定义为：
式中O(x，y)和N(x，y)分别是未退化图像和图像噪声，SN＝|F[N(x，y)]|2代表噪声功率谱，SO＝|F(O(x，y)]|2代表未退化图像功率谱，F代表傅里叶变换操作。
优选地，步骤S4.5中所述图像质量评价函数为空-频双域相似度函数SFMS。
优选地，步骤S5中预训练好的深度卷积生成对抗网络模型由以下步骤获取：
S5.1：获取初始深度卷积生成对抗网络模型，以及训练数据集，所述训练数据集为散斑解卷积恢复图像及其对应原始图像对(x，y)的集合；
S5.2：从所述训练数据集中随机抽取若干图像对，输入其中的散斑解卷积恢复图像x至所述初始深度卷积生成对抗网络模型，得到若干输出图像y’；
S5.3：基于所选取的图像对中的原始图像y与所述获得的输出图像y’，确定深度卷积生成对抗网络中生成器损失值和判别器损失值；
S5.4：基于所述生成器损失值更新所述生成器参数，基于所述判别器损失值更新生成器参数，两者交替进行，直至生成器能够产生误差小于阈值的图像即可完成训练。
优选地，所述深度卷积生成对抗网络中生成器的输入数据尺寸与输出尺寸保持一致。
优选地，所述生成器损失值的计算包括但不限于均方差MSE、结构相似度SSIM和峰值信噪比PSNR，所述判别器损失值的计算包括但不限于交叉熵。
与现有技术相比，本发明技术方案的有益效果是：
传统直接解卷积散斑恢复成像的方法，没有对成像系统噪信比进行自适应优化，缺乏对输入散斑的预处理，在弱光条件下，或者强噪声条件下成像效果较差；而直接利用深度学习对散斑进行恢复，则严重依赖于数据集，且训练的模型泛化性差，无法适用于训练集以外其他种类散射体下生成的散斑。本发明能够从信息光学、自适应优化以及深度学习出发构建完整闭环的散斑恢复成像方法，不仅增强了解卷积散斑成像的能力，还大大提高了深度学习在散斑成像恢复中的泛化性。
附图说明
图1为本发明的方法流程示意图。
图2为本发明中γ值的获取方法流程示意图。
图3为本发明中散射体成像系统的最近似噪信比
的获取方法流程示意图。
图4为本发明中深度卷积生成对抗网络模型示意图。
图5为实施例中目标原始物象的获取示意图。
图6为实施例中目标散斑的获取示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法，如图1所示，包括以下步骤：
S1：获取点光源的散斑PSF；
S2：获取未知物的散斑I；
S3：对未知物的散斑I和点光源的散斑PSF实施图像灰阶自适应非线性归一化得到
S4：根据散射体成像系统的最近似噪信比
和所述归一化后的点光源散斑
对所述归一化后的未知物散斑
实施解卷积操作得到未知物恢复图像Otem；
S5：将所述未知物恢复图像Otem输入至预训练好的深度卷积生成对抗网络模型，得到未知物最终重建图像O。
获取目标原始物象如图5所示，获取目标散斑如图6所示。
步骤S3中所述对未知物的散斑I和点光源的散斑PSF实施图像灰阶自适应非线性归一化得到
具体为：
式中，
分别表示散斑
中坐标(i，j)处像素点的灰阶值，min(I)表示散斑I中最小的灰阶值，max(I)表示散斑I中最大的灰阶值，其中1≤i≤M，1≤j≤N，所述的M为I的宽度，N为I的高度，γ为幂；
所述γ的值如图2所示，由以下步骤获取：
S3.1：获取标定物的散斑I0；
S3.2：获取标定物的原始物象Otrue；
S3.3：设定γ初始值γ0＝1.5；
S3.4：使用γ0对所述标定物的散斑I0和所述点光源的散斑PSF实施图像灰阶非线性归一化得到
S3.5：根据所述归一化后的点光源散斑
对所述归一化后的标定物散斑
实施解卷积操作得到恢复图像Oγ；
S3.6：使用图像质量评价函数以标定物的物象Otrue作为参考图像，对所述解卷积恢复图像Oγ进行图像质量评分；
S3.7：根据所述计算得到的图像质量评分对所述γ值进行调整，判断所述计算得到的图像质量评分是否达到极大值，若否，则更新γ值，并回到步骤S3.4，若是，则输出该γ值。
步骤S3.6中所述图像质量评价函数为空-频双域相似度函数SFMS，其表达式为：
上式中各项子式的表达式如下：
Fhigh＝sum{F[I]-Flow}
式中，F[]代表傅里叶变换操作，：代表切片操作，上标^代表参考对象，H和W分别为散斑图像的横向和纵向像素数，α为分割系数，取值在0至1之间，C1、C2为常数。μI、
分别是散斑I图片和归一化散斑
图片的平均灰度值。σF[I]和
分别是对σI和
的傅里叶变换图像。
步骤S3.7中根据所述计算得到的图像质量评分对所述噪信比k值进行调整，可以采用遗传算法，模拟退火算法，粒子群算法，网格搜索法等进行自适应迭代优化。
步骤S4中所述散射体成像系统的最近似噪信比
，如图3所示，由以下步骤获取：
S4.1：获取标定物的散斑I0；
S4.2：获取标定物的物象Otrue；
S4.3：设定初始的散射体成像系统噪信比k值为k0；
S4.4：根据所述散射体成像系统噪信比k值和所述点光源散斑PSF对所述标定物散斑I0实施解卷积操作得到恢复图像Ok；
S4.5：使用图像质量评价函数以标定物的物象Otrue作为参考图像，对所述解卷积恢复图像Ok进行图像质量评分；
S4.6：根据所述计算得到的图像质量评分对所述噪信比k值进行调整，判断所述计算得到的图像质量评分是否达到极大值，若否，则更新k值，并回到步骤S4.4，若是，则以此时的噪信比k值作为所述散射体成像系统的最近似噪信比
并输出。
步骤S4.3中所述散射体成像系统噪信比k值定义为：
式中O(x，y)和N(x，y)分别是未退化图像和图像噪声，SN＝|F[N(x，y)]|2代表噪声功率谱，SO＝|F(O(x，y)]|2代表未退化图像功率谱，F代表傅里叶变换操作。
步骤S4.5中所述图像质量评价函数为空-频双域相似度函数SFMS。
步骤S4中所述解卷积操作采用维纳滤波：
式中F代表傅里叶变换操作，包括但不限于使用快速傅里叶变换(FFT)，可使用GPU或其他运算加速硬件进行运算加速。
步骤S5中预训练好的深度卷积生成对抗网络模型由以下步骤获取：
S5.1：获取初始深度卷积生成对抗网络模型以及训练数据集，所述训练数据集为散斑解卷积恢复图像及其对应原始图像对(x,y)的集合，所述深度卷积生成对抗网络模型如图4所示，包括生成器模块和损失器模块；
S5.2：从所述训练数据集中随机抽取若干图像对，输入其中的散斑解卷积恢复图像x至所述初始深度卷积生成对抗网络模型，得到若干输出图像y’；
S5.3：基于所选取的图像对中的原始图像y与所述获得的输出图像y’，确定深度卷积生成对抗网络中生成器模块损失值和判别器模块损失值；
S5.4：基于所述生成器模块损失值更新所述生成器模块参数，基于所述判别器模块损失值更新生成器模块参数，两者交替进行，直至生成器模块能够产生误差小于阈值的图像即可完成训练。
所述深度卷积生成对抗网络的生成器网络，其下采样全部采用卷积操作，上采样则不局限于转置卷积(反卷积)或膨胀卷积等。
所述深度卷积生成对抗网络的生成器网络，存在特征融合的连接操作，具体的，上采样某一阶段的输出与对应同等尺寸上采样的输出在通道上进行融合。
所述深度卷积生成对抗网络中生成器模块的输入数据尺寸与输出尺寸保持一致。
所述生成器模块损失值的计算包括但不限于均方差MSE、结构相似度SSIM和峰值信噪比PSNR，所述判别器模块损失值的计算包括但不限于交叉熵。
本实施例中所述生成器损失值的计算公式为：
LG＝MSE(y,y’)+log(1-D(y’))
所述判别器损失值的计算公式为：
LG＝-log(D(y))-log(1-D(y’))
其中D为判别器，y为原始图像，y’为生成器模块输出图像
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，包括以下步骤：
S1：获取点光源的散斑PSF；
S2：获取未知物的散斑I；
S3：对未知物的散斑I和点光源的散斑PSF实施图像灰阶自适应非线性归一化得到
S4：根据散射体成像系统的最近似噪信比
和所述归一化后的点光源散斑
对所述归一化后的未知物散斑
实施解卷积操作得到未知物恢复图像Otem；
S5：将所述未知物恢复图像Otem输入至预训练好的深度卷积生成对抗网络模型，得到未知物最终重建图像O。
2.根据权利要求1所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，步骤S3中所述对未知物的散斑I和点光源的散斑PSF实施图像灰阶自适应非线性归一化得到
具体为：
式中，
I[i,j]分别表示散斑
I中坐标(i,j)处像素点的灰阶值，min(I)表示散斑I中最小的灰阶值，max(I)表示散斑I中最大的灰阶值，其中1≤i≤M，1≤j≤N，所述的M为I的宽度，N为I的高度，γ为幂；
3.根据权利要求2所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，所述γ的值由以下步骤获取：
S3.1：获取标定物的散斑I0；
S3.2：获取标定物的原始物象Otrue；
S3.3：设定γ初始值γ0＝1.5；
S3.4：使用γ0对所述标定物的散斑I0和所述点光源的散斑PSF实施图像灰阶非线性归一化得到
S3.5：根据所述归一化后的点光源散斑
对所述归一化后的标定物散斑
实施解卷积操作得到恢复图像Oγ；
S3.6：使用图像质量评价函数以标定物的物象Otrue作为参考图像，对所述解卷积恢复图像Oγ进行图像质量评分；
S3.7：根据所述计算得到的图像质量评分对所述γ值进行调整，判断所述计算得到的图像质量评分是否达到极大值，若否，则更新γ值，并回到步骤S3.4，若是，则输出该γ值。
4.根据权利要求3所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，步骤S3.6中所述图像质量评价函数为空-频双域相似度函数SFMS。
5.根据权利要求1所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，步骤S4中所述散射体成像系统的最近似噪信比
由以下步骤获取：
S4.1：获取标定物的散斑I0；
S4.2：获取标定物的物象Otrue；
S4.3：设定初始的散射体成像系统噪信比k值为k0；
S4.4：根据所述散射体成像系统噪信比k值和所述点光源散斑PSF对所述标定物散斑I0实施解卷积操作得到恢复图像Ok；
S4.5：使用图像质量评价函数以标定物的物象Otrue作为参考图像，对所述解卷积恢复图像Ok进行图像质量评分；
S4.6：根据所述计算得到的图像质量评分对所述噪信比k值进行调整，判断所述计算得到的图像质量评分是否达到极大值，若否，则更新k值，并回到步骤S4.4，若是，则以此时的噪信比k值作为所述散射体成像系统的最近似噪信比
并输出。
6.根据权利要求5所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，步骤S4.3中所述散射体成像系统噪信比k值定义为：
式中O(x,y)和N(x,y)分别是未退化图像和图像噪声，SN＝|F[N(x,y)]|2代表噪声功率谱，SO＝|F(O(x,y)]|2代表未退化图像功率谱，F代表傅里叶变换操作。
7.根据权利要求5所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，步骤S4.5中所述图像质量评价函数为空-频双域相似度函数SFMS。
8.根据权利要求1所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，步骤S5中预训练好的深度卷积生成对抗网络模型由以下步骤获取：
S5.1：获取初始深度卷积生成对抗网络模型，以及训练数据集，所述训练数据集为散斑解卷积恢复图像及其对应原始图像对(x,y)的集合；
S5.2：从所述训练数据集中随机抽取若干图像对，输入其中的散斑解卷积恢复图像x至所述初始深度卷积生成对抗网络模型，得到若干输出图像y’；
S5.3：基于所选取的图像对中的原始图像y与所述获得的输出图像y’，确定深度卷积生成对抗网络中生成器损失值和判别器损失值；
S5.4：基于所述生成器损失值更新所述生成器参数，基于所述判别器损失值更新生成器参数，两者交替进行，直至生成器能够产生误差小于阈值的图像即可完成训练。
9.根据权利要求8所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，所述深度卷积生成对抗网络中生成器的输入数据尺寸与输出尺寸保持一致。
10.根据权利要求8所述的基于深度卷积生成对抗网络的弱光散斑成像恢复方法，其特征在于，所述生成器损失值的计算包括但不限于均方差MSE、结构相似度SSIM和峰值信噪比PSNR，所述判别器损失值的计算包括但不限于交叉熵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406678.XA CN113129232B (zh) | 2021-04-15 | 2021-04-15 | 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406678.XA CN113129232B (zh) | 2021-04-15 | 2021-04-15 | 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113129232A true CN113129232A (zh) | 2021-07-16 |
| CN113129232B CN113129232B (zh) | 2023-05-26 |
Family
ID=76776773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110406678.XA Active CN113129232B (zh) | 2021-04-15 | 2021-04-15 | 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113129232B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113900860A (zh) * | 2021-10-27 | 2022-01-07 | 重庆邮电大学 | 基于cgan的无线传感器网络故障节点的数据恢复方法 |
| CN114418888A (zh) * | 2022-01-19 | 2022-04-29 | 西安交通大学 | 一种基于遗传算法的鬼成像方法、系统及存储介质 |
| CN115294375A (zh) * | 2022-10-10 | 2022-11-04 | 南昌虚拟现实研究院股份有限公司 | 一种散斑深度估算方法、系统、电子设备及存储介质 |
| CN115633243A (zh) * | 2022-12-01 | 2023-01-20 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150228080A1 (en) * | 2014-02-13 | 2015-08-13 | Chenyang Ge | One method of depth perception based on binary laser speckle images |
| US20170017858A1 (en) * | 2015-07-15 | 2017-01-19 | Samsung Electronics Co., Ltd. | Laser speckle contrast imaging system, laser speckle contrast imaging method, and apparatus including the laser speckle contrast imaging system |
| CN107247332A (zh) * | 2017-08-04 | 2017-10-13 | 清华大学深圳研究生院 | 一种基于散斑估计和反卷积的非侵入式散射成像方法 |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN111968047A (zh) * | 2020-07-22 | 2020-11-20 | 中国西安卫星测控中心 | 一种基于生成式对抗网络的自适应光学图像盲复原方法 |
| WO2021067515A1 (en) * | 2019-09-30 | 2021-04-08 | The Regents Of The University Of Colorado, A Body Corporate | Systems and methods for imaging and characterizing objects including the eye using non-uniform or speckle illumination patterns |
-
2021
- 2021-04-15 CN CN202110406678.XA patent/CN113129232B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150228080A1 (en) * | 2014-02-13 | 2015-08-13 | Chenyang Ge | One method of depth perception based on binary laser speckle images |
| US20170017858A1 (en) * | 2015-07-15 | 2017-01-19 | Samsung Electronics Co., Ltd. | Laser speckle contrast imaging system, laser speckle contrast imaging method, and apparatus including the laser speckle contrast imaging system |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN107247332A (zh) * | 2017-08-04 | 2017-10-13 | 清华大学深圳研究生院 | 一种基于散斑估计和反卷积的非侵入式散射成像方法 |
| WO2021067515A1 (en) * | 2019-09-30 | 2021-04-08 | The Regents Of The University Of Colorado, A Body Corporate | Systems and methods for imaging and characterizing objects including the eye using non-uniform or speckle illumination patterns |
| CN111968047A (zh) * | 2020-07-22 | 2020-11-20 | 中国西安卫星测控中心 | 一种基于生成式对抗网络的自适应光学图像盲复原方法 |
Non-Patent Citations (3)
| Title |
|---|
| 万忠启 等: "基于解卷积的频域光学相干层析像质优化", 《光电·材料》 * |
| 张清博 等: "基于改进生成对抗网络的水下激光图像后向", 《激光与光电子学进展》 * |
| 谢向生 等: "散斑相关成像：从点扩展函数到光场全要素", 《光学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113900860A (zh) * | 2021-10-27 | 2022-01-07 | 重庆邮电大学 | 基于cgan的无线传感器网络故障节点的数据恢复方法 |
| CN114418888A (zh) * | 2022-01-19 | 2022-04-29 | 西安交通大学 | 一种基于遗传算法的鬼成像方法、系统及存储介质 |
| CN114418888B (zh) * | 2022-01-19 | 2024-02-02 | 西安交通大学 | 一种基于遗传算法的鬼成像方法、系统及存储介质 |
| CN115294375A (zh) * | 2022-10-10 | 2022-11-04 | 南昌虚拟现实研究院股份有限公司 | 一种散斑深度估算方法、系统、电子设备及存储介质 |
| CN115294375B (zh) * | 2022-10-10 | 2022-12-13 | 南昌虚拟现实研究院股份有限公司 | 一种散斑深度估算方法、系统、电子设备及存储介质 |
| CN115633243A (zh) * | 2022-12-01 | 2023-01-20 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
| CN115633243B (zh) * | 2022-12-01 | 2023-08-04 | 南京理工大学 | 基于传输矩阵理论的透过散射介质泛化成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113129232B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113129232B (zh) | 一种基于深度卷积生成对抗网络的弱光散斑成像恢复方法 | |
| Wang et al. | Dehazing for images with large sky region | |
| Zhu et al. | A fast single image haze removal algorithm using color attenuation prior | |
| CN109410127B (zh) | 一种基于深度学习与多尺度图像增强的图像去噪方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| Lee et al. | Adaptive window selection for 3D shape recovery from image focus | |
| Ding et al. | U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement | |
| Ganguly et al. | Single image haze removal with haze map optimization for various haze concentrations | |
| Guo et al. | Haze removal for single image: A comprehensive review | |
| CN114862710A (zh) | 红外和可见光图像融合方法及装置 | |
| Wang et al. | Adaptive feature fusion network based on boosted attention mechanism for single image dehazing | |
| Li et al. | Research on haze image enhancement based on dark channel prior algorithm in machine vision | |
| CN113298700A (zh) | 一种在散射场景中的高分辨图像重构方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN112750090A (zh) | 一种改进小波阈值的水下图像降噪方法及系统 | |
| Nair et al. | A comparison of different atmospheric turbulence simulation methods for image restoration | |
| CN111461999A (zh) | 一种基于超像素相似性测量的sar图像相干斑抑制方法 | |
| Ouyang et al. | Research on DENOISINg of cryo-em images based on deep learning | |
| Zhang et al. | A two-stage restoration of distorted underwater images using compressive sensing and image registration | |
| Wali et al. | Recent Progress in Digital Image Restoration Techniques: A Review | |
| CN113554671A (zh) | 基于轮廓增强的sar图像到可见光图像的转换方法及装置 | |
| CN109615590B (zh) | 基于模糊算法与分数阶微分算法的声呐图像增强方法 | |
| Xiao et al. | Underwater image classification based on image enhancement and information quality evaluation | |
| CN111861907B (zh) | 一种高动态范围激光焦斑图像的去噪方法 | |
| Ma et al. | De-noising research on terahertz holographic reconstructed image based on weighted nuclear norm minimization method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |