CN116309122A - 一种基于深度学习的相位条纹图像散斑噪声抑制方法 - Google Patents
一种基于深度学习的相位条纹图像散斑噪声抑制方法 Download PDFInfo
- Publication number
- CN116309122A CN116309122A CN202310110877.5A CN202310110877A CN116309122A CN 116309122 A CN116309122 A CN 116309122A CN 202310110877 A CN202310110877 A CN 202310110877A CN 116309122 A CN116309122 A CN 116309122A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- network
- training
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000001629 suppression Effects 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 230000008521 reorganization Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 241001270131 Agaricus moelleri Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的相位条纹图像散斑噪声抑制方法，包括以下步骤：S1，收集相位条纹图像数据集；S2，对训练集数据样本添加噪声等级随机的散斑噪声；S3，对添加噪声的训练集数据进行预处理；S4，将预处理的样本送入非对称融合非局部块结构；S5，对经过S4处理得到的结果输入FFDNet网络进行噪声抑制；S6，将S5得到的去噪结果送入边缘提取模块；S7，搭建网络模型，训练网络；S8，对测试集数据样本按照S2添加不同噪声等级的散斑噪声；S9，将S8得到的测试集样本送入S7训练的网络模型。该深度学习方法在不改变网络参数情况下，能够抑制不同噪声等级的散斑噪声，同时保留了图像的边缘细节信息。
Description
技术领域
本发明属于光学检测和图像处理技术领域，特别涉及一种基于深度学习的相位条纹图像散斑噪声抑制方法。
技术背景
近年来，随着计算机特别是高分辨率电荷耦合器件(CCD)的发展，数字全息技术及其应用受到越来越多的青睐，它已被广泛应用于三维成像领域、粒子测量领域等。但是由于激光器的强相干性，光路会受到光学元件缺陷(如灰尘、气泡、伤痕、凹凸缺陷等)或浑浊介质等影响，引起数字全息技术所获得的相位图像出现光强随机涨落的散斑颗粒，即散斑噪声，掩盖了物体的部分细节特征，进而影响了重构图像的测量精度。
传统的散斑噪声抑制算法包括全变差正则化、随机重采样掩模、三维块匹配算法(BM3D)、傅里叶滤波(WFF)算法、小波阈值等方法。这些基于滤波器的图像处理方法在抑制散斑噪声的同时，都会不同程度模糊图像细节，并难以对较大噪声等级的散斑噪声进行抑制。而目前使用的深度学习网络去噪算法，比如Gan、ResNet、DNCNN等网络，在抑制噪声时只能对单一噪声等级的散斑图像进行训练，无法适用于不同噪声等级散斑图像的处理，而且也存在图像过度平滑的现象，丢失了图像的细节信息。
随着深度学习和图像处理的深度结合，基于深度学习的散斑噪声抑制方法得到了广泛的应用。在实际散斑噪声抑制过程中，由于产生散斑噪声的原因与环境不同，使得散斑噪声模型复杂，噪声等级不一，因此，通过现有的深度学习散斑噪声抑制方法无法同时抑制不同噪声等级的散斑。
发明内容
本发明为了解决上述问题，提出了一种基于深度学习的相位条纹图像散斑噪声抑制方法。首先，该方法对数据集进行预处理，提高了模型的泛化能力；其次，为了获取散斑噪声图像更多特征信息，将空间金字塔池化与非局部注意力机制融合集成非对称融合非局部块，捕获图像上两个不同像素点间的联系，使得每个位置的输出都结合了整个图像上所有位置的特征，得到全局信息；然后，将获得的全局信息输入到FFDNet网络中对不同噪声等级的散斑噪声图像进行训练，并在FFDNet网络的输出端添加了边缘提取模块，提取不同尺度上的特征信息进行融合得到边缘图；最后，将得到的边缘图反向传播到FFDNet网络，引导网络的噪声抑制过程，利于图像恢复更多的细节特征。该方法有效提高了不同噪声等级的散斑噪声抑制能力，同时更多地保留了图像的边缘细节特征。
为实现上述目的，本发明采用的技术方案如下：一种基于深度学习的相位条纹图像散斑噪声抑制方法，包括以下步骤：
步骤S1，收集相位条纹图像数据集作为数据集样本，并对获得的数据集样本按照8:1:1的比例划分为训练集、验证集和测试集；
步骤S2，对经过步骤S1划分得到训练集添加不同等级的随机散斑噪声；
步骤S3，对经过步骤S2处理的训练集进行预处理；
步骤S4，将经过步骤S3预处理后的训练集输入非对称融合非局部块结构，将噪声图像的信息与全局信息相结合；
步骤S5，将经过步骤S4处理得到的结果输入到FFDNet网络；
步骤S6，将经过步骤S5得到的去噪结果输入边缘提取模块，提取相位条纹图像的边缘细节特征，将边缘细节特征反向传播到FFDNet网络中，使得网络保留更多的边缘细节特征；
步骤S7，搭建相位条纹图像的散斑噪声抑制网络模型，利用不同噪声等级的相位条纹图像训练网络；
步骤S8，对经过步骤S1划分得到的测试集按照步骤S2所述方法添加不同噪声等级的散斑噪声，并按照步骤S3所述方法进行归一化处理；
步骤S9，将步骤S8得到的测试集送入步骤S7训练得到的网络模型中，获得散斑噪声抑制结果。
优选的，所述步骤S1具体包括：
步骤S101，收集相位条纹图像数据集，构成改进的FFDNet网络模型所需的无噪声图像数据，作为数据集样本，图像尺寸大小统一为1024×1024像素。
步骤S102，数据划分，将数据集样本按照8:1:1的比例划分为训练集、验证集和测试集三个部分；其中，训练集用于模型拟合数据样本，在训练过程中对训练误差进行梯度下降和权重参数的训练；验证集用于调整模型的超参数和初步评估模型能力；测试集用来评估最终模型的泛化能力。
优选的，所述步骤S2具体包括：
将训练集中的相位条纹图像添加服从瑞利分布的乘性分量与高斯分布的加性分量的散斑噪声，作为训练模型所需的噪声模型；噪声模型可表示为：
n＝R(x)+N(0,δ2) (1)
式(1)中，n为添加散斑噪声后的图像；x为无噪声图像；R(x)为带有尺寸参数的瑞利分布；N(0,δ2)为期望值为0、方差为δ2的高斯分布；不同的标准差δ决定不同等级的噪声，将噪声等级设置为[0,75]，最终形成与原始相位条纹图像对应的噪声等级为[0,75]的噪声图像。
优选的，所述步骤S3具体包括：
步骤S301，对每条数据进行线性函数归一化操作，公式为：
式(2)中，p'为归一化后的像素值；p为原始像素值；min(p)为样本数据中的最小像素值；max(p)为样本数据中的最大像素值。
步骤S302，将训练图像随机裁剪成尺寸大小为160×160像素的图像块，并将其通过旋转进行数据增强，可以扩充图像数据和增强模型稳定性，同时提升网络的计算效率；数据增强方法如下：
旋转90：将图像块逆时针旋转90°；
旋转180：将图像块逆时针旋转180°；
旋转270：将图像块逆时针旋转270°；
翻转：将图像块沿x轴上下翻转；
翻转(旋转90)：将图像块逆时针旋转90°，再上下翻转；
翻转(旋转180)：将图像块逆时针旋转180°，再上下翻转；
翻转(旋转270)：将图像块逆时针旋转270°，再上下翻转。
步骤S303，将经过步骤S302处理的无噪声相位条纹图像块与相应位置上含有散斑噪声的相位条纹图像块组成训练图像对。
优选的，所述步骤S4具体包括：
步骤S401，在FFDNet网络前端引入非对称融合非局部块结构，非对称融合非局部块用于统计全局信息，捕获图像上两个不同像素点间的联系，将图像中每个像素点位置的响应计算为除该像素点外所有位置特征的加权总和，并将该响应值传递给FFDNet来增强网络的去噪效果。
步骤S402，非对称融合非局部块结构中加入了空间金字塔池化操作，提供足够的有关全局场景语义线索的特征统计信息，在减少计算量的同时，不会引起非局部块性能的下降。
优选的，所述步骤S5具体包括：
步骤S501，输入噪声图像通过像素逆重组方法进行降采样操作，重构出4个降采样子图像。带噪声的全局信息图像的尺寸为C×W×H，降采样子图像的尺寸为4C×W/2×H/2。降采样子图像可有效增加网络感受野，提高网络卷积效率，降低内存负担。
同时，将降采样子图像与一幅噪声等级为可调的图像串联，作为FFDNet网络的输入，尺寸为(4C+1)×W/2×H/2。
步骤S502，FFDNet网络深度设置为15层，第一层由卷积层和校正线性单元构成，即对输入图像卷积，然后使用校正线性单元进行激活处理；第二层到第十三层使用了卷积层、校正线性单元和批量归一化层的组合，也就是在卷积层和校正线性单元之间加了批量归一化层；第十五层仅使用图像卷积来重建输出层，卷积核大小为3×3像素。
步骤S503，通过像素重组方法进行上采样操作，将噪声残差图还原为原始尺寸大小；噪声残差图尺寸为(4C+1)×W/2×H/2，经过上采样操作的输出图像尺寸为C×W×H。
优选的，所述步骤S6具体包括：
步骤S601，边缘提取网络共有7个卷积层，卷积核大小为3×3像素；在第二层和第四层后面分别连接一个2×2像素的最大池化层，将第三层和第五层卷积的输入尺寸的宽和高变为上一层的一半。
步骤S602，在第二层、第四层和第七层卷积后分别引出侧输出，并通过双线性插值进行上采样操作，使侧输出图像尺寸与输入图像尺寸大小一致。最后，通过逐个像素相加的方式，将不同尺度的侧输出进行融合得到边缘图，并通过反向传播来引导网络的去噪过程。
优选的，所述步骤S7具体包括：
步骤S701，利用非对称融合非局部块结构统计获得的训练集数据全局信息
并串联噪声等级图M，共同作为FFDNet网络的输入；将噪声图像/>
作为标签来训练FFDNet网络，网络输出是经过残差学习得到的噪声残差图/>
使用包含噪声的全局信息图像/>
减去网络预测的噪声残差图/>
得到去噪后的目标图像/>
将去噪后的目标图像输入边缘提取模块，引导网络生成具有更多边缘细节信息和纹理特征的噪声抑制后图像y；
步骤S702，设置模型训练参数，模型优化方式为适应性矩估计；初始学习率为0.001，学习率调整方法为多步长衰减法，批大小为64；网络的代价函数是网络估计的噪声残差图与噪声图之间的平均绝对值误差：
式(3)中，
为第j个输入的噪声图像；m为训练图像总数；/>
为对应/>
的噪声残差图；Mj为对应/>
的噪声等级图；θ为网络参数；Nj为对应/>
的噪声图；j为1.....m。
优选的，所述步骤S8具体包括：
给测试集中的相位条纹图像分别添加25、50和75三种不同噪声等级的散斑噪声，并进行归一化处理。
优选的，所述步骤S9具体包括：
将测试集图像输入训练好的模型中，得到去噪结果，计算其峰值信噪比、结构相似性、等效视数、散斑抑制指数四个评价参数。
步骤S901，峰值信噪比PSNR数学表达式为：
式(4)中，MSE为原始图像与去噪后图像的均方误差；式(5)中，x为无噪声图像；y为抑制噪声后图像；mn为大小为m×n的训练图像的像素总数；i，j为第i行第j列的像素值。
步骤S902，结构相似性SSIM数学表达式为：
式(6)中，u和v分别为无噪声图像和抑制噪声后图像中两个大小为W×W的局部性窗口；μu和μv分别是两个窗口中像素灰度的平均值；
与/>
分别是两个窗口中像素灰度的方差；δuv是u和v两个窗口的协方差；常数C1＝2.55，C2＝7.65。
步骤S903，等效视数ENL数学表达式为：
式(7)中，μy为抑制噪声后图像的平均值；δy为抑制噪声后图像的标准差。
步骤S904，散斑抑制指数SSI数学表达式为：
式(8)中，δy为抑制噪声后图像的标准差；δn为含噪声图像的标准差；μy为抑制噪声后图像的均值；μn为含噪声图像的均值。
与现有技术相比，本发明的有益效果是：
在实际散斑噪声抑制过程中，噪声模型复杂、噪声等级不一，由于传统算法和常规网络针对的是特定等级的噪声，所以难以同时对不同噪声等级的散斑噪声进行抑制，而且图像边缘细节信息损失严重，降低了数字全息图像的重构质量，限制了噪声抑制方法的应用。与传统算法和常规网络模型相比，本发明提出了一种新的网络结构来有效抑制相位条纹图像的散斑噪声，该方法在FFDNet网络的基础上，增加了一个非对称融合非局部块结构，以获取随机噪声等级图像上两个像素点之间的联系，弥补了常规网络模型针对不同等级噪声抑制能力的不足，并且很大程度上减少了内存负担。此外，该网络在FFDNet网络末端增加了一个边缘提取模块，通过逐个像素相加不同尺度的侧输出得到边缘图，反向传播引导网络去噪过程，使网络的输出更好地保留了图像的边缘细节信息。因此，提出的处理策略具有更强的去噪能力以及边缘恢复能力，较大程度抑制了不同噪声等级的散斑噪声，保留了更多的图像边缘细节信息，不仅提高了测量结果的精度，而且降低了硬件设备的负担。
所提出的散斑噪声抑制方法通过非对称融合非局部块(AFNB)有利于神经网络提取噪声图像的深层特征，适用于不同噪声等级的散斑噪声抑制，提升了噪声抑制效果，同时加入的边缘提取模块(VEM)保留了更多的图像边缘细节特征，该方法不仅扩大了噪声抑制的适用范围，而且提高了图像边缘细节的提取能力。
附图说明
图1为本发明实施例的一种相位条纹图像的深度学习散斑噪声抑制方法流程图；
图2为本发明实施例的包含不同噪声等级散斑噪声的相位条纹图像；
图3为本发明实施例的网络模型对图2相位条纹图像的散斑噪声抑制结果。
具体实施方式
下面结合附图和具体实施方式对发明进行详细说明。
参照图1，本发明公开了一种基于深度学习的相位条纹图像散斑噪声抑制方法，具体实施步骤如下：
步骤S101，收集相位条纹图像数据集，构成训练改进的FFDNet网络模型所需的无噪声图像数据，作为数据集样本，图像尺寸大小统一为1024×1024像素，方便模型读取数据。
步骤S102，为提高模型的泛化能力，将数据集样本按照8:1:1的比例划分为训练集、验证集和测试集三个部分；在训练集和测试集的选取过程中，保证所选的训练集样本和测试集样本涵盖各种稀疏程度相位条纹分布。
参照图2，本发明步骤S2包括：利用Python中Numpy扩展程序包对训练集中的相位条纹图像添加服从瑞利分布乘性分量与高斯分布加性分量的散斑噪声，作为训练模型所需的噪声图像；噪声模型可表示为：
n＝R(x)+N(0,δ2) (1)
式(1)中，n为添加散斑噪声后的图像；x为无噪声图像；R(x)为带有尺寸参数的瑞利分布；N(0,δ2)为期望值为0、方差为δ2的高斯分布；不同的标准差δ决定不同等级的噪声，将噪声等级设置为[0,75]，最终形成与原始相位条纹图像对应的噪声等级为[0,75]的噪声图像。编码格式采用utf-8，噪声图像标签保存为bmp格式。
步骤S301，数据归一化对每条数据进行Min-Max Scaling操作，公式为：
式(2)中，p'为归一化后的像素值；p为原始像素值；min(p)为样本数据中的最小像素值；max(p)为样本数据中的最大像素值。
步骤S302，将训练图像随机裁剪成尺寸大小为160×160像素的图像块，并将其通过旋转进行数据增强，可以扩充图像数据和增强模型稳定性，同时提升网络的计算效率。数据增强方法如下：
旋转90：将图像块逆时针旋转90°；
旋转180：将图像块逆时针旋转180°；
旋转270：将图像块逆时针旋转270°；
翻转：将图像块沿x轴上下翻转；
翻转(旋转90)：将图像块逆时针旋转90°，再上下翻转；
翻转(旋转180)：将图像块逆时针旋转180°，再上下翻转；
翻转(旋转270)：将图像块逆时针旋转270°，再上下翻转。
步骤S303，将经过步骤S302处理的无噪声相位条纹图像块与相应位置上含有散斑噪声的相位条纹图像块组成训练图像对。
步骤S401，在FFDNet网络前端引入非对称融合非局部块结构。首先，由3个1×1卷积将输入图像X∈RC×H×W转化为三个特征矩阵
θ∈RC×H×Wθ，γ∈RC×H×W，将
特征转换为/>
其次，使用SPP对特征矩阵θ和γ降采样，得到一个较小的输出，θP∈RC×S，γP∈RS×C。再次，将特征矩阵/>
和θP相乘，通过SoftMax函数进行归一化得到V∈RN×S。然后，将特征矩阵V与γP相乘得到O∈RN×C。最后，将新输出特征经过1×1卷积变换后与原始输入特征进行拼接：/>
以此作为模块的最终输出结果。
步骤S402，非对称融合非局部块结构中加入了空间金字塔池化操作。空间金字塔池化对θ和γ进行不同尺度最大池化操作，提高网络的感受野，有效避免了对图像区域剪裁、缩放操作导致的图像失真等问题，也解决了网络对图像相关重复特征提取的问题，节省了计算成本。空间金字塔池化选择的卷积核尺寸为{1,3,6,8}，采样锚点数为S＝∑n∈{1,3,6,8}n2＝110，得到降采样后的θP∈RC×S，γP∈RS×C，网络的输入数据通道数为1，图像的宽度和高度均为1024，所以非对称矩阵乘法可以节省1024×1024/110≈9532倍的计算时间。此外空间金字塔池化提供了足够的有关全局场景语义线索的特征统计信息，在减少计算量的同时，不会引起非局部操作块的性能下降。
步骤S501，输入噪声图像通过像素逆重组方法进行降采样操作，重构出4个降采样子图像。输入带噪声的全局信息图像的尺寸为C×W×H，下采样因子为2，得到的降采样子图像的尺寸为4C×W/2×H/2。降采样子图像可以有效增加网络感受野，提高网络卷积效率，加快训练和测试速度，降低内存负担。
同时，将降采样子图像与一幅噪声等级为可调节的图像串联，作为FFDNet网络的输入，尺寸为(4C+1)×W/2×H/2。
步骤S502，FFDNet网络深度设置为15层，第一层由卷积层和校正线性单元构成，即对输入图像卷积操作，然后使用校正线性单元进行激活处理；第二层到第十三层使用了卷积层、校正线性单元和批量归一化层的组合；第十五层仅使用卷积来重建输出层，卷积核大小为3×3像素。
步骤S503，通过像素重组方法进行上采样操作，将噪声残差图的尺寸大小还原为原始尺寸大小；噪声残差图尺寸为(4C+1)×W/2×H/2，上采样因子为2，输出图像的尺寸为C×W×H。像素重组方法通过亚像素卷积方法来扩大特征图，获取高分辨率图像，解决插值和转置卷积带来的一些人工痕迹问题，同时可以解决棋盘效应。
步骤S601，边缘提取网络共有7个卷积层，卷积核大小为3×3像素在第二层和第四层后面分别连接一个2×2像素的最大池化层，将第三层和第五层卷积的输入尺寸的宽和高变为上一层的一半。
步骤S602，在第二层、第四层和第七层卷积后分别引出侧输出，并通过双线性插值进行上采样操作，使侧输出图像尺寸与输入图像尺寸大小一致。最后，通过逐像素相加的方式，为不同尺度的侧输出进行融合得到边缘图，并通过反向传播来引导网络的去噪过程。
步骤S701，将非对称融合非局部块结构统计获得的训练集数据全局信息
降采样，并串联噪声等级图M，共同作为FFDNet网络的输入。
步骤S702，将包含噪声的全局信息图像
与无噪声图像x对应像素相减得到噪声图像/>
作为标签训练FFDNet网络，网络输出是经过残差学习得到的噪声残差图
步骤S703，使用包含噪声的全局信息图像
减去网络预测的噪声残差图/>
得到去噪后的目标图像/>
步骤S704，将去噪后的目标图像输入边缘提取模块，通过融合不同尺度的侧输出获得边缘图
引导网络生成具有更多边缘细节信息和纹理特征的噪声抑制后图像y。
步骤S705，设置模型训练参数：模型优化方式为适应性矩估计，初始学习率为0.001，学习率调整方法为多步长衰减法，批大小为64，超参数λ用来控制损失的下降速度，本方法λ设置为0.5。网络的代价函数是网络估计的噪声残差图与噪声图之间的平均绝对值误差：
式(3)中，
为第j个输入的噪声图像；m为训练图像总数；/>
为对应/>
的噪声残差图；Mj为对应/>
的噪声等级图；θ为网络参数；Nj为对应/>
的噪声图；j为1.....m。
步骤S8，给测试集中的相位条纹图像分别添加25、50和75三种不同噪声等级的散斑噪声，并进行归一化处理。
参照图3，本发明步骤S9包括：将测试集图像输入训练好的模型中，得到去噪结果，计算其峰值信噪比、结构相似性、等效视数和散斑抑制指数四个评价参数。
步骤S901，峰值信噪比PSNR数学表达式为：
式(4)中，MSE为原始图像与去噪后图像的均方误差；式(5)中，x为无噪声图像；y为抑制噪声后图像；mn为大小为m×n的训练图像的像素总数；i，j为第i行第j列的像素值。
步骤S902，结构相似性SSIM数学表达式为：
式(6)中，u和v分别为无噪声图像和抑制噪声后图像中两个大小为W×W的局部性窗口；μu和μv分别是两个窗口中像素灰度的平均值；
与/>
分别是两个窗口中像素灰度的方差；δuv是u和v两个窗口的协方差；常数C1＝2.55，C2＝7.65。如表1：为图3散斑噪声抑制后的相位条纹图像对应的PSNR、SSIM、SSI和ENL值。
表1
步骤S903，等效视数ENL数学表达式为：
式(7)中，μy为去噪后图像的平均值；δy为抑制噪声后图像的标准差。
步骤S904，散斑抑制指数SSI数学表达式为：
式(8)中，δy为抑制噪声后图像的标准差；δn为含噪声图像的标准差；μy为抑制噪声后图像的均值；μn为含噪声图像的均值。
经过以上9个步骤，即可得到本发明所提出的一种基于深度学习的相位条纹图像散斑噪声抑制模型。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。
Claims (10)
1.一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，包括以下步骤：
步骤S1，收集相位条纹图像数据集作为数据集样本，并对获得的数据集样本按照8:1:1的比例划分为训练集、验证集和测试集；
步骤S2，对经过步骤S1划分得到训练集添加不同等级的随机散斑噪声；
步骤S3，对经过步骤S2处理的训练集进行预处理；
步骤S4，将经过步骤S3预处理后的训练集输入非对称融合非局部块结构，将噪声图像的信息与全局信息相结合；
步骤S5，将经过步骤S4处理得到的结果输入到FFDNet网络；
步骤S6，将经过步骤S5得到的去噪结果输入边缘提取模块，提取相位条纹图像的边缘细节特征，将边缘细节特征反向传播到FFDNet网络中，使得网络保留更多的边缘细节特征；
步骤S7，搭建相位条纹图像的散斑噪声抑制网络模型，利用不同噪声等级的相位条纹图像训练网络；
步骤S8，对经过步骤S1划分得到的测试集按照步骤S2所述方法添加不同噪声等级的散斑噪声，并按照步骤S3所述方法进行归一化处理；
步骤S9，将步骤S8得到的测试集送入步骤S7训练得到的网络模型中，获得散斑噪声抑制结果。
2.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S1具体包括：
步骤S101，收集相位条纹图像数据集，构成改进的FFDNet网络模型所需的无噪声图像数据，作为数据集样本，图像尺寸大小统一为1024×1024像素；
步骤S102，数据划分，将数据集样本按照8:1:1的比例划分为训练集、验证集和测试集三个部分；其中，训练集用于模型拟合数据样本，在训练过程中对训练误差进行梯度下降和权重参数的训练；验证集用于调整模型的超参数和初步评估模型能力；测试集用来评估最终模型的泛化能力。
3.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S2具体包括：
将训练集中的相位条纹图像添加服从瑞利分布的乘性分量与高斯分布的加性分量的散斑噪声，作为训练模型所需的噪声模型；噪声模型可表示为：
n＝R(x)+N(0,δ2) (1)
式(1)中，n为添加散斑噪声后的图像；x为无噪声图像；R(x)为带有尺寸参数的瑞利分布；N(0,δ2)为期望值为0、方差为δ2的高斯分布；不同的标准差δ决定不同等级的噪声，将噪声等级设置为[0,75]，最终形成与原始相位条纹图像对应的噪声等级为[0,75]的噪声图像。
4.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S3具体包括：
步骤S301，对每条数据进行线性函数归一化操作，公式为：
式(2)中，p'为归一化后的像素值；p为原始像素值；min(p)为样本数据中的最小像素值；max(p)为样本数据中的最大像素值；
步骤S302，将训练图像随机裁剪成尺寸大小为160×160像素的图像块，并将其通过旋转进行数据增强，可以扩充图像数据和增强模型稳定性，同时提升网络的计算效率；数据增强方法如下：
旋转90：将图像块逆时针旋转90°；
旋转180：将图像块逆时针旋转180°；
旋转270：将图像块逆时针旋转270°；
翻转：将图像块沿x轴上下翻转；
翻转：将图像块逆时针旋转90°，再上下翻转；
翻转：将图像块逆时针旋转180°，再上下翻转；
翻转：将图像块逆时针旋转270°，再上下翻转；
步骤S303，将经过步骤S302处理的无噪声相位条纹图像块与相应位置上含有散斑噪声的相位条纹图像块组成训练图像对。
5.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S4具体包括：
步骤S401，在FFDNet网络前端引入非对称融合非局部块结构，非对称融合非局部块用于统计全局信息，捕获图像上两个不同像素点间的联系，将图像中每个像素点位置的响应计算为除该像素点外所有位置特征的加权总和，并将该响应值传递给FFDNet来增强网络的去噪效果；
步骤S402，非对称融合非局部块结构中加入了空间金字塔池化操作，提供足够的有关全局场景语义线索的特征统计信息，在减少计算量的同时，不会引起非局部块性能的下降。
6.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S5具体包括：
步骤S501，输入噪声图像通过像素逆重组方法进行降采样操作，重构出4个降采样子图像；带噪声的全局信息图像的尺寸为C×W×H，降采样子图像的尺寸为4C×W/2×H/2；降采样子图像可有效增加网络感受野，提高网络卷积效率，降低内存负担；
同时，将降采样子图像与一幅噪声等级为可调的图像串联，作为FFDNet网络的输入，尺寸为(4C+1)×W/2×H/2；
步骤S502，FFDNet网络深度设置为15层，第一层由卷积层和校正线性单元构成，即对输入图像卷积，然后使用校正线性单元进行激活处理；第二层到第十三层使用了卷积层、校正线性单元和批量归一化层的组合，也就是在卷积层和校正线性单元之间加了批量归一化层；第十五层仅使用图像卷积来重建输出层，卷积核大小为3×3像素；
步骤S503，通过像素重组方法进行上采样操作，将噪声残差图还原为原始尺寸大小；噪声残差图尺寸为(4C+1)×W/2×H/2，经过上采样操作的输出图像尺寸为C×W×H。
7.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S6具体包括：
步骤S601，边缘提取网络共有7个卷积层，卷积核大小为3×3像素；在第二层和第四层后面分别连接一个2×2像素的最大池化层，将第三层和第五层卷积的输入尺寸的宽和高变为上一层的一半；
步骤S602，在第二层、第四层和第七层卷积后分别引出侧输出，并通过双线性插值进行上采样操作，使侧输出图像尺寸与输入图像尺寸大小一致；最后，通过逐个像素相加的方式，将不同尺度的侧输出进行融合得到边缘图，并通过反向传播来引导网络的去噪过程。
8.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S7具体包括：
步骤S701，利用非对称融合非局部块结构统计获得的训练集数据全局信息
并串联噪声等级图M，共同作为FFDNet网络的输入；将噪声图像/>
作为标签来训练FFDNet网络，网络输出是经过残差学习得到的噪声残差图/>
使用包含噪声的全局信息图像/>
减去网络预测的噪声残差图/>
得到去噪后的目标图像/>
将去噪后的目标图像输入边缘提取模块，引导网络生成具有更多边缘细节信息和纹理特征的噪声抑制后图像y；
步骤S702，设置模型训练参数，模型优化方式为适应性矩估计；初始学习率为0.001，学习率调整方法为多步长衰减法，批大小为64；网络的代价函数是网络估计的噪声残差图与噪声图之间的平均绝对值误差：
式(3)中，
为第j个输入的噪声图像；m为训练图像总数；/>
为对应/>
的噪声残差图；Mj为对应/>
的噪声等级图；θ为网络参数；Nj为对应/>
的噪声图；j为1.....m。
9.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S8具体包括：
给测试集中的相位条纹图像分别添加25、50和75三种不同噪声等级的散斑噪声，并进行归一化处理。
10.根据权利要求1所述的一种基于深度学习的相位条纹图像散斑噪声抑制方法，其特征在于，所述步骤S9具体包括：
将测试集图像输入训练好的模型中，得到去噪结果，计算其峰值信噪比、结构相似性、等效视数、散斑抑制指数四个评价参数；
步骤S901，峰值信噪比PSNR数学表达式为：
式(4)中，MSE为原始图像与去噪后图像的均方误差；式(5)中，x为无噪声图像；y为抑制噪声后图像；mn为大小为m×n的训练图像的像素总数；i，j为第i行第j列的像素值；
步骤S902，结构相似性SSIM数学表达式为：
式(6)中，u和v分别为无噪声图像和抑制噪声后图像中两个大小为W×W的局部性窗口；μu和μv分别是两个窗口中像素灰度的平均值；
与/>
分别是两个窗口中像素灰度的方差；δuv是u和v两个窗口的协方差；常数C1＝2.55，C2＝7.65；
步骤S903，等效视数ENL数学表达式为：
式(7)中，μy为抑制噪声后图像的平均值；δy为抑制噪声后图像的标准差；
步骤S904，散斑抑制指数SSI数学表达式为：
式(8)中，δy为抑制噪声后图像的标准差；δn为含噪声图像的标准差；μy为抑制噪声后图像的均值；μn为含噪声图像的均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110877.5A CN116309122A (zh) | 2023-02-13 | 2023-02-13 | 一种基于深度学习的相位条纹图像散斑噪声抑制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310110877.5A CN116309122A (zh) | 2023-02-13 | 2023-02-13 | 一种基于深度学习的相位条纹图像散斑噪声抑制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309122A true CN116309122A (zh) | 2023-06-23 |
Family
ID=86814104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310110877.5A Pending CN116309122A (zh) | 2023-02-13 | 2023-02-13 | 一种基于深度学习的相位条纹图像散斑噪声抑制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309122A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563173A (zh) * | 2023-07-11 | 2023-08-08 | 成都理工大学 | 基于多噪声自监督学习的探地雷达图像去噪方法 |
| CN116993592A (zh) * | 2023-09-27 | 2023-11-03 | 城云科技（中国）有限公司 | 一种图像超分辨率重建模型的构建方法、装置及应用 |
| CN117115753A (zh) * | 2023-10-23 | 2023-11-24 | 辽宁地恩瑞科技有限公司 | 一种膨润土自动化磨粉监测系统 |
-
2023
- 2023-02-13 CN CN202310110877.5A patent/CN116309122A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563173A (zh) * | 2023-07-11 | 2023-08-08 | 成都理工大学 | 基于多噪声自监督学习的探地雷达图像去噪方法 |
| CN116563173B (zh) * | 2023-07-11 | 2023-09-08 | 成都理工大学 | 基于多噪声自监督学习的探地雷达图像去噪方法 |
| CN116993592A (zh) * | 2023-09-27 | 2023-11-03 | 城云科技（中国）有限公司 | 一种图像超分辨率重建模型的构建方法、装置及应用 |
| CN116993592B (zh) * | 2023-09-27 | 2023-12-12 | 城云科技（中国）有限公司 | 一种图像超分辨率重建模型的构建方法、装置及应用 |
| CN117115753A (zh) * | 2023-10-23 | 2023-11-24 | 辽宁地恩瑞科技有限公司 | 一种膨润土自动化磨粉监测系统 |
| CN117115753B (zh) * | 2023-10-23 | 2024-02-02 | 辽宁地恩瑞科技有限公司 | 一种膨润土自动化磨粉监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709895B (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| Zhang et al. | Image restoration: From sparse and low-rank priors to deep priors [lecture notes] | |
| CN116309122A (zh) | 一种基于深度学习的相位条纹图像散斑噪声抑制方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN112967327A (zh) | 基于联合自注意力机制的单目深度方法 | |
| CN110796622A (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN116757955A (zh) | 一种基于全维动态卷积多融合对比网络 | |
| CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
| Jiang et al. | A new nonlocal means based framework for mixed noise removal | |
| Lin et al. | A Deep Neural Network Based on Prior Driven and Structural-Preserving for SAR Image Despeckling | |
| Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
| CN113744134A (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN116563101A (zh) | 一种基于频域残差的无人机图像盲超分辨率重建方法 | |
| CN113487491B (zh) | 一种基于稀疏性与非局部均值自相似性的图像复原方法 | |
| CN112767264B (zh) | 基于图卷积神经网络的图像去模糊方法与系统 | |
| CN114565528A (zh) | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 | |
| CN114862699A (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| Zhang et al. | Deep residual network based medical image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |