CN114757841A - 一种基于噪声特性的激光诱导荧光图像去噪方法 - Google Patents
一种基于噪声特性的激光诱导荧光图像去噪方法 Download PDFInfo
- Publication number
- CN114757841A CN114757841A CN202210333447.5A CN202210333447A CN114757841A CN 114757841 A CN114757841 A CN 114757841A CN 202210333447 A CN202210333447 A CN 202210333447A CN 114757841 A CN114757841 A CN 114757841A
- Authority
- CN
- China
- Prior art keywords
- noise
- image
- distribution
- fluorescence image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001499 laser induced fluorescence spectroscopy Methods 0.000 title claims abstract description 23
- 238000009826 distribution Methods 0.000 claims abstract description 94
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 230000003042 antagnostic effect Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 14
- 238000010276 construction Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 239000002245 particle Substances 0.000 abstract description 3
- 238000001228 spectrum Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001506 fluorescence spectroscopy Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010494 dissociation reaction Methods 0.000 description 1
- 230000005593 dissociations Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000003350 kerosene Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明为解决现有复杂场光谱诊断技术流场中的荧光干扰、颗粒散射、壁面散射等杂散光将会大大降低了标记荧光图像的信噪比,造成流场参数测量不确定度上升甚至误判,同时系统噪声也同样影响测量不确定度的问题,而提供了一种基于噪声特性的激光诱导荧光图像去噪方法。本发明通过改变流场以及实验系统的主要参数信息,统计分析流场和系统噪声特性,再根据噪声强度均值、标准差、相对强度范围、平滑度以及强度分布的偏度和峰度等统计量的变化规律,估计噪声模型参数,综合分析归纳噪声特性规律,针对性的构建描述模型,并利用相对均方差指标验证模型构建的可靠性,以此模型作为样本生成的噪声训练集训练网络对抗网络进行去噪。
Description
技术领域
本发明属于复杂物理场激光光谱诊断分析技术领域,具体涉及一种基于噪声特性的激光诱导荧光图像去噪方法。
背景技术
高温高速燃烧流场参数分布的精确测量是进行流场特性分析、发动机性能评估以及燃烧优化控制的基础,利用平面激光诱导荧光技术获取标记分子的荧光图像,可分析反演出流场速度、温度等参数。由于流场参数反演是建立在精确识别图像信息的基础上,图像信息的识别精度取决于图像信噪比(Signal to Noise Ratio,SNR)的大小,因此利用激光诱导荧光技术反演流场参数的前提,是对荧光图像进行有效的去噪处理。
在实际工程应用中,流场中的荧光干扰、颗粒散射、壁面散射等杂散光将会大大降低了标记荧光图像的SNR,其中流场噪声是影响流场参数不确定度的关键因素之一。燃烧流场中大分子燃料(航空煤油等)大大吸收解离激光光强,导致信号变弱;壁面散射以及中间产物所形成的散射光会对信号产生较大干扰;此外,光学窗口导致入射激光能量阈值受限,SNR下降,从而造成流场参数测量不确定度上升甚至误判。
荧光图像中流场噪声普遍存在实验数据中,会对精确提取造成影响。系统噪声也同样影响着测量不确定度,其中包括ICCD相机的光子噪声、暗电流噪声、固定模式噪声、放大器噪声以及成像噪声等。实验中随着ICCD的增益和门宽的增加,采集到的ICCD的背景噪声也随之增大。同样对流场参数测量不确定度造成影响。
中国专利(CN 111476125A)提出了一种基于生成对抗网络的三维荧光显微信号去噪方法,通过训练去噪生成网络和去噪判别网络,从而能够将低信噪比的三维荧光数据去噪得到高信噪比的数据,显著地提高了三维荧光信号的效果,能够有效的提升低信噪比三维荧光显微信号的去噪能力,更加可靠并准确。但是该专利是通过改变光强和曝光时间实现高、低信噪比获取的实验数据作为输入输出样本来训练网络,达到图像信噪比由低到高的转变。而我们面对的应用于复杂物理场光谱诊断中各种背景噪声和系统噪声,这些噪声随我们测量的参数以及实验设定的环境参数不同而不同,不能仅仅通过截取不同信噪比的不同区域的实验数据就能代表,也不能仅仅只是针对某种参数测量下的某种干扰,同时小样本库也不足以训练网络。因此我们需要一种普适性的方法,对各种实验环境各种关键参数反映下的噪声实验数据进行特性分析,通过噪声描述模型的构建以及有效性评估,构建出一个高置信度的噪声描述模型,这样产生大量的样本训练网络,可以获得一个生成式对抗神经网络解决去除背景噪声的目的。
发明内容
本发明的目的是解决现有复杂场光谱诊断技术流场中的荧光干扰、颗粒散射、壁面散射等杂散光将会大大降低了标记荧光图像的信噪比,造成流场参数测量不确定度上升甚至误判,同时系统噪声也同样影响测量不确定度的问题,而提供了一种基于噪声特性的激光诱导荧光图像去噪方法。
本发明的设计思路是:首先通过对实验数据的处理和分析,开展了噪声特性分析的研究,统计分析了流场参数测量的荧光图像中背景噪声分布特性;然后在此基础上,采用的统计模型描述流程,依据噪声特征分析结果,综合考虑乘性和加性噪声模型,在多种分布形态中进行筛选构建,同时综合考虑理论最优性与工程实现性,获得高置信度的统计模型描述;进而进行模型误差及其有效性的系统分析和评估,建立符合实验系统背景噪声的模型;以建立的噪声模型作为样本,利用生成网络生成噪声训练集,去训练生成式对抗神经网络,最后针对性的进行去噪。
针对普遍存在于流场参数测量的荧光图像中的噪声进行去除处理,通过抑制背景噪声,保留荧光信号的有效信息,提高荧光图像SNR,提高流场参数测量精度。
为达到上述目的,本发明采用的技术方案为:
一种基于噪声特性的激光诱导荧光图像去噪方法,其特殊之处在于,包括以下步骤:
步骤1、获取荧光图像噪声数据集;
步骤2、计算荧光图像噪声特征量,获得不同特征量随测量流场参数变化的分布及变化规律;
步骤3、根据步骤2获得的荧光图像噪声特征量,分析得到荧光图像噪声特征量的分布特征;
步骤4、根据荧光图像噪声特征量的分布特征进行噪声模型参数估计;
步骤5、根据荧光图像噪声特征量的分布特征和噪声模型参数估计结果建立荧光图像噪声模型,获得荧光图像噪声模型;
步骤6、利用步骤5构建的荧光图像噪声模型与荧光图像噪声的实际分布对比计算均方差相对误差,定量评估荧光图像噪声模型描述噪声信号的有效性;
步骤7、根据步骤5获得的荧光图像噪声模型,生成用于训练神经网络的训练样本;
步骤8、构建生成式对抗神经网络;
所述生成式对抗神经网络包括生成器网络和判别器网络;所述生成器网络,用于去除背景噪声;所述判别器网络,用于判断生成式对抗神经网络的输出的荧光图像和真实荧光图像是否接近;
步骤9、利用生成器网络和判别器网络交替优化训练生成式对抗神经网络的参数,在交替优化训练中达到收敛,完成网络训练;
步骤10、利用训练后的生成式对抗神经网络对荧光图像进行去噪,获得去噪后的图像。
进一步地,步骤2中:
所述噪声特征量包括噪声强度均值、噪声强度标准差、噪声平滑度、噪声相对强度范围、图像灰度分布偏度和图像灰度分布峰度。
进一步地,步骤2具体为:
2.1、根据获取的荧光图像中的噪声数据I,计算噪声强度均值μ:
其中,M、N为荧光图像横坐标和纵坐标的图像像素最大值,M×N为荧光图像的大小;
i、j分别代表噪点的横坐标和纵坐标,1≤i≤M,1≤j≤N;
I(i,j)为荧光图像像素点(i,j)的噪声强度;
2.2、计算噪声强度标准差σ:
2.3、计算噪声平滑度υ:
2.4、计算噪声相对强度范围τ:
其中:Imin为实际获取的噪声强度最小值;Imax为实际获取的噪声强度最大值;
2.5、计算图像灰度分布偏度κ1:
2.6、计算图像灰度分布峰度κ2:
进一步地,步骤3中,所述特征量的分布特征具体为:
噪声强度均值μ越小,噪声整体强度越小;
噪声强度标准差σ越小,噪声强度整体起伏越小;
噪声平滑度υ越大,噪声越平滑;
噪声相对强度范围τ越小,噪声强度相对动态范围越小;
当偏度κ1=0且峰度κ2=3时,噪声呈标准正态分布;
当图像灰度分布偏度κ1<0时,称为左偏,此时噪声图像灰度分布直观表现为左边的尾部相对于右边的尾部要长;
当图像灰度分布偏度κ1>0时,称为右偏,此时噪声图像灰度分布直观表现为右边的尾部相对于左边的尾部要长;
若图像灰度分布峰度κ2>3时,称为长尾,则噪声图像灰度分布的尾部厚于标准正态分布;
若图像灰度分布峰度κ2<3时,称为短尾,则噪声图像灰度分布的尾部薄于标准的正态分布。
进一步地,步骤4具体为:
所述噪声模型参数估计采用极大似然拟合参数估计,验证噪声模型分布拟合的合理性。
进一步地,步骤6具体为:
利用步骤5构建的荧光图像噪声模型与实际分布对比计算均方差相对误差,定量评估荧光图像噪声模型描述真实噪声信号的有效性;
计算荧光图像噪声模型与实际分布均方差相对误差测度γ:
h为图像灰度点,K为图像的灰度最大值,1≤h≤K。
进一步地,步骤8中,所述生成器网络采用对称结构,包括卷积层模块、用于增加神经网络深度的冗余层模块和反卷积层模块;
所述卷积层模块为3层,每层网络包括1个子网络;
所述冗余层模块为3层,每层之间采用对称结构的跳跃式连接;每层网络包括依次连接的2个子网络;
所述反卷积层模块为3层,包括1个子网络;
所述子网络包括卷积层、批量正则化和Lrelu线性激活函数;
步骤8中,所述判别器网络,包括5个子网络。
进一步地,步骤9中,所述交替优化具体为:
令u为真值图像,v为染噪图像,则生成器网络的损失函数lossG为:
lossG=a(D(u)-D(G(v)))+L2(G(v),u)
判别器网络的损失函数lossD为:
lossD=-log(D(u))-log(1-D(G(v)))
其中,D为判别器网络,G为生成器网络,L2为向量差的二范数,a为人工定义的权重值;
D(u)为判别器网络对真值图像的输出;
G(v)为生成器网络得到的图像;
D(G(v))为判别器网络对生成器网络得到的图像的输出;
L2(G(v),u)为生成器网络得到的图像与真值图像的差异。
进一步地,步骤6中,所述均方差相对误差测度γ小于10%的噪声模型,可用于后续生成式对抗神经网络去噪。
进一步地,步骤9中,所述采用生成器网络和判别器网络训练神经网络具体为:
生成式对抗神经网络和判别神经网络在Ubuntu1.4、python3.6和pytorch1.1框架下进行训练;
采用批量训练的方式,人工定义的权重a=0.45,批大小为300,训练的迭代次数为10000次。
与现有技术相比,本发明具有的有益技术效果如下:
1、本发明提供的基于噪声特性的激光诱导荧光图像去噪方法,通过改变流场以及实验系统的主要参数信息,统计分析流场和系统噪声特性,再根据噪声强度均值、标准差、相对强度范围、平滑度以及强度分布的偏度和峰度等统计量的变化规律,估计噪声模型参数,综合分析归纳噪声特性规律,针对性的构建描述模型,并利用相对均方差指标验证模型构建的可靠性,以此模型作为样本生成的噪声训练集训练网络对抗网络进行去噪,去噪更有效。
2、本发明提供的基于噪声特性的激光诱导荧光图像去噪方法,由于以实际荧光图像的噪声特性分析为先验信息,生成足够多的训练样本以训练对抗生成网络去噪,更具有针对性,去噪效果更好。
附图说明
图1为本发明基于噪声特性的激光诱导荧光图像去噪方法实施例流程图;
图2为本发明实施例中获取训练样本的过程图;
图3为本发明实施例生成的训练样本图像;其中,(a)~(d)为四种不同的训练样本图像;
图4为采用现有滤波去噪方法和本发明去噪方法的去噪效果对比图;其中,(a)为原含噪声图像,(b)为采用高斯滤波去噪后的图像,(c)为采用均值滤波去噪后的图像,(d)为采用中值滤波去噪后的图像,(e)为采用本发明方法滤波去噪后的图像。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明提出的一种基于噪声特性的激光诱导荧光图像去噪方法作进一步详细说明。本领域技术人员应当理解的是,这些实施方式仅仅用来解释本发明的技术原理,目的并不是用来限制本发明的保护范围。
如图1所示,一种基于噪声特性的激光诱导荧光图像去噪方法,包括以下步骤:
步骤1、获取荧光图像噪声数据集;
为了统计分析流场参数测量实验中ICCD拍摄到荧光图像的噪声特性,并构建相应的描述模型,在测量流场参数的实验中,通过调节实验参数设置,获取荧光图像噪声数据集。
步骤2、计算荧光图像噪声特征量,获得不同特征量随测量流场参数变化的分布及变化规律;
从噪声的强度均值、强度标准差、噪声平滑度、相对强度范围、分布偏度、分布峰度等六个统计特征量进行求解,给出其随实验参数变化的分布及变化规律。
2.1、对获取的实验荧光图像中的噪声数据I,计算噪声强度均值μ:
其中,M、N为荧光图像横坐标和纵坐标的图像像素最大值,M×N为荧光图像的大小;M=256,N=256;
i、j分别代表噪点的横坐标和纵坐标,1≤i≤M,1≤j≤N;
I(i,j)为荧光图像像素点(i,j)的噪声强度;
2.2、计算噪声强度标准差σ:
2.3、计算噪声平滑度υ:
2.4、计算噪声相对强度范围τ:
其中:Imin为实际获取的噪声强度最小值;Imax为实际获取的噪声强度最大值;
2.5、计算图像灰度分布偏度κ1:
2.6、计算图像灰度分布峰度κ2:
步骤3、根据求解到的上述六个特征量,分析得到特征量的分布特征;
噪声强度均值μ越小,噪声整体强度越小;
噪声强度标准差σ越小,噪声强度整体起伏越小;
噪声平滑度υ越大,噪声越平滑;
噪声相对强度范围τD越小,噪声强度相对动态范围越小;
当偏度κ1=0且峰度κ2=3时,噪声呈标准正态分布;
当κ1<0时,称为左偏,此时噪声图像灰度分布直观表现为左边的尾部相对于右边的尾部要长;
当κ1>0时,称为右偏,此时噪声图像灰度分布直观表现为右边的尾部相对于左边的尾部要长;
若峰度κ2>3时,称为长尾,则噪声图像灰度分布的尾部厚于标准正态分布;
若峰度κ2<3时,称为短尾,则噪声图像灰度分布的尾部薄于标准的正态分布。
步骤4、根据荧光图像噪声特征量的分布特征进行噪声模型参数估计;
通过对模型参数的有效估计,确定图像噪声的分布模型,依据采用的模型描述,借鉴进化算法、极大似然估计等方法,综合考虑其收敛性,计算复杂度等因素,估计出模型中显示和隐式参数的个数以及混合模型子分布个数。
以极大似然估计法为例:用极大似然估计(MLE,Maximum Likelihood Estimate)方法对分布参数均值和标准差进行估计。
设Y1,Y2,…,Yn为取自具有概率函数族{f(y;θ);θ∈Θ}的总体Y的一个简单随机样本,θ为未知参数,Θ为参数空间,样本Y1,Y2,…,Yn落入点y1,y2,…,yn的邻域内的概率为:即为θ的函数,根据极大似然原理,由于Δym是不依赖于θ的增量,使达到极大的作为参数θ的估计值。
步骤5、建立荧光图像噪声模型,获得噪声描述;
以上反映噪声模型随实验参数变化的统计量以及模型参数构建了噪声模型,为建立噪声训练集的数据基础。
步骤6、利用构建的图像噪声模型与实际分布对比计算均方差相对误差,定量评估荧光图像噪声描述模型噪声信号的有效性;
采用构建的图像噪声模型与实际分布对比计算均方差相对误差,定量评估荧光图像噪声模型描述真实噪声信号的有效性,以均方相对误差为主要技术指标,计算构建的图像噪声模型与实际分布均方相对误差,评估模型的有效性和适应性。
均方差相对误差测度γ:
h为图像灰度点,K为图像的灰度最大值,1≤h≤K,K=256;
获得不同噪声分布的拟合测度结果,找出拟合度评估结果低于5%以下最接近的噪声分布。
均方差相对误差测度γ小于10%的噪声模型即可用于后续生成式对抗神经网络去噪,γ越小表明构建的噪声模型越逼近真实噪声信号,在设计生成式对抗神经网络选取γ最小的噪声模型。
步骤7、生成训练样本
根据步骤5获得的噪声模型描述,模拟生成的染噪荧光图像作为网络的训练样本。
本实施例中,通过节噪声特性分析给出实验系统的背景噪声分布符合BurrⅩⅡ分布的规律,以计算机模拟生成含BurrⅩⅡ分布噪声的染噪图像作为网络的训练样本,其生成图像的过程,如图2所示。
在网络训练中,共生成6000幅染噪图像作为训练样本,每幅图像大小为256×256pixels,如图3所示。
步骤8、设计生成式对抗神经网络
本发明方法综合考虑对上述噪声的适用性,及其计算复杂度和工程实用性等因素,设计了适用于荧光实验图像的生成式对抗网络方法去除背景噪声。
生成式对抗神经网络包括生成器网络和判别器网络。
具体步骤为:建立一个生成器网络,生成器网络对染噪图像进行去噪操作,这部分采用的是冗余网络结构,生成器网络的网络结构包括卷积层,冗余层和反卷积层三个模块,采用对称结构,和传统的卷积神经网络框架非常类似,可以直接从输入的图像和它相应的真实图像中学习到一个端到另一个端的映射。
卷积层模块为三层,每层包括卷积层、批量正则化、Lrelu线性激活函数。冗余层模块为三层,每层包含了两个卷积层、两个批量正则化、和两个Lrelu激活函数,用来增加神经网络的深度,其中两层之间采用对称结构的跳跃式连接,这样使得网络在训练时更高效且具有更好的收敛性。同时跳跃式连接将输入给更深层,因此每个冗余层可以根据输出调整输入,并且保持空间信息。最后,是和卷积层模块结构相对应的反卷积层模块,反卷积层模块为一层,包括卷积层、批量正则化、Lrelu线性激活函数。
生成器网络的目标是生成一个高质量的逼真的图像,在卷积层模块包含卷积、批量正则化和Lrelu线性激活函数;在冗余层中,与卷积层使用了相同的结构,不同的是使用了捷径连接实现冗余结构;最后是反卷积,先重设图像大小在经过相同的结构,最后获得输出。
建立一个判别器网络,用于判断生成式对抗神经网络的输出的荧光图像和真实荧光图像是否接近;
在整个辨别网络中,我们用了五个含有批量正则化和线性激活函数Lrelu的卷积层。一旦我们从一系列的卷积层-批正则化-Lrelu激活函数(Conv-BN-Lrelu)中计算学习到特征,一个sigmoid函数则被压缩在最后,结果将映射到一个正则化在[0,1]之间的可能性分数中。
判别器网络的目标是度量生成器网络输出的去噪图像和不含噪声的参考图像的相似程度。通过对抗的方式,看判别器网络是否可以准确区分二者,但判别器网络无法区分时,达到迭代停止条件,此时认为生成器网络输出的为无噪图像。
步骤9、训练网络
采用固定生成器网络和判别器网络的方式训练神经网络,利用其中一个的参数去优化另一个的参数,以上过程交替进行。
假设u为真值图像,v为染噪图像,则生成器网络的损失函数lossG为:
lossG=a(D(u)-D(G(v)))+L2(G(v),u)
判别器网络的损失函数lossD为:
lossD=-log(D(u))-log(1-D(G(v)))
其中,D—判别器网络,G—生成器网络,L2—向量差的二范数;
a为人工定义的权重值;D(u)为判别器网络对真值图像的输出;D(G(v))为判别器网络对生成器网络得到的图像的输出;L2(G(v),u)为生成器网络输出与真值图像的差异。
生成器网络和判别器网络的输出彼此影响各自的损失函数,最终在交替优化过程中达到收敛。网络在Ubuntu1.4+python3.6+pytorch1.1框架下进行训练,各个参数设置如下:a=0.45,采用批量训练的方式,批大小为300(每次从样本库中有放回的随机抽取300幅图像进行一次训练),训练的迭代次数为10000次。
由于本发明以噪声特性分析为先验信息,生成足够多的训练样本以训练对抗生成网络去噪,更具有针对性,去噪效果更好。
如图4所示,网络训练后去噪结果与常用去噪方法对比图,其中(a)为原含噪声图像,(b)为采用高斯滤波去噪后的图像,(c)为采用均值滤波去噪后的图像,(d)为采用中值滤波去噪后的图像,(e)为采用本发明方法滤波去噪后的图像,可以看出利用本发明的去噪方法具有针对性,去噪效果更好,图像更清晰。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明技术方案的范围。
Claims (10)
1.一种基于噪声特性的激光诱导荧光图像去噪方法,其特征在于,包括以下步骤:
步骤1、获取荧光图像噪声数据集;
步骤2、计算荧光图像噪声特征量,获得不同特征量随测量流场参数变化的分布及变化规律;
步骤3、根据步骤2获得的荧光图像噪声特征量,分析得到荧光图像噪声特征量的分布特征;
步骤4、根据荧光图像噪声特征量的分布特征进行噪声模型参数估计;
步骤5、根据荧光图像噪声特征量的分布特征和噪声模型参数估计结果建立荧光图像噪声模型,获得荧光图像噪声模型;
步骤6、利用步骤5构建的荧光图像噪声模型与荧光图像噪声的实际分布对比计算均方差相对误差,定量评估荧光图像噪声模型描述噪声信号的有效性;
步骤7、根据步骤5获得的荧光图像噪声模型,生成用于训练神经网络的训练样本;
步骤8、构建生成式对抗神经网络;
所述生成式对抗神经网络包括生成器网络和判别器网络;所述生成器网络,用于去除背景噪声;所述判别器网络,用于判断生成式对抗神经网络的输出的荧光图像和真实荧光图像是否接近;
步骤9、利用生成器网络和判别器网络交替优化训练生成式对抗神经网络的参数,在交替优化训练中达到收敛,完成网络训练;
步骤10、利用训练后的生成式对抗神经网络对荧光图像进行去噪,获得去噪后的图像。
2.根据权利要求1所述的基于噪声特性的激光诱导荧光图像去噪方法,其特征在于,步骤2中:
所述噪声特征量包括噪声强度均值、噪声强度标准差、噪声平滑度、噪声相对强度范围、图像灰度分布偏度和图像灰度分布峰度。
4.根据权利要求3所述的基于噪声特性的激光诱导荧光图像去噪方法,其特征在于:步骤3中,所述特征量的分布特征具体为:
噪声强度均值μ越小,噪声整体强度越小;
噪声强度标准差σ越小,噪声强度整体起伏越小;
噪声平滑度υ越大,噪声越平滑;
噪声相对强度范围τ越小,噪声强度相对动态范围越小;
当偏度κ1=0且峰度κ2=3时,噪声呈标准正态分布;
当图像灰度分布偏度κ1<0时,称为左偏,此时噪声图像灰度分布直观表现为左边的尾部相对于右边的尾部要长;
当图像灰度分布偏度κ1>0时,称为右偏,此时噪声图像灰度分布直观表现为右边的尾部相对于左边的尾部要长;
若图像灰度分布峰度κ2>3时,称为长尾,则噪声图像灰度分布的尾部厚于标准正态分布;
若图像灰度分布峰度κ2<3时,称为短尾,则噪声图像灰度分布的尾部薄于标准的正态分布。
5.根据权利要求4所述的基于噪声特性的激光诱导荧光图像去噪方法,其特征在于,步骤4具体为:
所述噪声模型参数估计采用极大似然拟合参数估计,验证噪声模型分布拟合的合理性。
7.根据权利要求1-6任一所述的基于噪声特性的激光诱导荧光图像去噪方法,其特征在于:
步骤8中,所述生成器网络采用对称结构,包括卷积层模块、用于增加神经网络深度的冗余层模块和反卷积层模块;
所述卷积层模块为3层,每层网络包括1个子网络;
所述冗余层模块为3层,每层之间采用对称结构的跳跃式连接;每层网络包括依次连接的2个子网络;
所述反卷积层模块为3层,包括1个子网络;
所述子网络包括卷积层、批量正则化和Lrelu线性激活函数;
步骤8中,所述判别器网络,包括5个子网络。
8.根据权利要求7所述的基于噪声特性的激光诱导荧光图像去噪方法,其特征在于,步骤9中,所述交替优化具体为:
令u为真值图像,v为染噪图像,则生成器网络的损失函数lossG为:
lossG=a(D(u)-D(G(v)))+L2(G(v),u)
判别器网络的损失函数lossD为:
lossD=-log(D(u))-log(1-D(G(v)))
其中,D为判别器网络,G为生成器网络,L2为向量差的二范数,a为人工定义的权重值;
D(u)为判别器网络对真值图像的输出;
G(v)为生成器网络得到的图像;
D(G(v))为判别器网络对生成器网络得到的图像的输出;
L2(G(v),u)为生成器网络得到的图像与真值图像的差异。
9.根据权利要求8所述的基于噪声特性的激光诱导荧光图像去噪方法,其特征在于:
步骤6中,所述均方差相对误差测度γ小于10%的噪声模型,可用于后续生成式对抗神经网络去噪。
10.根据权利要求9所述的基于噪声特性的激光诱导荧光图像去噪方法,其特征在于:
步骤9中,所述采用生成器网络和判别器网络训练神经网络具体为:
生成式对抗神经网络和判别神经网络在Ubuntu1.4、python3.6和pytorch1.1框架下进行训练;
采用批量训练的方式,人工定义的权重a=0.45,批大小为300,训练的迭代次数为10000次。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210333447.5A CN114757841B (zh) | 2022-03-30 | 2022-03-30 | 一种基于噪声特性的激光诱导荧光图像去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210333447.5A CN114757841B (zh) | 2022-03-30 | 2022-03-30 | 一种基于噪声特性的激光诱导荧光图像去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114757841A true CN114757841A (zh) | 2022-07-15 |
CN114757841B CN114757841B (zh) | 2024-06-25 |
Family
ID=82328922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210333447.5A Active CN114757841B (zh) | 2022-03-30 | 2022-03-30 | 一种基于噪声特性的激光诱导荧光图像去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114757841B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN110223254A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于对抗生成网络的图像去噪方法 |
CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
WO2021218765A1 (zh) * | 2020-04-27 | 2021-11-04 | 深圳市中兴微电子技术有限公司 | 图像去噪方法及装置、电子设备以及存储介质 |
WO2022022494A1 (zh) * | 2020-07-27 | 2022-02-03 | 南京图格医疗科技有限公司 | 一种基于CBD-Net的医学内窥图像去噪方法 |
CN114119391A (zh) * | 2021-11-04 | 2022-03-01 | 深圳市智佐生物科技有限公司 | 对抗神经网络去噪模型的建立方法及超声图像去噪方法 |
CN116385281A (zh) * | 2023-02-14 | 2023-07-04 | 大连工业大学 | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
-
2022
- 2022-03-30 CN CN202210333447.5A patent/CN114757841B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN110223254A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于对抗生成网络的图像去噪方法 |
CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
WO2021218765A1 (zh) * | 2020-04-27 | 2021-11-04 | 深圳市中兴微电子技术有限公司 | 图像去噪方法及装置、电子设备以及存储介质 |
WO2022022494A1 (zh) * | 2020-07-27 | 2022-02-03 | 南京图格医疗科技有限公司 | 一种基于CBD-Net的医学内窥图像去噪方法 |
CN114119391A (zh) * | 2021-11-04 | 2022-03-01 | 深圳市智佐生物科技有限公司 | 对抗神经网络去噪模型的建立方法及超声图像去噪方法 |
CN116385281A (zh) * | 2023-02-14 | 2023-07-04 | 大连工业大学 | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
Non-Patent Citations (1)
Title |
---|
亓法国;张海洋;柳淳;赵长明;张子龙;: "一种基于双分支改良编解码器的图像去噪算法", 应用光学, no. 05, 15 September 2020 (2020-09-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN114757841B (zh) | 2024-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Heinzler et al. | Cnn-based lidar point cloud de-noising in adverse weather | |
CN110992354B (zh) | 基于引入自动记忆机制对抗自编码器的异常区域检测方法 | |
CN103020978B (zh) | 结合多阈值分割与模糊聚类的sar图像变化检测方法 | |
CN111489301B (zh) | 一种基于迁移学习用图像深度信息引导的图像去雾方法 | |
CN108520202B (zh) | 基于变分球面投影的对抗鲁棒性图像特征提取方法 | |
CN111126471A (zh) | 微地震事件检测方法及系统 | |
CN109002848B (zh) | 一种基于特征映射神经网络的弱小目标检测方法 | |
CN114429156A (zh) | 雷达干扰多域特征对抗学习与检测识别方法 | |
CN113050042A (zh) | 基于改进UNet3+网络的雷达信号调制类型识别方法 | |
CN111126134A (zh) | 基于非指纹信号消除器的雷达辐射源深度学习识别方法 | |
CN113657491A (zh) | 一种用于信号调制类型识别的神经网络设计方法 | |
CN110082738B (zh) | 基于高斯混合和张量循环神经网络的雷达目标识别方法 | |
CN111915486A (zh) | 基于图像超分辨重建的对抗样本防御方法 | |
CN115830369A (zh) | 基于深度神经网络的对抗样本生成方法及系统 | |
Langford et al. | Enki: A diversity-driven approach to test and train robust learning-enabled systems | |
CN114492744A (zh) | 一种基于对抗生成网络的地海杂波谱数据样本生成方法 | |
CN117808702A (zh) | 一种基于扩散模型和选通成像的图像去雾方法、系统和设备 | |
CN114757841B (zh) | 一种基于噪声特性的激光诱导荧光图像去噪方法 | |
Liu et al. | Quality assessment for inspection images of power lines based on spatial and sharpness evaluation | |
CN116340846A (zh) | 一种弱监督下多示例多标签学习的混叠调制信号识别方法 | |
CN108428226B (zh) | 一种基于ica稀疏表示与som的失真图像质量评价方法 | |
CN116243248A (zh) | 基于多标签分类网络的多分量干扰信号识别方法 | |
CN116030300A (zh) | 一种用于零样本sar目标识别的渐进式域自适应识别方法 | |
Jiang et al. | Research on Performance Limitations of Visual-based Perception System for Autonomous Vehicle under Severe Weather Conditions | |
CN112257787B (zh) | 基于生成式双重条件对抗网络结构的图像半监督分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |