CN111932468A - 一种基于含噪声图像分布约束的贝叶斯图像去噪方法 - Google Patents
一种基于含噪声图像分布约束的贝叶斯图像去噪方法 Download PDFInfo
- Publication number
- CN111932468A CN111932468A CN202010696129.6A CN202010696129A CN111932468A CN 111932468 A CN111932468 A CN 111932468A CN 202010696129 A CN202010696129 A CN 202010696129A CN 111932468 A CN111932468 A CN 111932468A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- distribution
- function
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 288
- 238000000034 method Methods 0.000 title claims abstract description 168
- 238000013528 artificial neural network Methods 0.000 claims abstract description 93
- 239000000654 additive Substances 0.000 claims abstract description 73
- 230000000996 additive effect Effects 0.000 claims abstract description 73
- 230000006870 function Effects 0.000 claims description 238
- 239000013598 vector Substances 0.000 claims description 144
- 238000005457 optimization Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 238000002474 experimental method Methods 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005293 physical law Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Image Processing (AREA)
Abstract
本发明属于数字图像处理和计算机视觉技术领域,尤其涉及一种基于含噪声图像分布约束的贝叶斯图像去噪方法。本方法根据贝叶斯后验概率理论,从含噪声图像对无噪声图像进行估计依赖于对无噪声图像先验分布的建模。本发明首先提出在加性噪声分布模型已知情况下,从含噪声图像样本中学习得到无噪声图像的分布的方法。本方法将无噪声图像先验分布的约束转化为含噪声图像先验分布的约束进行贝叶斯去噪,通过无监督的方式训练图像去噪神经网络的贝叶斯去噪实现方法。发明方法可以充分利用含噪声图像样本精确学习无噪声图像隐式分布特征,进而实现高效的图像去噪。
Description
技术领域
本发明属于数字图像处理和计算机视觉技术领域,尤其涉及一种基于含噪声图像分布约束的贝叶斯图像去噪方法。
背景技术
在摄影、公共安全监控、医学影像、显微成像等图像采集过程中,由于物理信号的随机特征、环境干扰以及系统自身的状态变化等因素,采集到的图像不可避免含有噪声,从而显著影响着图像质量。图像去噪方法旨在降低图像中随机噪声成分并恢复图像有效信息,是图像处理中的一类重要方法和技术。
经典图像去噪方法包括均值滤波、中值滤波、高斯低通滤波等多种滤波方法。这些滤波器限制图像中的噪声有关分量从而达到去除噪声的效果。滤波方法既可以在图像域实施也可在图像经过特定变换后的变换域实施,如频域,小波域等。但滤波方法在图像细节保持上具有固有的劣势。除解析的滤波方法外,基于贝叶斯后验概率分布的图像迭代优化方法是另一类图像去噪方法,该类方法通过引入额外的惩罚项如全变分最小化,马尔可夫随机场势能函数极小化等达到去除噪声的目的。贝叶斯后验估计方法可以产生较为精确的无噪声图像估计,但其结果显著依赖于施加的惩罚项。
近年来,随着人工神经网络和深度学习技术的发展,将深度学习方法应用于图像去噪显著提升了图像去噪的效果,在去除噪声的同时相比经典方法可以更为精确的恢复图像细节信息。虽然多样化的神经网络在很多应用中展现出强大的图像去噪和图像恢复能力,其均依赖于大量训练数据集。有监督学习需要配对的含噪声图像和无噪声图像作为真值共同训练网络。生成对抗学习可以从非配对的无噪声图像数据集中提取无噪声图像的分布规律和特征,进而进行图像去噪,取消了对数据的配对要求。然而在大多数应用中,真实无噪声数据往往难以获得或获取成本高昂,从而为深度学习在图像去噪的应用中带来困难。
发明内容
本发明的目的是提出一种基于含噪声图像分布约束的贝叶斯图像去噪方法,利用实际易获得的含噪声数据集以及噪声模型推测出无噪声图像分布特征,进而利用无噪声图像分布实现对无噪声图像的估计,完成对含噪声图像的去噪。
本发明提出的基于含噪声图像分布约束的贝叶斯图像去噪方法,包括以下步骤:
(1)根据含噪声图像分布,计算无噪声图像分布的距离代价函数;
(2)根据步骤(1)的无噪声图像分布的距离代价函数,对含噪声图像进行贝叶斯去噪。
上述方法步骤(1)中根据含噪声图像分布,计算无噪声图像分布的距离代价函数,对于分布可准确或近似解析表达的图像,采用基于特征函数的方法估计无噪声图像的分布的距离代价函数,包括以下步骤:
(1)将成像系统产生的含噪声图像随机向量记为Z,以解析形式估计含噪声图像随机向量Z的概率密度函数fZ,将含噪声图像随机向量Z中所含的加性噪声随机向量记为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN;
其中,Φ(·,·)为两个随机向量的特征函数之间距离测度,argmin表示求使得目标函数取最小值的参数;
(6)根据分布距离函数D,计算步骤(5)中估计无噪声图像样本的集合与步骤(4)中所得无噪声图像随机向量S之间的分布距离的表达式,即为无噪声图像分布的距离代价函数,其中,分布距离的方法为判别神经网网络分布距离函数的方法,包括以下步骤:
(6-1)设定分布距离函数D包含一个判别神经网络ΩD作为分布距离算子,该判别神经网络ΩD的参数组为θD;
(6-2)向分布距离函数D中输入权利要求2步骤(5)所述估计无噪声图像样本的集合和权利要求2步骤(4)中所得无噪声图像随机向量S,使用步骤(1)中判别神经网络ΩD计算集合和无噪声图像随机向量S的交叉熵距离:
或Wasserstein距离:
上述s1,s2,s3,...,sn为无噪声图像随机向量S的n个采样样本;
或者使用步骤(1)中判别神经网络ΩD计算领域里生成对抗网络方法中的判别网络分布距离代价函数。所述的生成对抗网络方法包括SGAN、RSGAN、RaSGAN、LSGAN、RaLSGAN、HingeGAN、WGAN-GP、RSGAN-GP或RaSGAN-GP中的任何一个。
上述方法的步骤(1)中根据含噪声图像分布,计算无噪声图像分布的距离代价函数,对于分布难以用解析方式表达的情况,或分布计算过于复杂的图像,采用间接的分布距离约束的方法估计无噪声图像分布的距离代价函数,包括以下步骤:
(2)设定步骤(1)中含噪声图像样本z1,z2,z3,...,zn中所含加性噪声随机向量为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN,并从加性噪声随机向量N的分布中采集与含噪声图像样本数量相同的噪声样本
(4)记步骤(1)中含噪声图像样本z1,z2,z3,....,zn的集合为Z,记步骤(3)中估计含噪声图像样本的集合为根据分布距离函数D,计算离散的估计含噪声图像样本集合与真实离散的含噪声图像分布Z之间的分布距离该分布距离的表达式为无噪声图像分布的距离代价函数;其中计算分布距离的方法为判别神经网网络分布距离函数的方法,包括以下步骤:
(4-1)设定分布距离函数D包含一个判别神经网络ΩD作为分布距离算子,该判别神经网络ΩD的参数组为θD;
或Wasserstein距离:
或使用步骤(1)中判别神经网络ΩD计算生成对抗网络方法中的判别网络分布距离代价函数,所述的生成对抗网络方法中的判别网络分布距离代价函数为SGAN、RSGAN、RaSGAN、LSGAN、RaLSGAN、HingeGAN、WGAN-GP、RSGAN-GP或RaSGAN-GP中的任何一个。
其中,以解析的形式估计加性噪声随机向量N的概率密度函数fN为:根据成像系统的物理规律,获取加性噪声随机向量N的分布形式,随后通过仿真或实际实验测量加性噪声随机向量N的分布参数,得到加性噪声随机向量N的概率密度函数fN。或者利用混合高斯分布来拟合未知分布,先假设加性噪声随机向量N符合混合高斯分布,通过仿真或实际实验测量混合高斯分布参数,得到加性噪声随机向量N的概率密度函数fN。
其中以解析的形式估计加性噪声随机向量N的概率密度函数fN方法为:针对非加性噪声分布,可以通过特定数学变换转化为近似加性噪声,随后得到加性噪声随机向量N的概率密度函数fN。
上述方法中,所述的以解析的形式估计含噪声图像随机向量Z的概率密度函数fZ方法为:包括通过对大量含噪声图像样本频率统计得到含噪声图像随机向量Z的概率密度函数fZ。或者,以解析的形式估计含噪声图像随机向量Z的概率密度函数fZ的方法为:使用领域里的分布模型假设得到含噪声图像随机向量Z的分布形式,通过仿真或实际实验测量含噪声图像随机向量Z的分布参数,估计含噪声图像随机向量Z的概率密度函数fZ。
上述方法的步骤(2)中根据无噪声图像分布的距离代价函数,对含噪声图像进行贝叶斯去噪的方法,包括以下步骤:
(2)对步骤(1)的贝叶斯后验分布代价函数ψ极小化优化,得到最终估计无噪声图像实现图像去噪。对贝叶斯后验分布代价函数ψ极小化优化的方法为常用的经典数学优化方法,例如拉格朗日乘子法、交替迭代法、可替代共轭最小二乘法或梯度优化算法中的任何一种。
对贝叶斯后验分布代价函数ψ极小化优化的方法,也可以为神经网络优化方法,包括以下步骤:
(2)将贝叶斯后验分布代价函数ψ作为图像去噪神经网络的训练代价函数,使用大量含噪声图像样本数据集训练图像去噪神经网络。
(3)以含噪声图像样本作为图像去噪神经网络的输入,输出得到估计无噪声图像,此无噪声图像即为通过神经网络极小化优化后的得到图像。
上述方法中的分布距离函数D,为解析的显性分布距离函数,解析的显性分布距离函数包括K-L散度显性分布距离函数或J-S散度显性分布距离函数。
本发明提出的基于含噪声图像分布约束的贝叶斯图像去噪方法,其优点是:
1、本发明的基于含噪声图像分布学习无噪声图像分布的方法,在已知与信号独立的加性噪声分布时,可以通过含噪声图像分布估计间接实现对无噪声图像分布的估计。这一分布约束转化避免了传统的无噪声图像分布建模如字典学习方法对无噪声图像数据集的需求,使无噪声图像分布建模易于实施。
2、本发明方法中涉及的图像先验约束来源于数据集而非人为设定,因此具有灵活性以及数据特异性。相比于传统的贝叶斯估计方法中人为施加的约束,本发明方法的图像先验约束更为准确,并可更为精确地估计无噪声图像。
3、本发明方法将分布距离约束以及贝叶斯估计过程网络化,充分利用神经网络对图像强大的处理及表征能力,使得图像分布的约束易于实施。同时网络在训练完成后可以端对端以解析的方式对图像去噪,因此极大减少了贝叶斯估计方法迭代过程的运算量和运算时间。
附图说明
图1是本发明实施例二中图像去噪神经网络及其代价函数示意图。
图2是本发明实施例二和实施例三中涉及的具体神经网络结构实施示意图,其中,(a)为图像去噪神经网络,(b)为判别神经网络。
图3是本发明实施例三的图像去噪神经网络,判别神经网络及二者代价函数示意图。
具体实施方式
本发明提出的基于含噪声图像分布约束的贝叶斯图像去噪方法
(1)根据含噪声图像分布,计算无噪声图像分布的距离代价函数;
(2)根据步骤(1)的无噪声图像分布的距离代价函数,对含噪声图像进行贝叶斯去噪。
上述方法的步骤(1)中根据含噪声图像分布,计算无噪声图像分布的距离代价函数,对于分布可准确或近似解析表达的图像,采用基于特征函数的方法估计无噪声图像的分布的距离代价函数,包括以下步骤:
(1)将本方法所应用的成像系统产生的含噪声图像随机向量记为Z,以解析形式估计含噪声图像随机向量Z的概率密度函数fZ,将含噪声图像随机向量Z中所含的加性噪声随机向量记为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN;
其中,Φ(·,·)为两个随机向量的特征函数之间距离测度,argmin表示求使得目标函数取最小值的参数;
(6)根据分布距离函数D,计算步骤(5)中估计无噪声图像样本的集合与步骤(4)中所得无噪声图像随机向量S之间的分布距离的表达式,即为无噪声图像分布的距离代价函数;其中,分布距离的方法为判别神经网网络分布距离函数的方法,包括以下步骤:
(6-1)设定分布距离函数D包含一个判别神经网络ΩD作为分布距离算子,该判别神经网络ΩD的参数组为θD;
(6-2)向分布距离函数D中输入权利要求2步骤(5)所述估计无噪声图像样本的集合和权利要求2步骤(4)中所得无噪声图像随机向量S,使用步骤(1)中判别神经网络ΩD计算集合和无噪声图像随机向量S的交叉熵距离:
或Wasserstein距离:
上述s1,s2,s3,...,sn为无噪声图像随机向量S的n个采样样本;
或使用步骤(1)中判别神经网络ΩD计算领域里其他常见生成对抗网络方法中的判别网络分布距离代价函数,该生成对抗网络方法中的判别网络分布距离代价函数为SGAN、RSGAN、RaSGAN、LSGAN、RaLSGAN、HingeGAN、WGAN-GP、RSGAN-GP或RaSGAN-GP中的任何一个。
上述方法的步骤(1)中根据含噪声图像分布,计算无噪声图像分布的距离代价函数,对于分布难以用解析方式表达的情况,或分布计算过于复杂的图像,采用间接的分布距离约束的方法估计无噪声图像分布的距离代价函数,包括以下步骤:
(2)设定步骤(1)中含噪声图像样本z1,z2,z3,...,zn中所含加性噪声随机向量为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN,并从加性噪声随机向量N的分布中采集与含噪声图像样本数量相同的仿真噪声样本
(4)记步骤(1)中含噪声图像样本z1,z2,z3,...,zn的集合为Z,记步骤(3)中估计含噪声图像样本的集合为根据分布距离函数D,计算离散的估计含噪声图像样本集合与真实离散的含噪声图像分布Z之间的分布距离该分布距离的表达式为无噪声图像分布的距离代价函数;其中计算分布距离的方法为判别神经网网络分布距离函数的方法,包括以下步骤:
(4-1)设定分布距离函数D包含一个判别神经网络ΩD作为分布距离算子,该判别神经网络ΩD的参数组为θD;
或Wasserstein距离:
或者使用步骤(1)中判别神经网络ΩD计算领域里生成对抗网络方法中的判别网络分布距离代价函数。所述的生成对抗网络方法包括SGAN、RSGAN、RaSGAN、LSGAN、RaLSGAN、HingeGAN、WGAN-GP、RSGAN-GP或RaSGAN-GP中的任何一个。
其中,以解析的形式估计加性噪声随机向量N的概率密度函数fN为:根据本方法所应用的成像系统的物理规律,获取加性噪声随机向量N的分布形式,随后通过仿真或实际实验测量加性噪声随机向量N的分布参数,得到加性噪声随机向量N的概率密度函数fN。或者利用混合高斯分布来拟合未知分布,先假设加性噪声随机向量N符合混合高斯分布,通过仿真或实际实验测量混合高斯分布参数,得到加性噪声随机向量N的概率密度函数fN。
其中以解析的形式估计加性噪声随机向量N的概率密度函数fN方法为:针对非加性噪声分布,可以通过特定数学变换转化为近似加性噪声,随后得到加性噪声随机向量N的概率密度函数fN。
上述方法中,所述的以解析的形式估计含噪声图像随机向量Z的概率密度函数fZ方法为:包括通过对大量含噪声图像样本频率统计得到含噪声图像随机向量Z的概率密度函数fZ。或者,以解析的形式估计含噪声图像随机向量Z的概率密度函数fZ的方法为:使用领域里的分布模型假设得到含噪声图像随机向量Z的分布形式,通过仿真或实际实验测量含噪声图像随机向量Z的分布参数,估计含噪声图像随机向量Z的概率密度函数fZ。
上述方法的步骤(2)中根据无噪声图像分布的距离代价函数,对含噪声图像进行贝叶斯去噪的方法,包括以下步骤:
(2)对步骤(1)的贝叶斯后验分布代价函数ψ极小化优化,得到最终估计无噪声图像实现图像去噪。对贝叶斯后验分布代价函数ψ极小化优化的方法为常用的经典数学优化方法,例如拉格朗日乘子法、交替迭代法、可替代共轭最小二乘法或梯度优化算法中的任何一种。
对贝叶斯后验分布代价函数ψ极小化优化的方法,也可以为神经网络优化方法,包括以下步骤:
(2)将贝叶斯后验分布代价函数ψ作为图像去噪神经网络的训练代价函数,使用大量含噪声图像样本数据集训练图像去噪神经网络。
(3)以含噪声图像样本作为图像去噪神经网络的输入,输出得到估计无噪声图像,此无噪声图像即为通过神经网络极小化优化后的得到图像。
上述方法中的分布距离函数D,为解析的显性分布距离函数,解析的显性分布距离函数包括K-L散度显性分布距离函数或J-S散度显性分布距离函数。
深度学习在图像去噪应用中表现出良好的性能,相比于经典的滤波去噪方法取得了显著的效果提升,但深度学习方法严重依赖于无噪声图像数据集。对无噪声数据集的硬性需求限制了深度学习在真实图像去噪问题中的实施效果和应用范围。在贝叶斯后验概率理论中,从含噪声图像对无噪声图像进行估计依赖于对无噪声图像先验分布的建模。本发明首先提出在加性噪声分布模型已知情况下,从含噪声图像样本中学习得到无噪声图像的分布的方法。本发明进一步将无噪声图像先验分布的约束转化为含噪声图像先验分布的约束进行贝叶斯去噪。本发明进一步提出一种通过无监督的方式训练图像去噪神经网络的贝叶斯去噪实现方法。本发明的发明点在于充分利用含噪声图像样本精确学习无噪声图像隐式分布特征,进而实现高效的图像去噪。
本发明方法中所述图像指一般空间二维或三维信号,包括一般可见光图像,临床医学影像图像,显微图像等多种图像。本方法可应用于摄影、公共安全影像,医学影像,显微成像等多个领域。
以下介绍本发明方法的实施例:
实施例一:含噪声手写数字图像去噪
本方法所应用的成像系统为:手写数字采集系统
含噪声图像为:含噪声手写数字图像,图像分辨率28*28
无噪声图像为:无噪声手写数字图像,图像分辨率28*28
(1)根据含噪声手写数字图像分布,计算无噪声手写数字图像分布的距离代价函数;
(1-1)将手写数字采集系统产生的含噪声手写数字图像随机向量记为Z,以解析形式估计含噪声手写数字图像随机向量Z的概率密度函数fZ:
(1-2)从手写数字采集系统收集70000张含噪声手写数字图像,通过对这70000含噪声图像样本频率统计得到含噪声手写数字图像随机向量Z的概率密度函数fZ。
(1-3)将含噪声手写数字图像随机向量Z中所含的加性噪声随机向量记为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN:
(1-4)利用混合高斯分布来拟合加性噪声分布,先假设加性噪声随机向量N的每个像素点符合五维混合高斯分布,从含噪声手写数字图像中无信号部分获取噪声样本,使用这些噪声样本通过最大似然法估计五维混合高斯分布的参数。得到加性噪声随机向量N的概率密度函数fN。
(3)采用基于特征函数的方法估计无噪声手写数字图像的分布的距离代价函数,对含噪声手写数字图像进行贝叶斯去噪,包括以下步骤:
实施例二:摄像机夜间摄影图像去噪:
本方法所应用的成像系统为:摄像机
含噪声图像为:含噪声摄影图像块,图像分辨率512*512
无噪声图像为:无噪声摄影图像块,图像分辨率512*512
原始含噪声摄影图像分辨率通常大于512*512,可从原始含噪声摄影图像逐步截取512*512的含噪声摄影图像块,并对每个含噪声摄影图像块去噪得到估计无噪声摄影图像块,将无噪声摄影图像块拼接在一起得到估计无噪声摄影图像。
(1)根据含噪声摄影图像块分布,计算无噪声摄影图像块分布的距离代价函数,其中采用间接的分布距离约束的方法估计无噪声摄影图像块分布的距离代价函数,包括以下步骤:
(1-2)设定含噪声摄影图像块样本z1,z2,z3,...,zn中所含加性噪声随机向量为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN:
(1-3)利用混合高斯分布来拟合加性噪声分布,先假设加性噪声随机向量N的每个像素点符合五维混合高斯分布。在完全遮挡摄像机镜头时测量噪声样本,使用这些噪声样本通过最大似然法估计五维混合高斯分布的参数。得到加性噪声随机向量fN的概率密度函数。
记含噪声摄影图像块样本z1,z2,z3,...,zn的集合为Z,记步骤(3)中估计含噪声图像样本的集合为利用J-S分布距离函数D,计算离散的估计含噪声摄影图像块样本集合与真实离散的含噪声摄影图像块分布Z之间的分布距离的表达式:
首先以解析形式估计含噪声摄影图像块随机向量Z的概率密度函数fZ:使用领域里的联合高斯分布模型假设得到含噪声摄影图像块随机向量Z的分布形式,含噪声摄影图像块随机向量Z由五百维独立标准高斯分布通过线性变换生成。通过最大似然法求出含噪声摄影图像块随机向量Z分布参数,即线性变换系数,得到含噪声图像随机向量Z的概率密度函数fZ。
则:
即为无噪声图像分布的距离代价函数。
(2)根据无噪声摄影图像块分布的距离代价函数,对含噪声摄影图像块进行贝叶斯去噪:
以含噪声摄影图像块作为图像去噪神经网络的输入,输出得到估计无噪声摄影图像块,此无噪声摄影图像块即为通过神经网络极小化优化后得到的图像。
图像去噪神经网络及其代价函数如图1所示,其中图像去噪神经网络具体结构如图2(a)所示。
实施例三:X光CT投影图像
本方法所应用的成像系统为:X射线CT
含噪声图像为:含噪声投影图像,图像分辨率1024*720
无噪声图像为:无噪声投影图像,图像分辨率1024*720
(1)根据含噪声投影图像分布,计算无噪声投影图像分布的距离代价函数,其中采用间接的分布距离约束的方法估计无噪声投影图像分布的距离代价函数,具体步骤如下:
(1-2)含噪声投影图像所含噪声并非加性,对含噪声投影图像z1,z2,z3,...,zn进行指数变换和广义Anscombe变换得到含噪声Anscombe投影图像样本zA1,zA2,zA3,...,zAn:
其中Ι0为无信号时X射线CT信号值,γ为X射线CT探测器接收到的每个光子对电信号的贡献值,σe 2为电子学噪声方差。Ι0,γ,σe 2均通过实际实验测量。
(1-3)设含噪声Anscombe投影图像样本zA1,zA2,zA3,...,zAn所含加性噪声随机向量为N,根据物理规律N的每个像素服从标准高斯分布,因此fN的概率密度函数为1024*720维独立标准高斯分布概率密度函数,并从加性噪声随机向量N的分布中采集与含噪声图像样本数量相同的仿真噪声样本
(1-4)对估计无噪声摄影图像块样本进行指数变换和广义Anscombe变换得到无噪声Anscombe投影图像样本将噪声样本与估计无噪声Anscombe投影图像样本相加,得到估计含噪声Anscombe投影图像样本
(1-5)记含噪声Anscombe投影图像样本zA1,zA2,zA3,...,zAn的集合为ZA,记估计含噪声Anscombe投影图像样本的集合为利用判别神经网络距离函数D,计算离散的估计含噪声Anscombe图像样本集合与真实离散的含噪声Anscombe投影图像分布ZA之间的分布距离的表达式:
设定分布距离函数D包含一个判别神经网络ΩD作为分布距离算子,该判别神经网络ΩD的参数组为θD;向分布距离函数D中输入含噪声Anscombe投影图像样本zA1,zA2,zA3,...,zAn的集合ZA和估计含噪声Anscombe投影图像样本的集合使用步骤(1)中判别神经网络ΩD计算集合ZA和集合的交叉熵距离:
(2)根据无噪声投影图像分布的距离代价函数,对含噪声投影图像进行贝叶斯去噪:
(2-3)构建一个图像去噪神经网络ΩE作为图像去噪算子其中θE为该图像去噪神经网络的参数组θE;将贝叶斯后验分布代价函数ψ作为图像去噪神经网络的训练代价函数,使用大量含噪声投影图像样本数据集交替训练图像去噪神经网络ΩE及无噪声投影图像分布的距离代价函数中的判别神经网络ΩD:
以含噪声投影图像样本作为图像去噪神经网络的输入,输出得到估计无噪声投影图像,此无噪声投影图像即为通过神经网络极小化优化后得到的图像。
图像去噪神经网络,判别神经网络及二者的代价函数如图3所示,其中图像去噪神经网络具体结构如图2(a)所示,判别神经网络具体结构如图2(b)所示。
Claims (19)
1.一种基于含噪声图像分布约束的贝叶斯图像去噪方法,其特征在于该方法包括以下步骤:
(1)根据含噪声图像分布,计算无噪声图像分布的距离代价函数;
(2)根据步骤(1)的无噪声图像分布的距离代价函数,对含噪声图像进行贝叶斯去噪。
2.如权利要求1所述的方法,其特征在于其中所述的步骤(1)中根据含噪声图像分布,计算无噪声图像分布的距离代价函数,包括以下步骤:
对于分布可准确或近似解析表达的图像,采用基于特征函数的方法估计无噪声图像的分布的距离代价函数,包括以下步骤:
(1)将成像系统产生的含噪声图像随机向量记为Z,以解析形式估计含噪声图像随机向量Z的概率密度函数fZ,将含噪声图像随机向量Z中所含的加性噪声随机向量记为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN;
其中,Φ(·,·)为两个随机向量的特征函数之间距离测度,argmin表示求使得目标函数取最小值的参数;
3.如权利要求1所述的方法,其特征在于其中所述的步骤(1)中根据含噪声图像分布,计算无噪声图像分布的距离代价函数,包括以下步骤:
对于分布难以用解析方式表达的情况,或分布计算过于复杂的图像,采用间接的分布距离约束的方法估计无噪声图像分布的距离代价函数,包括以下步骤:
(2)设定步骤(1)中含噪声图像样本z1,z2,z3,....,zn中所含加性噪声随机向量为N,以解析的形式估计加性噪声随机向量N的概率密度函数fN,并从加性噪声随机向量N的分布中采集与含噪声图像样本数量相同的噪声样本
4.如权利要求2或3所述的方法,其特征在于其中所述的以解析的形式估计加性噪声随机向量N的概率密度函数fN的方法为:根据成像系统的物理规律,获取加性噪声随机向量N的分布形式,随后通过仿真或实际实验测量加性噪声随机向量N的分布参数,得到加性噪声随机向量N的概率密度函数fN。
5.如权利要求2或3所述的方法,其特征在于其中所述的以解析的形式估计加性噪声随机向量N的概率密度函数fN的方法为:利用混合高斯分布来拟合未知分布,先假设加性噪声随机向量N符合混合高斯分布,通过仿真或实际实验测量混合高斯分布参数,得到加性噪声随机向量N的概率密度函数fN。
6.如权利要求2或3所述的方法,其特征在于其中所述的以解析的形式估计加性噪声随机向量N的概率密度函数fN为:针对非加性噪声分布,可以通过特定数学变换转化为近似加性噪声,随后根据权利要求4或权利要求5的方法得到加性噪声随机向量N的概率密度函数fN。
7.如权利要求2所述的方法,其特征在于其中所述的以解析的形式估计含噪声图像随机向量Z的概率密度函数fZ为:包括通过对大量含噪声图像样本频率统计得到含噪声图像随机向量Z的概率密度函数fZ。
8.如权利要求2所述的方法,其特征在于其中所述的以解析的形式估计含噪声图像随机向量Z的概率密度函数fZ为:使用领域里的分布模型假设得到含噪声图像随机向量Z的分布形式,通过仿真或实际实验测量含噪声图像随机向量Z的分布参数,估计含噪声图像随机向量Z的概率密度函数fZ。
10.如权利要求9所述的方法,其特征在于其中所述的步骤(2)中,对贝叶斯后验分布代价函数ψ极小化优化的方法为常用的经典数学优化方法。
11.如权利要求10所述的方法,其特征在于其中对贝叶斯后验分布代价函数ψ极小化优化的方法为常用的经典数学优化方法,包括拉格朗日乘子法、交替迭代法、可替代共轭最小二乘法或梯度优化算法中的任何一种。
13.如权利要求2或3所述的方法,其特征在于其中所述的步骤(6)中的分布距离函数D,为解析的显性分布距离函数。
14.如权利要求13所述的方法,其特征在于其中所述的解析的显性分布距离函数为包括K-L散度显性分布距离函数或J-S散度显性分布距离函数。
19.权利要求16或18所述的方法,其特征在于其中所述的步骤(2)中所述领域里生成对抗网络方法为SGAN、RSGAN、RaSGAN、LSGAN、RaLSGAN、HingeGAN、WGAN-GP、RSGAN-GP或RaSGAN-GP中的任何一个。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010696129.6A CN111932468A (zh) | 2020-07-20 | 2020-07-20 | 一种基于含噪声图像分布约束的贝叶斯图像去噪方法 |
DE102021103293.8A DE102021103293A1 (de) | 2020-07-20 | 2021-02-11 | Ein Bayes'sches Bildentrauschungsverfahren, das auf Verteilungsbeschränkungen von rauschhaltigen Bildern basiert |
US17/380,236 US11880903B2 (en) | 2020-07-20 | 2021-07-20 | Bayesian image denoising method based on distribution constraint of noisy images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010696129.6A CN111932468A (zh) | 2020-07-20 | 2020-07-20 | 一种基于含噪声图像分布约束的贝叶斯图像去噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111932468A true CN111932468A (zh) | 2020-11-13 |
Family
ID=73312864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010696129.6A Pending CN111932468A (zh) | 2020-07-20 | 2020-07-20 | 一种基于含噪声图像分布约束的贝叶斯图像去噪方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11880903B2 (zh) |
CN (1) | CN111932468A (zh) |
DE (1) | DE102021103293A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767271A (zh) * | 2021-01-19 | 2021-05-07 | 西安交通大学 | 一种基于三维变分网络的高光谱图像深度降噪的方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482162B (zh) * | 2022-09-02 | 2023-10-24 | 华南理工大学 | 一种基于随机重排和无标签模型的隐式图像盲去噪方法 |
CN115308215B (zh) * | 2022-10-11 | 2022-12-20 | 南通市怡天时纺织有限公司 | 基于激光束的织物织造疵点检测方法 |
CN115859007B (zh) * | 2023-02-17 | 2023-05-12 | 广东石油化工学院 | 一种石化仪表采样数据滑窗约束容错滤波降噪方法和装置 |
CN116339128B (zh) * | 2023-05-30 | 2023-07-28 | 北京国电富通科技发展有限责任公司 | 一种输渣系统落渣雨量在线监控方法及系统 |
CN116451598B (zh) * | 2023-06-20 | 2023-09-05 | 杭州经纬信息技术股份有限公司 | 基于去噪扩散概率模型的太阳辐照度预测方法 |
CN117669335B (zh) * | 2024-02-01 | 2024-05-07 | 北京国星创图科技有限公司 | 一种太空环境数据挖掘方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190096038A1 (en) * | 2017-09-26 | 2019-03-28 | Samsung Electronics Co., Ltd. | Image denoising neural network architecture and method of training the same |
-
2020
- 2020-07-20 CN CN202010696129.6A patent/CN111932468A/zh active Pending
-
2021
- 2021-02-11 DE DE102021103293.8A patent/DE102021103293A1/de active Pending
- 2021-07-20 US US17/380,236 patent/US11880903B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190096038A1 (en) * | 2017-09-26 | 2019-03-28 | Samsung Electronics Co., Ltd. | Image denoising neural network architecture and method of training the same |
CN109559281A (zh) * | 2017-09-26 | 2019-04-02 | 三星电子株式会社 | 图像去噪神经网络架构及其训练方法 |
Non-Patent Citations (3)
Title |
---|
KAICHAO LIANG ET AL.: "A Self-supervised Deep Learning Network for Low-Dose CT Reconstruction Publisher: IEEE", 《IEEE XPLORE》, 5 September 2019 (2019-09-05) * |
贾真;董文德;徐贵力;朱士鹏;: "基于马尔科夫专家场的泊松噪声图像去噪方法", 浙江大学学报(工学版), no. 06, 8 June 2020 (2020-06-08) * |
龙兴明;: "基于贝叶斯神经网络先验模型的图像去噪研究", 重庆师范大学学报(自然科学版), no. 03, 15 July 2009 (2009-07-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112767271A (zh) * | 2021-01-19 | 2021-05-07 | 西安交通大学 | 一种基于三维变分网络的高光谱图像深度降噪的方法 |
CN112767271B (zh) * | 2021-01-19 | 2023-09-22 | 西安交通大学 | 一种基于三维变分网络的高光谱图像深度降噪的方法 |
Also Published As
Publication number | Publication date |
---|---|
DE102021103293A1 (de) | 2022-01-20 |
US11880903B2 (en) | 2024-01-23 |
US20220020123A1 (en) | 2022-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111932468A (zh) | 一种基于含噪声图像分布约束的贝叶斯图像去噪方法 | |
Tian et al. | Deep learning on image denoising: An overview | |
Hou et al. | NLH: A blind pixel-level non-local method for real-world image denoising | |
Jiang et al. | Single image super-resolution quality assessment: a real-world dataset, subjective studies, and an objective metric | |
Guo et al. | Integrating guided filter into fuzzy clustering for noisy image segmentation | |
CN108198147B (zh) | 一种基于判别字典学习的多源图像融合去噪的方法 | |
CN108399620B (zh) | 一种基于低秩稀疏矩阵分解的图像质量评价方法 | |
CN113256508A (zh) | 一种改进的小波变换与卷积神经网络图像去噪声的方法 | |
Dhaka et al. | Likelihood estimation and wavelet transformation based optimization for minimization of noisy pixels | |
Khanna et al. | Fractional derivative filter for image contrast enhancement with order prediction | |
CN111027567A (zh) | 一种基于算法学习的边缘提取方法 | |
Alaa et al. | An improved nonlinear anisotropic PDE with p (x)-growth conditions applied to image restoration and enhancement | |
Khan et al. | A novel fractional-order variational approach for image restoration based on fuzzy membership degrees | |
Bora | Contrast improvement of medical images using advanced fuzzy logic-based technique | |
Ouyang et al. | Cryo-electron microscope image denoising based on the geodesic distance | |
Ekmekci et al. | Quantifying Generative Model Uncertainty in Posterior Sampling Methods for Computational Imaging | |
Pana et al. | Statistical filters for processing and reconstruction of 3D brain MRI | |
Al Mudhafar et al. | Noise in Digital Image Processing: A Review Study | |
Ke et al. | An efficient blind detection algorithm of median filtered image | |
Vatsa et al. | Denoising and Segmentation of 3D Brain Images. | |
CN111523353A (zh) | 一种机器理解雷达数据处理的方法 | |
Gour et al. | Machine Learning Approaches for Image Denoising and Artifact Removal in Medical Imaging | |
Radhika et al. | An adaptive optimum weighted mean filter and bilateral filter for noise removal in cardiac MRI images | |
Suneja et al. | Cloud based Medical Image De-Noising using Deep Convolution Neural Network | |
Jeslin Libisha et al. | Performance Analysis of Panoramic Dental X-Ray Images Using Discrete Wavelet Transform and Unbiased Risk Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |