CN111402173A - 一种混合噪声去除方法、装置、电子设备和存储介质 - Google Patents
一种混合噪声去除方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111402173A CN111402173A CN202010213383.6A CN202010213383A CN111402173A CN 111402173 A CN111402173 A CN 111402173A CN 202010213383 A CN202010213383 A CN 202010213383A CN 111402173 A CN111402173 A CN 111402173A
- Authority
- CN
- China
- Prior art keywords
- matrix
- image
- image block
- noise
- norm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 120
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 abstract description 26
- 150000003839 salts Chemical class 0.000 abstract description 24
- 235000002566 Capsicum Nutrition 0.000 abstract description 19
- 235000016761 Piper aduncum Nutrition 0.000 abstract description 19
- 235000017804 Piper guineense Nutrition 0.000 abstract description 19
- 235000008184 Piper nigrum Nutrition 0.000 abstract description 19
- 238000002156 mixing Methods 0.000 abstract description 8
- 244000203593 Piper nigrum Species 0.000 abstract 1
- 241000722363 Piper Species 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明实施例提供一种混合噪声去除方法、装置、电子设备和存储介质。所述方法包括:将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。本发明实施例通过基于双加权lp范数与全变分进行构建混合噪声去除模型,为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。
Description
技术领域
本发明涉图像处理领域,尤其涉及一种混合噪声去除方法、装置、电子设备和存储介质。
背景技术
图像噪声是指感光器件接收光信号并输出的过程中产生的异常像素。图像噪声会造成图像的降质,影响到人眼视觉对图像信息的感知,为图像融合、分割以及图像特征提取等后续处理带来困难。图像去噪的任务是抑制噪声对图像的影响,同时保持图像的真实性。高斯噪声与椒盐噪声是两种比较常见的图像噪声,具有不同的特性。数字图像中高斯噪声主要来源于采集过程中由低照度、高温引起的传感器噪声,以及传输过程中产生的电子电路噪声。高斯噪声的幅值服从高斯分布,高斯分布的方差越大,表明噪声强度越大。椒盐噪声主要源于电荷耦合器件的坏点或远距离传输的脉冲干扰。脉冲干扰通常比图像信号的强度大,在图像中脉冲噪声总是数字化为最大值(纯黑或纯白)。受盐噪声干扰的像素值为整幅图像中最大的灰度值,受椒噪声干扰的像素值为整幅图像中最小的灰度值。椒盐噪声表现为图像中随机出现的黑色或者白色的像素点,黑色为椒噪声,白色为盐噪声。噪声干扰的像素数占总像素数的比例即椒盐噪声概率,椒盐噪声概率越大,噪声强度越大。
根据图像中是否包含多种类别的噪声,图像去噪问题可分为单一噪声去除与混合噪声去除,去除图像中的混合噪声难度更大,且去噪难度与噪声强度成正比。主成分分析模型(Principle component analysis,PCA)是一种广泛使用的数据分析工具,可以有效抑制图像中的高斯噪声,但是对图像中严重损毁的像素值非常敏感,不适用于去除椒盐噪声。
因此,如何提出一种方法,能够实现对图像成分的估计更准确的约束条件,在椒盐噪声与高斯噪声混合的情况下,具有更好的图像复原性能,成为亟待解决的问题。
发明内容
针对现有技术中的缺陷,本发明实施例提供了一种混合噪声去除方法、装置、电子设备和存储介质。
第一方面,本发明实施例提供了一种混合噪声去除方法,包括:
将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;
其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
第二方面,本发明实施例提供一种混合噪声去除装置,包括:
输出模块,用于将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;
其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
第三方面,本发明实施例提供了一种电子设备,包括:
至少一个处理器;以及与处理器通信连接的至少一个存储器,其中:存储器存储有可被处理器执行的程序指令,处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的混合噪声去除方法。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的混合噪声去除方法。
本发明实施例提供的混合噪声去除方法、装置、电子设备和存储介质,通过基于双加权lp范数与全变分进行构建混合噪声去除模型,为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的混合噪声去除方法的流程示意图;
图2为本发明实施例提供的相似图像块组矩阵构成示意图;
图3为本发明实施例提供的利用非精确增广拉格朗日乘子法交替迭代求解的流程示意图;
图4为本发明实施例提供的图像块聚合示意图;
图5为本发明实施例提供的基于双加权lp范数与全变分的混合噪声去除方法流程图;
图6为本发明实施例提供的低秩矩阵的奇异值分析在10%椒盐噪声概率Goldhill图像中效果图;
图7为本发明实施例提供的低秩矩阵的奇异值分析在30%椒盐噪声概率的Barbar图像中效果图;
图8为本发明实施例提供的低秩矩阵的奇异值分析在10%椒盐噪声概率的Goldhill图像中折线对比图;
图9为本发明实施例提供的低秩矩阵的奇异值分析在30%椒盐噪声概率的Barbar图像中折线对比图,
图10为本发明实施例提供的混合噪声去除装置的流程示意图;
图11为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
基于鲁棒主成分分析(Robust principal component analysis,RPCA)模型包含对图像低秩性与椒盐噪声稀疏性的建模,利用模型中基于l2范数的数据保真项抑制高斯噪声,将观测图像分解为低秩的清晰图像和稀疏的椒盐噪声。求解RPCA模型是NP难的,通常将其转化为凸近似模型求近似解。当图像本身的秩偏高或者噪声强度偏大,超过阈值限制时,凸近似模型将无法准确估计低秩解与稀疏解。RPCA模型、WNNM模型以及WSNM-RPCA模型均以低秩性作为待复原的清晰图像的先验,图像的低秩性来源于图像中不同区域中的相似结构,属于图像的非局部先验。此外,清晰图像的相邻像素存在相关性,整幅图像中相邻像素间的平均梯度值较小,具有局部平滑性。全变分(Total variation,TV)正则化模型能够通过惩罚噪声像素梯度约束复原图像的平滑性,但是容易产生阶梯效应并造成图像边缘模糊。基于全变分的低秩矩阵分解模型(TV-regularized low-rank matrix factorization,LRTV)同时利用待复原的清晰图像的局部先验与非局部先验,在视觉效果和数值指标上都取得了较好的复原效果。联合使用加权核范数和全变分的图像去噪模型(Joint weightednuclear norm and total varitation,WNNTV)针对高光谱图像中的混合噪声,使用加权范数约束高光谱图像的光谱相关性,并使用全变分作为高光谱图像的空间相关性,能够在去除混合噪声的同时保持高光谱图像中的细节信息。
本发明实施例提供一种混合噪声去除方法,图1为本发明实施例提供的混合噪声去除方法的流程示意图,如图1所示,该方法包括:
101、将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
具体的,根据上述实施例的混合噪声去除方法,在上述101中,范数是建模数据稀疏性的常用方法,l1范数和l0范数可以实现稀疏表示,由于解l0范数最小化问题是NP难的,PCP模型利用l1范数代替l0范数实现凸近似,但是l1范数受矩阵元素大小的影响,范数最小化问题会“过度收缩”矩阵中较大的元素,降低近似解的准确性。因此采用加权算法与非凸的lp范数的可以改善低秩成分与稀疏成分的“过度收缩”问题,全变分(Total variation,TV)正则化构建的模型能够通过惩罚噪声像素梯度约束复原图像的平滑性,全变分正则项是图像的局部先验,可以约束图像的平滑性,因此采用基于双加权lp范数与全变分对混合噪声去除模型进行构建,对图像中以重叠划分的方式抽取图像块按一定方式划取部分得到相似图像块集合,对相似图像块向量化后得到图像块组矩阵,通过基于双加权lp范数与全变分的混合噪声去除模型对相似图像块组矩阵进行处理后,最终输出去噪图像块组矩阵。
本发明实施例提供的混合噪声去除方法,通过基于双加权lp范数与全变分进行构建混合噪声去除模型,为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。
进一步地,在上述实施例的基础上,所述将相似图像块组矩阵输入前,还包括:
对观测图像采用中值滤波进行预处理,生成预处理图像;
在所述观测图像与所述预处理图像中以重叠划分的方式抽取图像块;
在所述预处理图像中计算图像块间的欧氏距离,并在观测图像中取出欧氏距离最小的K个图像块形成一个相似图像块集合;
具体的,根据上述实施例的混合噪声去除方法,图2为本发明实施例提供的相似图像块组矩阵构成示意图,如图2所示,设输入的观测图像为I,采用中值滤波对观测图像进行预处理,中值滤波法是一种非线性平滑技术,它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值,生成预处理图像I′;为了避免块效应,在观测图像与预处理图像中以重叠划分的方式抽取图像块,图像块尺寸为在预处理图像中计算图像块间的欧氏距离,欧氏距离为两点之间的实际距离,并在观测图像中取出欧氏距离最小的K个图像块作为一个相似图像块的集合;将相似图像块的集合中的图像块进行向量化表示,生成相似图像块组矩阵xi,j,j=1,…,K表示第i个图像块的第j个相似图像块,c为图像块尺寸的开方。
本发明实施例提供的混合噪声去除方法,通过以重叠划分的方式抽取图像块并将图像块进行向量化,避免了在图像预处理中的块效应,以达到更好的后续处理效果。
进一步地,在上述实施例的基础上,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建,具体包括:
根据分解公式将所述相似图像块组矩阵分解为低秩矩阵与稀疏噪声矩阵;
所述分解公式为:
L为低秩矩阵,S为稀疏噪声矩阵,X为相似图像块组矩阵,λt、λl和λs为平衡全变分正则项、低秩正则项与稀疏正则项之间的权重,低秩正则项σi(L)为矩阵L的第i个奇异值,0<p≤1,权值对角矩阵Ω=diag(ω1,ω2,…,ωr),r为矩阵奇异值数量,Sp为表示矩阵Sp范数(Schatten p-norm,0<p<1),为σi(L)的权值,∈为趋近于0的常数,稀疏正则项si,j为矩阵S中的元素,0<q≤1,权值矩阵为si,j的权值;
引入辅助变量V,转换为非精确增广拉格朗日形式;
所述非精确增广拉格朗日形式为:
V为辅助变量,Y1和Y2为拉格朗日乘子,μ为惩罚系数,k:kF表示矩阵的F范数。
具体的,根据上述实施例的混合噪声去除方法,将相似图像块组矩阵作为输入,基于双加权lp范数与全变分的混合噪声去除方法通过求解如下的最优化问题,低秩矩阵的每行或每列都可以用其他的行或列线性表示,可见它包含大量的冗余信息,利用这种冗余信息,可以对缺失数据进行恢复,也可以对数据进行特征提取。稀疏矩阵为零元素数据远远多于非零元素数目,并且非零元素的分布没有规律的矩阵。将相似图像块组矩阵分解为低秩矩阵与稀疏噪声矩阵
L为低秩矩阵,S为稀疏噪声矩阵,X为相似图像块组矩阵,λt、λl和λs为平衡全变分正则项、低秩正则项与稀疏正则项之间的权重,TV(L)为全变分正则项,低秩正则项σi(L)为矩阵L的第i个奇异值,0<p≤1,权值对角矩阵Ω=diag(ω1,ω2,…,ωr),r为矩阵奇异值数量,Sp为表示矩阵Sp范数(Schatten p-norm,0<p<1),为σi(L)的权值,∈为趋近于0的常数,稀疏正则项si,j为矩阵S中的元素,0<q≤1,权值矩阵为si,j的权值;
噪声会影响相似图像块间的相似性,导致相似图像块组矩阵的秩增加,破坏矩阵的低秩性。低秩正则项通过约束矩阵的低秩性恢复图像块间的相似性,复原清晰的原始图像。噪声像素的随机性会导致图像中相邻像素间的灰度值梯度增加,破坏自然图像的局部平滑性,全变分正则项TV(L)约束矩阵相邻像素间的梯度复原图像矩阵的局部平滑性。
为了分离全变分正则项,引入辅助变量V,转换为如下的等价形式:
由于该模型是非凸问题,无法直接求解。在求取有约束条件的优化问题时,非精确增广拉格朗日乘子法(Inexact augmented Lagrange multiplier,IALM)是非常重要的求取方法,对于等式约束的优化问题,可以应用非精确增广拉格朗日乘子法去求取最优值。为了方便求解,将约束最优化问题写为无约束最优化问题,其非精确增广拉格朗日形式为:
V为辅助变量,Y1和Y2为拉格朗日乘子,μ为惩罚系数,k∶kF表示矩阵的F范数。
本发明实施例提供的混合噪声去除方法,通过考虑了图像的非局部自相似性与图像的局部平滑特征,根据自相似性图像的低秩性,椒盐噪声的稀疏性和高斯噪声的分布特性,构建统一的模型去除混合噪声,有效分离图像中不同的噪声成分。结合加权方法与lp范数近似l0范数与秩函数的模型,有效改善l1范数和秩函数因过度收缩导致的图像细节信息丢失与噪声成分估计不准确问题,更准确地约束稀疏性与低秩性,保持图像细节的同时抑制图像中的混合噪声。全变分正则项是图像的局部先验,其作用是约束图像的平滑性。结合图像的局部先验与图像的非局部低秩先验,本发明实施例为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。
进一步地,在上述实施例的基础上,所述混合噪声去除模型利用非精确增广拉格朗日乘子法交替迭代求解。
具体的,根据上述实施例的混合噪声去除方法,图3为本发明实施例提供的利用非精确增广拉格朗日乘子法交替迭代求解的流程示意图,如图3所示,利用非精确增广拉格朗日乘子法交替求解,迭代估计相似图像块组矩阵中的低秩图像成分与稀疏噪声成分,包括以下步骤:
302、估计稀疏噪声矩阵S:
设Fκ=X-Lκ+Y1 k/μk,Φκ=λsWk/μκ,将上式写为:
为了便于求解,将上式拆解为关于分量的子问题:
和分别为矩阵Fk和Φκ中的元素,为平衡lp范数正则项与l2范数保真项之间的权重。由于当前迭代中的si是未知量,因此使用上一次迭代的结果计算权值进一步计算其中,和分别为权值矩阵Wk和上一次迭代的稀疏噪声矩阵中的元素。
利用p-shrinkage算子近似计算上式的闭合解:
303、估计低秩矩阵L:
为Ψk中的元素,表示平衡lp范数正则项与l2范数保真项之间的权重。由于当前迭代中的δi是未知量,因此使用上一次迭代的结果计算权值进一步计算其中,为权值矩阵Ωk中的元素,为奇异值矩阵Δk中的元素,Δk是上一次迭代估计的低秩解矩阵Lk的奇异值矩阵,Lκ=UΔkVT。
利用p-shrinkage算子近似计算上式的闭合解,
304、估计全变分矩阵V:
式中,全变分正则项TV(V)为各向异性全变分:
305、更新拉格朗日乘子与惩罚系数:
根据步长计算惩罚系数,
μk+1=ρ×μk
306、重复迭代:
令k=κ+1,重复步骤301~305直到算法收敛或达到最大迭代次数。
本发明实施例提供的混合噪声去除方法,通过利用非精确增广拉格朗日乘子法交替迭代求解,为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。
进一步地,在上述实施例的基础上,所述输出去噪图像块组矩阵之后,还包括:
将所述去噪图像块组矩阵之间的重叠区域通过取平均抑制图像块效应进行重建,将重建的去噪图像块按照其在观测图像中的位置放回,形成一幅去噪重建图像。
具体的,根据上述实施例的混合噪声去除方法,低秩矩阵L为相似图像块组矩阵X中包含的图像成分,低秩矩阵L的第一列元素即为重建的去噪图像块。图像块聚和的目的是将重建的去噪图像块按照其在观测图像中的位置放回,形成一幅去噪重建图像。由于图像块之间存在重叠区域,对重叠区域取平均值来抑制图像块效应。
例如:图4为本发明实施例提供的图像块聚合示意图,如图4所示,为观测图像中第i个图像块xi的重建图像块,为观测图像中第j个图像块xj的重建图像块,去噪重建图像中深色的阴影部分为两个重建图像块之间的重叠区域,需要对图像块间重叠的部分取均值计算去噪重建图像中的各个像素。
本发明实施例提供的混合噪声去除方法,通过将所述去噪图像块组矩阵之间的重叠区域通过取平均抑制图像块效应进行重建,并对重叠区域取平均值来抑制图像块效应,使得输出的去噪重建图像具有更好的效果。
进一步地,在上述各实施例的基础上,图5为本发明实施例提供的基于双加权lp范数与全变分的混合噪声去除方法流程图,如图5所示,输入的观测图像为I,经过预处理、图像块向量化、非精确增广拉格朗日乘子法交替迭代求解和重建图像等处理,最终输出去噪图像本发明实施例的方法与上述混合噪声去除方法实施例的技术方案的实现原理和技术效果类似,此处不再赘述。需要说明的是,低秩性与稀疏性紧密相关,数据的稀疏性可以理解为0元素的数目远多于非0元素的数目。稀疏矩阵中的大部分元素都为0,仅包含少数随机分布在矩阵中的非0元素。数据矩阵的低秩性等价于奇异值向量的稀疏性。l0范数是建模数据稀疏性的常用方法,由于解l0范数最小化问题是NP难的,PCP模型利用l1范数代替l0范数实现凸近似,但是l1范数受矩阵元素大小的影响,l1范数最小化问题会“过度收缩”矩阵中较大的元素,降低近似解的准确性。在本发明提供的的实施例中,同时采用加权算法与非凸的lp范数的目的是改善低秩成分与稀疏成分的“过度收缩”问题。WNNM-RPCA模型和WSNM-RPCA模型仅考虑过度收缩问题对低秩成分的影响,属于本发明实施例的一种特殊情况。
本发明实施例提供的基于双加权lp范数与全变分的混合噪声去除方法,考虑了图像的非局部自相似性与图像的局部平滑特征,根据自相似性图像的低秩性,椒盐噪声的稀疏性和高斯噪声的分布特性,构建统一的模型去除混合噪声,有效分离图像中不同的噪声成分。结合加权方法与lp范数近似l0范数与秩函数的模型,有效改善l1范数和秩函数因过度收缩导致的图像细节信息丢失与噪声成分估计不准确问题,更准确地约束稀疏性与低秩性,保持图像细节的同时抑制图像中的混合噪声。全变分正则项是图像的局部先验,其作用是约束图像的平滑性。结合图像的局部先验与图像的非局部低秩先验,本发明实施例为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。
进一步地,在上述实施例的基础上,为了验证联合使用加权算法与范数的有效性,图6为本发明实施例提供的低秩矩阵的奇异值分析在10%椒盐噪声概率的Goldhill图像中效果图,图7为本发明实施例提供的低秩矩阵的奇异值分析在30%椒盐噪声概率的Barbar图像中效果图,图8为本发明实施例提供的低秩矩阵的奇异值分析在10%椒盐噪声概率的Goldhill图像中折线对比图,图9为本发明实施例提供的低秩矩阵的奇异值分析在30%椒盐噪声概率的Barbar图像中折线对比图,其中,假设一幅图像包含100个像素,其中10个像素是椒盐噪声,则椒盐噪声概率为10%,如图6与图7所示,在10椒盐噪声的Goldhill图像和30椒盐噪声的Barbar图像中分别随机选择了10个相似图像块组矩阵作为两组观测数据,每个组矩阵中包含64个的相似图像块。分别使用PCP模型、WNNM-RPCA模型、WSNM-RPCA模型、双加权模型(DWLP(p=q=1))与双加权范数模型(DWLP)对观测数据进行去噪处理。如图8与图9所示,不同模型复原结果的奇异值分布情况,其中,PCP模型(方形标记的线)的结果明显小于矩阵秩的真实情况(虚线),说明PCP模型过度收缩了矩阵奇异值。WNNM-RPCA加权模型(三角形标记的线)一定程度上抑制了较大奇异值的过度收缩,对矩阵成分的估计较为准确。而结合了范数的WSNM-RPCA模型(菱形标记的线)的结果则更贴近矩阵秩的真实情况,说明范数方法具有更好的近似效果。DWLP(p=q=1)模型(圆形标记的线)与DWLP模型(六角星标记的线)可以同时处理对低秩成分与稀疏成分的过度收缩问题,复原性能明显优于WNNM-RPCA模型。与DWLP(p=q=1)模型相比,DWLP模型对较小奇异值的估计更接近真实情况,获得更准确的估计结果。
为了验证本发明模型(DWLP_tv)的去噪性能,本发明随机选取10幅分辨率为的灰度图像作为测试图像进行实验,部分参数采用经验值。图像块的抽取步长为4(即每相隔4个像素抽取一个图像块),图像块的尺寸为,相似图像块的数量。另一部分参数通过参数实验确定,表1为不同混合噪声水平下模型的参数设置,如表1所示,稀疏性约束的范数中的、平衡低秩正则项与全变分正则项的权重和是本发明模型中较为重要的参数。在相同椒盐噪声概率的情况下,随高斯噪声方差增大而增大或保持不变。权重与椒盐噪声概率成反比,当椒盐噪声概率为10、20和30时,权重的值分别为1,0.9和0.8。权重与高斯噪声方差成反比,在相同椒盐噪声概率的情况下,权重的值随高斯噪声方差增大而减小或保持不变。
表1
表2为20%椒盐噪声概率不同高斯噪声情况下各种去噪方法结果PSNR比较,表3为20%椒盐噪声概率不同高斯噪声情况下各种去噪方法结果SSIM比较,如表2与表3所示,表中PSNR表示峰值信噪比(Peak signal-to-noise ratio,PSNR),从均方误差的角度评价图像相似性,SSIM表示结构相似性度量(Structural similarity measure,SSIM),分别从亮度、对比度、结构三方面评价图像相似性。通过比较在低秩项中使用加权方法的WNNM-RPCA模型、在低秩项中使用加权范数的WSNM-RPCA模型、同时对低秩项与稀疏项加权的DWLP(p=q=1)模型,以及DWLP模型和包含全变分项的DWLP_tv模型的实验结果,可见DWLP模型的PSNR与SSIM值在不同噪声水平下均高于前面的模型,表明使用加权范数同时处理低秩成分与稀疏成分能够更准确地重建图像的低秩结构,而本发明模型的PSNR与SSIM值明显高于DWLP方法,表明基于全变分的平滑约束项能够进一步抑制图像中的混合噪声。
表2
表3
进一步地,在上述实施例的基础上,本发明实施例提供了一种混合噪声去除装置,该装置用于执行上述方法实施例中的混合噪声去除方法。图10为本发明实施例提供的混合噪声去除装置的流程示意图,如图10所示,该装置包括:输出模块1001;其中,
输出模块1001,用于将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
具体的,根据上述实施例的混合噪声去除装置,在输出模块1001中,基于双加权lp范数与全变分对混合噪声去除模型进行构建,通过基于双加权lp范数与全变分的混合噪声去除模型对相似图像块组矩阵进行处理后,最终输出去噪图像块组矩阵。
需要说明的是,本发明实施例的装置可用于执行图1所示的一种混合噪声去除方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例提供的混合噪声去除装置,通过基于双加权lp范数与全变分进行构建混合噪声去除模型,为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。
进一步地,在上述实施例的基础上,该装置还包括:预处理模块,构建模块,迭代处理模块,重建模块,其中,
预处理模块:用于对观测图像采用中值滤波进行预处理,生成预处理图像;在所述观测图像与所述预处理图像中以重叠划分的方式抽取图像块;
在所述预处理图像中计算图像块间的欧氏距离,并在观测图像中取出欧氏距离最小的K个图像块形成一个相似图像块集合;
构建模块:用于基于双加权lp范数与全变分进行构建混合噪声去除模型。
迭代处理模块:用于利用非精确增广拉格朗日乘子法交替迭代求解。
重建模块,用于将所述去噪图像块组矩阵之间的重叠区域通过取平均抑制图像块效应进行重建,将重建的去噪图像块按照其在观测图像中的位置放回,形成一幅去噪重建图像。
需要说明的是,本发明实施例的装置可用于执行上述的混合噪声去除方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例提供的混合噪声去除装置,通过考虑了图像的非局部自相似性与图像的局部平滑特征,根据自相似性图像的低秩性,椒盐噪声的稀疏性和高斯噪声的分布特性,构建统一的模型去除混合噪声,有效分离图像中不同的噪声成分。结合加权方法与lp范数近似l0范数与秩函数的模型,有效改善l1范数和秩函数因过度收缩导致的图像细节信息丢失与噪声成分估计不准确问题,更准确地约束稀疏性与低秩性,保持图像细节的同时抑制图像中的混合噪声。全变分正则项是图像的局部先验,其作用是约束图像的平滑性。结合图像的局部先验与图像的非局部低秩先验,本发明实施例为图像成分的估计提供了更准确的约束条件,在椒盐与高斯噪声混合的情况下,具有更好的复原性能。举个例子如下:
图11为本发明实施例提供的电子设备的实体结构示意图,如图11所示,该电子设备可以包括:处理器(processor)1101、通信接口(Communications Interface)1102、存储器(memory)1003和通信总线1104,其中,处理器1101,通信接口1102,存储器1103通过通信总线1104完成相互间的通信。处理器1101可以调用存储器1103中的逻辑指令,以执行如下方法:将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
此外,上述的存储器1103中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法,例如包括:将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
本实施例还公开了一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种混合噪声去除方法,其特征在于,包括:
将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;
其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
3.根据权利要求1所述的混合噪声去除方法,其特征在于,述混合噪声去除模型是基于双加权lp范数与全变分进行构建,具体包括:
根据分解公式将所述相似图像块组矩阵分解为低秩矩阵与稀疏噪声矩阵;
所述分解公式为:
L为低秩矩阵,S为稀疏噪声矩阵,X为相似图像块组矩阵,λt、λl和λs为平衡全变分正则项、低秩正则项与稀疏正则项之间的权重,TV(L)为全变分正则项,低秩正则项σi(L)为矩阵L的第i个奇异值,0<p≤1,权值对角矩阵Ω=diag(ω1,ω2,…,ωr),r为矩阵奇异值数量,Sp为k:表示矩阵Sp范数(Schatten p-norm,0<p<1),为σi(L)的权值,∈为趋近于0的常数,稀疏正则项si,j为矩阵S中的元素,0<q≤1,权值矩阵为si,j的权值;
引入辅助变量V,转换为非精确增广拉格朗日形式;
所述非精确增广拉格朗日形式为:
V为辅助变量,Y1和Y2为拉格朗日乘子,μ为惩罚系数,k:kF表示矩阵的F范数。
4.根据权利要求1所述的混合噪声去除方法,其特征在于,所述混合噪声去除模型
利用非精确增广拉格朗日乘子法交替迭代求解。
7.根据权利要求1所述的混合噪声去除方法,其特征在于,所述输出去噪图像块组矩阵之后,还包括:
将所述去噪图像块组矩阵之间的重叠区域通过取平均抑制图像块效应进行重建,将重建的去噪图像块按照其在观测图像中的位置放回,形成一幅去噪重建图像。
8.一种混合噪声去除装置,其特征在于,包括:
输出模块,用于将相似图像块组矩阵输入混合噪声去除模型,输出去噪图像块组矩阵;
其中,所述混合噪声去除模型是基于双加权lp范数与全变分进行构建。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的混合噪声去除方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的混合噪声去除方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010213383.6A CN111402173B (zh) | 2020-03-24 | 2020-03-24 | 一种混合噪声去除方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010213383.6A CN111402173B (zh) | 2020-03-24 | 2020-03-24 | 一种混合噪声去除方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111402173A true CN111402173A (zh) | 2020-07-10 |
CN111402173B CN111402173B (zh) | 2024-04-16 |
Family
ID=71434580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010213383.6A Active CN111402173B (zh) | 2020-03-24 | 2020-03-24 | 一种混合噪声去除方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111402173B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308800A (zh) * | 2020-11-10 | 2021-02-02 | 苏州兴钊防务研究院有限公司 | 一种基于多视联合的合成孔径雷达图像去噪方法和装置 |
CN112767263A (zh) * | 2021-01-07 | 2021-05-07 | 上饶师范学院 | 基于低秩函数和多方向全变分的图像混合噪声去除方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150287223A1 (en) * | 2014-04-04 | 2015-10-08 | The Board Of Trustees Of The University Of Illinois | Highly accelerated imaging and image reconstruction using adaptive sparsifying transforms |
CN106204482A (zh) * | 2016-07-08 | 2016-12-07 | 桂林电子科技大学 | 基于加权稀疏的混合噪声去除方法 |
US20170024855A1 (en) * | 2015-07-26 | 2017-01-26 | Macau University Of Science And Technology | Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
CN107967674A (zh) * | 2017-12-20 | 2018-04-27 | 成都信息工程大学 | 基于图像块自相似性先验的核磁共振图像去噪方法 |
CN110490814A (zh) * | 2019-07-09 | 2019-11-22 | 珠海城市职业技术学院 | 基于光滑秩约束的混合噪声去除方法、系统及存储介质 |
-
2020
- 2020-03-24 CN CN202010213383.6A patent/CN111402173B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150287223A1 (en) * | 2014-04-04 | 2015-10-08 | The Board Of Trustees Of The University Of Illinois | Highly accelerated imaging and image reconstruction using adaptive sparsifying transforms |
US20170024855A1 (en) * | 2015-07-26 | 2017-01-26 | Macau University Of Science And Technology | Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
CN106204482A (zh) * | 2016-07-08 | 2016-12-07 | 桂林电子科技大学 | 基于加权稀疏的混合噪声去除方法 |
CN107967674A (zh) * | 2017-12-20 | 2018-04-27 | 成都信息工程大学 | 基于图像块自相似性先验的核磁共振图像去噪方法 |
CN110490814A (zh) * | 2019-07-09 | 2019-11-22 | 珠海城市职业技术学院 | 基于光滑秩约束的混合噪声去除方法、系统及存储介质 |
Non-Patent Citations (2)
Title |
---|
HUIWEN DONG 等: "Dual Weighted ‘ p -norm Minimization with Application in Image Denoising", 《ARXIV》 * |
杨国亮等: "融合-TV正则化约束RPCA 模型的视频去噪和目标检测", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/31.1690.TN.20191217.1544.058.HTML》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308800A (zh) * | 2020-11-10 | 2021-02-02 | 苏州兴钊防务研究院有限公司 | 一种基于多视联合的合成孔径雷达图像去噪方法和装置 |
CN112767263A (zh) * | 2021-01-07 | 2021-05-07 | 上饶师范学院 | 基于低秩函数和多方向全变分的图像混合噪声去除方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111402173B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Group-based sparse representation for image restoration | |
Schuler et al. | A machine learning approach for non-blind image deconvolution | |
Portilla | Image restoration through l0 analysis-based sparse optimization in tight frames | |
US20220301114A1 (en) | Noise Reconstruction For Image Denoising | |
CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
Rodríguez et al. | Mixed Gaussian-impulse noise image restoration via total variation | |
US20140126808A1 (en) | Recursive conditional means image denoising | |
Huang et al. | Two-step approach for the restoration of images corrupted by multiplicative noise | |
Wen et al. | Learning flipping and rotation invariant sparsifying transforms | |
CN111402173A (zh) | 一种混合噪声去除方法、装置、电子设备和存储介质 | |
CN112233046A (zh) | 一种柯西噪声下的图像复原方法及其应用 | |
CN111105357A (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
De los Reyes et al. | Bilevel optimization methods in imaging | |
Ge et al. | Blind image deconvolution via salient edge selection and mean curvature regularization | |
WO2022207110A1 (en) | Noise reconstruction for image denoising | |
Mandal et al. | Employing structural and statistical information to learn dictionary (s) for single image super-resolution in sparse domain | |
CN114359103B (zh) | 高光谱图像去雾方法、装置、计算机产品及存储介质 | |
Piriyatharawet et al. | Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments | |
CN113160069B (zh) | 一种基于图信号的高光谱图像去噪方法 | |
Sola et al. | Blind image deblurring based on multi-resolution ringing removal | |
Arora et al. | Bi-featured image quality assessment with the hierarchical image quality enhancement algorithm | |
Yang et al. | Inverse halftoning based on sparse representation with boosted dictionary | |
Gao et al. | Multi-focus image fusion via coupled sparse representation and dictionary learning | |
Danielyan | Block-based collaborative 3-D transform domain modeling in inverse imaging | |
Falconer | Image super resolution via non-local normalized graph Laplacian regularization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |