CN113870149A - 基于平滑结构张量自适应的非局部全变分图像复原方法 - Google Patents
基于平滑结构张量自适应的非局部全变分图像复原方法 Download PDFInfo
- Publication number
- CN113870149A CN113870149A CN202111224640.7A CN202111224640A CN113870149A CN 113870149 A CN113870149 A CN 113870149A CN 202111224640 A CN202111224640 A CN 202111224640A CN 113870149 A CN113870149 A CN 113870149A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- structure tensor
- local
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000006978 adaptation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004800 variational method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
Abstract
本发明属于数字图像处理技术领域,具体涉及一种基于平滑结构张量自适应的非局部全变分图像复原方法,包括基于平滑结构张量特征值导出的局部对比度,结合结构相似度,构建图像中两个像素之间的权值,该权值为两个像素之间的非局部相似性的度量;基于两个像素之间的权值,构建非局部正则项和L2数据保真项,并以最小化正则项和数据保真项之和为目标构建目标函数;使用分裂布雷格曼数值迭代方法求解目标函数,获取复原后的图像;本发明权值函数中除包括像素灰度信息外,同时包括了结构信息,权值函数的构成更加合理,另外采用的平滑结构张量能够很好的刻画图像的边缘、纹理区域,既能去除噪声,又能保留和增强纹理细节。
Description
技术领域
本发明属于数字图像处理技术领域,具体涉及一种基于平滑结构张量自适应的非局部全变分图像复原方法。
背景技术
目前,采用偏微分方程方法对图像进行复原大体上有两个方向:基于扩散的方法和基于能量泛函极小化的方法。变分法基于严格的数学基础,而成为一个研究的热点。变分法是通过对图像问题进行建模,构造一个能量泛函,对其进行极小化求解的一个逆问题。
Rudin,Osher和Fatemi等人定义了全变分的概念,通过实验观察发现,含噪图像全变分的值显著地大于不含噪图像。由此,他们提出了全变分模型,即对全变分进行极小化,提出了第一个去除加性噪声的变分模型。
但全变分模型复原方法容易导致在图像的平滑区域造成“阶梯效应”。基于非局部思想,利用图像的自相似性可以一定程度上克服图像的阶梯效应,取得了一定的效果;同时作为全变分模型,又可以比较好地保持边缘,是一种复原效果相对较优的变分模型。
但是现有技术中NLTV模型权值函数设置不合理,并且不能根据图像不同区域的特征对正则化参数进行自适应调整。
发明内容
针对NLTV模型权值函数设置不合理和不能根据图像不同区域的特征对正则化参数进行自适应的问题,本发明提出一种基于平滑结构张量自适应的非局部全变分图像复原方法,如图1所示,包括以下步骤:
基于平滑结构张量特征值导出的局部对比度,结合结构相似度,构建图像中两个像素点之间的权值,该权值为两个像素点之间的非局部相似性的度量;
基于两个像素点之间的权值,构建正则项和数据保真项,并以最小化正则项和数据保真项之和为目标构建目标函数;
使用分裂布雷格曼数值迭代方法求解目标函数,获取复原后的图像。
进一步的,以最小化正则项和数据保真项之和为目标构建目标函数包括:
进一步的,使用分裂布雷格曼数值迭代方法求解目标函数,即使用分裂布雷格曼数值迭代方法求解目标函数时将目标函数分解为子问题u和子问题d进行迭代求解,根据欧拉-拉格朗日方程求解子问题u,依据软阈值方法求解子问题d,子问题u表示为:
子问题d表示为:
进一步的,子问题d的离散表达式为:
其中,u(j),u(i)分别为恢复后的图像u在像素j,i处对应的像素值,ωij为图像中像素i与像素j之间的权值。
进一步的,图像中两个像素之间的权值表示为:
其中,ωij为图像中像素i与像素j之间的权值,即含噪图像u0中以像素i为中心、大小为s×s的搜索窗口,与以像素j为中心、大小为n×n的邻域窗口之间灰度和局部对比度的高斯加权距离,像素j为搜索窗口中除i外的任意一个像素点;表明求和范围是以i为中心或以j为中心邻域窗口内的所有像素,共n×n项;S=1-ssim,其中ssim表示结构相似度;Gσ(c)表示标准差为σ的高斯核,u0(i+c)表示以x为中心的邻域窗口中的某一像素的像素值,u0(j+c)表示以j为中心的邻域窗口中的某一像素的像素值,lc(i+c)表示以i为中心的邻域窗口中的某一像素的局部对比度,lc(j+c)表示以j为中心的邻域窗口中的某一像素的局部对比度,h1、h2为调节权值函数大小的平滑参数,||.||为二范数;x+c表示以x为中心的窗口中的任意一个像素,x=i时表示搜索窗口、x=j时表示邻域窗口。
进一步的,局部对比度的计算过程中,将待计算特征值的图像经过方差为σ的高斯低通滤波器的滤波后的结果进行梯度运算,基于这个结果自身进行张量运算,张量运算得到的张量积与方差为ρ的高斯滤波器进行卷积得到一个半正定的特征矩阵,即平滑结构张量矩阵,该矩阵较大的特征值作为对应像素结构张量的主特征值,另一个特征值作为次要特征值,二者差值的绝对值即为局部对比度,其计算过程如下:
基于平滑结构张量计算局部对比度,即:
其中,μ1为对应像素结构张量的主特征值,μ2为对应像素结构张量的次要特征值,lc即为图像局部对比度矩阵,J11、J22、J12分别为所得到的平滑结构张量矩阵中各项。
进一步的,根据含噪声的图像u0各点平滑结构张量主特征值计算得到的自适应的正则化参数λ(μ1)表示为λ(μ1)=αμ1,α为自适应正则化参数的系数,μ1为图像的平滑结构张量主特征值。
本发明在传统的非局部全变分算法的基础上,基于平滑结构张量(SST)特征值导出的局部对比度概念、结构相似度(SSIM)提出的结构相似参数,提出了一种新的权值函数的计算公式;同时借助于平滑结构张量的主特征值实现了正则化参数的自适应,在不同区域实现了不同取值,即权值函数中除包括像素灰度信息外,同时包括了结构信息,权值函数的构成更加合理;一方面采用平滑结构张量能够很好的刻画图像的边缘、纹理区域,如图2所示,既能去除噪声,又能保留和增强纹理细节,另一方面平滑结构张量主特征值能够有效区分边缘和平坦区域,在平坦区域加强去噪,在纹理区域有效保持边缘,综上所述本发明能够在去除噪声的同时,保持图像原有的纹理细节。
附图说明
图1是本发明一种基于结构张量自适应的非局部全变分图像复原算法的流程示意图;
图2是展示平滑结构张量对于平滑和边缘区域区分能力的示意图;
图3是Pentagon复原效果图,其中a为原图,b为加入20噪声图,c为去噪后图像;
图4是Haifa复原效果图,其中a为原图,b为加入20噪声图,c为去噪后图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出一种基于平滑结构张量自适应的非局部全变分图像复原方法,包括以下步骤:
基于平滑结构张量特征值导出的局部对比度,结合结构相似度,构建图像中两个像素之间的权值,该权值为两个像素之间的非局部相似性的度量;
基于两个像素点之间的权值,构建正则项和数据保真项,并以最小化正则项和数据保真项之和为目标构建目标函数;
使用分裂布雷格曼数值迭代方法求解目标函数,获取复原后的图像。
观测到的图像包括真实图像和噪声,则观测到的图像表示为:
u0(x,y)=u(x,y)+n(x,y);
其中,u0(x,y)是观测图像,u(x,y)是真实图像,n(x,y)是噪声,x、y表示图像中的两个像素点。
传统全变分模型一般可以用于去除加性噪声,传统全变分模型表示为:
其中,λ表示正则化参数,Ω表示图像的紧支撑域,模型中的第一项,即是BV(Bounded Variation)空间中的半范数,也称为TV范数,是泛函中的正则项,起到抑制噪声的作用;第二项,即是数据保真项,主要作用是保持复原后图像与观测图像的相似性,从而保持图像的边缘特征;BV(Bounded Variation)表示定义在Ω上的有界变差函数空间。
为了克服全变分模型去噪方法容易导致在图像的平滑区域造成的阶梯效应,提出了非局部梯度算子等相关理论并将非局部梯度算子引入了ROF模型,提出了非局部的全变分模型,其能量泛函可表示如下:
其中,x,y表示含噪图像u0中的任意两个像素,变量x表示当前的像素,而变量y则表示以x为中心、大小为s×s的搜索窗口中的任意一点。表示含噪图像u0中以x为中心、大小为n×n的邻域窗口与以y为中心、大小为n×n的邻域窗口之间灰度的高斯加权距离,表明求和范围是以x为中心或以y为中心邻域窗口内的所有像素,共n×n项,Gσ(·)是标准差为σ的高斯核,h是调节权值函数大小的平滑参数。
结构张量是基于图像的梯度信息构建的一个矩阵,可以更好地描述图像的几何信息,获得比梯度特征更多的图像局部几何特征,更精确地描述图像的边缘纹理等,具体可以表示如下:
其中,uσ是经过方差为σ的高斯低通滤波器的图像,目的是为了在边缘检测的时候对尺度小于σ的图像内容不敏感,从而减少对捕捉边缘纹理信息的影响。是梯度算子,是张量积运算,*代表卷积运算,Gρ是方差为ρ的高斯滤波器,与张量积的卷积是为了增强对边缘、纹理等几何结构的刻画能力;σ、ρ本领域技术人员基于图像含有的噪声尺寸依照经验进行设置。由于这个矩阵是半正定的,所以有两个特征值,较大的那个特征值即为主特征值,特征值表示为:
其中,J11、J22、J12、J21分别为所得到的平滑结构张量矩阵;图像在各像素点的结构张量主特征值λ1的大小可以反映该像素所包含的主要信息,可以据此来判断纹理的丰富程度,一般而言值越大纹理结构越丰富。
本发明通过改进权值函数及构建自适应正则化参数函数λ(μ1),提出了一个新的自适应非局部全变分图像复原方法。
本发明所构建之权值函数,相较于基本形式的权值函数,有以下两个重要特点:
(1)与结构相似度(ssim)结合,克服了原始形式中对于结构信息的欠缺;
(2)结合基于结构相似度所提出的局部对比度,作为边缘指示算子,用以强化边缘。
基于以上两个考虑,本发明所构建之权值函数如下:
本发明构建自适应正则化参数函数λ(μ1)的原则是使其能够根据不同区域的平坦程度自适应取值,并用λ(μ1)代替经典NLTV模型中的λ;对于自适应正则化参数λ(μ1)的构建,须符合以下要求:
(1)λ(μ1)能区别出图像的平滑区域和非平滑区域;
(2)λ(μ1)对于噪声的干扰具有一定的抗扰性。基于以上两点,本发明构建自适应正则化参数如下:
λ(μ1)=αμ1;
其中平滑结构张量可表示为:
可以根据线性代数相关知识,由于其是半正定的,可以求出其两个特征值,较大的那个即为主特征值,可以在数值迭代过程中自适应地获得。
其中,α是比例系数,μ1是结构张量主特征值。如图2(a)、图2(b)所示,结构张量的主特征值即使在含有一定噪声情况下仍然可以比较显著地区分去图像的平滑区域和非平滑区域,纹理边缘越丰富的区域,μ1值越大。同时,正则项可以比较好地压制噪声,而保证项则更注重与保持图像的纹理结构,因此,在平滑区域应取较小的正则化参数值,而在非平滑区域应取较大的正则化参数值,与主特征值μ1的趋向是一致的,据此我们可以构建一个正则化参数与结构张量主特征值的正比关系。因此可以构建一种基于结构张量的自适应非局部全变分图像复原模型:
其中,Ω表示复原图像u或者含噪图像u0的整个图像区域,变量x,y表示图像中的一个像素,是正则项,∫Ω(u-u0)2dxdy是数据保真项,λ(μ1)是根据含噪声图像对应点结构张量主特征值计算得到的自适应的正则化参数,用以平衡该模型正则项与数据保真项之间的关系。
依照相关理论内积计算表示为:<p1,p2>(x)=∫Ωp1(x,y)p2(x,y)dy;
则使用分裂布雷格曼数值迭代方法求结果过程如下:
该问题可以分解为u,d两个子问题,表示为:
对于子问题u,根据欧拉-拉格朗日方程求解;对于d问题,依据软阈值方法求解,即:
上式离散可得,
其中,u为恢复后的图像,ω为权值函数,b,d为辅助变量,β为辅助常量,k为迭代次数,i,j表示相关变量的位置。
本发明所提供的一种基于平滑结构张量自适应的非局部全变分图像复原算法,如图1,其算法流程如下:
1)输入大小为N*N的含噪图像u0;
2)设置相关参数:辅助变量b,d,辅助常量β,搜索窗口大小s*s和邻域窗口n*n,迭代次数k0,以及权值函数参数h1,h2,σ,自适应正则化参数的系数α;
3)首先依据以下公式计算出各点平滑结构张量主特征值μ1的以及局部对比度lc:
4)根据3)所求的μ1及以下公式计算出λ(μ1):
λ(μ1)=αμ1;
5)依据权值函数ω(x,y)计算出各点相应的权值:
6)根据5)步骤计算出的权值以及b,d,对u进行迭代:
7)根据5),6)步骤计算出的权值和u,对b进行迭代:
8)根据5),6),7)步骤计算出的权值,u以及d,对b进行迭代:
9)此时一轮迭代完成,判断k=k0?如果是,迭代终止;如果不是,设置k=k+1,转步骤3)继续迭代。
本文所展示的基于平滑结构张量自适应的非局部全变分图像复原方法,其复原效果,如图3,4所示,在高斯噪声方差为20的情况下,能取得比较好的效果,恢复出相对清晰的图像。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.基于平滑结构张量自适应的非局部全变分图像复原方法,其特征在于,包括以下步骤:
基于平滑结构张量特征值导出的局部对比度,结合结构相似度,构建图像中两个像素之间的权值,该权值为两个像素之间的非局部相似性的度量;
基于两个像素之间的权值,构建正则项和数据保真项,并以最小化正则项和数据保真项之和为目标构建目标函数;
使用分裂布雷格曼数值迭代方法求解目标函数,获取复原后的图像。
6.根据权利要求1或5所述的基于平滑结构张量自适应的非局部全变分图像复原方法,其特征在于,图像中两个像素之间的权值表示为:
其中,ωij为图像中像素i与像素j之间的权值,即含噪图像u0中以像素i为中心、大小为s×s的搜索窗口,与以像素j为中心、大小为n×n的邻域窗口之间灰度和局部对比度的高斯加权距离,像素j为搜索窗口中除i外的任意一个像素点;表明求和范围是以i为中心或以j为中心邻域窗口内的所有像素,共n×n项;S=1-ssim,其中ssim表示结构相似度;Gσ(c)表示标准差为σ的高斯核,u0(i+c)表示以x为中心的邻域窗口中的某一像素的像素值,u0(j+c)表示以j为中心的邻域窗口中的某一像素的像素值,lc(i+c)表示以i为中心的邻域窗口中的某一像素的局部对比度,lc(j+c)表示以j为中心的邻域窗口中的某一像素的局部对比度,h1、h2为调节权值函数大小的平滑参数,||.||为二范数;x+c表示以x为中心的窗口中的任意一个像素,x=i时表示搜索窗口、x=j时表示邻域窗口。
7.根据权利要求1、2或6所述的基于平滑结构张量自适应的非局部全变分图像复原方法,其特征在于,局部对比度的计算过程中,将待计算特征值的图像经过方差为σ的高斯低通滤波器的滤波后的结果进行梯度运算,基于这个结果自身进行张量运算,张量运算得到的张量积与方差为ρ的高斯滤波器进行卷积得到一个半正定的特征矩阵,即平滑结构张量矩阵,该矩阵较大的特征值作为对应像素结构张量的主特征值,另一个特征值作为次要特征值,二者差值的绝对值即为局部对比度,其计算过程如下:
基于平滑结构张量计算局部对比度,即:
其中,μ1为对应像素结构张量的主特征值,μ2为对应像素结构张量的次要特征值,lc即为图像局部对比度矩阵,J11、J22、J12、J21分别为所得到的平滑结构张量矩阵中各项。
8.根据权利要求5所述的基于平滑结构张量自适应的非局部全变分图像复原方法,其特征在于,根据含噪图像u0各点平滑结构张量主特征值计算得到的自适应的正则化参数λ(μ1)表示为λ(μ1)=αμ1,α为自适应正则化参数的系数,μ1为图像的平滑结构张量主特征值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111224640.7A CN113870149A (zh) | 2021-10-21 | 2021-10-21 | 基于平滑结构张量自适应的非局部全变分图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111224640.7A CN113870149A (zh) | 2021-10-21 | 2021-10-21 | 基于平滑结构张量自适应的非局部全变分图像复原方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113870149A true CN113870149A (zh) | 2021-12-31 |
Family
ID=78996808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111224640.7A Pending CN113870149A (zh) | 2021-10-21 | 2021-10-21 | 基于平滑结构张量自适应的非局部全变分图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113870149A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984145A (zh) * | 2023-02-27 | 2023-04-18 | 湖南城市学院 | 一种精准鱼道过鱼识别方法 |
CN116977227A (zh) * | 2023-09-22 | 2023-10-31 | 福建晟哲自动化科技有限公司 | 基于局部结构变差的图像平滑方法及装置 |
-
2021
- 2021-10-21 CN CN202111224640.7A patent/CN113870149A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115984145A (zh) * | 2023-02-27 | 2023-04-18 | 湖南城市学院 | 一种精准鱼道过鱼识别方法 |
CN115984145B (zh) * | 2023-02-27 | 2024-02-02 | 湖南城市学院 | 一种精准鱼道过鱼识别方法 |
CN116977227A (zh) * | 2023-09-22 | 2023-10-31 | 福建晟哲自动化科技有限公司 | 基于局部结构变差的图像平滑方法及装置 |
CN116977227B (zh) * | 2023-09-22 | 2023-12-15 | 福建晟哲自动化科技有限公司 | 基于局部结构变差的图像平滑方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921800B (zh) | 基于形状自适应搜索窗口的非局部均值去噪方法 | |
Wang et al. | Iterative non-local means filter for salt and pepper noise removal | |
Zhong et al. | SAR image despeckling using Bayesian nonlocal means filter with sigma preselection | |
CN110706174B (zh) | 一种图像增强方法、终端设备及存储介质 | |
CN113870149A (zh) | 基于平滑结构张量自适应的非局部全变分图像复原方法 | |
CN107292842B (zh) | 基于先验约束和离群值抑制的图像去模糊方法 | |
CN109003233B (zh) | 一种基于自适应权重全变分模型的图像去噪方法 | |
Yin et al. | Fractional nonlinear anisotropic diffusion with p-Laplace variation method for image restoration | |
Tebini et al. | An advanced and adaptive mathematical function for an efficient anisotropic image filtering | |
Noori et al. | A bilateral image inpainting | |
CN114219740A (zh) | 一种融合超像素与窗口偏移的边缘感知引导滤波方法 | |
CN114359076A (zh) | 一种基于图像边缘指示函数的自适应加权高斯曲率滤波方法 | |
CN103971345A (zh) | 一种基于改进双边滤波的图像去噪方法 | |
CN113793278A (zh) | 一种改进的加权核范数最小化和Laplace算子选择性增强的遥感影像去噪方法 | |
Ma et al. | Mixed noise removal algorithm combining adaptive directional weighted mean filter and improved adaptive anisotropic diffusion model | |
Zhang | Center pixel weight based on Wiener filter for non-local means image denoising | |
Cao et al. | Edge/structure-preserving texture filter via relative bilateral filtering with a conditional constraint | |
Jin et al. | An image denoising approach based on adaptive nonlocal total variation | |
Shi et al. | A non-divergence diffusion equation for removing impulse noise and mixed Gaussian impulse noise | |
Zhao et al. | Constant time texture filtering | |
Liu et al. | A model of image denoising based on partial differential equations | |
Xing et al. | A dynamic and adaptive scheme for feature-preserving mesh denoising | |
CN109191391B (zh) | 一种衰减参数自适应非局部均值的图像降噪方法 | |
CN108596845B (zh) | 一种基于混合鲁棒权重和方法噪声的图像去噪方法 | |
CN109064425B (zh) | 一种自适应非局部总变分的图像去噪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |