CN109360158A - 一种基于梯度稀疏性与非局部相似性信息的图像复原方法 - Google Patents
一种基于梯度稀疏性与非局部相似性信息的图像复原方法 Download PDFInfo
- Publication number
- CN109360158A CN109360158A CN201810967735.XA CN201810967735A CN109360158A CN 109360158 A CN109360158 A CN 109360158A CN 201810967735 A CN201810967735 A CN 201810967735A CN 109360158 A CN109360158 A CN 109360158A
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- iteration
- matrix
- restored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000011084 recovery Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000006467 substitution reaction Methods 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于梯度稀疏性与非局部相似性信息的图像复原方法，包括第一阶段基于梯度稀疏性的图像非盲复原，以及第二阶段基于非局部自回归模型的图像质量提升。其中第一阶段基于梯度稀疏性的图像非盲复原包含如下核心步骤：当前梯度图像辅助变量计算；当前复原图像更新；拉格朗日乘子计算。本发明以图像变换域稀疏性为基础，从而能够恢复出图像中的边缘结构，在此基础上，进一步利用图像中的非局部相似性信息，提升了图像复原的质量。
Description
技术领域
本发明属于计算机数字图像处理领域，尤其涉及一种基于梯度稀疏性与非局部相似性信息的图像复原方法。
背景技术
图像在成像、传输与存储过程中，由于成像设备固有的物理局限性以及外部环境条件的限制，不可避免地会产生噪声污染、模糊等退化现象，从而导致图像质量的下降。这种图像降质会对其后续的图像理解与模式识别等应用带来相当的困难。为了满足实际应用的需求，图像复原的关键在于如何从降质图像中恢复出原始清晰图像，消除或减弱退化因素对图像质量的影响，已成为图像处理领域科研工作者和工程技术人员所关注的一个关键问题。
现阶段主流的图像复原算法大多从图像先验建模角度出发，将图像复原看做一个反问题进行求解，这是由于自然图像作为特殊的二维信号，其本身包含了复杂的结构信息。对图像中的结构信息进行建模，特别是基于小波变换以及多尺度几何分析的稀疏性先验模型已经成功地应用于图像复原问题中，并取得了很好的复原效果。如Krishnan D等人的文章《Fast image deconvolution using hyper-Laplacian priors》，2009，NIPS，1033-1041。最近研究表明，基于小波框架的方法与基于TV模型的变分正则化方法具有某种联系，统称为基于分析模型的方法，当分析算子取标准的一阶导数时，基于分析模型的方法退化为基于TV模型的变分正则化方法。如Wang Y等人的文章《A new alternatingminimization algorithm for total variation image reconstruction》，2008，SIAMJournal on Imaging Sciences，1(3)：248-272。尽管稀疏性模型能够获取图像中锐利的边缘，但是为了进一步提高图像复原的质量，需要在稀疏性先验的基础上深入挖掘图像的其他先验知识，如在图像全局区域中经常出现重复结构模式的图像块的非局部结构相似性。
发明内容
本发明的目的在于提供一种结合梯度稀疏性与非局部相似性信息的两阶段图像复原方法，具体为一种基于梯度稀疏性与非局部相似性信息的图像复原方法，包括如下步骤：步骤1，输入一幅大小为M1×N1的模糊图像g，M1、N1分别表示图像的行数和列数，对图像复原参数进行初始化；
步骤2，对模糊图像g进行两阶段图像复原。
步骤1包括如下步骤：
步骤1-1，输入一幅大小为M1×N1的模糊图像g，大小为M2×N2的点扩散函数h，大小为M1×N1的初始化待恢复图像u0，初始化增广拉格朗日乘子J0＝0，其中，M1、N1分别表示图像的行数和列数，M2、N2分别表示点扩散函数的行数和列数；
步骤1-2，对如下图像复原参数进行初始化：
拉格朗日乘子计算步长参数ξ、非局部相似块搜索区域大小rn×rn、非局部相似块大小rp×rp、梯度稀疏性贡献参数λ、图像边缘结构掩膜计算半径r、图像边缘结构掩膜局部灰度标准差阈值ε、边缘结构相似性贡献参数α和非局部自相似性贡献参数β；
步骤1-3，计算点扩散函数h的频谱F(h)以及模糊图像g的频谱F(g)，计算梯度算子▽的傅里叶变换F(▽)，F(·)为傅里叶变换，对M×N大小的一幅图像傅里叶变换公式如下所示：
其中，x表示图像中像素位置索引，f(x)表示x位置处的像素值，u表示傅里叶变换后图像像素位置索引，j为虚数(j2＝-1)，M、N分别为图像的长和宽。
步骤1-2中，所述对图像复原参数进行初始化，具体包括：拉格朗日乘子计算步长参数ξ＝1，非局部相似块搜索区域大小rn×rn＝25×25，非局部相似块大小rp×rp＝5×5，梯度稀疏性贡献参数λ＝0.05，图像边缘结构掩膜计算半径r＝2，图像边缘结构掩膜局部灰度标准差阈值ε＝0.06，边缘结构相似性贡献参数α＝0.01，非局部自相似性贡献参数β＝0.05。
步骤2包括如下步骤：
步骤2-1，第一阶段：对模糊图像g进行基于梯度稀疏性的图像非盲复原，得到复原的图像
步骤2-2，第二阶段：对复原的图像进行基于非局部自回归模型的图像质量提升，得到最终的复原图像u。
步骤2-1包括如下步骤：
步骤2-1-1，图像非盲去模糊模型如下所示：
其中，H为点扩散函数的循环卷积矩阵形式，▽u为梯度图像，λ为梯度图像惩罚项的权重参数，一般λ的取值区间为(0.05,1)。
结合算子分裂与增广拉格朗日乘子法，将问题转化为子问题：通过引入变量z，将上述无约束优化模型改写为等价的有约束优化模型，其形式如下：
相应的增广拉格朗日函数为：
其中，z表示梯度图像的邻近替代算子，J表示拉格朗日乘子，ξ表示邻近替代算子与梯度图像的平方误差项权重，一般ξ的初值的取值区间为(0.1,1)。
采用分裂增广拉格朗日乘子法进行求解的迭代框架如下：
计算当前迭代梯度图像辅助变量：对于t-1次迭代的中间图像ut-1，根据第t-1次迭代计算的梯度图像▽ut-1，结合第t-1次迭代得到的拉格朗日乘子Jt-1，计算当前第t次迭代的梯度图像辅助变量zt；
步骤2-1-2，当前迭代复原图像更新：根据梯度图像辅助变量zt，计算其频谱F(zt)，然后更新当前第t次迭代的复原图像ut；
步骤2-1-3，计算当前迭代拉格朗日乘子：计算第t次迭代获得的复原图像ut的梯度图像▽ut，然后计算当前第t次迭代的拉格朗日乘子Jt；
步骤2-1-4，迭代终止判断：计算ξ←2ξ，如果ξ＞28，迭代终止，并将ut记为从而得到复原的图像如果ξ≤28，更新迭代计数器t←t+1，并转至步骤2-1-1，其中，符号←表示赋值更新操作。
步骤2-1-1中，通过如下公式计算当前第t次迭代的梯度图像辅助变量zt：
其中ΘHard(·)为硬阈值操作。
步骤2-1-2中，当前第t次迭代的复原图像ut的具体更新形式如下：
其中，F*(·)表示F(·)的复共轭，F-1(·)表示傅里叶逆变换，表示矩阵元素逐点相乘，分式表示分子分母两个矩阵之间元素逐点相除。
步骤2-1-3中，通过如下公式计算当前第t次迭代的拉格朗日乘子Jt：
Jt＝Jt-1+ξ(▽ut-zt)。
步骤2-2包括如下步骤：
步骤2-2-1，根据卷积理论，将点扩散函数h改写为大小为M1N1×M1N1的循环卷积矩阵形式的模糊矩阵H；
步骤2-2-2，根据复原的图像计算其中边缘结构部分的掩膜M；
步骤2-2-3，根据复原的图像计算自回归权值矩阵B；
步骤2-2-4，根据模糊矩阵H，边缘结构部分的掩膜M和自回归权值矩阵B，将模糊图像g和复原图像均拉成向量形式，计算得到最终的复原图像u。
步骤2-2-2中，通过如下公式计算边缘结构部分的掩膜M：
其中，Mi(i＝1,2,…,n)为掩膜M的分量，表示复原图像的第i项，Mi表示掩膜M的第i个分量，Ni表示以ui为中心点，半径为r的邻域，为该邻域内的灰度标准差，r则表示邻域Ni内的像素点个数。
步骤2-2-4包括如下步骤：
步骤2-2-4-1，将模糊图像g和复原图像均拉成向量形式，并堆叠形成向量其具体形式为：
步骤2-2-4-2，将模糊矩阵H，边缘结构掩膜M和自回归权值矩阵B按照相应的顺序堆叠形成矩阵其具体形式如下：
其中I为单元矩阵；
步骤2-2-4-3，根据和计算最终的复原图像u：
其中，上标符号T表示矩阵转置，(·)-1表示矩阵的逆运算。
有益效果：本发明与现有技术相比，其显著优点：
(1)能够有效去除图像中的模糊退化现象，与以往的解决方案相比，本发明方法在第一阶段通过引入增强的梯度稀疏性先验信息，准确复原出图像中的边缘结构，消除模糊退化现象。
(2)第二阶段中进一步利用了图像自身的非局部相似性信息，能够改善图像中的细节部分；同时，通过约束边缘结构的相似性，能够抑制边缘部分的Gibbs效应，提高了图像复原的质量。本发明方法在道路车辆监控，数码照片处理，医学以及天文图像的恢复等方面都有广泛的应用前景，同时也为图像超分辨率提供了新的思路。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为仿真的模糊Babara图像，仿真模糊核为大小为27×27的运动模糊核；
图2a为LpNBD方法复原的图像；
图2b为TVL2方法复原的图像；
图2c为本发明方法复原的图像。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明公开了一种基于梯度稀疏性与非局部相似性信息的图像复原方法，包括如下步骤：步骤1，输入一幅大小为M1×N1的模糊图像g，M1、N1分别表示图像的行数和列数，对图像复原参数进行初始化；
步骤2，对模糊图像g进行两阶段图像复原。
步骤1包括如下步骤：
步骤1-1，输入一幅大小为M1×N1的模糊图像g，大小为M2×N2的点扩散函数h，大小为M1×N1的初始化待恢复图像u0，初始化增广拉格朗日乘子J0＝0，其中，M1、N1分别表示图像的行数和列数，M2、N2分别表示点扩散函数的行数和列数；
步骤1-2，对如下图像复原参数进行初始化：
拉格朗日乘子计算步长参数ξ、非局部相似块搜索区域大小rn×rn、非局部相似块大小rp×rp、梯度稀疏性贡献参数λ、图像边缘结构掩膜计算半径r、图像边缘结构掩膜局部灰度标准差阈值ε、边缘结构相似性贡献参数α和非局部自相似性贡献参数β；
步骤1-3，计算点扩散函数h的频谱F(h)以及模糊图像g的频谱F(g)，计算梯度算子▽的傅里叶变换F(▽)，F(·)为傅里叶变换，对M×N大小的一幅图像傅里叶变换公式如下所示：
其中，x表示图像中像素位置索引，f(x)表示x位置处的像素值，u表示傅里叶变换后图像像素位置索引，j为虚数。
步骤1-2中，所述对图像复原参数进行初始化，具体包括：拉格朗日乘子计算步长参数ξ＝1，非局部相似块搜索区域大小rn×rn＝25×25，非局部相似块大小rp×rp＝5×5，梯度稀疏性贡献参数λ＝0.05，图像边缘结构掩膜计算半径r＝2，图像边缘结构掩膜局部灰度标准差阈值ε＝0.06，边缘结构相似性贡献参数α＝0.01，非局部自相似性贡献参数β＝0.05。
步骤2包括如下步骤：
步骤2-1，第一阶段：对模糊图像g进行基于梯度稀疏性的图像非盲复原，得到复原的图像
步骤2-2，第二阶段：对复原的图像进行基于非局部自回归模型的图像质量提升，得到最终的复原图像u。
步骤2-1包括如下步骤：
步骤2-1-1，图像非盲去模糊模型如下所示：
其中，H为点扩散函数的循环卷积矩阵形式，▽u为梯度图像，λ为梯度图像惩罚项的权重参数。
结合算子分裂与增广拉格朗日乘子法，将问题转化为子问题：通过引入变量z，将上述无约束优化模型改写为等价的有约束优化模型，其形式如下：
相应的增广拉格朗日函数为：
其中，z表示梯度图像的邻近替代算子，J表示拉格朗日乘子，ξ表示邻近替代算子与梯度图像的平方误差项权重
采用分裂增广拉格朗日乘子法进行求解的迭代框架如下：
计算当前迭代梯度图像辅助变量：对于t-1次迭代的中间图像ut-1，根据第t-1次迭代计算的梯度图像▽ut-1，结合第t-1次迭代得到的拉格朗日乘子Jt-1，计算当前第t次迭代的梯度图像辅助变量zt；
步骤2-1-2，当前迭代复原图像更新：根据梯度图像辅助变量zt，计算其频谱F(zt)，然后更新当前第t次迭代的复原图像ut；
步骤2-1-3，计算当前迭代拉格朗日乘子：计算第t次迭代获得的复原图像ut的梯度图像▽ut，然后计算当前第t次迭代的拉格朗日乘子Jt；
步骤2-1-4，迭代终止判断：计算ξ←2ξ，如果ξ＞28，迭代终止，并将ut记为从而得到复原的图像如果ξ≤28，更新迭代计数器t←t+1，并转至步骤2-1-1，其中，符号←表示赋值更新操作。
步骤2-1-1中，通过如下公式计算当前第t次迭代的梯度图像辅助变量zt：
其中ΘHard(·)为硬阈值操作。
步骤2-1-2中，当前第t次迭代的复原图像ut的具体更新形式如下：
其中，F*(·)表示F(·)的复共轭，F-1(·)表示傅里叶逆变换，表示矩阵元素逐点相乘，分式表示分子分母两个矩阵之间元素逐点相除。
步骤2-1-3中，通过如下公式计算当前第t次迭代的拉格朗日乘子Jt：
Jt＝Jt-1+ξ(▽ut-zt)。
步骤2-2包括如下步骤：
步骤2-2-1，根据卷积理论，将点扩散函数h改写为大小为M1N1×M1N1的循环卷积矩阵形式的模糊矩阵H；
步骤2-2-2，根据复原的图像计算其中边缘结构部分的掩膜M；
步骤2-2-3，根据复原的图像计算自回归权值矩阵B；
步骤2-2-4，根据模糊矩阵H，边缘结构部分的掩膜M和自回归权值矩阵B，将模糊图像g和复原图像均拉成向量形式，计算得到最终的复原图像u。
步骤2-2-2中，通过如下公式计算边缘结构部分的掩膜M：
其中，Mi(i＝1,2,…,n)为掩膜M的分量，表示复原图像的第i项，Mi表示掩膜M的第i个分量，Ni表示以为中心点，半径为r的邻域，为该邻域内的灰度标准差，r则表示邻域Ni内的像素点个数。
步骤2-2-4包括如下步骤：
步骤2-2-4-1，将模糊图像g和复原图像均拉成向量形式，并堆叠形成向量其具体形式为：
步骤2-2-4-2，将模糊矩阵H，边缘结构掩膜M和自回归权值矩阵B按照相应的顺序堆叠形成矩阵其具体形式如下：
其中I为单元矩阵；
步骤2-2-4-3，根据和计算最终的复原图像u：
其中，上标符号T表示矩阵转置，(·)-1表示矩阵的逆运算。
实施例
本发明提供了一种结合梯度稀疏性与非局部相似性信息的两阶段图像复原方法，包括图像复原系统的初始化过程和两阶段图像复原过程：
1、所述的图像复原系统初始化过程为：
(1)输入一幅大小为M1×N1的模糊图像g，大小为M2×N2的点扩散函数h，大小为M1×N1的初始化待恢复图像u0，初始化增广拉格朗日乘子J0；
其中：M1,N1分别表示图像的行数和列数，M2,N2则分别表示点扩散函数的行数和列数。
(2)需要初始化的图像复原系统参数包括：拉格朗日乘子计算步长参数ξ＝1，非局部相似块搜索区域大小rn×rn＝25×25，非局部相似块大小rp×rp＝5×5，梯度稀疏性贡献参数λ＝0.05，图像边缘结构掩膜计算半径r＝2，图像边缘结构掩膜局部灰度标准差阈值ε＝0.06，边缘结构相似性贡献参数α＝0.01，非局部自相似性贡献参数β＝0.05。
(3)计算点扩散函数h的频谱F(h)以及模糊图像g的频谱F(g)，计算梯度算子▽的傅里叶变换F(▽)。
2、所述的两阶段图像复原过程包括第一阶段基于梯度稀疏性的图像非盲复原，以及第二阶段基于非局部自回归模型的图像质量提升：
2.1第一阶段基于梯度稀疏性的图像非盲复原(第t次迭代)：
步骤1：当前迭代梯度图像辅助变量计算。对于图像ut-1，根据第t-1次迭代计算的梯度图像▽ut-1，结合第t-1次迭代得到的拉格朗日乘子Jt-1，计算当前第t次迭代的梯度图像辅助变量zt。其具体计算形式如下：
其中ΘHard(·)为硬阈值操作。
步骤2：当前迭代复原图像更新。根据步骤1中计算的梯度图像辅助变量zt，计算其频谱F(zt)，进而计算当前第t次迭代的复原图像ut。其具体更新形式如下：
其中：F*(·)表示F(·)的复共轭，F-1(·)表示傅里叶逆变换，表示矩阵元素逐点相乘，分式表示分子分母两个矩阵之间元素逐点相除。
步骤3：当前迭代拉格朗日乘子计算。计算步骤2中第t次迭代获得的复原图像ut的梯度图像▽ut，计算当前第t次迭代的拉格朗日乘子Jt。其具体计算过程如下：
Jt＝Jt-1+ξ(▽ut-zt)
步骤4：迭代终止判断。计算ξ←2ξ，如果ξ＞28，迭代终止，并将ut记为u；如果ξ≤28，更新迭代计数器t←t+1，并转至步骤1。
其中：符号“←”表示赋值更新操作。
2.2第二阶段基于非局部自回归模型的图像质量提升：
步骤1：根据卷积理论，将点扩散函数h改写为大小为M1N1×M1N1的循环卷积矩阵形式的模糊矩阵H。
步骤2：根据第一阶段所复原的图像计算其中边缘结构部分的掩膜M。其具体计算形式为
其中，Mi(i＝1,2,…,n)为掩膜M的分量，Ni表示以为中心点，半径为r的邻域，为该邻域内的灰度标准差，r则表示邻域Ni内的像素点个数。
步骤3：根据第一阶段所复原的图像计算自回归权值矩阵B。本发明中该自回归权值矩阵的计算方法参见Buades A等人的文章《A review of image denoisingalgorithms,with a new one》，2005，SIAM Journal on Multiscale Modeling andSimulation，4(2)：490-530，参数设置与该文章保持一致。
步骤4：根据前三个步骤计算得到的模糊矩阵H，边缘结构掩膜M和自回归权值矩阵B，并将模糊图像g和复原图像均拉成向量形式，计算最终的复原图像u。
首先，将模糊图像g和复原图像均拉成向量形式，并堆叠形成向量其具体形式为：
其次，将模糊矩阵H，边缘结构掩膜M和自回归权值矩阵B按照相应的顺序堆叠形成矩阵其具体形式如下：
根据和计算最终的复原图像u，其计算形式如下：
其中，上标符号“T”表示矩阵转置，(·)-1表示矩阵的逆运算。
下面结合表1、图1以及图2a、图2b和图2c所示，通过两个实验来具体说明本发明方法的技术效果及实用性。
1、实验条件：
实验所用的计算环境为Intel i3-2100CPU@3.1GHz，内存为4GB1333MHz的微型计算机。软件环境为Microsoft Windows 7、Matlab R2012b。
2、实验内容
实验一：
本发明选取两种常用的图像质量客观评价指标PSNR和SSIM来定量的进行比较说明。具体地，选取6幅清晰图像和4个运动模糊核生成一组包含24幅模糊图像的测试数据集，并给出了各对比算法在该数据集上的PSNR值和SSIM值，如表1所示(将Krishnan D等人文章中的方法记为LpNBD，将Wang Y等人文章中的方法记为TVL2)。可以看出，本发明方法在客观评价指标方面明显具有优势。
实验二：
其次，为了从视觉上更直观地感受各算法的去模糊效果，以Babara图像为例，选取一个大小为27×27的运动模糊核，与清晰图像进行卷积获取仿真的模糊图像，如图1所示。图2a、2b、2c分别为LpNBD方法、TVL2方法和本发明方法的实验结果，通过对比可以看出，本发明方法对模糊图像的复原效果更好，能够保持更多的纹理细节，并且可以有效抑制Gibbs效应。
表1各对比算法在实验一构建数据集上的PSNR值和SSIM值
本发明提供了一种基于梯度稀疏性与非局部相似性信息的图像复原方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种基于梯度稀疏性与非局部相似性信息的图像复原方法，其特征在于，包括如下步骤：
步骤1，输入一幅大小为M1×N1的模糊图像g，其中，M1、N1分别表示图像的行数和列数，对图像复原参数进行初始化；
步骤2，对模糊图像g进行两阶段图像复原。
2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：
步骤1-1，输入一幅大小为M1×N1的模糊图像g，输入大小为M2×N2的点扩散函数h，初始化大小为M1×N1的待恢复图像u0，初始化增广拉格朗日乘子J0＝0，其中，M1、N1分别表示图像的行数和列数，M2、N2分别表示点扩散函数的行数和列数；
步骤1-2，对如下图像复原参数进行初始化：
拉格朗日乘子计算步长参数ξ、非局部相似块搜索区域大小rn×rn、非局部相似块大小rp×rp、梯度稀疏性贡献参数λ、图像边缘结构掩膜计算半径r、图像边缘结构掩膜局部灰度标准差阈值ε、边缘结构相似性贡献参数α和非局部自相似性贡献参数β；
步骤1-3，计算点扩散函数h的频谱F(h)以及模糊图像g的频谱F(g)，计算梯度算子的傅里叶变换F(·)为傅里叶变换，对M×N大小的一幅图像傅里叶变换公式如下所示：
其中，x表示图像中像素位置索引，f(x)表示x位置处的像素值，u表示傅里叶变换后图像像素位置索引，j为虚数，M、N分别为图像的长和宽。
3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：
步骤2-1，第一阶段：对模糊图像g进行基于梯度稀疏性的图像非盲复原，得到复原的图像
步骤2-2，第二阶段：对复原的图像进行基于非局部自回归模型的图像质量提升，得到最终的复原图像u。
4.根据权利要求3所述的方法，其特征在于，步骤2-1包括如下步骤：
步骤2-1-1，图像非盲去模糊模型如下所示：
其中，H为点扩散函数的循环卷积矩阵形式，为梯度图像，λ为梯度图像惩罚项的权重参数；
结合算子分裂与增广拉格朗日乘子法，将问题转化为子问题：通过引入变量z，将上述无约束优化模型改写为等价的有约束优化模型，其形式如下：
相应的增广拉格朗日函数为：
其中，z表示梯度图像的邻近替代算子，J表示拉格朗日乘子，ξ表示邻近替代算子与梯度图像的平方误差项权重；
采用分裂增广拉格朗日乘子法进行求解的迭代框架如下：
计算当前迭代梯度图像辅助变量：对于t-1次迭代的中间图像ut-1，根据第t-1次迭代计算的梯度图像结合第t-1次迭代得到的拉格朗日乘子Jt-1，计算当前第t次迭代的梯度图像辅助变量zt；
步骤2-1-2，当前迭代复原图像更新：根据梯度图像辅助变量zt，计算其频谱F(zt)，然后更新当前第t次迭代的复原图像ut；
步骤2-1-3，计算当前迭代拉格朗日乘子：计算第t次迭代获得的复原图像ut的梯度图像然后计算当前第t次迭代的拉格朗日乘子Jt；
步骤2-1-4，迭代终止判断：计算ξ←2ξ，如果ξ＞28，迭代终止，并将ut记为从而得到复原的图像如果ξ≤28，更新迭代计数器t←t+1，并转至步骤2-1-1，其中，符号←表示赋值更新操作。
5.根据权利要求4所述的方法，其特征在于，步骤2-1-1中，通过如下公式计算当前第t次迭代的梯度图像辅助变量zt：
其中ΘHard(·)为硬阈值操作。
6.根据权利要求5所述的方法，其特征在于，步骤2-1-2中，当前第t次迭代的复原图像ut的具体更新形式如下：
其中，F*(·)表示F(·)的复共轭，F-1(·)表示傅里叶逆变换，表示矩阵元素逐点相乘，分式表示分子分母两个矩阵之间元素逐点相除。
7.根据权利要求6所述的方法，其特征在于，步骤2-1-3中，通过如下公式计算当前第t次迭代的拉格朗日乘子Jt：
8.根据权利要求7所述的方法，其特征在于，步骤2-2包括如下步骤：
步骤2-2-1，根据卷积理论，将点扩散函数h改写为大小为M1N1×M1N1的循环卷积矩阵形式的模糊矩阵H；
步骤2-2-2，根据复原的图像计算其中边缘结构部分的掩膜M；
步骤2-2-3，根据复原的图像计算自回归权值矩阵B；
步骤2-2-4，根据模糊矩阵H，边缘结构部分的掩膜M和自回归权值矩阵B，将模糊图像g和复原图像均拉成向量形式，计算得到最终的复原图像u。
9.根据权利要求8所述的方法，其特征在于，步骤2-2-2中，通过如下公式计算边缘结构部分的掩膜M：
其中，Mi(i＝1,2,…,n)为掩膜M的分量，表示复原图像的第i项，Mi表示掩膜M的第i个分量，Ni表示以为中心点，半径为r的邻域，为该邻域内的灰度标准差，r则表示邻域Ni内的像素点个数。
10.根据权利要求9中所述的方法，其特征在于，步骤2-2-4包括如下步骤：
步骤2-2-4-1，将模糊图像g和复原图像均拉成向量形式，并堆叠形成向量其具体形式为：
步骤2-2-4-2，将模糊矩阵H，边缘结构掩膜M和自回归权值矩阵B按照相应的顺序堆叠形成矩阵其具体形式如下：
其中I为单元矩阵；
步骤2-2-4-3，根据和计算最终的复原图像u：
其中，上标符号T表示矩阵转置，(·)-1表示矩阵的逆运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810967735.XA CN109360158A (zh) | 2018-08-23 | 2018-08-23 | 一种基于梯度稀疏性与非局部相似性信息的图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810967735.XA CN109360158A (zh) | 2018-08-23 | 2018-08-23 | 一种基于梯度稀疏性与非局部相似性信息的图像复原方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109360158A true CN109360158A (zh) | 2019-02-19 |
Family
ID=65350297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810967735.XA Pending CN109360158A (zh) | 2018-08-23 | 2018-08-23 | 一种基于梯度稀疏性与非局部相似性信息的图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360158A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827212A (zh) * | 2019-10-11 | 2020-02-21 | 南京信息工程大学 | 基于交叠组合稀疏高阶全变分的图像复原方法 |
| CN116091367A (zh) * | 2023-04-10 | 2023-05-09 | 中国科学院空天信息创新研究院 | 光学遥感图像盲去模糊方法、装置、设备和介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427259A (zh) * | 2015-11-26 | 2016-03-23 | 天津大学 | 多方向加权tv和非局部自相似性正则化图像去模糊方法 |
| CN108389204A (zh) * | 2018-03-16 | 2018-08-10 | 华南理工大学 | 一种面向高速在线检测的退化图像模糊核双参数直接估算方法 |
-
2018
- 2018-08-23 CN CN201810967735.XA patent/CN109360158A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427259A (zh) * | 2015-11-26 | 2016-03-23 | 天津大学 | 多方向加权tv和非局部自相似性正则化图像去模糊方法 |
| CN108389204A (zh) * | 2018-03-16 | 2018-08-10 | 华南理工大学 | 一种面向高速在线检测的退化图像模糊核双参数直接估算方法 |
Non-Patent Citations (2)
| Title |
|---|
| S. WANG ET AL.: "Total variation based image deblurring with nonlocal self-similarity constraint", 《ELECTRONICS LETTERS》 * |
| 王凯: "基于边缘信息的图像盲去模糊算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827212A (zh) * | 2019-10-11 | 2020-02-21 | 南京信息工程大学 | 基于交叠组合稀疏高阶全变分的图像复原方法 |
| CN110827212B (zh) * | 2019-10-11 | 2023-03-14 | 南京信息工程大学 | 基于交叠组合稀疏高阶全变分的图像复原方法 |
| CN116091367A (zh) * | 2023-04-10 | 2023-05-09 | 中国科学院空天信息创新研究院 | 光学遥感图像盲去模糊方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Image reconstruction with locally adaptive sparsity and nonlocal robust regularization | |
| Chun et al. | Convolutional analysis operator learning: Acceleration and convergence | |
| CN102326379B (zh) | 从图像中去除模糊的方法 | |
| Ren et al. | Fast total-variation based image restoration based on derivative alternated direction optimization methods | |
| Lecouat et al. | Fully trainable and interpretable non-local sparse models for image restoration | |
| CN104599242A (zh) | 使用多尺度非局部正则的模糊核估计方法 | |
| CN105913392A (zh) | 复杂环境下退化图像综合质量提升方法 | |
| Srivastava et al. | Restoration of Poisson noise corrupted digital images with nonlinear PDE based filters along with the choice of regularization parameter estimation | |
| Zhang et al. | Kernel Wiener filtering model with low-rank approximation for image denoising | |
| CN108765282B (zh) | 基于fpga的实时超分辨方法及系统 | |
| CN105427259A (zh) | 多方向加权tv和非局部自相似性正则化图像去模糊方法 | |
| Zhang et al. | Wavelet frame based Poisson noise removal and image deblurring | |
| Yun et al. | Linearized proximal alternating minimization algorithm for motion deblurring by nonlocal regularization | |
| Liu et al. | Multi-filters guided low-rank tensor coding for image inpainting | |
| CN109360158A (zh) | 一种基于梯度稀疏性与非局部相似性信息的图像复原方法 | |
| Wu et al. | A new sampling algorithm for high-quality image matting | |
| Hou et al. | Image enhancement and restoration: state of the art of variational retinex models | |
| CN105957025A (zh) | 基于稀疏表示的非一致图像盲复原方法 | |
| Chen et al. | Deep Richardson–Lucy Deconvolution for Low-Light Image Deblurring | |
| Dang et al. | Multi-resolution patch and window-based priority for digital image inpainting problem | |
| Badretale et al. | Fully convolutional architecture for low-dose CT image noise reduction | |
| Pang et al. | Image restoration via the adaptive TVp regularization | |
| CN107730512B (zh) | 一种并发结构纹理图像处理方法 | |
| Zhao et al. | A region fusion based split Bregman method for TV Denoising algorithm | |
| Yin et al. | Fractional-order difference curvature-driven fractional anisotropic diffusion equation for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190219 |
|
| RJ01 | Rejection of invention patent application after publication |