CN113822813A - 基于四方向交叠组合稀疏全变分的图像复原方法及系统 - Google Patents

基于四方向交叠组合稀疏全变分的图像复原方法及系统 Download PDF

Info

Publication number
CN113822813A
CN113822813A CN202111090577.2A CN202111090577A CN113822813A CN 113822813 A CN113822813 A CN 113822813A CN 202111090577 A CN202111090577 A CN 202111090577A CN 113822813 A CN113822813 A CN 113822813A
Authority
CN
China
Prior art keywords
image
direction overlapping
total variation
overlapping combination
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111090577.2A
Other languages
English (en)
Inventor
石兰芳
昝明远
周先春
王博文
范梦佳
汪志飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202111090577.2A priority Critical patent/CN113822813A/zh
Publication of CN113822813A publication Critical patent/CN113822813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了图像修复技术领域的一种基于四方向交叠组合稀疏全变分的图像复原方法及系统。图像复原方法包括：获取待修复图像；使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，输出修复好的图像。通过使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，充分挖掘图像上四个方向的梯度信息，加以交叠组合，能在去除噪声的同时保留图像特征且抑制阶梯效应。

Description

基于四方向交叠组合稀疏全变分的图像复原方法及系统
技术领域
本发明属于图像修复技术领域，具体涉及一种基于四方向交叠组合稀疏全变分的图像复原方法及系统。
背景技术
由于环境和图像传输等各方面的影响，图像在采集、传输、存储等过程中往往会受到不同程度的噪声污染，从而引起了图像的退化并且严重降低了图像质量。因此，图像复原技术是图像处理领域中一类非常重要的处理技术。现有技术中，图像修复方法虽然具有保留图像特征(边缘、纹理部分)的优点，但同时也会产生阶梯效应。
发明内容
为解决现有技术的不足，本发明提供一种基于四方向交叠组合稀疏全变分的图像复原方法及系统，能在去除噪声的同时保留图像特征且抑制阶梯效应。
为达到上述目的，本发明所采用的技术方案是：
第一方面，本实施例提供一种基于四方向交叠组合稀疏全变分的图像复原方法，包括：获取待修复图像；使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，输出修复好的图像。
进一步地，所述四方向交叠组合稀疏全变分模型为：
Figure BDA0003267205300000011
其中，
Figure BDA0003267205300000012
表示复原后的图像，F表示模糊带噪的退化图像，U表示待修复图像，H表示点扩散函数构造的模糊算子或恒等算子，Kh和Kv分别代表水平和垂直方向的差分卷积算子，Kd和Kb分别代表在对角线和反对角线的差分卷积算子，|| ||2为欧几里得范数，
Figure BDA0003267205300000021
代表模拟未知数据先验知识的正则化函数项，μ是起到平衡两项作用的正则化参数。
进一步地，所述待修复图像满足周期性边界条件。
进一步地，修复时，将待修复图像的每个像素点在垂直、水平、对角线和反对角线四个方向上的梯度信息加以组合，形成组合梯度。
进一步地，修复时，将图像的四个方向的差分矩阵运算视为卷积操作，采用基于拉格朗日的ADMM算法将受约束的优化问题分裂为若干个子问题，其中，子问题分别用二维快速傅里叶变换和优化最小化法，交替迭代独立求解。
第二方面，提供一种基于四方向交叠组合稀疏全变分的图像复原系统，包括：图像采集模块，用于获取待修复图像；图像复原模块，用于使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，输出修复好的图像与现有技术相比，本发明所达到的有益效果：
(1)本发明通过使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，充分挖掘图像上四个方向的梯度信息，加以交叠组合，能在去除噪声的同时保留图像特征且抑制阶梯效应；
(2)本发明将复杂问题分解成几个独立的子问题解决，并用FFT和MM算法交叠迭代求解子问题，去模糊时间也有较其他同类模型有缩短。
附图说明
图1是本发明实施例提供的一种基于四方向交叠组合稀疏全变分的图像复原方法的主要流程示意图；
图2是σ＝15时图像去噪后的复原结果图：(a)含噪图像，(b)TV+BOX模型复原图，(c)TV4模型复原后图，(d)OGSTV模型复原图，(e)本发明新方法模型复原图，(f)-(j)是(a)-(e)模型对应的局部放大图；
图3是σ＝30时图像去噪后的复原结果图：(a)含噪图像，(b)TV+BOX模型复原图，(c)TV4模型复原后图，(d)OGSTV模型复原图，(e)本发明新方法模型复原图，(f)-(j)是(a)-(e)模型对应的局部放大图；
图4是σ＝50时图像去噪后的复原结果图：(a)含噪图像，(b)TV+BOX模型复原图，(c)TV4模型复原后图，(d)OGSTV模型复原图，(e)本发明新方法模型复原图，(f)-(j)是(a)-(e)模型对应的局部放大图；
图5是图像去模糊后的复原结果图(3x3的高斯核)：(a)含噪图像，(b)TV+BOX模型复原图，(c)TV4模型复原后图，(d)OGSTV模型复原图，(e)本发明新方法模型复原图，(f)-(j)是(a)-(e)模型对应的局部放大图；
图6是图像去模糊后的复原结果图(3x3的平均核)：(a)含噪图像，(b)TV+BOX模型复原图，(c)TV4模型复原后图，(d)OGSTV模型复原图，(e)本发明新方法模型复原图，(f)-(j)是(a)-(e)模型对应的局部放大图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
一种基于四方向交叠组合稀疏全变分的图像复原方法，包括：获取待修复图像；使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，输出修复好的图像。
本实施例中，四方向交叠组合稀疏全变分模型为：
Figure BDA0003267205300000041
其中，
Figure BDA0003267205300000042
表示复原后的图像，F表示模糊带噪的退化图像，U表示待修复图像，H表示点扩散函数构造的模糊算子或恒等算子，Kh和Kv分别代表水平和垂直方向的差分卷积算子，Kd和Kb分别代表在对角线和反对角线的差分卷积算子，|| ||2为欧几里得范数，
Figure BDA0003267205300000043
代表模拟未知数据先验知识的正则化函数项，μ是起到平衡两项作用的正则化参数。
引入分裂变量Xi＝Ki*U(i＝1,2,3,4)，利用增广拉格朗日方法将式(1)转换为无约束问题，其增广拉格朗日目标函数可表示为：
Figure BDA0003267205300000044
其中，Pi(i＝1,2,3,4)为拉格朗日乘子，β>0为惩罚参数。对变量Xi(i＝1,2,3,4)联合求解最值问题是比较困难的，因此本实施例使用基于拉格朗日的ADMM来解决这一
Figure BDA0003267205300000045
点。为此，引入对偶变量
Figure BDA0003267205300000046
令，并对其目标函数补配方项，则有式(3)：
Figure BDA0003267205300000047
其中U,Xi,
Figure BDA0003267205300000048
是增广拉格朗日矩阵LA()函数下的三个变量的矩阵形式，采用矩阵形式的变量避免了大型矩阵相乘的算法复杂性。
本实施例采用ADMM算法将受约束的优化问题分裂为几个单独的子问题，并且交替最小化LA()函数下的变量U,Xi,
Figure BDA0003267205300000049
求得LA()的鞍点，具体解决如下：
Figure BDA0003267205300000051
其中，U,Xi,
Figure BDA0003267205300000052
都是独立变量，可以逐一求解：
其中U子问题Uk+1表示如下：
Figure BDA0003267205300000053
本实施例引入二维快速傅里叶变换将时域中复杂的矩阵乘法问题转换到频域中求解，降低了计算复杂度。U子问题的频域表达式为：
Figure BDA0003267205300000054
其中，
Figure BDA0003267205300000055
代表A的频谱，符号
Figure BDA00032672053000000514
代表分量乘法。明显地，关于
Figure BDA0003267205300000056
的子问题是一个典型的最小二乘问题，通过使
Figure BDA0003267205300000057
的一阶导数为零，它等价于以下的方程：
Figure BDA0003267205300000058
其中，
Figure BDA0003267205300000059
是
Figure BDA00032672053000000510
的共轭矩阵。值得说明的是本实施例使用周期边界条件，所以
Figure BDA00032672053000000511
Figure BDA00032672053000000512
是带有循环块的循环块(BCCB)。因此，可以利用FFT得到U子问题的最优解为：
Figure BDA00032672053000000513
Xi，(i＝1,2,3,4)子问题具体如下所示：
Figure BDA0003267205300000061
Xi，(i＝1,2,3,4)子问题属于交叠组合稀疏问题，具体可以用优化最小化(majorization-minimization，MM)算法来迭代求解；
更新对偶变量
Figure BDA0003267205300000062
(i＝1,2,3,4)；；
Figure BDA0003267205300000063
最终得到一种基于四方向交叠组合稀疏全变分的新模型。
如图1所示，使用本实施例所述方法修复图像的主要流程为：
第一步：输入U,参数μ＞0,群大小K,
其中，U表示待修复图像，K为差分卷积算子；
第二步：初始化
F0＝U，k＝0，
Figure BDA0003267205300000064
其中U,Xi,
Figure BDA0003267205300000065
为分裂的几个单独的子问题；
第三步：开始循环
Figure BDA0003267205300000066
Figure BDA0003267205300000067
Figure BDA0003267205300000068
k＝k+1 (11)
第四步：循环至Uk+1满足停止标准；
第五步：结束循环，返回Uk+1。
为了验证本实施例的有效性，将本实施例提出的模型和其他经典的模型进行比较，引入峰值信噪比(PSNR)，结构相似性(SSIM)和计算时长作为评价复原后图像质量的三个指标。其中PSNR其值越大图像质量越高，SSIM值越接近于1，表示复原后的图像越接近于原始图像，时间越短表示图像复原速度越快。
首先，通过对比相关模型TV+BOX，TV4，OGSTV来论证本实施例所述模型图像去噪的有效性。针对本实施例所提出的交叠组合稀疏正则项的四方向全变分新模型(OGSTV4)调整参数值使其获得最大的PSNR和SSIM值。针对OGSTV调整正则化参数值，其他参数值参考文献。TV_BOX，TV4也使用ADMM算法求解，调整参数值获得最佳的PSNR和SSIM值。
图2，3和4分别展示了噪声标准差为15，30和50情况下不同模型去噪后的整体复原图和局部放大图。从图中可以看出，添加框约束后的TV模型和TV4模型虽然保存了图像边缘信息，但是噪声并没有完全消除掉。OGSTV模型虽然有效去除了噪声，但是他过度平滑了图像边缘，在对应的局部图中尤为明显。而本实施例提出的模型很好的克服了以上缺点，既保留了传统全变分的消除噪声的优良特性，又充分挖掘图像上四个方向的梯度信息，加以交叠组合，更进一步抑制了阶梯效应。
为了进一步具体的比较各模型的去噪能力，表1展示了噪声标准差(σ)为15，30和50情况下不同模型去噪后的图像PSNR,SSIM和Time值：
表1 不同σ值时不同模型去噪后的图像PSNR,SSIM和Time值
Figure BDA0003267205300000071
Figure BDA0003267205300000081
从PSNR值和SSIM值来看，本实施例提出的模型去噪后图像的PSNR和SSIM值明显高于TV_BOX,TV4和OGSTV。虽然从时间上看，本实施例提出的模型去噪时间相对较长，但综合考虑整体去噪效果，得出本实施例提出的模型在去噪方面更优。
其次论证本实施例提出的模型去模糊的有效性，将本实施例提出的模型和相关模型TV+BOX，TV4，OGSTV进行比较。调整各个模型的正则化参数来获得最佳的PSNR、SSIM值。
各模型去模糊后的图片展示在图5和图6中。不难发现无论图片是受高斯核或平均核的污染，本实施例提出的模型都能获得更清楚的视觉效果。表2展示的是分别受标准偏差为2的3*3的高斯核(G)和3*3的平均核(A)所污染并添加标准差为10的零均值高斯白噪声的情况下各模型去模糊后的图像PSNR,SSIM和Time值：
表2
Figure BDA0003267205300000082
Figure BDA0003267205300000091
从表2中也可以清楚看到，新模型在PSNR和SSIM值上都高于其他模型。
采用上述技术方案后，本实施例的有益效果为：既保留了传统全变分的消除噪声的优良特性，又充分挖掘图像上四个方向的梯度信息，加以交叠组合，更进一步抑制了阶梯效应。既可以有效的去除噪声，又可以保存好图像边缘等细节信息，有效的保存可图像特征。与其他的流行去噪模型相比，本实施例提出的去噪模型能取得更大的PSNR和SSIM值。将复杂问题分解成几个独立的子问题解决，并用FFT和MM算法交叠迭代求解子问题，去模糊时间也有较其他同类模型有缩短。
实施例二：
基于实施例一所述的一种基于四方向交叠组合稀疏全变分的图像复原方法，本实施例提供一种基于四方向交叠组合稀疏全变分的图像复原系统，包括：图像采集模块，用于获取待修复图像；图像复原模块，用于使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，输出修复好的图像。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于四方向交叠组合稀疏全变分的图像复原方法，其特征是，包括：
获取待修复图像；
使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，输出修复好的图像。
2.根据权利要求1所述的基于四方向交叠组合稀疏全变分的图像复原方法，其特征是，所述四方向交叠组合稀疏全变分模型为：
Figure FDA0003267205290000011
其中，
Figure FDA0003267205290000012
表示复原后的图像，F表示模糊带噪的退化图像，U表示待修复图像，H表示点扩散函数构造的模糊算子或恒等算子，Kh和Kv分别代表水平和垂直方向的差分卷积算子，Kd和Kb分别代表在对角线和反对角线的差分卷积算子，||||2为欧几里得范数，
Figure FDA0003267205290000013
代表模拟未知数据先验知识的正则化函数项，μ是起到平衡两项作用的正则化参数。
3.根据权利要求1所述的基于四方向交叠组合稀疏全变分的图像复原方法，其特征是，所述待修复图像满足周期性边界条件。
4.根据权利要求2所述的基于四方向交叠组合稀疏全变分的图像复原方法，其特征是，修复时，将待修复图像的每个像素点在垂直、水平、对角线和反对角线四个方向上的梯度信息加以组合，形成组合梯度。
5.根据权利要求2所述的基于四方向交叠组合稀疏全变分的图像复原方法，其特征是，修复时，将图像的四个方向的差分矩阵运算视为卷积操作，采用基于拉格朗日的ADMM算法将受约束的优化问题分裂为若干个子问题，其中，子问题分别用二维快速傅里叶变换和优化最小化法，交替迭代独立求解。
6.一种基于四方向交叠组合稀疏全变分的图像复原系统，其特征是，包括：
图像采集模块，用于获取待修复图像；
图像复原模块，用于使用构建的四方向交叠组合稀疏全变分模型对待修复图像进行修复，输出修复好的图像。
CN202111090577.2A 2021-09-17 2021-09-17 基于四方向交叠组合稀疏全变分的图像复原方法及系统 Pending CN113822813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111090577.2A CN113822813A (zh) 2021-09-17 2021-09-17 基于四方向交叠组合稀疏全变分的图像复原方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111090577.2A CN113822813A (zh) 2021-09-17 2021-09-17 基于四方向交叠组合稀疏全变分的图像复原方法及系统

Publications (1)

Publication Number Publication Date
CN113822813A true CN113822813A (zh) 2021-12-21

Family

ID=78922251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111090577.2A Pending CN113822813A (zh) 2021-09-17 2021-09-17 基于四方向交叠组合稀疏全变分的图像复原方法及系统

Country Status (1)

Country Link
CN (1) CN113822813A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321788A1 (en) * 2014-12-30 2016-11-03 Huazhong University Of Science And Technology Direction-adaptive image deblurring method
CN108198149A (zh) * 2018-01-24 2018-06-22 闽南师范大学 一种图像去模糊方法
CN110084756A (zh) * 2019-04-15 2019-08-02 闽南师范大学 一种基于高阶交叠组稀疏全变分的图像去噪方法
CN110827212A (zh) * 2019-10-11 2020-02-21 南京信息工程大学 基于交叠组合稀疏高阶全变分的图像复原方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321788A1 (en) * 2014-12-30 2016-11-03 Huazhong University Of Science And Technology Direction-adaptive image deblurring method
CN108198149A (zh) * 2018-01-24 2018-06-22 闽南师范大学 一种图像去模糊方法
CN110084756A (zh) * 2019-04-15 2019-08-02 闽南师范大学 一种基于高阶交叠组稀疏全变分的图像去噪方法
CN110827212A (zh) * 2019-10-11 2020-02-21 南京信息工程大学 基于交叠组合稀疏高阶全变分的图像复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭真明;陈颖频;蒲恬;王雨青;何艳敏;: "基于稀疏表示及正则约束的图像去噪方法综述", 数据采集与处理 *
范梦佳: "基于交叠组合稀疏正则项的图像复原算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
Jain et al. A survey of edge-preserving image denoising methods
Buades et al. Nonlocal image and movie denoising
CN102326379B (zh) 从图像中去除模糊的方法
CN106709877B (zh) 一种基于多参数正则优化模型的图像去模糊方法
Chen et al. A multiplicative noise removal approach based on partial differential equation model
Shu et al. Alternating minimization algorithm for hybrid regularized variational image dehazing
CN112991199B (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
Shahdoosti et al. Combined ripplet and total variation image denoising methods using twin support vector machines
US10229479B2 (en) Image signal processing apparatus, image signal processing method and image signal processing program
CN114820352A (zh) 一种高光谱图像去噪方法、装置及存储介质
Mbarki et al. A rapid hybrid algorithm for image restoration combining parametric Wiener filtering and wave atom transform
Buades et al. Image and movie denoising by nonlocal means
Liu et al. Retinex based on exponent-type total variation scheme
CN111652810A (zh) 一种基于小波域奇异值差分模型的图像去噪方法
CN116309175A (zh) 基于多正则化项的即插即用图像复原方法及系统
CN113822813A (zh) 基于四方向交叠组合稀疏全变分的图像复原方法及系统
Mbarki et al. Rapid medical images restoration combining parametric wiener filtering and wave atom transform based on local adaptive shrinkage
CN109191391B (zh) 一种衰减参数自适应非局部均值的图像降噪方法
Wen et al. Modified block-matching 3-D filter in Laplacian pyramid domain for speckle reduction
Chen et al. Image reconstruction based on combination of wavelet decomposition, inpainting and texture synthesis
Hu et al. Blind image blurring by Gaussian filtering extreme channels prior
Bouboulis et al. Kernel methods for image denoising
George et al. Survey on various image denoising techniques
Liu et al. The validity analysis of the non-local mean filter and a derived novel denoising method
Hsia et al. Adaptive Wavelet Shrinkage Based On Intelligent FIS Learned Thresholding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination