CN110084759B - 一种图像填补方法、终端设备及存储介质 - Google Patents

Abstract

本发明提出了一种图像填补方法、终端设备及存储介质，在二阶广义全变分的基础上，将基于L1范数的全变分推广为基于Lp伪范数，用以刻画保真项，其相比于L1范数增加了一个自由度，能更好地刻画稀疏梯度信息。为了加快模型的收敛速度，利用一阶原始对偶算法进行迭代计算，该算法避免了时间步长，并且有效的使用交替迭代，起到加速收敛的作用。

Description

一种图像填补方法、终端设备及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种图像填补方法、终端设备及存储介质。

背景技术

数字图像修复是数字图像处理和计算机图像学中的一个热点问题，而古籍图像填补又是亟待解决的问题之一，其对于文物保护、古籍图像的数字化具有很高的应用价值。

在日常生活和科学研究中，我们经常会碰到图像信息缺损现象，如图像破损、遮挡去除等等。如何对这些缺损或遮挡信息进行恢复成为人们日益关注的问题。数字图像修复技术是指针对数字图像中遗失或者损坏的部分，利用未被损坏的图像信息，按照一定的规则填补，以使得修复后的图像接近或达到原图的视觉效果，并使观察者无法觉察图像曾经缺损或已被修复。图像修复技术起源于艺术品修复，用于恢复受到损坏的绘画作品。随着近年来数字媒体的普及，数字图像修复技术也获得了多样化的应用，除了用于修复损坏的图像之外，还被应用于目标移除、超分辨率分析、图像压缩、视频错误隐藏等问题中。随着对图像处理研究的不断深人，人们越来越深刻地关注、研究和挖掘图像处理的本质，并试图用严格的数学理论对现有的图像处理方法进行研究和改进，基于变分的能量承数极小化的图像处理技术正是在这一大背景下产生的。因此，利用变分方法进行图像复原研究成为图像处理中的一个重要领域。

1992年，Rudin Osher and Fatemi提出了TV(Total Variation,TV)去噪模型,它是建立于全变分的思想上，确定图像的能量函数，其核心是以图像的梯度的稀疏先验及噪声的建模，在一定程度上图像去噪效果比较好。在此之后，TV变换被广泛应用到图像去噪、图像重建和图像去模糊等方面。但是由于边缘的扩散系数小，噪声得不到很好的抑制，且边缘处处理表现的很不稳定，很容易造成边缘细节的损失。2009年，Bredies等提出了总广义变分(total generalized variation,TGV)正则项代替TV正则项的图像去噪模型，具备良好的去噪和保持图像边缘的优点，还能缓解阶梯效应的产生，同时具有凸性、下半连续性、旋转不变性等众多优秀的数学性质，并能逼近任意多项式，在各种领域的应用中取得良好效果，因此，总广义变分稀疏正则化技术逐渐成为图像与信号处理的新热点。数字图像修复技术是从人的视觉心理角度出发，根据被遮物体的边缘信息，按照一定的方向进行延伸扩展、边界连接,填充被遮蔽的部分，达到视觉上的连通,模拟出人工修复的效果。

图像修复一般可分为结构图像修复和纹理图像修复。纹理图像修复的基本方法是纹理合成，已有多年的研究历史。目前所说的图像修复问题主要是结构图像修复，其利用偏微分方程(Partial Differential Equation,PDE)解决图像修复问题，这类方法适合修复轻度划痕、小区域或小的污点等，计算复杂，较耗时间。应用纹理合成的方法修复图像，该方法对于修复纯纹理图像是有效的，但对于同时包含结构和纹理的图像，其修复效果较差。

图像填补技术应用很广泛，例如填补美术作品上所出现的裂痕,使其清晰并恢复完整性恢复有划痕、丢失块的旧照片或老电影去除图像中的文字或物体等特殊效应的制作视频通信中错误隐匿技术图像中遮挡物体的去除数字图像的缩放,以及图像压缩等。

2002年Chan T提出了TV修复模型：通过最小化图像的总变分来实现对图像的修补。修复模型的数值计算方法是采用经典的梯度下降法，这种算法在模型离散过程中引入一个较小的时间步长，并且时间步长算法越稳定。与其他的基于变分PDE的修复模型相比，TV修复方程是一个二阶方程，所以它的数值格式简单并且具有良好的收敛性，另外，TV修复模型能够在修复图像的同时去除噪声，并保持图像的边缘，但是TV仅能有效的逼近分片常数函数，因此，在其修复结果中常常会出现阶梯效应。

发明内容

针对上述问题，本发明旨在提供一种图像填补方法、终端设备及存储介质，将基于L1范数的全变分推广为基于Lp伪范数，用以刻画保真项，其相比于L1范数增加了一个自由度，能更好地刻画稀疏梯度信息，减小阶梯效应。

具体方案如下：

一种基于Lp伪范数的广义全变分图像填补方法，包括以下步骤：

S1：输入待恢复的图像G；

S2：对图像模型进行初始化设定，设定参数：F⁽⁰⁾＝G、

V⁽⁰⁾＝0、

M⁽⁰⁾＝0、N⁽⁰⁾＝0、δ、μ、τ、p、β>0、迭代次数k、迭代次数阈值Max、迭代停止阈值tol；

S3：设定图像的修复模型为：

其中：E为图像中的不需要填补区域，D为图像中的需填补区域，F为修复后的图像，

表示Lp范数，参数λ₀、λ₁、β用来衡量保真项与正则项之间的权重；

ε(V)为对称梯度算子，V表示向量场，V₁表示横向梯度场，V₂表示纵向梯度场，其中：

V＝(V₁,V₂)

S4：引入对偶变量M、N，设定修复模型的对偶形式为：

其中，A、B分别表示对偶变量M、N的可行域：

S5：计算更新对偶变量M^(k+1)：

S6：计算更新对偶变量N^(k+1)：

其中，函数proj_A(X)和proj_B(X)的计算公式为：

S7：计算更新E区域的图像F^(k+1)|_E：

S8：计算更新D区域的图像F^(k+1)|_D：

F^(k+1)|_D＝F^(k)|_D+μdiv(M^(k+1))|_D

其中，div表示散度算子，

S9：计算更新全区域的图像F^(k+1)：

S10：计算更新向量场V^(k+1)：

V^(k+1)＝V^(k)+τ(M^(k)+div^h(N^(k+1)))

其中，div^h表示对称梯度算子ε的负共轭；

S11：计算更新加速变量

S12：判断是否满足||F^(k+1)-F^(k)||₂/||F^(k)||₂<tol或k＝Max，如果满足，则进入S13，否则，设定k＝k+1，返回S5；

S13：输出恢复图像。

进一步的，步骤S4中可行域A、B的计算公式为：

A＝{M＝(M₁,M₂)，||M||_∞≤λ₁p|M|^(p-1)}

M₁、M₂为向量M里的两个参数，N₁₁、N₁₂、N₂₁、N₂₂为向量N里的四个参数，||X||_∞表示向量X中的每个参数的取值范围，下标∞表示在整个取值空间内的所有参数。

进一步的，步骤S10中，div^h(N)的计算公式为：

一种图像填补终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，并具有有益效果：

1.利用Lp伪范数比传统的L1，增加了一个自由度、更好刻画图片稀疏性，提高了图像恢复的效果。

2.针对被污染或破损的古籍图片，利用了广义全变分修复模型，将TV模型中的TV换成二阶TGV,由于二阶的TGV平衡低阶和高阶导数项，它除了具备TV模型的优点，还能再修复过程中去除阶梯效应。相比于经典TGV具有更好的恢复性能。

3.利用一阶原始对偶算法有效地提高了迭代算法,该算法避免了时间步长，并且有效的使用交替迭代，能够起到加速收敛的作用。

附图说明

图1所示为本发明实施例的流程示意图。

图2所示为损坏程度为0.1的四种不同算法的恢复效果图。

图3所示为损坏程度为0.2的四种不同算法的恢复效果图。

图4所示为损坏程度为0.3的四种不同算法的恢复效果图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例一提供了一种基于Lp伪范数的广义全变分图像填补方法，如图1所示，其为本发明实施例一所述的图像去噪方法的流程示意图，所述方法可包括以下步骤：

S1：输入待恢复的图像G。

如图2所示，图2(a)为无噪声的原始图像，图2(b)为原始图像的局部放大图，为图2(c)为带高斯噪声的图像，图2(d)为带高斯噪声的图像的局部放大图，该实施例中输入的观察图像为图2(c)的带高斯噪声的图像，对其进行图像复原，尽量使输出的恢复图像逼近无噪声的原始图像。

S2：对图像模型进行初始化设定，设定参数：F⁽⁰⁾＝G、

V⁽⁰⁾＝0、

M⁽⁰⁾＝0、N⁽⁰⁾＝0、δ、μ、p、τ、β>0、迭代次数k＝0、迭代次数阈值Max＝600、迭代停止阈值tol＝10^-4。

S3：设定图像的修复模型为：

其中：E为图像中的不需要填补区域，D为图像中的需填补区域，G为破损图像，即待恢复的图像，F为修复后的图像；

表示Lp范数；λ₀、λ₁、β为三个大于零的参数，为正则参数，用来衡量保真项与正则项之间的权重。

模型公式中的

部分称为保真项，其中

表示对D∪E区域内的图像一阶总变分求最优，

表示区域的平滑操作。

ε(V)为对称梯度算子，V表示向量场，V₁表示横向梯度场，V₂表示纵向梯度场，其中：

V＝(V₁,V₂) (2)

S4：利用一阶原始对偶的求解方法，引入对偶变量M、N，则步骤S3中的修复模型的对偶形式为：

其中，A、B分别表示对偶变量M、N的可行域：

A＝{M＝(M₁,M₂)，||M||_∞≤λ₁p|M|^(p-1)} (5)

其中，M₁、M₂为向量M里的两个参数，N₁₁、N₁₂、N₂₁、N₂₂为向量N里的四个参数，||X||_∞表示向量X中的每个参数的取值范围，下标∞表示在整个取值空间内的所有参数。

S5：对于对偶变量M，使用梯度上升法，然后映射回M的可行域，其中

为前向映射结果，即：

需要说明的是，该实施例中所有右上角的标号均代表迭代次数。

S6：对于对偶变量N，使用梯度上升法，然后映射回N的可行域，其中

为前向映射结果，即：

S7：计算更新E区域的图像F^(k+1)|_E。

根据修复模型的对偶形式可得，修复模型的一阶原始对偶算法为：

对于E区域：

即得：

其中，div表示散度算子，

其离散格式为：

整理公式44可得：

F^(k+1)|_E[1+τβ]＝F^(k)|_E+τ[div(M^(k+1))+βG] (11)

即得E区域的求解公式：

S8：计算更新D区域的图像F^(k+1)|_D。

对于D区域：

F^(k+1)|_D＝F^(k)|_D-μ(-div(M^(k+1)))＝F^(k)|_D+μdiv(M^(k+1))|_D (13)

S9：D区域与E区域相加，计算更新全区域的图像F^(k+1)：

S10：计算更新向量场V^(k+1)：

V^(k+1)＝V^(k)+τ(M^(k)+div^h(N^(k+1))) (15)

div^h表示对称梯度算子ε的负共轭，即：

div^h＝-ε^* (16)

S11：计算更新加速变量

S12：判断是否满足||F^(k+1)-F^(k)||₂/||F^(k)||₂<tol或k＝Max，如果满足，则进入S13，否则，设定k＝k+1，返回S5；

S13：输出恢复图像。

本发明实施例采用上述技术方案，具有的三个创新点：

1.利用Lp伪范数比传统的L1，增加了一个自由度、更好刻画图片稀疏性，提高了图像恢复的效果。

2.针对被污染或破损的古籍图片，利用了广义全变分修复模型，将TV模型中的TV换成二阶TGV,由于二阶的TGV平衡低阶和高阶导数项，它除了具备TV模型的优点，还能再修复过程中去除阶梯效应。相比于经典TGV具有更好的恢复性能。

3.利用一阶原始对偶算法有效地提高了迭代算法,该算法避免了时间步长，并且有效的使用交替迭代，能够起到加速收敛的作用。

实验结果：

为了说明实施例中提出的TGV+Lp算法的优越性，我们选取了3幅测试图做了实验，如图2所示。在后面的这些的实验中，我们将本实施例中采用的算法(TGV+Lp)与已经存在的方法进行对比，包括TV、TV+Lp和TGV方法。

本实施例中的所有实验都是在版本为R2018a的MATLAB编程环境下实现的，所有的实验都是在同一台笔记本电脑上实现的，采用2.8G因特尔核处理器，4GRAM的硬件环境以及Windows10操作系统。主要对比参数包括峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性信息(Structural Similarity,SSIM)。峰值信噪比PSNR和结构相似性信息SSIM的定义如下：

其中,μ_x和μ_y分别代表图像X和Y的平均值,

和

分别代表图像X和Y的方差,σ_XY代表图像X和Y的协方差,k₁和k₂用于确保结构相似性SSIM表达式的分母值非零,本实验中取k₁＝0.01和k₂＝0.03。峰值信噪比越大，表示图像填补效果越好，SSIM的取值范围是(0，1)，其值越接近于1，表示相似度越高，填补效果越好。

图2-4中分别为填补程度为0.1，0.2，0.3的四种不同模型的填补结果。

图2是损坏程度为10％下四种去噪算法的去噪效果图，其中，(a)为原图、(b)为受损图、(c)为TV算法恢复效果图、(d)为TV+Lp(简称TpV)算法恢复效果图、(e)为TGV算法恢复效果图、(d)为TGV+Lp(简称TpGV)算法恢复效果图。

图3是损坏程度为20％下四种去噪算法的去噪效果图，其中，(a)为原图、(b)为受损图、(c)为TV算法恢复效果图、(d)为TV+Lp(简称TpV)算法恢复效果图、(e)为TGV算法恢复效果图、(d)为TGV+Lp(简称TpGV)算法恢复效果图。

图4是损坏程度为30％下四种去噪算法的去噪效果图，其中，(a)为原图、(b)为受损图、(c)为TV算法恢复效果图、(d)为TV+Lp(简称TpV)算法恢复效果图、(e)为TGV算法恢复效果图、(d)为TGV+Lp(简称TpGV)算法恢复效果图。

调节各种算法的参数，以达到各自的最佳填补效果。表1所示为四种算法对不同图像填补的PSNR(dB)和SSIM值。

表1

从表1可以看出，在对不同的图像加入三种不同程度的损坏后，本实施例中提出的新模型对图像进行填补时的PSNR值和SSIM值均高于其他几种方法。说明本实施例中提出的填补模型具有更好的填补效果，同时填补出的图像与原始图像更为接近。为了使实验更与有说服力我们进一步观察测试结果，下面给出几组测试结果对比图。

本发明实施例一提出了一种基于高阶正则项约束的交叠组稀疏全变分的图像去噪方法。一阶交叠组合技术将常规的每个像素的全变分梯度推广为组合梯度，从而提高平滑区域与边缘区域之间的差异性，而高阶正则项从二阶或更高阶的梯度信息出发，能更有效地缓解了“阶梯效应”，从而提高了对图像边缘的保护。为了提高图像复原的运算速度，我们将图像的横向、纵向差分矩阵运算建模为卷积操作，结合周期性边界条件，从而将二维快速傅里叶变换巧妙应用到图像复原问题中，利用频域上的点乘操作代替空域上大型矩阵运算。

实施例二：

本发明还提供一种图像填补终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述图像填补终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像填补终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述图像填补终端设备的组成结构仅仅是图像填补终端设备的示例，并不构成对图像填补终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像填补终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述图像填补终端设备的控制中心，利用各种接口和线路连接整个图像填补终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像填补终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述图像填补终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (4)

1.一种图像填补方法，其特征在于：包括以下步骤：

S1：输入待恢复的图像G；

S2：对图像模型进行初始化设定，设定参数：F⁽⁰⁾＝G、

V⁽⁰⁾＝0、

M⁽⁰⁾＝0、N⁽⁰⁾＝0、δ、μ、τ、p、β>0、迭代次数k、迭代次数阈值Max、迭代停止阈值tol；

S3：设定图像的修复模型为：

其中：E为图像中的不需要填补区域，D为图像中的需填补区域，F为修复后的图像，

表示Lp范数，参数λ₀、λ₁、β用来衡量保真项与正则项之间的权重，x表示图像的像素点；

ε(V)为对称梯度算子，V表示向量场，V₁表示横向梯度场，V₂表示纵向梯度场，其中：

V＝(V₁,V₂)

其中，

表示x方向一阶向前差分，表示y方向一阶向前差分；

S4：引入对偶变量M、N，设定修复模型的对偶形式为：

其中，A、B分别表示对偶变量M、N的可行域，计算公式为：

A＝{M＝(M₁,M₂)，||M||_∞≤λ₁p|M|^(p-1)}

M₁、M₂为向量M里的两个参数，N₁₁、N₁₂、N₂₁、N₂₂为向量N里的四个参数，||X||_∞表示向量X中的每个参数的取值范围，下标∞表示在整个取值空间内的所有参数；

S5：计算更新对偶变量M^(k+1)：

S6：计算更新对偶变量N^(k+1)：

其中，函数proj_A(X)和proj_B(X)的计算公式为：

S7：计算更新E区域的图像F^(k+1)|_E：

S8：计算更新D区域的图像F^(k+1)|_D：

F^(k+1)|_D＝F^(k)|_D+μdiv(M^(k+1))|_D

其中，div表示散度算子，

S9：计算更新全区域的图像F^(k+1)：

S10：计算更新向量场V^(k+1)：

V^(k+1)＝V^(k)+τ(M^(k)+div^h(N^(k+1)))

其中，div^h表示对称梯度算子ε的负共轭；

S11：计算更新加速变量

S12：判断是否满足||F^(k+1)-F^(k)||₂/||F^(k)||₂<tol或k＝Max，如果满足，则进入S13，否则，设定k＝k+1，返回S5；

S13：输出恢复图像。

2.根据权利要求1所述的方法，其特征在于：步骤S10中，div^h(N)的计算公式为：

其中，

表示x方向一阶向后差分、

表示y方向一阶向后差分。

3.一种图像填补终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～2中任一所述方法的步骤。

4.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～2中任一所述方法的步骤。

Images