CN113139920A - 一种古籍图像修复方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种古籍图像修复方法、终端设备及存储介质，该方法中包括：S1：构建基于形态学分解的古籍图像恢复模型；S2：利用交替乘子迭代法，引入辅助变量Q₀、Q₁、Q₂，令

并引入辅助变量Q₀、Q₁、Q₂对应的拉格朗日乘子

二次惩罚项和二次惩罚项系数λ₀、λ₁、λ₂，将对步骤S1中公式的求解转换为对F_C、F_T、Q₀、Q₁、Q₂、

的求解；S3：针对古籍图像恢复模型进行迭代训练，在每次迭代中，通过对F_C、F_T、Q₀、Q₁、Q₂、

分别求解来计算当前迭代的修复后图像F，进而计算

是否成立，如果成立，则输出当前迭代时的修复后图像F^(k+1)。本发明提出了基于形态学成分分析和Lp伪范数的古籍图像修复模型，然后引入交替乘子迭代法将提出模型分解为若干去耦合的子问题再进行求解，能够较好地修复古籍图像。

Description

一种古籍图像修复方法、终端设备及存储介质

技术领域

本发明涉及图像分析领域，尤其涉及一种古籍图像修复方法、终端设备及存储介质。

背景技术

中华文化底蕴浓厚，遗留古籍众多。浩如烟海的古籍不仅是中华上下五千年文化的传承，更是炎黄子孙宝贵的精神财富。古籍不仅能直观地体现出古代中华的繁荣程度，还能让后世了解到中华文明的发展脉络。但由于历史悠久，导致古籍受到霉变虫蛀等破坏，且古籍保存技术有限，导致大量古籍亟待修复。

常见古籍图像修复去除方法有：基于中值滤波的恢复方法、基于全变分模型的恢复方法、基于神经网络的恢复方法、基于小波变换的恢复方法等。基于中值滤波器(MedianFilter，MF)及其改进的恢复算法将污染源用相邻像素点的中值或者均值代替，该方法容易扭曲图像的结构，使图像衔接不顺滑。基于全变分(Total Variation，TV)模型在图像恢复方面得到了广泛的应用，该方法虽然能较好地保护图像的边缘部分，但在处理图像平滑区域时易产生“阶梯效应”。随着深度学习理论的发展，各种基于神经网络的模型被广泛应用于图像恢复，但该类方法较依赖大样本数据集，训练成本较高。基于小波变换的图像恢复方法将信号视为小波字典的稀疏表示，由于冲击噪声具有随机发生的特点，不能被小波字典稀疏表示，利用这一特点可有效将噪声去除。然而，小波变换中的下采样操作会导致重构信号存在明显的“块效应”，同时小波变换仅有一个高通分析滤波器，对信号纹理细节的刻画能力不足。近年来，基于小波变换的图像恢复方法有了新的研究进展。现有技术中为解决小波变换下采样导致的“块效应”问题，将平稳小波变换应用于图像恢复中；为解决小波变换对细节刻画能力不足的问题，将Framelet变换应用到图像恢复中，该变换相比于小波变换增加一个高通分析滤波器，能更好地刻画信号细节。

上述工作通常将被污染图像理解为原始图像和污染源的和，这种做法的弊端在于去除污染源的同时可能破坏图像的高频纹理信息。

发明内容

为了解决上述问题，本发明提出了一种古籍图像修复方法、终端设备及存储介质。

具体方案如下：

一种古籍图像修复方法，包括以下步骤：

S1：构建基于形态学分解的古籍图像恢复模型：

其中，F表示修复后图像，G为待修复古籍图像，

为保真项，α₀为保真项系数，M为待修复古籍图像的掩码矩阵，D为二维一阶平稳帧小波变换，p₀、p₁、p₂均为Lp伪范数参数，α₁、α₂为稀疏正则化的系数；F_C为图像的卡通部分，F_T为图像的纹理部分；

S2：利用交替乘子迭代法，引入辅助变量Q₀、Q₁、Q₂，令

并引入辅助变量Q₀、Q₁、Q₂对应的拉格朗日乘子

二次惩罚项和二次惩罚项系数λ₀、λ₁、λ₂，将对步骤S1中公式的求解转换为对F_C、F_T、Q₀、Q₁、Q₂、

的求解；

S3：针对古籍图像恢复模型进行迭代训练，初始设定F_C、F_T、Q₀、Q₁、Q₂、

均为0，在每次迭代中，通过对F_C、F_T、Q₀、Q₁、Q₂、

分别求解来计算当前迭代的修复后图像F，进而计算

是否成立，其中，F^(k+1)表示第k+1次迭代时的修复后图像，F^(k)表示第k次迭代时的修复后图像，上标k表示第k次迭代，tol表示迭代停止阈值，如果成立，则输出当前迭代时的修复后图像F^(k+1)。

进一步的，F_C、F_T根据共轭梯度算法对下式进行求解来更新：

其中，D^T表示帧小波逆变换。

进一步的，辅助变量

依次根据下式进行更新：

进一步的，辅助变量

对应的拉格朗日乘子

依次根据下式进行更新：

其中，γ表示学习率参数。

一种古籍图像修复终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，提出一种基于形态学成分分析和Lp伪范数的古籍图像修复模型，然后引入交替乘子迭代法将提出模型分解为若干去耦合的子问题再进行求解，能够较好地修复古籍图像。

附图说明

图1所示为本发明实施例一中各类范数等高线，其中，图1(a)为L2范数等高线，图1(b)为L1范数等高线，图1(c)为Lp伪范数等高线。

图2所示为该实施例中一维一阶平稳帧小波变换与逆变换示意图，其中图2(a)为一维一阶平稳帧小波变换示意图，图2(b)为一维一阶平稳逆帧小波变换示意图。

图3所示为该实施例中二维一阶平稳帧小波变换与逆变换示意图，其中，图3(a)为二维一阶平稳帧小波变换示意图，图3(b)为二维一阶平稳逆帧小波变换示意图。

图4所示为该实施例中形态学分解的示意图。

图5所示为该实施例中方法的流程图。

图6所示为该实施例中彩色图像恢复流程图示意图。

图7所示为该实施例中“道德经”的涂鸦图与复原图，其中图7(a)为单像素涂鸦图，图7(b)为2像素涂鸦图，图7(c)为3像素涂鸦图，图7(d)为4像素涂鸦图，图7(e)为单像素复原图，图7(f)为2像素复原图，图7(g)为3像素复原图，图7(h)为4像素复原图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种古籍图像修复方法，包括：

1.构建基于形态学分解的古籍图像恢复模型，其目标函数为：

其中，

是保真项、α₀是保真项系数、M是掩码矩阵、G是被污染源污染后的图像、D是二维一阶平稳帧小波变换、p₀、p₁、p₂是Lp伪范数参数。

基于形态学分解，将图像分解为卡通部分F_C和纹理部分F_T，卡通表示图像高频部分，纹理表示图像的低频部分。通过不同的稀疏正则化的系数α₁、α₂去平衡，将纹理部分和卡通部分分层恢复，使图像该平滑的部分更加平滑，该锐化的部分更加锐化，避免了图像失真、细节模糊等问题，使图像更加生动逼真、细节丰富。

下面介绍与本实施例相关的预备知识。

(1)Lp伪范数

Lp伪范数定义为

观察图1各类范数等高线，可以发现L1范数的等高线比L2范数更接近坐标轴，说明L1范数刻画系数能力更强。而Lp伪范数等高线比L1范数更接近坐标轴，说明Lp范数刻画系数能力强于L1范数和L2范数。由此可知Lp伪范数优势为：①刻画稀疏能力更强；②具有更大的自由度。

污染源是一种具有稀疏统计特性的污染源，采用Lp伪范数能够更好地描述其稀疏特性。因此，该实施例中将Lp伪范数引入污染源去除模型。

(2)平稳帧小波变换

图2中，三个分析滤波器

组成分析滤波组，其中

是低通滤波器，

是高通滤波器。三个综合滤波器

组成综合滤波器组，其中h₀是低通滤波器，h₁和h₂是高通滤波器。

当输入信号f通过该系统时，分析滤波器组将其分解为三个子带，这个过程产生低频子带f_L、高频子带

和f_H2。这三个子带再通过综合滤波器合成输出信号

图3(a)中，输入信号F先通过一维列变换，然后对列变换获得的数据再进行一维行变换。最终得到输出信号F_LL、

其中L是低通滤波器，而H₁和H₂都是高通滤波器。

图3(b)中，九个输入信号先进行一维行变换，再对所获得的数据进行一维列变换。最终得到输出信号F。

由此可见，平稳帧小波变换具有良好的方向特征和尺度变换，因此平稳帧小波变换也是分析纹理卡通的有力手段。将平稳帧小波变换引入图像恢复的过程中，该变换有以下两个优点：①不用下采样；②不会出现块效应。

(3)MCA形态学分解

MCA形态学分解是指将任意的图像分解为两部分，分别是卡通部分和纹理部分。其中，卡通部分只包含了图像的大致轮廓，而纹理部分包含了图像轮廓的细节部分。

如图4所示，其中D是指二维平稳帧小波变换，F指恢复图像,N指的是污染源部分，F_C、F_T分别指图像的纹理部分和卡通部分。在处理数字图像中的恢复问题时，利用图像和污染源的不同特性，先进行污染源检测，将一幅被污染源污染的图像分解为图像部分和污染源部分，图像部分包含了纹理部分和卡通部分。对这两部分进行分解以后，由于其性质不同，分别对其进行不同处理，如压缩、恢复、识别、分类等工作。经过一系列处理后将会使图像边缘细节更加清晰、提高图像恢复质量，也会减轻计算机数据存储等。

2.利用交替乘子迭代法，引入辅助变量Q₀、Q₁、Q₂，令

并引入辅助变量Q₀、Q₁、Q₂对应的拉格朗日乘子

二次惩罚项和二次惩罚项系数λ₀、λ₁、λ₂，可以得到古籍图像恢复模型的目标函数为：

为求解目标函数，需要分别求解每个变量的子问题。

(1)F_C子问题求解，固定其他变量，则可得：

对上式进行配平方，则F_C子问题转化为：

令

得：

整理得：

其中，D^T表示帧小波逆变换。

因为

则上式又可整理为：

令x＝F_C，

则有A(x)＝b，再利用共轭梯度算法(Conjugate Gradient Method，CGM)求解，CGM算法如表1中的算法1所示。

表1

其中tol＝10^-4表示算法迭代停止阈值。

(2)F_T子问题求解：

类似地，采取配方法可得：

同理，令

得：

令x＝F_T，

再利用CGM算法求解式(10)中的F_T。

(3)Q₀子问题求解：

对上式配平方得：

由Lp收缩规则得：

(4)Q₁子问题求解：

经配平方后得：

由Lp收缩规则得：

(5)Q₂子问题求解：

经配平方后得：

由Lp收缩规则得：

(6)

子问题求解：

利用梯度上升法得：

其中，γ表示学习率参数。

(7)

子问题求解：

利用梯度上升法得：

(8)

子问题求解：

利用梯度上升法得：

综上所述，如图5所示，本实施例提出的基于MCA和Lp伪范数的古籍图像修复方法(简记为MCA_Lp)的整体流程如下：

步骤1、根据观测图像G计算其掩膜矩阵M；

步骤2、初始设定F_C、F_T、Q₀、Q₁、Q₂、

均为0；设定迭代次数k＝0，迭代次数阈值K；

步骤3、根据共轭梯度算法求解式(7)和式(10)，更新第k+1次迭代时图像的卡通部分

和纹理部分

步骤4、依次根据式(13)、式(16)、式(19)分别更新第k+1次迭代时的辅助变量

步骤5、依次根据式(21)、式(23)、式(25)分别更新第k+1次迭代时辅助变量

对应的拉格朗日乘子

步骤6、根据式(1)计算第k+1次迭代时的修复后图像F^(k+1)：

步骤7、判断

是否成立，其中，tol表示迭代停止阈值，如果成立，进入步骤9；否则，进入步骤8；

步骤8、判断k＝K是否成立，如果是，进入步骤9；否则，令k＝k+1，返回步骤3；

步骤9、输出第k+1次迭代的修复后图像F^(k+1)。

下面以一个具体的实例进行说明。

该实施例中以“道德经”为例，将其人为用单像素、2像素、3像素、4像素涂鸦后，再用MCA-Lp模型进行修复。其恢复流程图如图6所示，彩色污染图In先进入检测框，获取掩码矩阵M，分成R、G、B三通道分别进入MCA-Lp模型，恢复成Rr、Gr、Br后再合成恢复图Ir。

如图7所示，四种涂鸦图经过修补后，能很好地辨认出“道德经”中的黑体字，便于其阅读与研究工作。

表2所示为“道德经”的污染图与复原图的PSNR、SSIM、GMSD值，从中可以看出，复原图较污染图的图像指标均有大幅提升。由此可见，将MCA-Lp模型应用到古籍的复原中，可使其得到相对完整的恢复。通过本实施例算法的应用，可以使许多被岁月“摧残”的古籍得到复原。

表2

本发明实施例中，模型采用Lp伪范数来刻画污染源的稀疏特性，同时采取“先检测，后恢复”的策略，再引入MCA算法，将图像分解成卡通部分和纹理部分，两部分分别恢复，互不干扰。并且在修复过程中，为了区别污染源、有效提取有用信号，采用平稳帧小波变换的数学手段。

本实施例克服了传统古籍图像修复方法存在两个问题，即：

针对传统古籍图像修复方法中对污染源的稀疏统计特性刻画不够精确，且没有充分挖掘污染源的“位置信息”，因此无法很好地去除污染源的问题，本实施例中引入Lp伪范数对污染源统计特性进行数学建模，同时采取“先检测，后恢复”的策略，在进行图像恢复之前先检测污染源的位置，从而充分挖掘污染源的“位置信息”和“统计稀疏先验”，以获得良好的图像恢复性能。

针对传统图像修复方法常将被污染图像理解为污染源和图像之和，未把图像进一步精细化分解为低频成分和高频成分，导致恢复图像低频信号时易将图像高频纹理成分模糊，而恢复图像高频纹理成分时则不易将污染源去除的问题，本实施例引入形态学成分分析方法，将图像分解成两部分，分别、为卡通部分和纹理部分，利用平稳帧小波变换配合不同的正则化参数控制这两种成分的恢复，以确保两种成分恢复过程中不互相干扰。

实施例二：

本发明还提供一种古籍图像修复终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述古籍图像修复终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述古籍图像修复终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述古籍图像修复终端设备的组成结构仅仅是古籍图像修复终端设备的示例，并不构成对古籍图像修复终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述古籍图像修复终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述古籍图像修复终端设备的控制中心，利用各种接口和线路连接整个古籍图像修复终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述古籍图像修复终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述古籍图像修复终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (6)

1.一种古籍图像修复方法，其特征在于，包括以下步骤：

S1：构建基于形态学分解的古籍图像恢复模型：

其中，F表示修复后图像，G为待修复古籍图像，

为保真项，α₀为保真项系数，M为待修复古籍图像的掩码矩阵，D为二维一阶平稳帧小波变换，p₀、p₁、p₂均为Lp伪范数参数，α₁、α₂为稀疏正则化的系数；F_C为图像的卡通部分，F_T为图像的纹理部分；

S2：利用交替乘子迭代法，引入辅助变量Q₀、Q₁、Q₂，令

并引入辅助变量Q₀、Q₁、Q₂对应的拉格朗日乘子

二次惩罚项和二次惩罚项系数λ₀、λ₁、λ₂，将对步骤S1中公式的求解转换为对F_C、F_T、Q₀、Q₁、Q₂、

的求解；

S3：针对古籍图像恢复模型进行迭代训练，初始设定F_C、F_T、Q₀、Q₁、Q₂、

均为0，在每次迭代中，通过对F_C、F_T、Q₀、Q₁、Q₂、

分别求解来计算当前迭代的修复后图像F，进而计算

是否成立，其中，F^(k+1)表示第k+1次迭代时的修复后图像，F^(k)表示第k次迭代时的修复后图像，上标k表示第k次迭代，tol表示迭代停止阈值，如果成立，则输出当前迭代时的修复后图像F^(k+1)。

2.根据权利要求1所述的古籍图像修复方法，其特征在于：F_C、F_T根据共轭梯度算法对下式进行求解来更新：

其中，D^T表示帧小波逆变换。

3.根据权利要求1所述的古籍图像修复方法，其特征在于：辅助变量

依次根据下式进行更新：

4.根据权利要求1所述的古籍图像修复方法，其特征在于：辅助变量

对应的拉格朗日乘子

依次根据下式进行更新：

其中，γ表示学习率参数。

5.一种古籍图像修复终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任一所述方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～4中任一所述方法的步骤。

Images