CN103020917B - 一种基于显著性检测的中国古代书法绘画图像复原方法 - Google Patents

Abstract

本发明公开了一种基于显著性检测的中国古代书法绘画图像复原方法，该方法包括以下步骤：步骤A：对原始图像采用引导滤波增强处理以获得增强图像；步骤B：对步骤A所获得的增强图像，求取能够反映人眼注意力分布的显著性区域图及掩像图；步骤C：通过显著性区域图和掩像图确定步骤A获得的增强图像的前景和背景，并更换背景颜色以达到的复原目的。利用图像抠图公式中的掩图与大气散射模型表达式中的传播图在形式上一一对应的原理，通过求取散射模型表达式中的传播图以自动得到与已有传统抠图方法获取的掩像图效果相同的掩像图，解决了已有掩像图求取方法大多需人工指定图像的前、背景区域的问题，实现了图像复原的自动性、实时性。

Description

一种基于显著性检测的中国古代书法绘画图像复原方法

技术领域

本发明属于图像信息处理领域，具体涉及一种基于显著性检测的中国古代书法绘画图像复原方法。

背景技术

书法绘画作为中国优秀传统文化中的一个重要组成部分，以其特有的审美理念、表现形式和技巧技法而闻名世界。随着计算机技术的迅速发展，中国传统书法绘画艺术因之步入了数字化领域，由此也带来了一些新的问题。例如中国古代书法绘画的一个重要表现手法就是“留白”，即在作品中留下相应的空白，让人有所想象，品味无穷乐趣。但是由于这些艺术作品多用手工宣纸，因此作品中的留白处长期暴露在光线下就会逐渐发黄变色，同时作品所绘对象与留白处之间的对比度也会随之降低。此外，中国古代书法绘画的颜料主要来自矿物和植物，这些颜料会随着时间的流逝逐渐变淡甚至消失，因此古代书法绘画作品的颜色退化不可避免。由此可见，对中国古代书法绘画图像进行复原处理，对中国传统艺术文化的继承与传播具有十分重要的意义。

目前，针对该问题的处理方法主要有两种：一是采用由Soo-Chang Pei(贝苏章)等人提出的背景调整与饱和度增强方法(载于IEEE Transactions on Image Processing，2006年,第15卷，第10期)。该方法通过判断图像各像素与背景像素的相似度来消除留白处的像素色差，同时通过增强图像饱和度以恢复图像的色彩，取得了理想的复原效果。但是，该方法涉及六个参数需要根据图像的不同来人工手动调节，因而此算法的实用性较差。另一种方法是采用张加万等提出的多光谱图像抠图方法。对于这种方法的介绍，可以参考论文《MultispectralImage Matting of Ancient Chinese Paintings(中国古代绘画的多光谱抠图方法)》(载于32ndAnnual Conference of the European Association for Computer Graphics(EUROGRAPHICS)，2011年4月)。该方法的核心就在于利用由高清数码相机、光学滤光片、RALK7色卡等组成的光谱重建系统求解所建模型的相关参数以提取古代绘画图像的前景对象，但是此种方式成本代价高且需要人工参与。

对于提取图像的前景对象而言，最常采用图像抠图技术。该技术主要分为蓝屏抠图和自然抠图两类。蓝屏抠图要求图像的背景是蓝色或者绿色，中国书法绘画图像显然无法满足这一要求。而自然抠图通常要求用户在原图上交互地指定trimap(三分图)，即原图确定的前景区域、确定的背景区域和不确定区域以作为初始的输入信息。自然抠图法主要是在trimap的基础上进行优化。中国古代绘画多用宣纸、绢、丝绸等材质，所绘之物常常会因笔墨和颜料的扩散、渗透而呈现出半透明的状态。因此，在大多数情况下很难准确辨别trimap所要求的图像前、背景区域。

在此背景下，研究一种既成本代价小，又能自适应地提取图像的前景对象以对各种中国古代书法绘画图像进行复原的方法显得尤为重要。

发明内容

本发明所要解决的技术问题是提供一种基于显著性检测的中国古代书法绘画图像复原方法，克服掩像图计算时需要提前获知前景与背景的信息的难题，从而解决书法绘画作品因年代久远所造成的图像对比度降低及背景老化变色的问题。

本发明所采用的技术方案如下：

一种基于显著性检测的中国古代书法绘画图像复原方法，该方法包括以下步骤：

步骤A：对原始图像采用引导滤波增强处理以获得增强图像；

步骤B：对步骤A所获得的增强图像，求取能够反映人眼注意力分布的显著性区域图及掩像图；

步骤C：通过显著性区域图和掩像图进行线性加权得到融合图像，对融合图像进行归一化及二值化处理，确定步骤A获得的增强图像的前景和背景，并更换背景颜色以达到的复原目的；

其中，由于图像抠图中的掩像图和大气散射中的传播图计算表达式一致，利用引导滤波结合大气散射模型求取散射模型中的传播图来得到步骤B所求的掩像图，其具体步骤如下：

1)首先求取所述步骤A中获得的增强图像的暗原色图像J^dark(x,y)及大气光值A：

所述增强图像的暗原色图像J^dark(x,y)各像素点的像素值按以下表达式确定：

$J^{\mathrm{dark}}(x,y)=\underset{c\∈\{r,g,b\}}{\min }\left(\underset{(x^{\′},y^{\′})\∈\mathrm{\Ω}(x,y)}{\min }\left(I_c^{\mathrm{enhanced}}(x^{\′},y^{\′})\right)\right);$

其中，Ω(x,y)是以坐标为x,y的像素点为中心，进行最小值滤波的滤波窗口区域；x',y'为增强图像I^enhanced(x,y)的模板区域中各像素点的坐标值，为增强图像中各颜色通道由滤波模板所划分的各局部区域，暗原色图像中每一像素点的像素值被称为暗原色图像值；

再将上述暗原色图像值进行递减排序，选出暗原色图像值大小为前0.1％的像素点，从选出的像素点对应的亮度值中选取一个最大值作为大气光值，即为大气光值A；

2)求取初始掩像图：

按散射模型的推导模型确定传播图作为初始掩像图AlphaMap'(x,y)，大气散射模型的推导模型如下式：

$\mathrm{AlphaMa}{p}^{\′}(x,y)=1-C_1*\left(\frac{J^{\mathrm{dark}}(x,y)}{A}\right);$

其中，调节参数C₁的值为0.95；

3)求取精细化掩像图：对所述的初始掩像图AlphaMap'(x,y)进行引导滤波，在引导滤波的过程中，输入图像为初始掩像图AlphaMap'(x,y)，引导图像为增强图像I^enhanced(x,y)，调节参数ε设为0.01，经过引导滤波后得到边缘细节增强、对象层次分明的精细化掩像图AlphaMap(x,y)。

用图像抠图公式中的掩图与大气散射模型表达式中的传播图在形式上一一对应的原理，通过求取散射模型表达式中的传播图作为与利用已有传统抠图方法求取掩像图效果相同掩像图；

图像抠图公式为C＝alpha*F+(1-alpha)*B，其中C，F和B分别表示合成图像、前景图像和背景图像，alpha为掩像图；

大气散射模型公式I_f＝t*J+(1-t)A，其中I_f为原有雾图像，t为传播图，A为大气光，J为去雾后的图像；

掩像图是对待求图像中的每个象素点计算不透明程度所得到的图像；不透明程度是指每一个像素点的颜色值中所含前景颜色的百分比；

在具体计算中掩像图各点的像素值均被归一化到[0，1]的范围。若像素值越接近1，说明该像素点越有可能属于前景；若像素值越接近0，说明该像素点越有可能属于背景。

所述步骤A的具体处理过程如下：

1)计算滤波系数a_k和b_k，对原始图像采用引导滤波进行图像增强，a_k和b_k的求取过程如下：

$a_k=\frac{\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{(x,y)\∈{\mathrm{\ω}}_k}I(x,y)p(x,y)-u_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}}$

$b_k={\stackrel{\‾}{p}}_k-a_k{u}_k$

其中，I为引导图像，引导图像是滤波过程中的参考图像，它为输出图像提供细节增强和边缘保持的相关信息，使输出图像在细节及对象边缘方面与引导图像保持一致；原始图像作为输入图像p；

在对原图进行增强处理的过程中，引导图像I直接选取为输入图像p；

u_k为引导图像中第k个滤波窗口中像素的均值，σ_k为引导图像中第k个滤波窗口的像素的方差；

由于图像的每个象素对应一个滤波窗口，每个窗口又可求得一个上述均值或方差。因此对于一个大小为M*N*3的彩色图像，计算得到的a_k、b_k及q的大小也为M*N*3。

ε为防止a_k值过大的调节参数，ε的取值范围是0.01～0.03；ω_k为滤波窗口，u_k和σ_k分别为引导图像I在滤波窗口ω_k中的像素均值与方差，|ω|为滤波窗口ω_k中的像素数目，为输入图像p在窗口ω_k中的像素均值，

2)滤波输出图像计算；

滤波窗口ω_k的(a_k,b_k)值确定后，按下式确定引导滤波的输出图像各滤波窗口ω_k中每一像素(x,y)处的滤波输出q(x,y)：

$q(x,y)={\stackrel{\‾}{a}}_{k}I(x,y)+{\stackrel{\‾}{b}}_k;$

其中，和I(x,y)为引导图像为输入图像，即原始图像，q(x,y)为引导滤波的输出图像；

3)增强图像计算；

原始图像的增强图像按以下表达式确定：

I^enhanced(x,y)＝5×(p(x,y)-q(x,y))+q(x,y)；

其中(x,y)为图像每一像素点的坐标值，I^enhanced(x,y)为增强后的图像，p(x,y)为输入图像，q(x,y)为引导滤波输出图像。

所述步骤B中求取反映人眼注意力分布的显著性区域图的具体操作步骤如下：

1)采用归一化的高斯滤波核函数与增强图像I^enhanced(x,y)进行卷积后，得到高斯模糊图像I^blur(x,y)，其中所述高斯滤波核函数形式如下：

$G(x_0,y_0)=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-\frac{{(x_0-m-1)}^2+{(y_0-m-1)}^2}{2{\mathrm{\σ}}^2}};$

其中，(x₀,y₀)表示高斯滤波核中的各元素坐标，方差σ的值取为3，高斯卷积核的维数为N*N，N取值为3～5，m＝(N-1)/2；

对所求出的高斯滤波核函数G(x₀,y₀)进行归一化，做法是将G(x₀,y₀)中的每一个元素值除以所有元素值之和，从而得到该元素的归一化值，即归一化的高斯滤波核函数为G′(x₀,y₀)；

因高斯卷积核的维数设置为3*3，则m的取值为1；

同时，由于高斯低通滤波作为一种加权滤波，要求权系数之和必须为1，所以需要对所求出的高斯滤波核函数G(x₀,y₀)进行归一化，做法是将G(x₀,y₀)中的每一个元素值除以所有元素值之和，从而得到该元素的归一化值。

2)将所述的高斯模糊图像从RGB颜色空间转换至L^*a^*b^*颜色空间，该转换过程的数学形式如下：

$\left\{\begin{array}{c}{L}^{*}=0.2126R+0.7152G+0.0722B\\ a^{*}=1.4749\×(0.2213R-0.3390G+0.1177B)+128\\ b^{*}=0.6245\×(0.1949R+0.6057G-0.8006B)+128\end{array}\right.;$

其中高斯模糊图像的R、G、B颜色信息直接从高斯模糊图像中读取得到，在L^*a^*b^*颜色空间中，亮度信息用分量L^*来表示，彩色信息用两个色差分量a^*和b^*来存储，将这三个分量提取出来，得到亮度分量图像L^*(x,y)、a^*分量图像a^*(x,y)和b^*分量图像b^*(x,y)；

3)分别求取所述三个分量图像的均值和求取方式为将上述分量图像的像素值，即图像L^*(x,y)、a^*分量图像a^*(x,y)和b^*分量图像b^*(x,y)的像素值分别进行累加求和，再将此和值除以各分量图像的像素个数，反映人眼注意力分布的显著性区域图Saliency(x,y)中各像素点的值按以下表达式确定：

$\mathrm{Saliency}(x,y)=\left|\right|L_{L^{*}{a}^{*}{b}^{*}}^{\mathrm{blur}}(x,y)-{\stackrel{\‾}{I}}_{L^{*}{a}^{*}{b}^{*}}^{\mathrm{blur}}\left|\right|;$

其中，表示高斯模糊图像中任意像素点在L^*a^*b^*颜色空间三个分量图像的向量，为所述三个分量图像的均值向量，和这两个向量可表示为：

$L_{L^{*}{a}^{*}{b}^{*}}^{\mathrm{blur}}(x,y)=\left[\begin{array}{c}{L}^{*}(x,y)\\ a^{*}(x,y)\\ b^{*}(x,y)\end{array}\right],{\stackrel{\‾}{I}}_{L^{*}{a}^{*}{b}^{*}}^{\mathrm{blur}}\left[\begin{array}{c}{L}_m^{*}\\ a_m^{*}\\ b_m^{*}\end{array}\right];$

为计算欧式距离平方，即求取各变量差值的平方和，计算公式如下：

$S_m(x,y)={(L^{*}(x,y)-L_m^{*})}^2+{(a^{*}(x,y)-a_m^{*})}^2+{(b^{*}(x,y)-b_m^{*})}^2;$

将计算所获矩阵S_m(x,y)转化为灰度图像，此即为所述的显著性区域图Saliency(x,y)。

所述步骤C的具体处理过程如下：

1)将所述的显著性区域图Saliency(x,y)与精细化掩像图AlphaMap(x,y)的每一像素点的像素值进行线性加权，得到融合图像Fusion(x,y)，该处理过程的数学形式如下：

Fusion(x,y)＝Saliency(x,y)+C₂*AlphaMap(x,y)；

其中，C₂的取值范围为0.5～1；

2)将融合图像进行归一化处理及二值化处理，确定增强图像的前景和背景；

将融合图像中的各像素点的像素值除以255以转换到[0，1]这一区间范围，选取阈值0.5对该归一化后的融合图像进行二值化处理得到二值图像确定增强图像I^enhanced(x,y)中的前景和背景；

在经二值化处理所获取的二值图像中，白色像素表示前景对象，黑色像素表示图像的背景；

3)更换增强图像的背景颜色；

从增强图像中选取与白色像素的像素位置相同像素值，替代二值图像中白色像素对应像素位置上的像素值，同时将二值图像中黑色像素区域所代表的背景更换为白色，从而得到最终的复原图像R(x,y)，该处理过程的数学形式如下：

$R(x,y)=\left\{\begin{array}{ccc}{I}^{\mathrm{enhanced}}(x,y)& \mathrm{if}& I_{\mathrm{bw}}^{\mathrm{enhanced}}(x,y)=1\\ 255& \mathrm{if}& I_{\mathrm{bw}}^{\mathrm{enhanced}}(x,y)=0\end{array}\right.;$

所述引导滤波及最小值滤波所选取的滤波窗口半径大小的取值按下式确定：

其中，M、N分别为图像的长、宽大小，则滤波窗口大小为(2r_m+1)×(2r_m+1)，为向上取整操作。

有益效果

本发明公开了一种基于显著性检测的中国古代书法绘画图像复原方法，包括如下步骤：步骤A：对原始图像采用引导滤波增强处理以获得增强图像；步骤B：对步骤A所获得的增强图像，求取能够反映人眼注意力分布的显著性区域图及掩像图；步骤C：通过显著性区域图和掩像图确定步骤A获得的增强图像的前景和背景，并更换背景颜色以达到“以旧换新”的复原目的。该方法运行速度快，效果好，不仅成本代价低，而且不需要人工参与，具有很好的通用性，通过利用引导滤波增强原始图像，采用大气散射模型与图像抠图在形式上一一对应的原理，结合引导滤波得到掩像图，简单有效的解决了已有掩图求取方法大多需人工指定图像的前、背景区域的问题，从而实现了图像复原的自动性、实时性，可广泛应用于古代书法绘画图像的修复或图像的合成与编辑中。该方法还能够广泛应用于古代书法绘画图像的修复或图像的合成与编辑中。

附图说明

图1为本发明实施例中基于显著性检测的中国古代书法绘画图像复原方法的流程图；

图2为本发明实施例中获取显著性区域图像的流程图；

图3为实施例1的各步骤的处理效果图；其中，图a为原始图像，图b为增强处理后的效果图，图c为显著性区域图，图d为掩像图，图e为二值化效果图，图f为本发明方法的复原效果图；

图4为实施例2的各步骤的处理效果图；其中，图a为原始图像，图b为增强处理后的效果图，图c为显著性区域图，图d为掩像图，图e为二值化效果图，图f为本发明方法的复原效果图；

图5为实施例3的各步骤的处理效果；其中，图a为原始图像，图b为增强处理后的效果图，图c为显著性区域图，图d为掩像图，图e为二值化效果图，图f为本发明方法的复原效果图。

具体实施方式

下面结合附图对本发明做进一步说明：

实施例1：

本实施例是针对中国古代书法图像，如图1所示，其复原过程按如下三个步骤进行：

步骤A：对原始图像采用引导滤波增强处理以获得增强图像；

对原始图像采用引导滤波进行图像增强，a_k和b_k的计算公式如下：

$a_k=\frac{\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{(x,y)\∈{\mathrm{\ω}}_k}I(x,y)p(x,y)-u_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}}---\left(1\right)$

$b_k={\stackrel{\‾}{p}}_k-a_k{u}_k$

其中，引导图像I和输入图像p均为图3(a)，调节参数ε设为0.01。由于图3(a)的大小为513*668，则引导滤波窗口ω_k的大小为19*19。u_k和σ_k分别为图3(a)在ω_k中的像素均值与方差，|ω|为ω_k中的像素数目，为输入图像p在窗口ω_k中的像素均值，为图3(a)在ω_k中的像素均值。由此滤波输出q_i可按以下表达式确定：

$q(x,y)={\stackrel{\‾}{a}}_{k}I(x,y)+{\stackrel{\‾}{b}}_k---\left(2\right)$

其中，和则增强图像I^enhanced(x,y)按以下表达式确定：

I^enhanced(x,y)＝5×(p(x,y)-q(x,y))+q(x,y)   (3)

其中(x,y)为图像每一像素点的坐标值，由此即可得到增强图像如图3(b)所示。

步骤B：对步骤A所获得的增强图像，求取能够反映人眼注意力分布的显著性区域图及掩像图；

其中掩像图是对待求图像中的每个象素点计算不透明程度所得到的图像；不透明程度是指每一个像素点的颜色值中所含前景颜色的百分比；

在具体计算中掩像图各点的像素值均被归一化到[0，1]的范围。若像素值越接近1，说明该像素点越有可能属于前景；若像素值越接近0，说明该像素点越有可能属于背景。

求取显著性区域图的具体流程如图2所示，包括以下步骤：

首先，对增强图像图3(b)进行高斯低通滤波处理，由此即可得到其高斯模糊图像。

1)采用归一化的高斯滤波核函数与增强图像I^enhanced(x,y)进行卷积后，得到高斯模糊图像I^blur(x,y)，其中所述高斯滤波核函数形式如下：

$G(x_0,y_0)=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-\frac{{(x_0-m-1)}^2+{(y_0-m-1)}^2}{2{\mathrm{\σ}}^2}};$

其中，(x₀,y₀)表示高斯滤波核中的各元素坐标，方差σ的值取为3，高斯卷积核的维数为N*N，N取值为3～5，m＝(N-1)/2；

对所求出的高斯滤波核函数G(x₀,y₀)进行归一化，做法是将G(x₀,y₀)中的每一个元素值除以所有元素值之和，从而得到该元素的归一化值，即归一化的高斯滤波核函数为G′(x₀,y₀)；

本实例中高斯卷积核的维数设置为3*3，则m的取值为1；

同时，由于高斯低通滤波作为一种加权滤波，要求权系数之和必须为1，所以需要对所求出的高斯滤波核函数G(x₀,y₀)进行归一化，做法是将G(x₀,y₀)中的每一个元素值除以所有元素值之和，从而得到该元素的归一化值。

然后，将此高斯模糊图像从RGB颜色空间转换至L^*a^*b^*颜色空间，由此便可以将L^*、a^*、b^*三个分量提取出来，再分别求取所述三个分量图像的均值和则所述反映人眼注意力分布的显著性区域图Saliency(x,y)中各象素点的值按以下表达式确定：

$\mathrm{Saliency}(x,y)=\left|\right|L_{L^{*}{a}^{*}{b}^{*}}^{\mathrm{blur}}(x,y)-{\stackrel{\‾}{I}}_{L^{*}{a}^{*}{b}^{*}}^{\mathrm{blur}}\left|\right|---\left(4\right)$

其中，表示高斯模糊图像在L^*a^*b^*颜色空间中的三个分量图像向量，为所述三个分量图像的均值向量。|| ||为计算欧式距离平方。将计算所获矩阵转化为灰度图像，即可获得图3(b)的显著性区域图，如图3(c)所示。

求取反映图像各像素点不透明程度的掩像图的具体步骤如下：：

首先，求取增强图像图3(b)的暗原色图像及大气光值。图3(b)的暗原色图像各象素点的值按以下表达式确定：

$J^{\mathrm{dark}}(x,y)=\underset{c\∈\{r,g,b\}}{\min }\left(\underset{(x^{\′},y^{\′})\∈\mathrm{\Ω}(x,y)}{\min }\left(I_c^{\mathrm{enhanced}}(x^{\′},y^{\′})\right)\right)---\left(5\right)$

其中，Ω(x,y)是以坐标为x,y的像素点为中心，进行最小值滤波的模板区域，x',y'为模板区域中各像素点的坐标值，此处的模板大小同样为19*19，由此即可得到图3(b)的按原色图像。该暗原色图像中每一点的值被称为暗原色图像值，再将这些暗原色图像值按照递减的顺序排序，确定数值大小为前0.1％的点在暗原色图像中所处的位置，则这些位置所对应的增强图像区域中的最大亮度值，即为大气光值A。本实例A的取值为255。

在获得暗原色图像和大气光值后，按散射模型的推导模型确定传播图作为初始掩像图AlphaMap'(x,y)，大气散射模型的推导模型如下式：

$\mathrm{AlphaMa}{p}^{\′}(x,y)=1-C_1*\left(\frac{J^{\mathrm{dark}}(x,y)}{A}\right)---\left(6\right)$

其中，J^dark(x,y)为按原色图像，A为大气光值，AlphaMap'(x,y)为求取的初始掩像图，调节参数C₁的取值设为0.95。

最后，对所述的初始掩像图再次进行引导滤波。其中，输入图像为所求取的初始掩像图，引导图像为增强图像图3(b)，滤波窗口ω_k的大小为19*19，调节参数ε设为0.01。由此，即可得到边缘细节增强、对象层次分明的精细化掩像图，如图3(d)所示。

步骤C：通过显著性区域图和精细化掩像图确定步骤A获得的增强图像的前景和背景，并更换背景颜色以达到“以旧换新”的复原目的。

将所述的显著性区域图图3(c)与掩像图图3(d)的每一像素点的值进行线性加权，得到融合图像Fusion(x,y)，该处理过程的数学形式如下：

Fusion(x,y)＝Saliency(x,y)+C₂*AlphaMap(x,y)   (7)

其中，C₂的取值范围为0.5～1，本实例中C₂的取值为0.7。再对该融合图像进行二值化处理，得到表明图像前背景的二值图像，如图3(e)所示。最后将此二值图像中的白色像素用这些白色像素位置所对应的增强图像的相关像素替代，并更换黑色像素区域所代表的图像背景为白色，从而得到最终的复原图像，如图3(f)所示。该处理过程的数学形式如下：

$R(x,y)=\left\{\begin{array}{ccc}{I}^{\mathrm{enhanced}}(x,y)& \mathrm{if}& I_{\mathrm{bw}}^{\mathrm{enhanced}}(x,y)=1\\ 255& \mathrm{if}& I_{\mathrm{bw}}^{\mathrm{enhanced}}(x,y)=0\end{array}\right.---\left(8\right)$

实施例2：

对中国古代绘画图像图4(a)(大小为600*481)进行复原处理。首先将图4(a)在R、G、B三个颜色通道上分别采用大小为19*19的模板进行引导滤波，得到图4(a)的增强图像图4(b)。

然后，将此增强图像转换到L^*a^*b^*颜色空间，提取其三个分量，并分别计算这些分量所对应的均值。再按照式(4)求取增强图像图4(b)的显著性区域图，如图4(c)所示。此外，再将增强图像图4(b)在R、G、B三个颜色通道上分别采用大小为19*19的模板进行最小值滤波，将滤波后所得的三个图像对应像素点的最小值作为暗原色图像对应点的像素值，得到图4(b)的暗原色图。并通过此暗原色图像求得图4(b)的大气光A的值为255。然后按照式(6)确定初始掩像图，其中C₁的取值为0.95。对此初始掩像图再次进行模板大小为19*19的引导滤波即可得到精细化掩像图，如图4(d)所示。

最后，将求得的显著性区域图与精细化掩像图按照式(7)进行线性加权，其中C₂的取值为1。然后对该线性加权所得的融合图像进行二值化处理，得到表明图像前背景的二值图像，如图4(e)所示。同时将此二值图像中的白色像素用这些白色像素位置所对应的增强图像的相关像素替代，并更换黑色像素区域所代表的图像背景为白色，即可求得复原图像如图4(f)所示。

实施例3：

对中国古代绘画图像图5(a)(大小为287*286)进行复原处理。首先将图5(a)在R、G、B三个颜色通道上分别采用大小为11*11的模板进行引导滤波，得到图5(a)的增强图像图5(b)。

然后，将此增强图像转换到L^*a^*b^*颜色空间，提取其三个分量，并分别计算这些分量所对应的均值。再按照式(4)求取增强图像图5(b)的显著性区域图，如图5(c)所示。此外，再将增强图像图5(b)在R、G、B三个颜色通道上分别采用大小为11*11的模板进行最小值滤波，将滤波后所得的三个图像对应像素点的最小值作为暗原色图像对应点的像素值，得到图5(b)的暗原色图。并通过此暗原色图像求得图5(b)的大气光A的值为255。然后按照式(6)确定初始掩像图，其中C₁的取值为0.95。对此初始掩像图再次进行模板大小为11*11的引导滤波即可得到精细化掩像图，如图5(d)所示。

最后，将求得的显著性区域图与精细化掩像图按照式(7)进行线性加权，其中C₂的取值为1。然后对该线性加权所得的融合图像进行二值化处理，得到表明图像前背景的二值图像，如图5(e)所示。同时将此二值图像中的白色像素用这些白色像素位置所对应的增强图像的相关像素替代，并更换黑色像素区域所代表的图像背景为白色，即可求得复原图像如图5(f)所示。

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (3)

1.一种基于显著性检测的中国古代书法绘画图像复原方法，其特征在于，该方法包括以下步骤：

步骤A：对原始图像采用引导滤波增强处理以获得增强图像；

步骤B：对步骤A所获得的增强图像，求取能够反映人眼注意力分布的显著性区域图及掩像图；

步骤C：通过显著性区域图和掩像图进行线性加权得到融合图像，对融合图像进行归一化及二值化处理，确定步骤A获得的增强图像的前景和背景，并更换背景颜色以达到复原目的；

其中，由于图像抠图中的掩像图和大气散射中的传播图计算表达式一致，利用引导滤波结合大气散射模型求取散射模型中的传播图来得到步骤B所求的掩像图，其具体步骤如下：

1)首先求取所述步骤A中获得的增强图像的暗原色图像J^dark(x,y)及大气光值A：

所述增强图像的暗原色图像J^dark(x,y)各像素点的像素值按以下表达式确定：

其中，Ω(x,y)是以坐标为x,y的像素点为中心，进行最小值滤波的滤波窗口区域；x',y'为增强图像I^enhanced(x,y)的模板区域中各像素点的坐标值，为增强图像中各颜色通道由滤波模板所划分的各局部区域，暗原色图像中每一像素点的像素值被称为暗原色图像值；

再将上述暗原色图像值进行递减排序，选出暗原色图像值大小为前0.1％的像素点，从选出的像素点对应的亮度值中选取一个最大值作为大气光值，即为大气光值A；

2)求取初始掩像图：

按散射模型的推导模型确定传播图作为初始掩像图AlphaMap'(x,y)，大气散射模型的推导模型如下式：

其中，调节参数C₁的值为0.95；

3)求取精细化掩像图：对所述的初始掩像图AlphaMap'(x,y)进行引导滤波，在引导滤波的过程中，输入图像为初始掩像图AlphaMap'(x,y)，引导图像为增强图像I^enhanced(x,y)，调节参数ε设为0.01，经过引导滤波后得到边缘细节增强、对象层次分明的精细化掩像图AlphaMap(x,y)；

所述步骤A的具体处理过程如下：

1)计算滤波系数a_k和b_k，对原始图像采用引导滤波进行图像增强，a_k和b_k的求取过程如下：

其中，I为引导图像，引导图像是滤波过程中的参考图像，它为输出图像提供细节增强和边缘保持的相关信息，使输出图像在细节及对象边缘方面与引导图像保持一致；原始图像作为输入图像p；

在对原图进行增强处理的过程中，引导图像I直接选取为输入图像p；

u_k为引导图像中第k个滤波窗口中像素的均值，σ_k为引导图像中第k个滤波窗口的像素的方差；

ε为防止a_k值过大的调节参数，ε的取值范围是0.01～0.03；ω_k为滤波窗口，u_k和σ_k分别为引导图像I在滤波窗口ω_k中的像素均值与方差，|ω|为滤波窗口ω_k中的像素数目，为输入图像p在窗口ω_k中的像素均值，

2)滤波输出图像计算；

滤波窗口ω_k的(a_k,b_k)值确定后，按下式确定引导滤波的输出图像各滤波窗口ω_k中每一像素(x,y)处的滤波输出q(x,y)：

其中，和I(x,y)为引导图像为输入图像，即原始图像，q(x,y)为引导滤波的输出图像；

3)增强图像计算；

原始图像的增强图像按以下表达式确定：

I^enhanced(x,y)＝5×(p(x,y)-q(x,y))+q(x,y)；

其中(x,y)为图像每一像素点的坐标值，I^enhanced(x,y)为增强后的图像，p(x,y)为输入图像，q(x,y)为引导滤波输出图像；

所述步骤B中求取反映人眼注意力分布的显著性区域图的具体操作步骤如下：

1)采用归一化的高斯滤波核函数与增强图像I^enhanced(x,y)进行卷积后，得到高斯模糊图像I^blur(x,y)，其中所述高斯滤波核函数形式如下：

其中，(x₀,y₀)表示高斯滤波核中的各元素坐标，方差σ的值取为3，高斯卷积核的维数为N*N，N取值为3～5，m＝(N-1)/2；

对所求出的高斯滤波核函数G(x₀,y₀)进行归一化，做法是将G(x₀,y₀)中的每一个元素值除以所有元素值之和，从而得到该元素的归一化值，即归一化的高斯滤波核函数为G′(x₀,y₀)；

2)将所述的高斯模糊图像从RGB颜色空间转换至L^*a^*b^*颜色空间，该转换过程的数学形式如下：

其中高斯模糊图像的R、G、B颜色信息直接从高斯模糊图像中读取得到，在L^*a^*b^*颜色空间中，亮度信息用分量L^*来表示，彩色信息用两个色差分量a^*和b^*来存储，将这三个分量提取出来，得到亮度分量图像L^*(x,y)、a^*分量图像a^*(x,y)和b^*分量图像b^*(x,y)；

3)分别求取所述三个分量图像的均值和求取方式为将上述分量图像的像素值，即图像L^*(x,y)、a^*分量图像a^*(x,y)和b^*分量图像b^*(x,y)的像素值分别进行累加求和，再将此和值除以各分量图像的像素个数，反映人眼注意力分布的显著性区域图Saliency(x,y)中各像素点的值按以下表达式确定：

其中，表示高斯模糊图像中任意像素点在L^*a^*b^*颜色空间三个分量图像的向量， 为所述三个分量图像的均值向量，和这两个向量可表示为：

为计算欧式距离平方，即求取各变量差值的平方和，计算公式如下：

将计算所获矩阵S_m(x,y)转化为灰度图像，此即为所述的显著性区域图Saliency(x,y)。

2.根据权利要求1所述的基于显著性检测的中国古代书法绘画图像复原方法，其特征在于，所述步骤C的具体处理过程如下：

1)将所述的显著性区域图Saliency(x,y)与精细化掩像图AlphaMap(x,y)的每一像素点的像素值进行线性加权，得到融合图像Fusion(x,y)，该处理过程的数学形式如下：

Fusion(x,y)＝Saliency(x,y)+C₂*AlphaMap(x,y)；

其中，C₂的取值范围为0.5～1；

2)将融合图像进行归一化处理及二值化处理，确定增强图像的前景和背景；

将融合图像中的各像素点的像素值除以255以转换到[0，1]这一区间范围，选取阈值0.5对该归一化后的融合图像进行二值化处理得到二值图像确定增强图像I^enhanced(x,y)中的前景和背景；

在经二值化处理所获取的二值图像中，白色像素表示前景对象，黑色像素表示图像的背景；

3)更换增强图像的背景颜色；

从增强图像中选取与白色像素的像素位置相同像素值，替代二值图像中白色像素对应像素位置上的像素值，同时将二值图像中黑色像素区域所代表的背景更换为白色，从而得到最终的复原图像R(x,y)，该处理过程的数学形式如下：

3.如权利要求1或2所述的基于显著性检测的中国古代书法绘画图像复原方法，其特征在于，所述引导滤波及最小值滤波所选取的滤波窗口半径大小的取值按下式确定：

滤波窗口半径

其中，M、N分别为图像的长、宽大小，则滤波窗口大小为(2r_m+1)×(2r_m+1)，为向上 取整操作。