CN103971338A - 一种基于显著图的可变块图像修复方法 - Google Patents

Abstract

一种基于显著图的可变块图像修复方法，包括：1)、利用模拟生物体视觉注意机制的选择性注意模型，生成待修复图像的显著图；2)、计算未知区域边界上的各点为中心的块内的可信度、结构信息及显著度项，获得修复优先级；并以优先级最高的点为中心的块作为待修复块；3)、根据待修复块周围已知的像素均值、梯度及显著度变化调整块大小；4)、在已知区域搜索最匹配的块来填充待修复块内的像素；并更新修复像素的可信度和显著度；循环步骤2)-4)直至图像修复毕。其利用待修复图像的显著信息改进修复的优先级，大大缓解了传统修复的贪婪问题；同时能根据待修复区域周围环境调整块大小，满足不同的修复需求。

Description

一种基于显著图的可变块图像修复方法

技术领域

本发明属于计算机视觉、计算机图形学领域，特别涉及一种基于显著图的可变块图像修复方法。

技术背景

图像修补技术具有广泛的应用领域，主要包括受损照片修复和数字视觉特效两大方面。由于保管条件或人为等种种因素，一些具有极高的收藏价值和历史价值的美术作品或老照片出现裂痕和划痕，因此对这些文物和数据进行修复具有十分重要的意义。通过数字图像修补技术，只需确定待修复的区域，计算机就可以按照指定的算法进行修复，避免了手工修复耗费的大量时间。同时，在数字视觉特效制作和虚拟现实领域方面的应用主要涉及物体的移除和场景编辑。具体应用包括对获取的场景照片中的闯入者或者固定遮挡物的移除。

图像修复的问题可以如下概括：给定一幅图像，可能有残缺部分或者有需要移除的部分,然后以一种符合视觉需求的方式填补待修复区域。尽管图像修复的问题看起来简单，但是要使修复后的图像尽如人意却是非常之难。近些年涌现出大量的图像修补算法，而其大概可以归为三类：基于统计的方法，基于偏微分方程的方法，基于块的方法。

基于统计的方法主要用在纹理合成上，通过参数统计模型提取输入纹理的统计数据，再调整输出图像直到其统计数据与输入相匹配。这类方法的主要缺点是其统计模型只适用于纹理合成，对包含结构信息的图像修复效果不佳。基于偏微分方程的方法将图像修补看作是将空洞周围已知像素作为边界条件下的偏微分方程或变分求解问题，因此图像修补变成已知信息向丢失信息区域的扩散过程。基于偏微分方程的方法可以很好的保存结构信息，然而在处理较大信息丢失区域或者纹理丰富的图片时，会产生模糊的修补结果。

而至今为止修复效果最好一类的就是基于块的方法，这些方法以块为单位，通过复制已知区域的内容到未知区域来实现修复。然而这些方法受限于两点：其修复的贪婪性和块大小选择对修复效果的影响。尽管已有一些基于全局最优的方法试图解决其贪婪性，然而结果表明这些方法只是减轻其贪婪性，同时带来了大量的计算复杂度。同样的，在块大小选择的问题上，如果块选择过小，则不能充分考虑局部的纹理特性，如果块选择过大则可能导致块内包含过多结构信息，不利于修复。同时，块过大也易受视差和小角度旋转的影响。一般方法都是人为的选择比能包含已知区域最大可分辨纹理的块大小，而很多情况下同样的块大小不能满足所有未知区域修复的要求。

本发明在基于块的方法基础上，利用显著信息减轻修复过程中的贪婪问题，同时根据待修复区域周围环境选择块大小以满足不同的修复需求。

发明内容

为了克服现有数字图像修补技术存在的上述问题，本发明提供一种基于显著图的可变块图像修复方法，其根据待修复图像的已知区域信息修复未知区域得到视觉上合理的修复图像，以待修复图像的显著信息来改进修复的优先级，缓解修复过程中的贪婪问题，同时可以根据块周围的环境调整块大小以满足不同的修复需求。

本发明提供的基于显著图的可变块图像修复方法，包括以下步骤：

1)、输入含有已知区域及未知区域的待修复图像，利用模拟生物体视觉注意机制的选择性注意模型，根据像素点颜色、亮度、方向特征与周边背景特征的对比，得到待修复图像所有点的显著度构成一张显著图；

2)、确定未知区域边界上的点的修复优先级，分别计算每一点为中心的块内的可信度——已知像素百分比，结构信息及显著度项，将三者的乘积作为修复优先级；并选出优先级最高的点为中心的块作为待修复块；

3)、在待修复块周围不同像素大小(如5*5，7*7，…，17*17)的块中，找出相邻的块之间已知的像素均值、梯度及显著度变化最大的相邻块，调整待修复块的大小为该相邻块中较小块的大小(即选择该相邻块中较小块的大小作为待修复块的大小)；使调整后的待修复块与该相邻块中较大块内已知的像素均值、梯度及显著度变化最大；

4)、依据待修复块内像素颜色值及平均显著度，在已知区域搜索最匹配的块来填充待修复块内的像素；然后根据匹配代价更新已修复像素的可信度，并利用该匹配块内平均显著度更新修复像素的显著度；其中，该匹配代价是待修复块与搜索到的最匹配块内像素颜色值的欧氏距离和显著度的差的绝对值；

循环重复步骤2)-4)，直至填满待修复图像的未知区域内的所有像素。

上述图像修复方法中，采用的一种待修复图像的显著图生成方法，包括以下步骤：

(11)先将待修复图像表示成9层的高斯金字塔，其中第0层是待修复图像，1-8层分别是用5*5的高斯滤波器对待修复图像进行滤波和采样形成的图像，大小分别为待修复图像的1/2到1/256；并分别提取高斯金字塔每一层的亮度I、红色R、绿色G、蓝色B、黄色Y及方向O特征，形成特征金字塔；同时对各种特征分别在特征金字塔的不同尺度间作差；

(12)把上述得到的每一个特征图归一化到区间[01]，然后分别把每一种归一化后的特征图逐点求和，得到对应于每一种特征的显著图,综合所有特征的显著性，得到对应于待修复图像的显著图。

步骤(11)中，所述亮度I、红色R、绿色G、蓝色B、黄色Y特征公式分别为：

I＝(r+g+b)/3

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r+g)/2

Y＝(r+g)/2-|r-g|/2-b

其中，r,g,b分别对应待修复图像的红、绿、蓝三通道；

所述方向O特征由方向Gabor滤波O(σ,θ)对金字塔σ∈[0..8]和方向θ∈{0°,45°,90°,135°}分别滤波得到；

步骤(12)归一化之前,进一步可对每个特征图分别用二维高斯差函数进行卷积，并把卷积结果叠加回原特征图，使同种特征以侧抑制的方式在空间上竞争，卷积和迭代过程进行2-5次，以消除干扰噪声突出显著部分。

本发明是传统基于块修复技术的一种改进图像修复方法，其利用待修复图像的显著信息改进修复的优先级，大大缓解了修复过程中的贪婪问题；同时能根据待修复区域周围环境调整块大小，满足不同的修复需求。

修复算法基本自动化运行，需要很少的人工干预，特别适合于修复出现裂痕或缺损的具有极高收藏价值美术作品、老照片。

附图说明

图1为本发明方法总流程图；

图2为采用本发明方法的修复实例1效果图；

图3a、3b为采用本发明方法的修复实例2结果图和原图。

具体实施方式

以下结合附图及实例本发明基于显著图的可变块图像修复方法作详细说明。

参照图1，基于显著图的可变块图像修复方法包括以下步骤：

1)、输入待修复图像生成已知区域显著图，如图2中的(a)所示修复前原图，Ω表示未知区域，Φ表示已知区域。

(11)、特征的提取：先把待修复图像表示成9层的高斯金字塔。其中第0层是输入图像，1到8层分别是用5*5的高斯滤波器对输入图像进行滤波和采样形成的图像，大小分别为输入图像的1/2到1/256。然后对金字塔每一层分别提取各种特征:亮度I、红色R、绿色G、蓝色B、黄色Y及方向O特征，形成特征金字塔。

方向特征由方向Gabor滤波O(σ,θ)对金字塔σ∈[0..8]和方向θ∈{0°,45°,90°,135°}分别滤波得到。其他特征公式如下：

I＝(r+g+b)/3

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r+g)/2

Y＝(r+g)/2-|r-g|/2-b

r,g,b分别对应待修复图像的红绿蓝三通道。

同时对各种特征分别在特征金字塔的不同尺度间作差。作差得到的是中心(尺度c)和外周(尺度s)的特征的对比，表示中心和外周的局部方向特征的对比。

(12)、显著图生成：把每一个上述得到的特征图归一化到区间[01]，以消除和特征相关的幅度差别。为了消除干扰噪声突出显著部分，对每个特征图M分别用二维高斯差函数进行卷积，并把卷积结果叠加回原特征图，使同种特征以侧抑制的方式在空间上竞争。卷积和迭代过程进行2-5次，这样可以让少数几个最显著的点均匀分布在整个特征图上，从而每个特征图上只保留少数的几个显著点，在叠加多个特征图时能把多种显著特征的点突现出来。接下来分别把每一种归一化后的特征图逐点求和(采样到第4尺度)，得到对应于每一种特征的显著图,综合所有特征的显著性，就得到对应于待修复图像的显著图S[如图2中的(b)图)。

2)、对未知区域边界上的点p，分别计算以p点为中心、9×9像素块内可信度C(p)、结构信息D(p)及显著度项S(p)，

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|}$

│Ψ_p│是块Ψ_p的面积，q是块Ψ_p内的已知像素点。修补过程开始时初始化使带填补区域的p点C(p)＝0，而已知区域的p点C(p)＝1。

$\text{D}\left(p\right)=\frac{|\▿I_p^{\⊥}\·n_p|}{\mathrm{\α}}$

是输入图像的灰度级数，n_p是垂直于边界的单位向量，是图像的梯度，⊥是正交算子，即是等照度线到达边界时的强度。

$S\left(p\right)=\frac{\stackrel{\‾}{\mathrm{Saliency}\left(p\right)}}{\stackrel{\‾}{\mathrm{Saliency}\left(p\right)}+{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}{(\mathrm{Saliency}\left(q\right)-\stackrel{\‾}{\mathrm{Saliency}\left(p\right)})}^2}$

Saliency(p)是p点的显著度，是以p点为中心的块内平均显著度。

然后，将获得的可信度C(p)、结构信息D(p)及显著度项S(p)代入下式

P(p)＝C(p)D(p)S(p)

求积得p点的修复优先级P(p)。

选择优先级P(p)最高的点为中心的块作为当前待修复块。

3)、如下式选择合适的块大小L(p)，使L(p)大小的待修复块与(L(p)+2)大小的块内已知的像素均值、梯度及显著度变化最大：

$L\left(p\right)=\arg \underset{L\left(p\right)\∈R}{\max }\left\{{\mathrm{\β}}_1\right|{\mathrm{\μ}}_{L\left(p\right)}-{\mathrm{\μ}}_{L\left(p\right)+2}|+{\mathrm{\β}}_2|\frac{\mathrm{sum}\left({\▿}_{L\left(p\right)}\right)}{N_{L\left(p\right)}}-\frac{\mathrm{sum}\left({\▿}_{L\left(p\right)+2}\right)}{N_{L\left(p\right)+2}}|+{\mathrm{\β}}_3|\frac{\mathrm{sum}\left({\mathrm{sal}}_{L\left(p\right)}\right)}{N_{L\left(p\right)}}-\frac{\mathrm{sum}\left({\mathrm{sal}}_{L\left(p\right)+2}\right)}{N_{L\left(p\right)+2}}\left|\right\}$

β₁、β₂、β₃分别是归一化因子，在我们的实验中分别取1,0.1,0.1；μ_L(p)、μ_L(p)+2分别是块大小为L(p)和(L(p)+2)的块内颜色均值，相应的N_L(p)、N_L(p)+2，sum(sal_L(p))、sum(sal_L(p)+2)分别是块大小为L(p)和(L(p)+2)的块内梯度值和，块内像素点个数和块内显著度值的和。R是块大小变化范围，一般设R＝5,7,…,17。

4)、依据块内像素颜色值及平均显著度，在已知区域搜索最匹配的块Ψ_q，填充待修复块内的像素；修复完成后根据匹配代价更新修复像素的可信度，并利用匹配块内平均显著度更新修复像素的显著度。其中，匹配代价是待修复块与搜索到的最匹配块Ψ_q内像素颜色值的欧氏距离和显著度的差的绝对值。

(41)、搜索匹配块：

$\begin{array}{c}{\mathrm{\Ψ}}_{\hat{q}}\text{=arg}\underset{{\mathrm{\Ψ}}_q\∈\mathrm{\Φ}}{\min }d({\mathrm{\Ψ}}_{\hat{p}},{\mathrm{\Ψ}}_q)\\ =\arg \underset{{\mathrm{\Ψ}}_q\∈\mathrm{\Φ}}{\min }\{{\left|\right|{\mathrm{\Ψ}}_{\hat{p}}{-\mathrm{\Ψ}}_q\left|\right|}_2+\mathrm{\α}|\mathrm{Sal}\left({\mathrm{\Ψ}}_{\hat{p}}\right)-\mathrm{Sal}\left({\mathrm{\Ψ}}_q\right)\left|\right\}\end{array}$

其中，||·||₂是块与块Ψ_q中已知像素的欧式距离，第二项描述了块与块Ψ_q已知像素显著度之间的差的绝对值，α用来调整两项之间的权重，α取0.01。

(42)、更新过程：

已修补像素可信度如下式更新为：

$\begin{array}{cc}C\left(p\right)=C\left(\hat{p}\right)*e^{-d({\mathrm{\Ψ}}_{\hat{p}},{\mathrm{\Ψ}}_{\hat{q}})}& \∀p\∈{\mathrm{\Ψ}}_{\hat{p}}\∩\mathrm{\Ω}\end{array}$

是块与块Ψ_q的匹配代价，即在可信度更新过程中考虑匹配的相似度。

已修补像素显著度如下式更新为：

$\begin{array}{cc}\mathrm{Sal}\left(p\right)=\stackrel{\‾}{\mathrm{Sal}\left(\hat{q}\right)}& \∀p\∈{\mathrm{\Ψ}}_{\hat{p}}\∩\mathrm{\Ω}\end{array}$

即更新显著度为匹配块的平均显著度。

循环重复步骤2)-4)，直至填满待修复图像的未知区域内的所有像素。

图2为采用本发明方法的修复实例1效果图。图2中，(a)为修复前原图，Ω表示未知区域(或目标区域,Target Area)，Φ表示已知区域(Source Area)。(b)对应的显著图；(c)-(g)分别为经4次、100次、200次、300次、450次迭代后的修复效果图；(h)为最终的修复结果图，显示未知区域Ω已被修复好。

图3a、3b为采用本发明方法的修复实例2结果图和原图，图3a结果图清晰显示原图3b中周边缺损的未知部分均理想修复。

Claims (7)

1.一种基于显著图的可变块图像修复方法，包括以下步骤：

1)、输入含有已知区域及未知区域的待修复图像，利用模拟生物体视觉注意机制的选择性注意模型，根据像素点颜色、亮度、方向特征与周边背景特征的对比，得到待修复图像所有点的显著度构成一张显著图；

2)、确定未知区域边界上的点的修复优先级，分别计算每一点为中心的块内的可信度——已知像素百分比，结构信息及显著度项，将三者的乘积作为修复优先级；并选出优先级最高的点为中心的块作为待修复块；

3)、在待修复块周围不同像素大小的块中，找出相邻的块之间已知的像素均值、梯度及显著度变化最大的相邻块，调整待修复块的大小为该相邻块中较小块的大小；

4)、依据待修复块内像素颜色值及平均显著度，在已知区域搜索最匹配的块来填充待修复块内的像素；然后根据匹配代价更新已修复像素的可信度，并利用该匹配块内平均显著度更新修复像素的显著度；

循环重复步骤2)-4)，直至填满待修复图像的未知区域内的所有像素。

2.如权利要求1所述的图像修复方法，其特征是，所述步骤1)显著图的生成方法是：

(11)先把待修复图像表示成9层的高斯金字塔，其中第0层是待修复图像，1-8层分别是用5*5的高斯滤波器对待修复图像进行滤波和采样形成的图像，大小分别为待修复图像的1/2到1/256；并分别提取高斯金字塔每一层的亮度I、红色R、绿色G、蓝色B、黄色Y及方向O特征，形成特征金字塔；同时对各种特征分别在特征金字塔的不同尺度间作差；

(12)把上述得到的每一个特征图归一化到区间[01]，然后分别把每一种归一化后的特征图逐点求和，得到对应于每一种特征的显著图,综合所有特征的显著性，得到对应于待修复图像的显著图。

3.如权利要求2所述的图像修复方法，其特征是，步骤(11)中所述亮度I、红色R、绿色G、蓝色B、黄色Y特征公式分别为：

I＝(r+g+b)/3

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r+g)/2

Y＝(r+g)/2-|r-g|/2-b

其中，r,g,b分别对应待修复图像的红、绿、蓝三通道；

所述方向O特征由方向Gabor滤波O(σ,θ)对金字塔σ∈[0..8]和方向θ∈{0°,45°,90°,135°}分别滤波得到。

4.如权利要求2所述的图像修复方法，其特征是，步骤(12)归一化之前,进一步对每个特征图分别用二维高斯差函数进行卷积，并把卷积结果叠加回原特征图，使同种特征以侧抑制的方式在空间上竞争，卷积和迭代过程进行2-5次，以消除干扰噪声突出显著部分。

5.如权利要求2所述的图像修复方法，其特征是，步骤2)中所述点的修复优先级确定方法如下：

设p点为未知区域边界上的点，以算式P(p)＝C(p)D(p)S(p)计算p点的修复优先级P(p)，其中C(p)、D(p)、S(p)分别为以p点为中心、9×9像素块内的可信度、结构信息及显著度项；

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|}$

│Ψ_p│是块Ψ_p的面积，q是块Ψ_p内的已知像素点；

$\text{D}\left(p\right)=\frac{|\▿I_p^{\⊥}\·n_p|}{\mathrm{\α}}$

是输入图像的灰度级数，n_p是垂直于边界的单位向量，是图像的梯度，⊥是正交算子，即是等照度线到达边界时的强度；

$S\left(p\right)=\frac{\stackrel{\‾}{\mathrm{Saliency}\left(p\right)}}{\stackrel{\‾}{\mathrm{Saliency}\left(p\right)}+{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}{(\mathrm{Saliency}\left(q\right)-\stackrel{\‾}{\mathrm{Saliency}\left(p\right)})}^2}$

Saliency(p)是p点的显著度，是以p点为中心的块内平均显著度。

6.一种待修复图像的显著图生成方法，其特征是包括以下步骤：

(11)先将待修复图像表示成9层的高斯金字塔，其中第0层是待修复图像，1-8层分别是用5*5的高斯滤波器对待修复图像进行滤波和采样形成的图像，大小分别为待修复图像的1/2到1/256；并分别提取高斯金字塔每一层的亮度I、红色R、绿色G、蓝色B、黄色Y及方向O特征，形成特征金字塔；同时对各种特征分别在特征金字塔的不同尺度间作差；

(12)把上述得到的每一个特征图归一化到区间[01]，然后分别把每一种归一化后的特征图逐点求和，得到对应于每一种特征的显著图,综合所有特征的显著性，得到对应于待修复图像的显著图。

7.如权利要求6所述的方法，其特征是，步骤(11)中所述亮度I、红色R、绿色G、蓝色B、黄色Y特征公式分别为：

I＝(r+g+b)/3

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r+g)/2

Y＝(r+g)/2-|r-g|/2-b

其中，r,g,b分别对应待修复图像的红、绿、蓝三通道；

所述方向O特征由方向Gabor滤波O(σ,θ)对金字塔σ∈[0..8]和方向θ∈{0°,45°,90°,135°}分别滤波得到；

步骤(12)归一化之前,进一步对每个特征图分别卷积，并把卷积结果叠加回原特征图，使同种特征以侧抑制的方式在空间上竞争，卷积和迭代过程进行2-5次，以消除干扰噪声突出显著部分。