CN101093579A - 破损图像数字化修复的新方法 - Google Patents

Abstract

一种破损图像数字化修复的新方法，其步骤如下：[1]将一幅待修复的图像记为I，并通过图像分割方法或人工交互方法确定出图像中的破损区域。根据图像I的未破损和破损区域生成一幅二值图像，其中图像I的未破损区域所对应的部分标记为Ω；[2]使用结构元素E对二值图像作数学形态学腐蚀运算，得到腐蚀的二值图像ε_E(Ω)；[3]计算腐蚀图像ε_E(Ω)的边界

[ε_E(Ω)]上的所有点的局部变化率，方法如下：设图像I具有n个分量，计算图像I的结构张量G；[4]用结构元素E对区域Ω作膨胀运算，得到区域δ_E(Ω)；令dΩ＝δ_E(Ω)－Ω表示当前待修复的区域，则对于任意点x^*∈dΩ，按照预定步骤进行修复；[5]令ε_E(Ω)＝Ω，Ω＝δ_E(Ω)，并返回第[3]步，直到图像I中所有的破损点被修复完毕。该方法修复效率高，速度快。

Description

破损图像数字化修复的新方法

(一)、技术领域：

涉及一种图像数据处理的方法，尤其是能将局部破损的图像通过数字化技术进行修复的方法。

(二)、背景技术：

图像修复(Image Inpainting)是对档案、古画、影片的数字化修复技术：通过拍照、扫描、模/数转换等方式将它们变成数字图像之后，再利用计算机进行修复。修复的标准是尽量看不出有处理过的痕迹。常用的修复方法主是纯手工的方法，对数字图像使用Photoshop等软件作处理，逐步涂抹破损区域，这个处理过程效率很低。目前国际上研究了一些自动处理的方法，公知的主要有两类，一类是基于偏微分方程的方法，使用某些平滑性假设把修复问题归结为解偏微分方程问题，这类方法的缺点是只能修复小的和细长的区域，对于宽大的破损区域，修补后会出现过度平滑的效应，留有明显的痕迹，效果不佳。另一类是基于纹理合成的修复方法，在图像中自动搜索一块合适的纹理，将其复制到破损区域，但这个搜索的过程相当费时，导致这类方法的修复速度很慢。

(三)、发明内容：

为了克服现有图像修复方法速度慢、效率低，以及无法修复宽大区域的缺点，本发明的目的是提供一种新的图像修复方法，该方法不仅可以修复宽大的破损区域，而且运算速度快，比基于纹理合成的方法大约快100倍。

本发明解决其技术问题所采用的技术方案如下：

本发明一种破损图像数字化修复的新方法，该方法的步骤如下：

[1]、将一幅待修复的图像记为I，并通过一些公知的图像分割方法或人工交互方法确定出图像中的破损区域。根据图像I的未破损和破损区域生成一幅二值图像，其中图像I的未破损区域所对应的部分标记为Ω。

[2]、使用结构元素E对二值图像作数学形态学腐蚀运算，得到腐蚀的二值图像ε_E(Ω)。

[3]、计算腐蚀图像ε_E(Ω)的边界[ε_E(Ω)]上的所有点的局部变化率，方法如下：设图像I具有n个分量(n＝1时I为灰度图像，n＝3时I为RGB彩色图像)，首先通过下式计算图像I的结构张量G，

$G=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\▿I_i\▿I_i^T,$

式中I_i表示图像的第i个分量，I_i是该分量的梯度，可以用公知的中心差分方法来计算。然后通过下面的特征值分解求出张量G的特征方向和特征值，

$G=\left[\begin{array}{cc}{\mathrm{\θ}}_{+}& {\mathrm{\θ}}_{-}\end{array}\right]\left[\begin{array}{cc}{\mathrm{\λ}}_{+}& 0\\ 0& {\mathrm{\λ}}_{-}\end{array}\right]\left[\begin{array}{c}{{\mathrm{\θ}}_{+}}^T\\ {{\mathrm{\θ}}_{-}}^T\end{array}\right]$

其中θ₊是较大的特征值λ₊所对应的特征向量，它可以定义为图像I在给定点的局部变化率。

[4]、用结构元素E对区域Ω作膨胀运算，得到区域δ_E(Ω)。令dΩ＝δ_E(Ω)-Ω表示当前待修复的区域，则对于任意点x^*∈dΩ，按照以下步骤进行修复(参见图1)：

(4.1)、寻找[ε_E(Ω)]上与x^*距离足够接近的点，即寻找点的集合

N(x^*)＝{x∈[ε_E(Ω)]∶‖x-x^*‖≤r}，    (1)

其中r是一个预定义的搜索半径。r的取值要考虑搜索速度和搜索精度的折中。

(4.2)、使用下列公式计算集合N(x^*)中的一个最佳点x₀：

$x_0=\arg \min \{\frac{|{\mathrm{\θ}}_{+}\left(x\right)\·(x^{*}-x)|}{\left|\right|x^{*}-x\left|\right|}+\frac{\mathrm{\α}}{\sqrt{{\mathrm{\λ}}_{+}\left(x\right)}},x\∈N\left(x^{*}\right)\},---\left(2\right)$

其中α是一个大于零的参数。该式的涵义是确保在点x₀处直线x^*-x₀与特征方向θ₊(x₀)之间接近垂直，同时确保特征值λ₊(x₀)为最大。

(4.3)、定义点x_m＝(x^*+x₀)/2，使用下式修复破损点x^*处的像素值：

$I\left(x^{*}\right)=\left\{\begin{array}{cc}2I\left(x_m\right)-I\left(x_0\right),& x_m\&Element;\mathrm{\&Omega;and}\left|\right|\mathrm{\&Delta;I}\left|\right|<\mathrm{\&epsiv;},\\ 2I\left(x_m\right),& x_m\&Element;\mathrm{\&Omega;and}\left|\right|\mathrm{\&Delta;I}\left|\right|\&GreaterEqual;\mathrm{\&epsiv;},\\ I\left(x_0\right),& x_m\&NotElement;\mathrm{\&Omega;},\end{array}\right.---\left(3\right)$

其中‖ΔI‖＝‖I(x_m)-I(x₀)‖，Ω仍然表示未破损的图像区域，ε是一个正参数。

[5]、令ε_E(Ω)＝Ω，Ω＝δ_E(Ω)，并返回第3步，直到图像I中所有的破损点被修复完毕。

上述步骤中所涉及的符号涵义归纳说明如下：

I          待修复的图像

Ω         图像I中未破损的区域

E          数学形态学的结构元素

ε_E(Ω)    由结构元素E对区域Ω作腐蚀运算的结果

[ε_E(Ω)]区域ε_E(Ω)的边界

G          图像I的结构张量

I_i         表示图像I的第i个分量

I_i       I_i分量的梯度

λ₊，λ_-   结构张量G的两个特征值，λ₊≥λ_-

θ₊，θ_-   特征值λ₊和λ_-所对应的特征向量

δ_E(Ω)    由结构元素E对区域Ω作膨胀运算的结果

dΩ        当前迭代中待修复的区域，即δ_E(Ω)-Ω

x^*         区域dΩ中一个待修复的点

N(x^*)      边界[ε_E(Ω)]上与点x^*距离足够接近的点的集合，由公式(1)定义

r          预定义的搜索半径

x₀         集合N(x^*)中的一个最佳点，由公式(2)定义

α         大于零的参数

x_m         点x^*和点x₀的中点，即(x^*+x₀)/2

‖ΔI‖    像素值I(x_m)与I(x₀)之差的范数，即‖I(x_m)-I(x₀)‖

ε         一个正值参数

本发明的技术效果如下：

对于破损的图像数据提供了有效的数字化修复方法，可以修复宽大的破损区域(如图3、图4、图5和图6所示)，克服了现有的图像修复方法(特别是基于偏微分方程的方法)只能修复“细线”状破损区域的缺点。本发明的方法修复效率高，速度快，比基于纹理合成的方法一般要快两个数量级。

(四)、附图说明：

图1 本发明进行图像修复的原理图。

图2本发明的一个具体实施方式的软件流程图。

图3用本发明的方法进行图像修复的实例。

图4用本发明的方法进行图像修复的实例。

图5用本发明的方法进行图像修复的实例。

图6用本发明的方法进行图像修复的实例。

(五)具体实施方式：

本发明的一个具体实施方式如下：

参阅图1所示，是本发明进行图像修复的原理图。图中每一个方格代表图像中一个像素点，虚线方格的区域表示待修复的区域，其中灰色的方格表示当前需要修复的破损点x^*。实线方格的区域表示未破损区域Ω。Ω中与待修复区域相邻的部分称为边界Ω；Ω中的浅灰色区域代表点的集合N(x^*)。

参阅图2的流程图，首先输入一幅待修复的图像I，根据图像I的未破损区域Ω和破损区域生成二值图像。

第二步，使用一个3×3的方形结构元素E对区域Ω作腐蚀运算，得到腐蚀的二值图像ε_E(Ω)。

第三步，利用前述技术方案计算边界[ε_E(Ω)]上所有点的局部变化率θ₊。

第四步，用结构元素E对区域Ω作膨胀运算，得到δ_E(Ω)。令dΩ＝δ_E(Ω)-Ω，对于dΩ中未修复的点x^*，用以下方式进行修复：

(a)按照公式(1)计算点的集合N(x^*)，其中取参数 $r=2\sqrt{5};$

(b)按照公式(2)计算集合N(x^*)中的一个最佳点x₀，其中取参数α＝1；

(c)按照公式(3)修复点x^*处的像素值I(x^*)，其中取参数ε＝5。

第五步，令ε_E(Ω)＝Ω，Ω＝δ_E(Ω)，检查Ω是否包含整个图像区域。如果是，则修复结束；否则返回第三步继续修复。

请参阅图3、4、5、6所示，是本发明的方法进行图像修复的实例。图3左图是破损的图像，中间是用偏微分方程方法修复的结果，右图是用本发明的方法修复的结果。图4是用本发明的方法将左图中的一束花自动抹去。图5是用本发明的方法修复视网膜图像中的破损区域。图6是用本发明的方法将左图中演讲者的手臂和麦克风自动抹去。

Claims (1)

1、一种破损图像数字化修复的新方法，其特征在于：该方法步骤如下：

[1]、将一幅待修复的图像记为I，并通过图像分割方法或人工交互方法确定出图像中的破损区域；根据图像I的未破损和破损区域生成一幅二值图像，其中图像I的未破损区域所对应的部分标记为Ω；

[2]、使用结构元素E对二值图像作数学形态学腐蚀运算，得到腐蚀的二值图像ε_E(Ω)：

[3]、计算腐蚀图像ε_E(Ω)的边界[ε_E(Ω)]上的所有点的局部变化率，方法如下：设图像I具有n个分量，首先通过下式计算图像I的结构张量G，

$G=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\&dtri;I_i\&dtri;I_i^T,$

式中I_i表示图像的第i个分量，I_i是该分量的梯度，可以用公知的中心差分方法来计算，然后通过下面的特征值分解求出张量G的特征方向和特征值，

$G=\left[\begin{array}{cc}{\mathrm{\&theta;}}_{+}& {\mathrm{\&theta;}}_{-}\end{array}\right]\left[\begin{array}{cc}{\mathrm{\&lambda;}}_{+}& 0\\ 0& {\mathrm{\&lambda;}}_{-}\end{array}\right]\left[\begin{array}{c}{{\mathrm{\&theta;}}_{+}}^T\\ {{\mathrm{\&theta;}}_{-}}^T\end{array}\right]$

其中θ₊是较大的特征值λ₊所对应的特征向量，它可以定义为图像I在给定点的局部变化率；

[4]、用结构元素E对区域Ω作膨胀运算，得到区域δ_E(Ω)；令dΩ＝δ_E(Ω)-Ω表示当前待修复的区域，则对于任意点x^*∈dΩ，按照以下步骤进行修复：

(4.1)、寻找[ε_E(Ω)]上与x^*距离足够接近的点，即寻找点的集合

N(x^*)＝{x∈[ε_E(Ω)]∶‖x-x^*‖≤r}，其中r是一个预定义的搜索半径。r的取值要考虑搜索速度和搜索精度的折中；

(4.2)、使用下列公式计算集合N(x^*)中的一个最佳点x₀：

$x_0=\arg \min \{\frac{|{\mathrm{\&theta;}}_{+}\left(x\right)\&CenterDot;(x^{*}-x)|}{\left|\right|x^{*}-x\left|\right|}+\frac{\mathrm{\&alpha;}}{\sqrt{{\mathrm{\&lambda;}}_{+}\left(x\right)}},x\&Element;N\left(x^{*}\right)\},$

其中α是一个大于零的参数；该式的涵义是确保在点x₀处直线x^*-x₀与特征方向θ₊(x₀)之间接近垂直，同时确保特征值λ₊(x₀)为最大；

(4.3)、定义点x_m＝(x^*+x₀)/2，使用下式修复破损点x^*处的像素值：

$I\left(x^{*}\right)=\left\{\begin{array}{cc}2I\left(x_m\right)-I\left(x_0\right)& x_m\&Element;\mathrm{\&Omega;and}\left|\right|\mathrm{\&Delta;I}\left|\right|<\mathrm{\&epsiv;},\\ 2I\left(x_m\right)& x_m\&Element;\mathrm{\&Omega;and}\left|\right|\mathrm{\&Delta;I}\left|\right|\&GreaterEqual;\mathrm{\&epsiv;},\\ I\left(x_0\right)& x_m\&NotElement;\mathrm{\&Omega;},\end{array}\right.$

其中‖ΔI‖＝‖I(x_m)-I(x₀)‖，Ω仍然表示未破损的图像区域，ε是一个正参数；

[5]、令ε_E(Ω)＝Ω，Ω＝δ_E(Ω)，并返回第[3]步，直到图像I中所有的破损点被修复完毕。

Images