CN105957027A - 一种基于所需方向结构特征统计的mrf样图像修复方法 - Google Patents

Abstract

本发明公开一种基于所需方向结构特征统计的MRF样图像修复方法，包括以下步骤：首先输入待修复图像；提取待修复图像的方向特征图像；提取方向特征图像的边缘特征，并对其进行形态学操作得到方向边缘特征图像；根据破损区域周围特征自适应选择指导图像修复过程所需的方向边缘图像；在所需的方向边缘图像和非方向边缘图像中分别统计相似样本块之间的偏移映射；自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数；根据选择的候选标签和图割算法优化全局能量极值；输出修复后图像。本发明方法可以获得更为合适的先验信息，使得修复后图像可以更好地保持结构部分的连贯性及与邻域信息的连续一致性，使修复后图像看起来更加自然。

Description

一种基于所需方向结构特征统计的MRF样图像修复方法

技术领域

本发明涉及基于样本块的图像修复方法，特别涉及一种基于所需方向结构特征统计的MRF样图像修复方法。

背景技术

数字图像修复是根据破损图像内的已知信息，按照一定的规则对破损区域进行修补的一门技术，其目的是使观察者无法察觉图像曾经破损或者已被修复。随着数字图像处理技术的发展，数字图像修复技术成为当前计算机图形学和计算机视觉的一个研究热点，在文物保护，影视特技制作，图像有损压缩，特定物体移除等方面具有重大的应用价值。目前数字图像修复技术主要分为四类：基于扩散的方法、基于变换的方法、基于样本块的方法和混合修复算法。最近几年来，因基于样本块的方法在修复效果上的优良表现而受到了越来越多的关注。基于样本块的方法可以进一步的划分为基于匹配的方法和基于MRF的方法。

文献1(Y.Pritch,E.Kav-Venaki,S.Peleg.Shift-map image editing[C].In:IEEE 12th International Conference on Computer Vision,2009,IEEE:151-158.)是基于MRF的修复方法中的代表性算法，其基本思想是将已知信息看作标签，未知信息作节点，则图像修复即是给任一节点分配一个合适标签的问题，并建立全局能量优化方程来度量标签与节点之间的合适程度，最后利用优化方法求解全局能量极值以获得分配以每个节点的合适标签，以此补全破损图像。该方法可以较好地修复大区域破损图像，但由于将所有的偏移位置视为候选标签，不仅计算复杂度极高，且易引入干扰，不能给未知节点分配以合适的标签，使得修复效果较差。

近年来，研究学者利用统计特征提出基于MRF的修复算法：(1)文献2(K.He,J.Sun.Statistics of Patch Offsets for Image Completion[M].In:European Conference on Computer Vision,Springer Berlin Heidelberg,2012:16-29.)统计样本块与其相似块之间的偏移位置，据此选择出少数占统治地位的偏移位置作为候选标签，而后利用图割算法求解全局能量优化极值以；(2)文献3(W.Xue,R.Zhang.Graph-based image completion using patch offsetsand structure feature[C].In:Fifth International Conference on Graphicand Image Processing,2014,International Society for Optics andPhotonics:906906-906906-9.)引入HOG特征以寻找到更优的匹配块，并自适应确定候选标签个数以获得全局最优极值；(3)文献4(L.Yunqiang,V.Caselles.Exemplar-Based Image Inpainting Using Multiscale Graph Cuts[J].IEEE Transactions on Image Processing.2013,22(5):1699-1711.)将破损区域的临近位置的已知信息作为候选标签，利用图像的局部自相似性来补全破损图像。

上述方法均是为获得合适的候选标签以计算全局能量极值，以获得良好的图像补全效果。虽然这些算法利用不同的方法以获得合适的候选标签，但对于结构信息较少的破损图像不能很好的保持其结构部分的连贯性。文献4仅利用临近位置的信息补全丢失信息，而若临近位置上并未包含合适的补全信息，则不能获得良好的修复结果。文献2和文献3虽根据样本块间偏移映射的统计来选择合适的候选标签，但是对于已知区域内结构信息较少的破损图像，仍不能很好地保持修复后图像结构部分的连贯性。因此如何利用合适的结构信息指导图像修复过程是提高基于MRF的样本块修复质量必须解决的关键问题。

发明内容

为克服现有基于MRF的样本块图像修复算法中存在的技术问题，本发明提供一种基于所需方向结构特征统计的MRF样图像修复方法，该方法能够有效地保持修复后图像中结构部分的连贯性，使修复后图像看起来更加自然，更符合人眼视觉要求，尤其适合具有复杂纹理和结构特征的真实照片或合成图像的修复。

本发明解决上述技术问题所采用的技术方案是：一种基于所需方向结构特征统计的MRF样图像修复方法，包括以下步骤：

步骤S10、输入待修复图像I，破损区域为Ω；

步骤S20、提取待修复图像的方向特征图像：利用Curvelet变换将待修复图像变换到Curvelet域，将Curvelet域内的多方向多尺度系数划分为4个集合(每个集合中均包含低频系数，同时不同集合中包含不同方向的高频系数)，而后分别对每个方向上的系数作Curvelet逆变换，得到不同的方向特征图像{A_k}_k＝1,2,3,4；

步骤S30、提取方向特征图像的边缘特征，并对边缘特征进行形态学操作得到方向边缘特征图像：对提取的方向特征图像{A_k}_k＝1,2,3,4进行边缘检测，得到四个方向上的边缘特征，对得到的边缘特征进行形态学操作，得到四个方向边缘特征图像{B_k}_k＝1,2,3,4，其中边缘特征图像B_k在边缘点处取值为1，其余部分均为0；

步骤S40、根据破损区域周围特征自适应选择指导图像修复过程所需要的方向边缘图像：方向边缘图像{I_{k_edge}}_k∈Θ即为包含选择出的方向结构信息的图像，I_{k_edge}＝I·B_k，Θ为集合{1,2,3,4}中的一个子集，提取四个方向特征图像{A_k}_k＝1,2,3,4中破损区域Ω周围的局部已知信息，计算其梯度模值的方差值，据此选择出指导图像修复过程所需要方向边缘图像{I_{k_edge}}_k∈Θ中的k值，最后得到所需的方向边缘图像，

其中方向边缘图像即为包含选择出的方向结构信息的图像，I_{k_edge}＝I·B_k，Θ为集合{1,2,3,4}中的一个子集；

步骤S50、在所需的方向边缘图像和非方向边缘图像中分别统计相似样本块之间的偏移映射：用I_{non_edge}指代非方向边缘图像，即为待修复图像I中除去四个方向边缘特征部分的信息， 表示对边缘信息取反，在方向边缘图像{I_{k_edge}}_k∈Θ和非方向边缘图像I_{non_edge}中分别计算样本块与其相似块间的偏移映射，并利用二维直方图h对其进行统计，从计算得到的方向边缘图像{I_{k_edge}}_k∈Θ的偏移映射统计h_k和非方向边缘图像偏移映射h₅分别选择出K_k和K₅个最大值，即占统治地位的偏移映射，并将K_k和K₅个偏移映射作为候选标签用于下一步的优化求解；

步骤S60、自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数：当选择出的方向边缘图像个数不同时，自适应选择其不同的偏移映射个数，以及非方向边缘图像的偏移映射个数；

步骤S70、根据选择的候选标签和图割算法优化全局能量极值：根据选择的候选标签，并利用图割算法对全局能量方程进行优化求解，得到分配给每个节点的标签，

其中全局能量方程包含数据项能量和平滑项能量两项，具体为：

$E\left(L\right)=\underset{x\∈\mathrm{\Ω}}{\Σ}{E}_d\left(L\right(x\left)\right)+\underset{(x,x^{\′})|x\∈\mathrm{\Ω},x^{\′}\∈\mathrm{\Ω}}{\Σ}{E}_s\left(L\right(x),L(x^{\′}\left)\right)$

上述(x,x')是表示4邻域，L代表上节中选出的候选标签或者K＝K_k+K₅是候选标签的个数，仅在破损区域边界上才选择标签而L(x)＝i就表示将位于的像素点的信息复制到位置x上，

若候选标签是有效的(x+m位于已知区域)，将此时的数据项能量置为0，否则置为+∞，令a＝L(x)和b＝L(x')，将平滑项能量函数E_s定义为：

E_s(a,b)＝||I(x+m_a)-I(x+m_b)||²+||I(x'+m_a)-I(x'+m_b)||²

其中I(x)代表图像I位于位置x上的RGB强度值；

步骤S80、输出修复后图像：将每个标签对应的信息复制到节点位置上，即：I(x)＝I(x+m)，得到修复后图像R。

进一步的是，所述步骤S20中方向特征图像{A_k}_k＝1,2,3,4的具体提取过程为：

步骤S201、对待修复图像进行判定，若输入图像I为彩色图像，则将其由RGB空间转化到YUV空间内，利用I_Y标记Y通道图像，若输入图像I为灰度图像，令I_Y＝I；

步骤S202、利用Curvelet正变换将I_Y变换到变换域：Q＝T⁺(I_Y)

其中T⁺表示Curvelet正变换，Q＝{Q_s,d}表示I_Y经过Curvelet正变换后得到的多尺度多方向特征系数，下标s和d分别表示尺度和方向；

步骤S203、将第2至第5尺度层的Curvelet系数矩阵Q_s,d(s＝2,3,4,5)按照所属方向的不同划分为4个集合{Z_k}_k＝1,2,3,4，不同集合Z_k代表不同方向系数矩阵的集合，H_k(Q)(k＝1,2,3,4)为集合Z_k中的系数矩阵，H_k(Q)(k＝1,2,3,4)由下式得

到：

步骤S204、第k个方向的方向特征图像{A_k}_k＝1,2,3,4根据下式计算得到：

A_k＝|T^-1(H_k(Q))|

其中T^-1代表Curvelet逆变换。

进一步的是，所述步骤S40中根据破损区域周围特征自适应选择指导图像修复过程所需要的方向边缘图像的具体过程为：

步骤S401、首先计算方向特征图像{A_k}_k＝1,2,3,4的梯度幅值图像{G_k}_k＝1,2,3,4，G_k定义为：

$G_k=\sqrt{{\left(G_k^x\right)}^2+{\left(G_k^y\right)}^2}$

其中和分别为方向特征图像{A_k}_k＝1,2,3,4的水平方向和垂直方向特征，由方向特征图像{A_k}_k＝1,2,3,4分别与[-1 0 1]和[-1 0 1]^T卷积而得；

步骤S402、根据破损区域边界邻近已知区域内的方向特征丰富程度自适应确定所需要的方向信息；

步骤S403、计算待修复区域邻近的已知区域内的局部梯度幅值图像其中定义为：

其中F是标示矩阵，与图像大小相同，在已知区域内距离破损区域边界距离较小的位置上取值为1，其余区域均取0，即：

$F\left(x\right)=\left\{\begin{array}{cc}1,& ifd(x,\mathrm{\&delta;}\mathrm{\&Omega;})<\mathrm{\&rho;}\\ 0,& otherwise\end{array}\right.$

其中d(x,δΩ)表示像素点x与破损区域边界δΩ间的距离，ρ为阈值，取为3；即是将破损区域内部及距离破损区域边界较远的已知区域内的梯度幅值置为0得到的；

步骤S404、将局部梯度模值图像中非边缘部分的梯度幅值置为0，其余部分保持不变得到局部边缘特征图像 具体定义为：

步骤S405、通过下式计算局部方向边缘梯度幅值图像的方差值Var(k)_{k∈{1,2,3,4}}：

$Var{\left(k\right)}_{k\&Element;\{1,2,3,4\}}=var\left(G_{k\_edge}^n\right);$

步骤S406、根据下式自适应选择指导图像修复过程所需要方向边缘图像{I_{k_edge}}_k∈Θ中的k值：

Var(k)/min(Var(1,2,3,4))＞10&&Var(k)/max(Var(1,2,3,4))＜0.8,k＝1,2,3,4；

步骤S407、最后通过下式计算得到所需的方向边缘图像{I_{k_edge}}_k∈Θ：

I_{k_edge}＝I·B_k

其中方向边缘图像{I_{k_edge}}_k∈Θ即为包含选择出的方向结构信息的图像，Θ为包含根据步骤S406选择出的k的集合，即为集合{1,2,3,4}中的一个子集。

进一步的是，所述步骤S60中自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数的具体做法为：

若确定的方向边缘图像个数为1，即仅需一个方向结构特征来指导图像修复过程时，在这个方向边缘图像中取前40个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为1，K_k＝40)，K₅取为20；

当选择的方向边缘图像个数为2，在这两个方向边缘图像中均取前20个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为2，K_k＝20)，K₅也为20；

若确定的方向边缘图像个数为3，在这三个方向边缘图像中均取前20个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为3，K_k＝15)，取K₅为15；

当提取的4个方向边缘图像均被选中时，在这四个方向边缘图像中分别取前15个占统治地位的偏移映射(k取遍集合{1,2,3,4}中所有值，K_k＝15)，将K₅设为0；

即无论K_k或K₅取值如何，其和均为60。

与现有技术相比，本发明的技术效果是：

一、本发明提出一种基于方向结构特征分布分析的方法来自适应确定指导图像修复过程所需要的方向结构信息。图像中的方向结构特征是多种多样的，本发明首先将其分为4类，并提出方向结构特征分布分析方法来自适应确定指导图像修复过程所需要的信息，避免了其他错误方向结构信息的干扰，可以更好的保持修复后图像结构部分的连贯性。

二、本发明在选出指导图像修复过程所需要的方向结构信息之后，仅在相应的方向结构图像和非方向结构图像内匹配相似块，统计其偏移映射，可以获得更为合适的候选标签。

三、对于不同的破损图像选择出指导图像修复过程的不同个数的方向结构特征时，自适应确定相应的标签个数，更加的自动化智能化的处理图像修复过程。

总之，本发明方法采用方向结构特征分布分析方法自适应确定指导图像修复过程所需要的方向结构信息，可以获得更为合适的先验信息；并且仅在选择的方向结构图像和非方向结构图像中匹配相似块，避免了其他方向结构信息的干扰；自适应确定方向特征和非方向特征的标签个数，对于指导图像修复过程所需要的方向特征个数不同时可以自动化的处理，使得修复后图像可以更好地保持结构部分的连贯性及与邻域信息的连续一致性，使修复后图像看起来更加自然，符合人眼视觉要求。

附图说明

图1是本发明实施例中使用的Curvelet系数矩阵示意图；

图2是本发明实施例中使用的Curvelet系数矩阵的方向分割示意图；

图3是本发明的流程框图；

图4是第一组仿真实验的原始图像；

图5是第一组仿真实验的待修复图像；

图6是第一组仿真实验文献1算法的修复结果图；

图7是第一组仿真实验文献4算法的修复结果图；

图8是第一组仿真实验本发明方法的修复结果图；

图9是第二组仿真实验的原始图像；

图10是第二组仿真实验的待修复图像；

图11是第二组仿真实验文献1算法的修复结果图；

图12是第二组仿真实验文献4算法的修复结果图；

图13是第二组仿真实验本发明方法的修复结果图；

图14是第三组仿真实验的原始图像；

图15是第三组仿真实验的待修复图像；

图16是第三组仿真实验文献2算法的修复结果图；

图17是第三组仿真实验本发明方法的修复结果图

图18是第四组仿真实验的原始图像；

图19是第四组仿真实验的待修复图像；

图20是第四组仿真实验文献2算法的修复结果图；

图21是第四组仿真实验本发明方法的修复结果图；

图22是第五组仿真实验的原始图像；

图23是第五组仿真实验的待修复图像；

图24是第五组仿真实验文献2算法的修复结果图；

图25是第五组仿真实验本发明方法的修复结果图。

具体实施方式

下面结合附图和实施例对发明做进一步详细的说明。

本发明的一种基于所需方向结构特征统计的MRF样图像修复方法，包括以下步骤：

步骤S10、输入待修复图像I，破损区域为Ω；

步骤S20、提取待修复图像的方向特征图像：利用Curvelet变换将待修复图像变换到Curvelet域，将Curvelet域内的多方向多尺度系数划分为4个集合(每个集合中均包含低频系数，同时不同集合中包含不同方向的高频系数)，而后分别对每个方向上的系数作Curvelet逆变换，得到不同的方向特征图像{A_k}_k＝1,2,3,4

这个步骤S20中为了下一步更好的得到方向边缘特征图像，具体的做法是：首先对待修复图像进行判定，若输入图像I为彩色图像，则将其由RGB空间转化到YUV空间内，利用I_Y标记Y通道图像，若输入图像I为灰度图像，令I_Y＝I；然后利用Curvelet正变换将I_Y变换到变换域：Q＝T⁺(I_Y)

其中T⁺表示Curvelet正变换，Q＝{Q_s,d}表示I_Y经过Curvelet正变换后得到的多尺度多方向特征系数，下标s和d分别表示尺度和方向，Curvelet多尺度多方向特征系数由图1所示，从内到外的正方形分别代表第1尺度层至第5尺度的系数，第1尺度层为低频系数，其余为高频系数，除低频系数仅包含一个Curvelet系数矩阵Q_1,1之外，高频尺度层可分为很多个不同的系数矩阵，每个系数矩阵便代表一个方向矩阵，示例中Curvelet变换的第2尺度层至第5尺度层分别包含16、32、32和64个方向系数矩阵，按顺时针方向从45度方向开始对每个尺度层不同的方向系数矩阵进行编号，

将第2至第5尺度层的Curvelet系数矩阵Q_s,d(s＝2,3,4,5)按照所属方向的不同划分为4个集合{Z_k}_k＝1,2,3,4，不同集合Z_k代表不同方向系数矩阵的集合，H_k(Q)(k＝1,2,3,4)为集合Z_k中的系数矩阵，H_k(Q)(k＝1,2,3,4)由下式得到：

$H_k\left(Q\right)=\left\{\begin{array}{cc}{Q}_{s,d},& if{Q}_{s,d}\&Element;Z_{k}ors=1\\ 0,& otherwise\end{array}\right.;$

最后可以得到第k个方向的方向特征图像{A_k}_k＝1,2,3,4的计算公式，公式如下：

A_k＝|T^-1(H_k(Q))|

上述T^-1代表Curvelet逆变换。

步骤S30、提取方向特征图像的边缘特征，并对边缘特征进行形态学操作得到方向边缘特征图像：对提取的方向特征图像{A_k}_k＝1,2,3,4进行边缘检测，得到四个方向上的边缘特征，对得到的边缘特征进行形态学操作，得到四个方向边缘特征图像{B_k}_k＝1,2,3,4，其中边缘特征图像B_k在边缘点处取值为1，其余部分均为0；

上述的形态学操作，其实是为获得丰富的边缘信息，因此优选的是采用形态学中的膨胀操作；

步骤S40、根据破损区域周围特征自适应选择指导图像修复过程所需要的方向边缘图像：方向边缘图像{I_{k_edge}}_k∈Θ即为包含选择出的方向结构信息的图像，I_{k_edge}＝I·B_k，Θ为集合{1,2,3,4}中的一个子集，提取四个方向特征图像{A_k}_k＝1,2,3,4中破损区域Ω周围的局部已知信息，计算其梯度模值的方差值，据此选择出指导图像修复过程所需要的方向边缘图像{I_{k_edge}}_k∈Θ中的k值，最后得到所需的方向边缘图像，

其中方向边缘图像即为包含选择出的方向结构信息的图像，I_{k_edge}＝I·B_k，Θ为集合{1,2,3,4}中的一个子集；

步骤S50、在所需的方向边缘图像和非方向边缘图像中分别统计相似样本块之间的偏移映射：用I_{non_edge}指代非方向边缘图像，即为待修复图像I中除去四个方向边缘特征部分的信息， 表示对边缘信息取反，在方向边缘图像{I_{k_edge}}_k∈Θ和非方向边缘图像I_{non_edge}中分别计算样本块与其相似块间的偏移映射，并利用二维直方图h对其进行统计，其统计过程为：

首先计算任意已知样本块P与其相似块间的偏移映射m(x)：

$\begin{array}{ccc}m\left(x\right)=\arg \underset{m}{min}||P(x+m)-P\left(x\right)||& s.t.& \left|m\right|>\mathrm{\&tau;}\end{array}$

其中m＝(u,v)是偏移映射的二维坐标点，x＝(x,y)是样本块所处位置，P(x)是中心点位于x的样本块，两个样本块之间的相似度由均方误差距离进行度量，阈值τ是用来排除近邻块，

计算完毕所有偏移映射m(x)之后，利用二维直方图h(u,v)进行统计：

$h(u,v)=\underset{x}{\&Sigma;}\mathrm{\&delta;}\left(m\right(x)=(u,v\left)\right)$

其中，当输入为真时，δ(·)为1，否则为0，

从计算得到的方向边缘图像{I_{k_edge}}_k∈Θ的偏移映射统计h_k和非方向边缘图像偏移映射h₅分别选择出K_k和K₅个最大值，即占统治地位的偏移映射，并将K_k和K₅个偏移映射作为候选标签用于下一步的优化求解；

步骤S60、自适应确定方向边缘图像和非方向边缘图像的偏移映射个数：当选择出的方向边缘图像个数不同时，自适应选择其不同的偏移映射个数，以及非方向边缘图像的偏移映射个数；

步骤S70、根据选择的候选标签和图割算法优化全局能量极值：根据选择的候选标签，并利用图割算法对全局能量方程进行优化求解，得到分配给每个节点的标签，

其中全局能量方程包含数据项能量和平滑项能量两项，具体为：

$E\left(L\right)=\underset{x\&Element;\mathrm{\&Omega;}}{\&Sigma;}{E}_d\left(L\right(x\left)\right)+\underset{(x,x^{\&prime;})|x\&Element;\mathrm{\&Omega;},x^{\&prime;}\&Element;\mathrm{\&Omega;}}{\&Sigma;}{E}_s\left(L\right(x),L(x^{\&prime;}\left)\right)$

上述(x,x')是表示4邻域，L代表上节中选出的候选标签或者K＝K_k+K₅是候选标签的个数，仅在破损区域边界上才选择标签而L(x)＝i就表示将位于的像素点的信息复制到位置x上，

若候选标签是有效的(x+m位于已知区域)，将此时的数据项能量置为0，否则置为+∞，令a＝L(x)和b＝L(x')，将平滑项能量函数E_s定义为：

E_s(a,b)＝||I(x+m_a)-I(x+m_b)||²+||I(x'+m_a)-I(x'+m_b)||²

其中I(x)代表图像I位于位置x上的RGB强度值；

步骤S80、输出修复后图像：将每个标签对应的信息复制到节点位置上，即：I(x)＝I(x+m)，得到修复后图像R。

其中所述步骤S40中根据破损区域周围特征自适应选择指导图像修复过程所需的方向边缘图像的具体过程为：

步骤S401、首先计算方向特征图像{A_k}_k＝1,2,3,4的梯度幅值图像{G_k}_k＝1,2,3,4，G_k定义为：

$G_k=\sqrt{{\left(G_k^x\right)}^2+{\left(G_k^y\right)}^2}$

其中和分别为方向特征图像{A_k}_k＝1,2,3,4的水平方向和垂直方向特征，由方向特征图像{A_k}_k＝1,2,3,4分别与[-101]和[-101]^T卷积而得；

步骤S402、根据破损区域边界邻近已知区域内的方向特征丰富程度自适应确定所需要的方向信息；

步骤S403、计算待修复区域邻近的已知区域内的局部梯度幅值图像其中定义为：

其中F是标示矩阵，与图像大小相同，在已知区域内距离破损区域边界距离较小的位置上取值为1，其余区域均取0，即：

$F\left(x\right)=\left\{\begin{array}{cc}1,& ifd(x,\mathrm{\&delta;}\mathrm{\&Omega;})<\mathrm{\&rho;}\\ 0,& otherwise\end{array}\right.$

其中d(x,δΩ)表示像素点x与破损区域边界δΩ间的距离，ρ为阈值，取为3；即是将破损区域内部及距离破损区域边界较远的已知区域内的梯度幅值置为0得到的；

步骤S404、将局部梯度模值图像中非边缘部分的梯度幅值置为0，其余部分保持不变得到局部边缘特征图像 具体定义为：

步骤S405、通过下式计算局部方向边缘梯度幅值图像的方差值Var(k)_{k∈{1,2,3,4}}：

$Var{\left(k\right)}_{k\&Element;\{1,2,3,4\}}=var\left(G_{k\_edge}^n\right);$

步骤S406、根据下式自适应选择指导图像修复过程需要方向边缘图像{I_{k_edge}}_k∈Θ中的k值：

Var(k)/min(Var(1,2,3,4))＞10&&Var(k)/max(Var(1,2,3,4))＜0.8,k＝1,2,3,4；

步骤S407、最后通过下式计算得到所需的方向边缘图像{I_{k_edge}}_k∈Θ：

I_{k_edge}＝I·B_k

其中方向边缘图像{I_{k_edge}}_k∈Θ即为包含选择出的方向结构信息的图像，Θ为包含根据步骤S406选择出的k的集合，即为集合{1,2,3,4}中的一个子集。

其中所述步骤S60中自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数的具体做法为：

若确定的方向边缘图像个数为1，即仅需一个方向结构特征来指导图像修复过程时，在这个方向边缘图像中取前40个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为1，K_k＝40)，K₅取为20；当选择的方向边缘图像个数为2，在这两个方向边缘图像中均取前20个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为2，K_k＝20)，K₅也为20；若确定的方向边缘图像个数为3，在这三个方向边缘图像中均取前20个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为3，K_k＝15)，取K₅为15；当提取的4个方向边缘图像均被选中时，在这四个方向边缘图像中分别取前15个占统治地位的偏移映射(k取遍集合{1,2,3,4}中所有值，K_k＝15)，将K₅设为0；即无论K_k或K₅取值如何，其和均为60。

本发明方法采用方向结构特征分布分析方法自适应确定指导图像修复过程所需要的方向结构信息，可以获得更为合适的先验信息；并且仅在选择的方向结构图像和非方向结构图像中匹配相似块，避免了其他方向结构信息的干扰；自适应确定方向特征和非方向特征的标签个数，对于指导图像修复过程所需要的方向特征个数不同时可以自动化的处理，使得修复后图像可以更好地保持结构部分的连贯性及与邻域信息的连续一致性，使修复后图像看起来更加自然，符合人眼视觉要求。

仿真实验：

仿真实验采用的本发明方法，具体包括以下步骤：

1)输入待修复图像I，破损区域为Ω；

2)对待修复图像I进行判定，若输入图像I为彩色图像，则将其由RGB空间转化到YUV空间内，利用I_Y标记Y通道图像，若输入图像I为灰度图像，令I_Y＝I；

3)利用Curvelet正变换将I_Y变换到变换域：Q＝T⁺(I_Y)，

4)将第2至第5尺度层的Curvelet系数矩阵Q_s,d(s＝2,3,4,5)按照所属方向的不同划分为4个集合{Z_k}_k＝1,2,3,4，不同集合Z_k代表不同方向系数矩阵的集合，为集合Z_k中的系数矩阵，由下式计算得到H_k(Q)(k＝1,2,3,4)：

$H_k\left(Q\right)=\left\{\begin{array}{cc}{Q}_{s,d},& if{Q}_{s,d}\&Element;Z_{k}ors=1\\ 0,& otherwise\end{array}\right.$

5)通过下式计算得到第k个方向的方向特征图像{A_k}_k＝1,2,3,4：

A_k＝|T^-1(H_k(Q))|

其中T^-1代表Curvelet逆变换，且进行四次运算，得到四个方向特征图像{A_k}_k＝1,2,3,4；

6)对步骤5)中计算得到的四个方向特征图像{A_k}_k＝1,2,3,4进行边缘检测，得到四个方向上的边缘特征；

7)对步骤6)中边缘检测到的边缘特征进行膨胀操作，得到四个方向边缘特征图像{B_k}_k＝1,2,3,4；

8)通过下式计算出方向特征图像{A_k}_k＝1,2,3,4的梯度幅值图像{G_k}_k＝1,2,3,4：

$G_k=\sqrt{{\left(G_k^x\right)}^2+{\left(G_k^y\right)}^2}$

其中和分别为方向特征图像{A_k}_k＝1,2,3,4的水平方向和垂直方向特征，由方向特征图像{A_k}_k＝1,2,3,4分别与[-1 0 1]和[-1 0 1]^T卷积而得；

9)根据破损区域边界邻近已知区域内的方向特征丰富程度自适应确定所需要的方向信息；

10)计算待修复区域邻近的已知区域内的局部梯度幅值图像其中定义为：

其中F是标示矩阵，与图像大小相同，在已知区域内距离破损区域边界距离较小的位置上取值为1，其余区域均取0，即：

$F\left(x\right)=\left\{\begin{array}{cc}1,& ifd(x,\mathrm{\&delta;}\mathrm{\&Omega;})<\mathrm{\&rho;}\\ 0,& otherwise\end{array}\right.$

其中d(x,δΩ)表示像素点x与破损区域边界δΩ间的距离，ρ为阈值，取为3；即是将破损区域内部及距离破损区域边界较远的已知区域内的梯度幅值置为0得到的；

11)将局部梯度模值图像中非边缘部分的梯度幅值置为0，其余部分保持不变得到局部边缘特征图像 具体定义为：

其中B_k为步骤7)中得到的方向边缘特征图像{B_k}_k＝1,2,3,4；

12)通过下式计算局部方向边缘梯度幅值图像的方差值Var(k)_{k∈{1,2,3,4}}：

$Var{\left(k\right)}_{k\&Element;\{1,2,3,4\}}=var\left(G_{k\_edge}^n\right);$

13)根据下式自适应选择指导图像修复过程所需要方向边缘图像{I_{k_edge}}_k∈Θ中的k值：

Var(k)/min(Var(1,2,3,4))＞10&&Var(k)/max(Var(1,2,3,4))＜0.8,k＝1,2,3,4；

14)、最后通过下式计算得到所需的方向边缘图像{I_{k_edge}}_k∈Θ：

I_{k_edge}＝I·B_k

其中方向边缘图像{I_{k_edge}}_k∈Θ即为包含选择出的方向结构信息的图像，Θ为包含上述步骤13)中选择出的k的集合，即为集合{1,2,3,4}中的一个子集；

15)所需的方向边缘图像和非方向边缘图像中分别统计相似样本块之间的偏移映射：用I_{non_edge}指代非方向边缘图像，即为待修复图像I中除去四个方向边缘特征部分的信息， 表示对边缘信息取反，在方向边缘图像{I_{k_edge}}_k∈Θ和非方向边缘图像I_{non_edg}e中分别计算样本块与其相似块间的偏移映射，并利用二维直方图h对其进行统计，其统计过程为：

首先计算任意已知样本块P与其相似块间的偏移映射m(x)：

$\begin{array}{ccc}m\left(x\right)=\arg \underset{m}{min}||P(x+m)-P\left(x\right)||& s.t.& \left|m\right|>\mathrm{\&tau;}\end{array}$

其中m＝(u,v)是偏移映射的二维坐标点，x＝(x,y)是样本块所处位置，P(x)是中心点位于x的样本块，两个样本块之间的相似度由均方误差距离进行度量，阈值τ是用来排除近邻块，

计算完毕所有偏移映射m(x)之后，利用二维直方图h(u,v)进行统计：

$h(u,v)=\underset{x}{\&Sigma;}\mathrm{\&delta;}\left(m\right(x)=(u,v\left)\right)$

其中，当输入为真时，δ(·)为1，否则为0，

从计算得到的方向边缘图像{I_{k_edge}}_k∈Θ的偏移映射统计h_k和非方向边缘图像偏移映射h₅分别选择出K_k和K₅个最大值，即占统治地位的偏移映射，并将K_k和K₅个偏移映射作为候选标签用于下一步的优化求解；

16)自适应确定方向边缘图像和非方向边缘图像的偏移映射个数：当选择出的方向边缘图像个数不同时，自适应选择其不同的偏移映射个数，以及非方向边缘图像的偏移映射个数；

17)并利用图割算法对全局能量方程进行优化求解，得到分配给每个节点的标签；

18)将每个标签对应的信息复制到节点位置上，得到修复后图像R。

如图4至13所示，图4至8为第一组对比仿真实验实施例，图9至13为第二组对比仿真实验实施例，其中图4和图9都是原图，图5和图10分别为图4和图9发生缺损后的效果示意图，其中两副图中的黑色部分表示待修复区域，然后分别采用本发明方法、文献1算法、文献4算法对图5和图10进行修复，文献1算法修复后的图分别为图6、图11，文献4算法修复后的图分别为图7、图12，本发明方法修复后的图为图8、图13，所以比较图4至13的各个图可以看出，本发明方法较文献1算法、文献4算法可以获得更优的修复效果，能够更好的保持结构部分的连贯性，及与邻域信息的连续性。这是因为文献1和文献4算法均是设置了偏移映射的范围来求解全部能量极值，并不能很好的补全丢失信息。

如图14至25所示，图14到17为第三组仿真实验实施例，图18到21为第四组仿真实验实施例，图22到25为第五组仿真实验实施例，其中图14、18、22为原始图像，图15、19、23分别为原始图像目标移除后的待修复图像，图16、20、24为利用文献2算法对图15、19、23修复后的结果图，图17、21、25为利用本发明方法对图15、19、23修复后的结果图。

比较上述各图可以看出，本发明方法较文献2算法可以获得更好的修复效果，保持结构部分的连通性及与邻域信息的连续一致性，满足人眼视觉要求。

以上五组仿真实验结果表明，本发明方法在保持结构部分的连通性、与邻域信息的连续一致性及满足人眼视觉要求上明显优于现有方法，在图像修复的应用领域中具有可行性和适用性。

Claims (4)

1.一种基于所需方向结构特征统计的MRF样图像修复方法，其特征在于，包括以下步骤：

步骤S10、输入待修复图像I，破损区域为Ω；

步骤S20、提取待修复图像的方向特征图像：利用Curvelet变换将待修复图像变换到Curvelet域，将Curvelet域内的多方向多尺度系数划分为4个集合(每个集合中均包含低频系数，同时不同集合中包含不同方向的高频系数)，而后分别对每个方向上的系数作Curvelet逆变换，得到不同的方向特征图像{A_k}_k＝1,2,3,4；

步骤S30、提取方向特征图像的边缘特征，并对边缘特征进行形态学操作得到方向边缘特征图像：对提取的方向特征图像{A_k}_k＝1,2,3,4进行边缘检测，得到四个方向上的边缘特征，对得到的边缘特征进行形态学操作，得到四个方向边缘特征图像{B_k}_k＝1,2,3,4，其中边缘特征图像B_k在边缘点处取值为1，其余部分均为0；

步骤S40、根据破损区域周围特征自适应选择指导图像修复过程所需要的方向边缘图像：方向边缘图像{I_{k_edge}}_k∈Θ即为包含选择出的方向结构信息的图像，I_{k_edge}＝I·B_k，Θ为集合{1,2,3,4}中的一个子集，提取四个方向特征图像{A_k}_k＝1,2,3,4中破损区域Ω周围的局部已知信息，计算其梯度模值的方差值，据此选择出指导图像修复过程所需要方向边缘图像{I_{k_edge}}_k∈Θ中的k值，最后得到所需的方向边缘图像，

其中方向边缘图像即为包含选择出的方向结构信息的图像，I_{k_edge}＝I·B_k，Θ为集合{1,2,3,4}中的一个子集；

步骤S50、在所需的方向边缘图像和非方向边缘图像中分别统计相似样本块之间的偏移映射：用I_{non_edge}指代非方向边缘图像，即为待修复图像I中除去四个方向边缘特征部分的信息， 表示对边缘信息取反，在方向边缘图像{I_{k_edge}}_k∈Θ和非方向边缘图像I_{non_edge}中分别计算样本块与其相似块间的偏移映射，并利用二维直方图h对其进行统计，从计算得到的方向边缘图像{I_{k_edge}}_k∈Θ的偏移映射统计h_k和非方向边缘图像偏移映射h₅分别选择出K_k和K₅个最大值，即占统治地位的偏移映射，并将K_k和K₅个偏移映射作为候选标签用于下一步的优化求解；

步骤S60、自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数：当选择出的方向边缘图像个数不同时，自适应选择其不同的偏移映射个数，以及非方向边缘图像的偏移映射个数；

步骤S70、根据选择的候选标签和图割算法优化全局能量极值：根据选择的候选标签，并利用图割算法对全局能量方程进行优化求解，得到分配给每个节点的标签，

其中全局能量方程包含数据项能量和平滑项能量两项，具体为：

$E\left(L\right)=\underset{x\&Element;\mathrm{\&Omega;}}{\&Sigma;}{E}_d\left(L\right(x\left)\right)+\underset{(x,x^{\&prime;})|x\&Element;\mathrm{\&Omega;},x^{\&prime;}\&Element;\mathrm{\&Omega;}}{\&Sigma;}{E}_s\left(L\right(x),L(x^{\&prime;}\left)\right)$

上述(x,x')是表示4邻域，L代表上节中选出的候选标签或者K＝K_k+K₅是候选标签的个数，仅在破损区域边界上才选择标签而L(x)＝i就表示将位于的像素点的信息复制到位置x上，

若候选标签是有效的(x+m位于已知区域)，将此时的数据项能量置为0，否则置为+∞，令a＝L(x)和b＝L(x')，将平滑项能量函数E_s定义为：

E_s(a,b)＝||I(x+m_a)-I(x+m_b)||²+||I(x'+m_a)-I(x'+m_b)||²

其中I(x)代表图像I位于位置x上的RGB强度值；

步骤S80、输出修复后图像：将每个标签对应的信息复制到节点位置上，即：I(x)＝I(x+m)，得到修复后图像R。

2.根据权利要求1所述的一种基于所需方向结构特征统计的MRF样图像修复方法，其特征在于，所述步骤S20中方向特征图像{A_k}_k＝1,2,3,4的具体提取过程为：

步骤S201、对待修复图像进行判定，若输入图像I为彩色图像，则将其由RGB空间转化到YUV空间内，利用I_Y标记Y通道图像，若输入图像I为灰度图像，令I_Y＝I；

步骤S202、利用Curvelet正变换将I_Y变换到变换域：Q＝T⁺(I_Y)

其中T⁺表示Curvelet正变换，Q＝{Q_s,d}表示I_Y经过Curvelet正变换后得到的多尺度多方向特征系数，下标s和d分别表示尺度和方向；

步骤S203、将第2至第5尺度层的Curvelet系数矩阵Q_s,d(s＝2,3,4,5)按照所属方向的不同划分为4个集合{Z_k}_k＝1,2,3,4，不同集合Z_k代表不同方向系数矩阵的集合，H_k(Q)(k＝1,2,3,4)为集合Z_k中的系数矩阵，H_k(Q)(k＝1,2,3,4)由下式得到：

$H_k\left(Q\right)=\left\{\begin{array}{cc}{Q}_{s,d},& if{Q}_{s,d}\&Element;Z_{k}ors=1\\ 0,& otherwise\end{array}\right.;$

步骤S204、第k个方向的方向特征图像{A_k}_k＝1,2,3,4根据下式计算得到：

A_k＝|T^-1(H_k(Q))|

其中T^-1代表Curvelet逆变换。

3.根据权利要求1或2所述的一种基于所需方向结构特征统计的MRF样图像修复方法，其特征在于，所述步骤S40中根据破损区域周围特征自适应选择指导图像修复过程所需的方向边缘图像的具体过程为：

步骤S401、首先计算方向特征图像{A_k}_k＝1,2,3,4的梯度幅值图像{G_k}_k＝1,2,3,4，G_k定义为：

$G_k=\sqrt{{\left(G_k^x\right)}^2+{\left(G_k^y\right)}^2}$

其中和分别为方向特征图像{A_k}_k＝1,2,3,4的水平方向和垂直方向特征，由方向特征图像{A_k}_k＝1,2,3,4分别与[-1 0 1]和[-1 0 1]^T卷积而得；

步骤S402、根据破损区域边界邻近已知区域内的方向特征丰富程度自适应确定所需要的方向信息；

步骤S403、计算待修复区域邻近的已知区域内的局部梯度幅值图像其中定义为：

其中F是标示矩阵，与图像大小相同，在已知区域内距离破损区域边界距离较小的位置上取值为1，其余区域均取0，即：

$F\left(x\right)=\left\{\begin{array}{cc}1,& ifd\left(x,\mathrm{\&delta;}\mathrm{\&Omega;}\right)<\mathrm{\&rho;}\\ 0,& otherwise\end{array}\right.$

其中d(x,δΩ)表示像素点x与破损区域边界δΩ间的距离，ρ为阈值，取为3；即是将破损区域内部及距离破损区域边界较远的已知区域内的梯度幅值置为0得到的；

步骤S404、将局部梯度模值图像中非边缘部分的梯度幅值置为0，其余部分保持不变得到局部边缘特征图像 具体定义为：

步骤S405、通过下式计算局部方向边缘梯度幅值图像的方差值Var(k)_{k∈{1,2,3,4}}：

$Var{\left(k\right)}_{k\&Element;\{1,2,3,4\}}=var\left(G_{k\_edge}^n\right);$

步骤S406、根据下式自适应选择指导图像修复过程所需要方向边缘图像{I_{k_edge}}_k∈Θ中的k值：

Var(k)/min(Var(1,2,3,4))＞10 && Var(k)/max(Var(1,2,3,4))＜0.8,k＝1,2,3,4；

步骤S407、最后通过下式计算得到所需的方向边缘图像{I_{k_edge}}_k∈Θ：

I_{k_edge}＝I·B_k

其中方向边缘图像{I_{k_edge}}_k∈Θ即为包含选择出的方向结构信息的图像，Θ为包含根据步骤S406选择出的k的集合，即为集合{1,2,3,4}中的一个子集。

4.根据权利要求3所述的一种基于所需方向结构特征统计的MRF样图像修复方法，其特征在于，所述步骤S60中自适应确定所需的方向边缘图像和非方向边缘图像的偏移映射个数的具体做法为：

若确定的方向边缘图像个数为1，即仅需一个方向结构特征来指导图像修复过程时，在这个方向边缘图像中取前40个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为1，K_k＝40)，K₅取为20；

当选择的方向边缘图像个数为2，在这两个方向边缘图像中均取前20个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为2，K_k＝20)，K₅也为20；

若确定的方向边缘图像个数为3，在这三个方向边缘图像中均取前20个占统治地位的偏移映射(k∈Θ，Θ是集合{1,2,3,4}中的非空子集，集合Θ中元素个数为3，K_k＝15)，取K₅为15；

当提取的4个方向边缘图像均被选中时，在这四个方向边缘图像中分别取前15个占统治地位的偏移映射(k取遍集合{1,2,3,4}中所有值，K_k＝15)，将K₅设为0；

即无论K_k或K₅取值如何，其和均为60。