CN104134195B

CN104134195B - 基于块几何稀疏的图像修复方法

Info

Publication number: CN104134195B
Application number: CN201410377530.8A
Authority: CN
Inventors: 钟桦; 焦李成; 马国峰; 田小林; 王爽; 侯彪; 刘红英; 马文萍; 熊涛
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2014-08-01
Filing date: 2014-08-01
Publication date: 2017-02-15
Anticipated expiration: 2034-08-01
Also published as: CN104134195A

Abstract

本发明公开了一种基于块几何稀疏度的图像修复方法，主要解决现有技术对结构区域修复出现失真的问题。其实现过程是：(1)对待修复区域边界上的每个像素计算其几何稀疏度，并根据几何稀疏度将边界像素分为结构像素和非结构像素；(2)对待修复区域边界上的结构像素按其结构的方向进行修复，直到多个结构方向的交点区域；(3)用Criminisi方法对待修复的非结构区域进行修复，直到仅剩下交点区域；(4)对多个结构方向的交点区域进行修复，恢复出与原图像接近的结果图像。本发明能够有效的恢复图像的结构，获得高质量的图像修复结果，可用于图像处理及目标物的移除。

Description

基于块几何稀疏的图像修复方法

技术领域

本发明属于图像处理技术领域，具体地说是一种图像修复方法，可用于对自然图像的复原。

背景技术

数字图像修复是图像复原研究中的一个重要内容，它的目的是根据图像现有的信息来自动恢复丢失的信息，可以用于移除数字图像上标物或文字、美术作品或旧照片中的的刮痕或丢失信息等的修复。因此，数字图像修复在数字图像处理领域中占据着举足轻重的地位，成为该领域最基本技术之一。但是，由于待修复区域的图像是未知的，因此数字图像修复是一个很难解决的问题。

现有的修复方法大致可以分为两类，一类是基于结构的修复方法，一类是基于纹理的修复方法。

基于结构的修复方法，其本质上都是一种基于偏微分方程的修复方法，主要有基于偏微分方程的修复方法BSCB、基于TV模型的修复方法、基于曲率驱动扩散模型的修复方法等，这些方法对非纹理图像有较好修复的修复效果，然而对于纹理区域，往往会造成纹理区域的丢失。

基于纹理的修复方法，其心思想是纹理合成技术，在此基础上，Criminisi等人提出了一种基于样本优先权的图像修复方法，该方法借鉴了纹理合成技术方法的思想，利用图像块之间相似性寻找样本块，同时该方法充分利用了传统的基于结构的数字图像修复方法中使用的扩散方式来定义一个待修复块的优先级。基于块稀疏的块扩散图像修复方法提出了新的优先权判断方法，引进了图像块之间的结构信息，改善了优先权顺序，这种方法通过像素块之间的稀疏度来度量优先权，改善了Criminisi中优先权对纹理和结构区域不能很好区分的问题，但是对不规则纹理区域的优先权判断还是不准确。

上述基于纹理的图像修复方法，都是通过控制置信度项来使待修复区域一圈圈的由外向内扩散修复。当图像中存在较大结构区域丢失时，造成结构向两侧扩散，使得结构区域处出现失真。

发明内容

本发明的目的在于针对上述已有技术的问题，提出一种基于块几何稀疏的图像修复方法，以通过相似块之间的方向信息来计算优先权，提高不规则纹理区域优先权判断的准确性，同时通过优先修复结构区域，减少结构区域的失真，保持结构区域的一致性。

为实现上述目的，本发明包括如下步骤：

(1)输入待修复图像I，确定待修复区域Ω和待修复区域边界

(2)对中心点在待修复区域边界上的待修复块Ψ_p在其t×t邻域内寻找相似块得到相似块集合并计算出待修复块Ψ_p与相似块之间的水平夹角α_j，得到夹角集合{α₁,α₂,…α_j,…α_N}，j＝1,2…N，N为相似块个数；

(3)计算待修复块Ψ_p与相似块水平夹角α_j的加权方差：

其中是夹角集合的均值，w_j是距离权值，表示待修复块Ψ_p与相似块中心点之间的距离；

(4)根据加权方差V(p)计算中心点在待修复区域边界上的所有待修复块Ψ_p的几何稀疏度G(p)：

其中h是平滑参数h＝3×N^2/3×σ²，σ是方差，取值为5；

(5)根据几何稀疏度G(p)将待修复块Ψ_p的优先权定义为：

S_G(p)＝G(p)*C(p)，

其中C(p)是置信度项；

(6)根据几何稀疏度G(p)把待修复区域边界分为结构区域L₁和非结构区域L₂；

(7)对以结构区域L₁中像素点p为中心的待修复块Ψ_p，通过欧式距离在其t×t邻域内寻找M个最相似块，并利用M个最相似块拟合通过像素点p的直线，计算所有直线的交点，直线方向即为通过像素点p的结构边缘方向；保留这些交点中与最近结构区域L₁中像素点距离小于9的所有交点，交点邻域L₃为所有保留交点的t₁×t₁邻域集合，其中M取值为22，；

(8)对以结构区域L₁中像素点为中心的块根据优先权S_G(p)进行块填充修复，直到结构区域L₁属于交点邻域L₃为止；

(9)用Criminisi优先权对非结构区域L₂中的块进行块填充修复，直到非结构区域L₂中像素点都被填充修复；

(10)根据优先权式S_G(p)对交点邻域L₃进行块填充修复，直到交点邻域L₃中像素点都被填充修复，恢复出与原图像接近的结果图像。

本发明与现有的技术相比具有以下优点：

1.本发明中运用了相似块之间的方向信息，很好区分待修复区域上的像素点为结构区域和非结构，有效的提高了非规则纹理区域的优先权判断。

2.本发明提出通过直线拟合先修复结构区域，然后再修复其它区域，不仅保持了基于纹理图像修复方法对纹理修复的优点而且结构有良好的一致性。

附图说明

图1是本发明的实现流程图；

图2是第一幅未破损的测试图像；

图3是第一幅含破损的待修复原图像；

图4是用本发明与现有两种方法对图3的修复结果图；

图5是第二幅未破损的测试图像；

图6是第二幅含破损的待修复原图像；

图7是用本发明与现有两种方法对图6的修复结果图；

图8是第三幅未破损的测试图像；

图9是第三幅含破损的待修复原图像；

图10是用本发明和现有两种方法对图9的修复结果图。

具体实施方式

以下参照附图，对本发明的技术方案和效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1，输入待修复图像I，确定待修复区域Ω和待修复区域边界

步骤2，计算中心点在待修复区域边界上的待修复块Ψ_p的几何结构稀疏度。

(2.1)对中心点在待修复区域边界上的待修复块Ψ_p，根据下式在其t×t邻域内寻找相似块

其中d(·)表示欧式距离，|Ψ_p|表示待修复块Ψ_p的个数，T是阈值，取值为2.5，得到相似块集合计算出待修复块Ψ_p与相似块之间的水平夹角α_j，得到夹角集合α＝{α₁,α₂,…,α_N}，j＝1,2…N，N为相似块个数；

(2.2)计算待修复块Ψ_p与相似块水平夹角α_j的加权方差：

其中是夹角集合α的均值；w_j是距离权值，表示待修复块Ψ_p与相似块中心点之间的距离；

(2.3)根据加权方差V(p)计算中心点在待修复区域边界上的所有待修复块Ψ_p的几何稀疏度G(p)：

其中h是平滑参数h＝3×N^2/3×σ²；σ是方差，取值为5，exp(·)表示以自然常数e为底的指数函数。

步骤3，根据几何结构稀疏度G(p)定义待修复块Ψ_p的优先权为：

S_G(p)＝G(p)*C(p)，

其中C(p)是置信度项，表示图像像素点的可信程度；C(p)初始化：C(p)＝0,p∈Ω，C(p)＝1，p∈(I-Ω)，利用如下公式计算待修复Ψ_p中心点的置信度项：

其中q为待修复块Ψ_p中像素点值已知的点，C(q)为像素点q的置信度。

步骤4，由几何结构稀疏度G(p)把待修复区域边界分为结构区域L₁和非结构区域L₂，当待修复区域边界上像素点p的几何结构稀疏度G(p)＞β，则像素点p属于结构区域L₁，否则像素点p属于非结构区域L₂，β为阈值，取值为0.9；

步骤5，寻找结构边缘方向的交点邻域L₃。

(5.1)对以结构区域L₁中像素点p为中心的待修复块Ψ_p，通过欧式距离在其t×t邻域内寻找M个最相似块{Ψ₁,Ψ₂,…Ψ_i…,Ψ_M}，i＝1,2…M，M取值为22，并利用M个最相似块拟合通过像素点p的直线，利用如下公式拟合通过p的直线y＝Ax+B：

其中x_i、y_i为相似块Ψ_i中心点坐标，A为直线的斜率，B为直线在y轴的截距，同时直线的斜率A和直线在y轴的截距B满足：

y_p-Ax_p-B＝0，

其中x_p、x_p为待修复块Ψ_p中心点p坐标；

(5.2)计算所有直线的交点，直线方向即为通过像素点p的结构边缘方向，并保留这些交点中与最近结构区域L₁中像素点距离小于9的所有交点，交点邻域L₃为所有保留交点的t₁×t₁邻域集合，其中t₁取值为11；

步骤6，根据优先权对结构区域L₁进行优先填充修复。

(6.1)对以结构区域L₁中像素点为中心点的待修复块中，选取优先权S_G(p)最高的待修复块

(6.2)对具有最高优先权的待修复块通过欧式距离在t×t邻域内寻找其最相似块将待修复块中位于待修复区域的像素点的值用最相似块中相同位置的像素点的值覆盖；

(6.3)将已完成值覆盖的点的置信度置为待修复块中心点的置信度C(q₁)，即：

其中表示已完成值覆盖的点。

步骤7，重复步骤1～6，直到结构区域L₁属于交点邻域L₃为止，当找到交点邻域L₃时，重复执行完步骤4和步骤6，即跳过步骤5。

步骤,8，根据Criminisi优先权对非结构区域L₂中块的进行块填充修复。

(8.1)确定非结构区域L₂中的待修复区域边界

(8.2)对中心点位于待修复区域边界上的待修复块采用下式计算待修复块的Criminisi优先权：

S_D(p₂)＝D(p₂)*C(p₂)，

其中C(p₂)为置信度项，D(p₂)为数据项：

其中为在像素点p₂处与待修复区域边界垂直的单位向量，▽I^⊥为像素点p₂处与梯度垂直的单位向量，即等照度线方向，λ为标准化参数，λ取值为255；

(8.3)对于优先权最高的待修复块通过欧式距离在t×t邻域内寻找其最相似块将待修复块中位于待修复区域的像素点的值用最相似块中相同位置的像素点的值覆盖；

(8.4)将已完成值覆盖的点的置信度置为待修复块中心点的置信度C(q₂)，即：

其中表示已完成值覆盖的点；

(8.5)重复步骤(8.1)～(8.4)，直到非结构区域L₂中像素点都被填充修复，即所有像素点都被值覆盖。

步骤9，根据优先权式S_G(p)对交点邻域L₃进行块填充修复：

(9.1)确定交点邻域L₃中的待修复区域边界

(9.2)对中心点位于待修复区域边界上的待修复块根据优先权式S_G(p)计算待修复块的优先权；

(9.3)对于优先权最高的待修复块通过欧式距离在t×t邻域内寻找其最相似块将待修复块中位于待修复区域的像素点的值用最相似块中相同位置的像素点的值覆盖；

(9.4)将已完成值覆盖的点的置信度置为待修复块中心点的置信度C(q₃)，即：

其中表示已完成值覆盖的点；

(9.5)重复步骤(9.1)～(9.4)，直到交点邻域L₃中像素点都被填充修复，恢复出与原图像接近的结果图像。

本发明效果可以通过以下仿真实验进行验证：

1.实验条件与方法

硬件平台为：处理器为Intel(r)Core2 T6400@2.0GHz，内存为2.0G，硬盘320G,操作系统为Microsoft windows sever 2007；

软件平台：MATLAB2012a；

实验方法：分别为本发明与现有的Criminisi方法以及基于块稀疏的块扩散图像修复方法。

2.仿真内容与结果

在上述实验条件下，分别进行三个部分的实验。

仿真一，利用本发明与现有两种方法，对含破损待修复图像图3进行修复处理，结果如图4。其中图4(a)为使用本发明修复的结果图，图4(b)为使用现有Criminisi方法修复的结果图，图4(c)为使用现有基于块稀疏的块扩散图像修复方法修复的结果图。

分别将上述三种方法的实验结果图4(a)，图4(b)和图4(c)与未破损图像图3进行对比，从视觉效果上看，使用本发明能很好的保持结构的一致性。

仿真二，利用本发明与现有两种方法，对含破损待修复图像图6进行修复处理，结果如图7。其中图7(a)为使用本发明修复的结果图，图7(b)为使用Crinminisi方法修复的结果图，图7(c)为使用基于块稀疏的块扩散图像修复方法修复的结果图。

分别将上述三种方法的实验结果图7(a)，图7(b)和图7(c)分别与未破损图像图5进行对比，从视觉效果上看，使用本发明能保持结构的一致性，使结构看起来更加自然。

仿真三，利用本发明与现有两种方法，对含破损待修复图像图9进行修复处理，结果如图10。其中图10(a)为使用本发明修复的结果图，图10(b)为使用Crinminisi方法修复的结果图，图10(c)为使用基于块稀疏的块扩散图像修复方法修复的结果图。

分别将上述三种方法的实验结果图10(a)，图10(b)和图10(c)与未破损图像图8进行对比，从视觉效果上看，使用本发明能更好的保持结构区域一致性，纹理区域更加接近原图，得到的修复结果图更加清晰自然。

分别计算上述三种方法对含破损带修复图像图6的修复结果的峰值信噪比PSNR，其结果如表1所示。

表1 使用不同方法修复结果的PSNR值对比

测试图像	Criminisi	结构稀疏	本发明
				仿真二	35.45	36.11	39.42

从表1中可以看出，本发明方法的峰值信噪比PSNR比现有两种方法都有提高。

以上实验结果表明，本发明无论在客观指标还是主观效果上，都表现出了较好的性能，在保持结构效果的同时，获得了高质量的修复结果。

Claims

1.一种基于块几何稀疏度的图像修复方法，包括下步骤：

(1)输入待修复图像I，确定待修复区域Ω和待修复区域边界

(2)对中心点在待修复区域边界上的待修复块Ψ_p在其t×t邻域内按式寻找相似块得到相似块集合并计算出待修复块Ψ_p与相似块之间的水平夹角α_j，得到夹角集合α＝{α₁,α₂,…α_j,…α_N}，其中j＝1,2…N，N为相似块个数；d(·)表示欧式距离，|Ψ_p|表示待修复块Ψ_p的个数，T是阈值，取值为2.5，得到相似块集合；

(3)计算待修复块Ψ_p与相似块水平夹角α_j的加权方差：

其中h是平滑参数h＝3×N^2/3×σ²，σ是方差，取值为5；

(5)根据几何稀疏度G(p)将待修复块Ψ_p的优先权定义为：

S_G(p)＝G(p)*C(p)，

其中C(p)是置信度项；

(7)对以结构区域L₁中像素点p为中心的待修复块Ψ_p，通过欧式距离在其t×t邻域内寻找M个最相似块，并利用M个最相似块拟合通过像素点p的直线，计算所有直线的交点，直线方向即为通过像素点p的结构边缘方向；保留这些交点中与最近结构区域L₁中像素点距离小于9的所有交点，交点邻域L₃为所有保留交点的t₁×t₁邻域集合，其中M取值为22；

2.根据权利要求1所述的基于块几何稀疏度的图像修复方法，其特征在于步骤(7)所述的利用M个最相似块拟合通过像素点p的直线，按如下步骤进行：

(7a)对以结构区域L₁中像素点p为中心的待修复块Ψ_p，通过欧式距离在其t×t邻域内寻找M个最相似块{Ψ₁,Ψ₂,…Ψ_i…,Ψ_M}，i＝1,2…M；

(7b)利用如下公式拟合通过像素点p坐标的直线y＝Ax+B：

y_p-Ax_p-B＝0，

其中x_p、y_p为待修复块Ψ_p中心点坐标。

3.根据权利要求1所述的基于块几何稀疏度的图像修复方法，其特征在于步骤(8)所述对以结构区域L₁中像素点为中心的块根据优先权S_G(p)进行块填充修复，按照如下步骤进行：

(8a)对以结构区域L₁中像素点为中心点待修复块中，选取优先权S_G(p₁)最高的待修复块

(8b)对于优先权最高的待修复块通过欧式距离在t×t邻域内寻找其最相似块将待修复块中位于待修复区域的像素点的值用最相似块中相同位置的像素点的值覆盖；

(8c)将已完成值覆盖的点的置信度置为待修复块中心点的置信度项C(q₁)，即：

其中表示已完成值覆盖的点。

4.根据权利要求1所述的基于块几何稀疏度的图像修复方法，其特征在于步骤(9)所述用Criminisi方法对非结构区域L₂中块的优先权进行块填充修复，按照如下步骤进行：

(9a)确定非结构区域L₂中的待修复区域边界

(9b)对中心点位于待修复区域边界上的待修复块采用下式计算待修复块的Criminisi优先权：

S_D(p₂)＝D(p₂)*C(p₂)，

其中D(p₂)为像素点p₂的数据项，C(p₂)为像素点p₂置信度项；

(9c)对于优先权最高的待修复块通过欧式距离在t×t邻域内寻找其最相似块将待修复块中位于待修复区域的像素点的值用最相似块中相同位置的像素点的值覆盖；

(9d)将已完成值覆盖的点的置信度置为待修复块中心点的置信度项C(q₂)：

其中表示已完成值覆盖的点。

5.根据权利要求1所述的基于块几何稀疏度的图像修复方法，其特征在于步骤(10)所述根据优先权式S_G(p)对交点邻域L₃进行块填充修复，按照如下步骤进行：

(10a)确定交点邻域L₃中的待修复区域边界

(10b)对中心点位于待修复区域边界上的待修复块根据优先权式S_G(p)计算待修复块的优先权；

(10c)对于优先权最高的待修复块通过欧式距离在t×t邻域内寻找其最相似块将待修复块中位于待修复区域的像素点的值用最相似块中相同位置的像素点的值覆盖；

(10d)将已完成值覆盖的点的置信度置为待修复块中心点q₃的置信度C(q₃)：

其中表示已完成值覆盖的点。