CN105654431B - 一种对存在遮挡情况的图像去模糊方法 - Google Patents

Abstract

本发明涉及一种对存在遮挡情况的图像去模糊方法，其特征在于包括以下内容：1)根据需要识别的目标，在待处理的图像中确定遮挡模板；2)建立描述存在遮挡的模糊图像模型；3)对模糊图像模型进行求解得到清晰图像。本发明能够有效去除由于遮挡带来的振铃效应，使得复原后的图像的质量得到很大的提高，可以广泛应用于带有遮挡图像的处理中。

Description

一种对存在遮挡情况的图像去模糊方法

技术领域

本发明涉及一种图像处理方法，特别是关于一种对存在遮挡情况的图像去模糊方法。

背景技术

由于运动、散焦等现象造成的图像模糊会经常出现在遥感、安防等图像和视频的应用场景中，需要在后期进行反卷积复原。

在一些特定应用如视频监控图像中，往往需要在画面上记录日期、时间和通道等信息，一般情况下会在画面上直接叠加这些信息，形成对画面内容的遮挡，如图1(a)所示。在这种情况下进行模糊图像复原存在很大的困难，并且对应的复原方法相对较少。但是由于面临的是应用中的实际问题，逐渐引起研究人员的注意。在许多实际应用中，模糊图像中往往会存在被遮挡的情况。当对该类模糊图像进行复原时，由于遮挡带来的振铃等效应将会严重影响复原后图像的质量，如图1(b)所示，可以明显看出在复原结果中遮挡区域附近振铃影响非常明显。

发明内容

针对上述问题，本发明的目的是提供一种能够有效去除由于遮挡带来的振铃效应的对存在遮挡情况的图像去模糊方法。

为实现上述目的，本发明采取以下技术方案：一种对存在遮挡情况的图像去模糊方法，其特征在于包括以下内容：

1)根据需要识别的目标，在待处理的图像中确定遮挡模板；

2)建立描述存在遮挡的模糊图像模型；

3)对模糊图像模型进行求解得到存在遮挡的清晰图像。

进一步，所述步骤2)建立描述存在遮挡的模糊图像模型：

式中，表示扩展有效卷积运算，Y表示模糊图像，X_C表示遮挡后的清晰图像，Q表示遮挡区域，K表示卷积核，N表示噪声。

进一步，所述步骤3)对模糊图像模型进行求解得到存在遮挡的清晰图像，具体过程为：

3.1)将模糊图像模型写成矩阵向量乘积形式：

Y_V＝K_MX_V+N_V

式中，Y表示模糊图像，X表示未遮挡的清晰图像，N表示噪声，带下标M的表示原变量的矩阵形式，带下标V的表示原变量的向量形式；

3.2)采用目标函数最小化噪声项：

3.3)使目标函数的导数为零得到：

3.4)采用共轭梯度法求解获得存在遮挡的清晰图像。

进一步，所述步骤3.4)采用共轭梯度法求解获得清晰图像具体为：令X_V＝x，在共轭梯度法中，求解方程Ax＝b在于计算Ax，具体过程为：

计算Ax时，涉及两次矩阵向量乘积，依次为1)r₁＝K_Mx，2)采用扩展有效卷积计算r₁＝K_Mx，采用扩展完全卷积计算

计算具体过程与计算相同。

进一步，扩展有效卷积计算过程为：

a)输入未遮挡的清晰图像X，遮挡区域Q，卷积核K，采用通用有效卷方法积计算：

式中，代表点乘操作，conv2表示卷积运算；

b)计算Q_V＝Erode(Q,K),函数Erode表示对输入的区域进行收缩；

c)取出Q_V中对应通用有效卷积的部分Q_VV；

d)Y＝Q_VV°Y_t，输出Y。

进一步，扩展完全卷积计算过程为：

A)输入未遮挡的清晰图像X，遮挡区域Q，卷积核K，利用通用完全卷方法积计算：

式中，代表点乘操作，conv2表示卷积运算；

B)计算Q_V＝Dilate(Q,K)，函数Dilate是将遮挡模板沿边界向外进行扩展操作；

C)将Q_V外边界向外扩充至大小与Y_t相同，扩充后的结果为Q_VV；

D)输出Y。

本发明由于采取以上技术方案，其具有以下优点：1、本发明根据需要识别的目标，在待处理的图像中确定遮挡模板，并建立描述存在遮挡的模糊图像模型，进一步对模糊图像模型进行求解得到清晰图像，因此能够有效去除由于遮挡带来的振铃效应，使得复原后的图像的质量得到很大的提高。2、本发明对遮挡边界处的振铃处理控制的更好，鲁棒性更好。3、本发明对有效卷积模型进行扩展，提出了一个存在遮挡情况下模糊图像的描述模型，这个模型能够较为合理的解决遮挡情况下模糊图像的生成问题，对应的复原问题适合于利用常规优化方法求解，试验结果表明，利用本发明的模型能够较好地解决遮挡情况下模糊图像复原。本发明可以广泛应用于带有遮挡图像的处理中。

附图说明

图1(a)是现有技术中带有遮挡的图像示意图；

图1(b)是现有技术中带有遮挡的图像复原结果示意图；

图2是本发明的有效卷积示意图；

图3是本发明的存在遮挡的图像示意图；

图4是本发明的遮挡情况下的有效卷积示意图；

图5是本发明其中一实施例的处理流程示例，其中，图(a)是本发明实施例需要处理的原始图像；图(b)是采用现有技术中Handling Outliers in Non-Blind ImageDeconvolution文献方法处理的结果示意图；图(c)是采用现有的R-L方法处理的结果示意图；图(d)是采用本发明方法的处理结果示意图；图(e)是选择的遮挡模板，图(f)和图(g)分别是图(b)和图(d)的相应部位的放大比较图；

图6是本发明另一实施例的处理流程示例，其中，图(a)是本发明实施例需要处理的原始图像；图(b)是采用现有技术中Handling Outliers in Non-Blind ImageDeconvolution文献方法处理的结果示意图；图(c)是采用现有的R-L方法处理的结果示意图；图(d)是采用本发明方法的处理结果示意图；图(e)是选择的遮挡模板。

具体实施方式

以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

本发明提供一种对存在遮挡情况的图像去模糊方法，包括以下步骤：

1、根据需要识别的目标，在待处理的图像中确定遮挡模板

对实际待处理图像中的遮挡区域，可以采用人工交互方式确定遮挡模板。如果遮挡区域内容比较简单，如白/黑色文字，也可以利用合适的阈值就确定遮挡模板，遮挡模板的确定是现有技术，在此不再赘述。

2、建立描述存在遮挡的模糊图像模型：

式中，是定义的存在遮挡情况下的模糊过程，称为扩展有效卷积运算，Y表示模糊图像，X_C和X分别遮挡后的清晰图像和未遮挡的清晰图像，Q代表遮挡区域，K代表卷积核，N表示噪声。

3、对上述模糊图像模型进行求解得到清晰图像，具体过程为：

1)将模糊图像模型写成矩阵向量乘积形式：

Y_V＝K_MX_V+N_V (2)

式中，带下标M的表示原变量的矩阵形式，带下标V的表示原变量的向量形式。

2)采用目标函数最小化噪声项：

3)使目标函数导数为零得到：

4)采用共轭梯度法求解获得清晰图像：

通过共轭梯度法求解这个形如Ax＝b方程就可以解出清晰图像，其中， 其中关键是如何计算相关乘积项。在共轭梯度法中，求解方程Ax＝b涉及到的主要计算过程在于计算Ax，当然也需要计算一次，具体过程为：

如图2、图3所示，当计算Ax时，涉及两次矩阵向量乘积，依次为1)r₁＝K_Mx，2)其中r₁＝K_Mx的计算相对简单，如果采用实际成像过程模型，模糊图像大小为m×n，模糊核大小为p×q，清晰图像大小为(m+p-1)×(n+q-1)，给出大小(m+p-1)×(n+q-1)清晰图像的初始估计值，可以采用扩展有效卷积计算r₁＝K_Mx，大小为m×n。计算采用扩展完全卷积方式，首先对应的卷积核是将K中心对称翻转后的结果，其次根据前面假定清晰图像比模糊图像尺寸大的假设，的尺寸应该是[(m+p-1)×(n+q-1)]×[p×q]，也就是说，Ax的尺寸应该比r₁大。

当计算步骤与计算的相同，具体不在赘述。

在一个优选的实施例中，为了进一步改善图像复原效果，可以模型中加上总变分最小约束，目标函数变为：

式中，λ表示可调节的参数，表示X_V的梯度，可以采用现有SplitBergman方法求解上述优化方程，其中，的求解采用步骤3的解法。

在一个优选的实施例中，扩展有效卷积的基本思路与通用有效卷积一样，模糊图像是清晰图像有效数据卷积后的结果。如图4所示，虚线内部是清晰图像的支撑区域，点划线内部是模糊图像的支撑区域，浅色部分是模糊图像有效区域，白色部分是清晰图像的遮挡区域，深色部分是清晰图像有效区域(包含被浅色模糊图像遮挡的区域)。给定清晰图像的遮挡模板Q，具体的模糊图像计算公式如下：

式中，X_C和X分别代表遮挡情况下扩展有效卷积，遮挡后的清晰图像和未遮挡的清晰图像，代表点乘操作。其中关键在于有效卷积的计算过程中确定有效卷积区域。在扩展有效卷积中采用如下的方式确定有效卷积区域：

Q_V＝Erode(Q,K)

式中，函数Erode表示对输入的区域进行收缩，采用类似形态学中的图像腐蚀方法，沿边界向内收缩，扩展有效卷积计算步骤如下：

1)输入未遮挡的清晰图像X，遮挡区域Q，卷积核K，利用通用有效卷方法积计算conv2为卷积运算；

2)计算Q_V＝Erode(Q,K)；

3)取出Q_V中对应通用有效卷积的部分Q_VV；

4)输出Y。

在一个优选的实施例中，扩展完全卷积是将通用完全卷积做与扩展有效卷积类似的推理，扩展完全卷积算法如下：

1)输入未遮挡的清晰图像X，遮挡区域Q，卷积核K，利用通用完全卷方法积计算conv2为卷积运算；

2)计算Q_V＝Dilate(Q,K)，函数Dilate是将遮挡模板沿边界向外进行扩展操作，类似于形态学中的图像膨胀；

3)将Q_V外边界向外扩充至大小与Y_t相同，扩充后的结果为Q_VV；

4)输出Y。

下面通过具体实施例对采用本发明的图像去模糊方法对图像遮挡情况进行去除效果进行验证。实际图像试验采用两类图像，一类是存在清晰图像遮挡情况，另一类是存在字符遮挡的实际监控视频图像。

存在清晰图像遮挡情况在实际拍摄照片时很常见，如图5(a)～(f)所示，遮挡模板由人工选定，分别采用现有Handling Outliers in Non-Blind Image Deconvolution文献中提到的方法、R-L方法和本发明的图像去模糊方法分别对原图进行处理，通过处理结果可以清晰看到，采用本发明的图像去模糊方法对遮挡边界处的振铃处理控制的更好，鲁棒性更好。

在实际的监控视频图像，如图6(a)～(e)所示，在图像中有文字将图像的一部分内容遮挡，由于监控系统本身的原因，图像整体模糊。在试验过程中，首先通过人工交互的方式确定模糊核，然后利用得到的模糊核采用现有Handling Outliers in Non-Blind ImageDeconvolution文献中提到的方法，R-L复原方法和本文的图像去模糊方法进行复原。从图6中可以看到，模糊图像上叠加的字符虽然只在车牌号最右边有很小一部分遮挡，但仍然对复原结果有影响，车牌的最后一位应该是“2”，但是在Handling Outliers in Non-BlindImage Deconvolution文献中及R-L方法的结果中都因为遮挡的影响，最后一位很容易与数字“7”混淆，本发明在遮挡部位附近的处理比现有Handling Outliers in Non-BlindImage Deconvolution文献处理的结果更自然。

上述各实施例仅用于说明本发明，其中方法的各实施步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (2)

1.一种对存在遮挡情况的图像去模糊方法，其特征在于包括以下内容：

1)根据需要识别的目标，在待处理的图像中确定遮挡模板；

2)建立描述存在遮挡的模糊图像模型:

式中，表示扩展有效卷积运算，带下标V的表示原变量的向量形式，Y表示存在遮挡的模糊图像，X_C表示存在遮挡的清晰图像，Q表示遮挡区域，K表示卷积核，N表示噪声；其中，扩展有效卷积计算过程为：

a)输入未遮挡的清晰图像X，遮挡区域Q，卷积核K，采用通用有效卷积方法计算：

式中，代表点乘操作，conv2表示卷积运算；

b)计算Q_V＝Erode(Q，K),函数Erode表示对输入的区域进行收缩；

c)取出Q_V中对应通用有效卷积的部分Q_VV；

d)输出Y′；

3)对模糊图像模型进行求解得到存在遮挡的清晰图像。

2.如权利要求1所述的一种对存在遮挡情况的图像去模糊方法，其特征在于，所述步骤3)对模糊图像模型进行求解得到存在遮挡的清晰图像，具体过程为：

3.1)将模糊图像模型写成矩阵向量乘积形式：

Y_V＝K_MX_CV+N_V

式中，带下标M的表示原变量的矩阵形式；

3.2)采用目标函数最小化噪声项：

3.3)使目标函数的导数为零得到：

3.4)采用共轭梯度法求解获得存在遮挡的清晰图像。