CN102170526B

CN102170526B - 散焦模糊核计算及其散焦模糊图像清晰化处理方法

Info

Publication number: CN102170526B
Application number: CN201110069135A
Authority: CN
Inventors: 梅林�; 蔡烜; 刘伟豪; 沙淼淼; 吴炬; 李万才
Original assignee: Third Research Institute of the Ministry of Public Security
Current assignee: Third Research Institute of the Ministry of Public Security
Priority date: 2011-03-22
Filing date: 2011-03-22
Publication date: 2012-09-05
Anticipated expiration: 2031-03-22
Also published as: CN102170526A

Abstract

本发明公开了一种散焦模糊核计算及其散焦模糊图像清晰化处理方法，该方法预先在照相机或摄像机镜头中加载一个设计好的特定样式遮光板，更多地保留图像拍摄中的高频信息，然后通过拍摄同一场景的清晰图像和散焦模糊图像各一张，基于经典的图像退化模型建立这两幅图像间的关系，结合最优的散焦模糊核值具有对称和稀疏分布的特点，有效估计信噪比参数，最后设计一个演化算法计算该模糊图像所在位置的散焦模糊核。改造过的光圈使在这个位置拍摄的所有散焦模糊图像保留更多高频信息，利用所计算的散焦模糊核对它们进行解卷积能够得到更清晰的图像。

Description

散焦模糊核计算及其散焦模糊图像清晰化处理方法

技术领域

本发明属于数字图像恢复技术领域，具体涉及散焦模糊核计算及其散焦模糊图像清晰化处理方法。

背景技术

在许多实际环境中使用数码相机拍摄图像常常会得到模糊的图像，如所拍目标快速移动、所拍目标不在焦平面上、场景中大气扰动等。那些因为拍摄目标未处于成像系统的焦平面上产生的图像模糊称为散焦模糊，如图1所示。散焦模糊图像清晰化技术在光学、天文学、计算机视觉及其计算机图形学等许多学科中都是一个重要研究方向，在环境检测和物证鉴定等多领域具有非常巨大的应用价值。

通常地，人们通过调节光圈大小控制景深，减小光圈意味着减少进光量，使得信噪比减小，相机的景深增加，因此为了提高信噪比，人们常常使用大光圈的镜头，从而也减小了景深。然而，普通的大光圈镜头会抑制散焦模糊图像的高频信息，从而丢弃了图像的许多重要细节信息，因此许多研究人员致力于设计合适的光圈尽可能多地保存拍摄中的高频图像信息，以改进对散焦模糊图像清晰化效果。一般地，散焦核同光圈形状和散焦程度密切相关，散焦核的形状由光圈形状决定，散焦程度和成像焦平面的距离有关，如图2a-2b所示。

迄今为止，国内外许多学者纷纷投入到模糊图像复原领域的研究中，他们大致从以下两个方面对模糊图像进行复原。如果具备足够的有关原始图像的先验知识，那么为原始图像建立一个数学模型并根据它对模糊图像进行拟合会更有效，此时，模糊图像的复原是一个检测问题。然而在实际生活中，我们往往缺乏原始图像的先验知识，这时就必须根据一些假设对图像的退化过程建立模型，这是一种估计方法。近些年来，人们在研究相机或摄像机成像的过程中发现，开放式光圈(如图2a所示)在图像退化模糊的情况下往往会大幅削减其高频信息，然而高频信息又能够直接反应图像的清晰程度，这便增加了人们事后对模糊图像恢复的难度，影响了图像的复原效果。

发明内容

本发明针对现有技术所存在的缺陷，而提供一种散焦模糊核计算及其散焦模糊图像清晰化处理方法。该方法能够实现对散焦模糊图像的清晰化处理。

为了达到上述目的，本发明采用如下技术方案：

散焦模糊核计算及其散焦模糊图像清晰化处理方法，该方法包括如下步骤：

(1)将用于产生对称散焦模糊核的遮光板插入相机的镜头；

(2)利用装有经步骤(1)改造过的镜头的相机拍摄同一场景清晰图像一张，离相机不同距离的散焦模糊图像各一张；

(3)配准图像，估计图像中的信噪比并利用经典的图像退化模型建立清晰图像和模糊图像间的关系；

(4)基于清晰图像和散焦模糊图像设计演化算法计算不同距离的散焦模糊核；

(5)利用计算得到的散焦模糊核对对应散焦位置上的其他模糊图像解卷积，实现散焦模糊图像的清晰化处理。

在本发明的一实施例中，所述步骤(1)中遮光板具有对称形状，且产生的散焦模糊核值具有对称和稀疏分布的特点。

在本发明的一实施例中，所述步骤(2)中拍摄图像时需固定相机和拍摄目标，确定清晰图像的焦平面位置，然后以10厘米为间隔调节相机的成像焦平面远离清晰图像的焦平面位置。

在本发明的一实施例中，所述步骤(3)中对清晰图像进行一定的缩放以匹配对应的散焦模糊图像。

进一步的，所述步骤(3)中使用的经典图像退化模型：g＝k*f+n，其中f，g，k分别是清晰图像，模糊图像和散焦模糊核，n是噪声且服从分布N(0，σ²)。

在本发明的一实施例中，所述步骤(4)中使用演化算法对散焦模糊核进行实数编码，计算参考的模糊图像：

\hat{g} = k * f + n

其评估函数使用相关系数：

Δ (g, \hat{g}) = | \frac{E (g - Eg) (\hat{g} - E \hat{g})}{\sqrt{Dg} \sqrt{D \hat{g}}} - 1 |

其中

Eξ和Dξ分别表示ξ的均值和方差。

在本发明的一实施例中，所述步骤(5)利用步骤(4)所求的散焦模糊核和常用的约束最小平方滤波或者维纳滤波方法解卷积模糊图像，以此达到对散焦模糊图像的清晰化处理。

本发明根据散焦模糊图像的统计特征设计具有最佳聚焦深度鉴别能力的特殊样式遮光板；对图像的深度信息进行有效估计；基于所得的先验知识设计演化算法计算所需的卷积核；调节相关参数，利用解卷积算法实现对散焦模糊图像的清晰化处理。

本发明可广泛用于安防监控市场，既可以用于生产作为原有摄像头的替代品，也可以对原有摄像头进行升级，极大地节约了建设成本，而且使复原的图像达到更清晰的效果，如图4所示。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为薄透镜成像示意图。

图2a为普通样式光圈的结构示意图。

图2b为普通样式光圈对应的散焦模糊核形状的示意图。

图3a为本发明中光圈的结构示意图。

图3b为本发明中光圈对应的散焦模糊核形状的示意图。

图4为散焦模糊图像复原效果示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本发明为复原常见的散焦模糊图像，预先在照相机或摄像机镜头中加载一个设计好的特定样式光圈，更多地保留图像拍摄中的高频信息，然后设计一个演化算法计算该模糊图像所在位置的散焦模糊核，并利用所计算的散焦模糊核对它们进行解卷积能够得到更清晰的图像。

基于上述原理，本发明的具体实施如下：

第一步：将预先设计好的特殊样式遮光板插入相机镜头。这些特殊样式的遮光板大都具有对称的形状，主要用于产生对称的散焦模糊核，如图3a-3b所示。对称的散焦模糊核在频域中具有更多的零频率，结合图像中的零频率信息，可以更多地保留高频信息，便于以后散焦模糊图像的清晰化处理。

第二步：固定装有改造过镜头的相机和拍摄目标，即固定相应的拍摄位置和焦距，拍摄同一目标清晰图像一张f，记下清晰图像成像焦平面的位置；沿着光轴方向水平移动拍摄目标远离焦平面，以10cm为间隔拍摄模糊图像一张g，并记录其位置信息。

第三步：利用SIFT特征配准清晰图像和模糊图像，估计图像中的信噪比并利用经典的图像退化模型建立清晰图像和模糊图像间的关系。由于模糊图像是沿着光轴方向移动目标产生，因此模糊图像大小可以认为清晰图像进行等比例缩放得到，如图1所示，其中缩放参数为：

r = \frac{| D_{k} - D | \cdot f_{0}^{2}}{λ (D - f_{0})}

λ和f₀分别是薄透镜的f-数和焦距。

清晰图像和模糊图像间关系如下：

g＝k*f+n

其中f，g，k分别是清晰图像，模糊图像和散焦模糊核，n是噪声且服从分布N(0，σ²)。信噪比为δ·(|G_x|²+|G_y|²)其中δ是调节参数，G_x和G_y分别是g沿x轴和y轴方向上梯度的福利叶变换。

同随机白噪声不同，自然图像通常具有独特的统计性质，即图像的梯度分布服从长尾分布：

\Pr (x) = e^{- α \underset{i, j}{Σ} h (x (i, j) - x (x + 1, j)) + h (x (i, j) - x (i, j + 1))}

其中h(z)＝|z|²是一个长尾分布函数，x是清晰图像，i和j分别是行下标和列下标。

第四步：使用演化算法对散焦模糊核k进行实数编码。散焦模糊核值呈稀疏分布，即核的大多部分值为0，其灰度直方图在0点值最大，衰减快于高斯分布。在以后的演化算法中，用两个长尾分布的线性组合作为真实散焦模糊核值的分布：

\Pr (k (i, j)) = w_{1} e^{- \frac{k (i, j)}{β_{1}}} + w_{2} e^{- \frac{k (i, j)}{β_{2}}} - - - (1)

其中k(i，j)是散焦核矩阵中第i行第j列的元素，w₁，w₂，β₁和β₂分别是模糊图像过程有待确定的参数。

随机生成m个序列

s_i＝a₁₁a₁₂…a_1na₂₁a₂₂…a_2n…a_n1…a_nn

每一个序列s_i表示一个矩阵

A = (\begin{matrix} a_{11} & a_{12} & \cdot \cdot \cdot & a_{1 n} \\ a_{21} & a_{22} & \cdot \cdot \cdot & a_{2 n} \\ \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \\ a_{n 1} & a_{n 2} & \cdot \cdot \cdot & a_{nn} \end{matrix})

基于矩阵A对称构造散焦核矩阵k：

k = (\begin{matrix} a_{11} & a_{12} & \cdot \cdot \cdot & a_{1 n} & \cdot \cdot \cdot & a_{12} & a_{11} \\ a_{21} & a_{22} & \cdot \cdot \cdot & a_{2 n} & \cdot \cdot \cdot & a_{22} & a_{21} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ a_{n 1} & a_{n 2} & \cdot \cdot \cdot & a_{nn} & \cdot \cdot \cdot & a_{n 2} & a_{n 1} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ a_{21} & a_{22} & \cdot \cdot \cdot & a_{2 n} & \cdot \cdot \cdot & a_{22} & a_{21} \\ a_{11} & a_{12} & \cdot \cdot \cdot & a_{1 n} & \cdot \cdot \cdot & a_{12} & a_{11} \end{matrix})

基于两幅图像的相关系数设计适应值函数：

Δ (g, \hat{g}) = | \frac{E (g - Eg) (\hat{g} - E \hat{g})}{\sqrt{Dg} \sqrt{D \hat{g}}} - 1 | - - - (2)

其中

Eξ和Dξ分别表示ξ的均值和方差。图像g和

越相似，适应函数值越小，所求的散焦模糊核k越准确。

具体演化算法如下(计算散焦模糊核)：

1，初始化当前代数gen＝0；

2，根据公式(1)随机生成m个长度为L的序列作为初始种群；

3，for gen＝1 to GEN do

4，基于每个序列a₁₁...a_1n，a₂₁...a_2n，...，a_n1...a_nn构造矩阵

A = (\begin{matrix} a_{11} & a_{12} & \cdot \cdot \cdot & a_{1 n} \\ a_{21} & a_{22} & \cdot \cdot \cdot & a_{2 n} \\ \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot \\ a_{n 1} & a_{n 2} & \cdot \cdot \cdot & a_{nn} \end{matrix})

5，基于矩阵A对称构造散焦核矩阵k：

k = (\begin{matrix} a_{11} & a_{12} & \cdot \cdot \cdot & a_{1 n} & \cdot \cdot \cdot & a_{12} & a_{11} \\ a_{21} & a_{22} & \cdot \cdot \cdot & a_{2 n} & \cdot \cdot \cdot & a_{22} & a_{21} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ a_{n 1} & a_{n 2} & \cdot \cdot \cdot & a_{nn} & \cdot \cdot \cdot & a_{n 2} & a_{n 1} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ a_{21} & a_{22} & \cdot \cdot \cdot & a_{2 n} & \cdot \cdot \cdot & a_{22} & a_{21} \\ a_{11} & a_{12} & \cdot \cdot \cdot & a_{1 n} & \cdot \cdot \cdot & a_{12} & a_{11} \end{matrix})

6，基于公式(2)计算每个序列A的适应值；

7，从种群中选择适应值最大的前am个序列作为优秀种群S；

8，repeat

9，从S中选择两个序列a和b；

10，对a和b进行5次杂交变异，产生10个新个体；

11，把10个新个体中具有最优适应值的个体加入到优秀种群S中；

12，until|S|＝m

13，end for。

第五步：利用所求的散焦模糊核k和常用的约束最小平方滤波或者维纳滤波方法解卷积对应位置的模糊图像g，以此达到对散焦模糊图像的清晰化处理。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.散焦模糊核计算及其散焦模糊图像清晰化处理方法，其特征在于，所述方法包括如下步骤：

(1)将用于产生对称散焦模糊核的遮光板插入相机的镜头；

2.根据权利要求1所述的散焦模糊核计算及其散焦模糊图像清晰化处理方法，其特征在于，所述步骤(1)中遮光板具有对称形状，且产生的散焦模糊核值具有对称和稀疏分布的特点。

3.根据权利要求1所述的散焦模糊核计算及其散焦模糊图像清晰化处理方法，其特征在于，所述步骤(2)中拍摄图像时需固定相机和拍摄目标，确定清晰图像的焦平面位置，然后以10厘米为间隔调节相机的成像焦平面远离清晰图像的焦平面位置。

4.根据权利要求1所述的散焦模糊核计算及其散焦模糊图像清晰化处理方法，其特征在于，所述步骤(3)中对清晰图像进行一定的缩放以匹配对应的散焦模糊图像。

5.根据权利要求1所述的散焦模糊核计算及其散焦模糊图像清晰化处理方法，其特征在于，所述步骤(3)中使用的经典图像退化模型：g＝k*f+n，其中f，g，k分别是清晰图像，模糊图像和散焦模糊核，n是噪声且服从分布N(0，σ²)，信噪比为δ·(|G_x|²+|G_y|²)，其中δ是调节参数，G_x和G_y分别是g沿x轴和y轴方向上梯度的福利叶变换。

6.根据权利要求1所述的散焦模糊核计算及其散焦模糊图像清晰化处理方法，其特征在于，所述步骤(4)中使用演化算法对散焦模糊核进行实数编码，计算参考的模糊图像：

\hat{g} = k * f + n

其评估函数使用相关系数：

Δ (g, \hat{g}) = | \frac{E (g - Eg) (\hat{g} - E \hat{g})}{\sqrt{Dg} \sqrt{D \hat{g}}} - 1 |

其中

Eξ和Dξ分别表示ξ的均值和方差。

7.根据权利要求1所述的散焦模糊核计算及其散焦模糊图像清晰化处理方法，其特征在于，所述步骤(5)利用步骤(4)所求的散焦模糊核和常用的约束最小平方滤波或者维纳滤波方法解卷积模糊图像，以此达到对散焦模糊图像的清晰化处理。