CN102542535A - 虹膜图像的去模糊方法 - Google Patents

Abstract

本发明公开了一种虹膜图像的去模糊方法，包括：步骤S1，分析输入的虹膜图像，判断该虹膜图像的模糊属于离焦模糊或运动模糊，再根据该判断结果初始化得到一点扩散函数；步骤S2，对输入虹膜图像的梯度进行选取，使得在选取出的梯度图上能够更有效地估计点扩散函数，再基于所选择的梯度信息，将所述已初始化的该点扩散函数进一步修正；步骤S3、基于所述修正后的点扩散函数，对模糊的虹膜图像进行修复。本发明可以有效减小模糊虹膜图像对系统识别性能的不利影响，并且可以广泛应用于虹膜识别系统中，使得系统的鲁棒性和可靠性得到提高，放宽对使用者的要求。

Description

虹膜图像的去模糊方法

技术领域

本发明涉及数字图像处理、模式识别和统计学习等技术领域，特别是涉及一种虹膜图像的去模糊方法。

背景技术

随着社会的发展进步，人们对于身份认证的可靠性的要求越来越高。由于生物特征的各种优点，近期研究者们提出了很多的基于生物特征的认证方法。其中，虹膜识别因其本身的高唯一性、强稳定性、非侵犯性等优点，特别适合用于人的身份认证和识别，并且已经有了很多非常成功的应用，特别是在大规模以及高精度要求的情况下。

基于虹膜的身份认证系统通过对虹膜成像装置获取到虹膜图像，再对其进行分析，完成对用户身份的认证或识别。虹膜成像装置在获取虹膜图像的时候，不可避免地会采集到一些不清晰的图片，如图2(b)、图2(c)和图2(d)所示。对于模糊的虹膜图像，其中的纹理细节信息会在一定程度上有所损失。而这一问题导致了虹膜识别的错误拒绝率升高。虹膜成像装置在获取虹膜图像的时候，为了采集到清晰的虹膜图片会对用户提出一些比较苛刻的要求。用户为了通过虹膜识别系统，需要使拍出的虹膜图像足够清晰，不得不去尽量地配合虹膜识别系统。这种对用户配合的严格要求，在一定程度上限制了虹膜识别的应用范围，造成了虹膜识别中最大的瓶颈。

在虹膜成像装置中，有限的景深是造成这一问题的主要原因。过浅的景深使得用户和相机之间的距离只能在一个很小的范围内变化，否则的话捕获到的虹膜纹理将会变得模糊不清，使得识别效果变得不理想，这种模糊被称为离焦模糊。受现阶段硬件设配和虹膜特殊性的限制，为了增加系统的景深，现行的系统往往会使用较大的光圈值。然而，当使用大光圈值时，捕获到的图像会变暗，我们只能通过增加相机的曝光时间来进行弥补。这样，在拍摄照片过程中，如果用户不能保证完全的静止，将会十分容易拍摄到运动模糊的图像。

德国Robert Bosch GmbH公司的Liu等人在其专利U.S.Pat No.2010/0201798AI中提出了一种虹膜图像去模糊方法。该方法通过深度传感器来获得人与相机的距离，估计离焦情况下的点扩散函数，再进行模糊虹膜图像的修复。

虽然上述虹膜去模糊方法取得了不错的恢复效果，但是它仍然存在很多缺陷。首先，它需要对模糊的成因进行假设，即在其系统中只能出现离焦模糊，这使得该方法都只能处理这一种情况下的模糊虹膜图像。当虹膜图像中还存在运动模糊时，此方法将会失效。其次，在这种假设下，使用了给定的点扩散函数的形式。仅通过距离传感器得到的信息去估计点扩散函数的参数，这使得点扩散函数不能够十分准确地反映真实模糊情况。另外，在这一方法中需要添加额外的硬件(深度感知器)来获得人与相机间的距离信息，使得不是所有的虹膜识别系统都能够应用此方法。最后，由于点扩散函数估计和图像噪声建模的不准确，使得图像去模糊的效果不是十分理想。

综上所述，现有的虹膜图像去模糊方法仍存在一定的改进余地，如何同时处理离焦模糊和运动模糊图像，以及如何获得准确的点扩散函数仍然是一个亟待解决的难题。如果能够增强模糊的虹膜图像中的细节信息、修复模糊的虹膜图像，就可以在一定程度上放宽对用户的要求，提高虹膜识别的可靠性和准确性。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的主要目的是针对上述现有技术中存在的问题，提供一种虹膜图像的去模糊方法，以准确、鲁棒地实现模糊虹膜图像的修复。

(二)技术方案

为达到上述目的，本发明提供了一种虹膜图像的去模糊方法，该方法包括：步骤S1、分析输入的虹膜图像，判断该虹膜图像的模糊属于离焦模糊或运动模糊，再根据该判断结果初始化得到一点扩散函数；步骤S2、对输入虹膜图像的梯度进行选取，使得在选取出的梯度图上能够更有效地估计点扩散函数，再基于所选择的梯度信息，将所述已初始化的该点扩散函数进一步修正；步骤S3、基于所述修正后的点扩散函数，对模糊的虹膜图像进行修复。

所述步骤S1包括：步骤S11、在一组人工离焦模糊的虹膜图像上，计算其聚焦程度值，并训练得到聚焦程度值和离焦点扩散函数参数之间的对应关系；步骤S12、在一组人工运动模糊的虹膜图像上，计算光斑的长度信息，并训练得到光斑的长度信息和运动点扩散函数参数之间的对应关系；步骤S13、根据输入的虹膜图像中两场成像的差异程度，判断该虹膜图像的模糊属于离焦模糊或运动模糊，当两场成像的差异较大时，判断其是运动模糊，反之判断其是离焦模糊；步骤S14、当步骤S13中判断为离焦模糊的情况下，对虹膜图像进行进一步的分割，得到虹膜的有效区域，并在此区域上计算聚焦程度值；步骤S15、当步骤S13中判断为运动模糊的情况下，在瞳孔内以其中的光斑为中心，抽取一个子区域，对其频谱进行方向滤波，得到光斑的方向作为运动的方向信息，再根据运动方向上的光斑长度，获得光斑的长度信息；步骤S16、根据步骤S13的判断结果，并根据步骤S14或者步骤S15得到的聚焦程度值、或者方向及长度信息，对所输入的模糊虹膜图像的点扩散函数进行初始化。

在步骤S13之后，还包括以下步骤：抽取模糊虹膜图像两场中的任一场，再差值到原模糊虹膜图像的大小，得到单场的模糊虹膜图像，用于后续的操作，接着，在单场的模糊虹膜图像上进行虹膜的定位，得到用于拟合虹膜内外边界的两个圆的参数，以备步骤S14和S15中使用；

步骤S14中所述离焦模糊的点扩散函数具有如下形式：

$f(x,y)=\frac{1}{{2\mathrm{\π\σ}}_h^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}_h^2}},$

其中(x，y)代表每一个像素点，σ_h为离焦模糊的点扩散函数的参数，且可由聚焦程度值估计出来。

步骤S15中所述离焦模糊的点扩散函数具有如下形式：

$f(x,y)=\left\{\begin{array}{cc}\frac{1}{d},& \begin{array}{c}0\≤\left|x\right|\≤|d\·\cos (\mathrm{\θ}+\frac{\mathrm{\π}}{2})|\mathrm{and}\\ 0\≤\left|y\right|\≤|d\·\sin (\mathrm{\θ}+\frac{\mathrm{\π}}{2})\end{array}\\ 0,& \mathrm{otherwise}\end{array}\right.,$

其中(x，y)代表每一个像素点，d和θ为离焦模糊的点扩散函数的参数，且分别可由光斑的长度和方向信息估计出来。

在步骤S16中，根据步骤S11和步骤S12训练得到的对应关系，对所输入模糊的虹膜图像的点扩散函数进行初始化。

所述步骤S2包括：步骤S21、根据上次循环中的点扩散函数(首次循环中，使用初始点扩散函数)，由单场的模糊虹膜图像，对潜在的清晰虹膜图像进行估计；步骤S22、对估计出的清晰虹膜图像，计算其梯度图，并选择出对于优化点扩散函数有效的区域；步骤S23、根据步骤S22中选择出的清晰虹膜图像中有效梯度图区域，选择出单场模糊虹膜图像对应梯度图的有效区域；步骤S24、根据步骤S22和S23中选择出的梯度信息、已知的单场模糊虹膜图像和本次循环中估计出的清晰虹膜图像，对点扩散函数进行修正；步骤S25、基于新的点扩散函数，重复步骤S21到S24，迭代地修正点扩散函数，使其能够准确地反映真实的模糊原因。

步骤S21和步骤S24中采用的噪声模型，不仅对图像的像素值进行了约束，而且同时对图像的一阶和二阶偏微分进行约束；

步骤S21的能量函数可写成如下形式：

$E_L\left(L\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_i\left|\right|{\∂}_{i}I\⊗f-{\∂}_{*}L\left|\right|+\mathrm{\β}{\left|\right|\▿L\left|\right|}^2$

其中，代表各阶偏微分算子，ω_i∈{ω₁，ω₂}是一阶和二阶算子的对应权值，I和L分别是单场模糊虹膜图像和估计出的清晰虹膜图像。

步骤S22中针对估计出的清晰虹膜图像，其梯度选择包括三个步骤：过饱和区域检测S221、睫毛以及眼皮区域检测S222和梯度图强度的阈值化S223。

步骤S23中为了选择单场模糊虹膜图像对应梯度图的有效区域，将步骤S22中估计出的清晰虹膜图像的梯度信息和上次循环中的点扩散函数进行卷积，选择结果中大于给定阈值的区域。

步骤S24中采用初始的点扩散函数作为约束，根据步骤S22和S23选择的梯度信息更新点扩散函数，能量函数可写成如下形式：

$E_f\left(f\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_i\left|\right|{\∂}_{i}I\⊗f-{\∂}_{i}L\left|\right|+\mathrm{\α}{\left|\right|f-f_0\left|\right|}^2$

其中，f0是初始的点扩散函数。

在所述步骤S3中：使用修正过的点扩散函数，对潜在的清晰虹膜图像进行估计，并将此次估计出的清晰图像作为去模糊结果，完成对模糊虹膜图像的修复。

(三)有益效果

从上述技术方案可以看出，本发明提供的这种虹膜图像的去模糊方法，对于提高虹膜识别系统的可靠性和鲁棒性都具有重要的意义，其主要优点如下：

1、本发明提出的虹膜图像去模糊方法，使用的方法结构，有别于之前现有的方法，不是仅由点扩散函数的参数估计和模糊虹膜图像去卷积组成的，而是由点扩散函数初始化、点扩散函数的优化和最终去卷积组成的。这一结构使得本方法可以有效地同时处理离焦模糊和运动模糊的虹膜图像，并且通过点扩散函数的修正使其能够更加真实地反映实际的模糊原因，使得恢复出的虹膜图像更加理想，从而识别性能能够在更大程度上得到提升。

2、本发明提出了一整套的点扩散函数初始化方法，考虑到虹膜图像获取设备的特点，通过图像对两场差异算子的响应来决定虹膜图像模糊的主要因素。正确的模糊原因分类为点扩散函数的初始化奠定了基础。在运动模糊的情况下，充分利用了虹膜图像中瞳孔上的光斑信息，通过光斑信息和运动信息的对应关系，快速而又准确地得到初始点扩散函数。在离焦模糊的情况下，仅使用虹膜区域来计算计算聚焦程度值，使得此值能够有效地反映图像的合焦情况，而不会受到睫毛、眉毛等因素的影响。

3、本发明提出的梯度信息选择方法使得点扩散函数的估计更加高效、鲁棒。并且充分考虑了虹膜图像的特殊性，去除过饱和区域的影响，防止已经丢失细节信息的过饱和区域边缘影响点扩散函数的修正；去除眼皮以及睫毛区域的影响，防止密集强边缘对点扩散函数修正的不利影响；最后通过阈值化来选择有效的梯度信息。

4、本发明中使用初始的点扩散函数作为修正点扩散函数时的约束。尽管在梯度选择中已经包含了去除过饱和以及睫毛区域的步骤，但是难免会有一些这样的区域去除不完全。使用此约束，再结合自适应的权值，可以使得本方法更加鲁棒，不会因这些细小的问题导致错误的点扩散函数估计。

5、本发明使用了准确的噪声模型，该模型不仅约束了图像像素值的噪声，更对图像一阶和二阶梯度进行约束。使用此模型，可以一定程度上去除盲图像修复中经常出现的振铃效应。

6、这种虹膜图像的去模糊方法，使得同时增强运动模糊和离焦模糊的虹膜图像成为可能，有效提高了虹膜识别的可靠性和鲁棒性，降低用户配合上的要求。本方法不要求添加任何硬件设备，不需要额外的虹膜相机的信息，不需要帧间信息。因此，本方法可广泛应用于使用虹膜进行身份认证或者识别的系统中，特别是远距离虹膜识别系统中，比如虹膜机场安检系统、虹膜出入境身份认证系统、虹膜门禁系统等。

附图说明

图1是本发明提供的用于虹膜识别的图像去模糊的方法流程图；

图2是几幅虹膜图像的例子，其中，

(a)是一幅清晰的虹膜图像；

(b)是一幅离焦模糊的虹膜图像；

(c)是一幅运动模糊的虹膜图像；

(d)是一幅既有运动模糊又有离焦模糊的虹膜图像；

图3是分析虹膜图像模糊的主要原因，并将其分为离焦模糊和运动模糊两类，再按分类情况进行点扩散函数初始化的流程框图；

图4是两场的模糊虹膜图像的对比，其中，

(a)是运动模糊的虹膜图像的虹膜区域截图；

(b)是离焦模糊的虹膜图像的虹膜区域截图；

图5是大小为2×7的两场成像差异程度算子的示例；

图6是训练的模糊信息-点扩散函数参数曲线，其中，

(a)是训练的聚焦程度值-离焦点扩散函数参数σ_h曲线；

(b)是训练的光斑长度信息-运动点扩散函数参数d曲线；

图7是梯度图的选择过程的流程图和示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明提出了一种虹膜图像的去模糊方法，本发明提出的方法完全由计算机软件来实现，不需要对硬件设备进行改进，可用于多种虹膜图像识别系统，其流程框图如图1所示，包括以下步骤：

步骤S1、分析所输入的虹膜图像，判断该虹膜图像的模糊属于离焦模糊或运动模糊，再根据该判断结果初始化一点扩散函数；

步骤S2、对输入虹膜图像的梯度进行选取，使得在选取出的梯度图上能够更有效地估计点扩散函数，再基于所选择的梯度信息，将所述已初始化的该点扩散函数进一步修正；

步骤S3、基于所述修正后的点扩散函数，对模糊的虹膜图像进行修复。

下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个基本步骤的具体形式如下所述：

首先是步骤S1，分析所输入的虹膜图像，判断该虹膜图像的模糊属于离焦模糊或运动模糊，再根据该判断结果初始化一点扩散函数。

初始化点扩散函数的目的是判断虹膜图像的主要模糊原因并描述模糊程度。如果模糊的程度对识别效果有影响并且可以修复，则给出点扩散函数的参数的大概初始值。如果模糊不是很严重，或者过于严重以至于修复出的图像也不能明显改善识别结果，则不必修复而直接进行下面的识别处理，以节约时间和计算成本。

由于离焦和运动模糊的虹膜图像的高频信息均在一定程度上有所降低，所以很难利用虹膜图像的不清晰程度来初始化点扩散函数。考虑到现在虹膜识别系统中，很多设备捕获的虹膜图像都是两场的，即捕获的虹膜图像由奇、偶两场交错构成的。利用这一特性，就可以很好的判断虹膜图像的主要模糊原因，能够成功地将模糊的虹膜图像按其主要模糊原因分为两类，离焦模糊和运动模糊。然后，按其所属的类别分情况地进行初始化。对于离焦模糊的虹膜图像，由于虹膜区域成像不在焦平面附近，使得捕获到的图像中虹膜纹理模糊不清，高频信息减少。对于运动模糊的虹膜图像，通过观察我们可以发现如图2(a)、图2(b)、图2(c)和图2(d)所示，虹膜图像的瞳孔区域中一般都会有光斑，而光斑的形状与用户在拍照时的运动情况有关。这些特性均为点扩散函数的初始化提供了便利条件。本发明通过对虹膜图像的特殊性分析完成点扩散函数初始化，具体过程如下：

步骤S11、在一组人工离焦模糊的虹膜图像上，计算其聚焦程度值，并训练得到该聚焦程度值和离焦点扩散函数参数之间的对应关系。当假设图像的模糊原因是离焦时，即假设点扩散函数的形式为已知的，且一般认为是一个高斯核函数，如下式：

$f(x,y)=\frac{1}{{2\mathrm{\π\σ}}_h^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}_h^2}}$

其中(x，y)代表每一个像素点，σ_h为离焦点扩散函数的参数。既然点扩散函数的形式已知，只需要估计该形式下参数σ_h的大小就可以完成初始化。由于在后面的步骤中点扩散函数会被进一步优化，所以在这一步中不必设计复杂的估计过程，也不必花费大量的计算资源来对其进行初始化。只需要得到一个粗略的、可以反应其主要模糊原因的点扩散函数即可。简单而有效地，只要预先训练出来聚焦程度值和离焦点扩散函数参数σ_h之间的对应关系，就可以从输入的模糊的虹膜图像中估计该参数值了。训练的具体步骤如下：

首先，选择一组清晰的虹膜图像。接着，使用一系列参数σ_h逐步增加的离焦点扩散函数，对这一组虹膜图像进行人工模糊。然后，对得到的所有人工模糊的虹膜图像和清晰的虹膜图像进行定位和分割，并在虹膜区域计算聚焦程度值。最后，根据每幅图像计算出聚焦程度值和已知的离焦点扩散函数参数σ_h，拟合出需要的曲线，如图6(a)所示。

这样，在实际初始化中，就可以根据所输入的虹膜图像的聚焦程度值估计出其点扩散函数的参数σ_h了。

步骤S12、在一组人工运动模糊的虹膜图像上，计算其瞳孔上光斑的长度信息，并训练得到长度信息和运动点扩散函数参数之间的对应关系。当假设图像的模糊原因是运动模糊时，即假设点扩散函数的形式为已知的，形式一般认为如下式：

$f(x,y)=\left\{\begin{array}{cc}\frac{1}{d},& \begin{array}{c}0\≤\left|x\right|\≤|d\·\cos (\mathrm{\θ}+\frac{\mathrm{\π}}{2})|\mathrm{and}\\ 0\≤\left|y\right|\≤|d\·\sin (\mathrm{\θ}+\frac{\mathrm{\π}}{2})\end{array}\\ 0,& \mathrm{otherwise}\end{array}\right.,$

其中(x，y)代表每一个像素点，d和θ为离焦模糊的点扩散函数的参数，只需要估计该形式下参数d和θ的数值就可以完成初始化。由于运动方向θ可以直接由模糊图像估计出，所以这一步仅需要训练出长度信息和运动点扩散函数参数d之间的对应关系。

为了得到高对比度的虹膜纹理，虹膜成像装置中往往会使用红外光源对人眼中的虹膜区域进行照明。同时由于瞳孔的高反光特性，在虹膜图像采集的过程中，这些红外光源往往会由于镜面反射而在虹膜图像中形成光斑，如图2(a)至图2(d)所示。一般来讲，这些红外光源形成的光斑在图像中亮度很高，且一般位于虹膜图像的瞳孔区域(通常也是图像中亮度最低的区域)。因此，虹膜图像中光斑与其周围区域的亮度对比度很高。而且，此光斑的形状信息在一定程度上也反映了捕获图像的这段时间内的运动情况。由于曝光时间相对较短而且这一步所求的点扩散函数仅是一个初始值，我们可以假设运动为线性的。这些特点均为根据光斑的长度来估计运动模糊情况下的点扩散函数参数d提供了便利。类似地，只要通过一组人工运动模糊的虹膜图像，训练出光斑长度信息和运动点扩散函数参数d之间的对应关系，就可以从输入的模糊的虹膜图像中估计该参数d值了。具体的训练步骤如下：

首先，选择一组清晰的虹膜图像。接着，固定运动点扩散函数中的方向θ不变，使长度参数d逐步增加。使用这样一系列点扩散函数对这一组虹膜图像进行人工模糊。然后，对得到的所有人工模糊的虹膜图像和清晰的虹膜图像进行定位，找到光斑，并在已知的运动方向θ上计算光斑长度。最后，根据每幅图像计算出的光斑长度和已知的点扩散函数参数d，拟合出需要的曲线，如图6(b)。

步骤S13、根据输入的虹膜图像中两场成像的差异程度，分析虹膜图像模糊的主要原因，判断其属于离焦模糊还是运动模糊。现阶段，很多的虹膜成像装置捕获的虹膜图像都是两场的，即捕获的虹膜图像由奇、偶两场交错构成的。当两场成像的差异较大时，判断其是运动模糊，反之则判断其是离焦模糊。

也就是说，如果用户在成像装置拍照时没有保持静止，则两场显示的图像将会有所不同，如图4(a)和图4(b)所示。这样，根据两场图像对如图5中所示的2×7两场差异算子的响应值，可以判断其属于离焦模糊还是运动模糊。

步骤S14、当在离焦模糊的情况下，对虹膜图像进行进一步的分割，得到虹膜的有效区域，并在此区域上计算聚焦程度值。当一幅两场虹膜图像经过步骤S13被认为是离焦模糊时进行如下步骤：首先，从两场中任抽出一场，并将其差值到原图像大小得到单场的虹膜图像。接着，在此图上进行虹膜的定位和分割。这样，在虹膜区域上计算的聚焦程度值可以更好的反应虹膜区域的合焦情况，而不会像使用整张图像时，既浪费时间，又会受到睫毛或者眉毛浓密程度的影响。

如图3所示，判断计算出的聚焦程度值是否属于一个给定的区间。如果小于此区间最小值，说明虹膜图像的模糊程度很小，不会影响后续的虹膜识别。如果大于此区间的最大值，说明虹膜图像的模糊程度已经超出了可以修复的程度，即使修复后识别效果也不会有明显的改善。为了减少时间消耗，当聚焦程度值小于给定区间最小值时，不进行去模糊处理而直接进行识别；当聚焦程度值大于给定区间最大值时，可以根据系统需求，或者直接丢弃等待下一幅虹膜图像或者直接进行识别；仅在聚焦程度值属于此区间时，进行后续的去模糊处理。

步骤S15、当是运动模糊的情况下，在瞳孔内以其中的光斑为中心，抽取一个子区域，对其频谱进行方向滤波，得到光斑的方向作为运动的方向信息，再根据运动方向上的光斑长度，获得光斑的长度信息。瞳孔中光斑的形状信息在一定程度上反映了曝光时间内的运动情况，光斑在运动方向上被拉长，且拉伸的长度与运动的距离成比例关系。如此，利用光斑的信息可以简单、有效地估计出运动信息。首先，在虹膜定位的基础之上，从内圆中以光斑中心为中点抽取出一个子区域。在此子区域的傅里叶频谱上进行方向滤波，即计算哪个方向上能量最大。得到运动方向后，计算这一方向上的光斑长度。如图3所示，判断计算的光斑长度是否属于一个给定的区间。然后，类似步骤S14中所述，分为直接识别或者丢弃和进行去模糊处理后再识别。

步骤S16、根据步骤S13的分类情况，和步骤S14或者步骤S15的信息，对模糊的虹膜图像的点扩散函数进行初始化。当在步骤S13中，被认为是离焦模糊的，经过步骤S14得到聚焦程度值，再根据步骤S11得到的聚焦程度值和离焦点扩散函数参数之间的对应关系，获得点扩散函数的参数，完成初始化。同样地，对于运动模糊的虹膜图像，根据步骤S12得到的光斑长度和运动点扩散函数参数之间的对应关系，以及S15得到的方向、长度信息，计算参数来完成点扩散函数的初始化。

其二是步骤S2，对输入虹膜图像的梯度进行选取，使得在选取出的梯度图上能够更有效地估计点扩散函数，再基于所选择的梯度信息，将所述已初始化的该点扩散函数进一步修正。

在步骤S1中得到的初始点扩散函数，按模糊的原因分为两类，具有给定的形式。如果直接使用初始化得到的点扩散函数进行去卷积，不能够得到理想的去模糊结果。这是因为，给定的点扩散函数形式仅能处理单一模糊的虹膜图像；确定的形式不能够精确地反映真实模糊原因；简单的点扩散函数参数估计得到的结果比较粗糙。为了得到更有效的去模糊结果，需要更准确的点扩散函数，所以在这一步中，点扩散函数需要得到进一步的修正。

图像的模糊一般被认为是一个卷积过程，如下式：

$I=L\⊗f+n$

其中，I、L和n分别是模糊图像、清晰图像和噪声，f为点扩散函数。当模糊图像I已知，同时对清晰图像L和点扩散函数f进行估计时，这一问题被称为图像盲去卷积，其可以被看作是一个最大后验概率问题，

p(L，f|I)∝p(I|L，f)p(L)p(f)

其中，p(I|L，f)是似然函数，p(L)和p(f)分别是清晰图像和点扩散函数的先验。对上式求负对数，该问题可以转化为能量方程最小化问题，如下式：

$E(I,f)={\left|\right|L\⊗f-I\left|\right|}^2+\mathrm{\α}\·\mathrm{\Φ}\left(L\right)+\mathrm{\β}\·\mathrm{\Ψ}\left(f\right)$

其中，Φ(L)和Ψ(f)分别是L和f的正则项。将该问题拆分为两个子问题，清晰图像估计和点扩散函数估计，交替优化。

$\hat{f}=\underset{f}{\arg \min }{\left|\right|L\⊗f-I\left|\right|}^2+\mathrm{\β}\·\mathrm{\Ψ}\left(f\right)$

$\hat{L}=\underset{L}{\arg \min }{\left|\right|L\⊗f-I\left|\right|}^2+\mathrm{\α}\·\mathrm{\Φ}\left(L\right)$

为了更加有效地估计点扩散函数，本方法中的似然函数使用了经过选择的梯度信息，即对整幅图像的梯度根据一定规则进行选取，使得在选取出的梯度图上能够更有效地估计点扩散函数。这样，在本方法中，清晰虹膜图像估计、梯度图选择和点扩散函数估计迭代地进行，实现点扩散函数不断地修正。

步骤S21、根据上次循环中的点扩散函数(首次循环中，使用初始点扩散函数)，由单场的模糊虹膜图像，对潜在的清晰虹膜图像进行估计。为了能够更好的刻画噪声的随机性，我们不仅在像素值上进行了约束，还在图像的一阶和二阶偏微分上进行了约束，则能量函数表述如下式：

$E_L\left(L\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_i\left|\right|{\∂}_{i}I\⊗f-{\∂}_{*}L\left|\right|+\mathrm{\β}{\left|\right|\▿L\left|\right|}^2$

其中，

代表各阶偏微分算子，ω_i∈{ω₀，ω₁，ω₂}是原像素值、一阶和二阶算子的对应权值，I和L分别是单场模糊虹膜图像和估计出的清晰虹膜图像。

步骤S22、对估计出的清晰虹膜图像，计算其梯度图，并选择出对于优化点扩散函数有效的区域。选择过程可以分为三步，过饱和区域检测、睫毛以及眼皮区域检测和梯度图强度的阈值化。

为了更有效、更准确地估计点扩散函数，经过实验可以发现，不是整幅图像都适合用于估计清晰的虹膜图像，只有一些特定的区域是有效的。而这些有效的区域，往往分布在强边缘附近，而且边缘越强，对点扩散函数估计越有利。

但是仅仅选择强边缘会带来许多问题，我们还需要去除对点扩散函数有不利影响的区域。如果仅选用强边缘，则点扩散函数的估计不可避免地会被强边缘附近的次强边缘所影响。此时，在选取区域中的小范围内，可能会有多个边缘，导致点扩散函数的求解出现问题，所以需要排除这个不利的因素。通过对虹膜图像的观察，发现这类密集边缘只发生在睫毛区域，可以通过虹膜分割的结果来去除。

对于虹膜图像，不可避免地会有一些过饱和区域，如眼皮、皮肤或者角膜上的镜面反射区域。数码相机传感器上的每一个像素点各自收集光子，然后转换为电信号。一旦光子过饱和，再收集到的对电信号转换也不会有影响了，即像素值不会发生变化。过饱和区域的边缘往往都比较强，但是丢失的细节信息将会导致错误的点扩散函数。在梯度图选择时，也需要去除这一类区域。

在具体操作过程中，为了可以更好地控制选择区域所占的比例，将上述两类区域的去除放在强边缘阈值化前面进行。按图7中所示，步骤S22包括如下三个子步骤：

S221、对于输入的模糊虹膜图像，如图7中T710所示。根据整体像素值强度自适应地选择一个阈值检测过饱和区域，这样可以应对在不同照明条件下以及佩戴眼镜情况下捕获的图像。大于该阈值的区域认为是过饱和区域，得到的结果再经过膨胀后如图7中T711所示。

S222、在上一步的基础之上，使用虹膜分割算法得到眼皮和睫毛区域，经过膨胀操作，去除密集边缘区域，结果如图7中T712所示。

S223、在去除上述区域的梯度图上，按梯度方向等分成四个子图，使用按迭代次数逐渐降低的阈值，选择强边所在的位置，再将四个子结果混合，得到结果如图7中T713所示。

步骤S23、根据步骤S22中选择出的清晰虹膜图像中有效梯度图区域，选择出单场模糊虹膜图像对应梯度图的有效区域。为了选择已知的单场模糊虹膜图像的梯度有效区域，将步骤S22中估计出的清晰虹膜图像的梯度和上次循环中的点扩散函数进行卷积，选择结果中大于给定阈值的区域，对应的结果如图7中T714所示。

步骤S24、根据步骤S22和S23中选择出的梯度信息、已知的单场模糊虹膜图像和本次循环中估计出的清晰虹膜图像，对点扩散函数进行修正。虽然在前面的梯度图选择中已经去除了过饱和以及睫毛区域，但是仍有些区域可能没有完全去除彻底。所以为了保证算法的鲁棒性，使用初始的点扩散函数作为约束。而噪声模型类似于步骤S21，对一阶和二阶偏微分进行约束。能量函数可写成如下形式：

$E_f\left(f\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_i\left|\right|{\∂}_{i}I\⊗f-{\∂}_{i}L\left|\right|+\mathrm{\α}{\left|\right|f-f_0\left|\right|}^2$

其中，f和f₀分别是本轮迭代的和初始的点扩散函数。

其三是步骤S3，使用优化后的点扩散函数，最后一次进行清晰虹膜图像的估计，并将此次估计出的清晰图像作为去模糊的结果，用于后续的虹膜识别算法，完成对模糊虹膜图像的修复。

本发明可广泛应用于使用虹膜进行身份认证和识别的场景。下面通过一个示例说明本发明的虹膜图像的去模糊方法在基于虹膜识别的远距离门禁系统中的应用。

假设在某公司或单位入口处安装了一套虹膜识别系统，当刘某想要进入单位时，需要对刘某的身份做一个认证。此时，刘某只需要看一下虹膜识别采集摄像头，该虹膜识别系统就可把采集到的虹膜图像输入到基于本发明开发的虹膜识别系统中。系统首先判断虹膜图像的模糊情况，对点扩散函数进行初始化，然后再将初始化后的点扩散函数进一步地修正，并得到最终的去模糊结果，最后将去模糊结果送入后续的虹膜识别模块中，完成识别，从而验证刘某是否具有合法身份进入单位。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (12)

1.一种虹膜图像的去模糊方法，其特征在于，该方法包括：

步骤S1、分析输入的虹膜图像，判断该虹膜图像的模糊属于离焦模糊或运动模糊，再根据该判断结果初始化得到一点扩散函数；

步骤S2、对输入虹膜图像的梯度进行选取，使得在选取出的梯度图上能够更有效地估计点扩散函数，再基于所选择的梯度信息，将所述已初始化的该点扩散函数进一步修正；

步骤S3、基于所述修正后的点扩散函数，对模糊的虹膜图像进行修复。

2.根据权利要求1所述的虹膜图像的去模糊方法，其特征在于，所述步骤S1包括：

步骤S11、在一组人工离焦模糊的虹膜图像上，计算其聚焦程度值，并训练得到聚焦程度值和离焦点扩散函数参数之间的对应关系；

步骤S12、在一组人工运动模糊的虹膜图像上，计算光斑的长度信息，并训练得到光斑的长度信息和运动点扩散函数参数之间的对应关系；

步骤S13、根据输入的虹膜图像中两场成像的差异程度，判断该虹膜图像的模糊属于离焦模糊或运动模糊，当两场成像的差异较大时，判断其是运动模糊，反之判断其是离焦模糊；

步骤S14、当步骤S13中判断为离焦模糊的情况下，对虹膜图像进行进一步的分割，得到虹膜的有效区域，并在此区域上计算聚焦程度值；

步骤S15、当步骤S13中判断为运动模糊的情况下，在瞳孔内以其中的光斑为中心，抽取一个子区域，对其频谱进行方向滤波，得到光斑的方向作为运动的方向信息，再根据运动方向上的光斑长度，获得光斑的长度信息；

步骤S16、根据步骤S13的判断结果，并根据步骤S14或者步骤S15得到的聚焦程度值、或者方向及长度信息，对所输入的模糊虹膜图像的点扩散函数进行初始化。

3.根据权利要求2所述的虹膜图像的去模糊方法，其特征在于，

在步骤S13之后，还包括以下步骤：抽取模糊虹膜图像两场中的任一场，再差值到原模糊虹膜图像的大小，得到单场的模糊虹膜图像，用于后续的操作，接着，在单场的模糊虹膜图像上进行虹膜的定位，得到用于拟合虹膜内外边界的两个圆的参数，以备步骤S14和S15中使用。

4.根据权利要求2所述的虹膜图像的去模糊方法，其特征在于，

步骤S14中所述离焦模糊的点扩散函数具有如下形式：

$f(x,y)=\frac{1}{{2\mathrm{\π\σ}}_h^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}_h^2}},$

其中(x，y)代表每一个像素点，σ_h为离焦模糊的点扩散函数的参数，且可由聚焦程度值估计出来。

5.根据权利要求2所述的虹膜图像的去模糊方法，其特征在于，

步骤S15中所述离焦模糊的点扩散函数具有如下形式：

$f(x,y)=\left\{\begin{array}{cc}\frac{1}{d},& \begin{array}{c}0\≤\left|x\right|\≤|d\·\cos (\mathrm{\θ}+\frac{\mathrm{\π}}{2})|\mathrm{and}\\ 0\≤\left|y\right|\≤|d\·\sin (\mathrm{\θ}+\frac{\mathrm{\π}}{2})\end{array}\\ 0,& \mathrm{otherwise}\end{array}\right.,$

其中(x，y)代表每一个像素点，d和θ为离焦模糊的点扩散函数的参数，且分别可由光斑的长度和方向信息估计出来。

6.根据权利要求2所述的虹膜图像的去模糊方法，其特征在于，

在步骤S16中，根据步骤S11和步骤S12训练得到的对应关系，对所输入模糊的虹膜图像的点扩散函数进行初始化。

7.根据权利要求1所述的虹膜图像的去模糊方法，其特征在于，所述步骤S2包括：

步骤S21、根据上次循环中的点扩散函数(首次循环中，使用初始点扩散函数)，由单场的模糊虹膜图像，对潜在的清晰虹膜图像进行估计；

步骤S22、对估计出的清晰虹膜图像，计算其梯度图，并选择出对于优化点扩散函数有效的区域；

步骤S23、根据步骤S22中选择出的清晰虹膜图像中有效梯度图区域，选择出单场模糊虹膜图像对应梯度图的有效区域；

步骤S24、根据步骤S22和S23中选择出的梯度信息、已知的单场模糊虹膜图像和本次循环中估计出的清晰虹膜图像，对点扩散函数进行修正；

步骤S25、基于新的点扩散函数，重复步骤S21到S24，迭代地修正点扩散函数，使其能够准确地反映真实的模糊原因。

8.根据权利要求7所述的虹膜图像的去模糊方法，其特征在于，

步骤S21和步骤S24中采用的噪声模型，不仅对图像的像素值进行了约束，而且同时对图像的一阶和二阶偏微分进行约束；

步骤S21的能量函数可写成如下形式：

$E_L\left(L\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_i\left|\right|{\∂}_{i}I\⊗f-{\∂}_{*}L\left|\right|+\mathrm{\β}{\left|\right|\▿L\left|\right|}^2$

其中，

代表各阶偏微分算子，ω_i∈{ω₁，ω₂}是一阶和二阶算子的对应权值，I和L分别是单场模糊虹膜图像和估计出的清晰虹膜图像。

9.根据权利要求7所述的虹膜图像的去模糊方法，其特征在于，

步骤S22中针对估计出的清晰虹膜图像，其梯度选择包括三个步骤：过饱和区域检测S221、睫毛以及眼皮区域检测S222和梯度图强度的阈值化S223。

10.根据权利要求7所述的虹膜图像的去模糊方法，其特征在于，

步骤S23中为了选择单场模糊虹膜图像对应梯度图的有效区域，将步骤S22中估计出的清晰虹膜图像的梯度信息和上次循环中的点扩散函数进行卷积，选择结果中大于给定阈值的区域。

11.根据权利要求7所述的虹膜图像的去模糊方法，其特征在于，

步骤S24中采用初始的点扩散函数作为约束，根据步骤S22和S23选择的梯度信息更新点扩散函数，能量函数可写成如下形式：

$E_f\left(f\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\ω}}_i\left|\right|{\∂}_{i}I\⊗f-{\∂}_{i}L\left|\right|+\mathrm{\α}{\left|\right|f-f_0\left|\right|}^2$

其中，f₀是初始的点扩散函数。

12.根据权利要求1所述的虹膜图像的去模糊方法，其特征在于，在所述步骤S3中：

使用修正过的点扩散函数，对潜在的清晰虹膜图像进行估计，并将此次估计出的清晰图像作为去模糊结果，完成对模糊虹膜图像的修复。

Images