CN103020898B - 序列虹膜图像超分辨率重建方法 - Google Patents
序列虹膜图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN103020898B CN103020898B CN201210507861.XA CN201210507861A CN103020898B CN 103020898 B CN103020898 B CN 103020898B CN 201210507861 A CN201210507861 A CN 201210507861A CN 103020898 B CN103020898 B CN 103020898B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- iris
- msub
- mover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000006731 degradation reaction Methods 0.000 claims description 13
- 230000015556 catabolic process Effects 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011426 transformation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 210000000554 iris Anatomy 0.000 description 129
- 238000012935 Averaging Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种序列虹膜图像超分辨率重建方法,首先选取合适的序列虹膜图像,分别进行定位及归一化处理,然后用频域的方法对序列归一化图像进行配准,在图像插值的基础上,采用改进的重复背投影法提取多幅虹膜图像信息对高分辨率虹膜图像进行估计和迭代,实现超分辨率虹膜图像重建。本发明可以有效减小低分辨率虹膜图像对识别性能的影响,提升系统的鲁棒性,放宽对用户的限制,增加虹膜识别系统的应用领域。
Description
技术领域
本发明属于生物特征识别领域,涉及数字图像处理、统计学习和模式识别等技术,特别是涉及一种序列虹膜图像的超分辨率重建方法。
背景技术
基于虹膜的身份鉴别以其高可靠性,稳定性和非侵犯性而占有生物特征识别技术的重要地位。一般的识别方法都是基于满足一定分辨率的图像进行的,如国际标准要求图像中虹膜直径不少于150像素。而在实际图像获取中,在一些特定环境,如远距离识别或者受到系统光学性能的限制,不一定能获取较高分辨率的图像,低分辨率图像往往在识别时被摒弃,或者在识别时不能获得高的性能,对这些图像进行高分辨率重构能够增加识别率,提高系统鲁棒性及易用性。
目前,虹膜图像的超分辨率重建可以基于普通图像超分辨率重建技术,但就虹膜图像而言,因其虹膜纹理与占据环形区域的特殊性,其重建过程与普通图像有所不同。其主要步骤包括图像预处理、图像配准和超分辨率重建。
虹膜图像在进行采集时由于瞳孔的振颤特性而使图像具有不同的瞳孔尺寸和虹膜纹理区域,在识别时只考虑虹膜纹理区域特征,因此可以先将虹膜进行定位及归一化展开,只保留虹膜纹理区域进行后续超分辨率重建。
序列图像的配准即运动估计,是寻找两幅图像在空间和灰度上的映射的过程,一般情况下图像配准的方法通常可分为三类:(1)基于像素的配准方法,即根据待配准图像的相关函数、Fourier变换和各阶矩量之间的关系式来计算配准参数。(2)基于特征的配准方法,即根据需要配准图像重要相同特征之间的几何关系确定配准参数。这类方法首先需要提取特征,如图像的边缘、角、点、线、曲率等具有不变性的特征。提取特征可在空间域内进行。也可在变换域内进行。(3)基于模型的配准方法,这种方法是根据图像失真的数学模型来进行非线性校正式的配准。由于虹膜图像的旋转在归一化图像中体现为水平位移,因此序列归一化虹膜图像的配准可只考虑二维的位移。根据归一化图像的特点,以及虹膜识别系统的速度和精度要求,选择基于像素的Fourier变换方法来对其进行配准。
目前,序列虹膜图像的超分辨率重建方法多采用空域的方法,包括主成分变换法、基于学习的多层感知器法、图像平均法、以及贝叶斯最大后验概率法等。这些方法包含先验信息的约束,能将插值、迭代、滤波重采样同复杂的运动模型结合起来处理。空域法的降质过程模型内容广泛,可以包括非理想采样、空间可变点扩散函数、全局运动和局部运动、光学模糊、运动模糊等。
重复背投影法也是空域法中的一种,首先用一幅输入图像进行插值作为输出图像的初始估计,并将所有低分辨率图像插值得到高分辨率图像,估计图像与实际观测图像的高分辨率插值图像之间的差值称为模拟误差,根据模拟误差不断更新当前估计。简而言之,就是重复地应用各幅低分辨率图像的插值图像与估计得到的高分辨率图像的差来更新估计的高分辨率图像。重复背投影法通过观测方程使超分辨率的结果与观测数据匹配,因此,可以用于序列虹膜图像的重建。
发明内容
(一)要解决的技术问题
本发明的目的在于减少虹膜识别系统中对图像分辨率要求的限制,提供一种序列虹膜图像的超分辨率重建方法。此方法能提取低分辨率序列虹膜图像中的信息,重建得到高分辨率虹膜图像,提高虹膜识别系统的易用性,具有更低的等错误率。
(二)技术解决方案
为达到上述目的,本发明提供了一种序列虹膜图像的超分辨率重建方法,其中至少使用一帧图像对序列虹膜图像进行重建,包括以下步骤:
S1、从视频中选取任意幅虹膜图像,并对选取的序列图像分别进行预处理,得到序列归一化虹膜图像;
S2、采用频域配准方法对序列归一化虹膜图像进行配准;
S3、采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建;
上述方案中,所述步骤S1包括:S11、从视频序列中选取成像清晰、对比度较好的正面虹膜图像;S12、对选取的序列虹膜图像分别进行虹膜内外边界的定位,将虹膜区域从图像中分割,并将分割得到的虹膜区域映射到极坐标,得到归一化的虹膜图像。步骤S11中采用局部对比度法进行图像清晰度判断,并且采用微积分算子进行瞳孔和虹膜是否圆形的检测以确定是否为正向虹膜图像;步骤S12中采用Sobel算子和Hough变换的方法定位虹膜,采用分段插值得到虹膜纹理矩形图像。
上述方案中,所述步骤S2包括:S21、从序列虹膜图像中选取一帧作为参考帧,对所有序列图像进行频域变换并计算其他帧与参考帧之间的频移;S23、根据计算得到的频移计算对应的归一化图像中的水平和垂直位移并进行图像配准。其中采用Fourier变换的方法计算多帧图像间的位移,实现空域图像的运动估计。
上述方案中,所述步骤S3包括:S31、对配准后的归一化序列虹膜图像进行插值得到高分辨率序列插值图像;S32、将插值后的参考帧作为高分辨率图像的初始估计,计算估计图像与输入的第一帧高分辨率插值图像间的均方误差;采用迭代方式对高分辨率估计图像进行逐步修正迭代,每次迭代后再次计算均方误差,满足预设的收敛条件时停止迭代;S33、计算下一帧输入高分辨率插值图像与当前估计图像的均方误差,再次修正并迭代,直到最后一帧高分辨率插值图像与估计图像间的误差满足收敛条件,输出估计图像得到高分辨率归一化虹膜图像。其中步骤S32中在计算均方误差时,采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和;步骤S32和S33的收敛条件为当前迭代与最后三次迭代之间的均方误差小于设定的阈值。
(三)有益效果
从上述技术方案可以看出,本发明具有以下有益效果:
1、本发明提供的这种序列虹膜图像的超分辨率重建方法,通过利用低分辨率序列虹膜图像间的互补信息,能有效重建出包含更多信息的高分辨率虹膜图像,实现多幅低分辨率虹膜图像信息融合到一幅高分辨率图像,而且可以对任意幅输入的虹膜图像进行重建。
2、本发明提供的这种序列虹膜图像的超分辨率重建方法,对虹膜图像归一化后进行配准,能够消除瞳孔收缩引起的虹膜纹理区域尺寸不一致带来的图像配准困难;此外,虹膜图像的旋转转变为归一化图像的平移,计算简便;采用基于灰度的频域变换的方法进行图像配准,处理速度快。
3、本发明提供的这种序列虹膜图像的超分辨率重建方法,采用一种改进的重复背投影法,通过逐次计算高分辨率估计图像与输入图像间的均方误差并修正来迭代得到更接近于虹膜图像源的高分辨率图像。采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和,代入计算均方误差公式,不仅有效正确的估计高分辨率图像,而且提高了算法鲁棒性,在序列低分辨率虹膜图像中有一些离群值时,能提高识别精度。
附图说明
图1是序列虹膜图像超分辨率重建流程图;
图2是改进的重复背投影法进行超分辨率图像重建的流程图;
图3是不同分辨率水平的虹膜图像的示例,其中
(a)是常用的分辨率为640×480的虹膜图像(其中虹膜直径约200像元);
(b)是分辨率为320×240的虹膜图像;
(c)是分辨率为160×120的虹膜图像;
图4是序列虹膜图像超分辨率重建的结果,其中
(a)是序列归一化虹膜图像;
(b)(c)(d)分别是用2、4、6幅图像重建的高分辨率归一化虹膜图像;
图5是不同数量虹膜图像进行超分辨率重建后建立对应虹膜数据库的识别ROC曲线及EER;
图6是采用本发明提供的序列虹膜图像超分辨率重建方法以及“图像平均(imageaveraging)”方法对Set S2分别采用4幅图像进行超分辨率重建后识别结果的比较。
具体实施方式
下面结合实施例并参照附图详细说明本发明技术方案中所涉及的各个细节问题。
低分辨率的虹膜图像会对识别性能有较坏的影响。一般来说,虹膜识别系统的前端都有质量评价体系,对于低于一定分辨率的虹膜图像予以舍弃,只选择较高分辨率清晰虹膜图像做识别。但在一些大场景或远距离拍摄的情况下,或者受到系统光学性能的限制,虹膜图像的分辨率无法达到标准。因此,对低分辨率序列虹膜图像进行超分辨率重建并识别,可提高虹膜识别系统的易用性。
本发明提出的序列虹膜图像的超分辨率重建方法,可用于多种虹膜图像识别系统,其流程图如图1所示,包括以下步骤:
S1、从视频序列中选取任意幅虹膜图像,并对选取的图像分别进行预处理,得到序列归一化虹膜图像;
S2、采用频域配准方法对序列归一化虹膜图像进行配准;
S3、采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建;
下面对本发明涉及的关键步骤进行逐一说明。本发明所述方法中各个基本步骤的具体形式如下所述:
首先,步骤S1从视频序列中选取任意幅虹膜图像,并对选取的图像分别进行预处理,得到序列归一化虹膜图像。
采集到视频图像不一定每帧都是清晰有效的,从中选取合适的图像进行处理是保证有效超分辨图像重建的前提。对图像进行定位及归一化处理,可有效分隔出虹膜纹理区域,得到矩形区域便于后续处理。具体过程如下:
S11、选取任意幅成像清晰、对比度较好的正面虹膜图像。采用局部对比度法进行图像清晰度判断,并且采用微积分算子进行瞳孔和虹膜是否圆形的检测以确定是否为正向虹膜图像,同时利用圆形检测结果剔除眼皮遮挡严重的虹膜图像;
S12、对选取的序列虹膜图像分别进行虹膜内外边界的定位,将虹膜区域从图像中分割,并将分割得到的虹膜区域映射到极坐标,得到归一化的虹膜图像。采用二值化方法定位瞳孔边界,即虹膜内边界,然后采用Sobel算子进行边缘检测,利用Hough变换的方法定位虹膜外边界,采用分段插值将定位后的虹膜区域映射到极坐标得到归一化的虹膜图像。
其次,步骤S2是采用频域配准方法对其他序列帧与参考帧进行配准;
虹膜图像的旋转在归一化图像中转化为水平方向平移,通过估计归一化图像中的水平和垂直位移则可得到序列虹膜图像间的运动估计。具体过程如下:
S21、依据空间域的平移量与频域的频移量的对应关系,可以快速的实现运动估计。从序列虹膜图像中选取一帧作为参考帧,计算所有输入帧的傅里叶变换,比较输入帧与参考帧之间的频率位移。
S22、依据傅里叶变换公式,得到频率位移对应得水平和垂直位移。按照得到的位移量将图像平移配准。
最后,步骤S3是采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建,其流程图如图2所示,具体过程如下:
S31、采用双三次线性插值对配准后的序列归一化图像插值,得到高分辨率的序列归一化虹膜图像
S32、对高分辨率图像进行估计和迭代,经过配准后的归一化虹膜图像降质模型表示为:
其中,X是用向量表示的高分辨率估计图像,Yk表示输入n帧图像的第k幅图像,Dk表示降采样矩阵,Ck表示模糊矩阵,Fk表示几何变形矩阵,Ek表示噪声。对单帧高分辨率图像做降质处理,依次进行几何变形、模糊、降采样过程及增加噪声,获得低分辨率序列图像Yk。
根据式(2)计算每一次迭代后的均方误差:
根据式(3)图像的梯度总和
记
采用式(5)来计算迭代后的图像梯度总和,
采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和,根据式(6)计算图像的均方误差:
其中,表示的中值。
根据式(7)来对高分辨率估计图像进行迭代:
S33、计算下一帧输入高分辨率插值图像与当前估计图像的均方误差,根据式(7)再次修正并迭代,直到最后一帧高分辨率插值图像与估计图像间的误差满足收敛条件,输出估计图像得到高分辨率归一化虹膜图像。其中收敛条件为当前迭代与最后三次迭代之间的均方误差小于设定的阈值。
为了验证算法有效性,将CASIA3.0虹膜数据库中的图像进行降采样得到不同分辨率水平的虹膜序列图像对提出的方法进行了测试。CASIA虹膜数据库是由中科院自动化所创建的一个共享数据库,用于评测虹膜识别算法,目前已经被国际上多家研究单位采用。选取虹膜数据库中的大小为640×480的虹膜灰度图像(其中虹膜直径约200像元),由100只眼睛、每只眼睛12幅不同的图像组成。本发明将选取的虹膜图像压缩为320×240和160×120,与原始图像共同建立对应数据库Set S1、S2和S3,如图3所示。
利用本发明提出的方法进行图像超分辨率重建,基于不同的图像数量(2、4、6幅图像序列)得到的重建结果如图4所示。通过识别结果验证图像重建的性能,以ROC曲线和等错误率(EER)进行识别性能的评价。虹膜图像特征提取采用经典Gabor滤波器进行。Gabor滤波器可以有效地提取不同频率和方向的特征。实验设计0°、45°、90°和135°共4个方向以及8、10、12、14、16共5个频率的20个Gabor滤波器来提取重建虹膜图像的特征。采用汉明距离作为分类器对虹膜的编码进行匹配,验证试验效果。
图5为对Set S2的虹膜图像采用2、4、6幅图像进行超分辨率重建后的识别ROC曲线及EER。本发明对于图像数量没有限定。由图可以看出,随着图像数量的增加,当序列图像数量大于4幅之后,识别性能并没有显著提升,因此可以采用4幅图像进行不同分辨率水平重建性能的比较。
实验对Set S2和Set S3虹膜图像分别选用4幅图像进行超分辨率重建与识别,得到EER分别由未重建前的0.2932%和0.3067%下降到重建后的0.1302%和0.1381%,提高了识别性能。
为了验证本发明的性能,同样选用4幅图像将本发明同图像平均法超分辨率图像重建进行对比,图像平均法得到的Set S2和Set S3重建后的EER为0.2101%和0.2180%,高于本发明相应的EER。图6为SetS2的两种方法重建图像的ROC曲线。数据和曲线说明本发明具有更低的等错误率和更高的识别性能。
本发明可以用于在远距离成像模式或受到系统光学性能限制时获取低分辨率虹膜图像并用于识别的场景。系统首先判断获取的虹膜图像的分辨率,如果分辨率较小,则进行序列图像的超分辨率重建,并进行识别。这样,可以在获取低分辨率虹膜图像时仍能进行识别,减少成像系统光学性能的限制,增加虹膜识别系统的工作距离或者拓展识别系统的应用,用户使用更加方便。
综上所述,本发明能够在有效提高虹膜识别系统的易用性和鲁棒性,是虹膜识别系统中的关键技术。
Claims (6)
1.一种序列虹膜图像的超分辨率重建方法,其中至少使用一帧图像对序列虹膜图像进行超分辨力重建,包括以下步骤:
S1、从视频中选取序列虹膜图像,分别进行预处理,得到序列归一化虹膜图像;
S2、采用频域变换方法对序列归一化虹膜图像进行配准;
S3、采用改进的重复背投影法对配准后的归一化虹膜图像进行超分辨率重建;
所述步骤S3包括:
S31、采用双三次线性插值对配准后的序列归一化图像插值,得到高分辨率的序列归一化虹膜图像
S32、对高分辨率图像进行估计和迭代,经过配准后的归一化虹膜图像降质模型表示为:
<mrow>
<msub>
<mover>
<mi>Y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
<mo>=</mo>
<msub>
<mi>D</mi>
<mi>k</mi>
</msub>
<msub>
<mi>C</mi>
<mi>k</mi>
</msub>
<msub>
<mi>F</mi>
<mi>k</mi>
</msub>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>+</mo>
<msub>
<mover>
<mi>E</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,X是用向量表示的高分辨率估计图像,Yk表示输入n帧图像的第k幅图像,Dk表示降采样矩阵,Ck表示模糊矩阵,Fk表示几何变形矩阵,Ek表示噪声;对单帧高分辨率图像做降质处理,依次进行几何变形、模糊、降采样过程及增加噪声,获得低分辨率序列图像Yk;
根据式(2)计算每一次迭代后的均方误差:
根据式(3)图像的梯度总和
<mrow>
<mo>&dtri;</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>F</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>C</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>D</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<mo>(</mo>
<mrow>
<msub>
<mi>D</mi>
<mi>k</mi>
</msub>
<msub>
<mi>C</mi>
<mi>k</mi>
</msub>
<msub>
<mi>F</mi>
<mi>k</mi>
</msub>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<msub>
<mover>
<mi>Y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
记
<mrow>
<msub>
<mover>
<mi>B</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>F</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>C</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>D</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>D</mi>
<mi>k</mi>
</msub>
<msub>
<mi>C</mi>
<mi>k</mi>
</msub>
<msub>
<mi>F</mi>
<mi>k</mi>
</msub>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<msub>
<mover>
<mi>Y</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
采用式(5)来计算迭代后的图像梯度总和,
<mrow>
<mo>&dtri;</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mover>
<mi>B</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
采用高分辨率序列插值图像的降质模型的中值与输入帧数的乘积来代替所有高分辨率序列插值图像的降质模型之和,根据式(6)计算图像的均方误差:
<mrow>
<mo>&dtri;</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&ap;</mo>
<mi>n</mi>
<mo>&CenterDot;</mo>
<mi>m</mi>
<mi>e</mi>
<mi>d</mi>
<mi>i</mi>
<mi>a</mi>
<mi>n</mi>
<msubsup>
<mrow>
<mo>{</mo>
<msub>
<mover>
<mi>B</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>}</mo>
</mrow>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,表示的中值;
根据式(7)来对高分辨率估计图像进行迭代:
<mrow>
<msup>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>=</mo>
<msup>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mi>n</mi>
</msup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>&dtri;</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mover>
<mi>X</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
S33、计算下一帧输入高分辨率插值图像与当前估计图像的均方误差,根据式(7)再次修正并迭代,直到最后一帧高分辨率插值图像与估计图像间的误差满足收敛条件,输出估计图像得到高分辨率归一化虹膜图像;其中收敛条件为当前迭代与最后三次迭代之间的均方误差小于设定的阈值。
2.根据权利要求1所述的序列虹膜图像超分辨率重建方法,其特征在于,所述步骤S1包括:
S11、从视频中选取任意幅纹理清晰、对比度良好的正面虹膜图像;
S12、对选取的序列虹膜图像分别进行虹膜内外边界的定位,将虹膜区域从图像中分割,并将分割得到的虹膜区域映射到极坐标,得到归一化的虹膜图像。
3.根据权利要求2所述的序列虹膜图像超分辨率重建方法,其特征在于,
步骤S11中采用局部对比度法进行图像清晰度判断,并且采用微积分算子进行瞳孔和虹膜是否圆形的检测以确定是否为正向虹膜图像。
4.根据权利要求2所述的序列虹膜图像超分辨率重建方法,其特征在于,
步骤S12中采用Sobel算子和Hough变换的方法定位虹膜,采用分段插值得到虹膜纹理矩形图像。
5.根据权利要求1所述的序列虹膜图像超分辨率重建方法,其特征在于,所述步骤S2包括:
S21、从序列虹膜图像中选取一帧作为参考帧,对所有序列图像进行频域变换并计算其他帧与参考帧之间的频移;
S22、根据计算得到的频移计算对应的归一化图像中的水平和垂直位移。
6.根据权利要求5所述的序列虹膜图像超分辨率重建方法,其特征在于,
采用Fourier变换的方法计算多帧图像间的位移,实现空域图像的运动估计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210507861.XA CN103020898B (zh) | 2012-12-03 | 2012-12-03 | 序列虹膜图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210507861.XA CN103020898B (zh) | 2012-12-03 | 2012-12-03 | 序列虹膜图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103020898A CN103020898A (zh) | 2013-04-03 |
CN103020898B true CN103020898B (zh) | 2018-01-05 |
Family
ID=47969470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210507861.XA Active CN103020898B (zh) | 2012-12-03 | 2012-12-03 | 序列虹膜图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103020898B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105590304B (zh) * | 2014-10-24 | 2019-01-08 | 北京大学 | 超分辨率图像重建方法和装置 |
US9674430B1 (en) * | 2016-03-09 | 2017-06-06 | Hand Held Products, Inc. | Imaging device for producing high resolution images using subpixel shifts and method of using same |
CN108629402A (zh) * | 2017-03-20 | 2018-10-09 | 上海荆虹电子科技有限公司 | 用于图像处理的方法和装置 |
CN107361791B (zh) * | 2017-07-21 | 2020-10-09 | 北京大学 | 一种快速超分辨血流成像方法 |
CN108629744B (zh) * | 2018-04-09 | 2021-07-30 | 北京无线电计量测试研究所 | 一种图像增强方法 |
CN111580765B (zh) * | 2020-04-27 | 2024-01-12 | Oppo广东移动通信有限公司 | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 |
CN112712468B (zh) * | 2021-03-26 | 2021-07-09 | 北京万里红科技股份有限公司 | 虹膜图像超分辨率重建方法及计算设备 |
CN113962897B (zh) * | 2021-11-02 | 2022-09-02 | 中国空间技术研究院 | 基于序列遥感影像的调制传递函数补偿方法及装置 |
CN114663280B (zh) * | 2022-03-15 | 2024-07-16 | 北京万里红科技有限公司 | 远距离虹膜图像的超分辨率重建模型及训练方法、重建方法、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430760A (zh) * | 2008-11-18 | 2009-05-13 | 北方工业大学 | 基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法 |
CN101980289A (zh) * | 2010-10-25 | 2011-02-23 | 上海大学 | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8064712B2 (en) * | 2007-01-24 | 2011-11-22 | Utc Fire & Security Americas Corporation, Inc. | System and method for reconstructing restored facial images from video |
-
2012
- 2012-12-03 CN CN201210507861.XA patent/CN103020898B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430760A (zh) * | 2008-11-18 | 2009-05-13 | 北方工业大学 | 基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法 |
CN101980289A (zh) * | 2010-10-25 | 2011-02-23 | 上海大学 | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 |
Non-Patent Citations (3)
Title |
---|
"基于SIFT配准和POCS算法的超分辨率重建算法";李力;《计算机与信息技术》;20101231;第63-65、68页 * |
"基于支持向量机的近红外人脸与虹膜融合算法";何玉青等;《光子学报》;20101231;第39卷;第1-5页 * |
"多核重复背投影图像超分辨率方法";韩华等;《计算机辅助设计与图形学学报》;20050731;第17卷(第7期);第1510-1516 * |
Also Published As
Publication number | Publication date |
---|---|
CN103020898A (zh) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103020898B (zh) | 序列虹膜图像超分辨率重建方法 | |
CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
Song et al. | Joint face hallucination and deblurring via structure generation and detail enhancement | |
CN102800071B (zh) | 序列图像pocs超分辨率重建方法 | |
CN104008539B (zh) | 基于多尺度几何分析的图像超分辨率重建方法 | |
CN103136734B (zh) | 一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法 | |
CN106127688A (zh) | 一种超分辨率图像重建方法及其系统 | |
CN108830791B (zh) | 基于自身样例和稀疏表示的图像超分辨率方法 | |
CN106169174B (zh) | 一种图像放大方法 | |
CN110580680A (zh) | 基于组合学习的人脸超分辨率方法及装置 | |
Sun et al. | Super resolution reconstruction of images based on interpolation and full convolutional neural network and application in medical fields | |
CN104021523A (zh) | 一种基于边缘分类的图像超分辨率放大的新方法 | |
Chen et al. | Single image super resolution using local smoothness and nonlocal self-similarity priors | |
CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
Makwana et al. | Single image super-resolution via iterative back projection based Canny edge detection and a Gabor filter prior | |
CN103971341A (zh) | 基于频域参数估计的离焦虹膜图像复原方法 | |
Nayak et al. | Super resolution image reconstruction using penalized-spline and phase congruency | |
CN117315735A (zh) | 基于先验信息与注意力机制的人脸超分辨率重建方法 | |
CN113506212B (zh) | 一种改进的基于pocs的高光谱图像超分辨率重建方法 | |
CN103903239B (zh) | 一种视频超分辨率重建方法及其系统 | |
Nguyen et al. | Robust mean super-resolution for less cooperative NIR iris recognition at a distance and on the move | |
Alonso-Fernandez et al. | Super-resolution for selfie biometrics: Introduction and application to face and iris | |
CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
Zin et al. | Local image denoising using RAISR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |