CN112712468B - 虹膜图像超分辨率重建方法及计算设备 - Google Patents

Abstract

本发明公开了一种生成虹膜图像超分辨率重建模型的方法，包括步骤：获取多个包含虹膜的高分辨率虹膜图像及其对应的低分辨率虹膜图像和低分辨率掩膜图像；将高分辨率虹膜图像和低分辨率虹膜图像输入初始的超分辨率重建模型的生成模型中，经处理后生成虹膜分割特征图、超分辨率虹膜图像、以及超分辨率虹膜图像的编码模板和高分辨率虹膜图像的编码模板；通过计算第一损失函数、第二损失函数、第三损失函数，来更新超分辨率重建模型的生成模型的参数，直到满足预定条件时，训练结束，得到训练好的超分辨率重建模型的生成模型；利用训练好的超分辨率重建模型的生成模型，生成虹膜图像超分辨率重建模型。本发明一并公开了相应的计算设备。

Description

虹膜图像超分辨率重建方法及计算设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种针对虹膜图像的超分辨率重建方案。

背景技术

传统的身份识别主要依靠特定标志物（如身份证、工作证等）和特定知识（如口令、密码等），然而这些方法存在很多缺点，如携带不便、容易遗失、密码易被破解等。因此，需要更加安全、准确、防伪的身份认证技术来代替传统的身份识别。基于生物特征的识别正是针对此需要产生的识别技术。生物特征识别是对人类固有的生理或行为特征通过计算机处理后进行个人身份鉴定的技术。这些特征还具有普遍性、唯一性、稳定性、方便性等优点，并且很难模仿，能够有效克服传统身份识别方法的不足，是未来身份认证的一个发展趋势。

在众多的生物特征里面，虹膜特征因具有稳定性、唯一性和非侵犯性的特点，使其具有非常大的优势，有着广泛的市场前景和科学研究价值。尤其是近二十年，虹膜识别技术飞速发展，同时也得到了学术界、产业界和军队的广泛关注。

然而，在诸如边检站、出入境口岸、机场、治安检查站等场所，一般需要在一个稍远的距离内采集通行人员的虹膜图像，此时，得到的虹膜区域尺寸变小，不利于虹膜检测和定位。因此，需要将采集的虹膜图像放大，但简单地缩放操作会破坏虹膜的纹理信息，这不利于虹膜特征的准确提取，从而对虹膜识别产生不利影响。

鉴于上述原因，需要一种改进虹膜图像质量的方案，以提升远距离采集的虹膜图像的质量，从而提高虹膜识别的准确率。

发明内容

为此，本发明提供了一种虹膜图像超分辨率重建方法及计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明的第一个方面，提供了一种生成虹膜图像超分辨率重建模型的方法，在计算设备中执行，包括步骤：获取多个包含虹膜的高分辨率虹膜图像及其对应的低分辨率虹膜图像和低分辨率掩膜图像；将高分辨率虹膜图像和低分辨率虹膜图像输入初始的超分辨率重建模型的生成模型中，经处理后生成虹膜分割特征图、超分辨率虹膜图像、以及超分辨率虹膜图像的编码模板和高分辨率虹膜图像的编码模板；通过计算低分辨率掩膜图像与虹膜分割特征图之间的第一损失函数、高分辨率虹膜图像与超分辨率虹膜图像之间的第二损失函数、高分辨率虹膜图像的编码模板与超分辨率虹膜图像的编码模板之间的第三损失函数，来更新超分辨率重建模型的生成模型的参数，直到满足预定条件时，训练结束，得到训练好的超分辨率重建模型的生成模型；利用训练好的超分辨率重建模型的生成模型，生成虹膜图像超分辨率重建模型。

可选地，在根据本发明的方法中，获取多个包含虹膜的高分辨率虹膜图像及其对应的低分辨率虹膜图像和低分辨率掩膜图像的步骤包括：采集多个包含虹膜的高分辨率虹膜图像，作为训练样本；对各高分辨率虹膜图像分别进行下采样，得到对应的低分辨率虹膜图像；对各低分辨率虹膜图像分别进行虹膜分割，得到对应的低分辨率掩膜图像。

可选地，在根据本发明的方法中，超分辨率重建模型的生成模型包括：相互耦接的特征提取模块、基于掩膜的注意力模块、上采样模块和虹膜识别模块。

可选地，根据本发明的方法还包括步骤：将低分辨率虹膜图像输入特征提取模块，生成低分辨率图像特征；利用基于掩膜的注意力模块，对低分辨率图像特征进行处理，并生成关于低分辨率虹膜图像的虹膜分割特征图和虹膜区域注意力特征图；通过上采样模块，对虹膜区域注意力特征图进行上采样处理，生成与高分辨率虹膜图像尺寸一致的超分辨率虹膜图像；将超分辨率虹膜图像与高分辨率虹膜图像输入训练好的虹膜识别模块中，对应得到超分辨率虹膜图像的编码模板和高分辨率虹膜图像的编码模板。

可选地，根据本发明的方法还包括步骤：利用高分辨率虹膜图像训练虹膜识别模块，以得到训练好的虹膜识别模块。

可选地，在根据本发明的方法中，特征提取模块包括1个卷积层和3个空洞残差组件；基于掩膜的注意力模块包括第一支路和第二支路，其中第一支路适于提取虹膜纹理特征，第二支路适于对低分辨率虹膜图像进行分割，生成虹膜分割特征图，基于掩膜的注意力模块还适于结合第一支路和第二支路，得到虹膜区域注意力特征图；上采样模块包括卷积层、上采样组件和子像素卷积层，其中，上采样组件适于对虹膜区域注意力特征图进行分块、缩放和卷积处理，并与卷积层的结果融合，以得到特征图，将特征图输入所述子像素卷积层，以输出超分辨率虹膜图像。

可选地，在根据本发明的方法中，虹膜图像超分辨率重建模型包括：训练好的特征提取模块、训练好的基于掩膜的注意力模块和训练好的上采样模块。

根据本发明的第二个方面，提供了一种虹膜图像超分辨率重建方法，在计算设备中执行，包括步骤：获取包含虹膜的低分辨率虹膜图像；将低分辨率虹膜图像输入虹膜图像超分辨率重建模型，经处理后输出对应的超分辨率虹膜图像，其中，虹膜图像超分辨率重建模型通过执行如上所述的方法来生成。

根据本发明的第三个方面，提供了一种计算设备，包括：至少一个处理器和存储有程序指令的存储器，当程序指令被处理器读取并执行时，使得计算设备执行上述方法。

根据本发明的第四个方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行上述方法。

根据本发明的技术方案，针对远距离采集虹膜图像时，虹膜区域尺寸过小，不利于虹膜检测的问题，构造了虹膜图像超分辨率重建模型的生成模型，并通过训练该生成模型，得到了虹膜图像超分辨率重建模型，能够对虹膜图像进行超分辨率重建，减少了单纯放大低分辨率虹膜图像时，所带来的纹理信息损失问题，提高了远距离虹膜识别的准确率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的虹膜图像超分辨率重建系统100的示意图；

图2示出了根据本发明一个实施例的计算设备200的示意图；

图3示出了根据本发明一个实施例的生成虹膜图像超分辨率重建模型的方法300的流程图；

图4示出了根据本发明一个实施例的超分辨率重建模型的生成模型400的结构示意图；

图5A示出了根据本发明一个实施例的特征提取模块410的结构示意图；图5B示出了根据本发明一个实施例的空洞残差组件520的结构示意图；

图6A示出了根据本发明一个实施例的基于掩膜的注意力模块420的结构示意图；图6B和图6C分别示出了根据本发明一个实施例的第一支路610和第二支路620的结构示意图；

图7示出了根据本发明一个实施例的上采样模块430的结构示意图；

图8示出了根据本发明一个实施例的虹膜图像超分辨率重建方法800的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

针对现有技术中存在的问题，本发明提供了一种生成虹膜图像超分辨率重建模型的方法，以通过训练生成虹膜图像超分辨率重建模型。利用该虹膜图像超分辨率重建模型，对远距离采集的虹膜图像进行超分辨率重建，以提高远距离虹膜识别的准确率。

图1示出了根据本发明一个实施例的虹膜图像超分辨率重建系统100的示意图。如图1所示，系统100包括图像采集设备110和终端设备120。

应当指出，图1所示的系统100仅是示例性的。在具体实践情况中，系统100中可以包括不同数量的图像采集设备和终端设备，本发明对系统100所包括的图像采集设备和终端设备的数量均不作限制。

系统100用于采集包含人眼虹膜的图像（以下简称为，虹膜图像），并对采集到的虹膜图像进行处理，来提升虹膜图像的分辨率，增强纹理细节，从而实现准确地虹膜识别。

具体地，在系统100中，图像采集设备110通常部署在重要会议入口、边检站、出入境口岸、机场、治安检查站等场所，不限于此。图像采集设备110用于采集通行人员的虹膜图像。在一些场景中，图像采集设备110在采集虹膜图像时，无法贴近人脸，所采集到的虹膜图像可能不仅包含虹膜部位，还会包含人脸全貌、甚至是上半身。此时，得到的虹膜区域尺寸变小，虹膜信息不够清晰。在根据本发明的一种实施例中，将此类虹膜区域较小、虹膜信息不清晰的虹膜图像，统称为低分辨率虹膜图像。

图像采集设备110可以是任意型号的图像采集设备，本发明对其型号、硬件配置情况等均不做限制。优选地，图像采集设备110可以是带有近红外光源的能够采集虹膜二维平面信息的摄像机。

图像采集设备110与终端设备120通信连接，将采集到的虹膜图像发送至终端设备120进行处理。图像采集设备110与终端设备120可以通过任意有线或无线的方式连接，本发明不限制二者之间的连接方式。

终端设备120可以是任意具有通信和计算能力的设备，本发明不限制终端设备120的种类和硬件配置情况。终端设备120例如可以是桌面电脑、笔记本电脑等个人配置的计算机。在一些实施例中，终端设备120也可以是手机、平板电脑等移动终端，或者是智能可穿戴设备、物联网设备等。在另一些实施例中，终端设备120还可以是服务器。

根据一种实施例，终端设备120通过训练生成虹膜图像超分辨率重建模型，并基于该虹膜图像超分辨率重建模型，对虹膜图像进行处理，得到对应的超分辨率虹膜图像。终端设备120可以执行本发明的生成虹膜图像超分辨率重建模型的方法300，生成虹膜图像超分辨率重建模型。此外，终端设备120也可以执行本发明的虹膜图像超分辨率重建方法800，得到超分辨率的虹膜图像。

根据另一些实施方式，图像采集设备110和终端设备120也可以集成在一个计算设备中，实现对虹膜图像的采集和超分辨率重建，本发明的实施例对此不做限制。

终端设备120可以通过计算设备200来实现。图2示出了根据本发明一个实施例的计算设备200的示意图。需要说明的是，图2所示的计算设备200仅为一个示例。

如图2所示，在基本配置202中，计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器（µP）、微控制器（µC）、数字信息处理器（DSP）或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元（ALU）、浮点数单元（FPU）、数字信号处理核心（DSP核心）或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器（诸如RAM）、非易失性存储器（诸如ROM、闪存等）或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器204读取。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上由一个或多个处理器204利用程序数据224执行指令。操作系统220例如可以是Linux、Windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用222包括用于实现各种用户期望的功能的程序指令，应用222例如可以是浏览器、即时通讯软件、软件开发工具（例如集成开发环境IDE、编译器等）等，但不限于此。当应用222被安装到计算设备200中时，可以向操作系统220添加驱动模块。

在计算设备200启动运行时，处理器204会从存储器206中读取操作系统220的程序指令并执行。应用222运行在操作系统220之上，利用操作系统220以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用222时，应用222会加载至存储器206中，处理器204从存储器206中读取并执行应用222的程序指令。

计算设备200还包括存储设备232，存储设备232包括可移除存储器236和不可移除存储器238，可移除存储器236和不可移除存储器238均与存储接口总线234连接。

计算设备200还可以包括有助于从各种接口设备（例如，输出设备242、外设接口244和通信设备246）到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器253或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备（例如，键盘、鼠标、笔、语音输入设备、触摸输入设备）或者其他外设（例如打印机、扫描仪等）之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频（RF）、微波、红外（IR）或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备200还包括与总线/接口控制器230相连的存储接口总线234。存储接口总线234与存储设备232相连，存储设备232适于进行数据存储。示例的存储设备232可以包括可移除存储器236（例如CD、DVD、U盘、可移动硬盘等）和不可移除存储器238（例如硬盘驱动器HDD等）。

在根据本发明的计算设备200中，应用222包括用于执行本发明的生成虹膜图像超分辨率重建模型的方法300的指令，和/或，用于执行本发明的虹膜图像超分辨率重建方法800的指令，上述指令可以指示处理器204执行本发明的生成虹膜图像超分辨率重建模型的方法300和虹膜图像超分辨率重建方法800，以对低分辨率虹膜图像进行重建，得到超分辨率虹膜图像，便于准确提取虹膜特征。

图3示出了根据本发明一个实施例的生成虹膜图像超分辨率重建模型的方法300的流程图。方法300在计算设备200中执行，用于构建并训练生成虹膜图像超分辨率重建模型。如图3所示，方法300始于步骤S310。

在步骤S310中，获取多个包含虹膜的高分辨率虹膜图像及其对应的低分辨率虹膜图像和低分辨率掩膜图像。

具体地，先采集多个包含虹膜的高分辨率虹膜图像，作为训练样本。之后，对作为训练样本的高分辨率虹膜图像进行预处理，得到对应的低分辨率虹膜图像和低分辨率掩膜图像。

根据一种实施例，采用如下方式进行预处理。

首先，对各高分辨率虹膜图像分别进行下采样，得到对应的低分辨率虹膜图像。在一种优选的实施例中，考虑到实际应用场景需求，低分辨率虹膜图像的宽和高尺寸均为高分辨率虹膜图像的一半。

接着，对各低分辨率虹膜图像分别进行虹膜分割，得到对应的低分辨率掩膜图像。根据本发明的实施例，可以采取任一种图像处理方法来对低分辨率虹膜图像进行虹膜分割，本发明的实施例对此不做限制。

在低分辨率掩膜图像中，每个像素均具有相应的标签，用于指示像素是否属于虹膜区域。在一种实施例中，当标签值为1时，表示该像素属于虹膜区域，当标签值为0时，表示该像素不属于虹膜区域。

随后在步骤S320中，将高分辨率虹膜图像和低分辨率虹膜图像输入初始的超分辨率重建模型的生成模型中，经处理后生成虹膜分割特征图、超分辨率虹膜图像、以及超分辨率虹膜图像的编码模板和高分辨率虹膜图像的编码模板。

根据一种实施例，构建超分辨率重建模型的生成模型并设置初始参数，作为初始的超分辨率重建模型的生成模型。

图4示出了根据本发明一个实施例的超分辨率重建模型的生成模型400的结构示意图。如图4所示，超分辨率重建模型的生成模型400包括：相互耦接的特征提取模块410、基于掩膜的注意力模块420、上采样模块430和虹膜识别模块440。

以下对超分辨率重建模型的生成模型400的各模块结构进行说明。

其中，虹膜识别模块440是预先训练好的，通过对输入图像进行卷积等处理，提取输入图像中的虹膜特征，并输出虹膜特征编码，作为编码模板。本发明实施例并不限制具体采用何种网络结构来实现虹膜识别模块440，任何可实现本发明实施例的虹膜识别模块440的结构，均在本发明保护范围之内。

根据本发明实施例，利用训练样本中的高分辨率虹膜图像，来训练虹膜识别模块440，以得到训练好的虹膜识别模块。将多个高分辨率虹膜图像输入虹膜识别模块440，输出各自对应的编码模板。通过计算各编码模板之间的欧氏距离或余弦距离，作为损失函数值（关于损失函数值的计算，可参考下文对第三损失函数的介绍）。根据损失函数值来更新虹膜识别模块的网络参数，直到网络收敛，训练结束，此时的虹膜识别模块就是训练好的虹膜识别模块440。

图5A示出了根据本发明一个实施例的特征提取模块410的结构示意图。如图5A所示，特征提取模块410包括并联的卷积层510和空洞残差组件520、空洞残差组件530和空洞残差组件540。将低分辨率虹膜图像输入特征提取模块410，经这1个卷积层和3个空洞残差组件处理后，分别输出相应的特征，再将这4组特征融合（例如，采用concat的方式进行融合），得到最终的低分辨率特征。

图5B示出了根据本发明一个实施例的空洞残差组件520的结构示意图（根据本发明的实施例，3个空洞残差组件的结构相同，此处不再一一赘述）。如图5B，空洞残差组件520先接入相互耦接的卷积层、实例归一化层和激活层（例如，采用Tanh函数进行激活），然后分为三个分支，左侧分支为卷积层，右侧分支为卷积层和激活层，中间分支为空洞卷积层，将中间分支与右分支求和后，再与左分支进行特征融合（采用cancat的方式）。

图6A示出了根据本发明一个实施例的基于掩膜的注意力模块420的结构图，包括第一支路610和第二支路620。其中，第一支路610用于提取虹膜纹理特征，第二支路620用于对低分辨率虹膜图像进行分割，得到指示虹膜区域的虹膜分割特征图。之后，对虹膜分割特征图进行进一步处理，得到一个权重矩阵。将权重矩阵与第一支路610的虹膜纹理特征相结合，生成虹膜区域注意力特征图。具体地，将第一支路610的虹膜纹理特征与第二支路620的权重矩阵，相乘（mul）得到虹膜区域特征，再与第一支路610的虹膜纹理特征求和后，输出虹膜区域注意力特征图该虹膜区域注意力特征图的尺寸与低分辨率虹膜图像的尺寸一致。

根据本发明的一个实施例，第二支路620输出的通道数为2，即输出2个虹膜分割特征图，其一代表预测像素属于虹膜区域的概率值，另一个代表预测像素不属于虹膜区域的概率值。换言之，每个像素对应两个预测的概率值。通过比较两个概率值的大小，来确定像素值是否属于虹膜区域。在一种实施例中，若预测属于虹膜区域的概率值大于预测不属于虹膜区域的概率值，则判定该像素属于虹膜区域，将该像素值设为1；反之，则判定该像素不属于虹膜区域，将该像素值设为0。这样，就形成了一个权重矩阵。

图6B和图6C分别示出了根据本发明一个实施例的第一支路610和第二支路620的结构示意图。

如图6B，第一支路610包括三组空洞卷积块612和一个卷积层614。其中，三组空洞卷积块顺序排列，每组空洞卷积块由空洞卷积层、实例归一化层、激活层（Tanh激活函数）组成，接着融合三组空洞卷积块的输出特征（例如，采用concat的方式融合特征），再连接卷积层614，输出虹膜纹理特征。

如图6C，第二支路620分为三组卷积块622和卷积层624，每组卷积块之间并列排列，且输出通道一致，由卷积层、池化层、批归一化层、激活层（Tanh激活函数）组成。接着，将三组卷积块的输出对应通道求和，再接一个输出通道为2的卷积层624，用于判断是否属于虹膜区域。

图7示出了根据本发明一个实施例的上采样模块430的结构示意图。如图7所示，上采样模块430包括卷积层710（通道数为1）、上采样组件720和子像素卷积层730。其中，上采样组件720对虹膜区域注意力特征图进行分块、缩放和卷积处理（全连接层），并与卷积层710的结果融合，以得到特征图。

具体来说，上采样组件720分为上下两支，其中，上支将特征图分为s²块，每块尺寸为

，然后缩放为

，接入全连接层进行卷积处理，输出尺寸为（-1,（s²）），得到（-1,s²）向量，s为上采样因子，-1表示训练批尺寸，视实际情况而定，W和H分别为低分辨率虹膜图像的宽和高。下支接入卷积层，输出通道数为s²，然后与归一化后的上支向量相乘，得到基于像素注意力的特征图。最后，将该特征图输入子像素卷积层730，以输出超分辨率虹膜图像。

应当指出，本发明对上述各模块中所包括的卷积层、激活层等的数量均不做限制，本发明对各激活层所采用的激活函数亦不做限制。此外，在每个卷积层中，除了卷积处理外，还可能包含池化处理，例如最大值池化、均值池化等，对于本领域技术人员来说，卷积网络中所包含的卷积、池化、激活等处理均属于已知内容，此处不再一一赘述。

需要说明的是，对图像的激活处理可以通过设置单独的激活层实现（如上文所述），也可以在构造层对象时通过传递activation参数实现，本发明的实施例对激活函数的实现方式并不做限制。

至此，对超分辨率重建模型的生成模型400中的各部分介绍完毕。在训练时，将低分辨率虹膜图像输入特征提取模块410，由其对低分辨率虹膜图像进行处理，输出低分辨率图像特征。接着，利用基于掩膜的注意力模块420，对低分辨率图像特征进行处理，并生成关于低分辨率虹膜图像的虹膜区域注意力特征图。通过上采样模块430，对虹膜区域注意力特征图进行上采样处理，生成与高分辨率虹膜图像尺寸一致的超分辨率虹膜图像。将超分辨率虹膜图像与高分辨率虹膜图像输入训练好的虹膜识别模块440中，就对应得到超分辨率虹膜图像的编码模板和高分辨率虹膜图像的编码模板。

根据本发明的方案，利用注意力机制，使得超分辨率重建模型的生成模型400在训练的过程中学习到更多的虹膜纹理信息。

随后在步骤S330中，通过计算低分辨率掩膜图像与虹膜分割特征图之间的第一损失函数、高分辨率虹膜图像与超分辨率虹膜图像之间的第二损失函数、高分辨率虹膜图像的编码模板与超分辨率虹膜图像的编码模板之间的第三损失函数，来更新超分辨率重建模型的生成模型400的参数，直到满足预定条件时，训练结束，得到训练好的超分辨率重建模型的生成模型400。

根据本发明的实施例，第一损失函数L1_loss可以是交叉熵，通过下式计算：

，

其中，K表示低分辨率掩膜图像的像素数；

表示低分辨率掩膜图像中第i个像素的标签，如果像素属于虹膜区域，则其对应的标签值为1，否则为0；

表示在虹膜分割特征图中预测的第i个像素属于虹膜区域的概率值；

第二损失函数L2_loss可以是均方误差，通过下式计算：

，

其中，m表示高分辨率虹膜图像的像素数，I _SR为超分辨率虹膜图像，I _HR为高分辨率虹膜图像；

第三损失函数L3_loss可以是欧氏距离或余弦距离，通过下式计算：

，或，

，

其中，n表示编码模板的长度，

表示超分辨率虹膜图像的编码模板，

表示高分辨率虹膜图像的编码模板。

在一种实施例中，将第一损失函数、第二损失函数和第三损失函数的值求和，作为总损失函数值，来更新模型参数，在每次更新完参数后，利用新的生成模型400对上述训练样本再进行训练来生成新的第一损失函数、第二损失函数和第三损失函数，再更新模型参数，…，重复迭代多次“计算损失→更新模型参数”的步骤，直到计算出的总损失函数值满足预定条件（在模型的训练过程中，随着训练次数的增加，通常总损失函数值会越来越小，预定条件可以设为相邻两个总损失函数值的差值小于阈值或相邻的几个总损失函数值基本保持不变，此时说明损失趋于稳定），训练结束。此时对应的生成模型就是训练好的生成模型400。

随后在步骤S340中，利用训练好的超分辨率重建模型的生成模型，生成虹膜图像超分辨率重建模型。

根据本发明的实施例，从训练好的超分辨率重建模型的生成模型400中去掉虹膜识别模块440，即，利用训练好的特征提取模块410、训练好的基于掩膜的注意力模块420和训练好的上采样模块430，构成虹膜图像超分辨率重建模型。

根据本发明的方案，在训练时结合了虹膜识别模块440的输出结果（例如，考虑第三损失函数来更新参数），使输出的超分辨率虹膜图像能够保持身份信息，以更好地用于远距离虹膜识别。

图8示出了根据本发明一个实施例的虹膜图像超分辨率重建方法800的流程示意图。方法800在计算设备200中执行，如图8所示，方法800始于步骤S810。

在步骤S810中，获取包含虹膜的低分辨率虹膜图像。如前文所述，该低分辨率虹膜图像是在稍远的距离内采集虹膜图像时获取的，图像中虹膜区域的尺寸较小，不利于虹膜检测。

因而在随后的步骤S820中，将低分辨率虹膜图像输入虹膜图像超分辨率重建模型，经处理后输出对应的超分辨率虹膜图像，提高虹膜图像的分辨率。

其中，虹膜图像超分辨率重建模型通过执行生成虹膜图像超分辨率重建模型的方法300来生成。

根据本发明的方法800，针对远距离采集虹膜图像时，虹膜区域尺寸过小，不利于虹膜检测的问题，对虹膜图像进行超分辨率重建，减少了单纯放大低分辨率虹膜图像时，所带来的纹理信息损失问题，提高了远距离虹膜识别的准确率。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的优选实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (7)

1.一种生成虹膜图像超分辨率重建模型的方法，在计算设备中执行，所述方法包括步骤：

获取多个包含虹膜的高分辨率虹膜图像及其对应的低分辨率虹膜图像和低分辨率掩膜图像，包括：采集多个包含虹膜的高分辨率虹膜图像；对各高分辨率虹膜图像分别进行下采样，得到对应的低分辨率虹膜图像；对各低分辨率虹膜图像分别进行虹膜分割，得到对应的低分辨率掩膜图像；

将所述高分辨率虹膜图像和所述低分辨率虹膜图像输入初始的超分辨率重建模型的生成模型中，经处理后生成虹膜分割特征图、超分辨率虹膜图像、以及超分辨率虹膜图像的编码模板和高分辨率虹膜图像的编码模板，所述超分辨率重建模型的生成模型包括：相互耦接的特征提取模块、基于掩膜的注意力模块、上采样模块和虹膜识别模块，其中，

将所述低分辨率虹膜图像输入所述特征提取模块，生成低分辨率图像特征；

利用所述基于掩膜的注意力模块，对所述低分辨率图像特征进行处理，并生成关于所述低分辨率虹膜图像的虹膜分割特征图和虹膜区域注意力特征图；

通过所述上采样模块，对所述虹膜区域注意力特征图进行上采样处理，生成与所述高分辨率虹膜图像尺寸一致的超分辨率虹膜图像；

将所述超分辨率虹膜图像与所述高分辨率虹膜图像输入训练好的虹膜识别模块中，对应得到超分辨率虹膜图像的编码模板和高分辨率虹膜图像的编码模板；

通过计算所述低分辨率掩膜图像与所述虹膜分割特征图之间的第一损失函数、所述高分辨率虹膜图像与所述超分辨率虹膜图像之间的第二损失函数、所述高分辨率虹膜图像的编码模板与所述超分辨率虹膜图像的编码模板之间的第三损失函数，来更新所述超分辨率重建模型的生成模型的参数，直到满足预定条件时，训练结束，得到训练好的超分辨率重建模型的生成模型；

利用所述训练好的超分辨率重建模型的生成模型，生成虹膜图像超分辨率重建模型。

2.如权利要求1所述的方法，其中，在将所述高分辨率虹膜图像和所述低分辨率虹膜图像输入初始的超分辨率重建模型的生成模型之前，还包括：

利用所述高分辨率虹膜图像训练所述虹膜识别模块，以得到训练好的虹膜识别模块。

3.如权利要求2所述的方法，其中，

所述第一损失函数L1_loss通过下式计算：

，

其中，K表示低分辨率掩膜图像的像素数；

表示低分辨率掩膜图像中第i个像素的标签，如果像素属于虹膜区域，则其对应的标签值为1，否则为0；

表示在虹膜分割特征图中预测的第i个像素属于虹膜区域的概率值；

所述第二损失函数L2_loss通过下式计算：

，

其中，m表示高分辨率虹膜图像的像素数，I_SR为超分辨率虹膜图像，I_HR为高分辨率虹膜图像；

所述第三损失函数L3_loss通过下式计算：

，或，

，

其中，n表示编码模板的长度，

表示超分辨率虹膜图像的编码模板，

表示高分辨率虹膜图像的编码模板。

4.如权利要求3所述的方法，其中，

所述特征提取模块包括1个卷积层和3个空洞残差组件；

所述基于掩膜的注意力模块包括第一支路和第二支路，其中所述第一支路适于提取虹膜纹理特征，所述第二支路适于对低分辨率虹膜图像进行分割，生成虹膜分割特征图，所述基于掩膜的注意力模块还适于结合第一支路和第二支路，得到虹膜区域注意力特征图；

所述上采样模块包括卷积层、上采样组件和子像素卷积层，其中，所述上采样组件适于对所述虹膜区域注意力特征图进行分块、缩放和卷积处理，并与所述卷积层的结果融合，以得到特征图，将所述特征图输入所述子像素卷积层，以输出所述超分辨率虹膜图像。

5.如权利要求4所述的方法，其中，

所述虹膜图像超分辨率重建模型包括：训练好的特征提取模块、训练好的基于掩膜的注意力模块和训练好的上采样模块。

6.一种虹膜图像超分辨率重建方法，在计算设备中执行，包括步骤：

获取包含虹膜的低分辨率虹膜图像；

将所述低分辨率虹膜图像输入虹膜图像超分辨率重建模型，经处理后输出对应的超分辨率虹膜图像，

其中，所述虹膜图像超分辨率重建模型通过执行如权利要求1-5中任一项所述的方法来生成。

7.一种计算设备，包括：

至少一个处理器和存储有程序指令的存储器；

当所述程序指令被所述处理器读取并执行时，使得所述计算设备执行如权利要求1-5中任一项所述的方法，和/或，如权利要求6所述的方法。

Images