CN110188670B - 一种虹膜识别中的人脸图像处理方法、装置和计算设备 - Google Patents

Abstract

本发明公开了一种虹膜识别中的人脸图像处理方法、装置和计算设备，所述的方法包括：获取用于虹膜识别的红外人脸图像；利用训练后的着色模型，对所述红外人脸图像进行着色，得到彩色化的人脸图像；将所述彩色化的人脸图像在预览区域内显示，以便引导用户配合虹膜特征的采集。

Description

一种虹膜识别中的人脸图像处理方法、装置和计算设备

技术领域

本发明涉及虹膜识别技术领域，特别涉及一种虹膜识别中的人脸图像处理方法、装置和计算设备。

背景技术

目前的虹膜识别技术已经应用在很多行业，包括金融、安防等领域。在进行虹膜识别的过程中，一般会通过红外(Infrared Radiation,IR)摄影头采集当前用户的虹膜图像，并实时地将采集的虹膜图像作为预览图像直接展示给当前用户预览，以便引导用户配合虹膜特征的采集。

在现有的生成预览图像的方案中，预览图像通常为红外人脸图像，这不仅不美观，甚至有点吓人。预览图像为红外图像会导致用户视觉效果较差，会引起用户不适，影响用户的使用感受。

发明内容

鉴于上述问题，提出本发明以便提供一种虹膜识别中的人脸图像处理方法、装置和计算设备，力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种虹膜识别中的人脸图像处理方法，适于在计算设备中执行，包括如下步骤：获取用于虹膜识别的红外人脸图像；利用训练后的着色模型，对所述红外人脸图像进行着色，得到彩色化的人脸图像；将所述彩色化的人脸图像在预览区域内显示，以便引导用户配合虹膜特征的采集。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，包括编码器：适于以红外人脸图像作为输入，经过多次卷积-下采样处理，生成特征图像序列；融合层：适于以编码器所生成的特征图像序列作为输入，将红外人脸图像中的人脸特征点与输入的特征图像序列进行融合，得到融合后的特征图像序列；解码器：适于以融合后的特征图像序列作为输入，经过多次卷积- 上采样处理，生成彩色化的人脸图像。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述着色模型包括相互级联的第一着色模型和第二着色模型，其中：所述第一着色模型包括：第一编码器：适于以红外人脸图像作为输入，经过多次卷积-下采样处理，生成特征图像序列；第一融合层：适于以第一编码器所生成的特征图像序列作为输入，将红外人脸图像中的人脸特征点与输入的特征图像序列进行融合，得到融合后的特征图像序列；第一解码器：适于以融合后的特征图像序列作为输入，经过多次卷积-上采样处理，生成灰度化的人脸图像；所述第二着色模型包括：第二编码器：适于以所述第一解码器生成的灰度化的人脸图像作为输入，经过多次卷积-下采样处理，生成特征图像序列；第二融合层：适于以第二编码器所生成的特征图像序列作为输入，将红外人脸图像中的人脸特征点与输入的特征图像序列进行融合，得到融合后的特征图像序列；第二解码器：适于以融合后的特征图像序列作为输入，经过多次卷积-上采样处理，生成彩色化的人脸图像。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述输入的特征图像序列为W×H×n的第一图像块，W为宽度，H为高度，n为通道数，所述将红外人脸图像中的人脸特征点与输入的特征图像序列进行融合的步骤，包括：获取红外人脸图像中的人脸特征点及其所对应的特征向量，所述特征向量的维数为L；将所述第一图像块与所述特征向量进行拼接，得到W×H×(n+L)的第二图像块，所述第二图像块即为融合后的特征图像序列，其中，所述第二图像块的第i通道的图像的每个像素值为所述特征向量的第i-n个元素的取值，且n≤i≤n+L。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述获取红外人脸图像中的人脸特征点的步骤包括：利用图像分割模型，从红外人脸图像中获取人脸区域；利用深度卷积网络，从所述人脸区域中识别人脸特征点，所述人脸特征点包括五官特征点和轮廓特征点。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述图像分割模型采用前景检测算法。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，在虹膜识别过程中获取的红外人脸图像为大视野红外图像时，所述图像分割模型还包括目标检测算法。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，获取人脸特征点对应的特征向量的步骤包括：在利用深度卷积网络识别红外人脸图像中的人脸特征点的过程中，将所述深度卷积网络的softmax层的输入，作为所述人脸特征点对应的特征向量。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述深度卷积网络为SqueezeNet。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，在所述多次卷积-下采样处理中，包括通过设置卷积处理的步长大于1的方式，来实现下采样处理。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述着色模型按照如下的训练过程得到：获取训练样本集，训练样本集中的每一个训练样本为对齐的红外人脸图像和可见光彩色人脸图像的图像对，其中的红外人脸图像作为输入图像，可见光彩色人脸图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到着色模型中，得到彩色化的输出图像；通过计算输出图像与目标图像的差值得到着色模型的损失值，根据损失值对着色模型的参数进行调整，得到训练后的着色模型。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述获取训练样本集的步骤包括：获取同一场景的红外人脸图像和可见光彩色人脸图像；对齐所述红外人脸图像和可见光彩色人脸图像，将对齐的红外人脸图像和可见光彩色人脸图像作为训练样本集中的训练样本。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述对齐所述红外人脸图像和可见光彩色人脸图像的步骤，包括：根据人脸特征点，对齐红外人脸图像和可见光彩色人脸图像。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述对齐所述红外人脸图像和可见光彩色人脸图像的步骤，还包括：通过相机标定，计算红外相机和彩色相机的相对误差值，所述相对误差值包括相机间的相对姿态的差值以及相机参数的差值；根据红外相机和彩色相机的相对误差值，通过图像几何变换的方式，得到对齐的红外人脸图像和可见光彩色人脸图像。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，还包括如下对所述着色模型的预训练过程：获取预训练样本集，预训练样本集中的每一个训练样本为对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对，其中可见光灰度人脸图像作为输入图像，可见光彩色人脸图像的图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到着色模型中，得到彩色化的输出图像；通过计算输出图像与目标图像的差值得到着色模型的损失值，根据损失值对着色模型的参数进行调整，得到预训练后的着色模型。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述第一着色模型按照如下的训练过程得到：获取训练样本集，训练样本集中的每一个训练样本为对齐的红外人脸图像和可见光灰度人脸图像的图像对，其中的红外人脸图像作为输入图像，可见光灰度人脸图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到第一着色模型中，得到灰度化的输出图像；通过计算输出图像与目标图像的差值得到第一着色模型的损失值，根据损失值对第一着色模型的参数进行调整，得到训练后的第一着色模型。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，所述第二着色模型按照如下的训练过程得到：获取训练样本集，训练样本集中的每一个训练样本为对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对，其中的可见光灰度人脸图像作为输入图像，可见光彩色人脸图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到第二着色模型中，得到彩色化的输出图像；通过计算输出图像与目标图像的差值得到第二着色模型的损失值，根据损失值对第二着色模型的参数进行调整，得到训练后的第二着色模型。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，获取对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对的步骤，包括：获取可见光彩色人脸图像；将可见光彩色人脸图像灰度化，得到与可见光彩色人脸图像对齐的可见光灰度人脸图像。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述将所述彩色化的人脸图像在预览区域内显示的步骤包括：将所述彩色化的人脸图像进行放大，生成分辨率较高的放大后的人脸图像；将所述放大后的人脸图像在预览区域内显示。

可选地，根据本发明的虹膜识别中的人脸图像处理方法，其中，所述获取用于虹膜识别的红外人脸图像的步骤，还包括：如果检测到摄像设备过度曝光，调节摄像设备参数和红外灯亮度以消除过曝现象。

根据本发明的另一个方面，提供一种虹膜识别中的人脸图像处理装置，驻留在计算设备中，所述装置包括：获取模块：适于获取用于虹膜识别的红外人脸图像；着色模块：适于利用训练后的着色模型，对所述红外人脸图像进行着色，得到彩色化的人脸图像；显示模块：适于将所述彩色化的人脸图像在预览区域内显示，以便引导用户配合虹膜特征的采集。

根据本发明的又一个方面，提供一种计算设备，包括：一个或多个处理器；存储器；和一个或多个程序，其中，一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括执行上述虹膜识别中人脸图像处理的方法指令。

根据本发明的又一个方面，还提供了一种存储有一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，当该程序指令被计算设备执行时，使得计算设备执行上述虹膜识别中人脸图像处理的方法。

根据本发明的方案，通过获取对齐的红外人脸图像和可见光彩色人脸图像来生成训练集合，进而训练生成着色模型，在用户进行虹膜识别的过程中，将采集到的红外人脸图像经着色模型处理后，生成与用户视觉无差异的可见光彩色人脸图像，并将该图像在预览区域展示给用户，以便用户正确使用，从而能够减少用户在虹膜识别过程中的不适感，提高了用户体验。

进一步，通过将人脸特征融合到着色模型中，可以将分类模型的分类效果迁移到着色模型中，提高了着色模型的精确度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明的一个应用场景的示意图；

图2示出了大视野红外人脸图像的示例图；

图3示出了小视野红外人脸图像的示例图；

图4示出了根据本发明一个实施例的计算设备400的结构图：

图5示出了根据本发明一个实施例的人脸图像处理装置500的结构图；

图6示出了根据本发明一个实施例的着色模型600的构造示意图；

图7示出了根据本发明一个实施例的着色模型700的网络结构示意图；

图8示出了根据本发明一个实施例的训练着色模型的流程图800；

图9示出了根据本发明的一个实施例的基于亮度的前景检测的示例图；

图10示出了根据本发明一个实施例的着色模型的预训练的流程图 1000；

图11示出了根据本发明一个实施例的利用着色模型对红外人脸图像彩色化的流程图1100；

图12示出了根据本发明的另一个实施例的着色模型1200的构造示意图；

图13示出了根据本发明一个实施例的训练第一着色模型的流程图 1300；

图14示出了根据本发明一个实施例的训练第二着色模型的流程图1400。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了本发明的一个应用场景的示意图。本发明的应用场景为虹膜识别过程，通过对比虹膜图像特征之间的相似性来确定用户的身份。虹膜识别技术大多应用于安防设备(如门禁等)，以及有高度保密需求的场所。虹膜识别的过程一般来说包含虹膜图像获取，图像预处理，特征提取和特征匹配四个步骤。在虹膜图像获取时，摄像设备会获取到包含虹膜特征的人脸图像，这一般需要红外等辅助照明，尤其是亚洲人的虹膜特征需要虹膜识别设备提供红外(Infrared Radiation,IR)照明，这种包含虹膜特征的人脸图像被称为红外人脸图像。

用户在虹膜识别过程中，会实时地在显示器的预览窗口上显示出用户的人脸图像，以便用户配合虹膜特征的采集，这个人脸图像称为人脸预览图像。在识别虹膜的时候，用户通过观察在显示器显示的人脸预览图像，如果人脸预览图像的位置没有对正或者角度有偏移，用户可以调整姿势重新采集虹膜图像；如果人脸预览图像的位置和角度都标准，用户可以对已经采集的虹膜图像进行确认，从而完成用户虹膜识别的过程。

在现有的技术方案中，人脸预览图像大部分是红外摄像设备直接采集的红外人脸图像，如图2和图3所示。其中图2示出了大视野红外人脸图像的示例图，图3示出了小视野红外人脸图像的示例图。大视野红外人脸图像是基于较大范围视角获取的红外人脸图像，包括人脸的整个轮廓和五官，而小视野人脸图像是设备从较小的视角采集的，因此不包括人脸的外轮廓且只包括人脸的部分五官。在用户观察显示器示出的预览图像时，生成的红外人脸图像与用户通常所见的图像视觉差异较大且不太美观，甚至有些吓人，用户体验较差。因此本发明提供一种用于虹膜识别的人脸图像处理方法，在该方法中，采集到用于虹膜识别的红外人脸图像后，一方面将红外人脸图像输出到虹膜识别模块进行虹膜识别，另一方面，还将红外人脸图像变换为较正常的可见光彩色人脸图像，并将转换后的图像进行预览显示，以引导用户使用。

根据上述虹膜识别的过程，本发明的虹膜识别中的人脸图像处理方法包括采集虹膜识别过程中的红外人脸图像，将红外人脸图像输入到训练后的着色模型中，对红外人脸图像进行着色，得到可见光彩色人脸图像，可见光彩色人脸图像即与用户通常所见的图像视觉一致的人脸图像。最后将可见光彩色人脸图像在预览区域内显示出来，帮助用户完成虹膜识别的过程。

本发明实施例的人脸图像处理方法可以在计算设备中执行。图4示出了根据本发明一个实施例的计算设备400的结构图。如图4所示，在基本的配置402中，计算设备400典型地包括系统存储器406和一个或者多个处理器 404。存储器总线408可以用于在处理器404和系统存储器406之间的通信。

取决于期望的配置，处理器404可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器404可以包括诸如一级高速缓存410和二级高速缓存412之类的一个或者多个级别的高速缓存、处理器核心414和寄存器416。示例的处理器核心414可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器418 可以与处理器404一起使用，或者在一些实现中，存储器控制器418可以是处理器404的一个内部部分。

取决于期望的配置，系统存储器406可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器406可以包括操作系统420、一个或者多个应用422以及程序数据424。应用422实际上是多条程序指令，其用于指示处理器404执行相应的操作。在一些实施方式中，应用422可以布置为在操作系统上使得处理器404利用程序数据424进行操作。

计算设备400还可以包括有助于从各种接口设备(例如，输出设备442、外设接口444和通信设备446)到基本配置402经由总线/接口控制器430的通信的接口总线440。示例的输出设备442包括图形处理单元448和音频处理单元450。它们可以被配置为有助于经由一个或者多个A/V端口452与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口444可以包括串行接口控制器454和并行接口控制器456，它们可以被配置为有助于经由一个或者多个I/O端口458和诸如输入设备(例如，摄像机、键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备446可以包括网络控制器 460，其可以被布置为便于经由一个或者多个通信端口464与一个或者多个其他计算设备462通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR) 或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

在根据本发明的计算设备400中，应用422包括人脸图像处理装置500，装置500包括多条程序指令，这些程序指令可以指示处理器404执行流程800、 1000、1100、1300、1400。

计算设备400可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以包括桌面计算机和笔记本计算机配置的个人计算机或者包括手机和平板电脑配置的移动终端设备。另外，计算设备还可以被实现为服务器。

在一个典型的应用场景中，计算设备400需要在虹膜识别过程中对红外人脸图像进行彩色化。相应地，计算设备400包括用于执行将红外人脸图像转换为可见光彩色人脸图像的人脸图像处理装置500。图5示出了根据本发明一个实施例的人脸图像处理装置500的结构图。人脸图像处理装置500包括获取用于虹膜识别的红外人脸图像的获取模块510，基于训练后的着色模型对红外人脸图像进行着色的着色模块520，将彩色化的人脸图像在预览区域内显示的显示模块530。其中，获取模块510还可以与图像采集设备连接，用于采集红外人脸图像和显示模块530还可以与显示器连接，用于将彩色化的人脸图像在显示器中显示出来，帮助用户完成虹膜识别的过程。

图6示出了根据本发明一个实施例的着色模型600的构造示意图。鉴于着色模型600的目标是输出一个与输入大小一致的结果，因此，需要用卷积网络进行End-to-End训练；另外，由于图像彩色化是使数据维度升高的过程，故，着色模型600采用编码器-解码器(Encoder-Decoder)结构，编码器 (Encoder)从输入图像提取必要的特征信息，再通过解码器(Decoder)恢复出需要的输出结构。通过建立从单通道红外图像到三通道彩色图像的映射，实现红外人脸图像的彩色化。

根据本发明的一个实施例，着色模型600包括编码器610、融合层620 和解码器630。首先由编码器610通过多次卷积-下采样处理，从输入图像中提取提取多个层次的图像特征，生成特征图像序列。融合层620将编码器610 生成的特征图像序列与获取的输入图像的人脸特征点所对应的特征向量进行融合，得到融合后的特征图像序列。最后再由解码器630通过对特征图像序列进行多次卷积-上采样处理，卷积层提取特征得到特征图，输入上采样层对特征图进行上采样处理，生成上采样层的特征图，从而生成彩色图像所需的各个通道彩色分量值，生成可见光彩色人脸图像。

下面结合本发明的一个实施例，详细阐述着色模型的网络结构。图7示出了根据本发明一个实施例的着色模型700的网络结构示意图。编码网络710 是一个全卷积网络，包括六个依次连接的卷积层711-716，每个卷积层有若干个卷积单元。通过设计卷积层711，卷积层713，卷积层715的步长为2，缩小图像的尺寸，实现下采样处理的效果。在编码的神经网络中，每个卷积层的卷积核均为3×3，其中，六个卷积层的卷积核的个数依次为64、128、 128、256、256、256。并且，在3×3卷积后加入激活函数(Relu)。在此基础上，输入图片经过编码器输出的特征图像序列F是一个32×32×256的矩阵。

融合网络720是由256个3×3的卷积核的卷积层721构成的，其步长为 1。利用卷积神经网络获取红外人脸图像中的人脸特征点，将卷积神经网络的 softmax层的输入作为人脸特征点对应的特征向量。获取得到的红外人脸图像中的人脸特征向量的维数为L，其是一个1×1×L的矩阵。将特征向量与编码网络710生成的特征图像序列进行融合，其中特征图像序列为W×H×n 的第一图像块，W为宽度，H为高度，n为通道数。将特征融合的方式有多种，例如，系列特征融合(concat)，直接将两个特征进行连接；并行策略 (add)，将这两个特征向量组合成复向量。根据本发明的一种实施方式，采用系列特征融合(concat)，将编码器输出的特征图像序列与人脸特征点所对应的特征向量进行拼接，拼接的方式可以为W×H的每个元素都拼接相同的特征向量，得到W×H×(n+L)的特征图像序列为融合后的特征图像序列。将人脸特征提取的分类结果在融合层融合到着色模型中，可以将人脸特征提取的分类效果迁移到着色模型上，可以在着色时利用目标局部特征，进一步提高着色模型的精确度。

具体地，如果获取到的输入图像的人脸特征点所对应的特征向量是一个 1×1×1000的矩阵为f，其中1000为人脸特征向量的维度。采用系列特征融合(concat)，将编码器输出的特征图像序列与人脸特征点所对应的特征向量进行拼接，拼接的方式可以为32×32的每个元素都拼接相同的特征向量，合并得到的特征图像序列G，是一个32×32×1256的矩阵，该特征图像序列为融合后的特征图像序列。通过将红外人脸图像中的人脸特征信息在融合层融合到着色模型中，可以将局部特征融合到着色模型中，将人脸特征的特征信息进一步输入到着色模型上，强化人脸特征点的着色效果，在训练着色模型的过程中提高着色模型精确度。实现特征融合的代码可以如下：

解码网络730包括三个依次连接的卷积层731-734，卷积层731、732和 734分别与一个上采样层731、732、733连接，并且每个卷积层的卷积核均为3×3。卷积层731、732和733的卷积核的数量分别是128、64和32，卷积层634采用3个卷积核获取RGB彩色图像的三通道分量值。卷积层的步长为1，使用激活函数(Relu)，最终输出的输出图像为256×256×3的矩阵，是与输入图像分辨率相同的可见光彩色人脸图像。

在使用上述着色模型之前，还需要对该着色模型进行训练。以下介绍训练该着色模型的过程。首先介绍直接训练的过程。

图8示出了根据本发明一个实施例的训练着色模型的流程图800。参照图8，训练着色模型的流程800始于步骤S810，在步骤S810中，获取同一场景的红外人脸图像和可见光彩色人脸图像。

在同一场景下，通过计算机上的输入设备或者其他方式同时获取用户的红外人脸图像和可见光彩色人脸图像，并记录红外光源和可见光源的位置、方向和强度等参数。根据本发明的一种实施方式，采用相邻的红外摄像头和可见光摄像头，同时对准人脸拍摄得到人脸图像。在拍摄过程中，通过相机自动曝光检测，调节可见光和红外光灯的亮度，从而避免人脸区域产生过度曝光的现象。

根据本发明的一种实施方式，在获取到红外人脸图像和可见光彩色人脸图像后，通过图像分割模型获取人脸区域。这里的图像分割模型可以是任何公知的图像分割模型，本发明对此不作限制。根据本发明的一个实施例，图像分割模型可以是基于亮度的前景检测的算法。通过对获取到的红外人脸图像和可见光彩色人脸图像进行前景检测，得到人脸的大致轮廓。如图9示出了根据本发明的一个实施例的基于亮度的前景检测的示例图。基于亮度的前景检测通常是利用虹膜识别过程中的红外人脸图像在较暗背景下，获取较亮的人脸区域。提取较亮人脸区域可以采用帧差法，先记录背景图像，再用当前图像减去背景图像，并对残差图像进行二值化和形态学处理分析。同时，当背景较复杂时，可以先用高斯混合模型进行背景建模，再用当前图像减去背景图像得到人脸的大致轮廓。

同时，图像分割模型还包括目标检测算法，即根据目标检测模型确定人脸区域。目标检测(Object Detection)是从图片中检测出所关注的特定的物体目标，同时获得这一目标的类别信息和位置信息(常用矩形检测框的坐标表示)，目前常用的目标检测模型是深度学习模型，例如Faster R-CNN、YOLO (You Only Look Once)等，但不限于此。在基于亮度的前景检测的基础上，采用目标检测模型检测人脸区域，能够更加准确的确定人脸区域。

当获取的红外人脸图像为小视野红外图像时，如图3所示，通过目标检测算法无法确定人脸区域，因此只采用基于亮度的前景检测确定人脸区域。

在随后的步骤S820中，对齐获取到的红外人脸图像和可见光彩色人脸图像，将对齐的红外人脸图像和可见光彩色人脸图像作为训练样本集中的训练样本。

这里所说的对齐获取到的红外人脸图像和可见光彩色人脸图像，是指红外人脸图像和可见光彩色人脸图像的人脸特征点能够完美重合，通常采用人脸特征点检测的方法对齐图像。人脸特征点检测是一种能够自动定位出人脸特征点的算法。人脸特征点包括五官特征点和轮廓特征点，五官特征点例如眼睛、鼻尖、嘴角点、眉毛等，轮廓特征点是人脸各部位的轮廓点。人脸特征点的数量以及各个人脸特征点所代表的人脸位置可以由本领域技术人员自行设置，本发明对人脸特征点的具体设置情况不做限制。人脸对齐(facealignment)通过输入的人脸图像，输出人脸特征点坐标。人脸对齐算法通常包括训练和搜索两部分。在训练过程中，需要搜集多个包含人脸的图像，标注各图像中的人脸特征点，将标注了人脸特征点的图像作为训练样本，训练人脸对齐模型。对齐的方式有多种，例如基于模型的ASM(Active Shape Model，主观形状模型)、AAM(Active Appearance Model，主观外动模型)；基于级联形状回归的CPR(Cascaded pose regression，有约束的局部模型)；基于深度学习的方法等，但不限于此。本发明采用深度学习的方法，通过构建深度卷积神经网络根据人脸特征点对齐开源库OpenFace，对齐获取到的红外人脸图像和可见光彩色人脸图像，使之完美重合。

根据本发明的另一种方式，还可以通过相机标定的方式对图像进行对齐。相机标定是为了确定在图像中对应点之间的相互关系，建立的相机成像的几何模型，这些模型的参数就是相机参数。根据步骤S810中获取到的相机参数，通过相机标定的步骤，可以得到可见光相机和红外相机的相对姿态。可见光相机和红外相机的相对姿态是指两个相机坐标系的相对旋转和相对位移。根据相机的相对旋转和相对位移，结合可见光和红外相机的相机参数误差值，可以将可见光彩色人脸图像和红外人脸图像通过坐标变换的方式对齐，得到对齐的红外人脸图像和可见光彩色人脸图像的图像对。另外，当存在标定误差和人脸特征点检测误差时，综合相机标定的对齐结果和人脸特征点检测的对齐结果，可以达到更加准确的人脸对齐效果。

获取到对齐的红外人脸图像和可见光彩色人脸图像的图像对之后，将该图像对作为一个训练样本添加到样本集合中。通过反复执行步骤S810和步骤S820，能够得到包括多个训练样本的样本集合。对于每个训练样本，其中的红外人脸图像为着色模型的输入图像，与红外人脸图像对齐的可见光彩色人脸图像为着色模型的目标图像。

在随后的步骤S830中，获取训练样本中输入图像中的人脸特征点所对应的特征向量。

通过构建特征提取网络获取红外人脸图像中的人脸特征点以及其所对应的特征向量。根据本发明的一种实施方式，利用卷积神经网络SqueezeNet 获取红外人脸图像中的人脸特征点。SqueezeNet以卷积层(conv1)开始，接着使用8个Fire modules(fire2-9)，最后以卷积层(conv10)和平均池化结束，实现分类。在这个过程中，将最后一个平均池化层的输出，也就是卷积神经网络的softmax层的输入作为人脸特征点对应的特征向量，得到人脸特征向量。使用SqueezeNet可以获得较高精度的特征提取效果的情况下，降低深度卷积网络的规模，从而降低卷积神经网络的参数数量，提高着色模型的训练效率。对于利用SqueezeNet识别人脸特征点的具体步骤属于已知内容，此处不再一一赘述。

同时，在对齐红外人脸图像和可见光彩色人脸图像的过程中，通过人脸特征点进行对齐的步骤已经将红外人脸图像的人脸特征点进行识别，因此将该识别结果所对应的特征向量值作为人脸特征点所对应的特征向量值，将进一步的减少训练着色模型过程中的计算量，提高训练效率。

在随后的步骤S840中，将获取到的输入图像和特征向量输入到着色模型中，得到彩色化的输出图像。将S820所得到的输入图像输入到着色模型中，通过将输入图像和特征向量在着色模型的融合层进行融合，得到彩色化的输出图像。由于着色模型的具体结构和着色模型的原理已经在前文进行了详细阐述，因此对于输入图像输入到着色模型中如何将图像进行彩色化的过程在此不一一赘述。

在随后的步骤S850中，计算输出图像与目标图像的差值得到着色模型的损失值，对着色模型的参数进行调整，得到训练后的着色模型。

根据损失函数计算步骤S820和步骤S840获得的目标图像和输出图像的损失值，对着色模型的参数进行调整。根据本发明的一个实施例，通过损失函数

计算均方误差值，其中y是目标图像值，y′是输出图像值，n为样本集的样本数量值。采用梯度下降法调整着色模型的参数，重复这一步骤，直到计算得到的均方误差小于预设门限，或者，训练次数达到预设值时，停止训练，得到训练完成的优化的着色模型。

至此，着色模型的训练过程完成。然而，在着色模型的训练实践中，由于着色模型是深度卷积神经网络，需要大量的训练样本才能得到较为理想的结果，因此经常出现训练样本不足的现象，使得训练效果较差。训练样本即对齐的红外人脸图像和可见光彩色人脸图像的图像对，需要通过采集设备进行图像采集，需要很多时间和资源。但是由于可见光灰度人脸图像与可见光彩色人脸图像均为可见光光谱下的图像，可以通过直接计算进行变换，因此可见光灰度人脸图像与可见光彩色人脸图像是天然对齐的。由此，通过利用天然对齐的可见光灰度人脸图像与可见光彩色人脸图像对着色模型进行预训练，再将对齐的红外人脸图像和可见光彩色人脸图像的图像对输入到预训练后的模型中，可以在保证训练效果的前提下，减少训练样本的数量，从而大幅度节省时间和成本。

图10示出了根据本发明一个实施例的着色模型的预训练的流程图1000，先将对齐的可见光彩色人脸图像和可见光灰度人脸图像用于预训练着色模型，再将红外人脸图像输入到预训练模型中，可以在达到相同训练效果的同时，减少训练着色模型的计算量，从而提高训练模型的效率，也消除了在训练模型中因训练样本不足造成训练效果较差的现象。

预训练着色模型流程1000始于步骤S1010，在步骤S1010中，获取对齐的灰度人脸图像和可见光彩色人脸图像的图像对，其中的可见光灰度人脸图像作为输入图像，可见光彩色人脸图像的图像作为目标图像。由于可见光灰度人脸图像与可见光彩色人脸图像均为可见光光谱下的图像，将可见光彩色人脸图像直接计算或者提取亮度分量即可得到与可见光彩色人脸图像对齐的灰度人脸图像，避免了大量的图像采集步骤，在达到优化的训练效果的同时，节省了大量的时间和资源。将可见光灰度人脸图像作为预训练模型的输入图像，与其对齐的可见光彩色人脸图像作为预训练模型的目标图像。

在随后的步骤S1020中，获取输入图像的人脸特征点对应的特征向量，由于该步骤与流程800中的对应步骤类似，在此不再赘述。并在步骤S1030 中，将获取到的人脸特征向量和输入图像输入到着色模型中，得到彩色化的输出图像。在随后的步骤S1030中，将获取到的输入图像和特征向量输入到着色模型中，得到彩色化的输出图像。并在随后的步骤S1040中，计算输出图像与目标图像的差值得到着色模型的损失值，对着色模型的参数进行调整，得到预训练后的着色模型。这里的步骤与流程800中的对应步骤类似，在此不再赘述。

在对于着色模型进行预训练之后，将对齐的红外人脸图像和可见光彩色人脸输入到预训练模型中进行训练。通过利用天然对齐的可见光灰度人脸图像与可见光彩色人脸图像对着色模型进行预训练，再将对齐的红外人脸图像和可见光彩色人脸图像的图像对输入到预训练后的模型中，可以避免大量的图像采集工作，节省大量时间和资源。

在着色模型训练完成后，可以直接利用训练后的着色模型，对虹膜识别中的红外人脸图像进行着色，得到可见光彩色人脸图像。

图11示出了根据本发明一个实施例的利用着色模型对红外人脸图像彩色化的流程图1100。红外人脸图像彩色化流程始于步骤S1110，获取用于虹膜识别的红外人脸图像。可以通过个人计算机上的图像输入设备(如红外摄像头)或其他外设设备获取虹膜识别过程中的红外人脸图像，本发明对于红外人脸图像的获取方式不做限制。在获取到红外人脸图像后，如果检测到摄像设备过度曝光，调节摄像设备参数和红外灯亮度以消除过度曝光的现象。通过图像分割模型和目标检测模型，确定获取的红外人脸图像中的人脸区域。同时，在虹膜识别过程中，如果采用小视野输入设备，所获取到的红外人脸图像可能只包括眉毛、眼睛、鼻子等五官。因此无法通过目标识别模型识别人脸，只能通过图像分割模型，也就是基于亮度的前景检测确定人脸区域。构建深度卷积网络，从人脸区域中利用人脸特征点检测的方法，识别红外人脸图像的人脸特征点，这些人脸特征点包括五官特征点和轮廓特征点，并获取人脸特征点所对应的特征向量。由于具体实施方式在步骤S820和S830中都已经阐述，因此不再赘述。

在随后的步骤S1120中，利用训练后的着色模型，对所述红外人脸图像进行着色，得到彩色化的人脸图像。将获取到的红外人脸图像输入到着色模型中，其中着色模型在融合层将特征提取后的特征图像序列与红外人脸图像中的人脸特征向量进行融合，将人脸图像识别的分类效果迁移到着色模型中，在着色时利用局部特征，提高着色模型的准确性。着色模型为编码器-融合层 -解码器的模型，对输入的用于虹膜识别的红外人脸图像进行处理，进而输出彩色化的人脸图像。

在随后的步骤S1130中，将彩色化的人脸图像在预览区域内显示，以便引导用户配合虹膜特征的采集。将着色模型输出的彩色化的人脸图像进行放大处理以适应屏幕的分辨率，生成分辨率较高的人脸图像，将该人脸图像在预览区域中显示出来。预览区域可以是与预览模块相连接的显示器。在显示器中显示彩色的预览图像，帮助在虹膜识别中的用户完成识别过程。

根据本发明的方案，通过采集对齐的红外人脸图像和可见光彩色人脸图像来生成训练集合，进而训练生成着色模型，在用户进行虹膜识别的过程中，将采集到的红外人脸图像经着色模型处理后，生成与用户视觉无差异的可见光彩色人脸图像，并将该图像在预览区域展示给用户，以便用户正确使用，从而减少用户在虹膜识别过程中的不适感。相较于现有技术，本发明的方案极大地提高了用户在虹膜识别过程中用户体验，同时将人脸的五官特征和轮廓特征融合到着色模型中，将人脸特征分类的学习效果迁移到着色模型上，强化人脸特征点的着色效果，进一步提高着色模型的精确度。

大量对齐的红外人脸图像和可见光彩色人脸图像的图像对较为难以获得，可见光灰度人脸图像可以直接由可见光彩色人脸图像直接计算或者提取亮度分量得到的，且可见光灰度人脸图像可以由红外人脸图像通过亮度分量变换得到，因此，还提供另外一种模型，通过先将红外人脸图像变换为可见光灰度人脸图像，再将可见光灰度人脸图像变换为可见光彩色人脸图像，从而达到红外人脸图像彩色化的效果，可以在保证训练效果的前提下，减少训练样本的数量，减少图像采集的工作，节省大量的时间和资源。

图12示出了根据本发明的另一个实施例的着色模型1200的构造示意图。着色模型1200是相互级联的第一着色模型和第二着色模型。其中，第一着色模型用于将红外人脸图像变换为可见光灰度图像，第二着色模型用于将可见光灰度人脸图像变化为可见光彩色人脸图像。通过分别训练从红外人脸图像变换为可见光灰度图像的第一着色模型，从红外人脸图像变换为可见光彩色人脸图像的第二着色模型，可以在达到相同训练效果的同时，减少训练着色模型的计算量，从而提高训练模型的效率，也消除了在训练模型中因训练样本不足造成无法训练最优着色模型的现象。

图13示出了根据本发明一个实施例的训练第一着色模型的流程图1300。用于训练第一着色模型流程1300始于步骤S1310，在步骤S1310中，获取对齐的红外人脸图像和可见光灰度人脸图像。根据步骤S1110方法获取红外人脸图像，将红外人脸图像通过亮度分量的变换，所获得的可见光灰度图像与红外人脸图像是对齐的。其中，红外人脸图像作为输入图像，与之对齐的可见光灰度人脸图像作为目标图像。

在随后的步骤S1320中，获取红外人脸图像中人脸特征点对应的特征向量，这里，获取红外人脸图像中人脸特征点的方式与步骤S830的执行方式类似，这里不再赘述。

在随后的步骤S1330中，将步骤S1310和步骤S1320获取的红外人脸图像和特征向量输入到第一着色模型中，得到灰度化的输出图像。其中在第一融合层，将特征向量与作为输入图像的红外人脸图像在第一融合层进行融合，将红外人脸图像的人脸特征信息输入到第一着色模型中，强化亮度分量变换的效果，进一步提高第一着色模型的精确度。

在随后的步骤S1340中，计算第一着色模型的损失值，对第一着色模型的参数进行调整，得到训练后的第一着色模型。与步骤S850类似，通过计算输出图像与目标图像的差值得到第一着色模型的均方误差值，根据均方误差值对第一着色模型的参数进行调整，得到训练后的第一着色模型。

图14示出了根据本发明一个实施例的训练第二着色模型的流程图1400。用于训练第二着色模型流程1400始于步骤S1410，在步骤S1410中，获取对齐的可见光灰度人脸图像和可见光彩色人脸图像，其中可见光灰度人脸图像为输入图像，可见光彩色人脸图像为目标图像。可以通过个人计算机上的图像输入设备(如可见光摄像头)或其他外设设备的可见光彩色人脸图像，也可以从训练库中寻找与红外人脸图像相同类型的图像，得到可见光彩色人脸图像。采用从训练库中寻找与红外人脸图像相同类型的图像，可以高效地取得大量训练样本，同时省去复杂的图像采集步骤，节省时间同时减少资源的浪费。

在随后的步骤S1420中，获取可见光灰度人脸图像中人脸特征点对应的特征向量，这里，获取人脸特征点的方式与步骤S830的执行方式类似，因此也不再赘述。

在随后的步骤S1430中，将步骤S1410和步骤S1420获取的可见光灰度人脸图像和特征向量输入到第二着色模型中，得到彩色化的输出图像。其中在第二融合层，将特征向量与作为输入图像的可见光灰度人脸图像在第二融合层进行融合，将灰度人脸图像的人脸特征信息输入到第二着色模型中，强化人脸特征点的着色效果，进一步提高第二着色模型的精确度。由于第一着色模型已经建立亮度分量的变换，因此第二解码器的解码网络的最后一层卷积层只需采用2个卷积核获取YUV或LAB等彩色图像的两个彩色通道值。

在随后的步骤S1440中，计算第二着色模型的损失值，对第二着色模型的参数进行调整，得到训练后的第二着色模型。与步骤S850类似，通过计算输出图像与目标图像的差值得到第二着色模型的均方误差值，根据均方误差值对第二着色模型的参数进行调整，得到训练后的第二着色模型。

通过构建相互级联的第一着色模型和第二着色模型，将红外人脸图像先变换为可见光灰度人脸图像，再将可见光灰度人脸图像变换为可见光彩色人脸图像，能够实现红外人脸图像的彩色化效果。并且利用有限的训练样本集训练着色模型，从而与大量训练样本训练着色模型达到相同的训练效果，减少训练样本的采集量，从而提高训练过程的效率。

根据本发明的方案，通过获取对齐的红外人脸图像和可见光彩色人脸图像来生成训练集合，进而训练生成着色模型，在用户进行虹膜识别的过程中，将采集到的红外人脸图像经着色模型处理后，生成与用户视觉无差异的可见光彩色人脸图像，并将该图像在预览区域展示给用户，以便用户正确使用，从而能够减少用户在虹膜识别过程中的不适感，提高了用户体验。

进一步，通过将人脸特征融合到着色模型中，可以将人脸特征强化到着色模型中，在虹膜识别的过程中，提高红外人脸图像的着色效果，增强人脸图像处理的能力。

本发明还包括：A8、如A5所述的方法，其中，获取人脸特征点对应的特征向量的步骤包括：在利用深度卷积网络识别红外人脸图像中的人脸特征点的过程中，将所述深度卷积网络的softmax层的输入，作为所述人脸特征点对应的特征向量。A9、如A8所述的方法，其中，所述深度卷积网络为 SqueezeNet。A10、如A2或A3所述的方法，其中，在所述多次卷积-下采样处理中，包括通过设置卷积处理的步长大于1的方式，来实现下采样处理。 A11、如A2所述的方法，其中，所述着色模型按照如下的训练过程得到：获取训练样本集，训练样本集中的每一个训练样本为对齐的红外人脸图像和可见光彩色人脸图像的图像对，其中的红外人脸图像作为输入图像，可见光彩色人脸图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到着色模型中，得到彩色化的输出图像；通过计算输出图像与目标图像的差值得到着色模型的损失值，根据损失值对着色模型的参数进行调整，得到训练后的着色模型。A12、如A11所述的方法，其中，所述获取训练样本集的步骤包括：获取同一场景的红外人脸图像和可见光彩色人脸图像；对齐所述红外人脸图像和可见光彩色人脸图像，将对齐的红外人脸图像和可见光彩色人脸图像作为训练样本集中的训练样本。A13、如A12所述的方法，其中，所述对齐所述红外人脸图像和可见光彩色人脸图像的步骤，包括：根据人脸特征点，对齐红外人脸图像和可见光彩色人脸图像。A14、如A12或A13所述的方法，其中，所述对齐所述红外人脸图像和可见光彩色人脸图像的步骤，还包括：通过相机标定，计算红外相机和彩色相机的相对误差值，所述相对误差值包括相机间的相对姿态的差值以及相机参数的差值；根据红外相机和彩色相机的相对误差值，通过图像几何变换的方式，得到对齐的红外人脸图像和可见光彩色人脸图像。A15、如A11所述的方法，其中，还包括如下对所述着色模型的预训练过程：获取预训练样本集，预训练样本集中的每一个训练样本为对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对，其中的可见光灰度人脸图像作为输入图像，可见光彩色人脸图像的图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到着色模型中，得到彩色化的输出图像；通过计算输出图像与目标图像的差值得到着色模型的损失值，根据损失值对着色模型的参数进行调整，得到预训练后的着色模型。A16、如A3 所述的方法，其中，所述第一着色模型按照如下的训练过程得到：获取训练样本集，训练样本集中的每一个训练样本为对齐的红外人脸图像和可见光灰度人脸图像的图像对，其中的红外人脸图像作为输入图像，可见光灰度人脸图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到第一着色模型中，得到灰度化的输出图像；通过计算输出图像与目标图像的差值得到第一着色模型的损失值，根据损失值对第一着色模型的参数进行调整，得到训练后的第一着色模型。A17、如A3所述的方法，其中，所述第二着色模型按照如下的训练过程得到：获取训练样本集，训练样本集中的每一个训练样本为对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对，其中的可见光灰度人脸图像作为输入图像，可见光彩色人脸图像作为目标图像；获取输入图像中人脸特征点对应的特征向量；将所述输入图像和特征向量输入到第二着色模型中，得到彩色化的输出图像；通过计算输出图像与目标图像的差值得到第二着色模型的损失值，根据损失值对第二着色模型的参数进行调整，得到训练后的第二着色模型。A18、如 A15或A17所述的方法，其中，获取对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对的步骤，包括：获取可见光彩色人脸图像；将可见光彩色人脸图像灰度化，得到与可见光彩色人脸图像对齐的可见光灰度人脸图像。A19、如A1所述的方法，其中，所述将所述彩色化的人脸图像在预览区域内显示的步骤包括：将所述彩色化的人脸图像进行放大，生成分辨率较高的放大后的人脸图像；将所述放大后的人脸图像在预览区域内显示。A20、如A1 所述的方法，其中，所述获取用于虹膜识别的红外人脸图像的步骤，还包括：如果检测到摄像设备过度曝光，调节摄像设备参数和红外灯亮度以消除过曝现象。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的镜像源管理方法或资源下载方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (17)

1.一种虹膜识别中的人脸图像处理方法，适于在计算设备中执行，所述计算设备与图像采集设备连接，所述图像采集设备适于采集红外人脸图像，所述的方法包括：

从所述图像采集设备获取用于虹膜识别的红外人脸图像；

利用训练后的着色模型，对所述红外人脸图像进行着色，得到与所述红外人脸图像对齐的彩色化的人脸图像，所述着色模型包括相互级联的第一着色模型和第二着色模型，所述第一着色模型用于对所述红外人脸图像进行着色，得到与所述红外脸图像对齐的可见光灰度图像，所述第二着色模型用于对所述可见光灰度人脸图像进行着色，得到与所述可见光灰度图像对齐的可见光彩色人脸图像，所述第一着色模型和第二着色模型采用具有特征提取网络的编码器-解码器结构，所述特征提取网络适于提取人脸特征点，所述人脸特征点包括五官特征点和轮廓特征点，解码器的输入为所述人脸特征点与编码器输出的特征图像序列的融合结果，所述第一着色模型的训练样本集中的每一个训练样本为对齐的红外人脸图像和可见光灰度人脸图像的图像对，该图像对中的可见光灰度人脸图像由红外人脸图像通过亮度分量变换得到，所述第二着色模型的训练样本集中的每一个训练样本为对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对，该图像对中的可见光灰度人脸图像由可见光彩色人脸图像提取亮度分量得到；

将所述彩色化的人脸图像在预览区域内显示，以便引导用户配合虹膜特征的采集。

2.如权利要求1所述的方法，其中：

所述第一着色模型包括：

第一编码器：适于以红外人脸图像作为输入，经过多次卷积-下采样处理，生成特征图像序列；

第一融合层：适于以第一编码器所生成的特征图像序列作为输入，将红外人脸图像中的人脸特征点与输入的特征图像序列进行融合，得到融合后的特征图像序列；

第一解码器：适于以融合后的特征图像序列作为输入，经过多次卷积-上采样处理，生成灰度化的人脸图像；

所述第二着色模型包括：

第二编码器：适于以所述第一解码器生成的灰度化的人脸图像作为输入，经过多次卷积-下采样处理，生成特征图像序列；

第二融合层：适于以第二编码器所生成的特征图像序列作为输入，将红外人脸图像中的人脸特征点与输入的特征图像序列进行融合，得到融合后的特征图像序列；

第二解码器：适于以融合后的特征图像序列作为输入，经过多次卷积-上采样处理，生成彩色化的人脸图像。

3.如权利要求2所述的方法，其中，所述输入的特征图像序列为W×H×n的第一图像块，W为宽度，H为高度，n为通道数，所述将红外人脸图像中的人脸特征点与输入的特征图像序列进行融合的步骤，包括：

获取红外人脸图像中的人脸特征点及其所对应的特征向量，所述特征向量的维数为L；

将所述第一图像块与所述特征向量进行拼接，得到W×H×(n+L)的第二图像块，所述第二图像块即为融合后的特征图像序列，其中，所述第二图像块的第i通道的图像的每个像素值为所述特征向量的第i-n个元素的取值，且n≤i≤n+L。

4.如权利要求3所述的方法，其中，所述获取红外人脸图像中的人脸特征点的步骤包括：

利用图像分割模型，从红外人脸图像中获取人脸区域；

利用深度卷积网络，从所述人脸区域中识别人脸特征点，所述人脸特征点包括五官特征点和轮廓特征点。

5.如权利要求4所述的方法，其中，所述图像分割模型采用前景检测算法。

6.如权利要求5所述的方法，其中，在虹膜识别过程中获取的红外人脸图像为大视野红外图像时，所述图像分割模型还包括目标检测算法。

7.如权利要求4所述的方法，其中，获取人脸特征点对应的特征向量的步骤包括：

在利用深度卷积网络识别红外人脸图像中的人脸特征点的过程中，将所述深度卷积网络的softmax层的输入，作为所述人脸特征点对应的特征向量。

8.如权利要求7所述的方法，其中，所述深度卷积网络为SqueezeNet。

9.如权利要求2所述的方法，其中，在所述多次卷积-下采样处理中，包括通过设置卷积处理的步长大于1的方式，来实现下采样处理。

10.如权利要求2所述的方法，其中，所述第一着色模型按照如下的训练过程得到：

获取训练样本集，其中的红外人脸图像作为输入图像，可见光灰度人脸图像作为目标图像；

获取输入图像中人脸特征点对应的特征向量；

将所述输入图像和特征向量输入到第一着色模型中，得到灰度化的输出图像；

通过计算输出图像与目标图像的差值得到第一着色模型的损失值，根据损失值对第一着色模型的参数进行调整，得到训练后的第一着色模型。

11.如权利要求2所述的方法，其中，所述第二着色模型按照如下的训练过程得到：

获取训练样本集，其中的可见光灰度人脸图像作为输入图像，可见光彩色人脸图像作为目标图像；

获取输入图像中人脸特征点对应的特征向量；

将所述输入图像和特征向量输入到第二着色模型中，得到彩色化的输出图像；

通过计算输出图像与目标图像的差值得到第二着色模型的损失值，根据损失值对第二着色模型的参数进行调整，得到训练后的第二着色模型。

12.如权利要求11所述的方法，其中，获取对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对的步骤，包括：

获取可见光彩色人脸图像；

将可见光彩色人脸图像灰度化，得到与可见光彩色人脸图像对齐的可见光灰度人脸图像。

13.如权利要求1所述的方法，其中，所述将所述彩色化的人脸图像在预览区域内显示的步骤包括：

将所述彩色化的人脸图像进行放大，生成分辨率较高的放大后的人脸图像；

将所述放大后的人脸图像在预览区域内显示。

14.如权利要求1所述的方法，其中，所述获取用于虹膜识别的红外人脸图像的步骤，还包括：

如果检测到摄像设备过度曝光，调节摄像设备参数和红外灯亮度以消除过曝现象。

15.一种虹膜识别中的人脸图像处理装置，驻留在计算设备中，所述计算设备与图像采集设备连接，所述图像采集设备适于采集红外人脸图像，所述装置包括：

获取模块：适于从所述图像采集设备获取用于虹膜识别的红外人脸图像；

着色模块：适于利用训练后的着色模型，对所述红外人脸图像进行着色，得到与所述红外人脸图像对齐的彩色化的人脸图像，所述着色模型包括相互级联的第一着色模型和第二着色模型，所述第一着色模型用于对所述红外人脸图像进行着色，得到与所述红外脸图像对齐的可见光灰度图像，所述第二着色模型用于对所述可见光灰度人脸图像进行着色，得到与所述可见光灰度图像对齐的可见光彩色人脸图像，所述第一着色模型和第二着色模型采用具有特征提取网络的编码器-解码器结构，所述特征提取网络适于提取人脸特征点，所述人脸特征点包括五官特征点和轮廓特征点，解码器的输入为所述人脸特征点与编码器输出的特征图像序列的融合结果，所述第一着色模型的训练样本集中的每一个训练样本为对齐的红外人脸图像和可见光灰度人脸图像的图像对，该图像对中的可见光灰度人脸图像由红外人脸图像通过亮度分量变换得到，所述第二着色模型的训练样本集中的每一个训练样本为对齐的可见光灰度人脸图像和可见光彩色人脸图像的图像对，该图像对中的可见光灰度人脸图像由可见光彩色人脸图像提取亮度分量得到；

显示模块：适于将所述彩色化的人脸图像在预览区域内显示，以便引导用户配合虹膜特征的采集。

16.一种计算设备，包括：

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-14所述方法中的任一方法的指令。

17.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被计算设备执行时，使得所述计算设备执行根据权利要求1-14所述的方法中的任一方法。

Images