CN109191412A - 基于核稀疏典型相关分析热红外人脸图像可见光重建方法 - Google Patents

Abstract

本发明提出了一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其步骤如下：利用热像仪和光学相机同时采集若干个训练样本，建立数据集；对数据集全局训练，利用全局训练得到的数据对热红外测试图像全局重建得到重建的全局可见光谱图像，对数据集局部细化训练，热红外测试图像的局部细化的重建得到重建的可见光谱残差图像块，利用可见光谱残差图像块重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。本发明获得了热红外光谱和可见光谱两组数据的最佳投影方向，提升了特征的可分离性，剔除了冗余信息，获取了最佳的识别效果，解决了弱光环境下的人脸识别难题，充分利用现有的可见光数据库进行人脸匹配。

Description

基于核稀疏典型相关分析热红外人脸图像可见光重建方法

技术领域

本发明涉及弱光环境下目标人脸身份认证的技术领域，尤其涉及一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法。

背景技术

当前公安司法系统或其他身份认证系统存储的人脸样本均为可见光图像，而在夜间或光线不足的场所，常规监控系统很难获取有效的可见光图像，从而导致了违法犯罪案件关键证据的取证困难。热像仪在热红外光谱中运行，通过捕捉红外辐射成像，不依赖于照明，取决于物体的温度变化。热红外光谱人脸图像的辨别特征是由人的脸部肌肉组织和血管分布等固有因素所决定，具有较强的鲁棒性，不受环境光照等因素的影响。

通过将热像仪采集的热红外光谱人脸图像映射到可见光谱空间，再将重建的可见光人脸图像与现有的大量可见光人脸数据库进行匹配识别，解决了弱光环境下公安司法机关案件取证、罪犯追逃和公共安全管理部门身份认证的难题，将具有极大的应用前景。

发明内容

针对现有可见光人脸识别技术无法应对弱光环境的技术问题，本发明提出一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，解决了目前低照度下获取的可见光人脸图像无法与现有可见光数据库匹配的问题。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其步骤如下：

步骤一：利用热像仪和光学相机同时采集若干个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集；

步骤二：对数据集全局训练：应用主分量分析分别对热光谱图像和可见光谱图像处理获得热光谱特征投影矩阵和可见光特征投影矩阵，将热光谱人脸图像和可见光谱人脸图像分别转化为特征空间中的热光谱训练数据和可见光谱训练数据，利用核稀疏典型相关分析将热光谱训练数据和可见光谱训练数据投影到相关空间，得到热光谱相关空间投影矩阵和可见光谱相关空间投影矩阵；

步骤三：热红外测试图像的全局重建：将热光谱测试样本图像利用步骤二得到热光谱特征投影矩阵由图像空间投影到特征空间、利用热光谱相关空间投影矩阵由特征空间投影到相关空间，应用局部线性嵌入估计重建可见光谱数据，利用可见光谱相关空间投影矩阵和可见光特征投影矩阵将可见光谱数据投影到图像空间，获得重建的全局可见光谱图像；

步骤四：对数据集局部细化训练：利用滑动窗口分别检索重建的全局可见光谱图像、热光谱人脸图像和可见光谱人脸图像中的图像块，计算重建的全局可见光谱图像分别与热光谱人脸图像和可见光谱人脸图像的残差向量，利用核稀疏典型相关分析将残差向量投影到相关空间，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵及相关空间热光谱训练残差图像块和相关空间可见光谱训练残差图像块；

步骤五：局部细化的重建：将重建的全局可见光谱图像和热光谱测试样本图像进行残差计算获得热光谱残差图像，利用热光谱图像块相关空间投影矩阵将热光谱残差图像的图像块投影到相关空间，应用局部线性嵌入估计重建可见光谱残差图像块、并利用可见光谱图像块相关空间投影矩阵投影到图像空间得到重建的可见光谱残差图像块；

步骤六：利用可见光谱残差图像块的重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。

对数据集全局训练的方法的步骤为：

(1)将数据集中热光谱图像和可见光谱图像分别进行中心化：

其中，X^img为热光谱图像空间，n＝1,2,…,N，N为数据集中训练样本的总数量；Y^img为可见光谱图像空间；中心化热光谱数据 为中心化热光谱数据空间；中心化可见光谱数据 为中心化可见光谱数据空间；μ_X为数据集中所有热光谱图像的均值向量，μ_Y为数据集中所有可见光谱图像的均值向量；

(2)执行主分量分析，将中心化热光谱数据空间和中心化可见光谱数据空间分别投影到特征空间：

其中，P_X为对热光谱图像应用主分量分析获得的特征投影矩阵，P_Y为对可见光谱图像应用主分量分析获得的特征投影矩阵，为热光谱特征空间，热光谱特征训练数据 为可见光谱特征空间，可见光谱特征训练数据

(3)热光谱训练特征数据和可见光谱特征训练数据进行中心化：

其中，中心化热光谱特征训练数据 为热光谱特征空间X^eig的中心化数据空间；中心化可见光谱特征训练数据 为可见光谱特征空间Y^eig的中心化数据空间；v_X为热光谱特征空间X^eig的均值向量，v_Y为可见光谱特征空间Y^eig的均值向量；

(4)执行核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵Q_X和可见光谱训练数据相关空间投影矩阵Q_Y，将中心化热光谱特征训练数据空间和中心化可见光谱特征训练数据空间投影到相关空间：

其中，X^coh为相干空间中的热光谱训练数据，Y^coh为相干空间中的可见光谱训练数据。

利用核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵Q_X和可见光谱训练数据相关空间投影矩阵Q_Y的方法为：

应用核稀疏典型相关分析优化准则使中心化后的热光谱训练数据和可见光谱训练数据相关性最大化：

同时，使核稀疏重构误差最小化：

以式(7)作为最优化目标函数，以式(8)和(9)作为约束条件，求解满足式(7)、(8)和(9)表示的约束最优化问题，得到热光谱训练数据相关空间投影矩阵Q_X和可见光谱训练数据相关空间投影矩阵Q_Y；

其中，和分别为热光谱训练数据和可见光谱训练数据的核内积矩阵，T表示矩阵的转置；分别为中心化热光谱特征训练数据和中心化可见光谱特征训练数据相对应的核稀疏表示系数向量。

所述热红外测试图像的全局重建的方法为：

(1)将数据集中测试样本的热光谱图像x^img由图像空间投影到特征空间为：

x^eig＝P_X(x^img-μ_X) (21)

其中，x^eig为测试样本的特征图像；

(2)将测试样本由特征空间投影到相关空间：

x^coh＝Q_X(x^eig-v_X) (22)

其中，x^coh为测试样本相关空间中的热光谱数据；

(3)在相关空间中应用局部线性嵌入获得全局重建权重向量，利用全局重建权重向量估计重建的可见光谱数据：

其中，y^coh为测试样本在相关空间中重建的可见光谱数据， 为相关空间中重建的可见光谱数据y^coh的K个可见光谱邻域像素，K为自然数，k＝1,2，...,K；

(4)将相关空间中重建的可见光谱数据y^coh投影回图像空间：

其中，y^eig为测试样本的可见光谱特征图像，为可见光谱训练数据相关空间投影矩阵Q_Y的伪逆矩阵，为测试样本重建的全局可见光谱人脸图像。

所述获得全局重建权重向量的方法为：

求解最小化误差函数ε₁：

其中，w＝(w¹,w²,...,w^K)^T是全局重建权重向量，引入元素为g_j,k的局部格拉姆矩阵G，得：

其中，j,k＝1,2，...,K；

重建误差通过使用拉格朗日乘子法，令来实现最小化，计算全局重建权重向量w为：

其中，为矩阵G^-1的元素，矩阵G^-1为局部格拉姆矩阵G的逆矩阵；像素 为测试样本相关空间中的热光谱数据x^coh的K个热光谱邻域像素。

所述热光谱邻域像素A_x为选取相关空间中与热光谱数据x^coh最相近的K个同类样本像素点组成的集合；可见光谱邻域像素A_y与热光谱邻域像素A_x对应匹配，热光谱邻域像素A_x和可见光谱邻域像素A_y均通过最近邻算法KNN获得。

所述对数据集局部细化训练的方法为：

(1)计算重建的全局可见光谱人脸图像与可见光谱图像和热光谱图像的图像块的重建误差：

其中，表示对重建的全局可见光谱人脸图像用滑动窗口进行检索后得到的图像块，为全局重建的可见光谱训练数据；表示对可见光谱图像用滑动窗口进行检索后得到的图像块，为可见光谱实际训练数据，表示对热光谱图像用滑动窗口进行检索后得到的图像块，热光谱实际训练数据为l＝1,2，...，L作为局部图像块的索引值；

为可见光谱图像块重建误差，为可见光谱数据残差向量；为热光谱图像块重建误差，为热光谱数据残差向量；

(2)利用重建误差，将训练图像块中心化：

其中，为热光谱训练图像块l的均值向量，为可见光谱训练图像块l的均值向量；为热光谱图像块中心化重建误差，为热光谱残差向量中心化数据；为可见光谱图像块中心化重建误差，为可见光谱残差向量中心化数据；

(3)执行核稀疏典型相关分析获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵将热光谱残差向量中心化数据和可见光谱残差向量中心化数据直接投影到相关空间上：

其中，为相关空间中的热光谱训练残差图像块，为相关空间中的可见光谱训练残差图像块。

所述获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵的方法为：

应用核稀疏典型相关分析优化准则使热光谱残差向量中心化数据和可见光谱残差向量中心化数据两组数据相关性最大化：

同时，使核稀疏重构误差最小化：

以式(16)作为最优化目标函数，以式(17)和(18)作为约束条件，求解满足式(16)、(17)和(18)表示的约束最优化问题，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵

其中，和为核内积矩阵，分别为热光谱图像块中心化重建误差和可见光谱图像块中心化重建误差相对应的核稀疏表示系数向量。

所述局部细化的重建方法为：

(1)根据测试样本的热光谱人脸图像x^img和测试样本重建的全局可见光谱人脸图像获取测试样本的热光谱残差图像

(2)利用滑动窗口在测试样本的热光谱残差图像中获取热光谱残差图像块为将热光谱残差图像块投影到相关空间：

其中，为测试样本在相关空间的热光谱残差图像块，为热光谱实际训练数据中热光谱训练图像块l的均值向量；

(3)在相关空间中应用局部线性嵌入获取测试样本图像块重建权重向量重建的可见光谱残差图像块：

其中，为测试样本在相关空间的可见光谱残差图像块，为测试样本在相关空间的可见光谱残差图像块的K个可见光谱邻域像素；

(4)将相关空间重建的可见光谱残差图像块投影到图像空间：

其中，为测试样本重建到图像空间的可见光谱残差图像块，为可见光谱实际训练数据中可见光谱训练图像块l的均值向量，为可见光谱图像块相关空间投影矩阵伪逆矩阵。

利用测试样本在局部细化步骤重建的可见光谱残差图像块和全局重建步骤重建的可见光谱人脸图像得到最终的可见光谱重建图像为：

其中，是可见光谱残差图像块重叠像素的平均值，即由滑动窗口相同位置的残差图像像素值叠加求和后再求平均值，y^img为最终可见光谱人脸重建图像；

应用局部线性嵌入获取相干空间重建的可见光残差图像块，转化为求解最小化误差函数ε₂：

其中，为测试样本图像块重建权重向量，通过求解最小化误差函数ε₂得到；为测试样本在相关空间的热光谱残差图像块的K个热光谱邻域像素，即选取相关空间中与热光谱残差图像块最相近的K个同类样本像素点。

本发明包括数据集训练过程和测试图像重建过程，每个过程均又分为全局重建和局部细化两个步骤，首先应用核稀疏典型相关分析进行全局重建和局部细化的数据集训练，使人脸图像的热光谱结构和可见光谱结构之间相关性最大；然后应用局部线性嵌入进行热红外测试图像的可见光重建，学习热光谱中测试数据与最近邻像素之间的关系，并将其应用于可见光谱中对应的邻域像素重建，使可见光人脸图像的重建误差最小化；最后再将重建的可见光人脸图像与现有的可见光人脸数据库进行匹配识别，完成目标人脸的身份认证。

本发明的有益效果：应用核稀疏典型相关分析学习人脸图像的热光谱数据和可见光谱数据之间的映射关系，寻找热红外光谱和可见光谱两组数据的最佳投影方向，使得热光谱特征和可见光谱特征分别在这两组投影方向上投影，实现了最大化的相关性和最小的重建误差，从而最大限度地提升特征的可分离性，同时剔除冗余信息，获取最佳的识别效果，解决了弱光环境下的人脸识别难题，充分利用现有的可见光数据库进行人脸匹配。本发明解决了弱光环境下公安司法机关案件取证、罪犯追逃和公共安全管理部门身份认证的难题，具有极大的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的数据集训练过程的流程图。

图2为本发明的测试图像重建过程的流程图。

图3为本发明用滑动窗口与人脸图像的关系图。

图4为本发明具体实例实验过程的处理图像，(a)应用的热红外光谱图像，(b)全局重建的可见光光谱图像，(c)残差图像，(d)最终重建的可见光谱图像，(e)实际可见的光谱图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，用以解决夜间或光线不足场所人脸特征的有效采集和重建难题。本发明在数据集训练过程中，首先将热光谱数据和可见光谱数据中的人脸图像中心化，进行主分量分析，将中心化训练数据投影到特征空间；然后执行核稀疏典型相关分析，将特征空间中的热光谱和可见光谱训练数据投影到相关空间；最后在局部细化的数据训练过程执行核稀疏典型相关分析，将残差向量中心化数据投影到相关空间，使人脸图像的热光谱结构和可见光谱结构之间相关性最大。在测试图像重建过程中，首先将测试样本由图像空间投影到特征空间，再利用从训练过程中获得的相关空间投影矩阵将测试样本投影到相关空间；然后在相关空间中应用局部线性嵌入实现测试样本的可见光重建，并将重建的可见光谱数据投影回图像空间；最后，执行局部细化的重建过程，重建多个可见光谱残差图像块，然后与全局重建步骤的可见光谱重建图像结合得到最终的可见光谱重建图像。其步骤如下：

步骤一：利用热像仪和光学相机同时采集多个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集。

利用热像仪和光学相机同时采集多个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集，训练样本总数量为N，热光谱数据定义为可见光谱数据定义为上标“space”表示N个训练样本所处空间，“space”的选项“img”、“eig”和“coh”分别对应于图像空间、特征空间和相关空间。

如图1所示，步骤二：对数据集进行训练。

步骤21：全局图像重建的数据训练。

(1)将热光谱数据和可见光谱数据中的人脸图像中心化：

定义热光谱图像空间为n＝1,2,…,N；可见光谱图像空间为 中心化热光谱数据定义为 中心化可见光谱数据定义为为所有热光谱图像的均值向量，为所有可见光谱图像的均值向量。执行中心化得：

(2)执行主分量分析，将中心化训练数据投影到特征空间：

定义热光谱特征空间为可见光谱特征空间为将中心化训练热光谱数据和中心化训练可见光谱数据分别投影到特征空间上：

其中，为对热光谱图像应用主分量分析获得的特征投影矩阵，为对可见光谱图像应用主分量分析获得的特征投影矩阵。主分量分析是一个成熟的投影降维方法，本发明直接用PCA结论定义特征投影矩阵P_X的求解结果。

(3)对特征空间中的热光谱训练数据和可见光谱训练数据进行中心化：

定义热光谱特征空间X^eig的中心化数据为定义可见光谱特征空间Y^eig的中心化数据为执行中心化得：

其中，v_X为热光谱特征空间X^eig的均值向量，v_Y为可见光谱特征空间Y^eig的均值向量。

(4)执行核稀疏典型相关分析，将特征空间中的热光谱训练数据和可见光谱训练数据投影到相关空间：

定义Q_X为热光谱训练数据相关空间投影矩阵，Q_Y为可见光谱训练数据相关空间投影矩阵。和分别为热光谱训练数据和可见光谱训练数据的核内积矩阵，T表示矩阵的转置；分别为特征空间中心化数据和相对应的核稀疏表示系数向量。

应用核稀疏典型相关分析(KSCCA)优化准则使中心化后的热光谱训练数据和可见光谱训练数据相关性最大化：

同时，使核稀疏重构误差最小化：

以式(7)作为最优化目标函数，以式(8)和(9)作为约束条件，求解满足式(7)、(8)和(9)表示的约束最优化问题，获取热光谱训练数据相关空间投影矩阵Q_X和可见光谱训练数据相关空间投影矩阵Q_Y，并将中心化后的热光谱训练数据和可见光谱训练数据的两组数据投影到相关空间：

其中，X^coh为相干空间中的热光谱训练数据，Y^coh为相干空间中的可见光谱训练数据。全局图像重建的训练过程是为了获取特征空间投影矩阵P_X、P_Y和相关空间投影矩阵Q_X、Q_Y，将四个投影矩阵代入步骤31全局重建的重建过程，即可得到重建的全局可见光谱人脸图像全局图像的可见光谱图像重建步骤的训练过程结束。

步骤22：局部图像细化的数据训练。

为了得到脸部细节特征，需要进行局部图像细化。局部图像细化步骤是重新引入在全局重建中丢失的人脸细节，本发明用全局重建图像的局部图像块来进行多重重建。通过滑动窗口检索得到图像块，该滑动窗口在图像中任意移动并使用重叠的像素信息创建，如图3所示为滑动窗口选取图像块的选取示例。

(1)计算可见光谱图像块重建误差和热光谱图像块重建误差

定义全局重建的可见光谱训练数据为 表示对重建的全局可见光谱人脸图像用滑动窗口进行分块后得到的图像块，为细化训练过程中可见光图像块的重建数据。可见光谱实际训练数据为 表示对可见光谱图像用滑动窗口进行分块后得到的图像块，为细化训练过程中可见光谱图像块实际训练数据；热光谱实际训练数据为 表示对热光谱图像用滑动窗口进行分块后得到的图像块，为细化训练过程中热光谱图像块实际训练数据。其中，n＝1,2，...，N和l＝1,2，...，L作为局部图像块的索引值。

在全局重建之后，每个可见光图像块的重建数据与可见光谱图像块实际训练数据之间的重建误差计算如下：

其中，为可见光谱图像块重建误差，为可见光谱数据残差向量， 为热光谱图像块重建误差，为热光谱数据残差向量，每个可见光谱图像块的重建数据与热光谱图像块实际训练数据之间的重建误差计算如下：

(2)利用重建误差，将训练图像块中心化：

定义为热光谱训练图像块l的均值向量，为可见光谱训练图像块l的均值向量；为热光谱图像块中心化重建误差，为热光谱残差向量中心化数据， 为可见光谱图像块中心化重建误差，为可见光谱残差向量中心化数据，将训练图像块中心化：

(3)执行核稀疏典型相关分析，将残差向量中心化数据投影到相关空间：

定义为热光谱图像块相关空间投影矩阵，为可见光谱图像块相关空间投影矩阵，和为核内积矩阵，分别为热光谱图像块中心化重建误差和可见光谱图像块中心化重建误差相对应的核稀疏表示系数向量。应用核稀疏典型相关分析(KSCCA)优化准则使热光谱残差向量中心化数据和可见光谱残差向量中心化数据两组数据相关性最大化：

同时，使核稀疏重构误差最小化：

以式(16)作为最优化目标函数，以式(17)和(18)作为约束条件，求解满足式(16)、(17)和(18)表示的约束最优化问题，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵核稀疏典型相关分析是一种统计分析方法，用于分析两组数据(热红外光谱和可见光谱)的相关性。将热光谱残差向量中心化数据和可见光谱残差向量中心化数据直接投影到相关空间上：

其中，为相关空间中的热光谱训练残差图像块，为相关空间中的可见光谱训练残差图像块。在相关空间投影完成之后，局部细化步骤的训练过程结束。

如图2所示，步骤三：测试图像重建过程：

步骤31：全局重建的重建过程。

全局重建的重建过程是将测试样本的热光谱人脸图像x^img重建为可见光谱人脸图像

(1)将测试样本由图像空间投影到特征空间：

x^img为数据集中测试样本的热光谱图像，x^eig为测试样本的热光谱特征图像，投影过程如下：

x^eig＝P_X(x^img-μ_X) (21)

其中，为所有热光谱图像的均值向量，P_X为训练过程中获得的热光谱特征投影矩阵。

(2)将测试样本由特征空间投影到相关空间：

x^coh为测试样本相关空间中的热光谱数据，v_X为特征空间X^eig的均值向量，投影过程如下：

x^coh＝Q_X(x^eig-v_X) (22)

其中，Q_X为从训练过程中获得的热光谱训练数据相关空间投影矩阵。

(3)在相关空间中应用局部线性嵌入实现测试样本的可见光重建：

令为测试样本相关空间中的热光谱数据x^coh的K个热光谱邻域像素，即选取相关空间中与热光谱数据x^coh最相近的K个同类样本像素点，通过最近邻算法KNN获得，同理可得下面的可见光谱邻域像素A_y，K为自然数，k＝1,2，...,K。在重建过程中需要求解最小化误差函数ε₁：

其中，w＝(w¹,w²,...,w^K)^T是全局重建权重向量，引入元素为g_j,k的局部格拉姆矩阵G，得：

其中，j,k＝1,2，...,K。重建误差通过使用拉格朗日乘子法，令来实现最小化，计算全局重建权重向量w如下：

其中，为矩阵G^-1的元素，矩阵G^-1为局部格拉姆矩阵G的逆矩阵。

定义y^coh为测试样本在相关空间中重建的可见光谱数据，为y^coh的K个可见光谱邻域像素，即选取相关空间中与可见光谱数据y^coh最相近的K个同类样本像素点，K为自然数，k＝1,2，...,K。即A_y为与热光谱邻域像素A_x对应匹配的可见光谱邻域数据，然后使用权重向量w来估计重建的可见光谱数据：

(4)将重建的测试样本相关空间可见光谱数据投影回图像空间：

定义y^eig为测试样本的可见光谱特征图像，Q_Y为从训练过程中获得的可见光谱训练数据相关空间投影矩阵，为投影矩阵Q_Y伪逆矩阵，v_Y为特征空间Y^eig的均值向量，将测试样本从相关空间投影到特征空间：

定义为测试样本重建的全局可见光谱人脸图像，将测试样本从特征空间投影回图像空间：

其中，P_Y为训练过程中获得的可见光谱特征投影矩阵，为数据集中所有可见光谱图像的均值向量。

步骤32：局部细化的重建过程。

局部细化的重建过程首先要重建多个可见光谱图像块，然后与全局重建步骤的可见光谱重建图像结合得到最终的可见光谱重建图像。

(1)获取测试样本的残差图像：

根据测试样本的热光谱人脸图像x^img和测试样本重建的全局可见光谱人脸图像获取测试样本的热光谱残差图像

(2)将残差图像块投影到相关空间：

从测试样本热光谱残差图像中获取热光谱残差图像块为l＝1,2，...，L作为图像块的索引值。将热光谱残差图像块投影到相关空间：

其中，为测试样本在相关空间的热光谱残差图像块，为训练过程中获得的热光谱图像块相关空间投影矩阵，为数据集中所有热光谱训练图像块l的均值向量。

(3)在相关空间中应用局部线性嵌入获取重建的可见光谱残差图像块：

令为测试样本在相关空间的热光谱残差图像块的K个热光谱邻域像素,即选取相关空间中与热光谱残差图像块最相近的K个同类样本像素点,，K为自然数，k＝1,2，...,K。应用局部线性嵌入获取相干空间重建的可见光残差图像块，转化为求解最小化误差函数ε₂：

其中，为测试样本图像块重建权重向量，通过求解最小化误差函数ε₂得到测试样本图像块重建权重向量w_l。

定义为测试样本在相关空间的可见光谱残差图像块，为测试样本在相关空间的可见光谱残差图像块的K个可见光谱邻域像素，即选取相关空间中与最相近的K个同类样本像素点，k＝1,2，...,K。获取重建的可见光谱残差图像块：

(4)将相关空间重建的残差图像块投影到图像空间：

定义为测试样本重建到图像空间的可见光谱残差图像块，为可见光谱训练图像块l的均值向量，为训练过程中获得的可见光谱图像块相关空间投影矩阵，为投影矩阵伪逆矩阵。将相关空间重建的残差图像块投影回到图像空间上：

步骤33：利用测试样本在局部细化步骤重建的可见光谱残差图像块和全局重建步骤重建的可见光谱人脸图像得到最终的可见光谱重建图像为：

其中，是可见光谱残差图像块重叠像素的平均值，即由滑动窗口相同位置的残差图像像素值叠加求和后再求平均值获得，y^img即为本发明得到的最终可见光谱人脸重建图像，本发明的重建过程结束。

为了验证本发明的有效性，本发明进行了大量的实验，具体实例的实验仿真情况如下：本发明具体实例的实验采用TVS-500EX红外热像仪(该仪器有两套成像系统，可以实现热光谱图像和可见光谱图像的同时采集)同时采集成对的热光谱图像和可见光谱图像，该红外热像仪温度分辨率为0.05℃，热光谱有效像素为320×240，可见光谱有效像素640×480，固定拍摄距离为120cm，采集环境为室内，室温22℃，共采集50个测试样本(30个男性，20个女性)的热光谱图像和可见光谱图像进行数据集的训练和测试样本的重建。如图3所示，图3(a)所示为灰度化后的热红外光谱图像，热红外光谱图像作为测试图像，通过步骤31全局重建的可见光光谱图像如图3(b)所示，通过步骤32局部细化得到的残差图像如图(c)所示，通过步骤33可见光光谱图像相加残差图像最终重建的可见光谱图像如图3(d)所示，实际可见的光谱图像如图3(e)所示。经过多次实验验证，由本发明重建的可见光人脸图像与原始可见光图像的平均特征相似度为97.65％，完全可以满足弱光环境下的人脸识别需求，同时提高了现有可见光数据库的利用率，大大降低了弱光环境人脸识别系统的设计成本，具有极大的应用前景。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，其步骤如下：

步骤一：利用热像仪和光学相机同时采集若干个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集；

步骤二：对数据集全局训练：应用主分量分析分别对热光谱图像和可见光谱图像处理获得热光谱特征投影矩阵和可见光特征投影矩阵，将热光谱人脸图像和可见光谱人脸图像分别转化为特征空间中的热光谱训练数据和可见光谱训练数据，利用核稀疏典型相关分析将热光谱训练数据和可见光谱训练数据投影到相关空间，得到热光谱相关空间投影矩阵和可见光谱相关空间投影矩阵；

步骤三：热红外测试图像的全局重建：将热光谱测试样本图像利用步骤二得到热光谱特征投影矩阵由图像空间投影到特征空间、利用热光谱相关空间投影矩阵由特征空间投影到相关空间，应用局部线性嵌入估计重建可见光谱数据，利用可见光谱相关空间投影矩阵和可见光特征投影矩阵将可见光谱数据投影到图像空间，获得重建的全局可见光谱图像；

步骤四：对数据集局部细化训练：利用滑动窗口分别检索重建的全局可见光谱图像、热光谱人脸图像和可见光谱人脸图像中的图像块，计算重建的全局可见光谱图像分别与热光谱人脸图像和可见光谱人脸图像的残差向量，利用核稀疏典型相关分析将残差向量投影到相关空间，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵及相关空间热光谱训练残差图像块和相关空间可见光谱训练残差图像块；

步骤五：局部细化的重建：将重建的全局可见光谱图像和热光谱测试样本图像进行残差计算获得热光谱残差图像，利用热光谱图像块相关空间投影矩阵将热光谱残差图像的图像块投影到相关空间，应用局部线性嵌入估计重建可见光谱残差图像块、并利用可见光谱图像块相关空间投影矩阵投影到图像空间得到重建的可见光谱残差图像块；

步骤六：利用可见光谱残差图像块的重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。

2.根据权利要求1所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，对数据集全局训练的方法的步骤为：

(1)将数据集中热光谱图像和可见光谱图像分别进行中心化：

其中，X^img为热光谱图像空间，n＝1,2,…,N，N为数据集中训练样本的总数量；Y^img为可见光谱图像空间；中心化热光谱数据 为中心化热光谱数据空间；中心化可见光谱数据 为中心化可见光谱数据空间；μ_X为数据集中所有热光谱图像的均值向量，μ_Y为数据集中所有可见光谱图像的均值向量；

(2)执行主分量分析，将中心化热光谱数据空间和中心化可见光谱数据空间分别投影到特征空间：

其中，P_X为对热光谱图像应用主分量分析获得的特征投影矩阵，P_Y为对可见光谱图像应用主分量分析获得的特征投影矩阵，为热光谱特征空间，热光谱特征训练数据 为可见光谱特征空间，可见光谱特征训练数据

(3)热光谱训练特征数据和可见光谱特征训练数据进行中心化：

其中，中心化热光谱特征训练数据 为热光谱特征空间X^eig的中心化数据空间；中心化可见光谱特征训练数据 为可见光谱特征空间Y^eig的中心化数据空间；v_X为热光谱特征空间X^eig的均值向量，v_Y为可见光谱特征空间Y^eig的均值向量；

(4)执行核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵Q_X和可见光谱训练数据相关空间投影矩阵Q_Y，将中心化热光谱特征训练数据空间和中心化可见光谱特征训练数据空间投影到相关空间：

其中，X^coh为相干空间中的热光谱训练数据，Y^coh为相干空间中的可见光谱训练数据。

3.根据权利要求2所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，利用核稀疏典型相关分析获取热光谱训练数据相关空间投影矩阵Q_X和可见光谱训练数据相关空间投影矩阵Q_Y的方法为：

应用核稀疏典型相关分析优化准则使中心化后的热光谱训练数据和可见光谱训练数据相关性最大化：

同时，使核稀疏重构误差最小化：

以式(7)作为最优化目标函数，以式(8)和(9)作为约束条件，求解满足式(7)、(8)和(9)表示的约束最优化问题，得到热光谱训练数据相关空间投影矩阵Q_X和可见光谱训练数据相关空间投影矩阵Q_Y；

其中，和分别为热光谱训练数据和可见光谱训练数据的核内积矩阵，T表示矩阵的转置；分别为中心化热光谱特征训练数据和中心化可见光谱特征训练数据相对应的核稀疏表示系数向量。

4.根据权利要求2所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，所述热红外测试图像的全局重建的方法为：

(1)将数据集中测试样本的热光谱图像x^img由图像空间投影到特征空间为：

x^eig＝P_X(x^img-μ_X) (21)

其中，x^eig为测试样本的特征图像；

(2)将测试样本由特征空间投影到相关空间：

x^coh＝Q_X(x^eig-v_X) (22)

其中，x^coh为测试样本相关空间中的热光谱数据；

(3)在相关空间中应用局部线性嵌入获得全局重建权重向量，利用全局重建权重向量估计重建的可见光谱数据：

其中，y^coh为测试样本在相关空间中重建的可见光谱数据， 为相关空间中重建的可见光谱数据y^coh的K个可见光谱邻域像素，K为自然数，k＝1,2，...,K；

(4)将相关空间中重建的可见光谱数据y^coh投影回图像空间：

其中，y^eig为测试样本的可见光谱特征图像，为可见光谱训练数据相关空间投影矩阵Q_Y的伪逆矩阵，为测试样本重建的全局可见光谱人脸图像。

5.根据权利要求4所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，所述获得全局重建权重向量的方法为：

求解最小化误差函数ε₁：

其中，w＝(w¹,w²,...,w^K)^T是全局重建权重向量，引入元素为g_j,k的局部格拉姆矩阵G，得：

其中，j,k＝1,2，...,K；

重建误差通过使用拉格朗日乘子法，令来实现最小化，计算全局重建权重向量w为：

其中，为矩阵G^-1的元素，矩阵G^-1为局部格拉姆矩阵G的逆矩阵；像素 为测试样本相关空间中的热光谱数据x^coh的K个热光谱邻域像素。

6.根据权利要求5所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，所述热光谱邻域像素A_x为选取相关空间中与热光谱数据x^coh最相近的K个同类样本像素点组成的集合；可见光谱邻域像素A_y与热光谱邻域像素A_x对应匹配，热光谱邻域像素A_x和可见光谱邻域像素A_y均通过最近邻算法KNN获得。

7.根据权利要求4所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，所述对数据集局部细化训练的方法为：

(1)计算重建的全局可见光谱人脸图像与可见光谱图像和热光谱图像的图像块的重建误差：

其中，表示对重建的全局可见光谱人脸图像用滑动窗口进行检索后得到的图像块，为全局重建的可见光谱训练数据；表示对可见光谱图像用滑动窗口进行检索后得到的图像块，为可见光谱实际训练数据，表示对热光谱图像用滑动窗口进行检索后得到的图像块，热光谱实际训练数据为l＝1,2，...，L作为局部图像块的索引值；

为可见光谱图像块重建误差，为可见光谱数据残差向量；为热光谱图像块重建误差，为热光谱数据残差向量；

(2)利用重建误差，将训练图像块中心化：

其中，为热光谱训练图像块l的均值向量，为可见光谱训练图像块l的均值向量；为热光谱图像块中心化重建误差，为热光谱残差向量中心化数据；为可见光谱图像块中心化重建误差，为可见光谱残差向量中心化数据；

(3)执行核稀疏典型相关分析获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵将热光谱残差向量中心化数据和可见光谱残差向量中心化数据直接投影到相关空间上：

其中，为相关空间中的热光谱训练残差图像块，为相关空间中的可见光谱训练残差图像块。

8.根据权利要求7所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，所述获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵的方法为：

应用核稀疏典型相关分析优化准则使热光谱残差向量中心化数据和可见光谱残差向量中心化数据两组数据相关性最大化：

同时，使核稀疏重构误差最小化：

以式(16)作为最优化目标函数，以式(17)和(18)作为约束条件，求解满足式(16)、(17)和(18)表示的约束最优化问题，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵

其中，和为核内积矩阵，分别为热光谱图像块中心化重建误差和可见光谱图像块中心化重建误差相对应的核稀疏表示系数向量。

9.根据权利要求7所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，所述局部细化的重建方法为：

(1)根据测试样本的热光谱人脸图像x^img和测试样本重建的全局可见光谱人脸图像获取测试样本的热光谱残差图像

(2)利用滑动窗口在测试样本的热光谱残差图像中获取热光谱残差图像块为将热光谱残差图像块投影到相关空间：

其中，为测试样本在相关空间的热光谱残差图像块，为热光谱实际训练数据中热光谱训练图像块l的均值向量；

(3)在相关空间中应用局部线性嵌入获取测试样本图像块重建权重向量重建的可见光谱残差图像块：

其中，为测试样本在相关空间的可见光谱残差图像块， 为测试样本在相关空间的可见光谱残差图像块的K个可见光谱邻域像素；

(4)将相关空间重建的可见光谱残差图像块投影到图像空间：

其中，为测试样本重建到图像空间的可见光谱残差图像块，为可见光谱实际训练数据中可见光谱训练图像块l的均值向量，为可见光谱图像块相关空间投影矩阵伪逆矩阵。

10.根据权利要求7所述的基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其特征在于，利用测试样本在局部细化步骤重建的可见光谱残差图像块和全局重建步骤重建的可见光谱人脸图像得到最终的可见光谱重建图像为：

其中，是可见光谱残差图像块重叠像素的平均值，即由滑动窗口相同位置的残差图像像素值叠加求和后再求平均值，y^img为最终可见光谱人脸重建图像；

应用局部线性嵌入获取相干空间重建的可见光残差图像块，转化为求解最小化误差函数ε₂：

其中，为测试样本图像块重建权重向量，通过求解最小化误差函数ε₂得到； 为测试样本在相关空间的热光谱残差图像块的K个热光谱邻域像素，即选取相关空间中与热光谱残差图像块最相近的K个同类样本像素点。