CN104700087B - 可见光与近红外人脸图像的相互转换方法 - Google Patents
可见光与近红外人脸图像的相互转换方法 Download PDFInfo
- Publication number
- CN104700087B CN104700087B CN201510128818.6A CN201510128818A CN104700087B CN 104700087 B CN104700087 B CN 104700087B CN 201510128818 A CN201510128818 A CN 201510128818A CN 104700087 B CN104700087 B CN 104700087B
- Authority
- CN
- China
- Prior art keywords
- mrow
- facial image
- visible ray
- block
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明公开了一种可见光与近红外人脸图像的相互转换方法，包括如下步骤：利用基于稀疏学习的方法将近红外人脸图像或可见光人脸照片转换为初始可见光人脸照片或初始的近红外人脸图像；利用基于多特征挑选的方法将初始近红外人脸图像或可见光人脸照片转换为可见光人脸照片或近红外人脸图像的高清晰度细节照片，本发明通过有层次的基于稀疏正则化方法对异质人脸图像进行拟合，由近红外人脸图像生成可见光人脸照片，提高了合成照片的细节信息，可解决异质人脸识别的问题。
Description
技术领域
本发明涉及人脸识别领域，特别是涉及一种基于稀疏学习的可见光与近红外人脸图像的相互转换方法。
背景技术
人脸识别技术是利用计算机获取人脸图像并进行分析与处理，然后以特定方法提取出能有效表示人脸图像的特征，最后通过及其学习的方法对人脸图像进行身份鉴定。人脸识别广泛应用于安全验证系统、驾照和护照的验证和犯罪身份识别等方面。最近几年随着信息以及网络技术的发展，人脸识别已经成为模式识别领域最受关注的问题之一。
在人脸识别系统中光照是影响准确率的一个关键因素。近红外线(NearInfrared，NIR)成像对于环境光线的变化在一定限度内保持鲁棒，可以达到光照不变性的要求；不易受到环境温度变化的影响，在白天和黑夜均能够正常工作。因此在实际的人脸识别系统中，人们常常选择近红外图像作为鲁棒人脸识别的媒介。但是对于一个真正鲁棒的自动人脸识别系统，具备处理来自不同模态的人脸图像的能力是至关重要的。日常生活中，每个人都有一张以上的可见光人脸正面照片(身份证证件照等)，该照片无明显的表情变化和姿态变化，同时光照条件可控。而在安检等应用进行现场比对时，为了不受光照变化影响，采集近红外人脸图片作为测试图片，从而形成了异质人脸识别(Heterogeneous facerecognition)的问题。由于异质图像之间存在较大的类内差别，直接进行异质图像(近红外图像—可见光照片)间的识别，准确率不高。为了减小异质图像间的差别，通常将不同模态的图像转化为相同模态并进行后续的识别。以近红外和可见光人脸图片为例，既可以将近红外人脸图片转换为对应的可见光人脸照片，也可以将可见光人脸照片转换为相应的近红外人脸图片，从而实现异质图像间的变换与合成。
近红外-可见光人脸图像相互转换与合成的关键在于学习两者之间的映射关系。将近红外人脸图像看作采样于近红外图像空间，可见光人脸照片采样于可见光照片空间。假设对于一组近红外-可见光人脸图像对，它们分别在近红外图像空间和可见光照片空间具有相似的分布形式。具体地，输入近红外人脸图像(或输入近红外人脸图像块)在近红外图像空间的重构系数(用近红外图像空间的其他人脸图像或者人脸图像块重构该输入近红外人脸图像或者输入近红外人脸图像块时的权重系数)与对应可见光人脸照片(或可见光人脸照片块)在可见光照片空间中的重构系数相同。
近红外人脸图像与可见光人脸照片的转换技术主要包括两大类：
一是基于线性子空间学习的方法，基于主成分分析(Principal componentanalysis,PCA)特征转换。首先，在由近红外图像和可见光照片组成的混合空间进行特征分析，之后将得到的混合投影矩阵分成一对近红外图像投影矩阵和可见光照片投影矩阵。从而，将输入测试近红外人脸图像用近红外图像投影矩阵投影得到投影系数，然后再将得到的投影系数与可见光照片投影矩阵结合即可得到待输出的可见光照片。该方法假定近红外人脸图像与可见光人脸照片之间的映射是一种线性关系，无法真正地反映出二者之间的非线性关系，导致产生结果模糊，细节信息缺失；
二是基于流形学习的方法，利用分段线性来逼近全局非线性进行图像合成。首先将训练集中的所有近红外人脸图像—可见光人脸照片对及输入的测试近红外人脸图像划分成大小均匀的图像块，相邻图像块之间保留一定程度的重叠。该方法假设近红外人脸图像块和可见光人脸照片块采样自两个具有相似几何结构的流形。对于输入近红外人脸图像中任意位置的图像块，先从训练集中对应位置的近红外人脸图像块集合中寻找K个最近邻的图像块并提取特征计算相似性求取重构权值。然后通过对这K个近红外人脸图像块对应的可见光人脸照片块，由求得的重构权值线性组合来得到合成的可见光人脸照片块。这种方法虽然用局部的线性估计全局的非线性，具体到某一图像块时，本质上还是线性的。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种可见光与近红外人脸图像的相互转换方法，以提高合成的可见光人脸照片和近红外人脸图像的清晰度，使得细节信息更丰富，能够有效处理异质人脸识别的问题。
为达上述及其它目的，本发明提出一种可见光与近红外人脸图像的相互转换方法，包括如下步骤：
步骤一，利用基于稀疏学习的方法将近红外人脸图像或可见光人脸照片转换为初始可见光人脸照片或初始的近红外人脸图像；
步骤二，利用基于多特征挑选的方法将初始近红外人脸图像或可见光人脸照片转换为可见光人脸照片或近红外人脸图像的高清晰度细节照片。
进一步地，以近红外人脸图像到初始可见光人脸照片为例，步骤一进一步包括如下步骤：
步骤1.1，确定作为人脸图像的训练和测试来源的样本人员库，采集所述样本人员库中每个人的在不同人脸状态下的各一张可见光照片和一张近红外人脸图像，同一人同一个人脸状态下的一张可见光人脸照片和一张近红外人脸图像构成一组图象对；
步骤1.2，对所述样本人员库中的每个人的每组可见光人脸照片和近红外人脸图像进行归一化，并进行掩模背景去除和光照预处理；
步骤1.3，将处理完的近红外人脸图像—可见光人脸照片对样本库随机选取，一半划分为训练样本集，一半划分为测试样本集，并从测试样本集中选取一张测试近红外人脸图像ynir，将训练样本集的近红外人脸图像-可见光人脸照片对以及输入测试近红外人脸图像划分为M个大小相同的图像块，且相邻图像块之间保留一定程度的重叠，并依次训练可见光人脸照片块训练字典、近红外人脸图像块训练字典、输入近红外人脸图像块原始像素列向量；
步骤1.4，在步骤1.3的基础上，对每组近红外人脸图像块和可见光人脸照片块在原始像素值上提取局部纹理特征，分别为和并对输入测试近红外人脸图像块提取局部纹理特征
步骤1.5，利用步骤1.4得到的输入测试近红外人脸图像块特征向量分别与近红外人脸图像块特征训练字典中的各个分量计算卡方距离并将距离向量扩展为一个对角距离矩阵
步骤1.6，基于稀疏正则化方法求取输入测试近红外图像块的稀疏表示系数，同时对稀疏重构系数加上相似性度量约束，求取在原始像素层面上输入测试近红外图像块由近红外图像块训练库重构的稀疏重构系数，保持重构系数不变，由对应位置的可见光人脸照片块训练库拟合生成初始的可见光人脸照片块。
进一步地，步骤1.6进一步包括：
利用近红外人脸图像块训练字典和输入测试近红外人脸图像块原始像素向量与步骤1.5得到的对角距离矩阵按照下式寻找其稀疏表示，得到稀疏表示系数
其中，λ为稀疏表示惩罚因子；
令则从而求解下式寻找新的稀疏表示，得到新的稀疏表示系数
利用得到的稀疏表示系数可以由公式得到实际的稀疏表示系数并利用可见光人脸照片块训练字典拟合得到输入测试近红外人脸图像块对应的初始可见光人脸照片块
进一步地，通过如下公式拟合得到输入测试近红外人脸图像块对应的初始可见光人脸照片块
其中，M为初始可见光人脸照片块的总数。
进一步地，于步骤1.5中，卡方距离计算公式如下：
为特征向量的第t维值，为特征向量的第t维值。
进一步地，所述对角距离矩阵的对角线元素分别为的各个分量，其他元素为零值。
进一步地，于步骤1.2中，通过人眼、嘴巴三点定位对人脸图像进行归一化，之后覆盖掩模以去除背景，同时为了去除光照不均的影响，加入光照预处理方法。
进一步地，步骤二进一步包括：
步骤2.1，随机选择近红外人脸图像训练样本库的人脸图像块集Anir和可见光人脸照片训练样本库的人脸照片块集Avis的若干块，其中每个近红外人脸图像块和可见光人脸照片块分别对应，提取近红外人脸图像块的一阶梯度信息与二阶梯度信息作为特征向量用可见光人脸照片块的原始像素值减去可见光人脸照片块的均值作为特征向量并将得到的近红外人脸图像块特征向量与可见光人脸照片块特征向量合并为一个整的列向量Xt，并对其进行归一化；
步骤2.2，根据步骤2.1可得到一个归一化后的由近红外人脸图像块特征和可见光人脸照片块特征形成的联立特征组成的矩阵X，每一列为一个归一化的联立特征，用公式表示；
步骤2.3，利用稀疏编码方法求解过完备的字典B；
步骤2.4,将求解得到的过完备字典B，分解为一个近红外人脸图像块特征训练字典Bnir和一个可见光人脸照片块特征训练字典Bvis，并将这两个字典的每一列作归一化；
步骤2.5，输入测试近红外人脸图像块提取一阶梯度信息与二阶梯度信息作为特征向量同时利用步骤2.4中得到的近红外人脸图像块特征训练字典Bnir；
步骤2.6，对于一幅输入近红外人脸图像ynir的所有近红外人脸图像块重复步骤2.5，采用多特征挑选将多个图像块的重构任务看作是互相有联系的多任务学习；
步骤2.7,利用步骤2.6得到所有图像块的稀疏表示系数矩阵Wnir，分解为各个图像块对应的稀疏表示系数利用步骤2.5中得到的可见光人脸照片块特征训练字典Bvis，按照下式拟合得高清晰度细节的可见光人脸照片特征信息块
M为特征信息块的总数
步骤2.8，将高清晰度细节的可见光人脸照片特征信息块叠加到初始可见光人脸照片块得到最终的可见光人脸照片块
步骤2.9，最终得到M块拟合的可见光人脸照片块，对于多个得到的合成可见光人脸照片块进行拼接组合得到一幅完整的可见光人脸照片，其中每个照片块重叠的部分取其平均值。
进一步地，步骤2.3可由下述优化方程实现：
等价于
其中B为待求的过完备字典，S为待求的稀疏表示系数矩阵，β为惩罚因子用于平衡字典重构误差和稀疏系数矩阵。
进一步地，步骤2.6由如下优化方程实现：
其中Wnir是待求的每个图像块各自的稀疏表示系数向量构成的稀疏表示系数矩阵，由公式表示，||Wnir||2，1是稀疏表示系数矩阵的2，1范数。
与现有技术相比，本发明一种可见光与近红外人脸图像的相互转换方法通过有层次的基于稀疏正则化方法对异质人脸图像进行拟合，由近红外人脸图像生成可见光人脸照片，提高了合成照片的细节信息，可解决异质人脸识别的问题。
附图说明
图1为本发明一种可见光与近红外人脸图像的相互转换方法的步骤流程图；
图2为本发明较佳实施例中近红外人脸图像到可见光人脸照片的转换步骤流程图；
图3为本发明较佳实施例中基于稀疏正则化L1范数最小化的近红外人脸图像到初始可见光人脸照片的生成过程流程图；
图4为本发明与现有的三种方法在BUAA-VisNir人脸数据库上合成的可见光人脸照片的对比图以及与真实可见光人脸照片的对照；
图5为本发明与现有的三种方法在BUAA-VisNir人脸数据库上合成的近红外人脸图像的对比图以及与真实近红外人脸图像的对照。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种可见光与近红外人脸图像的相互转换方法的步骤流程图。如图所示，本发明一种可见光与近红外人脸图像的相互转换方法，包括如下步骤：
步骤101，利用基于稀疏学习的方法将近红外人脸图像或可见光人脸照片转换为初始可见光人脸照片或初始的近红外人脸图像。
由于将近红外人脸图像转换为初始可见光人脸照片与将可见光人脸照片转换为初始的近红外人脸图像方法相同，在此以将近红外人脸图像转换为初始可见光人脸照片为例。
具体地说，步骤101进一步包括如下步骤：
(1)确定作为人脸图像的训练及测试来源的样本人员库，采集所述样本人员库中每个人的不同表情、不同姿态的各一张可见光人脸图像和一张近红外人脸图像构成一组图像对，对样本人员库中每个人的每组近红外人脸图像和可见光人脸图像进行三点特征点定位(眼睛两点，嘴巴中间点)，进行人脸归一化为同一尺寸灰度图，将处理完的近红外人脸图像-可见光人脸照片对集随机选取，一半划分为训练样本集，一半划分为测试样本集，并从测试样本集中选取一张测试近红外人脸图像ynir；
(2)将训练样本集的近红外人脸图像-可见光人脸照片对以及输入测试近红外人脸图像划分为M个大小相同的图像块，且相邻图像块之间保留一定程度的重叠，近红外人脸图像块训练集用公式表示，其中表示近红外人脸图像块训练字典，由近红外人脸图像训练样本库每个人的9张近红外人脸图像共n张近红外人脸图像的相同位置的第j个照片块构成，表示近红外人脸图像库中第i张近红外人脸图像的第j个图像块的原始像素值构成的列向量，维数为dj即图像块的像素值总数；其中表示可见光人脸照片块训练字典，由可见光人脸照片训练样本库每个人的9张可见光人脸照片共n张可见光人脸照片的相同位置的第j个照片块构成，表示可见光人脸照片库中第i张可见光人脸照片的第j个图像块的原始像素值构成的列向量，维数为dimj即照片块的像素值总数；表示输入测试近红外人脸图像的第j个图像块的原始像素值构成的列向量，维数为dimj即图像块的像素值总数；
(3)分别对各个块提取特征利用步骤(2)得到的近红外人脸图像块训练字典可得到近红外人脸图像块特征训练字典用公式表示，由可见光人脸照片块训练字典可得到可见光人脸照片块特征训练字典用公式表示，由输入测试近红外人脸图像块可得到输入测试近红外人脸图像块特征向量
(4)利用步骤(3)得到的输入测试近红外人脸图像块特征向量分别与近红外人脸图像块特征训练字典中的各个分量计算卡方距离，得到一个距离向量由公式表示，将这个距离向量扩展为一个对角距离矩阵其中对角线元素分别为的各个分量，其他元素都为零值。
(5)利用步骤(2)得到的近红外人脸图像块训练字典和输入测试近红外人脸图像块原始像素向量与步骤(4)得到的距离对角矩阵按照下式寻找其稀疏表示，得到稀疏表示系数
其中λ为稀疏表示惩罚因子，用于平衡重构误差项和稀疏表示系数；
为了便于求解，本实施例对上式作一定的修改，令则
从而求解下式寻找新的稀疏表示，得到新的稀疏表示系数
(6)利用步骤(5)中得到名义上的稀疏表示系数可以由公式得到实际的稀疏表示系数并利用步骤(2)中得到的可见光人脸照片块训练字典按照下式拟合得到输入测试近红外人脸图像块对应的初始可见光人脸照片块
其中，M为初始可见光人脸照片块的总数。
步骤102，利用基于多特征挑选的方法将初始近红外人脸图像或可见光人脸照片转换为可见光人脸照片或近红外人脸图像的高清晰度细节照片。
(1)随机选择近红外人脸图像训练样本库的人脸图像块集Anir(可用公式)和可见光人脸照片训练样本库的人脸照片块集Avis(可用公式)的各10000个块，其中每个近红外人脸图像块和可见光人脸照片块分别对应(大小相同，在整幅人脸中所处位置一样)，提取近红外人脸图像块的一阶梯度信息与二阶梯度信息作为特征向量用可见光人脸照片块的原始像素值减去可见光人脸照片块的均值作为特征向量并将得到的近红外人脸图像块特征向量与可见光人脸照片块特征向量合并为一个整的列向量xt(t＝1，...，10000)，可用公式对其进行归一化；
(2)根据步骤1)可得到一个归一化后的由近红外人脸图像块特征和可见光人脸照片块特征形成的联立特征组成的矩阵X，每一列为一个归一化的联立特征，用公式表示；
(3)为了减少存储在联立特征矩阵X的冗余信息，利用稀疏编码方法求解过完备的字典B，可由下述优化方程表示：
等价于
其中B为待求的过完备字典，S为待求的稀疏表示系数矩阵，β为惩罚因子用于平衡字典重构误差和稀疏系数矩阵
(4)利用步骤3)中求解得到的过完备字典B，可由公式表示，分解为一个近红外人脸图像块特征训练字典Bnir和一个可见光人脸照片块特征训练字典Bvis，并将这两个字典的每一列作归一化。
(5)输入测试近红外人脸图像块提取一阶梯度信息与二阶梯度信息作为特征向量，同时利用步骤4)中得到的近红外人脸图像块特征训练字典Bnir；
(6)对于一幅输入近红外人脸图像ynir的所有近红外人脸图像块(j＝1,...M,重)复步骤5)，采用多特征挑选将多个图像块的重构任务看作是互相有联系的多任务学习，而非独立的单任务学习。可由如下优化方程表示：
其中Wnir是待求的每个图像块各自的稀疏表示系数向量构成的稀疏表示系数矩阵，可由公式表示，||Wnir||2，1是稀疏表示系数矩阵的2，1范数。
(7)利用步骤6)得到所有图像块的稀疏表示系数矩阵Wnir，分解为各个图像块对应的稀疏表示系数利用步骤5)中得到的可见光人脸照片块特征训练字典Bvis，按照下式拟合得高清晰度细节的可见光人脸照片特征信息块
M为特征信息块的总数
(8)将高清晰度细节的可见光人脸照片特征信息块叠加到初始可见光人脸照片块以增强清晰度和细节信息，得到最终的可见光人脸照片块
(9)最终得到M块拟合的可见光人脸照片块，对于多个得到的合成可见光人脸照片块进行拼接组合即可得到一幅完整的可见光人脸照片，其中每个照片块重叠的部分取其平均值。
图2为本发明较佳实施例中近红外人脸图像到可见光人脸照片的转换步骤流程图，图3为本发明较佳实施例中基于稀疏正则化L1范数最小化的近红外人脸图像到初始可见光人脸照片的生成过程流程图。如图2及图3所示，本发明较佳实施例中，近红外人脸图像到可见光人脸照片的转换步骤如下：
步骤S1，确定作为人脸图像的训练和测试来源的样本人员库，采集所述样本人员库中每个人的在9种不同人脸状态下的各一张可见光照片和一张近红外人脸图像，同一人同一个人脸状态下的一张可见光人脸照片和一张近红外人脸图像构成一组图象对。
具体的，在本发明较佳实施例中，可搭建采集可见光和近红外的原始图像的硬件和软件设备，硬件设备包括可见光摄像头与近红外摄像头，通过该软件和硬件设备采集原始图像后，将样本人员库中每个人的可见光人脸照片和近红外人脸图像从原始图像中检测出来并作划分。为了保证训练模板库的多样性，需要在不同的人脸状态下采集模板，每个人将在不同人脸状态下采集可见光人脸照片与近红外人脸图像，如不同的姿态(左右偏转角度不同、上下俯仰角度不同)，不同的人脸表情变化，不同光照条件。具体的，本实施例提出图像对的概念，意为同一个人同一人脸状态下的一张可见光人脸照片和一张近红外人脸图像作为一组图像。为了保证采集每组可见光人脸照片与近红外人脸图像的同时性，可将可见光摄像头与近红外摄像头配置为同轴，且距离详尽，可见光摄像头与近红外摄像头采集的时间间隔也应该尽量小，但要保证可见光摄像头与近红外摄像头相互之间不被影响。
步骤S2，对样本人员库中的每个人的每组可见光人脸照片和近红外人脸图像进行归一化，并进行掩模(mask)背景去除和光照预处理。具体的，通过人眼、嘴巴三点定位对人脸图像进行归一化，之后覆盖掩模以去除背景。同时为了去除光照不均的影响，可以加入Gamma校正或单尺度Retina(SSR)或LTV图等光照预处理方法。
步骤S3，将处理完的近红外人脸图像—可见光人脸照片对样本库随机选取，一半划分为训练样本集，一半划分为测试样本集，并从测试样本集中选取一张测试近红外人脸图像ynir，将训练样本集的近红外人脸图像—可见光人脸照片对以及输入测试近红外人脸图像划分为M个大小相同的图像块，且相邻图像块之间保留一定程度的重叠，并依次训练可见光人脸照片块训练字典、近红外人脸图像块训练字典、输入近红外人脸图像块原始像素列向量。
具体的，本实施例提出图像块对的概念，意为同一个人同一人脸状态下的同一位置的一个可见光人脸照片块和一个近红外人脸图像块作为一组图像块。具体的，将每一组图像块提取原始像素值，表示为其中表示第i组近红外人脸图像的第j个图像块的原始像素值构成的列向量，表示第i组可见光人脸照片的第j个图像块的原始像素值构成的列向量；将近红外人脸图像中相同位置的图像块原始像素值构成的列向量合并构成一个近红外人脸图像块训练字典可由公式表示，维数为dj即每个图像块的像素值总数，在这里每个dj值相同，n为人脸图像对总组数；将可见光人脸照片中相同位置的照片块原始像素值构成的列向量合并构成一个可见光人脸照片块训练字典可由公式表示，维数为dimj即照片块的像素值总数，在这里每个dimj值相同，n为人脸图像对总组数。将输入测试近红外人脸图像第j个图像块的原始像素值构成列向量维数为dimj即输入近红外人脸图像块的像素值总数，这里每个dimj值相同。
步骤S4，在步骤S3的基础上，对每组近红外人脸图像块和可见光人脸照片块在原始像素值上提取局部纹理特征，分别为和并对输入测试近红外人脸图像块提取局部纹理特征。具体的，这组总特征由6组LBP特征和1组CS-LBP特征构成，6组LBP特征半径和邻域各不相同，(P，R)分别取(4，1)，(8，1)，(12，1.5)，(16，2)，(24，3)。利用步骤S3得到的近红外人脸图像块训练字典提取特征可得到近红外人脸图像块特征训练字典用公式表示；利用步骤S3得到的可见光人脸照片块训练字典提取特征可得到可见光人脸照片块特征训练字典用公式表示。同样，利用步骤S3得到的输入测试近红外人脸图像块提取特征可得到输入测试近红外人脸图像块特征向量
步骤S5，利用步骤S4得到的输入测试近红外人脸图像块特征向量分别与近红外人脸图像块特征训练字典中的各个分量计算卡方距离并将距离向量扩展为一个对角距离矩阵。
在本发明较佳实施例中，卡方距离计算公式如下：
其中，为特征向量的第t维值，为特征向量的第t维值。卡方距离值越小，说明这两个图像块相似程度越高，完全匹配的值为0，完全不匹配为无限值(依赖于直方图的大小)。得到一个距离向量由公式表示。将这个距离向量扩展为一个对角距离矩阵其中对角线元素分别为的各个分量，其他元素都为零值。
步骤S6，基于稀疏正则化方法求取输入测试近红外图像块的稀疏表示系数。也就是说，基于稀疏正则化L1范数最小化方法，同时对稀疏重构系数加上相似性度量约束，求取在原始像素层面上输入测试近红外图像块由近红外图像块训练库重构的稀疏重构系数，保持重构系数不变，由对应位置的可见光人脸照片块训练库拟合生成初始的可见光人脸照片块。
具体的，基于图像的稀疏表示人脸识别是近期出现的将压缩感知理论应用于模式识别中的新方法，采用信号处理中的压缩采样技术，不再要求将人脸图像尽量紧密地表示成一个低维空间，而是将其投影成一个非常稀疏的高维向量，并通过L1范数最小化的方法，几乎无误差地恢复该高维向量，并对光照、表情、姿态变化等方面具有很强的鲁棒性。本发明提出有相似性约束的基于稀疏正则化方法，对于输入近红外人脸图像块去近红外人脸图像块训练字典中寻找最相似的图像块进行重构，并得到一组最优重构系数。这组重构系数包含少数非零项和大多数的零项，可用于从可见光人脸照片块训练字典中挑选相应的可见光人脸照片块，合成初始的可见光人脸照片块
步骤S7，在步骤S4基础上随机选取10000组图像块对，每组图像块对中的近红外人脸图像块在原始像素值上提取梯度信息特征，可见光人脸照片块的原始像素值减去可见光人脸照片块的均值作为可见光照片细节特征信息块，同样对输入近红外人脸图像块提取梯度特征信息。
将每个位置的近红外人脸图像块训练字典合并为一个总的近红外人脸图像块训练样本库Anir，可用公式表示；将每个位置的可见光人脸照片块训练字典合并为一个总的可见光人脸照片块训练样本库Avis，可用公式表示；随机选择总的近红外人脸图像块集Anir和总的可见光人脸照片块集Avis中的各10000个块，标号为1到10000，其中每个近红外人脸图像块和可见光人脸照片块分别对应(大小相同，在整幅人脸中所处位置一样)；提取近红外人脸图像块的一阶梯度信息与二阶梯度信息作为特征向量其中用来提取特征的四组线性算子分别为f1,f2,其中f1＝[-1,0,1]，f2＝[1,0,-2,0,1]，将可见光人脸照片块的原始像素值减去可见光人脸照片块的均值作为特征向量并将得到的近红外人脸图像块特征向量与可见光人脸照片块特征向量合并为一个整的列向量xt(t＝1，...，10000)，可用公式并对其进行归一化；
步骤S8，利用步骤S6得到的归一化后的由近红外人脸图像块特征和可见光人脸照片块特征形成的联立特征组成的矩阵X，通过稀疏编码方法联合训练过完备的字典B；具体的，稀疏编码可以使人脸图像得到更具判别能力的中层表达，去除原始字典中的冗余信息。可将过完备字典B分解为一个近红外人脸图像块细节特征信息训练字典Bnir和一个可见光人脸照片块特征信息训练字典Bvis。
步骤S9，基于多特征挑选的由近红外人脸图像生成可见光人脸照片的高清晰度细节照片块。具体的，将合成多个可见光人脸的高清晰细节照片块认为是多个有联系的任务，考虑了块与块之间的兼容性约束，而不再认为是多个相互彼此独立的任务。本发明提出多特征挑选的由近红外人脸图像块到可见光人脸照片的高清晰度细节照片块的生成方法，对于输入近红外人脸图像块提取得到的梯度特征信息去近红外人脸图像块细节特征信息训练字典中寻找最相似的图像特征信息块进行重构，并得到一组最优重构系数。这组重构系数包含少数非零项和大多数的零项，可用于从可见光人脸照片块特征训练字典挑选相应的可见光人脸照片特征信息块，合成高清晰度细节明显的可见光人脸照片特征信息块
步骤S10，利用步骤S7得到的高清晰度细节明显的可见光人脸照片特征信息块叠加到初始的可见光人脸照片块从而得到最终的可见光人脸照片块重复执行步骤S8，得到M块可见光人脸照片块。最后将所有得到的合成可见光人脸照片块进行拼接组合即可得到一幅完整的可见光人脸照片，其中对于重叠部分的像素值取其平均值。
具体地，在步骤S6中，基于L1范数最小化的方法包括如下内容：
以近红外人脸图像块进行训练为例，由步骤S3得到的近红外人脸图像块训练字典和输入测试近红外人脸图像块原始像素向量存在线性关系：
为稀疏重构系数；
由于图片块的个数n远大于图片块原始像素值的维数dimj，致使得到的不唯一，通过lasso的方法，加入稀疏正则化项，解决了这个问题，可由如下优化方程表示：
因为中的元素并不是传统意义上输入近红外图片块与近红外人脸图像块训练集中各个图像块的相似性，不满足严格的距离度量定义。所以引入图片块之间的相似性约束，认为输入近红外人脸图片块的相似度越大则其对应的重构系数中的分量权值也应该越大。为了便于求解，本发明做如下简化，求取最大，即为如下优化问题：
而对应的卡方距离向量中的每个分量为值越小则相似度越大，即优化方程可做如下修改
为了易于求解，利用步骤S5得到的对角距离矩阵可将优化方程做如下修改：
进一步的，为了便于求解，本发明对上式作一定的修改，令则
从而求解下式寻找新的稀疏表示，得到新的稀疏表示系数
其中||·||2表示欧几里得范数，||·||1表示1范数，λ表示正则化系数，用于调整的稀疏程度。λ越大，中值为零的项的数目越多。
通过上述优化方程，得到唯一的解由于为名义上的稀疏重构挑选系数向量，真正的稀疏重构挑选系数向量可由公式表示，其元素的值的大小表示了近红外近红外人脸图像块训练字典中的图像块对于重建输入近红外人脸图像块的的贡献程度，值越大，贡献越大。
利用步骤S3中得到的可见光人脸照片块训练字典按照下式拟合得到输入测试近红外人脸图像块对应的初始可见光人脸照片块
M为初始可见光人脸照片块的总数。
具体地，步骤S8中，基于稀疏编码的过完备字典的训练方法包括如下内容：
由近红外人脸图像块特征和可见光人脸照片块特征形成的联立特征组成的矩阵X，每一列为一个归一化的联立特征，用公式表示，为了减少存储在联立特征矩阵X的冗余信息，利用稀疏编码方法求解过完备的字典B，可由下述优化方程表示：
稀疏字典学习的过程实际上是对字典B和稀疏表示系数矩阵联合优化的过程。在字典训练阶段，字典B和系数矩阵S同时变化，此优化问题是非凸的。
优化方程等同于下式：
其中σ2是假设重构误差分布的方差，γ是一个预先定义的参数，Φ(Si,j)为稀疏惩罚函数。在这里选择L1惩罚项，即Φ(s)＝|s|
基于拉格朗日对偶来解决上述优化问题。考虑拉格朗日项：
其中每个λ≥0为对偶变量
通过解析地最小化B，可以得到如下拉格朗日对偶方程：
其中
通过牛顿法或者共轭梯度法优化该拉格朗日方程可以得到本发明需要的过完备训练特征字典B，可由如下公式表示：
BT＝(SST+Λ)-1(XST)T
将得到的过完备分解为一个近红外人脸图像块特征训练字典Bnir和一个可见光人脸照片块特征训练字典Bvis，并将这两个字典的每一列作归一化。
具体地，在步骤S9中，基于多特征挑选的近红外人脸图像到高清晰度可见光人脸照片的生成方法包括如下内容：
采用多特征挑选将多个图像块的重构任务看作是互相有联系的多任务学习，而非独立的单任务学习。对于一幅输入近红外人脸图像ynir的所有近红外人脸图像块进行，可由如下优化方程表示：
其中Wnir是待求的每个图像块各自的稀疏表示系数向量构成的稀疏表示系数矩阵，可由公式表示，||Wnir||2,1是稀疏表示系数矩阵的2，1范数。
求解得到所有图像块的稀疏表示系数矩阵Wnir，分解为各个图像块对应的稀疏表示系数利用步骤S8中得到的可见光人脸照片块特征训练字典Bvis，按照下式拟合得高清晰度细节的可见光人脸照片特征信息块可由如下公式表示：
其中，M为特征信息块的总数。
图4为本发明与现有的三种方法在BUAA-VisNir人脸数据库上合成的可见光人脸照片的对比图以及与真实可见光人脸照片的对照，图5为本发明与现有的三种方法在BUAA-VisNir人脸数据库上合成的近红外人脸图像的对比图以及与真实近红外人脸图像的对照。可见，相比现有技术，本发明提高了合成的可见光人脸照片和近红外人脸图像的清晰度，使得细节信息更丰富，更易于处理异质人脸识别的问题。
综上所述，本发明一种可见光与近红外人脸图像的相互转换方法通过有层次的基于稀疏正则化方法对异质人脸图像进行拟合，由近红外人脸图像生成可见光人脸照片，提高了合成照片的细节信息，可解决异质人脸识别的问题。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (9)
1.一种可见光与近红外人脸图像的相互转换方法，包括如下步骤：
步骤一，利用基于稀疏学习的方法将近红外人脸图像或可见光人脸照片转换为初始可见光人脸照片或初始的近红外人脸图像；
步骤二，利用基于多特征挑选的方法将初始近红外人脸图像或可见光人脸照片转换为可见光人脸照片或近红外人脸图像的高清晰度细节照片；
其中，近红外人脸图像转换为初始可见光人脸照片包括如下步骤：
步骤1.1，确定作为人脸图像的训练和测试来源的样本人员库，采集所述样本人员库中每个人的在不同人脸状态下的各一张可见光照片和一张近红外人脸图像，同一人同一个人脸状态下的一张可见光人脸照片和一张近红外人脸图像构成一组图象对；
步骤1.2，对所述样本人员库中的每个人的每组可见光人脸照片和近红外人脸图像进行归一化，并进行掩模背景去除和光照预处理；
步骤1.3，将处理完的近红外人脸图像—可见光人脸照片对样本库随机选取，一半划分为训练样本集，一半划分为测试样本集，并从测试样本集中选取一张测试近红外人脸图像ynir，将训练样本集的近红外人脸图像-可见光人脸照片对以及输入测试近红外人脸图像划分为M个大小相同的图像块，且相邻图像块之间保留一定程度的重叠，并依次训练可见光人脸照片块训练字典、近红外人脸图像块训练字典、输入近红外人脸图像块原始像素列向量；
步骤1.4，在步骤1.3的基础上，对每组近红外人脸图像块和可见光人脸照片块在原始像素值上提取局部纹理特征，分别为和并对输入测试近红外人脸图像块提取局部纹理特征
步骤1.5，利用步骤1.4得到的输入测试近红外人脸图像块特征向量分别与近红外人脸图像块特征训练字典中的各个分量计算卡方距离并将距离向量扩展为一个对角距离矩阵
步骤1.6，基于稀疏正则化方法求取输入测试近红外图像块的稀疏表示系数，同时对稀疏重构系数加上相似性度量约束，求取在原始像素层面上输入测试近红外图像块由近红外图像块训练库重构的稀疏重构系数，保持重构系数不变，由对应位置的可见光人脸照片块训练库拟合生成初始的可见光人脸照片块。
2.如权利要求1所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于，步骤1.6进一步包括：
利用近红外人脸图像块训练字典和输入测试近红外人脸图像块原始像素向量与步骤1.5得到的对角距离矩阵按照下式寻找其稀疏表示，得到稀疏表示系数
<mrow>
<munder>
<mi>min</mi>
<msubsup>
<mi>&omega;</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
</munder>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>y</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>A</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<msubsup>
<mi>&omega;</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>D</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<msubsup>
<mi>&omega;</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
其中，λ为稀疏表示惩罚因子；
令则从而求解下式寻找新的稀疏表示，得到新的稀疏表示系数
利用得到的稀疏表示系数可以由公式得到实际的稀疏表示系数并利用可见光人脸照片块训练字典拟合得到输入测试近红外人脸图像块对应的初始可见光人脸照片块
3.如权利要求2所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于，通过如下公式拟合得到输入测试近红外人脸图像块对应的初始可见光人脸照片块
<mrow>
<msubsup>
<mi>y</mi>
<mi>j</mi>
<mrow>
<mi>s</mi>
<mi>y</mi>
<mi>n</mi>
<mo>-</mo>
<mi>l</mi>
<mi>v</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>A</mi>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msubsup>
<msubsup>
<mi>&omega;</mi>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msubsup>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>...</mn>
<mi>M</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，M为初始可见光人脸照片块的总数。
4.如权利要求2所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于，于步骤1.5中，卡方距离计算公式如下：
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>c</mi>
<mi>h</mi>
<mi>i</mi>
<mo>-</mo>
<mi>s</mi>
<mi>q</mi>
<mi>u</mi>
<mi>a</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>h</mi>
<mi>j</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mi>t</mi>
</munder>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>h</mi>
<mi>j</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<msubsup>
<mi>f</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>h</mi>
<mi>j</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
为特征向量的第t维值，为特征向量的第t维值。
5.如权利要求4所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于：所述对角距离矩阵的对角线元素分别为的各个分量，其他元素为零值。
6.如权利要求1所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于，于步骤1.2中，通过人眼、嘴巴三点定位对人脸图像进行归一化，之后覆盖掩模以去除背景，同时为了去除光照不均的影响，加入光照预处理方法。
7.如权利要求1所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于，步骤二进一步包括：
步骤2.1，随机选择近红外人脸图像训练样本库的人脸图像块集Anir和可见光人脸照片训练样本库的人脸照片块集Avis的若干块，其中每个近红外人脸图像块和可见光人脸照片块分别对应，提取近红外人脸图像块的一阶梯度信息与二阶梯度信息作为特征向量用可见光人脸照片块的原始像素值减去可见光人脸照片块的均值作为特征向量并将得到的近红外人脸图像块特征向量与可见光人脸照片块特征向量合并为一个整的列向量Xt，并对其进行归一化；
步骤2.2，根据步骤2.1可得到一个归一化后的由近红外人脸图像块特征和可见光人脸照片块特征形成的联立特征组成的矩阵X，每一列为一个归一化的联立特征，用公式表示；
步骤2.3，利用稀疏编码方法求解过完备的字典B；
步骤2.4,将求解得到的过完备字典B，分解为一个近红外人脸图像块特征训练字典Bnir和一个可见光人脸照片块特征训练字典Bvis，并将这两个字典的每一列作归一化；
步骤2.5，输入测试近红外人脸图像块提取一阶梯度信息与二阶梯度信息作为特征向量同时利用步骤2.4中得到的近红外人脸图像块特征训练字典Bnir；
步骤2.6，对于一幅输入近红外人脸图像ynir的所有近红外人脸图像块重复步骤2.5，采用多特征挑选将多个图像块的重构任务看作是互相有联系的多任务学习；
步骤2.7,利用步骤2.6得到所有图像块的稀疏表示系数矩阵Wnir，分解为各个图像块对应的稀疏表示系数利用步骤2.5中得到的可见光人脸照片块特征训练字典Bvis，按照下式拟合得高清晰度细节的可见光人脸照片特征信息块
<mrow>
<msubsup>
<mi>y</mi>
<mi>j</mi>
<mrow>
<mi>s</mi>
<mi>y</mi>
<mi>n</mi>
<mo>_</mo>
<mi>h</mi>
<mi>v</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msubsup>
<mo>=</mo>
<msup>
<mi>B</mi>
<mrow>
<mi>v</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msup>
<msubsup>
<mi>c</mi>
<mi>j</mi>
<mrow>
<mi>v</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msubsup>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>...</mn>
<mi>M</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
M为特征信息块的总数
步骤2.8，将高清晰度细节的可见光人脸照片特征信息块叠加到初始可见光人脸照片块得到最终的可见光人脸照片块
步骤2.9，最终得到M块拟合的可见光人脸照片块，对于多个得到的合成可见光人脸照片块进行拼接组合得到一幅完整的可见光人脸照片，其中每个照片块重叠的部分取其平均值。
8.如权利要求7所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于：步骤2.3可由下述优化方程实现：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mo>{</mo>
<mi>B</mi>
<mo>,</mo>
<mi>S</mi>
<mo>}</mo>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>X</mi>
<mo>-</mo>
<mi>B</mi>
<mi>S</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<mo>|</mo>
<mo>|</mo>
<mi>S</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&le;</mo>
<mi>dim</mi>
<mrow>
<mo>(</mo>
<mi>S</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
等价于
其中B为待求的过完备字典，S为待求的稀疏表示系数矩阵，β为惩罚因子用于平衡字典重构误差和稀疏系数矩阵。
9.如权利要求8所述的一种可见光与近红外人脸图像的相互转换方法，其特征在于，步骤2.6由如下优化方程实现：
<mrow>
<munder>
<mi>min</mi>
<msup>
<mi>W</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msup>
</munder>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>g</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>-</mo>
<msup>
<mi>B</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msup>
<msubsup>
<mi>c</mi>
<mi>j</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>W</mi>
<mrow>
<mi>n</mi>
<mi>i</mi>
<mi>r</mi>
</mrow>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
其中Wnir是待求的每个图像块各自的稀疏表示系数向量构成的稀疏表示系数矩阵，由公式表示，||Wnir||2，1是稀疏表示系数矩阵的2，1范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510128818.6A CN104700087B (zh) | 2015-03-23 | 2015-03-23 | 可见光与近红外人脸图像的相互转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510128818.6A CN104700087B (zh) | 2015-03-23 | 2015-03-23 | 可见光与近红外人脸图像的相互转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104700087A CN104700087A (zh) | 2015-06-10 |
| CN104700087B true CN104700087B (zh) | 2018-05-04 |
Family
ID=53347186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510128818.6A Expired - Fee Related CN104700087B (zh) | 2015-03-23 | 2015-03-23 | 可见光与近红外人脸图像的相互转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104700087B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608450B (zh) * | 2016-03-01 | 2018-11-27 | 天津中科智能识别产业技术研究院有限公司 | 基于深度卷积神经网络的异质人脸识别方法 |
| CN106372615A (zh) * | 2016-09-19 | 2017-02-01 | 厦门中控生物识别信息技术有限公司 | 一种人脸防伪识别方法以及装置 |
| CN106682187B (zh) * | 2016-12-29 | 2020-04-17 | 北京旷视科技有限公司 | 用于建立图像底库的方法及装置 |
| CN107862299B (zh) * | 2017-11-28 | 2021-08-06 | 电子科技大学 | 一种基于近红外与可见光双目摄像头的活体人脸检测方法 |
| CN108197585A (zh) * | 2017-12-13 | 2018-06-22 | 北京深醒科技有限公司 | 脸部识别方法和装置 |
| JP2020009064A (ja) * | 2018-07-05 | 2020-01-16 | フォーブ インコーポレーテッド | データ生成装置、映像システム、及びデータ生成方法 |
| CN109191412B (zh) * | 2018-08-17 | 2019-12-20 | 河南工程学院 | 基于核稀疏典型相关分析热红外人脸图像可见光重建方法 |
| CN110909582B (zh) * | 2018-09-18 | 2023-09-22 | 华为技术有限公司 | 一种人脸识别的方法及设备 |
| CN109326103B (zh) * | 2018-10-08 | 2020-09-15 | 宁波大学 | 一种移动智能终端生成危急信号方法 |
| CN109543640B (zh) * | 2018-11-29 | 2022-06-17 | 中国科学院重庆绿色智能技术研究院 | 一种基于图像转换的活体检测方法 |
| CN111243051B (zh) * | 2020-01-08 | 2023-08-18 | 杭州未名信科科技有限公司 | 基于肖像照片的简笔画生成方法、系统及存储介质 |
| CN111582066B (zh) * | 2020-04-21 | 2023-10-03 | 浙江大华技术股份有限公司 | 异质人脸识别模型训练方法、人脸识别方法及相关装置 |
| CN111879724B (zh) * | 2020-08-05 | 2021-05-04 | 中国工程物理研究院流体物理研究所 | 基于近红外光谱成像的人皮面具识别方法及系统 |
| CN114582005B (zh) * | 2022-05-05 | 2022-07-29 | 中科南京智能技术研究院 | 一种人脸识别方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7406184B2 (en) * | 2002-07-03 | 2008-07-29 | Equinox Corporation | Method and apparatus for using thermal infrared for face recognition |
| US7652752B2 (en) * | 2005-07-14 | 2010-01-26 | Arete' Associates | Ultraviolet, infrared, and near-infrared lidar system and method |
| CN102521609A (zh) * | 2011-12-02 | 2012-06-27 | 湖南大学 | 基于分布式压缩传感的近红外与可见光图像人脸识别方法 |
| US10452894B2 (en) * | 2012-06-26 | 2019-10-22 | Qualcomm Incorporated | Systems and method for facial verification |
| CN103903004B (zh) * | 2012-12-28 | 2017-05-24 | 汉王科技股份有限公司 | 一种人脸识别多特征权值融合方法与装置 |
| CN103152517B (zh) * | 2013-02-06 | 2018-06-22 | 北京中科虹霸科技有限公司 | 用于移动虹膜识别设备的成像模组及移动设备 |
| CN103116749A (zh) * | 2013-03-12 | 2013-05-22 | 上海洪剑智能科技有限公司 | 一种基于自建图像库的近红外人脸识别方法 |
| CN104123703B (zh) * | 2014-07-09 | 2017-04-12 | 广州中国科学院先进技术研究所 | 一种保持表皮原色的静脉显像方法 |
-
2015
- 2015-03-23 CN CN201510128818.6A patent/CN104700087B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN104700087A (zh) | 2015-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104700087B (zh) | 可见光与近红外人脸图像的相互转换方法 | |
| Li et al. | AttentionFGAN: Infrared and visible image fusion using attention-based generative adversarial networks | |
| US7512255B2 (en) | Multi-modal face recognition | |
| Juefei-Xu et al. | Investigating age invariant face recognition based on periocular biometrics | |
| Zhou et al. | Appearance characterization of linear lambertian objects, generalized photometric stereo, and illumination-invariant face recognition | |
| Vageeswaran et al. | Blur and illumination robust face recognition via set-theoretic characterization | |
| WO2015090126A1 (zh) | 人脸特征的提取、认证方法及装置 | |
| US20200005023A1 (en) | Facial image recognition using pseudo-images | |
| CN112801015B (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
| CN106462724A (zh) | 基于规范化图像校验面部图像的方法和系统 | |
| CN111783748A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN104834905A (zh) | 一种人脸图像识别仿真系统及方法 | |
| Liu et al. | 3D gait recognition based on a CNN-LSTM network with the fusion of SkeGEI and DA features | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
| CN105574475A (zh) | 一种基于共同向量词典的稀疏表示分类方法 | |
| TW202119274A (zh) | 臉部影像重建方法與系統 | |
| Yang et al. | Development of a fast panoramic face mosaicking and recognition system | |
| Rosato et al. | Automatic registration of vertex correspondences for 3D facial expression analysis | |
| Zheng et al. | Age classification based on back-propagation network | |
| Kouzani | Locating human faces within images | |
| CN106228163B (zh) | 一种基于特征选择的局部差三进制序列图像特征描述方法 | |
| Yang et al. | Fast image mosaicing for panoramic face recognition. | |
| Vasilescu | A Multilinear (Tensor) Algebraic Framework for Computer Graphics, Computer Vision and Machine Learning | |
| CN106407884A (zh) | 一种快速协同匹配的有遮挡人脸识别方法 | |
| Rousseau et al. | Pattern Recognition, Computer Vision, and Image Processing. ICPR 2022 International Workshops and Challenges: Montreal, QC, Canada, August 21–25, 2022, Proceedings, Part I |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180504 Termination date: 20210323 |