CN108805802B - 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法 - Google Patents

一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法 Download PDF

Info

Publication number
CN108805802B
CN108805802B CN201810570889.5A CN201810570889A CN108805802B CN 108805802 B CN108805802 B CN 108805802B CN 201810570889 A CN201810570889 A CN 201810570889A CN 108805802 B CN108805802 B CN 108805802B
Authority
CN
China
Prior art keywords
encoder
self
layer
face
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810570889.5A
Other languages
English (en)
Other versions
CN108805802A (zh
Inventor
宫俊
丁焕雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201810570889.5A priority Critical patent/CN108805802B/zh
Publication of CN108805802A publication Critical patent/CN108805802A/zh
Application granted granted Critical
Publication of CN108805802B publication Critical patent/CN108805802B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法，所述方法具有如下步骤：建立训练样本库和测试样本库；建立包括n层自编码器的基于条件约束的堆叠渐进自动编码器，相邻所述自编码器之间设有非负约束稀疏自编码器；初始化堆叠渐进自动编码器的权值w和偏置向量b，并逐层训练得到整个堆叠渐进自动编码器的最优参数；以最小化人脸重建目标损失函数更新堆叠渐进自动编码器的权值w和偏置向量b；以最小化人脸重建目标函数进行堆叠渐进自动编码器反向微调，输出参数最优的堆叠渐进自动编码器模型。本发明方便简单、训练参数少，有效解决了以往方法参数指标多、对硬件配置要求高等的缺点。

Description

一种基于约束条件的堆叠步进自编码器的正面人脸重建系统 及方法
技术领域
本发明涉及一种基于2D方面重现正面人脸的系统及方法，适用于多姿态变化下的正面人脸重建。
背景技术
在过去的几十年里，人脸识别在许多领域都得到了成功的应用，如访问控制、身份验证、监视列表等。但是，由于表情、姿势、灯光、老化等原因造成的巨大变化，对于那些无法控制的场景来说，人脸识别仍然是一个很遥远的方法。其中，姿态变异是最大的挑战之一，因此，正面人脸图像合成已成为热门的研究课题。一般来说，人脸合成是利用一个或多个角度的人脸图像合成所需视角的人脸图像。由一个或者几个侧面视角的人脸图像合成其正面图像是一个逆向问题，在此过程中，需要恢复经过变形压缩后的人脸纹理以及由于人脸遮挡而不可见的纹理，因此实现起来相对困难，且其困难程度也会随着侧脸视角的加大而增加。为了解决这个问题，已经开发了许多有前途的作品，大致可以分为两类：2D技术和3D技术。本发明针对二维技术方面存在参数指标多、训练数据量大、对硬件设备的要求高、重建细节差的问题，提出了一种基于约束条件的堆叠步进自编码器的人脸重建方法，解决了参数指标多、重建细节差等问题。
发明内容
本发明针对现有技术存在的不足，提出了一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法。本发明采用的技术手段如下：
一种基于约束条件的堆叠步进自编码器的正面人脸重建系统，包括：
第一存储模块，被配置为存储训练样本库，所述训练样本库包括从FERET数据集提取的X个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
第二存储模块，被配置为存储测试样本库，所述测试样本库包括从FERET数据集提取的Y个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
堆叠渐进自动编码器，包括n层自编码器，相邻所述自编码器之间设有非负约束稀疏自编码器，其中：
第一层自编码器，预训练时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身；网络微调时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1，完成角度转换之后，在第一层自编码器进行-pk-1和pk-1角度向-pk和pk角度的反向微调；
非负约束稀疏自编码器，预训练时，被配置为接收前一层自编码器输出的的各姿态人脸图像，约束前一层自编码器中的权值w，使其为非负值，将前一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据；
其余n-1层自编码器，预训练时，被配置为接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身；网络微调时，被配置为接受第n-1层自编码器输出的-pk-n+1和pk-n+1角度的人脸图像，在解码时将所有-pk-n+1和pk-n+1角度的人脸图像再依次映射到-pk-n和pk-n，完成后，在第n层自编码器进行-pk-n+1和pk-n+1角度的人脸图像向-pk-n和pk-n角度的人脸图像的反向微调。
n＝(N-1)/2，其中，N＝2k+1。
本发明还公开了一种基于约束条件的堆叠步进自编码器的正面人脸重建方法，具有如下步骤：
S1：从FERET数据集提取的X个人的人脸图像建立训练样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
从FERET数据集提取的Y个人的人脸图像建立测试样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
S2、建立包括n层自编码器的基于条件约束的堆叠渐进自动编码器,相邻所述自编码器之间设有非负约束稀疏自编码器；
S3、初始化堆叠渐进自动编码器的权值w和偏置向量b，并逐层训练得到整个堆叠渐进自动编码器的最优参数：
所述逐层训练具有如下步骤：
第一层自编码器接收训练样本库的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身，第一层自编码器输出的各姿态人脸图像经过与其对应的非负约束稀疏自编码器，约束第一层自编码器中的权值w，使其为非负值，保留输入数据的局部特征信息，提高稀疏性和重建质量，将第一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据，其余n-1层自编码器接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身，使得最后一层编码器输出图像角度全为p0；
S4、以最小化人脸重建目标损失函数更新堆叠渐进自动编码器的权值w和偏置向量b，人脸重建目标损失函数包括堆叠步进自编码器的损失函数和非负约束稀疏自编码器的损失函数，人脸重建目标损失函数由计算公式：
J＝Jpose+αJlocal
计算得到，其中，Jpose是堆叠步进自编码器的损失函数，Jlocal是非负约束稀疏自编码器的损失函数，α是用来权衡Jpose和Jlocal的相对重要程度，堆叠步进自编码器的损失函数由计算公式
Figure BDA0001685792740000031
计算得到，其中，xlarger表示每一层自编码器中带有较大姿态的人脸图像的输入，f(·)表示每一层自编码器的编码函数，g(·)表示每一层自编码器的解码函数，xsmaller表示每一层自编码器的期望映射的较小姿态的图像，N是训练样本，N＝2k+1；
非负约束稀疏自编码器损失函数由计算公式
Jlocal＝JAE+λJwd+βJsparse
计算得到，其中，λ，β是平衡不同惩罚项的系数；JAE是训练样本的重建误差；Jwd是权重衰减项，作用是减小权重的幅度，防止过度拟合；Jsparse是稀疏正则项，即KL熵，用来限制自编码器的激活值；
JAE由计算公式
Figure BDA0001685792740000041
计算得到，其中，x是输入数据；
Jwd由计算公式
Figure BDA0001685792740000042
计算得到，n和d分别是每个训练样本的维度和自编码器表达的维度，
Figure BDA0001685792740000043
权值；
Jsparse由计算公式
Figure BDA0001685792740000044
计算得到，其中，l代表自编码器的层序号，ρ为稀疏度参数，
Figure BDA0001685792740000045
为自编码器的平均激活度，其表达式由公式
Figure BDA0001685792740000046
计算得到；
通过最小化人脸重建目标损失函数J，使用共轭梯度算法(Conjugate Gradient，CG)来更新堆叠渐进自动编码器的权值w和偏置向量b，共轭梯度算法通过一系列线搜索来找到人脸重建目标损失函数最小值的方向，自动调整学习速率以得到合适的步长，最终能够使得w，b快速收敛到一个局部最优解，由计算公式
Figure BDA0001685792740000047
Figure BDA0001685792740000048
计算得到，其中，η是学习速率，j为自编码器表达的维度，k为每个训练样本的维度；
通过交叉验证的方式，得到堆叠渐进自动编码器的最优迭代次数、神经元个数以及各个平衡项参数；
S5、以最小化人脸重建目标函数进行堆叠渐进自动编码器反向微调：
第一层自编码器接收训练样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1，完成角度转换之后，在第一层自编码器进行-pk-1和pk-1角度向-pk和pk角度的反向微调，其余n-1层自编码器接受第n-1层自编码器输出的-pk-n+1和pk-n+1角度的人脸图像，在解码时将所有-pk-n+1和pk-n+1角度的人脸图像再依次映射到-pk-n和pk-n，完成后，在第n层自编码器进行-pk-n+1和pk-n+1角度的人脸图像向-pk-n和pk-n角度的人脸图像的反向微调，完成所有的自编码器的反向微调；
进行整体的堆叠渐进自动编码器微调，以训练样本库中的各姿态人脸图像作为输入，以正面姿态的人脸图像作为期望输出，以最小化人脸重建目标函数
为目标，对网络进行整体的反向微调，反向微调目标函数由计算公式
Figure BDA0001685792740000051
计算得到，其中，
Figure BDA0001685792740000052
表示堆叠渐进自动编码器微调的输出，x0°表示角度为0°的人脸图像；
通过最小化人脸重建目标函数Jfine-tune，使用共轭梯度算法来更新堆叠渐进自动编码器的权值w和偏置向量b，由计算公式
Figure BDA0001685792740000053
输出参数最优的堆叠渐进自动编码器模型。
n＝(N-1)/2。
本发明方便简单、训练参数少，有效解决了以往方法参数指标多、对硬件配置要求高等的缺点。与现有技术相比，本发明具有重建误差小、恢复出的正面图像局部细节更清晰、能保持较好的人脸结构特征等优点。
基于上述理由本发明可在多姿态变化下的正面人脸重建等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的具体实施方式中基于约束条件的堆叠步进自编码器的正面人脸重建方法的流程图；
图2为本发明的具体实施方式中逐层训练结构示意图；
图3为本发明的具体实施方式中反向微调示意图；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-图3所示，一种基于约束条件的堆叠步进自编码器的正面人脸重建方法，具有如下步骤：
S1：从FERET数据集提取的X个人的人脸图像建立训练样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
从FERET数据集提取的Y个人的人脸图像建立测试样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
S2、建立包括n层自编码器的基于条件约束的堆叠渐进自动编码器,相邻所述自编码器之间设有非负约束稀疏自编码器；
S3、初始化堆叠渐进自动编码器的权值w和偏置向量b，并逐层训练得到整个堆叠渐进自动编码器的最优参数：
所述逐层训练具有如下步骤：
第一层自编码器接收训练样本库的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身，第一层自编码器输出的各姿态人脸图像经过与其对应的非负约束稀疏自编码器，约束第一层自编码器中的权值w，使其为非负值，将第一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据，其余n-1层自编码器接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身，使得最后一层编码器输出图像角度全为p0，其中，k＝4，p3＝40°，p2＝25°，p1＝15°，p0＝0°。
S4、以最小化人脸重建目标损失函数更新堆叠渐进自动编码器的权值w和偏置向量b，人脸重建目标损失函数包括堆叠步进自编码器的损失函数和非负约束稀疏自编码器的损失函数，人脸重建目标损失函数由计算公式：
J＝Jpose+αJlocal
计算得到，其中，Jpose是堆叠步进自编码器的损失函数，Jlocal是非负约束稀疏自编码器的损失函数，α是用来权衡Jpose和Jlocal的相对重要程度，堆叠步进自编码器的损失函数由计算公式
Figure BDA0001685792740000071
计算得到，其中，xlarger表示每一层自编码器中带有较大姿态的人脸图像的输入，f(·)表示每一层自编码器的编码函数，g(·)表示每一层自编码器的解码函数，xsmaller表示每一层自编码器的期望映射的较小姿态的图像，N是训练样本，N＝2k+1，n＝(N-1)/2。
非负约束稀疏自编码器损失函数由计算公式
Jlocal＝JAE+λJwd+βJsparse
计算得到，其中，λ，β是平衡不同惩罚项的系数；JAE是训练样本的重建误差；Jwd是权重衰减项，作用是减小权重的幅度，防止过度拟合；Jsparse是稀疏正则项，即KL熵，用来限制自编码器的激活值；
JAE由计算公式
Figure BDA0001685792740000072
计算得到，其中，x是输入数据；
Jwd由计算公式
Figure BDA0001685792740000073
计算得到，n和d分别是每个训练样本的维度和自编码器表达的维度，权值；
Jsparse由计算公式
Figure BDA0001685792740000074
计算得到，其中，l代表自编码器的层序号，ρ为稀疏度参数，
Figure BDA0001685792740000075
为自编码器的平均激活度，其表达式由公式
Figure BDA0001685792740000076
计算得到；
通过最小化人脸重建目标损失函数J，使用共轭梯度算法来更新堆叠渐进自动编码器的权值w和偏置向量b，由计算公式
Figure BDA0001685792740000081
Figure BDA0001685792740000082
计算得到，其中，η是学习速率，j为自编码器表达的维度，k为每个训练样本的维度；
通过交叉验证的方式，得到堆叠渐进自动编码器的最优迭代次数、神经元个数以及各个平衡项参数；
S5、以最小化人脸重建目标函数进行堆叠渐进自动编码器反向微调：
第一层自编码器接收训练样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1，完成角度转换之后，在第一层自编码器进行-pk-1和pk-1角度向-pk和pk角度的反向微调，其余n-1层自编码器接受第n-1层自编码器输出的-pk-n+1和pk-n+1角度的人脸图像，在解码时将所有-pk-n+1和pk-n+1角度的人脸图像再依次映射到-pk-n和pk-n，完成后，在第n层自编码器进行-pk-n+1和pk-n+1角度的人脸图像向-pk-n和pk-n角度的人脸图像的反向微调，完成所有的自编码器的反向微调；
进行整体的堆叠渐进自动编码器微调，以训练样本库中的各姿态人脸图像作为输入，以正面姿态的人脸图像作为期望输出，以最小化人脸重建目标函数
为目标，对网络进行整体的反向微调，反向微调目标函数由计算公式
Figure BDA0001685792740000083
计算得到，其中，
Figure BDA0001685792740000084
表示堆叠渐进自动编码器微调的输出，x0°表示角度为0°的人脸图像；
通过最小化人脸重建目标函数Jfine-tune，使用共轭梯度算法来更新堆叠渐进自动编码器的权值w和偏置向量b，由计算公式
Figure BDA0001685792740000085
输出参数最优的堆叠渐进自动编码器模型；
加载堆叠渐进自动编码器模型，输入测试样本库中的人脸测试样本进行测试，输出正面人脸图像。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于约束条件的堆叠步进自编码器的正面人脸重建系统，其特征在于，包括：
第一存储模块，被配置为存储训练样本库，所述训练样本库包括从FERET数据集提取的X个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
第二存储模块，被配置为存储测试样本库，所述测试样本库包括从FERET数据集提取的Y个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
堆叠渐进自动编码器，包括n层自编码器，相邻所述自编码器之间设有非负约束稀疏自编码器，其中：
第一层自编码器，预训练时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身；网络微调时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1，完成角度转换之后，在第一层自编码器进行-pk-1和pk-1角度向-pk和pk角度的反向微调；
非负约束稀疏自编码器，预训练时，被配置为接收前一层自编码器输出的的各姿态人脸图像，约束前一层自编码器中的权值w，使其为非负值，将前一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据；
其余n-1层自编码器，预训练时，被配置为接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身；网络微调时，被配置为接受第n-1层自编码器输出的-pk-n+1和pk-n+1角度的人脸图像，在解码时将所有-pk-n+1和pk-n+1角度的人脸图像再依次映射到-pk-n和pk-n，完成后，在第n层自编码器进行-pk-n+1和pk-n+1角度的人脸图像向-pk-n和pk-n角度的人脸图像的反向微调。
2.根据权利要求1所述的系统，其特征在于：n＝(N-1)/2，其中，N＝2k+1。
3.一种基于约束条件的堆叠步进自编码器的正面人脸重建方法，其特征在于具有如下步骤：
S1：从FERET数据集提取的X个人的人脸图像建立训练样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
从FERET数据集提取的Y个人的人脸图像建立测试样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；
S2、建立包括n层自编码器的基于条件约束的堆叠渐进自动编码器,相邻所述自编码器之间设有非负约束稀疏自编码器；
S3、初始化堆叠渐进自动编码器的权值w和偏置向量b，并逐层训练得到整个堆叠渐进自动编码器的最优参数：
所述逐层训练具有如下步骤：
第一层自编码器接收训练样本库的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身，第一层自编码器输出的各姿态人脸图像经过与其对应的非负约束稀疏自编码器，约束第一层自编码器中的权值w，使其为非负值，将第一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据，其余n-1层自编码器接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身，使得最后一层编码器输出图像角度全为p0；
S4、以最小化人脸重建目标损失函数更新堆叠渐进自动编码器的权值w和偏置向量b，人脸重建目标损失函数包括堆叠步进自编码器的损失函数和非负约束稀疏自编码器的损失函数，人脸重建目标损失函数由计算公式：
J＝Jpose+αJlocal
计算得到，其中，J是人脸重建目标损失函数，Jpose是堆叠步进自编码器的损失函数，Jlocal是非负约束稀疏自编码器的损失函数，α是用来权衡Jpose和Jlocal的相对重要程度，堆叠步进自编码器的损失函数由计算公式
Figure FDA0002526961390000031
计算得到，其中，
Figure FDA0002526961390000032
表示每一层自编码器中带有较大姿态的人脸图像的输入，f(·)表示每一层自编码器的编码函数，g(·)表示每一层自编码器的解码函数，
Figure FDA0002526961390000033
表示每一层自编码器的期望映射的较小姿态的图像，N是训练样本，N＝2k+1；
非负约束稀疏自编码器损失函数由计算公式
Jlocal＝JAE+λJwd+βJsparse
计算得到，其中，λ，β是平衡不同惩罚项的系数；JAE是训练样本的重建误差；Jwd是权重衰减项，作用是减小权重的幅度，防止过度拟合；Jsparse是稀疏正则项，即KL熵，用来限制自编码器的激活值；
JAE由计算公式
Figure FDA0002526961390000034
计算得到，其中，x是输入数据；
Jwd由计算公式
Figure FDA0002526961390000035
计算得到，d是自编码器表达的维度，
Figure FDA0002526961390000036
表示自编码器表达的维度为j时每个训练样本的维度为k时的权值；
Jsparse由计算公式
Figure FDA0002526961390000037
计算得到，其中，l代表自编码器的层序号，ρ为稀疏度参数，
Figure FDA0002526961390000038
为自编码器的平均激活度，其表达式由公式
Figure FDA0002526961390000039
计算得到；
通过最小化人脸重建目标损失函数J，使用共轭梯度算法来更新堆叠渐进自动编码器的权值W和偏置向量b，由计算公式
Figure FDA0002526961390000041
Figure FDA0002526961390000042
计算得到，其中，η是学习速率，j为自编码器表达的维度，k为每个训练样本的角度；
通过交叉验证的方式，得到堆叠渐进自动编码器的最优迭代次数、神经元个数以及各个平衡项参数；
S5、以最小化人脸重建目标函数进行堆叠渐进自动编码器反向微调：
第一层自编码器接收训练样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1，完成角度转换之后，在第一层自编码器进行-pk-1和pk-1角度向-pk和pk角度的反向微调，其余n-1层自编码器接受第n-1层自编码器输出的-pk-n+1和pk-n+1角度的人脸图像，在解码时将所有-pk-n+1和pk-n+1角度的人脸图像再依次映射到-pk-n和pk-n，完成后，在第n层自编码器进行-pk-n+1和pk-n+1角度的人脸图像向-pk-n和pk-n角度的人脸图像的反向微调，完成所有的自编码器的反向微调；
进行整体的堆叠渐进自动编码器微调，以训练样本库中的各姿态人脸图像作为输入，以正面姿态的人脸图像作为期望输出，以最小化反向微调目标函数为目标，对网络进行整体的反向微调，反向微调目标函数由计算公式
Figure FDA0002526961390000043
计算得到，其中，
Figure FDA0002526961390000044
表示堆叠渐进自动编码器微调的输出，x0°表示角度为0°的人脸图像；
通过最小化人脸重建目标函数Jfine-tune，使用共轭梯度算法来更新堆叠渐进自动编码器的权值W和偏置向量b，由计算公式
Figure FDA0002526961390000045
输出参数最优的堆叠渐进自动编码器模型。
4.根据权利要求3所述的方法，其特征在于，n＝(N-1)/2。
CN201810570889.5A 2018-06-05 2018-06-05 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法 Expired - Fee Related CN108805802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810570889.5A CN108805802B (zh) 2018-06-05 2018-06-05 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810570889.5A CN108805802B (zh) 2018-06-05 2018-06-05 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法

Publications (2)

Publication Number Publication Date
CN108805802A CN108805802A (zh) 2018-11-13
CN108805802B true CN108805802B (zh) 2020-07-31

Family

ID=64088756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810570889.5A Expired - Fee Related CN108805802B (zh) 2018-06-05 2018-06-05 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法

Country Status (1)

Country Link
CN (1) CN108805802B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175552A (zh) * 2019-05-22 2019-08-27 西安电子科技大学 基于深度耦合自编码的人脸画像合成方法
US11748629B2 (en) * 2020-01-21 2023-09-05 Moxa Inc. Device and method of handling anomaly detection
CN111562109A (zh) * 2020-05-19 2020-08-21 重庆邮电大学 一种机械设备深度学习状态识别与诊断方法
US11488329B2 (en) * 2020-06-29 2022-11-01 Tencent America LLC Method and apparatus for multi-rate neural image compression with stackable nested model structures
US20220051102A1 (en) * 2020-08-14 2022-02-17 Tencent America LLC Method and apparatus for multi-rate neural image compression with stackable nested model structures and micro-structured weight unification

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298973B (zh) * 2014-10-09 2018-03-30 北京工业大学 基于自编码器的人脸图像旋转方法
CN106503654A (zh) * 2016-10-24 2017-03-15 中国地质大学（武汉） 一种基于深度稀疏自编码网络的人脸情感识别方法
US11003988B2 (en) * 2016-11-23 2021-05-11 General Electric Company Hardware system design improvement using deep learning algorithms
CN107220594B (zh) * 2017-05-08 2020-06-12 桂林电子科技大学 基于相似度保留堆叠自编码器的人脸姿态重建与识别方法
CN108021908B (zh) * 2017-12-27 2020-06-16 深圳云天励飞技术有限公司 人脸年龄段识别方法及装置、计算机装置及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enhanced Local Texture Feature Sets for Face Recognition Under Difficult Lighting Conditions;Xiaoyang Tan 等;《IEEE Transactions on Image Processing》;20100630;第19卷(第6期);1635-1650 *

Also Published As

Publication number Publication date
CN108805802A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108805802B (zh) 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法
US11450066B2 (en) 3D reconstruction method based on deep learning
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN111798369B (zh) 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN105023240B (zh) 基于迭代投影重建的字典类图像超分辨率系统及方法
CN107067367A (zh) 一种图像超分辨重建处理方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN110706303B (zh) 基于GANs的人脸图像生成方法
CN107220594B (zh) 基于相似度保留堆叠自编码器的人脸姿态重建与识别方法
CN110889370B (zh) 基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法
CN111080513A (zh) 一种基于注意力机制的人脸图像超分辨率方法
CN111667016B (zh) 一种基于prototype的增量式信息分类方法
CN114240810B (zh) 一种基于渐进式生成网络的人脸素描-照片合成方法
CN112818764A (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN116168067B (zh) 基于深度学习的有监督多模态光场深度估计方法
CN116402679B (zh) 一种轻量级红外超分辨率自适应重建方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN109949217A (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN114743080A (zh) 图像处理方法及装置、终端、存储介质
Huang et al. Self-supervised medical image denoising based on wista-net for human healthcare in metaverse
Plumerault et al. AVAE: adversarial variational auto encoder
Choi et al. Test-time adaptation for video frame interpolation via meta-learning
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN111784583A (zh) 一种用于降水图的循环随机超分辨率生成对抗网络
CN115439849B (zh) 基于动态多策略gan网络的仪表数字识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200731

CF01 Termination of patent right due to non-payment of annual fee