CN109784249A - 一种基于变分级联信息瓶颈的置乱人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于变分级联信息瓶颈的置乱人脸识别方法，包括步骤：1)训练数据集预处理；2)模型定义与初始化；3)数据分批次前向传播；4)损失函数计算；5)反向传播计算梯度，更新权重；6)迭代训练，将步骤3)到5)重复执行直到整个模型收敛；7)测试模型结果，输入测试集中的人脸图像，通过整个模型得到最终的分类结果。本发明在ORL、CMUPIE以及PUBFIG三个数据集下进行训练并在测试集上测试，结果显示在不同的置乱操作下，本发明方法均能达到最高的识别准确率。

Description

一种基于变分级联信息瓶颈的置乱人脸识别方法

技术领域

本发明涉及图像处理的技术领域，尤其是指一种基于变分级联信息瓶颈的置乱人脸识别方法。

背景技术

伴随着近年来互联网、计算机视觉与摄像设备的快速发展，智能化视频监控技术在很多现实场景中具有越来越广泛的应用。在很多公共场所，智能化视频监控起到实时安保和可视化管理的职能更是难以取代。然而科技是把双刃剑，视频监控给我们的生活带来便利的同时也带来了隐私的泄露问题。在很多现有的应用中，特别是在警方进行犯罪调查的时候，往往需要获得大量包含隐私信息的视频内容，类似的应用还有商场的实时监控系统等。这些应用造成了隐私保护与系统可用性之间的矛盾，一方面我们希望系统能保护无辜用户的隐私，另一方面我们又希望能遍历所有用户的隐私内容以便找出我们希望的目标。在人类的众多生物特征信息中，脸部作为个人最关键的信息，我们认为对个人的隐私保护可以归结为对人脸的信息保护。那么视频监控中的隐私保护做法就可以通过对人脸信息的隐藏达到保护用户隐私。在这个前提下进行目标人物检索可以满足隐私与可用性的矛盾。因此为了实现这一目的，我们首先需要找到一个能保护隐私的方法，传统的加密技术对信息会造成不可避免的失真并且大部分加密算法复杂度较大，而视频监控对于信息传输实时性与安全性有较高要求，因此在现实应用的场景上，图像加密技术由于其耗时耗能往往只能用于系统后端离线的处理中。不过在加密技术之中有一种朴素的图像置乱，其通过将像素进行打乱达到信息加密，于此同时，置乱操作一般都是可逆的，因此理论上是可以恢复原始图像信息，是一种理想的图像加密技术的替换手段。为此我们采用直接对置乱图像进行识别的方法。这样一方面能保护隐私，另一方面又能达到我们的目的。

目前为止，对于置乱人脸的识别方法有三种现有的做法，第一种是通过将人脸构建为图，从而通过图嵌入的方法对人脸进行模型的分类，进而获得可识别的不同子图，最后实现分类。第二种方法是通过流形的划分，将不同的人脸当成不同的多流形下划分的结果，进而在多流形假设下，应用判别分析法得到可划分的结果。第三种方法是通过卷积神经网络，构建不同人脸的多种拓扑图，每个人脸作为图上的一个节点，不同的人脸可以构造出不同的结果，最后通过神经网络进行判别。这三类方法在一定程度上具有适用性，但是却缺少对置乱人脸识别方法的统一建模，于此同时，也没有说明对多种不同的置乱是否均有效。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种变分级联信息瓶颈的置乱人脸识别方法，构建出一套全新的解决置乱人脸识别的方法，在满足利用置乱实现隐私保护的前提下，实现对所有置乱人脸的识别，进而满足可用性。

为实现上述目的，本发明所提供的技术方案为：一种基于变分级联信息瓶颈的置乱人脸识别方法，包括以下步骤：

1)训练数据集预处理

对训练数据集中的图像进行归一化操作以及置乱操作；

2)模型定义与初始化

定义级联信息瓶颈的变分人工神经网络，该人工神经网络结构包括变分自编码器与感知机分类器，从而构成级联信息瓶颈；对变分自编码器和感知机分类器进行权值初始化；

3)数据分批次前向传播

将训练数据集按分层采样分成多个子集，每个子集先进入变分自编码器进行编码得到流形同胚下的低维流形特征，再将流形特征输入到感知机分类器进行训练；

4)损失函数计算

计算变分自编码器的损失函数值；将低维压缩特征传入感知机分类器，将特征映射至标签空间；利用标签和感知机分类器计算交叉熵损失函数值，与变分损失加权求和得到损失函数值；

5)反向传播计算梯度和更新权值

利用得到的损失函数值，对变分自编码器和感知机分类器进行反向传播得到对应模型中权值的梯度，再通过梯度下降更新模型的权值；

6)迭代训练，将步骤3)到步骤5)重复执行直到整个模型收敛；

7)测试模型结果，输入测试集中的人脸图像，通过整个模型得到最终的分类结果。

在步骤1)中，所述训练数据集预处理包括以下步骤：

2.1)对图像的RBG三个通道进行规范化映射至[-1,1]范围；

2.2)原始图片上的像素位置记为二维坐标图像进行置乱操作后的像素位置记为图像大小为M×M，进行三种置乱操作，第一种Anorld置乱为第二种Fabonacci置乱第三种为Hilbert置乱为

在步骤2)中，对于模型定义与初始化，定义级联信息瓶颈的变分人工神经网络，包括变分自编码器f(·|W_f,b_f)与感知机分类器g(·|W_g)，变分自编码器有L层对应L个权值矩阵其中W_f ^l表示第l层的权值矩阵，W_f ^L表示最后一层的权值矩阵，偏置项 表示第l层偏置项，表示最后一层偏置项；对变分自编码器的每一层权值和感知机分类器权值W_g进行初始化，如公式(1)所示：

其中，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ω_ij，有ω_ij采样自标准正态分布，D_in为每层网络的输入维度，第l层偏置项服从均值为0标准差为0.01的正态分布。

在步骤3)中，所述数据分批次前向传播，包括以下步骤：

3.1)将原始数据集按类别进行分层采样分成每份64个样本大小的子集x＝(x₁,x₂,...,x_i,...,x_N)，其中N为子集的个数，x_i表示第i个数据子集；

3.2)将每个子集放入变分自编码器前向传播，得到：

α_i＝f(x_i|W_f,b_f) (2)

其中，f(x_i|W_f,b_f)表示在权值为W_f和偏置为b_f的时候的变分自编码器，将数据集x_i转化为编码参数α_i，α_i数据有2m维的输出，其中前m维表示每一维度上的均值参数后m维表示每一维度上的标准差参数所有的子集批量传播一次之后得到的结果：

其中，每个上的方差在每个子集上的记为：均值在每个子集上记为：

3.3)将得到的进行重参数化得到等效映射后的低维流形特征z，均值为方差为

其中，λ为数据的比例参数；接着将低维流形特征输入到感知机分类器中，得到输出c＝g(z|W_g)，其中c为计算得到数据的分类，W_g为感知机分类器的权值矩阵。

在步骤4)中，所述计算损失函数包括以下步骤：

4.1)计算变分自编码器的损失函数值，将得到的编码均值参数和方差参数代入下列公式计算：

其中，表示在均值和方差下的变分自编码器损失函数值，N为子集个数，β∈[0,1]为拉格朗日调节参数，i为数据集下标，x_i表示第i个数据子集，μ_i和σ_i分别表示第i个数据集下的均值和方差；

4.2)将低维压缩特征传入感知机分类器，将特征映射至标签空间，利用标签信息进行损失函数计算：

计算交叉熵损失函数值L₂：

其中，c＝{c_ik|i＝1,2,...N；k＝1,2,...,K}表示在训练过程中第i个样本分类为第k类的预测结果，对应的预测标签为数据集类别数为K，W_g为感知机分类器的权值矩阵，e为自然对数，z_i∈z表示第i个低维流形特征，y_i为第i个样本对应的目标标签,最终计算出感知分类器的损失函数L₂；

4.3)利用标签和感知机分类器计算交叉熵损失函数值，与变分损失求和得到总的损失函数值L＝L₁+L₂，接着最小化这个损失函数就完成一次前向传播。

在步骤5)中，反向传播计算梯度和更新权值，包括如下步骤：

通过前向传播后得到总的损失值L，再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(9)、(10)、(11)：

其中，t表示迭代次数，η^t表示学习率，和分别代表第t次迭代时变分自编码器的权值和偏置，表示第t次迭代时感知机分类器的权值。

在步骤6)中，将步骤3)到步骤5)重复执行直到整个模型收敛，具体来说需要实现设定迭代的次数t，于此同时还要观察训练过程通过设置特定的学习率来避免训练过拟合。

在步骤7)中，测试模型结果，输入测试集中的人脸图像，通过整个模型得到最终的分类结果；新样本需要通过训练好的整体模型，先通过变分自编码器获得低维流形特征，接着通过感知机分类器得到最后的分类得分，将得分最高的设定为判别的结果类即可。

本发明原理：利用流形的拓扑不变性，将置乱数据投影到特定的参数空间中，进而约简了原始杂乱的数据实现了降维，从信息的角度来讲，也相当于将信息通过瓶颈挤出多余的部分，得到最终有效信息。这些有效的信息将会以特定的形态出现在特定的参数空间中，而这特定的参数空间是固有的本征空间，因此不管是哪种置乱操作，在特征的本征空间中的形态均不会改变。基于此假设才有了对不同置乱方法的泛化特性。通过变分近似把级联信息瓶颈理论变成深度学习模型，通过模型的训练来模拟信息瓶颈的约简过程，约简的结果是找到固有本征空间，接着在本征空间中进行有监督的判别，从而获得感知机分类器模型。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明首次在通过流形度量以及统计流形建模，精准构建出置乱域人脸识别模型并提出解决方法。

2、本发明将变分自编码器与感知机分类器通过级联信息瓶颈结合在一起，解决了求解置乱人脸识别中目标函数的困难性，提高了对不同置乱方法的泛化能力。

3、本发明通过变分近似将模型转化为深度学习模型，提高了对样本特征的提取能力并进一步提高特征的可区分性。

附图说明

图1为本发明变分级联信息瓶颈模型训练与测试流程示意图。

图2为本发明变分自编码器与感知机分类器的具体细节示意图。

图3为本发明感知机分类器图像特征提取流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于变分级联信息瓶颈的置乱人脸识别方法，包括以下步骤：

1)训练数据集预处理

1.1)对图像RGB三个通道值范围[0,255]映射到[0,1],然后每个通道减去0.5并乘以2使得图片范围规范化到[-1,1]。

1.2)原始图片上的像素位置记为二维坐标图像进行置乱操作后的像素位置记为图像大小需要手动裁剪为M×M，进行三种置乱操作，第一种Anorld置乱为第二种Fabonacci置乱第三种为Hilbert置乱为

2)模型定义与初始化，定义级联信息瓶颈的变分人工神经网络，包括变分自编码器f(·|W_f,b_f)与感知机分类器g(·|W_g)，变分自编码器有L层对应L个权值矩阵其中W_f ^l表示第l层的权值矩阵，W_f ^L表示最后一层的权值矩阵，偏置项 表示第l层偏置项，表示最后一层偏置项，最后阶段输出为线性层输出人脸特征维度为512维，变分自编码器输出维度为200维；对变分自编码器的每一层权值和感知机分类器权值W_g进行初始化，如公式(1)所示：

其中，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ω_ij，有ω_ij采样自标准正态分布,D_in为每层网络的输入维度，第l层偏置项服从均值为0标准差为0.01的正态分布，感知机分类器最后输出维度等于训练集标签类别数。

3)数据分批次前向传播

3.1)将原始数据集按类别进行分层采样分成每份64个样本大小的子集x＝(x₁,x₂,...,x_i,...,x_N)，其中N为子集的个数，x_i表示第i个数据子集；

3.2)将每个子集放入变分自编码器前向传播，得到：

α_i＝f(x_i|W_f,b_f) (2)

其中，f(x_i|W_f,b_f)表示在权值为W_f和偏置为b_f的时候的变分自编码器，将数据集x_i转化为编码参数a_i，a_i的数据有2m维的输出，其中前m维表示每一维度上的均值参数后m维表示每一维度上的标准差参数所有的子集批量传播一次之后得到的结果：

其中，每个上的方差在每个子集上的记为：均值在每个子集上记为：

3.3)将得到的进行重参数化得到等效映射后的低维流形特征z，均值为方差为

其中，λ为数据的比例参数；接着将低维流形特征输入到感知机分类器中，得到输出c＝g(z|W_g)，其中c为计算得到数据的分类，W_g为感知机分类器的权值矩阵。

4)计算损失函数

4.1)计算变分自编码器的损失函数值，将得到的编码均值参数和方差参数代入下列公式计算：

其中，表示在均值和方差下的变分自编码器损失函数值，N为子集个数，β∈[0,1]为拉格朗日调节参数，i为数据集下标，x_i表示第i个数据子集，μ_i和σ_i分别表示第i个数据集下的均值和方差；

4.2)将低维压缩特征传入感知机分类器，将特征映射至标签空间，利用标签信息进行损失函数计算：

计算交叉熵损失函数值L₂：

其中，c＝{c_ik|i＝1,2,...N；k＝1,2,...,K}表示在训练过程中第i个样本分类为第k类的预测结果，对应的预测标签为数据集类别数为K，W_g为感知机分类器的权值矩阵，e为自然对数，z_i∈z表示第i个低维流形特征，y_i为第i个样本对应的目标标签,最终计算出感知分类器的损失函数L₂；

4.3)利用标签和感知机分类器计算交叉熵损失函数值，与变分损失求和得到总的损失函数值L＝L₁+L₂，接着最小化这个损失函数就完成一次前向传播。

5)反向传播计算梯度和更新权值

通过前向传播后得到总的损失值L，再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(9)、(10)、(11)：

其中，t表示迭代次数，η^t表示学习率，和分别代表第t次迭代时变分自编码器的权值和偏置，表示第t次迭代时感知机分类器的权值。

6)将步骤3)到步骤5)重复执行直到整个模型收敛，具体来说需要实现设定迭代的次数t，初始学习率为η⁰＝0.1,在训练轮数到第8,10,15轮时，学习率衰减(学习率乘以0.1)。

7)测试模型结果，输入测试集中的人脸图像，通过整个模型得到最终的分类结果。新样本需要通过训练好的整体模型，先通过变分自编码器获得低维流形特征，接着通过感知机分类器得到最后的分类得分，将得分最高的设定为判别的结果类即可。

综上所述，在采用以上方案后，本发明为置乱人脸的识别方法提供了一套完整的设计方法，解决了监控视频等特定应用场景下隐私保护与可用性之间的矛盾，具有良好的泛化性能，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于，包括以下步骤：

1)训练数据集预处理

对训练数据集中的图像进行归一化操作以及置乱操作；

2)模型定义与初始化

定义级联信息瓶颈的变分人工神经网络，该人工神经网络结构包括变分自编码器与感知机分类器，从而构成级联信息瓶颈；对变分自编码器和感知机分类器进行权值初始化；

3)数据分批次前向传播

将训练数据集按分层采样分成多个子集，每个子集先进入变分自编码器进行编码得到流形同胚下的低维流形特征，再将流形特征输入到感知机分类器进行训练；

4)损失函数计算

计算变分自编码器的损失函数值；将低维压缩特征传入感知机分类器，将特征映射至标签空间；利用标签和感知机分类器计算交叉熵损失函数值，与变分损失加权求和得到损失函数值；

5)反向传播计算梯度和更新权值

利用得到的损失函数值，对变分自编码器和感知机分类器进行反向传播得到对应模型中权值的梯度，再通过梯度下降更新模型的权值；

6)迭代训练，将步骤3)到步骤5)重复执行直到整个模型收敛；

7)测试模型结果，输入测试集中的人脸图像，通过整个模型得到最终的分类结果。

2.根据权利要求1所述的一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于：在步骤1)中，所述训练数据集预处理包括以下步骤：

2.1)对图像的RBG三个通道进行规范化映射至[-1,1]范围；

2.2)原始图片上的像素位置记为二维坐标图像进行置乱操作后的像素位置记为图像大小为M×M，进行三种置乱操作，第一种Anorld置乱为第二种Fabonacci置乱第三种为Hilbert置乱为

3.根据权利要求1所述的一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于：在步骤2)中，对于模型定义与初始化，定义级联信息瓶颈的变分人工神经网络，包括变分自编码器f(·|W_f,b_f)与感知机分类器g(·|W_g)，变分自编码器有L层对应L个权值矩阵其中W_f ^l表示第l层的权值矩阵，W_f ^L表示最后一层的权值矩阵，偏置项 表示第l层偏置项，表示最后一层偏置项；对变分自编码器的每一层权值和感知机分类器权值W_g进行初始化，如公式(1)所示：

其中，ω是维度与每层的权重大小一致的矩阵，对于第i行j列元素ω_ij，有ω_ij采样自标准正态分布，D_in为每层网络的输入维度，第l层偏置项服从均值为0标准差为0.01的正态分布。

4.根据权利要求1所述的一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于：在步骤3)中，所述数据分批次前向传播，包括以下步骤：

3.1)将原始数据集按类别进行分层采样分成每份64个样本大小的子集x＝(x₁,x₂,...,x_i,...,x_N)，其中_N为子集的个数，x_i表示第i个数据子集；

3.2)将每个子集放入变分自编码器前向传播，得到：

α_i＝f(x_i|W_f,b_f) (2)

其中，f(x_i|W_f,b_f)表示在权值为W_f和偏置为b_f的时候的变分自编码器，将数据集x_i转化为编码参数α_i，α_i的数据有2m维的输出，其中前m维表示每一维度上的均值参数后m维表示每一维度上的标准差参数所有的子集批量传播一次之后得到的结果：

其中，每个上的方差在每个子集上的记为：均值在每个子集上记为：

3.3)将得到的进行重参数化得到等效映射后的低维流形特征z，均值为方差为

其中，λ为数据的比例参数；接着将低维流形特征输入到感知机分类器中，得到输出c＝g(z|W_g)，其中c为计算得到数据的分类，W_g为感知机分类器的权值矩阵。

5.根据权利要求1所述的一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于：在步骤4)中，所述计算损失函数包括以下步骤：

4.1)计算变分自编码器的损失函数值，将得到的编码均值参数和方差参数代入下列公式计算：

其中，表示在均值和方差下的变分自编码器损失函数值，N为子集个数，β∈[0,1]为拉格朗日调节参数，i为数据集下标，x_i表示第i个数据子集，μ_i和σ_i分别表示第i个数据集下的均值和方差；

4.2)将低维压缩特征传入感知机分类器，将特征映射至标签空间，利用标签信息进行损失函数计算：

计算交叉熵损失函数值L₂：

其中，c＝{c_ik|i＝1,2,...N；k＝1,2,...,K}表示在训练过程中第i个样本分类为第k类的预测结果，对应的预测标签为数据集类别数为K，W_g为感知机分类器的权值矩阵，e为自然对数，z_i∈z表示第i个低维流形特征，y_i为第i个样本对应的目标标签,最终计算出感知分类器的损失函数L₂；

4.3)利用标签和感知机分类器计算交叉熵损失函数值，与变分损失求和得到总的损失函数值L＝L₁+L₂，接着最小化这个损失函数就完成一次前向传播。

6.根据权利要求1所述的一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于：在步骤5)中，反向传播计算梯度和更新权值，包括如下步骤：

通过前向传播后得到总的损失值L，再通过反向传播求得对应模型权值和偏置项的偏导，并通过随机梯度下降对模型参数进行更新如式(9)、(10)、(11)：

其中，t表示迭代次数，η^t表示学习率，和分别代表第t次迭代时变分自编码器的权值和偏置，表示第t次迭代时感知机分类器的权值。

7.根据权利要求1所述的一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于：在步骤6)中，将步骤3)到步骤5)重复执行直到整个模型收敛，具体来说需要实现设定迭代的次数t，于此同时还要观察训练过程通过设置特定的学习率来避免训练过拟合。

8.根据权利要求1所述的一种基于变分级联信息瓶颈的置乱人脸识别方法，其特征在于：在步骤7)中，测试模型结果，输入测试集中的人脸图像，通过整个模型得到最终的分类结果；新样本需要通过训练好的整体模型，先通过变分自编码器获得低维流形特征，接着通过感知机分类器得到最后的分类得分，将得分最高的设定为判别的结果类即可。