CN105224948A - 一种基于图像处理的最大间隔深度生成模型的生成方法 - Google Patents

Abstract

本发明提供了一种基于图像处理的最大间隔深度生成模型生成方法，包括：构建带有标注的图片样例的集合，获取图片样例的隐藏表示，获得最大间隔正则化因子；获取并根据隐藏变量分布的参数采样隐藏变量，计算所述隐藏变量变分后验分布和先验分布的相对熵；获取并根据每个图片样例生成分布的参数对所述图片样例进行概率重建，得到概率重建误差；将最大间隔正则化因子、相对熵以及概率重建误差求和，得到最大间隔深度生成模型。本发明提供的最大间隔深度生成模型，提高了在判别任务上的表现，维持了深度生成模型数据建模的能力，可以处理大规模数据，应用于图像处理方面的任务中。

Description

一种基于图像处理的最大间隔深度生成模型的生成方法

技术领域

本发明涉及数据挖掘、机器学习技术领域，具体涉及一种基于图像处理的最大间隔深度生成模型的生成方法。

背景技术

随着深度学习的不断发展，前馈神经网络在各个领域都取得了显著的成就，比如语音识别、图像分类、文本分类等等。尤其是卷积神经网络在各个图像识别的数据集上都取得了领先的地位。但是单纯的前馈神经网络不能够对训练样例进行概率建模，也就无法处理输入数据存在信息缺失的情况。深度生成模型作为一种提取样例高阶非线性特征的模型在数据建模，样例生成和缺失数据预测上有着很好的表现。但是生成式模型在单纯的判别任务上的表现一般劣于判别式模型；另外前馈神经网络中有明确的分类误差目标函数，而深度生成模型的推断问题是一个挑战。

目前，许多学者对于生成模型及其相关技术都进行了非常多的深入研究，具体说明如下：

最大间隔学习在判别式模型的学习上非常有效，比如支撑向量机、多元输出最大间隔马尔科夫网络等等。因此，一些研究人员通过在最大间隔模型中引入隐藏变量，从而可以显著的提高生成模型的判别表现。但是这些方法都只是提高了浅层生成模型的判别能力，难以处理日益复杂的数据。

另一些学者提出了一种基于变分推断构建独立于生成模型(解码网络)的识别模型(编码网络)来近似隐藏变量后验分布的方法。本质上可以理解为概率自动编码器。该方法可以高效的学习复杂的隐层表示，但是仍然没有探索深度生成模型学习的特征在判别任务上的表现，判别能力差。同时，该方法也没有探寻如何将卷积操作应用于解码网络中。

还有一些学者提出了反池化操作，通过将反池化、卷积和非线性结合，构造了从手工特征到椅子图片的确定性网络。但是该方法是一种确定性网络，并不是生成模型，不涉及概率建模；顶层特征也是手工设计，不是自动学习；同时该方法也不学习从数据到隐藏表示的编码网络。

一个理想的深度生成模型应该具有下述特点：在判别任务上和前馈卷积神经网络相媲美；可以对数据进行良好建模，自动学习深层表示，处理数据缺失的情况；可以快速学习模型参数。然而上述的现有技术的方案中，并没有一个较为完善的深度生成模型的方案。

发明内容

本发明要解决的技术问题是：解决现有技术中的没有一种应用于图像处理的可以在判别任务上表现良好，自动学习深层表示、处理数据缺失、可快速学习模型参数的深度生成模型的问题。

为实现上述的发明目的，本发明提供了一种基于图像处理的最大间隔深度生成模型生成方法。包括：

构建带有标注的图片样例的集合，获取所述集合中每个图片样例的隐藏表示，并综合所述隐藏表示以及所述图片样例的标注，获得最大间隔正则化因子；

获取隐藏变量分布的参数，并根据所述隐藏变量分布的参数采样隐藏变量，计算所述隐藏变量变分后验分布和先验分布的相对熵；

获取每个图片样例生成分布的参数，并根据所述图片样例生成分布的参数对所述图片样例进行概率重建，得到概率重建误差；

将所述最大间隔正则化因子、相对熵以及概率重建误差求和，得到最大间隔深度生成模型；

其中，所述隐藏变量分布的参数根据所述隐藏表示计算得到；

所述图片样例生成分布的参数根据所述隐藏变量计算得到。

优选地，所述集合中每个图片样例的隐藏表示，是利用编码网络计算得到；

所述每个图片样例的生成分布参数，是根据所述隐藏变量，通过解码网络计算得到的。

优选地，所述解码网路包括：

反池化：将所述隐藏变量的每个单元扩张为多个子单元组成的正方形，所述正方形中左上角子单元的值等于所述隐藏变量单元的值，其余所述子单元的值为0，得到反池化结果；

卷积：对所述反池化结果进行卷积；

非线性激活：对所述卷积得到的结果进行非线性激活；

重复所述反池化、卷积以及非线性激活步骤，并将每次重复后得到的结果进行结构堆叠，并根据所述结果的概率分布进行随机采样。

优选地，还包括根据所述最大间隔深度生成模型实现随机图片的生成，包括：

获取所述模型中的隐藏变量；

将所述隐藏变量利用所述模型的解码网络映射到与要生成的图片大小相同的第一矩阵中，所述第一矩阵的每个元素表示所述要生成的图片中每个像素的均值；

根据所述均值以及所述模型设置的图片样例像素的分布参数，对所述图片样例的每个像素进行随机采样，得到随机生成的图片。

优选地，还包括根据所述最大间隔深度生成模型实现图片的分类，包括：

输入需要进行分类的第一图片；

利用所述模型中的编码网络获取所述第一图片的隐藏表示；

将所述第一图片的隐藏表示映射到图片标注空间；

输出所述第一图片的类别。

优选地，还包括根据所述最大间隔深度生成模型实现图片缺失像素的预测，包括：

输入有像素缺失的第二图片，所述第二图片像素缺失的位置已知；

利用所述模型中的编码网络获取所述第二图片的隐藏表示；

根据所述第二图片的隐藏表示，随机采样所述第二图片的隐藏变量；

将所述第二图片的隐藏变量利用所述模型中的解码网络映射到与第二图片大小相同的第二矩阵中。所述第二矩阵的每个位置表示第二图片对应像素概率重建的均值；

将所述第二图片像素缺失的位置的像素值替换为所述第二概率重建均值，并将替换后的结果作为新的输入，重复进行所述获取隐藏表示、获取隐藏变量以及获取概率重建均值的步骤。

优选地，所述带有标注的图片样例的集合包含在训练集合内，为所述训练集合中一个大小固定的子集。

优选地，所述最大间隔正则化因子，是根据所述隐藏表示以及所述图片样例的标注，通过构建线性支撑向量机得到的。

优选地，所述隐藏变量分布的参数，是根据所述隐藏表示通过线性映射计算得到的；

所述隐藏变量为固定维度，是根据所述隐藏变量分布的参数，利用随机数生成器采样得到的。

优选地，在所述得到最大间隔深度生成模型之后，利用随机梯度下降方法优化所述模型。

本发明提供了一种最大间隔深度生成模型的生成方法。该模型一方面可以学到对于判别任务更加有效的隐层表示。另一方面，保持了深度生成模型对于数据建模的能力，可以随机生成有意义的图像，并且图像缺失像素的情况下可以预测缺失部分，在均方误差的意义下具有和深度生成模型可比的产生能力。在图像缺失像素的情况下，最大间隔生成模型可以获得比卷积神经网络和一般深度生成模型更好的分类结果。同时由于我们采用随机梯度下降法同时优化编码网络、解码网络和最大间隔分类器，最大间隔深度生成模型的训练时间大约是传统卷积神经网络的两倍，可以应用于大规模数据。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明第一实施例提供的基于图像处理的最大间隔深度生成模型的生成方法流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例一

本实施例提供了一种基于图像处理的最大间隔深度生成模型的生成方法，包括：

S101、给定训练集合中的一个子集，即若干张图片的集合，通过编码网络计算隐藏表示，构建支撑向量机，并计算最大间隔正则化因子。S101中的子步骤具体说明如下：

S1011、假定训练集合中的每个图片样例x_n为彩色图像，即三维矩阵，并且带有标注y_n∈{1...C}。其中，y_n表示图片的类别；C表示类别总数，这里用数字来抽象的代表类别。构建训练集合的同时，划分一部分训练集合为验证集合。

S1012、随机选取训练集合中的一个大小为k的子集利用深度卷积神经网络,即编码网络，计算该子集中每个样例的隐藏表示f(x_n；φ)。其中，网络中的所有权重和偏置参数表示为φ。f(x_n；φ)是一个以x_n为输入以φ为参数的函数。

将结果存储为一个d维向量；相应的f(x_n,y；φ)表示一个长为d×C的向量，第d×y+1到d×(y+1)维的像素值为f(x_n；φ)的值，其余的像素值为0。

S1013、根据S1012步骤得到的样例的隐藏表示f(x_n,y；φ)和输入的标注y_n，构建线性支撑向量机，其权重参数和偏置参数为ω,同时得到最大间隔正则化因子如式(1)所示：

R_n＝max_yl_n(y)-ω^T△f(x_n；φ)(1)

其中，y_n是正确的标注，而y是枚举的所有可能的标注之一；l_n(y)是支撑向量机的预测为当前枚举的可能标注y而非正确标注y_n的损失；△f(x_n；φ)＝f(x_n,y_n；φ)-f(x_n,y；φ)为特征向量的差；max_y操作表示在所有可能标注的损失中选择损失最大的情况作为最终的正则化子。

S102、计算隐藏变量分布的参数，对隐藏变量进行采样，同时计算隐藏变量变分后验分布和先验分布的相对熵，也即KL距离(Kullback-LeiblerDivergence)。S102中的子步骤具体说明如下：

S1021、根据S1012步骤得到的样例的隐藏表示f(x_n；φ)通过线性映射计算隐藏变量的分布参数，即隐藏变量高斯分布的均值和方差如式(2)-(3)所示：

${\mathrm{\μ}}_n={W_1}^{T}f(x_n;\mathrm{\φ})+b_1---\left(2\right)$

${\mathrm{log\σ}}_n^2={W_2}^{T}f(x_n;\mathrm{\φ})+b_2---\left(3\right)$

其中，μ_n为隐藏变量高斯分布的均值；为隐藏变量高斯分布的方差；φ为网络中的所有权重和偏置参数表示；W₁、W₂、b₁、b₂为上述线性变换的权重参数和偏置参数，为了表示方便，将这些参数也吸收到φ中，最终得到如式(4)-(5)所示的结果：

μ_n＝h₁(x_n；φ)(4)

${\mathrm{log\σ}}_n^2=h_2(x_n;\mathrm{\φ})---\left(5\right)$

其中，h表示S1012步骤中的f和上述线性变换的复合。

S1022、根据S1021步骤中计算的分布参数μ_n和对于S1012步骤中的每个样例，利用随机数生成器采样固定维度的隐藏变量ε_n～N(0,1)，隐藏变量服从各个维度独立的标准高斯分布，再利用高斯分布的变量代换技巧可以得到式(6)：

z_n＝μ_n+σ_n⊙ε_n(6)

其中，⊙是按位乘积；z_n为隐藏变量；μ_n表示高斯分布的均值；σ_n表示高斯分布的标准差。

并计算每个样例的隐藏变量变分后验分布和先验分布的KL距离，即为式(7):

$K_n=0.5\×{\mathrm{\Σ}}_j(1+log({\mathrm{\σ}}_{n,j}^2)-{\mathrm{\μ}}_{n,j}^2-{\mathrm{\σ}}_{n,j}^2)---\left(7\right)$

其中，μ_n表示高斯分布的均值；σ_n表示高斯分布的方差；每个参数的下标表示第n个样例的第j维。

S103、利用解码网络计算样例生成分布的参数，对图片进行概率重建，并计算概率重建误差。S103中的子步骤具体说明如下：

S1031、根据S1022步骤中得到的隐藏变量z_n，将其从一个长向量截断转置成三维矩阵，利用深度卷积神经网络，即解码网络(其中，解码网络的权重参数和偏置参数为θ)计算每个样例，即图片的每个像素的生成分布的参数如式(8)所示：

μ_n′＝g(z_n；θ)(8)

其中，g是神经网络表示的函数，μ_n优选为伯努利变量的均值。

S1032、根据S1031步骤中得到的样例生成分布的参数μ_n′，对S1012步骤中对应的样例进行概率重建，概率重建误差可以通过采样方法近似或者通过理论分析得到解析形式，其解析形式如式(9)所示：

E_n＝∑_jx_n,jlogμ′_n,j+(1-x_n,j)log(1-μ′_n,j)(9)

其中，x_n表示原始输入图片；μ_n表示重建图片的均值；E_n表示概率重建误差的解析形式；每个参数的下标表示第n个样例的第j维。

需要说明的是，这里假设输入图片的像素服从以对应输出为均值的伯努利分布从而得到了交叉熵形式的概率重建误差。

还需要说明的是，模型训练所述S1031以及S1032步骤中的概率解码网络，具体包括：

反池化：与S1012步骤中使用的池化操作相反，将图片样例中的每个单元扩张为2×2或者3×3的正方形，每个正方形的左上角的值等于图片样例单元的值，正方形中其余的值为0；

卷积：对于(a)中反池化后的结果进行卷积操作；

非线性激活：对于(c)中卷积的结果进行非线性激活，即对单元中的数值和0取最大值作为激活函数的输出；

将反池化、卷积、以及非线性激活步骤中的得到的结构按顺序堆叠，并根据所述结果的概率分布进行随机采样。

S104、得到最大间隔深度生成模型的目标函数，该函数即为最大间隔深度生成模型。采用随机梯度下降法目标函数，并判断训练集合上能否继续优化。S104中的子步骤具体说明如下：

S1041、对S1022步骤中得到的隐藏变量变分后验分布和先验分布的KL距离K_n、S1032步骤得到的概率重建误差E_n和S1013步骤得到的最大间隔正则化因子R_n进行加权求和得到目标函数(也即最大间隔深度生成模型)如式(10)所示：

min_θ,φ,ω∑_nK_n+E_n+λR_n(10)

其中，K_n为KL距离；E_n为概率重建误差；K_n+E_n为对数最大似然相反数的变分上界；λ为控制参数，用于控制变分上界和最大间隔正则化因子的相对权重。

S1042、利用随机梯度下降的方法对目标函数进行优化。

若判断目标函数可以继续优化，则回到S1011步骤，并随机采样新的子集；

若判断目标函数不能继续优化，即目标函数不再下降，则进入下一步骤。

S105、根据S1011步骤中的验证集合上的分类误差选择最优参数，不断优化编码网络、解码网络和最大间隔分类器的参数。

本实施例提供了一种最大间隔深度生成模型生成方法，通过引入最大间隔正则化因子，提高了深度生成模型在判别任务上的表现。同时维持了深度生成模型数据建模的能力，可以处理数据缺失的情况。并且在测试数据有缺失的情况下，最大间隔深度生成模型的分类结果优于卷积神经网络和一般的深度生成模型。同时，本发明使用随机梯度下降法整体训练了解码网络，编码网络和最大间隔分类器，可以处理大规模数据。

实施例二

本实施例提供了一种根据实施例一的最大间隔深度生成模型对图片进行随机生成的方法，包括：

根据隐藏变量z的先验分布进行随机采样，例如z为各个维度独立的标准高斯分布；

将采样的隐藏变量z利用实施例一S1031步骤中的解码网络映射到要生成的图片大小相同的矩阵中，该矩阵的每个元素表示要生成的图片中每个像素的均值；

利用中得到的图片每个像素的均值和实施例一S1031步骤中模型假设的图片像素的分布参数，对图片的每个像素进行随机采样，得到一张随机生成的图片，并且随机采样得到的图片近似服从于训练数据的分布。

实施例三

本实施例提供了一种根据实施例一的最大间隔深度生成模型对输入的图片样例进行分类的方法，包括：

设输入的第一图片为x₁，利用实施例一S1012步骤中的编码网络将第一图片进行映射到第一图片的隐藏表示f(x₁；φ)；

利用实施例一S1013步骤中的支撑向量机将第一图片的隐藏表示f(x₁；φ)映射到图片标注空间，并输出所述第一图片的类别，实现第一图片的分类。

实施例四

本实施例提供了一种根据实施例一的最大间隔深度生成模型对像素缺失的图片进行预测的方法，包括：

设输入第二图片为x，缺失部分的位置已知，利用实施例一S1012步骤中的编码网络假设将其映射到第二图片的隐藏表示f(x₂；φ)；

根据得到第二图片的隐藏表示f(x₂；φ)，根据实施例一S102步骤的过程进行随机采样，得到第二图片的隐藏变量；

将第二图片的隐藏变量利用实施例一S1031步骤中的解码网络映射到第二图片大小的矩阵。其中，该矩阵的每个位置表示第二图片对应像素概率重建的均值；

将第二图片像素缺失部分的像素值替换为得到的均值，并将替换后的结果作为新的输入，重新输入到模型中重复上述步骤若干轮，即实现第二图片像素缺失的预测。

实施例五

本实施例基于实施例一的最大间隔深度生成模型，在手写数字识别数据集MNIST和街道门牌号识别数据集SVHN上进行测试。最大间隔深度生成模型在两个数据集上的错误率分别为0.45％和3.09％。相比较于无监督的深度生成模型的1.04％和25.3％有了显著的提高，可以和最好的卷积神经网络的0.39％和1.92％相媲美。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于图像处理的最大间隔深度生成模型的生成方法，其特征在于，包括：

构建带有标注的图片样例的集合，获取所述集合中每个图片样例的隐藏表示，并综合所述隐藏表示以及所述图片样例的标注，获得最大间隔正则化因子；

获取隐藏变量分布的参数，并根据所述隐藏变量分布的参数采样隐藏变量，计算所述隐藏变量变分后验分布和先验分布的相对熵；

获取每个图片样例生成分布的参数，并根据所述图片样例生成分布的参数对所述图片样例进行概率重建，得到概率重建误差；

将所述最大间隔正则化因子、相对熵以及概率重建误差求和，得到最大间隔深度生成模型；

其中，所述隐藏变量分布的参数根据所述隐藏表示计算得到；

所述图片样例生成分布的参数根据所述隐藏变量计算得到。

2.如权利要求1所述的生成方法，其特征在于，

所述集合中每个图片样例的隐藏表示，是利用编码网络计算得到；

所述每个图片样例的生成分布参数，是根据所述隐藏变量，通过解码网络计算得到的。

3.如权利要求2所述的生成方法，其特征在于，所述解码网路包括：

反池化：将所述隐藏变量的每个单元扩张为多个子单元组成的正方形，所述正方形中左上角子单元的值等于所述隐藏变量单元的值，其余所述子单元的值为0，得到反池化结果；

卷积：对所述反池化结果进行卷积；

非线性激活：对所述卷积得到的结果进行非线性激活；

重复所述反池化、卷积以及非线性激活步骤，并将每次重复后得到的结果进行结构堆叠，并根据所述结果的概率分布进行随机采样。

4.如权利要求2所述的生成方法，其特征在于，还包括根据所述最大间隔深度生成模型实现随机图片的生成，包括：

获取所述模型中的隐藏变量；

将所述隐藏变量利用所述模型的解码网络映射到与要生成的图片大小相同的第一矩阵中，所述第一矩阵的每个元素表示所述要生成的图片中每个像素的均值；

根据所述均值以及所述模型设置的图片样例像素的分布参数，对所述图片样例的每个像素进行随机采样，得到随机生成的图片。

5.如权利要求2所述的生成方法，其特征在于，还包括根据所述最大间隔深度生成模型实现图片的分类，包括：

输入需要进行分类的第一图片；

利用所述模型中的编码网络获取所述第一图片的隐藏表示；

将所述第一图片的隐藏表示映射到图片标注空间；

输出所述第一图片的类别。

6.如权利要求2所述的生成方法，其特征在于，还包括根据所述最大间隔深度生成模型实现图片缺失像素的预测，包括：

输入有像素缺失的第二图片，所述第二图片像素缺失的位置已知；

利用所述模型中的编码网络获取所述第二图片的隐藏表示；

根据所述第二图片的隐藏表示，随机采样所述第二图片的隐藏变量；

将所述第二图片的隐藏变量利用所述模型中的解码网络映射到与第二图片大小相同的第二矩阵中。所述第二矩阵的每个位置表示第二图片对应像素概率重建的均值；

将所述第二图片像素缺失的位置的像素值替换为所述第二概率重建均值，并将替换后的结果作为新的输入，重复进行所述获取隐藏表示、获取隐藏变量以及获取概率重建均值的步骤。

7.如权利要求1所述的生成方法，其特征在于，所述带有标注的图片样例的集合包含在训练集合内，为所述训练集合中一个大小固定的子集。

8.如权利要求1所述的生成方法，其特征在于，所述最大间隔正则化因子，是根据所述隐藏表示以及所述图片样例的标注，通过构建线性支撑向量机得到的。

9.如权利要求1所述的生成方法，其特征在于，

所述隐藏变量分布的参数，是根据所述隐藏表示通过线性映射计算得到的；

所述隐藏变量为固定维度，是根据所述隐藏变量分布的参数，利用随机数生成器采样得到的。

10.如权利要求1所述的生成方法，其特征在于，在所述得到最大间隔深度生成模型之后，利用随机梯度下降方法优化所述模型。