CN104200224A - 基于深度卷积神经网络的无价值图像去除方法 - Google Patents

Abstract

本发明涉及一种基于深度卷积神经网络的无价值图像去除方法，首先对图像样本集合白化预处理后，利用稀疏自编码器进行预训练，得到深度卷积网络参数的初始化结果；其次，构建多层深度卷积神经网络，逐层优化网络参数；最后实现多分类的softmax模型对多类问题进行分类，实现无价值图像的去除。由于稀疏自编码器自动学习图像特征，因而提高了本发明的分类正确率。在稀疏自编码器自动学习图像特征的基础之上，构建多层深度卷积神经网络，逐层优化网络参数，每层学习后的特征都是前一层特征的组合结果，训练多分类的softmax模型对图像进行判定，实现无价值图像的去除。

Description

基于深度卷积神经网络的无价值图像去除方法

技术领域

本发明涉及航拍图像处理方法，具体涉及为一种基于深度卷积神经网络的无价值图像去除方法。

背景技术

自动、准确地从航拍视频中检测到有价值的目标，去除无价值图像，具有非常重要的意义。现有的无价值图像去除方法主要有：基于统计分析的分类方法和人工神经网络的方法。文献“From Local Similarity to Global Coding；An Application to ImageClassification，CVPR，2013,p2794-2801”提出了一种将局部特性与全局结构信息相结合图像分类算法，以此来去除无价值图像。此方法采用手工选择局部特征的类型，同时构建所有数据在此类特征上的编码字典；对原始图像进行金字塔分解，在每一层金字塔对应的图像利用编码字典进行编码和池化；将各层的池化结果连接后输入到线性分类器进行判决，从而实现无价值图像的去除。但是，在手工选择局部特征类型的阶段，必须指定局部特征，不能完整地表达图像所包含的信息，具有局限性且抗噪性差。

发明内容

要解决的技术问题

为了避免现有的无价值图像去除方法大多易受特征提取的影响，且局部特征所包含的图像信息具有局限性，分类正确率低，本发明提出一种基于深度卷积神经网络的无价值图像去除方法。

技术方案

一种基于深度卷积神经网络的无价值图像去除方法，其特征在于步骤如下：

步骤1：对图像样本进行归一化后合并为矩阵patches，行数为row,row＝m×n，m,n为归一化的大小，列数为样本数量k，对矩阵patches进行零均值化处理：

$\mathrm{mean}\_\mathrm{patch}=\underset{i=1}{\overset{\mathrm{row}}{\mathrm{\Σ}}}\left(\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{patch}(i,j)\right)$

图像样本与均值矩阵相减存入patches，计算协方差矩阵sigma：

$\mathrm{sigma}=\frac{1}{k}(\mathrm{patches}\·{\mathrm{patches}}^T)$

对协方差矩阵进行SVD分解得到U,S,V矩阵，计算ZCA白化矩阵：

$\mathrm{ZCA}=U*\mathrm{diag}(\frac{1}{\mathrm{sqrt}\left(\mathrm{diag}\left(S\right)\right)}+\mathrm{eplison})*U^T$

其中，diag()表示构造协方差矩阵的对角矩阵，sqrt表示求均方根，eplison为正则化参数，将patches与ZCA相乘得到白化预处理后的图像数据，作为稀疏自编码器的输入；

步骤2：计算稀疏自编码器的损失函数：

$J_{\mathrm{sparse}}(W,b)=J(W,b)+\mathrm{\β}\underset{j=1}{\overset{s_2}{\mathrm{\Σ}}}\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_j\right)$

$\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_J\right)=\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{{\widehat{\mathrm{\ρ}}}_j}+(1-\mathrm{\ρ})\log \frac{1-\mathrm{\ρ}}{1-{\widehat{\mathrm{\ρ}}}_j}$

其中，x为图像样本的输入特征，y为输出值，h_W,b(x)是输入为x时的假设输出，是连接第l层j单元和第l+1层i单元的权值参数，是第l+1层i的偏置项，s_l是第l层的单元数目，n_l是网络中的层数，λ是权重衰减稀疏，ρ为稀疏值，为隐藏单元i的平均激活度，β是稀疏值惩罚项的权重；

对损失函数求偏导数，加入稀疏性的第l层第i个神经元节点的误差表达式为：

${\mathrm{\δ}}_i^{\left(l\right)}=(\left(\underset{j=1}{\overset{s_l}{\mathrm{\Σ}}}{W}_{\mathrm{ji}}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)+\mathrm{\β}(-\frac{\mathrm{\ρ}}{{\widehat{\mathrm{\ρ}}}_i}+\frac{1-\mathrm{\ρ}}{1-{\widehat{\mathrm{\ρ}}}_i}))f^{\′}\left(z_i^{\left(l\right)}\right)$

是激活函数f(z)＝tanh(z)的求导，是第l层i单元所有输入的加权和；采用拟牛顿法中的BFGS优化出J_sparse(W,b)最小时的W和b，输出W和b作为多层深度卷积神经网络中卷积层的权重和偏置的初始化值；

步骤3：构建包含C₁卷积层、S₂降采样层、C₃卷积层、S₄降采样层和softmax分类层的多层深度卷积神经网络，输入图像在C₁卷积层上进行卷积后产生特征映射图，然后特征映射图通过S₂降采样层对像素进行求和、加权值、加偏置，之后再通过C₃卷积层进行卷积和S₄降采样层进行像素求和、加权值、加偏置，最终将得到的像素值光栅化连接成一个向量输入到softmax分类层；

所述的卷积使用的公式：

$x_j^l=f(\underset{i\∈M_j}{\mathrm{\Σ}}{x}_i^{l-1}*W_{\mathrm{ij}}^l+b_j^l)$

M_j表示选择的输入映射图的集合，表示W的第l层第i个神经元节点到第l+1层第j个节点的权值，表示b的第l层到第l+1层第j个节点的偏置，是第l层的输出特征图的第j个分量；

所述的降采样层使用的公式：

$x_j^l=f({\mathrm{\μ}}_j^l\mathrm{down}\left(x_j^{l-1}\right)+b_j^l)$

down(·)表示一个降采样函数，为乘性偏置，为加性偏置；

步骤4：利用softmax分类层的假设函数对特征向量x中的每一个类别j估算出概率值p(y＝j|x)，输出一个K维的向量表示这K个估计的概率值：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\θ})\\ p(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\θ})\\ \·\\ \·\\ \·\\ p(y^{\left(i\right)}=K|x^{\left(i\right)};\mathrm{\θ})\end{array}\right]=\frac{1}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{\mathrm{\θ}}_1^T{x}^{\left(i\right)}}\\ e^{{\mathrm{\θ}}_2^T{x}^{\left(i\right)}}\\ \·\\ \·\\ \·\\ e^{{\mathrm{\θ}}_K^T{x}^{\left(i\right)}}\end{array}\right]$

其中，θ₁,θ₂,...,θ_K是训练模型参数，y⁽ⁱ⁾∈{1,2,...,K}，表示对概率分布进行归一化；

计算特征向量x为类别j的概率：

$p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ})=\frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}$

添加一个权重衰减项来修改代价函数：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\left[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}1\right\{y^{\left(i\right)}=j\left\}\log \frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}\right]+\frac{\mathrm{\λ}}{2}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_{\mathrm{ij}}^2$

n为特征向量x的维度，1{·}为示性函数，对代价函数求导得：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}))\right]+\mathrm{\λ}{\mathrm{\θ}}_j$

用梯度下降法最小化J(θ)实现softmax分类模型，去除无价值图像。

所述的eplison取0.1。

所述的λ取值为0.003。

所述的ρ取值为0.035。

所述的β取值为5。

有益效果

本发明提出的一种基于深度卷积神经网络的无价值图像去除方法，采用深度卷积神经网络进行特征学习，因此分类效果好，包含了更多的图像信息，在无价值图像去除方面不易错判。

具体实施方式

本发明解决其技术问题所采用的技术方案是：基于深度卷积神经网络的无价值图像去除方法。

本发明的技术方案包括下述步骤：基于稀疏自动编码器的预训练、构建深度卷积神经网络和训练softmax分类模型。

(a)对航拍图像训练集合进行白化预处理，由于图像中相邻像素之间具有很强的相关性，白化的目的是降低输入的冗余性，在对数据进行白化前要进行特征零均值化，选取适当的正则化参数，对输入图像进行平滑，消除噪声；

稀疏自编码网络是一种无监督学习算法，将白化预处理后的图像训练集合输入到稀疏自编码网络，求出损失函数偏导数表达式，利用拟牛顿法中的BFGS优化方法求解该非线性优化问题，求出网络的最佳参数，输出网络的权值和偏置项；

(b)构建深度卷积神经网络，对训练集合的图像用预训练的均值和白化矩阵进行白化预处理，将预训练后的权值和偏置项初始化为深度卷积神经网络卷积层的卷积核参数；深度卷积神经网络的降采样层对卷积后的图像进行降采样，并计算图像一个区域上的某个特定特征的平均值或最大值来降低维度和防止过度拟合；

(c)将深度卷积神经网络降采样层输出的特征向量作为输入向量输入到softmax回归模型，标签设置为每张图像对应的类别标签。Softmax模型解决的是多分类问题，对给定的输入，利用假设函数对每一个类别估算出概率值，概率值最大的类别是该输入所属的类别。

现结合实施例对本发明作进一步描述：

1、基于稀疏自动编码器的预训练

由于图像信息存在冗余，在预训练前要进行白化预处理，采用随机向量的“零均值化”和“空间白化”。

设所有的样本大小归一化后合并为矩阵patches，行数为row,row＝m×n，m,n为归一化的大小，列数为k，k为样本数量，零均值化如公式(1)所示：

$\mathrm{mean}\_\mathrm{patch}=\underset{i=1}{\overset{\mathrm{row}}{\mathrm{\Σ}}}\left(\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{patch}(i,j)\right)---\left(1\right)$

原始数据与均值矩阵相减存入patches，计算其协方差矩阵sigma：

$\mathrm{sigma}=\frac{1}{k}(\mathrm{patches}\·{\mathrm{patches}}^T)---\left(2\right)$

对协方差矩阵进行SVD分解得到U,S,V矩阵，计算ZCA白化矩阵：

$\mathrm{ZCA}=U*\mathrm{diag}(\frac{1}{\mathrm{sqrt}\left(\mathrm{diag}\left(S\right)\right)}+\mathrm{eplison})*U^T---\left(3\right)$

其中，diag()表示构造该矩阵的对角矩阵，sqrt表示求均方根，eplison为正则化参数，取0.1。将patches与ZCA相乘得到白化预处理后的图像数据，作为稀疏自编码器的输入。

基于稀疏自编码器的网络构建，通过网络结构确定损失函数的表达式和损失函数导数的表达式，在稀疏编码中，其输出的理论值是本身输入的特征值，网络的隐含层较好地代替输入特征，准确地还原输入特征值。无稀疏约束网络的损失函数表达如下：

$-\begin{array}{c}J(W,b)=\left[\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}J(W,b;x^{\left(i\right)},y^{\left(i\right)})\right]+\frac{\mathrm{\λ}}{2}\underset{l=1}{\overset{n_l-1}{\mathrm{\Σ}}}\underset{i=1}{\overset{s_l}{\mathrm{\Σ}}}\underset{j=1}{\overset{s_l+1}{\mathrm{\Σ}}}{\left(W_{\mathrm{ji}}^{\left(i\right)}\right)}^2\\ =\left[\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(\frac{1}{2}{\left|\right|h_{W,b}\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\left|\right|}^2\right)\right]+\frac{\mathrm{\λ}}{2}\underset{l=1}{\overset{n_l-1}{\mathrm{\Σ}}}\underset{i=1}{\overset{s_l}{\mathrm{\Σ}}}\underset{j=1}{\overset{s_l+1}{\mathrm{\Σ}}}{\left(W_{\mathrm{ji}}^{\left(l\right)}\right)}^2\end{array}---\left(4\right)$

稀疏编码是对网络的隐含层的输出有了约束，即隐含层节点输出的平均值为0，稀疏自编码的损失函数表达式为：

$J_{\mathrm{sparse}}(W,b)=J(W,b)+\mathrm{\β}\underset{j=1}{\overset{s_2}{\mathrm{\Σ}}}\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_j\right)---\left(5\right)$

后面一项为KL距离，表达式如下：

$\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_J\right)=\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{{\widehat{\mathrm{\ρ}}}_j}+(1-\mathrm{\ρ})\log \frac{1-\mathrm{\ρ}}{1-{\widehat{\mathrm{\ρ}}}_j}---\left(6\right)$

其中，x为图像样本的输入特征，y为输出值，h_W,b(x)是输入为x时的假设输出，包含参数W,b该输出应当与目标值y具有相同的维数；是连接第l层j单元和第l+1层i单元的权值参数，是第l+1层i的偏置项，s_l是第l层的单元数目，n_l是网络中的层数，λ是权重衰减稀疏，取值为0.003，ρ为稀疏值，指定所需的稀疏程度，取值为0.035，隐藏单元i的平均激活度，而β是稀疏值惩罚项的权重，取值为5。

由损失函数求偏导数，加入稀疏性的第l层第i个神经元节点的误差表达式为：

${\mathrm{\δ}}_i^{\left(l\right)}=(\left(\underset{j=1}{\overset{s_l}{\mathrm{\Σ}}}{W}_{\mathrm{ji}}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)+\mathrm{\β}(-\frac{\mathrm{\ρ}}{{\widehat{\mathrm{\ρ}}}_i}+\frac{1-\mathrm{\ρ}}{1-{\widehat{\mathrm{\ρ}}}_i}))f^{\′}\left(z_i^{\left(l\right)}\right)---\left(7\right)$

f(·)为激活函数(式中是激活函数的求导)，使用f(z)＝tanh(z)，是第l层i单元所有输入的加权和。用拟牛顿法中的BFGS优化，优化出J_sparse(W,b)最小时的W和b。该W和b用来初始化多层深度卷积神经网络中卷积层的权重和偏置，以加快训练速度。

2、构建深度卷积神经网络

构建多层深度卷积神经网络，2层卷积层，2层降采样层，1层分类层。深度卷积神经网络的C₁卷积层，该卷积层包含n₁个卷积核，取值为240，大小均为k×k，取值为8；S₂降采样层进行降采样和池化，参数取值为19；C₃卷积层有n₂个卷积核，取值为300，大小为k×k，取值为8；S₄降采样层的参数为19。

输入图像通过和n₁个训练好的滤波器和偏置项进行卷积，卷积后在C₁层产生n₁个特征映射图，然后每个特征映射图通过S₂层，每19×19个像素进行求和、加权值、加偏置通过激活函数产生n₁个S₂层的特征映射图；这些映射图再通过C₃卷积层进行卷积和S₄降采样层进行像素求和、加权值、加偏置得到S₄层的特征映射图，最终这些像素值被光栅化，并连接成一个向量输入到分类层，这里是softmax分类模型。

在一个卷积层，上一层的特征映射图被一个卷积核进行卷积，并通过一个激活函数得到输出的特征映射图，每一个输出特征图是组合卷积多个输入特征图的值：

$x_j^l=f(\underset{i\∈M_j}{\mathrm{\Σ}}{x}_i^{l-1}*W_{\mathrm{ij}}^l+b_j^l)---\left(8\right)$

M_j表示选择的输入映射图的集合，对于一个特定的输出映射图，卷积每个输入映射图的卷积核是不一样的，这里取稀疏自编码器优化得到的权值为卷积核。表示公式(5)中W的第l层第i个神经元节点到第l+1层第j个节点的权值，表示公式(5)中b的第l层到第l+1层第j个节点的偏置。是第l层的输出特征图的第j个分量。

对于降采样层，有N个输入特征映射图，就有N个输出特征映射图，其作用是将特征映射图变小：

$x_j^l=f({\mathrm{\μ}}_j^l\mathrm{down}\left(x_j^{l-1}\right)+b_j^l)---\left(9\right)$

down(·)表示一个降采样函数，对输入图像不同的19×19的图像块的所有像素进行求和，每个输出特征映射图对应了一个自己的乘性偏置和加性偏置输出前通过激活函数。

3、训练softmax分类模型

输入图像经过多层深度卷积神经网络中卷积层和池化层的处理，得到S₄层的特征映射图，最终这些像素值被光栅化，并连接成一个特征向量输入到分类层，分类层是softmax分类模型，输出为该图像所属类别，达到图像分类效果，去除无价值图像。该步骤训练这个解决多分类问题的Softmax模型。

Softmax分类模型解决的是多分类问题，假设函数如下：

$h_{\mathrm{\θ}}\left(x\right)=\frac{1}{1+\exp (-{\mathrm{\θ}}^{T}x)}---\left(10\right)$

训练模型参数θ，使其能够最小化代价函数：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)+(1-y^{\left(i\right)})\log (1-h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right))]---\left(11\right)$

对于无价值图像去除问题，假设共有K类图像，y⁽ⁱ⁾∈{1,2,...,K}，对给定的经过深度卷积神经网络处理后的特征向量x，用假设函数对每一个类别j估算出概率值p(y＝j|x)，假设函数要输出一个K维的向量(向量元素和为1)来表示这K个估计的概率值：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\θ})\\ p(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\θ})\\ \·\\ \·\\ \·\\ p(y^{\left(i\right)}=K|x^{\left(i\right)};\mathrm{\θ})\end{array}\right]=\frac{1}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{\mathrm{\θ}}_1^T{x}^{\left(i\right)}}\\ e^{{\mathrm{\θ}}_2^T{x}^{\left(i\right)}}\\ \·\\ \·\\ \·\\ e^{{\mathrm{\θ}}_K^T{x}^{\left(i\right)}}\end{array}\right]---\left(12\right)$

其中，θ₁,θ₂,...,θ_K是模型的参数，这一项对概率分布进行归一化，使得所有概率之和为1。

代价函数中将特征向量x分类为类别j的概率为：

$p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ})=\frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}---\left(13\right)$

添加一个权重衰减项来修改代价函数，来惩罚过大的参数值：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\left[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}1\right\{y^{\left(i\right)}=j\left\}\log \frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}\right]+\frac{\mathrm{\λ}}{2}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_{\mathrm{ij}}^2---\left(14\right)$

特征向量x的维度为n，λ为权重衰减参数，取值为0.003，1{·}为示性函数。对代价函数求导得：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}))\right]+\mathrm{\λ}{\mathrm{\θ}}_j---\left(15\right)$

用梯度下降法最小化J(θ)实现softmax分类模型。

Claims (5)

1.一种基于深度卷积神经网络的无价值图像去除方法，其特征在于步骤如下：

步骤1：对图像样本进行归一化后合并为矩阵patches，行数为row,row＝m×n，m,n为归一化的大小，列数为样本数量k，对矩阵patches进行零均值化处理：

$\mathrm{mean}\_\mathrm{patch}=\underset{i=1}{\overset{\mathrm{row}}{\mathrm{\Σ}}}\left(\frac{1}{k}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{patch}(i,j)\right)$

图像样本与均值矩阵相减存入patches，计算协方差矩阵sigma：

$\mathrm{sigma}=\frac{1}{k}(\mathrm{patches}\·{\mathrm{patches}}^T)$

对协方差矩阵进行SVD分解得到U,S,V矩阵，计算ZCA白化矩阵：

$\mathrm{ZCA}=U*\mathrm{diag}(\frac{1}{\mathrm{sqrt}\left(\mathrm{diag}\left(S\right)\right)}+\mathrm{eplison})*U^T$

其中，diag()表示构造协方差矩阵的对角矩阵，sqrt表示求均方根，eplison为正则化参数，将patches与ZCA相乘得到白化预处理后的图像数据，作为稀疏自编码器的输入；

步骤2：计算稀疏自编码器的损失函数：

$J_{\mathrm{sparse}}(W,b)=J(W,b)+\mathrm{\β}\underset{j=1}{\overset{s_2}{\mathrm{\Σ}}}\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_j\right)$

$\mathrm{KL}\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_J\right)=\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{{\widehat{\mathrm{\ρ}}}_j}+(1-\mathrm{\ρ})\log \frac{1-\mathrm{\ρ}}{1-{\widehat{\mathrm{\ρ}}}_j}$

其中，x为图像样本的输入特征，y为输出值，h_W,b(x)是输入为x时的假设输出，是连接第l层j单元和第l+1层i单元的权值参数，是第l+1层i的偏置项，s_l是第l层的单元数目，n_l是网络中的层数，λ是权重衰减稀疏，ρ为稀疏值，为隐藏单元i的平均激活度，β是稀疏值惩罚项的权重；

对损失函数求偏导数，加入稀疏性的第l层第i个神经元节点的误差表达式为：

${\mathrm{\δ}}_i^{\left(l\right)}=(\left(\underset{j=1}{\overset{s_l}{\mathrm{\Σ}}}{W}_{\mathrm{ji}}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)+\mathrm{\β}(-\frac{\mathrm{\ρ}}{{\widehat{\mathrm{\ρ}}}_i}+\frac{1-\mathrm{\ρ}}{1-{\widehat{\mathrm{\ρ}}}_i}))f^{\′}\left(z_i^{\left(l\right)}\right)$

是激活函数f(z)＝tanh(z)的求导，是第l层i单元所有输入的加权和；采用拟牛顿法中的BFGS优化出J_sparse(W,b)最小时的W和b，输出W和b作为多层深度卷积神经网络中卷积层的权重和偏置的初始化值；

步骤3：构建包含C₁卷积层、S₂降采样层、C₃卷积层、S₄降采样层和softmax分类层的多层深度卷积神经网络，输入图像在C₁卷积层上进行卷积后产生特征映射图，然后特征映射图通过S₂降采样层对像素进行求和、加权值、加偏置，之后再通过C₃卷积层进行卷积和S₄降采样层进行像素求和、加权值、加偏置，最终将得到的像素值光栅化连接成一个向量输入到softmax分类层；

所述的卷积使用的公式：

$x_j^l=f(\underset{i\∈M_j}{\mathrm{\Σ}}{x}_i^{l-1}*W_{\mathrm{ij}}^l+b_j^l)$

M_j表示选择的输入映射图的集合，表示W的第l层第i个神经元节点到第l+1层第j个节点的权值，表示b的第l层到第l+1层第j个节点的偏置，是第l层的输出特征图的第j个分量；

所述的降采样层使用的公式：

$x_j^l=f({\mathrm{\μ}}_j^l\mathrm{down}\left(x_j^{l-1}\right)+b_j^l)$

down(·)表示一个降采样函数，为乘性偏置，为加性偏置；

步骤4：利用softmax分类层的假设函数对特征向量x中的每一个类别j估算出概率值p(y＝j|x)，输出一个K维的向量表示这K个估计的概率值：

$h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}p(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\θ})\\ p(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\θ})\\ \·\\ \·\\ \·\\ p(y^{\left(i\right)}=K|x^{\left(i\right)};\mathrm{\θ})\end{array}\right]=\frac{1}{\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{\mathrm{\θ}}_1^T{x}^{\left(i\right)}}\\ e^{{\mathrm{\θ}}_2^T{x}^{\left(i\right)}}\\ \·\\ \·\\ \·\\ e^{{\mathrm{\θ}}_K^T{x}^{\left(i\right)}}\end{array}\right]$

其中，θ₁,θ₂,...,θ_K是训练模型参数，y⁽ⁱ⁾∈{1,2,...,K}，表示对概率分布进行归一化；

计算特征向量x为类别j的概率：

$p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ})=\frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}$

添加一个权重衰减项来修改代价函数：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\left[\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}1\right\{y^{\left(i\right)}=j\left\}\log \frac{e^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}{\underset{l=1}{\overset{K}{\mathrm{\Σ}}}{e}^{{\mathrm{\θ}}_l^T{x}^{\left(i\right)}}}\right]+\frac{\mathrm{\λ}}{2}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_{\mathrm{ij}}^2$

n为特征向量x的维度，1{·}为示性函数，对代价函数求导得：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left[x^{\left(i\right)}\left(1\right\{y^{\left(i\right)}=j\}-p(y^{\left(i\right)}=j|x^{\left(i\right)};\mathrm{\θ}))\right]+\mathrm{\λ}{\mathrm{\θ}}_j$

用梯度下降法最小化J(θ)实现softmax分类模型，去除无价值图像。

2.根据权利要求1所述的基于深度卷积神经网络的无价值图像去除方法，其特征在于所述的eplison取0.1。

3.根据权利要求1所述的基于深度卷积神经网络的无价值图像去除方法，其特征在于所述的λ取值为0.003。

4.根据权利要求1所述的基于深度卷积神经网络的无价值图像去除方法，其特征在于所述的ρ取值为0.035。

5.根据权利要求1所述的基于深度卷积神经网络的无价值图像去除方法，其特征在于所述的β取值为5。