CN104463194A - 一种人车分类方法及装置 - Google Patents

Abstract

本申请公开了一种人车分类方法及装置，其过程为：读取训练样本集；计算训练样本集的类内差异性和类间差异性，计算差异性比值，差异性比值为类内差异性和类间差异性的比值；将差异性比值与预设阈值进行比较，根据比较的结果确定深度卷积神经网络的卷积层数；初始化深度卷积神经网络；结合卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络模型；对输入的待测试图像，利用深度卷积神经网络模型进行分类。本方法避免了传统方式直接设置错误的卷积层数从而导致方法的实现在速度与精度方面出现不适当的偏重的问题，能更好的满足速度与精度的平衡。

Description

一种人车分类方法及装置

技术领域

本申请涉及一种人车分类方法及装置。

背景技术

随着我国经济的发展，城市化水平进一步提高。智慧城市已经成为城市现代化发展的重要方向。视频监控系统作为智慧城市的重要组成部分，也正朝着智能化和网络化方向发展。在智能视频监控中，行人和车辆的分类是公安图像侦查和交通状态分析的前期处理过程的重要问题。因此，基于图像处理和机器学习的人车分类方法是智能视频监控的关键技术，已成为国内外相关领域的研究热点。

人车分类系统的传统流程包括图像获取、特征提取、分类器判别三个步骤。在特征提取方面，HOG算子、LBP算子、SIFT等方法用于对图像的特征进行提取。但是，每一种特征算子都有自己的应用范围，没有一种算法可以同时处理智能监控视频中的光照、外观和尺寸大幅变化的问题；SVM、神经网络、贝叶斯分类器等理论在图像分类领域广泛应用。其中，对于小样本、类内差异比较小的图像样本集，使用SVM能够取得比较好的效果，但是，对于监控视频中的人车这样的类内差异大、数据量多的图像样本集，SVM并不能取得很好的效果。监控视频中行人和车辆本身具有复杂性和多变性，不同的时间段同一个摄像头获得的行人和车辆的图像可能会千差万别，在不同路段获得的行人和车辆，也会存在很大差异，因此采用传统的分类器方法难以达到较高的分类正确率。那么为了准确地判断某一图像样本所属类别，需要对大量样本进行学习，以提高系统的正确识别率。近两年，基于深度学习的图像样本分类技术，在对大样本的数据集的处理上取得了巨大成功。人车分类数据集也是一个较为庞大的数据集，基于深度学习的理论和方法有望获得令人满意的效果。同时，由于监控视频中物体的多样性，在不同的需求下，需要按照不同的类别进行分类，这就要求用于人车分类的系统能够有较好的拓展性，能够在不同的场合下，根据实际情况对类别的个数进行拓展。

因此，如何设计出一种能够基于训练样本集的复杂程度和任务的要求实现自适应拓展的基于深度卷积神经网络的人车分类方法，成为新的研究方向。传统方式直接拓展卷积层数，可能拓展出不合适的层数从而导致方法的实现在速度与精度方面出现不适当的偏重的问题，即传统方式有可能在精度要求高的情况下拓展的层数太少从而影响精度，或者在精度要求不高的情况下拓展的层数太多从而影响速度。

发明内容

本申请提供了一种人车分类方法，能避免传统方式直接拓展错误的层数从而导致方法的实现在速度与精度方面出现不适当的偏重的问题，本方法包括训练过程和分类过程。

训练过程包括：

读取训练样本集；

计算训练样本集的类内差异性和类间差异性，计算差异性比值，差异性比值为类内差异性和类间差异性的比值；

将差异性比值与预设阈值进行比较，根据比较的结果确定深度卷积神经网络的卷积层数；

初始化深度卷积神经网络；

结合卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络模型，具体为：将训练样本转换为灰度图像，对转换为灰度图像后的训练样本进行N次卷积运算，N为卷积层数，每次卷积运算的过程为：使用当前卷积运算的卷积模板对输入图像进行卷积，形成当前卷积运算的卷积后细节特征图，输入图像为前一次卷积运算的输出，第一次卷积运算的输入图像为灰度图像；对当前卷积运算的卷积后细节特征图，使用当前卷积运算的池化(Pooling)层进行降采样，形成当前卷积运算的降采样后细节特征图并输出；以最后一次卷积运算所得的降采样后细节特征图作为输入，2个基点作为输出层形成全连接网络层；在全连接网络层的输出层输出计算结果；

分类过程包括：对输入的待测试图像，利用深度卷积神经网络模型进行分类。

本申请还提供了一种人车分类装置，包括训练模块和分类模块。

其中，训练模块用于读取训练样本集，计算训练样本集的类内差异性和类间差异性，计算差异性比值，差异性比值为类内差异性和类间差异性的比值；将差异性比值与预设阈值进行比较，根据比较的结果确定深度卷积神经网络的卷积层数；初始化深度卷积神经网络；结合卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络模型；

分类模块用于对输入的待测试图像，利用所述深度卷积神经网络模型进行分类。

本申请的有益效果是，通过比较训练样本集的差异性比值和阈值，自适应拓展深度卷积神经网络的卷积层数，用这种方式拓展所得的卷积层数和传统方式直接拓展的卷积层数相比，避免了传统方式直接拓展出不合适的层数从而导致方法的实现在速度与精度方面出现不适当的偏重的问题，即避免了传统方式在精度要求高的情况下拓展的层数太少从而影响精度，或者在精度要求不高的情况下拓展的层数太多从而影响速度，本申请的方法能更好的满足速度与精度的平衡。

附图说明

图1为本发明实施例1的训练过程的流程图；

图2为本发明实施例1的训练过程中步骤①至④的示意图；

图3为本发明实施例1的训练过程中步骤⑤至⑩的示意图；

图4为本发明实施例1的分类过程的流程图；

图5为本发明实施例1的分类过程中步骤①至⑩的示意图；

图6为本发明实施例3的训练过程的流程图；

图7为本发明实施例3的分类过程的流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

基于深度卷积神经网络的人车分类方法的一个很重要的方面就是神经网络层数的拓展，如果卷积层数拓展得太多，则运行人车分类方法的速度就会变慢，影响工作效率；如果卷积层数拓展得太少，则计算精度就会降低，影响工作质量。在实际的应用中，卷积层数通常拓展为3、4或者5层。卷积层数的增加通常有利于精度的提高，但是却会减慢运行速度。如何权衡速度与精度，对方法的实现具有重大影响，实际工作中传统方式对层数的拓展可能并不是最合适的选择，比如，在层数拓展为5层为最优的情况下却拓展为3层，从而影响到精度；在层数拓展为3层为最优的情况下却拓展为5层，从而影响到速度；在层数拓展为4层为最优的情况下却拓展为3层或5层，从而影响到精度与速度的平衡。

本实施例的人车分类方法分为两个过程：训练过程(1)和分类过程(2)，以下是每个过程的详细步骤。

如图1所示为训练过程(1)的流程图，以下内容详细描述了训练过程的具体步骤(a)～(g)。

(a)离线读取训练样本集，训练样本集包含多幅图像样本；

(b)对训练样本集的图像样本进行预处理，经过预处理后的图像样本为训练样本；图像样本一般会受到光照环境、成像条件的影响，预处理可以在缩小类别内部差异性的同时避免放大噪声，使得训练的深度卷积神经网络具有较好的环境适应性，预处理具体步骤(A)～(G)如下：

(A)将训练样本集的每一幅图像样本都转换成灰度图像，并缩放到同一尺寸；

(B)用网格将缩放后的每一幅图像样本都平分成m1×m1个子图像块U1，子图像块U1为用网格将缩放后的每一幅图像样本按m1×m1方式进行平分后得到的子图像块；

(C)分别统计各个子图像块U1的灰度值概率分布函数p1(r)，其中r为灰度值；

(D)对各个子图像块U1的p1(r)进行调整从而得到调整后的灰度值概率分布函数p2(r)，即将p1(r)大于p0的部分设置为等于p0，并进行归一化处理，对p1(r)小于p0的部分只进行归一化处理，具体公式如下：

$p2\left(r\right)=\left\{\begin{array}{c}a*p0,p1\left(r\right)\&GreaterEqual;p0\\ a*p1\left(r\right),p1\left(r\right)<p0\end{array}\right.---\left(\text{1}\right)$

其中，p2(r)为调整后的灰度值概率分布函数，a是归一化系数；

(E)用网格将缩放后的每一幅图像样本都平分成m2×m2个子图像块U2，子图像块U2为用网格将缩放后的每一幅图像样本按照m2×m2方式平分后得到的子图像块，其中，m2﹥m1；

(F)计算每个子图像块U2的像素点共享灰度值概率分布函数p3(r)，公式如下：

$p3\left(r\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{b}_i{p2}_i\left(r\right)}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{b}_i}---\left(2\right)$

其中，p3(r)为像素点共享灰度值概率分布函数，n为与当前子图像块U2发生重叠的子图像块U1的个数，b为重叠率，b_i为与当前子图像块U2发生重叠的n个子图像块U1中的第i个子图像块U1的重叠率，p2_i(r)为n个子图像块U1中的第i个子图像块U1的p2(r)；

(G)对于每个子图像块U2，利用灰度值映射函数f(r)对输入的图像样本的灰度值进行自适应调整，公式如下：

$r2=f\left(r1\right)=\underset{j=0}{\overset{r1}{\mathrm{\&Sigma;}}}p3\left(j\right)---\left(3\right)$

其中，灰度值映射函数f(r)为对每个子图像块U2的p3(r)进行积分所得到的函数，r1为输入的训练样本的灰度值，r2为输入的图像样本的调整后灰度值。

经过预处理步骤(b)后，得到的是转换为灰度图像的训练样本。

该(b)步骤为可选步骤，在本发明的其它实施例中，可以不进行预处理，则图像样本即为训练样本。

(c)利用预处理后的训练样本集对深度卷积神经网络的卷积层数进行拓展。在本发明的其它实施例中，如果没有前述预处理步骤(b)，则直接利用训练样本集进行拓展。

在步骤(c)中，如式(4)和(5)所示，计算预处理后的训练样本集的类内差异性s1和类间差异性s2，计算s1和s2的比值，s1和s2的比值为差异性比值s1/s2。如式(6)所示，将差异性比值同时与第一阈值d1和第二阈值d2进行比较，第一阈值d1和第二阈值d2是通过实验得到的，且第二阈值大于第一阈值。根据比较的结果自适应拓展深度卷积神经网络的卷积层数N，即若差异性比值大于或等于第二阈值，则表明深度卷积神经网络对精度的要求较高，需要拓展较多的层数，则拓展深度卷积神经网络的卷积层数为一号层数N1；若差异性比值大于或等于第一阈值且小于第二阈值，则表明深度卷积神经网络对精度的要求适中，则拓展卷积层数为二号层数N2；若差异性比值小于第一阈值，则表明深度卷积神经网络对精度的要求较低，只需要拓展较少的层数即可，则拓展卷积层数为三号层数N3，其中，N1、N2和N3的取值分别为5、4和3。具体描述如下所示：

$s1=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(\frac{1}{m}\underset{h=1}{\overset{m}{\mathrm{\&Sigma;}}}\right|x_{\mathrm{kh}}-{\stackrel{\&OverBar;}{x}}_k\left|\right)---\left(4\right)$

$s2=\frac{1}{C_n^2}{\mathrm{\&Sigma;}}_{i>j\&Element;\{\mathrm{1,2},...,n\}}^n|{\stackrel{\&OverBar;}{x}}_i-{\stackrel{\&OverBar;}{x}}_j|---\left(5\right)$

$N=f(s1,s2)=\left\{\begin{array}{c}N1,\frac{s1}{s2}\&GreaterEqual;d2\\ N2,d1\&le;\frac{s1}{s2}<d2\\ N3,\frac{s1}{s2}<d1\end{array}\right.---\left(6\right)$

其中，s1为类内差异性，n是训练样本的类别总数，m表示各个类别的训练样本的数量，表示第k个类别的调整后灰度值的均值，x_kh表示第k个类别中第h个样本的调整后灰度值；s2为类间差异性，表示第i个类别的均值，表示第j个类别的均值。

d1和d2是设定的阀值，通过实验得到，且d1<d2。为便于描述，本实施例的卷积层数的拓展结果为三号层数，即卷积层数为3层。

(d)独立初始化三个均匀分布的卷积层；

(e)使用BP(误差反向传播，Error Back Propagation)算法对初始化后的深度卷积神经网络进行训练，即如下步骤(i)～(v)：

(ⅰ)接收来自训练样本集的训练样本；

(ⅱ)设置BP算法的学习速率和迭代次数；

(ⅲ)对训练样本进行前向传递计算：

①将所接收的训练样本归一化为n0*n0的大小；

②将归一化后的训练样本转换为灰度图像；

关于该①、②步骤的说明：如果没有前述预处理步骤，才需要执行该①、②步骤；在本发明的其它实施例中，如果有前述预处理步骤，说明训练样本已经是灰度图像，则省略该①、②步骤；

③将转换为灰度图像的训练样本通过第一卷积层，在第一卷积层，使用k1个大小为c1*c1的卷积模板去对训练样本进行卷积，形成k1幅大小为n1*n1的细节特征图，如式(7)所示，表示卷积的过程，

$y_j=b_j+{\mathrm{\&Sigma;}}_i{k}_{\mathrm{ij}}\&CircleTimes;x_i---\left(7\right)$

其中，y_j表示第j个输出特征图，b_j表示第j个特征图的偏置，k_ij表示第j个卷积模板的第i个元素，x_i表示第i个输入特征值图，在一个卷积层，表示输入训练样本，在其他卷积层，表示前一层Pooling(池化)层得到的输出特征图；

④k1幅n1*n1的细节特征图通过大小为p1*p1的第一Pooling(池化)层maxpooling(最大池化，max pooling，max-pooling，)的降采样，形成k1幅n2*n2的细节特征图，如式(8)所示，表示降采样的过程，

y_j＝f(β_jdown(x_j)+b_j)   (8)

其中，y_j表示第j个输出特征图，b_j表示第j个特征图的偏置，x_i表示第i个输入特征值图(即为卷积层的输出特征图)，down表示下采样的过程，这里采用最大值下采样，f表示激活函数，步骤①至④的示意图如图2所示；

⑤k1幅n2*n2的细节特征图通过卷积模板大小为c2*c2的第二卷积层，形成k2幅大小为n3*n3的细节特征图；

⑥k2幅n3*n3的细节特征图通过大小为p2*p2的第二Pooling层maxpooling的降采样，形成k2幅n4*n4的细节特征图；

⑦k2幅n4*n4的细节特征图通过卷积模板大小为c3*c3的第三卷积层，形成k3幅n5*n5的细节特征图；

⑧k3幅n5*n5的细节特征图通过大小为p3*p3的第三Pooling层maxpooling的降采样，形成k3幅n6*n6的细节特征图；

⑨k3幅n6*n6的细节特征图作为输入，fc₁个神经节点作为隐藏层，2个基点作为输出层形成全连接网络层，fc₁的值通过调试得到；

⑩在全连接网络层的输出层输出计算结果。

步骤⑤至⑩的示意图如图3所示；

(ⅳ)通过最小化误差函数计算实际输出与目标输出之差；

(ⅴ)利用极小化误差方法反向传播调整权值；

(f)判断是否达到训练次数，如果达到，则进入步骤(g)，否则，返回步骤(e)；

(g)得到深度卷积神经网络模型并保存深度卷积神经网络模型参数。

如图4所示为分类过程(2)的流程图，以下内容详细描述了分类过程的具体步骤。

(a)在线读取需要测试的图像，并按照上述分类过程中的预处理方法对需要测试的图像进行预处理，经过预处理后的图像是转换为灰度图像的待测试图像；

该预处理步骤为可选步骤，在本发明的其它实施例中，可以不进行预处理步骤。

(b)利用深度卷积神经网络模型对待测试图像进行前向传递计算，如图5所示为分类过程中步骤①至⑩的示意图，详细描述了深度卷积神经网络模型前向传递计算的过程：

①将待测试图像归一化为n0*n0的大小；

②将归一化后的待测试图像转换为灰度图像；

对于该①、②步骤的说明：如果没有前述预处理步骤，才需要执行该①、②步骤；在本发明的其它实施例中，如果有前述预处理步骤，说明训练样本已经是灰度图像，则省略该①、②步骤；

③将转换为灰度图像的待测试图像通过第一卷积层，在第一卷积层，使用k1个大小为c1*c1的卷积模板去对待测试图像进行卷积，形成k1幅大小为n1*n1的细节特征图，如式(9)所示，表示卷积的过程，

$y_j=b_j+{\mathrm{\&Sigma;}}_i{k}_{\mathrm{ij}}\&CircleTimes;x_i---\left(9\right)$

其中，y_j表示第j个输出特征图，b_j表示第j个特征图的偏置，k_ij表示第j个卷积模板的第i个元素，x_i表示第i个输入特征值图，在一个卷积层，表示输入待测试图像，在其他卷积层，表示前一层Pooling层得到的输出特征图；

④k1幅n1*n1的细节特征图通过大小为p1*p1的第一Pooling层maxpooling的降采样，形成k1幅n2*n2的细节特征图，如式(10)所示，表示下采样的过程，

y_j＝f(β_jdown(x_j)+b_j)   (10)

其中，y_j表示第j个输出特征图，b_j表示第j个特征图的偏置，x_i表示第i个输入特征值图(即为卷积层的输出特征图)，down表示下采样的过程，这里采用最大值下采样，f表示激活函数；

⑤k1幅n2*n2的细节特征图通过卷积模板大小为c2*c2的第二卷积层，形成k2幅大小为n3*n3的细节特征图；

⑥k2幅n3*n3的细节特征图通过大小为p2*p2的第二Pooling层maxpooling的降采样，形成k2幅n4*n4的细节特征图；

⑦k2幅n4*n4的细节特征图通过卷积模板大小为c3*c3的第三卷积层，形成k3幅n5*n5的细节特征图；

⑧k3幅n5*n5的细节特征图通过大小为p3*p3的第三Pooling层maxpooling的降采样，形成k3幅n6*n6的细节特征图；

⑨新的k3幅n6*n6的特征图作为输入，fc₁个神经节点作为隐藏层，2个基点作为输出层形成全连接网络层，fc₁的值通过调试得到；

⑩在全连接网络层的输出层输出计算结果；

(c)根据输出层输出的计算结果，输出所识别的待测试图像类别。

本方法通过比较训练样本集的差异性比值和阈值，自适应拓展深度卷积神经网络的卷积层数，用这种方式拓展所得的卷积层数和传统方式直接拓展的卷积层数相比，避免了传统方式直接拓展出不合适的层数从而导致方法的实现在速度与精度方面出现不适当的偏重的问题，即避免了传统方式在精度要求高的情况下拓展的层数太少从而影响精度，或者在精度要求不高的情况下拓展的层数太多从而影响速度，本实施例的方法能更好的满足速度与精度的平衡。

实施例二：

本实施例的人车分类装置包括两个模块：训练模块和分类模块，以下内容详细说明了在一次人车分类的过程中，两个模块如何展开工作。

训练模块用于离线读取训练样本集，利用训练样本集对深度卷积神经网络的卷积层数进行拓展，如式(4)和(5)所示，计算训练样本集的类内差异性s1和类间差异性s2，计算s1和s2的比值，s1和s2的比值为差异性比值s1/s2。如式(6)所示，将差异性比值与阈值进行比较，并根据比较的结果自适应拓展深度卷积神经网络的卷积层数N，阈值包括第一阈值d1和第二阈值d2，是通过实验得到的，第二阈值大于第一阈值。即先将差异性比值与第二阈值d2进行比较，若差异性比值大于或等于第二阈值，则拓展深度卷积神经网络的卷积层数为一号层数N1；若差异性比值小于第二阈值，则再将差异性比值再与第一阈值进行比较，若差异性比值大于或等于第一阈值，则拓展卷积层数为二号层数N2；若差异性比值小于第一阈值，则拓展卷积层数为三号层数N3。其中，N1、N2和N3的取值分别为5、4和3。独立初始化四个均匀分布的卷积层。

为便于描述，本实施例的卷积层数的拓展结果为二号层数，即卷积层数为4层。

使用BP算法对初始化后的深度卷积神经网络进行训练：接收来自训练样本集的图像样本，设置BP算法的学习速率和迭代次数。对图像样本进行前向传递计算：将图像样本归一化为n0*n0的大小，将归一化后的图像样本转换为灰度图像，将转换为灰度图像后的图像样本通过第一卷积层，在第一卷积层，如式(7)所示，使用k1个大小为c1*c1的卷积模板去对图像样本进行卷积，形成k1幅大小为n1*n1的细节特征图；如式(8)所示，k1幅n1*n1的细节特征图通过大小为p1*p1的第一Pooling层maxpooling的降采样，形成k1幅n2*n2的细节特征图；k1幅n2*n2的细节特征图通过卷积模板大小为c2*c2的第二卷积层，形成k2幅大小为n3*n3的细节特征图，k2幅n3*n3的细节特征图通过大小为p2*p2的第二Pooling层maxpooling的降采样，形成k2幅n4*n4的细节特征图；k2幅n4*n4的细节特征图通过卷积模板大小为c3*c3的第三卷积层，形成k3幅n5*n5的细节特征图，k3幅n5*n5的细节特征图通过大小为p3*p3的第三Pooling层maxpooling的降采样，形成k3幅n6*n6的细节特征图；k3幅n6*n6的细节特征图通过卷积模板大小为c4*c4的第三卷积层，形成k4幅n6*n6的细节特征图，k4幅n6*n6的细节特征图通过大小为p4*p4的第三Pooling层maxpooling的降采样，形成k4幅n7*n7的细节特征图。

新的k4幅n7*n7的细节特征图作为输入，fc₁个神经节点作为隐藏层，2个基点作为输出层形成全连接网络层，在全连接网络层的输出层输出计算结果，fc₁的值通过调试得到。

通过最小化误差函数计算实际输出与目标输出之差，利用极小化误差方法反向传播调整权值。判断是否达到训练次数，如果达到，则保存深度卷积神经网络模型参数；否则，继续使用BP算法训练深度卷积神经网络，直到判断是否达到训练次数的结果为达到训练次数。得到深度卷积神经网络模型并保存深度卷积神经网络模型参数。

分类模块用于在线读取待测试图像，即读取要识别的图像。利用深度卷积神经网络模型对待测试图像进行前向传递计算：将待测试图像归一化为n0*n0的大小，将归一化后的待测试图像转换为灰度图像。将转换为灰度图像后的待测试图像通过第一卷积层，在第一卷积层，如式(9)所示，使用k1个大小为c1*c1的卷积模板去对输入待测试图像进行卷积，形成k1幅大小为n1*n1的细节特征图；如式(10)所示，k1幅n1*n1的细节特征图通过大小为p1*p1的第一Pooling层maxpooling的降采样，形成k1幅n2*n2的细节特征图；k1幅n2*n2的细节特征图通过卷积模板大小为c2*c2的第二卷积层，形成k2幅大小为n3*n3的细节特征图，k2幅n3*n3的细节特征图通过大小为p2*p2的第二Pooling层maxpooling的降采样，形成k2幅n4*n4的细节特征图；k2幅n4*n4的细节特征图通过卷积模板大小为c3*c3的第三卷积层，形成k3幅n5*n5的细节特征图，k3幅n5*n5的细节特征图通过大小为p3*p3的第三Pooling层maxpooling的降采样，形成k3幅n6*n6的细节特征图；k3幅n6*n6的细节特征图通过卷积模板大小为c4*c4的第三卷积层，形成k4幅n6*n6的细节特征图，k4幅n6*n6的细节特征图通过大小为p4*p4的第三Pooling层maxpooling的降采样，形成k4幅n7*n7的细节特征图。

新的k4幅n7*n7的细节特征图作为输入，fc₁个神经节点作为隐藏层，2个基点作为输出层形成全连接网络层，在全连接网络层的输出层输出计算结果，fc₁的值通过调试得到。根据输出层输出的计算结果输出所识别的待测试图像类别。

本装置通过比较训练样本集的差异性比值和阈值，自适应拓展深度卷积神经网络的卷积层数，用这种方式拓展所得的卷积层数和传统方式直接拓展的卷积层数相比，避免了传统方式直接拓展出不合适的层数从而导致方法的实现在速度与精度方面出现不适当的偏重的问题，即避免了传统方式在精度要求高的情况下拓展的层数太少从而影响精度，或者在精度要求不高的情况下拓展的层数太多从而影响速度，本实施例的装置能更好的满足速度与精度的平衡。

实施例三：

本实施例的人车分类方法分为两个过程：训练过程和分类过程，以下是每个过程的详细步骤。

如图6所示为训练过程的流程图，以下内容详细描述了训练过程的具体步骤。接收来自训练样本集的图像样本，设置BP算法的学习速率和迭代次数。利用训练样本集对深度卷积神经网络的卷积层数进行拓展，如式(4)和(5)所示，计算训练样本集的类内差异性s1和类间差异性s2，计算s1和s2的比值，s1和s2的比值为差异性比值s1/s2。如式(6)所示，将差异性比值与阈值进行比较，根据比较的结果自适应拓展深度卷积神经网络的卷积层数N，阈值包括第一阈值d1和第二阈值d2，是通过实验得到的，第二阈值大于第一阈值。即将差异性比值先与第一阈值进行比较，若差异性比值小于第一阈值，则拓展卷积层数为三号层数；若差异性比值等于第一阈值，则拓展卷积层数为二号层数；若差异性比值大于第一阈值，则再将差异性比值与第二阈值进行比较，若差异性比值小于第二阈值，则拓展卷积层数为二号层数；若差异性比值大于第二阈值，则拓展卷积层数为一号层数。其中，N1、N2和N3的取值分别为6、5和4。独立初始化四个均匀分布的卷积层。

为便于描述，本实施例的卷积层数的拓展结果为三号层数，即卷积层数为4层。

使用BP算法对初始化后的深度卷积神经网络进行训练：将图像样本归一化为n0*n0的大小，将归一化后的图像样本转换为灰度图像，将转换为灰度图像后的图像样本通过第一卷积层，在第一卷积层，如式(7)所示，使用k1个大小为c1*c1的卷积模板去对输入图像样本进行卷积，形成k1幅大小为n1*n1的特征图；如式(8)所示，k1幅n1*n1的特征图通过大小为p1*p1的第一Pooling层maxpooling的降采样，形成k1幅n2*n2的特征图；k1幅n2*n2的特征图通过卷积模板大小为c2*c2的第二卷积层，形成k2幅大小为n3*n3的高层次特征图，k2幅n3*n3的高层次特征图通过大小为p2*p2的第二Pooling层maxpooling的降采样，形成k2幅n4*n4的高层次特征图；k2幅n4*n4的高层次特征图通过卷积模板大小为c3*c3的第三卷积层，形成k3幅n5*n5的高层次特征图，k3幅n5*n5的高层次特征图通过大小为p3*p3的第三Pooling层maxpooling的降采样，形成k3幅n6*n6的高层次特征图；k3幅n6*n6的高层次特征图通过卷积模板大小为c4*c4的第三卷积层，形成k4幅n6*n6的高层次特征图，k4幅n6*n6的高层次特征图通过大小为p4*p4的第三Pooling层maxpooling的降采样，形成k4幅n7*n7的高层次特征图。

新的k4幅n7*n7的高层次特征图作为输入，fc₁个神经节点作为隐藏层，2个基点作为输出层形成全连接网络层，在全连接网络层的输出层输出计算结果，fc₁的值通过调试得到。通过最小化误差函数计算实际输出与目标输出之差；利用极小化误差方法反向传播调整权值；得到深度卷积神经网络模型并保存深度卷积神经网络模型参数。

如图7所示为分类过程的流程图，以下内容详细描述了分类过程的具体步骤。读取在线待测试图像，即读取要识别的图像。利用深度卷积神经网络模型对待测试图像进行前向传递计算：将待测试图像归一化为n0*n0的大小，将归一化后的待测试图像转换为灰度图像。将转换为灰度图像后的待测试图像通过第一卷积层，在第一卷积层，如式(9)所示，使用k1个大小为c1*c1的卷积模板去对输入待测试图像进行卷积，形成k1幅大小为n1*n1的细节特征图；如式(10)所示，k1幅n1*n1的特征图通过大小为p1*p1的第一Pooling层maxpooling的降采样，形成k1幅n2*n2的特征图；k1幅n2*n2的特征图通过卷积模板大小为c2*c2的第二卷积层，形成k2幅大小为n3*n3的高层次特征图，k2幅n3*n3的高层次特征图通过大小为p2*p2的第二Pooling层maxpooling的降采样，形成k2幅n4*n4的高层次特征图；k2幅n4*n4的高层次特征图通过卷积模板大小为c3*c3的第三卷积层，形成k3幅n5*n5的高层次特征图，k3幅n5*n5的高层次特征图通过大小为p3*p3的第三Pooling层maxpooling的降采样，形成k3幅n6*n6的高层次特征图；k3幅n6*n6的高层次特征图通过卷积模板大小为c4*c4的第三卷积层，形成k4幅n6*n6的高层次特征图，k4幅n6*n6的高层次特征图通过大小为p4*p4的第三Pooling层maxpooling的降采样，形成k4幅n7*n7的高层次特征图。

新的k4幅n7*n7的高层次特征图作为输入，fc₁个神经节点作为隐藏层，2个基点作为输出层形成全连接网络层，在全连接网络层的输出层输出计算结果，fc₁的值通过调试得到。根据输出层输出的计算结果，输出所识别的待测试图像类别。

本方法通过比较训练样本集的差异性比值和阈值，自适应拓展深度卷积神经网络的卷积层数，用这种方式拓展所得的卷积层数和传统方式直接拓展的卷积层数相比，本实施例的方法能更好的满足速度与精度的平衡。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通传统方式来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种人车分类方法，其特征在于，包括训练过程和分类过程：

所述训练过程包括：

读取训练样本集；

计算训练样本集的类内差异性和类间差异性，计算差异性比值，所述差异性比值为类内差异性和类间差异性的比值；

将所述差异性比值与预设阈值进行比较，根据比较的结果确定所述深度卷积神经网络的卷积层数；

初始化深度卷积神经网络；

结合所述卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络模型；

所述分类过程包括：

对输入的待测试图像，利用所述深度卷积神经网络模型进行分类。

2.如权利要求1所述的方法，其特征在于，所述训练过程还包括在计算训练样本集的类内差异性和类间差异性之前，对训练样本集进行图像预处理；所述分类过程还包括在利用所述深度卷积神经网络模型进行分类之前，对输入的待测试图像进行图像预处理。

3.如权利要求2所述的方法，其特征在于，所述图像预处理步骤包括：

将训练样本集的每一幅图像样本进行灰度转换，将转换后的灰度图像进行缩放，得到统一尺寸的灰度图像；

用网格将所述统一尺寸的灰度图像都划分成m1×m1个子图像块U1，m1为正整数；

分别统计各个子图像块U1的灰度值概率分布函数；

对各个子图像块U1的灰度值概率分布函数按如下公式进行归一化调整：

$p2\left(r\right)=\left\{\begin{array}{c}a*p0,p1\left(r\right)\&GreaterEqual;p0\\ a*p1\left(r\right),p1\left(r\right)<p0\end{array}\right.$

其中，p(0)为预设概率阈值，p1(r)为调整前的灰度值概率分布函数，p2(r)为调整后的灰度值概率分布函数，a是归一化系数，r为灰度值；

用网格将所述统一尺寸的灰度图像都划分成m2×m2个子图像块U2，其中，m2为正整数且m2大于m1；

按如下公式计算每个子图像块U2的像素点共享灰度值概率分布函数：

$p3\left(r\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{b}_{i}p{2}_i\left(r\right)}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{b}_i}$

其中，p3(r)为像素点共享灰度值概率分布函数，n为与当前子图像块U2发生重叠的子图像块U1的个数，b_i为与当前子图像块U2发生重叠的n个子图像块U1中的第i个子图像块U1的重叠率，i为正整数且i≤n，p2_i(r)为n个子图像块U1中的第i个子图像块U1的调整后的灰度值概率分布函数p2(r)；

对于每个子图像块U2，利用灰度值映射函数对所述转换后的灰度图像的灰度值进行自适应调整，得到调整后的图像样本的灰度值，所述自适应调整的公式如下：

$r2=f\left(r1\right)=\underset{j=0}{\overset{r1}{\mathrm{\&Sigma;}}}p3\left(j\right)$

其中，f(r1)为灰度值映射函数，r1为所述转换后的灰度图像的灰度值，r2为调整后的图像样本的灰度值。

4.如权利要求1至3任一项所述的方法，其特征在于，所述预设阈值包括第一阈值和大于所述第一阈值的第二阈值，根据所述差异性比值与预设阈值的比较结果确定所述深度卷积神经网络的卷积层数的步骤包括：

若所述差异性比值大于或等于第二阈值，则所述卷积层数为一号层数；

若所述差异性比值大于或等于第一阈值且小于第二阈值，则所述卷积层数为二号层数；

若所述差异性比值小于第一阈值，则所述卷积层数为三号层数；

其中，所述一号层数大于所述二号层数，所述二号层数大于所述三号层数。

5.如权利要求4所述的方法，其特征在于，所述类内差异性和类间差异性的计算过程为

$s1=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(\frac{1}{m}\underset{h=1}{\overset{m}{\mathrm{\&Sigma;}}}\right|x_{\mathrm{kh}}-{\stackrel{\&OverBar;}{x}}_k\left|\right)$

$s2=\frac{1}{C_n^2}{\mathrm{\&Sigma;}}_{i>j\&Element;\{\mathrm{1,2},...,n\}}^n|{\stackrel{\&OverBar;}{x}}_i-{\stackrel{\&OverBar;}{x}}_j|$

其中，s1为类内差异性，n是训练样本的类别总数，m表示各个类别的训练样本的数量，表示第k个类别的灰度均值，x_kh表示第k个类别中第h个训练样本的灰度值；s2为类间差异性，表示第i个类别的灰度均值，表示第j个类别的灰度均值。

6.如权利要求5所述的方法，其特征在于，所述结合所述卷积层数对初始化后的深度卷积神经网络进行训练的步骤包括：

将训练样本转换为灰度图像，对转换为灰度图像后的训练样本进行N次卷积运算，N为所述卷积层数，每次所述卷积运算的过程为：使用当前卷积运算的卷积模板对输入图像进行卷积，形成当前卷积运算的卷积后细节特征图，所述输入图像为前一次卷积运算的输出，第一次卷积运算的输入图像为所述灰度图像；对当前卷积运算的卷积后细节特征图，使用当前卷积运算的池化层进行降采样，形成当前卷积运算的降采样后细节特征图并输出；

以最后一次卷积运算所得的降采样后细节特征图作为输入，2个基点作为输出层形成全连接网络层；

在所述全连接网络层的输出层输出计算结果。

7.如权利要求5所述的方法，其特征在于，所述结合所述卷积层数对初始化后的深度卷积神经网络进行训练为：使用误差反向传播算法对初始化后的深度卷积神经网络进行训练。

8.一种人车分类装置，其特征在于，包括：

训练模块，所述训练模块

用于读取训练样本集，

计算训练样本集的类内差异性和类间差异性，计算差异性比值，所述差异性比值为类内差异性和类间差异性的比值，

将所述差异性比值与预设阈值进行比较，根据比较的结果确定所述深度卷积神经网络的卷积层数，

初始化深度卷积神经网络，

结合所述卷积层数对初始化后的深度卷积神经网络进行训练，得到深度卷积神经网络模型；

分类模块，所述分类模块用于对输入的待测试图像，利用所述深度卷积神经网络模型进行分类。

9.如权利要求8所述的装置，其特征在于，所述训练模块还用于在计算训练样本集的类内差异性和类间差异性之前，对训练样本集进行图像预处理；所述分类模块还用于在利用所述深度卷积神经网络模型进行分类之前，对输入的待测试图像进行图像预处理。

10.如权利要求8所述的装置，其特征在于，所述预设阈值包括第一阈值和大于所述第一阈值的第二阈值，所述根据比较的结果确定所述深度卷积神经网络的卷积层数包括：

若所述差异性比值大于或等于第二阈值，则所述卷积层数为一号层数；

若所述差异性比值大于或等于第一阈值且小于第二阈值，则所述卷积层数为二号层数；

若所述差异性比值小于第一阈值，则所述卷积层数为三号层数；

其中，所述一号层数大于所述二号层数，所述二号层数大于所述三号层数。