CN109460738A - 一种基于无损失函数的深度卷积神经网络的路面类型估算方法 - Google Patents

Abstract

本发明公开了一种基于无损失函数的深度卷积神经网络的路面类型估算方法，包括步骤一、采集路面工况图像，对路面类型进行标定并建立路面工况数据库；对图像基于无损失函数的深度卷积神经网络进行训练，获取图像特征并进行二值化哈希编码与直方图处理得到图像的特征输出向量；根据图像的特征输出向量及其对应的路面类型对支持向量机进行训练并选定参数，确定路面类型判别函数；步骤二、采集待测路面工况图像，并根据所述步骤一获得待测路面的特征输出向量，采用训练好的支持向量机确定待测路面类型。简化了卷积神经网络深度学习模型对图像的特征提取，并利用支持向量机进行图像分类，大大减少了卷积训练的难度，提高了分类效率。

Description

一种基于无损失函数的深度卷积神经网络的路面类型估算 方法

技术领域

本发明涉及汽车动力总成控制领域，更具体的是，本发明涉及一种基于无损失函数的深度卷积神经网络的路面类型估算方法。

背景技术

路面附着系数作为汽车主动安全控制策略的重要参数，假设能够实时估算出参数值，控制系统可以根据当前路面工况和车辆行驶状态实时调整控制策略，这样可以避免因路况附着条件差而引发的交通事故，提高汽车的安全性、操稳性、经济性以及舒适性。

目前，国内外的大部分学者都采用根据常用车载传感器测量汽车在不同路面行驶时车身或车轮产生的运动响应来估算路面附着系数，但是该估算方法是在轮胎接触路面之后估算路面附着系数，且各种方法或是够识别的路面类型单一或是受限于估算条件或是受限于估算工况等。

近年来，得益于软硬件技术的突飞猛进式的发展，视觉传感器性能的提高以及价格的下降以及日新月异的图像处理以及视觉技术，第一类估算方法的成本下降，基于机器视觉(例如图像，视频等)的主动路面识别技术逐渐成为研究热点。

发明内容

本发明设计开发了一种基于无损失函数的深度卷积神经网络的路面类型估算方法，简化了卷积神经网络深度学习模型对图像的特征提取，并利用支持向量机进行图像分类，大大减少了卷积训练的难度，提高了分类效率。

本发明提供的技术方案为：

一种基于无损失函数的深度卷积神经网络的路面类型估算方法，包括如下步骤：

步骤一、采集路面工况图像，对路面类型进行标定并建立路面工况数据库；对图像基于无损失函数的深度卷积神经网络进行训练，获取图像特征并进行二值化哈希编码与直方图处理得到图像的特征输出向量；根据图像的特征输出向量及其对应的路面类型对支持向量机进行训练并选定参数，确定路面类型判别函数；

步骤二、采集待测路面工况图像，并根据所述步骤一获得待测路面的特征输出向量，采用训练好的支持向量机确定待测路面类型。

优选的是，所述步骤一中，对图像进行训练之前，对图像进行中值滤波以及白平衡预处理，减少数字图像中的噪声并校正有色偏的图像。

优选的是，所述无损失函数的深度卷积神经网络包括：第一层主成分分析、第二层主成分分析和第三层输出层，其中，第一层主成分分析和第二层主成分分析均为卷积核训练，第三层输出层为通过哈希编码与直方图量化得到图像的特征输出向量。

优选的是，所述第一层主成分分析的卷积核训练包括：

步骤1：取N张训练图像图像像素尺寸为m×n，卷积核尺寸为k₁×k₂；

步骤2：对第i张图片的每个像素点周围取k₁×k₂大小的局部特征，对第i张图像中所有的局部特征去均值化得

其中，x_i,j为第i张图像中第j个向量化的局部特征，为第i张图像中第j个向量化的局部特征去均值；

对N张训练图像进行局部特征去均值化得X：

步骤3：选取XX^T的前L₁个最大特征值对应的特征向量：

其中，表示L₁×L₁大小的单位矩阵；

步骤4：获取第一层主成分分析的滤波表达式：

其中，mat_k1,k2(v)为重构函数，使得向量转变为卷积核 为矩阵XX^T的第l₁个主特征向量；

步骤5：获取第一层主成分分析得到的特征图

优选的是，所述第二层主成分分析的卷积核训练包括：

步骤1：对第i张特征图中的所有局部特征归一化得

其中，为中第j个向量化的局部特征，表示为中第j个向量化的局部特征去中心化；

步骤2：对N×L₁张特征图进行局部特征归一化得

步骤3：选取YY^T的前L₂个最大特征值对应的特征向量：

其中，表示L₂×L₂大小的单位矩阵；

步骤4：获取第二层主成分分析的滤波表达式：

其中，mat_k1,k2(v)为重构函数，使得向量转变为卷积核 表示矩阵YY^T的第l₂个主特征向量；

步骤5：获取第二层主成分分析得到的特征图

优选的是，所述第三层输出层通过哈希编码与直方图量化得到图像的特征输出向量，具体包括：

步骤1：将第二层主成分分析得到的特征图进行二值化：

其中，为特征图二值化后的值，H(.)表示Heaviside阶跃函数，所有大于0的值转化为1，所有小于0的值转化为0；

步骤2：将每L₂张特征图加权相加映射为一张特征图

步骤3：对于N×L₁张加权相加映射后的特征图将其分成B个块，并对每一块计算对应的直方图，将所有对应的直方图特征进行级联得到第i张图像的特征输出向量Z_i：

步骤4：获得N张图像的特征输出向量Z：

Z＝[Z₁,Z₂,…,Z_i,…,Z_N]。

优选的是，在所述步骤一中，所述确定路面类型判别函数包括：

步骤1：将N张图像对应的k种路面类型两两组合，并将其对应的特征输出向量分别作为训练集将输入支持向量机进行训练，所述支持向量机的核函数为线性核函数；

其中，为将k种路面类型两两组合的组合数；Z_p,δ为第δ种组合中的两种路面类型的训练图像的特征输出向量，当时，d_p,δ＝-1；当

步骤2：确定k种路面类型两两组合的路面类型判别函数为：

其中，sgn(x)为符号函数，当x＞0时，sgn(x)＝1，当x＜0时，sgn(x)＝-1；f(Z)_δ为第δ种组合的路面判别函数；为判别因子矩阵；Z^ζ为待测路面的特征输出向量；f(Z)_δ＝-1时，待测路面为第δ种组合中的型路面；f(Z)_δ＝1时，待测路面为第δ种组合中的型路面。

优选的是，所述步骤二包括：

步骤1：初始化k种路面的判定值A₁,A₂,...,A_ω,...,A_k，使得A₁＝A₂＝…＝A_ω＝…＝A_k＝0；

步骤2：将待测路面的特征输出向量Z^ζ分别输入k种路面类型两两组合的路面类型判别函数f(Z)_δ，当判定待测路面属于ω型路面时，A_ω＝A_ω+1；

步骤3：输出判定值max(A₁,A₂,...,A_ω,...,A_k)对应的路面类型为待测路面的路面类型。

优选的是，在所述步骤一中，还包括判别因子矩阵的确定：

步骤3：采用二次规划方法求解目标函数：

得到最优拉格朗日乘子

步骤4：获得最优权值W_0,δ：

步骤5：获得最优偏置b_0,δ：

b_0,δ＝1-W_0,δ ^TZ_s,δ；

其中，Z_s,δ为样本库中的一个正的支持向量。

优选的是，所述路面类型包括干沥青路面、湿混凝土路面、湿滑路面和冰雪路面。

本发明所述的有益效果：

1)本发明采用的主成分分析网络是一种基于卷积神经网络的简化深度学习模型，在卷积层中采用主成分分析训练，大大减少了卷积训练难度，提高了效率，节省了参数训练时间；

2)该方法采用支持向量机进行分类，解决了神经网络中无法避免的局部最优解问题，在分类方面泛化性能力好。

附图说明

图1为本发明所述基于无损失函数的深度卷积神经网络的路面类型估算方法的工作流程图。

图2为本发明所述图像基于无损失函数的深度卷积神经网络训练的结构图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1、2所示，本发明提供一种基于无损失函数的深度卷积神经网络的路面类型估算方法，包括如下步骤：

步骤1：采集路面工况图像，对路面类型进行标定并建立路面工况数据库(即已经确定了路面类型，以便作为训练样本进行训练)。

步骤2：对输入图像进行去噪以及白平衡预处理，减少数字图像中的噪声并校正有色偏的图像。

步骤3：对图像基于无损失函数的深度卷积神经网络进行训练，首先进行第一层主成分分析的卷积核训练，具体包括：

步骤3.1：取数据库中的N张训练图像(已知路面类型)，图像像素尺寸为m×n，卷积核尺寸为k₁×k₂；

步骤3.2：对于每张训练图像I_i，在每个像素周围采用尺寸k₁×k₂的patch(块，通常为3×3、5×5、7×7)来滑动选取图像的局部特征。每张m×n大小的图片经过滑动窗口提取局部特征之后，就变成了m×n个k₁×k₂大小的patch。定义第i张图像中第j个无重叠(重叠)向量化的patch为

步骤3.3：对第i张图像中所有的patch去均值化后可得：

其中，表示一个去均值后的patch。

对N张训练图像进行patch去均值化后，可得：

步骤3.4：令第1层中的滤波器数为L₁，对X矩阵做主成分分析(PCA)操作寻找一些列的标准正交滤波器来最小化重构误差：

其中，表示L₁×L₁大小的单位矩阵。PCA的作用是选取XX^T的前L₁个最大特征值对应的特征向量，作为阶段的滤波器。

步骤3.5：由此，第一层PCA滤波器表达式为：

其中，mat_k1,k2(v)作为重构函数使得向量转变为卷积核 为矩阵XX^T的第l₁个主特征向量。这些向量反映了去均值后的训练集的主要变化方向，并最终转化为卷积核矩阵来提取图像中的特征。至此，PCA第一层卷积核训练完成。

步骤3.6：经过第一层PCA卷积核卷积获取特征图

得到L₁×N张第二阶段的训练图片。

其中，*表示2D卷积操作，为了使卷积后的特征图I_i ^l1的维度与输入图像I_i的维度相同，输入图像I_i在卷积之前需要进行补零操作。

步骤4：再进行第二层主成分分析(PCA)的卷积核训练，具体包括：

步骤4.1：定义特征图中的第j个无重叠(重叠)向量化的patch为对这些向量化的patch做归一化后可得到：

其中，表示为中第j个去中心化后的patch。

对N×L₁张特征图进行局部特征归一化得

则所有的特征图可以表示为：

步骤4.2：令第2层中的滤波器数为L₂，对Y矩阵做PCA操作寻找一些列的标准正交滤波器来最小化重构误差：

其中，表示L₂×L₂大小的单位矩阵。PCA的作用是选取YY^T的前L₂个最大特征值对应的特征向量，作为下一阶段的滤波器。

步骤4.3：由此，第二层PCA滤波器表达式为：

其中，mat_k1,k2(v)作为重构函数使得向量转变为卷积核 表示矩阵YY^T的第l₂个主特征向量。这些向量反映了去中心化后的训练集的主要变化方向，并最终转化为卷积核矩阵来提取图像中的特征。

步骤4.4：对第二层的每个输入经过第二层卷积后会产生L₂张m×n大小的特征图，经过第二层PCA卷积核卷积获取特征图

其中，*表示卷积操作，PCA第二层的输出特征图数是N×L₁×L₂。经过两次PCA卷积核训练，即可将它们叠加成一个深度主成分分析网络(PCANet)进行图像特征提取。至此，PCA第二层卷积核训练完成。

步骤5：第三层输出层二值化哈希编码与直方图量化，具体包括：

步骤5.1：在PCA的第二层卷积核训练中，对于第二层中的输入图像的L₁个特征图有L₂个实际输出将第二层主成分分析得到的特征图进行二值化：

其中，为特征图二值化后的值，H(.)表示Heaviside阶跃函数，所有大于0的值转化为1，所有小于0的值转化为0；

步骤5.2：PCANet采用Heaviside阶跃函数来二值化这些输出后的特征图，并且将每L₂张特征图加权相加来映射成为一张特征图：

其中，表示加权相加映射后的特征图，每个像素在中的取值范围为

步骤5.3：对于L₁幅图像L₁中的每幅图像做如下操作：将其分成B个块，并且对每一块计算对应的直方图，最终将所有对应的直方图特征进行级联成一个完整向量。经过编码之后，原始输入图像I_i所对应的特征可以表示为块状直方图集：

其中，Z_i表示第i张输入图像最终的特征输出向量。

步骤5.4：获得N张图像的特征输出向量Z：

Z＝[Z₁,Z₂,…,Z_i,…,Z_N]。

步骤6：将训练集图像提取特征输入支持向量机(SVM)，对支持向量机参数进行训练，支持向量机训练过程包括步骤：

步骤6.1：将N张图像对应的k种路面类型两两组合，并将其对应的特征输出向量分别作为训练集将输入支持向量机(SVM)进行训练，所述支持向量机的核函数为线性核函数；

其中，为将k种路面类型两两组合的组合数；Z_p,δ为第δ种组合中的两种路面类型的训练图像的特征输出向量，当时，d_p,δ＝-1；当

步骤6.2：确定k种路面类型两两组合的路面类型判别函数为：

其中，sgn(x)为符号函数，当x＞0时，sgn(x)＝1，当x＜0时，sgn(x)＝-1；f(Z)_δ为第δ种组合的路面判别函数；为判别因子矩阵；Z^ζ为待测路面的特征输出向量；f(Z)_δ＝-1时，待测路面为第δ种组合中的型路面；f(Z)_δ＝1时，待测路面为第δ种组合中的型路面。

步骤6.3：采用二次规划方法求解目标函数：

得到最优拉格朗日乘子

步骤6.4：获得最优权值W_0,δ：

步骤6.5：获得最优偏置b_0,δ：

b_0,δ＝1-W_0,δ ^TZ_s,δ；

其中，Z_s,δ为样本库中的一个正的支持向量。

步骤7：采集待测路面工况图像，并根据步骤2-5获得待测路面的特征输出向量，采用训练好的支持向量机确定待测路面类型，具体包括：

步骤7.1：初始化k中路面的判定值A₁,A₂,...,A_ω,...,A_k，使得A₁＝A₂＝…＝A_ω＝…＝A_k＝0；

步骤7.2：将待测路面的特征输出向量Z^ζ分别输入k种路面类型两两组合的路面类型判别函数f(Z)_δ，当判定待测路面属于ω型路面时，A_ω＝A_ω+1；

步骤7.3：输出判定值max(A₁,A₂,...,A_ω,...,A_k)对应的路面类型为待测路面的路面类型。

具体说明：假设路面工况条件有干沥青路面、湿混凝土路面、湿滑路面、冰雪路面四种时，做法是任意两类样本之间设计一个SVM，因此四种路面工况情况下需要设计6个SVM。干沥青路面、湿混凝土路面、湿滑路面、冰雪路面分别用A、B、C、D四个字母代替。训练时，路面样本类型两两组合：A,B；A,C；A,D；B,C；B,D；C,D所对应的特征输出向量作为训练集训练，然后得到六个训练结果即路面类型判别函数，在测试待测路面类型时，把待测路面的特征输出向量分别对六个判别函数进行测试，然后采取投票形式，最后得到一组结果。投票过程如下；

初始化样本A、B、C、D的判定值，A＝B＝C＝D＝0；

将待测路面的特征输出向量对(A，B)对应的判别函数进行测试，如果待测路面识别出是路面工况A，则A＝A+1；否则B＝B+1；

将待测路面的特征输出向量对(A，C)对应的判别函数进行测试，如果对待测样本识别出是路面工况A，则A＝A+1；否则C＝C+1；

以此类推，

直到将待测路面的特征输出向量对(C，D)对应的判别函数进行测试，如果对待测样本识别出是路面工况C，则C＝C+1；否则D＝D+1；

最后路面类型输出结果为max(A,B,C,D)，即得票最多的路面工况条件为待测路面的路面类型。

用车载相机采集已知路面类型的图片，并根据GB13594-1992的要求对每种路面类型下的路面附着系数进行标定，建立图像数据库。路面类型以及其对应的路面附着系数范围如表1所示:

即可根据本发明提供的方法确定路面类型，并根据表1估算对应的路面附着系数。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，包括如下步骤：

步骤一、采集路面工况图像，对路面类型进行标定并建立路面工况数据库；对图像基于无损失函数的深度卷积神经网络进行训练，获取图像特征并进行二值化哈希编码与直方图处理得到图像的特征输出向量；根据图像的特征输出向量及其对应的路面类型对支持向量机进行训练并选定参数，确定路面类型判别函数；

步骤二、采集待测路面工况图像，并根据所述步骤一获得待测路面的特征输出向量，采用训练好的支持向量机确定待测路面类型。

2.如权利要求1所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，所述步骤一中，对图像进行训练之前，对图像进行中值滤波以及白平衡预处理，减少数字图像中的噪声并校正有色偏的图像。

3.如权利要求1或2所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，所述无损失函数的深度卷积神经网络包括：第一层主成分分析、第二层主成分分析和第三层输出层，其中，第一层主成分分析和第二层主成分分析均为卷积核训练，第三层输出层为通过哈希编码与直方图量化得到图像的特征输出向量。

4.如权利要求3所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，所述第一层主成分分析的卷积核训练包括：

步骤1：取N张训练图像图像像素尺寸为m×n，卷积核尺寸为k₁×k₂；

步骤2：对第i张图片的每个像素点周围取k₁×k₂大小的局部特征，对第i张图像中所有的局部特征去均值化得

其中，x_i,j为第i张图像中第j个向量化的局部特征，为第i张图像中第j个向量化的局部特征去均值；

对N张训练图像进行局部特征去均值化得X：

步骤3：选取XX^T的前L₁个最大特征值对应的特征向量：

其中，表示L₁×L₁大小的单位矩阵；

步骤4：获取第一层主成分分析的滤波表达式：

其中，mat_k1,k2(v)为重构函数，使得向量转变为卷积核 为矩阵XX^T的第l₁个主特征向量；

步骤5：获取第一层主成分分析得到的特征图

5.如权利要求4所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，所述第二层主成分分析的卷积核训练包括：

步骤1：对第i张特征图中的所有局部特征归一化得

其中，为中第j个向量化的局部特征，表示为中第j个向量化的局部特征去中心化；

步骤2：对N×L₁张特征图进行局部特征归一化得

步骤3：选取YY^T的前L₂个最大特征值对应的特征向量：

其中，表示L₂×L₂大小的单位矩阵；

步骤4：获取第二层主成分分析的滤波表达式：

其中，mat_k1,k2(v)为重构函数，使得向量转变为卷积核 表示矩阵YY^T的第l₂个主特征向量；

步骤5：获取第二层主成分分析得到的特征图

6.如权利要求5所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，所述第三层输出层通过哈希编码与直方图量化得到图像的特征输出向量，具体包括：

步骤1：将第二层主成分分析得到的特征图进行二值化：

其中，为特征图二值化后的值，H(.)表示Heaviside阶跃函数，所有大于0的值转化为1，所有小于0的值转化为0；

步骤2：将每L₂张特征图加权相加映射为一张特征图

步骤3：对于N×L₁张加权相加映射后的特征图将其分成B个块，并对每一块计算对应的直方图，将所有对应的直方图特征进行级联得到第i张图像的特征输出向量Z_i：

步骤4：获得N张图像的特征输出向量Z：

Z＝[Z₁,Z₂,…,Z_i,…,Z_N]。

7.如权利要求6所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，在所述步骤一中，所述确定路面类型判别函数包括：

步骤1：将N张图像对应的k种路面类型两两组合，并将其对应的特征输出向量分别作为训练集将输入支持向量机进行训练，所述支持向量机的核函数为线性核函数；

其中，为将k种路面类型两两组合的组合数；Z_p,δ为第δ种组合中的两种路面类型的训练图像的特征输出向量，当时，d_p,δ＝-1；当d_p,δ＝1；

步骤2：确定k种路面类型两两组合的路面类型判别函数为：

其中，sgn(x)为符号函数，当x＞0时，sgn(x)＝1，当x＜0时，sgn(x)＝-1；f(Z)_δ为第δ种组合的路面判别函数；b_0,δ为判别因子矩阵；Z^ζ为待测路面的特征输出向量；f(Z)_δ＝-1时，待测路面为第δ种组合中的型路面；f(Z)_δ＝1时，待测路面为第δ种组合中的型路面。

8.如权利要求7所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，所述步骤二包括：

步骤1：初始化k种路面的判定值A₁,A₂,...,A_ω,...,A_k，使得A₁＝A₂＝…＝A_ω＝…＝A_k＝0；

步骤2：将待测路面的特征输出向量Z^ζ分别输入k种路面类型两两组合的路面类型判别函数f(Z)_δ，当判定待测路面属于ω型路面时，A_ω＝A_ω+1；

步骤3：输出判定值max(A₁,A₂,...,A_ω,...,A_k)对应的路面类型为待测路面的路面类型。

9.如权利要求7或8所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，在所述步骤一中，还包括判别因子矩阵的确定：

步骤3：采用二次规划方法求解目标函数：

得到最优拉格朗日乘子

步骤4：获得最优权值W_0,δ：

步骤5：获得最优偏置b_0,δ：

b_0,δ＝1-W_0,δ ^TZ_s,δ；

其中，Z_s,δ为样本库中的一个正的支持向量。

10.如权利要求9所述的基于无损失函数的深度卷积神经网络的路面类型估算方法，其特征在于，所述路面类型包括干沥青路面、湿混凝土路面、湿滑路面和冰雪路面。