CN109886161B - 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法 - Google Patents

Abstract

本发明公开了一种基于可能性聚类和卷积神经网络的道路交通标识识别方法，包括以下步骤对图像数据集进行预处理，所述预处理包括归一化操作、数据增强、色彩增强以及使用极大化类间距离的可能性聚类算法与Hu不变矩相结合进行降噪和特征提取，得到训练数据集；构建卷积神经网络模型，并利用所述训练数据集对所述卷积神经网络模型进行充分训练，利用训练后的网络模型对图像进行分类识别。效果：采用归一化与数据增强对数据集进行预先操作使得满足卷积神经网络模型结构对数据集的要求，能够减少了网络模型训练时间并保证了识别的准确率。

Description

一种基于可能性聚类和卷积神经网络的道路交通标识识别 方法

技术领域

本发明涉及计算机视觉图像处理的技术领域，尤其涉及一种基于可能性聚类和卷积神经网络的道路交通标识识别方法。

背景技术

近年来在道路交通中，已经有很多方法来识别和检测道路交通标志，因道路交通标志具有独特的形状与颜色特征，对其的识别与检测主要有基于色彩空间的识别与检测方法、基于形状特征的识别与检测方法和采用两者结合或融入神经网络知识进行的智能检测识别方法。其中，HsiuMing等人利用交通标志中的R层信息对图像进行分割粗略提取出了交通标志的候选区域，基于YCbCr色彩空间进行的颜色阈值分割方法只需要根据像素的Cb、Cr分量进行，具有受亮度等变化影响较小的特点，提高了分辨率，但是基于色彩空间的识别检测方法在日渐复杂与鲜艳的图像中显得越来越无力。基于形状特征的交通标志识别与检测最早为Piccioli等提出的一种基于交通标志特定形状为模版的边缘检测的模版匹配识别方法，后人逐渐改进有SNCC算法、SIFT算法等。现今多采用多尺度多空间相结合的算法进行识别，比如基于SVM分类算法的、基于遗传算法的、基于贝叶斯和马尔科夫随机场的、基于OSPA距离和特征点采样的以及基于卷积神经网络的交通标志识别算法，这些算法在交通标志的识别与检测中有着较好的速率，并且也有较高的识别准确率，但是很多都是针对特定的情况，缺乏普适性。

近年来随着科技的进步，深度学习模型开始在各大领域中应用，并展现出强大的优势。深度学习模型可以看作是由多个人工神经网络层组成，通过构建含有多个隐层的神经网络模型，将低层特征通过逐层非线性特征组合变换，形成更加抽象的高层特征表达，以发现数据的分布式特征表示。卷积神经网络是深度学习模型最常用的模型之一，其局部连接、权值共享和下采样的特性相比全连接减少了网络参数数量，降低了计算的复杂度，同时对图像的平移、缩放、旋转等具有高度的不变性。但是神经网络结构复杂，高识别率伴随着高的训练时间，缺乏实用性。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明目的是提供一种基于可能性聚类和卷积神经网络的道路交通标识识别方法，一定程度上解决了要想达到较高的识别准确率，神经网络模型需要异常庞大的问题，采用较小的神经网络结构模型，用较少的训练时间，来达到较高的识别率。

为解决上述技术问题，本发明提供如下技术方案：一种基于可能性聚类和卷积神经网络的道路交通标识识别方法，包括以下步骤，

对图像数据集进行预处理，所述预处理包括归一化操作、数据增强、色彩增强以及使用极大化类间距离的可能性聚类算法与Hu不变矩相结合进行降噪和特征提取，得到训练数据集；

构建卷积神经网络模型，并利用所述训练数据集对所述卷积神经网络模型进行充分训练，利用训练后的网络模型对图像进行分类识别。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：所述预处理包括以下步骤，

用双三次插值法和旋转法对图像数据集进行归一化和数据增强操作；

结合RGB和YCbCr色彩空间模型，对图像进行色彩增强；

使用极大化类间隔的可能性聚类算法和HU不变矩对数据集进行降噪和特征提取。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：所述双三次插值法是在图像归一到128x128大小的时候采取的插值规则，对小于128尺寸图片进行的插值方法和对于大于128尺寸的图片保留相应的像素采取的方法。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：所述数据增强为针对数据集中部分类别数据量较少的数据集采用旋转增强法进行数据增强。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：所述色彩增强包括以下步骤，

通过提取亮度阈值的图像为光照强度较为正常的图像，

低于此值的用：R＝R+(1-R).×R*k(k为一个可调节参数)进行曝光增强，

高于此值的使用：R＝R-(1-R).×R*k(k是一个可调节参数)方法进行过曝补偿，

其中R代表图像在RGB色彩模型中R层的信息。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：使用所述极大化类间隔的可能性聚类算法进行图像分割，包括以下步骤，

其中前半部分为核可能性聚类算法，c(c＞1)为聚类个数；n是样本个数；V＝[v₁,v₂,K,v_c]聚类中心矩阵；U＝[u_ij]_c×n是可能性矩阵，其中u_ij表示第j个样本属于第i个聚类中心的可能程度，v_i表示第i类别的聚类中心点；后面代表使得类中心间距极大化的惩罚项，其中λ为可调控因子，惩罚项如下：

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：对分割后的图像进行特征提取，使用所述Hu不变矩对分割后的图像进行提取形成一个mask掩膜，后结合原图像与掩膜把特征区域提取出来，因此一个轮廓的(p,q)矩定义如下：

其中p和q分别表示x维度和y维度的矩，阶数代表其中对应部分的指数。对于离散的数字图像f(x，y)，其阶标准矩定义如下：

p+q阶中心矩定义为：

其中和/>代表图像的重心：

归一化的中心矩定义为：其中：r＝(p+q)/2+1。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：构建的所述卷积神经网络包括卷积层、池化层和全连接层，并融合残差网络和Squeeze-and-Excitation模块思想。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：所述局部响应归一化为：

借鉴侧抑制思想来实现局部抑制效果，通过特征层前后几层对中间这一层做平滑约束，即图像处理中的平滑处理，计算方法的公式为：

其中k,n,α,β为超参数，表示第i个核在(x,y)位置的输出，N表示该层中的核的总数。

作为本发明所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法的一种优选方案，其中：所述Squeeze-and-Excitation模块思想为计算单元，能够被任何给定的公式定义：

F_tr:X→U,X∈R^H'×W'×C',U∈R^H×W×C，将F_tr当作一个卷积运算，让V＝[v₁,v₂,...v_C]表示滤波核的集合，其中v_C表示的是第c层滤波的参数；

把输出结果F_tr表示成U＝[u₁,u₂,...u_C]，其中：

*代表卷积，和X＝[x¹,x²,...x^C'](为了简化符号，省略了偏差项)，其中/>是一个二维空间内核，因此代表了每一个单独的通道v_c，而这个通道v_c作用于相应的通道X。

本发明的有益效果：采用归一化与数据增强对数据集进行预先操作使得满足卷积神经网络模型结构对数据集的要求，能够减少了网络模型训练时间并保证了识别的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述基于可能性聚类和卷积神经网络的道路交通标识识别方法的流程图；

图2为本发明第一个实施例所述基于可能性聚类和卷积神经网络的道路交通标识识别方法中卷积神经网络模型的重要模块；

图3为本发明第二个实施例中所述不同层数网络结构的训练状态曲线图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1的示意，本实施例中提出了一种基于极大化类间距离离的可能性聚类算法与融合残差连接和Squeeze-and-Excitation模块思想的卷积神经网络模型对图像进行分类和识别的方法，并将其应用到道路交通安全标识的分类识别中。该方法在一定程度上减少了网络模型训练时间并保证了识别的准确率，且该方法采用归一化与数据增强对数据集进行预先操作使得满足卷积神经网络模型结构对数据集的要求，后使用极大化类间隔的可能性聚类算法与HU不变矩对图像进行预处理，降低噪声和复杂背景对图片的影响，得到完整的数据集；最后放入提出的融合残差链接和Squeeze-and-Excitation思想的神经网络模型中进行训练得到模型后对图像进行分类与识别。

具体的，该基于可能性聚类和卷积神经网络的道路交通标识识别方法，还包括分为两部分：图像预处理和卷积神经网络模型。其中图像预处理部分的目的是通过对图像进行相关操作，使图像的主要特征得到增强，而减少不必要的噪声等对模型训练的影响。卷积神经网络模型部分目的是通过数据集的训练得到一个卷积神经网络模型，通过神经网络模型部分结合残差网络模型简化学习目标，防止梯度爆炸的特性与Squeeze-and-Excitation模块对有用特征的增强与无用特征的抑制，训练出自己的卷积神经网络模型，适用于对道路交通标识进行分类和识别。

首先，需要注意的是神经网络结构模型对于数据集是有对应的要求的，要求为图片大小必须是128X128和需要有足够多的训练样本，我们需要对数据集进行归一化处理以满足神经网络训练要求，同时为了减少数据量太少造成的过拟合和训练时候把不需要的特征给学习进网络模型，我们要对数据集进行数据增强以及预处理操作。

预处理部分包括以下步骤，

步骤1：用双三次插值法和旋转法对数据集进行归一化和数据增强操作，对图像数据集进行归一化处理，使图像大小均为128X128，满足神经网络对图像尺寸的要求，以及对数据集中部分类别数据量较少的数据集进行旋转增强法进行数据增强。本步骤目的是归一化和数据增强对图像数据集进行归一化处理，以满足神经网络模型对训练集的要求，其中双三次插值法是在图像归一到128x128大小时候采取的插值规则，对小于128尺寸的图片进行的插值方法和对于大于128尺寸的图片保留符合要求像素所采取的方法；

步骤2：为了得到一个曝光正常的图片集，即把数据集规范化、防止不必要的因素对后续神经网络学习的的影响，通过上述处理过后的数据集进行光照处理，把过曝图片与曝光不足的图像均调整到一个合理的阈值。

结合RGB和YCbCr色彩空间模型，对图像进行色彩增强，目的是让拍摄到的过曝的和曝光不足的照片得到一定的修复；因为图像在搜集拍摄过程中存在曝光不足或者过曝的情况，需要对图像进行色彩增强预处理来减少给网络模型训练时候带来的误差。因此色彩增强具体为：提取亮度阈值的图像为光照强度较为正常的图像，低于此值的用：R＝R+(1-R).×R*k(k为一个可调节参数)进行曝光增强，高于此值的使用：R＝R-(1-R).×R*k(k是一个可调节参数)方法进行过曝补偿，其中R代表图像在RGB色彩模型中R层的信息。

步骤3：使用极大化类间隔的可能性聚类算法和HU不变矩对数据集进行降噪和特征提取。其中聚类算法在进行图像分割特征提取的时候具有降低噪声的作用，同时可能性聚类算法更加降低了噪声对聚类中心的影响，在使用可能性聚类进行图像分割分离背景和前景进行特征提取的时候有降噪的处理。

本步骤中进一步的，使用极大化类间隔的可能性聚类算法进行图像分割，具体算法如下：

其中前半部分为核可能性聚类算法，c(c＞1)为聚类个数；n是样本个数；V＝[v₁,v₂,K,v_c]聚类中心矩阵；U＝[u_ij]_c×n是可能性矩阵，其中u_ij表示第j个样本属于第i个聚类中心的可能程度，v_i表示第i类别的聚类中心点；后面代表使得类中心间距极大化的惩罚项，其中λ为可调控因子，惩罚项如下：

使用Hu不变矩对分割后的图像进行提取形成一个mask掩膜，后结合原图与掩膜把特征区域提取出来，把mask掩膜与图像进行结合，去掉不需要的背景元素得到所需要的前景图。一个轮廓的(p,q)矩定义如下：

其中p和q分别表示x维度和y维度的矩，阶数代表其中对应部分的指数。对于离散的数字图像f(x,y)，其阶标准矩定义如下：(因为标准矩也是矩，只是这是针对离散图像的标准矩，同样用m_p，q来定义)

p+q阶中心矩定义为：

其中和/>代表图像的重心：

归一化的中心矩定义为：其中：r＝(p+q)/2+1。

经过上述的归一化操作、数据增强、色彩增强、以及使用极大化类间距离的可能性聚类算法与Hu不变矩相结合分离前景和背景提取特征，来得到一个完整的训练数据集。其中完整的训练数据集是指：通过归一化满足图片大小，数据增强对图片量少的数据进行增加、进行色彩增强、以及可能性聚类与Hu不变矩相结合分离前景背景提取特征等操作来得到一个满足卷积神经网络学习训练的数据集。

构建卷积神经网络模型训练并识别具体包括以下步骤：

结合残差网络思想与Squeeze-and-Excitation模块思想，构建出新的网络结构模型并进行充分训练部分；用充分训练后的模型结构对数据集进行分类识别，检测识别率。卷积神经网络模型中结合残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。

进一步的，今年来深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。卷积神经网络是神经网络的一种，该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。具有稀疏连接和权值共享的特性减少了训练参数，降低了复杂度，使其变得简单，同时其良好的容错能力、并行处理能力和自学习能力使其能允许样品有较大缺损畸变并能处理复杂的环境信息，近年来引起众多科学领域广泛关注。

卷积神经网络主要由卷积层、池化层和全连接层组成，这些层是卷积神经网络模型中的最重要的操作层，也是每个卷积神经网络必存在的层。本实施例中的改进是增加并结合了其他层，通过训练部分把训练数据集放入神经网络框架中，通过卷积、池化以及全连接等操作得到特征的分类并反向印证，学习到模型，使得图像通过模型后能得到更准确的分类，这是一个自学习的过程。进一步的，其中：

卷积层：通过卷积运算后得到的一组featuremaps，是通过不同的卷积核进行卷积操作得到的一组特征层，经过此操作的图像能够使得特征增强并降低噪声，是卷积神经网络中特征学习的最重要部分。一个可学习的卷积核与前一层若干个featuremaps作卷积运算，将对应元素累加后再加一个偏置，传给一个非线性激活函数，如ReLU函数、Sigmoid函数，得到一个featuremaps，即实现了一个特征的提取，计算公式如所示。我们通过使用多个不同的卷积核来实现不同特征的提取：

其中，l表示层数，k_ij表示连接第l层的特征mapj与第l-1层的特征mapi的卷积核，M^l-1表示第l-1层选择的输入特征maps，*表示卷机操作，b表示偏置，f(·)表示非线性激活函数。

池化层：通过取区域最大值或平均值对卷积操作后的featuremap做下采样，通过数据降维来降低下一层数据的输入量，从而减少网络的参数个数和计算量。池化层下采样的主要目的是混淆特征的具体位置，某特征找出来后我们只需要知道这个特征与其他的相对位置，这样能够使其应对扭曲和变形的环境。

全连接层：通过采用的Softmax函数来进行全连接操作，其得到的激活值即是卷积神经网络提取到的特征。Softmax回归是在逻辑回归上的扩展，是为了解决现实中的多分类问题。假设有N幅输入图像每幅图像的标记{y_i∈{1,2,3,...,k},k≥2}，共k类，对于给定的测试图像x_i，用假设函数估计出其属于每个类别j的概率值p(y_i＝j|x_i)，则假设函数h_θ(x_i)为：

Softmax分类器的损失函数为：

其中1{y_i＝j}为指示性函数其取之规则为：1{值为真的表达式}＝1，1{值为假的表达式}＝0。最后通过随机梯度下降算法最小化误差函数。

局部响应归一化：借鉴侧抑制思想来实现局部抑制效果，通过特征层前后几层(同一位置的点)对中间这一层做平滑约束，即图像处理中的平滑处理，计算方法的公式为：

其中k,n,α,β为超参数，表示第i个核在(x,y)位置的输出，N表示该层中的核的总数。

Squeeze-and-Excitation模块就是一个计算单元，可以被任何给定的公式定义：F_tr:X→U,X∈R^H'×W'×C',U∈R^H×W×C，我们把F_tr当作一个卷积运算，让V＝[v₁,v₂,...v_C]表示滤波核的集合，其中v_C表示的是第c层滤波的参数。我们可以把输出结果F_tr表示成U＝[u₁,u₂,...u_C]，其中

*代表卷积，和X＝[x¹,x²,...x^C'](为了简化符号，省略了偏差项)，其中/>是一个二维空间内核，因此代表了每一个单独的通道v_c，而这个通道v_c作用于相应的通道X。

实施例2

本实施例中将上述实施例中提出的基于可能性聚类和卷积神经网络的道路交通标识识别算法，用两个不同的数据集：比利时数据库和德国道路交通标识标准数据库，对多种经典的卷积神经网络模型与本申请提出的模型进行对比，其中有经典的LeNet-5、AlexNet网络模型以及普通的6层，7层、8层网络模型进行多次训练识别，并在两种不同数据集上均进行训练识别，得到其识别的准确率和其损失值，经过实验数据可得，本实施例提出的模型在两种不同数据库上的识别表现均比现已有的模型识别率较高。对比利时交通标识数据库和德国道路交通标示标准数据库的识别率均可以达到95％以上。

具体的如下，本实施例实验所使用的数据库是来自比利时交通标识数据库和德国交通标识标准数据库，比利时交通标识数据库分为62个类别，其中包含训练集图片4590张，测试集图片2520张；而在德国交通标识标准数据库中，把交通标示图片分为43类，其中训练集有39209张图片而测试集有12630张图片。数据集中的图片大小从15×15到250×250不等，并且有些图片并不是正方形。因为有些类别的训练数据集中图片的数据量很少，导致训练误差很大，所以在这些类别上进行数据增强，最后我们得到了比利时交通标识数据库的训练集含有6272张图片，德国交通标识标准数据库的训练集含有51989张图片。本实施例中模型均在DellPrecisionT7910，E5-2600v4八核CPU，32G内存，NVIDIAQUADROM20004GGPU上进行训练，使用的Caffe框架，采用的随机梯度下降法进行优化求解，神经网络的初始学习率为0.001，单张图片识别时间为0.023秒。实验的多空间光照处理、归一化与数据增强算法均由Matlab2016b实现，不做详述。

本实施例中的数据集图片均统一大小为(128×128)使得网络模型中crop_size大小固定为128，把预处理好的数据集转化为LMDB的数据格式存储，加快网络运算效率，同时分别计算出训练集和测试集的数据均值存储在“.binaryproto”文件中，为了减少不同变量带来的实验对比误差，此处设置的训练集的batch_size大小为100，而测试集的batch_size大小为10，本实施例搭建的卷积神经网络模型通过最小化损失函数来衡量实验结果的好坏，在网络模型训练优化的过程中，随着迭代次数的增加，损失值逐渐减小且准确率逐步上升，最后稳定收敛于某个值即表示网络模型已对数据集进行了充分的学习训练。

基于经典的Alexnet网络模型，通过改变各层次的特征输出值、卷积核大小以卷积运算中加的边的大小和步伐大小等相关参数来适应所使用的数据集模型，同时通过分别减少或者加深不同等级的网络层次，增加数据集的预处理过程，引入残差连接和Squeeze-and-ExcitationNetworks的思想来进行多次实验，进行实验结果的比对。

表1为相关网络结构的层次模型和模型中参数的具体设定；表2和表3分别为在比利时交通标识数据集和德国交通标识标准数据集上未经过预处理的元数据集不同网络深度模型对实验结果的影响。

表1网络结构模型和参数设定：

Table1:Networkstructuremodelandparametersetting.

表2不同网络深度下的准确率以及损失值(比利时数据库)

Table2:Accuracyofdifferentnetworkdepthandlossvalue.(BelgiumTSC)

表3不同网络深度下的准确率以及损失值(德国标准数据库)

Table3:Accuracyofdifferentnetworkdepthandlossvalue.(GTSRB)

参照图3的示意，为不同层数网络结构的训练状态曲线图，网络模型均迭代了30000次，且分别对其进行了多次实验，取其中三次实验结果，通过取其最佳结果能发现，单一的增加网络的深度并不一定能增加准确率，因为梯度弥散问题，会导致深层次的网络模型退化产生更大的误差甚至导致网络模型无法收敛，实验增加到10层网络结构后发现网络模型无法收敛，导致准确率很低以及损失值很高。

本实施例中使用比利时交通标识数据库来训练几个经典的网络模型和我们自己提出的MRESE网络模型(即上述实施例提出的改进训练后的卷积神经网络)，下表6显示了相应的训练时间。从表中可以看出，随着网络层数的增加，训练时间也在增加，然而网络层数的增加与识别的精度并不是正相关的，所以我们所以不应该盲目的增加训练层数。残差连接通过使用残差函数来拟合多个卷积层的数据，从而减少了训练时间。而Squeeze-and-Excitation网络模型通过对图像的特征进行压缩来获得特征权重，并甲醛到原始特征上，这样在计算量上有一定程度的增加从而是训练时间增加。

对于图像是否进行预处理、引入残差连接和Squeeze-and-Excitation网络模型，本实施例采用经典的LeNet-5模型、原始AlexNet模型与上述准确率最高的8层网络模型结构与本实施例MRESE模型做对比，其中四种网络模型结构的学习率均为0.001，momentum设置为0.9，而学习率下降策略(lr_policy)选择的是step函数，表4和表5展示了不同网络模型迭代3000次取其最佳结果的准确率和损失值。从数据可以明显感受到，对于图像进行了预处理，减少光照和背景因素影响以及对数据进行数据增强以防止过拟合现象能增加网络模型的识别率，同时引入残差连接优化网络模型结构能很大的提高准确率，结合两者所产生的本实施例算法在对德国道路交通标识标准数据库(GTSRB)上的准确率高达99.02％。实验表明，有效的数据预处理能够减少不必要的特征学习到网络模型中，同时数据增强有效的避免由于训练样本不足导致的过拟合问题，机器学习模型训练过程中，模型因为训练集不足，对少量的训练数据反复学习导致学习过度，将数据中包含的噪声和误差也学习了，使得模型在训练集上表现很好，而在测试集上表现很差的一种现象。即完全学习了某种特征，而带有一点差异就识别不出来。最后残差连接和Squeeze-and-Excitationblock思想的引入能够在保持训练时间不过分增加的同时加深网络学习深层特征不出现梯度弥散问题，神经网路使用梯度下降算法，在梯度下降中，随着算法反向反馈到前面几层，梯度会越来越小，最终，没有变化，这时或许还没有收敛到比较好的解，这就导致了梯度弥散或者消失。过拟合和梯度弥散均为神经网络模型一直想要降低减少的方面，各种方法的采用均为减少这俩样因为数据拟合上带来的误差，有效提高了识别的准确率。

表4图像预处理与残差连接对网络模型影响(比利时数据库)

Table4:Theinfluenceofimagepreprocessingandresidualconnectiononnetworkmodel.(BelgiumTSC)

表5图像预处理与残差连接对网络模型影响(德国数据库)

Table5:Theinfluenceofimagepreprocessingandresidualconnectiononnetworkmodel.(GTSRB)

表6训练时间(比利时数据库)

Table6:Thetrainingtime.(BelgiumTSC)

上述图像识别的方法，仅适用于道路交通标识图像，且各国的道路交通标识图像特征不都相同，实际应用中，当然还可以根据需要而将上述方法运用于不同的地方进行实验分析。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于可能性聚类和卷积神经网络的道路交通标识识别方法，其特征在于：包括以下步骤，

对交通标识数据库中的图像数据集进行预处理，所述预处理包括归一化操作、数据增强、色彩增强以及使用极大化类间距离的可能性聚类算法与Hu不变矩相结合进行降噪和特征提取，得到训练数据集；

构建卷积神经网络模型，并利用所述训练数据集对所述卷积神经网络模型进行充分训练，利用训练后的网络模型对图像进行分类识别；

所述卷积神经网络还包括局部响应归一化，所述局部响应归一化借鉴侧抑制思想来实现局部抑制效果，通过特征层前后几层对中间这一层做平滑约束，即图像处理中的平滑处理，计算方法的公式为：

其中k,n,α,β为超参数，表示第i个核在(x,y)位置的输出，N表示该层中的核的总数；

所述预处理包括以下步骤，

用双三次插值法和旋转法对图像数据集分别进行归一化和数据增强操作；

结合RGB和YCbCr色彩空间模型，对图像进行色彩增强；

使用极大化类间隔的可能性聚类算法和HU不变矩对图像数据集进行降噪和特征提取；

所述双三次插值法是在图像归一到128x128大小的时候采取的插值规则，对小于128尺寸图片进行的插值方法和对于大于128尺寸的图片保留符合要求的像素所采取的方法；

所述色彩增强包括以下步骤，

通过提取亮度阈值的图像为光照强度较为正常的图像，

低于所述阈值的用：R＝R+(1-R).×R*k，k为一个可调节参数，进行曝光增强，

高于所述阈值的使用：R＝R-(1-R).×R*k，k是一个可调节参数，方法进行过曝补偿，

其中R代表图像在RGB色彩模型中R层的信息；

构建的所述卷积神经网络包括卷积层、池化层和全连接层，并融合残差网络和Squeeze-and-Excitation模块思想；

所述Squeeze-and-Excitation模块思想为计算单元，能够被任何给定的公式定义：

Ftr:X→U,X∈R^H'^×W'^×C',U∈R^H×W×C，将F_tr当作一个卷积运算，让V＝[v₁,v₂,...v_C]表示滤波核的集合，其中v_C表示的是第c层滤波的参数；

把输出结果F_tr表示成U＝[u₁,u₂,...u_C]，其中：

*代表卷积，和X＝[x¹,x²,...x^C']，其中是一个二维空间内核，因此代表了每一个单独的通道v_c，而这个通道v_c作用于相应的通道X；

特征提取包括：

其中，l表示层数，k_ij表示连接第l层的特征mapj与第l-1层的特征mapi的卷积核，M_l-1表示第l-1层选择的输入特征maps，*表示卷积操作，b表示偏置，f(·)表示非线性激活函数；

卷积神经网络还包括：

记N幅输入图像每幅图像的标记{yi∈{1,2,3,...,k},k≥2}，共k类，对于给定的测试图像x_i，用假设函数估计出其属于每个类别j的概率值p(y_i＝j|x_i)，则概率函数h_θ(x_i)为：

损失函数：

其中，1{y_i＝j}为指示性函数其取之规则为：1{值为真的表达式}＝1，1{值为假的表达式}＝0。

2.如权利要求1所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法，其特征在于：所述数据增强为针对数据集中部分类别数据量较少的数据集采用旋转增强法进行数据增强。

3.如权利要求2所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法，其特征在于：使用所述极大化类间隔的可能性聚类算法进行图像分割，包括以下步骤，

其中前半部分为核可能性聚类算法，c(c＞1)为聚类个数；n是样本个数；V＝[v₁,v₂,K,v_c]聚类中心矩阵；U＝[u_ij]c×n是可能性矩阵，其中u_ij表示第j个样本属于第i个聚类中心的可能程度，v_i表示第i类别的聚类中心点；

惩罚项如下：

其中，P代表使得类中心间距极大化的惩罚项，其中λ为可调控因子。

4.如权利要求3所述的基于可能性聚类和卷积神经网络的道路交通标识识别方法，其特征在于：对分割后的图像进行特征提取，使用所述Hu不变矩对分割后的图像进行提取形成一个mask掩膜，后结合原图像与掩膜把特征区域提取出来，因此一个轮廓的(p,q)矩定义如下：

其中p和q分别表示x维度和y维度的矩，阶数代表其中对应部分的指数，对于离散的数字图像f(x,y)，其阶标准矩定义如下：

p+q阶中心矩定义为：

其中和/>代表图像的重心：

归一化的中心矩定义为：其中：r＝(p+q)/2+1。