CN106650786A - 基于多列卷积神经网络模糊评判的图像识别方法 - Google Patents

Abstract

本发明涉及一种基于多列卷积神经网络模糊评判的图像识别方法，将图像预处理技术、卷积神经网络和模糊数学方法相结合，针对现实环境中釆集到的图像样本，采用不同预处理技术分别从不同角度克服样本中的干扰信息、增强有利于识别的特征信息，之后把经过预处理的图像输入分别输入针对此种预处理优化后的不同结构的多列卷积神经网络，再对多列卷积神经网络的输出结果采用模糊矩阵进行基于综合隶属度和离散隶属度的模糊评判，确定此类图像适合的模糊评判方式，最后准确的得出识别结果。

Description

基于多列卷积神经网络模糊评判的图像识别方法

技术领域：

本发明涉及有干扰和变形的图像识别方法，特别是涉及一种基于多列卷积神经网络模糊评判的图像识别方法。

背景技术：

计算机技术和信息技术的不断发展使得计算机智能化图像识别技术得到了越来越广泛的应用。计算机智能化图像识别技术可以快速地获得所需要的信息从而帮助人们更好地思考和决策。实景图像识别如交通标志识别、人脸识别、火灾火焰识别等有重要意义，也因采集图像条件的随时变化比印刷体文字识别更具不确定性。

本发明提供了一种基于多列深度神经网络模糊评判的图像识别方法，无需预先进行复杂的特征提取，避免了样本特征提取不足或不精确导致的识别失败。图像识别方法种类繁多，但有缺陷、有噪声、环境变化大、拍摄角度不确定的实景图像识别一直难度较大。如作为智能驾驶系统的重要组成部分的交通标志识别，是图像识别、机器视觉等多学科交叉研究的典型应用，也是智能驾驶系统研究领域中尚未解决的难题之一，是难度较大的实景图像识别。因此，近年来，如何高效地对交通标志进行识别已成为学术研究和工业应用的热点课题。作为智能交通系统的重要组成部分，交通标志识别系统在增强机动车与行人安全性等方面起着重要作用。传统交通标志识别系统包括对交通标志的检测、定位、特征提取和识别，目前对交通标志的检测和定位研究相对成熟，而特征提取和识别方面的研究尚有待深入。应用于交通标志识别的方法主要有统计模式识别、模板匹配法、机器学习等，典型代表有：统计分析类的最近邻域法、相似系数法、聚类分析法、决策树分类法，如P.Sompoch等人通过计算待识别的交通标志图像与交通标志标准模板之间的规则化欧拉距离(即最近邻域法)，实现对交通标志的分类；M.Betke等人提出了一种基于相似系数的交通标志分类的方法；蔺立娜等人提出来基于模糊C—均值(FCM)聚类分析方法识别交通标志；W.Ritter提出了一种基于三层决策树的交通标志识别方法，分别对应的是交通标志的颜色、形状以及图元，每个节点对应一个在高维特征空间中进行距离加权计算的统计分类器，采用聚类分析法计算分类器的参数。模板匹配法包括像素级的匹配和特征级的匹配等，如Piccioli设计完成了一种庞大的基于模板匹配的交通标志识别系统；王洋等人采用了一种基于不变矩特征进行模板匹配的交通标志识别方法；房泽平等人采用了一种基于特征颜色的模板匹配方法，利用图像像素的统计特征，计算颜色匹配度先提取出测试样本的内部图案，再将其与模板库中模板依次进行比较，从而实现交通标志的识别。机械学习法包括支持向量机和BP神经网络,如Arroy等人提取出交通标志的全部像素，将其作为特征向量，输入到非线性SVM中进行训练；S.Estable等人将改进了径向基神经网络应用到交通标志识别，参考向量是在特征空间中利用聚类算法得到。交通标志具有颜色鲜明，形状特征明显的特点，正常情况下，交通标志的图像信息是比较清晰的，但是自然条件下采集的交通标志图像很容易受到外界条件的影响，造成所采集的图像存在噪声和畸变，从而难以有效识别。

此类自然条件下采集的图片识别需求不断增加，因此设计一种在不同环境光线、遮挡、拍摄角度等干扰下也能有效识别图像的方法具有非常重要的现实意义。

发明内容：

发明目的：

本发明涉及一种基于多列卷积神经网络模糊评判的图像识别方法，其目的是设计出一种可以针对不同光照、成像条件、遮挡、变形等影响条件下采集的图像进行有效识别的方法。

技术方案：

本发明是通过以下技术方案来实现的：

一种基于多列卷积神经网络模糊评判的图像识别方法，其特征在于：步骤如下：

(1)选取采集于现实环境的不利于分类的图像，进行预处理，以克服样本中的干扰信息；

(2)构建多列卷积神经网络：针对每种预处理，分别构建不同卷积神经网络，获取针对每种预处理的最优网络结构，之后将不同预处理对应的最优卷积神经网络结构进行集成，构建有效利用各种预处理优势的多列卷积神经网络，应用于图像的识别；

1)卷积神经网络基本结构包括：

(a)卷积层

卷积层，又称为特征提取层，是对图像的一个邻域进行卷积得到图像的邻域特征，每个神经元的输入与前一层的局部感受野相连，上层得到的特征图与一个可学习的卷积核进行卷积，然后通过一个激活函数，输出形成这一层的特征图，即提取该局部的特征；该局部特征被提取后，与其它特征间的位置关系也随之确定；

对卷积核的确定：对于步骤(1)获得的图像作为输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权处理，其中权值由一个函数即卷积核定义；

确定局部感受野：

在卷积神经网络中，图像中的小块区域即局部感受野被当作层次结构中的底层的输入数据，信息通过前向传播经过网络中的各个层，在每一层中都由过滤器构成，以便能够获得观测数据的显著特征。卷积核提供了一个权重模板，该模板在图像上滑动，并将中心依次与图像中每一个像素对齐，然后对这个模板覆盖的所有像素进行加权，并将结果作为这个卷积核在图像上该点的响应；卷积层中使用的卷积核个数即为该层特征图的数目，也代表提取的特征种类；每一个输出的特征图能与前一层的几个特征图的卷积建立关系；

卷积层的加权响应形式如式(1)所示：

其中，l代表层数，k是卷积核，M_j表示选择的输入maps的集合，每个输出图均有一个额外的偏置b；

(b)子采样层

子采样层是对输入进行抽样操作，又称为特征映射层，使用pooling技术将小邻域内的特征点整合得到新的特征；

每个子采样层的特征图数目均与上层相邻的卷积层的特征图数目相同；

子采样层的处理形式如式(2)所示：

其中，down(·)表示子采样函数，对卷积层输出的特征图中不同n*n子块所有的像素进行Pooling操作；

(c)采用不同数目及权重的卷积核再进行一次卷积和子采样处理，并将结果输入一个全连接的三层神经网络；

(d)权值共享

在卷积神经网络中，卷积层的每一个卷积核重复的作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的局部特征；每一个卷积核共享相同的参数，包括相同的权值矩阵和偏置项；

2)将每种卷积神经网络集成，构造一种多列卷积神经网络：

针对上述每种预处理方法分别构建卷积神经网络，同时在同一预处理方法得到的数据集上构建特征图数和子采样pooling方式不同的不同结构卷积神经网络；通过多列卷积神经网络并行处理，实现对畸变的图像进行快速识别；

每次训练开始前，经过不同预处理后的训练集，输入到不同的卷积神经网络进行训练，进而构成多列卷积神经网络MCCNN；输入图像被n个预处理器P0～～Pn-1进行预处理，多个的CNN并行对输入图像进行训练；MCCNN将在不同样本上训练的CNN组合在一起，然后对输出结果进行模糊评判，以提高识别结果；

每一个CNN是在经典的卷积神经网络的基础上进行修改与调整，包括1)修改局部感受野和卷积核的大小；2)修改子采样窗口大小；3)修改批量样本数；4)修改特征图数目；

(3)对多列卷积神经网络输出采用模糊矩阵进行综合评判：

1)将模糊数学的思想引入到多列卷积神经网络的输出分类中，将每幅图像在每列卷积神经网络上的输出向量作为隶属向量，再将多个隶属向量组成模糊判决矩阵，计算该图片被分为不同类的隶属度；

对论域X，A：X→[0，1]，则称A是X上模糊集，称为x属于A的隶属度；

给出一个对象在一列卷积神经网络的输出层各神经元的输出构成一个对各目标类的隶属向量：

A_i(C_j)＝[A_i(c₁),A_i(c₂),…,A_i(c_k)] (3)；

其中，A_i(c₁)…A_i(c_k)为第i个对象在c₁…c_k类判别神经元上的输出所对应的隶属度；

一幅样本图片经多列卷积神经网络处理后的输出构成一个隶属矩阵：

其中，n为多列卷积神经网络的列数，k为目标判决类的数目；

由隶属矩阵，定义某张图片对某一判决类的模糊隶属度为：

其中n为多列卷积神经网络的列数，按照最大隶属度原则，得出样本i的最终分类；

2)定义综合隶属度与离散隶属度

根据隶属向量与判决矩阵的相关公式，样本图片被一个神经网络识别时，此神经网络中输出神经元对应的值组成了隶属向量，而多个神经网络的输出端隶属向量则构成了判决矩阵；综合隶属度是将判别矩阵中每列的值分别进行求和，根据公式(5)计算出图片对该类的综合模糊隶属度，结果最大的数值对应的类别，即为该样本图片被划分的类别；

与综合隶属度不同的是，离散隶属度的模糊隶属向量并不是由神经网络的输出神经元的值直接组成，而是将样本在输出神经元中所属类别的值置为1，其余置为0，将重新变换后的输出作为隶属向量，进而组成新的判决矩阵；计算出图片对该类的离散模糊隶属度，结果最大的数值对应的类别，即为该样本图片被划分的类别；

对多列输出结果分别应用综合隶属度和离散隶属度评判，对比不同评判方式的正确率，确定此类图像适合的模糊评判方式，最后得出识别结果。

步骤(1)中所述的不利于分类的图像是指分辨率低、光照强度不同、局部遮挡、视角倾斜、或运动模糊。

步骤(1)所述预处理是指二值化、直方图均衡化、自适应直方图均衡化、图像调整、形态学处理、及上述多种预处理方法的集成。

步骤(b)中所述Pooling为mean-pooling，max-pooling和Stochastic-pooling三种，即最大、均值、及按概率随机选择对块内像素处理。

Pooling的结果是使得特征减少，参数减少，避免出现过拟合现象，但目的并不仅在于此。pooling目的是为了保持旋转、平移、伸缩等不变性，常用的有mean-pooling，max-pooling和Stochastic-pooling三种，pooling窗口是不重叠的。

优点及效果：

本发明为解决复杂天气、遮挡、拍摄角度等现实环境对图像识别带来的难题，提出了一种多列深度神经网络模糊评判的图像识别方法，本发明将预处理技术、深度神经网络和模糊数学方法相结合，采用不同预处理技术分别从不同的角度克服样本中的干扰信息，之后把经过预处理的图像分别输入针对此种预处理优化后的不同结构深度神经网络，最后对此多列深度神经网络的输出结果采用模糊数学思想进行综合评判，确定此类图像适合的模糊评判方式，最后得出识别结果。通过实验验证此方法可以将交通标志、火焰图像等准确地识别出来。

该方法对比其他方法有时间短，准确率高的优点，特别是在有噪声的情况下可以对图像进行准确识别，增强了系统的实时性，可开发嵌入式系统，实现道路交通标志等图像的在线识别。

附图说明：

图1为设计的MCCNN的基本结构示意图。

图2为卷积层特征图数目与识别率。

图3为加入模糊评判的MCCNN结构示意图。

图4为经过灰度变化和二值化预处理后的图片。其中，图4(a)为未经任何处理的交通标志彩色原图，图4(b)为经过灰度变换后的交通标志灰度图像，图4(c)为采用自适应阈值进行二值化后的交通标志图片，目标变得更加清晰。图4(d)为未经任何处理的火焰彩色原图，图4(e)为经过灰度变换后的火焰灰度图像，图4(f)为采用自适应阈值进行二值化后的火焰图片，目标变得更加突出。经过灰度化和二值化预处理后的图像样本，组成训练集JTBZ_1。

图5为直方图均衡化前后的像素分配情况对比。其中，图5(a)是彩色图像变为灰度图像后的直方图，图5(b)是对灰度图像进行直方图均衡化后的图像直方图，可以直观的看出图像的像素进行了均匀的分布。

图6为对样本进行直方图均衡化处理效果。其中，图6(a)为未经处理的交通标志彩色原图，图6(b)为交通标志灰度图片，图6(c)为经过直方图均衡化后的交通标志灰度图片，图6(d)为采用最大类间方差法二值化后的交通标志图片。图6(e)为未经处理的火焰彩色原图，图6(f)为火焰灰度图片，图6(g)为经过直方图均衡化后的火焰灰度图片，图6(h)为采用最大类间方差法二值化后的火焰图片。从图6(d)和图6(h)可以看出，图片经过一系列预处理后，能够有效的突出前景图形，去除无关的颜色干扰，方便后续特征提取，处理后的图像样本，组成训练集JTBZ_2。

图7为对样本进行AHE处理效果。其中，图7(a)为交通标志灰度图片，图7(b)为自适应直方图均衡化(Adaptive histogram equalization，AHE)处理后交通标志图片，图7(c)为图7(b)经过二值化后交通标志图片，图7(d)为去除干扰后的交通标志图片；图7(e)为火焰灰度图片，图7(f)为自适应直方图均衡化(Adaptive histogram equalization，AHE)处理后火焰图片，图7(g)为图7(f)经过二值化后火焰图片，图7(h)为去除干扰后的火焰图片，经过自适应直方图均衡化、二值化、去除干扰后的图像样本，组成训练集JTBZ_3。

图8为对样本进行图像调整处理。其中，图8(a)为仅经过简单灰度变换后的交通标志图片，图8(b)为经过图像Imadjust调整后的交通标志图片，可以看出图像的对比度发生了明显的变化，图8(c)为经过图像调整后，再进行二值化处理的交通标志图片，可以看出干扰信息减少，图像比较突出。图8(d)为仅经过简单灰度变换后的火焰图片，图8(e)为经过图像Imadjust调整后的火焰图片，可以看出图像的对比度发生了明显的变化，图8(f)为经过图像调整后，再进行二值化处理的火焰图片，可以看出干扰信息减少，图像比较突出。经过图像调整、二值化预处理后的图像样本，组成训练集JTBZ_4，后续将其称为图像调整。

图9为对样本进行形态学处理。其中，图9(a)为灰度变换后的交通标志图片，图9(b)为经过二值化后交通标志图片，图9(c)为经过开运算后的交通标志二值图像，图9(d)为对开运算后的交通标志图像再进行闭运算，图9(e)为对形态学处理后的交通标志图片进行去除干扰，将小连通区域删掉。图9(f)为灰度变换后的火焰图片，图9(g)为经过二值化后火焰图片，图9(h)为经过开运算后的火焰二值图像，图9(i)为对开运算后的火焰图像再进行闭运算，图9(j)为对形态学处理后的火焰图片进行去除干扰，将小连通区域删掉。

从图9可以看出，由于实验样本是在现实环境中采集的，存在很多干扰信息，经过二值化处理后，图片中仍然存在很多连通的干扰区域，因此对样本图片采用形态学处理，再去除图片中连通较小的区域，在不改变样本原有形状的条件下，能够有效地出去多余的干扰，保留图像的更多信息。预处理后的样本组成训练集JTBZ_5。

图10为对样本进行集成预处理。

为了更好的验证不同预处理方式与深度神经网络结构参数对应关系，将上述预处理方式进行结合，对数据集进行多种处理，形成新的训练集。

将彩色原图进行灰度变换成为灰度图，然后对其做直方图均衡化和图像调整，再将其进行二值化处理，最后进行形态学处理与去除干扰，如图10所示。

图10(a)-图10(h)，将交通标志彩色图像按顺序经过灰度变换、直方图均衡化、图像调整、二值化、形态学处理(开运算和闭运算)、去除干扰后的图片形成新的训练集。图10(i)-图10(p)，将火焰彩色图像按顺序经过灰度变换、直方图均衡化、图像调整、二值化、形态学处理(开运算和闭运算)、去除干扰后的图片形成新的训练集。进行集成预处理的样本组成训练集JTBZ_6。

具体实施方式：

卷积神经网络(Convolutional Neuarl Network，CNN)能够降低反馈神经网络的复杂性，避免对图像进行显式地特征提取，可以对输入的原始图像直接进行训练，因而CNN在模式分类领域得到了广泛的应用。但是，不同的预处理方法针对的目标不同，如自适应直方图均衡化用来提升图像对比度，形态学处理能够有效地突出图像的细节特征等。单一或简单综合多种预处理方法，难以对不同条件下获取的现场图片进行统一的有效处理。本发明方法将图像预处理技术和卷积神经网络以及模糊数学方法相结合，既能保证每种预处理和相应的卷积神经网络结构的有效匹配，又通过模糊评判实现对现实环境下采集的图像的有效合理判别，提升了识别效率和效果。

本发明涉及一种卷积神经网络和模糊数学相结合的图像识别方法，其目的是设计出一种可以针对不同光照、成像条件、天气等影响下采集的图像(后面以交通标志为例)进行有效识别的方法。

下面结合附图和具体的实施方式对本发明做进一步的说明：

GTSRB数据集中有在现实环境中釆集到的51839张、43类交通标志图片，其中主要分为六大类，分别为：限速标志、其他禁令标志、解除禁令标志、指示标志、警告标志、其他交通标志。

通过对GTSRB数据集中有在现实环境中釆集到交通标志图片进行实验，证明该方法的可行，具有识别率高，识别速度快的特点，也可以依据算法进行嵌入式系统的研究，最终实现对道路交通标志的有效识别，提高道路行车安全。

所述基于多列卷积神经网络模糊评判的图像识别方法，采用不同预处理技术分别从不同的角度克服样本中的干扰信息，不同预处理得到的图片效果不同，对应的最佳网络结构也不同，把经过预处理的图像分别输入针对此种预处理优化后的不同结构卷积神经网络，对此多列卷积神经网络的输出结果采用模糊数学思想进行综合评判，确定此类图像适合的模糊评判方式，最后得出识别结果。

基于多列卷积神经网络模糊评判的交通标志识别方法，实现步骤如下：

(1)从标准GTSRB(German Traffic Sign Recognition Benchmark)数据集中随机选取5000张采集于现实环境的，分辨率低、光照强度不同、局部遮挡、视角倾斜、运动模糊等不利于分类的图像，分别进行二值化、直方图均衡化、自适应直方图均衡化、图像调整、形态学处理、以及综合使用多种预处理方法的集成预处理方式，从不同的角度克服样本中的干扰信息。

(2)构建一种多列卷积神经网络。卷积神经网络能够避免显式的特征提取，可以直接将预处理后的图片输入至网络中进行训练，由于识别速度快、正确率高被广泛应用于银行的支票数据识别。对卷积神经网络的结构进行调整，以适应交通标志图案的特征，应用于交通标志识别上，分为以下几步：

1)卷积神经网络(CNN)的基本结构设计

设多个卷积层中卷积核的大小不相同，多个子采样层中子采样窗口大小不相同，本实验采用不同组合情况，实验的卷积神经网络结构见表1。

表1不同尺寸的卷积核、子采样窗口大小

Tab.1 The different dimensions of convolution kernel and sub sampling

最后得到的五个卷积神经网络按顺序分别定义为Str_1，Str_2，Str_3，Str_4，Str_5。

首先固定卷积层特征图数目，在其基础上改变批量样本数，根据识别结果的好坏，确定卷积神经网络的最佳结构。

之后在每个训练集中，将批量样本数固定，在其基础上同时修改两个卷积层的特征图数目，观察在不同的卷积层特征图数条件下，观察识别结果的变化，对比结果如图2所示。

根据上述的实验，基于训练集的卷积神经网络结构基本参数均得以确定。

在不同预处理的训练集上分别确定相应的最佳卷积神经网络结构。如在灰度变换预处理后的训练集JTBZ_1上训练多个结构不同的卷积神经网络，并将识别结果进行比较分析。

表2不同卷积神经网络在训练集JTBZ_1上的识别率

Tab.2 Recognition rate of different deep neural networks on trainingset JTBZ_1

由表2可知，训练多个不同结构的CNN后，当采用Str_3，即神经网络CNN1_5：C1卷积核大小为5×5、C2卷积核大小为3×3，子采样窗口大小为2×2，批量样本数为20，特征图数目分别为9、18时，能够获得较高的识别率。

以此方法，确定适应不同预处理方式的卷积神经网络。

2)构造一种多列卷积神经网络

不同的预处理方式在突出不同的特征或去除某些干扰时各有优势，为了有效的避免采集中的出现的误差，有效利用不同预处理方式的优势，提高算法的识别效果，对数据集采用不同的预处理方法，形成不同的训练集，从不同的角度克服样本中的干扰信息，最后进行综合评判，使训练结果更加精确。同时，在同一预处理后的数据集上构建不同结构的卷积神经网络(如特征图数目不同、采样方式不同等)，以实现对畸变的交通标志进行快速识别，保证算法的高效性与正确性，构造的多列卷积神经网络如图3所示。

每次训练开始前，经过不同预处理后的训练集，输入到不同的卷积神经网络进行训练，进而构成多列卷积神经网络MCCNN。输入图像被n个预处理器P0～～Pn-1进行预处理，每个预处理后训练集上由多个CNN对输入图像进行训练。

从每个预处理后的数据集上选择两个识别率最高的卷积神经网络结构，表3列举出了最终选择的10个卷积神经网络结构，在数据集JTBZ_6中识别率较低，未选取。

表3每个预处理上最佳识别率的CNN

Tab.3 The best recognition rate of CNN on each preprocessing

(3)对多列输出采用模糊矩阵进行综合评判：

1)将模糊数学的思想引入到多列卷积神经网络的输出分类中，将每幅图像在每列卷积神经网络上的输出向量作为隶属向量，再将多个隶属向量组成模糊判决矩阵，计算该图片被分为不同类的隶属度。

(a)综合隶属度

根据隶属向量与判决矩阵的相关公式可知，样本图片被一个神经网络识别时，此神经网络中输出神经元对应的值组成了隶属向量，而多个神经网络的输出端隶属向量则构成了判决矩阵。综合隶属度是将判别矩阵中每列的值分别进行求和，根据公式(5)，计算出图片对该类的综合模糊隶属度，结果最大的数值对应的类别，即为该样本图片被划分的类别。

以样本100为例，在多列卷积神经网络的识别中，该样本的结果判别矩阵为：

根据公式(5)计算样本100的综合隶属度。将判别矩阵中每一列的值进行求和，求和后的值组成最终的隶属矩阵：

M₁₀₀＝[5.556 2.244 1.032242 0.981438 0.26476 0.1212 1.14036 0.1804270.48331 0.2774]

根据上述判别矩阵，按公式(5)，计算出该图片对第一类的综合模糊隶属度数值最大，所以样本100被划分到类1中，实现该图片样本最终分类，并且与实际相符。

(b)离散隶属度

与综合隶属度不同的是，离散隶属度的模糊隶属向量并不是由神经网络的输出神经元的值直接组成，而是将样本在输出神经元中所属类别的值置为1，其余置为0，将重新变换后的输出作为隶属向量，进而组成新的判决矩阵。

以样本100为例，在多列卷积神经网络的识别中，该样本的判别矩阵为：

根据公式(5)计算隶属度，从而得到离散隶属度。在判别矩阵中，样本100对类1的隶属度为5/10，对类2的隶属度为2/10，对类3的隶属度为1/10，对类4的隶属度为1/10，对类7的隶属度为1/10，对其他类的隶属度为0。因此，根据最大隶属度原则，将样本100划分到类1中，实现该图片样本最终分类，与实际相符。

而若单纯采用某一列卷积神经网络处理，上述图片识别错误的概率大大增加。

通过对同一样本集进行不同的预处理，构成不同的数据集，并在同一数据集上进行不同结构的卷积神经网络的识别，一张样本图片经过多个卷积神经网络识别处理后输出，并引入模糊数学的思想，将多列卷积神经网络的输出形成判别矩阵，按照隶属度对样本进行最终分类。

表4多列卷积神经网络的识别率

Tab.4 Sample recognition rate of multi column Convolutional neuralnetwork

由前述模糊判决结果和表4可知，多列卷积神经网络能够避免单一卷积神经网络在某些情况下误判的问题，从而能够对样本进行更有效的分类，提高样本的识别率。在本实验中，通过多列卷积神经网络的模糊判决后，采用综合隶属度判决后，识别率能够提升至98.5％，采用离散隶属度判决后，识别率能够提升至99.1％。与单列的卷积神经网络识别率相比较，两种模糊判决方法均能获得更好的效果，证明了其能修正单一网络结构的识别结果。采用离散隶属度的MCCNN具有较好的识别效果。

实施例：

参照图1～图10、表1～表4，基于多列卷积神经网络模糊评判的图像识别方法，步骤如下：

(1)从标准GTSRB(German Traffic Sign Recognition Benchmark)数据集中随机选取5000张采集于现实环境的，分辨率低、光照强度不同、局部遮挡、视角倾斜、运动模糊等不利于分类的图像，分别进行二值化、直方图均衡化、自适应直方图均衡化、图像调整、形态学处理，如图1-图10所示。

(2)将文件1的图像输入多列卷积神经网络，进行训练，得到最终的网络结构及参数，输入与训练集并不重复的测试数据，各列卷积神经网络识别效果如表3所示。

(3)将多列卷积神经网络的输出采用模糊矩阵分别进行基于综合隶属度和离散隶属度的模糊评判，得到最终识别结果，识别效果如表4所示。

针对不同噪声影响下的三种交通标志图像共580幅，训练样本分别取1幅到4幅图像，本方法的识别率均可达到100％；与灰度图像相比，在二值图像上做特征提取，能够降低识别时间。通过实验证明，本发明方法可以快速有效的进行交通标志特征提取和识别，适于推广应用。

Claims (4)

1.一种基于多列卷积神经网络模糊评判的图像识别方法，其特征在于：步骤如下：

(1)选取采集于现实环境的不利于分类的图像，进行预处理，以克服样本中的干扰信息；

(2)构建多列卷积神经网络：针对每种预处理，分别构建不同卷积神经网络，获取针对每种预处理的最优网络结构，之后将不同预处理对应的最优卷积神经网络结构进行集成，构建有效利用各种预处理优势的多列卷积神经网络，应用于图像的识别；

1)卷积神经网络基本结构包括：

(a)卷积层

卷积层，又称为特征提取层，是对图像的一个邻域进行卷积得到图像的邻域特征，每个神经元的输入与前一层的局部感受野相连，上层得到的特征图与一个可学习的卷积核进行卷积，然后通过一个激活函数，输出形成这一层的特征图，即提取该局部的特征；该局部特征被提取后，与其它特征间的位置关系也随之确定；

对卷积核的确定：对于步骤(1)获得的图像作为输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权处理，其中权值由一个函数即卷积核定义；

确定局部感受野：

在卷积神经网络中，图像中的小块区域即局部感受野被当作层次结构中的底层的输入数据，信息通过前向传播经过网络中的各个层处理，获得观测数据的显著特征；卷积核提供了一个权重模板，该模板在图像上滑动，并将中心依次与图像中每一个像素对齐，然后对这个模板覆盖的所有像素进行加权，并将结果作为这个卷积核在图像上该点的响应；卷积层中使用的卷积核个数即为该层特征图的数目，也代表提取的特征种类；每一个输出的特征图能与前一层的几个特征图的卷积建立关系；

卷积层的加权响应形式如式(1)所示：

$x_j^l=f\left(\underset{i\∈M_j}{\mathrm{\Σ}}{x}_i^{l-1}*k_{ij}^l+b_j^l\right)---\left(1\right);$

其中，l代表层数，k是卷积核，M_j表示选择的输入maps的集合，每个输出图均有一个额外的偏置b；

(b)子采样层

子采样层是对输入进行抽样操作，又称为特征映射层，使用pooling技术将小邻域内的特征点整合得到新的特征；

每个子采样层的特征图数目均与上层相邻的卷积层的特征图数目相同；

子采样层的处理形式如式(2)所示：

$x_j^l=f\left({\mathrm{\β}}_j^{l}down\right(x_j^{l-1})+b_j^l)---\left(2\right);$

其中，down(·)表示子采样函数，对卷积层输出的特征图中不同n*n子块所有的像素进行Pooling操作；

(c)采用不同数目及权重的卷积核再进行一次卷积和子采样处理，并将结果输入一个全连接的三层神经网络；

(d)权值共享

在卷积神经网络中，卷积层的每一个卷积核重复的作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的特征；每一个卷积核共享相同的参数，包括相同的权值矩阵和偏置项；

2)将每种卷积神经网络集成，构造一种多列卷积神经网络：

针对上述每种预处理方法分别构建卷积神经网络，同时在同一预处理方法得到的数据集上构建特征图数和子采样pooling方式不同的不同结构卷积神经网络；通过多列卷积神经网络并行处理，实现对畸变的图像进行快速识别；

每次训练开始前，经过不同预处理后的训练集，输入到不同的卷积神经网络进行训练，进而构成多列卷积神经网络MCCNN；输入图像被n个预处理器P0～～Pn-1进行预处理，多个的CNN并行对输入图像进行训练；MCCNN将在不同预处理样本上训练的CNN组合在一起，然后对输出结果进行模糊评判，以提高识别结果；

每一个CNN是在经典的卷积神经网络的基础上进行修改与调整，包括1)修改局部感受野和卷积核的大小；2)修改子采样窗口大小；3)修改批量样本数；4)修改特征图数目；

(3)对多列卷积神经网络输出采用模糊矩阵进行综合评判：

1)将模糊数学的思想引入到多列卷积神经网络的输出分类中，将每幅图像在每列卷积神经网络上的输出向量作为隶属向量，再将多个隶属向量组成模糊判决矩阵，计算该图片被分为不同类的隶属度；

对论域X，A：X→[0，1]，则称A是X上模糊集，称为x属于A的隶属度；

一个对象在一列卷积神经网络的输出层各神经元的输出构成一个对各目标类的隶属向量：

A_i(C_j)＝[A_i(c₁),A_i(c₂),…,A_i(c_k)] (3)；

其中，A_i(c₁)…A_i(c_k)为第i个对象在c₁…c_k类判别神经元上的输出所对应的隶属度；

一幅样本图片经多列卷积神经网络处理后的输出构成一个隶属矩阵：

其中，n为多列卷积神经网络的列数，k为目标判决类的数目；

由隶属矩阵，定义某张图片对某一判决类的模糊隶属度为：

$\frac{A_i\left(k\right)}{c_k}=\frac{\underset{i=1}{\overset{n}{\Σ}}{A}_i\left(c_k\right)}{n}---\left(5\right);$

其中n为多列卷积神经网络的列数，按照最大隶属度原则，得出样本i的最终分类；

2)定义综合隶属度与离散隶属度

根据隶属向量与判决矩阵的相关公式，样本图片被一个神经网络识别时，此神经网络中输出神经元对应的值组成了隶属向量，而多个神经网络的输出端隶属向量则构成了判决矩阵；综合隶属度是将判别矩阵中每列的值分别进行求和，根据公式(5)计算出图片对该类的综合模糊隶属度，结果最大的数值对应的类别，即为该样本图片被划分的类别；

与综合隶属度不同的是，离散隶属度的模糊隶属向量并不是由神经网络的输出神经元的值直接组成，而是将样本在输出神经元中所属类别的值置为1，其余置为0，将重新变换后的输出作为隶属向量，进而组成新的判决矩阵；计算出图片对该类的离散模糊隶属度，结果最大的数值对应的类别，即为该样本图片被划分的类别；

对多列输出结果分别应用综合隶属度和离散隶属度评判，对比不同评判方式的正确率，确定此类图像适合的模糊评判方式，最后得出识别结果。

2.根据权利要求1所述的基于多列卷积神经网络模糊评判的图像识别方法，其特征在于：步骤(1)中所述的不利于分类的图像是指分辨率低、光照强度不同、局部遮挡、视角倾斜、或运动模糊。

3.根据权利要求1所述的基于多列卷积神经网络模糊评判的图像识别方法，其特征在于：步骤(1)所述预处理是指二值化、直方图均衡化、自适应直方图均衡化、图像调整、形态学处理、及上述多种预处理方法的集成。

4.根据权利要求1所述的基于多列卷积神经网络模糊评判的图像识别方法，其特征在于：步骤(b)中所述Pooling为mean-pooling，max-pooling和Stochastic-pooling三种，即最大、均值、及按概率随机选择对块内像素处理。