CN111242046A

CN111242046A - 一种基于图像检索的地面交通标志识别方法

Info

Publication number: CN111242046A
Application number: CN202010042925.8A
Authority: CN
Inventors: 徐林浩; 王志超; 卞利; 沈洋; 陈林; 李敏; 史洪玮
Original assignee: Industrial Technology Research Institute Suqian College; Jiangsu Bdstar Navigation Automotive Electronics Co ltd; Suqian College
Current assignee: Industrial Technology Research Institute Suqian College; Jiangsu Bdstar Navigation Automotive Electronics Co ltd; Suqian College
Priority date: 2020-01-15
Filing date: 2020-01-15
Publication date: 2020-06-05
Anticipated expiration: 2040-01-15
Also published as: CN111242046B

Abstract

本发明公开一种基于图像检索的地面交通标志识别方法，包括神经网络训练；图像预处理；生成灰度共生矩阵和标志识别的步骤。本发明基于图像检索技术对地面交通标志进行识别，首先通过采集一些常见的地面交通标志如斑马线、双黄线、减速慢行线等，通过BP神经网络进行大规模的样本训练，并建立一个可以与交通标志相匹配的模板库，在识别到有图像输入时，系统自动将图像进行归一化处理，然后进行一系列的图像预处理过程包括灰度化、二值化，然后使用sobel算子提取出目标区域，将其送入模板库与事先建立的模板进行匹配，最后成功判断出交通标志含义。

Description

一种基于图像检索的地面交通标志识别方法

技术领域

本发明涉及无人驾驶领域，具体涉及一种用于无人驾驶的地面交通标志识别。

背景技术

在21世纪的今天，交通运输业发展迅猛，路面上的汽车越来越多，交通事故的发生也愈为频繁，人们越来越重视交通安全，无人驾驶应运而生，无人驾驶可以极大的减少交通事故的发生，保障人们的生命财产安全。而在无人驾驶领域，地面交通标志识别是一个重要的组成部分。

地面交通标志识别可以使用相机拍照，然后使用计算机系统来自动识别交通标志(如：箭头标志，车道线，斑马线等等)。这可以提醒到车辆地面的标志的含义，使得车辆可以根据交通标志安全驾驶，从而提高无人驾驶的安全性。

目前，基于视觉的交通标志识别技术大多针对较为理想的环境，而在车辆实际行驶过程中面对的路况和环境非常复杂，基于视觉的交通标志识别需要解决车辆行驶速度变化导致计算机可识别的交通标识发生形变，周围环境或车辆的遮挡导致识别率低或识别速率慢等一系列复杂的技术问题。这极大的减缓了无人驾驶汽车的开发和运用。为了解决上述问题，研究人员向两个方向发展，试图绕过上述难点，一是严格规定无人驾驶汽车的行驶环境，建设专用的通道；二是在基于视觉的识别技术基础上，综合雷达、GPS以及预存的离线或在线地图信息，采用综合算法判断路况和交通标志。但以上两种方法均未从根本上解决前面的技术问题，且导致成本的大幅度上升。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种基于图像检索的地面交通标志识别方法，提高地面交通标志的识别率和识别速度。

技术方案：本发明所述基于图像检索的地面交通标志识别方法，包括如下步骤：

(1)神经网络训练：采集常见的地面交通标志，通过BP神经网络进行大规模的样本训练，将地面交通标志分类，并建立与交通标志相匹配的模板库；

(2)图像预处理：在识别到有交通标志图像输入时，对输入的交通标志图像进行预处理，生成灰度图像，并变换、增强图像，使图像呈现最优解；

(3)生成灰度共生矩阵：采用归一化算法统计图像中灰度值的概率值，并得到图像量化后的图像中存在的灰度级数量，采用能量、对比度、熵和相关性表达共生矩阵的纹理特征，作为图像的视觉表述，选取并切割出边缘点数量大于平均值的区域作为识别图像；

(4)标志识别：使用神经网络算法将识别图像与模板库进行匹配，实现地面交通标志识别。

本发明进一步优选地技术方案为，步骤(2)中图像预处理包括灰度化、二值化和边缘检测，具体为：

a、图像灰度化：将识别到的交通标志图像转化成为灰度图像；

b、图像二值化：将灰度图像上的像素点的灰度值定义为0或者255，使图像呈现出黑白两种颜色；

c、图像边缘检测：用Sobel边缘检测算子进行边缘检测，比较每个像素点与周围邻点灰度的加权差，获得地面交通标志的边缘图像。

作为优选地，步骤(3)的生成灰度共生矩阵的具体步骤为，基于步骤(2)获得的边缘图像进行像素点统计分析，对X方向和Y方向进行边缘像素点数量统计，挑选边缘点数量大于平均值的位置，最后一列大于平均值的位置作为最后一个区域的切分位置，分割出识别图像。

优选地，步骤(4)中标志识别包括模板读取和图像识别步骤：

a、模板读取：根据拍摄的交通标志图像的位置、尺寸和形状的特征信息，从步骤(1)建立的模板库中选择合适的模板；

b、图像识别：在分割出识别图像前，将边缘图像的规格调整至与模板的规格一致，在分割出识别图像后读取模板，将识别图像与数据库内模板匹配，输出匹配度最高的识别结果。

优选地，在标志识别前，将摄像头得到的图像中的四个角与标准图片中的四个角作为输入，获得得透视变换矩阵的各个系数，由该系数矩阵得到实际图像的仿射变换后的图像。根据分离出来的图像进行透视变换，变为路面标识的俯视图，使之与通用的标识牌的相似度会更大，减少了后续识别的难度，从而提高了识别的准确度。

优选地，在图像二值化时，参照灰度图像中像素的平均值、像素之间的均方差、像素之间的标准差的特征信息，设置一个函数进行判别值的计算，将大于该判别值的像素组的像素点设置为白色，小于判别值的像素组的像素点全部设置为黑色。

有益效果：本发明基于图像检索技术对地面交通标志进行识别，首先通过采集一些常见的地面交通标志如斑马线、双黄线、减速慢行线等，通过BP神经网络进行大规模的样本训练，并建立一个可以与交通标志相匹配的模板库，在识别到有图像输入时，系统自动将图像进行归一化处理，然后进行一系列的图像预处理过程包括灰度化、二值化，然后使用sobel算子提取出目标区域，将其送入模板库与事先建立的模板进行匹配，最后成功判断出交通标志含义；本发明采用的方法能够比较准确的识别出双黄线、斑马线及减速慢行线等常见的地面交通标志，具有较好的准确性和实时性；另外本发明的识别方法可以较好的区分出图像中的标志和背景，提高识别的准确度，并且由于采用灰度共生矩阵分隔出识别图像，能够解决因交通标识发生形变或被遮挡导致的识别准确度低下的问题。

附图说明

图1为本发明的识别方法的流程图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例：一种基于图像检索的地面交通标志识别方法，包括如下步骤：

(1)神经网络训练：采集常见的地面交通标志，通过BP神经网络进行大规模的样本训练，将地面交通标志分类，并建立与交通标志相匹配的模板库。

(2)图像预处理：在识别到有交通标志图像输入时，对输入的交通标志图像进行预处理，具体为：

a、图像灰度化：将识别到的交通标志图像转化成为灰度图像；图像灰度化的基本原理就是将具有多种复杂色彩的图像转化成为灰度图像的过程，这种变化过程就是图像的灰度化。复杂色彩图像中的每个位置的颜色由保存在矩阵中的三个分量值来确定：红、绿和蓝，而每个分量被分成256份，数字越大颜色越深，可以有近200万种的颜色变化来描述一个像素点。由此可见灰度图像仍然是一种特殊的彩色图像，只不过它的分量值相同，它的R＝G＝B，RGB值叫灰度值。和彩色图像相比，灰度图少了一些复杂的变化。但是灰度图也有自己的优势，那就是它的每个像素只需要一个字节来存储灰度值，其一个像素点灰度值的变化范围为255种而彩色图像有近200万种，彩色图像往往需要几兆的存储空间，但是灰度图只需要几比特的存储空间，这极大的节约了计算机的存储空间和处理资源。因此，在数字图像处理的过程中，通常第一步就是将具有多种复杂色彩的图像转换为灰度图，这样可以大幅度减少后续图像的计算量。灰度图像与彩色图像大同小异，都能体现整幅图像的布局和细节处的色度和亮度。在经过如下的代码变换后，黄色车道线和灰色路面的灰度级形成统一。

b、图像二值化：图像二值化就是通过改变原有图像上的各种复杂像素点的灰度值，将其定义为0或者255(0是黑色、255是白色)，通过这种方法可以使整个图像明显呈现出仅有的两种颜色，非黑即白。然而一幅图像中会涵盖检测目标、图片背景还有外界干扰噪声等诸多信息，因此要想从具有众多像素值的图像矩阵中直接分离出所需的检测目标，最常见的手段就是设定一个全局的判别值K，用K来区分外界干扰、检测目标、图片背景，将图像像素值的数据分成两部分：灰度值大于K的像素和灰度值小于K的像素。将大于K的像素组的像素点设置为白色，小于K的像素组的像素点全部设置为黑色，以此去除掉其他非必要的像素点，这样我们就能在较多干扰中准确无误的找出检测目标。但是整体二值化不利于图像的细节描述。比如当目标和环境背景颜色相近时又或者图像的自身颜色较为复杂时，采用整体二值化的方法往往会丢失目标信息或将本该去除的像素误划为目标区域。因此本实施例中，在图像二值化时，参照灰度图像中像素的平均值、像素之间的均方差、像素之间的标准差的特征信息，设置一个函数进行判别值的计算，将大于该判别值的像素组的像素点设置为白色，小于判别值的像素组的像素点全部设置为黑色。

c、图像边缘检测：因为边缘是图像最基本的特征之一，它是数字图像处理和图像分割的必要前提，因为图像中会涵盖检测目标、图片背景还有外界干扰噪声等诸多信息，需要准确识别出目标图像的边缘。边缘检测是指检测出一组像素，它们相邻的像素灰度值产生剧烈变动。它存在于目标和背景、背景和背景、光亮和阴影以及像素和像素之间。所以它为图像分割提供了重要的依据，而且图像的边缘提取也是图像匹配的前提，因为边缘是位置的代表，对灰度变化很迟钝，因此可以将其视作模块匹配的标志点。本实施例中用Sobel边缘检测算子进行边缘检测，比较每个像素点与周围邻点灰度的加权差，获得地面交通标志的边缘图像。

(3)生成灰度共生矩阵：灰度共生矩阵(或简称GLCM)是一种众所周知的统计方法，GLCM是一种二阶统计方法，它计算图像中具有相同灰度级的像素对的频率,用于表示每个像素与其相邻或周围像素之间的空间关系。GLCM是图像中满足特定相对位置的位置对的灰度级的联合概率分布。行和列索引应用灰度共生矩阵建立的灰色水平两端的相对位置加1,和矩阵元素的行列索引的位置的概率是对满足相对位置和对应的两个灰色的水平在两端。因此，对角线附近的矩阵元素表示两端灰度差较小的位置对的概率，远离对角线的矩阵元素表示灰度差较大的位置对的概率。

灰度共生矩阵定义一个灰度级为i的像素点与原本位置像素点j发生偏移的概率。换言之，在图像中任选一个像素点(x,y)和它的移动点(x+a,y+b)，这两个点形成一组，假设这个像素组的灰度值为(i,j)，固定a和b的值，让这个像素点在图像中移动，我们整理出每个灰度值出现的次数。然后对其进行归一化处理，得出灰度值的概率值P_ij。

定义如下：

其中，L是图像量化后的图像中存在的灰度级数量。我们经常使用能量、对比度、熵、相关性来表达共生矩阵的纹理特征。

基于共生矩阵的纹理特征理解较为简单，并且计算简洁，所以我们经常使用这些特征来作为图像的视觉表述。

本实施例基于这一统计方法，采用归一化算法统计图像中灰度值的概率值，对边缘图像进行像素点统计分析，对X方向和Y方向进行边缘像素点数量统计，挑选边缘点数量大于平均值的位置，最后一列大于平均值的位置作为最后一个区域的切分位置，分割出识别图像。

(4)标志识别：在标志识别前，将摄像头得到的图像中的四个角与标准图片中的四个角作为输入，获得得透视变换矩阵的各个系数，由该系数矩阵得到实际图像的仿射变换后的图像。

使用神经网络算法将识别图像与模板库进行匹配，实现地面交通标志识别。

本实施例中，在标志识别中运动的算法主要是神经网络算法和支持向量机的方法。

支持向量机(SVM)是一种基于最优化理论的机器学习方法。支持向量机方法的提出主要是用来解决分类的问题，它通过建立一个最优超分平面来区分两类，以此提高分类的正确率，分类方式主要有线性分类和非线性分类[7]。由于支持向量机很少涉及到概率密度问题，所以大大简化了分类和回归等问题。这使得支持向量机在模式识别、少数样本的图像识别乃至人工智能中都得到了广泛的应用。分类器的分类结果由少数支持向量决定，这使得我们只需要重点关注一些典型样本，一些重复样本可以忽略不计，这种优点使得支持向量机算法较为简单，容易上手，而且具有较好的“鲁棒”性。然而支持向量机算法也存在一些局限性，一是支持向量机的训练样本极为重要，我们需要尽可能收集具有特征代表性的样本，样本质量直接影响着识别效果；二是支持向量机因为使用分类器的缘故所以难以进行大规模的样本训练；三是支持向量机一般只用于二分类问题，其对于解决多分类问题存在困难。

人工神经网络(ANN)是一种信息处理系统。神经网络参考人的神经元原理(轴突、树突、神经核)，在很多神经元基础上构建神经网络模型，人工神经元是由天然神经元休息和动作电位的产生机制启发运行的模式[8]。神经元通过位于细胞膜或树突突触接收信号。当接收信号是足够大的(超出一定阈值)，神经元被激活，然后通过轴突发送信号，所发送的信号可以由另一突触接受，其他神经元可被激活。由于网络结构的自身特点，所以神经网络在面对复杂特征融合样本以及大规模训练样本时有着支持向量机算法不可比拟的优势。因为搭建的图像库涵盖大量复杂图像，所以在本次设计时我采用了神经网络算法进行图像识别。

BP神经网络原理及算法过程：

BP神经网络是一种多层级的网络“逆推”学习算法。一：输入样本的前向传播，二：误差的反向传播，这是BP神经网络重要运行方式。

当样本数据被向前传播时，样本从输入层进入网络，在隐藏层经过一系列的运算处理，然后沿网络传输到输出层。这时如果输出层的输出结果与事先预估的输出不匹配，那么网络将自动更新错误，反向进行传播过程以便更新网络权重。反向传播是指将错误的输出结果以和正向传输方式相反的方向传输，使输出信号通过输出层反向传播到隐藏层，再通过隐藏层逐层反向传输到输入层，并将错误分配给每层神经元的每个神经单元来更新网络权重。网络不停地重复执行信号的前向传播和误差反向传播的信号权重调整过程，并且不断地调整权值，即网络的学习过程。该过程不停的重复执行下去，直到网络输出层的输出结果中的错误低于到预先设定的水平值或满足预设数值的学习次数。

解决复杂问题的有效方法是“分而治之”。出于理解的目的，可以将复杂系统分解为简单元素。同样，简单元素可以集成到复杂系统中。网络是实现这一目标的一种方式。虽然有数千种类型的网络，但网络的基本元素是固定的：一系列节点和连接节点的线路。这些点可以被认为是最基本的算术单位。它们接受输入，处理输入和输出。某些过程可能与计算输入总和一样简单。一些可以是更复杂的，例如，节点可以被嵌入在另一个网络。节点之间的连接确定了节点之间的信息的流动。它们可以是单向的，并且该连接的两个节点可以仅在一个方向流动，或可以是双向的，并在该行上的两个节点流向对方。

BP神经元模型已经取得了天然的神经元的复杂性的一种高度抽象的符号概括。常见的神经元模型一般分别由不同的权重(因为不同的神经元会接收到不同强度的网络信号)组成，然后使用数学函数将用它们乘起来，以此来确定多个输入(如突触)是否要激励的神经元。还有，计算的人工神经的输出(有时取决于特定阈值)的函数。BP神经网络融合这些神经元一起处理信息。

权值越大表示输入的信号对神经元影响越大。权值可以为负值，意味着输入信号收到了抑制。不同的权值会使导致神经元的求解方法完全不一致，但是我们可以通过调节预先设定的权值来平衡恒定输入下需要的输入值。但是当ANN是由成百上千的神经元组成时，人工计算这些权值会变得异常复杂。这时就需要一些算法技巧。调整权重的过程称为“学习”或者“训练”。

BP网络结构为三层神经网络，LayerL₃为网络输出层，LayerL₂为网络隐含层，LayerL₁为网络输入层。每层网络都可以是一层或多层，可以有一个神经元也可以有多个神经元。下面的推导过程中，我们用I(x)表示网络输入；O(x)表示网络现实输出值；R(x)表示神经网络期望输出值；Q(x,y,k)表示神经网络第x层第y个神经元到第x+1层第k个神经元的连接权值；O(x,y)表示第x层第y个神经元输出值；(x,y)表示第x层第y个神经元权值；net(x,y)表示第x层第y个神经元总输入值；N_x表示第x层神经元节点数[10]。

(1)样本前向传输过程

O_xy＝f_s(net_xy)

(2)误差反向传播更新网络权值

如果神经元k在输出层，则O(x.y)就是网络的实际计算输出，记为O(y)，通过O(y)与所期望值的输出d(y)之间的误差反向传播来修改各权值。

BP神经网络是一个经典的多层级网络，分成一层用来输入，一层用来输出，还有一个隐藏层。这些层是完全连接并且在层之间不互连。BP算法包括两个过程：该输入数据的前向传播和误差信号的反向传播。在正向传播的情况下，传播由输入层到隐藏层再到输出层，并且神经元中的每个层的情形只影响下一层神经元输入。如果所需的输出结果不能在输出层获得，则误差信号就进行与正向传播方向完全相反的传播过程。不断地重复正向传播和反向传播，不断的降低误差值。通过权值函数进行的误差函数的下降方法，和该组权向量的动态是以及循环地搜索，由此得到最小的网络误差。完成信息提取和存储的过程。

设BP网络的输入层有m个节点，隐层有n个节点，输出层有k个节点，输入层与隐层之间的权值为X_ki，隐层与输出层之间的权值为Y_jk，隐层的传递函数为f₁(x)，输出层的传递函数为f₂(x)，则隐层节点的输出为：

k＝1,2,…q；

输出层节点的输出为：

j＝1,2,…m；

1.误差函数

输入P个学习样本，用x¹，x²…x^p来表示。第P个样例输入到网络后得到输出

(j＝1，2，…m)。采用平方型误差函数，于是得到第P个样本的误差E_P：

式中，

期望输出值。

对于P个样本，整体误差为：

2.输出层权值

采用迭代误差BP算法调整w_jk，使全局误差E变小，即

式中，η为学习率。

3.误差信号为：

其中第一项：

第二项：

输出层各神经元的权值调整函数为：

4.隐层权值

我们假设误差信号为：

其中，第一个：

依链定理有：

第二个：

从而得到隐层各神经元的权值调整函数为：

训练结果分析：

在经历1000次的不停的重复执行过程以后，网络输出层的输出结果中的错误低于到预先设定的水平值。BP神经网的络性能、训练状态和回归分析均满足预期目标，由此可见BP神经网络在图像识别方面优势显著，它具有以下几个方面的优点：

1.投射能力：BP神经网络能够将输入投影到输出，研究发现三级的神经网络可以一个极小的误差临界于非线性连续函数。这项优点使它非常简洁的解决一些内部结构复杂的问题。

2.自我调节能力：BP神经网络可以通过认知自主发现输入与输出数据之间的隐含联系，并自动地将认知内容存储在网络中。这也就意味着BP神经网络具有高度的自我调节能力，可以更好的适应各种复杂问题带来的需求。

3.可靠性：BP神经网络不会因为局部或部分细胞被破坏而导致网络瘫痪，这意味着该系统面对外界干扰能正常运行，即使一部分系统被破坏对工作也不会有很大的影响。这也就意味着BP神经网络具有一定的容错能力不会轻易被破坏。

由于以上原理和算法，本实施例中，对标志识别包括模板读取和图像识别步骤：

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims

1.一种基于图像检索的地面交通标志识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于图像检索的地面交通标志识别方法，其特征在于，步骤(2)中图像预处理包括灰度化、二值化和边缘检测，具体为：

3.根据权利要求2所述的基于图像检索的地面交通标志识别方法，其特征在于，步骤(3)的生成灰度共生矩阵的具体步骤为，基于步骤(2)获得的边缘图像进行像素点统计分析，对X方向和Y方向进行边缘像素点数量统计，挑选边缘点数量大于平均值的位置，最后一列大于平均值的位置作为最后一个区域的切分位置，分割出识别图像。

4.根据权利要求3所述的基于图像检索的地面交通标志识别方法，其特征在于，步骤(4)中标志识别包括模板读取和图像识别步骤：

5.根据权利要求4所述的基于图像检索的地面交通标志识别方法，其特征在于，在标志识别前，将摄像头得到的图像中的四个角与标准图片中的四个角作为输入，获得得透视变换矩阵的各个系数，由该系数矩阵得到实际图像的仿射变换后的图像。

6.根据权利要求2所述的基于图像检索的地面交通标志识别方法，其特征在于，在图像二值化时，参照灰度图像中像素的平均值、像素之间的均方差、像素之间的标准差的特征信息，设置一个函数进行判别值的计算，将大于该判别值的像素组的像素点设置为白色，小于判别值的像素组的像素点全部设置为黑色。