CN111461060A - 一种基于深度学习和极限学习机的交通标志识别方法 - Google Patents

一种基于深度学习和极限学习机的交通标志识别方法 Download PDF

Info

Publication number
CN111461060A
CN111461060A CN202010321962.2A CN202010321962A CN111461060A CN 111461060 A CN111461060 A CN 111461060A CN 202010321962 A CN202010321962 A CN 202010321962A CN 111461060 A CN111461060 A CN 111461060A
Authority
CN
China
Prior art keywords
sample
samples
traffic sign
training
hidden layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010321962.2A
Other languages
English (en)
Inventor
李文举
那馨元
苏攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN202010321962.2A priority Critical patent/CN111461060A/zh
Publication of CN111461060A publication Critical patent/CN111461060A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和极限学习机的交通标志识别方法，包括以下步骤：步骤1：获取交通标志样本数据集，按照交叉验证的方法，按照10：1的比例随机分为训练数据集和测试数据集；步骤2：对数据集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练神经网络模型；步骤3：利用VGG16网络生成的特征金字塔监测出交通标志；步骤4：利用极限学习机ELM分类器识别交通标志，利用全连接网络进行边界框回归。本发明是基于VGG16网络结构进行交通标志的检测，并采用极限学习机进行交通标志的识别；在德国公共数据集上有较好的检测与识别表现，且对不同类型的标志均有较快的检测与识别速度。

Description

一种基于深度学习和极限学习机的交通标志识别方法
技术领域
本发明涉及图像识别领域，特别涉及一种基于深度学习和极限学习机的交通标志识别方法。
背景技术
交通标志识别是对道路上的交通标志牌进行检测与识别，是先进辅助驾驶和无人驾驶中的关键技术，是模式识别领域中的研究热点，具有重要的理论意义和实际意义。
交通标志识别要解决的关键问题是识别精度与实时性，它涉及到两项关键技术，即交通标志牌检测和交通标志牌识别。交通标志牌检测作为交通标志识别的第一个关键步骤，由于其类型不同、尺寸较小、场景复杂、光照、天气、遮挡、运动模糊等，一直是一个具有挑战性的问题。交通标志牌识别由于种类繁多、颜色失真、形状失真、尺寸变化、磨损、遮挡等，也是一个难点问题。
本文提出一种基于深度学习和极限学习机的交通标志识别算法。由于深度卷积神经网络对各种复杂因素具有鲁棒性，极限学习机算法具有快速性、泛化性好的特点，所以将二者结合起来，利用深度卷积神经网络技术进行交通标志牌检测，利用极限学习机(ELM)技术设计分类器进行交通标志牌识别，期望能够解决交通标志识别的识别精度与实时性问题。
发明内容
为了克服现有技术中的不足，本发明提供一种基于深度学习和极限学习机的交通标志识别方法，能够提高检测的准确性和识别的实时性。
为了达到上述发明目的，解决其技术问题所采用的技术方案如下：
一种基于深度学习和极限学习机的交通标志识别方法，包括以下步骤：
步骤1：获取交通标志样本数据集，按照交叉验证的方法，按照10：1的比例随机分为训练数据集和测试数据集；
步骤2：对数据集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练神经网络模型；
步骤3：利用VGG16网络生成的特征金字塔监测出交通标志；
步骤4：利用极限学习机ELM分类器识别交通标志，利用全连接网络进行边界框回归。
进一步的，步骤1包括：以含有一个交通标志的图片为一个样本，样本大小为16×16至250×250，数据集共包含51839张样本，随机选取47126张作为训练集，4713张为测试集，然后对所有样本进行等大缩放处理。
进一步的，对样本进行等大缩放处理的过程为：将样本图片利用双线性差值方法统一缩放至32×32大小。
进一步的，步骤2中对数据库进行增强的过程为：使用平移、随机旋转、水平翻转的方法进行数据扩充，使训练数据集中不同类别的样本均衡化。
进一步的，步骤3中VGG16网络训练样本的过程包括：
步骤31：准备训练样本集，其中包括正样本集和负样本集；
步骤32：手动裁剪样本；
步骤33：裁剪得到训练样本之后，将所有正样本放在一个文件夹中，将所有负样本放在一个文件夹中，并将所有训练样本缩放到统一尺寸；
步骤34：提取所有正样本的Hog特征；
步骤35：提取所有负样本的Hog特征。
进一步的，步骤4中采用ELM的分类方法，输出的误差可以表示为：
Figure BDA0002461765090000021
其中，j＝1，...，N，N为输入的样本数，oj为第j个输入样本的预测输出，tj为第j个输入样本的标签；
最小化损失函数为：
Figure BDA0002461765090000031
其中，N表示输入的样本数，L为ELM分类器隐层的神经元数，βi为隐层各神经元的权值，wi为第j个输入样本的权值，xj为第j个样本，bi为隐层第i个神经元的偏置，tj为对应于第j个输入样本的标签；
ELM模型隐藏层输出H(x)的计算公式如下：
H(x)＝[h1(x)，...，hL(x)]
H(x)是ELM非线性映射的隐藏层输出矩阵，hi(x)是第i个隐藏层节点的输出，隐藏层节点的输出函数不是唯一的，不同的输出函数可以用于不同的隐藏层神经元，通常，在实际应用中，hi(x)如下表示：
hi(x)＝g(wi，bi，x)＝g(wi·x+bi)，wi∈RD，bi∈R
其中，g(wi，bi，x)是激活函数。
进一步的，步骤4中，训练ELM分类器过程如下：
步骤41：输入训练样本的特征，使用sigmoid函数作为激活函数，表示为：
Figure BDA0002461765090000032
步骤42：随机生成隐含层参数(w，b)；
步骤43：计算隐含层输出矩阵H；
Figure BDA0002461765090000033
步骤44：计算输出权值β；
β＝[β1，...，βL]T
步骤45：计算输出向量T；
T＝[t1，...，tL]T。
本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：
本发明一种基于深度学习和极限学习机的交通标志识别方法，基于VGG-16卷积神经网络结构和ELM的结构，降低了计算复杂度，有较好的识别表现，且识别实时性好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1为本发明一种基于深度学习和极限学习机的交通标志识别方法的流程图；
图2为VGG-16卷积神经网络模型结构；
图3为ELM分类器模型示意图。
图4为sigmoid函数图像。
具体实施方式
以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明是基于VGG16网络结构进行交通标志的检测，并采用极限学习机进行交通标志的识别；在德国公共数据集上有较好的检测与识别表现，且对不同类型的标志均有较快的检测与识别速度。
如图1所示，本实施例采用的技术方案是，将深度学习领域实时性好、精度较高的VGG16网络模型和ELM融合在一起，构建一种高效、准确的交通标志识别方法，具体的，公开了一种基于深度学习和极限学习机的交通标志识别方法，包括以下步骤：
步骤1：获取交通标志样本数据集，按照交叉验证(Cross-Validation)的方法，按照10：1的比例随机分为训练数据集和测试数据集；
具体过程为：以含有一个交通标志的图片为一个样本，样本大小为16×16至250×250，数据集共包含51839张样本，随机选取47126张作为训练集，4713张为测试集，然后对所有样本进行等大缩放处理。即，将样本图片利用双线性差值方法统一缩放至32×32大小。
步骤2：对数据集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练神经网络模型；
具体的，步骤2中对数据库进行增强的过程为：使用平移、随机旋转、水平翻转的方法进行数据扩充，使训练数据集中不同类别的样本均衡化。
根据原始样本分布情况可以得到，数据样本较多的类别多达2010张，而最少的类别只有180张，样本分布不均会造成模型对样本学习能力不全面，可能造成交通标志的错误识别，因此利用旋转、平移的方法扩充数据的样本数量，使数据分布变得均匀，含有样本数量最少的类别增加至1800张，保障了学习特征时的充分性。
步骤3：利用VGG16网络生成的特征金字塔监测出交通标志；
如图2所示，VGG-16网络结构模型包括输入层、卷积层、池化层、全连接层和输出层，本发明中输入层为只含有一个交通标志的图片，训练卷积神经网络模型采用GTSDB数据集。
进一步的，步骤3中VGG16网络训练样本的过程包括：
步骤31：准备训练样本集，其中包括正样本集和负样本集；
步骤32：手动裁剪样本；
步骤33：裁剪得到训练样本之后，将所有正样本放在一个文件夹中，将所有负样本放在一个文件夹中，并将所有训练样本缩放到统一尺寸；
步骤34：提取所有正样本的Hog特征；
步骤35：提取所有负样本的Hog特征。
具体的，参见图2，使用VGG16作为主干网络(backbone)用于提取图像特征，生成一个3层的特征金字塔，然后每一层特征金字塔连接一个3层的卷积网络模块，预测7x7个潜在的交通标志的位置。在这49个潜在的位置，每个位置都是一个矩形或者正方形框，称为候选边界框，包含[x，y，w，h，score]6个值：其中，x和y表示候选边界框的中心，w和h表示候选边界框的宽和高，score表示候选边界框包含目标(交通标志)的置信度。其中，包含目标的候选边界框叫做正样本，不包含目标的候选边界框称作负样本。
在预测正负样本时，还可能由于预测的正负样本的不均衡，导致某些难以检测的交通标志样本被漏检测，因此设置正负样本的阈值便很重要。在本发明中，当score大于0.7时认为是正样本，score小于0.3时是负样本，而score的值大于0.3小于0.7的样本则被扔掉。
步骤4：利用极限学习机(Extreme Learning Machine，ELM)分类器识别交通标志，利用全连接网络进行边界框回归。
进一步的，步骤4中采用ELM的分类方法，输出的误差可以表示为：
Figure BDA0002461765090000061
其中，j＝1，...，N，N为输入的样本数，oj为第j个输入样本的预测输出，tj为第j个输入样本的标签；
最小化损失函数为：
Figure BDA0002461765090000062
其中，N表示输入的样本数，L为ELM分类器隐层的神经元数，βi为隐层各神经元的权值，wi为第j个输入样本的权值，xj为第j个样本，bi为隐层第i个神经元的偏置，tj为对应于第j个输入样本的标签；
ELM模型隐藏层输出H(x)的计算公式如下：
H(x)＝[h1(x)，...，hL(x)]
H(x)是ELM非线性映射的隐藏层输出矩阵，hi(x)是第i个隐藏层节点的输出，隐藏层节点的输出函数不是唯一的，不同的输出函数可以用于不同的隐藏层神经元，通常，在实际应用中，hi(x)如下表示：
hi(x)＝g(wi，bi，x)＝g(wi·x+bi)，wi∈RD，bi∈R
其中，g(wi，bi，x)是激活函数。
参见图3，具体实施时，训练ELM分类器过程如下：
步骤41：输入训练样本的特征，使用sigmoid函数作为激活函数，表示为：
Figure BDA0002461765090000071
步骤42：随机生成隐含层参数(w，b)；
步骤43：计算隐含层输出矩阵H；
Figure BDA0002461765090000072
步骤44：计算输出权值β；
β＝[β1，...，βL]T
步骤45：计算输出向量T；
T＝[t1，...，tL]T。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于深度学习和极限学习机的交通标志识别方法，其特征在于，包括以下步骤：
步骤1：获取交通标志样本数据集，按照交叉验证的方法，按照10：1的比例随机分为训练数据集和测试数据集；
步骤2：对数据集进行增强处理，得到分布均匀的训练样本集，并通过分布均匀的训练样本集训练神经网络模型；
步骤3：利用VGG16网络生成的特征金字塔监测出交通标志；
步骤4：利用极限学习机ELM分类器识别交通标志，利用全连接网络进行边界框回归。
2.根据权利要求1所述的一种基于深度学习和极限学习机的交通标志识别方法，其特征在于，步骤1包括：
以含有一个交通标志的图片为一个样本，样本大小为16×16至250×250，数据集共包含51839张样本，随机选取47126张作为训练集，4713张为测试集，然后对所有样本进行等大缩放处理。
3.根据权利要求2所述的一种基于深度学习和极限学习机的交通标志识别方法，其特征在于，对样本进行等大缩放处理的过程为：将样本图片利用双线性差值方法统一缩放至32×32大小。
4.根据权利要求1所述的一种基于深度学习和极限学习机的交通标志识别方法，其特征在于，步骤2中对数据库进行增强的过程为：使用平移、随机旋转、水平翻转的方法进行数据扩充，使训练数据集中不同类别的样本均衡化。
5.根据权利要求1所述的一种基于深度学习和极限学习机的交通标志识别方法，其特征在于，步骤3中VGG16网络训练样本的过程包括：
步骤31：准备训练样本集，其中包括正样本集和负样本集；
步骤32：手动裁剪样本；
步骤33：裁剪得到训练样本之后，将所有正样本放在一个文件夹中，将所有负样本放在一个文件夹中，并将所有训练样本缩放到统一尺寸；
步骤34：提取所有正样本的Hog特征；
步骤35：提取所有负样本的Hog特征。
6.根据权利要求1所述的一种基于深度学习和极限学习机的交通标志识别方法，其特征在于，步骤4中采用ELM的分类方法，输出的误差可以表示为：
Figure FDA0002461765080000021
其中，j＝1，...N，N为输入的样本数，oM为第j个输入样本的预测输出，tM为第j个输入样本的标签；
最小化损失函数为：
Figure FDA0002461765080000022
其中，N表示输入的样本数，L为ELM分类器隐层的神经元数，βL为隐层各神经元的权值，wL为第j个输入样本的权值，xj为第j个样本，bi为隐层第i个神经元的偏置，tj为对应于第j个输入样本的标签；
ELM模型隐藏层输出H(x)的计算公式如下：
H(x)＝[h1(x)，...，hL(x)]
H(x)是ELM非线性映射的隐藏层输出矩阵，hi(x)是第i个隐藏层节点的输出，隐藏层节点的输出函数不是唯一的，不同的输出函数可以用于不同的隐藏层神经元，通常，在实际应用中，hi(x)如下表示：
hi(x)＝g(wi，bi，x)＝g(wi·x+bi)，wi∈RD，bi∈R
其中，g(wi，bi，x)是激活函数。
7.根据权利要求1所述的一种基于深度学习和极限学习机的交通标志识别方法，其特征在于，步骤4中，训练ELM分类器过程如下：
步骤41：输入训练样本的特征，使用sigmoid函数作为激活函数，表示为：
Figure FDA0002461765080000031
步骤42：随机生成隐含层参数(w，b)；
步骤43：计算隐含层输出矩阵H；
Figure FDA0002461765080000032
步骤44：计算输出权值β；
β＝[β1，…，βL]T
步骤45：计算输出向量T；
T＝[t1，…，tL]T。
CN202010321962.2A 2020-04-22 2020-04-22 一种基于深度学习和极限学习机的交通标志识别方法 Pending CN111461060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010321962.2A CN111461060A (zh) 2020-04-22 2020-04-22 一种基于深度学习和极限学习机的交通标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010321962.2A CN111461060A (zh) 2020-04-22 2020-04-22 一种基于深度学习和极限学习机的交通标志识别方法

Publications (1)

Publication Number Publication Date
CN111461060A true CN111461060A (zh) 2020-07-28

Family

ID=71681355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321962.2A Pending CN111461060A (zh) 2020-04-22 2020-04-22 一种基于深度学习和极限学习机的交通标志识别方法

Country Status (1)

Country Link
CN (1) CN111461060A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344102A (zh) * 2021-06-23 2021-09-03 昆山星际舟智能科技有限公司 基于图像hog特征与elm模型的目标图像识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161606A1 (en) * 2015-12-06 2017-06-08 Beijing University Of Technology Clustering method based on iterations of neural networks
CN110163187A (zh) * 2019-06-02 2019-08-23 东北石油大学 基于f-rcnn的远距离交通标志检测识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161606A1 (en) * 2015-12-06 2017-06-08 Beijing University Of Technology Clustering method based on iterations of neural networks
CN110163187A (zh) * 2019-06-02 2019-08-23 东北石油大学 基于f-rcnn的远距离交通标志检测识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程越等: "基于轻量型卷积神经网络的交通标志识别方法", 《计算机系统应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344102A (zh) * 2021-06-23 2021-09-03 昆山星际舟智能科技有限公司 基于图像hog特征与elm模型的目标图像识别方法

Similar Documents

Publication Publication Date Title
Ali et al. Structural crack detection using deep convolutional neural networks
Hu et al. Detection of PCB surface defects with improved faster-RCNN and feature pyramid network
CN111709909B (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN108346159A (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN111008618B (zh) 一种自注意力深度学习端到端的行人再识别方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
Javad Shafiee et al. Embedded motion detection via neural response mixture background modeling
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
CN114821014A (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN115527072A (zh) 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN113963333B (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111461060A (zh) 一种基于深度学习和极限学习机的交通标志识别方法
CN109284752A (zh) 一种车辆的快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination