CN106997463A - 一种基于压缩感知域和卷积神经网络的路牌识别方法 - Google Patents

一种基于压缩感知域和卷积神经网络的路牌识别方法 Download PDF

Info

Publication number
CN106997463A
CN106997463A CN201710220412.XA CN201710220412A CN106997463A CN 106997463 A CN106997463 A CN 106997463A CN 201710220412 A CN201710220412 A CN 201710220412A CN 106997463 A CN106997463 A CN 106997463A
Authority
CN
China
Prior art keywords
neural networks
convolutional neural
guideboard
compressed sensing
sensing domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710220412.XA
Other languages
English (en)
Inventor
熊继平
王妃
叶童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201710220412.XA priority Critical patent/CN106997463A/zh
Publication of CN106997463A publication Critical patent/CN106997463A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

本发明公开了一种基于压缩感知域和深度学习中的卷积神经网络的路牌识别方法，直接使用卷积神经网络从图像的压缩感知域中提取特征，对路牌进行识别，提高了路牌识别的鲁棒性。该方法包括：利用测量矩阵将图像信号转换到压缩感知域，并将其作为卷积神经网络的输入，然后直接使用卷积神经网络从中提取有效的非线性特征，对路牌图像进行识别，取得了较高的识别精度。

Description

一种基于压缩感知域和卷积神经网络的路牌识别方法
技术领域
本发明涉及基于计算机模式识别技术，尤其涉及一种基于压缩感知域和卷积神经网络的路牌识别方法。
背景技术
在日常的交通行驶中，交通路牌起着很大的作用，正确地自动识别交通路牌具有潜在应用价值。应用传统的神经网络对路牌进行识别时，首先要对路牌图像进行二值化，但是二值化的结果就忽略可颜色信息，而交通路牌中的黑黄红蓝白颜色各自代表了不同的意义。二值化后所得到的图像有着很多的信息重叠部分，如果图像自身携带“噪声”，则在应用传统的神经网络进行识别的时候出现识别错误的可能性会大大增加。随着全球卫星导航系统的快速发展和广泛应用，车辆自动导航和无人驾驶逐渐成为一个研究和应用热点，故路牌自动快速识别就成为一个亟待解决的问题。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Hubel等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
卷积神经网络是深度学习中一种典型模型之一，是近年发展起来并引起广泛重视的一种计算机模式识别方法。20世纪60年代，Hubel和Wiesel提出了卷积神经网络(Convolutional Neural Networks，CNN)。CNN是为识别二维形状而特殊设计的一个多层感知器，其网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域。由于CNN不需对图像进行复杂的前期预处理，可以直接输入原始图像，因此已成功应用于路牌识别中。
原始图片包含许多分类时不需要的特征信息，导致卷积神经网络的计算量非常大，运行时间长。但是利用测量矩阵将原始图像转换到压缩感知域，保留主要特征，从而减少计算量和运行时间，提高路牌识别的鲁棒性。
本发明提供了一种基于压缩感知域和深度学习的卷积神经网络的路牌识别方法，利用测量矩阵将图像信号转换到压缩感知域，保留图像中的主要特征，然后直接使用卷积神经网络从图片的压缩感知域中提取特征，对路牌进行识别，提高了路牌识别的鲁棒性。
发明内容
本发明所要解决的技术问题是增强路牌识别的鲁棒性，提高路牌识别的正确率。
为了解决上述技术问题，本发明提供了一种基于压缩感知域和卷积神经网络的路牌识别方法，用于路牌识别上；该方法包括：
利用测量矩阵将图像信号转换到压缩感知域；
将基于压缩感知域的信号作为卷积神经网络的输入；
使用卷积神经网络从中提取有效非线性特征；
通过分类器，对路牌图像进行识别。
其中，根据所述训练样本获得所述基于压缩感知域的图像信号，包括：
根据图像信号的维数确定测量矩阵的大小；
利用测量矩阵将图像信号转换到压缩感知域；
获得基于压缩感知域的图像信号。
其中，根据所述训练样本获得卷积神经网络的输入，包括：
将基于压缩感知域图像的尺寸调整为32×32；
并将其作为卷积神经网络的输入。
其中，根据所述获得有效的非线性特征，包括：
采用经典的卷积神经网络模型，分别有两层卷积层、两层最大池化层，两层全连接层；
网络层1和3为卷基层，分别产生20和50张特征图；
网络层2和4为最大池化层，也可称为次抽样层；
网络层5和6位全连接层，分别产生维数为500×1和10×1的有效非线性特征向量。
其中，所述的分类器，包括：
定义分类器的参数及具体结构；
将特征向量输入至分类器；
分类器输出路牌的标签类别。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本申请实施例的基于压缩感知域和卷积神经网络的路牌识别方法的流程示意图。
图2为本申请实施例中获得压缩后图像信号的流程示意图。
图3为本申请实施例获得卷积神经网络的输入的流程示意图。
图4为本申请实施例获得有效的非线性特征流程示意图。
图5为卷积神经网络LeNet-5的结构示意图。
图6为本申请实施例述及的softmax分类器流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
本申请实施例的基于压缩感知域和卷积神经网络的路牌识别方法，用于路牌的识别。本申请实施例所述的路牌识别，主要是指运用压缩感知域和卷积神经网络。
本申请的实施例可以利用卷积神经网络直接从压缩感知域中提取有效的非线性他正，通过softmax作为分类器，对GTSRB数据集中的路牌图片进行识别。
如图1所示，本申请实施例的基于压缩感知域和卷积神经网络的路牌识别方法，主要包括如下步骤：
步骤S110，利用测量矩阵将图像信号转换到压缩感知域；
步骤S120，将基于压缩感知域的信号作为卷积神经网络的输入；
步骤S130，使用卷积神经网络从中提取有效非线性特征；
步骤S140，通过分类器，对路牌图像进行识别。
本申请实施例中，根据所述获得压缩后的图像信号。图2表示出了提取所述基于压缩感知域的图像信号的主要步骤。
步骤S210，根据图像信号的维数确定测量矩阵的大小；
测量矩阵采用高斯矩阵。
随机高斯测量矩阵是压缩感知中最常用的测量矩阵，该矩阵中的元素服从均值为0，方差为的正态分布，并且元素间相互独立，即
高斯随机测量矩阵的优点在于它几乎和任意稀疏矩阵不想关，且满足受限等距性，同时它需要的测量值数目比较少，对于长度为N，稀疏度为K的原始数据，仅需要M≥cKlog(N/K)个测量值就可以高概率的恢复重构出原始数据，其中c是一个非常小的量。
由于路牌图像大小不一，则测量矩阵的大小也不同。
步骤S220，利用测量矩阵将图像转换到压缩感知域；
利用测量矩阵将图像转换到压缩感知域，减小图像的数据量，保留主要特征，同时获得大小统一的图像信号。
步骤S230，获得基于压缩感知域的图像信号。
本申请实施例中，根据所述获得卷积神经网络的输入。图3示出了获得卷积神经网络的输入的主要步骤。
步骤S310，将压缩后图像的尺寸调整为32×32；
因为卷积神经网络的输入图像大小是固定的，所以将压缩后的图像信号统一调整为32×32。
步骤S320，将调整后的图像作为卷积神经网络的输入。
本申请实施例中，根据所述获得有效的非线性特征。图4示出了获得有效的非线性特征的主要步骤。
步骤S410，采用经典的LeNet-5卷积神经网络模型，分别有两层卷积层、两层最大池化层，两层全连接层。
LeNet-5是一种卷积神经网络，最初用于手写数字识别中。卷积神经网络LeNet-5的结构如图5所示，输入图像要经过大小归一化，每一个神经元的输入来自于前一层的一个局部邻域，并被加上由一组权值决定的权重。提取的这些特征在下一层结合形成更高一级的特征。同一特征图的神经元共享相同的一组权值，次抽样层对上一层进行平均。
步骤S420，网络层1和3为卷积层，分别产生20和50张特征图。
网络层1是由6个特征图组成的卷积层。每个神经元与输入图像的一个5×5的邻域相连接，因此每个特征图的大小是28×28。
网络层3是由16个大小为10×10的特征图组成的卷积层。特征图的每个神经元与S2网络层的若干个特征图的5×5的邻域连接。
步骤S430，网络层2和4为最大池化层，也可称为次抽样层。
网络层2是由6个大小为14×14的特征图组成的次抽样层，它是由网络层1抽样得到。特征图的每个神经元与C1层的一个大小为2×2的邻域连接。
网络层4是由16个大小为5×5的特征图组成的次抽样层。特征图的每个神经元与C3层的一个2×2大小的邻域相连接。
步骤S440，网络层5和6为全连接层，分别产生维数为500×1和10×1的有效非线性特征向量。
网络层5是卷积层，总共120个feature map，每个feature map与S4层所有的feature map相连接，卷积核大小是5*5。C5的feature map变成了1个点，共计有120(25*16+1)＝48120个参数。
网络层6，包括84个神经元，与网络层C5进行全连接。
本申请实施例中，根据所述构成softmax分类器。图6为本申请实施例述及的softmax分类器示意图。
步骤S610，定义softmax分类器的参数及具体结构。
步骤S620，将特征向量输入至分类器。
步骤S630，分类器输出路牌的标签类别。
本申请实施例提出了一种基于压缩感知域和深度学习的卷积神经网络的路牌识别方法，直接使用卷积神经网络从图片的压缩感知域中提取特征，对路牌进行识别，提高了路牌识别的精确度。该方法包括：利用测量矩阵将图像信号转换到压缩感知域，并将其作为卷积神经网络的输入，然后直接使用卷积神经网络从中提取有效的非线性特征，对路牌图像进行识别，提高了路牌识别的鲁棒性。

Claims (5)

1.一种鲁棒的路牌识别方法，用于对路牌图片的检测和分类；其特征包括：
利用测量矩阵将图像信号转换到压缩感知域；
并将其作为卷积神经网络的输入；
使用卷积神经网络从中提取有效非线性特征；
通过分类器，对路牌图像进行识别。
2.根据权利要求1所述的方法，其特征在于，根据所述训练样本获得所述的基于压缩感知域的图像信号，包括：
根据图像信号的维数确定测量矩阵的大小；
利用测量矩阵将图像信号转换到压缩感知域；
获得基于压缩感知域的图像信号。
3.根据权利要求1所述的方法，其特征在于，根据所述训练样本获得卷积神经网络的输入，包括：
将基于压缩感知域的图像的尺寸调整为32×32；
并将其作为卷积神经网络的输入。
4.根据权利要求1所述的方法，其特征在于，将对卷积神经网络的结构进行构造，包括：
采用经典的卷积神经网络模型，分别有两层卷积层、两层最大池化层，两层全连接层；
网络输入为32×32的数组；
卷积层1和2分别产生20和50张特征图；
最大池化层1和2在2×2的范围上进行操作，并且其步长为2；
全连接层1和2分别产生维数为500×1和10×1的特征向量。
5.根据权利要求1所述的方法，其特征在于，使用分类器对特征向量进行识别，包括：
定义分类器的参数及其具体结构；
输入特征向量至分类器；
分类器输出路牌的标签类别。
CN201710220412.XA 2017-03-29 2017-03-29 一种基于压缩感知域和卷积神经网络的路牌识别方法 Pending CN106997463A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710220412.XA CN106997463A (zh) 2017-03-29 2017-03-29 一种基于压缩感知域和卷积神经网络的路牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710220412.XA CN106997463A (zh) 2017-03-29 2017-03-29 一种基于压缩感知域和卷积神经网络的路牌识别方法

Publications (1)

Publication Number Publication Date
CN106997463A true CN106997463A (zh) 2017-08-01

Family

ID=59435765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710220412.XA Pending CN106997463A (zh) 2017-03-29 2017-03-29 一种基于压缩感知域和卷积神经网络的路牌识别方法

Country Status (1)

Country Link
CN (1) CN106997463A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909021A (zh) * 2017-11-07 2018-04-13 浙江师范大学 一种基于单个深层卷积神经网络的路牌检测方法
CN109086806A (zh) * 2018-07-16 2018-12-25 福州大学 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法
CN109858352A (zh) * 2018-12-26 2019-06-07 华中科技大学 一种基于压缩感知与改进多尺度网络的故障诊断方法
US10778412B2 (en) 2017-12-28 2020-09-15 Intel Corporation Multi-domain convolutional neural network
CN113516601A (zh) * 2021-06-17 2021-10-19 西南大学 基于深度卷积神经网络与压缩感知的图像恢复技术
TWI745697B (zh) * 2019-05-24 2021-11-11 創鑫智慧股份有限公司 用於神經網路參數的運算系統及其壓縮方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141541A (ja) * 2014-01-28 2015-08-03 国立研究開発法人科学技術振興機構 画像認識装置、画像認識方法、および、プログラム
CN106446895A (zh) * 2016-10-28 2017-02-22 安徽四创电子股份有限公司 一种基于深度卷积神经网络的车牌识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141541A (ja) * 2014-01-28 2015-08-03 国立研究開発法人科学技術振興機構 画像認識装置、画像認識方法、および、プログラム
CN106446895A (zh) * 2016-10-28 2017-02-22 安徽四创电子股份有限公司 一种基于深度卷积神经网络的车牌识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吕耀坤: "基于卷积神经网络的实景交通标志识别", 《物联网》 *
王冬丽 等: "基于图变换的图像压缩采样与分类", 《控制与决策》 *
赵志宏 等: "基于卷积神经网络LeNet-5的车牌字符识别研究", 《系统仿真学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909021A (zh) * 2017-11-07 2018-04-13 浙江师范大学 一种基于单个深层卷积神经网络的路牌检测方法
US10778412B2 (en) 2017-12-28 2020-09-15 Intel Corporation Multi-domain convolutional neural network
US11562181B2 (en) 2017-12-28 2023-01-24 Intel Corporation Multi-domain convolutional neural network
US11836240B2 (en) 2017-12-28 2023-12-05 Intel Corporation Frequency-domain convolutional neural network
CN109086806A (zh) * 2018-07-16 2018-12-25 福州大学 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法
CN109858352A (zh) * 2018-12-26 2019-06-07 华中科技大学 一种基于压缩感知与改进多尺度网络的故障诊断方法
TWI745697B (zh) * 2019-05-24 2021-11-11 創鑫智慧股份有限公司 用於神經網路參數的運算系統及其壓縮方法
CN113516601A (zh) * 2021-06-17 2021-10-19 西南大学 基于深度卷积神经网络与压缩感知的图像恢复技术
CN113516601B (zh) * 2021-06-17 2022-10-14 西南大学 基于深度卷积神经网络与压缩感知的图像恢复方法

Similar Documents

Publication Publication Date Title
CN106997463A (zh) 一种基于压缩感知域和卷积神经网络的路牌识别方法
CN107239802B (zh) 一种图像分类方法及装置
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN107392019A (zh) 一种恶意代码家族的训练和检测方法及装置
CN108154102B (zh) 一种道路交通标志识别方法
CN111047551A (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN107862261A (zh) 基于多尺度卷积神经网络的图像人群计数方法
CN108399406A (zh) 基于深度学习的弱监督显著性物体检测的方法及系统
CN106991382A (zh) 一种遥感场景分类方法
CN104517122A (zh) 一种基于优化卷积架构的图像目标识别方法
CN112232151B (zh) 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
CN108345850A (zh) 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法
CN114419449B (zh) 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN107967474A (zh) 一种基于卷积神经网络的海面目标显著性检测方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN113283529B (zh) 一种面向多模态图像能见度检测的神经网络构建方法
CN108537121A (zh) 气象环境参数与图像信息融合的自适应遥感场景分类方法
CN107480620A (zh) 基于异构特征融合的遥感图像自动目标识别方法
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN113033520A (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN108416270A (zh) 一种基于多属性联合特征的交通标志识别方法
CN107016366A (zh) 一种基于自适应滑动窗口和卷积神经网络的路牌检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801

WD01 Invention patent application deemed withdrawn after publication