CN111460996A - 基于极限学习深度网络融合模型的货车车辆号牌识别方法 - Google Patents

基于极限学习深度网络融合模型的货车车辆号牌识别方法 Download PDF

Info

Publication number
CN111460996A
CN111460996A CN202010244452.XA CN202010244452A CN111460996A CN 111460996 A CN111460996 A CN 111460996A CN 202010244452 A CN202010244452 A CN 202010244452A CN 111460996 A CN111460996 A CN 111460996A
Authority
CN
China
Prior art keywords
truck
number plate
model
extreme learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010244452.XA
Other languages
English (en)
Other versions
CN111460996B (zh
Inventor
赵池航
郑有凤
张婧
化丽茹
李�昊
毛迎兵
钱子晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010244452.XA priority Critical patent/CN111460996B/zh
Publication of CN111460996A publication Critical patent/CN111460996A/zh
Application granted granted Critical
Publication of CN111460996B publication Critical patent/CN111460996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，包括以下步骤：采用高速公路监控相机获取货车图像，对货车图像采用可变形部件模型、进行货车车辆号牌定位，基于比例分割方法对定位得到的货车车辆号牌进行字符分割，构建货车车辆号牌字符图像集；对车辆号牌字符图像进行特征提取；对车辆号牌字符图像进行特征提取；对车辆号牌字符图像进行特征提取；构建基于极限学习深度网络融合模型；采用训练好的基于极限学习的深层网络融合模型对输入车辆号牌图像进行货车车辆号牌的识别分类。优点是：本发明的性能优于传统的HOG+SVM以及极限学习InceptionV3模型、极限学习XceptionV3模型和极限学习NASNet模型，其识别率达到98.18％。

Description

基于极限学习深度网络融合模型的货车车辆号牌识别方法
技术领域
本发明专利涉及智能交通，智慧高速研究领域，可应用于多种交通场景，例如：交通执法系统、停车管理系统、车辆检测系统、交通诱导系统、公路稽查系统、车辆调度系统和高速公路场景中货车智慧收费系统等多种应用场景。
背景技术
车牌识别技术是计算机视频图像识别技术在车辆牌照识别中的一种应用。它是一种能够检测到受监控路面的车辆并自动提取车辆牌照信息(含汉字字符、英文字母、阿拉伯数字及颜色)进行处理的技术。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程，通过一些后续处理手段可以实现停车场收费管理，交通流量控制指标测量，车辆定位，汽车防盗，高速公路超速自动化管理、不停车收费等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实意义。随着数字图像处理、计算机视觉等领域的快速发展，车牌识别技术也在不断发展。而利用可变形部件模型(DPM)进行货车车牌定位以及按比例进行车牌字符分割建立车牌字符图像集，就是对车牌识别技术的充实与发展，对于智能交通系统、智慧高速以及货车不停车收费系统等的发展也具有重要意义。
随着计算机技术的快速发展，基于深度学习的车辆号牌检测及识别技术得到迅速发展。深度学习相比于传统的机器学习算法相比，不需要手动的提取特征，因此具有良好的普适性和自适应性，得到了广泛应用。但在卷积神经网络中，传统的前馈神经网络采用梯度下降的迭代算法去调整权重参数，这使得卷积神经网络的学习速度缓慢、计算时间增长，学习率难以确定并且易陷入局部最小值，同时还易出现过度训练、引起泛化性能下降。这些缺陷成为制约迭代算法前馈神经网络广泛应用的瓶颈。极限学习理论的提出使得通过一步计算即可解析求出学习网络的输出权值。同迭代算法相比，极限学习极大的提高了网络泛化能力和学习速度。因此，基于极限学习的深度学习网络能够更快速、更精确的完成货车车辆号牌的识别工作，从而为智慧高速货车的不停车收费提供技术支撑。
发明内容
本发明的目的在于利用基于极限学习的深度学习方法有效地对货车车辆号牌进行识别和分类，提供了一种基于极限学习深层网络融合模型的货车号牌识别分类方法。
本发明采用的技术方案为：一种基于极限学习深层网络融合模型的货车号牌识别方法。包括以下步骤：
1)采用高速公路监控相机获取货车图像，对货车图像采用可变形部件模型(DPM)进行货车车辆号牌定位，基于比例分割方法对定位得到的货车车辆号牌进行字符分割，构建货车车辆号牌字符图像集；
2)构建用于车辆号牌特征提取的基于极限学习Inception V3模型(InceptionV3-ELM)，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FI；
3)构建用于车辆号牌特征提取的基于极限学习Xception模型(Xception-ELM)，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FX；
4)构建用于车辆号牌特征提取的基于极限学习NASNet模型(NASNet-ELM)，并基于车辆号牌字符图像获取1×1056维的车辆号牌特征向量FN；
5)采用特征串联融合规则，将获取的车辆号牌图像特征向量FI、FX和FN进行融合，得到1×5152维的车辆号牌融合特征向量FC；
6)构建用于货车车辆号牌识别分类的基于极限学习深层网络融合模型的输出层，并根据获取的车辆号牌融合特征向量FC对车辆50种字符图像进行识别分类。其中，50种字符图像分别为：京、津、冀、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、蒙、晋、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、0、1、2、3、4、5、6、7、8、9。
作为优选，所述步骤1)中，采用高速公路监控相机获取货车图像，对货车图像采用可变形部件模型(DPM)进行货车车辆号牌定位，基于比例分割方法对定位得到的货车车辆号牌进行字符分割，构建货车车辆号牌字符图像集；
首先，对输入货车图像的HOG特征金字塔进行计算。然后将训练模型在HOG特征金字塔上滑动，分别计算出根滤波器和部件滤波器的得分，将所有的得分按照模型定义的生成规则进行合理组合已得到最终的模型匹配得分，通过对比设定的阈值，确定车辆号牌在该尺度上的位置。最后采用比例分割方法对定位到的货车车辆号牌进行字符分割。其中，DPM定位方法的定位精度优于基于边缘信息、基于颜色信息、基于模版匹配、基于字符特征、基于HOG+SVM等定位方法。其精度达99.34％。
作为优选，所述步骤2)中，构建用于车辆号牌特征提取的基于极限学习InceptionV3模型(Inception V3-ELM)，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FI:
基于极限学习InceptionV3模型(InceptionV3-ELM)的货车车辆号牌识别，是在输入图像后，采用InceptionV3模型对图像进行特征提取，并将提取的特征输入极限学习机ELM中进行分类训练。
首先，在InceptionV3的基础上，去掉全连接层，输入图像的Size为299×299×3，经过2个Block进行卷积计算，每个Block均包含若干卷积核大小为3×3的卷积层与一个池化层；其次，经过前两个Block计算后，连接Inception模块，其中Block 3中包含3个Inception Module A，Block 4中包含2个Inception Module B，Block 5中包含4个Inception Module C，Block 6中包含1个Inception Module D，Block 7中包含2个Inception Module E；最后，得到维度为1×2048的输出特征向量。
作为优选，所述步骤3)中，构建用于车辆号牌特征提取的基于极限学习Xception模型(Xception-ELM)，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FX:
基于极限学习Xception模型(Xception-Extreme Learning Machine，Xception-ELM)的货车车辆号牌字符识别模型是在输入图像后，采用Xception模型对图像进行特征提取，并将提取的特征输入极限学习机ELM中进行分类训练。
首先，在Xception的基础上去掉全连接层，将299×299的三通道图像输入模型，在输入模块中先进行两次卷积运算并采用RelU激活函数提高非线性；其次，连接3个采用残差连接的深度可分离卷积子模块，每个深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化，输出19×19×728的特征图；再次，连接中间模块，中间模块由8个结构相同的采用残差连接的深度可分离卷积子模块串联组成的，每个深度可分离卷积子模块包含3层带RelU激活函数的深度可分离卷积，输出19×19×728的特征图，然后，连接输出模块，输出模块包含1个采用残差连接的深度可分离卷积子模块，该深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化；最后，进行2次带RelU激活函数的深度可分离卷积运算，进行全局平均池化后，得到维度为1×2048的输出特征。
作为优选，所述步骤4)中，构建用于车辆号牌特征提取的基于极限学习NASNet模型(NASNet-ELM)，并基于车辆号牌字符图像获取1×1056维的车辆号牌特征向量FN:
基于极限学习NASNet模型(NASNet-ELM)的货车车辆号牌字符识别模型是在输入图像后，采用NASNet模型对图像进行特征提取，并将提取的特征输入极限学习机ELM中进行分类训练。
首先，在Xception的基础上去掉全连接层，将299×299三通道图像输入模型，并进行一次卷积核大小为3×3的卷积操作；然后，接入NASNet单元，包括2个Reduction Cell、6个Normal Cell、1个Reduction Cell、6个Normal Cell、1个Reduction Cell和6个NormalCell；最后，得到维度为1×1056的输出特征。
作为优选，所述步骤5)中，构建基于极限学习深度网络融合模型(FDNN-ELM)：
提出一种用于货车车辆号牌分类的基于极限学习深层网络融合模型(FDNN-ELM)；该模型基于Inception V3-ELM货车车辆号牌识别分类模型、基于Xception-ELM货车车辆号牌识别分类模型和基于NASNet-ELM货车车辆号牌识别分类模型，采用串联融合规则得到输出向量，最终得到分类结果。
三个模型分别得到1×1056维、1×2048维和1×2048维的特征后，进行串联融合得到1×5152维的特征，之后采用丢弃率为0.5的Dropout层，将特征输入极限学习机中训练字符识别的分类模型。最终输出一个向量，该向量中最大分量对应的类别即为最终分类结果。
作为优选，所述步骤6)中，采用训练好的基于极限学习的深层网络融合模型对输入车辆号牌图像进行货车车辆号牌的识别分类。
采用训练好的深层网络融合模型对50种车辆号牌字符图像：京、津、冀、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、蒙、晋、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、0、1、2、3、4、5、6、7、8、9。进行识别，获取货车车辆号牌识别结果。
本发明的有益效果在于：本发明在三种基于极限学习深度学习模型的基础上，根据货车车辆品牌类型识别需要去除原模型最后的全连接层，在提取到车辆号牌特征后将特征输入极限学习机中训练字符识别的分类模型；构建了基于InceptionV3-ELM的车辆号牌识别模型、基于Xception-ELM的车辆号牌识别模型和基于NASNet-ELM的车辆品牌识别模型，并采用串联融合规则构建了基于极限学习深层网络融合模型(FNDD-ELM)；最终通过模型得到输出向量，该向量中最大分量对应的类别即为最终分类结果。
附图说明
图1为本发明基于极限学习深层网络融合模型网络结构示意图。
图2为四种模型实验结果对比图。
图3为三种模型实验结果对比图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
如图所示，一种基于极限学习深层网络融合模型的货车号牌识别分类方法，包括以下步骤：
第一步：采用高速公路监控相机获取货车图像，对货车图像采用可变形部件模型(DPM)进行货车车辆号牌定位，基于比例分割方法对定位得到的货车车辆号牌进行字符分割，构建货车车辆号牌字符图像集；
首先，对输入货车图像的HOG特征金字塔进行计算。然后将训练模型在HOG特征金字塔上滑动，分别计算出根滤波器和部件滤波器的得分，将所有的得分按照模型定义的生成规则进行合理组合已得到最终的模型匹配得分，通过对比设定的阈值，确定车辆号牌在该尺度上的位置。最后采用比例分割方法对定位到的货车车辆号牌进行字符分割。其中，DPM定位方法的定位精度优于基于边缘信息、基于颜色信息、基于模版匹配、基于字符特征、基于HOG+SVM等定位方法。其精度达99.34％。实验精度对比如表1所示。
表1六种车辆号牌定位方法实验结果
Figure BDA0002433609780000051
第二步：构建用于车辆号牌特征提取的基于极限学习Inception V3模型(Inception V3-ELM)，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FI；
对于基于Inception V3-ELM的货车车辆号牌识别分类网络，将原始车辆号牌字符图像320×120×3规格化为240×360×3，采用卷积-卷积-卷积-池化-卷积-卷积-池化堆叠结构，在池化层后加入3个Inception Module A，并连接1个Inception Module B，其次连接4个Inception Module C，再连接1个Inception Module D，然后连接2个Inception ModuleE，最后得到2048维的输出特征。
第三步：构建用于车辆号牌特征提取的基于极限学习Xception模型(Xception-ELM)，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FX；
对于基于Xception-ELM的货车车辆号牌识别分类网络，将原始车辆号牌字符图像320×120×3规格化为320×480×3，首先进行两次卷积运算并采用RelU激活函数提高非线性；其次，连接3个采用残差连接的深度可分离卷积子模块，每个深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化，输出19×19×728的特征图；再次，连接中间模块，中间模块由8个结构相同的采用残差连接的深度可分离卷积子模块串联组成的，每个深度可分离卷积子模块包含3层带RelU激活函数的深度可分离卷积，输出19×19×728的特征图，然后，连接输出模块，输出模块包含1个采用残差连接的深度可分离卷积子模块，该深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化；最后，进行2次带RelU激活函数的深度可分离卷积运算，最后得到2048维的输出特征。
第四步：构建用于车辆号牌特征提取的基于极限学习NASNet模型(NASNet-ELM)，并基于车辆号牌字符图像获取1×1056维的车辆号牌特征向量FN；
对于基于NASNet-ELM的货车车辆号牌识别分类网络，将原始车辆号牌字符图像320×120×3规格化为320×480×3，进行3×3的卷积运算，并连接2个Reduction Cell单元，其次连接6个Normal Cell单元，再连接1个Reduction Cell单元，然后连接6个NormalCell单元，并连接1个Reduction Cell单元，最后再连接6个Normal Cell单元，最后得到维度为1056的输出特征。
第五步：采用特征串联融合规则，将获取的车辆号牌图像特征向量FI、FX和FN进行融合，得到1×5152维的车辆号牌融合特征向量FC：
三个模型分别得到1×1056维、1×2048维和1×2048维的特征后，进行串联融合得到1×5152维的特征，之后采用丢弃率为0.5的Dropout层，将特征输入极限学习机中训练字符识别的分类模型。
第六步：构建用于货车车辆号牌识别分类的基于极限学习深层网络融合模型的输出层，并根据获取的车辆号牌融合特征向量FC对车辆50种字符图像进行识别分类。其中，50种字符图像分别为：京、津、冀、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、蒙、晋、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、0、1、2、3、4、5、6、7、8、9。
采用训练好的深层网络融合模型对50种车辆号牌字符图像：京、津、冀、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、蒙、晋、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、0、1、2、3、4、5、6、7、8、9。进行识别，获取货车车辆号牌识别结果。
本发明提出了一种用于货车车辆号牌识别的基于极限学习深层网络融合模型(FNDD–ELM)，实验结果表明所提出的用于货车车辆号牌识别的极限学习深层网络融合模型的性能优于传统的HOG+SVM模型，也优于Resnet-ELM、InceptionV3-ELM、Xception-ELM、Xception-MMD、NASNet-ELM等单个极限学习深度网络模型的货车车辆号牌识别方法，其货车号牌识别率高达98.18％，实验精度对比如表2所示。
表2模型精度对比
Figure BDA0002433609780000071
其中，前四个单个极限学习深度网络模型的识别率及稳定性对比如图2所示，可看出InceptionV3-ELM模型精度和稳定性均好于其他三种模型，因此进一步画出InceptionV3-ELM、HOG+SVM以及FDNN模型精度及稳定性对比图如图3所示。
由图3可知，FDNN模型的精度和稳定性均优于InceptionV3-ELM、HOG+SVM模型。综上，本发明提出的一种用于货车车辆号牌识别的基于极限学习深层网络融合模型(FNDD–ELM)具有较高的精确度和较好的鲁棒性。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，其特征在于，包括以下步骤：
1)采用高速公路监控相机获取货车图像，对货车图像采用可变形部件模型，即DPM，进行货车车辆号牌定位，基于比例分割方法对定位得到的货车车辆号牌进行字符分割，构建货车车辆号牌字符图像集；
2)构建用于车辆号牌特征提取的基于极限学习Inception V3模型，即Inception V3-ELM，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FI；
3)构建用于车辆号牌特征提取的基于极限学习Xception模型，即Xception-ELM，并基于车辆号牌字符图像获取1×2048维的车辆号牌特征向量FX；
4)构建用于车辆号牌特征提取的基于极限学习NASNet模型，即NASNet-ELM，并基于车辆号牌字符图像获取1×1056维的车辆号牌特征向量FN；
5)采用特征串联融合规则，将获取的车辆号牌图像特征向量FI、FX和FN进行融合，得到1×5152维的车辆号牌融合特征向量FC；
6)构建用于货车车辆号牌识别的基于极限学习深层网络融合模型的输出层，并根据获取的车辆号牌融合特征向量FC对车辆50种字符图像进行识别分类；其中，50种字符图像分别为：京、津、冀、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、蒙、晋、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、0、1、2、3、4、5、6、7、8、9。
2.根据权利要求1所述的一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，其特征在于，具体步骤为：
1)输入图像；
2)采用Inception V3-ELM进行特征提取，对于InceptionV3-ELM模型，输入图像为299×299的三通道图像，采用卷积-卷积-卷积-池化-卷积-卷积-池化堆叠结构，在池化层后加入3个Inception Module A，并连接1个Inception Module B，其次连接4个InceptionModule C，再连接1个Inception Module D，然后连接2个Inception Module E，最后得到2048维的输出特征；
3)采用Xception-ELM进行特征提取，对于Xcepiton-ELM模型，输入299×299的三通道图像，首先进行两次卷积运算并采用RelU激活函数提高非线性；其次，连接3个采用残差连接的深度可分离卷积子模块，每个深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化，输出19×19×728的特征图；再次，连接中间模块，中间模块由8个结构相同的采用残差连接的深度可分离卷积子模块串联组成的，每个深度可分离卷积子模块包含3层带RelU激活函数的深度可分离卷积，输出19×19×728的特征图，然后，连接输出模块，输出模块包含1个采用残差连接的深度可分离卷积子模块，该深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化；最后，进行2次带RelU激活函数的深度可分离卷积运算，最后得到2048维的输出特征；
4)采用NASNet-ELM进行特征提取，对于NASNet-ELM，输入图像为299×299的三通道图像，第一层是一个3×3的卷积，并连接2个Reduction Cell单元，其次连接6个Normal Cell单元，再连接1个Reduction Cell单元，然后连接6个Normal Cell单元，并连接1个Reduction Cell单元，最后再连接6个Normal Cell单元，最后得到维度为1056的输出特征；
5)采用串联融合规则，将经过Inception V3-ELM、Xception-ELM和NASNet-ELM模型提取的特征向量融合，得到1×5152维特征；
6)将提取的特征输入极限学习机中训练字符识别的分类模型，最终输出一个向量，该向量中最大分量对应的类别即为最终识别分类结果。
3.根据权利要求1所述的一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，其特征在于：所述步骤1)中，采用高速公路监控相机获取货车图像，对货车图像采用可变形部件模型，即DPM，进行货车车辆号牌定位，基于比例分割方法对定位得到的货车车辆号牌进行字符分割，构建货车车辆号牌字符图像集；
首先，对输入货车图像的HOG特征金字塔进行计算，然后将训练模型在HOG特征金字塔上滑动，分别计算出根滤波器和部件滤波器的得分，将所有的得分按照模型定义的生成规则进行合理组合已得到最终的模型匹配得分，通过对比设定的阈值，确定车辆号牌在该尺度上的位置，最后采用比例分割方法对定位到的货车车辆号牌进行字符分割，其中，DPM定位方法的定位精度优于基于边缘信息、基于颜色信息、基于模版匹配、基于字符特征、基于HOG+SVM等定位方法。
4.根据权利要求1所述的一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，其特征在于：所述步骤2)中，采用基于极限学习Inception V3模型，即Inception V3-ELM，对车辆号牌字符图像进行特征提取；
对于基于Inception V3-ELM的货车车辆号牌识别分类网络，将原始车辆号牌字符图像320×120×3规格化为240×360×3，采用卷积-卷积-卷积-池化-卷积-卷积-池化堆叠结构，在池化层后加入3个Inception Module A，并连接1个Inception Module B，其次连接4个Inception Module C，再连接1个Inception Module D，然后连接2个Inception ModuleE，最后得到2048维的输出特征。
5.根据权利要求1所述的一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，其特征在于：所述步骤3)中，采用基于极限学习Xception模型，即Xception-ELM，对车辆号牌字符图像进行特征提取；
对于基于Xception-ELM的货车车辆号牌识别分类网络，将原始车辆号牌字符图像320×120×3规格化为320×480×3，首先进行两次卷积运算并采用RelU激活函数提高非线性；其次，连接3个采用残差连接的深度可分离卷积子模块，每个深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化，输出19×19×728的特征图；再次，连接中间模块，中间模块由8个结构相同的采用残差连接的深度可分离卷积子模块串联组成的，每个深度可分离卷积子模块包含3层带RelU激活函数的深度可分离卷积，输出19×19×728的特征图，然后，连接输出模块，输出模块包含1个采用残差连接的深度可分离卷积子模块，该深度可分离卷积子模块包含2层带RelU激活函数的深度可分离卷积和一层最大池化；最后，进行2次带RelU激活函数的深度可分离卷积运算，最后得到2048维的输出特征。
6.根据权利要求1所述的一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，其特征在于：所述步骤4)中，采用基于极限学习NASNet模型，即NASNet-ELM，对车辆号牌图像进行特征提取；
对于基于NASNet-ELM的货车车辆号牌识别分类网络，将原始车辆号牌字符图像320×120×3规格化为320×480×3，进行3×3的卷积运算，并连接2个Reduction Cell单元，其次连接6个Normal Cell单元，再连接1个Reduction Cell单元，然后连接6个Normal Cell单元，并连接1个Reduction Cell单元，最后再连接6个Normal Cell单元，最后得到维度为1056的输出特征。
7.根据权利要求1所述的一种基于极限学习深度网络融合模型的货车车辆号牌识别方法，其特征在于：所述步骤5)中，构建基于极限学习深度网络融合模型，即FDNN-ELM；
提出一种用于货车车辆号牌分类的基于极限学习深层网络融合模型，即FDNN-ELM；该模型基于Inception V3-ELM货车车辆号牌识别分类模型、基于Xception-ELM货车车辆号牌识别分类模型和基于NASNet-ELM货车车辆号牌识别分类模型，采用串联融合规则得到输出向量，最终得到分类结果。
CN202010244452.XA 2020-03-31 2020-03-31 基于极限学习深度网络融合模型的货车车辆号牌识别方法 Active CN111460996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010244452.XA CN111460996B (zh) 2020-03-31 2020-03-31 基于极限学习深度网络融合模型的货车车辆号牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010244452.XA CN111460996B (zh) 2020-03-31 2020-03-31 基于极限学习深度网络融合模型的货车车辆号牌识别方法

Publications (2)

Publication Number Publication Date
CN111460996A true CN111460996A (zh) 2020-07-28
CN111460996B CN111460996B (zh) 2022-02-15

Family

ID=71685097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010244452.XA Active CN111460996B (zh) 2020-03-31 2020-03-31 基于极限学习深度网络融合模型的货车车辆号牌识别方法

Country Status (1)

Country Link
CN (1) CN111460996B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134079A (zh) * 2014-07-31 2014-11-05 中国科学院自动化研究所 一种基于极值区域和极限学习机的车牌识别方法
CN108921162A (zh) * 2018-06-11 2018-11-30 厦门中控智慧信息技术有限公司 基于深度学习的车牌识别方法及相关产品
CN109101945A (zh) * 2018-08-27 2018-12-28 贵阳学院 一种交通视频监控图像中的多车牌检测方法
CN109948643A (zh) * 2019-01-21 2019-06-28 东南大学 一种基于深层网络融合模型的车辆类型分类方法
EP3564857A1 (en) * 2018-05-03 2019-11-06 Chang Gung Memorial Hospital, Linkou Pattern recognition method of autoantibody immunofluorescence image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134079A (zh) * 2014-07-31 2014-11-05 中国科学院自动化研究所 一种基于极值区域和极限学习机的车牌识别方法
EP3564857A1 (en) * 2018-05-03 2019-11-06 Chang Gung Memorial Hospital, Linkou Pattern recognition method of autoantibody immunofluorescence image
CN108921162A (zh) * 2018-06-11 2018-11-30 厦门中控智慧信息技术有限公司 基于深度学习的车牌识别方法及相关产品
CN109101945A (zh) * 2018-08-27 2018-12-28 贵阳学院 一种交通视频监控图像中的多车牌检测方法
CN109948643A (zh) * 2019-01-21 2019-06-28 东南大学 一种基于深层网络融合模型的车辆类型分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BARRET ZOPH, VIJAY VASUDEVAN, JONATHON SHLENS, QUOC V. LE,: "Learning Transferable Architectures for Scalable Image Recognition", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Also Published As

Publication number Publication date
CN111460996B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN109508715B (zh) 一种基于深度学习的车牌定位和识别方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN101859382B (zh) 一种基于最大稳定极值区域的车牌检测与识别的方法
CN105930791B (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN103810505B (zh) 基于多层描述子的车辆标识方法与系统
CN111428735B (zh) 一种基于迁移学习深层网络融合模型的货车品牌分类方法
CN106934378B (zh) 一种基于视频深度学习的汽车远光灯识别系统及方法
Wang et al. An effective method for plate number recognition
CN105335710A (zh) 一种基于多级分类器的精细车辆型号识别方法
CN104766042A (zh) 交通标志板识别方法及装置
Chantakamo et al. The multi vehicle recognition using hybrid blob analysis and feature-based
Zhou et al. Vehicle classification using transferable deep neural network features
CN110826415A (zh) 一种场景图像中车辆的重识别方法及设备
Shah et al. OCR-based chassis-number recognition using artificial neural networks
Ren et al. Vehicle make and model recognition based on convolutional neural networks
CN109255052B (zh) 一种基于多特征的三阶段车辆检索方法
Soon et al. Malaysian car number plate detection and recognition system
CN102184412A (zh) 基于最小错误率贝叶斯分类器的车牌数字及字母识别方法
Chen et al. Vehicle type recognition based on multi-branch and multi-layer features
Rujikietgumjorn et al. Vehicle detection with sub-class training using R-CNN for the UA-DETRAC benchmark
Li et al. A novel approach for vehicle detection using an AND–OR-graph-based multiscale model
CN111460996B (zh) 基于极限学习深度网络融合模型的货车车辆号牌识别方法
Kraisin et al. Accuracy improvement of a province name recognition on Thai license plate
CN111814647A (zh) 一种二阶段的自行车小类关键点置信度图像cnn识别方法
CN108647679B (zh) 一种基于车窗粗定位的车标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant