CN108090423B - 一种基于热力图和关键点回归的深度车牌检测方法 - Google Patents

一种基于热力图和关键点回归的深度车牌检测方法 Download PDF

Info

Publication number
CN108090423B
CN108090423B CN201711250682.1A CN201711250682A CN108090423B CN 108090423 B CN108090423 B CN 108090423B CN 201711250682 A CN201711250682 A CN 201711250682A CN 108090423 B CN108090423 B CN 108090423B
Authority
CN
China
Prior art keywords
license plate
convolution
layer
thermodynamic diagram
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711250682.1A
Other languages
English (en)
Other versions
CN108090423A (zh
Inventor
魏丹
王子阳
罗一平
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN201711250682.1A priority Critical patent/CN108090423B/zh
Publication of CN108090423A publication Critical patent/CN108090423A/zh
Application granted granted Critical
Publication of CN108090423B publication Critical patent/CN108090423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，离线学习阶段包括以下四个步骤：(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；本方法利用离线训练的深度网络表征目标，达到快速、稳定的对目标物进行车牌检测的目的。

Description

一种基于热力图和关键点回归的深度车牌检测方法
技术领域
本发明涉及智能交通领域，一种基于热力图和关键点回归的深度车牌检测方法。
背景技术
近年来，基于视频的车牌检测识别技术在智能交通领域的重要性不断提升，车牌检测识别准确率是判断车牌识别技术发展的重要指标。车牌识别技术可以应用于小区停车管理系统、重要交通枢纽处的“电子眼”系统、高速公路车速管理系统等多个领域，对公共安全和国家发展带来了很多方便和保障。随着交通环境的不断复杂化，已出现一些车牌识别相关产品渐渐无法满足用户实时性的需求。传统的车牌识别系统主要流程是：输入图像，对图像进行降噪、灰度化，边缘检测等预处理，然后根据提取的边缘特征进行车牌定位，最后分割字符和识别。但在复杂的环境中采集到的图像，车牌的漏检和误检率都比较高，很难高效的、准确的完成车牌的识别。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习方法模型不仅正确率较高，在光照变化和噪声污染下的准确性和稳定性较好，能够有效降低车标识别的错误率，同时也避免了需要消耗大量的时间进行人工特征提取的工作，使得在线检测运算效率大大提升。但是对于一些存在复杂文字干扰图像也容易出现误检测，在车辆图像偏斜角度比较大以及夜晚光照较弱时，依然会出现一些漏检测、误检测。目前现有技术的主要缺点：
1.目标检测方法具有处理多种目标尺度的需求，所以通常比较耗时；
2.常规的检测方法通常采用滑动窗口结合目标分类器方法进行目标检测，由于分类器判断总会出现判断失误的情况，所以在车牌检测中使用常规检测方法检测车牌容易遗漏真车牌，也容易造成大量误检。
发明内容
本发明的目的是提供一种基于热力图和关键点回归的深度车牌检测方法，利用离线训练的深度网络表征目标，达到快速、稳定的对目标物进行车牌检测的目的。
本发明为解决其技术问题所采用的技术方案是：
一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段；
离线学习阶段包括以下四个步骤：
(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；
(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；
(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，包括车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，从而得到归一化车牌位置坐标，由4个值表示(x,y,w,h)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；
(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；
检测阶段包括以下四个步骤：
(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；
(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图；
(3)设置阈值：设置阈值T，统计热力图区域(26x’,26y’,26w’,26h’)中大于阈值T的点个数记为Num；
(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车；
所述离线学习阶段步骤(1)中网络结构大小统一调整为120×120×3，第一层卷积后为116×116×10，第二层卷积后为57×57×20，第三层卷积后为28×28×40；
所述离线学习阶段步骤(2)中的样本，统一调整大小为120×120×3。
本发明的优点在于：
1.一种基于热力图和关键点回归的深度车牌检测方法，首先利用离线学习的深度特征描述被检测的目标，该特征是很强的特征描述子，使得在该特征域上对目标进行检测更准确；
2.该方法的学习阶段是在离线完成的，在线检测时直接使用，使得检测更快速。。
附图说明
图1是本发明提出的一种基于热力图和关键点回归的深度车牌检测方法的流程示意图；
图2是该方法中离线学习阶段中的网络结构图；
图3是一实施例中的热力图标注图；
图4是一实施例中的热力图结果图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。
如图1所示，本发明提出的一种基于热力图和关键点回归的深度车牌检测方法包括离线学习阶段和检测阶段；
离线学习阶段包括以下四个步骤：
(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；
(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；
(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，包括车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，从而得到归一化车牌位置坐标，由4个值表示(x,y,w,h)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；
(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；
检测阶段包括以下四个步骤：
(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；
(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图；
(3)设置阈值：设置阈值T，统计热力图区域(26x’,26y’,26w’,26h’)中大于阈值T的点个数记为Num；
(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车。
所述离线学习阶段步骤(1)中网络结构大小统一调整为120×120×3，第一层卷积后为57×57×20，第二层卷积后为28×28×40，第三层卷积后为28×28×40。所述离线学习阶段步骤(2)中的样本，统一调整大小为120×120×3。
以上实施方式只为说明本发明的技术构思及特点，其目的在于让本领域的技术人员了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于热力图和关键点回归的深度车牌检测方法，包括离线学习阶段和检测阶段，其特征在于：
离线学习阶段包括以下四个步骤：
(1)设计网络深度：设计深度学习网络结构，将输入图像调整统一，对图像进行第一层卷积和激活函数操作，再进行第二层卷积、激活函数和池化操作，然后进行第三层卷积、激活函数和池化操作，然后形成多任务分支，一个分支通过一个卷积层学习车牌坐标，另一个分支通过另一个卷积层学习车牌热力图；
(2)准备训练样本集：获取一批车头或车尾图像作为离线学习的样本集，样本总类数越多，训练效果越好，并对样本大小统一化；
(3)进行样本标注：本方法需要进行两种信息的标注，一种是车牌原图中的车牌坐标，另一种是车牌热力图，车牌位置坐标采用人工标注获取，包括车牌左上角坐标以及车牌宽和高，这些值都需要进行归一化至(0,1)，从而得到归一化车牌位置坐标，由4个值表示(x,y,w,h)，车牌图像热力图根据车牌坐标自动生成，热力图大小为26×26，新建一个26×26的标注矩阵，初始化为0，在(26x,26y,26w,26h)区域表示车牌位置标注为1，输入的图像涵盖车牌各种位置及车牌种类，使训练的网络能适应复杂情况；
(4)进行训练：使用步骤(1)中描述的网络结构对步骤(3)中得到的训练样本集进行多任务训练；
检测阶段包括以下四个步骤：
(1)输入车辆车牌图像：输入待检测车牌的车辆图像，图像大小为(Wo,Ho)；
(2)用训练的网络模型进行前向计算：利用训练阶段得到的网络对车牌图像进行前向计算，网络输出坐标值(x',y',w',h')，以及热力图；
(3)设置阈值：设置阈值T，统计热力图区域(26x’,26y’,26w’,26h’)中大于阈值T的点个数记为Num；
(4)系统进行判断：当Num的占比大于50％，也就是Num大于(26w'×26h'/2)时，表示检测到车牌，然后输出车牌在原图中的位置(Wo·x',Ho·y',Wo·w',Ho·h')，当Num小于(26w'×26h'/2)时，表示网络响应太弱，将该坐标值(x',y',w',h')进行丢弃，然后输出车辆为无牌车。
2.根据权利要求1所述的一种基于热力图和关键点回归的深度车牌检测方法，其特征在于：
所述离线学习阶段步骤(1)中网络结构大小统一调整为120×120×3，第一层卷积后为116×116×10，第二层卷积后为57×57×20，第三层卷积后为28×28×40。
3.根据权利要求1所述的一种基于热力图和关键点回归的深度车牌检测方法，其特征在于：
所述离线学习阶段步骤(2)中的样本，统一调整大小为120×120×3。
CN201711250682.1A 2017-12-01 2017-12-01 一种基于热力图和关键点回归的深度车牌检测方法 Active CN108090423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711250682.1A CN108090423B (zh) 2017-12-01 2017-12-01 一种基于热力图和关键点回归的深度车牌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711250682.1A CN108090423B (zh) 2017-12-01 2017-12-01 一种基于热力图和关键点回归的深度车牌检测方法

Publications (2)

Publication Number Publication Date
CN108090423A CN108090423A (zh) 2018-05-29
CN108090423B true CN108090423B (zh) 2021-06-29

Family

ID=62172464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711250682.1A Active CN108090423B (zh) 2017-12-01 2017-12-01 一种基于热力图和关键点回归的深度车牌检测方法

Country Status (1)

Country Link
CN (1) CN108090423B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689001B (zh) * 2018-07-05 2023-06-20 山东华软金盾软件股份有限公司 一种生成复杂环境下车牌训练样本的方法
CN109146924B (zh) * 2018-07-18 2020-09-08 苏州飞搜科技有限公司 一种基于热力图的目标跟踪方法及装置
CN109063301B (zh) * 2018-07-24 2023-06-16 杭州师范大学 一种基于热力图的单幅图像室内物体姿态估计方法
CN109614914A (zh) * 2018-12-05 2019-04-12 北京纵目安驰智能科技有限公司 车位顶点定位方法、装置和存储介质
CN109784149B (zh) * 2018-12-06 2021-08-20 苏州飞搜科技有限公司 一种人体骨骼关键点的检测方法及系统
CN109858374B (zh) * 2018-12-31 2021-08-17 武汉中海庭数据技术有限公司 高精度地图制作中箭头类标线自动提取方法和装置
CN110287954A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 目标区域确定模型的训练方法、装置和计算机可读存储介质
CN110349148A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于弱监督学习的图像目标检测方法
CN110705563B (zh) * 2019-09-07 2020-12-29 创新奇智(重庆)科技有限公司 一种基于深度学习的工业零件关键点检测方法
CN111027427B (zh) * 2019-11-29 2023-07-18 大连理工大学 一种用于小型无人机竞速比赛的目标门检测方法
CN111415384B (zh) * 2020-02-19 2022-11-25 重庆大学 一种基于深度学习的工业图像组件精准定位系统
CN111310850B (zh) * 2020-03-02 2023-06-16 杭州雄迈集成电路技术股份有限公司 车牌检测模型的构建方法及系统、车牌检测方法及系统
CN113706437B (zh) * 2020-05-21 2024-03-15 国网智能科技股份有限公司 一种输电线路细粒度螺栓缺陷诊断方法及系统
CN112132054A (zh) * 2020-09-24 2020-12-25 重庆邮电大学 一种基于深度学习的文档定位和分割方法
CN113011505B (zh) * 2020-11-20 2022-08-05 支付宝(杭州)信息技术有限公司 热力图转换模型训练方法以及装置
CN112749701B (zh) * 2021-01-22 2024-02-09 北京百度网讯科技有限公司 车牌污损分类模型的生成方法和车牌污损分类方法
CN112949574B (zh) * 2021-03-29 2022-09-27 中国科学院合肥物质科学研究院 一种基于深度学习的级联式文本关键字段检测方法
CN115116047A (zh) * 2022-08-29 2022-09-27 松立控股集团股份有限公司 一种基于车牌字符区域热力图的车牌检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345921B1 (en) * 2009-03-10 2013-01-01 Google Inc. Object detection with false positive filtering
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN106529517A (zh) * 2016-12-30 2017-03-22 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106845487A (zh) * 2016-12-30 2017-06-13 佳都新太科技股份有限公司 一种端到端的车牌识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330059A1 (en) * 2016-05-11 2017-11-16 Xerox Corporation Joint object and object part detection using web supervision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345921B1 (en) * 2009-03-10 2013-01-01 Google Inc. Object detection with false positive filtering
CN104809443A (zh) * 2015-05-05 2015-07-29 上海交通大学 基于卷积神经网络的车牌检测方法及系统
CN106529517A (zh) * 2016-12-30 2017-03-22 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106845487A (zh) * 2016-12-30 2017-06-13 佳都新太科技股份有限公司 一种端到端的车牌识别方法

Also Published As

Publication number Publication date
CN108090423A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN108090423B (zh) 一种基于热力图和关键点回归的深度车牌检测方法
CN109284758B (zh) 一种发票印章消除方法、装置和计算机存储介质
CN104778470B (zh) 基于组件树和霍夫森林的文字检测和识别方法
CN101576956B (zh) 基于机器视觉的在线字符检测方法和系统
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN103093240A (zh) 书法字识别方法
CN103136528A (zh) 一种基于双边缘检测的车牌识别方法
CN105718912B (zh) 一种基于深度学习的车辆特征物检测方法
CN109829458B (zh) 实时自动生成记录系统操作行为的日志文件的方法
CN107818321A (zh) 一种用于车辆年检的水印日期识别方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN110443791A (zh) 一种基于深度学习网络的工件检测方法及其检测装置
CN108509950A (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN105740828B (zh) 一种基于快速标记连通的停止线检测方法
Li et al. Wafer crack detection based on yolov4 target detection method
Wu et al. Automatic gear sorting system based on monocular vision
CN113160220A (zh) 一种基于深度学习的检测门把手归位和弯曲的方法
CN105740827B (zh) 一种基于快速标记连通的停止线检测与测距方法
CN105740831B (zh) 一种应用于智能驾驶的停止线检测方法
CN105005757B (zh) 一种基于Grassmann流行的车牌字符识别方法
CN111553345A (zh) 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法
CN110956174A (zh) 一种器件编号的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant