CN111709416B - 车牌定位方法、装置、系统及存储介质 - Google Patents

车牌定位方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN111709416B
CN111709416B CN202010413786.5A CN202010413786A CN111709416B CN 111709416 B CN111709416 B CN 111709416B CN 202010413786 A CN202010413786 A CN 202010413786A CN 111709416 B CN111709416 B CN 111709416B
Authority
CN
China
Prior art keywords
license plate
vehicle
frame
center
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010413786.5A
Other languages
English (en)
Other versions
CN111709416A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Eeasy Electronic Tech Co ltd
Original Assignee
Zhuhai Eeasy Electronic Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Eeasy Electronic Tech Co ltd filed Critical Zhuhai Eeasy Electronic Tech Co ltd
Priority to CN202010413786.5A priority Critical patent/CN111709416B/zh
Publication of CN111709416A publication Critical patent/CN111709416A/zh
Application granted granted Critical
Publication of CN111709416B publication Critical patent/CN111709416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于机器视觉技术领域，提供了一种车牌定位方法、装置、系统及存储介质，该方法包括：通过训练好的车牌定位网络模型获取待检测图像中车辆包含的车牌的粗预测框的中心和尺寸，以车牌的粗预测框的中心为中心，对车牌的粗预测框所包含的区域进行扩展，得到包围该车牌的局部区域，并基于共享特征图将该局部区域缩放到固定尺寸，在缩放的局部区域内回归车牌的四个顶点，根据该四个顶点获得车牌的外边框，从而通过共享特征图的方式降低了车辆定位模型的训练复杂度和运行时间，减少了车辆检测过程中的计算量，提高了检测效率，通过在局部范围内检测车牌，提高了小尺寸与多方向车牌检测的准确性。

Description

车牌定位方法、装置、系统及存储介质
技术领域
本发明属于机器视觉技术领域，尤其涉及一种车牌定位方法、装置、系统及存储介质。
背景技术
车牌检测在停车场、小区进出门禁、高速收费站和交通监管等场景中有着广泛的应用。车牌检测是实现车牌识别的第一步，也是至关重要的一步。当前在停车场和小区门禁等场景中，由于拍摄得到的车牌尺寸较大且角度较小，其中的车牌检测技术已基本成熟。但是在开放场景中，比如交通记录仪或行车记录仪，由于车牌在尺度、光照、背景、方向等方面的多样性，车牌检测依然面临着巨大的挑战。在过去的很长时间里，学术界与产业界提出了大量提升车牌检测能力的方法。传统车牌检测方法需要根据车牌的显著特点人为地设计可区分的特征，再根据特征构建适合的分类器，比如支持向量机、神经网络等，其中人工特征根据类别可以大体分为以下五类：边缘、连通性、纹理、颜色和字符(DU S,IBRAHIM M,SHEHATA M,et al.Automatic license plate recognition(ALPR):A state-of-the-artreview[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(2):311–325.)。这些传统方法强烈依赖于相关人员的专业知识和技术水平，并且由于传统特征的局限性，会导致大量的车牌错检和漏检。此外，传统方法需要使用滑动窗口或者图分割的方式选出车牌可能存在的区域，这种方式计算量较大，导致运行时间较长。近年来，随着算力和数据的空前增加以及算法的不断发展，基于深度神经网络的方法全面超越了传统方法，众多基于深度神经网络的方法被提出，以用来解决开放场景下车牌检测的问题。
本发明聚焦于解决尺寸与方向不变的车牌检测问题。在开放环境中，由于拍摄距离和角度不同，使得车牌尺寸不一并且可能存在一定的透视变换。其中，小尺寸车牌的检测尤其困难，并且准确检测到车牌的四边形外边框也便于进一步的水平变换，因此解决车牌的多尺寸与多方向问题对于后续的车牌识别等工作具有重要意义。为了解决小尺寸车牌的检测问题，Silva等人(SILVA S M,JUNG C R.License plate detection and recognitionin unconstrained scenarios[C].Proceedings of the 15th European Conference onComputer Visio.Munich,Germany:Springer,2018,11216:593–609.)提出首先检测车辆区域来缩小车牌的检测范围，从而提高车牌的相对尺寸。Laroca等人(LAROCA R,SEVERO E,ZANLORENSI L A,et al.A Robust Real-Time Automatic License Plate RecognitionBased on the YOLO Detector[C].International Joint Conference on NeuralNetworks(IJCNN).Rio de Janeiro:IEEE,2018:1–10.)为了加快检测速度，进一步将所有检测到的车辆组合起来，便于同时在所有车辆中检测对应的车牌。此外，为了进一步减小车牌的检测范围，Silva等人(SILVA S M,JUNG C R.Real-Time Brazilian License PlateDetection and Recognition Using Deep Convolutional Neural Networks[C].30thSIBGRAPI Conference on Graphics,Patterns and Images.Niteroi:IEEE,2017:55–62.)提出在车辆内检测车头区域，之后在车头中检测车牌，其中车头区域被人为定义为包含车灯和轮胎的最小范围。Xie等人(XIE L,AHMAD T,JIN L,et al.A new CNN-based methodfor multi-directional car license plate detection[J].IEEE Transactions onIntelligent Transportation Systems,2018,19(2):507–517.)进一步将检测范围缩小到车牌周围更小的区域。但是上述方法需要两个或更多的独立网络，加大了训练和优化的复杂度，增加了运行时间。
Tian等人(TIAN J,Wang G,et al.Semantic region proposals for adaptivelicense plate detection in open environment[J].Journal of Electronic Imaging,2019,28(02):1.)利用语义分割技术得到车牌的旋转角度，进一步得到车牌的旋转矩形。但实际中由于透视变换，车牌的外边框已经变为任意四边形。Dong等人(DONG M,HE D,LUO C,et al.A CNN-Based Approach for Automatic License Plate Recognition in theWild[C]//Procedings of the British Machine Vision Conference 2017.London,UK:British Machine Vision Association,2017.)提出首先检测车牌的大体范围，之后利用CNN来回归车牌的四个顶点。Silva等人(SILVA S M,JUNG C R.License plate detectionand recognition in unconstrained scenarios[C]//Proceedings of the 15thEuropean Conference on Computer Visio.Munich,Germany:Springer,2018,11216:593–609.)通过学习车牌的仿射变换参数矫正多方向车牌。但上述方法要么采用复杂的语义分割，要么使用多个独立的网络，使得后续结果依赖于前一步的处理结果，并且增加了计算量和运行时间。
发明内容
本发明的目的在于提供一种车牌定位方法、装置、系统及存储介质，旨在解决开放场景下多尺寸与多方向车牌的检测问题。
一方面，本发明提供一种车牌定位方法，所述方法包括下述步骤：
将待检测图像输入到训练好的车牌定位网络模型中，通过所述车牌定位网络模型中的车牌粗检测网络对所述待检测图像进行特征提取，得到共享特征图，其中，所述训练好的车牌定位网络模型通过带有标记的车辆图像数据对所述车牌定位网络模型进行端到端的训练得到，所述车牌定位网络模型包括依次连接的所述车牌粗检测网络、车牌区域扩展和缩放网络和车牌精定位网络；
基于所述共享特征图，通过所述车牌粗检测网络获取所述待检测图片中车辆预测框的中心和尺寸，并根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸；
以所述车牌的粗预测框的中心为中心，通过所述车牌区域扩展和缩放网络对所述车牌的粗预测框所包含的区域进行扩展，得到包围所述车牌的局部区域；
基于所述共享特征图，通过所述车牌区域扩展和缩放网络将所述局部区域缩放到固定尺寸；
通过所述车牌精定位网络在所述缩放后的局部区域内回归车牌的四个顶点，根据所述四个顶点获得车牌的外边框。
优选地，所述车牌粗检测网络为改进后的SSD网络。
优选地，所述根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸的步骤，包括：
获取所述车辆包含车牌的概率；
当所述车辆包含车牌的概率大于预设的概率阈值时，根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸。
优选地，所述通过所述车牌精定位网络在所述缩放后的局部区域内回归车牌的四个顶点的步骤，包括：
通过所述车牌精定位网络在所述缩放后的局部区域内获取车牌预测框；
获取所述车牌预测框的匹配锚点框，所述匹配锚点框为大于预设的交并比阈值的锚点框；
基于所述匹配锚点框回归车牌的四个顶点。
优选地，所述车牌定位网络模型的损失函数定义如下：
L＝L1(c,l,g,v,lpc)+αL2(c′,l′，g′)
其中，L表示所述车牌定位网络的损失，L1(c,l,g,v,lpc)表示所述车牌粗检测网络的损失，L2(c′,l′,g′)表示所述车牌精定位网络的损失，α表示所述车牌粗检测网络的损失和所述车牌精定位网络的损失的权衡参数，c表示预测车辆的置信度，l表示车辆预测框，g表示车辆真实框，v表示该车辆是否包含有车牌，lpc表示预测出的车辆包含车牌的概率，c′表示预测车牌的置信度，l′表示车牌预测框，g′表示车牌真实框。
优选地，所述车牌粗检测网络的训练任务包括：车辆/非车辆分类任务、车辆边界框回归任务、车辆含车牌分类任务、车牌中心与车辆中心偏移回归任务和车牌大小回归任务，所述车牌粗检测网络的损失函数定义如下：
其中，N表示与车辆真实框匹配的车辆锚点框的数量，Lconf(c)表示所述车辆/非车辆分类任务的损失，Lloc(l,g)表示所述车辆边界框回归任务的损失，Lhas_lp(v,lpc)表示所述车辆含车牌分类任务的损失，Loff(l,g,v)表示所述车牌中心与车辆中心偏移回归任务的损失，表示所述车牌大小回归任务的损失；
所述车辆含车牌分类任务采用二元交叉熵损失函数进行训练，所述车辆含车牌分类任务的损失函数定义如下：
其中，σ是sigmoid函数，用于将车辆包含车牌的概率限制在[0，1]之间，vi表示第i个车辆是否包含有车牌，lpci表示预测出的第i个车辆包含车牌的概率；
所述车牌中心与车辆中心偏移回归任务和所述车牌大小回归任务都采用smoothL1损失函数进行训练，在进行该两个任务的训练时，根据车辆锚点框的中心、宽和高，学习车牌中心相对于车辆中心的偏移、以及车牌的宽和高，所述车牌中心与车辆中心偏移回归任务和所述车牌大小回归任务的学习目标如下式：
其中，表示第j个车辆真实框对应的车牌中心相对于车辆中心在x方向和y方向的偏移，/>表示第j个车辆真实框对应的车牌的宽和高，表示第i个锚点框的宽和高。
优选地，所述车牌精定位网络的训练任务包括：车牌/非车牌分类任务，车牌边界框回归任务以及车牌四点检测任务，所述车牌精定位网络的损失函数定义如下：
其中，N′表示与车牌真实框匹配的车牌锚点框的数量，Lconf(c′)表示所述车牌/非车牌分类任务的损失，Lloc(l′,g′)表示所述车牌边界框回归任务的损失，Lcorner(l′,g′)表示所述车牌四点检测任务的损失；
所述车牌四点检测任务的训练中，车牌的四个顶点由与车牌真实框的交并比大于交并比阈值的车辆锚点框负责回归，所述车牌四点检测任务的损失函数如下：
其中，p∈{车辆,背景}， 表示在p+＝车辆时第i个锚点框是否与第j个真实框匹配，tl、tr、br、bl表示车牌的左上、右上、左下、右下四个顶点，/>表示第i个锚点框的待学习参数，/>表示第j个真实框的目标学习数值，车牌四个顶点((tlx，tly)，(trx，try)，(brx，bry)，(blx，bly))偏移的学习目标如下式：
其中，表示第j个车牌真实框对应的车牌的四个顶点的横坐标，/>表示第j个车牌真实框对应的车牌的四个顶点的纵坐标，/>表示第i个车牌锚点框的中心，表示第i个车牌锚点框的宽和高。
另一方面，本发明提供了一种车牌定位装置，其特征在于，所述装置包括：
特征图获取模块，用于将待检测图像输入到训练好的车牌定位网络模型中，通过所述车牌定位网络模型中的车牌粗检测网络对所述待检测图像进行特征提取，得到共享特征图，其中，所述训练好的车牌定位网络模型通过带有标记的车辆图像数据对所述车牌定位网络模型进行端到端的训练得到，所述车牌定位网络模型包括依次连接的所述车牌粗检测网络、车牌区域扩展和缩放网络和车牌精定位网络；
粗预测模块，用于基于所述共享特征图，通过所述车牌粗检测网络获取所述待检测图片中车辆预测框的中心和尺寸，并根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸；
区域扩展模块，用于以所述车牌的粗预测框的中心为中心，通过所述车牌区域扩展和缩放网络对所述车牌的粗预测框所包含的区域进行扩展，得到包围所述车牌的局部区域；
缩放模块，用于基于所述共享特征图，通过所述车牌区域扩展和缩放网络将所述局部区域缩放到固定尺寸；以及
车牌边框获取模块，用于通过所述车牌精定位网络在所述缩放后的局部区域内回归车牌的四个顶点，根据所述四个顶点获得车牌的外边框。
另一方面，本发明还提供了一种车牌定位系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明通过训练好的车牌定位网络模型获取待检测图像中车辆包含的车牌的粗预测框的中心和尺寸，以车牌的粗预测框的中心为中心，对车牌的粗预测框所包含的区域进行扩展，得到包围该车牌的局部区域，并基于共享特征图将该局部区域缩放到固定尺寸，在缩放的局部区域内回归车牌的四个顶点，根据该四个顶点获得车牌的外边框，从而通过共享特征图的方式降低了车辆定位模型的训练复杂度和运行时间，减少了车辆检测过程中的计算量，提高了检测效率，通过在局部范围内检测车牌，提高了小尺寸与多方向车牌检测的准确性。
附图说明
图1是本发明实施例一提供的车牌定位方法的实现流程图；
图2是本发明实施例一提供的车牌定位网络模型训练过程中的总体框架图；
图3是本发明实施例一提供的车牌四点检测任务的原理示例图；
图4是本发明实施例一提供的车牌定位方法的原理示例图；
图5是本发明实施例一提供的本方法与其他检测方法对比的查准率-查全率曲线；
图6是本发明实施例二提供的车牌定位装置的结构示意图；以及
图7是本发明实施例三提供的车牌定位系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
在步骤S101中，将待检测图像输入到训练好的车牌定位网络模型中，通过该车牌定位网络模型中的车牌粗检测网络对该待检测图像进行特征提取，得到共享特征图。
在本发明实施例中，将待检测图像输入到训练好的车牌定位网络模型中，通过该车牌定位网络模型中的车牌粗检测网络对该待检测图像进行特征提取，得到共享特征图。其中，该训练好的车牌定位网络模型通过带有标记的车辆图像数据对该车牌定位网络模型进行端到端的训练得到，该车牌定位网络模型包括依次连接的该车牌粗检测网络、车牌区域扩展和缩放网络和车牌精定位网络，其中，车牌粗检测网络用于获取待检测图片中的车牌粗预测框的中心和尺寸，车牌区域扩展和缩放网络用于对车牌粗预测框所覆盖的区域进行扩展，以及将扩展后得到的包围车牌的局部区域缩放到固定尺寸，车牌精定位网络用于在缩放后的局部区域内回归车牌的四个顶点，根据车牌的四个顶点获得车牌的外边框，端到端训练指的是整个从粗到细的车牌检测网络可以统一到一个卷积神经网络中，实现梯度回传和前向推理。该车牌粗检测网络可以为改进的Faster R-CNN或YOLO等网络，优选地，该车牌粗检测网络为改进后的SSD(Single Shot Multibox Detector)网络，以提高检测准确率，对应地，该共享特征图由车牌粗检测网络中的VGG16网络进行特征提取得到。其中，VGG16网络结构可生成固定大小的锚点框集。
在通过该车牌粗检测网络中进行特征提取之前，需要对该车牌定位网络模型进行训练，以得到训练好的车牌定位模型。具体地，可以获取车辆图像数据集，并对该车辆图像数据集中的每个车辆图像数据进行标记，将带有标记的车辆图像数据输入到该车牌定位网络模型中，根据车辆定位网络的损失函数输出的损失值修改各层神经元的权值，直至损失值在设定的阈值范围内或者达到最大训练迭代步数。其中，该标记为车辆外边框和车牌的四个顶点，车牌粗检测网络可以为改进的Faster R-CNN或YOLO等网络，优选地，车牌粗检测网络为改进后的SSD网络，以提高检测准确率。
在对该车牌定位模型的训练过程中，主要包括对车牌粗检测网络的训练和对车牌精定位网络两个网络的训练，在实际训练过程中，会优先训练车牌粗检测网络，确保可以检测到车牌的大体位置并获得车牌的周围区域，之后会优化车牌精定位网络确保检测到车牌的四个顶点。车牌定位网络模型的损失由车牌粗检测网络的损失和车牌精定位网络的损失组成，车牌定位网络模型损失函数定义如下：
L＝L1(c,l,g,v,lpc)+αL2(c′,l′,g′)
其中，L表示该车牌定位网络的损失，L1(c,l,g，v，lpc)表示该车牌粗检测网络的损失，L2(c′，l′，g′)表示该车牌精定位网络的损失，α表示该车牌粗检测网络和该车牌精定位网络的损失的权衡参数，c表示预测车辆的置信度，l表示车辆预测框，g表示车辆真实框，v表示该车辆是否包含有车牌，lpc是预测出的车辆包含车牌的概率，c′表示预测车牌的置信度，l′表示车牌预测框，g′表示车牌真实框。优选地，α设置为1，以平衡车牌粗检测网络和车牌精定位网络的损失。
图2是车牌定位网络模型训练过程中的总体框架图，其中，共享特征图由车牌粗检测网络进行特征提取后得到，第一阶段表示对车牌粗定位网络的训练，第二阶段表示对车牌粗预测框所包含的区域进行扩展处理，以及对扩展处理后的局部区域进行缩放处理，第三阶段表示对车牌精定位网络的训练，在将带有标记的车辆图像数据输入到车牌定位网络模型后，整个网络的前向传播方向和梯度反向传播方向分别如图2中的S201和S202所示。
优选地，该车牌粗检测网络的训练任务包括：车辆/非车辆分类任务、车辆边界框回归任务、车辆含车牌分类任务、车牌中心与车辆中心偏移回归任务和车牌大小回归任务，以提高检测效率。该五个学习任务参照SSD(LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single shot MultiBox detector[C].Proceedings of the 14th European Conferenceon Computer Vision.Amsterdam,The Netherlands:Springer,2016,9905:21–37.)，这些学习任务结合在一起后共同作用于网络参数学习，该车牌粗检测网络的损失函数定义如下：
其中，N表示与车辆真实框匹配的车辆锚点框的数量，Lconf(c)表示车辆/非车辆分类任务的损失，Lloc(l，g)表示车辆边界框回归任务的损失，Lhas_lp(v，lpc)表示车辆含车牌分类任务的损失，Loff(l，g，v)表示车牌中心与车辆中心偏移回归任务的损失，表示车牌大小回归任务的损失。
车辆/非车辆分类任务采用交叉熵损失函数进行训练，该任务用于学习待检测区域是否包含车辆，其损失函数如下：
其中，p∈{Vehicle(车辆)，Background(背景)}，表示第i个区域是车辆或者背景的概率，exp表示指数函数。
车辆边界框任务采用smooth L1(GIRSHICK R.Fast R-CNN[C].IEEEInternational Conference on Computer Vision.Santiago,Chile:IEEE,2015:1440–1448.)损失进行训练，该任务用于校准车辆预测框的偏差，车辆边界框任务的损失函数定义下式：
其中， 表示在p+＝Vehicle(车辆)时第i个锚点框是否与第j个真实框匹配，/>表示第i个锚点框的待学习参数，/>表示第j个真实框的目标学习值。车辆会基于锚点框的中心及宽和高学习车辆外边框的偏移，车辆边界框回归任务的学习目标如下式：
其中，(cx，cy)表示中心坐标，(w，h)表示宽和高，表示第j个车辆真实框的中心，/>表示第j个车辆真实框的宽和高，/> 表示第i个锚点框的中心，/>表示第i个锚点框的宽和高。
车辆含车牌分类任务用于判断车辆中是否包含有车牌，从而过滤掉一些大姿态或者远距离的车辆，依次降低假阳性的车牌预测，该任务采用二元交叉熵损失函数进行训练，该任务的损失函数定义如下：
其中，σ是sigmoid函数，用于将车辆包含车牌的概率限制在[0，1]之间，vi表示第i个车辆是否包含有车牌，lpci表示预测出的第i个车辆包含车牌的概率。
车牌中心与车辆中心偏移回归任务用于估计车牌的中心，车牌大小回归任务用于估计车牌的宽和高，两个任务都采用smooth L1损失函数进行训练，只有当该车辆含有车牌时才对这两个任务进行训练，否则损失置为0，该两个任务的损失函数如下。
其中，表示第i个锚点框的待学习参数，/>表示第j个真实框的目标学习值。在进行两个任务的训练时，根据车辆锚点框的中心、宽和高学习车牌中心相对于车辆中心的偏移，以及车牌的宽和高，学习目标如下式：
其中，offx、offy表示车牌中心相对于车辆中心在x和y方向的偏移，(lpw，lph)表示车牌的宽和高，表示第j个车辆真实框对应的车牌中心相对于车辆中心在x方向和y方向的偏移，/>表示第j个车辆真实框对应的车牌的宽和高，表示第i个锚点框的宽和高，其中，需要利用对数函数约束车牌尺寸，以使解码过程中不会出现负的尺寸值。
优选地，车牌精定位网络的训练任务包括：车牌/非车牌分类任务，车牌边界框回归任务以及车牌四点检测任务，车牌精定位网络的损失函数定义如下：
其中，N′表示与车牌真实框匹配的车牌锚点框的数量，Lconf(c′)表示车牌/非车牌分类任务的损失，Lloc(l′，g′)表示车牌边界框回归任务的损失，Lcorner(l′，g′)表示车牌四点检测任务的损失。
车牌/非车牌分类任务和车牌边界框回归任务与上述车辆/非车辆分类任务和车辆边界框回归任务类似，在此不再赘述。
车牌四点检测任务的训练中，车牌的四个顶点由与车牌真实框的交并比大于交并比阈值的车辆锚点框负责回归，其中车牌的四个顶点由与真实框(例如图3中的车牌真实框S301)匹配的锚点框(例如，图3中的与车牌真实框匹配的锚点框S302)负责回归。真实框和锚点框的匹配过程由交并比 评定，即两个矩形框相交的面积除以两个矩形框的并集。选择与真实框交并比大于一定阈值的锚点框，之后回归锚点框中心到车牌四个顶点的偏移(例如，图3中的锚点框S302的中心到车牌四个顶点的偏移S303)，交并比小于特定阈值的锚点框(例如，图3中的交并比小于特定阈值的锚点框S304)则被忽略。车牌四个顶点采用smooth L1损失函数进行学习，车牌四点检测任务的损失函数如下：
其中，tl、tr、br、bl表示车牌的左上、右上、左下、右下四个顶点，表示第i个锚点框的待学习参数，/>表示第j个真实框的目标学习数值，车牌四个顶点((tlx，tly)，(trx，try)，(brx，bry)，(blx，bly))偏移的学习目标如下式：
其中，表示第j个车牌真实框对应的车牌的四个顶点的横坐标，/>表示第j个车牌真实框对应的车牌的四个顶点的纵坐标，/>表示第i个车牌锚点框的中心，表示第i个车牌锚点框的宽和高。
本方法通过将车牌粗检测网络、车牌区域扩展和缩放网络和车牌精定位网络统一到一个卷积神经网络中，通过采用端到端可训练的卷积神经网络作为车牌定位网络模型，从而在训练过程中只需准备标注车辆边框和车牌四点的数据即可进行训练，降低了模型的训练复杂度，提高了训练效率。
在步骤S102中，基于该共享特征图，通过该车牌粗检测网络获取该待检测图片中车辆预测框的中心和尺寸，并根据该车辆预测框的中心和尺寸获取该车辆包含的车牌的粗预测框的中心和尺寸。
在本发明实施例中，在通过该车牌粗检测网络获取该待检测图片中车辆预测框的中心和尺寸时，可以先通过该车牌粗检测网络从待检测图片中选择出多个候选的车辆预测框，然后对候选的车辆预测框的边界进行回归，以校正车辆预测框的边界，最后进行非极大值抑制筛选，压缩重复的车辆预测框，得到最终的车辆预测框，该车辆预测框包含有车辆预测框的中心和尺寸(例如，图4中的车辆预测框的中心S401、车辆预测框S402)，然后根据该车辆预测框的中心和尺寸获取该车辆包含的车牌的粗预测框的中心和尺寸(例如，图4中的车牌粗预测框的中心S403、车牌粗预测框S404)。在根据该车辆预测框的中心和尺寸获取该车辆包含的车牌的粗预测框的中心和尺寸时，优选地，检测车辆包含车牌的概率(例如，图4中的车辆包含车牌的概率S405)，当车辆包含车牌的概率大于预设的概率阈值(例如，预设的概率阈值为0.5)时，根据该车辆预测框的中心和尺寸获取该车辆包含的车牌的粗预测框的中心和尺寸，从而提高了对车牌粗预测框中心和尺寸获取的有效性。其中，车辆预测框的尺寸包括车辆预测框的宽和高。
在步骤S103中，以该车牌的粗预测框的中心为中心，通过该车牌区域扩展和缩放网络对该车牌的粗预测框所包含的区域进行扩展，得到包围该车牌的局部区域。
在本发明实施例中，考虑车牌尺寸较小，若直接从原图中进行检测，则车牌的中心和大小都存在一定的偏差，因此，以车牌的粗预测框的中心为中心，对该车牌的粗预测框的尺寸所包含的区域进行扩展(例如：扩大3倍)作为后续车牌检测的局部区域(例如，图4中的局部区域S406)，并保证该局部区域不超过对应车辆的范围以此减少冗余的背景信息，现实情况下，待检测图片中包含的车辆可能为一个或多个，相应地，得到的包围车牌的局部区域可能为一个或者多个。
在步骤S104中，基于该共享特征图，通过该车牌区域扩展和缩放网络将该局部区域缩放到固定尺寸。
在本发明实施例中，在通过该车牌区域扩展和缩放网络将该局部区域缩放到固定尺寸时，优选地，当得到的包围车牌的局部区域为多个时，将该多个车牌局部区域缩放到固定尺寸并合并，以使车牌精定位网络可以同时检测多辆车的车牌，从而加快了车牌检测速度。为了使整个网络可导，从共享特征图中的浅层特征图上选取车牌附近区域的特征，其中，该浅层特征图保留有输入图片的大小，有利于检测小尺寸车牌。考虑到不同检测区域大小各异，优选地，车牌区域扩展和缩放网络采用可导的RoI warping方法(DAI J,HE K,SUNJ.Instance-Aware Semantic Segmentation via Multi-task Network Cascades[C].IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:IEEE,2016:3150–3158.)将多个局部区域缩放到固定尺寸。
在步骤S105中，通过该车牌精定位网络在缩放后的局部区域内回归车牌的四个顶点，根据该四个顶点获得车牌的外边框。
在本发明实时例中，缩放后的车牌局部区域经过车牌精定位网络得到车牌的四个顶点，根据车牌的四个顶点获得车牌的外边框(例如，图4中的车牌外边框S407)，在通过车牌精定位网络在缩放后的局部区域内回归车牌的四个顶点时，优选地，通过该车牌精定位网络在该缩放后的局部区域内获取车牌预测框，获取该车牌预测框的匹配锚点框，基于该匹配锚点框回归车牌的四个顶点，其中，该匹配锚点框为与车牌预测框的交并比大于预设的交并比阈值(例如，交并比阈值为0.5)的锚点框，从而提高了回归出的车牌的四个顶点位置的准确度。
车牌四点检测网络的网络结构设计例如表1所示，其中k表示卷积核大小，s表示步长，带*的卷积层表示用来作为检测的层，当然，车牌四点检测网络也可以由用户进行上述以外的设计，在此不作限定。
类型 滤波器 参数 输出
卷积层 512 k:3,s:1 56×56
卷积层* 512 k:3,s:1 56×56
最大池化层 — k:2,s:2 28×28
卷积层 512 k:3,s:1 28×28
卷积层* 512 k:3,s:1 28×28
最大池化层 — k:2,s:2 14×14
卷积层 512 k:3,s:1 14×14
卷积层* 512 k:3,s:1 14×14
表1
下面结合一个实验例来对本实施例提供的车牌定位方法进行进一步地验证说明：
(1)本实验使用的数据集
TILT720(mulTi-oriented lIcense pLate deTection dataset 720p)为在真实道路场景上采集的数据集，包括1033张来自于行车记录仪采集的照片，分辨率为720*1080。数据集收集过程中，首先收集了一个行车记录仪最近一段时间的行车记录仪视频，对视频进行关键帧抽取，并仔细标注了每张图片的车辆矩形外边框和车牌的四个顶点。将该数据集按照9:1的比例随机划分为训练验证集和测试集。
TILT1080(mulTi-oriented lIcense pLate deTection dataset 1080p)类似于上述的TILT720，是用另一台行车记录仪收集并标注得到的数据集。其中图片的分辨率为1080*1920，共4112张图片，将该数据集同样按照9:1的比例随机划分为训练验证集和测试集。
(2)实验描述
本实验设置基本参照SSD，包括其中的数据增广策略(随机裁剪、随机扩展、镜像、颜色干扰等)和粗车牌粗检测网络的网络结构，其中网络参数利用ILSVRC CLS-LOC数据集进行预训练。车牌精定位网络的网络结构见表1，该网络进行随机初始化并从头训练。实验时采用Pytorch1.3.1深度学习框架，利用Adam优化策略训练了6万轮，其中的动量参数设置为β1＝0.9和β2＝0.999。初始学习率设置为0.0001，并在2万轮和4万轮后递减为原来的十分之一。权重衰减参数设置为5×10-4，动量参数为0.9，训练批量为32，输入图片尺寸为512*512。所有的实验都是在一台含有4块NVIDIA Titan XP GPU的机器上进行。
本实验针对TILT720和TILIT1080两个数据集分别进行训练和测试。在粗车牌粗检测网络的训练中，需要根据交并比选择真实框对应的锚点框。具体的，按照与SSD相同的策略，与每个真实框交并比最大的锚点框以及与真实框交并比大于0.5的锚点框为正类，其余锚点框为负类。但是考虑到这种策略选择的负类锚点框远远大于正类锚点框的数量，根据在线难例挖掘的策略使得负类与正类锚点框的比例约为3:1。其中正类锚点框负责车牌粗检测网络中五个任务的学习，确保找到车牌的中心和尺寸。车牌精定位网络的训练与车牌粗检测网络类似，需要根据匹配的锚点框找到车牌的大小、位置和四个顶点，其中IoU(交并比)的阈值也设置为0.5。
(3)实验结果
为了评估本发明的有效性，本实验在上述提到的数据集中分别进行了水平车牌检测与多方向车牌检测的测试。本实验与目前主流的目标检测、字符检测和车牌检测方法进行了对比实验，包括Faster R-CNN、TextBoxes、Chen等人的方法([Chen et al.,2019])、Silva等人的方法([Silva and Jung,2018])、YOLOv2和SSD。实验结果见附图5，结果表明本方法在不同数据集和不同IoU阈值下均取得了最佳效果，尤其是在大的IoU阈值下，取得了比其他水平车牌检测方法更好的性能优势。其中Precision指的是查准率，表示检测出来的真实车牌占检测出来的所有物体的比例，Recall指的是查全率，表示检测出来的车牌占所有标注车牌的比例，两个指标具有互逆的关系，采用Precision-Recall曲线可以更加直观地观察到各个方法的性能区别，其中Precision-Recall曲线下的面积越大表示性能越好。
附图5为本方法与其他多方向车牌检测方法对比的性能表格，从附图5可以看出SSD最接近本方法的性能，但是SSD只能检测水平方向车牌。为了进一步验证本方法在检测多方向车牌方面的优势，本实验进一步将之前的IoU计算方式扩展到两个任意四边形。除了Precision和Recall，本实验也对比了F1-score(F1分数)。性能见表2，所有结果都在置信度阈值等于0.5时取得。在不同的IoU阈值下，本方法都取得了最好的F1值，在车牌预测框与真实框的IoU为0.5时Precision也十分接近Silva等人的方法。值得注意的是，在大的IoU阈值下，例如车牌预测框与车牌真实框IoU为0.75时，本方法取得了更明显的性能优势，尤其是对比SSD。由此可见在这种情况下检测水平车牌的方法并不适用于多方向车牌的检测，这更凸显了本方法的优越性。
/>
表2
若干测试实验图表明，本方法可以检测多方向车牌，即使角度很大的车牌。此外，本方法可以有效检测小尺寸车牌，同时尽管本方法需要借助于车辆的检测结果，但可以看出本方法依然能有效检测大车(客车、卡车等)上的车牌。
本发明实施例通过训练好的车牌定位网络模型获取待检测图像中车辆包含的车牌的粗预测框的中心和尺寸，以车牌的粗预测框的中心为中心，对车牌的粗预测框所包含的区域进行扩展，得到包围该车牌的局部区域，并基于共享特征图将该局部区域缩放到固定尺寸，在缩放的局部区域内回归车牌的四个顶点，根据该四个顶点获得车牌的外边框，从而通过共享特征图的方式，在车牌检测过程中输入待检测图片后只需一次推理过程便可得到车牌的四个顶点，降低了车辆检测过程中的计算量，提高了检测效率，通过在局部范围内检测车牌，提高了小尺寸与多方向车牌检测的准确性。
实施例二：
图6示出了本发明实施例二提供的车牌定位装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
特征图获取模块61，用于将待检测图像输入到训练好的车牌定位网络模型中，通过该车牌定位网络模型中的车牌粗检测网络对该待检测图像进行特征提取，得到共享特征图，其中，该训练好的车牌定位网络模型通过带有标记的车辆图像数据对该车牌定位网络模型进行端到端的训练得到，该车牌定位网络模型包括依次连接的该车牌粗检测网络、车牌区域扩展和缩放网络和车牌精定位网络；
粗预测模块62，用于基于该共享特征图，通过该车牌粗检测网络获取该待检测图片中车辆预测框的中心和尺寸，并根据该车辆预测框的中心和尺寸获取该车辆包含的车牌的粗预测框的中心和尺寸；
区域扩展模块63，用于以该车牌的粗预测框的中心为中心，通过该车牌区域扩展和缩放网络对该车牌的粗预测框所包含的区域进行扩展，得到包围该车牌的局部区域；
缩放模块64，用于基于该共享特征图，通过该车牌区域扩展和缩放网络将该局部区域缩放到固定尺寸；以及
车牌边框获取模块65，用于通过该车牌精定位网络在该缩放后的局部区域内回归车牌的四个顶点，根据该四个顶点获得车牌的外边框。
优选地，该车牌粗检测网络为改进后的SSD(Single Shot Multibox Detector)网络。
优选地，该粗预测模块包括：
置信度获取模块，用于获取该车辆包含车牌的概率；
粗预测子模块，用于当该车辆包含车牌的概率大于预设的概率阈值时，根据该车辆预测框的中心和尺寸获取该车辆包含的车牌的粗预测框的中心和尺寸。
优选地，该车牌边框获取模块包括：
车牌预测框获取模块，用于通过该车牌精定位网络在该缩放后的局部区域内获取车牌预测框；
车牌锚点框获取模块，用于获取该车牌预测框的匹配锚点框，该匹配锚点框为大于预设的交并比阈值的锚点框；
车牌顶点回归模块，用于基于该匹配锚点框回归车牌的四个顶点。
优选地，该车牌定位网络模型的损失函数定义如下：
L＝L1(c，l，g，v，lpc)+αL2(c′,l′,g′)
其中，L表示该车牌定位网络的损失，L1(c,l,g,v,lpc)表示该车牌粗检测网络的损失，L2(c′,l′,g′)表示该车牌精定位网络的损失，α表示该车牌粗检测网络的损失和该车牌精定位网络的损失的权衡参数，c表示预测车辆的置信度，l表示车辆预测框，g表示车辆真实框，v表示该车辆是否包含有车牌，lpc表示预测出的车辆包含车牌的概率，c′表示预测车牌的置信度，l′表示车牌预测框，g′表示车牌真实框。
优选地，该车牌粗检测网络的训练任务包括：车辆/非车辆分类任务、车辆边界框回归任务、车辆含车牌分类任务、车牌中心与车辆中心偏移回归任务和车牌大小回归任务，该车牌粗检测网络的损失函数定义如下：
其中，N表示与车辆真实框匹配的车辆锚点框的数量，Lconf(c)表示该车辆/非车辆分类任务的损失，Lloc(l,g)表示该车辆边界框回归任务的损失，Lhas_lp(v,lpc)表示该车辆含车牌分类任务的损失，Loff(l,g,v)表示该车牌中心与车辆中心偏移回归任务的损失，表示该车牌大小回归任务的损失；
该车辆含车牌分类任务采用二元交叉熵损失函数进行训练，该车辆含车牌分类任务的损失函数定义如下：
其中，σ是sigmoid函数，用于将车辆包含车牌的概率限制在[0,1]之间，vi表示第i个车辆是否包含有车牌，lpci表示预测出的第i个车辆包含车牌的概率；
该车牌中心与车辆中心偏移回归任务和该车牌大小回归任务都采用smooth L1损失函数进行训练，在进行该两个任务的训练时，根据车辆锚点框的中心、宽和高，学习车牌中心相对于车辆中心的偏移、以及车牌的宽和高，该车牌中心与车辆中心偏移回归任务和该车牌大小回归任务的学习目标如下式：
其中，表示第j个车辆真实框对应的车牌中心相对于车辆中心在x方向和y方向的偏移，/>表示第j个车辆真实框对应的车牌的宽和高，/>表示第i个锚点框的宽和高。
优选地，该车牌精定位网络的训练任务包括：车牌/非车牌分类任务，车牌边界框回归任务以及车牌四点检测任务，该车牌精定位网络的损失函数定义如下：
其中，N′表示与车牌真实框匹配的车牌锚点框的数量，Lconf(c′)表示该车牌/非车牌分类任务的损失，Lloc(l′,g′)表示该车牌边界框回归任务的损失，Lcorner(l′,g′)表示该车牌四点检测任务的损失；
该车牌四点检测任务的训练中，车牌的四个顶点由与车牌真实框的交并比大于交并比阈值的车辆锚点框负责回归，该车牌四点检测任务的损失函数如下：
其中，p∈{车辆,背景}， 表示在p+＝车辆时第i个锚点框是否与第j个真实框匹配，tl、tr、br、bl表示车牌的左上、右上、左下、右下四个顶点，/>表示第i个锚点框的待学习参数，/>表示第j个真实框的目标学习数值，车牌四个顶点((tlx，tly)，(trx，try)，(brx，bry)，(blx，bly))偏移的学习目标如下式：
其中，表示第j个车牌真实框对应的车牌的四个顶点的横坐标，/>表示第j个车牌真实框对应的车牌的四个顶点的纵坐标，/>表示第i个车牌锚点框的中心，表示第i个车牌锚点框的宽和高。
在本发明实施例中，车牌定位装置的各模块可由相应的硬件或软件模块实现，各模块可以为独立的软、硬件模块，也可以集成为一个软、硬件模块，在此不用以限制本发明。车牌定位装置的各模块的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例三：
图7示出了本发明实施例三提供的车牌定位系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的系统7包括处理器70、存储器71以及存储在存储器71中并可在处理器70上运行的计算机程序72。该处理器70执行计算机程序72时实现上述各方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器70执行计算机程序72时实现上述各装置实施例中各单元的功能，例如图6所示单元61至65的功能。
在本发明实施例中，通过训练好的车牌定位网络模型获取待检测图像中车辆包含的车牌的粗预测框的中心和尺寸，以车牌的粗预测框的中心为中心，对车牌的粗预测框所包含的区域进行扩展，得到包围该车牌的局部区域，并基于共享特征图将该局部区域缩放到固定尺寸，在缩放的局部区域内回归车牌的四个顶点，根据该四个顶点获得车牌的外边框，从而通过共享特征图的方式降低了车辆定位模型的训练复杂度和运行时间，减少了车辆检测过程中的计算量，提高了检测效率，通过在局部范围内检测车牌，提高了小尺寸与多方向车牌检测的准确性。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S105。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图6所示单元61至65的功能。
在本发明实施例中，通过训练好的车牌定位网络模型获取待检测图像中车辆包含的车牌的粗预测框的中心和尺寸，以车牌的粗预测框的中心为中心，对车牌的粗预测框所包含的区域进行扩展，得到包围该车牌的局部区域，并基于共享特征图将该局部区域缩放到固定尺寸，在缩放的局部区域内回归车牌的四个顶点，根据该四个顶点获得车牌的外边框，从而通过共享特征图的方式降低了车辆定位模型的训练复杂度和运行时间，减少了车辆检测过程中的计算量，提高了检测效率，通过在局部范围内检测车牌，提高了小尺寸与多方向车牌检测的准确性。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种车牌定位方法，其特征在于，所述方法包括下述步骤：
将待检测图像输入到训练好的车牌定位网络模型中，通过所述车牌定位网络模型中的车牌粗检测网络对待检测图像进行特征提取，得到共享特征图，其中，所述训练好的车牌定位网络模型通过带有标记的车辆图像数据对所述车牌定位网络模型进行端到端的训练得到，所述车牌定位网络模型包括依次连接的所述车牌粗检测网络、车牌区域扩展和缩放网络和车牌精定位网络；
基于所述共享特征图，通过所述车牌粗检测网络获取待检测图片中车辆预测框的中心和尺寸，并根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸；
以所述车牌的粗预测框的中心为中心，通过所述车牌区域扩展和缩放网络对所述车牌的粗预测框所包含的区域进行扩展，得到包围所述车牌的局部区域；
基于所述共享特征图，通过所述车牌区域扩展和缩放网络将所述局部区域缩放到固定尺寸；
通过所述车牌精定位网络在缩放后的局部区域内回归车牌的四个顶点，根据所述四个顶点获得车牌的外边框；
所述通过所述车牌粗检测网络获取所述待检测图片中车辆预测框的中心和尺寸的步骤，包括：
通过所述车牌粗检测网络从所述待检测图片中选择出多个候选的车辆预测框；
对所述候选的车辆预测框的边界进行回归，以校正车辆预测框的边界；
对回归后的所述候选的车辆预测框进行非极大值抑制筛选，压缩重复的车辆预测框，得到最终的车辆预测框，所述车辆预测框包含有车辆预测框的中心和尺寸；
在通过所述车牌定位网络模型中的车牌粗检测网络对所述待检测图像进行特征提取之前，所述方法还包括：
对所述车牌定位网络模型进行训练，以得到训练好的所述车牌定位网络模型，其中，所述车牌定位网络模型的损失由所述车牌粗检测网络的损失和所述车牌精定位网络的损失组成，将所述车牌定位网络模型的损失函数定义如下：
L＝L1(c,l,g,υ,lpc)+αL2(c',l',g')
其中，L表示所述车牌定位网络模型的损失，L1(c,l,g,υ,lpc)表示所述车牌粗检测网络的损失，L2(c',l',g')表示所述车牌精定位网络的损失，α表示所述车牌粗检测网络的损失和所述车牌精定位网络的损失的权衡参数，c表示预测车辆的置信度，l表示车辆预测框，g表示车辆真实框，υ表示该车辆是否包含有车牌，lpc表示预测出的车辆包含车牌的概率，c'表示预测车牌的置信度，l'表示车牌预测框，g'表示车牌真实框；
所述车牌粗检测网络的训练任务包括：车辆/非车辆分类任务、车辆边界框回归任务、车辆含车牌分类任务、车牌中心与车辆中心偏移回归任务和车牌大小回归任务，所述车牌粗检测网络的损失函数定义如下：
其中，N表示与车辆真实框匹配的车辆锚点框的数量，Lconf(c)表示所述车辆/非车辆分类任务的损失，Lloc(l,g)表示所述车辆边界框回归任务的损失，Lhas_lp(υ,lpc)表示所述车辆含车牌分类任务的损失，Loff(l,g,υ)表示所述车牌中心与车辆中心偏移回归任务的损失，表示所述车牌大小回归任务的损失；
所述车辆含车牌分类任务采用二元交叉熵损失函数进行训练，所述车辆含车牌分类任务的损失函数定义如下：
其中，σ是sigmoid函数，用于将车辆包含车牌的概率限制在[0,1]之间，υi表示第i个车辆是否包含有车牌，lpci表示预测出的第i个车辆包含车牌的概率；
所述车牌中心与车辆中心偏移回归任务和所述车牌大小回归任务都采用smooth L1损失函数进行训练，在进行该两个任务的训练时，根据车辆锚点框的中心、宽和高，学习车牌中心相对于车辆中心的偏移、以及车牌的宽和高，所述车牌中心与车辆中心偏移回归任务和所述车牌大小回归任务的学习目标如下式：
其中，表示第j个车辆真实框对应的车牌中心相对于车辆中心在x方向和y方向的偏移，/>表示第j个车辆真实框对应的车牌的宽和高，/>表示第i个锚点框的宽和高；
所述车牌精定位网络的训练任务包括：车牌/非车牌分类任务，车牌边界框回归任务以及车牌四点检测任务，所述车牌精定位网络的损失函数定义如下：
其中，N'表示与车牌真实框匹配的车牌锚点框的数量，Lconf(c')表示所述车牌/非车牌分类任务的损失，Lloc(l',g')表示所述车牌边界框回归任务的损失，Lcorner(l',g')表示所述车牌四点检测任务的损失；
所述车牌四点检测任务的训练中，车牌的四个顶点由与车牌真实框的交并比大于交并比阈值的车辆锚点框负责回归，所述车牌四点检测任务的损失函数如下：
其中，p∈{车辆,背景}， 表示在p+＝车辆时第i个锚点框是否与第j个真实框匹配，tl、tr、br、bl表示车牌的左上、右上、左下、右下四个顶点，/>表示第i个锚点框的待学习参数，/>表示第j个真实框的目标学习数值，车牌四个顶点((tlx，tly)，(trx，try)，(brx，bry)，(blx，bly))偏移的学习目标如下式：
其中，表示第j个车牌真实框对应的车牌的四个顶点的横坐标，/>表示第j个车牌真实框对应的车牌的四个顶点的纵坐标，/>表示第i个车牌锚点框的中心，表示第i个车牌锚点框的宽和高。
2.如权利要求1所述的方法，其特征在于，所述车牌粗检测网络为改进后的SSD网络。
3.如权利要求1所述的方法，其特征在于，所述根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸的步骤，包括：
获取所述车辆包含车牌的概率；
当所述车辆包含车牌的概率大于预设的概率阈值时，根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸。
4.如权利要求1所述的方法，其特征在于，所述通过所述车牌精定位网络在缩放后的局部区域内回归车牌的四个顶点的步骤，包括：
通过所述车牌精定位网络在缩放后的局部区域内获取车牌预测框；
获取所述车牌预测框的匹配锚点框，所述匹配锚点框为大于预设的交并比阈值的锚点框；
基于所述匹配锚点框回归车牌的四个顶点。
5.一种车牌定位装置，其特征在于，所述装置包括：
特征图获取模块，用于将待检测图像输入到训练好的车牌定位网络模型中，通过所述车牌定位网络模型中的车牌粗检测网络对待检测图像进行特征提取，得到共享特征图，其中，所述训练好的车牌定位网络模型通过带有标记的车辆图像数据对所述车牌定位网络模型进行端到端的训练得到，所述车牌定位网络模型包括依次连接的所述车牌粗检测网络、车牌区域扩展和缩放网络和车牌精定位网络；
粗预测模块，用于基于所述共享特征图，通过所述车牌粗检测网络获取待检测图片中车辆预测框的中心和尺寸，并根据所述车辆预测框的中心和尺寸获取所述车辆包含的车牌的粗预测框的中心和尺寸，其中，所述通过所述车牌粗检测网络获取所述待检测图片中车辆预测框的中心和尺寸，包括：
通过所述车牌粗检测网络从所述待检测图片中选择出多个候选的车辆预测框；对所述候选的车辆预测框的边界进行回归，以校正车辆预测框的边界；对回归后的所述候选的车辆预测框进行非极大值抑制筛选，压缩重复的车辆预测框，得到最终的车辆预测框，所述车辆预测框包含有车辆预测框的中心和尺寸；
区域扩展模块，用于以所述车牌的粗预测框的中心为中心，通过所述车牌区域扩展和缩放网络对所述车牌的粗预测框所包含的区域进行扩展，得到包围所述车牌的局部区域；
缩放模块，用于基于所述共享特征图，通过所述车牌区域扩展和缩放网络将所述局部区域缩放到固定尺寸；以及
车牌边框获取模块，用于通过所述车牌精定位网络在缩放后的局部区域内回归车牌的四个顶点，根据所述四个顶点获得车牌的外边框；
其中，在通过所述车牌定位网络模型中的车牌粗检测网络对所述待检测图像进行特征提取之前包括：
对所述车牌定位网络模型进行训练，以得到训练好的所述车牌定位网络模型，其中，所述车牌定位网络模型的损失由所述车牌粗检测网络的损失和所述车牌精定位网络的损失组成，将所述车牌定位网络模型的损失函数定义如下：
L＝L1(c,l,g,υ,lpc)+αL2(c',l',g')
其中，L表示所述车牌定位网络模型的损失，L1(c,l,g,υ,lpc)表示所述车牌粗检测网络的损失，L2(c',l',g')表示所述车牌精定位网络的损失，α表示所述车牌粗检测网络的损失和所述车牌精定位网络的损失的权衡参数，c表示预测车辆的置信度，l表示车辆预测框，g表示车辆真实框，υ表示该车辆是否包含有车牌，lpc表示预测出的车辆包含车牌的概率，c'表示预测车牌的置信度，l'表示车牌预测框，g'表示车牌真实框；
所述车牌粗检测网络的训练任务包括：车辆/非车辆分类任务、车辆边界框回归任务、车辆含车牌分类任务、车牌中心与车辆中心偏移回归任务和车牌大小回归任务，所述车牌粗检测网络的损失函数定义如下：
其中，N表示与车辆真实框匹配的车辆锚点框的数量，Lconf(c)表示所述车辆/非车辆分类任务的损失，Lloc(l,g)表示所述车辆边界框回归任务的损失，Lhas_lp(υ,lpc)表示所述车辆含车牌分类任务的损失，Loff(l,g,υ)表示所述车牌中心与车辆中心偏移回归任务的损失，表示所述车牌大小回归任务的损失；
所述车辆含车牌分类任务采用二元交叉熵损失函数进行训练，所述车辆含车牌分类任务的损失函数定义如下：
其中，σ是sigmoid函数，用于将车辆包含车牌的概率限制在[0,1]之间，υi表示第i个车辆是否包含有车牌，lpci表示预测出的第i个车辆包含车牌的概率；
所述车牌中心与车辆中心偏移回归任务和所述车牌大小回归任务都采用smooth L1损失函数进行训练，在进行该两个任务的训练时，根据车辆锚点框的中心、宽和高，学习车牌中心相对于车辆中心的偏移、以及车牌的宽和高，所述车牌中心与车辆中心偏移回归任务和所述车牌大小回归任务的学习目标如下式：
其中，表示第j个车辆真实框对应的车牌中心相对于车辆中心在x方向和y方向的偏移，/>表示第j个车辆真实框对应的车牌的宽和高，/>表示第i个锚点框的宽和高；
所述车牌精定位网络的训练任务包括：车牌/非车牌分类任务，车牌边界框回归任务以及车牌四点检测任务，所述车牌精定位网络的损失函数定义如下：
其中，N'表示与车牌真实框匹配的车牌锚点框的数量，Lconf(c')表示所述车牌/非车牌分类任务的损失，Lloc(l',g')表示所述车牌边界框回归任务的损失，Lcorner(l',g')表示所述车牌四点检测任务的损失；
所述车牌四点检测任务的训练中，车牌的四个顶点由与车牌真实框的交并比大于交并比阈值的车辆锚点框负责回归，所述车牌四点检测任务的损失函数如下：
其中，p∈{车辆,背景}， 表示在p+＝车辆时第i个锚点框是否与第j个真实框匹配，tl、tr、br、bl表示车牌的左上、右上、左下、右下四个顶点，/>表示第i个锚点框的待学习参数，/>表示第j个真实框的目标学习数值，车牌四个顶点((tlx，tly)，(trx，try)，(brx，bry)，(blx，bly))偏移的学习目标如下式：
其中，表示第j个车牌真实框对应的车牌的四个顶点的横坐标，/>表示第j个车牌真实框对应的车牌的四个顶点的纵坐标，/>表示第i个车牌锚点框的中心，表示第i个车牌锚点框的宽和高。
6.一种车牌定位系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN202010413786.5A 2020-05-15 2020-05-15 车牌定位方法、装置、系统及存储介质 Active CN111709416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413786.5A CN111709416B (zh) 2020-05-15 2020-05-15 车牌定位方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413786.5A CN111709416B (zh) 2020-05-15 2020-05-15 车牌定位方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111709416A CN111709416A (zh) 2020-09-25
CN111709416B true CN111709416B (zh) 2024-02-02

Family

ID=72536993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413786.5A Active CN111709416B (zh) 2020-05-15 2020-05-15 车牌定位方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111709416B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529956A (zh) * 2020-11-12 2021-03-19 浙江大华技术股份有限公司 黑体位置检测方法、电子装置以及计算机可读存储介质
CN112801093A (zh) * 2021-01-11 2021-05-14 爱泊车美好科技有限公司 一种车牌信息的校准方法及装置
CN112749701B (zh) * 2021-01-22 2024-02-09 北京百度网讯科技有限公司 车牌污损分类模型的生成方法和车牌污损分类方法
CN113205069B (zh) * 2021-05-27 2023-05-30 上海高德威智能交通系统有限公司 虚假车牌检测方法、装置及计算机存储介质
CN113361413A (zh) * 2021-06-08 2021-09-07 南京三百云信息科技有限公司 一种里程显示区域检测方法、装置、设备及存储介质
CN113343881A (zh) * 2021-06-21 2021-09-03 浪潮云信息技术股份公司 基于深度学习的车辆品牌型号细粒度分类系统及方法
CN113657174A (zh) * 2021-07-21 2021-11-16 北京中科慧眼科技有限公司 一种车辆伪3d信息检测方法、装置与自动驾驶系统
CN113642553B (zh) * 2021-07-21 2024-05-28 陕西松洋通信科技有限公司 一种整体与部件目标检测相结合的非约束车牌精准定位方法
CN114842465A (zh) * 2022-06-06 2022-08-02 阿波罗智联(北京)科技有限公司 车牌检测方法、装置、电子设备、介质及智能交通设备
CN114972710B (zh) * 2022-07-27 2022-10-28 深圳爱莫科技有限公司 一种在图像中实现多形状目标检测的方法及系统
CN115690767B (zh) * 2022-10-26 2023-08-22 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867416A (zh) * 2012-09-13 2013-01-09 中国科学院自动化研究所 一种基于车辆部位特征的车辆检测与跟踪方法
CN107145487A (zh) * 2016-03-01 2017-09-08 深圳中兴力维技术有限公司 图像搜索方法和装置
CN108932453A (zh) * 2017-05-23 2018-12-04 杭州海康威视数字技术股份有限公司 一种车辆备胎检测方法及装置
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867416A (zh) * 2012-09-13 2013-01-09 中国科学院自动化研究所 一种基于车辆部位特征的车辆检测与跟踪方法
CN107145487A (zh) * 2016-03-01 2017-09-08 深圳中兴力维技术有限公司 图像搜索方法和装置
CN108932453A (zh) * 2017-05-23 2018-12-04 杭州海康威视数字技术股份有限公司 一种车辆备胎检测方法及装置
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法

Also Published As

Publication number Publication date
CN111709416A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN112101221A (zh) 一种用于交通信号灯实时检测与识别的方法
CN111582339B (zh) 一种基于深度学习的车辆检测与识别的方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN112200186B (zh) 基于改进yolo_v3模型的车标识别方法
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN114049572A (zh) 识别小目标的检测方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN111401143A (zh) 一种行人跟踪系统及方法
CN114550134A (zh) 基于深度学习的交通标志检测与识别方法
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
Fan et al. Covered vehicle detection in autonomous driving based on faster rcnn
CN113177956A (zh) 一种面向无人机遥感影像的语义分割方法
CN113160117A (zh) 一种自动驾驶场景下的三维点云目标检测方法
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN111428567A (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN114882490B (zh) 一种基于点引导定位的无受限场景车牌检测分类方法
Jiangzhou et al. Research on real-time object detection algorithm in traffic monitoring scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant