CN114220087A - 一种车牌检测方法、车牌检测器及相关设备 - Google Patents

一种车牌检测方法、车牌检测器及相关设备 Download PDF

Info

Publication number
CN114220087A
CN114220087A CN202111387198.XA CN202111387198A CN114220087A CN 114220087 A CN114220087 A CN 114220087A CN 202111387198 A CN202111387198 A CN 202111387198A CN 114220087 A CN114220087 A CN 114220087A
Authority
CN
China
Prior art keywords
license plate
image
vehicle
predicted
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111387198.XA
Other languages
English (en)
Inventor
程博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111387198.XA priority Critical patent/CN114220087A/zh
Publication of CN114220087A publication Critical patent/CN114220087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车牌检测方法、车牌检测器及相关设备，该车牌检测方法包括：获取包含车牌的待检测车辆图像；对从待检测车辆图像中检测出的多个预测点进行修正，预测点与待检测车牌关联；利用修正后的多个预测点，从待检测车辆图像中获取待处理车牌对应的车牌区域图像；对车牌区域图像的图像特征进行识别，得到待处理车牌的车牌信息。通过上述方式，本发明能够提升车牌的检测准确率。

Description

一种车牌检测方法、车牌检测器及相关设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种车牌检测方法、车牌检测器及相关设备。
背景技术
随着我国汽车保有量的快速增长，道路交通问题已经成为全世界都在面临的问题，无论是车辆交通违章，还是车辆乱停乱放的现象都时有发生，严重影响道路安全，而车辆的识别标志在于车牌，因此，对车牌的检测尤为重要。而当车牌角度较大时，会使车牌检测不准确。
发明内容
本发明主要解决的技术问题是提供一种车牌检测方法、车牌检测器及相关设备，能够提升车牌的检测准确率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种车牌检测方法，该车牌检测方法包括：获取包含车牌的待检测车辆图像；对从待检测车辆图像中检测出的多个预测点进行修正，预测点与待检测车牌关联；利用修正后的多个预测点，从待检测车辆图像中获取待处理车牌对应的车牌区域图像；对车牌区域图像的图像特征进行识别，得到待处理车牌的车牌信息。
其中，利用修正后的多个预测点，从待检测车辆图像中获取待处理车牌对应的车牌区域图像，包括：将待处理图像中包含所有车牌区域预测点且尺寸满足预设要求的目标图像区域，确定为车牌区域图像，其中：目标图像区域的尺寸小于待检测车辆图像的尺寸。
其中，对从待检测车辆图像中检测出的多个预测点进行修正包括：提取待检测车辆图像的图像特征信息；从图像特征信息中获取多个预测点及多个预测点中各个预测点对应的预测偏移量；利用预测偏移量对预测点进行修正，得到多个车牌区域预测点。
其中，从图像特征信息中获取多个预测点及多个预测点中各个预测点对应的预测偏移量，包括：将图像特征信息输入可变形卷积网络；可变形卷积网络包括主网络、预测点检测子网络和偏移量分析子网络；利用主网络对图像特征信息进行处理，得到预测特征信息；利用预测点检测子网络对预测特征信息进行处理，得到多个预测点；利用偏移量分析子网络对预测特征信息和多个预测点进行处理，得到分别对应多个预测点的预测偏移量。
其中，定位分支网络的主网络包括三个连续的卷积层，以对图像特征信息进行卷积处理，得到预测特征信息；预测点检测子网络包括连续的第一卷积层和第二卷积层，以对预测特征信息进行卷积处理，得到多个预测点，第一卷积层是3*3卷积层，第二卷积层是1*1卷积层；偏移量分析子网络包括连续的第三卷积层和第四卷积层，第三卷积层是3*3卷积层，第四卷积层是1*1卷积层。
其中，预测偏移量是预测点相对前一次预测的预测点的偏移量，利用预测偏移量对初始预测点信息进行修正，得到多个车牌区域预测点信息包括：将第一预测点与对应的预测偏移量融合，得到第二预测点；计算第二预测点对应的预测偏移量；将第二预测点为新的第一预测点，执行将第一预测点与对应的预测偏移量融合，得到第二预测点信息，计算第二预测点对应的预测偏移量的步骤，直至预测偏移量达到终止条件，得到多个车牌区域预测点。
其中，可变形卷积网络还包括分类分支网络，方法还包括：将图像特征信息输入分类分支网络，从图像特征信息中获取车牌的车牌类别信息。
其中，提取待检测车辆图像的图像特征信息包括：利用特征金字塔网络提取待检测车辆图像的图像特征信息，得到图像金字塔特征信息。
其中，获取包含车牌的待检测车辆图像包括：对包含车辆的待检测车辆图像进行车辆检测，获取车辆区域；以车辆区域的中心点为基点对车辆区域进行变倍处理，得到车辆区域图像；对车辆区域图像进行车牌悬挂位置检测，获取车牌悬挂位置区域，车牌悬挂位置包括车头和/或车尾；以车牌悬挂位置区域的中心位移点为基点对车牌悬挂位置区域进行变倍处理，得到包含车牌的待检测车辆图像；中心位移点为车牌悬挂位置区域的中心点向下位移预设高度的点。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种车牌检测器，该车牌检测器包括获取模块，检测模块和识别模块，获取模块用于获取包含车牌的待检测车辆图像；检测模块用于基于代表性点集的表示方法对待检测车辆图像进行车牌检测，获取车牌区域图像；识别模块用于识别车牌区域图像的图像特征，得到车牌信息。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种车牌检测设备，该车牌检测设备包括处理器，处理器用于执行以实现上述的车牌检测方法。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现上述的车牌检测方法。
本发明的有益效果是：区别于现有技术的情况，本发明针对车牌检测难度较大的问题，通过使用代表性点集的表示方法，获取车牌区域图像，该方法有潜力适应车牌的姿态或者形状的变化，提取的点集可以自适应地分布在车牌中具有重要语义意义的局部区域，并能表征车牌的几何外延，从而提供了一个对车牌更加细致的几何描述，如车牌的四个角点，提升了车牌的检测准确率。
附图说明
图1是本申请实施方式中一车牌检测方法的流程示意图；
图2是本申请实施方式中一获取包含车牌的待检测车辆图像方法的流程示意图；
图3是本申请实施方式中一获取车牌区域图像方法的流程示意图；
图4是本申请实施方式中可变形卷积网络方法的流程示意图；
图5是本申请实施方式中可形变卷积网络方法的结构图；
图6是本申请具体实施方式中摄像机拍摄大货车的全景图；
图7是本申请第一次拉框变倍的结果示意图；
图8是本申请第二次拉框变倍的结果示意图；
图9是本申请代表性点集获取的车牌检测框的示意图；
图10是本申请实施方式中车牌检测器的结构示意图；
图11是本申请实施方式中车牌检测设备的结构示意图；
图12是本申请实施方式中计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
本申请提供一种车牌检测方法，针对车牌检测难度较大的问题，通过使用代表性点集的表示方法，获取车牌区域图像，该方法有潜力适应车牌的姿态或者形状的变化，提取的点集可以自适应地分布在车牌中具有重要语义意义的局部区域，并能表征车牌的几何外延，从而提供了一个对车牌更加细致的几何描述，如车牌的四个角点，提升了车牌的检测准确率。
请参阅图1，图1是本申请实施方式中一车牌检测方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施方式包括：
S110：获取包含车牌的待检测车辆图像。
可以利用监控摄像头拍摄的监控视频获取包含车辆车牌的图像，也可以从本地获取包含车辆车牌的图像。在本申请实施例中，当以监控视频获取图像是，首先获取监控摄像头拍摄的监控视频，并对视频进行抽帧处理，获得每一帧监控视频图像作为待检测车辆图像。
S130：对从待检测车辆图像中检测出的多个预测点进行修正。
因为车牌较小，在拍摄图像或者监控视频中车牌占比也较小，直接进行车牌的识别提取到的特征质量降低，从而降低车牌的识别性能，因此，先对车牌区域进行检测，提取与待检测车牌相关联的多个预测点。在该实施方式中，使用代表性点集的表示方法，自适应地提取分布在车牌中具有重要语义意义的多个预测点，并对多个预测点进行修正。
S150：利用修正后的多个预测点，从待检测车辆图像中获取待处理车牌对应的车牌区域图像。
修正之后的多个预测点可以作为代表车牌重要语义的点，利用修正后的多个预测点从待检测车辆图像中获取包含这些点集的区域，以作为待处理车牌对应的车牌区域图像。
S170：对车牌区域图像的图像特征进行识别，得到待处理车牌的车牌信息。
利用识别模型对车牌区域图像进行特征提取，识别得到待处理车牌的车牌信息。
该实施方式中，针对车牌检测难度较大的问题，通过使用代表性点集的表示方法，对从待检测车辆图像中检测出的多个预测点进行修正，获取车牌区域图像，该方法有潜力适应车牌的姿态或者形状的变化，提取的点集可以自适应地分布在车牌中具有重要语义意义的局部区域，并能表征车牌的几何外延，从而提供了一个对车牌更加细致的几何描述，如车牌的四个角点，提升了车牌的检测准确率。
在该实施方式中，通常获取的待处理车辆图像中不仅仅包含车辆，还会有一些与车牌检测无关的背景物，在直接进行车牌检测时会造成识别干扰，因此，在获取到包含车牌的待检测车辆图像时，需要对车辆以及车牌区域图像进行初步检测，以方便后续车牌识别。将待处理图像中包含所有车牌区域预测点且尺寸满足预设要求的目标图像区域，确定为所述车牌区域图像，其中，目标图像区域满足预设要求是指，目标图像区域的尺寸小于待检测车辆图像的尺寸。请参阅图2，图2是本申请实施方式中一获取包含车牌的待检测车辆图像方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：
S210：对包含车辆的待检测图像进行车辆检测，获取车辆区域。
将获取到的包含车辆的待检测图像输入目标检测区，检测该图像中包含的车辆数量以及车辆的坐标，获取车辆区域。
S230：以车辆区域的中心点为基点对车辆区域进行变倍处理，得到车辆区域图像。
首先基于图像中车辆区域的中心点为基点进行第一次变倍处理，但倍率不宜过大，如1.5倍，得到车辆区域图像。此时图像中的车辆比较完整，但大于原始图像中的车辆，且车牌通常仍然无法看清。
S250：对车辆区域图像进行车牌悬挂位置检测，获取车牌悬挂位置区域。
在得到车辆区域图像的基础上，对车牌悬挂位置进行检测，车牌悬挂位置包括车头和/或车尾，即利用车头和/或车尾检测器对对车辆区域图像进行车牌悬挂位置检测，获取该车辆的车牌悬挂位置区域，即车头和/或车尾检测框。
S270：以车牌悬挂位置区域的中心位移点为基点对车牌悬挂位置区域进行变倍处理，得到包含车牌的待检测车辆图像。
基于该车辆的车牌悬挂位置区域的中心位移点为基点进行第二次变倍处理，得到包含车牌的待检测车辆图像。中心位移点为车牌悬挂位置区域的中心点向下位移预设高度的点。在一实施方式中，中心位移点为车牌悬挂位置区域的中心点向下位移车牌悬挂位置区域高度的1/4的点，此时，车牌清晰、且靠近画面中心，利于后续车牌的检测和识别。
在该实施方式中，基于拉框变倍的中心点不好选取，提出一种集合车头车尾的改进的拉框多次变倍方案，首先基于检测到的车辆框进行一次变倍，再检测车头车尾，再基于检测到的车头(或车尾)进行二次变倍，使得变倍后的画面中包含完整的车牌，且车牌尽可能位于中间区域，解决了拉框变倍的中心点选取不当可能会导致变倍之后车牌不在画面中或者不完整的问题，提升了变倍的准确性，有利于后续的车牌检测。
在该实施方式中，利用代表性点集的表示方法从包含车牌的待检测车辆图像中获取车牌区域图像。请参阅图3，图3是本申请实施方式中一获取车牌区域图像方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。如图3所示，本实施方式包括：
S310：提取待检测车辆图像的图像特征信息。
利用特征金字塔网络作为主干网络提取待检测车辆图像的图像特征信息，得到图像金字塔特征信息，在一实施方式中，生成五层的图像金字塔特征信息，该五层特征金字塔网络从具有下采样倍率为8的stage3到有下采样倍率为128的stage7。
S330：从图像特征信息中获取多个预测点及多个预测点中各个预测点对应的预测偏移量，利用预测偏移量对预测点进行修正，得到多个车牌区域预测点。
在该实施方式中，利用代表性点集的表示方法对一组自适应的点集进行建模，首先，获取一组初始的样本点，
Figure BDA0003367518800000071
其中，n表示使用的样本点的总数，在一具体实施方式中，样本点的总数为9。在训练过程中，我们对沿用多阶段目标检测的方式，对代表性点集进行逐步完善，其公式如下：
Figure BDA0003367518800000072
其中，
Figure BDA0003367518800000073
是各个新样本点相对于各个初始样本点的预测偏移量，同时，为了利用已有的矩形框标注信息(标注代价相对较小)，以及评估基于代表性点集的检测器的效果，我们使用一个转换函数T，将代表性点集转化成一个伪边界框(pseudo bounding box)。转换函数为：T:Rp→Bp，其中，Rp是车牌的代表性点集表示，而Bp表示伪边界框。对于转换函数T的具体形式，该实施方式使用Min-Max Function，即在所有n个点中取最大和最小的x，y，得到包含所有样本点的矩形框，即为伪边界框。
代表性点集的学习是由定位损失和识别损失共同驱动的。为了计算定位损失，我们首先将代表性点集转化成Bp，然后再计算Bp与标准边界框(ground truth bounding box)的损失，在该实施方式中，定位损失采用SmoothL1损失。分类损失则采用改进的焦点损失(Focal Loss)。在目标定位损失和目标识别损失共同驱动下，该方法可以自动学习到车牌的极值点以及语义关键点。
在本申请的实施方式中，基于代表性点集，设计了一个anchor-free的多阶段目标检测器TypDet，利用该目标检测器TypDet多次迭代，得到多个车牌区域预测点，获取包含所有车牌区域预测点的最小区域图像，作为车牌区域图像。具体目标检测器TypDet的实现过程如下：
Figure BDA0003367518800000081
Figure BDA0003367518800000082
…
Figure BDA0003367518800000083
其中，利用多阶段目标检测器TypDet对目标中心object center进行多次检测完善，每次得到多个目标预测点TypPoints proposals。
在该实施方式中，利用可变形卷积网络实现上述代表性点集的表示方法，利用可变形卷积网络从图像特征信息中获取多个预测点及分别对应多个预测点的预测偏移量，预测偏移量是预测点相对前一次预测的预测点的偏移量，利用预测偏移量对预测点进行修正，得到多个车牌区域预测点。参阅图4和图5，图4是本申请实施方式中可变形卷积网络方法的流程示意图，图5是本申请实施方式中可形变卷积网络方法的结构图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。如图4所示，本实施方式包括：
S410：利用主网络对图像特征信息进行处理，得到预测特征信息。
可变形卷积网络包括定位分支网络，请参阅图5，图5的左分支为定位分支网络，首先将提取的待检测车辆图像的图像特征信息输入定位分支网络的主网络，定位分支网络的主网络包括三个连续的256-d的3*3卷积层，以对图像特征信息进行卷积处理，得到预测特征信息。
S430：利用预测点检测子网络对预测特征信息进行处理，得到多个预测点。
预测点检测子网络包括连续的第一卷积层和第二卷积层，以对预测特征信息进行卷积处理，得到多个预测点的信息，第一卷积层是256-d的3*3卷积层，第二卷积层是256-d的1*1卷积层。
S450：利用偏移量分析子网络对预测特征信息和多个预测点进行处理，得到多个预测点中各个预测点对应的预测偏移量。
偏移量分析子网络包括连续的第三卷积层和第四卷积层，以对预测特征信息和多个预测点的信息进行卷积处理，得到多个预测点对应的预测偏移量信息，第三卷积层是256-d的3*3卷积层，第四卷积层是256-d的1*1卷积层。
S470：将第一预测点与对应的预测偏移量融合，得到第二预测点。
将对图像特征信息进行卷积处理得到的多个预测点作为第一预测点，将第一预测点与对应的预测偏移量相加修正，得到第二预测点。如图5所示，图5的定位分支网络计算输出为第二预测点。
在一实施方式中，如图5所示，目标检测器TypDet是一个两个阶段的目标检测器。通过初始的中心点假设生成第一预测点，通过对第一预测点的修正生成第二预测点，将第二预测点作为最终的车牌区域预测点，至此，我们得到了一个基于点集表示的目标检测器，其对于大角度车牌的检测效果优于以往的基于矩形边界框表示的检测器。
在另一实施方式中，对第二预测点进行进一步的计算，计算方法与上述相同。利用上述的可变形卷积网络的定位分支网络，计算第二预测点对应的预测偏移量，并将第二预测点为新的第一预测点，将第一预测点与对应的预测偏移量相加，得到第二预测点信息，再次计算第二预测点对应的预测偏移量，直至预测偏移量达到终止条件，得到车牌区域预测点。其中，在一实施方式中，预测偏移量达到终止条件为计算预测偏移量的次数达到第一阈值；在另一实施方式中，预测偏移量达到终止条件为所有预测点对应的预测偏移量均小于或等于第二阈值。
在另一实施方式中，可变形卷积网络还包括分类分支网络，请参阅图5，图5的右分支为分类分支网络，分类分支网络与部分定位分支网络的计算结果共享。将图像特征信息输入分类分支网络，从图像特征信息中获取车牌的车牌类别信息。首先将提取的待检测车辆图像的图像特征信息输入分类分支网络的主网络，分类分支网络的主网络包括三个连续的256-d的3*3卷积层，以对图像特征信息进行卷积处理，得到分类特征信息。再将分类特征信息和多个预测点的信息输入分类子网络，得到分类信息。预测点检测子网络包括连续的第五卷积层和第六卷积层，以对分类特征信息进行卷积处理，得到分类信息，第五卷积层是256-d的3*3卷积层，第六卷积层是256-d的1*1卷积层。
在该实施方式中，分类分支网络与定位分支网络同步进行，当定位分支网络进行预测点迭代时，分类分支网络也在进行分类信息的迭代，即当第三卷积层和第四卷积层在进行预测偏移量计算时，第五卷积层和第六卷积层也在进行分类信息的计算。最终在定位分支网络终止计算时，分类分支网络输出最终的分类结果。
在计算得到车牌区域预测点之后，获取包含所有预测点的最小的矩形框，即在所有点中取x最大值xmax和x最小值xmin，y最大值ymax和y最小值ymin，以(xmin，ymin)，(xmax，ymin)，(xmax，ymax)和(xmin，ymax)为顶点，得到包含所有样本点的最小的矩形框，该矩形框作为车牌区域图像。
该实施方式中，针对车牌检测难度较大的问题，提出一种基于代表性点集的表示方法的目标检测器，获取车牌区域图像，该方法有潜力适应车牌的姿态或者形状的变化，提取的点集可以自适应地分布在车牌中具有重要语义意义的局部区域，并能表征车牌的几何外延，从而提供了一个对车牌更加细致的几何描述，如车牌的四个角点，提升了车牌的检测准确率。在目标检测器的使用过程中，本申请同YOLO和DenseBox一样，使用中心点作为目标的初始表示，使用基于中心点的方法，是的更容易覆盖图像的二维空间。在进行代表性点集的选取时，使用具有分支网络的可形变卷积网络，在获取车牌检测框的同时，对车牌进行初步地分类，便于后续对车牌识别检测。
请参阅图6，图6是本申请具体实施方式中摄像机拍摄大货车的全景图。在一具体实施方式中，将本申请的车牌检测方法应用于大货车违章停车抓拍方法中。在进行违章停车抓拍时，一般使用固定角度的摄像机进行拍摄，预先根据禁止停车区域在摄像机的画面中设置一个或多个禁停区域。对摄像机拍摄得到的视频抽帧，将当前帧图像作为输入图像，对输入图像进行尺寸缩放和颜色空间转化，并将处理之后的图像输入到目标检测器中，利用目标检测器获取输入图像中的车辆数目以及各车辆的坐标。对各车辆目标进行跟踪，得到各车辆的运行轨迹。
当车辆A轨迹越过禁停区域，且静止超过预设的时间，如5秒，则判定该车可能违停，缓存该帧图片，利用摄像机对该车辆进行变倍特写，而由于车身较宽、车辆检测框也会比较宽，摄像机拉框变倍的中心点不好选取。如果直接对检测框的中心点进行拉框变倍，车牌很有可能不在变倍后的画面中，因此，使用本申请上述变倍处理方法。先对大货车车检框的中心点进行第一次变倍，但倍率不宜过大，请参阅图7，图7是本申请第一次拉框变倍的结果示意图。再对大货车进行车头和/或车尾检测，获取车牌悬挂位置区域，再寻找车牌悬挂位置区域的中心点O向下位移车牌悬挂位置区域高度的1/4的点作为中心位移点P，以车牌悬挂位置区域的中心位移点P为基点对车牌悬挂位置区域进行第二次变倍处理，得到包含车牌的待检测车辆图像，请参阅图8，图8是本申请第二次拉框变倍的结果示意图。此时，车牌清晰，且靠近画面中心，利于后续车牌的检测和识别。
由于实际违停场景比较复杂，经常会出现车牌角度较大的情况，车牌检测难度较大，利用上述代表性点集的表示方法提取大货车车牌上的重要语义意义的点集，利用该点集获取包含车牌的矩形边界框。请参阅图9，图9是本申请代表性点集获取的车牌检测框的示意图。在该实施方式中，使用9个样本点，如图9所示，在车牌的周围找到9个预测点，获取包含9个预测点的最小矩形框作为车牌检测框。利用识别模型对矩形边界框内的车牌进行识别，得到其车牌信息，得到第一车牌信息plate_A。识别完成后摄像机回到预置位。
摄像机预置位持续检测车辆并跟踪，若车辆A一直静止，且持续时间超过预设的违停时间，如2分钟，则判断该车违停，缓存该图片。相机再次对该车辆进行变倍特写，检测车辆并识别车牌，得到其车牌信息，记录为第二车牌信息plate_B，若第一车牌信息plate_A和第二车牌信息plate_B一致，则判定车牌完全相同，上报其违停证据链，摄像机回到预置位；若第一车牌信息plate_A和第二车牌信息plate_B相差1位，则再识别一次车牌，记录为第三车牌信息plate_C，对第一车牌信息plate_A、第二车牌信息plate_B、第三车牌信息plate_C进行投票，选择票数最多的车牌信息作为识别车牌结果并输出，上报其违停证据链，摄像机回到预置位；若第一车牌信息plate_A和第二车牌信息plate_B相差大于或等于2位，则判定不是同一辆车，判定车辆A离开，而车辆B新出现，更新其停车时间信息，相机回到预置位，并重复进行上述步骤。
该实施方式中，针对大货车违章停车的情况，提出了一套完整的违章抓拍方案，针对大货车车身较宽、车辆检测框较大，拉框变倍的中心点不好选取，变倍特写时，车牌的角度也较大，容易出现车牌检测不到或者检测不准的情况，提出一种集合车头车尾的改进的拉框多次变倍方案，首先基于检测到的车辆框进行一次变倍，再检测车头车尾，再基于检测到的车头(或车尾)进行二次变倍，使得变倍后的画面中包含完整的车牌，且车牌尽可能位于中间区域，解决了拉框变倍的中心点选取不当可能会导致变倍之后车牌不在画面中或者不完整的问题，提升了变倍的准确性，有利于后续的车牌检测。同时，针对大角度车牌检测难度较大的问题，提出一种基于代表性点集的表示方法的目标检测器，获取车牌区域图像，该方法有潜力适应车牌的姿态或者形状的变化，提取的点集可以自适应地分布在车牌中具有重要语义意义的局部区域，并能表征车牌的几何外延，从而提供了一个对车牌更加细致的几何描述，如车牌的四个角点，提升了车牌的检测准确率。在进行代表性点集的选取时，使用具有分支网络的可形变卷积网络，在获取车牌检测框的同时，对车牌进行初步地分类，便于后续对车牌识别检测。提升了大角度车牌的检测准确率。
请参阅图10，图10是本申请实施方式中车牌检测器的结构示意图。该实施方式中，车牌检测器包括获取模块101、检测模块102、修正模块103和识别模块104。
其中，获取模块101用于获取包含车牌的待检测车辆图像；检测模块102用于对从待检测车辆图像中检测出的多个预测点进行修正；修正模块103用于利用修正后的多个预测点，从待检测车辆图像中获取待处理车牌对应的车牌区域图像；识别模块104用于对车牌区域图像的图像特征进行识别，得到待处理车牌的车牌信息。该车牌检测器用于使用代表性点集的表示方法，获取车牌区域图像，该方法有潜力适应车牌的姿态或者形状的变化，提取的点集可以自适应地分布在车牌中具有重要语义意义的局部区域，并能表征车牌的几何外延，从而提供了一个对车牌更加细致的几何描述，如车牌的四个角点，提升了车牌的检测准确率。
请参阅图11，图11是本申请实施方式中车牌检测设备的结构示意图。该实施方式中，车牌检测设备11包括处理器12。
处理器12还可以称为CPU(Central Processing Unit，中央处理单元)。处理器12可能是一种集成电路芯片，具有信号的处理能力。处理器12还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器12也可以是任何常规的处理器等。
车牌检测设备11可以进一步包括存储器(图中未示出)，用于存储处理器12运行所需的指令和数据。
处理器12用于执行指令以实现上述本申请车牌检测方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图12，图12是本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质21存储有指令/程序数据22，该指令/程序数据22被执行时实现本申请车牌检测方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据22可以形成程序文件以软件产品的形式存储在上述存储介质21中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质21包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种车牌检测方法，其特征在于，所述方法包括：
获取包含待处理车牌的待检测车辆图像；
对从所述待检测车辆图像中检测出的多个预测点进行修正，所述预测点与所述待检测车牌关联；
利用修正后的多个预测点，从所述待检测车辆图像中获取所述待处理车牌对应的车牌区域图像；
对所述车牌区域图像的图像特征进行识别，得到所述待处理车牌的车牌信息。
2.根据权利要求1所述的车牌检测方法，其特征在于，所述利用修正后的多个预测点，从所述待检测车辆图像中获取所述待处理车牌对应的车牌区域图像，包括：
将所述待处理图像中包含所有所述车牌区域预测点且尺寸满足预设要求的目标图像区域，确定为所述车牌区域图像，其中：
所述目标图像区域的尺寸小于所述待检测车辆图像的尺寸。
3.根据权利要求1所述的车牌检测方法，其特征在于，所述对从所述待检测车辆图像中检测出的多个预测点进行修正包括：
提取所述待检测车辆图像的图像特征信息；
从所述图像特征信息中获取所述多个预测点及所述多个预测点中各个预测点对应的预测偏移量；
利用所述预测偏移量对所述预测点进行修正，得到多个车牌区域预测点。
4.根据权利要求3所述的车牌检测方法，其特征在于，所述从所述图像特征信息中获取所述多个预测点及所述多个预测点中各个预测点对应的预测偏移量，包括：
将所述图像特征信息输入可变形卷积网络；所述可变形卷积网络包括主网络、预测点检测子网络和偏移量分析子网络；
利用所述主网络对所述图像特征信息进行处理，得到预测特征信息；
利用所述预测点检测子网络对所述预测特征信息进行处理，得到所述多个预测点；
利用所述偏移量分析子网络对所述预测特征信息和所述多个预测点进行处理，得到所述多个预测点中各个预测点对应的预测偏移量。
5.根据权利要求4所述的车牌检测方法，其特征在于，
所述主网络包括三个连续的卷积层，以对所述图像特征信息进行卷积处理，得到所述预测特征信息；
所述预测点检测子网络包括连续的第一卷积层和第二卷积层，以对所述预测特征信息进行卷积处理，得到所述多个预测点，所述第一卷积层是3*3卷积层，所述第二卷积层是1*1卷积层；
所述偏移量分析子网络包括连续的第三卷积层和第四卷积层，所述第三卷积层是3*3卷积层，所述第四卷积层是1*1卷积层。
6.根据权利要求2-5任一项所述的车牌检测方法，其特征在于，所述预测偏移量是所述预测点相对前一次预测的预测点的偏移量，所述利用所述预测偏移量对所述预测点信息进行修正，得到多个车牌区域预测点包括：
将第一预测点与对应的所述预测偏移量融合，得到第二预测点；
计算所述第二预测点对应的预测偏移量；
将所述第二预测点为新的第一预测点，执行所述将第一预测点与对应的所述预测偏移量融合，得到第二预测点信息，计算所述第二预测点对应的预测偏移量的步骤，直至所述第二预测点对应的所述预测偏移量达到终止条件，得到所述多个车牌区域预测点。
7.根据权利要求3所述的车牌检测方法，其特征在于，所述可变形卷积网络还包括分类分支网络，所述方法还包括：
将所述图像特征信息输入所述分类分支网络，从所述图像特征信息中获取所述车牌的车牌类别信息。
8.根据权利要求2所述的车牌检测方法，其特征在于，所述提取所述待检测车辆图像的图像特征信息包括：
利用特征金字塔网络提取所述待检测车辆图像的图像特征信息，得到图像金字塔特征信息。
9.根据权利要求1所述的车牌检测方法，其特征在于，所述获取包含车牌的待检测车辆图像包括：
对包含车辆的待检测车辆图像进行车辆检测，获取车辆区域；
以所述车辆区域的中心点为基点对所述车辆区域进行变倍处理，得到车辆区域图像；
对所述车辆区域图像进行车牌悬挂位置检测，获取车牌悬挂位置区域，所述车牌悬挂位置包括车头和/或车尾；
以所述车牌悬挂位置区域的中心位移点为基点对所述车牌悬挂位置区域进行变倍处理，得到所述包含车牌的待检测车辆图像；所述中心位移点为所述车牌悬挂位置区域的中心点向下位移预设高度的点。
10.一种车牌检测器，其特征在于，所述车牌检测器包括：
获取模块，用于获取包含车牌的待检测车辆图像；
检测模块，用于基于代表性点集的表示方法对所述待检测车辆图像进行车牌检测，获取车牌区域图像；
识别模块，用于识别所述车牌区域图像的图像特征，得到车牌信息。
11.一种车牌检测设备，其特征在于，包括处理器，所述处理器用于执行指令以实现如权利要求1-9任一项所述的车牌检测方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令/程序数据，所述指令/程序数据能够被执行以实现如权利要求1-9任一项所述的车牌检测方法。
CN202111387198.XA 2021-11-22 2021-11-22 一种车牌检测方法、车牌检测器及相关设备 Pending CN114220087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111387198.XA CN114220087A (zh) 2021-11-22 2021-11-22 一种车牌检测方法、车牌检测器及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111387198.XA CN114220087A (zh) 2021-11-22 2021-11-22 一种车牌检测方法、车牌检测器及相关设备

Publications (1)

Publication Number Publication Date
CN114220087A true CN114220087A (zh) 2022-03-22

Family

ID=80697767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111387198.XA Pending CN114220087A (zh) 2021-11-22 2021-11-22 一种车牌检测方法、车牌检测器及相关设备

Country Status (1)

Country Link
CN (1) CN114220087A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973752A (zh) * 2022-04-06 2022-08-30 深圳一清创新科技有限公司 车牌与车位编号关联方法、装置、智能车和可读存储介质
CN115690767A (zh) * 2022-10-26 2023-02-03 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973752A (zh) * 2022-04-06 2022-08-30 深圳一清创新科技有限公司 车牌与车位编号关联方法、装置、智能车和可读存储介质
CN114973752B (zh) * 2022-04-06 2023-12-22 深圳一清创新科技有限公司 车牌与车位编号关联方法、装置、智能车和可读存储介质
CN115690767A (zh) * 2022-10-26 2023-02-03 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质
CN115690767B (zh) * 2022-10-26 2023-08-22 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质

Similar Documents

Publication Publication Date Title
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN114220087A (zh) 一种车牌检测方法、车牌检测器及相关设备
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN110826415A (zh) 一种场景图像中车辆的重识别方法及设备
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN114639042A (zh) 基于改进CenterNet骨干网络的视频目标检测算法
CN111539907A (zh) 用于目标检测的图像处理方法及装置
CN111062347B (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN116912517B (zh) 相机视野边界的检测方法及装置
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN113538523B (zh) 车位检测跟踪方法、电子设备及车辆
CN111723614A (zh) 交通信号灯识别方法及装置
CN114332814A (zh) 一种停车框识别方法、装置、电子设备及存储介质
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN114567798A (zh) 一种针对互联网短视频变种的溯源方法
CN114255450A (zh) 一种基于前向全景图像的近场车辆加塞行为预测方法
CN116612385B (zh) 基于深度高分辨率关系图卷积的遥感影像多类信息提取方法与系统
CN117788786A (zh) 目标检测模型的训练方法、目标检测方法、设备及介质
Winterlich et al. An oriented gradient based image quality metric for pedestrian detection performance evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination