CN112329776B - 基于改进CenterNet网络的车牌检测方法及装置 - Google Patents

基于改进CenterNet网络的车牌检测方法及装置 Download PDF

Info

Publication number
CN112329776B
CN112329776B CN202011408838.6A CN202011408838A CN112329776B CN 112329776 B CN112329776 B CN 112329776B CN 202011408838 A CN202011408838 A CN 202011408838A CN 112329776 B CN112329776 B CN 112329776B
Authority
CN
China
Prior art keywords
license plate
region
plate region
area
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011408838.6A
Other languages
English (en)
Other versions
CN112329776A (zh
Inventor
李文杰
班华忠
王正
崔凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Icetech Science & Technology Co ltd
Original Assignee
Beijing Icetech Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Icetech Science & Technology Co ltd filed Critical Beijing Icetech Science & Technology Co ltd
Priority to CN202011408838.6A priority Critical patent/CN112329776B/zh
Publication of CN112329776A publication Critical patent/CN112329776A/zh
Application granted granted Critical
Publication of CN112329776B publication Critical patent/CN112329776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明提供了基于改进CenterNet网络的车牌检测方法，该方法包括：输入或者采集视频图像；对视频图像进行车辆检测，获取车辆检测区域；对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出。与现有技术相比，本发明能快速地进行车牌检测，且检测准确率高。

Description

基于改进CenterNet网络的车牌检测方法及装置
技术领域
本发明涉及图像处理、智慧停车、车牌识别，特别涉及基于改进CenterNet网络的车牌检测方法及装置。
背景技术
车牌区域随着城市的日益现代化，机动车的保有量持续增加，智能交通系统发挥着越来越重要的作用。不论是当今各种交通场合，还是公共安全管理系统，抑或未来无人汽车、无人驾驶领域，车牌检测系统都是一个不可或缺的过程，给城市健康有序管理带来了诸多便捷。
现有的车牌检测方法主要包括：(1)基于传统方案的车牌检测方法，例如基于梯度的车牌检测方法、基于颜色空间的车牌检测方法，这类方法检测速度快，但存在车牌误检过多、车牌位置检测不准确，对污损车牌、遮挡车牌检测效果较差等问题；(2)基于深度学习网络的车牌检测方法，这类方法检测准确率高，但为了解决不同国家或地区的车牌样式差异过大的问题，需要去匹配不同样式的车牌，而且往往需要较大的计算量和结构设计去适配车牌的各个尺寸，因此计算量极大，且存在较多的无效区域，从而浪费运算资源。
综上所述，目前迫切需要提出一种减少计算量、节省运算资源的基于改进CenterNet网络的车牌检测方法。
发明内容
有鉴于此，本发明的主要目的在于快速实现车牌检测，且检测准确率较高。
为达到上述目的，按照本发明的第一个方面，提供了基于改进CenterNet网络的车牌检测方法，该方法包括：
第一步骤，输入或者采集视频图像；
第二步骤，对视频图像进行车辆检测，获取车辆检测区域；
第三步骤，对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；
第四步骤，基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；
第五步骤，将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出。
其中，所述第三步骤中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32(像素)的k倍，k表示缩放倍数。
进一步地，所述第四步骤包括：
CenterNet网络结构改进步骤，输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；
改进CenterNet网络训练和识别步骤，当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αLHM+βLREG+γLHW+ηLPTS+λLAngle，获得车牌检测网络，其中LHM、LREG、LHW、LPTS、LAngle分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为LHM、LREG、LHW、LPTS、LAngle对应的权重；
车牌检测信息输出步骤，当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度。
进一步地，所述CenterNet网络结构改进步骤中可以使用参考论文中描述的方法，将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θx＝arctan[(Δy3-Δy4)/(Δx3-Δx4)]，计算车牌区域垂直倾斜角度θy＝arctan[(Δx1-Δx4)/(Δy1-Δy4)]；将参考论文中的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框。其中，所述车牌区域尺寸包括车牌区域的宽度和高度。
进一步地，所述轻量级骨干网络包括以下的一种：mobilenet系列(例如V1-V3)、shufflenet系列(例如V1-V2)、squeezenet。示例性地，选择mobilenet V2作为CenterNet框架下的主干网络。
进一步地，改进CenterNet网络训练和识别步骤中车牌矩形框宽高损失LHW是将参考论文中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高。
进一步地，所述车牌矩形框宽高损失LHW采用公式计算得到，其中其中N为图像中车牌区域的个数，bi、bi gt分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρi 2表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dci 2为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,wi gt、hi gt、wi、hi分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，Bi、Bi gt分别为第i个车牌区域的预测矩形框和真实矩形框。
所述车牌角点相对于车牌矩形框中心点偏移损失LPTS采用公式计算得到，其中pijx、pijy分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，cix、ciy分别为真实的第i个车牌区域中心点的横坐标、纵坐标，/>分别为预测的第i个车牌区域对应的第j个角点的横坐标、纵坐标，/>分别为预测的第i个车牌区域中心点的横坐标、纵坐标，N为图像中车牌区域的个数。
所述车牌矩形框倾斜角度损失LAngle采用公式计算得到，其中θix、θiy分别为真实的第i个车牌区域的水平倾斜角度和垂直倾斜角度，/>分别为预测的第i个车牌区域的水平倾斜角度和垂直倾斜角度。
进一步地，所述第五步骤包括：对于第i个车牌区域，将车牌区域中心点坐标Ci(x,y)乘以下采样率r，以获得视频图像中对应的车牌区域的中心点坐标Ci′(x×r,y×r)；将车牌区域宽度Wi和高度Hi乘以下采样率r，以获得视频图像中对应的车牌区域的宽度Wi′＝r×Wi和高度Hi′＝r×Hi；分别将将车牌区域的4个角点坐标pi1(x,y)、pi2(x,y)、pi3(x,y)、pi4(x,y)，乘以下采样率r，以获得视频图像中对应的车牌区域的4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)；将车牌垂直倾斜角度θiy和水平倾斜角度θix作为视频图像中对应的车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix，即θ′iy＝θiy，θ′ix＝θix；根据视频图像中第i个车牌区域的中心点坐标Ci′(x×r,y×r)、车牌区域宽度Wi′和高度Hi′、车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix、以及4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)，获取视频图像中第i个车牌区域；输出视频图像中所有的车牌区域。
按照本发明的另一个方面，提供了基于改进CenterNet网络的车牌检测装置，该装置包括：
图像输入或采集模块，用于输入或者采集视频图像；
车辆检测模块，用于对视频图像进行车辆检测，获取车辆检测区域；
车辆检测区域外扩和缩放模块，用于对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；
改进CenterNet网络训练或检测模块，用于基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；
车牌区域映射模块，用于将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出。
其中，所述车辆检测区域外扩和缩放模块中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32(像素)的k倍，k表示缩放倍数。
进一步地，所述改进CenterNet网络训练或检测模块包括：
CenterNet网络结构改进模块，用于输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；
改进CenterNet网络训练和识别模块，用于当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αLHM+βLREG+γLHW+ηLPTS+λLAngle，获得车牌检测网络，其中LHM、LREG、LHW、LPTS、LAngle分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为LHM、LREG、LHW、LPTS、LAngle对应的权重；
车牌检测信息输出模块，用于当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度。
进一步地，所述CenterNet网络结构改进模块中将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θx＝arctan[Δy3-Δy4)/(Δx3-Δx4)]，计算车牌区域垂直倾斜角度θy＝arctan[Δx1-Δx4)/(Δy1-Δy4)]；将CenterNet网络的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框。其中，所述车牌区域尺寸包括车牌区域的宽度和高度。
所述改进CenterNet网络训练模块中车牌矩形框中心点损失LHM和车牌矩形框中心点偏移损失LREG可以通过参考论文中描述的方法获得；所述车牌矩形框宽高损失LHW是将参考论文中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高。
进一步地，所述车牌矩形框宽高损失LHW采用公式计算得到，其中其中N为图像中车牌区域的个数，bi、bi gt分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρi 2表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dci 2为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,wi gt、hi gt、wi、hi分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，Bi、Bi gt分别为第i个车牌区域的预测矩形框和真实矩形框。
所述车牌角点相对于车牌矩形框中心点偏移损失LPTS采用公式计算得到，其中pijx、pijy分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，cix、ciy分别为真实的第i个车牌区域中心点的横坐标、纵坐标，/>分别为预测的第i个车牌区域对应的第j个角点的横坐标、纵坐标，/>分别为预测的第i个车牌区域中心点的横坐标、纵坐标，N为图像中车牌区域的个数。
所述车牌矩形框倾斜角度损失LAngle采用公式计算得到，其中θix、θiy分别为真实的第i个车牌区域的水平倾斜角度和垂直倾斜角度，/>分别为预测的第i个车牌区域的水平倾斜角度和垂直倾斜角度。
进一步地，所述车牌区域映射模块包括：用于对于第i个车牌区域，将车牌区域中心点坐标Ci(x,y)乘以下采样率r，以获得视频图像中对应的车牌区域的中心点坐标Ci′(x×r,y×r)；将车牌区域宽度Wi和高度Hi乘以下采样率r，以获得视频图像中对应的车牌区域的宽度Wi′＝r×Wi和高度Hi′＝r×Hi；分别将将车牌区域的4个角点坐标pi1(x,y)、pi2(x,y)、pi3(x,y)、pi4(x,y)，乘以下采样率r，以获得视频图像中对应的车牌区域的4个角点坐标p′i1(x×r，y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)；将车牌垂直倾斜角度θiy和水平倾斜角度θix作为视频图像中对应的车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix，即θ′iy＝θiy，θ′ix＝θix；根据视频图像中第i个车牌区域的中心点坐标Ci′(x×r,y×r)、车牌区域宽度Wi′和高度Hi′、车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix、以及4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)，获取视频图像中第i个车牌区域；输出视频图像中所有的车牌区域。
与现有的车牌检测技术相比，本发明的基于改进CenterNet网络的车牌检测方法及装置具有以下优点：(1)采用车辆检测和车牌检测的结合，能有效降低车牌误检提升车牌检测效果；(2)将车辆检测区域外扩正方形后缩放到固定尺寸，降低深度学习模型算力要求，确保应用中在某个范围内具有检测效果；(3)采用改进CenterNet网络对车牌进行检测，能同时输出车牌四个角点和车牌倾斜角度，适用有无角点的车牌样式，并且便于后续车牌矫正并提升识别效果。
附图说明
图1示出了按照本发明的基于改进CenterNet网络的车牌检测方法的流程图。
图2示出了按照本发明的基于改进CenterNet网络的车牌检测装置的框架图。
具体实施方式
为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的基于改进CenterNet网络的车牌检测方法的流程图。如图1所示，按照本发明的基于改进CenterNet网络的车牌检测方法包括：
第一步骤S1，输入或者采集视频图像；
第二步骤S2，对视频图像进行车辆检测，获取车辆检测区域；
第三步骤S3，对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；
第四步骤S4，基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；
第五步骤S5，将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出。
其中，所述第二步骤S2中车辆检测可以采用现有的车辆检测方法，从视频图像中检测出车辆区域，包括但不限于以下一种或者多种方法的组合：基于背景建模的车辆检测、基于帧差法的车辆检测、基于光流法的车辆检测、基于分类器的车辆检测、基于神经网络的车辆检测。示例性地，采用基于神经网络的车辆检测方法，从视频图像中获取一个或者多个车辆检测区域RV(xi,yi,wi,hi)，其中i表示第i个车辆检测区域，xi和yi分别表示第i个车辆检测区域RV(xi,yi,wi,hi)左上角点的横坐标和纵坐标，wi和hi分别表示第i个车辆检测区域RV(xi,yi,wi,hi)的宽度和高度，i∈[1,N]，N为视频图像中获取的车辆检测区域的个数。
其中，所述第三步骤S3中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32(像素)的k倍，k表示缩放倍数。
进一步地，所述第三步骤S3包括：对于车辆检测区域RV(xi,yi,wi,hi)，如果宽度wi大于高度hi，将车辆检测区域的下边界向下进行外扩，如果高度hi大于宽度，将车辆检测区域的右边界向右进行外扩，扩充成宽度与高度大小相同，外扩的区域用0填充，以获得外扩后的正方形的车辆检测区域RV′(xi,yi,wi,hi)；对外扩后的正方形的车辆检测区域RV′(xi,yi,wi,hi)进行缩放，缩放到宽度和高度为32(像素)的k倍，以获得固定尺度的车辆检测区域RV″(xi,yi,wi,hi)。其中，k的取值范围为3～6。示例性地，当k为5时，固定尺度的车辆检测区域RV″(xi,yi,wi,hi)的宽度和高度为32(像素)×5＝160(像素)。
其中，所述第四步骤S4中CenterNet网络为参考论文“Objects as Points,Zhou,Xingyi，Wang,Dequan，Krhenbühl,Philipp,Computer Vision and Pattern Recognition2019”(以下简称参考论文)中提出的一种深度学习网络。CenterNet网络采用四元组——中心点、中心点偏移、区域的宽度和高度——来实现对车牌区域的检测识别，其效果逼近以高准确度著称的两阶段网络中最好的检测数据，然而CenterNet网络存在检测速度非常慢，每秒约3帧的缺陷。
进一步地，所述第四步骤S4包括：
CenterNet网络结构改进步骤S41，输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；
改进CenterNet网络训练和识别步骤S42，当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αLHM+βLREG+γLHW+ηLPTS+λLAngle，获得车牌检测网络，其中LHM、LREG、LHW、LPTS、LAngle分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为LHM、LREG、LHW、LPTS、LAngle对应的权重；
车牌检测信息输出步骤S43，当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度。
进一步地，所述CenterNet网络结构改进步骤S41中将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θx＝arctan[Δy3-Δy4)/(Δx3-Δx4)]，计算车牌区域垂直倾斜角度θy＝arctan[Δx1-Δx4)/(Δy1-Δy4)]；将CenterNet网络中的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框。其中，所述车牌区域尺寸包括车牌区域的宽度和高度。
进一步地，所述轻量级骨干网络包括以下的一种：mobilenet系列(例如V1-V3)、shufflenet系列(例如V1-V2)、squeezenet。示例性地，选择mobilenet V2作为CenterNet框架下的主干网络。
与CenterNet网络相比，所述改进的CenterNet网络有以下优点：(1)与传统的CenterNet车牌区域检测框架常采用ResNet、DLA、Hourglass等作为主干网络(Backbone)不同，改进的CenterNet网络采用轻量级骨干网络作为主干网络(Backbone)进行车牌特性的特征图计算，具有较少的参数量和计算量低的优点，能够降低资源消耗和耗时；(2)增加单阶段无头检测模块，能够提升网络的有效感受野和特征表达能力；(3)增加角点和车牌倾斜角度输出，以满足有无角点车牌的情况。
所述改进CenterNet网络训练步骤S42中车牌矩形框中心点损失LHM和车牌矩形框中心点偏移损失LREG可以通过参考论文中描述的方法获得。
所述车牌矩形框宽高损失LHW是将CenterNet网络中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高。
进一步地，所述车牌矩形框宽高损失LHW采用公式计算得到，其中其中N为图像中车牌区域的个数，bi、bi gt分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρi 2表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dci 2为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,wi gt、hi gt、wi、hi分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，Bi、Bi gt分别为第i个车牌区域的预测矩形框和真实矩形框。
所述车牌角点相对于车牌矩形框中心点偏移损失LPTS采用公式计算得到，其中pijx、pijy分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，cix、ciy分别为真实的第i个车牌区域中心点的横坐标、纵坐标，/>分别为预测的第i个车牌区域对应的第j个角点的横坐标、纵坐标，/>分别为预测的第i个车牌区域中心点的横坐标、纵坐标，N为图像中车牌区域的个数。
所述车牌矩形框倾斜角度损失LAngle采用公式计算得到，其中θix、θiy分别为真实的第i个车牌区域的水平倾斜角度和垂直倾斜角度，/>分别为预测的第i个车牌区域的水平倾斜角度和垂直倾斜角度。
所述权重α、β、γ、η、λ通过人为设定，取值范围为0～10。示例性地，所述权重α、β、γ、η、λ分别选为1、1、0.1、1、1。
进一步地，所述第五步骤S5包括：对于第i个车牌区域，将车牌区域中心点坐标Ci(x,y)乘以下采样率r，以获得视频图像中对应的车牌区域的中心点坐标Ci′(x×r,y×r)；将车牌区域宽度Wi和高度Hi乘以下采样率r，以获得视频图像中对应的车牌区域的宽度Wi′＝r×Wi和高度Hi′＝r×Hi；分别将将车牌区域的4个角点坐标pi1(x,y)、pi2(x,y)、pi3(x,y)、pi4(x,y)，乘以下采样率r，以获得视频图像中对应的车牌区域的4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)；将车牌垂直倾斜角度θiy和水平倾斜角度θix作为视频图像中对应的车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix，即θ′iy＝θiy，θ′ix＝θix；根据视频图像中第i个车牌区域的中心点坐标Ci′(x×r,y×r)、车牌区域宽度Wi′和高度Hi′、车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix、以及4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)，获取视频图像中第i个车牌区域；输出视频图像中所有的车牌区域。其中，所述下采样率r为8。
图2给出了按照本发明的基于改进CenterNet网络的车牌检测装置的框架图。如图2所示，按照本发明的基于改进CenterNet网络的车牌检测装置包括：
图像输入或采集模块1，用于输入或者采集视频图像；
车辆检测模块2，用于对视频图像进行车辆检测，获取车辆检测区域；
车辆检测区域外扩和缩放模块3，用于对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；
改进CenterNet网络训练或检测模块4，用于基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；
车牌区域映射模块5，用于将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出。
其中，所述车辆检测区域外扩和缩放模块3中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32(像素)的k倍，k表示缩放倍数。
进一步地，所述车辆检测区域外扩和缩放模块3包括：用于对于车辆检测区域RV(xi,yi,wi,hi)，如果宽度wi大于高度hi，将车辆检测区域的下边界向下进行外扩，如果高度hi大于宽度，将车辆检测区域的右边界向右进行外扩，扩充成宽度与高度大小相同，外扩的区域用0填充，以获得外扩后的正方形的车辆检测区域RV′(xi,yi,wi,hi)；对外扩后的正方形的车辆检测区域RV′(xi,yi,wi,hi)进行缩放，缩放到宽度和高度为32(像素)的k倍，以获得固定尺度的车辆检测区域RV″(xi,yi,wi,hi)。其中，k的取值范围为3～6。
其中，所述改进CenterNet网络训练或检测模块4中参考论文“Objects asPoints,Zhou,Xingyi，Wang,Dequan，Krhenbühl,Philipp,Computer Vision and PatternRecognition 2019”中提出的一种深度学习网络。
进一步地，所述改进CenterNet网络训练或检测模块4包括：
CenterNet网络结构改进模块41，用于输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；
改进CenterNet网络训练和识别模块42，用于当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αLHM+βLREG+γLHW+ηLPTS+λLAng，获得车牌检测网络，其中LHM、LREG、LHW、LPTS、LAngle分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为LHM、LREG、LHW、LPTS、LAngle对应的权重；
车牌检测信息输出模块43，用于当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度。
进一步地，所述CenterNet网络结构改进模块41中将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θx＝arctan[Δy3-Δy4)/(Δx3-Δx4)]，计算车牌区域垂直倾斜角度θy＝arctan[(Δx1-Δx4)/(Δy1-Δy4)]；将CenterNet网络的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框。其中，所述车牌区域尺寸包括车牌区域的宽度和高度。
进一步地，所述轻量级骨干网络包括以下的一种：mobilenet系列(例如V1-V3)、shufflenet系列(例如V1-V2)、squeezenet。示例性地，选择mobilenet V2作为CenterNet框架下的主干网络。
所述改进CenterNet网络训练模块42中车牌矩形框中心点损失LHM和车牌矩形框中心点偏移损失LREG可以通过参考论文中描述的方法获得。
所述车牌矩形框宽高损失LHW是将参考论文中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高。
进一步地，所述车牌矩形框宽高损失LHW采用公式计算得到，其中其中N为图像中车牌区域的个数，bi、bi gt分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρi 2表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dci 2为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,wi gt、hi gt、wi、hi分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，Bi、Bi gt分别为第i个车牌区域的预测矩形框和真实矩形框。
所述车牌角点相对于车牌矩形框中心点偏移损失LPTS采用公式计算得到，其中pijx、pijy分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，cix、ciy分别为真实的第i个车牌区域中心点的横坐标、纵坐标，/>分别为预测的第i个车牌区域对应的第j个角点的横坐标、纵坐标，/>分别为预测的第i个车牌区域中心点的横坐标、纵坐标，N为图像中车牌区域的个数。
所述车牌矩形框倾斜角度损失LAngle采用公式计算得到，其中θix、θiy分别为真实的第i个车牌区域的水平倾斜角度和垂直倾斜角度，/>分别为预测的第i个车牌区域的水平倾斜角度和垂直倾斜角度。
所述权重α、β、γ、η、λ通过人为设定，取值范围为0～10。
进一步地，所述车牌区域映射模块5包括：用于对于第i个车牌区域，将车牌区域中心点坐标Ci(x,y)乘以下采样率r，以获得视频图像中对应的车牌区域的中心点坐标Ci′(x×r,y×r)；将车牌区域宽度Wi和高度Hi乘以下采样率r，以获得视频图像中对应的车牌区域的宽度Wi′＝r×Wi和高度Hi′＝r×Hi；分别将将车牌区域的4个角点坐标pi1(x,y)、pi2(x,y)、pi3(x,y)、pi4(x,y)，乘以下采样率r，以获得视频图像中对应的车牌区域的4个角点坐标p′i1(x×r，y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)；将车牌垂直倾斜角度θiy和水平倾斜角度θix作为视频图像中对应的车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix，即θ′iy＝θiy，θ′ix＝θix；根据视频图像中第i个车牌区域的中心点坐标Ci′(x×r,y×r)、车牌区域宽度Wi′和高度Hi′、车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix、以及4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)，获取视频图像中第i个车牌区域；输出视频图像中所有的车牌区域。其中，所述下采样率r为8。
与现有的车牌检测技术相比，本发明的基于改进CenterNet网络的车牌检测方法及装置具有以下优点：(1)采用车辆检测和车牌检测的结合，能有效降低车牌误检提升车牌检测效果；(2)将车辆检测区域外扩正方形后缩放到固定尺寸，降低深度学习模型算力要求，确保应用中在某个范围内具有检测效果；(3)采用改进CenterNet网络对车牌进行检测，能同时输出车牌四个角点和车牌倾斜角度，适用有无角点的车牌样式，并且便于后续车牌矫正并提升识别效果。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (12)

1.基于改进CenterNet网络的车牌检测方法，其特征在于，该方法包括：
第一步骤，输入或者采集视频图像；
第二步骤，对视频图像进行车辆检测，获取车辆检测区域；
第三步骤，对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；
第四步骤，基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；
第五步骤，将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出；
其中，所述第三步骤中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32像素的k倍，k表示缩放倍数。
2.如权利要求1所述的方法，其特征在于，所述第四步骤包括：
CenterNet网络结构改进步骤，输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；
改进CenterNet网络训练和识别步骤，当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αLHM+βLREG+γLHW+ηLPTS+λLAngle，获得车牌检测网络，其中LHM、LREG、LHW、LPTS、LAngle分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为LHM、LREG、LHW、LPTS、LAngle对应的权重；
车牌检测信息输出步骤，当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度；
其中，CenterNet网络为参考论文“Objects as Points,Zhou,Xingyi，Wang,Dequan，Krhenbühl,Philipp,Computer Vision and Pattern Recognition 2019”中提出的一种深度学习网络。
3.如权利要求2所述的方法，其特征在于，所述CenterNet网络结构改进步骤中将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θx＝arctan[(Δy3-Δy4)/(Δx3-Δx4)]，计算车牌区域垂直倾斜角度θy＝arctan[(Δx1-Δx4)/(Δy1-Δy4)]；将CenterNet网络中的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框；其中，所述车牌区域尺寸包括车牌区域的宽度和高度。
4.如权利要求2所述的方法，其特征在于，所述轻量级骨干网络包括以下的一种：mobilenet系列V1-V3、shufflenet系列V1-V2、squeezenet。
5.如权利要求2所述的方法，其特征在于，所述改进CenterNet网络训练和识别步骤中车牌矩形框中心点损失LHM和车牌矩形框中心点偏移损失LREG通过参考论文中描述的方法获得；车牌矩形框宽高损失LHW是将参考论文中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高；
进一步地，所述车牌矩形框宽高损失LHW采用公式计算得到，其中其中N为图像中车牌区域的个数，bi、bi gt分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρi 2表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dci 2为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,wi gt、hi gt、wi、hi分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，Bi、Bi gt分别为第i个车牌区域的预测矩形框和真实矩形框；
所述车牌角点相对于车牌矩形框中心点偏移损失LPTS采用公式计算得到，其中pijx、pijy分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，cix、ciy分别为真实的第i个车牌区域中心点的横坐标、纵坐标，/>分别为预测的第i个车牌区域对应的第j个角点的横坐标、纵坐标，/>分别为预测的第i个车牌区域中心点的横坐标、纵坐标，N为图像中车牌区域的个数；
所述车牌矩形框倾斜角度损失LAngle采用公式计算得到，其中θix、θiy分别为真实的第i个车牌区域的水平倾斜角度和垂直倾斜角度，/>分别为预测的第i个车牌区域的水平倾斜角度和垂直倾斜角度。
6.如权利要求2所述的方法，其特征在于，所述权重α、β、γ、η、λ取值范围为0～10。
7.如权利要求1所述的方法，其特征在于，所述第五步骤包括：对于第i个车牌区域，将车牌区域中心点坐标Ci(x,y)乘以下采样率r，以获得视频图像中对应的车牌区域的中心点坐标C′i(x×r,y×r)；将车牌区域宽度Wi和高度Hi乘以下采样率r，以获得视频图像中对应的车牌区域的宽度Wi′＝r×Wi和高度H′i＝r×Hi；分别将将车牌区域的4个角点坐标pi1(x,y)、pi2(x,y)、pi3(x,y)、pi4(x,y)，乘以下采样率r，以获得视频图像中对应的车牌区域的4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)；将车牌垂直倾斜角度θiy和水平倾斜角度θix作为视频图像中对应的车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix，即θ′iy＝θiy，θ′ix＝θix；根据视频图像中第i个车牌区域的中心点坐标C′i(x×r,y×r)、车牌区域宽度Wi′和高度Hi′、车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix、以及4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)，获取视频图像中第i个车牌区域；输出视频图像中所有的车牌区域；
其中，所述下采样率r为8。
8.基于改进CenterNet网络的车牌检测装置，其特征在于，该装置包括：
图像输入或采集模块，用于输入或者采集视频图像；
车辆检测模块，用于对视频图像进行车辆检测，获取车辆检测区域；
车辆检测区域外扩和缩放模块，用于对车辆检测区域进行外扩，外扩为正方形；
将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；
改进CenterNet网络训练或检测模块，用于基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；
车牌区域映射模块，用于将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出；
其中，车辆检测区域外扩和缩放模块中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32像素的k倍，k表示缩放倍数。
9.如权利要求8所述的装置，其特征在于，所述改进CenterNet网络训练或检测模块包括：
CenterNet网络结构改进模块，用于输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；
改进CenterNet网络训练和识别模块，用于当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αLHM+βLREG+γLHW+ηLPTS+λLAngle，获得车牌检测网络，其中LHM、LREG、LHW、LPTS、LAngle分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为LHM、LREG、LHW、LPTS、LAngle对应的权重；
车牌检测信息输出模块，用于当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度；
其中，CenterNet网络为参考论文“Objects as Points,Zhou,Xingyi，Wang,Dequan，Krhenbühl,Philipp,Computer Vision and Pattern Recognition 2019”中提出的一种深度学习网络。
10.如权利要求9所述的装置，其特征在于，所述CenterNet网络结构改进模块中将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θx＝arctan[(Δy3-Δy4)/(Δx3-Δx4)]，计算车牌区域垂直倾斜角度θy＝arctan[(Δx1-Δx4)/(Δy1-Δy4)]；将CenterNet网络的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框；其中，所述车牌区域尺寸包括车牌区域的宽度和高度。
11.如权利要求9所述的装置，其特征在于，所述改进CenterNet网络训练模块中车牌矩形框中心点损失LHM和车牌矩形框中心点偏移损失LREG通过参考论文中描述的方法获得；所述车牌矩形框宽高损失LHW是将参考论文中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高；
所述车牌矩形框宽高损失LHW采用公式计算得到，其中其中N为图像中车牌区域的个数，bi、bi gt分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρi 2表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dci 2为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,wi gt、hi gt、wi、hi分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，Bi、Bi gt分别为第i个车牌区域的预测矩形框和真实矩形框；
所述车牌角点相对于车牌矩形框中心点偏移损失LPTS采用公式计算得到，其中pijx、pijy分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，cix、ciy分别为真实的第i个车牌区域中心点的横坐标、纵坐标，/>分别为预测的第i个车牌区域对应的第j个角点的横坐标、纵坐标，/>分别为预测的第i个车牌区域中心点的横坐标、纵坐标，N为图像中车牌区域的个数；
所述车牌矩形框倾斜角度损失LAngle采用公式计算得到，其中θix、θiy分别为真实的第i个车牌区域的水平倾斜角度和垂直倾斜角度，/>分别为预测的第i个车牌区域的水平倾斜角度和垂直倾斜角度。
12.如权利要求9所述的装置，其特征在于，所述车牌区域映射模块包括：用于对于第i个车牌区域，将车牌区域中心点坐标Ci(x,y)乘以下采样率r，以获得视频图像中对应的车牌区域的中心点坐标C′i(x×r,y×r)；将车牌区域宽度Wi和高度Hi乘以下采样率r，以获得视频图像中对应的车牌区域的宽度Wi′＝r×Wi和高度H′i＝r×Hi；分别将将车牌区域的4个角点坐标pi1(x,y)、pi2(x,y)、pi3(x,y)、pi4(x,y)，乘以下采样率r，以获得视频图像中对应的车牌区域的4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)；将车牌垂直倾斜角度θiy和水平倾斜角度θix作为视频图像中对应的车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix，即θ′iy＝θiy，θ′ix＝θix；根据视频图像中第i个车牌区域的中心点坐标C′i(x×r,y×r)、车牌区域宽度Wi′和高度Hi′、车牌区域的垂直倾斜角度θ′iy和水平倾斜角度θ′ix、以及4个角点坐标p′i1(x×r,y×r)、p′i2(x×r,y×r)、p′i3(x×r,y×r)、p′i4(x×r,y×r)，获取视频图像中第i个车牌区域；输出视频图像中所有的车牌区域；
其中，所述下采样率r为8。
CN202011408838.6A 2020-12-03 2020-12-03 基于改进CenterNet网络的车牌检测方法及装置 Active CN112329776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011408838.6A CN112329776B (zh) 2020-12-03 2020-12-03 基于改进CenterNet网络的车牌检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011408838.6A CN112329776B (zh) 2020-12-03 2020-12-03 基于改进CenterNet网络的车牌检测方法及装置

Publications (2)

Publication Number Publication Date
CN112329776A CN112329776A (zh) 2021-02-05
CN112329776B true CN112329776B (zh) 2023-10-27

Family

ID=74302411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011408838.6A Active CN112329776B (zh) 2020-12-03 2020-12-03 基于改进CenterNet网络的车牌检测方法及装置

Country Status (1)

Country Link
CN (1) CN112329776B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990198B (zh) * 2021-03-22 2023-04-07 华南理工大学 一种用于水表读数的检测识别方法、系统及存储介质
CN113033470A (zh) * 2021-04-14 2021-06-25 浙江工业大学 一种轻量型目标检测方法
CN113432709B (zh) * 2021-06-25 2023-08-08 湖南工业大学 一种基于图形学的可视化机械故障诊断方法
CN113642558A (zh) * 2021-08-16 2021-11-12 云南电网有限责任公司电力科学研究院 耐张线夹压接缺陷的x射线图像识别方法及装置
CN113808170B (zh) * 2021-09-24 2023-06-27 电子科技大学长三角研究院(湖州) 一种基于深度学习的反无人机跟踪方法
CN114842465A (zh) * 2022-06-06 2022-08-02 阿波罗智联(北京)科技有限公司 车牌检测方法、装置、电子设备、介质及智能交通设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271984A (zh) * 2018-07-24 2019-01-25 广东工业大学 一种基于深度学习的多方位车牌定位方法
CN110969160A (zh) * 2019-11-21 2020-04-07 合肥工业大学 一种基于深度学习的车牌图像校正、识别方法及系统
CN111582213A (zh) * 2020-05-15 2020-08-25 北京铁科时代科技有限公司 一种基于Centernet的汽车识别方法
CN112016449A (zh) * 2020-08-27 2020-12-01 西华大学 一种基于深度学习的车辆识别与检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI677826B (zh) * 2018-09-19 2019-11-21 國家中山科學研究院 車牌辨識系統與方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271984A (zh) * 2018-07-24 2019-01-25 广东工业大学 一种基于深度学习的多方位车牌定位方法
CN110969160A (zh) * 2019-11-21 2020-04-07 合肥工业大学 一种基于深度学习的车牌图像校正、识别方法及系统
CN111582213A (zh) * 2020-05-15 2020-08-25 北京铁科时代科技有限公司 一种基于Centernet的汽车识别方法
CN112016449A (zh) * 2020-08-27 2020-12-01 西华大学 一种基于深度学习的车辆识别与检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于RetinaNet改进的车辆信息检测;刘革;郑叶龙;赵美蓉;;计算机应用(第03期);全文 *

Also Published As

Publication number Publication date
CN112329776A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329776B (zh) 基于改进CenterNet网络的车牌检测方法及装置
CN110020651B (zh) 基于深度学习网络的车牌检测定位方法
CN112069944B (zh) 一种道路拥堵等级确定方法
CN109035292B (zh) 基于深度学习的运动目标检测方法及装置
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN104239867A (zh) 车牌定位方法及系统
CN103530640B (zh) 基于AdaBoost与SVM的无牌车辆检测方法
Yang et al. A vehicle license plate recognition system based on fixed color collocation
CN109685827B (zh) 一种基于dsp的目标检测与跟踪方法
Xiang et al. Lightweight fully convolutional network for license plate detection
CN111444778A (zh) 一种车道线检测方法
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
KR20140148171A (ko) 지능형 차량의 차선 검출방법
JPH08233525A (ja) 車種判別装置
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN113762134A (zh) 基于视觉的汽车泊车中周围障碍物的检测方法
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN113392817A (zh) 一种基于多列卷积神经网络的车辆密度估计的方法及装置
Yao et al. A real-time pedestrian counting system based on rgb-d
JP3254464B2 (ja) 車輌認識装置と移動体認識方法
CN110210324B (zh) 一种道路目标快速检测预警方法和系统
CN106780541A (zh) 一种改进的背景减除方法
CN106874897A (zh) 一种车牌识别方法和装置
CN106023270A (zh) 一种基于局部对称特征的视频车辆检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant