CN113628206B - 一种车牌检测方法、装置、介质 - Google Patents
一种车牌检测方法、装置、介质 Download PDFInfo
- Publication number
- CN113628206B CN113628206B CN202110983760.9A CN202110983760A CN113628206B CN 113628206 B CN113628206 B CN 113628206B CN 202110983760 A CN202110983760 A CN 202110983760A CN 113628206 B CN113628206 B CN 113628206B
- Authority
- CN
- China
- Prior art keywords
- license plate
- detection
- loss function
- target
- plate detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 236
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 48
- 238000003860 storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 8
- 239000002699 waste material Substances 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种车牌检测方法、装置、介质，该车牌检测方法包括：当检测到车辆通过时，从摄像机处获得用于检测车牌的待检测图片，调用车牌检测模型对待检测图片进行处理，以获取车牌检测框，从而实现车牌的检测。其中，车牌检测模型是基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，车牌检测模型的主干是具有倒置残差结构的可分离卷积网络，是一种轻量级的网络，具有较高的实时性，可以部署在嵌入式平台或其他资源有限的平台中。通过采用本申请提供的车牌检测方法，可以实现利用车牌检测模型检测车牌的目的，且检测过程简单高效，减少人力物力的浪费，提高电动车监管效率。
Description
技术领域
本申请涉及机器学习领域，特别是涉及一种车牌检测方法、装置、介质。
背景技术
电动车具有极高的出行效率，根据中国自行车协会公布的数据，2019年中国电动车社会保有量已经接近3亿辆，位居世界第一。由于电动车的数量越来越多，闯红灯、随意停放、逆行、盗窃、肇事逃逸等现象也随之而来，造成了交通混乱。为了维护交通秩序，避免交通事故的发生，需要对电动车进行监管，记录违章电动车的牌照。目前主要依靠人工对电动车进行监管，需要人工记录牌照，效率低下，浪费大量人力物力。
由此可见，如何提高电动车监管效率，是研究人员亟需解决的问题。
发明内容
本申请的目的是提供一种车牌检测方法，用于提高电动车监管效率。
为解决上述技术问题，本申请提供一种车牌检测方法，包括：
获取车辆通过时的待检测图片；
调用车牌检测模型对所述待检测图片进行处理，以输出车牌区域的检测框；其中，所述车牌检测模型基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，并基于训练数据集进行训练；
获取所述检测框，以实现车牌的检测。
优选的，所述车辆检测模型获取所述车牌区域的所述检测框，包括：
获取所述车牌的检测特征和所述车牌的特征点的检测特征；
结合所述车牌的检测特征和分类损失函数，匹配类别置信度和位置置信度最高的样本；
获取所述车牌区域的预测框；
通过所述车牌的检测特征和所述特征点的检测特征计算多任务损失函数，利用所述多任务损失函数对所述预测框进行回归运算，获得所述检测框；
所述多任务损失函数的计算公式为Lall＝λclsLcls+λl1Ll1+λgiouLgiou+λlanLlan，其中Lcls为目标分类损失函数，Ll1为目标位置回归损失函数，Lgiou为目标定位损失函数，Llan为特征点定位损失函数，λcls为所述目标分类损失函数的权重，λl1为所述目标位置回归损失函数的权重，λgiou为所述目标定位损失函数的权重，λlan为所述特征点定位损失函数的权重。
优选的，所述获得所述检测框的步骤后，还包括：
通过所述特征点的检测特征对所述车牌区域进行仿射变换，对所述车牌区域进行矫正。
优选的，所述并基于训练数据集进行训练，包括：
使用随机梯度下降法对所述车牌检测模型的参数进行迭代更新。
优选的，所述车牌检测模型的训练过程包括：
选取包含车牌信息的图片作为训练样本，对所述训练样本中的所述车牌区域和所述特征点进行人工标注，获得初始训练数据集；
对所述初始训练数据集进行预处理，得到所述训练数据集。
优选的，所述调用车牌检测模型对所述待检测图片进行处理的步骤后，还包括：
检测所述待检测图片中是否存在车身和头盔。
优选的，所述车牌检测模型应用于嵌入式平台。
为了解决上述技术问题，本申请还提供一种车牌检测装置，包括：
获取模块：用于获取车辆通过时的待检测图片；
处理模块：用于调用车牌检测模型对所述待检测图片进行处理，以输出车牌区域的检测框；其中，所述车牌检测模型基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，并基于训练数据集进行训练；
检测模块：用于获取所述检测框，以实现车牌的检测。
为了解决上述技术问题，本申请还提供另一种车牌检测装置，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的车牌检测方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的车牌检测方法的步骤。
本申请提供了一种车牌检测方法、装置、介质，车牌检测方法包括：当检测到车辆通过时，从摄像机处获得用于检测车牌的待检测图片，调用车牌检测模型对待检测图片进行处理，以获取车牌检测框，从而实现车牌的检测。其中，车牌检测模型是基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，OneNet目标检测模型只匹配位置置信度和类别置信度最高的样本，无需设置大量候选框，能够提高检测效率；车牌检测模型的主干是具有倒置残差结构的可分离卷积网络，是一种轻量级的网络，具有较高的实时性，可以部署在嵌入式平台或其他资源有限的平台中。由此可见，通过采用本申请提供的车牌检测方法，可以实现利用车牌检测模型检测车牌的目的，且检测过程简单高效，减少人力物力的浪费，提高电动车监管效率。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车牌检测方法的流程图；
图2为本发明实施例提供的一种车牌检测装置的结构图；
图3为本发明实施例提供的另一种车牌检测装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种车牌检测方法、装置、介质，提高电动车监管效率，减少监管过程中人力物力的浪费。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图1为本发明实施例提供的一种车牌检测方法的流程图。如图1所示，该方法包括：
S10：获取车辆通过时的待检测图片。
在具体实施中，通过摄像头获取车辆通过时的待检测图片，可以理解的是，可以控制摄像头始终采集图片，并对检测到的图片进行初步检测，判断图片中出现车辆时才将对图片进行处理，也可以在检测到车辆通过时才控制摄像头采集图片。由于控制摄像头始终采集图片会造成电量的浪费，且对图片进行初步检测需要消耗大量的计算资源，所以本方案选用检测到车辆通过时采集图片的方法。
其中，检测车辆通过的方法有很多，本实施例以电动车为例，可以通过红外线检测模块检测是否有电动车通过，也可以通过红外温度传感器来检测是否有电动车通过，本方案对此不做限定。
S11：调用车牌检测模型对待检测图片进行处理，以输出车牌区域的检测框；其中，车牌检测模型基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，并基于训练数据集进行训练。
本实施例中，车牌检测模型以OneNet目标检测方法为基础，为了实现实时检测，使用轻量网络mobile_v2为主干网络。其中OneNet目标检测方法为一种端到端的目标检测方法，应用最小代价分配法作为分配策略，对于每个真值数据只匹配一个置信度最高的正样本，没有冗余的匹配框；mobile_v2网络为具有倒置残差结构的可分离卷积网络，倒置残差结构可以用于增加提取到的图像特征，使检测更加精确，可以理解的是，使用轻量网络作为主干网络，可以大大提高运行速度，从而提高检测效率，且对运行车辆检测模型的平台的要求较低，降低检测成本。
在本实施例中，调用车牌检测模型对待检测图片进行处理时，模型中的特征提取网络用于获取车牌的检测特征和车牌的特征点的检测特征，结合车牌的检测特征和分类损失函数，基于最小代价分配策略匹配类别置信度和位置置信度最高的样本，从而获取车牌区域的预测框，对预测框进行回归运算获得最终的检测框。
可以理解的是，上述待检测图片为当车辆通过时摄像头采集到的图片，其中包含车牌信息。
需要注意的是，还需要基于训练数据集对上述车牌检测模型进行训练，其中训练数据集为不同场景下拍摄，并对车牌和车牌特征点进行人工标注的电动车图片。在训练过程中，采用随机梯度下降法对车牌检测模型的参数进行迭代更新，直到车牌检测模型收敛为止。
S12：获取检测框，以实现车牌的检测。
本实施例中，车牌检测模型运行在计算机服务器或嵌入式平台上，具体实施过程中，上述模型部署在嵌入式平台上，可以降低成本，当车牌检测模型得到检测框后，嵌入式平台从模型处获取检测框，从而实现车牌的检测。
可以理解的是，上述检测模型还可以增加用于检测其他特征的检测模块，例如：车身和头盔，用于检测电动车车身是否经过改装，电动车驾驶员是否佩戴头盔。
在本实施例中提供了一种车牌检测方法包括：当检测到车辆通过时，从摄像机处获得用于检测车牌的待检测图片，调用车牌检测模型对待检测图片进行处理，以获取车牌检测框，从而实现车牌的检测。其中，车牌检测模型是基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，OneNet目标检测模型只匹配位置置信度和类别置信度最高的样本，无需设置大量候选框，能够提高检测效率；车牌检测模型的主干是具有倒置残差结构的可分离卷积网络，是一种轻量级的网络，具有较高的实时性，可以部署在嵌入式平台或其他资源有限的平台中。除此以外，本发明提供的车牌检测方法还可以用于检测头盔和车身，进一步降低成本。由此可见，通过采用本申请提供的车牌检测方法，可以实现利用车牌检测模型检测车牌的目的，且检测过程简单高效，减少人力物力的浪费，提高电动车监管效率。
在具体实施中，上述车辆检测模型需要获取车牌的检测特征，根据检测特征对目标进行分类，进而获得车牌区域的检测框，获得车牌区域的具体过程包括：
获取所述车牌的检测特征和所述车牌的特征点的检测特征；
结合所述车牌的检测特征和分类损失函数，匹配类别置信度和位置置信度最高的样本；
获取车牌区域的预测框；
通过车牌的检测特征和特征点的检测特征计算多任务损失函数，利用多任务损失函数对预测框进行回归运算，获得检测框；
所述多任务损失函数的计算公式为Lall＝λclsLcls+λl1Ll1+λgiouLgiou+λlanLlan，其中Lcls为目标分类损失函数，Ll1为目标位置回归损失函数，Lgiou为目标定位损失函数，Llan为特征点定位损失函数，λcls为所述目标分类损失函数的权重，λl1为所述目标位置回归损失函数的权重，λgiou为所述目标定位损失函数的权重，λlan为所述特征点定位损失函数的权重。
可以理解的是，图像中的每个元素都具有大量的特征，而本方案的目的是为了检测车牌的数字，所以只提取相关的检测特征，忽略其他特征，从而降低计算量，提高模型的检测效率，还可以减少噪声信号的干扰。其中，置信度最高的样本即为损失函数值最小的样本。
在本实施例中，首先利用特征检测网络对包含车牌信息的待检测图片进行特征提取，需要注意的是，提取车牌的检测特征的同时，还需要提取车牌上的特征点的检测特征，其中，车牌上的特征点指的是车牌上能够最大程度体现车牌特征的点和有助于确定车牌位置的点，例如车牌的中心点，角点。可以理解的是，上述预测框为车牌检测模型对待检测图片进行处理过程中，对每个数据真值进行样本匹配后获得的不够准确的检测框，主要用于确定车牌目标的大致位置。本发明采用最小代价分配策略，结合分类损失函数和车牌目标的检测特征对数据真值进行样本匹配，其中，匹配的样本为类别置信度与位置置信度最高的样本。
获取预测框后，还需要结合目标车牌的特征点的检测特征和多任务损失函数，对预测框进行回归运算，从而获取准确的检测框。在多任务损失函数中，各损失函数的计算方法为：
目标分类损失函数
目标位置回归损失函数
目标定位损失函数
特征点定位损失函数
其中，公式(1)中Yxyc为ground truth标注，
为网络输出的标签，N为样本个数。α用于处理正负样本不平衡的问题。γ用于降低简单样本的损失权重，增大困难样本的损失权重。公式(2)中Ll1为smooth损失函数，通过回归预测框中心坐标(cx,cy)和宽w以及高h，计算预测框和真实框之间的损失函数。公式(3)中Lgiou为giou损失函数，通过回归预测框中心坐标(cx,cy)和宽w以及高h，计算预测框和真实框之间的giou损失。公式(4)中Llan为特征点定位损失函数，以电动车牌四个顶点为例，通过回归电动车牌的四个顶点坐标(px1,py1,px2,py2)，计算预测四个顶点和真实四个顶点之间的分类损失。
在本实施例中，结合车牌的检测特征和车牌的特征点的检测特征，通过多任务损失函数，对预估的检测框进行回归操作，得到准确的检测框。使车牌检测更加准确，能够更好的完成监管电动车的工作。
在具体实施中，获得车牌区域的检测框后，还需要对车牌进行识别，但由于摄像头为固定机位的摄像头，拍摄到的待检测图片中的车牌区域可能已经发生形变，这会给后面的识别工作带来困难。在上述实施例的基础上，车牌检测方法在获得检测框的步骤后，还包括：
通过特征点的检测特征对车牌区域进行仿射变换，对车牌区域进行矫正。
仿射变换包括平移操作和线性映射操作，仿射变换保持了二维图形的“平直性”和“平行性”，即图像经过仿射变换后，原图像中的直线经依然为直线，且直线之间的相对位置关系保持不变；平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化。
在本实施例中，通过对待检测图片中车牌区域进行仿射变换，对车牌区域进行矫正，方便后续对车牌进行识别，提高车牌识别的准确性，减少人力物力的浪费，提高电动车监管效率。
在具体实施中，需要对车牌检测模型进行训练，以保证车牌检测模型能够更好的实现检测车牌的目的。在训练车辆检测模型时，需要确定合适的函数对模型中的参数进行迭代训练，例如：批量梯度下降算法(BGD)，随机梯度下降算法(SGD)；其中BGD采用整个训练集的数据来计算损失函数对参数的梯度，SGD在随机梯度下降的每次迭代中，随机均匀采样。相较于BGD一次用所有数据计算梯度，SGD每次更新时对采样的样本进行梯度更新。对于很大的数据集来说，可能会有相似的样本，这样BGD在计算梯度时会出现冗余。而SGD会进行更新，避免产生冗余的数据。
在本实施例中，为了使模型更稳定，减少计算的开销，上述车牌检测方法中车牌检测模型进行训练时还包括：
使用随机梯度下降法对车牌检测模型的参数进行迭代更新。即设置初始特征提取网络模型的优化函数为随机梯度下降函数，使用随机梯度下降方法对模型参数进行迭代更新，直到模型收敛为止，得到特征提取网络模型。
本实施例中使用随机梯度下降法(SGD)对模型的参数进行优化，可使模型更稳定，减少计算的开销，从而降低车牌检测的成本，提高电动车监管效率。
在具体实施中，对模型进行训练时，还需要对训练数据集进行选择，训练数据集中的训练样本对模型的训练结果有着至关重要的影响。
在上述实施例的基础上，车牌检测模型的训练过程包括：
选取包含车牌信息的图片作为训练样本，对训练样本中的车牌区域和特征点进行人工标注，获得初始训练数据集；
对初始训练数据集进行预处理，得到训练数据集。
可以理解的是，在对模型进行训练前，预先准备丰富场景下录制的电动车视频，例如：昏暗场景下的电动车视频，路上车流量较大时的电动车视频，简单背景中的电动车视频，复杂背景中的电动车视频，从中选取合适的图片作为训练样本，并对图片进行人工标注，即通过人工将其中的车牌区域标注出来，标注要准确，这样有助于对模型进行训练。
本实施例中获取到标注好的初始训练数据集后，还需要对初始训练数据集进行预处理，例如：数据清洗和数据加强，最终得到标注好的训练数据集。可以理解的是，初始训练数据集中的数据可能会存在数据缺失或数据异常等情况，所以，为了排除异常数据对网络模型的影响，可以对初始训练数据集进行数据清洗。还有，为了进一步提高模型效果，可以对初始训练数据集进行数据加强，例如可以是对图片颜色的增强，分别对图片的亮度、对比度、色调饱和度进行增强，还可以对图片的各项属性在原图片的基础上进行(0.6，1.4)比例的随机调整等。
本实施例中，通过对预先拍摄的电动车图片进行人工标注和预处理，得到用于训练车牌检测模型的训练数据集，更好的训练车牌检测模型，提高车牌检测的准确率。
在进行电动车监管工作时，只检测电动车车牌并不全面，还需要对电动车的车身情况和电动车驾驶员的行为进行监管，更好的保证交通安全。
在上述实施例的基础上，为了更好的完成电动车监管工作，车牌检测方法还包括：
检测待检测图片中是否存在车身和头盔。
在本实施例中，通过检测待检测图片中的车身和头盔，判断电动车车身是否经过改装，以及驾驶员是否佩戴头盔，是否做出危险性动作，更好的实现对电动车的监管，避免交通事故的发生，保障交通安全。
车牌检测模型可以应用于各种平台上，例如计算机服务器，嵌入式平台，由于应用车牌检测模型的平台需要与摄像头进行数据传输，当应用计算机服务器时，需要将服务器部署在摄像头附近，或使计算机服务器与摄像头远程连接，这样可以得到更多的计算资源，提高处理效率，但缺点是不够实时不够便利，且本模型为轻量级模型，对计算资源的需求较小。
在上述实施例的基础上，车牌检测方法还包括：
车牌检测模型应用于嵌入式平台。
可以理解的是，嵌入式平台为具有一定数据处理能力的平台，如FPGA，DSP，或可以将该网络模型设置于摄像头的芯片中。
本实施例中，通过将车牌检测模型应用于嵌入式平台上，可以实时检测电动车牌的信息，且可以降低成本，更好的完成电动车监管工作。
在上述实施例中，对于车牌检测方法进行了详细描述，本申请还提供车牌检测装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
上述描述了车牌检测方法对应的各个实施例，在此基础上，本发明还公开了上述方法对应的车牌检测的装置。图2为本实施例提供的一种车牌检测装置的结构图。
如图2所示，一种车牌检测装置，包括：
获取模块20：用于获取车辆通过时的待检测图片；
处理模块21：用于调用车牌检测模型对待检测图片进行处理，以输出车牌区域的检测框；其中，车牌检测模型基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，并基于训练数据集进行训练；
检测模块22：用于获取检测框，以实现车牌的检测。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
在本实施例中提供了一种车牌检测装置，包括：当检测到车辆通过时，从摄像机处获得用于检测车牌的待检测图片，调用车牌检测模型对待检测图片进行处理，以获取车牌检测框，从而实现车牌的检测。其中，车牌检测模型是基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，OneNet目标检测模型只匹配位置置信度和类别置信度最高的样本，无需设置大量候选框，能够提高检测效率；车牌检测模型的主干是具有倒置残差结构的可分离卷积网络，是一种轻量级的网络，具有较高的实时性，可以部署在嵌入式平台或其他资源有限的平台中。除此以外，本发明提供的车牌检测装置还可以用于检测头盔和车身，进一步降低成本。由此可见，通过采用本申请提供的车牌检测装置，可以实现利用车牌检测模型检测车牌的目的，且检测过程简单高效，减少人力物力的浪费，提高电动车监管效率。
图3为本申请提供的另一种车牌检测装置的结构图，如图3所示，车牌检测装置包括：存储器30，用于存储计算机程序；
处理器31，用于执行计算机程序时实现如上述实施例对待检测图片进行处理的步骤。
本实施例提供的运行平台可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的车牌检测方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于车牌检测模型中的各项参数等。
在一些实施例中，车牌检测装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解，图3中示出的结构并不构成对车牌检测装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的车牌检测装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：一种车牌检测方法。用于检测电动车车牌，从而对电动车的监管，降低人力物力的浪费。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的一种车牌检测方法、装置和介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种车牌检测方法，其特征在于，包括：
获取车辆通过时的待检测图片；
调用车牌检测模型获取所述车牌的检测特征和所述车牌的特征点的检测特征；
结合所述车牌的检测特征和分类损失函数，匹配类别置信度和位置置信度最高的样本；
获取所述车牌区域的预测框；
通过所述车牌的检测特征和所述特征点的检测特征计算多任务损失函数，利用所述多任务损失函数对所述预测框进行回归运算，获得所述检测框；
所述多任务损失函数的计算公式为Lall＝λclsLcls+λl1Ll1+λgiouLgiou+λlanLlan，其中Lcls为目标分类损失函数，Ll1为目标位置回归损失函数，Lgiou为目标定位损失函数，Llan为特征点定位损失函数，λcls为所述目标分类损失函数的权重，λl1为所述目标位置回归损失函数的权重，λgiou为所述目标定位损失函数的权重，λlan为所述特征点定位损失函数的权重；其中，所述车牌检测模型基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，并基于训练数据集进行训练；获取所述检测框，以实现车牌的检测；
检测所述待检测图片中是否存在车身和头盔，以判断所述车辆是否违规。
2.根据权利要求1所述的车牌检测方法，其特征在于，所述获得所述检测框的步骤后，还包括：
通过所述特征点的检测特征对所述车牌区域进行仿射变换，对所述车牌区域进行矫正。
3.根据权利要求1或2所述的车牌检测方法，其特征在于，所述并基于训练数据集进行训练，包括：
使用随机梯度下降法对所述车牌检测模型的参数进行迭代更新。
4.根据权利要求3所述的车牌检测方法，其特征在于，所述车牌检测模型的训练过程包括：
选取包含车牌信息的图片作为训练样本，对所述训练样本中的所述车牌区域和所述特征点进行人工标注，获得初始训练数据集；
对所述初始训练数据集进行预处理，得到所述训练数据集。
5.根据权利要求4所述的车牌检测方法，其特征在于，包括：
所述车牌检测模型应用于嵌入式平台。
6.一种车牌检测装置，其特征在于，包括：
第一获取模块，用于获取车辆通过时的待检测图片；
第二获取模块，用于调用车牌检测模型获取所述车牌的检测特征和所述车牌的特征点的检测特征；
匹配模块，用于结合所述车牌的检测特征和分类损失函数，匹配类别置信度和位置置信度最高的样本；
第三获取模块，用于获取所述车牌区域的预测框；
回归模块，用于通过所述车牌的检测特征和所述特征点的检测特征计算多任务损失函数，利用所述多任务损失函数对所述预测框进行回归运算，获得所述检测框；
所述多任务损失函数的计算公式为Lall＝λclsLcls+λl1Ll1+λgiouLgiou+λlanLlan，其中Lcls为目标分类损失函数，Ll1为目标位置回归损失函数，Lgiou为目标定位损失函数，Llan为特征点定位损失函数，λcls为所述目标分类损失函数的权重，λl1为所述目标位置回归损失函数的权重，λgiou为所述目标定位损失函数的权重，λlan为所述特征点定位损失函数的权重；其中，所述车牌检测模型基于OneNet目标检测模型中用于目标检测的网络和具有倒置残差结构的可分离卷积网络中用于特征提取的网络得到，并基于训练数据集进行训练；获取所述检测框，以实现车牌的检测；
判断模块，用于检测所述待检测图片中是否存在车身和头盔以判断所述车辆是否违规。
7.一种车牌检测装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的车牌检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的车牌检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110983760.9A CN113628206B (zh) | 2021-08-25 | 2021-08-25 | 一种车牌检测方法、装置、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110983760.9A CN113628206B (zh) | 2021-08-25 | 2021-08-25 | 一种车牌检测方法、装置、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113628206A CN113628206A (zh) | 2021-11-09 |
| CN113628206B true CN113628206B (zh) | 2022-08-12 |
Family
ID=78387709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110983760.9A Active CN113628206B (zh) | 2021-08-25 | 2021-08-25 | 一种车牌检测方法、装置、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113628206B (zh) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200668B (zh) * | 2014-07-28 | 2017-07-11 | 四川大学 | 一种基于图像分析的摩托车不戴头盔违章事件检测方法 |
| CN108564052A (zh) * | 2018-04-24 | 2018-09-21 | 南京邮电大学 | 基于mtcnn的多摄像头动态人脸识别系统与方法 |
| CN110059558B (zh) * | 2019-03-15 | 2023-08-25 | 江苏大学 | 一种基于改进ssd网络的果园障碍物实时检测方法 |
| CN110580445B (zh) * | 2019-07-12 | 2023-02-07 | 西北工业大学 | 一种基于GIoU和加权NMS改进的人脸关键点检测方法 |
| CN110443245B (zh) * | 2019-08-14 | 2022-02-15 | 上海世茂物联网科技有限公司 | 一种非限制场景下的车牌区域的定位方法、装置及设备 |
| CN110852222A (zh) * | 2019-10-31 | 2020-02-28 | 上海交通大学 | 一种基于目标检测的校园走廊场景智能监控方法 |
| CN111222463A (zh) * | 2020-01-07 | 2020-06-02 | 南京邮电大学 | 一种基于级联式卷积网络的机动车人脸检测方法 |
| CN111985295A (zh) * | 2020-06-05 | 2020-11-24 | 深圳市金溢科技股份有限公司 | 一种电动自行车行为识别方法、系统、工控机及摄像头 |
| CN111680746B (zh) * | 2020-06-08 | 2023-08-04 | 平安科技（深圳）有限公司 | 车损检测模型训练、车损检测方法、装置、设备及介质 |
| CN113255659B (zh) * | 2021-01-26 | 2022-07-29 | 南京邮电大学 | 一种基于MSAFF-Yolov3的车牌校正检测识别方法 |
-
2021
- 2021-08-25 CN CN202110983760.9A patent/CN113628206B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113628206A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106599773B (zh) | 用于智能驾驶的深度学习图像识别方法、系统及终端设备 | |
| CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN112906485B (zh) | 基于改进的yolo模型的视障人士辅助障碍物感知方法 | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| CN110796018B (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
| CN111178206A (zh) | 一种基于改进yolo的建筑预埋件检测方法及系统 | |
| CN111696110B (zh) | 场景分割方法及系统 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
| CN113052006B (zh) | 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
| CN113724286A (zh) | 显著性目标的检测方法、检测设备及计算机可读存储介质 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
| CN113887649B (zh) | 一种基于深层特征和浅层特征融合的目标检测方法 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| CN113705579A (zh) | 一种视觉显著性驱动的图像自动标注方法 | |
| CN111178181B (zh) | 交通场景分割方法及相关装置 | |
| CN113628206B (zh) | 一种车牌检测方法、装置、介质 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |