CN116883984A - 一种车牌检测方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种车牌检测方法、装置、设备及介质，涉及图像检测识别技术领域，包括：获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对图像帧进行检测以输出车牌位置；基于车牌位置对图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对车牌图像进行过滤处理，若否，则从车牌图像中提取出车牌轮廓点集；基于车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。本申请通过使用目标检测模型进行车牌检测，并在车牌检测后进一步增加对车牌的过滤和校正流程，能够避免获取到异常车牌图像，从而提高检测的准确率。

Description

一种车牌检测方法、装置、设备及介质

技术领域

本发明涉及图像检测识别技术领域，特别涉及一种车牌检测方法、装置、设备及介质。

背景技术

当下，汽车行业都在追求科学化、智能化的门店管理，车牌检测是这一追求的具体体现。通过对车牌的检测与校正，既可以统计门店的车辆进出情况，也可以将车牌用于后续的车辆分析数据统计，对零售门店的科学化、智能化管理意义重大。

传统的汽车维修保养门店依赖于门店督导人员的现场检查，人力成本巨大。在有了门店监控设备以及智能手机等智能移动产品之后，督导人员可以远程获取门店现场图像，然而对于汽车的进出数据和维修数量，如果人工实时对获取的门店现场图像进行统计，依然是一项耗时费力的过程。较为先进的某些门店已经使用上一些智能算法，借以辅助人工检测，然而这些算法普遍存在智能化程度不高、检测效果差等问题。

综上，如何提高车牌检测的准确率并减少人力成本是目前有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种车牌检测方法、装置、设备及介质，能够提高车牌检测的准确率并减少人力成本。其具体方案如下：

第一方面，本申请公开了一种车牌检测方法，包括：

获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；

基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，若否，则从所述车牌图像中提取出车牌轮廓点集；

基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。

可选的，所述基于所述车牌轮廓点集判断车牌轮廓是否完整，包括：

基于格雷厄姆扫描法确定出所述车牌轮廓点集的外接多边形，并判断所述外接多边形是否为外接四边形；

若所述外接多边形为外接四边形，则判定车牌轮廓完整。

可选的，所述根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，包括：

若判断结果为车牌轮廓完整，则根据所述外接四边形的四个当前顶点坐标和预设顶点坐标确定出仿射变换矩阵，并利用所述仿射变换矩阵对所述车牌图像进行仿射变换，以对所述车牌图像中的车牌进行校正；

若判断结果为车牌轮廓缺失，则根据车牌外轮廓外接矩形确定出旋转角度，并利用所述旋转角度对所述车牌图像进行旋转变换，以对所述车牌图像中的车牌进行校正。

可选的，所述从所述车牌图像中提取出车牌轮廓点集，包括：

对所述车牌图像进行灰度变换，得到灰度车牌图像，并利用高斯滤波函数对所述灰度车牌图像进行平滑处理，得到平滑车牌图像；

调用预设轮廓提取函数从所述平滑车牌图像中提取出车牌外轮廓外接矩形和车牌轮廓点集。

可选的，所述车牌检测方法，还包括：

从一阶段目标检测模型中确定出初始目标检测模型，并利用训练数据对所述初始目标检测模型进行训练，以得到训练后的目标检测模型；所述训练数据包括带标注车牌图像数据。

可选的，所述车牌过滤条件包括车牌清晰度过滤条件、颜色过滤条件和车牌比例过滤条件；

相应的，所述基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，包括：

判断所述车牌图像是否均不满足所述车牌清晰度过滤条件、所述颜色过滤条件和所述车牌比例过滤条件；

若均不满足，则执行从所述车牌图像中提取出车牌轮廓点集的步骤，否则对所述车牌图像进行过滤处理。

可选的，所述判断所述车牌图像是否均不满足所述车牌清晰度过滤条件、所述颜色过滤条件和所述车牌比例过滤条件的过程中，包括：

利用灰度方差函数计算所述车牌图像的图像灰度方差值，并计算所述图像灰度方差值和所述车牌图像中总像素值的比值，若所述比值大于第一预设阈值，则判定所述车牌图像不满足所述车牌清晰度过滤条件；

将所述车牌图像从RGB模式转化为YUV模式，并根据车牌颜色对应的HSV区间确定每个车牌像素点的颜色信息，若所述颜色信息中目标颜色对应的像素个数与所述车牌图像中总像素值的比值大于第二预设阈值，则判定所述车牌图像不满足所述颜色过滤条件；

判断所述车牌图像的宽高比是否满足预设比值条件，若满足，则判定所述车牌图像不满足所述车牌比例过滤条件。

第二方面，本申请公开了一种车牌检测装置，包括：

图像检测模块，用于获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；

过滤判断模块，用于基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理；

轮廓点提取模块，用于若否，则从所述车牌图像中提取出车牌轮廓点集；

图像校正模块，用于基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述公开的车牌检测方法的步骤。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的车牌检测方法的步骤。

可见，本申请通过获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，若否，则从所述车牌图像中提取出车牌轮廓点集；基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。由此可见，本申请中预先已训练好目标检测模型，并利用目标检测模型对图像采集设备采集到的图像帧进行检测以输出车牌位置，然后基于车牌位置对图像帧进行裁剪得到车牌图像，并判断是否需要对车牌图像进行过滤处理，若不需要，则从车牌图像中提取出车牌轮廓点集，进一步的，需要基于车牌轮廓点集对车牌轮廓的完整性进行判断，并根据完整性判断结果使用相应的校正策略对车牌进行校正，最后将校正后车牌上传至云端服务器，便于后续的业务开发。上述方案通过使用训练好的目标检测模型能够快速进行车牌检测，并在车牌检测后进一步增加对车牌的过滤和校正流程，能够减少误检率以及避免如因车牌不完整等情形进行强行校正时获取到异常车牌图像，从而提高车牌检测的准确率，也减少了人力成本。具有功能完善、任务响应迅速、检测结果准确率高等特点，具备良好的市场推广价值。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种车牌检测方法流程图；

图2为本申请公开的一种检测框示意图；

图3为本申请公开的一种具体的车牌检测流程示意图；

图4为本申请公开的一种具体的车牌检测方法流程图；

图5为本申请公开的一种具体的外接四边形示意图；

图6为本申请公开的一种车牌检测装置结构示意图；

图7为本申请公开的一种电子设备结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前对于车牌检测而言，传统的汽车维修保养门店依赖于门店督导人员的现场检查，人力成本巨大。在有了门店监控设备以及智能手机等智能移动产品之后，督导人员可以远程获取门店现场图像，然而对于汽车的进出数据和维修数量，如果人工实时对获取的门店现场图像进行统计，依然是一项耗时费力的过程。较为先进的某些门店已经使用上一些智能算法，借以辅助人工检测，然而这些算法普遍存在智能化程度不高、检测效果差等问题。为此，本申请实施例公开了一种车牌检测方法、装置、设备及介质，能够提高车牌检测的准确率并减少人力成本。

参见图1所示，本申请实施例公开了一种车牌检测方法，该方法包括：

步骤S11：获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置。

本实施例中，获取图像采集设备采集到的图像帧，图像采集设备具体可以是摄像头，并且图像采集设备可以将采集到的每一帧图像都解码并发送至目标检测模型进行检测，并且为了节省计算资源，也可以每隔n帧抽取一帧图像，解码后发送至目标检测模型进行检测。可以理解的是，图像采集设备1s内可以采集到25帧图像，为了不丢失图像信息，尽量保证在1s内至少对一帧图像进行检测，因此n的取值为1至25。还需要指出的是，本申请的技术方案特别适用于车间场景，并使用边缘设备在车间进行部署，边缘设备实时对门店视频进行检测，在具体实施方式中，可以在车间车位进出口等区域安装摄像头，以实时监控目标场景，并且摄像头算法每隔n帧抽取一帧图像，解码后送入边缘设备的目标检测模型进行车牌检测。

进一步的，上述方法还包括：从一阶段目标检测模型中确定出初始目标检测模型，并利用训练数据对所述初始目标检测模型进行训练，以得到训练后的目标检测模型；所述训练数据包括带标注车牌图像数据。可以理解的是，在选择初始目标检测模型时，本实施例优先选用板端设备算力较低，执行效率较高的一阶段(即One-stage)目标检测模型，例如YOLO(You Only Look Once，即你只需要浏览一次)v3、YOLOv4、SSD(Single Shot MultiBoxDetector，即单步多框目标检测)和RetinaNet等。一阶段目标检测模型指的是相较于两阶段(即Two-stage)目标检测模型，算法模型中省略了区域候选阶段，其网络模型的输出层直接产生目标物体的类别概率和位置坐标，因此这类模型具有更快的检测推理速度，并且，目前的一阶段目标检测模型在检测结果精度上也大大提高。本申请将这些一阶段目标检测模型公开的预训练网络作为车牌检测模型的基础网络，即作为初始目标检测模型，由于这些模型已经在ImageNet和MS COCO(即Microsoft Common Objects in Context)等大规模公共数据集上得到了充分的训练，训练后的网络模型往往已具备较好的多类别目标检测效果。然而，公共数据集的数据类别并不适用于门店车间场景，因此本实施预先标注了一批车牌图像数据，并将这些数据作为训练数据对初始目标检测模型进行针对性训练，使得训练好的模型能够检测出车间里车辆的每一块车牌，此外为了适配嵌入式硬件的框架，还要进行模型的板端移植，从而使得目标检测模型能够在边缘设备上进行使用。在标注车牌图像数据时，选用常用的开源标注软件即可。

本实施例中，目标检测模型对图像帧进行检测会输出车牌位置以及车牌标签，其中，车牌位置可以理解为是检测框的位置，具体可以参见图2中的框1所示。另外，如果目标检测模型未在图像帧中检测到车牌，则结束本次图像帧的检测，并等待下一图像帧，然后继续对下一图像帧进行车牌检测。

步骤S12：基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，若否，则从所述车牌图像中提取出车牌轮廓点集。

本实施例中，基于车牌位置对图像帧进行裁剪得到车牌图像，然而仅通过目标检测模型检测出的车牌图像仍存在不准确的问题，因此，本申请实施例还需进一步对其进行过滤处理。除了常用到的置信度方法过滤以外，本申请需要根据预设的车牌过滤条件判断是否需要对车牌图像进行过滤处理，从而得到可校正的车牌图像。

在具体实施方式中，上述车牌过滤条件包括车牌清晰度过滤条件、颜色过滤条件和车牌比例过滤条件；相应的，所述基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，包括：判断所述车牌图像是否均不满足所述车牌清晰度过滤条件、所述颜色过滤条件和所述车牌比例过滤条件；若均不满足，则执行从所述车牌图像中提取出车牌轮廓点集的步骤，否则对所述车牌图像进行过滤处理。可以理解的是，本实施例预先设置了车牌清晰度过滤条件、颜色过滤条件和车牌比例过滤条件，并根据上述过滤条件判断是否需要对车牌图像进行过滤处理，若车牌图像满足上述任意一个过滤条件，则需对其进行过滤处理，即剔除该车牌图像，不再执行后续流程，只有在车牌图像均不满足上述过滤条件的情况下，才执行后续流程，即从车牌图像中提取出车牌轮廓点集。

进一步的，上述判断所述车牌图像是否均不满足所述车牌清晰度过滤条件、所述颜色过滤条件和所述车牌比例过滤条件的过程中，包括：利用灰度方差函数计算所述车牌图像的图像灰度方差值，并计算所述图像灰度方差值和所述车牌图像中总像素值的比值，若所述比值大于第一预设阈值，则判定所述车牌图像不满足所述车牌清晰度过滤条件；将所述车牌图像从RGB模式转化为YUV模式，并根据车牌颜色对应的HSV区间确定每个车牌像素点的颜色信息，若所述颜色信息中目标颜色对应的像素个数与所述车牌图像中总像素值的比值大于第二预设阈值，则判定所述车牌图像不满足所述颜色过滤条件；判断所述车牌图像的宽高比是否满足预设比值条件，若满足，则判定所述车牌图像不满足所述车牌比例过滤条件。其中，YUV模式中，Y表示亮度(即Luminance)，也就是灰度值，U和V分别表示色度(即Chrominance)和浓度(即Chroma)，作用是描述图像色彩和饱和度，用于指定像素的颜色；HSV中，H表示色调(Hue)，S表示饱和度(Saturation)，V表示亮度(Value)。也即，本实施例涉及到三种过滤的判断：

其一是清晰度过滤：部分车牌由于拍摄时车辆移动的关系呈像比较模糊，难以提取边缘进行校正也难以进行后续的识别，因此需要进行剔除。图像清晰时边缘像素值的差异较大，据此作为车牌清晰度的判断标准。具体的，先将车牌图像做灰度化处理，并利用灰度方差函数计算车牌图像的图像灰度方差值，灰度方差函数可使用标准化均数差函数(Standardized Mean Difference，即SMD)，然后计算图像灰度方差值和车牌图像中总像素值的比值，若比值大于第一预设阈值，则判定车牌图像不满足车牌清晰度过滤条件，即保留车牌图像。在具体实施方式中，第一预设阈值可以设置为60。

其二是颜色过滤：车间常见的车牌大多为黄绿蓝三色。在根据车牌位置从图像帧中裁减得到车牌图像后，将车牌图像从RGB模式转化为YUV模式，并根据车牌颜色对应的HSV区间确定每个车牌像素点的颜色信息，具体的，根据黄绿蓝对应的H、S区间判断每个车牌像素点的颜色，当某一颜色对应的像素个数与车牌图像中总像素值的比值大于第二预设阈值时，则判定车牌图像不满足颜色过滤条件，即保留车牌图像。在具体实施方式中，第二预设阈值可以设置为60％，也即将当某一颜色的像素个数超过总像素点的60％时判断为该颜色的车牌，否则判断为异常车牌，进行过滤处理。其中，黄绿蓝三色对应的H、S区间如下所示：

黄色：11<H<34，S>34；

绿色：35<H≤99，S>34；

蓝色：99<H≤124，S>34。

其三是车牌比例过滤：车间有部分车牌刚进入场景时也会被检出，往往出现车牌检测框截取不全，如果将这类车牌检测框进行上报，会对后续检测会造成误检，因此也需要过滤。需要指出的是，标准车牌尺寸宽度为45cm、高度为15cm，本实施例中通过计算车牌图像的宽高比，并将预设比值条件设置为区间[3，5]，因此如果车牌图像的宽高比在区间[3，5]内，则判定车牌图像不满足车牌比例过滤条件，即保留车牌图像。

也即，本申请在车牌检测后增加了清晰度过滤、颜色过滤和车牌比例过滤等方法，过滤了非车牌的误检信息，减少了后续的计算开销。

步骤S13：基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。

本实施例中，在从车牌图像中提取出车牌轮廓点集后，需要基于车牌轮廓点集对车牌轮廓的完整性进行判断，避免因车牌不完整进行强行校正从而获取到异常车牌图像的情况。并根据完整性判断结果使用相应的校正策略对车牌进行校正，最后将校正后车牌上传至云端服务器，便于后续的业务开发。

可见，本申请通过获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，若否，则从所述车牌图像中提取出车牌轮廓点集；基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。由此可见，本申请中预先已训练好目标检测模型，并利用目标检测模型对图像采集设备采集到的图像帧进行检测以输出车牌位置，然后基于车牌位置对图像帧进行裁剪得到车牌图像，并判断是否需要对车牌图像进行过滤处理，若不需要，则从车牌图像中提取出车牌轮廓点集，进一步的，需要基于车牌轮廓点集对车牌轮廓的完整性进行判断，并根据完整性判断结果使用相应的校正策略对车牌进行校正，最后将校正后车牌上传至云端服务器，便于后续的业务开发。上述方案通过使用训练好的目标检测模型能够快速进行车牌检测，并在车牌检测后进一步增加对车牌的过滤和校正流程，能够减少误检率以及避免如因车牌不完整等情形进行强行校正时获取到异常车牌图像，从而提高车牌检测的准确率，也减少了人力成本。具有功能完善、任务响应迅速、检测结果准确率高等特点，具备良好的市场推广价值。

参见图3和图4所示，本申请实施例公开了一种具体的车牌检测方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：

步骤S21：获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置。

步骤S22：基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理。

步骤S23：若否，则对所述车牌图像进行灰度变换，得到灰度车牌图像，并利用高斯滤波函数对所述灰度车牌图像进行平滑处理，得到平滑车牌图像；然后调用预设轮廓提取函数从所述平滑车牌图像中提取出车牌外轮廓外接矩形和车牌轮廓点集。

本实施例中，若车牌图像不需要进行过滤，则需要从车牌图像中提取车牌轮廓点集。具体的，需要先对车牌图像进行灰度变换，得到灰度车牌图像，再利用高斯滤波函数对灰度车牌图像进行平滑处理，得到平滑车牌图像。然后调用预设轮廓提取函数从平滑车牌图像中提取出车牌外轮廓外接矩形和车牌轮廓点集，车牌外轮廓外接矩形可以参见图2中的框2所示，提取出的车牌轮廓点集可以如图5中所示。其中，预设轮廓提取函数为opencv中提供的常用轮廓提取函数。需要指出的是，在提取车牌外轮廓外接矩形的同时，也会得到旋转角度，该旋转角度可用于后续对车牌进行校正处理。

步骤S24：基于改进的格雷厄姆扫描法确定出所述车牌轮廓点集的外接多边形，并判断所述外接多边形是否为外接四边形；若所述外接多边形为外接四边形，则判定车牌轮廓完整。

本实施例中，在提取出车牌轮廓点集，进一步再利用改进的格雷厄姆扫描法(即Graham’s scan Algorithm)确定出车牌轮廓点集的外接多边形。格雷厄姆扫描算法首先找到最底部的点p₀，如果有多个具有相同Y坐标的点，则考虑具有较小X坐标的点，对所有其他点按极角逆时针排序；如果两点之间的极角相同，则选择最近的点；然后逐个遍历每个点，并确保当前点和之前的两个点逆时针转动，否则前一个点被丢弃。一旦到达原始点p₀，算法就完成，按顺时针顺序返回包含凸包所有点。本实施例中，依据改进的格雷厄姆扫描法确定出外接多边形，而前述调用预设轮廓提取函数提取到的车牌外轮廓外接矩形在改进后的格雷厄姆扫描法中的作用为辅助得到外接多边形的顶点，能够过滤掉一部分内轮廓点，也能使得最后得到的外接多边形更加精确，提高了计算效率。具体是通过计算距离车牌外轮廓外接矩形4个顶点最近的轮廓点，将其连成四边形并计算在四边形外的轮廓点，然后将四边形外的轮廓点和四边形顶点组成新的数组，再用格雷厄姆扫描法计算凸包，得到车牌轮廓点集的外接多边形。

进一步的，判断车牌轮廓是否完整，本实施例中具体是通过判断外接多边形是否为外接四边形；若外接多边形为外接四边形，则判定车牌轮廓完整。也即当车牌轮廓缺失时，得到的外接多边形边数大于四。

步骤S25：若判断结果为车牌轮廓完整，则根据所述外接四边形的四个当前顶点坐标和预设顶点坐标确定出仿射变换矩阵，并利用所述仿射变换矩阵对所述车牌图像进行仿射变换，以对所述车牌图像中的车牌进行校正。

本实施例中，若外接多边形的边数为四，则认为车牌轮廓完整，那么则通过仿射变换实现车牌校正，外接四边形具体可以如图2中的框3所示，需要注意的是，为了避免泄露相关车主信息，图中利用黑粗线对框3中的车牌号进行了遮挡处理。需要指出的是，通常外接多边形边数为四时形状并不为矩形，因此通过本方案可以使得得到的最终车牌区域更为精确。其校正策略为先根据外接四边形的四个当前顶点坐标和预设顶点坐标确定出仿射变换矩阵；其中，预设顶点坐标可以认为是标准车牌对应的顶点坐标，在通常情况下，标准车牌的尺寸大小是440mm×140mm，近似压缩224*70，那么四个顶点坐标具体可以设置为(0,0)、(224,0)、(0,70)、(224,70)，然后利用仿射变换矩阵对车牌图像进行仿射变换，以实现对车牌图像中的车牌进行校正。

仿射变换可以理解为矩阵乘法和向量加法的变换，其中矩阵乘法用于实现线性变换，向量加法用于实现平移。本质上，一个仿射变换代表了二维坐标之间的线性变换，可以分别表示为：旋转、平移、缩放操作。仿射变换矩阵M通常使用2×3矩阵表示：

步骤S26：若判断结果为车牌轮廓缺失，则根据车牌外轮廓外接矩形确定出旋转角度，并利用所述旋转角度对所述车牌图像进行旋转变换，以对所述车牌图像中的车牌进行校正。

本实施例中，若外接多边形的边数不为四，则认为车牌轮廓不完整，即车牌轮廓缺失，那么则对车牌外轮廓外接矩形进行校正，即对图2中的框2进行校正。其校正策略为根据车牌外轮廓外接矩形确定出旋转角度，再利用旋转角度对车牌图像进行旋转变换，以对车牌图像中的车牌进行校正。

步骤S27：将校正后车牌上传至云端服务器。

本实施例中，对车牌图像中的车牌进行校正后，则裁剪出车牌图像中校正后的车牌区域，并将该校正后车牌上报云端服务器，用于后续的识别业务开发。

其中，关于上述步骤S21和S22更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本申请实施例中通过基于改进后的格雷厄姆扫描法确定出车牌轮廓点集的外接多边形，并通过判断外接多边形是否为外接四边形而确定车牌轮廓是否完整。在车牌轮廓完整的情况下，根据外接四边形的四个当前顶点坐标和预设顶点坐标确定出仿射变换矩阵，然后利用仿射变换矩阵对车牌图像进行仿射变换，以实现对车牌图像中的车牌进行校正；在车牌轮廓缺失的情况下，根据车牌外轮廓外接矩形确定出旋转角度，再利用旋转角度对车牌图像进行旋转变换，以对车牌图像中的车牌进行校正。也即，本申请针对车牌检测存在遮挡的问题，将车牌校正策略根据车牌的轮廓完整度分别处理，避免了因车牌不完整强行校正得到异常车牌图像的情况。本申请通过使用车牌检测与校正的方法，实现了车间车牌的识别与校正，能够快速准确地对门店车牌数量进行检测，具有功能完善、任务响应迅速、检测结果准确率高等特点。

参见图6所示，本申请实施例公开了一种车牌检测装置，该装置包括：

图像检测模块11，用于获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；

过滤判断模块12，用于基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理；

轮廓点提取模块13，用于若否，则从所述车牌图像中提取出车牌轮廓点集；

图像校正模块14，用于基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。

可见，本申请通过获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，若否，则从所述车牌图像中提取出车牌轮廓点集；基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。由此可见，本申请中预先已训练好目标检测模型，并利用目标检测模型对图像采集设备采集到的图像帧进行检测以输出车牌位置，然后基于车牌位置对图像帧进行裁剪得到车牌图像，并判断是否需要对车牌图像进行过滤处理，若不需要，则从车牌图像中提取出车牌轮廓点集，进一步的，需要基于车牌轮廓点集对车牌轮廓的完整性进行判断，并根据完整性判断结果使用相应的校正策略对车牌进行校正，最后将校正后车牌上传至云端服务器，便于后续的业务开发。上述方案通过使用训练好的目标检测模型能够快速进行车牌检测，并在车牌检测后进一步增加对车牌的过滤和校正流程，能够减少误检率以及避免如因车牌不完整等情形进行强行校正时获取到异常车牌图像，从而提高车牌检测的准确率，也减少了人力成本。具有功能完善、任务响应迅速、检测结果准确率高等特点，具备良好的市场推广价值。

图7为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的车牌检测方法中的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的车牌检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。

进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的车牌检测方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种车牌检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车牌检测方法，其特征在于，包括：

获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；

基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，若否，则从所述车牌图像中提取出车牌轮廓点集；

基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。

2.根据权利要求1所述的车牌检测方法，其特征在于，所述基于所述车牌轮廓点集判断车牌轮廓是否完整，包括：

基于格雷厄姆扫描法确定出所述车牌轮廓点集的外接多边形，并判断所述外接多边形是否为外接四边形；

若所述外接多边形为外接四边形，则判定车牌轮廓完整。

3.根据权利要求2所述的车牌检测方法，其特征在于，所述根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，包括：

若判断结果为车牌轮廓完整，则根据所述外接四边形的四个当前顶点坐标和预设顶点坐标确定出仿射变换矩阵，并利用所述仿射变换矩阵对所述车牌图像进行仿射变换，以对所述车牌图像中的车牌进行校正；

若判断结果为车牌轮廓缺失，则根据车牌外轮廓外接矩形确定出旋转角度，并利用所述旋转角度对所述车牌图像进行旋转变换，以对所述车牌图像中的车牌进行校正。

4.根据权利要求1所述的车牌检测方法，其特征在于，所述从所述车牌图像中提取出车牌轮廓点集，包括：

对所述车牌图像进行灰度变换，得到灰度车牌图像，并利用高斯滤波函数对所述灰度车牌图像进行平滑处理，得到平滑车牌图像；

调用预设轮廓提取函数从所述平滑车牌图像中提取出车牌外轮廓外接矩形和车牌轮廓点集。

5.根据权利要求1所述的车牌检测方法，其特征在于，还包括：

从一阶段目标检测模型中确定出初始目标检测模型，并利用训练数据对所述初始目标检测模型进行训练，以得到训练后的目标检测模型；所述训练数据包括带标注车牌图像数据。

6.根据权利要求1至5任一项所述的车牌检测方法，其特征在于，所述车牌过滤条件包括车牌清晰度过滤条件、颜色过滤条件和车牌比例过滤条件；

相应的，所述基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理，包括：

判断所述车牌图像是否均不满足所述车牌清晰度过滤条件、所述颜色过滤条件和所述车牌比例过滤条件；

若均不满足，则执行从所述车牌图像中提取出车牌轮廓点集的步骤，否则对所述车牌图像进行过滤处理。

7.根据权利要求6所述的车牌检测方法，其特征在于，所述判断所述车牌图像是否均不满足所述车牌清晰度过滤条件、所述颜色过滤条件和所述车牌比例过滤条件的过程中，包括：

利用灰度方差函数计算所述车牌图像的图像灰度方差值，并计算所述图像灰度方差值和所述车牌图像中总像素值的比值，若所述比值大于第一预设阈值，则判定所述车牌图像不满足所述车牌清晰度过滤条件；

将所述车牌图像从RGB模式转化为YUV模式，并根据车牌颜色对应的HSV区间确定每个车牌像素点的颜色信息，若所述颜色信息中目标颜色对应的像素个数与所述车牌图像中总像素值的比值大于第二预设阈值，则判定所述车牌图像不满足所述颜色过滤条件；

判断所述车牌图像的宽高比是否满足预设比值条件，若满足，则判定所述车牌图像不满足所述车牌比例过滤条件。

8.一种车牌检测装置，其特征在于，包括：

图像检测模块，用于获取图像采集设备采集到的图像帧，并利用预先训练好的目标检测模型对所述图像帧进行检测以输出车牌位置；

过滤判断模块，用于基于所述车牌位置对所述图像帧进行裁剪得到车牌图像，并基于预设的车牌过滤条件判断是否需要对所述车牌图像进行过滤处理；

轮廓点提取模块，用于若否，则从所述车牌图像中提取出车牌轮廓点集；

图像校正模块，用于基于所述车牌轮廓点集判断车牌轮廓是否完整，并根据判断结果选取相应的校正策略对所述车牌图像中的车牌进行校正，以及将校正后车牌上传至云端服务器。

9.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的车牌检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的车牌检测方法的步骤。