CN114283357A - 一种车辆检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了一种车辆检测方法、装置、存储介质及电子设备，在进行车辆检测时，可将待检测的目标图像输入车辆检测模型的特征提取层，提取该目标图像的第一特征图。之后，通过目标检测层检测该第一特征图中的车辆检测框、车牌检测框以及车辆类型，并对该第一特征图进行上采样，得到第二特征图。然后，基于车牌检测框从第二特征图中确定出车牌区域特征图，并通过号码识别层，识别该车牌区域特征图的车牌号。最后，根据车辆检测框、车牌检测框、识别的车辆类型以及车牌号，确定目标图像的车辆检测结果。本说明书通过车辆检测模型对目标图像中车辆位置、车辆类型、车牌位置以及车牌号进行检测，节省了人力资源，提高了检测效率。

Description

一种车辆检测方法、装置、存储介质及电子设备

技术领域

本申请涉及目标检测技术领域，尤其涉及一种车辆检测方法、装置、存储介质及电子设备。

背景技术

随着信息技术的发展，视频监控技术在社会安防中的重要性日益突出。例如，在停车场安装监控摄像头，记录各车辆的进出时间。在仓储环境中安装监控摄像头，识别运送货物的车辆，严防仓库人员的私自交易。

以仓储环境为例进行说明，为了保障货物安全，通常在每个仓库设置一个监控摄像头，用于监控仓库内货物的装卸情况。当某个仓库的出货量异常时，可人为调取该仓库的监控录像进行查看，通过观测运输车辆及其车牌号，检查是否有非指定车辆装载货物，是否出现违规交易现象。

但是，通过人工查看监控视频，对货物装载车辆进行识别的方式，需要耗费大量人力，且检测效率较低。

发明内容

本说明书实施例提供一种车辆检测方法、装置、存储介质及电子设备，用于部分解决现有技术中的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种车辆检测方法，包括：

获取待检测的目标图像；

将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图；

将所述目标图像的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型；

将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图；

根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图，并将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别所述目标图像中车辆的车牌号；

根据所述目标图像的车辆检测框、车牌检测框、车辆类型以及车牌号，确定所述目标图像中的车辆检测结果。

可选地，将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图，具体包括：

将所述第一特征图输入所述车辆检测模型的上采样层中，进行反卷积，得到中间特征图；

根据所述中间特征图中各像素点的像素值，进行双线性插值，生成第二特征图。

可选地，将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图，具体包括：

将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述特征提取层的不同层级输出的图像特征；

通过特征金字塔网络对不同层级输出的图像特征进行融合处理，得到融合后的图像特征，作为第一特征图。

可选地，所述方法还包括：

根据所述第一特征图中的车辆检测框，从所述第二特征图中确定出车辆区域特征图；

将所述车辆区域特征图输入所述车辆检测模型的文字检测层中，确定所述车辆区域特征图中的文字区域检测框；

根据所述车辆区域特征图以及所述文字区域检测框，通过所述车辆检测模型的文字识别层，识别所述目标图像中车辆的车体文字。

可选地，根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图，具体包括：

将所述车牌检测框从所述第一特征图映射到所述第二特征图中，确定车牌区域特征图；

按照预设的固定尺寸，将所述车辆区域特征图划分为若干子区域；

针对所述车辆区域特征图的每个子区域，按照预设的采样点数，将该子区域划分为若干网格；

根据各网格内各像素点的像素值，进行双线性插值，确定各网格中心点的像素值，并根据各网格中心点的像素值，确定该子区域对应的像素值；

根据各子区域对应的像素值，更新所述车辆区域特征图。

可选地，训练车辆检测模型，具体包括：

获取历史上采集的若干包含车辆的环境图像，作为训练样本，并根据所述环境图像中车辆的车辆信息，对所述训练样本进行标注；所述车辆信息至少包括车辆位置、车牌位置、车辆类型以及车牌号；

针对每个训练样本，将该训练样本输入待训练的车辆检测模型的特征提取层，确定该训练样本的第一特征图；

将该训练样本的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型；

将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图；

根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图；

将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别该训练样本中车辆的车牌号；

以最小化各训练样本的车辆检测框、车辆类型、车牌检测框以及车牌号，与各训练样本的标注之间的差异为目标，调整所述车辆检测模型中各网络层的模型参数。

可选地，所述文字识别层包括双向长短期记忆网络LSTM。

本说明书提供一种车辆检测装置，包括：

获取模块，配置为获取待检测的目标图像；

特征提取模块，配置为将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图；

目标检测模块，配置为将所述目标图像的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型；

上采样模块，配置为将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图；

车牌确定模块，配置为根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图；

车牌号识别模块，配置为将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别所述目标图像中车辆的车牌号；

检测确定模块，配置为根据所述目标图像的车辆检测框、车牌检测框、车辆类型以及车牌号，确定所述目标图像中的车辆检测结果。

本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述车辆检测方法。

本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述车辆检测方法。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书中，可先将待检测的目标图像输入车辆检测模型的特征提取层，提取该目标图像的第一特征图。之后，将该第一特征图输入目标检测层，确定该第一特征图中的车辆检测框、车牌检测框以及车辆类型，并将该第一特征图输入上采样层，得到上采样后的第二特征图。然后，根据该第一特征图中的车牌检测框，从第二特征图中确定出车牌区域特征图，并通过号码识别层，识别该车牌区域特征图的车牌号。最后，根据车辆检测框、车牌检测框、识别的车辆类型以及车牌号，确定目标图像的车辆检测结果。本说明书通过车辆检测模型对目标图像中车辆位置、车辆类型、车牌位置以及车牌号进行检测，节省了人力资源，提高了检测效率。

由于车辆检测与车体文字、车牌号的识别所采用的特征图的分辨率不同，现有技术中通常采用多个独立的网络提取不同分辨率的特征图，以分别用于进行车辆检测与文字识别。而采用本说明书提供的一体化的网络架构，只需经过一次特征提取的过程，便可得到车辆检测结果与文字识别结果，大大减少了特征提取的计算量，简化了进行多次特征提取的算法流程。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的一种车辆检测方法的流程示意图；

图2为本说明书实施例提供的一种上采样层中的网络结构示意图；

图3为本说明书实施例提供的一种车辆检测模型的网络结构示意图；

图4为本说明书实施例提供的一种车辆检测模型的网络结构示意图；

图5为本说明书实施例提供的一种车辆检测装置的结构示意图；

图6为本说明书实施例提供的实现车辆检测方法的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本说明书提供一种车辆检测方法，以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书实施例提供的一种车辆检测方法的流程示意图，具体可包括以下步骤：

S100：获取待检测的目标图像。

本说明书提供的车辆检测方法，可应用于道路的交通违规检测中，对道路监控视频中的违规车辆进行检测，也可以应用于仓储场景中，对仓库监控视频中运输货物的车辆进行检测，防止仓库人员的私自交易。当然，也可应用于其他有车辆检测需求的场景中，如对停车场进出车辆进行检测。

其中，该车辆检测方法可由服务器作为执行主体执行，该服务器可以是单个服务器，也可以是多个服务器组成的系统，如分布式服务器系统等，可以是物理服务器设备，也可以是云服务器，本说明书对此不做限制，可根据需要设置。

为方便描述，后续以仓储场景为例进行说明，通过对仓库监控视频中的运输货物的车辆进行检测，识别运输货物的车辆类型以及车牌号等车辆信息。于是，可先获取待检测仓库的监控视频，并从该监控视频中确定若干关键帧，作为待检测的目标图像。

进一步的，在从监控视频中确定关键帧时，可按照预设的时间间隔，从监控视频中截取若干帧视频图像，作为关键帧。其中，该预设的时间间隔可根据需要设置，如设置为5s。

S102：将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图。

当从监控视频中获取到待检测的目标图像后，便可通过车辆检测模型识别该目标图像中的车辆信息。

具体的，针对待检测的每个目标图像，可先将该目标图像输入预先训练的车辆检测模型的特征提取层中，得到该目标图像的第一特征图。其中，该车辆检测模型的特征提取层为主干网络backbone，backbone网络可以采用卷积神经网络(Convolutional NeuralNetworks，CNN)，如，残差网络(Residual Networks-50，Resnet50)、Darknet53(YOLO网络的主干网络)等，用于对图像进行特征提取。

进一步的，该特征提取层中还可包含连接网络neck，可对提取到的图像特征进一步处理。其中，neck网络可采用特征金字塔网络(Feature Pyramid Networks，FPN)。在将该目标图像输入特征提取层的backbone后，可得到不同层级输出的不同尺度的图像特征，之后通过FPN网络对不同层级输出的图像特征进行融合处理，得到融合后的图像特征，作为第一特征图。

其中，通过FPN进行多尺度图像特征融合已经是较为成熟的现有技术，本方案对此并无改进，具体内容可参见现有内容。

S104：将所述目标图像的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型。

当通过特征提取层提取目标图像的图像特征后，可基于该目标图像的图像特征，识别该目标图像中车辆的位置以及车辆类型，并且还可定位车辆的车牌位置，以通过后续步骤进一步对车牌号进行识别。

具体的，该服务器可将该目标图像的第一特征图输入该车辆检测模型的目标检测层中，得到该目标图像中车辆的若干候选检测框，以及车牌的若干候选检测框。

之后，根据车辆的各候选检测框的置信度，从中筛选出置信度大于第一预设阈值的候选检测框，作为车辆的有效检测框。以及根据车牌的各候选检测框的置信度，从中筛选出置信度大于第二预设阈值的候选检测框，作为车牌的有效检测框。

最后，确定车辆的各有效检测框之间的交并比(Intersection over Union，IOU)，并根据车辆的各有效检测框的置信度，以及车辆的各有效检测框的IOU，通过非极大值抑制(Non-maximum suppression，NMS)的方法，从车辆的各有效检测框中确定最终的车辆检测框。同样的，确定车牌的各有效检测框之间的IOU，并根据车牌的各有效检测框的置信度，以及车牌的各有效检测框的IOU，通过NMS的方法，从车牌的各有效检测框中确定最终的车牌检测框。

其中，该目标检测层可以采用基于卷积神经网络的区域检测算法(Region-basedConvolutional Neural Network，RCNN)，也可以采用基于单个神经网络的目标检测算法(You Only Look Once，YOLO)，本说明书对此不做限制。

并且，通过该目标检测层还可确定该车辆检测框中车辆的车辆类型。其中，车辆类型可划分为货车、轿车等。

S106：将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图。

在进行目标检测时，为了得到更准确的分类结果，往往采用含有丰富语义信息的图像的高层特征，也即第一特征图为图像的高层特征。但是图像的高层特征中所包含的图像的纹理和细节信息较少，且分辨率较低，难以识别出车牌号等图像细节信息。

于是，在本说明书中可对第一特征图进行上采样处理，得到分辨率较高的第二特征图。

具体的，该车辆检测模型的上采样层包含反卷积层和双线性插值上采样层。可将该第一特征图输入该车辆检测模型的上采样层中的反卷积层，进行反卷积，得到中间特征图。之后，将该中间特征图再输入双线性插值上采样层中，根据该中间特征图中各像素点的像素值，通过双线性插值的方法，填充扩展后各未知像素点的像素值，得到第二特征图。

在本说明书一种实施例中，如图2所示，图中立方体表示不同尺度的图像特征，立方体上的数字表示图像特征相对于原始目标图像的下采样倍数。假设第一特征图包含不同尺度的图像特征A1、A2、A3，下采样倍数分别为8、16、32倍，则将图像特征A3输入反卷积层，进行反卷积可得到下采样倍数为16的图像特征A4(图中未画出)。之后，将反卷积得到的图像特征A4与该第一特征图中的图像特征A2进行融合，得到图像特征A5。然后，将该图像特征A5输入反卷积层中，进行反卷积可得到下采样倍数为8的图像特征A6(图中未画出)，并将反卷积后的图像特征A6与第一特征图中的A1进行融合，得到融合后的图像特征A7。最后，将该图像特征A7输入双线性插值上采样层中，对像素点进行双线性插值，生成第二特征图A8，该第二特征图相对于原始目标图像的下采样倍数为4倍。

由此可见，第二特征图相较于第一特征图的分辨率更高，包含的图像细节信息更加丰富。

当然，在本说明书其它实施例中，也可将特征提取层中最后一层输出的图像特征，作为第一特征图，也即第一特征图中仅包含一个尺度的图像特征，并通过反卷积层与双线性插值上采样层，实现上采样处理。

在本说明书中，上述步骤S104与步骤S106的执行先后顺序不做限制，可以先后执行，也可以并行执行以提高预测效率，本说明书对此不做限制。

S108：根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图，并将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别所述目标图像中车辆的车牌号。

当通过步骤S106确定出图像中的车牌检测框，以及通过步骤S108生成高分辨率的第二特征图后，便可进行车牌号的识别。

具体的，将车牌检测框从第一特征图中映射到第二特征图中，从第二特征图中截取出车牌区域特征图。之后，将截取的车牌区域特征图输入该车辆检测模型的号码识别层中，识别该目标图像中车辆的车牌号。

为了更好的学习上下文信息，该号码识别层包括双向长短期记忆网络(LongShort Term Memory，LSTM)，可基于之前时刻的时序信息以及未来时刻的时序信息，预测当前的输出。并通过该号码识别层中的翻译层(Transcription Layer)，输出最终识别结果。其中，该翻译层由全连接层组成。

由于各图像中的车牌区域的尺寸不等，为了提高训练效率以及识别准确率，可将各目标图像中的车牌区域统一为相同的固定尺寸。并且，为了减少池化过程中取整操作带来的误差，导致截取区域与原始目标图像中区域不匹配的问题，在本说明书中可采用感兴趣区域对齐(Region of Interest-Align，ROI-Align)的方法进行区域截取。

于是在从第二特征图中截取出车牌区域特征图后，可按照预设的固定尺寸，将该车辆区域特征图划分为若干子区域。之后，针对该车辆区域特征图的每个子区域，按照预设的采样点数，将该子区域划分为若干网格。然后，针对每个网络，根据该网格内各像素点的像素值，进行双线性插值，确定各网格中心点的像素值，并根据各网格中心点的像素值，确定该子区域对应的像素值。如，可从各网络中心点的像素值中确定最大像素值，作为该子区域对应的像素值。最后，根据各子区域对应的像素值，更新所述车辆区域特征图。其中，预设的固定尺寸可根据需要设置。

假设预设的固定尺寸为5×5，第二特征图的大小为50×50，从该第二特征图中截取的车牌区域图为7.21×7.21，则可按照固定尺寸，将该车辆区域特征图划分为25个子区域，每个子区域的大小为1.44×1.44。若预设的采样点数为4，则可将每个子区域划分为4个网格，并在每个网格中，通过双线性插值的方法，确定各网格中心点的像素值。根据该子区域中4个网格中心点的像素值，从中筛选最大像素值作为该子区域对应的像素值。最后，根据25个子区域对应的像素值，将车牌区域特征图更新为5×5尺寸的特征图。

S110：根据所述目标图像的车辆检测框、车牌检测框、车辆类型以及车牌号，确定所述目标图像中的车辆检测结果。

在本说明书中，基于上述目标检测层检测出的车辆检测框以及车牌检测框，可在目标图像上标注出车辆的位置以及车牌的位置。并根据该目标图像中标注的车辆位置、车牌位置、识别出的车辆类型以及车牌号，确定该目标图像的车辆检测结果。

图3为本说明书实施例提供的一种车辆检测模型的网络结构示意图，在检测目标图像中的车辆信息时，可将目标图像输入该车辆检测模型中的特征提取层，提取出目标图像的第一特征图。其中，该特征提取层包含主干网络backbone以及连接网络neck，该连接网络可采用FPN网络。之后，分别将该第一特征图输入目标检测层，得到车辆检测框、车牌检测框以及车辆类型。以及将该第一特征图输入上采样层，得到高分辨率的第二特征图。然后，基于车牌检测框从第二特征图中截取出车牌区域特征图，并将该车牌区域特征图输入号码识别层中，进行车牌号的识别。最后，得到该车辆检测模型对目标图像中车辆的检测结果，包括车辆在目标图像中的位置(车辆检测框)、车牌在目标图像中的位置(车牌检测框)、车辆类型以及车辆的车牌号。

基于图1所示的车辆检测方法，可先将待检测的目标图像输入车辆检测模型的特征提取层，提取该目标图像的第一特征图。之后，将该第一特征图输入目标检测层，确定该第一特征图中的车辆检测框、车牌检测框以及车辆类型，并将该第一特征图输入上采样层，得到上采样后的第二特征图。然后，根据该第一特征图中的车牌检测框，从第二特征图中确定出车牌区域特征图，并通过号码识别层，识别该车牌区域特征图的车牌号。最后，根据车辆检测框、车牌检测框、识别的车辆类型以及车牌号，确定目标图像的车辆检测结果。本说明书通过车辆检测模型对目标图像中车辆位置、车辆类型、车牌位置以及车牌号进行检测，节省了人力资源，提高了检测效率。

本说明书中所采用的车辆检测模型的训练方法如下，具体包括：

A0：获取历史上采集的若干包含车辆的环境图像，作为训练样本，并根据所述环境图像中车辆的车辆信息，对所述训练样本进行标注。

在对车辆检测模型进行模型训练时，可获取大量包含车辆的环境图像，作为训练样本。其中，该环境图像也可以是从监控视频中截取的若干关键帧。并根据每个环境图像中车辆的车辆位置、车牌位置、车辆类型以及车牌号，对训练样本进行标注。

A2：针对每个训练样本，将该训练样本输入待训练的车辆检测模型的特征提取层，确定该训练样本的第一特征图。

A4：将该训练样本的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型。

A6：将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图。

A8：根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图。

A10：将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别该训练样本中车辆的车牌号。

A12：以最小化各训练样本的车辆检测框、车辆类型、车牌检测框以及车牌号，与各训练样本的标注之间的差异为目标，调整所述车辆检测模型中各网络层的模型参数。

最后，根据各训练样本通过待训练的车辆检测模型的输出结果，与各训练样本标注的真实值，确定损失函数，并以最小化该损失函数为目标，调整该车辆检测模型中各网络层的模型参数。

在本说明书一种仓储场景下的实施例中，为避免仓库人员私自交易，如，私自售卖给超市等渠道赚取差价，还可对车辆上的车体文字进行识别，通过检测车体文字上是否包含“超市”等字样，判断是否有超市进货专用车辆进入仓库运货。

于是在通过本说明书步骤S104检测出第一特征图中的车辆检测框，以及通过步骤S106得到分辨率较高的第二特征图后，便可进行车辆区域的截取，以及对车辆区域进行文字识别。

具体的，首先，将车辆检测框从第一特征图中映射到第二特征图中，截取车辆区域特征图。由于车辆区域范围较大，难以直接进行文字识别，于是还需检测该车辆区域特征图中文字所在的位置，以对文字区域进行字符识别。可将该车辆区域特征图输入该车辆检测模型的文字检测层中，得到该车辆区域特征图中的文字区域检测框。之后，通过该车辆检测模型的文字识别层，对该车辆区域特征图中文字区域检测框内的文字进行识别，得到该目标图像中车辆的车体文字。

其中，由于各目标图像中车辆区域的大小不等，为了提高训练效率以及识别准确率，也可将各目标图像中的车辆区域统一为相同的固定尺寸。于是也可采用ROI-Align的方法将车辆区域特征图统一为固定尺寸。针对ROI-Align的方法在上述已经进行了详细阐述，本说明书对此不做赘述，可参见上述详细内容。

进一步的，本说明书中的文字检测层可采用像素连接(PixelLink)网络，通过检测车辆区域特征图中各像素点是否属于文字区域，以及判断各像素点之间的连接关系，并将属于文字区域的各像素点连接为连通域，根据连通域的最小外接矩形，得到该车辆区域特征图的文字区域检测框。

更进一步的，为了更好的学习上下文的序列特征，本说明书中的文字识别层也由双向LSTM网络以及翻译层组成。

图4为本说明书实施例提供的一种车辆检测模型的网络结构图，在检测目标图像中的车辆信息时，可将目标图像输入该车辆检测模型中的特征提取层，提取出目标图像的第一特征图。其中，该特征提取层包含主干网络backbone以及连接网络neck。之后，分别将该第一特征图输入目标检测层，得到车辆检测框、车牌检测框以及车辆类型。以及将该第一特征图输入上采样层，得到高分辨率的第二特征图。然后，基于车牌检测框从第二特征图中截取出车牌区域特征图，并将该车牌区域特征图输入号码识别层中，进行车牌号的识别。基于车辆检测框从第二特征图中截取出车辆区域特征图，并将该车辆区域特征图依次输入文字检测层、文字识别层中，识别车辆上的车体文字。

由于车辆检测与车体文字、车牌号的识别所采用的特征图的分辨率不同，现有技术中通常采用多个独立的网络提取不同分辨率的特征图，以分别用于进行车辆检测与文字识别。而采用本说明书提供的一体化的网络架构，只需经过一次特征提取的过程，便可得到车辆检测结果与文字识别结果，大大减少了特征提取的计算量，简化了进行多次特征提取的算法流程。

在对图4所示的车辆检测模型进行训练时，训练方法具体如下：本说明书中所采用的车辆检测模型的训练方法如下，具体包括：

B0：获取历史上采集的若干包含车辆的环境图像，作为训练样本，并根据所述环境图像中车辆的车辆信息，对所述训练样本进行标注。

可获取大量包含车辆的环境图像，作为训练样本。其中，该环境图像也可以是从监控视频中截取的若干关键帧。并根据每个环境图像中车辆的车辆位置、车牌位置、车辆类型、车牌号、车体文字所在位置及其内容，对训练样本进行标注。

B2：针对每个训练样本，将该训练样本输入待训练的车辆检测模型的特征提取层，确定该训练样本的第一特征图。

B4：将该训练样本的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型。

B6：将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图。

B8：根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图。

B10：将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别该训练样本中车辆的车牌号。

B12：根据所述第一特征图中的车辆检测框，从第二特征图中确定出车辆区域特征图。

B14：将所述车辆区域特征图输入所述车辆检测模型的文字检测层，确定所述车辆区域特征图中的文字区域检测框，并根据所述车辆区域特征图以及所述文字区域检测框，通过所述车辆检测模型的文字识别层，确定所述目标图像中车辆的车体文字。

B16：以最小化各训练样本的车辆检测框、车辆类型、车牌检测框、车牌号、文字区域检测框以及车体文字，与各训练样本的标注之间的差异为目标，调整所述车辆检测模型中各网络层的模型参数。

在本说明书一种实施例中，当通过上述方法检测出各目标图像中车辆类型、车牌号、车体文字等车辆信息后，可从各目标图像的车辆信息中，筛选车辆类型为轿车的车辆，筛选车牌号为外地车辆、未登记的车辆，筛选车体文字中包含“超市”等关键字样的车辆，并判断是否各车辆是否在仓库的非出货时间装载货物。其中，由于目标图像为监控视频中的关键帧，因此各目标图像对应有采集时间，可用于判断是否处于非出货时间段。

通过从监控视频的关键帧中分析车辆类型、车牌号、车体文字等多个维度的信息，对仓库内的异常交易情况进行全方位监控，大大节省了人力资源，提升了筛查效率。

当然，在本说明书其它实施例中，如案件侦查场景中，也可采用本说明书所述的方法对车辆上的车体文字进行识别，便于查找车辆。

在本说明书其它实施例中，若仓库的装卸场所在非出货时间放置有货物，则可能是存在货物滞留现象，也可能是等待异常交易。于是，在本说明书中还可通过目标检测层对目标图像中的货物进行检测，以避免货物滞留现象的发生，以及及时截止异常交易的发生，减少货物损失。

基于图1所示的一种车辆检测方法，本说明书实施例还对应提供一种车辆检测装置的结构示意图，如图5所示。

图5为本说明书实施例提供的一种车辆检测装置的结构示意图，包括：

获取模块200，配置为获取待检测的目标图像；

特征提取模块202，配置为将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图；

目标检测模块204，配置为将所述目标图像的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型；

上采样模块206，配置为将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图；

车牌确定模块208，配置为根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图；

车牌号识别模块210，配置为将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别所述目标图像中车辆的车牌号；

检测确定模块212，配置为根据所述目标图像的车辆检测框、车牌检测框、车辆类型以及车牌号，确定所述目标图像中的车辆检测结果。

可选地，所述上采样模块206具体用于，将所述第一特征图输入所述车辆检测模型的上采样层中，进行反卷积，得到中间特征图，根据所述中间特征图中各像素点的像素值，进行双线性插值，生成第二特征图。

可选地，所述特征提取模块202具体用于，将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述特征提取层的不同层级输出的图像特征，通过特征金字塔网络对不同层级输出的图像特征进行融合处理，得到融合后的图像特征，作为第一特征图。

可选地，所述车辆检测装置还包括车体文字识别模块211，所述车体文字识别模块211具体用于，根据所述第一特征图中的车辆检测框，从所述第二特征图中确定出车辆区域特征图，将所述车辆区域特征图输入所述车辆检测模型的文字检测层中，确定所述车辆区域特征图中的文字区域检测框，根据所述车辆区域特征图以及所述文字区域检测框，通过所述车辆检测模型的文字识别层，识别所述目标图像中车辆的车体文字。

可选地，所述车牌确定模块208具体用于，将所述车牌检测框从所述第一特征图映射到所述第二特征图中，确定车牌区域特征图，按照预设的固定尺寸，将所述车辆区域特征图划分为若干子区域，针对所述车辆区域特征图的每个子区域，按照预设的采样点数，将该子区域划分为若干网格，根据各网格内各像素点的像素值，进行双线性插值，确定各网格中心点的像素值，并根据各网格中心点的像素值，确定该子区域对应的像素值，根据各子区域对应的像素值，更新所述车辆区域特征图。

可选地，所述车辆检测装置还包括模型训练模块214，所述模型训练模块214具体用于，获取历史上采集的若干包含车辆的环境图像，作为训练样本，并根据所述环境图像中车辆的车辆信息，对所述训练样本进行标注；所述车辆信息至少包括车辆位置、车牌位置、车辆类型以及车牌号，针对每个训练样本，将该训练样本输入待训练的车辆检测模型的特征提取层，确定该训练样本的第一特征图，将该训练样本的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型，将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图，根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图，将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别该训练样本中车辆的车牌号，以最小化各训练样本的车辆检测框、车辆类型、车牌检测框以及车牌号，与各训练样本的标注之间的差异为目标，调整所述车辆检测模型中各网络层的模型参数。

可选地，所述文字识别层包括双向长短期记忆网络LSTM。

本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的车辆检测方法。

根据图1所示的一种车辆检测方法，本说明书实施例还提出了图6所示的电子设备的示意结构图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的车辆检测方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和生成专用的集成电路芯片。而且，如今，取代手工地生成集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种车辆检测方法，其特征在于，包括：

获取待检测的目标图像；

将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图；

将所述目标图像的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型；

将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图；

根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图，并将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别所述目标图像中车辆的车牌号；

根据所述目标图像的车辆检测框、车牌检测框、车辆类型以及车牌号，确定所述目标图像中的车辆检测结果。

2.如权利要求1所述的方法，其特征在于，将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图，具体包括：

将所述第一特征图输入所述车辆检测模型的上采样层中，进行反卷积，得到中间特征图；

根据所述中间特征图中各像素点的像素值，进行双线性插值，生成第二特征图。

3.如权利要求1所述的方法，其特征在于，将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图，具体包括：

将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述特征提取层的不同层级输出的图像特征；

通过特征金字塔网络对不同层级输出的图像特征进行融合处理，得到融合后的图像特征，作为第一特征图。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述第一特征图中的车辆检测框，从所述第二特征图中确定出车辆区域特征图；

将所述车辆区域特征图输入所述车辆检测模型的文字检测层中，确定所述车辆区域特征图中的文字区域检测框；

根据所述车辆区域特征图以及所述文字区域检测框，通过所述车辆检测模型的文字识别层，识别所述目标图像中车辆的车体文字。

5.如权利要求1所述的方法，其特征在于，根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图，具体包括：

将所述车牌检测框从所述第一特征图映射到所述第二特征图中，确定车牌区域特征图；

按照预设的固定尺寸，将所述车辆区域特征图划分为若干子区域；

针对所述车辆区域特征图的每个子区域，按照预设的采样点数，将该子区域划分为若干网格；

根据各网格内各像素点的像素值，进行双线性插值，确定各网格中心点的像素值，并根据各网格中心点的像素值，确定该子区域对应的像素值；

根据各子区域对应的像素值，更新所述车辆区域特征图。

6.如权利要求1所述的方法，其特征在于，训练车辆检测模型，具体包括：

获取历史上采集的若干包含车辆的环境图像，作为训练样本，并根据所述环境图像中车辆的车辆信息，对所述训练样本进行标注；所述车辆信息至少包括车辆位置、车牌位置、车辆类型以及车牌号；

针对每个训练样本，将该训练样本输入待训练的车辆检测模型的特征提取层，确定该训练样本的第一特征图；

将该训练样本的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型；

将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图；

根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图；

将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别该训练样本中车辆的车牌号；

以最小化各训练样本的车辆检测框、车辆类型、车牌检测框以及车牌号，与各训练样本的标注之间的差异为目标，调整所述车辆检测模型中各网络层的模型参数。

7.如权利要求4所述的方法，其特征在于，所述文字识别层包括双向长短期记忆网络LSTM。

8.一种车辆检测装置，其特征在于，包括：

获取模块，配置为获取待检测的目标图像；

特征提取模块，配置为将所述目标图像输入预先训练的车辆检测模型的特征提取层，确定所述目标图像的第一特征图；

目标检测模块，配置为将所述目标图像的第一特征图输入所述车辆检测模型的目标检测层中，确定所述第一特征图中的车辆检测框、车牌检测框以及车辆类型；

上采样模块，配置为将所述第一特征图输入所述车辆检测模型的上采样层，得到第二特征图；

车牌确定模块，配置为根据所述第一特征图中的车牌检测框，从所述第二特征图中确定出车牌区域特征图；

车牌号识别模块，配置为将所述车牌区域特征图输入所述车辆检测模型的号码识别层中，识别所述目标图像中车辆的车牌号；

检测确定模块，配置为根据所述目标图像的车辆检测框、车牌检测框、车辆类型以及车牌号，确定所述目标图像中的车辆检测结果。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一所述的方法。

Images