CN111723795A - 异常车牌识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了异常车牌识别方法、装置、电子设备及存储介质，该方法包括：将待检测图像数据输入到第一卷积神经网络中进行分析，得到待检测图像数据的第一浅层图像语义特征并输入到第二卷积神经网络中进行分析，确定待检测图像数据中的车辆是否悬挂车牌；将第一浅层图像语义特征输入到第三卷积神经网络中得到待检测图像数据中车辆的车脸位置；将待检测图像数据及车脸位置输入到第四卷积神经网络中，得到第二浅层图像语义特征；将第二浅层图像语义特征输入到第五卷积神经网络中，确定待检测图像数据中车辆的车牌是否遮挡；将第二浅层图像语义特征输入到第六卷积神经网络中，确定待检测图像数据中车辆的车牌是否污损。实现了对异常车牌的识别。

Description

异常车牌识别方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及异常车牌识别方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，通过计算机代替人工对图像数据进行识别成为可能。尤其是卷积神经网络出现后，图像自动识别技术得到了迅猛发展。在交通管理场景中，大量的监控设备每天会产生海量的图像数据，通过人工对这些图像数据进行一一排查几乎变得不可能。计算机视觉技术的应用能够大大减轻人工工作量，有效识别出违反交通法规的行为。

在相关车牌识别技术中，通常利用卷积神经网络确定出图像数据中车牌的车牌框，并对车牌框中的数字进行识别，从而得到车牌位置及车牌号。但是实际场景中，有些异常车牌的情况，例如，车辆未悬挂车牌、车牌污损或车牌遮挡等，而上述方法无法识别异常车牌。因此，希望能够对异常车牌进行识别。

发明内容

本申请实施例的目的在于提供一种异常车牌识别方法、装置、电子设备及存储介质，以实现对异常车牌进行识别。具体技术方案如下：

第一方面，本申请实施例提供了一种异常车牌识别方法，所述方法包括：

获取待检测图像数据；

将所述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到所述待检测图像数据的第一浅层图像语义特征；

将所述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌；

将所述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车脸位置；

将所述待检测图像数据及所述车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征；

将所述第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否遮挡；

将所述第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否污损。

可选的，所述第一卷积神经网络包括级联卷积神经网络A及级联卷积神经网络B；

所述将所述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到所述待检测图像数据的第一浅层图像语义特征，包括：

将所述待检测图像数据输入到预先训练的级联卷积神经网络A中进行分析，得到所述待检测图像数据中车辆的车辆位置、车辆类别及中层图像空间特征；

将所述中层图像空间特征输入到预先训练的级联卷积神经网络B中进行分析，得到第一浅层图像语义特征。

可选的，所述第二卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

所述将所述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌，包括：

将所述第一浅层图像语义特征输入到预先训练的级联卷积神经网络D中进行分析，得到第一深层图像语义特征；

将所述第一深层图像语义特征输入到预先训练的级联卷积神经网络F中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌。

可选的，所述第三卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

所述将所述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车脸位置，包括：

将所述第一浅层图像语义特征输入到预先训练的级联卷积神经网络C中进行分析，得到第二深层图像语义特征；

将所述第二深层图像语义特征输入到预先训练的级联卷积神经网络E中进行分析，到所述待检测图像数据中车辆的车脸位置。

可选的，本申请实施例的异常车牌识别方法还包括：

将所述第二浅层图像语义特征输入到预先训练的第七卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车牌位置及车牌类别；

将所述车牌位置及所述待检测图像数据输入到预先训练的第八卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车牌号。

第二方面，本申请实施例提供了一种异常车牌识别装置，所述装置包括：

图像获取模块，用于获取待检测图像数据；

第一处理模块，用于将所述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到所述待检测图像数据的第一浅层图像语义特征；

第二处理模块，用于将所述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌；

第三处理模块，用于将所述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车脸位置；

第四处理模块，用于将所述待检测图像数据及所述车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征；

第五处理模块，用于将所述第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否遮挡；

第六处理模块，用于将所述第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否污损。

可选的，所述第一卷积神经网络包括级联卷积神经网络A及级联卷积神经网络B；

所述第一处理模块，包括：

第一分析子模块，用于将所述待检测图像数据输入到预先训练的级联卷积神经网络A中进行分析，得到所述待检测图像数据中车辆的车辆位置、车辆类别及中层图像空间特征；

第二分析子模块，用于将所述中层图像空间特征输入到预先训练的级联卷积神经网络B中进行分析，得到第一浅层图像语义特征。

可选的，所述第二卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

所述第二处理模块，包括：

第三分析子模块，用于将所述第一浅层图像语义特征输入到预先训练的级联卷积神经网络D中进行分析，得到第一深层图像语义特征；

第四分析子模块，用于将所述第一深层图像语义特征输入到预先训练的级联卷积神经网络F中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌。

可选的，所述第三卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

所述第三处理模块，包括：

第五分析子模块，用于将所述第一浅层图像语义特征输入到预先训练的级联卷积神经网络C中进行分析，得到第二深层图像语义特征；

第六分析子模块，用于将所述第二深层图像语义特征输入到预先训练的级联卷积神经网络E中进行分析，到所述待检测图像数据中车辆的车脸位置。

可选的，本申请实施例的异常车牌识别装置还包括：

第七处理模块，用于将所述第二浅层图像语义特征输入到预先训练的第七卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车牌位置及车牌类别；

第八处理模块，用于将所述车牌位置及所述待检测图像数据输入到预先训练的第八卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车牌号。

第三方面，本申请实施例提供了一种电子设备，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一异常车牌识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一异常车牌识别方法。

本申请实施例提供的异常车牌识别方法、装置、电子设备及存储介质，获取待检测图像数据；将待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到待检测图像数据的第一浅层图像语义特征；将第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定待检测图像数据中的车辆是否悬挂车牌；将第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到待检测图像数据中车辆的车脸位置；将待检测图像数据及车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征；将第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定待检测图像数据中车辆的车牌是否遮挡；将第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定待检测图像数据中车辆的车牌是否污损。通过检查车辆是否悬挂车牌、车牌是否遮挡及车牌是否污损等，实现了对异常车牌的识别。增加了车脸的相关检测，可以增加异常车牌的检测速度及准确度。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的异常车牌识别方法的第一种示意图；

图2为本申请实施例的异常车牌识别方法的第二种示意图；

图3为本申请实施例的车辆检测框及车牌检测框的一种示意图；

图4为本申请实施例的异常车牌识别方法的第三种示意图；

图5为本申请实施例的检测网络一种示意图；

图6为本申请实施例的异常车牌识别装置的一种示意图；

图7为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请实施例中的术语进行解释：

车脸：车辆的车头或车尾。

异常车牌：车辆未悬挂车牌、车牌污损或车牌被遮挡。

实际交通场景中，车辆的车牌极有可能被遮挡、污损、或根本没有悬挂车牌，对于这些异常车牌情况，检测难度大，通用的车牌检测方法性能不佳。一般通用的车牌检测算法，如果对于一辆车辆没有输出车牌结果，可能是检测性能不好也可能是车辆未悬挂车牌，而且在车牌污损或被遮挡的情况下，车牌检测性能会直线下降。有鉴于此，本申请实施例提供了一种异常车牌识别方法，参见图1，该方法包括：

S101，获取待检测图像数据。

本申请实施例的异常车牌识别方法，可以通过电子设备实现，该电子设备包括处理器及存储器，存储器中存储有计算机程序，处理器在运行存储器中的计算机程序时，实现本申请的异常车牌识别方法。具体的，电子设备可以为智能摄像机、硬盘录像机或服务器等。

电子设备获取待检测图像数据，可以为电子设备实时获取监控设备采集的图像数据作为待检测图像数据，也可以为获取数据库中的图像数据作为待检测图像数据。待检测图像数据可以为单帧视频帧。

S102，将上述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到上述待检测图像数据的第一浅层图像语义特征。

电子设备利用预先训练的第一卷积神经网络对待检测图像数据进行分析，得到待检测图像数据的第一浅层图像语义特征。第一卷积神经网络用于提取待检测图像数据的浅层图像语义特征，其中，语义特征一般用于目标识别及分类，且图像层级越深，卷积和池化程度越高。第一卷积神经网络级联第二卷积神经网络及第三卷积神经网络，以进行后续识别。

S103，将上述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定上述待检测图像数据中的车辆是否悬挂车牌。

电子设备利用预先训练的第二卷积神经网络对第一浅层图像语义特征进行分析，确定待检测图像数据中的车辆是否悬挂车牌。第二卷积神经网络的输出的结果可以是二值化的，即第二卷积神经网络的输出的结果为车辆悬挂车牌或车辆未悬挂车牌。

第一卷积神经网络、第二卷积神经网络及第三卷积神经网络可以同时进行训练，标定的信息是车脸外接矩形及车辆是否悬挂车牌。

可选的，上述第二卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E。

上述将上述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定上述待检测图像数据中的车辆是否悬挂车牌，包括：

步骤一，将上述第一浅层图像语义特征输入到预先训练的级联卷积神经网络D中进行分析，得到第一深层图像语义特征。

级联卷积神经网络D用于对第一浅层图像语义特征进行进一步的卷积运算及池化运算，得到第一深层图像语义特征。

步骤二，将上述第一深层图像语义特征输入到预先训练的级联卷积神经网络F中进行分析，确定上述待检测图像数据中的车辆是否悬挂车牌。

级联卷积神经网络F用于对第一深层图像语义特征进行分析，判断待检测图像数据中的车辆是否悬挂车牌。

S104，将上述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车脸位置。

电子设备利用预先训练的第三卷积神经网络对第一浅层图像语义特征进行分析，确定待检测图像数据中的车辆是否悬挂车牌。第三卷积神经网络的输出的结果可以采用标定框的方式，即通过车牌检测框标注车牌位置，也可以输出车牌区域的坐标等。可选的，在一种可能的实施方式中，为了节约计算资源，在第二卷积神经网络输出的结果为待检测图像数据中的车辆未悬挂车牌时，不在执行S104-S107的步骤，最终输出的结果为车辆未悬挂车牌。在第二卷积神经网络输出的结果为待检测图像数据中的车辆悬挂车牌时，再执行S104。当然在其他可能的实施方式中，也可以同时执行S103及S104，或先执行S104再执行S103等。

在本申请实施例中，首先通过第一卷积神经网络获取待检测图像数据的第一浅层图像语义特征，然后将第一浅层图像语义特征作为级联的第二卷积神经网络及第三卷积神经网络的输入，从而确定车辆是否悬挂车牌及车牌的位置。相比于利用两个相互独立的卷积神经网络分别对待检测图像数据进行分析，第一卷积神经网络相当于提取了两个独立卷积神经网络中的相同运算部分，从而能够减少神经网络整体的复杂度，节约计算资源。

可选的，上述第三卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E。

上述将上述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车脸位置，包括：

步骤一，将上述第一浅层图像语义特征输入到预先训练的级联卷积神经网络C中进行分析，得到第二深层图像语义特征。

级联卷积神经网络C用于对第一浅层图像语义特征进行进一步的卷积运算及池化运算，得到第二深层图像语义特征。

步骤二，将上述第二深层图像语义特征输入到预先训练的级联卷积神经网络E中进行分析，到上述待检测图像数据中车辆的车脸位置。

级联卷积神经网络F用于对第二深层图像语义特征进行分析，得到待检测图像数据中车辆的车脸位置。

在训练过程中，可以同时训练用于车脸检测的网络(包括级联卷积神经网络C和级联卷积神经网络E)和判断车辆是否悬挂车牌的网络(包括级联卷积神经网络D和级联卷积神经网络F)，以及它们的共享主干第一卷积神经网络，标定的信息是车脸外接矩形、车辆是否悬挂车牌。

S105，将上述待检测图像数据及上述车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征。

第四卷积神经网络用于获取待检测图像数据中车脸区域的第二浅层特征语义特征，第四卷积神经网络可以按照车脸位置，在待检测图像数据中确定车脸区域，并对车脸区域进行分析，得到第二浅层图像语义特征。在一种可能的实施方式中，为了减少神经网络的复杂度，S105可以为按照车脸位置在待检测图像数据中提取车脸区域，将车脸区域输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征。电子设备可以先按照车脸位置在待检测图像数据中截取车脸区域，再利用第四卷积神经网络对车脸区域进行分析，得到第二浅层图像语义特征。

S106，将上述第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定上述待检测图像数据中车辆的车牌是否遮挡。

S107，将上述第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定上述待检测图像数据中车辆的车牌是否污损。

第四卷积神经网络、第五卷积神经网络及第六卷积神经网络需要同时进行训练。可以在悬挂车牌的车脸区域中，标定车牌四个点位置、车牌污损度、车牌遮挡程度，同时训练判断车牌是否污损网络(包括第四卷积神经网络和第六卷积神经网络)、判断车牌是否遮挡网络(包括第四卷积神经网络和第五卷积神经网络)，直至任务收敛。如果车辆没有悬挂车牌，车牌四个点位置、车牌污损度、车牌遮挡程度标为not care(不在乎)。

在本申请实施例中，通过检查车辆是否悬挂车牌、车牌是否遮挡及车牌是否污损等，实现了对异常车牌的识别。增加了车脸的相关检测，可以增加异常车牌的检测速度及准确度。

可选的，上述第一卷积神经网络包括级联卷积神经网络A及级联卷积神经网络B；

参见图2，上述将上述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到上述待检测图像数据的第一浅层图像语义特征，包括：

S1021，将上述待检测图像数据输入到预先训练的级联卷积神经网络A中进行分析，得到上述待检测图像数据中车辆的车辆位置、车辆类别及中层图像空间特征。

车辆类别可以包括轿车、大卡车、大巴、非机动车、摩托车等，同时可以区分车辆的车头和车尾。空间特征一般用于表征图像的基本纹理及颜色信息。在一种可能的实施例方式中，级联卷积神经网络A还可以排除掉不包括车辆的图像数据，在级联卷积神经网络A未能识别车辆位置及车辆类别时，说明图像数据中可能不包括车辆，因此可以不再对该图像数据进行后续检测。具体的，车辆位置可以通过车辆检测框表示，例如图3所示，其中四边形301为车辆检测框，四边形302为车脸检测框。

S1022，将上述中层图像空间特征输入到预先训练的级联卷积神经网络B中进行分析，得到第一浅层图像语义特征。

在训练过程中，需要先训练级联卷积神经网络A，标定的信息是车辆外接框和车辆类别。练级联卷积神经网络A收敛后，锁定练级联卷积神经网络A的系数，再同时第三卷积神经网络和第四卷积神经网络，以及第三卷积神经网络和第四卷积神经网络共享的第二卷积神经网络，标定的信息是车脸外接矩形、车辆是否悬挂车牌。

在本申请实施例中，将级联卷积神经网络A的特征，作为级联卷积神经网络B的输入，能够在识别车辆类别及车辆位置的同时节约计算资源。

可选的，参见图4本申请实施例的异常车牌识别方法还包括：

S401，将上述第二浅层图像语义特征输入到预先训练的第七卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车牌位置及车牌类别。

本申请实施例的异常车牌识别方法还可以通过第七卷积神经网络得到车牌位置及车牌类别，在训练过程中，第四卷积神经网络、第五卷积神经网络、第六卷积神经网络及第七卷积神经网络需要同时进行训练。可以在悬挂车牌的车脸区域中，标定标定车牌四个点位置、车牌污损度、车牌遮挡程度、车牌类别，同时训练判断车牌是否污损网络(包括第四卷积神经网络和第六卷积神经网络)、判断车牌是否遮挡网络(包括第四卷积神经网络和第五卷积神经网络)、车牌位置检测与分类网络(包括第四卷积神经网络和第七卷积神经网络)，直至任务收敛。如果车辆没有悬挂车牌，车牌四个点位置、车牌污损度、车牌遮挡程度、车牌类别标为not care。

S402，将上述车牌位置及上述待检测图像数据输入到预先训练的第八卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车牌号。

第八卷积神经网络用于确定车牌号，第八卷积神经网络可以按照车牌位置，在待检测图像数据中确定车牌区域，并对车牌区域进行分析，得到车牌号。在一种可能的实施方式中，为了减少神经网络的复杂度，S402可以为按照车牌位置在待检测图像数据中提取车牌区域，将车牌区域输入到预先训练的第八卷积神经网络中进行分析，得到车牌号。电子设备可以先按照车牌位置在待检测图像数据中截取车牌区域，再利用第八卷积神经网络对车牌区域进行分析，得到车牌号。

在本申请实施例中，在检测异常车牌的同时，还可以检测正常车牌的车牌号。并且将异常车牌检测网络与正常车牌检测网络部分特征融合，在功能不变的情况下，减少网络整体的复杂度，节约计算资源。

在本申请实施例的一种可能的实施方式中，整体检测网络的架构可以如图5所示，相应的本申请实施例的异常车牌识别方法包括：

步骤一，将待检测图像数据输入到级联卷积神经网络A中进行分析，得到待检测图像数据中车辆的车辆位置、车辆类型及中层图像空间特征。

将待检测图像数据送入检测网络，主干网络由级联卷积神经网络A构成，提取关于车辆的特征，回归车辆的位置(包含车灯、车底座、车牌悬挂、车窗的检测框)，同时区分车辆类别(例如轿车、大卡车、大巴、非机动车、摩托车等，区分车头和车尾)。

步骤二，将中层图像空间特征输入到预先训练的级联卷积神经网络B中进行分析，得到第一浅层图像语义特征

主干网络(级联卷积神经网络A)后接级联卷积神经网络B，后面再接两个分支，一个分支做车脸检测，一个分支做判断是否悬挂车牌；两个分支共享级联卷积神经网络B。

步骤三，将第一浅层图像语义特征输入到预先训练的级联卷积神经网络D中进行分析，得到第一深层图像语义特征；将第一深层图像语义特征输入到预先训练的级联卷积神经网络F中进行分析，确定待检测图像数据中的车辆是否悬挂车牌。

判断车牌是否悬挂的分支是由级联卷积神经网络D和F构成，用于判断车辆是否悬挂车牌。

步骤四，将第一浅层图像语义特征输入到预先训练的级联卷积神经网络C中进行分析，得到第二深层图像语义特征；将第二深层图像语义特征输入到预先训练的级联卷积神经网络E中进行分析，到待检测图像数据中车辆的车脸位置。

车脸检测分支是由级联卷积神经网络C和E构成，回归车脸位置，即仅包含车灯和车牌的区域，例如图3所示。

步骤五，将待检测图像数据及车脸位置输入到预先训练的第四卷积神经网络(即级联卷积神经网络G)中进行分析，得到第二浅层图像语义特征。

结合车脸位置，在待检测图像数据中抠取车脸区域，并进行随机crop作为输入，后接三个分支，一个分支用于回归车牌位置和车牌分类；一个分支用于判断是否遮挡；一个分支用于判断是否污损，这几个分支共享级联卷积神经网络G。

步骤六，将第二浅层图像语义特征输入到预先训练的第五卷积神经网络(即级联卷积神经网络I)中进行分析，确定待检测图像数据中车辆的车牌是否遮挡。

判断车牌是否遮挡的网络由级联卷积神经网络G和I构成，用于判断车牌是否被遮挡。

步骤七，将第二浅层图像语义特征输入到预先训练的第六卷积神经网络(即级联卷积神经网络J)中进行分析，确定待检测图像数据中车辆的车牌是否污损。

判断车牌是否污损的网络由级联卷积神经网络G和J构成，用于判断车牌是否污损。

步骤八，将第二浅层图像语义特征输入到预先训练的第七卷积神经网络(即级联卷积神经网络H)中进行分析，得到待检测图像数据中车辆的车牌位置及车牌类别。

判断车牌位置和分类的网络由级联卷积神经网络G和H构成，用于回归车牌位置，同时区分车牌的类型(例如黄底单层牌、黄底双层牌、蓝底单层牌、军牌、警牌、新能源牌等)。

步骤九，将车牌位置及待检测图像数据输入到预先训练的第八卷积神经网络(卷积神经网络K)中进行分析，得到待检测图像数据中车辆的车牌号。

结合车牌位置，在待检测图像数据中抠取车牌区域，送入卷积神经网络K，输出字符串识别内容。

步骤十，结合是否污损、是否遮挡和单字识别置信度，给出车牌识别置信度。

判断污损的网络输出类别以及属于污损的置信度conf1；判断遮挡的网络输出类别以及属于遮挡的置信度conf2；识别字符置信度conf3；最终置信度＝conf3*(1-conf1)*(1-conf2)。

在本申请实施例中，通过检查车辆是否悬挂车牌、车牌是否遮挡及车牌是否污损等，实现了对异常车牌的识别。通过增加车辆、车脸、车辆特征点的监督信息，可以加快是否悬挂车牌、是否污损、是否遮挡网络、车牌检测和分类网络的收敛。同时这些分支可以相互监督训练；能够基于单帧图像的深度学习网络框架实现的，同时解决正常车牌、未悬挂车牌、污损、遮挡的车牌识别问题。将车辆检测网络的特征作为浅层特征，利用车辆信息监督训练车脸检测网络和车辆关键点检测网络，可以加快车脸检测网络和车辆关键点检测网络收敛。将车牌检测网络部分特征与车辆检测网络部分特征融合，用于监督训练车牌检测网络、车牌是否遮挡网络、车牌是否污损网络、车牌是否悬挂网络。在识别车牌的同时给出车牌的属性(遮挡、污损、正常、未悬挂)，对于悬挂车牌的情况，结合这些属性，给出车牌识别的置信度。借助这些属性的监督学习，有利于提高异常车牌的识别率，同时也不影响正常车牌识别效果。

本申请实施例还提供了一种异常车牌识别装置，参见图6，该装置包括：

图像获取模块601，用于获取待检测图像数据；

第一处理模块602，用于将上述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到上述待检测图像数据的第一浅层图像语义特征；

第二处理模块603，用于将上述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定上述待检测图像数据中的车辆是否悬挂车牌；

第三处理模块604，用于将上述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车脸位置；

第四处理模块605，用于将上述待检测图像数据及上述车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征；

第五处理模块606，用于将上述第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定上述待检测图像数据中车辆的车牌是否遮挡；

第六处理模块607，用于将上述第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定上述待检测图像数据中车辆的车牌是否污损。

可选的，上述第一卷积神经网络包括级联卷积神经网络A及级联卷积神经网络B；

上述第一处理模块602，包括：

第一分析子模块，用于将上述待检测图像数据输入到预先训练的级联卷积神经网络A中进行分析，得到上述待检测图像数据中车辆的车辆位置、车辆类别及中层图像空间特征；

第二分析子模块，用于将上述中层图像空间特征输入到预先训练的级联卷积神经网络B中进行分析，得到第一浅层图像语义特征。

可选的，上述第二卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

上述第二处理模块603，包括：

第三分析子模块，用于将上述第一浅层图像语义特征输入到预先训练的级联卷积神经网络D中进行分析，得到第一深层图像语义特征；

第四分析子模块，用于将上述第一深层图像语义特征输入到预先训练的级联卷积神经网络F中进行分析，确定上述待检测图像数据中的车辆是否悬挂车牌。

可选的，上述第三卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

上述第三处理模块604，包括：

第五分析子模块，用于将上述第一浅层图像语义特征输入到预先训练的级联卷积神经网络C中进行分析，得到第二深层图像语义特征；

第六分析子模块，用于将上述第二深层图像语义特征输入到预先训练的级联卷积神经网络E中进行分析，到上述待检测图像数据中车辆的车脸位置。

可选的，本申请实施例的异常车牌识别装置还包括：

第七处理模块，用于将上述第二浅层图像语义特征输入到预先训练的第七卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车牌位置及车牌类别；

第八处理模块，用于将上述车牌位置及上述待检测图像数据输入到预先训练的第八卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车牌号。

本申请实施例还提供了一种电子设备，包括处理器及存储器；

上述存储器，用于存放计算机程序；

上述处理器，用于执行上述存储器上所存放的程序时，实现如下步骤：

获取待检测图像数据；

将上述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到上述待检测图像数据的第一浅层图像语义特征；

将上述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定上述待检测图像数据中的车辆是否悬挂车牌；

将上述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到上述待检测图像数据中车辆的车脸位置；

将上述待检测图像数据及上述车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征；

将上述第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定上述待检测图像数据中车辆的车牌是否遮挡；

将上述第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定上述待检测图像数据中车辆的车牌是否污损。

可选的，上述处理器用于执行存储器上所存放的程序时，还能够实现上述任一异常车牌识别方法。

可选的，参见图7，本申请实施例的电子设备还包括通信接口702和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的异常车牌识别方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种异常车牌识别方法，其特征在于，所述方法包括：

获取待检测图像数据；

将所述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到所述待检测图像数据的第一浅层图像语义特征；

将所述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌；

将所述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车脸位置；

将所述待检测图像数据及所述车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征；

将所述第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否遮挡；

将所述第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否污损。

2.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络包括级联卷积神经网络A及级联卷积神经网络B；

所述将所述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到所述待检测图像数据的第一浅层图像语义特征，包括：

将所述待检测图像数据输入到预先训练的级联卷积神经网络A中进行分析，得到所述待检测图像数据中车辆的车辆位置、车辆类别及中层图像空间特征；

将所述中层图像空间特征输入到预先训练的级联卷积神经网络B中进行分析，得到第一浅层图像语义特征。

3.根据权利要求1所述的方法，其特征在于，所述第二卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

所述将所述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌，包括：

将所述第一浅层图像语义特征输入到预先训练的级联卷积神经网络D中进行分析，得到第一深层图像语义特征；

将所述第一深层图像语义特征输入到预先训练的级联卷积神经网络F中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌。

4.根据权利要求1所述的方法，其特征在于，所述第三卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

所述将所述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车脸位置，包括：

将所述第一浅层图像语义特征输入到预先训练的级联卷积神经网络C中进行分析，得到第二深层图像语义特征；

将所述第二深层图像语义特征输入到预先训练的级联卷积神经网络E中进行分析，到所述待检测图像数据中车辆的车脸位置。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第二浅层图像语义特征输入到预先训练的第七卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车牌位置及车牌类别；

将所述车牌位置及所述待检测图像数据输入到预先训练的第八卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车牌号。

6.一种异常车牌识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测图像数据；

第一处理模块，用于将所述待检测图像数据输入到预先训练的第一卷积神经网络中进行分析，得到所述待检测图像数据的第一浅层图像语义特征；

第二处理模块，用于将所述第一浅层图像语义特征输入到预先训练的第二卷积神经网络中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌；

第三处理模块，用于将所述第一浅层图像语义特征输入到预先训练的第三卷积神经网络中进行分析，得到所述待检测图像数据中车辆的车脸位置；

第四处理模块，用于将所述待检测图像数据及所述车脸位置输入到预先训练的第四卷积神经网络中进行分析，得到第二浅层图像语义特征；

第五处理模块，用于将所述第二浅层图像语义特征输入到预先训练的第五卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否遮挡；

第六处理模块，用于将所述第二浅层图像语义特征输入到预先训练的第六卷积神经网络中进行分析，确定所述待检测图像数据中车辆的车牌是否污损。

7.根据权利要求6所述的装置，其特征在于，所述第一卷积神经网络包括级联卷积神经网络A及级联卷积神经网络B；

所述第一处理模块，包括：

第一分析子模块，用于将所述待检测图像数据输入到预先训练的级联卷积神经网络A中进行分析，得到所述待检测图像数据中车辆的车辆位置、车辆类别及中层图像空间特征；

第二分析子模块，用于将所述中层图像空间特征输入到预先训练的级联卷积神经网络B中进行分析，得到第一浅层图像语义特征。

8.根据权利要求6所述的装置，其特征在于，所述第二卷积神经网络包括：级联卷积神经网络C及级联卷积神经网络E；

所述第二处理模块，包括：

第三分析子模块，用于将所述第一浅层图像语义特征输入到预先训练的级联卷积神经网络D中进行分析，得到第一深层图像语义特征；

第四分析子模块，用于将所述第一深层图像语义特征输入到预先训练的级联卷积神经网络F中进行分析，确定所述待检测图像数据中的车辆是否悬挂车牌。

9.一种电子设备，其特征在于，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。

Images