CN113378972A - 一种复杂场景下的车牌识别方法及系统 - Google Patents

Abstract

本发明公开了一种复杂场景下的车牌识别方法，包括：获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理；将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片；将所述识别结果输入评估模型，获取评估结果，可实现复杂场景下的车牌识别，且具有较高的识别准确率。

Description

一种复杂场景下的车牌识别方法及系统

技术领域

本发明涉及图像检测技术领域，更具体的说是一种复杂场景下的车牌识别方法及系统。

背景技术

作为智能交通监控及管理系统的重要组成部分，车牌自动识别一直是人们研究的热点。车牌识别系统(License Plate Recognition System，LPRS)在交通道路信息化管理上具有重要的作用，大大提高了传统管理模式的效率。车牌检测识别系统是城市大脑系统不可缺少的一部分，有着广泛的应用场景。比如通过十字路口的摄像头对违章车辆进行抓拍，对于违法犯罪的车辆追踪，收费站、停车场、港口、小区的车牌识别系统等。

近几年，基于深度学习的目标检测和图像处理算法取得了较好的进展。U-Net

在2015年被提出，并在生物医学图像的分割领域得到了广泛的应用。U-Net模型最大限度地利用了车牌图像的浅层和深层特征，实现对车牌区域精准定位。在无需对字符分割的情况下，通过卷积神经网络(CNN)对车牌实现端到端的识别，但是在采用了人工智能方面的技术后，可以直接对车牌进行端到端的识别，提高了识别的速度和准确率。另外，在可维护性和便携性方面，采用人工智能相关技术的方案相较传统方案也是更胜一筹。目前，在各个交通场景下，采用上述技术方案的产品应用极为广泛。

但是在一些复杂场景中，如远距离、光照变化、大角度引起车牌变形、运动模糊、雨天等场景下仍然有很大的优化空间。目前很多系统不支持这种复杂场景或者识别效果较差，一些车牌检测识别系统的做法仍然较为粗糙，不能根据不同场景做一些针对性优化。

因此，需要一种准确率更高且适用场景更广的车牌识别方法。

发明内容

本说明书实施例的一个方面提供一种复杂场景下的车牌识别方法，包括：获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理；将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片；将所述识别结果输入评估模型，获取评估结果。

在一些实施例中，所述识别模型依次包括下采样模块、序列化特征提取模块、图像增强模块；所述下采样模块用于对输入的车牌数据集进行下采样并提取底层特征；所述序列化特征提取模块用于对提取的所述底层特征进行序列化特征提取；所述图像增强模块用于对提取的所述底层特征进行图像增强。

在一些实施例中，所述下采样模块由一个卷积层和三个Resblock模块组成，一个所述Resblock模块中至少包括两个卷积层。

在一些实施例中，所述图像增强模块采用上采样进行图像增强。

在一些实施例中，所述评估模型采用以下方式对所述识别结果进行评估：

Acc＝Righer/All；

Acc代表识别模型的识别车牌的精确率，Right代表识别正确的车牌数，All代表所有车牌数据集中的车牌的样本数；

所述评估模型的测试指标至少包括以下一种：回归损失平方和、top1车牌准确率、top1_in_top5车牌准确率；

其中，所述回归损失平方和与车牌数据集的车牌图片的识别置信度和预测质量分相关，所述top1车牌准确率、top1_in_top5车牌准确率与识别模型的识别准确率相关。

本申请对复杂场景下的车牌识别技术进行了研究。针对目前业界对复杂场景下车牌识别效果较差的情况下，本申请通过多任务学习的方式,在做车牌识别的过程中融合图像增强模块来提高模型对复杂场景的适应性。序列化特征提取采用muti-attention模块，使得算法更关注文字的位置信息。在车牌识别模块中融合图像增强模块的细节特征,利用模型学习复杂场景下车牌信息到固定车牌信息的变换,以提高识别效果。

本说明书实施例的一个方面提供一种复杂场景下的车牌识别设备，包括：获取模块，用于获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理；识别模块，用于将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片；评估模块，用于将所述识别结果输入评估模型，获取评估结果。

本说明书实施例的一个方面提供一种复杂场景下的车牌识别装置，所述装置包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现所述复杂场景下的车牌识别方法对应的操作。

本说明书实施例的一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，实现所述复杂场景下的车牌识别方法。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的复杂场景下的车牌识别设备的应用场景示意图；

图2是根据本申请的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图；

图3是根据本申请的一些实施例所示的可以在其上实现一个或以上终端的示例性移动设备的示例性硬件和/或软件组件的示意图；

图4是根据本申请的一些实施例所示的示例性处理引擎的示意框图；

图5是根据本说明书的一些实施例所示的复杂场景下的车牌识别方法的流程图；

图6是根据本说明书的一些实施例所示的识别模型识别车牌的流程示意图；

图7是根据本说明书的一些实施例所示的下采样模块的示意图；

图8是根据本说明书的一些实施例所示的Resblock模块的示意图；

图9是根据本说明书的一些实施例所示的识别模型的训练流程示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

车辆可以包括带牌照的人力车(例如，自行车、三轮车)、带牌照的电动车(例如，电动自行车、电动三轮车)、带牌照的汽车(例如，出租车、公共汽车、私人汽车)、带牌照的火车、带牌照的地铁、带牌照的轮船、带牌照的飞机(例如，飞机、直升机、航天飞机、火箭)等或其任意组合。

本申请中使用的车牌可以是与特定交通工具相关联的标志。例如常规的悬挂于车辆前方及后方的拍照，同时，也可以是车辆的其他身份标识码，例如车架号等其他编号。本申请的实施例可以应用于各种车牌的识别。应当理解的是，本申请的系统及方法的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。虽然本申请主要以车辆、特别是汽车为例进行了描述，但需要注意的是，本申请的原理也可应用于其他物品，根据本申请的原理也可以确定这些物品的身份标识。

在本申请中，车辆的牌照识别的判定仅作为示例。应当注意的是，检测车辆拍照的具体内容仅用于说明目的，并非旨在限制本申请的范围。在一些实施例中，本公开可以应用于其他类似的情景，例如但不限于产品的识别等。

图1是根据本申请的一些实施例的示例性监控系统的示意图。在一些实施例中，应用场景100可以被配置为监控特定场所处的车辆等。可以在学校周围、住宅区、公园等中配置。车牌识别设备可以检测与违反交通标志相关联的交通规则的车辆，并记录与该车辆有关的信息或者监测某车辆的行驶轨迹。应用场景100可以包括服务器110、网络120、用户终端130、存储设备140和拍照设备150。服务器110可以包括处理引擎112。在一些实施例中，服务器110、用户终端130、存储设备140和拍照设备150可以经由无线连接(例如，网络120)、有线连接或其组合彼此连接和/或通信。

计算系统110可以用于确定待识别的车牌内容。在一些实施例中，可以具体用于对车牌的追踪确认，从而实现车辆的监测，这一监测技术可以应用于如车辆监管部门、交通管理部门等。计算系统110可以基于获取的数据识别车牌内容，从而确定车辆信息。

计算系统110是指具有计算能力的系统，在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络120访问存储在用户终端130和/或存储设备140中的信息和/或数据。又例如，服务器110可以直接连接到用户终端130和/或存储设备140以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110可以在具有本申请中图2所示的一个或多个组件的计算设备200上实现。

在一些实施例中，服务器110可以包括处理引擎112。处理引擎112可以处理与交通标志周围的交通有关的信息和/或数据。例如，处理引擎112可以在由拍照设备150获取的视频数据中识别车辆拍照，并确定车辆信息。在一些实施例中，处理引擎112可以包括一个或以上处理引擎(例如，单核处理引擎或多核处理器)。仅作为示例，处理引擎112可以包括一个或以上硬件处理器，例如中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任何组合。

网络120可以促进信息和/或数据的交换。在一些实施例中，应用场景100中的一个或以上组件(例如，服务器110、用户终端130、存储设备140和拍照设备150)可以将信息和/或数据通过网络120发送到应用场景100中的其他组件。例如，处理引擎112可以经由网络120向用户终端130发送识别到的车牌的信息及对应的车辆的信息。在一些实施例中，网络120可以是有线网络或无线网络等或其任意组合。仅作为示例，网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、因特网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共电话交换网(PSTN)、Bluetooth TM网络、ZigBee网络、近场通信(NFC)网络或类似内容，或其任意组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括诸如基站和/或互联网交换点120-1、120-2，…之类的有线或无线网络接入点，应用场景100的一个或以上组件可以通过有线或无线网络接入点连接到网络120，以交换数据和/或信息。

在一些实施例中，用户终端130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3等或其任意组合。在一些实施例中，移动设备140-1可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等，或其任何组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可以包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能配饰等或其任意组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、台式机等，或任何它们的组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括GoogleGlass TM、RiftCon TM、Fragments TM、GearVR TM等。在一些实施例中，为识别出的车牌对应的车辆的司机所使用的用户终端130可以接收从处理引擎112发送的通知。在一些实施例中，交通管理人员(例如，交通警察、交通控制器)可以使用用户终端130来访问存储在存储设备140中的相关记录。

在一些实施例中，用户终端130可以是被配置为包括相机的移动终端。用户终端130可以经由用户接口向处理引擎112或安装在用户终端130中的处理器发送和/或接收与车牌识别有关的信息。例如，用户终端130可以经由用户接口将由安装在用户终端130中的相机捕获的视频数据发送到安装在用户终端120中的处理引擎112或处理器。用户界面可以是在用户终端130上实现的用于识别车牌的应用程序的形式。在用户终端130上实现的用户界面可以促进用户与处理引擎112之间的通信。例如，用户可以经由用户界面输入和/或需要识别的图片。处理引擎112可以经由用户界面接收输入的图片。又例如，用户可以经由在用户终端130上实现的用户界面输入对车牌识别的请求。在一些实施例中，响应于对车牌识别的请求，用户终端130可以基于由安装在本申请中其他地方所述的用户终端130中的相机捕获的视频数据，经由用户终端130的处理器直接确定车辆的拍照内容。在一些实施例中，响应于对车牌识别的请求，用户终端130可以将对车牌识别的请求发送到处理引擎112，用于基于由拍照设备150或安装在本申请的其他地方所述中的相机捕获的视频数据来确定车辆拍照内容。在一些实施例中，用户界面可以促进呈现或显示从处理引擎112接收的与车牌识别有关的信息和/或数据(例如，信号)。例如，信息和/或数据可以包括指示车牌识别内容的结果，或者指示识别到的车牌对应的车辆信息等。在一些实施例中，信息和/或数据可以被进一步配置为使用户终端130向用户显示结果。

存储设备140可以存储数据和/或指令。在一些实施例中，存储设备140可以存储从拍照设备150获得的数据。存储设备140可以存储处理引擎112可以执行或用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，所述存储设备140可在云端平台上执行。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储设备140可以连接到网络120以与应用场景100中的一个或以上组件(例如，服务器110、用户终端130)通信。应用场景100中的一个或多个组件可以经由网络120访问存储在存储设备140中的数据或指令。在一些实施例中，存储设备140可以直接连接到应用场景100中的一个或以上组件或与之通信(例如，服务器110、用户终端130)。在一些实施例中，存储设备140可以是服务器110的一部分。

拍照设备150可以获取视频数据。在一些实施例中，所获取的视频数据可以与车辆周围的场景相关联。仅作为示例，拍照设备150可以是摄像机、安全相机、网络相机、智能手机相机、平板相机，笔记本电脑相机等。拍照设备150可以被安装在车辆或车辆的物体(例如，交通信号灯、电线杆、车辆)上。在一些实施例中，拍照设备150可以由能量单元(例如，发电机，电力传输线，太阳能功率供应单元)供应能量。另外，拍照设备150可以使用电池组来扩展能量。在一些实施例中，拍照设备150可以配置有/耦合到网络模块，该网络模块使拍照设备150能够经由网络120与处理引擎112、用户终端130和/或存储设备140连接。

应当注意，以上描述意图是说明性的，而不是限制本申请的范围。对于本领域技术人员而言，许多替代，修改和变化将是显而易见的。本文描述的示例性实施例的特征，结构，方法和其他特性可以以各种方式组合以获得另外的和/或替代的示例性实施例。例如，拍照设备150可以配置有存储模块、处理模块、通信模块等。然而，这些变化和修改不脱离本申请的范围。

图2是根据本申请的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。

处理器210(例如，逻辑电路)可以执行计算机指令(例如，程序代码)并根据本文描述的技术执行处理引擎112的功能。在一些实施例中，处理器210可以被配置为处理与应用场景100的一个或以上组件有关的数据和/或信息。例如，处理器210可以在由拍照设备150获取的视频数据中识别车辆的牌照信息。又例如，处理器210可以基于一系列图像来确定所识别的车辆拍照的内容。处理器210还可被配置为获取识别到的牌照对应的车辆的信息。处理器210还可以将识别的牌照信息及对应的车辆的信息发送到服务器110。在一些实施例中，处理器210可以向相关联的用户终端130发送通知。

在一些实施例中，处理器210可以在其中包括接口电路210-a和处理电路210-b。接口电路可以被配置为从总线(图2中未示出)接收电信号，其中电信号对结构化数据和/或指令进行编码以供处理电路进行处理。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码成电信号。然后，接口电路可以经由总线从处理电路发送电信号。

计算机指令可以包括例如例程、程序、对象、组件、数据结构、过程、模块和功能，其执行本文描述的特定功能。例如，处理器210可以处理与从用户终端130、存储设备140和/或应用场景100的任何其他组件获得的车辆相关的信息。在一些实施例中，处理器210可以包括一个或以上硬件处理器、诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)、可编程逻辑设备(PLD)，能够执行一个或以上功能的任何电路或处理器等，或其任意组合。

仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应注意，本申请中的计算设备200还可以包括多个处理器，因此，如本申请中所述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或分开地执行。例如，如果在本申请中，计算设备200的处理器同时执行步骤A和步骤B，则应当理解，步骤A和步骤B也可以由计算设备200中的两个或以上不同处理器联合或分别执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B)。

存储器220可以存储从用户终端130、存储设备140和/或应用场景100的任何其他组件获得的数据/信息。在一些实施例中，内存装置220可以包括大容量内存装置、可移动内存装置、易失性读写内存器、只读内存器(ROM)等或其任何组合。例如，大容量存储器可以包括磁盘、光盘、固态驱动器等。可移动存储设备可以包括闪存内存、软盘、光盘、存储卡、zip磁盘、磁带等。易失性读写内存可以包括随机存取内存(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等。在一些实施例中，存储器220可以存储一个或以上程序和/或指令以执行本申请中描述的示例性方法。例如，存储器220可以存储用于处理引擎112的用于确定车辆值的程序。

I/O230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O230可以使用户能够与处理引擎112进行交互。在一些实施例中，I/O230可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等、或其组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等，或其任意组合。

通信端口240可以连接到网络(例如，网络120)以促进数据通信。通信端口240可以在处理引擎112与用户终端130、拍照设备150或存储设备140之间建立连接。该连接可以是有线连接、无线连接、可以实现数据传输和/或接收的任何其他通信连接，和/或这些连接的任意组合。有线连接可以包括例如电缆、光缆、电话线等，或其任意组合。无线连接可以包括例如BluetoothTM链路、Wi-FiTM链路、WiMaxTM链路、WLAN链路、ZigBee链路、移动网络链路(例如，3G、4G、5G)等，或其任意组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，例如RS232、RS485等。

图3是根据本申请的一些实施例所示的可以在其上实现用户终端的示例性移动设备的示例性硬件和/或软件组件的示意图。在一些实施例中，图3所示的移动设备300可以由用户使用。用户可以是司机、乘客、交通警察、交通控制者、车辆监管部门等。例如，交通警察或交通控制者可以经由移动设备300查看车辆的违规记录。在一些实施例中，交通警察或交通管制员可以基于违规记录和与违规记录相关联的交通规则做出处罚决定。惩罚决定可以被输入到移动设备300。又例如，违反交通规则的责任司机可以经由移动设备300接收通知，并且可以经由移动设备300在线支付罚款。

如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，可将移动操作系统370(例如，iOS TM、Android TM、WindowsPhone TM)和一个或以上应用380从存储器390加载到内存360中，以便由CPU340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从处理引擎112接收和渲染与图像处理有关的信息或其他信息。可以通过I/O350实现与信息流的用户交互，并通过网络120将其提供给处理引擎112和/或应用场景100的其他组件。

为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。

本领域普通技术人员将理解，当应用场景100的元件执行时，该元件可以通过电信号和/或电磁信号来执行。例如，当处理引擎112处理诸如做出确定或识别信息的任务时，处理引擎112可以操作其处理器中的逻辑电路来处理该任务。当处理引擎112向用户终端130发送数据(例如，目标车辆的当前估计值)时，处理引擎112的处理器可以生成对数据进行编码的电信号。处理引擎112的处理器然后可以将电信号发送到输出端口。如果用户终端130通过有线网络与处理引擎112通信，则输出端口可以物理地连接至电缆，该电缆可以进一步将电信号传输至服务器110的输入端口。如果用户终端130通过无线网络与处理引擎112通信，则处理引擎112的输出端口可以是一个或以上天线，其可以将电信号转换为电磁信号。在诸如用户终端130和/或服务器110之类的电子设备中，当其处理器处理指令，发出指令和/或执行动作时，该指令和/或动作是通过电信号进行的。例如，当处理器从存储介质(例如，存储设备140)检索或保存数据时，它可以向存储介质的读/写设备发送电信号，该读/写设备可以在存储介质中读取或写入结构化数据。该结构数据可以通过电子设备的总线，以电信号的形式传输至处理器。在此，电信号可以指的是电信号、一系列电信号和/或一个或以上离散的电信号。

图4根据本申请的一些实施例所示的示例性处理引擎的示意框图。

如图4所示，在一些实施例中，处理引擎112可以包括获取模块410、识别模块420、评估模块430。处理引擎140可以被实现在各种组件上(例如，如图2所示的计算设备200的处理器210)。例如，处理引擎140的至少一部分可以在如图2所示的计算设备或如图3所示的移动设备上实现。

获取模块410可以获取与应用场景100有关的数据和/或信息。在一些实施例中，获取模块410可以从应用场景100的一个或以上组件，例如拍照设备150、存储设备140、获取与应用场景100有关的数据和/或信息。例如，获取模块410可以从拍照设备150获取视频数据。视频数据可以包括一系列帧。获取模块410可以将一系列帧发送到其他模块(例如，识别模块420)以进行进一步处理。又例如，获取模块410可以从存储设备140获取车辆的车牌图片。作为又一示例，获取模块410可以从存储设备140获取识别模型。

识别模块420可以从与应用场景100有关的数据和/或信息中识别一个或以上对象。在一些实施例中，识别模块420可以在从获取模块410获取的一系列帧中识别车辆牌照。一系列帧中可能有一个或以上对象。识别模块420可以识别一系列帧中的每个帧中的每个对象并且关联所识别的对象。例如，可以使用识别模型来识别一系列帧中的一个或以上车辆牌照。又例如静态对象，例如建筑物、邮箱等可以从一系列帧中识别出来。在一些实施例中，识别模块420可以基于一系列帧来识别车辆的牌照信息及对应的车辆的信息(例如，驾驶执照ID、车牌号)。

评估模块430可以确定识别模型的识别准确率，评估模块430对车牌识别使用准确率作为评价指标，只有车牌中每一位都识别正确才认为算法对该车牌识别正确。对于识别错误的车牌，无论识别错误的位数有多少，都统一对待，认为它是错误的。

在一些实施例中，处理引擎112还可以包括训练模块440，训练模块440用于根据采集获得的数据对构建的所述识别模型、评估模型进行训练，获得训练完毕的所述识别模型、评估模型。

在一些实施例中，识别模型、评估模型可以分别训练得到：识别模型、评估模型可以分别基于训练样本训练得到。

在一些实施例中，训练的样本图像可以包括已有的车辆牌照图像。已有的车辆牌照图像可以通过各种方式获取，比如，历史行车记录仪采集的车辆图像、历史用户上传的车辆图像、电子监控设备采集的车辆图像等。在一些实施例中，可以对已有的车辆图像进行数据增强，以增加样本图像的数量。数据增强的方法包括但不限于翻转、旋转、缩放、裁剪、平移、添加噪声等。在一些实施例中，可以标记样本图像的状态数据，标记可以通过人工或计算机程序进行。比如，可以根据历史用户对车辆的评分进行统计等等。仅作为示例，可以以样本图像作为输入，以对应的车辆状态作为正确标准(Ground Truth)对模型进行训练。同时可以根据模型的预测输出(例如，预测的车辆状态)与正确标准之间的差异反向调整模型参数。当满足某一预设条件时，例如，训练样本图像数达到预定的数量，模型的预测正确率大于某一预定正确率阈值，或损失函数(LossFunction)的值小于某一预设值，训练过程将停止，并将训练后的模型指定为所述状态检测模型。关于本说明书中的识别模型、评估模型的更多细节说明参见后续内容，此处不再赘述。

在一些实施例中，处理引擎112可以获得识别模型。在一些实施例中，识别模型可以包括训练的机器学习模型。例如，训练后的机器学习模型可以包括You only look once(YOLO)模型、增强Haar模型、FasterR-CNN模型、Mask R-CNN模型等，或其任意组合。在一些实施例中，处理引擎112可以经由网络120直接从存储设备140获得识别模型。在一些实施例中，处理引擎112可以获得机器学习模型并训练机器学习模型。例如，可以使用一组样本图像和与该组样本图像相对应的一组对象识别结果(例如，正或负标签、对象类型的标签)来训练机器学习模型。训练后的机器学习模型可以用作识别模型，用于识别一系列帧中的每个帧中的车辆牌照。

处理引擎112中的模块可以经由有线连接或无线连接彼此连接或彼此通信。有线连接可以包括金属电缆、光缆、混合电缆等或其任何组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。两个或以上模块可以合并成一个模块，以及任意一个模块可以被拆分成两个或以上单元。例如，获取模块410可以作为单个模块集成在识别模块420中，该单个模块可以识别移动终端和与该移动终端相关联的目标。

应当理解，图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于处理引擎及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图4获取模块、识别模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个模块的功能。又例如，处理引擎中各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

图5是根据本说明书的一些实施例所示的复杂场景下的车牌识别方法的流程图。在一些实施例中，图5所示的过程500可以在图1所示的应用场景100中实现。例如，过程500可以作为指令的形式存储在存储介质(例如，存储设备140或计算设备200的存储器220)中，并且由处理器(例如，存储设备140)、服务器110的处理引擎112，计算设备200的处理器220或图4中所示的处理引擎112中的一个或以上模块调用和/或执行。下面呈现的所示过程500的操作旨在说明。在一些实施例中，过程500可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图5中示出的和下面描述的过程500的操作的顺序不旨在限制性的。

如图5所示，该流程500可以包括以下步骤：

步骤510，获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理。

具体的，该步骤可以由获取模块执行。

在一些实施例中，作为训练样本的车牌数据集内的图像可由专门的人员进行采集并上传，在一些实施例中，车牌数据集内的图像的获取包括通过采集车辆视频并进行视频分割从而提取车辆牌照图片，在一些实施例中，车牌数据集内的图像的获取可以直接由监控设备、摄像设备等直接拍摄车辆牌照的图像，在一些实施例中，收集图片包括夜晚、光照不均、强光反射、雨天、雾天下的车牌图片的收集。

在一些实施例中，一个或以上车牌照片可以存储在存储设备140中。处理引擎112可以经由网络120从存储设备140获得车牌照片。例如，用户(例如，交通警察)可以向存储设备140输入车牌照片。处理引擎112可以获取车牌照片。

在一些实施例中，车牌照片可以由如图1所示的拍照设备150获取。在一些实施例中，车牌照片可以由一个以上的拍照设备150获取。例如，第一拍照设备150-1(图中未示出)可以被配置为获取低分辨率视频(或图像的低分辨率帧)以用于对物体的运动进行分析。第二拍照设备150-2(图中未示出)可以被配置为获取一个或以上高分辨率图像，以用于识别物体的信息，例如，车牌号的具体内容。

在一些实施例中，拍照设备150可以可拆卸地安装在交通标志或交通标志附近的物体上。例如，对象可以包括交通信号灯、路灯、电线杆、树木、建筑物等，或其任何组合。在一些实施例中，拍照设备150可以安装在停在停车场所的车辆上。如本文所用，“安装在车辆上”是指被安装在车辆的外部(例如，在车顶上、在前窗上、在后视镜上)或安装在车辆的内部(例如，面板上方、车辆内部的前窗上或乘客座椅上)。

在一些实施例中，数据的预处理包括进行降噪、数据归一化、特征标准化等。在一些实施例中，照片场景中包括噪音区域。例如，噪音区域可以包括车道、静态物体，诸如树、建筑物、被道路停放的车辆等，或其任何组合。在一些实施例中，进行数据预处理可以在筛选出车辆牌照图像之前删除照片中的噪音区域。

在一些实施例中，数据的预处理包括对车牌数据集进行文字识别。例如，所有车牌数据集像素可以均为256x64,图像格式可以为.jpg格式，其中训练集包含如12000张图片，测试集可包含3000张图片。收集的数据多是夜晚强光照射、雨天、雪天、雾天等车牌不清晰的情况。

步骤520，将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片。

具体的，该步骤可以由识别模块执行。

在一些实施例中，处理引擎112可以使用识别模型来识别车辆牌照。可以从存储设备140获得识别模型。处理引擎112可以执行识别模型以在车辆照片中识别车辆牌照。关于识别模型的具体描述参见图6的相关内容，此处不再赘述。

在一些实施例中，处理引擎112可以基于获得车辆的牌照信息进一步获取车辆的信息。例如司机信息、车辆的违规信息等。如车辆的牌照信息还可进一步用于识别违反交通规则的司机。

步骤530，将所述识别结果输入评估模型，获取评估结果。

具体的，该步骤可以由评估模块执行。

在一些实施例中，所述评估模型采用以下方式对所述识别结果进行评估，关于评估模型的其他相关描述参见后文，此处不再赘述。：

Acc＝Righet/All

Acc代表识别模型的识别车牌的精确率，Right代表识别正确的车牌数，All代表所有车牌数据集中的车牌的样本数；

所述评估模型的测试指标至少包括以下一种：回归损失平方和、top1车牌准确率、top1_in_top5车牌准确率；

其中，所述回归损失平方和与车牌数据集的车牌图片的识别置信度和预测质量分相关，所述top1车牌准确率、top1_in_top5车牌准确率与识别模型的识别准确率相关。

需要说明的是，测试指标主要是回归损失平方和、寻找top1车牌准确率、寻找top1_in_top5车牌准确率。

回归损失平方和：即为实际的车牌图片的识别置信度和预测质量分的差的平方，累加起来，只能够粗略的衡量算法的好坏，并不能完全的表示算法寻找top1的能力。

top1车牌准确率：即为实际的测试track中，算法判断找到的预测最高质量分的那个车牌是不是实际的识别最高分的车牌的准确率。

top1_in_top5车牌准确率：即为实际测试track中，算法找到的预测最高质量分的车牌是否是实际识别分中top5中的车牌的准确率。

应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。

图6是根据本说明书的一些实施例所示的识别模型识别车牌的流程示意图。

在一些实施例中，所述识别模型依次包括下采样模块、序列化特征提取模块、图像增强模块；所述下采样模块用于对输入的车牌数据集进行下采样并提取底层特征；所述序列化特征提取模块用于对提取的所述底层特征进行序列化特征提取；所述图像增强模块用于对提取的所述底层特征进行图像增强。

如图7所示是一种下采样模块的结构示意图，下采样模块由一个卷积层和三个Resblock模块组成，如图8所示，一个所述Resblock模块中至少包括两个卷积层。

如图6所示，识别模型识别车牌的流程包括先获取输入的图片，然后对图片进行下采样，从而提取底层特征，接着再对提取到的特征分别进行序列化特征和图像增强。其中，序列化特征提取采用muti-attention模块；同时，采用上采样进行图像增强。在一些实施例中，图像增强模块类似于Unet网络结构先下采样再上采样。

识别模型的训练可以由训练模块240实现，识别模型可以由牌照数据进行训练后得到。仅作为示例，可以以历史基础信息作为输入，以所述历史基础信息对应的适当相似度值作为正确标准(Ground Truth)对模型进行训练。同时可以根据模型的预测输出与正确标准之间的差异反向调整模型参数。当满足某一预设条件时，例如，训练样本数达到预定的数量，模型的预测正确率大于某一预定正确率阈值，或损失函数(Loss Function)的值小于某一预设值，训练过程将停止，并将训练后的模型指定为所述第一判别模型。

如图9所示为根据本说明书的一些实施例所示的识别模型的训练流程示意图，需要说明的是，进行训练时，具体的学习率的初始值设为0.0001，随epoch次数不断减小，优化器选择Adam进行优化。

在一些实施例中，识别模型的激活函数采用Relu激活函数，具体如下式所示：

由于Relu的两点特性，即线性变换+当感兴趣流形(Manifold of Interest)都在右边的时候就能保留全部信息，所以感兴趣流形应该在一个高维激活空间中的一个低维子空间中。所以，可以通过加入线性瓶颈层(linear bottleneck)来拿到低维的感兴趣流形。

评估模型的训练可以由训练模块240实现，评估模型可以由历史车辆牌照相关数据进行训练后得到。仅作为示例，可以以历史基础信息作为输入，以所述历史基础信息对应的适当相似度值作为正确标准(Ground Truth)对模型进行训练。同时可以根据模型的预测输出与正确标准之间的差异反向调整模型参数。当满足某一预设条件时，例如，训练样本数达到预定的数量，模型的预测正确率大于某一预定正确率阈值，或损失函数(LossFunction)的值小于某一预设值，训练过程将停止，并将训练后的模型指定为所述第二模型。

应该注意的是，虽然上文分别描述了识别模型和评估模型，在一些实施例中，它们可以合并为一个模型，该模型可以根据不同的车辆车牌图像数据综合确定车辆的牌照内容。例如，该模型的输入为多个车辆的牌照图像，输出为多个图像内的车辆牌照内容即评估得分。模型训练的过程与确定牌照内容及评估预测结果的过程可以分开进行。在一些实施例中，所述训练过程可以在服务器110上执行，也可以在另外的设备上执行，再将训练好的模型应用到服务器110上。在一些实施例中，也可以对根据各种不同场景下的车牌照片进行车牌内容的确定。

本说明书的实施例的车牌识别方法具有的有益效果包括但不限于以下几点：1.采用多任务学习的方式,在做车牌识别的过程中融合图像增强模块来提高模型对复杂场景的适应性。2.图像增强模块采用类似Unet的网络结构,加强多尺度特征融合,并将识别模型中的序列特征做融合。3.在车牌识别模块中融合图像增强模块的细节特征,利用模型学习复杂场景下车牌信息到固定车牌信息的变换,以提高识别效果。4.在训练过程中同时训练两个模块,进行多任务学习。推理阶段去掉图像增强模块输出，只保留车牌识别模块输出。

本说明书实施例还提供一种车牌识别设备，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行前述的复杂场景下的车牌识别方法，所述方法包括：获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理；将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片；将所述识别结果输入评估模型，获取评估结果。

本说明书实施例还提供一种计算机可读存储介质。所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机实现前述的检测车辆状态的方法，所述方法包括：获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理；将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片；将所述识别结果输入评估模型，获取评估结果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种复杂场景下的车牌识别方法，其特征在于，包括：

获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理；

将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片；

将所述识别结果输入评估模型，获取评估结果；

其中，所述识别模型依次包括下采样模块、序列化特征提取模块、图像增强模块；

所述下采样模块用于对输入的车牌数据集进行下采样并提取底层特征；

所述序列化特征提取模块用于对提取的所述底层特征进行序列化特征提取；

所述图像增强模块用于对提取的所述底层特征进行图像增强。

2.根据权利要求1所述的方法，其特征在于，所述下采样模块由一个卷积层和三个Resblock模块组成，一个所述Resblock模块中至少包括两个卷积层。

3.根据权利要求1或2所述的方法，其特征在于，所述图像增强模块采用上采样进行图像增强。

4.根据权利要求3所述的方法，其特征在于，所述识别模型对输入的所述车牌图片的处理包括：

对所述车牌图片进行下采样提取底层特征；

对提取到的所述特征分别进行序列化特征和图像增强；

将经过图像增强的特征和经过序列化特征提取的特征进行特征融合得到识别结果。

5.根据权利要求1所述的方法，其特征在于，所述评估模型采用以下方式对所述识别结果进行评估：

Acc＝Righer/All；

Acc代表识别模型的识别车牌的精确率，Right代表识别正确的车牌数，All代表所有车牌数据集中的车牌的样本数；

所述评估模型的测试指标至少包括以下一种：回归损失平方和、top1车牌准确率、top1_in_top5车牌准确率；

其中，所述回归损失平方和与车牌数据集的车牌图片的识别置信度和预测质量分相关，所述top1车牌准确率、top1_in_top5车牌准确率与识别模型的识别准确率相关。

6.一种复杂场景下的车牌识别设备，其特征在于，包括：

获取模块，用于获取作为训练样本的车牌数据集并对获取的所述车牌数据集进行预处理；

识别模块，用于将所述车牌数据集输入识别模型进行处理，获取识别模型的识别结果；所述车牌数据集包括若干车牌图片；

评估模块，用于将所述识别结果输入评估模型，获取评估结果。

7.根据权利要求6所述的设备，其特征在于，所述识别模型依次包括下采样模块、序列化特征提取模块、图像增强模块；

所述下采样模块用于对输入的车牌数据集进行下采样并提取底层特征；

所述序列化特征提取模块用于对提取的所述底层特征进行序列化特征提取；

所述图像增强模块用于对提取的所述底层特征进行图像增强。

8.根据权利要求6所述的设备，其特征在于，所述下采样模块由一个卷积层和三个Resblock模块组成，一个所述Resblock模块中至少包括两个卷积层。

9.根据权利要求8或7所述的方法，其特征在于，所述图像增强模块采用上采样进行图像增强。

10.一种复杂场景下的车牌识别装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，其特征在于，所述指令被所述处理器执行时，导致所述装置实现如权利要求1至5中任一项所述复杂场景下的车牌识别方法对应的操作。

Images