CN113343903B - 一种自然场景下的车牌识别方法及系统 - Google Patents

一种自然场景下的车牌识别方法及系统 Download PDF

Info

Publication number
CN113343903B
CN113343903B CN202110721106.0A CN202110721106A CN113343903B CN 113343903 B CN113343903 B CN 113343903B CN 202110721106 A CN202110721106 A CN 202110721106A CN 113343903 B CN113343903 B CN 113343903B
Authority
CN
China
Prior art keywords
license plate
plate recognition
recognition model
module
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110721106.0A
Other languages
English (en)
Other versions
CN113343903A (zh
Inventor
李洪洋
郭敬娜
王铭宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Star Innovation Technology Co ltd
Original Assignee
Chengdu Star Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Star Innovation Technology Co ltd filed Critical Chengdu Star Innovation Technology Co ltd
Priority to CN202110721106.0A priority Critical patent/CN113343903B/zh
Publication of CN113343903A publication Critical patent/CN113343903A/zh
Application granted granted Critical
Publication of CN113343903B publication Critical patent/CN113343903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种自然场景下的车牌识别方法，包括：构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练；所述训练集数据中包括若干车牌图片；利用测试集数据对完成训练的所述车牌识别模型进行测试评估；所述测试集数据中包括若干车牌图片；将通过测试评估的所述车牌识别模型用于车牌识别，可以实现采用轻量级特征提取网络mobilenet‑v2来提取图片信息，更方便服务于边缘设备。

Description

一种自然场景下的车牌识别方法及系统
技术领域
本发明涉及图像检测技术领域，更具体的说是一种自然场景下的车牌识别方法及系统。
背景技术
作为智能交通监控及管理系统的重要组成部分，车牌自动识别一直是人们研究的热点。车牌识别技术由三个部分组成，分别是车牌检测、字符分割、字符识别。获取到车牌区域后，需要进行字符识别，对于车牌识别，目前的很多研究都是将之前车牌检测得到的区域，进行文字切分，然后分别对每一位进行识别。识别的方式主要是两种：分割每个字符后进行识别和直接识别整个车牌。早期的算法通常属于第一种方式，其分割过程通常利用垂直投影或者寻找连通域来实现，后续的识别过程则利用线性判别分析(LinearDiscriminant Analysis,LDA)和卷积神经网络(Convolutional Neural Networks，CNN)等特征抽取方法构建分类模型。第二种方式一般以深度学习方法为代表，直接识别整个车牌。它们需要对整个图像进行特征抽取，依赖于良好的特征抽取方法，因此大多数需要利用深度卷积网络进行图像的特征抽取。
近年来，由于人工智能的飞速发展，人们逐渐将深度学习相关算法与车牌识别结合起来。目前，大多数车牌识别方法都是基于深度学习设计的。在大量数据下，构建合适的深度卷积网络可以有效提取出具有强鲁棒性的特征。然而大多数算法对计算资源要求很高，不能很好部署到移动端。此外，还有一些系统不能支持多种车牌，泛化性能不好。
因此，需要一种轻量级车牌识别网络，并且能识别多种车牌。
发明内容
本说明书实施例的一个方面提供一种自然场景下的车牌识别方法，包括：构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练；所述训练集数据中包括若干车牌图片；利用测试集数据对完成训练的所述车牌识别模型进行测试评估；所述测试集数据中包括若干车牌图片；将通过测试评估的所述车牌识别模型用于车牌识别。
在一些实施例中，所述车牌识别模型对输入的图片的处理包括：提取图片基础特征；将提取的基础特征进行序列化处理，用Softmax将多个神经元的输出，映射到(0,1)区间内，并进行分类。
在一些实施例中，所述车牌识别模型采用MobilenetV2作为基础特征提取网络。
在一些实施例中，所述车牌识别模型对输入的图片的处理中：所述基础特征提取网络MobilenetV2先将输入的图片将resize成224x224x3，bottleneck后面的数字代表有几个这种模块,最后一层采用全连接层展开成1x1x1280；所述车牌识别模型采用muti-attention模块作为序列化特征提取模块进行特征的序列化处理；然后通过1X1的网络结构的Expansion layer将低维空间映射到高维空间，以及通过1X1的网络结构的Projectionlayer将高维特征映射到低维空间；然后使用多头注意力机制进行序列化特征提取模块将所要识别的车牌中的字符分为多个头，形成多个子空间；最后将前n位作为第一类字的输出，将后面m位作为第二类字的输出，其中，不足的用占位符填充。
在一些实施例中，所述Expansion layer的维度扩展倍数为4倍。
在一些实施例中，所述利用测试集数据对完成训练的所述车牌识别模型进行测试评估通过评估模型实现，所述评估模型采用以下方式对所述识别结果进行评估：
Acc＝Righet/All；
Acc代表识别模型的识别车牌的精确率，Right代表识别正确的车牌数，All代表所有车牌数据集中的车牌的样本数；
所述评估模型的测试指标至少包括以下一种：回归损失平方和、top1车牌准确率、top1_in_top5车牌准确率；
其中，所述回归损失平方和与车牌数据集的车牌图片的识别置信度和预测质量分相关，所述top1车牌准确率、top1_in_top5车牌准确率与识别模型的识别准确率相关。
本说明书实施例的一个方面提供一种自然场景下的车牌识别设备，包括：生成模块，用于构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练；所述训练集数据中包括若干车牌图片；评估模块，用于利用测试集数据对完成训练的所述车牌识别模型进行测试评估；所述测试集数据中包括若干车牌图片；识别模块，用于将通过测试评估的所述车牌识别模型用于车牌识别。
本说明书实施例的一个方面提供一种自然场景下的车牌识别装置，所述装置包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现所述自然场景下的车牌识别方法对应的操作。
本说明书实施例的一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，实现所述自然场景下的车牌识别方法。
附图说明
本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本申请一些实施例所示的自然场景下的车牌识别设备的应用场景示意图；
图2是根据本申请的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图；
图3是根据本申请的一些实施例所示的可以在其上实现一个或以上终端的示例性移动设备的示例性硬件和/或软件组件的示意图；
图4是根据本申请的一些实施例所示的示例性处理引擎的示意框图；
图5是根据本说明书的一些实施例所示的自然场景下的车牌识别方法的流程图；
图6是根据本说明书的一些实施例所示的车牌识别模型识别车牌的流程示意图；
图7是根据本说明书的一些实施例所示的Mobilenet网络结构示意图；
图8是根据本说明书的一些实施例所示的bottleneck网络模块的结构示意图；
图9是根据本说明书的一些实施例所示的多头注意力机制的示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
车辆可以包括带牌照的人力车(例如，自行车、三轮车)、带牌照的电动车(例如，电动自行车、电动三轮车)、带牌照的汽车(例如，出租车、公共汽车、私人汽车)、带牌照的火车、带牌照的地铁、带牌照的轮船、带牌照的飞机(例如，飞机、直升机、航天飞机、火箭)等或其任意组合。
本申请中使用的车牌可以是与特定交通工具相关联的标志。例如常规的悬挂于车辆前方及后方的拍照，同时，也可以是车辆的其他身份标识码，例如车架号等其他编号。本申请的实施例可以应用于各种车牌的识别。应当理解的是，本申请的系统及方法的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。虽然本申请主要以车辆、特别是汽车为例进行了描述，但需要注意的是，本申请的原理也可应用于其他物品，根据本申请的原理也可以确定这些物品的身份标识。
在本申请中，车辆的牌照识别的判定仅作为示例。应当注意的是，检测车辆拍照的具体内容仅用于说明目的，并非旨在限制本申请的范围。在一些实施例中，本公开可以应用于其他类似的情景，例如但不限于产品的识别等。
图1是根据本申请的一些实施例的示例性监控系统的示意图。在一些实施例中，应用场景100可以被配置为监控特定场所处的车辆等。可以在学校周围、住宅区、公园等中配置。车牌识别设备可以检测与违反交通标志相关联的交通规则的车辆，并记录与该车辆有关的信息或者监测某车辆的行驶轨迹。应用场景100可以包括服务器110、网络120、用户终端130、存储设备140和拍照设备150。服务器110可以包括处理引擎112。在一些实施例中，服务器110、用户终端130、存储设备140和拍照设备150可以经由无线连接(例如，网络120)、有线连接或其组合彼此连接和/或通信。
计算系统110可以用于确定待识别的车牌内容。在一些实施例中，可以具体用于对车牌的追踪确认，从而实现车辆的监测，这一监测技术可以应用于如车辆监管部门、交通管理部门等。计算系统110可以基于获取的数据识别车牌内容，从而确定车辆信息。
计算系统110是指具有计算能力的系统，在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络120访问存储在用户终端130和/或存储设备140中的信息和/或数据。又例如，服务器110可以直接连接到用户终端130和/或存储设备140以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110可以在具有本申请中图2所示的一个或多个组件的计算设备200上实现。
在一些实施例中，服务器110可以包括处理引擎112。处理引擎112可以处理与交通标志周围的交通有关的信息和/或数据。例如，处理引擎112可以在由拍照设备150获取的视频数据中识别车辆拍照，并确定车辆信息。在一些实施例中，处理引擎112可以包括一个或以上处理引擎(例如，单核处理引擎或多核处理器)。仅作为示例，处理引擎112可以包括一个或以上硬件处理器，例如中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任何组合。
网络120可以促进信息和/或数据的交换。在一些实施例中，应用场景100中的一个或以上组件(例如，服务器110、用户终端130、存储设备140和拍照设备150)可以将信息和/或数据通过网络120发送到应用场景100中的其他组件。例如，处理引擎112可以经由网络120向用户终端130发送识别到的车牌的信息及对应的车辆的信息。在一些实施例中，网络120可以是有线网络或无线网络等或其任意组合。仅作为示例，网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、因特网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共电话交换网(PSTN)、Bluetooth TM网络、ZigBee网络、近场通信(NFC)网络或类似内容，或其任意组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括诸如基站和/或互联网交换点120-1、120-2，…之类的有线或无线网络接入点，应用场景100的一个或以上组件可以通过有线或无线网络接入点连接到网络120，以交换数据和/或信息。
在一些实施例中，用户终端130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3等或其任意组合。在一些实施例中，移动设备140-1可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等，或其任何组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可以包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能配饰等或其任意组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、台式机等，或任何它们的组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括GoogleGlass TM、RiftCon TM、Fragments TM、GearVR TM等。在一些实施例中，为识别出的车牌对应的车辆的司机所使用的用户终端130可以接收从处理引擎112发送的通知。在一些实施例中，交通管理人员(例如，交通警察、交通控制器)可以使用用户终端130来访问存储在存储设备140中的相关记录。
在一些实施例中，用户终端130可以是被配置为包括相机的移动终端。用户终端130可以经由用户接口向处理引擎112或安装在用户终端130中的处理器发送和/或接收与车牌识别有关的信息。例如，用户终端130可以经由用户接口将由安装在用户终端130中的相机捕获的视频数据发送到安装在用户终端120中的处理引擎112或处理器。用户界面可以是在用户终端130上实现的用于识别车牌的应用程序的形式。在用户终端130上实现的用户界面可以促进用户与处理引擎112之间的通信。例如，用户可以经由用户界面输入和/或需要识别的图片。处理引擎112可以经由用户界面接收输入的图片。又例如，用户可以经由在用户终端130上实现的用户界面输入对车牌识别的请求。在一些实施例中，响应于对车牌识别的请求，用户终端130可以基于由安装在本申请中其他地方所述的用户终端130中的相机捕获的视频数据，经由用户终端130的处理器直接确定车辆的拍照内容。在一些实施例中，响应于对车牌识别的请求，用户终端130可以将对车牌识别的请求发送到处理引擎112，用于基于由拍照设备150或安装在本申请的其他地方所述中的相机捕获的视频数据来确定车辆拍照内容。在一些实施例中，用户界面可以促进呈现或显示从处理引擎112接收的与车牌识别有关的信息和/或数据(例如，信号)。例如，信息和/或数据可以包括指示车牌识别内容的结果，或者指示识别到的车牌对应的车辆信息等。在一些实施例中，信息和/或数据可以被进一步配置为使用户终端130向用户显示结果。
存储设备140可以存储数据和/或指令。在一些实施例中，存储设备140可以存储从拍照设备150获得的数据。存储设备140可以存储处理引擎112可以执行或用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，所述存储设备140可在云端平台上执行。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中，存储设备140可以连接到网络120以与应用场景100中的一个或以上组件(例如，服务器110、用户终端130)通信。应用场景100中的一个或多个组件可以经由网络120访问存储在存储设备140中的数据或指令。在一些实施例中，存储设备140可以直接连接到应用场景100中的一个或以上组件或与之通信(例如，服务器110、用户终端130)。在一些实施例中，存储设备140可以是服务器110的一部分。
拍照设备150可以获取视频数据。在一些实施例中，所获取的视频数据可以与车辆周围的场景相关联。仅作为示例，拍照设备150可以是摄像机、安全相机、网络相机、智能手机相机、平板相机，笔记本电脑相机等。拍照设备150可以被安装在车辆或车辆的物体(例如，交通信号灯、电线杆、车辆)上。在一些实施例中，拍照设备150可以由能量单元(例如，发电机，电力传输线，太阳能功率供应单元)供应能量。另外，拍照设备150可以使用电池组来扩展能量。在一些实施例中，拍照设备150可以配置有/耦合到网络模块，该网络模块使拍照设备150能够经由网络120与处理引擎112、用户终端130和/或存储设备140连接。
应当注意，以上描述意图是说明性的，而不是限制本申请的范围。对于本领域技术人员而言，许多替代，修改和变化将是显而易见的。本文描述的示例性实施例的特征，结构，方法和其他特性可以以各种方式组合以获得另外的和/或替代的示例性实施例。例如，拍照设备150可以配置有存储模块、处理模块、通信模块等。然而，这些变化和修改不脱离本申请的范围。
图2是根据本申请的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
处理器210(例如，逻辑电路)可以执行计算机指令(例如，程序代码)并根据本文描述的技术执行处理引擎112的功能。在一些实施例中，处理器210可以被配置为处理与应用场景100的一个或以上组件有关的数据和/或信息。例如，处理器210可以在由拍照设备150获取的视频数据中识别车辆的牌照信息。又例如，处理器210可以基于一系列图像来确定所识别的车辆拍照的内容。处理器210还可被配置为获取识别到的牌照对应的车辆的信息。处理器210还可以将识别的牌照信息及对应的车辆的信息发送到服务器110。在一些实施例中，处理器210可以向相关联的用户终端130发送通知。
在一些实施例中，处理器210可以在其中包括接口电路210-a和处理电路210-b。接口电路可以被配置为从总线(图2中未示出)接收电信号，其中电信号对结构化数据和/或指令进行编码以供处理电路进行处理。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码成电信号。然后，接口电路可以经由总线从处理电路发送电信号。
计算机指令可以包括例如例程、程序、对象、组件、数据结构、过程、模块和功能，其执行本文描述的特定功能。例如，处理器210可以处理与从用户终端130、存储设备140和/或应用场景100的任何其他组件获得的车辆相关的信息。在一些实施例中，处理器210可以包括一个或以上硬件处理器、诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)、可编程逻辑设备(PLD)，能够执行一个或以上功能的任何电路或处理器等，或其任意组合。
仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应注意，本申请中的计算设备200还可以包括多个处理器，因此，如本申请中所述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或分开地执行。例如，如果在本申请中，计算设备200的处理器同时执行步骤A和步骤B，则应当理解，步骤A和步骤B也可以由计算设备200中的两个或以上不同处理器联合或分别执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B)。
存储器220可以存储从用户终端130、存储设备140和/或应用场景100的任何其他组件获得的数据/信息。在一些实施例中，内存装置220可以包括大容量内存装置、可移动内存装置、易失性读写内存器、只读内存器(ROM)等或其任何组合。例如，大容量存储器可以包括磁盘、光盘、固态驱动器等。可移动存储设备可以包括闪存内存、软盘、光盘、存储卡、zip磁盘、磁带等。易失性读写内存可以包括随机存取内存(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等。在一些实施例中，存储器220可以存储一个或以上程序和/或指令以执行本申请中描述的示例性方法。例如，存储器220可以存储用于处理引擎112的用于确定车辆值的程序。
I/O230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O230可以使用户能够与处理引擎112进行交互。在一些实施例中，I/O230可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等、或其组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等，或其任意组合。
通信端口240可以连接到网络(例如，网络120)以促进数据通信。通信端口240可以在处理引擎112与用户终端130、拍照设备150或存储设备140之间建立连接。该连接可以是有线连接、无线连接、可以实现数据传输和/或接收的任何其他通信连接，和/或这些连接的任意组合。有线连接可以包括例如电缆、光缆、电话线等，或其任意组合。无线连接可以包括例如BluetoothTM链路、Wi-FiTM链路、WiMaxTM链路、WLAN链路、ZigBee链路、移动网络链路(例如，3G、4G、5G)等，或其任意组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，例如RS232、RS485等。
图3是根据本申请的一些实施例所示的可以在其上实现用户终端的示例性移动设备的示例性硬件和/或软件组件的示意图。在一些实施例中，图3所示的移动设备300可以由用户使用。用户可以是司机、乘客、交通警察、交通控制者、车辆监管部门等。例如，交通警察或交通控制者可以经由移动设备300查看车辆的牌照内容及该车辆的违规记录。在一些实施例中，交通警察或交通管制员可以基于违规记录和与违规记录相关联的交通规则做出处罚决定。惩罚决定可以被输入到移动设备300。又例如，违反交通规则的责任司机可以经由移动设备300接收通知，并且可以经由移动设备300在线支付罚款。
如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，可将移动操作系统370(例如，iOS TM、Android TM、WindowsPhone TM)和一个或以上应用380从存储器390加载到内存360中，以便由CPU340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从处理引擎112接收和渲染与图像处理有关的信息或其他信息。可以通过I/O350实现与信息流的用户交互，并通过网络120将其提供给处理引擎112和/或应用场景100的其他组件。
为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。
本领域普通技术人员将理解，当应用场景100的元件执行时，该元件可以通过电信号和/或电磁信号来执行。例如，当处理引擎112处理诸如做出确定或识别信息的任务时，处理引擎112可以操作其处理器中的逻辑电路来处理该任务。当处理引擎112向用户终端130发送数据(例如，目标车牌的当前牌照估计值)时，处理引擎112的处理器可以生成对数据进行编码的电信号。处理引擎112的处理器然后可以将电信号发送到输出端口。如果用户终端130通过有线网络与处理引擎112通信，则输出端口可以物理地连接至电缆，该电缆可以进一步将电信号传输至服务器110的输入端口。如果用户终端130通过无线网络与处理引擎112通信，则处理引擎112的输出端口可以是一个或以上天线，其可以将电信号转换为电磁信号。在诸如用户终端130和/或服务器110之类的电子设备中，当其处理器处理指令，发出指令和/或执行动作时，该指令和/或动作是通过电信号进行的。例如，当处理器从存储介质(例如，存储设备140)检索或保存数据时，它可以向存储介质的读/写设备发送电信号，该读/写设备可以在存储介质中读取或写入结构化数据。该结构数据可以通过电子设备的总线，以电信号的形式传输至处理器。在此，电信号可以指的是电信号、一系列电信号和/或一个或以上离散的电信号。
图4根据本申请的一些实施例所示的示例性处理引擎的示意框图。
如图4所示，在一些实施例中，处理引擎112可以包括生成模块410、识别模块430、评估模块420。处理引擎140可以被实现在各种组件上(例如，如图2所示的计算设备200的处理器210)。例如，处理引擎140的至少一部分可以在如图2所示的计算设备或如图3所示的移动设备上实现。
生成模块410可以获取与应用场景100有关的数据和/或信息。在一些实施例中，生成模块410可以从应用场景100的一个或以上组件，例如拍照设备150、存储设备140、获取与应用场景100有关的数据和/或信息。例如，生成模块410可以从拍照设备150获取视频数据作为训练集数据并构建车牌识别模型及利用训练集数据进行所述车牌识别模型的训练。视频数据可以包括一系列帧。生成模块410可以将一系列帧发送到其他模块(例如，识别模块430)以进行进一步处理。又例如，生成模块410可以从存储设备140获取车辆的车牌图片。作为又一示例，生成模块410可以从存储设备140获取车牌识别模型。
评估模块420可以确定车牌识别模型的识别准确率，评估模块420对车牌识别使用准确率作为评价指标，只有车牌中每一位都识别正确才认为算法对该车牌识别正确。对于识别错误的车牌，无论识别错误的位数有多少，都统一对待，认为它是错误的。
识别模块430可以从与应用场景100有关的数据和/或信息中识别一个或以上对象。在一些实施例中，识别模块430可以在从生成模块410获取的一系列帧中识别车辆牌照。一系列帧中可能有一个或以上对象。识别模块430可以识别一系列帧中的每个帧中的每个对象并且关联所识别的对象。例如，可以使用车牌识别模型来识别一系列帧中的一个或以上车辆牌照。又例如静态对象，例如建筑物、邮箱等可以从一系列帧中识别出来。在一些实施例中，识别模块430可以基于一系列帧来识别车辆的牌照信息及对应的车辆的信息(例如，驾驶执照ID、车牌号)。
在一些实施例中，处理引擎112还可以包括训练模块440，训练模块440用于根据采集获得的数据对构建的所述车牌识别模型进行训练，获得训练完毕的所述车牌识别模型。
在一些实施例中，训练的样本图像可以包括已有的车辆牌照图像。已有的车辆牌照图像可以通过各种方式获取，比如，历史行车记录仪采集的车辆图像、历史用户上传的车辆图像、电子监控设备采集的车辆图像等。在一些实施例中，可以对已有的车辆图像进行数据增强，以增加样本图像的数量。数据增强的方法包括但不限于翻转、旋转、缩放、裁剪、平移、添加噪声等。在一些实施例中，可以标记样本图像的状态数据，标记可以通过人工或计算机程序进行。比如，可以根据历史用户对车辆的评分进行统计等等。仅作为示例，可以以样本图像作为输入，以对应的车辆状态作为正确标准(Ground Truth)对模型进行训练。同时可以根据模型的预测输出(例如，预测的车辆状态)与正确标准之间的差异反向调整模型参数。当满足某一预设条件时，例如，训练样本图像数达到预定的数量，模型的预测正确率大于某一预定正确率阈值，或损失函数(LossFunction)的值小于某一预设值，训练过程将停止，并将训练后的模型指定为所述状态检测模型。关于本说明书中的车牌识别模型的更多细节说明参见后续内容，此处不再赘述。
在一些实施例中，处理引擎112可以获得车牌识别模型。在一些实施例中，车牌识别模型可以包括训练的机器学习模型。例如，训练后的机器学习模型可以包括You onlylook once(YOLO)模型、增强Haar模型、FasterR-CNN模型、Mask R-CNN模型等，或其任意组合。在一些实施例中，处理引擎112可以经由网络120直接从存储设备140获得车牌识别模型。在一些实施例中，处理引擎112可以获得机器学习模型并训练机器学习模型。例如，可以使用一组样本图像和与该组样本图像相对应的一组对象识别结果(例如，正或负标签、对象类型的标签)来训练机器学习模型。训练后的机器学习模型可以用作车牌识别模型，用于识别一系列帧中的每个帧中的车辆牌照。
处理引擎112中的模块可以经由有线连接或无线连接彼此连接或彼此通信。有线连接可以包括金属电缆、光缆、混合电缆等或其任何组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。两个或以上模块可以合并成一个模块，以及任意一个模块可以被拆分成两个或以上单元。例如，生成模块410可以作为单个模块集成在识别模块430中，该单个模块可以识别移动终端和与该移动终端相关联的目标。
应当理解，图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于处理引擎及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图4生成模块、识别模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个模块的功能。又例如，处理引擎中各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
图5是根据本说明书的一些实施例所示的自然场景下的车牌识别方法的流程图。在一些实施例中，图5所示的过程500可以在图1所示的应用场景100中实现。例如，过程500可以作为指令的形式存储在存储介质(例如，存储设备140或计算设备200的存储器220)中，并且由处理器(例如，存储设备140)、服务器110的处理引擎112，计算设备200的处理器220或图4中所示的处理引擎112中的一个或以上模块调用和/或执行。下面呈现的所示过程500的操作旨在说明。在一些实施例中，过程500可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图5中示出的和下面描述的过程500的操作的顺序不旨在限制性的。
如图5所示，该流程500可以包括以下步骤：
步骤510，构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练。
具体的，该步骤可以由生成模块执行。
在一些实施例中，作为训练样本的车牌数据集内的图像可由专门的人员进行采集并上传，在一些实施例中，车牌数据集内的图像的获取包括通过采集车辆视频并进行视频分割从而提取车辆牌照图片，在一些实施例中，车牌数据集内的图像的获取可以直接由监控设备、摄像设备等直接拍摄车辆牌照的图像，在一些实施例中，收集图片包括对不同时间段，不同路段、不同天气下的车牌图片的收集。
在一些实施例中，一个或以上车牌照片可以存储在存储设备140中。处理引擎112可以经由网络120从存储设备140获得车牌照片。例如，用户(例如，交通警察)可以向存储设备140输入车牌照片。处理引擎112可以获取车牌照片。
在一些实施例中，车牌照片可以由如图1所示的拍照设备150获取。在一些实施例中，车牌照片可以由一个以上的拍照设备150获取。例如，第一拍照设备150-1(图中未示出)可以被配置为获取低分辨率视频(或图像的低分辨率帧)以用于对物体的运动进行分析。第二拍照设备150-2(图中未示出)可以被配置为获取一个或以上高分辨率图像，以用于识别物体的信息，例如，车牌号的具体内容。
在一些实施例中，拍照设备150可以可拆卸地安装在交通标志或交通标志附近的物体上。例如，对象可以包括交通信号灯、路灯、电线杆、树木、建筑物等，或其任何组合。在一些实施例中，拍照设备150可以安装在停在停车场所的车辆上。如本文所用，“安装在车辆上”是指被安装在车辆的外部(例如，在车顶上、在前窗上、在后视镜上)或安装在车辆的内部(例如，面板上方、车辆内部的前窗上或乘客座椅上)。
在一些实施例中，对于拍照设备采集到的图片数据需要进行预处理。
在一些实施例中，数据的预处理包括进行降噪、数据归一化、特征标准化等。在一些实施例中，照片场景中包括噪音区域。例如，噪音区域可以包括车道、静态物体，诸如树、建筑物、被道路停放的车辆等，或其任何组合。在一些实施例中，进行数据预处理可以在筛选出车辆牌照图像之前删除照片中的噪音区域。
在一些实施例中，数据的预处理包括对车牌数据集进行文字识别。例如，所有车牌数据集像素均为256x64,图像格式为.jpg格式，其中训练集包含12000张图片，测试集包含3000张图片。在一些实施例中，对于实际场景，车辆离摄像头越近，车牌图越清晰越明显，但是容易出现车牌图片边缘截断的情况，也就是保留的是不完整的车牌图，这个时候不希望算法给予截断车牌很高的质量分，所以加入了部分随机截断的车牌图以增加训练集的多样性。
步骤520，利用测试集数据对完成训练的所述车牌识别模型进行测试评估。
具体的，该步骤可以由评估模块执行。
在一些实施例中，所述评估模型采用以下方式对所述识别结果进行评估，关于评估模型的其他相关描述参见后文，此处不再赘述。：
Acc＝Righet/All
Acc代表车牌识别模型的识别车牌的精确率，Right代表识别正确的车牌数，All代表所有车牌数据集中的车牌的样本数；
所述评估模型的测试指标至少包括以下一种：回归损失平方和、top1车牌准确率、top1_in_top5车牌准确率；
其中，所述回归损失平方和与车牌数据集的车牌图片的识别置信度和预测质量分相关，所述top1车牌准确率、top1_in_top5车牌准确率与车牌识别模型的识别准确率相关。
需要说明的是，测试指标主要是回归损失平方和、寻找top1车牌准确率、寻找top1_in_top5车牌准确率。
回归损失平方和：即为实际的车牌图片的识别置信度和预测质量分的差的平方，累加起来，只能够粗略的衡量算法的好坏，并不能完全的表示算法寻找top1的能力。
top1车牌准确率：即为实际的测试track中，算法判断找到的预测最高质量分的那个车牌是不是实际的识别最高分的车牌的准确率。
top1_in_top5车牌准确率：即为实际测试track中，算法找到的预测最高质量分的车牌是否是实际识别分中top5中的车牌的准确率。
步骤530，将通过测试评估的所述车牌识别模型用于车牌识别。
具体的，该步骤可以由识别模块执行。
在一些实施例中，处理引擎112可以使用通过测试评估的所述车牌识别模型来识别车辆牌照。可以从存储设备140获得车牌识别模型。处理引擎112可以执行车牌识别模型以在车辆照片中识别车辆牌照。关于车牌识别模型的具体描述参见图6的相关内容，此处不再赘述。
在一些实施例中，处理引擎112可以基于获得车辆的牌照信息进一步获取车辆的信息。例如司机信息、车辆的违规信息等。如车辆的牌照信息还可进一步用于识别违反交通规则的司机。
应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。
图6是根据本说明书的一些实施例所示的车牌识别模型识别车牌的流程示意图。
如图6所示，车牌识别模型识别车牌的流程包括：
第一步，输入图片；其中，输入的图片可以由牌照设备150获取，或用户端上传等，具体的图片获取方式参见本说明书其他部分的具体说明，此处不再赘述。
第二步，对输入的图片采用MobilenetV2作为基础特征提取网络进行基础特征提取。
本实施例中充分利用MobilenetV2足够轻量化，易于部署到移动设备的优点，将MobilenetV2作为基础特征提取网络，关于基础特征提取网络的具体说明参见后文，此处不再赘述。
第三步，采用muti-attention模块作为序列化特征提取模块进行序列化特征提取。
第四步，在车牌识别场景中,因汉字相对数字和字母较为复杂,故采用更多注意力在汉字识别,并增汉字loss在整体loss中的比重。
第五步，用Softmax将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，从而来进行多分类。
关于上述出来流程的具体说明如下：
本申请可对不同类型车牌进行识别，包括八位的新能源车牌和普通汽车的7位车牌，并根据这些输出不同的记过。
本实施例所用到的特征提取网络为MobilenetV2，Mobilenet网络结构如图7所示，处理流程为先将输入图片resize成224x224x3，bottleneck后面的数字代表有几个这种模块,最后一层采用全连接层展开成1x1x1280。除了使用深度可分离结构以外，本实施例还采用了Expansion layer和Projection layer，如图8所示为bottleneck网络模块的结构示意图，projection layer也是使用1X1的网络结构，目的是希望把高维特征映射到低维空间去。使用1X1的网络结构将高维空间映射到低纬空间的设计有的时候也称之为Bottlenecklayer。Expansion layer的功能正相反，使用1X1的网络结构，目的是将低维空间映射到高维空间。在一些实施例中，Expansion有一个超参数是维度扩展几倍。可以根据实际情况来做调整的，在一些实施例中，采用扩展4倍时效果更好。
在一些实施例中，在特征提取之后使用多头注意力机制进行序列化特征提取模块，如图9所示为多头注意力机制的示意图，将本申请所要识别的车牌中的字符分为多个头，形成多个子空间，可以让模型关注不同方面的信息。在一些实施例中，新能源车牌由8位组成，普通车牌由7位组成，因此最后输出需要八个位置，由于汉字字符的识别较为困难，因此，在一些实施例中，将前10位作为汉字识别，后面10位用作数字或字母的输出，在一些实施例中，最后输出为20位，其余的用占位符“-”来填充。
模型的训练可以由训练模块240实现，模型可以由历史车辆牌照相关数据进行训练后得到。仅作为示例，可以以历史基础信息作为输入，以所述历史基础信息对应的适当相似度值作为正确标准(Ground Truth)对模型进行训练。同时可以根据模型的预测输出与正确标准之间的差异反向调整模型参数。当满足某一预设条件时，例如，训练样本数达到预定的数量，模型的预测正确率大于某一预定正确率阈值，或损失函数(Loss Function)的值小于某一预设值，训练过程将停止，并将训练后的模型指定为所述第二模型。需要说明的是，进行训练时，具体的学习率的初始值设为0.0001，随epoch次数不断减小，优化器选择Adam进行优化。
在一些实施例中，车牌识别模型的激活函数采用Relu激活函数，具体如下式所示：
由于Relu的两点特性，即线性变换+当感兴趣流形(Manifold of Interest)都在右边的时候就能保留全部信息，所以感兴趣流形应该在一个高维激活空间中的一个低维子空间中。所以，可以通过加入线性瓶颈层(linear bottleneck)来拿到低维的感兴趣流形。
应该注意的是，虽然上文分别描述了车牌识别模型和评估模型，在一些实施例中，它们可以合并为一个模型，该模型可以根据不同的车辆车牌图像数据综合确定车辆的牌照内容。例如，该模型的输入为多个车辆的牌照图像，输出为多个图像内的车辆牌照内容即评估得分。模型训练的过程与确定牌照内容及评估预测结果的过程可以分开进行。在一些实施例中，所述训练过程可以在服务器110上执行，也可以在另外的设备上执行，再将训练好的模型应用到服务器110上。在一些实施例中，也可以对根据各种不同场景下的车牌照片进行车牌内容的确定。
本说明书的实施例的车牌识别方法具有的有益效果包括但不限于以下几点：1.本申请采用轻量级特征提取网络mobilenet-v2来提取图片信息，更方便服务于边缘设备；2.采用多头注意力模模块作为序列化特征提取模块,模块作为序列化特征提取模块,而不采用LSTM模块,因LSTM模块为串行计算,并行速度慢，利用cuda并行加速效果差。3.muti-attention模块中去除位置编码向量,因受其编码向量初始化方式和向量维度影响,或导致模型难以收敛，训练不稳定。4.在车牌识别场景中,因汉字相对数字和字母较为复杂,故采用更多注意力在汉字识别,并增汉字loss在整体loss中的比重。
本说明书实施例还提供一种车牌识别设备，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行前述的自然场景下的车牌识别方法，所述方法包括：构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练；所述训练集数据中包括若干车牌图片；利用测试集数据对完成训练的所述车牌识别模型进行测试评估；所述测试集数据中包括若干车牌图片；将通过测试评估的所述车牌识别模型用于车牌识别。
本说明书实施例还提供一种计算机可读存储介质。所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机实现前述的检测车辆状态的方法，所述方法包括构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练；所述训练集数据中包括若干车牌图片；利用测试集数据对完成训练的所述车牌识别模型进行测试评估；所述测试集数据中包括若干车牌图片；将通过测试评估的所述车牌识别模型用于车牌识别。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (5)

1.一种自然场景下的车牌识别方法，其特征在于，包括：
构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练；所述训练集数据中包括若干车牌图片；
利用测试集数据对完成训练的所述车牌识别模型进行测试评估；所述测试集数据中包括若干车牌图片；
将通过测试评估的所述车牌识别模型用于车牌识别；
其中，所述车牌识别模型对输入的图片的处理包括：
提取图片基础特征；
将提取的基础特征进行序列化特征提取处理，
用Softmax将多个神经元的输出，映射到(0,1)区间内，并进行分类；
所述车牌识别模型中通过多头注意力模块进行序列化特征提取；
所述车牌识别模型采用MobilenetV2作为基础特征提取网络；
所述车牌识别模型对输入的图片的处理中：
所述基础特征提取网络MobilenetV2先将输入的图片将resize成224x224x3，bottleneck后面的数字代表有几个这种模块,最后一层采用全连接层展开成1x1x1280；
所述车牌识别模型采用muti-attention模块作为序列化特征处理模块进行特征的序列化处理；
然后通过1X1的网络结构的Expansion layer将低维空间映射到高维空间，以及通过1X1的网络结构的Projection layer将高维特征映射到低维空间；
然后使用多头注意力机制进行序列化特征提取模块将所要识别的车牌中的字符分为多个头，形成多个子空间；
最后将前n位作为第一类字的输出，将后面m位作为第二类字的输出，其中，不足的用占位符填充。
2.根据权利要求1所述的方法，其特征在于，在所述muti-attention模块进行特征的序列化处理时，包括去除位置编码向量的操作。
3.根据权利要求1所述的方法，其特征在于，所述利用测试集数据对完成训练的所述车牌识别模型进行测试评估通过评估模型实现，所述评估模型采用以下方式对所述识别模型的识别结果进行评估：
Acc＝Right/All；
Acc代表识别模型的识别车牌的精确率，Right代表识别正确的车牌数，All代表所有车牌数据集中的车牌的样本数；
所述评估模型的测试指标至少包括以下一种：回归损失平方和、top1车牌准确率、top1_in_top5车牌准确率；
其中，所述回归损失平方和与车牌数据集的车牌图片的识别置信度和预测质量分相关，所述top1车牌准确率、top1_in_top5车牌准确率与识别模型的识别准确率相关。
4.一种自然场景下的车牌识别设备，其特征在于，包括：
生成模块，用于构建车牌识别模型并利用训练集数据进行所述车牌识别模型的训练；所述训练集数据中包括若干车牌图片；
评估模块，用于利用测试集数据对完成训练的所述车牌识别模型进行测试评估；所述测试集数据中包括若干车牌图片；
识别模块，用于将通过测试评估的所述车牌识别模型用于车牌识别；
所述车牌识别模型对输入的图片的处理包括：
提取图片基础特征；
将提取的基础特征进行序列化特征提取处理，
用Softmax将多个神经元的输出，映射到(0,1)区间内，并进行分类；
所述车牌识别模型采用MobilenetV2作为基础特征提取网络；
所述车牌识别模型对输入的图片的处理中：
所述基础特征提取网络MobilenetV2先将输入的图片将resize成224x224x3，bottleneck后面的数字代表有几个这种模块,最后一层采用全连接层展开成1x1x1280；
所述车牌识别模型采用muti-attention模块作为序列化特征提取模块进行特征的序列化处理；
然后通过1X1的网络结构的Expansion layer将低维空间映射到高维空间，以及通过1X1的网络结构的Projection layer将高维特征映射到低维空间；
然后使用多头注意力机制进行序列化特征提取模块将所要识别的车牌中的字符分为多个头，形成多个子空间；
最后将前n位作为第一类字的输出，将后面m位作为第二类字的输出，其中，不足的用占位符填充。
5.一种自然场景下的车牌识别装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，其特征在于，所述指令被所述处理器执行时，导致所述装置实现如权利要求1至3中任一项所述自然场景下的车牌识别方法对应的操作。
CN202110721106.0A 2021-06-28 2021-06-28 一种自然场景下的车牌识别方法及系统 Active CN113343903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110721106.0A CN113343903B (zh) 2021-06-28 2021-06-28 一种自然场景下的车牌识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110721106.0A CN113343903B (zh) 2021-06-28 2021-06-28 一种自然场景下的车牌识别方法及系统

Publications (2)

Publication Number Publication Date
CN113343903A CN113343903A (zh) 2021-09-03
CN113343903B true CN113343903B (zh) 2024-03-26

Family

ID=77479242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110721106.0A Active CN113343903B (zh) 2021-06-28 2021-06-28 一种自然场景下的车牌识别方法及系统

Country Status (1)

Country Link
CN (1) CN113343903B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723377B (zh) * 2021-11-02 2022-01-11 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619327A (zh) * 2018-06-20 2019-12-27 湖南省瞬渺通信技术有限公司 一种复杂场景下基于深度学习的实时车牌识别方法
CN110969160A (zh) * 2019-11-21 2020-04-07 合肥工业大学 一种基于深度学习的车牌图像校正、识别方法及系统
CN111325203A (zh) * 2020-01-21 2020-06-23 福州大学 一种基于图像校正的美式车牌识别方法及系统
CN111507328A (zh) * 2020-04-13 2020-08-07 北京爱咔咔信息技术有限公司 文本识别及模型训练方法、系统、设备及可读存储介质
CN111598089A (zh) * 2020-05-16 2020-08-28 湖南大学 一种基于深度学习的车牌矫正与识别方法
CN111767927A (zh) * 2020-06-03 2020-10-13 上海交通大学 一种基于全卷积网络的轻量级车牌识别方法及系统
CN112183468A (zh) * 2020-10-27 2021-01-05 南京信息工程大学 一种基于多注意力联合多级特征的行人再识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619327A (zh) * 2018-06-20 2019-12-27 湖南省瞬渺通信技术有限公司 一种复杂场景下基于深度学习的实时车牌识别方法
CN110969160A (zh) * 2019-11-21 2020-04-07 合肥工业大学 一种基于深度学习的车牌图像校正、识别方法及系统
CN111325203A (zh) * 2020-01-21 2020-06-23 福州大学 一种基于图像校正的美式车牌识别方法及系统
CN111507328A (zh) * 2020-04-13 2020-08-07 北京爱咔咔信息技术有限公司 文本识别及模型训练方法、系统、设备及可读存储介质
CN111598089A (zh) * 2020-05-16 2020-08-28 湖南大学 一种基于深度学习的车牌矫正与识别方法
CN111767927A (zh) * 2020-06-03 2020-10-13 上海交通大学 一种基于全卷积网络的轻量级车牌识别方法及系统
CN112183468A (zh) * 2020-10-27 2021-01-05 南京信息工程大学 一种基于多注意力联合多级特征的行人再识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Vishal Jain等.Deep Automatic Licence Plate Recognition system.《 Proceedings of the Tenth Indian Conference on Computer Vision, Graphics and Image Processing》.2016,正文1-8. *
XIAOFEN JIA等.Multi-Attention Ghost Residual Fusion Network for Image Classification.《access》.2021,第9卷81421-81431. *
肖慧辉等.基于 Transformer 的证件图像无检测文字识别.《信息技术》.2021,(第6期),图1、第1节、第2节. *

Also Published As

Publication number Publication date
CN113343903A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
Zhang et al. CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5
Jin et al. Pedestrian detection with super-resolution reconstruction for low-quality image
Shi et al. Real-time traffic light detection with adaptive background suppression filter
Abdi et al. Deep learning traffic sign detection, recognition and augmentation
CN104134364B (zh) 具有自我学习能力的实时交通标记识别方法及系统
CN112041908A (zh) 监控交通标志违规的系统和方法
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
WO2023005091A1 (en) Systems and methods for object detection
CN113673527B (zh) 一种车牌识别方法及系统
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
Jiang et al. Application of a fast RCNN based on upper and lower layers in face recognition
Qu et al. Improved YOLOv5-based for small traffic sign detection under complex weather
Jin et al. Vehicle license plate recognition for fog‐haze environments
CN113343903B (zh) 一种自然场景下的车牌识别方法及系统
Guo et al. A domain‐adaptive method with cycle perceptual consistency adversarial networks for vehicle target detection in foggy weather
Zhang et al. AGVS: A new change detection dataset for airport ground video surveillance
Pan et al. A hybrid deep learning algorithm for the license plate detection and recognition in vehicle-to-vehicle communications
CN112396060B (zh) 基于身份证分割模型的身份证识别方法及其相关设备
Qin et al. Dense sampling and detail enhancement network: Improved small object detection based on dense sampling and detail enhancement
Andriyanov Application of computer vision systems for monitoring the condition of drivers based on facial image analysis
Peng et al. [Retracted] Helmet Wearing Recognition of Construction Workers Using Convolutional Neural Network
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN116311546A (zh) 活体检测方法和系统
CN113378972B (zh) 一种复杂场景下的车牌识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant