CN107704857A - 一种端到端的轻量级车牌识别方法及装置 - Google Patents

一种端到端的轻量级车牌识别方法及装置 Download PDF

Info

Publication number
CN107704857A
CN107704857A CN201710875708.5A CN201710875708A CN107704857A CN 107704857 A CN107704857 A CN 107704857A CN 201710875708 A CN201710875708 A CN 201710875708A CN 107704857 A CN107704857 A CN 107704857A
Authority
CN
China
Prior art keywords
license plate
image
target
super
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710875708.5A
Other languages
English (en)
Other versions
CN107704857B (zh
Inventor
傅慧源
马华东
张逸凡
曹雨
张登奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710875708.5A priority Critical patent/CN107704857B/zh
Publication of CN107704857A publication Critical patent/CN107704857A/zh
Priority to US16/136,128 priority patent/US10755120B2/en
Application granted granted Critical
Publication of CN107704857B publication Critical patent/CN107704857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种端到端的轻量级车牌识别方法及装置，所述方法包括：获取待识别图像；基于待识别图像及预先训练完成的目标车牌识别模型，获得待识别图像中车牌的号码及其在待识别图像中位置坐标，其中，目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络。由于在本方案中，将待识别图像输入目标车牌识别模型中，目标车牌识别模型便可以输出车牌的号码及其在待识别图像中位置坐标，实现端到端的模型，同时图像特征等计算变量可以重复利用，无需进行重复的计算，模型占用内存少，车牌识别速度得到大大提高。

Description

一种端到端的轻量级车牌识别方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种端到端的轻量级车牌识别方法及装置。
背景技术
车牌识别技术是实现智能交通的基础，近年来，随着数字图像处理、模式识别和人工智能技术的日趋成熟，车牌识别技术也在不断发展。
一般车牌识别过程包括车牌定位、字符分割、字符识别三个步骤。该三个步骤通过多个深度学习模型实现，例如，车牌定位一般通过特征提取模型实现对待识别图像的特征提取，得到特征图，通过区域候选定位模型确定候选框位置。字符识别深度学习模型根据特征图及候选框进行字符分割及字符识别。
在上述车牌识别过程中，由于多个深度学习模型是单独存在的，在通过每个深度学习模型进行运算时，会出现很多的冗余的计算，产生大量冗余的计算变量。例如，在车牌定位过程中需要进行卷积运算提取图像特征，然而在字符分割及字符识别过程中一般也需要进行同样的卷积运算提取图像特征，这些特征便成为冗余的计算变量。由于大量冗余的计算变量占用大量内存，同时存在冗余的计算，因此车牌识别速度较低。
发明内容
本发明实施例的目的在于提供一种端到端的轻量级车牌识别方法及装置，以减少冗余的计算，提高车牌识别速度。具体技术方案如下：
第一方面，本发明实施例提供了一种端到端的轻量级车牌识别方法，所述方法包括：
获取待识别图像；
基于所述待识别图像及预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标，其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络，所述获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标的过程包括：
将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；
将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；
将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
可选的，所述将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像的步骤，包括：
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；
从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；
根据所提取的车牌特征，生成超分辨率车牌图像。
可选的，所述目标车牌识别模型的训练方式包括：
构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
将每个图像样本输入目标特征提取网络，得到每个图像样本对应的目标特征图样本，并将所述目标特征图样本输入所述目标区域候选定位网络，得到目标位置坐标；
将所述目标特征图样本及所述目标位置坐标输入所述初始超分辨率生成网络，得到预测的超分辨率图像；
根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
可选的，在所述将所述图像样本输入所述初始特征提取网络的步骤之前，所述方法还包括：
调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本；
所述将所述图像样本输入所述初始特征提取网络的步骤，包括：
将所述调整尺寸后的图像样本输入所述初始特征提取网络。
可选的，所述目标特征提取网络为轻量级特征提取卷积神经网络。
第二方面，本发明实施例提供了一种端到端的轻量级车牌识别装置，所述装置包括：
待识别图像获取模块，用于获取待识别图像；
车牌识别模块，用于基于所述待识别图像及由识别模型训练模块预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标，其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络；
所述车牌识别模块，具体用于将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
可选的，所述车牌识别模块包括：
超分辨率图像生成单元，用于将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；根据所提取的车牌特征，生成超分辨率车牌图像。
可选的，所述识别模型训练模块包括：
识别模型构建单元，用于构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
图像样本获取单元，用于获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
特征图样本获取单元，用于将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
预测位置坐标确定单元，用于将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
第一参数调整单元，用于根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
超分辨率图像获取单元，用于将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
第二参数调整单元，用于根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
超分辨率车牌图像样本获取单元，用于将每个图像样本对应的特征图样本输入所述目标初始超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
预测车牌号码确定单元，用于将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
第三参数调整单元，用于根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
可选的，所述装置还包括：
尺寸调整模块，用于在所述将所述图像样本输入所述初始特征提取网络之前，调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本；
所述特征图样本获取单元包括：
样本输入子单元，用于将所述调整尺寸后的图像样本输入所述初始特征提取网络。
可选的，所述目标特征提取网络为轻量级特征提取卷积神经网络。
本发明实施例提供的方案中，首先获取待识别图像，基于待识别图像及预先训练完成的目标车牌识别模型，获得待识别图像中车牌的号码及其在待识别图像中位置坐标，其中，目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络，获得待识别图像中车牌的号码及其在待识别图像中位置坐标的过程包括：将待识别图像输入目标特征提取网络，对待识别图像进行第一预设卷积运算，得到特征图；将特征图输入目标区域候选定位网络，对特征图进行第二预设卷积运算，得到候选框坐标；将候选框坐标及特征图输入目标超分辨率生成网络，根据候选框坐标及特征图，生成超分辨率车牌图像；将超分辨率车牌图像及候选框坐标输入目标递归神经网络，根据所包含的车牌特征与字符的对应关系及超分辨率车牌图像，得到待识别图像中车牌的号码，并输出号码、候选框坐标及超分辨率车牌图像。由于在本方案中，将待识别图像输入目标车牌识别模型中，目标车牌识别模型便可以输出车牌的号码及其在待识别图像中位置坐标，实现端到端的模型，同时图像特征等计算变量可以重复利用，无需进行重复的计算，模型占用内存少，车牌识别速度得到大大提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种端到端的轻量级车牌识别方法的流程图；
图2为图1所示实施例中步骤S102的具体流程图；
图3为图1所示实施例中车牌识别过程的一种示意图；
图4为图2所示实施例中步骤S203的具体流程图；
图5为图1所示实施例中目标车牌识别模型的一种训练方式的流程图；
图6为图5所示实施例中步骤S401-步骤S404过程的一种示意图；
图7为图5所示实施例中步骤S405-步骤S407过程的一种示意图；
图8为图5所示实施例中步骤S408-步骤S410过程的一种示意图；
图9为本发明实施例所提供的一种端到端的轻量级车牌识别装置的结构示意图；
图10为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了减少车牌识别过程中冗余的计算，提高车牌识别速度，本发明实施例提供了一种端到端的轻量级车牌识别方法、装置、电子设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种端到端的轻量级车牌识别方法进行介绍。
本发明实施例所提供的一种端到端的轻量级车牌识别方法可以应用于任意需要进行车牌识别处理的电子设备，以下简称电子设备。该电子设备可以为电脑、平板电脑等电子设备，在此不做具体限定。
如图1所示，一种端到端的轻量级车牌识别方法，所述方法包括：
S101，获取待识别图像；
S102，基于所述待识别图像及预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标。
其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络，所述获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标的过程包括：
将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；
将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；
将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码及所述候选框坐标。
可见，本发明实施例提供的方案中，电子设备首先获取待识别图像，基于待识别图像及预先训练完成的目标车牌识别模型，获得待识别图像中车牌的号码及其在待识别图像中位置坐标。获得待识别图像中车牌的号码及其在待识别图像中位置坐标的过程包括：将待识别图像输入目标特征提取网络，对待识别图像进行第一预设卷积运算，得到特征图；将特征图输入目标区域候选定位网络，对特征图进行第二预设卷积运算，得到候选框坐标；将候选框坐标及特征图输入目标超分辨率生成网络，根据候选框坐标及特征图，生成超分辨率车牌图像；将超分辨率车牌图像及候选框坐标输入目标递归神经网络，根据所包含的车牌特征与字符的对应关系及超分辨率车牌图像，得到待识别图像中车牌的号码，并输出号码、候选框坐标及超分辨率车牌图像。由于在本方案中，将待识别图像输入目标车牌识别模型中，目标车牌识别模型便可以输出车牌的号码及其在待识别图像中位置坐标，实现端到端的模型，同时图像特征等计算变量可以重复利用，无需进行重复的计算，模型占用内存少，车牌识别速度得到大大提高。
在上述步骤S101中，电子设备获取的待识别图像即为包含所需识别的车牌的图像。该待识别图像可以是电子设备本地存储的图像，当然也可以是与电子设备建立通信连接的图像采集设备采集并发送的图像。对于无人驾驶等需要实时进行图像识别的情况，该待识别图像可以是图像采集设备采集并实时发送的，这都是合理的。
电子设备获取待识别图像后，便可以将该待识别图像输入预先训练完成的目标车牌识别模型中，经目标车牌识别模型处理，进而得到待识别图像中车牌的号码及其在所述待识别图像中位置坐标。其中，该目标车牌识别模型可以包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络。
具体来说，如图2所示，上述获得待识别图像中车牌的号码及其在待识别图像中位置坐标的过程可以包括：
S201，将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；
首先待识别图像会被输入目标特征提取网络中，进行第一预设卷积运算，得到特征图。在一种实施方式中，该目标特征提取网络可以为轻量级特征提取卷积神经网络，例如，可以采用squeezeNet卷积神经网络。可以理解的是，轻量级特征提取卷积神经网络的连接参数比较少，为轻量级神经网络，能够更加快速的对待识别图像的图像特征进行提取。同时，对硬件内存要求降低，方便大规模的部署。
其中，第一预设卷积运算的卷积核大小及步长可以根据实际识别需要等因素进行设定，在此不做具体限定。例如，采用卷积核大小为(2*2)，步长为(1*1)的卷积层对待识别图像进行第一预设卷积运算，进而，便可以得到待识别图像的特征图。可以理解的是，由于卷积运算的特性，在该特征图中，所有物体之间的相对位置与在待识别图像中是相同的。目标特征提取网络可能包括多层卷积层，分别对前一层卷积层的输出结果进行卷积运算，特征图一般便为最后一层卷积层的输出结果。
S202，将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；
目标特征提取网络输出特征图，接下来该特征图输入目标区域候选定位网络，目标区域候选定位网络确定可能成为车牌的区域的坐标。之后将确定的坐标进行卷积打分，最后输出整个特征图的候选框坐标。该候选框坐标即为卷积打分所得到的分数最高的区域坐标，得分最高表示该区域最有可能为车牌所在区域，那么该区域的坐标也就是候选框坐标。
其中，第二预设卷积运算的卷积核大小及步长可以根据实际识别需要等因素进行设定，在此不做具体限定。例如，采用卷积核大小为(3*3)，步长为(2*2)的卷积层对待识别图像进行第二预设卷积运算，进而，便可以得到候选框坐标。一般情况下，由于车牌一般为矩形，所以候选框坐标为一个矩形框的对角线方向上的两个顶点的坐标，当然也可能是矩形框的四个顶点的坐标，只要可以确定矩形框的位置即可，在此不做具体限定。
S203，将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；
上述候选框坐标及目标特征提取网络输出的特征图输入目标超分辨率生成网络，目标超分辨率生成网络可以根据候选框坐标及特征图，生成超分辨率车牌图像。为了方案清楚及布局清晰，后续将会对生成超分辨率车牌图像的具体实施方式进行举例介绍。
在一种实施方式中，目标超分辨率生成网络可以采用生成对抗神经网络的架构。由于生成对抗神经网络的运行速度快、精度高，因此可以将在自然场景下采集的不够清晰的车牌图像进行超分辨率重建，获得超分辨率车牌图像，在该超分辨率车牌图像中，车牌特征清晰，可以是后续识别结果更加准确。并且生成对抗神经网络输出的超分辨率车牌图像经过尺寸的归一化，更便于后续目标递归神经网络的识别。
S204，将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
目标超分辨率生成网络输出的超分辨率车牌图像及目标区域候选定位网络输出的候选框坐标可以输入目标递归神经网络，进而，目标递归神经网络可以根据其所包含的车牌特征与字符的对应关系，对超分辨率车牌图像进行识别，得到超分辨率车牌图像中车牌的号码，也就是待识别图像中车牌的号码，然后输出该号码及候选框坐标，即完成车牌识别过程。
具体来说，在目标递归神经网络中，采用LSTM(Long Short Term Memory，长短时记忆递归神经网络网络)的编码模型作为基础模型。上述超分辨率车牌图像作为输入，提取超分辨率车牌图像的特征，该特征依次进入LSTM的编码单元。
LSTM中的第一步是决定从神经元的细胞状态中丢弃哪些信息，可以通过一个忘记门层实现。该忘记门层可以读取前一段记忆序列的输入，对应于在细胞状态中每个数字输出一个在0到1之间的数值。其中，1表示保留，0表示舍弃。公式如下：
ft＝σ(Wf·[ht-1，xt]+bf)
其中，ft为神经元在第t层遗忘门层的输出，Wf为第t层遗忘门层的连接参数，ht-1为第t-1层遗忘门层的输入，xt为第t层遗忘门层的输入，bt为第t层遗忘门层的偏置值。
下一步需要确定哪些的新信息被存放在细胞状态中。一般包含两个部分，其中，第一部分为sigmoid层，可以称为输入门层，用于决定哪些值需要更新。另一部分为tanh层，用于创建一个新的候选值向量，该候选值向量会被加入到细胞状态中。具体公式如下：
it＝σ(Wi·[ht-1，xt]+bi)
其中，C为神经细胞的状态值，it为新状态的候选值，Wi为候选更新参数，bi为候选偏置项，WC为细胞状态更新参数，bC为细胞状态偏置项。
接下来，便可以更新旧细胞状态，在上述步骤中已经确定丢弃和更新的参数，接下来执行丢弃和更新动作即可。具体的，旧状态值与连接参数相乘，丢弃掉已确定需要丢弃的信息。新的候选值根据以确定的更新每个状态的程度进行更新，具体公式如下：
最后，需要确定输出值，输出值是基于细胞状态，进行过滤后得到的。首先，构建一个sigmoid层来确定细胞状态的哪个部分将作为输出。然后把细胞状态通过tanh层进行处理，得到一个在-1到1之间的值，并将它和sigmoid层的输出相乘，得到输出值，具体输出值确定公式如下：
ot＝σ(Wo[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，Ot为短记忆连接参数，σ为sigmoid函数，Wo为端记忆输出连接参数，bo为偏置项。
通过上述方式，目标递归神经网络便可以根据其所包含的车牌特征与字符的对应关系及超分辨率车牌图像，得到待识别图像中车牌的号码并输出。上述车牌识别过程的简略示意图可以如图3所示。
作为本发明实施例的一种实施方式，如图4所示，上述将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像的步骤，可以包括：
S301，将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；
首先，目标特征提取网络输出的特征图以及目标区域候选定位网络输出的候选框坐标将会输入目标超分辨率生成网络，进而，目标超分辨率生成网络可以对特征图进行处理。
S302，从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；
候选框坐标及特征图输入目标超分辨率生成网络后，目标超分辨率生成网络可以从特征图中与所述候选框坐标对应的区域，提取车牌特征。举例而言，候选框坐标为(x1,y1,x2,y2)，其中，(x1,y1)和(x2,y2)为矩形框的对角线方向上的两个顶点的坐标，那么目标超分辨率生成网络便可以从特征图中，两个顶点的坐标为(x1,y1)和(x2,y2)的矩形框区域，提取车牌特征。
S303，根据所提取的车牌特征，生成超分辨率车牌图像。
进而，目标超分辨率生成网络便可以根据所提取的车牌特征，生成超分辨率车牌图像，也就是清晰、与真实车牌很接近的车牌图像。
在一种实施方式中，目标超分辨率生成网络可以是一种对抗生成网络。对抗生成网络一般包括图片生成模型和图像判别模型，图片生成模型的目标是生成一张真实度较高的图片，而图像判别模型的目标是能够正确判别一张图片是生成出来的还是真实存在的。也就是说，图像判别模型判断图片生成模型所生成的图像是否为真实的。在模型训练过程中，不断调整目标超分辨率生成网络的参数，直至图片生成模型和图像判别模型均无法提高本身，即图像判别模型无法判断图片生成模型生成的图片是生成的还是真实存在的而结束，此时目标超分辨率生成网络便可以生成与真实车牌非常相似的超分辨率车牌图像。
作为本发明实施例的一种实施方式，如图5所示，上述目标车牌识别模型的训练方式可以包括：
S400，构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
首先电子设备可以构建初始车牌识别模型，该初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络。
在一种实施方式中，可以基于caffe深度学习框架构建初始车牌识别模型，以便后续对初始车牌识别模型的训练。
S401，获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
电子设备可以获取大量图像样本用于训练初始车牌识别模型。为了保证训练得到的目标车牌识别模型的检测准确度，该图像样本可以在于待识别图像的采集环境相同或相近的条件下采集。
获取图像样本后，电子设备可以记录图像样本中车牌的位置坐标及号码。也就是说，电子设备可以记录图像样本中车牌的位置坐标和号码。为了方便后续计算所记录的位置坐标与预测的位置坐标的差值，该位置坐标可以为车牌在图像样本中所在区域的矩形框的坐标。矩形框的坐标可以为该矩形框的对角线方向上的两个顶点的坐标，当然也可以是该矩形框的四个顶点的坐标，只要可以确定该矩形框的位置即可，在此不做具体限定。车牌的号码即为车牌上的字符，包括文字和数字。
S402，将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
接下来，电子设备可以将图像样本输入已构建的初始特征提取网络，初始特征提取网络对图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本。初始特征提取网络对图像样本的特征提取方式与上述目标特征提取网络对待识别图像的特征提取方式相同，在此不做赘述。
S403，将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
获取上述特征图样本后，可以将其输入初始区域候选定位网络，得到预测的位置坐标。具体来说，初始区域候选定位网络可以对特征图样本进行第二预设卷积运算，进而得到每个图像样本对应的预测的位置坐标。
初始区域候选定位网络对特征图样本的处理得到预测的位置坐标的方式与上述目标区域候选定位网络对待识别图像的特征图处理得到候选框坐标的方式相同，在此不做赘述。
S404，根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
得到每个图像样本对应的预测的位置坐标后，电子设备可以计算所记录的位置坐标与预测的位置坐标的差值，进而根据该差值调整初始特征提取网络及初始区域候选定位网络的参数。该差值可以是所记录的位置坐标与预测的位置坐标的残差等能够表示二者差异的参数，在此不做具体限定。
计算得到该差值后，可以采用反向传播法调整初始特征提取网络及初始区域候选定位网络的参数。对于反向传播法的具体实现方式可以采用相关技术中的反向传播方式，在此不做具体限定及说明。
每个特征图样本输入初始区域候选定位网络，便可以得到其对应的预测的位置坐标，进而便可以得到一个差值，调整一次初始特征提取网络及初始区域候选定位网络的参数，该过程可以称为迭代，当迭代次数达到第一预设次数时，说明调整初始特征提取网络及初始区域候选定位网络的参数的次数已经达到第一预设次数，此时的初始特征提取网络一般已经可以准确提取图像的特征，初始区域候选定位网络一般已经可以准确定位候选框的位置，所以便可以停止调整初始特征提取网络及初始区域候选定位网络的参数，得到目标特征提取网络及目标区域候选定位网络。第一预设次数可以为1万、2万、5万等，在不做具体限定。上述步骤S401-步骤S404的过程的简略示意图可以如图6所示。
S405，将每个图像样本输入目标特征提取网络，得到每个图像样本对应的目标特征图样本，并将所述目标特征图样本输入所述目标区域候选定位网络，得到目标位置坐标；
得到目标特征提取网络及目标区域候选定位网络后，通过目标特征提取网络便可以获得每个图像样本对应的目标特征图样本，通过目标区域候选定位网络获得每个图像样本对应的目标位置坐标。
S406，将所述目标特征图样本及所述目标位置坐标输入所述初始超分辨率生成网络，得到预测的超分辨率图像；
进一步，电子设备可以将目标特征图样本及目标位置坐标输入初始超分辨率生成网络，得到预测的超分辨率图像。初始超分辨率生成网络根据目标位置坐标从对应的目标特征图样本提取车牌特征，进而生成预测的超分辨率图像。由于生成预测的超分辨率图像的具体方式与上述生成超分辨率车牌图像的方式相同，在此不再赘述。
S407，根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
获得上述预测的超分辨率图像后，电子设备便可以根据预测的超分辨率图像与真实车牌的差异度，调整初始超分辨率生成网络的参数，其中，该差异度可以是预测的超分辨率图像与真实车牌的残差等能够表示二者差异的参数，在此不做具体限定。
计算得到该差异度后，可以采用反向传播法调整初始超分辨率生成网络的参数。对于反向传播法的具体实现方式可以采用相关技术中的反向传播方式，在此不做具体限定及说明。
当迭代次数达到第二预设次数时，说明调整初始超分辨率生成网络的参数的次数已经达到第二预设次数，此时的初始超分辨率生成网络一般已经可以生成真实度较高的超分辨率车牌图像，所以便可以停止调整初始超分辨率生成网络的参数，得到目标超分辨率生成网络。其中，第二预设次数可以为1万、2万、5万等，在此不做具体限定。
示例性的，目标超分辨率生成网络可以是一种对抗生成网络，包括图片生成模型和图像判别模型，图片生成模型包括多层卷积层，其对特征图大小并没有要求，而能够获得特征图的特征信息。在多层卷积层后，还可以包括反卷积层，其对图片进行像素级别的还原，并将图片进行可视化。这样生成的超分辨率车牌图像是一个规整可读的图片，便于后续的车牌号码识别。
目标超分辨率生成网络的目的是从低分辨率图像(low-resolution image，ILR)经过超分辨率重建得到超分辨率图像(super-resolution image，ISR)，ILR即是ISR对应的低分辨率版本。对于具有C个色彩通道的ILR及ISR，可以通过大小为W×H×C的实数矩阵表示ILR，ISR可以用大小为rW×rH×C的实数矩阵来表示，其中，W、H分别为ILR的宽度和高度，rW、rH分别为ISR的宽度和高度，C为色彩通道的数量，例如，对于RGB颜色格式的ILR、ISR，C即为3。
为了达到从低分辨率图像经过超分辨率重建得到超分辨率图像的目的，可以构建一个生成函数G，用来估计给定的低分辨率图像对应的超分辨率图像的对应物。为了确定生成函数G，可以训练参数为θG的前馈卷积神经网络其中，θG＝{W1:L；b1:L}，表示L层深度网络的权重和偏差，可以通过优化超分辨率图像对应的损失函数获得。对于给定的真实车牌ISRn，n＝1，2...N与相应的ILRn，n＝1，2...N，也就是上述图像样本，其中，N为正整数，那么损失函数可以表示为：
其中，lSR为低分辨率图像与超分辨率图像的比较函数，为第n个低分辨率图像，第n个超分辨率图像。
为了图像判别模型与图像生成模型之间形成对抗，可以构建图像判别模型的损失函数D，作为生成的超分辨率图像的不通过期望特征，这个损失函数是若干损失分量的加权组合。为了确定损失函数D，可以训练参数为θD的卷积神经网络
将前馈卷积神经网络与以交替的方式进行优化，进而解决图片生成模型和图像判别模型之间对抗最小-最大问题，具体可以通过如下公式确定：
其中，指代的是图像判别模型，为指代的是图像生成模型。
通过上述方式，调整初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，最终优化得到目标超分辨率生成网络。上述步骤S405-步骤S407的过程的简略示意图可以如图7所示。
S408，将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
目标超分辨率生成网络的参数确定后，电子设备可以将每个图像样本对应的目标特征图样本及目标位置坐标输入目标超分辨率生成网络，进而便可以得到每个图像样本对应的超分辨率车牌图像样本。可以理解的是，此时得到的超分辨率车牌图像样本为与真实车牌差异度很小的图像，可以使后续得到的目标递归神经网络更加准确。
S409，将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
进而，电子设备可以将上述超分辨率车牌图像样本输入初始递归神经网络，便可以得到预测的车牌号码。由于得到预测的车牌号码的方式与上述得到待识别图像中车牌的号码的方式相同，在此不再赘述。
S410，根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
得到预测的车牌号码后，电子设备可以计算所记录的号码与预测的车牌号码的差异度，然后根据该差异度调整初始递归神经网络的参数，其中，该差异度可以是所记录的号码与预测的车牌号码的残差等能够表示二者差异的参数，在此不做具体限定。
计算得到该差异度后，可以采用反向传播法调整初始递归神经网络的参数。对于反向传播法的具体实现方式可以采用相关技术中的反向传播方式，在此不做具体限定及说明。
当迭代次数达到第三预设次数时，说明调整初始递归神经网络的参数的次数已经达到第三预设次数，此时的初始递归神经网络一般已经可以识别图像中的车牌号码，所以便可以停止调整初始递归神经网络的参数，得到目标递归神经网络。其中，第三预设次数可以为1万、2万、5万等，在此不做具体限定。上述步骤S408-步骤S410的过程的简略示意图可以如图8所示。
为了使图像样本中的车牌区域满足多尺寸的特点，提高目标车牌识别模型对不同尺寸的车牌区域的鲁棒性，作为本发明实施例的一种实施方式，在上述将所述图像样本输入所述初始特征提取网络的步骤之前，上述方法还可以包括：
调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本。
电子设备可以对图像样本进行尺寸调整，在一种实施方式中，可以对所获取的图像样本进行等比例缩放，进而得到不同尺寸的图像样本。例如，可以按照图像样本的2倍、3倍、0.5倍等比例对图像样本进行缩放。
相应的，上述将所述图像样本输入所述初始特征提取网络的步骤，可以包括：将所述调整尺寸后的图像样本输入所述初始特征提取网络。
将调整尺寸后的图像样本输入初始特征提取网络，这样，初始特征提取网络可以更大程度地学习不同尺寸的图像样本的特征，进而，使训练得到的目标特征提取网络可以实现对不同尺寸的图像样本的特征提取，提高目标特征提取网络对不同尺寸的图像样本的泛化能力。
作为本发明实施例的一种实施方式，上述目标特征提取网络可以为轻量级特征提取卷积神经网络。由于轻量级特征提取卷积神经网络为轻量级神经网络，能够更加快速的对待识别图像的图像特征进行提取。同时，对硬件内存要求降低，方便大规模的部署。
相应于上述识别方法，本发明实施例还提供了一种端到端的轻量级车牌识别装置。
下面对本发明实施例所提供的一种端到端的轻量级车牌识别装置进行介绍。
如图9所示，一种端到端的轻量级车牌识别装置，所述装置包括：
待识别图像获取模块510，用于获取待识别图像；
车牌识别模块520，用于基于所述待识别图像及由识别模型训练模块预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标，其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络；
所述车牌识别模块520，具体用于将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
可见，本发明实施例提供的方案中，电子设备首先获取待识别图像，基于待识别图像及预先训练完成的目标车牌识别模型，获得待识别图像中车牌的号码及其在待识别图像中位置坐标。获得待识别图像中车牌的号码及其在待识别图像中位置坐标的过程包括：将待识别图像输入目标特征提取网络，对待识别图像进行第一预设卷积运算，得到特征图；将特征图输入目标区域候选定位网络，对特征图进行第二预设卷积运算，得到候选框坐标；将候选框坐标及特征图输入目标超分辨率生成网络，根据候选框坐标及特征图，生成超分辨率车牌图像；将超分辨率车牌图像及候选框坐标输入目标递归神经网络，根据所包含的车牌特征与字符的对应关系及超分辨率车牌图像，得到待识别图像中车牌的号码，并输出号码、候选框坐标及超分辨率车牌图像。由于在本方案中，将待识别图像输入目标车牌识别模型中，目标车牌识别模型便可以输出车牌的号码及其在待识别图像中位置坐标，实现端到端的模型，同时图像特征等计算变量可以重复利用，无需进行重复的计算，模型占用内存少，车牌识别速度得到大大提高。
作为本发明实施例的一种实施方式，所述车牌识别模块520可以包括：
超分辨率图像生成单元(图9中未示出)，用于将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；根据所提取的车牌特征，生成超分辨率车牌图像。
作为本发明实施例的一种实施方式，所述识别模型训练模块(图9中未示出)可以包括：
识别模型构建单元(图9中未示出)，用于构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
图像样本获取单元(图9中未示出)，用于获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
特征图样本获取单元(图9中未示出)，用于将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
预测位置坐标确定单元(图9中未示出)，用于将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
第一参数调整单元(图9中未示出)，用于根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
超分辨率图像获取单元(图9中未示出)，用于将每个图像样本输入目标特征提取网络，得到每个图像样本对应的目标特征图样本，并将所述目标特征图样本输入所述目标区域候选定位网络，得到目标位置坐标；；
第二参数调整单元(图9中未示出)，用于根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
超分辨率车牌图像样本获取单元(图9中未示出)，用于将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
预测车牌号码确定单元(图9中未示出)，用于将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
第三参数调整单元(图9中未示出)，用于根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
作为本发明实施例的一种实施方式，所述装置还可以包括：
尺寸调整模块(图9中未示出)，用于在所述将所述图像样本输入所述初始特征提取网络之前，调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本；
所述特征图样本获取单元可以包括：
样本输入子单元(图9中未示出)，用于将所述调整尺寸后的图像样本输入所述初始特征提取网络。
作为本发明实施例的一种实施方式，所述目标特征提取网络可以为轻量级特征提取卷积神经网络。
本发明实施例还提供了一种电子设备，如图10所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
获取待识别图像；
基于所述待识别图像及预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标，其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络，所述获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标的过程包括：
将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；
将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；
将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
可见，本发明实施例提供的方案中，电子设备首先获取待识别图像，基于待识别图像及预先训练完成的目标车牌识别模型，获得待识别图像中车牌的号码及其在待识别图像中位置坐标。获得待识别图像中车牌的号码及其在待识别图像中位置坐标的过程包括：将待识别图像输入目标特征提取网络，对待识别图像进行第一预设卷积运算，得到特征图；将特征图输入目标区域候选定位网络，对特征图进行第二预设卷积运算，得到候选框坐标；将候选框坐标及特征图输入目标超分辨率生成网络，根据候选框坐标及特征图，生成超分辨率车牌图像；将超分辨率车牌图像及候选框坐标输入目标递归神经网络，根据所包含的车牌特征与字符的对应关系及超分辨率车牌图像，得到待识别图像中车牌的号码，并输出号码、候选框坐标及超分辨率车牌图像。由于在本方案中，将待识别图像输入目标车牌识别模型中，目标车牌识别模型便可以输出车牌的号码及其在待识别图像中位置坐标，实现端到端的模型，同时图像特征等计算变量可以重复利用，无需进行重复的计算，模型占用内存少，车牌识别速度得到大大提高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中，上述将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像的步骤，可以包括：
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；
从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；
根据所提取的车牌特征，生成超分辨率车牌图像。
其中，上述目标车牌识别模型的训练方式可以包括：
构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
将每个图像样本输入目标特征提取网络，得到每个图像样本对应的目标特征图样本，并将所述目标特征图样本输入所述目标区域候选定位网络，得到目标位置坐标；；
根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
其中，在上述将所述图像样本输入所述初始特征提取网络的步骤之前，上述方法还可以包括：
调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本；
所述将所述图像样本输入所述初始特征提取网络的步骤，包括：
将所述调整尺寸后的图像样本输入所述初始特征提取网络。
其中，上述目标特征提取网络可以为轻量级特征提取卷积神经网络。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待识别图像；
基于所述待识别图像及预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标，其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络，所述获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标的过程包括：
将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；
将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；
将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
可见，本发明实施例提供的方案中，上述计算机程序被处理器执行时首先获取待识别图像，基于待识别图像及预先训练完成的目标车牌识别模型，获得待识别图像中车牌的号码及其在待识别图像中位置坐标。获得待识别图像中车牌的号码及其在待识别图像中位置坐标的过程包括：将待识别图像输入目标特征提取网络，对待识别图像进行第一预设卷积运算，得到特征图；将特征图输入目标区域候选定位网络，对特征图进行第二预设卷积运算，得到候选框坐标；将候选框坐标及特征图输入目标超分辨率生成网络，根据候选框坐标及特征图，生成超分辨率车牌图像；将超分辨率车牌图像及候选框坐标输入目标递归神经网络，根据所包含的车牌特征与字符的对应关系及超分辨率车牌图像，得到待识别图像中车牌的号码，并输出号码、候选框坐标及超分辨率车牌图像。由于在本方案中，将待识别图像输入目标车牌识别模型中，目标车牌识别模型便可以输出车牌的号码及其在待识别图像中位置坐标，实现端到端的模型，同时图像特征等计算变量可以重复利用，无需进行重复的计算，模型占用内存少，车牌识别速度得到大大提高。
其中，上述将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像的步骤，可以包括：
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；
从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；
根据所提取的车牌特征，生成超分辨率车牌图像。
其中，上述目标车牌识别模型的训练方式可以包括：
构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
将每个图像样本输入目标特征提取网络，得到每个图像样本对应的目标特征图样本，并将所述目标特征图样本输入所述目标区域候选定位网络，得到目标位置坐标；
根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
其中，在上述将所述图像样本输入所述初始特征提取网络的步骤之前，上述方法还可以包括：
调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本；
所述将所述图像样本输入所述初始特征提取网络的步骤，包括：
将所述调整尺寸后的图像样本输入所述初始特征提取网络。
其中，上述目标特征提取网络可以为轻量级特征提取卷积神经网络。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要进一步说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种端到端的轻量级车牌识别方法，其特征在于，所述方法包括：
获取待识别图像；
基于所述待识别图像及预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标，其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络，所述获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标的过程包括：
将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；
将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；
将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像的步骤，包括：
将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；
从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；
根据所提取的车牌特征，生成超分辨率车牌图像。
3.根据权利要求1或2所述的方法，其特征在于，所述目标车牌识别模型的训练方式包括：
构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
将每个图像样本输入目标特征提取网络，得到每个图像样本对应的目标特征图样本，并将所述目标特征图样本输入所述目标区域候选定位网络，得到目标位置坐标；
将所述目标特征图样本及所述目标位置坐标输入所述初始超分辨率生成网络，得到预测的超分辨率图像；
根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
4.根据权利要求3所述的方法，其特征在于，在所述将所述图像样本输入所述初始特征提取网络的步骤之前，所述方法还包括：
调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本；
所述将所述图像样本输入所述初始特征提取网络的步骤，包括：
将所述调整尺寸后的图像样本输入所述初始特征提取网络。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标特征提取网络为轻量级特征提取卷积神经网络。
6.一种端到端的轻量级车牌识别装置，其特征在于，所述装置包括：
待识别图像获取模块，用于获取待识别图像；
车牌识别模块，用于基于所述待识别图像及由识别模型训练模块预先训练完成的目标车牌识别模型，获得所述待识别图像中车牌的号码及其在所述待识别图像中位置坐标，其中，所述目标车牌识别模型包括目标特征提取网络、目标区域候选定位网络、目标超分辨率生成网络及目标递归神经网络；
所述车牌识别模块，具体用于将所述待识别图像输入所述目标特征提取网络，对所述待识别图像进行第一预设卷积运算，得到特征图；将所述特征图输入所述目标区域候选定位网络，对所述特征图进行第二预设卷积运算，得到候选框坐标；将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络，根据所述候选框坐标及所述特征图，生成超分辨率车牌图像；将所述超分辨率车牌图像及所述候选框坐标输入所述目标递归神经网络，根据所包含的车牌特征与字符的对应关系及所述超分辨率车牌图像，得到所述待识别图像中车牌的号码，并输出所述号码、所述候选框坐标及所述超分辨率车牌图像。
7.根据权利要求6所述的装置，其特征在于，所述车牌识别模块包括：
超分辨率图像生成单元，用于将所述候选框坐标及所述特征图输入所述目标超分辨率生成网络；从所述特征图中与所述候选框坐标对应的区域，提取车牌特征；根据所提取的车牌特征，生成超分辨率车牌图像。
8.根据权利要求6所述的装置，其特征在于，所述识别模型训练模块包括：
识别模型构建单元，用于构建初始车牌识别模型，其中，所述初始车牌识别模型包括初始特征提取网络、初始区域候选定位网络、初始超分辨率生成网络及初始递归神经网络；
图像样本获取单元，用于获取图像样本，记录所述图像样本中车牌的位置坐标及号码；
特征图样本获取单元，用于将所述图像样本输入所述初始特征提取网络，对所述图像样本进行第一预设卷积运算，得到每个图像样本对应的特征图样本；
预测位置坐标确定单元，用于将所述每个图像样本对应的特征图样本输入所述初始区域候选定位网络，得到预测的位置坐标；
第一参数调整单元，用于根据所记录的位置坐标与预测的位置坐标的差值，调整所述初始特征提取网络及初始区域候选定位网络的参数，当迭代次数达到第一预设次数时，得到所述目标特征提取网络及目标区域候选定位网络；
超分辨率图像获取单元，用于将每个图像样本对应的目标特征图样本及目标位置坐标输入所述目标超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
第二参数调整单元，用于根据预测的超分辨率图像与真实车牌的差异度，调整所述初始超分辨率生成网络的参数，当迭代次数达到第二预设次数时，得到所述目标超分辨率生成网络；
超分辨率车牌图像样本获取单元，用于将每个图像样本对应的特征图样本输入所述目标初始超分辨率生成网络，得到每个图像样本对应的超分辨率车牌图像样本；
预测车牌号码确定单元，用于将所述超分辨率车牌图像样本输入所述初始递归神经网络，得到预测的车牌号码；
第三参数调整单元，用于根据所记录的号码与所述预测的车牌号码的差异度，调整所述初始递归神经网络的参数，当迭代次数达到第三预设次数时，完成训练，得到所述目标递归神经网络。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
尺寸调整模块，用于在所述将所述图像样本输入所述初始特征提取网络之前，调整所获取的图像样本的尺寸，得到调整尺寸后的图像样本；
所述特征图样本获取单元包括：
样本输入子单元，用于将所述调整尺寸后的图像样本输入所述初始特征提取网络。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述目标特征提取网络为轻量级特征提取卷积神经网络。
CN201710875708.5A 2017-09-25 2017-09-25 一种端到端的轻量级车牌识别方法及装置 Active CN107704857B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710875708.5A CN107704857B (zh) 2017-09-25 2017-09-25 一种端到端的轻量级车牌识别方法及装置
US16/136,128 US10755120B2 (en) 2017-09-25 2018-09-19 End-to-end lightweight method and apparatus for license plate recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710875708.5A CN107704857B (zh) 2017-09-25 2017-09-25 一种端到端的轻量级车牌识别方法及装置

Publications (2)

Publication Number Publication Date
CN107704857A true CN107704857A (zh) 2018-02-16
CN107704857B CN107704857B (zh) 2020-07-24

Family

ID=61175940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710875708.5A Active CN107704857B (zh) 2017-09-25 2017-09-25 一种端到端的轻量级车牌识别方法及装置

Country Status (2)

Country Link
US (1) US10755120B2 (zh)
CN (1) CN107704857B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537226A (zh) * 2018-03-06 2018-09-14 北京邮电大学 一种车牌识别方法和装置
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN108564088A (zh) * 2018-04-17 2018-09-21 广东工业大学 车牌识别方法、装置、设备及可读存储介质
CN108647742A (zh) * 2018-05-19 2018-10-12 南京理工大学 基于轻量级神经网络的快速目标检测方法
CN108648197A (zh) * 2018-04-12 2018-10-12 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN108776834A (zh) * 2018-05-07 2018-11-09 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
CN108921791A (zh) * 2018-07-03 2018-11-30 苏州中科启慧软件技术有限公司 基于自适应重要性学习的轻量级图像超分辨率改进方法
CN108921782A (zh) * 2018-05-17 2018-11-30 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN109035149A (zh) * 2018-03-13 2018-12-18 杭州电子科技大学 一种基于深度学习的车牌图像去运动模糊方法
CN109086778A (zh) * 2018-07-27 2018-12-25 北京以萨技术股份有限公司 一种基于卷积神经网络的车牌去模糊识别方法
CN109086765A (zh) * 2018-08-01 2018-12-25 北京嘀嘀无限科技发展有限公司 车牌识别方法、装置、介质、服务器和行车记录仪
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN109447015A (zh) * 2018-11-03 2019-03-08 上海犀语科技有限公司 一种处理表格图片中框选文字的方法及装置
CN109543753A (zh) * 2018-11-23 2019-03-29 中山大学 基于自适应模糊修复机制的车牌识别方法
CN109658401A (zh) * 2018-12-14 2019-04-19 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN110321913A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 一种文本识别方法及装置
CN110399880A (zh) * 2019-07-31 2019-11-01 深圳市捷顺科技实业股份有限公司 一种车牌字符及车牌类别的识别方法、装置及设备
CN110633594A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN110633716A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标对象的检测方法和装置
CN111144425A (zh) * 2019-12-27 2020-05-12 五八有限公司 检测拍屏图片的方法、装置、电子设备及存储介质
CN111160353A (zh) * 2019-12-27 2020-05-15 广州亚信技术有限公司 车牌识别方法、装置及设备
CN111488977A (zh) * 2019-01-25 2020-08-04 北京地平线机器人技术研发有限公司 神经网络模型训练方法和装置
CN111598103A (zh) * 2020-06-18 2020-08-28 上海眼控科技股份有限公司 车架号码识别方法、装置、计算机设备和存储介质
CN111611994A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN111784624A (zh) * 2019-04-02 2020-10-16 北京沃东天骏信息技术有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN113159158A (zh) * 2021-04-16 2021-07-23 西安建筑科技大学 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN113642586A (zh) * 2021-07-29 2021-11-12 深圳市捷顺科技实业股份有限公司 一种车牌类型的识别方法及装置
KR102338912B1 (ko) * 2021-08-11 2021-12-15 주식회사 아프로시스템즈 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법
CN113869305A (zh) * 2020-06-30 2021-12-31 北京搜狗科技发展有限公司 基于图像的文本识别方法、装置、电子设备及介质
CN113971627A (zh) * 2020-07-23 2022-01-25 华为技术有限公司 一种车牌图片生成方法及装置
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法
CN117195928A (zh) * 2023-09-20 2023-12-08 中科微至科技股份有限公司 一种基于深度学习的条码定位检测方法

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699453B2 (en) 2017-08-17 2020-06-30 Adobe Inc. Digital media environment for style-aware patching in a digital image
CN107704857B (zh) * 2017-09-25 2020-07-24 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
US10672164B2 (en) 2017-10-16 2020-06-02 Adobe Inc. Predicting patch displacement maps using a neural network
US10614557B2 (en) * 2017-10-16 2020-04-07 Adobe Inc. Digital image completion using deep learning
US10783400B2 (en) * 2018-04-06 2020-09-22 Dropbox, Inc. Generating searchable text for documents portrayed in a repository of digital images utilizing orientation and text prediction neural networks
US10755391B2 (en) * 2018-05-15 2020-08-25 Adobe Inc. Digital image completion by learning generation and patch matching jointly
CN109190504B (zh) * 2018-08-10 2020-12-22 百度在线网络技术（北京）有限公司 汽车图像数据的处理方法、装置及可读存储介质
US11514313B2 (en) * 2018-09-27 2022-11-29 Google Llc Sampling from a generator neural network using a discriminator neural network
CN110110627B (zh) * 2019-04-24 2021-03-30 江南大学 一种面向计算资源局限平台部署的实时目标检测的方法
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
CN111985267B (zh) * 2019-05-21 2024-09-27 长沙智能驾驶研究院有限公司 多目标检测方法、装置、计算机设备、车辆和存储介质
CN110245577A (zh) * 2019-05-23 2019-09-17 复钧智能科技(苏州)有限公司 目标车辆识别方法、装置及车辆实时监控系统
CN110443242B (zh) * 2019-07-31 2022-04-08 新华三大数据技术有限公司 读数框检测方法、目标识别模型训练方法及相关装置
CN110634131B (zh) * 2019-08-29 2022-03-22 南京理工大学 一种裂缝图像识别与建模方法
CN110633738B (zh) * 2019-08-30 2021-12-10 杭州电子科技大学 一种用于工业零件图像的快速分类方法
CN112446376B (zh) * 2019-09-05 2023-08-01 中国科学院沈阳自动化研究所 一种工业图像智能分割压缩方法
CN110910450A (zh) * 2019-09-26 2020-03-24 西安交通大学 一种基于混合特征感知神经网络进行3d目标检测的方法
CN112580408B (zh) * 2019-09-30 2024-03-12 杭州海康威视数字技术股份有限公司 深度学习模型训练方法、装置及电子设备
CN111062381B (zh) * 2019-10-17 2023-09-01 安徽清新互联信息科技有限公司 一种基于深度学习的车牌位置检测方法
CN111008633B (zh) * 2019-10-17 2023-03-10 安徽清新互联信息科技有限公司 一种基于注意力机制的车牌字符分割方法
CN111008639B (zh) * 2019-10-17 2024-02-27 安徽清新互联信息科技有限公司 一种基于注意力机制的车牌字符识别方法
CN110837838B (zh) * 2019-11-06 2023-07-11 创新奇智(重庆)科技有限公司 基于深度学习的端到端车架号识别系统及识别方法
CN110929602B (zh) * 2019-11-09 2023-08-22 北京格镭信息科技有限公司 一种基于卷积神经网络的地基云图云状识别方法
CN110991444B (zh) * 2019-11-19 2023-08-29 复旦大学 面向复杂场景的车牌识别方法及装置
CN111160142B (zh) * 2019-12-14 2023-07-11 上海交通大学 一种基于数值预测回归模型的证件票据定位检测方法
CN111079753B (zh) * 2019-12-20 2023-08-22 长沙千视通智能科技有限公司 一种基于深度学习与大数据结合的车牌识别方法及装置
CN113221604B (zh) * 2020-02-05 2024-06-18 北京京东乾石科技有限公司 目标识别方法、装置、存储介质及电子设备
CN111723789A (zh) * 2020-02-19 2020-09-29 王春宝 一种基于深度学习的图像文本坐标定位方法
CN111339902B (zh) * 2020-02-21 2023-10-10 北方工业大学 一种数显仪表的液晶屏示数识别方法及装置
CN111401361B (zh) * 2020-03-06 2022-09-30 南京理工大学 一种端到端的轻量级深度车牌识别方法
CN111444916A (zh) * 2020-03-26 2020-07-24 中科海微(北京)科技有限公司 面向无约束条件下的车牌定位及识别方法、系统
CN111445018B (zh) * 2020-03-27 2023-11-14 国网甘肃省电力公司电力科学研究院 基于加速卷积神经网络算法的紫外成像实时信息处理方法
CN111429484B (zh) * 2020-03-31 2022-03-15 电子科技大学 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN111539426B (zh) * 2020-04-27 2023-03-14 合肥工业大学 一个基于fpga的高精度车牌识别系统
CN111639542A (zh) * 2020-05-06 2020-09-08 中移雄安信息通信科技有限公司 车牌识别方法、装置、设备和介质
CN111524135B (zh) * 2020-05-11 2023-12-26 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111832568B (zh) * 2020-06-12 2024-01-12 北京百度网讯科技有限公司 车牌识别方法、车牌识别模型的训练方法和装置
CN111797829A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种车牌检测方法、装置、电子设备和存储介质
CN112082915B (zh) * 2020-08-28 2024-05-03 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN111931773B (zh) * 2020-09-24 2022-01-28 北京易真学思教育科技有限公司 图像识别方法、装置、设备及存储介质
CN112200626A (zh) * 2020-09-30 2021-01-08 京东方科技集团股份有限公司 确定推荐产品的方法和装置、电子设备、计算机可读介质
CN112287875B (zh) * 2020-11-16 2023-07-25 北京百度网讯科技有限公司 异常车牌识别方法、装置、设备及可读存储介质
CN112446383B (zh) * 2020-11-30 2022-09-02 展讯通信（上海）有限公司 车牌识别方法及装置、存储介质、终端
CN112541500B (zh) * 2020-12-03 2023-07-25 北京智芯原动科技有限公司 一种端到端的车牌识别方法及装置
CN112464894B (zh) * 2020-12-14 2023-09-01 深圳市优必选科技股份有限公司 交互方法、装置及计算机设备
CN112633268B (zh) * 2020-12-21 2024-08-23 江苏国光信息产业股份有限公司 一种基于国产化平台的ocr识别方法及其识别系统
CN112906699B (zh) * 2020-12-23 2024-06-14 深圳市信义科技有限公司 一种车牌放大号的检测识别方法
CN113052170B (zh) * 2021-03-22 2023-12-26 江苏东大金智信息系统有限公司 一种无约束场景下的小目标车牌识别方法
US11829450B2 (en) * 2021-03-26 2023-11-28 Siemens Healthineers International Ag Dual domain tracking of target structures
CN113239931A (zh) * 2021-05-17 2021-08-10 上海中通吉网络技术有限公司 一种物流站车牌识别的方法
CN113344870A (zh) * 2021-05-31 2021-09-03 武汉科技大学 Mems传感器缺陷检测的方法及系统
CN113591675A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 图像识别模型的构建方法、装置、设备以及存储介质
CN113743218B (zh) * 2021-08-03 2024-05-31 科大讯飞股份有限公司 一种车牌识别方法、车牌识别装置和计算机可读存储介质
CN113962880A (zh) * 2021-09-22 2022-01-21 高新兴科技集团股份有限公司 一种车牌去模糊方法、装置、电子设备及存储介质
CN114332977A (zh) * 2021-10-14 2022-04-12 北京百度网讯科技有限公司 关键点检测方法、装置、电子设备及存储介质
CN114462646B (zh) * 2022-03-15 2022-11-15 成都中轨轨道设备有限公司 一种基于接触网安全巡检的杆号牌识别方法及系统
CN115171092B (zh) * 2022-09-08 2022-11-18 松立控股集团股份有限公司 一种基于语义增强的端到端车牌检测方法
CN115457573B (zh) * 2022-11-09 2023-04-28 北京闪马智建科技有限公司 一种字符的确定方法、装置、存储介质及电子装置
CN115861997B (zh) * 2023-02-27 2023-05-16 松立控股集团股份有限公司 一种关键前景特征引导知识蒸馏的车牌检测识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036241A (zh) * 2014-05-30 2014-09-10 宁波海视智能系统有限公司 一种车牌识别方法
US20140355836A1 (en) * 2013-05-29 2014-12-04 Xerox Corporation Dynamic Adjustment of Automatic License Plate Recognition Processing Based on Vehicle Class Information
CN105046196A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN106897770A (zh) * 2017-01-19 2017-06-27 博康智能信息技术有限公司北京海淀分公司 一种建立车牌识别模型的方法及装置
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG71018A1 (en) * 1997-03-01 2000-03-21 Inst Of Systems Science Nat Un Robust identification code recognition system
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
US6553131B1 (en) * 1999-09-15 2003-04-22 Siemens Corporate Research, Inc. License plate recognition with an intelligent camera
US7499588B2 (en) * 2004-05-20 2009-03-03 Microsoft Corporation Low resolution OCR for camera acquired documents
US20140369566A1 (en) * 2006-04-04 2014-12-18 Cyclops Technologies, Inc. Perimeter Image Capture and Recognition System
KR101624210B1 (ko) * 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
KR101727137B1 (ko) * 2010-12-14 2017-04-14 한국전자통신연구원 텍스트 영역의 추출 방법, 추출 장치 및 이를 이용한 번호판 자동 인식 시스템
US9083856B2 (en) * 2012-03-02 2015-07-14 Xerox Corporation Vehicle speed measurement method and system utilizing a single image capturing unit
US9536315B2 (en) * 2015-01-13 2017-01-03 Xerox Corporation Annotation free license plate recognition method and system
US9824189B2 (en) * 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
US9785855B2 (en) * 2015-12-17 2017-10-10 Conduent Business Services, Llc Coarse-to-fine cascade adaptations for license plate recognition with convolutional neural networks
US10068146B2 (en) * 2016-02-25 2018-09-04 Conduent Business Services, Llc Method and system for detection-based segmentation-free license plate recognition
CN106043222B (zh) * 2016-06-01 2017-12-12 百度在线网络技术（北京）有限公司 无人驾驶车辆防盗系统
US10032072B1 (en) * 2016-06-21 2018-07-24 A9.Com, Inc. Text recognition and localization with deep learning
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
CN107704857B (zh) * 2017-09-25 2020-07-24 北京邮电大学 一种端到端的轻量级车牌识别方法及装置
US10614557B2 (en) * 2017-10-16 2020-04-07 Adobe Inc. Digital image completion using deep learning
US10719743B2 (en) * 2018-01-19 2020-07-21 Arcus Holding A/S License plate reader using optical character recognition on plural detected regions
CN108304835B (zh) * 2018-01-30 2019-12-06 百度在线网络技术（北京）有限公司 文字检测方法和装置
US11030466B2 (en) * 2018-02-11 2021-06-08 Nortek Security & Control Llc License plate detection and recognition system
TWI677826B (zh) * 2018-09-19 2019-11-21 國家中山科學研究院 車牌辨識系統與方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355836A1 (en) * 2013-05-29 2014-12-04 Xerox Corporation Dynamic Adjustment of Automatic License Plate Recognition Processing Based on Vehicle Class Information
CN104036241A (zh) * 2014-05-30 2014-09-10 宁波海视智能系统有限公司 一种车牌识别方法
CN105046196A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN106897770A (zh) * 2017-01-19 2017-06-27 博康智能信息技术有限公司北京海淀分公司 一种建立车牌识别模型的方法及装置
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BAOGUANG SHI 等: "An End-to-End Trainable Neural Network for Image-Based Sequence Recognition and Its Application to Scene Text Recognition", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 》 *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537226A (zh) * 2018-03-06 2018-09-14 北京邮电大学 一种车牌识别方法和装置
CN109035149B (zh) * 2018-03-13 2021-07-09 杭州电子科技大学 一种基于深度学习的车牌图像去运动模糊方法
CN109035149A (zh) * 2018-03-13 2018-12-18 杭州电子科技大学 一种基于深度学习的车牌图像去运动模糊方法
CN110276342B (zh) * 2018-03-14 2023-04-18 台达电子工业股份有限公司 车牌辨识方法以及其系统
US11443535B2 (en) 2018-03-14 2022-09-13 Delta Electronics, Inc. License plate identification method and system thereof
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN110276342A (zh) * 2018-03-14 2019-09-24 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN110321913A (zh) * 2018-03-30 2019-10-11 杭州海康威视数字技术股份有限公司 一种文本识别方法及装置
CN110321913B (zh) * 2018-03-30 2023-07-25 杭州海康威视数字技术股份有限公司 一种文本识别方法及装置
CN108648197A (zh) * 2018-04-12 2018-10-12 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN108648197B (zh) * 2018-04-12 2021-09-07 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN108564088A (zh) * 2018-04-17 2018-09-21 广东工业大学 车牌识别方法、装置、设备及可读存储介质
CN108776834A (zh) * 2018-05-07 2018-11-09 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
US11669711B2 (en) 2018-05-07 2023-06-06 Shanghai Sensetime Intelligent Technology Co., Ltd System reinforcement learning method and apparatus, and computer storage medium
CN108921782A (zh) * 2018-05-17 2018-11-30 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN108921782B (zh) * 2018-05-17 2023-04-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN108647742A (zh) * 2018-05-19 2018-10-12 南京理工大学 基于轻量级神经网络的快速目标检测方法
CN108647742B (zh) * 2018-05-19 2021-07-13 南京理工大学 基于轻量级神经网络的快速目标检测方法
CN110633594A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标检测方法和装置
CN110633716A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 一种目标对象的检测方法和装置
CN108921791A (zh) * 2018-07-03 2018-11-30 苏州中科启慧软件技术有限公司 基于自适应重要性学习的轻量级图像超分辨率改进方法
CN109086778A (zh) * 2018-07-27 2018-12-25 北京以萨技术股份有限公司 一种基于卷积神经网络的车牌去模糊识别方法
CN109086765B (zh) * 2018-08-01 2019-09-17 北京嘀嘀无限科技发展有限公司 车牌识别方法、装置、介质、服务器和行车记录仪
CN109086765A (zh) * 2018-08-01 2018-12-25 北京嘀嘀无限科技发展有限公司 车牌识别方法、装置、介质、服务器和行车记录仪
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN109360155B (zh) * 2018-08-17 2020-10-13 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN109447015A (zh) * 2018-11-03 2019-03-08 上海犀语科技有限公司 一种处理表格图片中框选文字的方法及装置
CN109543753A (zh) * 2018-11-23 2019-03-29 中山大学 基于自适应模糊修复机制的车牌识别方法
CN109543753B (zh) * 2018-11-23 2024-01-05 中山大学 基于自适应模糊修复机制的车牌识别方法
CN109658401A (zh) * 2018-12-14 2019-04-19 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109658401B (zh) * 2018-12-14 2022-04-29 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111488977B (zh) * 2019-01-25 2023-11-07 北京地平线机器人技术研发有限公司 神经网络模型训练方法和装置
CN111488977A (zh) * 2019-01-25 2020-08-04 北京地平线机器人技术研发有限公司 神经网络模型训练方法和装置
CN111611994A (zh) * 2019-02-26 2020-09-01 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN111611994B (zh) * 2019-02-26 2024-04-05 北京嘀嘀无限科技发展有限公司 图像提取方法、装置、电子设备和存储介质
CN111784624A (zh) * 2019-04-02 2020-10-16 北京沃东天骏信息技术有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN111784624B (zh) * 2019-04-02 2024-05-24 北京沃东天骏信息技术有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN110399880A (zh) * 2019-07-31 2019-11-01 深圳市捷顺科技实业股份有限公司 一种车牌字符及车牌类别的识别方法、装置及设备
CN111144425A (zh) * 2019-12-27 2020-05-12 五八有限公司 检测拍屏图片的方法、装置、电子设备及存储介质
CN111144425B (zh) * 2019-12-27 2024-02-23 五八有限公司 检测拍屏图片的方法、装置、电子设备及存储介质
CN111160353A (zh) * 2019-12-27 2020-05-15 广州亚信技术有限公司 车牌识别方法、装置及设备
CN111598103A (zh) * 2020-06-18 2020-08-28 上海眼控科技股份有限公司 车架号码识别方法、装置、计算机设备和存储介质
CN113869305A (zh) * 2020-06-30 2021-12-31 北京搜狗科技发展有限公司 基于图像的文本识别方法、装置、电子设备及介质
CN113971627B (zh) * 2020-07-23 2023-07-18 华为技术有限公司 一种车牌图片生成方法及装置
CN113971627A (zh) * 2020-07-23 2022-01-25 华为技术有限公司 一种车牌图片生成方法及装置
CN113159158A (zh) * 2021-04-16 2021-07-23 西安建筑科技大学 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN113159158B (zh) * 2021-04-16 2024-08-09 西安建筑科技大学 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN113642586A (zh) * 2021-07-29 2021-11-12 深圳市捷顺科技实业股份有限公司 一种车牌类型的识别方法及装置
KR102338912B1 (ko) * 2021-08-11 2021-12-15 주식회사 아프로시스템즈 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法
CN117195928A (zh) * 2023-09-20 2023-12-08 中科微至科技股份有限公司 一种基于深度学习的条码定位检测方法
CN117195928B (zh) * 2023-09-20 2024-04-30 中科微至科技股份有限公司 一种基于深度学习的条码定位检测方法

Also Published As

Publication number Publication date
US20190095730A1 (en) 2019-03-28
CN107704857B (zh) 2020-07-24
US10755120B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
CN107704857B (zh) 一种端到端的轻量级车牌识别方法及装置
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN111161349B (zh) 物体姿态估计方法、装置与设备
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
EP3065085B1 (en) Digital image processing using convolutional neural networks
CN107273936B (zh) 一种gan图像处理方法及系统
US10346720B2 (en) Rotation variant object detection in Deep Learning
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN109359539B (zh) 注意力评估方法、装置、终端设备及计算机可读存储介质
KR102338372B1 (ko) 영상으로부터 객체를 분할하는 방법 및 장치
CN109840530A (zh) 训练多标签分类模型的方法和装置
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN111783779B (zh) 图像处理方法、装置和计算机可读存储介质
CN109858327B (zh) 一种基于深度学习的字符分割方法
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN113901972A (zh) 遥感图像建筑物的检测方法、装置、设备及存储介质
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN113744280B (zh) 图像处理方法、装置、设备及介质
CN111242176A (zh) 计算机视觉任务的处理方法、装置及电子系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant