CN111222513A - 车牌号码识别方法、装置、电子设备及存储介质 - Google Patents

车牌号码识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111222513A
CN111222513A CN201911425283.3A CN201911425283A CN111222513A CN 111222513 A CN111222513 A CN 111222513A CN 201911425283 A CN201911425283 A CN 201911425283A CN 111222513 A CN111222513 A CN 111222513A
Authority
CN
China
Prior art keywords
matrix
license plate
feature
attention
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911425283.3A
Other languages
English (en)
Other versions
CN111222513B (zh
Inventor
魏彪
曾卓熙
胡文泽
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201911425283.3A priority Critical patent/CN111222513B/zh
Publication of CN111222513A publication Critical patent/CN111222513A/zh
Application granted granted Critical
Publication of CN111222513B publication Critical patent/CN111222513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提供一种车牌号码识别方法、装置、电子设备及存储介质，所述方法包括：获取特征编码空间对待识别图像的第一编码结果以及第二编码结果；将所述第一编码结果嵌入到车牌号码字符对应的向量空间，并通过位置编码对第一编码结果中的车牌字符图像特征进行位置编码以添加时序依赖，得到查询矩阵；将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据注意力机制计算得到的注意力参数依次解码得到待识别图像中车牌号码的解码结果。本发明可以提高车牌号码识别的鲁棒性；识别过程只经过编码空间与解码空间，实现端对端的车牌号码识别。

Description

车牌号码识别方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种人车牌号码识别方法、装置、电子设备及存储介质。
背景技术
图像识别是当前交通、小区或停车场管理常用的技术之一，例如：使用基于图像识别的车牌号码识别，识别到车辆的车牌号码。目前传统车牌号码识别一般被分为多个独立的步骤，比如：1.图像归一化：把车牌图片通过计算机视觉方法(如单应性矩阵homography等)编程“正式图”。2.图像预处理：在这里对于图像的遮挡，污垢，光照等情况进行处理(如二值分布binarized等)3.字符分割：通过计算机视觉方法进行字符分割(如边缘检测edgedetection等)4.字符识别：对分割好的字符进行识别(如随机森林random forest，支持向量机svm，逻辑回归logistic regression等机器学习或深度学习方法)。这样导致了每个步骤中出现的错误可能会累加，从而造成最终识别效果不佳，也不容易定位问题出现在哪一步。而且传统车牌识别对于输入图片的要求相对来说比较高，有严格的角度以及清晰度要求。传统车牌识别的种种限制导致在安装摄像头，监控场景有着严格要求，并且识别率容易受到天气，光照等影响。因此，传统车牌识别容易受到多种因素的影响导致识别效果不佳，存在鲁棒性差的问题。
发明内容
本发明实施例提供一种车牌号码识别方法，能够提高车牌号码识别的鲁棒性。
第一方面，本发明实施例提供一种车牌号码识别方法，包括：
获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；
将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵；
将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。
可选的，所述第二编码结果包括第一特征矩阵以及第二特征矩阵，所述第一编码结果包括第一特征矩阵，所述第二编码结果包括第二特征矩阵，所述查询矩阵、第一特征矩阵与第二特征矩阵具有相同的维度，所述将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵进行注意力计算，包括：
将所述查询矩阵、第一特征矩阵与第二特征矩阵输入到特征解码空间；
基于所述查询矩阵、第一特征矩阵与第二特征矩阵，计算第二特征矩阵中各个车牌字符图像特征的注意力参数。
可选的，所述基于所述查询、第一特征矩阵与第二特征矩阵，计算第二特征矩阵中各个车牌字符图像特征的注意力参数，包括：
将所述第一特征矩阵与所述查询矩阵进行相乘，得到每个车牌字符图像特征的注意力系数；
将所述注意力系数与所述第二特征矩阵进行相乘，得到注意力参数。
可选的，所述注意力机制为多头注意力机制，所述将所述第一特征矩阵与所述查询矩阵进行相乘，得到每个车牌字符图像特征的注意力系数，包括：
将所述第一特征矩阵与所述查询矩阵通过所述多头注意力机制进行相乘，得到与多头注意力机制对应的多个注意力系数；
所述将所述注意力系数与所述第二特征矩阵进行相乘，得到注意力参数，包括
将所述多个注意力系数与分别与所述第二特征矩阵进行相乘，对得到的对应的多个注意力矩阵，并将所述多个注意力矩阵进行拼接；
通过权重矩阵与拼接后的注意力矩阵进行相乘，以对所述注意力矩阵进行降维，得到注意力参数。
可选的，所述特征编码空间包括空间矫正网络以及卷积神经网络，所述获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，包括：
通过所述空间矫正网络对待识别图像进行矫正；
通过所述卷积神经网络对矫正后的待识别图像进行特征提取，以提取到所述待识别中的车牌字符图像特征，得到维度相同的第一编码结果以及第二编码结果。
可选的，所述特征解码空间包括前馈神经网络、线性回归网络以及分类网络，所述根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果，包括：
通过所述前馈神经网络对所述注意力机制的输出进行特征感知计算，并将计算结果与所述注意力机制的输出进行相加，得到输出矩阵；
通过所述线性回归网络对所述输出矩阵进行回归计算，得到回归结果；
通过所述分类网络对所述回归结果进行分类计算，得到所述待识别图像中车牌号码的解码结果。
第二方面，本发明实施例提供一种车牌号码识别装置，包括：
编码模块，用于获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；
处理模块，用于将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵；
解码模块，用于将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的车牌号码识别方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的车牌号码识别方法中的步骤。
本发明实施例中，获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵；将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。在特征编码空间的得到待识别图像的第一编码结果以及第二编码结果，将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码添加时序依赖，无需按时序进行输入即可获取时序依赖，再输入到特征解码空间，结合第一编码结果、第二编码结果计算得到车牌字符图像特征对应的注意力参数，通过该注意力参数依次进行解码，由于不需要对图像进行预处理，避免了多个步骤的错误累加，提高了车牌号码识别的鲁棒性，可以实现端对端的车牌号码识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车牌号码识别方法的流程图；
图2是本发明实施例提供的另一种车牌号码识别方法的流程图；
图3是本发明实施例提供的一种车牌号码识别装置的结构示意图；
图4是本发明实施例提供的另一种车牌号码识别装置的结构示意图；
图5是本发明实施例提供的另一种车牌号码识别装置的结构示意图；
图6是本发明实施例提供的另一种车牌号码识别装置的结构示意图；
图7是本发明实施例提供的另一种车牌号码识别装置的结构示意图；
图8是本发明实施例提供的另一种车牌号码识别装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种车牌号码识别方法的流程图，如图1所示，包括以下步骤：
101、获取特征编码空间对待识别图像的第一编码结果以及第二编码结果。
其中，上述待识别图像包括车牌号码，上述第一编码结果以及第二编码结果包括对应的车牌字符图像特征。
上述的待识别图像可以是通过用户上传的车辆车牌的静态图像或动态视频的图像帧，也可以是通过部署在交通道路上、小区出入口、停车场出入口的摄像头获取到的车辆车牌的静态图像或动态视频的图像帧。
上述的待识别图像中的车牌信息可以是一个或者多个，即一张待识别图像中有一个或多个待识别的车牌号码。
可选的，上述的特征编码空间可以是全卷积网络空间，上述的全卷积网络空间可以通过卷积计算，预测待识别图像的矫正参数，根据预测得到的矫正参数对待识别图像进行矫正。上述的全卷积网络空间可以通过卷积计算，预测车牌信息中各个字符所对应的特征区域。
上述特征编码空间的全卷积网络包括空间变换网络与特征提取网络，通过空间变换网络对待识别图像进行矫正，使得待识别图像不需要在输入前进行图像预处理，减少预处理过程中多个步骤造成的错误累加。通过特征提取网络对待识别图像的车牌字符图像进行特征提取，提取得到车牌字符图像特征，进而通过全连接层进行对车牌字符图像特征进行连接，得到对应的特征图像或特征矩阵，形成第一编码结果以及第二编码结果。
进一步的，上述空间变换网络可以是STN(Spatial Transform Network)空间变换网络。上述的特征提取网络可以是MobileNetV2全卷积神经网络。
上述的矫正可以理解为将待识别图像进行空间变换和对齐，可以包括对待识别图像的平移、缩放、旋转等。
应该理解，在特征编码空间中，对待识别图像进行特征编码是一个对待识别图像的特征提取过程；对待识别图像的矫正是一个预测矫正，矫正的效果与训练数据的完善程度成正相关，在对车牌号码识别前，无需复杂的图像预处理步骤，直接输入待识别图像即可，避免了预处理过程中错误的累加。
上述的车牌字符图像特征通过全卷积网络中的通道进行确定，上述的通道为卷积计算后输出得到的通道。具体来说，是通过通道的通道值进行确定。在全卷积网络中，通过卷积核对待识别图像进行卷积计算，提取出对应的特征，一个卷积核对应得到一个通道。比如，待识别车牌的参数(3，W，H)，其中，W，H车牌的高宽，3为待识别车牌的RGB三色通道，在通过一个卷积核分别对RGB三通道进行卷积计算后，输出时得到的是RGB三通道加和的通道，所以可以认为一个卷积核对应得到一个通道。根据同一特征点上的不同的通道值，确定不同的特征区域，比如，在同一特征点上，通道值最大表示该特征点属于该通道对应的特征区域。以车牌为例进一步说明，普通汽车车牌由7个字符组成，在卷积过程中，需要将这7个字符进行分割，每个字符成为一个特征区域，也对应一个通道，也可以称为车牌字符图像特征，在对车牌图像做完卷积后，每个车牌字符图像特征会对应被一个通道中的通道值所表征。不同的通道表征不同的字符区域，一个特征点所属字符区域为该特征处通道值最大的通道所对应的字符区域。
因此，可以通过遍历各个特征点的最大通道值，确定各个特征点所对应的车牌字符图像特征。由于车牌号码是由多个字符进行组合的，在特征编码空间进行特征编码后，输出的第一编码结果以及第二编码结果需要对应多个字符的车牌字符图像特征，故特征编码空间的输出为对应于字符数量的多个通道的车牌字符图像特征。
上述的第一编码结果与第二编码结果可以是待识别图像的特征图像，或者是该特征图像对应的特征矩阵。上述第一编码结果与第二编码结果为相同的特征矩阵，可以理解为第一编码结果与第二编码结果具有相同的行秩与列秩，矩阵单元中的数据也相同。
上述的第一编码结果为一个特征矩阵，上述第二编码结果可以是一个或多个特征矩阵，第一编码结果的特征矩阵与第二编码结果中的所有特征矩阵均相同。在特征矩阵中，每个车牌字符图像特征都具有相同的维度。
还需要说明的是，上述的特征编码空间用于将待识别图像中的车牌字符进行提取，得到车牌字符图像特征，相当于将待识别图像中的车牌字符编码为特征矩阵。
102、将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵。
在该步骤中，上述的车牌查询字符可以是开始字符〈start〉，以及上一个车牌号码的解码结果，比如，在车牌查询字符为开始字符〈start〉时，则在此基础上，会解码得到第一个车牌号码字符，在得到第一个车牌号码字符时，将第一个车牌号码字符作为车牌查询字符。上述的车牌查询字符可以是一个或多个，比如，在车牌号码“粤F·QK883”中，当识别到K号码时，上述的查询字符可以是“粤”、“F”、“Q”，在将车牌查询字符“粤”、“F”、“Q”编码到词向量空间，以及经过位置编码后，可以获取长距离的上下文依赖。
车牌号码字符对应的向量空间也可以称为词向量空间，即是将每个车牌号码字符通过一个向量来进行表示。在词向量空间的表示中，每个词可以通过一个固定维数的向量来时行表示。比如，5000个汉字，则可以通过5000维的向量来时行表示，第一个汉字编码得到的向量为(1，0，0，0……)，第二个汉字编码得到的向量为(0，1，0，0……)，即每个汉字通过1所在向量中位置来表示，剩余4999个位置全为0。当然这样的向量表示维度过高，可以对词向量降低维度进行表示，比如将5000个汉字通过128维的向量进行表示，此时，第一个汉字编码得到向量(0.67，0.03，0.12，0.09……)，第二个汉字编码得到向量为(0.11，0.73，0.02，0.10……)，通过128个数据来表示一个汉字的词向量。这样，一个句子可以通过多个词向量组成的矩阵进行表示。可以理解的是，一个普通车牌由7个字符组成，则可以通过7个词向量组成的矩阵进行表示，车牌由更多个字符组成的，则可以通过相应数量的词向量组成的矩阵进行表示。当然，在一些可能的实施例中，由于输出结果需要对输出的车牌字符进行对齐，N个字符的车牌在实际中可以通过N+M个词向量组成的矩阵进行表示，N和M大于等于1的整数，具体的，M可以是为3，即对齐符号可以有3个，比如对齐符号包括“<”、“^”、“>”。
上述的车牌号码字符对应的向量空间的维度与第一编码结果、第二编码结果的维度相同。上述将车牌查询字符嵌入到车牌号码字符对应的向量空间还包括对齐符号的嵌入。
将车牌查询字符嵌入到车牌号码字符对应的向量空间，可以理解是将车牌查询字符中的每个车牌号码通过一个向量来进行表示，车牌查询字符包括开始字符〈start〉、以及上一个车牌号码的解码结果。
需要说明的是，上述的查询矩阵包括车牌字符向量，上述查询矩阵也可以称为车牌字符矩阵。
上述的位置编码可以是对查询矩阵添加一个位置向量，该位置向量用于表征查询矩阵中各个车牌字符向量从左到右的位置关系，并以该位置关系作为查询矩阵中车牌字符向量的时序依赖。其中，该位置向量与查询矩阵的维度相同，即与第一编码结果、第二编码结果的特征矩阵的维度相同。上述的位置编码可以采用不同频率的正弦和余弦函数进行计算，也可以采用训练的方式对位置编码进行学习。
其中，通过不同频率的正弦和余弦函数进行位置编码可以根据以下公式：
Figure BDA0002353392980000081
Figure BDA0002353392980000082
在上述公式中，查询矩阵在未经过位置编码时对应的张量为[T，dmodel]，dmodel为该张量的维度，pos∈[0，T)，i∈[0，dmodel)。
在将查询字符嵌入到车牌号码字符对应的向量空间后，得到查询字符矩阵，该查询矩阵中包括车牌字符图像特征、以及对齐字符特征。上述的查询矩阵与第一编码结果、第二编码结果中的矩阵具有相同的维度。比如，第二编码结果中的特征矩阵维度为128，则该查询矩阵的维度也为128。
103、将查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据注意力机制计算得到的注意力参数依次解码得到待识别图像中车牌号码的解码结果。
上述的特征解码空间对第二编码结果中的车牌字符图像特征进行解码，以解码得到待识别图像中车牌号码的解码结果。上述的特征解码空间包括注意力机制，用于在对第二编码结果中的每个车牌字符图像特征在解码时，能够通过查询矩阵捕获长距离依赖来进行解码。
上述的注意力机制可以是多头注意力机制，上述的多头注意力机制由多个单头注意力机制组成，其中每个单头注意力机制的权重均不同。在多头注意力机制中，每个单头注意力机制的输出矩阵会拼接在一起，使拼接后的输出矩阵的维度与输入矩阵的维度相同，通过一个与拼接后的输出矩阵维度相同的权重矩阵，将拼接在一起的输出矩阵进行线性转换，得到注意力参数。在多头注意力机制中，是计算每个车牌字符图像特征相对于该车牌中所有车牌字符图像特征的注意力参数。比如“粤F·QK883”中，需要计算字符“粤”相对于“粤”、“F”、“Q”、“K”、“8”、“8”、“3”注意力参数，“F”相对于“粤”、“F”、“Q”、“K”、“8”、“8”、“3”注意力参数，“Q”相对于“粤”、“F”、“Q”、“K”、“8”、“8”、“3”注意力参数等，即每个字符相对于“粤”、“F”、“Q”、“K”、“8”、“8”、“3”注意力参数。
具体的，上述第二编码结果包括第一特征矩阵以及第二特征矩阵，上述查询矩阵、第一特征矩阵与第二特征矩阵具有相同的维度。基于上述查询矩阵、第一特征矩阵与第二特征矩阵，通过多头注意力机制计算第二特征矩阵中各个车牌字符图像特征的注意力参数。上述每个单头注意力机制可以是自注意力机制，上述的每个单头自注意力机制可并行计算，每个单头自注意力机制都有各自对应的权重，以实现不同的线性转换，每个单头自注意力机制负责一个子空间的注意力参数计算。可以将查询矩阵与第一特征矩阵进行相乘，计算每个车牌字符图像特征与所有车牌字符图像特征的相似度分数，再通过softmax函数进行归一化，得到每个车牌字符图像特征的注意力系数，将该注意力系数与第二特征矩阵进行相乘，得到注意力参数。
举例来说，假设上述的查询矩阵为q，上述第二编码结果包括的第一特征矩阵为k以及第二特征矩阵为v，k与v是相同的特征矩阵。每个单头自注意力机制可以通过如下公式得到注意力参数矩阵z：
Figure BDA0002353392980000091
通过上述的公式，可以计算得到每个单头自注意力机制的输出。
将第一特征矩阵与查询矩阵通过多头注意力机制进行相乘，得到与多头注意力机制对应的多个注意力系数；将多个注意力系数与分别与第二特征矩阵进行相乘，对得到的对应的多个注意力矩阵，并将多个注意力矩阵进行拼接；通过权重矩阵与拼接后的注意力矩阵进行相乘，以对注意力矩阵进行降维，得到注意力参数。
进一步的，上述的多头注意力机制由多个单头自注意力机制组成，将每个单头自注意力机制的输出进行拼接，再对拼接后的输出进行线性变换，得到最终的多头注意力机制的输出。
具体可以通过如下公式进行表达：
MultiHead(q,k,v)＝Concat(z1,z2,K,zh)W
其中，上述的h表示单头注意力机制的数量，W为用于线性变换的权重矩阵。
在多头注意力机制中，进行注意力参数计算前，可以先对查询矩阵、第一特征矩阵以及第二特征矩阵分别做线性变换，投影得到维度为dmodel/h的h个矩阵，其中，dmodel为查询矩阵、第一特征矩阵以及第二特征矩阵的维度，h为多头注意力机制的单头注意力机制的数量。比如，第一特征矩阵为(b，7，128)，多头注意力机制为4个单头注意力机制组成，则可以通过将(b，7，128)的矩阵分别乘以4个(b，128，32)的矩阵，得到4个(b，7，32)的矩阵，其中，4个(b，128，32)的矩阵均为不同的矩阵，上述4个(b，128，32)的矩阵也可以称为权重。在单头注意力机制中，对每个(b，7，32)的矩阵进行注意力计算，得到输出矩阵也是(b，7，32)的矩阵，再将4个(b，7，32)的矩阵进行维度拼接，得到(b，7，128)的矩阵，再将该(b，7，128)的矩阵乘以一个(b，128，128)的矩阵进行线性变换，得到多头注意力机制的输出矩阵，该多头注意力机制的输出矩阵为(b，7，128)。上述的多头注意力机制的输出矩阵即为注意力参数。通过该注意力参数，可以得到当前车牌字符图像特征与所有车牌字符图像特征的联系，能够捕获长距离依赖，由于多头注意力机制的将注意力的计算通过多个单头注意力机制进行，增加了计算复杂度，从而具有更强的特征抽取能力。
在本发明实施例中，特征解码空间还包括前馈神经网络、线性回归网络以及分类网络。查询矩阵、第一特征矩阵、第二特征矩阵经过注意力机制，得到具有注意力参数的注意力输出矩阵，该注意力输出矩阵包括车牌字符图像特征，每个车牌字符图像特征均具有注意力参数以及对应的位置编码，上述注意力参数用于对当前车牌字符图像特征捕获长距离的依赖，比如，在“粤F·QK883”中，假设当道车牌字符图像特征为“K”字符对应时，会捕捉“粤”、“F”的信息同时作为输入进行计算，上述的位置编码用于为车牌字符添加时序依赖，比如使得计算顺序依次为“粤”、“F”、“Q”、“K”、“8”、“8”、“3”对应的车牌字符图像特征。将该注意力输出矩阵输入到前馈神经网络进行计算，将计算结果与注意力输出矩阵进行相加以及归一化，得到输出矩阵，该输出矩阵是一个实数向量。通过线性回归网络对该输出矩阵进行回归计算，通过线性回归，将输出矩阵映射到样本标记空间，上述样本标记空间为车牌字符的样本标记空间，比如，车牌字符的样本标记空间可以由71样本标记组成，其中，车牌字符的样本包括数字字符、字母字符、省简称汉字字符、车牌类型字符以及对齐字符等。在车牌字符的样本标记空间为71维的情况下，通过线性回归得到的回归结果也是71维的，该回归结果中，每个维度对应的值为评分值，评分最高的值对应维度映射到的车牌字符。在得到回归结果后，对回归结果进行分类计算，该分类计算可以通过softmax进行，通过softmax对回归结果进行计算，可以将回归结果中的评分值归一化为概率值，所有维度的概率值之和为1，依次输出每个车牌字符图像特征所对应概率值最高的车牌字符，即得到待识别图像中车牌号码的解码结果。
可选的，上述的步骤102、103均可以是在特征解码空间进行。
在本发明实施例中，获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；将所述第一编码结果嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述第一编码结果中的车牌字符图像特征进行位置编码以添加时序依赖，得到查询矩阵；将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述第二编码结果进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。在特征编码空间的得到待识别图像的第一编码结果以及第二编码结果，将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码添加时序依赖，无需按时序进行输入即可获取时序依赖，再输入到特征解码空间，结合第一编码结果、第二编码结果计算得到车牌字符图像特征对应的注意力参数，通过该注意力参数依次进行解码，由于不需要对图像进行预处理，避免了多个步骤的错误累加，提高了车牌号码识别的鲁棒性，可以实现端对端的车牌号码识别。
需要说明的是，本发明实施例提供的车牌号码识别方法可以应用于需要对车牌号码进行识别的手机、监控器、计算机、服务器等设备。
可选的，如图2所示，图2是本发明实施例提供的另一种车牌号码识别方法的流程图，由编码器(Encoder)以及解码器(decoder)组成，其中编码器中部署了STN层对待识别图像进行矫正以及卷积神经网络进行特征提取，解码器包括嵌入层、位置编码层、多头注意力机制、全连接层、归一化层，解码器的输出还连接一个分类器，其中，多头注意力机制的输出通过第一归一化层与全连接层的输入进行连接，全连接层的输出通过第二归一化层与分类器的输入进行连接，该分类器用于输出最终车牌号码的解码结果。上述的编码器将输入为待识别图像的序列X(x1，x2，x3，……，xt)编码为中间特征的序列H(h1，h2，h3，……，hm)，由解码器将中间特征的序列H(h1，h2，h3，……，hm)解码为结果的序列Y(y1，y2，y3，……，yn)，其中，t、m、n可以是相等的，也可以是不相等的。
如图2所示，待识别图像中的车牌号码为“粤F·QK883”，待识别图像输入到编码器中，通过STN层对待识别图像进行矫正，将矫正后的待识别图像输入到卷积神经网络进行特征提取，该卷积神经网络可以是全卷积神经网络，比如基于MobileNetV2的全卷积神经网络，可以支持任意尺寸图片的输入，因此，只需要对待识别图像进行矫正，无需要对待识别图像进行尺寸处理。
在通过全卷积神经网络对待识别图像进行特征提取后，输出得到相同维度的第一编码结果以及第二编码结果，第一编码结果与第二编码结果是相同的特征矩阵，比如，都是(b，7*7，128)的特征矩阵，特征矩阵由车牌字符图像特征组成，上述的车牌图像特征也可以称为车牌字符向量，每个车牌字符向量的维度为128。
第二编码结果包括第一特征矩阵k以及第二特征矩阵v，即特征矩阵k、v均为(b，7*7，128)，特征矩阵k、v会直接输入到解码器的多头注意力机制中。
将车牌查询字符输入到解码器中的嵌入层，以将车牌查询字符到车牌号码字符对应的词向量空间，嵌入词向量的车牌查询字符的矩阵为(b，10*10，128)，并对车牌查询字符进行位置编码，使得车牌查询字符中各个车牌字符对应词向量具有时序依赖，该时序依赖是在解码器中进行添加的，不需要在将第二编码结果中各个车牌字符图像特征按时序输入到解码器中，提高了数据输入的整体时间。嵌入词向量的车牌查询字符与位置编码后的查询矩阵进行叠加，且具有相同的维度，进一步的，嵌入词向量的车牌查询字符与位置编码后的查询矩阵进行叠加具有相同的大小，将嵌入词向量的第一编码结果与位置编码后的第一编码结果进行叠加，得到查询矩阵q。
将查询矩阵q、特征矩阵k以及特征矩阵v输入到多头注意力机制中进行注意力参数的计算，多头注意力机制，通过自注意力机制公式得到注意力输出矩阵为(b，10*10，128)，具体的，查询矩阵q与特征矩阵k矩阵相乘得到对应相似度矩阵，该相似度矩阵为(b，10*10，7*7)，再乘以特征矩阵v，得到(b，10*10，128)的注意力输出矩阵。此时，注意力输出矩阵具有注意力参数以及基于位置编码的时序依赖，在解码当前车牌字符时，会通过注意力参数捕获长距离的依赖，并获取下一车牌字符向量的位置信息。
将注意力输出矩阵进行批归一化后，得到批归一化后的注意力输出矩阵为(b，10，128)，上述批归一化的计算为通道叠加。将该(b，10，128)输入到前馈神经网络中进行计算，得到解码器的输出矩阵为(b，10，71)。上述的前馈神经网络可以理解为全连接层。
将解码器的输出矩阵(b，10，71)输入到分类器对输出矩阵进行分类，得到分类结果。具体的，在分类器中，可以通过线性回归网络对该解码器的输出结果进行回归计算，通过线性回归，将该解码器的输出结果映射到样本标记空间，得到回归结果的矩阵(10，71)，上述样本标记空间为车牌字符的样本标记空间，分类器为softmax分类器，将回归结果中的评分值归一化为概率值，所有维度的概率值之和为1，依次输出每个车牌字符图像特征所对应概率值最高的车牌字符，即得到待识别图像中车牌号码的解码结果。
在本发明实施例中，由于编码器中部署了STN层对待识别图像进行矫正以及卷积神经网络进行特征提取，解码器为基于多头注意力机制及位置编码的架构，使得解码器不依赖于输入的时序，可以捕获更远跳高的依赖，增加解码的精确度，另外，可以使用深度学习的方法用数据驱动整个编码器+解码器模型的训练，训练的数据越完善，能够识别的场景就越多，提高了模型的鲁棒性。另外，由于编码器+解码器是一个端到端的模型，可以不用对图像进行预处理，提高了车牌号码的识别的速度，由于不存在预处理过程中的多个步骤，不会造成错误累加，提高了车牌号码的识别准确率。
需要说明的是，本发明实施例提供的车牌号码识别方法可以应用于需要进行车牌号码识别的手机、监控器、计算机、服务器等设备。
请参见图3，图3是本发明实施例提供的一种车牌号码识别装置的结构示意图，如图3所示，包括：
编码模块301，用于获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；
处理模块302，用于将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵；
解码模块303，用于将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。
可选的，如图4所示，所述第一编码结果包括第一特征矩阵，所述第二编码结果包括第二特征矩阵，所述查询矩阵、第一特征矩阵与第二特征矩阵具有相同的维度，所述将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，所述解码模块303，包括：
输入子模块3031，用于将所述查询矩阵、第一特征矩阵与第二特征矩阵输入到特征解码空间；
计算子模块3032，用于基于所述查询矩阵、第一特征矩阵与第二特征矩阵，计算第二特征矩阵中各个车牌字符图像特征的注意力参数。
可选的，如图5所示，所述计算子模块3032，包括：
第一乘法单元30321，用于将所述第一特征矩阵与所述查询矩阵进行相乘，得到每个车牌字符图像特征的注意力系数；
第二乘法单元30322，用于将所述注意力系数与所述第二特征矩阵进行相乘，得到注意力参数。
可选的，如图6所示，所述注意力机制为多头注意力机制，所述第一乘法单元30321还用于将所述第一特征矩阵与所述查询矩阵通过所述多头注意力机制进行相乘，得到与多头注意力机制对应的多个注意力系数；
所述第二乘法单元30322，包括：
第一乘法子单元303221，用于将所述多个注意力系数与分别与所述第二特征矩阵进行相乘，对得到的对应的多个注意力矩阵，并将所述多个注意力矩阵进行拼接；
第二乘法子单元303222，用于通过权重矩阵与拼接后的注意力矩阵进行相乘，以对所述注意力矩阵进行降维，得到注意力参数。
可选的，如图7所示，所述特征编码空间包括空间矫正网络以及卷积神经网络，所述编码模块301，包括：
矫正子模块3011，用于通过所述空间矫正网络对待识别图像进行矫正；
提取子模块3012，用于通过所述卷积神经网络对矫正后的待识别图像进行特征提取，以提取到所述待识别中的车牌字符图像特征，得到维度相同的第一编码结果以及第二编码结果。
可选的，如图8所示，所述特征解码空间包括前馈神经网络、线性回归网络以及分类网络，所述解码模块303，还包括：
感知计算子模块3033，用于通过所述前馈神经网络对所述注意力机制的输出进行特征感知计算，并将计算结果与所述注意力机制的输出进行相加，得到输出矩阵；
回归计算模块3034，用于通过所述线性回归网络对所述输出矩阵进行回归计算，得到回归结果；
分类计算子模块3035，用于通过所述分类网络对所述回归结果进行分类计算，得到所述待识别图像中车牌号码的解码结果。
需要说明的是，本发明实施例提供的车牌号码识别装置可以应用于需要进行进行车牌号码识别的手机、监控器、计算机、服务器等设备。
本发明实施例提供的车牌号码识别装置能够实现上述方法实施例中车牌号码识别方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图9，图9是本发明实施例提供的一种电子设备的结构示意图，如图9所示，包括：存储器902、处理器901及存储在所述存储器902上并可在所述处理器901上运行的计算机程序，其中：
处理器901用于调用存储器902存储的计算机程序，执行如下步骤：
获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；
将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵；
将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。
可选的，所述第一编码结果包括第一特征矩阵，所述第二编码结果包括第二特征矩阵，所述查询矩阵、第一特征矩阵与第二特征矩阵具有相同的维度，处理器901执行的所述将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，包括：
将所述查询矩阵、第一特征矩阵与第二特征矩阵输入到特征解码空间；
基于所述查询矩阵、第一特征矩阵与第二特征矩阵，计算查询矩阵中各个车牌字符图像特征的注意力参数。
可选的，处理器901执行的所述基于所述查询、第一特征矩阵与第二特征矩阵，计算第二特征矩阵中各个车牌字符图像特征的注意力参数，包括：
将所述第一特征矩阵与所述查询矩阵进行相乘，得到每个车牌字符图像特征的注意力系数；
将所述注意力系数与所述第二特征矩阵进行相乘，得到注意力参数。
可选的，所述注意力机制为多头注意力机制，处理器901执行的所述将所述第一特征矩阵与所述查询矩阵进行相乘，得到每个车牌字符图像特征的注意力系数，包括：
将所述第一特征矩阵与所述查询矩阵通过所述多头注意力机制进行相乘，得到与多头注意力机制对应的多个注意力系数；
所述将所述注意力系数与所述第二特征矩阵进行相乘，得到注意力参数，包括：
将所述多个注意力系数与分别与所述第二特征矩阵进行相乘，对得到的对应的多个注意力矩阵，并将所述多个注意力矩阵进行拼接；
通过权重矩阵与拼接后的注意力矩阵进行相乘，以对所述注意力矩阵进行降维，得到注意力参数。
可选的，所述特征编码空间包括空间矫正网络以及卷积神经网络，处理器901执行的所述获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，包括：
通过所述空间矫正网络对待识别图像进行矫正；
通过所述卷积神经网络对矫正后的待识别图像进行特征提取，以提取到所述待识别中的车牌字符图像特征，得到维度相同的第一编码结果以及第二编码结果。
可选的，所述特征解码空间包括前馈神经网络、线性回归网络以及分类网络，处理器901执行的所述根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果，包括：
通过所述前馈神经网络对所述注意力机制的输出进行特征感知计算，并将计算结果与所述注意力机制的输出进行相加，得到输出矩阵；
通过所述线性回归网络对所述输出矩阵进行回归计算，得到回归结果；
通过所述分类网络对所述回归结果进行分类计算，得到所述待识别图像中车牌号码的解码结果。
需要说明的是，上述电子设备可以是可以应用于需要进行车牌号码识别的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中车牌号码识别方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的车牌号码识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种车牌号码识别方法，其特征在于，包括以下步骤：
获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；
将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵；
将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。
2.如权利要求1所述的方法，其特征在于，所述第一编码结果包括第一特征矩阵，所述第二编码结果包括第二特征矩阵，所述查询矩阵、第一特征矩阵与第二特征矩阵具有相同的维度，所述将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵、第一编码结果、第二编码结果进行注意力计算，包括：
将所述查询矩阵、第一特征矩阵与第二特征矩阵输入到特征解码空间；
基于所述查询矩阵、第一特征矩阵与第二特征矩阵，计算第二特征矩阵中各个车牌字符图像特征的注意力参数。
3.如权利要求2所述的方法，其特征在于，所述基于所述查询、第一特征矩阵与第二特征矩阵，计算第二特征矩阵中各个车牌字符图像特征的注意力参数，包括：
将所述第一特征矩阵与所述查询矩阵进行相乘，得到每个车牌字符图像特征的注意力系数；
将所述注意力系数与所述第二特征矩阵进行相乘，得到注意力参数。
4.如权利要求3所述的方法，其特征在于，所述注意力机制为多头注意力机制，所述将所述第一特征矩阵与所述查询矩阵进行相乘，得到每个车牌字符图像特征的注意力系数，包括：
将所述第一特征矩阵与所述查询矩阵通过所述多头注意力机制进行相乘，得到与多头注意力机制对应的多个注意力系数；
所述将所述注意力系数与所述第二特征矩阵进行相乘，得到注意力参数，包括：
将所述多个注意力系数与分别与所述第二特征矩阵进行相乘，对得到的对应的多个注意力矩阵，并将所述多个注意力矩阵进行拼接；
通过权重矩阵与拼接后的注意力矩阵进行相乘，以对所述注意力矩阵进行降维，得到注意力参数。
5.如权利要求1所述的方法，其特征在于，所述特征编码空间包括空间矫正网络以及卷积神经网络，所述获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，包括：
通过所述空间矫正网络对待识别图像进行矫正；
通过所述卷积神经网络对矫正后的待识别图像进行特征提取，以提取到所述待识别中的车牌字符图像特征，得到维度相同的第一编码结果以及第二编码结果。
6.如权利要求1所述的方法，其特征在于，所述特征解码空间包括前馈神经网络、线性回归网络以及分类网络，所述根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果，包括：
通过所述前馈神经网络对所述注意力机制的输出进行特征感知计算，并将计算结果与所述注意力机制的输出进行相加，得到输出矩阵；
通过所述线性回归网络对所述输出矩阵进行回归计算，得到回归结果；
通过所述分类网络对所述回归结果进行分类计算，得到所述待识别图像中车牌号码的解码结果。
7.一种车牌号码识别装置，其特征在于，所述装置包括：
编码模块，用于获取特征编码空间对待识别图像的第一编码结果以及第二编码结果，所述待识别图像包括车牌号码，所述第一编码结果以及第二编码结果包括对应的车牌字符图像特征；
处理模块，用于将车牌查询字符嵌入到车牌号码字符对应的向量空间，并通过位置编码对所述车牌查询字符进行位置编码以添加时序依赖，得到查询矩阵；
解码模块，用于将所述查询矩阵、第一编码结果、第二编码结果输入到特征解码空间，通过特征解码空间中的注意力机制对所述查询矩阵进行注意力计算，并根据所述注意力机制计算得到的注意力参数依次解码得到所述待识别图像中车牌号码的解码结果。
8.如权利要求7所述的装置，其特征在于，所述第一编码结果包括第一特征矩阵，所述第二编码结果包括第二特征矩阵，所述查询矩阵、第一特征矩阵与第二特征矩阵具有相同的维度，所述解码模块，包括：
输入子模块，用于将所述查询矩阵、第一特征矩阵与第二特征矩阵输入到特征解码空间；
计算子模块，用于基于所述查询矩阵、第一特征矩阵与第二特征矩阵，计算查询矩阵中各个车牌字符图像特征的注意力参数。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的车牌号码识别方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的车牌号码识别方法中的步骤。
CN201911425283.3A 2019-12-31 2019-12-31 车牌号码识别方法、装置、电子设备及存储介质 Active CN111222513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911425283.3A CN111222513B (zh) 2019-12-31 2019-12-31 车牌号码识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911425283.3A CN111222513B (zh) 2019-12-31 2019-12-31 车牌号码识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111222513A true CN111222513A (zh) 2020-06-02
CN111222513B CN111222513B (zh) 2023-06-13

Family

ID=70829286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911425283.3A Active CN111222513B (zh) 2019-12-31 2019-12-31 车牌号码识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111222513B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016459A (zh) * 2020-08-28 2020-12-01 上海大学 一种基于自注意力机制的驾驶员动作识别方法
CN112149713A (zh) * 2020-08-21 2020-12-29 中移雄安信息通信科技有限公司 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质
CN112508018A (zh) * 2020-12-14 2021-03-16 北京澎思科技有限公司 车牌识别方法、装置及存储介质
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN113326843A (zh) * 2021-06-17 2021-08-31 讯飞智元信息科技有限公司 车牌识别方法、装置、电子设备和可读存储介质
CN113408574A (zh) * 2021-05-11 2021-09-17 浙江大华技术股份有限公司 一种车牌分类方法、车牌分类装置和计算机可读存储介质
CN114207673A (zh) * 2021-12-20 2022-03-18 商汤国际私人有限公司 序列识别方法及装置、电子设备和存储介质
CN116298936A (zh) * 2023-05-19 2023-06-23 河南科技学院 在不完全电压范围内的锂离子电池智能健康状态预测方法
WO2023118936A1 (en) * 2021-12-20 2023-06-29 Sensetime International Pte. Ltd. Sequence recognition method and apparatus, electronic device, and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830192A (zh) * 2018-05-31 2018-11-16 珠海亿智电子科技有限公司 车载环境下基于深度学习的车辆与车牌检测方法
CN109492640A (zh) * 2017-09-12 2019-03-19 中国移动通信有限公司研究院 车牌识别方法、装置及计算机可读存储介质
CN110070085A (zh) * 2019-04-30 2019-07-30 北京百度网讯科技有限公司 车牌识别方法和装置
CN110135427A (zh) * 2019-04-11 2019-08-16 北京百度网讯科技有限公司 用于识别图像中的字符的方法、装置、设备和介质
CN110490186A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110543877A (zh) * 2019-09-04 2019-12-06 北京迈格威科技有限公司 标识识别方法及其模型的训练方法、装置和电子系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492640A (zh) * 2017-09-12 2019-03-19 中国移动通信有限公司研究院 车牌识别方法、装置及计算机可读存储介质
CN110490186A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN108830192A (zh) * 2018-05-31 2018-11-16 珠海亿智电子科技有限公司 车载环境下基于深度学习的车辆与车牌检测方法
CN110135427A (zh) * 2019-04-11 2019-08-16 北京百度网讯科技有限公司 用于识别图像中的字符的方法、装置、设备和介质
CN110070085A (zh) * 2019-04-30 2019-07-30 北京百度网讯科技有限公司 车牌识别方法和装置
CN110543877A (zh) * 2019-09-04 2019-12-06 北京迈格威科技有限公司 标识识别方法及其模型的训练方法、装置和电子系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质
CN112149713B (zh) * 2020-08-21 2022-12-16 中移雄安信息通信科技有限公司 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN112149713A (zh) * 2020-08-21 2020-12-29 中移雄安信息通信科技有限公司 基于绝缘子图像检测模型检测绝缘子图像的方法及装置
CN112016459B (zh) * 2020-08-28 2024-01-16 上海大学 一种基于自注意力机制的驾驶员动作识别方法
CN112016459A (zh) * 2020-08-28 2020-12-01 上海大学 一种基于自注意力机制的驾驶员动作识别方法
CN112508018A (zh) * 2020-12-14 2021-03-16 北京澎思科技有限公司 车牌识别方法、装置及存储介质
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN113408574A (zh) * 2021-05-11 2021-09-17 浙江大华技术股份有限公司 一种车牌分类方法、车牌分类装置和计算机可读存储介质
CN113408574B (zh) * 2021-05-11 2022-06-07 浙江大华技术股份有限公司 一种车牌分类方法、车牌分类装置和计算机可读存储介质
CN113326843B (zh) * 2021-06-17 2022-11-18 讯飞智元信息科技有限公司 车牌识别方法、装置、电子设备和可读存储介质
CN113326843A (zh) * 2021-06-17 2021-08-31 讯飞智元信息科技有限公司 车牌识别方法、装置、电子设备和可读存储介质
CN114207673A (zh) * 2021-12-20 2022-03-18 商汤国际私人有限公司 序列识别方法及装置、电子设备和存储介质
WO2023118936A1 (en) * 2021-12-20 2023-06-29 Sensetime International Pte. Ltd. Sequence recognition method and apparatus, electronic device, and storage medium
CN116298936A (zh) * 2023-05-19 2023-06-23 河南科技学院 在不完全电压范围内的锂离子电池智能健康状态预测方法

Also Published As

Publication number Publication date
CN111222513B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN111222513B (zh) 车牌号码识别方法、装置、电子设备及存储介质
CN111191663B (zh) 车牌号码识别方法、装置、电子设备及存储介质
CN113343707B (zh) 一种基于鲁棒性表征学习的场景文本识别方法
US7172124B2 (en) Camera-based barcode recognition
CN110838119B (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
US20120224765A1 (en) Text region detection system and method
CN110598686B (zh) 发票的识别方法、系统、电子设备和介质
CN113591546A (zh) 语义增强型场景文本识别方法及装置
US20060202040A1 (en) Camera-based barcode recognition
CN114898342B (zh) 行驶中非机动车驾驶员接打电话的检测方法
CN110765795A (zh) 二维码识别方法、装置及电子设备
CN116311214B (zh) 车牌识别方法和装置
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
Jiang et al. An efficient and unified recognition method for multiple license plates in unconstrained scenarios
CN112183542A (zh) 基于文本图像的识别方法、装置、设备和介质
CN116453102A (zh) 一种基于深度学习的雾天车牌识别方法
CN116168394A (zh) 图像文本识别方法和装置
CN116152824A (zh) 一种发票信息提取方法及系统
CN115170414A (zh) 一种基于知识蒸馏的单幅图像去雨方法及系统
KR101831587B1 (ko) 저계산량 숫자 및 문자인식을 위한 카메라각도 불변의 특징점 추출기법
CN115798004A (zh) 基于局部区域的人脸打卡方法、装置、电子设备及介质
CN115937862A (zh) 一种端到端的集装箱号码识别方法及系统
CN116129484A (zh) 模型训练和活体检测的方法、装置、电子设备及存储介质
CN110738225B (zh) 图像识别方法及装置
CN113298102A (zh) 一种目标分类模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant