CN114882492B - 一种车牌识别方法、装置、终端及计算机可读存储介质 - Google Patents

一种车牌识别方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN114882492B
CN114882492B CN202210807536.9A CN202210807536A CN114882492B CN 114882492 B CN114882492 B CN 114882492B CN 202210807536 A CN202210807536 A CN 202210807536A CN 114882492 B CN114882492 B CN 114882492B
Authority
CN
China
Prior art keywords
license plate
image
point
pixel
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210807536.9A
Other languages
English (en)
Other versions
CN114882492A (zh
Inventor
王利升
朱梦超
彭肖肖
周子寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210807536.9A priority Critical patent/CN114882492B/zh
Publication of CN114882492A publication Critical patent/CN114882492A/zh
Application granted granted Critical
Publication of CN114882492B publication Critical patent/CN114882492B/zh
Priority to PCT/CN2022/137619 priority patent/WO2024011831A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种车牌识别方法、装置、终端及计算机可读存储介质，车牌识别方法包括：获取的鱼眼图像进行车牌检测，得到车牌区域；响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像；车牌形变图像的分辨率高于车牌区域的分辨率；对车牌形变图像进行参考方向的矫正处理，得到待检测图像；对待检测图像进行识别，得到车牌区域对应的输出字符。本申请提供的车牌识别方法，通过对采集的鱼眼图像进行车牌检测，得到车牌区域，通过对车牌区域进行放大处理后，以提高其分辨率，方便查看输出字符，之后通过矫正处理和检测，得到车牌区域对应的输出字符，进而提高车牌的识别准确率。

Description

一种车牌识别方法、装置、终端及计算机可读存储介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种车牌识别方法、装置、终端及计算机可读存储介质。
背景技术
在室内停车场中，一般通过单目相机或双目相机来进行停车检测，通过停车检测确定空闲车位和占用车位。单目相机一般只能检测两到三个车位，双目相机一般只能检测四到六个车位，车位检测数量有限，因此停车场内需要部署的单目相机或双目相机的数量较多，增加了成本。另外，现有技术在进行停车检测时，一般通过每个车位中车牌识别的置信度来确定是否停有车辆，如果车牌识别的置信度较高，则说明车位占用，否则确定车位空闲，但是该方法对相机的拍摄角度以及图像的清晰度，环境光线等要求都较高，在环境条件较差的情况下停车检测的准确性较差。
为了增加全方位、大视角的监控要求，逐步使用鱼眼相机，替换传统的单目相机。相同高度，鱼眼相机可更多覆盖车位数量，同时也监控行驶过路车辆的完整信息。
发明内容
本发明主要解决的技术问题是提供一种车牌识别方法、装置、终端及计算机可读存储介质，解决现有技术中车牌检测的准确率比较低的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：提供一种车牌识别方法，车牌识别方法包括：对获取的鱼眼图像进行车牌检测，得到车牌区域；响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像；车牌形变图像的分辨率高于车牌区域的分辨率；对车牌形变图像进行参考方向的矫正处理，得到待检测图像；对待检测图像进行识别，得到车牌区域对应的输出字符。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种车牌识别装置，车牌识别装置包括：检测模块，用于对获取的鱼眼图像进行车牌检测，得到车牌区域；分辨率调节模块，用于响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像；车牌形变图像的分辨率高于车牌区域的分辨率；矫正模块，用于对车牌形变图像进行参考方向的矫正处理，得到待检测图像；识别模块，用于对待检测图像进行识别，得到车牌区域对应的输出字符。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述车牌识别方法中的步骤。
为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述车牌识别方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种车牌识别方法、装置、终端及计算机可读存储介质，车牌识别方法包括：对获取的鱼眼图像进行车牌检测，得到车牌区域；响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像；车牌形变图像的分辨率高于车牌区域的分辨率；对车牌形变图像进行参考方向的矫正处理，得到待检测图像；对待检测图像进行识别，得到车牌区域对应的输出字符。本申请提供的车牌识别方法，通过对采集的鱼眼图像进行车牌检测，得到车牌区域，通过对车牌区域进行放大处理后，以提高其分辨率，方便查看输出字符，之后通过矫正处理和检测，得到车牌区域对应的输出字符，进而提高车牌的识别准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明提供的车牌识别方法的流程示意图；
图2是本发明提供的车牌识别方法一实施例的流程示意图；
图3是本发明提供的车牌识别方法一具体实施例的流程示意图；
图4是图2提供的车牌识别方法中步骤S201一具体实施例的流程示意图；
图5是图2提供的车牌识别方法中步骤S201另一具体实施例的流程示意图；
图6是图2提供的车牌识别方法中步骤S202一具体实施例的流程示意图；
图7是本发明提供的一实施例中插值点对应的预设范围内的像素点；
图8是本发明提供的另一实施例中插值点对应的预设范围内的像素点；
图9是图2提供的车牌识别方法中步骤S206一具体实施例的流程示意图；
图10是图2提供的车牌识别方法中步骤S206另一具体实施例的流程示意图；
图11是本发明提供的一实施例中插值点对应的区域权值拟合曲面示意图；
图12是本发明提供的车牌识别得到候选字符的示意图；
图13是本发明提供的车牌识别装置一实施例的示意框图；
图14是本发明提供的终端一实施例的示意框图；
图15是本发明提供的计算机可读存储介质一实施例的示意框图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明所提供的一种车牌识别方法做进一步详细描述。
请参阅图1，图1是本发明提供的车牌识别方法的流程示意图。本实施例中提供一种车牌识别方法，该车牌识别方法包括如下步骤。
S11：对获取的鱼眼图像进行车牌检测，得到车牌区域。
具体地，获取鱼眼图像；对鱼眼图像进行车牌角点检测，得到车牌的角点信息；基于车牌的角点信息，确定鱼眼图像中各车牌对应的车牌区域。
在一实施例中，采用车牌检测模型对鱼眼图像进行车牌检测，得到车牌区域。
S12：响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像。
具体地，车牌形变图像的分辨率高于车牌区域的分辨率。基于插值点对应的预设范围内的各像素点分别对应的距离权重和角度权重的加权融合，确定对应的插值点的像素值。
在一实施例中，计算插值点对应的预设范围内的各像素点与插值点之间的距离，得到各像素点对应的像素点距离；响应于多个像素点与插值点处于同一直线，则基于多个像素点中各像素点对应的像素点距离之间的比例确定各像素点的距离权重之间的比例；基于直线上任一像素点的距离权重以及像素点的距离权重之间的比例，确定直线上其他各像素点的距离权重。
在一实施例中，响应于仅一个像素点与插值点处于同一直线，则基于与像素点相邻的两个像素点的距离权重确定与插值点处于同一直线的像素点的距离权重；其中，相邻的两个像素点分别对应的像素点距离和与插值点处于同一直线的像素点对应的像素点距离相等。
在一实施例中，将插值点与预设范围内的各像素点进行连接，得到各像素点分别对应的像素点向量；基于车牌区域在鱼眼图像中的位置信息，确定车牌区域对应的车牌向量；车牌向量与参考方向非平行设置；根据各像素点向量与车牌向量，得到各像素点分别对应的角度信息；基于角度信息，确定各像素点的角度权重。
在一实施例中，采用反正切三角函数基于各像素点对应的角度信息，确定各像素点对应的角度权重。
S13：对车牌形变图像进行参考方向的矫正处理，得到待检测图像。
具体地，将车牌形变图像的四角点信息输入到车牌矫正网络中，车牌矫正网络将车牌形变图像映射为参考方向的待检测图像。其中，车牌形变图像为旋转图像，待检测图像为参考方向的图像。通过将车牌形变图像矫正为参考方向的待检测图像，可以便于检测输出字符，提高输出字符的检测准确率。其中，待检测图像为处于参考方向的车牌形变图像。
S14：对待检测图像进行识别，得到车牌区域对应的输出字符。
具体地，对待检测图像进行字符检测，得到车牌区域中各字符对应的字符信息；在待检测图像中提取包含字符的区域图像；包含字符的区域图像为待检测图像的子图像；基于字符信息和包含字符的区域图像，确定车牌区域对应的输出字符。
在一实施例中，字符信息包括候选字符和置信度；将候选字符的置信度与预设置信度进行比对；响应于候选字符的置信度超过预设置信度，则将置信度对应的候选字符确定为对应的字符的输出字符。
在一实施例中，响应于字符对应的所有候选字符的置信度均未超过预设置信度，则基于字符信息和包含字符的区域图像，确定字符对应的输出字符。
在一实施例中，计算得到包含字符的区域图像与各候选字符之间的相似度；选取最大的相似度对应的候选字符作为字符的输出字符。
在一实施例中，将候选字符和包含字符的区域图像输入车牌识别模型进行识别，得到字符对应的输出字符。
本实施例提供的车牌识别方法包括对获取的鱼眼图像进行车牌检测，得到车牌区域；响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像；车牌形变图像的分辨率高于车牌区域的分辨率；对车牌形变图像进行参考方向的矫正处理，得到待检测图像；对待检测图像进行识别，得到车牌区域对应的输出字符。本申请提供的车牌识别方法，通过对采集的鱼眼图像进行车牌检测，得到车牌区域，通过对车牌区域进行放大处理后，以提高其分辨率，方便查看输出字符，之后通过矫正处理和检测，得到车牌区域对应的输出字符，进而提高车牌的识别准确率。
请参阅图2和图3，图2是本发明提供的车牌识别方法一实施例的流程示意图；图3是本发明提供的车牌识别方法一具体实施例的流程示意图。
本实施例中提供一种车牌识别方法，该车牌识别方法包括如下步骤。
S201：对车牌识别模型进行训练。
具体地，车牌识别模型的训练方法具体包括如下步骤。
在一实施例中，通过包含车牌字符的图像与车牌模版之间的误差值训练车牌识别模型。
请参阅图4，图4是图2提供的车牌识别方法中步骤S201一具体实施例的流程示意图。
S2011a：获取第一训练样本集和模版样本集。
具体地，第一训练样本集包括多张包含一车牌字符的第一样本图像；模版样本集包括各字母和各数字分别对应的多个车牌模版。第一样本图像中的车牌字符与车牌模版对应设置。也就是说，同一车牌字符可以以多种形式进行呈现，得到多张图像。即多张第一样本图像可以与一个车牌模版进行对应。
在一实施例中，模版样本集是通过26个字母分别对应的车牌模版和10个数字分别对应的车牌模版，模版样本集中的车牌模版中的字母字符和数字字符均清晰、明确。其中，车牌模版为白牌上的字符。
第一样本图像为包含一个车牌字符的图像，第一样本图像可以为在已知的车牌图像中提取的各车牌字符的图像。具体可以对已有的蓝牌、黄牌、白牌和新能源车牌中的输出字符进行扣取，得到各车牌字符的小图作为第一样本图像。具体地，第一样本图像为在国内车牌中提取的车牌字符的图像。
为了使训练样本更加丰富，则可以对已有的车牌字符进行数据增强处理。具体通过添加高斯噪声和椒盐噪声，随机调整图像亮度、随机调节图像对比度、将车牌字符进行小角度旋转等数据增强操作，保证每个字符对应的训练集更丰富。通过构造模糊的车牌字符，可以提升车牌识别模型的泛化性能。
S2011b：基于第一样本图像与对应的车牌模版之间的相似度与预设相似度之间的误差值，对车牌识别模型进行迭代训练。
具体地，通过车牌识别模型对第一样本图像进行字符识别，得到各第一样本图像对应的预测字符，计算得到第一样本图像的预测字符与第一样本图像对应的车牌模版之间的相似度，基于第一样本图像的预测字符与第一样本图像对应的车牌模版之间的相似度与预设相似度之间的误差值对车牌识别模型进行迭代训练。其中，车牌识别模型可以为孪生网络（siamese network）。在另一实施例中，车牌识别模型也可以为YOLO网络。
在一可选实施例中，车牌识别模型的结果反向传播，根据第一样本图像的预测字符与第一样本图像对应的车牌模版之间的相似度与预设相似度之间的误差值对车牌识别模型的权重进行修正，实现对车牌识别模型的训练。
将第一样本图像输入到车牌识别模型中，车牌识别模型对第一样本图像中的车牌字符进行检测。当第一样本图像的预测字符与第一样本图像对应的车牌模版之间的相似度与预设相似度之间的误差值小于预设阈值，预设阈值可以自行设置，例如1%、5%等，则停止对车牌识别模型的训练。
在一实施例中，通过包含车牌字符的图像与车牌模版之间的误差值训练车牌识别模型。
请参阅图5，图5是图2提供的车牌识别方法中步骤S201另一具体实施例的流程示意图。
S2012a：获取第一训练样本集和模版样本集。
具体地，第一训练样本集包括多张包含一车牌字符的第一样本图像；模版样本集包括各字母和各数字分别对应的多个车牌模版，第一样本图像中的车牌字符与车牌模版对应设置。
该步骤的具体实施方式如上述步骤S2011a中的步骤相同，再次不再赘述。
S2012b：将第一样本图像与对应的车牌模版输入到车牌识别模型进行加权融合，得到对应的字符特征图。
具体地，车牌识别模型为4通道的孪生网络，车牌识别模型通过4个卷积层和1个全连接层组成。将第一样本图像和对应的车牌模版同时输入到车牌识别模型中，第一样本图像的RGB是3通道，车牌模版是灰度图1通道，则第一样本图像和对应的车牌模版进行融合得到一张4通道的字符特征图。具体地，经过卷积层进行特征提取后，第一样本图像和对应的车牌模版的像素进行相关的加权组合并映射，得到第一样本图像对应的字符特征图。也就是说，第一样本图像和对应的车牌模版在4通道的孪生网络中经过第一个卷积层的特征提取后，得到第一样本图像对应的字符特征图。通过其他卷积层将第一样本图像对应的字符特征图的维度降低到预设维度。
S2012c：基于字符特征图与对应的车牌模版之间的相似度与预设相似度之间的误差值，对车牌识别模型进行迭代训练。
具体地，通过车牌识别模型计算得到第一样本图像对应的字符特征图与第一样本图像对应的车牌模版的特征图之间的相似度，基于第一样本图像对应的字符特征图与第一样本图像对应的车牌模版的特征图之间的相似度与预设相似度之间的误差值对车牌识别模型进行迭代训练。其中，车牌识别模型可以为孪生网络。
如果第一样本图像对应的字符特征图与第一样本图像对应的车牌模版的特征图之间的相似度越接近于1，则确定第一样本图像中的车牌字符与车牌模版中的字符为相同类别；如果第一样本图像对应的字符特征图与第一样本图像对应的车牌模版的特征图之间的相似度越接近于0，则确定第一样本图像中的车牌字符与车牌模版中的字符为不同类别。
在另一实施例中，也可以通过车牌识别模型对第一样本图像的字符特征图与第一样本图像对应的车牌模版的特征图之间的误差值对车牌识别模型进行迭代训练。
在一可选实施例中，车牌识别模型的结果反向传播，根据第一样本图像的预测字符与第一样本图像对应的车牌模版之间的相似度与预设相似度之间的误差值对车牌识别模型的权重进行修正，实现对车牌识别模型的训练。
将第一样本图像输入到车牌识别模型中，车牌识别模型对第一样本图像中的车牌字符进行检测。当第一样本图像的预测字符与第一样本图像对应的车牌模版之间的相似度与预设相似度之间的误差值小于预设阈值，预设阈值可以自行设置，例如1%、5%等，则停止对车牌识别模型的训练。
S202：对车牌检测模型进行训练。
具体地，对车牌检测模型进行训练的具体步骤如下。
请参阅图6，图6是图2提供的车牌识别方法中步骤S202一具体实施例的流程示意图。
S2021：获取第二训练样本集。
具体地，第二训练样本集包括多个包含车牌的鱼眼样本图像。其中，鱼眼样本图像是通过鱼眼摄像头预先采集的。鱼眼样本图像上具有包含的车牌的角点真实个数、各角点分别对应的标注类别和标注位置。
在一具体实施例中，车牌的角点真实个数为四个，车牌的四个角点可以确定车牌真实框。四个角点分别对应的标注类别为左上角、左下角、右上角和右下角。
本实施例中的鱼眼样本图像使用室内停车场中的鱼眼摄像头采集的图像，对鱼眼摄像头的中心点附近人眼识别出的多个车牌进行标定，具体标定车牌的角点真实个数、各角点分别对应的标注类别和标注位置。
S2022：通过车牌检测模型对鱼眼样本图像进行车牌检测，得到车牌对应的角点预测个数、各角点的预测位置和预测类别。
具体地，车牌检测模型参考corner-net网络结构。本实施例中的车牌检测模型具体为车牌四角点检测算法。
车牌检测模型对鱼眼样本图像进行关键点检测，得到车牌的角点热图。车牌检测模型基于角点热图预测得到车牌对应的角点预测个数，并可以预测得到各角点的预测类别，也可以直接回归出各角点的预测位置。
S2023：基于同一车牌对应的角点真实个数和角点预测个数之间的误差值、各角点中同一角点对应的预测位置和标注位置之间的误差值以及对应的标注类别和预测类别之间的误差值对车牌检测模型进行迭代训练。
具体地，通过车牌检测模型计算得到同一车牌对应的角点真实个数和角点预测个数之间的误差值、各角点中同一角点对应的预测位置和标注位置之间的误差值以及对应的标注类别和预测类别之间的误差值，基于误差值分别对车牌检测模型进行迭代训练。
针对车牌对应的角点热图中每个角点的高斯分布计算原理，靠近车牌真实框的车牌预测框之间存在较大的重叠面积，则基于如下公式1对车牌检测模型进行迭代训练。
Figure 44781DEST_PATH_IMAGE002
（公式1）
公式1中：Pcij表示预测的角点热图在第c个通道（类别c）的（i，j）位置的响应值，ycij表示对应位置的真实响应值，N表示角点的数量。ycij=1时候的损失函数容易理解，就是focal loss；α参数用来控制难易分类样本的损失权重；ycij等于其他值时表示（i，j）点不是类别c的目标角点，这部分通过β参数控制权重，因为靠近车牌真实框的误检角点组成的车牌预测框仍会和车牌真实框有较大的重叠面。对不同类别的角点用不同权重的损失函数，车牌预测框与车牌真实框的IOU计算时，更新为四角点组成的旋转区域的IOU。α和β超参数，设置值范围0.01到0.1之间。
在一可选实施例中，车牌检测模型的结果反向传播，根据鱼眼样本图像中同一车牌对应的角点真实个数和角点预测个数之间的误差值、各角点中同一角点对应的预测位置和标注位置之间的误差值以及对应的标注类别和预测类别之间的误差值对车牌检测模型的权重进行修正，实现对车牌检测模型的训练。
将鱼眼样本图像输入到车牌检测模型中，车牌检测模型对鱼眼样本图像中的车牌角点进行检测。当鱼眼样本图像中同一车牌对应的角点真实个数和角点预测个数之间的误差值、各角点中同一角点对应的预测位置和标注位置之间的误差值以及对应的标注类别和预测类别之间的误差值均小于预设阈值，预设阈值可以自行设置，例如1%、5%等，则停止对车牌检测模型的训练。
S203：获取鱼眼图像。
具体地，通过鱼眼摄像头采集停车场的鱼眼图像，鱼眼图像中包含有至少一个车牌。也可以为鱼眼摄像头采集的道路上的鱼眼图像。
S204：采用车牌检测模型对鱼眼图像进行车牌检测，得到车牌区域。
具体地，将采集的鱼眼图像输入到上述步骤S202训练得到的车牌检测模型中，车牌检测模型对鱼眼图像进行关键点检测，得到车牌的关键点信息。
在一具体实施例中，通过车牌检测模型对鱼眼图像进行车牌的四个角点检测，得到鱼眼图像中包含的所有车牌的四个角点的信息。四个角点的信息包括各角点的类别和各角点的位置坐标。
基于车牌的关键点信息，从鱼眼图像中提取车牌得到车牌区域。具体地，基于车牌对应的四个角点的类别和对应的位置坐标确定各车牌对应的车牌区域。由于鱼眼图像为半球面视角，采集的车牌区域为旋转区域；也就是说，采集的车牌区域与参考方向非平行设置。其中，参考方向为水平方向。非参考方向为非水平方向。在一具体实施例中，采集的车牌区域为非水平方向设置。
通过车牌检测模型在鱼眼图像的原始圆数据源上完成旋转车牌关键区域的检测，得到鱼眼图像中的车牌区域。
S205：基于车牌区域中的像素点进行插值，生成插值点。
具体地，为了扩大车牌区域的分辨率，提高车牌区域的识别准确率，则基于车牌区域中的各像素点进行双线性插值，拟合得到像素点对应的多个插值点。也可以采用一维线性插值、平均插值法、拉格朗日（Lagrange）插值法、阿基玛（Akima）插值法、牛顿插值法或最近邻插法，具体根据实际情况进行选择。
在一具体实施例中，采用如下公式2得到插值点
Figure 227501DEST_PATH_IMAGE004
。
Figure 272817DEST_PATH_IMAGE006
（公式2）
公式2中：
Figure 933605DEST_PATH_IMAGE004
表示插值点；W表示像素点对应的权重；f表示像素点。
S206：根据各插值点对应的预设范围内的像素点的像素值进行加权融合，得到各插值点的像素值。
具体地，为了减小得到的插值点的像素值与周围像素点的像素值之间的差异。可以基于插值点对应的预设范围内的各像素点分别对应的距离权重和角度权重的加权融合，确定对应的插值点的像素值。
请参阅图7和图8，图7是本发明提供的一实施例中插值点对应的预设范围内的像素点；图8是本发明提供的另一实施例中插值点对应的预设范围内的像素点。
在一实施例中，可以选取以插值点为中心的9宫格中的其他8个像素点的像素值，确定对应的插值点的像素值，如图7。也可以选取以插值点为中心的25宫格中的其他24个像素点的像素值，确定对应的插值点的像素值，如图8。
当插值点对应的各像素点处于车牌区域内时，则基于如下方法计算各像素点对应的距离权重。
在一实施例中，对插值点对应的预设范围内的各像素点分别对应的距离权重进行计算的具体步骤如下。
请参阅图9，图9是图2提供的车牌识别方法中步骤S206一具体实施例的流程示意图。
S2061a：计算插值点对应的预设范围内的各像素点与插值点之间的距离，得到各像素点对应的像素点距离。
具体地，选取以插值点为中心的25宫格中的其他24个像素点的像素值，确定对应的插值点的像素值。以插值点Pi，j为圆心，构造二维坐标系，生成各像素点对应的像素点向量，计算各像素点与插值点之间对应的像素点距离。
S2061b：响应于多个像素点与插值点处于同一直线，则基于多个像素点中各像素点对应的像素点距离之间的比例确定各像素点的距离权重之间的比例。
具体地，当多个像素点与插值点处于同一直线上，则表明多个像素点对应的像素点向量为同一向量，归一化同一向量上所有像素点分别对应的像素点距离。同一向量上的像素点对应的距离权重之间的比例与对应的像素点距离之间的比例成反比。
S2061c：基于直线上任一像素点的距离权重以及像素点的距离权重之间的比例，确定直线上其他各像素点的距离权重。
具体地，当确定直线上的一像素点的距离权重，基于同一直线上像素点的距离权重与对应的像素点距离的反比例关系，确定同一直线上的其他各像素点的距离权重。
S2061d：响应于仅一个像素点与插值点处于同一直线，则基于与像素点相邻的两个像素点的权重确定与插值点处于同一直线的像素点的距离权重。
其中，相邻的两个像素点分别对应的像素点距离和与插值点处于同一直线的像素点对应的像素点距离相同。
当同一向量上仅有一个像素点时，则以插值点为圆心，以该像素点对应的像素点距离为半径画扇形弧，通过与该像素点相邻的两个像素点分别对应的距离权重，确定该像素点的距离权重。其中，与该像素点相邻的两个像素点均处于扇形弧上。
具体地，将与该像素点相邻的两个像素点分别对应的权重进行归一化处理，并将归一化处理的两个权重进行求平均值处理，得到该像素点对应的距离权重。
当插值点对应的像素点处于车牌区域的外部，即，插值点对应的像素点超出车牌区域，则将超出车牌区域的像素点的权重设置为最小值。例如，最小值的范围为0.01~0.2。
对于处于车牌区域内的像素点，像素点距离插值点越近，则像素点对插值点的像素值的影响越大，像素点对应的距离权重越高。
在一实施例中，对插值点对应的预设范围内的各像素点分别对应的角度权重进行计算的具体步骤如下。当插值点对应的各像素点处于车牌区域内时，则基于如下方法计算各像素点对应的距离权重。
请参阅图10，图10是图2提供的车牌识别方法中步骤S206另一具体实施例的流程示意图。
S2062a：将插值点与预设范围内的各像素点进行连接，得到各像素点分别对应的像素点向量。
具体地，选取以插值点为中心的25宫格中的其他24个像素点的像素值，确定对应的插值点的像素值。以插值点Pi，j为圆心，构造二维坐标系，生成各像素点对应的像素点向量。
S2062b：基于车牌区域在鱼眼图像中的位置信息，确定车牌区域对应的车牌向量。
具体地，根据车牌区域在鱼眼图像中的位置信息，确定车牌区域在二维坐标系中的车牌向量。其中，车牌向量与水平方向非平行设置。具体，车牌向量与水平方向之间的夹角为大于0°且小于90°。
S2062c：根据各像素点向量与车牌向量，得到各像素点分别对应的角度信息。
具体地，计算得到各像素点对应的像素点向量分别与车牌向量之间对应的角度信息。具体地，以车牌区域靠近二维坐标系的x轴正方向的短边作为车牌向量，计算各像素点对应的像素点向量分别与车牌区域靠近二维坐标系的x轴正方向的短边之间对应的角度信息。
S2062d：基于角度信息，确定对应的像素点对应的角度权重。
具体地，采用反正切三角函数基于各像素点对应的角度信息，确定各像素点对应的角度权重。也可以通过其他方式根据像素点对应的角度信息确定像素点对应的角度权重。
对于处于车牌区域内的像素点，越靠近与插值点的旋转角度相垂直的方向上的像素点对插值点的像素值的影响越大，像素点对应的角度权重越高。
在一实施例中，请参阅图8，求取插值点Pi，j的像素值。获取插值点Pi，j的预设范围内的一像素点与插值点之间对应的像素点向量
Figure 639656DEST_PATH_IMAGE008
，计算得到该像素点与插值点之间对应的像素点距离为
Figure 727697DEST_PATH_IMAGE010
，车牌向量为
Figure 260310DEST_PATH_IMAGE012
，计算得到像素点向量与车牌向量之间对应的角度信息为
Figure 724789DEST_PATH_IMAGE014
，其中，
Figure 800193DEST_PATH_IMAGE016
。如果像素点超出车牌区域，则确定对应的像素点的角度权重为0。通过
Figure 714928DEST_PATH_IMAGE018
得到像素点对应的角度权重。
根据像素点对应的像素点距离与处于同一向量上的其他像素点的像素点距离之间的比例以及其他像素点对应的距离权重，确定该像素点对应的距离权重。
请参阅图11，图11是本发明提供的一实施例中插值点对应的区域权值拟合曲面示意图。
根据各像素点对应的角度权重和距离权重的加和确定生成插值点对应的区域权值拟合曲面。计算插值点的像素值时，与插值点相关联的像素点的权重沿箭头的方向递减，也就是说，插值点对应的各像素点的权重从内向外呈梯度形式递减。通过得到插值点对应的区域权值拟合曲面，可以扩展更大的像素空间。
S207：基于各插值点的像素值生成车牌形变图像。
具体地，通过上述步骤S206得到所有插值点的像素值，根据各插值点对应的像素值和像素点对应的像素值生成车牌形变图像。其中，车牌形变图像为车牌区域的放大图。车牌形变图像为车牌区域放大分辨率后的图像。相对于车牌区域，车牌形变图像具有更丰富的车牌图像信息。车牌形变图像与水平方向非平行设置。
S208：对车牌形变图像进行矫正处理，得到待检测图像。
具体地，将车牌形变图像的四角点信息输入到车牌矫正网络中，车牌矫正网络将车牌形变图像映射为水平方向的待检测图像。其中，车牌形变图像为旋转图像，待检测图像为水平方向的图像。通过将车牌形变图像矫正为水平方向的待检测图像，可以便于检测输出字符，提高输出字符的检测准确率。其中，待检测图像为处于水平方向的车牌形变图像。
S209：对待检测图像进行字符检测，得到车牌区域中各字符对应的字符信息。
具体地，通过字符检测模型对待检测图像中的字符进行检测，得到待检测图像中各字符的位置信息以及各字符识别到的各候选字符的置信度。
由于待检测图像边缘的字符会存在模糊的现象，则可基于车牌识别模型对输出字符进行识别。具体地，一个字符对应多个候选字符。
将候选字符对应的置信度与预设置信度进行比较。如果候选字符的置信度超过预设置信度，则确定置信度超过预设置信度对应的候选字符为对应一字符的一输出字符。也就是说，响应于字符对应的候选字符的置信度超过预设置信度，则将置信度对应的候选字符确定为车牌区域对应的一输出字符。
如果一字符对应的多个候选字符的置信度均未超过预设置信度，则根据置信度的大小将多个候选字符进行排序，选取排序靠前的N个候选字符输入到车牌识别模型中。同时将待检测图像中N个候选字符对应的字符的区域图像进行提取并输入到车牌识别模型中。其中，包含字符的区域图像为待检测图像的子图像。
S210：将包含字符的区域图像和对应的字符信息输入车牌识别模型进行识别，得到车牌区域对应的输出字符。
具体地，响应于字符对应的所有候选字符的置信度均未超过预设置信度，则计算得到包含字符的区域图像与各候选字符分别对应的预设字符之间的相似度。选取最大的相似度对应的预设字符作为车牌区域对应的一输出字符。
在一实施例中，将选取的N个候选字符输入到车牌识别模型中，车牌识别模型计算得到的N个候选字符对应的字符区域图像与各候选字符对应的预设字符之间的相似度。其中，车牌模版集包括10个数字模版和26个字母模版，各字母模版和各数字模版均可以单独作为预设字符。选取最大的相似度对应的预设字符作为对应一字符的输出字符。车牌区域对应的多个字符识别到的输出字符根据对应的位置信息组合得到车牌区域对应的车牌。其中，车牌识别模型也可以为相似度网络模型。
请参阅图12，图12是本发明提供的车牌识别得到候选字符的示意图。
在一具体实施例中，预设置信度设置为0.7。对待检测图像进行字符检测后得到5个字符分别对应的候选字符。其中，第一个字符对应的候选字符分别为Z、2、7，各候选字符分别对应的置信度依次为0.5、0.4、0.4；第二个字符对应的候选字符为2，候选字符对应的置信度为0.8；第三个字符对应的候选字符为3，候选字符对应的置信度为0.95；第四个字符对应的候选字符分别为4、N、H、B，各候选字符分别对应的置信度依次为0.5、0.4、0.4、0.2；第五个字符对应的候选字符分别为3、6，各候选字符分别对应的置信度依次为0.7、0.4。
将第一个字符对应的三个候选字符的置信度分别与预设置信度进行比较。响应于三个候选字符分别对应的置信度均小于0.7，则将三个候选字符输入到车牌识别模型中，车牌识别模型分别计算第一个字符区域图像分别与字母模版“Z”、数字模版“2”和数字模版“7”之间对应的相似度，确定第一个字符区域图像与字母模版“Z”之间的相似度最大，则确定第一个字符的识别结果为Z。
将第二个字符对应的候选字符的置信度与预设置信度进行比较。候选字符的置信度大于预设置信度，则确定第二个字符的识别结果为2。
将第三个字符对应的候选字符的置信度与预设置信度进行比较。候选字符的置信度大于预设置信度，则确定第三个字符的识别结果为3。
将第四个字符对应的三个候选字符的置信度分别与预设置信度进行比较。响应于四个候选字符分别对应的置信度均小于0.7，则选取置信度排序前三个候选字符输入到车牌识别模型中，车牌识别模型分别计算第四个字符区域图像分别与字母模版“H”、字母模版“N”和数字模版“4”之间对应的相似度，确定第四个字符区域图像与字母模版“H”之间的相似度最大，则确定第四个字符的识别结果为H。
将第五个字符对应的两个候选字符的置信度分别与预设置信度进行比较。响应于两个候选字符分别对应的置信度均小于0.7，则将两个候选字符输入到车牌识别模型中，车牌识别模型分别计算第五个字符区域图像分别与数字模版“3”和数字模版“6”之间对应的相似度，确定第五个字符区域图像与数字模版“3”之间的相似度最大，则确定第五个字符的识别结果为3。
车牌区域对应的五个字符识别到的输出字符根据对应的位置信息组合得到车牌区域对应的车牌为Z23H3。
通过本实施例中的车牌识别模型可以对模糊的车牌图像和污损的车牌图像进行识别，提升了车牌识别的准确率。
本实施例提供的车牌识别方法包括对获取的鱼眼图像进行车牌检测，得到车牌区域；响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像；车牌形变图像的分辨率高于车牌区域的分辨率；对车牌形变图像进行参考方向的矫正处理，得到待检测图像；对待检测图像进行识别，得到车牌区域对应的输出字符。本申请提供的车牌识别方法，通过对采集的鱼眼图像进行车牌检测，得到车牌区域，通过对车牌区域进行放大处理后，以提高其分辨率，方便查看输出字符，之后通过矫正处理和检测，得到车牌区域对应的输出字符，进而提高车牌的识别准确率。
参阅图13，图13是本发明提供的车牌识别装置一实施例的示意框图。本实施例提供一种车牌识别装置60，车牌识别装置60包括检测模块61、分辨率调节模块62、矫正模块63和识别模块64。
检测模块61用于对获取的鱼眼图像进行车牌检测，得到车牌区域。
在一实施例中，检测模块61还用于获取鱼眼图像；对鱼眼图像进行车牌角点检测，得到车牌的角点信息；基于车牌的角点信息，确定鱼眼图像中各车牌对应的车牌区域。
在一实施例中，检测模块61还用于采用车牌检测模型对鱼眼图像进行车牌检测，得到车牌区域。
分辨率调节模块62用于响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像。车牌形变图像的分辨率高于车牌区域的分辨率。
在一实施例中，分辨率调节模块62用于基于车牌区域中的像素点进行插值，生成插值点；根据各插值点对应的预设范围内的像素点的像素值进行加权融合，得到各插值点的像素值；基于各插值点和像素点生成车牌形变图像。
分辨率调节模块62还用于基于插值点对应的预设范围内的各像素点分别对应的距离权重和角度权重的加权融合，确定对应的插值点的像素值。
分辨率调节模块62还用于计算插值点对应的预设范围内的各像素点与插值点之间的距离，得到各像素点对应的像素点距离；响应于多个像素点与插值点处于同一直线，则基于多个像素点中各像素点对应的像素点距离之间的比例确定各像素点的距离权重之间的比例；基于直线上任一像素点的距离权重以及像素点的距离权重之间的比例，确定直线上其他各像素点的距离权重。
分辨率调节模块62还用于响应于仅一个像素点与插值点处于同一直线，则基于与像素点相邻的两个像素点的距离权重确定与插值点处于同一直线的像素点的距离权重；其中，相邻的两个像素点分别对应的像素点距离和与插值点处于同一直线的像素点对应的像素点距离相等。
分辨率调节模块62还用于将插值点与预设范围内的各像素点进行连接，得到各像素点分别对应的像素点向量；基于车牌区域在鱼眼图像中的位置信息，确定车牌区域对应的车牌向量；车牌向量与参考方向非平行设置；根据各像素点向量与车牌向量，得到各像素点分别对应的角度信息；基于角度信息，确定各像素点的角度权重。
分辨率调节模块62还用于采用反正切三角函数基于各像素点对应的角度信息，确定各像素点对应的角度权重。
矫正模块63用于对车牌形变图像进行参考方向的矫正处理，得到待检测图像。
矫正模块63用于将车牌形变图像的四角点信息输入到车牌矫正网络中，车牌矫正网络将车牌形变图像映射为参考方向的待检测图像。其中，车牌形变图像为旋转图像，待检测图像为参考方向的图像。通过将车牌形变图像矫正为参考方向的待检测图像，可以便于检测输出字符，提高输出字符的检测准确率。其中，待检测图像为处于参考方向的车牌形变图像。
识别模块64用于对待检测图像进行识别，得到车牌区域对应的输出字符。
在一实施例中，识别模块64还用于对待检测图像进行字符检测，得到车牌区域中各字符对应的字符信息；在待检测图像中提取包含字符的区域图像；包含字符的区域图像为待检测图像的子图像；基于字符信息和包含字符的区域图像，确定车牌区域对应的输出字符。
在一实施例中，字符信息包括候选字符和置信度。识别模块64还用于将候选字符的置信度与预设置信度进行比对；响应于候选字符的置信度超过预设置信度，则将置信度对应的候选字符确定为对应的字符的输出字符；响应于字符对应的所有候选字符的置信度均未超过预设置信度，则基于字符信息和包含字符的区域图像，确定车牌区域对应的输出字符。
在一实施例中，识别模块64还用于计算得到包含字符的区域图像与各候选字符分别对应的预设字符之间的相似度；选取最大的相似度对应的预设字符作为对应的字符的输出字符。
在一实施例中，识别模块64还用于将候选字符和包含字符的区域图像输入车牌识别模型进行识别，得到车牌区域对应的输出字符。
本申请提供的车牌识别装置，车牌识别装置通过检测模块对获取的鱼眼图像进行车牌检测，得到车牌区域；分辨率调节模块响应于车牌区域处于非参考方向，基于车牌区域的各像素点对车牌区域进行放大处理得到车牌形变图像；车牌形变图像的分辨率高于车牌区域的分辨率；矫正模块对车牌形变图像进行参考方向的矫正处理，得到待检测图像；识别模块对待检测图像进行识别，得到车牌区域对应的输出字符测图像；对待检测图像进行识别，得到车牌区域对应的输出字符。本申请提供的车牌识别方法，通过对采集的鱼眼图像进行车牌检测，得到车牌区域，通过对车牌区域进行放大处理后，以提高其分辨率，方便查看输出字符，之后通过矫正处理和检测，得到车牌区域对应的输出字符，进而提高车牌的识别准确率。
请参阅图14，图14是本发明提供的终端一实施例的示意框图。终端80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一车牌识别方法实施例的步骤。在一个具体的实施场景中，终端80可以包括但不限于：微型计算机、服务器，此外，终端80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一车牌识别方法实施例的步骤。处理器82还可以称为CPU（Central Processing Unit，中央处理单元）。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（Application SpecificIntegrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
请参阅图15，图15是本发明提供的计算机可读存储介质一实施例的示意框图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一车牌识别方法实施例的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (15)

1.一种车牌识别方法，其特征在于，所述车牌识别方法包括：
对获取的鱼眼图像进行车牌检测，得到车牌区域；
响应于所述车牌区域处于非参考方向，基于所述车牌区域的各像素点对所述车牌区域进行放大处理得到车牌形变图像；所述车牌形变图像的分辨率高于所述车牌区域的分辨率；
对所述车牌形变图像进行参考方向的矫正处理，得到待检测图像；
对所述待检测图像进行识别，得到所述车牌区域对应的输出字符；
所述基于所述车牌区域的各像素点对所述车牌区域进行放大处理得到车牌形变图像，包括：
基于所述车牌区域中的像素点进行插值，生成插值点；
基于所述插值点对应的预设范围内的各所述像素点分别对应的距离权重和角度权重的加权融合，确定对应的所述插值点的像素值；
基于各所述插值点和所述像素点生成所述车牌形变图像；
其中，所述基于所述插值点对应的预设范围内的各所述像素点分别对应的距离权重和角度权重的加权融合，确定对应的所述插值点的像素值之前，还包括：
计算所述插值点对应的所述预设范围内的各所述像素点与所述插值点之间的距离，得到各所述像素点对应的像素点距离；响应于多个所述像素点与所述插值点处于同一直线，则基于所述多个像素点中各所述像素点对应的所述像素点距离之间的比例确定各所述像素点的距离权重之间的比例；基于所述直线上任一所述像素点的距离权重以及所述像素点的距离权重之间的比例，确定所述直线上其他各所述像素点的距离权重；和/或；响应于仅一个所述像素点与所述插值点处于同一直线，则基于与所述像素点相邻的两个所述像素点的距离权重确定与所述插值点处于同一直线的所述像素点的距离权重；其中，相邻的所述两个像素点分别对应的所述像素点距离和与所述插值点处于同一直线的所述像素点对应的所述像素点距离相等；
将所述插值点与所述预设范围内的各所述像素点进行连接，得到各所述像素点分别对应的像素点向量；基于所述车牌区域在所述鱼眼图像中的位置信息，确定所述车牌区域对应的车牌向量；根据各所述像素点向量与所述车牌向量，得到各所述像素点分别对应的角度信息；基于所述角度信息，确定各所述像素点的角度权重。
2.根据权利要求1所述的车牌识别方法，其特征在于，所述车牌向量与参考方向非平行设置。
3.根据权利要求1所述的车牌识别方法，其特征在于，
所述基于所述角度信息，确定各所述像素点的角度权重，包括：
采用反正切三角函数基于各所述像素点对应的所述角度信息，确定各所述像素点对应的所述角度权重。
4.根据权利要求1所述的车牌识别方法，其特征在于，
所述对所述待检测图像进行识别，得到所述车牌区域对应的输出字符，包括：
对所述待检测图像进行字符检测，得到所述车牌区域中各字符对应的字符信息；
在所述待检测图像中提取包含所述字符的区域图像；所述包含字符的区域图像为所述待检测图像的子图像；
基于所述字符信息和所述包含字符的区域图像，确定所述车牌区域对应的所述输出字符。
5.根据权利要求4所述的车牌识别方法，其特征在于，所述字符信息包括候选字符和置信度；
所述对所述待检测图像进行识别，得到所述车牌区域对应的输出字符，还包括：
将所述候选字符的置信度与预设置信度进行比对；
响应于所述候选字符的置信度超过所述预设置信度，则将所述置信度对应的所述候选字符确定为对应的所述字符的输出字符。
6.根据权利要求5所述的车牌识别方法，其特征在于，
所述对所述待检测图像进行识别，得到所述车牌区域对应的输出字符，还包括：
响应于所述字符对应的所有所述候选字符的置信度均未超过所述预设置信度，则基于所述字符信息和所述包含字符的区域图像，确定所述字符对应的所述输出字符。
7.根据权利要求6所述的车牌识别方法，其特征在于，
所述基于所述字符信息和所述包含字符的区域图像，确定所述字符对应的所述输出字符，包括：
计算得到所述包含字符的区域图像与各所述候选字符之间的相似度；
选取最大的所述相似度对应的所述候选字符作为所述字符的输出字符。
8.根据权利要求5所述的车牌识别方法，其特征在于，
所述基于所述字符信息和所述包含字符的区域图像，确定所述字符对应的所述输出字符，包括：
将所述候选字符和所述包含字符的区域图像输入车牌识别模型进行识别，得到所述字符对应的所述输出字符；
其中，所述车牌识别模型是基于多张包含一个车牌字符的第一样本图像组成的第一训练样本集和各字母和各数字分别对应的多个车牌模版组成的模版样本集进行训练。
9.根据权利要求8所述的车牌识别方法，其特征在于，
所述车牌识别模型的训练方法，具体包括：
获取第一训练样本集和模版样本集，所述第一训练样本集包括多张包含一所述车牌字符的第一样本图像；所述模版样本集包括各所述字母和各所述数字分别对应的多个所述车牌模版；
基于所述第一样本图像与对应的所述车牌模版之间的相似度与预设相似度之间的误差值，对所述车牌识别模型进行迭代训练。
10.根据权利要求8所述的车牌识别方法，其特征在于，
所述车牌识别模型的训练方法，具体包括：
获取第一训练样本集和模版样本集，所述第一训练样本集包括多张包含一所述车牌字符的第一样本图像；所述模版样本集包括各所述字母和各所述数字分别对应的多个所述车牌模版；
将所述第一样本图像与对应的所述车牌模版输入到所述车牌识别模型进行加权融合，得到对应的特征图；
基于所述特征图与对应的所述车牌模版之间的相似度与预设相似度之间的误差值，对所述车牌识别模型进行迭代训练。
11.根据权利要求1所述的车牌识别方法，其特征在于，
所述对获取的鱼眼图像进行车牌检测，得到车牌区域，包括：
获取鱼眼图像；
对所述鱼眼图像进行车牌角点检测，得到所述车牌的角点信息；
基于所述车牌的角点信息，确定所述鱼眼图像中各所述车牌对应的所述车牌区域。
12.根据权利要求1所述的车牌识别方法，其特征在于，
所述对获取的鱼眼图像进行车牌检测，得到车牌区域，包括：
采用车牌检测模型对所述鱼眼图像进行车牌检测，得到所述车牌区域；
其中，所述车牌检测模型的训练方法包括：
获取第二训练样本集，所述第二训练样本集包括多个包含车牌的鱼眼样本图像；所述鱼眼样本图像上具有包含的所述车牌的角点真实个数、各所述角点分别对应的标注类别和标注位置；
通过所述车牌检测模型对所述鱼眼样本图像进行车牌检测，得到所述车牌对应的角点预测个数、各所述角点的预测位置和预测类别；
基于同一所述车牌对应的所述角点真实个数和所述角点预测个数之间的误差值、各所述角点中同一所述角点对应的所述预测位置和所述标注位置之间的误差值以及对应的所述标注类别和所述预测类别之间的误差值对所述车牌检测模型进行迭代训练。
13.一种车牌识别装置，其特征在于，所述车牌识别装置包括：
检测模块，用于对获取的鱼眼图像进行车牌检测，得到车牌区域；
分辨率调节模块，用于响应于所述车牌区域处于非参考方向，基于所述车牌区域的各像素点对所述车牌区域进行放大处理得到车牌形变图像；所述车牌形变图像的分辨率高于所述车牌区域的分辨率；
矫正模块，用于对所述车牌形变图像进行参考方向的矫正处理，得到待检测图像；
识别模块，用于对所述待检测图像进行识别，得到所述车牌区域对应的输出字符；
其中，所述分辨率调节模块还用于基于所述车牌区域中的像素点进行插值，生成插值点；基于所述插值点对应的预设范围内的各所述像素点分别对应的距离权重和角度权重的加权融合，确定对应的所述插值点的像素值；基于各所述插值点和所述像素点生成所述车牌形变图像；
所述分辨率调节模块还用于计算所述插值点对应的所述预设范围内的各所述像素点与所述插值点之间的距离，得到各所述像素点对应的像素点距离；响应于多个所述像素点与所述插值点处于同一直线，则基于所述多个像素点中各所述像素点对应的所述像素点距离之间的比例确定各所述像素点的距离权重之间的比例；基于所述直线上任一所述像素点的距离权重以及所述像素点的距离权重之间的比例，确定所述直线上其他各所述像素点的距离权重；和/或；响应于仅一个所述像素点与所述插值点处于同一直线，则基于与所述像素点相邻的两个所述像素点的距离权重确定与所述插值点处于同一直线的所述像素点的距离权重；其中，相邻的所述两个像素点分别对应的所述像素点距离和与所述插值点处于同一直线的所述像素点对应的所述像素点距离相等；还用于将所述插值点与所述预设范围内的各所述像素点进行连接，得到各所述像素点分别对应的像素点向量；基于所述车牌区域在所述鱼眼图像中的位置信息，确定所述车牌区域对应的车牌向量；根据各所述像素点向量与所述车牌向量，得到各所述像素点分别对应的角度信息；基于所述角度信息，确定各所述像素点的角度权重。
14.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于执行程序数据以实现如权利要求1~12任一项所述的车牌识别方法中的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~12任一项所述的车牌识别方法中的步骤。
CN202210807536.9A 2022-07-11 2022-07-11 一种车牌识别方法、装置、终端及计算机可读存储介质 Active CN114882492B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210807536.9A CN114882492B (zh) 2022-07-11 2022-07-11 一种车牌识别方法、装置、终端及计算机可读存储介质
PCT/CN2022/137619 WO2024011831A1 (en) 2022-07-11 2022-12-08 Vehicle license plate recognition method, device, terminal and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210807536.9A CN114882492B (zh) 2022-07-11 2022-07-11 一种车牌识别方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114882492A CN114882492A (zh) 2022-08-09
CN114882492B true CN114882492B (zh) 2022-11-22

Family

ID=82683607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210807536.9A Active CN114882492B (zh) 2022-07-11 2022-07-11 一种车牌识别方法、装置、终端及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114882492B (zh)
WO (1) WO2024011831A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882492B (zh) * 2022-07-11 2022-11-22 浙江大华技术股份有限公司 一种车牌识别方法、装置、终端及计算机可读存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789119A (zh) * 2009-01-23 2010-07-28 华为技术有限公司 确定图像插值过程中的滤波器系数的方法及装置
CN101937508A (zh) * 2010-09-30 2011-01-05 湖南大学 一种基于高清图像的车牌定位与识别方法
CN102324088A (zh) * 2009-01-23 2012-01-18 华为技术有限公司 确定图像插值过程中的滤波器系数的方法及装置
CN105096604A (zh) * 2015-07-24 2015-11-25 浙江宇视科技有限公司 一种车牌识别的方法和装置
CN108320575A (zh) * 2018-03-16 2018-07-24 上海芭比信息技术服务有限公司 一种车位引导及反向寻车系统及其停车位检测装置、方法
CN109472739A (zh) * 2018-10-29 2019-03-15 深圳云行智能科技有限公司 一种用于广角摄像头的鱼眼图像矫正方法及装置
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN111104826A (zh) * 2018-10-26 2020-05-05 浙江宇视科技有限公司 一种车牌字符识别方法、装置及电子设备
CN111598089A (zh) * 2020-05-16 2020-08-28 湖南大学 一种基于深度学习的车牌矫正与识别方法
CN111860219A (zh) * 2020-06-30 2020-10-30 杭州科度科技有限公司 一种高速占道判断方法、装置及电子设备
CN112115904A (zh) * 2020-09-25 2020-12-22 浙江大华技术股份有限公司 车牌检测识别方法、装置及计算机可读存储介质
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质
CN112906699A (zh) * 2020-12-23 2021-06-04 深圳市信义科技有限公司 一种车牌放大号的检测识别方法
CN113435446A (zh) * 2021-07-07 2021-09-24 南京云创大数据科技股份有限公司 一种基于深度学习的倾斜车牌矫正方法
CN113947766A (zh) * 2021-12-21 2022-01-18 之江实验室 一种基于卷积神经网络的实时车牌检测方法
CN114612907A (zh) * 2022-03-14 2022-06-10 京东科技信息技术有限公司 一种车牌识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447112B2 (en) * 2010-12-17 2013-05-21 Xerox Corporation Method for automatic license plate recognition using adaptive feature set
CN113673513A (zh) * 2021-08-06 2021-11-19 浙江大华技术股份有限公司 一种车牌识别方法、装置、设备及介质
CN114882492B (zh) * 2022-07-11 2022-11-22 浙江大华技术股份有限公司 一种车牌识别方法、装置、终端及计算机可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789119A (zh) * 2009-01-23 2010-07-28 华为技术有限公司 确定图像插值过程中的滤波器系数的方法及装置
CN102324088A (zh) * 2009-01-23 2012-01-18 华为技术有限公司 确定图像插值过程中的滤波器系数的方法及装置
CN101937508A (zh) * 2010-09-30 2011-01-05 湖南大学 一种基于高清图像的车牌定位与识别方法
CN105096604A (zh) * 2015-07-24 2015-11-25 浙江宇视科技有限公司 一种车牌识别的方法和装置
CN108320575A (zh) * 2018-03-16 2018-07-24 上海芭比信息技术服务有限公司 一种车位引导及反向寻车系统及其停车位检测装置、方法
CN111104826A (zh) * 2018-10-26 2020-05-05 浙江宇视科技有限公司 一种车牌字符识别方法、装置及电子设备
CN109472739A (zh) * 2018-10-29 2019-03-15 深圳云行智能科技有限公司 一种用于广角摄像头的鱼眼图像矫正方法及装置
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法
CN111598089A (zh) * 2020-05-16 2020-08-28 湖南大学 一种基于深度学习的车牌矫正与识别方法
CN111860219A (zh) * 2020-06-30 2020-10-30 杭州科度科技有限公司 一种高速占道判断方法、装置及电子设备
CN112115904A (zh) * 2020-09-25 2020-12-22 浙江大华技术股份有限公司 车牌检测识别方法、装置及计算机可读存储介质
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质
CN112906699A (zh) * 2020-12-23 2021-06-04 深圳市信义科技有限公司 一种车牌放大号的检测识别方法
CN113435446A (zh) * 2021-07-07 2021-09-24 南京云创大数据科技股份有限公司 一种基于深度学习的倾斜车牌矫正方法
CN113947766A (zh) * 2021-12-21 2022-01-18 之江实验室 一种基于卷积神经网络的实时车牌检测方法
CN114612907A (zh) * 2022-03-14 2022-06-10 京东科技信息技术有限公司 一种车牌识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《A License Plate Recognition System for Severe Tilt Angles Using Mask R-CNN》;Cheng-Hung Lin等;《2019 International Conference on Advanced Mechatronic Systems (ICAMechS)》;20190828;第229-234页 *
《基于卷积神经网络的解扭曲车牌检测识别方法》;王昆等;《计算机工程与设计》;20211130;第42卷(第11期);第3225-3231页 *

Also Published As

Publication number Publication date
CN114882492A (zh) 2022-08-09
WO2024011831A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
CN111178245B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
US7577297B2 (en) Pattern identification method, device thereof, and program thereof
CN112633144A (zh) 人脸遮挡检测方法、系统、设备及存储介质
CN110728234A (zh) 驾驶员人脸识别方法、系统、设备及介质
CN112947419B (zh) 避障方法、装置及设备
CN111626295B (zh) 车牌检测模型的训练方法和装置
Youjin et al. A robust lane detection method based on vanishing point estimation
CN110443245B (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
CN112001378B (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
CN114882492B (zh) 一种车牌识别方法、装置、终端及计算机可读存储介质
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
JP2001126065A (ja) 距離分布検知装置
CN113570530A (zh) 图像融合方法、装置、计算机可读存储介质和电子设备
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN115375917A (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN114283448A (zh) 一种基于头部姿态估计的儿童坐姿提醒方法和系统
CN111931617B (zh) 基于图像处理的人眼图像识别方法、装置及自助终端
JP6253397B2 (ja) 物体検出装置
Zhang et al. Target tracking for mobile robot platforms via object matching and background anti-matching
CN113436256B (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN112800966B (zh) 一种视线的追踪方法及电子设备
CN115222621A (zh) 图像校正方法、电子设备、存储介质及计算机程序产品
JP4298283B2 (ja) パターン認識装置、パターン認識方法、及びプログラム
CN108615025A (zh) 家居环境下门识别定位方法、系统以及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant