CN117710954A - 一种结合图像修复的车牌识别方法、装置、设备、介质 - Google Patents

一种结合图像修复的车牌识别方法、装置、设备、介质 Download PDF

Info

Publication number
CN117710954A
CN117710954A CN202311650694.9A CN202311650694A CN117710954A CN 117710954 A CN117710954 A CN 117710954A CN 202311650694 A CN202311650694 A CN 202311650694A CN 117710954 A CN117710954 A CN 117710954A
Authority
CN
China
Prior art keywords
image
license plate
character
network
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311650694.9A
Other languages
English (en)
Inventor
王金波
芮建秋
叱干春旺
石耀华
郭振华
康晓
刘俊
沈彧
夏建文
刘菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Intelligent Transportation Information Technology Co ltd
Suzhou Ring Expressway Co ltd
Tianyi Transportation Technology Co ltd
Suzhou Big Data Group Co ltd
Original Assignee
Suzhou Intelligent Transportation Information Technology Co ltd
Suzhou Ring Expressway Co ltd
Tianyi Transportation Technology Co ltd
Suzhou Big Data Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Intelligent Transportation Information Technology Co ltd, Suzhou Ring Expressway Co ltd, Tianyi Transportation Technology Co ltd, Suzhou Big Data Group Co ltd filed Critical Suzhou Intelligent Transportation Information Technology Co ltd
Priority to CN202311650694.9A priority Critical patent/CN117710954A/zh
Publication of CN117710954A publication Critical patent/CN117710954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及图像识别技术领域，公开了一种结合图像修复的车牌识别方法、装置、设备、介质，该方法通过将车牌字符待识别图像输入至图像修复网络，输出高清车牌图像，并以高清车牌图像作为字符识别网络的输入，输出车牌字符序列。在这一过程中由于图像修复网络与字符识别网络采用联合训练的方式，使得图像修复网络与字符识别网络相互监督、同时进行参数更新，在将车牌字符待识别图像输入图像修复网络后，由于网络可以自主学习字符轮廓特征，通过字符轮廓与背景之间的梯度，保证了高清车牌图像中字符的清晰度，从而使高清车牌图像输入字符识别网络时，车牌字符均可以被正确识别，提高了车牌字符识别的准确性。

Description

一种结合图像修复的车牌识别方法、装置、设备、介质
技术领域
本发明涉及图像识别技术领域，具体涉及一种结合图像修复的车牌识别方法、装置、设备、介质。
背景技术
目前，图像处理与图像识别技术得到了迅速的发展，其中车牌作为车辆区别于其他车辆的一项重要信息，车牌识别技术已在如道路交通监测、停车场管理等多个场景中得到应用，通过摄像头或相机完成对图像进行拍摄，从而对图像的内容进行提取与识别。
在相关技术中，为实现车牌的智能识别，通常采用图像识别模型标记矩形兴趣区域，完成车牌区域的提取，并通过对车牌区域内的字符进行切割，将车牌区域分解为单个字符图像，并对每个字符图像进行单独识别的方式，完成车牌的识别。在该种方式中，通过单个模型进行图像识别需要输入的采集图像具有一定的图像清晰度，从而使得在将车牌区域内的字符进行识别时，才能保证所有字符均被正确识别，若因采集图像的相机无法保证图形的清晰度，或因夜晚、大雾等客观原因导致采集图像不清晰时，无法保证所有字符均被正确识别，降低了采集图像的车牌字符识别的准确性。
发明内容
有鉴于此，本发明提供了一种结合图像修复的车牌识别方法、装置、设备、介质，以解决车牌字符识别准确性低的技术问题。
第一方面，本发明提供了一种结合图像修复的车牌识别方法，包括：
获取车牌字符待识别图像；将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像；将高清车牌图像输入至预训练好的字符识别网络，识别与车牌字符待识别图像相对应的车牌字符，其中图像修复网络与字符识别网络采用联合训练方式进行训练。
结合第一方面，在第一方面的一个可能的实现方式中，图像修复网络，包括：特征提取模块，特征提取模块包括：动态权重计算分支、常规特征提取分支、带注意力机制的特征提取分支，将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像，包括：通过动态权重计算分支，分别确定第一动态权重与第二动态权重；车牌字符待识别图像经带注意力机制的特征提取分支进行计算，再与第一动态权重计算，得到第一特征图；车牌字符待识别图像经常规特征提取分支进行计算，再与第二动态权重计算，得到第二特征图；基于第一特征图与第二特征图，确定与车牌字符待识别图像相对应的图像特征；基于图像特征，重构车牌字符待识别图像，确定高清车牌图像。
结合第一方面，在第一方面的一个可能的实现方式中，图像修复网络的训练过程，包括：获取第一样本图像与训练图像；将训练图像，输入图像修复网络，确定第一生成图像；基于第一生成图像与第一样本图像，确定第一损失函数；基于第一损失函数更新图像修复网络参数，直至确定第二生成图像。
结合第一方面，在第一方面的一个可能的实现方式中，字符识别网络的训练过程，包括：获取第二样本图像，第二样本图像包括标签字符序列；将第二生成图像，输入字符识别网络，输出车牌字符序列；基于车牌字符序列与标签字符序列，确定第二损失函数；基于第二损失函数更新字符识别网络参数，直至车牌字符序列与标签字符序列一致。
结合第一方面，在第一方面的一个可能的实现方式中，图像修复网络与字符识别网络采用联合训练方式进行训练，包括：基于第一损失函数与第二损失函数，确定总损失函数；基于总损失函数，确定图像修复网络与字符识别网络的训练终止条件。
结合第一方面，在第一方面的一个可能的实现方式中，方法还包括：将车牌字符待识别图像输入至训练好的车牌检测网络，确定车牌图像，车牌图像包括：车牌的角点像素坐标与车牌框的像素坐标；基于车牌的角点像素坐标与车牌框的像素坐标，对车牌图像进行倾斜校正，确定校正图像；将校正图像作为车牌字符待识别图像输入至预训练好的图像修复网络。
结合第一方面，在第一方面的一个可能的实现方式中，基于车牌的角点像素坐标与车牌框的像素坐标，对车牌图像进行倾斜校正，确定校正图像，包括：基于车牌的角点像素坐标与车牌框的像素坐标，判断车牌图像是否倾斜；在车牌图像倾斜的情况下，对车牌图像进行透视变换，确定校正图像。
第二方面，本发明提供了一种结合图像修复的车牌识别装置，包括：获取模块，用于获取车牌字符待识别图像；图像修复模块，用于将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像；字符识别模块，用于将高清车牌图像输入至预训练好的字符识别网络，识别与车牌字符待识别图像相对应的车牌字符，其中图像修复网络与字符识别网络采用联合训练方式进行训练。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的结合图像修复的车牌识别方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的结合图像修复的车牌识别方法。
本发明技术方案，具有如下优点：
本发明提供的一种结合图像修复的车牌识别方法、装置、设备、介质，该方法通过将车牌字符待识别图像输入至图像修复网络，输出高清车牌图像，并以高清车牌图像作为字符识别网络的输入，输出车牌字符序列，从而完成车牌字符的识别。在这一过程中，是以高清车牌图像作为字符识别网络的输入，并且由于图像修复网络与字符识别网络采用联合训练的方式，使得图像修复网络与字符识别网络相互监督、同时进行参数更新，在将车牌字符待识别图像输入图像修复网络后，由于网络可以自主学习字符轮廓特征和车牌背景信息特征，通过车牌字符的轮廓与背景之间的梯度，保证了高清车牌图像中字符的清晰度，从而使高清车牌图像输入字符识别网络时，车牌字符均可以被正确识别，提高了车牌字符识别的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的一种结合图像修复的车牌识别方法的流程示意图；
图2是根据本发明实施例提供的一种结合图像修复的车牌识别方法的图像修复网络的特征提取模块的结构示意图；
图3是根据本发明实施例提供的一种结合图像修复的车牌识别方法的流程示意图；
图4是根据本发明实施例的一种结合图像修复的车牌识别装置的结构框图；
图5是本发明实施例的计算机设备的硬件结构示意图。
实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是：
PSNR（Peak Signal to Noise Ratio，峰值信噪比）是一种图像质量的评价指标，它可以评价两幅图像之间的相似程度。
epoch是基于神经网络的深度学习和机器学习中的一个概念，通俗来说，一个epoch等于使用训练集中的全部样本训练一次的过程。当一个完整的数据集通过了神经网络一次并且返回了一次，即进行了一次正向传播和反向传播，这个过程称为一个epoch。
本实施例提供了一种结合图像修复的车牌识别方法，如图1所示，方法包括：
S101、获取车牌字符待识别图像。
具体地，车牌字符待识别图像是指从相机或摄像机拍摄的图片检测到的车牌区域，其中，车牌字符待识别图像中包含车牌字符所对应的图像区域。
S102、将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像。
具体地，将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像是指通过图像修复网络对车牌字符待识别图像进行修复，增加车牌字符的轮廓与背景之间的梯度，保证了高清车牌图像中字符的清晰度。
S103、将高清车牌图像输入至预训练好的字符识别网络，识别与车牌字符待识别图像相对应的车牌字符，其中图像修复网络与字符识别网络采用联合训练方式进行训练。
具体地，将高清车牌图像输入至预训练好的字符识别网络，识别与车牌字符待识别图像相对应的车牌字符是指车牌字符预测的过程，即，具有一定字符清晰度的图像输入至字符识别网络，进行车牌字符序列的的识别。其中，对于字符识别网络的架构本发明对此不做具体限制，只要字符识别网络与图像识别网络采用联合训练的方式，并且可以通过字符识别网络完成输入的高清车牌图像中的车牌字符识别即可。
具体地，图像修复网络与字符识别网络采用联合训练方式进行训练是指通过图像修复网络的损失函数与字符识别网络的损失函数，确定总损失函数，从而通过总损失函数确定图像修复网络与字符识别网络的训练终止条件。
本发明提供的一种结合图像修复的车牌识别方法，通过将车牌字符待识别图像输入至图像修复网络，输出高清车牌图像，并以高清车牌图像作为字符识别网络的输入，识别车牌字符。在这一过程中，是以高清车牌图像作为字符识别网络的输入，并且由于图像修复网络与字符识别网络采用联合训练的方式，使得图像修复网络与字符识别网络相互监督、同时进行参数更新，在将车牌字符待识别图像输入图像修复网络后，由于网络可以自主学习字符轮廓特征和车牌背景信息特征，这保证了高清车牌图像中字符的清晰度，从而使高清车牌图像输入字符识别网络时，车牌字符均可以被有效识别，提高了车牌字符识别的准确性。
在一种可选实施方式中，为了保证输出的高清车牌图像中，车牌的字符轮廓特征明显，结合图2所示，图像修复网络，包括：特征提取模块201，特征提取模块201包括：动态权重计算分支2011、常规特征提取分支2012与带注意力机制的特征提取分支2013。将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像，包括：
（1）通过动态权重计算分支，分别确定第一动态权重与第二动态权重。
具体地，通过动态权重计算分支，分别确定第一动态权重与第二动态权重是指通过动态权重计算分支2011，得到两组动态权重参数DW1与DW2，即，第一动态权重与第二动态权重，第一动态权重与第二动态权重的具体值在图像修复网络进行训练过程中保持动态计算，即，随着参数更新保持第一动态权重与第二动态权重的数值更新。
具体地，通过动态权重计算分支，分别确定第一动态权重与第二动态权重的过程，结合图2所示，通过MaxPool最大池化、FC（fully connected，全连接）、LeakyRelu激活函数以及Softmax，得到两组动态权重DW1与DW2。
（2）车牌字符待识别图像经带注意力机制的特征提取分支进行计算，再与第一动态权重计算，得到第一特征图。
具体地，车牌字符待识别图像经带注意力机制的特征提取分支进行计算，再与第一动态权重计算，得到第一特征图是指通过带注意力机制的特征提取分支2013进行计算，获得经过注意力机制计算后的语义特征图，并通过第一动态权重与语义特征图，确定带权重的注意力特征图，即第一特征图。
具体地，如图2所示，经过33的卷积计算与1/>1的卷积计算，其中，1/>1的卷积计算结果再通过Sigmoid激活函数计算，确定第一结果，以及经过3/>3的卷积计算，确定第二结果，再将第一结果与第二结果相加，相加之后的特征进行Layer Norm（LayerNormalization, 简称Layer Norm）、3/>3卷积计算，获得经过注意力机制计算后的语义特征图，将语义特征图与第一动态权重相乘，得到第一特征图。
（3）车牌字符待识别图像经常规特征提取分支进行计算，再与第二动态权重计算，得到第二特征图。
具体地，车牌字符待识别图像经常规特征提取分支进行计算，再与第二动态权重计算，得到第二特征图是指通过常规特征提取分支2012，获得常规特征图，并通过第二动态权重与常规特征图，确定带权重的常规特征图，即第二特征图。
具体地，如图2所示，经过Layer Norm、33卷积计算、LeakyRelu激活函数以及1/>1卷积计算，得到常规特征图，将常规特征图与第二动态权重相乘，得到第二特征图。
（4）基于第一特征图与第二特征图，确定与车牌字符待识别图像相对应的图像特征。
具体地，基于第一特征图与第二特征图，确定与车牌字符待识别图像相对应的图像特征是指将带权重的常规特征图和带权重的注意力特征图按通道进行拼接，获得语义特征图的拼接结果，并基于语义特征图拼接结果，确定不同通道的语义特征图融合结果，并将不同通道的语义特征图融合结果作为与车牌字符待识别图像相对应的图像特征。
具体地，将带权重的常规特征图和带权重的注意力特征图按通道进行拼接，确定语义特征的拼接结果是指完成语义特征的拼接。具体地，语义特征的拼接可以是通过使用Cat函数（Concatenate，简称Cat）或其他函数进行拼接，本发明对此不做具体限定。
具体地，基于语义特征图拼接结果，确定不同通道的语义特征图融合结果是指对语义特征拼接结果使用11的卷积核进行卷积计算，实现对不同通道的语义特征进行融合，即确定不同通道的语义特征融合结果。
（5）基于图像特征，重构车牌字符待识别图像，确定高清车牌图像。
具体地，基于图像特征，重构车牌字符待识别图像，确定高清车牌图像是指通过确定的具有高清度的图像特征对较为模糊的车牌字符待识别图像进行重构，确定高清车牌图像的过程。应该理解的是，在图像修复网络训练的过程中，随着模型参数的更新，每次所确定的不同通道的语义特征融合结果也再迭代更新，直至模型停止训练时，即为预训练好的图像修复网络，所确定的不同通道的语义特征融合结果才是与车牌字符待识别图像相对应的图像特征。
通过实施本实施例，通过特征提取模块对车牌字符待识别图像进行特征提取，这一过程中，通过带注意力机制的特征提取分支与常规特征提取分支，以及两组动态权重，分别确定带权重的常规特征图和带权重的注意力特征图，并通过对两种特征图的融合，实现对不同通道的语义特征进行融合，使得输出的高清车牌图像中，车牌字符的轮廓与背景之间具有梯度，即车牌的字符轮廓特征明显，保证了高清车牌图像中字符的清晰度，为后续高清车牌图像输入字符识别网络时，保证车牌字符识别的准确性提供数据基础。
在一种可选实施方式中，图像修复网络的训练过程，包括：
获取第一样本图像与训练图像。
具体地，第一样本图像是指具有高清晰度的图片，训练图像是指模糊的图像。
将训练图像，输入图像修复网络，确定第一生成图像。
基于第一生成图像与第一样本图像，确定第一损失函数。
具体地，第一损失函数是指计算第一生成图像与第一样本图像之间的差值或者是设定的图像网络模型的设定值。计算第一生成图像与第一样本图像之间的差值是指计算第一生成图像与第一样本图像之间的PSNR。设定的图像网络模型的设定值是指预设的epoch。
基于第一损失函数更新图像修复网络参数，直至确定第二生成图像。
具体地，基于第一损失函数更新图像修复网络参数，直至确定第二生成图像是指在第一生成图像与第一样本图像之间的PSNR达到设定的阈值以后，模型停止训练，并基于停止训练的模型输出的图像，作为第二生成图像。
具体地，基于第一损失函数更新图像修复网络参数，直至确定第二生成图像是指图像修复网络达到预设的epoch后，模型停止训练，并基于停止训练的模型输出的图像，作为第二生成图像。
在一种可选实施方式中，字符识别网络的训练过程，包括：
获取第二样本图像，第二样本图像包括标签字符序列。
具体地，第二样本图像是指具有高清晰度的车牌图像，第二样本图像中具有车牌标注标签字符序列，标签字符序列是指车牌图像中字符组成的序列，如苏、A、F、6、3、6、3、7组成的标签字符序列。
将第二生成图像，输入字符识别网络，输出车牌字符序列。
基于车牌字符序列与标签字符序列，确定第二损失函数。
具体地，第二损失函数可以是计算车牌字符序列与标签字符序列之间的MSE（MeanSquare Error，均方误差），记作MSE。
基于第二损失函数更新字符识别网络参数，直至车牌字符序列与标签字符序列一致。
具体地，基于第二损失函数更新字符识别网络参数，直至车牌字符序列与标签字符序列一致是指车牌字符序列与标签字符序列之间的比值大于设定的阈值之后，认为车牌字符序列与标签字符序列一致，模型停止训练，并将停止训练的模型输出的字符序列，作为与车牌字符待识别图像相对应的车牌字符。
在一种可选实施方式中，图像修复网络与字符识别网络采用联合训练方式进行训练，包括：
基于第一损失函数与第二损失函数，确定总损失函数。
具体地，通过如下公式表示总损失函数：
其中，Loss表示总损失函数，loss 1表示第一损失函数，w 1表示第一损失函数的权重，loss 2表示第二损失函数，w 2表示第二损失函数的权重，w 1+w 2=1，且w 1、w 2∈(0,1)。
具体地，loss 1是指上述实施例中的PSNR或epoch，loss 2是指上述实施例中的MSE。
基于总损失函数，确定图像修复网络与字符识别网络的训练终止条件。
具体地，基于总损失函数，确定图像修复网络与字符识别网络的训练终止条件是指只有修复图片具有高清晰度，车牌字符的轮廓清晰，即，车牌的字符轮廓特征明显时，才有利于车牌字符的识别。因此，以总损失函数作为图像修复网络与字符识别网络的总损失函数，即采用联合训练的方式，可以使模型自主学习字符轮廓特征，从而保证了高清车牌图像中字符的清晰度，为后续提高车牌字符识别的准确性提供数据基础。
在一种可选实施方式中，如图3所示，结合图像修复的车牌识别还包括：
获取车牌字符待识别图像。具体地，获取车牌字符待识别图像对应于图3中的图像，具体过程可参见上述实施例中关于步骤S101的相关描述，在此不再赘述。
将车牌字符待识别图像输入至训练好的车牌检测网络，确定车牌图像，车牌图像包括：车牌的角点像素坐标与车牌框的像素坐标。
具体地，将车牌字符待识别图像输入至训练好的车牌检测网络，确定车牌图像的过程对应于图3中由图像至车牌检测网络再到车辆图像的过程。
具体地，将车牌字符待识别图像输入至训练好的车牌检测网络，确定车牌图像是指将确定车牌字符待识别图像中车牌区域四个角的角点像素坐标以及车牌框的角点像素坐标，其中，车牌框的角点像素坐标可以是车牌框的左上角像素坐标、车牌框的右下角像素坐标。其中，对于车牌检测网络的架构本发明对此不做具体限制，只要通过车牌检测网络完成输入的车牌字符待识别图像中车牌的角点像素坐标与车牌框的像素坐标的识别即可。
基于车牌的角点像素坐标与车牌框的像素坐标，对车牌图像进行倾斜校正，确定校正图像。
在一种可选实施方式中，基于车牌的角点像素坐标与车牌框的像素坐标，对车牌图像进行倾斜校正，确定校正图像，包括：
基于车牌的角点像素坐标与车牌框的像素坐标，判断车牌图像是否倾斜。
具体地，基于车牌的角点像素坐标与车牌框的像素坐标，判断车牌图像是否倾斜是指在车牌的焦点像素坐标与车牌框的像素坐标可以重合时，认为车牌图像不存在倾斜。在图像不存在倾斜时，校正图像与车牌字符待识别图像一致。
在车牌图像倾斜的情况下，对车牌图像进行透视变换，确定校正图像。
具体地，对车牌图像进行透视变换可以是通过OpenCV包下的函数cv.warpPerspective()实现。
将校正图像作为车牌字符待识别图像输入至预训练好的图像修复网络。
将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像。具体过程可参见上述实施例中关于步骤S102的相关描述，在此不再赘述。
将高清车牌图像输入至预训练好的字符识别网络，识别与车牌字符待识别图像相对应的车牌字符，其中图像修复网络与字符识别网络采用联合训练方式进行训练。具体过程可参见上述实施例中关于步骤S103的相关描述，在此不再赘述。
通过实施本实施例，通过对于车牌字符待识别图像进行是否倾斜的判断，并在车牌图像倾斜时进行校正，从而使得图像在输入图像识别网络之前统一进行了处理，从而减少了图像识别网络的数据计算量，提高了图像识别网络的数据处理效率，为提高了车牌字符识别的准确性提供数据基础。
在本实施例中还提供了一种结合图像修复的车牌识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种结合图像修复的车牌识别装置，如图4所示，包括：
获取模块301，用于获取车牌字符待识别图像。具体过程可参见上述实施例中关于步骤S101的相关描述，在此不再赘述。
图像修复模块302，用于将车牌字符待识别图像输入至预训练好的图像修复网络，输出与车牌字符待识别图像相对应的高清车牌图像。具体过程可参见上述实施例中关于步骤S102的相关描述，在此不再赘述。
字符识别模块303，用于将高清车牌图像输入至预训练好的字符识别网络，识别与车牌字符待识别图像相对应的车牌字符，其中图像修复网络与字符识别网络采用联合训练方式进行训练。具体过程可参见上述实施例中关于步骤S103的相关描述，在此不再赘述。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的结合图像修复的车牌识别装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图4所示的结合图像修复的车牌识别装置。
请参阅图5，图5是本发明可选实施例提供的一种计算机设备的结构示意图，如图5所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种结合图像修复的车牌识别方法，其特征在于，所述方法包括：
获取车牌字符待识别图像；
将所述车牌字符待识别图像输入至预训练好的图像修复网络，输出与所述车牌字符待识别图像相对应的高清车牌图像；
将所述高清车牌图像输入至预训练好的字符识别网络，识别与所述车牌字符待识别图像相对应的车牌字符，其中所述图像修复网络与所述字符识别网络采用联合训练方式进行训练。
2.根据权利要求1所述的方法，其特征在于，所述图像修复网络，包括：特征提取模块，所述特征提取模块包括：动态权重计算分支、常规特征提取分支、带注意力机制的特征提取分支，
所述将所述车牌字符待识别图像输入至预训练好的图像修复网络，输出与所述车牌字符待识别图像相对应的高清车牌图像，包括：
通过所述动态权重计算分支，分别确定第一动态权重与第二动态权重；
所述车牌字符待识别图像经所述带注意力机制的特征提取分支进行计算，再与所述第一动态权重计算，得到第一特征图；
所述车牌字符待识别图像经所述常规特征提取分支进行计算，再与所述第二动态权重计算，得到第二特征图；
基于所述第一特征图与所述第二特征图，确定与所述车牌字符待识别图像相对应的图像特征；
基于所述图像特征，重构所述车牌字符待识别图像，确定高清车牌图像。
3.根据权利要求1所述的方法，其特征在于，所述图像修复网络的训练过程，包括：
获取第一样本图像与训练图像；
将所述训练图像，输入所述图像修复网络，确定第一生成图像；
基于所述第一生成图像与所述第一样本图像，确定第一损失函数；
基于所述第一损失函数更新所述图像修复网络参数，直至确定第二生成图像。
4.根据权利要求3所述的方法，其特征在于，所述字符识别网络的训练过程，包括：
获取第二样本图像，所述第二样本图像包括标签字符序列；
将所述第二生成图像，输入所述字符识别网络，输出车牌字符序列；
基于所述车牌字符序列与所述标签字符序列，确定第二损失函数；
基于所述第二损失函数更新所述字符识别网络参数，直至所述车牌字符序列与所述标签字符序列一致。
5.根据权利要求4所述的方法，其特征在于，所述图像修复网络与所述字符识别网络采用联合训练方式进行训练，包括：
基于所述第一损失函数与所述第二损失函数，确定总损失函数；
基于所述总损失函数，确定所述图像修复网络与所述字符识别网络的训练终止条件。
6.根据权利要求1至5中任一项所述的方法，其特征在于，在所述获取车牌字符待识别图像之后，所述方法还包括：
将所述车牌字符待识别图像输入至训练好的车牌检测网络，确定车牌图像，所述车牌图像包括：车牌的角点像素坐标与车牌框的像素坐标；
基于所述车牌的角点像素坐标与所述车牌框的像素坐标，对所述车牌图像进行倾斜校正，确定校正图像；
将所述校正图像作为车牌字符待识别图像输入至预训练好的图像修复网络。
7.根据权利要求6所述的方法，其特征在于，所述基于所述车牌的角点像素坐标与所述车牌框的像素坐标，对所述车牌图像进行倾斜校正，确定校正图像，包括：
基于所述车牌的角点像素坐标与所述车牌框的像素坐标，判断所述车牌图像是否倾斜；
在所述车牌图像倾斜的情况下，对所述车牌图像进行透视变换，确定校正图像。
8.一种结合图像修复的车牌识别装置，其特征在于，所述装置包括：
获取模块，用于获取车牌字符待识别图像；
图像修复模块，用于将所述车牌字符待识别图像输入至预训练好的图像修复网络，输出与所述车牌字符待识别图像相对应的高清车牌图像；
字符识别模块，用于将所述高清车牌图像输入至预训练好的字符识别网络，识别与所述车牌字符待识别图像相对应的车牌字符，其中所述图像修复网络与所述字符识别网络采用联合训练方式进行训练。
9.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的结合图像修复的车牌识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的结合图像修复的车牌识别方法。
CN202311650694.9A 2023-12-05 2023-12-05 一种结合图像修复的车牌识别方法、装置、设备、介质 Pending CN117710954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311650694.9A CN117710954A (zh) 2023-12-05 2023-12-05 一种结合图像修复的车牌识别方法、装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311650694.9A CN117710954A (zh) 2023-12-05 2023-12-05 一种结合图像修复的车牌识别方法、装置、设备、介质

Publications (1)

Publication Number Publication Date
CN117710954A true CN117710954A (zh) 2024-03-15

Family

ID=90154463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311650694.9A Pending CN117710954A (zh) 2023-12-05 2023-12-05 一种结合图像修复的车牌识别方法、装置、设备、介质

Country Status (1)

Country Link
CN (1) CN117710954A (zh)

Similar Documents

Publication Publication Date Title
JP7284352B2 (ja) リアルタイムオブジェクト検出及び語意分割の同時行いシステム及び方法及び非一時的なコンピュータ可読媒体
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN112348921B (zh) 一种基于视觉语义点云的建图方法及系统
CN112132156A (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN113554643B (zh) 一种目标检测方法、装置、电子设备及存储介质
US20240029303A1 (en) Three-dimensional target detection method and apparatus
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN111833360A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN115965934A (zh) 一种停车位检测方法及装置
CN115049731A (zh) 一种基于双目摄像头的视觉建图和定位方法
CN114529890A (zh) 状态检测方法、装置、电子设备及存储介质
CN112668596B (zh) 三维物体识别方法及装置、识别模型训练方法及装置
CN116895008A (zh) 裂缝识别模型确定和裂缝识别方法、装置、设备及介质
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN116580230A (zh) 一种目标检测方法及一种分类模型的训练方法
CN116977195A (zh) 复原模型的调整方法、装置、设备及存储介质
CN117710954A (zh) 一种结合图像修复的车牌识别方法、装置、设备、介质
WO2022127576A1 (zh) 站点模型更新方法及系统
CN113642353B (zh) 一种人脸检测模型的训练方法、存储介质及终端设备
CN112966622A (zh) 一种停车场语义地图完善方法、装置、设备和介质
CN117184105B (zh) 一种基于多模态数据融合的转向角速度预测方法及装置
CN115063770B (zh) 车道线检测方法、模型训练方法、装置、设备及存储介质
CN117333626B (zh) 图像采样数据获取方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination