CN112950621A - 图像处理方法、装置、设备及介质 - Google Patents
图像处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112950621A CN112950621A CN202110331897.6A CN202110331897A CN112950621A CN 112950621 A CN112950621 A CN 112950621A CN 202110331897 A CN202110331897 A CN 202110331897A CN 112950621 A CN112950621 A CN 112950621A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinates
- license plate
- row
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 abstract description 20
- 239000002356 single layer Substances 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开一种图像处理方法、装置、设备及介质，方法包括：获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；当基于中心点识别结果确定目标图像属于车牌图像时，根据参考点的坐标计算与目标图像的图像类型相对应的关键点的坐标；利用关键点的坐标对目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。本申请可以实现单层车牌和双层车牌行数和角度的统一，能够解决在双层车牌存在遮挡情况下进行车牌分割导致的分割错误、车牌混乱问题。
Description
技术领域
本发明属于智能交通领域，尤其涉及一种图像处理方法、装置、设备及介质。
背景技术
在智慧城市建设过程中，车牌识别是一项重要的课题，车牌识别准确率显得尤为重要，为了提高车牌识别准确率，车牌识别过程中，输入的图像应该尽量保持一致。然而，目前很多车牌识别输入对象往往包含大角度图像、单双行车牌、车牌背景复杂等等，加大了识别难度。在不增加车牌识别模型复杂度的情况下，现有技术对车牌处理进行了一些优化，但是也存在一些缺点，例如：单双行图像类型判断和车牌关键点检测串行，会增加时间开销；另外，利用车牌四个关键点对单行和双行车牌进行定位矫正后，按照国家标准车牌对双行车牌分割时，当车牌上下存在遮挡的情况时分割效果不好，影响后续车牌识别效果。
发明内容
为了解决现有技术的问题，本发明提出一种图像处理方法、装置、设备及介质，本发明可以实现单层车牌和双层车牌行数和角度的统一，能够解决在双层车牌存在遮挡情况下进行车牌分割导致的分割错误、车牌混乱问题，提高了后续车牌识别准确率和鲁棒性。
本发明实施例提供的具体技术方案如下：
第一方面公开了一种图像处理方法，所述方法包括：
获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；
当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；
利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；
其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。
在一些实施例中，所述方法还包括：
利用已标注的车牌图像生成的样本集对一基础模型进行训练，生成所述目标模型；其中，所述样本集的标签至少包括参考点标签；
当图像类型为单行车牌时，所述参考点标签包括车牌图像的四个关键点标签和四个中心点标签；
当图像类型为双行车牌时，所述参考点标签包括车牌图像上一行四个关键点标签和下一行四个关键点标签；
所述关键点为车牌图像的角点。
在一些实施例中，若图像类型为单行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：
在所有参考点的坐标中提取前四个参考点的坐标；
将提取的前四个参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的四个关键点的坐标。
在一些实施例中，若图像类型为双行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：
在所有参考点的坐标中提取后四个参考点的坐标；
将后四个参考点的坐标与所述图像类型识别结果中的双行车牌预测概率相乘得到新的后四个参考点的坐标；
将所有参考点的坐标中前四个参考点的坐标和新的后四个参考点的坐标整合；
将整合后的参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标。
在一些实施例中，利用所述关键点的坐标对图像类型为双行车牌的目标图像进行分割，得到单行图像具体包括：
基于目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标，确定分割线；
沿着确定的分割线将目标图像划分成上层图像和下层图像；
将上层图像和下层图像进行拼接，得到单行图像。
在一些实施例中，在对目标图像进行定位后还包括：
确定所述目标图像的倾斜度并进行判断；
对倾斜度满足阈值的目标图像进行矫正。
在一些实施例中，获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标包括：
将所述目标图像输入至所述目标模型的第一子网络，得到图像特征以及由第一子网络的一输出分支输出的图像类型识别结果；
利用所述图像类型识别结果中的双行车牌预测概率对图像特征进行处理以得到新的图像特征；
将新的图像特征传播至所述目标模型的第二子网络，得到由第二子网络的第一输出分支输出的中心点识别结果和第二输出分支输出的参考点的坐标。
第二方面公开一种图像处理装置，所述装置包括：
获取模块，用于获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；
计算模块，用于当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；
处理模块，用于利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；
其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。
第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面，提供一种计算机可读存储介质，其上存储有可读的指令，当利用计算机执行所述指令时执行如第一方面所述的方法。
本发明实施例具有如下有益效果：
1、本发明将图像输入至预先训练好的模型，得到中心点识别结果、图像类型识别结果和参考点的坐标，当判断图像为车牌图像时，可根据参考点的坐标来计算对应类型的图像的关键点从而利用关键点实现图像的定位、以及对图像类型为双行车牌的图像进行分割。相比于现有技术中利用四个关键点对单行和双行车牌进行定位、按照车牌尺寸对双行车牌进行分割的方法，解决了在车牌存在遮挡情况下分割效果不好的问题，同时，本发明还能同时实现单层车牌和双层车牌行数和角度的统一；
2、本发明的目标模型具有三个输出分支，集合了车牌中心点预测、图像类型预测和车牌参考点预测的功能，在训练模型时，考虑到需要同时实现单行和双行车牌参考点预测这一功能，特别将单行车牌的参考点标签扩展到了八个，实现与双行车牌相统一；
3、本发明利用目标模型预测得到的数据进行图像处理时，考虑训练模型时单行车牌和双行车牌参考点标签设置的独特性，单行车牌的参考点只截取前四个来计算关键点坐标，而双行车牌的后四个参考点需要乘以图像类型的概率后再计算关键点坐标，如此便能保证单行车牌和双行车牌关键点坐标的准确率；
4、本发明在利用关键点的坐标对车牌图像进行定位后，还可以对车牌图像的倾斜度进行判断，从而对倾斜度满足阈值的车牌图像进行矫正，在不影响车牌图像识别的结果基础上，可以减小计算压力，提高处理速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开实施例的目标模型训练方法的示例性流程图；
图2是根据本公开实施例的目标模型的结构示意图；
图3是根据本公开实施例的图像处理方法的示例性流程图；
图4是根据本公开实施例的图像处理装置的结构示意图；
图5是适于用来实现本申请的一些实施例的计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如背景技术所述，现有技术中在进行车牌识别时，输入的车牌图像往往包含大角度图像、单双行车牌、车牌背景复杂等等，加大了车牌识别难度。为了准确识别车牌，在识别前通常需要对车牌图像进行预处理。而现有的处理方式中，比较常用的是采用四个关键点实现单行和双行车牌的图像的定位，进而进行倾斜矫正，在倾斜矫正完成之后，为了提高双行车牌后续的识别精度，利用车牌尺寸这一国标数据来确定分割线以实现车牌图像的分割，从而可以将双行车牌分割成单行车牌。但这种分割方式有一个缺陷：在双行车牌上下部位存在遮挡的情况下，无法精准定位其分割线，导致双行车牌分割错误，进而影响车牌识别效果。
基于此，本申请申请人创造性想到对单行和双行车牌采用不同的关键点进行定位以实现矫正，并且对于双行车牌，利用关键点实现分割的想法。具体的：对于单行车牌，采用四个关键点进行定位；对于双行车牌，采用上行四个关键点和下行四个关键点实现定位及分割。
为了解决上述不同类型车牌的关键点获取的问题，申请人构建了一目标模型，利用该目标模型的输出数据来计算单行车牌的四个关键点、双行车牌的八个关键点。具体的，该模型可以实现不同类型的车牌的参考点坐标的预测、图像类型判断以及车牌中心点预测，即，一个模型可以同时实现多种功能，因此节省了时间，提高了处理效率。
图1示出了根据本公开实施例的目标模型训练方法的示例性流程图，具体包括如下步骤：
101、获取由已标注的车牌图像形成的样本集。
本实施例中，为了使得用于训练的样本集更丰富，车牌图像可以包括国内或者国际上现行的多种车牌，如：各种颜色(蓝色、黄色、绿色、白色、黑色、黄绿色等)的单行、双行车牌。应该理解，本实施例的目标模型训练方法并不局限于这些图像类型，本领域的技术人员基于本公开，可以容易地将本实施例的目标模型训练方法应用于其余类型的车牌。
由于模型可以实现图像类型判断、中心点预测以及不同类型的车牌的参考点坐标的预测，因此，相应的，需要对车牌图像进行标注，进而才能完成预测、训练等过程。具体包括：对车牌图像的类型进行标注(即设置图像类型标签)、对车牌图像的中心点进行标注(即设置中心点标签)以及对不同类型的车牌图像的参考点进行标注(即设置参考点标签)。为了在同一模型中同时实现单行车牌和双行车牌的参考点预测，并且，由于单行车牌和双行车牌的关键点数量不同(单行车牌的关键点为N个，而双行车牌的关键点为2N个)，因此，在模型训练时，特别将单行车牌的参考点标签扩展到了2N个，实现与双行车牌相统一。具体地，在一个实施方式中，单行车牌的关键点为4个，双行车牌的关键点为8个。
上述对车牌图像进行标注时，通常可以选用一些常用的标注工具，如：Labellmg、ImageLable、LC-Finder等进行人工标注；除了人工标注外，也可以通过深度学习算法实现自动标注。
102、将样本集输入至一基础模型的第一子网络中，得到图像特征以及由第一子网络的一输出分支输出的图像类型识别结果。
其中，图像类型识别结果包括单行车牌预测概率和双行车牌预测概率，基于单行车牌预测概率和双行车牌预测概率可以确定图像类型。
103、利用图像类型识别结果中的双行车牌预测概率对图像特征进行处理以得到新的图像特征。
具体的，上述步骤103具体包括：
在所有图像特征中提取预设数量的图像特征；
将提取的图像特征与双行车牌预测概率相乘得到处理后的图像特征；
将未提取的图像特征与处理后的图像特征进行整合，得到新的图像特征。
具体的，由于单行车牌和双行车牌的关键点数量不一致，因此第一子网络提取的图像特征对单行车牌存在冗余。若当前预测得到的通道共有K个，那么可以将前K/2个通道值保持不变(即，前K/2图像特征用来学习单行车牌的图像特征以及双行车牌的上层图像特征)，后K/2个通道值乘以双行车牌预测概率(后K/2图像特征用来学习双行车牌下层图像特征)。
104、将新的图像特征传播至第二子网络，得到由第二子网络的第一输出分支输出的中心点识别结果和第二输出分支输出的参考点的坐标。
本实施例中，中心点识别结果代表了识别得到的所有候选中心点。参考点的坐标根据图像类型的不同有所差别，对于单行车牌，其对应的参考点的坐标包括预测得到的四个不同的关键点相对于中心点的偏移量以及四个相同的中心点相对于中心点的偏移量，对于双行车牌，其对应的参考点的坐标包括预测得到的上一行四个关键点相对于中心点的偏移量以及下一行四个关键点相对于中心点的偏移量。通过预测得到的上述信息，便可以进一步实现单行车牌和双行车牌的定位以及双行车牌的分割。
在本实施例的一些可选的实现方式中，上述基础模型可以采用卷积神经网络模型，如图2所示，基础模型包括两个部分：分别为模型前部分和模型后部分(分别对应于第一子网络和第二子网络)。其中，模型前部分与模型后部分连接，并且模型前部分具有一输出分支(即图2中的单双行分支(1x2))，该分支输出图像类型识别结果(包括单行车牌预测概率和双行车牌预测概率)；模型后部分具有两个输出分支，其中一分支用于输出中心点识别结果(即图2中的中心点置信度分支(1xHxW))，即用于后续计算中心点置信度，另一分支用于输出参考点的坐标(即图2中的关键点偏移量分支(16xHxW))。如此，便设计了一个具有三个输出分支的基础模型，实现多种数据的预测。
105、根据图像类型识别结果与预设的图像类型标签之间的差异确定的损失值、基于中心点识别结果确定的中心点的坐标与预设的中心点标签之间的差异确定的损失值、参考点的坐标与预设的对应类型的参考点标签之间的差异确定的损失值更新基础模型，得到目标模型。
本实施例中，中心点标签可以定义为车牌最小外接矩形的中心，表示为：([车牌最左端+车牌最右端]/2，[车牌最上端+车牌最下端])。
在本实施例的一些可选的实现方式中，当图像类型为单行车牌时，参考点标签具体可以包括车牌图像的四个关键点标签和四个中心点标签；当图像类型为双行车牌时，参考点标签具体可以包括车牌图像上一行四个关键点标签和下一行四个关键点标签；其中，关键点为车牌图像的角点，关键点标签为关键点相对于中心点的偏移量。
在基础模型构建完成之后，需要进行不断训练才能使得模型的预测精度越来越高。具体的，可以针对每一个分支选择对应的损失函数，通过损失函数计算损失值，进而对目标模型进行训练。例如，参考图2构建的三个输出分支的模型，对于中心点置信度分支，选择FocalLoss，对于关键点偏移量分支，选择SmoothL1Loss，对于单双行分支，选择交叉熵损失函数。利用损失函数计算得到的损失值可以实现目标模型参数的优化，提高目标模型的预测精度。应该理解的是，损失函数的选择并不唯一，本领域的技术人员可以结合实际需求选择合适的损失函数。
在本实施例的一些可选的实现方式中，为了进一步提高车牌图像的预测精度、提高车牌图像识别率，在生成样本集之前，还可以对车牌图像进行预处理，得到规范化的车牌图像。
具体的，对车牌图像进行预处理可以包括：扩充车牌图像的像素(如扩充20个像素，防止车牌图像检测结果缺失部分区域)、将车牌图像调整至预设大小、对车牌图像进行归一化处理等。上述处理手段均属于本领域广泛研究和应用的公知技术，在此不再赘述。
在目标模型构建完成之后，便可利用目标模型的输出数据进行关键点计算，从而实现车牌图像的矫正。
参考图3，示出了根据本公开实施例的图像处理方法的示例性流程图，具体包括如下步骤：
301、获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标。
需要说明的是，目标图像可以车牌图像或者其他图像，其中，当目标图像是车牌图像时，可以是实时拍摄的图像，也可以为预先存储的图像。本实施例不受车牌图像的来源及获取方式的限制。此外，在将目标图像输入至预先训练好的目标模型之前，还可以对目标图像进行预处理，使得目标图像更加规范化。具体预处理的过程与目标模型训练过程中车牌图像预处理过程相同，因此不再过多赘述。
302、当基于中心点识别结果确定目标图像属于车牌图像时，根据参考点的坐标计算与目标图像的图像类型相对应的关键点的坐标。
本实施例中，可以根据目标中心点识别结果来判断目标图像是否为车牌图像。具体的：
在所有的中心点识别结果中确定最大值，所述最大值携带有坐标信息；
利用Sigmoid函数对最大值进行计算，得到中心点置信度；
判断中心点置信度是否满足一预设条件，若满足，则认为目标图像是车牌图像。
示例性的，预设条件可以为95％的置信区间，其代表了任何一个样本落入这个区间的概率是95％，那么，此时便可以认为该目标图像是车牌图像，进而可以根据目标图像类型识别结果确定图像类型。具体的，图像类型识别结果包括单行车牌预测概率和双行车牌预测概率，可以根据概率值大小来判断图像类型是单行车牌还是双行车牌。此外，相对应的，当中心点置信度不满足预设条件时，便可以认为该目标图像不是车牌图像。
303、利用关键点的坐标对目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。
在本实施例的一些可选的实现方式中，若图像类型为单行车牌，则上述步骤303具体可以包括：
在所有参考点的坐标中提取前四个参考点的坐标；
将提取的前四个参考点的坐标与基于中心点识别结果确定的中心点的坐标相加，得到目标图像的四个关键点的坐标；
利用四个关键点的坐标对目标图像进行定位。
示例性的，前四个目标参考点的坐标表示为(x11，y11，x12，y12，x13，y13，x14，y14)，若基于中心点识别结果确定的中心点的坐标为(x，y)，则目标图像的四个目标关键点的坐标表示为(x11+x，y11+y，x12+x，y12+y，x13+x，y13+y，x14+x，y14+y)。
在本实施例的一些可选的实现方式中，若图像类型为双行车牌，则上述步骤303具体可以包括：
在所有参考点的坐标中提取后四个参考点的坐标；
将后四个参考点的坐标与图像类型识别结果中的双行车牌预测概率相乘得到新的后四个参考点的坐标；
将所有参考点的坐标中前四个参考点的坐标和新的后四个参考点的坐标整合；
将整合后的参考点的坐标与基于中心点识别结果确定的中心点的坐标相加，得到目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标。
示例性的，上述参考点的坐标表示为(x21，y21，x22，y22，x23，y23，x24，y24，x25，y25，x26，y26，x27，y27，x28，y28)，若双行车牌预测概率为a，那么经过上述相乘、整合这两个步骤之后，参考点的坐标表示为(x21，y21，x22，y22，x23，y23，x24，y24，a*x25，a*y25，a*x26，a*y26，a*x27，a*y27，a*x28，a*y28)，若基于中心点识别结果确定的中心点的坐标为(x，y)，则目标图像的八个目标关键点的坐标表示为(x21+x，y21+y，x22+x，y22+y，x23+x，y23+y，x24+x，y24+y，a*x25+x，a*y25+y，a*x26+x，a*y26+y，a*x27+x，a*y27+y，a*x28+x，a*y28+y)。
其中，上一行四个关键点的坐标为(x21+x，y21+y，x22+x，y22+y，x23+x，y23+y，x24+x，y24+y)，下一行的四个关键点的坐标为(a*x25+x，a*y25+y，a*x26+x，a*y26+y，a*x27+x，a*y27+y，a*x28+x，a*y28+y)。
在本实施例中，利用预测得到的数据进行图像处理时，考虑训练模型时单行车牌和双行车牌参考点标签设置的独特性，单行车牌的参考点只截取前四个来计算关键点坐标，而双行车牌的后四个参考点需要乘以双行车牌预测概率后再计算关键点坐标，如此便能保证单行车牌和双行车牌关键点坐标的准确率。
此外，本实施例中，上述利用八个关键点的坐标对图像类型为双行车牌的目标图像进行分割，得到单行图像具体包括如下步骤：
基于目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标，确定分割线；
沿着确定的分割线将目标图像划分成上层图像和下层图像；
将上层图像和下层图像进行拼接，得到单行图像。
此外，在得到关键点的坐标后，由于预测得到的特征图像与原图大小并不一致(通常特征图像是原图的几分之一大小)，那么可以将关键点坐的标映射至对应的目标图像的原图上。
具体的，特征图与原图之间的映射关系为：横坐标＝(x/W1×W)，纵坐标＝(y/H1×H)。其中，(x，y)表示为计算得到的关键点的坐标，(W1，H1)为进行图像预测过程中预设的宽度值和高度值，如可以设置为(32，16)，(W，H)为原图的宽度值和高度值。
在进行映射变换之后，后续图像识别会更准确。
在本实施例的一些可选的实现方式中，在对目标图像进行定位后还可以包括对其进行矫正，具体包括：
确定目标图像的倾斜度并进行判断；
对倾斜度满足阈值的目标图像进行矫正。
上述利用关键点坐标对目标图像进行矫正时，可以选择透视变换或仿射变化来实现，由于这两种算法较为成熟，因此不再过多赘述。
本申请通过对车牌图像的倾斜度进行判断，从而对倾斜度满足阈值的车牌图像进行矫正，在不影响车牌图像识别的结果基础上，可以减小计算压力，提高处理速度。
本申请的上述实施例提供的方法，将图像输入至预先训练好的模型，得到三种数据，利用得到的数据计算图像的关键点从而进行定位以及对图像类型为双行车牌的图像进行分割，解决了在车牌存在遮挡情况下分割效果不好的问题，同时，本申请还能同时实现单层车牌和双层车牌行数和角度的统一。
继续参见图4，作为对上述各图所示方法的实现，提供了一种图像处理装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于各种计算机设备中。
如图4所示，本实施例的图像处理装置包括：
获取模块401，用于获取模块，获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；
计算模块402，用于当基于中心点识别结果确定目标图像属于车牌图像时，根据参考点的坐标计算与目标图像的图像类型相对应的关键点的坐标；
处理模块403，用于利用关键点的坐标对目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；
其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。
在本实施例的一些可选的实现方式中，还包括模型构建模块，具体用于：
利用已标注的车牌图像生成的样本集对一基础模型进行训练，生成目标模型；其中，样本集的标签至少包括参考点标签；
当图像类型为单行车牌时，参考点标签包括车牌图像的四个关键点标签和四个中心点标签；
当图像类型为双行车牌时，参考点标签包括车牌图像上一行四个关键点标签和下一行四个关键点标签；
关键点为车牌图像的角点。
在本实施例的一些可选的实现方式中，计算模块402具体用于：
若图像类型为单行车牌，在所有参考点的坐标中提取前四个参考点的坐标；
将提取的前四个参考点的坐标与基于中心点识别结果确定的中心点的坐标相加，得到目标图像的四个关键点的坐标。
在本实施例的一些可选的实现方式中，计算模块402具体还用于：
若图像类型为双行车牌，在所有参考点的坐标中提取后四个参考点的坐标；
将后四个参考点的坐标与图像类型识别结果中的双行车牌预测概率相乘得到新的后四个参考点的坐标；
将所有参考点的坐标中前四个参考点的坐标和新的后四个参考点的坐标整合；
将整合后的参考点的坐标与基于中心点识别结果确定的中心点的坐标相加，得到目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标。
在本实施例的一些可选的实现方式中，处理模块403具体还用于：
基于目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标，确定分割线；
沿着确定的分割线将目标图像划分成上层图像和下层图像；
将上层图像和下层图像进行拼接，得到单行图像。
在本实施例的一些可选的实现方式中，装置还包括矫正模块404，具体用于：
在对目标图像进行定位后，确定目标图像的倾斜度并进行判断；
对倾斜度满足阈值的目标图像进行矫正。
在本实施例的一些可选的实现方式中，获取模块401具体用于：
将目标图像输入至目标模型的第一子网络，得到图像特征以及由第一子网络的一输出分支输出的图像类型识别结果；
利用图像类型识别结果中的双行车牌预测概率对图像特征进行处理以得到新的图像特征；
将新的图像特征传播至目标模型的第二子网络，得到由第二子网络的第一输出分支输出的中心点识别结果和第二输出分支输出的参考点的坐标。
下面参考图5，其示出了适于用来实现本申请实施例的计算机设备的结构示意图。图5示出的计算机设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
其中，图5所示的计算机设备，包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
根据本公开的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的一种图像处理方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；
当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；
利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；
其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用已标注的车牌图像生成的样本集对一基础模型进行训练，生成所述目标模型；其中，所述样本集的标签至少包括参考点标签；
当图像类型为单行车牌时，所述参考点标签包括车牌图像的四个关键点标签和四个中心点标签；
当图像类型为双行车牌时，所述参考点标签包括车牌图像上一行四个关键点标签和下一行四个关键点标签；
所述关键点为车牌图像的角点。
3.根据权利要求2所述的方法，其特征在于，若图像类型为单行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：
在所有参考点的坐标中提取前四个参考点的坐标；
将提取的前四个参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的四个关键点的坐标。
4.根据权利要求2所述的方法，其特征在于，若图像类型为双行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：
在所有参考点的坐标中提取后四个参考点的坐标；
将后四个参考点的坐标与所述图像类型识别结果中的双行车牌预测概率相乘得到新的后四个参考点的坐标；
将所有参考点的坐标中前四个参考点的坐标和新的后四个参考点的坐标整合；
将整合后的参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标。
5.根据权利要求4所述的方法，其特征在于，利用所述关键点的坐标对图像类型为双行车牌的目标图像进行分割，得到单行图像具体包括：
基于目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标，确定分割线；
沿着确定的分割线将目标图像划分成上层图像和下层图像；
将上层图像和下层图像进行拼接，得到单行图像。
6.根据权利要求1所述的方法，其特征在于，在对目标图像进行定位后还包括：
确定所述目标图像的倾斜度并进行判断；
对倾斜度满足阈值的目标图像进行矫正。
7.根据权利要求1～6任意一项所述的方法，其特征在于，获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标包括：
将所述目标图像输入至所述目标模型的第一子网络，得到图像特征以及由第一子网络的一输出分支输出的图像类型识别结果；
利用所述图像类型识别结果中的双行车牌预测概率对图像特征进行处理以得到新的图像特征；
将新的图像特征传播至所述目标模型的第二子网络，得到由第二子网络的第一输出分支输出的中心点识别结果和第二输出分支输出的参考点的坐标。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；
计算模块，用于当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；
处理模块，用于利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；
其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：
所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储由计算机可读的指令，当利用计算机执行所述指令时执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110331897.6A CN112950621B (zh) | 2021-03-29 | 2021-03-29 | 图像处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110331897.6A CN112950621B (zh) | 2021-03-29 | 2021-03-29 | 图像处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950621A true CN112950621A (zh) | 2021-06-11 |
| CN112950621B CN112950621B (zh) | 2023-06-23 |
Family
ID=76227066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110331897.6A Active CN112950621B (zh) | 2021-03-29 | 2021-03-29 | 图像处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950621B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569844A (zh) * | 2021-06-29 | 2021-10-29 | 深圳市捷顺科技实业股份有限公司 | 一种车牌检测的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070292029A1 (en) * | 2006-06-16 | 2007-12-20 | Shen-Zheng Wang | Cascade plate recognition system |
| CN110163199A (zh) * | 2018-09-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 车牌识别方法、车牌识别装置、车牌识别设备及介质 |
| CN112150580A (zh) * | 2019-06-28 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、智能终端及存储介质 |
-
2021
- 2021-03-29 CN CN202110331897.6A patent/CN112950621B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070292029A1 (en) * | 2006-06-16 | 2007-12-20 | Shen-Zheng Wang | Cascade plate recognition system |
| CN110163199A (zh) * | 2018-09-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 车牌识别方法、车牌识别装置、车牌识别设备及介质 |
| CN112150580A (zh) * | 2019-06-28 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、智能终端及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569844A (zh) * | 2021-06-29 | 2021-10-29 | 深圳市捷顺科技实业股份有限公司 | 一种车牌检测的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950621B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| CN108229509B (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| CN108701234A (zh) | 车牌识别方法及云系统 | |
| CN112560684B (zh) | 车道线检测方法、装置、电子设备、存储介质以及车辆 | |
| CN106373128B (zh) | 一种嘴唇精确定位的方法和系统 | |
| CN108197567B (zh) | 用于图像处理的方法、装置和计算机可读介质 | |
| US11042986B2 (en) | Method for thinning and connection in linear object extraction from an image | |
| CN105912977B (zh) | 基于点聚类的车道线检测方法 | |
| CN107886501A (zh) | 视觉定位方法及终端设备 | |
| CN108090486A (zh) | 一种台球比赛中的图像处理方法及装置 | |
| CN111310800A (zh) | 图像分类模型生成方法、装置、计算机设备和存储介质 | |
| CN111179276B (zh) | 一种图像处理方法和装置 | |
| CN109920018A (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
| CN111932552B (zh) | 一种主动脉建模的方法及装置 | |
| CN111461036A (zh) | 一种利用背景建模增强数据的实时行人检测方法 | |
| CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN112950621B (zh) | 图像处理方法、装置、设备及介质 | |
| CN110211200B (zh) | 一种基于神经网络技术的牙弓线生成方法及其系统 | |
| CN108764343B (zh) | 一种跟踪算法中的跟踪目标框的定位方法 | |
| CN110288608B (zh) | 作物行中心线提取方法和装置 | |
| CN112330699B (zh) | 一种基于重叠区域对齐的三维点云分割方法 | |
| US20230386023A1 (en) | Method for detecting medical images, electronic device, and storage medium | |
| CN112487853A (zh) | 一种字迹比对方法、系统、电子设备及存储介质 | |
| CN111815689B (zh) | 一种半自动化标注方法、设备、介质及装置 | |
| CN115310505A (zh) | 一种用于互感器二次回路接线端子的自动识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |