CN113313110B - 一种车牌类型识别模型构建及车牌类型识别方法 - Google Patents
一种车牌类型识别模型构建及车牌类型识别方法 Download PDFInfo
- Publication number
- CN113313110B CN113313110B CN202110575676.3A CN202110575676A CN113313110B CN 113313110 B CN113313110 B CN 113313110B CN 202110575676 A CN202110575676 A CN 202110575676A CN 113313110 B CN113313110 B CN 113313110B
- Authority
- CN
- China
- Prior art keywords
- license plate
- plate type
- type recognition
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000010276 construction Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 131
- 238000005070 sampling Methods 0.000 claims abstract description 38
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 63
- 230000015654 memory Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 24
- 241000083879 Polyommatus icarus Species 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种车牌类型识别模型构建及车牌类型识别方法，包括：获取多个不同种类的车牌图像作为训练样本；对训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练得到第一车牌类型识别模型；确定所述训练样本中每一种车牌图像的数量；对数量满足第一预设数量条件的车牌图像进行过采样处理；对数量满足第二预设数量条件的车牌图像进行欠采样处理；利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型得到第二车牌类型识别模型；将第一车牌类型识别模型和第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络。
Description
技术领域
本发明涉及车辆识别技术领域，具体涉及一种车牌类型识别模型构建及车牌类型识别方法。
背景技术
在智能交通应用场景中，一般通过对采集到的车辆图像中车牌号码的识别来确定场景中车辆的身份，但当采集到的车辆图像的分辨率较低或车牌号码局部被遮挡，可能导致车牌号码识别错误，甚至无法识别出车牌号码，当遇到突发交通情况时，影响对场景中车辆身份的确认。由于机动车车牌分为多个类型，如可以包括普通蓝牌、单层黄牌、教练车牌、警用车牌、新能源白绿牌、新能源黄绿牌、挂车牌、双层黄牌、临行车牌等类型，通过识别车牌类型属性可以进一步缩小车辆查询范围。
在进行训练样本采样以用于训练机器学习模型的过程中，由于目前道路上行驶的车辆中普通蓝牌和新能源车牌占据较大比例，而警用车、挂车牌、双层黄牌、临行车牌等类型的车牌较少，因此造成采集到的训练样本存在不均衡的问题，继而导致训练得到的机器学习模型对车牌类型的识别结果的准确性。
发明内容
因此，本发明要解决的技术问题在于克服现有对车牌类型的识别结果准确性差的缺陷，从而提供一种车牌类型识别模型构建及车牌类型识别方法。
根据第一方面，本发明实施例公开了一种车牌类型识别模型构建方法，包括：获取多个不同种类的车牌图像作为训练样本；对所述训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练，得到第一车牌类型识别模型；确定所述训练样本中每一种车牌图像的数量；对数量满足第一预设数量条件的车牌图像进行过采样处理；对数量满足第二预设数量条件的车牌图像进行欠采样处理，其中所述第二预设数量条件对应的数量值大于所述第一预设数量条件对应的数量值；利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型，得到第二车牌类型识别模型；将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络。
可选地，所述获取多个不同种类的车牌图像作为训练样本，包括：获取每一种车辆在多个场景下、多个时间段内不同角度的车辆图像，每一个车辆图像包含的车牌图像满足预设清晰度和完整度要求；利用预设关键点定位方法定位得到每一个车辆图像中的车牌图像；根据定位得到的车牌图像的关键点计算车牌的水平倾斜角度与垂直倾斜角度；对定位得到的每一个车辆图像中的车牌图像进行抠图处理，将得到的车牌图像按照所述水平倾斜角度与垂直倾斜角度进行旋转处理；对旋转处理后得到的车牌图像进行标签化处理得到所述训练样本。
可选地，将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络，包括：获取所述第一车牌类型识别模型中每一个目标层的第一权重以及所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；利用预设调节参数对所述第一权重和所述第二权重进行预处理，得到共享权重；利用所述共享权重替换所述第一车牌类型识别模型中所述目标层的第一权重，利用所述共享权重替换所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；将权重替换处理后的第一车牌识别模型和权重替换处理后的第二车牌类型识别模型进行融合处理，得到用于进行车牌类型识别的骨干网络。
可选地，所述利用预设调节参数对所述第一权重和所述第二权重进行预处理，得到共享权重，包括：按照下式进行预处理：
ω＝λω1+(1-λ)ω2
式中：ω为共享权重；ω1为第一权重；ω2为第二权重；λ为调节参数。
可选地，利用训练样本训练得到第一车牌类型识别模型或利用训练样本训练得到第二车牌类型识别模型，包括：对训练样本中的车牌图像进行图像归一化处理；利用归一化处理后得到的车牌图像输入到模型进行训练，直至损失值满足预设条件。
根据第二方面，本发明实施例公开了一种车牌类型识别方法，包括：获取待识别车牌图像；
将所述待识别车牌图像输入到根据第一方面或第一方面任一可选实施方式所述的车牌类型识别模型构建方法构建得到的用于进行车牌类型识别的骨干网络；根据所述骨干网络的输出结果得到所述待识别车牌图像的车牌类型。
根据第三方面，本发明实施例还公开了一种车牌类型识别模型构建装置，包括：样本获取模块，用于获取多个不同种类的车牌图像作为训练样本；第一训练模块，用于对所述训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练，得到第一车牌类型识别模型；确定模块，用于确定所述训练样本中每一种车牌图像的数量；第一图像处理模块，用于对数量满足第一预设数量条件的车牌图像进行过采样处理；第二图像处理模块，用于对数量满足第二预设数量条件的车牌图像进行欠采样处理，其中所述第二预设数量条件对应的数量值大于所述第一预设数量条件对应的数量值；第二训练模块，用于利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型，得到第二车牌类型识别模型；融合模块，用于将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络。
根据第四方面，本发明实施例还公开了一种车牌类型识别装置，包括：图像获取模块，用于获取待识别车牌图像；输入模块，用于将所述待识别车牌图像输入到根据第一方面或第一方面任一可选实施方式所述的车牌类型识别模型构建方法构建得到的用于进行车牌类型识别的骨干网络；识别模块，用于根据所述骨干网络的输出结果得到所述待识别车牌图像的车牌类型。
根据第五方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的车牌类型识别模型构建方法的步骤，或者第二方面所述的车牌类型识别方法的步骤。
根据第六方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的车牌类型识别模型构建方法的步骤，或者第二方面所述的车牌类型识别方法的步骤。
本发明技术方案，具有如下优点：
本发明提供的车牌类型识别模型构建方法/装置，通过获取多个不同种类的车牌图像作为训练样本，对训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练，得到第一车牌类型识别模型，确定训练样本中每一种车牌图像的数量，对数量满足第一预设数量条件的车牌图像进行过采样处理，对数量满足第二预设数量条件的车牌图像进行欠采样处理，其中第二预设数量条件对应的数量值大于第一预设数量条件对应的数量值，利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型，得到第二车牌类型识别模型，将第一车牌类型识别模型和第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络；通过对数量较少的车牌类型的车牌图像进行过采样处理以得到较多的样本数据，对数量较多的车牌类型的车牌图像进行欠采样处理以降低训练样本中的该类型车牌的数量，根据调整样本数据后得到的训练样本训练得到第二车牌类型识别模型，并结合利用初始的训练样本训练得到的第一车牌类型识别模型进行融合后得到用于进行车牌类型识别的骨干网络，由于该骨干网络是基于具有相反数量级的训练样本训练得到的双分支网络融合得到，提高了对车牌类型识别结果的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中车牌类型识别模型构建方法的一个具体示例的流程图；
图2为本发明实施例中车牌类型识别方法的一个具体示例的流程图；
图3为本发明实施例中车牌类型识别模型构建装置的一个具体示例的原理框图；
图4为本发明实施例中车牌类型识别装置的一个具体示例的原理框图；
图5为本发明实施例中电子设备的一个具体示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种车牌类型识别模型构建方法，如图1所示，该方法包括如下步骤：
步骤101，获取多个不同种类的车牌图像作为训练样本。
示例性地，车牌的种类可以包括但不限于普通蓝牌、单层黄牌、教练车牌、警用车牌、新能源白绿牌、新能源黄绿牌、挂车牌、双层黄牌、临时车票等，本申请实施例对车牌种类的数量不作限定。不同种类的车牌图像可以预先获取并存储在训练样本数据库中。
作为本发明一个可选实施方式，步骤101，包括：
步骤1011，获取每一种车辆在多个场景下、多个时间段内不同角度的车辆图像，每一个车辆图像包含的车牌图像满足预设清晰度和完整度要求。
示例性地，该车辆图像可以通过设置在目标监控场景的图像采集设备采集得到，该目标监控场景可以包括但不限于电警、卡口、微卡口、移动电警等，其中电警指摄像头安装在十字路口，抓拍车尾的场景数据；卡口是指一般装在国道、省道和高速公路，正面抓拍的场景数据；微卡口是指用于城市、乡镇的道路的微型卡口摄像机采集到的场景数据；移动电警是指流动摄像头进行抓拍得到的场景数据。从各个目标监控场景采集到的场景数据中选取车牌图像满足预设清晰度和完整度要求的车辆图像。本申请实施例对该预设清晰度和完整度要求不作限定，本领域技术人员可以根据实际需要确定。
步骤1012，利用预设关键点定位方法定位得到每一个车辆图像中的车牌图像。对车辆图像中车牌的定位方式可以是预先通过训练得到车牌关键点识别模型，通过该模型定位得到车牌图像。本申请实施例对车牌图像的定位方式不作限定。
步骤1013，根据定位得到的车牌图像的关键点计算车牌的水平倾斜角度与垂直倾斜角度。
步骤1014，对定位得到的每一个车辆图像中的车牌图像进行抠图处理，将得到的车牌图像按照所述水平倾斜角度与垂直倾斜角度进行旋转处理。
示例性地，由于图像采集设备拍摄角度等限制，经过抠图得到的车牌图像可能存在角度倾斜，对存在角度倾斜的车牌图像进行旋转处理，得到目标角度下的车牌图像。该目标角度可以是90度，即通过旋转处理使得车牌的水平倾斜角和垂直倾斜角转为直角状态。
步骤1015，对旋转处理后得到的车牌图像进行标签化处理得到所述训练样本。对得到的每一个车牌图像标注车牌类型以用于进行模型训练。
步骤102，对所述训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练，得到第一车牌类型识别模型。网络的输入可以使用三通道214*214分辨率图像。
步骤103，确定所述训练样本中每一种车牌图像的数量。
示例性地，可以通过对训练样本中的标签进行文本识别并统计，根据统计结果得到训练样本中每一种车牌图像的数量。
步骤104，对数量满足第一预设数量条件的车牌图像进行过采样处理。
示例性地，通过对车牌图像进行过采样处理以对训练样本中少数样本进行扩充。过采样处理的方式可以是对车牌图像进行图像增强处理，图像增强处理的方式可以包括但不限于几何增强，如随机旋转、随机裁剪、随机拉伸、随机旋转等；还可以包括色彩增强，如对比度增强、亮度增强以及HSV空间增强等方式。本申请实施例对过采样处理方式不作限定，本领域技术人员可以根据实际需要确定。
步骤105，对数量满足第二预设数量条件的车牌图像进行欠采样处理，其中所述第二预设数量条件对应的数量值大于所述第一预设数量条件对应的数量值。
示例性地，通过对数量满足第二预设数量条件的车牌图像进行欠采样处理，降低训练样本内该类车牌图像的样本数量，欠采样处理的方式可以包括随机采样，本申请实施例对欠采样方式不作限定。通过对不同类型的车牌图像进行过采样和欠采样处理以改变不同类型的车牌图像在训练样本中的数量比重。如对于包含两个类型、100个车牌图像的训练样本，类型A的车牌在初始的训练样本中的数量为5个，类型B的车牌在初始的训练样本中的数量为95个，在进行过采样和欠采样处理后，使得类型A的车牌图像的数量变成95个，类型B的车牌图像的数量变成5个。本申请实施例对过采样和欠采样处理后的每一个类型的车牌图像的数量不作限定，由于对于神经网络训练来说，训练结果对训练样本中数量较多的样本类型的识别准确性较高，故只要通过过采样和欠采样处理后，使得原本的不同类型车牌图像的相对数量级发生转换即可。
步骤106，利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型，得到第二车牌类型识别模型。
步骤107，将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络。
示例性地，本申请实施例中该骨干网络可以为resnet10。由于第一车牌类型识别模型是通过原始训练样本训练得到，对于95个类型A的车牌图像和5个类型B的车牌图像组成的原始训练样本来说，第一车牌类型识别模型的识别结果倾向于类型A，而第二车牌类型识别模型是通过过采样和欠采样处理后构建得到的训练样本训练得到，对于5个类型A的车牌图像和95个类型B的车牌图像组成的训练样本来说，第二车牌类型识别模型的识别结果倾向于类型B。由于模型的输出结果包含可信度，对于任一待识别车牌图像，在经过第一车牌类型识别模型和第二车牌类型识别模型识别后，可通过融合后得到的骨干网络对两个分支网络的识别结果以及对应的可信度进行融合，将融合后的结果作为最终的识别结果。融合方式可以包括但不限于对相同类型的两个识别结果进行可信度乘积操作。
作为本发明一个可选实施方式，步骤107的融合方式包括：
步骤1071，获取所述第一车牌类型识别模型中每一个目标层的第一权重以及所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；训练第一车牌类型识别模型和第二车牌类型识别模型的神经网络模型可以是具有相同结构的神经网络模型，也可以是部分结构相同的神经网络模型，当为部分结构相同的神经网络模型时，第一权重和第二权重可以从部分相同的结构中选择两个模型中相对应层中的权重值。如选取第一车牌类型识别模型的第二层卷积层的权重作为第一权重，则可以在具有相同结构的第二车牌类型识别模型中同样选择第二卷积层的权重作为第二权重。
步骤1072，利用预设调节参数对所述第一权重和所述第二权重进行预处理，得到共享权重；
作为本发明一个可选实施方式，步骤1072，包括：按照下式进行预处理：
ω＝λω1+(1-λ)ω2
式中：ω为共享权重；ω1为第一权重；ω2为第二权重；λ为调节参数，其中λ大小可根据样本数量的均衡度确定，λ的取值范围可以为(0,1)，样本数量越不均衡，设置的λ值越小，均衡度大小可以根据样本数量级差距确定，样本数量级差距越大表明样本数量越不均衡，如当训练样本中最大数量级为十万级，最小数量级为千级，可以将λ设置为(0,0.5)中的任一值，具体值可以根据实际训练结果进行适应性调整。具体地，对于一训练数据样本分布如下表1所示，可以看出最大数量级为120000，最小数量级为1429，即可以将λ设置为(0,0.5)中的任一值：
表1训练样本数据
| 单黄牌 | 挂车牌 | 警车牌 | 学车牌 | 临行牌 | 双黄牌 | 新白绿 | 新黄绿 | 蓝牌 |
| 61832 | 18183 | 1429 | 4937 | 2359 | 45985 | 28542 | 9319 | 120000 |
步骤1073，利用所述共享权重替换所述第一车牌类型识别模型中所述目标层的第一权重，利用所述共享权重替换所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；
步骤1074，将权重替换处理后的第一车牌识别模型和权重替换处理后的第二车牌类型识别模型进行融合处理，得到用于进行车牌类型识别的骨干网络。
本发明提供的车牌类型识别模型构建方法，通过对数量较少的车牌类型的车牌图像进行过采样处理以得到较多的样本数据，对数量较多的车牌类型的车牌图像进行欠采样处理以降低训练样本中的该类型车牌的数量，根据调整样本数据后得到的训练样本训练得到第二车牌类型识别模型，并结合利用初始的训练样本训练得到的第一车牌类型识别模型进行融合后得到用于进行车牌类型识别的骨干网络，由于该骨干网络是基于具有相反数量级的训练样本训练得到的双分支网络融合得到，提高了对车牌类型识别结果的准确性。
作为本发明一个可选实施方式，利用训练样本训练得到第一车牌类型识别模型或利用训练样本训练得到第二车牌类型识别模型，包括：对训练样本中的车牌图像进行图像归一化处理；利用归一化处理后得到的车牌图像输入到模型进行训练，直至损失值满足预设条件。本申请实施例对损失函数不作限定，本领域技术人员可以根据实际需要确定。在训练样本中提取车牌图像，中心裁剪出图像，并对图像归一化操作后输入网络模型进行训练，通过计算损失值loss，并调整学习率，直至循环训练后得到满足预设条件的损失值时，得到满足使用要求的网络模型。
本发明实施例公开了一种车牌类型识别方法，如图2所示，该方法包括如下步骤：
步骤201，获取待识别车牌图像。
示例性地，从视频流中获取场景图像，通过车辆检测，检测出机动车位置，在车辆图片中检测车牌，根据车牌四个关键点求取车牌在水平和垂直方向角度，并根据相应的角度对车牌图片进行旋转，输出旋转后的车牌，将旋转后的车牌图像作为待识别车牌图像。
步骤202，将所述待识别车牌图像输入到根据上述实施例所述的车牌类型识别模型构建方法构建得到的用于进行车牌类型识别的骨干网络。
步骤203，根据所述骨干网络的输出结果得到所述待识别车牌图像的车牌类型。
基于深度学习理论，设计一个符合样本不均衡的分类网络模型，并根据实际应用场景的车牌类型样本分布统计尝试不同参数训练模型：
1)分支一对原始样本均匀采样，进行普通的卷积神经网络训练；
2)分支二对样本数量少的类别增加采样比例、样本数量多的类别减少采样比例，然后送入卷积网络进行训练；
3)对于分支一和分支二的训练结果进行融合，通过调节参数λ来确定两个分支的权重。
本发明实施例提供的骨干网络结合反采样和正采样的各自优点，避免了反向采样的过拟合、正向采样的欠拟合的不足，极大地提高了数量不平衡的分类任务的准确率。把结合正、反双分支的神经网络用于车牌类别分类，极大提高了对样本少的车牌类别的分类正确率。通过融合后得到的骨干网络能够满足各种场景下对车牌类型分类的模型训练和快速、高效推理分类，有效提高了多场景下多种车牌的识别准确性。
测试结果如下表2所示，表2中第一行为样本数据量，第二行为准确识别出的样本数据量，第三行为融合后得到的骨干网络对每一种车牌的识别准确率，可以看出除了挂车牌和学车牌之外，对其他种类车牌的识别准确率均较高，而对于挂车牌和学车牌来说，由于挂车牌与双黄牌相似，当得到的样本数据未包含“挂”字，即截取到的样本数据较小，可能仅仅通过外观来进行识别，容易影响对挂车牌的识别准确性，为此只需提高获取到车牌样本的尺寸，将截取到的车牌样本包含“挂”字，则可以提高使用本实施例记载的方法对挂车牌的识别率，同理学车牌与单黄牌外观相似，可以按照上述方式来提高对学车牌的识别准确性，但根据表2中的效果数据总体来说使用本申请实施例记载的方法得到的骨干网络可以在总体上提高在样本不均衡的情况下对不同类型车配的识别准确性：
表2测试结果
本发明实施例还公开了一种车牌类型识别模型构建装置，如图3所示，该装置包括：
样本获取模块301，用于获取多个不同种类的车牌图像作为训练样本；
第一训练模块302，用于对所述训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练，得到第一车牌类型识别模型；
确定模块303，用于确定所述训练样本中每一种车牌图像的数量；
第一图像处理模块304，用于对数量满足第一预设数量条件的车牌图像进行过采样处理；
第二图像处理模块305，用于对数量满足第二预设数量条件的车牌图像进行欠采样处理，其中所述第二预设数量条件对应的数量值大于所述第一预设数量条件对应的数量值；
第二训练模块306，用于利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型，得到第二车牌类型识别模型；
融合模块307，用于将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络。
本发明提供的车牌类型识别模型构建装置，通过对数量较少的车牌类型的车牌图像进行过采样处理以得到较多的样本数据，对数量较多的车牌类型的车牌图像进行欠采样处理以降低训练样本中的该类型车牌的数量，根据调整样本数据后得到的训练样本训练得到第二车牌类型识别模型，并结合利用初始的训练样本训练得到的第一车牌类型识别模型进行融合后得到用于进行车牌类型识别的骨干网络，由于该骨干网络是基于具有相反数量级的训练样本训练得到的双分支网络融合得到，提高了对车牌类型识别结果的准确性。
作为本发明一个可选实施方式，所述样本获取模块，包括：图像获取子模块，用于获取每一种车辆在多个场景下、多个时间段内不同角度的车辆图像，每一个车辆图像包含的车牌图像满足预设清晰度和完整度要求；定位子模块，用于利用预设关键点定位方法定位得到每一个车辆图像中的车牌图像；计算子模块，用于根据定位得到的车牌图像的关键点计算车牌的水平倾斜角度与垂直倾斜角度；抠图子模块，用于对定位得到的每一个车辆图像中的车牌图像进行抠图处理，将得到的车牌图像按照所述水平倾斜角度与垂直倾斜角度进行旋转处理；标签化处理子模块，用于对旋转处理后得到的车牌图像进行标签化处理得到所述训练样本。
作为本发明一个可选实施方式，所述融合模块，包括：权重获取子模块，用于获取所述第一车牌类型识别模型中每一个目标层的第一权重以及所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；预处理子模块，用于利用预设调节参数对所述第一权重和所述第二权重进行预处理，得到共享权重；替换子模块，用于利用所述共享权重替换所述第一车牌类型识别模型中所述目标层的第一权重，利用所述共享权重替换所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；融合子模块，用于将权重替换处理后的第一车牌识别模型和权重替换处理后的第二车牌类型识别模型进行融合处理，得到用于进行车牌类型识别的骨干网络。
作为本发明一个可选实施方式，所述预处理子模块，包括：按照下式进行预处理：
ω＝λω1+(1-λ)ω2
式中：ω为共享权重；ω1为第一权重；ω2为第二权重；λ为调节参数。
作为本发明一个可选实施方式，所述装置还包括：归一化处理子模块，用于对训练样本中的车牌图像进行图像归一化处理；训练子模块，用于利用归一化处理后得到的车牌图像输入到模型进行训练，直至损失值满足预设条件。
本发明实施例还公开了一种车牌类型识别装置，如图4所示，该装置包括：
图像获取模块401，用于获取待识别车牌图像；
输入模块402，用于将所述待识别车牌图像输入到根据上述实施例所述的车牌类型识别模型构建方法构建得到的用于进行车牌类型识别的骨干网络；
识别模块403，用于根据所述骨干网络的输出结果得到所述待识别车牌图像的车牌类型。
本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器501和存储器502，其中处理器501和存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器501可以为中央处理器(Central Processing Unit，CPU)。处理器501还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器502作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车牌类型识别模型构建方法对应的程序指令/模块或本发明实施例中的车牌类型识别方法对应的程序指令/模块。处理器501通过运行存储在存储器502中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的车牌类型识别模型构建方法或车牌类型识别方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器501所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至处理器501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器502中，当被所述处理器501执行时，执行如图1所示实施例中的车牌类型识别模型构建方法或图2所示实施例中的车牌类型识别方法。
上述电子设备具体细节可以对应参阅图1、图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种车牌类型识别模型构建方法，其特征在于，包括：
获取多个不同种类的车牌图像作为训练样本；
对所述训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练，得到第一车牌类型识别模型；
确定所述训练样本中每一种车牌图像的数量；
对数量满足第一预设数量条件的车牌图像进行过采样处理；
对数量满足第二预设数量条件的车牌图像进行欠采样处理，其中所述第二预设数量条件对应的数量值大于所述第一预设数量条件对应的数量值；
利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型，得到第二车牌类型识别模型，过采样处理后得到的车牌图像的数量大于欠采样处理后得到的车牌图像的数量；
将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络。
2.根据权利要求1所述的方法，其特征在于，所述获取多个不同种类的车牌图像作为训练样本，包括：
获取每一种车牌对应的车辆在多个场景下、多个时间段内不同角度的车辆图像，每一个车辆图像包含的车牌图像满足预设清晰度和完整度要求；
利用预设关键点定位方法定位得到每一个车辆图像中的车牌图像；
根据定位得到的车牌图像的关键点计算车牌的水平倾斜角度与垂直倾斜角度；
对定位得到的每一个车辆图像中的车牌图像进行抠图处理，将得到的车牌图像按照所述水平倾斜角度与垂直倾斜角度进行旋转处理；
对旋转处理后得到的车牌图像进行标签化处理得到所述训练样本。
3.根据权利要求1所述的方法，其特征在于，将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络，包括：
获取所述第一车牌类型识别模型中每一个目标层的第一权重以及所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；
利用预设调节参数对所述第一权重和所述第二权重进行预处理，得到共享权重；
利用所述共享权重替换所述第一车牌类型识别模型中所述目标层的第一权重，利用所述共享权重替换所述第二车牌类型识别模型中与所述目标层相对应的层的第二权重；
将权重替换处理后的第一车牌识别模型和权重替换处理后的第二车牌类型识别模型进行融合处理，得到用于进行车牌类型识别的骨干网络。
4.根据权利要求3所述的方法，其特征在于，所述利用预设调节参数对所述第一权重和所述第二权重进行预处理，得到共享权重，包括：按照下式进行预处理：
ω＝λω1+(1-λ)ω2
式中：ω为共享权重；ω1为第一权重；ω2为第二权重；λ为调节参数。
5.根据权利要求1所述的方法，其特征在于，利用训练样本训练得到第一车牌类型识别模型或利用训练样本训练得到第二车牌类型识别模型，包括：
对训练样本中的车牌图像进行图像归一化处理；
利用归一化处理后得到的车牌图像输入到模型进行训练，直至损失值满足预设条件。
6.一种车牌类型识别方法，其特征在于，包括：
获取待识别车牌图像；
将所述待识别车牌图像输入到根据权利要求1-5中任一项所述的车牌类型识别模型构建方法构建得到的用于进行车牌类型识别的骨干网络；
根据所述骨干网络的输出结果得到所述待识别车牌图像的车牌类型。
7.一种车牌类型识别模型构建装置，其特征在于，包括：
样本获取模块，用于获取多个不同种类的车牌图像作为训练样本；
第一训练模块，用于对所述训练样本进行均匀采样，将采样后得到的车牌图像输入到第一神经网络模型进行训练，得到第一车牌类型识别模型；
确定模块，用于确定所述训练样本中每一种车牌图像的数量；
第一图像处理模块，用于对数量满足第一预设数量条件的车牌图像进行过采样处理；
第二图像处理模块，用于对数量满足第二预设数量条件的车牌图像进行欠采样处理，其中所述第二预设数量条件对应的数量值大于所述第一预设数量条件对应的数量值；
第二训练模块，用于利用过采样处理后得到的车牌图像和欠采样处理后得到的车牌图像构成的训练样本训练第二神经网络模型，得到第二车牌类型识别模型，过采样处理后得到的车牌图像的数量大于欠采样处理后得到的车牌图像的数量；
融合模块，用于将所述第一车牌类型识别模型和所述第二车牌类型识别模型进行融合，得到用于进行车牌类型识别的骨干网络。
8.一种车牌类型识别装置，其特征在于，包括：
图像获取模块，用于获取待识别车牌图像；
输入模块，用于将所述待识别车牌图像输入到根据权利要求1-5中任一项所述的车牌类型识别模型构建方法构建得到的用于进行车牌类型识别的骨干网络；
识别模块，用于根据所述骨干网络的输出结果得到所述待识别车牌图像的车牌类型。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5中任一所述的车牌类型识别模型构建方法的步骤，或权利要求6所述的车牌类型识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的车牌类型识别模型构建方法的步骤，或权利要求6所述的车牌类型识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575676.3A CN113313110B (zh) | 2021-05-25 | 2021-05-25 | 一种车牌类型识别模型构建及车牌类型识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575676.3A CN113313110B (zh) | 2021-05-25 | 2021-05-25 | 一种车牌类型识别模型构建及车牌类型识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313110A CN113313110A (zh) | 2021-08-27 |
| CN113313110B true CN113313110B (zh) | 2024-02-13 |
Family
ID=77374811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110575676.3A Active CN113313110B (zh) | 2021-05-25 | 2021-05-25 | 一种车牌类型识别模型构建及车牌类型识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313110B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792734A (zh) * | 2021-09-18 | 2021-12-14 | 深圳市商汤科技有限公司 | 神经网络训练及图像处理的方法、装置、设备及存储介质 |
| CN113673491B (zh) * | 2021-10-22 | 2022-04-01 | 江苏金晓电子信息股份有限公司 | 一种基于龙芯2k1000处理器实现高精度车辆识别的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10354205B1 (en) * | 2018-11-29 | 2019-07-16 | Capital One Services, Llc | Machine learning system and apparatus for sampling labelled data |
| CN111656357A (zh) * | 2018-04-17 | 2020-09-11 | 深圳华大生命科学研究院 | 基于人工智能的眼科疾病诊断建模方法、装置及系统 |
| WO2020220544A1 (zh) * | 2019-04-28 | 2020-11-05 | 平安科技（深圳）有限公司 | 不平衡数据分类模型训练方法、装置、设备及存储介质 |
| CN112364942A (zh) * | 2020-12-09 | 2021-02-12 | 润联软件系统(深圳)有限公司 | 信贷数据样本均衡方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8768029B2 (en) * | 2010-10-20 | 2014-07-01 | Medtronic Navigation, Inc. | Selected image acquisition technique to optimize patient model construction |
| US10817669B2 (en) * | 2019-01-14 | 2020-10-27 | International Business Machines Corporation | Automatic classification of adverse event text fragments |
-
2021
- 2021-05-25 CN CN202110575676.3A patent/CN113313110B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111656357A (zh) * | 2018-04-17 | 2020-09-11 | 深圳华大生命科学研究院 | 基于人工智能的眼科疾病诊断建模方法、装置及系统 |
| US10354205B1 (en) * | 2018-11-29 | 2019-07-16 | Capital One Services, Llc | Machine learning system and apparatus for sampling labelled data |
| WO2020220544A1 (zh) * | 2019-04-28 | 2020-11-05 | 平安科技（深圳）有限公司 | 不平衡数据分类模型训练方法、装置、设备及存储介质 |
| CN112364942A (zh) * | 2020-12-09 | 2021-02-12 | 润联软件系统(深圳)有限公司 | 信贷数据样本均衡方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313110A (zh) | 2021-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| KR101854554B1 (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
| CN111898523A (zh) | 一种基于迁移学习的遥感图像特种车辆目标检测方法 | |
| CN109711264B (zh) | 一种公交车道占道检测方法及装置 | |
| CN113313110B (zh) | 一种车牌类型识别模型构建及车牌类型识别方法 | |
| CN110111581A (zh) | 目标识别方法、装置、计算机设备及存储介质 | |
| CN111435446A (zh) | 一种基于LeNet车牌识别方法及装置 | |
| CN113822247A (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
| CN109376580B (zh) | 一种基于深度学习的电力塔架部件识别方法 | |
| CN108932273B (zh) | 图片筛选方法及装置 | |
| CN109829881A (zh) | 基于深度学习的鸟巢检测方法及系统 | |
| CN111723854B (zh) | 一种高速公路交通拥堵检测方法、设备及可读存储介质 | |
| CN109785288A (zh) | 基于深度学习的输电设备缺陷检测方法及系统 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN102436578B (zh) | 狗脸特征检测器的形成方法、狗脸检测方法及装置 | |
| CN112990136B (zh) | 一种目标检测方法及装置 | |
| CN109815798A (zh) | 无人机图像处理方法及系统 | |
| CN111435445A (zh) | 字符识别模型的训练方法及装置、字符识别方法及装置 | |
| CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
| CN104573680A (zh) | 图像检测方法、图像检测装置以及交通违法检测系统 | |
| CN114627021A (zh) | 基于点云与深度学习的缺陷检测方法和系统 | |
| CN111444911B (zh) | 车牌识别模型的训练方法及装置、车牌识别方法及装置 | |
| DE102021203020A1 (de) | Generative-adversarial-network-modelle zur detektion kleiner strassenobjekte | |
| CN111931721B (zh) | 年检标签颜色和个数的检测方法、装置及电子设备 | |
| CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |