CN111881914B - 一种基于自学习阈值的车牌字符分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于自学习阈值的车牌字符分割方法，属于车牌识别技术领域，包括：获取待识别的车牌字符局部RGB图像；将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图；基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图；基于连通区域分析和投影图分析，对每个车牌字符的二值分割图进行分析，得到每个车牌字符的分割位置。本发明采用深度学习技术，自学习车牌字符图像每个位置的最佳二值分割阈值，车牌字符分割结果更加准确。

Description

一种基于自学习阈值的车牌字符分割方法及系统

技术领域

本发明涉及车牌识别技术领域，特别涉及一种基于自学习阈值的车牌字符分割方法及系统。

背景技术

车牌识别是智能交通的核心技术，包含了三个部分：车牌定位，字符分割，字符识别。其中，字符分割是整个技术最重要的一部分，字符分割的好坏，直接影响后续的字符识别，进而影响整体的识别性能。

字符分割是指在一幅已知车牌准确位置的图像中，精确分割出每个单一字符。对于清晰的车牌图像，已有很多成熟方法，可以获得较好的分割结果，目前，车牌字符分割主要有以下几类方法：

(1)基于垂直投影的方法，该方法通过获取车牌字符的垂直投影曲线，依据曲线的波峰波谷位置，获取每个字符的边缘位置。该类方法的优点是算法简单，速度快，对于清晰车牌，分割效果较佳，其缺点是对于一些污损、粘连、定位不够精确的低质量车牌，分割效果会明显下降，甚至失效。

(2)基于连通区域分析的方法，该方法首先进行车牌图像二值化，利用单个字符都是单连通区域的特征进行分析，最终获取字符的位置。该类方法的优点是对低图像质量的车牌适应性较好，速度较快，然而，它对于缺失、粘连的字符，却无能为力。

(3)基于机器学习的方法，如“一种基于支持向量机的车牌字符分割方法”，该类方法通过获取车牌的布局规律特征，借助分类器进行训练学习，最终完成车牌字符的分割。其优点是对于清晰车牌，识别效果较佳，对于低质量图像也有一定的抵抗性，其缺点是合适的布局规律特征较难选取，部分变形车牌不满足布局规律，计算特征的过程，相对较复杂。

(4)基于深度学习的方法，近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，各个领域都得到了广泛的关注和应用，出现了一批经典的目标位置检测网络框架，如faster rcnn，ssd，yolo等，这些经典网络框架通过迁移学习，可以很好地检测车牌字符位置，但该类技术的缺点是模型消耗内存很大，运算量很大，基于anchor box的模型训练参数很复杂，不易收敛，这些缺点严重的限制了深度学习算法在车牌字符分割领域的应用。

因此，实际环境中，由于光线变化、拍摄角度、车牌污损等各种复杂场景的存在，会造成车牌字符的模糊、缺失、粘连等缺陷的出现，当前的成熟方法很难进行精确分割，造成最终的车牌识别失败。因此，如何有效的对低质量车牌图像进行精确字符分割，仍然是当前限制车牌识别技术的难题。

发明内容

本发明的目的在于克服上述背景技术存在的缺陷，提高车牌字符分割的准确性。

为实现以上目的，本发明采用一种基于自学习阈值的车牌字符分割方法，包括如下步骤：

获取待识别的车牌字符局部RGB图像；

将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图；

基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图；

基于连通区域分析和投影图分析，对每个车牌字符的二值分割图进行分析，得到每个车牌字符的分割位置。

进一步地，所述车牌字符分割模型包括主干网络和预测网络，主干网络的输入为车牌字符局部RGB图像、输出为深层语义特征图；预测网络的输入为所述深层语义特征图、输出为所述车牌字符位置矩形和所述车牌图像的二值分割图。

进一步地，所述主干网络包括卷积层conv0_0、conv1_0、conv1_1、 conv1_2和conv1_3，拼接层concat1、concat2、concat3和concat4，3个残差网络基础机构体resblock1、resblock2、resblock3，以及多个上采样层upsample；

卷积层conv0_0、resblock1、resblock2和resblock3依次连接，卷积层conv0_0的输入为所述车牌字符局部RGB图像；

所述残差网络基础机构体resblock3的输出分别与卷积层conv1_0的输入和所述预测网络连接，卷积层conv1_0的输出经一个上采样层 upsample与拼接层concat1连接；卷积层conv1_1的输入与拼接层concat1 的输出连接，卷积层conv1_1的输出经一个上采样层upsample与拼接层 concat2连接；卷积层conv1_2的输入与拼接层concat2的输出连接，卷积层conv1_2的输出经一个上采样层upsample与拼接层concat3连接；卷积层conv1_3的输入与拼接层concat3的输出连接，卷积层conv1_3 的输出依次经两个上采样层upsample后的输出特征图和所述车牌字符局部RGB图像均与拼接层concat4的输入连接，拼接层concat4的输出与所述预测网络连接。

进一步地，每个所述残差网络基础机构体包括下采样层resconv2、卷积层resconv0、resconv1、resconv3和resconv4以及合并层eltsum0和 eltsum1，下采样层resconv2和卷积层resconv0的输入为上一残差网络基础机构体的输出或卷积层conv0的输出，卷积层resconv0的输出接卷积层resconv1的输入，卷积层resconv1和下采样层resconv2的输出均接合并层eltsum0的输入，合并层eltsum0用于将卷积层resconv1和下采样层 resconv2输出的特征图按照对应元素相加合并成一个特征图作为输出；

合并层eltsum0的输出依次经卷积层resconv3和卷积层resconv4后与合并层eltsum1的输入连接，合并层eltsum0的输出还与合并层eltsum1 的输入连接，合并层eltsum1用于将卷积层resconv4和合并层eltsum0 输出的特征图按照对应元素相加合并成一个特征图作为输出。

进一步地，所述预测网络包括位置矩形预测网络和二值分割图预测网络，矩形预测网络包括卷积层conv0_1、全局均值池化层ave-pool和全连接层fc，二值分割图预测网络包括卷积层conv2_0、conv3_0、conv2_1 和conv3_1以及二值分割层threshold；

卷积层conv0_1的输入与所述残差网络基础机构体resblock3的输出连接，卷积层conv0_1的输出经全局均值池化层ave-pool与全连接层fc 的输入连接，全连接层fc输出为所述车牌字符位置矩形；

卷积层conv3_0的输入与所述拼接层concat4的输出连接，卷积层 conv3_0的输出经卷积层conv3_1与二值分割层threshold的输入连接，卷积层conv2_0的输入与所述拼接层concat3的输出连接，卷积层 conv2_0的输出经卷积层conv2_1与二值分割层threshold的输入连接，卷积层conv2_1的输出为阈值图，卷积层conv3_1的输出为字符区域显著图，二值分割层threshold用于根据卷积层conv2_1和卷积层conv3_1 的输出图像获取所述车牌图像的二值分割图。

进一步地，所述二值分割层threshold用于根据如下公式获取所述车牌图像的二值分割图：

其中，b(x,y)表示车牌图像的二值分割图；f(x,y)表示字符区域显著图， t(i,j)表示阈值图，(x,y)表示图像上某位置点的坐标，floor函数是向下取整函数，m是放大因子。

进一步地，所述预先训练好的车牌字符分割模型的训练步骤包括：

获取训练样本图像集，训练样本图像集中包括带有标注信息的车牌字符局部图像，标注信息包括车牌字符位置矩形信息和车牌图像的二值分割图信息；

设置所述车牌字符分割模型的目标损失函数；

将训练样本图像集中的样本图像送入车牌字符分割模型中进行训练，学习模型参数。

进一步地，所述车牌字符分割模型的目标损失函数包括位置矩形预测网络的目标损失函数和二值分割图预测网络的目标损失函数，其中，位置矩形预测网络的目标损失函数采用均方差损失函数，二值分割图预测网络的目标损失函数采用交叉熵损失函数。

进一步地，在所述将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图之后，还包括：

采用形态学运算方法对所述车牌图像的二值分割图进行处理，消除误检区域，得到处理后的车牌图像的二值分割图；

相应地，所述基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图，包括：

基于车牌字符位置矩形和处理后的车牌图像的二值分割图，获取每个车牌字符的二值分割图。

另一方面，采用一种基于自学习阈值的车牌字符分割系统，包括获取模块、预测模块、二值分割图获取模块和车牌字符分割模块，其中：

获取模块用于获取待识别的车牌字符局部RGB图像；

预测模块用于将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图；

二值分割图获取模块用于基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图；

车牌字符分割模块用于基于连通区域分析和投影图分析，对每个车牌字符的二值分割图进行分析，得到每个车牌字符的分割位置。

与现有技术相比，本发明存在以下技术效果：本发明采用深度学习技术，自学习车牌字符图像每个位置的最佳二值分割阈值，车牌字符分割结果更加准确，对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像，鲁棒性更强；采用高效的主干网络，运行速度更快；采用改进的二值分割函数，实现网络端到端训练，模型使用更加方便。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于自学习阈值的车牌字符分割方法的流程图；

图2是本发明整体设计流程图；

图3是车牌字符分割模型的结构图；

图4是残差网络基础机构体的结构图；

图5是样本图像标注示意图，其中图(a)表示原始车牌字符图像，图(b)表示标注的车牌字符图像的二值分割图；

图6一种基于自学习阈值的车牌字符分割系统的结构示意图。

图中，每个网络层图形旁边的字母数字，表示当前特征层的特征图尺寸，即：特征图高度×特征图宽度×特征图通道数。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

在实际应用场景下，受光线变化和拍摄角度的影响，车牌区域会出现字符颜色和背景颜色严重失真，字符区域和背景区域没有明显区分度；受污染和损坏等因素的影响，车牌字符会出现模糊、缺失、粘连等缺陷。使用现有的车牌字符分割方法很难进行精确的二值分割。因此，本实施例提出一种自学习阈值的车牌字符分割方法，该方法采用深度学习技术，通过借助所设计的深度神经网络模型，能够根据车牌图像每个像素的成像质量，自适应的学习出车牌图像每个像素的最佳二值化分割阈值，车牌图像二值分割结果十分的精确和鲁棒。如图1所示，本实施例公开了一种基于自学习阈值的车牌字符分割方法，包括如下步骤S1 至S4：

S1、获取待识别的车牌字符局部RGB图像；

S2、将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图；

S3、基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图；

S4、基于连通区域分析和投影图分析，对每个车牌字符的二值分割图进行分析，得到每个车牌字符的分割位置。

本实施例利用所设计的车牌字符分割模型采用深度学习技术，自学习车牌字符图像每个位置的最佳二值分割阈值，车牌字符分割结果更加准确，对于污损、粘连、字符缺失、定位不够精确的低质量车牌图像，鲁棒性更强。

在上述对待识别的车牌字符局部RGB图像进行车牌字符分割之前，还需对车牌字符分割模型进行构建及训练，然后利用训练好的深车牌字符分割模型进行车牌字符分割，如图2所示：

(1)设计深度神经网络模型作为车牌字符分割模型：

本实施例使用卷积神经网络(CNN)进行深度神经网络模型设计，为了方便叙述，定义一些术语：特征图分辨率指的是特征图高度×特征图宽度，特征图尺寸指的是特征图高度×特征图宽度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度，另外，每一个卷积层后面均带有批量归一化层和非线性激活层。本发明设计的深度神经网络模型，其具体网络结构如图3所示，设计过程分为以下步骤：

1-1)设计深度神经网络模型的输入图像：

本发明所采用的输入图像是尺寸为256×128的3通道RGB图像，输入图像尺寸越大，其包含的细节越多，越有利于车牌字符的二值分割。

1-2)设计深度神经网络模型的主干网络：

主干网络主要用来提取输入车牌图像的深层语义特征，是整个深度神经网络模型中运算操作最密集的部分，直接决定了深度神经网络模型的性能。本发明采用了改进的ResNet经典网络作为深度神经网络模型的主干网络，如图3所示，conv0_0是一个核尺寸是7×7，跨度是4×4 的卷积层，这种大核尺寸大跨度卷积操作可以快速降低特征图分辨率，大大降低后续操作的运算量，同时保留更多图像细节.

resblock1、resblock2、resblock3均是残差网络基础机构体，其具体网络结构如图4所示，其中，resconv2层是一个核尺寸为2x2，跨度为 2x2的下采样层，resconv0层是一个核尺寸为3x3，跨度为2x2的卷积层， resconv1层、resconv3层、resconv4层均是一个核尺寸为3x3，跨度为 1x1的卷积层，eltsum0层和eltsum1层均是合并层，其作用是把多个输入特征图按对应元素相加合并成一个输出特征图；conv1_0是一个核尺寸为1x1,跨度为1x1的卷积层，用来调整输入特征图的特征图尺寸； upsample层是一个采样率为2的上采样层，其主要作用是把输入特征图的分辨率放大2倍作为输出特征图；concat1层、concat2层、concat3层、 concat4层均是拼接层，其作用是把多个输入特征图按照通道维度进行拼接形成一个输出特征图；conv1_1层、conv1_2层、conv1_3层均是一个核尺寸是3×3，跨度是1×1卷积层，其作用均是融合拼接层生成的特征图。

1-3)设计深度神经网络模型的预测网络：

预测网络主要利用主干网络输出的深层语义特征，预测车牌字符位置矩形和二值分割图。如图3所示，conv0_1层是一个核尺寸为3x3,跨度为2x2的卷积层；ave-pool层是一个全局均值池化层；fc层是一个输出为28维的全连接层，其输出向量表示车牌7个字符的位置矩形坐标； conv2_0层和conv3_0层均是一个核尺寸为3x3,跨度为1x1的卷积层, conv2_1层、conv3_1层均是一个核尺寸为1x1,跨度为1x1的卷积层；conv2_0层和conv2_1层共同组成了二值分割阈值预测模块，其输出特征图即是阈值图，该阈值图的每个位置上的值就是通过自学习得到的最佳二值分割阈值；conv3_0层和conv3_1层共同组成了字符显著位置预测模块，其输出特征图即是字符区域显著图，其主要作用是扩大原始输入车牌图像上的字符区域和背景区域的对比度，在字符局部区域里，尽可能的突出字符区域位置；threshold层是二值分割层，二值分割层 threshold用于根据卷积层conv2_1和卷积层conv3_1的输出图像获取所述车牌图像的二值分割图，具体过程如下公式所示：

其中，b(x,y)表示车牌图像的二值分割图；f(x,y)表示字符区域显著图， t(i,j)表示阈值图，(x,y)表示图像上某位置点的坐标，floor函数是向下取整函数，m是放大因子，本发明中m＝100。

(2)训练深度神经网络模型，主要是通过大量的标注好的训练样本数据，优化深度神经网络模型参数，使得深度神经网络模型检测性能最优，具体的步骤如下：

2-1)获取训练样本图像：

主要是收集各种场景、各种光线、各种角度下的车牌图像，使用现有的车牌位置检测方法获取车牌字符局部图像，然后进行标注。标注信息包括两部分：一部分是车牌字符位置矩形信息，它是一个28维的特征向量，表示7个位置的字符矩形，每个矩形使用左上角点和右下角点的坐标表示；另一部分是车牌字符的二值分割图，该图中车牌字符区域标注为1，车牌背景区域标注为0，如图5所示，其中图5-(a)表示原始车牌字符图像，图5-(b)表示标注的车牌字符图像的二值分割图。

2-2)设计深度神经网络模型的目标损失函数：

预测车牌字符二值分割图分支的目标损失函数采用的是经典的交叉熵损失函数，预测车牌字符位置矩形分支的目标损失函数采用的是经典的均方差损失函数。

2-3)训练深度神经网络模型，主要是把标注好的车牌样本图像集合送入定义好的深度神经网络模型，学习相关的模型参数。

(3)使用深度神经网络模型，对于任意给出的一幅车牌字符局部图像，经过深度神经网络模型前向运算后，分别输出车牌字符位置矩形坐标和车牌字符的二值分割图。

需要说明的是，由于车牌图像的二值分割图不可避免的会存在一些较小的误检孤立块，因此本实施例采用简单的形态学运算对车牌图像的二值分割图进行处理，去除误检区域的影响；然后，基于车牌字符位置矩形坐标在车牌字符的二值分割图中，分别获取每个车牌字符的二值分割图；最后，基于连通区域分析和投影图分析，获取每个车牌字符的精确分割位置，该分割位置可以是矩形框，也可以是字符区域mask掩码。

如图6所示，本实施例还公开了一种基于自学习阈值的车牌字符分割系统，包括获取模块10、预测模块20、二值分割图获取模块30和车牌字符分割模块40，其中：

获取模块10用于获取待识别的车牌字符局部RGB图像；

预测模块20用于将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图；

二值分割图获取模块30用于基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图；

车牌字符分割模块40用于基于连通区域分析和投影图分析，对每个车牌字符的二值分割图进行分析，得到每个车牌字符的分割位置。

其中，所构建的车牌字符分割模型的结构如图3所示，与上述实施例一种基于自学习阈值的车牌字符分割方法所公开的结构相同，该处不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于自学习阈值的车牌字符分割方法，其特征在于，包括：

S1：获取待识别的车牌字符局部RGB图像；

S2：将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图；

S3：基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图；

S4：基于连通区域分析和投影图分析，对每个车牌字符的二值分割图进行分析，得到每个车牌字符的分割位置；

所述车牌字符分割模型包括主干网络和预测网络，主干网络的输入为车牌字符局部RGB图像、输出为深层语义特征图；预测网络的输入为所述深层语义特征图、输出为所述车牌字符位置矩形和所述车牌图像的二值分割图；

所述主干网络包括卷积层conv0_0、 conv1_0、conv1_1、conv1_2和conv1_3，拼接层concat1、concat2、concat3和concat4，3个残差网络基础机构体resblock1、resblock2、resblock3，以及多个上采样层upsample；

卷积层conv0_0、resblock1、resblock2和resblock3依次连接，卷积层conv0_0的输入为所述车牌字符局部RGB图像；

所述残差网络基础机构体resblock3的输出分别与卷积层conv1_0的输入和所述预测网络连接，卷积层conv1_0的输出经一个上采样层upsample与拼接层concat1连接；卷积层conv1_1的输入与拼接层concat1的输出连接，卷积层conv1_1的输出经一个上采样层upsample与拼接层concat2连接；卷积层conv1_2的输入与拼接层concat2的输出连接，卷积层conv1_2的输出经一个上采样层upsample与拼接层concat3连接；卷积层conv1_3的输入与拼接层concat3的输出连接，卷积层conv1_3的输出依次经两个上采样层upsample后的输出特征图和所述车牌字符局部RGB图像均与拼接层concat4的输入连接，拼接层concat4的输出与所述预测网络连接；

每个所述残差网络基础机构体包括下采样层resconv2、卷积层resconv0、resconv1、resconv3和resconv4以及合并层eltsum0和eltsum1，下采样层resconv2和卷积层resconv0的输入为上一残差网络基础机构体的输出或卷积层conv0的输出，卷积层resconv0的输出接卷积层resconv1的输入，卷积层resconv1和下采样层resconv2的输出均接合并层eltsum0的输入，合并层eltsum0用于将卷积层resconv1和下采样层resconv2输出的特征图按照对应元素相加合并成一个特征图作为输出；

合并层eltsum0的输出依次经卷积层resconv3和卷积层resconv4后与合并层eltsum1的输入连接，合并层eltsum0的输出还与合并层eltsum1的输入连接，合并层eltsum1用于将卷积层resconv4和合并层eltsum0输出的特征图按照对应元素相加合并成一个特征图作为输出；

所述预测网络包括位置矩形预测网络和二值分割图预测网络，矩形预测网络包括卷积层conv0_1、全局均值池化层ave-pool和全连接层fc，二值分割图预测网络包括卷积层conv2_0、conv3_0、conv2_1和conv3_1以及二值分割层threshold；

卷积层conv0_1的输入与所述残差网络基础机构体resblock3的输出连接，卷积层conv0_1的输出经全局均值池化层ave-pool与全连接层fc的输入连接，全连接层fc输出为所述车牌字符位置矩形；

卷积层conv3_0的输入与所述拼接层concat4的输出连接，卷积层conv3_0的输出经卷积层conv3_1与二值分割层threshold的输入连接，卷积层conv2_0的输入与所述拼接层concat3的输出连接，卷积层conv2_0的输出经卷积层conv2_1与二值分割层threshold的输入连接，卷积层conv2_1的输出为阈值图，卷积层conv3_1的输出为字符区域显著图，二值分割层threshold用于根据卷积层conv2_1和卷积层conv3_1的输出图像获取所述车牌图像的二值分割图。

2.如权利要求1所述的基于自学习阈值的车牌字符分割方法，其特征在于，所述二值分割层threshold用于根据如下公式获取所述车牌图像的二值分割图：

，

，

其中，b(x,y)表示车牌图像的二值分割图；f(x,y)表示字符区域显著图，t(i,j)表示阈值图，(x,y)表示图像上某位置点的坐标，floor函数是向下取整函数，m是放大因子。

3.如权利要求1或2所述的基于自学习阈值的车牌字符分割方法，其特征在于，所述预先训练好的车牌字符分割模型的训练步骤包括：

获取训练样本图像集，训练样本图像集中包括带有标注信息的车牌字符局部图像，标注信息包括车牌字符位置矩形信息和车牌图像的二值分割图信息；

设置所述车牌字符分割模型的目标损失函数；

将训练样本图像集中的样本图像送入车牌字符分割模型中进行训练，学习模型参数。

4.如权利要求3所述的基于自学习阈值的车牌字符分割方法，其特征在于，所述车牌字符分割模型的目标损失函数包括位置矩形预测网络的目标损失函数和二值分割图预测网络的目标损失函数，其中，位置矩形预测网络的目标损失函数采用均方差损失函数，二值分割图预测网络的目标损失函数采用交叉熵损失函数。

5.如权利要求1所述的基于自学习阈值的车牌字符分割方法，其特征在于，在所述将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图之后，还包括：

采用形态学运算方法对所述车牌图像的二值分割图进行处理，消除误检区域，得到处理后的车牌图像的二值分割图；

相应地，所述基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图，包括：

基于车牌字符位置矩形和处理后的车牌图像的二值分割图，获取每个车牌字符的二值分割图。

6.一种基于自学习阈值的车牌字符分割系统，其特征在于，包括获取模块、预测模块、二值分割图获取模块和车牌字符分割模块，其中：

获取模块用于获取待识别的车牌字符局部RGB图像；

预测模块用于将车牌字符局部图像输入至预先训练好的车牌字符分割模型中进行前向运算，得到车牌字符位置矩形和车牌图像的二值分割图；

二值分割图获取模块用于基于车牌字符位置矩形和车牌图像的二值分割图，获取每个车牌字符的二值分割图；

车牌字符分割模块用于基于连通区域分析和投影图分析，对每个车牌字符的二值分割图进行分析，得到每个车牌字符的分割位置；

所述车牌字符分割模型包括主干网络和预测网络，主干网络的输入为车牌字符局部RGB图像、输出为深层语义特征图；预测网络的输入为所述深层语义特征图、输出为所述车牌字符位置矩形和所述车牌图像的二值分割图；

所述主干网络包括卷积层conv0_0、 conv1_0、conv1_1、conv1_2和conv1_3，拼接层concat1、concat2、concat3和concat4，3个残差网络基础机构体resblock1、resblock2、resblock3，以及多个上采样层upsample；

卷积层conv0_0、resblock1、resblock2和resblock3依次连接，卷积层conv0_0的输入为所述车牌字符局部RGB图像；

所述残差网络基础机构体resblock3的输出分别与卷积层conv1_0的输入和所述预测网络连接，卷积层conv1_0的输出经一个上采样层upsample与拼接层concat1连接；卷积层conv1_1的输入与拼接层concat1的输出连接，卷积层conv1_1的输出经一个上采样层upsample与拼接层concat2连接；卷积层conv1_2的输入与拼接层concat2的输出连接，卷积层conv1_2的输出经一个上采样层upsample与拼接层concat3连接；卷积层conv1_3的输入与拼接层concat3的输出连接，卷积层conv1_3的输出依次经两个上采样层upsample后的输出特征图和所述车牌字符局部RGB图像均与拼接层concat4的输入连接，拼接层concat4的输出与所述预测网络连接；

每个所述残差网络基础机构体包括下采样层resconv2、卷积层resconv0、resconv1、resconv3和resconv4以及合并层eltsum0和eltsum1，下采样层resconv2和卷积层resconv0的输入为上一残差网络基础机构体的输出或卷积层conv0的输出，卷积层resconv0的输出接卷积层resconv1的输入，卷积层resconv1和下采样层resconv2的输出均接合并层eltsum0的输入，合并层eltsum0用于将卷积层resconv1和下采样层resconv2输出的特征图按照对应元素相加合并成一个特征图作为输出；

合并层eltsum0的输出依次经卷积层resconv3和卷积层resconv4后与合并层eltsum1的输入连接，合并层eltsum0的输出还与合并层eltsum1的输入连接，合并层eltsum1用于将卷积层resconv4和合并层eltsum0输出的特征图按照对应元素相加合并成一个特征图作为输出；

所述预测网络包括位置矩形预测网络和二值分割图预测网络，矩形预测网络包括卷积层conv0_1、全局均值池化层ave-pool和全连接层fc，二值分割图预测网络包括卷积层conv2_0、conv3_0、conv2_1和conv3_1以及二值分割层threshold；

卷积层conv0_1的输入与所述残差网络基础机构体resblock3的输出连接，卷积层conv0_1的输出经全局均值池化层ave-pool与全连接层fc的输入连接，全连接层fc输出为所述车牌字符位置矩形；

卷积层conv3_0的输入与所述拼接层concat4的输出连接，卷积层conv3_0的输出经卷积层conv3_1与二值分割层threshold的输入连接，卷积层conv2_0的输入与所述拼接层concat3的输出连接，卷积层conv2_0的输出经卷积层conv2_1与二值分割层threshold的输入连接，卷积层conv2_1的输出为阈值图，卷积层conv3_1的输出为字符区域显著图，二值分割层threshold用于根据卷积层conv2_1和卷积层conv3_1的输出图像获取所述车牌图像的二值分割图。