CN114519791A - 车牌字符识别方法以及装置 - Google Patents

Abstract

本申请公开一种车牌字符识别方法以及装置。方法包括：根据字符检测框坐标位置与字符检测框标识号码，匹配具有连接关系的多个字符连接对，形成真实字符连接关系矩阵，进而形成每个字符检测框的连接关系矩阵；根据字符检测框坐标位置，对车牌图像进行特征提取变换，获得每个字符的输入特征向量；将每个字符检测框的连接关系矩阵与输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵；根据预测字符连接关系矩阵与真实字符连接关系矩阵，构建损失函数调整参数，获得训练完成的字符图卷积神经网络，对待测车牌图像进行预测，获得字符连接关系矩阵，并根据字符连接关系矩阵与每个字符的字符类别，获得待测车牌图像对应的车牌。

Description

车牌字符识别方法以及装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种车牌字符识别方法以及装置。

背景技术

车牌识别技术在城市交通管理、车辆识别、停车场收费管理、违章处理等多个任务中具有重要的作用，受光照条件、天气条件、图像的清晰度、车牌的拍摄角度、车牌的颜色等多个因素的影响，使得车牌识别仍是一个富有挑战的任务。其中，车牌识别包含两个任务，一是车牌位置的检测，即从拍摄图像中定位得到车牌区域的位置；二是车牌字符的识别，即将检测到的车牌区域内的车牌字符识别出来。

传统车牌字符识别方法利用模板连接的方式进行字符识别，将车牌识别字符进行字符分割、二值化以及尺寸缩放预处理，使其缩放后尺寸与字符数据库中模板的尺寸相同，并将预处理后的车牌识别字符与所有的模板进行连接，选择最佳连接作为识别结果。然而，传统车牌字符识别方法的模板连接实现简单，但是鲁棒性较差且识别效果较差，无法准确识别车牌的各个字符。

申请内容

本申请的目的是解决传统车牌字符识别方法的鲁棒性较差且识别效果较差导致的无法准确识别车牌字符的技术问题。为实现上述目的，本申请提供一种车牌字符识别方法以及装置。

本申请提供一种车牌字符识别方法，包括：

获取多个车牌图像，并对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵；

根据所述真实字符连接关系矩阵，形成每个字符检测框的连接关系矩阵；

根据所述字符检测框坐标位置，对所述车牌图像进行特征提取变换，获得每个所述字符的输入特征向量；

将每个所述字符检测框的连接关系矩阵与每个所述字符的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵；

根据所述预测字符连接关系矩阵与所述真实字符连接关系矩阵，构建损失函数，并根据所述损失函数，调整所述字符图卷积神经网络的参数，获得训练完成的字符图卷积神经网络；

根据所述训练完成的字符图卷积神经网络，对待测车牌图像进行预测，

获得字符连接关系矩阵，并根据所述字符连接关系矩阵与每个所述字符的字符类别，获得所述待测车牌图像对应的车牌。

在一个实施例中，所述根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵，包括：

根据所述字符检测框坐标位置与所述字符检测框标识号码，对每个所述车牌图像中所有字符检测框进行排列，获得至少一个字符排列层；

在每个所述字符排列层中，对相邻的两个所述字符检测框进行连接关系匹配，获得所述多个字符连接对；

根据所述多个字符连接对，形成所述真实字符连接关系矩阵。

在一个实施例中，所述根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵，还包括：

在多个所述字符排列层中，对相邻的两个所述字符排列层中第一个字符排列层的右侧对应的字符检测框与第二个字符排列层的左侧对应的字符检测框进行连接关系匹配，获得所述字符连接对。

在一个实施例中，所述将每个所述字符检测框的连接关系矩阵与每个所述字符的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵，包括：

构建所述字符图卷积神经网络，所述字符图卷积神经网络为：

其中，X表示每个所述字符的输入特征向量，A表示每个所述字符检测框的连接关系矩阵，

表示每个所述字符检测框的邻接矩阵，I表示每个所述字符检测框的单位矩阵，

表示每个所述字符检测框的度矩阵，W⁽⁰⁾与W⁽¹⁾表示所述字符图卷积神经网络的参数，ReLU表示非线性激活函数，softmax表示归一化函数；

根据所述字符图卷积神经网络，输出所述预测字符连接关系矩阵。

在一个实施例中，所述对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码，包括：

对所述多个车牌图像进行字符检测，获得每个所述车牌图像中所有字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

根据所述字符检测框坐标位置与所述字符检测框标识号码，判断每个所述车牌图像对应的车牌字符位数是否大于预设车牌字符位数；

若所述车牌字符位数大于所述预设车牌字符位数，则对每个所述车牌图像中所有字符检测框的置信度由高到低进行排序，获得所述预设车牌字符位数对应的高置信度的字符检测框；

根据所述预设车牌字符位数对应的高置信度的字符检测框，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

在一个实施例中，所述对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码，还包括：

对所述多个车牌图像进行标注，获得多个单字符标注车牌图像；

对所述多个单字符标注车牌图像进行数据增强处理，获得多个数据增强车牌图像；

根据所述多个数据增强车牌图像对字符检测模型进行训练，获得训练完成的字符检测模型；

根据所述训练完成的字符检测模型，对所述待测车牌图像进行字符检测，获得所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

在一个实施例中，本申请提供一种车牌字符识别装置，包括：

数据获取模块，用于获取多个车牌图像，并对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

真实字符连接关系矩阵获取模块，用于根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵；

字符检测框连接关系矩阵获取模块，用于根据所述真实字符连接关系矩阵，形成每个字符检测框的连接关系矩阵；

输入特征向量获取模块，用于根据所述字符检测框坐标位置，对所述车牌图像进行特征提取变换，获得每个所述字符的输入特征向量；

模型构建模块，用于将每个所述字符检测框的连接关系矩阵与每个所述字符的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵；

训练模块，用于根据所述预测字符连接关系矩阵与所述真实字符连接关系矩阵，构建损失函数，并根据所述损失函数，调整所述字符图卷积神经网络的参数，获得训练完成的字符图卷积神经网络；

预测模块，用于根据所述训练完成的字符图卷积神经网络，对待测车牌图像进行预测，获得字符连接关系矩阵，并根据所述字符连接关系矩阵与每个所述字符的字符类别，获得所述待测车牌图像对应的车牌。

在一个实施例中，所述真实字符连接关系矩阵获取模块包括：

字符排列层获取模块，用于根据所述字符检测框坐标位置与所述字符检测框标识号码，对每个所述车牌图像中所有字符检测框进行排列，获得至少一个字符排列层；

第一字符连接对获取模块，用于在每个所述字符排列层中，对相邻的两个所述字符检测框进行连接关系匹配，获得所述多个字符连接对；

真实字符连接关系矩阵形成模块，用于根据所述多个字符连接对，形成所述真实字符连接关系矩阵。

在一个实施例中，所述真实字符连接关系矩阵获取模块还包括：

第二字符连接对获取模块，用于在多个所述字符排列层中，对相邻的两个所述字符排列层中第一个字符排列层的右侧对应的字符检测框与第二个字符排列层的左侧对应的字符检测框进行连接关系匹配，获得所述字符连接对。

在一个实施例中，所述模型构建模块包括：

字符图卷积神经网络构建模块，用于构建所述字符图卷积神经网络，所述字符图卷积神经网络为：

其中，X表示每个所述字符的输入特征向量，A表示每个所述字符检测框的连接关系矩阵，

表示每个所述字符检测框的邻接矩阵，I表示每个所述字符检测框的单位矩阵，

表示每个所述字符检测框的度矩阵，W⁽⁰⁾与W⁽¹⁾表示所述字符图卷积神经网络的参数，ReLU表示非线性激活函数，softmax表示归一化函数；

预测字符连接关系矩阵获取模块，用于根据所述字符图卷积神经网络，输出所述预测字符连接关系矩阵。

在一个实施例中，所述数据获取模块包括：

所有字符数据获取模块，用于对所述多个车牌图像进行字符检测，获得每个所述车牌图像中所有字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

判断模块，用于根据所述字符检测框坐标位置与所述字符检测框标识号码，判断每个所述车牌图像对应的车牌字符位数是否大于预设车牌字符位数；

高置信度数据获取模块，用于若所述车牌字符位数大于所述预设车牌字符位数，则对每个所述车牌图像中所有字符检测框的置信度由高到低进行排序，获得所述预设车牌字符位数对应的高置信度的字符检测框；

第一字符信息获取模块，用于根据所述预设车牌字符位数对应的高置信度的字符检测框，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

在一个实施例中，所述数据获取模块还包括：

标注模块，用于对所述多个车牌图像进行标注，获得多个单字符标注车牌图像；

数据增强模块，用于对所述多个单字符标注车牌图像进行数据增强处理，获得多个数据增强车牌图像；

字符检测模型形成模块，用于根据所述多个数据增强车牌图像对字符检测模型进行训练，获得训练完成的字符检测模型；

第二字符信息获取模块，用于根据所述训练完成的字符检测模型，对所述待测车牌图像进行字符检测，获得所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

上述车牌字符识别方法中，获得各个车牌字符对应的检测框的坐标位置与标识码，并以各个坐标位置与标识码构建多个字符连接对形成真实字符连接关系矩阵，使得车牌字符位置信息构建形成图数据。通过字符图卷积神经网络对各个车牌字符之间的位置关系进行学习，实现对车牌字符位置关系的预测，输出各个车牌字符之间的连接关系矩阵，进一步获得各个车牌字符的排列顺序。根据各个车牌字符的排列顺序，并基于各个车牌字符的字符类别，可以获得完整的车牌，实现了对车辆车牌的识别。

本申请提供的车牌字符识别方法，以单个车牌字符为基础进行类型识别与关系矩阵构建，降低了检测识别难度，有利于模型训练，进一步提高了识别准确度。本申请提供的车牌字符识别方法，以基于强大学习能力的字符图卷积神经网络学习车牌字符之间的位置关系，对车牌数据的依赖较小且鲁棒性高，能够更加准确地对车牌的各个字符进行连接关系预测。并且，本申请提供的车牌字符识别方法，通过对车牌字符之间的位置关系的学习，使得本申请方法不会局限于一层车牌字符的识别，进而能够实现多层车牌字符的识别，可以支持识别特殊类型的车牌如两层的货车、摩托车车牌等。因此，通过本申请提供的车牌字符识别方法，可以更加准确地识别车牌，提高了车牌识别的准确率与识别速度，且适用性更广，可以广泛应用于多层车牌字符的识别。

附图说明

图1是本申请提供的车牌字符识别方法的整体步骤流程示意图。

图2是本申请提供的车牌字符识别装置的结构示意图。

具体实施方式

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

请参见图1，本申请提供一种车牌字符识别方法，包括：

S10，获取多个车牌图像，并对多个车牌图像进行字符检测，获得每个车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

S20，根据字符检测框坐标位置与字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据多个字符连接对，形成真实字符连接关系矩阵；

S30，根据真实字符连接关系矩阵，形成每个字符检测框对应的连接关系矩阵；

S40，根据字符检测框坐标位置，对车牌图像进行特征提取变换，获得每个字符对应的输入特征向量；

S50，将每个字符检测框对应的连接关系矩阵与每个车牌字符对应的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵；

S60，根据预测字符连接关系矩阵与真实字符连接关系矩阵，构建损失函数，并根据损失函数，调整字符图卷积神经网络的参数，获得训练完成的字符图卷积神经网络；

S70，根据训练完成的字符图卷积神经网络，对待测车牌图像进行预测，获得字符连接关系矩阵，并根据字符连接关系矩阵与每个字符的字符类别，获得待测车牌图像对应的车牌。

在S10中，车牌图像可以理解为含有车牌信息的图像，可以来自于真实的道路交通场景监控捕捉的车辆车牌图像，涵盖不同视角、不同背景、不同光照强度下的车牌图像。车牌图像为含有小汽车、新能源汽车、公交车、摩托车、电动车、大货车等不同类型车辆车牌的图像。车牌图像可以通过从监控视频中提取含有车辆车牌的图像帧，并采用车牌目标检测算法进行车牌检测，获得对应的车牌位置信息，并根据车牌位置信息对图像帧进行截取并保存为车牌图像。或者，车牌图像也可以通过人工方式截取车牌图像。字符检测可以理解为对车牌图像中车牌的每个字符进行检测，获得每个车牌字符对应的字符类别、字符检测框坐标位置以及字符检测框标识号码。字符类别包括84种车牌字符类别，分别为10个阿拉伯数字(0-9)、24个大写字母(A-Z，除I和O)和50个汉字。字符检测框坐标位置可以通过最小矩形框表示。每个最小矩形框将字符包围，并以中心点坐标与宽高信息来表示。字符检测框标识号码可以理解为对每个字符检测框坐标位置进行的标号。字符检测框标识号码具有唯一性，唯一对应一个字符检测框，且唯一对应一个字符检测框坐标位置。

在S20中，一个字符检测框坐标位置与一个字符检测框标识号码一一对应，可以代表一个字符检测框。连接关系可以理解为至少两个车牌字符之间是否存在位置上的相对关系。例如：对于某一个车辆车牌，如果两个车牌字符相邻，则两个车牌字符之间存在连接关系，两个车牌字符形成一个字符连接对。两个车牌字符相邻，可以理解为左右相邻或者上下相邻。多个车牌字符之间通过筛选匹配，能够形成多个字符连接对，并根据多个字符连接对，能够获知每个车牌字符与其他车牌字符之间的关系，形成真实字符连接关系矩阵。真实字符连接关系矩阵中，若两个车牌字符具有连接关系，则在矩阵中数值为1，否则为0。

在S30中，一个字符检测框坐标位置与对应的一个字符检测框标识号码，代表了一个字符检测框。真实字符连接关系矩阵涵盖了多个车辆字符之间的连接关系。根据真实字符连接关系矩阵，可以获取一个字符检测框与其他字符检测框之间的连接关系，形成每个字符检测框对应的连接关系矩阵。

在S40中，根据字符检测框坐标位置，能够获知每个字符检测框的坐标信息。根据每个字符检测框的坐标信息，对车牌图像进行抠取，能够获得每个字符检测框图像。对每个字符检测框图像进行特征提取与变换，获得每个车牌字符对应的输入特征向量，以进一步适应输入至字符图卷积神经网络，对字符图卷积神经网络进行模型训练。

在S50中，字符图卷积神经网络基于图卷积神经网络包括多个卷积层、非线性激活层等，能够用于处理非结构化的数据。每个字符检测框对应的连接关系矩阵，表征了每个车牌字符与其他车牌字符的位置信息，构建形成图结构数据。每个车牌字符对应的输入特征向量与每个字符检测框对应的连接关系矩阵，作为字符图卷积神经网络的输入，对车牌字符之间的位置关系进行特征学习，输出预测字符连接关系矩阵。

在S60中，通过预测字符连接关系矩阵与真实字符连接关系矩阵构建损失函数对字符图卷积神经网络的参数进行优化，最终获得训练完成的字符图卷积神经网络，用于S70的预测。

在S70中，利用训练得到的字符图卷积神经网络，对待测车牌图像的车牌字符进行预测，获得各个车牌字符之间的连接关系。根据各个车牌字符之间的连接关系进行排序，形成待测车牌图像对应的车牌。

通过S10至S70获得各个车牌字符对应的检测框的坐标位置与标识码，并以各个坐标位置与标识码构建多个字符连接对形成真实字符连接关系矩阵，使得车牌字符位置信息构建形成图数据。通过字符图卷积神经网络对各个车牌字符之间的位置关系进行学习，实现对车牌字符位置关系的预测，输出各个车牌字符之间的连接关系矩阵，进一步获得各个车牌字符的排列顺序。根据各个车牌字符的排列顺序，并基于各个车牌字符的字符类别，可以获得完整的车牌，实现了对车辆车牌的识别。

本申请提供的车牌字符识别方法，以单个车牌字符为基础进行类型识别与关系矩阵构建，降低了检测识别难度，有利于模型训练，进一步提高了识别准确度。本申请提供的车牌字符识别方法，以基于强大学习能力的字符图卷积神经网络学习车牌字符之间的位置关系，对车牌数据的依赖较小且鲁棒性高，能够更加准确地对车牌的各个字符进行连接关系预测。并且，本申请提供的车牌字符识别方法，通过对车牌字符之间的位置关系的学习，使得本申请方法不会局限于一层车牌字符的识别，进而能够实现多层车牌字符的识别，可以支持识别特殊类型的车牌如两层的货车、摩托车车牌等。因此，通过本申请提供的车牌字符识别方法，可以更加准确地识别车牌，提高了车牌识别的准确率与识别速度，且适用性更广，可以广泛应用于多层车牌字符的识别。

在一个实施例中，S10中，对多个车牌图像进行字符检测，获得每个车牌图像中每个车牌字符的字符类别、字符检测框坐标位置以及字符检测框标识号码，包括：

S110，对多个车牌图像进行标注，获得多个单字符标注车牌图像；

S120，对多个单字符标注车牌图像进行数据增强处理，获得多个数据增强车牌图像；

S130，根据多个数据增强车牌图像对字符检测模型进行训练，获得训练完成的字符检测模型；

S140，根据训练完成的字符检测模型，对待测车牌图像进行字符检测，获得车牌图像中每个车牌字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

在S110中，通过采用2D目标检测标注工具，对车牌图像中的每个车牌字符通过矩形框进行标注，获得车牌图像的标注标签。标注标签包括字符类别、字符检测框坐标位置以及字符检测框标识号码。通过对多个车牌图像进行标注，获得84种车牌的真实字符类别，包括10个阿拉伯数字(0-9)、24个大写字母(A-Z，除I和O)和50个汉字。通过对多个车牌图像进行标注后，可以获得具有单个字符标注的车牌图像。具有单个字符标注的车牌图像，可以理解为，车牌图像上每个字符都进行了标注。

在S120中，数据增强处理包括旋转反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动以及颜色变换等。通过对多个单字符标注车牌图像进行数据增强处理，可以基于有限的真实数据生成更多等价的有效数据，即获得多个数据增强车牌图像。进而，通过对多个数据增强车牌图像进行数据增强处理，能够丰富训练数据的分布，增加训练样本的数量以及多样性，使得训练得到的模型泛化能力更强，提升了模型鲁棒性。从而，通过数据增强方法，可以基于有限的真实数据模拟出各种情况，例如图像缺损、遮挡、倾斜角度较大等情况。

在S130中，多个数据增强车牌图像基于多个车牌图像形成了更多丰富的训练数据，用于训练形成字符检测模型，并输出每个车牌字符的预测字符类别、预测字符检测框坐标位置以及预测字符检测框标识号码，用于构建字符检测模型对应的损失函数，以进行模型参数优化。在一个实施例中，根据字符检测模型预测输出的每个车牌字符的预测字符类别、预测字符检测框坐标位置以及预测字符检测框标识号码与训练样本中的真实的字符类别、字符检测框坐标位置以及字符检测框标识号码，对字符检测模型中的模型参数进行训练优化。当训练到设定的训练迭代次数后，得到最优的模型参数，进而形成稳定的字符检测模型。

在S140中，获得训练完成的字符检测模型后，对待测车牌图像进行字符检测，能够实现对待测车牌图像的每个车牌字符的字符类别、字符检测框坐标位置以及字符检测框标识号码的识别。

通过S110至S140，可以依据少量的真实车牌图像数据模拟出大量的车牌图像数据进行模型训练，解决了传统方法中必须依赖海量数据的缺陷。通过S110至S140，可以基于有限的真实数据模拟出各种情况，例如图像缺损、遮挡、倾斜角度较大等情况，能够适用于实际存在的各种情况，适用性更广。

在一个实施例中，对输入字符检测模型的车牌图像进行特征变换，将车牌图像的特征尺寸统一为64*256*3(H*W*C)。训练完成的字符检测模型可以包括Faster-RCNN、YOLO、SSD等两阶段或单阶段的目标检测方法。特征尺寸统一后的车牌图像，依次经过字符检测模型的多个卷积层、归一化层、非线性激活层、残差卷积模块等，输出车牌图像中每个车牌字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

残差卷积模块包含了多个残差卷积神经网络的连接。归一化层包括但不限于实例归一化层、自适应实例归一化层等归一化操作。非线性激活层包括但不限于ReLu、LeakyReLu等非线性激活函数。

在一个实施例中，损失函数包括分类损失函数与位置回归损失函数。分类损失函数包括Cross Entropy交叉熵损失函数、Focal Loss损失函数、Softmax分类损失函数等。位置回归损失函数包括L1 Loss平均绝对误差损失函数、L2Loss均方误差损失函数、IoU Loss交并比损失函数等。

在一个实施例中，本申请中字符检测模型的字符类别的分类损失函数为：

其中，C表示模型输出的字符类别的类别总数，y_c表示真实字符类别，z_c表示预测字符类别，f(z_c)表示预测字符类别的概率值。

字符类别损失函数针对字符类别，对构建的84类车牌字符进行分类。本实施例中采用Softmax分类损失函数进行模型训练。y_c表示真实字符类别，数值可以为0至83。

为Softmax函数的基本表示形式，表示j个样本下第i个样本属于类别的概率值。通过字符类别损失函数将模型输出的预测字符类别与真实字符类别进行对比，实现对字符检测模型的调整，获得稳定的字符检测模型，用于后续对待测车牌图像进行识别检测。

在一个实施例中，本申请中字符检测模型的字符检测框坐标位置回归损失函数为：

其中，P表示模型预测的字符检测框坐标位置，G表示真实的字符检测框坐标位置，

表示预测位置和真实位置的交集和并集的比值。

本实施例中，字符检测框坐标位置回归损失函数针对字符检测框坐标位置，对每个车牌字符的位置进行回归。本实施例采用IoU Loss进行车牌字符位置回归，IoU Loss是基于预测框与真值标注框之间的IoU交并比，也可以理解为是基于预测字符检测框坐标位置与真实字符检测框坐标位置之间的IoU交并比，能够将模型输出的预测字符检测框坐标位置与真实字符检测框坐标位置进行对比，实现对车字符检测模型的调整，获得稳定的字符检测模型，用于后续对待测车牌图像进行字符检测框坐标位置的识别检测。

在一个实施例中，S10中，对多个车牌图像进行字符检测，获得每个车牌图像中每个车牌字符的字符类别、字符检测框坐标位置以及字符检测框标识号码，还包括：

S150，对多个车牌图像进行字符检测，获得每个车牌图像中所有字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

S160，根据字符检测框坐标位置与字符检测框标识号码，判断每个车牌图像对应的车牌字符位数是否大于预设车牌字符位数；

S170，若车牌字符位数大于预设车牌字符位数，则对每个车牌图像中所有字符检测框的置信度由高到低进行排序，获得预设车牌字符位数对应的高置信度的字符检测框；

S180，根据预设车牌字符位数对应的高置信度的字符检测框，获得每个车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

在S150中，通过S110至S140所述的方法，可以获得每个车牌图像对应的所有的字符对应的字符类别、字符检测框坐标位置以及字符检测框标识号码。

在S160中，预设车牌字符位数可以理解为预设的每个车牌对应的字符的个数，例如可以设定预设车牌字符位数为8或者其他数值，代表了每个车牌的字符个数。当获得所有的车牌字符的标签后，可以根据字符检测框坐标位置与字符检测框标识号码，获知每个车牌字符的位数。通过将每个车牌图像对应的车牌字符位数与预设车牌字符位数进行对比判断，可以筛选出冗余的字符检测框。

在S170中，当车牌字符位数大于预设车牌字符位数时，通过每个字符检测框的置信度排序，对字符检测框进行筛选，去除置信度低的字符检测框，保留输出预设车牌字符位数对应的字符检测框个数。

在S180中，通过对每个车牌的字符检测框进行筛选，能够去除冗余的检测框，为后续建立检测框之间的连接关系去除冗余，进一步提高识别准确度，最终获得的每个车牌对应的字符检测框，进而获得每个车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

在一个实施例中，本申请所述方法还可以采用非极大抑制算法(Non-MaximumSuppression，NMS)去除部分冗余框。

在一个实施例中，S20，根据字符检测框坐标位置与字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据多个字符连接对，形成真实字符连接关系矩阵，包括：

S210，根据字符检测框坐标位置与字符检测框标识号码，对每个车牌图像中所有字符检测框进行排列，获得至少一个字符排列层；

S220，在每个字符排列层中，对相邻的两个字符检测框进行连接关系匹配，获得多个字符连接对；

S230，根据多个字符连接对，形成真实字符连接关系矩阵。

在S210中，字符检测框坐标位置包括字符检测框的中心点坐标信息X和Y以及检测框宽高信息W和H。根据字符检测框坐标位置与字符检测框标识号码，可以对每个车牌对应的所有字符进行排列，形成对应的车牌。车牌的层数可以为一层或者二层或者更多层，形成至少一个字符排列层。

在S220中，在每个字符排列层中，各个车牌字符之间有彼此相对应的位置关系，例如A字符在B字符左侧，或者A字符在B字符右侧等。本实施例中对相邻的两个字符检测框的位置进行连接关系匹配，将相邻两个字符检测框匹配成一个字符连接对。例如：车牌字符序列为“京A12345”，则多个字符连接对包括(京，A)、(A，1)、(1，2)、(2，3)、(3，4)、(4，5)。

在S230中，通过S220中多个字符连接对，使得每个车牌对应的各个字符相互之间具有唯一对应的一个位置关系。进而，通过对位置关系的学习，能够识别出唯一对应的车牌字符信息。一个字符检测框对应一个字符检测框坐标位置，且对应一个字符检测框标识号码，三者之间具有唯一性。通过多个字符检测框标识号码形成连接关系矩阵，表征了各个车牌字符之间的连接关系矩阵。

通过S110至S180中对原始数据的处理筛选获得更加准确地每个车牌字符对应的字符类别、字符检测框坐标位置以及字符检测框标识号码，可以使得后续构建真实字符连接关系矩阵时数据更加准确。通过S210至S230，基于字符检测框坐标位置与字符检测框标识号码，构建形成多个字符连接对，并进一步形成真实字符连接关系矩阵，准确地唯一表征了每个车牌对应的各个车牌字符的连接关系，以为后续字符图卷积神经网络的学习提供准确地数据基础。

在一个实施例中，S20，根据字符检测框坐标位置与字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据多个字符连接对，形成真实字符连接关系矩阵，还包括：

S240，在多个字符排列层中，对相邻的两个字符排列层中第一个字符排列层的右侧对应的字符检测框与第二个字符排列层的左侧对应的字符检测框进行连接关系匹配，获得字符连接对。

在S240中，对于多个字符排列层，相邻两个的字符排列层之间具有连接关系，可以针对于特殊类型的车牌如两层的货车、摩托车车牌等构建连接关系，形成对应的字符连接对。本实施例中，对于多个字符排列层，将第一层最右侧车牌字符与第二层最左侧车牌字符构建字符连接对。第一个字符排列层可以理解为上层，第二个字符排列层可以理解为下层。通过构建相邻两个字符排列层的字符之间的连接关系，能够将多层字符之间的相对位置关系引入字符连接对中，进而引入至真实字符连接关系矩阵中，为后续构建图结构数据提供数据支撑依据。

根据S210至S240，将每个车牌中各个车牌字符之间的位置关系，构建形成连接关系的标签数据，形成真实字符连接关系矩阵。真实字符连接关系矩阵可以表示为N*N维度的矩阵。其中，N表示字符检测框的数量N*N维度的特征表示每一个字符检测框与其他N-1个字符检测框的连接关系。当字符检测框与其他某一字符检测框具有连接关系，则真实字符连接关系矩阵中表示连接关系的坐标数值为1，否则为0。对于字符检测框与自身的关系表示为0，获得N*N维度的表征车牌字符之间的连接关系的特征矩阵。

在一个实施例中，S30，根据真实字符连接关系矩阵，形成每个字符检测框对应的连接关系矩阵。本实施例中，每个字符检测框对应的连接关系矩阵，表示每个字符检测框与其他N-1个字符检测框的连接关系。根据真实字符连接关系矩阵，能够生成所有车牌字符对应的字符检测框的连接关系矩阵。

在一个实施例中，S40，根据字符检测框坐标位置，对车牌图像进行特征变换，获得每个车牌字符对应的输入特征向量，包括：

S410，根据字符检测框坐标位置，对每个车牌图像进行划分与尺寸变换，获得多个字符检测框图像，并根据每个字符检测框图像，获得每个字符检测框图像的3*H*W维度特征；

S420，设置4*H*W维度距离特征，并将每个字符检测框图像的3*H*W维度特征与4*H*W维度距离特征在通道维度上进行特征拼接，获得多个7*H*W维度拼接特征；其中，H*W表示检测框的宽高，通道数7包括R通道、G通道、B通道、X坐标通道、Y坐标通道、W宽度通道以及H高度通道；

S430，将多个拼接特征输入至多个卷积层，输出多个转换特征；

S440，将多个转换特征输入至全连接层网络，输出多个车牌字符对应的输入特征向量。

在S410中，字符检测框坐标位置表征了字符检测框的具体位置。根据字符检测框坐标位置，能够对车牌图像进行裁剪，在原图中抠取得到对应的字符检测框的图像。将抠取得到对应的字符检测框的图像进行尺寸变换，获得相同尺寸的字符检测框图像。变换后的字符检测框图像特征尺寸为C*H*W，H*W表示字符检测框的宽高，C表示通道数，此时通道数C为3，表示为RGB三通道的图像。通过划分与尺寸变换，将多个图像转换为相同尺寸的检测框图像，方便后续对图像进行处理。

在S420中，4*H*W维度距离特征中，4表示通道数，分别表示字符检测框坐标位置的X、Y、W、H信息，H*W表示宽高信息，X和Y表示字符检测框的中心点坐标信息。本实施例中每个字符检测框图像的特征中的宽高信息与距离特征中的宽高信息相同。多个7*H*W维度拼接特征中，通道数分别表征了RGB通道、检测框的中心点坐标信息X、Y与检测框的宽高信息W、H，将表征字符检测框之间距离的特征加入到每个字符检测框图像的特征中，充分融入了距离特征。通过设置距离特征，在每个字符检测框图像的特征中考虑了字符检测框之间的距离。通过添加距离特征，使得距离近的两个相邻字符之间的连接关系更容易被检测到，可以进一步增强两个相邻字符之间的连接关系的学习，提高了车牌各个字符之间的连接关系的准确率。

在所述S430中，将7*H*W维度的拼接特征输入至多个卷积层，获得特征变换后的图像特征。转换特征的维度表示为128*H*W。通过S440将转换特征数据送入至全连接层网络进行计算，获得特征维度为128*1*1的车牌字符对应的输入特征向量，作为字符图卷积神经网络的输入特征向量。通过全连接层网络，将学到的拼接特征通过分布式特征表示映射到样本标记空间，为进一步进行字符图卷积神经网络的计算。

在一个实施例中，S50，将每个字符检测框对应的连接关系矩阵与每个字符对应的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵，包括：

S510，构建字符图卷积神经网络，字符图卷积神经网络为：

其中，X表示每个字符对应的输入特征向量，A表示每个字符检测框对应的连接关系矩阵，

表示每个字符检测框的邻接矩阵，I表示每个字符检测框的单位矩阵，

表示每个字符检测框的度矩阵，W⁽⁰⁾与W⁽¹⁾表示所述字符图卷积神经网络的参数，ReLU表示非线性激活函数，softmax表示归一化函数；

S520，根据字符图卷积神经网络，输出预测字符连接关系矩阵。

在S510中，根据每个字符检测框对应的连接关系矩阵、每个字符检测框的单位矩阵以及每个字符检测框的度矩阵，获得每个字符检测框的邻接矩阵。

字符图卷积神经网络Z包括两层网络层，输出特征维度为N*N。X表示每个车牌字符对应的输入特征向量。每个车牌字符对应的输入特征向量作为第一层图卷积神经网络的输入特征向量，融合了字符检测框图像特征与距离特征。每个车牌字符对应的输入特征向量与每个字符检测框的邻接矩阵作为第一层图卷积神经网络的输入。A表示每个字符检测框对应的连接关系矩阵，可以理解为每个字符检测框与其他字符检测框之间的连接关系矩阵。若每个字符检测框与某一个字符检测框具有连接关系，则在矩阵中显示数值为1，否则为0。I表示每个字符检测框的单位矩阵。通过增加单位矩阵，可以增加每个字符检测框自身与自身的特征表示。每个字符检测框的邻接矩阵

通过每个字符检测框的连接关系矩阵与每个字符检测框的单位矩阵以及度矩阵获得。邻接矩阵表征了各个字符检测框之间的相邻关系的矩阵，为一个n阶方阵。

表示每个字符检测框的度矩阵。度矩阵表示了每个字符检测框作为一个节点的度数，也可以理解为每个字符检测框与其他有连接关系的字符检测框的个数。

表示第一层图卷积神经网络，输出特征维度为N*N。每个字符检测框的邻接矩阵

的特征维度为N*N。W⁽⁰⁾表示第一层图卷积神经网络的可学习的参数，特征维度为128*N。第一层图卷积神经网络的输出结果作为第二层图卷积神经网络的输入。W⁽¹⁾表示第二层图卷积神经网络的可学习的参数，特征维度为128*N。

在S520中，将字符与字符之间的连接关系构造为图结构数据，输入至字符图卷积神经网络中进行学习。通过学习相邻字符之间的连接关系，能够实现对车辆车牌的识别。。并且，每个字符对应的输入特征向量融合了原始车辆图像特征与距离特征，基于拼接形成的特征进一步进行训练，进一步增强了字符与字符的连接关系的学习，有利于获得更加稳定的训练模型。

通过S510与S520构建的字符图卷积神经网络，能够更加准确地判断字符与字符之间的连接关系，解决了传统方法识别准确率偏低的问题，提高了对车牌识别的准确率。

本实施例中，对于字符图卷积神经网络中采用ReLU非线性激活函数softmax归一化函数。ReLU函数的表达能力更强，且不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。通过ReLU函数实现稀疏后的模型能够更好地挖掘字符与字符的连接关系特征，拟合训练数据。通过softmax归一化函数能够降低模型训练难度，使得多分类问题更容易收敛，更好地适用于本申请方法对字符与字符的连接关系的识别，进一步更准确地实现对车牌的识别。

在一个实施例中，S60，根据预测字符连接关系矩阵与真实字符连接关系矩阵，构建损失函数，并根据损失函数，调整字符图卷积神经网络的参数，获得训练完成的字符图卷积神经网络，包括：

S610，构建损失函数，损失函数为：

其中，

表示第i个训练样本对应的预测字符连接关系矩阵，y⁽ⁱ⁾表示第i个训练样本对应的真实字符连接关系矩阵；

S620，调整字符图卷积神经网络的参数，使得损失函数最小化，获得训练完成的字符图卷积神经网络。

在S610中，第i个训练样本也可以理解为第i个字符检测框对应的训练样本数据。通过L2范数损失函数进行模型训练。L2范数损失函数也称为最下平方误差损失函数。公式中m表示训练样本集中样本的个数。

在S620中，损失函数的目标为最小化平方和求和值。通过调整字符图卷积神经网络的参数，使得损失函数最小化，最终获得最优网络参数。根据最优网络参数，能够获得训练完成的字符图卷积神经网络。根据字符图卷积神经网络，能够对待测车牌图像中的各个字符之间的连接关系进行识别，进而能够获得准确地对车牌进行识别，以提高了识别准确率。

在一个实施例中，S70，根据训练完成的字符图卷积神经网络，对待测车牌图像进行预测，获得字符连接关系矩阵，并根据字符连接关系矩阵与每个车牌字符的字符类别，获得待测车牌图像对应的车牌，包括：

获取待测车牌图像，，采用训练完成的字符检测模型对待测车牌图像进行字符检测，获得对应的每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

根据每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码，从真实字符连接关系矩阵中调取每个字符检测框对应的连接关系矩阵；

根据字符检测框坐标位置，对待测车牌图像进行特征提取变换，获得每个字符对应的输入特征向量；

将每个字符检测框对应的连接关系矩阵与每个车牌字符对应的输入特征向量，输入至训练完成的字符图卷积神经网络，输出字符连接关系矩阵；

根据字符连接关系矩阵与每个字符的字符类别，获得待测车牌图像对应的完整的车牌。

请参见图2，本申请提供一种车牌字符识别装置100。车牌字符识别装置100包括数据获取模块10、真实字符连接关系矩阵获取模块20、字符检测框连接关系矩阵获取模块30、输入特征向量获取模块40、模型构建模块50、训练模块60以及预测模块70。数据获取模块10，用于获取多个车牌图像，并对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

真实字符连接关系矩阵获取模块20，用于根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵。字符检测框连接关系矩阵获取模块30，用于根据所述真实字符连接关系矩阵，形成每个字符检测框的连接关系矩阵。输入特征向量获取模块40，用于根据所述字符检测框坐标位置，对所述车牌图像进行特征提取变换，获得每个所述字符的输入特征向量。模型构建模块50用于将每个所述字符检测框的连接关系矩阵与每个所述字符的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵。

训练模块60用于根据所述预测字符连接关系矩阵与所述真实字符连接关系矩阵，构建损失函数，并根据所述损失函数，调整所述字符图卷积神经网络的参数，获得训练完成的字符图卷积神经网络。预测模块70用于根据所述训练完成的字符图卷积神经网络，对待测车牌图像进行预测，获得字符连接关系矩阵，并根据所述字符连接关系矩阵与每个所述字符的字符类别，获得所述待测车牌图像对应的车牌。

本实施例中，数据获取模块10的相关描述可参考上述实施例中S10的相关描述。真实字符连接关系矩阵获取模块20的相关描述可参考上述实施例中S20的相关描述。字符检测框连接关系矩阵获取模块30的相关描述可参考上述实施例中S30的相关描述。输入特征向量获取模块40的相关描述可参考上述实施例中S40的相关描述。模型构建模块50的相关描述可参考上述实施例中S50的相关描述。训练模块60的相关描述可参考上述实施例中S60的相关描述。预测模块70的相关描述可参考上述实施例中S70的相关描述。

在一个实施例中，所述真实字符连接关系矩阵获取模块20包括字符排列层获取模块(图中未标出)、第一字符连接对获取模块(图中未标出)以及真实字符连接关系矩阵形成模块(图中未标出)。字符排列层获取模块用于根据所述字符检测框坐标位置与所述字符检测框标识号码，对每个所述车牌图像中所有字符检测框进行排列，获得至少一个字符排列层。第一字符连接对获取模块用于在每个所述字符排列层中，对相邻的两个所述字符检测框进行连接关系匹配，获得所述多个字符连接对。真实字符连接关系矩阵形成模块，用于根据所述多个字符连接对，形成所述真实字符连接关系矩阵。

本实施例中，字符排列层获取模块的相关描述可参考上述实施例中S210的相关描述。第一字符连接对获取模块的相关描述可参考上述实施例中S220的相关描述。真实字符连接关系矩阵形成模块的相关描述可参考上述实施例中S230的相关描述。

在一个实施例中，所述真实字符连接关系矩阵获取模块20还包括第二字符连接对获取模块(图中未标出)。第二字符连接对获取模块用于在多个所述字符排列层中，对相邻的两个所述字符排列层中第一个字符排列层的右侧对应的字符检测框与第二个字符排列层的左侧对应的字符检测框进行连接关系匹配，获得所述字符连接对。

本实施例中，第二字符连接对获取模块的相关描述可参考上述实施例中S240的相关描述。

在一个实施例中，所述模型构建模块50包括字符图卷积神经网络构建模块(图中未标出)与预测字符连接关系矩阵获取模块(图中未标出)。字符图卷积神经网络构建模块用于构建所述字符图卷积神经网络，所述字符图卷积神经网络为：

其中，X表示每个所述字符的输入特征向量，A表示每个所述字符检测框的连接关系矩阵，

表示每个所述字符检测框的邻接矩阵，I表示每个所述字符检测框的单位矩阵，

表示每个所述字符检测框的度矩阵，W⁽⁰⁾与W⁽¹⁾表示所述字符图卷积神经网络的参数，ReLU表示非线性激活函数，softmax表示归一化函数。

预测字符连接关系矩阵获取模块用于根据所述字符图卷积神经网络，输出所述预测字符连接关系矩阵。

本实施例中，字符图卷积神经网络构建模块的相关描述可参考上述实施例中S510的相关描述。预测字符连接关系矩阵获取模块的相关描述可参考上述实施例中S520的相关描述。

在一个实施例中，所述数据获取模块10包括所有字符数据获取模块(图中未标出)、判断模块(图中未标出)、高置信度数据获取模块(图中未标出)以及第一字符信息获取模块(图中未标出)。所有字符数据获取模块用于对所述多个车牌图像进行字符检测，获得每个所述车牌图像中所有字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。判断模块用于根据所述字符检测框坐标位置与所述字符检测框标识号码，判断每个所述车牌图像对应的车牌字符位数是否大于预设车牌字符位数。

高置信度数据获取模块用于若所述车牌字符位数大于所述预设车牌字符位数，则对每个所述车牌图像中所有字符检测框的置信度由高到低进行排序，获得所述预设车牌字符位数对应的高置信度的字符检测框。第一字符信息获取模块，用于根据所述预设车牌字符位数对应的高置信度的字符检测框，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

本实施例中，所有字符数据获取模块的相关描述可参考上述实施例中S150的相关描述。判断模块的相关描述可参考上述实施例中S160的相关描述。高置信度数据获取模块的相关描述可参考上述实施例中S170的相关描述。第一字符信息获取模块的相关描述可参考上述实施例中S180的相关描述。

在一个实施例中，所述数据获取模块10还包括标注模块(图中未标出)、数据增强模块(图中未标出)、字符检测模型形成模块(图中未标出)以及第二字符信息获取模块(图中未标出)。标注模块用于对所述多个车牌图像进行标注，获得多个单字符标注车牌图像。数据增强模块用于对所述多个单字符标注车牌图像进行数据增强处理，获得多个数据增强车牌图像。

字符检测模型形成模块用于根据所述多个数据增强车牌图像对字符检测模型进行训练，获得训练完成的字符检测模型。第二字符信息获取模块，用于根据所述训练完成的字符检测模型，对所述待测车牌图像进行字符检测，获得所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

本实施例中，标注模块的相关描述可参考上述实施例中S110的相关描述。数据增强模块的相关描述可参考上述实施例中S120的相关描述。字符检测模型形成模块的相关描述可参考上述实施例中S130的相关描述。第二字符信息获取模块的相关描述可参考上述实施例中S140的相关描述。

上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

本领域技术人员还可以了解到本申请实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本申请实施例保护的范围。

本申请实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种车牌字符识别方法，其特征在于，包括：

获取多个车牌图像，并对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵；

根据所述真实字符连接关系矩阵，形成每个字符检测框的连接关系矩阵；

根据所述字符检测框坐标位置，对所述车牌图像进行特征提取变换，获得每个所述字符的输入特征向量；

将每个所述字符检测框的连接关系矩阵与每个所述字符的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵；

根据所述预测字符连接关系矩阵与所述真实字符连接关系矩阵，构建损失函数，并根据所述损失函数，调整所述字符图卷积神经网络的参数，获得训练完成的字符图卷积神经网络；

根据所述训练完成的字符图卷积神经网络，对待测车牌图像进行预测，获得字符连接关系矩阵，并根据所述字符连接关系矩阵与每个所述字符的字符类别，获得所述待测车牌图像对应的车牌。

2.根据权利要求1所述的车牌字符识别方法，其特征在于，所述根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵，包括：

根据所述字符检测框坐标位置与所述字符检测框标识号码，对每个所述车牌图像中所有字符检测框进行排列，获得至少一个字符排列层；

在每个所述字符排列层中，对相邻的两个所述字符检测框进行连接关系匹配，获得所述多个字符连接对；

根据所述多个字符连接对，形成所述真实字符连接关系矩阵。

3.根据权利要求2所述的车牌字符识别方法，其特征在于，所述根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵，还包括：

在多个所述字符排列层中，对相邻的两个所述字符排列层中第一个字符排列层的右侧对应的字符检测框与第二个字符排列层的左侧对应的字符检测框进行连接关系匹配，获得所述字符连接对。

4.根据权利要求1所述的车牌字符识别方法，其特征在于，所述将每个所述字符检测框的连接关系矩阵与每个所述字符的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵，包括：

构建所述字符图卷积神经网络，所述字符图卷积神经网络为：

其中，X表示每个所述字符的输入特征向量，A表示每个所述字符检测框的连接关系矩阵，

表示每个所述字符检测框的邻接矩阵，I表示每个所述字符检测框的单位矩阵，

表示每个所述字符检测框的度矩阵，W⁽⁰⁾与W⁽¹⁾表示所述字符图卷积神经网络的参数，ReLU表示非线性激活函数，softmax表示归一化函数；

根据所述字符图卷积神经网络，输出所述预测字符连接关系矩阵。

5.根据权利要求1所述的车牌字符识别方法，其特征在于，所述对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码，包括：

对所述多个车牌图像进行字符检测，获得每个所述车牌图像中所有字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

根据所述字符检测框坐标位置与所述字符检测框标识号码，判断每个所述车牌图像对应的车牌字符位数是否大于预设车牌字符位数；

若所述车牌字符位数大于所述预设车牌字符位数，则对每个所述车牌图像中所有字符检测框的置信度由高到低进行排序，获得所述预设车牌字符位数对应的高置信度的字符检测框；

根据所述预设车牌字符位数对应的高置信度的字符检测框，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

6.根据权利要求5所述的车牌字符识别方法，其特征在于，所述对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码，还包括：

对所述多个车牌图像进行标注，获得多个单字符标注车牌图像；

对所述多个单字符标注车牌图像进行数据增强处理，获得多个数据增强车牌图像；

根据所述多个数据增强车牌图像对字符检测模型进行训练，获得训练完成的字符检测模型；

根据所述训练完成的字符检测模型，对所述待测车牌图像进行字符检测，获得所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

7.一种车牌字符识别装置，其特征在于，包括：

数据获取模块，用于获取多个车牌图像，并对所述多个车牌图像进行字符检测，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

真实字符连接关系矩阵获取模块，用于根据所述字符检测框坐标位置与所述字符检测框标识号码，匹配具有连接关系的多个字符连接对，并根据所述多个字符连接对，形成真实字符连接关系矩阵；

字符检测框连接关系矩阵获取模块，用于根据所述真实字符连接关系矩阵，形成每个字符检测框的连接关系矩阵；

输入特征向量获取模块，用于根据所述字符检测框坐标位置，对所述车牌图像进行特征提取变换，获得每个所述字符的输入特征向量；

模型构建模块，用于将每个所述字符检测框的连接关系矩阵与每个所述字符的输入特征向量，输入至字符图卷积神经网络，输出预测字符连接关系矩阵；

训练模块，用于根据所述预测字符连接关系矩阵与所述真实字符连接关系矩阵，构建损失函数，并根据所述损失函数，调整所述字符图卷积神经网络的参数，获得训练完成的字符图卷积神经网络；

预测模块，用于根据所述训练完成的字符图卷积神经网络，对待测车牌图像进行预测，获得字符连接关系矩阵，并根据所述字符连接关系矩阵与每个所述字符的字符类别，获得所述待测车牌图像对应的车牌。

8.根据权利要求7所述的车牌字符识别装置，其特征在于，所述真实字符连接关系矩阵获取模块包括：

字符排列层获取模块，用于根据所述字符检测框坐标位置与所述字符检测框标识号码，对每个所述车牌图像中所有字符检测框进行排列，获得至少一个字符排列层；

第一字符连接对获取模块，用于在每个所述字符排列层中，对相邻的两个所述字符检测框进行连接关系匹配，获得所述多个字符连接对；

真实字符连接关系矩阵形成模块，用于根据所述多个字符连接对，形成所述真实字符连接关系矩阵。

9.根据权利要求8所述的车牌字符识别装置，其特征在于，所述真实字符连接关系矩阵获取模块还包括：

第二字符连接对获取模块，用于在多个所述字符排列层中，对相邻的两个所述字符排列层中第一个字符排列层的右侧对应的字符检测框与第二个字符排列层的左侧对应的字符检测框进行连接关系匹配，获得所述字符连接对。

10.根据权利要求7所述的车牌字符识别装置，其特征在于，所述模型构建模块包括：

字符图卷积神经网络构建模块，用于构建所述字符图卷积神经网络，所述字符图卷积神经网络为：

其中，X表示每个所述字符的输入特征向量，A表示每个所述字符检测框的连接关系矩阵，

表示每个所述字符检测框的邻接矩阵，I表示每个所述字符检测框的单位矩阵，

表示每个所述字符检测框的度矩阵，W⁽⁰⁾与W⁽¹⁾表示所述字符图卷积神经网络的参数，ReLU表示非线性激活函数，softmax表示归一化函数；

预测字符连接关系矩阵获取模块，用于根据所述字符图卷积神经网络，输出所述预测字符连接关系矩阵。

11.根据权利要求7所述的车牌字符识别装置，其特征在于，所述数据获取模块包括：

所有字符数据获取模块，用于对所述多个车牌图像进行字符检测，获得每个所述车牌图像中所有字符的字符类别、字符检测框坐标位置以及字符检测框标识号码；

判断模块，用于根据所述字符检测框坐标位置与所述字符检测框标识号码，判断每个所述车牌图像对应的车牌字符位数是否大于预设车牌字符位数；

高置信度数据获取模块，用于若所述车牌字符位数大于所述预设车牌字符位数，则对每个所述车牌图像中所有字符检测框的置信度由高到低进行排序，获得所述预设车牌字符位数对应的高置信度的字符检测框；

第一字符信息获取模块，用于根据所述预设车牌字符位数对应的高置信度的字符检测框，获得每个所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

12.根据权利要求11所述的车牌字符识别装置，其特征在于，所述数据获取模块还包括：

标注模块，用于对所述多个车牌图像进行标注，获得多个单字符标注车牌图像；

数据增强模块，用于对所述多个单字符标注车牌图像进行数据增强处理，获得多个数据增强车牌图像；

字符检测模型形成模块，用于根据所述多个数据增强车牌图像对字符检测模型进行训练，获得训练完成的字符检测模型；

第二字符信息获取模块，用于根据所述训练完成的字符检测模型，对所述待测车牌图像进行字符检测，获得所述车牌图像中每个字符的字符类别、字符检测框坐标位置以及字符检测框标识号码。

Images