CN111950550A - 基于深度卷积神经网络的车架号识别系统 - Google Patents

Abstract

本发明涉及车架号识别技术领域，尤指一种基于深度卷积神经网络的车架号识别系统，主要包含以下步骤：S1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；S2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；S3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；S4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性。本发明能够在复杂图像背景环境下以及在图像严重畸变的条件下，对车辆识别码进行定位、裁剪以及精确的识别；而且还能够检验本发明识别的准确性。

Description

基于深度卷积神经网络的车架号识别系统

技术领域

本发明涉及车架号识别技术领域，尤指一种基于深度卷积神经网络的车架号识别系统。

背景技术

车辆识别号(VIN号码)是由字母和数字组成的17位字。VIN号码中包含生产厂商、车身型号、发动机型号、出厂年份等信息，是识别车辆的唯一标识。而且车辆VIN号码具有唯一性，是与车辆相关行业管理车辆的重要信息代码。车辆管理部门可通过车辆VIN号码，建立健全车辆管理体系，推行召回制度，制定车辆的报废体系。车辆制造厂商可根据车辆VIN号码跟踪车辆的使用过程，掌握车辆的受欢迎程度，使用故障率及故障出现部位等信息，有利于厂家改进产品质量、调整生产计划，完善售后服务。公安部门可根通过识别车辆VIN号码确定嫌疑车辆，查案破案。保险公司可利用车辆VIN号码进行保险勘察。因此，对于车辆识别号的识别与研究得到了广大研究者的关注。

现阶段对于车辆VIN号码的识别和记录主要依靠人工。需要人工识别车辆的VIN码，手工输入、记录以及和预先保存的VIN进行人工比对。而随着人工智能技术的发展，图像识别技术被运用到VIN的识别中。车辆VIN号码的图像识别技术主要是通过摄像头对VIN区域进行采集，借助图像识别技术识别出VIN号码信息。利用图像识别技术，使得VIN的识别变得更加高效准确。

针对车辆VIN码的识别和应用，国内外有大量的研究。如MIT研发的识别系统Vinter，该系统在图像特征提取时采用Opencv库中的Hog特征提取算法、LBP等算法，在字符串匹配时使用了KMP算法[9]。MIT的这些算法都属于传统的图像处理方法，这些算法需要图片从一个良好的角度，在不受任何光照的影响下，拍摄车辆的VIN号码图片。如果图片的角度稍微有一些倾斜或者光线稍微过强或者过暗的话，那么这个算法将无法准确对车辆的VIN号码进行准确的识别。而且在识别之前，必须手工将包含车架号的图像区域，从背景图像中裁剪出来。

刘宾坤采用基于Google的开源Tesseract-OCR识别库对预处理后的车辆VIN码图像进行字符特征提取，然后与基于该库进行训练生成的车辆VIN码字符库做匹配识别。具体参阅专利申请号为201710617443.9，公开了一种基于Android平台的车辆VIN识别方法，包括以下步骤：S1：设计基于Android平台调用摄像头的实施过程，在相机的预览界面添加用来定位获取车辆识别码的扫描框；S2：采用摄像头获取有效区域的车辆VIN图片信息存储在手机本地S3：对车辆VIN图片进行图片预处理，包括图像的灰度化、顶帽变换、图像增强和二值化处理；S4：基于Tesseract-OCR图像识别类库对预处理后的车辆VIN图片进行字符特征提取，并利用训练生成的车辆VIN字符库进行匹配识别；S5：根据VIN的编码规则对识别结果进行校验，S6：搜集车辆VIN照片，基于官方提供的英文字符库训练生成车辆VIN字符库。

这种算法也是对于拍摄角度比较好的那些图片才可以进行准确的识别，而且同样必须将车架号图像区域从图片中裁剪出来。除了需要对字符的区域图像进行分割以外，Tesseract-OCR技术需要将图像中的每一个字符进行分割，然后对逐个分割出来的字符进行识别。

随着深度学习和机器学习技术的逐步兴起，很多研究者也将相关的技术用在交通领域中。Sermanet等人提出多尺度CNN应用于交通标志识别任务达到99.17％的准确率。薛之昕提出并设计了一个多尺度卷积神经网络，用来挖掘更多的交通标志特征信息。在汽车VIN码的识别领域中，王璐采用了一种基于逻辑回归神经网络模型的识别算法，研究表明该算法对于VIN的的识别有更好的适应性。

然而上面列举的所有交通标志识别方法以及车辆VIN的识别方法都是基于拍摄角度比较好，图像畸变较小的图像进行识别。而且必须手工将包含车辆识别号图像的区域裁剪出来，才可以进行车辆VIN号进行识别。

现在，监管部门为了管理大量的出厂车辆(防止4S店以旧换新)，需要各个4S店员工每天对车辆的VIN号码进行拍照上传。由于监管部门需要监管的4S店非常多，导致了每天上传的图像数据量非常大(几十万张照片)。采用人工识别的方法是不切实际的，因此采用自动化的图像识别是唯一的可行方法。

但是每个4S店员工的手机像素不同，拍摄角度不同，拍照水平不同；而且拍摄的空间环境也各不相同，导致每张上传图片的像素值，图像亮度以及图像的畸变程度差异非常大。

上述诸多问题对VIN的提取识别带来了困难。首先，如果采用传统的图像处理方法，无法对车架号的位置进行准确的自动化定位和裁剪，因为车架号所在图像的相对位置各不相同。另外，由于灰尘、图像噪声、图像畸变等因素的影响，传统的图像处理方法对于复杂背景环境下的车辆VIN识别准确率不高。当图像质量较差时，传统算法的识别精度将大幅降低。

因此，现在市场上亟需一种能够在复杂背景环境下对车辆VIN进行提取和识别的技术。

发明内容

为此，本发明的主要目的在于提供一种基于深度卷积神经网络的车架号识别系统，所述车架号识别系统能够在复杂图像背景环境下，对车辆的VIN码图像区域进行定位与裁剪。

本发明的又一目的在于提供一种基于深度卷积神经网络的车架号识别系统，所述车架号识别系统能够在图像严重畸变的条件下，对17位车辆识别码进行精确的识别。

本发明的另一目的在于提供一种基于深度卷积神经网络的车架号识别系统，所述车架号识别系统能够检验本发明识别的准确性。

为实现上述目的，本发明采用的技术方案是：

一种基于深度卷积神经网络的车架号识别系统，其特征在于主要包含以下步骤：

S1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；

S2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；

S3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；

S4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性。

进一步，所述车架号定位神经网络和车架号识别神经网络均采用MaskRCNN的结构。

进一步，所述MaskRCNN神经网络的搭建工具为TensorFlow。

进一步，所述MaskRCNN神经网络包含有：

CNN组件，用于获取图片中的重要的特征信息；

RPN组件，用于获取图片中特征信息所在区域的位置信息。

ROIAlign组件，用于实现特征区域的图像提取，并且生成固定大小的特征图片。

进一步，对车架号定位神经网络进行训练，训练的步骤如下：

S5：对图像中的包含重要信息的区域进行标注；

S6：将标注的信息以及图像输入到神经网络中，对神经网络进行训练；利用梯度下降法逐步调整神经网络中每一个神经元以及神经元之间连线上的权重参数，最终实现神经网络预测出来的区域与标注的区域基本一致。

进一步，对车架号识别神经网络进行训练，训练的步骤如下：

S7：利用上一节已标注的车架号区域的标注数据对图像进行裁剪；

S8：在裁剪出图像的基础上，对每一个字符以及字符的类别进行标注；

S9：将标注的信息以及图像输入到神经网络中进行训练，利用梯度下降法逐步调整神经网络中每一个神经元的参数，最终实现神经网络的预测出来的区域以及类别与标注的区域以及类别的误差最小。

进一步，对识别出来的车架号进行校验，步骤如下：

S10：计算每一个识别出来的字符区域的中心像素值坐标，并根据中心像素值坐标对字符进行重新排序；

S11：获取排序后的17位的字符串，使用汽车的VIN效验码对所获取的字符串进行校验；

VIN的校验方法为：将所获取的字符串转化为对应值，从VIN码第一位开始对每一位字符串进行乘法计算，具体为将该位字符串的对应值乘以该位的加权值得到乘积值；再将17位字符串对应的乘积值相加除以11，所得的余数即为第九位校验值。

本发明的有益效果在于：

本发明采用的是深度卷积神经网络对车辆VIN号码区域进行定位并图像裁剪；不需要手工对图像的VIN区域进行裁剪，提高了工作效率，而且深度卷积神经网络能够在复杂图像背景环境下，对车辆的VIN码图像区域进行定位与裁剪。

传统的车辆识别码识别方法是对17位代码进行字符分割，然后逐个对分割后的字符进行识别。本发明采用的是深度卷积神经网络，直接对裁剪后的图片中的所有的字符进行直接识别，省略了字符分割步骤；提高了工作效率，而且深度卷积神经网络能够在图像严重畸变的条件下，对17位车辆识别码进行精确的识别。

本发明对识别出来的所有的字符区域进行中心点坐标计算，依据字符的中心点在图片中的相对位置进行排序，然后利用VIN的第9位的校验码进行校验，从而检验识别的准确率。

附图说明

图1是本发明的步骤流程图。

图2是采用TensorFlow搭建出来的神经网络结构示意图。

图3是裁剪图片中的其中一个标注车架号的示意图。

图4是对识别出来的字符重新排序后的示意图。

具体实施方式

请参阅图1所示，本发明关于一种基于深度卷积神经网络的车架号识别系统，其特征在于主要包含以下步骤：

S1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；

S2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；

S3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；

S4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性；

需要说明的是，本发明利用两个神经网络分别进行车架号定位和车架号识别，因此需要训练出两个深度卷积神经网络，分别实现车架号的定位功能以及车架号的识别功能；深度卷积神经网络是一种使用计算机模拟人脑神经网络结构的软件程序。

在本实施例中，所述车架号定位神经网络和车架号识别神经网络均采用MaskRCNN的结构；MaskR-CNN是一种图像分割算法，可以完成图像物体分类、图像物体检测、图像物体轮廓识别等多种任务，非常灵活、强大。

在本实施例中，所述MaskRCNN神经网络的搭建工具为TensorFlow。

在本实施例中，请参阅图2所示，所述MaskRCNN神经网络包含有：

CNN组件，用于获取图片中的重要的特征信息；

RPN组件，用于获取图片中特征信息所在区域的位置信息。

ROIAlign组件，用于实现特征区域的图像提取，并且生成固定大小的特征图片；

在上述方案中，当图片进入神经网络，首先由CNN组件进行基础的图像处理，提取图像中包含重要特征信息的部分，然后RPN组件进行特征处理，获取图像中包含重要特征的位置数据；

最后由ROIAlign组件实现特征图的归一化处理，生成带有固定大小的特征图；ROIAlign组件生成的特征图由Fully connected全连接层进行处理，获取特征图的分类信息(例如字符所属的类别，0～9,A～Z)；

另外ROIAlign组件生成的特征图由mask branch组件进行处理，获取图像中重要特征的轮廓信息(例如包含字符的区域)。

在本实施例中，对车架号定位神经网络进行训练，训练的步骤如下：

S5：人工对图像中的包含重要信息的区域进行标注；

S6：将标注的信息以及图像输入到神经网络中，对神经网络进行训练；利用梯度下降法逐步调整神经网络中每一个神经元以及神经元之间连线上的权重参数，最终实现神经网络预测出来的区域与人工标注的区域基本一致；

在上述方案中，深度卷积神经网络是一种使用计算机模拟人脑神经网络结构的软件程序，人工神经网络是由神经元、神经元之间的连接线，以及连接线上的权重参数组成的；如果使用卷积神经网络实现车架号定位，必须对该卷积神经网络进行人工训练；训练的方法是人工对图像中的包含重要信息的区域进行标注；

标注完毕之后，将标注的信息以及图像输入到神经网络中，对神经网络进行训练；在训练过程中，计算机会不断调整神经元连线之间权重参数；最终训练目标是使神经网络的预测结果和人工标注的结果趋于一致；训练过程中使用的图像数量和类型越多，神经网络的识别能力就越强。

本实施例对5000张车架号的图片进行人工标注，标注的工具是VGG ImageAnnotator。VGG Image Annotator是一款开源的图像标注工具，由Visual Geometry Group开发；可以在线和离线使用，可人工在图片中标注矩形、圆、椭圆、多边形、点和线。标注完成后，可以导出为json文件格式，再将5000张图片和标注的json文件一起输入到搭建好的卷积神经网络中进行训练，利用梯度下降法逐步调整神经网络中每一个神经元以及神经元之间连线上的权重参数；最终实现神经网络的预测出来的区域与人工标注的区域基本一致。

训练结束后，将神经网络的结构和神经网络的参数进行保存，保存后的文件是HDF5格式文件，这一文件就是车架号定位神经网络。

在本实施例中，对车架号识别神经网络进行训练，训练的步骤如下：

S7：利用上一节已标注的车架号区域的标注数据对图像进行裁剪；

S8：在裁剪出图像的基础上，对每一个字符以及字符的类别进行人工标注；

S9：将标注的信息以及图像输入到神经网络中进行训练，利用梯度下降法逐步调整神经网络中每一个神经元的参数，最终实现神经网络的预测出来的区域以及类别与人工标注的区域以及类别的误差最小。

具体为：首先利用上一节标注好的车架号区域的标注数据对图像进行裁剪；在裁剪出的图像基础上，对每一个字符以及字符的类别进行人工标注，标注的工具是VGG ImageAnnotator；

这一步骤同样标记了5000张裁剪出来的图片，图3为5000张裁剪图片中的其中一个标注的示例。在标注的过程中，还需要标记字符的类别。本发明中使用了33个标注类别，这33个类别包括0-9的10个数字以及A到Z的23个字母。为了防止与阿拉伯数字中的1和0混淆，车架号中没有没有使用I、Q、O三个字母，因此是23个英文字母。

标注结束后，将5000张图片和标注生成的json文件，输入到搭建好的卷积神经网络中进行训练。利用梯度下降法逐步调整神经网络中每一个神经元的参数，最终实现神经网络的预测出来的区域以及类别，和人工标注的区域以及类别误差最小。训练结束后，将神经网络的结构和神经网络的参数进行保存。保存后的文件是HDF5格式文件。这一文件就是车架识别神经网络。

最后采用了5000张图片对该系统进行测试，只有100张左右的图片识别错误。因此最终的准确率为98％。

在本实施例中，对识别出来的车架号进行校验，步骤如下：

S10：计算每一个识别出来的字符区域的中心像素值坐标，并根据中心像素值坐标对字符进行重新排序(参阅图4)；

S11：获取排序后的17位的字符串，使用汽车的VIN效验码对所获取的字符串进行校验；

VIN的校验方法为：将所获取的字符串转化为对应值，从VIN码第一位开始对每一位字符串进行乘法计算，具体为将该位字符串的对应值乘以该位的加权值得到乘积值；再将17位字符串对应的乘积值相加除以11，所得的余数即为第九位校验值。

VIN码中各字符串的对应值如下：

0	1	2	3	4	5	6	7	8	9
																							0	1	2	3	4	5	6	7	8	9
A	B	C	D	E	F	G	H	J	K	L	M	N	P	R	S	T	U	V	W	X	Y	Z
																							1	2	3	4	5	6	7	8	1	2	3	4	5	7	9	2	3	4	5	6	7	8	9

VIN码从第1位到第17位的加权值如下：

1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17
																	8	7	6	5	4	3	2	10		9	8	7	6	5	4	3	2

例子：

车辆识别码：UU6JA69691D713820第九位为9为校验码，我们可以验证下是否正确。

4×8+4×7+6×6+1×5+1×4+6×3+9×2+6×10+1×9+4×8+7×7+1×6+3×5+8×4+2×3+0×2＝350。350除以11，得31，余9，该余数9即为校验码，和识别码的校验位相同。

本发明实施例提供了一种基于深度卷积神经网络的车架号识别系统，所述车架号识别系统采用的是深度卷积神经网络对车辆VIN号码区域进行定位并图像裁剪；不需要手工对图像的VIN区域进行裁剪，提高了工作效率，而且深度卷积神经网络能够在复杂图像背景环境下，对车辆的VIN码图像区域进行定位与裁剪。

传统的车辆识别码识别方法是对17位代码进行字符分割，然后逐个对分割后的字符进行识别。本发明实施例采用的是深度卷积神经网络，直接对裁剪后的图片中的所有的字符进行直接识别，省略了字符分割步骤；提高了工作效率，而且深度卷积神经网络能够在图像严重畸变的条件下，对17位车辆识别码进行精确的识别。

本发明实施例对识别出来的所有的字符区域进行中心点坐标计算，依据字符的中心点在图片中的相对位置进行排序，然后利用VIN的第9位的校验码进行校验，从而检验识别的准确率。

需要说明的是，本发明在图2-图4中对车架号的一部分号码打了马赛克，其目的在于保护该车架号的信息不被泄露，保护车主的隐私。

以上实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (7)

1.一种基于深度卷积神经网络的车架号识别系统，其特征在于主要包含以下步骤：

S1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；

S2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；

S3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；

S4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性。

2.根据权利要求1所述的基于深度卷积神经网络的车架号识别系统，其特征在于所述车架号定位神经网络和车架号识别神经网络均采用MaskRCNN的结构。

3.根据权利要求2所述的基于深度卷积神经网络的车架号识别系统，其特征在于所述MaskRCNN神经网络的搭建工具为TensorFlow。

4.根据权利要求3所述的基于深度卷积神经网络的车架号识别系统，其特征在于所述MaskRCNN神经网络包含有：

CNN组件，用于获取图片中的重要的特征信息；

RPN组件，用于获取图片中特征信息所在区域的位置信息。

ROIAlign组件，用于实现特征区域的图像提取，并且生成固定大小的特征图片。

5.根据权利要求4所述的基于深度卷积神经网络的车架号识别系统，其特征在于对车架号定位神经网络进行训练，训练的步骤如下：

S5：对图像中的包含重要信息的区域进行标注；

S6：将标注的信息以及图像输入到神经网络中，对神经网络进行训练；利用梯度下降法逐步调整神经网络中每一个神经元以及神经元之间连线上的权重参数，最终实现神经网络预测出来的区域与标注的区域基本一致。

6.根据权利要求5所述的基于深度卷积神经网络的车架号识别系统，其特征在于对车架号识别神经网络进行训练，训练的步骤如下：

S7：利用上一节已标注的车架号区域的标注数据对图像进行裁剪；

S8：在裁剪出图像的基础上，对每一个字符以及字符的类别进行标注；

S9：将标注的信息以及图像输入到神经网络中进行训练，利用梯度下降法逐步调整神经网络中每一个神经元的参数，最终实现神经网络的预测出来的区域以及类别与标注的区域以及类别的误差最小。

7.根据权利要求6所述的基于深度卷积神经网络的车架号识别系统，其特征在于对识别出来的车架号进行校验，步骤如下：

S10：计算每一个识别出来的字符区域的中心像素值坐标，并根据中心像素值坐标对字符进行重新排序；

S11：获取排序后的17位的字符串，使用汽车的VIN效验码对所获取的字符串进行校验；

VIN的校验方法为：将所获取的字符串转化为对应值，从VIN码第一位开始对每一位字符串进行乘法计算，具体为将该位字符串的对应值乘以该位的加权值得到乘积值；再将17位字符串对应的乘积值相加除以11，所得的余数即为第九位校验值。

Images