CN110414309A - 一种车辆铭牌的自动识别方法 - Google Patents

Abstract

本发明公开了一种车辆铭牌自动识别方法，采用铭牌分割模型判断图片中铭牌是否存在并获得铭牌colormap图，并运用直线逼近获得铭牌区域的四个角点，计算映射之后的对应铭牌四个顶点，透视校正铭牌，得到铭牌roi，在roi区域运用检测模型定位铭牌关键信息，在关键信息roi运用字符分割模型识别字符，最后与存储的档案信息匹对。本专利在车辆铭牌关键信息的定位与识别准确度高，完全可以替代现有的人工检查，克服人工检测的低效率与可靠性差等缺陷，从而使车辆铭牌检测工作客观化、规范化和智能化。

Description

一种车辆铭牌的自动识别方法

技术领域

本发明涉及图像识别处理、目标检测、字符识别等智能图像识别技术领域，特别涉及车辆铭牌的自动识别领域。

背景技术

车辆铭牌是标明车辆基本特征的标牌。其主要内容包括车辆型号、发动机型号、发动机排量、发动机额定功率、车辆识别代号、总质量、载重量或载客人数、出厂编号、制造年月、制造国及厂名等，车辆铭牌一般位于车辆前部易于观察到的地方。车辆铭牌图像识别对于交通管理单位对车辆进行登记、检测防伪和车辆年审等具有重要的意义，但由于车辆铭牌本身材质特殊加之所处环境恶劣，车辆铭牌图像常常存在着反光、污渍、模糊、划痕等退化，这为车辆铭牌文字信息的获取带来了诸多困难。

传统的针对扫描文档的OCR方法很难做到复杂场景中的文字识别，现有的场景文字识别方法对于场景单一并且对于没有畸变的图像有不错的识别效果。但是对于像车辆铭牌这样的自然目标，存在着扭曲、畸变的情况，其识别效果很差。鉴于现有的识别方法无法直接满足铭牌文字在定位和识别方面的任务要求，因此本专利结合深度学习和传统图像处理方法可以准确的定位与识别车辆铭牌。

本发明一种车辆铭牌自动识别方法，来代替人工检测，有效地克服人工检测的低效率与可靠性差等缺陷，从而使车辆铭牌检测工作客观化、规范化和智能化。使交通管理单位能更好的管理车辆。

发明内容

本发明通过结合深度学习与传统图像处理方法定位与识别车辆铭牌关键信息，自动审核车辆铭牌制造年月、发动机号、发动机排量和车架号是否与服务器存档内容一致，以满足如今对车辆年检工作效率、准确率的需求。

本发明解决其技术问题所采用的技术方案是：

S1、从服务器获取车辆铭牌图片；

S2、采用基于深度学习的场景分割模型检测图片中的铭牌区域。根据铭牌区域的面积判断图片中铭牌是否存在，若存在则记录此条标志为1，若不存在则记录此条标志为0，并保存相关图片；

S3、在铭牌区域的colormap图上二值化，并对二值化图片形态学膨胀操作，得到二值化图像m1，在图像m1上运用直线逼近得到铭牌区域的四个角点；

S4、透视校正：根据铭牌区域的四个角点调用透视校正函数校正图片，并得到铭牌区域roi(本专利中的roi指图像处理领域的感兴趣区域)；

S5、采用基于深度学习的目标检测模型在铭牌区域定位铭牌里面的关键信息：制造年月、发动机号、发动机排量和车架号；

S6、采用基于深度学习的字符分割模型分别识别制造年月、发动机号、发动机排量和车架号；

S7、识别结果与档案信息匹对，若一致则记录此条标志为1，若不一致，表明铭牌信息与档案信息不匹配，记录标志为0并保存图片。

进一步，所述基于深度学习的场景分割模型检测图片中的铭牌区域步骤如下：

S21、收集在不同拍照场合、不同光照和不同倾斜角度的铭牌照片作为训练样本；

S22、采用多边形框在图像上标记铭牌区域；

S23、根据标注的铭牌区域，计算出图像上每个像素点所属的类别，铭牌区域的像素为1，非铭牌区域像素为0，生成一幅和铭牌图像尺寸相同的标签图像；

S24、使用上述铭牌图像和标签图像构成的数据集，训练场景分割深度神经网络模型，获得铭牌分割模型；

S25、在获取的图像上运用场景分割模型得到铭牌的colormap图，计算铭牌区域的面积，若面积小于预设面积阈值说明图片上不存在铭牌。若面积正常说明铭牌存在。

进一步，所述运用直线逼近得到铭牌区域的四个角点步骤如下：

S31、首先对colormap图灰度化再二值化；

S32、在二值化图像上运用形态学膨胀操作得到图像m1；

S33、在二值图像m1上查找轮廓，并取面积最大的轮廓的为铭牌roi；

S34、在铭牌roi上运用直线逼近得到铭牌区域的四个角点。

进一步，所述透视校正铭牌步骤如下：

S41、根据铭牌区域4个角点重新计算其外接矩形的4个顶点arr_pt；

S42、根据这两组坐标对铭牌图像透视校正；

S43、根据arr_pt得到透视校正之后的铭牌区域roi。

进一步，所述采用基于深度学习的目标检测模型定位铭牌关键信息步骤如下：

S51、如前述，对铭牌的场景分割样本用步骤4的透视校正得到校正后的铭牌区域roi训练样本；

S52、在铭牌区域roi训练样本上采用矩形框标记制造年月、发动机号、发动机排量和车架号所在位置；

S53、使用所述图像训练目标检测深度学习网络模型，获得铭牌关键信息检测模型；

S54、在铭牌区域运用检测模型定位铭牌关键信息制造年月、发动机号、发动机排量和车架号区域。

进一步，所述采用基于深度学习的字符分割模型分别识别制造年月、发动机号、发动机排量和车架号步骤如下：

S61、基于S52用矩形标注的关键信息位置，得到关键信息图像，作为标注样本；

S62、采用矩形框在制造年月、发动机号、发动机排量和车架号图像上标记所有字符的位置和类别；

S63、根据标注的位置和类别，计算出关键信息图像上每个像素点所属的类别，生成一幅关键信息图像尺寸相同的标签图像；

S64、使用上述关键信息图像和标签图像构成的数据集，训练场景分割深度神经网络模型，获得字符分割识别模型；

S65、运用字符分割模型分别识别制造年月、发动机号、发动机排量和车架号。

附图说明

图一：本发明自动识别铭牌流程图

图二：本发明铭牌区域的colormap图

图三：本发明直线逼近四个角点示意图。

图四：本发明目标检测单元的结构示意图。

图五：本发明字符识别模块示意图

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明主要基于深度学习和传统图像处理结合的方法定位与识别车辆铭牌。

S1、基于深度学习的场景分割模型检测图片中的铭牌区域，具体方法包括：

收集在不同拍照场合、不同光照和不同倾斜角度的铭牌照片作为训练样本，采用多边形框在图像上标记铭牌区域。表明标出来的区域是前景区域，而未标记的区域是背景区域。根据标注的铭牌区域，计算出图像上每个像素点所属的类别，铭牌区域的像素为1，非铭牌区域像素(背景)为0，生成一幅和铭牌图像尺寸相同的标签图像。使用上述铭牌图像和标签图像构成的数据集，训练场景分割深度神经网络模型，获得铭牌分割模型。运用铭牌分割模型对图像进行检测，我们把每个类别对应于一种颜色得到铭牌区域的colormap图，如图二所示。

S2、直线逼近得到铭牌区域的四个角点arr_pt1。运用铭牌分割模型对图像进行检测，该模型的输出结果是与铭牌图像尺寸相同的灰度图像。在灰度图像中只有2种像素，1和0，0表示背景区域，1表示铭牌区域。为了便于显示，我们把每个类别对应于一种颜色得到彩色colormap图，再灰度化二值化，运用查找轮廓的方法并取面积最大的轮廓作为铭牌区域。因为铭牌拍摄视角的任意性且图片有畸变，对图片进行透视校正，需要获得铭牌在原图上的四个角点，在铭牌的二值图上运用直线逼近的方法得到铭牌的四个角点arr_pt1。直线逼近示意图如图三所示，在四个45°方向的直线分别从四周向中心逼近，第一个碰到直线的点视为目标的顶点。

S3、透视校正铭牌。在S2中得到了铭牌四个角点arr_pt1。根据arr_pt1再计算透视校正变换后外接矩形的坐标arr_pt2。设在原图上面的四个角点坐标分别为pt_tl、pt_bl、pt_tr、pt_br，在透视变换后对应的四个点坐标分别为： new_pt_tl、new_pt_bl、new_pt_tr、new_pt_br。则：

根据变换前后坐标可以得到透视变换矩阵M，再调用opencv透视变化函数warpPerspective即可校正铭牌。

S4、采用基于深度学习的目标检测模型定位铭牌关键信息。如S3所述，透视校正铭牌，并且已经得到校正之后铭牌四个顶点坐标：

new_pt_tl、new_pt_bl、new_pt_tr、new_pt_br，根据这四个顶点坐标可以得到铭牌区域roi。对铭牌的场景分割样本用S3的透视校正得到校正后的铭牌区域roi训练样本。在铭牌区域roi训练样本上采用矩形框标记制造年月、发动机号、发动机排量和车架号所在位置。使用所述图像训练目标检测深度学习网络模型，获得铭牌关键信息检测模型。在铭牌区域运用检测模型定位铭牌关键信息制造年月、发动机号、发动机排量和车架号区域。本发明目标检测单元的结构示意如图四所示，检测模块将铭牌图像输入目标检测模型，首先得到N 个一维数组class，score，x，y，width，height]，数组第一个元素代表对象类别，与训练的时候类别顺序一致，0代表背景，1，代表制造年月，2代表发动机号，3代表发动机排量，4代表车架号。score代表分数，x，y代表矩形左上角点坐标，width代表矩形宽度，height代表矩形高度。每个数组均对应一个区域，选取得分最大的为目标输出。

S5、采用基于深度学习的字符分割模型识别铭牌关键信息。本发明字符识别模块示意图如图五所示，采用矩形框在铭牌关键信息图像上标记铭牌的所有字符的位置和类别。注意，标注的矩形框应完整包含铭牌字符的内容，但标注时相邻字符的矩形框不应有任何重叠。对于字符类别的标注，共含有“0”到“9”以及除了“A”和“Z”的26个字母的字符，对应的标签依次标记为1到36。根据已标注好字符位置和类别，计算出车牌图像上每个像素点所属的类别，其中，矩形框内的像素点都标记为所属字符的类别标签，即1到36之中的值。矩形框外的像素点为背景，标签为0。如此生成一幅和铭牌关键信息尺寸相同的标签图像。使用上述车牌图像和标签图像构成的数据集，训练场景分割深度神经网络模型，获得字符分割识别模型。

本发明环环相扣，第一步采用铭牌分割模型获得铭牌colormap图，运用直线逼近获得铭牌区域的四个角点，计算映射之后的对应铭牌四个顶点，透视校正铭牌，得到铭牌roi，在roi区域运用检测模型定位铭牌关键信息。在关键信息roi运用字符分割模型识别字符。本专利在车辆铭牌关键信息的定位与识别准确度高，完全可以替代现有的人工检查，提高了检测效率。

以上显示和描述了本方案的基本原理、主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种车辆铭牌自动识别方法，其特征在于，包括以下步骤：

S1、从服务器获取车辆铭牌图片；

S2、采用基于深度学习的场景分割模型检测图片中的铭牌区域，根据铭牌区域的面积判断图片中铭牌是否存在，若存在则记录此条标志为1，若不存在则记录此条标志为0，并保存相关图片；

S3、在铭牌区域的colormap图上二值化，并对二值化图片形态学膨胀操作，得到二值化图像m1，在图像m1上运用直线逼近得到铭牌区域的四个角点；

S4、透视校正：根据铭牌区域的四个角点调用透视校正函数校正图片，并得到铭牌区域roi；

S5、通过基于深度学习的目标检测模型在铭牌区域定位铭牌里面的关键信息：制造年月、发动机号、发动机排量和车架号；

S6、通过基于深度学习的字符分割模型分别识别制造年月、发动机号、发动机排量和车架号；

S7、识别结果与存储的档案信息匹对，若一致则记录此条标志为1，若不一致，表明铭牌信息与档案信息不匹配，记录标志为0并保存图片。

2.如权利要求1所述的一种车辆铭牌自动识别方法，其特征在于，步骤S2中基于深度学习的场景分割模型检测图片中的铭牌区域步骤如下：

S21、收集在不同拍照场合、不同光照和不同倾斜角度的铭牌照片作为训练样本；

S22、采用多边形框在图像上标记铭牌区域；

S23、根据标注的铭牌区域，计算出图像上每个像素点所属的类别，铭牌区域的像素为1，非铭牌区域像素为0，生成一幅和铭牌图像尺寸相同的标签图像；

S24、使用上述铭牌图像和标签图像构成的数据集，训练场景分割深度神经网络模型，获得铭牌分割模型；

S25、在获取的图像上运用场景分割模型得到铭牌的colormap图，计算铭牌区域的面积，根据铭牌区域的面积判断铭牌是否存在。

3.如权利要求1所述的一种车辆铭牌自动识别方法，其特征在于，所述步骤S3中基于colormap图二值化并运用直线逼近得到铭牌区域的四个角点包括步骤如下：

S31、对colormap图灰度化再二值化；

S32、在二值化图像上运用形态学膨胀操作得到图像m1；

S33、在二值图像m1上查找轮廓，并取面积最大的轮廓的为铭牌roi；

S34、在铭牌roi上运用直线逼近得到铭牌区域的四个角点。

4.如权利要求1所述的一种车辆铭牌自动识别方法，其特征在于，所述步骤S4中透视校正包括步骤如下：

S41、根据铭牌区域4个角点重新计算其外接矩形的4个顶点arr_pt；

S42、根据这两组坐标对铭牌图像透视校正；

S43、根据arr_pt得到透视校正之后的铭牌区域roi。

5.如权利要求4所述的一种车辆铭牌自动识别方法，其特征在于，所述步骤S41中根据铭牌区域4个角点重新计算其外接矩形的4个顶点arr_pt指：

在S2中得到了铭牌四个角点arr_pt1，根据arr_pt1再计算透视校正变换后外接矩形的坐标arr_pt2；

设在原图上面的四个角点坐标分别为pt_tl、pt_bl、pt_tr、pt_br，在透视变换后对应的四个点坐标分别为：

new_pt_tl、new_pt_bl、new_pt_tr、new_pt_br，则：

6.如权利要求1或2或3或5所述的一种车辆铭牌自动识别方法，其特征在于，所述步骤S5中采用基于深度学习的目标检测模型定位铭牌关键信息包括步骤如下：

S51、对铭牌的场景分割样本用步骤S4的透视校正得到校正后的铭牌区域roi训练样本；

S52、在铭牌区域roi训练样本上采用矩形框标记制造年月、发动机号、发动机排量和车架号所在位置；

S53、使用所述图像训练目标检测深度学习网络模型，获得铭牌关键信息检测模型；

S54、在铭牌区域运用检测模型定位铭牌关键信息制造年月、发动机号、发动机排量和车架号区域。

7.如权利要求6所述的一种车辆铭牌自动识别方法，其特征在于，所述步骤S6采用基于深度学习的字符分割模型分别识别制造年月、发动机号、发动机排量和车架号步骤如下：

S61、基于S52用矩形标注的关键信息位置，得到关键信息图像，作为标注样本；

S62、采用矩形框在制造年月、发动机号、发动机排量和车架号图像上标记所有字符的位置和类别；

S63、根据标注的位置和类别，计算出关键信息图像上每个像素点所属的类别，生成一幅关键信息图像尺寸相同的标签图像；

S64、使用上述关键信息图像和标签图像构成的数据集，训练场景分割深度神经网络模型，获得字符分割识别模型；

S65、运用字符分割模型分别识别制造年月、发动机号、发动机排量和车架号。