CN115457561A - 基于集成式深度学习的轮胎压印字符识别通用算法 - Google Patents

Abstract

本发明公开了基于集成式深度学习的轮胎压印字符识别通用算法，包括步骤为：利用高帧率相机捕捉来往车辆图像；利用YOLO‑V5网络识别图像中的轮胎并定位，通过相机自动对焦与放大重新拍摄被定位轮胎的完整清晰图像；PSENet网络能实现多形态、弯曲以及倒置字符的识别定位；字符正位旋转；采用CRNN网络和BLSTM网络相结合的方法，对矩形字符中的每个标识符均进行识别。本系统能对车辆移动字符方向旋转和夜间行驶光线昏暗的条件下的短时间内定位出轮胎侧壁压印字符的位置，并进行文本识别，可用于收费站与单车道两侧对轮胎型号的快速拍照识别，从而进行进一步处理，如变形检测、超重检测等；其成本小、精度高、速度快、自动化程度高。

Description

基于集成式深度学习的轮胎压印字符识别通用算法

技术领域

本发明涉及图像处理领域，特别是一种基于集成式深度学习的轮胎压印字符识别通用算法。

背景技术

由于轮胎的尺寸、材质和型号不同，其受力产生的形变也不一致，在车辆行进过程中，若想要通过形变分析其受力，就必须得知轮胎的压印字符关键信息。而传统的方式只能通过拍摄静态图片进行基于图像处理的OCR字符识别，效率低下且由于使用过程中可能产生磨损、变形，直接识别的准确率相较基于深度学习的方法还会有所降低，因此通过机器视觉和深度学习相结合的方式进行轮胎受力检测有十分重要的意义，这种方式也将成为未来生产线、装配线以及检测线上实现轮胎生产管控自动化的必要手段，以及交通运输管理中轮胎实时统计的管控方法。

轮胎侧壁字符是是利用模具使物体表面产生凹凸形变压印而成的，相较于传统字符，压印字符与背景的对比度不高，容易出现磨损、倾斜、变形等问题。现有的压印字符识别过程存在以下局限性：

(1)只采用光学相机图像，仅能在光线良好的情况下获取原始图像。且相机焦距、快门时间固定，在采集照片过程中难以获得清晰有效的图像，且图像的处理时间会大大提高。

(2)在轮胎装配、使用过程中，字符可能会存在部分磨损。

(3)传统的定位方式无法直接找出字符串位置。

(4)截取字符区域后需人工调整照片方向，费时费力。

(5)DOT标识存在一定的序列特征，而针对轮胎字符的现有的机器学习方式往往忽略了这一特征，导致识别的效率较为低下。

(6)现有轮胎字符识别技术没有解决轮胎字符倒置的识别问题，仅通过字符拉直变换来获得正置字符，但这种方法不具备普适性。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，而提供一种基于集成式深度学习的轮胎压印字符识别通用算法，该基于集成式深度学习的轮胎压印字符识别通用算法鲁棒性更强，即在昏暗环境下和字符存在磨损时仍保持较高识别准确率；克服压印字符与背景对比度小，与字符多形态多角度即字符倒置的缺陷。

为解决上述技术问题，本发明采用的技术方案是：

一种基于集成式深度学习的轮胎压印字符识别通用算法，包括如下步骤。

步骤1、采集车辆侧面图像：采用高速相机对静止或运动中车辆的侧面图像进行采集。

步骤2、拍摄轮胎字符图像，包括如下步骤。

步骤21、轮胎定位：高速相机根据步骤1采集的车辆图像，进行轮胎识别与定位。

步骤22、轮胎对焦：根据定位的轮胎位置，对轮胎进行自动对焦，获取轮胎侧壁图像。

步骤23、拍摄轮胎字符图像：对轮胎侧壁图像中含有字符的区域进行放大拍摄，得到设定矩形尺寸的轮胎字符图像。

步骤3、字符定位：对轮胎字符图像中的字符进行定位。

步骤4、字符变正位：对字符定位后的轮胎字符图像，取轮胎中心点为原点，以竖直向上方向为旋转基线；对轮胎字符图像中的字符进行旋转，直至字符变为正位。

步骤5、分割字符图像：将变为正位的字符从轮胎字符图像中进行裁剪，形成扇形的正位字符图像。

步骤6、阈值处理：将扇形正位字符图像，依次进行滤波去噪、阈值处理和等比缩放，得到设定扇形尺寸的灰度化正位字符图像。

步骤7、字符形态处理：将设定扇形尺寸的灰度化正位字符图像，通过坐标转换的方式展开成矩形字符。

步骤8、标识符识别：采用CRNN网络和BLSTM网络相结合的方法，对步骤7获得的矩形字符中的每个标识符均进行识别。

步骤8中，CRNN网络和BLSTM网络相结合，识别标识符的方法，具体包括如下步骤。

步骤81、构建CRNN网络：CRNN网络的输入为矩形字符，CRNN网络将矩形字符转换为设定尺寸的512个特征图，并按从左至右顺序输出每个特征图的特征向量序列；其中，每个特征向量序列均包括若干个特征向量，每个特征向量的宽×高尺寸分别为160像素×32像素。

步骤82、构建BLSTM网络：BLSTM网络的输入为所有特征图的特征向量序列，输出为从左至右按顺序排列的标识符。

步骤83、标识符识别：将步骤7形成的矩形字符，输入步骤81构建的CRNN网络中，并将CRNN网络的输出作为BLSTM网络的输入，经过步骤82构建的BLSTM网络进行学习，进而得到从左至右按顺序排列的标识符。

步骤1中，将高速相机安装在收费站或单车道道路的两侧，实现对车辆图像的采集。

步骤21中，采用YOLO-V5网络实现对步骤1采集车辆图像的轮胎识别与定位；其中，YOLO-V5网络在搭建时所采用的样本数据集，应选取500张以上昏暗环境下的车辆照片和500张以上光照充足条件下的车辆照片，通过lableimg应用在车辆图像中用矩形框选出轮胎，并储存成xml文件；经过YOLO-V5网络对轮胎特征进行学习、测试与验证，学习准确率能达到90％以上。

步骤3中，采用PSENet网络实现对轮胎字符图像中的字符定位；其中，PSENet网络在搭建时所采用的样本数据集的获取方法为：分别选取500张以上光线充足字符清晰、存在字符磨损的轮胎照片和光线昏暗条件下拍摄的轮胎字符图像，通过lableme工具从文字区域的左上位置开始，沿文字轮廓按顺时针顺序，经过文字区域的右下位置，在文字轮廓上方与下方各用不含左上与右下位置的7个点勾勒目标，生成字符定位的样本数据集；PSENet网络对昏暗条件下的轮胎字符和存在磨损的轮胎字符，学习准确率能达到85％以上。

步骤4中字符变正位的方法，具体包括如下步骤。

步骤41、建立坐标系：取轮胎中心点为原点O，取图片中轮胎最上方点为基准点A，以位于竖直向上方向的OA连线为0角度的旋转基线，建立笛卡尔直角坐标系。

步骤42、计算旋转角

将字符定位后的轮胎字符图像的中心记为点B(x_B,y_B)，将OA以顺时针方向转到OB的夹角记为旋转角

则旋转角

的计算公式为。

步骤43、字符旋转：将字符定位后的轮胎字符图像，顺时针旋转步骤42计算的旋转角

从而使得轮胎字符图像中的字符变为正位。

步骤6中的阈值处理采用OpenCV阈值化处理。

步骤7中，在同一笛卡尔直角坐标下，设扇形灰度化正位字符图像上任意一点D的坐标为(x,y)，点D在矩形字符中的坐标为(X,Y)，则(X,Y)与(x,y)满足如下转换关系式。

x＝c_x+(R-Y)·sin(X/R)

y＝c_y-(R-Y)·cos(X/R)

式中，c_x,c_y为扇形灰度化正位字符图像的圆心的横纵坐标值；R为扇形灰度化正位字符图像的外径。

本发明具有如下有益效果：

1、鲁棒性更强，在昏暗环境下和字符存在磨损时仍能保持较高识别准确率。

2、对行驶中或静置的车辆进行轮胎定位，并进轮胎壁面的压印字符识别，拓宽了轮胎字符识别的应用场景，更能适用于交通行驶车辆的应用场景，如行驶车辆的轮胎变形寿命检测或车辆载荷超重检测；克服压印字符与背景对比度不大与字符倒置等缺陷。

3、训练时间短、数据集小，整个定位与识别的时间较短而准确率较高。

4、自动化程度高，且具有较高的创新性和实用性，在车辆缓慢移动时仍然适用，为后续针对一般道路车辆进行轮胎字符识别奠定了基础。

附图说明

图1是本发明基于集成式深度学习的轮胎压印字符识别通用算法的流程图。

图2为本发明的流程与各模块作用示意图。

图3为YOLO-V5网路识别定位轮胎的效果图。

图4为经过识别裁剪得到的高分辨率轮胎侧壁图像。

图5为PSENet模块的原理图。

图6为PSENet网络定位与识别字符的效果图。

图7为经过图像旋转后文字旋转至正位的效果图。

图8文字旋转至正位后分割字符裁剪效果图。

图9为字符图像滤波预处理处理以后的效果图。

图10为字符拉直变换以后的效果图。

图11为CRNN的网络识别效果图。

具体实施方式

下面结合附图和具体较佳实施方式对本发明作进一步详细的说明。

为便于本领域的技术人员理解本发明的目的和技术方案，以下将结合附图对本发明实施方案作进一步详细阐述。

如图1和图2所示，一种基于集成式深度学习的轮胎压印字符识别通用算法，包括如下步骤。

步骤1、采集车辆侧面图像

采用高速相机对静止或运动中车辆的侧面图像进行采集。当对行驶中车辆进行如轮胎变形寿命检测或车辆载荷超重检测等时，可以将高速相机安装在收费站或单行道道路两侧，高速相机的帧率大于车轮的转速即可。

步骤2、拍摄轮胎字符图像，包括如下步骤。

步骤21、轮胎定位：高速相机根据步骤1采集的车辆图像，优选采用YOLO-V5网络进行轮胎识别与定位，具体如图3所示。

上述YOLO-V5网络在搭建时所采用的样本数据集，应选取500张以上昏暗环境下的车辆照片和500张以上光照充足条件下的车辆照片，通过lableimg应用在车辆图像中用矩形框选出轮胎，并储存成xml文件；经过YOLO-V5网络对轮胎特征进行学习，在测试集中进行验证，达到90％以上的学习效果。

步骤22、轮胎对焦：根据定位的轮胎位置，对轮胎进行自动对焦，获取轮胎侧壁图像。

步骤23、拍摄轮胎字符图像：对轮胎侧壁图像中含有字符的区域进行放大拍摄，得到设定矩形尺寸(如764*764像素)的轮胎字符图像，具体如图4所示。

步骤3、字符定位：优选采用PSENet网络通过基于语义分割的文字检测方法，对轮胎字符图像中的字符进行定位，具体如图5所示。

上述PSENet网络在搭建时所采用的样本数据集的获取方法优选为：分别选取500张以上光线充足字符清晰、存在字符磨损的轮胎照片和光线昏暗条件下拍摄的轮胎字符图像，通过lableme工具从文字区域的左上位置开始，沿文字轮廓按顺时针顺序，经过文字区域的右下位置，在文字轮廓上方与下方各用不含左上与右下位置的7个点勾勒目标，生成字符定位的样本数据集。

通过对卷积所得的特征图通过逐步渐进尺度扩张算法，取发现最大核作为预测结果，最后将原始文本行的尺寸缩小，生成label。经过数据采集、迁移建模，最终实现字符定位，如图6所示。

本发明的PSENet网络能实现多形态、弯曲以及倒置字符的识别定位，能对昏暗条件下的轮胎字符和存在磨损的轮胎字符，学习准确率能达到85％以上。

另外，针对轮胎字符磨损情况，在PSENet网络以及后续的CRNN网络构建时，可以先采集市面上车辆类型，以及每种车辆所对应的轮胎型号(也即对应轮胎字符)，便于快速识别或补充。

步骤4、字符变正位：对字符定位后的轮胎字符图像，取轮胎中心点为原点，以竖直向上方向为旋转基线；对轮胎字符图像中的字符进行旋转，直至字符变为正位。

上述字符变正位的方法，优选包括如下步骤。

步骤41、建立坐标系：取轮胎中心点为原点O，取图片中轮胎最上方点为基准点A，以位于竖直向上方向的OA连线为0角度的旋转基线，建立笛卡尔直角坐标系，如图7所示。

步骤42、计算旋转角

将字符定位后的轮胎字符图像的中心记为点B(x_B,y_B)，将OA以顺时针方向转到OB的夹角记为旋转角

则旋转角

的计算公式为：

步骤43、字符旋转：将字符定位后的轮胎字符图像，顺时针旋转步骤42计算的旋转角

从而使得轮胎字符图像中的字符变为正位，如图8所示。

步骤5、分割字符图像：将变为正位的字符从轮胎字符图像中进行裁剪，形成扇形的正位字符图像。

步骤6、阈值处理：将扇形正位字符图像，依次进行滤波去噪、阈值处理和等比缩放，得到设定扇形尺寸的灰度化正位字符图像，如图9所示。

对图像进行高斯滤波，对采集到的轮胎图像进行平滑滤波，消除高斯噪声；然后图像灰度化，用OpenCV阈值化处理对采集到的彩色图像进行灰度变换，一方面减小后续计算量，另一方面使压印字符与背景区分更加明显，利于后续网络更好地找到字符特征；最后进行降采样，等比缩放图像尺寸，大大减少计算量，提高后续处理速度，同时经过阈值处理后，昏暗条件下的轮胎字符和存在磨损的字符在文字识别的过程中，准确率大大提高。

步骤7、字符形态处理：将设定扇形尺寸的灰度化正位字符图像，通过坐标转换的方式展开成矩形字符。

在同一笛卡尔直角坐标下，设扇形灰度化正位字符图像上任意一点D的坐标为(x,y)，点D在矩形字符中的坐标为(X,Y)，则(X,Y)与(x,y)满足如下转换关系式：

x＝c_x+(R-Y)·sin(X/R)

y＝c_y-(R-Y)·cos(X/R)

式中，c_x,c_y为扇形灰度化正位字符图像的圆心的横纵坐标值；R为扇形灰度化正位字符图像的外径。

根据以上公式将扇形中的像素点赋值给矩形图像中对应的像素点，从而将扇形区域展开为矩形，如图10所示。字符旋转后，仅对扇形区域进行矩形展开，可避免二次字符定位，提高识别效率。

步骤8、标识符识别：采用CRNN网络和BLSTM网络相结合的方法，对步骤7获得的矩形字符中的每个标识符均进行识别。

上述CRNN网络和BLSTM网络相结合，识别标识符的方法，具体包括如下步骤。

步骤81、构建CRNN网络

CRNN网络的输入为矩形字符，CRNN网络将矩形字符转换为设定尺寸的512个特征图，并按从左至右顺序输出每个特征图的特征向量序列；其中，每个特征向量序列均包括若干个特征向量，每个特征向量的宽×高尺寸分别为160像素×32像素。

本发明基于CRNN的标识符识别，将文本识别转化为时序依赖的序列学习问题，通过数据采集、训练和迁移学习完成对标识符的识别，其网络结构与实现原理如图11所示。

学习特征时，样本集的xml文件中包括经阈值和形态处理的图像和字符标签。识别过程中，先使用标准的CNN网络通过卷积核卷积提取像素灰度值，即提取文本图像的特征，得到512个特征图，每个特征图的高度为1，宽度为40。从特征图中提取特征向量序列，每一个特征向量在特征图上按列从左到右生成，每一列包含512维特征，即第n个特征向量是所有的特征图第n列像素的连接。

步骤82、构建BLSTM网络：BLSTM网络的输入为所有特征图的特征向量序列，输出为从左至右按顺序排列的标识符。

每个特征向量相当于原图中的一小块矩形区域，并作为循环网络RNN在一个时间步长的输入。由于在基于图像的序列中，两个方向的上下文是相互有用且互补的，故采用一个向前和一个向后的LSTM网络组合成一个双向LSTM网络，即BLSTM，将特征向量进行融合，提取字符序列的上下文特征，然后得到每列特征的概率分布，输出40个长度为字符类别数的向量构成的后验概率矩阵。最后通过转录层(CTC)进行预测得到文本序列。转录是将RNN对每个特征向量所做的预测转换成标签序列的过程，即根据每帧预测找到具有最高概率组合的标签序列，最后通过blank机制删除重复字符。

步骤83、标识符识别：将步骤7形成的矩形字符，输入步骤81构建的CRNN网络中，并将CRNN网络的输出作为BLSTM网络的输入，经过步骤82构建的BLSTM网络进行学习，进而得到从左至右按顺序排列的标识符。

本发明利用BLSTM和CTC学习到文本图像中的上下文关系，从而有效提升文本识别准确率，使得模型更加鲁棒。在训练阶段，CRNN将训练图像统一缩放为160×32(w×h)；在测试阶段，针对字符拉伸会导致识别率降低的问题，CRNN保持输入图像尺寸比例，但是必须统一图像高度为32个像素，卷积特征图的尺寸动态决定LSTM的时序长度(时间步长)。由于LSTM网络中存在cell state的传递，因此在字符存在一定磨损的情况下，仍能保持较高的识别正确率，同时能减小识别时间，提高识别效率。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (8)

1.一种基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：包括如下步骤：

步骤1、采集车辆侧面图像：采用高速相机对静止或运动中车辆的侧面图像进行采集；

步骤2、拍摄轮胎字符图像，包括如下步骤：

步骤21、轮胎定位：高速相机根据步骤1采集的车辆图像，进行轮胎识别与定位；

步骤22、轮胎对焦：根据定位的轮胎位置，对轮胎进行自动对焦，获取轮胎侧壁图像：

步骤23、拍摄轮胎字符图像：对轮胎侧壁图像中含有字符的区域进行放大拍摄，得到设定矩形尺寸的轮胎字符图像；

步骤3、字符定位：对轮胎字符图像中的字符进行定位；

步骤4、字符变正位：对字符定位后的轮胎字符图像，取轮胎中心点为原点，以竖直向上方向为旋转基线；对轮胎字符图像中的字符进行旋转，直至字符变为正位；

步骤5、分割字符图像：将变为正位的字符从轮胎字符图像中进行裁剪，形成扇形的正位字符图像；

步骤6、阈值处理：将扇形正位字符图像，依次进行滤波去噪、阈值处理和等比缩放，得到设定扇形尺寸的灰度化正位字符图像；

步骤7、字符形态处理：将设定扇形尺寸的灰度化正位字符图像，通过坐标转换的方式展开成矩形字符；

步骤8、标识符识别：采用CRNN网络和BLSTM网络相结合的方法，对步骤7获得的矩形字符中的每个标识符均进行识别。

2.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：步骤8中，CRNN网络和BLSTM网络相结合，识别标识符的方法，具体包括如下步骤：

步骤81、构建CRNN网络：CRNN网络的输入为矩形字符，CRNN网络将矩形字符转换为设定尺寸的512个特征图，并按从左至右顺序输出每个特征图的特征向量序列；其中，每个特征向量序列均包括若干个特征向量，每个特征向量的宽×高尺寸分别为160像素×32像素；

步骤82、构建BLSTM网络：BLSTM网络的输入为所有特征图的特征向量序列，输出为从左至右按顺序排列的标识符；

步骤83、标识符识别：将步骤7形成的矩形字符，输入步骤81构建的CRNN网络中，并将CRNN网络的输出作为BLSTM网络的输入，经过步骤82构建的BLSTM网络进行学习，进而得到从左至右按顺序排列的标识符。

3.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：步骤1中，将高速相机安装在收费站或单车道道路的两侧，实现对车辆图像的采集。

4.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：步骤21中，采用YOLO-V5网络实现对步骤1采集车辆图像的轮胎识别与定位；其中，YOLO-V5网络在搭建时所采用的样本数据集，应选取500张以上昏暗环境下的车辆照片和500张以上光照充足条件下的车辆照片，通过lableimg应用在车辆图像中用矩形框选出轮胎，并储存成xml文件；经过YOLO-V5网络对轮胎特征进行学习、测试与验证，学习准确率能达到90％以上。

5.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：步骤3中，采用PSENet网络实现对轮胎字符图像中的字符定位；其中，PSENet网络在搭建时所采用的样本数据集的获取方法为：分别选取500张以上光线充足字符清晰、存在字符磨损的轮胎照片和光线昏暗条件下拍摄的轮胎字符图像，通过lableme工具从文字区域的左上位置开始，沿文字轮廓按顺时针顺序，经过文字区域的右下位置，在文字轮廓上方与下方各用不含左上与右下位置的7个点勾勒目标，生成字符定位的样本数据集；PSENet网络对昏暗条件下的轮胎字符和存在磨损的轮胎字符，学习准确率能达到85％以上。

6.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：步骤4中字符变正位的方法，具体包括如下步骤：

步骤41、建立坐标系：取轮胎中心点为原点O，取图片中轮胎最上方点为基准点A，以位于竖直向上方向的OA连线为0角度的旋转基线，建立笛卡尔直角坐标系；

步骤42、计算旋转角

将字符定位后的轮胎字符图像的中心记为点B(x_B,y_B)，将OA以顺时针方向转到OB的夹角记为旋转角

则旋转角

的计算公式为：

步骤43、字符旋转：将字符定位后的轮胎字符图像，顺时针旋转步骤42计算的旋转角

从而使得轮胎字符图像中的字符变为正位。

7.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：步骤6中的阈值处理采用OpenCV阈值化处理。

8.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法，其特征在于：步骤7中，在同一笛卡尔直角坐标下，设扇形灰度化正位字符图像上任意一点D的坐标为(x,y)，点D在矩形字符中的坐标为(X,Y)，则(X,Y)与(x,y)满足如下转换关系式：

x＝c_x+(R-Y)·sin(X/R)

y＝c_y-(R-Y)·cos(X/R)

式中，c_x,c_y为扇形灰度化正位字符图像的圆心的横纵坐标值；R为扇形灰度化正位字符图像的外径。

Images