CN113642580B - 一种轮胎压印字符的定位与识别方法 - Google Patents

Abstract

本发明公开了一种轮胎压印字符的定位与识别方法。本发明主要解决的技术问题是在轮胎轮毂的自动化装配线上对目标压印字符进行定位与识别，包括如下步骤：利用工业相机在暗房中对轮胎图像进行采集；对采集的图像进行预处理；对定位模块进行训练；对识别模块进行训练；通过字符串规则对识别结果进行校验。本发明的轮胎压印字符定位与识别方法主要针对某款特定轮胎、在短时间内且数据集较少的情况下能够准确定位出目标压印字符的位置并进行识别，具有较高的创新性和实用性，为后续提取目标字符中的关键信息奠定了基础。

Description

一种轮胎压印字符的定位与识别方法

技术领域

本发明涉及一种字符的定位与识别方法，具体涉及一种轮胎压印字符的定位与识别方法，属于机器视觉与机器学习技术领域。

背景技术

在轮胎轮毂自动化装配线上，由于在轮胎与轮毂上料时，有时会出现误上现象，现通过机器视觉的方式对装配前的轮胎和轮毂中的关键字符串进行识别，提取其中的重要信息以用来检测是否出现误上现象；而传统的方式只能人为通过肉眼去观察，不仅效率缓慢，而且识别准确率相比机器视觉还会有所降低，因此通过机器视觉和深度学习相结合的方式将成为未来自动化生产线、装配线以及检测线上必然趋势。

而轮胎压印字符顾名思义，是通过模具使物体表面产生凹凸形变压印而成；压印字符与传统字符相比，主要是通过光线照射字符与背景之间的高度差而产生阴影进行区分，因此压印字符有如下特点：(1)字符与背景之间的对比度不高。(2)字符易出现不完整现象。(3)模具数量有限，因此压印字符的字体是有限且工整的。(4)易出现字符倾斜的现象。

要定位以及识别拥有以上特点的压印字符，传统的OCR技术会出现大量的误识别现象，并且在自动轮胎装配线上，其定位与识别环境也拥有如下特征：(1)由于相机视野焦距固定，同时要求相机视野包括整个轮胎，因此要求相机像素非常高，图片处理时间会相应增加。(2)由于是对轮胎进行装配，所以字符上可能会有污渍等干扰因素。(3)在庞大像素且较为复杂的背景下，目标字符串占的像素点数量较少，传统的定位方式也无法直接找出字符串位置。

因此，为了解决以上技术问题，确实有必要提供一种准确率更高同时针对轮胎压印字符的定位与识别方法，以用来克服现有的技术中所述的缺陷。

发明内容

为解决上述问题，本发明目的在于提供一种轮胎压印字符的定位与识别方法，此方法可以针对某款特定轮胎在短时且少量数据集的情况下对其进行训练之后，在自动化装配线上准确定位并识别目标字符串。

为实现上述目的，本发明采取的技术方案为：一种轮胎压印字符的定位与识别方法，包括如下步骤：

步骤1)将轮胎至于装有环形光源的暗房中，将光照强度调到最大同时适当的减少曝光时间对轮胎图像进行采集；

步骤2)对步骤1)中采集到的图像进行预处理，找取轮胎中心即圆心，并通过坐标转换的方式将步骤1)图像中的圆环形胎面展开成矩形；

步骤3)对步骤2)中的矩形图像进行ROI区域的框选，同时生成可解析的xml文件，其中xml文件保存的是以box为标签，且box标签下保存的数值分别为目标矩形框的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；

步骤4)对步骤2)中的矩形图像和步骤3)中框选的ROI区域输入到定位模块进行训练，得到相应的网络特征参数；

步骤5)对步骤2)中的矩形图像通过步骤4)得到的定位模块定位出相应的ROI区域并返回步骤1)中采集到的原图像上的角度信息；

步骤6)对步骤2)中的矩形图像通过步骤3)中的xml文件与步骤5)中的角度信息得到目标字符串的角度信息并将扇形目标字符展开成矩形，同时通过一种线性变换的方法增强字符串阴影与背景的对比度以用于后续网络更好的找到目标字符串的特征；

步骤7)对步骤6)中的矩形图像进行识别模块的网络特征提取得到相应的网络特征参数；

步骤8)对步骤1)中采集到的图像通过步骤2)展开变换、步骤4)中的定位模块与步骤7)中的识别模块进行压印字符的定位与识别。

进一步的，步骤2)中所述预处理包括步骤1)中采集到的图像进行降像素处理，之后将图像灰度化，并通过霍夫圆变换的方式寻找圆心，所述降像素处理采用OpenCV中的Resize操作，采用的是双线性插值法。

进一步的，步骤2)中的圆环形胎面展开成矩形的实现方式如下；

根据圆环形图像与矩形图像之间的对应关系，可以得到圆环图像某一个半径R_1下的坐标方程为：(x-p_x)²+(y-p_y)²＝R_1²，其中x，y为对应半径下的某点的横、纵坐标，p_x，p_y为圆心的横纵坐标；圆周上的点的横纵坐标与圆心横纵坐标的关系如下：

展开后的矩形的宽度即为圆环形胎皮的宽度h，矩形长度为l＝2*π*R，R为圆环的外径，根据上述公式可知，矩形上对应的横、纵坐标(col,row)与圆环形图像上对应点(x,y)之间的关系为：

x＝p_x+(R-row)*sin(col/R)

y＝p_y-(R-row)*cos(col/R)

因此，根据以上公式将圆环形中的像素值赋值给矩形图像中对应的像素点。

进一步的，所述定位模块为Faster-RCNN。

进一步的，步骤4)中的xml文件中至少包括一组对应的box1标签和box2标签，其中box1标签保存的是ROI区域，即品牌的位置坐标，box2标签保存的是目标字符串的位置坐标。

进一步的，步骤5)中的原图像上的角度信息的获取方式如下；

原图像上的角度信息的定义为：以轮胎中心为圆心，12点钟方向为0度角，col₁为矩形的长，对应到步骤1)的图像上也就是弧长，R为半径，它们的比值也就是弧长对应的圆心角，圆心角起始位置为12点钟方向，终止位置为ROI区域的左上角与轮胎中心连线，角度信息即为步骤1)中图像12点钟方向与ROI起始位置与中心连线之间的夹角；

根据定位模块中返回的数组np₁可以得到ROI区域左上角的坐标点和右下角的坐标点，np₁中的第一个元素即为ROI区域的最左侧的横坐标col₁，对应在步骤1)中采集到的图像上的角度值为col₁/R，第二个元素为ROI区域左上角的纵坐标为row₁，第三个元素为ROI区域右下角的横坐标为col₂，第四个元素为ROI区域右下角的横坐标为row₂。

进一步的，步骤6)中通过解析步骤4)中的xml文件，计算品牌的box1标签与目标字符串的box2标签之间的关系，从而得到品牌与目标字符串之间的角度关系，Δtheta＝(box2_start-box1_start)/R，Δtheta为品牌与目标字符串起始位置之间的角度差值；同时结合步骤5)得到的训练好的定位模块，自动定位出目标字符串位置并得到其展开后图像，返回目标字符串的开始角度和结束角度信息，计算公式如下：

theta1＝(return-box1_start+box2_start)/R

theta2＝(return+box2_end-box1_start)/R

其中theta1与theta2为步骤1)中采集到的图像上对应目标字符串的开始和结束角度；return为步骤5)中训练好的定位模块识别之后返回的ROI区域的左上角的横坐标；box1_start为步骤4)中的xml文件对应的box1标签下的第一个值；box2_start与box2_end为步骤4)中的xml文件对应的box2标签下的第一个值与第三个值；R为展开时圆环图像对应的外径。

进一步的，步骤6)中所述线性变换的方法的具体实现过程如下；

k＝255/(max₀-min₀)

b＝-k*min₀

img₁＝k*img₀+b

其中，max₀和min₀分别为目标字符串灰度图像中的像素最大值与最小值，img₁为增加对比度之后的图像，img₀为增强对比度之前的图像。

进一步的，所述识别模块通过迁移学习的方式获得。

与现有技术相比，本发明的优点和有益效果：本发明可以实现轮胎装配线上全自动定位和识别目标字符串；同时具有训练时间短、数据集小，整个定位与识别的时间较短而准确率较高等优点，具有较高的创新性和实用性，为后续提取目标字符中的关键信息奠定了基础。

附图说明

图1为本发明一种轮胎压印字符的定位与识别方法的流程图。

图2为本发明轮胎压印字符定位模块的原理图。

图3为本发明轮胎压印字符识别模块的原理图。

图4为本发明胎皮区域展开后及ROI区域与目标字符串区域示意图。

图5为本发明目标字符串增强对比度前后示意图。

具体实施方式

以下结合附图说明和具体实施方式对本发明做进一步详细的说明。

参见图1-图3，一种轮胎压印字符的定位与识别方法，该方法包括以下步骤：

步骤1)将轮胎至于装有环形光源的暗房中，将光照强度调到最大同时适当的减少曝光时间对轮胎图像进行采集；

步骤2)对步骤1)中采集到的图像进行预处理，找取轮胎中心并通过坐标转换的方式将步骤1)照片中的圆环形胎面展开成矩形；

步骤3)对步骤2)中的矩形图像进行目标的框选，同时生成可解析的xml文件；

步骤4)对步骤2)中的矩形图像和步骤3)中框选的ROI区域进行定位模块的训练，得到相应的网络特征参数；

步骤5)对步骤2)中的矩形图像通过步骤4)得到的定位模块定位出相应的ROI区域并返回步骤1)中采集到的原图像上的角度信息；

步骤6)对步骤2)中的矩形图像通过步骤3)中的解析文件与步骤5)中的角度信息得到目标字符串的角度信息并将扇形目标字符串展开成矩形，同时通过一种线性变换的方法增强字符阴影与背景的对比度以用于后续网络更好的找到目标字符串的特征；

步骤7)对步骤6)中的矩形图片进行识别模块的网络特征提取得到相应的网络特征参数；

步骤8)对步骤1)中采集到的图像通过步骤2)展开变换、步骤4)中的定位模块与步骤7)中的识别模块进行压印字符的定位与识别。

步骤1)中，由于某款特定轮胎型号一样，因此对整个图像影响最大的即为光照影响，应使打光尽量均匀，本发明采用环形光源，同时增加光照强度以用来提高压印字符与背景的对比度，同时减少曝光时间来使整个轮胎照片尽可能光照均匀，同时对比度明显。

步骤2)中，圆环形胎面展开成矩形；

根据圆环形图像与矩形图像之间的对应关系，可以得到圆环图像某一个半径R_1下的坐标方程为：(x-p_x)²+(y-p_y)²＝R_1²,其中x,y为对应半径下的某点的横、纵坐标，p_x,p_y为圆心的横纵坐标；圆周上的点的横纵坐标与圆心横纵坐标的关系如下：

展开后的矩形的宽度即为圆环形胎皮的宽度h,矩形长度为l＝2*π*R，R为圆环的外径，根据上述公式可知，矩形上对应的横、纵坐标(col,row)与圆环形图像上对应点(x,y)之间的关系为：

x＝p_x+(R-row)*sin(col/R)

y＝p_y-(R-row)*cos(col/R)

因此，可以根据以上公式将圆环形中的像素值赋值给矩形图像中对应的像素点。

步骤5)中，原图像上的角度信息的获取方式如下；

所述定位模块的具体实现过程如图2所示，根据定位模块中返回的数组np₁可以得到ROI区域左上角的坐标点和右下角的坐标点，np₁中的第一个元素即为ROI区域左上角的横坐标col₁，对应在步骤1)中采集到的图像上的角度值为col₁/R，第二个元素为ROI区域左上角的纵坐标为row₁，第三个元素为ROI区域右下角的横坐标为col₂，第四个元素为ROI区域右下角的横坐标为row₂。图像上的角度值是指以轮胎中心为圆心，12点钟方向为0度角，col₁为矩形的长，对应到步骤1)的图像上也就是弧长，R为半径，它们的比值也就是弧长对应的圆心角，圆心角起始位置为12点钟方向，终止位置为ROI区域的左上角与轮胎中心连线，角度值即为步骤1)中图像12点钟方向与ROI起始位置与中心连线之间的夹角。

步骤7)中，识别模块的具体实现过程如图3所示；

针对某款特定轮胎，其目标字符串的字体基本类似，但由于在实际装配环境下不可能收集大量数据集，因此可以利用基于特征的迁移学习，通过一个识别网络为与训练模型，使用少量的字符图片进行训练，从而得到最适用于当下这款特定轮胎的网络特征参数，最后对定位好的字符图像进行识别。

实施例：

参见图1，一种轮胎压印字符的定位与识别方法，该方法包括以下步骤：

步骤1)首先在暗房中通过工业相机对轮胎图像进行采集，这里选取的工业相机的像素是2500万像素的彩色相机，采用的是一个环形光源加四边四个长条形灯管，并且光照强度都开到最大，曝光时间调至160ms，同时暗房中定中装置使轮胎中心正对相机镜头，进行图像采集。

步骤2)对步骤1)中采集到的图像进行降像素处理，以用来节省步骤3)中的展开时间；降像素处理采用OpenCV中的Resize操作，采用的是双线性插值法(INTER_LINEAR)，缩放比例长和宽都变为原来的1/5；之后将图像灰度化，以用来更精确的寻找轮胎的圆心；通过霍夫圆变换的方式寻找圆心，其中圆度值选取为600，最大和最小半径分别为500和150像素，从而可以准确定位出轮胎照片的圆心。

步骤3)通过选取合适圆环图像的内径和外径以及步骤2)中确定的圆心，同时根据圆环形图像与矩形图像之间的对应关系，可以得到圆环图像某一个半径R_1下的坐标方程为：(x-p_x)²+(y-p_y)²＝R_1²,其中x,y为对应半径下的某点的横、纵坐标，p_x,p_y为圆心的横纵坐标；圆周上的点的横纵坐标与圆心横纵坐标的关系如下：

展开后的矩形的宽度即为圆环形胎皮的宽度h,矩形长度为l＝2*π*R，R为圆环的外径，根据上述公式可知，矩形上对应的横、纵坐标(col,row)与圆环形图像上对应点(x,y)之间的关系为：

x＝p_x+(R-row)*sin(col/R)

y＝p_y-(R-row)*cos(col/R)

因此，可以根据以上公式将圆环形中的像素值赋值给矩形图像中对应的像素点。其中在此款特定轮胎圆心坐标为(584，464)，选取圆环的外径为360，内径为290。

步骤4)采集一定数量的轮胎图像，并进行展开以用来制作数据集；数据集主要通过将ROI区域保存在一个对应的xml文件中，xml文件主要保存的是以box为标签；如图4所示，box1保存的是图4中ROI区域也就是品牌的位置坐标，box2中保存的是图4中目标字符串位置坐标，且每一个box标签下保存的数值分别为目标矩形框的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标。

步骤5)将数据集通过以ResNet50层的卷积神经网络为基础的Faster-RCNN进行训练，由于特征较为简单、单一且明显，因此训练的轮数为30轮，学习率为0.005；这样将步骤3)中展开的矩形图像输送到训练好的神经网络中，神经网络可以以较高准确率的识别出品牌的位置并同时返回品牌的位置信息，将位置信息通过转换得到步骤1)中采集到图像上的角度信息，即以轮胎中心为圆心，12点钟方向为0度角，col₁为矩形的长，对应到步骤1)的图像上也就是弧长，R为半径，它们的比值也就是弧长对应的圆心角，圆心角起始位置为12点钟方向，终止位置为ROI区域的左上角与轮胎中心连线。角度信息即为步骤1)中图像12点钟方向与ROI起始位置与中心连线之间的夹角。

步骤6)通过解析步骤4)中的xml文件，计算品牌的box1标签与目标字符串的box2标签之间的关系，从而得到品牌与目标字符串之间的角度关系，Δtheta＝(box2_start-box1_start)/R，Δtheta为品牌与目标字符串起始位置之间的角度差值；同时结合步骤5)得到的训练好的神经网络，可自动定位出目标字符串位置并得到其展开后图像，返回的目标字符串的开始角度和结束角度信息计算公式如下：

theta1＝(return-box1_start+box2_start)/R

theta2＝(return+box2_end-box1_start)/R

其中theta1与theta2为步骤1)中采集到的图像上对应目标字符串的开始和结束角度；return为步骤5)中训练好的神经网络识别之后返回的ROI区域的左上角的横坐标box1_start为步骤4)中的xml文件对应的box1标签下的第一个值；box2_start与box2_end为步骤4)中的xml文件对应的box2标签下的第一个值与第三个值；R为展开时圆环图像对应的外径。

同时，为了后续在识别目标字符串时达到一定的准确性，现通过一种线性变换的方式增强目标字符与背景之间的对比度：

k＝255/(max₀-min₀)

b＝-k*min₀

img₁＝k*img₀+b

其中，max₀和min₀分别为目标字符串灰度图片中的像素最大值与最小值，img₁为增加对比度之后的图片，img₀为增强对比度之前的图片，增强对比度前后如图5所示。

步骤7)对步骤6)中得到的目标字符串图像通过迁移学习的方式进行训练，这里由于是采用已经具有一定特征参数的与训练网络，因此选择训练的轮数为10轮，选择的学习率为0.001，训练好之后的神经网络即为识别模块。

步骤8)对步骤1)中采集到的图像通过步骤3)展开变换、步骤5)中的定位模块与步骤7)中的识别模块进行压印字符的识别，同时根据目标字符串中一定的编码规则对识别结果进行一个自检查纠错，以提高最终的识别准确率。

传统的NCC或者是直接使用卷积神经网络进行定位，定位结果正确率仅仅只有90％以上，而本发明采用的定位方法在定位准确率上高达96％；而传统的识别网络在压印字符识别上准确率一般在95％左右，而本发明通过迁移学习转变网络参数的权重之后使整个识别模块的准确率达到99％。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种轮胎压印字符的定位与识别方法，其特征在于：包括如下步骤：

步骤1)将轮胎至于装有环形光源的暗房中，将光照强度调到最大同时适当的减少曝光时间对轮胎图像进行采集；

步骤2)对步骤1)中采集到的图像进行预处理，找取轮胎中心即圆心，并通过坐标转换的方式将步骤1)图像中的圆环形胎面展开成矩形；

步骤2)中的圆环形胎面展开成矩形的实现方式如下；

根据圆环形图像与矩形图像之间的对应关系，得到圆环图像某一个半径R_1下的坐标方程为：(x-p_x)²+(y-p_y)²＝R_1²，其中x，y为对应半径下的某点的横、纵坐标，p_x，p_y为圆心的横纵坐标；圆周上的点的横纵坐标与圆心横纵坐标的关系如下：

展开后的矩形的宽度即为圆环形胎皮的宽度h，矩形长度为l＝2*π*R，R为圆环的外径，根据上述公式可知，矩形上对应的横、纵坐标(col，row)与圆环形图像上对应点(x，y)之间的关系为：

x＝p_x+(R-row)*sin(col/R)

y＝p_y-(R-row)*cos(col/R)

因此，根据以上公式将圆环形中的像素值赋值给矩形图像中对应的像素点；

步骤3)对步骤2)中的矩形图像进行ROI区域的框选，同时生成可解析的xml文件，其中xml文件保存的是以box为标签，且box标签下保存的数值分别为目标矩形框的左上角横坐标、左上角纵坐标、右下角横坐标与右下角纵坐标；

步骤4)对步骤2)中的矩形图像和步骤3)中框选的ROI区域输入到定位模块进行训练，得到相应的网络特征参数；

步骤5)对步骤2)中的矩形图像通过步骤4)得到的定位模块定位出相应的ROI区域并返回步骤1)中采集到的原图像上的角度信息；

步骤5)中的原图像上的角度信息的获取方式如下；

原图像上的角度信息的定义为：以轮胎中心为圆心，12点钟方向为0度角，col₁为矩形的长，对应到步骤1)的图像上也就是弧长，R为半径，它们的比值也就是弧长对应的圆心角，圆心角起始位置为12点钟方向，终止位置为ROI区域的左上角与轮胎中心连线，角度信息即为步骤1)中图像12点钟方向与ROI起始位置与中心连线之间的夹角；

根据定位模块中返回的数组np₁得到ROI区域左上角的坐标点和右下角的坐标点，np₁中的第一个元素即为ROI区域的最左侧的横坐标col₁，对应在步骤1)中采集到的图像上的角度值为col₁/R，第二个元素为ROI区域左上角的纵坐标为row₁，第三个元素为ROI区域右下角的横坐标为col₂，第四个元素为ROI区域右下角的纵坐标为row₂；

步骤6)对步骤2)中的矩形图像通过步骤3)中的xml文件与步骤5)中的角度信息得到目标字符串的角度信息并将扇形目标字符展开成矩形，同时通过线性变换的方法增强字符串阴影与背景的对比度以用于后续网络更好的找到目标字符串的特征；

步骤6)中通过解析步骤3)中的xml文件，计算品牌的box1标签与目标字符串的box2标签之间的关系，从而得到品牌与目标字符串之间的角度关系，Δtheta＝(box2_start-box1_start)/R，Δtheta为品牌与目标字符串起始位置之间的角度差值；同时结合步骤5)得到的训练好的定位模块，自动定位出目标字符串位置并得到其展开后图像，返回目标字符串的开始角度和结束角度信息，计算公式如下：

theta1＝(return-box1_start+box2_start)/R

theta2＝(return+box2_end-box1_start)/R

其中theta1与theta2为步骤1)中采集到的图像上对应目标字符串的开始和结束角度；return为步骤5)中训练好的定位模块识别之后返回的ROI区域的左上角的横坐标；box1_start为步骤4)中的xml文件对应的box1标签下的第一个值；box2_start与box2_end为步骤4)中的xml文件对应的box2标签下的第一个值与第三个值；R为展开时圆环图像对应的外径；

步骤7)对步骤6)中的矩形图像进行识别模块的网络特征提取得到相应的网络特征参数；

步骤8)对步骤1)中采集到的图像通过步骤2)展开变换、步骤4)中的定位模块与步骤7)中的识别模块进行压印字符的定位与识别。

2.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：步骤2)中所述预处理包括步骤1)中采集到的图像进行降像素处理，之后将图像灰度化，并通过霍夫圆变换的方式寻找圆心，所述降像素处理采用OpenCV中的Resize操作，采用的是双线性插值法。

3.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：所述定位模块为Faster-RCNN。

4.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：步骤3)中的xml文件中包括一组对应的box1标签和box2标签，其中box1标签保存的是ROI区域，即品牌的位置坐标，box2标签保存的是目标字符串的位置坐标。

5.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：步骤6)中所述线性变换的方法的具体实现过程如下；

k＝255/(max₀-min₀)

b＝-k*min₀

img₁＝k*img₀+b

其中，max₀和min₀分别为目标字符串灰度图像中的像素最大值与最小值，img₁为增强对比度之后的图像，img₀为增强对比度之前的图像。

6.根据权利要求1所述的一种轮胎压印字符的定位与识别方法，其特征在于：所述识别模块通过迁移学习的方式获得。