CN108918536A - 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种轮胎模具表面字符缺陷检测方法、装置、设备及存储介质，包括：分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；将识别出的模具字符区域中的模具字符去匹配识别出的CAD字符区域中的CAD字符，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上；通过定位结果判断出模具字符与对应的CAD字符是否存在漏印、多印或错印；通过改进的Siamese相似度判别网络检测出模具字符中每个单字符与对应的CAD字符中每个单字符是否存在字体缺陷。这样定位精准，通过深度学习可以实现不同模态图片之间的缺陷判别，对大量数据和复杂背景噪声干扰的鲁棒性更高，准确率高，实时性能好。

Description

轮胎模具表面字符缺陷检测方法、装置、设备及存储介质

技术领域

本发明涉及图像处理领域，特别是涉及一种轮胎模具表面字符缺陷检测方法、装置、设备及存储介质。

背景技术

轮胎模具作为橡胶轮胎硫化过程中重要的工具，其表面携带的花纹、图案以及字符等标识反映了橡胶轮胎自身的一些性能与特性。假若生产出来的轮胎模具表面标识存在错印、漏印和多印甚至字体缺陷等错误的情况，不仅会给企业带来严重的经济损失，同时对用户也造成巨大的安全隐患。轮胎模具表面的字符是通过刻印生成的凹凸字符，它在视觉上是通过字符区域与背景区域对光线的不同反射而产生的图像。而且所采集的图片具有灰度不均匀、字符笔画断裂以及与背景灰度差别不明显等特性，这些给轮胎模具字符的检测和识别带来极大的困难。

现阶段对于轮胎模具表面字符缺陷检测大多数都是通过人工实现的。然而采用人工检测不仅费时费力，检测效率低，当数据量大大提高的同时对数据具有的噪声的鲁棒性不强，而且对人工的经验和熟练程度要求很高，容易出现漏检误检等情况。

因此，为了满足自动化的高效性要求，需要设计一种高效准确的轮胎模具表面字符缺陷检测方法。

发明内容

有鉴于此，本发明的目的在于提供一种轮胎模具表面字符缺陷检测方法、装置、设备及存储介质，将深度学习技术应用在该方法中，进而提高鲁棒性、准确率和实时性能。其具体方案如下：

一种轮胎模具表面字符缺陷检测方法，包括：

分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；

将识别出的所述模具字符区域中的模具字符去匹配识别出的所述CAD字符区域中的CAD字符，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上；

通过定位结果判断出所述模具字符与对应的所述CAD字符是否存在漏印、多印或错印；

通过改进的Siamese相似度判别网络检测出所述模具字符中每个单字符与对应的所述CAD字符中每个单字符是否存在字体缺陷。

优选地，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，改进的Siamese相似度判别网络中卷积层采用并行的多尺寸卷积结构，最后的全连接层输出一个用来表示所述模具字符和所述CAD字符之间相似度的神经元。

优选地，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，改进的Siamese相似度判别网络包括三个卷积层，每个卷积层由两个并联卷积核层组成；其中，第一个并联卷积核层由多个相同大小卷积核的卷积并联组成，第二个并联卷积核层由多个不同大小卷积核的卷积组成，且依次连接在第一个并联卷积核层的后面；最后把每个卷积层里得到的所有特征图融合起来，作为下一个卷积层或池化层的输入。

优选地，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别，具体包括：

采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测；

对CAD图进行二值化处理后采用闭运算和连通域方法分割提取出所述CAD图上的CAD字符区域；

采用卷积神经网络结合双向长短时记忆网络分别识别出所述模具字符区域中的字符和所述CAD字符区域中的字符。

优选地，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，在采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测之前，还包括：

将采集的轮胎模具图片建立成轮胎模具图片数据集样本；

将建立的所述轮胎模具图片数据集样本进行模具字符区域位置的标注，获取所述模具字符区域中模具字符的位置信息，作为训练数据；

采取数据增广策略对所述样本进行物理变换，扩充所述训练数据；

将扩充后的所述训练数据进行标签后输入至改进的SSD检测网络进行训练。

优选地，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，采用卷积神经网络结合双向长短时记忆网络分别识别出所述模具字符区域中的字符和所述CAD字符区域中的字符，具体包括：

采用卷积神经网络分别提取改进的SSD检测网络检测到的模具字符区域样本和CAD字符区域样本的特征向量；

将所述模具字符区域样本的特征向量和所述CAD字符区域样本的特征向量分别输入至双向至长短时记忆网络进行训练；

通过训练好的所述双向至长短时记忆网络分别识别出所述模具字符区域中的模具字符和所述CAD字符区域中的CAD字符；

通过学习到的文字时序性对外形相近的字符进行区分。

优选地，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，在将所述待测轮胎模具图片定位到所述CAD图的相应位置上之后，还包括：

确定相机拍摄得到的相邻待测轮胎模具图片之间的平移系数；

根据确定的所述平移系数，对定位结果进行校验。

本发明实施例还提供了一种轮胎模具表面字符缺陷检测装置，包括：

检测识别模块，用于分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；

匹配定位模块，用于将识别出的所述模具字符区域中的模具字符去匹配识别出的所述CAD字符区域中的CAD字符，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上；

判断模块，用于通过定位结果判断出所述模具字符与对应的所述CAD字符是否存在漏印、多印或错印；

缺陷检测模块，用于通过改进的Siamese相似度判别网络检测出所述模具字符中每个单字符与对应的所述CAD字符中每个单字符是否存在字体缺陷。

本发明实施例还提供了一种轮胎模具表面字符缺陷检测设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述轮胎模具表面字符缺陷检测方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述轮胎模具表面字符缺陷检测方法。

本发明所提供的一种轮胎模具表面字符缺陷检测方法、装置、设备及存储介质，该方法包括：分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；将识别出的模具字符区域中的模具字符去匹配识别出的CAD字符区域中的CAD字符，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上；通过定位结果判断出模具字符与对应的CAD字符是否存在漏印、多印或错印；通过改进的Siamese相似度判别网络检测出模具字符中每个单字符与对应的CAD字符中每个单字符是否存在字体缺陷。本发明将深度学习技术应用到字符缺陷检测工作中，能够避免大规模的图像处理和人工操作，通过双识别结果匹配的框架让待测轮胎模具图片精准定位到CAD图上相应位置，操作简单且有效，使用改进的Siamese相似度判别网络对单字符进行缺陷，从而实现不同模态图片之间的缺陷判别，这样对大量数据和复杂的背景噪声干扰的鲁棒性更高，在实时性上取得的性能更好，准确率更高，更适合实际的工作生产过程。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的轮胎模具表面字符缺陷检测方法的流程图；

图2为本发明实施例提供的改进的SSD检测网络的结构示意图；

图3a为本发明实施例提供的轮胎模具字符区域的真实标签框；

图3b为本发明实施例提供的在5×5的特征图上不同尺度和纵横比的默认框分布；

图3c为本发明实施例提供的在10×10的特征图上不同尺度和纵横比的默认框分布；

图4为本发明实施例提供的卷积神经网络和双向长短时记忆网络的结构示意图；

图5为本发明实施例提供的轮胎模具图像定位后的效果图；

图6a为本发明实施例提供的模具字符图与其对应CAD字符图的正确正样本；

图6b为本发明实施例提供的模具字符图与其对应CAD字符图的正确负样本；

图7为本发明实施例提供的改进的Siamese网络的结构示意图；

图8为本发明实施例提供的轮胎模具表面字符缺陷检测方法的具体流程图；

图9为本发明实施例提供的图8各步骤产生的效果图；

图10为本发明实施例提供的轮胎模具表面字符缺陷检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种轮胎模具表面字符缺陷检测方法，如图1所示，包括以下步骤：

S101、分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；

S102、将识别出的模具字符区域中的模具字符去匹配识别出的CAD字符区域中的CAD字符，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上；

需要说明的是，这是基于双识别匹配结果的图片定位，在分别识别出模具字符区域中的模具字符以及CAD字符区域中的CAD字符之后，根据识别结果进行匹配，当模具字符所匹配到的CAD字符都集中在CAD图某个区域，那么该CAD图的区域便是待测轮胎模具图片所定位到的在整张CAD图的相应位置上；

S103、通过定位结果判断出模具字符与对应的CAD字符是否存在漏印、多印或错印；

S104、通过改进的Siamese相似度判别网络检测出模具字符中每个单字符与对应的CAD字符中每个单字符是否存在字体缺陷。

在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，应用深度学习技术，能够避免大规模的图像处理和人工操作，具体首先检测与识别待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域，然后通过双识别结果匹配的框架让待测轮胎模具图片精准定位到CAD图上相应位置，最后使用改进的Siamese相似度判别网络对单字符进行缺陷，从而实现不同模态图片之间的缺陷判别，这样对大量数据和复杂的背景噪声干扰的鲁棒性更高，在实时性上取得的性能更好，准确率更高，更适合实际的工作生产过程。

另外，需要注意的是，在对待测轮胎模具图片上的第一字符区域进行检测之前，还可以包括：对待测轮胎模具图片进行预处理。

具体地，在实际应用中，检测前可以先采用导向滤波对待测轮胎模具图进行预处理，然后利用Canny边缘检测提取出待测轮胎模具的外轮廓，并对外轮廓进行圆弧拟合。常见的拟合圆的过程如公式1所示：

其中，(m_i,n_i)表示外轮廓上任意一点的坐标，(α,β)表示拟合圆的中心坐标，r为拟合圆的半径，w为外轮廓点的总个数，ε²为拟合圆半径的误差平方和。当ε²趋向于很小的数时，外轮廓则可以近似看成拟合圆的一段圆弧。通过公式(1)得到的α、β以及r三个参数，便可以对该待测轮胎模具图片进行极坐标变换拉直，变换过程如公式(2)、(3)所示：

式中(m,n)为待测轮胎模具图片的像素点坐标，(ρ,θ)为变换后相应的极坐标。然后对式(2)和式(3)进行反变换，即：

m＝α-ρsinθ (4)

n＝β+ρcosθ (5)

对于CAD图，同样对其进行圆拟合，通过极坐标变换使其从圆环图像拉直成矩形图像。由于拉直操作后矩形起点与终点是无重叠剪切的，为了最末尾的待测轮胎模具图片与矩形的CAD图定位不会出现越界现象，故从起点处截取CAD图矩形宽度的1/32部分，并把它拼接到矩形末端。

在具体实施时，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，步骤S101分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别，具体可以包括以下三步：

步骤一、采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测；

需要说明的是，由于轮胎模具表面光滑，在相机采集的时候容易出现光照不均匀情况。同时模具字符是通过在模具表面进行刻印而产生的，所以字符的成像不是通过颜色差形成的，而是通过光照差形成的，这使得采集的图像上的字符与背景的像素差不明显，所以如果要对该类图像进行目标检测，则需要很强的特征提取能力。因此本发明基于VGG结构的SSD检测网络基础上，对网络进行了一定的改进，使得它在具备很强的特征提取能力的同时，而且还能减少它的模型大小以及检测时间，从而达到工业级实时性的要求；针对具体的情况进行的改进如下：

首先，对原有的SSD检测网络的特征提取层进行了最大适度的裁剪，即在保证精度的情况下，最大适宜的去除一些冗余的卷积层和通道数，从而达到显著的减少计算复杂度和模型参数的效果，检测精度高，模型大小和检测速度也达到了实时性的要求。在实际应用中，原有的SSD检测网络的特征提取层是基于VGG16结构，它保留了VGG16中conv1_1到conv5_3的卷积层，但是VGG16中的最后两层全连接层被取代成卷积层，同时在后面还添加了八个新的卷积层。意味着SSD中不存在全连接层，即它属于全卷积网络。SSD采用了特征金字塔结构进行检测，即检测时利用了conv4_3，conv_7(FC7)，conv6_2，conv7_2，conv8_2，conv9_2这些大小不同的特征图(feature maps)，在多个feature maps上同时进行softmax分类和位置回归。而针对轮胎模具的特性，本发明改进的SSD检测网络中特征提取层是基于VGG16框架，但是相比原始版本的SSD框架，如图2所示，在保证精度的情况下最大限度的移除了一些卷积层(命名为VGG-reduce)，以降低检测网络的复杂度和参数，其中包括conv1_2,conv2_2,conv3_3,pool3,conv4_3,conv5_3层；因此，预测分类和回归的卷积层是conv4_2,fc7(conv),conv6_2,conv7_2,conv8_2和conv9_2。在这个阶段后，发现所设计的网络的特征提取能力相比SSD原有的特征提取层的特征提取能力差距不大，同时模型的参数相应的减少了；

然后，由于轮胎模具上的模具字符区域里小字符串呈长条型，而大字符却是呈方形，因此，为了提高网络对两类字符的检测精度，针对这个特性，提出了一种默认框(default boxes)的尺度(scale)和纵横比(aspect ratio)的自适应设定策略，对SSD中特征图上默认框的尺度与纵横比的选择进行了改进。具体地，在获取了大字符与小字符串在轮胎模具上大致的位置和形状，同时它们在不同尺度的特征图中位置所占的网络数(feature map cell)不同，可以根据每一个特征图尺寸与原输入图像尺寸的比值在该特征图上设定默认框的尺度以及默认框不同的纵横比，使之更精确的去匹配轮胎模具上大字符与小字符串的真实标签框(Ground Truth Boxes)。其中，在每一张特征图上对于默认框的尺度自适应策略的公式如下：

其中，m代表总共作为预测特征图的张数，这里的值为6。而k∈[1,m]，根据真实标签框的特性，让S_min＝0.6，S_max＝0.9；

在每一张特征图上对应的默认框纵横比的设定策略如下：

其中，AspectRatio_k表示第k个特征图的默认框纵横比向量，SizeRatio_k,input为第k个特征图尺寸与原输入图像尺寸的比值，当它大于阈值T时，选择纵横比大的向量，用来预测小字符串；否则选择小的来预测大字符；这里的阈值可以是根据经验值设定的，T＝1/30；

根据上述的默认框设定策略，可以得到每张特征图上的每个默认框的宽度和高度，如下公式所示：

其中，a_i表示特征图所选择的纵横比向量中第i种纵横比，与分别表示第k个特征图上的第i种纵横比的默认框的高和宽。

如图3a至图3c所示，在比较浅的卷积特征图(10x10)里面，横向的长条形的默认框更加匹配轮胎模具上小字符串区域的真实标签框，而比较深的卷积特征图(5x5)竖直方形的默认框更加匹配模具图上大字符区域的真实标签。因此，根据这些特征图的尺寸来确定默认框的纵横比，即在浅的卷积层conv4_2(38x38),fc7(conv)(19x19),conv6_2(10x10)特征图使用纵横比大的(2，3，5，7)去预测小字符串，在深的卷积层conv7_2(5x5),conv8_2(3x3)的特征图里采用纵横比小的(1/3，1/2，1)去预测大字符的位置，从而进一步提升网络的检测的精度。

步骤二、对CAD图进行二值化处理后采用闭运算和连通域方法分割提取出CAD图上的CAD字符区域；

需要说明的是，对于CAD字符区域的检测，根据CAD图字符与背景呈二值化的特性，考虑到检测设备的硬件问题，对CAD图上的字符分割方法采用：首先对CAD图进行阈值化，然后使用形态学处理中的闭运算把字符串中的字符连在一起，最后通过连通域提取便可以得到每个CAD字符串在CAD图中的位置信息；

步骤三、采用卷积神经网络结合双向长短时记忆网络分别识别出模具字符区域中的字符和CAD字符区域中的字符；

需要说明的是，长短时记忆网络是循环神经网络(Recurrnet Neural Network，RNN)的一种特殊类型，它在算法中加入了一个判断信息是否有用的细胞状态(cell)，根据规则来判断是否有用，从而可以学习长期依赖的信息；在实际应用中，由于模具字符中小字符串的字符个数是不是固定的，因此建立了一种无分割且可以识别不定字长的网络结构作为字符识别模型，如图4所示，该网络采用卷积神经网络(CNN)分别提取改进的SSD检测网络检测到的模具字符区域样本和CAD字符区域样本的特征向量，然后将模具字符区域样本的特征向量和CAD字符区域样本的特征向量分别输入至双向至长短时记忆网络(BLSTM)进行训练，之后通过训练好的双向至长短时记忆网络分别识别出模具字符区域中的模具字符和CAD字符区域中的CAD字符，可以实现对字符串的无分割且不定字长的识别，有效避免字符串在单字符分割时带来的误差累积；具体地，在这个网络中采用四个卷积层和两个池化层，其中卷积层都是采用3x3的卷积核。为了防止训练时候在反向传播过程中出现梯度弥散的问题，可以在卷积操作与非线性映射(激活函数)之间加了批规范化(BatchNormalization)层；同时，在循环卷积层中，可以采用双向LSTM层，具体地，除了把原先的字符串提取的特征向量送入LSTM层训练外，还对特征向量进行反序，然后再送入LSTM层中训练；

对于包含的字符个数不确定的小字符串识别时，除了需要对字符识别模型参数进行训练外，还要对字符划分模型进行训练，因此，可以将联结主义时间分类器(Connectionist Temporal Classifier，CTC)被接在RNN网络的最后一层用于序列学习；CTC适合于输入特征和输出标签之间对齐关系不确定的时间序列问题，可以自动端到端的同时优化模型参数和对齐切分的边界；

另外，在将特征向量输入至双向长短时记忆网络进行训练之后，可以通过CNN网络和LSTM网络学习到的文字时序性对外形相近的字符(如“0”与“O”，“I”与“1”等)进行区分；CTC适合于输入特征和输出标签之间对齐关系不确定的时间序列问题，可以自动端到端的同时优化模型参数和对齐切分的边界，在很大程度上提高轮胎模具字符识别的准确率。

进一步地，在具体实施时，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，在上述步骤一采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测之前，还可以包括：首先将采集的轮胎模具图片建立成轮胎模具图片数据集样本；然后将建立的轮胎模具图片数据集样本进行第一字符区域位置的标注，获取第一字符区域中模具字符的位置信息，作为训练数据；之后由于采集的轮胎模具图片数量有限，为了防止训练的模型出现过拟合现象，采取数据增广策略对样本进行物理变换，扩充足够的训练数据；最后将扩充后的训练数据进行标签后输入至改进的SSD检测网络进行训练。这样采用训练好的改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测，检测效率高且准确。

在具体实施时，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，在执行步骤S102将待测轮胎模具图片定位到CAD图的相应位置上之后，为了更加精准的进行定位，还可以包括：确定相机拍摄得到的相邻待测轮胎模具图片之间的平移系数；根据确定的平移系数，对定位结果进行校验。

具体地，如图5所示，由于相机拍摄时的旋转角度的人工设定，使得相邻图片之间会存在重叠部分，利用这个先验知识去确定相邻待测轮胎模具图片之间的平移系数，并用该平移系数来验证定位的准确性。假设第j张待测轮胎模具图片中某个模具字符的位置信息是其中分别代表该模具字符在第j张待测轮胎模具图片中的起始坐标以及宽度和高度；而该模具字符匹配到的CAD图上CAD字符位置信息为[x_c,y_c,w_c,h_c]，x_c,y_c,w_c,h_c分别代表该CAD字符在整张CAD图中的起始坐标以及宽度和高度。则可以得到该张待测轮胎模具图片定位到CAD图中的起始位置(左上角坐标)为终止位置(右下角坐标)为其中以及可以由公式(6)(7)(8)得到：

其中，μ_w、μ_h分别代表模具字符与匹配的CAD字符之间的宽与高比例系数，I_w、I_h分别代表待测轮胎模具图片的宽度和高度。通过上述公式，可以得到第j张待测轮胎模具图片在CAD图中的ROI区域位置为同理对于第j-1张待测轮胎模具图片以及第j+1张待测轮胎模具图片所定位到CAD图中的ROI区域分别为和由于人为设定机制使得采集到的相邻图片之间都会有重叠的部分，而且相机是通过特定的角度进行旋转拍照，其旋转角度通过极坐标变换得到的平移值N，便是待测轮胎模具图片在拉直操作后相对于下一张待测轮胎模具图片的平移矢量。根据上述得到的结论，可以根据这个平移矢量来验证第j张待测轮胎模具图片是否定位正确。根据上述得到的信息，可以得到第j-1张待测轮胎模具图片到第j张待测轮胎模具图片的移动距离FN可以由下述公式得到：

同理第j张待测轮胎模具图片到第j+1张待测轮胎模具图片的移动距离BN定义为：

当时，则认为第j张模具图正确定位到CAD图上。

进一步地，在具体实施时，在本发明实施例提供的上述轮胎模具表面字符缺陷检测方法中，以图6a和6b为例，输入的图像对的大小为28×28，正样本为无缺陷的模具字符与CAD字符，负样本为有缺陷的模具字符与CAD字符。本发明是在Siamese相似度判别网络的基础上，针对轮胎模具的特征进行了适当的改进，即跳过了显式的特征提取操作，从而直接学习两张图片之间的相似度；改进的Siamese相似度判别网络中卷积层采用并行的多尺寸卷积结构，最后的全连接层输出一个用来表示模具字符和CAD字符之间相似度的神经元。

如图7所示，改进的Siamese相似度判别网络中设计了一种多尺度特征提取结构，使它替代Siamese网络原有的3x3特征提取层，即把原有的每一个3x3特征提取层改为两个并联卷积核层，其中，第一个并联卷积核层由多个相同大小(如3个1×1)卷积核的卷积并联组成，第二个并联卷积核层由多个不同大小(如5×5，3×3)卷积核的卷积组成，且依次连接在第一个并联卷积核层的后面，最后再把这些并联的卷积核层得到的特征图“融合”成一张二通道的图，作为下一个卷积层或池化层的输入。这样的改进跳过了显式的特征提取操作，相比Siamese可以整合更多的特征信息，增强网络的判别能力；而且在每个卷积前面先进行1×1的卷积操作，可以减少多尺度卷积操作的参数和计算复杂度。最后，我们使用的是hinge损失函数与L2正则项作为目标函数：

其中w为网络的权值,，权值衰退λ＝0.0005，为i_th对训练样本的输出。N为mini-batches的大小为128。当输入的图像对为正样本时，y_i的值为1，否则为-1。

在得到每张待测轮胎模具图片定位到CAD图的相应位置上后，在CAD图上把该相应位置的ROI截取出来。同样得到了该待测轮胎模具图片上所有模具字符的识别结果以及位置信息，将该待测轮胎模具图片上所有的模具字符组成一个集合A，其包含的模具字符按照位置信息排序成a₁,a₂,…,a_K(K为模具字符的总数)；而在CAD图上截取出来的ROI区域里的CAD字符识别结果和位置也是已知的。同理，我们把截取的ROI区域里所有的CAD字符组成一个集合B，其包含的CAD字符串按照位置信息排序成b₁,b₂,…,b_K。

对模具实物图集合A中每一个模具字符a_K的字符缺陷判断如下：

第一步、根据模具字符a_K的位置在集合B找到对应的CAD字符b_j(j＝{1,2,…,K})，并比较两个字符的识别结果是否一致。如果识别结果相匹配，则进入第二步，否则进入第三步；

第二步、把模具字符a_K和匹配到的CAD字符b_j中对应位置上的每个字符图片依次输入到Siamese网络进行相似度比较。如果提取的两个字符图片之间的相似度值小于阈值T_h(此处阈值T_h＝0，-1为最不相似，1为最相似)，则判别这该模具字符与相应CAD字符相似，否则判为不相似，并标记为缺陷字符。待完成该字符串中所有单个字符操作，便可跳到第七步；

第三步、记模具字符a_K的长度为l_a，CAD字符b_j的长度为l_b，且记两类字符中识别结果不匹配的字符个数为n_a,b。若l_a＝l_b，进入第四步；若l_a＜l_b，进入第五步；否则进入第六步；

第四步、把两类字符中识别结果不匹配的n_a,b个字符标记为错印字符，其他l_a-n_a,b个有匹配结果的字符依次进行如第二步的操作。整个字符串操作完成后进入第七步；

第五步、假若l_b-l_a＝n_a,b，则把CAD字符b_j中n_a,b个未匹配的字符标记为模具字符a_K的漏印字符，其它l_a个字符进行如第二步的操作；若l_b-l_a≠n_a,b(此时n_a,b＞l_b-l_a)，则其中有l_b-l_a个字符为漏印字符，n_a,b-l_b+l_a个字符为错印字符。其它l_b-n_a,b个字符进行如第二步的操作。整个字符操作完成后进入第七步；

第六步、假若l_a-l_b＝n_a,b，则把模具字符a_K中n_a,b个未匹配的字符标记为模具字符a_K的多印字符，其它l_b个字符进行如第二步的操作；若l_a-l_b≠n_a,b(此时n_a,b＞l_a-l_b)，则其中有l_a-l_b个字符为多印字符，n_a,b-l_a+l_b个字符为错印字符。其它l_a-n_a,b个字符进行如第二步的操作。整个字符串操作完成后进入第七步；

第七步、对下一个字符串进行缺陷判断。

在进行缺陷判别后，可以得到模具字符中每一个大字符或小字符串与它相对应的CAD字符中每一个大字符或小字符串是否存在漏印、多印或错印的情况，然后再分析每个单字符是否存在字体上的错误。如果存在以上缺陷，则把该单字符所在待测轮胎模具图片上的位置标记出来。

具体地，对于本发明实施例提供的上述轮胎模具表面字符缺陷检测方法的具体流程，以图8和图9为例进行说明：

首先对待测轮胎模具图片和CAD图进行极坐标变换拉直，然后分别对待测轮胎模具图片和CAD图进行字符区域检测和识别。其中，对于整张CAD图，在拉直后对整张图进行二值化，然后采用闭运算+连通域提取的方法，把CAD图上的CAD字符(分为两类，包括大字符和小字符串)分割出来，并且保存所有的CAD字符的位置信息；对于待检测的拉直后模具图，采用基于深度学习的目标检测SSD算法对其进行检测，得到模具字符(分为两类，包括大字符和小字符串)，同时保存模具字符的位置信息。在提取模具字符和CAD字符后，让模具字符以及CAD字符按照顺序分别通过训练好的LSTM网络(这里有两个模型，一个是模具字符识别模型，另一个是CAD字符识别模型)，就可以得到每张待检测模具图片上所有的模具字符的识别结果以及它们的位置信息，同样也得到了整张CAD图上的CAD字符的识别结果和它们的位置信息；然后根据每张待测轮胎模具图片上的模具字符识别结果匹配到的CAD图上的CAD字符，便可以得到这些CAD图上的CAD字符在整张CAD图上的位置，而这个位置区域就是该待测轮胎模具图片定位到的CAD图的相应位置。在待测轮胎模具图片定位到CAD图相应位置上后，可以通过双识别结果匹配初步判别该模具字符(大字符或小字符串)是否存在漏印、错印、多印等情况。最后，让每个模具字符与相应的CAD字符通过改进后的Siamese网络进行相似度判别，从而得出该模具字符本身是否存在字体缺陷。如果存在以上缺陷，则把有缺陷的单字符所在待测轮胎模具图片上的位置标记出来。

基于同一发明构思，本发明实施例还提供了一种轮胎模具表面字符缺陷检测装置，由于该轮胎模具表面字符缺陷检测装置解决问题的原理与前述一种轮胎模具表面字符缺陷检测方法相似，因此该轮胎模具表面字符缺陷检测装置的实施可以参见轮胎模具表面字符缺陷检测方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的轮胎模具表面字符缺陷检测装置，如图10所示，具体包括：

检测识别模块11，用于分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；

匹配定位模块12，用于将识别出的模具字符区域中的模具字符去匹配识别出的CAD字符区域中的CAD字符，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上；

判断模块13，用于通过定位结果判断出模具字符与对应的CAD字符是否存在漏印、多印或错印；

缺陷检测模块14，用于通过改进的Siamese相似度判别网络检测出模具字符中每个单字符与对应的CAD字符中每个单字符是否存在字体缺陷。

在本发明实施例提供的上述轮胎模具表面字符缺陷检测装置中，可以通过上述四个模块的相互作用，对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测和识别，通过更加合理和快速的双识别结果匹配框架让每张待测轮胎模具图片定位到CAD图相应的位置上，以及再使用改进后的相似度判别网络对每个模具字符与对应的CAD字符进行缺陷判别，从而实现不同模态图片之间的缺陷判别，避免大规模的图像处理算法和人工操作，操作简单且有效，对大量数据和复杂的背景噪声干扰的鲁棒性更高，准确率更高，更加符合工业实时性的要求。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应的，本发明实施例还公开了一种轮胎模具表面字符缺陷检测设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的轮胎模具表面字符缺陷检测方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的轮胎模具表面字符缺陷检测方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种轮胎模具表面字符缺陷检测方法、装置、设备及存储介质，该方法包括：分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；将识别出的模具字符区域中的模具字符去匹配识别出的CAD字符区域中的CAD字符，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上；通过定位结果判断出模具字符与对应的CAD字符是否存在漏印、多印或错印；通过改进的Siamese相似度判别网络检测出模具字符中每个单字符与对应的CAD字符中每个单字符是否存在字体缺陷。本发明将深度学习技术应用到字符缺陷检测工作中，能够避免大规模的图像处理和人工操作，通过双识别结果匹配的框架让待测轮胎模具图片精准定位到CAD图上相应位置，使用改进的Siamese相似度判别网络对单字符进行缺陷，从而实现不同模态图片之间的缺陷判别，这样对大量数据和复杂的背景噪声干扰的鲁棒性更高，在实时性上取得的性能更好，准确率更高，更适合实际的工作生产过程。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的轮胎模具表面字符缺陷检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种轮胎模具表面字符缺陷检测方法，其特征在于，包括：

分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；

将识别出的所述模具字符区域中的模具字符去匹配识别出的所述CAD字符区域中的CAD字符，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上；

通过定位结果判断出所述模具字符与对应的所述CAD字符是否存在漏印、多印或错印；

通过改进的Siamese相似度判别网络检测出所述模具字符中每个单字符与对应的所述CAD字符中每个单字符是否存在字体缺陷。

2.根据权利要求1所述的轮胎模具表面字符缺陷检测方法，其特征在于，改进的Siamese相似度判别网络中卷积层采用并行的多尺寸卷积结构，最后的全连接层输出一个用来表示所述模具字符和所述CAD字符之间相似度的神经元。

3.根据权利要求2所述的轮胎模具表面字符缺陷检测方法，其特征在于，改进的Siamese相似度判别网络包括三个卷积层，每个卷积层由两个并联卷积核层组成；其中，第一个并联卷积核层由多个相同大小卷积核的卷积并联组成，第二个并联卷积核层由多个不同大小卷积核的卷积组成，且依次连接在第一个并联卷积核层的后面；最后把每个卷积层里得到的所有特征图融合起来，作为下一个卷积层或池化层的输入。

4.根据权利要求1所述的轮胎模具表面字符缺陷检测方法，其特征在于，分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别，具体包括：

采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测；

对CAD图进行二值化处理后采用闭运算和连通域方法分割提取出所述CAD图上的CAD字符区域；

采用卷积神经网络结合双向长短时记忆网络分别识别出所述模具字符区域中的字符和所述CAD字符区域中的字符。

5.根据权利要求4所述的轮胎模具表面字符缺陷检测方法，其特征在于，在采用改进的SSD检测网络对待测轮胎模具图片上的模具字符区域进行检测之前，还包括：

将采集的轮胎模具图片建立成轮胎模具图片数据集样本；

将建立的所述轮胎模具图片数据集样本进行模具字符区域位置的标注，获取所述模具字符区域中模具字符的位置信息，作为训练数据；

采取数据增广策略对所述样本进行物理变换，扩充所述训练数据；

将扩充后的所述训练数据进行标签后输入至改进的SSD检测网络进行训练。

6.根据权利要求5所述的轮胎模具表面字符缺陷检测方法，其特征在于，采用卷积神经网络结合双向长短时记忆网络分别识别出所述模具字符区域中的字符和所述CAD字符区域中的字符，具体包括：

采用卷积神经网络分别提取改进的SSD检测网络检测到的模具字符区域样本和CAD字符区域样本的特征向量；

将所述模具字符区域样本的特征向量和所述CAD字符区域样本的特征向量分别输入至双向至长短时记忆网络进行训练；

通过训练好的所述双向至长短时记忆网络分别识别出所述模具字符区域中的模具字符和所述CAD字符区域中的CAD字符；

通过学习到的文字时序性对外形相近的字符进行区分。

7.根据权利要求6所述的轮胎模具表面字符缺陷检测方法，其特征在于，在将所述待测轮胎模具图片定位到所述CAD图的相应位置上之后，还包括：

确定相机拍摄得到的相邻待测轮胎模具图片之间的平移系数；

根据确定的所述平移系数，对定位结果进行校验。

8.一种轮胎模具表面字符缺陷检测装置，其特征在于，包括：

检测识别模块，用于分别对待测轮胎模具图片上的模具字符区域和CAD图上的CAD字符区域进行检测与识别；

匹配定位模块，用于将识别出的所述模具字符区域中的模具字符去匹配识别出的所述CAD字符区域中的CAD字符，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上；

判断模块，用于通过定位结果判断出所述模具字符与对应的所述CAD字符是否存在漏印、多印或错印；

缺陷检测模块，用于通过改进的Siamese相似度判别网络检测出所述模具字符中每个单字符与对应的所述CAD字符中每个单字符是否存在字体缺陷。

9.一种轮胎模具表面字符缺陷检测设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的轮胎模具表面字符缺陷检测方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的轮胎模具表面字符缺陷检测方法。