CN108985294B - 一种轮胎模具图片的定位方法、装置、设备及存储介质 - Google Patents

一种轮胎模具图片的定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108985294B
CN108985294B CN201810768874.XA CN201810768874A CN108985294B CN 108985294 B CN108985294 B CN 108985294B CN 201810768874 A CN201810768874 A CN 201810768874A CN 108985294 B CN108985294 B CN 108985294B
Authority
CN
China
Prior art keywords
character string
character
tire mold
picture
cad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810768874.XA
Other languages
English (en)
Other versions
CN108985294A (zh
Inventor
蔡念
丁鹏
黎嘉明
黄柯敏
陈新度
王晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810768874.XA priority Critical patent/CN108985294B/zh
Publication of CN108985294A publication Critical patent/CN108985294A/zh
Application granted granted Critical
Publication of CN108985294B publication Critical patent/CN108985294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Moulds For Moulding Plastics Or The Like (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种轮胎模具图片的定位方法、装置、设备及存储介质，包括：采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到第一字符区域中第一字符串的位置信息；对CAD图进行二值化处理后采用闭运算和连通域方法分割出CAD图上的第二字符区域，得出第二字符区域中第二字符串的位置信息；分别对第一字符串和第二字符串进行特征提取，通过SVM字符识别模型分别识别出第一字符串和第二字符串；将识别出的第一字符串去匹配识别出的第二字符串，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上。这样检测效率高，且双识别结果匹配定位的方法能够避免大规模的图像处理和人工操作，在定位过程中操作简单且有效。

Description

一种轮胎模具图片的定位方法、装置、设备及存储介质
技术领域
本发明涉及图像处理领域，特别是涉及一种轮胎模具图片的定位方法、装置、设备及存储介质。
背景技术
图片定位是图片识别中重要的图片处理部分，是图形图片学研究中重要的方面，在计算机视觉中得到广泛应用，如在工业生产中，图片定位用于自动分割、智能下料、自动装配和缺陷检测等。
轮胎模具的缺陷检测是生产轮胎模具过程中重要的过程，它主要是检测表面的字符缺陷，包括字符的漏印、错印和多印。而轮胎模具图片定位作为字符缺陷检测的前端应用，同样是一项必不可缺的流程。与传统图片定位不同，我们需要通过让轮胎模具实物图片定位到计算机辅助设计(Computer Aided Design，CAD)图上相应位置。现有的轮胎模具图片的定位方法需要对待测感兴趣区域(Region Of Interest，ROI)图片分类，预处理过程比较复杂，耗时高，易受噪声的干扰，同时特征的提取需要大量专业的先验知识，每次对待测ROI图片的定位都是全局搜索的，效率不高，而且仅仅通过相似度计算，鲁棒性不强，不利于推广。同时，模具图与CAD图属于不同模态的图片，因此很难使用特征提取匹配的方法进行定位，同样，也很难用传统的灰度值匹配进行定位。
发明内容
有鉴于此，本发明的目的在于提供一种轮胎模具图片的定位方法、装置、设备及存储介质，可以采用识别匹配的方式把待测图像定位到CAD相应位置上，定位精准度高。其具体方案如下：
一种轮胎模具图片的定位方法，包括：
采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到所述第一字符区域中第一字符串的位置信息；
对CAD图进行二值化处理后采用闭运算和连通域方法分割出所述CAD图上的第二字符区域，得出所述第二字符区域中第二字符串的位置信息；
分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别识别出所述第一字符串和所述第二字符串；
将识别出的所述第一字符串去匹配识别出的所述第二字符串，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上。
优选地，在本发明实施例提供的上述轮胎模具图片的定位方法中，在采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测之前，还包括：
将采集的轮胎模具图片建立成轮胎模具图片数据集样本；
将建立的所述轮胎模具图片数据集样本进行第一字符区域位置的标注，获取所述第一字符区域中第一字符串的位置信息，作为训练数据；
采取数据增广策略对所述样本进行物理变换，扩充所述训练数据；
将扩充后的所述训练数据进行标签后输入至SSD检测网络进行训练。
优选地，在本发明实施例提供的上述轮胎模具图片的定位方法中，在分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别按照设定顺序识别出所述第一字符串和所述第二字符串之前，还包括：
采用HOG特征描述子分别对模具字符串样本和CAD字符串样本进行特征提取；
采用机器学习中的SVM分类器分别对提取出的所述模具字符串样本和所述第二字符串样本的特征进行训练，建立SVM字符识别模型；所述SVM字符识别模型包括模具字符串识别模型和CAD字符串识别模型。
优选地，在本发明实施例提供的上述轮胎模具图片的定位方法中，分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别识别出所述第一字符串和所述第二字符串，具体包括：
采用HOG特征描述子分别对所述第一字符串和所述第二字符串进行特征提取；
通过所述模具字符串识别模型输出所述第一字符串的识别结果；
通过所述CAD字符串识别模型输出所述第二字符串的识别结果。
优选地，在本发明实施例提供的上述轮胎模具图片的定位方法中，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上，具体包括：
若所有的所述第一字符串至少有一个相匹配的所述第二字符串，则筛除多个相匹配的所述第二字符串中的干扰匹配对象，任意取一个所述第一字符串和相匹配的所述第二字符串的位置信息，根据这两个字符串的相对起始坐标，使所述待测轮胎模具图片定位到所述CAD图的相应位置上；
若所有的所述第一字符串未找到相匹配的所述第二字符串，则将与所述待测轮胎模具图片相邻的前一张模具图片定位的CAD相应位置整体向后平移特定的像素值系数。
优选地，在本发明实施例提供的上述轮胎模具图片的定位方法中，还包括：
确定相机拍摄得到的相邻待测轮胎模具图片之间的平移系数；
根据确定的所述平移系数，对定位结果进行校验。
本发明实施例还提供了一种轮胎模具图片的定位装置，包括：
模具检测模块，用于采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到所述第一字符区域中第一字符串的位置信息；
CAD分割模块，用于对CAD图进行二值化处理后采用闭运算和连通域方法分割出所述CAD图上的第二字符区域，得出所述第二字符区域中第二字符串的位置信息；
字符串识别模块，用于分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别识别出所述第一字符串和所述第二字符串；
图片定位模块，用于将识别出的所述第一字符串去匹配识别出的所述第二字符串，根据匹配结果将所述待测轮胎模具图片定位到所述CAD图的相应位置上。
本发明实施例还提供了一种轮胎模具图片的定位设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述轮胎模具图片的定位方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述轮胎模具图片的定位方法。
本发明所提供的一种轮胎模具图片的定位方法、装置、设备及存储介质，该方法包括：采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到第一字符区域中第一字符串的位置信息；对CAD图进行二值化处理后采用闭运算和连通域方法分割出CAD图上的第二字符区域，得出第二字符区域中第二字符串的位置信息；分别对第一字符串和第二字符串进行特征提取，通过SVM字符识别模型分别识别出第一字符串和第二字符串；将识别出的第一字符串去匹配识别出的第二字符串，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上。这样采用基于深度学习的检测网络可以快速高效地对待测轮胎模具图片上的字符进行检测，根据轮胎模具上面字符分布的特性，采用双识别结果匹配定位的方法把待测轮胎模具图片定位到CAD相应位置上，能够避免大规模的图像处理和人工操作，在定位过程中操作简单且有效，同时根据识别结果的匹配也可以为后续的缺陷检测提供判定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的轮胎模具图片的定位方法的流程图；
图2为本发明实施例提供的轮胎模具图片的定位方法的具体流程图；
图3为本发明实施例提供的轮胎模具图片定位后的效果图；
图4为本发明实施例提供的轮胎模具图片的定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种轮胎模具图片的定位方法，如图1所示，包括以下步骤：
S101、采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到第一字符区域中第一字符串的位置信息；
需要说明的是，由于轮胎模具表面光滑，在相机采集的时候容易出现光照不均匀情况，同时模具字符是通过在模具表面进行刻印而产生的，所以字符的成像不是通过颜色差形成的，而是通过光照差形成的，这使得采集的图像上的字符与背景的像素差不明显，所以如果要对该类图像进行目标检测，则需要很强的特征提取能力。因此本发明采用基于VGG结构作为特征提取层的SSD网络作为字符区域检测算法，它不仅有着很强的特征提取能力，而且它训练得到的模型大小以及检测时间基本满足实时性；
S102、对CAD图进行二值化处理后采用闭运算和连通域方法分割出CAD图上的第二字符区域，得出第二字符区域中第二字符串的位置信息；
需要说明的是，对于CAD字符区域的检测，根据CAD图字符与背景呈二值化的特性，考虑到检测设备的硬件问题，对CAD图上的字符分割方法采用：首先对CAD图进行阈值化，然后使用形态学处理中的闭运算把字符串中的字符连在一起，最后通过连通域提取便可以得到每个CAD字符串在CAD图中的位置信息；
S103、分别对第一字符串和第二字符串进行特征提取，通过SVM字符识别模型分别识别出第一字符串和第二字符串；
S104、将识别出的第一字符串去匹配识别出的第二字符串，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上；
需要说明的是，分别识别出待测模具上的第一字符串以及整张CAD图上的第二字符串；根据识别结果进行匹配，当待测模具上的第一字符串所匹配到的第二字符串都集中在CAD图某个区域，那么该CAD图的区域便是待测模具图所定位到的在整张CAD图上的相应位置。
在本发明实施例提供的上述轮胎模具图片的定位方法中，采用基于深度学习的检测网络可以快速高效地对待测轮胎模具图片上的字符进行检测，根据轮胎模具上面字符分布的特性，采用双识别结果匹配定位的方法把待测轮胎模具图片定位到CAD相应位置上，能够避免大规模的图像处理和人工操作，在定位过程中操作简单且有效，同时根据识别结果的匹配也可以为后续的缺陷检测提供判定。
另外，需要注意的是，在对待测轮胎模具图片上的第一字符区域进行检测之前，还可以包括：对待测轮胎模具图片进行预处理。
在实际应用中，检测前可以先采用导向滤波对待测轮胎模具图片进行预处理，然后利用Canny边缘检测提取出待测轮胎模具的外轮廓，并对外轮廓进行圆弧拟合。常见的拟合圆的过程如公式1所示：
Figure BDA0001729743600000061
其中，(mi,ni)表示外轮廓上任意一点的坐标，(α,β)表示拟合圆的中心坐标，r为拟合圆的半径，w为外轮廓点的总个数，ε2为拟合圆半径的误差平方和。当ε2趋向于很小的数时，外轮廓则可以近似看成拟合圆的一段圆弧。通过公式(1)得到的α、β以及r三个参数，便可以对该待测轮胎模具图片进行极坐标变换拉直，变换过程如公式(2)、(3)所示：
Figure BDA0001729743600000062
Figure BDA0001729743600000063
式中(m,n)为待测轮胎模具图片的像素点坐标，(ρ,θ)为变换后相应的极坐标。然后对式(2)和式(3)进行反变换，即：
m＝α-ρsinθ (4)
n＝β+ρcosθ (5)
对于CAD图，同样对其进行圆拟合，通过极坐标变换使其从圆环图像拉直成矩形图像。由于拉直操作后矩形起点与终点是无重叠剪切的，为了最末尾的待测轮胎模具图片与矩形的CAD图定位不会出现越界现象，故从起点处截取CAD图矩形宽度的1/32部分，并把它拼接到矩形末端。
如图2所示，首先对待测轮胎模具图片和CAD图进行极坐标变换拉直，然后分别对待测轮胎模具图片和CAD图进行字符区域检测和识别。其中，对于待检测的拉直后模具图，采用基于深度学习的目标检测SSD算法对其进行检测，得到第一字符串，同时保存第一字符串的位置信息；对于整张CAD图，在拉直后对整张图进行二值化，然后采用闭运算+连通域提取的方法，把CAD图上的第二字符串分割出来，并且保存所有的第二字符串的位置信息。在提取第一字符串和第二字符串后，让模具图上的第一字符串以及CAD图上的第二字符串按照顺序分别通过SVM字符识别模型，就可以得到每张待检测模具图片上所有的第一字符串的识别结果以及它们的位置信息，同样也得到了整张CAD图上的第二字符串的识别结果和它们的位置信息；然后根据每张待测轮胎模具图片上的第一字符串识别结果匹配到的CAD图上的第二字符串，便可以得到这些CAD图上的第二字符串在整张CAD图上的位置，而这个位置区域就是该待测轮胎模具图片定位到的CAD图的相应位置。
进一步地，在具体实施时，在本发明实施例提供的上述轮胎模具图片的定位方法中，在步骤S101采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测之前，还可以包括：首先将采集的轮胎模具图片建立成轮胎模具图片数据集样本；然后将建立的轮胎模具图片数据集样本进行第一字符区域位置的标注，获取第一字符区域中第一字符串的位置信息，作为训练数据；之后由于采集的轮胎模具图片数量有限，为了防止训练的模型出现过拟合现象，采取数据增广策略对样本进行物理变换，扩充足够的训练数据；最后将扩充后的训练数据进行标签后输入至SSD检测网络进行训练。
在实际应用中，SSD检测网络是一种使用单个深层神经网络检测图像中对象的方法，它将边界框的输出空间离散化为一组默认框，该默认框在每个特征图位置有不同的宽高比和尺寸。在预测期间，网络针对每个默认框中的每个存在对象类别生成分数，并且对框进行调整以更好地匹配对象形状。SSD网络的基础特征提取网络是基于VGG-16框架，然后，它把VGG最后两层全连接层取代成卷积层，同时在后面还添加了八个新的卷积层，这些层尺寸逐渐减小，可以用来作为多尺度特征图检测。每一个新添加的层，可以使用一系列的卷积核进行预测。对于一个大小为m*n、p通道的特征层，使用3*3的卷积核进行预测，在某个位置上预测出一个值，该值可以是某一类别的得分，也可以是相对于default bounding boxes的偏移量，并且在图像的每个位置都将产生一个值。SSD采用了特征金字塔结构进行检测，即检测时利用了conv4_3，conv7(FC7)，conv6_2，conv7_2，conv8_2，conv9_2这些大小不同的特征图，在多个特征图上同时进行softmax分类和位置回归；SSD中引入了prior box，实际上与anchor非常类似，就是一些目标的预选框，后续通过softmax分类+bounding boxregression获得真实目标的位置。在特征图的每个位置预测K个box。对于每个box，预测C个类别得分，以及相对于default bounding box的4个偏移值，这样需要(C+4)*k个预测器，在m*n的特征图上将产生(C+4)*k*m*n个预测值。在训练时，SSD与那些用region proposals+pooling方法的区别是，SSD训练图像中的真实标签框需要赋予到那些固定输出的boxes上。
进一步地，在具体实施时，在本发明实施例提供的上述轮胎模具图片的定位方法中，在执行步骤S103分别对第一字符串和第二字符串进行特征提取，通过SVM字符识别模型分别按照设定顺序识别出第一字符串和第二字符串之前，还可以包括：首先采用HOG特征描述子分别对模具字符串样本和CAD字符串样本(每类字符串样本)进行特征提取；然后采用机器学习中的SVM分类器分别对提取出的模具字符串样本和第二字符串样本的特征进行训练，建立SVM字符识别模型；这里的SVM字符识别模型包括模具字符串识别模型和CAD字符串识别模型。
更进一步地，在具体实施时，在本发明实施例提供的上述轮胎模具图片的定位方法中，步骤S103分别对第一字符串和第二字符串进行特征提取，通过SVM字符识别模型分别识别出第一字符串和第二字符串，具体可以包括：首先采用HOG特征描述子分别对第一字符串和第二字符串进行特征提取；然后通过模具字符串识别模型输出第一字符串的识别结果，以及通过CAD字符串识别模型输出第二字符串的识别结果。
另外，在具体实施时，在本发明实施例提供的上述轮胎模具图片的定位方法中，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上，具体可以包括：根据待测轮胎模具上每个第一字符串的识别结果去匹配CAD图中所有的第二字符串识别结果；若所有的第一字符串至少有一个相匹配的第二字符串，则筛除多个相匹配的第二字符串中的干扰匹配对象，任意取一个第一字符串和相匹配的第二字符串的位置信息，根据这两个字符串的相对起始坐标，使待测轮胎模具图片定位到CAD图的相应位置上；若所有的第一字符串未找到相匹配的第二字符串，由于待测轮胎模具图片的采集是通过特定的旋转角度按照顺时针旋转拍照的，因此相邻图片都有前后关系，可以将与待测轮胎模具图片相邻的前一张模具图片定位的CAD相应位置整体向后平移特定的像素值系数。
在实际应用中，具体的定位流程如下文描述：
记CAD图所有第二字符串的集合为C＝{c1,c2,c3,…,cN}，其中N表示第二字符串的总数，记第i张待测轮胎模具图片中所有第一字符串的集合为Ri＝{ri1,ri2,ri3,…,riM}，其中M表示第i张待测轮胎模具图片中第一字符串的个数。对第i张待测轮胎模具图片定位的步骤如下：
步骤一、对集合Ri中每个第一字符串rim都遍历一次集合C，根据识别结果rim找到对应的第二字符串cn，并记录两个字符串在各自图像中的起始位置信息；
步骤二、若集合Ri中所有的第一字符串rim在集合C中有且仅有一个相匹配的第二字符串cn，则进入步骤三；若有第一字符串rim含有多个匹配对象，则进入步骤四；若集合Ri中所有的第一字符串rim都没有找到相匹配的第二字符串cn，或者是该待测轮胎模具图片中没有第一字符串，则进入步骤五；
步骤三、随便取一个第一字符串rim和其对应的第二字符串cn的位置信息，根据两个字符串的相对起始坐标便可使待测轮胎模具图片准确的定位到CAD图相应的位置上；
步骤四、此情况下使得步骤一得到第二字符串cn的数量大于第一字符串rim的总数量，因此需要先对所有的匹配对象cn的起始位置进行聚类。对于能“真实”匹配到Ri中第二字符串cn，其起始位置必定能够聚在某个范围内，而那些干扰第二字符串cn它们的起始位置会远离这个范围。通过这个规则，可以把含有多个匹配对象的第一字符串rim中的干扰匹配对象筛除，然后再按照步骤三便可以使待测轮胎模具图片准确的定位到CAD图的相应位置上；
步骤五、由于待测轮胎模具图片的采集是通过特定的旋转角度按照顺时针旋转拍照的，因此相邻图片都有前后关系，并且根据旋转角度的不同，其通过极坐标变换得到的平移值N也不一样，故在此情况下，只要使第(i-1)张轮胎模具图定位的CAD相应位置整体向后平移N个像素值系数，便是该张待测轮胎模具图片定位到CAD图的相应位置。
进一步地，在具体实施时，在本发明实施例提供的上述轮胎模具图片的定位方法中，为了更加精准的进行定位，还可以包括：确定相机拍摄得到的相邻待测轮胎模具图片之间的平移系数；根据确定的平移系数，对定位结果进行校验。
具体地，如图3所示，由于相机拍摄时的旋转角度的人工设定，使得相邻图片之间会存在重叠部分，利用这个先验知识去确定相邻待测轮胎模具图片之间的平移系数，并用该平移系数来验证定位的准确性。假设第j张待测轮胎模具图片中某个第一字符串的位置信息是
Figure BDA0001729743600000101
其中
Figure BDA0001729743600000102
分别代表该第一字符串在第j张待测轮胎模具图片中的起始坐标以及宽度和高度；而该第一字符串匹配到的CAD图上第二字符串位置信息为[xc,yc,wc,hc]，xc,yc,wc,hc分别代表该第二字符串在整张CAD图中的起始坐标以及宽度和高度。则可以得到该张待测轮胎模具图片定位到CAD图中的起始位置(左上角坐标)为
Figure BDA0001729743600000103
终止位置(右下角坐标)为
Figure BDA0001729743600000104
其中
Figure BDA0001729743600000105
以及
Figure BDA0001729743600000106
可以由公式(6)(7)(8)得到：
Figure BDA0001729743600000107
Figure BDA0001729743600000108
Figure BDA0001729743600000109
Figure BDA00017297436000001010
Figure BDA00017297436000001011
其中，μw、μh分别代表第一字符串与匹配的第二字符串之间的宽与高比例系数，Iw、Ih分别代表待测轮胎模具图片的宽度和高度。
这样通过上述公式，可以得到第j张待测轮胎模具图片在CAD图中的ROI区域位置为
Figure BDA00017297436000001012
同理，对于第j-1张待测轮胎模具图片所定位到CAD图中的ROI区域为
Figure BDA00017297436000001013
以及第j+1张待测轮胎模具图片所定位到CAD图中的ROI区域为
Figure BDA00017297436000001014
由于人为设定机制使得采集到的相邻图片之间都会有重叠的部分，而且相机是通过特定的角度进行旋转拍照，其旋转角度通过极坐标变换得到的平移值N，便是待测轮胎模具图片在拉直操作后相对于下一张待测轮胎模具图片的平移矢量。根据上述得到的结论，可以根据这个平移矢量来验证第j张待测轮胎模具图片是否定位正确。根据上述得到的信息，可以得到第j-1张待测轮胎模具图片到第j张待测轮胎模具图片的移动距离FN可以由下述公式得到：
Figure BDA0001729743600000111
同理第j张待测轮胎模具图片到第j+1张待测轮胎模具图片的移动距离BN定义为：
Figure BDA0001729743600000112
当
Figure BDA0001729743600000113
时，则认为第j张模具图正确定位到CAD图上。
基于同一发明构思，本发明实施例还提供了一种轮胎模具图片的定位装置，由于该轮胎模具图片的定位装置解决问题的原理与前述一种轮胎模具图片的定位方法相似，因此该轮胎模具图片的定位装置的实施可以参见轮胎模具图片的定位方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的轮胎模具图片的定位装置，如图4所示，具体可以包括：
模具检测模块11，用于采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到第一字符区域中第一字符串的位置信息；
CAD分割模块12，用于对CAD图进行二值化处理后采用闭运算和连通域方法分割出CAD图上的第二字符区域，得出第二字符区域中第二字符串的位置信息；
字符串识别模块13，用于分别对第一字符串和第二字符串进行特征提取，通过SVM字符识别模型分别识别出第一字符串和第二字符串；
图片定位模块14，用于将识别出的第一字符串去匹配识别出的第二字符串，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上。
在本发明实施例提供的上述轮胎模具图片的定位装置中，可以通过上述四个模块的相互作用，采用了字符检测和识别的网络框架对轮胎模具字符区域进行检测和识别，以及通过更加合理和快速的双识别结果匹配框架让每张待测轮胎模具图片定位到CAD图相应的位置上，避免大规模的图像处理算法和人工操作，更加符合工业实时性的要求，同时根据识别结果的匹配也可以为后续的缺陷检测提供相应的判定。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种轮胎模具图片的定位设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的轮胎模具图片的定位方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的轮胎模具图片的定位方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种轮胎模具图片的定位方法、装置、设备及存储介质，该方法包括：采用SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到第一字符区域中第一字符串的位置信息；对CAD图进行二值化处理后采用闭运算和连通域方法分割出CAD图上的第二字符区域，得出第二字符区域中第二字符串的位置信息；分别对第一字符串和第二字符串进行特征提取，通过SVM字符识别模型分别识别出第一字符串和第二字符串；将识别出的第一字符串去匹配识别出的第二字符串，根据匹配结果将待测轮胎模具图片定位到CAD图的相应位置上。这样采用基于深度学习的检测网络可以快速高效地对待测轮胎模具图片上的字符进行检测，根据轮胎模具上面字符分布的特性，采用双识别结果匹配定位的方法把待测轮胎模具图片定位到CAD相应位置上，能够避免大规模的图像处理和人工操作，在定位过程中操作简单且有效，同时根据识别结果的匹配也可以为后续的缺陷检测提供判定。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的轮胎模具图片的定位方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种轮胎模具图片的定位方法，其特征在于，包括：
将采集的轮胎模具图片建立成轮胎模具图片数据集样本；
将建立的所述轮胎模具图片数据集样本进行第一字符区域位置的标注，获取所述第一字符区域中第一字符串的位置信息，作为训练数据；
采取数据增广策略对所述样本进行物理变换，扩充所述训练数据；
将扩充后的所述训练数据进行标注后输入至SSD检测网络进行训练；
采用训练完成的所述SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到所述第一字符区域中第一字符串的位置信息；
对CAD图进行二值化处理后采用闭运算和连通域方法分割出所述CAD图上的第二字符区域，得出所述第二字符区域中第二字符串的位置信息；
分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别识别出所述第一字符串和所述第二字符串；
将识别出的所述第一字符串去匹配识别出的所述第二字符串，若所有的所述第一字符串至少有一个相匹配的所述第二字符串，则筛除多个相匹配的所述第二字符串中的干扰匹配对象，任意取一个所述第一字符串和相匹配的所述第二字符串的位置信息，根据这两个字符串的相对起始坐标，使所述待测轮胎模具图片定位到所述CAD图的相应位置上；
若所有的所述第一字符串未找到相匹配的所述第二字符串，则将与所述待测轮胎模具图片相邻的前一张模具图片定位的CAD相应位置整体向后平移特定个数的像素。
2.根据权利要求1所述的轮胎模具图片的定位方法，其特征在于，在分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别识别出所述第一字符串和所述第二字符串之前，还包括：
采用HOG特征描述子分别对模具字符串样本和CAD字符串样本进行特征提取；
采用机器学习中的SVM分类器分别对提取出的所述模具字符串样本和所述CAD字符串样本的特征进行训练，建立SVM字符识别模型；所述SVM字符识别模型包括模具字符串识别模型和CAD字符串识别模型。
3.根据权利要求2所述的轮胎模具图片的定位方法，其特征在于，分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别识别出所述第一字符串和所述第二字符串，具体包括：
采用HOG特征描述子分别对所述第一字符串和所述第二字符串进行特征提取；
通过所述模具字符串识别模型输出所述第一字符串的识别结果；
通过所述CAD字符串识别模型输出所述第二字符串的识别结果。
4.根据权利要求1所述的轮胎模具图片的定位方法，其特征在于，还包括：
确定相机拍摄得到的相邻待测轮胎模具图片之间的平移系数；
根据确定的所述平移系数，对定位结果进行校验。
5.一种轮胎模具图片的定位装置，其特征在于，包括：
模具检测模块，用于将采集的轮胎模具图片建立成轮胎模具图片数据集样本；将建立的所述轮胎模具图片数据集样本进行第一字符区域位置的标注，获取所述第一字符区域中第一字符串的位置信息，作为训练数据；采取数据增广策略对所述样本进行物理变换，扩充所述训练数据；将扩充后的所述训练数据进行标注后输入至SSD检测网络进行训练；采用训练完成的所述SSD检测网络对待测轮胎模具图片上的第一字符区域进行检测，得到所述第一字符区域中第一字符串的位置信息；
CAD分割模块，用于对CAD图进行二值化处理后采用闭运算和连通域方法分割出所述CAD图上的第二字符区域，得出所述第二字符区域中第二字符串的位置信息；
字符串识别模块，用于分别对所述第一字符串和所述第二字符串进行特征提取，通过SVM字符识别模型分别识别出所述第一字符串和所述第二字符串；
图片定位模块，用于将识别出的所述第一字符串去匹配识别出的所述第二字符串，若所有的所述第一字符串至少有一个相匹配的所述第二字符串，则筛除多个相匹配的所述第二字符串中的干扰匹配对象，任意取一个所述第一字符串和相匹配的所述第二字符串的位置信息，根据这两个字符串的相对起始坐标，使所述待测轮胎模具图片定位到所述CAD图的相应位置上；若所有的所述第一字符串未找到相匹配的所述第二字符串，则将与所述待测轮胎模具图片相邻的前一张模具图片定位的CAD相应位置整体向后平移特定个数的像素。
6.一种轮胎模具图片的定位设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至4任一项所述的轮胎模具图片的定位方法。
7.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的轮胎模具图片的定位方法。
CN201810768874.XA 2018-07-13 2018-07-13 一种轮胎模具图片的定位方法、装置、设备及存储介质 Active CN108985294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810768874.XA CN108985294B (zh) 2018-07-13 2018-07-13 一种轮胎模具图片的定位方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810768874.XA CN108985294B (zh) 2018-07-13 2018-07-13 一种轮胎模具图片的定位方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108985294A CN108985294A (zh) 2018-12-11
CN108985294B true CN108985294B (zh) 2022-03-25

Family

ID=64537349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810768874.XA Active CN108985294B (zh) 2018-07-13 2018-07-13 一种轮胎模具图片的定位方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108985294B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109550712B (zh) * 2018-12-29 2020-09-22 杭州慧知连科技有限公司 一种化纤丝尾丝外观缺陷检测系统及方法
CN113486891A (zh) * 2021-06-22 2021-10-08 深圳无境创新科技有限公司 螺钉图像处理方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551264A (zh) * 2015-12-25 2016-05-04 中国科学院上海高等研究院 一种基于车牌特征匹配的车速检测方法
CN106845530A (zh) * 2016-12-30 2017-06-13 百度在线网络技术（北京）有限公司 字符检测方法和装置
CN106897990A (zh) * 2016-08-31 2017-06-27 广东工业大学 轮胎模具的字符缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551264A (zh) * 2015-12-25 2016-05-04 中国科学院上海高等研究院 一种基于车牌特征匹配的车速检测方法
CN106897990A (zh) * 2016-08-31 2017-06-27 广东工业大学 轮胎模具的字符缺陷检测方法
CN106845530A (zh) * 2016-12-30 2017-06-13 百度在线网络技术（北京）有限公司 字符检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于机器视觉的轮胎模具表面字符检测方法;陈裕潮 等;《锻压技术》;20161231;第41卷(第12期);第127-130页 *

Also Published As

Publication number Publication date
CN108985294A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN110826416B (zh) 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置
JP7113657B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
Cimpoi et al. Deep filter banks for texture recognition and segmentation
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
Khan et al. An efficient contour based fine-grained algorithm for multi category object detection
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN111310760B (zh) 结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN107480585B (zh) 基于dpm算法的目标检测方法
CN111145209A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN110472625B (zh) 一种基于傅里叶描述子的象棋棋子视觉识别方法
CN114897816A (zh) 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN111062928A (zh) 一种医学ct图像中病变的识别方法
CN112329756A (zh) 一种印章提取及文字识别的方法及装置
CN115797813B (zh) 基于航拍图像的水环境污染检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant