CN108960245B - 轮胎模具字符的检测与识别方法、装置、设备及存储介质 - Google Patents
轮胎模具字符的检测与识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN108960245B CN108960245B CN201810768887.7A CN201810768887A CN108960245B CN 108960245 B CN108960245 B CN 108960245B CN 201810768887 A CN201810768887 A CN 201810768887A CN 108960245 B CN108960245 B CN 108960245B
- Authority
- CN
- China
- Prior art keywords
- character
- tire mold
- detection
- training
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Moulds For Moulding Plastics Or The Like (AREA)
Abstract
本申请公开了一种轮胎模具字符的检测与识别方法、装置、设备及存储介质,该方法包括:对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;采用卷积神经网络提取字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;通过字符检测模型对待测轮胎模具图片上字符区域进行目标检测;通过字符识别模型输出字符区域中大字符或小字符串的识别结果。在字符检测阶段,针对轮胎模具的特性,建立的检测模型使得在模具图上具有很高的检测精度,在字符识别阶段,在提取特征后,融入长短时记忆网络,建立的识别模型来实现无分割且快速识别大字符和不定字符长度的小字符串。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种轮胎模具字符的检测与识别方法、装置、设备及存储介质。
背景技术
轮胎模具表面所携带的字符标识通常反映了硫化成型流水线上的橡胶轮胎的一些性能与特性。它表面的字符是通过刻印生成的凹字符,所以视觉成像是通过字符区域与背景区域的反射差产生的图像。这导致在采集轮胎模具图片时光源难以选控,从而使得采集的图片具有灰度不均匀、字符笔画断裂以及与背景灰度差别不明显等特性,这些给轮胎模具字符的检测和识别带来极大的困难。
过去对于轮胎模具字符检测识别大多数都是通过人工实现的。然而采用人工检测不仅效率低,费时费力,而且容易造成工作人员视觉疲劳,从而导致识别出错。为了满足自动化的高效性要求,需要设计一种高效准确的轮胎模具表面字符检测与识别方法,用于对采集到的轮胎模具图片上的字符进行检测和识别。
发明内容
有鉴于此,本发明的目的在于提供一种轮胎模具字符的检测与识别方法、装置、设备及存储介质,可以保持很高的检测精度且快速识别出字符区域中的字符。其具体方案如下:
一种轮胎模具字符的检测与识别方法,包括:
对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;
采用卷积神经网络提取所述字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;
通过所述字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到所述字符区域中大字符或小字符串的位置信息;
通过所述字符识别模型输出所述字符区域中大字符或小字符串的识别结果。
优选地,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型,具体包括:
对采集到的轮胎模具图片数据集样本进行字符区域图片位置的标注,获取所述字符区域图片中大字符或小字符串的位置信息,作为训练数据;
采取数据增广策略对所述样本进行物理变换,扩充所述训练数据;
将扩充后的所述训练数据进行标签后输入至改进的SSD检测网络进行训练,建立字符检测模型。
优选地,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,改进的SSD检测网络的特征提取层融合有深度可分离卷积结构;
在改进的SSD检测网络训练的过程中,根据每一个特征图尺寸与输入的轮胎模具图片尺寸的比值,在所述特征图上设定生成的默认框的尺度和纵横比,使所述默认框匹配所述轮胎模具图片上字符区域的真实标签框。
优选地,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,采用卷积神经网络提取所述字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型,具体包括:
将所述字符检测模型检测到的字符区域图片建立成字符区域图片数据集;
对所述字符区域图片数据集进行标签;
采用卷积神经网络提取标签过的所述字符区域图片数据集的特征向量;
将提取的所述特征向量输入至长短时记忆网络进行训练,建立字符识别模型。
优选地,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,在将提取的所述特征向量输入至长短时记忆网络进行训练之后,还包括:
通过所述卷积神经网络和所述长短时记忆网络学习到的文字时序性对外形相近的字符进行区分。
优选地,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,所述长短时记忆网络为双向长短时记忆网络;
在所述长短时记忆网络训练的过程中,将提取的所述特征向量输入至长短时记忆网络进行训练,以及对所述特征向量进行反序,再输入至长短时记忆网络训练。
本发明实施例还提供了一种轮胎模具字符的检测与识别装置,包括:
检测模型建立模块,用于对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;
识别模型建立模块,用于采用卷积神经网络提取所述字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;
字符区域检测模块,用于通过所述字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到所述字符区域中大字符或小字符串的位置信息;
字符区域识别模块,用于通过所述字符识别模型输出所述字符区域中大字符或小字符串的识别结果。
本发明实施例还提供了一种轮胎模具字符的检测与识别设备,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述轮胎模具字符的检测与识别方法。
本发明实施例还提供了一种计算机可读存储介质,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现如本发明实施例提供的上述轮胎模具字符的检测与识别方法。
本发明所提供的一种轮胎模具字符的检测与识别方法、装置、设备及存储介质,该方法包括:对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;采用卷积神经网络提取字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;通过字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到字符区域中大字符或小字符串的位置信息;通过字符识别模型输出字符区域中大字符或小字符串的识别结果。在字符检测阶段,针对轮胎模具的特性,建立的模型使得在模具图上具有很高的检测精度,同时能够达到工业级实时性的要求,在字符识别阶段,在提取特征后,融入长短时记忆网络,实现无分割且快速识别大字符和不定字符长度的小字符串,有效避免小字符串在单字符分割时带来的误差累积。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的轮胎模具字符的检测与识别方法的流程图;
图2为本发明实施例提供的轮胎模具字符的检测与识别方法的具体流程图;
图3为本发明实施例提供的改进的SSD检测网络的结构示意图;
图4a为本发明实施例提供的轮胎模具字符区域的真实标签框;
图4b为本发明实施例提供的在5×5的特征图上不同尺度和纵横比的默认框分布;
图4c为本发明实施例提供的在10×10的特征图上不同尺度和纵横比的默认框分布;
图5为本发明实施例提供的卷积神经网络和长短时记忆网络的结构示意图;
图6为本发明实施例提供的轮胎模具字符的检测与识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
深度学习是机器学习研究中的热门领域,通过组合底层特征形成更加抽象的高层表示属性类别或特征,以实现数据的分布式特征表示,旨在寻找出数据的潜在规律,不依赖人工干预。在本发明中,将深度学习技术引入到轮胎模具表面字符检测和识别方法中。
本发明提供一种轮胎模具字符的检测与识别方法,如图1所示,包括以下步骤:
S101、对采集到的轮胎模具图片数据集样本输入至改进的SSD(Single ShotMultiBox Detector)检测网络进行训练,建立字符检测模型;
需要说明的是,由于轮胎模具表面光滑,在相机采集的时候容易出现光照不均匀情况,同时模具字符是通过在模具表面进行刻印而产生的,所以字符的成像不是通过颜色差形成的,而是通过光照差形成的。这使得采集的图像上的字符与背景的像素差不明显,即字符区域在图像中不突出,所以如果要对该类图像进行目标检测,则需要很强的特征提取能力。而改进的SSD检测网络不仅有着超强的特征提取能力,而且它训练得到的字符检测模型大小以及检测时间大大缩小,这使得在模具图上不仅具有很高的检测精度,同时能够达到工业级实时性的要求。在本发明中,移除了SSD检测网络的原有的特征提取层,采用的是针对轮胎模具而设计的特征提取结构,使其在保持着强大的特征提取能力的同时,还能显著地减少计算复杂度和模型参数;
S102、采用卷积神经网络(Convolutional Neural Network,CNN)提取字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络(Long Short Termmemory,LSTM)进行训练,建立字符识别模型;
需要说明的是,长短时记忆网络是循环神经网络(Recurrnet Neural Network,RNN)的一种特殊类型,它在算法中加入了一个判断信息是否有用的细胞状态(cell),根据规则来判断是否有用,从而可以学习长期依赖的信息;这里采用CNN网络提取特征向量,然后融入LSTM训练提取到的特征向量,可以实现对字符串的无分割识别,有效避免字符串在单字符分割时带来的误差累积;
S103、通过字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到字符区域中大字符或小字符串的位置信息;
S104、通过字符识别模型输出字符区域中大字符或小字符串的识别结果。
在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,将深度学习技术应用到轮胎模具字符的检测和识别工作中,旨在利用深度学习的鲁棒性、高效性和准确性解决字符检测和识别的问题,主要采用了改进的字符检测和识别的网络框架对对比度不明显的轮胎模具字符区域进行检测,与当前的基于传统图像处理相比,本发明对目标不突出问题和复杂的背景噪声干扰的鲁棒性更高,同时在实时性上取得更高的性能,更适合实际的工业生产过程。让它在能够保持着很高的检测精度的同时,还能够快速的对每张待检测模具图进行字符区域检测与识别,同时,把识别网络接在检测网络后面,可以在检测到字符后快速的识别出来。
进一步地,在具体实施时,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,步骤S101对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型,如图2所示,具体可以包括:首先采集轮胎模具图片并建立成轮胎模具图片数据集样本;然后对轮胎模具图片数据集样本进行字符区域图片位置的标注,获取字符区域图片中大字符或小字符串的位置信息,作为训练数据;之后由于采集的轮胎模具图片数量有限,为了防止训练的模型出现过拟合现象,采取数据增广策略对样本进行物理变换,扩充得到足够的训练数据;最后将扩充后的训练数据进行标签后输入至改进的SSD检测网络进行训练,建立字符检测模型。
在实际应用中,SSD检测网络的特征提取层是基于VGG16结构,它保留了VGG16中conv1_1到conv5_3的卷积层,但是VGG16中的最后两层全连接层被取代成卷积层,同时在后面还添加了八个新的卷积层。意味着SSD中不存在全连接层,即它属于全卷积网络。SSD采用了特征金字塔结构进行检测,即检测时利用了conv4_3,conv_7(FC7),conv6_2,conv7_2,conv8_2,conv9_2这些大小不同的特征图(feature maps),在多个feature maps上同时进行softmax分类和位置回归。具体地,针对轮胎模具的特性,如图3所示,本发明中特征提取层是基于VGG16框架,但是相比原始版本的SSD框架,首先,在保证精度的情况下最大限度的移除了一些卷积层(命名为VGG-reduce),以降低检测网络的复杂度和参数。其中包括conv1_2,conv2_2,conv3_3,pool3,conv4_3,conv5_3层。因此,预测分类和回归的卷积层是conv4_2,fc7(conv),conv6_2,conv7_2,conv8_2和conv9_2。在这个阶段后,发现所设计的网络的特征提取能力相比SSD原有的特征提取层的特征提取能力差距不大,同时模型的参数相应的减少了,但是依然满足不了我们的需求。因此,如图3所示,本发明在所设计的特征提取层中融合了深度可分离卷积结构,它能够大幅度的降低卷积操作中所需要的参数,降低模型的计算量,同时提升了模型的表述能力。该结构的融入,使得改进的SSD检测网络在保持着强大的特征提取能力的同时,还能显著的减少计算复杂度和模型参数;
深度可分离卷积结构可以分为深度(Depthwise)卷积结构与逐点(Pointwise)卷积结构。假设有一个3×3大小的卷积层,其输入通道为16,输出通道为32。常规卷积使用32个3×3大小的卷积核遍历16个通道中的每个数据,从而产生16×32×3×3=4608个参数,而深度可分离卷积首先用1个3×3大小的卷积核遍历16通道的数据,得到了16个特征图谱。在融合操作之前,接着用32个1×1大小的卷积核遍历这16个特征图谱,进行相加融合。这个过程使用了16×3×3+16×32×1×1=656个参数,远少于上面常规卷积所产生的参数;
由于轮胎模具上的字符区域里小字符串呈长条型,而大字符却是呈方形,因此,为了提高网络对两类字符的检测精度,针对这个特性,提出了一种默认框(default boxes)的尺度(scale)和纵横比(aspect ratio)的自适应设定策略,对SSD中特征图上默认框的尺度与纵横比的选择进行了改进。具体地,在获取了大字符与小字符串在轮胎模具上大致的位置和形状,同时它们在不同尺度的特征图中位置所占的网络数(feature map cell)不同,可以根据每一个特征图尺寸与原输入图像尺寸的比值在该特征图上设定默认框的尺度以及默认框不同的纵横比,使之更精确的去匹配轮胎模具上大字符与小字符串的真实标签框(Ground Truth Boxes)。其中,在每一张特征图上对于默认框的尺度自适应策略的公式如下:
其中,m代表总共作为预测特征图的张数,这里的值为6。而k∈[1,m],根据真实标签框的特性,让Smin=0.6,Smax=0.9;
在每一张特征图上对应的默认框纵横比的设定策略如下:
其中,AspectRatiok表示第k个特征图的默认框纵横比向量,SizeRatiok,input为第k个特征图尺寸与原输入图像尺寸的比值,当它大于阈值T时,选择纵横比大的向量,用来预测小字符串;否则选择小的来预测大字符;这里的阈值可以是根据经验值设定的,T=1/30;
根据上述的默认框设定策略,可以得到每张特征图上的每个默认框的宽度和高度,如下公式所示:
如图4a至图4c所示,在比较浅的卷积特征图(10x10)里面,横向的长条形的默认框更加匹配轮胎模具上小字符串区域的真实标签框,而比较深的卷积特征图(5x5)竖直方形的默认框更加匹配模具图上大字符区域的真实标签。因此,根据这些特征图的尺寸来确定默认框的纵横比,即在浅的卷积层conv4_2(38x38),fc7(conv)(19x19),conv6_2(10x10)特征图使用纵横比大的(2,3,5,7)去预测小字符串,在深的卷积层conv7_2(5x5),conv8_2(3x3)的特征图里采用纵横比小的(1/3,1/2,1)去预测大字符的位置,从而进一步提升网络的检测的精度。
进一步地,在具体实施时,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,步骤S102采用卷积神经网络提取字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型,如图2所示,具体可以包括:首先将字符检测模型检测到的字符区域图片建立成字符区域图片数据集;然后对字符区域图片数据集进行标签;之后采用卷积神经网络提取标签过的字符区域图片数据集的特征向量;最后将提取的特征向量输入至长短时记忆网络进行训练,建立字符识别模型。
在实际应用中,由于模具字符串的字符个数是不是固定的,因此建立了一种无分割且可以识别不定字长的网络结构作为字符识别模型。该网络结构采用CNN提取特征向量,然后融入LSTM训练提取到的特征向量,从而实现对字符串的无分割且不定字长的识别。在这个网络中,如图5所示,采用四个卷积层和两个池化层,其中卷积层都是采用3x3的卷积核。为了防止训练时候在反向传播过程中出现梯度弥散的问题,可以在卷积操作与非线性映射(激活函数)之间加了批规范化(Batch Normalization)层;同时,在循环卷积层中,可以采用双向LSTM层,具体地,除了把原先的字符串提取的特征向量送入LSTM层训练外,还对特征向量进行反序,然后再送入LSTM层中训练。
在对待测轮胎模具图片上字符区域进行检测后,可以得到相应的大字符或小字符串(单词)图片,而这些小字符区域图片中所包含的字符个数都是不确定的;对于包含的字符个数不确定的小字符串识别时,除了需要对字符识别模型参数进行训练外,还要对字符划分模型进行训练,因此,可以将联结主义时间分类器(Connectionist TemporalClassifier,CTC)被接在RNN网络的最后一层用于序列学习。CTC适合于输入特征和输出标签之间对齐关系不确定的时间序列问题,可以自动端到端的同时优化模型参数和对齐切分的边界。
另外,在具体实施时,在本发明实施例提供的上述轮胎模具字符的检测与识别方法中,在将特征向量输入至长短时记忆网络进行训练之后,还可以包括:通过CNN网络和LSTM网络学习到的文字时序性对外形相近的字符(如“0”与“O”,“I”与“1”等)进行区分。CTC适合于输入特征和输出标签之间对齐关系不确定的时间序列问题,可以自动端到端的同时优化模型参数和对齐切分的边界,在很大程度上提高轮胎模具字符识别的准确率。
另外,需要注意的是,在执行步骤S103通过字符检测模型对待测轮胎模具图片上字符区域进行目标检测之前,还可以包括:对待测轮胎模具图片进行预处理。
在实际应用中,检测前可以先采用导向滤波对轮胎模具图进行预处理,然后利用Canny边缘检测提取出轮胎模具的外轮廓,并对外轮廓进行圆弧拟合,结果如图1所示。常见的拟合圆的过程如公式1所示:
其中,(mi,ni)表示外轮廓上任意一点的坐标,(α,β)表示拟合圆的中心坐标,r为拟合圆的半径,w为外轮廓点的总个数,ε2为拟合圆半径的误差平方和。当ε2趋向于很小的数时,外轮廓则可以近似看成拟合圆的一段圆弧。通过公式(1)得到的α、β以及r三个参数,便可以对该轮胎模具图进行极坐标变换拉直,变换过程如公式(2)、(3)所示:
式中(m,n)为轮胎模具的像素点坐标,(ρ,θ)为变换后相应的极坐标。然后对式(2)和式(3)进行反变换,即:
m=α-ρsinθ (4)
n=β+ρcosθ (5)
基于同一发明构思,本发明实施例还提供了一种轮胎模具字符的检测与识别装置,由于该轮胎模具字符的检测与识别装置解决问题的原理与前述一种轮胎模具字符的检测与识别方法相似,因此该轮胎模具字符的检测与识别装置的实施可以参见轮胎模具字符的检测与识别方法的实施,重复之处不再赘述。
在具体实施时,本发明实施例提供的轮胎模具字符的检测与识别装置,如图6所示,具体可以包括:
检测模型建立模块11,用于对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;
识别模型建立模块12,用于采用卷积神经网络提取字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;
字符区域检测模块13,用于通过字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到字符区域中大字符或小字符串的位置信息;
字符区域识别模块14,用于通过字符识别模型输出字符区域中大字符或小字符串的识别结果。
在本发明实施例提供的上述轮胎模具字符的检测与识别装置中,针对轮胎模具的特性,可以通过上述四个模块的相互作用,使得在模具图上具有很高的检测精度,实现无分割且快速识别大字符和不定字符长度的小字符串,有效避免字符串在单字符分割时带来的误差累积。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容,在此不再进行赘述。
相应的,本发明实施例还公开了一种轮胎模具字符的检测与识别设备,包括处理器和存储器;其中,处理器执行存储器中保存的计算机程序时实现前述实施例公开的轮胎模具字符的检测与识别方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
进一步的,本发明还公开了一种计算机可读存储介质,用于存储计算机程序;计算机程序被处理器执行时实现前述公开的轮胎模具字符的检测与识别方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种轮胎模具字符的检测与识别方法、装置、设备及存储介质,该方法包括:对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;采用卷积神经网络提取字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;通过字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到字符区域中大字符或小字符串的位置信息;通过字符识别模型输出字符区域中大字符或小字符串的识别结果。在字符检测阶段,针对轮胎模具的特性,建立的模型使得在模具图上具有很高的检测精度,同时能够达到工业级实时性的要求,在字符识别阶段,在提取特征后,融入长短时记忆网络,实现无分割且快速识别大字符和不定字符长度的小字符串,有效避免字符串在单字符分割时带来的误差累积。
最后,还需要说明的是,在本文中,关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的轮胎模具字符的检测与识别方法、装置、设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种轮胎模具字符的检测与识别方法,其特征在于,包括:
对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;所述轮胎模具图片包含大字符和小字符串;大字符呈方形,小字符串呈长条形;改进的SSD检测网络的特征提取层融合有深度可分离卷积结构;所述深度可分离卷积结构分为深度卷积结构与逐点卷积结构;在改进的SSD检测网络训练的过程中,根据每一个特征图尺寸与输入的轮胎模具图片尺寸的比值,在所述特征图上设定生成的默认框的尺度和纵横比,使所述默认框匹配所述轮胎模具图片上大字符与小字符串的真实标签框;特征图上对应的默认框纵横比的设定策略如下:
其中,AspectRatiok表示第k个特征图的默认框纵横比,SizeRatiok,input为第k个特征图尺寸与原输入图像尺寸的比值,当SizeRatiok,input大于等于阈值T时,选择纵横比{2,3,5,7},用来预测小字符串;否则选择纵横比用来预测大字符;
采用卷积神经网络提取所述字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;
通过所述字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到所述字符区域中大字符或小字符串的位置信息;
通过所述字符识别模型输出所述字符区域中大字符或小字符串的识别结果。
2.根据权利要求1所述的轮胎模具字符的检测与识别方法,其特征在于,对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型,具体包括:
对采集到的轮胎模具图片数据集样本进行字符区域图片位置的标注,获取所述字符区域图片中大字符或小字符串的位置信息,作为训练数据;
采取数据增广策略对所述样本进行物理变换,扩充所述训练数据;
将扩充后的所述训练数据进行标签后输入至改进的SSD检测网络进行训练,建立字符检测模型。
3.根据权利要求1所述的轮胎模具字符的检测与识别方法,其特征在于,采用卷积神经网络提取所述字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型,具体包括:
将所述字符检测模型检测到的字符区域图片建立成字符区域图片数据集;
对所述字符区域图片数据集进行标签;
采用卷积神经网络提取标签过的所述字符区域图片数据集的特征向量;
将提取的所述特征向量输入至长短时记忆网络进行训练,建立字符识别模型。
4.根据权利要求3所述的轮胎模具字符的检测与识别方法,其特征在于,在将提取的所述特征向量输入至长短时记忆网络进行训练之后,还包括:
通过所述卷积神经网络和所述长短时记忆网络对外形相近的字符进行区分。
5.根据权利要求3所述的轮胎模具字符的检测与识别方法,其特征在于,所述长短时记忆网络为双向长短时记忆网络;
在所述长短时记忆网络训练的过程中,将提取的所述特征向量输入至长短时记忆网络进行训练,以及对所述特征向量进行反序,再输入至长短时记忆网络训练。
6.一种轮胎模具字符的检测与识别装置,其特征在于,包括:
检测模型建立模块,用于对采集到的轮胎模具图片数据集样本输入至改进的SSD检测网络进行训练,建立字符检测模型;所述轮胎模具图片包含大字符和小字符串;大字符呈方形,小字符串呈长条形;改进的SSD检测网络的特征提取层融合有深度可分离卷积结构;所述深度可分离卷积结构分为深度卷积结构与逐点卷积结构;在改进的SSD检测网络训练的过程中,根据每一个特征图尺寸与输入的轮胎模具图片尺寸的比值,在所述特征图上设定生成的默认框的尺度和纵横比,使所述默认框匹配所述轮胎模具图片上大字符与小字符串的真实标签框;特征图上对应的默认框纵横比的设定策略如下:
其中,AspectRatiok表示第k个特征图的默认框纵横比,SizeRatiok,input为第k个特征图尺寸与原输入图像尺寸的比值,当SizeRatiok,input大于等于阈值T时,选择纵横比{2,3,5,7},用来预测小字符串;否则选择纵横比用来预测大字符;
识别模型建立模块,用于采用卷积神经网络提取所述字符检测模型检测到的字符区域图片的特征向量并输入至长短时记忆网络进行训练,建立字符识别模型;
字符区域检测模块,用于通过所述字符检测模型对待测轮胎模具图片上字符区域进行目标检测,得到所述字符区域中大字符或小字符串的位置信息;
字符区域识别模块,用于通过所述字符识别模型输出所述字符区域中大字符或小字符串的识别结果。
7.一种轮胎模具字符的检测与识别设备,其特征在于,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至5任一项所述的轮胎模具字符的检测与识别方法。
8.一种计算机可读存储介质,其特征在于,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的轮胎模具字符的检测与识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810768887.7A CN108960245B (zh) | 2018-07-13 | 2018-07-13 | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810768887.7A CN108960245B (zh) | 2018-07-13 | 2018-07-13 | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108960245A CN108960245A (zh) | 2018-12-07 |
CN108960245B true CN108960245B (zh) | 2022-04-19 |
Family
ID=64483924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810768887.7A Active CN108960245B (zh) | 2018-07-13 | 2018-07-13 | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108960245B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978072A (zh) * | 2019-04-03 | 2019-07-05 | 青岛伴星智能科技有限公司 | 一种基于深度学习的字符比对方法和比对系统 |
CN110197227B (zh) * | 2019-05-30 | 2023-10-27 | 成都中科艾瑞科技有限公司 | 一种多模型融合的仪表读数智能识别方法 |
CN110310317A (zh) * | 2019-06-28 | 2019-10-08 | 西北工业大学 | 一种基于深度学习的单目视觉场景深度估计的方法 |
CN110287952B (zh) * | 2019-07-01 | 2021-07-20 | 中科软科技股份有限公司 | 一种维语图片字符的识别方法及系统 |
CN110443159A (zh) * | 2019-07-17 | 2019-11-12 | 新华三大数据技术有限公司 | 数字识别方法、装置、电子设备及存储介质 |
CN110555462A (zh) * | 2019-08-02 | 2019-12-10 | 深圳索信达数据技术有限公司 | 基于卷积神经网络的无固定多字符验证码识别方法 |
CN110633646B (zh) * | 2019-08-21 | 2022-05-10 | 数字广东网络建设有限公司 | 图像敏感信息检测的方法、装置、计算机设备和存储介质 |
CN111079745A (zh) * | 2019-12-11 | 2020-04-28 | 中国建设银行股份有限公司 | 公式识别方法、装置、设备及存储介质 |
CN111291761B (zh) * | 2020-02-17 | 2023-08-04 | 北京百度网讯科技有限公司 | 用于识别文字的方法和装置 |
CN111507348A (zh) * | 2020-04-15 | 2020-08-07 | 深源恒际科技有限公司 | 基于ctc深度神经网络的文字分割和识别的方法 |
CN112348025B (zh) * | 2020-11-06 | 2023-04-07 | 上海商汤智能科技有限公司 | 字符检测方法及装置、电子设备和存储介质 |
CN112613375B (zh) * | 2020-12-16 | 2024-05-14 | 中国人寿财产保险股份有限公司 | 一种轮胎受损检测识别方法和设备 |
CN112686888A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土轨枕裂纹的检测方法、系统、设备和介质 |
CN112686887A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
CN113516123B (zh) * | 2021-05-14 | 2023-11-24 | 南京工程学院 | 一种针对轮胎压印字符的检测识别方法 |
CN113450321B (zh) * | 2021-06-18 | 2022-05-03 | 电子科技大学 | 基于边缘检测的单阶段目标检测方法 |
CN113989604B (zh) * | 2021-11-18 | 2024-06-25 | 广东工业大学 | 基于端到端深度学习的轮胎dot信息识别方法 |
CN114120310B (zh) * | 2022-01-27 | 2022-06-21 | 廊坊易砚领创科技有限公司 | 一种轮胎模具侧板的检测方法 |
CN116824591B (zh) * | 2023-04-19 | 2023-12-05 | 钛玛科(北京)工业科技有限公司 | 一种用于轮胎胎侧字符的识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105067638A (zh) * | 2015-07-22 | 2015-11-18 | 广东工业大学 | 基于机器视觉的轮胎胎膜表面字符缺陷检测方法 |
CN107516096A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 一种字符识别方法及装置 |
CN107689157A (zh) * | 2017-08-30 | 2018-02-13 | 电子科技大学 | 基于深度学习的交通路口可通行道路规划方法 |
CN107798299A (zh) * | 2017-10-09 | 2018-03-13 | 平安科技(深圳)有限公司 | 票据信息识别方法、电子装置及可读存储介质 |
CN108230292A (zh) * | 2017-04-11 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法和神经网络的训练方法、装置及电子设备 |
-
2018
- 2018-07-13 CN CN201810768887.7A patent/CN108960245B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105067638A (zh) * | 2015-07-22 | 2015-11-18 | 广东工业大学 | 基于机器视觉的轮胎胎膜表面字符缺陷检测方法 |
CN107516096A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 一种字符识别方法及装置 |
CN108230292A (zh) * | 2017-04-11 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法和神经网络的训练方法、装置及电子设备 |
CN107689157A (zh) * | 2017-08-30 | 2018-02-13 | 电子科技大学 | 基于深度学习的交通路口可通行道路规划方法 |
CN107798299A (zh) * | 2017-10-09 | 2018-03-13 | 平安科技(深圳)有限公司 | 票据信息识别方法、电子装置及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications;Andrew G. Howard et al;《arxiv.org》;20170417;第1-9页 * |
基于卷积神经网络的自然场景中数字的识别;周成伟;《中国优秀硕士学位论文全文数据库信息科技辑》;20180215(第02期);第I138-2142页 * |
基于机器视觉的轮胎模具字符缺陷检测;陈裕潮;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》;20180215(第02期);第B016-286页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108960245A (zh) | 2018-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN111325203B (zh) | 一种基于图像校正的美式车牌识别方法及系统 | |
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN106650721B (zh) | 一种基于卷积神经网络的工业字符识别方法 | |
CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
CN110163069B (zh) | 用于辅助驾驶的车道线检测方法 | |
CN111862119A (zh) | 基于Mask-RCNN的语义信息提取方法 | |
CN109002755B (zh) | 基于人脸图像的年龄估计模型构建方法及估计方法 | |
CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
CN107480585B (zh) | 基于dpm算法的目标检测方法 | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN109815923B (zh) | 基于lbp特征与深度学习的金针菇菇头分选识别方法 | |
CN111612802A (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
CN117745708A (zh) | 基于深度学习算法的木地板表面瑕疵检测方法 | |
CN111950556A (zh) | 一种基于深度学习的号牌印刷质量检测方法 | |
CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 | |
CN112926694A (zh) | 基于改进的神经网络对图像中的猪只进行自动识别的方法 | |
CN108985294B (zh) | 一种轮胎模具图片的定位方法、装置、设备及存储介质 | |
CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |