CN111127440A - 轮胎规格的检测方法、装置、电子设备及可读存储介质 - Google Patents
轮胎规格的检测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111127440A CN111127440A CN201911354822.9A CN201911354822A CN111127440A CN 111127440 A CN111127440 A CN 111127440A CN 201911354822 A CN201911354822 A CN 201911354822A CN 111127440 A CN111127440 A CN 111127440A
- Authority
- CN
- China
- Prior art keywords
- tire
- tire specification
- target area
- polygonal
- polygonal target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 44
- 230000001788 irregular Effects 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种轮胎规格的检测方法、装置、电子设备及可读存储介质。其中,一种轮胎规格的检测方法,包括:获取待检测轮胎的图像;采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;若所述多边形目标区域的数量为多个,则分别计算各所述多边形目标区域的置信度;根据所述置信度,确定各所述多边形目标区域的优先级;根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。还公开了一种轮胎规格的检测装置、电子设备及可读存储介质;可以准确、快速的对轮胎规格进行检测。
Description
技术领域
本申请涉及车辆检测领域,特别涉及一种轮胎规格的检测方法、装置、电子设备及可读存储介质。
背景技术
随着社会经济的快速发展以及人们生活水平的日益提高,目前城市机动车的保有量迅速增长,这直接带来车辆交易过程中车辆查验工作量的显著增加。
然而,发明人发现相关技术中至少存在如下问题:传统车辆查验中对于轮胎规格的检测主要依赖于人工操作,该方法人工成本较高,效率较低,且长时间重复性的人工检测操作,很容易使人工进入疲劳状态,从而影响检测准确率。因此,如何准确、快速的轮胎规格进行检测,同时避免人工检测过程中的成本高、易疲劳以及查验准确率低的弊端,是目前形势下亟需解决的技术问题。
发明内容
本申请的一个目的是提供一种轮胎规格的检测方法、装置、电子设备及可读存储介质,可以准确、快速的对轮胎规格进行检测,同时避免人工检测过程中的成本高、易疲劳以及查验准确率低的弊端。
根据本申请的一个方面,提供了一种轮胎规格的检测方法,包括:获取待检测轮胎的图像;采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;若所述多边形目标区域的数量为多个,则分别计算各所述多边形目标区域的置信度;根据所述置信度,确定各所述多边形目标区域的优先级;根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。
根据本申请另一个方面,还提供了一种轮胎规格的检测装置,包括:第一获取模块,用于获取待检测轮胎的图像;第二获取模块,用于采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;计算模块,用于当所述多边形目标区域的数量为多个时,分别计算各所述多边形目标区域的置信度;确定模块,用于根据所述置信度,确定各所述多边形目标区域的优先级;检测模块,用于根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。
根据本申请另一个方面,还提供了一种电子设备,包括:一个或多个处理器;以及存储有计算机可读指令的存储器,所述计算机可读指令在被执行时使所述处理器执行上述的轮胎规格的检测方法。
根据本申请另一个方面,还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的轮胎规格的检测方法。
另外,在所述分别计算各所述多边形目标区域的置信度之后,在所述根据所述置信度,确定各所述多边形目标区域的优先级之前,还包括:获取预先设定的置信度阈值;分别比较各所述多边形目标区域的置信度与所述置信度阈值;删除小于所述置信度阈值的置信度所对应的多边形目标区域。
另外,所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配,包括:根据优先级从高到低的顺序,对各所述多边形目标区域逐一进行检测,直到检测到一多边形目标区域中的轮胎规格与所述预设轮胎规格匹配时,检测结束,判定所述待检测轮胎的轮胎规格合格;若对排序后的各所述多边形目标区域均检测完毕后,不存在与所述预设轮胎规格匹配的轮胎规格,则判定所述待检测轮胎的轮胎规格不合格。
另外,在所述获取至少包括轮胎规格的多边形目标区域之后,在所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配之前,还包括:分别判断各所述多边形目标区域是否为矩形区域;将不是所述矩形区域的不规则多边形目标区域校正为矩形区域。
另外,所述将不是所述矩形区域的不规则多边形目标区域校正为矩形区域,包括:在所述不规则多边形目标区域的边沿选取若干轮廓点;根据所述若干轮廓点进行曲线拟合;根据曲线拟合结果,得到重映射表;根据所述重映射表,将所述不规则多边形目标区域校正为矩形区域。
另外,所述在所述不规则多边形目标区域的边沿选取若干轮廓点,具体为:在所述不规则多边形目标区域的上边沿,等间距选取若干第一轮廓点,并在所述不规则多边形目标区域的下边沿,等间距选取若干第二轮廓点;所述根据所述若干轮廓点进行曲线拟合,具体为:分别根据所述第一轮廓点和所述第二轮廓点进行曲线拟合。
另外,若所述多边形目标区域的数量为零,则判定所述待检测轮胎的轮胎规格不合格;若所述多边形目标区域的数量为1,则检测该多边形目标区域包括的轮胎规格与预设轮胎规格是否匹配,若匹配,则判定所述待检测轮胎的轮胎规格合格,否则,判定所述待检测轮胎的轮胎规格不合格。
本申请至少具有以下效果:
1、通过根据至少包括轮胎规格的多边形目标区域的置信度确定优先级,并根据优先级检测所述轮胎规格与预设轮胎规格是否匹配,可以准确、快速的对轮胎规格进行检测。全程自动审核,不仅可以提升审核准确率和审核效率,还可以节约人力成本,避免了人工检测过程中的成本高、易疲劳以及查验准确率低的弊端,保证审核工作的公正、公开。
2、可以应用于车辆年检中的机动车轮胎规格的审核工作,以缩短审核时间,不仅可以满足如今对车辆年检工作效率和准确率的需求,还可以减少机动车车主的等待时间。
附图说明:
一个或多个实施例通过与之对应的附图中的图像进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是根据本申请的一个方面提供的一种轮胎的示意图;
图2是根据本申请的一个方面提供的一种轮胎规格检测方法的流程图;
图3是根据本申请的一个方面提供的一种轮胎规格检测方法中,获取多边形目标区域的示意图;
图4是根据本申请的一个方面提供的一种轮胎规格的检测方法中,校正多边形目标区域的示意图。
具体实施方式:
为使本发明实施例的目的、技术方案和优点更加清楚,下面将基于附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要保护的技术方案。
图1示出根据本申请的一个方面提供的一种轮胎规格的示意图;这里所说的轮胎规格主要可以包括轮胎型号、载重指数、速度级别等等,本领域技术人员可以理解,在轮胎的其他区域,可能还包括除轮胎规格以外的信息,比如轮胎的商标等。图2示出根据本申请的一个方面提供的一种轮胎规格的检测方法,该方法包括步骤101至步骤105:
在步骤101中,获取待检测轮胎的图像;
在步骤102中,采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;在此,可以如图3所示,具体可以通过基于深度学习的多边形目标检测算法的目标检测模型,获取所述多边形目标区域(图中简称为目标区域)。在一些实施例中,目标检测模型可以通过如下方式获取:获取不同条件下(比如拍摄角度、光照强度、轮胎型号)的轮胎图像;采用矩形框标注轮胎图像中,轮胎规格所在的位置,得到标注结果;使用轮胎图像和标注结果,训练多边形目标检测深度神经网络,得到该目标检测模型。可选的,具体可以使用轮胎图像和标注结果,结合损失函数L(c,c′b,b′w,w′h,h′)训练多边形目标检测深度神经网络,得到目标检测模型。
其中,L(c,c′b,b′w,w′h,h′)=(λ*Lcls(c,c′)+Lloc(b,b′))/N+μ*(Lloc(w,w′)+Lloc(h,h′))/Np;
其中,N代表所有矩形框的个数,Np代表符合要求的矩形框的个数,λ和μ代表权重平衡因子,Lcls代表分类损失函数,Lloc代表定位损失函数,(c,b,w,h)中各元素分别代表预测得到的类别、矩形框、宽度的偏移及高度的偏移,(c′,b′,w′,h′)分别表示与(c,b,w,h)对应的标签数据。
需要说明的是,在一些实施例中,在获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域之后,假设多边形目标区域的数量为m个,则还可以输出一m×29的矩阵,该矩阵表示包括m个由14个轮廓点围成的多边形目标区域。其中,每一个矩阵对应于一个多边形目标区域,输出的每个矩阵包括与其对应的多边形目标区域的一29维的行向量:
[conf,p1_x,p1_y,p2_x,p2_y,p3_x,p3_y,p4_x,p4_y,p5_x,p5_y,p6_x,p6_y,p7_x,p7_y,p8_x,p8_y,p9_x,p9_y,p10_x,p10_y,p11_x,p11_y,p12_x,p12_y,p13_x,p13_y,p14_x,p14_y];
其中,conf代表该多边形目标区域的置信度,p{n}_x和p{n}_y分别代表该多边形目标区域的第n个点的横坐标、纵坐标。如此,根据各多边形目标区域的行向量表征的14个点的坐标,可以将轮胎规格的文本从待检测轮胎的图像中提取出来,从而达到有效地剔除待检测轮胎的图像中的背景干扰区域的目的。
在步骤103中,若所述多边形目标区域的数量为多个,则分别计算各所述多边形目标区域的置信度;在此,在一些实施例中,步骤102中的多边形目标检测算法可以基于深度学习的R-FCN(Region-based Fully Convolutional Networks)方法实现,如此,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域,并分别计算各所述多边形目标区域的置信度的步骤,可以包括:
S1、将ResNet(Residual Neural Network)深度残差网络作为基网络,提取待检测轮胎的图像中的图像特征;
S2、使用区域候选网络(Region Proposal Network,简称“RPN”),根据图像特征获取若干候选区域及分别对应于各候选区域的置信度,并分别对各候选区域进行非极大值抑制(Non-Maximum Suppression,简称“NMS”)处理,得到处理结果;
S3、根据处理结果,使用区域池化方法得到各候选区域的特征图;
S4、对各候选区域的特征图,使用卷积神经网络(Convolutional NeuralNetworks,“CNN”)回归,得到各多边形目标区域的坐标以及各多边形目标区域的置信度;可选的,具体可以通过如下公式执行softmax操作得到各多边形目标区域的置信度:
其中,θ代表各多边形目标区域类别的特征值;c代表当前每个多边形目标区域的类别,c′代表类别的种类数,e为自然常数,其值约为2.71828;RC代表使用CNN处理后得到的特征值,SC(θ)为种类为第c类的置信度,其为一概率值。
S5、对各多边形目标区域的坐标使用长短期记忆网络(Long Short-Term Memory,“LSTM”)进行平滑和修正,得到处理结果,即:本实施例中的至少包括轮胎规格的多边形目标区域;可选的,具体可以使用如下Lt函数对各多边形目标区域的坐标依次进行参数更新,已达到平滑和修正的目的:
Lt=ψ(Lt-1,Ot),t=1,……,n;n为自然数;
其中,t代表多边形目标区域的数量,Ot代表包括第t个多边形目标区域的坐标,Lt代表包括通过Ot和Lt-1计算得到的第t个多边形目标区域的坐标的修正信息,ψ代表LSTM中的非线性函数。
在步骤104中,根据所述置信度,确定各所述多边形目标区域的优先级;在此,在一些实施例中,置信度和优先级成正相关,即置信度越高,则优先级越高。
在步骤105中,根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。在此,具体可以使用基于深度学习的文本识别方法的轮胎规格文本识别模型,检测所述轮胎规格。在一些实施例中,文本识别模型具体可以通过如下方式获取:
S1、准备训练数据:获取不同条件下(比如光照、拍摄角度、车辆型号、轮胎规格)的多边形目标区域的轮胎图像;可选的,可以校正所述多边形目标区域的轮胎图像,以便于得到校正后的对应于轮胎图像的直线文本图像;
S2、标注数据:标注轮胎图像中的文本字符串;可选的,可以为轮胎图像的文本字符串中的每一种字符串各分配一个类别,并额外分配一个空白类别,之后,统计各文本字符串中字符串的最大长度,再将轮胎规格图像中的文本字符串逐一按照设定的类别标注,若出现字符串的长度小于最大长度的文本字符串,则可以使用空白类别对该小于最大长度的文本字符串进行补足。
S3、训练模型:使用所述轮胎图像和标注后的文本字符串,训练基于深度学习的文本识别神经网络,获得轮胎规格文本识别模型。可选的,具体可以使用所述轮胎图像和标注后的文本字符串,依据损失函数L(S)训练文本识别神经网络,获得轮胎规格文本识别模型。其中,
L(S)=∑-ln p(z|x),(x,z)∈S;
其中,p(z|x)代表给定输入x,输出序列z的概率,S代表训练集。
在一些实施例中,使用轮胎规格文本识别模型检测所述轮胎规格,可以包括:使用CNN提取当前多边形目标区域的图像特征;预先设置时间步长timestep,根据时间步长timestep的值对上述图像特征的区域进行划分,对划分好的区域使用LSTM输出检测到的字符序列;从该字符序列中提取目标字符串,以便于后续将目标字符串与预设轮胎规格的字符串进行匹配。可选的,从该字符序列中提取文本字符串可以依据以下策略:
if Ft!=Ft+1&&Ft!=NULL;
Res+=Ft;
其中,t的取值范围为从0至timestep-1,Ft代表针对多边形目标区域t检测到的字符序列,Ft+1代表针对多边形目标区域t+1检测到的字符序列,Res代表提取到的目标字符串。
在本申请一实施例中,在步骤103之后,在步骤104之前,即:在所述分别计算各所述多边形目标区域的置信度之后,在所述根据所述置信度,确定各所述多边形目标区域的优先级之前,还可以包括:获取预先设定的置信度阈值;分别比较各所述多边形目标区域的置信度与所述置信度阈值;删除小于所述置信度阈值的置信度所对应的多边形目标区域。在此,可以在步骤103的S5中,对各多边形目标区域的坐标使用LSTM进行平滑和修正之后,对各多边形目标区域进行NMS处理,并根据预先设定的置信度阈值,对各多边形目标区域进行过滤,仅保留各多边形目标区域中,置信度大于或者等于置信度阈值的多边形目标区域,作为本实施例中的多边形目标区域。
在本申请一实施例中,在步骤105中,所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配,可以包括:根据优先级从高到低的顺序,对各所述多边形目标区域逐一进行检测,直到检测到一多边形目标区域中的轮胎规格与所述预设轮胎规格匹配时,检测结束,判定所述待检测轮胎的轮胎规格合格;若对排序后的各所述多边形目标区域均检测完毕后,不存在与所述预设轮胎规格匹配的轮胎规格,则判定所述待检测轮胎的轮胎规格不合格。
在本申请一实施例中,在步骤102之后,在步骤105之前,即:在所述获取至少包括轮胎规格的多边形目标区域之后,在所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配之前,还可以包括:分别判断各所述多边形目标区域是否为矩形区域;将不是所述矩形区域的不规则多边形目标区域校正为矩形区域。在此,可以根据图像处理器,将不是所述矩形区域的不规则多边形目标区域校正为矩形区域,从而可以输出直线文本图像,这样,可以大幅削弱对于不规则多边形目标区域的检测结果为曲线文本图像时,文本的弯曲变形带来的误检影响,可以提高检测结果的准确性。
继续接上述实施例,所述将不是所述矩形区域的不规则多边形目标区域校正为矩形区域,可以包括:在所述不规则多边形目标区域的边沿选取若干轮廓点;根据所述若干轮廓点进行曲线拟合;根据曲线拟合结果,得到重映射表;根据所述重映射表,将所述不规则多边形目标区域校正为矩形区域。在此,具体可以根据重映射表,对待检测轮胎的图像进行重映射变换,以得到校正后的多边形目标区域。
继续接上述实施例,所述在所述不规则多边形目标区域的边沿选取若干轮廓点,具体可以为:在所述不规则多边形目标区域的上边沿,等间距选取若干第一轮廓点,并在所述不规则多边形目标区域的下边沿,等间距选取若干第二轮廓点;所述根据所述若干轮廓点进行曲线拟合,具体可以为:分别根据所述第一轮廓点和所述第二轮廓点进行曲线拟合。在此,也就是说,可以将所述不规则多边形目标区域的边沿选取若干轮廓点,按照多边形目标区域的上边沿和下边沿分为两组,并分别对该两组轮廓点进行曲线拟合。在一些实施例中,可以在多边形目标区域的上边沿和下边沿分别等间距选取7个轮廓点,然而在其他实施例中,并不对此作任何限定,可以参见图4,在该例子中,第一轮廓点共包括5个等间距的轮廓点,分别为:P11、P12、P13、P14、P15;第二轮廓点共包括4个等间距的轮廓点,分别为:P21、P22、P23、P24。基于一些实施例,在步骤102中提到的目标检测模型具体可以通过如下方式获取:
S1、准备训练数据:获取不同条件下(比如拍摄角度、光照强度、轮胎型号)的轮胎图像。值得一提的是,每个轮胎图像中可以包括若干多边形目标区域,每个多边形目标区域均包括完整的轮胎规格;
S2、标注数据:可以用14个轮廓点,将轮胎图像中的多边形目标区域标出,比如:以多边形目标区域的左上角为第一个轮廓点,依次按照顺时针的方向进行标注,并保证多边形目标区域的上边沿和下边沿各有7个轮廓点,这7个轮廓点中的各轮廓点等间距;
S3、训练模型:使用标注好的训练数据,在使用ImageNet上数据集上进行预训练,并根据ResNet模型,训练得到目标检测模型。
在本申请一实施例中,还可以包括:若所述多边形目标区域的数量为零,则判定所述待检测轮胎的轮胎规格不合格;若所述多边形目标区域的数量为1,则检测该多边形目标区域包括的轮胎规格与预设轮胎规格是否匹配,若匹配,则判定所述待检测轮胎的轮胎规格合格,否则,判定所述待检测轮胎的轮胎规格不合格。
在本申请一实际应用场景中,一种轮胎规格的检测方法,可以包括:从服务器下载待检测轮胎的图像,以及应当与所述待检测轮胎的图像对应的正确轮胎规格,将该正确轮胎规格作为预设轮胎规格;采用基于深度学习的多边形目标检测算法,检测所述待检测轮胎的图像中是否存在至少包括轮胎规格的多边形目标区域,若不存在所述多边形目标区域,则判定所述待检测轮胎的轮胎规格不合格,保存相关图像以供人工复核,检测流程结束;若所述多边形目标区域的数量为多个,则分别计算各所述多边形目标区域的置信度,仅保留其置信度高于预设置信度的多边形目标区域;然后再确定剩下的各多边形目标区域的优先级,优先级与置信度成正相关;获取优先级最高的多边形目标区域,对优先级最高的多边形目标区域进行校正,采用基于深度学习的文本识别算法,识别校正后的多边形目标区域中的轮胎规格,判断该优先级最高的多边形目标区域中轮胎规格与预设轮胎规格是否匹配,若匹配,则检测结束,判定所述待检测轮胎的轮胎规格合格;若不匹配,则获取优先级排名第二的多边形目标区域,对该优先级排名第二的多边形目标区域进行校正,采用基于深度学习的文本识别算法,识别校正后的该优先级排名第二的多边形目标区域,判断该优先级排名第二的多边形目标区域中的轮胎规格与预设轮胎规格是否匹配,若匹配,则检测结束,判定所述待检测轮胎的轮胎规格合格;若不匹配,则获取优先级排名第三的多边形目标区域……,如此循环,若对排序后的各所述多边形目标区域均检测完毕后,不存在与所述预设轮胎规格匹配的轮胎规格,则判定所述待检测轮胎的轮胎规格不合格。
不难发现,在该实际应用场景中的轮胎规格的检测方法,巧妙地结合了深度学习中目标检测方法、文本识别方法和传统图像处理方法,并充分发挥了上述各方法在其各自领域的优势,可以有效避免待检测轮胎的图像的背景中包括其他字符等复杂、轮胎规格的文本在待检测轮胎的图像中所占比例小以及轮胎规格的文本弯曲变形等一系列问题导致的容易造成误检的影响,可以准确、快速的对轮胎规格进行检测,有效地提高了对轮胎规格的检测效率。
此外,在本申请一实施例中,还提供了一种轮胎规格的检测装置,包括:第一获取模块,用于获取待检测轮胎的图像;第二获取模块,用于采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;计算模块,用于当所述多边形目标区域的数量为多个时,分别计算各所述多边形目标区域的置信度;确定模块,用于根据所述置信度,确定各所述多边形目标区域的优先级;检测模块,用于根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。
在一些实施例中,在所述分别计算各所述多边形目标区域的置信度之后,在所述根据所述置信度,确定各所述多边形目标区域的优先级之前,还包括:获取预先设定的置信度阈值;分别比较各所述多边形目标区域的置信度与所述置信度阈值;删除小于所述置信度阈值的置信度所对应的多边形目标区域。
在一些实施例中,所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配,包括:根据优先级从高到低的顺序,对各所述多边形目标区域逐一进行检测,直到检测到一多边形目标区域中的轮胎规格与所述预设轮胎规格匹配时,检测结束,判定所述待检测轮胎的轮胎规格合格;若对排序后的各所述多边形目标区域均检测完毕后,不存在与所述预设轮胎规格匹配的轮胎规格,则判定所述待检测轮胎的轮胎规格不合格。
在一些实施例中,在所述获取至少包括轮胎规格的多边形目标区域之后,在所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配之前,还包括:分别判断各所述多边形目标区域是否为矩形区域;将不是所述矩形区域的不规则多边形目标区域校正为矩形区域。
在一些实施例中,所述将不是所述矩形区域的不规则多边形目标区域校正为矩形区域,包括:在所述不规则多边形目标区域的边沿选取若干轮廓点;根据所述若干轮廓点进行曲线拟合;根据曲线拟合结果,得到重映射表;根据所述重映射表,将所述不规则多边形目标区域校正为矩形区域。
在一些实施例中,所述在所述不规则多边形目标区域的边沿选取若干轮廓点,具体为:在所述不规则多边形目标区域的上边沿,等间距选取若干第一轮廓点,并在所述不规则多边形目标区域的下边沿,等间距选取若干第二轮廓点;所述根据所述若干轮廓点进行曲线拟合,具体为:分别根据所述第一轮廓点和所述第二轮廓点进行曲线拟合。
在一些实施例中,若所述多边形目标区域的数量为零,则判定所述待检测轮胎的轮胎规格不合格;若所述多边形目标区域的数量为1,则检测该多边形目标区域包括的轮胎规格与预设轮胎规格是否匹配,若匹配,则判定所述待检测轮胎的轮胎规格合格,否则,判定所述待检测轮胎的轮胎规格不合格。
不难发现,本申请实施例为与上述的轮胎规格的检测方法的实施例相对应的装置实施例,本实施方式可与轮胎规格的检测方法的实施例互相配合实施。轮胎规格的检测方法的实施例中提到的相关技术细节在本申请实施例中依然有效,为了减少重复,这里不再赘述。
在本申请一实施例中,还提供了一种电子设备,包括:一个或多个处理器;以及存储有计算机可读指令的存储器,所述计算机可读指令在被执行时使所述处理器执行如上述任一所述的轮胎规格的检测方法。
本申请实施例还提供了一种计算机可读介质,所述计算机程序被处理器执行时实现上述任一所述的轮胎规格的检测方法。
例如,计算机可读指令在被执行时使所述一个或多个处理器:
获取待检测轮胎的图像;
采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;
若所述多边形目标区域的数量为多个,则分别计算各所述多边形目标区域的置信度;
根据所述置信度,确定各所述多边形目标区域的优先级;
根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change RAM,PRAM)、静态随机存取存储器(Static Random Access Memory,SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disk,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解,本方案不受上述实施例的限制,上述实施例和说明书中描述的只是说明本方案的原理,在不脱离本方案精神和范围的前提下,本方案还会有各种变化和改进,这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种轮胎规格的检测方法,其特征在于,包括:
获取待检测轮胎的图像;
采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;
若所述多边形目标区域的数量为多个,则分别计算各所述多边形目标区域的置信度;
根据所述置信度,确定各所述多边形目标区域的优先级;
根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。
2.根据权利要求1所述的轮胎规格的检测方法,其特征在于,在所述分别计算各所述多边形目标区域的置信度之后,在所述根据所述置信度,确定各所述多边形目标区域的优先级之前,还包括:
获取预先设定的置信度阈值;
分别比较各所述多边形目标区域的置信度与所述置信度阈值;
删除小于所述置信度阈值的置信度所对应的多边形目标区域。
3.根据权利要求1所述的轮胎规格的检测方法,其特征在于,所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配,包括:
根据优先级从高到低的顺序,对各所述多边形目标区域逐一进行检测,直到检测到一多边形目标区域中的轮胎规格与所述预设轮胎规格匹配时,检测结束,判定所述待检测轮胎的轮胎规格合格;
若对排序后的各所述多边形目标区域均检测完毕后,不存在与所述预设轮胎规格匹配的轮胎规格,则判定所述待检测轮胎的轮胎规格不合格。
4.根据权利要求1所述的轮胎规格的检测方法,其特征在于,在所述获取至少包括轮胎规格的多边形目标区域之后,在所述根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配之前,还包括:
分别判断各所述多边形目标区域是否为矩形区域;
将不是所述矩形区域的不规则多边形目标区域校正为矩形区域。
5.根据权利要求4所述的轮胎规格的检测方法,其特征在于,所述将不是所述矩形区域的不规则多边形目标区域校正为矩形区域,包括:
在所述不规则多边形目标区域的边沿选取若干轮廓点;
根据所述若干轮廓点进行曲线拟合;
根据曲线拟合结果,得到重映射表;
根据所述重映射表,将所述不规则多边形目标区域校正为矩形区域。
6.根据权利要求5所述的轮胎规格的检测方法,其特征在于,所述在所述不规则多边形目标区域的边沿选取若干轮廓点,具体为:
在所述不规则多边形目标区域的上边沿,等间距选取若干第一轮廓点,并在所述不规则多边形目标区域的下边沿,等间距选取若干第二轮廓点;
所述根据所述若干轮廓点进行曲线拟合,具体为:
分别根据所述第一轮廓点和所述第二轮廓点进行曲线拟合。
7.根据权利要求1至6中任意一项所述的轮胎规格的检测方法,其特征在于,包括:
若所述多边形目标区域的数量为零,则判定所述待检测轮胎的轮胎规格不合格;
若所述多边形目标区域的数量为1,则检测该多边形目标区域包括的轮胎规格与预设轮胎规格是否匹配,若匹配,则判定所述待检测轮胎的轮胎规格合格,否则,判定所述待检测轮胎的轮胎规格不合格。
8.一种轮胎规格的检测装置,其特征在于,包括:
第一获取模块,用于获取待检测轮胎的图像;
第二获取模块,用于采用基于深度学习的多边形目标检测算法,获取所述待检测轮胎的图像中至少包括轮胎规格的多边形目标区域;
计算模块,用于当所述多边形目标区域的数量为多个时,分别计算各所述多边形目标区域的置信度;
确定模块,用于根据所述置信度,确定各所述多边形目标区域的优先级;
检测模块,用于根据所述优先级,检测所述轮胎规格与预设轮胎规格是否匹配。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
存储有计算机可读指令的存储器,所述计算机可读指令在被执行时使所述处理器执行权利要求1至7中任一项所述的轮胎规格的检测方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的轮胎规格的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911354822.9A CN111127440A (zh) | 2019-12-22 | 2019-12-22 | 轮胎规格的检测方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911354822.9A CN111127440A (zh) | 2019-12-22 | 2019-12-22 | 轮胎规格的检测方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111127440A true CN111127440A (zh) | 2020-05-08 |
Family
ID=70503268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911354822.9A Pending CN111127440A (zh) | 2019-12-22 | 2019-12-22 | 轮胎规格的检测方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111127440A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013247653A (ja) * | 2012-05-29 | 2013-12-09 | Canon Inc | 画像処理装置および画像処理方法 |
US20170372161A1 (en) * | 2016-06-24 | 2017-12-28 | Accenture Global Solutions Limited | Intelligent automatic license plate recognition for electronic tolling environments |
CN108446696A (zh) * | 2018-02-09 | 2018-08-24 | 杭州雄迈集成电路技术有限公司 | 一种基于深度学习的端到端车牌识别方法 |
CN109115773A (zh) * | 2018-07-20 | 2019-01-01 | 苏州光图智能科技有限公司 | 轮胎信息验证方法、装置及存储介质 |
CN109255350A (zh) * | 2018-08-29 | 2019-01-22 | 南京邮电大学 | 一种基于视频监控的新能源车牌检测方法 |
CN109272016A (zh) * | 2018-08-08 | 2019-01-25 | 广州视源电子科技股份有限公司 | 目标检测方法、装置、终端设备和计算机可读存储介质 |
CN109871730A (zh) * | 2017-12-05 | 2019-06-11 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法、装置及监控设备 |
CN109919966A (zh) * | 2019-01-24 | 2019-06-21 | 北京明略软件系统有限公司 | 区域确定方法、装置、存储介质和处理器 |
CN110503102A (zh) * | 2019-08-27 | 2019-11-26 | 上海眼控科技股份有限公司 | 车辆识别码检测方法、装置、计算机设备和存储介质 |
CN110598799A (zh) * | 2019-09-20 | 2019-12-20 | 科大讯飞股份有限公司 | 一种目标检测结果的评测方法、装置、设备及存储介质 |
-
2019
- 2019-12-22 CN CN201911354822.9A patent/CN111127440A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013247653A (ja) * | 2012-05-29 | 2013-12-09 | Canon Inc | 画像処理装置および画像処理方法 |
US20170372161A1 (en) * | 2016-06-24 | 2017-12-28 | Accenture Global Solutions Limited | Intelligent automatic license plate recognition for electronic tolling environments |
CN109871730A (zh) * | 2017-12-05 | 2019-06-11 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法、装置及监控设备 |
CN108446696A (zh) * | 2018-02-09 | 2018-08-24 | 杭州雄迈集成电路技术有限公司 | 一种基于深度学习的端到端车牌识别方法 |
CN109115773A (zh) * | 2018-07-20 | 2019-01-01 | 苏州光图智能科技有限公司 | 轮胎信息验证方法、装置及存储介质 |
CN109272016A (zh) * | 2018-08-08 | 2019-01-25 | 广州视源电子科技股份有限公司 | 目标检测方法、装置、终端设备和计算机可读存储介质 |
CN109255350A (zh) * | 2018-08-29 | 2019-01-22 | 南京邮电大学 | 一种基于视频监控的新能源车牌检测方法 |
CN109919966A (zh) * | 2019-01-24 | 2019-06-21 | 北京明略软件系统有限公司 | 区域确定方法、装置、存储介质和处理器 |
CN110503102A (zh) * | 2019-08-27 | 2019-11-26 | 上海眼控科技股份有限公司 | 车辆识别码检测方法、装置、计算机设备和存储介质 |
CN110598799A (zh) * | 2019-09-20 | 2019-12-20 | 科大讯飞股份有限公司 | 一种目标检测结果的评测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
TAKUMA FUNAHASHI ET AL: "Fast and robust visual inspection system for tire surface thin defect", pages 1 - 6 * |
刘涛等: "基于北斗云的轮胎自动检测系统", pages 104 - 106 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723860B (zh) | 一种目标检测方法及装置 | |
CN109492643B (zh) | 基于ocr的证件识别方法、装置、计算机设备及存储介质 | |
CN108229509B (zh) | 用于识别物体类别的方法及装置、电子设备 | |
CN110569837B (zh) | 优化损伤检测结果的方法及装置 | |
WO2020177432A1 (zh) | 基于目标检测网络的多标签物体检测方法、系统、装置 | |
CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
CN112001406B (zh) | 一种文本区域检测方法及装置 | |
CN111680701B (zh) | 图像识别模型的训练方法、装置及图像识别方法、装置 | |
CN109740606B (zh) | 一种图像识别方法及装置 | |
CN110969627B (zh) | 图像分割模型训练方法、图像处理方法及装置 | |
CN111461113B (zh) | 一种基于变形平面物体检测网络的大角度车牌检测方法 | |
US11721229B2 (en) | Question correction method, device, electronic equipment and storage medium for oral calculation questions | |
CN111222417A (zh) | 一种用于提高基于车载图像车道线提取精度的方法及装置 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN116228678A (zh) | 芯片封装缺陷自动识别和处理方法 | |
CN116258663A (zh) | 螺栓缺陷识别方法、装置、计算机设备和存储介质 | |
CN114882204A (zh) | 船名自动识别方法 | |
CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
CN108960256A (zh) | 一种部件损伤程度的确定方法、装置及设备 | |
CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
CN112215266A (zh) | 一种基于小样本学习的x光图像违禁物品检测方法 | |
CN116229419B (zh) | 一种行人检测方法及装置 | |
CN112215304A (zh) | 一种用于地理影像拼接的灰度影像匹配方法及装置 | |
CN111127440A (zh) | 轮胎规格的检测方法、装置、电子设备及可读存储介质 | |
CN110751163A (zh) | 目标定位方法及其装置、计算机可读存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |