CN115546105A - 一种轮胎花纹检测方法、装置、可读存储介质及终端设备 - Google Patents
一种轮胎花纹检测方法、装置、可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN115546105A CN115546105A CN202211082524.0A CN202211082524A CN115546105A CN 115546105 A CN115546105 A CN 115546105A CN 202211082524 A CN202211082524 A CN 202211082524A CN 115546105 A CN115546105 A CN 115546105A
- Authority
- CN
- China
- Prior art keywords
- image
- tire
- matched
- mask
- mask image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 77
- 238000004590 computer program Methods 0.000 claims description 19
- 238000013473 artificial intelligence Methods 0.000 claims description 18
- 238000005260 corrosion Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 20
- 238000012545 processing Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000003628 erosive effect Effects 0.000 description 8
- 230000010339 dilation Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本申请属于图像处理技术领域，尤其涉及一种轮胎花纹检测方法、装置、计算机可读存储介质及终端设备。所述方法包括：获取待检测的第一轮胎图像和第二轮胎图像；分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；根据所述匹配关键点数目确定轮胎花纹是否一致。在本申请中，通过对轮胎图像进行相应的图像处理及匹配过程来确定轮胎花纹是否一致，可以有效保证检测结果的准确性。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种轮胎花纹检测方法、装置、计算机可读存储介质及终端设备。
背景技术
汽车轮胎是保证汽车能稳定行驶的重要因素之一，在行车安全检查时，一般需要对汽车的轮胎花纹进行检测，以确保各个轮胎的轮胎花纹是一致的，避免行驶过程中可能出现的安全隐患。在现有技术中，大多是采用人工检测的方式来检测汽车轮胎花纹是否一致，完全依赖于相关工作人员的主观经验判断，难以保证检测结果的准确性。
发明内容
有鉴于此，本申请实施例提供了一种轮胎花纹检测方法、装置、计算机可读存储介质及终端设备，以解决现有的轮胎花纹检测方法依赖于相关工作人员的主观经验判断，难以保证检测结果的准确性的问题。
本申请实施例的第一方面提供了一种轮胎花纹检测方法，可以包括：
获取待检测的第一轮胎图像和第二轮胎图像；
分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；
根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；
对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；
根据所述匹配关键点数目确定轮胎花纹是否一致。
在第一方面的一种具体实现方式中，所述分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像，可以包括：
使用预设的轮胎分割模型分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到所述第一掩膜图像和所述第二掩膜图像；
其中，所述轮胎分割模型为预先训练得到的用于对轮胎图像进行语义分割的人工智能模型。
在第一方面的一种具体实现方式中，在使用预设的轮胎分割模型分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割之前，所述方法还可以包括：
获取预设的训练样本集；其中，所述训练样本集中包括预设数目的训练样本，每个训练样本包括轮胎样本图像和对应的标签图像；
以所述训练样本集中每个训练样本的轮胎样本图像为输入，以所述训练样本集中每个训练样本的标签图像为预期输出，对初始的人工智能模型进行训练，得到所述轮胎分割模型。
在第一方面的一种具体实现方式中，，在根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像之前，所述方法还可以包括；
分别对所述第一掩膜图像和所述第二掩膜图像进行图像腐蚀操作，得到腐蚀后的第一掩膜图像和腐蚀后的第二掩膜图像；
分别对所述腐蚀后的第一掩膜图像和所述腐蚀后的第二掩膜图像进行图像膨胀操作，得到膨胀后的第一掩膜图像和膨胀后的第二掩膜图像。
在第一方面的一种具体实现方式中，所述根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像，可以包括：
将所述第一轮胎图像和所述第一掩膜图像的各个对应像素进行与运算，得到所述第一待匹配图像；
将所述第二轮胎图像和所述第二掩膜图像的各个对应像素进行与运算，得到所述第二待匹配图像。
在第一方面的一种具体实现方式中，所述对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目，可以包括：
分别对所述第一待匹配图像和所述第二待匹配图像进行特征提取，得到第一关键点集合和第二关键点集合；
对所述第一关键点集合和第二关键点集合进行关键点匹配，得到所述匹配关键点数目。
在第一方面的一种具体实现方式中，所述根据所述匹配关键点数目确定轮胎花纹是否一致，可以包括：
若所述匹配关键点数目大于预设的数目阈值，则确定轮胎花纹一致；
若所述匹配关键点数目小于或等于所述数目阈值，则确定轮胎花纹不一致。
本申请实施例的第二方面提供了一种轮胎花纹检测装置，可以包括：
轮胎图像获取模块，用于获取待检测的第一轮胎图像和第二轮胎图像；
语义分割模块，用于分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；
待匹配图像生成模块，用于根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；
图像匹配模块，用于对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；
检测结果确定模块，用于根据所述匹配关键点数目确定轮胎花纹是否一致。
在第二方面的一种具体实现方式中，所述语义分割模块可以包括：
模型处理单元，用于使用预设的轮胎分割模型分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到所述第一掩膜图像和所述第二掩膜图像；其中，所述轮胎分割模型为预先训练得到的用于对轮胎图像进行语义分割的人工智能模型。
在第二方面的一种具体实现方式中，所述语义分割模块还可以包括：
训练样本集获取单元，用于获取预设的训练样本集；其中，所述训练样本集中包括预设数目的训练样本，每个训练样本包括轮胎样本图像和对应的标签图像；
模型训练单元，用于以所述训练样本集中每个训练样本的轮胎样本图像为输入，以所述训练样本集中每个训练样本的标签图像为预期输出，对初始的人工智能模型进行训练，得到所述轮胎分割模型。
在第二方面的一种具体实现方式中，所述轮胎花纹检测装置还可以包括：
图像腐蚀操作模块，用于分别对所述第一掩膜图像和所述第二掩膜图像进行图像腐蚀操作，得到腐蚀后的第一掩膜图像和腐蚀后的第二掩膜图像；
图像膨胀操作模块，用于分别对所述腐蚀后的第一掩膜图像和所述腐蚀后的第二掩膜图像进行图像膨胀操作，得到膨胀后的第一掩膜图像和膨胀后的第二掩膜图像。
在第二方面的一种具体实现方式中，所述待匹配图像生成模块可以具体用于：将所述第一轮胎图像和所述第一掩膜图像的各个对应像素进行与运算，得到所述第一待匹配图像；将所述第二轮胎图像和所述第二掩膜图像的各个对应像素进行与运算，得到所述第二待匹配图像。
在第二方面的一种具体实现方式中，所述图像匹配模块可以包括：
特征提取单元，用于分别对所述第一待匹配图像和所述第二待匹配图像进行特征提取，得到第一关键点集合和第二关键点集合；
关键点匹配单元，用于对所述第一关键点集合和第二关键点集合进行关键点匹配，得到所述匹配关键点数目。
在第二方面的一种具体实现方式中，所述检测结果确定模块可以具体用于：若所述匹配关键点数目大于预设的数目阈值，则确定轮胎花纹一致；若所述匹配关键点数目小于或等于所述数目阈值，则确定轮胎花纹不一致。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种轮胎花纹检测方法的步骤。
本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种轮胎花纹检测方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述任一种轮胎花纹检测方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例获取待检测的第一轮胎图像和第二轮胎图像；分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；根据所述匹配关键点数目确定轮胎花纹是否一致。在本申请实施例中，通过对轮胎图像进行相应的图像处理及匹配过程来确定轮胎花纹是否一致，无需依赖相关工作人员的主观经验判断，可以有效保证检测结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种轮胎花纹检测方法的一个实施例流程图；
图2为第一轮胎图像和第二轮胎图像的示意图；
图3为第一掩膜图像的示意图；
图4为应用第一掩膜图像得到的第一待匹配图像的示意图；
图5为应用膨胀后的第一掩膜图像得到的第一待匹配图像的示意图；
图6为直对第一轮胎图像和第二轮胎图像进行关键点匹配的结果示意图；
图7为对经过图像腐蚀操作和图像膨胀操作得到的第一待匹配图像和第二待匹配图像进行关键点匹配的结果示意图；
图8为对未经过图像腐蚀操作和图像膨胀操作得到的第一待匹配图像和第二待匹配图像进行关键点匹配的结果示意图；
图9为轮胎花纹不一致时的关键点匹配结果示意图；
图10为本申请实施例中一种轮胎花纹检测装置的一个实施例结构图；
图11为本申请实施例中一种终端设备的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例的执行主体可以为任意一种终端设备，包括但不限于手机、平板电脑、桌上型计算机、笔记本、掌上电脑及机器人等。在本申请实施例中，通过对轮胎图像进行相应的图像处理及匹配过程来确定轮胎花纹是否一致，无需依赖相关工作人员的主观经验判断，可以有效保证检测结果的准确性。
请参阅图1，本申请实施例中一种轮胎花纹检测方法的一个实施例可以包括：
步骤S101、获取待检测的第一轮胎图像和第二轮胎图像。
其中，第一轮胎图像和第二轮胎图像为同一车辆不同轮胎的图像。图2所示即为第一轮胎图像和第二轮胎图像的示意图，其中，左图为第一轮胎图像，右图为第二轮胎图像。
在本申请实施例的一种具体实现方式中，终端设备可以通过内置或外置的摄像装置对车辆的轮胎进行拍摄，从而得到第一轮胎图像和第二轮胎图像。在本申请实施例的另一种具体实现方式中，第一轮胎图像和第二轮胎图像也可以由其他设备进行采集，终端设备可以通过有线或无线的通信方式从其他设备处获取到第一轮胎图像和第二轮胎图像。
步骤S102、分别对第一轮胎图像和第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像。
在第一轮胎图像和第二轮胎图像中，除了轮胎之外往往还会包含部分背景，这部分背景会对后续的匹配结果造成影响，因此，为了排除轮胎以外其他区域的影响，需要将轮胎单独分割出来。
在本申请实施例中，可以使用预设的轮胎分割模型分别对第一轮胎图像和第二轮胎图像进行语义分割，从而得到第一掩膜图像和第二掩膜图像。其中，轮胎分割模型为预先训练得到的用于对轮胎图像进行语义分割的人工智能模型。由于在实际场景中，可以调整位置和角度使摄像装置在离轮胎较近的距离拍摄，所以画面中轮胎占比通常较大，且背景环境复杂度较低，所以对轮胎图像的分割属于较简单的语义分割任务，因此在轮胎分割阶段，为了节约计算资源，提升推理速度，可以采用较为轻量的人工智能模型，包括但不限于TopFormer等模型。
为了提高轮胎分割模型的准确率，在使用轮胎分割模型之前，可以首先获取预设的训练样本集，训练样本集中包括预设数目的训练样本，每个训练样本包括轮胎样本图像和对应的标签图像。其中，标签图像可以借助于预设的标注工具(如labelme等)对轮胎样本图像进行标注得到。在标签图像中，背景区域的像素为0，轮胎区域的像素为1。
在得到训练样本集之后，可以以训练样本集中每个训练样本的轮胎样本图像为输入，以训练样本集中每个训练样本的标签图像为预期输出，对初始的人工智能模型进行训练，以得到轮胎分割模型。
在训练的过程中，可以针对训练数据集中的每个训练样本，使用人工智能模型对该训练样本中的轮胎样本图像进行处理，得到实际输出的标签图像，然后可以使用预设的损失函数，根据该训练样本中的预期输出的标签图像和实际输出的标签图像计算训练损失值。在本申请实施例中，可以更加实际情况选取现有技术中的任意一种损失函数进行训练损失值的计算，本申请实施例对此不作具体限定。
在计算得到训练损失值之后，则可以根据训练损失值对人工智能模型的模型参数进行调整。在本申请实施例中，假设在初始状态下，人工智能模型的模型参数为W1，将训练损失值反向传播修改人工智能模型的模型参数W1，得到修改后的模型参数W2。修改参数之后再继续执行下一次的训练过程，在该次训练过程中，重新计算得到训练损失值，将该训练损失值反向传播修改人工智能模型的模型参数W2，得到修改后的模型参数W3，……，以此类推，不断重复以上过程，每次训练过程均可对模型参数进行修改，直至满足预设的训练条件，其中，训练条件可以是训练次数达到预设的次数阈值，次数阈值可以根据实际情况进行设置，例如，可以将其设置为数千、数万、数十万甚至更大的数值；训练条件也可以是人工智能模型收敛；由于可能出现训练次数还未达到次数阈值，但人工智能模型已经收敛，可能导致重复不必要的工作；或者人工智能模型始终无法收敛，可能导致无限循环，无法结束训练的过程，基于上述两种情况，训练条件还可以是训练次数达到次数阈值或人工智能模型收敛。当满足训练条件，即可得到已训练的轮胎分割模型。
在得到已训练的轮胎分割模型之后，即可使用轮胎分割模型对第一轮胎图像进行语义分割，从而得到如图3所示的第一掩膜图像，为了便于观察，背景区域的像素用黑色像素(即(0，0，0))表示，轮胎区域的像素用白色像素(即(255，255，255))表示。类似地，可以使用轮胎分割模型对第二轮胎图像进行语义分割，从而得到第二掩膜图像。
步骤S103、根据第一轮胎图像和第一掩膜图像生成第一待匹配图像，并根据第二轮胎图像和第二掩膜图像生成第二待匹配图像。
在本申请实施例的一种具体实现方式中，可以直接将第一轮胎图像和第一掩膜图像的各个对应像素进行与运算，也即将第一轮胎图像中的背景区域的像素填充为纯色(如(0，0，0))，轮胎区域的像素则保持不变，从而得到如图4所示的第一待匹配图像。类似地，可以直接将第二轮胎图像和第二掩膜图像的各个对应像素进行与运算，从而得到第二待匹配图像。
由于轮胎分割模型在进行图像分割时会紧贴轮胎边缘做分割，可能会导致轮胎边缘像素的丢失，考虑到这一点，可以对分割得到的掩膜图像进行图像膨胀操作，使得轮胎的边缘外扩，避免边缘部分有效关键点丢失。此外，考虑到分割得到的掩膜图像中可能存在噪点，如果直接做膨胀操作，可能会将噪点部分放大，从而造成误匹配，因此，在做图像膨胀操作之前，还可以先对分割得到的掩膜图像进行图像腐蚀操作。
具体地，在本申请实施例的另一种具体实现方式中，可以对第一掩膜图像进行图像腐蚀操作，从而得到腐蚀后的第一掩膜图像。然后对腐蚀后的第一掩膜图像进行图像膨胀操作，从而得到膨胀后的第一掩膜图像。类似地，可以对第二掩膜图像进行图像腐蚀操作，从而得到腐蚀后的第二掩膜图像。然后对腐蚀后的第二掩膜图像进行图像膨胀操作，从而得到膨胀后的第二掩膜图像。图像腐蚀操作和图像膨胀操作使用的核(kernel)的大小以及迭代次数均可以根据实际情况进行设置，例如可以将图像腐蚀操作和图像膨胀操作使用的核的大小均设置为5，可以将图像腐蚀操作的迭代次数设置为1，可以将图像膨胀操作的迭代次数设置为10，当然也可以根据实际情况将这些参数设置为其他取值，本申请实施例对此不作具体限定。
在得到膨胀后的第一掩膜图像之后，可以将第一轮胎图像和膨胀后的第一掩膜图像的各个对应像素进行与运算，从而得到如图5所示的第一待匹配图像。与图4相比，图5中带有少量的背景区域的像素，轮胎区域的像素损失减少。类似地，在得到膨胀后的第二掩膜图像之后，可以将第二轮胎图像和膨胀后的第二掩膜图像的各个对应像素进行与运算，从而得到第二待匹配图像。
步骤S104、对第一待匹配图像和第二待匹配图像进行关键点匹配，得到匹配关键点数目。
在本申请实施例中，可以首先分别对第一待匹配图像和第二待匹配图像进行特征提取，得到第一关键点集合和第二关键点集合。具体地，可以采用预设的特征提取模型对第一待匹配图像进行特征提取，并将提取得到的各个关键点组成的集合作为第一关键点集合，其中，具体采用何种特征提取模型可以根据实际情况进行设置，例如，可以采用Superpoint模型，该模型的输入为灰度图像，输出包括各个关键点以及对应的分数和描述子。当然也可以根据实际情况采用其他特征提取模型，本申请实施例对此不作具体限定。类似地，可以采用特征提取模型对第二待匹配图像进行特征提取，并将提取得到的各个关键点组成的集合作为第二关键点集合。
在得到第一关键点集合和第二关键点集合之后，可以对第一关键点集合和第二关键点集合进行关键点匹配，从而得到匹配关键点数目。具体地，可以采用预设的关键点匹配模型对第一关键点集合和第二关键点集合进行关键点匹配，将匹配成功的关键点作为匹配关键点，并统计得到匹配关键点数目。其中，具体采用何种关键点匹配模型可以根据实际情况进行设置，例如，可以采用Superglue模型，该模型可以根据各个关键点以及对应的分数和描述子进行关键点匹配，当然也可以根据实际情况采用其他关键点匹配模型，本申请实施例对此不作具体限定。
图6所示为直接对第一轮胎图像和第二轮胎图像进行关键点匹配的结果示意图，图7所示为对经过图像腐蚀操作和图像膨胀操作得到的第一待匹配图像和第二待匹配图像进行关键点匹配的结果示意图，图中的白点为特征提取得到的关键点，在两图中存在连线的关键点即为匹配关键点，Keypoints：a：b表示两图中的关键点数目分别为a和b，Matches：n表示两图中的匹配关键点数目为n。通过图6和图7的对比可以发现，图6在背景区域中被提取到了大量关键点。而图7中经过图像分割与图像处理将背景区域填充为纯黑色，则该区域不会提取到关键点，关键点变少后，后续关键点匹配的计算量也会降低，既减少了背景的干扰，又提升了模型的推理速度。
图8所示为对未经过图像腐蚀操作和图像膨胀操作得到的第一待匹配图像和第二待匹配图像进行关键点匹配的结果示意图，通过图7和图8的对比可以发现，图8中损失了一些边缘处的关键点，其整体匹配准确率较低，而图7中保留了这些关键点，其整体匹配准确率更高。
步骤S105、根据匹配关键点数目确定轮胎花纹是否一致。
在本申请实施例中，可以预先设置一个数目阈值，若匹配关键点数目大于数目阈值，则确定轮胎花纹一致。在图7所示的例子中，两图中匹配关键点数目较多，可确定两者的轮胎花纹一致。若匹配关键点数目小于或等于数目阈值，则确定轮胎花纹不一致。在图9所示的例子中，上面两图中匹配关键点数目较少，可确定两者的轮胎花纹一致，下面两图中匹配关键点数目为0，也可确定两者的轮胎花纹一致。其中，数目阈值的具体取值可以根据实际情况进行设置，例如，可以将其设置为100或者其他取值，本申请实施例对此不作具体限定。
综上所述，本申请实施例获取待检测的第一轮胎图像和第二轮胎图像；分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；根据所述匹配关键点数目确定轮胎花纹是否一致。在本申请实施例中，通过对轮胎图像进行相应的图像处理及匹配过程来确定轮胎花纹是否一致，无需依赖相关工作人员的主观经验判断，可以有效保证检测结果的准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种轮胎花纹检测方法，图10示出了本申请实施例提供的一种轮胎花纹检测装置的一个实施例结构图。
本实施例中，一种轮胎花纹检测装置可以包括：
轮胎图像获取模块1001，用于获取待检测的第一轮胎图像和第二轮胎图像；
语义分割模块1002，用于分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；
待匹配图像生成模块1003，用于根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；
图像匹配模块1004，用于对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；
检测结果确定模块1005，用于根据所述匹配关键点数目确定轮胎花纹是否一致。
在本申请实施例的一种具体实现方式中，所述语义分割模块可以包括：
模型处理单元，用于使用预设的轮胎分割模型分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到所述第一掩膜图像和所述第二掩膜图像；其中，所述轮胎分割模型为预先训练得到的用于对轮胎图像进行语义分割的人工智能模型。
在本申请实施例的一种具体实现方式中，所述语义分割模块还可以包括：
训练样本集获取单元，用于获取预设的训练样本集；其中，所述训练样本集中包括预设数目的训练样本，每个训练样本包括轮胎样本图像和对应的标签图像；
模型训练单元，用于以所述训练样本集中每个训练样本的轮胎样本图像为输入，以所述训练样本集中每个训练样本的标签图像为预期输出，对初始的人工智能模型进行训练，得到所述轮胎分割模型。
在本申请实施例的一种具体实现方式中，所述轮胎花纹检测装置还可以包括：
图像腐蚀操作模块，用于分别对所述第一掩膜图像和所述第二掩膜图像进行图像腐蚀操作，得到腐蚀后的第一掩膜图像和腐蚀后的第二掩膜图像；
图像膨胀操作模块，用于分别对所述腐蚀后的第一掩膜图像和所述腐蚀后的第二掩膜图像进行图像膨胀操作，得到膨胀后的第一掩膜图像和膨胀后的第二掩膜图像。
在本申请实施例的一种具体实现方式中，所述待匹配图像生成模块可以具体用于：将所述第一轮胎图像和所述第一掩膜图像的各个对应像素进行与运算，得到所述第一待匹配图像；将所述第二轮胎图像和所述第二掩膜图像的各个对应像素进行与运算，得到所述第二待匹配图像。
在本申请实施例的一种具体实现方式中，所述图像匹配模块可以包括：
特征提取单元，用于分别对所述第一待匹配图像和所述第二待匹配图像进行特征提取，得到第一关键点集合和第二关键点集合；
关键点匹配单元，用于对所述第一关键点集合和第二关键点集合进行关键点匹配，得到所述匹配关键点数目。
在本申请实施例的一种具体实现方式中，所述检测结果确定模块可以具体用于：若所述匹配关键点数目大于预设的数目阈值，则确定轮胎花纹一致；若所述匹配关键点数目小于或等于所述数目阈值，则确定轮胎花纹不一致。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图11示出了本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图11所示，该实施例的终端设备11包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个轮胎花纹检测方法实施例中的步骤，例如图1所示的步骤S101至步骤S105。或者，所述处理器110执行所述计算机程序112时实现上述各装置实施例中各模块/单元的功能，例如图10所示模块1001至模块1005的功能。
示例性的，所述计算机程序112可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器111中，并由所述处理器110执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序112在所述终端设备11中的执行过程。
所述终端设备11可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及机器人等计算设备。本领域技术人员可以理解，图11仅仅是终端设备11的示例，并不构成对终端设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备11还可以包括输入输出设备、网络接入设备、总线等。
所述处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111可以是所述终端设备11的内部存储单元，例如终端设备11的硬盘或内存。所述存储器111也可以是所述终端设备11的外部存储设备，例如所述终端设备11上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述终端设备11所需的其它程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种轮胎花纹检测方法，其特征在于，包括：
获取待检测的第一轮胎图像和第二轮胎图像；
分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；
根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；
对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；
根据所述匹配关键点数目确定轮胎花纹是否一致。
2.根据权利要求1所述的轮胎花纹检测方法，其特征在于，所述分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像，包括：
使用预设的轮胎分割模型分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到所述第一掩膜图像和所述第二掩膜图像；
其中，所述轮胎分割模型为预先训练得到的用于对轮胎图像进行语义分割的人工智能模型。
3.根据权利要求2所述的轮胎花纹检测方法，其特征在于，在使用预设的轮胎分割模型分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割之前，还包括：
获取预设的训练样本集；其中，所述训练样本集中包括预设数目的训练样本，每个训练样本包括轮胎样本图像和对应的标签图像；
以所述训练样本集中每个训练样本的轮胎样本图像为输入，以所述训练样本集中每个训练样本的标签图像为预期输出，对初始的人工智能模型进行训练，得到所述轮胎分割模型。
4.根据权利要求1所述的轮胎花纹检测方法，其特征在于，在根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像之前，还包括；
分别对所述第一掩膜图像和所述第二掩膜图像进行图像腐蚀操作，得到腐蚀后的第一掩膜图像和腐蚀后的第二掩膜图像；
分别对所述腐蚀后的第一掩膜图像和所述腐蚀后的第二掩膜图像进行图像膨胀操作，得到膨胀后的第一掩膜图像和膨胀后的第二掩膜图像。
5.根据权利要求1所述的轮胎花纹检测方法，其特征在于，所述根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像，包括：
将所述第一轮胎图像和所述第一掩膜图像的各个对应像素进行与运算，得到所述第一待匹配图像；
将所述第二轮胎图像和所述第二掩膜图像的各个对应像素进行与运算，得到所述第二待匹配图像。
6.根据权利要求1所述的轮胎花纹检测方法，其特征在于，所述对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目，包括：
分别对所述第一待匹配图像和所述第二待匹配图像进行特征提取，得到第一关键点集合和第二关键点集合；
对所述第一关键点集合和第二关键点集合进行关键点匹配，得到所述匹配关键点数目。
7.根据权利要求1至6中任一项所述的轮胎花纹检测方法，其特征在于，所述根据所述匹配关键点数目确定轮胎花纹是否一致，包括：
若所述匹配关键点数目大于预设的数目阈值，则确定轮胎花纹一致；
若所述匹配关键点数目小于或等于所述数目阈值，则确定轮胎花纹不一致。
8.一种轮胎花纹检测装置，其特征在于，包括：
轮胎图像获取模块，用于获取待检测的第一轮胎图像和第二轮胎图像；
语义分割模块，用于分别对所述第一轮胎图像和所述第二轮胎图像进行语义分割，得到第一掩膜图像和第二掩膜图像；
待匹配图像生成模块，用于根据所述第一轮胎图像和所述第一掩膜图像生成第一待匹配图像，并根据所述第二轮胎图像和所述第二掩膜图像生成第二待匹配图像；
图像匹配模块，用于对所述第一待匹配图像和所述第二待匹配图像进行关键点匹配，得到匹配关键点数目；
检测结果确定模块，用于根据所述匹配关键点数目确定轮胎花纹是否一致。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的轮胎花纹检测方法的步骤。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的轮胎花纹检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211082524.0A CN115546105A (zh) | 2022-09-06 | 2022-09-06 | 一种轮胎花纹检测方法、装置、可读存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211082524.0A CN115546105A (zh) | 2022-09-06 | 2022-09-06 | 一种轮胎花纹检测方法、装置、可读存储介质及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546105A true CN115546105A (zh) | 2022-12-30 |
Family
ID=84726257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211082524.0A Pending CN115546105A (zh) | 2022-09-06 | 2022-09-06 | 一种轮胎花纹检测方法、装置、可读存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546105A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115799A (zh) * | 2023-09-11 | 2023-11-24 | 广州市西克传感器有限公司 | 基于激光线扫3d相机的轮胎字符识别方法 |
-
2022
- 2022-09-06 CN CN202211082524.0A patent/CN115546105A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115799A (zh) * | 2023-09-11 | 2023-11-24 | 广州市西克传感器有限公司 | 基于激光线扫3d相机的轮胎字符识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230377158A1 (en) | Image segmentation method, apparatus, device, and medium | |
| CN113160257B (zh) | 图像数据标注方法、装置、电子设备及存储介质 | |
| CN112580643B (zh) | 一种基于深度学习的车牌识别方法、装置及存储介质 | |
| CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN110503682B (zh) | 矩形控件识别方法、装置、终端及存储介质 | |
| CN108334879B (zh) | 一种区域提取方法、系统及终端设备 | |
| CN112085701A (zh) | 一种人脸模糊度检测方法、装置、终端设备及存储介质 | |
| CN112508835A (zh) | 一种基于gan的无造影剂医学图像增强建模方法 | |
| CN113221601B (zh) | 字符识别方法、装置及计算机可读存储介质 | |
| CN114862889A (zh) | 基于遥感图像的道路边缘提取方法和装置 | |
| CN115546105A (zh) | 一种轮胎花纹检测方法、装置、可读存储介质及终端设备 | |
| CN112034981A (zh) | 显示终端控制方法、显示终端及计算机可读存储介质 | |
| WO2024174726A1 (zh) | 基于深度学习的手写及打印文本检测方法和装置 | |
| CN113077469B (zh) | 草图图像语义分割方法、装置、终端设备及存储介质 | |
| CN114626118A (zh) | 建筑物室内模型生成方法及装置 | |
| CN117557777A (zh) | 一种样本图像确定方法、装置、电子设备以及存储介质 | |
| CN112101323A (zh) | 标题列表的识别方法、系统、电子设备及存储介质 | |
| CN112418089A (zh) | 一种手势识别方法、装置及终端 | |
| CN110287786B (zh) | 基于人工智能防干扰的车辆信息识别方法及装置 | |
| CN109871779B (zh) | 掌纹识别的方法及电子设备 | |
| CN115690470A (zh) | 一种用于识别开关指示牌状态的方法和相关产品 | |
| TWI775038B (zh) | 字元識別方法、裝置及電腦可讀取存儲介質 | |
| CN112950652B (zh) | 机器人及其手部图像分割方法和装置 | |
| CN114972540A (zh) | 目标定位方法、装置、电子设备及存储介质 | |
| CN110188601B (zh) | 一种基于学习的机场遥感图像检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |