CN116542984A - 五金件缺陷检测方法、装置、计算机设备及存储介质 - Google Patents
五金件缺陷检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116542984A CN116542984A CN202310831090.8A CN202310831090A CN116542984A CN 116542984 A CN116542984 A CN 116542984A CN 202310831090 A CN202310831090 A CN 202310831090A CN 116542984 A CN116542984 A CN 116542984A
- Authority
- CN
- China
- Prior art keywords
- hardware
- image
- mask
- defect
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 119
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000003709 image segmentation Methods 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000003909 pattern recognition Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了五金件缺陷检测方法、装置、计算机设备及存储介质。所述方法包括：获取待检测五金件图像；将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。通过实施本发明实施例的方法可实现提高五金件缺陷检测的准确率，减少人工成本。
Description
技术领域
本发明涉及图像识别方法，更具体地说是指五金件缺陷检测方法、装置、计算机设备及存储介质。
背景技术
五金件是工业生产中常见的零部件，其质量的好坏直接影响到整个产品的性能。因此，对五金件的质量进行检测具有重要意义。工业检测领域中，利用计算机视觉技术进行五金件缺陷检测已经成为一种常见的检测手段。五金件的缺陷检测不仅能够帮助工厂提高产品质量，同时也能够提高生产效率，如果缺陷没有被及时检测出来，可能会导致产品质量下降或者生产过程中的损失，从而增加企业的成本。因此，五金件缺陷检测技术在工业生产中起着非常重要的作用。
现有的技术是通过人工收集数据训练一个分类器进行五金件的分类，然而，对于多种复杂的应用场景，人工收集数据非常困难，由于五金件种类繁多，每种五金件的缺陷类型和形状都各异，因此需要收集大量的数据以满足训练要求。然而，人工收集数据不仅耗时耗力，而且很难覆盖所有场景。另外一个问题是在检测过程中存在的误差，由于五金件的形状和缺陷类型各异，不同的检测算法可能会产生不同的误差，因此，如何减小误差是五金件缺陷检测技术中需要解决的一个关键问题。
因此，有必要设计一种新的方法，实现提高五金件缺陷检测的准确率，减少人工成本。
发明内容
本发明的目的在于克服现有技术的缺陷，提供五金件缺陷检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：五金件缺陷检测方法，包括：
获取待检测五金件图像；
将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；
根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；
当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
其进一步技术方案为：所述分割模型是通过五金件图像对Segment AnythingModel（SAM）模型进行训练所得的。所述分割模型包括SAM模型的GitHub存储库中的vit_h模型、vit_l模型、vit_b模型中至少一种。
其进一步技术方案为：所述将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域，包括：
将所述待检测五金件图像输入至分割模型中，并设置前景点以及提示信息，以由所述分割模型对所述待检测五金件图像进行图像分割，形成掩码区域。
其进一步技术方案为：所述根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障，包括：
根据所述掩码区域的位置和形状特征确定缺陷类别；
根据所述掩码区域的大小、形状以及其他特征评估缺陷严重程度；
根据所述缺陷类别和所述严重程度确定所述掩码所对应的五金件位置是否是发生故障。
其进一步技术方案为：所述根据所述掩码区域的位置和形状特征确定缺陷类别，包括：
使用图像处理技术和模式识别算法根据所述掩码区域的位置和形状特征确定缺陷类别。
其进一步技术方案为：将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域之前，还包括：
对所述待检测五金件图像进行预处理。其进一步技术方案为：对所述待检测五金件图像进行预处理包括对所述待检测五金件图像进行去除噪声、增强图像、调整图像大小。
本发明还提供了五金件缺陷检测装置，包括：
图像获取单元，用于获取待检测五金件图像；
分割单元，用于将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；
故障确定单元，用于根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；
信号生成单元，用于当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过采用SAM模型对待检测五金件图像进行图像分割，确定掩码区域，并以该掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障，当出现故障，则生成处理信号，以对五金件进行分拣和剔除处理，实现提高五金件缺陷检测的准确率，SAM模型的数据集不需要标记，减少人工成本。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的五金件缺陷检测方法的应用场景示意图；
图2为本发明实施例提供的五金件缺陷检测方法的流程示意图；
图3为本发明实施例提供的五金件缺陷检测方法的子流程示意图；
图4为本发明实施例提供的SAM模型的实现流程示意图；
图5为本发明实施例提供的景点选择示意图；
图6为本发明实施例提供的点位提示信息示意图；
图7为本发明实施例提供的标记框提示信息示意图；
图8为本发明实施例提供的描述性文本提示信息示意图；
图9为本发明实施例提供的五金件缺陷检测装置的示意性框图；
图10为本发明实施例提供的五金件缺陷检测装置的故障确定单元的示意性框图；
图11为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的五金件缺陷检测方法的应用场景示意图。图2为本发明实施例提供的五金件缺陷检测方法的示意性流程图。该五金件缺陷检测方法应用于服务器中。该服务器与终端以及摄像头进行数据交互，通过摄像头获取待检测五金件图像，采用SAM模型进行图像分割，并依据分割所得的掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障，当出现故障时及时生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理，实现提高五金件缺陷检测的准确率，减少人工成本。
图2是本发明实施例提供的五金件缺陷检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S140。
S110、获取待检测五金件图像。
在本实施例中，待检测五金件图像是指需要进行缺陷等质量检测的五金件图像。
S120、将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域。
在本实施例中，掩码区域是指从待检测五金件图像中分割出的一部分区域，在瑕疵检测中，掩码是一种用于标记和定位缺陷的图像区域。掩码可以视为一个二值图像，其中缺陷区域被标记为前景，通常表示为白色或像素值为1；而非缺陷区域被标记为背景，通常表示为黑色或像素值为0。
在本实施例中，所述分割模型包括SAM模型的GitHub存储库中的vit_h模型、vit_l模型、vit_b模型中至少一种。
具体地，所述分割模型是通过五金件图像对SAM模型进行训练所得的。
在本实施例中，SAM（Segment Anything Model）是一种新型的图像分割模型，该模型可用于五金件质量检测方向中对复杂零件的检测任务。SAM采用的是无监督学习方法，利用大量未标记数据进行训练，并且其具有很强的泛化能力，能够适应各种不同的图像分割任务。在五金件质量检测方向，由于零件的形状和表面质量的差异很大，因此需要具备较高的分割精度和鲁棒性。传统的监督学习方法需要大量的标记数据进行训练，但是对于复杂的零件形状和质量，人工标记数据的成本非常高昂。而SAM采用的是无监督学习方法，仅需要大量未标记数据进行训练，大大降低了标记数据的成本。
SAM模型能产生高质量的对象掩码，提示类型包括点、框、掩码和文本。SAM模型在各种五金件质量检测任务上表现出了出色的泛化能力。它能够适应不同形状、尺寸和材质的五金件，并能够准确地检测出各种瑕疵类型，如裂纹、凹陷和破损等。借助于大模型的优势，SAM在推理过程中能够快速地对新的五金件图像进行分割。这使得SAM具备快速反应和实时应用的能力，适用于五金件质量检测领域的实际应用场景。
在将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域之前，还需要对所述待检测五金件图像进行预处理；
预处理是指对待检测五金件图像进行处理比如去除噪声、增强图像、调整图像大小等。
具体地，在使用SAM模型之前，需要对工业数据进行预处理以提高模型的准确性和稳定性。数据预处理是指对数据进行处理，以去除噪声、增强图像、调整图像大小等。这些常见的预处理步骤包括：去除工业数据中的噪声和干扰，增强图像对比度，将输入图像缩放到合适的大小，标准化不同类型的工业数据，并对数据进行清洗和筛选，以避免无效或错误的数据影响模型的准确性和稳定性。
在本实施例中，前景点是指故障所在位置或者是需要检测的区域。
在使用SAM模型进行分割时，选择合适的前景点是很重要的。常用的前景点选择方法包括手动选择、自动检测和随机选择。手动选择是用户手动标注需要分割的对象，并将其中心点作为前景点输入到SAM模型中。自动检测可以使用算法来自动检测需要分割的对象，并将其中心点作为前景点输入到SAM模型中。随机选择则是随机从图像中选择一个像素作为前景点，但这种方法不太稳定。
在本实施例中，提示信息是指用于生成掩码区域的额外信息。
在使用SAM模型进行分割时，设置适当的提示可以提高模型的准确性和稳定性。在检测缺陷时，可以使用与缺陷相关的区域作为提示，从而提高分割的效果。
在本实施例中，SAM模型采用的是无监督学习方法，仅需要大量未标记数据进行训练。
对于本实施例的五金件缺陷检测过程中，具体地，将所述待检测五金件图像输入至分割模型中，并设置前景点以及提示信息，以由所述分割模型对所述待检测五金件图像进行图像分割，形成掩码区域。
在本实施例中，如果为已知故障，则可以手动选取故障位置作为前景点。如果对应为未知故障，则可以对需要检测的区域使用自动检测确定需要分割的对象。具体效果如图5所示。
请参阅图6至图8，上述的提示信息设置可以根据点位来进行提示，可以利用标记框来进行提示，还可以利用描述性文本来进行提示。图6至图8展示了根据点位提示，找到的内孔加工不良故障；根据标记框提示，找到的内孔异物故障；根据描述性文本提示，找到的内壁斑纹故障。
请参阅图4，使用已经训练好的SAM模型可以对工业数据进行缺陷检测。在预测过程中，先将待检测的图像输入到模型中，然后设置一些参数，如前景点和提示信息，进而生成掩码区域。
实际在进行五金件缺陷检测过程中，首先从SAM模型的GitHub存储库中下载预训练模型，也就是本实施例的分割模型。其中包括vit_h、vit_l、vit_b三种不同复杂程度的模型，可以根据对象的复杂程度进行选择。将现场采集到的图片数据即本实施例的待检测五金件图像转换为与SA-1B数据集相同的格式，并将它们保存在文件夹中。安装PyTorch和其他必要的依赖项。从而可以保证算法的正常运行。使用已经下载好的预训练模型和测试数据运行推理脚本。该脚本将加载预训练模型并对测试数据进行分割，生成掩码区域（即标签）并保存在指定文件夹中。
S130、根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障。
在本实施例中，缺陷类型包括裂纹、凹陷、破损等；严重程度是指缺陷的严重程度。
具体地，根据掩码中的不同区域，我们可以将其对应到不同类型的缺陷。具体的对应关系需要根据具体的瑕疵检测任务进行定义和解释。
例如在五金件内壁的瑕疵检测中，常见的故障包括裂纹、凹陷、破损等。通过识别到的掩码区域位置和大小，可以进行缺陷类别识别和缺陷严重程度识别，进一步分析和评估缺陷的特征和影响。
在一实施例中，请参阅图3，上述的步骤S130可包括步骤S131~S133。
S131、根据所述掩码区域的位置和形状特征确定缺陷类别。
具体地，使用图像处理技术和模式识别算法根据所述掩码区域的位置和形状特征确定缺陷类别。
在本实施例中，根据掩码区域的位置和形状特征，可以判断缺陷的类别。例如，如果掩码区域呈线状，沿着五金件内壁延伸，可能表明存在裂纹缺陷；如果掩码区域较小且呈圆形或者凹陷状，可能表示存在凹陷缺陷；如果掩码区域呈碎裂状或边缘不规则，可能表示存在破损缺陷。根据这些特征，可以使用图像处理技术和模式识别算法进行自动化的缺陷类别识别。
S132、根据所述掩码区域的大小、形状以及其他特征评估缺陷严重程度。
在本实施例中，较大的掩码区域可能表示缺陷较为严重，对产品的质量和功能有更大的影响；较小的掩码区域可能表示缺陷较小或轻微，对产品的性能影响较小。此外，还可以考虑掩码区域的形状和边缘的规整程度等因素。基于这些特征，可以设定一系列的严重程度级别或评分系统，对缺陷进行分级，从而确定其严重程度。
S133、根据所述缺陷类别和所述严重程度确定所述掩码所对应的五金件位置是否是发生故障。
S140、当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
在本实施例中，根据识别到的缺陷大小和严重程度，判别是否为故障，如果为故障则对PLC发出相应信号，对故障样本进行分拣和剔除处理。
通过利用掩码识别缺陷，可以快速定位和分析五金件内壁的瑕疵，帮助进行质量控制和缺陷排查，提高生产效率和产品质量。
本实施例采用SAM模型进行图像分割，结合得到的掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；如图5所示，SAM是一个用于图像分割的模型，它包含三个组件：图像编码器（image encoder）、提示编码器（promptencoder）和掩模解码器（mask decoder）。其中，图像编码器使用预训练模型ViT (VisionTransformer)对高分辨率输入进行处理，输出一组图像嵌入（image embedding）。提示编码器将自然语言提示转换为向量表示，掩模解码器将向量表示转换为掩模。SAM可以通过各种输入提示语句高效地查询图像嵌入，以实现在摊销实时速度下生成物体掩模。对于对应于多个物体的模糊提示语句，SAM可以输出多个有效的掩模。
上述的五金件缺陷检测方法，通过采用SAM模型对待检测五金件图像进行图像分割，确定掩码区域，并以该掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障，当出现故障，则生成处理信号，以对五金件进行分拣和剔除处理，实现提高五金件缺陷检测的准确率，SAM模型的数据集不需要标记，减少人工成本。
图9是本发明实施例提供的一种五金件缺陷检测装置300的示意性框图。如图9所示，对应于以上五金件缺陷检测方法，本发明还提供一种五金件缺陷检测装置300。该五金件缺陷检测装置300包括用于执行上述五金件缺陷检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图9，该五金件缺陷检测装置300包括图像获取单元301、分割单元302、故障确定单元303以及信号生成单元304。
图像获取单元301，用于获取待检测五金件图像；分割单元302，用于将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；故障确定单元303，用于根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；信号生成单元304，用于当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
在一实施例中，所述分割单元302，用于将所述待检测五金件图像输入至分割模型中，并设置前景点以及提示信息，以由所述分割模型对所述待检测五金件图像进行图像分割，形成掩码区域。
在一实施例中，如图10所示，所述故障确定单元303包括类别确定子单元3031、程度评估子单元3032以及故障判断子单元3033。
类别确定子单元3031，用于根据所述掩码区域的位置和形状特征确定缺陷类别；程度评估子单元3032，用于根据所述掩码区域的大小、形状以及其他特征评估缺陷严重程度；故障判断子单元3033，用于根据所述缺陷类别和所述严重程度确定所述掩码所对应的五金件位置是否是发生故障。
在一实施例中，类别确定子单元3031，用于使用图像处理技术和模式识别算法根据所述掩码区域的位置和形状特征确定缺陷类别。
在一实施例中，上述的装置还包括预处理单元，用于对所述待检测五金件图像进行预处理，具体是对所述待检测五金件图像进行去除噪声、增强图像、调整图像大小。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述五金件缺陷检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述五金件缺陷检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图11所示的计算机设备上运行。
请参阅图11，图11是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图11，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种五金件缺陷检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种五金件缺陷检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待检测五金件图像；将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
其中，所述分割模型包括SAM模型的GitHub存储库中的vit_h模型、vit_l模型、vit_b模型中至少一种。
在一实施例中，处理器502在实现所述将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域步骤时，具体实现如下步骤：
将所述待检测五金件图像输入至分割模型中，并设置前景点以及提示信息，以由所述分割模型对所述待检测五金件图像进行图像分割，形成掩码区域。
在一实施例中，处理器502在实现所述根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障步骤时，具体实现如下步骤：
根据所述掩码区域的位置和形状特征确定缺陷类别；根据所述掩码区域的大小、形状以及其他特征评估缺陷严重程度；根据所述缺陷类别和所述严重程度确定所述掩码所对应的五金件位置是否是发生故障。
在一实施例中，处理器502在实现所述根据所述掩码区域的位置和形状特征确定缺陷类别步骤时，具体实现如下步骤：
使用图像处理技术和模式识别算法根据所述掩码区域的位置和形状特征确定缺陷类别。
在一实施例中，处理器502在实现将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域步骤之前，还实现如下步骤：
对所述待检测五金件图像进行预处理。
具体地，对所述待检测五金件图像进行去除噪声、增强图像、调整图像大小。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待检测五金件图像；将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
其中，所述分割模型包括SAM模型的GitHub存储库中的vit_h模型、vit_l模型、vit_b模型中至少一种。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域步骤时，具体实现如下步骤：
将所述待检测五金件图像输入至分割模型中，并设置前景点以及提示信息，以由所述分割模型对所述待检测五金件图像进行图像分割，形成掩码区域。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障步骤时，具体实现如下步骤：
根据所述掩码区域的位置和形状特征确定缺陷类别；根据所述掩码区域的大小、形状以及其他特征评估缺陷严重程度；根据所述缺陷类别和所述严重程度确定所述掩码所对应的五金件位置是否是发生故障。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述掩码区域的位置和形状特征确定缺陷类别步骤时，具体实现如下步骤：
使用图像处理技术和模式识别算法根据所述掩码区域的位置和形状特征确定缺陷类别。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域步骤之前，还实现如下步骤：
对所述待检测五金件图像进行预处理。
具体地，对所述待检测五金件图像进行去除噪声、增强图像、调整图像大小。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.五金件缺陷检测方法，其特征在于，包括：
获取待检测五金件图像；
将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；
根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；
当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
2.根据权利要求1所述的五金件缺陷检测方法，其特征在于，所述分割模型是通过五金件图像对Segment Anything Model模型进行训练所得的。
3.根据权利要求1所述的五金件缺陷检测方法，其特征在于，所述将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域，包括：
将所述待检测五金件图像输入至分割模型中，并设置前景点以及提示信息，以由所述分割模型对所述待检测五金件图像进行图像分割，形成掩码区域。
4.根据权利要求1所述的五金件缺陷检测方法，其特征在于，所述根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障，包括：
根据所述掩码区域的位置和形状特征确定缺陷类别；
根据所述掩码区域的大小、形状以及其他特征评估缺陷严重程度；
根据所述缺陷类别和所述严重程度确定所述掩码所对应的五金件位置是否是发生故障。
5.根据权利要求4所述的五金件缺陷检测方法，其特征在于，所述根据所述掩码区域的位置和形状特征确定缺陷类别，包括：
使用图像处理技术和模式识别算法根据所述掩码区域的位置和形状特征确定缺陷类别。
6.根据权利要求2所述的五金件缺陷检测方法，其特征在于，将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域之前，还包括：
对所述待检测五金件图像进行预处理。
7.根据权利要求6所述的五金件缺陷检测方法，其特征在于，对所述待检测五金件图像进行预处理包括对所述待检测五金件图像进行去除噪声、增强图像、调整图像大小。
8.五金件缺陷检测装置，其特征在于，包括：
图像获取单元，用于获取待检测五金件图像；
分割单元，用于将所述待检测五金件图像输入至分割模型中进行图像分割，以得到掩码区域；
故障确定单元，用于根据所述掩码区域确定缺陷类型以及严重程度，并确定所述掩码所对应的五金件位置是否是发生故障；
信号生成单元，用于当所述掩码所对应的五金件位置发生故障，生成处理信号，并发送所述处理信号至控制端，以由控制端对五金件进行分拣和剔除处理。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310831090.8A CN116542984A (zh) | 2023-07-07 | 2023-07-07 | 五金件缺陷检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310831090.8A CN116542984A (zh) | 2023-07-07 | 2023-07-07 | 五金件缺陷检测方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116542984A true CN116542984A (zh) | 2023-08-04 |
Family
ID=87452893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310831090.8A Pending CN116542984A (zh) | 2023-07-07 | 2023-07-07 | 五金件缺陷检测方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542984A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058155A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉缺陷检测方法、装置、设备及介质 |
| CN117058154A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200311904A1 (en) * | 2019-03-28 | 2020-10-01 | Canon Virginia, Inc. | Devices, systems, and methods for limited-size divisive clustering |
| CN112102302A (zh) * | 2020-09-18 | 2020-12-18 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN112686833A (zh) * | 2020-08-22 | 2021-04-20 | 安徽大学 | 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 |
| CN113470024A (zh) * | 2021-09-02 | 2021-10-01 | 深圳市信润富联数字科技有限公司 | 轮毂内部缺陷检测方法、装置、设备、介质及程序产品 |
| CN114820619A (zh) * | 2022-06-29 | 2022-07-29 | 深圳市信润富联数字科技有限公司 | 块茎类植物分选方法、系统、计算机设备和存储介质 |
| CN115690055A (zh) * | 2022-11-01 | 2023-02-03 | 深圳思谋信息科技有限公司 | 物品缺陷检测方法、装置、计算机设备及存储介质 |
| WO2023087741A1 (zh) * | 2021-11-18 | 2023-05-25 | 上海商汤智能科技有限公司 | 缺陷检测方法及装置、电子设备、存储介质及计算机程序产品 |
| CN116309554A (zh) * | 2023-05-12 | 2023-06-23 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
| CN116309963A (zh) * | 2023-05-18 | 2023-06-23 | 太初(无锡)电子科技有限公司 | 一种图像的批量标注方法、装置、电子设备及存储介质 |
-
2023
- 2023-07-07 CN CN202310831090.8A patent/CN116542984A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200311904A1 (en) * | 2019-03-28 | 2020-10-01 | Canon Virginia, Inc. | Devices, systems, and methods for limited-size divisive clustering |
| CN112686833A (zh) * | 2020-08-22 | 2021-04-20 | 安徽大学 | 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 |
| CN112102302A (zh) * | 2020-09-18 | 2020-12-18 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN113470024A (zh) * | 2021-09-02 | 2021-10-01 | 深圳市信润富联数字科技有限公司 | 轮毂内部缺陷检测方法、装置、设备、介质及程序产品 |
| WO2023087741A1 (zh) * | 2021-11-18 | 2023-05-25 | 上海商汤智能科技有限公司 | 缺陷检测方法及装置、电子设备、存储介质及计算机程序产品 |
| CN114820619A (zh) * | 2022-06-29 | 2022-07-29 | 深圳市信润富联数字科技有限公司 | 块茎类植物分选方法、系统、计算机设备和存储介质 |
| CN115690055A (zh) * | 2022-11-01 | 2023-02-03 | 深圳思谋信息科技有限公司 | 物品缺陷检测方法、装置、计算机设备及存储介质 |
| CN116309554A (zh) * | 2023-05-12 | 2023-06-23 | 广东奥普特科技股份有限公司 | 缺陷检测网络的构建及缺陷检测方法、装置和设备 |
| CN116309963A (zh) * | 2023-05-18 | 2023-06-23 | 太初(无锡)电子科技有限公司 | 一种图像的批量标注方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| RUQIAO AN 等: "Graph-Based Method for Fault Detection in the Iron-Making Process", 《 IEEE ACCESS 》 * |
| 蔡彪;沈宽;付金磊;张理泽;: "基于Mask R-CNN的铸件X射线DR图像缺陷检测研究", 仪器仪表学报, no. 03 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058155A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉缺陷检测方法、装置、设备及介质 |
| CN117058154A (zh) * | 2023-10-13 | 2023-11-14 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
| CN117058154B (zh) * | 2023-10-13 | 2024-03-12 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉过程的缺陷识别方法、系统及介质 |
| CN117058155B (zh) * | 2023-10-13 | 2024-03-12 | 西安空天机电智能制造有限公司 | 3dp金属打印铺粉缺陷检测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019117065A1 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| CN116542984A (zh) | 五金件缺陷检测方法、装置、计算机设备及存储介质 | |
| US6941009B2 (en) | Method for evaluating pattern defects on a water surface | |
| CN115351598A (zh) | 一种数控机床轴承检测方法 | |
| US10636133B2 (en) | Automated optical inspection (AOI) image classification method, system and computer-readable media | |
| CN112528975A (zh) | 工业质检方法、装置和计算机可读存储介质 | |
| JP2019032268A (ja) | 表面欠陥判定方法および表面欠陥検査装置 | |
| CN114445746A (zh) | 模型训练方法、铁路接触网异常检测方法及相关装置 | |
| CN111598825A (zh) | 数据处理方法、瑕疵的检测方法、计算设备及存储介质 | |
| US20220076404A1 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
| CN115661160B (zh) | 一种面板缺陷检测方法及系统及装置及介质 | |
| TW202127371A (zh) | 基於圖像的瑕疵檢測方法及電腦可讀存儲介質 | |
| JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| CN112270687A (zh) | 布料瑕疵识别模型的训练方法和布料瑕疵的检测方法 | |
| CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN114881996A (zh) | 缺陷检测方法及装置 | |
| KR101782364B1 (ko) | 케이평균군집화를 통한 학습기반의 비전검사 방법 | |
| CN111191670A (zh) | 基于神经网络的分类装置及分类方法 | |
| Kähler et al. | Anomaly detection for industrial surface inspection: Application in maintenance of aircraft components | |
| CN113506281A (zh) | 一种基于深度学习框架的桥梁裂缝检测方法 | |
| CN111738991A (zh) | 一种焊缝缺陷的数字射线检测模型的创建方法 | |
| Niskanen et al. | Experiments with SOM based inspection of wood | |
| CN115082444A (zh) | 一种基于图像处理的铜管焊缝缺陷检测方法及系统 | |
| CN115719326A (zh) | Pcb板缺陷检测方法及装置 | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |