CN116563281A - 五金件质量检测方法、装置、计算机设备及存储介质 - Google Patents

五金件质量检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116563281A
CN116563281A CN202310831913.7A CN202310831913A CN116563281A CN 116563281 A CN116563281 A CN 116563281A CN 202310831913 A CN202310831913 A CN 202310831913A CN 116563281 A CN116563281 A CN 116563281A
Authority
CN
China
Prior art keywords
hardware
image
abnormal
image block
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310831913.7A
Other languages
English (en)
Inventor
张少特
张奇特
安汝峤
林欢
靳展
谭云培
袁兴泷
王兵正
谢万桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Eda Precision Electromechanical Science & Technology Co ltd
Advanced Institute of Information Technology AIIT of Peking University
Original Assignee
Hangzhou Eda Precision Electromechanical Science & Technology Co ltd
Advanced Institute of Information Technology AIIT of Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Eda Precision Electromechanical Science & Technology Co ltd, Advanced Institute of Information Technology AIIT of Peking University filed Critical Hangzhou Eda Precision Electromechanical Science & Technology Co ltd
Priority to CN202310831913.7A priority Critical patent/CN116563281A/zh
Publication of CN116563281A publication Critical patent/CN116563281A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了五金件质量检测方法、装置、计算机设备及存储介质。所述方法包括：获取待检测五金件图像；将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；根据所述异常度量图确定初步异常区域；利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。通过实施本发明实施例的方法可实现更好地识别五金件的缺陷，提高检测的准确性和可靠性。

Description

五金件质量检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像识别方法，更具体地说是指五金件质量检测方法、装置、计算机设备及存储介质。
背景技术
工业检测领域中，五金件的缺陷检测是至关重要的一环。在生产过程中，五金件可能会存在各种各样的缺陷，例如表面裂纹、气泡、变形、变色等等，如果这些缺陷没有被及时发现和处理，可能会导致产品质量下降，从而造成经济损失和声誉受损。因此，检测五金件缺陷对于保证产品质量和提高企业竞争力具有至关重要的意义。
然而，在五金件缺陷检测的生成过程中，还存在着一些问题和缺点。其中一个主要问题是在某些情况下，故障数据较少，导致缺陷样本过少，无法满足训练要求，这可能会导致算法的检测准确性和稳定性不足，无法有效地检测出五金件的缺陷，此外，五金件的种类繁多，形状复杂，缺陷类型也多种多样，这对算法的设计和优化也提出了挑战。
因此，有必要设计一种新的方法，实现更好地识别五金件的缺陷，提高检测的准确性和可靠性。
发明内容
本发明的目的在于克服现有技术的缺陷，提供五金件质量检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：五金件质量检测方法，包括：
获取待检测五金件图像；
将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；
根据所述异常度量图确定初步异常区域；
利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；
其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
其进一步技术方案为：所述将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图，包括：
对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量；
根据每个图像块的嵌入向量计算每个图像块的协方差矩阵；
根据从无监督异常检测模型得到正常类分布计算每个图像块的异常度量；
根据每个图像块的异常度量在所述待检测五金件图像中对应的位置组合成矩阵，以得到异常度量图。
其进一步技术方案为：所述对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量，包括：
对所述待检测五金件图像划分为若干个图像块；
采用神经网络对若干个图像块提取特征信息，以得到每个图像块的嵌入向量。
其进一步技术方案为：所述根据每个图像块的嵌入向量计算每个图像块的协方差矩阵，包括：
对于每个图像块，将嵌入向量减去正常类别分布的平均值，使图像块以正常类分布为中心；
计算图像块的嵌入向量的特征向量和特征值；
利用所述特征向量和所述特征值计算图像块嵌入向量的协方差矩阵，以得到每个图像块的协方差矩阵。
其进一步技术方案为：所述根据所述正常类分布计算每个图像块的异常度量，包括：
使用马氏距离根据所述正常类分布计算每个图像块的异常度量。
其进一步技术方案为：所述根据所述异常度量图确定初步异常区域，包括：
将所述异常度量图转换为二进制图像；
使用形态学开运算去除所述二进制图像的噪声和孤立点，并使用形态学闭运算来填充空洞和连接相邻的异常的区域，以得到初步异常区域。
其进一步技术方案为：所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的，包括：
获取带有正常标签的五金件图像，并对五金件图像进行预处理，且对预处理后的每个图像块计算对应的协方差矩阵；
根据所有协方差矩阵计算正常类分布；
其中，所述根据所有协方差矩阵计算正常类分布，包括：
使用平均池化计算所有图像块的嵌入向量的协方差矩阵的平均值；
根据所述平均值以及所述协方差矩阵使用多元高斯分布建模正常类分布。
本发明还提供了五金件质量检测装置，包括：
图像获取单元，用于获取待检测五金件图像；
异常检测单元，用于将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；
初步确定单元，用于根据所述异常度量图确定初步异常区域；
目标区域确定单元，用于利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；
其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过对待检测五金件图像结合无监督异常检测模型中进行异常检测，确定待检测五金件图像每个位置的异常度量，形成异常度量图，确定初步异常区域，在结合与所述待检测五金件图像的重叠程度，确定异常区域，实现更好地识别五金件的缺陷，提高检测的准确性和可靠性。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的五金件质量检测方法的应用场景示意图；
图2为本发明实施例提供的五金件质量检测方法的流程示意图；
图3为本发明实施例提供的五金件质量检测方法的子流程示意图；
图4为本发明实施例提供的五金件质量检测方法的子流程示意图；
图5为本发明实施例提供的五金件质量检测方法的子流程示意图；
图6为本发明实施例提供的五金件质量检测方法的子流程示意图；
图7为本发明实施例提供的待检测五金件图像进行预处理的示意图；
图8为本发明实施例提供的缠丝故障检测结果示意图；
图9为本发明实施例提供的脏污故障检测结果示意图；
图10为本发明实施例提供的五金件质量检测装置的示意性框图；
图11为本发明实施例提供的五金件质量检测装置的异常检测单元的示意性框图；
图12为本发明实施例提供的五金件质量检测装置的预处理子单元的示意性框图；
图13为本发明实施例提供的五金件质量检测装置的矩阵计算子单元的示意性框图；
图14为本发明实施例提供的五金件质量检测装置的初步确定单元的示意性框图；
图15为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的五金件质量检测方法的应用场景示意图。图2为本发明实施例提供的五金件质量检测方法的示意性流程图。该五金件质量检测方法应用于服务器中。该服务器与摄像头和终端交互，通过摄像头拍摄待检测五金件图像，借助无监督异常检测模型中进行异常检测，以得到异常度量图，借助异常度量图确定初步异常区域，结合与待检测五金件图像的重叠程度确定目标异常区域，可输出至终端显示，实现更好地识别五金件的缺陷，提高检测的准确性和可靠性。
图2是本发明实施例提供的五金件质量检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S140。
S110、获取待检测五金件图像。
在本实施例中，待检测五金件图像是指由摄像头拍摄所得的需要进行质量检测的五金件图像。
S120、将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图。
在本实施例中，异常度量图是指用来衡量该位置是否异常的值，
其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
在本实施例中，无监督异常检测算法是一种在没有标签数据的情况下检测异常的方法，该方法可分为基于表示的算法和基于重构的算法两种技术方向。基于表示的算法主要基于数据点的表示学习，通过学习数据的内在结构和分布特征来检测异常。而基于重构的算法则是通过建立正常数据的模型，再用该模型来重构异常数据，通过比较原始数据与重构数据的差异来检测异常。
相比有监督学习方法，无监督异常检测算法有着明显的优点。首先，无需大量标签数据，降低了数据收集和标注的成本。其次，无监督学习方法不需要事先对异常样本进行标注和定义，更适用于未知和难以定义的异常情况。此外，由于无需依赖于先验信息，无监督学习方法的应用范围更广泛，适用于不同的数据类型和应用场景。
无监督异常检测模型无需依赖大量标签数据就能够检测出五金件中的异常部分，从而提高产品质量的稳定性和可靠性。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121~ S125。
S121、对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量。
在本实施例中，每个图像块的嵌入向量是指将待检测五金件图像划分成若干个小块，并提取对应的特征信息。
在一实施例中，请参阅图4，上述的步骤S121可包括步骤S1211~S1212。
S1211、对所述待检测五金件图像划分为若干个图像块；
S1212、采用神经网络对若干个图像块提取特征信息，以得到每个图像块的嵌入向量。
在本实施例中，如图7所示，将输入的待检测五金件图像分成许多图像块，并用一个预训练的神经网络来抽取每个图像块的特征，生成一个由许多数字组成的向量，即嵌入向量，这些向量代表了待检测五金件图像中每个图像块的特征信息。为了让无监督异常检测模型更加准确，还会对每个图像块进行不同的缩放，并生成不同大小的嵌入向量，以便于捕捉到图像不同尺度的特征。最后，所有这些嵌入向量被拼接在一起，形成一个大的嵌入向量，代表整张图像的特征信息。
S122、根据每个图像块的嵌入向量计算每个图像块的协方差矩阵。
在本实施例中，协方差矩阵是指每个图像块的嵌入向量减去正常类别分布的平均值，计算该图像块的嵌入向量的特征向量和特征值，使用这些特征向量和特征值计算该图像块的嵌入向量的协方差矩阵。
在一实施例中，请参阅图5，上述的步骤S122可包括步骤S1221~S1223。
S1221、对于每个图像块，将嵌入向量减去正常类别分布的平均值，使图像块以正常类分布为中心；
S1222、计算图像块的嵌入向量的特征向量和特征值；
S1223、利用所述特征向量和所述特征值计算图像块嵌入向量的协方差矩阵，以得到每个图像块的协方差矩阵。
对于每个图像块，将其嵌入向量减去正常类别分布的平均值，使其以正常类分布为中心。接着，计算该图像块的嵌入向量的特征向量和特征值，使用这些特征向量和特征值计算该图像块的嵌入向量的协方差矩阵。重复该步骤，对所有图像块进行处理，直到计算整个待检测五金件图像的所有协方差矩阵。
S123、根据从无监督异常检测模型得到正常类分布计算每个图像块的异常度量。
在本实施例中，使用马氏距离根据所述正常类分布计算每个图像块的异常度量。
对于待检测五金件图像，将其分成重叠的图像块，并对每个图像块使用预训练的CNN生成一个嵌入向量。然后，对于每个图像块，从其嵌入向量中减去正常类分布的平均值，使得每个图像块的嵌入向量都以正常类分布为中心。使用该位置处的多元高斯分布即正常类分布来计算该位置处的异常度量。异常度量是用来衡量该位置是否异常的一个值，使用马氏距离来计算异常度量，这个距离考虑了块嵌入向量与正常类分布之间的关系。其中马氏距离公式：；其中，/>是一个特征向量，/>是正常类分布的平均值，/>是正常类分布的协方差矩阵。
S125、根据每个图像块的异常度量在所述待检测五金件图像中对应的位置组合成矩阵，以得到异常度量图。
在本实施例中，异常度量图是指异常度量在所述待检测五金件图像中对应的位置组合成矩阵。
具体地，将所有异常度量按照图像块在原始图像即待检测五金件图像中对应的位置组合成一个矩阵，这个矩阵被称为异常度量图。该待检测五金件图像上的每个位置都有一个异常度量值，这些值越大，代表该位置越可能是异常的。
在本实施例中，上述的所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的，包括：
获取带有正常标签的五金件图像，并对五金件图像进行预处理，且对预处理后的每个图像块计算对应的协方差矩阵；
根据所有协方差矩阵计算正常类分布；
其中，所述根据所有协方差矩阵计算正常类分布，包括：
使用平均池化计算所有图像块的嵌入向量的协方差矩阵的平均值；
根据所述平均值以及所述协方差矩阵使用多元高斯分布建模正常类分布。
在本实施例中，正常类分布是指采用多元高斯分布方式结合所有图像块嵌入向量的协方差矩阵的均值构建形成的分布函数。
在本实施例中，多元高斯分布公式：
，其中，/>是特征向量的维数，/>和/>分别是多元高斯分布的均值和协方差矩阵，/>为正常类分布。在这个分布中，每个图像块位置都被视为一个随机变量，并且它们之间存在一定程度的相关性。在每个位置，使用该位置处所有块嵌入向量生成一个多元高斯分布，这将产生一个矩阵，其中每个元素都是一个多元高斯分布。
S130、根据所述异常度量图确定初步异常区域。
在本实施例中，初步异常区域是指可能出现异常的图像块。
在一实施例中，请参阅图6，上述的步骤S130可包括步骤S131~ S132。
S131、将所述异常度量图转换为二进制图像；
S132、使用形态学开运算去除所述二进制图像的噪声和孤立点，并使用形态学闭运算来填充空洞和连接相邻的异常的区域，以得到初步异常区域。
在本实施例中，将异常度量图转换为二进制图像，其中所有异常度量大于阈值的像素被设置为1，其余像素被设置为0。使用形态学开运算来去除噪声和孤立点，这是一种去除小型噪声和孤立点的操作，然后使用形态学闭运算来填充空洞和连接相邻的异常区域，这是一种填充空洞和连接相邻区域的操作。最后得到的就是提取的初步异常区域。
该阈值是指使用Otsu阈值法可以根据图像的灰度分布选择的一个合适的阈值。其中Otsu阈值法公式：，其中，/>表示在/>阈值下第/>个类别中像素点所占比例，/>表示在/>阈值下第/>个类别中像素点灰度平均值。
S140、利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域。
在本实施例中，将提取的初步异常区域与待检测五金件图像进行比较，以确定哪些区域是异常的。具体来说，将提取的初步异常区域叠加在待检测五金件图像上，并计算它们之间的重叠程度。如果重叠程度超过某个阈值，就认为这个区域是真正的异常区域。进而检测和定位图像中的异常区域，从而有效地解决异常检测的问题。检测结果如图8至图9所示。
其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
训练的过程，收集工业检测的实际五金件图片，并将其分成训练集和测试集。训练集应该只包含正常样本，而测试集应该包含正常样本和异常样本，使用训练集中的正常样本来训练无监督网络。在训练过程中，无监督网络将学习如何建模正常类分布，并生成异常度量图；使用测试集中的图像来测试无监督网络。对于每个测试图像，算法将生成一个异常度量图，并使用后处理步骤来提取异常区域。
本实施例的方法具有高准确性、低复杂度、高效性、可扩展性和适用于非对齐数据集等优势。该方法使用预训练的CNN提取图像特征，并使用简单而有效的统计建模技术来描述正常类分布。它不需要进行深度学习训练，因此可以快速部署到新数据集上，且适用于更广泛的工业应用场景，例如生产线上的实时异常检测和定位。
上述的五金件质量检测方法，通过对待检测五金件图像结合无监督异常检测模型中进行异常检测，确定待检测五金件图像每个位置的异常度量，形成异常度量图，确定初步异常区域，在结合与所述待检测五金件图像的重叠程度，确定异常区域，实现更好地识别五金件的缺陷，提高检测的准确性和可靠性。
图10是本发明实施例提供的一种五金件质量检测装置300的示意性框图。如图10所示，对应于以上五金件质量检测方法，本发明还提供一种五金件质量检测装置300。该五金件质量检测装置300包括用于执行上述五金件质量检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图10，该五金件质量检测装置300包括图像获取单元301、异常检测单元302、初步确定单元303以及目标区域确定单元304。
图像获取单元301，用于获取待检测五金件图像；异常检测单元302，用于将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；初步确定单元303，用于根据所述异常度量图确定初步异常区域；目标区域确定单元304，用于利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
在一实施例中，如图11所示，所述异常检测单元302包括预处理子单元3021、矩阵计算子单元3022、度量计算子单元3023以及图形成子单元3024。
预处理子单元3021，用于对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量；矩阵计算子单元3022，用于根据每个图像块的嵌入向量计算每个图像块的协方差矩阵；度量计算子单元3023，用于根据从无监督异常检测模型得到正常类分布计算每个图像块的异常度量；图形成子单元3024，用于根据每个图像块的异常度量在所述待检测五金件图像中对应的位置组合成矩阵，以得到异常度量图。
在一实施例中，如图12所示，所述预处理子单元3021包括划分模块30211以及信息提取模块30212。
划分模块30211，用于对所述待检测五金件图像划分为若干个图像块；信息提取模块30212，用于采用神经网络对若干个图像块提取特征信息，以得到每个图像块的嵌入向量。
在一实施例中，如图13所示，所述矩阵计算子单元3022包括相减模块30221、特征计算模块30222以及协方差计算模块30223。
相减模块30221，用于对于每个图像块，将嵌入向量减去正常类别分布的平均值，使图像块以正常类分布为中心；特征计算模块30222，用于计算图像块的嵌入向量的特征向量和特征值；协方差计算模块30223，用于利用所述特征向量和所述特征值计算图像块嵌入向量的协方差矩阵，以得到每个图像块的协方差矩阵。
在一实施例中，所述度量计算子单元3023，用于使用马氏距离根据所述正常类分布计算每个图像块的异常度量。
在一实施例中，如图14所示，所述初步确定单元303包括转换子单元3031以及处理子单元3032。
转换子单元3031，用于将所述异常度量图转换为二进制图像；处理子单元3032，用于使用形态学开运算去除所述二进制图像的噪声和孤立点，并使用形态学闭运算来填充空洞和连接相邻的异常的区域，以得到初步异常区域。
上述的装置还包括模型训练单元，用于通过带有正常标签的五金件图像作为样本集训练无监督网络形成无监督异常检测模型；
该模型训练单元包括：处理子单元以及分布计算子单元。
处理子单元，用于获取带有正常标签的五金件图像，并对五金件图像进行预处理，且对预处理后的每个图像块计算对应的协方差矩阵；分布计算子单元，用于根据所有协方差矩阵计算正常类分布；
在一实施例中，所述分布计算子单元包括平均值计算模块以及建模模块。
平均值计算模块，用于使用平均池化计算所有图像块的嵌入向量的协方差矩阵的平均值；建模模块，用于根据所述平均值以及所述协方差矩阵使用多元高斯分布建模正常类分布。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述五金件质量检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述五金件质量检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图15所示的计算机设备上运行。
请参阅图15，图15是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图15，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种五金件质量检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种五金件质量检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待检测五金件图像；将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；根据所述异常度量图确定初步异常区域；利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。在一实施例中，处理器502在实现所述将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测步骤时，具体实现如下步骤：
对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量；根据每个图像块的嵌入向量计算每个图像块的协方差矩阵；根据从无监督异常检测模型得到正常类分布计算每个图像块的异常度量；根据每个图像块的异常度量在所述待检测五金件图像中对应的位置组合成矩阵，以得到异常度量图。
在一实施例中，处理器502在实现所述对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量步骤时，具体实现如下步骤：
对所述待检测五金件图像划分为若干个图像块；采用神经网络对若干个图像块提取特征信息，以得到每个图像块的嵌入向量。
在一实施例中，处理器502在实现所述根据每个图像块的嵌入向量计算每个图像块的协方差矩阵步骤时，具体实现如下步骤：
对于每个图像块，将嵌入向量减去正常类别分布的平均值，使图像块以正常类分布为中心；计算图像块的嵌入向量的特征向量和特征值；利用所述特征向量和所述特征值计算图像块嵌入向量的协方差矩阵，以得到每个图像块的协方差矩阵。
在一实施例中，处理器502在实现所述根据所述正常类分布计算每个图像块的异常度量步骤时，具体实现如下步骤：
使用马氏距离根据所述正常类分布计算每个图像块的异常度量。
在一实施例中，处理器502在实现所述根据所述异常度量图确定初步异常区域步骤时，具体实现如下步骤：
将所述异常度量图转换为二进制图像；使用形态学开运算去除所述二进制图像的噪声和孤立点，并使用形态学闭运算来填充空洞和连接相邻的异常的区域，以得到初步异常区域。
在一实施例中，处理器502在实现所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的步骤时，具体实现如下步骤：
获取带有正常标签的五金件图像，并对五金件图像进行预处理，且对预处理后的每个图像块计算对应的协方差矩阵；根据所有协方差矩阵计算正常类分布；
其中，所述根据所有协方差矩阵计算正常类分布，包括：
使用平均池化计算所有图像块的嵌入向量的协方差矩阵的平均值；
根据所述平均值以及所述协方差矩阵使用多元高斯分布建模正常类分布。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待检测五金件图像；将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；根据所述异常度量图确定初步异常区域；利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；
其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图步骤时，具体实现如下步骤：
对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量；根据每个图像块的嵌入向量计算每个图像块的协方差矩阵；根据从无监督异常检测模型得到正常类分布计算每个图像块的异常度量；根据每个图像块的异常度量在所述待检测五金件图像中对应的位置组合成矩阵，以得到异常度量图。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量步骤时，具体实现如下步骤：
对所述待检测五金件图像划分为若干个图像块；采用神经网络对若干个图像块提取特征信息，以得到每个图像块的嵌入向量。
在一实施例中，所述处理器在执行所述计算机程序而实现所述利用所述无监督异常检测模型根据每个图像块的嵌入向量计算每个图像块的协方差矩阵步骤时，具体实现如下步骤：
对于每个图像块，将嵌入向量减去正常类别分布的平均值，使图像块以正常类分布为中心；计算图像块的嵌入向量的特征向量和特征值；利用所述特征向量和所述特征值计算图像块嵌入向量的协方差矩阵，以得到每个图像块的协方差矩阵。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述正常类分布计算每个图像块的异常度量步骤时，具体实现如下步骤：
使用马氏距离根据所述正常类分布计算每个图像块的异常度量。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述异常度量图确定初步异常区域步骤时，具体实现如下步骤：
将所述异常度量图转换为二进制图像；使用形态学开运算去除所述二进制图像的噪声和孤立点，并使用形态学闭运算来填充空洞和连接相邻的异常的区域，以得到初步异常区域。
在一实施例中，所述处理器在执行所述计算机程序而实现所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的步骤时，具体实现如下步骤：
获取带有正常标签的五金件图像，并对五金件图像进行预处理，且对预处理后的每个图像块计算对应的协方差矩阵；根据所有协方差矩阵计算正常类分布；
其中，所述根据所有协方差矩阵计算正常类分布，包括：
使用平均池化计算所有图像块的嵌入向量的协方差矩阵的平均值；
根据所述平均值以及所述协方差矩阵使用多元高斯分布建模正常类分布。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.五金件质量检测方法，其特征在于，包括：
获取待检测五金件图像；
将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；
根据所述异常度量图确定初步异常区域；
利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；
其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
2.根据权利要求1所述的五金件质量检测方法，其特征在于，所述将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图，包括：
对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量；
根据每个图像块的嵌入向量计算每个图像块的协方差矩阵；
根据从无监督异常检测模型得到正常类分布计算每个图像块的异常度量；
根据每个图像块的异常度量在所述待检测五金件图像中对应的位置组合成矩阵，以得到异常度量图。
3.根据权利要求2所述的五金件质量检测方法，其特征在于，所述对所述待检测五金件图像进行预处理，以得到每个图像块的嵌入向量，包括：
对所述待检测五金件图像划分为若干个图像块；
采用神经网络对若干个图像块提取特征信息，以得到每个图像块的嵌入向量。
4.根据权利要求2所述的五金件质量检测方法，其特征在于，所述根据每个图像块的嵌入向量计算每个图像块的协方差矩阵，包括：
对于每个图像块，将嵌入向量减去正常类别分布的平均值，使图像块以正常类分布为中心；
计算图像块的嵌入向量的特征向量和特征值；
利用所述特征向量和所述特征值计算图像块嵌入向量的协方差矩阵，以得到每个图像块的协方差矩阵。
5.根据权利要求2所述的五金件质量检测方法，其特征在于，所述根据所述正常类分布计算每个图像块的异常度量，包括：
使用马氏距离根据所述正常类分布计算每个图像块的异常度量。
6.根据权利要求2所述的五金件质量检测方法，其特征在于，所述根据所述异常度量图确定初步异常区域，包括：
将所述异常度量图转换为二进制图像；
使用形态学开运算去除所述二进制图像的噪声和孤立点，并使用形态学闭运算来填充空洞和连接相邻的异常的区域，以得到初步异常区域。
7.根据权利要求1所述的五金件质量检测方法，其特征在于，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的，包括：
获取带有正常标签的五金件图像，并对五金件图像进行预处理，且对预处理后的每个图像块计算对应的协方差矩阵；
根据所有协方差矩阵计算正常类分布；
其中，所述根据所有协方差矩阵计算正常类分布，包括：
使用平均池化计算所有图像块的嵌入向量的协方差矩阵的平均值；
根据所述平均值以及所述协方差矩阵使用多元高斯分布建模正常类分布。
8.五金件质量检测装置，其特征在于，包括：
图像获取单元，用于获取待检测五金件图像；
异常检测单元，用于将所述待检测五金件图像结合从无监督异常检测模型得到正常类分布进行异常检测，以得到异常度量图；
初步确定单元，用于根据所述异常度量图确定初步异常区域；
目标区域确定单元，用于利用所述初步异常区域以及所述待检测五金件图像根据重叠程度确定目标异常区域；
其中，所述无监督异常检测模型是通过带有正常标签的五金件图像作为样本集训练无监督网络形成的。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202310831913.7A 2023-07-07 2023-07-07 五金件质量检测方法、装置、计算机设备及存储介质 Pending CN116563281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310831913.7A CN116563281A (zh) 2023-07-07 2023-07-07 五金件质量检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310831913.7A CN116563281A (zh) 2023-07-07 2023-07-07 五金件质量检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116563281A true CN116563281A (zh) 2023-08-08

Family

ID=87486516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310831913.7A Pending CN116563281A (zh) 2023-07-07 2023-07-07 五金件质量检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116563281A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170184A (zh) * 2021-12-08 2022-03-11 四川启睿克科技有限公司 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN114723708A (zh) * 2022-04-07 2022-07-08 浙大城市学院 一种基于无监督图像分割的工艺品外观缺陷检测方法
CN115222650A (zh) * 2022-04-22 2022-10-21 西安和硕物流科技有限公司 一种混合工业零件缺陷检测算法
CN115797292A (zh) * 2022-12-02 2023-03-14 美的集团(上海)有限公司 图像质量检测方法、表面缺陷检测方法、设备及存储介质
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170184A (zh) * 2021-12-08 2022-03-11 四川启睿克科技有限公司 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN114723708A (zh) * 2022-04-07 2022-07-08 浙大城市学院 一种基于无监督图像分割的工艺品外观缺陷检测方法
CN115222650A (zh) * 2022-04-22 2022-10-21 西安和硕物流科技有限公司 一种混合工业零件缺陷检测算法
CN115797292A (zh) * 2022-12-02 2023-03-14 美的集团(上海)有限公司 图像质量检测方法、表面缺陷检测方法、设备及存储介质
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
CN106920245B (zh) 一种边界检测的方法及装置
CN116168026A (zh) 基于计算机视觉的水质检测方法及系统
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN117173187B (zh) 一种阀门故障智能检测系统
CN114495098B (zh) 一种基于显微镜图像的盘星藻类细胞统计方法及系统
JP2017219529A (ja) 外観異常検査装置、方法、及びプログラム
CN111242050A (zh) 一种面向大尺度复杂场景下遥感影像的自动变化检测方法
CN114972339A (zh) 用于推土机结构件生产异常检测的数据增强系统
CN116071692A (zh) 一种基于形态学图像处理的水尺水位识别方法及系统
CN115861210A (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
CN117191816B (zh) 基于多光谱融合的电子元器件表面缺陷检测方法和装置
CN108985350B (zh) 一种基于梯度幅值稀疏特征信息识别模糊图像的方法和装置、计算设备及存储介质
CN112396580A (zh) 一种圆形零件缺陷检测方法
CN116563281A (zh) 五金件质量检测方法、装置、计算机设备及存储介质
Fujita et al. A robust method for automatically detecting cracks on noisy concrete surfaces
CN116188765A (zh) 检测方法、检测装置、检测设备和计算机可读存储介质
CN115272229A (zh) 一种类别不平衡条件下的异常视觉图像检测方法及装置
CN115690104A (zh) 一种晶圆裂缝检测方法、装置及存储介质
CN115423765A (zh) 一种基于模板图像的晶粒缺陷量化分割方法
Strokina et al. Detection of curvilinear structures by tensor voting applied to fiber characterization
CN113298759A (zh) 水域检测方法、装置、电子设备及存储介质
CN108960254B (zh) 一种基于mscn信息识别模糊图像的方法和装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230808

RJ01 Rejection of invention patent application after publication