CN115393344A - 一种基于大数据的图像故障检测方法及系统 - Google Patents

一种基于大数据的图像故障检测方法及系统 Download PDF

Info

Publication number
CN115393344A
CN115393344A CN202211167861.XA CN202211167861A CN115393344A CN 115393344 A CN115393344 A CN 115393344A CN 202211167861 A CN202211167861 A CN 202211167861A CN 115393344 A CN115393344 A CN 115393344A
Authority
CN
China
Prior art keywords
image
detected
unit
skeleton
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211167861.XA
Other languages
English (en)
Inventor
张涛
林单
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Putian Xile Network Technology Co ltd
Original Assignee
Putian Xile Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Putian Xile Network Technology Co ltd filed Critical Putian Xile Network Technology Co ltd
Priority to CN202211167861.XA priority Critical patent/CN115393344A/zh
Publication of CN115393344A publication Critical patent/CN115393344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于大数据的图像故障检测方法及系统，涉及图像处理技术领域，包括获取待检测图像，并对所述待检测图像进行预处理；根据获取到的标准图像构建无监督预训练模型；将所述待检测图像输入至无监督预训练模型中，进行分层搜索，得到待检测图像骨架集；对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，并根据所述端点类别分布结果进行图像故障检测。本发明有利效果为提高对零件进行故障检测时的准确率的技术效果；通过图像骨架集，对端点进行聚类，避免对噪声进行误判，故在端点进行分类处理，有助于排除伪端点或干扰端点；提高了准确率和检测时间，并且现场实时检测为提供了可行性。

Description

一种基于大数据的图像故障检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于大数据的图像故障检测方法及系统。
背景技术
目前随着科技的发展，能够自动化实现零件的批量生产，对于制造出来的零件，需要进行故障检测，例如，电路板生产工艺越来越复杂，在电路板生成的过程中不可避免的会出现缺陷电路板，会出现芯片焊接少锡、芯片焊接多锡、芯片焊接连锡等缺陷。因此，需要对电路板进行缺陷检测。一些技术中，零件制造商还通过在生产线上设置摄像装置，对生产线制造出的零件拍照后，由机器进行图像识别后，判断零件是否故障。
然而，现有技术虽然能够在一定程度上实现对零件故障的自动化检测，但是生产线上零件所在的环境以及零件从生产线上传送时与摄像装置之间的距离和角度都在随时发生变化，摄像装置在不同条件下对零件拍照所得到的照片中零件本身都存在不同，再将照片用于故障检测时，会使得机器无法准确识别出零件的故障。例如通过通过人工检测方法对电路板进行缺陷检测，需要工作人员用肉眼进行检查，存在检测成本高、准确性较低、效率低等缺点。
发明内容
本发明的目的在于提供一种基于大数据的图像故障检测方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种基于大数据的图像故障检测方法，包括：
获取待检测图像，并对所述待检测图像进行预处理，得到预处理后的待检测图像；
根据获取到的标准图像构建无监督预训练模型；
将所述待检测图像输入至无监督预训练模型中，进行分层搜索，得到待检测图像骨架集；
对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，并根据所述端点类别分布结果进行图像故障检测。
第二方面，本申请还提供了一种基于大数据的图像故障检测系统，包括获取模块、构建模块、输入模块和处理模块，其中：
获取模块：用于获取待检测图像，并对所述待检测图像进行预处理，得到预处理后的待检测图像；
构建模块：用于根据获取到的标准图像构建无监督预训练模型；
输入模块：用于将所述待检测图像输入至无监督预训练模型中，进行分层搜索，得到待检测图像骨架集；
处理模块：用于对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，并根据所述端点类别分布结果进行故障检测。
本发明的有益效果为：克服了摄像装置参数错误、待测试零件与摄像装置之间相对位置变化，导致的摄像装置拍摄出的图像中，待测试零件本身的状态都不稳定的技术问题。也就使得深度学习神经网络模型能够更加直接地对图像中的零件故障处进行识别，避免了机器学习模型在根据图像进行故障检测时，将待测试零件状态的变化误认为是故障，进而达到了提高对零件进行故障检测时的准确率的技术效果。在获取缺陷信息方面具有有效性和准确性，可满足检测要求。通过图像骨架集，对端点进行聚类，避免对噪声进行误判，故在端点进行分类处理，有助于排除伪端点或干扰端点。提高了准确率和检测时间，并且现场实时检测为提供了可行性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的图像故障检测方法流程示意图；
图2为本发明实施例中所述的图像故障检测系统结构示意图；
图3为本发明实施例中所述的图像故障检测设备结构示意图。
图中:701、获取模块；7011、转换单元；7012、分割单元；7013、第一处理单元；7014、匹配单元；7015、提取单元；7016、获取单元；7017、标注单元；7018、训练单元；702、构建模块；703、输入模块；7031、设置单元；7032、取样单元；7033、第一映射单元；7034、第一计算单元；7035、判断单元；704、处理模块；7041、识别单元；7042、聚类单元；7043、发送单元；70431、第二计算单元；70432、第二映射单元；70433、第二处理单元；70434、构建单元；70435、第三处理单元；800、图像故障检测设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于大数据的图像故障检测方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。
S100、获取待检测图像，并对所述待检测图像进行预处理，得到预处理后的待检测图像。
可以理解的是，在S100步骤中包括S101、S102、S103、S104和S105，其中：
S101、获取待检测图像，并将所述待检测图像转换成灰度待检测图像；
S102、基于图像灰度直方图特征，对所述灰度待检测图像进行分割，得到分割后的二值化待检测图像；
需要说明的是，例如板卡，除了有效的线路部分，还有噪音干扰，接近背景灰度，可通过图像二值化进行过滤。
设任一端坐标为(PY,PX),过滤短路区域内的端点信息的条件为：
gray(r)≠G且
Figure BDA0003862084000000051
式中，r表示当前点；i表示R的四邻域方向；gray()表示灰度值；G表示二值图像中标记区域的灰度值。
S103、基于非目标区域掩膜法，对所述二值化待检测图像进行处理，得到待检测图像掩膜结果；
需要说明的是，利用存储或采集的待检测图像获取标识、标记符等非目标区域的有效范围，通过窗口掩膜方式去除。
S104、基于高斯图像金字塔模型的搜索策略和图像对称性特征，对所述待检测图像掩膜结果进行匹配，得到匹配后新的待检测图像；
需要说明的是，搜索策略基于高斯图像金字塔模型，在获取图像金字塔级数的情况下，在图像最高层进行配准，搜索与标准图像相匹配的例子；再将配准结果映射到金字塔下一层，扩充配准结果周边区域作为搜索区域，并进行新一轮配准，同时将配准结果映射到下一层，重复直至金字塔最底层。
S105、对新的所述待检测图像进行图像骨架提取，得到预处理后的待检测图像。
需要说明的是，图像骨架在图像二值化基础上进行，其实质是图像目标区域内所有最大内切圆圆心的轨迹，原理是保持区域的同论性。
可以理解的是，步骤S100之前包括S106、S107和S108，其中：
S106、获取待检测图像，其中，所述待检测图像存在标注区域，所述标注区域内展示中存在的缺陷；
获取待检测图像可以是摄像机拍摄得到的。在本发明的一个实施例中，例如可以获取板卡图像的样本图像，其中，待检测图像存在标注区域和非标注区域，标注区域内会出现缺陷，例如板卡反光或者邮遮挡物等。
S107、根据所述标注区域内展示的缺陷类别，对所述待检测图像进行标注；
根据缺陷类别对缺陷进行分类，并根据分类类别，对待检测图像进行标注，可标注为第一线路缺陷、第二线路缺陷、第一孔点缺陷、第一反光缺陷等以此类推。
S108、采用经过标注的所述待检测图像对预设的图像语义识别模型进行训练。
进一步地，获取预设的图像语义识别模型，将上述缺陷类别标识输入至相对应的图像语义识别模型中，根据损失函数进行计算，得到损失值，并进行调整。
S200、根据获取到的标准图像构建无监督预训练模型。
可以理解的是，在本步骤S200中包括S201、S202、S203、S204和S205，其中：
S201、设置初始化参数，所述初始化参数包括像素深度值、像素各色彩通道的灰度值和迭代次数；
可以理解的是，将获取到的标准图像根据像素深度值、像素各色彩通道的灰度值和迭代次数进行初始化参数。
S202、根据所述初始化参数，对所述标准图像中的图像信息进行随机取样，所述随机取样包括对所述图像信息进行图像增强，其中，所述图像增强包括利用Sobel尖锐化对图像的锐化和利用拉普拉斯锐化算法对图像的填充；
可以理解的是，图像增强方式包括但不限于利用Sobel尖锐化对图像的锐化和利用拉普拉斯锐化算法对图像的填充，还可以通过图像随机旋转、图像随机裁剪、图像随机翻转和CutPaste等增强方式，为了让图像更加清晰。
S203、将每个所述图像信息进行表征向量化，并将表征向量化的结果输入至非线性投影层，输出每个所述图像信息计算对比损失函数的表征信息映射，得到映射值；
可以理解的是，其中采用Resnet152作为无监督训练模型的编码器，其作用在数据增强后的数据集上，提取数据集中的图片表征向量。将增强后的图像输入到编码器Resnet152中，计算每个图像信息的表征向量。并将每个图像的表征向量，输入到非线性投影层，输出每个图像信息用以计算对比损失函数的表征信息映射。
S204、将所述映射值输入到对比损失函数中，计算损失值；
S205、基于深度学习神经网络，反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数，更新后判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存所述无监督预训练模型的参数文件；若未达到则返回继续执行。
需要说明的是，对比损失函数：在输入模型的每个批次样本中，互为正样本的图片应是概率相似的。而互为负样本的图片，应在概率上不相似。其中，正负样本对为对数据进行数据增强，设定图片与其经过不同数据增强后的图片互为正样本对。图片与其经过复制粘贴增强后的图片、其它图片以及其他图片经过数据增强后的图片互为负样本对。计算样本对的相似性sim公式如下：
Figure BDA0003862084000000071
其中τ是温度参数，可调参。||Zi||,||Zj||是图片经过非线性投影层的输出的Zi,Zj的矢量模。
计算对比损失函数l：
Figure BDA0003862084000000081
其中N表示每批次输入模型的样本数。
S300、将所述待检测图像输入至无监督预训练模型中，进行分层搜索，得到待检测图像骨架集。
可以理解的是，在本步骤中，将参考图像集作为整体，得到待检测图像骨架集，并开始计算骨架端点，根据端点类分布情况，可获取异常位置即缺陷位置。例如板卡图像中会因为图像受损或者边缘细微变化引入噪音，会增加骨架端点或者分支数，造成误判，所以需要对端点进行分类处理，排除伪端点或者干扰点，所以要先获取骨架集。
S400、对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，并根据所述端点类别分布结果进行图像故障检测。
可以理解的是，在本步骤S400包括S401、S402、S403，其中：
S401、将所述待检测图像骨架集的骨架端点进行特征识别，得到所述待检测图像骨架集的骨架端点的特征识别结果；
可以理解的是，通过对待检测图像骨架集中的骨架端点进行特征识别，其中将单像素情况下的骨架集与骨架走向分布的交集为空集进行标记，并将逆时针沿180度方向扩展骨架集与待测线路区域骨架走向分布进行交集后为有交集点进行标记，确定待检测图像骨架集的骨架端点的特征识别结果。
S402、基于所述待检测图像骨架集的骨架端点的特征识别结果进行聚类，得到至少一个特征聚类簇，并调用至少一个所述特征聚类簇所对应的参数范围，计算每个所述特征聚类簇内的第一参数平均数；
本发明通过对待检测图像骨架集的骨架端点的特征识别结果进行聚类，其中将不同的范围聚为不同的簇，基于每个簇确定每个特征聚类簇的参数范围的平均参数，进而基于参数来初步判断特征种类。
S403、将每个所述第一参数平均数发送至预设的分类模型中进行处理，得到端点分类结果。
可以理解的是，判断种类，并且通过范围确定端点信息，进而得到端点的识别结果，将端点进行分类，对端点进行分类处理，排除伪端点或者干扰点，减少误判。
需要说明的是，步骤S403中包括S4031、S4032、S4033、S4034和S4035，其中：
S4031、获取所述标准图像的特征识别结果，并基于聚类算法计算得到至少一个第二参数平均数，所述第二参数平均数为所述标准图像进行聚类得到的特征参数范围，进而计算得到的特征聚类簇内的参数平均数；
可以理解的是上述步骤是基于历史数据对分类模型进行训练，进而提高分类模型的识别准确率，保证分类模型能够准确分类，减少误差。
S4032、将至少一个所述第二参数平均数和所述标准图像进行映射，得到每个所述标准图像和每个所述第二参数平均数的对应关系；
进一步地，一一对应进行映射，保证分类准确，减小误差。
S4033、将每个所述第二参数平均数基于哈希算法进行处理，得到每个所述第二参数平均数对应的哈希值；
S4034、基于非极大值抑制算法对所有所述哈希值进行合并处理，得到合并后的哈希值，并基于每个合并后的哈希值构建分类数据库；
S4035、基于K-Means聚类方法，将每个所述标准图像和每个所述第二参数平均数的对应关系发送至所述分类数据库进行处理，得到构建好的分类模型，其中，将所述对应关系与每个拼接好的所述哈希值进行对应。
可以理解的是上述步骤通过将第二参数平均数采用哈希算法进行转化，保护数据安全，并且本发明通过哈希值转化减少了数据的计算量，大大优化了计算速度，提高了计算效率。
实施例2：
如图2所示，本实施例提供了一种基于大数据的图像故障检测系统，参见图2所述系统包括获取模块701、构建模块702、输入模块703和处理模块704，其中：
获取模块701：用于获取待检测图像，并对所述待检测图像进行预处理，得到预处理后的待检测图像；
构建模块702：用于根据获取到的标准图像构建无监督预训练模型；
输入模块703：用于将所述待检测图像输入至无监督预训练模型中，进行分层搜索，得到待检测图像骨架集；
处理模块704：用于对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，并根据所述端点类别分布结果进行故障检测。
具体地，所述获取模块701，之前包括获取单元7016、标注单元7017和训练单元7018，其中：
获取单元7016：用于获取待检测图像，其中，所述待检测图像存在标注区域，所述标注区域内展示的中存在的缺陷；
标注单元7017：用于第二根据所述标注区域内展示的所示的缺陷类别，对所述待检测图像进行标注；
训练单元7018：用于采用经过标注的所述待检测图像对预设的图像语义识别模型进行训练。
具体地，所述获取模块701，其中包括转换单元7011、分割单元7012、第一处理单元7013、匹配单元7014和提取单元7015，其中：
转换单元7011：用于获取待检测图像，并将所述待检测图像转换成灰度待检测图像；
分割单元7012：用于基于图像灰度直方图特征，对所述灰度待检测图像进行分割，得到分割后的二值化待检测图像；
第一处理单元7013：用于基于非目标区域掩膜法，对所述二值化待检测图像进行处理，得到待检测图像掩膜结果；
匹配单元7014：用于基于高斯图像金字塔模型的搜索策略和图像对称性特征，对所述待检测图像掩膜结果进行匹配，得到匹配后新的待检测图像；
提取单元7015：用于对新的所述待检测图像进行图像骨架提取，得到预处理后的待检测图像。
具体地，所述输入模块703，其中包括设置单元7031、取样单元7032、第一映射单元7033、第一计算单元7034和判断单元7035，其中：
设置单元7031：用于设置初始化参数，所述初始化参数包括像素深度值、像素各色彩通道的灰度值和迭代次数；
取样单元7032：用于根据所述初始化参数，对所述标准图像中的图像信息进行随机取样，所述随机取样包括对所述图像信息进行图像增强，其中，所述图像增强包括利用Sobel尖锐化对图像的锐化和利用拉普拉斯锐化算法对图像的填充；
第一映射单元7033：用于将每个所述图像信息进行表征向量化，并将表征向量化的结果输入至非线性投影层，输出每个所述图像信息计算对比损失函数的表征信息映射，得到映射值；
第一计算单元7034：用于将所述映射值输入到对比损失函数中，计算损失值；
判断单元7035：用于基于深度学习神经网络，反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数，更新后判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存所述无监督预训练模型的参数文件；若未达到则返回继续执行。
具体地，所述处理模块704，其中包括识别单元7041、聚类单元7042和发送单元7043，其中：
识别单元7041：用于将所述待检测图像骨架集的骨架端点进行特征识别，得到所述待检测图像骨架集的骨架端点的特征识别结果；
聚类单元7042：用于基于所述待检测图像骨架集的骨架端点的特征识别结果进行聚类，得到至少一个特征聚类簇，并调用至少一个所述特征聚类簇所对应的参数范围，计算每个所述特征聚类簇内的第一参数平均数；
发送单元7043：用于将每个所述第一参数平均数发送至预设的分类模型中进行处理，得到端点分类结果。
具体地，所述发送单元7043，其中包括第二计算单元70431、第二映射单元70432、第二处理单元70433、构建单元70434和第三处理单元70435，其中：
第二计算单元70431：用于获取所述标准图像的特征识别结果，并基于聚类算法计算得到至少一个第二参数平均数，所述第二参数平均数为所述标准图像进行聚类得到的特征参数范围，进而计算得到的特征聚类簇内的参数平均数；
第二映射单元70432：用于将至少一个所述第二参数平均数和所述标准图像进行映射，得到每个所述标准图像和每个所述第二参数平均数的对应关系；
第二处理单元70433：用于将每个所述第二参数平均数基于哈希算法进行处理，得到每个所述第二参数平均数对应的哈希值；
构建单元70434：用于基于非极大值抑制算法对所有所述哈希值进行合并处理，得到合并后的哈希值，并基于每个合并后的哈希值构建分类数据库；
第三处理单元70435：用于基于K-Means聚类方法，将每个所述标准图像和每个所述第二参数平均数的对应关系发送至所述分类数据库进行处理，得到构建好的分类模型，其中，将所述对应关系与每个拼接好的所述哈希值进行对应。
需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种图像故障检测设备，下文描述的一种图像故障检测设备与上文描述的一种故障检测方法可相互对应参照。
图3是根据示例性实施例示出的一种图像故障检测设备800的框图。如图3所示，该图像故障检测设备800可以包括：处理器801，存储器802。该图像故障检测设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该图像故障检测设备800的整体操作，以完成上述的故障检测方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该图像故障检测设备800的操作，这些数据例如可以包括用于在该图像故障检测设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该图像故障检测设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，图像故障检测设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的故障检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的故障检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由图像故障检测设备800的处理器801执行以完成上述的故障检测方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种图像故障检测方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的故障检测方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
综上所述，使得深度学习神经网络模型能够更加直接地对图像中的零件故障处进行识别，避免了机器学习模型在根据图像进行故障检测时，达到了提高对零件进行故障检测时的准确率的技术效果。在获取缺陷信息方面具有有效性和准确性，可满足检测要求。通过图像骨架集，对端点进行聚类，避免对噪声进行误判，有助于排除伪端点或干扰端点；提高了准确率和检测时间，并且现场实时检测为提供了可行性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于大数据的图像故障检测方法，其特征在于，包括：
获取待检测图像，并对所述待检测图像进行预处理，得到预处理后的待检测图像；
根据获取到的标准图像构建无监督预训练模型；
将所述待检测图像输入至无监督预训练模型中，进行分层搜索，得到待检测图像骨架集；
对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，并根据所述端点类别分布结果进行图像故障检测。
2.根据权利要求1所述的图像故障检测方法，其特征在于,所述获取待检测图像，并对所述待检测图像进行预处理，其中包括：
获取待检测图像，并将所述待检测图像转换成灰度待检测图像；
基于图像灰度直方图特征，对所述灰度待检测图像进行分割，得到分割后的二值化待检测图像；
基于非目标区域掩膜法，对所述二值化待检测图像进行处理，得到待检测图像掩膜结果；
基于高斯图像金字塔模型的搜索策略和图像对称性特征，对所述待检测图像掩膜结果进行匹配，得到匹配后新的待检测图像；
对新的所述待检测图像进行图像骨架提取，得到预处理后的待检测图像。
3.根据权利要求1所述的图像故障检测方法，其特征在于,所述将所述待检测图像输入至无监督预训练模型中，其中包括：
设置初始化参数，所述初始化参数包括像素深度值、像素各色彩通道的灰度值和迭代次数；
根据所述初始化参数，对所述标准图像中的图像信息进行随机取样，所述随机取样包括对所述图像信息进行图像增强，其中，所述图像增强包括利用Sobel尖锐化对图像的锐化和利用拉普拉斯锐化算法对图像的填充；
将每个所述图像信息进行表征向量化，并将表征向量化的结果输入至非线性投影层，输出每个所述图像信息计算对比损失函数的表征信息映射，得到映射值；
将所述映射值输入到对比损失函数中，计算损失值；
基于深度学习神经网络，反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数，更新后判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存所述无监督预训练模型的参数文件；若未达到则返回继续执行。
4.根据权利要求1所述的图像故障检测方法，其特征在于,所述对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，其中包括：
将所述待检测图像骨架集的骨架端点进行特征识别，得到所述待检测图像骨架集的骨架端点的特征识别结果；
基于所述待检测图像骨架集的骨架端点的特征识别结果进行聚类，得到至少一个特征聚类簇，并调用至少一个所述特征聚类簇所对应的参数范围，计算每个所述特征聚类簇内的第一参数平均数；
将每个所述第一参数平均数发送至预设的分类模型中进行处理，得到端点分类结果。
5.根据权利要求4所述的图像故障检测方法，其特征在于,所述分类模型的构建方法，其中包括：
获取所述标准图像的特征识别结果，并基于聚类算法计算得到至少一个第二参数平均数，所述第二参数平均数为所述标准图像进行聚类得到的特征参数范围，进而计算得到的特征聚类簇内的参数平均数；
将至少一个所述第二参数平均数和所述标准图像进行映射，得到每个所述标准图像和每个所述第二参数平均数的对应关系；
将每个所述第二参数平均数基于哈希算法进行处理，得到每个所述第二参数平均数对应的哈希值；
基于非极大值抑制算法对所有所述哈希值进行合并处理，得到合并后的哈希值，并基于每个合并后的哈希值构建分类数据库；
基于K-Means聚类方法，将每个所述标准图像和每个所述第二参数平均数的对应关系发送至所述分类数据库进行处理，得到构建好的分类模型，其中，将所述对应关系与每个拼接好的所述哈希值进行对应。
6.一种基于大数据的图像故障检测系统，其特征在于，包括：
获取模块：用于获取待检测图像，并对所述待检测图像进行预处理，得到预处理后的待检测图像；
构建模块：用于根据获取到的标准图像构建无监督预训练模型；
输入模块：用于将所述待检测图像输入至无监督预训练模型中，进行分层搜索，得到待检测图像骨架集；
处理模块：用于对所述待检测图像骨架集中的骨架端点进行聚类处理，得到端点类别分布结果，并根据所述端点类别分布结果进行故障检测。
7.根据权利要求6所述的图像故障检测系统，其特征在于，所述获取模块，其中包括：
转换单元：用于获取待检测图像，并将所述待检测图像转换成灰度待检测图像；
分割单元：用于基于图像灰度直方图特征，对所述灰度待检测图像进行分割，得到分割后的二值化待检测图像；
第一处理单元：用于基于非目标区域掩膜法，对所述二值化待检测图像进行处理，得到待检测图像掩膜结果；
匹配单元：用于基于高斯图像金字塔模型的搜索策略和图像对称性特征，对所述待检测图像掩膜结果进行匹配，得到匹配后新的待检测图像；
提取单元：用于对新的所述待检测图像进行图像骨架提取，得到预处理后的待检测图像。
8.根据权利要求6所述的图像故障检测系统，其特征在于，所述输入模块，其中包括：
设置单元：用于设置初始化参数，所述初始化参数包括像素深度值、像素各色彩通道的灰度值和迭代次数；
取样单元：用于根据所述初始化参数，对所述标准图像中的图像信息进行随机取样，所述随机取样包括对所述图像信息进行图像增强，其中，所述图像增强包括利用Sobel尖锐化对图像的锐化和利用拉普拉斯锐化算法对图像的填充；
第一映射单元：用于将每个所述图像信息进行表征向量化，并将表征向量化的结果输入至非线性投影层，输出每个所述图像信息计算对比损失函数的表征信息映射，得到映射值；
第一计算单元：用于将所述映射值输入到对比损失函数中，计算损失值；
判断单元：用于基于深度学习神经网络，反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数，更新后判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存所述无监督预训练模型的参数文件；若未达到则返回继续执行。
9.根据权利要求6所述的图像故障检测系统，其特征在于，所述处理模块，其中包括：
识别单元：用于将所述待检测图像骨架集的骨架端点进行特征识别，得到所述待检测图像骨架集的骨架端点的特征识别结果；
聚类单元：用于基于所述待检测图像骨架集的骨架端点的特征识别结果进行聚类，得到至少一个特征聚类簇，并调用至少一个所述特征聚类簇所对应的参数范围，计算每个所述特征聚类簇内的第一参数平均数；
发送单元：用于将每个所述第一参数平均数发送至预设的分类模型中进行处理，得到端点分类结果。
10.根据权利要求9所述的图像故障检测系统，其特征在于，所述发送单元，其中包括：
第二计算单元：用于获取所述标准图像的特征识别结果，并基于聚类算法计算得到至少一个第二参数平均数，所述第二参数平均数为所述标准图像进行聚类得到的特征参数范围，进而计算得到的特征聚类簇内的参数平均数；
第二映射单元：用于将至少一个所述第二参数平均数和所述标准图像进行映射，得到每个所述标准图像和每个所述第二参数平均数的对应关系；
第二处理单元：用于将每个所述第二参数平均数基于哈希算法进行处理，得到每个所述第二参数平均数对应的哈希值；
构建单元：用于基于非极大值抑制算法对所有所述哈希值进行合并处理，得到合并后的哈希值，并基于每个合并后的哈希值构建分类数据库；
第三处理单元：用于基于K-Means聚类方法，将每个所述标准图像和每个所述第二参数平均数的对应关系发送至所述分类数据库进行处理，得到构建好的分类模型，其中，将所述对应关系与每个拼接好的所述哈希值进行对应。
CN202211167861.XA 2022-09-23 2022-09-23 一种基于大数据的图像故障检测方法及系统 Pending CN115393344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211167861.XA CN115393344A (zh) 2022-09-23 2022-09-23 一种基于大数据的图像故障检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211167861.XA CN115393344A (zh) 2022-09-23 2022-09-23 一种基于大数据的图像故障检测方法及系统

Publications (1)

Publication Number Publication Date
CN115393344A true CN115393344A (zh) 2022-11-25

Family

ID=84128746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211167861.XA Pending CN115393344A (zh) 2022-09-23 2022-09-23 一种基于大数据的图像故障检测方法及系统

Country Status (1)

Country Link
CN (1) CN115393344A (zh)

Similar Documents

Publication Publication Date Title
CN112949564B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN110678877B (zh) 用于在测试图像中的视觉定位的系统及方法
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
CN114549993B (zh) 实验中线段图像的评分方法、系统、设备及可读存储介质
CN116596875B (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN109740609B (zh) 一种轨距检测方法及装置
KR102297232B1 (ko) 형태학적 영상처리를 활용한 이상 탐지 방법
CN111368682A (zh) 一种基于faster RCNN台标检测与识别的方法及系统
CN116228741A (zh) 一种pcba元器件缺陷检测方法及装置
CN111210417B (zh) 基于卷积神经网络的布匹缺陷检测方法
CN113284094A (zh) 获取玻璃基板缺陷信息的方法、装置、存储介质及设备
CA3035387C (en) Digitization of industrial inspection sheets by inferring visual relations
CN116485779A (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN113723467A (zh) 用于缺陷检测的样本收集方法、装置和设备
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN114419739A (zh) 行为识别模型的训练方法、行为识别方法及设备
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN111507420A (zh) 轮胎信息获取方法、装置、计算机设备和存储介质
CN116363136A (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN115393344A (zh) 一种基于大数据的图像故障检测方法及系统
CN116977249A (zh) 缺陷检测的方法、模型训练的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination