CN116883417A - 基于机器视觉的工件质检方法及装置 - Google Patents

基于机器视觉的工件质检方法及装置 Download PDF

Info

Publication number
CN116883417A
CN116883417A CN202311158300.8A CN202311158300A CN116883417A CN 116883417 A CN116883417 A CN 116883417A CN 202311158300 A CN202311158300 A CN 202311158300A CN 116883417 A CN116883417 A CN 116883417A
Authority
CN
China
Prior art keywords
workpiece
standard image
real
image
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311158300.8A
Other languages
English (en)
Other versions
CN116883417B (zh
Inventor
唐湘辉
朱江平
张亚蕊
陈明凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Dongfang Junchi Precision Manufacturing Co ltd
Original Assignee
Wuhan Dongfang Junchi Precision Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Dongfang Junchi Precision Manufacturing Co ltd filed Critical Wuhan Dongfang Junchi Precision Manufacturing Co ltd
Priority to CN202311158300.8A priority Critical patent/CN116883417B/zh
Publication of CN116883417A publication Critical patent/CN116883417A/zh
Application granted granted Critical
Publication of CN116883417B publication Critical patent/CN116883417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于机器视觉的工件质检方法及装置，涉及质检技术领域，包括若干种工件的图像中选取出每种工件的标准图像和多张非标准图像;得到每张标准图像和非标准图像的真实特征点集;将多张非标准图像划分为训练集和测试集；以生成对抗网络搭建初始网路模型，利用训练集和测试集对初始网路模型进行训练和测试；将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据第一特征差异值判断待质检工件是否合格，本发明用于解决现有技术中不能准确的检测和提取到工件的特征点，在后续的特征比对中准确率较低，工件质检的精度达不到要求的技术问题。

Description

基于机器视觉的工件质检方法及装置
技术领域
本发明涉及质检技术领域，具体而言，涉及基于机器视觉的工件质检方法及装置。
背景技术
工业缺陷检测是工业生产中一个重要的环节，在完成产品生产后，需要对生产的工件进行缺陷检测，通过缺陷检测的工件可以进入后续加工或包装等环节。在这种情况下，如果不能及时检测出有缺陷的工件，则会导致有缺陷的工件进入后续环节，造成生产线资源的浪费。目前，工业界普遍采取的工件缺陷检测的方式主要有人工质检和基于机器视觉的工件质检，由于机器视觉的工件质检在准确率、速度和成本上都优于人工质检，因此利用机器的检测代替人工是必然的趋势。但是由于现有技术中不能准确的检测和提取到工件的特征点，在后续的特征比对中准确率较低，导致工件质检的精度达不到要求。
发明内容
本发明的目的在于提供一种基于机器视觉的工件质检方法及装置，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种基于机器视觉的工件质检方法，包括：
获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;
对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;
由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；
以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；
获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；
选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
第二方面，本申请还提供了一种基于机器视觉的工件质检装置，其特征在于，包括：
选取模块：用于获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;
预处理模块：用于对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;
数据集构建模块：用于由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；
模型训练模块：用于以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；
预测模块：用于获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；
比对模块：用于选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
第三方面，本申请还提供了一种基于机器视觉的工件质检设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于机器视觉的工件质检方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于机器视觉的工件质检方法的步骤。
本发明的有益效果为：
本发明通过图像采集设备采集工件的非标准图像和标准图像，并提取图像中工件的特征点，再将非标准图像用于模型训练，得到训练完成的特征点检测模型。通过利用特征点检测模型提取待质检工件图像的特征点，不仅能够加快特征点的检测效率，还能够提高准确性。最后，将检测到的特征点与标准图像的特征点进行比对，分析出待质检工件是否合格。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于机器视觉的工件质检方法流程示意图;
图2为本发明实施例中所述的基于机器视觉的工件质检装置结构示意图；
图3为本发明实施例中所述的基于机器视觉的工件质检设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于机器视觉的工件质检方法,参见图1，其包括如下步骤：
S1.获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;
本实施例中,所述工件包括但不限于冲压件、温感件、五金件以及汽车的各种零部件等。
由于在生产过程中会生产多种不同的工件，因此，对生产线所生产的全部工件均需要采集多张图像，其中包括合格的工件图像，即标准图像，和不合格的工件图像，即非标准图像。通常来说，每一种工件的标准图像仅需要一张即可。
基于以上实施例，本方法还包括：
S2.对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;
具体的，所述步骤S2包括：
S21.对若干种工件进行编号，依次对每种工件对应的标准图像和非标准图像进行多次降采样，使每张标准图像或非标准图像生成对应的多张高尺度图像；
本实施例中，为方便存储和调取信息，依次对每一种工件进行编号，将属于一种工件的图像归集在一个存储库中，存储库的名称与编号对应。
本实施例中，按照编号顺序，依次对每一个存储库中的每一张工件图像进行处理，一张工件图像对应着多张高尺度图像。
S22.根据预设的积分尺度和微分尺度计算得到每一张尺度图像中像素点的响应函数值：
;
式中，为积分尺度和/>为微分尺度，X表示高斯平滑图像上对应的像素点(x，y)，/>表示对矩阵/>进行行列式运算,表示对矩阵/>进行迹运算，/>为常数。
S23.依次计算出每张高尺度图像中每个像素点所对应的响应函数值后，从多张高尺度图像中选取出每个像素点的响应函数最大值，并判断其响应函数最大值是否大于预设阈值，若是，则将其对应的像素点作为图像的真实特征点，由此可以得到一张工件图像的真实特征点集。
需要说明的是，本实施例中所提及的图像为标准图像或非标准图像。
S24.由一种工件的标准图像的真实特征点集和多张非标准图像的真实特征点集构成所述工件的对照库；
具体的，将一种工件的标准图像的真实特征点集和多张非标准图像的真实特征点集加入到对应编号的存储库中，得到每一种编号的对照库。
基于以上实施例，本方法还包括：
S3.由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；
本实施例中，选用非标准图像作为数据集，作为可选的，标准图像也可以作为数据集;
以及S4.以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；
具体的，所述步骤S4包括：
S41.利用生成器和鉴别器搭建初始网络模型，将训练集中的非标准图像生成器进行学习，得到预测特征点集；优选的，所述生成器由输入层、去卷积层及输出层构成、所述判别器由输入层、卷积层、全连接层及输出层构成。
S42.将训练集中的非标准图像对应的真实特征点集输入鉴别器进行学习，判断生成器所生成的预测特征点集是否为真：
若判断为假，则所述生成器重新学习非标准图像并重复生成预测特征点集，鉴别器重复判断所生成的预测特征点集，直到将预测特征点集判断为真；
否则，所述初始网络模型完成训练;
其中，判别器的判断机制为：
；
式中，D为判别器，G为生成器，G(z)为生成器根据输入的随机噪声z生成的内容，D(x)为判别器对真实数据集中的数据所产生的判别结果，D(G(z))为判别器对生成数据产生的判别结果，为真实数据集中x的数学期望，x为生成器的输入，/>为输入随机噪声中z的数学期望。
当G不变时，通过调整D的参数值使得价值函数V最大，即令D(x)趋于1，D(G(z))趋于0，即判别器将真实特征点判断为真，预测特征点则判断为假，进行真假二分类。若判断为假，则返回生成器，并进行参数调整，优化后重新生成预测特征点；若判断为真，则通过去卷积将生成的预测特征点输出。
当D不变时，通过调整G的参数值使得价值函数最小，即令D(G(z))趋于1，表示判别器将生成器生成的预测特征点判别为真。
重复上述步骤，当所述D(G(z))的值达到平衡时，说明判别器的判断精度达到要求，也说明由判别器判断为真的预测特征点与真实特征点相比，相似度达到要求。
S43.将测试集中的非标准图像对应的真实特征点集输入生成器进行学习，得到预测特征点集；
S44.计算所述预测特征点集与对应的真实特征点集的第二特征差异值；
S45.判断所述第二特征差异值是否小于第二预设值：
若是，则所述初始网络模型完成测试，得到特征点检测模型；
本实施例中，所述第二特征差异值的计算方法为：
S451. 将预测特征点集中的预测特征点与测试集中非标准图像对应的真实特征点进行匹配，得到若干对特征点对；
S452. 计算每对特征点对的第二相似度；
具体的，第二相似度的计算方法为：
S4521.从若干对特征点对中选取预设对特征点构造多个对照点集，并计算所述每个所述对照点集的变换矩阵，本实施例中选取8对特征点构造对照点集；
;
式中，表示对照点集的变换矩阵，由此得到V个对照点集的变换矩阵。
S4522.根据每对特征点和所有变换矩阵计算得到每个真实特征点对应的第一残差向量；以及根据每个真实特征点和所有变换矩阵计算得到每个真实特征点对应的第二残差向量；
所述第一残差向量为：，其中，/>表示第V对特征点中的预测特征点中的对于V个变换矩阵的残差；
所述第二残差向量为：，其中，/>表示第V对特征点中的真实特征点中的对于V个变换矩阵的残差；
S4523.利用所述第一残差向量和第二残差向量计算得到预测特征点与真实特征点的第二相似度：
；
式中，表示/>与/>之间的相似度，即欧几里得距离。
S453.将全部特征点对的第二相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；
本实施例中选取相似度排序为前10的10对特征点对作为基准点；
S454.由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；
预测特征点与第一个基准点构成的第一位置向量为：
；
式中，表示第/>个预测特征点与第一个基准点的相对位置，其中相对位置包括横向间距和纵向间距；
真实特征点与第一个基准点构成的第一位置向量为：
；
式中，表示第/>个真实特征点与第一个基准点的相对位置；
由此可以得到10个第一位置向量和10个第二位置向量。
S455.基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第二特征差异值；
；
S456.当所述第二特征差异值小于第二预设值时，初始网络模型完成测试，具体的，所述第一预设值可根据实际的对工件的检测精度要求进行设定，本实施例不进行限定。
基于以上实施例，本方法还包括：
S5.获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；
具体的,获取待质检工件的编号，根据待质检工件的编号确定对应的对照库；
从对照库中获取标准图像和标准图像的真实特征集。
基于以上实施例，本方法还包括：
S6.选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
具体的,所述步骤S6包括:
S61.将预测特征点集中的预测特征点与标准图的真实特征点进行匹配，得到若干对特征点对；
S62.计算每对特征点对的第一相似度；
S63.将全部特征点对的第一相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；
S64.由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；
S65.基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第一特征差异值；
S66.当所述第一特征差异值小于第一预设值时，待质检工件合格；
本实施例中，第一相似度与第二相似度的计算方法相同，此处不再赘述。
实施例2：
如图2所示，本实施例提供了一种基于机器视觉的工件质检装置，所述装置包括：
选取模块：用于获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;
预处理模块：用于对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;
数据集构建模块：用于由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；
模型训练模块：用于以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；
预测模块：用于获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；
比对模块：用于选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
基于以上实施例，预处理模块包括：
降采样单元：用于对若干种工件进行编号，依次对每种工件对应的标准图像和非标准图像进行多次降采样，使每张标准图像或非标准图像生成对应的一张低尺度图像和多张高尺度图像；
提取单元：用于提取低尺度图像中的初始特征点，根据初始特征点在每个高尺度图像中定位得到高尺度特征点；
筛选单元：用于利用多个高尺度图像为每个高尺度特征点构建多个黑塞矩阵，由所述黑塞矩阵从多个高尺度特征点中筛选出多个真实特征点，由多个真实特征点构成一张标准图像或非标准图像对应的真实特征点集；
对照库构成单元：用于由一种工件的标准图像的真实特征点集和多张非标准图像的真实特征点集构成所述工件的对照库。
基于以上实施例，模型训练模块包括：
第一学习单元：用于利用生成器和鉴别器搭建初始网络模型，将训练集中的非标准图像生成器进行学习，得到预测特征点集；
第一判断单元：用于将训练集中的非标准图像对应的真实特征点集输入鉴别器进行学习，判断生成器所生成的预测特征点集是否为真：用于
若判断为假，则所述生成器重新学习非标准图像并重复生成预测特征点集，鉴别器重复判断所生成的预测特征点集，直到将预测特征点集判断为真；
否则，所述初始网络模型完成训练。
基于以上实施例，模型训练模块还包括：
第二学习单元：用于将测试集中的非标准图像对应的真实特征点集输入生成器进行学习，得到预测特征点集；
第一计算单元：用于计算所述预测特征点集与对应的真实特征点集的第二特征差异值；
第二判断单元：用于判断所述第二特征差异值是否小于第二预设值：用于
若是，则所述初始网络模型完成训练，得到特征点检测模型。
基于以上实施例，比对模块包括：
确定单元：用于获取待质检工件的编号，根据待质检工件的编号确定对应的对照库；
获取单元：用于从对照库中获取标准图像和标准图像的真实特征集。
基于以上实施例，比对模块还包括：
匹配单元：用于将预测特征点集中的预测特征点与标准图的真实特征点进行匹配，得到若干对特征点对；
第二计算单元：用于计算每对特征点对的第一相似度；
第一排序单元：用于将全部特征点对的第一相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；
向量构成单元：用于由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；
第二计算单元：用于基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第一特征差异值；
当所述第一特征差异值小于第一预设值时，待质检工件合格。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种基于机器视觉的工件质检设备，下文描述的一种基于机器视觉的工件质检设备与上文描述的一种基于机器视觉的工件质检方法可相互对应参照。
图3是根据示例性实施例示出的一种基于机器视觉的工件质检设备800的框图。如图3所示，该基于机器视觉的工件质检设备800可以包括：处理器801，存储器802。该基于机器视觉的工件质检设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于机器视觉的工件质检设备800的整体操作，以完成上述的基于机器视觉的工件质检方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于机器视觉的工件质检设备800的操作。多媒体组件803可以包括屏幕和音频组件。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于机器视觉的工件质检设备800与其他设备之间进行有线或无线通信。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于机器视觉的工件质检方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于机器视觉的工件质检设备800的处理器801执行以完成上述的基于机器视觉的工件质检方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于机器视觉的工件质检方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于机器视觉的工件质检方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于机器视觉的工件质检方法，其特征在于，包括：
获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;
对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;
由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；
以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；
获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；
选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
2.根据权利要求1所述的工件质检方法，其特征在于，对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的特征点集，包括：
对若干种工件进行编号，依次对每种工件对应的标准图像和非标准图像进行多次降采样，使每张标准图像或非标准图像生成对应的一张低尺度图像和多张高尺度图像；
根据预设的积分尺度和微分尺度计算得到每一张尺度图像中像素点的响应函数值；
依次计算出每张高尺度图像中每个像素点所对应的响应函数值后，从多张高尺度图像中选取出每个像素点的响应函数最大值，并判断其响应函数最大值是否大于预设阈值，若是，则将其对应的像素点作为真实特征点，由多个真实特征点构成一张工件图像的真实特征点集；
由一种工件的标准图像的真实特征点集和多张非标准图像的真实特征点集构成所述工件的对照库。
3.根据权利要求1所述的工件质检方法，其特征在于,利用测试集对所述初始网路模型进行测试，得到特征点检测模型，包括：
将测试集中的非标准图像对应的真实特征点集输入生成器进行学习，得到预测特征点集；
计算所述预测特征点集与对应的真实特征点集的第二特征差异值；
判断所述第二特征差异值是否小于第二预设值：
若是，则所述初始网络模型完成训练，得到特征点检测模型。
4.根据权利要求2所述的工件质检方法，其特征在于,选取待质检工件对应的标准图像和标准图像的真实特征集，包括：
获取待质检工件的编号，根据待质检工件的编号确定对应的对照库；
从对照库中获取标准图像和标准图像的真实特征集。
5.根据权利要求1所述的工件质检方法，其特征在于, 以生成对抗网络搭建初始网路模型，利用训练集对所述初始网路模型进行训练，包括：
利用生成器和鉴别器搭建初始网络模型，将训练集中的非标准图像生成器进行学习，得到预测特征点集；
将训练集中的非标准图像对应的真实特征点集输入鉴别器进行学习，判断生成器所生成的预测特征点集是否为真：
若判断为假，则所述生成器重新学习非标准图像并重复生成预测特征点集，鉴别器重复判断所生成的预测特征点集，直到将预测特征点集判断为真；
否则，所述初始网络模型完成训练。
6.根据权利要求1所述的工件质检方法，其特征在于, 利用测试集对所述初始网路模型进行测试包括：
将测试集中的非标准图像对应的真实特征点集输入生成器进行学习，得到预测特征点集；
计算所述预测特征点集与对应的真实特征点集的第二特征差异值；
判断所述第二特征差异值是否小于第二预设值：
若是，则所述初始网络模型完成测试，得到特征点检测模型。
7.根据权利要求6所述的工件质检方法，其特征在于, 所述第二特征差异值的计算方法包括：
将预测特征点集中的预测特征点与测试集中非标准图像对应的真实特征点进行匹配，得到若干对特征点对；
计算每对特征点对的第二相似度；
将全部特征点对的第二相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；
由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；
基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第二特征差异值；
当所述第二特征差异值小于第二预设值时，初始网络模型完成测试。
8.根据权利要求7所述的工件质检方法，其特征在于, 所述特征点对的第二相似度的计算方法包括：
从若干对特征点对中选取预设对特征点构造多个对照点集，并计算所述每个所述对照点集的变换矩阵；
根据每对特征点和所有变换矩阵计算得到每个真实特征点对应的第一残差向量；以及根据每个真实特征点和所有变换矩阵计算得到每个真实特征点对应的第二残差向量；
利用所述第一残差向量和第二残差向量计算得到预测特征点与真实特征点的第二相似度。
9.根据权利要求1所述的工件质检方法，其特征在于,计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格，包括：
将预测特征点集中的预测特征点与标准图的真实特征点进行匹配，得到若干对特征点对；
计算每对特征点对的第一相似度；
将全部特征点对的第一相似度进行排序，根据所述排序选取若干个特征点对作为基准点，分别计算多个预测特征点与每个基准点的相对位置、多个真实特征点与每个基准点的相对位置；
由多个预测特征点与一个基准点的相对位置构成第一位置向量，由多个真实特征点与一个基准点的相对位置构成第二位置向量；
基于多个第一位置向量和多个第二位置向量计算得到夹角余弦距离，得到第一特征差异值；
当所述第一特征差异值小于第一预设值时，待质检工件合格。
10.一种基于机器视觉的工件质检装置，其特征在于，包括：
选取模块：用于获取图像采集设备所采集的若干种工件的图像,从所述图像中选取出每种工件的标准图像和多张非标准图像;
预处理模块：用于对每张标准图像和非标准图像进行预处理,得到每张标准图像和非标准图像的真实特征点集;
数据集构建模块：用于由非标准图像作为输入标签、非标准图像对应的真实特征点集作为输出标签，将多张非标准图像划分为训练集和测试集；
模型训练模块：用于以生成对抗网络搭建初始网路模型，利用训练集和测试集对所述初始网路模型进行训练和测试，得到特征点检测模型；
预测模块：用于获取图像采集设备所采集的待质检工件图像，将待质检工件图像输入特征点检测模型中得到对应的预测特征点集；
比对模块：用于选取待质检工件对应的标准图像和标准图像的真实特征集，计算待质检工件图像的预测特征点集与标准图像的真实特征点集的第一特征差异值，根据所述第一特征差异值判断待质检工件是否合格。
CN202311158300.8A 2023-09-08 2023-09-08 基于机器视觉的工件质检方法及装置 Active CN116883417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311158300.8A CN116883417B (zh) 2023-09-08 2023-09-08 基于机器视觉的工件质检方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311158300.8A CN116883417B (zh) 2023-09-08 2023-09-08 基于机器视觉的工件质检方法及装置

Publications (2)

Publication Number Publication Date
CN116883417A true CN116883417A (zh) 2023-10-13
CN116883417B CN116883417B (zh) 2023-12-05

Family

ID=88257312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311158300.8A Active CN116883417B (zh) 2023-09-08 2023-09-08 基于机器视觉的工件质检方法及装置

Country Status (1)

Country Link
CN (1) CN116883417B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008251766A (ja) * 2007-03-30 2008-10-16 Hitachi High-Technologies Corp 半導体デバイスの欠陥観察方法及びその装置
CN102253048A (zh) * 2011-04-29 2011-11-23 惠州市钧悦科技有限公司 可用于多种产品检测的机器视觉检测方法及系统
US20120027288A1 (en) * 2010-07-29 2012-02-02 Chang Yuan Methods, Systems and Apparatus for Defect Detection
US20160086057A1 (en) * 2014-09-22 2016-03-24 Kabushiki Kaisha Toshiba Feature point detection device, feature point detection method, and computer program product
CN108734690A (zh) * 2018-03-02 2018-11-02 苏州汉特士视觉科技有限公司 一种视觉缺陷检测设备及其检测方法
US20220036525A1 (en) * 2020-07-30 2022-02-03 International Business Machines Corporation Determining image defects using image comparisons
WO2022088663A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
WO2022088628A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN114723677A (zh) * 2022-03-18 2022-07-08 珠海格力电器股份有限公司 图像缺陷检测方法、检测装置、检测设备及存储介质
CN115409787A (zh) * 2022-08-16 2022-11-29 湖南大学 小型可插拔收发光模块底座缺陷的检测方法
CN115409823A (zh) * 2022-09-06 2022-11-29 长沙理工大学 一种基于生成式对抗网络的太阳能网版缺陷检测方法
CN115409785A (zh) * 2022-08-16 2022-11-29 湖南大学 小型可插拔收发光模块底座缺陷的检测方法
CN116030016A (zh) * 2023-01-10 2023-04-28 广州市易鸿智能装备有限公司 产品图像缺陷检测方法、装置、电子设备及存储介质
CN116071348A (zh) * 2023-03-02 2023-05-05 深圳市捷牛智能装备有限公司 基于视觉检测的工件表面检测方法及相关装置
CN116091506A (zh) * 2023-04-12 2023-05-09 湖北工业大学 一种基于yolov5的机器视觉缺陷质检方法
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法
CN116645343A (zh) * 2023-05-19 2023-08-25 长安大学 基于SinGAN算法的光伏组件缺陷检测方法及相关装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008251766A (ja) * 2007-03-30 2008-10-16 Hitachi High-Technologies Corp 半導体デバイスの欠陥観察方法及びその装置
US20120027288A1 (en) * 2010-07-29 2012-02-02 Chang Yuan Methods, Systems and Apparatus for Defect Detection
CN102253048A (zh) * 2011-04-29 2011-11-23 惠州市钧悦科技有限公司 可用于多种产品检测的机器视觉检测方法及系统
US20160086057A1 (en) * 2014-09-22 2016-03-24 Kabushiki Kaisha Toshiba Feature point detection device, feature point detection method, and computer program product
CN108734690A (zh) * 2018-03-02 2018-11-02 苏州汉特士视觉科技有限公司 一种视觉缺陷检测设备及其检测方法
US20220036525A1 (en) * 2020-07-30 2022-02-03 International Business Machines Corporation Determining image defects using image comparisons
WO2022088663A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
WO2022088628A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
WO2023155069A1 (zh) * 2022-02-16 2023-08-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的手机电池表面缺陷检测方法
CN114723677A (zh) * 2022-03-18 2022-07-08 珠海格力电器股份有限公司 图像缺陷检测方法、检测装置、检测设备及存储介质
CN115409785A (zh) * 2022-08-16 2022-11-29 湖南大学 小型可插拔收发光模块底座缺陷的检测方法
CN115409787A (zh) * 2022-08-16 2022-11-29 湖南大学 小型可插拔收发光模块底座缺陷的检测方法
CN115409823A (zh) * 2022-09-06 2022-11-29 长沙理工大学 一种基于生成式对抗网络的太阳能网版缺陷检测方法
CN116030016A (zh) * 2023-01-10 2023-04-28 广州市易鸿智能装备有限公司 产品图像缺陷检测方法、装置、电子设备及存储介质
CN116071348A (zh) * 2023-03-02 2023-05-05 深圳市捷牛智能装备有限公司 基于视觉检测的工件表面检测方法及相关装置
CN116091506A (zh) * 2023-04-12 2023-05-09 湖北工业大学 一种基于yolov5的机器视觉缺陷质检方法
CN116645343A (zh) * 2023-05-19 2023-08-25 长安大学 基于SinGAN算法的光伏组件缺陷检测方法及相关装置

Also Published As

Publication number Publication date
CN116883417B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
CN113870230B (zh) 一种基于混合监督学习的表面异常检测方法
CN109919076B (zh) 基于深度学习的确认ocr识别结果可靠性的方法及介质
CN110135514B (zh) 一种工件分类方法、装置、设备及介质
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN106296689B (zh) 瑕疵检测方法、系统及装置
KR102297232B1 (ko) 형태학적 영상처리를 활용한 이상 탐지 방법
JP2011014152A (ja) 異常領域検出装置および異常領域検出方法
CN111667476A (zh) 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN114862857B (zh) 一种基于两阶段学习的工业产品外观异常检测方法及系统
CN111651361A (zh) 一种基于可视化页面的无脚本自动化测试方法
CN111553952A (zh) 基于生存对抗的工业机器人视觉图像识别方法及系统
CN114240928B (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN117030129A (zh) 纸杯在线检漏方法及其系统
CN117557872B (zh) 一种优化存储模式的无监督异常检测方法及装置
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN116883417B (zh) 基于机器视觉的工件质检方法及装置
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN110045691B (zh) 一种多源异构大数据的多任务处理故障监测方法
CN116523871A (zh) 一种加工件缺陷检测方法、装置、电子设备及存储介质
WO2020137228A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
CN117128862B (zh) 一种汽车部件的扫描检测分析方法
CN118470005B (zh) 一种基于视觉识别技术的缺陷检测系统
CN115731372B (zh) 一种大型复合材料构件三维测量点云质量优化方法
KR102686135B1 (ko) 인공지능을 활용한 결함 검사 방법 및 인공지능을 활용한 결함 검사 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant