CN112528975A - 工业质检方法、装置和计算机可读存储介质 - Google Patents
工业质检方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112528975A CN112528975A CN202110180098.3A CN202110180098A CN112528975A CN 112528975 A CN112528975 A CN 112528975A CN 202110180098 A CN202110180098 A CN 202110180098A CN 112528975 A CN112528975 A CN 112528975A
- Authority
- CN
- China
- Prior art keywords
- quality inspection
- target detection
- picture
- industrial quality
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种工业质检方法、装置和计算机可读存储介质,所述方法包括:获取工业质检图片,并采用第一目标检测网络将工业质检图片进行图片标注质量检测和负难样本筛选;将工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类;将滤除异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置;根据异常分类、缺陷类别和位置,输出质检结果。该方法将生成对抗网络和目标检测网络结合,对于工业现场出现的极少数样本或者重大缺陷的情况有更好的反应,并且由于生成对抗网络的特点,使得实际上线后,即使出现新型异常情况,也可以有很好的检测和预警,增强传统单个目标检测算法的鲁棒性。
Description
技术领域
本发明涉及检测技术领域,具体涉及一种工业质检方法、一种工业质检装置和一种非临时性计算机可读存储介质。
背景技术
目前工业质量和缺陷检测中主要分为人工质检及机器视觉两种方案。其中人工质检存在人力效率低、成本高、质量控制困难、准确率随着工作时间增加而降低等问题。对于机器视觉方向,目前工业现场采用的机器视觉检测算法多为传统的图像处理算法,传统视觉检测正确率和速度需要进一步提升,并且随着业务增加和多种多样的缺陷出现,算法检测的目标种类也需要增加。深度学习方向的视觉检测提供了良好的思路和背景。
在针对工业质检中目标缺陷检测进行深度算法的学习和检测中,目前主要采用目标检测的深度网络进行检测。然而由于目标框的大小和位置的限制,使得在算法在处理缺陷样本数量过少、缺陷样本覆盖面大、全局缺陷、样本特征不明显等情况时,准确率会受到较大影响。
发明内容
本发明为解决上述技术问题,提出了一种工业质检方法,该方法通过将生成对抗网络和目标检测网络结合,对于工业现场出现的极少数样本或者重大缺陷的情况有更好的反应,并且由于生成对抗网络的特点,使得实际上线后,即使出现新型异常情况,也可以有很好的检测和预警,增强传统单个目标检测算法的鲁棒性。
本发明还提出一种工业质检装置。
本发明还提出一种非临时性计算机可读存储介质。
本发明采用的技术方案如下:
本发明第一方面实施例提出了一种工业质检方法,包括以下步骤:获取工业质检图片,并采用第一目标检测网络对所述工业质检图片进行图片标注增强,其中,所述第一目标检测网络包括单阶段目标检测模型;将所述工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类;将滤除所述异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,所述第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型;根据所述异常分类、所述缺陷类别和位置,输出质检结果。
根据本发明的一个实施例,采用正常良品图片样本训练所述生成对抗网络,通过跳跃式连接的自编码器Autoencoder生成伪图像,根据测试图片和所述伪图像之间的差异程度识别异常样本。
根据本发明的一个实施例,采用第一目标检测网络对所述工业质检图片进行图片标注增强前,还包括:根据实际需要对所述工业质检图片进行切图和图像增强,所述图像增强包括:翻转、旋转、平移、颜色扰动。
根据本发明的一个实施例,所述单阶段目标检测模型包括:YOLO(对象检测算法)系列模型、SSD(Single Shot MultiBox Detector,单镜头多盒检测器)模型,所述双阶段目标检测模型包括:Faster R-CNN(Region Convolutional Neural Networks,基于卷积神经网络)、Cascade R-CNN、HTC(Hybrid Task Cascade,混合任务级联)。
本发明第二方面实施例提出了一种工业质检装置,包括:第一增强模块,所述第一增强模块用于获取工业质检图片,并采用第一目标检测网络对所述工业质检图片进行图片标注增强,其中,所述第一目标检测网络包括单阶段目标检测模型,所述异常检测模块用于将所述工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类;目标检测模块,所述目标检测模块用于将滤除所述异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,所述第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型;输出模块,所述输出模块用于根据所述异常分类和所述缺陷类别和位置,输出质检结果。
根据本发明的一个实施例,所述异常检测模块具体用于:采用正常良品图片样本训练所述生成对抗网络,通过跳跃式连接的自编码器Autoencoder生成伪图像,根据测试图片和所述伪图像之间的差异程度识别异常样本。
根据本发明的一个实施例,上述的装置还包括:第二增强模块,所述第二增强模块用于根据实际需要对所述工业质检图片进行切图和图像增强,所述图像增强包括:翻转、旋转、平移、颜色扰动。
根据本发明的一个实施例所述单阶段目标检测模型包括:YOLO系列模型、SSD模型,所述双阶段目标检测模型包括:Faster R-CNN、Cascade R-CNN、HTC。
本发明第三方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明第一方面实施例所述的工业质检方法。
本发明的有益效果:
本发明通过将生成对抗网络和目标检测网络结合,对于工业现场出现的极少数样本或者重大缺陷的情况有更好的反应,并且由于生成对抗网络的特点,使得实际上线后,即使出现新型异常情况,也可以有很好的检测和预警,增强传统单个目标检测算法的鲁棒性。
附图说明
图1是根据本发明一个实施例的工业质检方法的流程图;
图2是根据本发明另一个实施例的工业质检方法的流程图;
图3是根据本发明一个实施例的工业质检装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请是发明人基于对以下问题的研究和认知做出的:
目前来说,工业质检领域的深度学习网络主要是聚焦于对现有目标检测网络进行改进和优化,超参数调整,或者增加前后处理等方法,提升模型输出精度。然而对于一些大型缺陷或者样本量极小的缺陷(极少数缺陷)、新型缺陷,现有的目标检测框架并不适用于这类问题,而深度视觉的异常检测可以是一个很好的补充。现有的视觉异常检测方法主要聚焦于Autoencoder(自编码器)和GAN(Generative Adversarial Networks,生成对抗网络)两大类,但是并未有和目标检测任务进行很好的结合或者交互,主要聚焦于单个异常问题进行集中检测或者异常识别。
图1是根据本发明一个实施例的工业质检方法的流程图,如图1所示,该方法包括以下步骤:
S1,获取工业质检图片,并采用第一目标检测网络对工业质检图片进行图片标注质量检测和负难样本筛选,以将图片标注质量低于预设阈值的样本输出,并对负难样本进行增强,其中,第一目标检测网络包括单阶段目标检测模型。
在本发明的实施例中,单阶段目标检测模型包括:YOLO系列模型、SSD模型,双阶段目标检测模型包括:Faster R-CNN、Cascade R-CNN、HTC。
具体地,负难样本包括负样本和难样本,可以使用简易版本目标检测模型进行训练,例如:单阶段目标检测模型(例如:YoloV5、SSD),单阶段目标检测模型运行速度较快,且可以保证一定的精度,采用Adam、SGD(Stochastic Gradient Descent,随机梯度下降)优化器进行随机优化,筛选疑难样本和难区分类别,提高后续的模型表现。
对于图片标注质量低于预设阈值的样本,可返回上一级处理程序进行返工,对于负难样本,可通过第一目标检测网络进行增强,增强包括图片增强和标注增强,以使标注质量更高,提高后续模型表现。
S2,将工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类。
根据混淆矩阵和模型测试表现,可以将图片分为三类:异常图片、正常缺陷图片、正常良品图片。异常图片可以为:大缺陷图片(例如图像缺失、图片断裂等大型缺陷)和新型缺陷图片。正常缺陷图片即为带有缺陷标注(目标框)的工业质检图片,正常良品图片为不带目标框的工业质检图片。
进一步地,根据本发明的一个实施例,采用正常良品图片样本训练生成对抗网络,通过跳跃式连接的自编码器Autoencoder生成伪图像,根据测试图片和伪图像之间的差异程度识别异常样本。
具体地,根据良品图片和统计得到的极少数缺陷种类,定义要测试的图像和伪图像之间阈值。然后使用正常样本训练GAN(生成对抗网络),通过Autoencoder(自编码器)生成伪图像,使其概率分布与正常样本相似,识别异常样本并输出异常分类。对于一些新型缺陷,即使分类为正常良品图片,生成对抗网络通过测试图片和伪图像之间的差异程度也可识别出异常样本。
受Skip-GANomaly(基于对抗训练的半监督异常检测)和U-Net(语义分割网络)启发,本发明的GAN结构如下:Generator生成器设计为具有跳过连接skip-connection(跳跃式连接)体系结构的encoder-decoder(编码-解码)自动编码器形式,可以识别不同尺度和维度的特征,对全局和局部特征都有很好的构建,提供了出色的重建能力;Discriminator辨别器接受生成图片并进行判定,在训练阶段与生成器进行对抗训练,在对抗中提升生成器的重建能力和判别器自己的识别能力,通过自适应阈值来判断异常。另外,通过双auto-encoder使得GAN网络训练更加稳定快速,尽快实现收敛。
GAN网络损失函数包括:1.对抗损失:使生成器和辨别器之间图像对抗损失,使得模型具有最佳的图像重建能力;2.生成器上下文相关损失:确保伪造图像与输入图像尽可能一致;3.判别器上下文相关损失:隐变量间的L1损失,保证隐变量的一致性。L1损失,也被称为最小绝对值偏差或最小绝对值误差,即是把目标值与估计值的绝对差值的总和最小化。
GAN在训练过程中,仅输入正常样本(包括正常缺陷图片、正常良品图片)。为使得生成器Generator拥有比仅提供正常样本更好的建模能力,定义残差分数来识别正常样本和异常样本,该残差分数被定义为代表要测试图像x和伪图像x'之间的L2距离(欧式距离),即两个图片的差异程度。总结来说,GAN网络具有很强的图像重建能力和训练测试稳定性。
S3,将滤除异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型。
具体地,利用双阶段目标检测模型RCNN系列如Fast R-CNN、Faster R-CNN等和单阶段目标检测模型YOLO、SSD系列进行目标检测,识别缺陷类别,并定位缺陷。
其中双阶段目标检测模型最小化两种误差损失函数,第一类是分类误差,判断网络如RPN(RegionProposal Network,区域生成网络)产生的候选框是前景还是背景;第二类是边框回归误差,判断产生候选框的位置坐标和实际标注边框坐标的误差。我们通过FPN(Feature Pyramid Networks,特征金字塔网络)结合Fast R-CNN和Faster R-CNN来优化检测结果。
单阶段目标检测模型舍去了候选框提取分支(Proposal阶段),直接将特征提取、候选框回归和分类在同一个无分支的卷积网络中完成,使得网络结构变得简单。引入FocalLoss(灶性损失)来减少类别不平衡对性能的损害。通过模型能够很好地检测背景的特点,减少目标检测损失并增强对目标类的训练。另外通过融合多尺度思想,增加不同尺度缺陷训练效果。
S4,根据异常分类、缺陷类别和位置,输出质检结果。
由此,通过简易版本目标检测模型进行图片标注增强,然后通过将生成对抗网络和目标检测网络手段结合的方法,即先通过异常检测网络(生成对抗网络)检测出异常样本(大缺陷图片和新型缺陷图片),对异常样本进行过滤后,将工业质检图片输入目标检测网络,对正常缺陷图片的缺陷进行定位和分类,使得目标检测网络可以进行针对性的缺陷识别,提高整体mAP(mean Average Precision,平均精度均值)值,减少过杀和漏检的情况发生,并且对于工业现场出现的极少数样本/缺陷的情况有更好的反应。并且由于生成对抗网络的特点,使得实际上线后,即使出现新型异常情况,也可以有很好的检测和预警,增强传统单个目标检测算法的鲁棒性。并且,本发明基于生成对抗思想构建GAN网络,并且借鉴U-Net网络的跳跃式连接思路,增强GAN网络模型对于不同尺度的异常的检测力度和检测精度。另外,通过双向Autoencoder,而非通过损失函数或者阈值来判断异常,进一步增强了模型的预测能力。
根据本发明的一个实施例,如图2所示,采用第一目标检测网络对工业质检图片进行图片标注增强前,还可以包括:S0,对工业质检图片进行切图和图像增强,图像增强包括:翻转、旋转、平移、颜色扰动。
具体地,根据实际需要可以先对图片和缺陷目标进行统计分析:包括目标类别,个数,大小,尺寸等信息,根据实际需要进行切图。为保证训练样本的多样性和丰富性,可以进行图片增强:图像翻转、旋转、平移、颜色扰动等操作,制作训练测试数据集,用于后续的分析评估。也可以对图片进行滤波、形态学处理等,以提高后续的模型表现。
综上所述,根据本发明实施例的工业质检方法,获取工业质检图片,并采用第一目标检测网络对工业质检图片进行图片标注质量检测和负难样本筛选,以将图片标注质量低于预设阈值的样本输出,并对负难样本进行增强,其中,第一目标检测网络包括单阶段目标检测模型将工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类,将滤除异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型,最后,根据异常分类和缺陷类别和位置,输出质检结果。由此,该方法通过将生成对抗网络和目标检测网络结合,对于工业现场出现的极少数样本或者重大缺陷的情况有更好的反应,并且由于生成对抗网络的特点,使得实际上线后,即使出现新型异常情况,也可以有很好的检测和预警,增强传统单个目标检测算法的鲁棒性。
与上述的工业质检方法相对应,本发明还提出一种工业质检装置。由于本发明的装置实施例与上述的方法实施例相对应,对于装置实施例中未披露的细节可参照上述的方法实施例,本发明中不再进行赘述。
图3是根据本发明一个实施例的工业质检装置的方框示意图。如图3所示,该装置包括:第一增强模块1、异常检测模块2、目标检测模块3、输出模块4。
其中,第一增强模块1用于获取工业质检图片,并采用第一目标检测网络对工业质检图片进行图片标注质量检测和负难样本筛选,以将图片标注质量低于预设阈值的样本输出,并对负难样本进行增强,其中,第一目标检测网络包括单阶段目标检测模型;异常检测模块2用于将工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类;目标检测模块3用于将滤除异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型;输出模块4用于根据异常分类和缺陷类别和位置,输出质检结果。
根据本发明的一个实施例,异常检测模块2具体用于:采用正常良品图片样本训练生成对抗网络,通过跳跃式连接的自编码器Autoencoder生成伪图像,根据测试图片和伪图像之间的差异程度识别异常样本。
根据本发明的一个实施例,还包括:第二增强模块,第二增强模块用于根据实际需要对工业质检图片进行切图和图像增强,图像增强包括:翻转、旋转、平移、颜色扰动。
根据本发明的一个实施例,单阶段目标检测模型包括:YOLO系列模型、SSD模型,双阶段目标检测模型包括:Faster R-CNN、Cascade R-CNN、HTC。
综上所述,根据本发明实施例的工业质检装置,通过第一增强模块获取工业质检图片,并采用第一目标检测网络对工业质检图片进行图片标注质量检测和负难样本筛选,以将图片标注质量低于预设阈值的样本输出,并对负难样本进行增强,异常检测模块将工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类,目标检测模块将滤除异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型,输出模块根据异常分类和缺陷类别和位置,输出质检结果。由此,该装置通过将生成对抗网络和目标检测网络结合,对于工业现场出现的极少数样本或者重大缺陷的情况有更好的反应,并且由于生成对抗网络的特点,使得实际上线后,即使出现新型异常情况,也可以有很好的检测和预警,增强传统单个目标检测算法的鲁棒性。
此外,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的工业质检方法。
根据本发明实施例的非临时性计算机可读存储介质,存储在其上的计算机程序被处理器执行时,获取工业质检图片,并采用第一目标检测网络进行图片标注质量检测和负难样本筛选,以将图片标注质量低于预设阈值的样本输出,并对负难样本进行增强,将工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类,将滤除异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型,最后,根据异常分类和缺陷类别和位置,输出质检结果,由此,通过将生成对抗网络和目标检测网络结合,对于工业现场出现的极少数样本或者重大缺陷的情况有更好的反应,并且由于生成对抗网络的特点,使得实际上线后,即使出现新型异常情况,也可以有很好的检测和预警,增强传统单个目标检测算法的鲁棒性。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体地限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体地示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种工业质检方法,其特征在于,包括以下步骤:
获取工业质检图片,并采用第一目标检测网络对所述工业质检图片进行图片标注质量检测和负难样本筛选,以将所述图片标注质量低于预设阈值的样本输出,并对所述负难样本进行增强,其中,所述第一目标检测网络包括单阶段目标检测模型;
将所述工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类;
将滤除所述异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,所述第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型;
根据所述异常分类、所述缺陷类别和位置,输出质检结果。
2.根据权利要求1所述的工业质检方法,其特征在于,采用正常良品图片样本训练所述生成对抗网络,通过跳跃式连接的自编码器Autoencoder生成伪图像,根据测试图片和所述伪图像之间的差异程度识别异常样本。
3.根据权利要求1所述的工业质检方法,其特征在于,采用第一目标检测网络对所述工业质检图片进行图片标注增强前,还包括:
对所述工业质检图片进行切图和图像增强,所述图像增强包括:翻转、旋转、平移、颜色扰动。
4.根据权利要求1所述的工业质检方法,其特征在于,所述单阶段目标检测模型包括:YOLO系列模型、SSD模型,所述双阶段目标检测模型包括:Faster R-CNN、Cascade R-CNN、HTC。
5.一种工业质检装置,其特征在于,包括:
第一增强模块,所述第一增强模块用于获取工业质检图片,并采用第一目标检测网络对所述工业质检图片进行图片标注质量检测和负难样本筛选,以将所述图片标注质量低于预设阈值的样本输出,并对所述负难样本进行增强,其中,所述第一目标检测网络包括单阶段目标检测模型;
异常检测模块,所述异常检测模块用于将所述工业质检图片输入生成对抗网络中,以识别异常样本并输出异常分类;
目标检测模块,所述目标检测模块用于将滤除所述异常样本后的工业质检图片输入第二目标检测网络中,以识别缺陷类别和位置,其中,所述第二目标检测网络包括单阶段目标检测模型或双阶段目标检测模型;
输出模块,所述输出模块用于根据所述异常分类、所述缺陷类别和位置,输出质检结果。
6.根据权利要求5所述的工业质检装置,其特征在于,所述异常检测模块具体用于:
采用正常良品图片样本训练所述生成对抗网络,通过跳跃式连接的自编码器Autoencoder生成伪图像,根据测试图片和所述伪图像之间的差异程度识别异常样本。
7.根据权利要求5所述的工业质检装置,其特征在于,还包括:第二增强模块,所述第二增强模块用于根据实际需要对所述工业质检图片进行切图和图像增强,所述图像增强包括:翻转、旋转、平移、颜色扰动。
8.根据权利要求5所述的工业质检装置,其特征在于,所述单阶段目标检测模型包括:YOLO系列模型、SSD模型,所述双阶段目标检测模型包括:Faster R-CNN、Cascade R-CNN、HTC。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现根据权利要求1-4中任一项所述的工业质检方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110180098.3A CN112528975A (zh) | 2021-02-08 | 2021-02-08 | 工业质检方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110180098.3A CN112528975A (zh) | 2021-02-08 | 2021-02-08 | 工业质检方法、装置和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112528975A true CN112528975A (zh) | 2021-03-19 |
Family
ID=74975717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110180098.3A Pending CN112528975A (zh) | 2021-02-08 | 2021-02-08 | 工业质检方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112528975A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112700446A (zh) * | 2021-03-23 | 2021-04-23 | 常州微亿智造科技有限公司 | 用于工业质检的算法模型训练方法和装置 |
CN113065618A (zh) * | 2021-06-03 | 2021-07-02 | 常州微亿智造科技有限公司 | 工业质检中的检测方法、检测装置 |
CN113570549A (zh) * | 2021-06-30 | 2021-10-29 | 青岛海尔科技有限公司 | 反光表面的缺陷检测方法及装置 |
CN113793333A (zh) * | 2021-11-15 | 2021-12-14 | 常州微亿智造科技有限公司 | 应用于工业质检的缺陷图片生成方法及装置 |
CN114092474A (zh) * | 2022-01-19 | 2022-02-25 | 深圳市杰美特科技股份有限公司 | 一种手机外壳复杂纹理背景的加工缺陷检测方法及系统 |
CN114943684A (zh) * | 2022-04-15 | 2022-08-26 | 上海波士内智能科技有限公司 | 一种利用对抗生成自编码神经网络的曲面异常检测方法 |
CN115526874A (zh) * | 2022-10-08 | 2022-12-27 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器控制杆圆销和圆销开口销丢失检测方法 |
CN117011289A (zh) * | 2023-09-27 | 2023-11-07 | 广州中浩控制技术有限公司 | 用于软胶囊生产的质量检验、系统、介质及计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108038843A (zh) * | 2017-11-29 | 2018-05-15 | 英特尔产品(成都)有限公司 | 一种用于缺陷检测的方法、装置和设备 |
CN109584221A (zh) * | 2018-11-16 | 2019-04-05 | 聚时科技(上海)有限公司 | 一种基于监督式生成对抗网络的异常图像检测方法 |
CN110211114A (zh) * | 2019-06-03 | 2019-09-06 | 浙江大学 | 一种基于深度学习的装箱缺条视觉检测方法 |
US20200134804A1 (en) * | 2018-10-26 | 2020-04-30 | Nec Laboratories America, Inc. | Fully convolutional transformer based generative adversarial networks |
CN111159167A (zh) * | 2019-12-30 | 2020-05-15 | 上海依图网络科技有限公司 | 标注质量检测装置和方法 |
CN111798419A (zh) * | 2020-06-27 | 2020-10-20 | 上海工程技术大学 | 一种金属喷漆表面缺陷检测方法 |
-
2021
- 2021-02-08 CN CN202110180098.3A patent/CN112528975A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108038843A (zh) * | 2017-11-29 | 2018-05-15 | 英特尔产品(成都)有限公司 | 一种用于缺陷检测的方法、装置和设备 |
US20200134804A1 (en) * | 2018-10-26 | 2020-04-30 | Nec Laboratories America, Inc. | Fully convolutional transformer based generative adversarial networks |
CN109584221A (zh) * | 2018-11-16 | 2019-04-05 | 聚时科技(上海)有限公司 | 一种基于监督式生成对抗网络的异常图像检测方法 |
CN110211114A (zh) * | 2019-06-03 | 2019-09-06 | 浙江大学 | 一种基于深度学习的装箱缺条视觉检测方法 |
CN111159167A (zh) * | 2019-12-30 | 2020-05-15 | 上海依图网络科技有限公司 | 标注质量检测装置和方法 |
CN111798419A (zh) * | 2020-06-27 | 2020-10-20 | 上海工程技术大学 | 一种金属喷漆表面缺陷检测方法 |
Non-Patent Citations (1)
Title |
---|
SABOKROU MOHAMMAD等: "《Adversarially Learned One-Class Classifier for Novelty Detection》", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112700446A (zh) * | 2021-03-23 | 2021-04-23 | 常州微亿智造科技有限公司 | 用于工业质检的算法模型训练方法和装置 |
CN113065618A (zh) * | 2021-06-03 | 2021-07-02 | 常州微亿智造科技有限公司 | 工业质检中的检测方法、检测装置 |
CN113570549A (zh) * | 2021-06-30 | 2021-10-29 | 青岛海尔科技有限公司 | 反光表面的缺陷检测方法及装置 |
CN113793333A (zh) * | 2021-11-15 | 2021-12-14 | 常州微亿智造科技有限公司 | 应用于工业质检的缺陷图片生成方法及装置 |
US11783474B1 (en) | 2021-11-15 | 2023-10-10 | Changzhou Microintelligence Co., Ltd. | Defective picture generation method and apparatus applied to industrial quality inspection |
CN114092474A (zh) * | 2022-01-19 | 2022-02-25 | 深圳市杰美特科技股份有限公司 | 一种手机外壳复杂纹理背景的加工缺陷检测方法及系统 |
CN114092474B (zh) * | 2022-01-19 | 2022-05-13 | 深圳市杰美特科技股份有限公司 | 一种手机外壳复杂纹理背景的加工缺陷检测方法及系统 |
CN114943684A (zh) * | 2022-04-15 | 2022-08-26 | 上海波士内智能科技有限公司 | 一种利用对抗生成自编码神经网络的曲面异常检测方法 |
CN115526874A (zh) * | 2022-10-08 | 2022-12-27 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器控制杆圆销和圆销开口销丢失检测方法 |
CN115526874B (zh) * | 2022-10-08 | 2023-05-12 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器控制杆圆销和圆销开口销丢失检测方法 |
CN117011289A (zh) * | 2023-09-27 | 2023-11-07 | 广州中浩控制技术有限公司 | 用于软胶囊生产的质量检验、系统、介质及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528975A (zh) | 工业质检方法、装置和计算机可读存储介质 | |
US10885618B2 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
EP3502966B1 (en) | Data generation apparatus, data generation method, and data generation program | |
US10818000B2 (en) | Iterative defect filtering process | |
US9607233B2 (en) | Classifier readiness and maintenance in automatic defect classification | |
KR102137184B1 (ko) | 자동 및 수동 결함 분류의 통합 | |
KR102110755B1 (ko) | 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화 | |
US6941009B2 (en) | Method for evaluating pattern defects on a water surface | |
CN114155181B (zh) | 检查方案的自动优化 | |
CN104965787B (zh) | 一种基于三支决策的两阶段软件缺陷预测方法 | |
KR20220156769A (ko) | 생산 과정을 통하여 생산되는 제품을 분류하는 방법 및 시스템 | |
JP2011158373A (ja) | 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置 | |
KR20220012217A (ko) | 반도체 시편에서의 결함들의 기계 학습 기반 분류 | |
CN112184667A (zh) | 缺陷检测、修复方法、装置以及存储介质 | |
CN108288020A (zh) | 基于上下文信息的视频遮挡检测系统及方法 | |
KR20210105335A (ko) | 반도체 시편에서의 결함들의 분류 | |
CN116542984A (zh) | 五金件缺陷检测方法、装置、计算机设备及存储介质 | |
CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
CN114387230A (zh) | 一种基于重验证检测的pcb板缺陷检测方法 | |
CN115552462A (zh) | 显微镜中的图像分析方法 | |
EP3696771A1 (en) | System for processing an input instance, method, and medium | |
JP7120528B2 (ja) | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 | |
CN117313899B (zh) | 用于数据处理的方法、设备和介质 | |
CN117313900B (zh) | 用于数据处理的方法、设备和介质 | |
CN118096747B (zh) | 基于深度学习的pcba板自动检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210319 |