CN108682003B - 一种产品质量检测方法 - Google Patents

一种产品质量检测方法 Download PDF

Info

Publication number
CN108682003B
CN108682003B CN201810301604.8A CN201810301604A CN108682003B CN 108682003 B CN108682003 B CN 108682003B CN 201810301604 A CN201810301604 A CN 201810301604A CN 108682003 B CN108682003 B CN 108682003B
Authority
CN
China
Prior art keywords
product
sample
training
classifier
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810301604.8A
Other languages
English (en)
Other versions
CN108682003A (zh
Inventor
刘鹏
刘晨曦
吴琦
肖潇
龚纯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vismarty Xiamen Technology Co ltd
Original Assignee
Vismarty Xiamen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vismarty Xiamen Technology Co ltd filed Critical Vismarty Xiamen Technology Co ltd
Priority to CN201810301604.8A priority Critical patent/CN108682003B/zh
Publication of CN108682003A publication Critical patent/CN108682003A/zh
Application granted granted Critical
Publication of CN108682003B publication Critical patent/CN108682003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种产品质量检测方法，包含两个部分的内容，第一部分是构建识别器，第二部分是采用识别器对待测产品的质量进行检测，所述识别器包括：判断待测对象是否符合检测类别的产品的二分类器，判断产品在图片中位置的产品检测器，以及判断产品为良品或次品的多分类器。此种方法可检测产品是良品或次品，具有快速性、可扩展性和高灵活性的特点。

Description

一种产品质量检测方法
技术领域
本发明涉及一种产品质量检测方法，特别涉及一种基于少量样本的可扩展的器件良品、多次品(缺陷、污点、是否器件)的识别方法。
背景技术
在工业领域，对于良品和次品的识别需要日益扩大，次品主要有色差、缺陷、变形等，举个生活中简单的例子，平常使用的餐巾纸如果存在污点、残缺，相对残缺，污点可能会使人更加反感，还有螺丝存在缺陷很容易造成事故，以上的问题都是严重影响企业发展的重大问题。
目前存在的方法比较单一，主要处理单个任务，一种方法只能做一个任务，例如仅仅做污点检测、亦或者只能做缺陷检测，并且使用的方法也都比较传统，可扩展性和灵活性很差，有待改进。
发明内容
本发明的目的，在于提供一种产品质量检测方法，其可检测产品良品和次品，具有快速性、可扩展性和高灵活性的特点。
为了达成上述目的，本发明的解决方案是：
一种产品质量检测方法，包含两个部分的内容，第一部分是构建识别器，第二部分是采用识别器对待测产品的质量进行检测，所述识别器包括：判断待测对象是否符合检测类别的产品的二分类器，判断产品在图片中位置的产品检测器，以及判断产品为良品或次品的多分类器。
上述第一部分包含如下步骤：
步骤1，准备若干包含产品的图片作为产品样本，准备若干包含非产品的图片作为非产品样本，并对各样本进行标定，对于产品样本还需要标定其在图片中的位置和类别信息；
步骤2，利用产品样本和非产品样本，采用迁移学习方法训练二分类器，以确认是否要检测的产品；
步骤3，利用标定产品在图片中的位置信息训练产品检测器；
步骤4，使用前述步骤3训练好的产品检测器，从图片中抠取产品，采用Inception_V4进行迁移学习，训练得到多分类器。
上述步骤1的具体内容是：
首先，准备样本集，包含产品样本和非产品样本，并按照一定比例将样本集分为训练样本和测试样本；
然后，根据实际情况对各样本进行标定；将各样本分别标定产品样本或非产品样本；对产品样本，标定产品在图片中的位置，并标定产品为良品或次品。
上述步骤2的具体内容是：将标定好的所有产品样本和非产品样本，使用迁移学习方法，采用Inception_V4网络训练二分类器，具体是采用Inception_V4预训练好的模型，去除全连接层，自行搭架训练二分类器需要的全连接层，训练过程只更新最后搭架的全连接层参数，Inception_V4网络参数不更新。
上述步骤3的具体内容是：将标定有图片中的位置的产品样本，使用faster-rcnn网络，使用迁移学习的方法训练产品检测器；网络采用RPN结构，并加入回归框，整个网络的损失函数为：
Figure BDA0001619930550000021
上述公式中，i表示anchors index，pi表示foreground softmax predict概率，
Figure BDA0001619930550000022
代表对应的GT predict概率，即当第i个anchor与GT间IoU>0.7，认为该anchor是foreground，
Figure BDA0001619930550000023
反之当IoU<0.3时，认为该anchor是background，
Figure BDA0001619930550000024
0.3<IoU<0.7的anchor则不参与训练；ti代表predict bounding box，
Figure BDA0001619930550000025
代表对应foreground anchor对应的GT box。
上述步骤4中，还包括人工选出抠取错误的不参加训练。
上述第二部分包含如下步骤：针对包含有待测对象的图片，首先采用二分类器判断是否要检测的产品，如果是，则表示该待测对象符合要识别的产品类别，然后再使用产品检测器检测其在图片中的位置，并将其从图片中抠出，作为多分类器的输入，输出结果就是最终的良品次品判定结果。
采用上述方案后，本发明只需要人工标定少量数据，用于训练模型，训练模型开始不需要人工干预，具有很高的实用性，并且可扩展，高灵活。
附图说明
图1是本发明的流程图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
如图1所示，本发明提供一种产品质量检测方法，包含两个部分的内容，第一部分是构建识别器，第二部分是采用识别器对待测产品的质量进行检测，这里的识别器包括：判断待测对象是否符合检测类别的产品的二分类器，判断产品在图片中位置的产品检测器，以及判断产品质量的多分类器；其中，第一部分主要包含如下步骤：
步骤1，准备若干包含产品的图片作为产品样本，准备若干包含非产品的图片作为非产品样本，并对各样本进行标定，对于产品样本还需要标定其在图片中的位置和类别信息；
首先，准备样本集，包含产品样本和非产品样本，并将其中的90％作为训练样本，将剩余的10％作为测试样本；
然后，根据实际情况对前述各样本进行标定；(1)训练是否产品的二分类器需要标定产品样本和非产品样本(可按照如下规则进行标定：产品样本：0，非产品样本：1)；(2)训练产品位置的产品检测器需要标定产品在样本中的位置；(3)训练良品、次品的多分类器需要标定产品样本为良品或次品(如存在污点、缺陷等)。
步骤2，利用产品样本和非产品样本，采用迁移学习方法训练二分类器，以确认是否要检测的产品；
将前述标定好的用于二分类器训练的数据，使用迁移学习方法，采用Inception_V4网络，训练是否产品二分类器，实现细节：采用Inception_V4预训练好的模型，去除全连接层，自行搭建训练二分类器需要的全连接层，训练过程只更新最后搭架的全连接层参数，Inception_V4网络参数不更新。
步骤3，利用标定产品在图片中的位置信息训练产品检测器；
将前述标定好的用于产品检测器训练的数据，使用faster-rcnn网络，使用迁移学习的方法，进行训练；网络主要采用RPN结构，另外加入了回归框，整个网络的损失函数为：
Figure BDA0001619930550000041
上述公式中，i表示anchors index(锚索引)，pi表示foreground softmaxpredict概率(前景的概率)，
Figure BDA0001619930550000042
代表对应的GT predict概率(真实位置的概率)(即当第i个anchor(锚)与GT(真实位置)间IoU(两个框的交集与并集的比率)>0.7，认为该anchor是foreground(前景)，
Figure BDA0001619930550000043
反之当IoU<0.3时，认为该anchor是background(背景)，
Figure BDA0001619930550000044
至于那些0.3<IoU<0.7的anchor则不参与训练)；ti代表predict bounding box(预测框)，
Figure BDA0001619930550000045
代表foreground anchor对应的GT box(真实框位置)；Ncls表示前景背景的数量，Nreg表示回归框数量，Lcls表示分类前景背景的损失函数，Lreg表示预测回归框的损失函数。可以看到，整个Loss分为2部分：
cls loss，即rpn_cls_loss层计算的softmax loss，用于分类anchors为forground与background的网络训练。
reg loss，即rpn_loss_bbox层计算的smoothL1loss，用于boundingboxregression网络训练。注意在该loss中乘了pi，相当于只关心foreground anchors的回归(其实在回归中也完全没必要去关心background)。
由于在实际过程中，Ncls和Nreg差距过大，用参数λ平衡二者(如Ncls＝256，Nreg＝2400时设置λ＝10)，使总的网络Loss计算过程中能够均匀考虑2种Loss。这里比较重要是Lreg使用的soomth L1loss，计算公式如下：
Figure BDA0001619930550000046
Figure BDA0001619930550000047
步骤4，使用前述步骤3训练好的产品检测器，从图片中抠取产品，人工选出抠取错误的不参加训练，采用Inception_V4进行迁移学习，训练得到良品、次品的多分类器。
第二部分主要包括如下内容：针对包含有待测对象的图片，首先采用二分类器判断是否要检测的产品，如果是，则表示该待测对象符合要识别的产品类别，然后再使用训练好的产品检测器检测其在图片中的位置，并将其从图片中抠出，作为多分类器的输入，输出结果就是最终的良品次品判定结果。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种产品质量检测方法，其特征在于：包含两个部分的内容，第一部分是构建识别器，第二部分是采用识别器对待测产品的质量进行检测，所述识别器包括：判断待测对象是否符合检测类别的产品的二分类器，判断产品在图片中位置的产品检测器，以及判断产品为良品或次品的多分类器；
所述第一部分包含如下步骤：
步骤1，准备若干包含产品的图片作为产品样本，准备若干包含非产品的图片作为非产品样本，并对各样本进行标定，对于产品样本还需要标定其在图片中的位置和类别信息；
步骤2，利用产品样本和非产品样本，采用迁移学习方法训练二分类器，以确认是否要检测的产品；
步骤3，利用标定产品在图片中的位置信息训练产品检测器；
步骤4，使用前述步骤3训练好的产品检测器，从图片中抠取产品，采用Inception_V4进行迁移学习，训练得到多分类器；
所述步骤1的具体内容是：
首先，准备样本集，包含产品样本和非产品样本，并按照一定比例将样本集分为训练样本和测试样本；
然后，根据实际情况对各样本进行标定；将各样本分别标定产品样本或非产品样本；对产品样本，标定产品在图片中的位置，并标定产品为良品或次品；
所述步骤2的具体内容是：将标定好的所有产品样本和非产品样本，使用迁移学习方法，采用Inception_V4网络训练二分类器，具体是采用Inception_V4预训练好的模型，去除全连接层，自行搭架训练二分类器需要的全连接层，训练过程只更新最后搭架的全连接层参数，Inception_V4网络参数不更新。
2.如权利要求1所述的一种产品质量检测方法，其特征在于：所述步骤3的具体内容是：将标定有图片中的位置的产品样本，使用faster-rcnn网络，使用迁移学习的方法训练产品检测器；网络采用RPN结构，并加入回归框，整个网络的损失函数为：
Figure FDA0003213464060000011
上述公式中，i表示锚索引，pi表示前景概率，
Figure FDA0003213464060000021
代表对应的真实位置的概率，即当第i个锚与真实位置间两个框的交集与并集的比率>0.7，认为该锚是前景，
Figure FDA0003213464060000022
反之当两个框的交集与并集的比率<0.3时，认为该锚是背景，
Figure FDA0003213464060000023
0.3<两个框的交集与并集的比率<0.7的锚则不参与训练；ti代表预测框，
Figure FDA0003213464060000024
代表前景锚对应的真实框位置。
3.如权利要求2所述的一种产品质量检测方法，其特征在于：所述步骤4中，还包括人工选出抠取错误的不参加训练。
4.如权利要求1所述的一种产品质量检测方法，其特征在于：所述第二部分包含如下步骤：针对包含有待测对象的图片，首先采用二分类器判断是否要检测的产品，如果是，则表示该待测对象符合要识别的产品类别，然后再使用产品检测器检测其在图片中的位置，并将其从图片中抠出，作为多分类器的输入，输出结果就是最终的良品次品判定结果。
CN201810301604.8A 2018-04-04 2018-04-04 一种产品质量检测方法 Active CN108682003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810301604.8A CN108682003B (zh) 2018-04-04 2018-04-04 一种产品质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810301604.8A CN108682003B (zh) 2018-04-04 2018-04-04 一种产品质量检测方法

Publications (2)

Publication Number Publication Date
CN108682003A CN108682003A (zh) 2018-10-19
CN108682003B true CN108682003B (zh) 2021-10-08

Family

ID=63800812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810301604.8A Active CN108682003B (zh) 2018-04-04 2018-04-04 一种产品质量检测方法

Country Status (1)

Country Link
CN (1) CN108682003B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242924A (zh) * 2020-01-13 2020-06-05 浙江水利水电学院 一种产品质量管理系统
CN111753877B (zh) * 2020-05-19 2024-03-05 海克斯康制造智能技术(青岛)有限公司 一种基于深度神经网络迁移学习的产品质量检测方法
CN112132456A (zh) * 2020-09-22 2020-12-25 珠海大横琴科技发展有限公司 一种质量检测方法、装置及电子设备
CN112669292B (zh) * 2020-12-31 2022-09-30 上海工程技术大学 一种实现飞机蒙皮喷漆表面缺陷检测与分类的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368845A (zh) * 2017-06-15 2017-11-21 华南理工大学 一种基于优化候选区域的Faster R‑CNN目标检测方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498448B2 (en) * 2011-07-15 2013-07-30 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
CN104616031B (zh) * 2015-01-22 2018-06-12 哈尔滨工业大学深圳研究生院 迁移学习方法及装置
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10452899B2 (en) * 2016-08-31 2019-10-22 Siemens Healthcare Gmbh Unsupervised deep representation learning for fine-grained body part recognition
CN106780448B (zh) * 2016-12-05 2018-07-17 清华大学 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类系统
CN107145845A (zh) * 2017-04-26 2017-09-08 中山大学 基于深度学习及多特征点融合的行人检测方法
CN107274394A (zh) * 2017-06-13 2017-10-20 广州启煌科技有限公司 一种基于滤布缺陷破损检测方法、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368845A (zh) * 2017-06-15 2017-11-21 华南理工大学 一种基于优化候选区域的Faster R‑CNN目标检测方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法

Also Published As

Publication number Publication date
CN108682003A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108682003B (zh) 一种产品质量检测方法
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
CN108090902A (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111598843A (zh) 基于深度学习的电力变压器呼吸器目标缺陷检测方法
CN109858428B (zh) 基于机器学习和深度学习的ana荧光片自动识别方法
CN107194908A (zh) 图像处理装置以及图像处理方法
CN110415214A (zh) 摄像头模组的外观检测方法、装置、电子设备及存储介质
WO2023160666A1 (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN111815573B (zh) 一种基于深度学习的接箍外壁检测方法及系统
CN114841920A (zh) 基于图像处理的火焰识别方法、装置及电子设备
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN117132564A (zh) 基于YOLOv3的蓝宝石衬底表面缺陷检测方法及系统
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN110595401A (zh) 一种使用X-ray射线检测电池四角的检测方法
CN115240031A (zh) 一种基于生成对抗网络的板材表面缺陷生成方法及系统
CN115908344A (zh) 一种基于MLCT-YOLO的Micro LED芯片缺陷检测方法
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法
CN115222691A (zh) 图像缺陷检测方法、系统及相关装置
CN114692887A (zh) 半监督学习系统及半监督学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant