CN113538427B - 产品缺陷识别方法、装置、设备及可读存储介质 - Google Patents

产品缺陷识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113538427B
CN113538427B CN202111083492.1A CN202111083492A CN113538427B CN 113538427 B CN113538427 B CN 113538427B CN 202111083492 A CN202111083492 A CN 202111083492A CN 113538427 B CN113538427 B CN 113538427B
Authority
CN
China
Prior art keywords
product
defect
picture
detected
defect identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083492.1A
Other languages
English (en)
Other versions
CN113538427A (zh
Inventor
李勇军
朱琦
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202111083492.1A priority Critical patent/CN113538427B/zh
Publication of CN113538427A publication Critical patent/CN113538427A/zh
Application granted granted Critical
Publication of CN113538427B publication Critical patent/CN113538427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种产品缺陷识别方法、装置、设备及可读存储介质,该方法包括步骤:获取待测产品的待测图片,并获取所述待测图片对应的样本图片;基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到。本申请使得待测图片进行缺陷识别所得到的缺陷识别结果更为准确,降低了识别产品的缺陷时的误差。

Description

产品缺陷识别方法、装置、设备及可读存储介质
技术领域
本申请涉及深度学习技术领域,尤其涉及一种产品缺陷识别方法、装置、设备及可读存储介质。
背景技术
目前,在对产品进行X光无损探伤时,在通过X光拍摄到的图片后,可以通过相应的检测算法自动从图片中识别到产品的缺陷,从而实现智能识别缺陷的目的。
然而,上述图片在输入检测算法时,产品的摆放角度各异,导致检测算法在自动识别缺陷时,受产品摆放角度的影响,使得识别产品的缺陷时误差较大。
发明内容
本申请的主要目的在于提供一种产品缺陷识别方法、装置、设备及可读存储介质,旨在解决现有的如何降低识别产品的缺陷时的误差的技术问题。
为实现上述目的,本申请提供一种产品缺陷识别方法,所述产品缺陷识别方法包括步骤:
获取待测产品的待测图片,并获取所述待测图片对应的样本图片;
基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;
获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到。
可选地,所述基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片,包括:
确定所述样本图片中的样本产品的对中数据为图片匹配模板;
基于所述图片匹配模板匹配所述待测图片,得到对中参数;
基于所述对中参数,调整所述待测图片,得到处理后待测图片,以使所述待测产品的摆放位置和角度与所述样本产品的摆放位置和角度相同。
可选地,所述获取产品缺陷识别模型之前,包括:
调整所述处理后待测图片的图片参数至预设图片参数。
可选地,所述获取产品缺陷识别模型之前,包括:
获取预设缺陷训练数据集和待训练产品缺陷识别模型;
基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练,得到更新后的待训练产品缺陷识别模型,并确定所述更新后的待训练产品缺陷识别模型是否满足预设迭代结束条件;
若所述更新后的待训练产品缺陷识别模型满足所述预设迭代结束条件,则将所述更新后的待训练产品缺陷识别模型作为所述产品缺陷识别模型;
若所述更新后的待训练产品缺陷识别模型未满足所述迭代结束条件,则返回基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练步骤,直至所述更新后的待训练产品缺陷识别模型满足所述迭代结束条件。
可选地,所述获取所述待测图片对应的样本图片,包括:
获取图片名与所述待测图片的图片名相对应的样本图片。
可选地,所述输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果之后,包括:
记录所述产品缺陷识别结果对应的一个或多个缺陷;
确定各所述缺陷的发生频次;
若存在一缺陷的发生频次大于预设发生频次且所述缺陷满足预设缺陷要求,则确定所述缺陷为非产品缺陷。
可选地,所述确定各所述缺陷的发生频次之后,还包括:
基于预设映射关系,确定所述缺陷的缺陷发生原因;
输出所述缺陷发生原因对应的提示信息,以供相关人员基于所述提示信息处理所述缺陷。
此外,为实现上述目的,本申请还提供一种产品缺陷识别装置,所述产品缺陷识别装置包括:
第一获取模块,用于获取待测图片,并获取所述待测图片对应的样本图片;
对中模块,用于基于所述样本图片的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;
第二获取模块,用于获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到。
此外,为实现上述目的,本申请还提供一种产品缺陷识别设备,所述产品缺陷识别设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的产品缺陷识别程序,所述产品缺陷识别程序被所述处理器执行时实现如上所述的产品缺陷识别方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有产品缺陷识别程序,所述产品缺陷识别程序被处理器执行时实现如上所述的产品缺陷识别方法的步骤。
与现有技术中,识别产品的缺陷时,图片中的产品摆放角度各异,导致识别产品的缺陷时误差较大相比,本申请通过获取待测产品的待测图片,并获取所述待测图片对应的样本图片;基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到。本申请的待测图片在输入产品缺陷识别模型之前,均经过与样本产品的对中数据进行对中处理,即待测图片中的待测产品的摆放角度一致,使得待测图片进行缺陷识别所得到的缺陷识别结果更为准确,降低了识别产品的缺陷时的误差。
附图说明
图1是本申请产品缺陷识别方法第一实施例的流程示意图;
图2是本申请实施例方案涉及的硬件运行环境的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供一种产品缺陷识别方法,参照图1,图1为本申请产品缺陷识别方法第一实施例的流程示意图。
本申请实施例提供了产品缺陷识别方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。产品缺陷识别方法可应用于终端或服务器中。为了便于描述,以下省略执行主体描述产品缺陷识别方法的各个步骤。产品缺陷识别方法包括:
步骤S10,获取待测产品的待测图片,并获取所述待测图片对应的样本图片。
在本实施例中,待测图片通过控制X光机对待测产品进行拍照后得到。具体地,待测产品为产线上的产品,即缺陷识别的目的为确定待测产品是良品还是废品,在拍照过程中,受产品大小的影响,一个产品可能需要拍摄一张或多张待测图片,才能够通过待测图片完全确定待测产品中的缺陷,其中,各待测图片对应产品的各部位。例如待测产品为轮毂,在识别轮毂的各轮辐中的缺陷时,由于轮毂较大,需要对各轮辐进行多次拍照(例如每个轮辐均拍摄一张待测图片),从而通过多张待测图片来对待测产品进行缺陷识别。
需要说明的是,待测图片对应的样本图片需要在进行缺陷识别之前生成,待测图片与样本图片的对应关系为两者属于相同型号产品的相同部位,样本图片可以从样本图库中获取,样本图库可以通过X光机对产线上所有可能生产的不同型号的产品的不同部位得到,具体地,对不同部位进行拍摄后进行分类汇总得到。
需要说明的是,X光机在对待测产品进行拍照的过程中,其能够拍摄待测产品内部以实现对待测产品内部的缺陷的识别的基础为,X光机发出的X光能够穿透待测产品,其穿透能力随穿透距离的增大而减弱,因此,对于承载待测产品的托盘以及放置托盘的平板,X光机同样能够将之拍摄至待测图片中。因此,为避免待测图片中存在平板使得缺陷识别结果不准确(将平板的缺陷当做待测产品的缺陷),需要采用边缘检测的技术对检测区域进行分割,即框选出待测产品区域,并将待测产品区域所在的图片作为待测图片,可以理解,非待测产品区域为平板所在的图片。
进一步地,所述获取所述待测图片对应的样本图片,包括:
步骤a,获取图片名与所述待测图片的图片名相对应的样本图片。
在本实施例中,样本图片和待测图片通过图片名建立对应关系,具体地,图片名中至少包括产品的型号和产品的部位,即在获取到待测图片后,通过待测图片的图片名中的产品的型号和产品的部位,来获取图片名中具有相同产品的型号和产品的部位的样本图片,此外,图片名中还可以包括生产日期、生产批次等信息。
步骤S20,基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片。
在本实施例中,通过OpenCV(模板匹配算法)来实现待测图片的对中处理,其中,OpenCV的原理为在一幅图像中寻找与另一幅模板图像最匹配部分的技术。
具体地,所述基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片,包括:
步骤b,确定所述样本图片中的样本产品的对中数据为图片匹配模板;
步骤c,基于所述图片匹配模板匹配所述待测图片,得到对中参数;
步骤d,基于所述对中参数,调整所述待测图片,得到处理后待测图片,以使所述待测产品的摆放位置和角度与所述样本产品的摆放位置和角度相同。
在本实施例中,样本图片中存在样本产品,样本产品的对中数据为图片匹配模板,通过该图片匹配模板可以匹配到待测图片中的待测产品,得到对中参数,其中,对中参数用于调整待测图片中待测样品的摆放位置和角度,得到处理后待测图片,即在通过OpenCV进行匹配的过程中,还会确定待测产品对应的区域坐标数据(待测产品在待测图片中的坐标数据)与样本产品的样本对中数据(样本产品在样本图片中的坐标数据)之间的差别,并确定使区域坐标数据和样本对中数据一致的对中方案,从而根据对中方案对待测图片进行调整处理,得到处理后待测图片。其中,对中方案涉及移动待测图片(改变待测图片在预设坐标系(样本产品所在坐标系)中的横轴坐标和纵轴坐标)和旋转待测图片。其中,区域坐标数据和样本对中数据是否一致,可通过区域坐标数据的对角坐标数据和样本对中数据的对角坐标数据确定,例如区域坐标数据的左上角的坐标数据和右下角的坐标数据,分别与样本对中数据的左上角的坐标数据和右下角的坐标数据相同。
需要说明的是,上述调整过程通过旋转矩阵实现,具体地,生成对中数据对应的旋转矩阵,之后通过该旋转矩阵对区域坐标数据进行对中处理,
需要说明的是,对于后续用于识别待测图片中待测产品的缺陷的深度学习模型,该深度学习模型的预设缺陷训练数据集为样本图片,因此,输入的处理后待测图片基于样本产品的对中数据进行对中后,能够减少缺陷识别的误差,提高深度学习模型进行缺陷识别的准确性,进而提高了待测产品的出厂合格率。
进一步地,深度学习模块为产品缺陷识别模型,通过产品缺陷识别模型对处理后待测图片进行缺陷识别的过程为:
步骤S30,获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到。
在本实施例中,产品缺陷识别结果包括缺陷在处理后待测图片中的位置、缺陷大小以及缺陷的种类等。需要说明的是,不同的缺陷位置会影响待测产品是否为良品的判断结果,例如对于缺陷a,其在待测产品的位置A时,确定该待测产品为良品,其在待测产品的位置B时,则确定该待测产品为废品;同样地,对于缺陷b,其在待测产品的大小小于或等于预设大小时,确定该待测产品为良品,其在待测产品的大小大于预设大小时,确定该待测产品为废品,其中,预设大小可以根据具体需要设置,本实施例中不作具体限定。
此外,产品缺陷识别结果可以通过不同颜色的按钮进行输出,例如待测产品不存在缺陷时,按钮为绿色;待测产品有缺陷但为良品时,按钮为黄色;待测产品为废品时,按钮为红色。
此外,对于上述按钮,在接收到相应按钮的触发操作对应的触发指令时,显示待测图片中缺陷的缺陷位置、形状和大小等信息,以方便相关人员的查看。
进一步地,所述获取产品缺陷识别模型之前,包括:
步骤e,调整所述处理后待测图片的图片参数至预设图片参数。
在本实施例中,为降低处理后待测图片的图片参数对产品缺陷识别结果产生的影响,需要对图片参数进行调整,具体地,对于每张处理后待测图片,均调整图片参数至预设图片参数,即保持每张处理后待测图片的图片参数为相同数值,其中,预设图片参数可根据需要设置,本实施例不作具体限定。其中,图片参数包括图片亮度和图片对比度等。
进一步地,所述获取产品缺陷识别模型之前,包括:
步骤e,获取预设缺陷训练数据集和待训练产品缺陷识别模型。
在本实施例中,获取预设缺陷训练数据集和待训练产品缺陷识别模型,也就是未训练好的模型,具体地,待训练产品缺陷识别模型可通过分类算法构建,常见的分类算法包括:逻辑回归、决策树、随机森林、梯度提升树、多层感知机、线性SVM(support vectormachines,支持向量机)和朴素贝叶斯等。
步骤f,基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练,得到更新后的待训练产品缺陷识别模型,并确定所述更新后的待训练产品缺陷识别模型是否满足预设迭代结束条件;
步骤g,若所述更新后的待训练产品缺陷识别模型满足所述预设迭代结束条件,则将所述更新后的待训练产品缺陷识别模型作为所述产品缺陷识别模型;
步骤h,若所述更新后的待训练产品缺陷识别模型未满足所述迭代结束条件,则返回基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练步骤,直至所述更新后的待训练产品缺陷识别模型满足所述迭代结束条件。
在本实施例中,基于预设缺陷训练数据集对待训练产品缺陷识别模型进行迭代训练,得到更新后的待训练产品缺陷识别模型,并确定更新后的待训练产品缺陷识别模型是否满足预设迭代结束条件;若更新后的待训练产品缺陷识别模型满足预设迭代结束条件,则将更新后的待训练产品缺陷识别模型作为产品缺陷识别模型;若更新后的待训练产品缺陷识别模型未满足迭代结束条件,则继续对更新后的待训练产品缺陷识别模型进行迭代训练更新,直至更新后的待训练产品缺陷识别模型满足迭代结束条件。
具体地,通过样本图库中的样本图片对待训练产品缺陷识别模型进行迭代训练,以得到更新后的待训练产品缺陷识别模型。每次得到更新后的待训练产品缺陷识别模型之后,都确定该更新后的待训练产品缺陷识别模型是否满足预设迭代结束条件,若更新后的待训练产品缺陷识别模型满足预设迭代结束条件,则迭代结束,并将最后一个更新后的待训练产品缺陷识别模型作为产品缺陷识别模型;若更新后的待训练产品缺陷识别模型未满足迭代结束条件,则说明更新后的待训练产品缺陷识别模型还不满足使用条件,并继续对更新后的待训练产品缺陷识别模型进行迭代训练更新,直至更新后的待训练产品缺陷识别模型满足迭代结束条件为止。
需要说明的是,迭代训练为多次通过样本图片对待训练产品缺陷识别模型进行训练的过程,一般地,由待训练产品缺陷识别模型得到产品缺陷识别模型都需要经过多轮的训练更新。需要说明的是,预设迭代结束条件为输入待训练产品缺陷识别模型或更新后的待训练产品缺陷识别模型为模型预测准确率达到预设准确率阈值时,迭代结束。
需要说明的是,除预设缺陷训练数据集之外,模型训练过程中还需要使用到测试数据集,同样地,测试数据集来自于样本图库,其中,预设缺陷训练数据集与测试数据集之间的数据量呈一定比例,例如10:1。
需要说明的是,对于迭代训练过程,为提高产品缺陷识别模型的敏感度,可以对待训练产品缺陷识别模型进行多次训练,具体地,迭代训练过程由多次训练和多次测试组成,例如训练10次后测试1次并循环训练和测试的过程,直至迭代结束。
进一步地,所述输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果之后,包括:
步骤i,记录所述产品缺陷识别结果对应的一个或多个缺陷;
步骤j,确定各所述缺陷的发生频次;
步骤k,若存在一缺陷的发生频次大于预设发生频次且所述缺陷满足预设缺陷要求,则确定所述缺陷为非产品缺陷。
在本实施例中,待测产品可能存在一个或多个缺陷,以待测产品为轮毂为例,缺陷包括磕碰、裂纹、缩松、夹渣、气孔、浇不足、钉子、缩孔和沾铝等种类。
需要说明的是,由于待测图片中未去除托盘的图片(与待测产品的图片重叠而无法去除),需要考虑识别到的缺陷是属于待测产品的还是托盘的,可以理解,在未换托盘前,若托盘存在缺陷,那么该缺陷所在的位置、缺陷形状、缺陷大小以及缺陷颜色(缺陷所处深度(与X光机的光源的距离))会相同;此外,在X光摄像头存在缺陷或脏污时,同样也会造成缺陷的误判,很好理解,由于X光摄像头在X光机中有固定的位置,缺陷所在的位置、缺陷形状、缺陷大小以及缺陷颜色同样不会改变。
因此,结合上述缺陷所在的位置、缺陷形状、缺陷大小以及缺陷颜色不会改变的原理,若发现同一缺陷多次出现,即缺陷的发生频次大于预设发生频次,例如预设发生频次为10次有9次发生,则该缺陷需要注意。具体地,确定该缺陷是否满足预设缺陷要求,即该缺陷所在的位置、缺陷形状、缺陷大小以及缺陷颜色是否不会改变,若是,则确定缺陷为非产品缺陷(托盘或X光摄像头的缺陷);若否,则确定缺陷为产品缺陷。
进一步地,所述确定各所述缺陷的发生频次之后,还包括:
步骤l,基于预设映射关系,确定所述缺陷的缺陷发生原因;
步骤m,输出所述缺陷发生原因对应的提示信息,以供相关人员基于所述提示信息处理所述缺陷。
在本实施例中,预设映射关系为缺陷与缺陷发生原因之间的映射关系,该映射关系可以通过具有缺陷识别经验的工人输入的相关数据来生成,通过输出缺陷发生原因对应的提示信息而非缺陷对应的提示信息,提高了相关人员找到缺陷产生源头的速度。
与现有技术中,识别产品的缺陷时,图片中的产品摆放角度各异,导致识别产品的缺陷时误差较大相比,本申请通过获取待测产品的待测图片,并获取所述待测图片对应的样本图片;基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到。本申请的待测图片在输入产品缺陷识别模型之前,均经过与样本产品的对中数据进行对中处理,即待测图片中的待测产品的摆放角度一致,使得待测图片进行缺陷识别所得到的缺陷识别结果更为准确,降低了识别产品的缺陷时的误差。
此外,本申请还提供一种产品缺陷识别装置,所述产品缺陷识别装置包括:
第一获取模块,用于获取待测产品的待测图片,并获取所述待测图片对应的样本图片;
对中模块,用于基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;
第二获取模块,用于获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到。
可选地,所述对中模块还用于:
确定所述样本图片中的样本产品的对中数据为图片匹配模板;
基于所述图片匹配模板匹配所述待测图片,得到对中参数;
基于所述对中参数,调整所述待测图片,得到处理后待测图片,以使所述待测产品的摆放位置和角度与所述样本产品的摆放位置和角度相同。
可选地,所述产品缺陷识别装置还包括:
调整模块,用于调整所述处理后待测图片的图片参数至预设图片参数。
可选地,所述产品缺陷识别装置还包括:
获取预设缺陷训练数据集和待训练产品缺陷识别模型;
基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练,得到更新后的待训练产品缺陷识别模型,并确定所述更新后的待训练产品缺陷识别模型是否满足预设迭代结束条件;
若所述更新后的待训练产品缺陷识别模型满足所述预设迭代结束条件,则将所述更新后的待训练产品缺陷识别模型作为所述产品缺陷识别模型;
若所述更新后的待训练产品缺陷识别模型未满足所述迭代结束条件,则返回基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练步骤,直至所述更新后的待训练产品缺陷识别模型满足所述迭代结束条件。
可选地,所述第一获取模块还用于:
获取图片名与所述待测图片的图片名相对应的样本图片。
可选地,所述产品缺陷识别装置还包括:
记录所述产品缺陷识别结果对应的一个或多个缺陷;
确定各所述缺陷的发生频次;
若存在一缺陷的发生频次大于预设发生频次且所述缺陷满足预设缺陷要求,则确定所述缺陷为非产品缺陷。
可选地,所述产品缺陷识别装置还包括:
基于预设映射关系,确定所述缺陷的缺陷发生原因;
输出所述缺陷发生原因对应的提示信息,以供相关人员基于所述提示信息处理所述缺陷。
本申请产品缺陷识别装置具体实施方式与上述产品缺陷识别方法各实施例基本相同,在此不再赘述。
此外,本申请还提供一种产品缺陷识别设备。如图2所示,图2是本申请实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图2即可为产品缺陷识别设备的硬件运行环境的结构示意图。
如图2所示,该产品缺陷识别设备可以包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,产品缺陷识别设备还可以包括RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解,图2中示出的产品缺陷识别设备结构并不构成对产品缺陷识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图2所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及产品缺陷识别程序。其中,操作系统是管理和控制产品缺陷识别设备硬件和软件资源的程序,支持产品缺陷识别程序以及其它软件或程序的运行。
在图2所示的产品缺陷识别设备中,用户接口1003主要用于连接终端,与终端进行数据通信,如接收终端发送的请求;网络接口1004主要用于后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的产品缺陷识别程序,并执行如上所述的产品缺陷识别方法的步骤。
本申请产品缺陷识别设备具体实施方式与上述产品缺陷识别方法各实施例基本相同,在此不再赘述。
此外,本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有产品缺陷识别程序,所述产品缺陷识别程序被处理器执行时实现如上所述的产品缺陷识别方法的步骤。
本申请计算机可读存储介质具体实施方式与上述产品缺陷识别方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,设备,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种产品缺陷识别方法,其特征在于,所述产品缺陷识别方法包括:
获取待测产品的待测图片,并获取所述待测图片对应的样本图片;
基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;
获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到;
所述输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果之后,包括:
记录所述产品缺陷识别结果对应的一个或多个缺陷;
确定各所述缺陷的发生频次;
若存在一缺陷的发生频次大于预设发生频次且所述缺陷满足预设缺陷要求,则确定所述缺陷为非产品缺陷,其中,所述预设缺陷要求为所述缺陷所在的位置、缺陷形状、缺陷大小和缺陷颜色未发生改变。
2.如权利要求1所述的方法,其特征在于,所述基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片,包括:
确定所述样本图片中的样本产品的对中数据为图片匹配模板;
基于所述图片匹配模板匹配所述待测图片,得到对中参数;
基于所述对中参数,调整所述待测图片,得到处理后待测图片,以使所述待测产品的摆放位置和角度与所述样本产品的摆放位置和角度相同。
3.如权利要求1所述的方法,其特征在于,所述获取产品缺陷识别模型之前,包括:
调整所述处理后待测图片的图片参数至预设图片参数。
4.如权利要求1所述的方法,其特征在于,所述获取产品缺陷识别模型之前,包括:
获取预设缺陷训练数据集和待训练产品缺陷识别模型;
基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练,得到更新后的待训练产品缺陷识别模型,并确定所述更新后的待训练产品缺陷识别模型是否满足预设迭代结束条件;
若所述更新后的待训练产品缺陷识别模型满足所述预设迭代结束条件,则将所述更新后的待训练产品缺陷识别模型作为所述产品缺陷识别模型;
若所述更新后的待训练产品缺陷识别模型未满足所述迭代结束条件,则返回基于所述预设缺陷训练数据集对所述待训练产品缺陷识别模型进行迭代训练步骤,直至所述更新后的待训练产品缺陷识别模型满足所述迭代结束条件。
5.如权利要求1所述的方法,其特征在于,所述获取所述待测图片对应的样本图片,包括:
获取图片名与所述待测图片的图片名相对应的样本图片。
6.如权利要求1所述的方法,其特征在于,所述确定各所述缺陷的发生频次之后,还包括:
基于预设映射关系,确定所述缺陷的缺陷发生原因;
输出所述缺陷发生原因对应的提示信息,以供相关人员基于所述提示信息处理所述缺陷。
7.一种产品缺陷识别装置,其特征在于,所述产品缺陷识别装置包括:
第一获取模块,用于获取待测产品的待测图片,并获取所述待测图片对应的样本图片;
对中模块,用于基于所述样本图片中的样本产品的对中数据,对所述待测图片进行对中处理,得到处理后待测图片;
第二获取模块,用于获取产品缺陷识别模型,并输入所述处理后待测图片至所述产品缺陷识别模型,得到产品缺陷识别结果;所述产品缺陷识别模型基于预设缺陷训练数据集对未训练产品缺陷识别模型进行迭代训练后得到;
记录所述产品缺陷识别结果对应的一个或多个缺陷;
确定各所述缺陷的发生频次;
若存在一缺陷的发生频次大于预设发生频次且所述缺陷满足预设缺陷要求,则确定所述缺陷为非产品缺陷,其中,所述预设缺陷要求为所述缺陷所在的位置、缺陷形状、缺陷大小和缺陷颜色未发生改变。
8.一种产品缺陷识别设备,其特征在于,所述产品缺陷识别设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的产品缺陷识别程序,所述产品缺陷识别程序被所述处理器执行时实现如权利要求1至6中任一项所述的产品缺陷识别方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有产品缺陷识别程序,所述产品缺陷识别程序被处理器执行时实现如权利要求1至6中任一项所述的产品缺陷识别方法的步骤。
CN202111083492.1A 2021-09-16 2021-09-16 产品缺陷识别方法、装置、设备及可读存储介质 Active CN113538427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083492.1A CN113538427B (zh) 2021-09-16 2021-09-16 产品缺陷识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083492.1A CN113538427B (zh) 2021-09-16 2021-09-16 产品缺陷识别方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113538427A CN113538427A (zh) 2021-10-22
CN113538427B true CN113538427B (zh) 2022-01-07

Family

ID=78123181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083492.1A Active CN113538427B (zh) 2021-09-16 2021-09-16 产品缺陷识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113538427B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708484B (zh) * 2022-03-14 2023-04-07 中铁电气化局集团有限公司 适用于识别缺陷的图形分析方法
CN115239644B (zh) * 2022-07-05 2024-04-05 港珠澳大桥管理局 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN115082425A (zh) * 2022-07-19 2022-09-20 深圳市信润富联数字科技有限公司 轮毂尺寸测量方法、装置、电子装置及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测系统及方法
CN110853013A (zh) * 2019-11-11 2020-02-28 四川大学青岛研究院 一种白色家电外壁喷涂质量检测方法
CN111080638A (zh) * 2019-12-27 2020-04-28 成都泓睿科技有限责任公司 一种检测模制瓶瓶底脏污的系统及方法
CN111474184A (zh) * 2020-04-17 2020-07-31 河海大学常州校区 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN113344931A (zh) * 2021-08-09 2021-09-03 深圳智检慧通科技有限公司 一种插件视觉检测识别方法、可读存储介质及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646191B2 (en) * 2015-09-23 2017-05-09 Intermec Technologies Corporation Evaluating images
CN108918527A (zh) * 2018-05-15 2018-11-30 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的印刷品缺陷检测方法
TWI783200B (zh) * 2019-12-30 2022-11-11 緯創資通股份有限公司 物件的瑕疵判斷方法及裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测系统及方法
CN110853013A (zh) * 2019-11-11 2020-02-28 四川大学青岛研究院 一种白色家电外壁喷涂质量检测方法
CN111080638A (zh) * 2019-12-27 2020-04-28 成都泓睿科技有限责任公司 一种检测模制瓶瓶底脏污的系统及方法
CN111474184A (zh) * 2020-04-17 2020-07-31 河海大学常州校区 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN113344931A (zh) * 2021-08-09 2021-09-03 深圳智检慧通科技有限公司 一种插件视觉检测识别方法、可读存储介质及设备

Also Published As

Publication number Publication date
CN113538427A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113538427B (zh) 产品缺陷识别方法、装置、设备及可读存储介质
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
CN109767418B (zh) 检査装置、数据生成装置、数据生成方法及存储介质
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
WO2019096178A1 (zh) 纤维检测方法、装置及电子设备
CN109767419B (zh) 数据生成装置、数据生成方法及存储介质
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
US20140050387A1 (en) System and Method for Machine Vision Inspection
JP2011214903A (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN111045924B (zh) 用户界面视觉验收的处理方法、装置及设备
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
WO2021159736A1 (zh) 应用程序兼容性测试的方法、装置及计算机设备
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN111598084B (zh) 缺陷分割网络训练方法、装置、设备及可读存储介质
CN111368045B (zh) 用户意图识别方法、装置、设备及计算机可读存储介质
CN113284094A (zh) 获取玻璃基板缺陷信息的方法、装置、存储介质及设备
CN116559170A (zh) 一种产品质量检测方法及相关系统
CN114677567A (zh) 模型训练方法、装置、存储介质及电子设备
CN115131596A (zh) 缺陷分类装置、方法以及程序
JP2024026316A (ja) 自動検査および部品登録
CN115546219B (zh) 检测板式生成方法、板卡缺陷检测方法、装置及产品
CN113570001B (zh) 分类识别定位方法、装置、设备及计算机可读存储介质
CN113516328B (zh) 数据处理方法、服务提供方法、装置、设备和存储介质
US20220343102A1 (en) Systems and methods for determining an adaptive region of interest (roi) for image metrics calculations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant