CN115147335A - 缺陷分类模型的生成方法、装置、分类方法及终端设备 - Google Patents
缺陷分类模型的生成方法、装置、分类方法及终端设备 Download PDFInfo
- Publication number
- CN115147335A CN115147335A CN202110349283.0A CN202110349283A CN115147335A CN 115147335 A CN115147335 A CN 115147335A CN 202110349283 A CN202110349283 A CN 202110349283A CN 115147335 A CN115147335 A CN 115147335A
- Authority
- CN
- China
- Prior art keywords
- defect
- default
- defect type
- classification model
- default defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 635
- 238000013145 classification model Methods 0.000 title claims abstract description 276
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000011156 evaluation Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000012795 verification Methods 0.000 claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请公开了一种缺陷分类模型的生成方法、装置、分类方法及终端设备,所述方法包括基于训练样本集确定若干参考分类模型;获取该参考分类模型配置的各默认缺陷类别各自对应的相关缺陷类别,并基于验证样本集、默认缺陷类别及相关缺陷类别,确定参考分类模型对应的评估分数;根据各参考分类模型对应的评估分数确定缺陷分类模型。本申请通过训练样本集训练若干参考分类模型,在若干参考分类模型进行验证时,通过各默认缺陷类别及相关缺陷类别来确定各参考分类模型的评估分数,这样可以避免参考分类模型配置的各默认缺陷类别之间的相互混淆,而影响验证得到的参考分类模型的模型性能的准确性,从而可以提高缺陷分类模型的模型性能。
Description
技术领域
本申请涉及面板加工技术领域,特别涉及一种缺陷分类模型的生成方法、装置、分类方法及终端设备。
背景技术
产品质量是制造业最为重视的生产指标之一,为了保证产品质量,在产品生产过程中对产品进行缺陷检测成为不可或缺的工序,例如,显示面板(例如,薄膜晶体管液晶显示器(TFT-LCD,Thin Film Transistor-Liquid Crystal Display)等)为例,每条产线都需要对显示面板进行缺陷检测。然而,目前普遍是通过人工对显示面板进行缺陷检测,然而,检测人员在大量重复性的劳动时因出现视力疲劳而造成误判,进而影响显示面板的质量。
发明内容
本申请要解决的技术问题在于,针对现有技术的不足,提供一种缺陷分类模型的生成方法、装置、分类方法及终端设备。
为了解决上述技术问题,本申请实施例第一方面提供了一种缺陷分类模型的生成方法,所述方法包括:
基于预设的训练样本集,确定若干参考分类模型;
对于每个参考分类模型,基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数,其中,所述相关缺陷类别为该参考分类模型配置的默认缺陷类别;
根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。
所述缺陷分类模型的生成方法,其中,所述若干参考分类模型中的每个参考分类模型均配置有若干默认缺陷类别,并且各参考分类模型各自配置的若干默认缺陷类别相同。
所述缺陷分类模型的生成方法,其中,所述基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数具体包括:
基于预设的验证样本集以及该参考缺模型配置的各默认缺陷类别,确定该参考分类模型对应的混淆矩阵;
基于所述混淆矩阵及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数。
所述缺陷分类模型的生成方法,其中,所述基于所述混淆矩阵及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数具体包括:
对于每个默认缺陷类别,基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定该默认缺陷类别对应的召回率以及精确率;
基于该参考分类模型配置的各默认缺陷类别各自对应的召回率以及精确率,确定该参考分类模型对应的评估分数。
所述缺陷分类模型的生成方法,其中,所述基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定召回率的过程具体包括:
对于若干默认缺陷类别中的每个默认缺陷类别,基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第一候选元素值集以及第一目标元素值集,其中,所述第一目标元素值集包含于所述第一候选元素值集内;
确定所述第一目标元素值集中的各第一目标元素值的第一和值,以及所述第一候选元素值集中的各第一候选元素值的第二和值;并将所述第一和值和所述第二和值的比值作为该默认缺陷类别对应的召回率。
所述缺陷分类模型的生成方法,其中,所述混淆矩阵中的行方向为训练样本对应的标注缺陷类别,列方向为训练样本对应到的预测缺陷类别;所述基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第一候选元素值集以及第一目标元素值集具体包括:
在所述混淆矩阵中选取该默认缺陷类别所在第一目标行包括的各第一候选元素值,以得到该默认缺陷类别对应的第一候选元素值集合;
在所述第一目标行中选取该默认缺陷类别及该默认缺陷类别对应的相关缺陷类别所在第一目标列的第一目标元素值,以得到该默认缺陷类别对应的第一目标元素值集合。
所述缺陷分类模型的生成方法,其中,所述基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定精确率的过程具体包括:
对于若干默认缺陷类别中的每个默认缺陷类别,基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第二候选元素值集以及第二目标元素值集,其中,所述第二目标元素值集包含于所述第二候选元素值集内;
确定所述第二目标元素值集中的各第二目标元素值的第三和值,以及所述第二候选元素值集中的各第二候选元素值的第四和值;并将所述第三和值和所述第四和值的比值作为该默认缺陷类别对应的精确率。
所述缺陷分类模型的生成方法,其中,所述混淆矩阵中的行方向为训练样本对应的标注缺陷类别,列方向为训练样本对应到的预测缺陷类别;所述基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第二候选元素值集以及第二目标元素值集具体包括:
在所述混淆矩阵中选取该默认缺陷类别所在第二目标列包括的各第二候选元素值,以得到该默认缺陷类别对应的第二候选元素值集合;
在所述第二目标列中选取该默认缺陷类别及该默认缺陷类别对应的相关缺陷类别所在第二目标行的第二目标元素值,以得到该默认缺陷类别对应的第二目标元素值集合。
所述缺陷分类模型的生成方法,其中,所述根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型具体包括:
选取各参考分类模型各自对应的评估分数中的最大评估分数;
将选取到的最大评估分数对应的参考分类模型作为缺陷分类模型。
本申请实施例第二方面提供了一种缺陷分类模型的生成装置,所述的生成装置包括:
第一确定模块,用于基于预设的训练样本集,确定若干参考分类模型;
获取模块,对于每个参考分类模型,用于基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数,其中,所述相关缺陷类别为该参考分类模型配置的默认缺陷类别;
第二确定模块,用于根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。
本申请实施例第三方面提供了一种面板缺陷分类方法,应用如上所述的缺陷分类模型的生成方法所生成的缺陷分类模型,所述方法包括:
获取待分类的面板缺陷图像;
将所述面板缺陷图像输入所述缺陷分类模型,通过所述缺陷分类模型确定所述面板缺陷图像对应的目标缺陷类别。
本申请实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的缺陷分类模型的生成方法中的步骤;或者以实现如上所述的面板缺陷分类方法中的步骤。
本申请实施例第五方面提供了一种终端设备,其包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如上任一所述的缺陷分类模型的生成方法中的步骤;或者实现如上所述的面板缺陷分类方法中的步骤。
有益效果:与现有技术相比,本申请提供了一种缺陷分类模型的生成方法、装置、分类方法及终端设备,所述方法包括基于预设的训练样本集,确定若干参考分类模型;对于每个参考分类模型,基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数;根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。本申请通过训练样本集训练若干参考分类模型,并在若干参考分类模型进行验证时,通过各默认缺陷类别以及各默认缺陷类别的相关缺陷类别来确定各参考分类模型的评估分数,这样可以避免因参考分类模型配置的各默认缺陷类别之间的相互混淆,而影响参考分类模型预测得到的缺陷类别的准确性,从而影响验证得到的参考分类模型的模型性能的准确性,提高了缺陷分类模型的模型性能,从而提高了缺陷分类模型的识别效果,进而提高了面板质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在不符创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的缺陷分类模型的生成方法的流程图。
图2为本申请提供的缺陷分类模型的生成装置的结构原理图。
图3为本申请提供的面板缺陷分类方法的流程图。
图4为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种缺陷分类模型的生成方法、装置、分类方法及终端设备,为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。此外应理解,本实施例中各步骤的序号和大小并不意味着执行顺序的先后,各过程的执行顺序以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现,产品质量是制造业最为重视的生产指标之一,为了保证产品质量,在产品生产过程中对产品进行缺陷检测成为不可或缺的工序,例如,显示面板(例如,薄膜晶体管液晶显示器(TFT-LCD,Thin Film Transistor-Liquid Crystal Display)等)为例,每条产线都需要对显示面板进行缺陷检测。目前普遍采用的显示面板的缺陷检测过程普遍为:首先通过自动光学检测设备对面板生产过程中的显示面板进行检测,并对具有缺陷的显示面板进行初步拍照,再将拍摄得到面板缺陷区域图像交给具有专业知识的技术人员进行检测。这种依赖人工检测的方法面临人力成本高、效率低等问题,同时,大量重复性的劳动容易造成人员视力疲劳,引起误判。
为了提供面板分类的准确性,深度学习方法被应用于面板分类中。现有基于深度学习确定缺陷分类模型普遍是基于人工标注的训练样本进行训练,在训练得到缺陷分类模型后,会通过预先设置的验证样本进行模型验证,并通过准确率(accuracy)、精确率(precision)、召回率(recall)、F1值、ROC(Receiver operating characteristic curve)曲线以及PR(Precision-Recall curve)曲线等评估指标对缺陷分类模型进行评估。然而,在缺陷分类模型配置的若干默认缺陷类别中可以存在若干参考缺陷类别,若干参考缺陷类别之间可以相互判定(例如,样本对应的类别标签为类别A,缺陷分类模型输出的预设类别为类别B,并且类别B对应的置信度可以为1),此时采用现有的准确率(accuracy)、精确率(precision)、召回率(recall)、F1值、ROC(Receiver operating characteristic curve)曲线以及PR(Precision-Recall curve)曲线等评估指标对缺陷分类模型进行评估,会出现评估得到的缺陷分类模型的模型性能偏离模型实际性能,导致验证得到的缺陷分类模型的模型性能浪费或者验证得到的面板确定分类模型偏离实际需求,进而导致影响面板质量。
基于此,在本申请实施例中,基于预设的训练样本集,确定若干参考分类模型;对于每个参考分类模型,基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数;根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。本申请通过训练样本集训练若干参考分类模型,并在若干参考分类模型进行验证时,通过各默认缺陷类别以及各默认缺陷类别的相关缺陷类别来确定各参考分类模型的评估分数,这样可以避免参考分类模型配置的各默认缺陷类别之间的相互混淆,而影响验证得到的参考分类模型的模型性能的准确性,提高了缺陷分类模型的模型性能,从而提高了缺陷分类模型的识别效果,进而提高了面板质量。
下面结合附图,通过对实施例的描述,对申请内容作进一步说明。
本实施例提供的一种缺陷分类模型的生成方法,该方法可以由缺陷分类模型的生成装置来执行,所述装置可以由软件实现,应用于诸如PC机、服务器、平板电脑或个人数字助理等之类的电子设备上。参见图1,本实施例提供的缺陷分类模型的生成方法具体包括:
S10、基于预设的训练样本集,确定若干参考分类模型。
具体地,所述训练样本集包括若干训练面板图像,若干训练面板图像中每个训练面板图像配置有缺陷类别,其中,所述缺陷类别可以用于反映面板缺陷的缺陷形状,缺陷大小以及缺陷颜色中的一种或者多种。在本实施例的一个实现方式中,所述缺陷类别用于反映面板缺陷的缺陷形状,其中,所述缺陷形状可以包括三角形、闪电形、点状以及沙状等。例如,对于训练面板图像A,训练面板图像A对应的面板上具有点状缺陷,那么面板图像A对应的缺陷类别为点状缺陷。
所述训练面板图像可以通过预先设置于生产面板的产线上的图像采集装置(例如摄像头或照相机等),在面板生产的过程中实时或每间隔预设时间采集的面板图像;或者是,从运行面板缺陷检测模型的生成方法的电子设备的本地存储空间中获取的面板图像;或者是,向图像存储服务器发送图像获取请求,并接收服务器基于图像获取请求返回的面板图像等;当然,训练面板图像也可以是通过其他方式获取到,具体获取方式在此处不作限定。其中,训练面板图像可以包括TFT-LCD面板、LCD面板、集成电路面板、芯片面板以及半导体面板等所对应的图像,所述待检测面板可以包括电路区域和非电路区域等。在本实施例的一个具体实现方式中,所述若干训练面板图像均为半导体显示面板图像,例如,训练面板图像为分辨率1024*768的半导体显示面板图像。
若干参考分类模型中的每个参考分类模型均基于训练样本集中的全部训练面板图像或者部分训练面板图像训练得到,其中,若干参考分类模型中的每个参考分类模型均配置有若干默认缺陷类别,并且各参考分类模型各自配置的若干默认缺陷类别相同。例如,若干参考分类模型包括参考分类模型A、参考分类模型B以及参考分类模型C,参考分类模型A配置的若干默认缺陷类别为默认缺陷类别1、默认缺陷类别2以及默认缺陷类别3,那么参考分类模型B配置的若干默认缺陷类别为默认缺陷类别1、默认缺陷类别2以及默认缺陷类别3,参考分类模型C配置的若干默认缺陷类别为默认缺陷类别1、默认缺陷类别2以及默认缺陷类别3。
若干参考分类模型中的各参考分类模型对应的预设网络模型相同,换句话说,若干参考分类模型中的每个参考分类模型,均是基于训练样本集中的全部训练面板图像或者部分训练面板图像对预设网络模型训练得到的。其中,所述预设网络模型可以为预先设置的,用于基于训练样本集生成若干参考分类模型的,并且若干参考分类模型中的每个参考分类模型均用于检测面板图像中的面板缺陷的缺陷类别。可以理解的是,当基于训练样本集对预设网络模型进行训练后,可以得到若干参考分类模型,其中,所述若干参考分类模型中的各参考分类模型的模型结构与预设网络模型的模型结构相同,各参考分类模型与预设网络模型的区别在于:参考分类模型配置的模型参数为经过反向学习的模型参数,预设网络模型配置的模型参数为初始模型参数。在本实施例的一个实现方式中,预设网络模型可以为深度学习分类模型,例如,resnet50网络,以及xception网络等。
在本实施例的一个实现方式中,若干参考分类模型的确定过程可以为:在获取到训练样本集之后,将训练样本集中的训练面板图像划分为若干图像批,若干图像批中的每个图像批均包括训练样本集中的部分训练面板图像,并且训练样本集中的任一训练面板图像仅包含于一个图像批内,其中,若干图像批的数量与若干参考分类模型的数量相同;在将训练样本集划分为若干图像批后,在若干图像批中选取一个第一图像批,基于该第一图像批对预设网络模型进行训练,以得到第一参考分类模型;然而,在若干图像批中再选取一个第二图像批,基于第二图像批对第一参考分类模型进行训练,以得到第二参考分类模型,依次类推,直至训练样本集中的所有图像批均被选取到,以得到第一参考分类模型、第二参考分类模型、...、第M参考分类模型,其中,M为训练样本集中的图像批的数量;最后,将得到的第一参考分类模型、第二参考分类模型、...、第M参考分类模型作为基于预设的训练样本集,确定若干参考分类模型。此外,在实际应用中,若干参考分类模型也可以采用其他方式确定,这里仅给出一个例子加以说明,不再一一赘述。例如,在将训练样本集划分为若干图像批后,分别采用各图像批对初始网络模型进行训练,以得到各图像批各自对应的参考分类模型,以得到若干参考分类模型等。
S20、对于每个参考分类模型,基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数。
具体地,所述相关缺陷类别包括于该参考分类模型配置的默认缺陷类别,并且相关缺陷类别与其对应的默认缺陷类别之间均有相关性,其中,所述相关性用于反映相关缺陷类别与默认缺陷类别的相似程度,相关缺陷类别与默认缺陷类别的相关性越高说明相关缺陷类别与默认缺陷类别的相似程度越高,反之,相关缺陷类别与默认缺陷类别的相关性越低说明相关缺陷类别与默认缺陷类别的相似程度越低。其中,默认缺陷类别对应的相关缺陷类别可以为预先设置的,也可以是基于预先设置的默认缺陷类别之间的相关性确定得到的。
在本实施例的一个实现方式中,对于参考分类模型配置的每个默认缺陷类别,可以预先指定该默认缺陷类别对应的相关缺陷类别。相应的,默认缺陷类别对应的相关缺陷类别的确定过程可以为:可以直接读取该默认缺陷类别对应的相关缺陷类别,这样可以快速获取到各默认缺陷类别各自对应的相关缺陷类别。例如,若干默认缺陷类别包括默认缺陷类别1、默认缺陷类别2、默认缺陷类别3、默认缺陷类别4、默认缺陷类别5以及默认缺陷类别6,其中,默认缺陷类别1和默认缺陷类别2互不相关缺陷类别;默认缺陷类别3对应的相关缺陷类别为默认缺陷类别4和默认缺陷类别5,默认缺陷类别4对应的相关缺陷类别为默认缺陷类别3和默认缺陷类别5,默认缺陷类别5对应的相关缺陷类别为默认缺陷类别4和默认缺陷类别3,那么对于默认缺陷类别1,获取到的默认缺陷类别1对应的相关缺陷类别为默认缺陷类别2。
在本实施例的一个实现方式中,对于参考分类模型配置的每个默认缺陷类别,可以预先设置该默认缺陷类别与若干默认缺陷类别中的其他默认缺陷类别的相关性。相应的,默认缺陷类别对应的相关缺陷类别的确定过程可以为:根据设置的相关性阈值来确定各默认缺陷类别各自对应的相关缺陷类别,这样对于不同的应用场景可以选取不同的相关性阈值,使得选取到的相关缺陷类别可以与应用场景相匹配,从而可以提高候选基于相关缺陷类别以及默认缺陷类别验证得到的缺陷分类模型与应用场景的匹配性。例如,若干默认缺陷类别包括默认缺陷类别1、默认缺陷类别2、默认缺陷类别3以及默认缺陷类别4、默认缺陷类别5,其中,默认缺陷类别1与默认缺陷类别2的相关性为0.9,默认缺陷类别1与默认缺陷类别3、默认缺陷类别4以及默认缺陷类别5的相关性均为0,相关性阈值为0.8,那么获取到的默认缺陷类别1对应的相关缺陷类别为默认缺陷类别2。
在本实施例的一个实现方式中,所述基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数具体包括:
基于预设的验证样本集以及该参考缺模型配置的各默认缺陷类别,确定该参考分类模型对应的混淆矩阵;
基于所述混淆矩阵及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数。
具体地,所述验证样本集包括若干验证面板图像,若干验证面板图像中的每张验证面板图像均携带有标注缺陷类别,其中,在一种实现方式中,验证样本集中的若干验证面板图像与训练样本集的若干训练面板图像可以是在同一个处理过程中获取的,举例来说,在获取训练样本集的过程中,可以先获取若干面板图像并进行类别标注以得到各面板图像各自对应的标注缺陷类别,在得到若干携带有标注缺陷类别的面板图像后,将若干携带有标注缺陷类别的面板图像划分为三个图像组,将三个图像组中的一个图像组作为训练样本集,一个图像组作为验证样本集,一个图像组作为测试样本集。
所述混淆矩阵(也称误差矩阵,Confusion Matrix)为用于反映参考分类模型归错类,归对类的观测值个数的数据表,其中,该混淆矩阵中的行方向为标注缺陷类别,列方向为预测缺陷类别。例如,以分类模型中的二分类模型为例,对于二分类模型,二分类模型最终需要判断验证样本集中各验证样本各自对应的预测结果为0或者1,并且各验证样本至少携带有标注结果。由此,在二分类模型对验证样本进行分类后,会得到四个基础指标,分别为:
真实值是0,二分类模型认为是0的数量(True Positive=TP);
真实值是0,二分类模型认为是1的数量(False negative=FN);
真实值是1,二分类模型认为是0的数量(False Positive=FP);
真实值是1,二分类模型认为是0的数量(True negative=TN);
在获取到四个指标后,基于四个指标可以得到如图表1所示的混淆矩阵(Confusion Matrix)。
表1二分类模型的混淆矩阵
在本实施例的一个实现方式中,参考网络模型配置的若干默认缺陷类别包括默认缺陷类别1、默认缺陷类别2、默认缺陷类别3、默认缺陷类别4、默认缺陷类别5、默认缺陷类别6、...、默认缺陷类别N,共N个默认缺陷类别,验证样本集中的每个验证面板图像携带的标注缺陷类别均包含于若干默认缺陷类别中;将验证样本集中的每个验证面板图像输入该参考分类模型,通过该参考分类模型确定该验证面板图像对应的预测缺陷类别,最后基于各验证面板图像各自对应的标注缺陷类别和预测缺陷类别,确定该参考分类模型对应的混淆矩阵,其中,所述混淆矩阵可以如表2所示。
表2参考分类模型的混淆矩阵
其中,xij表示标注缺陷类别为第j个默认缺陷类别的验证面板图像对应的预测缺陷类别为第i个默认缺陷类别的数量。
所述参考评估分数用于反映该参考分类模型的模型性能,参考评估分数越高参考分类模型的模型性能越好,反之,参考评估分数越低参考分类模型的模型性能越差。在本实施例的一个实现方式中,所述基于所述混淆矩阵及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数具体包括:
对于每个默认缺陷类别,基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定该默认缺陷类别对应的召回率以及精确率;
基于该参考分类模型配置的各默认缺陷类别各自对应的召回率以及精确率,确定该参考分类模型对应的评估分数。
具体地,所述相关缺陷类别为该默认缺陷类别对应的可互判的默认缺陷类别,当验证面板图像的标注缺陷类别为该默认缺陷类别,通过参考分类模型预测的预测缺陷类别为相关缺陷类别时,可以判断该参考分类模型预测正确。这是由于默认缺陷类别对应的相关缺陷类别与该默认缺陷类别可以互判,换句话说,默认缺陷类别对应的相关缺陷类别可以被判定为该默认缺陷类别,该默认缺陷类别也可以被判定为其对应的相关缺陷类别。
在本实施例的一个实现方式中,所述召回率用于反映验证样本集中配置默认缺陷类别的验证面板图像的缺陷类别被预测正确的概率。所述基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定召回率的过程具体包括:
对于若干默认缺陷类别中的每个默认缺陷类别,基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第一候选元素值集以及第一目标元素值集;
确定所述第一目标元素值集中的各第一目标元素值的第一和值,以及所述第一候选元素值集中的各第一候选元素值的第二和值;并将所述第一和值和所述第二和值的比值作为该默认缺陷类别对应的召回率。
具体地,所述第一候选元素值集包括若干第一候选元素值,所述第一目标元素值集包括若干第一目标元素值,并且所述第一目标元素值集包含于所述第一候选元素值集内。可以理解的是,对于若干第一目标元素值中的每个第一目标元素值,该第一目标元素值均包含于第一候选元素值集内。此外,第一候选元素值集包括的第一候选元素值的数量等于预设网络模型配置的默认缺陷类别的数量,第一目标元素值集包括的第一目标元素值的数量等于该默认缺陷类别与其对应的相关缺陷类别的数量和。
在本实施例的一个实现方式中,所述混淆矩阵中的行方向为训练样本对应的标注缺陷类别,列方向为训练样本对应到的预测缺陷类别;所述基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第一候选元素值集以及第一目标元素值集具体包括:
在所述混淆矩阵中选取该默认缺陷类别所在第一目标行包括的各第一候选元素值,以得到该默认缺陷类别对应的第一候选元素值集合;
在所述第一目标行中选取该默认缺陷类别及该默认缺陷类别对应的相关缺陷类别所在第一目标列的第一目标元素值,以得到该默认缺陷类别对应的第一目标元素值集合。
具体地,默认缺陷类别所在第一目标行中的每个候选元素值用于反映第一目标验证面板图像被预测为第一目标行对应的默认缺陷类别的数量,其中,第一目标验证面板图像为标注该候选元素值所处列对应的默认缺陷类别的验证面板图像,例如,如表2所示,默认缺陷类别为默认缺陷类别1,默认缺陷类别1所在第一目标行为第一行,那么第一行中的第一列的候选元素值x11表示标注为默认缺陷类别1的验证面板图像被预测为默认缺陷类别1的数量,第一行中的第二列的候选元素值x12表示标注为默认缺陷类别2的验证面板图像被预测为默认缺陷类别1的数量,...,第一行中的第N列的候选元素值x1N表示标注为默认缺陷类别N的验证面板图像被预测为默认缺陷类别1的数量;相应的,获取到的各第一候选元素值包括x11、x12、...、x1N。
第一目标元素值包括于第一目标行包括的各第一候选元素值中,并且第一目标元素值所在列对应的默认缺陷类别为该默认缺陷类别或者该默认缺陷类别的相关缺陷类别,换句话说,在获取到所有第一候选元素值中选取该默认缺陷类别对应的第一候选元素值,以及该默认缺陷类别对应的相关缺陷类别对应的第一候选元素值,并将获取到的第一候选元素值作为第一目标元素值。例如,如表2所示,若干默认缺陷类别包括默认缺陷类别1、默认缺陷类别2、...、默认缺陷类别N,该默认缺陷类别为默认缺陷类别1,默认缺陷类别1对应的相关缺陷类别为默认缺陷类别2,那么第一目标行为第一行,默认缺陷类别1对应的第一目标列为第一列,默认缺陷类别2对应的第一目标列为第二列,那么获取到第一目标元素值包括x11和x12。
在该默认缺陷类别对应的第一候选元素值和第一目标元素值后,分别计算各第一候选元素值的和,以及各第一目标元素值的和以得到第二和值和第一和值,最后将所述第一和值和所述第二和值的比值作为该默认缺陷类别对应的召回率。例如,如表2所示,若干默认缺陷类别包括默认缺陷类别1、默认缺陷类别2、...、默认缺陷类别N,默认缺陷类别1对应的相关缺陷类别为默认缺陷类别2,默认缺陷类别2对应的相关缺陷类别为默认缺陷类别1,默认缺陷类别3对应的相关缺陷类别为默认缺陷类别4和默认缺陷类别5,默认缺陷类别4对应的相关缺陷类别为默认缺陷类别3和默认缺陷类别5,默认缺陷类别5对应的相关缺陷类别为默认缺陷类别3和默认缺陷类别4,那么
默认缺陷类别1的召回率recall=(x11+x21)/(x11+x21+...+xN1);
默认缺陷类别2的召回率recall=(x12+x22)/(x12+x22+...+xN2);
默认缺陷类别3的召回率recall=(x33+x43+x53)/(x13+x23+...+xN3)
默认缺陷类别4的召回率recall=(x34+x44+54)/(x14+x24+...+xN4)
默认缺陷类别5的召回率recall=(x35+x45+x55)/(x15+x25+...+xN5)。
在本实施例的一个实现方式中,所述精确率用于反映验证样本集被预测为默认缺陷类别的验证面板图像中配置有默认缺陷类别的概率。相应的,所述基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定精确率的过程具体包括:
对于若干默认缺陷类别中的每个默认缺陷类别,基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第二候选元素值集以及第二目标元素值集,其中,所述第二目标元素值集包含于所述第二候选元素值集内;
确定所述第二目标元素值集中的各第二目标元素值的第三和值,以及所述第二候选元素值集中的各第二候选元素值的第四和值;并将所述第三和值和所述第四和值的比值作为该默认缺陷类别对应的精确率。
具体地,所述第二候选元素值集包括若干第二候选元素值,所述第二目标元素值集包括若干第二目标元素值,并且所述第二目标元素值集包含于所述第二候选元素值集内。可以理解的是,对于若干第二目标元素值中的每个第二目标元素值,该第二目标元素值均包含于第二候选元素值集内。此外,第二候选元素值集包括的第二候选元素值的数量等于预设网络模型配置的默认缺陷类别的数量,第二目标元素值集包括的第二目标元素值的数量等于该默认缺陷类别与其对应的相关缺陷类别的数量和。
在本实施例的一个实现方式中,所述混淆矩阵中的行方向为训练样本对应的标注缺陷类别,列方向为训练样本对应到的预测缺陷类别;所述基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第二候选元素值集以及第二目标元素值集具体包括:
在所述混淆矩阵中选取该默认缺陷类别所在第二目标列包括的各第二候选元素值,以得到该默认缺陷类别对应的第二候选元素值集合;
在所述第二目标列中选取该默认缺陷类别及该默认缺陷类别对应的相关缺陷类别所在第二目标行的第二目标元素值,以得到该默认缺陷类别对应的第二目标元素值集合。
具体地,默认缺陷类别所在第二目标列中的每个候选元素值用于反映目标验证模板图像中被标注为该候选元素值所处列对应的默认缺陷类别的数量,其中,目标验证模板图像为被预测为第二目标行对应的默认缺陷类别的验证模板图像,例如,如表2所示,默认缺陷类别为默认缺陷类别1,默认缺陷类别1所在第二目标列为第一列,那么第一列中的第一行的候选元素值x11表示被预测为默认缺陷类别1的验证面板图像中标注为默认缺陷类别1的数量,第一列中的第二行的候选元素值x21表示被预测为默认缺陷类别2的验证面板图像中标注为默认缺陷类别1的数量,...,第一列中的第N行的候选元素值xN1表示被预测为默认缺陷类别N的验证面板图像中标注为默认缺陷类别1的数量;相应的,获取到的各第二候选元素值包括x11、x21、...、xN1。
第二目标元素值包括于第二目标列包括的各第二候选元素值中,并且第二目标元素值所在行对应的默认缺陷类别为该默认缺陷类别,或者该默认缺陷类别对应的相关缺陷类别,换句话说,在获取到所有第二候选元素值中选取该默认缺陷类别对应的第二候选元素值,以及该默认缺陷类别对应的相关缺陷类别对应的第二候选元素值,并将获取到的第二候选元素值作为第二目标元素值。例如,如表2所示,若干默认缺陷类别包括默认缺陷类别1、默认缺陷类别2、...、默认缺陷类别N,该默认缺陷类别为默认缺陷类别1,默认缺陷类别1对应的相关缺陷类别为默认缺陷类别2,那么第二目标列为第一列,默认缺陷类别1对应的第二目标行为第一行,默认缺陷类别2对应的第二目标行为第二行,那么获取到第二目标元素值包括x11和x21。
在该默认缺陷类别对应的第二候选元素值和第二目标元素值后,分别计算各第二候选元素值的和,以及各第二目标元素值的和以得到第四和值和第三和值,最后将所述第三和值和所述第四和值的比值作为该默认缺陷类别对应的精确率。例如,如表2所示,若干默认缺陷类别包括默认缺陷类别1、默认缺陷类别2、...、默认缺陷类别N,默认缺陷类别1对应的相关缺陷类别为默认缺陷类别2,默认缺陷类别2对应的相关缺陷类别为默认缺陷类别1,默认缺陷类别3对应的相关缺陷类别为默认缺陷类别4和默认缺陷类别5,默认缺陷类别4对应的相关缺陷类别为默认缺陷类别3和默认缺陷类别5,默认缺陷类别5对应的相关缺陷类别为默认缺陷类别3和默认缺陷类别4,那么:
默认缺陷类别1的精确率precision=(x11+x12)/(x11+x12+...+x1N);
默认缺陷类别2的精确率precision=(x21+x22)/(x21+x22+...+x2N);
默认缺陷类别3的精确率precision=(x33+x34+x35)/(x31+...+x3N);
默认缺陷类别4的精确率precision=(x43+x44+x45)/(x41+...+x4N);
默认缺陷类别5的精确率precision=(x53+x54+x55)/(x51+...+x5N)。
在本实施例的一个实现方式中,在获取到各默认缺陷类别各自对应的召回率精确率后,基于各默认缺陷类别各自对应的召回率精确率计算该参考分类模型的参考评估分数,其中,参考评估分数的计算公式可以为:
其中,macro-f1表示参考评估分数,N表示默认缺陷类别的数量,F1-i表示第i个默认缺陷类别对应的F1值,其中,F1值的计算公式可以为:
F1=(2*精确率*召回率)/(精确率+召回率)。
S30、根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。
具体地,在获取到各参考分类模型各自对应的评估分数后,可以根据各参考分类模型各自对应的评估分数在若干参考分类模型中选取一个分类模型作为缺陷分类模型,例如,选取最大评估分数对应的参考分类模型,或者选取等。相应的,在本实施例的一个实现方式中,所述根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型具体包括:
选取各参考分类模型各自对应的评估分数中的最大评估分数;
将选取到的最大评估分数对应的参考分类模型作为缺陷分类模型。
具体地,在选取各参考分类模型各自对应的评估分数中的最大评估分数时,若各参考分类模型各自对应的评估分数存在若干最大评估分数,可以随机选取一个参考分类模型作为缺陷分类模型,也可以在采用验证样本集对各最大评估分数各自对应的参考分类模型进行验证,从而按照本实施例提供的方式来确定评估分数后,根据再次确定的评估分数进行选取,或者是,可以在若干最大评估分数中选取训练次数最多的参考分类模型作为缺陷分类模型等。此外,在实际应用中,在获取到各参考分类模型各自对应的评估分数后,还可以采用其他方式确定缺陷分类模型,例如,采用平均分数对应的参考缺陷模型等,具体可以根据实际应用场景进行选取,这里就不一一说明。
综上所述,本实施例提供了一种缺陷分类模型的生成方法,所述方法包括基于预设的训练样本集,确定若干参考分类模型;对于每个参考分类模型,基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数;根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。本申请通过训练样本集训练若干参考分类模型,并在若干参考分类模型进行验证时,通过各默认缺陷类别以及各默认缺陷类别的相关缺陷类别来确定各参考分类模型的评估分数,这样可以避免参考分类模型配置的各默认缺陷类别之间的相互混淆,而影响验证得到的参考分类模型的模型性能的准确性,提高了缺陷分类模型的模型性能,从而提高了缺陷分类模型的识别效果,进而提高了面板质量。同时,通过本实施例提供的缺陷分类模型的生成方法生成的缺陷分类模型,可以更精准地应用于缺陷类别可互判(混淆)的场景,且不需要额外增加计算量,易于实现和使用。
基于上述缺陷分类模型的生成方法,本实施例提供了一种缺陷分类模型的生成装置,如图2所示,所述的生成装置包括:
第一确定模块100,用于基于预设的训练样本集,确定若干参考分类模型;
获取模块200,对于每个参考分类模型,用于基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数,其中,所述相关缺陷类别为该参考分类模型配置的默认缺陷类别;
第二确定模块300,用于根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。
此外值得说明的是,本实施例提供的缺陷分类模型的生成装置的具体工作过程在上述缺陷分类模型的生成方法中已经详细说明,这里不再赘述。
基于上述缺陷分类模型的生成方法,本实施例提供了一种面板缺陷分类方法,如图3所述,应用上述实施例所述的缺陷分类模型的生成方法所生成的缺陷分类模型,所述方法包括:
N10、获取待分类的面板缺陷图像;
N20、将所述面板缺陷图像输入所述缺陷分类模型,通过所述缺陷分类模型确定所述面板缺陷图像对应的目标缺陷类别。
此外值得说明的是,本实施例中的缺陷分类模型的生成工作过程在上述缺陷分类模型的生成方法中已经详细说明,这里不再赘述。
基于上述缺陷分类模型的生成方法,本实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的缺陷分类模型的生成方法中的步骤。
基于上述缺陷分类模型的生成方法,本申请还提供了一种终端设备,如图4所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种缺陷分类模型的生成方法,其特征在于,所述方法包括:
基于预设的训练样本集,确定若干参考分类模型;
对于每个参考分类模型,基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数,其中,所述相关缺陷类别为该参考分类模型配置的默认缺陷类别;
根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。
2.根据权利要求1所述缺陷分类模型的生成方法,其特征在于,所述若干参考分类模型中的每个参考分类模型均配置有若干默认缺陷类别,并且各参考分类模型各自配置的若干默认缺陷类别相同。
3.根据权利要求1所述缺陷分类模型的生成方法,其特征在于,所述基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数具体包括:
基于预设的验证样本集以及该参考缺模型配置的各默认缺陷类别,确定该参考分类模型对应的混淆矩阵;
基于所述混淆矩阵及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数。
4.根据权利要求3所述缺陷分类模型的生成方法,其特征在于,所述基于所述混淆矩阵及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数具体包括:
对于每个默认缺陷类别,基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定该默认缺陷类别对应的召回率以及精确率;
基于该参考分类模型配置的各默认缺陷类别各自对应的召回率以及精确率,确定该参考分类模型对应的评估分数。
5.根据权利要求4所述缺陷分类模型的生成方法,其特征在于,所述基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定召回率的过程具体包括:
对于若干默认缺陷类别中的每个默认缺陷类别,基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第一候选元素值集以及第一目标元素值集,其中,所述第一目标元素值集包含于所述第一候选元素值集内;
确定所述第一目标元素值集中的各第一目标元素值的第一和值,以及所述第一候选元素值集中的各第一候选元素值的第二和值;并将所述第一和值和所述第二和值的比值作为该默认缺陷类别对应的召回率。
6.根据权利要求5所述缺陷分类模型的生成方法,其特征在于,所述混淆矩阵中的行方向为训练样本对应的标注缺陷类别,列方向为训练样本对应到的预测缺陷类别;所述基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第一候选元素值集以及第一目标元素值集具体包括:
在所述混淆矩阵中选取该默认缺陷类别所在第一目标行包括的各第一候选元素值,以得到该默认缺陷类别对应的第一候选元素值集合;
在所述第一目标行中选取该默认缺陷类别及该默认缺陷类别对应的相关缺陷类别所在第一目标列的第一目标元素值,以得到该默认缺陷类别对应的第一目标元素值集合。
7.根据权利要求4所述缺陷分类模型的生成方法,其特征在于,所述基于所述混淆矩阵以及该默认缺陷类别对应的相关缺陷类别,确定精确率的过程具体包括:
对于若干默认缺陷类别中的每个默认缺陷类别,基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第二候选元素值集以及第二目标元素值集,其中,所述第二目标元素值集包含于所述第二候选元素值集内;
确定所述第二目标元素值集中的各第二目标元素值的第三和值,以及所述第二候选元素值集中的各第二候选元素值的第四和值;并将所述第三和值和所述第四和值的比值作为该默认缺陷类别对应的精确率。
8.根据权利要求7所述缺陷分类模型的生成方法,其特征在于,所述混淆矩阵中的行方向为训练样本对应的标注缺陷类别,列方向为训练样本对应到的预测缺陷类别;所述基于该默认缺陷类别以及该默认缺陷类别对应的相关缺陷类别,在所述混淆矩阵中选取该默认缺陷类别对应的第二候选元素值集以及第二目标元素值集具体包括:
在所述混淆矩阵中选取该默认缺陷类别所在第二目标列包括的各第二候选元素值,以得到该默认缺陷类别对应的第二候选元素值集合;
在所述第二目标列中选取该默认缺陷类别及该默认缺陷类别对应的相关缺陷类别所在第二目标行的第二目标元素值,以得到该默认缺陷类别对应的第二目标元素值集合。
9.根据权利要求1所述缺陷分类模型的生成方法,其特征在于,所述根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型具体包括:
选取各参考分类模型各自对应的评估分数中的最大评估分数;
将选取到的最大评估分数对应的参考分类模型作为缺陷分类模型。
10.一种缺陷分类模型的生成装置,其特征在于,所述的生成装置包括:
第一确定模块,用于基于预设的训练样本集,确定若干参考分类模型;
获取模块,对于每个参考分类模型,用于基于预设的验证样本集、该参考分类模型配置的各默认缺陷类别及各默认缺陷类别各自对应的相关缺陷类别,确定该参考分类模型对应的评估分数,其中,所述相关缺陷类别为该参考分类模型配置的默认缺陷类别;
第二确定模块,用于根据各参考分类模型各自对应的评估分数以及若干参考分类模型,确定缺陷分类模型。
11.一种面板缺陷分类方法,其特征在于,应用如权利要求1-9任意一项所述的缺陷分类模型的生成方法所生成的缺陷分类模型,所述方法包括:
获取待分类的面板缺陷图像;
将所述面板缺陷图像输入所述缺陷分类模型,通过所述缺陷分类模型确定所述面板缺陷图像对应的目标缺陷类别。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-9任意一项所述的缺陷分类模型的生成方法中的步骤,或者以实现如权利要求11所述的面板缺陷分类方法中的步骤。
13.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-9任意一项所述的缺陷分类模型的生成方法中的步骤,或者实现如权利要求11所述的面板缺陷分类方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110349283.0A CN115147335A (zh) | 2021-03-31 | 2021-03-31 | 缺陷分类模型的生成方法、装置、分类方法及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110349283.0A CN115147335A (zh) | 2021-03-31 | 2021-03-31 | 缺陷分类模型的生成方法、装置、分类方法及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115147335A true CN115147335A (zh) | 2022-10-04 |
Family
ID=83403486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110349283.0A Pending CN115147335A (zh) | 2021-03-31 | 2021-03-31 | 缺陷分类模型的生成方法、装置、分类方法及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115147335A (zh) |
-
2021
- 2021-03-31 CN CN202110349283.0A patent/CN115147335A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230419472A1 (en) | Defect detection method, device and system | |
CN111612763B (zh) | 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 | |
US11341626B2 (en) | Method and apparatus for outputting information | |
CN109886928B (zh) | 一种目标细胞标记方法、装置、存储介质及终端设备 | |
WO2020248387A1 (zh) | 基于多路摄像的人脸识别方法、装置、终端及存储介质 | |
TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
EP3220353A1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP4982213B2 (ja) | 欠陥検査装置及び欠陥検査方法 | |
CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
CN116596875B (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN111368682A (zh) | 一种基于faster RCNN台标检测与识别的方法及系统 | |
CN116128839A (zh) | 晶圆缺陷识别方法、装置、电子设备以及存储介质 | |
CN111259903A (zh) | 识别表计示数方法、装置、可读存储介质和计算机设备 | |
CN115136209A (zh) | 缺陷检测系统 | |
CN114549390A (zh) | 电路板检测方法、电子装置及存储介质 | |
CN110287940B (zh) | 一种基于人工智能的掌纹识别方法及系统 | |
CN117152484A (zh) | 改进YOLOv5s的小目标布匹瑕疵检测方法 | |
CN117372424B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
CN114048817A (zh) | 一种基于变异策略的深度学习输入集优先级测试方法 | |
CN111680680B (zh) | 一种目标码定位方法、装置、电子设备及存储介质 | |
CN116205918B (zh) | 基于图卷积的多模态融合半导体检测方法、装置及介质 | |
CN115147335A (zh) | 缺陷分类模型的生成方法、装置、分类方法及终端设备 | |
CN113450381B (zh) | 一种图像分割模型的准确度评价系统及方法 | |
JP7321452B2 (ja) | プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法 | |
CN114723649A (zh) | 一种面板缺陷检测方法、存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |