CN115205257A - 一种基于正样本学习的人造板表面缺陷检测方法及系统 - Google Patents

一种基于正样本学习的人造板表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN115205257A
CN115205257A CN202210833306.XA CN202210833306A CN115205257A CN 115205257 A CN115205257 A CN 115205257A CN 202210833306 A CN202210833306 A CN 202210833306A CN 115205257 A CN115205257 A CN 115205257A
Authority
CN
China
Prior art keywords
positive sample
detection
positive
model
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210833306.XA
Other languages
English (en)
Inventor
孙琴
肖书浩
何为
余明友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuchang Shouyi University
Original Assignee
Wuchang Shouyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuchang Shouyi University filed Critical Wuchang Shouyi University
Priority to CN202210833306.XA priority Critical patent/CN115205257A/zh
Publication of CN115205257A publication Critical patent/CN115205257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及的是一种图像处理领域的技术,具体是一种基于正样本学习的半监督人造板表面缺陷检测方法,为一种基于正样本学习的人造板表面缺陷检测方法及系统;包括:获取待检测图像,将所述图像按照预设大小进行分割为多张子图片,将多张所述子图片输入至预设缺陷检测模型中进行检测,根据多个检测值与预设值确定是否包含缺陷;本发明通过层层嵌套的模型实现整体缺陷的检测,提高检测精准度的同时降低了检测成本。

Description

一种基于正样本学习的人造板表面缺陷检测方法及系统
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种基于正样本学习的半监督人造板表面缺陷检测方法,为一种基于正样本学习的人造板表面缺陷检测方法及系统。
背景技术
在工业生产中,由于各种原因,会产生各种瑕疵,例如污染、残缺、划痕、破洞。瑕疵种类繁多,形态复杂,肉眼识别难度较大。往往需要检测人员在生产线上人工的判断和筛选瑕疵品。现有瑕疵检测需要工人在高光照的情况下近距离判断每个样品的好坏,对视力带来很高的负担,识别过程不稳定容易受到其他因素影响,生产效率低下。随着人工智能和自动化技术的发展。工业上急需自动化的瑕疵检测技术。提高生产效率和品牌良品率,在生产过程中直接实时对产品表面进行视觉检测,挑选出瑕疵的产品。
现有的基于深度学习的瑕疵检测方法,有通过采集带有瑕疵图像,对瑕疵类型、位置、像素进行标注,制作数据集。但是针对于实际工程场景下,对于数据集的获得成本较高,并且通过人工对图像进行标注则会产生一些人为的误差,而规模较小的数据集人工标注的误差和瑕疵会导致模型训练过程中的不准确,从而导致图像识别的不稳定。
因为工业产品尤其是人造板表面的缺陷在较多的场景下主要为细小的缺陷,而此部分的缺陷在数据量小的情况下的识别难度较高,不易进行识别。
发明内容
本申请实施例提供一种基于正样本学习的人造板表面缺陷检测方法及系统,以通过半监督机器学习的方式训练模型,通过模型实现了对于缺陷识别的自动化,降低了人工成本,实现了智能化检测的效果和目的。并且通过建立正样本模型,不需要通过人工进行数据的标注就能实现对于正样本集的构建,降低了对于数据量的要求。
为了达到上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种基于正样本学习的人造板表面缺陷检测方法,其特征在于,获取待检测图像,将所述图像按照预设大小进行分割为多张子图片,将多张所述子图片输入至预设缺陷检测模型中进行检测,根据多个检测值与预设值确定是否包含缺陷;所述方法还包括在所述多张子图片输入至预设缺陷检测模型中进行检测之前还包括建立缺陷检测模型,所述建立缺陷检测模型包括建立正样本图像检测模型,具体为:将所述多个包含产品表面的图像输入到正样本评估模型中进行评估确定图像为正样本图像或负样本图像,并将所述正样本图像建立正样本图像集,将确定后的所述的正样本图像集输入至训练模型中进行训练生成预设缺陷检测模型,将确定后的负样本图像集输入至所述预设缺陷检测模型进行模型测试,以测试所述预设缺陷检测模型是否可以检测出产品表面存在缺陷;所述预设缺陷检测模型的测试结果大于等于预设阈值。
在第一方面的第一种可能的实现方式中,建立正样本评估模型包括以下方法:建立待评估模型和无标签测试集;基于所述待评估模型对所述无标签测试集进行赋值,并获取赋值结果,根据待评估模型对无标签测试集的赋值结果,确定所述无标签测试集的AUL值;所述无标签测试集包括正样本集以及无标签样本,所述正样本集包括观察到的正样本以及基于观察到的正样本进行扩充的扩充正样本。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,基于观察到的正样本进行扩充包括以下方法:基于图像生成目标框和检测框,基于所述目标框和所述检测框确定位置坐标,基于所述位置坐标去除重叠检测框,并保留包含目标信息的检测框;基于第一规则对目标信息进行筛选和判断确定负样本、正样本以及半正样本;将所述负样本、正样本以及半正样本数据通过损失回归函数进行检测框分类损失训练和检测框定位回归训练,进而扩充所述正样本。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,将所述负样本、正样本以及半正样本数据进行处理包括对所述负样本、正样本以及半正样本进行采样获得采样集,将所述采样集进行处理,所述采样包括以下方法:通过设定的正负样本采样比例对所述负样本、正样本以及半正样本进行采样。
结合第一方面的第二种可能的实现方式,在第四种可能的实现方式中,所述基于所述位置坐标去除重叠检测框包括基于非极大抑制算法去除重叠检测框,包括以下方法:在每个特征层内的检测框之间,通过执行非极大抑制算法以去除所述重叠检测框;在相邻的特征层内检测框之间,所述非极大抑制算法通过衡量检测框之间的相关性,并据此筛选与保留所述包含目标信息的检测框。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述基于第一规则对目标信息进行筛选和判断确定负样本、正样本以及半正样本,包括基于检测框与目标框的重叠区域在目标框中所占比例进行确定,基于确定结果筛选并判定所述正样本与所述半正样本;具体包括以下方法:确定所述检测框与所述目标框的重叠区域在目标框中所占比例即第一比例、检测框与目标框的重叠区域在检测框中所占比例即第二比例和面积比,根据第一比例、第二比例和面积比第一限定条件筛选并判定所述正样本和所半正样本。
结合第一方面的第五种可能的实现方式,在第六种可能的实现方式中,还包括对于正样本的筛选和判定,具体包括:对于获取的所述正样本和所述半正样本,根据第一比例、第二比例和面积比第二限定条件筛选并判定所述正样本以及半正样本;将所述半正样本和所述正样本进行特征提取,提取图像特征和向量特征,比较对应的图像特征和向量特征,基于预设的特征比例,提取半正样本中部分样本为正样本。
结合第一方面的第一种可能的实现方式,在第七种可能的实现方式中,所述根据待评估模型对无标签测试集的赋值结果,确定所述无标签测试集的AUL值,包括以下方法:根据待评估模型对无标签测试集的赋值结果,并基于得到的赋值结果基于阈值进行判断,确定所述无标签测试集中观察到正样本被预测为正样本的第一样本数量;以所述判断阈值为自变量,建立所述第一样本数量与所述判断阈值之间的第一函数关系;根据所述第一函数关系和所述无标签测试集的召回率模型,确定召回率与判断阈值的第二函数关系;所述无标签测试集的召回率模型为第一样本数量在观察到正样本的数量中的比例;根据所述第二函数关系,将召回率在判断阈值位于区间[0,1]上的积分,作为所述无标签测试集的AUL值。
结合第一方面的第七种可能的实现方式,在第八种可能的实现方式中,根据待评估模型对无标签测试集的赋值结果,并基于得到的赋值结果基于阈值进行判断,确定所述无标签测试集中观察到正样本被预测为正样本的第一样本数量,具体包括:根据待评估模型对无标签测试集的赋值结果,以及判断阈值,将赋值结果大于或等于判断阈值的样本预测为正,将赋值结果小于判断阈值的样本预测为负;确定所述无标签测试集中观察到正样本被预测为正的第一样本数量。
第二方面,本申请实施例还提供一种基于正样本学习的人造板表面缺陷检测系统,包括:图像获取单元,用于获取待检测图像;分割单元,用于对所述图像按照预设大小进行分割为多张子图片;检测单元,用于将多张子图片输入至预设缺陷检测模型中进行检测,根据多个检测值与预设值确定是否包含缺陷;缺陷检测模块生成单元,用于生成缺陷检测模块。
本申请实施例提供的技术方案中,基于正样本的确定构建缺陷检测检测模块实现对于人造板表面缺陷的识别。并且针对于正样本的确定基于正样本评估模型对无标签检测集进行赋值,通过赋值的方式实现对于正样本的识别,并且在基础正样本数据之上通过扩充的方式增加正样本数量提高整体的检测精确性。本发明通过层层嵌套的模型实现整体缺陷的检测,提高检测精准度的同时降低了检测成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例,其中示例数字在附图的各个视图中代表相似的机构。
图1是本申请的一些实施例所示的一种基于正样本学习的人造板表面缺陷检测方法的流程图;
图2是本申请的一些实施例所示的建立预设缺陷检测模型的方法流程图;
图3是本申请的一些实施例所示的建立正样本评估模型的方法流程图;。
图4是本申请实施例提供的基于正样本学习的人造板表面缺陷检测系统结构图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中,通过实例阐述了许多具体细节,以便提供对相关指导的全面了解。然而,对于本领域的技术人员来说,显然可以在没有这些细节的情况下实施本申请。在其他情况下,公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述,没有细节,以避免不必要的模糊本申请的方面。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是,流程图的执行过程可以不按顺序执行。相反,这些执行过程可以以相反的顺序或同时执行。另外,可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
参阅图4,本申请实施例提供一种基于正样本学习的人造板表面缺陷检测系统100,用于对人造板表面缺陷检测,该系统应用于服务器端,即在服务器端进行主要的工作和处理。
在本实施例中,工作和处理主要包括两个过程,第一个过程为基于获取的人造板表面图像进行缺陷的识别,第二个过程为基于识别的结果以及识别过程对识别的方法即模型进行训练,并将训练后的模型应用于服务器端进行后续的识别过程。
在实践中,服务器100可为单台服务器或者为多台服务器组成的服务器集群,本实施例以单台服务器为例。
在本实施例中,基于正样本学习的人造板表面缺陷检测系统包括:图像获取单元110,用于获取待检测图像。
在实际生产过程中,图像获取单元110主要用于对生产过程中的人造板进行表面图像的获取,获取的方式可以通过安装相关图像采集设备对生产线上的包含产品表面的图像进行实时采集,因此,将采集到的包含产品表面的图像作为待检测图片。
需要说明的是,为了提高检测的准确性,上述相关图像采集设备可以采用高精度图像采集摄像头,通过调整角度、光线、滤镜、倍镜、聚焦等,针对同一产品表面采集多张待检测图片,并通过预设筛选标准比如清晰度等对多张待检测图片进行处理筛选出目标待检测图片进行后续检测。
还包括分割单元120,本实施例中分割单元用于对待检测图像按照预设大小进行分割为多张字图片。
检测单元130,用于将多张字图片输入至预设缺陷检测模块中进行检测,并根据多个检测值与预设值确定是否包含缺陷。
缺陷检测模块生成单元140,用于生成缺陷检测模块。
在本实施例中,缺陷检测模块配置于服务器内,在本实施例中,缺陷检测模块用于对人造板表面检测确定是否具有缺陷。在本实施例中,缺陷包括但不限于:划痕、缺损、因为磨损造成的表面光洁度缺陷等。其中,缺损为较为显著的缺陷,而划痕为比较微小的缺陷。
在本实施例中,服务器在人造板进入检测环节即开启检测任务时,基于缺陷检测模块对待检测人造板获取的表面图像进行检测。
针对于服务器的物理结构,包括基于缺陷检测方法的检测装置、存储器、处理器和通信单元。存储器、处理器以及通信单元各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。测试装置包括至少一个可以软件或固件(firmware)的形式存储于存储器220中或固化在电子设备的操作系统(operating system,OS)中的软件功能模块。处理器用于执行存储器中存储的可执行模块,例如基于测试装置所包括的软件功能模块及计算机程序等。
其中,存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器用于存储程序,处理器在接收到执行指令后,执行所述程序。通信单元用于通过网络建立服务器与终端之间的通信连接,并用于通过网络收发数据。
处理器可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解,图2所示的结构仅为示意,测试服务器还可包括更多或者更少的组件,或者具有不同的配置。各组件可以采用硬件、软件或其组合实现。
针对于游戏测试管理系统提供的基于正样本学习的人造板表面缺陷检测方法,请参阅图1,是根据本申请的一些实施例所示的一种基于正样本学习的人造板表面缺陷检测方法的流程图,主要方法为基于缺陷检测模型对待检测图像进行检测,根据多个检测值与预设值确定是否包含有缺陷。并且,在本实施例中,通过建立正样本图像监测模型,将多个包含产品表面的图像输入到正样本评估模型中进行评估确定图像为正样本图像或负样本图像,并将正样本图像建立正样本图像集,将确定后的正样本图像集输入至训练模型中进行训练生成预设缺陷检测模型,将确定后的负样本图像集输入至与社区先检测模型中进行魔性测试,以测试预设缺陷检测模型是否可以检测出产品表面存在缺陷。
本实施例中的基于正样本学习的人造板表面缺陷检测方法,通过正样本检测模型实现对于正样本的集合,降低了对图像的标记的成本,不需要通过标签化处理实现对于特征的比对,并且通过负样本图像检测模型中的负样本集合对模型进行测试确保在检测比对过程中对于缺陷比对的误差,提高了缺陷检测的精准度和效率。
具体的请参阅图1,详细的说明了基于正样本学习的人造板表面缺陷监测方法的具体处理过程:
步骤S110.获取待检测图像。
作为一个实施例,图像获取单元主要用于对生产过程中的人造板进行表面图像的获取,获取的方式可以通过安装相关图像采集设备对生产线上的包含产品表面的图像进行实时采集,因此,将采集到的包含产品表面的图像作为待检测图片。
需要说明的是,为了提高检测的准确性,上述相关图像采集设备可以采用高精度图像采集摄像头,通过调整角度、光线、滤镜、倍镜、聚焦等,针对同一产品表面采集多张待检测图片,并通过预设筛选标准比如清晰度等对多张待检测图片进行处理筛选出目标待检测图片进行后续检测。
因此,上述将生产线上实时产生的包含产品表面的图像即待检测图片转化为检测请求,从而在接收到检测请求后,通过预设算法等方式对检测请求进行解析,可以得到包含产品表面的待检测图片。
步骤S120.将图像按照预设大小进行分割为多张子图片,并将多张字图片输入至预设缺陷检测模型中进行检测。
在本实施例中,人造板的整体形状较大,为了提高图像识别的快速和精准度,对获取的待检测图像即人造板的图像进行分割为多块进行检测,从而提高检测效率。
针对于图像分割按照最优的单个图像尺寸进行确定,即当获取的整体图像可以分割为多个最优单个图像,检测对象为确定的最优单个图像,比如针对一张为1200乘以1000的待检测图片,预设大小为120乘以10,因此可以将该待检测图片按照120乘以10进行切割成10张子图片。并对单个图像进行相对位置的确定,其确定方法为通过对单个图片进行标签化处理。即将整体图像进行分割,每一个单个图像上配置有坐标标签,用于对单个图像位置的确定。
步骤S130.根据多个检测值与预设值确定是否包含缺陷。
在本实施例中,将多张子图片输入到预设缺陷检测模型中进行检测,可以理解的是,有多少张子图片即可以获得多少个检测值,进而根据多个检测值与预设阈值确定产品表面是否包含缺陷。
在本实施例中,将多个包含产品表面的图像输入到正样本评估模型中进行评估确定图像为正样本图像或负样本图像,并将正样本图像建立正样本图像集,将确定后的的正样本图像集输入至训练模型中进行训练生成预设缺陷检测模型,将确定后的负样本图像集输入至预设缺陷检测模型进行模型测试,以测试预设缺陷检测模型是否可以检测出产品表面存在缺陷;所述预设缺陷检测模型的测试结果大于等于预设阈值。
其中,预设缺陷检测模型是预先生成的,下面对如何建立预设缺陷检测模型进行详细说明。
步骤S210.建立正样本图像检测模型。
具体为,将多个包含产品表面的图像输入到正样本评估模型中进行评估确定图像为正样本图像或负样本图像,并将正样本图像建立正样本图像集,将确定后的的正样本图像集输入至训练模型中进行训练生成预设缺陷检测模型,将确定后的负样本图像集输入至预设缺陷检测模型进行模型测试,以测试预设缺陷检测模型是否可以检测出产品表面存在缺陷;预设缺陷检测模型的测试结果大于等于预设阈值。
在本实施例中,正样本图像检测模型主要是基于获得的多个正样本图像,通过多个图像建立检测模型,而针对于正样本图像的建立在现有技术中主要是在检测过程中对于正样本进行标签化,并将标签化的正样本图像对模型进行训练,此方法需要较多的正样本才能实现模型的建立。但在实际的工程过程中,样本数量的获取成本较高,训练模型的成本也较高。并且,认为正样本的标签设置大多数需要人工进行识别即要进行数据标注,这种方式对于人工的要求也较高,在本实施例中正样本图像的获取方式是基于一种正样本评估模型,即将图像输入至正样本评估模型中从而确定是否为正样本,将获取到的正样本进行集合并提取特征从而形成正样本检测模型。在本实施例中,正样本的特征提取包括图像特征和向量特征。
所以针对于正样本图像检测模型基于正样本评估模型评估获得的正样本,参阅图2就针对于正样本评估模型进行详细的说明。
步骤S310.建立待评估模型和无标签测试集。
步骤S320.基于待评估模型对无标签测试集进行赋值,并获取赋值结果。
步骤S330.根据待评估模型对无标签测试集的赋值结果,确定所述无标签测试集的AUL值。
在本实施例中,具体为根据待评估模型对无标签测试集的赋值结果,并基于得到的赋值结果基于阈值进行判断,确定所述无标签测试集中观察到正样本被预测为正样本的第一样本数量;以所述判断阈值为自变量,建立所述第一样本数量与所述判断阈值之间的第一函数关系;根据所述第一函数关系和所述无标签测试集的召回率模型,确定召回率与判断阈值的第二函数关系;其中无标签测试集的召回率模型为第一样本数量在观察到正样本的数量中的比例;根据第二函数关系,将召回率在判断阈值位于区间[0,1]上的积分,作为所述无标签测试集的AUL值。
在本实施例中,根据待评估模型对无标签测试集的赋值结果,并基于得到的赋值结果基于阈值进行判断,确定所述无标签测试集中观察到正样本被预测为正样本的第一样本数量,具体包括以下过程:
根据待评估模型对无标签测试集的赋值结果,以及判断阈值,将赋值结果大于或等于判断阈值的样本预测为正,将赋值结果小于判断阈值的样本预测为负;确定所述无标签测试集中观察到正样本被预测为正的第一样本数量。
在本实施例中,赋值结果为无标签测试集中每个样本被待评估模型判断成正样本的条件概率,其中无标签测试集包含有观察到正样本和收集到的无标签样本。
具体地,对于正样本学习,难以获取完全标注的测试集或者难以获取较多无标签样本的先验知识的条件,只能获得无标签测试集,其中无标签测试集中包含有观察到正样本和收集到的无标签样本,其中无标签样本中可能包含未被观察到的正样本和负样本。在此条件下,待评估的正样本模型会对无标签测试集进行赋值,获取赋值结果,其中赋值结果为测试集中每个样本被待评估正样本模型判断成正样本的条件概率,然后根据待评估模型对无标签测试集的打分结果,确定无标签测试集的AUL值,其中AUL为正样本模型的评估指标。
本发明实施例提供的正样本学习模型评估方法,通过利用待评估模型对无标签测试集进行打分,获取无标签测试集中每个样本被待评估模型判断成正样本的条件概率,并根据条件概率,确定待评估模型的评估指标AUL值,从而实现在难以获取完全标注的测试集或者难以获取较多无标签样本的先验知识的条件下,能够对正样本学习模型进行评估,解决正样本学习下模型评估的困难。
并且,在本实施例中,无标签测试集包括正样本集以及无标签样本,其中正样本集包括观察到的正样本以及基于观察到的正样本进行扩充的扩充正样本。
针对于观察到的正样本为已确定的正样本,进行扩充的扩充正样本为基于已确定的正样本进行扩充得到的正样本,针对于正样本的扩充用于增加正样本的数量,提高正样本集的丰富度,提高检测准确度。
参阅图3,就针对于正样本扩充的方法进行说明,具体为:
步骤S410.基于待检测图像生成目标框和检测框,并基于目标框和检测框确定位置坐标,基于位置坐标去除重叠检测框,并保留包含目标信息的检测框。
在本实施例中,基于位置坐标去除重叠检测框包括基于非极大抑制算法去除重叠检测框,具体为在每个特征层内的检测框之间通过执行非极大抑制算法以去除重叠检测框;在相邻的特征层件检测框之间,非极大抑制算法通过衡量检测框之间的关联性,并根据关联性筛选与保留包含目标信息的检测框。
具体为,通过非极大抑制算法将每个特征层内的检测框依据类别置信度进行降序排序,利用参数COP判断特征层内检测框之间的重叠关系,去除相互重叠的检测框;其中利用参数COP判断特征层内检测框之间的重叠关系包括,在当前特征层内检测框集合中,依照类别置信度排序,依次设定基准框,其余检测框设定为对照框,计算基准框与对照框的参数COP,并根据参数COP与设定阈值的关系,判断基准框与对照框是否存在重叠关系,若COP大于阈值,则表明基准框与对照框相互重叠,将对照框都从当前层检测框集合中去除,若COP小于阈值,则表明无重叠关系,循环迭代直至任意检测框之间无重叠。
其中检测框之间的相关性即为如果某一特征层内的某个检测框包含目标物体,那么在相邻特征层中,与此检测框相互重叠的检测框也必然包含目标物体或目标物体的一部分,这些检测框都对目标有较好的定位,因此要在相邻特征层中筛选出这类检测框;设定所有特征层内检测框中类别置信度最大的检测框为层间基准框,设定其所在的特征层为基准层,依据层间基准框的所属特征层索引值,判断基准层是否为最低层,若不是最低层则在相邻低层内筛选检测框,并且判断是否为最高层,若不是最高层,则在相邻高层内筛选检测框并输出,进而筛选与保留包含目标信息的检测框。
步骤S420.基于第一规则对目标信息进行筛选和判断确定负样本、正样本以及半正样本,包括基于检测框与目标框的重叠区域在目标框中所占比例进行确定,基于确定结果筛选并判定所述正样本与所述半正样本。
方法包括:对于获取的正样本和半正样本,根据第一比例、第二比例和面积比第二限定条件筛选并判定正样本以及半正样本;将半正样本和正样本进行特征提取,提取图像特征和向量特征,比较对应的图像特征和向量特征,基于预设的特征比例,提取半正样本中部分样本为正样本。
具体包括以下方法:确定检测框与所述目标框的重叠区域在目标框中所占比例即第一比例、检测框与目标框的重叠区域在检测框中所占比例即第二比例和面积比,根据第一比例、第二比例和面积比第一限定条件筛选并判定所述正样本和所半正样本,并基于预设的特征比例,提取半正样本中部分样本为正样本。
针对于正样本的判断和半正样本的判断进行详细说明。
针对于正样本的判断过程具体为:
若每个检测框和所有目标框的第一比例中的最大值高于正样本阈值(设置正样本阈值为0.5),或者每个检测框和所有目标框的第二比例中的最大值高于正样本阈值,并且每个检测框和最大值所对应的目标框的面积比在一级范围内,则判定它为正样本;其中,设置检测框与目标框的面积比一级范围为(0.7~2.4)。
若每个目标框和所有检测框的第一比例中的最大值所对应的检测框面积比在一级范围内,则判定最大值所对应的检测框为正样本。
针对于半正样本的判断过程具体为:
若每个检测框和所有目标框的第一比例中的最大值高于正样本阈值,或者每个检测框和所有目标框的第二比例中的最大值高于正样本阈值,且它和最大值所对应的目标框的面积比在二级范围内,则它为半正样本;其中,设置面积比二级范围为(0.24~0.7,2.4~3.6);将正样本与半正样本的类别标签设置为其所匹配的目标框的类别标签。
针对于提取半正样本中部分样本为正样本的具体过程:
提取半正样品中的特征,在本实施例中,特征包括图像特征和向量特征,提取特征包括提取图像特征与其对应的向量特征。并设置特征比例,其中特征比例为阈值范围,包括图像特征阈值和响亮特征阈值。对于特征比对即先对比图像特征,当图像特征阈值在一定范围内时,确定其对应的向量特征,当向量特征在一定阈值范围内是,则可将此半正样本提取为正样本。
步骤S430.通过样本采样单元根据设定的正负样本采样比例对负样本、正样本以及半正样本进行采样。
步骤S440.将全部采样数据输入至损失回归函数,通过损失回归函数进行检测框分类损失训练和检测框定位回归训练,进而扩充正样本。
为了实现上述实施例,本实施例还提出计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如上述实施例中所述的基于正样本学习的人造板表面缺陷检测方法。
计算机设备以通用计算设备的形式表现。计算机设备的组件可以包括但不限于:一个或者多个处理器或者处理单元,系统存储器,连接不同系统组件(包括系统存储器和处理单元)的总线。
总线表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备也可以与一个或多个外部设备(例如键盘、指向设备、显示器等)通信,还可与一个或者多个使得用户能与该计算机设备交互的设备通信,和/或与使得该计算机设备能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且,计算机设备还可以通过网络适配器与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(WideArea Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器通过总线与计算机设备的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,当计算机程序在计算机上执行时,使得计算机执行本申请实施例提供的基于正样本学习的人造板表面缺陷监测方法。
需要理解的是,针对上述内容没有进行名词解释的技术术语,本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义,例如针对一些阈值、系数等术语,本领域技术人员可以根据前后的逻辑关系进行推导和确定,这些数值的取值范围可以根据实际情况进行选取,例如0.1~1,又例如1~10,再例如50~100,在此均不作限定。
本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及偏好标签的技术特征/技术术语进行确定,例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语,本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导,从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀,例如“第一”、“第二”、“示例”、“目标”等,可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀,例如“集合”、“列表”等,也可以根据前后文进行毫无疑义地推导和确定。
本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解,本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的,因此上述内容并不是对整体方案的创造性的评判。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。
另外,本领域普通技术人员可以理解的是,本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“系统”。此外,本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品,所述产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。
本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写,包括面向对象程序设计,如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET,Python等,或类似的常规程序编程语言,如"C"编程语言,Visual Basic,Fortran2003,Perl,COBOL 2002,PHP,ABAP,动态编程语言如Python,Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网络(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非申请专利范围中明确说明,本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的申请专利范围并不仅限于披露的实施例,相反,申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件装置实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或行动装置上安装所描述的系统。
同样应当理解的是,为了简化本申请揭示的表述,从而帮助对至少一个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (10)

1.一种基于正样本学习的人造板表面缺陷检测方法,其特征在于,获取待检测图像,将所述图像按照预设大小进行分割为多张子图片,将多张所述子图片输入至预设缺陷检测模型中进行检测,根据多个检测值与预设值确定是否包含缺陷;
所述方法还包括在所述多张子图片输入至预设缺陷检测模型中进行检测之前还包括建立缺陷检测模型,所述建立缺陷检测模型包括建立正样本图像检测模型,具体为:
将所述多个包含产品表面的图像输入到正样本评估模型中进行评估确定图像为正样本图像或负样本图像,并将所述正样本图像建立正样本图像集,将确定后的所述的正样本图像集输入至训练模型中进行训练生成预设缺陷检测模型,将确定后的负样本图像集输入至所述预设缺陷检测模型进行模型测试,以测试所述预设缺陷检测模型是否可以检测出产品表面存在缺陷;所述预设缺陷检测模型的测试结果大于等于预设阈值。
2.根据权利要求1所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,建立正样本评估模型包括以下方法:
建立待评估模型和无标签测试集;
基于所述待评估模型对所述无标签测试集进行赋值,并获取赋值结果,根据待评估模型对无标签测试集的赋值结果,确定所述无标签测试集的AUL值;
所述无标签测试集包括正样本集以及无标签样本,所述正样本集包括观察到的正样本以及基于观察到的正样本进行扩充的扩充正样本。
3.根据权利要求2所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,基于观察到的正样本进行扩充包括以下方法:
基于图像生成目标框和检测框,基于所述目标框和所述检测框确定位置坐标,基于所述位置坐标去除重叠检测框,并保留包含目标信息的检测框;基于第一规则对目标信息进行筛选和判断确定负样本、正样本以及半正样本;将所述负样本、正样本以及半正样本数据通过损失回归函数进行检测框分类损失训练和检测框定位回归训练,进而扩充所述正样本。
4.根据权利要求3所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,将所述负样本、正样本以及半正样本数据进行处理包括对所述负样本、正样本以及半正样本进行采样获得采样集,将所述采样集进行处理,所述采样包括以下方法:
通过设定的正负样本采样比例对所述负样本、正样本以及半正样本进行采样。
5.根据权利要求3所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,所述基于所述位置坐标去除重叠检测框包括基于非极大抑制算法去除重叠检测框,包括以下方法:
在每个特征层内的检测框之间,通过执行非极大抑制算法以去除所述重叠检测框;在相邻的特征层内检测框之间,所述非极大抑制单元通过衡量检测框之间的相关性,并据此筛选与保留所述包含目标信息的检测框。
6.根据权利要求5所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,所述基于第一规则对目标信息进行筛选和判断确定负样本、正样本以及半正样本,包括基于检测框与目标框的重叠区域在目标框中所占比例进行确定,基于确定结果筛选并判定所述正样本与所述半正样本;具体包括以下方法:
确定所述检测框与所述目标框的重叠区域在目标框中所占比例即第一比例、检测框与目标框的重叠区域在检测框中所占比例即第二比例和面积比,根据第一比例、第二比例和面积比第一限定条件筛选并判定所述正样本和所半正样本。
7.根据权利要求6所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,还包括对于正样本的筛选和判定,具体包括:
对于获取的所述正样本和所述半正样本,根据第一比例、第二比例和面积比第二限定条件筛选并判定所述正样本以及半正样本;将所述半正样本和所述正样本进行特征提取,提取图像特征和向量特征,比较对应的图像特征和向量特征,基于预设的特征比例,提取半正样本中部分样本为正样本。
8.根据权利要求2所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,所述根据待评估模型对无标签测试集的打分结果,确定所述无标签测试集的AUL值,包括以下方法:
根据待评估模型对无标签测试集的赋值结果,并基于得到的赋值结果基于阈值进行判断,确定所述无标签测试集中观察到正样本被预测为正样本的第一样本数量;以所述判断阈值为自变量,建立所述第一样本数量与所述判断阈值之间的第一函数关系;根据所述第一函数关系和所述无标签测试集的召回率模型,确定召回率与判断阈值的第二函数关系;所述无标签测试集的召回率模型为第一样本数量在观察到正样本的数量中的比例;根据所述第二函数关系,将召回率在判断阈值位于区间[0,1]上的积分,作为所述无标签测试集的AUL值。
9.根据权利要求8所述的基于正样本学习的人造板表面缺陷检测方法,其特征在于,根据待评估模型对无标签测试集的赋值结果,并基于得到的赋值结果基于阈值进行判断,确定所述无标签测试集中观察到正样本被预测为正样本的第一样本数量,具体包括:根据待评估模型对无标签测试集的赋值结果,以及判断阈值,将赋值结果大于或等于判断阈值的样本预测为正,将赋值结果小于判断阈值的样本预测为负;确定所述无标签测试集中观察到正样本被预测为正的第一样本数量。
10.一种基于正样本学习的人造板表面缺陷检测系统,其特征在于,包括:
图像获取单元,用于获取待检测图像;
分割单元,用于对所述图像按照预设大小进行分割为多张子图片;
检测单元,用于将多张子图片输入至预设缺陷检测模型中进行检测,根据多个检测值与预设值确定是否包含缺陷;
缺陷检测模块生成单元,用于生成缺陷检测模块。
CN202210833306.XA 2022-07-14 2022-07-14 一种基于正样本学习的人造板表面缺陷检测方法及系统 Pending CN115205257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210833306.XA CN115205257A (zh) 2022-07-14 2022-07-14 一种基于正样本学习的人造板表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210833306.XA CN115205257A (zh) 2022-07-14 2022-07-14 一种基于正样本学习的人造板表面缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN115205257A true CN115205257A (zh) 2022-10-18

Family

ID=83581507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210833306.XA Pending CN115205257A (zh) 2022-07-14 2022-07-14 一种基于正样本学习的人造板表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN115205257A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949305A (zh) * 2019-03-29 2019-06-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
CN111488994A (zh) * 2020-03-04 2020-08-04 清华大学 正样本学习模型评估方法及装置
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
US20220198228A1 (en) * 2020-12-22 2022-06-23 Hon Hai Precision Industry Co., Ltd. Method for detecting defects in multi-scale images and computing device utilizing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949305A (zh) * 2019-03-29 2019-06-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
CN111488994A (zh) * 2020-03-04 2020-08-04 清华大学 正样本学习模型评估方法及装置
CN111862067A (zh) * 2020-07-28 2020-10-30 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
US20220198228A1 (en) * 2020-12-22 2022-06-23 Hon Hai Precision Industry Co., Ltd. Method for detecting defects in multi-scale images and computing device utilizing method
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法

Similar Documents

Publication Publication Date Title
EP3937128A2 (en) Image defect detection method and apparatus, electronic device, storage medium and product
CN101498592B (zh) 指针式仪表的读数方法及装置
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
CN111693534A (zh) 表面缺陷的检测方法、模型训练方法、装置、设备和介质
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
JP5718781B2 (ja) 画像分類装置および画像分類方法
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN111986195B (zh) 一种外观缺陷检测方法及系统
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN113111903A (zh) 智能产线监测系统及监测方法
CN111126112B (zh) 候选区域确定方法和装置
CN112926621A (zh) 数据标注方法、装置、电子设备及存储介质
CN113269769A (zh) 一种基于图像配准的缺陷检测方法、系统及设备
CN115937101A (zh) 质量检测方法、装置、设备及存储介质
CN109102486B (zh) 基于机器学习的表面缺陷检测方法及装置
CN116152576B (zh) 图像处理方法、装置、设备及存储介质
CN113191362A (zh) 一种变电设备油渗漏缺陷检测装置及方法
CN115205257A (zh) 一种基于正样本学习的人造板表面缺陷检测方法及系统
CN110634124A (zh) 一种区域检测的方法及设备
CN114998216A (zh) 透明件表面缺陷快速检测方法及装置
CN114266737A (zh) 缺陷检测方法、装置、设备和存储介质
CN113804704A (zh) 电路板检测方法、视觉检测设备及具有存储功能的装置
CN111046878A (zh) 一种数据处理方法、装置及计算机存储介质和计算机
US20240104717A1 (en) Defect detection method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221018