CN116091500B - 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 - Google Patents

扩散板缺陷检测方法、模型训练方法、装置、设备和介质 Download PDF

Info

Publication number
CN116091500B
CN116091500B CN202310364433.4A CN202310364433A CN116091500B CN 116091500 B CN116091500 B CN 116091500B CN 202310364433 A CN202310364433 A CN 202310364433A CN 116091500 B CN116091500 B CN 116091500B
Authority
CN
China
Prior art keywords
image
defect
sample image
sample
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310364433.4A
Other languages
English (en)
Other versions
CN116091500A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202310364433.4A priority Critical patent/CN116091500B/zh
Publication of CN116091500A publication Critical patent/CN116091500A/zh
Application granted granted Critical
Publication of CN116091500B publication Critical patent/CN116091500B/zh
Priority to PCT/CN2023/141572 priority patent/WO2024207819A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请实施例公开了一种扩散板缺陷检测方法、模型训练方法、装置、设备和介质,该方法通过接收扩散板图像;将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;输出所述缺陷检测结果。也即,该方法通过在模型训练时对样本图像进行马赛克增强,并对过检图像进行缺陷合成,以形成多种类型的缺陷增强样本,从而使得训练出的模型泛化性更高,对缺陷图像的识别能力更强,过检率更低,因此,本实施例的方法不仅相对于人工检测提高检测效率,还提高了对缺陷识别的泛化性和识别准确性。

Description

扩散板缺陷检测方法、模型训练方法、装置、设备和介质
技术领域
本申请涉及文件预览技术领域,尤其涉及一种扩散板缺陷检测方法、模型训练方法、装置、设备和介质。
背景技术
现阶段,电视机产业市场巨大,电视机制造业前景广阔。而扩散板作为电视机重要零部件,质量好坏直接影响成像,故而扩散板的缺陷检测引起厂家高度重视。但现有生产工艺是先将扩散板原材料加载到流水线上,裁剪后人工检测扩散板质量,并人工将缺陷板剔除后进行后续印刷工艺。因此,目前的扩散板检测效率较低。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请实施例提供了一种扩散板缺陷检测方法、模型训练方法、装置、设备和介质,解决了现有方法中扩散板检测效率较低的技术问题。
一方面,本申请实施例提供了一种扩散板缺陷检测方法,包括:
接收扩散板图像;
将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
输出所述缺陷检测结果。
可选地,所述接收扩散板图像的步骤之前,还包括:
接收所述样本图像集;
利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型。
在该实施方式中,提前进行模型训练,可以提高扩散板缺陷实时检测的效率。
可选地,所述接收所述样本图像集的步骤之前,还包括:
对采集的扩散板的原始样本图像进行裁剪,获得裁剪图像;
基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像。
在该实施方式中,提前合成增强样本图像,可以提高模型训练的效率。
可选地,所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述第一图像和所述第二图像合成一张样本图像,以获得所述增强样本图像。
在该实施方式中,缺陷严重程度不同可以导致明显缺陷和不明显缺陷。不明显缺陷的图像作为样本,可能被认定为无缺陷图像,导致模型使用时出现漏检。将明显缺陷与不明显缺陷进行对比增强,作为样本进行训练时,可以在一定程度上避免被认定为无缺陷图像,从而降低模型使用时出现漏检的风险。
可选地,所述裁剪图像包括缺陷类型不同的图像;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述缺陷类型不同的图像合成一张样本图像,以获得所述增强样本图像。
在该实施方式中,缺陷类型不同的图像可以利用缺陷样本少的图像进行增强所形成的增强样本图像,也可以利用多种缺陷混合增强所形成的增强样本图像。利用缺陷样本少的图像进行增强所形成的增强样本图像,添加到训练样本中,可以使得模型对这样缺陷有效识别,从而提高模型对缺陷识别的全面性,提高模型的泛化能力。相较于单一的缺陷样本图像,本实施例中,利用包含多种缺陷的样本图像进行模型训练,可以使得增加模型的稳定性。
可选地,所述接收所述样本图像集的步骤之前,还包括:
获取过检图像;
对所述过检图像进行缺陷合成,获得所述融合样本图像。
在该实施方式中,可以理解的是,过检图像是指并无缺陷(未被认定为缺陷)的图像被识别为缺陷图像,在过检图像进行缺陷合成,可以使得模型训练时,以缺陷的特征掩盖(或弱化)非缺陷的特征,从而使得模型只有识别到缺陷的特征时(不管图像中有没有被认定为非缺陷的特征)才会把图像识别为缺陷图像,从而减少对只有非缺陷特征的图像的误识别,提高模型对缺陷识别的准确性,防止过检。
可选地,所述利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型的步骤,包括:
利用所述样本图像集对初始缺陷检测模型进行训练,获得中间缺陷检测模型;
利用过检图像和漏检图像,对中间缺陷检测模型进行测试,并筛选出所述缺陷检测模型。
在该实施方式中,在模型训练完后,将保存的中间轮次模型(也即获得中间缺陷检测模型)权重使用日常过检图像和漏检图像,以及收集的大量真实产线数据测试,选择最佳模型。以保证模型在真实环境对于各种工况是最优模型。使得模型对于扩散板图像的缺陷识别更为准确、可靠、完整。
可选地,所述扩散板图像是利用多个图像采集设备从扩散板的上方和下方采集获得;
所述输出所述缺陷检测结果的步骤之后,还包括:
将缺陷检测结果为存在缺陷的扩散板剔除出生产线。
在该实施方式中,由于在生产线上实时采集实时识别,因此,在获得缺陷检测结果后,可以直接将缺陷检测结果为存在缺陷的扩散板剔除出生产线。因此,可以在生产线上设置剔除装置,由控制中心进行控制,根据识别的结果实时剔除,提高生产线的效率和良品率。
可选地,所述输出所述缺陷检测结果的步骤之后,还包括:
对所述缺陷检测结果进行人工复检。
为了提高检测的准确率,并且便于修正模型,在该实施方式中,还可以在获得缺陷检测结果后,进行人工复检。
再一方面,本申请实施例还提供了一种模型训练方法,包括:
接收所述样本图像集,所述样本图像集中包括增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型。
可选地,所述接收所述样本图像集的步骤之前,还包括:
对采集的扩散板的原始样本图像进行裁剪,获得裁剪图像;
基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像。
可选地,所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述第一图像和所述第二图像合成一张样本图像,以获得所述增强样本图像。
可选地,所述裁剪图像包括缺陷类型不同的图像;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述缺陷类型不同的图像合成一张样本图像,以获得所述增强样本图像。
可选地,所述接收所述样本图像集的步骤之前,还包括:
获取过检图像;
对所述过检图像进行缺陷合成,获得所述融合样本图像。
再一方面,本申请实施例还提供了一种扩散板缺陷检测装置,包括:
接收模块,用于接收扩散板图像;
识别模块,用于将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
输出模块,用于输出所述缺陷检测结果。
再一方面,本申请实施例还提供了一种模型训练装置,包括:
样本接收模块,用于接收所述样本图像集,所述样本图像集中包括增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
模型训练模块,用于利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型。
再一方面,本申请实施例提供了一种电子设备,包括:存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序,实现前述方法。
再一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述处理器执行所述计算机程序,实现前述方法。
本申请的实施例提供一种扩散板缺陷检测方法、模型训练方法、装置、设备和介质,该方法通过接收扩散板图像;将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;输出所述缺陷检测结果。也即,该方法通过在模型训练时对样本图像进行马赛克增强,并对过检图像进行缺陷合成,以形成多种类型的缺陷增强样本,从而使得训练出的模型泛化性更高,对缺陷图像的识别能力更强,过检率更低,因此,本实施例的方法不仅相对于人工检测提高检测效率,还提高了对缺陷识别的泛化性和识别准确性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种扩散板缺陷检测方法的流程示意图;
图3是本申请实施例提供的一种明显缺陷和不明显缺陷的对比增强所形成的增强样本图像;
图4是本申请实施例提供的一种利用缺陷样本少的图像进行增强所形成的增强样本图像;
图5是本申请实施例提供的一种基于对过检图像进行缺陷合成所形成的融合样本图像;
图6是本申请实施例提供的一种利用多种缺陷混合增强所形成的增强样本图像
图7是本申请实施例提供的一种图像采集设备在生产上的布局示意图;
图8是本申请实施例提供的一种模型训练方法的流程示意图;
图9是本申请实施例提供的一种扩散板缺陷检测装置的结构示意图;
图10是本申请实施例提供的一种模型训练装置的结构示意图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:通过接收扩散板图像;将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;输出所述缺陷检测结果。
面对目前的扩散板检测效率较低的问题,本申请提供一种解决方案,通过在模型训练时对样本图像进行马赛克增强,并对过检图像进行缺陷合成,以形成多种类型的缺陷增强样本,从而使得训练出的模型泛化性更高,对缺陷图像的识别能力更强,过检率更低,因此,本实施例的方法不仅相对于人工检测提高检测效率,还提高了对缺陷识别的泛化性和识别准确性。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示,该电子设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中,所述电子设备通过处理器1001调用存储器1005中存储的扩散板缺陷检测装置和模型训练装置,并执行本申请实施例提供的扩散板缺陷检测方法和模型训练方法。
参见图2,本申请的实施例提供了一种扩散板缺陷检测方法,包括:
S20、接收扩散板图像;
在具体实施过程中,扩散板是指液晶显示器中的光扩散板,扩散板图像是指利用图像采集设备对扩散板进行拍摄获得的图像。在生产工艺中,扩散板可能会产生一些缺陷,例如脏污、崩角、板裂、划伤、点缺等,因此,本实施例中接收的扩散板图像可能是包含缺陷的。
具体的,扩散板图像可以是从生产线上安装的图像采集设备对生产线上的扩散板动态采集的,也可以是储存的历史图像。
S40、将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
在具体实施过程中,本实施例中主要是对缺陷检测模型训练所用的样本图像集中的样本图像进行改进。样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得。
具体的,可以包括如下几种图像增强的方式:
参见图3,图3为一种明显缺陷和不明显缺陷的对比增强所形成的增强样本图像,图中,浅色区域为裁剪的相对不明显的划痕缺陷的图像,深色区域为相对明显的划痕缺陷的图像。缺陷的位置通过标注框标出。其具体可以利用裁剪的图像进行拼接或者粘贴生成。需要说明的是,本实施例中的明显缺陷与不明显缺陷是相对概念,容易出现漏检的,可以认定为不明显的缺陷。可以理解的是,不明显缺陷的图像作为样本,可能被认定为无缺陷图像,导致模型使用时出现漏检。将明显缺陷与不明显缺陷进行对比增强,作为样本进行训练时,可以在一定程度上避免被认定为无缺陷图像,从而降低模型使用时出现漏检的风险。
参见图4,图4为一种利用缺陷样本少的图像进行增强所形成的增强样本图像。图中,四个区域分别包括:侵蚀、划痕、脏污、点缺等。缺陷的位置通过标注框标出。其具体可以利用裁剪的图像进行拼接或者粘贴生成。可以理解的是,缺陷样本少的缺陷可能在正常的训练样本中占比少,或者甚至可能没有,这样会导致训练出的模型对这样缺陷无法识别。本实施例中,利用缺陷样本少的图像进行增强所形成的增强样本图像,添加到训练样本中,可以使得模型对这样缺陷有效识别,从而提高模型对缺陷识别的全面性,提高模型的泛化能力。
参见图5,图5为一种基于对过检图像进行缺陷合成所形成的融合样本图像。图中,缺陷的位置通过标注框标出,新增的缺陷包括裂纹。其具体可以利用裁剪的图像进行拼接或者粘贴生成。可以理解的是,过检图像是指并无缺陷(为被认定为缺陷)的图像被识别为缺陷图像,在过检图像进行缺陷合成,可以使得模型训练时,以缺陷的特征掩盖(或弱化)非缺陷的特征,从而使得模型只有识别到缺陷的特征时(不管图像中有没有被认定为非缺陷的特征)才会把图像识别为缺陷图像,从而减少对只有非缺陷特征的图像的误识别,提高模型对缺陷识别的准确性,防止过检。
参见图6,图6为一种利用多种缺陷混合增强所形成的增强样本图像。图中,多个区域分别包括:脏污、崩角、板裂、划伤、点缺等多种缺陷。缺陷的位置通过标注框标出。其具体可以利用裁剪的图像进行拼接或者粘贴生成。可以理解的是,相较于单一的缺陷样本图像,本实施例中,利用包含多种缺陷的样本图像进行模型训练,可以使得增加模型的稳定性。
以上对本实施中样本图像集中的增强样本图像和融合样本图像进行了举例说明,利用其进行模型训练的具体方法在后续实施例中进行说明。
S60、输出所述缺陷检测结果。
在具体实施过程中,缺陷检测结果包括图像是否存在缺陷以及缺陷的位置标注和类型。具体的,输出的方式包括屏幕显示、语音播报等。
应当理解的是,以上仅为举例说明,对本申请的技术方案并不构成任何限制,本领域的技术人员在实际应用中可以基于需要进行设置,此处不做限制。
通过上述描述不难发现,本实施例的方法通过在模型训练时对样本图像进行马赛克增强,并对过检图像进行缺陷合成,以形成多种类型的缺陷增强样本,从而使得训练出的模型泛化性更高,对缺陷图像的识别能力更强,过检率更低,因此,本实施例的方法不仅相对于人工检测提高检测效率,还提高了对缺陷识别的泛化性和识别准确性。
作为一种可选的实施方式,所述扩散板图像是利用多个图像采集设备从扩散板的上方和下方采集获得;
所述输出所述缺陷检测结果的步骤之后,还包括:
将缺陷检测结果为存在缺陷的扩散板剔除出生产线。
在具体实施过程中,参见图7,可以将图像采集设备的相机镜头安装在扩散板的上方和下方,通过光源照射,拍摄获得扩散板图像。由于在生产线上实时采集实时识别,因此,在获得缺陷检测结果后,可以直接将缺陷检测结果为存在缺陷的扩散板剔除出生产线。因此,可以在生产线上设置剔除装置,由控制中心进行控制,根据识别的结果实时剔除,提高生产线的效率和良品率。
作为一种可选的实施方式,所述输出所述缺陷检测结果的步骤之后,还包括:
对所述缺陷检测结果进行人工复检。
在具体实施过程中,为了提高检测的准确率,并且便于修正模型,还可以在获得缺陷检测结果后,进行人工复检。
参见图8,基于相同的发明思路,本申请的实施例还提供了一种模型训练方法,包括:
S102、接收所述样本图像集;所述样本图像集中包括增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
在具体实施过程中,前述实施例中已经对样本图像集中包括的增强样本图像和融合样本图像进行举例说明,这里不再赘述。
具体的,接收所述样本图像集是指接收已经处理好的样本图像集。
作为一种可选的实施方式,所述接收所述样本图像集的步骤之前,还包括:
对采集的扩散板的原始样本图像进行裁剪,获得裁剪图像;
基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像。
在具体实施过程中,原始样本图像是指图像采集设备采集的存在缺陷的图像,可以是人工筛选出来的,也可以是以往模型筛选出来的。其采集的方式同样可以如图7所示的方式,使用四个线扫像机,位于扩散板上、下方的两侧,进行数据采集。
对采集的扩散板的原始样本图像进行裁剪时,可以将8192*2048的图片裁切成2048*2048,使用4张2048*2048图片进行马赛克增强,获得所述增强样本图像。
具体的,根据前述图3-图6的几种不同类型的样本图像,可以有以下几种的图像增强的实施方式:
第一种情况:所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述第一图像和所述第二图像合成一张样本图像,以获得所述增强样本图像。
在具体实施过程中,缺陷的缺陷严重程度不同可以简单分为明显缺陷和不明显缺陷,因此,该种情况可以获得如前述图3的增强样本图像。
第二种情况:所述裁剪图像包括缺陷类型不同的图像;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述缺陷类型不同的图像合成一张样本图像,以获得所述增强样本图像。
在具体实施过程中,缺陷类型不同的图像中可以包含在样本中较多出现的缺陷,或者在样本中较少出现的缺陷,因此,该种情况可以获得如前述图4和图6的增强样本图像。
第三种情况:所述接收所述样本图像集的步骤之前,还包括:获取过检图像;对所述过检图像进行缺陷合成,获得所述融合样本图像。
在具体实施过程中,该种情况可以获得如前述图5的融合样本图像,这里不再赘述。
S104、利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型;
在具体实施过程中,利用前述样本图像集中的增强样本图像和融合样本图像,以及一些原始样本图像,混合一起输入初始缺陷检测模型,进行训练,得到所述缺陷检测模型。具体的,初始缺陷检测模型可以是常用的神经网络模型。
作为一种可选的实施方式,所述利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型的步骤,包括:
利用所述样本图像集对初始缺陷检测模型进行训练,获得中间缺陷检测模型;
利用过检图像和漏检图像,对中间缺陷检测模型进行测试,并筛选出所述缺陷检测模型。
在具体实施过程中,该实施方式为模型优化。在模型训练完后,将保存的中间轮次模型(也即获得中间缺陷检测模型)权重使用日常过检图像和漏检图像,以及收集的大量真实产线数据测试,选择最佳模型。以保证模型在真实环境对于各种工况是最优模型。使得模型对于扩散板图像的缺陷识别更为准确、可靠、完整。
参见图9,基于相同的发明思路,本申请的实施例还提供一种扩散板缺陷检测装置,包括:
接收模块,用于接收扩散板图像;
识别模块,用于将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
输出模块,用于输出所述缺陷检测结果。
需要说明的是,本实施例中扩散板缺陷检测装置中各模块是与前述实施例中的扩散板缺陷检测方法中的各步骤一一对应,因此,本实施例的具体实施方式和达到的技术效果可参照前述扩散板缺陷检测方法的实施方式,这里不再赘述。
参见图10,基于相同的发明思路,本申请的实施例还提供一种模型训练装置,包括:
样本接收模块,用于接收所述样本图像集,所述样本图像集中包括增强样本图像和融合样本图像,所述增强样本图像基于对样本缺陷图像进行马赛克增强获得,所述融合样本图像基于对过检图像进行缺陷合成获得;
模型训练模块,用于利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型。
需要说明的是,本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应,因此,本实施例的具体实施方式和达到的技术效果可参照前述模型训练方法的实施方式,这里不再赘述。
此外,在一种实施例中,本申请还提供一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光 盘)中,包括若干指令用以使得一台多媒体终端设备(可以是手机,计算机,电视接收机,或者网络设备等)执行本申请各个实施例所述的方法。
以上所揭露的仅为本申请的局部实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或局部流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (18)

1.一种扩散板缺陷检测方法,其特征在于,包括:
接收扩散板图像;
将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对裁剪图像进行马赛克增强获得,所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;所述融合样本图像基于对过检图像进行缺陷合成获得,所述过检图像是指无缺陷特征的图像被误识别所生成的缺陷图像;
输出所述缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述接收扩散板图像的步骤之前,还包括:
接收所述样本图像集;
利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型。
3.根据权利要求2所述的方法,其特征在于,所述接收所述样本图像集的步骤之前,还包括:
对采集的扩散板的原始样本图像进行裁剪,获得裁剪图像;
基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述第一图像和所述第二图像合成一张样本图像,以获得所述增强样本图像。
5.根据权利要求3所述的方法,其特征在于,所述裁剪图像包括缺陷类型不同的图像;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述缺陷类型不同的图像合成一张样本图像,以获得所述增强样本图像。
6.根据权利要求2所述的方法,其特征在于,所述接收所述样本图像集的步骤之前,还包括:
获取过检图像;
对所述过检图像进行缺陷合成,获得所述融合样本图像。
7.根据权利要求2所述的方法,其特征在于,所述利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型的步骤,包括:
利用所述样本图像集对初始缺陷检测模型进行训练,获得中间缺陷检测模型;
利用过检图像和漏检图像,对中间缺陷检测模型进行测试,并筛选出所述缺陷检测模型。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述扩散板图像是利用多个图像采集设备从扩散板的上方和下方采集获得;
所述输出所述缺陷检测结果的步骤之后,还包括:
将缺陷检测结果为存在缺陷的扩散板剔除出生产线。
9.根据权利要求1-7中任一项所述的方法,其特征在于,所述输出所述缺陷检测结果的步骤之后,还包括:
对所述缺陷检测结果进行人工复检。
10.一种模型训练方法,其特征在于,包括:
接收样本图像集,所述样本图像集中包括增强样本图像和融合样本图像,所述增强样本图像基于对裁剪图像进行马赛克增强获得,所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;所述融合样本图像基于对过检图像进行缺陷合成获得,所述过检图像是指无缺陷特征的图像被误识别所生成的缺陷图像;
利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型。
11.根据权利要求10所述的方法,其特征在于,所述接收所述样本图像集的步骤之前,还包括:
对采集的扩散板的原始样本图像进行裁剪,获得裁剪图像;
基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像。
12.根据权利要求11所述的方法,其特征在于,所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述第一图像和所述第二图像合成一张样本图像,以获得所述增强样本图像。
13.根据权利要求11所述的方法,其特征在于,所述裁剪图像包括缺陷类型不同的图像;
所述基于所述裁剪图像,进行马赛克增强,以获得所述增强样本图像的步骤,包括:
将所述缺陷类型不同的图像合成一张样本图像,以获得所述增强样本图像。
14.根据权利要求10所述的方法,其特征在于,所述接收所述样本图像集的步骤之前,还包括:
获取过检图像;
对所述过检图像进行缺陷合成,获得所述融合样本图像。
15.一种扩散板缺陷检测装置,其特征在于,包括:
接收模块,用于接收扩散板图像;
识别模块,用于将所述扩散板图像输入已训练的缺陷检测模型中,以获得缺陷检测结果;其中,所述缺陷检测模型基于样本图像集训练获得,所述样本图像集中包括关于扩散板的增强样本图像和融合样本图像,所述增强样本图像基于对裁剪图像进行马赛克增强获得,所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;所述融合样本图像基于对过检图像进行缺陷合成获得,所述过检图像是指无缺陷特征的图像被误识别所生成的缺陷图像;
输出模块,用于输出所述缺陷检测结果。
16.一种模型训练装置,其特征在于,包括:
样本接收模块,用于接收样本图像集,所述样本图像集中包括增强样本图像和融合样本图像,所述增强样本图像基于对裁剪图像进行马赛克增强获得,所述裁剪图像至少包括第一图像和第二图像,所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷类型相同,且所述第一图像中的缺陷与所述第二图像中的缺陷的缺陷严重程度不同;所述融合样本图像基于对过检图像进行缺陷合成获得,所述过检图像是指无缺陷特征的图像被误识别所生成的缺陷图像;
模型训练模块,用于利用所述样本图像集对初始缺陷检测模型进行训练,获得所述缺陷检测模型。
17.一种电子设备,其特征在于,该电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序,实现如权利要求1-14中任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,处理器执行所述计算机程序,实现如权利要求1-14中任一项所述的方法。
CN202310364433.4A 2023-04-07 2023-04-07 扩散板缺陷检测方法、模型训练方法、装置、设备和介质 Active CN116091500B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310364433.4A CN116091500B (zh) 2023-04-07 2023-04-07 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
PCT/CN2023/141572 WO2024207819A1 (zh) 2023-04-07 2023-12-25 扩散板缺陷检测方法、模型训练方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310364433.4A CN116091500B (zh) 2023-04-07 2023-04-07 扩散板缺陷检测方法、模型训练方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN116091500A CN116091500A (zh) 2023-05-09
CN116091500B true CN116091500B (zh) 2023-07-04

Family

ID=86187255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310364433.4A Active CN116091500B (zh) 2023-04-07 2023-04-07 扩散板缺陷检测方法、模型训练方法、装置、设备和介质

Country Status (2)

Country Link
CN (1) CN116091500B (zh)
WO (1) WO2024207819A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091500B (zh) * 2023-04-07 2023-07-04 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
CN117893952B (zh) * 2024-03-15 2024-06-28 视睿(杭州)信息科技有限公司 基于深度学习的视频马赛克缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732190A (zh) * 2013-12-20 2015-06-24 中国科学院声学研究所 一种基于正交纹理相关分析的合成孔径声纳目标检测方法
CN106570853A (zh) * 2015-10-08 2017-04-19 上海深邃智能科技有限公司 一种形状与颜色融合的绝缘子识别与缺陷检测方法
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN113487606A (zh) * 2021-09-06 2021-10-08 常州奥智高分子新材料有限公司 图像检测系统、方法、电视机背光扩散板检测系统及方法
CN114998324A (zh) * 2022-07-19 2022-09-02 深圳新视智科技术有限公司 半导体晶圆缺陷检测模型的训练方法及装置
CN115330794A (zh) * 2022-10-13 2022-11-11 扬州中科半导体照明有限公司 基于计算机视觉的led背光异物缺陷检测方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4260587B2 (ja) * 2003-09-18 2009-04-30 株式会社日立ハイテクノロジーズ パターン欠陥検査装置
TWI603074B (zh) * 2015-07-03 2017-10-21 元智大學 光學薄膜缺陷辨識方法及其系統
WO2021062536A1 (en) * 2019-09-30 2021-04-08 Musashi Auto Parts Canada Inc. System and method for ai visual inspection
KR102292547B1 (ko) * 2020-04-10 2021-08-20 코그넥스코오포레이션 가변 확산판을 이용한 광학 시스템
CN111583183B (zh) * 2020-04-13 2022-12-06 成都数之联科技股份有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN111652098B (zh) * 2020-05-25 2022-03-01 四川长虹电器股份有限公司 产品表面缺陷检测方法及装置
US20210370993A1 (en) * 2020-05-27 2021-12-02 University Of South Carolina Computer vision based real-time pixel-level railroad track components detection system
JP2022142661A (ja) * 2021-03-16 2022-09-30 株式会社リコー 色ムラ評価装置、色ムラ評価システム、色ムラ評価方法及びプログラム
CN112990392A (zh) * 2021-05-20 2021-06-18 四川大学 基于改进YOLOv5算法的新材料地板缺陷目标检测系统
CN114170161A (zh) * 2021-11-25 2022-03-11 云南大学 一种烟支外观缺陷检测方法及系统
CN113836850A (zh) * 2021-11-26 2021-12-24 成都数之联科技有限公司 模型获得方法及系统及装置及介质及产品缺陷检测方法
CN114419029B (zh) * 2022-03-11 2022-06-24 深圳艾灵网络有限公司 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN114663382A (zh) * 2022-03-18 2022-06-24 西安电子科技大学广州研究院 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
CN114820486A (zh) * 2022-04-15 2022-07-29 陕西科技大学 基于改进YOLOv5s的印刷电路板缺陷检测方法
CN114972225B (zh) * 2022-05-16 2023-04-25 上海可明科技有限公司 一种基于深度学习的两阶段光伏板缺陷检测方法
CN114677377A (zh) * 2022-05-30 2022-06-28 成都数之联科技股份有限公司 显示屏缺陷检测方法、训练方法、装置、设备及介质
CN115439408A (zh) * 2022-08-02 2022-12-06 华南理工大学 一种金属表面缺陷检测方法、装置及存储介质
CN115797846A (zh) * 2022-12-27 2023-03-14 麦加芯彩新材料科技(上海)股份有限公司 一种风力发电叶片区块缺陷比对方法、装置及电子设备
CN116091500B (zh) * 2023-04-07 2023-07-04 成都数之联科技股份有限公司 扩散板缺陷检测方法、模型训练方法、装置、设备和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732190A (zh) * 2013-12-20 2015-06-24 中国科学院声学研究所 一种基于正交纹理相关分析的合成孔径声纳目标检测方法
CN106570853A (zh) * 2015-10-08 2017-04-19 上海深邃智能科技有限公司 一种形状与颜色融合的绝缘子识别与缺陷检测方法
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN113487606A (zh) * 2021-09-06 2021-10-08 常州奥智高分子新材料有限公司 图像检测系统、方法、电视机背光扩散板检测系统及方法
CN114998324A (zh) * 2022-07-19 2022-09-02 深圳新视智科技术有限公司 半导体晶圆缺陷检测模型的训练方法及装置
CN115330794A (zh) * 2022-10-13 2022-11-11 扬州中科半导体照明有限公司 基于计算机视觉的led背光异物缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Defect Detection of MEMS Based on Data Augmentation, WGAN-DIV-DC, and a YOLOv5 Model;Zhenman Shi 等;《sensors》;1-14 *
Enhancement of Multi-Class Structural Defect Recognition Using Generative Adversarial Network;Hyunkyu Shin 等;《Sustainability》;1-13 *

Also Published As

Publication number Publication date
CN116091500A (zh) 2023-05-09
WO2024207819A1 (zh) 2024-10-10

Similar Documents

Publication Publication Date Title
CN116091500B (zh) 扩散板缺陷检测方法、模型训练方法、装置、设备和介质
CN111179253B (zh) 一种产品缺陷检测方法、装置与系统
CN115578377B (zh) 一种面板缺陷的检测方法、训练方法、装置、设备及介质
CN115661157B (zh) 面板圆类缺陷检测方法、装置、介质、设备及程序产品
CN111046644A (zh) 一种答题卡模板生成方法、识别方法、装置及存储介质
CN112487848A (zh) 文字识别方法和终端设备
WO2024164743A1 (zh) 一种玻璃板裂纹检测方法、装置、设备及介质
WO2022088660A1 (zh) 提高晶圆检测灵敏度的方法、装置以及存储介质
CN115239734A (zh) 模型训练方法、装置、存储介质、设备及计算机程序产品
US7535501B1 (en) Testing of digital cameras
CN108511356B (zh) 一种电池串焊机定位与电池外观检测方法
CN114581445A (zh) 点胶产品分段检测方法、系统、设备及存储介质
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN114612427A (zh) 铭牌缺陷检测方法、装置、电子设备及存储介质
CN115830599B (zh) 工业字符识别方法、模型训练方法、装置、设备和介质
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN117456371A (zh) 一种组串热斑检测方法、装置、设备及介质
CN117589770A (zh) Pcb贴片板检测方法、装置、设备及介质
CN115861160A (zh) 一种手机电源接口表面缺陷检测方法、装置和存储介质
CN112614059B (zh) 变电站的检测方法、装置、存储介质及处理器
CN111091598A (zh) 多光斑同步测量分析方法及装置
CN112967223A (zh) 一种基于人工智能的纺织品检测系统、方法及介质
JPH11175727A (ja) 検査方法および装置
Boiangiu et al. Target Validation and Image Color Calibration
CN115239732B (zh) 点灯机显示不均判断方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230509

Assignee: Chengdu Shuzhi Innovation Lean Technology Co.,Ltd.

Assignor: Chengdu shuzhilian Technology Co.,Ltd.

Contract record no.: X2024510000014

Denomination of invention: Diffusion board defect detection method, model training method, device, equipment, and medium

Granted publication date: 20230704

License type: Common License

Record date: 20240723