CN110837860A - 基于深度学习的贴片检测方法及相关系统 - Google Patents

基于深度学习的贴片检测方法及相关系统 Download PDF

Info

Publication number
CN110837860A
CN110837860A CN201911075721.8A CN201911075721A CN110837860A CN 110837860 A CN110837860 A CN 110837860A CN 201911075721 A CN201911075721 A CN 201911075721A CN 110837860 A CN110837860 A CN 110837860A
Authority
CN
China
Prior art keywords
sample
patch
pictures
residual
optical filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911075721.8A
Other languages
English (en)
Inventor
孙敬玺
汪范生
张小六
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Haosai Technology Co Ltd
Original Assignee
Huizhou Haosai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Haosai Technology Co Ltd filed Critical Huizhou Haosai Technology Co Ltd
Priority to CN201911075721.8A priority Critical patent/CN110837860A/zh
Publication of CN110837860A publication Critical patent/CN110837860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本发明实施例提供了基于深度学习的贴片检测方法及相关系统,所述方法包括:对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图;所述图像采样时,所述滤光片贴片后的器件被紫白混合光源照射;对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片;分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理;将得到的a*J张正样本训练图片和b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果。本发明在进行图像采样时,使用紫白混合光源照射器件,使得滤光片贴片间紫外胶水的轮廓特征更加明显,有助于提高后续检测的准确率。

Description

基于深度学习的贴片检测方法及相关系统
技术领域
本发明涉及图像处理技术领域,特别是涉及基于深度学习的贴片检测方法及相关系统。
背景技术
目前在光纤激光通信器件领域,滤光片贴片的精密加工中存在较多的不良品现象,如滤光片贴歪、碎裂、残胶等等各种异常表征现象。在工业应用领域,不良品普遍采用人工方式检测方式,成本高,耗时长,无法满足工业化连续性生产,造成后续光器件加工常常因为滤光片贴片问题导致产品出现问题。
传统滤光片贴片主要是通过HALCON、OPENCV等图像处理软件,来先分析光器件中的滤光片贴片位置基座的物理轮廓,然后计算滤光片与与基座轮廓之间的位置,以及分析胶水的形状特征,从而确定滤光片的位置是否放置正常。但是当光器件的滤光片基座存在批次产品差异性,如,不对称/形变等缺陷,非常容易出现滤光片的位置计算出现差异的现象,导致认为位置不准确。尤其是当滤光片本身出现中间破损/部分变形等,均会导致产品出现缺陷无法检测出来等问题。另外因为滤光片的贴片胶水涂胶时,经常会因为胶水温度、浓度、气压、阻塞等各种异常原因,导致涂胶水在光器件基座上时,出现的光学特性差异性非常大,尤其是灰度图对于微量胶水的成像质量一般均较差,导致常常出现误判涂胶质量不合格等,以及滤光片上面遗留部分残胶等均无法实现有效检测,导致对滤光片贴片完成之后光器件的光路传输质量均存在很大的影响,如把反射、折射到其他方向,导致光器件功率大幅度下降。
发明内容
本发明实施例的目的在于提供基于深度学习的贴片检测方法及相关系统,以解决滤光片贴片后对不良品的有效检测的问题。具体技术方案如下:
第一方面,本发明实施例提供了基于深度学习的贴片检测方法,所述方法包括:
对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图;所述图像采样时,所述滤光片贴片后的器件被紫白混合光源照射;
对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片,其中,a+b=N;
分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,得到a*J张正样本训练图片和b*K张负样本训练图片;
将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;所述a、b、N、J和K皆为大于零的整数;
使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果,所述贴片质量检测结果至少包括:贴片良好,或贴片不良。
在一种实施方式中,所述分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,包括:
分别对所述a张正样本图片和所述b张负样本图片进行图像变换处理,得到正样本变换图片和负样本变换图片,所述正样本训练图片包含所述正样本图片和所述正样本变换图片,所述负样本训练图片包含所述负样本图片和所述负样本变换图片;
所述图像变换处理以下至少一项包括:亮度调整,对比度调整,锐度调整,位置变换以及增减噪声;经所述亮度调整和所述对比度调整后得到样本变换图片,占总训练样本的70%以上,所述总训练样本等于所述a*J张正样本训练图片和所述b*K张负样本之和。
在一种实施方式中,所述贴片不良,进一步包括:
滤光片空,滤光片破碎,贴片位置异常,缺少胶水,或滤光片上有残留胶水。
在一种实施方式中,所述b*K与所述a*J的比值大于2.5。
在一种实施方式中,所述对所述N张贴片器件样图进行样图分析,包括:
对所述贴片器件样图进行感兴趣区域提取,所述感兴趣区域包括:滤光片贴片的涂胶部分;
根据所述感兴趣区域以及所述贴片检测神经网络的分类类别,对所述贴片器件样图进行标注,所述分类类别与所述贴片质量检测结果的类别一致。
在一种实施方式中,为Darknet网络,所述Darknet网络由顺序连接的1个DBL模块和5个残差模块组成;
所述残差模块包括:填充单元,DBL模块和n个残差单元,所述n为大于零的整数;
所述残差单元包括:DBL模块和最大池化单元;
所述DBL模块包括:卷积单元,批量归一化单元和带泄露修正单元。
在一种实施方式中,所述Darknet网络包括3路预测输出路径,分别为第一预测输出路径,第二预测输出路径和第三预测输出路径,所述第一预测输出路径16倍下采样输出,所述第二预测输出路径为8倍下采样输出,所述第三预测输出路径为4倍下采样输出。
在一种实施方式中,所述5个残差模块依次分别第一残差模块,第二残差模块,第三残差模块,第四残差模块和第五残差模块;其中,所述第一残差模块包含有1个残差单元,所述第二残差模块包含有2个残差单元,所述第三残差模块包含有8个残差单元,所述第四残差模块包含有8个残差单元,所述第五残差模块包含有4个残差单元;
所述5个残差模块中包括4个卷积特征输出端,分别输出第一卷积特征,第二卷积特征,第三卷积特征和第四卷积特征;所述第一卷积特征为所述第二残差模块的输出特征,所述第二卷积特征为所述第三残差模块的输出特征,所述第三卷积特征为所述所述第四残差模块的输出特征,所述第四卷积特征为所述所述第五残差模块的输出特征;
其中,所述第一预测输出路径的输入来自于所述第三卷积特征和所述第四卷积特征,所述第二预测输出路径的输入来自于所述第一预测输出路径中的一个中间结果和所述第二卷积特征,所述第三预测输出路径的输入来自于所述第二预测输出路径中的一个中间结果和所述第一卷积特征。
在一种实施方式中,所述Darknet网络的输入端为输入层图像,其中,针对所述输入层图像的RGB图像中的R通道,单独进行3个像素膨胀预处理。
第二方面,本发明实施例提供了一种滤光片贴片系统,所述系统包括:
自动滤光片贴片机,网络训练装置和缺陷检测服务器;
所述自动滤光片贴片机为所述生产线对应的器件生产装置,输出滤光片贴片后的器件;
所述网络训练装置用于对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图;所述图像采样时,所述滤光片贴片后的器件被紫白混合光源照射;对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片,其中,a+b=N;分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,得到a*J张正样本训练图片和b*K张负样本训练图片;将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;将训练完成后得到的贴片检测神经网络,部署到所述缺陷检测服务器中;
所述缺陷检测服务器用于使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果,所述贴片质量检测结果至少包括:贴片良好,或贴片不良。
在一种实施方式中,所述系统还包括:
500万像素的RGB彩色工业相机和环形LED光源,所述RGB彩色工业相机用于拍摄所述滤光片贴片后的器件,所述环形LED光源为所述滤光片贴片后的器件的拍摄环境提供亮度条件。
本发明实施例中,对滤光片贴片后的器件进行图像采样和样图分析,得到正样本图片和负样本图片;再对正样本图片和负样本图片进行样本扩增处理,得到更多的样本图片作为训练图片;利用这些训练图片对待训练网络进行分类训练,得到贴片检测神经网络。通过贴片检测神经网络对滤光片贴片后的器件进行贴片质量检测,能够有效地对涂胶的状态进行识别,使得缺少胶水,和滤光片上面部分残胶等不良现象得到有效检测,提高了贴片质量检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于深度学习的贴片检测方法的一种流程图;
图2为本发明实施例的基于深度学习的贴片检测方法的另一种流程图;
图3为本发明实施例的滤光片贴片系统的系统架构图;
图4为现有技术中YOLOv3算法的网络框架示意图;
图5为本发明实施例中YOLOv3改进设计算法的网络框架示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了提高运动数据获取的适用性,本发明实施例提供了基于深度学习的贴片检测方法,如图1所示,该方法可以包括以下步骤:
S101,对生产线上滤光片贴片后的器件进行图像采样;
对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图。所述图像采样时,所述滤光片贴片后的器件被紫白混合光源照射。
在本发明实施例中,由于滤光片是通过紫外胶水进行贴合的,当滤光片的贴合出现缺陷时,紫白混合光源可以让紫外胶水的轮廓特征更加显现。经试验证明,能够提升检测成功比例大约1.5%。在现有技术中,一般都是白光、红白或蓝白的组合光源,本发明实施例中的紫白组合光源对瑕疵和轮廓的生成效果,要优于白光、红白或蓝白等光源。
需要说明的是,本发明实施例描述的a、b、N、J和K皆为大于零的整数。
示例性的,可以使用500万像素的RGB彩色工业相机对滤光片贴片后的器件进行拍摄,得到所述贴片器件样图。进一步的,为了保证拍摄环境的亮度条件能满足要求,所述生产线上安装还可以安装环形LED光源。
本发明实施例提供的方法可以应用于电子设备。具体的,该电子设备可以为具有数据处理功能的电子设备,如台式计算机、便携式计算机、智能移动终端、视频采集设备等。
需要说明的是,本发明实施例提供的方法,可以用于各种与滤光片贴片相关的生产线,本发明实施例以滤光片完成贴片后的数据采样为例,对前置的贴片检测神经网络训练过程进行说明;可以理解的是,当通过本发明实施例所提供的方法完成对贴片检测神经网络的训练之后,使用贴片检测神经网络对滤光片贴片后的器件进行贴片质量检测方法,也通属于本申请的保护之列。
S102,对所述N张贴片器件样图进行样图分析;
对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片,其中,a+b=N。
示例性的,在实际应用中,RGB彩色工业相机可以在生产线上在线拍摄10万张滤光片器件的图片。然后对这10万张图片进行正样本图片和负样本图片的识别(即对区分贴片效果良好与贴片有缺陷的图片,其中,贴片有缺陷包括:滤光片空,滤光片破碎,贴片位置异常,缺少胶水,或滤光片上有残留胶水等)。可选的,正负样本的识别可以是人工识别标注,也可以是通过计算机识别,具体情况可以根据效率和成本的需求而定,此处不做限定。
示例性的,对于贴片器件样图进行样图分析,可以具体包括对所述贴片器件样图进行感兴趣区域提取,所述感兴趣区域包括:滤光片贴片的涂胶部分;再根据所述感兴趣区域以及所述贴片检测神经网络的分类类别,对所述贴片器件样图进行标注,所述分类类别与所述贴片质量检测结果的类别一致。
在实际应用中,因为滤光片的贴片胶水涂胶时,经常会因为胶水温度、浓度、气压、阻塞等各种异常原因会导致涂胶水在光器件基座上时,出现的光学特性差异性非常大,尤其是灰度图对于微量胶水的成像质量一般均较差,导致常常出现误判涂胶质量不合格等,以及滤光片上面遗留部分残胶等均无法实现有效检测。本发明实施例有针对性地在图像采样时,将滤光片贴片的涂胶部分作为感兴趣区域,增强这部分的图像特征,使得在进行网络训练时,这部分特征能够更有效的被识别,以提高检测的准确率。
S103,分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理;
分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,得到a*J张正样本训练图片和b*K张负样本训练图片。
示例性的,分别对所述a张正样本图片和所述b张负样本图片进行图像变换处理,得到正样本变换图片和负样本变换图片,所述正样本训练图片包含所述正样本图片和所述正样本变换图片,所述负样本训练图片包含所述负样本图片和所述负样本变换图片;所述图像变换处理以下至少一项包括:增加反光现象,亮度调整,对比度调整,锐度调整,位置变换以及增减噪声。其中,经所述亮度调整和所述对比度调整后得到样本变换图片,占总训练样本的70%以上,所述总训练样本等于所述a*J张正样本训练图片和所述b*K张负样本之和。
在本发明实施例中,对于样本图像的扩增,相对于现有技术,本发明使用了“增加反光现象处理”,有效地模拟了实际环境中的缺陷状态,有助于在后续的检测中提升准确率。
在实际应用中,正样本图片和负样本图片进行图像变换的处理方式可能不一致。如,无缺陷的滤光片贴片进行部分进行光亮度调节、位置变换等处理。而有质量缺陷的图片可以进行选择性增强,如对比度调节、位置变换、增加噪声等各种方法进行图片增强,重点加强特征较少的缺陷图片。由于实际生产线上对于样本图片的在线拍摄需要大量的时间成本,并且得刻意的制造不同的光线的角度条件来满足多种类型和场景的要求,费时费力。在本发明实施例中,通过图片变换的方式,根据有缺陷图片的特征有针对性地模拟相应的场景条件,在节省样本采集时间的同时,也丰富了样本采集的类别,并且有针对性的图像变换也可以有效地提高检测的准确率。
示例性的,对于一张样本图片,可以对其进行一种图像变换,也可以对其进行两种或以上的图像变换。如,一张正样本图片,进行了一次位置变换(指的是对目标对象的视角的变换),可以得到一张正样本变换图片。一张正样本图片,进行了一次位置变换和一次对比度调节,也可以得到一张正样本变换图片。操作人员可以根据实际情况(如对训练图片数量的需求),对一张样本图片,进行多种组合的图像变换的处理,得到多个样本变换图片。即J和K
S104,将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练;
将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;将训练完成后得到的贴片检测神经网络,部署到缺陷检测服务器当中。
示例性的,所述b*K与所述a*J的比值大于2.5。在实际应用中,b*K>a*J大约150%左右,才能保证检测成功率在93%以上,在比b*K=a*J的成功识别率提升1.2%,由其是需要分类具体的缺陷种类类别,要求b*K与所述a*J的比值大于4.5,才能较好满足缺陷种类分类的需求。
S105,使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测。
使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果,所述贴片质量检测结果至少包括:贴片良好,或贴片不良。
示例性的,所述贴片不良,进一步包括:滤光片空,滤光片破碎,贴片位置异常,缺少胶水,或滤光片上有残留胶水。即,当待检测图片输入所述贴片检测神经网络时,输出的结果可以为滤光片空,滤光片破碎,贴片位置异常,缺少胶水,滤光片上有残留胶水或贴片良好这六种分类结果,使得工作人员清楚具体是哪些滤光片贴片发生了哪些问题,后续可以有针对性的做处理工作。
本发明实施例中,对滤光片贴片后的器件进行图像采样和样图分析,得到正样本图片和负样本图片;再对正样本图片和负样本图片进行样本扩增处理,得到更多的样本图片作为训练图片;利用这些训练图片对待训练网络进行分类训练,得到贴片检测神经网络。通过贴片检测神经网络对滤光片贴片后的器件进行贴片质量检测,能够有效地对涂胶的状态进行识别,使得缺少胶水,和滤光片上面部分残胶等不良现象得到有效检测,提高了贴片质量检测的准确率。
下面结合一个具体的实施例,请参阅图2,对本发明提供的基于深度学习的贴片检测方法进行详细说明。
本发明实施例中的贴片检测方法应用于包含以下单元结构的滤光片贴片系统:自动滤光片贴片机,网络训练装置和缺陷检测服务器;
所述自动滤光片贴片机为所述生产线对应的器件生产装置,输出滤光片贴片后的器件;
所述网络训练装置用于对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图;对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片,其中,a+b=N;分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,得到a*J张正样本训练图片和b*K张负样本训练图片;将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;将训练完成后得到的贴片检测神经网络,部署到所述缺陷检测服务器中;所述a、b、N、J和K皆为大于零的整数;
所述缺陷检测服务器用于使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果,所述贴片质量检测结果至少包括:贴片良好,或贴片不良。所述贴片不良的检测结果具体表现为:不同类型缺陷的所在位置,不同类型缺陷分别对应的置信度。
S201,设计和搭建符合滤光片贴片机空间尺寸需求的工业相机和白色光源支架,并进行工业相机和LED光源的安装;
在实际应用中,首先需要设计和搭建符合滤光片贴片机空间尺寸需求的工业相机和白色光源支架,在该支架上安装500万像素的RGB彩色工业相机和环形LED光源,以及缺陷检测服务器。
S202,在生产线上采样10万张滤光片贴片后的器件的图片,并筛选正负样本;
示例性的,10万张图片负样本的数量大概在2000张左右,正样本的数量大概在9万8000张左右。具体的,正负样本的数量可以根据实际设备贴片质量而定,此处给出的数值仅是示例性的,不应理解为对本发明权利要求保护范围的限定。
S203,分别对正、负样本进行样本扩增处理;
通过将其中9万8000张无缺陷的滤光片贴片进行部分如光亮度、位置变换进行增强到20万张图片;将其中有质量缺陷的图片通过人工分析确定每个有缺陷的不良品进行分类标注缺陷类别,然后开展选择性增强,如对比度、位置变换、增加噪声等各种方法进行图片增强,重点加强特征较少的缺陷图片,实现将2000张典型有缺陷图片增到总共增强到40万张图片。
S204,样本扩增后的图片数据输入至待训练网络中进行卷积神经网络的训练;
将这60万张滤光片贴片输入到深度学习模型当中在线模型训练,获得大约98%以上的缺陷识别准确率。将训练完成后得到的贴片检测神经网络,部署到缺陷检测服务器当中。
S205,使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测;
在生产线上使用所述贴片检测神经网络对滤光片贴片后的器件进行贴片质量检测,标注每个新贴片是否有缺陷还是正常的良品。
S206,训练结果定期反馈更新。
每隔一周,生产线可以实现大约5万张新的带自动标签的图片,为了持续提高深度学习的能力和缺陷识别准确率,系统自动将缺陷可信度低于90%的全部每周由产线工人进行审核修订标注,大约每周完成20%左右的有缺陷标注的人工标注修订;继续开展由产线工人每周手动启动一次持续缺陷检测算法模型训练,和部署新训练好的模型,进行持续优化。
在本发明实施例中,缺陷检测系统具备产线自动持续训练学习能力,产线工人在脱离软件技术工程师的直接技术支持下,能够持续不断的标注校正和算法模型自训练系统,不断提高产品缺陷检测能力。
为了更好了理解本发明实施例对现有技术所做的改进,本发明实施例对上述实施例中所采用的贴片检测神经网络进行详细的说明,包括:
首先,请参阅图4,图4为现有技术中基于Darknet-53网络的YOLOv3算法的网络框架示意图。YOLO的含义为you only look once(你仅看一次),寓意整个算法仅需进行一轮卷积就可以直接获得相应的检测结果。
在图中左上角显示的416×416×3模块为输入图像层,输入图像层输入至Darknet-53网络(左上角虚线框内的模块),其中,该Darknet-53网络是无全连接层的模块。该Darknet网络由顺序连接的1个DBL模块和5个残差模块组成。
其中,DBL表示Darknetconv2d_BN_Leaky,是yolo_v3的基本组件。即,2D卷积单元conv+批量归一化单元BN+带泄露修正单元Leaky relu。2D卷积单元是用于提取图像特征的算法单元。批量归一化单元用于去除偏移噪声。带泄露修正单元用于非线性场景激活。
图中右下角虚线框内模块(Resblock-body)为残差模块(res n),残差模块包括:填充单元(zero padding),DBL模块和n个残差单元(res unit),所述n为大于零的整数。
图中下方中间的虚线框内模块(Res-unit)为残差单元,残差单元包括:2个DBL模块和一个add加法模块。在本发明实施例中,相对于现有技术,在残差单元内还增加了一个最大池化单元MAXPOOL(请参考图5),用于增强系统对细小瑕疵缺陷的检测能力。最大池化单元中主要采用最大池化的方法,卷积核为3*3,步长设置为1,池化后整个通道的输入输出大小不变,不影响原有的网络的输入输出。
图中左下角的虚线框内模块(DBL)为DBL模块,该DBL模块包括:卷积单元,批量归一化单元和带泄露修正单元。
现有技术中的Darknet-53网络包含有3路预测输出路径,分别对应32倍下采样的数据预测(输出结果对应图中y1-26*26*75),16倍下采样的数据预测(输出结果对应图中y2-52*52*75)和8倍下采样的数据预测(输出结果对应图中y3-104*104*75)。
其次,YOLOv3算法原本是面向小物体的定位检测,本发明通过对其网络架构进行改进,将其应用于对小像素级别的识别检测。请参阅图5,图5为本发明实施例中YOLOv3算法改进后的网络框架示意图。
在网络框架图中,本发明相对于现有技术的改进主要体现2点,一是预测输出路径的采样类别不一致;二是残差单元的结构不一致。
具体的,本申请实施例中的Darknet网络包括3路预测输出路径,分别为第一预测输出路径,第二预测输出路径和第三预测输出路径,所述第一预测输出路径16倍下采样输出,所述第二预测输出路径为8倍下采样输出,所述第三预测输出路径为4倍下采样输出。在滤光片贴片的场景中,不存在大比例压缩下采样瑕疵,因此删除了现有技术中的32倍下采样的预测输出路径。并且,考虑到滤光片贴片当中有着较多的小像素瑕疵现象,因此增加了4倍下采样的预测输出路径,实现对小像素瑕疵的检测,可以帮助提升系统3%的检测成功率。
如图所示,一路预测输出路径包括顺序连接的:对两路数据特征进行合并的concat单元,5层DBL模块,DBL模块和卷积单元,以及最终的预测模块(y1,y2或y3)。在本发明实施例中,每个预测模块预测255个检测数据结果,包括位置坐标,大小,和置信度等。
其中,concat单元用于张量合并拼接。将darknet中间层和后面的某一层的上采样进行拼接。拼接的操作和残差层中add加法模块的操作是不一样的,拼接会扩充张量的维度,而add只是直接相加不会导致张量维度的改变。
具体的,Darknet网络中的5个残差模块依次分别第一残差模块,第二残差模块,第三残差模块,第四残差模块和第五残差模块;其中,所述第一残差模块包含有1个残差单元,所述第二残差模块包含有2个残差单元,所述第三残差模块包含有8个残差单元,所述第四残差模块包含有8个残差单元,所述第五残差模块包含有4个残差单元。
本发明实施例中的5个残差模块包括有4个卷积特征输出端,分别输出第一卷积特征,第二卷积特征,第三卷积特征和第四卷积特征;所述第一卷积特征为所述第二残差模块的输出特征,所述第二卷积特征为所述第三残差模块的输出特征,所述第三卷积特征为所述所述第四残差模块的输出特征,所述第四卷积特征为所述所述第五残差模块的输出特征。
本发明实施例中,所述第一预测输出路径的两路输入,分别来自于所述第三卷积特征和所述第四卷积特征;所述第二预测输出路径的两路输入,分别来自于所述第一预测输出路径中的一个中间结果(即图中5层DBL模块输出的特征数据)和所述第二卷积特征,所述第三预测输出路径的两路输入,分别来自于所述第二预测输出路径中的一个中间结果(即图中5层DBL模块输出的特征数据)和所述第一卷积特征。
进一步的,非图中网络架构所体现的改进,还包括:
1、将YOLOv3的检测目标的分类数由80个降低为20个,有效提升了整个算法大约20%以上的检测效率。
2、考虑到对与短小裂缝和10个像素以内缺陷的检测存在较多遗漏,因此对其输入层图像的RGB图像中的R通道,单独进行3个像素膨胀预处理,可以帮助本发明实施例提升2%的检测率。
3、本发明实施例中采用的图片像素分辨率为500万像素,但是实际有效检测面积大约为100万像素点的中心区域范围,因此检测流程为:
a提取中心区域832*832区域,然后划分为4张416*416的图片和1张全部提取区域压缩为416*416的图片;
b分别按本发明实施例中贴片检测神经网络的检测预测结果;
c对汇总结果提取3个置信度高于70%以上检测结果进行标记和存储。
如图3所示,其示出了本发明实施例的基于深度学习的贴片检测方法的系统架构图。该系统包括:
以下对实现本发明实施例中基于深度学习的贴片检测方法的滤光片贴片系统进行描述,该系统包括:
自动滤光片贴片机301,网络训练装置302和缺陷检测服务器303;
所述自动滤光片贴片机301为所述生产线对应的器件生产装置,输出滤光片贴片后的器件;
所述网络训练装置302用于对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图;所述图像采样时,所述滤光片贴片后的器件被紫白混合光源照射;对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片,其中,a+b=N;分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,得到a*J张正样本训练图片和b*K张负样本训练图片;将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;将训练完成后得到的贴片检测神经网络,部署到所述缺陷检测服务器中;所述a、b、N、J和K皆为大于零的整数;
所述缺陷检测服务器303用于使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果,所述贴片质量检测结果至少包括:贴片良好,或贴片不良。
在一种实施方式中,所述系统还包括:
500万像素的RGB彩色工业相机和环形LED光源,所述RGB彩色工业相机用于拍摄所述滤光片贴片后的器件,所述环形LED光源为所述滤光片贴片后的器件的拍摄环境提供亮度条件。
在本申请实施例中,各个装置所执行的操作可以参考上述方法实施例,此处不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.基于深度学习的贴片检测方法,其特征在于,所述方法包括:
对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图;所述图像采样时,所述滤光片贴片后的器件被紫白混合光源照射;
对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片,其中,a+b=N;
分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,得到a*J张正样本训练图片和b*K张负样本训练图片;
将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;所述a、b、N、J和K皆为大于零的整数;
使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果,所述贴片质量检测结果至少包括:贴片良好,或贴片不良。
2.根据权利要求1所述的方法,其特征在于,所述分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,包括:
分别对所述a张正样本图片和所述b张负样本图片进行图像变换处理,得到正样本变换图片和负样本变换图片,所述正样本训练图片包含所述正样本图片和所述正样本变换图片,所述负样本训练图片包含所述负样本图片和所述负样本变换图片;
所述图像变换处理以下至少一项包括:增加反光现象处理,亮度调整,对比度调整,锐度调整,位置变换以及增减噪声;
其中,经所述亮度调整和所述对比度调整后得到样本变换图片,占总训练样本的70%以上,所述总训练样本等于所述a*J张正样本训练图片和所述b*K张负样本之和。
3.根据权利要求1或2所述的方法,其特征在于,所述b*K与所述a*J的比值大于4.5。
4.根据权利要求1所述的方法,其特征在于,所述贴片不良,进一步包括:
滤光片空,滤光片破碎,贴片位置异常,缺少胶水,或滤光片上有残留胶水;
所述贴片不良的检测结果具体表现为:不同类型缺陷的所在位置,不同类型缺陷分别对应的置信度。
5.根据权利要求4所述的方法,其特征在于,所述对所述N张贴片器件样图进行样图分析,包括:
对所述贴片器件样图进行感兴趣区域提取,所述感兴趣区域包括:滤光片贴片的涂胶部分;
根据所述感兴趣区域以及所述贴片检测神经网络的分类类别,对所述贴片器件样图进行标注,所述分类类别与所述贴片质量检测结果的类别一致。
6.根据权利要求1所述的方法,其特征在于,
所述待训练网络为Darknet网络,所述Darknet网络由顺序连接的1个DBL模块和5个残差模块组成;
所述残差模块包括:填充单元,DBL模块和n个残差单元,所述n为大于零的整数;
所述残差单元包括:DBL模块和最大池化单元;
所述DBL模块包括:卷积单元,批量归一化单元和带泄露修正单元。
7.根据权利要求6所述的方法,其特征在于,
所述Darknet网络包括3路预测输出路径,分别为第一预测输出路径,第二预测输出路径和第三预测输出路径,所述第一预测输出路径16倍下采样输出,所述第二预测输出路径为8倍下采样输出,所述第三预测输出路径为4倍下采样输出。
8.根据权利要求7所述的方法,其特征在于,
所述5个残差模块依次分别第一残差模块,第二残差模块,第三残差模块,第四残差模块和第五残差模块;其中,所述第一残差模块包含有1个残差单元,所述第二残差模块包含有2个残差单元,所述第三残差模块包含有8个残差单元,所述第四残差模块包含有8个残差单元,所述第五残差模块包含有4个残差单元;
所述5个残差模块中包括4个卷积特征输出端,分别输出第一卷积特征,第二卷积特征,第三卷积特征和第四卷积特征;所述第一卷积特征为所述第二残差模块的输出特征,所述第二卷积特征为所述第三残差模块的输出特征,所述第三卷积特征为所述所述第四残差模块的输出特征,所述第四卷积特征为所述所述第五残差模块的输出特征;
其中,所述第一预测输出路径的输入来自于所述第三卷积特征和所述第四卷积特征,所述第二预测输出路径的输入来自于所述第一预测输出路径中的一个中间结果和所述第二卷积特征,所述第三预测输出路径的输入来自于所述第二预测输出路径中的一个中间结果和所述第一卷积特征。
9.根据权利要求8所述的方法,其特征在于,
所述Darknet网络的输入端为输入层图像,其中,针对所述输入层图像的RGB图像中的R通道,单独进行3个像素膨胀预处理。
10.一种滤光片贴片系统,其特征在于,所述系统包括:
自动滤光片贴片机,网络训练装置和缺陷检测服务器;
所述自动滤光片贴片机为所述生产线对应的器件生产装置,输出滤光片贴片后的器件;
所述网络训练装置用于对生产线上滤光片贴片后的器件进行图像采样,获得N张贴片器件样图;所述图像采样时,所述滤光片贴片后的器件被紫白混合光源照射;对所述N张贴片器件样图进行样图分析,得到a张正样本图片和b张负样本图片,其中,a+b=N;分别对所述a张正样本图片和所述b张负样本图片进行样本扩增处理,得到a*J张正样本训练图片和b*K张负样本训练图片;将所述a*J张正样本训练图片和所述b*K张负样本输入至待训练网络进行分类训练,得到贴片检测神经网络;将训练完成后得到的贴片检测神经网络,部署到所述缺陷检测服务器中;所述a、b、N、J和K皆为大于零的整数;
所述缺陷检测服务器用于使用所述贴片检测神经网络对生产线上滤光片贴片后的器件进行贴片质量检测,得到贴片质量检测结果,所述贴片质量检测结果至少包括:贴片良好,或贴片不良。
CN201911075721.8A 2019-11-06 2019-11-06 基于深度学习的贴片检测方法及相关系统 Pending CN110837860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911075721.8A CN110837860A (zh) 2019-11-06 2019-11-06 基于深度学习的贴片检测方法及相关系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911075721.8A CN110837860A (zh) 2019-11-06 2019-11-06 基于深度学习的贴片检测方法及相关系统

Publications (1)

Publication Number Publication Date
CN110837860A true CN110837860A (zh) 2020-02-25

Family

ID=69576158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911075721.8A Pending CN110837860A (zh) 2019-11-06 2019-11-06 基于深度学习的贴片检测方法及相关系统

Country Status (1)

Country Link
CN (1) CN110837860A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070224A (zh) * 2020-08-26 2020-12-11 成都品果科技有限公司 一种神经网络训练用样本的修订系统及方法
CN112508789A (zh) * 2020-12-16 2021-03-16 广州佳帆计算机有限公司 一种基于残差的贴片图像增强识别方法及装置
CN113298760A (zh) * 2021-05-07 2021-08-24 厦门宏泰智能制造有限公司 一种基于深度学习的质量检测方法、装置和系统
CN113716146A (zh) * 2021-07-23 2021-11-30 武汉纺织大学 基于深度学习的纸巾产品包装检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545566A (zh) * 2017-07-27 2018-01-05 深圳市易飞扬通信技术有限公司 视觉检测方法及系统
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN109451721A (zh) * 2018-10-31 2019-03-08 广州小鹏汽车科技有限公司 贴片检测设备和方法
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
AU2019101142A4 (en) * 2019-09-30 2019-10-31 Dong, Qirui MR A pedestrian detection method with lightweight backbone based on yolov3 network
CN110414391A (zh) * 2019-07-15 2019-11-05 河北工业大学 基于深度学习算法的主动移动式车底危险品检测装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545566A (zh) * 2017-07-27 2018-01-05 深圳市易飞扬通信技术有限公司 视觉检测方法及系统
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109451721A (zh) * 2018-10-31 2019-03-08 广州小鹏汽车科技有限公司 贴片检测设备和方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN110414391A (zh) * 2019-07-15 2019-11-05 河北工业大学 基于深度学习算法的主动移动式车底危险品检测装置
AU2019101142A4 (en) * 2019-09-30 2019-10-31 Dong, Qirui MR A pedestrian detection method with lightweight backbone based on yolov3 network

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JING LI ET AL: ""Application Research of Improved YOLO V3 Algorithm in PCB Electronic Component Detection"", 《APPLIED SCIENCE》 *
木盏: ""yolo系列之yolov3(深度解析)"", 《HTTP://BLOG.CSDN.NET/LEVIOPKU/ARTICLE/DETAILS/82660381》 *
栗科峰著: "《人脸图像处理与识别技术》", 30 September 2018, 黄河水利出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070224A (zh) * 2020-08-26 2020-12-11 成都品果科技有限公司 一种神经网络训练用样本的修订系统及方法
CN112070224B (zh) * 2020-08-26 2024-02-23 成都品果科技有限公司 一种神经网络训练用样本的修订系统及方法
CN112508789A (zh) * 2020-12-16 2021-03-16 广州佳帆计算机有限公司 一种基于残差的贴片图像增强识别方法及装置
CN113298760A (zh) * 2021-05-07 2021-08-24 厦门宏泰智能制造有限公司 一种基于深度学习的质量检测方法、装置和系统
CN113716146A (zh) * 2021-07-23 2021-11-30 武汉纺织大学 基于深度学习的纸巾产品包装检测方法

Similar Documents

Publication Publication Date Title
CN110837860A (zh) 基于深度学习的贴片检测方法及相关系统
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN110659660B (zh) 利用深度学习系统的自动光学检测分类设备及其训练设备
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN109856164B (zh) 一种机器视觉采集大范围图像的优化装置及其检测方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN115880301B (zh) 一种玻璃基板气泡缺陷的识别系统
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN115619787B (zh) 一种uv胶缺陷检测方法、系统、设备及介质
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN112396575A (zh) 基于影像的分类系统
CN116740048A (zh) 一种基于融合目标检测技术的锂电池表面缺陷检测方法
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN113205474A (zh) 屏幕检测和屏幕检测模型训练方法、装置及设备
CN117437519B (zh) 一种无水尺水位识别方法及装置
CN115240020A (zh) 基于弱光补偿的MaskRCNN渗水检测方法及系统
CN114627090A (zh) 一种基于注意力机制的卷积神经网络光学镜片缺陷检测方法
CN117589770A (zh) Pcb贴片板检测方法、装置、设备及介质
CN117351472A (zh) 烟叶信息检测方法、装置及电子设备
CN113449632A (zh) 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN110210401B (zh) 一种弱光下的目标智能检测方法
CN111523543A (zh) 一种基于学习的隧道表面缺陷定位方法
CN116596903A (zh) 缺陷识别方法、装置、电子设备及可读存储介质
CN116523885A (zh) 一种基于多尺度融合及深度学习的pcb缺陷检测方法
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200225

RJ01 Rejection of invention patent application after publication