CN109829914A - 检测产品缺陷的方法和装置 - Google Patents

检测产品缺陷的方法和装置 Download PDF

Info

Publication number
CN109829914A
CN109829914A CN201910141300.4A CN201910141300A CN109829914A CN 109829914 A CN109829914 A CN 109829914A CN 201910141300 A CN201910141300 A CN 201910141300A CN 109829914 A CN109829914 A CN 109829914A
Authority
CN
China
Prior art keywords
product
image
sub
subgraph
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910141300.4A
Other languages
English (en)
Other versions
CN109829914B (zh
Inventor
别晓辉
别伟成
张哲�
单书畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sirui (hangzhou) Information Technology Co Ltd
Original Assignee
Sirui (hangzhou) Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sirui (hangzhou) Information Technology Co Ltd filed Critical Sirui (hangzhou) Information Technology Co Ltd
Priority to CN201910141300.4A priority Critical patent/CN109829914B/zh
Publication of CN109829914A publication Critical patent/CN109829914A/zh
Application granted granted Critical
Publication of CN109829914B publication Critical patent/CN109829914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种检测产品缺陷的方法和装置。其中,该方法包括:获取待检测产品的产品图像,其中,待检测产品包括多个子产品;对产品图像进行分割处理,得到多个子图像,其中,每个子图像包含至多一个子产品;根据预设模型对多个子图像进行处理,确定每个子产品对应的缺陷等级,其中,预设模型为使用多组数据通过神经网络训练出的,多组数据中的每组数据至少包括图像以及图像对应的缺陷等级。本发明解决了现有技术对包含多个子产品的产品进行检测时,检测效率低、准确率低的技术问题。

Description

检测产品缺陷的方法和装置
技术领域
本发明涉及产品检测领域,具体而言,涉及一种检测产品缺陷的方法和装置。
背景技术
为了提高产品质量,制造商在对产品进行封装之前,通常需要对产品进行质量检测,剔除有严重缺陷的产品,例如,在LED芯片封装成灯珠之前对LED芯片进行检测,剔除有严重缺陷,例如,表面沾污、断线和有多余连接的LED芯片。
传统对LED芯片进行检测的方法主要包括两种,第一种是将LED芯片放在显微镜下通过人眼进行识别并剔除肉眼可见的明显不合格产品的方式,该方式需要耗费大量的人力成本,并且无法保证筛选质量的稳定;第二种是使用自动光学检测(简称AOI),使用图像比对的方法从数据库中大量的图像中找相似度最高的图像,该方法效率低下,且会使检测结果不稳定,准确率较低。
由上述内容可知,现有的对LED芯片筛选的传统方法具有识别率不稳定,时间成本,人工成本较高等缺陷,对企业的工作效率和经济利益都产生了影响。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种检测产品缺陷的方法和装置,以至少解决现有技术对包含多个子产品的产品进行检测时,检测效率低、准确率低的技术问题。
根据本发明实施例的一个方面,提供了一种检测产品缺陷的方法,包括:获取待检测产品的产品图像,其中,待检测产品包括多个子产品;对产品图像进行分割处理,得到多个子图像,其中,每个子图像包含至多一个子产品;根据预设模型对多个子图像进行处理,确定每个子产品对应的缺陷等级,其中,预设模型为使用多组数据通过神经网络训练出的,多组数据中的每组数据至少包括图像以及图像对应的缺陷等级。
根据本发明实施例的另一方面,还提供了一种检测产品缺陷的装置,包括:获取模块,用于获取待检测产品的产品图像,其中,待检测产品包括多个子产品;分割模块,用于对产品图像进行分割处理,得到多个子图像,其中,每个子图像包含至多一个子产品;确定模块,用于根据预设模型对多个子图像进行处理,确定每个子产品对应的缺陷等级,其中,预设模型为使用多组数据通过神经网络训练出的,多组数据中的每组数据至少包括图像以及图像对应的缺陷等级。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行检测产品缺陷的方法。
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行检测产品缺陷的方法。
在本发明实施例中,采用分割技术以及神经网络模型对产品进行质量检测的方式,在获取到包含多个子产品的待检测产品的产品图像之后,将待检测产品的产品图像分割为多个子图像,其中,每个子图像包含一个子产品,然后基于预设模型(即神经网络模型)对子图像进行处理,以得到每个子产品的缺陷等级。
在上述过程中,通过对待检测产品的产品图像进行分割,并基于分割后的图像对每个子产品的质量进行检测,可以节约大量的人力成本,大大提高了检测准确度,以及检测效率。另外,上述方案还可确定每个子产品的缺陷等级,可以弥补传统方法中为满足产品质量而造成材料浪费率较高的问题。
由此可见,本申请所提供的方案达到了节约人力成本的目的,从而实现了提高产品检测的准确度以及检测效率的技术效果,进而解决了现有技术对包含多个子产品的产品进行检测时,检测效率低、准确率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种检测产品缺陷的方法流程图;
图2是根据本发明实施例的一种可选的LED发光芯片的示意图;
图3是根据本发明实施例的一种可选的LED晶体图像的示意图;
图4是根据本发明实施例的一种可选的LED晶体图像的示意图;
图5是根据本发明实施例的一种可选的预设模型的生成过程示意图;
图6是根据本发明实施例的一种可选的神经网络的结构图;
图7是根据本发明实施例的一种可选的确定待检测产品的缺陷等级的示意图;以及
图8是根据本发明实施例的一种检测产品缺陷的装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种检测产品缺陷的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的检测产品缺陷的方法流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取待检测产品的产品图像,其中,待检测产品包括多个子产品。
需要说明的是,上述待检测产品包括如下至少之一:LED发光芯片、LED电路板。其中,待检测产品对应的产品图像为微距成像图像,即在待检测产品上包含多个子产品,并且子产品之间的距离比较近,例如,图2所示的LED发光芯片,待检测产品为LED发光芯片,则子产品为LED发光芯片上的晶片。由图2所示,多个晶片之间的距离较近,如果采用人工对每个晶片进行检测,则需要耗费较大的人工成本,费时费力。另外,由于晶片之间的距离较近,采用现有的图像比对方法,也无法得到准确的检测结果。
在一种可选的方案中,可以采用相机对待检测产品进行拍摄从而得到待检测产品的产品图像。仍以待检测产品为LED芯片为例进行说明,采集LED芯片图像的相机可以为面阵相机,并使用三轴模组和两个条形光源。在不同的位置上对LED芯片进行多次拍摄,拍摄次数可以为10次。
在另一种可选的方案中,采集LED芯片图像的相机还可以为4K线阵相机,并采用一个同轴线性光源作为相机采集图像的光源,采用一个模组在一个方向上拍摄一次得到LED芯片的图像。
步骤S104,对产品图像进行分割处理,得到多个子图像,其中,每个子图像包含至多一个子产品。
需要说明的是,由于待检测产品包含多个子产品,因此,为了对每个子产品进行检测,并得到准确的检测结果,需要对待检测产品的产品图像进行分割处理。由于在本申请中对图像进行分割处理后,得到的多个子图像中,每个子图像仅包含一个子产品,因此,基于每个子图像对子产品进行产品检测可以得到更加准确的检测结果。
步骤S106,根据预设模型对多个子图像进行处理,确定每个子产品对应的缺陷等级,其中,预设模型为使用多组数据通过神经网络训练出的,多组数据中的每组数据至少包括图像以及图像对应的缺陷等级。
需要说明的是,子产品对应的缺陷等级可以通过分值的形式进行表示,另外,上述预设模型在构建形成后,可多次使用,以实现对大量的待检测产品进行自动分级,从而实现了自动化、智能化地筛选品质满足给定要求的待检测产品的效果,避免了现有技术中为满足产品质量而造成材料浪费率较高的问题。
基于上述步骤S102至步骤S106所限定的方案,可以获知,采用分割技术以及神经网络模型对产品进行质量检测的方式,在获取到包含多个子产品的待检测产品的产品图像之后,将待检测产品的产品图像分割为多个子图像,其中,每个子图像包含一个子产品,然后基于预设模型(即神经网络模型)对子图像进行处理,以得到每个子产品的缺陷等级。
容易注意到的是,通过对待检测产品的产品图像进行分割,并基于分割后的图像对每个子产品的质量进行检测,可以节约大量的人力成本,大大提高了检测准确度,以及检测效率。另外,上述方案还可确定每个子产品的缺陷等级,可以弥补传统方法中为满足产品质量而造成材料浪费率较高的问题。
由此可见,本申请所提供的方案达到了节约人力成本的目的,从而实现了提高产品检测的准确度以及检测效率的技术效果,进而解决了现有技术对包含多个子产品的产品进行检测时,检测效率低、准确率低的技术问题。
由步骤S104所限定的内容可知,在得到包含多个子产品的待检测产品的产品图像后,需要对产品图像进行分割处理。具体的,首先检测产品图像对应的类型,然后根据类型对产品图像进行分割,得到多个子图像。其中,类型至少包括如下之一:第一类型和第二类型,其中,第一类型表征待检测产品与产品图像的图像背景的颜色差别大于预设阈值,即第一类型为待检测产品与产品图像的图像背景颜色相差较大的图像;第二类型表征待检测产品与产品图像的图像背景的颜色差别小于等于预设阈值,即第一类型为待检测产品与产品图像的图像背景颜色相差较不大,或者子产品之间的距离过小导致无法通过二值化方法确定子产品位置的图像。
可选的,在产品图像的类型为第一类型的情况下,确定待检测产品对应的颜色空间,然后基于颜色空间对产品图像进行阈值分割,得到多个子图像。其中,颜色空间包括但不限于RGB、CMYK、HSV、HSI、Ycc以及YUV,对产品图像进行阈值分割的阈值分割算法可以为但不限于Otsu(最大类间方差法)阈值分割算法、自适应阈值分割算法、最大熵阈值分割算法以及迭代阈值分割算法。以LED芯片为例进行说明,针对具有不同晶片颜色的晶片,采用不同的颜色空间和阈值分割方法来获取二值图像,例如,对于黄色晶片可以采用CMYK颜色空间,对Y颜色通道做Otsu二值化阈值分割。对获得的二值图像,确定每个晶片在图片上的位置,并在原图上做切割,得到单颗晶片图像。
可选的,在产品图像的类型为第二类型的情况下,基于模板匹配算法对产品图像进行处理,得到每个子产品对应的候选框集合,然后对候选框集合进行去重和补位处理,得到每个子产品对应的最优候选框,最后根据最优候选框确定每个子产品对应的子图像。其中,模板匹配算法可以采用如下任意一种或多种:平方差模板匹配算法、归一化平方差模板匹配算法、相关系数模板匹配算法以及互相关模板匹配算法。
平方差模板匹配算法的公式如下:
归一化平方差模板匹配算法的公式如下:
相关系数模板匹配算法的公式如下:
为了避免部分子产品的缺陷集中在特定区域,而特定区域之外的图像信息易对子产品的检测结果造成干扰,因此,在对产品图像进行分割处理,得到多个子图像之后,还需要对子产品对应的子图像进行预处理。
具体的,首先对预设子图像进行饱和度处理,得到饱和度图像,然后对饱和度图像进行二值化处理,得到第一图像,并对对预设子图像和第一图像进行合并处理,得到第二图像,然后对第二图像进行处理,得到第三图像。可选的,基于预设模板对第二图像进行匹配,得到第三图像,其中,预设模板为对多张原始图像和原始图像对应的二值化图像进行合并处理所得到的模板,其中,预设子图像为多个子图像中的任意一个。
以LED芯片中的LED晶体为例进行说明,其中,LED晶体的型号为LED3030型号,其对应的原始图像(即预设子图像)如图3所示。在对预设子图像进行预处理的过程中,需要将该图像中的中间圆形部分(即杯口)切分出来,去掉圆形部分四周的部分。由于在拍照过程中不能保证LED晶体处在图像中的相同位置,因此无法直接根据位置来对LED晶体的图像进行分割,需要对LED晶体的进行预处理。具体过程为:首先获取LED晶体的图像的饱和度图像,并在饱和度图像上进行图像二值化处理,得到第一图像,如图4所示,其中,杯口部分像素值设为255,杯口外围设为0。然后,对原始图像和二值化后的第一图像进行合并处理,将像素值为0的部分的像素值置为0,像素值为255的部分置为原图像的像素值,从而得到第二图像。由于部分图像上的赃物等因素可能导致杯口的边缘不清晰,二值化后的第一图像可能并不是杯口的圆形,而是部分凸出来或者凹进去的形状。其中,凹进去会导致杯口信息大量丢失,凸出来会导致部分无关信息不能消除,因此,需要通过预设模板来对第二图像进行匹配。其中,预设模板的求取为建立在大量(例如,1万张)图片上进行的合并操作,如果1万张图片中相同像素点上的值为255的大于阈值(例如,50%),则置预设模板上该像素点的值为255,否则置为0。求取到的预设模板是具有统计意义的杯口形状,求取出预设模板后,对于杯口边缘不清晰的情况,如果单张图片的二值化图片中黑色区域面积大于模板中黑色区域面积(杯口凸出来)或者小于模板中黑色区域面积的二分之一(杯口凹进去),则图片取模板的二值化图像进行合并操作,得到最终的去掉杯口之外部分的图像(如图4所示)。
需要说明的是,在经过上述对子图像的预处理过程之后,在根据预设模型对多个子图像进行处理,确定每个子产品对应的缺陷等级之前,需要确定预设模型。
具体的,首先获取多个子图像的大小,然后生成预设数量个预设向量,并对预设向量进行平均池化处理,得到特征向量,最后对特征向量进行全连接处理,得到多个子图像对应的置信度,并基于置信度确定每个子产品对应的缺陷等级,基于多个子图像和缺陷等级确定预设模型。其中,预设向量的大小与每个子图像的大小相对应。
需要说明的是,上述预设模型为基于深度学习算法改进的一种适用于不同尺寸输入图片的深度学习模型。传统的深度学习模型需要固定的输入图片尺寸,比如AlexNet输入图像尺寸为277*277*3(图像为277*277像素分辨率的三通道图片),DenseNet输入图像尺寸随机裁剪到224*224*3,GooLeNet输入图像储存为224*224*3。对于LED芯片,由于LED晶体型号具有不确定性,经过拍摄切割之后得到的单个晶片图片尺寸较小,且尺寸可能不是正方形,如果调整大小到上述的一定尺寸会导致图像信息损失。基于此,本申请对预设模型进行了改进,使得改进后的预设模型可对任何尺寸的子图像进行产品的缺陷检测。
可选的,图5是示出了预设模型的生成过程。由图5可知,首先获取缺陷类别的数据集合,然后根据深度卷积神经网络和黄金模型对缺陷类别的数据集合进行处理,最终得到用于检测产品的缺陷等级的预设模型。其中,缺陷类别数的据集合由数据采集人员对工业产品进行准确的数据分类标注所获得,包含正常品和缺陷品,缺陷品种包含不同类型的缺陷。
可选的,神经网络通过以下构建黄金模型:首先初始化网络权值和神经元的阈值,然后按照公式逐层计算隐含层神经元和输出层神经元的输入和输出,并根据公式修正权值和阈值,重复上述过程直到满足终止条件。其中,构建的黄金模型能够对未经分类的工业产品做分类。
其中,如图6所示的神经网络的结构图,神经网络包括三层,即输入层、隐含层以及输出层。输入层用于输入特定尺寸的带标签数据,经过隐含层的卷积、归一化、池化、全连接等函数运算,输出层输出输入数据的预测标签,将预测值与实际标签之间的差值作为损失函数。利用方向传播算法调节隐含层里各层的函数,并重复这一过程,以降低预测值与实际标签之间的损失。当损失足够小时,例如小于某一阈值时,所获取的黄金模型即可用于图像分类。
以检测LED芯片的外观缺陷为例进行说明,在该实施例中采用DenseNet神经网络计算黄金模型。其中,DenseNet是一种具有密集连接的卷积神经网络。在该网络中,任何两层之间都有直接的连接,即网络每一层的输入都是前面所有层输出的并集,而该层所学习的特征图也会被直接传给其后面所有层作为输入。图6所示的网络结构图为DenseNet的网络结构示意图。DenseNet网络具有省参数、省计算、扛过拟合的优点。
传统的神经网络通常使用长宽等比例(有时需要固定尺寸)的图像作为输入,但缺陷检测中的输入图像图片往往具有不同的尺寸,为了适应不同尺寸的输入尺寸,本申请在神经网络的池化层中不使用等比例的Kernel进行池化,而是进行一维展开,获取和等比例输入图片相同格式的输出结果。
具体的,DenseNet对于输入尺寸有严格的要求,必须是像素值为224*224(或其他特定尺寸,例如比如32*32)大小的图片。而工业领域的外观缺陷检测中,各类产品的尺寸往往不一致,导致拍摄出来的图像尺寸有许多规格。而将所有的图像调整为固定格式可能会导致图像信息损失,或者图像失真,并且增加无用的计算。
在改进的DenseNet神经网络中,未经调整大小的图像经过图6中输入层的x1、x2、x3、x4四个DenseBlock的计算,生成1000个w*h(w,h根据输入图像的大小不同而不同)大小的向量,而非224*224尺寸输入图像得到的1000个7*7向量。对1000个w*h的向量做平均池化(卷积核尺寸为w*h,步长为1),得到1000维特征向量,对特征向量做全连接操作,得到输入图像属于每一类缺陷类别的置信度。通过上述改进能够使神经网络适应各种尺寸的输入图片。
在一种可选的方案中,图7示出了确定待检测产品的缺陷等级的示意图,以LED芯片为例进行说明。首先,获取到待检测产品的微距成像图片,然后将待判别芯片的微距成像图片切割成单个芯片图像后输入判别器,得到对于芯片类别。需要说明的是,判别器(即预设模型)在构建阶段完成构建之后,可以在本阶段重复多次使用,从而完成对多个待判别芯片微距成像图片的缺陷分类。
特别地,分类的类别数与预设模型中缺陷类别集合里的聚类个数相等,因此,类别数可根据实际情况灵活选择(例如,聚类为4类,将得到4级的分类类别)。
基于上述内容,本申请实现了利用微距成像图片对LED芯片进行缺陷检测的过程,该过程可以达到节约人力成本的目的,从而实现了提高产品检测的准确度以及检测效率的技术效果,进而解决了现有技术对包含多个子产品的产品进行检测时,检测效率低、准确率低的技术问题。
实施例2
根据本发明实施例,还提供了一种检测产品缺陷的装置实施例,其中,图8是根据本发明实施例的检测产品缺陷的装置结构示意图,如图8所示,该装置包括:获取模块801、分割模块803以及确定模块805。
其中,获取模块801,用于获取待检测产品的产品图像,其中,待检测产品包括多个子产品;分割模块803,用于对产品图像进行分割处理,得到多个子图像,其中,每个子图像包含至多一个子产品;确定模块805,用于根据预设模型对多个子图像进行处理,确定每个子产品对应的缺陷等级,其中,预设模型为使用多组数据通过神经网络训练出的,多组数据中的每组数据至少包括图像以及图像对应的缺陷等级。
此处需要说明的是,上述获取模块801、分割模块803以及确定模块805对应于上述实施例的步骤S102至步骤S106,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例所公开的内容。
在一种可选的方案中,分割模块包括:检测模块以及第一分割模块。其中,检测模块,用于检测产品图像对应的类型,其中,类型至少包括如下之一:第一类型和第二类型,其中,第一类型表征待检测产品与产品图像的图像背景的颜色差别大于预设阈值,第二类型表征待检测产品与产品图像的图像背景的颜色差别小于等于预设阈值;第一分割模块,用于根据类型对产品图像进行分割,得到多个子图像。
在一种可选的方案中,第一分割模块包括:第一确定模块以及第二分割模块。其中,第一确定模块,用于在产品图像的类型为第一类型的情况下,确定待检测产品对应的颜色空间;第二分割模块,用于基于颜色空间对产品图像进行阈值分割,得到多个子图像。
在一种可选的方案中,第一分割模块包括:第一处理模块、第二处理模块以及第二确定模块。其中,第一处理模块,用于在产品图像的类型为第二类型的情况下,基于模板匹配算法对产品图像进行处理,得到每个子产品对应的候选框集合;第二处理模块,用于对候选框集合进行去重和补位处理,得到每个子产品对应的最优候选框;第二确定模块,用于根据最优候选框确定每个子产品对应的子图像。
在一种可选的方案中,检测产品缺陷的装置还包括:第三处理模块、第四处理模块、第五处理模块以及匹配模块。其中,第三处理模块,用于对预设子图像进行饱和度处理,得到饱和度图像,其中,预设子图像为多个子图像中的任意一个;第四处理模块,用于对饱和度图像进行二值化处理,得到第一图像;第五处理模块,用于对预设子图像和第一图像进行合并处理,得到第二图像;第八处理模块,用于对第二图像进行处理,得到第三图像。
其中,第八处理模块包括匹配模块。匹配模块,用于基于预设模板对第二图像进行匹配,得到第三图像,其中,预设模板为对多张原始图像和原始图像对应的二值化图像进行合并处理所得到的模板。
在一种可选的方案中,检测产品缺陷的装置还包括:第一获取模块、生成模块、第六处理模块、第七处理模块、第三确定模块以及第四确定模块。其中,第一获取模块,用于获取多个子图像的大小;生成模块,用于生成预设数量个预设向量,其中,预设向量的大小与每个子图像的大小相对应;第六处理模块,用于对预设向量进行平均池化处理,得到特征向量;第七处理模块,用于对特征向量进行全连接处理,得到多个子图像对应的置信度;第三确定模块,用于基于置信度确定每个子产品对应的缺陷等级;第四确定模块,用于基于多个子图像和缺陷等级确定预设模型。
在一种可选的方案中,待检测产品包括如下至少之一:LED发光芯片、LED电路板。
实施例3
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行实施例1中的检测产品缺陷的方法。
实施例4
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行实施例1中的检测产品缺陷的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种检测产品缺陷的方法,其特征在于,包括:
获取待检测产品的产品图像,其中,所述待检测产品包括多个子产品;
对所述产品图像进行分割处理,得到多个子图像,其中,每个子图像包含一个子产品;
根据预设模型对所述多个子图像进行处理,确定每个子产品对应的缺陷等级,其中,所述预设模型为使用多组数据通过神经网络训练出的,所述多组数据中的每组数据至少包括图像以及所述图像对应的缺陷等级。
2.根据权利要求1所述的方法,其特征在于,对所述产品图像进行分割处理,得到多个子图像,包括:
在所述产品图像的类型为第一类型的情况下,确定所述待检测产品对应的颜色空间,其中,所述第一类型表征所述待检测产品与所述产品图像的图像背景的颜色差别大于预设阈值;
基于所述颜色空间对所述产品图像进行阈值分割,得到所述多个子图像。
3.根据权利要求1所述的方法,其特征在于,对所述产品图像进行分割处理,得到多个子图像,包括:
在所述产品图像的类型为第二类型的情况下,基于模板匹配算法对所述产品图像进行处理,得到所述每个子产品对应的候选框集合,其中,所述第二类型表征所述待检测产品与所述产品图像的图像背景的颜色差别小于等于所述预设阈值;
对所述候选框集合进行去重和补位处理,得到所述每个子产品对应的最优候选框;
根据所述最优候选框确定所述每个子产品对应的子图像。
4.根据权利要求1所述的方法,其特征在于,在对所述产品图像进行分割处理,得到多个子图像之后,所述方法还包括:
对预设子图像进行饱和度处理,得到饱和度图像,其中,所述预设子图像为所述多个子图像中的任意一个;
对所述饱和度图像进行二值化处理,得到第一图像;
对所述预设子图像和所述第一图像进行合并处理,得到第二图像;
对所述第二图像进行处理,得到第三图像。
5.根据权利要求4所述的方法,其特征在于,对所述第二图像进行处理,得到第三图像,包括:
基于预设模板对所述第二图像进行匹配,得到所述第三图像,其中,所述预设模板为对多张原始图像和所述原始图像对应的二值化图像进行合并处理所得到的模板。
6.根据权利要求1所述的方法,其特征在于,在根据预设模型对所述多个子图像进行处理,确定每个子产品对应的缺陷等级之前,所述方法还包括:
获取所述多个子图像的大小;
生成预设数量个预设向量,其中,所述预设向量的大小与所述每个子图像的大小相对应;
对所述预设向量进行平均池化处理,得到特征向量;
对所述特征向量进行全连接处理,得到所述多个子图像对应的置信度;
基于所述置信度确定所述每个子产品对应的缺陷等级;
基于所述多个子图像和所述缺陷等级确定所述预设模型。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述待检测产品包括如下至少之一:LED发光芯片、LED电路板。
8.一种检测产品缺陷的装置,其特征在于,包括:
获取模块,用于获取待检测产品的产品图像,其中,所述待检测产品包括多个子产品;
分割模块,用于对所述产品图像进行分割处理,得到多个子图像,其中,每个子图像包含至多一个子产品;
确定模块,用于根据预设模型对所述多个子图像进行处理,确定每个子产品对应的缺陷等级,其中,所述预设模型为使用多组数据通过神经网络训练出的,所述多组数据中的每组数据至少包括图像以及所述图像对应的缺陷等级。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的检测产品缺陷的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的检测产品缺陷的方法。
CN201910141300.4A 2019-02-26 2019-02-26 检测产品缺陷的方法和装置 Active CN109829914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910141300.4A CN109829914B (zh) 2019-02-26 2019-02-26 检测产品缺陷的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910141300.4A CN109829914B (zh) 2019-02-26 2019-02-26 检测产品缺陷的方法和装置

Publications (2)

Publication Number Publication Date
CN109829914A true CN109829914A (zh) 2019-05-31
CN109829914B CN109829914B (zh) 2021-09-03

Family

ID=66864478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910141300.4A Active CN109829914B (zh) 2019-02-26 2019-02-26 检测产品缺陷的方法和装置

Country Status (1)

Country Link
CN (1) CN109829914B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110261391A (zh) * 2019-06-17 2019-09-20 武汉大学 一种led芯片外观检测系统及方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN111060519A (zh) * 2019-12-30 2020-04-24 研祥智能科技股份有限公司 Led支架缺陷判定方法及系统
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111711814A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 摄像头模组缺陷检测方法
CN111861995A (zh) * 2020-06-19 2020-10-30 苏州鸿鹄骐骥电子科技有限公司 一种基于CNN的高密度微led芯片视觉检测方法
CN112767306A (zh) * 2020-12-24 2021-05-07 凌云光技术股份有限公司 一种印刷品质量检测、收料方法和系统
CN112991340A (zh) * 2020-05-08 2021-06-18 视睿(杭州)信息科技有限公司 基于多通道特征的工业颗粒连片制品图像切割方法、装置
CN113034498A (zh) * 2021-04-28 2021-06-25 江苏欧密格光电科技股份有限公司 Led灯珠缺陷检测和评估方法、装置、计算机设备及介质
CN113592787A (zh) * 2021-07-13 2021-11-02 苏州汇川控制技术有限公司 发光部件检测方法、装置、终端设备以及存储介质
CN113591965A (zh) * 2021-07-26 2021-11-02 格力电器(南京)有限公司 一种aoi检测图像处理方法、装置、存储介质及计算机设备
US11189019B2 (en) * 2019-05-09 2021-11-30 Hon Hai Precision Industry Co., Ltd. Method for detecting defects, electronic device, and computer readable medium
CN113870202A (zh) * 2021-09-18 2021-12-31 中科海拓(无锡)科技有限公司 一种基于深度学习技术的远端芯片缺陷检测系统
CN113884497A (zh) * 2021-09-09 2022-01-04 上海深视信息科技有限公司 一种基于复合光源的fpca飞拍检测方法
CN113884504A (zh) * 2021-08-24 2022-01-04 湖南云眼智能装备有限公司 一种电容外观检测控制方法及装置
CN114419461A (zh) * 2022-01-19 2022-04-29 周琦 利用卫星通信的状态解析平台及方法
TWI808801B (zh) * 2022-06-21 2023-07-11 福懋科技股份有限公司 異常檢查裝置及異常檢查方法
CN116465608A (zh) * 2023-05-26 2023-07-21 南京阿吉必信息科技有限公司 一种MicroLED三基色发光阵列光色检测方法
CN117351857A (zh) * 2023-10-23 2024-01-05 广州隧华智慧交通科技有限公司 一种led屏通用控制检测系统
CN117522872A (zh) * 2024-01-04 2024-02-06 长峡数字能源科技(湖北)有限公司 一种光伏电站的实时异常检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN107843599A (zh) * 2017-10-24 2018-03-27 武汉精测电子集团股份有限公司 一种基于aoi的面板检测判等方法与装置
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108171707A (zh) * 2018-01-23 2018-06-15 武汉精测电子集团股份有限公司 一种基于深度学习的Mura缺陷等级评判方法及装置
CN108389180A (zh) * 2018-01-19 2018-08-10 浙江工业大学 一种基于深度学习的织物疵点检测方法
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN109064454A (zh) * 2018-07-12 2018-12-21 上海蝶鱼智能科技有限公司 产品缺陷检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN107843599A (zh) * 2017-10-24 2018-03-27 武汉精测电子集团股份有限公司 一种基于aoi的面板检测判等方法与装置
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108389180A (zh) * 2018-01-19 2018-08-10 浙江工业大学 一种基于深度学习的织物疵点检测方法
CN108171707A (zh) * 2018-01-23 2018-06-15 武汉精测电子集团股份有限公司 一种基于深度学习的Mura缺陷等级评判方法及装置
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN109064454A (zh) * 2018-07-12 2018-12-21 上海蝶鱼智能科技有限公司 产品缺陷检测方法及系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189019B2 (en) * 2019-05-09 2021-11-30 Hon Hai Precision Industry Co., Ltd. Method for detecting defects, electronic device, and computer readable medium
CN110261391A (zh) * 2019-06-17 2019-09-20 武汉大学 一种led芯片外观检测系统及方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111127571B (zh) * 2019-12-03 2023-12-29 歌尔股份有限公司 一种小样本缺陷分类方法和装置
US11836967B2 (en) 2019-12-03 2023-12-05 Goertek, Inc. Method and device for small sample defect classification and computing equipment
WO2021134996A1 (zh) * 2019-12-30 2021-07-08 研祥智能科技股份有限公司 Led支架缺陷判定方法及系统
CN111060519A (zh) * 2019-12-30 2020-04-24 研祥智能科技股份有限公司 Led支架缺陷判定方法及系统
CN112991340A (zh) * 2020-05-08 2021-06-18 视睿(杭州)信息科技有限公司 基于多通道特征的工业颗粒连片制品图像切割方法、装置
CN111711814A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 摄像头模组缺陷检测方法
CN111861995B (zh) * 2020-06-19 2024-01-23 苏州鸿鹄骐骥电子科技有限公司 一种基于CNN的高密度微led芯片视觉检测方法
CN111861995A (zh) * 2020-06-19 2020-10-30 苏州鸿鹄骐骥电子科技有限公司 一种基于CNN的高密度微led芯片视觉检测方法
CN112767306A (zh) * 2020-12-24 2021-05-07 凌云光技术股份有限公司 一种印刷品质量检测、收料方法和系统
CN113034498B (zh) * 2021-04-28 2023-11-28 江苏欧密格光电科技股份有限公司 Led灯珠缺陷检测和评估方法、装置、计算机设备及介质
CN113034498A (zh) * 2021-04-28 2021-06-25 江苏欧密格光电科技股份有限公司 Led灯珠缺陷检测和评估方法、装置、计算机设备及介质
CN113592787A (zh) * 2021-07-13 2021-11-02 苏州汇川控制技术有限公司 发光部件检测方法、装置、终端设备以及存储介质
CN113591965A (zh) * 2021-07-26 2021-11-02 格力电器(南京)有限公司 一种aoi检测图像处理方法、装置、存储介质及计算机设备
CN113884504A (zh) * 2021-08-24 2022-01-04 湖南云眼智能装备有限公司 一种电容外观检测控制方法及装置
CN113884497A (zh) * 2021-09-09 2022-01-04 上海深视信息科技有限公司 一种基于复合光源的fpca飞拍检测方法
CN113884497B (zh) * 2021-09-09 2023-03-14 上海深视信息科技有限公司 一种基于复合光源的fpca飞拍检测方法
CN113870202A (zh) * 2021-09-18 2021-12-31 中科海拓(无锡)科技有限公司 一种基于深度学习技术的远端芯片缺陷检测系统
CN114419461A (zh) * 2022-01-19 2022-04-29 周琦 利用卫星通信的状态解析平台及方法
TWI808801B (zh) * 2022-06-21 2023-07-11 福懋科技股份有限公司 異常檢查裝置及異常檢查方法
CN116465608A (zh) * 2023-05-26 2023-07-21 南京阿吉必信息科技有限公司 一种MicroLED三基色发光阵列光色检测方法
CN116465608B (zh) * 2023-05-26 2024-02-20 南京阿吉必信息科技有限公司 一种MicroLED三基色发光阵列光色检测方法
CN117351857A (zh) * 2023-10-23 2024-01-05 广州隧华智慧交通科技有限公司 一种led屏通用控制检测系统
CN117351857B (zh) * 2023-10-23 2024-05-28 广州隧华智慧交通科技有限公司 一种led屏通用控制检测系统
CN117522872A (zh) * 2024-01-04 2024-02-06 长峡数字能源科技(湖北)有限公司 一种光伏电站的实时异常检测方法及装置
CN117522872B (zh) * 2024-01-04 2024-03-22 长峡数字能源科技(湖北)有限公司 一种光伏电站的实时异常检测方法及装置

Also Published As

Publication number Publication date
CN109829914B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN109829914A (zh) 检测产品缺陷的方法和装置
US8452109B2 (en) Image segregation system with method for handling textures
US8600169B2 (en) Method and system for learning a same-material constraint in an image
Rachmadi et al. Vehicle color recognition using convolutional neural network
US7760912B2 (en) Image segregation system with method for handling textures
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN110268420B (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
US20090034835A1 (en) System and method for identifying complex tokens in an image
US8175390B2 (en) System and method for illumination invariant image segmentation
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
JP2012525631A (ja) 画像修正のための改良された方法
CN108710916B (zh) 图片分类的方法及装置
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN108171683B (zh) 一种采用软件自动识别的细胞计数方法
CN108181316A (zh) 一种基于机器视觉的竹条缺陷检测方法
CN115272838A (zh) 基于信息融合技术的海洋浮游生物自动识别方法及系统
Lodh et al. Flower recognition system based on color and GIST features
Ghosh et al. Counterfeit IC detection by image texture analysis
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN114170418A (zh) 一种以图搜图的汽车线束连接器多特征融合图像检索方法
CN109299295B (zh) 蓝印花布图像数据库搜索方法
Kuzovkin et al. Descriptor-based image colorization and regularization
CN117315369A (zh) 基于神经网络的眼底病分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant