CN114494115A - 目标对象的检测方法、装置、存储介质及电子设备 - Google Patents
目标对象的检测方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114494115A CN114494115A CN202111565329.9A CN202111565329A CN114494115A CN 114494115 A CN114494115 A CN 114494115A CN 202111565329 A CN202111565329 A CN 202111565329A CN 114494115 A CN114494115 A CN 114494115A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- area
- target object
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Abstract
本申请实施例提供一种目标对象的检测方法、装置、存储介质及电子设备。方法包括:获取包含待检测器件的待测图像;在待测图像中生成检测区域;通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素;根据目标像素点确定目标对象所在的目标区域;确定目标区域的参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。通过上述技术方案,能够减少目标对象检测的运算过程,大幅度提高检测的效率与检测结果的准确性,能够适用于不同类型目标对象的检测。
Description
技术领域
本申请涉及器件检测领域,具体涉及一种目标对象的检测方法、装置、存储介质及电子设备。
背景技术
通常,器件被生产制造出来后,可能会出现多种缺陷,例如器件的引脚表面可能会出现划伤、器件的壳体表面可能会出现裂痕等。因此,需要在出厂前对生产的器件进行缺陷的检测,以剔除质量有瑕疵的器件。器件的缺陷检测一般需要借助专门的检测设备来完成。随着科技的不断发展,各种器件的结构复杂度、以及器件的生产能力也在不断提升。在很多生产测试场景中,对于器件检测的速率(通量)有较高的要求,并且需要在检测完成后立即进行良品和次品的分拣下料,这就要求算法在很短的时间内就完成对一种图像中器件边缘破损的检测,以便在下料前就确定器件为良品和次品,从而在下料时将器件收纳到正确的料盒中。
然而,现有技术中已有的图像处理算法有能力进行器件缺陷检测,但是这些已有算法往往需要针对每种对象都进行大量地训练,才能够分别对这些对象进行识别。例如,如果要识别器件中的异物,就需要大量包含异物的图像作为样本进行训练;而如果还需要识别器件中的晶粒是否正常,就需要大量包含晶粒的图像作为样本进行训练。另外,对象识别算法普遍存在计算量大、占用资源多、耗时长的问题,并不适用于要实时检测并在短时间内完成计算并输出结果的场景。
发明内容
本申请实施例的目的是提供一种目标对象的检测方法、装置、存储介质及电子设备。
为了实现上述目的,本申请第一方面提供一种目标对象的检测方法,检测方法包括:
获取包含待检测器件的待测图像;
在待测图像中生成检测区域;
通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素;
根据目标像素点确定目标对象所在的目标区域;
确定目标区域的参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。
可选地,根据目标像素点确定目标对象所在的目标区域包括:对目标对象的目标像素点进行连通域计算,以确定每个目标对象所在的目标区域。
可选地,检测方法还包括:根据检测区域中目标对象与检测区域中非目标对象在至少一个颜色通道的分量值差异来预先设置预设阈值。
可选地,至少在目标对象与非目标对象差异最大的颜色通道设置预设阈值。
可选地,目标区域的参数包括以下至少之一:面积、长度、宽度;预设参数包括以下至少之一:面积阈值、长度阈值、宽度阈值;并且,在比对结果为目标区域的参数大于预设参数的情况下,判断目标对象存在。
可选地,在目标对象为待检测器件边缘溢出的胶水的情况下,检测区域覆盖于待测图像中的器件边缘位置;预设阈值为根据样本图像中样本器件的边缘与样本器件的边缘中的胶水在至少一个颜色通道的分量值差异而设定的数值范围。
可选地,在目标对象为待检测器件引脚溢出的胶水的情况下,检测区域覆盖于待测图像中的器件引脚与器件边缘的交界位置;预设阈值为根据样本图像中样本器件的溢胶与器件边缘交接位置处的胶水相比于样本器件的样本器件的边缘和引脚在至少一个颜色通道的分量值差异而设定的数值范围。
可选地,在目标对象为待检测器件的晶粒和/或导线的情况下,检测区域覆盖于俯视拍摄的待测图像中的器件的晶粒和/或导线所在位置;预设阈值为根据样本图像中样本器件的晶粒和/或导线相比于背景区域在至少一个颜色通道的分量值差异而设定的数值范围。
可选地,在目标对象为待检测器件内部的胶水的情况下,检测区域覆盖于待测图像中的器件内部区域;预设阈值为根据内部胶水正常的样本图像中样本器件的内部区域相比于内部胶水异常的样本图像中样本器件的内部区域在至少一个颜色通道的分量值差异而设定的数值范围。
可选地,在待测图像中生成检测区域包括:获取与待测图像对应的模板图像,其中,模板图像包括参考器件以及覆盖参考器件中部分区域的初始检测区域;将待测图像与模板图像进行对比,以确定待测图像中待检测器件与模板图像中参考器件之间的位置偏移量;根据位置偏移量在待测图像中生成检测区域。
本申请第二方面提供一种目标对象的检测装置,包括:
图像获取模块,用于获取包含待检测器件的待测图像;
检测区域确定模块,用于在待测图像中生成检测区域;
处理模块,用于通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素;
目标区域确定模块,用于根据目标像素点确定目标对象所在的目标区域;
检测模块,用于确定目标区域的区域参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。
本申请第三方面提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令在被处理器执行时使得处理器被配置成执行上述的目标对象的检测方法。
本申请第四方面提供一种电子设备,包括处理器和存储器,处理器和存储器通过总线连接,存储器中存储有计算机程序,在计算机程序被处理器调用时执行上述的任一项的目标对象的检测方法。
通过上述技术方案,能够减少目标对象检测的运算过程,大幅度提高检测的效率与检测结果的准确性,能够适用于不同类型目标对象的检测,无需占用大量计算资源。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本申请实施例,但并不构成对本申请实施例的限制。在附图中:
图1示意性示出了根据本申请实施例的目标对象的检测方法的流程示意图;
图2示意性示出了根据本申请实施例的目标对象的检测装置的结构框图;
图3示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请实施例,并不用于限制本申请实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示意性示出了根据本申请实施例的目标对象的检测方法的流程示意图。如图1所示,在本申请一实施例中,提供了一种目标对象的检测方法,包括以下步骤:
步骤201,获取包含待检测器件的待测图像。
步骤202,在待测图像中生成检测区域。
步骤203,通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素。
步骤204,根据目标像素点确定目标对象所在的目标区域。
步骤205,确定目标区域的参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。
器件被生产出来后,可能会出现多种缺陷,例如,溢胶、异物、导线缺失、晶粒缺失等。为了对器件质量进行检测,首先,处理器可以获取包含待检测器件的待测图像。其中,待测图像可以通过图像采集设备进行拍摄。图像采集设备可以是摄像机、摄影机、照相机、记录仪等具备图像采集功能的设备。在图像采集设备拍摄到包含有待检测器件的待测图像后,处理器可以获取包含有待检测器件的待测图像。然后,处理器可以在待测图像中生成检测区域。
在一个实施例中,在待测图像中生成检测区域包括:获取与待测图像对应的模板图像,其中,模板图像包括参考器件以及覆盖参考器件中部分区域的初始检测区域;将待测图像与模板图像进行对比,以确定待测图像中待检测器件与模板图像中参考器件之间的位置偏移量;根据位置偏移量在待测图像中生成检测区域。
在待测图像中生成检测区域,处理器可以先获取与待测图像对应的模板图像。其中,模板图像可以包括参考器件以及覆盖参考器件中部分区域的初始检测区域。参考器件可以指的是无缺陷或者缺陷可以忽略不计的器件。参考器件中的部分区域可以指的是胶水、异物、导线或者晶粒等的区域。在模板图像中,模板图像的检测区域是可以根据参考器件的位置所标注的。模板图像的检测区域可以指的是覆盖参考器件中部分区域的初始检测区域。
在实际的检测过程中,待检测器件的位置可能出现偏移,即模板图像的检测区域无法覆盖待检测器件的检测区域。例如,当拍摄模板图像的图像采集设备和拍摄待测图像的图像采集设备的位置不变,但由于待检测器件未被归置到位或待检测器件生产后在传送检测的过程中,待测器件的位置发生移动,可能导致待测图像中的器件出现偏移。在这种情况下,若根据模板图像中的参考器件位置标注模板图像的检测区域,并根据模板图像的检测区域在待检测图像中生成检测区域。此时,模板图像的检测区域可能无法覆盖待测图像中待检测器件中的部分区域,器件检测的结果会出现较大的误差。
为了修正待检测图像中的检测区域的位置偏移,处理器可以将待测图像与模板图像进行对比,以确定待测图像中待检测器件与模板图像中参考器件之间的位置偏移量。在确定位置偏移量后,处理器可以根据位置偏移量在待测图像中生成检测区域。此时,模板图像中的检测区域和器件的相对位置关系与待测图像中的检测区域和器件的相对位置关系相同。其中,根据位置偏移量在待测图像中生成检测区域的方式可以有多种。例如,可以是先在待测图像中生成检测区域,然后根据确定的位置偏移量调整检测区域的位置,以完成修正检测区域的偏移。也可以是在根据位置偏移量在待测图像中生成检测区域的同时调整检测区域的位置偏移量,以完成修正检测区域的偏移。
在生成检测区域后,处理器可以通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素。目标对象可以是待检测器件边缘溢出的胶水、待检测器件引脚溢出的胶水、待检测器件的晶粒和/或导线以及待检测器件内部的胶水等。
在一个实施例中,方法还包括:根据检测区域中目标对象与检测区域中非目标对象在至少一个颜色通道的分量值差异来预先设置预设阈值。
在一个实施例中,至少在目标对象与非目标对象差异最大的颜色通道设置预设阈值。
由于检测区域中目标对象与非目标对象的材质不同,因此,在待测图像中两者呈现的颜色会不同。那么,当通过预设阈值区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素时,处理器可以根据目标对象与非目标对象在至少一个颜色通道的分量值差异来预先设置预设阈值。具体地,处理器可以至少在目标对象与非目标对象差异最大的颜色通道设置预设阈值。
在一个实施例中,在目标对象为待检测器件边缘溢出的胶水的情况下,检测区域覆盖于待测图像中的器件边缘位置;预设阈值为根据样本图像中样本器件的边缘与样本器件的边缘中的胶水在至少一个颜色通道的分量值差异而设定的数值范围。
其中,样本图像可以指的是预先提供的图像。样本图像中每一个像素的颜色分量可以涉及三个颜色通道,颜色通道可以包括R、G以及B三个通道,每个颜色通道的分量值可以是0~255。样本器件可以与目标对象一一对应,在目标对象不同的情况下,样本器件可以是不同的。在该实施例中,样本器件可以是边缘有胶水溢出的器件,器件边缘的材质与器件边缘溢出的胶水的材质不同,此时可以根据样本器件边缘所溢出胶水在RGB通道中至少一个颜色通道的颜色特征来设置预设阈值。假设胶水在R和G通道与器件正常情况下边缘的颜色有差别,则可以根据胶水在R和G通道的分量值来设置预设阈值,从而区别边缘处的胶水和正常的器件边缘。
在目标对象为待检测器件边缘溢出的胶水的情况下,检测区域覆盖于待测图像中的器件边缘位置,即,在待测图像中生成的检测区域可以是覆盖于待测图像中的器件边缘位置的区域。因此,在检测过程中,可以通过上述方式设置预设阈值,将检测区域覆盖的器件边缘中所包含胶水的像素识别出来。
进一步地,预设阈值可以根据目标对象与非目标对象差异最大的颜色通道设置。假设样本图像中正常器件边缘的蓝色和绿色通道的分量值较高,红色通道的分量值较低,而器件边缘溢出的胶水的红色通道分量值较高。那么,处理器可以通过红色通道的分量值来预先设置预设阈值。例如,器件边缘的红色通道分量值可以为20~40,而器件边缘溢出的胶水的红色通道分量值可以为80以上。因此,处理器可以将预设阈值设置为70~190。在此种情况下,可以提取待测图像位于检测区域内的图像区域中的红色通道分量值在70~190的像素,以此可以确定待检测器件边缘的胶水的目标像素点。
在一个实施例中,在目标对象为待检测器件引脚溢出的胶水的情况下,检测区域覆盖于待测图像中的器件引脚与器件边缘的交界位置;预设阈值为根据样本图像中样本器件的溢胶与器件边缘交接位置处的胶水相比于样本器件的样本器件的边缘和引脚在至少一个颜色通道的分量值差异而设定的数值范围。
其中,样本图像可以指的是引脚出现溢胶的图像。样本图像中每一个像素的颜色分量可以涉及三个颜色通道,颜色通道可以包括R、G以及B三个通道,每个颜色通道的分量值可以是0~255。样本器件可以与目标对象一一对应,在目标对象不同的情况下,样本器件可以是不同的。在本实施例中,样本器件可以指的是引脚溢出胶水的器件。通过根据器件边缘和/或引脚交接处溢出的胶水与器件边缘和/或引脚在至少一个颜色通道的颜色差异来预先设置预设阈值,就能够将待测图像中边缘和引脚交接处溢出的胶水的像素提取出来。
在目标对象为待检测器件引脚溢出的胶水的情况下,检测区域可以覆盖于待测图像中的器件引脚与器件边缘的交界位置。因此,在检测过程中,可以通过上述预先设置预设阈值将待测器件边缘与引脚交界处胶水的像素识别出来。
进一步地,预设阈值可以根据目标对象与非目标对象差异最大的颜色通道设置。假设样本图像中器件的边缘和引脚的蓝色通道分量值较高,红色通道与绿色通道分量值较低,而器件引脚与边缘交接位置处胶水的红色通道分量值较高,那么,处理器可以通过红色通道的分量值来预先设置预设阈值。例如,可以将红色通道的分量值设置在40~170,在此种情况下,可以提取待测图像位于检测区域内的图像区域中的红色通道分量值在40~170的像素,以此确定待检测器件的溢胶与器件边缘交接位置处胶水的目标像素点。
在一个实施例中,在目标对象为待检测器件的晶粒和/或导线的情况下,检测区域覆盖于待测图像中的器件的晶粒和/或导线所在位置;预设阈值为根据样本图像中样本器件的晶粒和/或导线相比于背景区域在至少一个颜色通道的分量值差异而设定的数值范围。
其中,样本图像可以指的导线和/或晶粒正常的器件图像。样本图像中每一个像素的颜色分量可以涉及三个颜色通道,颜色通道可以包括R、G以及B三个通道,每个颜色通道的分量值可以是0~255。样本器件可以与目标对象一一对应,在目标对象不同的情况下,样本器件可以是不同的。在该实施例中,样本器件可以是导线和/或晶粒正常的器件,即,样本器件可以是包含有导线和/或晶粒的器件。背景区域中可以是不包含有导线和/或晶粒器件的区域。因此,在目标对象为待检测器件的导线和/或晶粒的情况下,可以通过预设阈值对样本器件的导线和/或晶粒与其背景区域进行区分,从而对样本器件中包含导线和/或晶粒与不含包导线和/或晶粒进行区分。用于检测导线和/或晶粒的预设阈值可以根据导线和/或晶粒相比于背景区域在至少一个颜色通道的颜色差异而设置的。
在目标对象为待检测器件的晶粒和/或导线的情况下,检测区域可以覆盖于俯视拍摄的待测图像中的器件的晶粒和/或导线所在位置。在待检测器件的晶粒和/或导线部分,在检测过程中,通过上述方式设置的预设阈值,可以将检测区域中对应晶粒和/或导线的像素提取出来。
在一个实施例中,在目标对象为待检测器件内部的胶水的情况下,检测区域覆盖于待测图像中的器件内部区域;预设阈值为根据内部胶水正常的样本图像中样本器件的内部区域相比于内部胶水异常的样本图像中样本器件的内部区域在至少一个颜色通道的分量值差异而设定的数值范围。
其中,样本图像可以包括器件内部胶水正常的正样本图像,以及器件内缺少胶水或没有胶水的负样本图像。因此,内部区域正常的样本图像中样本器件的内部区域是指包含有胶水的内部区域,内部区域异常的样本图像中样本器件的内部区域是指没有包含胶水的内部区域。根据有胶水的区域和没有胶水的区域可以设定一个任意一个颜色通道下的分量值的差异而设定一个数值范围,以区分出包含有胶水的像素和/或区分出不包含有胶水的像素。样本图像中每一个像素的颜色分量可以涉及三个颜色通道,颜色通道可以包括R、G以及B三个通道,每个颜色通道的分量值可以是0~255。此时,可以根据正样本图像中正常分布情况下的胶水与负样本图像中没有胶水裸露器件在至少一个颜色通道的颜色差异来设置预设阈值。
在目标对象为待检测器件内部的胶水的情况下,检测区域可以是覆盖于待测图像中的器件内部区域。在检测过程中,通过上述方式预先设置预设阈值,能够将待测器件中正常胶水的像素或没有胶水分布的像素提取出来。
进一步地,预设阈值可以根据器件内部胶水与裸露器件内部差异最大的颜色通道设置。
在一个实施例中,根据目标像素点确定目标对象所在的目标区域包括:对目标对象的目标像素点进行连通域计算,以确定每个目标对象所在的目标区域。
在确定目标对象的目标像素点后,处理器可以根据目标像素点确定目标对象所在的目标区域。具体地,处理器可以对目标对象的目标像素点进行连通域计算,以确定每个目标对象所在的目标区域。其中,连通域计算可以将视觉上不连续的目标像素点合并,以形成一个连通区域。连通区域可以指的是每个目标对象所在的目标区域。
在检测过程中,通过预设阈值对图像区域进行阈值分割得到的目标对象的目标像素点数量可以较少,相应地,根据目标像素点确定的目标对象的目标区域面积也较小。在这种情况下,待测图像的待检测器件即使存在目标对象,对待检测器件的检测结果影响较小。因此,可以通过设置区域参数将此目标区域过滤,即,可以表示为没有检测到目标对象,以此防止该目标对象的存在影响待检测器件的检测结果。
在一个实施例中,目标区域的参数包括以下至少之一:面积、长度、宽度;预设参数包括以下至少之一:面积阈值、长度阈值、宽度阈值;并且,在比对结果为目标区域的参数大于预设参数的情况下,判断目标对象存在。
在确定目标对象所在的目标区域后,处理器可以确定目标区域的参数,并将目标区域的参数与预设参数进行对比,根据比对的结果判断目标对象是否存在与检测区域中。其中,目标区域的参数可以包括有面积、长度以及宽度中的至少一者。预设参数可以指的是面积阈值、长度阈值以及宽度阈值中的至少一者。预设参数可以与目标区域的参数对应。比对的结果可以是目标区域的参数大于预设参数,可以是目标区域的参数小于或者等于预设参数。在比对结果为目标区域的参数大于预设参数的情况下,处理器可以判断目标对象存在。例如,在目标区域的参数可以是面积的情况下,其预设参数可以是对应的面积阈值。若目标区域的面积大于面积阈值,则可以判断目标对象存在。
在一个实施例中,为了进一步提高器件检测的准确性,在对目标对象进行检测时,可以通过设置与目标对象对应的预设阈值对上述的目标对象为待检测器件边缘溢出的胶水、待检测器件引脚溢出的胶水、待检测器件的晶粒和/或导线以及待检测器件内部的胶水进行逐个或者依次区分。例如,在对待检测器件进行检测时,若需要先检测待检测器件边缘是否溢胶,则处理器可以根据待检测器件的边缘与其边缘的胶水在至少一个颜色通道分量值的差异设置一个预设阈值。通过设置的预设阈值对待检测器件的边缘以及其边缘溢出的胶水进行区分。然后,处理器可以通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,以得到待检测器件边缘溢出胶水的像素点。根据溢出胶水的像素点确定其所在的目标区域,以此判断出待检测器件边缘溢出的胶水是否存在于检测区域中,从而确定待检测器件的边缘是否存在溢胶缺陷。在对待检测器件边缘溢出的胶水进行检测后,处理器还可以通过另一个预设阈值对待检测器件引脚溢出的胶水等进行区分,以判断出待检测器件的引脚、晶粒和/或导线以及内部的胶水等目标对象是否存在检测区域中,以此更加完善地判断出待检测器件的缺陷,提高器件检测的准确性。
通过上述技术方案,能够减少目标对象检测的运算过程,大幅度提高检测的效率与检测结果的准确性,能够适用于不同类型目标对象的检测,无需占用大量计算资源。
图1为一个实施例中目标对象的检测方法的流程示意图。应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图2所示,提供了一种目标对象的检测装置,包括图像获取模块、检测区域确定模块、处理模块、目标区域确定模块以及检测模块,其中:
图像获取模块201,用于获取包含待检测器件的待测图像。
检测区域确定模块202,用于在待测图像中生成检测区域。
处理模块203,用于通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素。
目标区域确定模块204,用于根据目标像素点确定目标对象所在的目标区域。
检测模块205,用于确定目标区域的区域参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。
在对目标对象进行检测时,图像获取模块201可以先获取包含待检测器件的待测图像。其中,待测图像可以通过图像采集设备进行拍摄。图像采集设备可以是摄像机、摄影机、照相机、记录仪等具备图像采集功能的设备。在图像采集设备拍摄到包含有待检测器件的待测图像后,图像获取模块201可以获取包含有待检测器件的待测图像。
在获取到包含有待检测器件的待测图像后,检测区域确定模块202可以在待测图像中生成检测区域。具体地,检测区域确定模块202可以获取与待测图像对应的模板图像,其中,模板图像包括参考器件以及覆盖参考器件中部分区域的初始检测区域。在获取到模板图像后,检测区域确定模块202将待测图像与模板图像进行对比,以确定待测图像中待检测器件与模板图像中参考器件之间的位置偏移量。检测区域确定模块202可以根据位置偏移量在待测图像中生成检测区域。
在生成检测区域的情况下,处理模块203可以通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素。目标对象可以是待检测器件边缘溢出的胶水、待检测器件引脚溢出的胶水、待检测器件的晶粒和/或导线以及待检测器件内部的胶水等。
由于检测区域中目标对象与非目标对象的材质不同,因此,在待测图像中两者呈现的颜色会不同。那么,当通过预设阈值区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素时,处理模块203可以根据目标对象与非目标对象在至少一个颜色通道的分量值差异来预先设置预设阈值。具体地,处理模块203可以至少在目标对象与非目标对象差异最大的颜色通道设置预设阈值。
在确定目标对象的目标像素点的情况下,目标区域确定模块204可以根据目标像素点确定目标对象所在的目标区域。具体地,目标区域确定模块204可以对目标对象的目标像素点进行连通域计算,以确定每个目标对象所在的目标区域。其中,连通域计算可以将视觉上不连续的目标像素点合并,以形成一个连通区域。连通区域可以指的是每个目标对象所在的目标区域。
在确定目标对象所在的目标区域后,检测模块205可以确定目标区域的区域参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。其中,目标区域的参数可以包括有面积、长度以及宽度中的至少一者。预设参数可以指的是面积阈值、长度阈值以及宽度阈值中的至少一者。预设参数可以与目标区域的参数对应。比对的结果可以是目标区域的参数大于预设参数,可以是目标区域的参数小于或者等于预设参数。在比对结果为目标区域的参数大于预设参数的情况下,检测模块205可以判断目标对象存在。
目标对象的检测装置包括处理器和存储器,上述图像获取模块、检测区域确定模块、处理模块、目标区域确定模块和检测模块等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序模块中实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现对目标对象的检测方法。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现上述目标对象的检测方法。
本申请实施例提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述目标对象的检测方法。
本申请实施例提供了一种电子设备,包括处理器和存储器,处理器和存储器通过总线连接,存储器中存储有计算机程序,在计算机程序被处理器调用时执行上述的目标对象的检测方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中,该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储待测图像等数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种目标对象的检测方法。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取包含待检测器件的待测图像;在待测图像中生成检测区域;通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素;根据目标像素点确定目标对象所在的目标区域;确定目标区域的参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。
在一个实施例中,根据目标像素点确定目标对象所在的目标区域包括:对目标对象的目标像素点进行连通域计算,以确定每个目标对象所在的目标区域。
在一个实施例中,方法还包括:根据检测区域中目标对象与检测区域中非目标对象在至少一个颜色通道的分量值差异来预先设置预设阈值。
在一个实施例中,至少在目标对象与非目标对象差异最大的颜色通道设置预设阈值。
在一个实施例中,目标区域的参数包括以下至少之一:面积、长度、宽度;预设参数包括以下至少之一:面积阈值、长度阈值、宽度阈值;并且,在比对结果为目标区域的参数大于预设参数的情况下,判断目标对象存在。
在一个实施例中,在目标对象为待检测器件边缘溢出的胶水的情况下,检测区域覆盖于待测图像中的器件边缘位置;预设阈值为根据样本图像中样本器件的边缘与样本器件的边缘中的胶水在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在目标对象为待检测器件引脚溢出的胶水的情况下,检测区域覆盖于待测图像中的器件引脚与器件边缘的交界位置;预设阈值为根据样本图像中样本器件的溢胶与器件边缘交接位置处的胶水相比于样本器件的样本器件的边缘和引脚在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在目标对象为待检测器件的晶粒和/或导线的情况下,检测区域覆盖于俯视拍摄的待测图像中的器件的晶粒和/或导线所在位置;预设阈值为根据样本图像中样本器件的晶粒和/或导线相比于背景区域在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在目标对象为待检测器件内部的胶水的情况下,检测区域覆盖于待测图像中的器件内部区域;预设阈值为根据内部胶水正常的样本图像中样本器件的内部区域相比于内部胶水异常的样本图像中样本器件的内部区域在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在待测图像中生成检测区域包括:获取与待测图像对应的模板图像,其中,模板图像包括参考器件以及覆盖参考器件中部分区域的初始检测区域;将待测图像与模板图像进行对比,以确定待测图像中待检测器件与模板图像中参考器件之间的位置偏移量;根据位置偏移量在待测图像中生成检测区域。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取包含待检测器件的待测图像;在待测图像中生成检测区域;通过预设阈值对待测图像位于检测区域内的图像区域进行阈值分割,得到对应于目标对象的目标像素点,其中,预设阈值用于区分检测区域内的图像区域中需要检测的目标对象的像素与检测区域中非目标对象的像素;根据目标像素点确定目标对象所在的目标区域;确定目标区域的参数,并将目标区域的参数与预设参数进行比对,根据比对结果判断目标对象是否存在于检测区域中。
在一个实施例中,根据目标像素点确定目标对象所在的目标区域包括:对目标对象的目标像素点进行连通域计算,以确定每个目标对象所在的目标区域。
在一个实施例中,方法还包括:根据检测区域中目标对象与检测区域中非目标对象在至少一个颜色通道的分量值差异来预先设置预设阈值。
在一个实施例中,至少在目标对象与非目标对象差异最大的颜色通道设置预设阈值。
在一个实施例中,目标区域的参数包括以下至少之一:面积、长度、宽度;预设参数包括以下至少之一:面积阈值、长度阈值、宽度阈值;并且,在比对结果为目标区域的参数大于预设参数的情况下,判断目标对象存在。
在一个实施例中,在目标对象为待检测器件边缘溢出的胶水的情况下,检测区域覆盖于待测图像中的器件边缘位置;预设阈值为根据样本图像中样本器件的边缘与样本器件的边缘中的胶水在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在目标对象为待检测器件引脚溢出的胶水的情况下,检测区域覆盖于待测图像中的器件引脚与器件边缘的交界位置;预设阈值为根据样本图像中样本器件的溢胶与器件边缘交接位置处的胶水相比于样本器件的样本器件的边缘和引脚在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在目标对象为待检测器件的晶粒和/或导线的情况下,检测区域覆盖于俯视拍摄的待测图像中的器件的晶粒和/或导线所在位置;预设阈值为根据样本图像中样本器件的晶粒和/或导线相比于背景区域在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在目标对象为待检测器件内部的胶水的情况下,检测区域覆盖于待测图像中的器件内部区域;预设阈值为根据内部胶水正常的样本图像中样本器件的内部区域相比于内部胶水异常的样本图像中样本器件的内部区域在至少一个颜色通道的分量值差异而设定的数值范围。
在一个实施例中,在待测图像中生成检测区域包括:获取与待测图像对应的模板图像,其中,模板图像包括参考器件以及覆盖参考器件中部分区域的初始检测区域;将待测图像与模板图像进行对比,以确定待测图像中待检测器件与模板图像中参考器件之间的位置偏移量;根据位置偏移量在待测图像中生成检测区域。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种目标对象的检测方法,其特征在于,所述检测方法包括:
获取包含待检测器件的待测图像;
在所述待测图像中生成检测区域;
通过预设阈值对所述待测图像位于所述检测区域内的图像区域进行阈值分割,得到对应于所述目标对象的目标像素点,其中,所述预设阈值用于区分所述检测区域内的图像区域中需要检测的目标对象的像素与所述检测区域中非目标对象的像素;
根据所述目标像素点确定所述目标对象所在的目标区域;
确定所述目标区域的参数,并将所述目标区域的参数与预设参数进行比对,根据比对结果判断所述目标对象是否存在于所述检测区域中。
2.根据权利要求1所述的目标对象的检测方法,其特征在于,所述根据所述目标像素点确定所述目标对象所在的目标区域包括:
对所述目标对象的目标像素点进行连通域计算,以确定每个目标对象所在的目标区域。
3.根据权利要求1所述的目标对象的检测方法,其特征在于,所述检测方法还包括:
根据所述检测区域中目标对象与所述检测区域中非目标对象在至少一个颜色通道的分量值差异来预先设置所述预设阈值。
4.根据权利要求3所述的目标对象的检测方法,其特征在于,至少在目标对象与非目标对象差异最大的颜色通道设置所述预设阈值。
5.根据权利要求1所述的目标对象的检测方法,其特征在于,所述目标区域的参数包括以下至少之一:面积、长度、宽度;所述预设参数包括以下至少之一:面积阈值、长度阈值、宽度阈值;
并且,在比对结果为所述目标区域的参数大于所述预设参数的情况下,判断所述目标对象存在。
6.根据权利要求1至5中任一项所述的目标对象的检测方法,其特征在于,在所述目标对象为所述待检测器件边缘溢出的胶水的情况下,所述检测区域覆盖于所述待测图像中的器件边缘位置;
所述预设阈值为根据样本图像中样本器件的边缘与所述样本器件的边缘中的胶水在至少一个颜色通道的分量值差异而设定的数值范围。
7.根据权利要求1至5中任一项所述的目标对象的检测方法,其特征在于,在所述目标对象为所述待检测器件引脚溢出的胶水的情况下,所述检测区域覆盖于待测图像中的器件引脚与器件边缘的交界位置;
所述预设阈值为根据样本图像中样本器件的溢胶与器件边缘交接位置处的胶水相比于所述样本器件的所述样本器件的边缘和引脚在至少一个颜色通道的分量值差异而设定的数值范围。
8.根据权利要求1至5中任一项所述的目标对象的检测方法,其特征在于,在所述目标对象为待检测器件的晶粒和/或导线的情况下,所述检测区域覆盖于俯视拍摄的待测图像中的器件的晶粒和/或导线所在位置;
所述预设阈值为根据样本图像中样本器件的晶粒和/或导线相比于背景区域在至少一个颜色通道的分量值差异而设定的数值范围。
9.根据权利要求1至5中任一项所述的目标对象的检测方法,其特征在于,在所述目标对象为所述待检测器件内部的胶水的情况下,所述检测区域覆盖于待测图像中的器件内部区域;
所述预设阈值为根据内部胶水正常的样本图像中样本器件的内部区域相比于内部胶水异常的样本图像中样本器件的内部区域在至少一个颜色通道的分量值差异而设定的数值范围。
10.根据权利要求1至5中任一项所述的目标对象的检测方法,其特征在于,在所述待测图像中生成检测区域包括:
获取与所述待测图像对应的模板图像,其中,所述模板图像包括参考器件以及覆盖所述参考器件中部分区域的初始检测区域;
将所述待测图像与所述模板图像进行对比,以确定所述待测图像中所述待检测器件与所述模板图像中所述参考器件之间的位置偏移量;
根据所述位置偏移量在所述待测图像中生成检测区域。
11.一种目标对象的检测装置,其特征在于,包括:
图像获取模块,用于获取包含待检测器件的待测图像;
检测区域确定模块,用于在所述待测图像中生成检测区域;
处理模块,用于通过预设阈值对所述待测图像位于所述检测区域内的图像区域进行阈值分割,得到对应于所述目标对象的目标像素点,其中,所述预设阈值用于区分所述检测区域内的图像区域中需要检测的目标对象的像素与所述检测区域中非目标对象的像素;
目标区域确定模块,用于根据所述目标像素点确定所述目标对象所在的目标区域;
检测模块,用于确定所述目标区域的区域参数,并将所述目标区域的参数与预设参数进行比对,根据比对结果判断所述目标对象是否存在于所述检测区域中。
12.一种机器可读存储介质,该机器可读存储介质上存储有指令,其特征在于,该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至10中任一项所述的目标对象的检测方法。
13.一种电子设备,包括处理器和存储器,所述处理器和所述存储器通过总线连接,其特征在于,所述存储器中存储有计算机程序,在所述计算机程序被所述处理器调用时执行根据权利要求1至10中任一项所述的目标对象的检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111565329.9A CN114494115A (zh) | 2021-12-20 | 2021-12-20 | 目标对象的检测方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111565329.9A CN114494115A (zh) | 2021-12-20 | 2021-12-20 | 目标对象的检测方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114494115A true CN114494115A (zh) | 2022-05-13 |
Family
ID=81494982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111565329.9A Pending CN114494115A (zh) | 2021-12-20 | 2021-12-20 | 目标对象的检测方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114494115A (zh) |
-
2021
- 2021-12-20 CN CN202111565329.9A patent/CN114494115A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8391585B2 (en) | Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium | |
US9811899B2 (en) | Method, image processing system and computer-readable recording medium for item defect inspection | |
US8849062B2 (en) | Eye defect detection in international standards organization images | |
CN110516514B (zh) | 一种目标检测模型的建模方法和装置 | |
US8655060B2 (en) | Night-scene light source detecting device and night-scene light source detecting method | |
CN113905183B (zh) | 宽动态范围图像的色差校正方法及装置 | |
CN113160161B (zh) | 目标边缘处缺陷的检测方法和装置 | |
JP3741672B2 (ja) | 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム | |
US11228723B2 (en) | Pixel correction | |
CN113785181A (zh) | Oled屏幕点缺陷判定方法、装置、存储介质及电子设备 | |
CN114565558A (zh) | 一种cmos芯片表面缺陷检测方法及系统 | |
CN114494116A (zh) | 器件边缘的检测方法、装置、存储介质及电子设备 | |
CN114494122A (zh) | 目标对象的检测方法、装置、存储介质及电子设备 | |
CN114494124A (zh) | 用于检测器件高度的方法、装置、存储介质及电子设备 | |
CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
CN114494117A (zh) | 器件胶水分布的检测方法、装置、存储介质及电子设备 | |
CN114494115A (zh) | 目标对象的检测方法、装置、存储介质及电子设备 | |
CN116879301A (zh) | 产品检测方法、装置、设备及计算机可读存储介质 | |
JP2012007952A (ja) | 外観検査装置 | |
CN115809999A (zh) | 器件上目标对象检测方法、装置、电子设备及存储介质 | |
CN116993654A (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
CN114494118A (zh) | 目标对象宽度的检测方法及目标对象长度的检测方法 | |
CN111412941A (zh) | 安装质量的检测方法及装置 | |
US20240029423A1 (en) | Method for detecting defect in image and device for detecting defect in image | |
CN114298933A (zh) | 图像色偏的检测方法、检测装置和处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |