CN117474916A - 一种图像检测方法、电子设备及存储介质 - Google Patents
一种图像检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117474916A CN117474916A CN202311813188.7A CN202311813188A CN117474916A CN 117474916 A CN117474916 A CN 117474916A CN 202311813188 A CN202311813188 A CN 202311813188A CN 117474916 A CN117474916 A CN 117474916A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- feature vector
- region
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 239000013598 vector Substances 0.000 claims abstract description 415
- 230000002159 abnormal effect Effects 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 16
- 230000009286 beneficial effect Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像检测方法、电子设备及存储介质。方法包括:获取待检测图像;将待检测图像输入至特征提取模型进行特征提取,以获得与待检测图像中的待检测区域对应的待测特征向量组,其中,待检测区域对应有特征向量库,特征向量库包括至少一个参考特征向量组,至少一个参考特征向量组与至少一个参考区域一一对应,特征向量库所对应的待检测区域和至少一个参考区域均对应于同一图像位置;将待检测区域所对应的待测特征向量组与待检测区域所对应的特征向量库中存储的参考特征向量组进行比较,以确定待检测区域是否满足第一预设要求,在待检测区域不满足第一预设要求时,确定待检测区域为异常区域。该方案有助于提高图像检测的效率。
Description
技术领域
本申请涉及图像检测技术领域,更具体地涉及一种图像检测方法、一种电子设备以及一种存储介质。
背景技术
工业缺陷检测是图像处理技术领域的一个重要应用方向,工业缺陷检测是指在工业应用场景中,对可能出现缺陷的产品进行检测并对产品进行异常判别,从而来区分产品的优劣性。
相关技术中,工业缺陷检测通常采用无监督的异常检测方法。该方法将训练期间预定义的一组正常样本的特征组成一个特征库,并根据聚类算法对该特征库进行压缩,以提高缺陷检测效率。但是,由于缺陷检测的精度受限于特征库的压缩率,对特征库进行压缩会导致缺陷检测的精度降低。
发明内容
考虑到上述问题而提出了本申请。本申请提供了一种图像检测方法、一种电子设备以及一种存储介质。
根据本申请一方面,提供了一种图像检测方法,包括:获取待检测图像;将待检测图像输入至特征提取模型进行特征提取,以获得与待检测图像中的待检测区域对应的待测特征向量组,其中,待检测区域对应有特征向量库,特征向量库包括至少一个参考特征向量组,至少一个参考特征向量组与至少一个参考区域一一对应,特征向量库所对应的待检测区域和至少一个参考区域均对应于同一图像位置;将待检测区域所对应的待测特征向量组与待检测区域所对应的特征向量库中存储的参考特征向量组进行比较,以确定待检测区域是否满足第一预设要求,其中,第一预设要求为待检测区域所对应的待测特征向量组与特征向量库中的至少部分参考特征向量组之间的相似度大于第一相似度阈值;在待检测区域不满足第一预设要求时,确定待检测区域为异常区域。
上述技术方案通过提取待检测图像中的待检测区域对应的待测特征向量组,并将待测特征向量组与对应的特征向量库中存储的参考特征向量组进行比较,可以较为准确地判断该待检测区域是否为异常区域。且由于与该待测特征向量组对应的特征向量库所对应的待检测区域和参考区域对应于同一图像位置,因此,可以减少与待测特征向量组进行比较的参考特征向量组的数量。由此,有助于减少计算量,提高图像检测的效率。
示例性地,将待检测区域所对应的待测特征向量组与待检测区域所对应的特征向量库中存储的参考特征向量组进行比较,以确定待检测区域是否满足第一预设要求包括:分别计算待检测区域所对应的待测特征向量组与待检测区域所对应的特征向量库中存储的每个参考特征向量组间的第一特征差异值;确定第一特征差异值中最小的第一特征差异值为第一异常分数;判断第一异常分数是否大于或等于第一分数阈值;在第一异常分数大于或等于第一分数阈值时,确定该待检测区域不满足第一预设要求;其中,第一异常分数与相似度负相关,第一分数阈值与相似度阈值负相关。
上述技术方案仅将特征向量库中与待测特征向量组最相近的特征对应的第一特征差异值作为第一异常分数,并利用该第一异常分数与第一分数阈值的比较结果,确定该待检测区域是否满足第一预设要求,有助于为后续步骤提供较为准确的依据,从而有助于进一步提高图像检测效率。
示例性地,待检测区域的数量为至少两个,至少两个待检测区域与至少两个特征向量库一一对应;在待检测区域不满足第一预设要求时,方法还包括:对于至少两个待检测区域中的每个待检测区域,将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较,以确定该待检测区域是否满足第二预设要求,第二预设要求为该待检测区域所对应的待测特征向量组与第二特征向量库中的至少部分第二参考特征向量组之间的相似度大于第二相似度阈值;在该待检测区域满足第二预设要求时,确定该待检测区域为偏移异常区域。
上述技术方案在待检测区域不满足第一预设要求时,通过将该待检测区域所对应的待测特征向量组与第二特征向量库所对应的第二参考特征向量组进行比较,可以较为准确地判断该待检测区域是否为偏移异常区域。由此,该方案可以在具备检测结构性异常(比如脏污、破损)导致的异常区域的基础上,还具备对偏移异常导致的异常区域的检测能力。总之,该方案有助于扩大图像检测方法的应用范围,进一步提高用户的使用体验。
示例性地,将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较,以确定该待检测区域是否满足第二预设要求,包括:分别计算该待检测区域所对应的待测特征向量组与第二特征向量库中存储的每个第二参考特征向量组间的第二特征差异值;确定第二特征差异值中最小的第二特征差异值为第二异常分数;判断第二异常分数是否小于第二分数阈值;在第二异常分数小于第二分数阈值时,确定待测特征向量组对应的待检测区域满足第二预设要求;其中,第二异常分数与相似度负相关。
上述技术方案仅将第二特征向量库中与待测特征向量组最相近的特征对应的第二特征差异值作为第二异常分数,并利用该第二异常分数与第二分数阈值的比较结果,确定该待检测区域是否满足第二预设要求,有助于较为准确地确定该待检测区域是否为偏移异常区域。该方案计算简单,有助于为后续步骤提供较为准确的依据。
示例性地,在将待检测图像输入至特征提取模型进行特征提取之前,方法还包括:将待检测图像中的待检测产品与模板图像中的模板产品进行匹配,获得第一匹配结果;基于第一匹配结果对待检测图像的图像参数进行调整,以使得调整后的待检测图像与模板图像的大小相同且待检测图像中的待检测产品与模板图像中的模板产品对齐,其中,图像参数包括位置、形状和大小中的一项或多项;其中,至少一个参考区域分别为至少一个参考图像中的图像区域,至少一个参考图像中的每个参考图像与模板图像的大小相同且每个参考图像中的参考产品与模板图像中的模板产品对齐。
上述技术方案在将待检测图像输入至特征提取模型进行特征提取之前,基于模板图像对待检测图像进行调整,以使得调整后的待检测图像与模板图像的大小相同且待检测图像中的待检测产品与模板图像中的模板产品对齐,由此,有助于消除待检测图像中的旋转和扭曲,统一待检测图像与模板图像间的尺度,从而有助于提高计算效率,且有助于增强图像检测方法的鲁棒性,提高图像检测的准确度。
示例性地,待检测区域在待检测图像中的位置为目标图像位置;特征向量库通过以下特征向量库生成操作得到:获取样本图像集,样本图像集包括至少一个样本图像,样本图像集中的每个样本图像均不包含异常区域;对于样本图像集中的每个样本图像,利用特征提取模型提取该样本图像对应的图像特征向量;选取样本图像集中的样本图像各自对应的图像特征向量中与位于目标图像位置处的参考区域相对应的特征向量组,并基于所选取的特征向量组获得与目标图像位置对应的特征向量库;其中,与目标图像位置对应的特征向量库为与目标图像位置对应的待检测区域所对应的特征向量库,至少一个参考区域分别为至少一个参考图像中的图像区域,至少一个参考图像为样本图像集中的至少部分样本图像。
在本申请的上述技术方案中,每个目标图像位置与一个特征向量库对应,换言之,每个特征向量库仅存储与该目标图像位置对应的特征向量组。相比于相关技术,该方案可以采用更多的样本图像用于生成特征向量库,由此,该方案所生成的特征向量库有助于进一步提高图像检测的精度。
示例性地,基于所选取的特征向量组获得与目标图像位置对应的特征向量库,包括:将所选取的特征向量组存储至与目标图像位置对应的特征向量库中;其中,至少一个参考区域分别为至少一个参考图像中的图像区域,至少一个参考图像为样本图像集中的全部样本图像。
在该实施例中,将生成特征向量库时所采用的所有的样本图像均作为参考图像。特征向量库中包括全部样本图像在与该特征向量库对应的目标图像位置的特征向量组。由此,在基于该特征向量库对待检测图像进行图像检测时,可以进一步提高图像检测的精度。
示例性地,样本图像的数量为多个,基于所选取的特征向量组获得与该目标图像位置对应的特征向量库,包括:对所选取的特征向量组进行聚类,以获得至少两个聚类分组;将至少两个聚类分组各自包含的代表性特征向量组存储至与该目标图像位置对应的特征向量库中;其中,代表性特征向量组为所属聚类分组中的任一特征向量组,每个特征向量库所对应的参考区域所属的参考图像为与该特征向量库中存储的代表性特征向量组对应的样本图像。
在该实施例的技术方案中,特征向量库中仅包括每一聚类分组中的代表性特征向量组,由此,可以降低特征向量库的内存。同时,由于该方案通过聚类的方式减少了特征向量库中的特征向量组的数量,相应地,减少了图像检测过程中用于与待测特征向量组比较的参考特征向量组的数量,由此,该方案有助于提高图像检测的效率。
示例性地,特征向量库生成操作还包括:获取新样本图像;将新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息进行比较,以判断新样本图像相对样本图像集中的至少部分样本图像所发生的图像信息变化程度是否超过预设程度阈值;若新样本图像相对样本图像集中的至少部分样本图像所发生的图像信息变化程度超过预设程度阈值,则将新样本图像添加至样本图像集中,以基于添加后的样本图像集确定特征向量库;其中,图像信息包括以下信息中的至少一种:纹理信息、颜色信息、像素信息。
上述技术方案在新样本图像相对样本图像集中的至少部分样本图像所发生的图像信息变化程度超过预设程度阈值时,将新样本图像添加至样本图像集中,以基于添加后的样本图像集确定特征向量库,由此,有助于保证基于特征向量库的图像检测结果的准确性。同时,这种增量训练的方式也有助于提高图像检测方法的应用范围。
根据本申请的另一方面,提供了一种电子设备,包括处理器和存储器,其中,存储器中存储有计算机程序指令,计算机程序指令被处理器运行时用于执行上述的图像检测方法。
上述技术方案通过提取待检测图像中的待检测区域对应的待测特征向量组,并将待测特征向量组与对应的特征向量库中存储的参考特征向量组进行比较,可以较为准确地判断该待检测区域是否为异常区域。且由于与该待测特征向量组对应的特征向量库所对应的待检测区域和参考区域对应于同一图像位置,因此,可以减少与待测特征向量组进行比较的参考特征向量组的数量。由此,有助于减少计算量,提高图像检测的效率。
根据本申请的又一方面,提供了一种存储介质,在存储介质上存储了程序指令,程序指令在运行时用于执行上述的图像检测方法。
上述技术方案通过提取待检测图像中的待检测区域对应的待测特征向量组,并将待测特征向量组与对应的特征向量库中存储的参考特征向量组进行比较,可以较为准确地判断该待检测区域是否为异常区域。且由于与该待测特征向量组对应的特征向量库所对应的待检测区域和参考区域对应于同一图像位置,因此,可以减少与待测特征向量组进行比较的参考特征向量组的数量。由此,有助于减少计算量,提高图像检测的效率。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出根据本申请一个实施例的图像检测方法的示意性流程图;
图2示出根据本申请一个实施例的待检测图像的示意图;
图3示出根据本申请一个实施例的调整后的待检测图像的示意图;
图4示出根据本申请一个实施例的特征向量库的生成过程的示意图;以及
图5示出根据本申请一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
工业缺陷检测是图像处理技术领域的一个重要应用方向。目前,工业领域异常检测算法通常采用无监督算法,该算法无需收集缺陷数据集即可完成缺陷的检出,避免了低频缺陷数据集收集困难,未知类别缺陷难拦截的问题,并在缺陷数据集不足的情况下,能够很好的解决检出问题,有效减少了项目周期,更加快速的给企业带来生产环节上的效益增长。其中,异常检测方法可以采用以下算法中的任意一种实现:Patchcore算法、CSlow算法、DFM算法、DRAEM算法、FastFlow算法、GANomaly算法、PADIM算法等。以Patchcore算法为例,该算法通过基于ImageNet上训练的预训练模型,提取图像中的中层特征,并利用所提取的中层特征形成特征库,在进行缺陷检测时,通过将待处理图像的特征与特征库中存储的特征进行匹配搜索,以确定待处理图像中是否存在缺陷区域。相关技术中,为提高缺陷检测的效率,通常会利用诸如聚类算法等对特征库进行压缩。但是,对特征库进行压缩会导致特征库中样本特征的数量减少。特征库中的样本特征的数量减少则会导致缺陷检测的精度下降。换言之,缺陷检测的精度受限于特征库的压缩率,随着特征库的压缩率的增大,缺陷检测的精度会降低。综上,相关技术中的缺陷检测方法精度较差。有鉴于此,本申请提供了一种图像检测方法、一种电子设备以及一种存储介质,该方法有助于提高图像检测的精度。该图像检测方法、电子设备和存储介质在下文详细描述。
根据本申请的一个方面,提供了一种图像检测方法。图1示出根据本申请一个实施例的图像检测方法的示意性流程图。如图1所示,该图像检测方法100可以包括步骤S110、步骤S120、步骤S130和步骤S140。
在步骤S110,获取待检测图像。
根据本申请实施例的待检测图像可以是任何待缺陷检测对象的图像。换言之,在待检测图像中可以包括待缺陷检测的目标对象。待缺陷检测的目标对象可以是任何合适的物体,包括但不限于金属、玻璃、纸张、电子元器件等对外观有严格要求又有明确指标的物体等,本申请不对其进行限制。
示例性地,待检测图像可以是黑白图像,也可以是彩色图像。示例性地,待检测图像可以是任意尺寸或分辨率大小的图像。替代地,待检测图像也可以是满足预设分辨率要求的图像。在一个示例中,待检测图像可以是具有512*512像素大小的黑白图像。对于待检测图像的要求可以基于实际的检测需求、图像采集装置的硬件条件以及模型(例如下文的特征提取模型)对输入图像的要求等进行设置,本申请不对其进行限制。
示例性地,待检测图像可以是通过图像采集装置采集到的原始图像。根据本申请实施例,可以采用任何现有的或者未来的图像采集方式获取待检测图像。示例性地,可以采用机器视觉检测系统中的图像采集装置获取待检测图像,如采用与检测环境和待检测对象匹配的照明装置、镜头、高速相机和图像采集卡获取待检测图像。
在另一示例中,待检测图像可以是对原始图像进行预处理操作后的图像。
示例性地,该预处理操作可以是任何可以满足后续图像检测步骤需要的预处理操作,可以包括为了改善图像的视觉效果,提高图像的清晰度,或是突出图像中的某些特征等便于对待检测图像进行图像检测的所有操作。可选地,预处理操作可以包括滤波等去噪操作,也可以包括图像参数的调整如图像增强灰度、对比度、亮度的调整。替代地,预处理操作可以包括对待检测图像的像素归一化处理。例如,可以将待检测图像的每个像素均除以255,以使预处理后的待检测图像的像素处于0-1范围内。这有助于提高后续图像检测的效率。
示例性地,预处理操作还可以包括裁剪图像、删除图像等操作。例如,可以将原始图像裁剪为模型需求的大小,还可以删除不满足图像质量要求的原始图像,以获得满足图像质量要求的待检测图像等。
示例性地,待检测图像的数目可以是1张也可以是多张。可选地,待检测图像的数目为1张,例如每次仅获取一张待检测图像。替代地,待检测图像的数目可以为多张,例如10张、500张,可以一次性获取多张待检测图像,然后将其一次性输入后续的模型中进行缺陷检测。
在步骤S120,将待检测图像输入至特征提取模型进行特征提取,以获得与待检测图像中的待检测区域对应的待测特征向量组,其中,待检测区域对应有特征向量库,特征向量库包括至少一个参考特征向量组,至少一个参考特征向量组与至少一个参考区域一一对应,特征向量库所对应的待检测区域和至少一个参考区域均对应于同一图像位置。
可选地,待检测图像中的待检测区域的数量可以为一个。在一些实施例中,可以将待检测图像整体作为一个待检测区域,然后获得与该待检测区域对应的待测特征向量组。在另一些实施例中,待检测区域可以是根据经验确定的待缺陷检测的目标对象上容易出现缺陷的区域。
可选地,待检测图像中的待检测区域的数量可以为至少两个。至少两个待检测区域一一对应有至少两个特征向量库。至少两个待检测区域中的每个待检测区域可以称为待检测图像中的一个位置。类似地,每个参考区域可以称为参考图像中的一个位置。可以理解,同一特征向量库所对应的待检测区域和参考区域对应于同一图像位置,表示待检测区域在对应的待检测图像中的位置与参考区域在对应的参考图像中的位置相同。
在本申请中,参考图像与待检测图像包含相同类型的目标对象。且参考图像中的目标对象为无缺陷的目标对象。以目标对象是晶圆为例,参考图像可以是正常晶圆(即无缺陷的晶圆)的图像,待检测图像可以是待检测的晶圆的图像。
可选地,参考区域可以是参考图像中的任一图像区域,且参考区域的尺寸小于参考图像。相关技术中,通常将训练期间预定义的一组正常样本(相当于参考图像)的特征存储到一个特征库中。而在本申请的方案中,将参考图像中的每个参考区域的参考特征向量组分别组成特征向量库,由此,在执行后续步骤S130时,可以缩小计算范围,提高计算精度和计算效率。
可选地,在待检测区域的数量为至少两个时,待检测区域的大小可以根据需要选择。例如,可以将待检测图像中的每个像素点作为一个待检测区域。又例如,可以将待检测图像中的预设数量个像素点组成的区域作为一个待检测区域。
可选地,特征提取模型可以是现有的或将来研发的任意一种用于进行特征提取的神经网络模型。例如,神经网络可以是以下神经网络的任意一种神经网络或几种神经网络的结合:卷积神经网络(Convolutional Neural Networks, CNN)、循环神经网络(Recurrent Neural Networks, RNN)等。在一个具体的实施例中,特征提取模型可以是基于ImageNet的预训练模型。在另一个具体的实施例中,特征提取模型可以是预训练的卷积神经网络模型。在该实施例中,可以将待检测图像输入至预训练的卷积神经网络模型中,以获得至少两个待检测区域一一对应的待测特征向量组。该待测特征向量组可以是待检测区域在预训练的卷积神经网络模型的中间层对应的特征向量。
可选地,待检测区域可以为待检测图像中的部分区域,且每个待检测区域均对应有特征向量库。待检测图像中包括至少两个待检测区域,至少两个待检测区域可以包括待检测图像的全部区域,也可以仅包括待检测图像中的部分区域。可选地,至少两个待检测区域所包括的图像范围与待检测图像的图像范围相同。换言之,至少两个待检测区域为由待检测图像基于预设的划分规则划分而成的多个区域。例如,在至少两个待检测区域的数量为四个时,可以将待检测图像划分为大小相同的四个区域,每个区域为一个待检测区域。图2示出根据本申请一个实施例的待检测图像的示意图。如图2所示,待检测图像可以划分出四个区域:区域A、区域B、区域C和区域D。在本实施例中,可以将区域A、区域B、区域C和区域D均作为待检测区域。
可选地,方法100还可以包括以下步骤:在待检测图像上划分出至少两个待检测区域;其中,至少两个待检测区域中的每个待检测区域的大小与对应的参考区域的大小相同,且至少两个待检测区域彼此互不重叠。
在该实施例中,通过采用互不重叠的方式在待检测图像上划分出至少两个待检测区域,有助于保证对待检测图像中的每个区域均进行缺陷检测,从而有助于避免漏检。
可选地,至少两个待检测区域可以是待检测图像中的需要重点观察的区域。例如,可以根据经验确定待缺陷检测的目标对象上容易出现缺陷的区域,然后确定待检测图像中与目标对象上容易出现缺陷的区域对应的图像区域为待检测区域。仍以图2为例对待检测图像中的待检测区域进行说明。如图2所示,待检测图像可以分为区域A、区域B、区域C和区域D。用户可以根据经验确定区域B和区域C为待检测区域。在该实施例的方案中,仅将待检测图像中的部分区域作为待检测区域,由此,有助于减少计算量,提高图像检测效率。
在步骤S130,将待检测区域所对应的待测特征向量组与待检测区域所对应的特征向量库中存储的参考特征向量组进行比较,以确定待检测区域是否满足第一预设要求,其中,第一预设要求为待检测区域所对应的待测特征向量组与特征向量库中的至少部分参考特征向量组之间的相似度大于第一相似度阈值。
可选地,在待检测区域的数量为至少两个时,对于至少两个待检测区域中的每个待检测区域,与该待检测区域对应的特征向量库可以称为第一特征向量库,至少两个特征向量库中除第一特征向量库外的每个特征向量库可以称为第二特征向量库。第一特征向量库中存储的参考特征向量组可以称为第一参考特征向量组。步骤S130,将待检测区域所对应的待测特征向量组与待检测区域所对应的特征向量库中存储的参考特征向量组进行比较,以确定待检测区域是否满足第一预设要求,可以包括以下步骤:对于至少两个待检测区域中的每个待检测区域,将该待检测区域所对应的待测特征向量组与待检测区域所对应的第一特征向量库中存储的第一参考特征向量组进行比较,以确定待检测区域是否满足第一预设要求。如上文所述,相关技术中,通常将训练期间预定义的一组正常样本(相当于参考图像)的特征存储到一个特征库中。在采用诸如Patchcore算法等对待检测图像进行检测时,通常将待检测图像中的每个区域的特征与特征库中的全部特征进行比较,计算量大,效率低。而在该实施例中,仅需将每个待检测区域的待测特征向量组与该待检测区域所对应的第一特征向量库中存储的第一参考特征向量组进行比较,由此,有助于缩小计算范围,减少计算量,提高图像检测效率。
可选地,至少部分参考特征向量组中的参考特征向量组的数量可以根据需要设置。例如,至少部分参考特征向量组中的参考特征向量组的数量可以是一个。在该实施例中,在与该待检测区域对应的特征向量库中存在至少一个参考特征向量组与待测特征向量组间的相似度大于相似度阈值时,可以确定该待检测区域满足第一预设要求。又例如,至少部分参考特征向量组中的参考特征向量组的数量可以是两个。在该实施例中,在与该待检测区域对应的特征向量库中存在至少两个参考特征向量组与待测特征向量组间的相似度大于相似度阈值时,可以确定该待检测区域满足第一预设要求。
可选地,可以采用现有的或将来研发的任意一种用于计算两个特征向量组间的相似度的方法对待测特征向量组与对应的参考特征向量组进行比较。例如,可以计算待测特征向量组与对应的参考特征向量组间的欧氏距离或马氏距离,并根据计算结果确定待测特征向量组与对应的参考特征向量组间的相似度。
可选地,第一相似度阈值可以根据需要设置。第一相似度阈值越大,表示判断待检测区域是否为异常区域的标准越严格,图像检测的精度越高;否则,反之。因此,在一些实施例中,可以根据用户需要的图像检测精度设置第一相似度阈值。
在步骤S140,在待检测区域不满足第一预设要求时,确定待检测区域为异常区域。
在待检测区域不满足第一预设要求时,表示该待检测区域与对应的特征向量库中的参考特征向量组间的相似度较低。换言之,该待检测区域有较大的可能是偏离正常区域(即参考特征向量组对应的参考区域)的异常区域。因此,可以在该待检测区域不满足第一预设要求时,确定该待检测区域为异常区域。
上述技术方案通过提取待检测图像中的待检测区域对应的待测特征向量组,并将待测特征向量组与对应的特征向量库中存储的参考特征向量组进行比较,可以较为准确地判断该待检测区域是否为异常区域。且由于与该待测特征向量组对应的特征向量库所对应的待检测区域和参考区域对应于同一图像位置,因此,可以减少与待测特征向量组进行比较的参考特征向量组的数量。由此,有助于减少计算量,提高图像检测的效率。
示例性地,在步骤S130,将待检测区域所对应的待测特征向量组与待检测区域所对应的特征向量库中存储的参考特征向量组进行比较,以确定待检测区域是否满足第一预设要求,可以包括以下步骤:分别计算待检测区域所对应的待测特征向量组与该待检测区域所对应的特征向量库中存储的每个参考特征向量组间的第一特征差异值;确定第一特征差异值中最小的第一特征差异值为第一异常分数;判断第一异常分数是否大于或等于第一分数阈值;在第一异常分数大于或等于第一分数阈值时,确定该待检测区域不满足第一预设要求;其中,第一异常分数与相似度负相关,第一分数阈值与相似度阈值负相关。
可选地,第一特征差异值可以采用现有的或将来研发的任意一种用于计算两个特征向量组间的相似度的方法确定。例如,可以计算待测特征向量组与参考特征向量组间的欧几里得(L2)范数、欧氏距离、马氏距离中的任意一种,以确定第一特征差异值。在一个具体的实施例中,可以计算该待检测区域所对应的待测特征向量组与该待检测区域所对应的特征向量库中存储的每个参考特征向量组间的L2范数,该L2范数即为对应的参考特征向量组与待测特征向量组间的第一特征差异值。
在得到待测特征向量组与每个参考特征向量组间的第一特征差异值后,可以将最小的第一特征差异值作为第一异常分数。以上述L2范数为第一特征差异值的实施例为例,在得到与每个参考特征向量组对应的L2范数后,可以比较各个L2范数,选择其中最小的L2范数最为第一异常分数。该L2范数即为上述特征向量库中与待测特征向量组最相近的特征对应的第一异常分数。
可选地,第一分数阈值可以根据需要设置。如上文所述,第一异常分数与相似度负相关,第一分数阈值与相似度阈值负相关。因此,在第一异常分数大于或等于第一分数阈值时,表示该待测特征向量组与特征向量库中的第一参考特征向量组间的相似度小于或等于相似度阈值,此时,可以确定该待检测区域不满足第一预设要求。即该待检测区域为异常区域。
上述技术方案仅将特征向量库中与待测特征向量组最相近的特征对应的第一特征差异值作为第一异常分数,并利用该第一异常分数与第一分数阈值的比较结果,确定该待检测区域是否满足第一预设要求,有助于为后续步骤(例如步骤S140)提供较为准确的依据,从而有助于进一步提高图像检测效率。
示例性地,待检测区域的数量为至少两个,至少两个待检测区域与至少两个特征向量库一一对应;在待检测区域不满足第一预设要求时,方法还可以包括以下步骤S150和步骤S160。
在步骤S150,对于至少两个待检测区域中的每个待检测区域,将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较,以确定该待检测区域是否满足第二预设要求,第二预设要求为该待检测区域所对应的待测特征向量组与第二特征向量库中的至少部分第二参考特征向量组之间的相似度大于第二相似度阈值。
在步骤S160,对于至少两个待检测区域中的每个待检测区域,在该待检测区域满足第二预设要求时,确定该待检测区域为偏移异常区域。
将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较的方式与对待测特征向量组与对应的参考特征向量组进行比较的方式类似,不赘述。
可选地,将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较,可以包括:将该待检测区域所对应的待测特征向量组与除该待检测区域外的每一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较。在该实施例中,可以将待测特征向量组与其他待检测区域对应的第二特征向量库中存储的第二参考特征向量组进行比较,并确定该待测特征向量组与每一第二特征向量库中的第二参考特征向量组的相似度。
可选地,第二特征向量库中的至少部分第二参考特征向量组中的第二参考特征向量组的数量可以根据需要设置。例如,至少部分第二参考特征向量组中的第二参考特征向量组的数量可以是一个。在该实施例中,在第二特征向量库中存在至少一个第二参考特征向量组与待测特征向量组间的相似度大于相似度阈值时,可以确定该待检测区域满足第二预设要求。又例如,至少部分第二参考特征向量组中的第二参考特征向量组的数量可以是两个。在该实施例中,在第二特征向量库中存在至少两个第二参考特征向量组与待测特征向量组间的相似度大于相似度阈值时,可以确定该待检测区域满足第二预设要求。
可选地,第二相似度阈值可以根据需要设置。例如,可以根据用户需要的图像检测精度设置第二相似度阈值。当待检测区域满足第二预设要求时,表示该待检测区域与第二特征向量库所对应的第二参考特征向量组间的相似度较高。即该待检测区域与第二参考特征向量组所对应的参考区域间的相似度较高。此时,确定该待检测区域为偏移异常区域。换言之,该待检测区域的异常原因可能是因为在采集待检测图像时,图像采集装置(例如相机)未对准目标对象。
上述技术方案在待检测区域不满足第一预设要求时,通过将该待检测区域所对应的待测特征向量组与第二特征向量库所对应的第二参考特征向量组进行比较,可以较为准确地判断该待检测区域是否为偏移异常区域。由此,该方案可以在具备检测结构性异常(比如脏污、破损)导致的异常区域的基础上,还具备对偏移异常导致的异常区域的检测能力。总之,该方案有助于扩大图像检测方法的应用范围,进一步提高用户的使用体验。
示例性地,在步骤S150,将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较,以确定该待检测区域是否满足第二预设要求,可以包括以下步骤:分别计算该待检测区域所对应的待测特征向量组与第二特征向量库中存储的每个第二参考特征向量组间的第二特征差异值;确定第二特征差异值中最小的第二特征差异值为第二异常分数;判断第二异常分数是否小于第二分数阈值;在第二异常分数小于第二分数阈值时,确定待测特征向量组对应的待检测区域满足第二预设要求;其中,第二异常分数与相似度负相关。
与第一特征差异值类似,第二特征差异值也可以采用诸如欧几里得(L2)范数、欧氏距离、马氏距离中的任意一种方式确定。在一个具体的实施例中,可以计算待检测区域所对应的待测特征向量组与第二特征向量库中存储的每个第二参考特征向量组间的L2范数,该L2范数即为对应的第二参考特征向量组与待测特征向量组间的第二特征差异值。
在得到待测特征向量组与每个第二参考特征向量组间的第二特征差异值后,可以将最小的第二特征差异值作为第二异常分数。以上述L2范数为第二特征差异值的实施例为例,在得到与每个第二参考特征向量组对应的L2范数后,可以比较各个L2范数,选择其中最小的L2范数最为第二异常分数。该L2范数即为第二特征向量库中与待测特征向量组最相近的特征对应的第二异常分数。
可选地,第二分数阈值可以根据需要设置。如上文所述,第二异常分数与相似度负相关。因此,在第二异常分数小于第二分数阈值时,表示该待测特征向量组与第二特征向量库中的至少部分第二参考特征向量组间的相似度大于相似度阈值,此时,可以确定该待检测区域满足第二预设要求。即该待检测区域为偏移异常区域。
上述技术方案仅将第二特征向量库中与待测特征向量组最相近的特征对应的第二特征差异值作为第二异常分数,并利用该第二异常分数与第二分数阈值的比较结果,确定该待检测区域是否满足第二预设要求,有助于较为准确地确定该待检测区域是否为偏移异常区域。该方案计算简单,有助于为后续步骤(例如步骤S160)提供较为准确的依据。
示例性地,在将待检测图像输入至特征提取模型进行特征提取之前,方法还可以包括以下步骤:将待检测图像中的待检测产品与模板图像中的模板产品进行匹配,获得第一匹配结果;基于第一匹配结果对待检测图像的图像参数进行调整,以使得调整后的待检测图像与模板图像的大小相同且待检测图像中的待检测产品与模板图像中的模板产品对齐,其中,图像参数包括位置、形状和大小中的一项或多项;其中,至少一个参考区域分别为至少一个参考图像中的图像区域,至少一个参考图像中的每个参考图像与模板图像的大小相同且每个参考图像中的参考产品与模板图像中的模板产品对齐。
在本申请中,模板图像与待检测图像包含相同类型的目标对象。以目标对象是晶圆为例,待检测图像可以是待检测的晶圆的图像,模板图像可以是正常晶圆图像,且模板图像中的晶圆的位置符合用户的要求。
可选地,第一匹配结果可以通过现有的或将来研发的任意一种用于图像匹配的方法确定。例如,可以利用基于灰度匹配的方法确定第一匹配结果。基于灰度匹配的方法可以为以下任意一种算法:归一化互相关匹配法(NCC)、平均绝对差算法(MAD)、序贯相似性算法(SSDA)等。又例如,可以利用基于特征匹配的方法确定第一匹配结果。基于特征匹配的方法可以为以下任意一种算法:尺度不变特征变换(SIFT)算法、加速稳健特征(SURF)算法等。
在获得第一匹配结果后,可以基于第一匹配结果对待检测图像的图像参数进行调整。该调整操作可以包括但不限于以下操作的至少一种:平移、旋转、缩放等。在一个具体的实施例中,第一匹配结果可以是基于灰度匹配的方法所确定的待检测图像中的待检测产品对应的每个像素点与模板图像中的模板产品对应的每个像素点间的灰度相关性。在得到第一匹配结果后,可以根据待检测产品对应的各个像素点的灰度相关性的大小,对待检测图像进行平移、旋转和缩放等变换,使得待检测图像与模板图像的大小相同且待检测图像中的待检测产品与模板图像中的模板产品对齐。图3示出根据本申请一个实施例的调整后的待检测图像的示意图。在该实施例中,目标对象为晶圆。在得到待检测图像后,可以将该待检测图像与模板图像匹配对齐,以使得待检测图像与模板图像的大小相同且待检测图像中的待检测产品与模板图像中的模板产品对齐。具体匹配对齐方法在上文已详细描述,不赘述。
上述技术方案在将待检测图像输入至特征提取模型进行特征提取之前,基于模板图像对待检测图像进行调整,以使得调整后的待检测图像与模板图像的大小相同且待检测图像中的待检测产品与模板图像中的模板产品对齐,由此,有助于消除待检测图像中的旋转和扭曲,统一待检测图像与模板图像间的尺度,从而有助于提高计算效率,且有助于增强图像检测方法的鲁棒性,提高图像检测的准确度。
示例性地,待检测区域在待检测图像中的位置为目标图像位置;特征向量库通过以下特征向量库生成操作得到:获取样本图像集,样本图像集包括至少一个样本图像,样本图像集中的每个样本图像均不包含异常区域;对于样本图像集中的每个样本图像,利用特征提取模型提取该样本图像对应的图像特征向量;选取样本图像集中的样本图像各自对应的图像特征向量中与位于目标图像位置处的参考区域相对应的特征向量组,并基于所选取的特征向量组获得与目标图像位置对应的特征向量库;其中,与目标图像位置对应的特征向量库为与目标图像位置对应的待检测区域所对应的特征向量库,至少一个参考区域分别为至少一个参考图像中的图像区域,至少一个参考图像为样本图像集中的至少部分样本图像。
可选地,样本图像集中的至少一个样本图像可以采用现有的或将来研发的任意一种图像获取方法得到。例如,可以通过人工拍摄目标对象的图像,并将拍摄得到的图像作为样本图像。又例如,可以通过网络爬虫获取目标对象的样本图像。
可选地,样本图像集中的样本图像的数量可以根据需要设置。样本图像的数量越多,则利用所得到的特征向量库对待检测图像进行图像检测的检测结果越准确,但所需要的训练时间也越长。因此,可以综合考虑图像检测结果的精度以及训练时间,以确定样本图像的数量。
示例性地,在待检测区域的数量为至少两个时,至少两个待检测区域在待检测图像中的位置分别为至少两个目标图像位置。可选地,选取样本图像集中的样本图像各自对应的图像特征向量中与位于目标图像位置处的参考区域相对应的特征向量组,并基于所选取的特征向量组获得与目标图像位置对应的特征向量库,可以包括以下步骤:对于至少两个目标图像位置中的每个图像位置,选取样本图像集中的样本图像各自对应的图像特征向量中与位于该目标图像位置处的参考区域相对应的特征向量组,并基于所选取的特征向量组获得与该目标图像位置对应的特征向量库。在该实施例中,在得到样本图像集中的每个样本图像各自对应的图像特征向量后,可以基于每个样本图像中相同目标图像位置对应的特征向量组组成与该目标图像位置对应的特征向量库。通过该步骤,可以获得与样本图像上的每个目标图像位置各自对应的特征向量库。
可选地,每个目标图像位置可以与样本图像中的每个像素一一对应。替代地,每个目标图像位置可以与样本图像中的由预设数量个像素组成的区域对应。预设数量可以根据需要设置,例如,预设数量可以为9。
可选地,至少一个参考图像可以为样本图像集中的全部样本图像。换言之,可以将生成特征向量库时所采用的所有的样本图像均作为参考图像。每个特征向量库中包括全部样本图像在与该特征向量库对应的目标图像位置的特征向量组。替代地,至少一个参考图像可以为样本图像集中的部分样本图像。在该实施例中,可以选择样本图像集中的部分样本图像作为参考图像。此时,每个特征向量库中包括该部分样本图像在与该特征向量库对应的目标图像位置的特征向量组。
图4示出根据本申请一个实施例的特征向量库的生成过程的示意图。如图4所示,首先,对于每个样本图像,基于模板图像中的模板产品,将样本图像对齐拉平,以使得对齐拉平后的样本图像与模板图像的大小相同且样本图像中的样本产品与模板图像中的模板产品对齐。在将样本图像对齐拉平后,将对齐拉平后的样本图像输入到预训练的卷积神经网络(即特征提取模型)中,以得到该样本图像在中间层(本实施例中,中间层为第2层或第3层)的图像特征向量。最后,在得到每个样本图像的图像特征向量后,将每个样本图像中位于同一目标图像位置处的参考区域对应的特征向量组组成特征向量库,从而得到与样本图像上的每个目标图像位置一一对应的特征向量库。
相关技术中,通常将样本图像所对应的全部图像特征向量存储到同一特征向量库中。在特征向量库的存储空间有限时,若训练过程中采用的样本图像数量较多,则会导致后续对图像特征向量进行压缩时所需要的压缩时间较长。因此,在相关技术中,在生成特征向量库时,所采用的样本图像的数量受特征向量库的存储空间影响较大。在本申请的上述技术方案中,每个目标图像位置与一个特征向量库对应,换言之,每个特征向量库仅存储与该目标图像位置对应的特征向量组。相比于相关技术,该方案可以采用更多的样本图像用于生成特征向量库,由此,该方案所生成的特征向量库有助于进一步提高图像检测的精度。
示例性地,基于所选取的特征向量组获得与目标图像位置对应的特征向量库,可以包括以下步骤:将所选取的特征向量组存储至与目标图像位置对应的特征向量库中;其中,至少一个参考区域分别为至少一个参考图像中的图像区域,至少一个参考图像为样本图像集中的全部样本图像。
在该实施例中,将生成特征向量库时所采用的所有的样本图像均作为参考图像。特征向量库中包括全部样本图像在与该特征向量库对应的目标图像位置的特征向量组。由此,在基于该特征向量库对待检测图像进行图像检测时,可以进一步提高图像检测的精度。
示例性地,样本图像的数量为多个,基于所选取的特征向量组获得与该目标图像位置对应的特征向量库,可以包括以下步骤:对所选取的特征向量组进行聚类,以获得至少两个聚类分组;将至少两个聚类分组各自包含的代表性特征向量组存储至与该目标图像位置对应的特征向量库中;其中,代表性特征向量组为所属聚类分组中的任一特征向量组,每个特征向量库所对应的参考区域所属的参考图像为与该特征向量库中存储的代表性特征向量组对应的样本图像。
可选地,代表性特征向量组可以是与每个聚类分组的聚类中心对应的特征向量组。在一些实施例中,可以将每个聚类分组各自包含的聚类中心对应的特征向量组存储至与该目标图像位置对应的特征向量库中。在该实施例中,特征向量库中仅包括每一聚类分组中的代表性特征向量组,由此,可以降低特征向量库的内存。同时,由于该方案通过聚类的方式减少了特征向量库中的特征向量组的数量,相应地,减少了图像检测过程中用于与待测特征向量组比较的参考特征向量组的数量,由此,该方案有助于提高图像检测的效率。
示例性地,特征向量库生成操作还可以包括以下步骤:获取新样本图像;将新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息进行比较,以判断新样本图像相对样本图像集中的至少部分样本图像所发生的图像信息变化程度是否超过预设程度阈值;若新样本图像相对样本图像集中的至少部分样本图像所发生的图像信息变化程度超过预设程度阈值,则将新样本图像添加至样本图像集中,以基于添加后的样本图像集确定特征向量库;其中,图像信息包括以下信息中的至少一种:纹理信息、颜色信息、像素信息。
预设程度阈值可以根据需要设置。可以理解,在新样本图像相对样本图像集中的至少部分样本图像所发生的图像信息变化程度超过预设程度阈值时,可能表示新样本图像中包含的目标对象与当前样本图像集对应的目标对象间存在差别。以目标对象为晶圆为例,由于生产工艺等的不同,可能导致新样本图像相比于样本图像集中的样本图像间存在差异,此时,基于当前样本图像集训练生成的特征向量库无法准确判断新样本图像对应的目标对象是否存在缺陷。在本申请的实施例中,通过对比新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息间的差异,并在图像信息变化程度超过预设程度阈值,将新样本图像添加至样本图像集中,以用于生成新的特征向量库。由此,可以保证图像检测的准确性。
可选地,可以通过人工的方式将新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息进行比较。例如,可以人工判断新样本图像与样本图像集中的样本图像间是否存在差异。替代地,可以通过算法模型比较新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息。例如,可以利用算法模型分别统计新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息,然后比较新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息间的图像信息变化程度。在一个具体的实施例中,可以利用高斯相似度算法计算新样本图像的图像信息与样本图像集中的至少部分样本图像的图像信息间的相似度,该相似度与图像信息变化程度负相关。
可选地,图像信息包括以下信息中的至少一种:纹理信息、颜色信息、像素信息。在一些实施例中,图像信息可以包括纹理信息。在该实施例中,可以采用诸如方向梯度直方图(FHOG)特征提取算法等纹理信息提取算法提取新样本图像的纹理信息与样本图像集中的至少部分样本图像的纹理信息。在另一些实施例中,图像信息可以包括颜色信息。在该实施例中,可以采用诸如颜色名称(CN)特征提取算法等颜色信息提取算法提取新样本图像的颜色信息与样本图像集中的至少部分样本图像的颜色信息。在又一些实施例中,图像信息可以包括像素信息。在该实施例中,像素信息可以是对应图像上的每个像素的像素值。在该实施例中,可以通过计算新样本图像与样本图像集中的至少部分样本图像间对应像素间的均值、加权均值、方差等中的任意一项,以确定图像信息变化程度。可以理解,以上用于提取图像信息的方法仅为示例,本申请并不对具体提取图像信息的方法进行限制。例如,在图像信息为颜色信息时,还可以分别统计新样本图像与样本图像集中的至少部分样本图像各自的颜色直方图,通过对比新样本图像的颜色直方图与样本图像集中的至少部分样本图像的颜色直方图间的差异,以确定新样本图像的图像信息变化程度。
上述技术方案在新样本图像相对样本图像集中的至少部分样本图像所发生的图像信息变化程度超过预设程度阈值时,将新样本图像添加至样本图像集中,以基于添加后的样本图像集确定特征向量库,由此,有助于保证基于特征向量库的图像检测结果的准确性。同时,这种增量训练的方式也有助于提高图像检测方法的应用范围。
根据本申请的另一方面,提供了一种电子设备。图5示出根据本申请一个实施例的电子设备的示意性框图。如图5所示,控制装置500包括处理器510和存储器520。存储器520中存储有计算机程序。处理器510用于执行计算机程序以实现图像检测方法100。
可选地,处理器可以包括任何合适的具有数据处理能力和/或指令执行能力的处理器件。例如,处理器可以采用可编程逻辑控制器(PLC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、中央处理单元(CPU)、专用的集成电路(ASIC)、微控制单元(MCU)和其它形式的处理单元中的一种或几种的组合来实现。
根据本申请实施例的又一方面,还提供了一种存储介质。该存储介质中存储有计算机程序/指令,计算机程序/指令被处理器执行时实现上述的图像检测方法100。存储介质例如可以包括只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
本领域普通技术人员通过阅读上文关于图像检测方法100的相关描述,可以理解上述电子设备、存储介质的具体实现方案,为了简洁,在此不再赘述。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请的具体实施方式或对具体实施方式的说明,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种图像检测方法,其特征在于,包括:
获取待检测图像;
将所述待检测图像输入至特征提取模型进行特征提取,以获得与所述待检测图像中的待检测区域对应的待测特征向量组,其中,所述待检测区域对应有特征向量库,所述特征向量库包括至少一个参考特征向量组,所述至少一个参考特征向量组与至少一个参考区域一一对应,所述特征向量库所对应的待检测区域和所述至少一个参考区域均对应于同一图像位置;
将所述待检测区域所对应的待测特征向量组与所述待检测区域所对应的所述特征向量库中存储的参考特征向量组进行比较,以确定所述待检测区域是否满足第一预设要求,其中,所述第一预设要求为所述待检测区域所对应的待测特征向量组与所述特征向量库中的至少部分参考特征向量组之间的相似度大于第一相似度阈值;
在所述待检测区域不满足所述第一预设要求时,确定所述待检测区域为异常区域。
2.根据权利要求1所述的图像检测方法,其特征在于,所述将所述待检测区域所对应的待测特征向量组与所述待检测区域所对应的所述特征向量库中存储的参考特征向量组进行比较,以确定所述待检测区域是否满足第一预设要求包括:
分别计算所述待检测区域所对应的待测特征向量组与所述待检测区域所对应的所述特征向量库中存储的每个参考特征向量组间的第一特征差异值;
确定所述第一特征差异值中最小的第一特征差异值为第一异常分数;
判断所述第一异常分数是否大于或等于第一分数阈值;
在所述第一异常分数大于或等于所述第一分数阈值时,确定该待检测区域不满足所述第一预设要求;
其中,所述第一异常分数与所述相似度负相关,所述第一分数阈值与所述相似度阈值负相关。
3.根据权利要求1所述的图像检测方法,其特征在于,所述待检测区域的数量为至少两个,所述至少两个待检测区域与至少两个特征向量库一一对应;在所述待检测区域不满足所述第一预设要求时,所述方法还包括:
对于所述至少两个待检测区域中的每个待检测区域,
将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较,以确定该待检测区域是否满足第二预设要求,所述第二预设要求为该待检测区域所对应的待测特征向量组与所述第二特征向量库中的至少部分第二参考特征向量组之间的相似度大于第二相似度阈值;
在该待检测区域满足所述第二预设要求时,确定该待检测区域为偏移异常区域。
4.根据权利要求3所述的图像检测方法,其特征在于,所述将该待检测区域所对应的待测特征向量组与另一待检测区域所对应的第二特征向量库中存储的第二参考特征向量组进行比较,以确定该待检测区域是否满足第二预设要求,包括:
分别计算该待检测区域所对应的待测特征向量组与所述第二特征向量库中存储的每个第二参考特征向量组间的第二特征差异值;
确定所述第二特征差异值中最小的第二特征差异值为第二异常分数;
判断所述第二异常分数是否小于第二分数阈值;
在所述第二异常分数小于所述第二分数阈值时,确定所述待测特征向量组对应的待检测区域满足第二预设要求;
其中,所述第二异常分数与所述相似度负相关。
5.根据权利要求1-4任一项所述的图像检测方法,其特征在于,在将所述待检测图像输入至特征提取模型进行特征提取之前,所述方法还包括:
将所述待检测图像中的待检测产品与模板图像中的模板产品进行匹配,获得第一匹配结果;
基于所述第一匹配结果对所述待检测图像的图像参数进行调整,以使得调整后的所述待检测图像与所述模板图像的大小相同且所述待检测图像中的所述待检测产品与所述模板图像中的所述模板产品对齐,其中,所述图像参数包括位置、形状和大小中的一项或多项;
其中,所述至少一个参考区域分别为至少一个参考图像中的图像区域,所述至少一个参考图像中的每个参考图像与所述模板图像的大小相同且每个参考图像中的参考产品与所述模板图像中的所述模板产品对齐。
6.根据权利要求1-4任一项所述的图像检测方法,其特征在于,所述待检测区域在所述待检测图像中的位置为目标图像位置;所述特征向量库通过以下特征向量库生成操作得到:
获取样本图像集,所述样本图像集包括至少一个样本图像,所述样本图像集中的每个样本图像均不包含异常区域;
对于所述样本图像集中的每个样本图像,利用所述特征提取模型提取该样本图像对应的图像特征向量;
选取所述样本图像集中的样本图像各自对应的图像特征向量中与位于所述目标图像位置处的参考区域相对应的特征向量组,并基于所选取的特征向量组获得与所述目标图像位置对应的特征向量库;
其中,与所述目标图像位置对应的特征向量库为与所述目标图像位置对应的待检测区域所对应的特征向量库,所述至少一个参考区域分别为至少一个参考图像中的图像区域,所述至少一个参考图像为所述样本图像集中的至少部分样本图像。
7.根据权利要求6所述的图像检测方法,其特征在于,所述基于所选取的特征向量组获得与所述目标图像位置对应的特征向量库,包括:
将所选取的特征向量组存储至与所述目标图像位置对应的特征向量库中;
其中,所述至少一个参考区域分别为至少一个参考图像中的图像区域,所述至少一个参考图像为所述样本图像集中的全部样本图像。
8.根据权利要求6所述的图像检测方法,其特征在于,样本图像的数量为多个,所述基于所选取的特征向量组获得与该目标图像位置对应的特征向量库,包括:
对所选取的特征向量组进行聚类,以获得至少两个聚类分组;
将所述至少两个聚类分组各自包含的代表性特征向量组存储至与该目标图像位置对应的特征向量库中;
其中,所述代表性特征向量组为所属聚类分组中的任一特征向量组,每个特征向量库所对应的参考区域所属的参考图像为与该特征向量库中存储的代表性特征向量组对应的样本图像。
9.根据权利要求6所述的图像检测方法,其特征在于,所述特征向量库生成操作还包括:
获取新样本图像;
将所述新样本图像的图像信息与所述样本图像集中的至少部分样本图像的图像信息进行比较,以判断所述新样本图像相对所述样本图像集中的至少部分样本图像所发生的图像信息变化程度是否超过预设程度阈值;
若所述新样本图像相对所述样本图像集中的至少部分样本图像所发生的图像信息变化程度超过所述预设程度阈值,则将所述新样本图像添加至所述样本图像集中,以基于添加后的所述样本图像集确定所述特征向量库;
其中,所述图像信息包括以下信息中的至少一种:纹理信息、颜色信息、像素信息。
10.一种电子设备,包括处理器和存储器,其中,所述存储器中存储有计算机程序指令,所述计算机程序指令被所述处理器运行时用于执行如权利要求1-9任一项所述的图像检测方法。
11.一种存储介质,在所述存储介质上存储了程序指令,所述程序指令在运行时用于执行如权利要求1-9任一项所述的图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311813188.7A CN117474916B (zh) | 2023-12-27 | 2023-12-27 | 一种图像检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311813188.7A CN117474916B (zh) | 2023-12-27 | 2023-12-27 | 一种图像检测方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117474916A true CN117474916A (zh) | 2024-01-30 |
CN117474916B CN117474916B (zh) | 2024-04-26 |
Family
ID=89625996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311813188.7A Active CN117474916B (zh) | 2023-12-27 | 2023-12-27 | 一种图像检测方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117474916B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200126261A1 (en) * | 2017-07-28 | 2020-04-23 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
CN113240642A (zh) * | 2021-05-13 | 2021-08-10 | 创新奇智(北京)科技有限公司 | 图像缺陷检测方法及装置、电子设备、存储介质 |
CN114155472A (zh) * | 2021-12-09 | 2022-03-08 | 华电宁夏灵武发电有限公司 | 厂区场景临空面防护设备异常状态检测方法、装置和设备 |
CN114581388A (zh) * | 2022-02-24 | 2022-06-03 | 国能包神铁路集团有限责任公司 | 接触网零部件缺陷检测方法及装置 |
CN117152459A (zh) * | 2023-10-30 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、计算机可读介质及电子设备 |
-
2023
- 2023-12-27 CN CN202311813188.7A patent/CN117474916B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200126261A1 (en) * | 2017-07-28 | 2020-04-23 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
CN113240642A (zh) * | 2021-05-13 | 2021-08-10 | 创新奇智(北京)科技有限公司 | 图像缺陷检测方法及装置、电子设备、存储介质 |
CN114155472A (zh) * | 2021-12-09 | 2022-03-08 | 华电宁夏灵武发电有限公司 | 厂区场景临空面防护设备异常状态检测方法、装置和设备 |
CN114581388A (zh) * | 2022-02-24 | 2022-06-03 | 国能包神铁路集团有限责任公司 | 接触网零部件缺陷检测方法及装置 |
CN117152459A (zh) * | 2023-10-30 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、计算机可读介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117474916B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028213B (zh) | 图像缺陷检测方法、装置、电子设备及存储介质 | |
CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
CN110110799B (zh) | 细胞分类方法、装置、计算机设备和存储介质 | |
WO2021000524A1 (zh) | 孔位保护门检测方法、装置、计算机设备和存储介质 | |
CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
CN107543828B (zh) | 一种工件表面缺陷检测方法及系统 | |
CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN114418957A (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
CN110472479B (zh) | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 | |
CN114612472B (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
CN114782329A (zh) | 一种基于图像处理的轴承缺陷损伤程度评估方法及系统 | |
WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
CN116485779A (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN116523916B (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
JP2011170890A (ja) | 顔検出方法および装置並びにプログラム | |
CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
CN117474916B (zh) | 一种图像检测方法、电子设备及存储介质 | |
CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
CN115239663A (zh) | 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |