CN117523164A - MiniLED异物检测定位的方法及其相关装置 - Google Patents

MiniLED异物检测定位的方法及其相关装置 Download PDF

Info

Publication number
CN117523164A
CN117523164A CN202311694360.1A CN202311694360A CN117523164A CN 117523164 A CN117523164 A CN 117523164A CN 202311694360 A CN202311694360 A CN 202311694360A CN 117523164 A CN117523164 A CN 117523164A
Authority
CN
China
Prior art keywords
miniled
image
detected
features
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311694360.1A
Other languages
English (en)
Inventor
吴宗泽
李宝强
张坤
于崇
彭胜龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Priority to CN202311694360.1A priority Critical patent/CN117523164A/zh
Publication of CN117523164A publication Critical patent/CN117523164A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种MiniLED异物检测定位的方法及其相关装置，其方法包括：获取待检测MiniLED的RGB图像；对待检测MiniLED的RGB图像进行特征提取；计算特征的均值方差得到降维数据；使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。本发明通过该异常检测与定位算法可针对多款不同型号的MiniLED产品，基于Padim算法对MiniLED采样图的不同尺度特征提取处理，达到快速精准得到产品上不同缺陷检测与定位的目的。

Description

MiniLED异物检测定位的方法及其相关装置
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种MiniLED异物检测定位的方法及其相关装置。
背景技术
在装备加工制造领域中，MiniLED是重要的电子元器件，MiniLED是介于MicroLED(Micro意为“微小”)和传统LED之间的一种LED，主要指LED芯片的尺寸。MiniLED的一个重要应用场景是MiniLED显示器，MiniLED显示器是一种显示技术，它使用微小的LED作为背光，以提供比传统LED LCD显示器更好的显示性能。这种技术可以提供更高的对比度和更深的黑色，因为它能够更精确地控制屏幕上不同区域的亮度。MiniLED显示器通常拥有更多的背光区域(或称为局部调光区)，这可以减少光晕效应，并使得高动态范围(HDR)内容的显示更加出色。由于MiniLED背光的小尺寸，这项技术也支持更薄的屏幕设计。
MiniLED缺陷定位检测主要面临MiniLED面板中的电子元器件微小排列紧密，单个MiniLED面板中元器件数量庞大，对MiniLED板成像有着严格要求，MiniLED面板整个产品成像后将会分为数个视场，不同视场中的元器件会出现重复或缺少，对于不同MiniLED产品的鲁棒性差的问题。
在现行的技术中，传统的MiniLED产品定位方法多依赖于人工或机械定位方式。该方法的精度取决于人工本身以及机械设计精度，面对非均匀光照条件下，会对人工肉眼定位产生干扰，不具备可靠性。另一方面，利用视觉定位技术存在拍摄的MiniLED板图像结构退化、对比度低以及边缘模糊等问题，导致定位出现严重偏差。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种MiniLED异物检测定位的方法及其相关装置，通过该异常检测与定位算法可针对多款不同型号的MiniLED产品，基于Padim算法对MiniLED采样图的不同尺度特征提取处理，达到快速精准得到产品上不同缺陷检测与定位的目的。
为了解决上述技术问题，本发明提供了一种基于图像特征分布的MiniLED异物检测定位的方法，所述方法包括以下步骤：
获取待检测MiniLED的RGB图像；
对待检测MiniLED的RGB图像进行特征提取；
计算特征的均值方差得到降维数据；
使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；
基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。
所述对待检测MiniLED的RGB图像进行特征提取包括：
采用PaDiM算法对待检测MiniLED的RGB图像进行特征提取。
所述采用PaDiM算法对待检测MiniLED的RGB图像进行特征提取包括：
将所有待检测MiniLED的RGB图像经人工标注得到的正常样本；
输入正常图片，用预训练的ResNet18网络提取到三个不同尺度的特征，然后计算三个不同尺度特征的均值与方差，为正常样本的特征建立高斯分布模型；
输入测试样本，通过ResNet18提取正常样本的特征，计算样本特征与训练时建立的正常样本的高斯分布的马氏距离，最后得到图像上每个像素的异常分数。
所述计算特征的均值方差得到降维数据包括：
对图像特征数据进行t-SNE降维处理；
对图像特征数据进行PCA降维处理；
对图像特征数据进行均值方差降维处理。
所述对图像特征数据进行t-SNE降维处理包括：
将高维数据的相似度用概率分布表示，通过优化目标函数，使得相似度高的点在低维空间中的距离更近，而相似度低的点在低维空间中的距离更远。
所述对图像特征数据进行PCA降维处理包括：
计算数据的协方差矩阵；
计算协方差矩阵的特征值和相应的特征向量；
选择最大的k个特征值对应的特征向量作为主成分；
将选定的特征向量组合成一个矩阵。
所述对图像特征数据进行均值方差降维处理包括：
将m维特征空间降维到2维空间，新的低维特征空间由两个新特征组成：均值μ和方差σ2。
相应的，本发明还提供了一种基于图像特征分布的MiniLED异物检测定位的系统，所述系统包括：
图像输入模块，用于获取待检测MiniLED的RGB图像；
特征提取模块，用于对待检测MiniLED的RGB图像进行特征提取；
特征处理模块，用于计算特征的均值方差得到降维数据；
逻辑回归模块，用于使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；
结果输出模块，用于基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。
相应的，本发明还提供了一种处理设备，包括处理器和存储器，所述处理器运行存储于所述存储器中的计算机程序或代码，实现以上所述的基于图像特征分布的MiniLED异物检测定位的方法。
相应的，本发明还提供了一种计算机可读存储介质，用于存储计算机程序或代码，其特征在于，当所述计算机程序或代码被处理器执行时，实现以上所述的基于图像特征分布的MiniLED异物检测定位的方法。
该专利与现有技术相比，具有的优点及带来的有益效果：
本发明实施例中的方法将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
本发明所涉及的检测与定位算法可以避免传统机器视觉定位算法定位不准，精度差，适应性差的特点，针对Miniled缺陷检测领域而设计。将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于图像特征分布的MiniLED异物检测定位的方法流程图；
图2是本发明实施例中的输入异常图像得到可视化输出结果的示意图；
图3是本发明实施例中的输入异常图像得到可视化输出结果的另一示意图；
图4是本发明实施例中的基于t-SNE算法降维可视化的结果示意图；
图5是本发明实施例中的PCA算法降维可视化结果示意图；
图6是本发明实施例中的使用均值和方差降维可视化结果示意图；
图7是本发明实施例中的基于图像特征分布的MiniLED异物检测定位的系统结构示意图；
图8是本发明实施例中的处理设备的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
针对在Miniled缺陷检测与定位领域，存在产品尺寸小、灯组数量庞大、定位要求精度高的特点，复杂的缺陷类型，缺陷类型可能包括灯组偏移、灯组缺失、出现异物，每种类型的缺陷都需要不同的检测方法和算法，本发明实施例提供一种基于图像特征分布的MiniLED异物检测定位算法，该方法包括：图像处理，Padim提取特征，计算特征的均值方差，逻辑回归，输出结果。通过该异常检测与定位算法可针对多款不同型号的Miniled产品，基于Padim算法对Miniled采样图的不同尺度特征提取处理，达到快速精准得到产品上不同缺陷检测与定位的目的。
具体的，图1示出了本发明实施例中的基于图像特征分布的MiniLED异物检测定位的方法流程图，包括如下：
S101、获取待检测MiniLED的RGB图像；
需要说明的是，这里待检测MiniLED的RGB图像为样本数据，这些样本数据被用以进行特征提取。
S102、对待检测MiniLED的RGB图像进行特征提取；
需要说明的是，本发明实施例中的训练框架采用PaDiM算法实现，PaDiM是一种用于异常检测和定位的新型框架，它利用预训练的卷积神经网络(CNN)进行图像嵌入，并使用多元高斯分布来获取正常类的概率表示。它还利用CNN不同语义层之间的相关性来更好地定位异常。PaDiM在MVTec AD和STC数据集上的异常检测和定位任务中表现优于现有的方法。它具有良好的性能和低复杂度，适用于许多工业应用。
训练样本：将所有待检测MiniLED的RGB图像经人工标注得到的正常样本。
训练过程：输入正常图片，用预训练的ResNet18网络提取到三个不同尺度的特征，然后计算三个不同尺度特征的均值与方差，为正常样本的特征建立高斯分布模型。因为只需要计算均值与方差，不需要更新参数，所以训练时epoch设置为1即可。
测试过程：输入测试样本，通过ResNet18提取正常样本的特征，计算样本特征与训练时建立的正常样本的高斯分布的马氏距离，最后得到图像上每个像素的异常分数。
图2为本发明实施例中的输入异常图像得到可视化输出结果的示意图，图3为本发明实施例中的输入异常图像得到可视化输出结果的另一示意图，左边为输入的异常图像，右边为可视化输出结果。
这里PaDiM算法实现待检测MiniLED的RGB图像的特征提取，基于PaDiM进行特征提取具有以下优势：
1.出色的性能：PaDiM在MVTec AD和STC数据集上取得了最先进的性能。它在图像级别上的异常检测优于其他方法，并且还能更精确地进行异常分割。
2.鲁棒性：PaDiM在非对齐数据集上的表现也非常出色。与其他方法相比，它对非对齐图像更具鲁棒性。
3.可扩展性：PaDiM的训练时间复杂度与数据集大小呈线性关系，但与需要训练深度神经网络的方法相比，PaDiM使用预训练的卷积神经网络，无需进行复杂的深度学习训练。因此，它在小型数据集上训练非常快速和简单。
4.低内存消耗：与其他方法相比，PaDiM的内存消耗与数据集训练大小无关，仅取决于图像分辨率。这使得PaDiM在资源受限的情况下更具优势。
S103、计算特征的均值方差得到降维数据；
因为模型的输出是WXH(W和H为输入图像的宽和高)的矩阵，无法得到样本的分类(是否为一张异常图片)，所以在得到异常图片anomaly map后，还需要进行分类操作。
首先对图像特征数据进行t-SNE降维处理，即将高维数据的相似度用概率分布表示，通过优化目标函数，使得相似度高的点在低维空间中的距离更近，而相似度低的点在低维空间中的距离更远。优化目标函数时，采用梯度下降法，根据随机邻居的权重来更新每个点的位置，图4示出了本发明实施例中的基于t-SNE算法降维可视化的结果示意图。
接着对图像特征数据进行PCA降维处理，该主成分分析(PCA)是一种统计方法，它使用正交变换从可能相关的变量的集合中提取重要的特征(即，主成分)。这些特征是数据集中方差最大的方向。PCA可以看作是在高维空间中发现数据的概要或精简表示，同时尽量保留数据的变化。首先，计算数据的协方差矩阵。假设有一个m×n的矩阵X，其中m是变量的数量，n是观测的数量。协方差矩阵C是一个m×m的矩阵，其元素Cij是变量i和变量j之间的协方差。协方差矩阵的对角线上的元素是各个变量的方差。接下来，计算协方差矩阵的特征值和相应的特征向量。特征向量表示数据中的主轴，而特征值表示每个特征向量的重要性，即它在数据总方差中的比例。选择最大的k个特征值对应的特征向量作为主成分。这些主成分是最能捕捉原始数据集中方差的方向。将选定的特征向量组合成一个矩阵，这样每个特征向量都是矩阵的一列。图5示出了本发明实施例中的PCA算法降维可视化结果示意图。
对图像特征数据进行均值方差降维处理，即设有一个数据集X其中包含n个样本，每个样本有m个特征，即X是一个n×m的矩阵。本发明实施例中将m维特征空间降维到2维空间，新的低维特征空间由两个新特征组成：均值μ和方差σ2。图6示出了本发明实施例中的使用均值和方差降维可视化结果示意图。
比如输入为一张224X224X3的RGB图像，模型的输出为224X224的矩阵，矩阵的每个元素表示输入图像每个像素的异常分数(将这个矩阵称为anomaly map)，因为模型的输出是W X H(W和H为输入图像的宽和高)的矩阵，无法得到样本的分类(是否为一张异常图片)，所以在得到anomaly map后，还需要进行分类操作。为了找到一个合理的判定准则，将输出的anomaly map可视化观察规律。输入290张异常图片和100张正常图片，得到390个anomalymap，用不同的降维算法将anomaly map投影在二维平面观察正常和异常样本的anomalymap的结果。
针对以上的可视化结果：标签1为异常样本，0为正常样本；通过可视化的结果发现，标签1为异常样本，虽然异常样本中混有正常样本，但是正常样本中并没有异常样本，这表明可以找到一个判定准则，可以将异常样本都检测出来，但是缺点是也容易将正常样本检测为异常样本。根据可视化的效果，这里可以选择使用均值和方差对数据进行降维。
均值方差降维法：使用一组数据的均值和方差来将数据降至二维是一种简化的统计方法。这种方法的优势在于其简洁性和计算上的高效性。通过提取均值和方差，捕捉了数据集的两个最基本的统计属性：集中趋势和变异程度。对于该任务来说，在性能与效率上达到平衡。均值和方差是非常直观的统计量，不像PCA和其他一些降维技术，使用均值和方差来降维不需要关于数据分布的复杂假设，也不需要迭代过程或优化步骤。
S104、使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；
二分逻辑回归，通常称为逻辑回归或对数几率回归，是一种用于预测二分类(0或1)结果的统计模型。逻辑回归的目标是找到一个预测模型，使用自变量的线性组合来预测目标变量(通常是一个二元变量)的概率。在逻辑回归中，我们不直接预测响应变量的值，而是试图预测响应变量取特定值的概率。
因为判定异常和正常是一个二分类问题，所以我使用了逻辑回归算法对降维后的anomaly map进行分类。使用390个anomaly map训练后，得到逻辑回归的参数为：
weights＝[1.40047889,1.35296801]bias＝-26.72056264；
之后就可以根据逻辑回归算法进行判定，即进入S105
S105、基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。
根据逻辑回归算法进行判定如下：
综上，本发明实施例中的方法将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
本发明所涉及的检测与定位算法可以避免传统机器视觉定位算法定位不准，精度差，适应性差的特点，针对Miniled缺陷检测领域而设计。将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
具体的，图7示出了本发明实施例中的基于图像特征分布的MiniLED异物检测定位的系统结构示意图，所述系统包括：
图像输入模块，用于获取待检测MiniLED的RGB图像；
特征提取模块，用于对待检测MiniLED的RGB图像进行特征提取；
特征处理模块，用于计算特征的均值方差得到降维数据；
逻辑回归模块，用于使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；
结果输出模块，用于基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。
具体的，所述对待检测MiniLED的RGB图像进行特征提取包括：
采用PaDiM算法对待检测MiniLED的RGB图像进行特征提取。
所述采用PaDiM算法对待检测MiniLED的RGB图像进行特征提取包括：
将所有待检测MiniLED的RGB图像经人工标注得到的正常样本；
输入正常图片，用预训练的ResNet18网络提取到三个不同尺度的特征，然后计算三个不同尺度特征的均值与方差，为正常样本的特征建立高斯分布模型；
输入测试样本，通过ResNet18提取正常样本的特征，计算样本特征与训练时建立的正常样本的高斯分布的马氏距离，最后得到图像上每个像素的异常分数。
具体的，所述计算特征的均值方差得到降维数据包括：
对图像特征数据进行t-SNE降维处理；
对图像特征数据进行PCA降维处理；
对图像特征数据进行均值方差降维处理。
具体的，所述对图像特征数据进行t-SNE降维处理包括：
将高维数据的相似度用概率分布表示，通过优化目标函数，使得相似度高的点在低维空间中的距离更近，而相似度低的点在低维空间中的距离更远。
具体的，所述对图像特征数据进行PCA降维处理包括：
计算数据的协方差矩阵；
计算协方差矩阵的特征值和相应的特征向量；
选择最大的k个特征值对应的特征向量作为主成分；
将选定的特征向量组合成一个矩阵。
具体的，所述对图像特征数据进行均值方差降维处理包括：
将m维特征空间降维到2维空间，新的低维特征空间由两个新特征组成：均值μ和方差σ2。
综上，本发明实施例中的系统将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
本发明所涉及的检测与定位算法可以避免传统机器视觉定位算法定位不准，精度差，适应性差的特点，针对Miniled缺陷检测领域而设计。将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中任意一个实施例的检查图像处理方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例还提供了一种计算机应用程序，其运行在计算机上，该计算机应用程序用于执行上述中任意一个实施例的基于图像特征分布的MiniLED异物检测定位的方法。
此外，图8是本发明实施例中的处理设备的结构组成示意图。
本发明实施例还提供了一种处理设备，如图8所示。所述设备包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图5示出的处理设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块，处理器302运行存储在存储器303的应用程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器303内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述处理设备包括：一个或多个处理器302，存储器303，一个或多个应用程序301，其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个应用程序301配置用于执行上述实施例中的任意一实施例中的基于图像特征分布的MiniLED异物检测定位的方法。
在本发明实施例中，获取待检测MiniLED的RGB图像；对待检测MiniLED的RGB图像进行特征提取；计算特征的均值方差得到降维数据；使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。
本发明实施例基于将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
本发明所涉及的检测与定位算法可以避免传统机器视觉定位算法定位不准，精度差，适应性差的特点，针对Miniled缺陷检测领域而设计。将Padim算法与均值方差降维法结合，特征被映射到二维空间内，而后进一步使用二分逻辑回归算法，并最后计算其所属的分类来判定输入图片是否为异常样本，很好的利用了Padim的优秀性质，将其引用到Miniled异常检测与定位算法中，并提出了一种简易的判定一异常的方法，不依赖于人工设置门阀值，而仅依赖于正常样本于异常样本的采样，同时可以给出异常检测的判定结果与其可能异常区域的可视化图。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
另外，以上对本发明实施例进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于图像特征分布的MiniLED异物检测定位的方法，其特征在于，所述方法包括以下步骤：
获取待检测MiniLED的RGB图像；
对待检测MiniLED的RGB图像进行特征提取；
计算特征的均值方差得到降维数据；
使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；
基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。
2.如权利要求1所述的基于图像特征分布的MiniLED异物检测定位的方法，其特征在于，所述对待检测MiniLED的RGB图像进行特征提取包括：
采用PaDiM算法对待检测MiniLED的RGB图像进行特征提取。
3.如权利要求2所述的基于图像特征分布的MiniLED异物检测定位的方法，其特征在于，所述采用PaDiM算法对待检测MiniLED的RGB图像进行特征提取包括：
将所有待检测MiniLED的RGB图像经人工标注得到的正常样本；
输入正常图片，用预训练的ResNet18网络提取到三个不同尺度的特征，然后计算三个不同尺度特征的均值与方差，为正常样本的特征建立高斯分布模型；
输入测试样本，通过ResNet18提取正常样本的特征，计算样本特征与训练时建立的正常样本的高斯分布的马氏距离，最后得到图像上每个像素的异常分数。
4.如权利要求3所述的基于图像特征分布的MiniLED异物检测定位的方法，其特征在于，所述计算特征的均值方差得到降维数据包括：
对图像特征数据进行t-SNE降维处理；
对图像特征数据进行PCA降维处理；
对图像特征数据进行均值方差降维处理。
5.如权利要求4所述的基于图像特征分布的MiniLED异物检测定位的方法，其特征在于，所述对图像特征数据进行t-SNE降维处理包括：
将高维数据的相似度用概率分布表示，通过优化目标函数，使得相似度高的点在低维空间中的距离更近，而相似度低的点在低维空间中的距离更远。
6.如权利要求5所述的基于图像特征分布的MiniLED异物检测定位的方法，其特征在于，所述对图像特征数据进行PCA降维处理包括：
计算数据的协方差矩阵；
计算协方差矩阵的特征值和相应的特征向量；
选择最大的k个特征值对应的特征向量作为主成分；
将选定的特征向量组合成一个矩阵。
7.如权利要求6所述的基于图像特征分布的MiniLED异物检测定位的方法，其特征在于，所述对图像特征数据进行均值方差降维处理包括：
将m维特征空间降维到2维空间，新的低维特征空间由两个新特征组成：均值μ和方差σ2。
8.一种基于图像特征分布的MiniLED异物检测定位的系统，其特征在于，所述系统包括：
图像输入模块，用于获取待检测MiniLED的RGB图像；
特征提取模块，用于对待检测MiniLED的RGB图像进行特征提取；
特征处理模块，用于计算特征的均值方差得到降维数据；
逻辑回归模块，用于使用逻辑回归算法对降维数据进行分类得到逻辑回归参数；
结果输出模块，用于基于逻辑回归参数识别出待检测MiniLED的RGB图像的输出结果。
9.一种处理设备，包括处理器和存储器，其特征在于，所述处理器运行存储于所述存储器中的计算机程序或代码，实现如权利要求1至7中任一项所述的基于图像特征分布的MiniLED异物检测定位的方法。
10.一种计算机可读存储介质，用于存储计算机程序或代码，其特征在于，当所述计算机程序或代码被处理器执行时，实现如权利要求1至7中任一项所述的基于图像特征分布的MiniLED异物检测定位的方法。
CN202311694360.1A 2023-12-11 2023-12-11 MiniLED异物检测定位的方法及其相关装置 Pending CN117523164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311694360.1A CN117523164A (zh) 2023-12-11 2023-12-11 MiniLED异物检测定位的方法及其相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311694360.1A CN117523164A (zh) 2023-12-11 2023-12-11 MiniLED异物检测定位的方法及其相关装置

Publications (1)

Publication Number Publication Date
CN117523164A true CN117523164A (zh) 2024-02-06

Family

ID=89756804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311694360.1A Pending CN117523164A (zh) 2023-12-11 2023-12-11 MiniLED异物检测定位的方法及其相关装置

Country Status (1)

Country Link
CN (1) CN117523164A (zh)

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN108921163A (zh) 一种基于深度学习的包装喷码检测方法
KR20200078304A (ko) 노이즈 레이블에 대한 적대적 학습 시스템 및 방법
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN112767366A (zh) 基于深度学习的图像识别方法、装置、设备及存储介质
Yao et al. AYOLOv3-Tiny: An improved convolutional neural network architecture for real-time defect detection of PAD light guide plates
CN109816634B (zh) 检测方法、模型训练方法、装置及设备
US20230049798A1 (en) Individual object identification system, individual object identification program, and recording medium
CN115829991A (zh) 一种基于改进YOLOv5s的钢材表面缺陷检测方法
CN110717385A (zh) 一种动态手势识别方法
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN115136209A (zh) 缺陷检测系统
Xiao et al. Recognition for woven fabric pattern based on gradient histogram
CN114627089A (zh) 缺陷识别方法、装置、计算机设备及计算机可读存储介质
Huang et al. Texture surface defect detection of plastic relays with an enhanced feature pyramid network
CN114998432A (zh) 一种基于YOLOv5的电路板检测点定位方法
Wang et al. Improved YOLOv3 detection method for PCB plug-in solder joint defects based on ordered probability density weighting and attention mechanism
CN113096080B (zh) 图像分析方法及系统
US11928591B2 (en) Information processing apparatus and information processing method
Muzakir et al. Model for Identification and Prediction of Leaf Patterns: Preliminary Study for Improvement
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination