CN113538355A - 一种基于乘积量化学习策略的缺陷检测算法 - Google Patents

一种基于乘积量化学习策略的缺陷检测算法 Download PDF

Info

Publication number
CN113538355A
CN113538355A CN202110774878.0A CN202110774878A CN113538355A CN 113538355 A CN113538355 A CN 113538355A CN 202110774878 A CN202110774878 A CN 202110774878A CN 113538355 A CN113538355 A CN 113538355A
Authority
CN
China
Prior art keywords
matrix
data
algorithm
defect detection
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110774878.0A
Other languages
English (en)
Inventor
崔雪莲
李新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xinje Electric Co Ltd
Original Assignee
Wuxi Xinje Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xinje Electric Co Ltd filed Critical Wuxi Xinje Electric Co Ltd
Priority to CN202110774878.0A priority Critical patent/CN113538355A/zh
Publication of CN113538355A publication Critical patent/CN113538355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于乘积量化学习策略的缺陷检测算法，其是一种基于普通笛卡尔K均值的算法的改进算法，即半监督笛卡尔K均值算法。主要采用三阶段方式，第一阶段：确定缺陷的位置和种类，采用最优反向预测算法作为检测手段；第二阶段：对第一阶段检测出的各个结构图像中的缺陷位置做定位检测，也是采用基于目标检测的方式；第三阶段：在第二阶段的基础上，对检测图像进行裁剪，将其送到分类模型进行分类，以确定最终的分类和识别结果。本发明能够有效地减少每个子空间的量化误差，提高识别性能。

Description

一种基于乘积量化学习策略的缺陷检测算法
技术领域
本发明涉及数据处理与模式识别技术领域，尤其涉及一种基于乘积量化学习策略的缺陷检测算法，主要用于图像的检测与识别，特别是一种根据各自在图像信息中所反映的不同特征，把图像中不同的缺陷种类进行区别和定位的方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。实现了图像的高准确率识别。
背景技术
缺陷检测被广泛使用于布匹瑕疵检测、工件表面质量检测、航空航天领域等。传统的算法对规则缺陷以及场景比较简单的场合，能够很好工作，但是对特征不明显的、形状多样、场景比较混乱的场合，则不再适用。近年来，基于机器学习的识别算法越来越成熟，许多公司开始尝试把深度学习算法应用到工业场合中。
当今社会，随着计算机技术，人工智能等科学技术的出现和发展，以及研究的深入，出现了基于机器视觉技术的表面缺陷检测技术。这种技术的出现，大大提高了生产作业的效率，避免了因作业条件，主观判断等影响检测结果的准确性，实现能更好更精确地进行表面缺陷检测，更加快速的识别产品表面瑕疵缺陷。产品表面缺陷检测属于机器视觉技术的一种，就是利用计算机视觉模拟人类视觉的功能，从具体的实物进行图象的采集处理、计算、最终进行实际检测、控制和应用。产品的表面缺陷检测是机器视觉检测的一个重要部分，其检测的准确程度直接会影响产品最终的质量优劣。由于使用人工检测的方法早已不能满足生产和现代工艺生产制造的需求，而利用机器视觉检测很好地克服了这一点，表面缺陷检测系统的广泛应用促进了企业工厂产品高质量的生产与制造业智能自动化的发展。
而哈希(Hashing)和量化(Quantization)是当前两种基于图像内容对图像进行检索的重要算法，这两种算法都是基于近似搜索理念提出的。哈希的方法是通过哈希函数把向量x变换成二值码(海明码)b(例如0101110101011100)，然后将距离dist(x_1，x_2)近似成二值码距离(海明距离)dist(b_1，b_2)。二值码距离可以通过popcount快速计算。Yunchao Gong等人提出的迭代量化的方法(Iterative Quantization，ITQ)的出发点是把二值编码当成原向量的近似，利用欧氏距离旋转不变性的性质，建立了最小化二值编码重建旋转原向量误差的目标函数，寻找最优的旋转变换和二值编码。尽管直观看上去重建向量的方法比保相似、保距离或者保序的方法简单，近似得更强，但ITQ实际效果还是很不错，原因是保相似、保距离或者保序需要建立二元或者多元关系，计算复杂度很大，从而需要各种近似，使得最后的效果不如预期。
近似最近邻搜索以其在大型数据集上的高效检索性能成为近年来研究的热点。人工神经网络搜索的目的是查找那些与查询数据的欧几里得距离是基础数据集中最小的实例。在神经网络研究中计算查询向量之间的欧几里得距离。而基础数据集中的所有向量都涉及到大量的计算，这对于大尺度和高维情况来说是不可行的。为了消除这些计算，已经提出并开发了许多数据结构和算法，其中一类是基于提升检索结构性能的方法，主要方法大多基于树形结构。另一类主要基于对数据本身的处理，包括哈希算法、矢量量化方法等。
量化在近似最近邻搜索研究工作中发挥着重要作用，它通过采用数据表示策略来解决问题。首先采用无监督算法来实现数据聚类任务，使原始数据能够被标记。然后，由聚类中心表示或重建每个集群中的实例。因此，查询数据与基础数据之间的距离计算可以转换为查询数据和基础数据所属的类中心之间的距离计算。换句话说，查询和数据库向量之间的距离由查询数据向量和基础数据向量所属的聚类中心之间的距离近似。
乘积量化把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并对分解得到的低维向量空间分别做量化。这样每个向量就能由多个低维空间的量化编码组合表示。自量化算法提出以来，开发了许多扩展算法来提高其搜索性能。笛卡尔K均值扩展了乘积量化算法，并对经典k均值目标函数的线性映射矩阵施加了柱正交约束，使优化过程比传统k均值更有效率。与笛卡尔k均值仅针对子码本进行优化不同，最佳乘积量化在子码本和空间分解方面进行优化，同时找到最优的空间分解方案和旋转矩阵。通过平衡协方差矩阵的特征值，最佳乘积量化可以得到最优空间分解，但强烈的多模态分布可能无法从这种分解中受益。最优笛卡尔k均值不同于以前的编码方案，在该方案中只选择了相应的子码本中的一个子码字，最优笛卡尔k均值使用多个子码字对数据点的子向量进行编码，性能为在近似最近邻搜索研究实验中，也提出了相同的算法。
上述算法在产品量化算法的研究上都有了显著的改进，但所有这些算法仍然属于无监督学习框架，这可能会明确限制这些算法的性能。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的产品量化算法中存在的问题，提出了本发明。
因此，本发明其中的一个目的是提供一种基于乘积量化学习策略的缺陷检测算法，其能够有效地减少每个子空间的量化误差，提高识别性能。
为解决上述技术问题，本发明提供如下技术方案：一种基于乘积量化学习策略的缺陷检测算法，其包括，S1：基于局部线性嵌入的图像降维算法对高维图像进行降维操作，得降维后数据，将该数据作为输入样本，并给每个输入样本对应赋予一个其所属类别的类别标签；S2：根据输入样本的类标签，基于最优反向预测算法来设定目标函数；S3：特征空间最优分解，以得到半监督笛卡尔K均值模型；S4：采用拉普拉斯正则化的最优反向预测算法构建半监督的量化模型；S5：模型的优化以及基于图像的缺陷检测算法的实现。
作为本发明所述基于乘积量化学习策略的缺陷检测算法的一种优选方案，其中：所述最优反向预测算法的目标函数包含两项，分别为聚类中心矩阵与标签矩阵均未知的无监督聚类算法以及标签已知的监督学习约束项；
目标函数中的标签变量采用1-K编码方案，可以通过优化聚类中心矩阵和未知标签矩阵变量之间的最小平方损失函数来求解最优反向预测算法，构建的目标函数如下，
Figure BDA0003153278990000031
其中
Figure BDA0003153278990000032
和
Figure BDA0003153278990000033
分别是训练实例矩阵和标记矩阵，
Figure BDA0003153278990000034
是未标记的数据矩阵，
Figure BDA0003153278990000035
是未知的标签矩阵，η2是交易参数，Y(L)和B使用1-K编码方案，P表示实例的维数，NL和NU分别是标记和未标记实例的数量，K是簇的数量。
作为本发明所述基于乘积量化学习策略的缺陷检测算法法的一种优选方案，其中：所述特征空间的最优分解包括，
S31：采用乘积量化算法，使得每个子空间中的码字均通过采用K均值聚类生成，该聚类相对于b和C迭代地优化平方失真误差；
S32：笛卡尔K均值通过在公式(1.2)中的映射矩阵C的列上施加正交约束来获得ANN搜索任务的空间分解方法；
Figure BDA0003153278990000041
s.t.b∈{0，1}Kand||b||＝1 (0.3)
Figure BDA0003153278990000042
S33：聚类中心的正交约束保证聚类中心表示为C≡RD，其中R是旋转矩阵，RTR＝RRT＝I，将公式(1.2)重新表示为公式(1.3)，最小化(1.3)关于R，D和B，所获得的旋转矩阵R和聚类中心D再结合公式(1.3)以获得失真误差；
Figure BDA0003153278990000043
Figure BDA0003153278990000044
Figure BDA0003153278990000045
式中，m是子空间的编号；
S34：使用公式(1.1)在量化过程中代入公式(1.3)并给出半监督的笛卡尔K均值算法，给定标记数据集
Figure BDA0003153278990000046
和未标记数据集
Figure BDA0003153278990000047
其中P是实例的维数，K是量化中心的数量，NL和NU是标记和未标记数据实例的数量；
S35：基于输入空间分解策略，半监督笛卡尔K均值(SSCK)可以表示为
Figure BDA0003153278990000048
Figure BDA0003153278990000049
Figure BDA00031532789900000410
S36：利用希尔伯特-施密特不相关性准则对特征空间进行分解。
作为本发明所述基于乘积量化学习策略的缺陷检测算法的一种优选方案，其中：将拉普拉斯正则化项引入上述公式(1.4)，并得到以下公式：
Figure BDA00031532789900000411
Figure BDA00031532789900000412
Figure BDA0003153278990000051
其中，
Figure BDA0003153278990000052
μ是平均值向量输入数据；Y(L)和B都是量化标签且未知，L是拉普拉斯矩阵，L＝W-D；
W是相似矩阵，Dii＝∑jWi，j。
作为本发明所述基于乘积量化学习策略的缺陷检测算法的一种优选方案，其中：优化公式(1.5)，且仅保留与Y(L)相关的项：
Figure BDA0003153278990000053
进一步计算得：
Figure BDA0003153278990000054
Figure BDA0003153278990000055
作为本发明所述基于乘积量化学习策略的缺陷检测算法的一种优选方案，其中：在获得量化Y(L)的基础上，通过计算每个量化簇中所有标记数据X(L)的平均值来获得簇中心D；基于预测的聚类中心D，能够通过采用KNN聚类算法获得未标记数据的标签矩阵B，如下：
Figure BDA0003153278990000056
作为本发明所述基于乘积量化学习策略的缺陷检测算法的一种优选方案，其中：根据标记数据X(L)，未标记数据X(U)及其量化标签Y(L)和B，更新聚类中心D，如下：
Figure BDA0003153278990000057
Figure BDA0003153278990000058
作为本发明所述基于乘积量化学习策略的缺陷检测算法的一种优选方案，其中：采用笛卡尔K-means算法来更新R，基于：
Figure BDA0003153278990000059
得到：
Figure BDA00031532789900000510
作为本发明所述基于乘积量化学习策略的缺陷检测算法的一种优选方案，其中：在得到R，D，Y(L)和B的基础上，能够更新变量μ，如下：
μ←mean(X-RDY)
X＝[X(L) ηX(U)] Y＝[Y(L) ηB]。
有益效果
与现有技术相比，本发明所提供的一种基于乘积量化学习策略的缺陷检测算法具有如下有益效果：
(1)将标记数据集成到量化步骤中，以提供标签信息，减少数据重建误差。
(2)局部线性嵌入是建立在标记数据的基础上，并添加到最优反向预测函数，以获得半监督笛卡尔K均值。
(3)给出了优化半监督笛卡尔k均值的算法，使函数能够得到最小值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为所述基于半监督学习的缺陷检测算法的流程图；
图2、3和4为缺陷数据相关的系统界面和效果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
如图1所示，为本发明的一个实施例，该实施例提供了一种基于乘积量化学习策略的缺陷检测算法，其是一种半监督笛卡尔k均值算法。本发明将量化步骤中传统的最小平方损失函数替换为最优反向预测损失函数，有标记的数据需要先通过拉普拉斯正则化，然后再用于模型训练，这样就有效地减少每个子空间的量化误差，提高检索性能。
本发明主要采用三阶段方式，第一阶段：确定缺陷的位置和种类，采用最优反向预测算法作为检测手段；第二阶段：对第一阶段检测出的各个结构图像中的缺陷位置做定位检测，也是采用基于目标检测的方式；第三阶段：在第二阶段的基础上，对检测图像进行裁剪，将其送到分类模型进行分类，以确定最终的分类和识别结果。
本发明的核心主要包括两部分，首先根据标记数据构造一个权值矩阵，主要特征为计算具有相同标签和不同标签样本之间的相似度值，给出两个具有相同标签的样本之间的相似度计算一个较大的值，而属于不同集群的数据则被赋予一个较小的值。然后在损失函数中加入拉普拉斯正则器，构造半监督笛卡尔k均值目标函数。
具体的，一种基于乘积量化学习策略的缺陷检测算法，其主要包括如下步骤：
S1：数据降维和特征的提取。基于局部线性嵌入的图像降维算法对高维图像进行降维操作，然后把这些降维后的数据作为输入样本，并给每个输入样本对应赋予一个其所属类别的类别标签，然后对输入样本(降维后的图像)进行特征提取。
对于图像特征的提取，本专利基于HOG(Histogram of Oriented Gridients)和SIFT算法的特征融合提取图像特征。通过多种图像特征融合的方式对图像进行检索，对于彩色图像，既要提取其颜色特征，也要提取其灰度图像特征，并分别建立彩色图像和灰度图像数据库，同时检索彩色图像库和灰度图像库，将检测的结果分开显示。
S2：根据输入样本的类别标签，基于最优反向预测算法来设定目标函数。
在现有技术中，Xu等人提出了一种最优反向预测算法[3]，其目标函数包含两个项：一个是传统的K均值算法公式(一种无监督聚类算法)，其中聚类中心矩阵和标签矩阵都不知道；另一个是监督学习约束项，它与传统的K均值公式类似，但标签是已知的。目标函数中的标签变量采用1-K编码方案。可以通过相对于聚类中心矩阵和未知标签矩阵变量迭代地优化最小平方损失函数来求解最优反向预测算法。
目标函数中的标签变量采用1-K编码方案，可以通过优化聚类中心矩阵和未知标签矩阵变量之间的最小平方损失函数，使得聚类中心和未知标签类之间的差异不断缩小，以此来求解最优反向预测算法，构建的目标函数如下：
Figure BDA0003153278990000081
其中
Figure BDA0003153278990000082
种
Figure BDA0003153278990000083
分别是训练实例矩阵和标记矩阵，
Figure BDA0003153278990000084
是未标记的数据矩阵，
Figure BDA0003153278990000085
是未知的标签矩阵，η2是交易参数，Y(L)和B使用1-K编码方案，P表示实例的维数，NL和NU分别是标记和未标记实例的数量，K是簇的数量。最优反向预测算法是通过最优反向预测的概念统一几种有监督和无监督的训练原则：预测来自目标标签的输入，优化模型参数和任何缺失标签。监督最小二乘法、主成分分析、K均值聚类和归一化图切割都可以表示为相同训练原则的实例。
S3：特征空间最优分解，以得到半监督笛卡尔K均值模型。所述特征空间的最优分解具体包括如下步骤：
S31：采用乘积量化算法，使得每个子空间中的码字均通过采用K均值聚类生成，该聚类相对于b和C迭代地优化平方失真误差。本专利以基本的乘积量化算法作为基础，对现有的各量化算法进行分析和改进提升。
在计算笛卡尔K均值的过程中，乘积量化(PQ)算法被用于ANN研究任务。高维度输入数据空间被平均分解并表示为M个低维度子空间的笛卡尔积。每个子空间可以通过使用传统的K均值算法生成码本。因此，将为每个子向量生成K个子码字，通过这种方式，M个子向量将生成仅具有O(KP)存储的KM簇，而如果我们采用传统方法通过K-对整个输入数据进行编码意味着需要存储O(KMP)，具有相同数量的集群。同时，计算复杂度从O(KMP)降低到O(KP)。在PQ算法中，每个子空间中的码字是通过采用K均值聚类生成的，该聚类相对于b和C迭代地优化平方失真误差。然而，PQ算法没有提出如何获得ANN搜索任务的最优空间分解的方法。
S32：笛卡尔K均值通过在公式(1.2)中的映射矩阵C的列上施加正交约束来获得ANN搜索任务的空间分解方法，解决了上述问题，以隐含地调整实例的维度信息，这使得关于b的优化在正交笛卡尔K均值[4]中变得更易处理。
Figure BDA0003153278990000091
s.t.b∈{0，1}K and||b||＝1 (0.14)
Figure BDA0003153278990000092
S33：聚类中心的正交约束保证聚类中心表示为C≡RD，其中R是旋转矩阵，RTR＝RRT＝I，因此公式(1.2)可以重新表示为公式(1.3)，最小化公式(1.3)关于R、D和B，所获得的最佳旋转矩阵R和聚类中心D可以帮助公式(1.3)获得较低的失真误差。
Figure BDA0003153278990000093
Figure BDA0003153278990000094
Figure BDA0003153278990000095
式中，m是子空间的编号。
S34：构建模型与定义。半监督笛卡尔K均值计算，经典K均值，主成分分析(PCA)和归一化切割可以认为是最优反向预测算法的特例。基于这个概念，可以使用公式(1.1)在量化过程中代入公式(1.3)并给出半监督的笛卡尔K均值算法。给定标记数据集
Figure BDA0003153278990000096
和未标记数据集
Figure BDA0003153278990000097
其中P是实例的维数，K是量化中心的数量，NL和NU是标记和未标记数据实例的数量。
S35：基于输入空间分解策略，半监督笛卡尔K均值(SSCK)可以表示如下：
Figure BDA00031532789900000910
Figure BDA0003153278990000098
Figure BDA0003153278990000099
S36：利用希尔伯特-施密特不相关性准则对特征空间进行分解。
本专利将利用基于希尔伯特-施密特不相关性准则(Hilbert-SchmidtIndependence Criterion，HSIC准则构建优化模型来实现特征空间的分解。要达到的目的是：不同子空间之间的数据维数是不相关的，而同一个子空间内部的数据维数是严格相关的。方案是：给定归一化后的训练数据集
Figure BDA00031532789900001024
其中N为样本个数，D★为样本的维数，将数据X基于维数进行二等分割得到两个子矩阵
Figure BDA0003153278990000101
和
Figure BDA0003153278990000102
这里求解一个线性映射矩阵P1，使得映射后的协方差矩阵呈现对角矩阵块形式，即X1和X2是不相关的：
Figure BDA0003153278990000103
为此就必须使得X1和X2具有最小的相关性。为此本专利参考了周志华老师文章中的算法---基于希尔伯特-施密特不相关性准则(Hilbert-Schmidt IndependenceCriterion，HSIC)来构建数学模型求解映射矩阵P1，使得子空间X1和X2具有最小的相关性。给出优化模型如下所示：
Figure BDA0003153278990000104
其中H＝[Hij]N×N和
Figure BDA0003153278990000105
δij＝1如果i＝＝j，否则δij＝0。关于模型最优解的求解，文献[15]中的MDDM算法为我们提供了很好的解决思路。在得到最优值
Figure BDA0003153278990000106
后，将X1和X2进行重新映射得到两个不相关的子空间
Figure BDA0003153278990000107
和
Figure BDA0003153278990000108
然后在X1和X2的基础上按照上述方法继续进行分解，由此可以分解成为4个不相关的子空间，而子空间内部数据是相关的，依次类推，我们就可以得到不相关性子空间的最优分解，在模型建模过程中为了有效的降低码本与数据之间误差，使用旋转矩阵对数据进行相应优化旋转也是所必须的。在图(11)中我们给出了基于希尔伯特-施密特不相关性准则对特征空间分解成为8个子空间的算法流程图。图中
Figure BDA00031532789900001025
为原始数据，可称之为第0层，其中D★为数据的维数，N为样本数量。在第一层分解中将X1分解成为两层
Figure BDA0003153278990000109
和
Figure BDA00031532789900001010
其所对应的原始数据的维数下标分别为
Figure BDA00031532789900001011
种
Figure BDA00031532789900001012
然后对
Figure BDA00031532789900001013
和
Figure BDA00031532789900001014
分别进行分解为
Figure BDA00031532789900001015
与
Figure BDA00031532789900001016
和
Figure BDA00031532789900001017
与
Figure BDA00031532789900001018
其所对应的原始数据维数下标依次为
Figure BDA00031532789900001019
和
Figure BDA00031532789900001020
第三层分解算法依此类推。
S4：采用拉普拉斯正则化的最优反向预测算法来构建半监督的量化模型；
以量化算法中的笛卡尔K均值为例，构建半监督笛卡尔K均值模型，这里将其称之为第I类模型，其算法可以表示成为如下数学模型的优化问题：
Figure BDA00031532789900001021
Figure BDA00031532789900001022
Figure BDA00031532789900001023
在上述公式中X(L)和X(U)分别为有标签数据集和无标签数据集，Y(L)和B分别对应是有标签数据集X(L)和无标签数据集X(U)对应的码本标签矩阵，码本标签矩采用的编码形式是1-of-K形式，L为拉普拉斯矩阵，λ和η为权重因子。在上式中模型的优化问题需要对4个变量，即旋转矩阵R、码本D，无标签数据集的码本标签矩阵B以及有标签数据集的码本标签矩阵Y(L)，分别做迭代优化。
基于空间概念：
Figure BDA0003153278990000111
Figure BDA0003153278990000112
||·||F代表是Frobenius范数，公式(1.4)给出的标记数据X(L)，Y(L*)和未标记数据X(U)，这样就形成了半监督笛卡尔K均值算法，更具体地说，公式(1.4)只是量化问题，是笛卡尔K均值的一部分。
但是，暂时还不能使用公式(1.4)量化标记和未标记的数据，因为此时不知道量化标签矩阵Y(L*)。当在聚类任务中使用最佳反向预测时，公式(1.1)中的标记矩阵Y(L)的符号表示聚类标签或分类标签，其可以从已知的标记数据获得。然而，本专利提出的半监督笛卡尔K均值公式(1.4)中使用的最优反向预测，其作用是量化或编码数据时，标签矩阵Y(L)用于指示量化标签，但它是未知的。
换句话说，量化标签与聚类标签不同，聚类标签可以直接从标记数据中获得，但量化标签不能，因此公式(1.4)不能用于本专利提出的半监督笛卡尔K均值。为了解决这个问题，本专利进一步将拉普拉斯正则化项引入上述半监督笛卡尔K均值模型(见公式1.4)中，并得到以下公式：
Figure BDA0003153278990000113
Figure BDA0003153278990000114
Figure BDA0003153278990000115
其中
Figure BDA0003153278990000116
和
Figure BDA0003153278990000117
μ是平均值向量输入数据。Y(L)和B都是量化标签且未知，L是拉普拉斯矩阵，L＝W-D。W是相似矩阵，Dii＝∑jWi，j。
S5：模型的优化以及基于图像的缺陷检测算法的实现。
我们使用监督方法构造相似性矩阵W，如果xi和xj具有相同的聚类标记，则条目Wij将被赋予大的权重，并且如果xi和xj属于不同的聚类，则将给出小的权重。优化公式(1.5)通常是一项难以处理的工作，因为Y(L)和B是具有1-K编码方案的离散矩阵，离散优化是NP难问题并且在非模块问题中是不同的。
这里提供两种方法来解决这个问题。第一个：采用了详尽搜索方法。我们迭代地彻底检查Y(L)中的所有元素，找到元素使得目标值最小化，并将所有其他元素设置为0；第二个：首先放松将离散变量Y(L)变为连续变量并求解Y(L)，然后利用约束优化笛卡尔K均值目标函数得到最优的Y(L)，采用阈值法得到离散变量。
一、更新Y(L)：为了使用穷举搜索方法针对Y(L)优化公式(1.5)，我们可以重写公式(1.5)如下(仅保留与Y(L)相关的那些项)：
Figure BDA0003153278990000121
为了得到Y(L)最优值，经过进一步计算如下公式：
Figure BDA0003153278990000122
Figure BDA0003153278990000123
二、更新B：在获得量化Y(L)之后，本专利通过计算每个量化簇中所有标记数据X(L)的平均值来获得簇中心D.基于预测的聚类中心D，然后通过采用KNN聚类算法获得未标记数据的标签矩阵B.更准确地说，通过解决以下问题可以获得关于B的优化，这样才能得到更加鲁棒的特征矩阵：
Figure BDA0003153278990000124
Figure BDA0003153278990000125
三、更新D：根据标记数据X(L)，未标记数据X(U)及其量化标签Y(L)和B，为了适应不断变化的数据和调整聚类中心，我们可以通过求解以下内容来更新聚类中心D：
Figure BDA0003153278990000131
Figure BDA0003153278990000132
四、更新R：已经提出了许多算法来解决正交约束优化问题，在实验中，本专利仍然采用笛卡尔K-means算法来解决它的高性能和高效率，通过更新R，能够获得更好的优化策略。
基于：
Figure BDA0003153278990000133
于是：
Figure BDA0003153278990000134
五、更新μ：得到R，D，Y(L)和B后，为了得到最优的参数，本专利使用以下更新变量μ：
μ←mean(X-RDY)
X＝[X(L) ηX(U)] Y＝[Y(L) ηB]
实验分析。为了验证本专利提出的半监督笛卡尔K均值的性能，在公共数据集上进行了一系列ANN搜索实验，验证在3个数据集上的表现。本实验拟从召回率、检索精度这2个指标来评价算法的性能。
本发明实施例中，提出了一种基于笛卡尔K均值和正交最优反向预测算法的半监督笛卡尔K均值算法。为了提高传统笛卡尔K均值算法的性能，我们利用样本的标签信息来构造相似矩阵——那些标签相同的样本被赋予较高的权重值，同时将较低的权重值赋给标签不同的样本。标签相同的样本将被分配到量化步骤中的相同或相邻类中聚集。然而，对标签矩阵的目标函数进行优化是一个离散问题，很难解决。于是我们分别优化了方程，并在公共数据集上验证了该方程的性能。实验结果表明，该算法比比较算法性能更优。我们在半监督笛卡尔K均值算法的研究中取得了较好的结果。如图2、3和4所示，给出了系统和算法发效果图。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于乘积量化学习策略的缺陷检测算法，其特征在于：包括，
S1：基于局部线性嵌入的图像降维算法对高维图像进行降维操作，得降维后数据，将该数据作为输入样本，并给每个输入样本对应赋予一个其所属类别的类别标签；
S2：根据输入样本的类别标签，基于最优反向预测算法来设定目标函数；
S3：特征空间最优分解，以得到半监督笛卡尔K均值模型；
S4：采用拉普拉斯正则化的最优反向预测算法构建半监督的量化模型；
S5：模型的优化以及基于图像的缺陷检测算法的实现。
2.如权利要求1所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：所述最优反向预测算法的分类模型包含两项，分别为聚类中心矩阵与标签矩阵均未知的无监督聚类算法以及标签已知的监督学习约束项；
目标函数中的标签变量采用1-K编码方案，可以通过优化聚类中心矩阵和未知标签矩阵变量之间的最小平方损失函数来求解最优反向预测算法，构建的目标函数如下，
Figure FDA0003153278980000011
其中
Figure FDA0003153278980000012
和
Figure FDA0003153278980000013
分别是训练实例矩阵和标记矩阵，
Figure FDA0003153278980000014
是未标记的数据矩阵，
Figure FDA0003153278980000015
是未知的标签矩阵，η2是交易参数，Y(L)和B使用1-K编码方案，P表示实例的维数，NL和NU分别是标记和未标记实例的数量，K是簇的数量。
3.如权利要求2所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：所述特征空间的最优分解包括，
S31：采用乘积量化算法，使得每个子空间中的码字均通过采用K均值聚类生成，该聚类相对于b和C迭代地优化平方失真误差；
S32：笛卡尔K均值通过在公式(1.2)中的映射矩阵C的列上施加正交约束来获得ANN搜索任务的空间分解方法；
Figure FDA0003153278980000016
S33：聚类中心的正交约束保证聚类中心表示为C≡RD，其中R是旋转矩阵，RTR＝RRT＝I，将公式(1.2)重新表示为公式(1.3)，最小化(1.3)关于R，D和B，所获得的旋转矩阵R和聚类中心D再结合公式(1.3)以获得失真误差；
Figure FDA0003153278980000021
式中，m是子空间的编号；
S34：使用公式(1.1)在量化过程中代入公式(1.3)并给出半监督的笛卡尔K均值算法，给定标记数据集
Figure FDA0003153278980000022
和未标记数据集
Figure FDA0003153278980000023
其中P是实例的维数，K是量化中心的数量，NL和NU是标记和未标记数据实例的数量；
S35：基于输入空间分解策略，半监督笛卡尔K均值(SSCK)可以表示为
Figure FDA0003153278980000024
Figure FDA0003153278980000025
Figure FDA0003153278980000026
S36：利用希尔伯特-施密特不相关性准则对特征空间进行分解。
4.如权利要求3所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：将拉普拉斯正则化项引入上述公式(1.4)，并得到以下公式：
Figure FDA0003153278980000027
Figure FDA0003153278980000028
Figure FDA0003153278980000029
其中，
Figure FDA00031532789800000210
μ是平均值向量输入数据；Y(L)和B都是量化标签且未知，L是权值矩阵，L＝W-D；
W是相似矩阵，Dii＝∑jWi，j。
5.如权利要求4所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：优化公式(1.5)，且仅保留与Y(L)相关的项：
Figure FDA00031532789800000211
Figure FDA0003153278980000031
进一步计算得：
Figure FDA0003153278980000032
Figure FDA0003153278980000033
。
6.如权利要求4或5所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：在获得量化Y(L)的基础上，通过计算每个量化簇中所有标记数据X(L)的平均值来获得簇中心D；基于预测的聚类中心D，能够通过采用KNN聚类算法获得未标记数据的标签矩阵B，如下：
Figure FDA0003153278980000034
。
7.如权利要求6所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：根据标记数据X(L)，未标记数据X(U)及其量化标签Y(L)和B，更新聚类中心D，如下：
Figure FDA0003153278980000035
Figure FDA0003153278980000036
。
8.如权利要求4、5或7任一所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：采用笛卡尔K-means算法来更新R，基于：
Figure FDA0003153278980000037
得到：
Figure FDA0003153278980000038
。
9.如权利要求8所述的一种基于乘积量化学习策略的缺陷检测算法，其特征在于：在得到R，D，Y(L)和B的基础上，能够更新变量μ，如下：
μ←mean(X-RDY)
X＝[X(L) ηX(U)] Y＝[Y(L) ηB]。
CN202110774878.0A 2021-07-08 2021-07-08 一种基于乘积量化学习策略的缺陷检测算法 Pending CN113538355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110774878.0A CN113538355A (zh) 2021-07-08 2021-07-08 一种基于乘积量化学习策略的缺陷检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110774878.0A CN113538355A (zh) 2021-07-08 2021-07-08 一种基于乘积量化学习策略的缺陷检测算法

Publications (1)

Publication Number Publication Date
CN113538355A true CN113538355A (zh) 2021-10-22

Family

ID=78098092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110774878.0A Pending CN113538355A (zh) 2021-07-08 2021-07-08 一种基于乘积量化学习策略的缺陷检测算法

Country Status (1)

Country Link
CN (1) CN113538355A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114376522A (zh) * 2021-12-29 2022-04-22 四川大学华西医院 构建用于识别青少年肌阵挛癫痫的计算机识别模型的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114376522A (zh) * 2021-12-29 2022-04-22 四川大学华西医院 构建用于识别青少年肌阵挛癫痫的计算机识别模型的方法
CN114376522B (zh) * 2021-12-29 2023-09-05 四川大学华西医院 构建用于识别青少年肌阵挛癫痫的计算机识别模型的方法

Similar Documents

Publication Publication Date Title
Han et al. Autoencoder inspired unsupervised feature selection
Liu et al. From BoW to CNN: Two decades of texture representation for texture classification
Cakir et al. Adaptive hashing for fast similarity search
CN110046660B (zh) 一种基于半监督学习的乘积量化方法
CN109815357B (zh) 一种基于非线性降维及稀疏表示的遥感图像检索方法
CN111461157B (zh) 一种基于自学习的跨模态哈希检索方法
CN109271486B (zh) 一种相似性保留跨模态哈希检索方法
Zhang et al. A survey on concept factorization: From shallow to deep representation learning
CN110188827B (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
EP3191980A1 (en) Method and apparatus for image retrieval with feature learning
Passalis et al. Learning neural bag-of-features for large-scale image retrieval
CN116363439A (zh) 一种基于多头自注意力的点云分类方法、装置及设备
CN113538355A (zh) 一种基于乘积量化学习策略的缺陷检测算法
Liu et al. Online optimized product quantization
CN108549915B (zh) 基于二值权重的图像哈希码训练模型算法及分类学习方法
Kayo Locally linear embedding algorithm: extensions and applications
Raikar et al. Efficiency comparison of supervised and unsupervised classifier on content based classification using shape, color, texture
Rastegari et al. Computationally bounded retrieval
CN112307225A (zh) 基于改进哈希学习算法的大规模数据检索方法
Bibi et al. Deep features optimization based on a transfer learning, genetic algorithm, and extreme learning machine for robust content-based image retrieval
Nijhawan et al. Food classification of Indian cuisines using handcrafted features and vision transformer network
CN113095270B (zh) 一种非监督跨库的微表情识别方法
CN109344279B (zh) 基于哈希检索的手写英文单词智能识别方法
CN112307248B (zh) 一种图像检索方法及装置
CN112364902B (zh) 一种基于自适应相似性的特征选择学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination