CN117456210A - 向量处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及一种向量处理方法、装置、设备及存储介质，应用在缺陷检测领域，包括获取缺陷样本图像及待检索的向量库；提取缺陷样本图像的缺陷特征向量并设为目标向量；对原始向量聚类，提取若干聚类中心；将若干原始向量设为原始检索向量；将若干聚类中心存储到内存单元，将原始检索向量存储到硬盘单元；对若干聚类中心进行图检索，根据图检索结果对若干聚类中心排序，将排序靠前的若干聚类中心设为相似聚类中心；读取硬盘单元中与相似聚类中心对应的原始检索向量并设为相似聚类向量；对相似聚类向量暴力检索，提取并输出相似度最高的相似聚类向量。本申请具有的效果：解决高内存占用问题，提高检索精度，找到与给定样本间最相似的缺陷样本。

Description

向量处理方法、装置、设备及存储介质

技术领域

本申请涉及缺陷检测的技术领域，尤其是涉及一种向量处理方法、装置、设备及存储介质。

背景技术

采用向量检测的方法进行缺陷检测时，一般情况下，需要先从缺陷样本中提取缺陷特征向量，构建向量数据库，在向量数据库中进行向量检索。向量检索是在一个给定的向量数据集中，按照某种度量方式，检索出与被查询向量相近的若干个向量，采用向量检索方法可以度量不同缺陷样本之间的相似性，从而可以快速找到与给定样本之间最相似的缺陷样本。

向量处理方法包括向量提取和向量检索两个步骤，一般而言，在应用到向量检索的场景中，向量数据量通常很庞大且向量维度高，因此精确的暴力检索无法满足检索的速度和存储要求，需要将原始数据经过压缩或其他方式处理后再进行检索。目前常用的检索方式有分层可导航小世界(HNSW)、乘积量化(PQ)以及局部敏感哈希(LSH)等，这些检索方式通常需要先进行数据压缩实现内存可加载，再对压缩后的向量进行检索，这样会使得检索的精度低，检索得到的结果不够准确。

发明内容

为了有助于解决向量压缩后导致向量检索精度低的问题，本申请提供一种向量处理方法、装置、设备及存储介质。

第一方面，本申请提供一种向量处理方法，采用如下的技术方案：所述方法应用于向量处理系统，所述向量处理系统包括内存单元与硬盘单元，所述方法包括：

获取缺陷样本图像及待检索的向量库，所述向量库包含若干原始向量；

提取所述缺陷样本图像中的缺陷特征向量，将所述缺陷特征向量设定为待检索的目标向量；

对若干所述原始向量进行聚类，提取若干聚类中心；

将若干所述原始向量设为原始检索向量；

将若干所述聚类中心存储到所述内存单元，并将所述原始检索向量存储到所述硬盘单元；

根据所述目标向量对若干所述聚类中心进行图检索，根据图检索结果对若干所述聚类中心排序，将排序靠前的预设数量的聚类中心设为相似聚类中心；

读取所述硬盘单元中与所述相似聚类中心对应的所述原始检索向量，将与所述相似聚类中心对应的所述原始检索向量设为相似聚类向量；

将所述相似聚类向量逐个与所述目标向量进行相似度比对，提取并输出相似度最高的预设数量的相似聚类向量。

通过上述技术方案，采用倒排索引结合图检索和硬盘的方式，保留了图检索低计算量、高检索效率的优势，提高了检索精度；在获得向量数据后首先对向量数据进行聚类，从而构建一个新的检索任务，新的检索任务中向量的数量级远低于原始任务，因此可以采用图检索的方式进行向量检索，这样可以解决内存占用问题且提高了检索效率；对聚类中心完成检索得到若干相似聚类中心，将与若干相似聚类中心对应的原始向量从硬盘中读取，读取的向量数据是原始的，没有经过任何压缩处理，之后对读取的向量数据进行暴力检索得到相似度最高的若干个向量，这样可以提高最后的检索精度，从而可以快速准确找到与缺陷特征向量最相似的缺陷样本。

在一个具体的可实施方案中，所述对若干所述原始向量进行聚类，提取若干聚类中心之后，还包括：

将聚类后的若干所述原始向量设为原始聚类向量；

所述将若干所述原始向量设为原始检索向量包括：

将所述原始聚类向量设为原始检索向量。

通过上述技术方案，将聚类后的向量数据设为原始检索向量并存储到硬盘单元中，以实现向量库中的原始向量按块存储到硬盘中，使得在后续读取硬盘中的向量数据时，可以按块顺序读取，按块顺序读取数据的速度大于随机访问读取数据的速度，从而可以节省检索时间。

在一个具体的可实施方案中，所述根据图检索结果对若干所述聚类中心排序包括：

根据图检索得到的若干所述聚类中心与所述目标向量间的距离，按照距离从小到大的方式对若干所述聚类中心进行排序；

所述将排序靠前的预设数量的聚类中心设为相似聚类中心包括：

将距离最小的预设数量的聚类中心设为相似聚类中心。

通过上述技术方案，图检索得到聚类中心与目标向量之间的距离，距离越小，聚类中心与目标向量之间的相似度越高，按照距离从小到大的方式排序，可以得到距离最小的，也即相似度最高的若干聚类中心；对聚类中心先进行图检索和排序可以初步筛选出相似度较高的若干个聚类中心，从而减少了后续处理步骤的数据输入量，进而降低后续检索任务的数量级。

在一个具体的可实施方案中，所述根据图检索结果对若干所述聚类中心排序包括：

根据图检索得到的若干所述聚类中心与所述目标向量间的角度，按照角度从小到大的方式对若干所述聚类中心进行排序；

所述将排序靠前的预设数量的聚类中心设为相似聚类中心包括：

将角度最小的预设数量的聚类中心设为相似聚类中心。

通过上述技术方案，图检索得到聚类中心与目标向量之间的角度，角度越小，聚类中心与目标向量之间的相似度越高，按照角度从小到大的方式排序，可以得到角度最小的，也即相似度最高的若干聚类中心；对聚类中心先进行图检索和排序可以初步筛选出相似度较高的若干个聚类中心，从而减少了后续处理步骤的数据输入量，进而降低后续检索任务的数量级。

在一个具体的可实施方案中，所述提取所述缺陷样本图像中的缺陷特征向量包括：

将所述缺陷样本图像输入目标检测网络模型，计算并输出不同尺度的若干目标特征图，所述目标特征图包含缺陷包围框；

使用ROI Align算法提取若干所述目标特征图中所述缺陷包围框的缺陷包围框特征，将提取的若干所述目标特征图的缺陷包围框特征设为缺陷特征，所述缺陷特征包含若干缺陷包围框特征；

将若干所述缺陷包围框特征进行向量转换，生成若干缺陷特征向量；

将若干所述缺陷特征向量拼接，输出拼接后的缺陷特征向量。

通过上述技术方案，采用单个检测模型，也即目标检测网络模型，提取到缺陷图像中的缺陷特征向量，通过向量转换和拼接生成用户需要的缺陷特征向量，最终得到的拼接后的缺陷特征向量是一个多维向量；采用这种方法提取的缺陷特征向量包含全局语义信息和局部语义信息，提高了缺陷特征的表达能力，从而可以提高缺陷特征的泛化能力，使得提取的缺陷特征向量可以泛化到其他的条件或场景；此外，本方案采用的是单个检测模型，简化了向量提取步骤，从而可以节省计算资源和处理时间，使得向量提取更高效、便捷。

在一个具体的可实施方案中，所述目标检测网络模型包括主干网络单元，多尺度融合单元块以及检测头单元；

所述将所述缺陷样本图像输入目标检测网络模型，计算并输出不同尺度的若干目标特征图，所述目标特征图包含缺陷包围框包括：

将所述缺陷样本图像输入所述主干网络单元，提取所述缺陷样本图像的不同尺度特征；

将所述不同尺度特征输入所述多尺度融合单元，生成不同尺度的若干图像特征图；

将若干所述图像特征图输入检测头单元，提取与若干所述图像特征图对应的缺陷包围框；

将所述缺陷包围框映射到对应的所述图像特征图，生成目标特征图，所述目标特征图包含所述缺陷包围框。

通过上述技术方案，通过主干网络单元提取得到缺陷样本图像的不同尺度的特征，通过多尺度融合单元在不同尺度上连接和融合特征，可以在不同层级上捕捉到丰富的语义信息，使得可以更好地提取不同尺度的特征信息，从而使得最终提取得到的带有缺陷包围框的特征图包含了全局信息和局部信息，提高了缺陷特征表达能力。

在一个具体的可实施方案中，所述使用ROI Align算法提取若干所述目标特征图中所述缺陷包围框的缺陷包围框特征包括：

获取所述目标检测网络模型输出的若干所述目标特征图，所述目标特征图包含目标特征图特征信息和缺陷包围框信息，所述缺陷包围框信息包含陷包围框尺寸和缺陷包围框坐标；

根据所述缺陷包围框尺寸确定采样点；

根据所述缺陷包围框坐标计算所述采样点的采样坐标；

根据所述采样坐标与所述目标特征图特征信息，利用插值方法计算得到采样点的采样值；

根据所述采样值确定所述目标特征图的缺陷包围框特征。

通过上述技术方案，对得到的不同尺度的每个目标特征图都采用ROI算法，提取得到特征图上缺陷包围框的特征，采用ROI Align算法计算得到的特征值精确度更高；对不同尺度的目标特征图提取缺陷包围框的特征，可以提取到包含全局语义信息和局部语义信息的缺陷特征，从而可以提高特征的表达能力。

第二方面，本申请提供一种向量处理装置，采用如下技术方案：所述装置应用于向量处理系统，所述向量处理系统包括内存单元与硬盘单元，所述装置包括：

数据获取模块，用于获取缺陷样本图像及待检索的向量库，所述向量库包含若干原始向量；

向量提取模块，用于提取所述缺陷样本图像中的缺陷特征向量，将所述缺陷特征向量设定为待检索的目标向量；

聚类模块，用于对若干所述原始向量进行聚类，提取若干聚类中心；

向量设定模块，用于将若干所述原始向量设为原始检索向量；

存储模块，用于将若干所述聚类中心存储到所述内存单元，并将所述原始检索向量存储到所述硬盘单元；

图检索模块，用于根据所述目标向量对若干所述聚类中心进行图检索，根据图检索结果对若干所述聚类中心排序，将排序靠前的预设数量的聚类中心设为相似聚类中心；

数据读取模块，用于读取所述硬盘单元中与所述相似聚类中心对应的所述原始检索向量，将与所述相似聚类中心对应的所述原始检索向量设为相似聚类向量；

暴力检索模块，用于将所述相似聚类向量逐个与所述目标向量进行相似度比对，提取并输出相似度最高的预设数量的相似聚类向量。

第三方面，本申请提供一种计算机设备，采用如下技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种向量处理方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：存储有能够被处理器加载并执行上述任一种向量处理方法的计算机程序。

综上所述，本申请具有以下有益技术效果：

采用倒排索引结合图检索和硬盘的方式，保留了图检索低计算量、高检索效率的优势，提高了检索精度；在获得向量数据后首先对向量数据进行聚类，从而构建一个新的检索任务，新的检索任务中向量的数量级远低于原始任务，因此可以采用图检索的方式进行向量检索，这样可以解决内存占用问题且提高了检索效率；对聚类中心完成检索得到若干相似聚类中心，将与若干相似聚类中心对应的原始向量从硬盘中读取，读取的向量数据是原始的，没有经过任何压缩处理，之后对读取的向量数据进行暴力检索得到相似度最高的若干个向量，这样可以提高最后的检索精度，从而可以快速准确找到与缺陷特征向量最相似的缺陷样本。

附图说明

图1是本申请实施例中向量处理方法的示意图；

图2是本申请实施例中向量处理方法的流程图；

图3是本申请实施例中向量提取方法的流程图；

图4是本申请实施例中包含缺陷包围框的目标特征图的示意图；

图5是本申请实施例中向量处理装置的示意图；

图6是本申请实施例中用于体现计算机设备的示意图。

附图标记：501、数据获取模块；502、向量提取模块；503、聚类模块；504、向量设定模块；505、存储模块；506、图检索模块；507、数据读取模块；508、暴力检索模块。

具体实施方式

以下结合附图1-6对本申请作进一步详细说明。

本申请实施例公开一种向量处理方法，该方法用于向量处理系统，该向量处理系统可以应用于缺陷检测。参照图1，用户输入缺陷样本图像和待检索的向量库，首先通过向量提取的方法从缺陷样本图像中提取得到缺陷特征向量，之后采用向量检索的方法找到与缺陷特征向量最相似的缺陷样本。向量提取方法，采用目标检测网络模型提取到缺陷图像中的缺陷特征向量，通过向量转换和拼接生成用户需要的缺陷特征向量，最终得到的缺陷特征向量也是向量检索中需要用到的待检索的目标向量；向量检索通过倒排索引结合图检索，并采用硬盘辅助存储的方式，查找向量库中与目标向量距离最小或者角度最小的向量，也即在待检索的向量库中，查找与待检索的目标向量相似度最高的若干个向量，最终检索得到的若干个向量即是与缺陷特征向量最相似的若干个缺陷样本。

在应用向量检索的场景中，向量数据量通常是庞大的，且数据维度高，若采用精确的暴力检索一般无法满足检索的速度和存储要求，因此通常会将原始向量数据先进行压缩，实现内存可加载，再进行后续的检索；然而，对原始向量先进行压缩后再检索的方式，会使得检索精度低，进而导致检索得到的结果不够准确；为了有助于解决压缩内存导致检索精度低的问题，本申请方案提供一种向量处理方法。

参照图2，该方法包括以下步骤：

S10，获取缺陷样本图像及待检索的向量库，向量库包含若干原始向量。

具体来说，用户将缺陷样本图像和待检索的向量库输入向量处理系统；输入的缺陷样本图像用于提取缺陷特征向量，待检索的向量库是由其他缺陷样本转换为向量表示从而构建的向量库，输入的向量库包含若干个原始向量，原始向量是指提取向量后未经过任何压缩或其他处理的向量。

S20，提取缺陷样本图像中的缺陷特征向量，将缺陷特征向量设定为待检索的目标向量。

具体来说，从输入的缺陷样本图像中提取缺陷特征向量，并作为向量检索方法中的待检索的目标向量。

S30，对若干原始向量进行聚类，提取若干聚类中心。

具体来说，对向量库中的若干原始向量先进行聚类，将若干原始向量分割成若干个不同的类，计算每个类的中心并生成对应的向量提取出来，也即提取得到的若干个聚类中心；例如，一个向量库中有10亿个128维的原始向量，这个向量库的原始向量需要占用空间约477G，对这10亿个原始向量进行聚类，假设聚类数为5000万，则可以将原始向量分割成5000万个不同的类，计算每个类的中心并生成向量，则可以提取到5000万个128维的聚类中心，此时提取的5000万个聚类中心只需要占用空间约24G；聚类是一种无监督学习，根据不同的标准可以选择不同的聚类方法，例如，按照距离标准可以选择K-means算法，基于数据密度的标准可以采用DBSCAN算法等，具体采用的聚类算法可以根据用户的实际需要进行选择，此处不做限制。

S40，将若干原始向量设为原始检索向量。

具体来说，将若干原始向量设定为原始检索向量，便于对向量数据的处理。

S50，将若干聚类中心存储到内存单元，并将原始检索向量存储到硬盘单元。

具体来说，将聚类后提取得到的若干聚类中心存储到内存单元，将设定为原始检索向量的若干原始向量存储到硬盘单元中。

S60，根据目标向量对若干聚类中心进行图检索，根据图检索结果对若干聚类中心排序，将排序靠前的预设数量的聚类中心设为相似聚类中心。

具体来说，聚类后构建了一个对聚类中心图检索的任务，常用的图检索方法有NSW、HNSW等，此处不做限制；图检索计算每个聚类中心与目标向量之间的相似度，相似度计算可以是计算距离或是角度，具体可以根据实际输入的向量的类型进行选择，此处不做限制；相似度计算后得到若干个相似度值，例如，距离值或角度值，之后根据图检索得到的结果对聚类中心进行排序，也即根据相似度值对聚类中心进行排序；排序完成后，将排序靠前的预设数量的聚类中心设为相似聚类中心，也即，获得了相似度最高的若干个聚类中心。

S70，读取硬盘单元中与相似聚类中心对应的原始检索向量，将与相似聚类中心对应的原始检索向量设为相似聚类向量。

具体来说，从硬盘中读取得到的与相似聚类中心对应的相似聚类向量均为原始向量，未经过任何压缩处理，可以保证向量数据的精度。

S80，将相似聚类向量逐个与目标向量进行相似度比对，提取并输出相似度最高的预设数量的相似聚类向量。

具体来说，将硬盘中读取的相似聚类向量逐个与目标向量进行相似度比对，可以理解为对相似聚类向量进行一对一的暴力检索，相似度比对可以是计算相似聚类向量与目标向量之间的距离值或是角度值，此处不做限制；之后将相似度最高的预设数量的相似聚类向量提取并输出，例如，采用距离标准计算相似度，预设数量设为50，计算得到的距离值越小，相似度越高，则将与目标向量间距离值最小的50个相似聚类向量取出，这50个相似聚类向量即为相似度最高的向量，也是用户需要得到的最终的结果。

在本申请方案中，采用倒排索引结合图检索和硬盘的方式，保留了图检索低计算量、高检索效率的优势，提高了检索精度；在获得向量数据后首先对向量数据进行聚类，从而构建一个新的检索任务，新的检索任务中向量的数量级远低于原始任务，因此可以采用图检索的方式进行向量检索，这样可以解决内存占用问题且提高了检索效率；对聚类中心完成检索得到若干相似聚类中心，将与若干相似聚类中心对应的原始向量从硬盘中读取，读取的向量数据是原始的，没有经过任何压缩处理，之后对读取的向量数据进行暴力检索得到相似度最高的若干个向量，这样可以提高最后的检索精度，从而可以快速准确找到与缺陷特征向量最相似的缺陷样本。

在一个实施例中，考虑到硬盘随机访问读取数据速度慢，因此在对若干原始向量进行聚类，提取若干聚类中心之后还可以执行以下步骤：

若干原始向量进行聚类后，将聚类后的若干原始向量设定为原始聚类向量；将若干原始向量设为原始检索向量可以被具体执行为：将原始聚类向量设为原始检索向量；在将向量数据存储到硬盘中时，存储的是原始聚类向量，也即，经过聚类的原始向量，从而可以实现将原始向量按块存储到硬盘中；按块存储数据使得在后续读取硬盘数据时，可以按块顺序读取，提高数据读取速度。

在本申请方案中，将聚类后的向量数据设为原始检索向量并存储到硬盘单元中，以实现向量库中的原始向量按块存储到硬盘中，使得在后续读取硬盘中的向量数据时，可以按块顺序读取，按块顺序读取数据的速度大于随机访问读取数据的速度，从而可以节省检索时间。

在一个实施例中，根据图检索结果对若干聚类中心排序可以被具体执行为：

在对目标向量与若干聚类中心进行图检索后，得到若干聚类中心与目标向量之间的距离值，距离值越小，聚类中心与目标向量之间的相似度越高，按照距离值从小到大的方式对若干聚类中心进行排序，可以提取到相似度最高的若干个聚类中心；排序完成后将排序靠前的，也即距离值最小的，预设数量个聚类中心设定为相似聚类中心，相似聚类中心就是提取得到的相似度最高的若干个聚类中心。

在本申请方案中，图检索得到聚类中心与目标向量之间的距离，距离越小，聚类中心与目标向量之间的相似度越高，按照距离从小到大的方式排序，可以得到距离最小的，也即相似度最高的若干聚类中心；对聚类中心先进行图检索和排序可以初步筛选出相似度较高的若干个聚类中心，从而减少了后续处理步骤的数据输入量，进而降低后续检索任务的数量级。

在一个实施例中，根据图检索结果对若干聚类中心排序可以被具体执行为：

在对目标向量与若干聚类中心进行图检索后，得到若干聚类中心与目标向量之间的角度值，角度值越小，聚类中心与目标向量之间的相似度越高，按照角度值从小到大的方式对若干聚类中心进行排序，可以提取到相似度最高的若干个聚类中心；排序完成后将排序靠前的，也即角度值最小的，预设数量个聚类中心设定为相似聚类中心，相似聚类中心就是提取得到的相似度最高的若干个聚类中心。

在本申请方案中，图检索得到聚类中心与目标向量之间的角度，角度越小，聚类中心与目标向量之间的相似度越高，按照角度从小到大的方式排序，可以得到角度最小的，也即相似度最高的若干聚类中心；对聚类中心先进行图检索和排序可以初步筛选出相似度较高的若干个聚类中心，从而减少了后续处理步骤的数据输入量，进而降低后续检索任务的数量级。

在一个实施例中，参照图3，提取缺陷样本图像中的缺陷特征向量可以被具体执行为：

S21，将缺陷样本图像输入目标检测网络模型，计算并输出不同尺度的若干目标特征图，目标特征图包含缺陷包围框。

具体来说，将缺陷样本图像输入到目标检测网络模型，通过模型计算可以得到不同尺度的若干目标特征图，例如，经过模型计算可以得到三种尺寸的特征图，其中每种尺寸包含若干张目标特征图，比如，经过模型计算得到三种尺寸目标特征图，尺寸大小用a*b*c的形式表示可以是80*80*256、40*40*512、20*20*1024，其中，a表示目标特征图的高，b表示目标特征图的宽，c表示目标特征图的通道数，也即目标特征图的张数，则经过模型计算得到的是256张80*80的目标特征图，512张40*40的目标特征图以及1024张20*20的目标特征图，即最终可以得到1792张目标特征图，其中目标特征图的尺寸种类以及高、宽、通道数可以根据用户的实际需求进行设置，此处不做限制；得到的每一张目标特征图上均包含有缺陷包围框。

S22，使用ROI Align算法提取若干目标特征图中缺陷包围框的缺陷包围框特征，将提取的若干目标特征图的缺陷包围框特征设为缺陷特征，缺陷特征包含若干缺陷包围框特征。

具体来说，使用ROI Align算法对目标特征图上的缺陷包围框提取特征得到缺陷包围框特征，同样的方法应用到每一张目标特征图的缺陷包围框特征提取，所有特征图上提取得到的缺陷包围框特征构成缺陷特征。

S23，将若干缺陷包围框特征进行向量转换，生成若干缺陷特征向量。

具体来说，使用ROI Align算法提取缺陷包围框特征后是按照目标特征图的尺寸存储的，特征数据存储的形式为数组的形式，将得到的特征数据进行向量转换，可以转换成向量表示；例如，对输出的三种尺寸的目标特征图经过ROI Align算法处理后，得到的特征数据的大小为(1*1*1024)、(1*1*512)和(1*1*256)，将特征数据进行向量转换后得到的对应的特征向量大小为(1024*1)、(512*1)和(256*1)，表示三个多维向量，也即，一个1024维向量，1个512维向量和1个256维向量。

S24，将若干缺陷特征向量拼接，输出拼接后的缺陷特征向量。

具体来说，将提取的所有特征向量进行拼接后得到一个多维的向量，该多维向量即是用户需要的最终的缺陷特征向量，该拼接后的缺陷特征向量具有全局信息和局部信息，包含的语义信息更为丰富。

在本申请方案中，采用单个检测模型，也即目标检测网络模型，提取到缺陷图像中的缺陷特征向量，通过向量转换和拼接生成用户需要的缺陷特征向量，最终得到的拼接后的缺陷特征向量是一个多维向量；采用这种方法提取的缺陷特征向量包含全局语义信息和局部语义信息，提高了缺陷特征的表达能力，从而可以提高缺陷特征的泛化能力，使得提取的缺陷特征向量可以泛化到其他的条件或场景；此外，本方案采用的是单个检测模型，简化了向量提取步骤，从而可以节省计算资源和处理时间，使得向量提取更高效、便捷。

在一个实施例中，目标检测网络模型包括主干网络单元，多尺度融合单元块以及检测头单元，将缺陷样本图像输入目标检测网络模型，计算并输出不同尺度的若干目标特征图，目标特征图包含缺陷包围框可以被具体执行为：

首先将接收到的缺陷样本图像输入到主干网络单元，可以提取到缺陷样本图像不同尺度的特征，主干网络单元主要用于特征提取，可以提取不同尺度下的目标特征以满足目标检测；提取特征后，将不同尺度的特征输入到多尺度融合单元，可以生成得到不同尺度的若干个缺陷图像的图像特征图，通过多尺度融合可以将底层特征和高层特征进行融合，多尺度融合单元通过在不同尺度上连接和融合特征，可以在不同层级上捕捉到丰富的语义信息，从而可以更好的提取不同尺度的信息；经过多尺度融合单元输出的缺陷图像的图像特征图包含不同的尺度，每种尺度包含若干张特征图，例如，经过多尺度融合模块后，可以得到三种尺度的特征图，用a*b*c的形式表示三种特征图的尺度可以表示为80*80*256、40*40*512、20*20*1024，其中，a表示特征图的高，b表示特征图的宽，c表示特征图的通道数，也即特征图的张数，经过多尺度融合单元得到的特征图即为256张80*80的特征图，512张40*40的特征图以及1024张20*20的特征图；之后，将得到的所有缺陷图像的图像特征图输入检测头单元，将特征图进行前向传播，提取缺陷图像特征图上的缺陷包围框；最后，将缺陷包围框映射到对应的图像特征图生成目标特征图，经过检测头单元输出的缺陷包围框的大小是基于原图坐标系的，而图像特征图的不同尺度是原图经过不同次数的下采样得到的，因此要将缺陷包围框映射到不同尺度的特征图上，则需要将缺陷包围框也经过不同次数的下采样后才可以进行对应的映射，例如，若一张图像特征图经过5次下采样，也即，特征图原图的长宽除以2⁵＝32，则缺陷包围框对应的进行5次下采样后才可以映射到图像特征图上，最终生成包含有缺陷包围框的目标特征图。

在本申请方案中，通过主干网络单元提取得到缺陷样本图像的不同尺度的特征，通过多尺度融合单元在不同尺度上连接和融合特征，可以在不同层级上捕捉到丰富的语义信息，使得可以更好地提取不同尺度的特征信息，从而使得最终提取得到的带有缺陷包围框的特征图包含了全局信息和局部信息，提高了缺陷特征表达能力。

在一个实施例中，使用ROI Align算法提取若干目标特征图中缺陷包围框的缺陷包围框特征可以被具体执行为：

首先，经过目标检测网络模型的处理后输出若干张目标特征图，输出的目标特征图包含了目标特征图的特征信息和缺陷包围框的信息，目标特征图的特征信息包含了目标特征图的特征值和特征值的坐标信息，缺陷包围框信息包含陷包围框尺寸和缺陷包围框坐标，例如，参照图4，经过模型处理后输出的目标特征图中分成了若干个cell，每个cell上的值即为目标特征图的特征值，每个cell对应有一个中心点，每个cell的中心点的坐标为特征值的坐标信息，经由模型计算可以得到，图中的大框表示的即是缺陷包围框，其坐标(2，3)经由模型计算后得到，缺陷包围框在x方向跨了4个cell的长度，与x垂直的方向跨了3个cell的长度，则缺陷包围框的尺寸为4*3；之后，先根据缺陷包围框的尺寸确定采样点，确定采样点的方法是周围4个数据点确定一个采样点，例如，参照图4，对一个4*3的缺陷包围框，其包含了12个cell，根据周围4个数据点，也就是4个cell，确定1个采样点，则最终确定有6个采样点；之后，根据缺陷包围框的坐标计算采样点的采样坐标，例如，参照图4，根据缺陷包围框坐标(2，3)计算6个采样点的采样坐标，坐标计算方式可以为：

第一行第一列：x＝2+4/4＝3，y＝3+3/3＝4；

第一行第二列：x＝2+(4/4)*2＝4，y＝3+3/3＝4；

第一行第三列：x＝2+(4/4)*3＝5，y＝3+3/3＝4；

第二行第一列：x＝2+4/4＝3，y＝3+(3/3)*2＝5；

第二行第二列：x＝2+(4/4)*2＝4，y＝3+(3/3)*2＝5；

第二行第三列：x＝2+(4/4)*3＝5，y＝3+(3/3)*2＝5；

其中，第一行第一列坐标计算中，2为缺陷包围框坐标(2，3)中的2，3为缺陷包围框坐标(2，3)中的3，在x方向，缺陷包围框长度为4，有3个采样点，因此需要将缺陷包围框在x方向进行4等分4/4，最终相加得到x＝3，与x垂直方向设为y方向，在y方向，缺陷包围框长度为3，有2个采样点，因此需要将缺陷包围框在y方向进行3等分3/3，最终相加得到y＝4；计算其余采样点时相应的乘采样点对应的行数或列数即可得到采样点对应的坐标。

计算得到采样坐标后，采用插值法计算采样点的值，可以理解的是，任何可以计算得到采样点的值的方法均可以采用，此处不做限制，在本申请实施例中采用双线性插值法进行说明；计算插值的方式可以为：

其中，x，y表示采样点的坐标，(x₁,y₁)(x₁,y₂)(x₂,y₁)(x₂,y₂)为特征值的坐标信息，Q11、Q12、Q21、Q22为目标特征图的特征值，参照图4，x，y即是计算的6个采样点的坐标，以计算第一行第一列采样点的值为例，(x₁,y₁)(x₁,y₂)(x₂,y₁)(x₂,y₂)是值为0.1、0.2、0.5、0.6这4个cell的中心点坐标，Q11、Q12、Q21、Q22分别为4个cell的值，即0.1、0.2、0.5、0.6，之后用同样的方法计算其余的采样点的值。计算得到所有采样点的值后，取最大值或取所有采样值的均值作为缺陷包围框的特征值，计算最大值或平均值可以根据用户需求进行设置，此处不做限制，最终计算得到的缺陷包围框的特征值即为用户需要的目标特征图的缺陷包围框特征。

在本申请方案中，对得到的不同尺度的每个目标特征图都采用ROI算法，提取得到特征图上缺陷包围框的特征，采用ROI Align算法计算得到的特征值精确度更高；对不同尺度的目标特征图提取缺陷包围框的特征，可以提取到包含全局语义信息和局部语义信息的缺陷特征，从而可以提高特征的表达能力。

需要说明的是，向量提取方法和向量检索方法可以分别作为两种不同的方案单独使用，也可以整合为一种向量处理的方案进行应用；若向量检索方法单独应用其应用场景更为广泛，可以应用在互联网等其他的领域，例如对语音、图像、视频识别和检索，对文本的检索，在电场领域搜索同款商品等均可以单独使用本方案中的向量检索方法进行检索；应当理解的是，在具体实施的过程中，用户可以根据实际需要对方案进行灵活选用。

图2为一个实施例中向量处理方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行；除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行；并且图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于上述方法，本申请实施例还公开一种向量处理装置。

参照图5，该装置包括以下模块：

数据获取模块501，用于获取缺陷样本图像及待检索的向量库，向量库包含若干原始向量；

向量提取模块502，用于提取缺陷样本图像中的缺陷特征向量，将缺陷特征向量设定为待检索的目标向量；

聚类模块503，用于对若干原始向量进行聚类，提取若干聚类中心；

向量设定模块504，用于将若干原始向量设为原始检索向量；

存储模块505，用于将若干聚类中心存储到内存单元，并将原始检索向量存储到硬盘单元；

图检索模块506，用于根据目标向量对若干聚类中心进行图检索，根据图检索结果对若干聚类中心排序，将排序靠前的预设数量的聚类中心设为相似聚类中心；

数据读取模块507，用于读取硬盘单元中与相似聚类中心对应的原始检索向量，将与相似聚类中心对应的原始检索向量设为相似聚类向量；

暴力检索模块508，用于将相似聚类向量逐个与目标向量进行相似度比对，提取并输出相似度最高的预设数量的相似聚类向量。

在一个实施例中，聚类模块503，还用于将聚类后的若干原始向量设为原始聚类向量；将若干原始向量设为原始检索向量包括：将原始聚类向量设为原始检索向量。

在一个实施例中，图检索模块506，具体用于根据图检索得到的若干聚类中心与目标向量间的距离，按照距离从小到大的方式对若干聚类中心进行排序；将排序靠前的预设数量的聚类中心设为相似聚类中心包括：将距离最小的预设数量的聚类中心设为相似聚类中心。

在一个实施例中，图检索模块506，具体用于根据图检索得到的若干聚类中心与目标向量间的角度，按照角度从小到大的方式对若干聚类中心进行排序；将排序靠前的预设数量的聚类中心设为相似聚类中心包括：将角度最小的预设数量的聚类中心设为相似聚类中心。

在一个实施例中，向量提取模块502，具体用于将缺陷样本图像输入目标检测网络模型，计算并输出不同尺度的若干目标特征图，目标特征图包含缺陷包围框；使用ROIAlign算法提取若干目标特征图中缺陷包围框的缺陷包围框特征，将提取的若干目标特征图的缺陷包围框特征设为缺陷特征，缺陷特征包含若干缺陷包围框特征；将若干缺陷包围框特征进行向量转换，生成若干缺陷特征向量；将若干缺陷特征向量拼接，输出拼接后的缺陷特征向量。

在一个实施例中，向量提取模块502，具体用于将缺陷样本图像输入主干网络单元，提取缺陷样本图像的不同尺度特征；将不同尺度特征输入多尺度融合单元，生成不同尺度的若干图像特征图；将若干图像特征图输入检测头单元，提取与若干图像特征图对应的缺陷包围框；将缺陷包围框映射到对应的图像特征图，生成目标特征图，目标特征图包含缺陷包围框。

在一个实施例中，向量提取模块502，具体用于获取目标检测网络模型输出的若干目标特征图，目标特征图包含目标特征图特征信息和缺陷包围框信息，缺陷包围框信息包含陷包围框尺寸和缺陷包围框坐标；根据缺陷包围框尺寸确定采样点；根据缺陷包围框坐标计算采样点的采样坐标；根据采样坐标与目标特征图特征信息，利用插值方法计算得到采样点的采样值；根据采样值确定目标特征图的缺陷特征。

本申请实施例提供的向量处理装置，可以应用于如上述实施例中提供的向量处理方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

需要说明的是：本申请实施例中提供的向量处理装置在进行向量处理时，仅以上述各功能模块/功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块/功能单元完成，即将向量处理装置的内部结构划分成不同的功能模块/功能单元，以完成以上描述的全部或者部分功能。另外，上述方法实施例提供的向量处理方法的实施方式与本实施例提供的向量处理装置的实施方式属于同一构思，本实施例提供的向量处理装置的具体实现过程详见上述方法实施例，这里不再赘述。

本申请实施例还公开一种计算机设备。

具体来说，如图6所示，该计算机设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括，但不限于，处理器和存储器。其中，处理器和存储器可以通过总线或者其他方式连接。其中，处理器可以为中央处理器(CentralProcessingUnit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、图形处理器(GraphicsProcessingUnit，GPU)、嵌入式神经网络处理器(Neural-networkProcessingUnit，NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例还公开一种计算机可读存储介质。

具体来说，计算机可读存储介质用于存储计算机程序，计算机程序被处理器执行时，实现上述方法实施方式中的方法。本领域技术人员可以理解，实现本申请上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种向量处理方法，其特征在于：所述方法应用于向量处理系统，所述向量处理系统包括内存单元与硬盘单元，所述方法包括：

获取缺陷样本图像及待检索的向量库，所述向量库包含若干原始向量；

提取所述缺陷样本图像中的缺陷特征向量，将所述缺陷特征向量设定为待检索的目标向量；

对若干所述原始向量进行聚类，提取若干聚类中心；

将若干所述原始向量设为原始检索向量；

将若干所述聚类中心存储到所述内存单元，并将所述原始检索向量存储到所述硬盘单元；

根据所述目标向量对若干所述聚类中心进行图检索，根据图检索结果对若干所述聚类中心排序，将排序靠前的预设数量的聚类中心设为相似聚类中心；

读取所述硬盘单元中与所述相似聚类中心对应的所述原始检索向量，将与所述相似聚类中心对应的所述原始检索向量设为相似聚类向量；

将所述相似聚类向量逐个与所述目标向量进行相似度比对，提取并输出相似度最高的预设数量的相似聚类向量。

2.根据权利要求1所述的方法，其特征在于：所述对若干所述原始向量进行聚类，提取若干聚类中心之后，还包括：

将聚类后的若干所述原始向量设为原始聚类向量；

所述将若干所述原始向量设为原始检索向量包括：

将所述原始聚类向量设为原始检索向量。

3.根据权利要求1所述的方法，其特征在于：所述根据图检索结果对若干所述聚类中心排序包括：

根据图检索得到的若干所述聚类中心与所述目标向量间的距离，按照距离从小到大的方式对若干所述聚类中心进行排序；

所述将排序靠前的预设数量的聚类中心设为相似聚类中心包括：

将距离最小的预设数量的聚类中心设为相似聚类中心。

4.根据权利要求1所述的方法，其特征在于：所述根据图检索结果对若干所述聚类中心排序包括：

根据图检索得到的若干所述聚类中心与所述目标向量间的角度，按照角度从小到大的方式对若干所述聚类中心进行排序；

所述将排序靠前的预设数量的聚类中心设为相似聚类中心包括：

将角度最小的预设数量的聚类中心设为相似聚类中心。

5.根据权利要求1所述的方法，其特征在于：所述提取所述缺陷样本图像中的缺陷特征向量包括：

将所述缺陷样本图像输入目标检测网络模型，计算并输出不同尺度的若干目标特征图，所述目标特征图包含缺陷包围框；

使用ROI Align算法提取若干所述目标特征图中所述缺陷包围框的缺陷包围框特征，将提取的若干所述目标特征图的缺陷包围框特征设为缺陷特征，所述缺陷特征包含若干缺陷包围框特征；

将若干所述缺陷包围框特征进行向量转换，生成若干缺陷特征向量；

将若干所述缺陷特征向量拼接，输出拼接后的缺陷特征向量。

6.根据权利要求5所述的方法，其特征在于：所述目标检测网络模型包括主干网络单元，多尺度融合单元块以及检测头单元；

所述将所述缺陷样本图像输入目标检测网络模型，计算并输出不同尺度的若干目标特征图，所述目标特征图包含缺陷包围框包括：

将所述缺陷样本图像输入所述主干网络单元，提取所述缺陷样本图像的不同尺度特征；

将所述不同尺度特征输入所述多尺度融合单元，生成不同尺度的若干图像特征图；

将若干所述图像特征图输入检测头单元，提取与若干所述图像特征图对应的缺陷包围框；

将所述缺陷包围框映射到对应的所述图像特征图，生成目标特征图，所述目标特征图包含所述缺陷包围框。

7.根据权利要求5所述的方法，其特征在于：所述使用ROIAlign算法提取若干所述目标特征图中所述缺陷包围框的缺陷包围框特征包括：

获取所述目标检测网络模型输出的若干所述目标特征图，所述目标特征图包含目标特征图特征信息和缺陷包围框信息，所述缺陷包围框信息包含陷包围框尺寸和缺陷包围框坐标；

根据所述缺陷包围框尺寸确定采样点；

根据所述缺陷包围框坐标计算所述采样点的采样坐标；

根据所述采样坐标与所述目标特征图特征信息，利用插值方法计算得到采样点的采样值；

根据所述采样值确定所述目标特征图的缺陷包围框特征。

8.一种向量处理装置，其特征在于：所述装置应用于向量处理系统，所述向量处理系统包括内存单元与硬盘单元，所述装置包括：

数据获取模块(501)，用于获取缺陷样本图像及待检索的向量库，所述向量库包含若干原始向量；

向量提取模块(502)，用于提取所述缺陷样本图像中的缺陷特征向量，将所述缺陷特征向量设定为待检索的目标向量；

聚类模块(503)，用于对若干所述原始向量进行聚类，提取若干聚类中心；

向量设定模块(504)，用于将若干所述原始向量设为原始检索向量；

存储模块(505)，用于将若干所述聚类中心存储到所述内存单元，并将所述原始检索向量存储到所述硬盘单元；

图检索模块(506)，用于根据所述目标向量对若干所述聚类中心进行图检索，根据图检索结果对若干所述聚类中心排序，将排序靠前的预设数量的聚类中心设为相似聚类中心；

数据读取模块(507)，用于读取所述硬盘单元中与所述相似聚类中心对应的所述原始检索向量，将与所述相似聚类中心对应的所述原始检索向量设为相似聚类向量；

暴力检索模块(508)，用于将所述相似聚类向量逐个与所述目标向量进行相似度比对，提取并输出相似度最高的预设数量的相似聚类向量。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。