CN115495603A - 一种服装图像检索方法和系统 - Google Patents

Abstract

本发明提供了一种服装图像检索方法和系统，包括将预处理图像输入服装检测模型，模型对所述预处理图像中的服装进行检测和裁剪，得到裁剪图像；将所述裁剪图像输入特征提取模型，模型提取所述裁剪图像的特征，得到第一特征向量；对所述第一特征向量进行聚类，得到待检索图像的第一索引；基于所述第一索引，获取向量数据库中的第二特征向量集；将所述第一特征向量分别与所述第二特征向量集中的特征向量进行匹配，得到待匹配图像中与所述待检索图像相似的相似图像；降低了服装图像中噪声的影响，减小了图像检索时需要遍历的数据集数量，提升了大数据集下的图片检索速度和准确度。

Description

一种服装图像检索方法和系统

技术领域

本发明涉及图像检索技术领域，具体而言，涉及一种服装图像检索方法和系统。

背景技术

随着网络时代，电商网络的快速发展，服装领域数据也快速增长，面对海量数据，如何快速通过图片找到供应商或客户想要的款，是一个亟待解决的问题。在服装领域内，服饰商品图像通常会有比较多的噪声：包括模特动作，服装拍摄背景，服装拍摄角度等。对于普通的图像检索方法，过多的图像噪声会对全局图像检索结果产生较大影响，导致检索效果下降。对于待检索图片，每次检索的过程中需要遍历所有图片特征索引数据库，对于大数据量的数据集来说，检索的过程会比较缓慢，过慢的响应速度容易影响客户体验。

有鉴于此，本申请提出了一种服装图像检索方法和系统，降低服装图像中噪声的影响，减小图像检索时需要遍历的数据集数量，以提升大数据集下的图片检索速度和准确度。

发明内容

本发明的目的在于提供一种服装图像检索方法，包括将预处理图像输入服装检测模型，模型对所述预处理图像中的服装进行检测和裁剪，得到裁剪图像；将所述裁剪图像输入特征提取模型，模型提取所述裁剪图像的特征，得到第一特征向量；对所述第一特征向量进行聚类，得到待检索图像的第一索引；基于所述第一索引，获取向量数据库中的第二特征向量集；将所述第一特征向量分别与所述第二特征向量集中的特征向量进行匹配，得到待匹配图像中与所述待检索图像相似的相似图像。

进一步的，所述预处理图像通过对所述待检索图像进行预处理得到，所述预处理包括调整所述待检索图像的分辨率。

进一步的，所述第一特征向量为将所述特征提取模型提取的特征进行归一化得到的特征向量。

进一步的，得到第一索引，包括将所述第一特征向量输入聚类模型，模型输出所述第一特征向量所属聚类的簇；将所述第一特征向量所属聚类的簇作为所述第一索引。

进一步的，所述聚类的簇通过聚类所述待匹配图像得到，包括对所述待匹配图像进行预处理，得到多个预处理匹配图像；将所述多个预处理匹配图像输入所述服装检测模型，得到多个待匹配裁剪图像；将所述多个待匹配裁剪图像输入所述特征提取模型，得到多个第二特征向量；对所述多个第二特征向量进行聚类，得到多个所述聚类的簇；将每个所述聚类的簇中的所述第二特征向量，作为该聚类的簇的第二特征向量集。

进一步的，得到所述相似图像，包括分别计算每个第二特征向量与所述第一特征向量的距离，将距离最近的第二特征向量对应的待匹配图像作为所述待检索图像的相似图像。

进一步的，还包括确定所述第一特征向量在树状图中所属的第一节点；基于所述第一节点，确定所述待检索图像在所述树状图中的第一位置；确定所述树状图中的第二节点，基于所述第二节点，确定优先队列；所述优先队列包括所述第二节点在所述树状图中的第二位置；从所述第一节点的父节点开始，递归搜索与所述第一节点最匹配的第二节点，将所述最匹配的第二节点所对应的待匹配图像，作为所述待检索图像的相似图像。

进一步的，所述树状图通过划分所述向量数据库中的特征向量和所述第一特征向量得到，包括步骤a1，基于第一平面内的特征向量，确定父平面；所述第一平面内的特征向量包括所述向量数据库中的特征向量和所述第一特征向量；步骤b1，随机选取父平面内两个特征向量，基于所述两个特征向量的连线的中垂线，将所述父平面划分为两个子平面；步骤c1，将所述两个子平面分别作为两个父平面，重复步骤a1-步骤c1，直到树状图有M+1个仅为子节点的节点。所述M为向量数据库中的特征向量的个数。

进一步的，所述树状图通过划分所述第二特征向量集的特征向量和所述第一特征向量得到，包括步骤a2，基于第二平面内的特征向量，确定父平面；所述第二平面内的特征向量包括所述第二特征向量集中的特征向量和所述第一特征向量；步骤b2，随机选取父平面内两个特征向量，基于所述两个特征向量的连线的中垂线，将所述父平面划分为两个子平面；步骤c2，将所述两个子平面分别作为两个父平面，重复步骤a2-步骤c2，直到树状图有N+1个仅为子节点的节点。所述N为第二特征向量集中的特征向量的个数。

本发明的目的在于提供一种服装图像检索系统，包括裁剪图像获取模块、第一特征向量获取模块、第一索引获取模块、第二特征向量集合获取模块和相似图像获取模块；所述裁剪图像获取模块用于将预处理图像输入服装检测模型，模型对所述预处理图像中的服装进行检测和裁剪，得到裁剪图像；所述第一特征向量获取模块用于将所述裁剪图像输入特征提取模型，模型提取所述裁剪图像的特征，得到第一特征向量；所述第一索引获取模块用于对所述第一特征向量进行聚类，得到待检索图像的第一索引；所述第二特征向量集合获取模块用于基于所述第一索引，获取向量数据库中的第二特征向量集；所述相似图像获取模块用于将所述第一特征向量分别与所述第二特征向量集中的特征向量进行匹配，得到待匹配图像中与所述待检索图像相似的相似图像。

本发明实施例的技术方案至少具有如下优点和有益效果：

本说明书中的一些实施例，通过目标检测技术提取出图片中服装部分图像然后进行相似图像搜索，使得降低了服装图像中噪声的影响。

本说明书中的一些实施例通过对图片特征向量进行聚类以建立向量索引，大大减少了图像检索时需要遍历的数据集数量，提升了大数据集下的图片检索速度。

附图说明

图1为本发明一些实施例提供的一种服装图像检索方法的示例性流程图；

图2为本发明一些实施例提供的得到相似图像的示例性流程图；

图3为本发明一些实施例提供的一种服装图像检索系统的示例性模块图；

图4为本发明一些实施例提供的树状图的示例性示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

图1为本发明一些实施例提供的一种服装图像检索方法的示例性流程图。在一些实施例中，流程100可以由系统300执行。如图1所示，流程100包括以下步骤：

步骤110，将预处理图像输入服装检测模型，模型对预处理图像中的服装进行检测和裁剪，得到裁剪图像。在一些实施例中，步骤110可以由裁剪图像获取模块310执行。

预处理图像可以是指对图像进行预处理后的图像。在一些实施例中，预处理图像可以通过对待检索图像进行预处理得到，预处理包括调整待检索图像的分辨率。待检索图像可以是指需要进行相似服装图像检索的服装图像。服装图像为图片中的内容主要是服装的图像。例如，服装主图。可以基于待检索图像中服装的特征从待匹配的图像中检索出包括相似服装的图像。待匹配的图像可以被称为待匹配图像，即提供相似图像选取的图像集合。预处理包括对图像进行尺寸压缩和/或填充。例如，对于分辨率过高的图片，可以将其等比例缩放到至指定分辨率。又例如，对于分辨率过低的图片，可以使用黑边对其进行填充。

服装检测模型可以用于提取图像中服装的部分。例如，服装检测模型可以将预处理图像中的背景和人裁剪掉，得到仅包含服装的图片。其中，被服装检测模型裁剪后得到的图像可以被认为是裁剪图像。例如，仅包含服装的图像。

在一些实施例中，服装检测模型可以通过模型训练得到。例如，获取第一样本图像；第一样本图像可以为获取的服装图像。获取第一标签；第一标签为从第一样本图像中裁剪出来的裁剪图像，第一标签可以通过人工标注得到。将第一样本图像输入YoloV3模型，基于模型的输出和第一标签迭代更新YoloV3模型的参数，得到训练好的服装检测模型。

步骤120，将裁剪图像输入特征提取模型，模型提取裁剪图像的特征，得到第一特征向量。在一些实施例中，步骤120可以由第一特征向量获取模块320执行。

特征提取模型可以为提取图像特征的模型。例如，提取裁剪图像的特征的机器学习模型。裁剪图像的特征可以包括服装的花色、类型、男女、风格、适应年龄等中的一种或多种。

在一些实施例中，特征提取模型可以通过模型训练得到。例如，获取第二样本图像；第二样本图像为样本裁剪图像；样本裁剪图像为对服装图像进行裁剪得到的仅包含服装的图像。获取第二标签；第二标签为样本裁剪图像的特征；第二标签可以通过人工标注得到。将第二样本图像输入VGG16模型，基于模型的输出和第二标签迭代更新VGG16模型的参数，得到训练好的特征提取模型。

第一特征向量可以是指用于表示待检索图像的特征的值。在一些实施例中，第一特征向量可以为将特征提取模型提取的特征进行归一化得到的特征向量。例如，将特征提取模型提取的特征规约于[0,1]范围内。

在一些实施例中，还可以包括分割模型，分割模型用于将输入的裁剪图像进行分割，得到服装各个部位的分割图像。例如，将上衣的图像分割为袖子、领子、胸部和腰部等图像。将分割图像输入特征提取模型，模型输出袖长、衣长、领高、胸围和腰围等特征向量。分割模型可以为目标检测模型，训练得到分割模型的方式与得到服装检测模型的方式类似，关于分割模型的更多内容，参见步骤110，及其相关描述。

本说明书中的一些实施例，通过对服装图像进行分割，可以得到关于服装的更细致的特征，提高了搜索结果的准确度。

步骤130，对第一特征向量进行聚类，得到待检索图像的第一索引。在一些实施例中，步骤130可以由第一索引获取模块330执行。

可以通过各种建模或数学处理的方式聚类第一特征向量，并将第一特征向量所属的聚类簇的坐标作为待检索图像的第一索引。

在一些实施例中，可以将第一特征向量输入聚类模型，模型输出第一特征向量所属聚类的簇。将第一特征向量所属聚类的簇作为第一索引。在一些实施例中，聚类模型可以为DBSCAN聚类模型。在一些实施例中，聚类的簇通过聚类待匹配图像得到。例如，对待匹配图像进行预处理，得到多个预处理匹配图像。得到预处理匹配图像的方式与得到预处理图像的方式类似，关于预处理匹配图像的更多内容，参见步骤110及其相关描述。将多个预处理匹配图像输入服装检测模型，得到多个待匹配裁剪图像。得到待匹配裁剪图像的方式与得到裁剪图像的方式类似，关于待匹配裁剪图像的更多内容，参见步骤110及其相关描述。将多个待匹配裁剪图像输入特征提取模型，得到多个第二特征向量。得到第二特征向量的方式与得到第一特征向量的方式类似，关于第二特征向量的更多内容，参见步骤110及其相关描述。对多个第二特征向量进行聚类，得到多个聚类的簇。

步骤140，基于第一索引，获取向量数据库中的第二特征向量集。在一些实施例中，步骤140可以由第二特征向量集合获取模块340执行。

在一些实施例中，第一索引可以是指第一特征向量所属的聚类的簇，可以将每个聚类的簇中的第二特征向量，作为该聚类的簇的第二特征向量集。

步骤150，将第一特征向量分别与第二特征向量集中的特征向量进行匹配，得到待匹配图像中与待检索图像相似的相似图像。在一些实施例中，步骤150可以由相似图像获取模块350执行。

相似图像可以是指具有相似服装的图像。例如，包括与待检索图像中的服装相类似的服装的图像。在一些实施例中，可以分别计算每个第二特征向量与第一特征向量的距离，将距离最近的第二特征向量对应的待匹配图像作为待检索图像的相似图像。

在一些实施例中，还可以通过ANNOY算法，得到相似图像。关于得到相似图像的更多内容，参见图2及其相关描述。

图2为本发明一些实施例提供的得到相似图像的示例性流程图。在一些实施例中，流程200可以由相似图像获取模块350执行。如图2所，流程200包括以下步骤：

步骤210，确定第一特征向量在树状图中所属的第一节点。

在一些实施例中，树状图通过划分向量数据库中的特征向量和第一特征向量得到，包括步骤a1，基于第一平面内的特征向量，确定父平面；第一平面内的特征向量包括向量数据库中的特征向量和第一特征向量；步骤b1，随机选取父平面内两个特征向量，基于两个特征向量的连线的中垂线，将父平面划分为两个子平面；步骤c1，将两个子平面分别作为两个父平面，重复步骤a1-步骤c1，直到树状图有M+1个仅为子节点的节点。M为向量数据库中的特征向量的个数。

在一些实施例中，树状图通过划分第二特征向量集的特征向量和第一特征向量得到，包括步骤a2，基于第二平面内的特征向量，确定父平面；第二平面内的特征向量包括第二特征向量集中的特征向量和第一特征向量；步骤b2，随机选取父平面内两个特征向量，基于两个特征向量的连线的中垂线，将父平面划分为两个子平面；步骤c2，将两个子平面分别作为两个父平面，重复步骤a2-步骤c2，直到树状图有N+1个仅为子节点的节点。N为第二特征向量集中的特征向量的个数。

第一节点为第一特征向量在树状图中所在的节点。

步骤220，基于第一节点，确定待检索图像在树状图中的第一位置。

第一位置为节点在树状图中的位置。例如，第一位置可以为第一节点在树状图中的位置。在一些实施例中，第一位置可以为从根节点开始到第一节点的过程中的所有节点的组合。如图4所示，以节点1111为例，节点1111为第一特征向量所在的节点，节点1111的位置可以用{1 11 111 1111}表示。

步骤230，确定树状图中的第二节点，基于第二节点，确定优先队列；优先队列包括第二节点在树状图中的第二位置。第二节点可以为不是第一节点的其他节点。例如，向量数据库中的特征向量所在的节点。如图4所示，第一节点可以为1111，第二节点可以包括1112、1121、1122、1211、1212、1221和1222。由第二节点的位置组成的集合可以被认为是优先队列。

步骤240，从第一节点的父节点开始，递归搜索与第一节点最匹配的第二节点，将最匹配的第二节点所对应的待匹配图像，作为待检索图像的相似图像。

在一些实施例中，可以将递归搜索得到的第一个第二节点所对应的待匹配图像作为相似图像。如图4所示，第一节点可以为1111，节点1111的父节点为111，在父节点111上可以搜索到与节点1111相匹配的节点1112，因此，可以将节点1112对应的待匹配图像作为相似图像。又例如，假设111下没有子节点1112，那么搜索完节点111后搜索到节点11，在节点11上搜索到节点1121和节点1122，可以将节点1121和1122对应的待匹配图像作为相似图像。在一些实施例中，当搜索到多个待匹配图像的时候，可以分别计算待匹配图像的特征向量与第一特征向量的相似度，基于相似度高低确定与待检索图像最相似的待匹配图像。

在一些实施例中，可以通过聚类的方法和树状图的方法得到相似图像，通过对聚类得到的相似图像与基于树状图得到的相似图像赋权，可以得到最终的相似图像。

本说明书中的一些实施例，通过使用聚类和树状图的方法确定相似图像，可以提高搜索相似图像的效率和准确率。

本说明书中的一些实施例通过使用聚类的簇中的第二特征向量构建树状图，然后基于构建的树状图确定相似度图像，可以进一步提高搜索相似图像的效率。

图3为本发明一些实施例提供的一种服装图像检索系统的示例性模块图。如图3所示，系统300包括裁剪图像获取模块310、第一特征向量获取模块320、第一索引获取模块330、第二特征向量集合获取模块340和相似图像获取模块350。

裁剪图像获取模块310用于将预处理图像输入服装检测模型，模型对预处理图像中的服装进行检测和裁剪，得到裁剪图像。关于裁剪图像获取模块310的更多内容，参见图1及其相关描述。

第一特征向量获取模块320用于将裁剪图像输入特征提取模型，模型提取裁剪图像的特征，得到第一特征向量。关于第一特征向量获取模块320的更多内容，参见图1及其相关描述。

第一索引获取模块330用于对第一特征向量进行聚类，得到待检索图像的第一索引。关于第一索引获取模块330的更多内容，参见图1及其相关描述。

第二特征向量集合获取模块340用于基于第一索引，获取向量数据库中的第二特征向量集。关于第二特征向量集合获取模块340的更多内容，参见图1及其相关描述。

相似图像获取模块350用于将第一特征向量分别与第二特征向量集中的特征向量进行匹配，得到待匹配图像中与待检索图像相似的相似图像。关于相似图像获取模块350的更多内容，参见图1及其相关描述。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种服装图像检索方法，其特征在于，包括

将预处理图像输入服装检测模型，模型对所述预处理图像中的服装进行检测和裁剪，得到裁剪图像；

将所述裁剪图像输入特征提取模型，模型提取所述裁剪图像的特征，得到第一特征向量；

对所述第一特征向量进行聚类，得到待检索图像的第一索引；

基于所述第一索引，获取向量数据库中的第二特征向量集；

将所述第一特征向量分别与所述第二特征向量集中的特征向量进行匹配，得到待匹配图像中与所述待检索图像相似的相似图像。

2.根据权利要求1所述的服装图像检索方法，其特征在于，所述预处理图像通过对所述待检索图像进行预处理得到，所述预处理包括调整所述待检索图像的分辨率。

3.根据权利要求1所述的服装图像检索方法，其特征在于，所述第一特征向量为将所述特征提取模型提取的特征进行归一化得到的特征向量。

4.根据权利要求1所述的服装图像检索方法，其特征在于，得到第一索引，包括

将所述第一特征向量输入聚类模型，模型输出所述第一特征向量所属聚类的簇；

将所述第一特征向量所属聚类的簇作为所述第一索引。

5.根据权利要求4所述的服装图像检索方法，其特征在于，所述聚类的簇通过聚类所述待匹配图像得到，包括

对所述待匹配图像进行预处理，得到多个预处理匹配图像；

将所述多个预处理匹配图像输入所述服装检测模型，得到多个待匹配裁剪图像；

将所述多个待匹配裁剪图像输入所述特征提取模型，得到多个第二特征向量；

对所述多个第二特征向量进行聚类，得到多个所述聚类的簇；

将每个所述聚类的簇中的所述第二特征向量，作为该聚类的簇的第二特征向量集。

6.根据权利要求1所述的服装图像检索方法，其特征在于，得到所述相似图像，包括

分别计算每个第二特征向量与所述第一特征向量的距离，将距离最近的第二特征向量对应的待匹配图像作为所述待检索图像的相似图像。

7.根据权利要求1-6任一项所述的服装图像检索方法，其特征在于，还包括

确定所述第一特征向量在树状图中所属的第一节点；

基于所述第一节点，确定所述待检索图像在所述树状图中的第一位置；

确定所述树状图中的第二节点，基于所述第二节点，确定优先队列；

所述优先队列包括所述第二节点在所述树状图中的第二位置；

从所述第一节点的父节点开始，递归搜索与所述第一节点最匹配的第二节点，将所述最匹配的第二节点所对应的待匹配图像，作为所述待检索图像的相似图像。

8.根据权利要求7所述的服装图像检索方法，其特征在于，所述树状图通过划分所述向量数据库中的特征向量和所述第一特征向量得到，包括

步骤a1，基于第一平面内的特征向量，确定父平面；所述第一平面内的特征向量包括所述向量数据库中的特征向量和所述第一特征向量；

步骤b1，随机选取父平面内两个特征向量，基于所述两个特征向量的连线的中垂线，将所述父平面划分为两个子平面；

步骤c1，将所述两个子平面分别作为两个父平面，重复步骤a1-步骤c1，直到树状图有M+1个仅为子节点的节点。所述M为向量数据库中的特征向量的个数。

9.根据权利要求7所述的服装图像检索方法，其特征在于，所述树状图通过划分所述第二特征向量集的特征向量和所述第一特征向量得到，包括

步骤a2，基于第二平面内的特征向量，确定父平面；所述第二平面内的特征向量包括所述第二特征向量集中的特征向量和所述第一特征向量；

步骤b2，随机选取父平面内两个特征向量，基于所述两个特征向量的连线的中垂线，将所述父平面划分为两个子平面；

步骤c2，将所述两个子平面分别作为两个父平面，重复步骤a2-步骤c2，直到树状图有N+1个仅为子节点的节点。所述N为第二特征向量集中的特征向量的个数。

10.一种服装图像检索系统，其特征在于，包括裁剪图像获取模块、第一特征向量获取模块、第一索引获取模块、第二特征向量集合获取模块和相似图像获取模块；

所述裁剪图像获取模块用于将预处理图像输入服装检测模型，模型对所述预处理图像中的服装进行检测和裁剪，得到裁剪图像；

所述第一特征向量获取模块用于将所述裁剪图像输入特征提取模型，模型提取所述裁剪图像的特征，得到第一特征向量；

所述第一索引获取模块用于对所述第一特征向量进行聚类，得到待检索图像的第一索引；

所述第二特征向量集合获取模块用于基于所述第一索引，获取向量数据库中的第二特征向量集；

所述相似图像获取模块用于将所述第一特征向量分别与所述第二特征向量集中的特征向量进行匹配，得到待匹配图像中与所述待检索图像相似的相似图像。

Images