CN112269894B - 物品池生成方法、图片搜索方法、装置、电子设备及介质 - Google Patents

Abstract

本发明实施例公开了一种物品池生成方法、图片搜索方法、装置、电子设备及介质。该物品池生成方法可包括：获取物品图片中各样本图片的样本图片特征，对各样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征；针对每个物品图片的物品图片特征，根据各视觉类目特征将物品图片特征划分到相应的特征子空间中；针对每个特征子空间，根据特征子空间内的各物品图片特征生成与特征子空间的视觉类目特征相应的物品池。本发明实施例的技术方案，可以生成隶属于同一物品池内的各物品图片特征在视觉信息具有高度的一致性的物品池，由此有效保证了后续图片搜索的准确度。

Description

物品池生成方法、图片搜索方法、装置、电子设备及介质

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种物品池生成方法、图片搜索方法、装置、电子设备及介质。

背景技术

图片搜索技术目前被广泛应用于电商领域中，其对用户上传的待搜索图片在物品池中进行搜索，该物品池中存储有各物品的物品图片和物品信息，进而可以将物品池中与该待搜索图片较为相似的物品图片所对应的物品信息返回给用户，由此提高了用户后续可以获取到该物品信息所对应的物品的几率。

然而，现有技术中存在以下技术问题：现有的物品池生成方案可能会导致在与待搜索图片的视觉信息对应的物品池中无法搜索到真正满足用户需求的物品图片的情况。

发明内容

本发明实施例提供了一种物品池生成方法、图片搜索方法、装置、电子设备及介质，以实现基于视觉信息生成物品池的效果。

第一方面，本发明实施例提供了一种物品池生成方法，该方法可以包括：

获取物品图片中各样本图片的样本图片特征，对各样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征；

针对每个物品图片的物品图片特征，根据各视觉类目特征将物品图片特征划分到相应的特征子空间中；

针对每个特征子空间，根据特征子空间内的各物品图片特征生成与特征子空间的视觉类目特征相应的物品池。

第二方面，本发明实施例还提供了一种图片搜索方法，该方法可以包括：

在监测到图片搜索的触发事件时，获取与触发事件对应的待搜索图片的待搜索图片特征、及按照本发明任意实施例提供的物品池生成方法生成的物品池；

从与各物品池相对应的视觉类目特征中筛选出与待搜索图片特征相匹配的待搜索视觉类目特征；

基于待搜索图片特征在待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到目标图片特征。

第三方面，本发明实施例还提供了一种物品池生成装置，该装置可以包括：

视觉类目特征确定模块，用于获取物品图片中各样本图片的样本图片特征，对各样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征；

物品图片特征划分模块，用于针对每个物品图片的物品图片特征，根据各视觉类目特征将物品图片特征划分到相应的特征子空间中；

物品池生成模块，用于针对每个特征子空间，根据特征子空间内各物品图片特征生成与特征子空间的视觉类目特征相应的物品池。

第四方面，本发明实施例还提供了一种图片搜索装置，该装置可以包括：

物品池获取模块，用于在监测到图片搜索的触发事件时，获取与触发事件对应的待搜索图片的待搜索图片特征、及按照本发明任意实施例提供的物品池生成方法生成的物品池；

待搜索图片特征匹配模块，用于从与各物品池相对应的视觉类目特征中筛选出与待搜索图片特征相匹配的待搜索视觉类目特征；

图片搜索模块，用于基于待搜索图片特征在待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到目标图片特征。

第五方面，本发明实施例还提供了一种电子设备，该电子设备可以包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的物品池生成方法或是图片搜索方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的物品池生成方法或是图片搜索方法。

本发明实施例的技术方案，通过对获取到的物品图片中各样本图片的样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征，该视觉类目特征可以表示特征子空间内的各样本图片特征在视觉信息上的类目的特征；由于样本图片特征来源于物品图片特征，因此针对每个物品图片特征，根据各视觉类目特征也可以将该物品图片特征划分到相应的特征子空间中；由此，针对每个特征子空间，根据该特征子空间内的各物品图片特征可以生成与特征子空间的视觉类目特征相应的物品池，该视觉类目特征可以表示该物品池内的各物品图片特征在视觉信息上的类目的特征，即同一物品池内的各物品图片特征在视觉信息上具有高度的一致性。上述技术方案，通过对各样本图片特征所在的特征空间进行划分之后得到的同一特征子空间内的各样本图片特征在视觉信息具有高度的一致性，这意味着后续在将各物品图片特征分别划分到相应的特征子空间后生成的物品池内的各物品图片特征在视觉信息也具有高度的一致性，这种基于视觉信息生成的物品池是后续图片搜索准确度的有效保障。

附图说明

图1是本发明实施例一中的一种物品池生成方法的流程图；

图2是本发明实施例二中的一种物品池生成方法的流程图；

图3是本发明实施例二中的一种物品池生成方法中可选示例的示意图；

图4是本发明实施例三中的一种图片搜索方法的流程图；

图5a是本发明实施例三中的一种图片搜索方法中可选示例的第一示意图；

图5b是本发明实施例三中的一种图片搜索方法中可选示例的第二示意图；

图6是本发明实施例四中的一种物品池生成装置的结构框图；

图7是本发明实施例五中的一种图片搜索装置的结构框图；

图8是本发明实施例六中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：在实际应用中，每个物品的物品类目是根据该物品的物品所有者从各预设类目选择出来的预设类目确定的类目，如某商品的商品类目是由商家从各预设类目中选择出来的类目，示例性的，该物品类目可以是裙装类目、上衣类目、下衣类目、鞋靴类目、箱包类目、数码家电类目、食品饮料类目、玩具乐器类目、个护洗化类目、家居家装类目、配饰类目、其它类目等等。

需要说明的是，有些物品或是物品所在的物品池的物品类目（即语义信息）和视觉信息并非一致，这种不一致性会导致现有的图片搜索技术根据视觉信息找到的物品池中并没有用户真正需求的物品。比如手表玩具的语义信息是玩具而视觉信息是手表，那么根据视觉信息找到的手表类目的物品池中不可能搜索到玩具手表；再如有些物品因为较为小众而没有设置与其完全匹配的预设类目，此时物品所有者通常会将该物品划分到其它类目中，比如猫砂盆之类的现有的类目体系不能满足的物品都会划分到其它类目中，但是这些划分到其它类目中的物品很可能存在语义信息和视觉信息不一致的情况；再如，在现有的物品池生成方案中，有些物品因为物品所有者的划分错误而致使就将其划分到与其语义信息并非匹配的物品池中，此时根据视觉信息即使找到了与该物品真正匹配的物品池，但是该物品池中也不会存储有该物品。由上可知，针对现有的物品池生成方案，无论出于何种原因，当与待搜索图片匹配的物品图片被划分到的物品池的语义信息与其视觉信息不一致时，现有的图片搜索技术会因为无法正确找到该物品图片所在的物品池而无法搜到该物品图片。

实施例一

图1是本发明实施例一中提供的一种物品池生成方法的流程图。本实施例可适用于基于物品图片的视觉信息生成物品池的情况。该方法可以由本发明实施例提供的物品池生成装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。

参见图1，本发明实施例的方法具体包括如下步骤：

S110、获取物品图片中各样本图片的样本图片特征，对各样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征。

其中，正如背景技术所述，目前已经存在的物品图片的数量往往数以亿计，考虑到技术方案实现的可能性，可以先从大量的物品图片中筛选出样本图片，该多个样本图片来源于各个物品类目；或说，可以先从大量的物品图片特征中筛选出样本图片特征，该多个样本图片特征来源于各个物品类目，该物品图片特征是对物品图片进行特征提取后得到的特征。在实际应用中，可选的，为了获取到某物品图片的物品图片特征，可以将物品图片输入至已训练完成的特征提取模型中，该特征提取模型的训练过程主要是通过损失函数来调节网络参数，以使调节后的网络参数能够对同一物品的各物品图片提取到非常相似的物品图片特征、且对不同物品的物品图片提取到差异性非常大的物品图片特征，比如，该特征提取模型的训练过程可以参见triplet loss。

对各样本图片特征所在的特征空间进行划分的实现方式有多种，比如可以通过基于聚类算法对各样本图片特征进行聚类的方式来实现特征空间的划分，该聚类算法可以是k-means、dbscan等等；再比如可以基于局部敏感哈希算法对特征空间按照buckets进行划分；等等。需要说明的是，一方面，在对特征空间进行划分时，可以直接对全部的样本图片特征所在的特征空间进行划分，也可对每个物品类目下的各样本图片特征所在的特征空间分别进行划分，其中，与样本图片特征相对应的物品类目可以根据该样本图片特征所对应的物品的物品类目确定，该物品的物品类目可以是该物品的物品所有者预先从各预设类目中选择出来的类目。另一方面，对特征空间进行划分的原因在于，正如上文所述，物品图片的数量往往数以亿计，在后续的图片搜索环节中不可能将待搜索图片与每个物品图片进行比对，因此此处通过空间划分的方式得到多个特征子空间，那么后续可以将同一特征子空间中的各物品图片归属到同一物品池中，即上述同一物品池内的各物品图片是在视觉信息上较为相似的物品图片，由此提高了后续的图片搜索效率。

针对每个特征子空间，该特征子空间的视觉类目特征是根据划分到该特征子空间中的各样本图片特征确定的可以表示该特征子空间的视觉类目的特征，该视觉类目可以理解为视觉信息的类目，即每个特征子空间内的各个样本图片特征在视觉信息上具有高度的一致性，但它们在语义信息上的相似性可大可小，换言之，这些样本图片特征构成的特征集合可能并未具有明确的语义信息，但它们具有明确的视觉信息。在实际应用中，可选的，可以将各样本图片特征的特征统计结果作为视觉类目特征，比如均值、中数、众数等等。

S120、针对每个物品图片的物品图片特征，根据各视觉类目特征将物品图片特征划分到相应的特征子空间中。

其中，在得到特征子空间的视觉类目特征之后，由于样本图片特征来源于物品图片特征，这意味着根据各样本图片特征确定出的视觉类目特征依然适用于各物品图片特征。因此，针对每个物品图片特征，可以根据各视觉类目特征将该物品图片特征划分到相应的特征子空间中，如可以根据物品图片特征和各视觉类目特征间的特征距离来实现物品图片特征的划分，该特征距离可以表示出两个图片特征间的相似度。具体的，可以从视觉类目特征中挑选出与该物品图片特征距离最近的视觉类目特征，并将该物品图片特征划分到与该视觉类目特征所在的特征子空间中，即将该视觉类目特征作为物品图片特征的属性特征。当然，为了保证后续能够搜索到真正满足用户需求的物品图片，还可从各视觉类目特征中挑选出与物品图片特征距离较近的多个视觉类目特征。上述物品图片特征的划分过程也可以理解为物品底库的构建过程、物品入库过程等。

S130、针对每个特征子空间，根据特征子空间内的各物品图片特征生成与特征子空间的视觉类目特征相应的物品池。

其中，每个特征子空间内的各物品图片特征之间的特征相似度较高，它们可以作为同一物品池内的特征，因此可以根据同一特征子空间内的各物品图片特征生成与该特征子空间对应的物品池，该物品池也是与该特征子空间的视觉类目特征相对应的物品池，该视觉类目特征可以表示出该物品池在视觉信息上的类目，即同一物品池内的各物品图片特征间在视觉信息上有着较高的相似度。

在此基础上，可选的，该物品池中除了存储有物品图片特征之外，还可以存储有与每个物品图片特征分别对应的物品信息，这有助于后续在该物品池中搜索到相应的物品图片特征后，可以将与该物品图片特征对应的物品信息返回给用户。另外，还可以根据位于同一物品池中的各物品图片特征构建特征索引，比如将该同一物品池中的每个物品图片特征都直接作为该特征索引中的一部分，也可以对各物品图片特征先进行聚类处理，并将聚类处理结果作为该特征索引中的一部分，等等。特征索引设置的好处在于，后续基于待搜索图片在物品池中进行搜索时，可以按照特征索引进行搜索，由此提高了图片的搜索效率。

本发明实施例的技术方案，通过对获取到的物品图片中各样本图片的样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征，该视觉类目特征可以表示特征子空间内的各样本图片特征在视觉信息上的类目的特征；由于样本图片特征来源于物品图片特征，因此针对每个物品图片特征，根据各视觉类目特征也可以将该物品图片特征划分到相应的特征子空间中；由此，针对每个特征子空间，根据该特征子空间内的各物品图片特征可以生成与特征子空间的视觉类目特征相应的物品池，该视觉类目特征可以表示该物品池内的各物品图片特征在视觉信息上的类目的特征，即同一物品池内的各物品图片特征在视觉信息上具有高度的一致性。上述技术方案，通过对各样本图片特征所在的特征空间进行划分之后得到的同一特征子空间内的各样本图片特征在视觉信息具有高度的一致性，这意味着后续在将各物品图片特征分别划分到相应的特征子空间后生成的物品池内的各物品图片特征在视觉信息也具有高度的一致性，这种基于视觉信息生成的物品池是后续图片搜索准确度的有效保障。

实施例二

图2是本发明实施例二中提供的一种物品池生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，对各样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征，具体可包括：对各样本图片特征进行聚类，得到多个聚类结果；针对每个聚类结果，将该聚类结果中的聚类中心作为聚类结果内各样本图片特征所在的特征子空间的视觉类目特征。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图2，本实施例的方法具体可以包括如下步骤：

S210、获取物品图片中各样本图片的样本图片特征，对各样本图片特征进行聚类，得到多个聚类结果；针对每个聚类结果，将该聚类结果中的聚类中心作为聚类结果内各样本图片特征所在的特征子空间的视觉类目特征。

其中，对各样本图片特征进行聚类的方式有多种，可选的，可以根据预先设置的视觉类目特征的预设数量对各样本图片特征直接进行聚类，该预设数量即为聚类过程中涉及到的聚类中心的数量。

可选的，可以预先设置每个物品类目下的视觉类目特征的预设数量，针对每个物品类目，根据与该物品类目对应的预设数量对该物品类目下的各个样本图片特征进行聚类，得到预设数量的聚类结果。这样设置的好处是，其在现有的物品类目（粗粒度）划分的基础上，利用视觉信息构建出目标类目(细粒度)划分，后续以此为基础实现物品入库，这可以有效缓解上述示例性说明中提到的因物品类目混淆、物品错划、其他类目难以细分等等原因带来的物品的语义信息和视觉信息不一致而致使后续图片搜索结果不准确的问题。换言之，上述聚类过程是将语义信息和视觉信息相结合后的聚类方案，由此得到的视觉类目特征也是结合了语义信息和视觉信息的特征，这意味着后续生成的物品池也是语义信息和视觉信息相结合的物品池。在此基础上，可选的，还可以对至少两个物品类目下的样本图片特征进行聚类，等等，在此未做具体限定。

示例性的，假设各样本图片特征对应的物品类目包括裙装类目、上衣类目和下衣类目，裙装类目下的待确定的视觉类目特征的数量是15个，上衣类目下的待确定的视觉类目特征的数量是20个，下衣类目下的待确定的视觉类目特征的数量是10个，该视觉类目特征在聚类算法中可以理解为聚类中心，那么可以将裙装类目下的各个样本图片特征聚类出15个聚类结果，该聚类结果可以表示出聚类中心，也可以表示出与该聚类中心关联的样本图片特征；相应的，上衣类目和下衣类目下的样本图片特征的聚类过程类似，在此不再赘述。

S220、针对每个物品图片的物品图片特征，根据各视觉类目特征将物品图片特征划分到相应的特征子空间中。

其中，针对上述步骤中涉及到的不同的聚类方式，本步骤也可以采用相应的划分方式。示例性的，当采用根据预先设置的视觉类目特征的预设数量对各样本图片特征直接进行聚类的方式来聚类时，可以根据物品图片特征和各视觉类目特征间的特征距离来实现物品图片特征的空间划分。

再示例性的，当采用根据与每个物品类目对应的预设数量对该物品类目下的各个样本图片特征进行聚类的方式来聚类时，一种可选的技术方案，可以将与物品图片特征相对应的物品类目下的和/或与该物品品类目相似的第一相似类目下的视觉类目特征作为目标视觉类目特征，进而根据物品图片特征和各目标视觉类目特征间的特征距离，将物品图片特征划分到相应的特征子空间中。其中，与物品图片特征相对应的物品类目可以是与物品图片特征相对应的物品的类目，电视图片特征相对应的物品类目可以是数码家电类目，通过这种方式确定的目标视觉类目特征适合于那些物品类目清晰的、不容易产生混淆的物品；第一相似类目可以是与物品类目相似的、物品所有者在按照语义信息对物品进行划分时容易产生混淆的物品类目，比如裙装类目的第一相似类目可以是上衣类目、下衣类目等等，通过这种方式确定的目标视觉类目适合于那些至少两个物品类目间非常相似、容易产生混淆的物品，这可以有效解决物品错分的问题。设置目标视觉类目特征的好处在于，在实际应用中，视觉类目特征的数量依然很多，为了提高后续图片的搜索效率，可以先确定与物品图品特征对应的物品可能的语义信息，即先确定与物品图品特征对应的物品按照语义信息可能入库的物品类目，然后再在该物品类目对应的物品池中进行搜索。

一种可选的技术方案，当物品图片包括与物品类目中的目标类目相对应的目标图片时，根据目标图片的目标图片特征和各视觉类目特征间的特征距离，将目标图片划分到相应的特征子空间中。在实际应用中，可选的，该目标类目可以是类似于其它类目这种较为小众、难以进行类目划分的类目，其下的物品图片特征也是因为总类繁多而导致其很可能存在物品信息和语义信息不一致的情况。因此，针对这种物品类目是目标类目的情况，在物品入库时可以将物品图片特征与全部的视觉类目特征进行对比，由此保证了将该物品图片特征划分到与其视觉信息相匹配的特征子空间内。

再一种可选的技术方案，无论物品图片特征对应的物品类目是什么，均将物品图片特征与全部的视觉类目特征进行对比，即物品入库时，无论是否确定该物品的物品类目，都可以将与该物品对应的物品图片特征与全部的视觉类目特征进行对比。当然，除了上述几种可选的技术方案，还可以采用其余的方案实现物品入库，在此未做具体限定。即，在物品入库时，可以根据物品性质（即物品类目）制定相应的入库策略，既可以直接入库到物品类下的视觉类目特征所在的特征子空间内，亦可入到该物品类目的其余类目下的视觉类目特征所在的特征子空间内，等等，在此未做具体限定。

S230、针对每个特征子空间，根据特征子空间内的各物品图片特征生成与特征子空间的视觉类目特征相应的物品池。

本发明实施例的技术方案，通过对各个样本图片特征进行聚类的方式得到多个聚类结果，并将每个将聚类结果中的聚类中心作为该聚类结果内各个样本图片特征所在的特征子空间的视觉类目特征，后续可以根据多个视觉类目特征生成与视觉信息相匹配的物品池。

为了更好地理解上述步骤的具体实现过程，在此以电商领域中商品池为例，对本实施例的物品池生成方法进行示例性的说明。示例性的，从来源于各商品类目下的全部商品图片特征中抽取出样本图片特征，采用kmeans算法对各商品类目下的聚类模型进行训练，由此得到了裙装聚类模型、上衣聚类模型、下衣聚类模型、数码家电聚类模型和其它聚类模型。进一步的，在商品入库环节，如图3所示，图3中的每个圆圈代表着相应的聚类模型下的簇中心，第XX池代表着与相应的簇中心对应的商品池。针对不同的商品类目下的商品可以采用不同的入库策略，比如，对于商品类目定义比较清晰的类目，如数码家电类目，可以仅将根据数码家电聚类模型计算出的各簇中心（即聚类中心/商品类目特征）和商品图片特征进行比较，并将特征距离最近的簇中心作为该商品图片特征的视觉类目中心，将该商品图片特征和与该商品图片特征对应的商品信息划分到该视觉类目中心所在的商品池中；再比如，对于容易产生混淆的商品类目，如裙装类目、上衣类目和下衣类目，可以将隶属于这些商品类目下的商品图片特征与这些商品类目下的聚类模型中的簇中心全部进行比较，如将下衣类目下某商品划分到第11池；再比如，对于类目定义比较含糊的商品类目如其它类目，可以将隶属于其它类目中的商品图片特征与全部聚类模型中的簇中心进行比较，并根据比较得到的最近的簇中心进行商品入库，如将其它类目下的某商品划分到数码家电类目下的某商品池中，由此实现了通过语义信息和视觉信息相结合的方式构建出商品池的效果，后续在该商品池中进行图片搜索时，有效解决了因商品类目难以划分、商品类目错划等原因导致的无法搜索得到真正满足用户需求的物品图片的问题，由此提升了搜索的准确率。

实施例三

图4是本发明实施例三中提供的一种图片搜索方法的流程图。本实施例可适用于对待搜索图片在与其视觉信息相匹配的待搜索物品池中进行搜索的情况。该方法可以由本发明实施例提供的图片搜索装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在图片搜索系统中，该图片搜索系统可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。

参见图4，本发明实施例的方法具体包括如下步骤：

S310、在监测到图片搜索的触发事件时，获取与触发事件对应的待搜索图片的待搜索图片特征、及按照本发明任意实施例提供的物品池生成方法生成的物品池。

其中，触发事件可以是在监测到商品搜索系统中的商品搜索功能被应用时触发的事件，如用户通过商品搜索功能中的拍照功能或是从相册中选取图片的功能来上传待搜索图片时，该触发事件则会被触发。待搜索图片可以是后续待在搜索池中进行搜索的图片，其可以是某待搜索物品的图片，而该待搜索物品可以是用户感兴趣的、想要详细了解或是获取的物品。按照本发明任意实施例提供的物品池生成方法生成的物品池是与视觉信息相对应的物品池，每个物品池的视觉类目特征可以表示隶属于该物品池内的各物品图片特征在视觉信息的类目上的特征，同一物品池内的各物品图片特征在视觉信息上具有高度一致性。

S320、从与各物品池相对应的视觉类目特征中筛选出与待搜索图片特征相匹配的待搜索视觉类目特征。

其中，待搜索视觉类目特征是后续搜索环节中待搜索的视觉类目特征，其也可以理解为待搜索物品池的视觉类目特征，该待搜索物品池可以是与待搜索视觉类目特征相对应的后续可在其内进行搜索的物品池，从各视觉类目特征中筛选出待搜索视觉类目特征的好处在于，可以将一个较大的搜索量缩小到一个与待搜索图片更为匹配的搜索量，由此提高了图片搜索的效率和准确率。

需要说明的是，在实际应用中，可通过多种方式实现待搜索视觉类目特征的筛选过程，这些方式的共同特点可以理解为将待搜索图片特征对应的待搜索物品可能划入到的物品池的视觉类目特征作为待搜索视觉类目特征。

示例性的，可以确定待搜索图片特征对应的待搜索类目，其中待搜索类目包括与触发事件对应的用户指定类目、或是待搜索图片特征对应的待搜索物品的物品类目；将与各物品池相对应的视觉类目特征中隶属于待搜索类目下的和/或与待搜索类目相似的第二相似类目下视觉类目特征作为待搜索视觉类目特征。具体的，用户指定类目可以是用户在应用图片搜索功能时指定的后续在哪个物品类目下进行搜索的类目，第二相似类目可以是与物品类目相似、物品所有者在按照语义信息对物品进行划分时容易产生混淆的物品类目，比如裙装类目的第二相似类目可以是上衣类目、下衣类目等等。在此基础上，待搜索视觉类目特征的筛选过程与本发明实施例二中所述的目标视觉类目特征的筛选过程类似，在此不再赘述。另外，实际应用中，待搜索图片特征对应的待搜索物品的物品类目可以通过将待搜索图片特征输入至已训练完成的类别分类模型中得到，该分类模型可以根据视觉信息对待搜索图片特征进行物品类目的分类，其可通过计算出的各物品类目的置信度确定该待搜索图片特征的物品类目。

再示例性的，无需确定待搜索物品的物品类目、或者说无论该物品类目是什么类目，均可以根据待搜索图片特征和与各物品池对应的视觉类目特征间的特征距离，即根据待搜索图片特征和全部的视觉类目特征间的特征距离，从各视觉类目特征中筛选出待搜索视觉类目特征。上述技术方案通过和全部的视觉类目特征进行比较的方式，从某种程度上相对于和全部的物品图片特征进行了比较，由此有效保证了搜索的全面性。除此之外，上述待搜索视觉类目特征的筛选方案在本发明实施例所述的图片搜索方法中达到了应用于任意物品类目时都不会扩大甚至会缩小搜索量的效果，这样阐述的理由在于：示例性的，假设每个物品池下的物品图片的数量大致一样(在此以M张为例)，在本发明实施例所述的图片搜索方法中，如果选择出top K个待搜索视觉类目特征，该top K个待搜索视觉类目特征是与待搜索图片特征最为相似的K个视觉类目特征，此时的搜索量是M*K；相应的，针对现有的先确定待搜索图片的物品类目，再在该物品类目下的物品池中进行搜索的技术方案，此时的搜索量为该物品类目下的物品池中物品图片到数量N，那么当该物品类目下的视觉类目特征的数量(N/M)大于K时，即N大于M*K时，本发明实施例所述的图片搜索方法中的搜索量小于现有的图片搜索方法中的搜索量。

S330、基于待搜索图片特征在待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到目标图片特征。

其中，待搜索物品池可以是与待搜索视觉类目特征相对应的物品池，目标图片特征可以是在待搜索物品池中搜索到的与待搜索图片特征较为相似的物品图片特征。上述搜索过程可以理解为按照待搜索池中预先构建的特征索引进行搜索的过程，由此得到了与待搜索图片特征较为相似的目标图片特征。

本发明实施例的技术方案，在监测到图片搜索的触发事件时，通过获取与触发事件对应的待搜索图片的待搜索图片特征、及按照本发明任意实施例提供的物品池生成方法生成的物品池，可以从与各物品池相对应的视觉类目特征中筛选出与待搜索图片特征相匹配的待搜索视觉类目特征；进而，基于待搜索图片特征在待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到与待搜索图片特征较为相似的目标图片特征。上述技术方案，由于物品池是按照各物品图片特征的视觉信息生成的，并且图片搜索阶段也是以待搜索图片的视觉信息为基准进行搜索，这样一来，即使待搜索图片对应的视觉信息和语义信息不同，上述根据视觉信息在以视觉信息为基准生成的物品池中进行搜索的方案，依然能够在物品类目难以划分、物品类目错划等等情况下搜索到真正满足用户需求的物品图片，有效提升了图片搜索的准确率。

为了更好地理解上述步骤的具体实现过程，在此继续以上述示例性说明中的例子为例，对本实施例的图片搜索方法进行示例性的说明。示例性的，如图5a所示，在用户进行首次请求时，获取与该次用户请求对应的待搜索图片（即用户请求图片），对该待搜索图片进行特征提取得到待搜索图片特征；将待搜索图片特征与全部的视觉类目特征进行相似度比较，从各视觉类目特征中筛选出相似度最高的K（如K=20）个待搜索视觉类目特征。进一步，根据待搜索图片特征在20个待搜索视觉类目特征对应的待搜索商品池中进行搜索召回，并按照特征距离合并各待搜索商品池的召回结果，得到最终的召回结果。需要说明的，图5a中指向其它聚类模型的虚线线条表示商品类目是其它类目时，与全部簇中心进行对比；实线线条指向的圆圈表示待搜索视觉类目特征。

再示例性的，若用户基于用户指定类目进行请求，如图5b所示，图5b中的虚线线条表示用户指定类目是“裙装类目”，则对用户请求图进行特征提取，并根据裙装聚类模型计算出最近的20个簇中心，当然，若簇中心数小于20时，可以取全部的簇中心，最后在对应的待搜索商品池中进行搜索召回，由此达到了在用户指定类目中进行搜索的效果。在此基础上，此处亦可做定制化策略，如考虑到裙装类目、上衣类目和下衣类目比较相似，那么无论用户指定类目是裙装类目、上衣类目还是下衣类目，可以同时根据裙装、上衣和下衣分别对应的聚类模型共同确定簇中心；等等，在此未做具体限定。

实施例四

图6为本发明实施例四提供的物品池生成装置的结构框图，该装置用于执行上述任意实施例所提供的物品池生成方法。该装置与上述各实施例的物品池生成方法属于同一个发明构思，在物品池生成装置的实施例中未详尽描述的细节内容，可以参考上述物品池生成方法的实施例。参见图6，该装置具体可以包括：视觉类目特征确定模块410、物品图片特征划分模块420和物品池生成模块430。

其中，视觉类目特征确定模块410，用于获取物品图片中各样本图片的样本图片特征，对各样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征；

物品图片特征划分模块420，用于针对每个物品图片的物品图片特征，根据各视觉类目特征将物品图片特征划分到相应的特征子空间中；

物品池生成模块430，用于针对每个特征子空间，根据特征子空间内各物品图片特征生成与特征子空间的视觉类目特征相应的物品池。

可选的，视觉类目特征确定模块410，具体可以包括：

特征聚类子模块，用于对各样本图片特征进行聚类，得到多个聚类结果；

视觉类目特征确定子模块，用于针对每个聚类结果，将聚类结果中的聚类中心作为聚类结果内各样本图片特征所在的特征子空间的视觉类目特征。

在此基础上，可选的，特征聚类子模块，具体可以包括：

预设数量获取单元，用于分别获取各物品类目下视觉类目特征的预设数量，其中，物品类目是与样本图片特征相对应的物品的类目；

特征聚类单元，用于针对每个物品类目，基于与物品类目对应的预设数量对物品类目下的各样本图片特征进行聚类，得到预设数量的聚类结果。

在此基础上，可选的，物品图片特征划分模块420，具体可以用于：

将与物品图片特征相对应的物品类目下的和/或与物品类目相似的第一相似类目下的视觉类目特征作为目标视觉类目特征；

根据物品图片特征和各目标视觉类目特征间的特征距离，将物品图片特征划分到相应的特征子空间中。

在此基础上，可选的，物品图片特征划分模块420，具体可以用于：

当物品图片包括与物品类目中的目标类目相对应的目标图片时，根据目标图片的目标图片特征和各视觉类目特征间的特征距离，将目标图片划分到相应的特征子空间中。

本发明实施例四提供的物品池生成装置，通过视觉类目特征确定模块来对获取到的物品图片中各样本图片的样本图片特征所在的特征空间进行划分，并根据划分到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征，该视觉类目特征可以表示特征子空间内的各样本图片特征在视觉信息上的类目的特征；由于样本图片特征来源于物品图片特征，因此针对每个物品图片特征，物品图片特征划分模块根据各视觉类目特征也可以将物品图片特征划分到相应的特征子空间中；由此，针对每个特征子空间，物品池生成模块根据该特征子空间内的各物品图片特征可以生成与特征子空间的视觉类目特征相应的物品池，该视觉类目特征可以表示该物品池内的各物品图片特征在视觉信息上的类目的特征，即同一物品池内的各物品图片特征在视觉信息上也具有高度的一致性。上述装置，通过对各样本图片特征所在的特征空间进行划分之后得到的同一特征子空间内的各样本图片特征在视觉信息具有高度的一致性，这意味着后续在将各物品图片特征分别划分到相应的特征子空间后生成的物品池内的各物品图片特征在视觉信息也具有高度的一致性，这种基于视觉信息生成的物品池是后续图片搜索准确度的有效保障。

本发明实施例所提供的物品池生成装置可执行本发明任意实施例所提供的物品池生成方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述物品池生成装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例五

图7为本发明实施例五提供的图片搜索装置的结构框图，该装置用于执行上述任意实施例所提供的图片搜索方法。该装置与上述各实施例的图片搜索方法属于同一个发明构思，在图片搜索装置的实施例中未详尽描述的细节内容，可以参考上述图片搜索方法的实施例。参见图7，该装置具体可包括：物品池获取模块510、待搜索图片特征匹配模块520和图片搜索模块530。

其中，物品池获取模块510，用于在监测到图片搜索的触发事件时，获取与触发事件对应的待搜索图片的待搜索图片特征、及按照本发明任意实施例提供的物品池生成方法生成的物品池；

待搜索图片特征匹配模块520，用于从与各物品池相对应的视觉类目特征中筛选出与待搜索图片特征相匹配的待搜索视觉类目特征；

图片搜索模块530，用于基于待搜索图片特征在待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到目标图片特征。

可选的，待搜索图片特征匹配模块520，具体可以用于：

确定待搜索图片特征对应的待搜索类目，其中，待搜索类目包括触发事件对应的用户指定类目、或是待搜索图片特征对应的待搜索物品的物品类目；

将与各物品池相对应的视觉类目特征中隶属于待搜索类目下的和/或与待搜索类目相似的第二相似类目下的视觉类目特征作为待搜索视觉类目特征。

可选的，待搜索图片特征匹配模块520，具体可以用于：

根据待搜索图片特征和与各物品池对应的视觉类目特征间的特征距离，从各视觉类目特征中筛选出待搜索视觉类目特征。

本发明实施例五提供的图片搜索装置，通过物品池获取模块和待搜索图片特征匹配模块相互配合，在监测到图片搜索的触发事件时，通过获取与触发事件对应的待搜索图片的待搜索图片特征、及按照本发明任意实施例提供的物品池生成方法生成的物品池，可以从与各物品池相对应的视觉类目特征中筛选出与待搜索图片特征相匹配的待搜索视觉类目特征；进而，图片搜索模块基于待搜索图片特征在待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到与待搜索图片特征较为相似的目标图片特征。上述装置，由于物品池是按照各物品图片特征的视觉信息生成的，并且图片搜索阶段也是以待搜索图片的视觉信息为基准进行搜索，这样一来，即使待搜索图片对应的视觉信息和语义信息不同，上述根据视觉信息在以视觉信息为基准生成的物品池中进行搜索的方案，依然能够在物品类目难以划分、物品类目错划等情况下搜索到真正满足用户需求的物品图片，有效提升了图片搜索的准确率。

本发明实施例所提供的图片搜索装置可执行本发明任意实施例所提供的图片搜索方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述图片搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例六

图8为本发明实施例六提供的一种电子设备的结构示意图，如图8所示，该电子设备包括存储器610、处理器620、输入装置630和输出装置640。电子设备中的处理器620的数量可以是一个或多个，图8中以一个处理器620为例；电子设备中的存储器610、处理器620、输入装置630和输出装置640可以通过总线或其它方式连接，图8中以通过总线650连接为例。

存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的物品池生成方法对应的程序指令/模块（例如，物品池生成装置中的视觉类目特征确定模块410、物品图片特征划分模块420和物品池生成模块430），或是，如本发明实施例中的图片搜索方法对应的程序指令/模块（例如，图片搜索装置中的物品池获取模块510、待搜索图片特征匹配模块520和图片搜索模块530）。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的物品池生成方法或是图片搜索方法。

存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

实施例七

本发明实施例七提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种物品池生成方法，该方法可包括：

获取物品图片中各样本图片的样本图片特征，对各样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各样本图片特征确定特征子空间的视觉类目特征；

针对每个物品图片的物品图片特征，根据各视觉类目特征将物品图片特征划分到相应的特征子空间中；

针对每个特征子空间，根据特征子空间内的各物品图片特征生成与特征子空间的视觉类目特征相应的物品池。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的物品池生成方法中的相关操作。

实施例八

本发明实施例八提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图片搜索方法，该方法包括：

在监测到图片搜索的触发事件时，获取与触发事件对应的待搜索图片的待搜索图片特征、及按照本发明任意实施例提供的物品池生成方法生成的物品池；

从与各物品池相对应的视觉类目特征中筛选出与待搜索图片特征相匹配的待搜索视觉类目特征；

基于待搜索图片特征在待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到目标图片特征。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的物品池生成方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory, ROM）、随机存取存储器（RandomAccess Memory, RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种物品池生成方法，其特征在于，包括：

获取物品图片中各样本图片的样本图片特征，对各所述样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各所述样本图片特征确定所述特征子空间的视觉类目特征，其中所述视觉类目特征表示相应的所述特征子空间在视觉信息上的类目的特征，所述样本图片是从多个所述物品图片中筛选出的图片或是所述样本图片特征是从多个所述物品图片的物品图片特征中筛选出的图片特征，且各所述样本图片或是各所述样本图片特征来源于多个物品类目，所述物品类目是与所述样本图片特征相对应的物品的类目；

针对每个所述物品图片的物品图片特征，根据各所述视觉类目特征将所述物品图片特征划分到相应的所述特征子空间中；

针对每个所述特征子空间，根据所述特征子空间内的各所述物品图片特征生成与所述特征子空间的所述视觉类目特征相应的物品池；

其中，对各所述样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各所述样本图片特征确定所述特征子空间的视觉类目特征，包括：

分别获取各物品类目下的视觉类目特征的预设数量；

针对每个所述物品类目，基于与所述物品类目对应的所述预设数量对所述物品类目下的各所述样本图片特征进行聚类，得到所述预设数量的聚类结果；

针对每个所述聚类结果，将所述聚类结果中的聚类中心作为所述聚类结果内各所述样本图片特征所在的特征子空间的所述视觉类目特征。

2.根据权利要求1所述的方法，其特征在于，所述根据各所述视觉类目特征将所述物品图片特征划分到相应的所述特征子空间中，包括：

将与所述物品图片特征相对应的所述物品类目下的和/或与所述物品类目相似的第一相似类目下的所述视觉类目特征作为目标视觉类目特征；

根据所述物品图片特征和各所述目标视觉类目特征间的特征距离，将所述物品图片特征划分到相应的所述特征子空间中。

3.根据权利要求1所述的方法，其特征在于，当所述物品图片包括与所述物品类目中的目标类目相对应的目标图片时，所述根据各所述视觉类目特征将所述物品图片特征划分到相应的所述特征子空间中，包括：

根据所述目标图片的目标图片特征和各所述视觉类目特征间的特征距离，将所述目标图片划分到相应的所述特征子空间中。

4.一种图片搜索方法，其特征在于，包括：

在监测到图片搜索的触发事件时，获取与所述触发事件对应的待搜索图片的待搜索图片特征、以及按照权利要求1-3中任一项的方法生成的物品池；

从与各所述物品池相对应的视觉类目特征中筛选出与所述待搜索图片特征相匹配的待搜索视觉类目特征；

基于所述待搜索图片特征在所述待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到目标图片特征。

5.根据权利要求4所述的图片搜索方法，其特征在于，从与各所述物品池相对应的视觉类目特征中筛选出与所述待搜索图片特征相匹配的待搜索视觉类目特征，包括：

确定所述待搜索图片特征对应的待搜索类目，其中，所述待搜索类目包括与所述触发事件对应的用户指定类目、或是所述待搜索图片特征对应的待搜索物品的物品类目；

将与各所述物品池相对应的视觉类目特征中隶属于所述待搜索类目下的和/或与所述待搜索类目相似的第二相似类目下的所述视觉类目特征作为待搜索视觉类目特征。

6.根据权利要求4所述的图片搜索方法，其特征在于，从与各所述物品池相对应的视觉类目特征中筛选出与所述待搜索图片特征相匹配的待搜索视觉类目特征，包括：

根据所述待搜索图片特征和与各所述物品池对应的视觉类目特征间的特征距离，从各所述视觉类目特征中筛选出待搜索视觉类目特征。

7.一种物品池生成装置，其特征在于，包括：

视觉类目特征确定模块，用于获取物品图片中各样本图片的样本图片特征，对各所述样本图片特征所在的特征空间进行划分，并根据划分得到的特征子空间内的各所述样本图片特征确定所述特征子空间的视觉类目特征，其中所述视觉类目特征表示相应的所述特征子空间在视觉信息上的类目的特征，所述样本图片是从多个所述物品图片中筛选出的图片或是所述样本图片特征是从多个所述物品图片的物品图片特征中筛选出的图片特征，且各所述样本图片或是各所述样本图片特征来源于多个物品类目，所述物品类目是与所述样本图片特征相对应的物品的类目；

物品图片特征划分模块，用于针对每个所述物品图片的物品图片特征，根据各所述视觉类目特征将所述物品图片特征划分到相应的所述特征子空间中；

物品池生成模块，用于针对每个所述特征子空间，根据所述特征子空间内各所述物品图片特征生成与所述特征子空间的所述视觉类目特征相应的物品池；

其中，所述视觉类目特征确定模块，包括：

特征聚类子模块，用于分别获取各物品类目下的视觉类目特征的预设数量；针对每个所述物品类目，基于与所述物品类目对应的所述预设数量对所述物品类目下的各所述样本图片特征进行聚类，得到所述预设数量的聚类结果；

视觉类目特征确定子模块，用于针对每个所述聚类结果，将所述聚类结果中的聚类中心作为所述聚类结果内各所述样本图片特征所在的特征子空间的所述视觉类目特征。

8.一种图片搜索装置，其特征在于，包括：

物品池获取模块，用于在监测到图片搜索的触发事件时，获取与所述触发事件对应的待搜索图片的待搜索图片特征、以及按照权利要求1-3中任一项的方法生成的物品池；

待搜索图片特征匹配模块，用于从与各所述物品池相对应的视觉类目特征中筛选出与所述待搜索图片特征相匹配的待搜索视觉类目特征；

图片搜索模块，用于基于所述待搜索图片特征在所述待搜索视觉类目特征对应的待搜索物品池中进行搜索，得到目标图片特征。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的物品池生成方法、或是如权利要求4-6中任一所述的图片搜索方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一所述的物品池生成方法、或是如权利要求4-6中任一所述的图片搜索方法。

Images