CN114067139A - 一种相似物品的搜索方法及装置、计算机可读存储介质 - Google Patents

一种相似物品的搜索方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN114067139A
CN114067139A CN202111333697.0A CN202111333697A CN114067139A CN 114067139 A CN114067139 A CN 114067139A CN 202111333697 A CN202111333697 A CN 202111333697A CN 114067139 A CN114067139 A CN 114067139A
Authority
CN
China
Prior art keywords
image
attribute
codes
local attribute
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111333697.0A
Other languages
English (en)
Inventor
孔滕滕
王元元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202111333697.0A priority Critical patent/CN114067139A/zh
Publication of CN114067139A publication Critical patent/CN114067139A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种相似物品的搜索方法及装置，相似物品的搜索方法包括：接收待搜索图像，并确定与所述待搜索图像对应的局部属性信息；利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码；利用所述图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。采用上述方案，将商品属性与商品图像信息深度融合，使得不同属性提取不同区域的图像关键信息，增强了搜索相似结果的多样性。

Description

一种相似物品的搜索方法及装置、计算机可读存储介质
技术领域
本发明涉及图像识别领域，尤其涉及一种相似物品的搜索方法及装置、计算机可读存储介质。
背景技术
随着移动互联网技术与设备的普及，人们在各种场景中都可能发现自己心仪的物品，并引发购买欲望。基于用户的这种需求，各大电商平台均提供了“拍照购”的产品功能，通过用户上传的物品照片，智能的检索出同款及近似款物品。
目前在搜索同款及近似款物品时，一方面，只能识别主体相似的物品，对于局部细节相似的物品不具备识别能力，无法满足细粒度局部细节检索的需求。另一方面，当物品库中有同款物品时，会给出大量重复或近似物品的推荐，使得推荐结果缺乏多样性。
发明内容
本发明实施例提供了一种相似物品的搜索方法及装置、计算机可读存储介质，能够基于图片局部属性进行细粒度相似款搜索，增强搜索相似结果的多样性。
本发明的技术方案是这样实现的：
本发明实施例提供了一种资相似物品的搜索方法，所述方法包括：
接收待搜索图像，并确定与所述待搜索图像对应的局部属性信息；
利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码；
利用所述图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。
上述方案中，所述利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码之前，所述方法还包括：
根据属性、属性值和类目对获取的原始样本进行分组，确定训练样本；所述训练样本包括预设配比的正负样本；
利用所述训练样本对初始图像编码模型进行训练，得到属性预测值；
利用损失函数，对所述属性预测值和所述训练样本对应的预设属性实际值进行误差对比，调整模型参数，从而实现对所述初始图像编码模型的迭代训练，直至得到所述预设图像局部属性编码模型。
上述方案中，所述训练样本包含训练样本图像和多个样本局部属性信息；
所述利用所述训练样本对初始图像编码模型进行训练，得到属性预测值，包括：
利用所述初始图像编码模型，对所述训练样本图像和所述多个样本局部属性信息进行编码，确定训练样本图像向量编码和多个样本局部属性向量编码；所述多个样本局部属性信息为确定的与所述训练样本图像对应的属性信息；
将所述训练样本图像向量编码作为输入，利用多头注意力机制对所述训练样本图像向量编码进行学习和拼接，得到处理后的训练样本图像向量编码。
将所述处理后的训练样本图像向量编码、所述训练样本图像向量编码和所述多个样本局部属性向量编码进行条件融合，得到融合后的多个训练样本图像局部属性编码；
将所述融合后的多个训练样本图像局部属性编码进行降维处理，得到再次处理后的多个训练样本图像局部属性编码；
将所述再次处理后的多个训练样本图像局部属性编码、所述融合后的多个训练样本图像局部属性编码和所述多个样本局部属性向量编码再融合，得到所述属性预测值。
上述方案中，所述根据属性、属性值和类目对获取的原始样本进行分组，确定训练样本，包括：
根据属性、属性值和类目对所述原始样本进行分桶，分别得到四组样本集合；其中，所述四组样本集合分别为相同属性值的第一样本集合、属性值不同，属性相同的第二样本集合、属性值和属性不同，类目相同的第三样本集合、属性值、属性和类目均不相同的第四样本集合；
在所述第一样本集合中，确定正样本；
在所述第二样本集合中，确定第一负样本；
在所述第三样本集合中，确定第二负样本；
在所述第四样本集合中，确定第三负样本；
根据所述第一负样本、所述第二负样本、所述第三负样本之间的任意负样本，结合所述正样本，确定训练样本。
上述方案中，所述局部属性信息为多个不同属性的局部属性信息；
所述利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码，包括：
利用所述预设的图像局部属性编码模型，对所述待搜索图像和多个所述局部属性信息分别进行编码，得到图像向量编码和多个属性向量编码；
利用所述预设的图像局部属性编码模型，将所述图像向量编码和多个所述属性向量编码进行融合，得到多个图像局部属性。
上述方案中，所述利用所述预设的图像局部属性编码模型，将所述图像向量编码和多个所述属性向量编码进行融合，得到多个图像局部属性编码，包括：
将所述图像向量编码作为输入，利用多头注意力机制对所述图像向量编码进行学习和拼接，得到处理后的图像向量编码；
将所述处理后的图像向量编码、所述图像编码和多个所述属性向量编码进行条件融合，得到融合后的多个图像局部属性编码；
将所述多个图像局部属性编码进行降维处理，得到再次处理后的多个图像局部属性编码；
将所述再次处理后的多个图像局部属性编码、所述融合后的多个图像局部属性编码和所述多个所述属性向量编码再融合，得到所述多个图像局部属性编码。
上述方案中，所述将所述处理后的图像向量编码、所述图像编码和多个所述属性向量编码进行条件融合，得到融合后的多个图像局部属性编码，包括：
将所述处理后的图像向量编码和所述图像向量编码进行求和，确定求和后的图像向量编码；
获取所述求和后的图像向量编码中每行元素的均值和方差；
根据所述均值、所述方差和所述求和后的图像向量编码的每行的各个元素值，确定归一化后的图像向量编码；
根据所述归一化后的图像向量编码和预设的参数向量，将所述归一化后的图像向量编码和所述多个所述属性向量编码进行条件融合，得到融合后的多个所述图像局部属性编码。
上述方案中，所述局部属性信息为多个不同属性的局部属性信息；
所述利用所述图像局部属性编码，从所述物品库中进行向量检索，确定局部属性相似的推荐物品，包括：
通过多个所述图像局部属性编码，利用所述物品库进行检索，确定与所述待搜索图像包含的多个属性相似的物品；
在所述多个属性相似的物品中，根据编码向量之间的距离，确定每一个属性的相似物品。
上述方案中，所述通过所述多个所述图像局部属性编码，利用所述物品库进行检索，确定与所述待搜索图像包含的多个属性相似的物品之前，所述方法还包括：
获取多个物品图像，并确定与所述物品图像对应的局部属性信息；
利用所述预设图像局部属性编码模型对所述多个物品图像和所述多个物品图像对应的局部属性信息进行编码，确定多个物品图像局部属性编码；
利用所述多个物品图像局部属性编码，确定所述物品库；其中，所述物品库包含所述多个物品图像局部属性编码和所述多个物品图像的标识。
本发明实施例提供一种相似物品的搜索装置，所述相似物品的搜索装置包括接收单元和确定单元；其中，
所述接收单元，用于接收用户上传的待搜索图像，并确定与所述待搜索图像对应的局部属性信息；
所述确定单元，利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码；及利用所述图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。
本发明实施例提供一种相似物品的搜索装置，所述相似物品的搜索装置包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令，当所述可执行指令被执行时，所述处理器执行所述的相似物品的搜索方法。
本发明实施例提供了一种存储介质，所述存储介质存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行所述的相似物品的搜索方法。
本发明实施例提供了一种相似物品的搜索方法及装置，通过接收待搜索图像，并确定与所述待搜索图像对应的局部属性信息；利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码；利用所述图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。采用上述方案，将商品属性与商品图像信息深度融合，使得不同属性提取不同区域的图像关键信息，增强了搜索相似结果的多样性。
附图说明
图1为本发明实施例提供的一种相似物品的搜索方法流程示意图一；
图2为本发明实施例提供的一种相似物品的搜索方法流程示意图二；
图3为本发明实施例提供的一种相似物品的搜索方法流程示意图三；
图4为本发明实施例提供的基于多模态的属性感知编码器流程示意图；
图5为本发明实施例提供的一种相似物品的搜索方法流程示意图四；
图6为本发明实施例提供的一种树形分桶机制效果示意图一；
图7为本发明实施例提供的一种树形分桶机制效果示意图二；
图8为本发明实施例提供的一种图像局部属性编码模型效果示意图；
图9为本发明实施例提供的一种相似物品的搜索方法流程示意图五；
图10为本发明实施例提供的一种相似物品的搜索方法流程示意图六；
图11为本发明实施例提供的条件融合模块流程示意图；
图12为本发明实施例提供的一种相似物品的搜索方法流程示意图七；
图13为本发明实施例提供的一种相似物品的搜索方法流程示意图八；
图14为本发明实施例提供的一种物品检索效果示意图；
图15为本发明实施例提供的一种相似物品的搜索方法流程示意图九；
图16为本发明实施例提供的一种相似物品的搜索方法流程示意图十；
图17为本发明实施例提供的一种图像局部属性编码模型训练流程示意图；
图18为本发明实施例提供的一种相似物品的搜索方法流程示意图十一；
图19为本发明实施例提供的一种相似物品的搜索装置结构示意图一；
图20为本发明实施例提供的一种相似物品的搜索装置结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。图1为本发明实施例提供的一种相似物品的搜索方法流程示意图一，将结合图1示出的步骤进行说明。
S101、接收待搜索图像，并确定与待搜索图像对应的局部属性信息。
在本发明实施例中，适用于接收待搜索图像并获取图像相应的属性信息的场景。
在本发明实施例中，接收用户上传的需要找同款的图像，并确定该图像包含的所有属性信息。该图像可以为服装、家庭用具、通讯工具等普通人日常使用的物品图像，本发明不做限制。
在本发明实施例中，该图像可以通过电子设备的摄像头(例如，手机的相机或者其他存储介质)进行拍摄来获取，本发明不做限制。
S102、利用预设图像局部属性编码模型，对待搜索图像和局部属性信息进行编码，确定图像局部属性编码。
在本发明实施例中，适用于确定图像包含的属性的编码场景。
在本发明实施例中，利用训练好的图像局部属性编码模型对用户上传的图像和图像所包含的属性进行编码，获取最终的图像局部属性编码。该图像局部属性编码模型本发明不作限制。
在本发明实施例中，图像局部属性编码由图像和图像中对应的属性进行融合而成。
示例性的，若用户上传的待搜索的图像为一件T恤，该T恤包含的属性为颜色、衣领、图案以及材质等，则利用训练好的图像局部属性编码模型对该T恤和该T恤所包含的颜色、衣领、图案、材质等属性分别进行编码，然后将该T恤编码和上述的各属性编码分别进行融合，最后获取到多个图像局部属性编码。
可以理解的是，在本发明实施例中，利用图像局部属性编码模型对用户上传的图像和图像包含的属性进行编码，获取最终的图像局部属性编码，提高了图像搜索的多样性。
S103、利用图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。
在本发明实施例中，适用于进行物品推荐的场景。
在本发明实施例中，利用图像局部属性编码模型获取到图像局部属性编码后，将该图像局部属性编码和物品库中的物品进行检索，最终获取所需要的相似推荐物品。
在本发明的实施例中，该物品库中的所有图像同样需要利用该图像局部属性编码模型进行编码，获取多个物品图像局部属性编码，所以最终的物品库包含多个物品图像局部属性编码和该多个物品图像的标识。
示例性的，用户上传的图像包含颜色、衣领、图案以及材质四个属性，获取该图像的局部属性编码后，基于物品库进行向量检索，推荐平台会罗列出4大块推荐结果，该4大块分别对应于用户上传图像包含的颜色、衣领、图案以及材质四个属性，用户可以根据需要选择4快中的任意一块进行相似物品的选择。
可以理解的是，在本发明的实施例中，利用图像局部属性编码模型获取到图像局部属性编码后，将该图像局部属性编码和物品库中的物品进行检索，最终获取上传图像的每个属性的相似产品推荐，提高了产品推荐的多样性。
在一些实施例中，参见图2，图2是为本发明实施例提供的一种相似物品的搜索方法流程示意图二，图2示出的S201至S203为图像局部属性编码模型的训练过程，将结合各步骤进行说明。
S201、根据属性、属性值和类目对获取的原始样本进行分组，确定训练样本；训练样本包括预设配比的正负样本。
在本发明的一些实施例中，适用于确定训练样本的场景。
在本发明的一些实施例中，需要对图像局部属性编码模型进行训练，直至该模型的准确率满足设置的阈值，然后利用训练后的图像局部属性编码模型对图像进行编码。在训练模型之前，利用图像的属性、属性值和类目对原始的样本进行分组，然后根据预设的比例对分组后的样本进行选取构成训练样本。
可以理解的是，在本发明的一些实施例中，根据属性、属性值和类目对获取的原始样本进行分组，然后根据预设的比例对分组后的样本进行选取构成训练样本，该选取方式不仅使模型有较好的执行结果，还可以减少模型训练时间。
S202、利用训练样本对初始图像编码模型进行训练，得到属性预测值。
在本发明的一些实施例中，适用于得到预测值的场景。
在本发明的一些实施例中，利用通过S201选取的训练样本进行训练，获取属性预测值。
可以理解的是，在本发明的一些实施例中，利用选好的训练样本对模型进行训练，获取属性预测值，由该预测值和实际值进行对比不断的调节模型参数，提高了模型的准确率。
S203、利用损失函数，对属性预测值和训练样本对应的预设属性实际值进行误差对比，调整模型参数，从而实现对初始图像编码模型的迭代训练，直至得到预设图像局部属性编码模型。
在本发明的一些实施例中，利用训练样本对模型进行训练，获取预测值后，将该预测值和训练样本的实际值进行对比，利用实际值和预测值之间的误差对编码模型的参数进行更新，通过对模型不断的进行迭代训练，直至得到准确率满足一定阈值的图像局部属性编码模型。
可以理解的是，在本发明的一些实施例中，利用损失函数，对属性预测值和训练样本对应的预设属性实际值进行误差对比，不断的调整模型参数，提高了模型的准确率。
在一些实施例中，参见图3，图3是为本发明实施例提供的一种相似物品的搜索方法流程示意图三，图3示出的S202可以通过S2021至S2025实现，将结合各步骤进行说明。
S2021、利用初始图像编码模型，对训练样本图像和多个样本局部属性信息进行编码，确定训练样本图像向量编码和多个样本局部属性向量编码；多个样本局部属性信息为确定的与训练样本图像对应的属性信息。
在本发明的一些实施例中，适用于获取属性预测值的场景。
在本发明的一些实施例中，获取到训练样本之后，利用初始的图像编码模型对训练样本图像和样本图像的局部属性信息分别进行编码，得到样本图像向量编码和样本的局部属性向量编码。
可以理解的是，利用初始图像编码模型，对训练样本和样本的局部属性信息都要进行编码，得到向量编码和样本局部属性向量编码，这样使得在搜索相似商品的时候，可以从图像的各个属性去选择所需的相似商品，提高了搜索的多样性。
S2022、将训练样本图像向量编码作为输入，利用多头注意力机制对训练样本图像向量编码进行学习和拼接，得到处理后的训练样本图像向量编码。
在本发明的一些实施例中，适用于获取多个子样本图像向量编码的场景。
在本发明的一些实施例中，获取到样本图像向量编码后对其进行截取，得到多个子样本图像向量编码。
示例性的，将训练样本图像向量编码作为输入，输入到基于多模态的属性感知编码器(Transformer)中，Transformer中的Encoder由N＝6个相同的layer组成，每个layer由两个子层组成，分别是multi-head self-attention mechanism和fully connected feed-forward network，其中每个子层都加了residual connection和normalisation，因此可以将子层sub_layer_output的输出表示为如下公式(1)：
sub_layer_output＝LayerNorm(x+(SubLayer(x))) (1)
图4为基于多模态的属性感知编码器(Transformer)，将样本图像进行向量编码作为Transformer结构的输入，多头注意力机制(Multi-Head Attention)由多个Self-Attention组成。以单个Self-Attention的计算过程为例，Self-Attention子层将样本图像向量编码乘以三个训练得到的、维度相同的矩阵WQ，WK和WV，分别得到查询(Query)、键值(Key)和值项(Value)三个向量，得到矩阵Q、K和V后，计算Self-Attention的输出，计算公式(2)如下：
Figure BDA0003349855800000101
其中，dk是Q、K矩阵的列数，即向量维度。
上述计算公式了解了怎么通过Self-Attention计算得出了最终的输出矩阵，而Multi-Head Attention包含多个Self-Attention层，所以首先将输入的样本向量编码分别传递到h个不同的Self-Attention层，计算得到h个输出矩阵，h表示“头数”。得到h个输出矩阵后，Multi-Head Attention将它们拼接在一起(Concat)，然后传入一个linear层，得到Multi-Head Attention最终的处理后的样本图像向量编码。
在本发明的一些实施例中，由Multi-Head Attention处理后得到样本图像向量编码和输入的样本图像向量编码的维度是一样的。
可以理解的是，在本发明的一些实施例中，将样本图像向量作为输入，利用多头注意力机制对样本图像向量进行学习和拼接，得到处理后的样本图像向量编码，有助于网络捕获到更丰富的特征/信息。
S2023、将处理后的训练样本图像向量编码、训练样本图像向量编码和多个样本局部属性向量编码进行条件融合，得到融合后的多个训练样本图像局部属性编码。
在本发明的一些实施例中，经过多头注意力机制得到处理后的训练样本后，将其和训练样本图像向量编码和多个样本局部属性向量编码在如图4中的第一个条件融合层进行融合。得到融合后的多个训练样本图像局部属性编码。
在本发明的一些实施例中，输入的样本图像编码和经过处理后的样本图像编码的维度是一样的，所以是可以相加的。
S2024、将融合后的多个训练样本图像局部属性编码进行降维处理，得到再次处理后的多个训练样本图像局部属性编码。
在本发明的一些实施例中，由条件融合模块将处理后的训练样本图像向量编码、训练样本图像向量编码和多个样本局部属性向量编码进行融合后，得到融合后的样本图像局部属性编码，将该融合后的样本图像局部属性编码作为前馈神经网络的输入，将其进行降维处理，得到再次处理后的样本图像局部属性编码。
在本发明的一些实施例中，该步骤在如图4中的前馈神经网络层进行处理。前馈神经网络层比较简单，是一个两层的全连接层，第一层的激活函数为Relu，第二层不适用激活函数，对应的公式(3)如下：
FFN(x)＝ReLU(W1x+b1)W2+b2 (3)
其中，x表示融合后的训练样本图像局部属性编码；FFN(x)表示前馈神经网络的输出值；W1和W2表示网络层的权重，b1和b2表示偏置项。
在本发明的一些实施例中，经前馈神经网络处理后得到的再次处理后的样本图像局部属性编码和作为输入到前馈神经网络中的处理后的样本图像局部属性编码的维度是一样的。
在本发明的一些实施例中，降维是因为涉及到经过条件融合层获取到融合后的样本图像局部属性编码后，要将其投影到一个更大的空间，在那个大空间里可以更方便地提取需要的信息(使用Relu激活函数)，所以最后需要再投影回原来的空间。
可以理解的是，在本发明的一些实施例中，将所述融合后的样本图像局部属性编码进行经前馈神经网络的处理，该网络中引入了非线性(Relu)激活函数，变换了attentionoutput的空间，从而增强了模型的表达能力，该过程也使得进一步学习到了样本图像局部属性编码的有用信息。
S2025、将再次处理后的多个训练样本图像局部属性编码、融合后的多个训练样本图像局部属性编码和多个样本局部属性向量编码再融合，得到属性预测值。
在本发明的一些实施例中，将经过前馈神经网络处理后得到的再次处理后的多个训练样本图像局部属性编码、融合后的多个训练样本图像局部属性编码和多个局部属性向量编码再一次进行融合，得到属性预测值。
在一些实施例中，参见图5，图5是为本发明实施例提供的一种相似物品的搜索方法流程示意图四，图5示出的S201可以通过S2011至S2016实现，将结合各步骤进行说明。
S2011、根据属性、属性值和类目对原始样本进行分桶，得到四组样本集合；其中，四组样本集合为相同属性值的第一样本集合、属性值不同，属性相同的第二样本集合、属性值和属性不同，类目相同的第三样本集合、属性值、属性和类目均不相同的第四样本集合。
在本发明的一些实施例中，为了使模型有较好的执行结果，并减少模型训练时间。收集到大量样本后，利用属性分桶的机制对收集到的样本进行分桶处理。
在本发明的一些实施例中，如图6和图7所示，图中的sku即库存进出计量的单位(买家购买、商家进货、供应商备货、工厂生产都是依据sku进行的)也就是说一款商品，可以根据sku来确定具体的货物存量，其可以是以件、盒、托盘等为单位。在服装、鞋类商品中使用最多最普遍，例如纺织品中一个sku通常表示：规格、颜色、款式。
在本发明的一些实施例中，具体以图7所示，属性值相同的样本构成第一样本集合，属性值不同、属性相同的样本构成第二样本集合，属性值和属性相同、类目不同的样本构成第三样本集合，属性值、属性和类目均不相同的样本构成第四样本集合。最后由第一、二、三和四样本集合确定训练样本。
可以理解的是，在本发明的一些实施例中，对收集的样本进行分桶，获取多个样本集合，在获取的多个集合中确定训练样本，该方式使得模型有较好的执行结果，并减少模型训练时间。
S2012、在第一样本集合中，确定正样本。
在本发明的一些实施例中，属性值相同的样本构成了第一样本集合，在该集合中进行样本的选取，并称之为正样本。
示例性的，如图8所示，将图中的图像由上到下进行标记，第1张图像和第2张图像的领型都为圆领，所以为正样本，图中编码+或-表示样本之间的属性是否相同；loss为损失函数，根据该损失函数更新模型参数。
S2013、在第二样本集合中，确定第一负样本。
在本发明的一些实施例中，属性值相同、属性不同的样本构成了第二样本集合，在该集合中进行样本的选取，并称之为第一负样本。
示例性的，如图8所示，第1张图像和第3张图像的领型分别为圆领和方领，所以为第一负样本。
S2014、在第三样本集合中，确定第二负样本。
在本发明的一些实施例中，属性值和属性相同、类目不同的样本构成了第三样本集合，在该集合中进行样本的选取，并称之为第二负样本。
示例性的，如图8所示，第1张图像和第4张图像的领型分别为圆领和方领，且薄厚不同，所以为第二负样本。
S2015、在第四样本集合中，确定第三负样本。
在本发明的一些实施例中，属性值、属性类目均不同的样本构成了第四样本集合，在该集合中进行样本的选取，并称之为第三负样本。
示例性的，如图8所示，第1张图像和第5一个为衣服，一个为鞋子，各方面都不同，所以为第三负样本。
S2016、根据第一负样本、第二负样本、第三负样本之间的任意负样本，结合正样本，确定训练样本。
在本发明的一些实施例中，在第一、二、三和四负样本中进行任意选取，结合正样本，构成模型的训练样本。
在一些实施例中，参见图9，图9是为本发明实施例提供的一种相似物品搜索方法流程示意图五，图9示出的S102可以通过S1021至S1022实现，将结合各步骤进行说明。
S1021、利用预设的图像局部属性编码模型，对待搜索图像和多个局部属性信息分别进行编码，得到图像向量编码和多个属性向量编码。
在本发明的一些实施例中，对图像局部属性编码模型进行训练，直至获取准确率满足预设阈值的图像局部属性编码模型。利用训练好的图像局部属性编码模型对用户上传的待搜索的图像和该图像所包含的多个局部属性信息分别进行编码，获取图像向量编码和多个属性向量编码，然后进行后续处理。
S1022、利用预设的图像局部属性编码模型，将图像向量编码和多个属性向量编码进行融合，得到多个图像局部属性编码。
在本发明的一些实施例中，利用训练后的图像局部属性编码模型对用户上传的带搜索图像进行编码，同时对该图像所包含的多个属性进行编码。获取到图像向量编码和多个属性向量编码后，将它们进行融合，得到多个图像局部属性编码。
在一些实施例中，参见图10，图10是为本发明实施例提供的一种相似物品搜索方法流程示意图六，图10示出的S1022可以通过S301至S304实现，将结合各步骤进行说明。
S301、将图像向量编码作为输入，利用多头注意力机制对图像向量编码进行学习和拼接，得到处理后的图像向量编码。
在本发明的一些实施例中，将用户上传的待搜索的图像编码后作为transformer模型的输入，利用模型中的多头注意力机制层的“多个头”对该图像向量编码进行学习，然后将学习后的多个图像向量编码进行拼接，得到处理后的图像向量编码。
在本发明的一些实施例中，该步骤和S2022一样，具体可参考S2022。
可以理解的是，在本发明的一些实施例中，将用户上传的图像向量编码作为输入，利用多头注意力机制其进行学习和拼接，得到处理后的图像向量编码，有助于网络捕获到更丰富的特征/信息。
S302、将处理后的图像向量编码、图像编码和多个属性向量编码进行条件融合，得到融合后的多个图像局部属性编码。
在本发明的一些实施例中，把属性编码作为条件向量在条件融合模块与经过多头注意力机制处理后的图像向量编码和原始的图像向量编码作为输入，输入到条件融合层进行融合，得到融合后的图像局部属性编码。
在本发明的一些实施例中，输入的图像编码和经过处理后的图像编码的维度是一样的，所以是可以相加的。
在本发明的一些实施例中，图11为在基于多模态的属性感知编码器(transformer)上引入的“条件融合模块”。在利用transformer模型中的条件融合模块对图像向量编码和属性向量编码进行融合时，首先利用常规的训练好的编码器对图像和图像所包含的多个属性进行编码，得到图像向量编码和属性向量编码，将得到的图像向量编码和属性向量编码输入到transformer模型中时，transformer模型通长会对原始的输入做一个嵌入(embedding)，可采用一个变换矩阵做矩阵乘积的方式，将图像向量编码和属性向量编码映射到需要的维度。
S303、将多个图像局部属性编码进行降维处理，得到再次处理后的多个图像局部属性编码。
在本发明的一些实施例中，由多头条件融合模块将处理后的图像向量编码、图像向量编码和局部属性向量编码在条件融合模块进行融合后，得到融合后的图像局部属性编码，将该融合后的图像局部属性编码作为前馈神经网络的输入，将其进行降维处理，得到再次处理后的图像局部属性编码。
在本发明的一些实施例中，该步骤和S2024一样，具体可参考S2024。
S304、将再次处理后的多个图像局部属性编码、融合后的多个图像局部属性编码和多个所述属性向量编码再融合，得到多个图像局部属性编码。
在本发明的一些实施例中，经前馈神经网络层得到的处理后的多个图像局部属性编码、经过条件融合模块获取的融合后的图像局部属性编码及多个属性向量编码载融合，得到最终的多个图像局部属性编码。
利用训练后的图像局部属性编码模型对用户上传的带搜索图像进行编码，同时对该图像所包含的多个属性进行编码。获取到图像向量编码和多个属性向量编码后，将获取的图像向量编码和多个属性向量编码进行融合，得到多个图像局部属性编码。
在一些实施例中，参见图12，图12是为本发明实施例提供的一种相似物品搜索方法流程示意图七，图12示出的S302可以通过S3021至S3024实现，将结合各步骤进行说明。
S3021、将处理后的图像向量编码和图像向量编码进行求和，确定求和后的图像向量编码。
在本发明的一些实施例中，将经多头注意力机制层得到的处理后的图像向量编码和原始输入的图像向量编码进行求和，得到求和后的图像向量编码。
在本发明的一些实施例中，经多头注意力机制层得到的处理后的图像向量编码的维度和原始输入的图像向量编码的维度相同。
S3022、获取求和后的图像向量编码中每一行元素的均值和方差。
在本发明的一些实施例中，将处理后的图像向量编码和图像向量编码进行求和，确定求和后的图像向量编码后，获取求和后的图像向量编码中的均值和方差，如图11中的μ和σ，μ为求和后的图像向量编码中各行元素计算得到的均值，σ求和后的图像向量编码中各行元素计算得到的方差。
S3023、根据均值、方差和求和后的图像向量编码的每行的各个元素值，确定归一化后的图像向量编码。
在本发明的一些实施例中，获取到求和后的图像向量编码中每行元素的值的均值和方差均值和方差后，结合求和后的图像向量编码的每行元素的值，根据已有的公式，获取归一化后的图像向量编码。公式如下：
Figure BDA0003349855800000171
其中，x为求和后的图像向量编码中的每行的每一个元素；μ为各行元素计算得到的均值；σ为各行元素计算得到的方差。
将图像编码的每一行的每一个元素与获取的均值做减法运算，确定了运算结果；然后将该运算结果和每一行的标准差相除，最终得到归一化后的图像编码。
S3024、根据归一化后的图像向量编码和预设的参数向量，将归一化后的图像向量编码和多个属性向量编码进行条件融合，得到融合后的多个图像局部属性编码。
在本发明的一些实施例中，获取到归一化后的图像向量编码后，结合训练所得到参数向量，利用公式，得到融合后的多个图像局部属性编码。公式(5)如下：
z＝γsxnorm+βs (5)
其中，γs和βs为将属性向量编码经过两个全连接网络层分别得到的训练参数；z为融合后的图像局部属性编码。
在本发明的一些实施例中，γs和βs是属性向量编码和可训练的网络权重得到。经过条件融合模块，使其具有了融合属性和图像信息的表示能力。
在一些实施例中，参见图13，图13是为本发明实施例提供的一种相似物品搜索方法流程示意图八，图13示出的S103可以通过S1031至S1032实现，将结合各步骤进行说明。
S1031、通过多个图像局部属性编码，利用物品库进行检索，确定与待搜索图像包含的多个属性相似的物品。
在本发明的一些实施例中，获取到待搜索图像的多个图像局部属性编码后，利用物品库进行检索，根据不同的属性推荐不同的相似商品。
在本发明的一些实施例中，该物品库为离线进行构建，物品库中的商品和用户上传的图像一样，都需要对商品和商品所包含的属性进行编码，然后分别将它们进行融合。
在本发明的一些实施例中，如图14所示：具体检索的流程为：检索模块在检索时，请求接口的输入是图像Base64编码以及需要关注的局部属性，输出是局部相似款列表以及对应的相似度。当接到请求时，将图像、属性送入图像编码器得到图像的局部向量编码，然后经过负载均衡模块向向量检索模块发出请求，为了支撑大规模的向量索引，可以对向量索引库分片对数据进行均衡，当有请求时对各个子库，如子库1(index1)、子库2(index2)、子库3(index3)…子库n(indexn)进行并行查询，并对返回结果进行归并得出最终结果。
可以理解的是，在本发明的一些实施例中，利用图像局部属性编码模型获取到图像局部属性编码后，将该局部属性编码和物品库中的物品进行检索，最终获取上传图像的每个属性的相似产品推荐，提高了产品推荐的多样性。
S1032、在多个属性相似的物品中，根据编码向量之间的距离，确定每一个属性的相似物品。
在本发明的一些实施例中，根据检索，获取到与待搜索图像包含的多个属性相似的物品后，根据编码向量之间的距离，获取每一个属性的相似物品。
示例性的，待搜索图像包含颜色、领型和图案等多个属性，在获取到与待搜索图像包含的多个属性相似的物品后，根据图像的颜色编码会推荐出和该图像颜色相似的物品，根据图像的颜色编码会推荐出和该图像颜色相似的物品等等。
在本发明一些实施例中，参见图15，图15是为本发明实施例提供的一种相似物品搜索方法流程示意图九，图15示出的S1031之前还包括S401至S403实现，将结合各步骤进行说明。
S401、获取多个物品图像，并确定与物品图像对应的局部属性信息。
在本发明的一些实施例中，待搜索的物品检索之前，需要离线进行物品库的构建。
在本发明的一些实施例中，将平台中存在的物品进行获取，共同构建检索所需的物品库，并获取该多个物品所包含的全部属性。
S402、利用预设图像局部属性编码模型对多个物品图像和多个物品图像对应的局部属性信息进行编码，确定多个物品图像局部属性编码。
在本发明的一些实施例中，利用训练好的图像局部属性编码对获取到物品进行编码，同时对获取到的物品所包含的属性进行编码，并分别将它们进行融合，获取最终的多个物品图像局部属性编码。
S403、利用多个物品图像局部属性编码，确定物品库；其中，物品库包含多个物品图像局部属性编码和多个物品图像的标识。
在本发明的一些实施例中，根据获取的多个物品图像局部属性编码构建物品库，同时，该物品库包含与多个物品图像局部属性对应的多个物品图像的标识。
可以理解的是，用户在上传图片找寻相似商品时，目前的方法只能识别主体相似的图片，对于局部细节相似的不具备识别能力，无法满足细粒度局部细节检索的需求，且当物品库中有同款物品时，会给出大量重复、近似物品的推荐，造成大量无用推荐，使得结果缺乏多样性。本发明通过将商品属性与商品图像信息深度融合，使得不同属性提取不同区域的图像关键信息，增强了搜索相似结果的多样性
本发明实施例提供一种相似物品搜索的方法，可选的流程图如图16所示。
S1、用户上传照片。
S2、利用图像局部属性编码模型对该图像进行处理，获取多个图像局部属性编码。
在本发明的一些实施例中，利用图像局部属性编码模型对该图像进行处理，获取N个图像局部属性编码，包括：
S1.1、利用树形分桶机制进行训练样本的选取，并对初始的图像编码模型进行训练。
在本发明的一些实施例中，构造局部款式相似的正例样本与局部款式不相似的负例样本，负例样本的采集需要针对性的选取一些有难度的样本，以模拟正常的数据分布，进而增强模型的判别能力，如图6和图7所示。具体的流程为：首先对所有样本根据属性值、属性、类目进行层次化的分桶，进而支持通过属性值+属性+类目、属性+类目、类目三种维度的样本采样；在模型训练时，对每一个样本，通过相同属性值的样本分组中采样正例，通过类目+属性相同、类目相同的样本分组中采样负例，另外为了增加采样的丰富性额外进行了全局的负采样，并最终构建了1：3正负比例的样本集合。
在本发明的一些实施例中，图像局部属性编码模型训练的流程图如图17所示，利用选取的训练样本对初始的图像局部属性编码模型进行训练的过程，获取到训练样本后，对图像利用异常编码器(Xception Encoder)进行处理，得到图像向量编码，对属性进行嵌入查找(Embedding Lookup)处理，得到属性向量编码。通过基于多模态的属性感知编码器(Transformer Encoder)对得到的图像向量编码和属性向量编码进行处理，并利用对比学习机制来调整图像局部属性编码模型的参数，最后输出图像局部属性编码。图像中包含多个属性，图17中的条件生成可以看作是对属性的选取。
S3、根据获取多个图像局部属性编码对物品库中的物品进行检索，获取推荐结果。
在本发明的一些实施例中，物品库为离线进行构造，利用图像编码模型对平台中的物品库进行编码，获取多个物品图像局部属性编码，利用该多个物品图像局部属性编码进行物品库的构建；其中，所述物品库包含多个物品图像局部属性编码和所述多个物品图像的标识。
可以理解的是，利用预设的图像局部编码模型对用户上传的待搜索的图像和图像的多个局部属性信息进行编码，获取多个图像局部属性编码。利用该图像局部属性编码，从物品库中进行向量检索，获取相似的推荐物品。该方法将商品属性与商品图像信息深度融合，使得不同属性提取不同区域的图像关键信息，增强了搜索相似结果的多样性。
在本发明的一些实施例中，可选的流程图也可以如图18所示。
本发明实施例提供了一种相似物品的搜索装置结构示意图，如图19所述，图19为本发明实施例提供的一种相似物品的搜索装置的结构示意图，该相似物品的搜索装置包括：接收单元1901、确定单元1902；其中，
接收单元1901，用于接收待搜索图像，并确定与所述待搜索图像对应的局部属性信息。
确定单元1902，用于利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码；及利用所述图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。
在本发明的一些实施例中，所述确定单元1902，还用于根据属性、属性值和类目对获取的原始样本进行分组，确定训练样本；所述训练样本包括预设配比的正负样本；及利用所述训练样本对初始图像编码模型进行训练，得到属性预测值；以及利用损失函数，对所述属性预测值和所述训练样本对应的预设属性实际值进行误差对比，调整模型参数，从而实现对所述初始图像编码模型的迭代训练，直至得到所述预设图像局部属性编码模型。
在本发明的一些实施例中，所述确定单元1902，还用于利用所述初始图像编码模型，对所述训练样本图像和所述多个样本局部属性信息进行编码，确定训练样本图像向量编码和多个样本局部属性向量编码；所述多个样本局部属性信息为确定的与所述训练样本图像对应的属性信息；及将所述训练样本图像向量编码作为输入，利用多头注意力机制对所述训练样本图像向量编码进行学习和拼接，得到处理后的训练样本图像向量编码；及将所述处理后的训练样本图像向量编码、所述训练样本图像向量编码和所述多个样本局部属性向量编码进行条件融合，得到融合后的多个训练样本图像局部属性编码；及将所述融合后的多个训练样本图像局部属性编码进行降维处理，得到再次处理后的多个训练样本图像局部属性编码；以及将所述再次处理后的多个训练样本图像局部属性编码、所述融合后的多个训练样本图像局部属性编码和所述多个样本局部属性向量编码再融合，得到所述属性预测值。
在本发明的一些实施例中，所述确定单元1902，还用于根据属性、属性值和类目对所述原始样本进行分桶，分别得到四组样本集合；其中，所述四组样本集合分别为相同属性值的第一样本集合、属性值不同，属性相同的第二样本集合、属性值和属性不同，类目相同的第三样本集合、属性值、属性和类目均不相同的第四样本集合；及在所述第一样本集合中，确定正样本；及在所述第二样本集合中，确定第一负样本；及在所述第三样本集合中，确定第二负样本；及在所述第四样本集合中，确定第三负样本；以及根据所述第一负样本、所述第二负样本、所述第三负样本之间的任意负样本，结合所述正样本，确定所述初始图像局部属性编码模型的训练样本。
在本发明的一些实施例中，所述确定单元1902，还用于利用所述预设的图像局部属性编码模型，对所述待搜索图像和多个所述局部属性信息分别进行编码，得到图像向量编码和多个属性向量编码；以及利用所述预设的图像局部属性编码模型，将所述图像向量编码和多个所述属性向量编码进行融合，得到多个图像局部属性编码。
在本发明的一些实施例中，所述确定单元1902，还用于将所述图像向量编码作为输入，利用多头注意力机制对所述图像向量编码进行学习和拼接，得到处理后的图像向量编码；及将所述处理后的图像向量编码、所述图像编码和多个所述属性向量编码进行条件融合，得到融合后的多个图像局部属性编码；及将所述多个图像局部属性编码进行降维处理，得到再次处理后的多个图像局部属性编码；以及将所述再次处理后的多个图像局部属性编码、所述融合后的多个图像局部属性编码和所述多个所述属性向量编码再融合，得到所述多个图像局部属性编码。
在本发明的一些实施例中，所述确定单元1902，还用于将所述处理后的图像向量编码和所述图像向量编码进行求和，确定求和后的图像向量编码；及获取所述求和后的图像向量编码中每行元素的均值和方差；及根据所述均值、所述方差和所述求和后的图像向量编码的每行的各个元素值，确定归一化后的图像向量编码；以及根据所述归一化后的图像向量编码和预设的参数向量，将所述归一化后的图像向量编码和所述多个所述属性向量编码进行条件融合，得到融合后的多个所述图像局部属性编码。
在本发明的一些实施例中，所述确定单元1902，还用于通过多个所述图像局部属性编码，利用所述物品库进行检索，确定与所述待搜索图像包含的多个属性相似的物品；以及在所述多个属性相似的物品中，根据编码向量之间的距离，确定每一个属性的相似物品。
在本发明的一些实施例中，所述确定单元1902，还用于获取多个物品图像，并确定与所述物品图像对应的局部属性信息；及利用所述预设图像局部属性编码模型对所述多个物品图像和所述多个物品图像对应的局部属性信息进行编码，确定多个物品图像局部属性编码；以及利用所述多个物品图像局部属性编码，确定所述物品库；其中，所述物品库包含所述多个物品图像局部属性编码和所述多个物品图像的标识。
基于上述实施例的方法，本发明实施例还提供了一种相似物品的搜索装置结构示意图，如图20所示，图20为本发明实施例提供的一种相似物品的搜索装置的结构示意图，该相似物品的搜索装置包括：第一处理器2001和第一存储器2002；第一存储器2002存储第一处理器2001可执行的一个或者多个程序，当一个或者多个程序被执行时，通过第一处理器2001执行如前所述实施例的任意一种相似物品的搜索方法。
本发明实施例提供了一种计算机可读存储介质，存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，程序被处理器执行时实现如本发明实施例的相似物品的搜索方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种相似物品的搜索方法，其特征在于，包括：
接收待搜索图像，并确定与所述待搜索图像对应的局部属性信息；
利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码；
利用所述图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。
2.根据权利要求1所述的方法，其特征在于，所述利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码之前，所述方法还包括：
根据属性、属性值和类目对获取的原始样本进行分组，确定训练样本；所述训练样本包括预设配比的正负样本；
利用所述训练样本对初始图像编码模型进行训练，得到属性预测值；
利用损失函数，对所述属性预测值和所述训练样本对应的预设属性实际值进行误差对比，调整模型参数，从而实现对所述初始图像编码模型的迭代训练，直至得到所述预设图像局部属性编码模型。
3.根据权利要求2所述的方法，其特征在于，所述训练样本包含训练样本图像和多个样本局部属性信息；
所述利用所述训练样本对初始图像编码模型进行训练，得到属性预测值，包括：
利用所述初始图像编码模型，对所述训练样本图像和所述多个样本局部属性信息进行编码，确定训练样本图像向量编码和多个样本局部属性向量编码；所述多个样本局部属性信息为确定的与所述训练样本图像对应的属性信息；
将所述训练样本图像向量编码作为输入，利用多头注意力机制对所述训练样本图像向量编码进行学习和拼接，得到处理后的训练样本图像向量编码；
将所述处理后的训练样本图像向量编码、所述训练样本图像向量编码和所述多个样本局部属性向量编码进行条件融合，得到融合后的多个训练样本图像局部属性编码；
将所述融合后的多个训练样本图像局部属性编码进行降维处理，得到再次处理后的多个训练样本图像局部属性编码；
将所述再次处理后的多个训练样本图像局部属性编码、所述融合后的多个训练样本图像局部属性编码和所述多个样本局部属性向量编码再融合，得到所述属性预测值。
4.根据权利要求2所述的方法，其特征在于，所述根据属性、属性值和类目对获取的原始样本进行分组，确定训练样本，包括：
根据属性、属性值和类目对所述原始样本进行分桶，分别得到四组样本集合；其中，所述四组样本集合分别为相同属性值的第一样本集合、属性值不同，属性相同的第二样本集合、属性值和属性不同，类目相同的第三样本集合、属性值、属性和类目均不相同的第四样本集合；
在所述第一样本集合中，确定正样本；
在所述第二样本集合中，确定第一负样本；
在所述第三样本集合中，确定第二负样本；
在所述第四样本集合中，确定第三负样本；
根据所述第一负样本、所述第二负样本、所述第三负样本之间的任意负样本，结合所述正样本，确定所述初始图像局部属性编码模型的训练样本。
5.根据权利要求1所述的方法，其特征在于，所述局部属性信息为多个不同属性的局部属性信息；
所述利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码，包括：
利用所述预设的图像局部属性编码模型，对所述待搜索图像和多个所述局部属性信息分别进行编码，得到图像向量编码和多个属性向量编码；
利用所述预设的图像局部属性编码模型，将所述图像向量编码和多个所述属性向量编码进行融合，得到多个图像局部属性编码。
6.根据权利要求5所述的方法，其特征在于，所述利用所述预设的图像局部属性编码模型，将所述图像向量编码和多个所述属性向量编码进行融合，得到多个图像局部属性编码，包括：
将所述图像向量编码作为输入，利用多头注意力机制对所述图像向量编码进行学习和拼接，得到处理后的图像向量编码；
将所述处理后的图像向量编码、所述图像编码和多个所述属性向量编码进行条件融合，得到融合后的多个图像局部属性编码；
将所述多个图像局部属性编码进行降维处理，得到再次处理后的多个图像局部属性编码；
将所述再次处理后的多个图像局部属性编码、所述融合后的多个图像局部属性编码和所述多个所述属性向量编码再融合，得到所述多个图像局部属性编码。
7.根据权利要求6所述的方法，其特征在于，所述将所述处理后的图像向量编码、所述图像编码和多个所述属性向量编码进行条件融合，得到融合后的多个图像局部属性编码，包括：
将所述处理后的图像向量编码和所述图像向量编码进行求和，确定求和后的图像向量编码；
获取所述求和后的图像向量编码中每行元素的均值和方差；
根据所述均值、所述方差和所述求和后的图像向量编码的每行的各个元素值，确定归一化后的图像向量编码；
根据所述归一化后的图像向量编码和预设的参数向量，将所述归一化后的图像向量编码和所述多个所述属性向量编码进行条件融合，得到融合后的多个所述图像局部属性编码。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述局部属性信息为多个不同属性的局部属性信息；
所述利用所述图像局部属性编码，从所述物品库中进行向量检索，确定局部属性相似的推荐物品，包括：
通过多个所述图像局部属性编码，利用所述物品库进行检索，确定与所述待搜索图像包含的多个属性相似的物品；
在所述多个属性相似的物品中，根据编码向量之间的距离，确定每一个属性的相似物品。
9.根据权利要求8所述的方法，其特征在于，所述通过所述多个所述图像局部属性编码，利用所述物品库进行检索，确定与所述待搜索图像包含的多个属性相似的物品之前，所述方法还包括：
获取多个物品图像，并确定与所述物品图像对应的局部属性信息；
利用所述预设图像局部属性编码模型对所述多个物品图像和所述多个物品图像对应的局部属性信息进行编码，确定多个物品图像局部属性编码；
利用所述多个物品图像局部属性编码，确定所述物品库；其中，所述物品库包含所述多个物品图像局部属性编码和所述多个物品图像的标识。
10.一种相似物品的搜索装置，其特征在于，所述相似物品的搜索装置包括：
接收单元，用于接收用户上传的待搜索图像，并确定与所述待搜索图像对应的局部属性信息；
确定单元，利用预设图像局部属性编码模型，对所述待搜索图像和所述局部属性信息进行编码，确定图像局部属性编码；及利用所述图像局部属性编码，从物品库中进行向量检索，确定局部属性相似的推荐物品。
11.一种相似物品的搜索装置，其特征在于，所述相似物品的搜索装置包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至8任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至8任一项所述的方法。
CN202111333697.0A 2021-11-11 2021-11-11 一种相似物品的搜索方法及装置、计算机可读存储介质 Pending CN114067139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111333697.0A CN114067139A (zh) 2021-11-11 2021-11-11 一种相似物品的搜索方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111333697.0A CN114067139A (zh) 2021-11-11 2021-11-11 一种相似物品的搜索方法及装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114067139A true CN114067139A (zh) 2022-02-18

Family

ID=80275427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111333697.0A Pending CN114067139A (zh) 2021-11-11 2021-11-11 一种相似物品的搜索方法及装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114067139A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726389A (zh) * 2023-09-09 2024-03-19 广东德澳智慧医疗科技有限公司 一种基于聚类推荐算法的跨境电商产品购买引导系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
US20210073252A1 (en) * 2019-09-11 2021-03-11 International Business Machines Corporation Dialog-based image retrieval with contextual information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN106407352A (zh) * 2016-09-06 2017-02-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于深度学习的交通图像检索方法
US20210073252A1 (en) * 2019-09-11 2021-03-11 International Business Machines Corporation Dialog-based image retrieval with contextual information

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI JIAO 等: "Hybrid Fusion with Intra- and Cross-Modality Attention for Image-Recipe Retrieval", 《PROCEEDINGS OF THE 44TH INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH AND DEVELOPMENT IN INFORMATION RETRIEVAL》, 11 July 2021 (2021-07-11), pages 244, XP059342615, DOI: 10.1145/3404835.3462965 *
孙秀秀: "基于深度学习的多标签服装图像分类研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 06, 15 June 2021 (2021-06-15), pages 138 - 586 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726389A (zh) * 2023-09-09 2024-03-19 广东德澳智慧医疗科技有限公司 一种基于聚类推荐算法的跨境电商产品购买引导系统

Similar Documents

Publication Publication Date Title
CN108959396B (zh) 机器阅读模型训练方法及装置、问答方法及装置
CN110781409A (zh) 一种基于协同过滤的物品推荐方法
CN110598118A (zh) 资源对象的推荐方法、装置及计算机可读介质
CN111651576B (zh) 一种基于迁移学习的多轮阅读理解方法
CN112434744B (zh) 一种多模态特征融合模型的训练方法及装置
CN110399472A (zh) 面试提问提示方法、装置、计算机设备及存储介质
CN111324773A (zh) 一种背景音乐构建方法、装置、电子设备和存储介质
CN113868466B (zh) 视频推荐的方法、装置、设备和存储介质
CN112036954A (zh) 物品推荐方法和装置、计算机可读存储介质、电子设备
CN115238188A (zh) 一种对象推荐方法和系统及对象推荐模型系统
CN114067139A (zh) 一种相似物品的搜索方法及装置、计算机可读存储介质
CN111026910B (zh) 视频推荐方法、装置、电子设备及计算机可读存储介质
CN114691680A (zh) 维修案例信息查询方法、装置、电子设备及存储介质
CN112785390B (zh) 推荐处理方法、装置、终端设备以及存储介质
CN111010595B (zh) 一种新节目推荐的方法及装置
CN113095901A (zh) 推荐方法和相关模型的训练方法、电子设备、存储装置
CN117251622A (zh) 对象推荐的方法、装置、计算机设备和存储介质
CN110827078A (zh) 一种信息推荐方法、装置、设备及存储介质
CN114880575B (zh) 用户行为预测方法、装置、设备、介质及产品
CN114363671A (zh) 多媒体资源推送方法、模型训练方法、装置、存储介质
CN110727705B (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
CN110659962A (zh) 一种商品信息输出方法及相关装置
CN114048826B (zh) 一种推荐模型训练方法、装置、设备及介质
CN117473457B (zh) 基于数字化业务的大数据挖掘方法及系统
KR102456400B1 (ko) 도소매 전자상거래를 위한 멀티 플랫폼 서비스 제공 방법, 장치 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination