CN106846122B - 商品数据处理方法和装置 - Google Patents

商品数据处理方法和装置 Download PDF

Info

Publication number
CN106846122B
CN106846122B CN201710089504.9A CN201710089504A CN106846122B CN 106846122 B CN106846122 B CN 106846122B CN 201710089504 A CN201710089504 A CN 201710089504A CN 106846122 B CN106846122 B CN 106846122B
Authority
CN
China
Prior art keywords
commodity
commodities
collocated
collocation
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710089504.9A
Other languages
English (en)
Other versions
CN106846122A (zh
Inventor
葛彦昊
刘巍
陈宇
翁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710089504.9A priority Critical patent/CN106846122B/zh
Publication of CN106846122A publication Critical patent/CN106846122A/zh
Priority to PCT/CN2017/119516 priority patent/WO2018149237A1/zh
Application granted granted Critical
Publication of CN106846122B publication Critical patent/CN106846122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Finance (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种商品数据处理方法和装置，涉及图像处理技术领域。该方法包括：提取待搭配图片中待搭配商品的特征向量，确定待搭配商品的类目；响应用户的搭配需求，确定目标商品的类目；将搭配特征数据库中与待搭配商品同类目且与其特征匹配的参考商品作为类比商品；根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同类目的参考商品作为搭配结果；搭配特征数据库中包括参考商品对应的特征向量和搭配关系。该方法和装置实现了高匹配度、高覆盖率的商品搭配。

Description

商品数据处理方法和装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种商品数据处理方法和装置。
背景技术
电子商务中的商品搭配，旨在根据一定规则或特征规律对用户当前查看或购买的商品进行匹配，从而为用户推荐与此商品形成搭配关系的其他商品。一套针对性强且有效的搭配系统不仅能够提升被搭配商品的点击和购买率，而且能够为当前被浏览商品带来额外转化率，因此在商品搭配过程中，如何根据现有商品的特征，构建有效的商品数据处理方法为用户搭配匹配度较高的其他商品是目前该领域研究的核心技术问题。
现有的商品数据处理技术，主要是基于用户历史浏览记录、管理规则或者相似用户打分来进行商品搭配。这些现有技术的商品搭配依据都是用户的历史行为特征或商品自身标签特征等结构化数据。因此，一方面，缺乏直观联系，导致搭配商品的匹配度低；另一方面，未被访问过或未被购买过的商品不在搭配数据库中，导致搭配商品的覆盖率低。
发明内容
本发明的发明人发现上述现有技术中存在的问题，并因此针对所述问题中的至少一个问题提出了一种新的技术方案。
本发明的一个目的是提供一种商品数据处理的技术方案，能够实现高匹配度、高覆盖率的商品搭配。
根据本发明的第一方面，提供了一种商品数据处理方法，包括：提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的类目；响应用户的搭配需求，确定目标商品的类目；将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品；根据所述类比商品对应的搭配关系，在所述搭配特征数据库中选取与所述目标商品同类目的所述参考商品作为搭配结果；所述搭配特征数据库中包括所述参考商品对应的特征向量和所述搭配关系。
可选地，该方法还包括：提取多张参考图片中各所述参考商品的特征向量，确定所述各参考商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据库。
可选地，所述将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品包括：将所述搭配特征数据库中所有与所述待搭配商品同类目的所述参考商品作为候选商品；分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品。
可选地，所述分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品包括：分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的哈希海明距离，并选取第一预设值个与所述待搭配商品之间的哈希海明距离最近的所述候选商品构成候选集合；计算所述候选集合中的所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧氏距离，并选取第二预设值个与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品；所述第一预设值大于第二预设值。
可选地，所述提取多张参考图片中各所述参考商品的特征向量，确定所述各参考商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据库包括：利用Faster-RCNN(Faster Region Convolutional Neural Network，快速区域卷积神经网络)提取所述参考图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述参考商品的图像区域；对所述图像区域进行检测，以确定确实存在所述参考商品的图像区域作为目标区域，并对所述目标区域中所述参考商品进行特征提取，生成所述参考商品对应的所述特征向量；根据所述特征向量确定所述参考商品的类目，并获取各类目所述参考商品之间的搭配关系，从而建立所述搭配特征数据库。
可选地，所述提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的类目包括：利用Faster-RCNN提取所述待搭配图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述待搭配商品的图像区域；对所述图像区域进行检测，以确定确实存在所述待搭配商品的图像区域作为目标区域，并对所述目标区域中所述待搭配商品进行特征提取，生成所述待搭配商品对应的所述特征向量；根据所述特征向量确定所述待搭配商品的类目。
根据本发明的另一个方面，提供一种商品数据处理装置，包括：待搭配商品确定单元，用于提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的类目；目标商品确定单元，用于响应用户的搭配需求，确定目标商品的类目；类比商品确定单元，用于将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品；商品搭配单元，用于根据所述类比商品对应的搭配关系，在所述搭配特征数据库中选取与所述目标商品同类目的所述参考商品作为搭配结果。
可选地，该装置还包括：搭配特征数据库建立单元，用于提取多张参考图片中各所述参考商品的特征向量，确定所述各参考商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据库。
可选地，所述类比商品确定单元包括：候选商品确定子单元，用于将所述搭配特征数据库中所有与所述待搭配商品同类目的所述参考商品作为候选商品；特征距离确定子单元，用于分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品。
可选地，所述搭配特征数据库建立单元包括：参考商品区域确定子单元，用于提取所述参考图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述参考商品的图像区域，对所述图像区域进行检测，以确定确实存在所述参考商品的图像区域作为目标区域；参考商品类目确定子单元，用于对所述目标区域中所述参考商品进行特征提取，生成所述参考商品对应的所述特征向量，根据所述特征向量确定所述参考商品的类目，并获取各类目所述参考商品之间的搭配关系，从而建立所述搭配特征数据库；所述待搭配商品确定单元包括：待搭配商品区域确定子单元，用于提取所述待搭配图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述待搭配商品的图像区域，对所述图像区域进行检测，以确定确实存在所述待搭配商品的图像区域作为目标区域；待搭配商品类目确定子单元，用于对所述目标区域中所述待搭配商品进行特征提取，生成所述待搭配商品对应的所述特征向量，根据所述特征向量确定所述待搭配商品的类目。
根据本发明的又一个方面，提供一种商品数据处理装置，包括：存储器以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器设备中的指令，执行如上所述的商品数据处理方法。
本发明的一个优点在于，利用Faster-RCNN识别并提取了图片中的商品个体和特征向量，建立了商品搭配特征数据库，并以特征向量之间的距离衡量商品之间的匹配程度，从而实现了高匹配度、高覆盖率的商品搭配。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1示出根据本发明的商品数据处理方法的一个实施例的示意图。
图2示出根据本发明的商品数据处理方法的另一个实施例的流程图。
图3示出根据本发明的商品数据处理方法的又一个实施例的流程图。
图4示出根据本发明的商品数据处理方法的再一个实施例的流程图。
图5示出根据本发明的商品数据处理装置的一个实施例的结构图。
图6示出根据本发明的商品数据处理装置的另一个实施例的结构图。
图7示出根据本发明的商品数据处理装置的又一个实施例的结构图。
图8示出根据本发明的商品数据处理装置的再一个实施例的结构图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出根据本发明的商品数据处理方法的一个实施例的示意图。
如图1所示，搭配特征数据库11中包含参考图片1～N中的参考商品：上装1～N、下装1～N和鞋1～N，以及这些参考商品之间的搭配关系如：上装2搭配下装2和鞋2等。提取待搭配图片12中的待搭配商品：上装X，并根据用户的需求，确定目标商品的类目为下装；将上装X与搭配特征数据库11中的上装1～N进行特征对比，选出与上装X特征最接近的上装2；根据上装2与下装2的搭配关系，确定推荐商品13为：下装2。
图2示出根据本发明的商品数据处理方法的另一个实施例的流程图。
如图2所示，步骤201，提取待搭配图片中待搭配商品的特征向量，确定待搭配商品的类目。例如，特征向量可以是根据深度学习模型确定的能够表征商品的纹理、材质、光照或形状等特征的向量；商品的类目可以是上衣、裤子、鞋子或配饰等。
步骤202，响应用户的搭配需求，确定目标商品的类目。
步骤203，将搭配特征数据库中与待搭配商品同类目且与其特征匹配的参考商品作为类比商品。
在一个实施例中，搭配特征数据库包括参考商品对应的特征向量和搭配关系。例如，搭配特征数据库中包含了各种上衣、裤子和鞋子等参考商品的搭配方案以及能够表示这些参考商品的颜色、材质和款式等特征的特征向量；类比商品与待搭配商品可以同为上衣，且二者的材质、纹理或款式接近。
步骤204，根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同类目的参考商品作为搭配结果。
上述实施例中，一方面，本发明通过提取待搭配图片中商品的特征向量，与搭配特征数据库中商品的特征向量进行比较，找到最接近的参考商品，根据搭配关系确定推荐商品，提高了搭配匹配度；另一方面，本发明的推荐商品不限于用户浏览过的商品，而是从数据库中的海量图片中进行挖掘，从而提高了搭配推荐的商品覆盖率。
图3示出根据本发明的商品数据处理方法的又一个实施例的流程图。
如图3所示，步骤301，提取待搭配图片中待搭配商品的特征向量，确定待搭配商品的类目。
步骤302，响应用户的搭配需求，确定目标商品的类目。
步骤303，将搭配特征数据库中所有与待搭配商品同类目的参考商品作为候选商品。
步骤304，分别计算各候选商品对应的特征向量与待搭配商品对应的特征向量之间的欧式距离。
步骤305，选取若干与待搭配商品之间的欧式距离最近的候选商品作为类比商品。例如，可以选择欧氏距离最短的10件候选商品作为类比商品。
在一个实施例中，分别计算各候选商品对应的特征向量与待搭配商品对应的特征向量之间的哈希海明距离，并选取N(例如，50，100，120，150，或200)件与待搭配商品之间的哈希海明距离最近的候选商品；然后分别计算这N件候选商品对应的特征向量与待搭配商品对应的特征向量之间的欧氏距离，并选取M(M<N，例如，10、20、30或40)件与待搭配商品之间的欧式距离最近的候选商品作为所述类比商品。
步骤306，根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同类目的参考商品作为搭配结果。
上述实施例中，本发明通过计算图像中待搭配商品与大量数据库图片中的参考商品之间的欧式距离确定了类比商品，并根据类比商品的搭配关系确定推荐商品，提高了商品搭配的覆盖率；利用哈希海明距离—欧式距离重排技术对参考图片进行粗筛和精选，大大减少了计算次数，从而提高了商品搭配的时效性。
图4示出根据本发明的商品数据处理方法的再一个实施例的流程图。
如图4所示，步骤401，利用Faster-RCNN确定待搭配图片中待搭配商品所在的目标区域。
在一个实施例中，首先，根据Faster-RCNN的深度学习模型提取待搭配图片的像素特征，生成若干可能出现待搭配商品的坐标集合，每一组坐标集合均确定待搭配图片中的一个具体区域；然后，依次对这些区域进行检测和分类，如果检测结果为该区域内存在待搭配商品，则将该区域对应的商品类目的置信度提升，否则，则将该区域对应的商品类目的置信度降低；最后，从具有高置信度的区域中定位待搭配商品。
步骤402，提取目标区域中待搭配商品的特征向量，确定待搭配商品的类目。
在一个实施例中，根据预先训练好的深度学习模型来提取待搭配商品的特征向量，该特征向量可以表征待搭配商品图片的纹理、材质、光照和形状等。
步骤403，响应用户的搭配需求，确定目标商品的类目。
步骤404，将搭配特征数据库中所有与待搭配商品同类目的参考商品作为候选商品。
在一个实施例中，利用上述方法对海量参考图片分别进行特征提取，根据获取的各参考商品的特征向量和搭配关系建立搭配特征数据库。
步骤405，分别计算各候选商品对应的特征向量与待搭配商品对应的特征向量之间的欧式距离。
步骤406，选取若干与待搭配商品之间的欧式距离最近的候选商品作为类比商品。
步骤407，根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同类目的参考商品作为搭配结果。
在上述实施例中，利用Faster-RCNN对商品图片中存在的商品个体进行识别和提取，获取商品响应的特征向量来表征商品特征。本方法通过深度学习模型自动生成特征向量来表征商品特征，而无需人为指定商品特征，可以挖掘海量参考图片中的商品搭配，从而提高了商品搭配的覆盖率和匹配度。
图5示出根据本发明的商品数据处理装置的一个实施例的结构图。
如图5所示，该装置包括：待搭配商品确定单元51、目标商品确定单元52、类比商品确定单元53和商品搭配单元54。
待搭配商品确定单元51提取待搭配图片中待搭配商品的特征向量，确定待搭配商品的类目；目标商品确定单元52响应用户的搭配需求，确定目标商品的类目。例如，待搭配图片为一张上装照片，用户希望给该照片中的上装搭配下装商品，待搭配商品确定单元51提取该照片中商品特征，确定待搭配商品的类目为上衣；目标商品确定单元52确定目标商品的类目为下装。
类比商品确定单元53将搭配特征数据库中与待搭配商品同类目且与其特征匹配的参考商品作为类比商品；商品搭配单元54根据类比商品对应的搭配关系，在搭配特征数据库中选取与目标商品同类目的参考商品作为搭配结果。例如，类比商品确定单元53将上述照片中的上衣的特征与搭配特征数据库中所有的上衣的特征进行对比检索，选出与上述照片中的上衣特征最接近的上衣，并召回同时包含该上衣和下装商品的参考图片(可以是模特展示照片)。
上述实施例中，一方面，待搭配商品确定单元提取待搭配图片中商品的特征向量后，与搭配特征数据库中商品的特征向量进行比较，找到最接近的参考商品，商品搭配单元根据搭配关系确定推荐商品，提高了搭配匹配度；另一方面，本发明推荐的搭配商品不限于有用户浏览过的商品，而是从数据库中的海量图片中进行挖掘，从而提高了搭配推荐的商品覆盖率。
图6示出根据本发明的商品数据处理装置的另一个实施例的结构图。
如图6所示，该装置包括：搭配特征数据库建立单元60、待搭配商品确定单元51、目标商品确定单元52、类比商品确定单元63和商品搭配单元54。其中，类比商品确定单元63包括：候选商品确定子单元631和特征距离确定子单元632。其中，待搭配商品确定单元51、目标商品确定单元52和商品搭配单元54的功能可以参照上述实施例的对应描述，为简洁起见在此不再描述。
搭配特征数据库建立单元60提取多张参考图片中各参考商品的特征向量，确定各参考商品的类目，根据各类目参考商品之间的搭配关系建立搭配特征数据库。例如，利用Faster-RCNN的图像检测模型对包含给类目商品的模特展示图片进行检测，获取每张图片中所包含的多个商品实体的位置，判断这些商品所属的类目，然后为每张图片中包含的多商品建立搭配关系，从而建立搭配特征数据库。
候选商品确定子单元631将搭配特征数据库中所有与待搭配商品同类目的参考商品作为候选商品；特征距离确定子单元632分别计算各候选商品对应的特征向量与待搭配商品对应的特征向量之间的欧式距离，并选取若干与待搭配商品之间的欧式距离最近的候选商品作为类比商品。
在一个实施例中，特征距离确定子单元632采用哈希海明距离—欧式距离重排技术对候选商品进行筛选，从而确定类比商品，例如，首先计算待搭配商品和所有相同类目的参考商品的特征向量之间的哈希海明距离，并从中选取N(例如，50，100，120，150，或200)件哈希海明距离最近的参考商品；然后计算待搭配商品和该N件参考商品的特征向量之间的欧氏距离，并从中选取M(M<N，例如，10、20、30或40)件欧式距离最近的参考商品作为类比商品。
上述实施例中，特征距离确定子单元利用哈希海明距离—欧式距离重排技术将高维特征向量降为低维特征向量，大大减少了特征向量之间距离的计算次数，从而提高了商品搭配的时效性。
图7示出根据本发明的商品数据处理装置的又一个实施例的结构图。
如图7所示，该装置包括：搭配特征数据库建立单元70、待搭配商品确定单元71、目标商品确定单元52、类比商品确定单元63和商品搭配单元54。其中，类比商品确定单元63包括：候选商品确定子单元631和特征距离确定子单元632；搭配特征数据库建立单元70包括：参考商品区域确定子单元701和参考商品类目确定子单元702；待搭配商品确定单元71包括：待搭配商品区域确定子单元711和待搭配商品类目确定子单元712。其中，目标商品确定单元52、类比商品确定单元63和商品搭配单元54的功能可以参照上述实施例的对应描述，为简洁起见在此不再描述。
参考商品区域确定子单元701提取参考图片的像素特征，生成若干坐标集合，每个坐标集合对应一个可能存在参考商品的图像区域，对图像区域进行检测，以确定确实存在参考商品的图像区域作为目标区域。
在一个实施例中，参考商品区域确定子单元701利用Faster-RCNN深度学习模型提取参考图片的像素特征，生成若干可能出现目标物体的坐标集合，其中每组坐标集合均定位一片具体区域；然后，参考商品区域确定子单元701依次对这些定位出的区域进行检测和分类，将确实存在目标物体的区域对应的商品类目(如上衣、下装或配饰等)置信度提升，否则，将置信度降低；最后，对每个具有较高置信度的区域进行检测从而定位相应商品类目的目标物体。
参考商品类目确定子单元702对目标区域中参考商品进行特征提取，生成参考商品对应的特征向量，根据特征向量确定参考商品的类目，并获取各类目参考商品之间的搭配关系，从而建立搭配特征数据库。
待搭配商品区域确定子单元711提取待搭配图片的像素特征，生成若干坐标集合，每个坐标集合对应一个可能存在待搭配商品的图像区域，对图像区域进行检测，以确定确实存在待搭配商品的图像区域作为目标区域；待搭配商品类目确定子单元721对目标区域中待搭配商品进行特征提取，生成待搭配商品对应的特征向量，根据特征向量确定待搭配商品的类目。
在一个实施例中，待搭配商品类目确定子单元721利用预先训练好的Faster-RCNN深度学习特征模型对目标区域进行特征提取，目标区域中的待搭配商品对应一个1024维的特征向量。该特征向量表征了商品图片的纹理、材质、光照和形状等图片特征，这些深度学习特征模型的特征不需要人为指定，而是通过模型自动学习来确定哪些特征最能表征图片特点。
在上述实施例中，利用Faster-RCNN对商品图片中存在的商品个体进行识别和提取，获取商品响应的特征向量来表征商品特征。本方法通过深度学习模型自动生成特征向量来表征商品特征，而无需人为指定商品特征，可以挖掘海量参考图片中的商品搭配，从而提高了商品搭配的覆盖率和匹配度。
图8示出根据本发明的商品数据处理装置的再一个实施例的结构图。
如图8所示，该实施例的装置80包括：存储器801以及耦接至该存储器801的处理器802，处理器802被配置为基于存储在存储器801中的指令，执行本发明中任意一个实施例中的商品数据处理方法。
其中，存储器801例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
至此，已经详细描述了根据本发明的商品数据处理方法和装置。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种商品数据处理方法，其特征在于，包括：
提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的类目；
响应用户的搭配需求，确定目标商品的类目；
将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品；
根据所述类比商品对应的搭配关系，在所述搭配特征数据库中选取与所述目标商品同类目的参考商品作为搭配结果，所述搭配关系根据不同类目的参考商品是否属于同一参考图片确定；
所述搭配特征数据库中包括各参考商品对应的特征向量和所述搭配关系，同一参考图片中不同类目的参考商品具有所述搭配关系；
其中，
所述将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品包括：
通过比较所述待搭配商品的特征向量与所述搭配特征数据库中同类商品的特征向量，确定所述类比商品；
还包括：
提取多张参考图片中各所述参考商品的特征向量，确定所述各参考商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据库。
2.根据权利要求1所述的方法，其特征在于，所述将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品包括：
将所述搭配特征数据库中所有与所述待搭配商品同类目的所述参考商品作为候选商品；
分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品。
3.根据权利要求2所述的方法，其特征在于，所述分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品包括：
分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的哈希海明距离，并选取第一预设值个与所述待搭配商品之间的哈希海明距离最近的所述候选商品构成候选集合；
计算所述候选集合中的所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧氏距离，并选取第二预设值个与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品；
所述第一预设值大于第二预设值。
4.根据权利要求3所述的方法，其特征在于，所述提取多张参考图片中各所述参考商品的特征向量，确定所述各参考商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据库包括：
利用快速区域卷积神经网络Faster-RCNN提取所述参考图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述参考商品的图像区域；
对所述图像区域进行检测，以确定确实存在所述参考商品的图像区域作为目标区域，并对所述目标区域中所述参考商品进行特征提取，生成所述参考商品对应的所述特征向量；
根据所述特征向量确定所述参考商品的类目，并获取各类目所述参考商品之间的搭配关系，从而建立所述搭配特征数据库。
5.根据权利要求4所述的方法，其特征在于，所述提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的类目包括：
利用Faster-RCNN提取所述待搭配图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述待搭配商品的图像区域；
对所述图像区域进行检测，以确定确实存在所述待搭配商品的图像区域作为目标区域，并对所述目标区域中所述待搭配商品进行特征提取，生成所述待搭配商品对应的所述特征向量；
根据所述特征向量确定所述待搭配商品的类目。
6.一种商品数据处理装置，其特征在于，包括：
待搭配商品确定单元，用于提取待搭配图片中待搭配商品的特征向量，确定所述待搭配商品的类目；
目标商品确定单元，用于响应用户的搭配需求，确定目标商品的类目；
类比商品确定单元，用于将搭配特征数据库中与所述待搭配商品同类目且与其特征匹配的参考商品作为类比商品；
商品搭配单元，用于根据所述类比商品对应的搭配关系，在所述搭配特征数据库中选取与所述目标商品同类目的参考商品作为搭配结果，所述搭配关系根据不同类目的参考商品是否属于同一参考图片确定，所述搭配特征数据库中包括各参考商品对应的特征向量和所述搭配关系，同一参考图片中不同类目的参考商品具有所述搭配关系；
其中，
所述类比商品确定单元通过比较所述待搭配商品的特征向量与所述搭配特征数据库中同类商品的特征向量，确定所述类比商品；
还包括：
搭配特征数据库建立单元，用于提取多张参考图片中各所述参考商品的特征向量，确定所述各参考商品的类目，根据各类目所述参考商品之间的搭配关系建立所述搭配特征数据库。
7.根据权利要求6所述的装置，其特征在于，所述类比商品确定单元包括：
候选商品确定子单元，用于将所述搭配特征数据库中所有与所述待搭配商品同类目的所述参考商品作为候选商品；
特征距离确定子单元，用于分别计算各所述候选商品对应的所述特征向量与所述待搭配商品对应的所述特征向量之间的欧式距离，并选取若干与所述待搭配商品之间的欧式距离最近的所述候选商品作为所述类比商品。
8.根据权利要求7所述的装置，其特征在于，所述搭配特征数据库建立单元包括：
参考商品区域确定子单元，用于提取所述参考图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述参考商品的图像区域，对所述图像区域进行检测，以确定确实存在所述参考商品的图像区域作为目标区域；
参考商品类目确定子单元，用于对所述目标区域中所述参考商品进行特征提取，生成所述参考商品对应的所述特征向量，根据所述特征向量确定所述参考商品的类目，并获取各类目所述参考商品之间的搭配关系，从而建立所述搭配特征数据库；
所述待搭配商品确定单元包括：
待搭配商品区域确定子单元，用于提取所述待搭配图片的像素特征，生成若干坐标集合，每个所述坐标集合对应一个可能存在所述待搭配商品的图像区域，对所述图像区域进行检测，以确定确实存在所述待搭配商品的图像区域作为目标区域；
待搭配商品类目确定子单元，用于对所述目标区域中所述待搭配商品进行特征提取，生成所述待搭配商品对应的所述特征向量，根据所述特征向量确定所述待搭配商品的类目。
9.一种商品数据处理装置，其特征在于，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器设备中的指令，执行如权利要求1至5中任一项所述的商品数据处理方法。
CN201710089504.9A 2017-02-20 2017-02-20 商品数据处理方法和装置 Active CN106846122B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710089504.9A CN106846122B (zh) 2017-02-20 2017-02-20 商品数据处理方法和装置
PCT/CN2017/119516 WO2018149237A1 (zh) 2017-02-20 2017-12-28 物品数据处理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710089504.9A CN106846122B (zh) 2017-02-20 2017-02-20 商品数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN106846122A CN106846122A (zh) 2017-06-13
CN106846122B true CN106846122B (zh) 2021-02-26

Family

ID=59127960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710089504.9A Active CN106846122B (zh) 2017-02-20 2017-02-20 商品数据处理方法和装置

Country Status (2)

Country Link
CN (1) CN106846122B (zh)
WO (1) WO2018149237A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846122B (zh) * 2017-02-20 2021-02-26 北京京东尚科信息技术有限公司 商品数据处理方法和装置
CN107463946B (zh) * 2017-07-12 2020-06-23 浙江大学 一种结合模板匹配与深度学习的商品种类检测方法
CN109034980B (zh) * 2018-08-23 2021-12-28 深圳码隆科技有限公司 一种搭配商品推荐方法、装置和用户终端
CN110874771A (zh) * 2018-08-29 2020-03-10 北京京东尚科信息技术有限公司 一种商品搭配的方法和装置
CN111476621B (zh) * 2019-01-24 2023-09-22 百度在线网络技术（北京）有限公司 用户物品推荐方法和装置
CN111797664B (zh) * 2019-08-19 2024-04-19 北京沃东天骏信息技术有限公司 视频中的目标检测方法、装置和计算机可读存储介质
CN112907311A (zh) * 2019-12-04 2021-06-04 北京沃东天骏信息技术有限公司 物品的识别方法及装置、计算机存储介质、电子设备
CN113127728B (zh) * 2020-01-16 2024-10-18 北京沃东天骏信息技术有限公司 一种处理物品场景图的方法和装置
CN113378601A (zh) * 2020-03-09 2021-09-10 深圳码隆科技有限公司 防止货损的方法、自助设备及存储介质
CN111798286B (zh) * 2020-04-26 2024-07-19 北京沃东天骏信息技术有限公司 物品搭配方法、物品搭配模型的构建方法和计算机
CN113744011A (zh) * 2020-06-17 2021-12-03 北京沃东天骏信息技术有限公司 物品搭配方法和物品搭配装置
CN113628011B (zh) * 2021-08-16 2023-07-25 唯品会(广州)软件有限公司 一种商品搭配方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951966A (zh) * 2015-07-13 2015-09-30 百度在线网络技术（北京）有限公司 推荐服饰商品的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200249B (zh) * 2014-08-26 2017-07-21 重庆邮电大学 一种衣物自动搭配的方法，装置及系统
CN104331417B (zh) * 2014-10-09 2018-01-02 深圳码隆科技有限公司 一种用户个人服饰的搭配方法
CN105138610A (zh) * 2015-08-07 2015-12-09 深圳码隆科技有限公司 一种基于图像元素的图像特征值预测方法和装置
CN105224775B (zh) * 2015-11-12 2020-06-05 中国科学院重庆绿色智能技术研究院 基于图片处理来对衣服进行搭配的方法和装置
CN106846122B (zh) * 2017-02-20 2021-02-26 北京京东尚科信息技术有限公司 商品数据处理方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951966A (zh) * 2015-07-13 2015-09-30 百度在线网络技术（北京）有限公司 推荐服饰商品的方法及装置

Also Published As

Publication number Publication date
WO2018149237A1 (zh) 2018-08-23
CN106846122A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106846122B (zh) 商品数据处理方法和装置
JP7196885B2 (ja) 検索システム、検索方法、及びプログラム
US10747826B2 (en) Interactive clothes searching in online stores
US8983142B1 (en) Programmatic silhouette attribute determination
KR102514935B1 (ko) 이미지 특징 데이터 추출 및 사용
KR102664008B1 (ko) 시각 정보에 기초한 고객 아이템 추천 방법 및 장치
US20200342320A1 (en) Non-binary gender filter
US8036416B2 (en) Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
US20140310304A1 (en) System and method for providing fashion recommendations
US9727620B2 (en) System and method for item and item set matching
US11475500B2 (en) Device and method for item recommendation based on visual elements
US20130185288A1 (en) Product search device, product search method, and computer program product
US20180173807A1 (en) System for managing a wardrobe
JP7509144B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111028029B (zh) 一种线下商品推荐方法、装置和电子设备
KR20200020748A (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
US20150269189A1 (en) Retrieval apparatus, retrieval method, and computer program product
JP2016218578A (ja) 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム
CN105117935A (zh) 智能搭配服饰的实现方法及装置
KR20190115930A (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
CN112905875A (zh) 一种线下交互式的内容推荐方法及系统、存储介质
WO2018109699A1 (en) Systems and methods for matching garments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant