CN107330750A - 一种推荐产品配图方法及装置，电子设备 - Google Patents

Abstract

本申请提供了一种推荐产品配图方法，属于计算机技术领域，解决现有技术中存在的配图选择不准确的问题。所述方法包括：在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。本申请公开的方法，通过结合名称识别和图像相似度共同确定推荐产品的配图，可以进一步提升产品配图的准确性。相比人工选择推荐产品的配图而言，进一步提升了产品配图的效率。

Description

一种推荐产品配图方法及装置，电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种推荐产品配图方法及装置，电子设备。

背景技术

在O2O平台等互联网平台中，为了提升用户体验，大部分平台都集成了产品推荐的功能，即结合用户的行为习惯或产品的推广需求为用户推荐相应的产品。平台向用户推荐产品的过程中，推荐的内容通常包括产品名称、简介、产品图片等。其中，产品图片是按照预设方法，根据平台预先存储的图片为产品匹配的图片。现有技术中，为推荐产品配图的方法通常有以下两种：第一种，确定待配图产品的类别，选择平台中预先存储的该类别产品的代表图片作为该待配图产品的配图；第二种，从不同商家使用的表示同一件产品的、内容各异的产品图像集合中为该产品选取一个最能表示其产品属性的图片，作为该待配图产品的配图。

但是，现有技术中的第一种配图方法过分依赖产品的分类，若平台上产品分类不精确，则会出现推荐产品配图不准确的现象。而第二种配图方法仅仅选取产品图片的局部特征计算图片之间的相似度，也会出现推荐产品配图不准确的现象。

可见，现有技术中的推荐产品配图方法至少存在配图选择不准确的缺陷。

发明内容

本申请提供一种推荐产品配图方法，解决现有技术中的推荐产品配图方法存在的配图选择不准确的问题。

为了解决上述问题，第一方面，本申请实施例提供了一种推荐产品配图方法包括：

在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；

在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；

根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。

第二方面，本申请实施例提供了一种推荐产品配图装置，包括：

名称维度候选配图选择模块，用于在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；

图像相似度维度候选配图选择模块，用于在未被所述名称维度候选配图选择模块选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；

配图召回模块，用于根据所述名称维度候选配图选择模块和所述图像相似度维度候选配图选择模块选择的候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。

第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的推荐产品配图方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的推荐产品配图方法的步骤。

本申请实施例公开的推荐产品配图方法，通过在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；然后，在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；最后，根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图解决了现有技术中存在的配图选择不准确的问题。通过结合名称识别和图像相似度共同确定推荐产品的配图，可以进一步提升产品配图的准确性。相比人工选择推荐产品的配图而言，进一步提升了产品配图的效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一的推荐产品配图方法流程图；

图2是本申请实施例二的推荐产品配图方法流程图；

图3是本申请实施例三的推荐产品配图装置结构示意图之一；

图4是本申请实施例三的推荐产品配图装置结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开的推荐产品配图方法适用于互联网平台上针对个体用户或商家上传的UGC(User Generated Content，用户产生内容)图像给相应的推荐产品进行配图。例如，为团购或外卖网站的POI(Point of Interest)门店的推荐菜配图，为淘宝的推荐服装配图，为某地的推荐景点配图等。本申请的实施例中，以为团购网站的推荐菜配图为例，对推荐产品配图方法的具体技术方案进行详细说明，其中，推荐产品为菜品，待选择产品图像包括菜品图像。

实施例一

本实施例公开的一种推荐产品配图方法，如图1所示，该方法包括：步骤100至步骤120。

步骤100，在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图。

本申请实施例中所述的待选择产品图像为用户上传的用于作为推荐产品配图的UGC图像。在待选择产品图像中，有的图像中标识有菜品名称，可以通过识别图像中的菜品名称对产品图像与推荐菜品进行匹配。因此，本申请实施例中，在用户上传的菜品图像中选择合适的图像作为推荐菜品的配图之前，首先要训练名称筛选模型，即以下实施例中的菜名筛选模型，对用户上传的UGC图像做初步识别。

具体实施时，菜名筛选模型利用预设的N类菜名对应的图像、食材和口味属性等训练基于Inception深度学习网络的多任务模型，选用SoftmaxLoss作为菜名识别任务的损失函数，SigmoidCrossEntropyLoss作为食材、口味等属性标签的损失函数，共同对深度学习网络中各层的参数进行优化学习，以训练菜名筛选模型。菜名筛选模型的具体训练方法可以参见现有技术中基于Inception深度学习网络的分类模型训练方法，此处不再赘述。具体实施时，N可以为100或1000，还可以是其他数字，根据网络平台的实际产品种类和分类标准确定。

具体应用过程中，对于待选择产品图像，通过该菜名筛选模型可以对所述产品图像进行分类，并得到各待选择产品图像属于某个菜名类别的置信度，即该待选择产品图像作为某个菜名的推荐菜品的候选配图的置信度，根据预先设定的置信度条件可以确定各个产品图像匹配的菜名，并将该产品图像作为匹配的菜名的候选配图。

由于该菜名筛选模型是基于N类训练数据产生的分类模型，训练时，通过增大类间方差的方式来区分不同类别的图像，因此学习到的特征更具有区分性。具体实施时，可以将菜名筛选模型对某个产品图像进行识别时得到的N个置信度作为该产品图像的N维特征向量。利用该特征向量进行图像之间的相似度比较，可以从增大类间方差的角度对图像相似度进行衡量。

通过训练的菜名筛选模型，可以对任意输入的图像进行菜名识别，也可以将最终分类产生的N维特征向量作为该图像的特征表达。具体实施时，菜名筛选模型提取的产品图像的特征的具体维度数量根据菜名筛选模型可以识别的菜名类别确定。

步骤110，在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图。

针对所述待选择产品图像，通过预先训练的菜名筛选模型可以初步筛选出推荐菜品的一部分配图。将通过预先训练的菜名筛选模型无法准确识别匹配的推荐菜品的产品图像作为待匹配产品图像，进一步根据图像相似度进行筛选，从所述待匹配产品图像中选择推荐产品的配图。

具体实施时，针对所述待匹配产品图像，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图时，首先需要训练至少两个相似度筛选模型。所述至少两个相似度筛选模型从不同的相似度角度衡量图像的相似度。例如，所述至少两个相似度筛选模型包括两个相似度筛选模型，分别从增大类间方差的角度和从减小类内方差的角度对图像的相似度进行衡量。再例如，所述至少两个相似度筛选模型包括三个相似度筛选模型，分别从图像颜色、结构特征、纹理特征的角度对图像的相似度进行衡量。

通过预先训练的相似度筛选模型可以提取待匹配产品图像和推荐产品标准图的特征向量，然后根据提取的特征向量计算两幅图像的相似度，并进一步根据计算得到的相似度确定某一幅待匹配产品图像作为所述推荐产品的候选配图的置信度，以及该待匹配产品图像是否可以作为所述推荐产品的候选配图。

步骤120，根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。

最后，对于通过菜名筛选模型选择出的候选配图、相似度筛选模型选择的候选配图，进一步根据置信度选择推荐产品的配图。

由于菜名筛选模型和不同的相似度筛选模型，在选择候选配图时分别按照不同标准计算的置信度，因此，在最后综合筛选时，需要对置信度进行归一化，并根据业务需求设置相应筛选标准得到的置信度的权重，计算置信度的加权归一化值，根据加权归一化值在不同筛选模型已经选择的候选配图中选择推荐产品的配图。

本申请实施例公开的推荐产品配图方法，通过在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；然后，在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；最后，根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图解决了现有技术中存在的配图选择不准确的问题。通过结合名称识别和图像相似度共同确定推荐产品的配图，可以进一步提升产品配图的准确性。相比人工选择推荐产品的配图而言，进一步提升了产品配图的效率。

实施例二

本实施例公开的一种推荐产品配图方法，如图2所示，该方法包括：步骤200至步骤230。

步骤200，通过预先训练的产品图像识别模型，对获取的图像进行过滤，得到与推荐产品匹配的待选择产品图像。

以推荐产品为菜品为例，具体实施时，用户上传的UGC图像中包括菜品图像，也可能包含其他内容的图片，如菜品的价目、口味介绍、相关推荐商家等，涉及的具体应用场景较复杂。因此，为了提高后续图像筛选的准确性和效率，首先通过预先训练的产品图像识别模型对图像内容进行识别，仅将图像内容为菜品图像的图像作为待选择产品图像，过滤掉其他内容的图像。

具体实施时，对于用户上传的UGC图像，利用场景分类模型，如基于CaffeNet网络的分类模型，产生四个类别，如：美食、场景、价目表和其他，然后，选择美食类别的UGC图像作为待选择产品图像。

步骤210，在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图。

本申请实施例中所述的待选择产品图像为用于作为推荐产品配图的图像。在待选择产品图像中，有的图像中标识有菜品名称，可以通过识别图像中的菜品名称对产品图像与推荐菜品进行匹配。因此，本申请实施例中，在待选择的菜品图像中选择合适的图像作为推荐菜品的配图之前，首先要训练名称筛选模型，即以下实施例中的菜名筛选模型，对待选择图像做初步识别。

具体实施时，假设菜名筛选模型利用预设的1000类菜名对应的图像、食材和口味属性等训练基于Inception深度学习网络的多任务模型，选用SoftmaxLoss作为菜名识别任务的损失函数，SigmoidCrossEntropyLoss作为食材、口味等属性标签的损失函数，共同对深度学习网络中各层的参数进行优化学习，以训练菜名筛选模型。菜名筛选模型的具体训练方法可以参见现有技术中基于Inception深度学习网络的分类模型训练方法，此处不再赘述。

具体应用过程中，在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图，包括：基于名称筛选模型，确定待选择产品图像作为推荐产品配图的置信度；将所述置信度满足相应预设条件的待选择产品图像，作为所述推荐产品的候选配图；其中，所述名称筛选模型为针对推荐产品名称预先训练的图像识别模型。

对于待选择产品图像，通过该菜名筛选模型可以对所述待选择产品图像进行分类，并得到各待选择产品图像属于某个菜名类别的置信度，即该待选择产品图像作为某个菜名的推荐菜品的候选配图的置信度。具体实施时，菜名筛选模型对待选择产品图像进行识别，对于输入的每个待选择产品图像可以自动产生一个1000维特征向量，分别代表将该待选择产品图像判定为1000个菜品名称中某一个菜品的置信度大小，然后确定置信度最高的菜品名称为该待选择产品图像对应的推荐菜品。具体实施时，所述菜名筛选模型从每个待选择产品图像中提取的特征向量的维度根据训练所述菜名筛选模型时的菜名类别数量确定。例如：菜名筛选模型从每个待选择产品图像P₁中提取的特征向量为F₁＝{f_1-1，f_1-2，f_1-3，…,f_1-1000}，其中，f_1-1、f_1-2、f_1-3、…、f_1-1000分别对应于推荐菜品1、推荐菜品2、推荐菜品3、…、推荐菜品1000，若f_1-3最大，则待选择产品图像P₁对应推荐菜品3，即待选择产品图像P₁识别为最可能是推荐菜品3的图像。

然后，将所述置信度满足相应预设条件的待选择产品图像，作为所述推荐产品的候选配图。例如，根据预先设定的置信度阈值，将置信度大于预设的置信度阈值的各待选择产品图像确定作为匹配的菜名的候选配图。假设预先设定的置信度阈值为F_th1，如果f_1-3>F_th1，则将待选择产品图像P₁确定作为匹配的菜名的候选配图。

步骤220，在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图。

具体实施时，针对所述待选择产品图像，通过预先训练的菜名筛选模型可以初步筛选出推荐菜品的一部分配图。若待选择产品图像有5000幅，所述名称筛选模型可能选中其中的500张待选择产品图像作为相应推荐产品的候选配图，剩余的4500张图像需要进一步根据图像相似度进行筛选。即，将通过预先训练的菜名筛选模型无法准确识别匹配的推荐菜品的产品图像作为待匹配产品图像，进一步根据图像相似度进行筛选，从所述待匹配产品图像中选择推荐产品的配图。

在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图，包括：基于每个所述相似度筛选模型，分别确定待匹配产品图像作为推荐产品配图的置信度；将所述置信度满足相应预设条件的待匹配产品图像，作为所述推荐产品的候选配图；其中，所述待匹配产品图像为所述待选择产品图像中未被所述名称筛选模型选中的产品图像；每个所述相似度筛选模型衡量相似度的角度不同。

具体实施时，基于每个所述相似度筛选模型，分别确定待匹配产品图像作为推荐产品配图的置信度，包括：基于每个所述相似度筛选模型，分别执行以下操作：提取待匹配产品图像和所述推荐产品标准图的预设特征向量；基于提取的特征向量确定所述推荐产品标准图和所述待匹配产品图像的相似度；根据所述相似度确定所述待匹配图像作为推荐产品配图的置信度。

本实施例中，以所述至少两个相似度筛选模型包括：基于深度卷积神经网络的名称筛选模型和基于图像对的深度卷积神经网络相似度比较模型为例，说明基于每个所述相似度筛选模型，分别确定待匹配产品图像作为推荐产品配图的置信度的具体实施方案。基于深度卷积神经网络的名称筛选模型，用于从增大类间方差的角度对图像的相似度进行衡量；基于图像对的深度卷积神经网络相似度比较模型，用于从减小类内方差的角度对图像的相似度进行衡量。

对于第一个相似度筛选模型——基于深度卷积神经网络的名称筛选模型，首先，提取待匹配产品图像和所述推荐产品标准图的特征向量；然后，基于提取的特征向量确定所述推荐产品标准图和所述待匹配产品图像的相似度；最后，根据所述相似度确定所述待匹配图像作为推荐产品配图的置信度。

基于深度卷积神经网络的名称筛选模型可以为前述的名称筛选模型，也可以采用与训练所述名称筛选模型类似的方式训练的其他模型。若基于深度卷积神经网络的名称筛选模型可以为前述的名称筛选模型，则可以将菜名筛选模型对某个图像进行识别时得到的1000个置信度作为该图像的1000维特征向量，即将最终分类产生的1000维特征向量作为该图像的特征表达。首先，利用基于深度卷积神经网络的名称筛选模型，即基于Inception深度学习网络的分类模型对待匹配产品图像P₂和推荐产品的标准图P_s分别进行提特征提取，得到待匹配产品图像P₂的特征向量w₁和推荐产品的标准图P_s的特征向量和w₂。

然后，分别计算待匹配产品图像P₂的特征向量w₁和推荐产品的标准图P_s的特征向量和w₂之间的相似度距离d。具体实施时，可以通过欧式距离来表征特征向量之间的相似度距离d，具体计算公式为：具体实施时，计算特征向量之间的相似度距离的具体方法根据训练基于深度卷积神经网络的名称筛选模型时损失函数SoftmaxLoss和SigmoidCrossEntropyLoss的定义，以及不同的距离度量方式在实际任务中的效果确定。

最后，通过计算得到的相似度距离表示图像之间的相似度，根据所述相似度确定所述待匹配图像作为推荐产品配图的置信度。本实施例中，以特征向量之间的相似度距离d作为所述待匹配图像作为推荐产品配图的置信度。具体实施时，所述待匹配图像作为推荐产品配图的置信度也可以基于所述相似度距离，采用其他方法确定，本申请对此不做限定。

具体实施时，将所述置信度满足相应预设条件的待匹配产品图像，作为所述推荐产品的候选配图，可以为，将置信度小于预设置信度阈值T_e的待匹配图像作为所述推荐产品的候选配图。

对于第二个相似度筛选模型——基于图像对(pair-wise)的深度卷积神经网络相似度比较模型，首先，提取待匹配产品图像和所述推荐产品标准图的特征向量；然后，基于提取的特征向量确定所述推荐产品标准图和所述待匹配产品图像的相似度；最后，根据所述相似度确定所述待匹配图像作为推荐产品配图的置信度。

基于图像对的深度卷积神经网络相似度比较模型利用相似菜品图像对和不相似菜品图像对训练得到，具体实施时，选择基于Siamese网络的相似度比较模型，选用ContrastiveLoss作为损失函数。其中，相似菜品图像对是从同一类菜品图像中随机选取，不相似图像对是随机选择两种菜品类型的图像，并分别从中随机选取一幅图像构成。

Siamese网络的相似度比较模型利用ContrastiveLoss损失函数，在对不相似菜品图像对的距离进行度量之外还对相似图像对的距离进行了度量，相比分类模型只利用SoftmaxLoss对不同类别之间的图像距离进行度量，Siamese网络的相似度比较模型可以从减小类内方差的角度对图像之间的相似度进行进一步描述。训练基于图像对的深度卷积神经网络相似度比较模型的具体方法参见现有技术，此处不再赘述。

具体应用过程中，将待匹配产品图像输入训练好的基于图像对的深度卷积神经网络相似度比较模型，可以得到一个M维的特征向量，M为大于1的整数，可以等于1000，也可以为其他值，M的取值根据训练基于图像对的深度卷积神经网络相似度比较模型时选择的训练数据确定。首先，利用图像对的深度卷积神经网络相似度比较模型，即基于Siamese网络的相似度比较模型对待匹配产品图像P₂和推荐产品的标准图P_s分别进行提特征提取，得到对待匹配产品图像P₂的特征向量w_s1和推荐产品的标准图P_s的特征向量和w_s2。

然后，分别计算待匹配产品图像P₂的特征向量w_s1和推荐产品的标准图P_s的特征向量和w_s2之间的相似度距离d_s。具体实施时，可以通过余弦距离来表征特征向量之间的相似度距离d_s，具体计算公式为：

其中，d_s∈[-1，1]，具体实施时，计算特征向量之间的相似度距离的具体方法根据训练基于深度卷积神经网络相似度比较模型时损失函数ContrastiveLoss的定义，以及不同的距离度量方式在实际任务中的效果确定。

最后，通过计算得到的相似度距离表示图像之间的相似度，根据所述相似度距离确定所述待匹配图像作为推荐产品配图的置信度。本实施例中，以特征向量之间的相似度距离d_s作为所述待匹配图像作为推荐产品配图的置信度。具体实施时，所述待匹配图像作为推荐产品配图的置信度也可以基于所述相似度距离，采用其他方法确定。本申请对此不做限定。

具体实施时，将所述置信度满足相应预设条件的待匹配产品图像，作为所述推荐产品的候选配图，可以为，将置信度d_s≥0的待匹配图像作为所述推荐产品的候选配图。

步骤230，根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。

最后，对于通过菜名筛选模型选择出的候选配图、相似度筛选模型选择的候选配图，进一步根据置信度选择推荐产品的配图。根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图，包括：对所述候选配图作为所述推荐产品的候选配图的置信度进行归一化处理，得到每个候选配图对应的归一化置信度；将所述候选配图对应的归一化置信度与选择所述候选配图的筛选模型对应的置信度权重的乘积，作为所述候选配图的融合置信度；对于基于至少两个相似度筛选模型选择的所述候选配图中重复候选配图，通过该候选配图对应的融合置信度的均值，更新该候选配图的融合置信度；选择预设数量融合置信度最高的不同产品图像，作为所述推荐产品的配图。

由于菜名筛选模型和不同的相似度筛选模型，在选择候选配图时分别按照不同标准计算的置信度，因此，在最后综合筛选时，需要对置信度进行归一化，并根据业务需求设置相应筛选标准得到的置信度的权重，计算置信度的加权归一化值，根据加权归一化值在不同筛选模型已经选择的候选配图中选择推荐产品的配图。

由于菜名筛选模型和不同的相似度筛选模型，在选择候选配图时分别按照不同标准计算的置信度，因此，置信度的归一化方法也各有不同。

在本实施例中，以菜名筛选模型得到的置信度范围作为归一化参考，菜名筛选模型得到的置信度范围小于1，因此，菜名筛选模型得到的置信度不需要归一化，即归一化置信度为p₁＝f，然后，将每个相似度筛选模型选择的候选配图的相似度归一化到0至1之间。

具体实施时，对于基于深度卷积神经网络的名称筛选模型得到的候选图像的置信度d，可以通过公式对其进行归一化，得到归一化置信度p₂，p₂∈[0，1]，其中T_e为预设的置信度阈值，实际应用中取值为180。

对于基于图像对(pair-wise)的深度卷积神经网络相似度比较模型得到的候选图像的置信度d_s，可以通过公式对其进行归一化，得到归一化置信度p₃，p₃∈[0，1]。

然后，对于由名称筛选模型选择的候选配图的归一化置信度p₁、由基于深度卷积神经网络的名称筛选模型选择的候选配图的归一化置信度p₂和由基于图像对(pair-wise)的深度卷积神经网络相似度比较模型选择的候选配图的归一化置信度p₃，将所述候选配图对应的归一化置信度与选择所述候选配图的筛选模型对应的置信度权重的乘积，作为所述候选配图的融合置信度。具体实施时，筛选模型对应的置信度权重通过该算法模型在其对应验证数据集上通过实验获取。假设名称筛选模型的置信度权重为α₁、基于深度卷积神经网络的名称筛选模型的置信度权重为α₂、基于图像对的深度卷积神经网络相似度比较模型的置信度权重为α₃，其中，α₁，α₂，α₃∈[0，1]，则各候选配图的融合置信度计算方法如下：

对于由名称筛选模型选择的候选配图，其融合置信度为p₁′＝α₁·p₁；

对于由基于深度卷积神经网络的名称筛选模型选择的候选配图，其融合置信度为p₂′＝α₂·p₂；

对于由基于图像对的深度卷积神经网络相似度比较模型选择的候选配图，其融合置信度为p₃′＝α₃·p₃。

最后，选择预设数量融合置信度最高的不同产品图像，作为所述推荐产品的配图。

具体实施时，对于由基于深度卷积神经网络的名称筛选模型选择的候选配图和由基于图像对的深度卷积神经网络相似度比较模型选择的候选配图中重复的候选配图，在得到融合置信度之后，首先对其融合置信度进行调整，将所述候选配图基于深度卷积神经网络的名称筛选模型获得的融合置信度p₂′与通过基于图像对的深度卷积神经网络相似度比较模型获得的融合置信度p₃′的均值作为该候选配图调整后的归一化置信度。

最后，再按照融合置信度由高到低的顺序，选择融合置信度最高的预设数量不同候选配图作为所述推荐产品的配图。其中，预设数量根据具体业务需求确定。

本申请实施例公开的推荐产品配图方法，通过首先对获取的图像进行过滤，得到与推荐产品匹配的待选择产品图像，并在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；然后，在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；最后，根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图解决了现有技术中存在的配图选择不准确的问题。通过结合名称识别和图像相似度共同确定推荐产品的配图，可以进一步提升产品配图的准确性。相比人工选择推荐产品的配图而言，进一步提升了产品配图的效率。

通过结合名称筛选，以及从不同角度衡量图像相似度的图像相似度筛选，不仅可以提高配图的准确性，还可以提高配图召回率。通过首先采用对用户上传的图像进行过滤，过滤掉非该产品所属类型的UGC图像，可以提高后续图像筛选的准确性和效率。通过根据模型在其对应验证数据集上的表现设置筛选模型对应的置信度权重，并结合置信度权重进行配图召回，不经可以提高配图的准确性，还使得业务方可在配图召回率和人力成本之间权衡，选取合适数量的UGC图像进行召回。

实施例三

本实施例公开的一种推荐产品配图装置，如图3所示，所述装置包括：

名称维度候选配图选择模块300，用于在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；

图像相似度维度候选配图选择模块310，用于在未被所述名称维度候选配图选择模块300选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；

配图召回模块320，用于根据所述名称维度候选配图选择模块300和所述图像相似度维度候选配图选择模块310选择的候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。

所述名称筛选模型和相似度筛选模型的训练过程参见方法实施例部分，此处不再赘述。

可选的，如图4所示，所述名称维度候选配图选择模块300包括：

第一置信度确定单元3001，用于基于名称筛选模型，确定待选择产品图像作为推荐产品配图的置信度；

第一候选配图选择单元3002，用于将所述置信度满足相应预设条件的待选择产品图像，作为所述推荐产品的候选配图；

其中，所述名称筛选模型为针对推荐产品名称预先训练的图像识别模型。

可选的，如图4所示，所述图像相似度维度候选配图选择模块310包括：

第二置信度确定单元3101，用于基于每个所述相似度筛选模型，分别确定待匹配产品图像作为推荐产品配图的置信度；

第二候选配图选择单元3102，用于将所述置信度满足相应预设条件的待匹配产品图像，作为所述推荐产品的候选配图；

其中，所述待匹配产品图像为所述待选择产品图像中未被所述名称筛选模型选中的产品图像；每个所述相似度筛选模型衡量相似度的角度不同。

可选的，如图4所示，所述第二置信度确定单元3101具体用于：基于每个所述相似度筛选模型，分别执行以下操作：

提取待匹配产品图像和所述推荐产品标准图的特征向量；

基于提取的特征向量确定所述推荐产品标准图和所述待匹配产品图像的相似度；

根据所述相似度确定所述待匹配图像作为推荐产品配图的置信度。

可选的，如图4所示，所述至少两个相似度筛选模型包括：

基于深度卷积神经网络的名称筛选模型，用于从增大类间方差的角度对图像的相似度进行衡量；

基于图像对的深度卷积神经网络相似度比较模型，用于从减小类内方差的角度对图像的相似度进行衡量。

可选的，如图4所示，所述配图召回模块320包括：

置信度归一化单元3201，用于对所述候选配图作为所述推荐产品的候选配图的置信度进行归一化处理，得到每个候选配图对应的归一化置信度；

置信度融合单元3202，用于将所述候选配图对应的归一化置信度与选择所述候选配图的筛选模型对应的置信度权重的乘积，作为所述候选配图的融合置信度；

融合置信度更新单元3203，用于对于基于至少两个相似度筛选模型选择的所述候选配图中重复候选配图，通过该候选配图对应的融合置信度的均值，更新该候选配图的融合置信度；

配图召回单元3204，用于选择预设数量融合置信度最高的不同产品图像，作为所述推荐产品的配图。

本申请实施例公开的推荐产品配图装置，通过首先对获取的图像进行过滤，得到与推荐产品匹配的待选择产品图像，并在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；然后，在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；最后，根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图解决了现有技术中存在的配图选择不准确的问题。通过结合名称识别和图像相似度共同确定推荐产品的配图，可以进一步提升产品配图的准确性。相比人工选择推荐产品的配图而言，进一步提升了产品配图的效率。

通过结合名称筛选，以及从不同角度衡量图像相似度的图像相似度筛选，不仅可以提高配图的准确性，还可以提高配图召回率。通过首先采用对用户上传的图像进行过滤，过滤掉非产品图像的UGC图像，可以提高后续图像筛选的准确性和效率。通过根据模型在其对应验证数据集上的表现设置筛选模型对应的置信度权重，并结合置信度权重进行配图召回，不经可以提高配图的准确性，还使得业务方可在配图召回率和人力成本之间权衡，选取合适数量的UGC图像进行召回。

相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一和实施例二所述推荐产品配图方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。

本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一和实施例二所述的推荐产品配图方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请提供的一种推荐产品配图方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种推荐产品配图方法，其特征在于，包括：

在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；

在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；

根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。

2.根据权利要求1所述的方法，其特征在于，所述在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图的步骤，包括：

基于名称筛选模型，确定待选择产品图像作为推荐产品配图的置信度；

将所述置信度满足相应预设条件的待选择产品图像，作为所述推荐产品的候选配图；

其中，所述名称筛选模型为针对推荐产品名称预先训练的图像识别模型。

3.根据权利要求1所述的方法，其特征在于，所述在未被所述名称筛选模型选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图的步骤，包括：

基于每个所述相似度筛选模型，分别确定待匹配产品图像作为推荐产品配图的置信度；

将所述置信度满足相应预设条件的待匹配产品图像，作为所述推荐产品的候选配图；

其中，所述待匹配产品图像为所述待选择产品图像中未被所述名称筛选模型选中的产品图像；每个所述相似度筛选模型衡量相似度的角度不同。

4.根据权利要求3所述的方法，其特征在于，所述基于每个所述相似度筛选模型，分别确定待匹配产品图像作为推荐产品配图的置信度的步骤，包括：

基于每个所述相似度筛选模型，分别执行以下操作：

提取待匹配产品图像和所述推荐产品标准图的特征向量；

基于提取的特征向量确定所述推荐产品标准图和所述待匹配产品图像的相似度；

根据所述相似度确定所述待匹配图像作为推荐产品配图的置信度。

5.根据权利要求3所述的方法，其特征在于，所述至少两个相似度筛选模型包括：

基于深度卷积神经网络的名称筛选模型，用于从增大类间方差的角度对图像的相似度进行衡量；

基于图像对的深度卷积神经网络相似度比较模型，用于从减小类内方差的角度对图像的相似度进行衡量。

6.根据权利要求1所述的方法，其特征在于，所述根据所述候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图的步骤，包括：

对所述候选配图作为所述推荐产品的候选配图的置信度进行归一化处理，得到每个候选配图对应的归一化置信度；

将所述候选配图对应的归一化置信度与选择所述候选配图的筛选模型对应的置信度权重的乘积，作为所述候选配图的融合置信度；

对于基于至少两个相似度筛选模型选择的所述候选配图中重复候选配图，通过该候选配图对应的融合置信度的均值，更新该候选配图的融合置信度；

选择预设数量融合置信度最高的不同产品图像，作为所述推荐产品的配图。

7.一种推荐产品配图装置，其特征在于，包括：

名称维度候选配图选择模块，用于在待选择产品图像中，基于名称筛选模型选择推荐产品的候选配图；

图像相似度维度候选配图选择模块，用于在未被所述名称维度候选配图选择模块选中的所述待选择产品图像中，分别基于至少两个相似度筛选模型选择所述推荐产品的候选配图；

配图召回模块，用于根据所述名称维度候选配图选择模块和所述图像相似度维度候选配图选择模块选择的候选配图作为所述推荐产品的候选配图的置信度，选择预设数量不同的候选配图，作为所述推荐产品的配图。

8.根据权利要求7所述的装置，其特征在于，所述配图召回模块包括：

置信度归一化单元，用于对所述候选配图作为所述推荐产品的候选配图的置信度进行归一化处理，得到每个候选配图对应的归一化置信度；

置信度融合单元，用于将所述候选配图对应的归一化置信度与选择所述候选配图的筛选模型对应的置信度权重的乘积，作为所述候选配图的融合置信度；

融合置信度更新单元，用于对于基于至少两个相似度筛选模型选择的所述候选配图中重复候选配图，通过该候选配图对应的融合置信度的均值，更新该候选配图的融合置信度；

配图召回单元，用于选择预设数量融合置信度最高的不同产品图像，作为所述推荐产品的配图。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任意一项权利要求所述的推荐产品配图方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的推荐产品配图方法的步骤。