CN112101380A - 基于图文匹配的产品点击率预测方法和系统、存储介质 - Google Patents

Abstract

本发明提供一种基于图文匹配的产品点击率预测方法和系统、存储介质，涉及产品点击率预测技术领域。本发明提供的产品点击率预测方法通过将图片分为包含更多原始像素信息的小块，提取到的图片特征更加完整；同时依据图片特征、文本特征以及图文匹配融合特征得到联合特征用于预测产品的点击率，如此一方面考虑到图片特征和文本特征自身对点击率的影响，一方面将三者之间进行特征互补，极大的提高了预测点击率的准确度。

Description

基于图文匹配的产品点击率预测方法和系统、存储介质

技术领域

本发明涉及产品点击率预测技术领域，具体涉及一种基于图文匹配的产品点击率预测方法和系统、存储介质。

背景技术

随着电子商务的快速发展，网络购物已经成为人们购买产品的重要渠道。在网络购物过程中，由于无法真实触摸和体验所需产品，产品图片和标题成为消费者获取产品信息、虚拟体验产品的主要途径，有吸引力的产品展示图片和标题对消费者的点击和购买具有重要影响。如何利用产品图片和标题的吸引力来增加消费者的点击成为企业关心的重要问题。

目前，为了更好地提取电子商务领域产品的图片和标题即图片特征和文本特征的有用的信息，以预测消费者的点击率，本领域的技术人员已经采用了将图片特征和文本特征相融合以形成对相关产品的有效描述的做法。例如，申请号为201911087722.4的发明《一种基于深度多模态数据融合的商品点击率预测方法》，该发明很融合图片，文本以及品牌等多模态信息，形成有效的商品特征描述，可应用于商品点击率预测。

但是，上述做法存在着一个弊端。现有技术在融合图片特征和文本特征前，通过内部注意力机制得到加权的图片特征的处理过程，没有考虑电子商务领域图片的细粒度细这一特点，导致最终的点击率预测不准确。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于图文匹配的产品点击率预测方法和系统、存储介质，解决了现有技术没有考虑电子商务领域图片的细粒度细的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于图文匹配的产品点击率预测方法，包括：

获取产品的标题和图片，并对所述标题和图片进行预处理；

将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；

将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；

将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；

依据所述文本特征、图片特征和图文匹配特征，得到联合特征；

将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。

优选的，所述将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征，包括：

将预处理后的标题输入Word2Vec模型，生成对应的词向量，最终得到所述产品文本特征；

切分预处理后的图片，得到具有相同像素的小块，将所述小块输入ResNext-101图片卷积网络，生成对应的图片小块特征向量，得到所述产品图片特征。

优选的，所述将所述产品文本特征通过注意力机制得到加权的文本特征，包括：

将产品文本特征中的每个词向量输入循环神经网络，得到所述每个词向量对应的权重，结合所述产品文本特征，得到所述加权的文本特征。

优选的，所述将所述产品图片特征通过自注意力机制得到加权的图片特征，包括：

将产品图片特征中的每个图片小块特征向量输入所述自注意力机制，得到对应的注意力值，采用softmax函数对所述注意力值进行归一化，得到所述每个图片小块对应的权重，结合所述产品图片特征，得到所述加权的图片特征。

优选的，所述将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征，包括：

依据产品文本特征中的每个词向量，得到所述产品文本的第一单词嵌入，第一位置嵌入和第一分段嵌入；

依据产品图片特征中的每个图片小块特征向量，得到所述产品图片的第二单词嵌入，第二位置嵌入和第二分段嵌入；

依据所述第一单词嵌入，第一位置嵌入、第一分段嵌入、第二单词嵌入，第二位置嵌入和第二分段嵌入，得到所述融合的图文匹配特征。

优选的，所述依据所述文本特征、图片特征和图文匹配特征，得到联合特征，包括：

依据所述文本特征、图片特征和图文匹配特征，得到中间联合特征；

赋予所述文本特征、图片特征和图文匹配特征初始权重；

依据所述中间联合特征和初始权重，得到所述联合特征，表示为：

Kc＝K₀*λ

＝(Ktitle,Kpicture,Kt-p)*(λ₁,λ₂,λ₃)

其中，Kc表示为联合特征，K₀表示为中间联合特征，λ表示为初始权重，Ktitle表示为文本特征，Kpicture表示为图片特征，Kt-p表示为图文匹配特征，λ₁表示为文本特征的初始权重，λ₂表示为图片特征的初始权重，λ₃表示为图文匹配特征的初始权重。

优选的，所述产品点击率预测模型的构建过程，包括：

获取多个产品的点击量、总的浏览数、标题和图片，依据所述点击量和总的浏览数得到点击率，对所述点击率、标题和图片进行预处理，

将所述多个产品中的每一件产品预处理后的标题和图片分别进行相应的特征提取，得到对应的产品文本特征、产品图片特征；

将所述对应的产品文本特征通过注意力机制得到对应加权的文本特征，将所述对应的产品图片特征通过自注意力机制得到对应加权的图片特征；

将所述对应加权的文本特征和加权的图片特征进行匹配，得到对应融合的图文匹配特征；

依据所述对应加权的文本特征、加权的图片特征和融合的图文匹配特征，得到对应的联合特征；

将所述多个产品中的每一产品对应的联合特征作为训练样本，将所述多个产品中的每一产品对应的预处理后的点击率作为输出标签，依据所述训练样本和输出标签，构建产品点击率预测训练数据库；

基于所述产品点击率预测训练数据库，采用随机梯度下降法进行模型参数学习，得到所述产品点击率预测模型。

一种基于图文匹配的产品点击率预测系统，其特征在于，包括：

预处理模块，用于获取产品的标题和图片，并对所述标题和图片进行预处理；

特征提取模块，用于将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；

特征加权模块，用于将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；

图文匹配模块，用于将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；

联合特征生成模块，用于依据所述文本特征、图片特征和图文匹配特征，得到联合特征；

预测模块，用于将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。

一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时，可实现上述任一项所述的方法。

(三)有益效果

本发明提供了一种基于图文匹配的产品点击率预测方法和系统、存储介质。与现有技术相比，具备以下有益效果：本发明提供的产品点击率预测方法通过将图片分为包含更多原始像素信息的小块，提取到的图片特征更加完整；同时依据图片特征、文本特征以及图文匹配融合特征得到联合特征用于预测产品的点击率，如此一方面考虑到图片特征和文本特征自身对点击率的影响，一方面将三者之间进行特征互补，极大的提高了预测点击率的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于图文匹配的产品点击率预测方法流程示意图；

图2为本发明实施例中文本表示的获取流程示意图；

图3为本发明实施例中图片表示的获取流程示意图；

图4为本发明实施例提供的一种基于图文匹配的产品点击率预测系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种基于图文匹配的产品点击率预测方法和系统、存储介质，解决了现有技术没有考虑电子商务领域图片的细粒度细的技术问题，实现了极大提高预测产品点击率的准确度的效果。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

本发明实施例提供的产品点击率预测方法通过将图片分为包含更多原始像素信息的小块，提取到的图片特征更加完整；同时依据图片特征、文本特征以及图文匹配融合特征得到联合特征用于预测产品的点击率，如此一方面考虑到图片特征和文本特征自身对点击率的影响，一方面将三者之间进行特征互补，极大的提高了预测点击率的准确度。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例：

第一方面，如图1所示，本发明实施例提供一种基于图文匹配的产品点击率预测方法，包括：

S1、获取产品的标题和图片，并对所述标题和图片进行预处理；

S2、将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；

S3、将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；

S4、将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；

S5、依据所述文本特征、图片特征和图文匹配特征，得到联合特征；

S6、将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。

本发明实施例提供的产品点击率预测方法通过将图片分为包含更多原始像素信息的小块，提取到的图片特征更加完整，着重考虑了电子商务领域的图片的细粒度细这一特点，图片小块保留更多的原始信息，在后续的图片特征与文本特征相融合的步骤中，保证了得到的融合的图文匹配特征能够更精准的用于产品点击率的预测；本发明实施例还依据图片特征、文本特征以及图文匹配融合特征得到联合特征用于预测产品的点击率，如此一方面考虑到图片特征和文本特征自身对点击率的影响，一方面将三者之间进行特征互补，极大的提高了预测点击率的准确度。

具体包括：

S1、获取产品的标题和图片，并对所述标题和图片进行预处理。

获取待预测产品点击率的产品的标题和图片，并对所述标题和图片进行预处理。

对标题预处理包括：首先对所获取的标题文本数据分词，其次为文本清洗，即去掉文本中没有用的部分，例如标点符号、停用词等。

对图片进行预处理包括：将图片缩放即改变图片的大小，将图片缩放到固定大小。

S2、将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征。

将预处理后的标题输入Word2Vec模型，生成对应的词向量，最终得到所述产品文本特征。具体包括:

产品标题数据可以表示为：D＝{W_m}，其中，w_m表示第m个词的词向量，m表示词的个数。

则产品的标题数据的向量表示D＝(w₁,w₂,...,w_m)，

其中w_m＝(x_m1,x_m2,...x_mN)^T，表示第m个词的词向量由一个N×1维的向量组成，x_mN表示第m个词向量的第N行；

切分预处理后的图片，得到具有相同像素的小块，将所述小块输入ResNext-101图片卷积网络，生成对应的图片小块特征向量，得到所述产品图片特征。

对于产品图片特征提取具体如下：将图片切成具有相同像素的小块，在利用ResNext-101图片卷积网络提取每小块的特征。

将图片数据表示为：P＝{S_m}，其中，S_m表示第m个图片小块特征向量，m表示图片小块数。

则产品的图片数据的向量表示：P＝[s₁，s₂，...s_m]，

其中s_m＝(t_m1，t_m2，...t_mk)^T，表示图片第m个小块由一个k×1维向量组成，t_mk表示第m块图片特征向量的第k列。

S3、将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征。

产品文本特征的注意力计算如下：所述产品文本特征D，经过一个循环神经网络编码，可作为注意力的权重，并最终得到加权的文本特征。

title_vector＝RNN(w₁，w₂，...，w_n) (1)

h_m＝RNN(w₁，w₂，...，w_m) (2)

query_vector＝W_key·(title_vector)^T (3)

target_mvector＝W_key·h_m ^T (4)

K_title＝α×h＝(α₁，α₂，...，α_m)×(h₁，h₂，...，h_m) (7)

其中，title_vector表示循环神经网络对标题文本的encode向量，维度设为k；

h_m表示循环神经网络m时刻隐层单元的输出向量，维度设为k；query_vector表示标题文本编码向量的key向量，用以计算相似度得分，维度设为K；

W_key表示query矩阵用来学习计算标题向量与每个时刻隐层输出的相似度得分的矩阵，维度为k×K；

表示注意力权重目标向量(h_m)的key向量，用以计算相似度得分,维度为K；

表示标题文本编码与每个时刻隐层编码的相似度得分，计算方式为内积得分；

α表示注意力权重得分；

softmax表示激活函数，将注意力权重得分映射到[0,1]之间的概率分布上；

h表示RNN每个时刻隐层的输出；

K_title表示加权的文本特征向量。

计算图片每小块的权重，将所述产品图片特征P输入自注意力机制(self-attention)，可作为权重，利用softmax函数对注意力值进行归一化，得到产品图片特征的注意力概率分布，则有:

其中，β_m表示图片每个小块的权重,P表示产品图片的特征向量表示，m表示图片小块数。

则产品加权的图片特征向量表示为：

K_picture＝β×S＝(β₁，β₂，...β_m)×(s₁，s₂，...，s_m) (9)

S4、将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；

依据产品文本特征中的每个词向量，得到所述产品文本的第一单词嵌入，第一位置嵌入和第一分段嵌入。

由上述步骤可知，产品的标题数据的向量表示D＝{W_m}，将所述产品的标题数据的向量表示D作为第一单词嵌入。

第一位置嵌入表示如下：D_position＝(pos₁,pos₂,...,pos_m)，其中，pos_m表示第m个词的位置。

第一分段嵌入表示如下：D_segmentation＝(T,T,...,T)，其中，T表示文本。

则文本表示为：

D_c＝D+D_position+D_segmentation (10)

如图2所示，首先从电子商务平台获得高梵羽绒服产品的图片.产品的描述，例如：高梵男装2020新款轻薄羽绒服男款立领秋冬特卖保暖潮流外套。

根据产品的描述获得产品的文本特征向量表示。将产品描述“高梵男装2020新款轻薄羽绒服男款立领秋冬特卖保暖潮流外套”切分为10个的单词：高梵(1)、2020新款(2)、轻薄(3)、羽绒服(4)、男款(5)、立领(6)、秋冬特卖(7)、保暖(8)、潮流(9)、外套(10)。

这10个单词的每一个单词词向量作为第一单词嵌入。

每一个词对应的位置作为第一位置嵌入，例如对应上边的文本描述：高梵(位置：1)、2020新款(位置：2)、轻薄(位置：3)、羽绒服(位置：4)、男款(位置：5)、立领(位置：6)、秋冬特卖(位置7)、保暖(位置：8)、潮流(位置：9)、外套(位置：10)。

为了将整段文本描述和整个图片区别开，整段文本描述中每一个词向量对应的第一分段嵌入都是相同的，用符号T来表示文本。例如对应上边的文本描述：高梵(分段嵌入：T)、2020新款(分段嵌入：T)、轻薄(分段嵌入：T)、羽绒服(分段嵌入：T)、男款(分段嵌入：T)、立领(分段嵌入：T)、秋冬特卖(分段嵌入：T)、保暖(分段嵌入：T)、潮流(分段嵌入：T)、外套(分段嵌入：T)。将单词的特征向量，位置嵌入和分段嵌入之和作为文本的表示。

依据将产品图片特征中的每个图片小块特征向量，得到所述产品图片的第二单词嵌入，第二位置嵌入和第二分段嵌入。

由上述步骤可知，则产品的图片数据的向量表示为P＝{S_m}，将所述产品的图片数据的向量表示P作为第二单词嵌入。

第二位置嵌入表示如下：P_position＝(pos₁,pos₂,...,pos_m)，其中pos_{m_}表示第m个小块的位置。

第二分段嵌入如下：P_segmentation＝(I,I,...,I)，其中，I表示图片。

则图片表示为：

P_c＝P+P_position+P_segmentation (II)

图3为“高梵男装2020新款轻薄羽绒服男款立领秋冬特卖保暖潮流外套”对应的图片。

产品的图片切分成9个小块，按从左到右边，从上到下的顺序给小块编号(1,2,3,4,5,6,7,8,9)。将每个小块输入ResNext-101图片卷积网络后得到对应的图片小块特征，得到第二单词特征。

第一小块对应的位置为1，第二小块对应的位置为2……，第9块对应的位置为9，代表第二位置嵌入。

第1小块到第9的都属于同一张图片，因此将第1小块到第9小块的分段嵌入都相同。为了将图片和文本区分开，用I表示第二分段嵌入。将每一小块的特征向量，位置嵌入和分段嵌入之和作为图片的表示。

依据所述第一单词嵌入，第一位置嵌入、第一分段嵌入、第二单词嵌入，第二位置嵌入和第二分段嵌入，得到所述融合的图文匹配特征。

将上面所获得的的图片表示P_c和文本表示D_c以并联方式连接。将并联的图片表示特征和文本表示特征输入卷积神经网络，得到图文匹配融合的特征向量，所述融合的图文匹配特征向量表示为：K_t-p。

S5、依据所述文本特征、图片特征和图文匹配特征，得到联合特征。

依据所述文本特征、图片特征和图文匹配特征，得到中间联合特征；

赋予所述文本特征、图片特征和图文匹配特征初始权重；

依据所述中间联合特征和初始权重，得到所述联合特征，表示为：

K_c＝K₀*λ

＝(K_title,K_picture,K_t-p)*(λ₁,λ₂,λ₃) (12)

其中，K_c表示为联合特征，K₀表示为中间联合特征，λ表示为初始权重，K_title表示为文本特征，K_picture表示为图片特征，K_t-p表示为图文匹配特征，λ₁表示为文本特征的初始权重，λ₂表示为图片特征的初始权重，λ₃表示为图文匹配特征的初始权重。

令联合特征为K_c＝(v₁,v₂,...,v_k)^T，其中，v_k表示第K维上的具体数值。

S6、将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。

所述产品点击率预测模型的构建过程，包括：

S61、获取多个产品的点击量、总的浏览数、标题和图片，依据所述点击量和总的浏览数得到点击率，对所述点击率、标题和图片进行预处理。

从在线购物网站上获取多个产品的点击量、总的浏览数、标题和图片。依据所述点击量和总的浏览数得到点击率，具体为：点击率＝点击量/总的浏览数。

对产品点击率进行预处理包括：对产品点击率进行标准化处理，对于初始的点击率数据z₁,z₂,...,z_n，其平均值为

标准差为

其中z_i表示第i个产品的点击率，n表示产品点击率数据的数量。经过标准化处理后的点击率为

对所述标题和图片进行预处理与上述步骤S1中的预处理过程相同，在此不再赘述。

S62、将所述多个产品中的每一件产品预处理后的标题和图片分别进行相应的特征提取，得到对应的产品文本特征、产品图片特征。

S63、将所述对应的产品文本特征通过注意力机制得到对应加权的文本特征，将所述对应的产品图片特征通过自注意力机制得到对应加权的图片特征。

S64、将所述对应加权的文本特征和加权的图片特征进行匹配，得到对应融合的图文匹配特征。

S65、依据所述对应加权的文本特征、加权的图片特征和融合的图文匹配特征，得到对应的联合特征。

步骤S62-65的处理过程可以参考上述步骤S2-5的处理过程，在此不再赘述。

S66、将所述多个产品中的每一产品对应的联合特征作为训练样本，将所述多个产品中的每一产品对应的预处理后的点击率作为输出标签，依据所述训练样本和输出标签，构建产品点击率预测训练数据库。

S67、基于所述产品点击率预测训练数据库，采用随机梯度下降法进行模型参数学习，得到所述产品点击率预测模型。

利用线性回归预测产品点击率，将均方误差作为损失函数：

其中，L为损失值，N为样本个数，y_i为第i个样本经过标准化处理后的点击率，

为模型的点击率预测值。

根据所述产品点击率预测训练数据库，可以得到参数λ＝(λ₁,λ₂,λ₃)以及a＝(a₁,a₂,...,a_k)的具体数值，分别根据下面两个函数训练所得：

h₁＝f₁(λ×K₀ ^T+b₁) (14)

h₂＝f₂(a×k_c+b₂) (15)

其中，h₁表示联合文本特征、图片特征、图文匹配融合特征K维特征向量的矩阵，

h₂表示训练数据库的历史的预处理后的点击率，

λ＝(λ₁,λ₂,λ₃)表示文本特征向量、图片特征向量以及图文匹配融合的特征向量的初始权重，

a＝(a₁,a₂,...,a_k)表示由训练模型所学习到的文本特征、图片特征以及图文匹配融合特征K维特征向量的参数，

f₁代表第一个线性回归的训练函数，b₁表示第一个函数的偏置项，

K₀＝(K_title,K_picture,K_t-p)表示文本特征向量、图片特征向量以及图文匹配融合的特征向量，

f₂代表第一个线性回归的训练函数，b₂表示第一个函数的偏置项，

K_c＝(v₁,v₂,...,v_k)^T表示联合文本特征、图片特征以及图文匹配融合特征K维特征向量，即联合特征向量。

将所述联合特征K_c＝(v₁,v₂,...,v_k)^T输入上述构建的模型中，最终得到产品的预测点击率为：

y＝a₁×v₁+a₂×v₂+...+a_k×v₂ (16)

其中，a＝(a₁,a₂,...,a_k)表示由训练模型所学习到的文本特征、图片特征以及图文匹配融合特征K维特征向量的参数，v_k表示所述联合特征第K维上的具体数值。

第二方面，如图4所示，本发明实施例提供一种基于图文匹配的产品点击率预测系统，包括：

预处理模块，用于获取产品的标题和图片，并对所述标题和图片进行预处理；

特征提取模块，用于将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；

特征加权模块，用于将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；

图文匹配模块，用于将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；

联合特征生成模块，用于依据所述文本特征、图片特征和图文匹配特征，得到联合特征；

预测模块，用于将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。

可理解的是，本发明实施例提供的产品点击率预测系统与本发明实施例提供的产品点击率预测方法相对应，其有关内容的解释、举例和有益效果等部分可以参考产品点击率预测方法中的相应部分，此处不再赘述。

第三方面，本发明实施例提供一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时，可实现任一项所述的方法。

综上所述，与现有技术相比，具备以下有益效果：

1、本发明实施例提供的产品点击率预测方法通过将图片分为包含更多原始像素信息的小块，提取到的图片特征更加完整，着重考虑了电子商务领域的图片的细粒度细这一特点，图片小块保留更多的原始信息，在后续的图片特征与文本特征相融合的步骤中，保证了得到的融合的图文匹配特征能够更精准的用于产品点击率的预测。

2、本发明实施例还依据图片特征、文本特征以及图文匹配融合特征得到联合特征用于预测产品的点击率，如此一方面考虑到图片特征和文本特征自身对点击率的影响，一方面将三者之间进行特征互补，极大的提高了预测点击率的准确度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于图文匹配的产品点击率预测方法，其特征在于，包括：

获取产品的标题和图片，并对所述标题和图片进行预处理；

将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；

将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；

将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；

依据所述文本特征、图片特征和图文匹配特征，得到联合特征；

将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。

2.如权利要求1所述的产品点击率预测方法，其特征在于，所述将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征，包括：

将预处理后的标题输入Word2Vec模型，生成对应的词向量，最终得到所述产品文本特征；

切分预处理后的图片，得到具有相同像素的小块，将所述小块输入ResNext-101图片卷积网络，生成对应的图片小块特征向量，得到所述产品图片特征。

3.如权利要求2所述的产品点击率预测方法，其特征在于，所述将所述产品文本特征通过注意力机制得到加权的文本特征，包括：

将产品文本特征中的每个词向量输入循环神经网络，得到所述每个词向量对应的权重，结合所述产品文本特征，得到所述加权的文本特征。

4.如权利要求2所述的产品点击率预测方法，其特征在于，所述将所述产品图片特征通过自注意力机制得到加权的图片特征，包括：

将产品图片特征中的每个图片小块特征向量输入所述自注意力机制，得到对应的注意力值，采用softmax函数对所述注意力值进行归一化，得到所述每个图片小块对应的权重，结合所述产品图片特征，得到所述加权的图片特征。

5.如权利要求2所述的产品点击率预测方法，其特征在于，所述将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征，包括：

依据产品文本特征中的每个词向量，得到所述产品文本的第一单词嵌入，第一位置嵌入和第一分段嵌入；

依据产品图片特征中的每个图片小块特征向量，得到所述产品图片的第二单词嵌入，第二位置嵌入和第二分段嵌入；

依据所述第一单词嵌入，第一位置嵌入、第一分段嵌入、第二单词嵌入，第二位置嵌入和第二分段嵌入，得到所述融合的图文匹配特征。

6.如权利要求2所述的产品点击率预测方法，其特征在于，所述依据所述文本特征、图片特征和图文匹配特征，得到联合特征，包括：

依据所述文本特征、图片特征和图文匹配特征，得到中间联合特征；

赋予所述文本特征、图片特征和图文匹配特征初始权重；

依据所述中间联合特征和初始权重，得到所述联合特征，表示为：

K_c＝K₀*λ

＝(K_title,K_picture,K_t-p)*(λ₁,λ₂,λ₃)

其中，K_c表示为联合特征，K₀表示为中间联合特征，λ表示为初始权重，K_title表示为文本特征，K_picture表示为图片特征，K_t-p表示为图文匹配特征，λ₁表示为文本特征的初始权重，λ₂表示为图片特征的初始权重，λ₃表示为图文匹配特征的初始权重。

7.如权利要求1所述的产品点击率预测方法，其特征在于，所述产品点击率预测模型的构建过程，包括：

获取多个产品的点击量、总的浏览数、标题和图片，依据所述点击量和总的浏览数得到点击率，对所述点击率、标题和图片进行预处理，

将所述多个产品中的每一件产品预处理后的标题和图片分别进行相应的特征提取，得到对应的产品文本特征、产品图片特征；

将所述对应的产品文本特征通过注意力机制得到对应加权的文本特征，将所述对应的产品图片特征通过自注意力机制得到对应加权的图片特征；

将所述对应加权的文本特征和加权的图片特征进行匹配，得到对应融合的图文匹配特征；

依据所述对应加权的文本特征、加权的图片特征和融合的图文匹配特征，得到对应的联合特征；

将所述多个产品中的每一产品对应的联合特征作为训练样本，将所述多个产品中的每一产品对应的预处理后的点击率作为输出标签，依据所述训练样本和输出标签，构建产品点击率预测训练数据库；

基于所述产品点击率预测训练数据库，采用随机梯度下降法进行模型参数学习，得到所述产品点击率预测模型。

8.一种基于图文匹配的产品点击率预测系统，其特征在于，包括：

预处理模块，用于获取产品的标题和图片，并对所述标题和图片进行预处理；

特征提取模块，用于将预处理后的标题和图片分别进行相应的特征提取，得到产品文本特征、产品图片特征；

特征加权模块，用于将所述产品文本特征通过注意力机制得到加权的文本特征，将所述产品图片特征通过自注意力机制得到加权的图片特征；

图文匹配模块，用于将所述文本特征和图片特征进行匹配，得到融合的图文匹配特征；

联合特征生成模块，用于依据所述文本特征、图片特征和图文匹配特征，得到联合特征；

预测模块，用于将所述联合特征输入预先训练好的产品点击率预测模型，得到所述产品的预测点击率。

9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时，可实现如权利要求1至7任一项所述的方法。

Images