CN106294456B - 机器学习的方法和设备 - Google Patents

Abstract

本发明实施例提供一种机器学习的方法和设备，该方法包括：获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息；将第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据融合进行机器学习，得到训练结果，训练结果包括计算搜索匹配度和推荐偏好度所需模型。本发明实施例能够结合搜索引擎和推荐系统的用户数据进行机器学习，提高数据利用率。

Description

机器学习的方法和设备

技术领域

本发明涉及数据处理领域，特别涉及一种机器学习的方法和设备。

背景技术

搜索引擎(Search Engine)是指通过对信息进行处理和组织后，为用户提供搜索服务的系统。具体的，用户输入查询词，搜索引擎经过检索和排序，将相关结果对象的列表返回给用户。

推荐系统(Recommendation Engine)是指根据用户的特征和行为，发掘用户的偏好，向用户主动推荐其感兴趣或需要的物品。具体的，用户在浏览时，推荐系统经过分析计算，将某些物品推送给用户。

搜索引擎和推荐系统的区别主要在于搜索引擎是被动接受查询，用户有具体的需求描述，但推荐系统则是主动推送，用户并没有明确的需求描述。

搜索引擎和推荐系统目前都已经是发展成熟的系统，并广泛应用于各个领域，例如互联网搜索、电子商务、社交网络、移动应用等。在很多应用中，搜索引擎和推荐系统都是同时存在并运行的。例如电子商务网站(淘宝、亚马逊)，社交网络(例如，微博、Facebook)，应用商店(例如，App Store、Google Play、华为智汇云应用商店)。

由于搜索引擎和推荐系统两者在性质、功能、技术、优化指标上都有所差异，现有技术中，搜索引擎和推荐系统通常都是作为两个独立的系统运行，其策略相对独立，数据上也少有深层的耦合，导致数据利用率低。

发明内容

本发明实施例提供一种机器学习方法和设备，该方法能够结合搜索引擎和推荐系统的数据进行机器学习，提高数据利用率。

第一方面，提供了一种机器学习的方法，该方法包括：获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，该第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，该用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，该第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息；将该第一用户日志记录数据、该用户评分记录数据和该第二用户日志记录数据融合，进行机器学习，得到训练结果，该训练结果包括用于计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。

结合第一方面，在第一种可能的实现方式中，该将该第一用户日志记录数据、该用户评分记录数据和该第二用户日志记录数据融合，进行机器学习训练，得到训练结果，包括：根据该第一用户日志记录数据，确定第一度量，该第一度量包括用户、查询和物品的匹配度；根据该用户评分记录数据，确定第二度量，该第二度量包括用户、物品的匹配度与评分的拟合度；根据该第二用户日志记录数据，确定第三度量，该第三度量包括用户与物品的匹配度；根据该第一度量、该第二度量和该第三度量确定目标函数，该目标函数用于求解该用户模型、该物品模型和该查询模型；优化该目标函数，获得该用户模型、该物品模型和该查询模型。

结合第一种可能的实现方式，在第二种可能的实现方式中，该根据该第一用户日志记录数据，确定第一度量，包括：根据该第一用户日志记录数据，确定在隐向量空间上的该第一度量；该根据该用户评分记录数据，确定第二度量，包括：根据该用户评分记录数据，确定在隐向量空间上的该第二度量；该根据该第二用户日志记录数据，确定第三度量，包括：根据该第二用户日志记录数据，确定在隐向量空间上该第三度量；其中，该用户模型、该物品模型和该查询模型分别对应用户、物品和查询在隐向量空间上的向量表示。

结合第二种可能的实现方式，在第三种可能的实现方式中，该根据该第一用户日志记录数据，确定在隐向量空间上的该第一度量，包括：根据以下公式确定该第一度量：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与该第一用户日志记录数据对应的第一训练样本集合，n_S表示该第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛积，F(L_u,L_q,L_i；S)为该第一度量，表示在该第一训练样本集合下的用户、查询和物品的平均匹配度。

结合第二或第三种可能的实现方式，在第四种可能的实现方式中，该根据该用户评分记录数据，确定在隐向量空间上的该第二度量，包括根据以下公式确定该第二度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与该用户评分记录数据对应的第二训练样本集合，n_R1表示该第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为该第二度量，表示在该第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

结合第二至第四种可能的实现方式中的任一种可能的实现方式，在第五种可能的实现方式中，该根据该第二用户日志记录数据，确定在隐向量空间上的该第三度量，包括根据以下公式确定该第三度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与该第二用户日志记录数据对应的第三训练样本集合，表示该第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为该第三度量，表示在该第三训练样本集合下的用户与物品的平均匹配度。

结合第二至第五种可能的实现方式中的任一种可能的实现方式，在第六种可能的实现方式中，该目标函数为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与该第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与该用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与该第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示该第一度量、该第二度量、该第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

结合第二至第六种可能的实现方式中的任一种可能的实现方式，在第七种可能的实现方式中，该用户模型为表示该目标函数优化后的所有的用户在低维隐空间上的向量表示；该物品模型为表示该目标函数优化后的所有物品在低维隐空间上的向量表示；该查询模型为表示该目标函数优化后的所有查询在低维隐空间上的向量表示。

结合第二至第七种可能的实现方式中的任一种可能的实现方式，在第八种可能的实现方式中，该优化该目标函数，包括：使用随机梯度下降法优化该目标函数。

结合第八种可能的实现方式，在第九种可能的实现方式中，该使用随机梯度下降法优化该目标函数，包括：在该目标函数未收敛，且迭代步数t小于截止步数时，根据以下公式优化该目标函数，并更新学习参数，

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示该第一度量、该第二度量、该第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重，κ为学习率，表示更新学习参数的程度。

结合第一方面、第二至第七种可能的实现方式中的任一种可能的实现方式，在第十种可能的实现方式中，该方法还包括：根据该物品模型和该查询模型计算搜索匹配度；和/或根据该用户模型和该物品模型计算推荐偏好度。

结合第十种可能的实现方式，在第十一种可能的实现方式中，该根据该物品模型和该查询模型计算搜索匹配度，包括：根据以下公式计算查询与物品的搜索匹配度，

其中，q表示查询，i＝i₁,i₂,...i_n，表示针对查询q的候选查询物品，match(q,i)表示查询q与物品i的搜索匹配度，表示p_q为中的元素，p_q ^T表示p_q的转置，表示该查询模型，表示p_i为中的元素，表示该物品模型。

结合第十种可能的实现方式，在第十二种可能的实现方式中，该根据该用户模型和该物品模型计算推荐偏好度，包括：根据以下公式计算用户和物品的推荐偏好度，

其中，u表示用户，i＝i₁,i₂,...i_n，表示针对用户u的候选兴趣物品，rate(u,i)表示用户u和物品i的推荐偏好度，表示p_u为中的元素，p_u ^T表示p_u的转置，表示该用户模型，表示p_i为中的元素，表示该物品模型。

第二方面，提供了一种机器学习的设备，该设备包括：获取单元，用于获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，该第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，该用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，该第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息；机器学习单元，用于将该第一用户日志记录数据、该用户评分记录数据和该第二用户日志记录数据融合，进行机器学习，得到训练结果，该训练结果包括用于计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。

结合第二方面，在第一种可能的实现方式中，该机器学习单元，根据该第一用户日志记录数据，确定第一度量，该第一度量包括用户、查询和物品的匹配度；根据该用户评分记录数据，确定第二度量，该第二度量包括用户、物品的匹配度与评分的拟合度；根据该第二用户日志记录数据，确定第三度量，该第三度量包括用户与物品的匹配度；根据该第一度量、该第二度量和该第三度量确定目标函数，该目标函数用于求解该用户模型、该物品模型和该查询模型；优化该目标函数，获得该用户模型、该物品模型和该查询模型。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，该机器学习单元，根据该第一用户日志记录数据，确定在隐向量空间上的该第一度量；根据该用户评分记录数据，确定在隐向量空间上的该第二度量；根据该第二用户日志记录数据，确定在隐向量空间上该第三度量；其中，该用户模型、该物品模型和该查询模型分别对应用户、物品和查询在隐向量空间上的向量表示。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，该机器学习单元根据以下公式确定该第一度量：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与该第一用户日志记录数据对应的第一训练样本集合，n_S表示该第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛积，F(L_u,L_q,L_i；S)为该第一度量，表示在该第一训练样本集合下的用户、查询和物品的平均匹配度。

结合第二方面的第二或第三种可能的实现方式，在第四种可能的实现方式中，该机器学习单元根据以下公式确定该第二度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与该用户评分记录数据对应的第二训练样本集合，n_R1表示该第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为该第二度量，表示在该第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

结合第二方面的第二至第四种可能的实现方式中的任一种可能的实现方式，在第五种可能的实现方式中，该机器学习单元包括根据以下公式确定该第三度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与该第二用户日志记录数据对应的第三训练样本集合，表示该第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为该第三度量，表示在该第三训练样本集合下的用户与物品的平均匹配度。

结合第二方面的第二至第五种可能的实现方式中的任一种可能的实现方式，在第六种可能的实现方式中，该目标函数为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与该第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与该用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与该第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示该第一度量、该第二度量、该第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

结合第二方面的第二至第六种可能的实现方式中的任一种可能的实现方式，在第七种可能的实现方式中，该用户模型为表示该目标函数优化后的所有的用户在低维隐空间上的向量表示；该物品模型为表示该目标函数优化后的所有物品在低维隐空间上的向量表示；该查询模型为表示该目标函数优化后的所有查询在低维隐空间上的向量表示。

结合第二方面的第二至第七种可能的实现方式中的任一种可能的实现方式，在第八种可能的实现方式中，该机器学习单元使用随机梯度下降法优化该目标函数。

结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，该机器学习单元在该目标函数未收敛，且迭代步数t小于截止步数时，根据以下公式优化该目标函数，并更新学习参数，

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示该第一度量、该第二度量、该第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重，κ为学习率，表示更新学习参数的程度。

结合第二方面、第二方面的第二至第七种可能的实现方式中的任一种可能的实现方式，在第十种可能的实现方式中，该设备还包括：计算单元，用于根据该物品模型和该查询模型计算搜索匹配度；和/或根据该用户模型和该物品模型计算推荐偏好度。

结合第二方面的第十种可能的实现方式，在第十一种可能的实现方式中，该计算单元根据以下公式计算查询与物品的搜索匹配度，

其中，q表示查询，i＝i₁,i₂,...i_n，表示针对查询q的候选查询物品，match(q,i)表示查询q与物品i的搜索匹配度，表示p_q为中的元素，p_q ^T表示p_q的转置，表示该查询模型，表示p_i为中的元素，表示该物品模型。

结合第二方面的第十种可能的实现方式，在第十二种可能的实现方式中，该计算单元根据以下公式计算用户和物品的推荐偏好度，

其中，u表示用户，i＝i₁,i₂,...i_n，表示针对用户u的候选兴趣物品，rate(u,i)表示用户u和物品i的推荐偏好度，表示p_u为中的元素，p_u ^T表示p_u的转置，表示该用户模型，表示p_i为中的元素，表示该物品模型。

基于上述技术方案，本发明实施例将搜索引擎和推荐系统的用户数据融合，统一进行机器学习训练，并获得计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。因此，本发明实施例能够结合搜索引擎和推荐系统的用户数据进行机器学习，提高了数据利用率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例的机器学习的方法的示意性流程图。

图2是根据本发明另一实施例的机器学习的方法的示意性流程图。

图3是根据本发明另一实施例的机器学习的方法的示意性流程图。

图4是根据本发明一个实施例的机器学习的设备示意框图。

图5是根据本发明一个实施例的机器学习的设备示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

图1是根据本发明一个实施例的机器学习的方法的示意性流程图。图1所示的方法可以由机器学习的设备执行，具体地，如图1所示的方法包括：

110，获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息。

120，将第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据融合，进行机器学习，得到训练结果，训练结果包括计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。

因此，本发明实施例将搜索引擎和推荐系统的用户数据融合，统一进行机器学习训练，并获得计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。因此，本发明实施例能够结合搜索引擎和推荐系统的用户数据进行机器学习，提高了数据利用率。

进一步地，搜索引擎和推荐系统的用户数据可以通过本发明实施的方式实现深层共享，能够缓解双方数据稀疏性的问题，从而同时提升搜索和推荐在长尾数据上的效果。

应理解，用户的信息可以指用户的标识信息，例如用户的身份标识(Identification，ID)、姓名等；物品的信息可以指物品的标识信息，例如物品的名称、种类等，查询可以指用户给出的查询条件或查询词语等，本发明实施例并不对此做限定。120中的训练结果也可以称为学习结果。

应注意，第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据中涉及的用户的信息可以是相同的用户的信息，也可以是不同的用户的信息，同样地，三个数据中涉及的物品的信息可以是相同的物品的信息，也可以是不同的物品的信息，本发明实施例并不对此做限定。

还应理解，第一用户日志记录数据可以为搜索引擎中的用户行为日志，或者为搜索用户日志数据中的用户、查询和物品的三元组集合，可以包括多组用户、查询和物品的对应关系(该对应关系可以指：用户的信息、用户所给出的查询和查询所对应的物品的信息)，换句话说，第一用户日志记录数据可以看成一个训练样本集合，其中，每一组用户、查询和物品的对应的关系可以看成一个训练样本；用户评分记录数据可以为推荐系统中的用户评分日志，或者为推荐系统用户评分记录中的用户、物品、评分的三元组集合，可以包括多组用户、物品和评分的对应关系(该对应关系可以指：用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分)，换句话说，用户评分记录数据可以看成一个训练样本集合，其中，每一组用户、物品和评分的对应关系可以看成一个样本；第二用户日志记录数据可以为推荐系统中的用户行为日志，或者为荐系统中用户日志中通过点击行为确定的用户、物品的二元组集合，可以包括多组用户和物品的对应关系(该对应关系可以指：用户的信息和用户所感兴趣的物品的信息)，换句话说，第二用户日志记录数据可以看成一个训练样本集合，其中，每一组用户和物品的对应关系可以看成一个样本。

还应理解，物品模型和查询模型可以用于计算搜索匹配度和，用户模型和物品模型可以用于计算推荐偏好度。在120中，可以是将第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据融合在低维隐空间上进行学习训练。

应理解，本发明实施例中的低维隐空间可以指比原始空间维度低的欧氏空间。例如，可以为d位的隐空间，d可以为5、10、50、100、200或500等，本发明实施例并不对此做限定。

可选地，根据本发明实施例，在120中，

根据第一用户日志记录数据，确定第一度量，第一度量包括用户、查询和物品的匹配度；

根据用户评分记录数据，确定第二度量，第二度量包括用户、物品的匹配度与评分的拟合度；

根据第二用户日志记录数据，确定第三度量，第三度量包括用户与物品的匹配度；

根据第一度量、第二度量和第三度量确定目标函数，目标函数用于求解用户模型、物品模型和查询模型；

优化目标函数，获得用户模型、物品模型和查询模型。

应理解，在本发明实施例中出现的用户可以指代一个用户或多个用户，也可以指代一个或多个用户的信息，物品可以指代一个或多个物品，也可以指代一个或多个物品的信息，本发明实施例并不对此做限定。

换句话说，第一度量可以包括用户、用户所给出的查询和查询所对应的物品的匹配度；第二度量可以包括用户、用户所感兴趣的物品的匹配度与用户对感兴趣的物品的评分的拟合度；第三度量可以包括用户与用户所感兴趣的物品的匹配度。

可选地，根据第一用户日志记录数据，确定第一度量，包括：根据第一用户日志记录数据，确定在隐向量空间上的第一度量；

根据用户评分记录数据，确定第二度量，包括：根据用户评分记录数据，确定在隐向量空间上的第二度量；

根据第二用户日志记录数据，确定第三度量，包括：根据第二用户日志记录数据，确定在隐向量空间上第三度量；

其中，用户模型、物品模型和查询模型分别对应用户、物品和查询在隐向量空间上的向量表示。

换句话说，本发明实施例可以将所有的用户、物品、查询均映射为低维隐空间上的向量表示。对于三个子集合(第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据)，计算其在低维隐空间上的三个度量：用户、查询、物品三者的匹配度(第一度量)，用户与物品的匹配度与其评分的拟合度(第二度量)，以及用户与物品的匹配度(第三度量)。合并上述三个度量，并增加对于参数的正则化项，就构成了机器学习联合训练的目标函数。该目标函数兼顾了来自搜索和推荐两个维度上三种类型(用户、物品、查询)间的匹配关系。之后可以采用梯度下降算法优化上述目标函数。优化的结果即为所有用户、物品、查询的低维表示(通常用矩阵表示)。进而可以将这些参数分发给相应的搜索引擎和推荐系统，可供搜索排序匹配度和推荐偏好度的计算使用。

因此，本发明实施例将用户、物品、查询映射到低维隐空间，通过构造兼顾搜索和推荐两个维度的匹配度的优化函数，求解出搜索排序匹配度和推荐偏好度计算各自所需的匹配模型(隐空间表示)。本发明实施例能够将搜索引擎和推荐系统的离线训练部分进行深层次结合，并使其相互增益，提高了数据利用率。

在本发明实施例中可以记所有的用户集合为U，所有物品集合为I，所有查询的集合为Q。在搜索系统中，用户的搜索行为可以描述成：用户u，搜索查询词q，返回结果列表，用户点击了其中的物品i，通常这个物品反映了用户在该查询词下的需求。从大量的用户搜索行为中，可以抽取训练样本集合：S＝{(u,q,i)}。

在推荐系统中，用户的行为分为两种，一种是显式的：用户u，对于某个物品i打分，其分数记为r_u,i，该评分往往显示了用户对于该物品的喜好程度。另一个种是隐式的：用户u，在浏览过程中点击了物品i，这往往也一定程度反映了用户对于该物品的偏好。从上述两种数据中，可以抽取到训练样本集合：R₁＝{(u,i,r_u,i)},R₂＝{(u,i)}。

根据匹配学习的模型和隐因素模型的思想，在本发明实施例中可以将每个用户u、每个物品i、每个查询词q都分别用一个d维的隐向量(latent vector)来表示：

p_u,p_i,p_q∈R^d,u∈U,i∈I,q∈Q，

并计L_u＝{p_u}_u∈U,L_i＝{p_i}_i∈I,L_q＝{p_q}_q∈Q。在上述说明的基础上，下面分别描述在本发明实施例中如何确定第一度量、第二度量和第三度量。

可选地，根据第一用户日志记录数据，确定在隐向量空间上的第一度量，包括：根据以下公式确定第一度量：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合，n_S表示第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛(Hadamard)积，F(L_u,L_q,L_i；S)为第一度量，表示在第一训练样本集合下的用户、查询和物品的平均匹配度。

应理解，d维的隐向量空间也可以称为d维欧式空间。u也可以表示用户的信息，i也可以表示物品的信息，q也可以表示查询的信息(例如，用户给出的查询条件或查询词语等)，

可选地，根据用户评分记录数据，确定在隐向量空间上的第二度量，包括根据以下公式确定第二度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合，n_R1表示第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为第二度量，表示在第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

可选地，根据第二用户日志记录数据，确定在隐向量空间上的第三度量，包括根据以下公式确定第三度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合，表示第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为第三度量，表示在第三训练样本集合下的用户与物品的平均匹配度。

在确定出上述三个度量后，在本发明实施例中，将上述三个集合上的平均匹配度及平均拟合度合并，就构成了优化目标函数的主体。对于机器学习模型，为了增强其泛化能力，防止过拟合，还需加入对于参数矩阵的L_u,L_i,L_q的正则化项，最终的目标函数形式为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示第一度量、第二度量、第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

应理解，在本发明实施例中可以采用多种方式确定第一度量、第二度量和第三度量，上文中仅给出了确定第一度量、第二度量和第三度量的较佳的实施例，本发明实施例并不限于此，例如，确定第二度量的公式可以变形为：

或者，

再例如，确定第一度量和第三度量可以采用向量的余弦相似度(cosinesimilarity)，而不采用向量的内积等。

同样的，当确定第一度量、第二度量和/或第三度量的公式变形后，相应的目标函数也可以相应变形，本发明实施例并不对此做限定，并且，本发明实施例中的目标函数采用的是多个部分的和的形式，但目标函数也可以采用其他形式，例如，可以采用多个部分的乘机然后求导数的形式，本发明实施例并不对此做限定。

换句话说，本领域技术人员根据本发明实施例所给出的例子，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本发明实施例的范围内。

在本发明实施例中的最终的优化问题即求解上述目标函数的最小值(最优值)：

用户模型为表示目标函数优化后的所有的用户在低维隐空间上的向量表示；

物品模型为表示目标函数优化后的所有物品在低维隐空间上的向量表示；

查询模型为表示目标函数优化后的所有查询在低维隐空间上的向量表示；

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合，p_u表示用户u在低维隐空间上的向量表示，p_i表示物品i在低维隐空间上的向量表示，p_q表示查询q在低维隐空间上的向量表示。

应理解，本发明实施例中的低维隐空间上的向量表示可以为d维隐向量表示。

需要说明的是中向量是目标函数优化后的所有的用户在低维隐空间上的向量表示，中的元素是目标函数优化后的向量表示，是目标函数的最优解。与同理也是目标函数的最优解。

可选地，根据本发明实施例，可以使用随机梯度下降法优化目标函数。

具体地，作为另一实施例，使用随机梯度下降法优化目标函数，包括：

在目标函数未收敛，且迭代步数t小于截止步数时，根据以下公式优化目标函数，并更新参数

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示第一度量、第二度量、第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重。κ为学习率，表示更新学习参数的程度。

换句话说，使用随机梯度下降(Stochastic Gradient Descent)算法求解上述优化问题，其计算流程为：

首先，可以输入预设参数：S,R,α,β,γ,θ,η,τ,ρ,T。

其次，初始化，设置p_u,p_i,p_q,t均为0，其中，t表示迭代次数。

然后，判断优化问题是否收敛，当未收敛且t小于预设迭代次数时，例如，以输入的样本实例为(u,i,q)或者(u,i)或者(u,i,r_ui)举例说明，更新参数，具体地，循环执行下列公式：

最后，在目标函数收敛时，或者达到迭代次数后，输出参数矩阵：

应理解，κ可以预设的常数，也可以是按照预设规律变化的数值，κ的大小反映了更新学习参数的程度的高低。

上述算法中输出的最优值即为所有的用户、物品、查询在低维隐空间上的向量表示，这些表示可以被用于搜索排序中查询和物品的匹配度计算，及推荐中用户对物品偏好度的计算之中。

可选地，作为另一实施例，本发明实施例方法还包括：

根据物品模型和查询模型计算搜索匹配度；

和/或

根据用户模型和物品模型计算推荐偏好度。

具体地，根据物品模型和查询模型计算搜索匹配度，包括：

根据以下公式计算查询与物品的搜索匹配度，

其中，q表示查询，i＝i₁,i₂,...i_n，表示针对查询q的候选查询物品，match(q,i)表示查询q与物品i的搜索匹配度，

表示p_q为中的元素，p_q ^T表示p_q的转置，表示查询模型，

表示p_i为中的元素，表示物品模型。

例如，将本发明实施例方法应用于搜索引擎中为例进行详细描述：

首先，用户输入查询词q，针对查询q，可以获取查询物品的候选集合{i₁,i₂,...i_n}；具体地，可以是获取搜索引擎检索模块召回的相关物品的候选集合{i₁,i₂,...i_n}；

然后，进入排序模块，对于候选集合中每个物品i，按如下公式计算其与查询词q的匹配度：

最后，将候选集合按该匹配度得分降序排列，并返回给用户。

可选地，根据用户模型和物品模型计算推荐偏好度，包括：

根据以下公式计算用户和物品的推荐偏好度，

其中，u表示用户，i＝i₁,i₂,...i_n，表示针对用户u的候选兴趣物品，rate(u,i)表示用户u和物品i的推荐偏好度，

表示p_u为中的元素，p_u ^T表示p_u的转置，表示用户模型，

表示p_i为中的元素，表示物品模型。

例如，将本发明实施例方法应用于推荐系统为例进行详细描述：

首先，用户u登录，通过某种推荐算法召回该用户可能感兴趣的物品候选集合{i₁,i₂,...i_n}；

然后，对于候选集合中每个物品i，按如下公式计算用户u对其的偏好度：

最后，将候选集合按该偏好度降序排列，并返回给用户。

下面结合图2和图3的的具体例子详细描述本发明实施例的机器学习的方法。

图2是根据本发明另一实施例的机器学习的方法的示意性流程图。如图2所示的方法包括：

首先，搜索引擎中记录有用户的用户行为的搜索日志210(对应第一用户日志记录数据)。具体地，在搜索系统中，用户的搜索行为可以描述成：用户u，搜索查询词q，返回结果列表，用户点击了其中的物品i，通常这个物品反映了用户在该查询词下的需求。从大量的用户搜索行为中，可以抽取训练样本集合：S＝{(u,q,i)}(第一训练样本集合)。

推荐系统中记录有用户的用户评分和用户行为的推荐评分及日志220(对应用户评分记录数据和第二用户日志记录数据)。具体地，在推荐系统中，用户的行为分为两种，一种是显式的：用户u，对于某个物品i打分，其分数记为r_u,i，该评分往往显示了用户对于该物品的喜好程度。另一个种是隐式的：用户u，在浏览过程中点击了物品i，这往往也一定程度反映了用户对于该物品的偏好。从上述两种数据中，可以抽取到训练样本集合：R₁＝{(u,i,r_u,i)}(第二训练样本集合)，R₂＝{(u,i)}(第三训练样本集合)。

其次，本发明实施例中的机器学习的设备230(例如，可以为机器学习的设备中的机器学习联合训练模块)从搜索日志数据中获取用户、查询、物品的三元组集合，从推荐系统评分及日志中获取用户、物品、评分的三元组集合和用户、物品的二元组集合。应理解，上述三个集合共同组成了机器学习联合训练系统的输入数据。将上述两个数据来源融合作为输入，进行机器学习联合训练。并得到(产出)关于查询、物品、用户的查询-物品匹配模型240和用户-物品匹配模型250并分发回搜索引擎和推荐系统，供搜索排序匹配度和推荐偏好度计算使用。

最后，搜索引擎260根据用户的查询和获取到的查询-物品匹配模型向用户返回结果。推荐系统270根据获取到的用户-物品匹配模型向用户推荐物品。

需要说明的是，图2中虚框中机器学习的设备将第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据融合，进行机器学习训练，得到训练结果的过程将在图3中进行详细说明。

图3是根据本发明另一实施例的机器学习的方法的示意性流程图。图3所示的方法可以由机器学习的设备执行，如图3所示的方法包括：

310、311，从搜索用户日志数据(第一用户日志记录数据)中获取用户、查询、物品的训练样本集合(第一训练样本集合)。

具体地，记所有的用户集合为U，所有物品集合为I，所有查询的集合为Q。在搜索系统中，用户的搜索行为可以描述成：用户u，搜索查询词q，返回结果列表，用户点击了其中的物品i，通常这个物品反映了用户在该查询词下的需求。从大量的用户搜索行为中，可以抽取训练样本集合：S＝{(u,q,i)}(第一训练样本集合)。

320、321、331，从推荐评分及用户日志数据(用户评分记录数据和第二用户日志记录数据)中获取用户、物品、评分的训练样本集合(第二训练样本集合)和用户、物品的训练样本集合(第三训练样本集合)。

具体地，在推荐系统中，用户的行为分为两种，一种是显式的：用户u，对于某个物品i打分，其分数记为r_u,i，该评分往往显示了用户对于该物品的喜好程度。另一个种是隐式的：用户u，在浏览过程中点击了物品i，这往往也一定程度反映了用户对于该物品的偏好。从上述两种数据中，可以抽取到训练样本集合：R₁＝{(u,i,r_u,i)}(第二训练样本集合)R₂＝{(u,i)}(第三训练样本集合)。

312，计算用户、查询、物品间的样本匹配度(第一度量)。

根据匹配学习的模型和隐因素模型的思想，将每个用户u、每个物品i、每个查询词q都分别用一个d维的隐向量(latent vector)来表示：

p_u,p_i,p_q∈R^d,u∈U,i∈I,q∈Q，

并计L_u＝{p_u}_u∈U,L_i＝{p_i}_i∈I,L_q＝{p_q}_q∈Q。

在搜索系统中，用户、物品、查询三者之间的匹配度表示为：

其中表示两个向量逐个元素相乘形成的向量(即向量的Hadamard积)。整个训练样本集合S上的平均匹配度(第一度量)为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合，n_S表示第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛积，F(L_u,L_q,L_i；S)为第一度量，表示在第一训练样本集合下的用户、查询和物品的平均匹配度。

322，计算用户、物品间的匹配度与其评分的拟合度(第二度量)。

具体地，在推荐系统中，对于用户、物品的匹配度与用户对物品的实际评分的拟合度，可以计算其平方误差：

(r_u,i-p_u ^Tp_i)²

则在整个训练样本集合R₁上的平均拟合度(第二度量)为：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合，n_R1表示第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为第二度量，表示在第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

332，计算用户、物品间的样本匹配度(第三度量)。

在推荐系统中，用户、物品两者之间的匹配度可以表示为：

T

p_u p_i

则在整个训练样本集合R₂上的平均匹配度(第三度量)为：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合，表示第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为第三度量，表示在第三训练样本集合下的用户与物品的平均匹配度。

340，合并成为兼顾搜索与推荐两个维度的匹配度，并增加对于参数的正则化项，构成目标函数。

具体地，将上述三个集合上的平均匹配度及平均拟合度合并，就构成了优化目标函数的主体。对于机器学习模型，为了增强其泛化能力，防止过拟合，还需加入对于参数矩阵的L_u,L_i,L_q的正则化项。最终的目标函数形式为：

最终的优化问题即求解上述目标函数的最优值：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示第一度量、第二度量、第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

350，使用随机梯度下降算法优化上述目标函数。

具体地，使用随机梯度下降(Stochastic Gradient Descent)算法求解上述优化问题，其计算流程为：

首先，可以输入预设参数：S,R,α,β,γ,θ,η,τ,ρ,T。

其次，初始化，设置p_u,p_i,p_q,t均为0，其中，t表示迭代次数。

然后，判断优化问题是否收敛，当未收敛且t小于预设迭代次数时，例如，以输入的样本实例为(u,i,q)或者(u,i)或者(u,i,r_ui)举例说明，更新参数(κ为学习率)，具体地，循环执行下列公式，

最后，在目标函数收敛时，或者达到迭代次数后，输出参数矩阵：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示第一度量、第二度量、第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重。κ为学习率，表示更新学习参数的程度。

应注意，本发明实施例仅以采用随机梯度下降算法进行优化目标函数举例说明，本发明实施例中还可以采用其他的梯度下降算法或者其他的优化算法，本发明实施例并不限于此。

应理解，上述算法中输出的最优值即为所有的用户、物品、查询在低维隐空间上的向量表示，这些表示可以被用于搜索排序中查询和物品的匹配度计算，及推荐中用户对物品偏好度的计算之中。

360，向搜索引擎输出优化的查询-物品匹配模型参数。

具体地，向搜索引擎输出

370，向推荐系统输出优化的用户-物品匹配模型参数。

具体地，向推荐系统输出

上文中，结合图1、图2和图3描述了本发明实施例的机器学习的方法。下面结合图4和图5描述本发明实施例的机器学习的设备。

图4是根据本发明一个实施例的机器学习的设备示意框图。应注意，图4所示的机器学习的设备400与图1的机器学习的方法相对应，设备400能够实现图1实施例中的各个过程，为避免重复此处适当省略详细描述。

如图4所示的设备400包括：获取单元410和机器学习单元420。

具体地，获取单元410用于获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息；

机器学习单元420用于将第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据融合，进行机器学习，得到训练结果，训练结果包括用于计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。

因此，本发明实施例将搜索引擎和推荐系统的用户数据融合，统一进行机器学习训练，并获得计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。因此，本发明实施例能够结合搜索引擎和推荐系统的用户数据，提高了数据利用率。

进一步地，搜索引擎和推荐系统的用户数据可以通过本发明实施的方式实现深层共享，能够缓解双方数据稀疏性的问题，从而同时提升搜索和推荐在长尾数据上的效果。

可选地，作为另一实施例，机器学习单元420根据第一用户日志记录数据，确定第一度量，第一度量包括用户、查询和物品的匹配度；根据用户评分记录数据，确定第二度量，第二度量包括用户、物品的匹配度与评分的拟合度；根据第二用户日志记录数据，确定第三度量，第三度量包括用户与物品的匹配度；根据第一度量、第二度量和第三度量确定目标函数，目标函数用于求解用户模型、物品模型和查询模型；优化目标函数，获得用户模型、物品模型和查询模型。

可选地，作为另一实施例，机器学习单元420根据第一用户日志记录数据，确定在隐向量空间上的第一度量；根据用户评分记录数据，确定在隐向量空间上的第二度量；根据第二用户日志记录数据，确定在隐向量空间上第三度量；其中，用户模型、物品模型和查询模型分别对应用户、物品和查询在隐向量空间上的向量表示。

可选地，作为另一实施例，机器学习单元420根据以下公式确定第一度量：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合，n_S表示第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛积，F(L_u,L_q,L_i；S)为第一度量，表示在第一训练样本集合下的用户、查询和物品的平均匹配度。

可选地，作为另一实施例，机器学习单元420根据以下公式确定第二度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合，n_R1表示第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为第二度量，表示在第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

可选地，作为另一实施例，机器学习单元420包括根据以下公式确定第三度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合，表示第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为第三度量，表示在第三训练样本集合下的用户与物品的平均匹配度。

可选地，作为另一实施例，目标函数为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示第一度量、第二度量、第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

可选地，作为另一实施例，用户模型为表示目标函数优化后的所有的用户在低维隐空间上的向量表示；

物品模型为表示目标函数优化后的所有物品在低维隐空间上的向量表示；

查询模型为表示目标函数优化后的所有查询在低维隐空间上的向量表示；

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合，p_u表示用户u在低维隐空间上的向量表示，p_i表示物品i在低维隐空间上的向量表示，p_q表示查询q在低维隐空间上的向量表示。

可选地，作为另一实施例，机器学习单元420使用随机梯度下降法优化目标函数。

可选地，作为另一实施例，机器学习单元420在目标函数未收敛，且迭代步数t小于截止步数时，根据以下公式优化目标函数，并更新学习参数，

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示第一度量、第二度量、第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重，κ为学习率，表示更新学习参数的程度。

可选地，作为另一实施例，本发明实施例的机器学习的设备400还包括：计算单元。

具体地，计算单元，用于根据物品模型和查询模型计算搜索匹配度；和/或根据用户模型和物品模型计算推荐偏好度。

可选地，作为另一实施例，计算单元根据以下公式计算查询与物品的搜索匹配度，

其中，q表示查询，i＝i₁,i₂,...i_n，表示针对查询q的候选查询物品，match(q,i)表示查询q与物品i的搜索匹配度，

表示p_q为中的元素，p_q ^T表示p_q的转置，表示查询模型，

表示p_i为中的元素，表示物品模型。

可选地，作为另一实施例，计算单元根据以下公式计算用户和物品的推荐偏好度，

其中，u表示用户，i＝i₁,i₂,...i_n，表示针对用户u的候选兴趣物品，rate(u,i)表示用户u和物品i的推荐偏好度，

表示p_u为中的元素，p_u ^T表示p_u的转置，表示用户模型，

表示p_i为中的元素，表示物品模型。

图5是根据本发明一个实施例的机器学习的设备示意框图。应注意，图5所示的机器学习的设备500与图1的机器学习的方法相对应，设备500能够实现图1实施例中的各个过程，为避免重复此处适当省略详细描述。

如图5所示的机器学习的设备500包括：处理器510、存储器520、总线系统530。

具体地，处理器510用于通过总线系统530调用存储在存储器520中的代码，获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息；将第一用户日志记录数据、用户评分记录数据和第二用户日志记录数据融合，进行机器学习，得到训练结果，训练结果包括用于计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。

因此，本发明实施例将搜索引擎和推荐系统的用户数据融合，统一进行机器学习训练，并获得计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。因此，本发明实施例能够结合搜索引擎和推荐系统的用户数据，提高了数据利用率。

进一步地，搜索引擎和推荐系统的用户数据可以通过本发明实施的方式实现深层共享，能够缓解双方数据稀疏性的问题，从而同时提升搜索和推荐在长尾数据上的效果。

上述本发明实施例揭示的方法可以应用于处理器510中，或者由处理器510实现。处理器510可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器510中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器510可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read-Only Memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器520，处理器510读取存储器520中的信息，结合其硬件完成上述方法的步骤，该总线系统530除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统530。

可选地，作为另一实施例，处理器510根据第一用户日志记录数据，确定第一度量，第一度量包括用户、查询和物品的匹配度；根据用户评分记录数据，确定第二度量，第二度量包括用户、物品的匹配度与评分的拟合度；根据第二用户日志记录数据，确定第三度量，第三度量包括用户与物品的匹配度；根据第一度量、第二度量和第三度量确定目标函数，目标函数用于求解用户模型、物品模型和查询模型；优化目标函数，获得用户模型、物品模型和查询模型。

可选地，作为另一实施例，处理器510根据第一用户日志记录数据，确定在隐向量空间上的第一度量；根据用户评分记录数据，确定在隐向量空间上的第二度量；根据第二用户日志记录数据，确定在隐向量空间上第三度量；其中，用户模型、物品模型和查询模型分别对应用户、物品和查询在隐向量空间上的向量表示。

可选地，作为另一实施例，处理器510根据以下公式确定第一度量：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合，n_S表示第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛积，F(L_u,L_q,L_i；S)为第一度量，表示在第一训练样本集合下的用户、查询和物品的平均匹配度。

可选地，作为另一实施例，处理器510根据以下公式确定第二度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合，n_R1表示第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为第二度量，表示在第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

可选地，作为另一实施例，处理器510包括根据以下公式确定第三度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合，表示第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为第三度量，表示在第三训练样本集合下的用户与物品的平均匹配度。

可选地，作为另一实施例，目标函数为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示第一度量、第二度量、第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

可选地，作为另一实施例，用户模型为表示目标函数优化后的所有的用户在低维隐空间上的向量表示；

物品模型为表示目标函数优化后的所有物品在低维隐空间上的向量表示；

查询模型为表示目标函数优化后的所有查询在低维隐空间上的向量表示；

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合，p_u表示用户u在低维隐空间上的向量表示，p_i表示物品i在低维隐空间上的向量表示，p_q表示查询q在低维隐空间上的向量表示。

可选地，作为另一实施例，处理器510使用随机梯度下降法优化目标函数。

可选地，作为另一实施例，处理器510在目标函数未收敛，且迭代步数t小于截止步数时，根据以下公式优化目标函数，并更新学习参数，

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示第一度量、第二度量、第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重，κ为学习率，表示更新学习参数的程度。

可选地，作为另一实施例，处理器510还用于根据物品模型和查询模型计算搜索匹配度；和/或根据用户模型和物品模型计算推荐偏好度。

可选地，作为另一实施例，处理器510根据以下公式计算查询与物品的搜索匹配度，

其中，q表示查询，i＝i₁,i₂,...i_n，表示针对查询q的候选查询物品，match(q,i)表示查询q与物品i的搜索匹配度，

表示p_q为中的元素，p_q ^T表示p_q的转置，表示查询模型，

表示p_i为中的元素，表示物品模型。

可选地，作为另一实施例，处理器510根据以下公式计算用户和物品的推荐偏好度，

其中，u表示用户，i＝i₁,i₂,...i_n，表示针对用户u的候选兴趣物品，rate(u,i)表示用户u和物品i的推荐偏好度，表示p_u为中的元素，p_u ^T表示p_u的转置，表示用户模型，表示p_i为中的元素，表示物品模型。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，在本发明实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (26)

1.一种机器学习的方法，其特征在于，包括：

获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，所述第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，所述用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，所述第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息；

将所述第一用户日志记录数据、所述用户评分记录数据和所述第二用户日志记录数据融合，进行机器学习，得到训练结果，所述训练结果包括用于计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。

2.根据权利要求1所述的方法，其特征在于，

所述将所述第一用户日志记录数据、所述用户评分记录数据和所述第二用户日志记录数据融合，进行机器学习训练，得到训练结果，包括：

根据所述第一用户日志记录数据，确定第一度量，所述第一度量包括用户、查询和物品的匹配度；

根据所述用户评分记录数据，确定第二度量，所述第二度量包括用户、物品的匹配度与评分的拟合度；

根据所述第二用户日志记录数据，确定第三度量，所述第三度量包括用户与物品的匹配度；

根据所述第一度量、所述第二度量和所述第三度量确定目标函数，所述目标函数用于求解所述用户模型、所述物品模型和所述查询模型；

优化所述目标函数，获得所述用户模型、所述物品模型和所述查询模型。

3.根据权利要求2所述的方法，其特征在于，

所述根据所述第一用户日志记录数据，确定第一度量，包括：

根据所述第一用户日志记录数据，确定在隐向量空间上的所述第一度量；

所述根据所述用户评分记录数据，确定第二度量，包括：

根据所述用户评分记录数据，确定在隐向量空间上的所述第二度量；

所述根据所述第二用户日志记录数据，确定第三度量，包括：

根据所述第二用户日志记录数据，确定在隐向量空间上所述第三度量；

其中，所述用户模型、所述物品模型和所述查询模型分别对应用户、物品和查询在隐向量空间上的向量表示。

4.根据权利要求3所述的方法，其特征在于，

所述根据所述第一用户日志记录数据，确定在隐向量空间上的所述第一度量，包括：根据以下公式确定所述第一度量：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与所述第一用户日志记录数据对应的第一训练样本集合，n_S表示所述第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛积，F(L_u,L_q,L_i；S)为所述第一度量，表示在所述第一训练样本集合下的用户、查询和物品的平均匹配度。

5.根据权利要求3或4所述的方法，其特征在于，

所述根据所述用户评分记录数据，确定在隐向量空间上的所述第二度量，包括根据以下公式确定所述第二度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与所述用户评分记录数据对应的第二训练样本集合，n_R1表示所述第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为所述第二度量，表示在所述第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

6.根据权利要求3或4所述的方法，其特征在于，

所述根据所述第二用户日志记录数据，确定在隐向量空间上的所述第三度量，包括根据以下公式确定所述第三度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与所述第二用户日志记录数据对应的第三训练样本集合，表示所述第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为所述第三度量，表示在所述第三训练样本集合下的用户与物品的平均匹配度。

7.根据权利要求3或4所述的方法，其特征在于，

所述目标函数为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与所述第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与所述用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与所述第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示所述第一度量、所述第二度量、所述第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

8.根据权利要求3或4所述的方法，其特征在于，

所述用户模型为表示所述目标函数优化后的所有的用户在低维隐空间上的向量表示；

所述物品模型为表示所述目标函数优化后的所有物品在低维隐空间上的向量表示；

所述查询模型为表示所述目标函数优化后的所有查询在低维隐空间上的向量表示。

9.根据权利要求3或4所述的方法，其特征在于，

所述优化所述目标函数，包括：

使用随机梯度下降法优化所述目标函数。

10.根据权利要求9所述的方法，其特征在于，

所述使用随机梯度下降法优化所述目标函数，包括：

在所述目标函数未收敛，且迭代步数t小于截止步数时，根据以下公式优化所述目标函数，并更新学习参数，

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示所述第一度量、所述第二度量、所述第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重，κ为学习率，表示更新学习参数的程度。

11.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

根据所述物品模型和所述查询模型计算搜索匹配度；

和/或

根据所述用户模型和所述物品模型计算推荐偏好度。

12.根据权利要求11所述的方法，其特征在于，

所述根据所述物品模型和所述查询模型计算搜索匹配度，包括：

根据以下公式计算查询与物品的搜索匹配度，

其中，q表示查询，i＝i₁,i₂,...i_n，表示针对查询q的候选查询物品，match(q,i)表示查询q与物品i的搜索匹配度，

表示p_q为中的元素，p_q ^T表示p_q的转置，表示所述查询模型，

表示p_i为中的元素，表示所述物品模型。

13.根据权利要求11所述的方法，其特征在于，

所述根据所述用户模型和所述物品模型计算推荐偏好度，包括：

根据以下公式计算用户和物品的推荐偏好度，

其中，u表示用户，i＝i₁,i₂,...i_n，表示针对用户u的候选兴趣物品，rate(u,i)表示用户u和物品i的推荐偏好度，

表示p_u为中的元素，p_u ^T表示p_u的转置，表示所述用户模型，

表示p_i为中的元素，表示所述物品模型。

14.一种机器学习的设备，其特征在于，包括：

获取单元，用于获取搜索引擎中的第一用户日志记录数据，与推荐系统中的用户评分记录数据和第二用户日志记录数据，所述第一用户日志记录数据包括用户的信息、用户所给出的查询和查询所对应的物品的信息，所述用户评分记录数据包括用户的信息、用户所感兴趣的物品的信息和用户对感兴趣的物品的评分，所述第二用户日志记录数据包括用户的信息和用户所感兴趣的物品的信息；

机器学习单元，用于将所述第一用户日志记录数据、所述用户评分记录数据和所述第二用户日志记录数据融合，进行机器学习，得到训练结果，所述训练结果包括用于计算搜索匹配度和推荐偏好度所需的用户模型、物品模型和查询模型。

15.根据权利要求14所述的设备，其特征在于，

所述机器学习单元，根据所述第一用户日志记录数据，确定第一度量，所述第一度量包括用户、查询和物品的匹配度；根据所述用户评分记录数据，确定第二度量，所述第二度量包括用户、物品的匹配度与评分的拟合度；根据所述第二用户日志记录数据，确定第三度量，所述第三度量包括用户与物品的匹配度；根据所述第一度量、所述第二度量和所述第三度量确定目标函数，所述目标函数用于求解所述用户模型、所述物品模型和所述查询模型；优化所述目标函数，获得所述用户模型、所述物品模型和所述查询模型。

16.根据权利要求15所述的设备，其特征在于，

所述机器学习单元，根据所述第一用户日志记录数据，确定在隐向量空间上的所述第一度量；根据所述用户评分记录数据，确定在隐向量空间上的所述第二度量；根据所述第二用户日志记录数据，确定在隐向量空间上所述第三度量；其中，所述用户模型、所述物品模型和所述查询模型分别对应用户、物品和查询在隐向量空间上的向量表示。

17.根据权利要求16所述的设备，其特征在于，

所述机器学习单元根据以下公式确定所述第一度量：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与所述第一用户日志记录数据对应的第一训练样本集合，n_S表示所述第一训练样本集合中样本的个数；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，其中表示向量的哈达玛积，F(L_u,L_q,L_i；S)为所述第一度量，表示在所述第一训练样本集合下的用户、查询和物品的平均匹配度。

18.根据权利要求16或17所述的设备，其特征在于，

所述机器学习单元根据以下公式确定所述第二度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₁＝{(u,i,r_u,i)}表示与所述用户评分记录数据对应的第二训练样本集合，n_R1表示所述第二训练样本集合中样本的个数；r_u,i表示用户u对物品i的评分，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；F(L_u,L_i；R₁)为所述第二度量，表示在所述第二训练样本集合下的用户与物品的匹配度与评分的平均拟合度。

19.根据权利要求16或17所述的设备，其特征在于，

所述机器学习单元包括根据以下公式确定所述第三度量：

其中，u∈U,i∈I，u表示用户，i表示物品，U表示所有用户的集合，I表示所有物品的集合；p_u,p_i∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，R₂＝{(u,i)}表示与所述第二用户日志记录数据对应的第三训练样本集合，表示所述第三训练样本集合中样本的个数；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；F(L_u,L_i；R₂)为所述第三度量，表示在所述第三训练样本集合下的用户与物品的平均匹配度。

20.根据权利要求16或17所述的设备，其特征在于，

所述目标函数为：

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；L_u＝{p_u}_u∈U表示所有用户对应的d维隐向量的集合，L_i＝{p_i}_i∈I表示所有物品对应的d维隐向量的集合，L_q＝{p_q}_q∈Q表示所有查询对应的d维隐向量的集合，S＝{(u,q,i)}表示与所述第一用户日志记录数据对应的第一训练样本集合；R₁＝{(u,i,r_u,i)}表示与所述用户评分记录数据对应的第二训练样本集合；R₂＝{(u,i)}表示与所述第二用户日志记录数据对应的第三训练样本集合；表示在搜索系统中，用户u、物品i、查询q三者之间的匹配度，(r_u,i-p_u ^Tp_i)²表示在推荐系统中用户u、物品i的匹配度与用户对物品的评分的拟合度；p_u ^Tp_i表示在推荐系统中用户u、物品i两者之间的匹配度；α,β,γ分别表示所述第一度量、所述第二度量、所述第三度量的系数；θ,ρ,τ,η,μ均为正数，为正则化项的系数，其大小决定了各正则化项在优化问题中的比重。

21.根据权利要求16或17所述的设备，其特征在于，

所述用户模型为表示所述目标函数优化后的所有的用户在低维隐空间上的向量表示；

所述物品模型为表示所述目标函数优化后的所有物品在低维隐空间上的向量表示；

所述查询模型为表示所述目标函数优化后的所有查询在低维隐空间上的向量表示。

22.根据权利要求16或17所述的设备，其特征在于，

所述机器学习单元使用随机梯度下降法优化所述目标函数。

23.根据权利要求22所述的设备，其特征在于，

所述机器学习单元在所述目标函数未收敛，且迭代步数t小于截止步数时，根据以下公式优化所述目标函数，并更新学习参数，

其中，u∈U,i∈I,q∈Q，u表示用户，i表示物品，q表示查询，U表示所有用户的集合，I表示所有物品的集合，Q表示所有查询的集合；p_u,p_i,p_q∈R^d，R^d表示d维的隐向量空间，p_u表示用户u的d维隐向量表示，p_u ^T表示p_u的转置，p_i表示物品i的d维隐向量表示，p_q表示查询q的d维隐向量表示；表示第t次迭代的用户u的d维隐向量表示，表示的转置，表示第t+1次迭代的用户u的d维隐向量表示，表示第t次迭代的物品i的d维隐向量表示，表示第t+1次迭代的物品i的d维隐向量表示；表示第t次迭代的查询q的d维隐向量表示，表示第t+1次迭代的查询q的d维隐向量表示，表示向量的哈达玛积，α,β,γ均为正实数，分别表示所述第一度量、所述第二度量、所述第三度量的系数，θ,ρ,τ,η,μ均为正数，为正则化项的系数，θ,ρ,τ,η,μ的大小决定了各项在优化问题中的比重，κ为学习率，表示更新学习参数的程度。

24.根据权利要求14至17中任一项所述的设备，其特征在于，还包括：

计算单元，用于根据所述物品模型和所述查询模型计算搜索匹配度；

和/或

根据所述用户模型和所述物品模型计算推荐偏好度。

25.根据权利要求24所述的设备，其特征在于，

所述计算单元根据以下公式计算查询与物品的搜索匹配度，

其中，q表示查询，i＝i₁,i₂,...i_n，表示针对查询q的候选查询物品，match(q,i)表示查询q与物品i的搜索匹配度，

表示p_q为中的元素，p_q ^T表示p_q的转置，表示所述查询模型，

表示p_i为中的元素，表示所述物品模型。

26.根据权利要求24所述的设备，其特征在于，

所述计算单元根据以下公式计算用户和物品的推荐偏好度，

其中，u表示用户，i＝i₁,i₂,...i_n，表示针对用户u的候选兴趣物品，rate(u,i)表示用户u和物品i的推荐偏好度，

表示p_u为中的元素，p_u ^T表示p_u的转置，表示所述用户模型，

表示p_i为中的元素，表示所述物品模型。