CN110889747B - 商品推荐方法、装置、系统、计算机设备及存储介质 - Google Patents

商品推荐方法、装置、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN110889747B
CN110889747B CN201911215534.5A CN201911215534A CN110889747B CN 110889747 B CN110889747 B CN 110889747B CN 201911215534 A CN201911215534 A CN 201911215534A CN 110889747 B CN110889747 B CN 110889747B
Authority
CN
China
Prior art keywords
sample
commodity
model
negative sample
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911215534.5A
Other languages
English (en)
Other versions
CN110889747A (zh
Inventor
杨建博
李勇
丁璟韬
全雨晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tsinghua University
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Tencent Technology Shenzhen Co Ltd filed Critical Tsinghua University
Priority to CN201911215534.5A priority Critical patent/CN110889747B/zh
Publication of CN110889747A publication Critical patent/CN110889747A/zh
Application granted granted Critical
Publication of CN110889747B publication Critical patent/CN110889747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及商品推荐方法、装置、系统、计算机设备及存储介质，属于信息推荐技术领域。该方法包括：获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光商品负样本；根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本；根据所述目标采样商品负样本确定目标推荐商品。上述技术方案，解决了传统商品推荐方法不能得到准确的商品推荐结果的问题。能从包含有未曝光商品负样本的初始商品负样本中选取出代表用户真实负向喜好的负样本，进而得到准确的商品推荐结果。

Description

商品推荐方法、装置、系统、计算机设备及存储介质
技术领域
本发明涉及信息推荐技术领域，特别是涉及商品推荐方法、装置、系统、计算机设备及存储介质。
背景技术
推荐系统是一种信息过滤系统，用于预测用户对信息的“评分”或“偏好”并向用户推荐相应的信息，广泛应用于电商、搜索等领域。例如在电商场景下，个性化的推荐系统可以为用户推荐可能购买的商品。在大多数应用场景下，推荐系统只能通过用户与商品之间隐式的反馈行为(如购买属于隐式反馈，而对商品的评分则属于显式反馈)进行推断，这种系统称为隐反馈系统。
在实现本发明过程中，发明人发现传统方式中至少存在如下问题：隐反馈推荐系统的特点是仅能观察到用户的正反馈行为(如购买商品)，而真正的负反馈(用户实际上没有兴趣购买该商品)和缺失值(用户可能有兴趣购买，只是没有发现这件商品)却未观察到(即一个用户未购买某样商品)。隐反馈推荐系统的难点在于未观察数据(负样本)的处理，面向隐反馈推荐系统的负采样方法在采样过程中倾向于选择梯度最大方向的困难样本作为负样本，这样虽然能加快收敛速度，提高最终推荐效果，但存在训练过程不稳定、选取负样本不能代表用户真实负向喜好的问题。因此，传统的方法并不能得到准确的商品推荐结果。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
基于此，本发明实施例提供了商品推荐方法、装置、系统、计算机设备及存储介质，能选取出代表用户真实负向喜好的负样本，得到准确的商品推荐结果。
本发明实施例的内容如下：
在一个实施例中，提供一种商品推荐方法，包括以下步骤：获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光商品负样本；根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本；根据所述目标采样商品负样本确定目标推荐商品。
在一个实施例中，提供一种商品推荐装置，包括：模型获取模块，用于获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光采样商品负样本；目标负样本确定模块，用于根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本；推荐商品确定模块，用于根据所述目标采样商品负样本确定目标推荐商品。
在一个实施例中，所述商品推荐装置，还包括：表达式获取模块，用于获取目标用户对初始商品负样本的第一喜好程度表达式；第一采集模型构建模块，用于根据所述第一喜好程度表达式构建第二样本采集模型；所述目标负样本确定模块，包括：模型优化子模块，用于通过所述第二样本采集模型对所述第一样本采集模型进行优化，得到第三样本采样模型；目标负样本确定子模块，用于通过所述第三样本采样模型，从所述初始商品负样本中确定目标采样商品负样本。
在一个实施例中，所述模型优化子模块，包括：加权和计算单元，用于根据预先确定的第一调整权重，确定所述第一样本采集模型和所述第二样本采集模型的第一加权和；采集模型确定单元，用于将所述第一加权和，确定为所述第三样本采集模型。
在一个实施例中，目标负样本确定子模块，包括：模型优化单元，用于基于强化学习策略梯度方法的梯度准则，对所述第三样本采集模型进行优化；商品负样本确定单元，用于通过优化后的所述第三样本采集模型，从所述初始商品负样本中确定目标采样商品负样本。
在一个实施例中，所述第一采集模型构建模块，包括：标准差获取子模块，用于获取所述初始商品负样本的标准差；乘积确定子模块，用于确定所述标准差和所述第一喜好程度表达式的乘积；采集模型确定子模块，用于根据所述乘积的第一数学期望表达式，得到所述第二样本采集模型。
在一个实施例中，所述推荐商品确定模块，包括：排序模型获取子模块，用于获取预先构建的排序模型；所述排序模块根据所述第一喜好程度表达式和第二喜好程度表达式构建；所述第二喜好程度表达式为所述目标用户对商品正样本的喜好程度表达式；喜好程度值获取子模块，用于获取所述第二喜好程度表达式对应的喜好程度分值，得到正样本喜好程度值；模型计算子模块，用于将所述正样本喜好程度值代入所述排序模型的第二喜好程度表达式中，以使所述排序模型对应的损失函数最大化所述第一喜好程度表达式和所述正样本喜好程度值之间的差值，根据最大化处理结果确定与所述第一喜好程度表达式对应的喜好程度值，得到负样本喜好程度值，并根据所述负样本喜好程度值得到对所述初始商品负样本进行排序的排序结果；推荐商品确定子模块，用于根据所述排序模型输出的排序结果，确定针对所述目标用户的目标推荐商品。
在一个实施例中，所述相关性包括交叠程度；所述目标负样本确定模块，还用于根据所述第一样本采集模型，确定与所述曝光商品负样本交叠程度最大的初始商品负样本，作为所述目标采样商品负样本。
在一个实施例中，所述商品推荐装置，还包括：二值函数确定模块，用于根据所述初始商品负样本，确定与所述曝光商品负样本对应的二值函数；其中，若目标采样商品负样本存在于所述曝光商品负样本中，则对应的二值函数的输出为1，否则为0；第二采集模型构建模块，用于根据所述二值函数对应的第二数学期望表达式，构建所述第一样本采集模型。
在一个实施例中，所述第二采集模型构建模块，包括：平均差异确定子模块，用于确定所述初始商品负样本与所述曝光商品负样本的最大平均差异表达式；加权和计算子模块，用于根据预先确定的第二调整权重，计算所述二值函数和所述最大平均差异表达式的第二加权和；数学期望计算子模块，用于根据所述第二加权和的数学期望，得到所述第二数学期望表达式。
在一个实施例中，提供一种商品推荐系统，包括：网络连接的采样器和推荐器；所述采样器，用于获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光商品负样本；根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本；所述推荐器，用于根据所述目标采样商品负样本确定目标推荐商品。
在一个实施例中，所述商品推荐系统，还包括控制器；所述控制器分别与所述采样器和所述推荐器网络连接；所述控制器，用于通过对抗生成网络对所述采样器和所述推荐器进行训练。
在一个实施例中，所述控制器，还用于确定所述曝光商品负样本的第一梯度以及所述目标采样商品负样本的第二梯度，获取预先确定的步长，根据所述步长、第一梯度以及第二梯度更新所述第一样本采样模型的模型参数。
在一个实施例中，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光商品负样本；根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本；根据所述目标采样商品负样本确定目标推荐商品。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光商品负样本；根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本；根据所述目标采样商品负样本确定目标推荐商品。
上述技术方案中的一个技术方案具有如下优点或有益效果：根据曝光商品负样本和初始商品负样本之间的相关性构建第一样本采集模型，该第一样本采集模型融合了未曝光商品负样本的信息；根据第一样本采集模型，从初始商品负样本中确定目标采样商品负样本；根据目标采样商品负样本确定目标推荐商品，能从包含有未曝光商品负样本的初始商品负样本中选取出代表用户真实负向喜好的负样本，进而得到准确的商品推荐结果。
附图说明
图1为一个实施例中商品推荐方法的应用环境图；
图2为一个实施例中商品推荐方法的流程示意图；
图3为一个实施例中商品集合的框架示意图；
图4为一个实施例中第一样本采集模型的结构框架；
图5为一个实施例中确定目标采样商品负样本的过程示意图；
图6为一个实施例中确定目标推荐商品的过程示意图；
图7为一个实施例中商品推荐方法的流程示意图；
图8为一个实施例中商品推荐装置的结构框图；
图9为一个实施例中商品推荐系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供的商品推荐方法可以应用于如图1所示的计算机设备中。该计算机设备可以是服务器，也可以是终端设备，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，处理器用于提供计算和控制能力；存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统、计算机程序(该计算机程序被处理器执行时实现一种商品推荐方法)和数据库，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境；数据库用于存储样本采集模型、曝光商品负样本、初始商品负样本等数据；网络接口用于与外部的终端通过网络连接通信。其中，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现，终端设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例提供一种商品推荐方法、装置、系统、计算机设备及存储介质，以下分别进行详细说明。需要说明的是该方法可以通过图1中独立的计算机设备来实现，也可以通过多个器件来实现，例如结合采样器和推荐器来确定目标推荐商品。以该方法应用于图1中的计算机设备为例进行说明。
在一个实施例中，如图2所示，提供了一种商品推荐方法，包括以下步骤：
S201、获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光商品负样本。
其中，商品可以是各种类型的可以用于交易的物品，可以是实体物品、文章、应用程序等等内容。对于一个推荐系统的用户而言，以电商为例，用户所有的反馈行为都是基于用户自身的兴趣偏好和推荐系统当前已经曝光给用户的商品。图3为商品集合的框架示意图。对于一个用户来说，整个商品集合可以被分为曝光过的商品和没有曝光过的商品，一件商品曝光给用户后，如果用户没有下一步的交互行为，可以认为该商品对于该用户是商品负样本(也可以直接简称为负样本)。同时，在没有曝光过的商品集合内，用户对其中的一些商品可能也存在负偏好和正偏好。传统的采样方式简单地根据曝光样本进行采样，实际上，从曝光样本中获得的用户负偏好是不完整的，即在采样阶段就引入了偏差，导致采集模型效果的下降。因此在负采样的过程中，应该尽量采集对于用户来说“真实”且“困难”的负样本，才能取得较好的采样效果，也就是说，应该尽量生成与曝光未交互过的样本分布接近的负样本，如图3所示，已曝光未点击的负样本与未观测的负样本的分布是相同的，因此，可以根据这两部分的负样本来确定目标采样商品负样本。
曝光商品负样本和初始商品负样本都可以是针对目标用户而言的商品负样本，这两个样本中可以包含至少一个商品负样本，因此，也可也分别称为曝光商品负样本集合和初始商品负样本集合。另外，目标用户指的是本次商品推荐所针对的对象。进一步地，曝光商品负样本指的是已曝光给目标用户，但目标用户没有下一步的交互行为的商品，该商品能在一定程度上确定目标用户对商品的偏好，但是如果仅仅根据曝光商品负样本来确定目标推荐商品，则所推荐商品的准确性不够高。因此，本发明实施例考虑了未曝光商品负样本，这个未曝光商品负样本指的是未曝光给目标用户同时目标用户也不会对其进行下一步交互的商品。初始商品负样本可指商品池中的所有商品，也可指从中采样得到的负样本。进一步地，第一样本采集模型指的是对商品负样本进行采样的模型。
本步骤中的第一样本采集模型能够表征曝光商品负样本和初始商品负样本之间的相关性，其中，相关性可以通过曝光商品负样本和初始商品负样本之间的交叠程度、相似性来体现。
在S201之前，可以根据曝光商品负样本和初始商品负样本之间的相关性构建第一样本采集模型。
S202、根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本。
第一样本采集模型可以根据曝光商品负样本和初始商品负样本之间的相关性，从初始商品负样本中选取出目标用户在隐空间中最接近(如用户和商品向量的内积最大)的前K(K的数值可以根据实际情况确定，本发明实施例对此不做限定)个商品样本。其中，前K个商品样本可以根据目标用户对初始商品负样本的喜好程度来确定，将其中喜好程度值排在前K位的初始商品负样本作为目标采样商品负样本。
S203、根据所述目标采样商品负样本确定目标推荐商品。
目标采样商品负样本可以理解为目标用户最不可能购买的商品，因此，计算机设备根据前述步骤确定的目标采样商品负样本，可以从商品集合中选取出与目标采样商品负样本差别最大的商品，作为目标用户最有可能购买的商品，即目标推荐商品。
在确定目标推荐商品的步骤之后，还可以包括向目标用户输出商品信息的步骤。
本实施例提供的商品推荐方法，能从包含有未曝光商品负样本的初始商品负样本中选取出代表用户真实负向喜好的负样本，进而得到准确的商品推荐结果。
在一个实施例中，所述获取预先构建的第一样本采集模型的步骤之前，还包括：获取目标用户对初始商品负样本的第一喜好程度表达式；根据所述第一喜好程度表达式构建第二样本采集模型LAS；所述根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本的步骤，包括：通过所述第二样本采集模型LAS对所述第一样本采集模型LES进行优化，得到第三样本采样模型；通过所述第三样本采样模型，从所述初始商品负样本中确定目标采样商品负样本。
其中，第二样本采集模型和第三样本采集模型与第一样本采集模型类似，可以指对商品负样本进行采样的模型。第二样本采集模型根据目标用户对初始商品负样本的喜好程度表达式构建，能采样出用户不感兴趣的商品负样本(即较难的负样本)。
进一步地，第一样本采集模型和第二样本采集模型可以独立地对商品负样本进行采样，也可以两者相互结合为第三样本采集模型(即前述通过第二样本采集模型LAS对第一样本采集模型LES进行优化的过程)后，由第三样本采集模型对商品负样本进行采样。更进一步地，结合第一样本采集模型和第二样本采集模型得到的第三样本采集模型，将商品负样本和初始商品负样本之间的相关性以及较难负样本的选取相结合，能采样出对目标用户而言喜好程度高且相关性高的商品负样本，这样的商品负样本具有较高的准确性。
将第一样本采集模型和第二样本采集模型进行结合的过程可以是计算样本采集模型和第二样本采集模型的加权和，将计算得到的加权和作为第三样本采集模型。即，在一个实施例中，所述通过所述第二样本采集模型对所述第一样本采集模型进行优化，得到第三样本采样模型的步骤，包括：根据预先确定的第一调整权重α，确定所述第一样本采集模型和所述第二样本采集模型的第一加权和；将所述第一加权和，确定为所述第三样本采集模型LS，即第三样本采集模型LS可以如下：LS＝LAS+αLES。从第三样本采集模型的表达式可以看出，其结合了第一样本采集模型LAS和第二样本采集模型LES，即结合了两者的采样优点，能使得所采样的商品负样本更为准确。
进一步地，第一样本采集模型可以表征曝光商品负样本和初始商品负样本之间的交叠程度、相关性等。
在一个实施例中，所述根据所述第一喜好程度表达式构建第二样本采集模型的步骤，包括：获取所述初始商品负样本的标准差；确定所述标准差和所述第一喜好程度表达式的乘积；根据所述乘积的第一数学期望表达式，得到所述第二样本采集模型。
其中，第一喜好程度表达式可以为
Figure BDA0002299396810000091
表示目标用户u对曝光商品负样本i的评分(喜好程度值)，Θ为模型参数。根据喜好程度表达式构建的第二样本采集模型如下：
Figure BDA0002299396810000092
其中，j表示目标采样商品负样本对应的标识(也可以直接理解为目标采样商品负样本)，Θ表示模型参数，
Figure BDA0002299396810000093
表示数学期望，C表示复数，
Figure BDA0002299396810000094
表示目标用户u对目标采样商品负样本j的喜好程度表达式，σ表示所述初始商品负样本集合的标准差，
Figure BDA0002299396810000095
表示目标采样商品负样本j通过条件概率
Figure BDA0002299396810000096
生成。在本发明实施例中，可以定义
Figure BDA0002299396810000097
对于一个用户来说，不管是曝光样本还是未曝光样本，都可能包含了负样本，因此在采样过程中，有必要学习负样本的概率分布，并且尽量生成与这个概率分布相匹配的负样本。因此，在一个实施例中，假定对于用户u而言，他的曝光商品负样本为εu，可以通过如下方式构建第一样本采集模型，以采集对应的目标采样商品负样本。即，所述获取预先构建的第一样本采集模型的步骤之前，还包括：根据所述初始商品负样本，确定与所述曝光商品负样本对应的二值函数；其中，若目标采样商品负样本存在于所述曝光商品负样本中，则对应的二值函数的输出为1，否则为0；根据所述二值函数对应的第二数学期望表达式，构建所述第一样本采集模型。
在一个实施例中，所述相关性包括交叠程度；所述根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本的步骤，包括：根据所述第一样本采集模型，确定与所述曝光商品负样本交叠程度最大的初始商品负样本，作为所述目标采样商品负样本。
二值函数可以如下：
Figure BDA0002299396810000101
其中，
Figure BDA0002299396810000102
是二值函数。在该二值函数中，如果j存在于εu中，则二值函数结果为1，如果j并不存在于εu中，则二值函数结果为0。通过这个二值函数，能从初始商品负样本中挑选出已经曝光但未点击的商品负样本，据此能选取出与曝光商品负样本分布概率尽可能相同的目标采样商品负样本。
进一步地，第一样本采集模型可以如下：
Figure BDA0002299396810000103
其中，
Figure BDA0002299396810000104
表示数学期望，C表示复数，
Figure BDA0002299396810000105
表示目标采样商品负样本j通过条件概率
Figure BDA0002299396810000106
生成。
Figure BDA0002299396810000107
用来激励采样器尽量生成与曝光商品负样本εu交叠较大的负样本，因此，通过上述的第一样本采集模型可以尽量最大化生成的目标采集商品负样本和曝光商品负样本之间的交叠程度。
通过上述公式，所得到的目标采集商品负样本和曝光商品负样本可能尽量接近，但是这种方法的结果也可能导致生成的目标采集商品负样本与曝光商品负样本几乎完全一致，而我们需要的是“在分布上接近但是不完全一致”，完全一致的采样可能反而会降低性能，因此，本发明实施例使用最大平均差异(maximum mean discrepancy，简称MMD)这个指标来衡量目标采集商品负样本与曝光商品负样本之间的差异，使其“在分布上接近但是不完全一致”。
进一步的，在一个实施例中，所述根据所述二值函数对应的第二数学期望表达式的步骤，包括：确定所述初始商品负样本与所述曝光商品负样本的最大平均差异表达式；根据预先确定的第二调整权重β，计算所述二值函数和所述最大平均差异表达式的第二加权和；根据所述第二加权和的数学期望，得到所述第二数学期望表达式。
对于曝光商品负样本集合εu和目标采样商品负样本集合
Figure BDA0002299396810000111
Figure BDA0002299396810000112
中的目标采样商品负样本表示为(u，j)，从εu采样获得一个样本(u，k)，采样得到的样本组成集合εs，那么εs和
Figure BDA0002299396810000113
之间的MMD定义为：
Figure BDA0002299396810000114
其中，L表示εs和
Figure BDA0002299396810000115
的大小；
Figure BDA0002299396810000116
表示
Figure BDA0002299396810000117
中目标用户u对目标采样商品负样本的特征向量，
Figure BDA0002299396810000118
表示目标用户u对目标采样商品负样本的特征向量对应的核函数中心，
Figure BDA0002299396810000119
和
Figure BDA00022993968100001110
同理，在此不再赘述；
Figure BDA00022993968100001111
为核函数，这里使用高斯核，即k(x，x′)＝exp(-||x-x′||2/2τ)，τ为带宽。通过最小化MMD，可以使得两个εs和
Figure BDA00022993968100001112
尽量相似。
为了生成分布与曝光商品负样本类似的负样本，可以将第一样本采集模型描述为：
Figure BDA00022993968100001113
其中，
Figure BDA00022993968100001114
可以通过第二调整权重β来调整MMD。另外，可以定义
Figure BDA00022993968100001115
Figure BDA00022993968100001116
在一个实施例中，所述通过所述第三样本采样模型，从所述初始商品负样本中确定目标采样商品负样本的步骤，包括：基于强化学习策略梯度方法的梯度准则，对所述第三样本采集模型进行优化；通过优化后的所述第三样本采集模型，从所述初始商品负样本中确定目标采样商品负样本。
优化后的第三样本采集模型可以为：
Figure BDA0002299396810000121
可以定义
Figure BDA0002299396810000122
由于采样是一个离散的过程，无法进行求导从而通过随机梯度下降(SGD)进行优化，因此本发明实施例通过基于强化学习策略梯度方法(RL)的梯度准则进行优化，即：
Figure BDA0002299396810000123
Figure BDA0002299396810000124
其中，
Figure BDA0002299396810000125
表示可以供目标用户u采样的目标采样商品负样本集合。
根据的ωuj定义可以发现，第一样本采集模型可以拆分为第一样本采集子模型LAS、第二样本采集子模型
Figure BDA0002299396810000126
以及第三样本采集子模型
Figure BDA0002299396810000127
三者得到第一样本采集模型的示意图可以如图4所示。其中，第一样本采集子模型用于生成较难的负样本，第二样本采集子模型用于增加目标采样商品负样本与曝光商品负样本之间的交叠程度，第三样本采集子模型用于增加目标采样商品负样本与曝光商品负样本之间的相似性。具体的，第一样本采集模型如下：
Figure BDA0002299396810000128
Figure BDA0002299396810000131
当然，第一样本采集子模型、第二样本采集子模型和第三样本采集子模型也可以单独作为第一样本采集模型。
在一个实施例中，确定目标采集商品负样本的过程可以由计算机设备完成，也可以具体由采样器(S)完成，图5为采样器确定目标采集商品负样本的过程。如图5所示，在从曝光商品中选取得到采样商品负样本，获取用户向量，该用户向量中包含有目标用户对商品的点击信息，采样器根据GMF模型确定各曝光商品负样本对应的得分(这个得分即为喜好程度值)，通过softmax处理得到各个商品对应的商品概率，将商品概率发送给推荐器，以使推荐器根据各个商品概率确定目标推荐商品。推荐器可以根据最终的商品推荐结果确定采样器的CIA杨准确性，并激励采样器。另外，采样器通过第一样本采集模型训练得到。
在一个实施例中，所述根据所述目标采样商品负样本确定目标推荐商品的步骤，包括：获取预先构建的排序模型；所述排序模块根据所述第一喜好程度表达式和第二喜好程度表达式构建；所述第二喜好程度表达式为所述目标用户对商品正样本的喜好程度表达式；获取所述第二喜好程度表达式对应的喜好程度分值，得到正样本喜好程度值；将所述正样本喜好程度值代入所述排序模型的第二喜好程度表达式中，以使所述排序模型对应的损失函数最大化所述第一喜好程度表达式和所述正样本喜好程度值之间的差值，根据最大化处理结果确定与所述第一喜好程度表达式对应的喜好程度值，得到负样本喜好程度值，并根据所述负样本喜好程度值得到对所述初始商品负样本进行排序的排序结果；根据所述排序模型输出的排序结果，确定针对所述目标用户的目标推荐商品。
本实施例基于贝叶斯个性化排序模型(BPR)来实现上述排序模型。其实现过程可以通过计算机设备实现，也可以具体通过推荐器实现，图6中表示推荐器确定目标推荐商品的过程，其中，用户向量表示用于对各个商品的购买数据，这个购买数据的结构可以包括：用户编号u，用户购买过的商品集合Su，推荐数量recnum，购买数据、点击数据，模型超参数(包括每一条正样本采集获得的负样本数量num_neg，正则化系数λθ，学习速率β等)。正样本i向量和负样本j向量分别表示曝光商品负样本和初始商品负样本对应的特征向量。推荐器根据GMF方法得到各个目标采样商品负样本对应的得分(即喜好程度值)，其中，通过向量维度权重(即第二调整权重)来调整曝光商品负样本和初始商品负样本。进一步地，计算调整曝光商品负样本和初始商品负样本对应的分值的分差，对差值进行最大化处理，得到对初始商品负样本进行排序的排序结果；根据排序模型输出的排序结果，确定目标推荐商品。另外，推荐器通过BPR损失函数来训练排序模型，训练得到的排序模型能够得到目标用户对各个商品的喜好程度值。
对于隐反馈问题，它的核心思想是最大化正样本和负样本之间的评分差。其损失函数表示为：
Figure BDA0002299396810000141
其中，对于目标用户u来说，
Figure BDA0002299396810000142
表示目标用户u对曝光商品负样本i的喜好程度表达式，Θ为模型参数。目标采样商品负样本通过条件概率
Figure BDA0002299396810000143
生成，i从目标用户的商品正样本集合Cu中随机选取。最小化LR的过程，等价于最大化
Figure BDA0002299396810000144
和
Figure BDA0002299396810000145
的差的过程，在这个过程中，推荐器可以在目标用户对应的i和j之间进行偏好排序。
为了计算用户的评分
Figure BDA0002299396810000146
可以使用广义矩阵分解(Generalized MatrixFactorization，简称GMF)的方案。表示为
Figure BDA0002299396810000147
其中hr∈RK *1，K为预先设置的阈值(其具体数值可以根据实际情况确定)，用来建模不同向量维度上的权重，它是可以通过梯度下降的方法来迭代训练的，fui表示特征向量，
Figure BDA0002299396810000148
和
Figure BDA0002299396810000149
分别是用户和商品的特征表示。因此，所有的模型参数Θ为：
Figure BDA00022993968100001410
在一个实施例中，为了更好地理解上述方法，如图7所示，以下详细阐述一个本发明商品推荐方法的应用实例。
S701、根据所述初始商品负样本，确定与所述曝光商品负样本对应的二值函数。
S702、确定初始商品负样本与曝光商品负样本的最大平均差异表达式。
S703、根据预先确定的第二调整权重，计算所述二值函数和所述最大平均差异表达式的第二加权和。
S704、根据所述第二加权和的数学期望，得到第二数学期望表达式；根据所述第二数学期望表达式，构建第一样本采集模型。
S705、获取目标用户对初始商品负样本的第一喜好程度表达式；获取所述初始商品负样本的标准差；确定所述标准差和所述第一喜好程度表达式的乘积；根据所述乘积的第一数学期望表达式，得到第二样本采集模型。
S706、根据预先确定的第一调整权重，确定所述第一样本采集模型和所述第二样本采集模型的第一加权和；将所述第一加权和，确定为第三样本采集模型。
S707、基于强化学习策略梯度方法的梯度准则，对所述第三样本采集模型进行优化；通过优化后的所述第三样本采集模型，从所述初始商品负样本中确定目标采样商品负样本。
S708、获取预先构建的排序模型；所述排序模块根据所述第一喜好程度表达式和第二喜好程度表达式构建；所述第二喜好程度表达式为所述目标用户对商品正样本的喜好程度表达式。
S709、获取所述第二喜好程度表达式对应的喜好程度分值，得到正样本喜好程度值。
S710、将所述正样本喜好程度值代入所述排序模型的第二喜好程度表达式中，以使所述排序模型对应的损失函数最大化所述第一喜好程度表达式和所述正样本喜好程度值之间的差值，根据最大化处理结果确定与所述第一喜好程度表达式对应的喜好程度值，得到负样本喜好程度值，并根据所述负样本喜好程度值得到对所述初始商品负样本进行排序的排序结果。
S711、根据所述排序模型输出的排序结果，确定针对所述目标用户的目标推荐商品。
本发明实施例提供的商品推荐方法，能从包含有未曝光商品负样本的初始商品负样本中选取出代表用户真实负向喜好的负样本，进而得到准确的商品推荐结果。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的商品推荐方法相同的思想，本发明还提供商品推荐装置，该装置可用于执行上述商品推荐方法。为了便于说明，商品推荐装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
在一个实施例中，如图8所示，提供一种商品推荐装置800包括模型获取模块801、目标负样本确定模块802和推荐商品确定模块803，详细说明如下：
模型获取模块801，用于获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光采样商品负样本。
目标负样本确定模块802，用于根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本。
推荐商品确定模块803，用于根据所述目标采样商品负样本确定目标推荐商品。
本实施例，能从包含有未曝光商品负样本的初始商品负样本中选取出代表用户真实负向喜好的负样本，进而得到准确的商品推荐结果。
在一个实施例中，商品推荐装置800，还包括：表达式获取模块，用于获取目标用户对初始商品负样本的第一喜好程度表达式；第一采集模型构建模块，用于根据所述第一喜好程度表达式构建第二样本采集模型；目标负样本确定模块，包括：模型优化子模块，用于通过所述第二样本采集模型对所述第一样本采集模型进行优化，得到第三样本采样模型；目标负样本确定子模块，用于通过所述第三样本采样模型，从所述初始商品负样本中确定目标采样商品负样本。
在一个实施例中，模型优化子模块，包括：加权和计算单元，用于根据预先确定的第一调整权重，确定所述第一样本采集模型和所述第二样本采集模型的第一加权和；采集模型确定单元，用于将所述第一加权和，确定为所述第三样本采集模型。
在一个实施例中，目标负样本确定子模块，包括：模型优化单元，用于基于强化学习策略梯度方法的梯度准则，对所述第三样本采集模型进行优化；商品负样本确定单元，用于通过优化后的所述第三样本采集模型，从所述初始商品负样本中确定目标采样商品负样本。
在一个实施例中，第一采集模型构建模块，包括：标准差获取子模块，用于获取所述初始商品负样本的标准差；乘积确定子模块，用于确定所述标准差和所述第一喜好程度表达式的乘积；采集模型确定子模块，用于根据所述乘积的第一数学期望表达式，得到所述第二样本采集模型。
在一个实施例中，推荐商品确定模块，包括：排序模型获取子模块，用于获取预先构建的排序模型；所述排序模块根据所述第一喜好程度表达式和第二喜好程度表达式构建；所述第二喜好程度表达式为所述目标用户对商品正样本的喜好程度表达式；喜好程度值获取子模块，用于获取所述第二喜好程度表达式对应的喜好程度分值，得到正样本喜好程度值；模型计算子模块，用于将所述正样本喜好程度值代入所述排序模型的第二喜好程度表达式中，以使所述排序模型对应的损失函数最大化所述第一喜好程度表达式和所述正样本喜好程度值之间的差值，根据最大化处理结果确定与所述第一喜好程度表达式对应的喜好程度值，得到负样本喜好程度值，并根据所述负样本喜好程度值得到对所述初始商品负样本进行排序的排序结果；推荐商品确定子模块，用于根据所述排序模型输出的排序结果，确定针对所述目标用户的目标推荐商品。
在一个实施例中，所述相关性包括交叠程度；目标负样本确定模块，还用于根据所述第一样本采集模型，确定与所述曝光商品负样本交叠程度最大的初始商品负样本，作为所述目标采样商品负样本。
在一个实施例中，商品推荐装置800，还包括：二值函数确定模块，用于根据所述初始商品负样本，确定与所述曝光商品负样本对应的二值函数；其中，若目标采样商品负样本存在于所述曝光商品负样本中，则对应的二值函数的输出为1，否则为0；第二采集模型构建模块，用于根据所述二值函数对应的第二数学期望表达式，构建所述第一样本采集模型。
在一个实施例中，第二采集模型构建模块，包括：平均差异确定子模块，用于确定所述初始商品负样本与所述曝光商品负样本的最大平均差异表达式；加权和计算子模块，用于根据预先确定的第二调整权重，计算所述二值函数和所述最大平均差异表达式的第二加权和；数学期望计算子模块，用于根据所述第二加权和的数学期望，得到所述第二数学期望表达式。
需要说明的是，本发明的商品推荐装置与本发明的商品推荐方法一一对应，在上述商品推荐方法的实施例阐述的技术特征及其有益效果均适用于商品推荐装置的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述示例的商品推荐装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述商品推荐装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
在一个实施例中，本申请提供的商品推荐装置可以实现为一种计算机程序的形式，计算机程序可在如图1所示的计算机设备上运行。计算机设备的存储器中可存储组成该商品推荐装置的各个程序模块，比如，图8所示的模型获取模块、目标负样本确定模块和推荐商品确定模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的商品推荐方法中的步骤。例如，图1所示的计算机设备可以通过如图8所示的商品推荐装置中各个模块实现商品推荐方法的各个步骤。
在一个实施例中，提供一种商品推荐系统，如图9所示，包括：网络连接的采样器(S)和推荐器(R)；所述采样器，用于获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述初始商品负样本中包含有未曝光商品负样本；根据所述第一样本采集模型，从所述初始商品负样本中确定目标采样商品负样本；所述推荐器，用于根据所述目标采样商品负样本确定目标推荐商品。
在一个实施例中，所述商品推荐系统，还包括控制器；所述控制器分别与所述采样器和所述推荐器网络连接；所述控制器，用于通过对抗生成网络对所述采样器和所述推荐器进行训练。
在一个实施例中，所述控制器，还用于确定所述曝光商品负样本的第一梯度以及所述目标采样商品负样本的第二梯度，获取预先确定的步长，根据所述步长、第一梯度以及第二梯度更新所述第一样本采样模型的模型参数。
进一步地，控制器对采样器和控制器进行训练的过程可以为：
(1)读取已曝光的商品数据集，生成mini-batch；
(2)对于一个mini-batch内的每一个样本(u，i)，进行如下操作：
2.1均匀采样Ns个负样本，组成集合
Figure BDA0002299396810000191
2.2计算分布概率
Figure BDA0002299396810000192
2.3以分布概率
Figure BDA0002299396810000193
从
Figure BDA0002299396810000194
中采集得到负样本j；
2.4计算推荐器的梯度：
Figure BDA0002299396810000195
其中，
Figure BDA0002299396810000196
表示LR(u，i，j)的梯度，可以通过常用的梯度计算公式确定；
2.5把(u，j)加入生成的样本集合
Figure BDA0002299396810000197
2.6从曝光样本集合εu采样一个曝光样本j’，加入集合εs；
(3)对于生成的负样本集合
Figure BDA0002299396810000198
内的每一个样本(u，j)，进行如下操作：
3.1计算ωuj；
3.2计算采样器的梯度
Figure BDA0002299396810000199
(4)更新参数：Θ←Θ+λRGR，Φ←Φ+λSGS，其中，λR和λS分别表示GR和GS的学习力(也即步长)，可以设置为0.01、0.001等。
为更好理解上述系统，以下详细阐述一个本发明商品推荐系统的应用实例。
1、将以下输入数据输入到采样器的第一样本采集模型中：
输入数据：用户编号u，用户购买过的商品集合Su，推荐数量recnum，购买数据、点击数据，模型超参数(包括每一条正样本采集获得的负样本数量num_neg，正则化系数λθ，学习速率β等)。
每一条输入数据结构如下：
{“userID”，//用户编号，整数，从0开始编号，
“itemID”，//商品编号，整数，从0开始编号，每一个session内确保有且只有一条点击。需要说明的是，如果一个session中的原始点击多于一条，则可以按照时间顺序或者随机选取一个点击添加至购买数据中。
“sessionID”，//session编号，整数，从0开始编号,一个session可以认为是用户打开的一个页面}
每一条曝光数据结构如下：
{“userID”，//用户编号，整数，从0开始编号，
“itemID”，//商品编号，整数，从0开始编号，如果一个session内有多条曝光记录，则通过分隔符分开，
“sessionID”，//session编号，整数，从0开始编号,一个session可以认为是用户打开的一个页面}
输出结果：推荐的商品列表Ru，recnum，用户特征矩阵Pusercount*k，商品特征矩阵Qitemcount*k(usercount、itemcount分别代表用户总数、商品总数)
2、采样器的第一样本采集模型得到对于某用户-商品对(u，i)的预期分数
Figure BDA0002299396810000201
3、推荐器由
Figure BDA0002299396810000202
计算出该用户对于所有商品的喜好程度
Figure BDA0002299396810000203
从大到小排序后得到所有商品的有序排列Ru，itemcount，由于不再重复推荐已经购买过的商品，需要在其中删去已购买过的商品，得到
Figure BDA0002299396810000204
取其中最大的recnum项，即得到最终推荐给该用户的商品列表Ru，recnum。
综上所述，本发明实施例设计了一个基于曝光数据增强负采样的隐反馈推荐系统，充分利用曝光数据，结合强化学习方法进行高效负采样，以达到更好的推荐效果。
需要说明的是，本发明的商品推荐系统与本发明的商品推荐方法对应，在上述商品推荐方法的实施例阐述的技术特征及其有益效果均适用于商品推荐系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述商品推荐方法的步骤。此处商品推荐方法的步骤可以是上述各个实施例的商品推荐方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述商品推荐方法的步骤。此处商品推荐方法的步骤可以是上述各个实施例的商品推荐方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种商品推荐方法，其特征在于，包括：
获取目标用户对初始商品负样本的第一喜好程度表达式；
根据所述第一喜好程度表达式构建第二样本采集模型；
获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述相关性包括交叠程度；所述初始商品负样本中包含有未曝光商品负样本；
通过所述第二样本采集模型对所述第一样本采集模型进行优化，得到第三样本采样模型；
通过所述第三样本采样模型，确定与所述曝光商品负样本交叠程度最大的初始商品负样本，作为所述目标采样商品负样本；
获取预先构建的排序模型；所述排序模型根据所述第一喜好程度表达式和第二喜好程度表达式构建；所述第二喜好程度表达式为所述目标用户对商品正样本的喜好程度表达式；
获取所述第二喜好程度表达式对应的喜好程度分值，得到正样本喜好程度值；
将所述正样本喜好程度值代入所述排序模型的第二喜好程度表达式中，以使所述排序模型对应的损失函数最大化所述第一喜好程度表达式和所述正样本喜好程度值之间的差值，根据最大化处理结果确定与所述第一喜好程度表达式对应的喜好程度值，得到负样本喜好程度值，并根据所述负样本喜好程度值得到对所述初始商品负样本进行排序的排序结果；
根据所述排序模型输出的排序结果，确定针对所述目标用户的目标推荐商品。
2.根据权利要求1所述的方法，其特征在于，所述通过所述第二样本采集模型对所述第一样本采集模型进行优化，得到第三样本采样模型的步骤，包括：
根据预先确定的第一调整权重，确定所述第一样本采集模型和所述第二样本采集模型的第一加权和；
将所述第一加权和，确定为所述第三样本采样模型。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第三样本采样模型，从所述初始商品负样本中确定目标采样商品负样本的步骤，包括：
基于强化学习策略梯度方法的梯度准则，对所述第三样本采样模型进行优化；
通过优化后的所述第三样本采样模型，从所述初始商品负样本中确定目标采样商品负样本。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一喜好程度表达式构建第二样本采集模型的步骤，包括：
获取所述初始商品负样本的标准差；
确定所述标准差和所述第一喜好程度表达式的乘积；
根据所述乘积的第一数学期望表达式，得到所述第二样本采集模型。
5.根据权利要求1所述的方法，其特征在于，所述获取预先构建的第一样本采集模型的步骤之前，还包括：
根据所述初始商品负样本，确定与所述曝光商品负样本对应的二值函数；其中，若目标采样商品负样本存在于所述曝光商品负样本中，则对应的二值函数的输出为1，否则为0；
根据所述二值函数对应的第二数学期望表达式，构建所述第一样本采集模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述二值函数对应的第二数学期望表达式的步骤，包括：
确定所述初始商品负样本与所述曝光商品负样本的最大平均差异表达式；
根据预先确定的第二调整权重，计算所述二值函数和所述最大平均差异表达式的第二加权和；
根据所述第二加权和的数学期望，得到所述第二数学期望表达式。
7.一种商品推荐装置，其特征在于，包括：
表达式获取模块，用于获取目标用户对初始商品负样本的第一喜好程度表达式；
第一采集模型构建模块，用于根据所述第一喜好程度表达式构建第二样本采集模型；
模型获取模块，用于获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述相关性包括交叠程度；所述初始商品负样本中包含有未曝光采样商品负样本；
目标负样本确定模块，其中所述目标负样本确定模块包括模型优化子模块和目标负样本确定子模块，所述模型优化子模块，用于通过所述第二样本采集模型对所述第一样本采集模型进行优化，得到第三样本采样模型；所述目标负样本确定子模块，用于通过所述第三样本采样模型，确定与所述曝光商品负样本交叠程度最大的初始商品负样本，作为所述目标采样商品负样本；
推荐商品确定模块，包括：
排序模型获取子模块，用于获取预先构建的排序模型；所述排序模型根据所述第一喜好程度表达式和第二喜好程度表达式构建；所述第二喜好程度表达式为所述目标用户对商品正样本的喜好程度表达式；
喜好程度值获取子模块，用于获取所述第二喜好程度表达式对应的喜好程度分值，得到正样本喜好程度值；
模型计算子模块，用于将所述正样本喜好程度值代入所述排序模型的第二喜好程度表达式中，以使所述排序模型对应的损失函数最大化所述第一喜好程度表达式和所述正样本喜好程度值之间的差值，根据最大化处理结果确定与所述第一喜好程度表达式对应的喜好程度值，得到负样本喜好程度值，并根据所述负样本喜好程度值得到对所述初始商品负样本进行排序的排序结果；
根据所述排序模型输出的排序结果，确定针对所述目标用户的目标推荐商品。
8.根据权利要求7所述的装置，其特征在于，所述模型优化子包括：
加权和计算单元，用于根据预先确定的第一调整权重，确定所述第一样本采集模型和所述第二样本采集模型的第一加权和；
采集模型确定单元，用于将所述第一加权和，确定为所述第三样本采样模型。
9.根据权利要求8所述的装置，其特征在于，所述目标负样本确定子模块包括：
模型优化单元，用于基于强化学习策略梯度装置的梯度准则，对所述第三样本采样模型进行优化；
商品负样本确定单元，用于通过优化后的所述第三样本采样模型，从所述初始商品负样本中确定目标采样商品负样本。
10.根据权利要求7所述的装置，其特征在于，所述第一采集模型构建模块，包括：
标准差获取子模块，用于获取所述初始商品负样本的标准差；
乘积确定子模块，用于确定所述标准差和所述第一喜好程度表达式的乘积；
采集模型确定子模块，用于根据所述乘积的第一数学期望表达式，得到所述第二样本采集模型。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
二值函数确定模块，用于根据所述初始商品负样本，确定与所述曝光商品负样本对应的二值函数；其中，若目标采样商品负样本存在于所述曝光商品负样本中，则对应的二值函数的输出为1，否则为0；
第二采集模型构建模块，用于根据所述二值函数对应的第二数学期望表达式，构建所述第一样本采集模型。
12.根据权利要求11所述的装置，其特征在于，所述第二采集模型构建模块，包括：
平均差异确定子模块，用于确定所述初始商品负样本与所述曝光商品负样本的最大平均差异表达式；
加权和计算子模块，用于根据预先确定的第二调整权重，计算所述二值函数和所述最大平均差异表达式的第二加权和；
数学期望计算子模块，用于根据所述第二加权和的数学期望，得到所述第二数学期望表达式。
13.一种商品推荐系统，其特征在于，包括：网络连接的采样器和推荐器；
所述采样器，用于获取目标用户对初始商品负样本的第一喜好程度表达式；
根据所述第一喜好程度表达式构建第二样本采集模型；获取预先构建的第一样本采集模型；所述第一样本采集模型用于表征曝光商品负样本和初始商品负样本之间的相关性；所述相关性包括交叠程度；所述初始商品负样本中包含有未曝光商品负样本；通过所述第二样本采集模型对所述第一样本采集模型进行优化，得到第三样本采样模型；通过所述第三样本采样模型，确定与所述曝光商品负样本交叠程度最大的初始商品负样本，作为所述目标采样商品负样本；
所述推荐器，用于获取预先构建的排序模型；所述排序模型根据所述第一喜好程度表达式和第二喜好程度表达式构建；所述第二喜好程度表达式为所述目标用户对商品正样本的喜好程度表达式；获取所述第二喜好程度表达式对应的喜好程度分值，得到正样本喜好程度值；将所述正样本喜好程度值代入所述排序模型的第二喜好程度表达式中，以使所述排序模型对应的损失函数最大化所述第一喜好程度表达式和所述正样本喜好程度值之间的差值，根据最大化处理结果确定与所述第一喜好程度表达式对应的喜好程度值，得到负样本喜好程度值，并根据所述负样本喜好程度值得到对所述初始商品负样本进行排序的排序结果；根据所述排序模型输出的排序结果，确定针对所述目标用户的目标推荐商品。
14.根据权利要求13所述的系统，其特征在于，还包括控制器；所述控制器分别与所述采样器和所述推荐器网络连接；
所述控制器，用于通过对抗生成网络对所述采样器和所述推荐器进行训练。
15.根据权利要求14所述的系统，其特征在于，所述控制器，还用于确定所述曝光商品负样本的第一梯度以及所述目标采样商品负样本的第二梯度，获取预先确定的步长，根据所述步长、第一梯度以及第二梯度更新所述第一样本采集模型的模型参数。
16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法的步骤。
CN201911215534.5A 2019-12-02 2019-12-02 商品推荐方法、装置、系统、计算机设备及存储介质 Active CN110889747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911215534.5A CN110889747B (zh) 2019-12-02 2019-12-02 商品推荐方法、装置、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911215534.5A CN110889747B (zh) 2019-12-02 2019-12-02 商品推荐方法、装置、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110889747A CN110889747A (zh) 2020-03-17
CN110889747B true CN110889747B (zh) 2023-05-09

Family

ID=69749983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911215534.5A Active CN110889747B (zh) 2019-12-02 2019-12-02 商品推荐方法、装置、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110889747B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210264326A1 (en) * 2020-02-21 2021-08-26 THOTH, Inc. Flight-recommendation-and-booking methods and systems based on machine learning
CN111738805B (zh) * 2020-07-20 2020-12-04 北京每日优鲜电子商务有限公司 基于行为日志的搜索推荐模型生成方法、设备和存储介质
CN111737418B (zh) * 2020-07-20 2021-05-14 北京每日优鲜电子商务有限公司 搜索词和商品的相关性预测方法、设备和存储介质
CN112085093A (zh) * 2020-09-08 2020-12-15 第四范式（北京）技术有限公司 协同滤波模型的训练方法及装置、可读介质及系统
CN113468323B (zh) * 2021-06-01 2023-07-18 成都数之联科技股份有限公司 争议焦点类别及相似判断方法及系统及装置及推荐方法
CN114492836B (zh) * 2022-01-18 2024-04-19 中国科学技术大学 面向隐式反馈推荐系统的负样本采样及训练方法
CN114581196A (zh) * 2022-03-10 2022-06-03 广州华多网络科技有限公司 商品排序处理方法及其装置、设备、介质、产品
CN114491283B (zh) * 2022-04-02 2022-07-22 浙江口碑网络技术有限公司 对象推荐方法、装置及电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156734A (zh) * 2014-08-19 2014-11-19 中国地质大学（武汉） 一种基于随机蕨分类器的全自主在线学习方法
CN105488107A (zh) * 2015-11-20 2016-04-13 天津大学 一种推荐系统的线下评价方法
WO2017009683A1 (en) * 2015-07-16 2017-01-19 B2Cloud Method for processing a recommendation request and recommendation engine
CN107578332A (zh) * 2017-09-22 2018-01-12 深圳乐信软件技术有限公司 一种推荐现金商品的方法、装置、设备及存储介质
CN108460396A (zh) * 2017-09-20 2018-08-28 腾讯科技（深圳）有限公司 负采样方法和装置
CN108595533A (zh) * 2018-04-02 2018-09-28 深圳大学 一种基于协同过滤的物品推荐方法、存储介质及服务器
CN108648058A (zh) * 2018-05-15 2018-10-12 北京三快在线科技有限公司 产品排序方法及装置，电子设备、存储介质
CN109087178A (zh) * 2018-08-28 2018-12-25 清华大学 商品推荐方法和装置
CN109102127A (zh) * 2018-08-31 2018-12-28 杭州贝购科技有限公司 商品推荐方法及装置
CN109272056A (zh) * 2018-10-30 2019-01-25 成都信息工程大学 基于伪负样本的数据平衡方法及提高数据分类性能的方法
CN109801091A (zh) * 2017-11-16 2019-05-24 腾讯科技（深圳）有限公司 目标用户群体定位方法、装置、计算机设备和存储介质
CN109961345A (zh) * 2017-12-22 2019-07-02 财团法人工业技术研究院 交互式商品推荐方法以及非瞬时计算机可读介质
CN110008399A (zh) * 2019-01-30 2019-07-12 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN110019770A (zh) * 2017-07-24 2019-07-16 华为技术有限公司 训练分类模型的方法与装置
CN110046952A (zh) * 2019-01-30 2019-07-23 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN110363427A (zh) * 2019-07-15 2019-10-22 腾讯科技（深圳）有限公司 模型质量评估方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156734A (zh) * 2014-08-19 2014-11-19 中国地质大学（武汉） 一种基于随机蕨分类器的全自主在线学习方法
WO2017009683A1 (en) * 2015-07-16 2017-01-19 B2Cloud Method for processing a recommendation request and recommendation engine
CN105488107A (zh) * 2015-11-20 2016-04-13 天津大学 一种推荐系统的线下评价方法
CN110019770A (zh) * 2017-07-24 2019-07-16 华为技术有限公司 训练分类模型的方法与装置
CN108460396A (zh) * 2017-09-20 2018-08-28 腾讯科技（深圳）有限公司 负采样方法和装置
CN107578332A (zh) * 2017-09-22 2018-01-12 深圳乐信软件技术有限公司 一种推荐现金商品的方法、装置、设备及存储介质
CN109801091A (zh) * 2017-11-16 2019-05-24 腾讯科技（深圳）有限公司 目标用户群体定位方法、装置、计算机设备和存储介质
CN109961345A (zh) * 2017-12-22 2019-07-02 财团法人工业技术研究院 交互式商品推荐方法以及非瞬时计算机可读介质
CN108595533A (zh) * 2018-04-02 2018-09-28 深圳大学 一种基于协同过滤的物品推荐方法、存储介质及服务器
CN108648058A (zh) * 2018-05-15 2018-10-12 北京三快在线科技有限公司 产品排序方法及装置，电子设备、存储介质
CN109087178A (zh) * 2018-08-28 2018-12-25 清华大学 商品推荐方法和装置
CN109102127A (zh) * 2018-08-31 2018-12-28 杭州贝购科技有限公司 商品推荐方法及装置
CN109272056A (zh) * 2018-10-30 2019-01-25 成都信息工程大学 基于伪负样本的数据平衡方法及提高数据分类性能的方法
CN110008399A (zh) * 2019-01-30 2019-07-12 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN110046952A (zh) * 2019-01-30 2019-07-23 阿里巴巴集团控股有限公司 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN110363427A (zh) * 2019-07-15 2019-10-22 腾讯科技（深圳）有限公司 模型质量评估方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张航 等.一种负样本改进的LDA主题模型推荐算法.中国计量大学学报.2018,第29卷(第29期),55-58+63. *

Also Published As

Publication number Publication date
CN110889747A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110889747B (zh) 商品推荐方法、装置、系统、计算机设备及存储介质
CN110321422B (zh) 在线训练模型的方法、推送方法、装置以及设备
CN106503022B (zh) 推送推荐信息的方法和装置
US10657574B2 (en) Item recommendation techniques
CN107451894B (zh) 数据处理方法、装置和计算机可读存储介质
US10235403B2 (en) Parallel collective matrix factorization framework for big data
CN109087178B (zh) 商品推荐方法和装置
CN112000819B (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
EP3862893A1 (en) Recommendation model training method, recommendation method, device, and computer-readable medium
EP4181026A1 (en) Recommendation model training method and apparatus, recommendation method and apparatus, and computer-readable medium
US20200050941A1 (en) Machine learning systems and methods for attributed sequences
CN113705772A (zh) 一种模型训练方法、装置、设备及可读存储介质
CN111080397A (zh) 信用评估方法、装置及电子设备
CN107545471B (zh) 一种基于高斯混合的大数据智能推荐方法
US11403700B2 (en) Link prediction using Hebbian graph embeddings
US20220253722A1 (en) Recommendation system with adaptive thresholds for neighborhood selection
Ghanbari et al. Reconstruction of gene networks using prior knowledge
US20220172083A1 (en) Noise contrastive estimation for collaborative filtering
JP7460703B2 (ja) 共有されたニューラルアイテム表現をコールドスタート推薦に用いる改良型のレコメンダシステム及び方法
CN109063120B (zh) 一种基于聚类的协同过滤推荐方法和装置
CN111695024A (zh) 对象评估值的预测方法及系统、推荐方法及系统
Wu et al. Optimization matrix factorization recommendation algorithm based on rating centrality
CN117217284A (zh) 一种数据处理方法及其装置
CN111815410B (zh) 基于选择性邻域信息的商品推荐方法
CN111402003A (zh) 实现用户相关推荐的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant