CN113362139A - 基于双塔结构模型的数据处理方法和装置 - Google Patents

基于双塔结构模型的数据处理方法和装置 Download PDF

Info

Publication number
CN113362139A
CN113362139A CN202110671455.6A CN202110671455A CN113362139A CN 113362139 A CN113362139 A CN 113362139A CN 202110671455 A CN202110671455 A CN 202110671455A CN 113362139 A CN113362139 A CN 113362139A
Authority
CN
China
Prior art keywords
data
user
commodity
tower
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110671455.6A
Other languages
English (en)
Other versions
CN113362139B (zh
Inventor
胡凯雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zkh Industrial Supply Co ltd
Original Assignee
Zkh Industrial Supply Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zkh Industrial Supply Co ltd filed Critical Zkh Industrial Supply Co ltd
Priority to CN202110671455.6A priority Critical patent/CN113362139B/zh
Publication of CN113362139A publication Critical patent/CN113362139A/zh
Application granted granted Critical
Publication of CN113362139B publication Critical patent/CN113362139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于双塔结构模型的数据处理方法，双塔结构模型包括用户塔和商品塔，方法包括：获取用户信息、商品信息以及用户对商品的行为信息；对用户信息和商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对行为信息进行时间衰减处理，得到时间衰减行为数据；将数据中的一部分数据划分为训练数据；将训练数据中的用户索引数据输入用户塔，将训练数据中的商品索引数据输入商品塔，得到用户塔输出的用户向量以及商品塔输出的商品向量，并且将用户向量以及商品向量输入用户塔和商品塔之后的similarity层和sigmoid层，得到sigmoid层输出的预测数据；将训练数据中的时间衰减行为数据和预测数据输入模型训练函数，得到训练后的双塔结构模型。

Description

基于双塔结构模型的数据处理方法和装置
技术领域
本发明涉及基于双塔结构模型的数据处理方法、装置、存储介质和系统。
背景技术
目前，对于推荐召回的方法一方面是基于传统算法，比如使用用户协同过滤(User-user collaborative filtering)，根据用户找其相似用户，推荐相似用户的常用商品。商品协同过滤(Item-item collaborative filtering)，向用户推荐其之前常用的商品相似的商品；关联规则，找到商品经常一起出现在购买列表中的商品。但是，上述方法都是寻找用户对商品历史行为中去找关联商品/相似商品，但是对于上线的新品，无法进行推荐，且没有结合商品的品牌，类目，价格等信息与用户的信息。因此，当商品开始变多，用户行为逐渐丰富起来时，上述几种算法难以挖掘到更深层次的用户和商品之间的关系。
发明内容
为了解决上述问题，本发明提供了一种基于双塔结构模型的数据处理方法，所述双塔结构模型包括用户塔和商品塔，所述方法包括：
获取用户信息、商品信息以及用户对商品的行为信息；
对所述用户信息和所述商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对所述行为信息进行时间衰减处理，得到时间衰减行为数据；
将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中的一部分数据划分为训练数据；
将所述训练数据中的用户索引数据输入所述用户塔，将所述训练数据中的商品索引数据输入所述商品塔，得到所述用户塔输出的用户向量以及所述商品塔输出的商品向量，并且将所述用户向量以及所述商品向量输入所述用户塔和所述商品塔之后的similarity层和sigmoid层，得到sigmoid层输出的预测数据；
将所述训练数据中的时间衰减行为数据和所述预测数据输入模型训练函数，得到训练后的双塔结构模型。
其中，所述训练后的双塔结构模型包括训练后的用户塔以及多个训练后的商品向量，当新用户的新用户信息输入所述训练后的用户塔后，基于所述多个训练后的商品向量，获得多个新用户预测数据。
其中，根据以下函数对所述行为信息进行时间衰减处理，
Figure BDA0003118948080000021
Figure BDA0003118948080000022
其中yinit-i表示第i个行为信息，di表示第i个行为信息发生时间和第i个行为信息处理时间之间的时间差，α为常量，ymax,ymin分别表示yi中的最大值与最小值，yNi表示第i个行为信息的时间衰减行为数据。
其中，在所述similarity层中，根据以下函数进行计算，
Figure BDA0003118948080000023
并且在所述sigmoid层中，根据以下函数得到预测数据，
Figure BDA0003118948080000024
Figure BDA0003118948080000025
表示第j个用户向量，
Figure BDA0003118948080000026
表示第j个商品向量，yj′表示第j个预测数据。
其中，所述模型训练函数是损失函数。
其中，将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中除所述训练数据之外的另一部分数据作为验证数据，用于对所述训练后的双塔结构模型进行验证。
其中，所述训练数据的数量多于所述验证数据的数量。
其中，将所述多个新用户预测数据按照从大到小的顺序进行排序，并按照所述排序，将与新用户预测数据对应的商品推荐给所述新用户。
本发明还提供一种基于双塔结构模型的数据处理装置，所述双塔结构模型包括用户塔和商品塔，所述装置包括：
获取单元，获取用户信息、商品信息以及用户对商品的行为信息；
处理单元，对所述用户信息和所述商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对所述行为信息进行时间衰减处理，得到时间衰减行为数据；
划分单元，将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中的一部分数据划分为训练数据；
输入预测单元，将所述训练数据中的用户索引数据输入所述用户塔，将所述训练数据中的商品索引数据输入所述商品塔，得到所述用户塔输出的用户向量以及所述商品塔输出的商品向量，并且将所述用户向量以及所述商品向量输入所述用户塔和所述商品塔之后的similarity层和sigmoid层，得到sigmoid层输出的预测数据；
训练单元，将所述训练数据中的时间衰减行为数据和所述预测数据输入模型训练函数，得到训练后的双塔结构模型。
本发明还提供一种计算机可读的存储介质，所述存储介质具有存储在其中的指令，当所述指令被执行时，使得所述计算机执行基于双塔结构模型的数据处理方法，所述双塔结构模型包括用户塔和商品塔，所述指令包括：
获取指令，获取用户信息、商品信息以及用户对商品的行为信息；
处理指令，对所述用户信息和所述商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对所述行为信息进行时间衰减处理，得到时间衰减行为数据；
划分指令，将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中的一部分数据划分为训练数据；
输入预测指令，将所述训练数据中的用户索引数据输入所述用户塔，将所述训练数据中的商品索引数据输入所述商品塔，得到所述用户塔输出的用户向量以及所述商品塔输出的商品向量，并且将所述用户向量以及所述商品向量输入所述用户塔和所述商品塔之后的similarity层和sigmoid层，得到所述sigmoid层输出的预测数据；
训练指令，将所述训练数据中的时间衰减行为数据和所述预测数据输入模型训练函数，得到训练后的双塔结构模型。
本发明还提供一种系统，包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及处理器，是所述系统的处理器之一，用于执行如上所述的基于双塔结构模型的数据处理方法。
本发明可以提高对用户推荐商品的精准度，从而提升用户体验。
附图说明
图1示出了根据本发明实施例的基于双塔结构模型的数据处理的系统框图；
图2示出了根据本发明实施例的基于双塔结构模型的数据处理装置的示意图；
图3示出了根据本发明实施例的基于双塔结构模型的数据处理方法的流程图；
图4示出了根据本发明实施例的双塔结构模型的示意图；
图5示出了根据本发明实施例的训练后的双塔结构模型的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明所提供的实施方式可以在移动终端、计算机终端、或者类似的运算装置(如ECU(Electronic Control Unit，电子控制单元))、系统中执行。以运行在系统为例，图1是根据本发明实施例的基于双塔结构模型的数据处理的系统的硬件结构框图。如图1所示，系统100可以包括一个或多个(图中仅示出一个)处理器101(处理器101可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于与用户交互的输入输出接口102、用于存储数据的存储器103、以及用于通信功能的传输装置104。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，系统100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
输入输出接口102可以连接一个或多个显示器、触控屏等，用于显示从系统100传送的数据，还可以连接键盘、触控笔、触控板和/或鼠标等，用于输入诸如，选择、创建、编辑等的用户指令。
存储器103可用于存储应用软件的软件程序以及模块，例如与本发明实施方式中的基于双塔结构模型的数据处理方法对应的程序指令/模块，处理器101通过运行存储在存储器103内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的基于双塔结构模型的数据处理方法。存储器103可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器103可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至系统100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置104用于经由一个网络接收或者发送数据。上述的网络具体实例可包括系统100的通信供应商提供的互联网。
图2示出了根据本发明实施例的基于双塔结构模型的数据处理装置的示意图，图3示出了根据本发明实施例的基于双塔结构模型的数据处理方法的流程图。
下面结合图2和图3来描述本发明的实施例。
在步骤S21，获取单元31获取用户信息、商品信息以及用户对商品的行为信息。用户信息包括用户编号、性别、最近一周浏览商品列表、最近一周购买商品列表等等。商品信息包括商品编号、品牌、类目等等。用户对商品的行为信息包括行为的时间以及用户对商品的感兴趣程度，其中，感兴趣程度yinit-i的示例如下：
Figure BDA0003118948080000051
下面的表1具体显示了用户信息、商品信息以及用户对商品的行为信息的示例。
表1
Figure BDA0003118948080000052
Figure BDA0003118948080000061
表1中列出了10行数据(即，10条数据)，这些数据仅仅是用于示例，数据的数量并不受限制。
在步骤S22，处理单元32对上述用户信息和商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对行为信息进行时间衰减处理，得到时间衰减行为数据。
具体的，对表1中的所有用户信息和商品信息分别进行数字化索引处理，得到用户索引数据和商品索引数据。如下面的表2所示，用户索引数据包括用户编号索引、性别索引和最近一周访问商品列表索引，商品索引数据包括商品编号索引、品牌索引、类目索引。
表2
Figure BDA0003118948080000062
另外，根据以下函数对表1中的所有行为信息进行时间衰减处理，
Figure BDA0003118948080000063
Figure BDA0003118948080000064
其中yinit-i表示表1中的第i个感兴趣程度，di表示第i个行为信息发生时间(表1中的时间)和第i个行为信息处理时间之间的时间差(例如，以“天”为单位)，α为常量，ymax,ymin分别表示yi中的最大值与最小值，yNi表示第i个感兴趣程度的时间衰减行为数据(也称为“时间衰减感兴趣程度”)。
如表1所示，一共有10行数据，每行数据包括对应的感兴趣程度。本实施例中，一共有10个感兴趣程度，即1≤i≤10。另外，本实施例中，α例如是30。按照上述函数，可以计算出时间衰减行为数据yNi，如表2所示。另外，为了清楚说明，表2中还显示了时间差di。
这里，如表2所示，包含10行处理后的数据。
在步骤S23中，划分单元33将用户索引数据、商品索引数据和时间衰减行为数据中的一部分数据划分为训练数据。
例如，将表2中第1到8行的数据划分为训练数据，并将第9到10行的数据划分为验证数据。
本实施例中，训练数据的数量和验证数据的数量仅仅为示例，并且可以是其他数量。进一步，训练数据的数量多于验证数据的数量。
图4示出了根据本发明实施例的双塔结构模型40的示意图。如图4所示，双塔结构模型40包括用户塔41、商品塔42以及用户塔41和商品塔42之后的similarity层和sigmoid层。用户塔41和商品塔42分别包括一个输入层和一个或多个全连接层(作为示例，图4中显示了2层全连接层)。
在步骤S24，输入预测单元34将训练数据(即，表2中的第1到8行的数据)中的用户索引数据输入用户塔41的输入层，将训练数据(即，表2中的第1到8行的数据)中的商品索引数据输入商品塔42的输入层。
经过用户塔41的2个全连接层之后，用户塔41输出了用户向量(user embedding)，而经过商品塔42的2个全连接层之后，商品塔42输出了商品向量(item embedding)。用户向量和商品向量输入similarity层和sigmoid层，并从sigmoid层输出预测数据。
具体的，在similarity层中，根据以下函数进行计算，
Figure BDA0003118948080000071
并且在sigmoid层中，根据以下函数得到预测数据，
Figure BDA0003118948080000072
Figure BDA0003118948080000073
表示第j个用户向量，
Figure BDA0003118948080000074
表示第j个商品向量，yj′表示第j个预测数据。本实施例中，j表示第j行训练数据。如上所述，训练数据是表2中第1到8行的数据，因此1≤j≤8。
接着，在步骤S25，训练单元35将训练数据中的时间衰减行为数据yNj和预测数据y′j输入模型训练函数，得到训练后的双塔结构模型。
yNj表示表2中的第1到8行训练数据中的第j个时间衰减行为数据，其中，1≤j<i。
模型训练函数是损失函数，例如
Figure BDA0003118948080000081
其中，m是训练数据的数量，即，m＝8。
上述损失函数仅为示例，还可以使用其他损失函数，例如交叉熵损失函数等等。
然后，使用Adam算法优化损失函数，进行模型训练，当L(▽)趋于平稳，验证集的准确率不再提高时，停止训练，从而得到训练后的双塔结构模型50，如图5所示。
训练后的双塔结构模型50包括训练后的用户塔51以及训练后的商品塔52，其中，训练后的商品塔52中包括j个训练后的商品向量
Figure BDA0003118948080000082
表示训练后的第j个商品向量，当新用户的新用户信息输入训练后的用户塔51后，基于j个训练后的商品向量
Figure BDA0003118948080000083
获得多个新用户预测数据。
具体的，例如，当新用户Unew的新用户信息输入用户塔51后，用户塔51输出新用户Unew的用户向量
Figure BDA0003118948080000084
另外，本实施例中，如上所述，商品塔52包括训练后的商品向量
Figure BDA0003118948080000085
其中1≤j≤8，因此有8个训练后的商品向量。
用户向量
Figure BDA0003118948080000086
和训练后的商品向量
Figure BDA0003118948080000087
输入后面的similarity层和sigmoid层，在similarity层中，根据以下函数进行计算，
Figure BDA0003118948080000088
并且在sigmoid层中，根据以下函数进行计算，
Figure BDA0003118948080000089
如此，可以计算出8个y"，即，针对新用户Unew的8个预测数据。
然后对这8个y"按从大到小的顺序进行排序，将排在前面预定百分比(例如，前30％)的预测数据所对应的商品(I)推荐给用户Unew。
本发明充分考虑了用户信息和商品信息及其用户对商品行为信息，对双塔结构模型进行训练，从而基于训练后的双塔结构模型，为用户提供个性化的推荐方法。因此，本发明可以提高对用户推荐商品的精准度，从而提升用户体验。
本发明还提供了一种计算机可读的存储介质，存储介质具有存储在其中的指令，当指令被执行时，使得计算机执行基于双塔结构模型的数据处理方法，双塔结构模型包括用户塔和商品塔，指令包括：
获取指令，获取用户信息、商品信息以及用户对商品的行为信息；
处理指令，对所述用户信息和所述商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对所述行为信息进行时间衰减处理，得到时间衰减行为数据；
划分指令，将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中的一部分数据划分为训练数据；
输入预测指令，将所述训练数据中的用户索引数据输入所述用户塔，将所述训练数据中的商品索引数据输入所述商品塔，得到所述用户塔输出的用户向量以及所述商品塔输出的商品向量，并且将所述用户向量以及所述商品向量输入所述用户塔和所述商品塔之后的similarity层和sigmoid层，得到sigmoid层输出的预测数据；
训练指令，将所述训练数据中的时间衰减行为数据和所述预测数据输入模型训练函数，得到训练后的双塔结构模型。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的终端设备来实现。在列举了若干终端设备的单元权利要求中，这些终端设备中的若干个可以是通过同一个硬件项来具体体现。

Claims (11)

1.一种基于双塔结构模型的数据处理方法，其特征在于，所述双塔结构模型包括用户塔和商品塔，所述方法包括：
获取用户信息、商品信息以及用户对商品的行为信息；
对所述用户信息和所述商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对所述行为信息进行时间衰减处理，得到时间衰减行为数据；
将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中的一部分数据划分为训练数据；
将所述训练数据中的用户索引数据输入所述用户塔，将所述训练数据中的商品索引数据输入所述商品塔，得到所述用户塔输出的用户向量以及所述商品塔输出的商品向量，并且将所述用户向量以及所述商品向量输入所述用户塔和所述商品塔之后的similarity层和sigmoid层，得到所述sigmoid层输出的预测数据；
将所述训练数据中的时间衰减行为数据和所述预测数据输入模型训练函数，得到训练后的双塔结构模型。
2.根据权利要求1所述的方法，其特征在于，所述训练后的双塔结构模型包括训练后的用户塔以及多个训练后的商品向量，当新用户的新用户信息输入所述训练后的用户塔后，基于所述多个训练后的商品向量，获得多个新用户预测数据。
3.根据权利要求1或2所述的方法，其特征在于，根据以下函数对所述行为信息进行时间衰减处理，
Figure FDA0003118948070000011
Figure FDA0003118948070000012
其中yinit-i表示第i个行为信息，di表示第i个行为信息发生时间和第i个行为信息处理时间之间的时间差，α为常量，ymax,ymin分别表示yi中的最大值与最小值，yNi表示第i个行为信息的时间衰减行为数据。
4.根据权利要求3所述的方法，其特征在于，在所述similarity层中，根据以下函数进行计算，
Figure FDA0003118948070000013
并且在所述sigmoid层中，根据以下函数得到所述预测数据，
Figure FDA0003118948070000021
Figure FDA0003118948070000022
表示第j个用户向量，
Figure FDA0003118948070000023
表示第j个商品向量，y′j表示第j个预测数据。
5.根据权利要求4所述的方法，其特征在于，所述模型训练函数是损失函数。
6.根据权利要求5所述的方法，其特征在于，将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中除所述训练数据之外的另一部分数据作为验证数据，用于对所述训练后的双塔结构模型进行验证。
7.根据权利要求6所述的方法，其特征在于，所述训练数据的数量多于所述验证数据的数量。
8.根据权利要求7所述的方法，其特征在于，将所述多个新用户预测数据按照从大到小的顺序进行排序，并按照所述排序，将与新用户预测数据对应的商品推荐给所述新用户。
9.一种基于双塔结构模型的数据处理装置，其特征在于，所述双塔结构模型包括用户塔和商品塔，所述装置包括：
获取单元，获取用户信息、商品信息以及用户对商品的行为信息；
处理单元，对所述用户信息和所述商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对所述行为信息进行时间衰减处理，得到时间衰减行为数据；
划分单元，将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中的一部分数据划分为训练数据；
输入预测单元，将所述训练数据中的用户索引数据输入所述用户塔，将所述训练数据中的商品索引数据输入所述商品塔，得到所述用户塔输出的用户向量以及所述商品塔输出的商品向量，并且将所述用户向量以及所述商品向量输入所述用户塔和所述商品塔之后的similarity层和sigmoid层，得到所述sigmoid层输出的预测数据；
训练单元，将所述训练数据中的时间衰减行为数据和所述预测数据输入模型训练函数，得到训练后的双塔结构模型。
10.一种计算机可读的存储介质，所述存储介质具有存储在其中的指令，当所述指令被执行时，使得所述计算机执行基于双塔结构模型的数据处理方法，其特征在于，所述双塔结构模型包括用户塔和商品塔，所述指令包括：
获取指令，获取用户信息、商品信息以及用户对商品的行为信息；
处理指令，对所述用户信息和所述商品信息分别进行索引处理，得到用户索引数据和商品索引数据，并对所述行为信息进行时间衰减处理，得到时间衰减行为数据；
划分指令，将所述用户索引数据、所述商品索引数据和所述时间衰减行为数据中的一部分数据划分为训练数据；
输入预测指令，将所述训练数据中的用户索引数据输入所述用户塔，将所述训练数据中的商品索引数据输入所述商品塔，得到所述用户塔输出的用户向量以及所述商品塔输出的商品向量，并且将所述用户向量以及所述商品向量输入所述用户塔和所述商品塔之后的similarity层和sigmoid层，得到所述sigmoid层输出的预测数据；
训练指令，将所述训练数据中的时间衰减行为数据和所述预测数据输入模型训练函数，得到训练后的双塔结构模型。
11.一种系统，其特征在于，包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是所述系统的处理器之一，用于执行如权利要求1-8中任一项所述的基于双塔结构模型的数据处理方法。
CN202110671455.6A 2021-06-17 2021-06-17 基于双塔结构模型的数据处理方法和装置 Active CN113362139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110671455.6A CN113362139B (zh) 2021-06-17 2021-06-17 基于双塔结构模型的数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110671455.6A CN113362139B (zh) 2021-06-17 2021-06-17 基于双塔结构模型的数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN113362139A true CN113362139A (zh) 2021-09-07
CN113362139B CN113362139B (zh) 2023-04-28

Family

ID=77534729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110671455.6A Active CN113362139B (zh) 2021-06-17 2021-06-17 基于双塔结构模型的数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN113362139B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887234A (zh) * 2021-09-15 2022-01-04 北京三快在线科技有限公司 一种模型训练以及推荐方法及装置
CN114996588A (zh) * 2022-08-01 2022-09-02 平安科技（深圳）有限公司 基于双塔模型的产品推荐方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339240A (zh) * 2020-02-10 2020-06-26 北京达佳互联信息技术有限公司 对象的推荐方法、装置、计算设备和存储介质
CN111949890A (zh) * 2020-09-27 2020-11-17 平安科技（深圳）有限公司 基于医学领域的数据推荐方法、设备、服务器及存储介质
CN112115354A (zh) * 2020-09-02 2020-12-22 北京达佳互联信息技术有限公司 信息处理方法、装置、服务器及存储介质
CN112597389A (zh) * 2020-12-24 2021-04-02 上海二三四五网络科技有限公司 一种基于用户行为实现物品推荐的控制方法及装置
CN112905897A (zh) * 2021-03-30 2021-06-04 杭州网易云音乐科技有限公司 相似用户确定方法、向量转化模型、装置、介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339240A (zh) * 2020-02-10 2020-06-26 北京达佳互联信息技术有限公司 对象的推荐方法、装置、计算设备和存储介质
CN112115354A (zh) * 2020-09-02 2020-12-22 北京达佳互联信息技术有限公司 信息处理方法、装置、服务器及存储介质
CN111949890A (zh) * 2020-09-27 2020-11-17 平安科技（深圳）有限公司 基于医学领域的数据推荐方法、设备、服务器及存储介质
CN112597389A (zh) * 2020-12-24 2021-04-02 上海二三四五网络科技有限公司 一种基于用户行为实现物品推荐的控制方法及装置
CN112905897A (zh) * 2021-03-30 2021-06-04 杭州网易云音乐科技有限公司 相似用户确定方法、向量转化模型、装置、介质及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887234A (zh) * 2021-09-15 2022-01-04 北京三快在线科技有限公司 一种模型训练以及推荐方法及装置
CN114996588A (zh) * 2022-08-01 2022-09-02 平安科技（深圳）有限公司 基于双塔模型的产品推荐方法、装置、设备及存储介质
CN114996588B (zh) * 2022-08-01 2022-10-21 平安科技（深圳）有限公司 基于双塔模型的产品推荐方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113362139B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN108491529B (zh) 信息推荐方法及装置
CN110866628A (zh) 利用动态时间上下文学习进行多界限时间序列预测的系统和方法
CN109902222A (zh) 一种推荐方法及装置
CN104951965B (zh) 广告投放方法及装置
US9875294B2 (en) Method and apparatus for classifying object based on social networking service, and storage medium
CN107832432A (zh) 一种搜索结果排序方法、装置、服务器和存储介质
JP6345203B2 (ja) 対象物の類似度判定のためのプログラム、システム、及び方法
CN109002488A (zh) 一种基于元路径上下文的推荐模型训练方法及装置
CN113688304A (zh) 搜索推荐模型的训练方法、搜索结果排序的方法及装置
CN111461841A (zh) 物品推荐方法、装置、服务器及存储介质
CN110413888B (zh) 一种书籍推荐方法及装置
CN110647696A (zh) 一种业务对象的排序方法及装置
CN112580352B (zh) 关键词提取方法、装置和设备及计算机存储介质
CN113362139A (zh) 基于双塔结构模型的数据处理方法和装置
CN108960574A (zh) 问答的质量确定方法、装置、服务器和存储介质
CN109657116A (zh) 一种舆情搜索方法、搜索装置、存储介质和终端设备
CN109447273A (zh) 模型训练方法、广告推荐方法、相关装置、设备及介质
CN109615504A (zh) 产品推荐方法、装置、电子设备和计算机可读存储介质
US10956976B2 (en) Recommending shared products
CN112989182A (zh) 信息处理方法、装置、信息处理设备及存储介质
CN115809374A (zh) 纠正推荐系统主流偏差的方法、系统、设备及存储介质
CN111127145B (zh) 基于catboost算法与深度学习结合的排序推荐方法及系统
CN113536111A (zh) 保险知识内容的推荐方法、装置和终端设备
CN112100482A (zh) 搜索结果排序方法、装置、电子设备及存储介质
CN112488355A (zh) 基于图神经网络预测用户评级的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant