CN113988922A - 一种基于延迟时间采样的转化率模型流式更新方法 - Google Patents

一种基于延迟时间采样的转化率模型流式更新方法 Download PDF

Info

Publication number
CN113988922A
CN113988922A CN202111254303.2A CN202111254303A CN113988922A CN 113988922 A CN113988922 A CN 113988922A CN 202111254303 A CN202111254303 A CN 202111254303A CN 113988922 A CN113988922 A CN 113988922A
Authority
CN
China
Prior art keywords
model
conversion rate
sample
time
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111254303.2A
Other languages
English (en)
Inventor
叶翰嘉
杨嘉祺
詹德川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202111254303.2A priority Critical patent/CN113988922A/zh
Publication of CN113988922A publication Critical patent/CN113988922A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于延迟时间采样的转化率模型流式更新方法，包括训练数据收集和构造步骤，权重模型和转化率模型训练步骤，流式模型更新步骤；首先收集用户的历史转化行为，然后采用延迟时间训练方法训练得到权重模型和转化率预测模型，最后利用权重模型使用流式到来的新数据对转化率预测模型进行更新。本发明的方法在实施过程中能够在较低的时延下及时更新转化率预测模型，同时避免了反馈不充分导致的模型精度下降的问题，能够实现实时性和精确性的平衡从而提高模型性能。

Description

一种基于延迟时间采样的转化率模型流式更新方法
技术领域
本发明涉及一种基于延迟时间采样的转化率模型流式更新方法，个性化搜索和推荐技术领域。
背景技术
目前，个性化搜索和推荐技术已经在电商和广告投放中得到了广泛的应用。为了更好地优化广告主的利润，要求广告服务商不仅要使得更多的用户浏览广告，还要优化转化行为的数量，这就要求广告服务商具有预测特定用户在浏览特定广告信息后进行转化行为的概率，即转化率。这里转化行为通常指能够直接或者间接使广告主受益的用户行为，例如用户付款购买商品，或者用户下载了广告中的软件。而在转化率预估中，用户的反馈往往会延迟一段时间才会发生，例如用户往往不会在点击一个商品后立即购买，而是先收藏或者加购物车，一段时间后再付款。这个现象称为延迟反馈。
延迟反馈问题的存在导致在转化率预测中无法实时获得用户的转化状态信息，为了获得准确的转化标签数据，必须等待一段较长的时间。而等待时间太长会导致训练数据分布与当前的数据分布存在较大差异，进而使得模型陈旧，无法在新数据上做出准确的预测。由于在推荐系统中，数据分布的变化往往在小时级别，对数据的实时性的要求较高，简单的等待较长时间会对模型精度造成较大的影响。需要专门的方法处理延迟反馈问题，从而在保证模型精度的同时提高实时性。
目前已经有一些针对转化率预测中的延迟反馈问题的方法，然而现有方法仍存在以下不足：
(1)增加延迟窗口再进行矫正的方法需要较大的延迟时间，进而导致模型实时性较差。
(2)为了增加实时性所以立即使用数据的方法会引入大量的不准确样本，从而导致模型精度下降。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于延迟时间采样的转化率模型流式更新方法，具体来说，首先收集用户在一段较长时间内的点击和购买数据，使用这些数据构造初始训练集D1，然后使用数据集D1训练权重模型Fdp和Frn以及转化率预测模型F，最后在流式数据中使用权重模型和延迟时间采样方法实时更新转化率预测模型F，从而在保证实时性的情况下提高模型的准确性。
技术方案：一种基于延迟时间采样的转化率模型流式更新方法，包括训练数据收集和构造步骤，权重模型和转化率模型训练步骤，流式转化率模型更新步骤。
所述训练数据收集步骤中，将用户的信息，商品信息，以及用户的成交信息添加到数据集D1，统计各种商品的平均成交时间E(item)，将用户信息和商品信息的特征编码，然后与数值特征拼接成为样本特征；将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例。
所述权重模型和转化率模型训练步骤包括：从数据集D1采样一部分数据，训练权重模型和转化率模型；所述权重模型包括Frn和Fdp，其中权重模型Frn为真负例权重模型，权重模型Frn对一个输入的负标记样本预测其为真负例的概率，所述负标记样本包括假负例和真负例；所述权重模型Fdp为延迟正例权重模型，对于一个输入的正标记样本预测其为延迟正例的概率，所述正标记样本包括正例和延迟正例。
所述训练数据收集步骤具体为：
步骤101，为了收集初始数据，首先随机向用户推荐商品信息。
步骤102，收集用户的成交信息，成交信息记录商品是否有成交，如果有还需记录成交时间信息。
步骤103，将用户的信息，商品信息，以及用户的成交信息添加到数据集D1。
步骤104，判断数据量是否达到预设数量，如果是则结束训练数据收集步骤，否则重复步骤101～104。
步骤105，统计各种商品的平均成交时间E(item)，并处理特征和标记。所述特征包括用户特征和商品特征；将用户和商品的离散特征使用one-hot方式编码，然后与数值特征拼接成为样本特征。将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例。结束数据收集步骤。
所述权重模型和转化率模型训练步骤包括：
步骤200，初始化权重模型Frn,Fdp，其中权重模型Frn为真负例权重模型，权重模型Frn对一个输入的负标记样本(包括假负例+真负例)预测其为真负例的概率；权重模型Fdp为延迟正例权重模型，对于一个输入的正标记样本(包括正例+延迟正例)预测其为延迟正例的概率。初始化转化率预测模型F，该模型对于一个输入的样本预测其成交的概率。
步骤201，从数据集D1采样一部分数据。
步骤202，对采样的数据计算权重模型损失函数F1和转化率预测模型损失函数F2。
步骤203，使用梯度下降法更新权重模型Fdp,Frn以及转化率预测模型F。
步骤204，判断权重模型和转化率模型是否收敛，如果是则进行步骤205，否则重复步骤201～204。
步骤205，保存权重模型Frn,Fdp以及转化率预测模型F，并结束训练。
所述流式转化率模型更新步骤包括：
步骤300，加载训练步骤得到的真负例权重模型Frn,延迟正例权重模型Fdp和转化率预测模型F。
步骤301，使用转化率预测模型F估计商品成交率作为依据将商品信息推荐给用户，收集样本的特征和标记，处理方式同步骤105。
步骤302，针对商品item的点击数据，等待时间E(item)+T后进入步骤303；所述T为自定义延迟时间。
步骤303，如果E(item)时间该点击数据已经成交，则标记为正例，否则标记为负例；如果该点击在E(item)时间后的E(item)+t时间成交，则在E(item)+t时间(此时已观测到成交数据)插入一个样本标记为延迟正例，t小于等于T。使用权重模型和标记根据损失函数F3更新转化率预测模型F。
步骤304，判断是否需要继续使用当前模型提供服务，例如当模型效果下降或者需要更新模型结构时需要停止流式更新过程。如果是则结束该流式训练阶段，否则重复步骤301～304。
所述训练数据收集步骤中：首先随机向用户推荐商品信息，保存商品信息，用户信息。然后等待足够长的时间(通常设置为14天或30天)后收集用户的成交信息；所述成交信息包括，用户是否购买了该商品，如果成交的话还需记录对应的成交时间h。将商品信息、用户信息和用户的成交信息记录为样本，将该样本加入到数据集D1。数据收集完成后，在所有数据中统计每种商品item的平均成交时间E(item)；收集到的商品信息、用户信息以及用户的成交信息构造数据集D1，其中商品信息和用户信息构成样本特征x，成交信息构成样本标记y。如果有成交即y＝1，则对应的成交时间记为h；另外构造真负例标记y1，对于真负例标记为1，对于假负例标记为0，其中真负例指没有成交的样本，假负例指成交时间大于E(item)的样本；构造延迟成交标记y2，对于延迟成交标记为1，对于未延迟成交标记为0，其中延迟成交指成交时间大于E(item)的样本，未延迟成交指成交时间小于等于E(item)的样本。
所述权重模型和转化率模型训练流程为：随机初始化权重模型Frn和Fdp的参数θw，以及转化率预测模型F的参数θp；从数据集D1中采样一部分数据，根据公式F1计算权重模型损失函数，根据公式F2计算转化率预测模型损失函数，然后使用梯度下降法更新模型Frn,Fdp以及F；重复以上步骤直至模型收敛。
Figure BDA0003323535280000041
F2(x,y)＝-(yln(F(x))+(1-y)ln(1-F(x))
上式中
Figure BDA0003323535280000042
为负例指示函数，若该样本以负例在训练样本中出现则
Figure BDA0003323535280000043
为1，否则
Figure BDA0003323535280000044
为0；
Figure BDA0003323535280000045
为成交指示函数，若该样本为成交样本则
Figure BDA0003323535280000046
为1，否则
Figure BDA0003323535280000047
为0。Fdp和Frn分别为延迟正例权重模型和真正例权重模型，F为转化率预测模型，这三个模型都使用前馈神经网络实现。ln表示自然对数，即以e为底数的对数函数。
所述流式转化率预测模型更新的流程为：部署训练流程中的转化率预测模型F后，收集推荐系统在线产生的数据流，即使用转化率预测模型向用户推荐商品，然后收集成交信息，构造数据小批。根据统计的商品成交延迟时间E(item)，对该小批中的样本进行对应时间的延迟等待；到了预定的等待时间E(item)，记录当前样本是否成交为该训练小批的标记y*，如果成交且时间小于等于E(item)则标记为正例；如果当前无成交则标记为负例；如果成交但时间大于E(item)则先标记为一个负例，待成交发生时即E(item)+t时刻标记为一个延迟正例并插入训练小批。注意在流式训练过程中，一个延迟正例对应了两个训练样本，即一个假负例和一个延迟正例，其标记y*分别为负例和正例。使用权重模型Fdp,Frn计算流式转化率预估损失函数F3，并使用梯度下降更新模型F。重复上述流式更新步骤直至结束。
F3(x,y)＝-{y*[1+Fdp(x)]ln(F(x))+(1-y*)[1+Fdp(x)]Frn(x)ln(1-F(x))}
一种基于延迟时间采样的转化率模型流式更新系统，包括训练数据收集和构造模块，权重模型和转化率模型训练模块，以及流式转化率模型更新模块；
所述训练数据收集模块，将用户的信息，商品信息，以及用户的成交信息添加到数据集D1中，统计各种商品的平均成交时间E(item)，将用户信息和商品信息的特征编码，然后与数值特征拼接成为样本特征；将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例；
所述权重模型和转化率模型训练模块：从数据集D1采样一部分数据，训练权重模型和转化率模型；所述权重模型包括Frn和Fdp，其中权重模型Frn为真负例权重模型，权重模型Frn对一个输入的负标记样本预测其为真负例的概率，所述负标记样本包括假负例和真负例；所述权重模型Fdp为延迟正例权重模型，对于一个输入的正标记样本预测其为延迟正例的概率，所述正标记样本包括正例和延迟正例；
所述流式转化率模型更新模块，加载训练步骤得到的真负例权重模型Frn,延迟正例权重模型Fdp和转化率预测模型F，使用转化率预测模型F估计商品成交率作为依据将商品信息推荐给用户，收集样本的特征和标记，构造数据小批。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的基于延迟时间采样的转化率模型流式更新方法。
一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的基于延迟时间采样的转化率模型流式更新方法的计算机程序。
有益效果：与现有技术相比，本发明所提供的基于延迟时间采样的转化率预测技术，能够利用一定量的历史数据学习对有偏样本进行加权的权重模型Fdp和Frn，然后在流式转化率模型更新的过程中使用相应的权重对流式样本标记进行修正，即在loss中加入由Fdp和Frn控制的权重项，权重项的引入可以有效地增加模型的实时性同时减小误差，从而在保证实时性的情况下提高转化率预测模型的精度。该方法与现行转化率预估方法相比具有良好的兼容性，能够直接应用；计算开销小，即只需要在流式训练的时候计算适当的权重项，而权重项的计算可以使用Fdp和Frn两个神经网络模型高效实现；将上述方法应用于推荐系统能够有效的提高在线商品推荐系统的准确率。
附图说明
图1为本发明实施例的数据采集工作流程图；
图2为本发明实施例的权重模型和转化率预测模型训练流程图；
图3为本发明实施例的流式转化率预测模型更新流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
在以下说明中，样本和数据均表示收集到的数据信息。一个样本或一个数据，就对应一个商品展示给用户所产生的数据。该数据根据处理的阶段可能有多种形式，具体文中所指数据处于处理的哪个阶段可由上下文得知。
如图1所示，为了训练在线更新所需的权重模型和转化率模型，需要首先收集一部分初始数据，即为数据收集和处理过程。具体来说，首先初始化推荐和数据收集系统(步骤100)；然后随机向用户推荐一些商品信息(步骤101)；收集用户对于这些推荐商品信息的反馈数据，反馈数据指否购买以及何时购买，即购买信息(步骤102)；将一组<商品信息、用户信息、成交信息>作为一个样本加入到数据集D1(步骤103)；判断是否已经取得预设数量的训练样本，如果不够则重复进行步骤101-103，否则转到步骤105(步骤104)；对数据进行处理(步骤105)，包括对于每个样本的特征处理以及所需的标记处理，其中用户特征包括用户的年龄、性别、购买力等信息；商品特征包括类别、价格、近期销量等信息。将用户和商品的离散特征使用one-hot方式编码，然后与数值特征拼接成为样本特征。将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例，结束数据收集步骤。
将商品信息和用户信息作为样本特征x，成交信息作为样本标记y。如果有成交则成交时间记为h，并统计每种商品的成交延迟时间E(item)，即统计每种商品item的平均成交时间E(item)。如果有成交即y＝1，无成交则y＝0；另外构造真负例标记y1，对于真负例标记为1，对于假负例标记为0，其中真负例指没有成交的样本，假负例指成交时间大于E(item)的成交样本；构造延迟成交标记y2，对于延迟成交标记为1，对于未延迟成交标记为0，其中延迟成交指成交时间大于E(item)的成交样本，未延迟成交指成交时间小于等于E(item)的样本。
权重模型和转化率模型的训练过程如图2所示。具体来说，首先初始化权重模型Fdp,Frn以及转化率模型F(步骤200)；然后从数据集D1采样一部分数据(步骤201)；对当前采样数据计算权重模型损失函数F1和转化率预测损失函数F2(步骤202)；使用梯度下降法更新权重模型Fdp,Frn和转化率模型F(步骤203)；步骤204，判断模型是否收敛，如果是则退出循环，转到步骤205，否则重复步骤201-204。步骤205，保存权重模型和转化率预测模型并输出，训练过程结束。
流式转化率模型更新阶段工作流程如图3所示。具体来说，首先初始化转化率模型和权重模型(步骤300)；在线推荐系统中新数据往往以流式不断出现，从流式数据中采样一个小批(一部分数据)(步骤301)；根据数据收集和处理过程中统计得到的E(item)获得商品对应的等待时间，然后等待对应的时长(步骤302)；根据等待后获得的用户成交信息以及损失函数F3更新转化率模型F(步骤303)；判断是否结束流式更新(步骤304)，若是则结束，否则跳转到步骤301。
基于延迟时间采样的转化率模型流式更新系统，包括训练数据收集和构造模块，权重模型和转化率模型训练模块，以及流式转化率模型更新模块；
训练数据收集模块，将用户的信息，商品信息，以及用户的成交信息添加到数据集D1中，统计各种商品的平均成交时间E(item)，将用户信息和商品信息的特征编码，然后与数值特征拼接成为样本特征；将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例；
权重模型和转化率模型训练模块：从数据集D1采样一部分数据，训练权重模型和转化率模型；所述权重模型包括Frn和Fdp，其中权重模型Frn为真负例权重模型，权重模型Frn对一个输入的负标记样本预测其为真负例的概率，所述负标记样本包括假负例和真负例；所述权重模型Fdp为延迟正例权重模型，对于一个输入的正标记样本预测其为延迟正例的概率，所述正标记样本包括正例和延迟正例；
流式转化率模型更新模块，加载训练步骤得到的真负例权重模型Frn,延迟正例权重模型Fdp和转化率预测模型F，使用转化率预测模型F估计商品成交率作为依据将商品信息推荐给用户，收集样本的特征和标记，构造数据小批。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于延迟时间采样的转化率模型流式更新方法各步骤或基于延迟时间采样的转化率模型流式更新系统各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

Claims (10)

1.一种基于延迟时间采样的转化率模型流式更新方法，其特征在于，包括训练数据收集和构造步骤，权重模型和转化率模型训练步骤，以及流式转化率模型更新步骤；
所述训练数据收集步骤中，将用户的信息，商品信息，以及用户的成交信息添加到数据集D1，统计各种商品的平均成交时间E(item)，将用户信息和商品信息的特征编码，然后与数值特征拼接成为样本特征；将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例；
所述权重模型和转化率模型训练步骤包括：从数据集D1采样一部分数据，训练权重模型和转化率模型；所述权重模型包括Frn和Fdp，其中权重模型Frn为真负例权重模型，权重模型Frn对一个输入的负标记样本预测其为真负例的概率，所述负标记样本包括假负例和真负例；所述权重模型Fdp为延迟正例权重模型，对于一个输入的正标记样本预测其为延迟正例的概率，所述正标记样本包括正例和延迟正例；
所述流式转化率模型更新步骤中，加载训练步骤得到的真负例权重模型Frn,延迟正例权重模型Fdp和转化率预测模型F，使用转化率预测模型F估计商品成交率作为依据将商品信息推荐给用户，收集样本的特征和标记，构造数据小批。
2.根据权利要求1所述的基于延迟时间采样的转化率模型流式更新方法，其特征在于，所述训练数据收集步骤具体为：
步骤101，随机向用户推荐商品信息；
步骤102，收集用户的成交信息；成交信息记录商品是否有成交，如果有成交还需记录成交时间信息；
步骤103，将用户的信息，商品信息，以及用户的成交信息添加到数据集D1；
步骤104，判断数据量是否达到预设数量，如果是则结束训练数据收集步骤，否则重复步骤101～104；
步骤105，统计各种商品的平均成交时间E(item)，将用户和商品特征使用one-hot方式编码，然后与数值特征拼接成为样本特征；将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例；结束数据收集步骤。
3.根据权利要求1所述的基于延迟时间采样的转化率模型流式更新方法，其特征在于，所述权重模型和转化率模型训练步骤包括：
步骤200，初始化权重模型Frn,Fdp，其中权重模型Frn为真负例权重模型，权重模型Frn对一个输入的负标记样本预测其为真负例的概率；权重模型Fdp为延迟正例权重模型，对于一个输入的正标记样本预测其为延迟正例的概率；初始化转化率预测模型F，该模型对于一个输入的样本预测其成交的概率；
步骤201，从数据集D1采样一部分数据；
步骤202，对采样的数据计算权重模型损失函数F1和转化率预测模型损失函数F2；
步骤203，使用梯度下降法更新权重模型Fdp,Frn以及转化率预测模型F；
步骤204，判断权重模型和转化率模型是否收敛，如果是则进行步骤205，否则重复步骤201～204；
步骤205，保存权重模型Frn,Fdp以及转化率预测模型F，并结束训练。
4.根据权利要求2所述的基于延迟时间采样的转化率模型流式更新方法，其特征在于，所述流式转化率模型更新步骤包括：
步骤300，加载训练步骤得到的真负例权重模型Frn,延迟正例权重模型Fdp和转化率预测模型F；
步骤301，使用转化率预测模型F估计商品成交率作为依据将商品信息推荐给用户，收集样本的特征和标记，处理方式同步骤105；
步骤302，针对商品item的点击数据，等待时间E(item)+T后进入步骤303；所述T为自定义延迟时间；
步骤303，如果E(item)时间该点击数据已经成交，则标记为正例，否则标记为负例；如果该点击在E(item)时间后的E(item)+t时间成交，则在E(item)+t时间插入一个样本标记为延迟正例；使用权重模型和标记根据损失函数F3更新转化率预测模型F；
步骤304，判断是否需要继续使用当前模型提供服务，如果是则结束该流式训练阶段，否则重复步骤301～304。
5.根据权利要求1所述的基于延迟时间采样的转化率模型流式更新方法，其特征在于，所述训练数据收集步骤中：商品信息和用户信息构成样本特征x，成交信息构成样本标记y；如果有成交即y＝1，则对应的成交时间记为h；另外构造真负例标记y1，对于真负例标记为1，对于假负例标记为0，其中真负例指没有成交的样本，假负例指成交时间大于E(item)的样本；构造延迟成交标记y2，对于延迟成交标记为1，对于未延迟成交标记为0，其中延迟成交指成交时间大于E(item)的样本，未延迟成交指成交时间小于等于E(item)的样本。
6.根据权利要求1所述的基于延迟时间采样的转化率模型流式更新方法，其特征在于，所述权重模型和转化率模型训练流程中：随机初始化权重模型Frn和Fdp的参数θw，以及转化率预测模型F的参数θp；从数据集D1中采样一部分数据，根据公式F1计算权重模型损失函数，根据公式F2计算转化率预测模型损失函数，然后使用梯度下降法更新模型Frn，Fdp以及F；重复以上步骤直至模型收敛；
Figure FDA0003323535270000031
F2(x，y)＝-(yln(F(x))+(1-y)ln(1-F(x))
上式中
Figure FDA0003323535270000032
为负例指示函数，若该样本以负例在训练样本中出现则
Figure FDA0003323535270000033
为1，否则
Figure FDA0003323535270000034
为0；
Figure FDA0003323535270000035
为成交指示函数，若该样本为成交样本则
Figure FDA0003323535270000036
为1，否则
Figure FDA0003323535270000037
为0；Fdp和Frn分别为延迟正例权重模型和真正例权重模型，F为转化率预测模型，这三个模型都使用前馈神经网络实现；ln表示自然对数，即以e为底数的对数函数。
7.根据权利要求1所述的基于延迟时间采样的转化率模型流式更新方法，其特征在于，所述流式转化率预测模型更新的流程：部署训练流程中的转化率预测模型F后，收集推荐系统在线产生的数据流，即使用转化率预测模型向用户推荐商品，然后收集成交信息，构造数据小批；根据统计的商品成交延迟时间E(item)，对该小批中的样本进行对应时间的延迟等待；记录当前样本是否成交为该训练小批的标记y*，如果成交且时间小于等于E(item)则标记为正例；如果当前无成交则标记为负例；如果成交但时间大于E(item)则先标记为一个负例，待成交发生时即E(item)+t时刻标记为一个延迟正例并插入训练小批；在流式训练过程中，一个延迟正例对应了两个训练样本，即一个假负例和一个延迟正例，其标记y*分别为负例和正例；使用权重模型Fdp，Frn计算流式转化率预估损失函数F3，并使用梯度下降更新模型F；重复上述流式更新步骤直至结束；
F3(x，y)＝-{y*[1+Fdp(x)]ln(F(x))+(1-y*)[1+Fdp(x)]Frn(x)ln(1-F(x))}。
8.一种基于延迟时间采样的转化率模型流式更新系统，其特征在于，包括训练数据收集和构造模块，权重模型和转化率模型训练模块，以及流式转化率模型更新模块；
所述训练数据收集模块，将用户的信息，商品信息，以及用户的成交信息添加到数据集D1中，统计各种商品的平均成交时间E(item)，将用户信息和商品信息的特征编码，然后与数值特征拼接成为样本特征；将成交时间大于平均成交时间的样本标记为假负例，并插入一个对应的延迟正例，将成交时间小于等于平均成交时间的样本标记为正例，将没有成交的样本标记为真负例；
所述权重模型和转化率模型训练模块：从数据集D1采样一部分数据，训练权重模型和转化率模型；所述权重模型包括Frn和Fdp，其中权重模型Frn为真负例权重模型，权重模型Frn对一个输入的负标记样本预测其为真负例的概率，所述负标记样本包括假负例和真负例；所述权重模型Fdp为延迟正例权重模型，对于一个输入的正标记样本预测其为延迟正例的概率，所述正标记样本包括正例和延迟正例；
所述流式转化率模型更新模块，加载训练步骤得到的真负例权重模型Frn,延迟正例权重模型Fdp和转化率预测模型F，使用转化率预测模型F估计商品成交率作为依据将商品信息推荐给用户，收集样本的特征和标记，构造数据小批。
9.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-7中任一项所述的基于延迟时间采样的转化率模型流式更新方法。
10.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利要求1-7中任一项所述的基于延迟时间采样的转化率模型流式更新方法的计算机程序。
CN202111254303.2A 2021-10-27 2021-10-27 一种基于延迟时间采样的转化率模型流式更新方法 Pending CN113988922A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111254303.2A CN113988922A (zh) 2021-10-27 2021-10-27 一种基于延迟时间采样的转化率模型流式更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111254303.2A CN113988922A (zh) 2021-10-27 2021-10-27 一种基于延迟时间采样的转化率模型流式更新方法

Publications (1)

Publication Number Publication Date
CN113988922A true CN113988922A (zh) 2022-01-28

Family

ID=79742377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111254303.2A Pending CN113988922A (zh) 2021-10-27 2021-10-27 一种基于延迟时间采样的转化率模型流式更新方法

Country Status (1)

Country Link
CN (1) CN113988922A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308538A (zh) * 2017-07-26 2019-02-05 北京嘀嘀无限科技发展有限公司 成交转化率预测方法及装置
CN111368903A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 模型性能优化方法、装置、设备及存储介质
US20210326729A1 (en) * 2018-12-29 2021-10-21 Huawei Technologies Co., Ltd. Recommendation Model Training Method and Related Apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308538A (zh) * 2017-07-26 2019-02-05 北京嘀嘀无限科技发展有限公司 成交转化率预测方法及装置
US20210326729A1 (en) * 2018-12-29 2021-10-21 Huawei Technologies Co., Ltd. Recommendation Model Training Method and Related Apparatus
CN111368903A (zh) * 2020-02-28 2020-07-03 深圳前海微众银行股份有限公司 模型性能优化方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李梓杨;于炯;卞琛;鲁亮;蒲勇霖;: "基于流网络的流式计算动态任务调度策略", 计算机应用, no. 09, 19 March 2018 (2018-03-19) *

Similar Documents

Publication Publication Date Title
US9721267B2 (en) Coupon effectiveness indices
US20180341898A1 (en) Demand forecast
CN111738534B (zh) 多任务预测模型的训练、事件类型的预测方法及装置
US20020046128A1 (en) Automatic pricing method and device
US20210142357A1 (en) Systems and methods for targeted email marketing
CN112365283B (zh) 一种优惠券发放方法、装置、终端设备及存储介质
CN111798280B (zh) 多媒体信息推荐方法、装置和设备及存储介质
CN114117216A (zh) 推荐概率预测方法及装置、计算机存储介质和电子设备
CN110598120A (zh) 基于行为数据的理财推荐方法及装置、设备
US20180240037A1 (en) Training and estimation of selection behavior of target
US20220230096A1 (en) Information processing method, information processing device, and program
CN110689402A (zh) 推荐商家的方法、装置、电子设备及可读存储介质
CN111814050B (zh) 旅游场景强化学习模拟环境构建方法、系统、设备和介质
CN111861605A (zh) 业务对象推荐方法
US11631102B2 (en) Optimization of markdown schedules for clearance items at physical retail stores
CN110889725A (zh) 在线广告ctr预估方法、装置、设备及存储介质
CN110348947B (zh) 对象推荐方法及装置
CN115147144A (zh) 数据处理方法及电子设备
CN116611499A (zh) 训练用于自动出价的强化学习系统的方法及装置
CN113554448A (zh) 一种用户流失预测方法、装置及电子设备
CN116578400A (zh) 多任务数据处理方法和装置
CN112015970A (zh) 产品推荐方法、相关设备及计算机存储介质
Ding et al. Balancing revenues and repair costs under partial information about product reliability
CN111178987B (zh) 训练用户行为预测模型的方法和装置
CN113988922A (zh) 一种基于延迟时间采样的转化率模型流式更新方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination