CN112884513A - 基于深度因子分解机的营销活动预测模型结构和预测方法 - Google Patents

基于深度因子分解机的营销活动预测模型结构和预测方法 Download PDF

Info

Publication number
CN112884513A
CN112884513A CN202110191113.4A CN202110191113A CN112884513A CN 112884513 A CN112884513 A CN 112884513A CN 202110191113 A CN202110191113 A CN 202110191113A CN 112884513 A CN112884513 A CN 112884513A
Authority
CN
China
Prior art keywords
dpi
user
module
layer
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110191113.4A
Other languages
English (en)
Inventor
项亮
裴智晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuming Artificial Intelligence Technology Co ltd
Original Assignee
Shanghai Shuming Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuming Artificial Intelligence Technology Co ltd filed Critical Shanghai Shuming Artificial Intelligence Technology Co ltd
Priority to CN202110191113.4A priority Critical patent/CN112884513A/zh
Publication of CN112884513A publication Critical patent/CN112884513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于深度因子分解机的营销活动预测方法，包括数据预处理、训练集和验证集形成、模型建立和营销活动预测步骤；其中，营销活动预测模型包括输入层、嵌入层、线性训练层、非线性训练层和集成网络层；嵌入层包括DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块；线性训练层包括线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块，非线性训练层包括FNN模块。本发明通过对DeepFM进行改造，利用DeepFM的思路对运营商处的数据进行合理的分区，并重新设计FM的交互；同时，在结果输出前加入了集成网络层来学习多个输出对于最终结果的权重。因此，本发明能提供用户对广告点击意愿进行直接预测的途径，节省大量的营销成本，实现利润率的增加。

Description

基于深度因子分解机的营销活动预测模型结构和预测方法
技术领域
本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种基于深度因子分解机的营销活动预测模型结构和预测方法。
背景技术
因子分解机(Factorization Machines，简称FM)是一种具有二阶特征交互作用的线性模型，因其具有一定的特征交互模型且模型的计算及结构较为简单，常被用于互联网运营商大数据精准获客系统和计算广告系统做点击预估或者召回后的排序。虽然FM模型通常具有比逻辑回归更好的特征交互能力，但是由于性能的限制，FM只能够进行二阶特征交互而不具备高阶特征交互能力，因此，会丢失特征的高阶信息。
前馈神经网络(Feedforward Neural Network，简称FNN)是具有简单的计算结构和强大的特征交互能力，因此作为深度学习的一部分被广泛用于各种领域。然而，在计算广告领域，由于FNN模型的特征交互通常过于复杂，往往会丢失特征原本的低阶交互信息。
为了结合FM和FNN各自的优点，深度因子分解机(Deep Factorization Machines，简称DeepFM)被创造出来用于同时学习输入特征的高阶和低阶交互信息。原始的DeepFM是通过共享FM和FNN的嵌入层(Embedding layer)且输出结果为FM和FNN的结果之和，以此来实现对低阶和高阶特征交互的同时学习。然而，上述的做法存在如下两个问题：
①、FM的低阶特征交互，特征和特征之前可能本身根本没有关系，但是学习的时候是一起进行学习，可能会造成错误的学习结果。
②、DeepFM最终的输出结果是FM和FNN输出结果的直接加和，这相当于默认FM和FNN对最终结果各有0.5的权重，此在实际操作中不一定合理。
发明内容
本发明的目的在于克服现有技术存在的上述缺陷，提供一种基于深度因子分解机的营销活动预测模型结构和预测方法，其通过对DeepFM进行改造，利用DeepFM的思路对运营商处的数据进行合理的分区，并重新设计FM的交互，并且在结果输出前加入了一个集成网络层(Ensemble network)用来学习多个输出对于最终结果的权重。并且，该最终结果的权重是一个浅层神经网络，其参数是在学习过程中根据损失函数自动进行更新的。
为实现上述目的，本发明的技术方案如下：
一种基于深度因子分解机的营销活动预测方法，其包括数据预处理步骤S1、训练集和验证集形成步骤S2和模型建立步骤S3；
所述数据预处理步骤S1包括如下步骤：
步骤S11：获取N个用户的原始信息，并从每一个所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户访问DPI、用户访问DPI频次和用户是否点击的数字标签；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；
步骤S12：依次处理具有所述任务批次号的所有批次中的所述原始特征信息，对所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：
依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；其中，特征展开后的所述用户访问DPI的维度为P1；所述用户dpi访问频次特征为连续特征，所述用户dpi访问频次特征的维度为P2，用户手机号码归属地特征的维度为P3；
步骤S13：将所有所述任务批次号按照升序进行排序，得到所有所述任务批次号的排序；其中，所述任务批次号的升序是同日期时间的远近成正比，所述日期时间越近，所述任务批次号越大；
所述训练集和验证集形成步骤S2包括：
预处理之后，选择所述任务批次号最大的任务批次中的数据作为验证集，剩余的所述任务批次号的数据作为训练集；
所述模型建立步骤S3用于形成基于深度因子分解机的营销活动预测模型，其使用所述训练集对所述预测模型进行训练，并使用验证集进行验证，得到最终的预测模型，其包括如下步骤：
步骤S31：提供初始化的基于深度因子分解机的营销活动预测模型，其中，所述营销活动预测模型包括输入层、嵌入层、线性训练层和集成网络层；所述嵌入层包括DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块；所述线性训练层包括线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块；所述非线性层包括FNN模块；其中，线性训练层和非线性层为并列的层，其输入均来自嵌入层，输出均发送至集成网络层；
步骤S32：对每一个训练集的DPI访问特征、DPI频次特征和归属地特征按特征维度进行按列合并，得到具有N行*(P1+P2+P3)列的矩阵；并将每一行合并后的列特征放入所述输入层，输出结果按列合并放入到所述线性训练层的线性训练模块得到输出为(N*1)的向量，分别将DPI访问特征、DPI频次特征和归属地特征按特征输入到DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块；
步骤S33：将DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块的输出值按列合并输入到FNN模块，同时，将DPI访问特征和DPI频次特征的数据分别经过DPI访问特征嵌入模块和DPI频次特征嵌入模块的权重计算，分别输入到DPI访问特征的FM模块和DPI频次特征的FM模块；
步骤S34：将线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块和FNN模块的输出按列合并，合并后的数据维度为N*4，投入设定好的集成网络层中得到最终维度为N*1的输出结果；
步骤S35：通过所述集成网络层的预测网络模型中得到的输出结果同所述用户是否点击的数字标签，计算所述预测网络模型的预测值和真实值之间的损失值大小，根据损失值按照深度学习的梯度回传自动更新所述预测网络模型中所有涉及到的网络参数，并使用验证集进行验证，得到最终的预测网络模型。
进一步地，所述基于深度因子分解机的营销活动预测方法，其还包括营销活动预测步骤S4，所述步骤S4具体包括：
步骤S41：获取拟互联网产品营销的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；
步骤S42：对所述任务批次号的所述原始特征信息，按所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：
按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；其中，特征展开后的所述用户访问DPI的维度为P1；所述用户dpi访问频次特征为连续特征，所述用户dpi访问频次特征的维度为P2，用户手机号码归属地特征的维度为P3；
步骤S43：提供建立好的所述预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述原始特征信息进行预测，得到每一个用户的预测值，从而形成N个所述用户的模型预测值集；其中，所述因子分解机在处理二分类问题时，将使用sigmoid函数将预测值的范围限定在0和1之间，即所述用户的模型预测值为所述用户的点击意愿度。
进一步地，所述模型预测步骤S4还包括：
步骤S44：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。
进一步地，所述线性训练模块的输出为(N*1)的向量，即：
output＝Xw+b
其中，w为线性权重系数，(P1+P2+P3)*1的向量，b为偏置，为(N*1)的向量。
进一步地，所述DPI访问特征的FM模块和DPI频次特征的FM模块的输出为：
Figure BDA0002944124630000041
示ith和jth特征下的用户数据，wi和wj为ith和jth对应的隐向量；输入所述DPI访问特征的FM模块前的数据维度分别为N*P1，输出所述DPI访问特征的FM模块前的数据维度分别为P*1；输入所述DPI频次特征的FM模块前的数据维度分别为N*P2，输出所述DPI频次特征的FM模块前的数据维度分别为P*1。
从上述技术方案可以看出，本发明能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放。结果表明，本算法选出的高意愿用户的点击率是低意愿用户点击率的数倍。进一步地，本发明可以将大量的低意愿用户直接从投放目标中筛出，从而节省大量的营销成本，实现利润率的增加。
附图说明
图1所示为本发明实施例中基于深度因子分解机的营销活动预测方法的流程示意图
图2所示为本发明实施例中基于深度因子分解机的营销活动预测模型的示意图
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步的详细说明。
在下述的具体实施方式中，在详述本发明的实施方式时，为了清楚地表示本发明的结构以便于说明，特对附图中的结构不依照一般比例绘图，并进行了局部放大、变形及简化处理，因此，应避免以此作为对本发明的限定来加以理解。
需要说明的是，在以下本发明的具体实施方式中，该基于深度因子分解机的营销活动预测方法可以包括数据预处理步骤S1、训练集和验证集形成步骤S2和模型建立步骤S3；与传统的利用运营商数据的数据营销领域所采用的技术相比，本发明基于加入了集成网络层的深度因子分解机的营销广告点击预测模型，并通过深度因子分解机结合运营商数据进行更为精准的数据营销，其能提供用户对广告点击意愿进行直接预测的途径。
请参阅图1，图1所示为本发明实施例中基于深度因子分解机的营销活动预测方法的流程示意图。如图1所示，基于深度因子分解机的营销活动预测方法，其包括数据预处理步骤S1、训练集和验证集形成步骤S2和模型建立步骤S3。
在本发明的实施例中，数据预处理步骤非常重要，所述数据预处理步骤S1包括如下步骤：
步骤S11：获取N个用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID(id)、用户手机号码归属地(location)、任务批次号(batch number)、用户访问DPI(dpi)和用户访问DPI频次(dpi frequency)；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位。
步骤S12：依次处理具有所述任务批次号的所有批次中的所述原始特征信息，对所述用户手机号码归属地特征进行One-hot编码处理(One-hot编码是一种数据预处理常用方法，将类别特征按照不同取值进行0/1映射为新的特征)；其中，所述One-hot编码处理包括：
依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征。
具体地，可以认为，一个任务批次号(batch number)对应一天的用户数据，用户的原始信息中同一个任务批次号(batch number)中的用户可能会有重复，因为，同一个用户可能会访问多个用户访问DPI，需要将所有不同的用户访问DPI展开作为单独的特征，因此，特征展开后的所述用户访问DPI的维度为P1；如果一个用户访问过该用户访问DPI，则在该特征下，当前用户的值为1，否则为0。
同理，将用户访问DPI访问频次也按照所有不同的用户访问DPI展开为用户访问DPI与用户访问DPI频次的关系特征，因此，所述用户DPI访问频次特征为连续特征，特征展开后的所述用户DPI访问频次特征的维度为P2；若用户访问某用户访问DPI共m次则该特征下当前用户的值为m，否则为0。
此外，用户手机号码归属地特征的维度为P3，例如P3＝30。
请参阅下表1，表1为预处理过程(预处理之前的原始数据和预处理之后的数据)的表格描述，以同一批次的数据为例，可简略的表示如下：
预处理之前的原始数据：
用户id 批次号 访问dpi dpi访问频次 归属地 是否点击
用户A #1 dpi 1 5 HN 1
用户A #1 dpi 3 1 HN 1
用户B #1 dpi 2 10 SH 0
用户C #1 dpi 3 3 JS 1
预处理之后的数据：
用户id 批次号 dpi 1 dpi 2 dpi 3 ... dpi 1频次 dpi 2频次 dpi 3频次 ... HN SH ... 标签
用户A #1 1 0 1 ... 5 0 1 ... 1 0 ... 1
用户B #1 0 1 0 ... 0 10 0 ... 0 1 ... 0
用户C #1 0 0 1 ... 0 0 3 ... 0 0 ... 1
步骤S13：将所有所述任务批次号按照升序进行排序，得到所有所述任务批次号的排序；其中，所述任务批次号的升序是同日期时间的远近成正比，所述日期时间越近，所述任务批次号越大。
经过上述处理后，每一个任务批次内的用户ID将是唯一值，即有N个用户；然后，将所有批次的N个用户数据都做上述处理，并按照批次进行用户方向合并，按照任务批次号(batch number)升序进行排序，任务批次的日期越新则任务批次号(batch number)越大，可以得到处理好的样本。
经过上述数据预处理步骤完成后，就可以选择最后一个批次的数据作为验证样本集来进行模型参数的选择，除此之外的所有样本组成训练样本集用来建立模型，即训练样本集为用来进行模型训练的样本集合；验证样本集为用来进行模型参数选择的样本集合。
也就是说，对处理好的数据，可以选择最后一个批次的数据作为验证样本集来进行模型参数的选择，除此之外的所有样本组成训练样本集用来建立模型。请继续参阅图1，在本发明的实施例中，所述模型建立步骤S3用于形成基于深度因子分解机的营销活动预测模型，其使用所述训练集对所述预测模型进行训练，并使用验证集进行验证，得到最终的预测模型，其包括如下步骤：
步骤S31：提供初始化的基于深度因子分解机的营销活动预测模型，其中，所述营销活动预测模型包括输入层、嵌入层、线性训练层、非线性层和集成网络层；其中，线性训练层和非线性层为并列的层，其输入均来自嵌入层，输出均发送至集成网络层。所述嵌入层包括DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块；所述线性训练层包括线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块；所述非线性层包括FNN模块。
请参阅图2，图2所示为本发明实施例中基于深度因子分解机的营销活动预测模型的示意图。如图2所示，所述营销活动预测模型包括输入层、嵌入层、线性训练层和集成网络层(Ensemble network)。本发明通过对DeepFM进行改造，利用DeepFM的思路对运营商处的数据进行合理的分区，并重新设计FM的交互；同时，在结果输出前加入了集成网络层来学习多个输出对于最终结果的权重。
在本发明的实施例中，输入层有三个输入端口，分别用于接收用户手机号码归属地(location)、用户访问DPI和用户访问DPI频次(dpi frequency)的特征数据。所述嵌入层包括DPI访问特征嵌入模块(DPI embedding layer)、DPI频次特征嵌入模块(DPI Freqembedding layer)和归属地特征嵌入模块(Location embedding layer)；所述线性训练层包括线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块；所述非线性层包括FNN模块；其中，线性训练层和非线性层为并列的层，其输入均来自嵌入层，输出均发送至集成网络层。
在DPI访问特征嵌入模块(DPI embedding layer)、DPI频次特征嵌入模块(DPIFreq embedding layer)和归属地特征嵌入模块(Location embedding layer)中，由于DPI访问特征的FM模块和DPI频次特征的FM模块只使用了权重weight，因此，上述各模型的嵌入层仅设定权重weight而不设定偏置bias。
具体地，如果在DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块中包含的线性全连接层(只有权重weight，没有偏置bias)，其一般情况下对输入数据X作Xw+b的操作，w是权重weight，b是偏置bias。其中，采用批归一化对其前面的全连接层的权重weight作归一化操作，以调整weight的分布使其更加均匀，有利于模型的收敛和预测结果的提升；并且，全连接层后需要加一个深度学习常用激活函数(非线性激活函数)使神经网络具有非线性学习能力。
FNN模块(FNN part)可以包括3个隐藏层和1个输出层，对于隐藏层1中的线性全连接层(权重weight和偏置bias都有)，FNN part的隐藏层1里的全连接层为正常的全连接层，因此，权重weight和偏置bias都有批归一化层和随机丢弃层，随机丢弃层是深度学习常用组件，作用是将其前面的全连接层的权重weight和偏置bias按照一定概率随机置0，是一种防止模型过拟合的方法，一般放在全连接层的后面，并且，全连接层后需要加一个深度学习常用激活函数(非线性激活函数ReLU)使神经网络具有非线性学习能力。同样，对于隐藏层2和隐藏层3，全连接层为正常的全连接层，因此，权重weight和偏置bias都有批归一化层和随机丢弃层，随机丢弃层是深度学习常用组件，作用是将其前面的全连接层的权重weight和偏置bias按照一定概率随机置0，是一种防止模型过拟合的方法，一般放在全连接层的后面，并且，全连接层后需要加一个深度学习常用激活函数(非线性激活函数ReLU)使神经网络具有非线性学习能力。较佳地，输出层包含随机丢弃层。
例如，FNN part可以设置为如下参数：
①、隐藏层1
神经元个数：1024
随即丢弃概率：0.1
输入数据维度N*(256+512+30)，输出数据维度(N*1024)
②、隐藏层2
神经元个数：512
随即丢弃概率：0.2
输入数据维度(N*1024)，输出数据维度(N*512)
③、隐藏层3
神经元个数：256
随即丢弃概率：0.1
输入数据维度(N*512)，输出数据维度(N*256)
④、输出层
随即丢弃概率：0.05，输入数据维度(N*256)，输出数据维度(N*1)
在本发明的实施例中，集成网络层(Ensemble network)包括1个隐藏层和1个输出层。隐藏层为线性全连接层(weight和bias都有)，采用批归一化层和随机丢弃层，以及全连接层后加一个深度学习常用激活函数(非线性激活函数ReLU)使神经网络具有非线性学习能力。输出层采用Sigmoid非线性激活函数，集成网络层的输出就是模型的最终输出，因为用户是否点击是一个0-1之间的概率，所以使用Sigmoid激活函数可以将模型的输出结果限制在0-1之间。
例如，对于Ensemble network可以设置为如下参数：
隐藏层：
神经元个数：64
随即丢弃概率：0.1
输入数据维度(n*4)，输出数据维度(n*64)
此外，上述模型训练超参数可以设置如下：
数据批量大小Batch size:256
训练总轮次Epochs：100
学习率：0.001
权重衰减：1e-6
L-1正则化系数：1e-8
早停机制轮次Early stopping：6
根据上述图2所示基于深度因子分解机的营销活动预测模型结构，可以使用所述训练集对所述预测模型进行训练，并使用验证集进行验证，得到最终的预测模型。
步骤S32：对每一个训练集的DPI访问特征、DPI频次特征和归属地特征按特征维度进行按列合并，得到具有N行*(P1+P2+P3)列的矩阵；并将每一行合并后的列特征放入所述输入层，输出结果按列合并放入到所述线性训练层的线性训练模块得到输出为(N*1)的向量，分别将DPI访问特征、DPI频次特征和归属地特征按特征输入到DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块。
在本发明的实施例中，所述线性训练模块的输出为(N*1)的向量，即：
output＝Xw+b
其中，w为线性权重系数，(P1+P2+P3)*1的向量，b为偏置，为(N*1)的向量。
步骤S33：将DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块的输出值按列合并输入到FNN模块，同时，将DPI访问特征和DPI频次特征的数据分别经过DPI访问特征嵌入模块和DPI频次特征嵌入模块的权重计算，分别输入到DPI访问特征的FM模块和DPI频次特征的FM模块。
在本发明的实施例中，DPI访问特征嵌入模块的神经元个数可以选256，其输入数据维度为N*P1，输出数据维度为N*256；DPI频次特征嵌入模块的神经元个数可以选512，其输入数据维度为N*P2，输出数据维度为N*512；归属地特征嵌入模块的神经元个数可以是128，其输入数据维度为N*P3，输出数据维度为N*128。
具体地，所述DPI访问特征的FM模块和DPI频次特征的FM模块的输出可以为：
Figure BDA0002944124630000111
示ith和jth特征下的用户数据，wi和wj为ith和jth对应的隐向量；输入所述DPI访问特征的FM模块前的数据维度分别为N*P1，输出所述DPI访问特征的FM模块前的数据维度分别为P*1；输入所述DPI频次特征的FM模块前的数据维度分别为N*P2，输出所述DPI频次特征的FM模块前的数据维度分别为P*1。
步骤S34：将线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块和FNN模块的输出按列合并，合并后的数据维度为N*4，投入设定好的集成网络层中得到最终维度为N*1的输出结果。
也就是说，将合并后的数据维度为N*4投入设定好的集成网络层中得到最终的输出结果，集成网络层中的输出是线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块和FNN模块输出结果的集成，表示三个模块对用户是否点击的预测的非线性加权结果，维度为N*1。
集成网络层的输出结果和用户数据的真实点击标签都是N*1的列向量，二者根据交叉熵损失函数(用户是否点击为二分类问题，故使用交叉熵损失函数计算模型预测和真实值之间的损失值)可以计算模型预测值和真实值之间的损失值大小，根据损失值按照深度学习的梯度回传自动更新模型中所有涉及到的网络参数，以此训练模型即可。
步骤S35：通过所述集成网络层的预测网络模型中得到的输出结果同所述用户是否点击的数字标签，计算所述预测网络模型的预测值和真实值之间的损失值大小，根据损失值按照深度学习的梯度回传自动更新所述预测网络模型中所有涉及到的网络参数，并使用验证集进行验证，得到最终的预测网络模型。
完成上述模型训练后，就可采用所述基于深度因子分解机的营销活动预测方法，进行营销活动预测步骤S4，所述步骤S4具体包括：
步骤S41：获取拟互联网产品营销的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；
步骤S42：对所述任务批次号的所述原始特征信息，按所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：
按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；其中，特征展开后的所述用户访问DPI的维度为P1；所述用户dpi访问频次特征为连续特征，所述用户dpi访问频次特征的维度为P2，用户手机号码归属地特征的维度为P3；
步骤S43：提供建立好的所述预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述原始特征信息进行预测，得到每一个用户的预测值，从而形成N个所述用户的模型预测值集；其中，所述因子分解机在处理二分类问题时，将使用sigmoid函数将预测值的范围限定在0和1之间，即所述用户的模型预测值为所述用户的点击意愿度。
所述模型预测步骤S4还包括：
步骤S44：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。
综上所述，本发明能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放。结果表明，本算法选出的高意愿用户的点击率是低意愿用户点击率的数倍。进一步地，本发明可以将大量的低意愿用户直接从投放目标中筛出，从而节省大量的营销成本，实现利润率的增加。
以上所述的仅为本发明的优选实施例，所述实施例并非用以限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (5)

1.一种基于深度因子分解机的营销活动预测方法，其特征在于，包括数据预处理步骤S1、训练集和验证集形成步骤S2和模型建立步骤S3；
所述数据预处理步骤S1包括如下步骤：
步骤S11：获取N个用户的原始信息，并从每一个所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户访问DPI、用户访问DPI频次和用户是否点击的数字标签；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；
步骤S12：依次处理具有所述任务批次号的所有批次中的所述原始特征信息，对所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：
依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；其中，特征展开后的所述用户访问DPI的维度为P1；所述用户dpi访问频次特征为连续特征，所述用户dpi访问频次特征的维度为P2，用户手机号码归属地特征的维度为P3；
步骤S13：将所有所述任务批次号按照升序进行排序，得到所有所述任务批次号的排序；其中，所述任务批次号的升序是同日期时间的远近成正比，所述日期时间越近，所述任务批次号越大；
所述训练集和验证集形成步骤S2包括：
预处理之后，选择所述任务批次号最大的任务批次中的数据作为验证集，剩余的所述任务批次号的数据作为训练集；
所述模型建立步骤S3用于形成基于深度因子分解机的营销活动预测模型，其使用所述训练集对所述预测模型进行训练，并使用验证集进行验证，得到最终的预测模型，其包括如下步骤：
步骤S31：提供初始化的基于深度因子分解机的营销活动预测模型，其中，所述营销活动预测模型包括输入层、嵌入层、线性训练层、非线性训练层和集成网络层；所述嵌入层包括DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块；所述线性训练层包括线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块；所述非线性层包括FNN模块，其中，线性训练层和非线性层为并列的层，其输入均来自嵌入层，输出均发送至集成网络层；
步骤S32：对每一个训练集的DPI访问特征、DPI频次特征和归属地特征按特征维度进行按列合并，得到具有N行*(P1+P2+P3)列的矩阵；并将每一行合并后的列特征放入所述输入层，输出结果按列合并放入到所述线性训练层的线性训练模块得到输出为(N*1)的向量，分别将DPI访问特征、DPI频次特征和归属地特征按特征输入到DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块；
步骤S33：将DPI访问特征嵌入模块、DPI频次特征嵌入模块和归属地特征嵌入模块的输出值按列合并输入到FNN模块，同时，将DPI访问特征和DPI频次特征的数据分别经过DPI访问特征嵌入模块和DPI频次特征嵌入模块的权重计算，分别输入到DPI访问特征的FM模块和DPI频次特征的FM模块；
步骤S34：将线性训练模块、DPI访问特征的FM模块、DPI频次特征的FM模块和FNN模块的输出按列合并，合并后的数据维度为N*4，投入设定好的集成网络层中得到最终维度为N*1的输出结果；
步骤S35：通过所述集成网络层的预测网络模型中得到的输出结果同所述用户是否点击的数字标签，计算所述预测网络模型的预测值和真实值之间的损失值大小，根据损失值按照深度学习的梯度回传自动更新所述预测网络模型中所有涉及到的网络参数，并使用验证集进行验证，得到最终的预测网络模型。
2.根据权利要求1所述基于深度因子分解机的营销活动预测方法，其特征在于，还包括营销活动预测步骤S4，所述步骤S4具体包括：
步骤S41：获取拟互联网产品营销的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI和用户访问DPI频次为每一个任务批次号为计量单位；
步骤S42：对所述任务批次号的所述原始特征信息，按所述用户手机号码归属地特征进行One-hot编码处理；其中，所述One-hot编码处理包括：
按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；其中，特征展开后的所述用户访问DPI的维度为P1；所述用户dpi访问频次特征为连续特征，所述用户dpi访问频次特征的维度为P2，用户手机号码归属地特征的维度为P3；
步骤S43：提供建立好的所述预测模型，基于因子分解机，设定所述预测模型的二阶特征交互的隐向量维度，初始化所有所述原始特征信息一阶特征权重和二阶特征的隐向量，使用所述原始特征信息进行预测，得到每一个用户的预测值，从而形成N个所述用户的模型预测值集；其中，所述因子分解机在处理二分类问题时，将使用sigmoid函数将预测值的范围限定在0和1之间，即所述用户的模型预测值为所述用户的点击意愿度。
3.根据权利要求2所述的基于深度因子分解机的营销活动预测方法，其特征在于，所述模型预测步骤S4还包括：
步骤S44：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。
4.根据权利要求1所述的基于深度因子分解机的营销活动预测方法，其特征在于，所述线性训练模块的输出为(N*1)的向量，即：
output＝Xw+b
其中，w为线性权重系数，(P1+P2+P3)*1的向量，b为偏置，为(N*1)的向量。
5.根据权利要求1所述的基于深度因子分解机的营销活动预测方法，其特征在于，所述DPI访问特征的FM模块和DPI频次特征的FM模块的输出为：
Figure FDA0002944124620000031
其中，P是DPI访问特征或DPI频次特征域的总特征数，xi和xj分别表示ith和jth特征下的用户数据，wi和wj为ith和jth对应的隐向量；输入所述DPI访问特征的FM模块前的数据维度分别为N*P1，输出所述DPI访问特征的FM模块前的数据维度分别为P*1；输入所述DPI频次特征的FM模块前的数据维度分别为N*P2，输出所述DPI频次特征的FM模块前的数据维度分别为P*1。
CN202110191113.4A 2021-02-19 2021-02-19 基于深度因子分解机的营销活动预测模型结构和预测方法 Pending CN112884513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110191113.4A CN112884513A (zh) 2021-02-19 2021-02-19 基于深度因子分解机的营销活动预测模型结构和预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110191113.4A CN112884513A (zh) 2021-02-19 2021-02-19 基于深度因子分解机的营销活动预测模型结构和预测方法

Publications (1)

Publication Number Publication Date
CN112884513A true CN112884513A (zh) 2021-06-01

Family

ID=76057563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110191113.4A Pending CN112884513A (zh) 2021-02-19 2021-02-19 基于深度因子分解机的营销活动预测模型结构和预测方法

Country Status (1)

Country Link
CN (1) CN112884513A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591971A (zh) * 2021-07-28 2021-11-02 上海数鸣人工智能科技有限公司 基于dpi时间序列词嵌入向量的用户个性行为预测方法
CN114358813A (zh) * 2021-11-29 2022-04-15 重庆邮电大学 一种基于场矩阵因子分解机改进的广告投放方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222724A1 (en) * 2013-02-02 2014-08-07 Microsoft Corporation Generation of log-linear models using l-1 regularization
WO2017203262A2 (en) * 2016-05-25 2017-11-30 Metail Limited Method and system for predicting garment attributes using deep learning
CN110119474A (zh) * 2018-05-16 2019-08-13 华为技术有限公司 推荐模型训练方法、基于推荐模型的预测方法及装置
CN110414674A (zh) * 2019-07-31 2019-11-05 浙江科技学院 一种基于残差网络及局部细化的单目深度估计方法
CN110610705A (zh) * 2019-09-20 2019-12-24 上海数鸣人工智能科技有限公司 一种基于人工智能的语音交互提示器
WO2020020088A1 (zh) * 2018-07-23 2020-01-30 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
US10552863B1 (en) * 2016-11-16 2020-02-04 Amazon Technologies, Inc. Machine learning approach for causal effect estimation
CN111177579A (zh) * 2019-12-17 2020-05-19 浙江大学 一种集成多样性增强的极深因子分解机模型及其构建方法和应用
CN111275521A (zh) * 2020-01-16 2020-06-12 华南理工大学 一种基于用户评论与满意层面嵌入的商品推荐方法
US20200311543A1 (en) * 2019-03-30 2020-10-01 Microsoft Technology Licensing, Llc Embedded learning for response prediction in content item relevance
CN111815066A (zh) * 2020-07-21 2020-10-23 上海数鸣人工智能科技有限公司 一种基于梯度提升决策树的用户点击预测方法
CN111950806A (zh) * 2020-08-26 2020-11-17 上海数鸣人工智能科技有限公司 一种基于因子分解机的营销活动预测模型结构和预测方法
CN112149352A (zh) * 2020-09-23 2020-12-29 上海数鸣人工智能科技有限公司 一种结合gbdt自动特征工程对营销活动点击的预测方法
WO2021000362A1 (zh) * 2019-07-04 2021-01-07 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法
CN112258223A (zh) * 2020-10-13 2021-01-22 上海数鸣人工智能科技有限公司 一种基于决策树的营销广告点击的预测方法
WO2021027052A1 (zh) * 2019-08-14 2021-02-18 南京大学 面向神经网络模型的基于层间剖析的输入实例验证方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222724A1 (en) * 2013-02-02 2014-08-07 Microsoft Corporation Generation of log-linear models using l-1 regularization
WO2017203262A2 (en) * 2016-05-25 2017-11-30 Metail Limited Method and system for predicting garment attributes using deep learning
US10552863B1 (en) * 2016-11-16 2020-02-04 Amazon Technologies, Inc. Machine learning approach for causal effect estimation
CN110119474A (zh) * 2018-05-16 2019-08-13 华为技术有限公司 推荐模型训练方法、基于推荐模型的预测方法及装置
WO2020020088A1 (zh) * 2018-07-23 2020-01-30 第四范式（北京）技术有限公司 神经网络模型的训练方法和系统以及预测方法和系统
US20200311543A1 (en) * 2019-03-30 2020-10-01 Microsoft Technology Licensing, Llc Embedded learning for response prediction in content item relevance
WO2021000362A1 (zh) * 2019-07-04 2021-01-07 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法
CN110414674A (zh) * 2019-07-31 2019-11-05 浙江科技学院 一种基于残差网络及局部细化的单目深度估计方法
WO2021027052A1 (zh) * 2019-08-14 2021-02-18 南京大学 面向神经网络模型的基于层间剖析的输入实例验证方法
CN110610705A (zh) * 2019-09-20 2019-12-24 上海数鸣人工智能科技有限公司 一种基于人工智能的语音交互提示器
CN111177579A (zh) * 2019-12-17 2020-05-19 浙江大学 一种集成多样性增强的极深因子分解机模型及其构建方法和应用
CN111275521A (zh) * 2020-01-16 2020-06-12 华南理工大学 一种基于用户评论与满意层面嵌入的商品推荐方法
CN111815066A (zh) * 2020-07-21 2020-10-23 上海数鸣人工智能科技有限公司 一种基于梯度提升决策树的用户点击预测方法
CN111950806A (zh) * 2020-08-26 2020-11-17 上海数鸣人工智能科技有限公司 一种基于因子分解机的营销活动预测模型结构和预测方法
CN112149352A (zh) * 2020-09-23 2020-12-29 上海数鸣人工智能科技有限公司 一种结合gbdt自动特征工程对营销活动点击的预测方法
CN112258223A (zh) * 2020-10-13 2021-01-22 上海数鸣人工智能科技有限公司 一种基于决策树的营销广告点击的预测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
YEONG TYNG LING等: "Metamorphic malware detection using structural features and nonnegative matrix factorization with hidden markov model", JOURNAL OF COMPUTER VIROLOGY AND HACKING TECHNIQUES, pages 183 *
ZHAO Y等: "Rating Prediction using Category Weight Factorization Machine in Bigdata Environment", INTERNATIONAL CONFERENCE ON COMMUNICATION, 31 December 2015 (2015-12-31) *
张鹏;程乔;韦亮;朱剑华;: "基于客户业务行为的潜在换机客户挖掘模型研究与应用", 信息通信技术, no. 05, 15 October 2017 (2017-10-15) *
杨毅强;刘天琪;: "BP人工神经网络负荷预测模型的L-M训练算法", 四川电力技术, no. 03, pages 33 - 35 *
潘锋: "特征提取与特征选择技术研究", 万方知识平台, pages 1 - 100 *
燕彩蓉等: "因子分解机模型的宽度和深度扩展研究", 万方知识服务平台, 24 April 2019 (2019-04-24) *
燕彩蓉等: "因子分解机模型的宽度和深度扩展研究", 软件学报, pages 822 - 844 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591971A (zh) * 2021-07-28 2021-11-02 上海数鸣人工智能科技有限公司 基于dpi时间序列词嵌入向量的用户个性行为预测方法
CN113591971B (zh) * 2021-07-28 2024-05-07 上海数鸣人工智能科技有限公司 基于dpi时间序列词嵌入向量的用户个性行为预测方法
CN114358813A (zh) * 2021-11-29 2022-04-15 重庆邮电大学 一种基于场矩阵因子分解机改进的广告投放方法及系统
CN114358813B (zh) * 2021-11-29 2024-05-28 重庆邮电大学 一种基于场矩阵因子分解机改进的广告投放方法及系统

Similar Documents

Publication Publication Date Title
EP3862893A1 (en) Recommendation model training method, recommendation method, device, and computer-readable medium
US6873979B2 (en) Method of building predictive models on transactional data
CN109345302A (zh) 机器学习模型训练方法、装置、存储介质和计算机设备
CN111881342A (zh) 一种基于图孪生网络的推荐方法
CN109087178A (zh) 商品推荐方法和装置
CN110503531A (zh) 时序感知的动态社交场景推荐方法
CN111177579B (zh) 集成多样性增强的极深因子分解机模型的应用方法
CN112258223B (zh) 一种基于决策树的营销广告点击的预测方法
CN112149352B (zh) 一种结合gbdt自动特征工程对营销活动点击的预测方法
CN113536097B (zh) 基于自动特征分组的推荐方法及装置
CN111950806B (zh) 一种基于因子分解机的营销活动预测模型结构和预测方法
CN112884513A (zh) 基于深度因子分解机的营销活动预测模型结构和预测方法
CN111737578A (zh) 一种推荐方法及系统
CN116010684A (zh) 物品推荐方法、装置及存储介质
CN112819523B (zh) 结合内/外积特征交互和贝叶斯神经网络的营销预测方法
CN111563770A (zh) 一种基于特征差异化学习的点击率预估方法
CN112529415B (zh) 基于组合多感受野图神经网络的物品评分方法
CN111611488A (zh) 基于人工智能的信息推荐方法、装置、电子设备
CN113344615A (zh) 一种基于gbdt和dl融合模型的营销活动预测方法
Wu Product form evolutionary design system construction based on neural network model and multi-objective optimization
CN114613437A (zh) 一种基于异构图的miRNA与疾病关联预测方法及系统
CN112270374B (zh) 基于som聚类模型的数学表达式的聚类方法
CN109190040A (zh) 基于协同演化的个性化推荐方法及装置
CN111105127A (zh) 一种基于数据驱动的模块化产品设计评价方法
CN116187450A (zh) 一种基于数据质量智能评估的用户ai推理服务方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200436 room 406, 1256 and 1258 Wanrong Road, Jing'an District, Shanghai

Applicant after: Shanghai Shuming Artificial Intelligence Technology Co.,Ltd.

Address before: Room 1601-026, 238 JIANGCHANG Third Road, Jing'an District, Shanghai, 200436

Applicant before: Shanghai Shuming Artificial Intelligence Technology Co.,Ltd.

CB02 Change of applicant information