CN111080360B - 行为预测方法、模型训练方法、装置、服务器及存储介质 - Google Patents

行为预测方法、模型训练方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111080360B
CN111080360B CN201911286351.2A CN201911286351A CN111080360B CN 111080360 B CN111080360 B CN 111080360B CN 201911286351 A CN201911286351 A CN 201911286351A CN 111080360 B CN111080360 B CN 111080360B
Authority
CN
China
Prior art keywords
sub
model
layer
sample
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911286351.2A
Other languages
English (en)
Other versions
CN111080360A (zh
Inventor
何博睿
王湾湾
姚明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ccx Credit Technology Co ltd
Original Assignee
Ccx Credit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ccx Credit Technology Co ltd filed Critical Ccx Credit Technology Co ltd
Priority to CN201911286351.2A priority Critical patent/CN111080360B/zh
Publication of CN111080360A publication Critical patent/CN111080360A/zh
Application granted granted Critical
Publication of CN111080360B publication Critical patent/CN111080360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了行为预测方法、模型训练方法、装置、服务器及存储介质，其中，行为预测方法包括：获取目标用户的用户历史行为数据；按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的变量值；对所述用户历史行为数据进行预处理，获得标准格式的用户历史行为数据；将所述各个第一变量的变量值和标准格式的用户历史行为数据输入预先训练好的行为预测模型中；所述行为预测模型包括第一子模型和第二子模型；从第二子模型获得的目标用户执行每种行为的预测概率中，选择预测概率最大的行为，作为预测结果。第一变量和第二变量合并使得变量增加，因而训练的行为预测模型更加精确，使得目标用户行为的预测结果也更加精确。

Description

行为预测方法、模型训练方法、装置、服务器及存储介质
技术领域
本发明涉及用户数据处理领域，特别是涉及一种行为预测方法、模型训练方法、装置、服务器及存储介质。
背景技术
为了对用户行为进行预测，相关技术中，采集大量的用户已经执行的行为时序数据，将这些行为时序数据作为训练样本对行为预测模型进行训练，使用训练好的行为预测模型对用户未来的行为进行预测。
在训练模型前，通常需要相关工作人员结合实际情况人工构造特征变量，根据人工构造的变量去训练相应的行为预测模型，使用训练好的行为预测模型对用户未来的行为进行预测，计算出用户每种行为的概率，将概率最大的行为作为预测结果。
具体的，模型训练过程通常包括：
通过服务器采集用户已经执行的行为时序数据，作为样本数据集，根据经验人工构造特征变量；再将样本数据集根据人工构造的特征变量的规则进行压缩，得到压缩后的样本数据集；最后将压缩后的样本数据集输入人工选择或者随机搜索的n个超参数组合对应的n个预设神经网络模型，开始进行模型训练。
通过梯度下降的方法进行迭代，计算出每一个预设神经网络模型的模型参数，再计算每一个神经网络模型的样本概率集。
最后计算出每一个神经网络模型的样本概率集的特征曲线下的面积AUC，比较n个AUC，选择AUC值最大的那个预设神经网络模型为最终的神经网络模型。
上述训练过程中，特征变量的构造，直接影响到模型的精确度。由于实际情况下人工构造的特征变量数量有限，导致模型精确度有限。因此，用这样的方式训练出的行为预测模型进行行为预测，最后获得的用户每种行为的概率不够精确，对用户的预测结果也不精确。
发明内容
本发明实施例的目的在于提供一种行为预测方法、模型训练方法、装置、服务器及存储介质，以提高目标用户行为预测的精确性。具体技术方案如下：
一种行为的预测方法，所述方法包括：
获取目标用户的用户历史行为数据；
按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的变量值；所述各个第一变量为预先由人工构造的变量；
对所述用户历史行为数据进行预处理，获得标准格式的用户历史行为数据；
将所述各个第一变量的变量值和标准格式的用户历史行为数据输入预先训练好的行为预测模型中；所述行为预测模型包括第一子模型和第二子模型；
所述第一子模型，对输入的所述标准格式的用户历史行为数据进行处理，获得各个第二变量的变量值；所述第一子模型为预先使用标准格式的第一样本数据集，对初始第一子模型进行训练后获得的；
所述第二子模型，对输入的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得所述目标用户执行每种行为的预测概率；所述第二子模型为：预先使用第一样本数据集中的各个第一变量的样本变量值和各个第二变量的样本变量值，对初始第二子模型进行训练获得的；所述各个第二变量的样本变量值为：预先使用标准格式的第一样本数据集输入训练完成的所述第一子模型获得的；
从所述第二子模型获得的目标用户执行每种行为的预测概率中，选择预测概率最大的行为，作为预测结果。
可选的，所述对所述目标用户的用户历史行为数据进行预处理，获得标准格式的用户历史行为数据的步骤，包括：
将所述目标用户的用户历史行为数据进行所述定长、分类和编码的预处理，获得标准格式的用户历史行为数据。
可选的，所述行为预测模型还包括：变量合并层；
所述第一子模型，进一步将获得的获得各个第二变量的变量值输入所述变量合并层；
所述变量合并层，将所述各个第一变量的变量值和各个第二变量的变量值合并后，输入到第二子模型；
所述第二子模型，对合并后的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得所述目标用户执行每种行为的预测概率。
可选的，所述第一子模型的训练过程，包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
将所述第一样本数据集进行所述定长、分类和编码的预处理，获得标准格式的第一样本数据集；
确定第一子模型架构，所述架构包括：输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层；其中，所述输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层依次级联组成；所述三层BP包括：第一层BP、第二层BP和第三层BP，所述第一层BP级联在所述一层双向RNN之后，所述第二层BP级联在所述第一层BP之后，所述第三层BP级联在所述第二层BP之后；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到n个超参数组合，基于所述n个超参数组合和所述第一子模型架构确定n个预设第一子模型，每个预设的第一子模型对应一个超参数组合，n为正整数；
随机初始化所述n个预设第一子模型的初始参数，获得n个初始第一子模型；其中，所述n个预设第一子模型的初始参数在预设的参数范围内呈正态分布；
将所述标准格式的第一样本数据集输入所述n个初始第一子模型，进行训练，获得所述n个初始第一子模型训练完成后的模型参数；
所述n个初始第一子模型，分别基于所述训练完成后的模型参数，输出n个样本目标概率集；
根据所述n个初始第一子模型输出的样本目标概率集计算n个特征曲线下的面积AUC；
比较所述n个AUC，将AUC最大值所对应的所述初始第一子模型确定为训练完成的第一子模型。
可选的，所述第二子模型的训练过程，包括：
按预设的至少一个第一变量，从所述第一样本数据集中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
将所述标准格式的第一样本数据集输入所述第一子模型，获得第一子模型的第二层BP输出的矩阵，作为各个第二变量的样本变量值；
将所述各个第二变量的样本变量值与所述各个第一变量的样本变量值进行行合并，生成第二样本数据集；
确定第二子模型架构；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到m个超参数组合，基于所述m个超参数组合和所述第二子模型架构确定m个预设第二子模型，每个预设第二子模型对应一个超参数组合，m为正整数；
随机初始化所述m个预设的第二子模型的初始参数，获得m个初始第二子模型；其中，所述m个预设的第二子模型的初始参数在预设的参数范围内呈正态分布；
将所述第二样本数据集输入所述m个初始第二子模型，进行训练，获得所述m个初始第二子模型的模型参数；
基于所述训练完成后的模型参数，所述m个初始化的第二子模型输出m个样本目标概率集；
根据所述m个初始化的第二子模型的样本目标概率集计算m个AUC；
比较所述m个AUC，将AUC最大值所对应的所述初始第二子模型确定为第二子模型。
可选的，所述将所述第一样本数据集进行所述定长、分类和编码的预处理，获得标准格式的第一样本数据集，包括：
将所述第一样本数据集分别转换成定长时序数据集；
将所述定长时序数据集进行分类处理获取分类处理后的时序数据集；
对所述分类处理后的时序数据集进行独热编码和标准化，获得所述标准格式的第一样本数据集。
本发明实施例还提供了一种行为预测模型训练方法，所述方法包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
对所述第一样本数据集进行预处理，获得标准格式的第一样本数据集；
使用所述标准格式的第一样本数据集对对初始第一子模型进行训练，获得第一子模型；其中，所述标准格式的第一样本数据集输入所述第一子模型，获得各个第二变量的样本变量值；
使用第一样本数据集中的各个第一变量的样本变量值和所述各个第二变量的样本变量值，对初始第二子模型进行训练，获得第二子模型；
根据所述第一子模型和所述第二子模型确定行为预测模型，所述行为预测模型包括所述第一子模型和所述第二子模型。
可选的，所述第一子模型的训练过程，包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
将所述第一样本数据集进行所述定长、分类和编码的预处理，获得标准格式的第一样本数据集；
确定第一子模型架构，所述架构包括：输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层；其中，所述输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层依次级联组成；所述三层BP包括：第一层BP、第二层BP和第三层BP，所述第一层BP级联在所述一层双向RNN之后，所述第二层BP级联在所述第一层BP之后，所述第三层BP级联在所述第二层BP之后；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到n个超参数组合，基于所述n个超参数组合和所述第一子模型架构确定n个预设第一子模型，每个预设的第一子模型对应一个超参数组合，n为正整数；
随机初始化所述n个预设第一子模型的初始参数，获得n个初始第一子模型；其中，所述n个预设第一子模型的初始参数在预设的参数范围内呈正态分布；
将所述标准格式的第一样本数据集输入所述n个初始第一子模型，进行训练，获得所述n个初始第一子模型训练完成后的模型参数；
所述n个初始第一子模型，分别基于所述训练完成后的模型参数，输出n个样本目标概率集；
根据所述n个初始第一子模型输出的样本目标概率集计算n个特征曲线下的面积AUC；
比较所述n个AUC，将AUC最大值所对应的所述初始第一子模型确定为训练完成的第一子模型。
可选的，所述第二子模型的训练过程，包括：
按预设的至少一个第一变量，从所述第一样本数据集中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
将所述标准格式的第一样本数据集输入所述第一子模型，获得第一子模型的第二层BP输出的矩阵，作为各个第二变量的样本变量值；
将所述各个第二变量的样本变量值与所述各个第一变量的样本变量值进行行合并，生成第二样本数据集；
确定第二子模型架构；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到m个超参数组合，基于所述m个超参数组合和所述第二子模型架构确定m个预设第二子模型，每个预设第二子模型对应一个超参数组合，m为正整数；
随机初始化所述m个预设的第二子模型的初始参数，获得m个初始第二子模型；其中，所述m个预设的第二子模型的初始参数在预设的参数范围内呈正态分布；
将所述第二样本数据集输入所述m个初始第二子模型，进行训练，获得所述m个初始第二子模型的模型参数；
基于所述训练完成后的模型参数，所述m个初始化的第二子模型输出m个样本目标概率集；
根据所述m个初始化的第二子模型的样本目标概率集计算m个AUC；
比较所述m个AUC，将AUC最大值所对应的所述初始第二子模型确定为第二子模型。
本发明实施例还提供了一种行为预测装置，所述装置包括：
数据获取模块，用于获取目标用户的用户历史行为数据；
第一变量获取模块，用于按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的变量值；所述各个第一变量为预先由人工构造的变量；
数据预处理模块，用于对所述用户历史行为数据进行预处理，获得标准格式的用户历史行为数据；
数据输入模块，用于将所述各个第一变量的变量值和标准格式的用户历史行为数据输入预先训练好的行为预测模型中；所述行为预测模型包括第一子模型和第二子模型；
第一子模型处理模块，用于对输入的所述标准格式的用户历史行为数据进行处理，获得各个第二变量的变量值；所述第一子模型为预先使用标准格式的第一样本数据集，对初始第一子模型进行训练后获得的；
第二子模型处理模块，用于对输入的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得用户执行每种行为的概率；所述第二子模型为：预先使用第一样本数据集中的各个第一变量的样本变量值和各个第二变量的样本变量值，对初始第二子模型进行训练获得的；所述各个第二变量的样本变量值为：预先使用标准格式的第一样本数据集输入训练完成的所述第一子模型获得的；
预测结果选择模块，用于从所述第二子模型获得的目标用户执行每种行为的预测概率中，选择预测概率最大的行为，作为预测结果。
本发明实施例还提供了一种行为预测模型训练装置，所述装置包括：
样本获取模块，用于获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
样本第一变量获取模块，用于按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
样本预处理模块，用于对所述第一样本数据集进行预处理，获得标准格式的第一样本数据集；
第一子模型训练模块，用于使用所述标准格式的第一样本数据集对对初始第一子模型进行训练，获得第一子模型；其中，所述标准格式的第一样本数据集输入所述第一子模型，获得各个第二变量的样本变量值；
第二子模型训练模块，用于使用第一样本数据集中的各个第一变量的样本变量值和所述各个第二变量的样本变量值，对初始第二子模型进行训练，获得第二子模型；
行为预测模型确定模块，用于根据所述第一子模型和所述第二子模型确定行为预测模型，所述行为预测模型包括所述第一子模型和所述第二子模型。
本发明实施例还提供了一种服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述方案中任一项所述的方法步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方案中任一项所述的方法步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方案中任一项所述的方法步骤。
本发明实施例提供的行为预测方法、模型训练方法、装置、服务器及存储介质，将目标用户的各个第一变量的变量值和标准格式的用户历史行为数据输入行为预测模型，获得目标用户执行每种行为的概率，选择概率最大的行为作为预测结果。该行为预测模型包括第一子模型和第二子模型，是预先使用标准格式的第一样本数据集对初始第一子模型进行训练后获得第二变量的样本变量值，也确定了训练好的第一子模型，再使用标准格式的第一变量的样本变量值和第二变量的样本变量值对初始第二子模型进行训练获得的第二子模型。与现有技术相比，由于行为预测模型的变量增加了，使得影响预测目标用户行为的因素更多了，更符合实际情况，因而得到的目标用户执行每种行为的概率更精确，对目标用户的行为预测结果也更加精确。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例所提供的一种行为预测方法的流程示意图；
图2为本发明实施例所提供的行为预测模型的一种架构图；
图3a为图1所示实施例中第一子模型训练过程的流程示意图；
图3b为本发明实施例中第一子模型的架构图；
图3c为本发明实施例中双向RNN的结构示意图；
图4为本发明实施例中的第一样本数据集预处理的流程示意图；
图5为图1所示实施例中第二子模型训练过程流程示意图；
图6为本发明实施例所提供的一种行为预测模型训练方法的流程示意图；
图7为本发明实施例所提供的一种行为预测装置的示意图；
图8为本发明实施例所提供的一种行为预测模型训练装置的示意图；
图9为本发明实施例所提供的服务器的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
为了提高目标用户行为预测的精确性，本发明实施例提供了一种行为预测方法，该方法可以应用于进行目标用户行为预测的服务器。
图1为本发明实施例所提供的行为预测方法的一种流程示意图，可以包括以下步骤：
S101：获取目标用户的用户历史行为数据；
在互联网时代，一些企业根据用户的历史行为数据，预测用户下来可能的行为，那么就可以给用户推送相关活动信息。首先将某个用户确定为目标用户，例如：一个购物软件的某个账户的用户多次浏览该软件的网页，那么就先确定该用户为目标用户，然后获取目标用户在一年内的购物记录，预测目标用户下一次可能购买的产品，或者预测目标用户在下一年度可能购买的产品。
S102：按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的变量值；
所述各个第一变量为预先由人工构造的变量；
例如，用户历史行为数据是目标用户在一年内的购买记录，要预测目标用户下一次要购买的产品的类型，从目标用户的历史行为数据中人工构造变量，具体可以是：获取用户全年的消费订单，根据经验可以人工构造出“近一年购买电子商品”、“近一年购买化妆品”这种变量。根据人工构造的变量就是第一变量，该变量的具体值就是变量值。
S103：对所述用户历史行为数据进行预处理，获得标准格式的用户历史行为数据；
例如：用户历史行为数据为某个时间购买某一类产品，需要将其转换成标准化的数据才能通过模型中的算法进行计算。
S104：将所述各个第一变量的变量值和标准格式的用户历史行为数据输入预先训练好的行为预测模型；
所述行为预测模型包括第一子模型和第二子模型；
所述第一子模型，对输入的所述标准格式的用户历史行为数据进行处理，获得各个第二变量的变量值；所述第一子模型为预先使用标准格式的第一样本数据集，对初始第一子模型进行训练后获得的；
所述第二子模型，对输入的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得目标用户执行每种行为的预测概率；所述第二子模型为：预先使用第一样本数据集中的各个第一变量的样本变量值和各个第二变量的样本变量值，对初始第二子模型进行训练获得的；所述各个第二变量的样本变量值为：预先使用标准格式的第一样本数据集输入训练完成的所述第一子模型获得的；
如图2所示为行为预测模型的一种架构图，该行为预测模型包括：第一子模型、第二子模型和变量合并层，目标用户的标准格式的用户历史行为数据输入行为预测模型中的第一子模型，进一步将获得的获得各个第二变量的变量值输入所述变量合并层；所述变量合并层，将所述目标用户的各个第一变量的变量值和各个第二变量的变量值进行行合并后，输入到第二子模型；所述第二子模型，对合并后的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得所述目标用户执行每种行为的预测概率。其中，第二子模型是任意可以进行概率计算的模型，例如：BP神经网络模型，PNN概率神经网络模型等。第一子模型和第二子模型的训练都是针对第一个样本数据集，标准格式的第一样本数据集输入初始第一子模型进行训练，得到训练好的第一子模型和第一样本数据集的第二变量的样本变量值，再将第一样本数据集的第一变量的样本变量值和第二变量的样本变量值输入变量合并层进行行合并，将合并后的数据输入初始第二子模型进行训练，确定了第二子模型。
S105：从所述第二子模型获得的目标用户执行每种行为的预测概率中，选择预测概率最大的行为，作为预测结果；
具体的，例如：目标用户有购买电子产品、购买服装的行为，那么目标用户的历史行为数据输入第一神经网络模型后，也会得到用户下次购买电子产品的概率，购买服装的概率。如果购买电子产品的概率0.9，而购买服装的概率为0.3，那么预测结果为该目标用户会购买电子产品。
本发明实施例中，通过预先使用标准格式的第一样本数据集对初始第一子模型进行训练后获得训练好的第一子模型和第二变量的样本变量值，再使用第一样本数据集中的第一变量的样本变量值和第二变量的样本变量值对初始第二子模型进行训练获得的第二子模型，训练好的第一子模型和第二子模型组成了行为预测模型，将目标用户的各个第一变量的变量值和标准格式的用户历史行为数据输入训练好的行为预测模型，由于第二子模型变量增加了，那么行为预测模型的变量也就增加了，影响预测目标用户行为的因素更多了，更符合实际情况，因而得到的目标用户每种行为的概率更精确，对目标用户的行为预测结果也更加精确。
这里，所述对所述目标用户的用户历史行为数据进行预处理，获得标准格式的用户历史行为数据的步骤，包括:
将所述目标用户的用户历史行为数据进行所述定长、分类和编码的预处理，获得标准格式的用户历史行为数据。
这里，如图3a为第一子模型训练过程的流程示意图，具体步骤如下：
S301：获取第一样本数据集；
其中，所述第一样本数据集为时序样本数据集，包括多个用户的用户历史行为样本数据，即样本数据集中有多个用户的样本数据，每个用户的样本数据包含该用户历史行为的时序样本数据。
S302：将所述第一样本数据集进行所述定长、分类和编码的预处理，获得标准格式的第一样本数据集；
这里，对第一样本数据集的预处理方式与对目标用户的预处理方式相同，每一个样本都是一个二维数据，标准格式的样本数据集包含多个样本，是一个三维数据，样本量*每个样本数据的定长*维度(变量)。
S303：确定第一子模型架构；
如图3b所示为第一子模型的架构图，所述架构包括：输入层、一层双向循环神经网络(RNN)和三层全连接层网络(BP)和输出层；其中，所述输入层、双向RNN和三层BP和输出层依次级联组成；所述三层BP包括：第一层BP、第二层BP和第三层BP，所述第一层BP级联在所述一层双向RNN之后，所述第二层BP级联在所述第一层BP之后，所述第三层BP级联在所述第二层BP之后；
具体的，RNN可以是LSTM或者GRU，都是神经元结合的结构。如图3c所示，图3c是双向RNN的结构图，其中，X为输入的数据(每个Xi都是二维数据，整体X是三维数据)，例如前面的用户甲购物数据经过预处理后为一个X0，用户乙购物数据经过预处理后为X1等，多个经过预处理的用户的购物数据就是整体X，是一个三维的，每个Yi都是一个二维向量。每个A都是一个LSTM或者GRN的神经元结构，假设Ai’为最终输出的一层，则双向RNN最终输出的为Yi，所以Yi作为后面BP网络的输入矩阵，Y0\Y1\Y2等都没有输出，中间层的输入的数据S0就是X0，S0’就是Xi，中间层输出的数据Si，Si’只是矩阵数据，没有任何真正的物理含义。
S304：从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到n个超参数组合，基于所述n个超参数组合和所述第一子模型架构确定n个预设第一子模型，每个预设的第一子模型对应一个超参数组合，n为正整数；
其中，超参数包括：舍弃概率Dropout、损失函数和优化器类型、输出的W行列数等。
S305：随机初始化所述n个预设第一子模型的初始参数，获得n个初始第一子模型；
对初始参数矩阵W和偏差B的具体数值进行随机初始化，所述n个预设第一子模型的初始参数在预设的参数范围内呈正态分布。
S306：将所述标准格式的第一样本数据集输入所述n个初始第一子模型，进行训练，获得所述n个初始第一子模型训练完成后的模型参数；
例如用多个标准格式的用户购物的数据，输入初始第一子模型里，通过梯度下降的方法进行迭代，不断修正这些随机初始化的数据，最终得到n个初始第一子模型训练完成后的模型参数，梯度下降的方法是最常见的迭代算法，这里不具体阐述。
S307：所述n个初始第一子模型，分别基于所述训练完成后的模型参数，输出n个样本目标概率集；
具体的，当第一样本数据集是1000个样本，从每个第一子模型输出的样本目标概率集就有1000个样本的目标概率集，若每个样本中有三个变量，那么其中一个样本输出的概率结果类似如下表1所示，左边一列代表为0的概率，右边一列代表为1的概率。
表1
2.2842416e-18 1.00000000e+00
6.87858819e-30 1.00000000e+00
8.75600048e-14 1.00000000e+00
S308：根据所述n个初始第一子模型输出的样本目标概率集计算n个特征曲线下的面积AUC；
每个初始化的第一子模型的样本目标概率集包括时序样本的每种行为的预测概率，将每种行为的预测概率从高到低进行排序，根据排序后的多个目标预测概率确定多个阈值；其中，所述多个阈值从高到低依次排序；
例如：由于是二分类的预测，若阈值为0.5，当模型对应该阈值的行为预测概率值大于等于0.5时，认为预测是1，每个行为预测都有四种结果，预测是1，真实是1；预测为0，真实为1；预测是1，真实是0；预测是0，真实是0；计算真实为0的行为中，被错误地判断为阳性的样本比率，将其作为X坐标点，再计算真实为1的行为中，被正确地判断为阳性的样本比率，将其作为Y坐标点，将每个行为的X和Y坐标点连接起来就是一个特征曲线，最后计算坐标轴X大于0，坐标轴Y大于0和特征曲线之间的面积获得每个初始化的第一子模型的样本目标概率集的AUC；同理，获取所述n个初始化的第一子模型的样本目标概率集的n个AUC。
S309：比较所述n个AUC，将AUC最大值所对应的所述初始第一子模型确定为训练完成的第一子模型。
其中，如图4为第一样本数据集预处理的流程示意图，将所述第一样本数据集进行所述定长、分类和编码的预处理，获得标准格式的第一样本数据集，具体可以包括：
S401：将所述第一样本数据集分别转换成定长时序数据集；
例如：第一样本数据集包括用户甲、乙和丙等10个用户样本，每个用户有近一年的购买记录；如表2所示，用户甲在近一年有十条购买记录：
表2
S402：将所述定长时序数据集进行分类处理获取分类处理后的时序数据集；
具体的，10个用户的购买记录条数分别是{10,11,12,13,14,15,16,17,18,19}。
如果要截取0.9分位数作为最大长度，0.9就是说取上面这个数组的90％分位数作为定长的数字，上面的例子中18就是定长的数字。对每一个样本进行定长为18的操作，所有用户的定长都是18条数据。不足18条数据的用户在前面补0，这里的补0之前需要先把样本按照时间从小到大排序，第一条购买记录晚于第二条，超过18条的用户，截取最后18条购买记录作为定长时序数据，所谓的最后，也是指根据时间排序之后的最后18条购买记录。
延续用户甲的10条购买记录，若9为定长数字，那么就截取最后9条购买记录，就是说把购买水杯那条删除。购买时间是用于排序确定定长的时候使用的，在定长之后是要删掉的。
S403：对所述分类处理后的时序数据集进行独热编码和标准化，获得所述标准格式的第一样本数据集。
具体的，延续上面的例子，先将手机和数据线等等的电子产品数据替换为电子产品、外套替换为服装，食用油和咖啡替换为食品、面膜替换为化妆品、婴儿床替换为母婴用品，表3为定长且分类好的数据。
表3
对定长且分类好的数据进行独热编码，独热编码后如表4所示。
表4
用户甲独热编码后再进行标准化的数据如表5所示，标准化就是指(X-均值)/标准差，例如购买电子商品这列均值为(1+1)/9＝0.22222222，标准差预设为0.415739709641，那么购买电子商品为1的时候就替换为(1-0.22222222222)/0.415739709641＝1.870828693394786，0的时候就替换为(0-0.22222222222)/0.415739709641＝-0.5345224838202094，那么上表替换之后就变成了标准化之后的数据。同理，将购买商品_服装、购买商品_服装、购买商品_母婴用品、购买商品_美食、购买商品_其他、购买价格(元)都进行上面的标准化处理。
表5
用户甲的第一变量的变量值可以通过其他的方法得到，也可以通过对第一样本集进行的预处理的方法得到，例如：
为了预测下一次购买产品的类型，根据经验人工构造了“近一年内购买电子产品”、“近一年内购买食品”和“近一年内购买化妆品”三个变量。为了要预测目标用户下次可能购买的产品类型是电子产品、食品或者是化妆品，所以构造这三变量，那么目标用户的第一变量和第一变量值如表6所示，它是预处理后的标准格式的用户历史数据中的一部分。
表6
/>
其中，如图5所示为第二子模型的训练过程流程示意图，具体可以包括以下步骤：
S501：按预设的至少一个第一变量，从所述第一样本数据集中获得各个第一变量的样本变量值；
所述各个第一变量为预先由人工构造的变量；
S502：将所述标准格式的第一样本数据集输入所述第一子模型，获得第一子模型的第二层BP输出的矩阵，作为各个第二变量的样本变量值；
S503：将所述各个第二变量的样本变量值与所述各个第一变量的样本变量值进行行合并，生成第二样本数据集；
具体的，例如标准格式的第一样本数据集中，用户甲的第一变量的样本变量值如表6的变量值，有3个第一变量，标准格式的第一样本数据集通过第二子模型输出的用户甲的第二变量的样本变量值如表7有4个变量，将它们进行行合并，就可以的到样本甲总共有7个变量。所述用户甲的第二变量的样本变量值是从第一子模型的中间第二层BP输出的矩阵。
表7
-1.55049305e+01 -4.03783655e+00 -2.84480991e+01 -7.49186563e+00
-1.89463310e+01 -8.72880840e+00 -3.34880714e+01 -5.48481512e+00
-1.53906708e+01 -3.04279375e+00 -3.20794563e+01 -1.18592710e+00
-1.53988590e+01 -2.82339601e+00 -3.14665260e+01 -1.08809252e+01
-1.52058058e+01 -1.77855861e+00 -4.74218788e+01 -2.53364239e+01
-1.65301189e+01 -4.38004780e+00 -3.24701805e+01 -9.39362526e+00
-1.73471813e+01 -6.84460068e+00 -3.17618713e+01 -8.15878010e+00
-1.72927513e+01 -7.00653028e+00 -3.39394722e+01 -1.10333519e+01
-2.02293434e+01 -9.73487759e+00 -3.45107536e+01 -3.36937070e+00
S504：确定第二子模型架构；
具体的，可以使用常用的，或者根据经验搭建的架构，可以与第一子模型相同，并不局限于第一子模型的架构。例如：全连接层神经网络模型、PNN概率神经网络模型都可以为第二子模型。
S505：从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到m个超参数组合，基于所述m个超参数组合和所述第二子模型架构确定m个预设第二子模型，每个预设第二子模型对应一个超参数组合；
其中，m为正整数；
S506：随机初始化所述m个预设的第二子模型的初始参数，获得m个初始第二子模型；
其中，所述m个预设的第二子模型的初始参数在预设的参数范围内呈正态分布；
S507：将所述第二样本数据集输入所述m个初始第二子模型，进行训练，获得所述m个初始第二子模型的模型参数；
S508：基于所述训练完成后的模型参数，所述m个初始化的第二子模型输出m个样本目标概率集；
S509：根据所述m个初始化的第二子模型的样本目标概率集计算m个AUC；
S510：比较所述m个AUC，将AUC最大值所对应的所述初始第二子模型确定为第二子模型。
具体的，模型的训练过程，得到模型参数以及最后确定第二子模型的方法和训练初始第一子模型的方法一致，但不局限于该种训练方法。这里，训练好的第一子模型和第二子模型组成行为预测模型。
本发明实施例中，将标准格式的第一样本数据集通过一层双向RNN和三层BP为架构的第一子模型得到第一样本数据集的各个第二变量的样本变量值，将其合并入第一样本数据集人工构造的第一变量的样本变量值去训练初始第二子模型，得到的第二子模型，由于第二子模型变量增加了，影响预测目标用户行为的因素更多，因而行为预测模型更加精确，因而得到目标用户的预测结果也更加精确。
本发明实施例还提供了一种行为预测模型训练方法，图6为本发明实施例所提供的行为预测模型训练方法流程示意图，可以包括以下步骤：
S601：获取第一样本数据集；
其中，所述第一样本数据集包含用户历史行为数据；
S602：按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的样本变量值；
其中，所述各个第一变量为预先由人工构造的变量；
S603：对所述第一样本数据集进行预处理，获得标准格式的第一样本数据集；
S604：使用所述标准格式的第一样本数据集对对初始第一子模型进行训练，获得第一子模型；
其中，所述标准格式的第一样本数据集输入所述第一子模型，获得各个第二变量的样本变量值；
这里，具体过程可以与图3a所示是训练过程相同。
S605：使用第一样本数据集中的各个第一变量的样本变量值和所述各个第二变量的样本变量值，对初始第二子模型进行训练，获得第二子模型；
这里，具体的训练过程可以与图5所示的流程相同。
S606：根据所述第一子模型和所述第二子模型确定行为预测模型，所述行为预测模型包括所述第一子模型和所述第二子模型。
本步骤中，可以将所述第一子模型和所述第二子模型组合成为行为预测模型；或者，在所述第一子模型和所述第二子模型之间增加一个将第一变量的变量值和第二变量的变量值进行行合并的变量合并层，组合成为行为预测模型。
本发明实施例中，第二样本数据集不仅包括第一样本数据集的人工构造的各个第一变量的样本变量值，还包括通过第一子模型训练得到的第一样本数据集的各个第二变量的样本变量值，变量的增加使得训练好的第二子模型更加精确，由于第一子模型和第二子模型组成行为预测模型，那么行为预测模型也更加精确。
对应于图1所示的方法实施例，本发明实施例还提供了一种行为预测装置，如图7所示，包括：数据获取模块701、第一变量获取模块702、数据预处理模块703、数据输入模块704和预测结果选择模块705；其中，
数据获取模块701，用于获取目标用户的用户历史行为数据；
第一变量获取模块702，用于按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的变量值；所述各个第一变量为预先由人工构造的变量；
数据预处理模块703，用于对所述用户历史行为数据进行预处理，获得标准格式的用户历史行为数据；
数据输入模块704，用于将所述各个第一变量的变量值和标准格式的用户历史行为数据输入预先训练好的行为预测模型中；所述行为预测模型包括第一子模型和第二子模型；
第一子模型处理模块7041，用于对输入的所述标准格式的用户历史行为数据进行处理，获得各个第二变量的变量值；所述第一子模型为预先使用标准格式的第一样本数据集，对初始第一子模型进行训练后获得的；
第二子模型处理模块7042，用于对输入的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得用户执行每种行为的概率；所述第二子模型为：预先使用第一样本数据集中的各个第一变量的样本变量值和各个第二变量的样本变量值，对初始第二子模型进行训练获得的；所述各个第二变量的样本变量值为：预先使用标准格式的第一样本数据集输入训练完成的所述第一子模型获得的；
预测结果选择模块705，用于从所述第二子模型获得的目标用户执行每种行为的预测概率中，选择预测概率最大的行为，作为预测结果。
本发明实施例中，将标准格式的第一样本数据集通过一层双向RNN和三层BP为架构的第一子模型得到第一样本数据集的各个第二变量的样本变量值，将其合并入第一样本数据集人工构造的第一变量的样本变量值去训练初始第二子模型，得到的第二子模型，由于第二子模型变量增加了，影响预测目标用户行为的因素更多，因而行为预测模型更加精确，因而得到目标用户的预测结果也更加精确。
对应于图6所示的方法实施例，本发明实施例还提供了一种行为预测模型训练装置，如图8所示，包括：样本获取模块801、样本第一变量获取模块802、样本预处理模块803、第一子模型训练模块804、第二子模型训练模块805和行为预测模型确定模块806；其中，
样本获取模块801，用于获取第一样本数据集；所述第一样本数据集包含用户历史行为数据；
样本第一变量获取模块802，用于按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
样本预处理模块803，用于对所述第一样本数据集进行预处理，获得标准格式的第一样本数据集；
第一子模型训练模块804，用于使用所述标准格式的第一样本数据集对对初始第一子模型进行训练，获得第一子模型；其中，所述标准格式的第一样本数据集输入所述第一子模型，获得各个第二变量的样本变量值；
第二子模型训练模块805，用于使用第一样本数据集中的各个第一变量的样本变量值和所述各个第二变量的样本变量值，对初始第二子模型进行训练，获得第二子模型；
行为预测模型确定模块806，用于根据所述第一子模型和所述第二子模型确定行为预测模型，所述行为预测模型包括所述第一子模型和所述第二子模型。
本发明实施例中，第二样本数据集不仅包括第一样本数据集的人工构造的各个第一变量的样本变量值，还包括通过第一子模型训练得到的第一样本数据集的各个第二变量的样本变量值，变量的增加使得训练好的第二子模型更加精确，由于第一子模型和第二子模型组成行为预测模型，那么行为预测模型也更加精确。
本发明实施例还提供了一种服务器，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现本发明实施例所提供的方法。
本发明实施例提供的一种服务器，将标准格式的第一样本数据集通过一层双向RNN和三层BP为架构的第一子模型得到第一样本数据集的各个第二变量的样本变量值，将其合并入第一样本数据集人工构造的第一变量的样本变量值去训练初始第二子模型，得到的第二子模型，由于第二子模型变量增加了，影响预测目标用户行为的因素更多，因而行为预测模型更加精确，因而得到目标用户的预测结果也更加精确。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的一种行为预测方法和一种行为预测模型训练的方法，以获取相同的技术效果。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的的一种行为预测方法和一种行为预测模型训练的方法，以获取相同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种行为的预测方法，其特征在于，所述方法包括：
获取目标用户的用户历史行为数据；
按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的变量值；所述各个第一变量为预先由人工构造的变量；
对所述用户历史行为数据进行预处理，获得标准格式的用户历史行为数据；
将所述各个第一变量的变量值和标准格式的用户历史行为数据输入预先训练好的行为预测模型中；所述行为预测模型包括第一子模型和第二子模型；
所述第一子模型，对输入的所述标准格式的用户历史行为数据进行处理，获得各个第二变量的变量值；所述第一子模型为预先使用标准格式的第一样本数据集，对初始第一子模型进行训练后获得的；
所述第二子模型，对输入的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得所述目标用户执行每种行为的预测概率；所述第二子模型为：预先使用第一样本数据集中的各个第一变量的样本变量值和各个第二变量的样本变量值，对初始第二子模型进行训练获得的；所述各个第二变量的样本变量值为：预先使用标准格式的第一样本数据集输入训练完成的所述第一子模型获得的；
从所述第二子模型获得的目标用户执行每种行为的预测概率中，选择预测概率最大的行为，作为预测结果；
其中，所述第一子模型的训练过程，包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
将所述第一样本数据集进行定长、分类和编码的预处理，获得标准格式的第一样本数据集；
确定第一子模型架构，所述架构包括：输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层；其中，所述输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层依次级联组成；所述三层全连接层网络BP包括：第一层BP、第二层BP和第三层BP，所述第一层BP级联在所述一层双向RNN之后，所述第二层BP级联在所述第一层BP之后，所述第三层BP级联在所述第二层BP之后；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到n个超参数组合，基于所述n个超参数组合和所述第一子模型架构确定n个预设第一子模型，每个预设的第一子模型对应一个超参数组合，n为正整数；
随机初始化所述n个预设第一子模型的初始参数，获得n个初始第一子模型；其中，所述n个预设第一子模型的初始参数在预设的参数范围内呈正态分布；
将所述标准格式的第一样本数据集输入所述n个初始第一子模型，进行训练，获得所述n个初始第一子模型训练完成后的模型参数；
所述n个初始第一子模型，分别基于所述训练完成后的模型参数，输出n个样本目标概率集；
根据所述n个初始第一子模型输出的样本目标概率集计算n个特征曲线下的面积AUC；
比较所述n个AUC，将AUC最大值所对应的所述初始第一子模型确定为训练完成的第一子模型；
其中，所述第二子模型的训练过程，包括：
按预设的至少一个第一变量，从所述第一样本数据集中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
将所述标准格式的第一样本数据集输入所述第一子模型，获得第一子模型的第二层BP输出的矩阵，作为各个第二变量的样本变量值；
将所述各个第二变量的样本变量值与所述各个第一变量的样本变量值进行行合并，生成第二样本数据集；
确定第二子模型架构；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到m个超参数组合，基于所述m个超参数组合和所述第二子模型架构确定m个预设第二子模型，每个预设第二子模型对应一个超参数组合，m为正整数；
随机初始化所述m个预设的第二子模型的初始参数，获得m个初始第二子模型；其中，所述m个预设的第二子模型的初始参数在预设的参数范围内呈正态分布；
将所述第二样本数据集输入所述m个初始第二子模型，进行训练，获得所述m个初始第二子模型的模型参数；
基于所述训练完成后的模型参数，所述m个初始化的第二子模型输出m个样本目标概率集；
根据所述m个初始化的第二子模型的样本目标概率集计算m个AUC；
比较所述m个AUC，将AUC最大值所对应的所述初始第二子模型确定为第二子模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标用户的用户历史行为数据进行预处理，获得标准格式的用户历史行为数据的步骤，包括：
将所述目标用户的用户历史行为数据进行所述定长、分类和编码的预处理，获得标准格式的用户历史行为数据。
3.根据权利要求1所述的方法，其特征在于，所述行为预测模型还包括：变量合并层；
所述第一子模型，进一步将获得的获得各个第二变量的变量值输入所述变量合并层；
所述变量合并层，将所述各个第一变量的变量值和各个第二变量的变量值合并后，输入到第二子模型；
所述第二子模型，对合并后的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得所述目标用户执行每种行为的预测概率。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一样本数据集进行定长、分类和编码的预处理，获得标准格式的第一样本数据集，包括：
将所述第一样本数据集分别转换成定长时序数据集；
将所述定长时序数据集进行分类处理获取分类处理后的时序数据集；
对所述分类处理后的时序数据集进行独热编码和标准化，获得所述标准格式的第一样本数据集。
5.一种行为预测模型训练方法，其特征在于，所述方法包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
对所述第一样本数据集进行预处理，获得标准格式的第一样本数据集；
使用所述标准格式的第一样本数据集对初始第一子模型进行训练，获得第一子模型；其中，所述标准格式的第一样本数据集输入所述第一子模型，获得各个第二变量的样本变量值；
使用第一样本数据集中的各个第一变量的样本变量值和所述各个第二变量的样本变量值，对初始第二子模型进行训练，获得第二子模型；
根据所述第一子模型和所述第二子模型确定行为预测模型，所述行为预测模型包括所述第一子模型和所述第二子模型；
其中，所述第一子模型的训练过程，包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
将所述第一样本数据集进行定长、分类和编码的预处理，获得标准格式的第一样本数据集；
确定第一子模型架构，所述架构包括：输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层；其中，所述输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层依次级联组成；所述三层全连接层网络BP包括：第一层BP、第二层BP和第三层BP，所述第一层BP级联在所述一层双向RNN之后，所述第二层BP级联在所述第一层BP之后，所述第三层BP级联在所述第二层BP之后；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到n个超参数组合，基于所述n个超参数组合和所述第一子模型架构确定n个预设第一子模型，每个预设的第一子模型对应一个超参数组合，n为正整数；
随机初始化所述n个预设第一子模型的初始参数，获得n个初始第一子模型；其中，所述n个预设第一子模型的初始参数在预设的参数范围内呈正态分布；
将所述标准格式的第一样本数据集输入所述n个初始第一子模型，进行训练，获得所述n个初始第一子模型训练完成后的模型参数；
所述n个初始第一子模型，分别基于所述训练完成后的模型参数，输出n个样本目标概率集；
根据所述n个初始第一子模型输出的样本目标概率集计算n个特征曲线下的面积AUC；
比较所述n个AUC，将AUC最大值所对应的所述初始第一子模型确定为训练完成的第一子模型；
其中，所述第二子模型的训练过程，包括：
按预设的至少一个第一变量，从所述第一样本数据集中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
将所述标准格式的第一样本数据集输入所述第一子模型，获得第一子模型的第二层BP输出的矩阵，作为各个第二变量的样本变量值；
将所述各个第二变量的样本变量值与所述各个第一变量的样本变量值进行行合并，生成第二样本数据集；
确定第二子模型架构；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到m个超参数组合，基于所述m个超参数组合和所述第二子模型架构确定m个预设第二子模型，每个预设第二子模型对应一个超参数组合，m为正整数；
随机初始化所述m个预设的第二子模型的初始参数，获得m个初始第二子模型；其中，所述m个预设的第二子模型的初始参数在预设的参数范围内呈正态分布；
将所述第二样本数据集输入所述m个初始第二子模型，进行训练，获得所述m个初始第二子模型的模型参数；
基于所述训练完成后的模型参数，所述m个初始化的第二子模型输出m个样本目标概率集；
根据所述m个初始化的第二子模型的样本目标概率集计算m个AUC；
比较所述m个AUC，将AUC最大值所对应的所述初始第二子模型确定为第二子模型。
6.一种行为预测装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标用户的用户历史行为数据；
第一变量获取模块，用于按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的变量值；所述各个第一变量为预先由人工构造的变量；
数据预处理模块，用于对所述用户历史行为数据进行预处理，获得标准格式的用户历史行为数据；
数据输入模块，用于将所述各个第一变量的变量值和标准格式的用户历史行为数据输入预先训练好的行为预测模型中；所述行为预测模型包括第一子模型和第二子模型；
第一子模型处理模块，用于对输入的所述标准格式的用户历史行为数据进行处理，获得各个第二变量的变量值；所述第一子模型为预先使用标准格式的第一样本数据集，对初始第一子模型进行训练后获得的；
第二子模型处理模块，用于对输入的各个第一变量的变量值和所述各个第二变量的变量值进行处理，获得用户执行每种行为的概率；所述第二子模型为：预先使用第一样本数据集中的各个第一变量的样本变量值和各个第二变量的样本变量值，对初始第二子模型进行训练获得的；所述各个第二变量的样本变量值为：预先使用标准格式的第一样本数据集输入训练完成的所述第一子模型获得的；
预测结果选择模块，用于从所述第二子模型获得的目标用户执行每种行为的预测概率中，选择预测概率最大的行为，作为预测结果；
其中，所述第一子模型的训练过程，包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
将所述第一样本数据集进行定长、分类和编码的预处理，获得标准格式的第一样本数据集；
确定第一子模型架构，所述架构包括：输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层；其中，所述输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层依次级联组成；所述三层全连接层网络BP包括：第一层BP、第二层BP和第三层BP，所述第一层BP级联在所述一层双向RNN之后，所述第二层BP级联在所述第一层BP之后，所述第三层BP级联在所述第二层BP之后；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到n个超参数组合，基于所述n个超参数组合和所述第一子模型架构确定n个预设第一子模型，每个预设的第一子模型对应一个超参数组合，n为正整数；
随机初始化所述n个预设第一子模型的初始参数，获得n个初始第一子模型；其中，所述n个预设第一子模型的初始参数在预设的参数范围内呈正态分布；
将所述标准格式的第一样本数据集输入所述n个初始第一子模型，进行训练，获得所述n个初始第一子模型训练完成后的模型参数；
所述n个初始第一子模型，分别基于所述训练完成后的模型参数，输出n个样本目标概率集；
根据所述n个初始第一子模型输出的样本目标概率集计算n个特征曲线下的面积AUC；
比较所述n个AUC，将AUC最大值所对应的所述初始第一子模型确定为训练完成的第一子模型；
其中，所述第二子模型的训练过程，包括：
按预设的至少一个第一变量，从所述第一样本数据集中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
将所述标准格式的第一样本数据集输入所述第一子模型，获得第一子模型的第二层BP输出的矩阵，作为各个第二变量的样本变量值；
将所述各个第二变量的样本变量值与所述各个第一变量的样本变量值进行行合并，生成第二样本数据集；
确定第二子模型架构；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到m个超参数组合，基于所述m个超参数组合和所述第二子模型架构确定m个预设第二子模型，每个预设第二子模型对应一个超参数组合，m为正整数；
随机初始化所述m个预设的第二子模型的初始参数，获得m个初始第二子模型；其中，所述m个预设的第二子模型的初始参数在预设的参数范围内呈正态分布；
将所述第二样本数据集输入所述m个初始第二子模型，进行训练，获得所述m个初始第二子模型的模型参数；
基于所述训练完成后的模型参数，所述m个初始化的第二子模型输出m个样本目标概率集；
根据所述m个初始化的第二子模型的样本目标概率集计算m个AUC；
比较所述m个AUC，将AUC最大值所对应的所述初始第二子模型确定为第二子模型。
7.一种行为预测模型训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
样本第一变量获取模块，用于按预设的至少一个第一变量，从所述用户历史行为数据中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
样本预处理模块，用于对所述第一样本数据集进行预处理，获得标准格式的第一样本数据集；
第一子模型训练模块，用于使用所述标准格式的第一样本数据集对初始第一子模型进行训练，获得第一子模型；其中，所述标准格式的第一样本数据集输入所述第一子模型，获得各个第二变量的样本变量值；
第二子模型训练模块，用于使用第一样本数据集中的各个第一变量的样本变量值和所述各个第二变量的样本变量值，对初始第二子模型进行训练，获得第二子模型；
行为预测模型确定模块，用于根据所述第一子模型和所述第二子模型确定行为预测模型，所述行为预测模型包括所述第一子模型和所述第二子模型；
其中，所述第一子模型的训练过程，包括：
获取第一样本数据集；所述第一样本数据集为时序样本数据集，包括用户历史行为样本数据；
将所述第一样本数据集进行定长、分类和编码的预处理，获得标准格式的第一样本数据集；
确定第一子模型架构，所述架构包括：输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层；其中，所述输入层、一层双向循环神经网络RNN、三层全连接层网络BP和输出层依次级联组成；所述三层全连接层网络BP包括：第一层BP、第二层BP和第三层BP，所述第一层BP级联在所述一层双向RNN之后，所述第二层BP级联在所述第一层BP之后，所述第三层BP级联在所述第二层BP之后；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到n个超参数组合，基于所述n个超参数组合和所述第一子模型架构确定n个预设第一子模型，每个预设的第一子模型对应一个超参数组合，n为正整数；
随机初始化所述n个预设第一子模型的初始参数，获得n个初始第一子模型；其中，所述n个预设第一子模型的初始参数在预设的参数范围内呈正态分布；
将所述标准格式的第一样本数据集输入所述n个初始第一子模型，进行训练，获得所述n个初始第一子模型训练完成后的模型参数；
所述n个初始第一子模型，分别基于所述训练完成后的模型参数，输出n个样本目标概率集；
根据所述n个初始第一子模型输出的样本目标概率集计算n个特征曲线下的面积AUC；
比较所述n个AUC，将AUC最大值所对应的所述初始第一子模型确定为训练完成的第一子模型；
其中，所述第二子模型的训练过程，包括：
按预设的至少一个第一变量，从所述第一样本数据集中获得各个第一变量的样本变量值；所述各个第一变量为预先由人工构造的变量；
将所述标准格式的第一样本数据集输入所述第一子模型，获得第一子模型的第二层BP输出的矩阵，作为各个第二变量的样本变量值；
将所述各个第二变量的样本变量值与所述各个第一变量的样本变量值进行行合并，生成第二样本数据集；
确定第二子模型架构；
从预设超参数范围内随机搜索多个超参数，将所述多个超参数进行组合得到m个超参数组合，基于所述m个超参数组合和所述第二子模型架构确定m个预设第二子模型，每个预设第二子模型对应一个超参数组合，m为正整数；
随机初始化所述m个预设的第二子模型的初始参数，获得m个初始第二子模型；其中，所述m个预设的第二子模型的初始参数在预设的参数范围内呈正态分布；
将所述第二样本数据集输入所述m个初始第二子模型，进行训练，获得所述m个初始第二子模型的模型参数；
基于所述训练完成后的模型参数，所述m个初始化的第二子模型输出m个样本目标概率集；
根据所述m个初始化的第二子模型的样本目标概率集计算m个AUC；
比较所述m个AUC，将AUC最大值所对应的所述初始第二子模型确定为第二子模型。
8.一种服务器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法。
CN201911286351.2A 2019-12-13 2019-12-13 行为预测方法、模型训练方法、装置、服务器及存储介质 Active CN111080360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911286351.2A CN111080360B (zh) 2019-12-13 2019-12-13 行为预测方法、模型训练方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911286351.2A CN111080360B (zh) 2019-12-13 2019-12-13 行为预测方法、模型训练方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111080360A CN111080360A (zh) 2020-04-28
CN111080360B true CN111080360B (zh) 2023-12-01

Family

ID=70314552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911286351.2A Active CN111080360B (zh) 2019-12-13 2019-12-13 行为预测方法、模型训练方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111080360B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742563B (zh) * 2020-05-28 2023-08-18 北京百度网讯科技有限公司 工作预测模型的建立和工作推荐方法、装置、设备及介质
CN111666309A (zh) * 2020-06-08 2020-09-15 拉扎斯网络科技（上海）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN111695680B (zh) * 2020-06-15 2023-11-10 北京百度网讯科技有限公司 成绩预测方法、成绩预测模型训练方法、装置及电子设备
CN112380273A (zh) * 2020-11-11 2021-02-19 北京达佳互联信息技术有限公司 数据预估方法及装置
CN112508118B (zh) * 2020-12-16 2023-08-29 平安科技（深圳）有限公司 针对数据偏移的目标对象行为预测方法及其相关设备
CN112734005B (zh) * 2020-12-31 2022-04-01 北京达佳互联信息技术有限公司 预测模型的确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649774A (zh) * 2016-12-27 2017-05-10 北京百度网讯科技有限公司 基于人工智能的对象推送方法及装置
WO2017140222A1 (zh) * 2016-02-19 2017-08-24 阿里巴巴集团控股有限公司 机器学习模型的建模方法及装置
CN110009042A (zh) * 2019-04-08 2019-07-12 中诚信征信有限公司 一种数据预测方法、装置、电子设备及存储介质
CN110555714A (zh) * 2018-06-04 2019-12-10 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017140222A1 (zh) * 2016-02-19 2017-08-24 阿里巴巴集团控股有限公司 机器学习模型的建模方法及装置
CN106649774A (zh) * 2016-12-27 2017-05-10 北京百度网讯科技有限公司 基于人工智能的对象推送方法及装置
CN110555714A (zh) * 2018-06-04 2019-12-10 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN110009042A (zh) * 2019-04-08 2019-07-12 中诚信征信有限公司 一种数据预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111080360A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111080360B (zh) 行为预测方法、模型训练方法、装置、服务器及存储介质
US11373233B2 (en) Item recommendations using convolutions on weighted graphs
CN111553759A (zh) 一种产品信息推送方法、装置、设备及存储介质
US9875294B2 (en) Method and apparatus for classifying object based on social networking service, and storage medium
CN113987200B (zh) 神经网络结合知识图谱的推荐方法、系统、终端、介质
CN110008397B (zh) 一种推荐模型训练方法及装置
CN112085565B (zh) 基于深度学习的信息推荐方法、装置、设备及存储介质
EP4322031A1 (en) Recommendation method, recommendation model training method, and related product
JP6334431B2 (ja) データ分析装置、データ分析方法、およびデータ分析プログラム
CN112085615A (zh) 图神经网络的训练方法及装置
CN111582932A (zh) 场景间信息推送方法、装置、计算机设备及存储介质
CN103309885A (zh) 一种在电子交易平台中识别特征用户的方法及装置和搜索方法及装置
CN115730125A (zh) 对象识别方法、装置、计算机设备和存储介质
CN113362139A (zh) 基于双塔结构模型的数据处理方法和装置
US11704598B2 (en) Machine-learning techniques for evaluating suitability of candidate datasets for target applications
CN116012066A (zh) 广告转化率的预测方法、装置、可读存储介质
CN113393303A (zh) 物品推荐方法、装置、设备及存储介质
CN113822371A (zh) 训练分组模型，以及对时序数据进行分组的方法和装置
CN112927012A (zh) 营销数据的处理方法及装置、营销模型的训练方法及装置
CN116777529B (zh) 一种对象推荐的方法、装置、设备、存储介质及程序产品
CN114547482B (zh) 业务特征生成方法、装置、电子设备及存储介质
CN112163157B (zh) 一种文本推荐方法、装置、服务器及介质
CN117520804A (zh) 特征筛选方法、装置以及设备
CN115239355A (zh) 客户分类方法、装置、计算机设备和存储介质
CN116452333A (zh) 异常交易检测模型的构建方法、异常交易检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant