CN113378067A - 基于用户挖掘的消息推荐方法、设备、介质及程序产品 - Google Patents

Abstract

本申请公开了一种基于用户挖掘的消息推荐方法、设备、介质及程序产品，所述基于用户挖掘的消息推荐方法包括：获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TG I样本召回集和待预测样本召回集；基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集；基于所述高TG I样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐。本申请解决了消息推荐准确度低的技术问题。

Description

基于用户挖掘的消息推荐方法、设备、介质及程序产品

技术领域

本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种基于用户挖掘的消息推荐方法、设备、介质及程序产品。

背景技术

随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。

随着计算机软件和人工智能、大数据云服务应用的不断发展，目前，管理员在配置消息后，人工选择推荐的目标用户，进而用户通过点击消息、阅读消息中的文章以及点击文章中的金融产品链接，进入金融产品页面完成业务流程，从而完成从普通用户到金融产品购买用户的转化。但是，并不是所有用户均会点击消息、点击金融产品链接或者完成业务流程，也即，对于一些目标用户的消息推荐为无效推荐，消息推荐的准确度仍然有待提高。

发明内容

本申请的主要目的在于提供一种基于用户挖掘的消息推荐方法、设备、介质及程序产品，旨在解决现有技术消息推荐准确度低的技术问题。

为实现上述目的，本申请提供一种基于用户挖掘的消息推荐方法，所述基于用户挖掘的消息推荐方法应用于基于用户挖掘的消息推荐设备，所述基于用户挖掘的消息推荐方法包括：

获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集；

基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集；

基于所述高TGI样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐。

本申请还提供一种基于用户挖掘的消息推荐装置，所述基于用户挖掘的消息推荐装置为虚拟装置，且所述基于用户挖掘的消息推荐装置应用于基于用户挖掘的消息推荐设备，所述基于用户挖掘的消息推荐装置包括：

样本召回模块，用于获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集；

用户转化率预测模块，用于基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集；

消息推荐模块，用于基于所述高TGI样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐。

本申请还提供一种基于用户挖掘的消息推荐设备，所述基于用户挖掘的消息推荐设备为实体设备，所述基于用户挖掘的消息推荐设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于用户挖掘的消息推荐方法的程序，所述基于用户挖掘的消息推荐方法的程序被处理器执行时可实现如上述的基于用户挖掘的消息推荐方法的步骤。

本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现基于用户挖掘的消息推荐方法的程序，所述基于用户挖掘的消息推荐方法的程序被处理器执行时实现如上述的基于用户挖掘的消息推荐方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于用户挖掘的消息推荐方法的步骤。

本申请提供了一种基于用户挖掘的消息推荐方法、设备、介质及程序产品，相比于现有技术采用的管理员在配置消息后，人工选择推荐的目标用户的技术手段，本申请首先获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集，进而可直接将高TGI样本召回集作为部分用户挖掘结果，进而基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集，实现了在待预测样本召回集选取高转化率预测样本的目的，进而基于所述高TGI样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐，即可实现基于样本召回和转化率预测两阶段选择高转化率的待挖掘用户进行选择性地物品推荐的目的，使得最终完成金融产品的业务流程的概率变高，所以，克服了由于一些目标用户的消息推荐为无效推荐而导致消息推荐的准确度低的技术缺陷，提升了消息推荐的准确度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请基于用户挖掘的消息推荐方法第一实施例的流程示意图；

图2为本申请基于用户挖掘的消息推荐方法中进行用户挖掘得到用户挖掘机结果的流程示意图；

图3为本申请基于用户挖掘的消息推荐方法第二实施例的流程示意图；

图4为本申请基于用户挖掘的消息推荐方法第三实施例的流程示意图；

图5为本申请基于用户挖掘的消息推荐方法中基于在线评估的所述基于用户挖掘的消息推荐方法的效果评估方式的流程示意图；

图6为本申请实施例中基于用户挖掘的消息推荐方法涉及的硬件运行环境的设备结构示意图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例提供一种基于用户挖掘的消息推荐方法，在本申请基于用户挖掘的消息推荐方法的第一实施例中，参照图1，所述基于用户挖掘的消息推荐方法包括：

步骤S10，获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集；

在本实施例中，需要说明的是，TGI(Target Group Index)为反映目标群体在特定研究范围内的强势或弱势的目标群体指数，在一种可实施的方式中，预设TGI计算公式可以为：TGI＝(正样本中具备预设样本特征用户数/正样本用户数)/(全量用户中具备预设样本特征用户数/全量用户数)*100，其中，正样本为消息推送成功的历史转化用户对应的用户数据，其中，消息推送成功可以为用户在访问消息中金融产品所在页面或者购买了消息中的金融产品，全量用户为所述待挖掘样本集对应的所有待挖掘用户，预设样本特征为用户特征，包括但不限定于消息特征、用户行为特征和时间特征等，其中，用户行为特征可以为用户点击消息的次数以及用户访问消息中金融产品所在页面的次数等，消息特征可以为消息本身的属性特征以及消息的类别特征等，时间特征可以为用户点击消息的时间与用户访问消息中金融产品所在页面的时间之间的间隔时长等，消息可以为推送的文章以及视频等。

获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集，具体地，获取各待挖掘用户对应的待挖掘样本集，进而计算所述待挖掘样本集中各待挖掘样本对应的TGI，并基于各所述TGI，分别对各所述待挖掘样本进行高TGI样本召回与中TGI召回，获得高TGI样本召回集和中TGI样本召回集，进而将所述中TGI样本召回集作为所述待预测样本召回集，其中，所述高TGI样本召回集中各高TGI样本对应的TGI处于预设第一TGI取值范围，所述中TGI样本召回集中各中TGI样本对应的TGI处于预设第二TGI取值范围，其中，预设第二TGI取值范围中的最大值小于或者等于预设第一TGI取值范围中的最小值。

其中，所述待预测样本召回集包括中TGI样本召回集、热门样本召回集和相似样本召回集，所述待挖掘样本集至少包括一所述待挖掘用户对应的待挖掘样本，

所述对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集的步骤包括：

步骤S11，计算各所述待挖掘样本对应的TGI，并将所述TGI处于预设第一TGI取值范围的各待挖掘样本作为所述高TGI样本召回集，以及将所述TGI处于预设第二TGI取值范围的各待挖掘样本作为所述中TGI样本召回集；

在本实施例中，计算各所述待挖掘样本对应的TGI，并将所述TGI处于预设第一TGI取值范围的各待挖掘样本作为所述高TGI样本召回集，以及将所述TGI处于预设第二TGI取值范围的各待挖掘样本作为所述中TGI样本召回集，具体地，基于预设TGI计算公式，计算各所述待挖掘样本对应的TGI，进而基于各所述TGI，通过对各所述待挖掘样本进行基于TGI的样本召回，将所述TGI处于预设第一TGI取值范围的各待挖掘样本作为所述高TGI样本召回集，以及将所述TGI处于预设第二TGI取值范围的各待挖掘样本作为所述中TGI样本召回集。

步骤S12，获取各所述待挖掘用户对待推荐消息的点击次数，并基于各所述点击次数，对各所述待挖掘样本进行样本召回，获得所述热门样本召回集；

在本实施例中，需要说明的是，所述待挖掘样本中至少包括一待挖掘样本特征值，所述待挖掘样本特征值包括所述待挖掘用户对待推荐消息的点击次数。

基于各所述待挖掘用户对应的待挖掘样本中的待挖掘样本特征值，确定各所述待挖掘用户对待推荐消息的点击次数，进而基于各所述点击次数，通过对各所述待挖掘样本进行热门样本召回，将所述点击次数大于预设点击次数阈值的各待挖掘样本作为所述热门样本召回集。

步骤S13，分别计算各所述待挖掘样本与预设目标正样本之间的样本相似度，并基于各所述样本相似度，对各所述待挖掘样本进行样本召回，获得所述相似样本召回集。

在本实施例中，需要说明的是，所述预设目标正样本为从消息推送成功的历史转化用户对应的用户数据中提取的正样本。

分别计算各所述待挖掘样本与预设目标正样本之间的样本相似度，并基于各所述样本相似度，对各所述待挖掘样本进行样本召回，获得所述相似样本召回集，具体地，分别计算各所述待挖掘样本与预设目标正样本之间余弦相似度，获得各样本相似度，进而基于各所述样本相似度，对各所述待挖掘样本进行样本召回，以将样本相似度大于预设相似度阈值的各待挖掘样本作为相似样本召回集。

步骤S20，基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集；

在本实施例中，需要说明的是，所述转化率预测模型为用于预测待预测用户转化为已转化用户的概率的机器学习模型，其中，所述已转化用户为消息推送成功的用户，所述待预测样本召回集至少包括一待预测用户对应的待预测样本。

基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集，具体地，通过分别将各所述待预测样本输入转化率预测模型，分别将各所述待预测样本映射为各所述待预测用户对应的用户转化率，进而基于各所述用户转化率，在所述待预测样本召回集中选取用户转化率大于预设转化率阈值的各待预测样本作为高转化率预测样本集。

其中，所述基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集的步骤包括：

步骤S21，基于所述转化率预测模型和所述待预测样本召回集，对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，获得各所述待预测样本对应的用户转化率；

在本实施例中，需要说明的是，所述转化率预测模型为二分类模型，用于预测待预测用户的用户转化率。

基于所述转化率预测模型和所述待预测样本召回集，对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，获得各所述待预测样本对应的用户转化率，具体地，通过将所述待预测样本召回集中各待预测样本输入所述转化率预测模型，对各所述待预测样本进行二分类，以预测各所述待预测样本属于正样本的分类概率，获得各分类概率，进而将各所述分类概率作为各所述待预测用户对应的用户转化率。

步骤S22，对各所述用户转化率进行排序，获得用户转化率排序结果；

在本实施例中，基于各所述用户转化率的大小，对各所述用户转化率进行排序，获得用户转化率排序结果。

步骤S23，基于所述用户转化率排序结果，在所述待预测样本召回集中选取所述高转化率预测样本集。

在本实施例中，基于所述用户转化率排序结果，在所述待预测样本召回集中选取预设样本数量的排序前列的待预测样本作为高转化率预测样本集。

步骤S30，基于所述高TGI样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐。

在本实施例中，将所述高TGI样本召回集和所述高转化率预测样本集共同作为用户挖掘结果，进而对所述用户挖掘结果对应的各目标挖掘用户进行针对性的消息推荐，以提示消息推荐的准确性。

进一步地，如图2所示为本申请实施例中进行用户挖掘得到用户挖掘结果的流程示意图，其中，构建样本和生成特征即为所述获取各待挖掘用户对应的待挖掘样本集的过程，高TGI召回、中TGI召回、热门召回和相似召回即为所述对所述待挖掘样本集进行样本召回的过程，也即为召回阶段，排序模型表示利用转化率预测模型进行转化预测后，对用户转化率进行排序的过程，也即为排序阶段，离线评估即为步骤A40至步骤A60中的过程，在线评估即为基于在线评估的基于用户挖掘的消息推荐方法的效果评估过程，具体可参照本申请第三实施例中的具体过程，在此不再赘述。

本申请实施例提供了一种基于用户挖掘的消息推荐方法，相比于现有技术采用的管理员在配置消息后，人工选择推荐的目标用户的技术手段，本申请实施例首先获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集，进而可直接将高TGI样本召回集作为部分用户挖掘结果，进而基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集，实现了在待预测样本召回集选取高转化率预测样本的目的，进而基于所述高TGI样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐，即可实现基于样本召回和转化率预测两阶段选择高转化率的待挖掘用户进行选择性地物品推荐的目的，使得最终完成金融产品的业务流程的概率变高，所以，克服了由于一些目标用户的消息推荐为无效推荐而导致消息推荐的准确度低的技术缺陷，提升了消息推荐的准确度。

进一步地，参照图3，基于本申请中第一实施例，在本申请另一实施例中，在所述基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集的步骤之前，所述基于用户挖掘的消息推荐方法还包括：

步骤A10，获取初始训练正样本集，并在所述待预测样本召回集中选取初始训练非正样本集；

在本实施例中，需要说明的是，对于待预测样本召回集中的各待预测样本为未知样本，也即，不知道待预测样本是正样本还是负样本。

获取初始训练正样本集，并在所述待预测样本召回集中选取初始训练非正样本集，具体地，在各已知正样本中选取预设第一样本数量的样本作为初始训练正样本集，并在所述待预测样本召回集中选取预设第二样本数量的样本作为初始训练非正样本集，所述已知正样本为具备正样本标签的样本。

步骤A20，基于所述初始训练正样本集和所述初始训练非正样本集构建的二分类器，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集；

在本实施例中，需要说明的是，所述初始训练正样本集中的样本为已知正样本，具备正样本标签，所述初始训练非正样本集为未知样本，不具备样本标签。

基于所述初始训练正样本集和所述初始训练非正样本集构建的二分类器，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集，具体地，在所述初始训练正样本集和所述初始训练非正样本集中选取目标训练正样本集和目标训练负样本集，进而基于所述目标训练正样本集中的目标正样本和目标训练负样本集中的目标负样本，构建二分类器，进而基于所述二分类器，对所述初始训练正样本集中和所述初始训练非正样本集中各样本进行二分类，获得所述初始训练正样本集中和所述初始训练非正样本集中各训练样本对应的二分类概率，其中，所述二分类概率可以设置为训练样本属于正样本的概率或者训练样本属于负样本的概率，进而对各所述二分类概率进行排序，获得二分类概率排序结果，进而基于二分类概率排序结果，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集，在一种可实施的方式中，可先在所述初始训练正样本集和所述初始训练负样本集中选取二分类概率更低的各待选取样本作为待选取负样本集，其中，所述待选取负样本集的样本数量可设置与目标训练负样本集的样本数量一致，进而在待选取负样本集中选取预设可靠负样本数量的二分类概率更低的样本作为可靠负样本集，实现了在未知样本中选取可靠负样本的目的。

其中，所述基于所述初始训练正样本集和所述初始训练非正样本集构建的二分类器，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集的步骤包括：

步骤A21，基于所述初始训练非正样本集对应的预设负样本数量和所述初始训练正样本集对应的预设负样本百分比，在所述初始训练非正样本集和所述初始训练正样本集中选取目标训练正样本集和目标训练负样本集；

在本实施例中，基于所述初始训练非正样本集对应的预设负样本数量和所述初始训练正样本集对应的预设负样本百分比，在所述初始训练非正样本集和所述初始训练正样本集中选取目标训练正样本集和目标训练负样本集，具体地，基于所述初始训练非正样本集对应的预设负样本数量和所述初始训练正样本集对应的预设负样本百分比，在所述初始训练非正样本集和所述初始训练正样本集中选取目标训练负样本集，并将所述初始训练非正样本集中处属于目标训练负样本集之外的样本作为目标训练正样本集。

其中，所述基于所述初始训练非正样本集对应的预设负样本数量和所述初始训练正样本集对应的预设负样本百分比，在所述初始训练非正样本集和所述初始训练正样本集中选取目标训练正样本集和目标训练负样本集的步骤包括：

步骤S211，在所述初始训练非正样本集中选取所述预设负样本数量的非正训练样本作为第一训练负样本集；

步骤S212，基于所述预设负样本百分比，将所述初始训练正样本集划分为所述目标训练正样本集和第二训练负样本集；

在本实施例中，在所述初始训练正样本集中选取预设负样本百分比的样本作为第二训练负样本集，进而将所述初始训练正样本集中除属于第二训练负样本集之外的样本作为目标训练正样本集。

步骤S213，将所述第一训练负样本集和所述第二训练负样本集合并为所述目标训练负样本集。

在本实施例中，需要说明的是，在一种可实施的方式中，假设所述初始训练正样本集的样本数量为k，所述第一训练负样本集的样本数量为a，所述预设负样本百分比为b％，则所述目标训练正样本集的样本数量为k(1-b％)，所述目标训练负样本集的样本数量为a+k*b％。

进一步地，需要说明的是，本申请实施例考虑到了历史转化用户流失的情况，虽然初始训练正样本集由已知正样本构成，在初始训练正样本集选取了预设负样本百分比的样本作为目标训练负样本，而不是将所有的已知正样本作为目标训练正样本，进而提升了构建二分类器之前划分正负训练样本的准确性，进而使得基于所述目标训练正样本集和所述目标训练负样本集构建二分类器时的效率更高，且得到的二分类器的准确度更高。

步骤A22，基于所述目标训练正样本集和所述目标训练负样本集构建的二分类器，对所述目标训练正样本集和所述目标训练负样本集进行分类排序，获得分类排序结果；

在本实施例中，需要说明的是，所述二分类器包括但不限定于神经网络模型和SVM-rank模型等。

基于所述目标训练正样本集和所述目标训练负样本集构建的二分类器，对所述目标训练正样本集和所述目标训练负样本集进行分类排序，获得分类排序结果，具体地，基于所述目标训练正样本集和所述目标训练负样本集构建的二分类器，对所述目标训练正样本集和所述目标训练负样本集中的样本进行二分类，以预测所述目标训练正样本集和所述目标训练负样本集中的样本属于正样本的概率，获得各二分类概率，进而对各所述二分类概率进行排序，获得分类排序结果。

步骤A23，基于所述分类排序结果，在所述目标训练正样本集和所述目标训练负样本集中选取所述可靠负样本集。

在本实施例中，具体地，获取第二训练负样本集中各第二训练负样本对应的局部最小二分类概率，并基于所述分类排序结果，在所述目标训练正样本集和所述目标训练负样本集选取预设可靠负样本数量的小于所述局部最小二分类概率的二分类概率对应的样本作为所述可靠负样本集。

步骤A30，基于所述训练正样本集和所述可靠负样本集，迭代训练优化待训练转化率预测模型，获得所述转化率预测模型。

在本实施例中，基于所述训练正样本集和所述可靠负样本集，迭代训练优化待训练转化率预测模型，获得所述转化率预测模型，具体地，在所述训练正样本集和所述可靠负样本集中选取可靠训练样本，并基于待训练转化率预测模型，对所述可靠训练样本进行模型预测，获得模型预测结果，并基于所述模型预测结果和所述可靠训练样本对应的样本标签，计算模型损失，进而判断模型损失是否收敛，若所述模型损失收敛，则将所述待训练转化率预测模型作为所述转化率预测模型，若所述模型损失未收敛，则返回执行步骤：在所述训练正样本集和所述可靠负样本集中选取可靠训练样本。

本申请实施例提供了一种构建转化率预测模型的方法，也即，首先获取初始训练正样本集，并在所述待预测样本召回集中选取初始训练非正样本集，进而基于所述初始训练正样本集和所述初始训练非正样本集构建的二分类器，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集，进而基于所述训练正样本集和所述可靠负样本集，迭代训练优化待训练转化率预测模型，获得所述转化率预测模型。实现了在已知正样本和未知样本的情况下，构建转化率预测模型的目的，也即，实现了在具备正样本而不具备负样本的情况下，准确构建转化率预测模型的目的，进而通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，即可在所述待预测样本召回集中选取高转化率预测样本集，为克服由于一些目标用户的消息推荐为无效推荐而导致消息推荐的准确度低的技术缺陷奠定了基础。

进一步地，参照图4，在所述基于所述训练正样本集和所述可靠负样本集，迭代训练优化待训练转化率预测模型，获得所述转化率预测模型的步骤之后，所述基于用户挖掘的消息推荐方法还包括：

步骤A40，获取测试正样本集，并通过基于所述转化率预测模型对所述测试正样本集和所述待预测样本召回集共同对应的目标用户进行转化率预测，在所述测试正样本集和所述待预测样本召回集中选取测试挖掘样本集；

在本实施例中，需要说明的是，所述测试正样本集至少包括一具备正样本标签的测试正样本。

获取测试正样本集，并通过基于所述转化率预测模型对所述测试正样本集和所述待预测样本召回集共同对应的目标用户进行转化率预测，在所述测试正样本集和所述待预测样本召回集中选取测试挖掘样本集，具体地，获取测试正样本集，并基于所述转化率预测模型，分别对所述测试帧正样本集中和所述待预测样本召回集中的待测试样本进行二分类，获得各所述待测试样本对应的二分类概率，并将各所述二分类概率作为对应的目标用户的测试转化率，进而基于各测试转化率的大小，在所述测试正样本集和所述待预测样本召回集中选取预设测试样本数量的测试转化率大小排序前列的待测试样本作为测试挖掘样本集。

步骤A50，统计所述测试挖掘样本集中归属于所述测试正样本集的正样本的已知正样本数量；

在本实施例中，统计所述测试挖掘样本集中归属于所述测试正样本集的待测试样本的数量，获得已知正样本数量。

步骤A60，基于所述已知正样本数量和所述测试挖掘样本集的总样本数量，对所述转化率预测模型进行模型评估，获得模型评估结果。

在本实施例中，基于所述已知正样本数量和所述测试挖掘样本集的总样本数量，对所述转化率预测模型进行模型评估，获得模型评估结果，具体地，计算所述已知正样本数量和所述测试挖掘样本集的总样本数量之间的比值，获得已知正样本数量占比，进而基于所述已知正样本数量占比，对所述转化率预测模型进行模型评估，获得模型评估结果，其中，基于所述已知正样本数量占比，对所述转化率预测模型进行模型评估，获得模型评估结果的步骤包括：

若所述已知正样本数量占比大于预设样本数量占比阈值，则所述模型评估结果为模型性能合格，若所述已知正样本数量占比不大于预设样本数量占比阈值，则所述模型评估结果为模型性能不合格，进而实现了离线评估转化率预测模型的模型性能的目的。

在另一实施方式中还提出了一种基于在线评估的基于用户挖掘的消息推荐方法的效果评估方式，也即，将所述待挖掘样本集等额划分为第一待挖掘样本集和第二待挖掘样本集，对于第一待挖掘样本集，执行步骤S10至步骤S30推荐相同的消息，并在消息推荐后，收集第一待挖掘样本集对应的各待挖掘用户对应的转化用户占比，其中，所述转化用户占比为转化用户在第一待挖掘样本集对应的各待挖掘用户中的占比，所述转化用户为可以设置为购买了消息中的金融产品或者访问了金融产品所在页面的用户，而对于第二待挖掘样本集，在第二待挖掘样本集对应的各待挖掘用户中随机选取用户进行消息推荐，并计算所述第二待挖掘样本集对应的转化用户占比，进而若第一待挖掘样本集对应的转化用户占比大于第二待挖掘样本集对应的转化用户占比，则基于用户挖掘的消息推荐方法的效果更优，如图5所示为基于在线评估的所述基于用户挖掘的消息推荐方法的效果评估方式的流程示意图，其中，所述全量非正样本用户即为待挖掘用户，两阶段的高转化率客户挖掘即为步骤S10至步骤S30中得到用户挖掘结果的过程，转化率为所述转化用户占比。

本申请实施例提供了一种基于离线评估的转化率预测模型的模型性能评估方法，也即，获取测试正样本集，并通过基于所述转化率预测模型对所述测试正样本集和所述待预测样本召回集共同对应的目标用户进行转化率预测，在所述测试正样本集和所述待预测样本召回集中选取测试挖掘样本集，进而统计所述测试挖掘样本集中归属于所述测试正样本集的正样本的已知正样本数量，进而基于所述已知正样本数量和所述测试挖掘样本集的总样本数量，对所述转化率预测模型进行模型评估，获得模型评估结果，可保证转化预测模型的模型性能稳定，使得转化率预测模型可稳定地准确预测待预测用户的用户转化率，为克服由于一些目标用户的消息推荐为无效推荐而导致消息推荐的准确度低的技术缺陷奠定了基础。

参照图6，图6是本申请实施例方案涉及的硬件运行环境的设备结构示意图。

如图6所示，该基于用户挖掘的消息推荐设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

可选地，该基于用户挖掘的消息推荐设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图6中示出的基于用户挖掘的消息推荐设备结构并不构成对基于用户挖掘的消息推荐设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及基于用户挖掘的消息推荐程序。操作系统是管理和控制基于用户挖掘的消息推荐设备硬件和软件资源的程序，支持基于用户挖掘的消息推荐程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与基于用户挖掘的消息推荐系统中其它硬件和软件之间通信。

在图6所示的基于用户挖掘的消息推荐设备中，处理器1001用于执行存储器1005中存储的基于用户挖掘的消息推荐程序，实现上述任一项所述的基于用户挖掘的消息推荐方法的步骤。

本申请基于用户挖掘的消息推荐设备具体实施方式与上述基于用户挖掘的消息推荐方法各实施例基本相同，在此不再赘述。

本申请实施例还提供一种基于用户挖掘的消息推荐装置，所述基于用户挖掘的消息推荐装置应用于基于用户挖掘的消息推荐设备，所述基于用户挖掘的消息推荐装置包括：

样本召回模块，用于获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集；

用户转化率预测模块，用于基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集；

消息推荐模块，用于基于所述高TGI样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐。

可选地，所述用户转化率预测模块还用于：

基于所述转化率预测模型和所述待预测样本召回集，对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，获得各所述待预测样本对应的用户转化率；

对各所述用户转化率进行排序，获得用户转化率排序结果；

基于所述用户转化率排序结果，在所述待预测样本召回集中选取所述高转化率预测样本集。

可选地，所述样本召回模块还用于：

计算各所述待挖掘样本对应的TGI，并将所述TGI处于预设第一TGI取值范围的各待挖掘样本作为所述高TGI样本召回集，以及将所述TGI处于预设第二TGI取值范围的各待挖掘样本作为所述中TGI样本召回集；

获取各所述待挖掘用户对待推荐消息的点击次数，并基于各所述点击次数，对各所述待挖掘样本进行样本召回，获得所述热门样本召回集；

分别计算各所述待挖掘样本与预设目标正样本之间的样本相似度，并基于各所述样本相似度，对各所述待挖掘样本进行样本召回，获得所述相似样本召回集。

可选地，所述基于用户挖掘的消息推荐装置还用于：

获取初始训练正样本集，并在所述待预测样本召回集中选取初始训练非正样本集；

基于所述初始训练正样本集和所述初始训练非正样本集构建的二分类器，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集；

基于所述训练正样本集和所述可靠负样本集，迭代训练优化待训练转化率预测模型，获得所述转化率预测模型。

可选地，所述基于用户挖掘的消息推荐装置还用于：

基于所述初始训练非正样本集对应的预设负样本数量和所述初始训练正样本集对应的预设负样本百分比，在所述初始训练非正样本集和所述初始训练正样本集中选取目标训练正样本集和目标训练负样本集；

基于所述目标训练正样本集和所述目标训练负样本集构建的二分类器，对所述目标训练正样本集和所述目标训练负样本集进行分类排序，获得分类排序结果；

基于所述分类排序结果，在所述目标训练正样本集和所述目标训练负样本集中选取所述可靠负样本集。

可选地，所述基于用户挖掘的消息推荐装置还用于：

在所述初始训练非正样本集中选取所述预设负样本数量的非正训练样本作为第一训练负样本集；

基于所述预设负样本百分比，将所述初始训练正样本集划分为所述目标训练正样本集和第二训练负样本集；

将所述第一训练负样本集和所述第二训练负样本集合并为所述目标训练负样本集。

可选地，所述基于用户挖掘的消息推荐装置还用于：

获取测试正样本集，并通过基于所述转化率预测模型对所述测试正样本集和所述待预测样本召回集共同对应的目标用户进行转化率预测，在所述测试正样本集和所述待预测样本召回集中选取测试挖掘样本集；

统计所述测试挖掘样本集中归属于所述测试正样本集的正样本的已知正样本数量；

基于所述已知正样本数量和所述测试挖掘样本集的总样本数量，对所述转化率预测模型进行模型评估，获得模型评估结果。

本申请基于用户挖掘的消息推荐装置的具体实施方式与上述基于用户挖掘的消息推荐方法各实施例基本相同，在此不再赘述。

本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于用户挖掘的消息推荐方法的步骤。

本申请可读存储介质具体实施方式与上述基于用户挖掘的消息推荐方法各实施例基本相同，在此不再赘述。

本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于用户挖掘的消息推荐方法的步骤。

本申请计算机程序产品具体实施方式与上述基于用户挖掘的消息推荐方法各实施例基本相同，在此不再赘述。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种基于用户挖掘的消息推荐方法，其特征在于，所述基于用户挖掘的消息推荐方法包括：

获取各待挖掘用户对应的待挖掘样本集，并对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集；

基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集；

基于所述高TGI样本召回集和所述高转化率预测样本集共同组成的用户挖掘结果，对各所述待挖掘用户进行选择性消息推荐。

2.如权利要求1所述基于用户挖掘的消息推荐方法，其特征在于，所述基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集的步骤包括：

基于所述转化率预测模型和所述待预测样本召回集，对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，获得各所述待预测样本对应的用户转化率；

对各所述用户转化率进行排序，获得用户转化率排序结果；

基于所述用户转化率排序结果，在所述待预测样本召回集中选取所述高转化率预测样本集。

3.如权利要求1所述基于用户挖掘的消息推荐方法，其特征在于，所述待预测样本召回集包括中TGI样本召回集、热门样本召回集和相似样本召回集，所述待挖掘样本集至少包括一所述待挖掘用户对应的待挖掘样本，

所述对所述待挖掘样本集进行样本召回，获得高TGI样本召回集和待预测样本召回集的步骤包括：

计算各所述待挖掘样本对应的TGI，并将所述TGI处于预设第一TGI取值范围的各待挖掘样本作为所述高TGI样本召回集，以及将所述TGI处于预设第二TGI取值范围的各待挖掘样本作为所述中TGI样本召回集；

获取各所述待挖掘用户对待推荐消息的点击次数，并基于各所述点击次数，对各所述待挖掘样本进行样本召回，获得所述热门样本召回集；

分别计算各所述待挖掘样本与预设目标正样本之间的样本相似度，并基于各所述样本相似度，对各所述待挖掘样本进行样本召回，获得所述相似样本召回集。

4.如权利要求1所述基于用户挖掘的消息推荐方法，其特征在于，在所述基于转化率预测模型和所述待预测样本召回集，通过对所述待预测样本召回集对应的各待预测用户进行用户转化率预测，在所述待预测样本召回集中选取高转化率预测样本集的步骤之前，所述基于用户挖掘的消息推荐方法还包括：

获取初始训练正样本集，并在所述待预测样本召回集中选取初始训练非正样本集；

基于所述初始训练正样本集和所述初始训练非正样本集构建的二分类器，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集；

基于所述训练正样本集和所述可靠负样本集，迭代训练优化待训练转化率预测模型，获得所述转化率预测模型。

5.如权利要求4所述基于用户挖掘的消息推荐方法，其特征在于，所述基于所述初始训练正样本集和所述初始训练非正样本集构建的二分类器，在所述初始训练正样本集和所述初始训练负样本集中选取可靠负样本集的步骤包括：

基于所述初始训练非正样本集对应的预设负样本数量和所述初始训练正样本集对应的预设负样本百分比，在所述初始训练非正样本集和所述初始训练正样本集中选取目标训练正样本集和目标训练负样本集；

基于所述目标训练正样本集和所述目标训练负样本集构建的二分类器，对所述目标训练正样本集和所述目标训练负样本集进行分类排序，获得分类排序结果；

基于所述分类排序结果，在所述目标训练正样本集和所述目标训练负样本集中选取所述可靠负样本集。

6.如权利要求5所述基于用户挖掘的消息推荐方法，其特征在于，所述基于所述初始训练非正样本集对应的预设负样本数量和所述初始训练正样本集对应的预设负样本百分比，在所述初始训练非正样本集和所述初始训练正样本集中选取目标训练正样本集和目标训练负样本集的步骤包括：

在所述初始训练非正样本集中选取所述预设负样本数量的非正训练样本作为第一训练负样本集；

基于所述预设负样本百分比，将所述初始训练正样本集划分为所述目标训练正样本集和第二训练负样本集；

将所述第一训练负样本集和所述第二训练负样本集合并为所述目标训练负样本集。

7.如权利要求4所述基于用户挖掘的消息推荐方法，其特征在于，在所述基于所述训练正样本集和所述可靠负样本集，迭代训练优化待训练转化率预测模型，获得所述转化率预测模型的步骤之后，所述基于用户挖掘的消息推荐方法还包括：

获取测试正样本集，并通过基于所述转化率预测模型对所述测试正样本集和所述待预测样本召回集共同对应的目标用户进行转化率预测，在所述测试正样本集和所述待预测样本召回集中选取测试挖掘样本集；

统计所述测试挖掘样本集中归属于所述测试正样本集的正样本的已知正样本数量；

基于所述已知正样本数量和所述测试挖掘样本集的总样本数量，对所述转化率预测模型进行模型评估，获得模型评估结果。

8.一种基于用户挖掘的消息推荐设备，其特征在于，所述基于用户挖掘的消息推荐设备包括：存储器、处理器以及存储在存储器上的用于实现所述基于用户挖掘的消息推荐方法的程序，

所述存储器用于存储实现基于用户挖掘的消息推荐方法的程序；

所述处理器用于执行实现所述基于用户挖掘的消息推荐方法的程序，以实现如权利要求1至7中任一项所述基于用户挖掘的消息推荐方法的步骤。

9.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现基于用户挖掘的消息推荐方法的程序，所述实现基于用户挖掘的消息推荐方法的程序被处理器执行以实现如权利要求1至7中任一项所述基于用户挖掘的消息推荐方法的步骤。

10.一种程序产品，所述程序产品为计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于用户挖掘的消息推荐方法的步骤。

Images