CN113032676A - 基于微反馈的推荐方法和系统 - Google Patents

Abstract

本发明提供了一种基于微反馈的推荐方法及系统，包括：步骤S1：初始化模型生成模块使用规则法生成候选推荐数据，初始化基于机器学习的推荐概率预测模型，并使用候选推荐数据对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；步骤S2：推荐内容生成模块加载训练后的基于机器学习的推荐概率预测模型，并依据接收到的影响因子生成推荐内容；步骤S3：推荐记录模块将所有的推荐影响因子及对应的推荐内容记录为日志；步骤S4：微反馈模型优化模块使用微反馈信息和日志对训练后的基于机器学习的推荐概率预测模型进行优化；并利用优化后的概率预测模型进行内容推荐。

Description

基于微反馈的推荐方法和系统

技术领域

本发明涉及数据处理、推荐系统技术领域，具体地，涉及一种基于微反馈的推荐方法和系统。

背景技术

推荐系统在生产生活的各个领域已经被广泛应用，如在广告领域被用于投放更精准的广告、在搜索领域帮助用户更快找到目标、在医疗领域可以用于辅助推荐诊疗方法，等等。

现有推荐系统，在初始化时，需要采用历史日志数据进行建模，如果没有历史数据，采用业务经验规则建模，所得到的规则模型又无法获得良好的平滑、泛化效果；模型更新时，需要获得详细的推荐结果标注数据，以迭代优化模型。但是在一些场景下，部署之前，推荐系统无法获得生产环境的历史日志数据(此处包括但不限于日志数据、脱敏后的日志数据、采样后的日志数据等)，仅有业务人员的经验总结；部署之后，也不具备对接“推荐结果详细数据”的条件。上文“推荐结果详细数据”指每一个推荐项所对应的结果，结果包括但不限于“是否查看”、“是否点击”、“是否购买”等转化行为。通过业务人员将庞大的推荐结果逐条输入给推荐系统也不具备可操作性。这种约束下，现有推荐系统将无法准确推荐、无法持续优化模型。

专利文献CN112218126A(申请号：202011084443.5)公开了一种基于终端的内容推荐效果反馈方法、系统及设备,属于智能电视技术领域,通过获取用户对目标终端的触发指令；根据触发指令,获取用户的操作路径；发送推荐内容评价请求；接收用户对推荐内容的评价结果；基于预设规则,根据操作路径和评价结果,获取推荐内容的推荐效果。从而实现对终端推荐内容的效果反馈,从而使得终端的内容推荐与推荐效果反馈形成闭环,提升推荐内容的精准度。可以为广电、新媒体、运营商、智能电视相关业务厂商提供用户反馈数据收录通道,可以用于优化推荐系统推荐策略、运营工作效果衡量、用户观影习惯分析等,在优化用户体验的同时丰富了推荐系统的推荐效果改善机制形成推荐及反馈的内容推送闭环。该专利反馈信息粒度需要通过每一个推荐终端收集每一次反馈作为优化依据，本发明仅需要转化效果的抽样统计值；该专利信息反馈途径需要保持推荐终端与推荐系统之间的联系以获取反馈许局，本发明仅需要图形界面填写两个抽样统计值即可；该专利初始推荐模型的推荐模型为规则模型，而本发明为基于规则模型拟合的机器学习模型，具备更好的泛化、平滑特性。

专利文献CN106897912B(申请号：201710034167.3)公开了一种基于epsilon反馈算法的推荐系统冷启动方法,将免疫反馈模型引入Epsilon-greedy算法,利用免疫反馈模型动态调整epsilon值,首先将所有的物品当前用户的点击情况初始化为0,即让每个要推荐给用户的物品没有先验知识；然后根据用户点击推荐物品的结果更新epsilon值,并根据更新的epsilon值选择物品推荐给用户。本发明利用免疫反馈模型的变化使epsilon值能够在短时间内快速升高,让算法快速收敛,同时又能够在算法收敛时让epsilon值快速降低,以较小的概率去“探索”用户其他偏好,利用已经“探索”到的用户偏好为用户进行推荐,以达到更好的推荐效果。和现有算法相比,本发明在平均点击率、点击总数以及选择到最优值的概率3个指标上的表现都更优。该专利反馈信息的粒度需要记录用户的每次反馈并用于后续的模型更新，本发明仅需要使用采样后的转化率来进行模型更新；该专利模型初始化方法使用用户的行为反馈来进行模型的初始化与冷启动，本发明使用业务经验规则来初始化模型。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于微反馈的推荐方法及系统。

根据本发明提供的一种基于微反馈的推荐方法，包括：

步骤S1：初始化模型生成模块使用规则法生成候选推荐数据，初始化基于机器学习的推荐概率预测模型，并使用候选推荐数据对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

步骤S2：推荐内容生成模块加载训练后的基于机器学习的推荐概率预测模型，并依据接收到的影响因子生成推荐内容；

步骤S3：推荐记录模块将所有的推荐影响因子及对应的推荐内容记录为日志；

步骤S4：微反馈模型优化模块使用微反馈信息和日志对训练后的基于机器学习的推荐概率预测模型进行优化；并利用优化后的概率预测模型进行推荐内容。

优选地，所述步骤S1包括：

步骤S1.1：获取形式化描述的业务规则，并将业务规则加载至可支持当前业务规则运行的规则引擎；

步骤S1.2：获取形式化描述的影响因子数据字典描述；

步骤S1.3：获取推荐候选项描述信息；

步骤S1.4：将获取的形式化描述的影响因子数据字典描述以及推荐候选项描述信息，生成模拟数据；

步骤S1.5：将模拟数据利用规则引擎进行判定，并将规则引擎判定结果记录为日志，判定结果中每一个条目形式包括：影响因子数据，候选项信息以及判定结果；

步骤S1.6：利用日志对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

步骤S1.7：将推荐影响因子与单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到当前候选推荐项在当前推荐影响因子下被推荐的概率。

优选地，所述步骤S2包括：

步骤S2.1：获取推荐请求，推荐请求包括推荐影响因子和需要返回的条目数量N；

步骤S2.2：将推荐影响因子和单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到每个候选推荐项对应的推荐概率，推荐概率大于等于预设值TH_POS时，则为推荐项；推荐概率小于等于预设值TH_NEG时，则为不推荐项；且0≤TH_NEG＜TH_POS≤1；由所有的推荐项组成推荐项集合，由所有的不推荐项组成不推荐项集合；

步骤S2.3：从推荐项集合中随机采样N项组成推荐列表；从不推荐项集合中随机采样N项组合成不推荐列表；列表中的单项格式为<推荐项id，推荐概率>。

优选地，所述步骤S3包括：推荐记录模块将所有推荐请求、推荐项集合以及不推荐项集合记录成日志。

优选地，所述步骤S4包括：

步骤S4.1：用户采样记录推荐列表中项目以及不推荐列表中抽取的预设比例项目的使用效果，并计算推荐项目的抽样转化比例T_POS_RATE和不推荐项目的抽样转化比例F_NEG_RATE，且不推荐项目的抽样未转化比例T_NEG_RATE＝1-F_NEG_RATE；

推荐项目的抽样转化比例＝抽样推荐项目转化数/抽样推荐项目总数；

不推荐项目的抽样转化比例＝抽样不推荐项目转化数/抽样不推荐总数；

步骤S4.2：获取推荐记录模块生成的日志，日志推荐项目总和为POS_TOTAL，不推荐项目总和为NEG_TOTAL；

步骤S4.3：根据推荐项目的抽样转化比例T_POS_RATE、不推荐项目的抽样未转化比例T_NEG_RATE、日志推荐项目总和为POS_TOTAL以及日志不推荐项目总和为NEG_TOTAL计算修正推荐项目数UPDATE_POS_NUM和修正不推荐项目UPDATE_NEG_NUM；

UPDATE_POS_NUM＝POS_TOTAL*T_POS_RATE

UPDATE_NEG_NUM＝NEG_TOTAL*T_NEG_RATE

步骤S4.4：从推荐集合中取出概率最高的UPDATE_POS_NUM条记录作为修正后正例训练样本数据，类标为1；从不推荐集合中取出打分最低的UPDATE_NEG_NUM条记录作为修正后负例训练样本数据，类标为0；

步骤S4.5：利用修正后正例训练样本数据和修正后负例训练样本数据共同组成修正后训练样本数据；

步骤S4.6：初始化新的预测模型，利用修正后的训练样本数据训练新的预测模型，训练完成后使用训练后的预测模型为所有训练样本进行预测，得到推荐概率；

步骤S4.7：使用训练后的预测模型对修正后正例集合中的样本进行概率预测，并计算概率均值，记为POS_AVG；

步骤S4.8：使用训练后的预测模型对修正后负例集合中的样本进行概率预测，并计算概率均值，记为NEG_AVG；

步骤S4.9：选取修正后正例集合中概率大于等于概率均值POS_AVG的样本构成最终正样本集合，类标为1；取修正后负例集合中概率小于等于概率均值NEG_AVG的样本构成最终负样本集合，类标为0；利用当前正样本集合和负样本集合共同组成最终训练集合；

步骤S4.10：利用最终训练集合训练训练后的预测模型，得到优化后的预测模型，利用优化后的预测模型进行内容推荐。

根据本发明提供的一种基于微反馈的推荐系统，包括：

模块M1：初始化模型生成模块使用规则法生成候选推荐数据，初始化基于机器学习的推荐概率预测模型，并使用候选推荐数据对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

模块M2：推荐内容生成模块加载训练后的基于机器学习的推荐概率预测模型，并依据接收到的影响因子生成推荐内容；

模块M3：推荐记录模块将所有的推荐影响因子及对应的推荐内容记录为日志；

模块M4：微反馈模型优化模块使用微反馈信息和日志对训练后的基于机器学习的推荐概率预测模型进行优化；并利用优化后的概率预测模型进行推荐内容。

优选地，所述模块M1包括：

模块M1.1：获取形式化描述的业务规则，并将业务规则加载至可支持当前业务规则运行的规则引擎；

模块M1.2：获取形式化描述的影响因子数据字典描述；

模块M1.3：获取推荐候选项描述信息；

模块M1.4：将获取的形式化描述的影响因子数据字典描述以及推荐候选项描述信息，生成模拟数据；

模块M1.5：将模拟数据利用规则引擎进行判定，并将规则引擎判定结果记录为日志，判定结果中每一个条目形式包括：影响因子数据，候选项信息以及判定结果；

模块M1.6：利用日志对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

模块M1.7：将推荐影响因子与单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到当前候选推荐项在当前推荐影响因子下被推荐的概率。

优选地，所述模块M2包括：

模块M2.1：获取推荐请求，推荐请求包括推荐影响因子和需要返回的条目数量N；

模块M2.2：将推荐影响因子和单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到每个候选推荐项对应的推荐概率，推荐概率大于等于预设值TH_POS时，则为推荐项；推荐概率小于等于预设值TH_NEG时，则为不推荐项；且0≤TH_NEG＜TH_POS≤1；由所有的推荐项组成推荐项集合，由所有的不推荐项组成不推荐项集合；

模块M2.3：从推荐项集合中随机采样N项组成推荐列表；从不推荐项集合中随机采样N项组合成不推荐列表；列表中的单项格式为<推荐项id，推荐概率>。

优选地，所述模块M3包括：推荐记录模块将所有推荐请求、推荐项集合以及不推荐项集合记录成日志。

优选地，所述模块M4包括：

模块M4.1：用户采样记录推荐列表中项目以及不推荐列表中抽取的预设比例项目的使用效果，并计算推荐项目的抽样转化比例T_POS_RATE和不推荐项目的抽样转化比例F_NEG_RATE，且不推荐项目的抽样未转化比例T_NEG_RATE＝1-F_NEG_RATE；

推荐项目的抽样转化比例＝抽样推荐项目转化数/抽样推荐项目总数；

不推荐项目的抽样转化比例＝抽样不推荐项目转化数/抽样不推荐总数；

模块M4.2：获取推荐记录模块生成的日志，日志推荐项目总和为POS_TOTAL，不推荐项目总和为NEG_TOTAL；

模块M4.3：根据推荐项目的抽样转化比例T_POS_RATE、不推荐项目的抽样未转化比例T_NEG_RATE、日志推荐项目总和为POS_TOTAL以及日志不推荐项目总和为NEG_TOTAL计算修正推荐项目数UPDATE_POS_NUM和修正不推荐项目UPDATE_NEG_NUM；

UPDATE_POS_NUM＝POS_TOTAL*T_POS_RATE

UPDATE_NEG_NUM＝NEG_TOTAL*T_NEG_RATE

模块M4.4：从推荐集合中取出概率最高的UPDATE_POS_NUM条记录作为修正后正例训练样本数据，类标为1；从不推荐集合中取出打分最低的UPDATE_NEG_NUM条记录作为修正后负例训练样本数据，类标为0；

模块M4.5：利用修正后正例训练样本数据和修正后负例训练样本数据共同组成修正后训练样本数据；

模块M4.6：初始化新的预测模型，利用修正后的训练样本数据训练新的预测模型，训练完成后使用训练后的预测模型为所有训练样本进行预测，得到推荐概率；

模块M4.7：使用训练后的预测模型对修正后正例集合中的样本进行概率预测，并计算概率均值，记为POS_AVG；

模块M4.8：使用训练后的预测模型对修正后负例集合中的样本进行概率预测，并计算概率均值，记为NEG_AVG；

模块M4.9：选取修正后正例集合中概率大于等于概率均值POS_AVG的样本构成最终正样本集合，类标为1；取修正后负例集合中概率小于等于概率均值NEG_AVG的样本构成最终负样本集合，类标为0；利用当前正样本集合和负样本集合共同组成最终训练集合；

模块M4.10：利用最终训练集合训练训练后的预测模型，得到优化后的预测模型，利用优化后的预测模型进行内容推荐。

与现有技术相比，本发明具有如下的有益效果：

1、本发明可以使用业务经验规则初始化机器学习模型，无需接触真实数据，提高数据安全性、降低部署成本；

2、本发明推荐模型在使用时可以无需对接详细效果反馈数据，提高数据安全性、降低部署成本；

3、本发明推荐模型仅需要提供采样后的转化统计结果即可以优化，提高了数据安全性，降低模型的更新成本，同时可以获得持续优化的推荐模型。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明整体模块示意图；

图2为初始化模型生成模块示意图；

图3为推荐内容生成模块示意图；

图4为推荐记录模块示意图；

图5为微反馈模型优化模块示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例1

根据本发明提供的一种基于微反馈的推荐方法，包括：

步骤S1：初始化模型生成模块使用规则法生成候选推荐数据，初始化基于机器学习的推荐概率预测模型，并使用候选推荐数据对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

步骤S2：推荐内容生成模块加载训练后的基于机器学习的推荐概率预测模型，并依据接收到的影响因子生成推荐内容；

步骤S3：推荐记录模块将所有的推荐影响因子及对应的推荐内容记录为日志；

步骤S4：微反馈模型优化模块使用微反馈信息和日志对训练后的基于机器学习的推荐概率预测模型进行优化；并利用优化后的概率预测模型进行推荐内容。

具体地，所述步骤S1包括：

步骤S1.1：获取形式化描述的业务规则，并将业务规则加载至可支持当前业务规则运行的规则引擎；

步骤S1.2：获取形式化描述的影响因子数据字典描述；

步骤S1.3：获取推荐候选项描述信息；

步骤S1.4：将获取的形式化描述的影响因子数据字典描述以及推荐候选项描述信息，生成模拟数据；

步骤S1.5：将模拟数据利用规则引擎进行判定，并将规则引擎判定结果记录为日志，判定结果中每一个条目形式包括：影响因子数据，候选项信息以及判定结果；

步骤S1.6：利用日志对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

步骤S1.7：将推荐影响因子与单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到当前候选推荐项在当前推荐影响因子下被推荐的概率。

具体地，所述步骤S2包括：

步骤S2.1：获取推荐请求，推荐请求包括推荐影响因子和需要返回的条目数量N；

步骤S2.2：将推荐影响因子和单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到每个候选推荐项对应的推荐概率，推荐概率大于等于预设值TH_POS时，则为推荐项；推荐概率小于等于预设值TH_NEG时，则为不推荐项；且0≤TH_NEG＜TH_POS≤1；由所有的推荐项组成推荐项集合，由所有的不推荐项组成不推荐项集合；

步骤S2.3：从推荐项集合中随机采样N项组成推荐列表；从不推荐项集合中随机采样N项组合成不推荐列表；列表中的单项格式为<推荐项id，推荐概率>。

具体地，所述步骤S3包括：推荐记录模块将所有推荐请求、推荐项集合以及不推荐项集合记录成日志。

具体地，所述步骤S4包括：

步骤S4.1：用户采样记录推荐列表中项目以及不推荐列表中抽取的预设比例项目的使用效果，并计算推荐项目的抽样转化比例T_POS_RATE和不推荐项目的抽样转化比例F_NEG_RATE，且不推荐项目的抽样未转化比例T_NEG_RATE＝1-F_NEG_RATE；

推荐项目的抽样转化比例＝抽样推荐项目转化数/抽样推荐项目总数；

不推荐项目的抽样转化比例＝抽样不推荐项目转化数/抽样不推荐总数；

步骤S4.2：获取推荐记录模块生成的日志，日志推荐项目总和为POS_TOTAL，不推荐项目总和为NEG_TOTAL；

步骤S4.3：根据推荐项目的抽样转化比例T_POS_RATE、不推荐项目的抽样未转化比例T_NEG_RATE、日志推荐项目总和为POS_TOTAL以及日志不推荐项目总和为NEG_TOTAL计算修正推荐项目数UPDATE_POS_NUM和修正不推荐项目UPDATE_NEG_NUM；

UPDATE_POS_NUM＝POS_TOTAL*T_POS_RATE

UPDATE_NEG_NUM＝NEG_TOTAL*T_NEG_RATE

步骤S4.4：从推荐集合中取出概率最高的UPDATE_POS_NUM条记录作为修正后正例训练样本数据，类标为1；从不推荐集合中取出打分最低的UPDATE_NEG_NUM条记录作为修正后负例训练样本数据，类标为0；

步骤S4.5：利用修正后正例训练样本数据和修正后负例训练样本数据共同组成修正后训练样本数据；

步骤S4.6：初始化新的预测模型，利用修正后的训练样本数据训练新的预测模型，训练完成后使用训练后的预测模型为所有训练样本进行预测，得到推荐概率；

步骤S4.7：使用训练后的预测模型对修正后正例集合中的样本进行概率预测，并计算概率均值，记为POS_AVG；

步骤S4.8：使用训练后的预测模型对修正后负例集合中的样本进行概率预测，并计算概率均值，记为NEG_AVG；

步骤S4.9：选取修正后正例集合中概率大于等于概率均值POS_AVG的样本构成最终正样本集合，类标为1；取修正后负例集合中概率小于等于概率均值NEG_AVG的样本构成最终负样本集合，类标为0；利用当前正样本集合和负样本集合共同组成最终训练集合；

步骤S4.10：利用最终训练集合训练训练后的预测模型，得到优化后的预测模型，利用优化后的预测模型进行内容推荐。

本发明提供的基于微反馈的推荐系统，可以通过本发明提供的基于微反馈的推荐方法中的步骤流程实现。本领域技术人员，可以将所述基于微反馈的推荐方法理解为基于微反馈的推荐系统的一个优选例。

实施例2

实施例2是实施例1的优选例

针对上述现有推荐系统方案的技术欠缺，本发明解决的技术问题体现在以下几点：

1)在无法接触历史数据时，给出一种根据业务人员的经验建立推荐模型的方法；

2)在无法获得“推荐结果详细数据”作为反馈时，给出一种持续优化模型的方法。

本发明提供的基于微反馈的推荐系统，参考图1，包括：初始化模型生成模块、推荐内容生成模块、推荐记录模块、微反馈模型优化模块。

模块1，初始化模型生成模块，输入为：形式化描述的业务规则、推荐影响因子数据字典描述、候选推荐项信息。输出为：推荐模型。该模型输入为“影响影子数据”与“候选推荐信息”的逐条组合，输出为“推荐项目列表”和“不推荐项目列表”。上述两个列表中每个元素均为如下元组<推荐/不推荐项的Id，打分>。

模块2，推荐内容生成模块，具备两个子模块：推荐模型加载模块、推荐结果生成模块。

模块2.1，推荐模型加载模块，输入为推荐模型，此处推荐模型为“初始化模型生成模块”或“基于微反馈的模型优化模块”生成的模型，两个模块生成的模型结构、输入输出格式、使用方法完全相同。模块输出为是否加载成功的结果(如True或False，分别表示成功与不成功)。

模块2.2，推荐结果生成模块，输入推荐请求(包括推荐影响因子数据、需要返回的推荐条目数量)，输出为推荐结果(包括一个推荐项列表与一个不推荐项列表)。

模块3，推荐记录模块，输入为：推荐请求数据、推荐的内容；输出为：包含推荐请求数据与对应推荐内容的日志文件。

模块4，微反馈模型优化模块，具备两个模块：反馈数据填写模块、优化模型生成模块。

模块4.1，反馈数据填写模块，输入为图形人机交互接口，该图形界面可以供业务人员填写两个数字：推荐项目的抽样转化比例、不推荐项目的抽样转化比例。其中，“推荐项目的抽样转化比例”为必填项，“不推荐项目的抽样转化比例”为可选项，不填默认为0。“抽样转化比例”是指对部分“推荐”和“不推荐”项目的后续效果统计结果。“不推荐”项目小数量、可选地使用于后续业务的开展，以便优化模型，也可以选择完全不使用。此处的“转化”包括但不限于“查看”、“点击”、“购买”等。

模块4.2，优化模型生成模块，输入为：推荐请求记录模块记录的日志文件、前述反馈数据填写模块填写的两个反馈数据；输出为：优化后的推荐模型。

此外，本发明包括上述模块的相关硬件设备，能支持上述模块正常运行的主机、存储、网络、外设等电子设备。

基于微反馈的推荐方法和系统，所述各模块运行方法如下：

对于模块1，初始化模型生成模块，参考图2，其运行方法：

模块1.1：接受形式化描述的业务规则，将其加载入可支持该规则运行的规则引擎(此处规则引擎可以为相关规则定制开发，规则可以是自定义的格式)；

模块1.2：接受形式化描述的影响因子数据字典描述；

模块1.3：接受推荐候选项描述信息；

模块1.4：初始化一个可以给出概率预估值的机器学习模型，该模型输入内容为“推荐影响因子”与“单个候选推荐项描述信息”的组合，输出为0到1的数字，用于计算该“候选项”在当前“推荐影响因子”下被推荐的概率，0为最不推荐，1为最推荐；

模块1.5：根据“模块1.2”所接受的影响因子数据字典描述，结合候选项描述信息，生成模拟数据；

模块1.6；将“模块1.5”生成的模拟数据输入“模块1”的规则引擎，将模拟数据和规则引擎判定结果记录为日志，该结果中的每一个条目形式为<影响因子数据，候选项信息，判定结果>，此处判定结果为0或1，0表示不推荐，1表示推荐；

模块1.7：用“模块1.6”的日志对“模块1.4”的模型进行训练，获得训练后的模型，输出模型。

对于模块2，推荐内容生成模块，参考图3，其运行方法：

模块2.1：加载初始化模型生成模块或微反馈模型优化模块输出的模型；

模块2.2：接受推荐请求，请求中主要“推荐影响因子”和“需要返回的条目数量”，此处记数量为N；

模块2.3：将“推荐影响因子”和“单个候选项”组合后，逐条输入推荐模型，得到每一条对应的打分，打分大于等于TH_POS为“推荐项”，打分小于等于TH_NEG的为“不推荐项”，其中TH_NEG和TH_POS为已经预设的阈值，且0<TH_NEG≤TH_POS<1。由所有“推荐项”组成“推荐项集合”，由所有“不推荐项”组成“不推荐项集合”。

模块2.4：从“推荐项集合”中随机采样N项组成“推荐列表”，从“不推荐项集合”中随机采样N项组成“不推荐列表”。每组中的单项格式为<推荐项Id，打分>，在两个列表中“打分”均为越高表示越推荐，将两个推荐列表返回。

模块2.5：用户获得返回的“推荐列表”和“不推荐列表”，进行后续业务操作，主要使用“推荐列表”中的项目，从“不推荐列表”抽取极小比例进行使用(甚至不使用)。

对于模块3，推荐记录模块，参考图4，其运行方法：

模块3.1：将该模块部署于推荐内容生成模块同一台服务器上，确保所有发送至推荐内容生成模块的推荐计算结果数据都可以获得。

模块3.2：将所有发往推荐内容生成模块的请求以及推荐内容生成模块生成的“推荐项集合”和“不推荐项集合”记录成日志。

对于模块4，微反馈模型优化模块，参考图5，其运行方法：

模块4.1：用户采样记录“推荐列表”中项目以及从“不推荐列表”中抽取的极小比例项目的使用效果，并计算“推荐项目的抽样转化比例”和“不推荐项目的抽样转化比例”。推荐项目的抽样转化比例＝抽样推荐项目转化数/抽样推荐项目总数，不推荐项目的抽样转化比例＝抽样不推荐项目转化数/抽样不推荐项目总数。抽样推荐项目数可以但不限于几十至数千；抽样不推荐项目的使用效果用于优化模型，但过多使用会降低推荐效果，通常该数建议为几十(可以为零)，视用户要求而定；

模块4.2：用户通过图形界面向“反馈数据填写模块”填写数据：推荐项目的抽样转化比例(记为T_POS_RATE)、不推荐项目的抽样转化比例(记为F_NEG_RATE)。计算获得T_NEG_RATE＝1-F_NEG_RATE。

模块4.3：获取推荐记录模块生成的日志，日志推荐项目总和为POS_TOTAL，不推荐项目总和为NEG_TOTAL；

模块4.4：计算得到“修正推荐项目数”(记为UPDATE_POS_NUM)和“修正不推荐项目数”(记为UPDATE_NEG_NUM):

UPDATE_POS_NUM＝POS_TOTAL*T_POS_RATE

UPDATE_NEG_NUM＝NEG_TOTAL*T_NEG_RATE

模块4.5：从“推荐集合”中取出打分最高的UPDATE_POS_NUM条记录作为修正后正例训练样本数据，类标为1；从“不推荐集合”中取出打分最低的UPDATE_NEG_NUM条记录作为修正后负例训练样本数据，类标为0。由修正后正例训练样本数据和修正后负例训练样本数据共同组成修正后训练样本数据；

模块4.6：初始化新的预测模型，用修正后的训练样本数据训练该模型，训练完成后使用该模型为所有训练样本进行预测，给出推荐概率，进行二次过滤：使用预测模型对修正后正例集合中的样本进行概率预测，并计算概率均值，记为POS_AVG；使用预测模型对修正后负例集合中的样本进行概率预测，并计算概率均值，记为NEG_AVG。取修正后正例集合中概率大于等于POS_AVG的样本构成最终正样本集合，类标为1；取修正后负例集合中概率小于等于NEG_AVG的样本构成最终负样本集合，类标为0；由上述两个样本集合组合而成最终训练集合。

模块4.7：初始化新的预测模型，用模块4.6获得的训练样本数据集训练该模型，得到优化后的模型，将该模型推送给“推荐内容生成模块”。

实施例3

实施例3是实施例1和/或实施例2的优选例

对于步骤1，初始化模型生成模块：

步骤1.1：

业务规则举例：

性别:男and年级:中学and项目_价格:经济and项目_风格：体育＝>推荐

性别:女and年级:大学and项目_颜色:鲜明and(项目_风格：文艺or项目_风格：青春or项目_风格：日韩)＝>推荐

性别:男and年级:小学and项目_内容：童话＝>推荐

步骤1.2：

影响因子字典可能包含的内容举例：性别、年纪、学历、地区等；

步骤1.3：

候选推荐项信息举例：

项目a:{风格：体育，价格：经济}

项目b:{风格：文艺，价格：小贵}

项目c:{颜色：朴素，风格：日韩，内容：童话}

步骤1.4：将上述规则的输入推荐引擎，推荐引擎在符合上述推荐规则时输出1，否则输出0。构建三层神经网络，第一层为输入层、第二层为宽度为256的全连接层、第三层为一个sigmoid输出单元；

步骤1.5：

生成模拟数据举例：

性别:男and年级:中学and项目_颜色：明快

性别:女and学历:大学and项目_风格：体育

性别:男and地区:上海and项目_内容：金融

步骤1.6；运用步骤1中的规则判定步骤5中的模拟数据，等到类标0或1；将步骤5中的数据进行独热编码(onehot encoding)，并将编码后的向量与规则判定的类标构成训练数据；

步骤1,7：用“步骤6”生成的训练数据对“步骤4”的模型进行训练，获得训练后的模型，输出模型。

对于步骤2，推荐内容生成模块的运行方法：

步骤2.1：加载初始化模型生成模块或微反馈模型优化模块输出的模型，即加载前述三层神经网络模型；

步骤2.2：接受推荐请求，请求中包含影响因子与推荐数量。影响因子例如：{性别：女，地区：杭州}，数量例如：20条。

步骤2.3：将影响影子与候选项目的信息进行组合，组合结果例如：

项目a对应：{性别：女，地区：杭州，项目_风格：体育，项目_价格：经济}

项目b对应：{性别：女，地区：杭州，项目_风格：文艺，项目_价格：小贵}

项目c对应：{性别：女，地区：杭州，项目_颜色：朴素，项目_风格：日韩，项目_内容：童话}。

将上述组合结果独热编码，如：00100101001，01100001100，00001100011。

将编码后的向量输入步骤1加载的模型中，获得预测打分序列，如0.7，0.85，0.6，0.5，0.3，0.21等，假设TH_POS为0.6，TH_NEG为0.4，则0.7、0.85对应的候选项记入“推荐集合”，0.3、0.21对应的候选项记入“不推荐集合”。

步骤2.4：从“推荐项集合”中随机采样50项组成“推荐列表”，从“不推荐项集合”中随机采样50项组成“不推荐列表”。每组中的单项格式如：<项目a,0.79>、<项目e，0.13>等，在两个列表中“打分”均为越高表示越推荐，将两个推荐列表返回。

步骤2.5：比如对于某次推荐，获得返回的“推荐列表”和“不推荐列表”，进行后续业务操作，推荐列表和不推荐列表中分别有20和10个项目id，所有20个推荐项被用用于后续推荐，从不推荐项中取出5个用于推荐。

对于步骤3，推荐记录模块运行方法：

步骤3.1：将该模块部署于推荐内容生成模块同一台服务器上，确保所有发送至推荐内容生成模块的推荐计算结果数据都可以获得，发送内容比如：{{性别：女，地区：杭州}，数量：20条}，推荐计算结果比如：{推荐集合：{<a,0.7>，<b,0.8>}，不推荐集合：{<d,0.25>,<e，0.23>}}。

步骤3.2：将所有发往推荐内容生成模块的请求以及推荐内容生成模块生成的“推荐项集合”和“不推荐项集合”记录成日志，日志格式例如：

{类别：推荐，{性别：女，地区：杭州}，<a,0.7>}

{类别：推荐，{性别：女，地区：杭州}，<b,0.8>}

{类别：不推荐，{性别：女，地区：杭州}，<d,0.25>}

{类别：不推荐，{性别：女，地区：杭州}，<e,0.23>}

对于步骤4，微反馈模型优化模块运行方法：

步骤4.1：假设，随机抽样了100个推荐项目，随机抽样了20个不推荐项目不推荐项目；

步骤4.2：用户通过图形界面向“反馈数据填写模块”填写数据：假设，随机抽样了100个推荐项目中，推荐项目的抽样转化比例＝80/100＝0.8，随机抽样了20个不推荐项目不推荐项目中，不推荐项目的抽样转化比例＝2/20＝0.1。即填写T_POS_RATE＝0.8，填写F_NEG_RATE＝0.1，T_NEG_RATE＝1-0.1＝0.9。

步骤4.3：获取推荐记录模块生成的日志，假设，日志推荐项目总和为POS_TOTAL＝500000，不推荐项目总和为NEG_TOTAL＝300000；

步骤4.4：计算得到“修正推荐项目数”(记为UPDATE_POS_NUM)和“修正不推荐项目数”(记为UPDATE_NEG_NUM):

UPDATE_POS_NUM＝500000*0.8＝400000

UPDATE_NEG_NUM＝300000*0.9＝270000

步骤4.5：从“推荐集合”中取出打分最高的40000条记录作为修正后正例训练样本数据，类标为1；从“不推荐集合”中取出打分最低的27000条记录作为修正后负例训练样本数据，类标为0。由修正后正例训练样本数据和修正后负例训练样本数据共同组成修正后训练样本数据；

步骤4.6：初始化新的预测模型，用修正后的训练样本数据训练该模型，训练完成后使用该模型为所有训练样本进行预测，给出推荐概率，进行二次过滤：使用预测模型对修正后正例集合中的样本进行概率预测，并计算概率均值，记为POS_AVG，此处假设POS_AVG＝0.7；使用预测模型对修正后负例集合中的样本进行概率预测，并计算概率均值，记为NEG_AVG，此处假设NEG_AVG＝0.35。取修正后正例集合中概率大于等于0.7(POS_AVG)的样本构成最终正样本集合，类标为1；取修正后负例集合中概率小于等于0.35(NEG_AVG)的样本构成最终负样本集合，类标为0；由上述两个样本集合组合而成最终训练集合。

步骤4.7：初始化新的预测模型，用步骤7获得的训练样本数据集训练该模型，得到优化后的模型，将该模型推送给“推荐内容生成模块”。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于微反馈的推荐方法，其特征在于，包括：

步骤S1：初始化模型生成模块使用规则法生成候选推荐数据，初始化基于机器学习的推荐概率预测模型，并使用候选推荐数据对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

步骤S2：推荐内容生成模块加载训练后的基于机器学习的推荐概率预测模型，并依据接收到的影响因子生成推荐内容；

步骤S3：推荐记录模块将所有的推荐影响因子及对应的推荐内容记录为日志；

步骤S4：微反馈模型优化模块使用微反馈信息和日志对训练后的基于机器学习的推荐概率预测模型进行优化；并利用优化后的概率预测模型进行内容推荐。

2.根据权利要求1所述的基于微反馈的推荐方法，其特征在于，所述步骤S1包括：

步骤S1.1：获取形式化描述的业务规则，并将业务规则加载至可支持当前业务规则运行的规则引擎；

步骤S1.2：获取形式化描述的影响因子数据字典描述；

步骤S1.3：获取推荐候选项描述信息；

步骤S1.4：将获取的形式化描述的影响因子数据字典描述以及推荐候选项描述信息，生成模拟数据；

步骤S1.5：将模拟数据利用规则引擎进行判定，并将规则引擎判定结果记录为日志，判定结果中每一个条目形式包括：影响因子数据，候选项信息以及判定结果；

步骤S1.6：利用日志对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

步骤S1.7：将推荐影响因子与单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到当前候选推荐项在当前推荐影响因子下被推荐的概率。

3.根据权利要求1所述的基于微反馈的推荐方法，其特征在于，所述步骤S2包括：

步骤S2.1：获取推荐请求，推荐请求包括推荐影响因子和需要返回的条目数量N；

步骤S2.2：将推荐影响因子和单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到每个候选推荐项对应的推荐概率，推荐概率大于等于预设值TH_POS时，则为推荐项；推荐概率小于等于预设值TH_NEG时，则为不推荐项；且0≤TH_NEG＜TH_POS≤1；由所有的推荐项组成推荐项集合，由所有的不推荐项组成不推荐项集合；

步骤S2.3：从推荐项集合中随机采样N项组成推荐列表；从不推荐项集合中随机采样N项组合成不推荐列表；列表中的单项格式为<推荐项id，推荐概率>。

4.根据权利要求1所述的基于微反馈的推荐方法，其特征在于，所述步骤S3包括：推荐记录模块将所有推荐请求、推荐项集合以及不推荐项集合记录成日志。

5.根据权利要求1所述的基于微反馈的推荐方法，其特征在于，所述步骤S4包括：

步骤S4.1：用户采样记录推荐列表中项目以及不推荐列表中抽取的预设比例项目的使用效果，并计算推荐项目的抽样转化比例T_POS_RATE和不推荐项目的抽样转化比例F_NEG_RATE，且不推荐项目的抽样未转化比例T_NEG_RATE＝1-F_NEG_RATE；

推荐项目的抽样转化比例＝抽样推荐项目转化数/抽样推荐项目总数；

不推荐项目的抽样转化比例＝抽样不推荐项目转化数/抽样不推荐总数；

步骤S4.2：获取推荐记录模块生成的日志，日志推荐项目总和为POS_TOTAL，不推荐项目总和为NEG_TOTAL；

步骤S4.3：根据推荐项目的抽样转化比例T_POS_RATE、不推荐项目的抽样未转化比例T_NEG_RATE、日志推荐项目总和为POS_TOTAL以及日志不推荐项目总和为NEG_TOTAL计算修正推荐项目数UPDATE_POS_NUM和修正不推荐项目UPDATE_NEG_NUM；

UPDATE_POS_NUM＝POS_TOTAL*T_POS_RATE

UPDATE_NEG_NUM＝NEG_TOTAL*T_NEG_RATE

步骤S4.4：从推荐集合中取出概率最高的UPDATE_POS_NUM条记录作为修正后正例训练样本数据，类标为1；从不推荐集合中取出打分最低的UPDATE_NEG_NUM条记录作为修正后负例训练样本数据，类标为0；

步骤S4.5：利用修正后正例训练样本数据和修正后负例训练样本数据共同组成修正后训练样本数据；

步骤S4.6：初始化新的预测模型，利用修正后的训练样本数据训练新的预测模型，训练完成后使用训练后的预测模型为所有训练样本进行预测，得到推荐概率；

步骤S4.7：使用训练后的预测模型对修正后正例集合中的样本进行概率预测，并计算概率均值，记为POS_AVG；

步骤S4.8：使用训练后的预测模型对修正后负例集合中的样本进行概率预测，并计算概率均值，记为NEG_AVG；

步骤S4.9：选取修正后正例集合中概率大于等于概率均值POS_AVG的样本构成最终正样本集合，类标为1；取修正后负例集合中概率小于等于概率均值NEG_AVG的样本构成最终负样本集合，类标为0；利用当前正样本集合和负样本集合共同组成最终训练集合；

步骤S4.10：利用最终训练集合训练训练后的预测模型，得到优化后的预测模型，利用优化后的预测模型进行内容推荐。

6.一种基于微反馈的推荐系统，其特征在于，包括：

模块M1：初始化模型生成模块使用规则法生成候选推荐数据，初始化基于机器学习的推荐概率预测模型，并使用候选推荐数据对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

模块M2：推荐内容生成模块加载训练后的基于机器学习的推荐概率预测模型，并依据接收到的影响因子生成推荐内容；

模块M3：推荐记录模块将所有的推荐影响因子及对应的推荐内容记录为日志；

模块M4：微反馈模型优化模块使用微反馈信息和日志对训练后的基于机器学习的推荐概率预测模型进行优化；并利用优化后的概率预测模型进行推荐内容。

7.根据权利要求6所述的基于微反馈的推荐系统，其特征在于，所述模块M1包括：

模块M1.1：获取形式化描述的业务规则，并将业务规则加载至可支持当前业务规则运行的规则引擎；

模块M1.2：获取形式化描述的影响因子数据字典描述；

模块M1.3：获取推荐候选项描述信息；

模块M1.4：将获取的形式化描述的影响因子数据字典描述以及推荐候选项描述信息，生成模拟数据；

模块M1.5：将模拟数据利用规则引擎进行判定，并将规则引擎判定结果记录为日志，判定结果中每一个条目形式包括：影响因子数据，候选项信息以及判定结果；

模块M1.6：利用日志对基于机器学习的推荐概率预测模型进行训练，得到训练后的基于机器学习的推荐概率预测模型；

模块M1.7：将推荐影响因子与单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到当前候选推荐项在当前推荐影响因子下被推荐的概率。

8.根据权利要求6所述的基于微反馈的推荐系统，其特征在于，所述模块M2包括：

模块M2.1：获取推荐请求，推荐请求包括推荐影响因子和需要返回的条目数量N；

模块M2.2：将推荐影响因子和单个候选推荐项描述信息输入训练后的基于机器学习的推荐概率预测模型，得到每个候选推荐项对应的推荐概率，推荐概率大于等于预设值TH_POS时，则为推荐项；推荐概率小于等于预设值TH_NEG时，则为不推荐项；且0≤TH_NEG＜TH_POS≤1；由所有的推荐项组成推荐项集合，由所有的不推荐项组成不推荐项集合；

模块M2.3：从推荐项集合中随机采样N项组成推荐列表；从不推荐项集合中随机采样N项组合成不推荐列表；列表中的单项格式为<推荐项id，推荐概率>。

9.根据权利要求6所述的基于微反馈的推荐系统，其特征在于，所述模块M3包括：推荐记录模块将所有推荐请求、推荐项集合以及不推荐项集合记录成日志。

10.根据权利要求6所述的基于微反馈的推荐系统，其特征在于，所述模块M4包括：

模块M4.1：用户采样记录推荐列表中项目以及不推荐列表中抽取的预设比例项目的使用效果，并计算推荐项目的抽样转化比例T_POS_RATE和不推荐项目的抽样转化比例F_NEG_RATE，且不推荐项目的抽样未转化比例T_NEG_RATE＝1-F_NEG_RATE；

推荐项目的抽样转化比例＝抽样推荐项目转化数/抽样推荐项目总数；

不推荐项目的抽样转化比例＝抽样不推荐项目转化数/抽样不推荐总数；

模块M4.2：获取推荐记录模块生成的日志，日志推荐项目总和为POS_TOTAL，不推荐项目总和为NEG_TOTAL；

模块M4.3：根据推荐项目的抽样转化比例T_POS_RATE、不推荐项目的抽样未转化比例T_NEG_RATE、日志推荐项目总和为POS_TOTAL以及日志不推荐项目总和为NEG_TOTAL计算修正推荐项目数UPDATE_POS_NUM和修正不推荐项目UPDATE_NEG_NUM；

UPDATE_POS_NUM＝POS_TOTAL*T_POS_RATE

UPDATE_NEG_NUM＝NEG_TOTAL*T_NEG_RATE

模块M4.4：从推荐集合中取出概率最高的UPDATE_POS_NUM条记录作为修正后正例训练样本数据，类标为1；从不推荐集合中取出打分最低的UPDATE_NEG_NUM条记录作为修正后负例训练样本数据，类标为0；

模块M4.5：利用修正后正例训练样本数据和修正后负例训练样本数据共同组成修正后训练样本数据；

模块M4.6：初始化新的预测模型，利用修正后的训练样本数据训练新的预测模型，训练完成后使用训练后的预测模型为所有训练样本进行预测，得到推荐概率；

模块M4.7：使用训练后的预测模型对修正后正例集合中的样本进行概率预测，并计算概率均值，记为POS_AVG；

模块M4.8：使用训练后的预测模型对修正后负例集合中的样本进行概率预测，并计算概率均值，记为NEG_AVG；

模块M4.9：选取修正后正例集合中概率大于等于概率均值POS_AVG的样本构成最终正样本集合，类标为1；取修正后负例集合中概率小于等于概率均值NEG_AVG的样本构成最终负样本集合，类标为0；利用当前正样本集合和负样本集合共同组成最终训练集合；

模块M4.10：利用最终训练集合训练训练后的预测模型，得到优化后的预测模型，利用优化后的预测模型进行内容推荐。

Images