CN110751524A - 一种基于强化学习的优惠券智能派送方法 - Google Patents

Abstract

本发明提供了一种基于强化学习的优惠券智能派送方法，该方法解决了传统优惠券派送的序列决策问题以及传统优惠券派送方法为静态推荐方法。本发明采用神经网络作为主要的非线性拟合器，输入为用户特征，输出为各种面值券的价值，选出价值最大的券，通过发券系统发送给用户，再由短信提醒的方式，提醒用户去消费，然后在优惠券有效期期间收集用户行为反馈，产生状态转移，将状态转移放入神经网络中训练，通过一段时间的训练达到算法收敛，固定该策略网络作为推荐函数，进行推荐，本发明通过上述设计有效地提高了优惠券的推送精度。

Description

一种基于强化学习的优惠券智能派送方法

技术领域

本发明属于智能营销技术领域，尤其涉及一种基于强化学习的优惠券智能派送方法。

背景技术

智能派送优惠券系统是通过派送优惠券的形式，促使用户使用优惠券去指定的地点进行消费，已达到商场利益最大化的目的。派送优惠券是需要成本的，每一张优惠券是由商家花钱购买，若优惠券被使用，则产生优惠，即商家垫付优惠券的钱，若没有被使用，则不产生任何成本，固需要精确的投递优惠券，已达到使用最少成本促使更多消费者到指定地点消费。智能派送优惠券系统从本质上来讲，是一种个性化推荐系统。推荐系统根据用户行为以及商品的特点，给用户推荐用户可能感兴趣的商品。目前，个性化推荐系统在电子商务领域应用十分广泛，但是在智能派送优惠券的领域没用得到很好的应用。

传统的个性化推荐系统大多数是静态推荐系统。静态推荐系统假设用户行为不以推荐行为转移，即推荐的商品是不会影响用户的决定的，只是将用户想看见的同类产品按照某一种顺序展现给用户，从心理学的角度来说，这是错误的，比如，用户在逛商城的时候并不知道需要买什么，但是通过商店店员或者广告介绍，用户可能更加青睐店员或者广告介绍的产品，这就是广告效果，这显然违背了个性化推荐系统宗旨。传统的推荐系统不能解决序列推荐问题，现有的推荐系统是建立一种映射，从用户画像和商品特征到推荐商品的映射。但是，在推荐系统一步一步推荐某类商品后，用户特征将会发生变化，本不想购买的产品在不断的推荐之后，可能使得用户产生购买行为。这是个性化推荐系统不能做到的，个性化推荐只是产生一次推荐行为，不会考虑序列推荐行为对用户产生的行为。电商使用的个性化推荐系统，是不考虑推荐行为本身的成本的，在推荐列表产生后，只是等待其转化。而优惠券在使用过后，是需要付出成本的，这也是与推荐系统不同的地方。固开发智能派送优惠券系统是有必要的。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于强化学习的优惠券智能派送方法，解决了传统优惠券派送方法为静态推荐方法以及传统的推荐系统不能解决序列推荐的问题。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于强化学习的优惠券智能派送方法，包括如下步骤：

S1、更新数据库，并对数据库中的数据进行清洗，得到用户特征信息；

S2、利用所述用户特征信息初始化深度神经网络模型；

S3、利用当前的深度神经网络模型输出优惠券的面值以及优惠券的数量；

S4、向用户派送面值最大的优惠券，并通过短信的方式提醒用户消费；

S5、获取在优惠券有效期内用户所反馈的行为信息，并记录该行为信息；

S6、将用户反馈的行为信息输入至所述深度神经网络模型进行训练，更新深度神经网络模型；

S7、根据更新后的深度神经网络模型确定策略函数，并根据所述策略函数向用户派送优惠券，从而完成基于强化学习的优惠券智能派送。

进一步地，所述步骤S6中更新深度神经网络模型的表达式如下：

θ＝argmax_θ(y_j-q_eval(s_t,a_t))²

其中，θ表示深度神经网络模型的参数，q_eval和q_target均表示用户状态的估计值，s_t表示用户的特征信息，a_t表示t时刻系统的发券类型，y_j中间变量，r表示奖励函数，s_j+1表示用户在得到券之后的特征，a_i表示当前可选的发券动作，a表示学习率。

再进一步地，所述步骤S7中策略函数的表达式如下：

其中，Q^*(s_t,a)表示策略函数，s_t表示用户的特征信息，a表示学习率，r表示奖励函数，i表示第i个动作的索引，s_t+1表示用户下一时刻的特征信息，a_i表示当前可选的发券动作，Q(·)表示策略函数。

本发明的有益效果：

本发明采用强化学习方法对优惠券进行派送，该方法解决了传统优惠券派送的序列决策问题以及传统优惠券派送方法为静态推荐方法。本发明采用神经网络作为主要的非线性拟合器，输入为用户特征，输出为各种面值券的价值，选出价值最大的券，通过发券系统发送给用户，再由短信提醒的方式，提醒用户去消费，然后在优惠券有效期期间收集用户行为反馈，产生状态转移，将状态转移放入神经网络中训练，通过一段时间的训练达到算法收敛，固定该策略网络，作为推荐函数，进行推荐，本发明通过上述设计有效地提高了优惠券的推送精度。

附图说明

图1为本发明的方法流程图。

图2为本发明中深度神经网络的框图。

图3为本发明的系统框图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例

本发明提供了一种基于强化学习的优惠券智能派送方法，本发明采用sql+python+tensorflow实现，sql是数据库语言，该方法是解决序列决策问题，本发明采用神经网络作为主要的非线性拟合器，输入为用户特征，输出为各种面值券的价值(Qvalue)，选出价值最大的券，通过发券系统发送给用户，再由短信提醒的方式，提醒用户去消费，然后在优惠券有效期期间收集用户行为反馈，产生状态转移，将状态转移放入神经网络中训练，通过一段时间的训练达到算法收敛，固定该策略网络作为推荐函数，进行推荐。其实现方法如图1-图2所示：包括如下步骤：

S1、更新数据库，并对数据库中的数据进行清洗，得到用户特征信息。

本实施例中所述数据库为mysql，用于底层编写，其存储的是用户特征信息和每天获取的券的信息，用户特征包括对用户采集的信息，如年龄，性别，历史用券数量等，数据清洗的原因在于，由于采集上的一些错误，我们需要对一些数据进行一些合理的处理，例如填补缺失值，删除坏点等操作，以得到算法能够接受的特征。

S2、利用所述用户特征信息初始化深度神经网络模型。

本实施例中，初始化深度神经网络模型之后，深度神经网络模型会随机的给予一个用户一种优惠券，比如，开始时优惠券的数量为：2元10张，3元12张，5元39张，无动作即不发券为439个。不发券要多一些，为了节省成本。

S3、利用当前的深度神经网络模型输出优惠券的面值以及优惠券的数量；

本实施例中，利用当前的深度神经网络模型输出派发各类优惠券可能获得的奖励，深度神经网络模型输出每一次输出时一共有一个4维向量，以2元，3元，5元券为例，[10，2，-3，1]，每一维向量代表的是券的奖励，每次选择奖励最高的即可。

S4、向用户派送面值最大的优惠券，并通过短信的方式提醒用户消费；

S5、收集在优惠券的有效期内用户所反馈的行为信息，并记录该行为信息；

本实施例中，系统对用户发券，会影响用户日常所浏览的商品品牌，达到用券来影响用户的消费行为，比如，发给用户一些某品牌的优惠券，用户会主动的去浏览这些商品，从而可能产生购买行为，以到达智能营销的目的。

S6、将用户反馈的行为信息输入至所述深度神经网络模型进行训练，更新深度神经网络模型，更新深度神经网络模型的表达式如下：

θ＝argmax_θ(y_j-q_eval(s_t,a_t))²

其中，θ表示深度神经网络模型的参数，q_eval和q_target均表示用户状态的估计值，s_t表示用户的特征信息，a_t表示t时刻系统的发券类型，y_j中间变量，r表示奖励函数，s_j+1表示用户在得到券之后的特征，a_i表示当前可选的发券动作，a表示学习率；

S7、根据更新后的深度神经网络模型确定策略函数，并根据所述策略函数向用户派送优惠券，从而完成基于强化学习的优惠券智能派送。，所述策略函数的表达式如下：

其中，Q^*(s_t,a)表示策略函数，s_t表示用户的特征信息，a表示学习率，r表示奖励函数，i表示第i个动作的索引，s_t+1表示用户下一时刻的特征信息，a_i表示当前可选的某一动作。

本实施例中，深度神经网络Q是一种人工智能算法，其算法核心需要让不断的给予智能体指令来获取用户设置的最大奖励。该算法需要一个函数做出映射：当智能体处于某种状态或者环境时，针对这个环境做出相应最优的动作，做出动作之后，环境或者其他因素将给予智能体一个奖励值，或者惩罚值，值的大小由动作之后产生的效果来定义。然后根据反馈来更新这个环境到动作的映射函数，这个函数之后称之为策略函数。在深度神经网络Q中，策略函数由深度神经网络代替其原始的更新公式为：

在选择动作时，我们采用贪心方法greedy，以促使算法能够更快的最优的策略，算法思想是以0-1的概率值∈选择使得深度神经网络Q值最大的动作，1-∈随机选择一个动作。在使用初期的时候,概率值∈这个值设置为0.2即在算法使用初期时为随机探索阶段，但是，随着算法逐渐更新，概率值∈将不断增大，上限设置为0.8保证其能够探测到其他动作，以保证算法能够找到新的其他动作使得奖励最大。

本实施例中，其目标网络是不需要训练的，损失函数Loss表达式采用min∑(q_target-q_eval)²最小平方和的形式，其中，q_target和q_eval均表示用户特征向量。令R为强化学习中的奖励函数，以下为深度Q神经网络的更新方法：构建深度神经网络，作为评估的深度神经网络Q,参数为θ；复制一个深度神经网络Q作为目标q；循环；输入用户状态为s₁，时刻t从1到T时刻循环输入用户状态；由上述贪心算法选取用户动作状态a_t；记录下个状态用户s_t+1以及当前动作的奖励值r(s_t,a_t)，组成(s_t,a_t,r(s_t,a_t),s_t+1)可用于训练的训练集，设

训练θ＝argmax_θ(y_j-q_eval(s_t,a_t))²，每隔C步(C为用户预设值，一般设置为50))则将q_eval的参数值直接复制给q_target，更新概率值∈，结束循环。在发券系统中状态s_t为一个用户的特征，其中，t表示每次记录用户特征的次数，a_t表示t时刻系统的发券类型。

如图2所示，将深度神经网络模型的输入层维数设置为用户特征数，输出层为消费券的数量及无动作加起来的维数，其中，target_net为目标网络，eval_net为评估网络，两者是相同的结构，图中，train代表网络是否用于训练，由上述内容可知，target_net目标网络是不用训练的，经过C步以后(C由系统设计者自定义，建议为30-50即可)，将eval_net评估网络参数全部复制给target_net目标网络。其中，用loss损失函数更新评估eval_net网络的公式为θ＝argmax_θ(y_j-q_eval(s_t,a_t))²，通过不断的更新深度神经网络模型的参数实现对深度神经网络模型的更新，图2中，q_target和q_eval均表示用户特征向量，y_j为中间变量，s_t表示用户的特征信息，r表示奖励函数，a_t表示t时刻系统的发券类型，s_j+1表示用户在得到券之后的特征，q_eval(s_t,a_t)表示t时刻系统发券类型时用户特征的估计值。

本实施例中，如图3所示，数据库是每天更新的，从数据库中获取每天最新的用户状态，通过数据清洗，将数据清洗成可用于训练的特征。本发明中训练神经网络的方式与传统训练神经网络的方式是不一样的：本发明中神经网络需要用户的状态转移向量，所谓的状态转移向量即一个用户，做过动作，对做该动作前后的特征变化情况，加上该动作，以及奖励，再进行训练。训练好模型后，针对当前当天的用户特征做出发券的动作，发券原理由深度神经网络Q给出。给出发券结果后，再发短信提醒用户发券结果。最后，在发券有效期结束后，记录用户用券情况，并存入历史数据中，等待与新数据组成状态转移矩阵。其中，提用户特征在实际操作过程中，设置为用户每天的信息，比如浏览过什么网页，附近由多少商场，商场客流量是多少等等。清洗掉数据缺失值，保证用户特征不影响算法施行。本实施例中，关于发券设置，发券行为可以由系统使用者自定义，但要保证是有限的，可数的，尽量要比用户特征维度少，否则影响发券准确率。关于奖励设置，是为了让系统在发券过程中获得最大奖励值，一般而言，奖励函数可以这样设置：有券消费，无券消费，不消费三种，当用户在没有发券动作但是产生消费行为时，这类用户是及其优质的用户，此时系统应该获得最高奖励，若用户在发券后，仍然没有产生消费行为，这类用户为低质用户，应该给予系统一个惩罚，惩罚值要与所有正奖励正好为相反数，有利于算法的收敛。对于有券消费，虽然是消费了，产生了一个好的结果，但是，在这个过程中，使用者是消耗成本的，所以需要奖励少点，一般可以设置为面额的反函数，但是，需要确定的是奖励的最大值不能超过无券消费，最小值不能小于或等于0即可。关于神经网络的设置，输入层的维度为用户输入的特征值，输出值的维度为券数量。

Claims (3)

1.一种基于强化学习的优惠券智能派送方法，其特征在于，包括如下步骤：

S1、更新数据库，并对数据库中的数据进行清洗，得到用户特征信息；

S2、利用所述用户特征信息初始化深度神经网络模型；

S3、利用当前的深度神经网络模型输出优惠券的面值以及优惠券的数量；

S4、向用户派送面值最大的优惠券，并通过短信的方式提醒用户消费；

S5、获取在优惠券有效期内用户所反馈的行为信息，并记录该行为信息；

S6、将用户反馈的行为信息输入至所述深度神经网络模型进行训练，更新深度神经网络模型；

S7、根据更新后的深度神经网络模型确定策略函数，并根据所述策略函数向用户派送优惠券，从而完成基于强化学习的优惠券智能派送。

2.根据权利要求1所述的基于强化学习的优惠券智能派送方法，其特征在于，所述步骤S6中更新深度神经网络模型的表达式如下：

θ＝arg max_θ(y_j-q_eval(s_t,a_t))²

其中，θ表示深度神经网络模型的参数，q_eval和q_target均表示用户状态的估计值，s_t表示用户的特征信息，a_t表示t时刻系统的发券类型，y_j中间变量，r表示奖励函数，s_j+1表示用户在得到券之后的特征，a_i表示当前可选的发券动作，a表示学习率。

3.根据权利要求1所述的基于强化学习的优惠券智能派送方法，其特征在于，所述步骤S7中策略函数的表达式如下：

其中，Q^*(s_t,a)表示策略函数，s_t表示用户的特征信息，a表示学习率，r表示奖励函数，i表示第i个动作的索引，s_t+1表示用户下一时刻的特征信息，a_i表示当前可选的发券动作，Q(·)表示策略函数。

Images