CN111382361A - 信息推送方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种信息推送方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取用户行为数据；通过机器学习模型对所述用户行为数据进行处理，得到用户状态；当根据所述用户状态确定用户当前处于空闲状态时，通过所述机器学习模型确定待推送信息中与所述用户状态匹配的、且用户感兴趣的目标推送信息；向用户设备推送所述目标推送信息。本申请提供的方案可以有效地吸引用户点击，提高信息点击率，达到信息推送的效果。

Description

信息推送方法、装置、存储介质和计算机设备

技术领域

本申请涉及互联网技术领域，特别是涉及一种信息推送方法、装置、存储介质和计算机设备。

背景技术

随着互联网技术的不断发展，用户可以很方便地通过网络接收信息提供方或经营方推送过来的信息，然后从所接收到的信息中查找感兴趣的信息。

对于信息提供方或经营方而言，通常会采用定时推送的方法进行信息推送，例如先确定一个时间点，通过基于CTR(Click-Through-Rate，广告点击率)推荐模型，如XGBoost(eXtreme Gradient Boosting，极梯度提升)模型或DeepFM(Deep LearningFactorization Machines，基于深度学习的因子分解机)模型生成个性化的推荐列表，并选择排序靠前的信息向用户进行推送。然而，上述信息推送的方案中依靠推送的信息去吸引用户，由于用户的智能终端中各种APP(Application，应用程序)推送的消息过多，从而可能会导致所推送的信息未被点击，无法达到信息推送的目的。

发明内容

基于此，有必要针对信息推送的效果差的技术问题，提供一种信息推送方法、装置、存储介质和计算机设备。

一种信息推送方法，包括：

获取用户行为数据；

通过机器学习模型对所述用户行为数据进行处理，得到用户状态；

当根据所述用户状态确定用户当前处于空闲状态时，通过所述机器学习模型确定待推送信息中与所述用户状态匹配的、且用户感兴趣的目标推送信息；

向用户设备推送所述目标推送信息。

一种信息推送装置，所述装置包括：

获取模块，用于获取用户行为数据；

处理模块，用于通过机器学习模型对所述用户行为数据进行处理，得到用户状态；

确定模块，用于当根据所述用户状态确定用户当前处于空闲状态时，通过所述机器学习模型确定待推送信息中与所述用户状态匹配的、且用户感兴趣的目标推送信息；

推送模块，用于向用户设备推送所述目标推送信息。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述信息推送方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述信息推送方法的步骤。

上述信息推送方法、装置、计算机可读存储介质和计算机设备，通过用户行为数据来确定用户状态，根据用户状态确定用户当前是否处于空闲状态，若是，则可以按照用户状态通过机器学习模型确定待推送信息中确定匹配的且用户感兴趣的目标推送信息，同时考虑了用户是否空闲状态以及用户兴趣，可以确保推送信息时用户处于空闲状态，并且所推送的信息是用户感兴趣的，使得用户所接收的信息是空闲状态下最新接收的信息，从而可以有效地吸引用户点击，提高信息点击率，达到信息推送的效果。

附图说明

图1为一个实施例中信息推送方法的应用环境图；

图2为一个实施例中信息推送方法的流程示意图；

图3为一个实施例中模型结构的示意图；

图4为一个实施例中用户画像的示意图；

图5为另一个实施例中模型结构的示意图；

图6为一个实施例中应用程序中展示媒体目标推送信息的入口界面示意图；

图7为一个实施例中机器学习模型训练步骤的流程示意图；

图8为一个实施例中社交应用中推送媒体信息和展示媒体目标推送信息的入口界面示意图；

图9为一个实施例中训练机器学习模型的示意图；

图10为一个实施例中信息推送装置的结构框图；

图11为另一个实施例中信息推送装置的结构框图；

图12为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。

自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的机器学习技术，具体通过如下实施例进行说明：

图1为一个实施例中信息推送方法的应用环境图。参照图1，该信息推送方法应用于信息推送系统。该信息推送系统包括用户设备110和服务器120。用户设备110和服务器120通过网络连接。服务器120获取用户行为数据；通过机器学习模型对用户行为数据进行处理，得到用户状态；当根据用户状态确定用户当前处于空闲状态时，通过机器学习模型确定待推送信息中与用户状态匹配的、且用户感兴趣的目标推送信息；向用户设备110推送目标推送信息。

其中，用户设备110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以是由至少一台服务器构成的服务集群所构成。

如图2所示，在一个实施例中，提供了一种信息推送方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该信息推送方法具体包括如下步骤：

S202，获取用户行为数据。

其中，用户行为数据可以是用户执行目标行为所产生的数据，包括但不限于用户的短期行为数据和长期行为画像。短期行为数据包括短时间内的应用程序内行为数据和应用程序外行为数据。这里的应用程序内行为数据包括但不限于点击应用程序中的主菜单、点击各个子功能、在应用程序中的停留时长和在应用程序中阅读文章等行为数据。该停留时长可以是只包括该应用程序在前台运行时的时长，或者是包括前台和后台运行的总时长。短时间可以是当前时间到指定历史时间之间的时间长度，该时间长度较小，即小于一个较小的时长阈值。

应用程序外行为数据包括但不限于用户设备的亮屏时间、操作用户设备中各应用程序的时间分布和用户设备操作次数等行为数据。上述的应用程序可以是社交应用程序。

在一个实施例中，S202之前，服务器获取用户推送日志，从该用户推送日志中提取所记录的用户标识，以便根据用户标识从数据库中获取对应的用户行为数据。其中，用户推送日志是用于记录推送信息的日志，可以记录有多个用户的用户标识、历史推送的目标推送信息和信息点击率。用户标识可以是用户的名称、通信账号或身份信息等中的任一种或多种组合。

例如，服务器在某个历史时刻向用户A推送的一篇电子文章，则会将该电子文章和用户A的名称记录在用户推送日志。此外，服务器还会实时监测用户是否点击阅读该电子文章，若点击阅读了，则该电子文章在该用户的记录信息种标记为已阅读，并记录该电子文章被点击的比例(即上述的信息点击率)。

在一个实施例中，当用户通过应用程序执行目标行为时，用户设备生成与该目标行为对应的应用程序内行为数据，并将该应用程序内行为数据发送给服务器。服务器在接收到用户设备发送的应用程序内行为数据时，将所接收的应用程序内行为数据保存于数据库中。

例如，用户开启某个应用程序，通过该应用程序阅读电子文章或新闻资讯，则用户设备将会生成包含有应用程序开启时间、所阅读的电子文章或新闻资讯、阅读该电子文章或新闻资讯的比例(如新闻资讯A是否阅读完或只阅读了一部分)、阅读时长以及用户在应用程序中的停留时长等。

在一个实施例中，当用户使用用户设备进行其它应用操作时，用户设备根据所进行的应用操作生成对应的应用程序外行为数据，并将该应用程序外行为数据发送给服务器。服务器在接收到用户设备发送的应用程序外行为数据时，将所接收的应用程序外行为数据保存于数据库中。

例如，当用户使用用户设备时，记录该用户设备的亮屏时间和操作次数。此外，当用户使用其它应用程序时，记录使用各其它应用程序的时间分布，将亮屏时间、操作次数以及使用各其它应用程序的时间分布作为应用程序外行为数据或应用程序外行为数据的一部分。

S204，通过机器学习模型对所述用户行为数据进行处理，得到用户状态。

其中，机器学习模型可以是基于深度学习的多任务机器学习模型，通过该机器学习模型可以得到用户状态以及目标推送信息。该机器学习模型可以是融合了闲时模型(如循环神经网络模型)和推荐模型的端到端(End2End)模型，如图3所示。用户状态可以是用户是忙或闲的状态，以及当用户处于空闲状态时，该用户状态还包括对应的空闲时长。

端到端模型可以指整个学习的流程并不进行人为的子问题划分，而是完全交给深度学习模型直接学习从原始数据(包括用户行为数据、待推送信息、用户特征、媒体特征和用户设备的环境特征等)到期望输出的映射。

其中，媒体特征包括媒体信息的点击和曝光转化率、媒体信息的长度、字数、需要阅读时间、看了多少内容和展现形式(展现形式如图形排版、是否以缩略图展示等)。用户特征包括用户年龄、性别、收入、学历和手机类型等特征。

在一个实施例中，用户行为数据包括用户的短期行为数据和长期行为画像；S204具体可以包括：服务器通过机器学习模型中的第一网络层对短期行为数据进行处理，得到短期行为特征；以及，通过机器学习模型中的第二网络层对长期行为画像进行处理，得到长期行为特征；利用机器学习模型中的第三网络层，对短期行为特征和长期行为特征进行全连接运算，得到用户状态。

其中，第一网络层可以是序列表示层。第二网络层和第三网络层可以是不同的全连接网络层，如图3所示。长期行为画像可以是根据较长时间段内的历史空闲时间所建立的画像，该长期行为画像可以包括有历史空闲时间的行为数据和信息数据，如图4所示。

在一个实施例中，短期行为数据在输入机器学习模型之前，服务器对该短期行为数据进行稠密表达，即把稀疏型的短期行为数据转换为稠密型的短期行为向量，然后将该稠密型的短期行为向量输入到机器学习模型中，通过机器学习模型中的第一网络层对稠密型的短期行为向量进行处理，得到处理后的短期行为特征。其中，稀疏型的短期行为数据的维度大于稠密型的短期行为向量的维度。

例如，服务器对该短期行为数据进行Embedding嵌入，若短期行为数据的长度超过固定值则截断，反之则在末尾补空。假设嵌入的维度为D，对长度分别为n的短期行为数据Embedding嵌入后，可以得到长度为D×n的短期行为向量。

在一个实施例中，服务器通过机器学习模型中的全连接网络层对长期行为画像进行处理，得到长期行为特征；此外，服务器利用机器学习模型中的全连接网络层，对短期行为特征和长期行为特征进行全连接运算，得到用户状态。

在一个实施例中，短期行为数据包括应用程序内行为数据和应用程序外行为数据；该方法还包括：将应用程序内行为数据转换为应用程序内的第一稠密型行为向量；将应用程序外行为数据转换为应用程序外的第二稠密型行为向量。上述通过机器学习模型中的第一网络层对短期行为数据进行处理，得到短期行为特征的步骤，具体可以包括：通过机器学习模型中的第一网络层，对第一稠密型行为向量和第二稠密型行为向量进行特性交叉处理，得到短期行为特征。

具体地，应用程序内行为数据和应用程序外行为数据在输入机器学习模型之前，服务器对该应用程序内行为数据和应用程序外行为数据进行稠密表达，即把稀疏型的应用程序内行为数据和应用程序外行为数据，分别转换为稠密型的应用程序内短期行为向量和应用程序外短期行为向量。然后将该应用程序内短期行为向量和应用程序外短期行为向量输入到机器学习模型中，通过机器学习模型中的第一网络层对应用程序内短期行为向量和应用程序外短期行为向量进行处理，得到处理后的短期行为特征。

例如，对于应用程序内行为数据，服务器对应用程序内行为数据进行Embedding嵌入，若应用程序内行为数据超过固定值则截断，反之则在末尾补空。假设嵌入的维度为D，对长度分别为n的短期行为数据Embedding嵌入后，可以得到长度为D×n的应用程序内短期行为向量。对于应用程序内行为数据，同理可得到长度为D×n的应用程序外短期行为向量。

在一个实施例中，服务器通过机器学习模型中的第一网络层，对第一稠密型行为向量和第二稠密型行为向量进行特性交叉处理，得到短期行为特征。然后，服务器通过机器学习模型中的全连接网络层对长期行为画像进行处理，得到长期行为特征。服务器利用机器学习模型中的全连接网络层，对短期行为特征和长期行为特征进行全连接运算，得到用户状态。

在一个实施例中，服务器还会获取用户设备所处的环境特征。上述通过机器学习模型中的第二网络层对长期行为画像进行处理，得到长期行为特征的步骤，具体可以包括：服务器通过机器学习模型中的第二网络层，对长期行为画像和环境特征进行全连接运算，得到长期行为特征。

作为一个示例，如图5所示，服务器获取应用程序内行为数据、应用程序外行为数据、长期行为画像、用户设备所处的环境特征、用户特征和媒体特征，然后对应用程序内行为数据和应用程序外行为数据进行Embedding嵌入，得到应用程序内短期行为向量和应用程序外短期行为向量。然后，服务器将应用程序内短期行为向量、应用程序外短期行为向量、长期行为画像、用户设备所处的环境特征、用户特征和媒体特征分别输入机器学习模型中，通过机器学习模型中的序列表示层对应用程序内短期行为向量和应用程序外短期行为向量进行处理，得到短期行为特征。此外，通过机器学习模型中的全连接网络层对长期行为画像和用户设备所处的环境特征进行处理，得到长期行为特征。以及，通过机器学习模型中的排序模型(即第四网络层)对用户特征和媒体特征进行特征交叉，得到交叉特征。

S206，当根据用户状态确定用户当前处于空闲状态时，通过所述机器学习模型确定待推送信息中与用户状态匹配的目标推送信息。

其中，待推送信息可以是信息库中待推送给用户的信息，包括但不限于电子文章、各种新闻资讯和广告等媒体信息。电子文章可以是实时性不高的文体著作货作品，如小说和科学论文等。新闻资讯可以是迅速及时所报道的新近发生的、有价值的事件，其表示形式可以是文字、图像、视频和音频中的至少一种。广告可以是向社会广大公众告知某件事物，以引起他人的注意。例如，商品广告和公益广告等。

在一个实施例中，空闲状态包括空闲时间和空闲时长；上述通过机器学习模型确定待推送信息中与用户状态匹配的、且用户感兴趣的目标推送信息的步骤，具体可以包括：服务器通过机器学习模型确定待推送信息中与空闲时长匹配的、且用户感兴趣的目标推送信息。

其中，用户感兴趣的目标推送信息可以是：按照用户兴趣进行对待推送信息进行排序，排名满足条件的作为目标推送信息。

在一个实施例中，待推送信息包括待推送媒体信息，目标推送信息包括目标媒体信息；服务器获取用户特征和媒体特征。服务器通过机器学习模型中的序列表示层对应用程序内短期行为向量和应用程序外短期行为向量进行处理，得到短期行为特征。然后，服务器通过机器学习模型中的全连接网络层对长期行为画像和用户设备所处的环境特征进行处理，得到长期行为特征。此外，服务器通过机器学习模型中的第四网络层(如图5中的排序模型)对用户特征和媒体特征进行特征交叉，得到交叉特征。服务器利用机器学习模型中的第五网络层(如图5中的全连接网络层)，对交叉特征、短期行为特征和长期行为特征进行全连接运算，得到媒体信息点击率；依据媒体信息点击率，从待推送媒体信息中选取与空闲时长匹配的、且用户感兴趣的目标媒体信息。其中，交叉特征可以是多阶交叉特征，如二阶交叉特征和三阶交叉特征等。

在一个实施例中，通过机器学习模型中的第四网络层对所提取的用户特征和媒体特征进行特征交叉处理，获得用于表示用户特征与媒体特征相关性的二阶交叉特征，利用机器学习模型中的第五网络层对二阶交叉特征、短期行为特征和长期行为特征进行全连接运算，得到媒体信息点击率。服务器依据媒体信息点击率，从待推送媒体信息中选取与空闲时长匹配的、且用户感兴趣的目标媒体信息。

在一个实施例中，机器学习模型中还可以包含有一个深度学习模型，通过该深度学习模型对所得的各二阶交叉特征进行交叉处理，获得用于表示用户子特征与媒体子特征相关性的高阶交叉特征；高阶交叉特征的阶数大于二阶交叉特征的阶数；将高阶交叉特征和二阶交叉特征进行组合得到多阶交叉特征。

其中，相关性可以是用户特征与媒体特征之间的关联关系。例如，若用户喜欢漫画，而待推送信息中正好有漫画，那么表示用户特征与对应的媒体特征之间存在较强的相关性。若用户只喜欢漫画，而待推送信息中却没有漫画，那么用户特征与媒体特征之间不具有相关性，或相关性弱。多阶交叉特征可以是2阶、3阶、…、n阶的交叉特征，这里的n为正整数。

用户特征、媒体特征和多阶交叉特征可以用矩阵或向量表示，如用户特征向量、媒体特征向量和交叉特征向量。其中，交叉特征向量(或矩阵)中零的数量远大于非零的数量，可以表示用户特征与媒体特征之间的相关性较弱；交叉特征向量中非零的数量远大于零的数量，可以表示用户特征与媒体特征之间的相关性很强。

在一个实施例中，服务器根据媒体信息点击率计算待推送媒体信息的评分值；按照所计算的评分值对待推送媒体信息进行排序；从排序后的待推送媒体信息中，选取顺序满足预设条件的待推送媒体信息作为用户感兴趣的目标媒体信息。

在一个实施例中，服务器根据评分值的大小对待推送媒体信息进行降序排列；在排列后的待推送媒体信息中按照排列顺序选取待推荐的一个或多个目标媒体信息。

在一个实施例中，服务器还会获取用户账号，以便将所选取的目标媒体信息按照用户账号向用户设备进行推送，以在应用程序上显示目标媒体信息。此外，服务器还会向用户设备发送目标媒体信息的关联信息，该关联信息可以是目标媒体信息的来源和作者等信息。

例如，如图6所示，用户在打开目标媒体信息浏览页面时，服务器将所选取出来的目标媒体信息推送到社交客户端，社交客户端在“全部”工具栏对应的目标媒体信息展示区展示所接收到的目标媒体信息，例如以标题的形式展示“XXX向第五届世界互联网大会致贺信”这条目标媒体信息。此外，除了展示目标媒体信息，还会展示目标媒体信息的来源，如“XXX向第五届世界互联网大会致贺信”这条目标媒体信息的来源为新华社，在这条目标媒体信息的下方展示“新华社”。

在一个实施例中，当用户浏览完所推送的目标媒体信息时，用户设备中的应用程序，根据输入操作生成用于更新当前所展示目标媒体信息的目标媒体信息更新指令。服务器接收应用程序发送的目标媒体信息更新浏览指令，从排列后的待推送媒体信息中从上一次选取媒体指令的截至位置开始选取未向该应用程序推送的目标媒体信息，并向应用程序进行推送。

在一个实施例中，待推送媒体信息可以是经过初步排列的信息。服务器获取到经过初步排列的待推送媒体信息时，可以从待推送媒体信息中提取媒体特征，通过机器学习模型对所提取媒体特征和用户特征和进行特征交叉处理，获得用于表示用户特征与媒体特征相关性的多阶交叉特征。服务器根据机器学习模型中的全连接网络层对多维的多阶交叉特征进行加权求和，然后得到低维(如一维)的输出特征，根据预测函数对输出特征进行处理得到信息点击率，然后根据信息点击率计算评分值，然后按照评分值对经过初步排列的待推送媒体信息进行进一步地排序，实现了待推送媒体信息从粗排到精确排序的过程。服务器从精确排序后的待推送媒体信息中按照排序序号选取用于向用户推送的目标媒体信息，从而可以有效地提高目标媒体信息推送的准确性。

S208，向用户设备推送目标推送信息。

在一个实施例中，S208具体可以包括：当到达预计的空闲时间时，服务器向用户设备推送目标推送信息。

在一个实施例中，服务器获取用户账号，将目标媒体信息按照用户账号向用户设备进行推送，以使用户设备通过应用程序显示目标媒体信息的提示信息，当用户点击该提示信息时，在浏览页面展示该目标媒体信息。此外，服务器还会向用户设备发送目标媒体信息的关联信息，该关联信息可以是目标媒体信息的来源和作者等信息，以便在展示提示信息和/或目标媒体信息时，对应的展示该关联信息。

上述实施例中，通过用户行为数据来确定用户状态，根据用户状态确定用户当前是否处于空闲状态，若是，则可以按照用户状态通过机器学习模型确定待推送信息中确定匹配的且用户感兴趣的目标推送信息，同时考虑了用户是否空闲状态以及用户兴趣，可以确保推送信息时用户处于空闲状态，并且所推送的信息是用户感兴趣的，使得用户所接收的信息是空闲状态下最新接收的信息，从而可以有效地吸引用户点击，提高信息点击率，达到信息推送的效果。

在一个实施例中，如图7所示，该信息推送方法还包括如下步骤：

S702，获取用户行为数据样本、用户参考状态和参考推送信息；用户行为数据样本包括用户的短期行为数据样本和长期行为画像样本。

其中，用户行为数据样本可以是用户执行目标行为所产生的数据，包括但不限于用户的短期行为数据样本和长期行为画像。短期行为数据样本包括短时间内的应用程序内行为数据样本和应用程序外行为数据样本。这里的应用程序内行为数据样本包括但不限于点击应用程序中的主菜单、点击各个子功能、在应用程序中的停留时长和在应用程序中阅读文章等行为数据。该停留时长可以是只包括该应用程序在前台运行时的时长，或者是包括前台和后台运行的总时长。短时间可以是当前时间到指定历史时间之间的时间长度，该时间长度较小，即小于一个较小的时长阈值。

应用程序外行为数据样本包括但不限于用户设备的亮屏时间、操作用户设备中各应用程序的时间分布和用户设备操作次数等行为数据。上述的应用程序可以是社交应用程序。

用户参考状态是指参考的用户状态，包括用户是忙或闲的状态，以及当用户处于空闲状态时，该用户状态还包括对应的空闲时长。

参考推送信息是指参考的历史已推送信息，用于与机器学习模型学习出来的训练推送信息进行对比。

在一个实施例中，S202之前，服务器获取用户推送日志，从该用户推送日志中提取所记录的用户标识，以便根据用户标识从数据库中获取对应的用户行为数据样本。其中，用户推送日志可以记录有多个用户的用户标识、历史推送的目标推送信息和信息点击率等样本数据。

在一个实施例中，当用户通过应用程序执行目标行为时，用户设备生成与该目标行为对应的应用程序内行为数据，并将该应用程序内行为数据发送给服务器。服务器在接收到用户设备发送的应用程序内行为数据时，将所接收的应用程序内行为数据保存于数据库中。从而，在机器学习训练阶段，服务器从数据库中获取所保存的应用程序内行为数据，将其作为对应的样本数据。

在一个实施例中，当用户使用用户设备进行其它应用操作时，用户设备根据所进行的应用操作生成对应的应用程序外行为数据，并将该应用程序外行为数据发送给服务器。服务器在接收到用户设备发送的应用程序外行为数据时，将所接收的应用程序外行为数据保存于数据库中。从而，在机器学习训练阶段，服务器从数据库中获取所保存的应用程序外行为数据，将其作为对应的样本数据。

S704，将短期行为数据样本输入机器学习模型训练，得到训练用户状态。

在一个实施例中，S704具体可以包括：服务器通过机器学习模型中的第一网络层，对应用程序内行为数据样本和应用程序外行为数据样本进行处理，得到短期行为训练特征；通过机器学习模型中的第二网络层对长期行为画像样本进行处理，得到长期行为训练特征；利用机器学习模型中的第三网络层，对短期行为特征样本和长期行为特征样本进行全连接运算，得到训练用户状态。

其中，长期行为画像样本可以是根据较长时间段内的历史空闲时间所建立的画像，该长期行为画像样本可以包括有历史空闲时间的行为数据和信息数据，如图4所示。

在一个实施例中，短期行为数据样本在输入机器学习模型之前，服务器对该短期行为数据样本进行稠密表达，即把稀疏型的短期行为数据样本转换为稠密型的短期行为向量，然后将该稠密型的短期行为向量输入到机器学习模型中，通过机器学习模型中的第一网络层对稠密型的短期行为向量进行处理，得到处理后的短期行为训练特征。其中，稀疏型的短期行为数据样本的维度大于稠密型的短期行为向量的维度。

例如，服务器对该短期行为数据样本进行Embedding嵌入，若短期行为数据样本的长度超过固定值则截断，反之则在末尾补空。假设嵌入的维度为D，对长度分别为n的短期行为数据样本Embedding嵌入后，可以得到长度为D×n的短期行为向量。

在一个实施例中，服务器通过机器学习模型中的全连接网络层对长期行为画像样本进行处理，得到长期行为训练特征；此外，服务器利用机器学习模型中的全连接网络层，对短期行为训练特征和长期行为训练特征进行全连接运算，得到用户状态。

在一个实施例中，短期行为数据样本包括应用程序内行为数据样本和应用程序外行为数据样本；该方法还包括：将应用程序内行为数据样本转换为应用程序内的第一稠密型行为向量；将应用程序外行为数据样本转换为应用程序外的第二稠密型行为向量。上述通过机器学习模型中的第一网络层对短期行为数据样本进行处理，得到短期行为训练特征的步骤，具体可以包括：通过机器学习模型中的第一网络层，对第一稠密型行为向量和第二稠密型行为向量进行特性交叉处理，得到短期行为训练特征。

具体地，应用程序内行为数据样本和应用程序外行为数据样本在输入机器学习模型之前，服务器对该应用程序内行为数据样本和应用程序外行为数据样本进行稠密表达，即把稀疏型的应用程序内行为数据样本和应用程序外行为数据样本，分别转换为稠密型的应用程序内短期行为向量和应用程序外短期行为向量。然后将该应用程序内短期行为向量和应用程序外短期行为向量输入到机器学习模型中，通过机器学习模型中的第一网络层对应用程序内短期行为向量和应用程序外短期行为向量进行处理，得到处理后的短期行为训练特征。

例如，对于应用程序内行为数据样本，服务器对应用程序内行为数据样本进行Embedding嵌入，若应用程序内行为数据样本超过固定值则截断，反之则在末尾补空。假设嵌入的维度为D，对长度分别为n的短期行为数据样本Embedding嵌入后，可以得到长度为D×n的应用程序内短期行为向量。对于应用程序内行为数据样本，同理可得到长度为D×n的应用程序外短期行为向量。

在一个实施例中，服务器通过机器学习模型中的第一网络层，对第一稠密型行为向量和第二稠密型行为向量进行特性交叉处理，得到短期行为训练特征。然后，服务器通过机器学习模型中的全连接网络层对长期行为画像样本进行处理，得到长期行为训练特征。服务器利用机器学习模型中的全连接网络层，对短期行为训练特征和长期行为训练特征进行全连接运算，得到训练用户状态。

在一个实施例中，服务器还会获取用户设备所处的环境特征样本。上述通过机器学习模型中的第二网络层对长期行为画像样本进行处理，得到长期行为训练特征的步骤，具体可以包括：服务器通过机器学习模型中的第二网络层，对长期行为画像样本和环境特征样本进行全连接运算，得到长期行为训练特征。

作为一个示例，如图5所示，服务器获取应用程序内行为数据样本、应用程序外行为数据样本、长期行为画像样本、用户设备所处的环境特征样本、用户特征样本和媒体特征样本，然后对应用程序内行为数据样本和应用程序外行为数据样本进行Embedding嵌入，得到应用程序内短期行为向量和应用程序外短期行为向量。然后，服务器将应用程序内短期行为向量、应用程序外短期行为向量、长期行为画像样本、用户设备所处的环境特征样本、用户特征样本和媒体特征样本分别输入机器学习模型中，通过机器学习模型中的序列表示层对应用程序内短期行为向量和应用程序外短期行为向量进行处理，得到短期行为训练特征。此外，通过机器学习模型中的全连接网络层对长期行为画像样本和用户设备所处的环境特征样本进行处理，得到长期行为训练特征。以及，通过机器学习模型中的排序模型(即第四网络层)对用户特征样本和媒体特征样本进行特征交叉，得到交叉特征。

S706，将长期行为画像样本输入机器学习模型训练，得到训练推送信息。

在一个实施例中，服务器获取用户设备所处的环境特征样本。S706具体可以包括：服务器通过机器学习模型中的第二网络层，对长期行为画像样本和环境特征样本进行全连接运算，得到长期行为样本特征。

在一个实施例中，训练推送信息包括训练媒体信息；该方法还包括：服务器获取用户特征样本和媒体特征样本。S706具体可以包括：通过机器学习模型中的第四网络层，对用户特征样本和媒体特征进行特征交叉样本，得到训练交叉特征；利用机器学习模型中的第五网络层，对训练交叉特征、短期行为训练特征和长期行为训练特征进行全连接运算，得到训练媒体信息点击率；依据训练媒体信息点击率，从待推送媒体信息中选取与用户的空闲时长匹配的训练媒体信息。

在一个实施例中，训练空闲状态包括训练空闲时间和训练空闲时长；上述通过机器学习模型确定待推送信息中与训练用户状态匹配的、且用户感兴趣的训练推送信息的步骤，具体可以包括：服务器通过机器学习模型确定待推送信息中与训练空闲时长匹配的、且用户感兴趣的训练推送信息。

其中，用户感兴趣的训练推送信息可以是：按照用户兴趣进行对待推送信息进行排序，排名满足条件的作为训练推送信息。

在一个实施例中，训练推送信息包括训练媒体信息；服务器获取用户特征样本和媒体特征样本。服务器通过机器学习模型中的序列表示层对应用程序内短期行为向量和应用程序外短期行为向量进行处理，得到短期行为训练特征。然后，服务器通过机器学习模型中的全连接网络层对长期行为画像样本和用户设备所处的环境特征样本进行处理，得到长期行为训练特征。此外，服务器通过机器学习模型中的第四网络层(如图5中的排序模型)对用户特征样本和媒体特征样本进行特征交叉，得到交叉特征。服务器利用机器学习模型中的第五网络层(如图5中的全连接网络层)，该对交叉特征、短期行为训练特征和长期行为训练特征进行全连接运算，得到媒体信息点击率；依据媒体信息点击率，从待推送媒体信息中选取与训练空闲时长匹配的、且用户感兴趣的训练媒体信息。其中，交叉特征可以是多阶交叉特征，如二阶交叉特征和三阶交叉特征等。

在一个实施例中，通过机器学习模型中的第四网络层对所提取的用户特征样本和媒体特征样本进行特征交叉处理，获得用于表示用户特征样本与媒体特征样本相关性的二阶交叉特征，利用机器学习模型中的第五网络层对二阶交叉特征、短期行为训练特征和长期行为训练特征进行全连接运算，得到媒体信息点击率。服务器依据媒体信息点击率，从待推送媒体信息中选取与训练空闲时长匹配的、且用户感兴趣的训练媒体信息。

在一个实施例中，机器学习模型中还可以包含有一个深度学习模型，通过该深度学习模型对所得的各二阶交叉特征进行交叉处理，获得用于表示用户子特征与媒体子特征相关性的高阶交叉特征；高阶交叉特征的阶数大于二阶交叉特征的阶数；将高阶交叉特征和二阶交叉特征进行组合得到多阶交叉特征。

其中，相关性可以是用户特征样本与媒体特征样本之间的关联关系。例如，若用户喜欢漫画，而待推送信息中正好有漫画，那么表示用户特征样本与对应的媒体特征样本之间存在较强的相关性。若用户只喜欢漫画，而待推送信息中却没有漫画，那么用户特征样本与媒体特征样本之间不具有相关性，或相关性弱。多阶交叉特征可以是2阶、3阶、…、n阶的交叉特征，这里的n为正整数。

用户特征样本、媒体特征样本和多阶交叉特征可以用矩阵或向量表示。

在一个实施例中，服务器根据媒体信息点击率计算待推送媒体信息的评分值；按照所计算的评分值对待推送媒体信息进行排序；从排序后的待推送媒体信息中，选取顺序满足预设条件的待推送媒体信息作为用户感兴趣的训练媒体信息。

在一个实施例中，服务器根据评分值的大小对待推送媒体信息进行降序排列；在排列后的待推送媒体信息中按照排列顺序选取待推荐的一个或多个训练媒体信息。

在一个实施例中，服务器还会获取用户账号，以便将所选取的训练媒体信息按照用户账号向用户设备进行推送，以在应用程序上显示训练媒体信息。此外，服务器还会向用户设备发送训练媒体信息的关联信息，该关联信息可以是训练媒体信息的来源和作者等信息。

S708，计算训练用户状态与用户参考状态之间的第一差异值，以及计算训练推送信息和参考推送信息之间的第二差异值。

在一个实施例中，服务器可以采用均方误差损失函数计算训练用户状态与用户参考状态之间的第一差异值，以及，服务器可以采用二元交叉熵损失计算训练推送信息和参考推送信息之间的第二差异值。此外，还可以采用其它损失函数计算得到第一差异值和第二差异值。

S710，根据第一差异值和第二差异值调整机器学习模型中的参数，直至机器学习模型收敛。

其中，机器学习模型收敛可以是第一差异值和第二差异值均达到训练停止条件，如第一差异值和第二差异值均为零，或均小于一个足够小的损失阈值。

在一个实施例中，S710具体可以包括：服务器根据第一差异值对机器学习模型中的第一网络层、第二网络层和第三网络层进行参数调整；以及，根据第二差异值对机器学习模型中的第一网络层、第二网络层、第四网络层和第五网络层进行参数调整。

在一个实施例中，服务器在计算出第一差异值和第二差异值之后，将第一差异值反向传播到机器学习模型的第一网络层、第二网络层和第三网络层，获得对于第一网络层、第二网络层和第三网络层中参数的梯度；根据该梯度调整第一网络层、第二网络层和第三网络层的参数。此外，服务器将第二差异值反向传播到机器学习模型的第一网络层、第二网络层、第四网络层和第五网络层，获得对于第一网络层、第二网络层、第四网络层和第五网络层中参数的梯度；根据该梯度调整第一网络层、第二网络层、第四网络层和第五网络层的参数。

上述实施例中，利用数据样本对机器学习模型中各个网络层的参数进行优化，得到训练好的机器学习模型，从而可以利用该机器学习模型进行用户状态的预测和目标推荐信息的预测，以便确保推送信息时用户处于空闲状态，并且所推送的信息是用户感兴趣的，使得用户所接收的信息是空闲状态下最新接收的信息，从而可以有效地吸引用户点击，提高信息点击率，达到信息推送的效果。

作为一个示例，本方案提出了一种寻找用户空间状态与文章推荐相结合的信息推送方案，用于解决用户空闲与文章兴趣匹配之间平衡问题。本方案对现有的推送方案进行了改进，通过从用户的长期行为画像与短期的用户行为数据对用户空闲状态进行精准预估，设计了End2End的机器学习模型，同时考虑了文章兴趣匹配与用户的空闲状态，平衡用户空闲与文章兴趣匹配的关系，此外也考虑用户空闲时间大小，排序更加准确。

本方案的主要应用场景为社交应用的看点日报推送以及看点tab的红点推送。如图8所示，左图是社交应用中的消息列表，看点日报会进行红点推送。右图为点进看点日报后的feed信息流。

本方案的主要目的是从推送角度，寻找更加合理的推送时间，并希望用户能够在其信息流产品进行点击阅读。

此外，该技术方案的应用场景除了社交应用中的看点日报与QQ看点的推送之外，还可以应用于一些其他场景，如：

a)社交应用中的公众号推送；

b)资讯应用中的消息推送；

c)支付应用中的生活号推送；

d)视频网站以及短视频应用中的视频推送。

图5是本方案的核心模型框架，具体过程分为基于图5模型的算法流程、训练阶段(利用已有数据训练图5模型中的参数)以及应用阶段(将训练好的机器学习模型提供给线上服务)。

(1)算法流程

整个机器学习模型的输入有APP(Application，应用程序)内行为数据、APP外行为数据、长期行为画像、环境特征、文章特征和用户特征。APP内行为数据包括但不限于点击应用程序中的主菜单、点击各个子功能、在应用程序中的停留时长和在应用程序中阅读文章等行为数据。APP外行为数据包括但不限于用户设备的亮屏时间、操作用户设备中各应用程序的时间分布和用户设备操作次数等行为数据。环境特征包括当时时间，手机是否处于运动中等。长期行为画像指的是根据用户历史空闲时间建立的画像。

其中，文章特征包括文章的点击和曝光转化率、文章的长度、字数、需要阅读时间、看了多少内容和展现形式(展现形式如图形排版、是否以缩略图展示等)。

S1，分别对APP内行为数据和APP外行为数据进行Embedding嵌入，该两个行为数据若长度超过固定值则截断，反之则在末尾补空。假设嵌入的维度为D，对长度分别为n的序列Embedding嵌入后可以得到长度为D×n用户行为向量。

S2，将上述的两条用户行为向量通过RNN循环神经网络进行得到用户行为的序列深度表示，并通过全连接网络层对长期行为画像和用户设备的环境特征相结合，输出目标1。其中，目标1用来学习用户在当前时间点是否有阅读文章的空闲时间，用回归损失函数来拟合用户空闲时长。

S3，文章特征与用户特征输入排序模型，并结合第2步中用户行为数据的深度表示与环境特征、长期行为画像输出目标2。其中，目标2为用户在当前场景下对某一篇推送文章的阅读概率。

(2)训练阶段

在应用之前，首先需要对(1)中算法里的机器学习模型进行训练。在当前应用场景中，数据中同时存在大量可分数据和细粒度差异数据，仅仅采用已有的单目标训练方式收敛较困难，模型解释性差。因此，本方案在初始训练数据的基础上，提出一种多目标优化方式，对机器学习进行训练以同时优化上述两个目标，并且结合当前场景分别对每个目标的过程进行改进优化。整体训练流程如图9所示。

具体训练过程如下：

S1，初始训练数据准备。首先，从原始海量的用户推送日志中获取原始记录，每条记录由用户基本信息(如用户名称)、曝光文章和用户点击结果组成。然后通过用户基本信息获取用户行为数据、用户的长期行为画像和用户特征等，此外还获取用户设备的环境特征。在上述用户行为数据、曝光文章的文章特征、用户点击结果和环境特征等数据基础上，利用一些规则过滤部分噪声数据(如曝光时间与推送时间间隔时间较大的数据)，获得初始训练数据(数据形式和初始保持一致)。

S2(优化目标1)，基于用户消费行为的回归优化。该目标的原理是将用户推送结果假定为两类，一类是完全忽略推送结果，没有进行任何操作。这部分用户标签记为0，另一类用户点击了推送消息并进入了对应的APP，这部分用户的标签为其在APP内的停留时长T。在本实施例的方案中，可以采用Adam优化算法以及mean square error loss优化目标在消费时长训练集上训练该模型直至收敛。

S3(优化目标2)，基于用户点击行为的分类优化。上一部分的模型能将用户是否有空闲时间与其空闲时长学习出来。这一部分将学习推送文章排序是否准确，同样将用户分为两类：一类是点击了推送文章，则记为1；另一类是没有点击推送文章，则记为0。在本实施例的方案中，可以采用Adam优化算法以及Binary cross entropy loss优化目标在分类训练集上训练该模型直至收敛。

针对提出的多目标优化，本实施例的方案可采用分阶段训练的方式来优化每个目标，也可采用同时优化或者交替式优化的方法。

(3)应用阶段

机器学习模型训练完之后，即可部署提供线上服务，具体应用过程如下:

S1，后台根据推送触发条件对当前用户及文章进行打分排序；

S2，若排名靠前的文章，其评分值高于一定阈值时，则获取这部分评分值对应的文章进行推送，否则继续等待；

S3，等待下一个推送触发条件，返回执行S1和S2，直至推送完成。

通过上述机器学习模型，可以具有一下有益效果：

1)相比传统方案先判断用户是否空闲，再选择推送文章的方式，本方案通过一个End2End模型直接输出用户推送文章预计点击概率，平衡了文章与用户兴趣匹配与用户是否空闲的矛盾，简化了推送流程。

2)相比传统方案中的排序模型，模型获得了用户空闲时间长短信息，能够更加针对性对用户进行文章个性化排序。

图2、7为一个实施例中信息推送方法的流程示意图。应该理解的是，虽然图2、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图10所示，在一个实施例中，提供了一种信息推送装置，该信息推送装置具体包括：获取模块1002、处理模块1004、确定模块1006和推送模块1008；其中：

获取模块1002，用于获取用户行为数据；

处理模块1004，用于通过机器学习模型对用户行为数据进行处理，得到用户状态；

确定模块1006，用于当根据用户状态确定用户当前处于空闲状态时，通过机器学习模型确定待推送信息中与用户状态匹配的、且用户感兴趣的目标推送信息；

推送模块1008，用于向用户设备推送目标推送信息。

在一个实施例中，用户行为数据包括用户的短期行为数据和长期行为画像；处理模块1004还用于通过机器学习模型中的第一网络层对短期行为数据进行处理，得到短期行为特征；以及，通过机器学习模型中的第二网络层对长期行为画像进行处理，得到长期行为特征；利用机器学习模型中的第三网络层，对短期行为特征和长期行为特征进行全连接运算，得到用户状态。

在一个实施例中，短期行为数据包括应用程序内行为数据和应用程序外行为数据；如图11所示，该装置还包括：转换模块1010；其中：

转换模块1010，用于将应用程序内行为数据转换为应用程序内的第一稠密型行为向量；将应用程序外行为数据转换为应用程序外的第二稠密型行为向量；

处理模块1004，还用于通过机器学习模型中的第一网络层，对第一稠密型行为向量和第二稠密型行为向量进行特性交叉处理，得到短期行为特征。

在一个实施例中，获取模块1002，还用于获取用户设备所处的环境特征；

处理模块1004还用于通过机器学习模型中的第二网络层，对长期行为画像和环境特征进行全连接运算，得到长期行为特征。

在一个实施例中，空闲状态包括空闲时间和空闲时长；确定模块1006，还用于通过机器学习模型确定待推送信息中与空闲时长匹配的、且用户感兴趣的目标推送信息；

推送模块1008，还用于当到达空闲时间时，向用户设备推送目标推送信息。

在一个实施例中，待推送信息包括待推送媒体信息，目标推送信息包括目标媒体信息；获取模块1002，还用于获取用户特征和媒体特征；

确定模块1006，还用于通过机器学习模型中的第四网络层，对用户特征和媒体特征进行特征交叉，得到交叉特征；利用机器学习模型中的第五网络层，对交叉特征、短期行为特征和长期行为特征进行全连接运算，得到媒体信息点击率；依据媒体信息点击率，从待推送媒体信息中选取与空闲时长匹配的、且用户感兴趣的目标媒体信息。

在一个实施例中，确定模块1006，还用于根据媒体信息点击率计算待推送媒体信息的评分值；按照所计算的评分值对待推送媒体信息进行排序；从排序后的待推送媒体信息中，选取顺序满足预设条件的待推送媒体信息作为用户感兴趣的目标媒体信息。

上述实施例中，通过用户行为数据来确定用户状态，根据用户状态确定用户当前是否处于空闲状态，若是，则可以按照用户状态通过机器学习模型确定待推送信息中确定匹配的且用户感兴趣的目标推送信息，同时考虑了用户是否空闲状态以及用户兴趣，可以确保推送信息时用户处于空闲状态，并且所推送的信息是用户感兴趣的，使得用户所接收的信息是空闲状态下最新接收的信息，从而可以有效地吸引用户点击，提高信息点击率，达到信息推送的效果。

在一个实施例中，该装置还包括：计算模块1012和调整模块1014；其中：

获取模块1002，还用于获取用户行为数据样本、用户参考状态和参考推送信息；用户行为数据样本包括用户的短期行为数据样本和长期行为画像样本；

处理模块1004，还用于将短期行为数据样本输入机器学习模型训练，得到训练用户状态；

确定模块1006，还用于将长期行为画像样本输入机器学习模型训练，得到训练推送信息；

计算模块1012，用于计算训练用户状态与用户参考状态之间的第一差异值，以及计算训练推送信息和参考推送信息之间的第二差异值；

调整模块1014，用于根据第一差异值和第二差异值调整机器学习模型中的参数，直至机器学习模型收敛。

在一个实施例中，短期行为数据样本包括应用程序内行为数据样本和应用程序外行为数据样本处理模块1004，还用于通过机器学习模型中的第一网络层，对应用程序内行为数据样本和应用程序外行为数据样本进行处理，得到短期行为训练特征；通过机器学习模型中的第二网络层对长期行为画像样本进行处理，得到长期行为训练特征；利用机器学习模型中的第三网络层，对短期行为特征样本和长期行为特征样本进行全连接运算，得到训练用户状态。

在一个实施例中，获取模块1002，还用于获取用户设备所处的环境特征样本；

确定模块1006，还用于通过机器学习模型中的第二网络层，对长期行为画像样本和环境特征样本进行全连接运算，得到长期行为样本特征。

在一个实施例中，训练推送信息包括训练媒体信息；获取模块1002，还用于获取用户特征样本和媒体特征样本；

确定模块1006，还用于通过机器学习模型中的第四网络层，对用户特征样本和媒体特征进行特征交叉样本，得到训练交叉特征；利用机器学习模型中的第五网络层，对训练交叉特征、短期行为训练特征和长期行为训练特征进行全连接运算，得到训练媒体信息点击率；依据训练媒体信息点击率，从待推送媒体信息中选取与用户的空闲时长匹配的训练媒体信息。

在一个实施例中，调整模块1014，还用于根据第一差异值对机器学习模型中的第一网络层、第二网络层和第三网络层进行参数调整；以及，根据第二差异值对机器学习模型中的第一网络层、第二网络层、第四网络层和第五网络层进行参数调整。

上述实施例中，利用数据样本对机器学习模型中各个网络层的参数进行优化，得到训练好的机器学习模型，从而可以利用该机器学习模型进行用户状态的预测和目标推荐信息的预测，以便确保推送信息时用户处于空闲状态，并且所推送的信息是用户感兴趣的，使得用户所接收的信息是空闲状态下最新接收的信息，从而可以有效地吸引用户点击，提高信息点击率，达到信息推送的效果。

图12示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图10所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现信息推送方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行信息推送方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的信息推送装置可以实现为一种计算机程序的形式，计算机程序可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该信息推送装置的各个程序模块，比如，图10所示的获取模块1002、处理模块1004、确定模块1006和推送模块1008。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的信息推送方法中的步骤。

例如，图12所示的计算机设备可以通过如图10所示的信息推送装置中的获取模块1002执行S202。计算机设备可通过处理模块1004执行S204。计算机设备可通过确定模块1006执行S206。计算机设备可通过推送模块1008执行S208。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述信息推送方法的步骤。此处信息推送方法的步骤可以是上述各个实施例的信息推送方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述信息推送方法的步骤。此处信息推送方法的步骤可以是上述各个实施例的信息推送方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种信息推送方法，包括：

获取用户行为数据；

通过机器学习模型对所述用户行为数据进行处理，得到用户状态；

当根据所述用户状态确定用户当前处于空闲状态时，通过所述机器学习模型确定待推送信息中与所述用户状态匹配的、且用户感兴趣的目标推送信息；

向用户设备推送所述目标推送信息。

2.根据权利要求1所述的方法，其特征在于，所述用户行为数据包括用户的短期行为数据和长期行为画像；所述通过机器学习模型对所述用户行为数据进行处理，得到用户状态包括：

通过机器学习模型中的第一网络层对所述短期行为数据进行处理，得到短期行为特征；以及，

通过所述机器学习模型中的第二网络层对所述长期行为画像进行处理，得到长期行为特征；

利用所述机器学习模型中的第三网络层，对所述短期行为特征和所述长期行为特征进行全连接运算，得到用户状态。

3.根据权利要求2所述的方法，其特征在于，所述短期行为数据包括应用程序内行为数据和应用程序外行为数据；所述方法还包括：

将所述应用程序内行为数据转换为应用程序内的第一稠密型行为向量；

将所述应用程序外行为数据转换为应用程序外的第二稠密型行为向量；

所述通过机器学习模型中的第一网络层对所述短期行为数据进行处理，得到短期行为特征包括：

通过机器学习模型中的第一网络层，对所述第一稠密型行为向量和所述第二稠密型行为向量进行特性交叉处理，得到短期行为特征。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述用户设备所处的环境特征；

所述通过所述机器学习模型中的第二网络层对所述长期行为画像进行处理，得到长期行为特征包括：

通过所述机器学习模型中的第二网络层，对所述长期行为画像和所述环境特征进行全连接运算，得到长期行为特征。

5.根据权利要求2所述的方法，其特征在于，所述空闲状态包括空闲时间和空闲时长；所述通过所述机器学习模型确定待推送信息中与所述用户状态匹配的、且用户感兴趣的目标推送信息包括：

通过所述机器学习模型确定待推送信息中与所述空闲时长匹配的、且用户感兴趣的目标推送信息；

所述向用户设备推送所述目标推送信息包括：

当到达所述空闲时间时，向用户设备推送所述目标推送信息。

6.根据权利要求5所述的方法，其特征在于，所述待推送信息包括待推送媒体信息，所述目标推送信息包括目标媒体信息；所述方法还包括：

获取用户特征和媒体特征；

所述通过所述机器学习模型确定待推送信息中与所述空闲时长匹配的、且用户感兴趣的目标推送信息包括：

通过所述机器学习模型中的第四网络层，对所述用户特征和所述媒体特征进行特征交叉，得到交叉特征；

利用所述机器学习模型中的第五网络层，对所述交叉特征、所述短期行为特征和所述长期行为特征进行全连接运算，得到媒体信息点击率；

依据所述媒体信息点击率，从所述待推送媒体信息中选取与所述空闲时长匹配的、且用户感兴趣的目标媒体信息。

7.根据权利要求6所述的方法，其特征在于，所述依据所述媒体信息点击率，从所述待推送媒体信息中选取与所述空闲时长匹配的、且用户感兴趣的目标媒体信息包括：

根据所述媒体信息点击率计算所述待推送媒体信息的评分值；

按照所计算的评分值对所述待推送媒体信息进行排序；

从排序后的所述待推送媒体信息中，选取顺序满足预设条件的待推送媒体信息作为用户感兴趣的目标媒体信息。

8.根据权利要求2至7中任一项所述的方法，其特征在于，还包括：

获取用户行为数据样本、用户参考状态和参考推送信息；所述用户行为数据样本包括用户的短期行为数据样本和长期行为画像样本；

将所述短期行为数据样本输入所述机器学习模型训练，得到训练用户状态；

将所述长期行为画像样本输入所述机器学习模型训练，得到训练推送信息；

计算所述训练用户状态与所述用户参考状态之间的第一差异值，以及计算所述训练推送信息和所述参考推送信息之间的第二差异值；

根据所述第一差异值和所述第二差异值调整所述机器学习模型中的参数，直至所述机器学习模型收敛。

9.根据权利要求8所述的方法，其特征在于，所述短期行为数据样本包括应用程序内行为数据样本和应用程序外行为数据样本；所述将所述短期行为数据样本输入所述机器学习模型训练，得到训练用户状态包括：

通过机器学习模型中的第一网络层，对所述应用程序内行为数据样本和所述应用程序外行为数据样本进行处理，得到短期行为训练特征；

通过所述机器学习模型中的第二网络层对所述长期行为画像样本进行处理，得到长期行为训练特征；

利用所述机器学习模型中的第三网络层，对所述短期行为特征样本和所述长期行为特征样本进行全连接运算，得到训练用户状态。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

获取所述用户设备所处的环境特征样本；

所述将所述长期行为画像样本输入所述机器学习模型训练，得到训练推送信息包括：

通过所述机器学习模型中的第二网络层，对所述长期行为画像样本和所述环境特征样本进行全连接运算，得到长期行为样本特征。

11.根据权利要求9所述的方法，其特征在于，所述训练推送信息包括训练媒体信息；所述方法还包括：

获取用户特征样本和媒体特征样本；

所述将所述长期行为画像样本输入所述机器学习模型训练，得到训练推送信息包括：

通过所述机器学习模型中的第四网络层，对所述用户特征样本和所述媒体特征进行特征交叉样本，得到训练交叉特征；

利用所述机器学习模型中的第五网络层，对所述训练交叉特征、所述短期行为训练特征和长期行为训练特征进行全连接运算，得到训练媒体信息点击率；

依据所述训练媒体信息点击率，从待推送媒体信息中选取与用户的空闲时长匹配的训练媒体信息。

12.根据权利要求11所述的方法，其特征在于，所述根据所述第一差异值和所述第二差异值调整所述机器学习模型中的参数包括：

根据所述第一差异值对所述机器学习模型中的第一网络层、第二网络层和第三网络层进行参数调整；以及，

根据所述第二差异值对所述机器学习模型中的第一网络层、第二网络层、第四网络层和第五网络层进行参数调整。

13.一种信息推送装置，其特征在于，所述装置包括：

获取模块，用于获取用户行为数据；

处理模块，用于通过机器学习模型对所述用户行为数据进行处理，得到用户状态；

确定模块，用于当根据所述用户状态确定用户当前处于空闲状态时，通过所述机器学习模型确定待推送信息中与所述用户状态匹配的、且用户感兴趣的目标推送信息；

推送模块，用于向用户设备推送所述目标推送信息。

14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。

Images