CN113032064A

CN113032064A - 一种确定执行弹窗的方法和装置及设备

Info

Publication number: CN113032064A
Application number: CN201911360556.0A
Authority: CN
Inventors: 王天驹; 叶璨; 韩帅
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2021-06-25

Abstract

本公开提供一种确定执行弹窗的方法和装置及设备，包括：采集应用程序运行的第一环境状态的信息，其中，应用程序上登录有平台账户；确定在第一环境状态下，分别在执行发送弹窗和不发送弹窗的情况下，平台账户通过应用程序所执行的操作以及应用程序的状态变化；基于上述操作和应用程序的状态变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，其中，目标指标用于确定应用程序的运行状态是否符合预定要求；比较发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗。本公开可以通过发送弹窗和不发送弹窗对应的目标指标的参数，是否发送弹窗，解决现有技术中弹窗策略缺少个性化及不准确的问题。

Description

一种确定执行弹窗的方法和装置及设备

技术领域

本公开涉及机器学习领域，特别涉及一种确定执行弹窗的方法和装置及设备。

背景技术

移动终端应用程序APP的弹窗是实现告知平台账户事件的重要交互形式，例如在流量不充足的时候，弹窗可以用来提醒平台账户当前可能产生较多移动资费等。目前市面上的APP产品，确定弹窗策略主要包括如下两种方式：

方式一、基于规则确定弹窗策略，即设定若干指定条件，若满足该若干指定条件则产生弹窗行为，否则不产生弹窗行为；但该方式下，由于针对所有平台账户使用同样的弹窗规则，不能根据不同平台账户的偏好差异进行改变，缺少个性化，不能保证不同偏好平台账户的使用体验。

方式二、根据监督学习模型决定是否产生弹窗行为，但该方式下，由于监督学习模型只根据平台账户短期内对弹窗的点击进行监督学习，因此监督学习模型缺少对于平台账户长期行为习惯的适应性，难以根据平台账户长期对弹窗点击情况进行监督学习，通过该模型决定是否产生弹窗行为并不精确。

发明内容

本公开提供了一种确定执行弹窗的方法和装置及设备，用以解决现有技术不能根据不同平台账户的偏好差异进行改变，缺少个性化及缺少对于平台账户长期行为习惯的适应性，难以根据平台账户长期对弹窗点击情况进行监督学习的问题。

根据本公开实施例的第一方面，提供一种确定执行弹窗的方法，该方法包括：

采集应用程序运行的第一环境状态的信息，其中，所述应用程序上登录有平台账户；

确定在所述第一环境状态下，分别在执行发送弹窗和不发送弹窗的情况下，所述平台账户通过所述应用程序所执行的操作以及所述应用程序的状态变化；

基于上述操作和所述应用程序的状态变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，其中，所述目标指标用于确定所述应用程序的运行状态是否符合预定要求；

比较所述发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗。

可选地，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，包括：

根据上述操作和所述应用程序的状态变化，确定影响目标指标的参数的至少一个指标影响参数；

确定发送弹窗和不发弹窗分别对应的至少一个指标影响参数，并根据各指标影响参数确定发送弹窗对应的目标指标的参数。

可选地，所述至少一个指标影响参数包括正向响应操作占比，确定发送弹窗和不发弹窗分别对应的至少一个指标影响参数，包括：

将当前发送弹窗和不发送弹窗后应用程序的状态变化，分别与历史发送弹窗后的正向响应操作及对应的应用程序的状态变化对比，确定发送弹窗和不发送弹窗后正向响应操作占比的变化；或者

将当前发送弹窗和不发送弹窗后应用程序的状态变化，分别与历史发送弹窗后的负向响应操作及对应的应用程序的状态变化对比，确定发送弹窗和不发送弹窗后正向响应操作占比的变化。

可选地，确定历史发送弹窗后的正向响应操作及对应的应用程序的状态变化，及负向响应操作及对应的应用程序的状态变化，包括如下至少一个步骤：

根据历史正向响应操作和负向响应操作分别对应的弹窗时间，确定对应的预设时间段的弹窗正向响应频率或弹窗负向响应频率；

根据历史正向响应操作和负向响应操作分别对应的弹窗内容，确定不同内容类型弹窗的正向响应频率或负向响应频率；

根据历史正向响应操作和负向响应操作分别对应的弹窗时间，确定未执行正向响应操作的时间间隔。

可选地，比较所述发送弹窗和不发送弹窗对应的目标指标的参数，包括：

确定到达预设决策周期时，确定并比较所述发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗。

可选地，所述至少一个指标影响参数包括平台账户的电子资源账户变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，包括：

基于上述操作和所述应用程序的状态变化，确定发送弹窗和不发送弹窗对应的当前时间段内平台账户的电子资源账户变化；

根据发送弹窗对应的电子资源账户变化，得到发送弹窗对应的目标指标的参数，根据不发送弹窗对应的电子资源账户变化，得到发送弹窗对应的目标指标的参数。

可选地，基于比较结果，确定是否发送弹窗，包括：

比较所述发送弹窗和不发送弹窗对应的目标指标的参数，确定所述应用程序的运行状态更符合预定要求的目标指标的参数，根据该目标指标的参数确定发送弹窗或不发送弹窗。

可选地，采集应用程序运行的第一环境状态的信息，包括如下至少一个步骤：

采用与所述平台账户相关的不同类型的平台账户信息，针对每一类型的平台账户信息，根据该类型的不同平台账户信息与码字的映射关系，将类型的平台账户信息，映射为对应的码字；

采集不同类型的应用程序运行的上下文环境信息，针对每一类型的上下文环境信息，根据该类型的上下文环境信息与码字的映射关系，将类型的平台账户信息，映射为对应的码字。

根据本公开实施例的第二方面，提供一种确定执行弹窗的装置，包括：

采集单元，被配置为执行采集应用程序运行的第一环境状态的信息，其中，所述应用程序上登录有平台账户；

确定单元，被配置为执行确定在所述第一环境状态下，分别在执行发送弹窗和不发送弹窗的情况下，所述平台账户通过所述应用程序所执行的操作以及所述应用程序的状态变化；

参数确定单元，被配置为执行基于上述操作和所述应用程序的状态变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，其中，所述目标指标用于确定所述应用程序的运行状态是否符合预定要求；

弹窗确定单元，被配置为执行比较所述发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗。

可选地，所述参数确定单元被配置执行分别确定发送弹窗和不发送弹窗对应的目标指标的参数，具体用于：

可选地，所述参数确定单元被配置为所述至少一个指标影响参数包括正向响应操作占比，确定发送弹窗和不发弹窗分别对应的至少一个指标影响参数，具体用于：

可选地，所述参数确定单元被配置为执行确定历史发送弹窗后的正向响应操作及对应的应用程序的状态变化，及负向响应操作及对应的应用程序的状态变化，包括如下至少一个步骤：

可选地，所述参数确定单元被配置为执行比较所述发送弹窗和不发送弹窗对应的目标指标的参数，具体用于：

可选地，所述参数确定单元被配置为所述至少一个指标影响参数包括平台账户的电子资源账户变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，包括：

可选地，所述弹窗确定单元被配置为执行基于比较结果，确定是否发送弹窗，具体用于：

可选地，所述采集单元被配置为执行采集应用程序运行的第一环境状态的信息，包括如下至少一个步骤：

根据本公开实施例的第三方面，提供一种确定执行弹窗的设备，包括：存储单元、处理单元；

其中，所述存储单元用于存储程序；

所述处理单元用于执行所述存储单元中的程序，包括如下步骤：

第四方面，本公开还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第一方面所述方法的步骤。

第五方面，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意一项的音视频预加载方法。

另外，第二方面至第五方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

利用本公开提供的一种确定执行弹窗的方法和装置及设备，具有以下有益效果：

本公开提供的一种确定执行弹窗的方法和装置及设备，可以在应用程序运行的第一环境状态下，通过分别执行发送弹窗和不发送弹窗情况下平台账户的操作以及应用程序的状态变化，得到执行发送弹窗和不发送弹窗对应的目标指标的参数，进而确定是否发送弹窗，本公开可以基于环境状态信息确定是否发弹窗，并且根据平台账户个性化选择是否进行弹窗。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例中提供的一种确定执行弹窗的方法示意图；

图2为本公开实施例中提供的一种确定执行弹窗的方法示意图；

图3为本公开实施例中提供的一种确定执行弹窗的装置示意图；

图4为本公开实施例中提供的一种确定执行弹窗的设备结构示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

为了方便理解，下面对本公开实施例中涉及的名词进行解释：

强化学习(Reinforcement Learning，RL)：又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

移动终端应用程序的弹窗是实现告知平台账户事件的重要交互形式，现有技术确认弹窗策略的方式中，基于规则确定弹窗策略，不能根据不同平台账户的偏好差异进行改变，缺少个性化；根据监督学习模型决定是否产生弹窗行为，缺少对于平台账户长期行为习惯的适应性，难以根据平台账户长期对弹窗点击情况进行监督学习。

当前的机器学习算法大致可以分为有监督的学习、无监督的学习和强化学习等。强化学习是Agent(智能体)通过与环境的交互学习从环境状态到行为映射，以使奖励信号函数值最大的一种学习算法。如果智能体的某个行为策略导致环境正向的奖赏，那么智能体以后产生这个行为策略的趋势便会加强。强化学习是最接近于自然界动物学习的本质的一种学习方式。与深度学习结合，解决了海量数据的泛化问题。

实施例1

鉴于现有的移动终端应用程序的弹窗缺少个性化、缺少对平台账户长期行为习惯的适应性的问题，基于上述强化学习的方式，本公开提出一种确定执行弹窗的方法，如图1所示，包括：

步骤S101，采集应用程序运行的第一环境状态的信息，其中，所述应用程序上登录有平台账户；

上述第一环境状态的信息，主要包括两方面的信息，一方面的信息为与所述平台账户相关的不同类型的平台账户信息，另一方面的信息为不同类型的应用程序运行的上下文环境信息。

1)与所述平台账户相关的不同类型的平台账户信息

与平台账户相关的信息可以但不限于包括：平台账户的基本信息、平台账户对应的历史弹窗操作信息等。

2)不同类型的应用程序运行的上下文环境信息

应用程序运行的上下文环境信息可以但不限于包括：运行上述应用程序的设备相关信息、应用程序的运行时间信息、应用程序的关闭时间信息、导致平台账户执行弹窗操作的应用程序运行的内容信息以及采集时刻的时间信息等。

可选地，应用程序运行的上下文环境信息，还包括弹窗种类的信息，根据弹窗功能不同，应用程序对应的弹窗种类也分为多种，包括：

1)流量提醒弹窗，如使用移动网络播放视频时的弹窗提醒；

2)推荐卡片类型弹窗，例如推荐平台账户购买免流量卡；

3)产品功能提醒弹窗，例如提醒平台账户有新版本应用可以更新；

除上述列出的弹窗种类外实际应用中还有很多其他弹窗种类，在此不做赘述。

应用程序上登录有平台账户，根据平台账户通过应用程序执行操作，本公开实施例中通过不同平台账户执行的不同操作，可以对应确定是否执行不同的弹窗操作，实现个性化弹窗。

步骤S102，确定在所述第一环境状态下，分别在执行发送弹窗和不发送弹窗的情况下，所述平台账户通过所述应用程序所执行的操作以及所述应用程序的状态变化；

在第一环境状态下，执行发送弹窗的情况下，平台账户通过应用程序执行的操作可以但不限于包括确认弹窗消息、取消弹窗消息以及关闭弹窗消息，应用程序的状态变化包括执行上述操作后应用程序的使用时长状态等。

步骤S103，基于上述操作和所述应用程序的状态变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，其中，所述目标指标用于确定所述应用程序的运行状态是否符合预定要求；

本实施例中上述目标指标可以但不限于为一用于确定应用程序的运行状态是否符合预定要求的一评价值，得到上述评价值可以依据至少一个指标影响参数，该至少一个指标影响参数按照一定的规则确定评价值，如分别加权求和等，作为一种可选的实施方式，根据上述操作和所述应用程序的状态变化，确定影响目标指标的参数的至少一个指标影响参数；确定发送弹窗和不发弹窗分别对应的至少一个指标影响参数，并根据各指标影响参数确定发送弹窗对应的目标指标的参数。

基于多个指标影响参数来确定目标指标的参数，得到弹窗和不弹窗对应的弹窗策略可以实现多个角度的综合优化。

步骤S104，比较所述发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗。

如前所述，目标指标的参数用于评价确定所述应用程序的运行状态是否符合预定要求，作为一种可选的实施方式，比较发送弹窗和不发送弹窗对应的目标指标的参数，确定所述应用程序的运行状态更符合预定要求的目标指标的参数，根据该目标指标的参数确定发送弹窗或不发送弹窗，以用于确定应用程序的运行状态是否符合预定要求的一评价值为例，则确定发送弹窗对应的评价值和不发送弹窗对应的评价值哪个更大，则执行对应的发送弹窗和不发送弹窗。

本实施例中提供的确定执行弹窗的方法，基于上述操作和所述应用程序的状态变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，更容易得到平台账户的个性特征，选择更符合预定要求的弹窗策略来执行发送弹窗或不发送弹窗，能够更高效率适用平台账户需求。

作为一种可选的实施方式，上述影响发送弹窗和不发弹窗对应目标指标的参数的指标影响参数包括正向响应操作占比或负向响应操作；

作为另一种可选的实施方式，上述影响发送弹窗和不发弹窗对应目标指标的参数的指标影响参数包括平台账户的电子资源账户变化；

作为另一种可选的实施方式，上述影响发送弹窗和不发弹窗对应目标指标的参数的指标影响参数包括正向响应操作占比、负向响应操作和平台账户的电子资源账户变化，在同时包括多个指标影响参数时，可以按照相应的计算策略如加权求和得到目标指标的参数。

实施中可以采用上述任一方式，指标影响参数可以但不限于上述两个指标影响参数，还可以包括更多其他可以根据操作和所述应用程序的状态变化，按照相应的规则计算出的参数，下面给出上述其中两种方式下对应的具体实施步骤。

方式一，上述指标影响参数包括正向响应操作占比或负向响应操作占比

确定发送弹窗和不发送弹窗对应的正向响应操作占比，包括以下方式：基于上述操作和所述应用程序的状态变化，确定平台账户在发送弹窗后执行操作包括正向响应操作，正向响应操作包括平台账户确认弹窗消息以及确认弹窗消息后应用程序的使用时长等；

将当前发送弹窗和不发送弹窗后应用程序的状态变化，分别与历史发送弹窗后的正向响应操作及对应的应用程序的状态变化对比，确定发送弹窗和不发送弹窗后正向响应操作占比的变化；

可选地，当指标影响参数对应为弹窗确认率时，对应的正向响应操作为平台账户执行弹窗确认消息，当当前发送弹窗后平台账户执行的确认弹窗操作及对应应用程序的状态与历史发送弹窗后的确认弹窗操作及对应的应用程序的状态变化一致，则弹窗确认率增加，若不一致，则弹窗确认率减少，若当前不发送弹窗，则弹窗确认率不变。

确定发送弹窗和不发送弹窗对应的负向响应操作占比，包括以下方式：基于上述操作和所述应用程序的状态变化，确定平台账户在发送弹窗后执行操作包括负向响应操作，负向响应操作包括平台账户关闭弹窗消息和取消弹窗消息等；

将当前发送弹窗和不发送弹窗后应用程序的状态变化，分别与历史发送弹窗后的负向响应操作及对应的应用程序的状态变化对比，确定发送弹窗和不发送弹窗后负向响应操作占比的变化，当当前发送弹窗后平台账户执行的弹窗关闭操作或弹窗取消操作及对应应用程序的状态与历史发送弹窗后的弹窗关闭操作或弹窗取消操作及对应的应用程序的状态变化一致，则弹窗确认率减少，若不一致，则弹窗确认率增加，若当前不发送弹窗，则弹窗确认率不变。

上述确定历史发送弹窗后的正向响应操作及对应的应用程序的状态变化，及负向响应操作及对应的应用程序的状态变化，包括如下至少一个步骤：

1)根据历史正向响应操作和负向响应操作分别对应的弹窗时间，确定对应的预设时间段的弹窗正向响应频率或弹窗负向响应频率；

根据平台账户对弹窗的历史操作信息统计，能够在一定程度上反映出平台账户的个性化的弹窗习惯，通过统计某个时间段内或某个时间平台账户对于弹窗的操作信息，可以得到对应的预设时间内平台账户对应的弹窗正向响应频率和弹窗负向响应频率，若平台账户在某个时间段对于弹窗的正向响应频率比较高，则应用程序可以针对性的在该时间段内增加弹窗的次数，那么可以得到较高的弹窗确认率，相对应的可以增加目标指标的参数，同时可以针对该平台账户制定个性化的弹窗策略。

2)根据历史正向响应操作和负向响应操作分别对应的弹窗内容，确定不同内容类型弹窗的正向响应频率或负向响应频率；

通过统计平台账户对不同内容类型弹窗的操作信息，可以得到平台账户对不同内容类型弹窗的正向响应频率和负向响应频率，若平台账户对于某种内容类型弹窗的正向响应频率较高，则应用程序可以针对性的增加该内容类型的弹窗，那么可以得到较高的弹窗确认率，反之，若平台账户对于某种内容类型弹窗的负向响应频率较高，则应用程序应减少该内容类型的弹窗，以期获得更高的目标指标的参数，同时可以针对该平台账户制定个性化的弹窗策略。

3)根据历史正向响应操作和负向响应操作分别对应的弹窗时间，确定未执行正向响应操作的时间间隔；

通过统计平台账户的历史正向响应操作和负向响应操作分别对应的时间，可以得到该平台账户未执行正向响应操作的时间间隔，根据上述时间间隔可以得到该平台账户对于弹窗操作的习惯，将上述时间间隔进行加权求平均得到平均时间间隔，若应用程序在上述平均时间间隔以上的时间内为平台账户发送弹窗，那么可以得到较高的弹窗确认率，反之，若平台账户在上述平均时间间隔以内为平台账户发送弹窗，则可能得到较低的弹窗确认率，由此可以针对该平台账户制定个性化的弹窗策略。

方式二，上述指标影响参数包括平台账户的电子资源变化

确定发送弹窗和不发送弹窗对应的平台账户的电子资源变化，包括以下方式：基于上述操作和所述应用程序的状态变化，确定发送弹窗和不发送弹窗对应的当前时间段内平台账户的电子资源账户变化，基于平台账户对发送的弹窗执行的操作及对应应用程序的状态变化，得到发送弹窗对应的电子资源账户变化，并根据所述电子资源账户的变化得到发送弹窗对应的目标指标的参数，根据不发送弹窗对应的电子资源账户变化，得到发送弹窗对应的目标指标的参数；

通过对发送弹窗和不发送弹窗对应的平台账户的电子资源变化，可以得到发送弹窗和不发送弹窗为平台账户带来的影响是否有优化效果，若发送弹窗后，在对应时间段内平台账户的电子资源变多，则发送弹窗可以得到较高的目标指标参数，反之不发送弹窗，在对应时间段内平台账户的电子资源变多，则不发送弹窗可以得到较高的目标指标参数。

方式三，上述指标影响参数包括正向响应操作占比和平台账户的电子资源变化，或负向响应操作和平台账户的电子资源变化；

通过上述方式得到发送弹窗和不发送弹窗对应的正向响应操作占比、负向响应操作占比和电子资源账户变化，通过将正向响应操作占比和平台账户的电子资源变化对应的指标影响参数进行加权求和，得到发送弹窗和不发送弹窗对应的目标指标参数，或者通过将负向响应操作占比和平台账户的电子资源变化对应的指标影响参数进行加权求和，得到发送弹窗和不发送弹窗对应的目标指标参数。本公开中的目标指标用于确定所述应用程序的运行状态是否符合预定要求，上述预设要求为可以设定的参数。设置预设决策周期为一个可以配置的参数，当确定到达预设决策周期时，确定并比较所述发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗，当发送弹窗对应的目标指标的参数大于不发送弹窗对应的目标指数参数，则发送弹窗，否则不发送弹窗。

实施例2

本实施例中将强化学习(Reinforcement Learning，RL)应用到确定执行弹窗的方法上，具体采用强化学习中的马尔可夫决策过程(Markov Decision Process，MDP)，通过MDP能够得到上述发送弹窗和不发弹窗分别对应的目标指标的参数，以确定在第一环境状态下确定是否执行弹窗，能够使得目标指标的参数得到长期的提升。

马尔可夫决策过程(Markov Decision Process，MDP)是强化学习的最基本理论模型。一般地，MDP可以由一个四元组表组成：

(1)S为状态空间(State Space)，包含了智能体(Agent)可能感知到的所有环境状态；

(2)A为动作空间(Action Space)，包含了Agent在每个状态上可以采取的所有动作；

(3)R：S×A×S→R为奖赏函数(Reward Function)，R(s，a，s′)表示在状态s上执行动作a，并转移到状态s′时，Agent从环境获得的奖赏值；

(4)T：S×A×S→[0，1]为环境的状态转移函数(State Transition Function)，T(s，a，s′)表示在状态s上执行动作a，并转移到状态s′的概率。下面结合实施例具体介绍本公开提出的一种确定执行弹窗的方法，如图2所示，包括：

步骤S201，采集应用程序运行的第一环境状态的信息，并映射为对应的码字输入到MDP模型中，其中，应用程序上登录有平台账户；

本公开实施例中，将采集到的应用程序运行的第一环境状态的信息作为MDP模型的状态空间S，第一环境状态的信息包括与平台账户相关的不同类型的平台账户信息和不同类型的应用程序运行的上下文环境信息，具体地：

与平台账户相关的不同类型的平台账户信息包括：

1)平台账户对应的个人信息；

平台账户对应的个人信息可以但不限于包括如年龄、性别、省市等个人信息。

2)采集时刻之前预设时间段内的平台账户的行为信息；

采集时刻之前预设时间段内的平台账户行为信息包括如在过去存在一定时间间隔的一段时间内，平台账户收到的弹窗提醒，以及平台账户对于这些弹窗提醒的反馈，包括平台账户确认弹窗操作、平台账户取消弹窗操作以及平台账户关闭弹窗操作；

进一步地，利用平台账户当天点击弹窗的时间戳作为特征，捕捉平台账户个性化活跃时间，将过去一段时间的历史数据汇总，通过滑动窗口的方式定期更新。

不同类型的应用程序运行的上下文环境信息包括：

1)运行应用程序的设备的相关信息；

运行应用程序的设备的相关信息包括设备基本信息，当前设备的网络状况，如在wifi、4g或5g下使用该设备。

2)弹窗点击率低于某个阈值的平台账户信息；

根据平台账户的行为信息，可以得到平台账户的弹窗点击率。

3)应用程序的使用时长超过一定阈值的信息；

根据平台账户的行为信息，可以得到平台账户对应用程序的使用时长。

4)使用应用程序过程中是否处于关闭应用程序设定时间；

根据平台账户的行为信息，可以得到平台账户关闭应程序的时长。

5)所述应用程序是否有规律使用的平台账户；

根据平台账户的行为信息，可以得到平台账户使用应用程序的时间规律。

6)导致平台账户关闭弹窗的内容。

根据平台账户的行为信息，检测到该应用程序中使平台账户关闭弹窗的内容。

除上述所示的应用程序运行的环境状态信息外还包括当前的时间信息，平台账户在使用当前设备时的时间、日期、星期信息以及节假日信息。

步骤S202，确定在第一环境状态下，分别在执行发送弹窗和不发送弹窗的情况下，平台账户通过应用程序所执行的操作以及应用程序的状态变化；

本公开实施例中，将24小时定义为一个episode，强化学习训练模型以每6小时做一次决策(是否弹窗)的采样频率，采集应用程序运行的第一环境状态信息及在该环境状态下执行发送弹窗和不发送弹窗操作，及平台账户通过所述应用程序所执行的操作以及所述应用程序的状态变化。

步骤S203，根据上述操作和应用程序的状态变化，确定影响目标指标的参数的至少一个指标影响参数；

将在第一环境状态下执行发送弹窗/不发送弹窗作为MDP模型的动作空间A，该MDP模型中，奖赏函数(R(s，a，s′)在第一环境状态下s上执行动作a为发送弹窗或不发送弹窗，平台账户通过应用程序执行操作，且应用程序的状态变化为对应的转移后的状态s′，基于上述平台账户所执行的操作及应用程序的状态变化得到对应的指标影响参数为奖赏值，该奖赏值包括正的奖赏值和负的奖赏值，正的奖赏值可以但不限于为平台账户的正向响应操作和平台账户的电子资源的增加，负的奖赏值可以但不限于为平台账户的负向响应操作和平台账户的电子资源的减少。

步骤S204，基于上述操作和应用程序的状态变化，确定发送弹窗和不发送弹窗对应的正向响应操作占比或负向响应操作占比；

步骤S205，基于上述操作和应用程序的状态变化，确定发送弹窗和不发送弹窗对应的当前时间段内平台账户的电子资源账户变化；

步骤S206，根据正向响应操作占比和平台账户的电子资源变化，或负向响应操作和平台账户的电子资源变化，得到发送弹窗和不发送弹窗对应的目标指标的参数；

本公开实施例定义价值函数Q(s，a)指在第一环境状态下，发送弹窗后对应的整体的目标指标的数学期望，以及不发送弹窗对应的整体的目标指标数学期望，其中，发送弹窗后对应的整体的目标指标的数学期望为上述正向响应操作占比的奖赏值和平台账户的电子资源变化的奖赏值的加权求和，或负向响应操作占比的奖赏值和平台账户的电子资源变化的奖赏值的加权求和，同样的，不发送弹窗后对应的整体的目标指标的数学期望为上述正向响应操作占比和平台账户的电子资源变化的加权求和，或负向响应操作和平台账户的电子资源变化的加权求和。

步骤S207，比较发送弹窗和不发送弹窗对应的目标指标的参数，确定所述应用程序的运行状态更符合预定要求的目标指标的参数，根据该目标指标的参数确定发送弹窗或不发送弹窗；

MDP模型的输出为发送弹窗和不发送弹窗对应的目标指标的参数，可选地，本实施例还定义策略函数，策略函数p(a，s)指在第一环境状态下，根据发送弹窗和不发送弹窗对应的目标指标的参数，确定是否发送弹窗，当发送弹窗对应的目标指标的参数较高，且满足预设要求时，则发送弹窗，否则不发送弹窗，策略函数的输入为第一环境状态信息，输出可以为1和0，其中，1表示在第一环境状态下发送弹窗，0表示在第一环境状态信息下不发送弹窗，可选地，策略函数的输出还可以为发送弹窗对应的概率值，根据发送弹窗后对应的目标指标的参数，以及不发送弹窗对应的目标指标的参数，确定发送弹窗和不发送弹窗的概率，其中，设置一个可以预先配置的参数，当发送弹窗的概率值大于上述弹窗时，则发送弹窗，否则不发送弹窗。

可选地，还可以采用深度强化学习(Deep Q Network，DQN)算法建立模型，DQN算法可以通过环境状态信息和发送弹窗或不发送弹窗，得到发送弹窗和不发送弹窗对应的目标指标的参数，之后比较所述发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗。

本公开提供的一种确定执行弹窗的方法，能够实现个性化，可以根据每个平台账户对于弹窗时间及频率的偏好，设定针对该平台账号独有的弹窗策略；可以根据平台账号的行为动态调整，例如平台账号在某一时间内没有点击弹窗确认表明平台账号不需要弹窗行为，则动态减少弹窗频率，以此来减少对平台账号可能造成的不便，还可以通过MDP模型获得长期的目标指标参数的优化。

以上对本公开中一种确定执行弹窗的方法进行说明，以下对执行上述确定执行弹窗的装置进行说明。

请参阅图3，本公开实施例提供一种确定执行弹窗的装置，包括：

采集单元301，被配置为执行采集应用程序运行的第一环境状态的信息，其中，所述应用程序上登录有平台账户；

确定单元302，被配置为执行确定在所述第一环境状态下，分别在执行发送弹窗和不发送弹窗的情况下，所述平台账户通过所述应用程序所执行的操作以及所述应用程序的状态变化；

参数确定单元303，被配置为执行基于上述操作和所述应用程序的状态变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，其中，所述目标指标用于确定所述应用程序的运行状态是否符合预定要求；

弹窗确定单元304，被配置为执行比较所述发送弹窗和不发送弹窗对应的目标指标的参数，基于比较结果，确定是否发送弹窗。

上面从模块化功能实体的角度对本公开实施例中的一种确定执行弹窗的装置进行了描述，下面从硬件处理的角度对本公开实施例中的一种确定执行弹窗的设备进行描述。

请参阅图4，本公开实施例中满足一种确定执行弹窗的设备，包括：

处理单元401、存储单元402、以及总线系统409；

其中，所述存储单元用于存储程序；

图4是本公开实施例提供的一种确定执行弹窗的设备示意图，该设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理单元(英文全称：centralprocessing units，英文简称：CPU)401(例如，一个或一个以上处理单元)和存储单元402，一个或一个以上存储应用程序404或数据405的存储介质403(例如一个或一个以上海量存储设备)。其中，存储单元402和存储介质403可以是短暂存储或持久存储。存储在存储介质403的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理单元401可以设置为与存储介质403通信，在设备400上执行存储介质403中的一系列指令操作。

设备400还可以包括一个或一个以上有线或无线网络接口407，一个或一个以上输入输出接口408，和/或，一个或一个以上操作系统406，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。

可选地，所述处理单元被配置为执行分别确定发送弹窗和不发送弹窗对应的目标指标的参数，包括：

可选地，所述处理单元被配置为所述至少一个指标影响参数包括正向响应操作占比，确定发送弹窗和不发弹窗分别对应的至少一个指标影响参数，包括：

可选地，所述处理单元被配置为执行确定历史发送弹窗后的正向响应操作及对应的应用程序的状态变化，及负向响应操作及对应的应用程序的状态变化，包括如下至少一个步骤：

可选地，所述处理单元被配置为执行比较所述发送弹窗和不发送弹窗对应的目标指标的参数，包括：

可选地，所述处理单元被配置为执行所述至少一个指标影响参数包括平台账户的电子资源账户变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，包括：

可选地，所述处理单元被配置为执行基于比较结果，确定是否发送弹窗，包括：

可选地，所述处理单元被配置为执行采集应用程序运行的第一环境状态的信息，包括如下至少一个步骤：

本公开实施例还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的一种确定执行弹窗的方法。

本公开实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述实施例提供的一种确定执行弹窗的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字平台账户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上对本公开所提供的技术方案进行了详细介绍，本公开中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims

1.一种确定执行弹窗的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，包括：

3.根据权利要求2所述的方法，其特征在于，所述至少一个指标影响参数包括正向响应操作占比，确定发送弹窗和不发弹窗分别对应的至少一个指标影响参数，包括：

4.根据权利要求3所述的方法，其特征在于，确定历史发送弹窗后的正向响应操作及对应的应用程序的状态变化，及负向响应操作及对应的应用程序的状态变化，包括如下至少一个步骤：

5.根据权利要求2所述的方法，其特征在于，比较所述发送弹窗和不发送弹窗对应的目标指标的参数，包括：

6.根据权利要求2所述的方法，其特征在于，所述至少一个指标影响参数包括平台账户的电子资源账户变化，分别确定发送弹窗和不发送弹窗对应的目标指标的参数，包括：

7.根据权利要求1所述的方法，其特征在于，基于比较结果，确定是否发送弹窗，包括：

8.一种确定执行弹窗的装置，其特征在于，该装置包括：

9.一种确定执行弹窗的设备，其特征在于，包括：存储单元和处理单元；

其中，所述存储单元用于存储程序；

所述处理单元被配置为执行所述存储单元中的程序，包括如下步骤：

10.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。