CN114816826B - 一种应用系统的推送缺陷识别方法及设备 - Google Patents

Abstract

本申请公开了一种应用系统的推送缺陷识别方法及设备，用以解决现有的应用系统无法主动识别应用系统的推送缺陷的技术问题。方法包括：获取系统的使用日志并处理得到系统推送数据；根据系统推送数据确定系统推送内容以及系统推送频率；根据用户针对前端页面的浏览时间及浏览内容确定预设推送频率以及预设推送内容，并与系统推送频率及系统推送内容进行比较，以识别系统推送缺陷；根据推送流程节点获取推送流程操作时间以及推送流程状态，进而确定对应时间晚的推送流程状态所对应的推送流程节点未接收到加催提醒或者延时提醒，进而识别出系统的推送调整缺陷。本申请通过上述方法，实现了对应用系统的推送缺陷的主动识别，进而提升了用户的使用感受。

Description

一种应用系统的推送缺陷识别方法及设备

技术领域

本申请涉及应用系统技术领域，尤其涉及一种应用系统的推送缺陷识别方法及设备。

背景技术

随着信息技术的不断进步，应用系统也得到了广泛的使用，例如，购物平台系统、办公软件系统、游戏系统等。这些应用系统的使用，给人们的日常生活及工作都带来了极大的便利性。但是，部分应用系统在使用过程中，会存在一些缺陷，比如，应用系统在接收一些付费推广时，推广内容往往不考虑用户的实际兴趣，推广频率也主要根据付费方的需求制定，这样一来，用户在使用应用系统时，就会常常接收到不感兴趣的推广，久而久之，就会使用户对该应用系统产生厌倦心理，进而导致用户降低对应用系统的使用率。

对于前述缺陷，现有的识别方案，大都是通过用户反馈实现，这就造成应用系统对于前述推送过程中存在缺陷无法进行主动识别，进而导致用户的使用感受不好，降低用户使用率的情况出现。

发明内容

本申请实施例提供了一种应用系统的推送缺陷识别方法及设备，用以解决现有的应用系统无法主动识别应用系统的推送缺陷的技术问题。

一方面，本申请实施例提供了一种应用系统的推送缺陷识别方法，包括：获取应用系统的使用日志，并对所述使用日志进行处理，以提取所述使用日志中包含的系统推送数据；确定用户针对所述应用系统前端页面的浏览时间，并基于所述浏览时间确定预设推送频率，以及根据用户所浏览的所述应用系统前端页面的内容，确定预设推送内容；根据所述系统推送数据，获取系统推送内容以及系统推送频率，并将所述系统推送内容与所述预设推送内容进行比对，以及将所述系统推送频率与所述预设推送频率进行比对；在所述系统推送频率与所述预设推送频率之间的差值大于预设推送阈值时，和/或，在所述系统推送内容与所述预设推送内容不属于同一类推送内容的数量大于预设值时，确定所述应用系统存在系统推送缺陷；在所述系统推送数据中提取推送流程节点，并获取所述推送流程节点对应的推送流程操作时间以及推送流程状态，以及，根据所述推送流程操作时间，对所述推送流程节点以及所述推送流程状态进行时间排序；确定任意相邻的两个所述推送流程状态之间的时间差值，并在所述时间差值大于预设时间阈值时，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到加催提醒，以及，在所述时间差值小于或等于预设时间阈值时，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到延时提醒，进而确定所述应用系统存在系统推送调整缺陷。

在本说明书的一个或多个实施例中，获取应用系统的使用日志，具体包括：定义日志捕获协程，并在所述应用系统启动的同时，启动所述日志捕获协程；在所述应用系统的使用过程中，不断获取所述应用系统的操作数据，并通过所述日志捕获协程，将所述应用系统的操作数据写入日志输出文件中；在所述应用系统关闭时，关闭所述日志捕获协程，并确定所述日志输出文件的加载完成率；在所述日志输出文件的加载完成率为100％的情况下，输出所述应用系统对应的使用日志；以及，在所述日志输出文件的加载完成率不为100％的情况下，确定所述加载完成率达到100％所需要的加载时间，若所述加载时间大于预设加载阈值，则停止加载所述日志输出文件，并基于所述日志输出文件中当前存在的内容，输出所述应用系统的使用日志。

在本说明书的一个或多个实施例中，确定用户针对所述应用系统前端页面的浏览时间，具体包括：在所述前端页面启动的同时，启动系统计时器；以预设时间间隔为周期，检测所述前端页面上是否存在页面操作行为，若否，则获取所述应用系统的当前网速；其中，所述页面操作行为至少包括以下任一项或者多项：拉动滚动条、移动鼠标、点击页面以及选中页面内容；在所述当前网速小于预设网速阈值的情况下，确定所述前端页面卡顿，并暂停所述计时器；以及，在所述当前网速大于等于预设网速阈值的情况下，停止暂停所述计时器，以继续对所述前端页面的浏览进行计时，并在所述前端页面关闭时，关闭所述计时器，输出所述前端页面的浏览时间。

在本说明书的一个或多个实施例中，根据用户所浏览的所述应用系统前端页面的内容，确定预设推送内容，具体包括：基于所述前端页面输出前端页面图像，具体为，对所述前端页面进行截图处理，得到所述前端页面图像；在所述前端页面图像为文字图像时，提取所述文字内容，并以逗号为断句号对所述文字内容进行断句处理，得到若干语句；继续对所述若干语句分别进行分词处理，得到若干分词词语；在所述若干分词词语中筛选与用户兴趣有关的词语；其中，所述用户兴趣至少包括以下任一项或者多项：满减活动、买赠活动以及兑换活动；通过以下公式，计算所述与用户兴趣有关词语分别对应的兴趣度：

其中，i取值为1-n，

为第i个词语对应的兴趣度，

为第i个词语在所述应用系统中对应的搜索次数，

为调整参数；基于所述兴趣度，确定推送词语，以便基于所述推送词语，生成所述预设推送内容。

在本说明书的一个或多个实施例中，继续对所述若干语句分别进行分词处理，得到若干分词词语，具体包括：获取语句首字，并以所述语句首字为检索字，对所述应用系统搜索数据库进行检索，得到语句首字对应的词库；其中，所述应用系统搜索数据库中至少包括用户使用所述应用系统的搜索功能时输入所述应用系统的搜索关键词；所述语句首字对应的词库中包含的词语首字均为所述语句首字；以语句前二字组合为检索词，与所述语句首字对应的词库进行匹配，并在匹配度大于预设匹配阈值时，将所述检索词输出为所述语句对应的分词词语，否则，以语句前三字组合为检索词，继续与所述语句首字对应的词库进行匹配，直至所述匹配度大于预设匹配阈值，输出所述语句对应的分词词语；其中，所述匹配至少包括以下任一项或者多项：词语字数匹配、词语笔画匹配以及词语语义匹配。

在本说明书的一个或多个实施例中，将所述系统推送内容与所述预设推送内容进行比对，具体包括：统一所述预设推送内容与所述系统推送内容的推送形式；其中，所述推送形式至少包括图像形式以及文字形式；在所述推送形式为图像形式时，将所述预设推送内容与所述系统推送内容分别输入至图像识别模型中，以识别出二者中分别存在的图像特征；其中，所述图像特征用于指示所述预设推送内容与所述系统推送内容中包含的物体；将所述图像特征进行比对，确定类别一致的图像特征数量，并在所述数量小于预设数量阈值时，确定所述系统推送内容与所述预设推送内容不属于同一类推送内容；以及，在所述推送形式为文字形式时，获取所述预设推送内容对应的推送词语，同时获取所述系统推送内容对应的关键词；将所述推送词语与所述关键词进行词义匹配，并在匹配度小于预设匹配阈值时，确定所述系统推送内容与所述预设推送内容不属于同一类推送内容。

在本说明书的一个或多个实施例中，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到加催提醒，具体包括：将所述时间差值平均划分为第一时间段与第二时间段；其中，所述第一时间段在所述第二时间段之前；获取所述推送流程节点对应的工作日志，并在所述工作日志中提取在所述第一时间段之间的消息接收数据，以及，对所述消息接收数据进行语义识别处理，以确定所述消息接收数据中不存在所述加催提醒；其中，所述消息接收数据至少包括以下任一项或者多项：邮件接收数据、信息接收数据以及即时通讯接收数据；或者，读取所述推送流程节点对应的通话数据，并确定在所述第一时间段之间的所述通话数据中不存在呼入数据。

在本说明书的一个或多个实施例中，所述方法还包括：确定所述第一时间段之间的消息接收数据中存在所述加催提醒；获取所述加催提醒的消息状态，若所述消息状态为未读状态，在所述日志数据中继续提取在所述第二时间段之间的消息接收数据，以判断在所述时间差值之间是否存在多个消息加催提醒；若否，则确定所述应用系统存在系统推送流程缺陷；以及，确定所述第一时间段之间的所述电话数据中存在呼入数据；确定所述呼入数据是否为呼入未接数据，若是，则在所述电话数据中继续确定在所述第二时间段之间是否存在呼入数据，以判断在所述时间差值之间是否存在多次电话加催提醒；若否，则确定所述应用系统存在系统推送流程缺陷。

在本说明书的一个或多个实施例中，确定所述应用系统存在系统推送调整缺陷，还包括：获取所述应用系统的系统留言数据，并提取所述系统留言数据对应的留言设备信息；调取所述应用系统对应的后台下载数据，并在所述后台下载数据中确定所述留言设备信息是否存在，以将所述留言数据中的恶意留言筛选出来；其中，所述留言设备信息至少包括以下任一项或者多项：留言设备MAC地址、留言设备账号以及留言设备名称；在所述系统留言数据中，提取与应用系统推送有关的使用感受数据；基于所述使用感受数据，确定所述应用系统存在系统推送调整缺陷，具体为：通过对所述使用感受数据进行语义识别处理，将所述使用感受数据划分为使用感受良好数据以及使用感受不良数据；或者，通过获取所述使用感受数据分别对应的打分数据，将所述使用感受数据划分为使用感受良好数据以及使用感受不良数据；计算所述使用感受不良数据对应的留言占比，并在所述留言占比大于预设占比阈值时，确定所述应用系统存在系统推送调整缺陷。

另一方面，本申请实施例还提供了一种应用系统的推送缺陷识别设备，包括：处理器；以及，存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如上述的一种应用系统的推送缺陷识别方法。

本申请实施例提供的一种应用系统的推送缺陷识别方法及设备，通过主动获取应用系统的使用日志进而提取到系统的推送数据，然后基于该系统推送数据确定出系统推送内容与系统推送频率，然后将其与预设推送内容及预设推送频率进行比对，实现了对应用系统的推送缺陷的主动识别，避免了现有的应用系统对于前述缺陷需要人工进行反馈才能识别出来的情况，另外，获取应用系统的日志是基于与应用系统同步执行的日志使用协程实现的，这样一来，就保证了获取的使用日志的时效性，进而保证了推送缺陷定位的时效性，也即能够及时的对系统推送缺陷进行识别。同时，在识别出系统推送缺陷之后，考虑推送流程节点是否接收到加催提醒或者延时提醒，也能够对应用系统的推送调整缺陷进行识别。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种应用系统的推送缺陷识别方法流程图；

图2为本申请实施例提供的一种应用系统的推送缺陷识别设备结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种应用系统的推送缺陷识别方法及设备，通过使用日志获取到系统推送数据，然后基于对该系统推送数据进行的处理，识别到应用系统的推送缺陷，避免了目前应用系统对于推送缺陷无法主动识别的情况。并且，本申请实施例中的应用系统可以是手机、pad等终端上下载的客户端APP，也可以是电脑上的平台、系统等，例如，本申请实施例中的应用系统可以是手机上的购物软件、游戏软件，也可以是电脑上的办公系统等。

可以理解的，应用系统存在的位置不同，种类不同，其对应的推送缺陷识别方法的执行主体不同，但这些不同的执行主体不会超出具有计算能力、数据处理能力的计算机等终端设备这一范围。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种应用系统的推送缺陷识别方法流程图。如图1所示，本申请实施例提供的应用系统推送缺陷识别方法，至少包括以下执行步骤：

步骤101、获取应用系统的使用日志，并基于使用日志得到系统推送数据。

本申请实施例提供的应用系统推送缺陷识别方法，是基于应用系统的使用日志实现的，使用日志包含了用户在使用该应用系统时的一系列操作以及应用系统本身进行的状态变化等数据。对这些使用日志进行处理，得到应用系统的推送数据，基于这些推送数据，就可以实现后续的推送缺陷识别过程。此处对使用日志进行的处理，可以包括数据提取等，直接提取出想要的数据，构成系统推送数据。在本申请的一个示例中，在系统使用日志中至少需要提取与系统推送内容有关的数据以及与系统推送频率有关的数据。需要说明的是，本申请实施例中的系统推送内容一般指应用系统所接到的付费推广广告内容，对于这部分内容进行推送时，推送的具体内容是不可变更的，且在预设时间段内推送次数也是具有相关规定/要求的。

在本申请实施例的一种或多种可能实现方式中，为了提高应用系统推送缺陷识别的准确性，以及识别出的推送缺陷的时效性，就要从根源上保证系统使用数据的准确性及时效性，这样一来，对系统使用日志的获取就提出了较高的要求，即，要求获取到的系统使用日志是具有时效性的，最好是在应用系统使用的同时，不断的输出系统使用日志，这样一来，基于该系统使用日志得到的系统使用数据就能很好的反映应用系统在当前使用过程中存在的问题/缺陷。因此，本申请实施例中应用系统的使用日志，可以通过以下过程获取：

首先，定义一个日志捕获协程，这个日志捕获协程用于在应用系统使用过程中，不断的获取产生的使用数据（至少包括推送数据），生成日志文件。并且，该日志捕获协程与应用系统同时启动，且与应用系统同时关闭，以在保证获取完整使用日志的同时，节省计算资源，降低系统计算压力。其次，在应用系统的使用过程中，不断获取应用系统的操作数据，并通过日志捕获协程，将应用系统的操作数据写入日志输出文件中；此处的应用系统的操作数据，可以是用户在使用过程中对应用系统进行的操作，例如，使用系统的关闭推送内容功能等，也可以是应用系统本身进行的操作，例如，应用系统自动推送消息给用户。然后，在应用系统关闭的同时，关闭日志捕获协程，以及确定日志输出文件的加载完成率；如果该日志输出文件的加载完成率为100％，则输出应用系统对应的使用日志；而如果日志输出文件的加载完成率不为100％，则确定加载完成率达到100％所需要的加载时间，若加载时间大于预设加载阈值，则停止加载日志输出文件，并基于日志输出文件中当前存在的内容，输出应用系统的使用日志。

需要说明的是，如果加载时间过长，则输出日志使用日志所需的时间较长，这样一来，基于该系统使用日志提取的系统使用数据就会出现延时，进而导致系统的推送缺陷定位延时，缺陷识别丧失时效性，不利于后续的优化过程。因此，本申请实施例中在日志输出文件的加载时间过长时，直接基于当前存在的内容输出系统使用日志，既能够避免出现没有日志输出的情况，又保证了日志输出的时效性。

步骤102、根据系统推送数据，识别系统推送缺陷。

在得到系统推送数据之后，就可以基于系统推送数据，进行应用系统的推送缺陷识别了。在本申请的一个示例中，系统推送缺陷指的是，用户使用该应用系统时，会浏览页面内容，应用系统能不能基于用户浏览的内容，为用户适时的（在合适时间）推荐个性化的推送内容，以使用户能够继续感兴趣的浏览下去。例如，推送内容可以是游戏中的充值活动内容、节日活动内容；购物平台中的赞助内容、广告内容；以及办公软件中的直播课程内容等，需要说明的是，这部分的推送内容大多数都是需要进行大力推广的。

具体地，本申请实施例中的系统推送缺陷识别过程，通过以下方式实现：首先，确定用户针对应用系统前端页面的浏览时间，并基于浏览时间确定预设推送频率，例如，用户浏览一个前端页面的时间为1分钟，那么应用系统就以1分钟为时间间隔，不断的向用户推荐前端页面，直至用户关闭页面。需要说明的是，用户浏览一个前端页面所需要的时间，可以通过后台页面刷新时间或者后台页面变更时间进行获取得到。以及，根据用户所浏览的应用系统前端页面的内容，确定预设推送内容；该过程的实现，参见下文相关描述，本申请实施例在此不作赘述。其次，根据系统推送数据，获取系统推送内容以及系统推送频率，并将系统推送内容与预设推送内容进行比对，以及将系统推送频率与预设推送频率进行比对；最后，在系统推送频率与预设推送频率之间的差值大于预设推送阈值时，和/或，在系统推送内容与预设推送内容不属于同一类推送内容的数量大于预设值时，确定应用系统存在系统推送缺陷。

也即，在应用系统的推送频率以及推送内容不符合用户的浏览/观看习惯时，确定应用系统存在系统推送缺陷。例如，A用户喜欢在购物软件上浏览连衣裙，且后台数据显示每30秒刷新一次页面，如果该购物软件2分钟推送一次鞋子广告，那么就会导致用户使用感不好，此时，就将该购物软件认为成存在系统推送缺陷，并成功的将这个缺陷识别出来，以便于后续运维人员进行软件优化。

在本申请实施例的一种或多种可能实现方式中，如果应用系统向用户推送页面的频率过快，就会使用户觉得这个软件/应用系统一直在推送广告，降低用户的使用感，而如果应用系统向用户推送页面的频率过慢，就达不到吸引用户继续浏览的效果，甚至造成推广赞助违约的情况。因此，应用系统需要在合适的时间向用户推送合适的内容，这样一来，获取用户浏览页面的时间，就显得尤为重要，因为只有保证获取到用户准确的浏览时间，才能决定出合适的推送时间/推送频率。当然，这个浏览时间会根据用户浏览不同页面内容存在不同，因此，本申请实施例中的浏览时间以平均浏览时间为主。

具体地，在应用系统中，设计一个计时器，该计时器在前端页面启动的同时启动；然后，以预设时间间隔为周期，检测前端页面上是否存在页面操作行为，例如，每5秒钟检测一次页面操作行为，若否，则获取应用系统的当前网速，并在当前网速小于预设网速阈值的情况下，确定前端页面卡顿，并暂停所述计时器；这样一来，确定了页面静止是由网络卡顿造成的，在网络卡顿时，用户一般无法浏览页面，因此，在这种情况下，将计时器暂停，即不将网络卡顿时间计入用户浏览页面的时间之内。在本申请的一个示例中，页面操作行为至少包括以下任一项或者多项：拉动滚动条、移动鼠标、点击页面以及选中页面内容。

进一步地，如果当前网速大于等于预设网速阈值，说明此时网速没有问题，这样一来，在系统前端页面长时间没有页面操作时，也即系统前端页面长时间处于静止状态时，排除了网络卡顿的影响，明确该页面静止可能是由用户阅读较慢的原因导致。此时，停止暂停计时器或者不对计时器进行操作，以使计时器能够继续计时；最后，在前端页面关闭的同时，关闭计时器，由计时器输出前端页面的浏览时间。

需要说明的是，本申请实施例中的计时器，采用循环计时器实现，其循环周期与前端页面的刷新频率有关，最好能够实现的是，每刷新出一个新的前端页面，计时就开始置零重新进行计时。

在本申请实施例的一种或多种可能实现方式中，实现应用系统的系统推送缺陷识别，还有一个重要之处是，识别系统推送内容与预设推送内容都是属于同一类内容，或者说不属于同一类内容的数量小于预设值，而要保证前述识别结果的有效性/准确性，也即保证推送缺陷识别的有效性，保证识别出来的推送缺陷是正确的，就需要保证与系统推送内容进行对比所用的预设推送内容，是严重符合用户需求，为用户进行个性化定制的。因此，本申请实施例中，根据用户所浏览的应用系统前端页面的内容，确定预设推送内容，具体为：

首先，识别前端页面中存在的内容是文字内容还是图像内容，即，首先确定用户当前浏览的是文字还是图片。具体地，使用系统自带的截图功能对前端页面进行截图处理，输出前端页面图像，然后对该图像进行识别，明确图像内容是包括文字内容还是包括图片内容。其次，根据不同的内容，采取不同的方式生成推送内容。

如果前端页面图像中包含的内容是图片内容，那么，将该图像输入至图像识别神经网络模型中，识别出图片中存在的特征，即图片内容是什么，例如，小汽车，衣服等；然后，基于识别出的图片特征，调取包含同类特征的图片，生成推送内容进行推送。

进一步地，如果前端页面图像中包含的内容是文字内容，那么，需要对该文字内容进行处理，以通过该文字内容获取到用户的兴趣，进而根据兴趣进行推送内容的生成。如果对整页文字内容进行语义识别，得到整页内容的含义再进行推送内容的确定，就容易导致推送超过时间，并且对整页文字进行语义识别所需要的计算量也比较大，给系统带来不小的计算压力。因此，本申请实施例中，采用拆分与匹配的方式，识别页面内容得到用户兴趣。

具体地，首先提取页面图像中的文字内容，将其以文字的形式进行展示，该过程可通过现有的文字识别软件实现，本申请实施例对此不作赘述。然后，以逗号为断句号对文字内容进行断句处理，得到若干语句，继续对若干语句分别进行分词处理，得到若干词语。

在本申请的一个示例中，分词处理的具体实现过程为：首先，获取语句首字，并以语句首字为检索字，对应用系统搜索数据库进行检索，得到语句首字对应的词库；其中，应用系统搜索数据库中至少包括用户使用应用系统的搜索功能时输入应用系统的搜索关键词；语句首字对应的词库中包含的词语首字均为语句首字；上述过程中，将搜索范围由原始的搜索数据库缩小为语句首字对应的词库，降低了搜索压力进而提升了搜索速度，为系统缺陷识别节省了时间。然后，以语句前二字组合为检索词，与语句首字对应的词库进行匹配，并在匹配度大于预设匹配阈值时，将检索词输出为语句对应的分词词语，否则，以语句前三字组合为检索词，继续与语句首字对应的词库进行匹配，直至匹配度大于预设匹配阈值，输出语句对应的分词词语；其中，匹配至少包括以下任一项或者多项：词语字数匹配、词语笔画匹配以及词语语义匹配。输出一个分词后，语句剩余部分的第一字，就成为了语句首字，重复执行上述过程，直至语句不存在剩余部分。

进一步地，在得到若干分词词语后，在分词词语中筛选与用户兴趣有关的词语；其中，用户兴趣至少包括以下任一项或者多项：满减活动、买赠活动以及兑换活动；然后计算与用户兴趣有关词语分别对应的兴趣度，并基于该兴趣度，确定推送词语，最后基于推送词语，生成预设推送内容。

在本申请的一个示例中，通过以下公式计算兴趣度：

其中，i取值为1-n，

为第i个词语对应的兴趣度，

为第i个词语在应用系统中对应的搜索次数，

为调整参数。

需要说明的是，搜索次数代表了用户搜索词语相关内容的频率，次数越多，说明应用系统的用户对该词语相关内容的兴趣度越高。调整参数采用常数，该设计是为了避免兴趣度为1的情况出现，如果某个词语兴趣度为1，则说明这个词语就是若干词语中搜索次数最多的词语，如果将这个词语选为推送词语，就相当于直接将搜索次数最多的词语选为推送词语，那么设计上述公式的初衷就不存在了，通过这个公式，使各个词语依据搜索次数进行公平竞争，保证选出的推送词语符合用户兴趣。

在本申请实施例的一种或多种可能实现方式中，进行系统推送缺陷识别的最关键步骤就是将系统推送内容与预设推送内容进行对比，因此，二者如何进行对比，保证对比过程的严谨性以及对比结果的准确性，就显得尤为重要。

具体地，首先，将预设推送内容与系统推送内容的推送形式进行统一，便于后续的对比操作；其中，推送形式至少包括图像形式以及文字形式。然后，在推送形式为图像形式时，将预设推送内容与系统推送内容分别输入至图像识别模型中，以识别出二者中分别存在的图像特征，也即识别出预设推送内容与系统推送内容中包含的物体；最后，将二者之间的图像特征进行比对，确定类别一致的图像特征数量，并在数量小于预设数量阈值时，确定系统推送内容与预设推送内容不属于同一类推送内容，进而确定应用系统存在系统推送缺陷。

进一步地，在推送形式为文字形式时，根据前述确定预设推送内容的过程，获取预设推送内容对应的推送词语，同时获取系统推送内容对应的关键词；然后将推送词语与关键词进行词义匹配，并在匹配度小于预设匹配阈值时，确定系统推送内容与预设推送内容不属于同一类推送内容，进而确定应用系统存在系统推送缺陷。需要说明的是，此处的词义匹配，可以先通过词义识别技术对推送词语与关键词分别进行处理，然后再对词义识别结果进行匹配，该过程可以通过现有语义识别技术及词义匹配技术实现，本申请实施例在此不做赘述。

至此，完成应用系统的系统推送缺陷主动识别过程。

步骤103、基于系统推送数据中提取的推送流程节点，识别系统推送调整缺陷。

在识别出系统推送缺陷之后，还需要明确系统推送是否存在调整缺陷，所谓调整缺陷，就是指在系统推送频率不合理时，识别系统能否进行有针对性的提醒。因此，本申请中就系统推送流程缺陷识别过程，着重于识别推送流程中是否存在合理的加催/延时提醒：在系统推送数据中提取推送流程节点，并获取推送流程节点对应的推送流程操作时间以及推送流程状态，此处的推送流程节点指的是在一个推送业务进程中需要参与的个人节点或者部门节点，推送流程操作时间指的是各个推送流程节点对一个推送业务进程的相关处理时间，推送流程状态指的是该推送业务进程在各个推送流程节点对应的状态。

进一步地，根据推送流程操作时间，对推送流程节点以及推送流程状态进行时间排序；如果推送流程为未完结的推送流程，那么就会存在没有推送流程操作时间的推送流程节点，对于这部分节点，可以以对推送流程的操作顺序进行排序也可以以节点名称进行排序。因为未完结的推送流程中无法对全部推送流程节点进行加催操作，只能对一个推送流程节点进行加催操作（推送流程卡住的推送流程节点），这一个节点不便于系统进行缺陷识别，或者说，对一个节点进行缺陷识别没有意义，因此，本申请实施例中，此处的推送流程指的是已完结的推送流程。

更进一步地，确定任意相邻的两个推送流程状态之间的时间差值，并在时间差值大于预设时间阈值时，确定对应时间较晚的推送流程状态所对应的推送流程节点是否接收到加催提醒，若否，则确定应用系统存在系统推送调整缺陷。同样地，在时间差值小于或等于预设时间阈值时，确定对应时间晚的推送流程状态所对应的推送流程节点是否接收到延时提醒，若否，则确定应用系统存在系统推送调整缺陷。

在本申请实施例的一种或多种可能实现方式中，加催提醒/延时提醒的形式可以是消息形式也可以是电话形式，为了方便描述，本申请实施例在下文相关描述中均以加催提醒为例进行说明，这样一来，针对不同的加催提醒形式就存在不同的识别方式，另外，本方案中进行推送调整缺陷识别，主要是对加催消息进行识别，查看在推送流程节点没有及时更新推送业务状态时，是否存在加催。因此，本申请实施例中，识别对应时间较晚的推送流程状态所对应的推送流程节点是否接收到加催提醒，具体为：

首先将时间差值划分为第一时间段与第二时间段；其中，第一时间段在第二时间段之前，划分依据可以是时间中间值划分，然后，获取推送流程节点对应的工作日志，并在工作日志中提取在第一时间段之间的消息接收数据，以及，对消息接收数据进行语义识别处理，以确定消息接收数据中是否存在加催提醒；其中，消息接收数据至少包括以下任一项或者多项：邮件接收数据、信息接收数据以及即时通讯接收数据；若不存在，则说明应用系统存在系统推送调整缺陷，不能及时进行加催，若存在，则继续进行判断加催提醒的消息状态，具体地，获取存在于第一时间段内的加催提醒的消息状态，若消息状态为未读状态，在日志数据中继续提取在第二时间段之间的消息接收数据，以判断在时间差值之间是否存在多个消息加催提醒；若否，则说明应用系统在第一时间段内的加催提醒消息没有被有效接收时，不能继续进行提醒，此时就确定应用系统存在系统推送调整缺陷。另外，若存在于第一时间段内的加催提醒消息状态为已读状态，则说明应用系统已经进行了有效的提醒，此时就认为应用系统不存在系统推送调整缺陷了。

进一步地，在加催提醒为电话加催时，首先需要读取推送流程节点对应的电话数据，并确定在第一时间段之间的电话数据中是否存在呼入数据。若否，则说明应用系统不能进行加催提醒，此时认为该应用系统存在系统推送调整缺陷，若是，则继续判断呼入数据是否为呼入未接数据，即查看该呼入数据是否被成功接听，若是，则说明应用系统起到了有效的加催作用，此时认为应用系统不存在系统推送调整缺陷，而若是呼入数据没有被成功接听，此时会继续判断在第二时间段内，是否存在呼入数据，即判断在第一时间内的呼入数据没有被成功接听的前提下，在第二时间段内是否存在新的加催提醒，若是，则说明应用系统能够对推送流程节点进行加催，若否，则说明应用系统存在系统推送调整缺陷。

至此，完成系统推送调整缺陷的主动识别过程。

在识别出应用系统确实存在系统推送缺陷时，还可以通过系统留言数据，对应用系统中可能存在的系统推送调整缺陷进行定位/识别，具体地，首先，对系统留言数据进行处理，剔除留言中可能存在的恶意留言，该过程的实现方式参见下文相关描述，本申请实施例在此不做赘述，然后在处理结果中提取与系统推送有关的使用感受数据；最后，基于前述使用感受数据，确定应用系统存在系统推送调整缺陷。

具体地，首先需要将使用感受数据划分为使用感受良好数据以及使用感受不良数据，这些使用感受不良数据可以作为评价推送业务中是否存在推送调整缺陷的依据，具体的划分依据可以是通过对使用感受数据进行语义识别处理，基于语义进行划分，也可以是识别使用感受数据分别对应的系统评分，然后通过该评分的高低进行数据划分；然后，计算使用感受不良数据对应的留言占比，可以采用使用感受不良数据的数据量与使用感受数据的数据量之比，或者使用感受不良数据的数据量与使用感受良好数据的数据量之比，作为前述留言占比，并在留言占比大于预设占比阈值时，确定应用系统存在推送调整缺陷，即使用感受不良数据较多时，代表用户不满度较高，说明推送调整可能存在问题，即在系统推送过快或者过慢时，不能及时进行提醒。

在本申请实施例的一种或多种可能实现方式中，用户在使用应用系统时，往往会根据自己的使用感受对应用系统进行评价，这些评价中存在好评以及差评，在实际使用过程中，可以通过这些差评数据，进行应用系统改进/优化，而实现的首要前提是，对留言数据进行识别，以通过留言数据识别系统缺陷，即本申请实施例中的系统留言缺陷也可以是针对应用系统全部功能模块所识别出来的缺陷，而不仅仅是前述针对推送业务流程识别出来的推送调整缺陷。

具体地，对系统留言数据进行处理，此处的系统留言数据是经过筛选之后得到的差评留言，然后在处理结果中提取与应用系统有关的使用感受数据；这样一来，就可以基于提取出来的使用感受数据，对应用系统进行缺陷定位，以识别应用系统的系统留言缺陷。具体如何对系统缺陷进行定位，参见下文及相关描述，本申请实施例在此不作赘述。

在本申请实施例的一种或多种可能实现方式中，差评留言并不等于恶意留言，在应用系统上市、推广及实际使用过程中，都有可能存在竞争对手的恶意诋毁，可能会存在雇佣水军进行恶意评价的行为，这样一来，就需要对这些可能存在的恶意评价进行筛选剔除处理，具体地，获取系统留言数据对应的留言设备信息，然后调取应用系统对应的后台下载数据，并在后台下载数据中确定留言设备信息是否存在，即判断进行系统留言的用户是否真的下载过该应用系统，这样就可以将留言数据中的恶意留言筛选出来。在本申请的一个示例中，留言设备信息至少包括以下任一项或者多项：留言设备MAC地址、留言设备账号（或者留言ID）以及留言设备名称。

进一步地，基于使用感受数据，对应用系统进行缺陷定位，具体包括：确定使用感受数据对应的留言ID，并基于留言ID调取应用系统对应的后台使用数据，以在后台使用数据中确定所述留言ID使用过的系统模块；将使用感受数据与系统模块的功能进行匹配，在匹配成功的情况下，确定系统模块存在缺陷。

以上为本申请实施例中的方法实施例，基于同样的发明构思，本申请实施例还提供了一种应用系统的推送缺陷识别设备，其结构如图2所示。

图2为本申请实施例提供的一种应用系统的推送缺陷识别设备结构图，如图2所示，设备包括：处理器，以及，存储器，其上存储有可执行指令，当所述可执行指令被执行时，使得所述处理器执行如上述实施例所描述的一种应用系统的推送缺陷识别方法。

在本申请实施例的一种或多种可能实现方式中，前述可执行指令被配置为：

获取应用系统的使用日志，并对所述使用日志进行处理，以提取所述使用日志中包含的系统推送数据；确定用户针对所述应用系统前端页面的浏览时间，并基于所述浏览时间确定预设推送频率，以及根据用户所浏览的所述应用系统前端页面的内容，确定预设推送内容；根据所述系统推送数据，获取系统推送内容以及系统推送频率，并将所述系统推送内容与所述预设推送内容进行比对，以及将所述系统推送频率与所述预设推送频率进行比对；在所述系统推送频率与所述预设推送频率之间的差值大于预设推送阈值时，和/或，在所述系统推送内容与所述预设推送内容不属于同一类推送内容的数量大于预设值时，确定所述应用系统存在系统推送缺陷；在所述系统推送数据中提取推送流程节点，并获取所述推送流程节点对应的推送流程操作时间以及推送流程状态，以及，根据所述推送流程操作时间，对所述推送流程节点以及所述推送流程状态进行时间排序；确定任意相邻的两个所述推送流程状态之间的时间差值，并在所述时间差值大于预设时间阈值时，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到加催提醒，以及，在所述时间差值小于或等于预设时间阈值时，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到延时提醒，进而确定所述应用系统存在系统推送调整缺陷。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种应用系统的推送缺陷识别方法，其特征在于，所述方法包括：

获取应用系统的使用日志，并对所述使用日志进行处理，以提取所述使用日志中包含的系统推送数据；

确定用户针对所述应用系统前端页面的浏览时间，并基于所述浏览时间确定预设推送频率，以及根据用户所浏览的所述应用系统前端页面的内容，确定预设推送内容；

根据所述系统推送数据，获取系统推送内容以及系统推送频率，并将所述系统推送内容与所述预设推送内容进行比对，以及将所述系统推送频率与所述预设推送频率进行比对；

在所述系统推送频率与所述预设推送频率之间的差值大于预设推送阈值时，和/或，在所述系统推送内容与所述预设推送内容不属于同一类推送内容的数量大于预设值时，确定所述应用系统存在系统推送缺陷；

在所述系统推送数据中提取推送流程节点，并获取所述推送流程节点对应的推送流程操作时间以及推送流程状态，以及，根据所述推送流程操作时间，对所述推送流程节点以及所述推送流程状态进行时间排序；

确定任意相邻的两个所述推送流程状态之间的时间差值，并在所述时间差值大于预设时间阈值时，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到加催提醒，以及，在所述时间差值小于或等于预设时间阈值时，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到延时提醒，进而确定所述应用系统存在系统推送调整缺陷。

2.根据权利要求1所述的一种应用系统的推送缺陷识别方法，其特征在于，获取应用系统的使用日志，具体包括：

定义日志捕获协程，并在所述应用系统启动的同时，启动所述日志捕获协程；

在所述应用系统的使用过程中，不断获取所述应用系统的操作数据，并通过所述日志捕获协程，将所述应用系统的操作数据写入日志输出文件中；

在所述应用系统关闭时，关闭所述日志捕获协程，并确定所述日志输出文件的加载完成率；

在所述日志输出文件的加载完成率为100％的情况下，输出所述应用系统对应的使用日志；以及，在所述日志输出文件的加载完成率不为100％的情况下，确定所述加载完成率达到100％所需要的加载时间，若所述加载时间大于预设加载阈值，则停止加载所述日志输出文件，并基于所述日志输出文件中当前存在的内容，输出所述应用系统的使用日志。

3.根据权利要求1所述的一种应用系统的推送缺陷识别方法，其特征在于，确定用户针对所述应用系统前端页面的浏览时间，具体包括：

在所述前端页面启动的同时，启动系统计时器；

以预设时间间隔为周期，检测所述前端页面上是否存在页面操作行为，若否，则获取所述应用系统的当前网速；其中，所述页面操作行为至少包括以下任一项或者多项：拉动滚动条、移动鼠标、点击页面以及选中页面内容；

在所述当前网速小于预设网速阈值的情况下，确定所述前端页面卡顿，并暂停所述计时器；以及，

在所述当前网速大于或等于预设网速阈值的情况下，停止暂停所述计时器，以继续对所述前端页面的浏览进行计时，并在所述前端页面关闭时，关闭所述计时器，输出所述前端页面的浏览时间。

4.根据权利要求1所述的一种应用系统的推送缺陷识别方法，其特征在于，根据用户所浏览的所述应用系统前端页面的内容，确定预设推送内容，具体包括：

基于所述前端页面输出前端页面图像，具体为，对所述前端页面进行截图处理，得到所述前端页面图像；

在所述前端页面图像为文字图像时，提取文字内容，并以逗号为断句号对所述文字内容进行断句处理，得到若干语句；

继续对所述若干语句分别进行分词处理，得到若干分词词语；

在所述若干分词词语中筛选与用户兴趣有关的词语；其中，所述用户兴趣至少包括以下任一项或者多项：满减活动、买赠活动以及兑换活动；

通过以下公式，计算所述与用户兴趣有关词语分别对应的兴趣度：

其中，i取值为1-n，

为第i个词语对应的兴趣度，

为第i个词语在所述应用系统中对应的搜索次数，

为调整参数；

基于所述兴趣度，确定推送词语，以便基于所述推送词语，生成所述预设推送内容。

5.根据权利要求4所述的一种应用系统的推送缺陷识别方法，其特征在于，继续对所述若干语句分别进行分词处理，得到若干分词词语，具体包括：

获取语句首字，并以所述语句首字为检索字，对所述应用系统搜索数据库进行检索，得到语句首字对应的词库；其中，所述应用系统搜索数据库中至少包括用户使用所述应用系统的搜索功能时输入所述应用系统的搜索关键词；所述语句首字对应的词库中包含的词语首字均为所述语句首字；

以语句前二字组合为检索词，与所述语句首字对应的词库进行匹配，并在匹配度大于预设匹配阈值时，将所述检索词输出为所述语句对应的分词词语，否则，以语句前三字组合为检索词，继续与所述语句首字对应的词库进行匹配，直至所述匹配度大于预设匹配阈值，输出所述语句对应的分词词语；其中，所述匹配至少包括以下任一项或者多项：词语字数匹配、词语笔画匹配以及词语语义匹配。

6.根据权利要求1所述的一种应用系统的推送缺陷识别方法，其特征在于，将所述系统推送内容与所述预设推送内容进行比对，具体包括：

统一所述预设推送内容与所述系统推送内容的推送形式；其中，所述推送形式至少包括图像形式以及文字形式；

在所述推送形式为图像形式时，将所述预设推送内容与所述系统推送内容分别输入至图像识别模型中，以识别出二者中分别存在的图像特征；其中，所述图像特征用于指示所述预设推送内容与所述系统推送内容中包含的物体；

将所述图像特征进行比对，确定类别一致的图像特征数量，并在所述数量小于预设数量阈值时，确定所述系统推送内容与所述预设推送内容不属于同一类推送内容；以及，

在所述推送形式为文字形式时，获取所述预设推送内容对应的推送词语，同时获取所述系统推送内容对应的关键词；

将所述推送词语与所述关键词进行词义匹配，并在匹配度小于预设匹配阈值时，确定所述系统推送内容与所述预设推送内容不属于同一类推送内容。

7.根据权利要求1所述的一种应用系统的推送缺陷识别方法，其特征在于，确定对应时间晚的所述推送流程状态所对应的推送流程节点未接收到加催提醒，具体包括：

将所述时间差值平均划分为第一时间段与第二时间段；其中，所述第一时间段在所述第二时间段之前；

获取所述推送流程节点对应的工作日志，并在所述工作日志中提取在所述第一时间段之间的消息接收数据，以及，对所述消息接收数据进行语义识别处理，以确定所述消息接收数据中不存在所述加催提醒；其中，所述消息接收数据至少包括以下任一项或者多项：邮件接收数据、信息接收数据以及即时通讯接收数据；或者，

读取所述推送流程节点对应的通话数据，并确定在所述第一时间段之间的所述通话数据中不存在呼入数据。

8.根据权利要求7所述的一种应用系统的推送缺陷识别方法，其特征在于，所述方法还包括：

确定所述第一时间段之间的消息接收数据中存在所述加催提醒；

获取所述加催提醒的消息状态，若所述消息状态为未读状态，在日志数据中继续提取在所述第二时间段之间的消息接收数据，以判断在所述时间差值之间是否存在多个消息加催提醒；

若否，则确定所述应用系统存在系统推送调整缺陷；以及，

确定所述第一时间段之间的所述通话数据中存在呼入数据；

确定所述呼入数据是否为呼入未接数据，若是，则在所述通话数据中继续确定在所述第二时间段之间是否存在呼入数据，以判断在所述时间差值之间是否存在多次电话加催提醒；

若否，则确定所述应用系统存在系统推送调整缺陷。

9.根据权利要求1所述的一种应用系统的推送缺陷识别方法，其特征在于，确定所述应用系统存在系统推送调整缺陷，还包括：

获取所述应用系统的系统留言数据，并提取所述系统留言数据对应的留言设备信息；

调取所述应用系统对应的后台下载数据，并在所述后台下载数据中确定所述留言设备信息是否存在，以将所述留言数据中的恶意留言筛选出来；其中，所述留言设备信息至少包括以下任一项或者多项：留言设备MAC地址、留言设备账号以及留言设备名称；

在所述系统留言数据中，提取与应用系统推送有关的使用感受数据；

基于所述使用感受数据，确定所述应用系统存在系统推送调整缺陷，具体为：

通过对所述使用感受数据进行语义识别处理，将所述使用感受数据划分为使用感受良好数据以及使用感受不良数据；或者，通过获取所述使用感受数据分别对应的打分数据，将所述使用感受数据划分为使用感受良好数据以及使用感受不良数据；

计算所述使用感受不良数据对应的留言占比，并在所述留言占比大于预设占比阈值时，确定所述应用系统存在系统推送调整缺陷。

10.一种应用系统的推送缺陷识别设备，其特征在于，所述设备包括：

处理器；

以及，存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-9任一项所述的一种应用系统的推送缺陷识别方法。

Images