CN110969457A - 移动应用日志采集方法及系统 - Google Patents

Abstract

本发明实施例提供了一种移动应用日志采集方法及系统，方法包括：对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；根据所述采点逻辑行为，对移动应用日志进行采集。本发明实施例提供的一种移动应用日志采集方法及系统，通过解析采集命令中的兴趣标签，并在预设的行为池中匹配相应的采点逻辑行为，从而将具体采集动作的确定时间由开发期推迟到了采集期，可以基于实时采集需求实现针对不同采集对象，提高了采集过程的灵活性。

Description

移动应用日志采集方法及系统

技术领域

本发明实施移动应用开发技术领域，尤其涉及一种移动应用日志采集方法及系统。

背景技术

移动应用市场竞争激烈，每一款移动应用都需要对市场需求及用户反馈保持高度敏感，这对相关的开发工作提出了更高的要求：如何能快速捕捉异常错误报告、精准收集用户行为习惯，及时缺陷修复、合理优化应用设计及用户体验，将会直接决定一款移动应用的成败。而在移动应用开发中，日志采集是不可或缺的重要一环，日志采集是指通过在移动应用中埋点记录用户操作记录及系统运行信息，并以日志形式提交服务端进行分析处理。通过分析采集到的用户日志，可以在用户尚未流失之时就可以发现问题、修复缺陷、优化设计。

现有的日志采集方案一般是基于先埋点、后采集、再分析的三步走方式进行，图1是现有技术提供的一种日志采集方法流程示意图，如图1所示，在开发期间开发人员在代码中进行编码埋点，确定日志采集的实现逻辑及上传机制，在采集期间应用会根据之前写入的采集逻辑对用户的操作行为及系统信息进行本地记录，同时按照之前约定的上传机制将采集到的日志上传服务端数据库，在分析期间基于服务端上收集到的海量日志，通过数据分析手段尝试定位应用异常原因。

但现有技术日志的采集逻辑已在开发阶段以硬编码的方式写死在程序之中，采集期仅根据设置好的逻辑将数据采集并上传到服务端，管理人员对采集期的日志采集行为缺乏有效控制，当发现特定的需要采集的场景没有被采集方案覆盖时，只能放到下一次开发中重新编码埋点逻辑实现，采集过程缺乏灵活性，因此，现在亟需一种移动应用日志采集方法来解决上述问题。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的移动应用日志采集方法及系统。

第一方面本发明实施例提供一种移动应用日志采集方法，包括：

对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；

在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；

根据所述采点逻辑行为，对移动应用日志进行采集。

第二方面本发明实施例提供了一种移动应用日志采集系统，包括：

第一解析模块，用于对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；

行为控制器模块，用于在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；

采集模块，用于根据所述采点逻辑行为，对移动应用日志进行采集。

第三方面本发明实施例提供了一种电子设备，包括：

处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述移动应用日志采集方法。

第四方面本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述移动应用日志采集方法。

本发明实施例提供的一种移动应用日志采集方法及系统，通过解析采集命令中的兴趣标签，并在预设的行为池中匹配相应的采点逻辑行为，从而将具体采集动作的确定时间由开发期推迟到了采集期，可以基于实时采集需求实现针对不同采集对象，提高了采集过程的灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术提供的一种日志采集方法流程示意图；

图2是本发明实施例提供的一种移动应用日志采集方法流程示意图；

图3是本发明实施例提供的移动应用日志采集方案示意图；

图4是本发明实施例提供的一种移动应用日志采集系统结构图；

图5是本发明实施例提供的电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，现有技术提供的日志采集方案中是在单个周期内三个阶段之间单向顺序执行，能否在分析期取得有价值的信息完全依赖于开发期确定的采集逻辑，日志的采集逻辑与上传机制已在开发阶段以硬编码的方式写死在程序之中，采集期仅根据设置好的逻辑将数据采集并上传到服务端，管理人员对采集期的日志采集行为缺乏有效控制，当发现特定的需要采集的场景没有被采集方案覆盖时，只能放到下一次开发中重新编码埋点逻辑实现，缺乏灵活性。

例如：由于采集逻辑设定先于采集行为，具体的应用场景可能与开发时预设的有所偏差，造成某些场景的采集方案不够细致，采集到的数据不够全面，从而直接影响分析期的工作开展。又或者是某些场景存在数据的过度采集，造成网络带宽及服务端存储资源的浪费，也会增加分析期数据分析的难度，还会影响用户的应用操作体验。

针对上述问题，图2是本发明实施例提供的一种移动应用日志采集方法流程示意图，如图2所示，包括：

201、对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；

202、在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；

203、根据所述采点逻辑行为，对移动应用日志进行采集。

需要说明的是，本发明实施例的执行主体为移动终端，也可以具体到移动终端上的某一个具体应用(APP)中。图3是本发明实施例提供的移动应用日志采集方案示意图，如图3所示，本发明实施例提供的移动应用日志采集方法同样可以分为开发期、采集期以及分析期三个阶段。在开发期中，本发明实施例只需要定义采集器和标签协议，采集器用于执行本发明实施例提供的移动应用日志采集方法，标签协议则预先定义好，用于快速定位采点逻辑行为，采点逻辑行为包括了用户需求的采集目标、采集页面、采集硬件等信息。采集期则包括根据采集命令在终端进行采集行为，并将采集结果进行上传给服务端的过程。最后服务端根据接收到的移动应用日志数据，进行分析，进行问题的快速定位。

采集期中具体的采集过程如图2的实施例所示，在步骤201中，当终端接收到管理人员发送的采集命令后，利用解析器对采集命令进行解析，从采集命令中解析出兴趣标签。解析器的解析逻辑已经预先定义好，能够自动识别并解析采集命令的含义。其中，兴趣标签是指管理人员对此次采集所设置的各个要求，例如：要求从页面1中进行采集、要求采集网卡日志数据、要求采集网络超时数据等等。可以理解的是，在采集命令中，可能解析出一个或多个兴趣标签，本发明实施例不对兴趣标签的数量作具体限定。

进一步的，在步骤202中，本发明实施例提供的一个预设的行为池，该行为池包括了终端执行采集过程的若干种采点逻辑行为，每一种采点逻辑行为对应一个或多个兴趣标签。例如：行为池中的采点逻辑行为A对应兴趣标签1+兴趣标签2+兴趣标签3，而采点逻辑行为B对应兴趣标签1+兴趣标签2+兴趣标签4，那么当步骤201中解析出的兴趣标签为兴趣标签1+兴趣标签2+兴趣标签3时，则可以在行为池中确定采点逻辑行为为A。

在步骤203中，终端根据确定的采点逻辑行为，能够对移动应用日志进行采集。

可以理解的是，本发明实施例提供的移动应用日志采集方法，用户能够在采集期根据实际需求下发相应的采集命令，从而终端解析采集命令后自动完成相应的采集任务。不再需要在开发期将采集逻辑定义好之后再进行采集，从而将具体采集动作的确定时间由开发期推迟到了采集期，有效消除了原先存在的日志过度采集的隐患，同时也满足了了不同场景差异化采集的需求。

本发明实施例提供的一种移动应用日志采集方法，通过解析采集命令中的兴趣标签，并在预设的行为池中匹配相应的采点逻辑行为，从而将具体采集动作的确定时间由开发期推迟到了采集期，可以基于实时采集需求实现针对不同采集对象，提高了采集过程的灵活性。

在上述实施例的基础上，在所述对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签之前，所述方法还包括：

基于预先定义的标签协议，构建所述行为池，所述行为池中包括若干采点逻辑行为，每一采点逻辑行为对应一个或多个兴趣标签。

由上述实施例的内容可知，本发明实施例提供了一个预设的行为池，能够在行为池中根据兴趣标签的内容匹配相应的采点逻辑行为。

具体的，本发明实施例提供的行为池是根据预先定义好的标签协议构建的。可以理解的是，标签协议是行为池建立的基石，行为池中每个采点逻辑行为均需要根据标签协议进行标签化，例如：将采点逻辑行为A标签化为兴趣标签1+兴趣标签2+兴趣标签3的形式，将采点逻辑行为B标签化为兴趣标签1+兴趣标签2+兴趣标签4的形式等等。从而能够在行为池中为每一项采点逻辑行为找到一个或多个对应的兴趣标签对象。

通过本发明实施例提供的标签协议，能够构建一个行为池，使得行为池中每一个采点逻辑行为确定一个或多个对应的兴趣标签对象。

在上述实施例的基础上，所述预先定义的标签协议包括页面维度、硬件维度以及告警维度；相应的，所述基于预先定义的标签协议，构建所述行为池，包括：

对于所述行为池中的每一采点逻辑行为，在所述页面维度、所述硬件维度以及所述告警维度上分别定义采点逻辑行为对应的兴趣标签内容。

由上述实施例的内容可知，本发明实施例定义了一个标签协议来将每个采点逻辑行为进行标签化。优选的，为了能够快速、准确地定位到具体的采点逻辑行为，本发明实施例采用了3W(Where、Who、What)的定位法则，从而将标签协议分为了三个维度，分别是硬件维度、页面维度以及告警维度。页面维度的标签主要在于指定采集位置，具体在哪几个页面进行埋点；硬件维度的标签可以是某个设备的唯一标识码也可以是设备的具体硬件标识，例如UUID或是运动传感器；告警维度的标签主要是与产生的系统消息或者错误日志。具体的，每个维度上均包括多个兴趣标签，例如硬件维度上可以包括：相机、传感器、闪光灯、蓝牙、网卡等多个兴趣标签，而页面维度可以包括：首页、详情页、列表页、登录页、注册页、设置页等多个兴趣标签，告警维度可以包括：网络超时、网络失败、内存溢出、闪退、约束冲突等多个兴趣标签。那么基于上述三维化的标签协议定义方式，能够为每个采点逻辑行为在三个维度上分别定义相应的兴趣标签，从而根据兴趣标签的内容精确确定采点逻辑行为。

在上述实施例的基础上，所述方法还包括：

对接收到的采集命令进行解析，获取所述采集命令中的状态参数；

根据所述状态参数，确定上传机制；

根据所述上传机制，将采集到的移动应用日志上传到服务端，以供所述服务端对所述移动应用日志进行分析。

由上述实施例的内容可知，在移动应用采集方案中，在将移动应用日志数据采集完毕后，需要上传至服务端供服务端进行分析。现有技术中采集到的日志文件会被全量上传，导致服务端收集到的日志文件信息杂乱，增加了分析期工作的难度，需要管理人员手动进行分类识别才能定位到具体的问题原因，特别是当埋点数的增加时，分析的难度将程指数增长。

针对上述问题，本发明实施例通过解析采集命令，获取采集命令中的状态参数，再根据状态参数确定管理人员所需上传的内容，从而有针对性的将采集到的移动应用日志上传到服务端。

具体的，状态参数主要包括了状态判断参数、最短间隔参数、采样时长参数和上传模式参数。其中，状态判断参数用于判断终端状态为采集状态或空闲状态；最短采样间隔参数用于决定终端与服务端之间的最快通信频次；采样时长参数可以指定持续采样时间，若终端开始处于采集状态，则当采样时长参数设置的采样时长超时后将终端切换为空闲状态；上传模式参数用于设置终端的上传模式。

那么通过上述多个状态参数能够联合确定出终端此时的上传机制，即上传机制包括了上述的终端状态、采样时间、传输频率以及上传方式。按照确定好的上传机制，终端能够将采集到的移动应用日志上传到服务端，从而供服务端对所述移动应用日志进行分析。

需要说明的是，现有技术由于上传方式的缺陷，从而使得服务端在分析过程中分析难度较大，日志文件缺乏结构化分类。

针对该问题，由于本发明实施例的采集结果已经从进行了标签化分类，例如：从硬件、页面、告警三个维度进行区分，管理人员可以很方便地进行问题的快速定位，大幅提升了处理效率。

在上述实施例的基础上，所述状态参数包括状态判断参数；相应的，所述根据所述状态参数，确定上传机制，包括：

根据所述状态判断参数判断终端处于空闲状态或采集状态；

若终端处于空闲状态，则只发送心跳包给所述服务端；

若终端处于采集状态，则按照预设频率发送采集到的移动应用日志给所述服务端。

由上述实施例的内容可知，本发明实施例提供的状态参数能够确定上传机制。其中，状态参数具体包括有状态判断参数，状态判断参数用于判断终端的上传状态。

具体的，本发明实施例将终端的上传状态分为空闲状态和采集状态，处于不同的上传状态下，将采用不同的上传机制。根据状态参数中的状态判断参数，能够确定出终端此时的上传状态。

若判断终端处于空闲状态，则在空闲状态下只保持与服务端的低频交互，同时只回传心跳包给服务端。若判断终端处于采集状态，则需要按照预设频率发送采集到的移动应用日志给所述服务端，具体的上传频率可以由状态参数中最短间隔参数的进行灵活设置，从而实现在尽可能不影响用户体验下的高效采集，一般的该频率设置的较高。例如：当终端处于空闲状态时仅会以一天一次的低频与服务端进行通信，回传设备编码和时间戳以及当前状态等相关信息，而不上传移动应用日志文件，此时服务端的日志文件并不增加。管理人员可以依据需求保持该终端状态，或者切换为采集状态，切换为采集状态时需要下发包含采集编码及采样最短间隔等参数的状态参数。当终端切换为采集状态后才会将与下发的采集编码相关的移动应用日志数据按照指定的上传机制上传到服务端数据库。当管理人员不再需要该终端的日志数据时可以按类似的方式下发命令进行状态切换。

在上述实施例的基础上，所述状态参数还包括上传模式参数；相应的，所述根据所述状态参数，确定上传机制，包括：

根据所述上传模式参数确定采集到的移动应用日志为采到再传模式或时到即传模式。

由上述实施例的内容可知，本发明实施例提供的状态参数能够确定上传机制。其中，状态参数具体包括有上传模式参数，上传模式参数用于确定终端的上传模式。

具体的，本发明实施例将终端的上传模式分为采到再传模式和时到即传模式，处于不同的上传模式下，将采用不同的上传机制。根据状态参数中的上传模式参数，能够确定出终端此时的上传模式。

采到再传模式和时到即传模式的主要区别在于采到再传模式下只有当有需要上传日志数据后再在每个最短采样间隔后回传，而时到即传不论有无日志数据都按最短采样间隔进行回传。

可以理解的是，采到再传模式更加节省网络带宽资源，而时到即传模式则更具备跟踪效率，根据实际需要管理人员可自行设置，本发明实施例对此不作具体限定。

图4是本发明实施例提供的一种移动应用日志采集系统结构图，如图4所示，所述系统包括：第一解析模块401、行为控制器模块402以及采集模块403，其中：

第一解析模块401用于对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；

行为控制器模块402用于在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；

采集模块403用于根据所述采点逻辑行为，对移动应用日志进行采集。

具体的如何通过第一解析模块401、行为控制器模块402以及采集模块403对移动应用日志采集可用于执行图2所示的移动应用日志采集方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本发明实施例提供的一种移动应用日志采集系统，通过解析采集命令中的兴趣标签，并在预设的行为池中匹配相应的采点逻辑行为，从而将具体采集动作的确定时间由开发期推迟到了采集期，可以基于实时采集需求实现针对不同采集对象，提高了采集过程的灵活性。

在上述实施例的基础上，所述移动应用日志采集系统还包括：

构建模块，用于基于预先定义的标签协议，构建所述行为池，所述行为池中包括若干采点逻辑行为，每一采点逻辑行为对应一个或多个兴趣标签。

通过本发明实施例提供的构建模块，能够构建一个行为池，使得行为池中每一个采点逻辑行为确定一个或多个对应的兴趣标签对象。

在上述实施例的基础上，所述预先定义的标签协议包括页面维度、硬件维度以及告警维度；相应的，所述构建模块包括：

维度定义单元，用于对于所述行为池中的每一采点逻辑行为，在所述页面维度、所述硬件维度以及所述告警维度上分别定义采点逻辑行为对应的兴趣标签内容。

在上述实施例的基础上，所述移动应用日志采集系统还包括：

第二解析模块，用于对接收到的采集命令进行解析，获取所述采集命令中的状态参数；

状态控制器模块，用于根据所述状态参数，确定上传机制；

日志上传模块，用于根据所述上传机制，将采集到的移动应用日志上传到服务端，以供所述服务端对所述移动应用日志进行分析。

通过本发明实施例提供的第二解析模块、状态控制器模块以及日志上传模块，能够有针对性的上传管理人员的所需内容，从而简化服务端的接收内容，减轻了分析期工作的难度。

在上述实施例的基础上，所述状态参数包括状态判断参数；相应的，所述状态控制器模块包括：

判断单元，用于根据所述状态判断参数判断终端处于空闲状态或采集状态；

发送单元，用于若终端处于空闲状态，则只发送心跳包给所述服务端；还用于若终端处于采集状态，则按照预设频率发送采集到的移动应用日志给所述服务端。

在上述实施例的基础上，所述状态参数还包括上传模式参数；相应的，所述状态控制器模块包括：

上传模式确定单元，用于根据所述上传模式参数确定采集到的移动应用日志为采到再传模式或时到即传模式。

本发明实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：

图5是本发明实施例提供的电子设备的结构框图，参照图5，所述电子设备，包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和总线504，其中，处理器501，通信接口502，存储器503通过总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；根据所述采点逻辑行为，对移动应用日志进行采集。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；根据所述采点逻辑行为，对移动应用日志进行采集。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；根据所述采点逻辑行为，对移动应用日志进行采集。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种移动应用日志采集方法，其特征在于，包括：

对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；

在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；

根据所述采点逻辑行为，对移动应用日志进行采集。

2.根据权利要求1所述的方法，其特征在于，在所述对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签之前，所述方法还包括：

基于预先定义的标签协议，构建所述行为池，所述行为池中包括若干采点逻辑行为，每一采点逻辑行为对应一个或多个兴趣标签。

3.根据权利要求2所述的方法，其特征在于，所述预先定义的标签协议包括页面维度、硬件维度以及告警维度；相应的，所述基于预先定义的标签协议，构建所述行为池，包括：

对于所述行为池中的每一采点逻辑行为，在所述页面维度、所述硬件维度以及所述告警维度上分别定义采点逻辑行为对应的兴趣标签内容。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对接收到的采集命令进行解析，获取所述采集命令中的状态参数；

根据所述状态参数，确定上传机制；

根据所述上传机制，将采集到的移动应用日志上传到服务端，以供所述服务端对所述移动应用日志进行分析。

5.根据权利要求4所述的方法，其特征在于，所述状态参数包括状态判断参数；相应的，所述根据所述状态参数，确定上传机制，包括：

根据所述状态判断参数判断终端处于空闲状态或采集状态；

若终端处于空闲状态，则只发送心跳包给所述服务端；

若终端处于采集状态，则按照预设频率发送采集到的移动应用日志给所述服务端。

6.根据权利要求5所述的方法，其特征在于，所述状态参数还包括上传模式参数；相应的，所述根据所述状态参数，确定上传机制，包括：

根据所述上传模式参数确定采集到的移动应用日志为采到再传模式或时到即传模式。

7.一种移动应用日志采集系统，其特征在于，包括：

第一解析模块，用于对接收到的采集命令进行解析，获取所述采集命令中的兴趣标签；

行为控制器模块，用于在预设的行为池中确定与所述兴趣标签相关联的采点逻辑行为；

采集模块，用于根据所述采点逻辑行为，对移动应用日志进行采集。

8.根据权利要求7所述的移动应用日志采集系统，其特征在于，所述移动应用日志采集系统还包括：

第二解析模块，用于对接收到的采集命令进行解析，获取所述采集命令中的状态参数；

状态控制器模块，用于根据所述状态参数，确定上传机制；

日志上传模块，用于根据所述上传机制，将采集到的移动应用日志上传到服务端，以供所述服务端对所述移动应用日志进行分析。

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一项所述的方法。

Images