CN110134615A - 应用程序获取日志数据的方法及装置 - Google Patents

Abstract

本发明实施方式提供一种应用程序获取日志的方法，本发明涉及计算机存储方法领域，具体地涉及应用程序获取日志的方法及其装置；所述方法包括：从服务器端获取最新日志存储策略；根据所述日志存储策略定义需要拦截的内容；在需要拦截的内容中添加拦截协议；根据所述拦截协议拦截所述需要拦截的内容，将拦截后的内容与嵌入日志收集代码的内容进行交换，获得嵌入日志收集代码的拦截后内容；获取所述拦截的内容中的日志数据，根据日志存储策略决定是否对所述日志进行记录。本发明在不侵入原有业务逻辑代码的基础上进行日志信息的采集，保证了原有逻辑代码的完整性。将日志收集工作统一，避免收集代码穿插在业务逻辑代码中所造成的不良使用体验。

Description

应用程序获取日志数据的方法及装置

技术领域

本发明涉及计算机存储方法领域，具体地涉及一种应用程序获取日志数据的方法及一种应用程序获取日志数据的装置。

背景技术

应用程序日志数据收集是记录内容创作者在使用应用程序过程中发生的各种有效数据，并对数据进行收集分析的技术。自媒体作者在使用应用程序过程中需要进行图集、图文、视频等自媒体内容的创作与发布，鉴于应用程序功能的多样性以及逻辑的复杂性，日志数据产生频次较多，读写操作频繁容易造成CPU占用量升高，同时高I/O操作容易造成垃圾回收问题。其次，日志收集模式一旦设定好，后续要修改只能通过发版来实现，而且一些用户的异常操作日志数据可能由于日志数据收集模式没有覆盖到而丢失。

传统方法中的日志数据收集方法，一是：会嵌入到业务逻辑代码中，对系统原有逻辑造成干扰，给自媒体创作者带来不好的使用体验，而且在开发中遇到代码复用的时候还要把这部分收集代码清除掉，造成时间和效率上的损失。二是：自媒体作者操作应用程序的频次一般都比较多，收集到的日志数据信息容量比较大，存储数据过程会浪费大量资源，而且在应用程序异常退出时，日志数据没法保存。三是：一旦日志收集模式修订好，后续想要修改日志收集模式只能通过发版来实现，易用性和实效性差，而且对用户的一些异常操作覆盖性不够全面。

发明内容

本发明实施方式的目的在于降低了代码开发工作量，而且也为日志数据收集提供便利。

为了实现上述目的，本发明一方面提供一种应用程序获取日志数据的方法，所述方法包括：

S1)从服务器端获取最新日志存储策略；

S2)根据所述日志存储策略确定需要拦截的内容；

S3)在所述需要拦截的内容中添加拦截协议；

S4)根据所述拦截协议拦截所述需要拦截的内容，将拦截后的内容与嵌入日志收集代码的内容进行交换，获得嵌入日志收集代码的拦截后内容；

S5)通过运行嵌入日志收集代码的拦截后内容获取日志数据。

进一步的，所述方法还包括：

S6)判断用户当前操作行为是否异常；在用户当前操作行为异常的情况下，对操作行为异常时的日志数据进行存储；否则，根据所述日志存储策略确定是否对所述日志数据进行存储。

可选的，步骤S6)中，利用内置于所述应用程序中的机器学习模型判断所述用户当前操作行为是否异常。

可选的，所述步骤S4)中：

所述需要拦截的内容为需要进行方法拦截的函数；

所述嵌入日志收集代码的内容为嵌入日志收集代码的函数；

所述步骤S5)中，运行嵌入日志收集代码的拦截后内容为运行嵌入日志收集代码的拦截后的函数。

可选的，步骤S5)中，所述日志数据包括：设备基本信息、启动时间、页面加载时间和跳转路径、网络加载耗时中至少一个。

可选的，步骤S6)，对所述操作异常时的日志数据进行存储，包括：采用内存映射的方式对所述日志数据进行存储。

本发明的另一方面，还提供一种应用程序获取日志数据的装置，该装置包括：

提取模块，所述提取模块用于从服务器端提取最新日志存储策略；

定义模块，所述定义模块用于根据所述日志存储策略确定需要拦截的内容；

添加拦截协议模块，所述添加拦截协议模块用于在所述需要拦截的内容中添加拦截协议；

拦截器模块，所述拦截器模块用于根据所述拦截协议拦截所述需要拦截的内容；

交换模块，所述交换模块用于将拦截后的内容与嵌入日志收集代码的内容进行交换，获得嵌入日志收集代码的拦截后内容；

运行模块，所述运行模块用于通过运行嵌入日志收集代码的拦截后内容获取日志数据。

进一步的，所述装置还包括：

判断及存储模块，所述判断及存储模块用于判断用户当前操作行为是否异常；在用户当前操作行为异常的情况下，对操作行为异常时的日志数据进行存储；否则，根据所述日志存储策略确定是否对所述日志数据进行存储。

可选的，所述判断及存储模块利用内置于所述应用程序中的机器学习模型判断所述用户当前操作行为是否异常。

可选的，所述需要拦截的内容为需要进行方法拦截的函数；所述嵌入日志收集代码的内容为嵌入日志收集代码的函数；所述运行嵌入日志收集代码的拦截后内容为运行嵌入日志收集代码的拦截后的函数。

可选的，所述日志数据包括：设备基本信息、启动时间、页面加载时间和跳转路径、网络加载耗时中至少一个。

可选的，所述判断及存储模块采用内存映射的方式对所述日志数据进行存储。

本发明的再一方面，还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行前述的应用程序获取日志数据的方法。

本发明的技术方案具有如下优点：

可以在不侵入原有业务逻辑代码的基础上进行日志数据信息的采集，保证了原有逻辑代码的完整性。同时，在增加新的业务逻辑后，不需要增加新的日志数据收集代码，将日志数据收集工作统一到一个范围内进行，避免收集代码穿插在业务逻辑代码中所造成的不良使用体验。并且增加了数据策略限制，不依赖应用程序发版，可以改变现有日志收集策略，减少存储的日志的数量，减少存储成本。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1是本发明一种实施方式提供的应用程序获取日志数据的方法的步骤流程图；

图2是本发明提供的方法中当日志存储策略改变以及应用程序操作异常时应用程序获取日志数据的流程图；

图3是传统的数据存储逻辑图；

图4是MMAP内存映射逻辑图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

技术词语解释：

MMAP：Memory Mapping，内存映射。

收集应用程序端上的日志数据传统方案如下：

(1)在系统需要记录日志数据的位置，手动写入统计代码，主动将日志数据进行保存。

(2)日志获取逻辑代码与业务逻辑代码维持串行关系，为避免高I/O操作，将日志数据写入缓存，达到一定量级再一次性写入磁盘中。

(3)日志收集模式一旦设定好，后续要修改只能通过发版来实现。

现有技术中采用在需要统计日志数据的地方主动写收集逻辑代码，然后采用缓存进行数据存储的方案存在以下缺点：

侵入业务逻辑代码，代码开发中可能会导致错误发生，导致作者辛苦创作的内容丢失，影响用户创作，而且以后代码移植的时候还要移除掉这部分日志收集代码，造成工作上的时间消耗。

在系统增加新的业务逻辑的时候，需要再同时增加新的统计代码才能获取到相应的日志数据，鉴于自媒体作者操作应用程序的次数较多，传统的埋点方式无法捕获到所有想要的日志数据。

频繁I/O操作导致CPU占用量升高，容易导致卡顿。假设在缓存未写入磁盘过程中发生程序异常退出，则这部分数据会丢失。

日志收集模式固定，不能灵活修改，对于一些用户异常操作模式下的日志数据可能没有收集到。

日志数据收集代码侵入业务逻辑代码，当日志数据收集代码出现问题时，因是串行运行方式，则会影响业务逻辑代码的正常运行。

本发明提供的方案至少能够解决上述问题。

图1是本发明提供的应用程序获取日志数据的方法的步骤流程图。如图1所示，本发明提供的应用程序获取日志数据的方法包括：

S1)从服务器端获取最新日志存储策略；该步骤可以实时更新客户端的日志存储策略。

日志存储策略，即指本地应用程序存储日志数据采取的策略。例如：当没有日志存储策略时，本地应用程序存储所有的日志数据；当采用了从服务端获取的日志存储策略后，本地应用程序会根据日志存储策略有选择性的存储本地的日志数据。并且，如图2中的步骤S22)所示，当服务器端的日志存储策略发生变化时，本地应用程序拉取该最新日志存储策略至本地。该最新日志存储策略对本地策略进行更新。该服务器端的日志存储策略可能随时更新，所以，应用程序也应该随时查询服务器端的日志存储策略，以便于及时拉取该更新后的日志存储策略。

S2)根据所述日志存储策略确定需要拦截的内容。

该步骤由于是采用的实时更新的日志存储策略，所以需要拦截的内容也是实时更新的，这样，可以减少存储的日志的数量，减少存储成本。在此处，拦截即指匹配。例如：日志存储策略定义了需要拦截的内容，当所述需要拦截的内容出现在本地应用程序的操作中，则二者匹配成功，所述出现在本地应用程序的日志数据即成为需要拦截的内容。

S3)在所述需要拦截的内容中添加拦截协议。

该步骤通过拦截协议定义拦截阀值等内容。

S4)根据所述拦截协议拦截所述需要拦截的内容，将拦截后的内容与嵌入日志收集代码的内容进行交换，获得嵌入日志收集代码的拦截后内容。

该步骤可以实现自动添加日志收集代码，而不需要人工的在每个需要收集日志代码的地方添加代码。节省了人工成本，提高了效率，实现了日志数据收集自动化。

S5)通过运行嵌入日志收集代码的拦截后内容获取日志数据。

该步骤是与所述需要拦截的内容并行运行的。由于是并行运行的，所以，所述需要拦截的内容正常运行，不会影响该业务逻辑的正常执行。该步骤实现了无侵入的日志收集。

进一步的，所述方法还包括：

S6)判断用户当前操作行为是否异常；在用户当前操作行为异常的情况下，对操作行为异常时的日志数据进行存储；否则，根据所述日志存储策略确定是否对所述日志数据进行存储。

此步骤中，当用户操作行为有异常，例如，在缓存未写入磁盘过程中发生程序异常退出，导致了操作异常，则应用程序直接将该缓存中的日志数据进行存储；如果没有出现操作异常，则是根据所述日志存储策略判断是否对所述日志数据进行存储。

优选的，步骤S6)中，利用内置于所述应用程序中的机器学习模型判断所述用户当前操作行为是否异常。

通过导入机器学习模块，对用户行为模块进行判断，防止异常行为日志数据的丢失。间接提升自媒体作者创作热情，实现更多优质内容的产出。在应用程序内部导入提前训练好的机器学习模块，该模块可以对用户行为模式以及对应日志数据进行分析，输出结果为需要存储或者中立，对于结果为需要存储的数据，不管采集策略是怎样的，都需要对该条日志数据进行存储。导入模型是因为，有一些操作日志数据是没有被策略数据包含在内的，对于一些特殊场景，日志信息看似正常，不过用户可能并没有感受到好的体验，所以需要模型对用户操作的行为信息比如点击位置、按压强度、点击频率，操作间隔等信息进行汇总分析，判断出用户当前的操作是正常还是异常。

优选的，步骤S4)中，所述需要拦截的内容为需要进行方法拦截的函数；所述嵌入日志收集代码的内容为嵌入日志收集代码的函数；步骤S5)中，运行嵌入日志收集代码的拦截后内容为运行嵌入日志收集代码的拦截后的函数。

运行所述增加日志收集代码的函数，在所述应用程序所在系统在运行时做的各种需要被记录的操作就会被自动的记录收集下来，从而实现了日志记录。

优选的，步骤S5)中，所述日志数据包括：设备基本信息、启动时间、页面加载时间和跳转路径、网络加载耗时中至少一个。

优选地，步骤S6)中，对所述操作异常时的日志数据进行存储，包括：采用内存映射的方式对所述日志数据进行存储。

图2是本发明提供的方法中当日志存储策略改变以及应用程序操作异常时应用程序获取日志数据的流程图，包括步骤S21)-S25)。

所述记录的方式为基于内存映射(MMAP)方式进行存储。数据存储采用MMAP方式，实现内存映射文件方法进行数据存储。通过这种方式，不仅降低了代码开发工作量，也为日志数据收集提供了便利。

具体来说，如图3所示，传统的数据存储逻辑，写操作时待写入的buffer在内核空间不能直接访问，必须要先拷贝到内核空间对应的主存，再写回到磁盘中，需要两次拷贝操作，浪费系统资源，而且在应用程序异常退出时，缓存的数据由于没有写入磁盘而造成丢失。

如图4所示，MMAP内存映射则不同。MMAP会返回一个指针指向进程逻辑地址空间中，只需要操作指针就可以操作文件。具体实现操作是给每一种类型的日志数据信息分别进行映射(网络、页面渲染、启动时间等)，由于应用程序用户操作频繁，所以分别映射好处是不同类型的内存隐射区块可以同时进行读写操作。对于同一区块内容，如果要多个同类信息需要写入时，会再创建一个新的内存映射区块，写完后，待系统空闲时再将两个同类映射区块合并。内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而且在对该文件进行操作之前必须首先对文件进行映射。使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。将要映射的文件先映射到逻辑内存，然后将逻辑内存的逻辑地址转换成物理地址，则程序在访问文件就像访问内存一样。

另一方面，本发明还提供一种应用程序获取日志数据的装置，包括：

提取模块，所述提取模块用于从服务器端提取最新日志存储策略；

定义模块，所述定义模块用于根据所述日志存储策略确定需要拦截的内容；

添加拦截协议模块，所述添加拦截协议模块用于在所述需要拦截的内容中添加拦截协议；

拦截器模块，所述拦截器模块用于根据所述拦截协议拦截所述需要拦截的内容；

交换模块，所述交换模块用于将拦截后的内容与嵌入日志收集代码的内容进行交换，获得嵌入日志收集代码的拦截后内容；

运行模块，所述运行模块用于通过运行嵌入日志收集代码的拦截后内容获取日志数据。

所述根据用户当前操作行为确定是否对所述日志数据进行存储，包括：

在用户当前操作行为异常的情况下，对操作行为异常时的日志数据进行存储；否则，根据所述日志存储策略确定是否对所述日志数据进行存储。

所述装置还包括：机器学习模块，所述机器学习模块用于判断所述用户当前操作行为是否异常。

所述需要拦截的内容为需要进行方法拦截的函数；所述嵌入日志收集代码的内容为嵌入日志收集代码的函数；所述运行嵌入日志收集代码的拦截后内容为运行嵌入日志收集代码的拦截后的函数。

所述获取所述拦截后内容中的日志数据，包括：将所述应用程序运行时做的需要被记录的操作作为所述日志数据进行自动记录。

所述需要被记录的操作包括：设备基本信息、启动时间、页面加载时间和跳转路径、网络加载耗时中至少一个。

所述记录的方式为基于MMAP方式进行存储。

再一方面，本发明还提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行前述的应用程序获取日志数据的方法。

本发明的方案在所述应用程序所在系统中利用运行时机制，通过将需要进行方法拦截的函数与增加日志数据收集代码的函数进行交换，实现拦截所述需要进行方法拦截的函数及其调用的作用；当所述需要进行方法拦截的函数被执行的时候，其对应的具体实现已经变成了之前指定的进行交换后的增加日志数据收集代码的函数的实现逻辑，这样就实现了运行时的交换。该方式即为无侵入的方式；并且，所述需要进行方法拦截的函数的运行不受影响，与所述增加日志收集代码的函数同时运行，实现了并行运行。

通过本发明的技术方案，能够实现无侵入的日志数据记录方式，不需要手动注入，日志数据收集系统会自动对感兴趣的数据进行收集存储，同时又能避免由于日志数据收集逻辑出错导致的主业务逻辑无法执行的弊端，同时优化数据存储，提升数据存储效率，而且可以实时更新日志数据收集策略，实现个性化的日志数据收集模式。

本发明的创新点至少在于可以在不侵入原有业务逻辑代码的基础上进行日志信息的采集，保证了原有逻辑代码的完整性。同时，在增加新的业务逻辑后，不需要增加新的日志收集代码，将日志收集工作统一到一个范围内进行，避免收集代码穿插在业务逻辑代码中所造成的不良使用体验。增加了数据策略限制，并且不依赖应用程序发版，可以改变现有日志收集策略。同时增加了机器学习模块对异常日志信息的监控，避免重要日志数据信息的丢失。

本发明的上述存储方案在日志数据存储上进行了优化，没有采用传统缓存方式进行文件读写操作，而是利用内存映射方法直接操作文件，大幅度降低对文件的读写操作，降低CPU使用率减少卡顿发生，而且在程序意外退出时，不会丢失日志数据，采用分块内存映射方式，写入数据效率大幅度提高，可以对不同区块同时进行写入操作，进一步提高读写效率。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (13)

1.一种应用程序获取日志数据的方法，其特征在于，该方法包括：

S1)从服务器端获取最新日志存储策略；

S2)根据所述日志存储策略确定需要拦截的内容；

S3)在所述需要拦截的内容中添加拦截协议；

S4)根据所述拦截协议拦截所述需要拦截的内容，将拦截后的内容与嵌入日志收集代码的内容进行交换，获得嵌入日志收集代码的拦截后内容；

S5)通过运行嵌入日志收集代码的拦截后内容获取日志数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

S6)判断用户当前操作行为是否异常；在用户当前操作行为异常的情况下，对操作行为异常时的日志数据进行存储；否则，根据所述日志存储策略确定是否对所述日志数据进行存储。

3.根据权利要求2所述的方法，其特征在于，步骤S6)中，利用内置于所述应用程序中的机器学习模型判断所述用户当前操作行为是否异常。

4.根据权利要求1所述的方法，其特征在于，所述步骤S4)中：

所述需要拦截的内容为需要进行方法拦截的函数；

所述嵌入日志收集代码的内容为嵌入日志收集代码的函数；

所述步骤S5)中，运行嵌入日志收集代码的拦截后内容为运行嵌入日志收集代码的拦截后的函数。

5.根据权利要求1所述的方法，其特征在于，步骤S5)中，所述日志数据包括：设备基本信息、启动时间、页面加载时间和跳转路径、网络加载耗时中至少一个。

6.根据权利要求2所述的方法，其特征在于：步骤S6)中，对所述日志数据进行存储，包括：采用内存映射的方式对所述日志数据进行存储。

7.一种应用程序获取日志数据的装置，其特征在于，该装置包括：

提取模块，所述提取模块用于从服务器端提取最新日志存储策略；

定义模块，所述定义模块用于根据所述日志存储策略确定需要拦截的内容；

添加拦截协议模块，所述添加拦截协议模块用于在所述需要拦截的内容中添加拦截协议；

拦截器模块，所述拦截器模块用于根据所述拦截协议拦截所述需要拦截的内容；

交换模块，所述交换模块用于将拦截后的内容与嵌入日志收集代码的内容进行交换，获得嵌入日志收集代码的拦截后内容；

运行模块，所述运行模块用于通过运行嵌入日志收集代码的拦截后内容获取日志数据。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

判断及存储模块，所述判断及存储模块用于判断用户当前操作行为是否异常；在用户当前操作行为异常的情况下，对操作行为异常时的日志数据进行存储；否则，根据所述日志存储策略确定是否对所述日志数据进行存储。

9.根据权利要求8所述的装置，其特征在于，所述判断及存储模块利用内置于所述应用程序中的机器学习模型判断所述用户当前操作行为是否异常。

10.根据权利要求7所述的装置，其特征在于，所述需要拦截的内容为需要进行方法拦截的函数；所述嵌入日志收集代码的内容为嵌入日志收集代码的函数；所述运行嵌入日志收集代码的拦截后内容为运行嵌入日志收集代码的拦截后的函数。

11.根据权利要求7所述的装置，其特征在于，所述日志数据包括：设备基本信息、启动时间、页面加载时间和跳转路径、网络加载耗时中的至少一个。

12.根据权利要求8所述的装置，其特征在于，所述判断及存储模块采用内存映射的方式对所述日志数据进行存储。

13.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令在被控制器执行时能够使得所述控制器执行权利要求1至6中任意一项所述的方法。