CN106341278A - 日志上报方法、装置和终端设备 - Google Patents

Abstract

本发明提供了一种日志上报方法、装置和终端设备。其中，该方法包括如下步骤：获取应用程序数据或系统数据，依据所述应用程序数据或系统数据生成日志；在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围；若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器。本发明减少了数据上传量，降低了对带宽资源的占用。

Description

日志上报方法、装置和终端设备

技术领域

本申请涉及通信领域，尤其是一种日志上报方法、装置和终端设备。

背景技术

日志是对系统或应用程序运作时的事件记录，每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。为了便于了解用户的操作事件，几乎所有的应用程序都具有日志上传功能。例如Apache Avro,thrift等数据的上报，都是有提前定义上报的格式，然后针对性的上报变动的数据。

然而，现有的日志上报都是上传日志数据的全量本身，每一次的日志输出都会上报。例如一个进程每隔1s输出一个统计向量，向量中有15个不同的整数维度。日志收集程序会每隔1s把这15个数据读取并通过网络发送。

从独立的产品侧看，每次收集数据都是全量无损的，这可以保证数据的准确性。然而实际上，聚合处理和展示等业务在很多情况下并不一定需要全量无损的数据。而现有日志上报方式仍然是全量无损的上传数据，这无疑占用了带宽资源、增加了服务器的负担。

发明内容

本申请提供一种日志上报方法、装置和终端设备，解决现有日志数据上报方法占用了带宽资源的问题。

根据本申请的第一方面，本申请提供一种日志上报方法，包括如下步骤：获取应用程序数据或系统数据，依据所述应用程序数据或系统数据生成日志；在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围；若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器。

优选的，所述若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器的步骤，具体为：若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器以实施在所述服务器展示所述日志数据的变动。

优选的，所述在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围的步骤，具体为：在预设参数出现变动时，判定所述参数的变动范围是否大于预定范围。

优选的，所述预设参数为预设日志输出值。

优选的，所述若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器的步骤，具体为：若所述日志输出值的变动范围大于预定范围，上传该变动范围大于预定范围的日志输出值及其多阶导数至预设服务器。

优选的，所述若所述日志输出值的变动范围大于预定范围，上传该变动范围大于预定范围的日志输出值及其多阶导数至预设服务器的步骤，具体为：仅在所述日志数据的变动范围大于预定范围时，计算并校准当前日志输出值的多阶导数，上传经校准后的日志输出值的多阶导数至预设服务器。

优选的，所述预定范围随预设日志数据变动频率的增加而减小。

根据本申请的第二方面，本申请提供一种日志上报装置，包括：获取模块，用于获取应用程序数据或系统数据，依据所述应用程序数据或系统数据生成日志；判定模块，用于在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围；上传模块，用于在所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器。

优选的，所述判定模块用于在日志数据的预设参数出现变动时，判定所述参数的变动范围是否大于预定范围。

根据本申请的第三方面，本申请提供一种终端设备，包括上述的日志上报装置。

相对于现有技术，本发明通过预设数据接口获取应用程序数据或系统数据，无需自身抓取应用程序原始数据，可快速生成日志。在监测到预设日志数据出现变动时，判定日志数据的变动范围是否大于预定范围，仅在日志数据的变动范围大于预定范围时，上传该变动范围大于预定范围的日志数据至预设服务器，如果日志数据的变动范围不大于预定范围，则并不上传，没有采用传统的全量无损的上传方式，仅上传变动范围大于预定范围的日志数据，减少了数据上传量，降低了对带宽资源的占用。

对于服务器而言，其接收的数据量减少，相应的数据计算减少，也降低了服务器的运作负担。对于聚合处理和数据展示等业务而言，在上传数据量减少的情况下，仍可保证数据精度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一种实施例的日志上报方法的流程图；

图2为本发明一种实施例的日志上报装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

有必要先对本发明的应用场景及其原理进行如下的先导性说明。

互联网中，一般包括用户端(用户终端设备)、网络和服务器(如网站的Web服务器等)。其中用户端可以是用户的互联网终端设备，如台式机(PC)、膝上型计算机(Laptop),带有网页浏览功能的智能型设备，如个人数字助理(Personal DigitalAssisstant,PDA)，以及移动互联网设备(Mobile Internet Device,MID)和智能手机(Phone)等。这些终端设备都可以在互联网环境中，典型的如英特网环境中，请求由另一进程(如服务器提供的进程)提供某项服务。

服务器通常是可通过互联网等通信媒介，典型的如英特网访问的远程计算机系统。而且，服务器通常可以为来自互联网的多个用户端提供服务。提供服务过程包括接收用户端发来的请求，收集用户端情报和反馈信息等。实质上，服务器充当计算机网络的信息提供者这一角色。服务器通常位于提供服务的一方，或由服务提供方配置以服务内容，这样的服务提供方可以如互联网服务公司的网站等。

本发明实施例提供一种日志上报方法，该方法应用于终端设备，如图1所示，其具体包括如下步骤：

S101：获取应用程序数据或系统数据，依据所述应用程序数据或系统数据生成日志。

日志包括应用程序日志、系统日志、DNS服务器日志和安全日志等多种，本实施例主要针对应用程序日志进行说明。日志的原始数据由应用程序产生，应用程序在运行过程中的操作都会被记载日志文件中。现有的日志生成方式中，系统可获取应用程序原始数据，进而生成日志。应用程序本身也可以使用一些组件监控自身的数据变动，进而生成日志，常见的如log4j组件，基于该组件，可以配置日志信息的优先级、日志信息的输出目的地和日志信息的输出格式等。日志信息的优先级从高到低有ERROR、WARN、INFO、DEBUG，分别用来指定日志信息的重要程度；日志信息的输出目的地指定了日志将打印到控制台还是文件中；而输出格式则控制了日志信息的显示内容。对于由系统生成日志的方法，系统将依照预定的配置文件获取应用程序的变动数据，进而生成日志并将日志存储于日志数据库中。

因此，可通过预设的程序接口从应用程序或系统中获取为生成日志而产生的系统数据和应用程序数据，再依据改应用程序数据或系统数据生成日志，并可将相应的日志文件存储于终端设备的本地日志数据库中。

S102：在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围。

设置预定的日志数据监测进程，对预设日志数据进行监测，在该日志数据出现变动时，判定该日志数据的变动范围是否大于预定范围。在日志文件中，通常分段存储有多条日志记录，每一条日志记录都记载了应用程序的运行状况。在一条日志记录中，通常包含多个字段，这些字段分别用来存储时间、使用者及动作等信息。所监测的日志数据可以是日志记录中的某一个或多个字段，或者是某一个字段或多个字段中的预设的某一个或多个参数。本领域技术人员应理解，在结合日志上报后具体业务需求以及使用者的要求时，可以确定该日志数据的具体内容。上述的预定范围，可以是具体的数值变动范围，可以是数值变动的频率范围等。同理，预定范围的具体内容需结合日志上报后具体业务需求、用户需求以及需监测的日志数据确定，依据日志上报后具体业务需求、用户需求以及需监测的日志数据的不同，该预定范围可以进行适当的调整。

在一种示例中，日志记录1包含应用程序的登录时间20160905，日志记录2包含应用程序的登录时间20160906，日志记录3包含应用程序的登录时间20160909，所限定的预定范围为应用程序的登录时间间隔应在两天以内。可见，日志记录3时超出了预定范围，

S103：若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器。

当该日志数据的变动范围大于预定范围时，则上传该变动范围大于预定范围的日志数据至预设服务器。变动的日志数据可以是日志记录中的某一个或多个字段，或者是某一个字段或多个字段中的预设的某一个或多个参数。所上传的日志数据可以是该变动的日志数据本身，也可以是包含该变动数据的一个或多个字段，还可以是包含该变动数据的整个日志记录。服务器接收到该变动范围大于预定范围的日志数据后，依照约定业务需求，将对该数据进行聚合或展示。当该日志数据的变动范围小于预定范围时，则并不上传该日志数据。因此，本发明减少了日志数据的上传量，减少了对带宽资源的占用，对于服务器而言，其获得的数据量减少，带来了计算量的减少，减轻了其负担。

在一种实施例中，步骤S103若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器，具体为：

若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器以实施在所述服务器展示所述日志数据的变动。

本实施例限定了本发明的具体应用场景，所上传的变动范围大于预定范围的日志数据在服务器端用作展示日志数据的变动。对于数据展示业务而言，单条数据的变化在线上的产品中一般每天都呈现为相对稳定的波形。若要对将某一数据在图表上展示，现有的方法是全部收集，然后描点展示。对于稳定的数据波段而言，可依据其历史数据进行推测模拟，重复上传数据无疑占用了带宽资源，也增加了服务器的运算负担。因而仅需获得变动的数据，并将变动数据结合模拟的稳定数据波段进行计算后展示。因而，上述的日志方法尤其适用于数据展示、数据聚合等规律性较强的业务。下文的实施例也均可在此应用场景下展开。

在一种实施例中，步骤S102在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围，具体为：

在预设参数出现变动时，判定所述参数的变动范围是否大于预定范围。

本实施例限定了日志数据为日志记录中的预设参数，该预设参数具有具体的数值、预设的参数名称、存储位置等。通过其参数名称、存储位置可以查找到该参数，当该参数出现数值上的改变时，判定该参数的数值变动范围是否大于预定范围，若大于预定范围，则需上传该预设参数至服务器。

进一步的，该预设参数为预设的日志输出值。该日志输出值可以是时间、IP地址、以预定的参数表示的对象或者以预定的参数表示的操作事件。其中，操作事件是应用程序状态的变更，包括用户上线、下线、应用程序更新等，对应的时间和IP地址，即为用户上限、下线时的时间和IP地址，对象主要是指使用应用程序的用户，其具体可以是用户的账号、编号、名称等。

因此，步骤S103若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器，具体为：

若所述日志输出值的变动范围大于预定范围，上传该变动范围大于预定范围的日志输出值及其多阶导数至预设服务器。

对于变动的波形而言，导数波形上某一点的斜率，体现了波形变化幅度的大小，其变化可以由一阶导数表示，稳定变化意味着一阶导数的波形相对稳定，多阶导数是一阶导数波形变化的体现，波形超过稳定变化的突变会引起多阶导数的变动。为此，在上传日志输出值时，同时上传其多阶导数，以进一步体现其变动幅度，也就是相当于可以动态的检测异常，增加异常状态时数据的精度。其中，为了求得其多阶导数，需建立日志输出值的拟合函数，在该变动范围大于预定范围的日志输出值处为该拟合函数求导，即可得到其多阶导数，从减少计算量的角度考虑，该多阶导数具体为二阶导数。

在此基础上，在上传该变动范围大于预定范围的日志输出值及其多阶导数至预设服务器之前，计算并校准当前日志输出值的多阶导数，上传经校准后的日志输出值的多阶导数至预设服务器。

由于多阶导数是对拟合函数求导得到，日志输出值本身是离散较大的各个数值点，所得到的拟合函数的会存在一定偏差，进而影响多阶导数的精度。为了还原原日志输出值，需对多阶导数进行积分运算，若存在偏差必然影响最终还原的波形。为此，有必要在上传多阶导数前进行校准。

其具体校准方式可以是优化拟合函数，使拟合函数的变化率更符合日志输出值变化本身。也可以在本地做积分匹配，具体是对多阶导数在本地做积分还原，为确保本地和上传到后台的二阶导数复原之后是一致的，可以矫正多阶导数。通常情况下需要矫正的点较少，也允许用户人为的添加矫正，以在查看波形时可以显示更多的积分起点和终点。在校准当前日志输出值的多阶导数后，再上传经校准后的日志输出值的多阶导数至预设服务器。

同时，上述实施例可应用于数据展示业务。图像展示的传统做法是对数据点进行逐个收集和描点，同时允许用户在界面对图像显示进行自由的放大缩小操作。本实施例中，并不需要逐个收集数据点。终端设备上传的是经矫正的数据及其二阶导数，这些经矫正的数据和二阶导数可能是不连续的，因而应分阶段对图形进行显示。

服务器接收用户的图形展示请求，该图形展示请求包含预定的时间段；响应该图形展示请求，从该预定时间段的起点开始遍历，判定当前数据点是否为终端设备上传的变动范围大于预定范围的经矫正的数据，若是，依据该矫正的数据及其多阶导数还原原始日志输出值；若不是，依据历史数据计算当前数据点的日志输出值；在遍历预定时间段内所有数据点后，依据所计算的日志输出值绘制波形图以实施展示。

服务器的显示终端预设有图形展示界面，在该界面预设有请求选项，当该选项被用户选中时，弹出时间段选择窗口以供用户选定待查看波形的时间段。例如，用户要查看8-9点之间应用程序的运行状况，则限定时间段为8-9点。图表是在选择了时间范围之后，依据上传的多阶导数及历史数据绘制而成，而不是通过传统的描点得到。在绘制波形时，从该预定时间段的起点开始遍历，若当前数据点是变动范围大于预定范围的日志输出值，则依据上传的矫正数据和多阶导数计算原日志输出值。若针对当前数据点，终端设备未上传相应数据，则依据该点的历史数据推断当前数据点的日志输出值。在遍历预定时间段内所有数据点后，将日志输出值绘制为波形图，并显示在图形展示界面。

因此，基于本实施例，对于数据展示业务，减少了终端上传的数据量。同时，服务器的计算量减小，响应速度更快。

对于以上实施例，所述预定范围随所述日志输出值的多阶导数的变动频率的增加而减小。也就是说，该预定范围时可配置的，而且还可以选择动态变化。当监测到预定时间内数据变动次数的增加(即变动频率的增加)，就减小该预定范围，从而也会上传部分低于原有范围的数据，当监测到的数据变动频率减小，对应提高预定范围至原有范围。也就是说当数据发生比较激烈的多次变化时，容忍度自动降低，比较微小的变化也要上传。当变化比较平滑，突变较少时，容忍度较高，仅上传变化较大的数据。从而可以动态跟踪数据的变化规律，提升数据传输的准确性。

本发明实施例还提供一种日志上报装置，如图2所示，其包括：获取模块201，用于获取应用程序数据或系统数据，依据所述应用程序数据或系统数据生成日志；判定模块202，用于在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围；上传模块203，用于在所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器。

在一种实施例中，所述判定模块202用于在日志数据的预设参数出现变动时，判定所述参数的变动范围是否大于预定范围。

在一种实施例中，所述判定模块202用于在预设参数出现变动时，判定所述参数的变动范围是否大于预定范围。

在一种实施例中，所述预设参数为预设日志输出值。

在一种实施例中，所述上传模块203用于在所述日志输出值的变动范围大于预定范围时，上传该变动范围大于预定范围的日志输出值及其多阶导数至预设服务器。

在一种实施例中，所述上传模块203用于仅在所述日志数据的变动范围大于预定范围时，计算并校准当前日志输出值的多阶导数，上传经校准后的日志输出值的多阶导数至预设服务器。

在一种实施例中，所述预定范围随预设日志数据变动频率的增加而减小。

本发明实施例还提供一种终端设备，其包括上述实施例的日志上报装置。

针对上述日志上报装置和终端设备的具体说明可参见上述日志上报方法部分的实施例，在此不做赘述。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种日志上报方法，其特征在于，包括如下步骤：

获取应用程序数据或系统数据，依据所述应用程序数据或系统数据生成日志；

在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围；

若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器。

2.根据权利要求1所述的方法，其特征在于：

所述若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器的步骤，具体为：

若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器以实施在所述服务器展示所述日志数据的变动。

3.根据权利要求1所述的方法，其特征在于：

所述在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围的步骤，具体为：

在预设参数出现变动时，判定所述参数的变动范围是否大于预定范围。

4.根据权利要求3所述的方法，其特征在于：

所述预设参数为预设日志输出值。

5.根据权利要求4所述的方法，其特征在于：

所述若所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器的步骤，具体为：

若所述日志输出值的变动范围大于预定范围，上传该变动范围大于预定范围的日志输出值及其多阶导数至预设服务器。

6.根据权利要求5所述的方法，其特征在于：

所述若所述日志输出值的变动范围大于预定范围，上传该变动范围大于预定范围的日志输出值及其多阶导数至预设服务器的步骤，具体为：

仅在所述日志数据的变动范围大于预定范围时，计算并校准当前日志输出值的多阶导数，上传经校准后的日志输出值的多阶导数至预设服务器。

7.根据权利要求1所述的方法，其特征在于：

所述预定范围随预设日志数据变动频率的增加而减小。

8.一种日志上报装置，其特征在于，包括：

获取模块，用于获取应用程序数据或系统数据，依据所述应用程序数据或系统数据生成日志；

判定模块，用于在预设日志数据出现变动时，判定所述日志数据的变动范围是否大于预定范围；

上传模块，用于在所述日志数据的变动范围大于预定范围，上传该变动范围大于预定范围的日志数据至预设服务器。

9.根据权利要求8所述的装置，其特征在于：

所述判定模块用于在日志数据的预设参数出现变动时，判定所述参数的变动范围是否大于预定范围。

10.一种终端设备，其特征在于：包括权利要求8或9所述的日志上报装置。