CN109617737A - 互联网的日志平台的监控方法及系统 - Google Patents

Abstract

本发明公开了一种互联网的日志平台的监控方法及系统，所述监控方法包括：预先配置互联网的日志平台的预警条件；扫描所述日志平台中的日志数据；判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。本发明根据在互联网的日志平台预先配置的预警条件，及时且准确地定位发生异常的日志数据，并发出预警邮件，根据严重程度，生成缺陷报警信息，推送至缺陷跟踪平台并进行电话预警，从而实现精确定位发生异常的业务问题，并进行有效地预警，以供后续运维人员及时发现并处理。

Description

互联网的日志平台的监控方法及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种互联网日志平台的监控方法及系统。

背景技术

互联网平台在实际运作过程中，由于业务量巨大，对应会产生海量的埋点数据，并以应用数据为粒度单位接入互联网的日志平台。

但是，现有的日志平台的监控方式存在如下缺陷：1)日志平台记录大量的零散数据，不便查询；2)不能配置细粒度规则，运维人员难以定制符合业务需求的预警条件；3)无法判断是否遗留问题；4)没有分析模块，不能跟踪运维人员的分析行为；5)运维人员只关注生产环境，测试环境的日志信息未起到先验效果，因此，现有的对日志平台的监控方式无法精确定位发生异常的业务问题；且需要测试人员花费大量时间查询与判断发生异常的数据，即是基于人工处理的方式，存在效率低且反应滞后等缺陷。

发明内容

本发明要解决的技术问题是现有技术中日志平台的监控方式存在无法精确定位发生异常的业务问题；且存在效率低、反应滞后等缺陷，目的在于提供一种互联网日志平台的监控方法及系统。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种互联网的日志平台的监控方法，所述监控方法包括：

预先配置互联网的日志平台的预警条件；

扫描所述日志平台中的日志数据；

判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

较佳地，当所述日志数据包括应用数据，所述预警条件包括错误量阈值时，所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

获取所述应用数据在单位时间内的错误信息的数量；

判断所述数量是否超过所述错误量阈值，若超过，则确定所述日志数据存在异常；和/或，

当所述日志数据包括应用数据，所述预警条件包括不属于历史错误信息时，所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

判断所述应用数据是否不属于历史错误信息，若是，则确定所述日志数据存在异常；

其中，所述应用数据为所述日志数据中最小数据粒度的数据。

较佳地，当所述预警条件包括目标业务数据和设定错误信息类型时，所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

根据所述目标业务数据获取所述日志数据中的目标应用数据；

确定所述目标应用数据中错误信息所属的第一类型；

判断所述第一类型是否属于设定错误信息类型，若属于，则确定所述日志数据存在异常；

其中，所述目标应用数据为所述日志数据中最小数据粒度的数据。

较佳地，当所述日志数据包括业务指标数据，所述预警条件包括业务指标异常阈值时，

所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

获取业务指标数据对应的业务指标值；

判断所述业务指标值是否超过所述业务指标异常阈值，若超过，则确定所述日志数据存在异常。

较佳地，所述扫描所述日志平台中的日志数据的步骤之前还包括：

预先配置所述日志数据的监控参数和过滤条件；

所述扫描所述日志平台中的日志数据的步骤之后、所述判断所述日志数据是否满足所述预警条件的步骤之前还包括：

根据所述过滤条件对所述日志数据进行过滤处理，获取过滤后的所述日志数据；

所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

获取所述日志数据对应的所述监控参数的参数值；

根据所述参数值判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

较佳地，所述确定所述日志数据存在异常的步骤之后还包括：

生成监控报告；

根据所述监控报告控制邮件服务器向外发送预警邮件；和/或，

根据所述监控报告生成缺陷预警信息，并将所述缺陷预警信息推送至缺陷跟踪平台；和/或，

根据所述监控报告生成缺陷预警信息，并通过电话预警模块根据所述缺陷预警信息进行电话预警；和/或，

将所述监控报告存储至FTP(File Transfer Protocol，文件传输协议)服务器。

本发明还提供一种互联网的日志平台的监控系统，所述监控系统包括第一配置模块、扫描模块和判断模块；

所述第一配置模块用于预先配置互联网的日志平台的预警条件；

所述扫描模块用于扫描所述日志平台中的日志数据；

所述判断模块用于判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

较佳地，当所述日志数据包括应用数据，所述预警条件包括错误量阈值时，所述判断模块包括数量获取单元和第一判断单元；

所述数量获取单元用于获取所述应用数据在单位时间内的错误信息的数量；

所述第一判断单元用于判断所述数量是否超过所述错误量阈值，若超过，则确定所述日志数据存在异常；和/或，

当所述日志数据包括应用数据，所述预警条件包括不属于历史错误信息时，所述判断模块包括第二判断单元；

所述第二判断单元用于判断所述应用数据是否不属于历史错误信息，若是，则确定所述日志数据存在异常；

其中，所述应用数据为所述日志数据中最小数据粒度的数据。

较佳地，当所述预警条件包括目标业务数据和设定错误信息类型时，所述判断模块包括目标应用数据获取单元、确定单元和第三判断单元；

所述目标应用数据获取单元用于根据所述目标业务数据获取所述日志数据中的目标应用数据；

所述确定单元用于确定所述目标应用数据中错误信息所属的第一类型；

所述第三判断单元用于判断所述第一类型是否属于设定错误信息类型，若属于，则确定所述日志数据存在异常；

其中，所述目标应用数据为所述日志数据中最小数据粒度的数据。

较佳地，当所述日志数据包括业务指标数据，所述预警条件包括业务指标异常阈值时，所述判断模块包括业务指标值获取单元和第四判断单元；

所述业务指标值获取单元用于获取业务指标数据对应的业务指标值；

所述第四判断单元用于判断所述业务指标值是否超过所述业务指标异常阈值，若超过，则确定所述日志数据存在异常。

较佳地，所述监控系统还包括第二配置模块和过滤模块；

所述第二配置模块用于预先配置所述日志数据的监控参数和过滤条件；

所述过滤模块用于根据所述过滤条件对所述日志数据进行过滤处理，获取过滤后的所述日志数据；

所述判断模块包括参数值获取单元和第五判断单元；

所述参数值获取单元用于获取所述日志数据对应的所述监控参数的参数值；

所述第五判断单元用于根据所述参数值判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

较佳地，所述监控系统还包括监控报告生成模块和预警发送模块；

所述监控报告生成模块用于生成监控报告；

所述预警发送模块用于根据所述监控报告控制邮件服务器向外发送预警邮件；和/或，

所述预警发送模块用于根据所述监控报告生成缺陷预警信息，并将所述缺陷预警信息推送至缺陷跟踪平台；和/或，

所述预警发送模块用于根据所述监控报告生成缺陷预警信息，并通过电话预警模块根据所述缺陷预警信息进行电话预警；和/或，

所述监控系统还包括存储模块；

所述存储模块用于将所述监控报告存储至FTP服务器。

本发明的积极进步效果在于：

本发明中，通过预先配置互联网的日志平台的预警条件，在扫描日志平台中的日志数据后，判断应用数据在单位时间内的错误信息的数量是否超过错误量阈值、是否属于新的错误信息、设为关注的应用数据的类型是否属于设定错误类型、业务指标值是否指标阈值等，只要上述其中一项满足条件，就确定该日志数据存在异常，并发出预警邮件；另外，根据严重程度，生成缺陷报警信息，推送至缺陷跟踪平台并进行电话预警，从而实现精确定位发生异常的业务问题，并进行有效地预警，以供后续运维人员及时发现并处理，具有处理效率高、及时性等优点。

附图说明

图1为本发明实施例1互联网的日志平台的监控方法的流程图。

图2为本发明实施例2互联网的日志平台的监控方法的流程图。

图3为本发明实施例3互联网的日志平台的监控方法的流程图。

图4为本发明实施例4互联网的日志平台的监控方法的流程图。

图5为本发明实施例5互联网的日志平台的监控系统的模块示意图。

图6为本发明实施例6互联网的日志平台的监控系统的模块示意图。

图7为本发明实施例7互联网的日志平台的监控系统的模块示意图。

图8为本发明实施例8互联网的日志平台的监控系统的模块示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

如图1所示，本实施例的互联网的日志平台的监控方法包括：

S101、预先配置互联网的日志平台的预警条件；

S102、预先配置日志数据的监控参数和过滤条件，即通过设置一定的过滤项，来加快后续步骤数据处理的速度。

S103、扫描日志平台中的日志数据；

S104、根据过滤条件对日志数据进行过滤处理，获取过滤后的日志数据；

S105、判断日志数据是否满足预警条件，若满足，则确定日志数据存在异常。

具体地，获取日志数据对应的监控参数的参数值；

根据参数值判断日志数据是否满足预警条件，若满足，则确定日志数据存在异常。

当运维人员在互联网的日志平台中预先配置监控规则(即预警条件)后，互联网的主服务器会根据预警条件自动分配不同的执行任务，并通过分布式执行机执行，在利用分布式执行机上的数据监视器根据预警条件分批运行和处理任务，该处理过程主要包括对日志数据的采集、算法过滤、与历史错误信息的比对、异常数据上传至邮件服务器以发送预警邮件、生成缺陷推送到缺陷跟踪平台，最后生成监控报告，以供其他人员在互联网平台下载与查看。

其中，对于不同的测试环境(如供用户使用的线上环境和供运维人员使用的线下环境等)，互联网的主服务器会采用不同的分布式执行机分配执行任务，进而实现全面监控不同的测试环境的所有应用。

本实施例中的监控系统中的机器群中每个机器的运行状态及其基本信息等，具体包括当前机器所处状态：如free状态(空闲状态)或running状态(运行状态)，当前机器的OS(操作系统)：如Windows 7Professional，IP地址(互联网协议地址)：如10.3.6.58，Browser(浏览器)：如ie9.firefox27.chrome37，Queue Length(队列长度)：如4，Used For Run(运行代码)：如N/A等。

本实施例的监控方法能够实现：1)全面监控生产和测试环境的所有应用；2)灵敏度高，一旦出现问题，对应的日志数据就会出现异常并发出预警，问题就会立即暴露，从而能够及时解决，即精确定位发生异常的业务问题，提高了监控准确率与实时性；3)减少了人工降噪的成本，减少了人工值守时间；4)配置规则简单，可无缝对接到平台下的各部门。

实施例2

如图2所示，本实施例的互联网的日志平台的监控方法是对实施例1的进一步改进，具体地：

当日志数据包括应用数据，监控应用数据的监控参数包括：聚合粒度、任务执行环境、第一报警阈值、第二报警阈值、第三报警阈值、第四报警阈值、熔断阈值、熔断后自动恢复时间、过滤日期、logType(日志信息类别)和logLevel(日志严重程度)等；

其中，聚合粒度是指任务执行频率；

第一报警阈值是指单位时间内同一类无处理错误信息达到预警标准最少次数；

第二报警阈值是指过滤问题的报警阈值，即单位时间内同一类用户已分析过滤错误信息达到预警标准最少次数，无配制默认不报警；

第三报警阈值是指已分析问题的报警阈值，即单位时间内同一类用户已分析过错误信息达到预警标准最少次数；

第四报警阈值是指重要问题的报警阈值，即单位时间内同一类用户标识为重要问题的错误信息达到预警标准最少次数，默认值为1；

熔断是指错误量过大暂停任务执行并发送熔断警报，

熔断阈值是指单位时间内同一类错误信息达到熔断标准的最少次数；

熔断后自动恢复时间是指用户无处理状态下熔断任务恢复运行等待时间；

过滤日期为过滤时间区段，即配置任务不执行时间，一般为系统维护不需要执行的监控时间。过滤条件可根据文本等于、不等于、包含、不包含、以…开始、不以…开始、以…结束、不以…结束过滤不同tag(tag为包含键/值的日志项属性)的文本项，例如：message(日志里tag键为message的文本值)+NotContains(不包含)+Timeout(具体文本值匹配内容)。

本实施例主要说明预警条件包括第一报警阈值即错误量阈值时的情况，则步骤S105包括：

S1051、获取应用数据在单位时间内的错误信息的数量；

S1052、判断数量是否超过错误量阈值，若超过，则执行步骤S1053；若否，不执行任何操作。

S1053、确定日志数据存在异常；

当日志数据包括应用数据，步骤S105包括：

S1054、判断应用数据是否不属于历史错误信息，若是，则执行步骤S1053；若否，不执行任何操作。

S1053、确定日志数据存在异常；

其中，应用数据为日志数据中最小数据粒度的数据，通过监控应用数据实现对日志平台中的日志数据的全面监控，从而保证监控的准确率与实时性。

日志平台会保存历史已经出现的错误信息，当有新的应用数据时，将新的应用数据中的错误信息与已经出现过的历史错误信息进行比对，来确定应用数据是否发生异常。

步骤S105之后还包括：

S106、生成监控报告；

S1071、根据监控报告控制邮件服务器向外发送预警邮件。

具体地，通过SMTP(Simple Mail Transfer Protocol，简单邮件传输协议)服务器发送预警邮件。另外，将监控报告存储至FTP服务器，以供需要查看的人员下载。

本实施例中，应用数据在单位时间内的错误量超过设定阈值或者应用数据中的错误信息属于新的错误信息时，发出预警邮件。

例如：PRO-Clog错误信息(一种应用数据中的错误信息)的预警邮件具体包括：开始时间:2018/01/24 18:51:53、结束时:2018/01/24 18:53:53、每分钟错误量(总错误量):6(11)、阈值(次/分钟):200、发布状态：堡垒拉入集群成功，发布时间：2018/01/24 18:49:20。

应用数据中的错误信息为新的错误信息时预警邮件对应的明细信息具体包括：title(主题名称)、exception(除外)、source(来源)、message(信息)、status(状态)：new(新的)、runNum(运行数量)、cat(分类)：对应分类的链接、analyze(分析)：对应分析结果的链接。

对已经分析过的应用数据在预警邮件中对应的明细信息具体包括：title、exception、source、status：analyzed(已分析)、分析标题、每分钟错误数(总错误数)：1(1)、阈值(次/分钟):60、cat(链接)、analyze(分析结果)。

本实施例中，通过预先配置互联网的日志平台的预警条件，当扫描的日志数据中的应用数据的错误信息量超过设定阈值或者属于新的错误信息，则自动确定该日志数据存在异常，从而及时发现存在异常的数据，精确定位发生异常的业务问题，存在效率高等优点；同时发出预警邮件，从而进行有效地预警，以供后续运维人员及时发现并处理，具有处理效率高、及时性等优点。

实施例3

如图3所示，本实施例的互联网的日志平台的监控方法是对实施例1的进一步改进，具体地：

对于需要重点关注的应用信息，监控参数包括灰度、报警方式、匹配方式和测试环境等；

其中，灰度是指用于降噪处理，灰度配置只发送预警报告，不生成缺陷到系统；

报警方式是指新问题报警或每次报警，每次报警用于严重错误类型的情况；

匹配方式是指错误类型用于匹配具体tag项文本值；

测试环境是指是否同时在测试环境同时监控，可选择具体测试环境。过滤条件可根据文本等于、不等于、包含、不包含、以…开始、不以…开始、以…结束、不以…结束过滤不同tag(tag为包含键/值的日志项属性)的文本项，例如：message(日志里tag键为message的文本值)+NotContains(不包含)+Timeout(具体文本值匹配内容)。

本实施例主要说明预警条件包括目标业务数据和设定错误信息类型的情况，此时步骤S105包括：

S1055、根据目标业务数据获取日志数据中的目标应用数据；

S1056、确定目标应用数据中错误信息所属的第一类型；

S1057、判断第一类型是否属于设定错误信息类型，若属于，则确定日志数据存在异常；若不属于，则确定日志数据正常。

其中，目标应用数据为日志数据中最小数据粒度的数据。

步骤S105之后还包括：

S106、生成监控报告；

S1072、根据监控报告控制邮件服务器向外发送预警邮件，并生成缺陷预警信息，将缺陷预警信息推送至缺陷跟踪平台，和/或，通过电话预警模块根据缺陷预警信息进行电话预警。

具体地，通过SMTP(Simple Mail Transfer Protocol，简单邮件传输协议)服务器发送预警邮件。另外，将监控报告存储至FTP服务器，以供需要查看的人员下载。

对于某些核心应用，在非工作时间通过电话预警到运维人员，从而及时有效跟踪错误，该预警条件属于严重错误类型的情况。

本实施例中，重点关注的应用数据中的错误信息属于严重错误类型时，，发出预警邮件，并生成缺陷预警信息，将缺陷预警信息推送至缺陷跟踪平台，再结合oncall(在线预警电话)进行电话预警。

例如：酒店重要问题(执行环境PRO)的预警邮件具体包括：AppId(应用地址)、AppName(应用名称)、Error Type(错误类型)：ERROR(错误)、titile(主题)、Exception(除外)：javalang.NullPointException、Source(来源):过滤source(所有)及过滤source(仅本错误类型)、Message(信息)、Times tamp(时间戳)：2018/07/03、Link(链接)：catlog、应用最近发布时间以及发布人:2018/06/27 16:11:03、应用数据状态:SUCCESS(2018/06/2716:11:03)、应用负责人、过去1小时有发布依赖应用：smoking(2018/07/03 16:29:18)、调用该应用最多的应用等。

其中，重要问题预警自动创建CP4Bug，报告人初始设为上一次发布人，经办人初始设为应用负责人，Bug未解决或解决记过为“无需修复”的，则不再预警。点击“查看”连接查看所有该类型错误报警，点击“AppId”对应的配置的链接设置该应用收件人。

本实施例中，通过预先配置互联网的日志平台的预警条件，当扫描的日志数据中设置关注的应用数据中错误信息类型为设定错误信息类型时，则自动确定该日志数据存在异常，从而及时发现存在异常的数据，精确定位发生异常的业务问题，存在效率高等优点；同时发出预警邮件，生成缺陷报警信息，推送至缺陷跟踪平台并进行电话预警，从而进行有效地预警，以供后续运维人员及时发现并处理，具有处理效率高、及时性等优点。

实施例4

如图4所示，本实施例的互联网的日志平台的监控方法是对实施例1的进一步改进，具体地：

当日志数据包括业务指标数据，监控业务指标数据的监控参数主要包括业务指标的名称、类型、阈值和状态等。

本实施例中主要说明预警条件包括业务指标异常阈值的情况，步骤S105包括：

S1058、获取业务指标数据对应的业务指标值；

S1059、判断业务指标值是否超过业务指标异常阈值，若超过，则确定日志数据存在异常。

具体地，根据在日志数据监控盘点看板，通过Json配置预警条件、业务指标异常阈值、监控ID、监控名称、城市、监控类型(如连续下降、谷峰、下降率、峰值、上升率等)、监控目标、邮件、状态等；进而得到业务指标在一定时间范围内的上下波动的整体趋势情况，当存在业务指标的指标值超过业务指标异常阈值时则确定业务指标的指标值是否正常。

步骤S105之后还包括：

S106、生成监控报告；

S1071、根据监控报告控制邮件服务器向外发送预警邮件。

具体地，通过SMTP服务器发送预警邮件。另外，将监控报告存储至FTP服务器，以供需要查看的人员下载。

本实施例中，通过预先配置互联网的日志平台的预警条件，当扫描的日志数据中业务指标数据对应的指标值超过业务指标异常阈值时，则自动确定该日志数据存在异常，从而及时发现存在异常的数据，精确定位发生异常的业务问题，存在效率高等优点；同时发出预警邮件，从而进行有效地预警，以供后续运维人员及时发现并处理，具有处理效率高、及时性等优点。

实施例5

如图5所示，本实施例的互联网的日志平台的监控系统包括第一配置模块1、第二配置模块2、扫描模块3、过滤模块4和判断模块5。

第一配置模块1用于预先配置互联网的日志平台的预警条件；

第二配置模块2用于预先配置日志数据的监控参数和过滤条件，即通过设置一定的过滤项，来加快后续步骤数据处理的速度。

扫描模块3用于扫描日志平台中的日志数据；

过滤模块4用于根据过滤条件对日志数据进行过滤处理，获取过滤后的日志数据；

判断模块5用于判断日志数据是否满足预警条件，若满足，则确定日志数据存在异常。

具体地，判断模块包括参数值获取单元和第五判断单元；

参数值获取单元用于获取日志数据对应的监控参数的参数值；

第五判断单元用于根据参数值判断日志数据是否满足预警条件，若满足，则确定日志数据存在异常。

当运维人员在互联网的日志平台中预先配置监控规则(即预警条件)后，互联网的主服务器会根据预警条件自动分配不同的执行任务，并通过分布式执行机执行，在利用分布式执行机上的数据监视器根据预警条件分批运行和处理任务，该处理过程主要包括对日志数据的采集、算法过滤、与历史错误信息的比对、异常数据上传至邮件服务器以发送预警邮件、生成缺陷推送到缺陷跟踪平台，最后生成监控报告，以供其他人员在互联网平台下载与查看。

其中，对于不同的测试环境(如供用户使用的线上环境和供运维人员使用的线下环境等)，互联网的主服务器会采用不同的分布式执行机分配执行任务，进而实现全面监控不同的测试环境的所有应用。

本实施例中的监控系统中的机器群中每个机器的运行状态及其基本信息等，具体包括当前机器所处状态：如free状态或running状态，当前机器的OS：如Windows 7Professional，IP地址：如10.3.6.58，Browser：如ie9.firefox27.chrome37，QueueLength：如4，Used For Run：如N/A等。

本实施例的监控方法能够：1)全面监控生产和测试环境的所有应用；2)灵敏度高，一旦出现问题，对应的日志数据就会出现异常并发出预警，问题就会立即暴露，从而能够及时解决，即精确定位发生异常的业务问题，提高了监控准确率与实时性；3)减少了人工降噪的成本，减少了人工值守时间；4)配置规则简单，可无缝对接到平台下的各部门。

实施例6

如图6所示，本实施例的互联网的日志平台的监控系统是对实施例5的进一步改进，具体地：

当日志数据包括应用数据，监控应用数据的监控参数包括：聚合粒度、任务执行环境、第一报警阈值、第二报警阈值、第三报警阈值、第四报警阈值、熔断阈值、熔断后自动恢复时间、过滤日期、logType(日志信息类别)和logLevel(日志严重程度)等；

其中，聚合粒度是指任务执行频率；

第一报警阈值是指单位时间内同一类无处理错误信息达到预警标准最少次数；

第二报警阈值是指过滤问题的报警阈值，即单位时间内同一类用户已分析过滤错误信息达到预警标准最少次数，无配制默认不报警；

第三报警阈值是指已分析问题的报警阈值，即单位时间内同一类用户已分析过错误信息达到预警标准最少次数；

第四报警阈值是指重要问题的报警阈值，即单位时间内同一类用户标识为重要问题的错误信息达到预警标准最少次数，默认值为1；

熔断是指错误量过大暂停任务执行并发送熔断警报，

熔断阈值是指单位时间内同一类错误信息达到熔断标准的最少次数；

熔断后自动恢复时间是指用户无处理状态下熔断任务恢复运行等待时间；

过滤日期为过滤时间区段，即配置任务不执行时间，一般为系统维护不需要执行的监控时间。过滤条件可根据文本等于、不等于、包含、不包含、以…开始、不以…开始、以…结束、不以…结束过滤不同tag(tag为包含键/值的日志项属性)的文本项，例如：message(日志里tag键为message的文本值)+NotContains(不包含)+Timeout(具体文本值匹配内容)。

本实施例主要说明预警条件包括第一报警阈值即错误量阈值时的情况，判断模块包括数量获取单元31和第一判断单元32；

数量获取单元31用于获取应用数据在单位时间内的错误信息的数量；

第一判断单元32用于判断数量是否超过错误量阈值，若超过，则确定日志数据存在异常；

当日志数据包括应用数据，预警条件包括不属于历史错误信息时，判断模块包括第二判断单元33；

第二判断单元33用于判断应用数据是否不属于历史错误信息，若是，则确定日志数据存在异常；

其中，应用数据为日志数据中最小数据粒度的数据，通过监控应用数据实现对日志平台中的日志数据的全面监控，从而保证监控的准确率与实时性。

日志平台会保存历史已经出现的错误信息，当有新的应用数据时，将新的应用数据中的错误信息与已经出现过的历史错误信息进行比对，来确定应用数据是否发生异常。

监控系统还包括监控报告生成模块6、预警发送模块7和存储模块8。

监控报告生成模块6用于生成监控报告；

预警发送模块7用于根据监控报告控制邮件服务器向外发送预警邮件；

具体地，通过SMTP(Simple Mail Transfer Protocol，简单邮件传输协议)服务器发送预警邮件。

存储模块8用于将监控报告存储至FTP服务器，以供需要查看的人员下载。

本实施例中，应用数据在单位时间内的错误量超过设定阈值或者应用数据中的错误信息属于新的错误信息时，发出预警邮件。

例如：PRO-Clog错误信息(一种应用数据中的错误信息)的预警邮件具体包括：开始时间:2018/01/24 18:51:53、结束时:2018/01/24 18:53:53、每分钟错误量(总错误量):6(11)、阈值(次/分钟):200、发布状态：堡垒拉入集群成功，发布时间：2018/01/24 18:49:20。

应用数据中的错误信息为新的错误信息时预警邮件对应的明细信息具体包括：title(主题名称)、exception(除外)、source(来源)、message(信息)、status(状态)：new(新的)、runNum(运行数量)、cat(分类)：对应分类的链接、analyze(分析)：对应分析结果的链接。

对已经分析过的应用数据在预警邮件中对应的明细信息具体包括：title、exception、source、status：analyzed(已分析)、分析标题、每分钟错误数(总错误数)：1(1)、阈值(次/分钟):60、cat(链接)、analyze(分析结果)。

本实施例中，通过预先配置互联网的日志平台的预警条件，当扫描的日志数据中的应用数据的错误信息量超过设定阈值或者属于新的错误信息，则自动确定该日志数据存在异常，从而及时发现存在异常的数据，精确定位发生异常的业务问题，存在效率高等优点；同时发出预警邮件，从而进行有效地预警，以供后续运维人员及时发现并处理，具有处理效率高、及时性等优点。

实施例7

如图7所示，本实施例的互联网的日志平台的监控系统是对实施例5的进一步改进，具体地：

对于需要重点关注的应用信息，监控参数包括灰度、报警方式、匹配方式和测试环境等；

其中，灰度是指用于降噪处理，灰度配置只发送预警报告，不生成缺陷到系统；

报警方式是指新问题报警或每次报警，每次报警用于严重错误类型的情况；

匹配方式是指错误类型用于匹配具体tag项文本值；

测试环境是指是否同时在测试环境同时监控，可选择具体测试环境。过滤条件可根据文本等于、不等于、包含、不包含、以…开始、不以…开始、以…结束、不以…结束过滤不同tag(tag为包含键/值的日志项属性)的文本项，例如：message(日志里tag键为message的文本值)+NotContains(不包含)+Timeout(具体文本值匹配内容)。

当预警条件包括目标业务数据和设定错误信息类型时，判断模块包括目标应用数据获取单元34、确定单元35和第三判断单元36。

目标应用数据获取单元34用于根据目标业务数据获取日志数据中的目标应用数据；

确定单元35用于确定目标应用数据中错误信息所属的第一类型；

第三判断单元36用于判断第一类型是否属于设定错误信息类型，若属于，则确定日志数据存在异常；

其中，目标应用数据为日志数据中最小数据粒度的数据。

监控系统还包括监控报告生成模块6、预警发送模块7和存储模块8。

监控报告生成模块6用于生成监控报告；

预警发送模块7用于根据监控报告生成缺陷预警信息，并将缺陷预警信息推送至缺陷跟踪平台；和/或，

预警发送模块7用于根据监控报告生成缺陷预警信息，并通过电话预警模块根据缺陷预警信息进行电话预警。

存储模块8用于将监控报告存储至FTP服务器，以供需要查看的人员下载。

对于某些核心应用，在非工作时间通过电话预警到运维人员，从而及时有效跟踪错误，该预警条件属于严重错误类型的情况。

本实施例中，重点关注的应用数据中的错误信息属于严重错误类型时，，发出预警邮件，并生成缺陷预警信息，将缺陷预警信息推送至缺陷跟踪平台，再结合oncall(在线预警电话)进行电话预警。

例如：酒店重要问题预警(执行环境PRO)的预警邮件具体包括：AppId(应用地址)、AppName(应用名称)、Error Type(错误类型)：ERROR(错误)、titile(主题)、Exception(除外)：javalang.NullPointException、Source(来源):过滤source(所有)及过滤source(仅本错误类型)、Message(信息)、Times tamp(时间戳)：2018/07/03、Link(链接)：catlog、应用最近发布时间以及发布人:2018/06/27 16:11:03、应用数据状态:SUCCESS(2018/06/2716:11:03)、应用负责人、过去1小时有发布依赖应用：smoking(2018/07/03 16:29:18)、调用该应用最多的应用等。

其中，重要问题预警自动创建CP4Bug，报告人初始设为上一次发布人，经办人初始设为应用负责人，Bug未解决或解决记过为“无需修复”的，则不再预警。点击“查看”连接查看所有该类型错误报警，点击“AppId”对应的配置的链接设置该应用收件人。

本实施例中，通过预先配置互联网的日志平台的预警条件，当扫描的日志数据中设置关注的应用数据中错误信息类型为设定错误信息类型时，则自动确定该日志数据存在异常，从而及时发现存在异常的数据，精确定位发生异常的业务问题，存在效率高等优点；同时发出预警邮件，生成缺陷报警信息，推送至缺陷跟踪平台并进行电话预警，从而进行有效地预警，以供后续运维人员及时发现并处理，具有处理效率高、及时性等优点。

实施例8

如图8所示，本实施例的互联网的日志平台的监控系统是对实施例5的进一步改进，具体地：

当日志数据包括业务指标数据，预警条件包括业务指标异常阈值时，判断模块包括业务指标值获取单元37和第四判断单元38；

业务指标值获取单元37用于获取业务指标数据对应的业务指标值；

第四判断单元38用于判断业务指标值是否超过业务指标异常阈值，若超过，则确定日志数据存在异常。

具体地，根据在日志数据监控盘点看板，通过Json配置预警条件、业务指标异常阈值、监控ID、监控名称、城市、监控类型(如连续下降、谷峰、下降率、峰值、上升率等)、监控目标、邮件、状态等；进而得到业务指标在一定时间范围内的上下波动的整体趋势情况，当存在业务指标的指标值超过业务指标异常阈值时则确定业务指标的指标值是否正常监控系统还包括监控报告生成模块6、预警发送模块7和存储模块8。

监控报告生成模块6用于生成监控报告；

预警发送模块7用于根据监控报告控制邮件服务器向外发送预警邮件；

具体地，通过SMTP(Simple Mail Transfer Protocol，简单邮件传输协议)服务器发送预警邮件。

存储模块8用于将监控报告存储至FTP服务器，以供需要查看的人员下载。

本实施例中，通过预先配置互联网的日志平台的预警条件，当扫描的日志数据中业务指标数据对应的指标值超过业务指标异常阈值时，则自动确定该日志数据存在异常，从而及时发现存在异常的数据，精确定位发生异常的业务问题，存在效率高等优点；同时发出预警邮件，从而进行有效地预警，以供后续运维人员及时发现并处理，具有处理效率高、及时性等优点。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式作出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (12)

1.一种互联网的日志平台的监控方法，其特征在于，所述监控方法包括：

预先配置互联网的日志平台的预警条件；

扫描所述日志平台中的日志数据；

判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

2.如权利要求1所述的互联网的日志平台的监控方法，其特征在于，当所述日志数据包括应用数据，所述预警条件包括错误量阈值时，所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

获取所述应用数据在单位时间内的错误信息的数量；

判断所述数量是否超过所述错误量阈值，若超过，则确定所述日志数据存在异常；和/或，

当所述日志数据包括应用数据，所述预警条件包括不属于历史错误信息时，所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

判断所述应用数据是否不属于历史错误信息，若是，则确定所述日志数据存在异常；

其中，所述应用数据为所述日志数据中最小数据粒度的数据。

3.如权利要求1所述的互联网的日志平台的监控方法，其特征在于，当所述预警条件包括目标业务数据和设定错误信息类型时，所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

根据所述目标业务数据获取所述日志数据中的目标应用数据；

确定所述目标应用数据中错误信息所属的第一类型；

判断所述第一类型是否属于设定错误信息类型，若属于，则确定所述日志数据存在异常；

其中，所述目标应用数据为所述日志数据中最小数据粒度的数据。

4.如权利要求1所述的互联网的日志平台的监控方法，其特征在于，当所述日志数据包括业务指标数据，所述预警条件包括业务指标异常阈值时，所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

获取业务指标数据对应的业务指标值；

判断所述业务指标值是否超过所述业务指标异常阈值，若超过，则确定所述日志数据存在异常。

5.如权利要求1所述的互联网的日志平台的监控方法，其特征在于，所述扫描所述日志平台中的日志数据的步骤之前还包括：

预先配置所述日志数据的监控参数和过滤条件；

所述扫描所述日志平台中的日志数据的步骤之后、所述判断所述日志数据是否满足所述预警条件的步骤之前还包括：

根据所述过滤条件对所述日志数据进行过滤处理，获取过滤后的所述日志数据；

所述判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常的步骤包括：

获取所述日志数据对应的所述监控参数的参数值；

根据所述参数值判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

6.如权利要求1所述的互联网的日志平台的监控方法，其特征在于，所述确定所述日志数据存在异常的步骤之后还包括：

生成监控报告；

根据所述监控报告控制邮件服务器向外发送预警邮件；和/或，

根据所述监控报告生成缺陷预警信息，并将所述缺陷预警信息推送至缺陷跟踪平台；和/或，

根据所述监控报告生成缺陷预警信息，并通过电话预警模块根据所述缺陷预警信息进行电话预警；和/或，

将所述监控报告存储至FTP服务器。

7.一种互联网的日志平台的监控系统，其特征在于，所述监控系统包括第一配置模块、扫描模块和判断模块；

所述第一配置模块用于预先配置互联网的日志平台的预警条件；

所述扫描模块用于扫描所述日志平台中的日志数据；

所述判断模块用于判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

8.如权利要求7所述的互联网的日志平台的监控系统，其特征在于，当所述日志数据包括应用数据，所述预警条件包括错误量阈值时，所述判断模块包括数量获取单元和第一判断单元；

所述数量获取单元用于获取所述应用数据在单位时间内的错误信息的数量；

所述第一判断单元用于判断所述数量是否超过所述错误量阈值，若超过，则确定所述日志数据存在异常；和/或，

当所述日志数据包括应用数据，所述预警条件包括不属于历史错误信息时，所述判断模块包括第二判断单元；

所述第二判断单元用于判断所述应用数据是否不属于历史错误信息，若是，则确定所述日志数据存在异常；

其中，所述应用数据为所述日志数据中最小数据粒度的数据。

9.如权利要求7所述的互联网的日志平台的监控系统，其特征在于，当所述预警条件包括目标业务数据和设定错误信息类型时，所述判断模块包括目标应用数据获取单元、确定单元和第三判断单元；

所述目标应用数据获取单元用于根据所述目标业务数据获取所述日志数据中的目标应用数据；

所述确定单元用于确定所述目标应用数据中错误信息所属的第一类型；

所述第三判断单元用于判断所述第一类型是否属于设定错误信息类型，若属于，则确定所述日志数据存在异常；

其中，所述目标应用数据为所述日志数据中最小数据粒度的数据。

10.如权利要求7所述的互联网的日志平台的监控系统，其特征在于，当所述日志数据包括业务指标数据，所述预警条件包括业务指标异常阈值时，所述判断模块包括业务指标值获取单元和第四判断单元；

所述业务指标值获取单元用于获取业务指标数据对应的业务指标值；

所述第四判断单元用于判断所述业务指标值是否超过所述业务指标异常阈值，若超过，则确定所述日志数据存在异常。

11.如权利要求7所述的互联网的日志平台的监控系统，其特征在于，所述监控系统还包括第二配置模块和过滤模块；

所述第二配置模块用于预先配置所述日志数据的监控参数和过滤条件；

所述过滤模块用于根据所述过滤条件对所述日志数据进行过滤处理，获取过滤后的所述日志数据；

所述判断模块包括参数值获取单元和第五判断单元；

所述参数值获取单元用于获取所述日志数据对应的所述监控参数的参数值；

所述第五判断单元用于根据所述参数值判断所述日志数据是否满足所述预警条件，若满足，则确定所述日志数据存在异常。

12.如权利要求7所述的互联网的日志平台的监控系统，其特征在于，所述监控系统还包括监控报告生成模块和预警发送模块；

所述监控报告生成模块用于生成监控报告；

所述预警发送模块用于根据所述监控报告控制邮件服务器向外发送预警邮件；和/或，

所述预警发送模块用于根据所述监控报告生成缺陷预警信息，并将所述缺陷预警信息推送至缺陷跟踪平台；和/或，

所述预警发送模块用于根据所述监控报告生成缺陷预警信息，并通过电话预警模块根据所述缺陷预警信息进行电话预警；和/或，

所述监控系统还包括存储模块；

所述存储模块用于将所述监控报告存储至FTP服务器。