CN112131198B - 一种日志分析方法、装置及电子设备 - Google Patents
一种日志分析方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112131198B CN112131198B CN202011008540.6A CN202011008540A CN112131198B CN 112131198 B CN112131198 B CN 112131198B CN 202011008540 A CN202011008540 A CN 202011008540A CN 112131198 B CN112131198 B CN 112131198B
- Authority
- CN
- China
- Prior art keywords
- log
- analysis result
- real
- fusion
- index information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 160
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 238000010223 real-time analysis Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000012423 maintenance Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种日志分析方法、装置及电子设备，应用于内容分发网络CDN节点，方法包括：对CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果；按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，其中，目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果；向运维端发送融合分析结果。应用本发明实施例提供的技术方案对CDN节点的日志进行分析，可以大幅度减小向运维端上传的内容的大小和数量，向运维端上传融合分析结果的速度也更快，从而使得运维端可以更及时地接收到CDN节点上传的、实时性更好的分析结果。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及一种日志分析方法、装置及电子设备。
背景技术
内容分发网络(Content Delivery Network，简称CDN)可以为用户就近分配处理用户请求的CDN节点，减少了网络拥塞，所以被越来越广泛地应用于互联网行业。在CDN运营过程中，常常需要对CDN中各个CDN节点产生的日志进行实时分析，以根据日志分析结果了解CDN的网络运营状况。
相关技术中，通常采用以下方法对CDN中各个CDN节点产生的日志进行分析：各CDN节点将日志上传到用于进行日志分析的集群，集群对接收到的各CDN节点上传的日志进行分析，得到各个CDN节点的日志分析结果。
然而，受网络带宽等因素的影响，各个CDN节点向集群上传日志时上传速度可能会较慢，日志上传过程的耗时较长，使得集群常常无法及时获取到CDN节点的日志，从而导致得到的对CDN节点日志的分析结果的实时性较差。
发明内容
本发明实施例的目的在于提供一种日志分析方法、装置及电子设备，以提高对CDN节点的日志进行分析得到的结果的实时性。具体技术方案如下：
第一方面，本发明实施例提供了一种日志分析方法，应用于内容分发网络CDN节点，所述方法包括：
对所述CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果；
按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，其中，所述目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果；
向运维端发送所述融合分析结果。
本发明的一个实施例中，所述对所述CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果，包括：
按照以下方式获得所述CDN节点自身实时生成的每一日志对应的实时分析结果：
确定日志所针对的业务；
获得所确定业务对应的表征业务指标的指标信息；
针对所获得的每一指标信息，选择日志中与该指标信息相关的日志项，对所选择的日志项中记录的数据进行数据统计处理，得到日志对应的实时分析结果。
本发明的一个实施例中，所述按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，包括：
针对每一指标信息，确定该指标信息对应的进行数据统计处理的方式，从各目标分析结果中选择该指标信息对应的结果，并按照该指标信息对应的方式，对所选择的结果进行数据统计处理，实现对各目标分析结果中该指标信息所对应结果的融合，得到融合分析结果。
本发明的一个实施例中，所述日志分析方法还包括：
在当前时刻处于预设的流量低峰时间段时，将本地存储的日志上传至日志存储设备。
本发明的一个实施例中，所述向运维端发送所述融合分析结果，包括：
从所述CDN节点自身实时生成的日志中分析运维端支持的文件格式；
将所述融合分析结果存储为所述文件格式的文件；
将存储后的文件上传至结果缓存设备。
第二方面，本发明实施例提供了一种日志分析装置，应用于内容分发网络CDN节点，所述装置包括：
信息分析模块，用于对所述CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果；
结果融合模块，用于按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，其中，所述目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果；
结果发送模块，用于向运维端发送所述融合分析结果。
本发明的一个实施例中，所述信息分析模块，具体用于：
按照以下方式获得所述CDN节点自身实时生成的每一日志对应的实时分析结果：
确定日志所针对的业务；
获得所确定业务对应的表征业务指标的指标信息；
针对所获得的每一指标信息，选择日志中与该指标信息相关的日志项，对所选择的日志项中记录的数据进行数据统计处理，得到日志对应的实时分析结果。
本发明的一个实施例中，所述结果融合模块，具体用于：
针对每一指标信息，确定该指标信息对应的进行数据统计处理的方式，从各目标分析结果中选择该指标信息对应的结果，并按照该指标信息对应的方式，对所选择的结果进行数据统计处理，实现对各目标分析结果中该指标信息所对应结果的融合，得到融合分析结果。
本发明的一个实施例中，所述日志分析装置还包括：
日志上传模块，用于在当前时刻处于预设的流量低峰时间段时，将本地存储的日志上传至日志存储设备。
本发明的一个实施例中，所述结果发送模块，具体用于：
从所述CDN节点自身实时生成的日志中分析运维端支持的文件格式；
将所述融合分析结果存储为所述文件格式的文件；
将存储后的文件上传至结果缓存设备。
第三方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；
其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面提供的任一项日志分析方法。
本发明实施例提供的技术方案由CDN节点对自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果，按照指标信息，分别对每第一预设时长内生成的各日志对应的实时分析结果进行数据统计处理，实现对实时分析结果的融合，得到融合分析结果，将得到的融合分析结果发送至运维端，使运维人员可以获取到该融合分析结果。
可见，本发明实施例提供的技术方案由CDN节点来分析自身实时生成的日志，可以更及时地对CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，使运维端得到的实时分析结果的实时性更好，且本发明实施例提供的方案中是将每第一预设时长内生成的各日志对应的实时分析结果进行融合后发送至运维端的，由于完整日志中会记录有各日志项的具体信息，而实时分析结果中记录的是对日志中上述指标信息进行分析的综合结果，已不再是日志本身，所以实时分析结果的文件大小通常比完整日志的文件大小小很多，将多个实时分析结果融合后，会使得多个实时分析结果得到合并，融合为一份分析结果，从而可以进一步减少需要上传的分析结果的数量，这样，可以大幅度减小向运维端上传的内容的大小和数量，向运维端上传融合分析结果的速度也更快，从而使得运维端可以更及时地接收到CDN节点上传的、实时性更好的分析结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的日志分析方法的一种流程示意图；
图2为本发明实施例提供的将融合分析结果上传至结果缓存设备的一种流程示意图；
图3为本发明实施例提供的日志生成装置的一种结构示意图；
图4为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
为了提高对CDN节点产生的日志进行分析得到的结果的实时性，本发明实施例提供了一种日志分析方法、装置及电子设备。
下面首先对本发明实施例所提供的日志分析方法进行介绍。
本发明实施例提供的日志分析方法的执行主体是CDN节点。
本发明的一个实施例提供的日志分析方法包括以下步骤：
对CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果；
按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，其中，目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果；
向运维端发送上述融合分析结果。
由以上可见，本发明实施例提供的技术方案由CDN节点来分析自身实时生成的日志，可以更及时地对CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，使运维端得到的实时分析结果的实时性更好，且本发明实施例提供的方案中是将每第一预设时长内生成的各日志对应的实时分析结果进行融合后发送至运维端的，由于完整日志中会记录有各日志项的具体信息，而实时分析结果中记录的是对日志中上述指标信息进行分析的综合结果，已不再是日志本身，所以实时分析结果的文件大小通常比完整日志的文件大小小很多，将多个实时分析结果融合后，会使得多个实时分析结果得到合并，融合为一份分析结果，从而可以进一步减少需要上传的分析结果的数量，这样，可以大幅度减小向运维端上传的内容的大小和数量，向运维端上传融合分析结果的速度也更快，从而使得运维端可以更及时地接收到CDN节点上传的、实时性更好的分析结果。
下面通过具体实施方式介绍本发明实施例提供的日志分析方法。
如图1所示，本发明实施例提供的日志分析方法进包括以下步骤S110～S130。
S110：对CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果。
CDN节点在提供服务时，会持续的生成日志，CDN节点可以在日志生成后，对生成的日志进行分析。
具体的，上述表征业务指标的指标信息可以是CDN节点的请求处理速度、异常请求数量、请求响应时长、响应请求的数量等等
在上述基础上，一种实施方式中，实时分析结果可以包括：CDN节点的请求处理速度、CDN节点的异常请求的数量、CDN节点的请求响应时长、CDN节点所响应的请求的数量中的至少一种。实时分析结果也可以包括CDN节点的其他信息。
另一个实施方式中，可以按照以下方式获得CDN节点自身实时生成的每一日志对应的实时分析结果：
确定日志所针对的业务，获得所确定业务对应的表征业务指标的指标信息，针对所获得的每一指标信息，选择日志中与该指标信息相关的日志项，对所选择的日志项中记录的数据进行数据统计处理，得到日志对应的实时分析结果。
这样能够针对不同的业务选择不同的日志项进行数据统计处理，使得数据统计处理更加具有针对性，从而得到的实时分析结果更加准确。
具体的，日志中可以记录有业务的标识，这种情况下，可以通过识别日志中所记录的业务的标识而确定日志所针对的业务。另外，还可以预先设定不同业务所对应的用于记录日志的文件的名称，这种情况下，可以根据文件的名称确定日志所针对的业务。
对于每一种业务而言，可以通过一种或者多种不同的指标信息来表征业务指标。另外，用于表征每一种业务的业务指标的指标信息可以预先设定的，这样根据预先设定的业务与指标信息的对应关系，能够获得所确定的业务对应的指标信息。
具体的，上述数据统计处理可以是求平均数、计算方差、确定最大值、最小值等处理。
S120：按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果。
其中，上述目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果。
第一预设时长可以是2分钟～10分钟中的任一时长，也可以是其他时长。例如，当第一预设时长为5分钟时，可以将每5分钟内生成的各日志对应的实时分析结果进行数据统计处理，进而实现对每5分钟内生成的各日志对应的实时分析结果的融合。
由于可能会同时存在多个指标信息，而每一指标信息所表征的业务指标不同，所以在进行数据统计时，可以以指标信息为单位，分别进行数据统计处理。例如，存在的指标信息包括：请求处理速度、异常请求数量和请求响应时长，这种情况下，可以分别对与请求处理速度相关的实时分析结果进行数据统计处理、对与异常请求数量相关的实时分析结果进行数据统计处理、对与请求响应时长相关的实时分析结果进行数据统计处理。
步骤S120中的将各目标分析结果进行数据统计处理，也可以理解为以第一预设时长为时间粒度对各个时刻生成的日志对应的实时分析结果进行数据统计处理。
在一种实施方式中，步骤S120，可以按以下步骤实现：
计算各个请求处理速度的速度平均值，得到平均响应速度，各个请求处理速度为：每第一预设时长内生成的各日志对应的实时分析结果中包括的请求处理速度；
计算各个请求响应时长的时长平均值，得到平均响应时长，各个请求响应时长为：每第一预设时长内生成的各日志对应的实时分析结果中包括的请求响应时长；
计算各个请求数量的和，得到响应请求数的和，各个请求数量为：每第一预设时长内生成的各日志对应的实时分析结果中包括的CDN节点所响应的请求的数量；
将平均响应速度、平均响应时长、响应请求数的和中的至少一项确定为融合分析结果。
在本发明实施例中，可以根据目标分析结果包括的内容确定如何对实时分析结果进行统计处理，也就是如何对实时分析结果进行融合，本发明实施例不限定对实时分析结果进行融合的具体方式。
在上述基础上，一种实施方式中，可以针对每一指标信息，确定该指标信息对应的进行数据统计处理的方式，从各目标分析结果中选择该指标信息对应的结果，并按照该指标信息对应的方式，对所选择的结果进行数据统计处理，实现对各目标分析结果中该指标信息所对应结果的融合，得到融合分析结果。
这样可以针对不同的指标信息，采用不同的方式实现数据统计处理，使得数据融合过程更加具有针对性，也能够使得融合分析结果更加准确。
其中，各种指标信息对应的数据统计处理的方式可以是预先设定的，这样可以根据预先设定的指标信息与数据统计处理的方式之间的关系，得到每一指标信息对应的数据统计处理的方式。
另外，还可以按照指标信息的类型，确定每种指标信息对应的数据统计处理的方式。例如，当指标信息的类型为表示数量的类型时，则指标信息对应的数据统计处理的方式可以是计算数量的和值；当指标信息的类型为表示时长的类型时，则指标信息对应的数据统计处理的方式可以是计算时长的平均值。
在一种实施方式中，可以通过Mappreduce将每第一预设时长内生成的各日志对应的实时分析结果数据统计处理，也就是，进行融合。其中，MapReduce是一个并行计算与运行软件框架，使用MapReduce对各个实时分析结果进行融合，可以自动完成计算任务的并行化处理，减少了工作人员的负担。
S130：向运维端发送上述融合分析结果。
具体的，CDN节点可以直接将上述融合分析结果发送至运维端；CDN节点还可以将上述融合分析结果先上传至结果缓存设备，然后由结果缓存设备向运维端发送上述融合分析结果。
上述结果缓存设备是指用于缓存数据的设备。例如，结果缓存设备可以是用于缓存数据的服务器，结果缓存设备也可以是其他用于缓存数据的设备。
在一种实施方式中，上述结果缓存设备可以是缓存集群，例如，上述结果缓存设备可以是Kafka集群。其中，Kafka是一种高吞吐量的分布式发布订阅消息系统，其具有高吞吐量率、高消息处理性能的优点。当结果缓存设备为Kafka集群时，可以提高融合分析结果上传至结果缓存设备的速度、并且可以使得结果缓存设备更快速地向其他设备提供其缓存的融合分析结果，从而使得运维端可以更及时地从结果缓存设备获取到融合分析结果。上述结果缓存设备也可以是redis cluster集群、Memcached集群等缓存集群，本发明实施例不限定缓存设备的具体形式。
上述结果缓存设备也可以是其他用于对数据进行缓存的集群。
在一种实施方式中，CDN节点可以通过消息代理将融合分析结果上传至结果缓存设备，这样，可以减少因CDN节点网络环境差导致的结果上传失败或延迟的现象。例如，CDN节点可以通过FAST消息代理将融合分析结果上传至结果缓存设备。
在一种实施方式中，当CDN节点将融合分析结果上传至结果缓存设备后，结果缓存设备可以将缓存的融合分析结果录入时序数据库中，以使得运维端可以从时序数据库中获取融合分析结果。当将融合分析结果录入时序数据库后，更便于对融合分析结果的保存。上述时序数据库例如可以是druid时序数据库。
在一种实施方式中，可以通过消费程序将结果缓存设备中缓存的融合分析结果录入时序数据库中。
当将融合分析结果录入时序数据库后，可以对外封装数据接口，以使得运维端可以通过该接口获取融合分析结果，或者使得时序数据库通过该接口可以对外提供展示融合分析结果的功能以及CDN运行异常报警的功能。
由以上可见，本发明实施例提供的技术方案由CDN节点来分析自身实时生成的日志，可以更及时地对CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，使运维端得到的实时分析结果的实时性更好，且本发明实施例提供的方案中是将每第一预设时长内生成的各日志对应的实时分析结果进行融合后发送至运维端的，由于完整日志中会记录有各日志项的具体信息，而实时分析结果中记录的是对日志中上述指标信息进行分析的综合结果，已不再是日志本身，所以实时分析结果的文件大小通常比完整日志的文件大小小很多，将多个实时分析结果融合后，会使得多个实时分析结果得到合并，融合为一份分析结果，从而可以进一步减少需要上传的分析结果的数量，这样，可以大幅度减小向运维端上传的内容的大小和数量，向运维端上传融合分析结果的速度也更快，从而使得运维端可以更及时地接收到CDN节点上传的、实时性更好的分析结果。
在一种实施方式中，上述方法还可以包括以下步骤A：
步骤A：在当前时刻处于预设的流量低峰时间段时，将本地存储的日志上传至日志存储设备。
由于用户访问服务器、平台或系统通常有固定的周期性，因此，可以根据用户访问服务器、平台或系统的周期，确定预设的流量低峰时间段。具体的，可以根据用户访问服务器、平台或系统的周期，确定用户访问的低峰时间段，将所确定的用户访问低峰时间段确定为预设的流量低峰时间段。
例如，当在每天的18:00～23:00时间段用户的访问量较大时，可以将每天除18:00～23:00时间段以外的时间段确定为预设的流量低峰时间段。
上述日志存储设备可以是存储数据的服务器，也可以是其他存储数据的设备。
本实施方式在当前时刻处于预设的流量低峰时间段时将日志上传至日志存储设备，由于在流量低峰时间段时网络带宽的占用率较低，因此，可以提高日志上传的速度。
在一种实施方式中，上述日志存储设备可以是分布式文件系统，例如，上述日志存储设备可以是Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)，上述日志存储设备也可以是其他的分布式文件系统。HDFS可以提供高吞吐量的数据访问，由于CDN中的日志量很大，使用HDFS更快速、稳定地进行日志的存储。
在一种实施方式中，CDN节点可以通过日志代理服务器将本地存储的日志上传至日志存储设备。具体的，当前时刻处于预设的流量低峰时间段时，CDN节点可以向日志代理服务器传输本地存储的日志，日志代理服务器在接收到CDN节点传输的日志后，向日志上传至日志存储设备，以使得日志存储设备持久化存储上述日志。由于CDN节点有时会出现网络环境差的现象，导致日志上传的稳定性较低，通过代理服务器上传日志，可以使得上传的稳定性更高。
在一种实施方式中，上述步骤A中，可以按以下步骤B～C将本地存储的日志上传至日志存储设备：
步骤B：将每第二预设时长内生成的各日志进行打包压缩，得到各日志压缩包。
上述第二预设时长可以是2分钟～10分钟中的任一时长，也可以是其他时长。例如，当第二预设时长为5分钟时，可以将每5分钟内生成的各日志进行打包。第二预设时长可以与第一预设时长相等，也可以不相等，此处不具体限定。
步骤C：将上述日志压缩包上传至日志存储设备。
本实施方式将日志压缩包上传至日志存储设备，可以减少上传至日志存储设备的数据的数量和大小，从而提高了日志上传速度，减少了日志上传消耗的带宽。
在一种实施方式中，上述方法还可以包括以下步骤D：
步骤D：在当前时刻处于预设的流量高峰时间段时，停止将本地存储的日志上传至日志存储设备。
具体的，可以根据用户访问服务器、平台或系统的周期，确定预设的流量高峰时间段。例如，当在每天的18:00～23:00时间段用户的访问量较大时，可以将每天18:00～23:00时间段确定为预设的流量高峰时间段。
本实施方式在当前时刻处于预设的流量高峰时间段时停止将日志上传至日志存储设备，由于在流量高峰时间段时网络带宽的占用率较高，因此，在高峰时间段停止上传，可以减少高峰时间段因日志上传所占用的网络带宽，从而可以减少因日志上传对用户访问的影响，实现错峰上传日志。
在一种实施方式中，如图2所示，步骤S130，可以按以下步骤S131～S133实现：
S131：从CDN节点自身实时生成的上述日志中分析运维端支持的文件格式。
不同的运维端所支持的文件格式通常不同，例如，有些运维端支持txt格式、有些运维端支持html格式、有些运维端支持doc格式等，运维人员可以将运维端支持的文件格式添加入CDN节点的配置信息中，这样，由于CDN节点的日志中记录了CDN节点的配置信息，因此，CDN节点可以从日志中分析出运维端支持的文件格式。
S132：将上述融合分析结果存储为上述文件格式的文件。
例如，当上述文件格式为txt格式时，将上述融合分析结果存储为txt格式的文件，当上述文件格式为html格式时，将上述融合分析结果存储为html格式的文件。
S133：将存储后的文件上传至结果缓存设备。
本实施方式将融合分析结果存储为运维端支持的文件格式的文件，更便于运维端打开融合分析结果，从而更便于运维人员对融合分析结果查阅。
在一种实施方式中，上述方法还可以包括以下步骤：当日志内容发生变化时，对发生变化的日志进行解析，得到解析结果，并根据解析结果确定CDN节点发生变化的配置信息，将该发生变化的配置信息上传至结果缓存设备，以使得结果缓存设备向运维端发送该发生变化的配置信息。这样，可以使得运维人员更及时地获取到CDN节点的配置信息的变化情况。
在实现本发明实施例提供的日志分析方法时，可以将日志分析方法的程序部署在CDN中的每一个CDN节点中。
本发明实施例还提供了一种日志分析装置，如图3，应用于内容分发网络CDN节点，所述装置包括：
信息分析模块310，用于对所述CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果；
结果融合模块320，用于按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，其中，所述目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果；
结果发送模块330，用于向运维端发送所述融合分析结果。
由以上可见。本发明实施例提供的技术方案由CDN节点来分析自身实时生成的日志，可以更及时地对CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，使运维端得到的实时分析结果的实时性更好，且本发明实施例提供的方案中是将每第一预设时长内生成的各日志对应的实时分析结果进行融合后发送至运维端的，由于完整日志中会记录有各日志项的具体信息，而实时分析结果中记录的是对日志中上述指标信息进行分析的综合结果，已不再是日志本身，所以实时分析结果的文件大小通常比完整日志的文件大小小很多，将多个实时分析结果融合后，会使得多个实时分析结果得到合并，融合为一份分析结果，从而可以进一步减少需要上传的分析结果的数量，这样，可以大幅度减小向运维端上传的内容的大小和数量，向运维端上传融合分析结果的速度也更快，从而使得运维端可以更及时地接收到CDN节点上传的、实时性更好的分析结果。
在一种实施方式中，所述信息分析模块310，具体用于：
按照以下方式获得所述CDN节点自身实时生成的每一日志对应的实时分析结果：
确定日志所针对的业务；
获得所确定业务对应的表征业务指标的指标信息；
针对所获得的每一指标信息，选择日志中与该指标信息相关的日志项，对所选择的日志项中记录的数据进行数据统计处理，得到日志对应的实时分析结果。
这样能够针对不同的业务选择不同的日志项进行数据统计处理，使得数据统计处理更加具有针对性，从而得到的实时分析结果更加准确。
在一种实施方式中，所述结果融合模块320，具体用于：
针对每一指标信息，确定该指标信息对应的进行数据统计处理的方式，从各目标分析结果中选择该指标信息对应的结果，并按照该指标信息对应的方式，对所选择的结果进行数据统计处理，实现对各目标分析结果中该指标信息所对应结果的融合，得到融合分析结果。
这样可以针对不同的指标信息，采用不同的方式实现数据统计处理，使得数据融合过程更加具有针对性，也能够使得融合分析结果更加准确。
在一种实施方式中，所述日志分析装置还包括：
日志上传模块，用于在当前时刻处于预设的流量低峰时间段时，将本地存储的日志上传至日志存储设备。
本实施方式在当前时刻处于预设的流量低峰时间段时将日志上传至日志存储设备，由于在流量低峰时间段时网络带宽的占用率较低，因此，可以提高日志上传的速度。
在一种实施方式中，所述结果发送模块330，具体用于：
从所述CDN节点自身实时生成的日志中分析运维端支持的文件格式；
将所述融合分析结果存储为所述文件格式的文件；
将存储后的文件上传至结果缓存设备。
本实施方式将融合分析结果存储为运维端支持的文件格式的文件，更便于运维端打开融合分析结果，从而更便于运维人员对融合分析结果查阅。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401、通信接口402、存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现上述任一项提供的日志分析方法方法。
上述电子设备中提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项提供的日志分析方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一项提供的日志分析方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (6)
1.一种日志分析方法，其特征在于，应用于内容分发网络CDN节点，所述方法包括：
对所述CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果，所述日志在所述CDN节点提供服务时生成；
按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，其中，所述目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果；
向运维端发送所述融合分析结果；
所述向运维端发送所述融合分析结果，包括：
从所述CDN节点自身实时生成的日志中分析运维端支持的文件格式，其中，所述日志中记录有所述CDN节点的配置信息，所述配置信息包括所述运维端支持的文件格式；
将所述融合分析结果存储为所述文件格式的文件；
将存储后的文件上传至结果缓存设备；
所述对所述CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果，包括：
按照以下方式获得所述CDN节点自身实时生成的每一日志对应的实时分析结果：
确定日志所针对的业务；
获得所确定业务对应的表征业务指标的指标信息；
针对所获得的每一指标信息，选择日志中与该指标信息相关的日志项，对所选择的日志项中记录的数据进行数据统计处理，得到日志对应的实时分析结果。
2.根据权利要求1所述的方法，其特征在于，所述按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，包括：
针对每一指标信息，确定该指标信息对应的进行数据统计处理的方式，从各目标分析结果中选择该指标信息对应的结果，并按照该指标信息对应的方式，对所选择的结果进行数据统计处理，实现对各目标分析结果中该指标信息所对应结果的融合，得到融合分析结果。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在当前时刻处于预设的流量低峰时间段时，将本地存储的日志上传至日志存储设备。
4.一种日志分析装置，其特征在于，应用于内容分发网络CDN节点，所述装置包括：
信息分析模块，用于对所述CDN节点自身实时生成的日志中表征业务指标的指标信息进行分析，得到各日志对应的实时分析结果，所述日志在所述CDN节点提供服务时生成；
结果融合模块，用于按照指标信息，分别对各目标分析结果进行数据统计处理，实现对各目标分析结果的融合，得到融合分析结果，其中，所述目标分析结果为：每第一预设时长内生成的各日志对应的实时分析结果；
结果发送模块，用于向运维端发送所述融合分析结果；
所述结果发送模块，具体用于：
从所述CDN节点自身实时生成的日志中分析运维端支持的文件格式，其中，所述日志中记录有所述CDN节点的配置信息，所述配置信息包括所述运维端支持的文件格式；
将所述融合分析结果存储为所述文件格式的文件；
将存储后的文件上传至结果缓存设备；
所述信息分析模块，具体用于：
按照以下方式获得所述CDN节点自身实时生成的每一日志对应的实时分析结果：
确定日志所针对的业务；
获得所确定业务对应的表征业务指标的指标信息；
针对所获得的每一指标信息，选择日志中与该指标信息相关的日志项，对所选择的日志项中记录的数据进行数据统计处理，得到日志对应的实时分析结果。
5.根据权利要求4所述的装置，其特征在于，所述结果融合模块，具体用于：
针对每一指标信息，确定该指标信息对应的进行数据统计处理的方式，从各目标分析结果中选择该指标信息对应的结果，并按照该指标信息对应的方式，对所选择的结果进行数据统计处理，实现对各目标分析结果中该指标信息所对应结果的融合，得到融合分析结果。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线；
其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-3任一项所述的日志分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008540.6A CN112131198B (zh) | 2020-09-23 | 2020-09-23 | 一种日志分析方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008540.6A CN112131198B (zh) | 2020-09-23 | 2020-09-23 | 一种日志分析方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112131198A CN112131198A (zh) | 2020-12-25 |
| CN112131198B true CN112131198B (zh) | 2024-06-07 |
Family
ID=73842825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011008540.6A Active CN112131198B (zh) | 2020-09-23 | 2020-09-23 | 一种日志分析方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112131198B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115334320B (zh) * | 2022-07-04 | 2024-01-19 | 鹏博士大数据有限公司 | 云计算式上传数据分析系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008064593A1 (fr) * | 2006-11-30 | 2008-06-05 | Alibaba Group Holding Limited | Procédé et système d'analyse de journal basés sur un réseau de calcul distribué |
| CN106027595A (zh) * | 2016-04-25 | 2016-10-12 | 乐视控股（北京）有限公司 | 用于cdn节点的访问日志处理方法及系统 |
| CN107332719A (zh) * | 2017-08-16 | 2017-11-07 | 北京云端智度科技有限公司 | 一种cdn系统内日志实时分析的方法 |
| CN107707414A (zh) * | 2017-11-22 | 2018-02-16 | 北京搜狐新媒体信息技术有限公司 | Cdn网络的监控系统及方法 |
| JP2019091342A (ja) * | 2017-11-16 | 2019-06-13 | Kddi株式会社 | ログ分析サーバ、ログ分析システム、ログ分析方法及びログ分析プログラム |
| CN109951323A (zh) * | 2019-02-27 | 2019-06-28 | 网宿科技股份有限公司 | 一种日志分析方法和系统 |
| WO2019219172A1 (en) * | 2018-05-15 | 2019-11-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Technique for monitoring activity in a content delivery network |
| CN110493053A (zh) * | 2019-08-22 | 2019-11-22 | 北京首都在线科技股份有限公司 | 融合内容分发网络的监控方法、装置、终端和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11488041B2 (en) * | 2018-12-11 | 2022-11-01 | Morgan Stanley Services Group Inc. | System and method for predicting incidents using log text analytics |
-
2020
- 2020-09-23 CN CN202011008540.6A patent/CN112131198B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008064593A1 (fr) * | 2006-11-30 | 2008-06-05 | Alibaba Group Holding Limited | Procédé et système d'analyse de journal basés sur un réseau de calcul distribué |
| CN106027595A (zh) * | 2016-04-25 | 2016-10-12 | 乐视控股（北京）有限公司 | 用于cdn节点的访问日志处理方法及系统 |
| CN107332719A (zh) * | 2017-08-16 | 2017-11-07 | 北京云端智度科技有限公司 | 一种cdn系统内日志实时分析的方法 |
| JP2019091342A (ja) * | 2017-11-16 | 2019-06-13 | Kddi株式会社 | ログ分析サーバ、ログ分析システム、ログ分析方法及びログ分析プログラム |
| CN107707414A (zh) * | 2017-11-22 | 2018-02-16 | 北京搜狐新媒体信息技术有限公司 | Cdn网络的监控系统及方法 |
| WO2019219172A1 (en) * | 2018-05-15 | 2019-11-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Technique for monitoring activity in a content delivery network |
| CN109951323A (zh) * | 2019-02-27 | 2019-06-28 | 网宿科技股份有限公司 | 一种日志分析方法和系统 |
| CN110493053A (zh) * | 2019-08-22 | 2019-11-22 | 北京首都在线科技股份有限公司 | 融合内容分发网络的监控方法、装置、终端和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112131198A (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10812358B2 (en) | Performance-based content delivery | |
| CN111124819B (zh) | 全链路监控的方法和装置 | |
| US10027739B1 (en) | Performance-based content delivery | |
| US8447854B1 (en) | Edge analytics query for distributed content network | |
| CN111614736A (zh) | 网络内容资源调度方法、域名调度服务器及电子设备 | |
| WO2020190650A1 (en) | Methods and apparatus to estimate population reach from different marginal ratings and/or unions of marginal ratings based on impression data | |
| CN111782692B (zh) | 一种频率控制方法及装置 | |
| US11188443B2 (en) | Method, apparatus and system for processing log data | |
| CN111030888B (zh) | 域名系统dns容量测量方法、装置、设备及介质 | |
| CN107766463A (zh) | 一种多业务驱动的中间件系统的存储处理方法及装置 | |
| US11416291B1 (en) | Database server management for proxy scraping jobs | |
| CN113676514B (zh) | 一种文件回源方法及装置 | |
| CN108259207B (zh) | 流量统计方法、客户端、服务器及系统 | |
| WO2018156980A1 (en) | Managing intelligent microservices in a data streaming ecosystem | |
| CN112131198B (zh) | 一种日志分析方法、装置及电子设备 | |
| CN112671602B (zh) | 边缘节点的数据处理方法、装置、系统、设备和存储介质 | |
| US20230018983A1 (en) | Traffic counting for proxy web scraping | |
| CN103916463B (zh) | 一种网络访问统计分析方法及系统 | |
| CN113835905A (zh) | 一种消息队列负载均衡方法、装置、电子设备及介质 | |
| CN110543509B (zh) | 用户访问数据的监控系统、方法、装置及电子设备 | |
| CN112019604A (zh) | 边缘数据传输方法和系统 | |
| CN111556130B (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
| CN115333917A (zh) | 一种cdn异常检测方法及装置 | |
| JP6378631B2 (ja) | 映像配信システム、及び映像配信方法 | |
| CN110852537B (zh) | 服务质量检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |