CN106992886A - 一种基于分布式存储的日志分析方法及装置 - Google Patents
一种基于分布式存储的日志分析方法及装置 Download PDFInfo
- Publication number
- CN106992886A CN106992886A CN201710217523.5A CN201710217523A CN106992886A CN 106992886 A CN106992886 A CN 106992886A CN 201710217523 A CN201710217523 A CN 201710217523A CN 106992886 A CN106992886 A CN 106992886A
- Authority
- CN
- China
- Prior art keywords
- daily record
- record data
- data
- background service
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 53
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000000034 method Methods 0.000 abstract description 6
- 230000010076 replication Effects 0.000 abstract description 5
- 230000002045 lasting effect Effects 0.000 abstract description 3
- 239000003795 chemical substances by application Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于分布式存储的日志分析方法及装置，包括：日志代理实时收集日志数据，并将日志数据发送至日志后台服务；日志后台服务接收日志数据，根据日志数据确定分片参数及副本参数，并根据分片参数和副本参数对日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。可见，在本实施例中，日志数据的存储采用分布式存储方式，在分布式环境下日志数据采用分片和副本策略，实现了高性能、高伸缩和高可用。并且，分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用。
Description
技术领域
本发明涉及日志分析技术领域，更具体地说，涉及一种基于分布式存储的日志分析方法及装置。
背景技术
日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过对日志的分析检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。目前，通过传统方式对日志数据进行存储分析，速率较慢，且不能存储海量日志数据。
因此，如何实现对日志数据的海量存储，以对日志进行分析是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种基于分布式存储的日志分析方法及装置，以实现对日志数据的海量存储及分析。
为实现上述目的，本发明实施例提供了如下技术方案：
一种基于分布式存储的日志分析方法，包括：
日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；
所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。
其中，日志展现模块通过日志接口对日志数据进行分析及展示，包括：
所述日志展现模块接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；
所述日志展现模块利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。
其中，日志展现模块通过日志接口对日志数据进行分析及展示，包括：
所述日志展现模块接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；
所述日志展现模块利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。
其中，本方案还包括：
所述日志后台服务根据预设的删除策略，对存储的日志数据执行删除操作。
其中，本方案还包括：
所述日志后台服务根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。
一种基于分布式存储的日志分析装置，包括：
日志代理，用于实时收集日志数据，并将所述日志数据发送至日志后台服务；
所述日志后台服务，用于接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储；
日志展现模块，用于通过日志接口对存储在所述日志后台服务的日志数据进行分析及展示。
其中，所述日志后台服务包括：
第一接收模块，用于接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；
第一获取模块，用于利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。
其中，所述日志后台服务包括：
第二接收模块，用于接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；
第二获取模块，用于利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。
其中，所述日志后台服务还包括：
删除模块，用于根据预设的删除策略，对存储的日志数据执行删除操作。
其中，所述日志后台服务还包括：
报警分析模块，用于根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。
通过以上方案可知，本发明实施例提供的一种基于分布式存储的日志分析方法，包括：日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。
可见，在本实施例中，日志数据的存储采用分布式存储方式，在分布式环境下日志数据采用分片和副本策略，实现了高性能、高伸缩和高可用。并且，分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用；本发明还公开了一种基于分布式存储的日志分析装置，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种基于分布式存储的日志分析方法流程示意图；
图2为本发明实施例公开的一种基于分布式存储的日志分析原理图；
图3为本发明实施例公开的一种基于分布式存储的日志分析交互示意图；
图4为本发明实施例公开的一种2个分片及2份副本的索引结构示意图；
图5为本发明实施例公开的一种基于分布式存储的日志分析装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于分布式存储的日志分析方法及装置，以实现对日志数据的海量存储及分析。
参见图1，本发明实施例提供的一种基于分布式存储的日志分析方法，包括：
S101、日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；
具体的，云应用环境下日志信息是流式数据，数据量大，需要提供日志信息的查询和分析工作，因此在本实施例中，通过日志代理负责对日志数据的实时收集，并实时发送至日志后台服务，以实现用户通过对日志数据的分析检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。
S102、所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。
其中，所述日志展现模块通过日志接口对日志数据进行分析及展示，包括：
所述日志展现模块接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；
所述日志展现模块利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。
或者，所述日志展现模块接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；
所述日志展现模块利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。
具体的，参见图2及图3，图2为本发明实施例公开的一种基于分布式存储的日志分析原理图；图3为本发明实施例公开的一种基于分布式存储的日志分析交互示意图；可以看出，在本方案中，日志信息的统计及查询是通过日志展现服务调用相应的日志接口实现，例如图3中的记录统计接口和日志查询接口；并且对日志进行统计和查询时，可根据用户输入的时间和/或关键字进行查询。
具体的，本方案通过对日志数据进行分布式分片存储策略大大提高查询和存储效率；例如：在生产环境中通过将一个分片数据复制5个同样的副本技术，通常会比传统技术提高5倍以上的查询效率。参见图4，图4为本发明实施例公开的一种2个分片及2份副本的索引结构示意图；可以看出，一个完整的索引被切分为0和1两个独立部分，每一部分都有2个副本。
并且在生产环境中，随着数据规模的增大，只需简单地增加硬件机器节点即可，搜索引擎会自动地调整分片数以适应硬件的增加，当部分节点退役的时候，搜索引擎也会自动调整分片数以适应硬件的减少，同时可以根据硬件的可靠性水平及存储容量的变化随时更改副本数，这一切都是动态的，不需要重启集群，这也是高可用的重要保障。
基于上述实施例，本方案还包括：
日志后台服务根据预设的删除策略，对存储的日志数据执行删除操作。
具体的，在本实施例中，日志展现模块通过调用日志接口服务查询日志数据，日志数据量宠大，采用分布式存储技术保存日志数据，同时在本实施例中，日志数据可按照预设的删除策略进行周期清理。这里的删除策略可以为定时清理策略，即按照预定周期删除日志数据，例如：间隔3个月删除一次，每次删除时可以选择保留最近1个月、2个月等；也可以为按检索条件进行删除；需要说明的时，若定时器定期执行一次删除历史日志，历史日志删除周期通过前端配置，如日志保留。
基于上述任意实施例，本方案还包括：
日志后台服务根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过日志展现模块展示与异常数据对应的报警信息。
具体的，在本方案对日志数据进行分析检测时，需要针对离散的数据计算出与预设指标的偏差度，若偏差度大于预定阈值，则为用户提供报警信息。
需要说明的时，容器监控及日志分析模型是针对企业各种业务监控管理需求提出的应用性能监控管理解决方案；因此，本方案对日志的分析检测，可针对不同的业务系统、应用和网络服务(如服务器、操作系统、数据库、Web服务、中间件、邮件系统、其他关键应用等)进行多角度、深层次、更清晰地监控和管理，充分满足用户对各种关键业务和容器监控管理需求。其管理能力包括服务器监视、中间件监视、数据库监视、应用监视、虚拟环境监视、以及其他大量的应用管理能力，帮助IT管理员有效地管理各种资源。
下面对本发明实施例提供的日志分析装置进行介绍，下文描述的日志分析装置与上文描述的日志分析方法可以相互参照。
参见图5，本发明实施例提供的一种基于分布式存储的日志分析装置，包括：
日志代理100，用于实时收集日志数据，并将所述日志数据发送至日志后台服务；
日志后台服务200，用于接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储；
日志展现模块300，用于通过日志接口对存储在所述日志后台服务的日志数据进行分析及展示。
基于上述实施例，所述日志后台服务包括：
第一接收模块，用于接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；
第一获取模块，用于利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。
基于上述实施例，所述日志后台服务包括：
第二接收模块，用于接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；
第二获取模块，用于利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。
基于上述实施例，所述日志后台服务还包括：
删除模块，用于根据预设的删除策略，对存储的日志数据执行删除操作。
基于上述实施例，所述日志后台服务还包括：
报警分析模块，用于根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。
本发明实施例提供的一种基于分布式存储的日志分析方法，包括：日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。
可见，在本实施例中，日志数据的存储采用分布式存储方式，在分布式环境下日志数据采用分片和副本策略，实现了高性能、高伸缩和高可用。并且，分片技术为大规模并行索引和搜索提供了支持，极大地提高了索引和搜索的性能，极大地提高了水平扩展能力；副本技术为数据提供冗余，部分机器故障不影响系统的正常使用，保证了系统的持续高可用；本发明还公开了一种基于分布式存储的日志分析装置，同样能实现上述技术效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于分布式存储的日志分析方法，其特征在于，包括：
日志代理实时收集日志数据，并将所述日志数据发送至日志后台服务；
所述日志后台服务接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储，以使日志展现模块通过日志接口对日志数据进行分析及展示。
2.根据权利要求1所述的日志分析方法，其特征在于，所述日志展现模块通过日志接口对日志数据进行分析及展示，包括：
所述日志展现模块接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；
所述日志展现模块利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。
3.根据权利要求2所述的日志分析方法，其特征在于，所述日志展现模块通过日志接口对日志数据进行分析及展示，包括：
所述日志展现模块接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；
所述日志展现模块利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。
4.根据权利要求3所述的日志分析方法，其特征在于，还包括：
所述日志后台服务根据预设的删除策略，对存储的日志数据执行删除操作。
5.根据权利要求1-4中任意一项所述的日志分析方法，其特征在于，还包括：
所述日志后台服务根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。
6.一种基于分布式存储的日志分析装置，其特征在于，包括：
日志代理，用于实时收集日志数据，并将所述日志数据发送至日志后台服务；
所述日志后台服务，用于接收所述日志数据，根据所述日志数据确定分片参数及副本参数，并根据所述分片参数和所述副本参数对所述日志数据进行分布式存储；
日志展现模块，用于通过日志接口对存储在所述日志后台服务的日志数据进行分析及展示。
7.根据权利要求6所述的日志分析装置，其特征在于，所述日志后台服务包括：
第一接收模块，用于接收用户输入的统计信息；所述统计信息包括统计关键字信息和/或统计时间信息；
第一获取模块，用于利用所述统计信息，调用记录统计接口从所述日志后台服务获取统计结果并进行展示。
8.根据权利要求7所述的日志分析装置，其特征在于，所述日志后台服务包括：
第二接收模块，用于接收用户输入的查询信息；所述查询信息包括查询关键字信息和/或查询时间信息；
第二获取模块，用于利用所述查询信息，调用日志查询接口从所述日志后台服务获取查询结果并进行展示。
9.根据权利要求8所述的日志分析装置，其特征在于，所述日志后台服务还包括：
删除模块，用于根据预设的删除策略，对存储的日志数据执行删除操作。
10.根据权利要求6-9中任意一项所述的日志分析装置，其特征在于，所述日志后台服务还包括：
报警分析模块，用于根据预设的监控策略对存储的日志数据进行分析检测；若检测到异常数据，则通过所述日志展现模块展示与异常数据对应的报警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710217523.5A CN106992886A (zh) | 2017-04-05 | 2017-04-05 | 一种基于分布式存储的日志分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710217523.5A CN106992886A (zh) | 2017-04-05 | 2017-04-05 | 一种基于分布式存储的日志分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106992886A true CN106992886A (zh) | 2017-07-28 |
Family
ID=59415312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710217523.5A Pending CN106992886A (zh) | 2017-04-05 | 2017-04-05 | 一种基于分布式存储的日志分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106992886A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427705A (zh) * | 2018-01-17 | 2018-08-21 | 平安科技（深圳）有限公司 | 电子装置、分布式系统日志查询方法及存储介质 |
| CN109002534A (zh) * | 2018-07-18 | 2018-12-14 | 杭州安恒信息技术股份有限公司 | 一种日志分析方法、系统、设备及计算机可读存储介质 |
| CN109347655A (zh) * | 2018-09-11 | 2019-02-15 | 上海天旦网络科技发展有限公司 | 基于网络数据的故障恢复系统和方法及存储介质 |
| CN109408337A (zh) * | 2018-10-31 | 2019-03-01 | 京东方科技集团股份有限公司 | 一种接口运维的方法及装置 |
| CN110231998A (zh) * | 2019-06-13 | 2019-09-13 | 泰康保险集团股份有限公司 | 分布式定时任务的检测方法、装置及存储介质 |
| CN111541824A (zh) * | 2020-04-21 | 2020-08-14 | 北京思特奇信息技术股份有限公司 | 一种用于通讯信息传递的方法及系统 |
| CN112231296A (zh) * | 2020-09-30 | 2021-01-15 | 北京金山云网络技术有限公司 | 一种分布式日志处理方法、装置、系统、设备及介质 |
| CN112948328A (zh) * | 2021-01-28 | 2021-06-11 | 长沙市到家悠享网络科技有限公司 | 一种日志数据的检索方法及装置、设备、介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110191394A1 (en) * | 2010-01-29 | 2011-08-04 | Winteregg Joel | Method of processing log files in an information system, and log file processing system |
| CN103838867A (zh) * | 2014-03-20 | 2014-06-04 | 网宿科技股份有限公司 | 日志处理方法和装置 |
| CN104104734A (zh) * | 2014-08-04 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 日志分析方法和装置 |
| CN105099740A (zh) * | 2014-05-15 | 2015-11-25 | 中国移动通信集团浙江有限公司 | 一种日志管理系统及日志采集方法 |
| CN105260399A (zh) * | 2015-09-17 | 2016-01-20 | 西安未来国际信息股份有限公司 | 一种分布式日志的采集和检索方法 |
| CN106354434A (zh) * | 2016-08-31 | 2017-01-25 | 中国人民大学 | 日志数据的存储方法及系统 |
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
-
2017
- 2017-04-05 CN CN201710217523.5A patent/CN106992886A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110191394A1 (en) * | 2010-01-29 | 2011-08-04 | Winteregg Joel | Method of processing log files in an information system, and log file processing system |
| CN103838867A (zh) * | 2014-03-20 | 2014-06-04 | 网宿科技股份有限公司 | 日志处理方法和装置 |
| CN105099740A (zh) * | 2014-05-15 | 2015-11-25 | 中国移动通信集团浙江有限公司 | 一种日志管理系统及日志采集方法 |
| CN104104734A (zh) * | 2014-08-04 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 日志分析方法和装置 |
| CN105260399A (zh) * | 2015-09-17 | 2016-01-20 | 西安未来国际信息股份有限公司 | 一种分布式日志的采集和检索方法 |
| CN106354434A (zh) * | 2016-08-31 | 2017-01-25 | 中国人民大学 | 日志数据的存储方法及系统 |
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427705A (zh) * | 2018-01-17 | 2018-08-21 | 平安科技（深圳）有限公司 | 电子装置、分布式系统日志查询方法及存储介质 |
| CN108427705B (zh) * | 2018-01-17 | 2022-04-12 | 平安科技（深圳）有限公司 | 电子装置、分布式系统日志查询方法及存储介质 |
| CN109002534A (zh) * | 2018-07-18 | 2018-12-14 | 杭州安恒信息技术股份有限公司 | 一种日志分析方法、系统、设备及计算机可读存储介质 |
| CN109347655A (zh) * | 2018-09-11 | 2019-02-15 | 上海天旦网络科技发展有限公司 | 基于网络数据的故障恢复系统和方法及存储介质 |
| CN109347655B (zh) * | 2018-09-11 | 2022-03-01 | 上海天旦网络科技发展有限公司 | 基于网络数据的故障恢复系统和方法及存储介质 |
| CN109408337B (zh) * | 2018-10-31 | 2021-12-28 | 京东方科技集团股份有限公司 | 一种接口运维的方法及装置 |
| CN109408337A (zh) * | 2018-10-31 | 2019-03-01 | 京东方科技集团股份有限公司 | 一种接口运维的方法及装置 |
| US11681697B2 (en) | 2018-10-31 | 2023-06-20 | Boe Technology Group Co., Ltd. | Method and device for interface operation and maintenance |
| CN110231998B (zh) * | 2019-06-13 | 2021-07-20 | 泰康保险集团股份有限公司 | 分布式定时任务的检测方法、装置及存储介质 |
| CN110231998A (zh) * | 2019-06-13 | 2019-09-13 | 泰康保险集团股份有限公司 | 分布式定时任务的检测方法、装置及存储介质 |
| CN111541824A (zh) * | 2020-04-21 | 2020-08-14 | 北京思特奇信息技术股份有限公司 | 一种用于通讯信息传递的方法及系统 |
| CN112231296A (zh) * | 2020-09-30 | 2021-01-15 | 北京金山云网络技术有限公司 | 一种分布式日志处理方法、装置、系统、设备及介质 |
| CN112231296B (zh) * | 2020-09-30 | 2024-05-28 | 北京金山云网络技术有限公司 | 一种分布式日志处理方法、装置、系统、设备及介质 |
| CN112948328A (zh) * | 2021-01-28 | 2021-06-11 | 长沙市到家悠享网络科技有限公司 | 一种日志数据的检索方法及装置、设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106992886A (zh) | 一种基于分布式存储的日志分析方法及装置 | |
| WO2020233212A1 (zh) | 一种日志记录的处理方法、服务器及存储介质 | |
| CN104301360B (zh) | 一种日志数据记录的方法、日志服务器及系统 | |
| CN105677842A (zh) | 基于Hadoop大数据处理技术的日志分析系统 | |
| CN107229556A (zh) | 基于elastic组件的日志分析系统 | |
| CN107992398A (zh) | 一种业务系统的监控方法和监控系统 | |
| CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
| CN106202569A (zh) | 一种基于大数据量的清洗方法 | |
| CN109460339B (zh) | 日志的流式计算系统 | |
| CN106709003A (zh) | 基于Hadoop的海量日志数据处理方法 | |
| CN109034580B (zh) | 一种基于大数据分析的信息系统整体健康度评估方法 | |
| CN101431434B (zh) | 基于wap的内容监控及封堵系统和方法 | |
| CN105631026A (zh) | 一种安全数据分析系统 | |
| CN113297183B (zh) | 一种时间窗口的告警分析方法及装置 | |
| CN107800808A (zh) | 一种基于Hadoop架构的数据存储系统 | |
| CN101408889A (zh) | 一种性能监控的方法、装置及系统 | |
| CN113051147A (zh) | 一种数据库集群的监控方法、装置、系统、以及设备 | |
| CN111080500A (zh) | 基于spark streaming的实时规则的布控预警方法及装置 | |
| CN105955662A (zh) | 一种k-db数据表空间的扩容方法与系统 | |
| CN102142983A (zh) | 告警相关性分析方法和装置 | |
| CN102902615A (zh) | 一种Lustre并行文件系统错误报警方法及其系统 | |
| CN115333966B (zh) | 一种基于拓扑的Nginx日志分析方法、系统及设备 | |
| WO2017000592A1 (zh) | 数据处理方法、装置及系统 | |
| CN104579782A (zh) | 一种热点安全事件的识别方法及系统 | |
| CN108833442A (zh) | 一种分布式网络安全监控装置及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Jiye Inventor after: Gao Lingchao Inventor after: Xia Yuandie Inventor after: Luo Huayong Inventor after: Ge Huali Inventor after: Wang Yufei Inventor before: Wang Jiye Inventor before: Gao Lingchao Inventor before: Yang Ning Inventor before: Luo Huayong Inventor before: Ge Huali Inventor before: Wang Yufei |
|
| CB03 | Change of inventor or designer information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180425 Address after: 100192 room 710, research building 15, Xiaoying East Road, Qinghe, Haidian District, Beijing Applicant after: Beijing China Power Information Technology Co., Ltd. Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP CO., LTD. Applicant after: Information and communication branch of Jiangsu Electric Power Co., Ltd. Applicant after: State Grid Corporation of China Address before: 100033 West Chang'an Avenue, Xicheng District, Xicheng District, Beijing Applicant before: State Grid Corporation of China Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP CO., LTD. Applicant before: Beijing China Power Information Technology Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170728 |
|
| RJ01 | Rejection of invention patent application after publication |