CN104917627B - 一种用于大型服务器集群的日志集群扫描与分析方法 - Google Patents
一种用于大型服务器集群的日志集群扫描与分析方法 Download PDFInfo
- Publication number
- CN104917627B CN104917627B CN201510028382.3A CN201510028382A CN104917627B CN 104917627 B CN104917627 B CN 104917627B CN 201510028382 A CN201510028382 A CN 201510028382A CN 104917627 B CN104917627 B CN 104917627B
- Authority
- CN
- China
- Prior art keywords
- event
- cluster
- log
- analysis
- daily record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及系统监控与系统管理领域，旨在提供一种用于大型服务器集群的日志集群扫描与分析方法。该种用于大型服务器集群的日志集群扫描与分析方法包括单机日志分析、集群日志分析、日志集群分析和日志数据交换。本发明具有单机日志处理的简单性，统一化处理后单机和集群日志交换高效性，“推”“拉”日志交互协议的及时性，集群日志关联分析的全面性，事件库结构的综合性和高效性，事件预测的准确性。
Description
技术领域
本发明是关于系统监控与系统管理领域，特别涉及一种用于大型服务器集群的日志集群扫描与分析方法。
背景技术
在各种云计算服务日益普及到千家万户、超级计算助推国家绝大多数核高基项目的今天，服务器集群的稳定与安全成为这一新型计算模式成功的关键。而集群内部的扫描与分析是提供这种稳定性与安全性最及时和可靠的途径。
首先，现有的日志分析方法专注于单机节点日志的聚拢和统一管理，如专利CN103856354A“一种集群存储系统日志统一管理实现方法”和CN102724063A“日志采集服务器及数据包分发、日志聚类方法及网络”中所述的方法。这类方法忽略了单机服务器本身的筛选、分类以及为集群统一监控提供可能的前期预测和即时状况确认的能力。
其次，现有云计算服务器日志管理则专注于单机物理服务器上的日志分类、筛选，并为管理员的手动维护提供方便，如专利CN103475535A“云计算服务器日志管理系统”和CN102594598A“一种日志管理系统及其实现方法”中所描述的技术。这类技术忽略了基于服务器集群整体的统一管理和监控调度，不利于发挥服务器集群特别是大型服务器集群的整体资源整合与共享。
所以目前仍没有一个系统的技术来支撑日志集群的统一扫描与整体分析，以得到当前状况及未来运行趋势的方法或技术。服务器集群的各种日志可以提供关于整个集群平台运行状况最及时、最全面的信息。
发明内容
本发明的主要目的在于克服现有技术中的不足，提供一种能够充分利用单机服务器上最及时的日志信息以及一种“推”“拉”结合的高效日志数据交换协议来全面实时地监控和预警整个平台的稳定性和安全性的技术。为解决上述技术问题，本发明的解决方案是：
提供一种用于大型服务器集群的日志集群扫描与分析方法，包括：
(一)单机日志分析；
(二)集群日志分析；
(三)日志集群分析；
(四)日志数据交换；
(一)单机日志分析包括日志事件的统一化处理和事件快速分类，且单机日志分析在每一单机物理服务器上进行；
所述日志事件的统一化处理的具体步骤为：
步骤A：来源标识：记录每一日志事件(日志事件是指日志里包含的单个事件)产生的物理服务器在集群内的唯一标识，以及产生该日志事件的虚拟服务器标识；其中，所述虚拟服务器是指运行在物理服务器虚拟化软件上的服务器个体；
步骤B：时间戳生成：将物理服务器和虚拟服务器的即时时间戳与对应的标识绑定，并生成相应的两个服务器签名；
所述事件快速分类具体是指：根据来源的软硬件层级和预定义的严重程度，将所有日志事件分入不同的集合，并存入对应的文件(每一个集合对应一个文件)；且若日志事件的严重程度超过预先定义的程度，则将该日志事件作为紧急事件推送至日志集群分析；
(二)集群日志分析包括整体事件的关联处理和集群事件的来源分析，且集群日志分析在集群主管机上进行；所述集群主管机是指集群内用于管理的物理服务器(集群主管机通常不提供服务而专用于管理)；
所述整体事件的关联处理具体包括：1、通过比较集群整体日志事件时间戳之间的相互关系，建立整体日志事件之间的关系，包括先后、并发；2、通过比较集群整体日志事件来源的软硬件层级，建立整体日志事件之间的因果关系；
所述集群事件的来源分析具体是指：记录导致集群日志事件的物理服务器列表(集群日志事件通常不包含虚拟服务器的信息)；
(三)日志集群分析用于集群中各类日志的归总以及集群平台当前和未来运行状况的预测，具体包括下述步骤：
步骤C：事件库的建立或更新：当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，作为第一个集群事件，则触发建立事件库；在建立有事件库后，当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，则触发更新事件库；
其中，所述事件库存储于集群主管机的一个数据库中；
步骤D：事件库统计：每一次进行步骤C中的事件库更新时，计算事件库中对应事件在特定时间窗口内的出现次数，并重新计算事件库中每一事件的出现频率；
其中，所述特定时间窗口的初始大小(由系统管理员)预先设定，并能自动调整大小(如果事件库更新的频率增高，这一时间窗口将自动缩小；反之，则自动增大)；
步骤E：事件库建模：建立基于事件频率、事件来源以及依赖关系的事件库模型(事件库模型是指事件库里各种事件间关系的统称)，用于表达不同事件之间的因果关系或先后关系；其中，所述事件频率通过步骤D获得，所述事件来源通过步骤A和集群日志分析中的集群事件的来源分析获得，所述依赖关系通过集群日志分析中的整体事件的关联处理获得；
事件库模型存储在哈希链表树中，树形结构的父子指针表示依赖关系中的因果关系或先后关系，树节点内存储事件频率和事件来源，事件索引由哈希链表表示；
步骤F：事件模式识别：利用模式识别方法，对步骤E建立的事件库模型中的信息进行模式(模式是指事件库里有统计意义的事件序列)的建立和识别，并记录所有显示较强统计意义的事件模式，用于为集群平台紧急状况监测和预警提供依据；
其中，所述模式识别方法包括主元分析、贝叶斯决策理论方法；所述模式识别的依据是事件来源、事件频率和事件关系；所述显示较强统计意义的事件模式是指超过设定值的事件模式，包括出现次数超过设定值的事件模式、出现频率超过设定值的事件模式、以一个紧急事件(严重程度超过预先定义的程度的事件)结束的事件模式；
步骤G：集群平台运行状况预警：当步骤F中识别出显示较强统计意义的事件模式并记录时，发出平台运行状况警告通知，同时对显示较强统计意义的事件模式的日志条目(这一事件模式可以未完全发生)进行记录；
步骤H：集群平台未来事件预测：根据步骤E中建立的事件库模型(包括已经计算出的树形结构中父子节点之间的频率依赖关系)，预测将来可能发生的事件(每一对发生频率相同的父子节点之间有100％的依赖关系，所以一旦父节点中的事件已经发生，子节点中的事件也必然会发生；发生频率不同的父子节点事件之间的依赖关系可以通过统计方法、基于神经网络或规则挖掘等的方法进行计算和预测)，并发出针对可能发生的紧急事件(一般为严重程度超过预先定义的程度)的预告通知；
(四)日志数据交换用于实现日志数据在单机物理服务器和集群主管机之间进行交换，集群主管机通过集群日志分析获得日志数据，单机物理服务器和集群主管机通过推送(“推”)与查询(“拉”)相结合的交互协议进行交换日志数据；
所述推送方法具体是指：单机物理服务器通过单机日志分析获得日志数据后，即时将紧急事件及其相关信息推送并汇总到集群主管机，并定期将部分统计信息(主要包括当前统计时间窗口内的日志集合、日志总数和紧急事件总数)汇总到集群主管机；其中，单机物理服务器进行定期汇总的汇总频率，由系统根据集群内部可使用通信带宽的情况自动调整(当集群内部可使用通信带宽变大时，汇总频率将自动升高；带宽变小时，汇总频率将自动减小)；
所述查询方法具体是指：集群主管机在发出步骤G中的平台运行状况警告通知、发出步骤H中的针对可能发生的紧急事件的预告通知前，向单机物理服务器以查询的方式确认相关信息。
与现有技术相比，本发明的有益效果是：
本发明具有单机日志处理的简单性，统一化处理后单机和集群日志交换高效性，“推”“拉”日志交互协议的及时性，集群日志关联分析的全面性，事件库结构的综合性和高效性，事件预测的准确性。
附图说明
图1为本发明中的哈希表模式库索引示例图。
图2为本发明中的模式库关联关系树形存储示例图。
图3为本发明中的哈希链表树联合数据结构示例图。
具体实施方式
首先需要说明的是，本发明是计算机技术在系统监控与系统管理领域的一种应用，在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。
下面结合附图与具体实施方式对本发明作进一步详细描述：
一种用于大型服务器集群的日志集群扫描与分析方法，包括：
(一)单机日志分析；
(二)集群日志分析；
(三)日志集群分析；
(四)日志数据交换。
(一)单机日志分析包括日志事件的统一化处理和事件快速分类，且单机日志分析在每一单机物理服务器上进行。
所述日志事件的统一化处理的具体步骤为：
步骤A：来源标识：记录每一日志事件产生的物理服务器在集群内的唯一标识，以及产生该日志事件的虚拟服务器标识；其中，所述虚拟服务器是指运行在物理服务器虚拟化软件上的服务器个体；
步骤B：时间戳生成：将物理服务器和虚拟服务器的即时时间戳与对应的标识绑定，并生成相应的两个服务器签名。
所述事件快速分类具体是指：根据来源的软硬件层级和预定义的严重程度，将所有日志事件分入不同的集合，并存入对应的文件(每一个集合对应一个文件)；且若日志事件的严重程度超过预先定义的程度，则将该日志事件作为紧急事件推送至日志集群分析。
(二)集群日志分析包括整体事件的关联处理和集群事件的来源分析，且集群日志分析在集群主管机上进行；所述集群主管机是指集群内用于管理的物理服务器(集群主管机通常不提供服务而专用于管理)。
所述整体事件的关联处理具体包括：1、通过比较集群整体日志事件时间戳之间的相互关系，建立整体日志事件之间的关系，包括先后、并发；2、通过比较集群整体日志事件来源的软硬件层级，建立整体日志事件之间的因果关系。
所述集群事件的来源分析具体是指：记录导致集群日志事件的物理服务器列表(集群日志事件通常不包含虚拟服务器的信息)。
(三)日志集群分析用于集群中各类日志的归总以及集群平台当前和未来运行状况的预测，具体包括下述步骤：
步骤C：事件库的建立或更新：当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，作为第一个集群事件，则触发建立事件库；在建立有事件库后，当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，则触发更新事件库。
其中，所述事件库存储于集群主管机的一个数据库中。
步骤D：事件库统计：每一次进行步骤C中的事件库更新时，计算事件库中对应事件在特定时间窗口内的出现次数，并重新计算事件库中每一事件的出现频率。
其中，所述特定时间窗口的初始大小(由系统管理员)预先设定，并能自动调整大小，如果事件库更新的频率增高，这一时间窗口将自动缩小；反之，则自动增大。
步骤E：事件库建模：建立基于事件频率、事件来源以及依赖关系的事件库模型，用于表达不同事件之间的因果关系或先后关系；其中，所述事件频率通过步骤D获得，所述事件来源通过步骤A和集群日志分析中的集群事件的来源分析获得，所述依赖关系通过集群日志分析中的整体事件的关联处理获得。
事件库模型存储在哈希链表树中，树形结构的父子指针表示依赖关系中的因果关系或先后关系，树节点内存储事件频率和事件来源，事件索引由哈希链表表示。详细可参考图3所示，哈希链表树是哈希链表和树(前缀树、后缀树或根据模式库特点构建的一般树)的结合体，该全新的联合数据结构使得事件模式库的更新、统计、预测速度得到极大的优化和提升。其中，树结构可以用父子节点间的指针或孩子兄弟节点间的指针形 式来实现，选择哪一种实现由模式库在哈希表中的表现形式决定。因为哈希链表中同一索引项的链表按字典序排序，两种树结构形式都可以用；图3所用为第一种形式。
步骤F：事件模式识别：利用模式识别方法，对步骤E建立的事件库模型中的信息进行模式的建立和识别，并记录所有显示较强统计意义的事件模式，用于为集群平台紧急状况监测和预警提供依据。
其中，所述模式识别方法包括主元分析、贝叶斯决策理论方法。所述模式识别的依据是事件来源、事件频率和事件关系。所述显示较强统计意义的事件模式是指超过设定值的事件模式，包括出现次数超过设定值的事件模式、出现频率超过设定值的事件模式、以一个紧急事件(严重程度超过预先定义的程度的事件)结束的事件模式。
步骤G：集群平台运行状况预警：当步骤F中识别出显示较强统计意义的事件模式并记录时，发出平台运行状况警告通知，同时对显示较强统计意义的事件模式的日志条目(这一事件模式可以未完全发生)进行记录。
步骤H：集群平台未来事件预测：根据步骤E中建立的事件库模型(包括已经计算出的树形结构中父子节点之间的频率依赖关系)，预测将来可能发生的事件(每一对发生频率相同的父子节点之间有100％的依赖关系，所以一旦父节点中的事件已经发生，子节点中的事件也必然会发生；发生频率不同的父子节点事件之间的依赖关系可以通过统计方法、基于神经网络或规则挖掘等的方法进行计算和预测)，并发出针对可能发生的紧急事件(一般为严重程度超过预先定义的程度)的预告通知。
(四)日志数据交换用于实现日志数据在单机物理服务器和集群主管机之间进行交换，集群主管机通过集群日志分析获得日志数据，单机物理服务器和集群主管机通过推送(“推”)与查询(“拉”)相结合的交互协议进行交换日志数据。
所述推送方法具体是指：单机物理服务器通过单机日志分析获得日志数据后，即时将紧急事件及其相关信息推送并汇总到集群主管机，并定期将部分统计信息汇总到集群主管机；其中，单机物理服务器进行定期汇总的汇总频率，由系统根据集群内部可使用通信带宽的情况自动调整(当集群内部可使用通信带宽变大时，汇总频率将自动升高；带宽变小时，汇总频率将自动减小)。
所述查询方法具体是指：集群主管机在发出步骤G中的平台运行状况警告通知、发出步骤H中的针对可能发生的紧急事件的预告通知前，向单机物理服务器以查询的方式确认相关信息。
如图1所示，哈希表用于事件模式的快速更新和查找。链表结构在哈希表中的使用可以有效地减少存储空间和哈希表的更新耗时。具有相同长度的事件模式会分享同一索引，比如“AAAB”和“AAXN”。同时，在哈希表的同一索引项链表中的事件可以按字典序排序，比如“AAAB”在“AAXN”之前，“AAXN”在“ACFG”之前。
如图2所示，前缀树、后缀树或根据模式库特点构建的一般树用于事件间关联的快速更新和查找。如果是前缀树，具有公共前缀的事件模式将存在于树的同一分支中，比如“AA”和“AC”在以“A”为根节点的同一分支中，而“AAAB”和“AAXN”在以“AA”为根节点的同一分支中；如果是后缀树，子结点们则存在于公共后缀所在的分支中。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (1)
1.一种用于大型服务器集群的日志集群扫描与分析方法，其特征在于，包括：
(一)单机日志分析；
(二)集群日志分析；
(三)日志集群分析；
(四)日志数据交换；
(一)单机日志分析包括日志事件的统一化处理和事件快速分类，且单机日志分析在每一单机物理服务器上进行；
所述日志事件的统一化处理的具体步骤为：
步骤A：来源标识：记录每一日志事件产生的物理服务器在集群内的唯一标识，以及产生该日志事件的虚拟服务器标识；其中，所述虚拟服务器是指运行在物理服务器虚拟化软件上的服务器个体；
步骤B：时间戳生成：将物理服务器和虚拟服务器的即时时间戳与对应的标识绑定，并生成相应的两个服务器签名；
所述事件快速分类具体是指：根据来源的软硬件层级和预定义的严重程度，将所有日志事件分入不同的集合，并存入对应的文件；且若日志事件的严重程度超过预先定义的程度，则将该日志事件作为紧急事件推送至日志集群分析；
(二)集群日志分析包括整体事件的关联处理和集群事件的来源分析，且集群日志分析在集群主管机上进行；所述集群主管机是指集群内用于管理的物理服务器；
所述整体事件的关联处理具体包括：1、通过比较集群整体日志事件时间戳之间的相互关系，建立整体日志事件之间的关系，包括先后、并发；2、通过比较集群整体日志事件来源的软硬件层级，建立整体日志事件之间的因果关系；
所述集群事件的来源分析具体是指：记录导致集群日志事件的物理服务器列表；
(三)日志集群分析用于集群中各类日志的归总以及集群平台当前和未来运行状况的预测，具体包括下述步骤：
步骤C：事件库的建立或更新：当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，作为第一个集群事件，则触发建立事件库；建有事件库后，当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，则触发更新事件库；
其中，所述事件库存储于集群主管机的一个数据库中；
步骤D：事件库统计：每一次进行步骤C中的事件库更新时，计算事件库中对应事件在特定时间窗口内的出现次数，并重新计算事件库中每一事件的出现频率；
其中，所述特定时间窗口的初始大小预先设定，并能自动调整大小；
步骤E：事件库建模：建立基于事件频率、事件来源以及依赖关系的事件库模型，用于表达不同事件之间的因果关系或先后关系；其中，所述事件频率通过步骤D获得，所述事件来源通过步骤A和集群日志分析中的集群事件的来源分析获得，所述依赖关系通过集群日志分析中的整体事件的关联处理获得；
事件库模型存储在哈希链表树中，树形结构的父子指针表示依赖关系中的因果关系或先后关系，树节点内存储事件频率和事件来源，事件索引由哈希链表表示；
步骤F：事件模式识别：利用模式识别方法，对步骤E建立的事件库模型中的信息进行模式的建立和识别，并记录所有显示较强统计意义的事件模式，用于为集群平台紧急状况监测和预警提供依据；
其中，所述模式识别方法包括主元分析、贝叶斯决策理论方法；所述模式识别的依据是事件来源、事件频率和事件关系；所述显示较强统计意义的事件模式是指超过设定值的事件模式，包括出现次数超过设定值的事件模式、出现频率超过设定值的事件模式、以一个紧急事件结束的事件模式；
步骤G：集群平台运行状况预警：当步骤F中识别出显示较强统计意义的事件模式并记录时，发出平台运行状况警告通知，同时对显示较强统计意义的事件模式的日志条目进行记录；
步骤H：集群平台未来事件预测：根据步骤E中建立的事件库模型，预测将来可能发生的事件，并发出针对可能发生的紧急事件的预告通知；
(四)日志数据交换用于实现日志数据在单机物理服务器和集群主管机之间进行交换，集群主管机通过集群日志分析获得日志数据，单机物理服务器和集群主管机通过推送与查询相结合的交互协议进行交换日志数据；
推送的方法具体是指：单机物理服务器通过单机日志分析获得日志数据后，即时将紧急事件及其相关信息推送并汇总到集群主管机，并定期将部分统计信息汇总到集群主管机；其中，单机物理服务器进行定期汇总的汇总频率，由系统根据集群内部可使用通信带宽的情况自动调整；
查询的方法具体是指：集群主管机在发出步骤G中的平台运行状况警告通知、发出步骤H中的针对可能发生的紧急事件的预告通知前，向单机物理服务器以查询的方式确认相关信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510028382.3A CN104917627B (zh) | 2015-01-20 | 2015-01-20 | 一种用于大型服务器集群的日志集群扫描与分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510028382.3A CN104917627B (zh) | 2015-01-20 | 2015-01-20 | 一种用于大型服务器集群的日志集群扫描与分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104917627A CN104917627A (zh) | 2015-09-16 |
| CN104917627B true CN104917627B (zh) | 2018-06-19 |
Family
ID=54086356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510028382.3A Active CN104917627B (zh) | 2015-01-20 | 2015-01-20 | 一种用于大型服务器集群的日志集群扫描与分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104917627B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9973521B2 (en) * | 2015-12-28 | 2018-05-15 | International Business Machines Corporation | System and method for field extraction of data contained within a log stream |
| CN107391335B (zh) * | 2016-03-31 | 2021-09-03 | 阿里巴巴集团控股有限公司 | 一种用于检查集群健康状态的方法和设备 |
| CN107342916A (zh) * | 2017-06-28 | 2017-11-10 | 广州信维电子科技股份有限公司 | 服务器信息的监控方法、装置及服务器 |
| CN107423205B (zh) * | 2017-07-11 | 2020-11-27 | 北京明朝万达科技股份有限公司 | 一种用于数据防泄漏系统的系统故障预警方法及系统 |
| CN109685217B (zh) * | 2017-10-17 | 2021-10-15 | 博彦科技股份有限公司 | 数据处理方法、装置、存储介质和处理器 |
| CN108197142B (zh) * | 2017-11-24 | 2020-10-30 | 东软集团股份有限公司 | 网络事务关联性确定方法、装置、存储介质及设备 |
| CN108964995B (zh) * | 2018-07-03 | 2021-09-28 | 上海新炬网络信息技术股份有限公司 | 基于时间轴事件的日志关联分析方法 |
| CN109218294A (zh) * | 2018-08-21 | 2019-01-15 | 杭州安恒信息技术股份有限公司 | 基于机器学习贝叶斯算法的防扫描方法、装置和服务器 |
| CN111224928B (zh) * | 2018-11-26 | 2021-11-30 | 中国移动通信集团辽宁有限公司 | 网络攻击行为的预测方法、装置、设备及存储介质 |
| CN110069463B (zh) * | 2019-03-12 | 2021-07-16 | 北京奇艺世纪科技有限公司 | 用户行为处理方法、装置电子设备及存储介质 |
| US20230032070A1 (en) * | 2021-07-20 | 2023-02-02 | CyCarrier Technology Co., Ltd. | Log categorization device and related computer program product with adaptive clustering function |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724063A (zh) * | 2012-05-11 | 2012-10-10 | 北京邮电大学 | 日志采集服务器及数据包分发、日志聚类方法及网络 |
| CN103475535A (zh) * | 2013-08-23 | 2013-12-25 | 汉柏科技有限公司 | 云计算服务器日志管理系统 |
| CN103544261A (zh) * | 2013-10-16 | 2014-01-29 | 国家计算机网络与信息安全管理中心 | 一种海量结构化日志数据全局索引管理方法及装置 |
| CN103856354A (zh) * | 2014-03-07 | 2014-06-11 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统日志统一管理实现方法 |
-
2015
- 2015-01-20 CN CN201510028382.3A patent/CN104917627B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724063A (zh) * | 2012-05-11 | 2012-10-10 | 北京邮电大学 | 日志采集服务器及数据包分发、日志聚类方法及网络 |
| CN103475535A (zh) * | 2013-08-23 | 2013-12-25 | 汉柏科技有限公司 | 云计算服务器日志管理系统 |
| CN103544261A (zh) * | 2013-10-16 | 2014-01-29 | 国家计算机网络与信息安全管理中心 | 一种海量结构化日志数据全局索引管理方法及装置 |
| CN103856354A (zh) * | 2014-03-07 | 2014-06-11 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统日志统一管理实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104917627A (zh) | 2015-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104917627B (zh) | 一种用于大型服务器集群的日志集群扫描与分析方法 | |
| US11334543B1 (en) | Scalable bucket merging for a data intake and query system | |
| US11620157B2 (en) | Data ingestion pipeline anomaly detection | |
| CN111885012B (zh) | 基于多种网络设备信息采集的网络态势感知方法及系统 | |
| US10891297B2 (en) | Method and system for implementing collection-wise processing in a log analytics system | |
| US11567993B1 (en) | Copying buckets from a remote shared storage system to memory associated with a search node for query execution | |
| US11704490B2 (en) | Log sourcetype inference model training for a data intake and query system | |
| JP2022106826A5 (zh) | ||
| US20230134578A1 (en) | Search-time field extraction in a data intake and query system | |
| US20200106690A1 (en) | Adaptive metric collection, storage, and alert thresholds | |
| CN108197261A (zh) | 一种智慧交通操作系统 | |
| CN104021195B (zh) | 基于知识库的告警关联分析方法 | |
| CN106940677A (zh) | 一种应用日志数据告警方法及装置 | |
| CN106533792A (zh) | 一种监控和配置资源的方法及装置 | |
| US11687438B1 (en) | Adaptive thresholding of data streamed to a data processing pipeline | |
| CN111538563A (zh) | 一种对Kubernetes的事件分析方法及装置 | |
| US11687487B1 (en) | Text files updates to an active processing pipeline | |
| CN113849483A (zh) | 一种用于智能工厂的实时数据库系统架构 | |
| CN109308290B (zh) | 一种基于cim的高效数据清洗转换方法 | |
| CN114302103A (zh) | 一种智能监控运维系统 | |
| CN109800133A (zh) | 一种统一监控告警的方法、一站式监控告警平台及系统 | |
| CN109460393A (zh) | 一种基于大数据的预检预修可视化系统 | |
| CN111858722A (zh) | 一种基于物联网的大数据应用系统及方法 | |
| CN111125450A (zh) | 一种多层拓扑网络资源对象的管理方法 | |
| CN108304293A (zh) | 一种基于大数据技术的软件系统监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 310051 15-storey Zhongcai Building, Tonghe Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Annan information technology Limited by Share Ltd Address before: 310051 15-storey Zhongcai Building, Tonghe Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Dbappsecurity Co.,ltd. |