CN112929202A - 一种分布式数据节点异常行为的预警系统 - Google Patents

一种分布式数据节点异常行为的预警系统 Download PDF

Info

Publication number
CN112929202A
CN112929202A CN202110069126.4A CN202110069126A CN112929202A CN 112929202 A CN112929202 A CN 112929202A CN 202110069126 A CN202110069126 A CN 202110069126A CN 112929202 A CN112929202 A CN 112929202A
Authority
CN
China
Prior art keywords
data
log
unit
module
logs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110069126.4A
Other languages
English (en)
Inventor
王萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Huoke Media Co ltd
Original Assignee
Qingdao Huoke Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Huoke Media Co ltd filed Critical Qingdao Huoke Media Co ltd
Priority to CN202110069126.4A priority Critical patent/CN112929202A/zh
Publication of CN112929202A publication Critical patent/CN112929202A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种分布式数据节点异常行为的预警系统，涉及分布式数据节点技术领域；为了解决无法对各个数据节点的异常行为进行实时监控并快速生成异常报告的问题；本系统具体包括管理单元、数据处理单元、数据整合单元、数据监控单元和多个数据节点，所述多个数据节点分别与数据监控单元通信连接，数据监控单元与数据整合单元通信连接，数据整合单元与数据处理单元通信连接，数据处理单元与管理单元通信连接。本发明通过将数据监控单元获取的数据节点的日志分成操作系统日志、数据软件运行日志和用户日常操作日志，可以对数据节点的运行情况进行全方位的评估，让数据处理单元出具的预警报告更为准确和详细。

Description

一种分布式数据节点异常行为的预警系统
技术领域
本发明涉及分布式数据节点技术领域，尤其涉及一种分布式数据节点异常行为的预警系统。
背景技术
分布式系统中的各个节点都是相对比较独立的，同时每个节点均有可能发生故障，比如网络异常，磁盘坏掉甚至整个操作系统损坏等，但是目前现有的分布式系统异常分析是通过人工查看各个数据节点输出的日志文件来定位、分析异常。通过这种方式，开发者无法实时的对系统产生的异常进行跟踪修正，也无法快速定位异常到底发生在何处，因此，若能在数据节点设备发生严重故障之前实时察觉，并在故障仍属轻微的情形下及早停机修复检查，将可有效的把损失降到最低。
经检索，中国专利申请号为CN201410401812.7的专利，公开了一种分布式系统中数据节点的安全管理方法，能够所有的数据节点定义6个物理状态，保证了数据健康程度监控的及时性，以使用户得以及时得知整个分布式系统上每个节点上的数据健康状况，但是上述专利中存在以下不足：无法对各个数据节点的异常行为进行实时监控并快速生成异常报告，从而导致工作人员无法立刻排出各个数据节点出现的故障，影响整个数据系统的工作效率。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种分布式数据节点异常行为的预警系统。
为了实现上述目的，本发明采用了如下技术方案：
一种分布式数据节点异常行为的预警系统，包括管理单元、数据处理单元、数据整合单元、数据监控单元和多个数据节点，所述多个数据节点分别与数据监控单元通信连接，数据监控单元与数据整合单元通信连接，数据整合单元与数据处理单元通信连接，数据处理单元与管理单元通信连接。
优选的：所述数据监控单元包括日志获取模块和日志发送模块，所述日志获取模块会通过日志调用软件对数据节点的运行日志进行获取，日志发送模块包括网络传输装置和蓝牙传输装置，数据监控单元获取数据节点的运行日志的周期为半小时或一小时。
进一步的：所述数据整合单元包括分类接收模块，分类接收模块对日志发送模块发送的日志进行接收和分类，并将日志分为操作系统日志、数据软件运行日志和用户日常操作日志，然后将这三种日志发送给数据处理单元。
进一步优选的：所述数据整合单元还包括节点接入模块，节点接入模块可对新接入的数据节点的原始日志进行获取，同时对数据监控单元的节点接入数量进行管理，节点接入模块直接将数据节点的原始日志和数据监控单元的节点接入情况发送给管理单元。
作为本发明一种优选的：所述数据处理单元对数据整合单元发送的三类日志进行分析，分别得出操作系统运行安全报告、数据软件运行安全报告和用户日常操作安全报告，并将这三份报告整合成一份预警报告发送给管理单元。
作为本发明进一步优选的：所述管理单元包括报告等级划分模块和预警报告发送模块，报告等级划分模块会将数据处理单元发送的报告划分成四类：高风险、中风险、低风险和正常，预警报告发送模块可将预警报告通过邮件、短信和QQ等文件发送方式发送给工作人员。
作为本发明再进一步的方案：所述管理单元还包括数据存储模块，能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析。
在前述方案的基础上：所述管理单元可以将多个数据节点分配到不同的数据监控单元上，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上。
在前述方案的基础上优选的：所述数据处理单元还包括日志调用对比模块，日志调用对比模块可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告。
本发明的有益效果为：
1.通过将数据监控单元获取的数据节点的日志分成操作系统日志、数据软件运行日志和用户日常操作日志，可以对数据节点的运行情况进行全方位的评估，让数据处理单元出具的预警报告更为准确和详细，同时也能够让工作人员更快的发现数据节点在运行时在哪个方面出现了问题，提高了数据节点的维护效率。
2.通过将预警报告分成高风险、中风险、低风险和正常四个等级，让工作人员再通过短信、邮件或者QQ接收到预警报告后，立刻对风险的大小有了直观的判断，让工作人员能够立刻做出应对不同风险时该有的反应。
3.通过设置数据存储模块，数据存储模块能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析。
4.当有新的数据节点需要接入时，数据整合单元中的节点接入模块首先会对数据节点的原始日志进行获取，然后发送给数据存储模块进行存储，然后将数据监控单元的接入数量发送给管理单元，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上，避免数据监控单元过于拥挤影响工作效率。
5.数据处理单元在生成安全报告时，可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告，提高安全报告的准确性。
附图说明
图1为本发明提出的一种分布式数据节点异常行为的预警系统的系统结构示意图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
一种分布式数据节点异常行为的预警系统，如图1所示，包括管理单元、数据处理单元、数据整合单元、数据监控单元和多个数据节点，所述多个数据节点分别与数据监控单元通信连接，数据监控单元与数据整合单元通信连接，数据整合单元与数据处理单元通信连接，数据处理单元与管理单元通信连接。
所述数据监控单元包括日志获取模块和日志发送模块，所述日志获取模块会通过日志调用软件对数据节点的运行日志进行获取，日志发送模块包括网络传输装置和蓝牙传输装置，数据监控单元获取数据节点的运行日志的周期为半小时或一小时。
所述数据整合单元包括分类接收模块，分类接收模块对日志发送模块发送的日志进行接收和分类，并将日志分为操作系统日志、数据软件运行日志和用户日常操作日志，然后将这三种日志发送给数据处理单元。
所述数据整合单元还包括节点接入模块，节点接入模块可对新接入的数据节点的原始日志进行获取，同时对数据监控单元的节点接入数量进行管理，节点接入模块直接将数据节点的原始日志和数据监控单元的节点接入情况发送给管理单元。
所述数据处理单元对数据整合单元发送的三类日志进行分析，分别得出操作系统运行安全报告、数据软件运行安全报告和用户日常操作安全报告，并将这三份报告整合成一份预警报告发送给管理单元。
所述管理单元包括报告等级划分模块和预警报告发送模块，报告等级划分模块会将数据处理单元发送的报告划分成四类：高风险、中风险、低风险和正常，预警报告发送模块可将预警报告通过邮件、短信和QQ等文件发送方式发送给工作人员。
所述管理单元还包括数据存储模块，能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析。
所述管理单元可以将多个数据节点分配到不同的数据监控单元上，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上。
所述数据处理单元还包括日志调用对比模块，日志调用对比模块可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告。
本实施例在使用时，数据监控单元每隔半小时或者一小时就对与其通信连接的数据节点的运行日志进行获取，数据监控单元通过日志调用软件对数据节点的运行日志进行获取，然后通过蓝牙或者网络传输的形式将日志传输给数据整合单元，数据整合单元会对数据监控单元发送的的日志进行接收和分类，将日志分为操作系统日志、数据软件运行日志和用户日常操作日志，然后将这三种日志发送给数据处理单元，数据处理单元对数据整合单元发送的三类日志进行分析，分别得出操作系统运行安全报告、数据软件运行安全报告和用户日常操作安全报告，然后将安全报告传输给管理单元，管理单元将报告划分成四类：高风险、中风险、低风险和正常，然后通过邮件、短信和QQ等文件发送方式发送给工作人员，数据存储模块能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析，数据处理单元在生成安全报告时，可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告，当有新的数据节点需要接入时，数据整合单元中的节点接入模块首先会对数据节点的原始日志进行获取，然后发送给数据存储模块进行存储，然后将数据监控单元的接入数量发送给管理单元，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上，避免单个数据监控单元接入的数据节点太多，导致数据监控单元无法正常运行的问题出现。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种分布式数据节点异常行为的预警系统，包括管理单元、数据处理单元、数据整合单元、数据监控单元和多个数据节点，其特征在于，所述多个数据节点分别与数据监控单元通信连接，数据监控单元与数据整合单元通信连接，数据整合单元与数据处理单元通信连接，数据处理单元与管理单元通信连接。
2.根据权利要求1所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述数据监控单元包括日志获取模块和日志发送模块，所述日志获取模块会通过日志调用软件对数据节点的运行日志进行获取，日志发送模块包括网络传输装置和蓝牙传输装置，数据监控单元获取数据节点的运行日志的周期为半小时或一小时。
3.根据权利要求2所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述数据整合单元包括分类接收模块，分类接收模块对日志发送模块发送的日志进行接收和分类，并将日志分为操作系统日志、数据软件运行日志和用户日常操作日志，然后将这三种日志发送给数据处理单元。
4.根据权利要求3所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述数据整合单元还包括节点接入模块，节点接入模块可对新接入的数据节点的原始日志进行获取，同时对数据监控单元的节点接入数量进行管理，节点接入模块直接将数据节点的原始日志和数据监控单元的节点接入情况发送给管理单元。
5.根据权利要求4所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述数据处理单元对数据整合单元发送的三类日志进行分析，分别得出操作系统运行安全报告、数据软件运行安全报告和用户日常操作安全报告，并将这三份报告整合成一份预警报告发送给管理单元。
6.根据权利要求5所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述管理单元包括报告等级划分模块和预警报告发送模块，报告等级划分模块会将数据处理单元发送的报告划分成四类：高风险、中风险、低风险和正常，预警报告发送模块可将预警报告通过邮件、短信和QQ等文件发送方式发送给工作人员。
7.根据权利要求6所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述管理单元还包括数据存储模块，能够对接收的日志和生成的报告进行自动存储，存储时间为30天，30天后自动删除，数据节点的原始日志将会永久保存，工作人员可随时对数据存储模块内部存储的日志和报告进行调用，帮助工作人员进行故障分析。
8.根据权利要求7所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述管理单元可以将多个数据节点分配到不同的数据监控单元上，管理单元接收到节点输入模块发送的信息后，对数据监控单元上连接的数据节点的数量进行管理，将多出的新接入的数据节点分配到新的数据监控单元上。
9.根据权利要求8所述的一种分布式数据节点异常行为的预警系统，其特征在于，所述数据处理单元还包括日志调用对比模块，日志调用对比模块可以将数据存储模块内储存的之前的运行日志和数据节点的原始日志调出，与新生成的日志进行对比，能够帮助数据处理单元快速出具安全报告。
CN202110069126.4A 2021-01-19 2021-01-19 一种分布式数据节点异常行为的预警系统 Withdrawn CN112929202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110069126.4A CN112929202A (zh) 2021-01-19 2021-01-19 一种分布式数据节点异常行为的预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110069126.4A CN112929202A (zh) 2021-01-19 2021-01-19 一种分布式数据节点异常行为的预警系统

Publications (1)

Publication Number Publication Date
CN112929202A true CN112929202A (zh) 2021-06-08

Family

ID=76163465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110069126.4A Withdrawn CN112929202A (zh) 2021-01-19 2021-01-19 一种分布式数据节点异常行为的预警系统

Country Status (1)

Country Link
CN (1) CN112929202A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821794A (zh) * 2021-09-14 2021-12-21 北京八分量信息科技有限公司 一种分布式的可信计算系统及方法
CN114819665A (zh) * 2022-05-05 2022-07-29 国网江苏省电力有限公司南通供电分公司 一种基于分布式能源管理的异常预警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150154288A1 (en) * 2013-11-29 2015-06-04 Konkuk University Industrial Cooperation Corp. Method and system for processing log data
CN105391584A (zh) * 2015-11-30 2016-03-09 用友网络科技股份有限公司 一种在分布式环境中使用的异常预警系统
CN108712296A (zh) * 2018-06-07 2018-10-26 郑州云海信息技术有限公司 一种基于分布式的日志监控装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150154288A1 (en) * 2013-11-29 2015-06-04 Konkuk University Industrial Cooperation Corp. Method and system for processing log data
CN105391584A (zh) * 2015-11-30 2016-03-09 用友网络科技股份有限公司 一种在分布式环境中使用的异常预警系统
CN108712296A (zh) * 2018-06-07 2018-10-26 郑州云海信息技术有限公司 一种基于分布式的日志监控装置及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821794A (zh) * 2021-09-14 2021-12-21 北京八分量信息科技有限公司 一种分布式的可信计算系统及方法
CN113821794B (zh) * 2021-09-14 2023-08-18 北京八分量信息科技有限公司 一种分布式的可信计算系统及方法
CN114819665A (zh) * 2022-05-05 2022-07-29 国网江苏省电力有限公司南通供电分公司 一种基于分布式能源管理的异常预警方法及系统

Similar Documents

Publication Publication Date Title
KR101856543B1 (ko) 인공지능 기반의 장애 예측 시스템
CN112929202A (zh) 一种分布式数据节点异常行为的预警系统
CN109240126B (zh) 一种具有模拟操作功能的分布式应用服务监测系统及方法
CN110768846A (zh) 一种智能变电站网络安全防护系统
CN103473710A (zh) 一种集中运维系统的故障分级处理方法
CN106411659A (zh) 一种业务数据监测方法及装置
CN105591770A (zh) 无源光纤网络pon中故障类别的确定方法及装置
CN104574219A (zh) 电网业务信息系统运行工况的监测预警方法及系统
CN108282355B (zh) 云桌面系统中设备巡检装置
CN114356499A (zh) Kubernetes集群告警根因分析方法及装置
CN112987696A (zh) 一种区域配电网设备管理平台及其运行方法
CN103647662A (zh) 一种故障监测报警方法及装置
CN113109659A (zh) 一种配电自动化监测系统
CN117453137A (zh) 云化智能运维系统数据管理系统
CN103763143A (zh) 基于存储服务器的设备异常报警的方法及系统
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN111817893A (zh) 一种基于it地图可视化的运调系统
CN111490593A (zh) 一种城市电缆防外力破坏风险评估预警平台
CN113391611A (zh) 动力环境监控系统的预警方法、装置及系统
CN114500178B (zh) 一种自运维的智慧物联网关
CN105513300A (zh) 一种移动通讯的信息报警传递系统
CN112164207B (zh) 一种用于低频时码监测系统的授时信号告警系统及方法
CN115225534A (zh) 一种监控服务器的运行状态监控方法
CN104469713B (zh) 一种应急处置流程短信智能操作系统
CN102142984A (zh) 安全测试平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210608

WW01 Invention patent application withdrawn after publication