CN105391584A - 一种在分布式环境中使用的异常预警系统 - Google Patents

一种在分布式环境中使用的异常预警系统 Download PDF

Info

Publication number
CN105391584A
CN105391584A CN201510858427.XA CN201510858427A CN105391584A CN 105391584 A CN105391584 A CN 105391584A CN 201510858427 A CN201510858427 A CN 201510858427A CN 105391584 A CN105391584 A CN 105391584A
Authority
CN
China
Prior art keywords
early warning
daily record
data
abnormity
gathering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510858427.XA
Other languages
English (en)
Inventor
邢建垒
旷宗义
罗澄曦
王仕强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yonyou Network Technology Co Ltd
Original Assignee
Yonyou Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yonyou Network Technology Co Ltd filed Critical Yonyou Network Technology Co Ltd
Priority to CN201510858427.XA priority Critical patent/CN105391584A/zh
Publication of CN105391584A publication Critical patent/CN105391584A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种在分布式环境中使用的异常预警系统，包括代理装置、收集装置、计算装置和预警装置；所述的代理装置包括在每个机器部署一个代理程序，负责对单机的日志信息进行收集；所述的收集装置负责日志数据的整理汇总工作；所述的计算装置对日志进行相应的计算分析，以及对计算结果的持久化存储；所述的预警装置根据日志的异常级别将异常数据通过通用的信息发送接口进行发送。本发明通过实时收集、分析单机产生的日志，将处理过的异常日志数据通过邮件、短信等通讯方式发送给开发者，省去了定位异常的时间，此预警系统的应用，成功地解决了开发者追踪、定位系统异常不及时的问题，为开发者提供更快速、稳定有效的预警异常服务。

Description

一种在分布式环境中使用的异常预警系统
技术领域
本发明涉及通过收集、分析系统中每台机器产生的异常日志，根据日志的不同级别向开发者实时报告异常产生的位置、产生异常的组件、产生异常的现场环境等信息，便于快速解决出现的问题的一种在分布式环境中使用的异常预警系统。
背景技术
为了达到大量生产的目的，在生产在线会使用各种的仪器设备来制造生产，然而无论何种仪器设备在长时间的运转之下都会发生机械老化疲乏的现象。当仪器设备发生老化疲乏的现象之后将会使产品的良率下降，若未能及时察觉维修而让机台持续运转下甚至会使机台及其中的模具损伤故障，造成整条生产线严重的损失。
因此，若能在生产用的仪器设备发生严重故障之前实时察觉，并在故障仍属轻微的情形下及早停机修复检查，将可有效的把损失降到最低。
现今市面上虽有各种故障检测方式，例如针对模具内部进行的影像检查、压力检测、温度检测、合模压力检测等，或是针对仪器设备进行的机械震动强度侦测，但以上各种检测方式均只针对单一种特定的物理量进行监控，当工具机台的加工方式及种类不同时就必须重新设计监控的物理量。且此类既有的检测装置无法对仪器设备与模具之间互相配合作动的情况进行侦测。因此当故障的状况未对上述检测监控的物理量造成影响时，便难以发挥早期预警的效果了。
且现有的分布式系统异常分析是通过人工查看各个机器输出的日志文件来定位、分析异常。通过这种方式，开发者无法实时的对系统产生的异常进行跟踪修正，也无法快速定位异常到底发生在何处。
发明内容
本发明的目的在于：针对现有技术中存在的上述技术问题，提供一种通过程序收集分布式系统中的每台机器上产生的日志信息，将汇总起来的日志数据使用实时的分布式计算框架进行分布式计算。根据日志信息的级别，将日志的详细信息以邮件、短信息等发送给指定的用户。可使用户快速、高效的监控与反馈系统异常的在分布式环境中使用的异常预警系统。
本发明是通过以下技术方案实现的：
一种在分布式环境中使用的异常预警系统，包括代理装置、收集装置、计算装置和预警装置；
所述的代理装置包括在每个机器部署一个代理程序，负责对单机的日志信息进行收集，所述的日志信息包括由代理程序APP-1收集的操作系统的日常运行日志、代理程序APP-2收集的应用服务器日志和代理程序APP-3收集的用户操作日志等。
所述的收集装置负责日志数据的整理汇总工作；所述代理装置到收集装置采用负载均衡器，将代理装置上的数据均衡的发送到收集装置，同时避免了收集装置的单点故障问题；收集到的数据根据路由规则为计算装置提供数据流。
所述的计算装置对日志进行相应的计算分析，以及对计算结果的持久化存储；所述计算装置分为实时计算与离线计算两种，所述的实时计算将收集装置收集到的数据实时分发到预警装置；而离线计算会根据目前存储的数据进行批量扩展计算处理。
所述的预警装置根据日志的异常级别将异常数据通过通用的信息发送接口进行发送，所述的信息发送方式根据具体的业务需要选用短信、邮件或微信。
上述分布式环境中使用的异常预警系统的流程步骤如下：
步骤1、通过部署在单机上的代理程序收集产生的日志；
步骤2、各个单机的代理程序将日志数据传送到收集系统上，该系统整理汇总不同种类的日志数据；
步骤3、将收集的日志传送到计算装置，用于计算处理；
步骤4、根据计算分析的得到的异常日志通过不同的通讯方法告知开发者。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明的分布式环境中使用的异常预警系统通过实时收集、分析单机产生的日志，将处理过的异常日志数据通过邮件、短信等通讯方式发送给开发者，省去了定位异常的时间，此预警系统的应用，成功地解决了开发者追踪、定位系统异常不及时的问题，为开发者提供更快速、稳定有效的预警异常服务；
2、使用以前方式从用户提交异常到定位异常日志一般需要1-2个小时，而使用本发明分布式环境中使用的异常预警系统之后可以省去用户提交异常以及逐个单机查看日志的环节，直接通过查看邮件快速定位问题，从而收到快速反应，积极应对的效果；
3、本发明的分布式环境中使用的异常预警系统能够提供更为全面的故障监控。且所有设备运作日志特征均被储存进数据库中作为历史数据，因此当异常发生时本发明能够判断可能的故障原因，减少检修时间。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为本发明的流程结构框图；
图2为本发明的代理装置示意框图；
图3为本发明的收集装置示意框图；
图4为本发明的计算装置示意框图；
图5为本发明的预警装置示意框图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1所示的，一种在分布式环境中使用的异常预警系统，包括代理装置、收集装置、计算装置和预警装置；
如图2所示的，代理装置包括在每个机器部署一个代理程序，负责对单机的日志信息进行收集，所述的日志信息包括由代理程序APP-1收集的操作系统的日常运行日志、代理程序APP-2收集的应用服务器日志和代理程序APP-3收集的用户操作日志等。
如图3所示的，收集装置负责日志数据的整理汇总工作；所述代理装置到收集装置采用负载均衡器，将代理装置上的数据均衡的发送到收集装置，同时避免了收集装置的单点故障问题；收集到的数据根据路由规则为计算装置提供数据流。
如图4所示的，计算装置对日志进行相应的计算分析（如：分离出日志产生的单机IP，日志的等级，产生日志的组件等），以及对计算结果的持久化存储；所述计算装置分为实时计算与离线计算两种，所述的实时计算将收集装置收集到的数据实时分发到预警装置；而离线计算会根据目前存储的数据进行批量扩展计算处理。
计算分析后的实体包含的内容格式举例如下（以Tomcat日志为例）：
1）日志的原始数据(String类型)；
2）日志的级别,分为ERROR、INFO、DEBUG等级别，级别可以根据项目具体需要动态添加
3）日志数据默认的的编码格式，默认使用UTF-8；
4）产生日志的类的全限定名；
5）产生日志的时间戳；
6）日志具体内容。
如图4所示的，预警装置根据日志的异常级别将异常数据通过通用的信息发送接口进行发送，所述的信息发送方式根据具体的业务需要选用短信、邮件或微信。
如图1所示的，分布式环境中使用的异常预警系统的流程步骤如下：
步骤1、通过部署在单机上的代理程序收集产生的日志；
步骤2、各个单机的代理程序将日志数据传送到收集系统上，该系统整理汇总不同种类的日志数据；
步骤3、将收集的日志传送到计算装置，用于计算处理；
步骤4、根据计算分析的得到的异常日志通过不同的通讯方法告知开发者。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种在分布式环境中使用的异常预警系统，其特征在于：包括代理装置、收集装置、计算装置和预警装置；
所述的代理装置包括在每个机器部署一个代理程序，负责对单机的日志信息进行收集；
所述的收集装置负责日志数据的整理汇总工作；
所述的计算装置对日志进行相应的计算分析，以及对计算结果的持久化存储；
所述的预警装置根据日志的异常级别将异常数据通过通用的信息发送接口进行发送。
2.根据权利要求1所述的在分布式环境中使用的异常预警系统，其特征在于，所述的日志信息包括由代理程序APP-1收集的操作系统的日常运行日志、代理程序APP-2收集的应用服务器日志和代理程序APP-3收集的用户操作日志。
3.根据权利要求1所述的在分布式环境中使用的异常预警系统，其特征在于，所述代理装置到收集装置采用负载均衡器，将代理装置上的数据均衡的发送到收集装置，同时避免了收集装置的单点故障问题；收集到的数据根据路由规则为计算装置提供数据流。
4.根据权利要求1所述的在分布式环境中使用的异常预警系统，其特征在于，所述计算装置分为实时计算与离线计算两种，所述的实时计算将收集装置收集到的数据实时分发到预警装置；而离线计算会根据目前存储的数据进行批量扩展计算处理。
5.根据权利要求1所述的在分布式环境中使用的异常预警系统，其特征在于，所述的信息发送方式根据具体的业务需要选用短信、邮件或微信。
6.根据权利要求1所述的在分布式环境中使用的异常预警系统，其特征在于，流程步骤如下：
步骤1、通过部署在单机上的代理程序收集产生的日志；
步骤2、各个单机的代理程序将日志数据传送到收集系统上，该系统整理汇总不同种类的日志数据；
步骤3、将收集的日志传送到计算装置，用于计算处理；
步骤4、根据计算分析的得到的异常日志通过不同的通讯方法告知开发者。
CN201510858427.XA 2015-11-30 2015-11-30 一种在分布式环境中使用的异常预警系统 Pending CN105391584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510858427.XA CN105391584A (zh) 2015-11-30 2015-11-30 一种在分布式环境中使用的异常预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510858427.XA CN105391584A (zh) 2015-11-30 2015-11-30 一种在分布式环境中使用的异常预警系统

Publications (1)

Publication Number Publication Date
CN105391584A true CN105391584A (zh) 2016-03-09

Family

ID=55423436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510858427.XA Pending CN105391584A (zh) 2015-11-30 2015-11-30 一种在分布式环境中使用的异常预警系统

Country Status (1)

Country Link
CN (1) CN105391584A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929202A (zh) * 2021-01-19 2021-06-08 青岛获客传媒有限公司 一种分布式数据节点异常行为的预警系统
CN115174351A (zh) * 2022-07-07 2022-10-11 深圳市积加跨境网络科技有限公司 一种电商运营预警数据生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
US20140304401A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods to collect logs from multiple nodes in a cluster of load balancers
CN104144063A (zh) * 2013-05-08 2014-11-12 朱烨 基于日志分析和防火墙安全矩阵的网站安全监控报警系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140304401A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods to collect logs from multiple nodes in a cluster of load balancers
CN104144063A (zh) * 2013-05-08 2014-11-12 朱烨 基于日志分析和防火墙安全矩阵的网站安全监控报警系统
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929202A (zh) * 2021-01-19 2021-06-08 青岛获客传媒有限公司 一种分布式数据节点异常行为的预警系统
CN115174351A (zh) * 2022-07-07 2022-10-11 深圳市积加跨境网络科技有限公司 一种电商运营预警数据生成方法

Similar Documents

Publication Publication Date Title
US11442803B2 (en) Detecting and analyzing performance anomalies of client-server based applications
CN108683562B (zh) 异常检测定位方法、装置、计算机设备及存储介质
JP4859558B2 (ja) コンピュータシステムの制御方法及びコンピュータシステム
AU2016201724B2 (en) Method and system for predicting equipment failure
CN109934356B (zh) 一种基于大数据的机房巡检方法及相关设备
CN107124289B (zh) 网络日志时间对齐方法、装置及主机
CN110888783A (zh) 微服务系统的监测方法、装置以及电子设备
CN110045679B (zh) 基于边缘计算的机床多源数据采集与数据质量评估方法
EP2883143A1 (en) Performance tests in a continuous deployment pipeline
US11067975B2 (en) Recommended maintenance notification system
KR102411262B1 (ko) 리스크 평가 장치, 리스크 평가 방법 및 리스크 평가 프로그램
KR20200063889A (ko) 디지털 트윈을 이용한 플랜트 운영 방법, 시스템 및 컴퓨터 프로그램
CN106844170B (zh) 一种故障处理、分析故障的影响面方法和设备
US8594822B2 (en) Electronic supervisor
CN115529595A (zh) 一种日志数据的异常检测方法、装置、设备及介质
US10069699B2 (en) Monitoring device information analyzing device and method, and non-transitory storage medium storing program
US7617313B1 (en) Metric transport and database load
EP2026159A2 (en) A method and system for automatically evaluating the performance of a power plant machine
CN105391584A (zh) 一种在分布式环境中使用的异常预警系统
CN104579717A (zh) Dcn的故障定位方法及装置
CN105653430A (zh) 一种处理服务器管理信息的方法、装置及系统
WO2013121394A1 (en) Remote debugging service
CN101714928A (zh) 一种实现通讯产品故障检测和定位的方法及系统
JPWO2018097062A1 (ja) プラント管理装置、プラント管理方法、およびプログラム
CN107121616B (zh) 一种用于对智能仪表进行故障定位的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160309

RJ01 Rejection of invention patent application after publication