CN111314103B - 一种数据交换平台的监控系统和存储介质 - Google Patents
一种数据交换平台的监控系统和存储介质 Download PDFInfo
- Publication number
- CN111314103B CN111314103B CN201811518301.8A CN201811518301A CN111314103B CN 111314103 B CN111314103 B CN 111314103B CN 201811518301 A CN201811518301 A CN 201811518301A CN 111314103 B CN111314103 B CN 111314103B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- insertion point
- point
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据交换平台的监控系统和存储介质,能够对数据交换中的异常及时发现、提前报警、引入运维干预并修正输入数据、重新引导数据交换。其技术方案为:通过对厂商的SOA产品数据集成处理过程进行有效的收集,并且收集的行为对数据处理的过程干扰度低;待数据收集完成后经过可配置的度量,发现应当引起人工干预的预警事件;并且在预警事件生成后通过可配置的邮件模板,经过配置的邮件服务器发送。本发明针对不同的用户进行权限管理,包括管理员角色、操作员角色、报表角色等。本发明还通过对数据和配置的管理,在厂商的SOA产品不停机的情况下改变数据处理过程的行为,从而保障了业务过程,数据处理过程的连续性。
Description
技术领域
本发明涉及数据交换平台技术,具体涉及对数据交换平台进行监控的系统。
背景技术
很多公司由于业务需要,都会构建企业级的数据交换平台,通过SOA(一种面向服务的架构,下同)进行大量的关键数据交换。这种数据交换包括公司内部各部门之间以及公司同外部合作伙伴之间的数据交换。相关数据集成服务对批次数据交换的完整性和时效性均有较高的要求。业务部门/IT运维部门需要实时掌握:数据批次是否如期到达,到达数据是否有效,SOA服务是否正常处理,内部业务数据是否有效生成,以及数据集成过程是否有问题记录,问题记录是否已向数据发起方进行了反馈等等。在数据批次处理的任何环节出现问题,业务部门和IT运维部门需要对该数据批次进行人为的干预。例如,在数据交换的过程,由于数据质量、数据到达时间等因素,会引发数据交换的失败,而对于失败的数据批次,如何发现/报警/引入运维干预/修正输入数据/重新引导数据交换,便显得至关重要。
那么,如果上述构成有某一环节发生异常,如何发现异常,如何进行预警,以及如何针对不同问题源进行人工干预和处理,是目前亟待解决的问题。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题,提供了一种数据交换平台的监控系统和存储介质,能够对数据交换中的异常及时发现、提前报警、引入运维干预并修正输入数据、重新引导数据交换。
本发明的技术方案为:本发明揭示了一种数据交换平台的监控系统,系统包括:
度量点插入点收集单元,在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列,其中度量点是厂商SOA系统的信息表达,插入点是自定义的度量点以外的信息采集;
数据批次处理单元,通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列;
预警单元,实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件;
事件通知单元,用于通过预设的发送渠道发送预警事件。
根据本发明的数据交换平台的监控系统的一实施例,系统还包括:
用户登录单元,供用户登录系统,其中为不同权限的用户提供对应的功能;
数据批次查看单元,供用户查看数据批次生成的度量点信息和插入点信息;
归档重做单元,触发厂商SOA系统对数据进行重新处理。
根据本发明的数据交换平台的监控系统的一实施例,系统还包括:
系统配置单元,监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
根据本发明的数据交换平台的监控系统的一实施例,设置的度量点包括但不限于日志、归档、错误,设置的插入点包括但不限于自定义数据、当前时点外部系统数据。
根据本发明的数据交换平台的监控系统的一实施例,对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点和插入点使用该实例ID作为数据库中的数据外键。
根据本发明的数据交换平台的监控系统的一实施例,预警单元还包括:
基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件;以及
基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的设定或者发生业务异常状态时生成预警事件。
本发明还揭示了一种数据交换平台的监控系统,包括终端设备以及在终端设备被配置为执行以下的两个处理步骤:
数据集成的收集和度量点插入点处理步骤:
在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列,其中度量点是厂商SOA系统的信息表达,插入点是自定义的度量点以外的信息采集;
通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列;
实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件;
通过预设的发送渠道发送预警事件;
数据集成的干预和管理处理步骤:
提供用户登录系统,其中为不同权限的用户提供对应的功能;
提供用户查看数据批次生成的度量点信息和插入点信息;
触发厂商SOA系统对数据进行重新处理;
监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
根据本发明的数据交换平台的监控系统的一实施例,设置的度量点包括但不限于日志、归档、错误,设置的插入点包括但不限于自定义数据、当前时点外部系统数据;对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点和插入点使用该实例ID作为数据库中的数据外键;在生成预警事件的步骤中还包括:
基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件;以及
基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的设定或者发生业务异常状态时生成预警事件。
本发明还揭示了一种存储有计算机程序的计算机可读存储介质,所述计算机程序在计算机中运行以下的两个处理步骤:
数据集成的收集和度量点插入点处理步骤:
在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列,其中度量点是厂商SOA系统的信息表达,插入点是自定义的度量点以外的信息采集;
通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列;
实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件;
通过预设的发送渠道发送预警事件;
数据集成的干预和管理处理步骤:
提供用户登录系统,其中为不同权限的用户提供对应的功能;
提供用户查看数据批次生成的度量点信息和插入点信息;
触发厂商SOA系统对数据进行重新处理;
监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
根据本发明的计算机可读存储介质的一实施例,设置的度量点包括但不限于日志、归档、错误,设置的插入点包括但不限于自定义数据、当前时点外部系统数据;对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点和插入点使用该实例ID作为数据库中的数据外键;在生成预警事件的步骤中还包括:
基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件;以及
基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的设定或者发生业务异常状态时生成预警事件。
本发明对比现有技术有如下的有益效果:本发明通过对厂商的SOA产品数据集成处理过程进行有效的收集,并且收集的行为对数据处理的过程干扰度低;待数据收集完成后经过可配置的度量,发现应当引起人工干预的预警事件;并且在预警事件生成后通过可配置的邮件模板,经过配置的邮件服务器发送。本发明在厂商SOA数据交换产品的处理过程中设置插入点,该插入点可以获取和引用产品外部的服务和数据。本发明针对不同的用户进行权限管理,包括管理员角色、操作员角色、报表角色等。本发明还通过对数据和配置的管理,在厂商的SOA产品不停机的情况下改变数据处理过程的行为,从而保障了业务过程,数据处理过程的连续性。总的来说,相较于现有技术,本发明可以对企业级数据交换平台的数据交换过程中的数据有效性、完整性、时效进行监控,设定规则和阈值,通过系统及时将数据交换过程中获取的异常信息反馈给相应负责人处理。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后,能够更好地理解本发明的上述特征和优点。在附图中,各组件不一定是按比例绘制,并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了本发明的数据交换平台的监控系统的一实施例的原理图。
图2示出了本发明的数据交换平台的监控系统的一实施例的结构图。
图3示出了本发明的数据交换平台的监控系统中的数据集成的收集和度量处理步骤的示意图。
图4示出了本发明的数据交换平台的监控系统中的数据集成的干预和管理处理步骤的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意,以下结合附图和具体实施例描述的诸方面仅是示例性的,而不应被理解为对本发明的保护范围进行任何限制。
图1示出了本发明的数据交换平台的监控系统的一实施例的原理,图2示出了本发明的数据交换平台的监控系统的一实施例的结构。请参见图1和图2,本实施例的监控系统包括:度量点插入点收集单元、数据批次处理单元、预警单元、事件通知单元、用户登录单元、数据批次查看单元、归档重做单元以及系统配置单元。
度量点插入点收集单元,在厂商SOA系统的数据处理过程中,通过Log(日志)、Archive(归档)、Error(错误)等的度量点,将度量信息保存在数据批次处理的过程数据库中,或发送至JMS(Java消息服务)消息队列。对于过程数据库中的每一个数据批次处理,都有唯一的实例ID,并关联唯一的数据处理渠道,而日志、归档和错误等度量点是使用该实例ID作为数据外键。
此外,在厂商SOA系统的数据处理过程中,通过插入点,将插入点上采集的信息保存在数据批次处理的过程数据库中,或发送至JMS(Java消息服务)消息队列。对于过程数据库中的每一个数据批次处理,都有唯一的实例ID,并关联唯一的数据处理渠道,而插入点是使用该实例ID作为数据外键。
度量点的数据是系统处理状态的信息表达,如待处理数据是否到达,处理的时间,处理成功或失败,处理的批次信息,本身无明显业务含义。
插入点的数据是自定义的数据,既可以是内部状态数据也可以是数据本身,还可以是当前时点外部系统的数据。在数据的处理过程中加入插入点,在该插入点运行自定义的程序,就可以对度量点以外的数据进行采集。
数据批次处理单元,通过对过程数据库中的数据批次处理的过程数据(包括度量点和插入点上的数据)进行分析,实时监控厂商SOA产品中的数据渠道状态、批次数据处理状态等,其中如果监控出发生严重错误时会将错误信息作为JMS的消息发送至JMS消息队列。
对于插入点上的数据而言,例如某种业务数据值特别重要,则可针对这个数据值设定阈值,当数据度量超过报警阈值设定时生成预警事件,又如某个数据的处理依赖外部其他系统处理完成的状态来决定是否进入下一步,那么在检测到外部系统还未处理完成时,也可以认为是一种业务异常状态,从而生成预警事件,一同加入到系统的预JMS消息队列中。这些规则都是可配置的。
预警单元实时监控JMS消息队列,当发现错误信息(例如业务异常状态)对应的JMS消息到达后就生成预警事件。另一方面,基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时也生成预警事件。同样的,基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的设定或者发生业务异常状态这样的错误信息时生成预警事件。
事件通知单元用于通过预配的发送渠道发送预警事件,例如通过可配置的电子邮件模板,经过配置的电子邮件服务器进行发送。
用户登录单元,供用户登录系统,其中系统为不同权限的用户提供对应的功能,主要包括业务管理人员、运维人员、报表人员等。
数据批次查看单元,供用户查看数据批次生成日志、归档、错误等度量点信息和插入点信息。
归档重做单元,在有数据归档的前提下触发厂商SOA系统对数据进行重新处理。
系统配置单元,监控系统对数据交换平台中的数据字典、系统配置等信息进行设定,将更新设定信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载等作业,以便在不停机的情况下改变厂商SOA系统的数据和配置,从而保障业务过程、数据处理过程的连续性。
此外,本发明还公开了一种数据交换平台的监控系统的实施例,包括终端设备(例如计算机)以及在终端设备上运行的一计算机程序,计算机程序在终端设备上运行以下的两个处理步骤:数据集成的收集和度量点插入点处理步骤和数据集成的干预和管理处理步骤。
数据集成的收集和度量点插入点处理步骤如图3所示,包括如下的处理:
数据集成的收集和度量点插入点处理步骤:
步骤11:在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列。
设置的度量点是厂商SOA系统的信息表达,包括但不限于日志、归档、错误,本身并无明显含义。对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点使用该实例ID作为数据库中的数据外键。
设置的插入点是自定义的数据,既可以是内部状态数据也可以是数据本身,还可以是当前时点外部系统的数据。在数据的处理过程中加入插入点,在该插入点运行自定义的程序,就可以对度量点以外的数据进行采集。对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,插入点使用该实例ID作为数据库中的数据外键。
步骤12:通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列。
步骤13:实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件。
在生成预警事件的步骤中还包括基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件。以及基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的规定或者发生业务异常状态时生成预警事件。
步骤14:通过预设的发送渠道发送预警事件。
数据集成的干预和管理处理步骤如图4所示,包括如下的处理:
步骤21:提供用户登录系统,其中为不同权限的用户提供对应的功能。
步骤22:提供用户查看数据批次生成的度量点信息和插入点。
步骤23:触发厂商SOA系统对数据进行重新处理。
步骤24:监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
此外,本发明还公开了一种存储有计算机程序的计算机可读存储介质,计算机程序在计算机中运行以下的两个处理步骤:数据集成的收集和度量点插入点处理步骤和数据集成的干预和管理处理步骤。
数据集成的收集和度量点插入点处理步骤如图3所示,包括如下的处理:
数据集成的收集和度量点插入点处理步骤:
步骤11:在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列。
设置的度量点是厂商SOA系统的信息表达,包括但不限于日志、归档、错误,本身并无明显含义。对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点使用该实例ID作为数据库中的数据外键。
设置的插入点是自定义的数据,既可以是内部状态数据也可以是数据本身,还可以是当前时点外部系统的数据。在数据的处理过程中加入插入点,在该插入点运行自定义的程序,就可以对度量点以外的数据进行采集。对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,插入点使用该实例ID作为数据库中的数据外键。
步骤12:通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列。
步骤13:实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件。
在生成预警事件的步骤中还包括基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件。以及基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的规定或者发生业务异常状态时生成预警事件。
步骤14:通过预设的发送渠道发送预警事件。
数据集成的干预和管理处理步骤如图4所示,包括如下的处理:
步骤21:提供用户登录系统,其中为不同权限的用户提供对应的功能。
步骤22:提供用户查看数据批次生成的度量点信息和插入点信息。
步骤23:触发厂商SOA系统对数据进行重新处理。
步骤24:监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
尽管为使解释简单化将上述方法图示并描述为一系列动作,但是应理解并领会,这些方法不受动作的次序所限,因为根据一个或多个实施例,一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会,结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性,但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中,存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中,处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中,所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘(disk)往往以磁的方式再现数据,而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的,且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此,本公开并非旨在被限定于本文中所描述的示例和设计,而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
Claims (8)
1.一种数据交换平台的监控系统,其特征在于,系统包括:
度量点插入点收集单元,在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列,其中度量点是厂商SOA系统的信息表达,插入点是自定义的度量点以外的信息采集,其中对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点和插入点使用该实例ID作为数据库中的数据外键,设置的度量点包括但不限于日志、归档、错误,设置的插入点包括但不限于自定义数据、当前时点外部系统数据;
数据批次处理单元,通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列;
预警单元,实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件;
事件通知单元,用于通过预设的发送渠道发送预警事件;
用户登录单元,供用户登录系统,其中为不同权限的用户提供对应的功能,其中不同权限的用户包括管理员角色、操作员角色、报表角色。
2.根据权利要求1所述的数据交换平台的监控系统,其特征在于,系统还包括:
数据批次查看单元,供用户查看数据批次生成的度量点信息和插入点信息;
归档重做单元,触发厂商SOA系统对数据进行重新处理。
3.根据权利要求2所述的数据交换平台的监控系统,其特征在于,系统还包括:
系统配置单元,监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
4.根据权利要求1所述的数据交换平台的监控系统,其特征在于,预警单元还包括:
基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件;以及
基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的设定或者发生业务异常状态时生成预警事件。
5.一种数据交换平台的监控系统,其特征在于,包括终端设备以及在终端设备被配置为执行以下的两个处理步骤:
数据集成的收集和度量点插入点处理步骤:
在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列,其中度量点是厂商SOA系统的信息表达,插入点是自定义的度量点以外的信息采集,其中对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点和插入点使用该实例ID作为数据库中的数据外键,设置的度量点包括但不限于日志、归档、错误,设置的插入点包括但不限于自定义数据、当前时点外部系统数据;
通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列;
实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件;
通过预设的发送渠道发送预警事件;
数据集成的干预和管理处理步骤:
提供用户登录系统,其中为不同权限的用户提供对应的功能,其中不同权限的用户包括管理员角色、操作员角色、报表角色;
提供用户查看数据批次生成的度量点信息和插入点信息;
触发厂商SOA系统对数据进行重新处理;
监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
6.根据权利要求5所述的数据交换平台的监控系统,其特征在于,在生成预警事件的步骤中还包括:
基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件;以及
基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的设定或者发生业务异常状态时生成预警事件。
7.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序在计算机中运行以下的两个处理步骤:
数据集成的收集和度量点插入点处理步骤:
在厂商SOA系统的数据处理过程中,通过设置的度量点和插入点分别将度量信息和插入点信息保存在数据批次处理的过程数据库中,或发送至JMS消息队列,其中度量点是厂商SOA系统的信息表达,插入点是自定义的度量点以外的信息采集,其中对于过程数据库中的每一个数据批次处理,都有唯一的实例ID关联唯一的数据处理渠道,度量点和插入点使用该实例ID作为数据库中的数据外键,设置的度量点包括但不限于日志、归档、错误,设置的插入点包括但不限于自定义数据、当前时点外部系统数据;
通过对过程数据库中的数据批次处理的过程数据进行分析,实时监控厂商SOA系统中的包括数据渠道状态、批次数据处理状态在内的数据状态,如果监控到发生错误时将该错误信息作为JMS消息发送至JMS消息队列;
实时监控JMS消息队列,当发现错误信息对应的JMS消息到达消息队列后就生成预警事件;
通过预设的发送渠道发送预警事件;
数据集成的干预和管理处理步骤:
提供用户登录系统,其中为不同权限的用户提供对应的功能,其中不同权限的用户包括管理员角色、操作员角色、报表角色;
提供用户查看数据批次生成的度量点信息和插入点信息;
触发厂商SOA系统对数据进行重新处理;
监控系统对数据交换平台中的包括数据字典、系统配置在内的参数进行设定,将更新设定的参数信息通过JMS消息发送到数据交换平台的监听队列,数据交换平台的厂商SOA系统接收到JMS消息后触发数据重新加载或者配置重新加载的作业。
8.根据权利要求7所述的计算机可读存储介质,其特征在于,在生成预警事件的步骤中还包括:
基于可配置的度量规则检测数据收集,当度量点上收集的数据超过报警阈值的设定时生成预警事件;以及
基于可配置的插入规则检测数据收集,当插入点上收集的数据超过报警阈值的设定或者发生业务异常状态时生成预警事件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811518301.8A CN111314103B (zh) | 2018-12-12 | 2018-12-12 | 一种数据交换平台的监控系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811518301.8A CN111314103B (zh) | 2018-12-12 | 2018-12-12 | 一种数据交换平台的监控系统和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111314103A CN111314103A (zh) | 2020-06-19 |
CN111314103B true CN111314103B (zh) | 2022-12-20 |
Family
ID=71146695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811518301.8A Active CN111314103B (zh) | 2018-12-12 | 2018-12-12 | 一种数据交换平台的监控系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111314103B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103888287A (zh) * | 2013-12-18 | 2014-06-25 | 北京首都国际机场股份有限公司 | 信息系统一体化运维监控服务预警平台及其实现方法 |
CN104022903A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 一站式自动化运维系统 |
CN105183609A (zh) * | 2015-09-16 | 2015-12-23 | 焦点科技股份有限公司 | 一种应用于软件系统的实时监控系统及方法 |
CN106681882A (zh) * | 2015-11-06 | 2017-05-17 | 上海瑞致软件有限公司 | 基于Apriori算法的IT服务集中监控管理系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8386282B2 (en) * | 2009-07-22 | 2013-02-26 | International Business Machines Corporation | Managing events in a configuration of SOA governance components |
US20180341956A1 (en) * | 2017-05-26 | 2018-11-29 | Digital River, Inc. | Real-Time Web Analytics System and Method |
-
2018
- 2018-12-12 CN CN201811518301.8A patent/CN111314103B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103888287A (zh) * | 2013-12-18 | 2014-06-25 | 北京首都国际机场股份有限公司 | 信息系统一体化运维监控服务预警平台及其实现方法 |
CN104022903A (zh) * | 2014-06-13 | 2014-09-03 | 中国民航信息网络股份有限公司 | 一站式自动化运维系统 |
CN105183609A (zh) * | 2015-09-16 | 2015-12-23 | 焦点科技股份有限公司 | 一种应用于软件系统的实时监控系统及方法 |
CN106681882A (zh) * | 2015-11-06 | 2017-05-17 | 上海瑞致软件有限公司 | 基于Apriori算法的IT服务集中监控管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111314103A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020029407A1 (zh) | 告警数据的管理方法、装置、计算机设备及存储介质 | |
EP2645257A2 (en) | System and method for visualisation of behaviour within computer infrastructure | |
CN111104238B (zh) | 一种基于ce的内存诊断的方法、设备及介质 | |
CN112395156A (zh) | 故障的告警方法和装置、存储介质和电子设备 | |
CN111124722B (zh) | 一种隔离故障内存的方法、设备及介质 | |
CN105404581A (zh) | 一种数据库的评测方法和装置 | |
CN109428647B (zh) | 实现故障原因定位的方法、装置及存储介质 | |
CN110062926B (zh) | 设备驱动器遥测 | |
GB2517147A (en) | Performance metrics of a computer system | |
CN112988439B (zh) | 服务器故障发现方法、装置、电子设备及存储介质 | |
CN114793132A (zh) | 一种光模块的检测方法、装置、电子设备及存储介质 | |
CN113495820A (zh) | 异常信息收集、处理方法和装置以及异常监控系统 | |
CN116204385A (zh) | 一种计算机日志监控方法及系统 | |
CN108809729A (zh) | 一种分布式系统中ctdb服务的故障处理方法及装置 | |
CN111831628A (zh) | 系统运维监控方法、装置、电子设备及存储介质 | |
CN111625386A (zh) | 一种针对系统设备上电超时的监控方法和装置 | |
JP2018128715A (ja) | 監視装置、工作機械及び監視システム | |
CN112817827A (zh) | 运维方法、装置、服务器、设备、系统及介质 | |
JP5240709B2 (ja) | シンプトンを評価するためのコンピュータ・システム、並びにその方法及びコンピュータ・プログラム | |
CN111314103B (zh) | 一种数据交换平台的监控系统和存储介质 | |
CN115495424A (zh) | 数据处理的方法、电子设备和计算机程序产品 | |
CN110968456B (zh) | 分布式存储系统中故障磁盘的处理方法及装置 | |
CN112416896A (zh) | 数据异常的报警方法和装置、存储介质、电子装置 | |
CN113010375B (zh) | 设备告警方法及相关设备 | |
CN115277479A (zh) | 一种基于监控助手实现系统运行情况监视的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |