CN104021079B - 主机系统数据的实时监控与分析系统及方法 - Google Patents
主机系统数据的实时监控与分析系统及方法 Download PDFInfo
- Publication number
- CN104021079B CN104021079B CN201410266009.7A CN201410266009A CN104021079B CN 104021079 B CN104021079 B CN 104021079B CN 201410266009 A CN201410266009 A CN 201410266009A CN 104021079 B CN104021079 B CN 104021079B
- Authority
- CN
- China
- Prior art keywords
- data
- analyzing
- host
- monitoring
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 101
- 238000007418 data mining Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 19
- 238000005065 mining Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 230000003203 everyday effect Effects 0.000 claims description 7
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种主机系统数据的实时监控与分析系统及方法。本发明的系统包括设置于主机端的数据传输代理模块，以及设置于开放平台端的数据监控与分析模块，其中，所述数据传输代理模块，用于轮询主机中的文件，并在发现存在新生成的完整数据块时，将所述新生成的完整数据块发送给数据监控与分析模块；所述数据监控与分析模块，用于对所述数据传输代理模块发送的数据块进行监控分析，获取主机运行状态。本发明能够将优利主机上的多种数据文件实时传送至开放平台并能够利用开放平台廉价的存储资源和计算资源对这些数据资源进行存储和实时监控分析，以及进行进一步地历史数据挖掘。
Description
技术领域
本发明涉及软件测试技术领域，尤其涉及一种主机系统数据的实时监控与分析系统及方法。
背景技术
主机系统是大型关键系统中承担业务数据处理的核心平台，即使在分布式计算蓬勃发展的当今，仍然在银行、证券、民航等重要领域扮演核心交易处理系统的角色。UNISYS(优利公司)的OS2200主机是世界范围类两种主要主机产品之一。我国民航领域的航班控制系统(ICS)、代理人分销系统(CRS)和离港控制系统(DCS)都运行在优利主机上。
主机生产运行过程中，对主机的性能日志、用户访问情况和系统日志进行实时监控和分析能及时发现各种异常和故障症候，将安全隐患扼杀于萌芽状态。因此对主机的性能指标、用户访问情况和系统日志进行实时监控和分析对于提高主机的服务水平，保障主机7X24小时不间断运行有着重要的意义。
优利主机操作系统是36BIT的操作系统，同时优利主机的性能数据、系统日志和用户访问日志以二进制格式存储，系统管理员无法直接查看这些数据文件，利用系统指令能看到的性能指标只有IDLE、TPS等几个简单指标.，但这几个简单指标无法满足我们的信息服务保障需求。优利公司本身没有提供对优利主机性能数据、系统日志和用户访问日志这三种文件的解析查看工具。国外TEAMQUEST公司提供了一系列产品可以解析查看这三种文件，但TEAMQUEST公司的一系列产品存在四个主要缺点：
只能在OS2200主机上对上述三种数据文件进行分析，这些数据文件巨大，解析时需要消耗大量的主机系统资源，即给生产系统带来安全隐患又有较昂贵的成本(主机按资源实际消耗收费，价格昂贵)；
不能对系统进行24小时实时不间断监控；
因为主机存储都是高端存储，资源有限，无法对历史数据进行保存，所以该系列产品无法快速分析历史数据；
没有提供对这些数据进行深层次的关联和历史分析的功能，无法挖掘出有价值的信息。
发明内容
有鉴于此，本发明提供了一种主机系统数据的实时监控与分析系统及方法，能够将优利主机上的多种数据文件实时传送至开放平台并能够利用开放平台廉价的存储资源和计算资源对这些数据资源进行存储和实时监控分析，以及进行进一步地历史数据挖掘。
本发明提供的主机系统数据的实时监控与分析系统，包括设置于主机端的数据传输代理模块，以及设置于开放平台端的数据监控与分析模块，其中，
所述数据传输代理模块，用于轮询主机中的文件，并在发现存在新生成的完整数据块时，将所述新生成的完整数据块发送给数据监控与分析模块；
所述数据监控与分析模块，用于对所述数据传输代理模块发送的数据块进行监控分析，获取主机运行状态。
所述数据传输代理模块对主机中的三类文件：SIP，SYSTEMLOG，TPM进行轮询，其中SIP(Software Instrumentation Package)数据为软件指令包数据，SYSTEM LOG为系统日志，TPM(Transaction Performance Monitor)为事务性能监控日志。
所述数据监控与分析模块包括开放平台数据接收子模块、数据实时监控分析报警处理子模块，其中，
所述开放平台数据接收子模块，用于接收所述数据传输代理模块发送的数据块；
所述数据实时监控分析报警处子理模块，用于解析所述开放平台数据接收子模块接收的主机数据块，对解析得到的主机数据块进行报警分析，并对报警分析结果进行存储。
所述开放平台数据接收子模块对所述数据传输代理模块的传输请求进行监听，当监听到传输请求时，提取传输请求中待传数据块的相应参数，并根据提取的相应参数，保存主机数据块。
所述根据提取的相应参数，保存主机数据块，包括：提取所述传输请求中待传主机数据块的数据类型以及文件位置，根据待传主机数据块的数据类型查找已经保存的最新同类型文件位置，如果保存的最新同类型文件位置与传输请求中的待传数据块的文件位置连续，则将所述待传数据存储至相应的文件位置上；如果保存的最新同类型文件位置与传输请求中的待传数据块的文件位置不连续，则表明数据有缺失，则向所述数据传输代理模块发送相应的断点位置，并接收所述数据传输代理模块传输的断点位置的数据。
所述数据实时监控分析报警处理子模块从所述开放平台数据接收子模块接收的主机数据块中解析出主机当前的运行状态指标，根据报警规则对当前的运行状态和历史的运行状态进行实时比较分析，同时对当前的各项运行状态指标进行关联分析，将分析结果进行存储，如果满足报警规就向一线发出报警信息。
所述数据实时监控分析报警处理子模块，还用于根据主机的运行状态对报警规则进行反馈修正。
所述运行状态指标包括系统IDLE、TPS、总体IO访问量、内存使用量、机器指令数、系统锁数、总体IO响应时间、单个磁盘的IO访问量和IO响应时间、每个用户的访问指令频率、指令响应时间、事务申请锁时间、事务等待锁时间、事务开始时间、事务结束时间。
所述数据监控与分析模块还包括数据挖掘子模块，用于对开放平台数据接收子模块接收的主机数据进行汇总和挖掘分析，定期将数据集约汇总，将有用的信息存入数据库，并在更长的时间维度进行挖掘分析，以定时作业的方式运行，执行的工作包括：统计每天的高频访问用户，计算高峰期IDLE状态、分析一年甚至数年的高峰访问变化，分析系统资源消耗变化原因和趋势。
所述数据监控与分析模块还包括数据显示子模块，用于对实时监控分析报警处理子模块解析出的运行状态指标以及数据挖掘子模块汇总和处理过后的数据以图表和文字的形式进行展现。
本发明还提供了一种主机系统数据的实时监控与分析方法，包括：
步骤1：数据传输代理模块轮询主机中的文件，并在发现存在新生成的完整数据块时，将所述新生成的完整数据块发送给数据监控与分析模块；
步骤2：数据监控与分析模块对接收的数据块进行监控分析，获取主机运行状态。
所述将所述新生成的完整数据块发送给数据监控与分析模块，包括：
步骤a：数据传输代理模块轮询主机中的文件，查看是否有新数据；当有新数据时，进入步骤b；否则重复本步骤；
步骤b：数据传输代理模块向数据监控与分析模块发送数据传输请求；
步骤c：数据监控与分析模块接收所述数据传输请求，并提取所述数据传输请求中的待传数据块的数据类型和文件位置；
步骤d：根据提取的待传数据块的数据类型和文件位置，数据监控与分析模块查找其保存的最新同类型文件位置；
步骤e：数据监控与分析模块判断待传数据块的文件位置与其保存的最新同类型文件位置是否连续，若连续，则进入步骤f；若不连续，则进入步骤i；
步骤f：数据监控与分析模块向所述数据传输代理模块发送数据传输响应；
步骤g：所述数据传输代理模块在接收到所述数据传输响应后将待传数据块发送给数据监控与分析模块；
步骤h：所述数据监控与分析模块将接收到的数据块保存在相应的文件位置上，并更新最新同类型文件位置，然后结束本次数据传输；
步骤i：数据监控与分析模块向所述数据传输代理模块发送其查找到的最新同类型文件位置；
步骤j：数据传输代理模块根据接收到的最新同类型文件位置，查找相应的主机数据，如果能查找到，则返回步骤b，如果不能查找到，则将所述待传数据块发送给数据监控与分析模块，并进入步骤k；
步骤k：所述数据监控与分析模块接收所述待传数据块，并将接收到的数据块保存在相应的文件位置上，更新最新同类型文件位置并记录数据缺失情况，然后结束本次数据传输。
所述步骤2包括：
步骤2.1：解析接收的主机数据块获得主机当前的运行状态指标；
步骤2.2：根据报警规则对当前的运行状态和历史的运行状态进行实时比较分析，并对当前的各项运行状态指标进行关联分析；
步骤2.3：对分析结果进行存储。
所述步骤2还包括：
步骤2.4：对接收的主机数据进行汇总和挖掘分析，定期将数据集约汇总，将有用的信息存入数据库，并在更长的时间维度进行挖掘分析，过滤每天的高频访问用户，计算高峰期IDLE状态、分析一年甚至数年的高峰访问变化，分析系统资源消耗变化原因和趋势。
所述步骤2还包括：
步骤2.5：对解析出的运行状态指标以及汇总和挖掘分析后的数据以图表和文字的形式进行展现。
综上所述，本发明的主机系统数据的实时监控与分析系统及方法可以在基本不消耗优利主机资源的情况下，实现对优利主机的全方位实时分析监控，并提供进一步的信息挖掘功能(比如用户的行为变化、资源消耗变化以及它们的关联关系等)，以较低的成本有效的保障了优利主机的安全运行，减少了故障停机时间并能挖掘出高价值信息，有较高的经济和社会价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的主机系统数据的实时监控与分析系统的结构示意图；
图2为本发明一实施例提供的主机系统数据的实时监控与分析方法中数据传输代理模块的工作流程示意图；
图3为本发明一实施例提供的主机系统数据的实时监控与分析方法中数据监控与分析模块的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的主机系统数据的实时监控与分析系统的结构示意图，如图1所示，本实施例的主机系统数据的实时监控与分析系统，包括设置于主机端的数据传输代理模块，以及设置于开放平台端的数据监控与分析模块。优利主机端是OS2200操作系统环境，数据传输代理模块基于C语言开发而成，开放端平台环境为Linux操作系统平台，基于用JAVA语言完成。主机端与开放平台端之间的通讯采用TCP/IP协议。其中，
所述数据传输代理模块，用于轮询主机中的文件，并在发现存在新生成的完整数据块时，将所述新生成的完整数据块发送给数据监控与分析模块；所述数据传输代理模块对主机中的三类文件：SIP，SYSTEM LOG，TPM进行轮询。优利主机端的数据传输代理模块采用C语言开发而成，利用OS2200提供的COMAPI网络程序提供的网络编程接口进行编程，跟业务数据的通讯不使用同一个Mode,避免互相冲突，降低对生产环境的影响。以SIP数据为例请求格式为：ASK,SIP,31,170000，表示主机端的数据传输代理模块将传输CYCLE为31的SIP数据文件第170000个Track(优利主机中的文件分配单位)后的数据，询问开放平台端的数据监控与分析模块，新数据是否跟其所保存的数据连续。如果数据连续，则数据传输代理模块开始传输数据；如果不连续，数据传输代理模块将接收到开放端的数据监控与分析模块的回应，比如RES,SIP,31,160000，它表示开放端的数据监控与分析模块只保存到CYCLE为31的SIP数据文件160000个Track的数据，数据传输代理模块定位到这个文件位置进行传输；如果因为文件损坏或其它原因无法定位，则再次通知开放端的数据监控与分析模块从最新的数据传输，例如：ACK,SIP,31,170000。
所述数据监控与分析模块，用于对所述数据传输代理模块发送的数据块进行监控分析，获取主机运行状态。
可选地，所述数据监控与分析模块包括开放平台数据接收子模块、数据实时监控分析报警处理子模块，其中，
所述开放平台数据接收子模块，用于接收所述数据传输代理模块发送的数据块；可选地，所述开放平台数据接收子模块对所述数据传输代理模块的传输请求进行监听，当监听到传输请求时，提取传输请求中待传数据块的相应参数，并根据提取的相应参数，保存主机数据块。所述开放平台数据接收子模块采用JAVA语言编写，在Linux服务器上监听一个网络端口，它可以接收多个优利主机的数据传输，每当有新的OS2200主机连接请求，它都识别主机的身份后新建一个线程跟主机进行通讯。
其中，所述根据提取的相应参数，保存主机数据块，包括：提取所述传输请求中待传主机数据块的数据类型以及文件位置，根据待传主机数据块的数据类型查找已经保存的最新同类型文件位置，如果保存的最新同类型文件位置与传输请求中的待传数据块的文件位置连续，则将所述待传数据存储至相应的文件位置上；如果保存的最新同类型文件位置与传输请求中的待传数据块的文件位置不连续，则表明数据有缺失，则向所述数据传输代理模块发送相应的断点位置，并接收所述数据传输代理模块传输的断点位置的数据。以接收到主机端的数据传输代理模块的消息ASK,SIP,31,170000为例，所述开放平台数据接收子模块将从内存中读取主机系统的SIP数据最新保存点；保存点如果为1700000，则发送ACK请求给主机端的数据传输代理模块，然后接收数据保存到相应的文件中，同时更新数据最新保存点。如果为160000，则发送RES,SIP,31,160000，等待主机端的数据传输代理模块响应，如果接收到ACK,SIP,31,170000，则需将16000-17000之间数据缺失信息记录在系统日志中，同时开始接受数据。如果主机端的数据传输代理模块传回RES开头的信息则表示传输过来的为160000Track后的数据。
所述数据实时监控分析报警处子理模块，用于解析所述开放平台数据接收子模块接收的主机数据块，对解析得到的主机数据块进行报警分析，并对报警分析结果进行存储。所述数据实时监控分析报警处子理模块采用JAVA语言开发。
可选地，所述数据实时监控分析报警处理子模块从所述开放平台数据接收子模块接收的主机数据块中解析出主机当前的运行状态指标，并根据报警规则对当前的运行状态和历史的运行状态进行实时比较分析，并对当前的各项运行状态指标进行关联分析，并对分析结果进行存储。如果分析结果触发相关阈值就向相关人员或平台报警。
进一步地，所述数据实时监控分析报警处理子模块，还用于根据主机的运行状态对报警规则进行反馈修正。其中，所述运行状态指标包括系统IDLE、TPS、总体IO访问量、内存使用量、机器指令数、系统锁数、总体IO响应时间、单个磁盘的IO访问量和IO响应时间、每个用户的访问指令频率、指令响应时间、指令申请锁时间、指令等待锁时间、指令开始时间、指令结束时间。
以单个磁盘IO报警为例，程序将磁盘当前的IO响应时间，每次访问数据量，IO响应时间跟最近1小时的平均值以及历史中相同时间段平均值比较，根据它们之间的产值是否大于报警阈值来判断该磁盘是否正常。
进一步地，所述数据监控与分析模块还包括数据挖掘子模块，用于对开放平台数据接收子模块接收的主机数据进行汇总和挖掘分析，定期将数据集约汇总，将有用的信息存入数据库，并在更长的时间维度进行挖掘分析，以定时作业的方式运行，执行的工作包括：统计每天的高频访问用户，计算高峰期IDLE状态、分析一年甚至数年的高峰访问变化，分析系统资源消耗变化原因和趋势。
以分析高频用户为例，所述数据挖掘子模块每天统计出当天系统的高频访问用户和高频行为，如果系统的高频用户或者高频指令跟历史数据相比发生变化，则可以判断出用户的功能需求发生了变化。
以分析系统资源消耗为例，当系统IDLE下降时，所述数据挖掘子模块可以将最近的数据跟历史数据比较判断，确定是哪些指令数发生了变化或者哪些指令资源消耗增加，从而分析出是程序原因还是市场增长导致。
此外，数据挖掘子模块分析汇总出来的数据存储在MYSQL数据库中可以长期保存。分析作业在crontab中设置，定时启动。
进一步地，所述数据监控与分析模块还包括数据显示子模块，用于对实时监控分析报警处理子模块解析出的运行状态指标以及数据挖掘子模块汇总和处理过后的数据以图表和文字的形式进行展现。
开放平台端的数据存储模型采取分层数据存储结构，有文件系统，数据库，内存数据库三种存储方式：原始数据按照主机系统名和数据类型分类存储，每一个文件都和一个主机文件对应，同时建立索引，记录每个文件包含数据时间跨度、文件大小，保存位置。超过一周的数据定期压缩节省空间，在Linux中可以用GZIP或者Tar工具进行压缩。过期数据定期删除。实时解析出的系统状态存储在内存数据库中供展示模块查询，内存数据库选用Redis。汇总处理过的数据存储在数据库供展示模块查询和满足进一步分析需要，这些数据包扩用户高频数据，系统MIPS消耗，系统IDLE，系统指令总体分布情况等，目前使用Mysql数据库。
本实施例的主机系统数据的实时监控与分析方法，包括：
步骤1：数据传输代理模块轮询主机中的文件，并在发现存在新生成的完整数据块时，将所述新生成的完整数据块发送给数据监控与分析模块；图2为本发明一实施例提供的主机系统数据的实时监控与分析方法中数据传输代理模块的工作流程示意图。
其中，所述将所述新生成的完整数据块发送给数据监控与分析模块，包括：
步骤a：数据传输代理模块轮询主机中的文件，查看是否有新数据；当有新数据时，进入步骤b；否则重复本步骤；
步骤b：数据传输代理模块向数据监控与分析模块发送数据传输请求；
步骤c：数据监控与分析模块接收所述数据传输请求，并提取所述数据传输请求中的待传数据块的数据类型和文件位置；
步骤d：根据提取的待传数据块的数据类型和文件位置，数据监控与分析模块查找其保存的最新同类型文件位置；
步骤e：数据监控与分析模块判断待传数据块的文件位置与其保存的最新同类型文件位置是否连续，若连续，则进入步骤f；若不连续，则进入步骤i；
步骤f：数据监控与分析模块向所述数据传输代理模块发送数据传输响应；
步骤g：所述数据传输代理模块在接收到所述数据传输响应后将待传数据块发送给数据监控与分析模块；
步骤h：所述数据监控与分析模块将接收到的数据块保存在相应的文件位置上，并更新最新同类型文件位置，然后结束本次数据传输；
步骤i：数据监控与分析模块向所述数据传输代理模块发送其查找到的最新同类型文件位置；
步骤j：数据传输代理模块根据接收到的最新同类型文件位置，查找相应的主机数据，如果能查找到，则返回步骤b，如果不能查找到，则将所述待传数据块发送给数据监控与分析模块，并进入步骤k；
步骤k：所述数据监控与分析模块接收所述待传数据块，并将接收到的数据块保存在相应的文件位置上，更新最新同类型文件位置并记录数据缺失情况，然后结束本次数据传输。
步骤2：数据监控与分析模块对接收的数据块进行监控分析，获取主机运行状态。图3为本发明一实施例提供的主机系统数据的实时监控与分析方法中数据监控与分析模块的工作流程示意图。
可选地，所述步骤2包括：
步骤2.1：解析接收的主机数据块获得主机当前的运行状态指标；
步骤2.2：根据报警规则对当前的运行状态和历史的运行状态进行实时比较分析，并对当前的各项运行状态指标进行关联分析；
步骤2.3：对分析结果进行存储。
进一步地，所述步骤2还包括：
步骤2.4：对接收的主机数据进行汇总和挖掘分析，定期将数据集约汇总，将有用的信息存入数据库，并在更长的时间维度进行挖掘分析，过滤每天的高频访问用户，计算高峰期IDLE状态、分析一年甚至数年的高峰访问变化，分析系统资源消耗变化原因和趋势。
进一步地，所述步骤2还包括：
步骤2.5：对解析出的运行状态指标以及汇总和挖掘分析后的数据以图表和文字的形式进行展现。
综上所述，本发明的优点在于：
(1)可以提供对优利OS2200主机全方位的系统数据分析和监控，具有监控实时性和连续性；
(2)在开放服务器对特殊的优利主机格式数据进行解析，以较低的成本做各种复杂和智能分析；
(3)采用分层数据存储架构，以较低的成本将主机系统原始数据保存较长时间，永久保存汇总挖掘的信息，为更进一步的数据挖掘提供数据基础。这些特点都是目前已有的产品不具备的，填补了国内空白。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种主机系统数据的实时监控与分析系统，其特征在于，所述系统包括设置于主机端的数据传输代理模块，以及设置于开放平台端的数据监控与分析模块，其中，
所述数据传输代理模块，用于轮询主机中的文件，并在发现存在新生成的完整数据块时，将所述新生成的完整数据块发送给数据监控与分析模块；
所述数据监控与分析模块，用于对所述数据传输代理模块发送的数据块进行监控分析，获取主机运行状态；其中，
所述数据监控与分析模块包括开放平台数据接收子模块、数据实时监控分析报警处理子模块，其中，
所述开放平台数据接收子模块，用于接收所述数据传输代理模块发送的数据块；
所述数据实时监控分析报警处子理模块，用于解析所述开放平台数据接收子模块接收的主机数据块，对解析得到的主机数据块进行报警分析，并对报警分析结果进行存储；
所述开放平台数据接收子模块对所述数据传输代理模块的传输请求进行监听，当监听到传输请求时，提取传输请求中待传数据块的相应参数，并根据提取的相应参数，保存主机数据块；
所述根据提取的相应参数，保存主机数据块，包括：提取所述传输请求中待传主机数据块的数据类型以及文件位置，根据待传主机数据块的数据类型查找已经保存的最新同类型文件位置，如果保存的最新同类型文件位置与传输请求中的待传数据块的文件位置连续，则将所述待传数据存储至相应的文件位置上；如果保存的最新同类型文件位置与传输请求中的待传数据块的文件位置不连续，则表明数据有缺失，则向所述数据传输代理模块发送相应的断点位置，并接收所述数据传输代理模块传输的断点位置的数据。
2.根据权利要求1所述的主机系统数据的实时监控与分析系统，其特征在于，所述数据传输代理模块对主机中的三类文件：软件指令包数据SIP，系统日志SYSTEMLOG，事务性能监控日志TPM进行轮询。
3.根据权利要求1所述的主机系统数据的实时监控与分析系统，其特征在于，所述数据实时监控分析报警处理子模块从所述开放平台数据接收子模块接收的主机数据块中解析出主机当前的运行状态指标，并根据报警规则对当前的运行状态和历史的运行状态进行实时比较分析，并对当前的各项运行状态指标进行关联分析，并对分析结果进行存储。
4.根据权利要求3所述的主机系统数据的实时监控与分析系统，其特征在于，所述数据实时监控分析报警处理子模块，还用于根据主机的运行状态对报警规则进行反馈修正。
5.根据权利要求3所述的主机系统数据的实时监控与分析系统，其特征在于，所述运行状态指标包括系统IDLE、TPS、总体IO访问量、内存使用量、机器指令数、系统锁数、总体IO响应时间、单个磁盘的IO访问量和IO响应时间、每个用户的访问指令频率、指令响应时间、事务申请锁时间、事务等待锁时间、事务开始时间、事务结束时间。
6.根据权利要求1所述的主机系统数据的实时监控与分析系统，其特征在于，所述数据监控与分析模块还包括数据挖掘子模块，用于对开放平台数据接收子模块接收的主机数据进行汇总和挖掘分析，定期将数据集约汇总，将有用的信息存入数据库，并在更长的时间维度进行挖掘分析，以定时作业的方式运行，执行的工作包括：统计每天的高频访问用户、统计用户访问趋势、计算高峰期IDLE状态、分析一年甚至数年的高峰访问变化，分析系统资源消耗变化原因和趋势。
7.根据权利要求1所述的主机系统数据的实时监控与分析系统，其特征在于，所述数据监控与分析模块还包括数据显示子模块，用于对实时监控分析报警处理子模块解析出的运行状态指标以及数据挖掘子模块汇总和处理过后的数据以图表和文字的形式进行展现。
8.一种主机系统数据的实时监控与分析方法，其特征在于，所述方法包括：
步骤1：数据传输代理模块轮询主机中的文件，并在发现存在新生成的完整数据块时，将所述新生成的完整数据块发送给数据监控与分析模块；
步骤2：数据监控与分析模块对接收的数据块进行监控分析，获取主机运行状态；
其中，所述将所述新生成的完整数据块发送给数据监控与分析模块，包括：
步骤a：数据传输代理模块轮询主机中的文件，查看是否有新数据；当有新数据时，进入步骤b；否则重复本步骤；
步骤b：数据传输代理模块向数据监控与分析模块发送数据传输请求；
步骤c：数据监控与分析模块接收所述数据传输请求，并提取所述数据传输请求中的待传数据块的数据类型和文件位置；
步骤d：根据提取的待传数据块的数据类型和文件位置，数据监控与分析模块查找其保存的最新同类型文件位置；
步骤e：数据监控与分析模块判断待传数据块的文件位置与其保存的最新同类型文件位置是否连续，若连续，则进入步骤f；若不连续，则进入步骤i；
步骤f：数据监控与分析模块向所述数据传输代理模块发送数据传输响应；
步骤g：所述数据传输代理模块在接收到所述数据传输响应后将待传数据块发送给数据监控与分析模块；
步骤h：所述数据监控与分析模块将接收到的数据块保存在相应的文件位置上，并更新最新同类型文件位置，然后结束本次数据传输；
步骤i：数据监控与分析模块向所述数据传输代理模块发送其查找到的最新同类型文件位置；
步骤j：数据传输代理模块根据接收到的最新同类型文件位置，查找相应的主机数据，如果能查找到，则返回步骤b，如果不能查找到，则将所述待传数据块发送给数据监控与分析模块，并进入步骤k；
步骤k：所述数据监控与分析模块接收所述待传数据块，并将接收到的数据块保存在相应的文件位置上，更新最新同类型文件位置并记录数据缺失情况，然后结束本次数据传输。
9.根据权利要求8所述的实时监控与分析方法，其特征在于，所述步骤2包括：
步骤2.1：解析接收的主机数据块获得主机当前的运行状态指标；
步骤2.2：根据报警规则对当前的运行状态和历史的运行状态进行实时比较分析，并对当前的各项运行状态指标进行关联分析；
步骤2.3：对分析结果进行存储。
10.根据权利要求9所述的实时监控与分析方法，其特征在于，所述步骤2还包括：
步骤2.4：对接收的主机数据进行汇总和挖掘分析，定期将数据集约汇总，将有用的信息存入数据库，并在更长的时间维度进行挖掘分析，统计每天的高频访问用户，计算高峰期IDLE状态、分析一年甚至数年的高峰访问变化，分析系统资源消耗变化原因和趋势。
11.根据权利要求10所述的实时监控与分析方法，其特征在于，所述步骤2还包括：
步骤2.5：对解析出的运行状态指标以及汇总和挖掘分析后的数据以图表和文字的形式进行展现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410266009.7A CN104021079B (zh) | 2014-06-13 | 2014-06-13 | 主机系统数据的实时监控与分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410266009.7A CN104021079B (zh) | 2014-06-13 | 2014-06-13 | 主机系统数据的实时监控与分析系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104021079A CN104021079A (zh) | 2014-09-03 |
| CN104021079B true CN104021079B (zh) | 2017-05-24 |
Family
ID=51437844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410266009.7A Active CN104021079B (zh) | 2014-06-13 | 2014-06-13 | 主机系统数据的实时监控与分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104021079B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032913A (zh) * | 2018-08-20 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种设备稳定性检测方法及相关装置 |
| CN112438302A (zh) * | 2020-10-09 | 2021-03-05 | 深圳市新潮智能储酒科技有限公司 | 肉类熟成柜系统及其数据管理方法 |
| CN116125956A (zh) * | 2023-03-01 | 2023-05-16 | 淄博博睿机电科技有限公司 | 一种基于数据分析的永磁同步风机控制器测试系统 |
| CN118153097B (zh) * | 2024-03-08 | 2024-09-13 | 广州济沧海医药科技有限公司 | 一种药品临床试验关键数据的防窃取管理系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102571481A (zh) * | 2011-11-14 | 2012-07-11 | 北京安天电子设备有限公司 | 一种客户端监控状态分析的方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4048382B1 (ja) * | 2006-09-01 | 2008-02-20 | 富士ゼロックス株式会社 | 情報処理システムおよびプログラム |
-
2014
- 2014-06-13 CN CN201410266009.7A patent/CN104021079B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102571481A (zh) * | 2011-11-14 | 2012-07-11 | 北京安天电子设备有限公司 | 一种客户端监控状态分析的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 主机监控系统性能管理平台的设计与实现;吴瑕;《中国优秀硕士学位论文全文数据库》;20110415;第31页第4.1节-第58页第5.4节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104021079A (zh) | 2014-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106452881B (zh) | 一种基于云加端模式的运维数据处理系统 | |
| CN105427193B (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
| CN105608144B (zh) | 一种基于多层模型迭代的大数据分析平台装置及方法 | |
| CN113051147A (zh) | 一种数据库集群的监控方法、装置、系统、以及设备 | |
| CN104021079B (zh) | 主机系统数据的实时监控与分析系统及方法 | |
| CN104022902A (zh) | 一种监控服务器集群的方法和系统 | |
| CN111242807B (zh) | 一种变电站数据接入泛在电力物联网的方法 | |
| CN103200046A (zh) | 监控网元设备性能的方法及系统 | |
| US20090307508A1 (en) | Optimizing the Efficiency of an Organization's Technology Infrastructure | |
| CN117453137A (zh) | 云化智能运维系统数据管理系统 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 | |
| CN109669915A (zh) | 一种计算机任务管理方法、装置及相关设备 | |
| CN113111261A (zh) | 一种云平台的数据处理方法、云平台及全景分析系统 | |
| CN115529595A (zh) | 一种日志数据的异常检测方法、装置、设备及介质 | |
| CN109802843A (zh) | 一种基于snmp的网络设备监控系统 | |
| CN103401722A (zh) | 一种软件资源监控系统和方法 | |
| CN115222181A (zh) | 机器人运营状态监控系统及方法 | |
| CN104967667A (zh) | 一种基于云服务的软件稳定性测试远程监控系统 | |
| CN112258015A (zh) | 一种基于云数据分析的实验室管理预警系统及其预警方法 | |
| CN115080363B (zh) | 一种基于业务日志的系统容量评估方法及装置 | |
| CN113938484B (zh) | 一种基于边缘计算的终端设备管理方法 | |
| CN108289035B (zh) | 一种直观的网络及业务系统运行状态展现方法及系统 | |
| CN111274083A (zh) | 一种分布式监控及采集服务器硬件指标的方法及系统 | |
| CN107453882B (zh) | 一种集群中告警信息聚合系统及方法 | |
| CN112965793B (zh) | 一种面向标识解析数据的数据仓库任务调度方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 100085 Yumin Street, Houshayu Town, Shunyi District, Beijing Patentee after: CHINA TRAVELSKY HOLDING Co. Address before: 100010, No. 157 West Fourth Street, Beijing, Dongcheng District Patentee before: CHINA TRAVELSKY HOLDING Co. |
|
| CP02 | Change in the address of a patent holder |