CN114884835A - 一种监测业务系统的方法及装置 - Google Patents
一种监测业务系统的方法及装置 Download PDFInfo
- Publication number
- CN114884835A CN114884835A CN202210505377.7A CN202210505377A CN114884835A CN 114884835 A CN114884835 A CN 114884835A CN 202210505377 A CN202210505377 A CN 202210505377A CN 114884835 A CN114884835 A CN 114884835A
- Authority
- CN
- China
- Prior art keywords
- data
- firewall
- file
- firewall policy
- invalid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012544 monitoring process Methods 0.000 title claims abstract description 55
- 238000004140 cleaning Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000007689 inspection Methods 0.000 claims abstract description 33
- 238000012216 screening Methods 0.000 claims description 29
- 238000013515 script Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 abstract description 48
- 230000008569 process Effects 0.000 abstract description 22
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 15
- 230000002354 daily effect Effects 0.000 description 9
- 238000013480 data collection Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 101100467517 Schizosaccharomyces pombe (strain 972 / ATCC 24843) raf2 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了一种监测业务系统的方法及装置,本方案提供了重要数据监控模式、设备巡检模式和防火墙策略清理模式三种数据处理模式,重要数据监控模式用于获取服务器关键数据并输出显示完成数据清洗的服务器关键数据,设备巡检模式用于拉取设备信息并输出显示完成数据清洗的设备信息,防火墙策略清理模式用于筛选并输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;不需要运维人员手工处理业务系统的运行数据,提高运维效率和运维效果。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种监测业务系统的方法及装置。
背景技术
随着互联网技术的发展,银行的业务系统也正在经历数字化转型的快速变更,为保证业务系统的稳定运行,需要监测业务系统的运行状态并为业务系统提供良好的运维服务。
目前监测业务系统的方式为:由运维人员通过堡垒机登录业务系统来监测业务系统的运行状态。但是数十套业务系统在运行过程中所产生的数据非常繁杂,运维人员需要耗费大量的时间处理业务系统的运行数据,且在处理大量数据的过程中容易出现纰漏,运维效率较低和运维效果较差。
发明内容
有鉴于此,本发明实施例提供一种监测业务系统的方法及装置,以解决现有监测业务系统的方式存在的运维效率较低和运维效果较差等问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开一种监测业务系统的方法,所述方法包括:
启动重要数据监控模式、设备巡检模式和/或防火墙策略清理模式;
在启动所述重要数据监控模式的情况下,获取由所述指定服务器按照第一周期周期性推送的服务器关键数据;
对所述服务器关键数据执行第一数据清洗操作,输出显示完成所述第一数据清洗操作后的所述服务器关键数据;
在启动所述设备巡检模式的情况下,按照第二周期,周期性从所述业务系统的核心网络设备拉取设备信息;
对所述设备信息执行第二数据清洗操作,输出显示完成所述第二数据清洗操作后的所述设备信息;
在启动所述防火墙策略清理模式的情况下,基于所述业务系统的安全区域对应的防火墙策略文件,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;
输出显示所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
优选的,对所述服务器关键数据执行第一数据清洗操作,输出显示完成所述第一数据清洗操作后的所述服务器关键数据,包括:
对每条所述服务器关键数据添加XML格式标签,并基于添加了XML格式标签的所述服务器关键数据构建第一XML文件;
在所述第一XML文件中特定类别的任意所述服务器关键数据的末尾添加特定格式的换行符,以得到第二XML文件;
在第一显示页面中输出显示所述第二XML文件所包含的数据。
优选的,在启动所述设备巡检模式的情况下,按照第二周期,周期性从所述业务系统的核心网络设备拉取设备信息,包括:
在启动所述设备巡检模式的情况下,按照第二周期,周期性利用管道筛选工具从所述业务系统的核心网络设备拉取预设时限内的设备信息。
优选的,对所述设备信息执行第二数据清洗操作,输出显示完成所述第二数据清洗操作后的所述设备信息,包括:
将所述设备信息添加至第一文件中;
利用预设的数据清洗脚本,对所述第一文件中的所述设备信息的数据标签和格式进行规范化,以得到第二文件;
在检测到携带设备名称参数和数据类型参数的查看指令时,从所述第二文件中定位到与所述设备名称参数和所述数据类型参数对应的所述设备信息;
在第二显示页面中显示与所述设备名称参数和所述数据类型参数对应的所述设备信息。
优选的,基于所述业务系统的安全区域对应的防火墙策略文件,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略,包括:
针对所述业务系统的每一安全区域,基于所述安全区域的防火墙策略对应的防火墙策略文件,确定所述安全区域的防火墙策略的匹配次数,并确定匹配次数为0的防火墙策略为无用防火墙策略,其中,防火墙策略的防火墙策略文件预先按照第三周期周期性采集得到;
从所述安全区域对应的防火墙策略文件中获取地址组名称,确定各个地址组名称在所述安全区域的防火墙配置文件中的匹配行数,并确定匹配行数为1的地址组名称对应的地址组为无效地址组;
获取预设的包含多个无效IP地址的无效地址文件;
从所述安全区域对应的防火墙策略文件中,确定与所述无效地址文件中任意无效IP地址匹配的IP地址为无效地址;
对于所述安全区域的每一个防火墙策略,若防火墙策略对应的任意两个目标防火墙策略文件的命中数相同,确定所述防火墙策略为过期防火墙策略,其中,所述任意两个目标防火墙策略文件为采集时间间隔大于等于预设间隔的两个防火墙策略文件。
优选的,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略之前,所述方法还包括:
对所述业务系统的安全区域对应的防火墙策略文件执行第三数据清洗操作,以清除所述防火墙策略文件中的噪声和在所述防火墙策略文件的指定行的末尾添加特定字段。
优选的,输出显示所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略,包括:
针对每一安全区域,将所述安全区域对应的所述无用防火墙策略、所述无效地址组、所述无效地址和所述过期防火墙策略添加至第三XML文件中,并在所述第三XML文件中添加特定格式的换行符以得到第四XML文件;
在第三显示页面的不同子页面中,分别显示不同所述安全区域对应的所述第四XML文件所包含的数据。
本发明实施例第二方面公开一种监测业务系统的装置,所述装置包括:
启动单元,用于启动重要数据监控模式、设备巡检模式和/或防火墙策略清理模式;
获取单元,用于在启动所述重要数据监控模式的情况下,获取由所述指定服务器按照第一周期周期性推送的服务器关键数据;
第一处理单元,用于对所述服务器关键数据执行第一数据清洗操作,输出显示完成所述第一数据清洗操作后的所述服务器关键数据;
拉取单元,用于在启动所述设备巡检模式的情况下,按照第二周期,周期性从所述业务系统的核心网络设备拉取设备信息;
第二处理单元,用于对所述设备信息执行第二数据清洗操作,输出显示完成所述第二数据清洗操作后的所述设备信息;
筛选单元,用于在启动所述防火墙策略清理模式的情况下,基于所述业务系统的安全区域对应的防火墙策略文件,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;
第三处理单元,用于输出显示所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
优选的,所述第一处理单元具体用于:对每条所述服务器关键数据添加XML格式标签,并基于添加了XML格式标签的所述服务器关键数据构建第一XML文件;在所述第一XML文件中特定类别的任意所述服务器关键数据的末尾添加特定格式的换行符,以得到第二XML文件;在第一显示页面中输出显示所述第二XML文件所包含的数据。
优选的,所述拉取单元具体用于:在启动所述设备巡检模式的情况下,按照第二周期,周期性利用管道筛选工具从所述业务系统的核心网络设备拉取预设时限内的设备信息。
基于上述本发明实施例提供的一种监测业务系统的方法及装置,该方法为:启动重要数据监控模式、设备巡检模式和/或防火墙策略清理模式;在启动重要数据监控模式的情况下,获取由指定服务器按照第一周期周期性推送的服务器关键数据;对服务器关键数据执行第一数据清洗操作,输出显示完成第一数据清洗操作后的服务器关键数据;在启动所述设备巡检模式的情况下,按照第二周期,周期性从业务系统的核心网络设备拉取设备信息;对设备信息执行第二数据清洗操作,输出显示完成第二数据清洗操作后的设备信息;在启动防火墙策略清理模式的情况下,基于业务系统的安全区域对应的防火墙策略文件,筛选出安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。本方案提供了重要数据监控模式、设备巡检模式和防火墙策略清理模式三种数据处理模式,重要数据监控模式用于获取服务器关键数据并输出显示完成数据清洗的服务器关键数据,设备巡检模式用于拉取设备信息并输出显示完成数据清洗的设备信息,防火墙策略清理模式用于筛选并输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;不需要运维人员手工处理业务系统的运行数据,提高运维效率和运维效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种监测业务系统的方法的流程图;
图2为本发明实施例提供的系统错误日志及数据库错误日志的示例图;
图3为本发明实施例提供的第一显示页面的示例图;
图4为本发明实施例提供的第一显示页面的另一示例图;
图5为本发明实施例提供的第二显示页面的示例图;
图6为本发明实施例提供的不同日检方式的日检时间折线图;
图7为本发明实施例提供的防火墙策略文件的示例图;
图8为本发明实施例提供的第三显示页面的示例图;
图9为本发明实施例提供的筛选并输出显示过期防火墙策略的流程图;
图10为本发明实施例提供的运维平台的架构示意图;
图11为本发明实施例提供的一种监测业务系统的装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,在需要监测业务系统时,目前通常由运维人员通过堡垒机登录业务系统来监测业务系统的运行状态。但是第一方面,业务系统在运行过程中所产生的数据非常繁杂,运维人员需要耗费大量的时间处理业务系统的运行数据;第二方面,运维人员在处理大量数据的过程中容易出现纰漏,例如:运维人员处理数据所得到的检查结果可能存在遗漏情况,进而无法在第一时间定位和消除系统故障;第三方面,运维人员较难从大量的数据中筛选出有效信息;在前述多方面的情况下,由运维人员人工监测业务系统的方式,存在运维效率较低和运维效果较差等问题。
因此,本发明实施例提供一种监测业务系统的方法及装置,提供了重要数据监控模式、设备巡检模式和防火墙策略清理模式三种数据处理模式,重要数据监控模式用于获取服务器关键数据并输出显示完成数据清洗的服务器关键数据,设备巡检模式用于拉取设备信息并输出显示完成数据清洗的设备信息,防火墙策略清理模式用于筛选并输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;不需要运维人员手工处理业务系统的运行数据,以提高运维效率和运维效果。
参见图1,示出了本发明实施例提供的一种监测业务系统的方法的流程图,该方法包括:
步骤S101:启动重要数据监控模式、设备巡检模式和/或防火墙策略清理模式。
在具体实现步骤S101的过程中,预先设置有重要数据监控模式、设备巡检模式和防火墙策略清理模式;响应模式启动指令,启动重要数据监控模式、设备巡检模式和防火墙策略清理模式中的任意一个或多个模式。
在启动重要数据监控模式时,执行步骤S102和步骤S103;在启动设备巡检模式时,执行步骤S104和步骤S105;在启动防火墙策略清理模式时,执行步骤S106和步骤S107。
步骤S102:在启动重要数据监控模式的情况下,获取由指定服务器按照第一周期周期性推送的服务器关键数据。
需要说明的是,在采集数据时,通常存在“推式”和“拉式”两种数据采集方式,其中“推式”数据采集方式具体是由设备主动将自身的数据推送给专用服务器进行汇总,“拉式”数据采集方式具体是由专用服务器从设备中拉取数据进行汇总。
在具体实现步骤S102的过程中,在启动重要数据监控模式的情况下,获取由指定服务器按照第一周期周期性推送的服务器关键数据;也就是说,指定服务器按照第一周期,周期性将自身的服务器关键数据推送至专用服务器。
具体而言,通过shell脚本和定时任务的途径,使各个指定服务器按照第一周期,周期性将自身的服务器关键数据推送至专用服务器;例如:使指定服务器每隔半个小时将自身的服务器关键数据推送至专用服务器。
一些实施例中,业务系统的指定服务器可以是业务服务器等重要服务器,服务器关键数据包括但不仅限于:CPU负载、存在异常的存储链路、系统双机热备(HighlyAvailable,HA)状态、内存状态、文件系统使用率、分行一体化运维平台(BIOP)监控进程、数据库备份情况、系统问题日志和数据问题日志等。
可以理解的是,收集业务系统的数据时,在满足运维人员日常运维检查等工作需求的前提下,需要使所收集的数据尽可能精简化。由于业务服务器(如Linux服务器)每天会产生数万行日志,该数万行日志中绝大部分的日志为业务服务器正常运行时所产生的日志,为保证数据精简化,可只收集与告警和内核相关的系统日志即可,例如:可只收集报错日志和与kernel核心相关的日志;如可收集业务服务器对应的系统错误日志及数据库错误日志,该系统错误日志及数据库错误日志的具体内容可参见图2提供的系统错误日志及数据库错误日志的示例图。值得说明的是,也可根据实际需求确定需要收集哪些日志,在此不做具体限定。
步骤S103:对服务器关键数据执行第一数据清洗操作,输出显示完成第一数据清洗操作后的服务器关键数据。
需要说明的是,在接收到指定服务器推送的服务器关键数据后,需要对服务器关键数据进行数据清洗。在具体实现步骤S103的过程中,对每条服务器关键数据添加可扩展标记语言(eXtensible Markup Language,XML)格式标签,并基于添加了XML格式标签的服务器关键数据构建第一XML文件;在第一XML文件中特定类别的任意服务器关键数据的末尾添加特定格式的换行符,以得到第二XML文件;在第一显示页面中输出显示第二XML文件所包含的数据。
一些实施例中,在对第一XML文件进行处理(如添加换行符)以确定得到第二XML文件的过程中,还可以清理第一XML文件中的噪声字符,如:清理第一XML文件中的EOF和END等噪声字符。
值得说明的是,以XML文件这一数据存储形式来存储服务器关键数据时,若直接将服务器关键数据存储到XML文件,在后续数据展示XML文件中的服务器关键数据时会存在web前端页面无法识别换行符的情况;因此需要对存储到XML文件中的服务器关键数据进行数据清洗。
具体而言,在XML文件中以XML格式标签的方式存储服务器关键数据,例如:以“<cpu></cpu>”这一XML格式标签存放服务器CPU负载信息。在具体实现中,将服务器关键数据存放到符合预设规范的XML文件中,并为每条服务器关键数据添加XML格式标签以构建得到第一XML文件。
为使第一XML文件中存储的服务器关键数据能正常在web前端页面中正常换行展示(保证显示内容的整洁),需要为第一XML文件中的某些服务器关键数据添加特定格式的换行符。
具体而言,在第一XML文件中特定类别的任意服务器关键数据的末尾添加HTML换行符,以得到第二XML文件。例如:在第一XML文件中类别为文件系统类别的服务器关键数据的末尾添加HTML换行符,以得到第二XML文件。
在得到第二XML文件后,通过文件传输协议(FileTransferProtocol,FTP)将第二XML文件上传到web服务器,使web服务器在指定静态页面(第一显示页面)展示第二XML文件中各个XML格式标签存放的服务器关键数据。
例如图3提供的第一显示页面的示例图,在第一显示页面显示文件系统和HA状态等类别的服务器关键数据,其中,文件系统类别的服务器关键数据的末尾已添加HTML换行符。
又例如图4提供的第一显示页面的另一示例图,在第一显示页面显示数据库备份、BIOP-agent、文件系统和HA状态等类别的服务器关键数据,其中,文件系统类别等特定类别的服务器关键数据的末尾已添加HTML换行符。
步骤S104:在启动设备巡检模式的情况下,按照第二周期,周期性从业务系统的核心网络设备拉取设备信息。
在具体实现步骤S104的过程中,在启动设备巡检模式的情况下,按照第二周期,以指定交互式工具周期性从业务系统的核心网络设备拉取设备信息;例如:以expect和tcl等交互式工具,每隔24小时从核心网络设备拉取该核心网络设备的设备信息。
需要说明的是,针对核心网络设备的诸如网络设备日志等设备信息,也需要使所收集的设备信息的精简化;距当前时间数月前乃至数年前的设备信息对于日常运维检查没有意义,因此在采集设备信息时需保证采集预设时限内的设备信息,且还需要利用管道筛选工具对设备信息进行筛选,以保证所收集的设备信息的精简化。
一些实施例中,在启动设备巡检模式的情况下,按照第二周期,周期性利用管道筛选工具从业务系统的核心网络设备拉取预设时限内的设备信息。
例如:每隔24小时利用管道筛选工具从核心网络设备拉取当月的网络设备日志。
一些实施例中,管道筛选工具包括但不仅限于grep、awk和egrep等;例如:在收集核心网络设备的问题日志时,可通过“cat/var/log/messages|egrep“kernel|error|eth”方式收集问题日志。
一些实施例中,设备信息包括但不仅限于网络设备配置文件、交换机路由接口状态、HA状态、设备运行环境状态和网络设备日志等。
步骤S105:对设备信息执行第二数据清洗操作,输出显示完成第二数据清洗操作后的设备信息。
在具体实现步骤S105的过程中,在拉取到各个核心网络设备的设备信息之后,需要对收集到的设备信息进行数据清洗,再根据用户的查看指令,输出显示与查看指令相匹配的设备信息。
也就是说,可响应用户的查看指令,查询并显示某一核心网络设备的网络设备配置文件、设备运行环境状态、交换机路由接口状态和当月网络设备日志。
具体实现中,将设备信息添加至第一文件中(不同核心网络设备的设备信息分别添加到不同的第一文件中);利用预设的数据清洗脚本,对第一文件中的设备信息的数据标签和格式进行规范化,以得到第二文件;在检测到携带设备名称参数和数据类型参数的查看指令时,从第二文件中定位到与该设备名称参数和数据类型参数对应的设备信息;在第二显示页面中显示与该设备名称参数和数据类型参数对应的设备信息。
需要说明的是,由于不同核心网络设备具有相同的数据属性(如接口信息和HA信息),因此在查询某一核心网络设备的设备信息时,查看指令需要携带设备名称参数和数据类型参数才能准确的定位到某一核心网络设备的指定类别的设备信息。
如果需要查看任意核心网络设备的指定类别的设备信息,先将该任意核心网络设备的设备名称作为设备名称参数,在第二文件中定位到该任意核心网络设备的设备名称(可通过选取相应的数据标签进行定位);以指定类别作为数据类型参数,结合该任意核心网络设备的设备名称,在第二文件中定位到该任意核心网络设备的设备名称对应的指定类别的设备信息。
例如:假设需要查看核心交换机的接口状态信息,先在第二文件集中定位到核心交换机的核心交换机名称(如S0**-YW7K-***),再在“S0**-YW7K-***”的配置文件中定位得到与该核心交换机名称对应的接口状态信息,其中,核心交换机名称为设备名称参数,接口状态信息为数据类型参数;同理,在查看核心交换机的版本信息或接口信息时,可通过前述方式进行定位查看。
通过上述内容可见,用户可以通过携带设备名称参数和数据类型参数的查看指令,在第二显示页面中查看相应的设备信息;例如图5提供的第二显示页面的示例图,用户在需要查看某一核心网络设备的当前配置信息时,用户通过携带设备名称参数和数据类型参数的查看指令,在第二显示页面中查看该核心网络设备的当前配置信息。
通过上述方式对业务系统的核心网络设备的设备信息进行拉取并展示,能够在满足网络管理员日常巡检的需求的前提下,大幅度降低运维人员登录频次和日检时间。例如图6提供的不同日检方式的日检时间折线图,采用本方案进行日常巡检所耗费的日检时间的折线为“自动日检”这一折线,运维人员手工进行日常巡检所耗费的日检时间的折线为“手工日检”这一折线,采用VB脚本进行日常巡检所耗费的日检时间的折线为“VB脚本”这一折线,通过图6可见,相较于其它日检方式,采用本方案进行日常巡检能够大幅降低所耗费的日检时间。
步骤S106:在启动防火墙策略清理模式的情况下,基于业务系统的安全区域对应的防火墙策略文件,筛选出安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
需要说明的是,目前各银行存在防火墙安全策略堆积问题,例如:某银行的省分行的业务防火墙主策略达到900条,策略详细信息约10万行;OA防火墙主策略超过1000条,策略详细信息约10万行;城域网防火墙主策略超过1000条,策略详细信息约8万行。在前述示例中,当防火墙策略达到500条以上,基本上无法通过人工分析,因此本方案通过步骤S106和步骤S107中的内容筛选出业务系统的安全区域对应的防火墙策略文件,筛选出安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
进一步需要说明的是,业务系统通常划分有多个安全区域,每个安全区域都会设置有相应的防火墙,因此各个安全区域都存在相应的防火墙策略文件。例如:省级银行存在业务区域、办公区域和外联区域等多个安全区域,每个安全区域都会设置有相应的防火墙。
一些实施例中,预先按照第三周期,周期性采集各个安全区域的防火墙策略文件和防火墙配置文件,防火墙策略文件即为ACL文件(show access-list),防火墙配置文件中的文件内容可通过show run方式得到。例如:将抓取脚本写入定时计划中,设定每半个月执行一次该抓取脚本,以采集各个安全区域对应的防火墙策略文件和防火墙配置文件。
需要说明的是,在抓取防火墙策略文件和防火墙配置文件,可通过具有远程登录权限的特权Linux服务器主机进行抓取;具体而言,对特权Linux服务器主机确定安全基线和设备访问控制后,在特权Linux服务器主机上安装expect+tcl工具,通过expect+tcl工具抓取防火墙策略文件和防火墙配置文件,expect+tcl工具主要用于实现交互式网络设备访问。
一些实施例中,在抓取到防火墙配置文件和防火墙策略文件后,利用“F******.LOG”这一文本文件存储防火墙配置文件,每次获取得到新的防火墙配置文件时更新该文本文件即可;利用“***_acl.1”、“***_acl.2”至“***_acl.n”等依次递进的命名方式来对不同时期采集得到的防火墙策略文件进行命名,以区分不同时期采集得到的防火墙策略文件。
需要说明的是,采集得到的防火墙策略文件中,存在Linux无法识别的换行符“^M”和存在8位十六进制的噪声数据;为满足后续应用,需要清除防火墙策略文件中的噪声,以及为防火墙策略文件的指定行的末尾添加特定字段。
一些实施例中,通过特权Linux服务器主机对业务系统的安全区域对应的防火墙策略文件执行第三数据清洗操作,以清除防火墙策略文件中的噪声和在防火墙策略文件的指定行的末尾添加特定字段。
一些实施例中,利用sed方式配合正则表达式,将防火墙策略文件的噪声数据和无法识别的字符进行清洗;具体而言,清洗防火墙策略文件(或者说ACL文件)中每行末尾诸如“0x********”的噪声数据,例如:利用:“sed-is/0x........//g[文件名]”方式清洗噪声数据;对于防火墙策略文件中不存在hitcnt的行(防火墙策略文件的指定行),在不存在hitcnt的行添加“hitcnt=0”字段,其中,hitcnt=0表示防火墙策略文件的匹配数(或者称为命中数)为0,例如:通过“sed-i‘hitcnt/!s/$/(hitcnt=0)’[文件名]”方式添加“hitcnt=0”字段;对防火墙策略文件中存在于行末的“^M”这一字符进行清洗,例如:通过“dos2unix[文件名]”方式清洗“^M”这一字符。
通过以上方式,对采集到的各个安全区域的防火墙策略文件执行第三数据清洗操作,利用完成第三数据清洗操作的各个安全区域的防火墙策略文件,筛选出每个安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
针对业务系统的每一安全区域,以筛选某一安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略为示例,通过以下内容进行详细描述,其它安全区域的无用防火墙策略、无效地址组、无效地址和过期防火墙策略的筛选过程,可参见下述内容。
筛选某一安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略的相关说明:
基于安全区域的防火墙策略对应的防火墙策略文件,确定该安全区域的防火墙策略的匹配次数,并确定匹配次数为0的防火墙策略为无用防火墙策略。具体实现中,确定安全区域的防火墙策略对应的最大主策略行数(记为line x);需要说明的是,每个防火墙策略都具有相应的行数标识(line i为某一防火墙策略的行数标识),line x用于确定循环次数;对于每个防火墙策略,若该防火墙策略的防火墙策略文件中line i的行数与hitcnt=0的行数相等,则表示该防火墙策略的匹配次数为0。例如图7提供的防火墙策略文件的示例图,某一防火墙策略的行数标识为line 3,该防火墙策略文件中line 3的行数与hitcnt=0的行数相等,此时表征line 3对应的防火墙策略中明细策略没有一条被匹配命中,故该防火墙策略的匹配次数为0。对于每一防火墙策略而言,若该防火墙策略的匹配次数为0,则表示该防火墙策略没有被使用过,故可确定匹配次数为0的防火墙策略为无用防火墙策略。
通过上述方式,可以对各个安全区域未使用到的防火墙策略(也就是无用防火墙策略)筛选出来,以对各个安全区域的防火墙策略进行收紧。
从安全区域对应的防火墙策略文件中获取地址组名称,确定各个地址组名称在安全区域的防火墙配置文件中的匹配行数,并确定匹配行数为1的地址组名称对应的地址组为无效地址组(地址组ID)。
需要说明的是,在根据防火墙配置信息格式定义某一地址组时,需要使用到该地址组的地址组名称(相当于地址组名称的匹配行数至少为1);如果应用过该地址组,则该地址组的地址组名称的匹配行数会大于1。故可通过某一地址组的地址组名称的匹配行数,来确定该地址组是否被应用;如果该地址组的地址组名称的匹配行数为1,则表示该地址组只是被定义过而未被应用过(或者说该地址组对应的防火墙策略已被回收),可判定该地址组为无效地址组;如果该地址组的地址组名称的匹配行数大于1,则表示该地址组被应用过,可判定该地址组不是无效地址组。
一些实施例中,从安全区域对应的防火墙策略文件中获取全部地址组名称,将所获取的地址组名称按行存储到临时文件中;具体而言,从防火墙策略文件中梳理出形式为“object-group network xxxxxxx”字段的地址组名称,按行将所获取的地址组名称存储到临时文件中。
利用show run获取得到安全区域的防火墙配置文件中的文件内容;按行从临时文件中逐一读取各个地址组名称;针对所读取的地址组名称,确定各个地址组名称在安全区域的防火墙配置文件的文件内容中的匹配行数;确定匹配行数为1的地址组名称对应的地址组为无效地址组。也就是说,对于某一地址组名称,若该地址组名称在防火墙配置文件的文件内容中的匹配行数为1,则可判定该地址组名称对应的地址组为无效地址组。
需要说明的是,在调整防火墙策略的过程中,会存在以下情况:某些防火墙策略被回收,但被回收的防火墙策略对应的地址组并没有被回收,导致出现地址组冗余的问题;针对前述情况,可采用上述实施例的内容筛选出无效地址组以进行回收删除,进而解决地址组冗余的问题。
获取预设的包含多个无效IP地址的无效地址文件;从安全区域对应的防火墙策略文件中,确定与无效地址文件中任意无效IP地址匹配的IP地址为无效地址。
一些实施例中,预先设置包含多个无效IP地址的无效地址文件(可以是TXT文件,相当于一个无效IP地址列表),并预先将无效地址文件上传到web服务器前端。调用后端服务器以“ftp get”的方式获取得到该无效地址文件,值得说明的是,也可直接获取由用户键入的无效IP地址,其中,用户在发起地址下线流程后键入无效IP地址,在此对于获取无效IP地址的方式不做限定。从安全区域对应的防火墙策略文件中,确定与无效地址文件中任意无效IP地址匹配的IP地址为无效地址。
具体而言,循环读取无效地址文件中的每个无效IP地址;对于每个无效IP地址,将该无效IP地址循环匹配防火墙策略文件中的每行数据,如果该无效IP地址能匹配到防火墙策略文件中的某行数据,则表示该行数据中存在该无效IP地址,确定该行数据中与该无效IP地址匹配的IP地址为无效地址。对于无效地址文件中的每个无效IP地址都执行前述操作,直至筛选出防火墙策略文件中的所有无效地址。
对于安全区域的每一个防火墙策略,若该防火墙策略对应的任意两个目标防火墙策略文件的命中数相同,确定防火墙策略为过期防火墙策略,其中,任意两个目标防火墙策略文件为采集时间间隔大于等于预设间隔的两个防火墙策略文件。
需要说明的是,预先按照第三周期周期性采集安全区域的防火墙策略对应的防火墙策略文件,通过文件名序号对不同时期采集得到的防火墙策略文件进行命名;例如:每半个月采集一次防火墙策略对应的防火墙策略文件,持续采集10个月后可采集得到20个防火墙策略文件,该20个防火墙策略文件的文件名分别为“***_acl.1”、“***_acl.2”至“***_acl.20”,其中,“***_acl.8”与“***_acl.20”这两个防火墙策略文件的采集时间间隔为6个月。
一些实施例中,对于安全区域的每一个防火墙策略,确定该防火墙策略对应的采集时间间隔大于等于预设间隔的两个防火墙策略文件为一组目标防火墙策略文件;对于任意一组目标防火墙策略文件,若该组目标防火墙策略文件中两个目标防火墙策略文件的命中数相同,则表示该防火墙策略已经长期未使用过,可判断该防火墙策略为过期防火墙策略。
例如:设时间间隔为6个月,每半个月采集一次防火墙策略对应的防火墙策略文件,持续采集10个月后可采集得到20个防火墙策略文件;确定得到多组目标防火墙策略文件,其中一组目标防火墙策略文件为“***_acl.8”与“***_acl.20”;如果“***_acl.8”的命中数(hitcnt)与“***_acl.20”的命中数相同,则可判定该防火墙策略为过期防火墙策略。其中,时间间隔也可以根据实际情况设置为3个月或其它时间,在本发明实施例中不做限定。
值得说明的是,在筛选过期防火墙策略的过程中,对于近期新增的防火墙策略,由于新增的防火墙策略未立即使用或立即验证,会导致新增的防火墙策略的防火墙策略文件的匹配数为0,因此在筛选过期防火墙策略时,优先针对行数较小的防火墙策略进行清理。
通过以上方式,筛选出每个安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
步骤S107:输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
在具体实现步骤S107的过程中,针对每一安全区域,将该安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略添加至第三XML文件中,并在第三XML文件中添加特定格式的换行符以得到第四XML文件。
一些实施例中,在将无效地址存储到第三XML文件中时,也将该无效地址所在的地址组的地址组名称保存到该第三XML文件中;在将过期防火墙策略添加至第三XML文件中时,将过期防火墙策略添加至第三XML文件中的过期时间标签中。
需要说明的是,为保证所显示的第三XML文件的内容符合web显示格式,需要在第三XML文件中添加换行符。一些实施例中,在第三XML文件中添加特定格式的换行符(如HTML换行符)以得到第四XML文件,第四XML文件中包含了经过前述处理的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。例如:第三XML文件为result.xml文件,通过“sed-i‘/</!s/$/\<;br\>;/g’result.xml”方式在第三XML文件中添加HTML换行符,以得到第四XML文件。
在第三显示页面的不同子页面中,分别显示不同安全区域对应的第四XML文件所包含的数据;不同子页面对应不同的安全区域,在某个子页面中显示相应安全区域对应的第四XML文件所包含的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
一些实施例中,第三显示页面可以是web前端页面,该web前端页面可采用html静态页面和js脚本构建得到;通过读取第四XML文件,在不同子页面分别显示各安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
例如图8提供的第三显示页面的示例图,“YW防火墙”、“OA防火墙”、“LW防火墙”和“WL防火墙”分别对应一个安全区域;“无用策略梳理”区域用于显示无用防火墙策略,“无效地址组梳理”区域用于显示无效地址组,“停用地址相关策略梳理”区域用于显示无效地址,“过期相关策略梳理”区域用于显示过期防火墙策略。通过响应用于选中“YW防火墙”、“OA防火墙”、“LW防火墙”或“WL防火墙”的指令,切换不同的子页面,以显示“YW防火墙”、“OA防火墙”、“LW防火墙”或“WL防火墙”对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
在本发明实施例中,提供重要数据监控模式、设备巡检模式和防火墙策略清理模式三种数据处理模式,重要数据监控模式用于获取服务器关键数据并输出显示完成数据清洗的服务器关键数据,设备巡检模式用于拉取设备信息并输出显示完成数据清洗的设备信息,防火墙策略清理模式用于筛选并输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;不需要运维人员手工处理业务系统的运行数据,提高运维效率和运维效果。
为更好解释说明上述筛选并输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略的内容,以筛选并输出显示过期防火墙策略为示例,通过图9提供的筛选并输出显示过期防火墙策略的流程图进行举例说明,图9包括以下步骤:
步骤S901:通过特权Linux服务器主机抓取防火墙策略文件。
需要说明的是,利用特权Linux服务器主机抓取各安全区域的防火墙策略的ACL文件。
步骤S902:通过特权Linux服务器主机对防火墙策略文件执行第三数据清洗操作。
步骤S903:基于完成第三数据清洗操作的防火墙策略文件,将筛选出的安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略添加至第三XML文件中。
步骤S904:在第三XML文件中添加特定格式的换行符以得到第四XML文件。
步骤S905:在web前端页面显示第四XML文件中的内容。
需要说明的是,步骤S901至步骤S905的执行原理,可参见上述各个实施例中的内容,在此不再赘述。
通过以上各个实施例的内容可见,本方案提供了重要数据监控模式、设备巡检模式和防火墙策略清理模式三种数据处理模式,每种数据处理模式可基于应用与数据3C模型(Application&Triple-C Module,ATC)的构建理念构建成子系统,即每种数据处理模式都构建相应的子系统;每个子系统都具有数据收集、数据清洗、数据处理和应用等多种功能。综合重要数据监控模式、设备巡检模式和防火墙策略清理模式对应的子系统,可构建得到基于ATC模型的运维平台,该运维平台的架构如图10提供的运维平台的架构示意图。
图10中,运维平台具有“数据采集”、“数据清洗”、“核心数据处理”和“应用”等多层架构;其中,“数据采集”层主要用于收集服务器关键数据、设备信息和防火墙策略文件等;“数据清洗”层主要用于执行上述提及的第一数据清洗操作、第二数据清洗操作和第三数据清洗操作等;“核心数据处理”层主要用于执行重要数据监控模式、设备巡检模式和防火墙策略清理模式的具体内容;“应用”层主要用于提供重要数据监控模式、设备巡检模式和防火墙策略清理模式等功能模式,“配置查询”为设备巡检模式,“及时监控”为重要数据监控模式,“策略清理”为防火墙策略清理模式。通过图10提供的运维平台监测业务系统的运行状态,可以大幅降低运维人员日常运维工作量,提高运维效率和运维效果。
与上述本发明实施例提供的一种监测业务系统的方法相对应,参见图11,本发明实施例还提供了一种监测业务系统的装置的结构框图,该装置包括:启动单元1101、获取单元1102、第一处理单元1103、拉取单元1104、第二处理单元1105、筛选单元1106和第三处理单元1107;
启动单元1101,用于启动重要数据监控模式、设备巡检模式和/或防火墙策略清理模式。
获取单元1102,用于在启动重要数据监控模式的情况下,获取由指定服务器按照第一周期周期性推送的服务器关键数据。
第一处理单元1103,用于对服务器关键数据执行第一数据清洗操作,输出显示完成第一数据清洗操作后的服务器关键数据。
在具体实现中,第一处理单元1103具体用于:对每条服务器关键数据添加XML格式标签,并基于添加了XML格式标签的服务器关键数据构建第一XML文件;在第一XML文件中特定类别的任意服务器关键数据的末尾添加特定格式的换行符,以得到第二XML文件;在第一显示页面中输出显示第二XML文件所包含的数据。
拉取单元1104,用于在启动设备巡检模式的情况下,按照第二周期,周期性从业务系统的核心网络设备拉取设备信息。
在具体实现中,拉取单元1104具体用于:在启动设备巡检模式的情况下,按照第二周期,周期性利用管道筛选工具从业务系统的核心网络设备拉取预设时限内的设备信息。
第二处理单元1105,用于对设备信息执行第二数据清洗操作,输出显示完成第二数据清洗操作后的设备信息。
在具体实现中,第二处理单元1105具体用于:将设备信息添加至第一文件中;利用预设的数据清洗脚本,对第一文件中的设备信息的数据标签和格式进行规范化,以得到第二文件;在检测到携带设备名称参数和数据类型参数的查看指令时,从第二文件中定位到与设备名称参数和数据类型参数对应的设备信息;在第二显示页面中显示与设备名称参数和数据类型参数对应的设备信息。
筛选单元1106,用于在启动防火墙策略清理模式的情况下,基于业务系统的安全区域对应的防火墙策略文件,筛选出安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
在具体实现中,筛选单元1106具体用于:针对业务系统的每一安全区域,基于安全区域的防火墙策略对应的防火墙策略文件,确定安全区域的防火墙策略的匹配次数,并确定匹配次数为0的防火墙策略为无用防火墙策略,其中,防火墙策略的防火墙策略文件预先按照第三周期周期性采集得到;从安全区域对应的防火墙策略文件中获取地址组名称,确定各个地址组名称在安全区域的防火墙配置文件中的匹配行数,并确定匹配行数为1的地址组名称对应的地址组为无效地址组;获取预设的包含多个无效IP地址的无效地址文件;从安全区域对应的防火墙策略文件中,确定与无效地址文件中任意无效IP地址匹配的IP地址为无效地址;对于安全区域的每一个防火墙策略,若防火墙策略对应的任意两个目标防火墙策略文件的命中数相同,确定防火墙策略为过期防火墙策略,其中,任意两个目标防火墙策略文件为采集时间间隔大于等于预设间隔的两个防火墙策略文件。
优选的,筛选单元1106还用于:对业务系统的安全区域对应的防火墙策略文件执行第三数据清洗操作,以清除防火墙策略文件中的噪声和在防火墙策略文件的指定行的末尾添加特定字段。
第三处理单元1107,用于输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
在具体实现中,第三处理单元1107具体用于:针对每一安全区域,将安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略添加至第三XML文件中,并在第三XML文件中添加特定格式的换行符以得到第四XML文件;在第三显示页面的不同子页面中,分别显示不同安全区域对应的第四XML文件所包含的数据。
综上所述,本发明实施例提供一种监测业务系统的方法及装置,提供重要数据监控模式、设备巡检模式和防火墙策略清理模式三种数据处理模式,重要数据监控模式用于获取服务器关键数据并输出显示完成数据清洗的服务器关键数据,设备巡检模式用于拉取设备信息并输出显示完成数据清洗的设备信息,防火墙策略清理模式用于筛选并输出显示安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;不需要运维人员手工处理业务系统的运行数据,提高运维效率和运维效果。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种监测业务系统的方法,其特征在于,所述方法包括:
启动重要数据监控模式、设备巡检模式和/或防火墙策略清理模式;
在启动所述重要数据监控模式的情况下,获取由所述指定服务器按照第一周期周期性推送的服务器关键数据;
对所述服务器关键数据执行第一数据清洗操作,输出显示完成所述第一数据清洗操作后的所述服务器关键数据;
在启动所述设备巡检模式的情况下,按照第二周期,周期性从所述业务系统的核心网络设备拉取设备信息;
对所述设备信息执行第二数据清洗操作,输出显示完成所述第二数据清洗操作后的所述设备信息;
在启动所述防火墙策略清理模式的情况下,基于所述业务系统的安全区域对应的防火墙策略文件,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;
输出显示所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
2.根据权利要求1所述的方法,其特征在于,对所述服务器关键数据执行第一数据清洗操作,输出显示完成所述第一数据清洗操作后的所述服务器关键数据,包括:
对每条所述服务器关键数据添加XML格式标签,并基于添加了XML格式标签的所述服务器关键数据构建第一XML文件;
在所述第一XML文件中特定类别的任意所述服务器关键数据的末尾添加特定格式的换行符,以得到第二XML文件;
在第一显示页面中输出显示所述第二XML文件所包含的数据。
3.根据权利要求1所述的方法,其特征在于,在启动所述设备巡检模式的情况下,按照第二周期,周期性从所述业务系统的核心网络设备拉取设备信息,包括:
在启动所述设备巡检模式的情况下,按照第二周期,周期性利用管道筛选工具从所述业务系统的核心网络设备拉取预设时限内的设备信息。
4.根据权利要求1所述的方法,其特征在于,对所述设备信息执行第二数据清洗操作,输出显示完成所述第二数据清洗操作后的所述设备信息,包括:
将所述设备信息添加至第一文件中;
利用预设的数据清洗脚本,对所述第一文件中的所述设备信息的数据标签和格式进行规范化,以得到第二文件;
在检测到携带设备名称参数和数据类型参数的查看指令时,从所述第二文件中定位到与所述设备名称参数和所述数据类型参数对应的所述设备信息;
在第二显示页面中显示与所述设备名称参数和所述数据类型参数对应的所述设备信息。
5.根据权利要求1所述的方法,其特征在于,基于所述业务系统的安全区域对应的防火墙策略文件,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略,包括:
针对所述业务系统的每一安全区域,基于所述安全区域的防火墙策略对应的防火墙策略文件,确定所述安全区域的防火墙策略的匹配次数,并确定匹配次数为0的防火墙策略为无用防火墙策略,其中,防火墙策略的防火墙策略文件预先按照第三周期周期性采集得到;
从所述安全区域对应的防火墙策略文件中获取地址组名称,确定各个地址组名称在所述安全区域的防火墙配置文件中的匹配行数,并确定匹配行数为1的地址组名称对应的地址组为无效地址组;
获取预设的包含多个无效IP地址的无效地址文件;
从所述安全区域对应的防火墙策略文件中,确定与所述无效地址文件中任意无效IP地址匹配的IP地址为无效地址;
对于所述安全区域的每一个防火墙策略,若防火墙策略对应的任意两个目标防火墙策略文件的命中数相同,确定所述防火墙策略为过期防火墙策略,其中,所述任意两个目标防火墙策略文件为采集时间间隔大于等于预设间隔的两个防火墙策略文件。
6.根据权利要求1所述的方法,其特征在于,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略之前,所述方法还包括:
对所述业务系统的安全区域对应的防火墙策略文件执行第三数据清洗操作,以清除所述防火墙策略文件中的噪声和在所述防火墙策略文件的指定行的末尾添加特定字段。
7.根据权利要求1-6中任一所述的方法,其特征在于,输出显示所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略,包括:
针对每一安全区域,将所述安全区域对应的所述无用防火墙策略、所述无效地址组、所述无效地址和所述过期防火墙策略添加至第三XML文件中,并在所述第三XML文件中添加特定格式的换行符以得到第四XML文件;
在第三显示页面的不同子页面中,分别显示不同所述安全区域对应的所述第四XML文件所包含的数据。
8.一种监测业务系统的装置,其特征在于,所述装置包括:
启动单元,用于启动重要数据监控模式、设备巡检模式和/或防火墙策略清理模式;
获取单元,用于在启动所述重要数据监控模式的情况下,获取由所述指定服务器按照第一周期周期性推送的服务器关键数据;
第一处理单元,用于对所述服务器关键数据执行第一数据清洗操作,输出显示完成所述第一数据清洗操作后的所述服务器关键数据;
拉取单元,用于在启动所述设备巡检模式的情况下,按照第二周期,周期性从所述业务系统的核心网络设备拉取设备信息;
第二处理单元,用于对所述设备信息执行第二数据清洗操作,输出显示完成所述第二数据清洗操作后的所述设备信息;
筛选单元,用于在启动所述防火墙策略清理模式的情况下,基于所述业务系统的安全区域对应的防火墙策略文件,筛选出所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略;
第三处理单元,用于输出显示所述安全区域对应的无用防火墙策略、无效地址组、无效地址和过期防火墙策略。
9.根据权利要求8所述的装置,其特征在于,所述第一处理单元具体用于:对每条所述服务器关键数据添加XML格式标签,并基于添加了XML格式标签的所述服务器关键数据构建第一XML文件;在所述第一XML文件中特定类别的任意所述服务器关键数据的末尾添加特定格式的换行符,以得到第二XML文件;在第一显示页面中输出显示所述第二XML文件所包含的数据。
10.根据权利要求8所述的装置,其特征在于,所述拉取单元具体用于:在启动所述设备巡检模式的情况下,按照第二周期,周期性利用管道筛选工具从所述业务系统的核心网络设备拉取预设时限内的设备信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210505377.7A CN114884835A (zh) | 2022-05-10 | 2022-05-10 | 一种监测业务系统的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210505377.7A CN114884835A (zh) | 2022-05-10 | 2022-05-10 | 一种监测业务系统的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114884835A true CN114884835A (zh) | 2022-08-09 |
Family
ID=82674864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210505377.7A Pending CN114884835A (zh) | 2022-05-10 | 2022-05-10 | 一种监测业务系统的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114884835A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180181900A1 (en) * | 2016-12-28 | 2018-06-28 | Check-6 International Inc. | Computer-implemented system and method for procedural compliance |
CN109558729A (zh) * | 2018-11-28 | 2019-04-02 | 河北省科学院应用数学研究所 | 一种网络攻击的智能防御系统 |
CN111786949A (zh) * | 2020-05-22 | 2020-10-16 | 山东鲁能软件技术有限公司 | 防火墙安全策略自动适配系统及方法 |
CN112836771A (zh) * | 2021-03-26 | 2021-05-25 | 中国建设银行股份有限公司 | 业务服务点的分类方法、装置、电子设备和存储介质 |
-
2022
- 2022-05-10 CN CN202210505377.7A patent/CN114884835A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180181900A1 (en) * | 2016-12-28 | 2018-06-28 | Check-6 International Inc. | Computer-implemented system and method for procedural compliance |
CN109558729A (zh) * | 2018-11-28 | 2019-04-02 | 河北省科学院应用数学研究所 | 一种网络攻击的智能防御系统 |
CN111786949A (zh) * | 2020-05-22 | 2020-10-16 | 山东鲁能软件技术有限公司 | 防火墙安全策略自动适配系统及方法 |
CN112836771A (zh) * | 2021-03-26 | 2021-05-25 | 中国建设银行股份有限公司 | 业务服务点的分类方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3778652B2 (ja) | ログデータ収集管理方法及びその装置 | |
CN107317724B (zh) | 基于云计算技术的数据采集系统及方法 | |
CN103927370B (zh) | 一种组合文字和图片信息的网络资讯批量采集方法 | |
CN109241461A (zh) | 一种用户画像构建方法及装置 | |
CN106980678A (zh) | 基于zookeeper技术的数据分析方法及系统 | |
US20090106239A1 (en) | Document Review System and Method | |
Khasawneh et al. | Active user-based and ontology-based web log data preprocessing for web usage mining | |
CN103488793A (zh) | 一种基于信息检索的用户行为监控方法 | |
CN103248707B (zh) | 文件访问方法、系统以及设备 | |
CN109766206A (zh) | 一种日志采集方法及系统 | |
JP5254738B2 (ja) | 電力品質データ収集システム、電力品質データ収集装置、電力品質データ収集方法 | |
CN114237538A (zh) | 一种投屏控制方法、服务器、投屏设备和系统 | |
CN104516953B (zh) | 一种用于电力调度自动化海量报文的黑匣子系统 | |
CN113419872A (zh) | 一种应用系统接口集成系统、集成方法、设备及存储介质 | |
CN108900387A (zh) | 一种分流设备动态监控系统 | |
CN109150875A (zh) | 反爬虫方法、装置、电子设备及计算机可读存储介质 | |
CN114884835A (zh) | 一种监测业务系统的方法及装置 | |
CN112714118A (zh) | 网络流量检测方法和装置 | |
US10353792B2 (en) | Data layering in a network management system | |
CN115766768A (zh) | 一种算力网络操作系统中感知中枢设计方法及装置 | |
CN110471730A (zh) | 基于Echarts的展示方法、系统、大屏系统和介质 | |
CN112685370B (zh) | 一种日志采集方法、装置、设备和介质 | |
CN107147542A (zh) | 一种信息生成方法及装置 | |
JP5802152B2 (ja) | 通信網監視システム、監視装置および通信網監視方法 | |
JP2013235408A (ja) | ログ管理システム、ログ管理サーバ及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |