CN108259263A - 数据分析方法、装置及系统 - Google Patents

数据分析方法、装置及系统 Download PDF

Info

Publication number
CN108259263A
CN108259263A CN201711251510.6A CN201711251510A CN108259263A CN 108259263 A CN108259263 A CN 108259263A CN 201711251510 A CN201711251510 A CN 201711251510A CN 108259263 A CN108259263 A CN 108259263A
Authority
CN
China
Prior art keywords
business
data
operation system
specified type
flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711251510.6A
Other languages
English (en)
Inventor
徐铁军
李宏波
张小博
张文飞
李国栋
李晖
秦浩
佟芳
董亮
雷晓萍
王婷
史正良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI BETA SOFTWARE CO Ltd
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd
Original Assignee
SHANGHAI BETA SOFTWARE CO Ltd
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI BETA SOFTWARE CO Ltd, State Grid Corp of China SGCC, State Grid Qinghai Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd filed Critical SHANGHAI BETA SOFTWARE CO Ltd
Priority to CN201711251510.6A priority Critical patent/CN108259263A/zh
Publication of CN108259263A publication Critical patent/CN108259263A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种数据分析方法、装置及系统。其中,该方法包括:接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。本发明解决了现有的电力业务系统的异常分析较为复杂且效率低下,难以满足业务需求的技术问题。

Description

数据分析方法、装置及系统
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据分析方法、装置及系统。
背景技术
在目前这个互联网技术大发展的时代,电力行业也越来越倾向于选择互联网作为生产平台,各种IT新技术的运用使电力业务运行更便捷的同时,也给核心业务IT系统的运维部门带来了巨大的挑战。在电力信息化运维早期,IT运维管理侧重于网络、服务器等基础设备,但是随着核心业务系统涉及的环节日益增多,单一的设备管理已经不足以满足业务运行需求,越来越多的电力用户已经将关注点从单一网络转变到当前的业务系统,落实保障业务系统的各个环节成为重中之重。
现有核心业务系统在出现各类异常问题时,往往是从业务组成要素的角度,分部门进行根原因分析,对业务保障而言诊断时间过长,问题定位较为复杂,导致最终核心业务中断的失效代价很高。
针对上述现有的电力业务系统的异常分析较为复杂且效率低下,难以满足业务需求的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据分析方法、装置及系统,以至少解决现有的电力业务系统的异常分析较为复杂且效率低下,难以满足业务需求的技术问题。
根据本发明实施例的一个方面,提供了一种数据分析系统,包括:数据采集层,用于接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;数据处理层,与数据采集层连接,用于根据访问流量信息,确定指定类型业务的业务数据;并通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
进一步地,数据采集层,在解析数据报文之前,还用于依据预定条件对数据报文进行分类处理,预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量。
进一步地,上述系统还包括:采集接口层,连接数据采集层和数据处理层,其中,数据采集层,还用于通过采集接口层将访问流量信息传输至数据处理层。
进一步地,上述业务系统包括业务服务器和网络线路,还包括:至少一个交换机,与业务服务器连接,其中,至少一个交换机配置有端口镜像;至少一个数据采集口,与至少一个交换机连接,用于通过至少一个交换机,采集业务服务器和网络线路的流量数据,并对流量数据进行压缩处理,得到业务系统的数据报文。
进一步地,上述指定类型业务包括:主机、数据库、中间件和标准应用,其中,数据处理层,还用于分别对指定类型业务中的主机、数据库、中间件、标准应用的业务数据进行分析处理,确定业务系统的运行状况。
进一步地,上述数据分析系统,还用于在确定业务系统的运行状况异常的情况下,发出异常提示信息,其中,异常提示信息至少用于提示对业务系统进行断网处理。
根据本发明实施例的另一方面,还提供了一种数据分析方法,包括:接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
进一步地,在解析数据报文之前,上述方法还包括:依据预定条件对数据报文进行分类处理,预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量;触发通过解析数据报文确定业务系统中的指定类型业务的访问流量信息的步骤通过解析数据报文确定业务系统中的核心业务的访问流量信息。
进一步地,在通过比对上述业务数据与预定的业务基线数据,确定上述业务系统的运行状况之后,上述方法还包括:在确定业务系统的运行状况异常的情况下,发出异常提示信息,其中,异常提示信息至少用于提示对业务系统进行断网处理。
根据本发明实施例的另一方面,还提供了一种数据分析装置,包括:接收模块,用于接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;第一确定模块,用于根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;第二确定模块,用于通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
在本发明实施例中,采用数据分析的方式,通过接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况,达到了及时确定电力业务系统运行是否异常的目的,从而实现了保障电力业务系统高效稳定运行的技术效果,进而解决了现有的电力业务系统的异常分析较为复杂且效率低下,难以满足业务需求的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种数据分析系统的结构示意图;
图2是根据本发明实施例的一种数据分析方法的步骤流程图;以及
图3是根据本发明实施例的一种数据分析装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在描述本发明实施例之前,对本发明实施例所涉及的术语或名词进行解释说明:
Sflow协议:是由InMon、HP和FoundryNetworks于2001年联合开发的一种网络监测技术,它采用数据流随机采样技术,可提供完整的第二层到第四层,甚至全网络范围内的流量信息,可以适应超大网络流量(如大于10Gbit/s)环境下的流量分析,让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。
Netflow协议:NetFlow是一种数据交换方式,其工作原理是:NetFlow利用标准的交换模式处理数据流的第一个IP包数据,生成NetFlow缓存,随后同样的数据基于缓存信息在同一个数据流中进行传输,不再匹配相关的访问控制等策略,NetFlow缓存同时包含了随后数据流的统计信息。
端口镜像:通过在交换机或路由器上,将一个或多个源端口的数据流量转发到某一个指定端口来实现对网络的监听,指定端口称之为“镜像端口”或“目的端口”,在不严重影响源端口正常吞吐流量的情况下,可以通过镜像端口对网络的流量进行监控分析。在企业中用镜像功能,可以很好地对企业内部的网络数据进行监控管理,在网络出故障的时候,可以快速地定位故障。
BSM:是(Business Service Management)的缩写,是以业务为重点的IT服务与基础IT基础设施之间建立起联系的软件。以业务为重点的IT服务可以是特殊的IT服务或者是业务流程的一部分,但是它必须支持业务所有者重要的、可见的业务指标。
根原因分析:根本原因分析(RCA)是一项结构化的问题处理法,用以逐步找出问题的根本原因并加以解决,而不是仅仅关注问题的表征。根本原因分析是一个系统化的问题处理过程,包括确定和分析问题原因,找出问题解决办法,并制定问题预防措施。在组织管理领域内,根本原因分析能够帮助利益相关者发现组织问题的症结,并找出根本性的解决方案。
业务保障系统BTDO:是指一种从业务访问角度及时发现问题、准确定位问题、快速解决问题的系统。
实施例1
本发明实施例提供了一种数据分析系统的实施例,图1是根据本发明实施例的一种数据分析系统的结构示意图,如图1所示,上述数据分析系统,包括:数据采集层10和数据处理层12,其中,
数据采集层10,用于接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;数据处理层12,与数据采集层连接,用于根据访问流量信息,确定指定类型业务的业务数据;并通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
在本发明实施例中,采用数据分析的方式,通过接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况,达到了及时确定电力业务系统运行是否异常的目的,从而实现了保障电力业务系统高效稳定运行的技术效果,进而解决了现有的电力业务系统的异常分析较为复杂且效率低下,难以满足业务需求的技术问题。
需要说明的是,对于核心业务系统出现问题,首先需要关注的是业务数据变化,从运维故障分析可知,业务系统一旦出现问题,往往首先反映在网络流量、业务在线人数、各个业务的服务器负载出现变化。
本申请所提供的上述数据分析系统可以但不限于应用于电力信息化技术领域,例如,可以适用于电网公司核心业务系统,上述数据分析系统可以基于大数据分析技术实现。
本申请上述数据分析系统可以通过端口镜像方式,对交换机的流量进行监控,其中,数据采集点越多,则监控范围越广,采集的数据越全面,分析的结果越精准。上述数据分析系统的体系架构支持“分布部署、集中监控”,其采用多层架构,可以支持外部挂接多个数据采集探针,并在上层应用进行集中展现。
可选的,数据采集层10和数据处理层12可以为业务保障系统BTDO中的架构层;上述业务数据至少包括如下之一:流量数据、会话数据、IP连接数据。
在一种可选的实施方式中,上述数据分析系统可以实现数据的拆包组包功能,用户无需再受限于单条报文200字节的限制,可按照原应用系统要求发送大数据量。
作为一种可选的实施例,监测业务数据变化的核心是要建立基于业务维度的业务数据基线,其中,上述业务数据基线包括:正常的业务系统运行时的业务数据平均值,波峰值和波谷值等信息。通过建立上述各个数据值和时间的对应关系,如果监测到在具体时间点的数据值和正常数据值出现较大的差异,则确定业务系统出现异常,并尽快反馈上述异常的问题。
需要说明的是,上述业务数据基线可以但不限于关联如下任意一种或多种指标:核心业务数据流量变化指标、业务在线访问数据变化指标、业务异常连接监测指标、业务集群负载分析指标。
作为另外一种可选的实施例,可以自动为其创建访问流量日基线,并自动定时进行基线对比操作,当触发越界阈值时,自动弹出越界提示信息。管理人员可以方便、及时的掌握这些管理对象的访问流量是否有突变情况发生,如果有的话则可以进一步细查,将问题隐患解决在萌芽状态。
此外,在不破坏现有业务组网模型的基础上,保证毫秒级的数据采集能力,进而可以保证对业务故障的快速分析,其中,本申请上述所有数据指标,均支持大于1G并发流量下的毫秒级快速分析。
本申请实施例采用先进的数据处理算法,可以支持单网口每秒千兆流量的,单网口每秒100万包的实时采集捕获、处理能力。上述单网口处理的平均包长度为125字节。在一般网络环境中,平均帧长度都是100多字节,可以在真正意义上的实现单端口千兆流量的处理能力。
在对业务安全基线进行分析时,由于一般的周期性业务的访问流量(总流量、访问IP数、会话数)存在一般性规律,并继续保持上述一般性规律运行,是周期性业务健康运行的一种外在表现。
因此,针对每一项业务,在本申请实施例中,可以自动创建各项流量指标的日基线(总流量、入流量、出流量、会话数、IP连接数);并自动定时对每一项业务的流量与基线中的流量进行比对;当达到上述每一项业务的流量越界阀值时,可以自动弹出越界提示信息,在业务保障系统BTDO的越界提示展现页面上可以显示如下任意一个或者多个提示信息:越界指标提示信息、越界指标72小时的变化趋势、处理建议等。
另外,在本申请上述实施例中,可以采用基线算法得到上述业务数据基线,其中,基线算法是业务数据分析的关键技术,可以根据基线自动生成,自动形成正常和异常的数据基线,对于判断业务数据至关重要。
在一种可选的实施例中,业务的访问流量信息是评判业务是否正常、健康的指标体系中的一个重要指标。业务的访问流量信息可以从一个侧面显著反映了当前业务运行的健康状况。其中,在业务正常的情况下,业务访问流量、客户端数、会话数等指标都是平稳的。如果一个业务中的任意一个或者多个指标出现突增、突低、甚至中断的情况,则可以确定上述业务可能出现异常。
此外,本申请所提供的上述数据分析系统采用硬件一体化、工业级设计、能使用大数据应用场景下的毫秒级分析要求,良好的处理能力,因而可以适应电网核心业务系统数据分析的现场要求。
在一种可选的实施例中,数据采集层10,在解析数据报文之前,还用于依据预定条件对数据报文进行分类处理,预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量。
在上述可选的实施例中,上述数据采集层10通过端口镜像数据分析方法,在不破坏现有业务系统结构的情况下,对接收到的数据报文进行分析,并将各类数据按照源地址、目的地址、连接端口、连接数量进行数据分类处理。
在一种可选的实施例中,上述系统还包括:采集接口层,连接数据采集层和数据处理层,其中,数据采集层,还用于通过采集接口层将访问流量信息传输至数据处理层。
可选的,上述采集接口层可以为业务数据采集口,上述业务数据采集口通过对交换机端口镜像的方式,采集网络线路流量数据,并对所采集的网络数据进行解包处理,从中解析出所关注的核心业务访问流量。对业务服务器所连的两个交换机进行端口镜像设置,采集所有该业务服务器的流量数据,在应用层汇总多个采集口所捕获的业务数据,经数据处理层进行合并计算后,可以通过业务保障系统BTDO进行图形化展示,在页面上展现最终结果。
另外,考虑到业务系统往往覆盖范围较大,从数据分析全面性上,需要考虑多数据接口的并发采集,例如,可以提供至少支持8个数据端口和至少2个分支采集装置同时进行数据采集,并且,采集的数据可以同时处理并支持行为匹配,对业务数据的快速分析提供技术基础。
在一种可选的实施例中,上述业务系统包括业务服务器和网络线路,还包括:至少一个交换机,与业务服务器连接,其中,至少一个交换机配置有端口镜像;至少一个数据采集口,与至少一个交换机连接,用于通过至少一个交换机,采集业务服务器和网络线路的流量数据,并对流量数据进行压缩处理,得到业务系统的数据报文。
在一种可选的实施例中,上述指定类型业务包括:主机、数据库、中间件和标准应用,其中,数据处理层,还用于分别对指定类型业务中的主机、数据库、中间件、标准应用的业务数据进行分析处理,确定业务系统的运行状况。
在本申请实施例中,还可以对业务组件的流量进行分析,由于所有业务都是由一系列的业务组件所支撑的:主机、数据库、中间件、标准应用,由于如果上述业务组件的运行不正常,则势必会影响到业务的正常运行。因此,BTDO可以将上述业务组件的访问流量也纳入监控、分析、管理的范畴,进而可以实现对网络中所有的主机、数据库、中间件、标准应用的流量、会话数、IP连接数进行实时分析,并自动保存所有管理对象的流量历史记录,以便进行流量趋势分析,从而可以确定业务系统的运行状况。
在一种可选的实施例中,上述数据分析系统,还用于在确定业务系统的运行状况异常的情况下,发出异常提示信息,其中,异常提示信息至少用于提示对业务系统进行断网处理。
通过本申请上述实施例,可以获取并实时查看指定线路上各个核心业务的实时流量信息,分析核心业务占用流量分布情况,建立正常的业务基线数据,进一步的,还可以查看指定业务的实时流量信息详情,例如,可以查看当前有多少IP在访问该业务;其中,哪些IP的流量消耗数据比较高,是否正常;哪些IP与该服务有较多的会话连接数,是否正常;如果发现某个IP访问该业务出现异常,则可以发出异常提示信息,例如,在定位到有问题的客户端时,提示使用BTDO系统的关闭交换机端口功能,对该客户端进行断网处理,避免影响业务系统的正常运行。
另外,上述BTDO系统在发现业务的异常问题时,可以提供多种分析工具定位上述异常问题的原因所在,需要说明的是,在确定上述指定类型的业务的运行状况异常的情况下,可以确定上述业务系统的运行状况异常。
需要说明的是,在本申请实施例中,还可以自动保存各业务流量的历史记录(例如,出入总流量、IP连接数、访问会话数等数据),并提供查看上述历史记录的便捷方法。
需要说明的是,本申请上述实施例还可以提供采集网口、管理网口通信方式,方便与多业务的交换设备对接。并且,本申请采用性能良好的芯片作为主处理器,数据存储和处理能力可以大大增强,对于短时间多业务系统接收的大量数据,但受限于单一网络接口带宽限制可以及时完成数据分析。
此外,本申请还可以实现对Netflow数据流协议和Sflow数据流协议在程序上进行二次帧封装,实现数据透传,用户无需考虑组网的影响,只需将业务数据镜像到数据分析系统即可。
本申请实施例还可以通过第三方系统通过接口获取经过处理后的数据,由第三方系统进行数据保存、处理、分析:会话流量清单,业务的流量统计数据,主机、数据库、中间件、标准应用的流量统计数据,根据IP地址统计流量的TOPN分析,根据协议端口统计流量的TOPN分析。
实施例2
本发明实施例提供了一种数据分析方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种数据分析方法的步骤流程图,如图2所示,上述数据分析方法,包括如下方法步骤:
步骤S102,接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;
步骤S104,根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;
步骤S106,通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
在一种可选的实施例中,上述业务数据至少包括如下之一:流量数据、会话数据、IP连接数据。
需要说明的是,对于核心业务系统出现问题,首先需要关注的是业务数据变化,从运维故障分析可知,业务系统一旦出现问题,往往首先反映在网络流量、业务在线人数、各个业务的服务器负载出现变化。
本申请所提供的上述数据分析方法可以但不限于应用于电力信息化技术领域;上述数据分析方法可以在上述数据分析系统中实现,并且,上述方法还适用于电网公司核心业务。
本申请上述数据分析方法可以通过端口镜像方式,对交换机的流量进行监控,其中,数据采集点越多,则监控范围越广,采集的数据越全面,分析的结果越精准。上述数据分析系统的体系架构支持“分布部署、集中监控”,其采用多层架构,可以支持外部挂接多个数据采集探针,并在上层应用进行集中展现。
在一种可选的实施方式中,上述数据分析方法可以实现数据的拆包组包功能,用户无需再受限于单条报文200字节的限制,可按照原应用系统的要求发送大数据量。
作为一种可选的实施例,监测业务数据变化的核心是要建立基于业务维度的业务数据基线,其中,上述业务数据基线包括:正常的业务系统运行时的业务数据平均值,波峰值和波谷值等信息。通过建立上述各个数据值和时间的对应关系,如果监测到在具体时间点的数据值和正常数据值出现较大的差异,则确定业务系统出现异常,并尽快反馈上述异常的问题。
需要说明的是,上述业务数据基线可以但不限于关联如下任意一种或多种指标:核心业务数据流量变化指标、业务在线访问数据变化指标、业务异常连接监测指标、业务集群负载分析指标。
作为另外一种可选的实施例,可以自动为其创建访问流量日基线,并自动定时进行基线对比操作,当触发越界阈值时,自动弹出越界提示信息。管理人员可以方便、及时的掌握这些管理对象的访问流量是否有突变情况发生,如果有的话则可以进一步细查,将问题隐患解决在萌芽状态。
此外,在不破坏现有业务组网模型的基础上,保证毫秒级的数据采集能力,进而可以保证对业务故障的快速分析,其中,本申请上述所有数据指标,均支持大于1G并发流量下的毫秒级快速分析。
本申请实施例采用先进的数据处理算法,可以支持单网口每秒千兆流量的,单网口每秒100万包的实时采集捕获、处理能力。上述单网口处理的平均包长度为125字节。在一般网络环境中,平均帧长度都是100多字节,可以在真正意义上的实现单端口千兆流量的处理能力。
在对业务安全基线进行分析时,由于一般的周期性业务的访问流量(总流量、访问IP数、会话数)存在一般性规律,并继续保持上述一般性规律运行,是周期性业务健康运行的一种外在表现。
因此,针对每一项业务,在本申请实施例中,可以自动创建各项流量指标的日基线(总流量、入流量、出流量、会话数、IP连接数);并自动定时对每一项业务的流量与基线中的流量进行比对;当达到上述每一项业务的流量越界阀值时,可以自动弹出越界提示信息,在BTDO系统的越界提示展现页面上可以显示如下任意一个或者多个提示信息:越界指标提示信息、越界指标72小时的变化趋势、处理建议等。
另外,在本申请上述实施例中,可以采用基线算法得到上述业务数据基线,其中,基线算法是业务数据分析的关键技术,可以根据基线自动生成,自动形成正常和异常的数据基线,对于判断业务数据至关重要。
在一种可选的实施例中,业务的访问流量信息是评判业务是否正常、健康的指标体系中的一个重要指标。业务的访问流量信息可以从一个侧面显著反映了当前业务运行的健康状况。其中,在业务正常的情况下,业务访问流量、客户端数、会话数等指标都是平稳的。如果一个业务中的任意一个或者多个指标出现突增、突低、甚至中断的情况,则可以确定上述业务可能出现异常。
此外,本申请所提供的上述数据分析系统采用硬件一体化、工业级设计、能使用大数据应用场景下的毫秒级分析要求,良好的处理能力,因而可以适应电网核心业务系统数据分析的现场要求。
在一种可选的实施例中,在解析数据报文之前,上述方法还包括:依据预定条件对数据报文进行分类处理,预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量;触发通过解析数据报文确定业务系统中的指定类型业务的访问流量信息的步骤通过解析数据报文确定业务系统中的核心业务的访问流量信息。
在一种可选的实施例中,在通过比对上述业务数据与预定的业务基线数据,确定上述业务系统的运行状况之后,上述方法还包括:
在确定业务系统的运行状况异常的情况下,发出异常提示信息,其中,异常提示信息至少用于提示对业务系统进行断网处理。
通过本申请上述实施例,可以获取并实时查看指定线路上各个核心业务的实时流量信息,分析核心业务占用流量分布情况,建立正常的业务基线数据,进一步的,还可以查看指定业务的实时流量信息详情,例如,可以查看当前有多少IP在访问该业务;其中,哪些IP的流量消耗数据比较高,是否正常;哪些IP与该服务有较多的会话连接数,是否正常。
另外,如果发现某个IP访问该业务出现异常,则可以发出异常提示信息,例如,在定位到有问题的客户端时,提示使用BTDO系统的关闭交换机端口功能,对该客户端进行断网处理,避免影响业务系统的正常运行。其中,上述BTDO系统在发现业务的异常问题时,还可以提供多种分析工具定位上述异常问题的原因所在。
此外,仍需要说明的是,本实施例的可选或优选实施方式可以参见实施例1中的相关描述,此处不再赘述。
实施例3
本发明实施例,还提供了一种用于实施上述数据分析方法的装置,图3是根据本发明实施例的一种数据分析装置的结构示意图,上述数据分析装置,包括如下模块:接收模块30、第一确定模块32和第二确定模块34,其中,
接收模块30,用于接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;第一确定模块32,用于根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;第二确定模块34,用于通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
此处需要说明的是,上述接收模块30、第一确定模块32和第二确定模块34对应于实施例2中的步骤S102至步骤S106,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1和2所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是,本实施例的可选或优选实施方式可以参见实施例1和2中的相关描述,此处不再赘述。
上述的数据分析装置还可以包括处理器和存储器,上述接收模块30、第一确定模块32和第二确定模块34等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来调整空调设备的运行参数,以合理、准确的调整空调的送风状态。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质包括存储的程序,其中,在上述程序运行时控制上述存储介质所在设备执行上述任意一种数据分析方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
本申请实施例还提供了一种处理器。可选地,在本实施例中,上述处理器用于运行程序,其中,上述程序运行时执行上述任意一种数据分析方法。
本申请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
可选地,上述处理器执行程序时,还可以依据预定条件对数据报文进行分类处理,预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量;触发通过解析数据报文确定业务系统中的指定类型业务的访问流量信息的步骤通过解析数据报文确定业务系统中的核心业务的访问流量信息。
可选地,上述处理器执行程序时,还可以在确定业务系统的运行状况异常的情况下,发出异常提示信息,其中,异常提示信息至少用于提示对业务系统进行断网处理。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收业务系统的数据报文,并通过解析数据报文确定业务系统中的指定类型业务的访问流量信息;根据指定类型业务的访问流量信息,确定指定类型业务的业务数据;通过比对业务数据与预定的业务基线数据,确定业务系统的运行状况。
可选地,上述计算机程序产品执行程序时,还可以依据预定条件对数据报文进行分类处理,预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量;触发通过解析数据报文确定业务系统中的指定类型业务的访问流量信息的步骤通过解析数据报文确定业务系统中的核心业务的访问流量信息。
可选地,上述计算机程序产品执行程序时,还可以在确定业务系统的运行状况异常的情况下,发出异常提示信息,其中,异常提示信息至少用于提示对业务系统进行断网处理。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据分析系统,其特征在于,包括:
数据采集层,用于接收业务系统的数据报文,并通过解析所述数据报文确定所述业务系统中的指定类型业务的访问流量信息;
数据处理层,与所述数据采集层连接,用于根据所述访问流量信息,确定所述指定类型业务的业务数据;并通过比对所述业务数据与预定的业务基线数据,确定所述业务系统的运行状况。
2.根据权利要求1所述的系统,其特征在于,所述数据采集层,在解析所述数据报文之前,还用于依据预定条件对所述数据报文进行分类处理,所述预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量。
3.根据权利要求1所述的系统,其特征在于,所述系统还包括:
采集接口层,连接所述数据采集层和所述数据处理层,其中,所述数据采集层,还用于通过所述采集接口层将所述访问流量信息传输至所述数据处理层。
4.根据权利要求1所述的系统,其特征在于,所述业务系统包括业务服务器和网络线路,还包括:
至少一个交换机,与所述业务服务器连接,其中,所述至少一个交换机配置有端口镜像;
至少一个数据采集口,与所述至少一个交换机连接,用于通过所述至少一个交换机,采集所述业务服务器和所述网络线路的流量数据,并对所述流量数据进行压缩处理,得到所述业务系统的数据报文。
5.根据权利要求1所述的系统,其特征在于,所述指定类型业务包括:主机、数据库、中间件和标准应用,其中,
所述数据处理层,还用于分别对所述指定类型业务中的主机、数据库、中间件、标准应用的业务数据进行分析处理,确定所述业务系统的运行状况。
6.根据权利要求1至5中任意一项所述的系统,其特征在于,所述数据分析系统,还用于在确定所述业务系统的运行状况异常的情况下,发出异常提示信息,其中,
所述异常提示信息至少用于提示对所述业务系统进行断网处理。
7.一种数据分析方法,其特征在于,包括:
接收业务系统的数据报文,并通过解析所述数据报文确定所述业务系统中的指定类型业务的访问流量信息;
根据所述指定类型业务的访问流量信息,确定所述指定类型业务的业务数据;
通过比对所述业务数据与预定的业务基线数据,确定所述业务系统的运行状况。
8.根据权利要求7所述的方法,其特征在于,在解析所述数据报文之前,所述方法还包括:
依据预定条件对所述数据报文进行分类处理,所述预定条件包括如下至少之一:源地址、目的地址、连接端口、连接数量。
9.根据权利要求7或8中所述的方法,其特征在于,在通过比对所述业务数据与预定的业务基线数据,确定所述业务系统的运行状况之后,所述方法还包括:
在确定所述业务系统的运行状况异常的情况下,发出异常提示信息,其中,所述异常提示信息至少用于提示对所述业务系统进行断网处理。
10.一种数据分析装置,其特征在于,包括:
接收模块,用于接收业务系统的数据报文,并通过解析所述数据报文确定所述业务系统中的指定类型业务的访问流量信息;
第一确定模块,用于根据所述指定类型业务的访问流量信息,确定所述指定类型业务的业务数据;
第二确定模块,用于通过比对所述业务数据与预定的业务基线数据,确定所述业务系统的运行状况。
CN201711251510.6A 2017-12-01 2017-12-01 数据分析方法、装置及系统 Pending CN108259263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711251510.6A CN108259263A (zh) 2017-12-01 2017-12-01 数据分析方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711251510.6A CN108259263A (zh) 2017-12-01 2017-12-01 数据分析方法、装置及系统

Publications (1)

Publication Number Publication Date
CN108259263A true CN108259263A (zh) 2018-07-06

Family

ID=62722418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711251510.6A Pending CN108259263A (zh) 2017-12-01 2017-12-01 数据分析方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108259263A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191103A (zh) * 2018-07-27 2019-01-11 阿里巴巴集团控股有限公司 一种数据梳理方法及装置
CN109495317A (zh) * 2018-12-13 2019-03-19 中国南方电网有限责任公司 数据网流量预测方法及装置
CN111131290A (zh) * 2019-12-30 2020-05-08 山石网科通信技术股份有限公司 流量数据处理方法和装置
CN111667180A (zh) * 2020-06-07 2020-09-15 国网宁夏电力有限公司营销服务中心(国网宁夏电力有限公司计量中心) 电力业务管理方法、装置及电子设备
CN113612661A (zh) * 2021-08-03 2021-11-05 北京安天网络安全技术有限公司 检验程序稳定性的方法、装置、计算设备及存储介质
CN115348339A (zh) * 2022-08-12 2022-11-15 北京威努特技术有限公司 一种基于功能码和业务数据相关性的工控异常检测方法
CN117540369A (zh) * 2023-11-13 2024-02-09 深圳市马博士网络科技有限公司 用于安全分析的数值行为安全基线生成方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866951A (zh) * 2005-05-20 2006-11-22 华为技术有限公司 在网络中检测共享接入主机的方法及系统
CN101026630A (zh) * 2007-03-30 2007-08-29 华为技术有限公司 检测方法、统计分析服务器以及检测系统
CN102158401A (zh) * 2011-03-03 2011-08-17 江苏方天电力技术有限公司 基于电力自动化系统的流量监测模型
CN102752792A (zh) * 2011-12-26 2012-10-24 华为技术有限公司 监测移动终端上网业务质量的方法、设备及系统
CN103957118A (zh) * 2014-04-18 2014-07-30 国家电网公司 电力数据通信网网络流量实时智能分析方法及其系统
US20150341376A1 (en) * 2014-05-26 2015-11-26 Solana Networks Inc. Detection of anomaly in network flow data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866951A (zh) * 2005-05-20 2006-11-22 华为技术有限公司 在网络中检测共享接入主机的方法及系统
CN101026630A (zh) * 2007-03-30 2007-08-29 华为技术有限公司 检测方法、统计分析服务器以及检测系统
CN102158401A (zh) * 2011-03-03 2011-08-17 江苏方天电力技术有限公司 基于电力自动化系统的流量监测模型
CN102752792A (zh) * 2011-12-26 2012-10-24 华为技术有限公司 监测移动终端上网业务质量的方法、设备及系统
CN103957118A (zh) * 2014-04-18 2014-07-30 国家电网公司 电力数据通信网网络流量实时智能分析方法及其系统
US20150341376A1 (en) * 2014-05-26 2015-11-26 Solana Networks Inc. Detection of anomaly in network flow data

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191103A (zh) * 2018-07-27 2019-01-11 阿里巴巴集团控股有限公司 一种数据梳理方法及装置
CN109495317A (zh) * 2018-12-13 2019-03-19 中国南方电网有限责任公司 数据网流量预测方法及装置
CN109495317B (zh) * 2018-12-13 2022-01-18 中国南方电网有限责任公司 数据网流量预测方法及装置
CN111131290A (zh) * 2019-12-30 2020-05-08 山石网科通信技术股份有限公司 流量数据处理方法和装置
CN111667180A (zh) * 2020-06-07 2020-09-15 国网宁夏电力有限公司营销服务中心(国网宁夏电力有限公司计量中心) 电力业务管理方法、装置及电子设备
CN113612661A (zh) * 2021-08-03 2021-11-05 北京安天网络安全技术有限公司 检验程序稳定性的方法、装置、计算设备及存储介质
CN115348339A (zh) * 2022-08-12 2022-11-15 北京威努特技术有限公司 一种基于功能码和业务数据相关性的工控异常检测方法
CN115348339B (zh) * 2022-08-12 2023-11-21 北京威努特技术有限公司 一种基于功能码和业务数据相关性的工控异常检测方法
CN117540369A (zh) * 2023-11-13 2024-02-09 深圳市马博士网络科技有限公司 用于安全分析的数值行为安全基线生成方法及装置
CN117540369B (zh) * 2023-11-13 2024-06-21 深圳市马博士网络科技有限公司 用于安全分析的数值行为安全基线生成方法及装置

Similar Documents

Publication Publication Date Title
CN108259263A (zh) 数据分析方法、装置及系统
US10917325B2 (en) Deriving test profiles based on security and network telemetry information extracted from the target network environment
Thottan et al. Adaptive thresholding for proactive network problem detection
US8391157B2 (en) Distributed flow analysis
US5787253A (en) Apparatus and method of analyzing internet activity
DE102006001998B4 (de) Werkzeuge, Verfahren und Systeme zum entfernten Speichern und Wiedererlangen von Detailaufzeichnungen in Anbetracht eines spezifischen Anrufs oder einer Datensitzung
EP1999890B1 (en) Automated network congestion and trouble locator and corrector
TWI361595B (en) Pool-based network diagnostic systems and methods
DE60317588T2 (de) Verfahren zur Ermittlung der peer-to-peer Servicequalität (QOS)
US7711751B2 (en) Real-time network performance monitoring system and related methods
US7804787B2 (en) Methods and apparatus for analyzing and management of application traffic on networks
EP2081321A2 (en) Sampling apparatus distinguishing a failure in a network even by using a single sampling and a method therefor
US20090238088A1 (en) Network traffic analyzing device, network traffic analyzing method and network traffic analyzing system
CN103036733B (zh) 非常规网络接入行为的监测系统及监测方法
CN109766695A (zh) 一种基于融合决策的网络安全态势感知方法和系统
JP2005508593A (ja) ネットワークで情報のルーティング制御を実現するためのシステム及び方法
CN105306246B (zh) 一种自动应答网络类投诉的方法、装置和服务器
CN112291075B (zh) 网络故障定位方法、装置、计算机设备及存储介质
Janabi et al. Convolutional neural network based algorithm for early warning proactive system security in software defined networks
CN103532795A (zh) 一种检测web业务系统可用性的监控系统及方法
CN106656616A (zh) 一种计算机网全网流量分析方法
CN108092854A (zh) 基于iec61375协议的列车级以太网设备的测试方法及装置
CN111193608A (zh) 网络质量探测监控方法、装置、系统和计算机设备
Alkenani et al. Network Monitoring Measurements for Quality of Service: A Review.
CN108512816A (zh) 一种流量劫持的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706