CN109672582A - 全路径监测方法、设备、存储介质及装置 - Google Patents

全路径监测方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN109672582A
CN109672582A CN201811120733.3A CN201811120733A CN109672582A CN 109672582 A CN109672582 A CN 109672582A CN 201811120733 A CN201811120733 A CN 201811120733A CN 109672582 A CN109672582 A CN 109672582A
Authority
CN
China
Prior art keywords
target
network
data
business
complete trails
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811120733.3A
Other languages
English (en)
Other versions
CN109672582B (zh
Inventor
方振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN201811120733.3A priority Critical patent/CN109672582B/zh
Publication of CN109672582A publication Critical patent/CN109672582A/zh
Application granted granted Critical
Publication of CN109672582B publication Critical patent/CN109672582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/062Generation of reports related to network traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/067Generation of reports using time frame reporting

Abstract

本发明公开了一种全路径监测方法、设备、存储介质及装置,该方法包括:获取网络流数据,从所述网络流数据中提取出网络数据包;对所述网络数据包进行报文解析,获得目标业务数据;按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇;计算所述业务聚类簇的目标业务量和目标响应时间;将所述目标业务量和所述目标响应时间进行展示。本发明中,对实时的海量网络流数据进行数据的聚类和展示,可以精细化到任何流程子节点,自动构建业务明细拓扑图,实现对当前业务量和业务状态进行全网监测。

Description

全路径监测方法、设备、存储介质及装置
技术领域
本发明涉及网络安全技术领域,尤其涉及一种全路径监测方法、设备、存储介质及装置。
背景技术
现有技术中,业内对于业务流程的监测都是人工进行业务流程的梳理和分析,效率低,并且业务流程众多,要实现全网的各业务流程的全面监测,需要耗费大量的人工成本。因此,如何实现自动化全路径监测是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种全路径监测方法、设备、存储介质及装置,旨在解决现有技术中全路径监测效率低的技术问题。
为实现上述目的,本发明提供一种全路径监测方法,所述全路径监测方法包括以下步骤:
获取网络流数据,从所述网络流数据中提取出网络数据包;
对所述网络数据包进行报文解析,获得目标业务数据;
按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇;
计算所述业务聚类簇的目标业务量和目标响应时间;
将所述目标业务量和所述目标响应时间进行展示。
优选地,所述获取网络流数据,从所述网络流数据中提取出网络数据包,包括:
获取网络流数据,从所述网络流数据中提取出网络数据包、源网络协议地址和目的网络协议地址;
根据所述源网络协议地址和目的网络协议地址确定所述网络数据包的目标业务系统;
所述对所述网络数据包进行报文解析,获得目标业务数据,包括:
查找与所述目标业务系统对应的目标报文格式;
根据所述目标报文格式对所述网络数据包进行报文解析,获得目标业务数据。
优选地,所述目标业务数据为执行所述目标业务流程时所产生并通过第一应用服务器的接口进行传输;
所述将所述目标业务量和所述目标响应时间进行展示之后,所述全路径监测方法包括:
根据所述源网络协议地址和目的网络协议地址确定第一应用服务器之间的第一调用关系;
将所述第一调用关系与预设调用关系进行交叉验证;
若验证不匹配,则进行告警提示。
优选地,所述计算所述业务聚类簇的目标业务量和目标响应时间,包括:
获取所述业务聚类簇中的各目标业务数据对应的单个业务量,将各单个业务量进行累加,获得所述业务聚类簇的目标业务量;
获取所述业务聚类簇中的各目标业务数据对应的单个响应时间,将各单个响应时间进行累加,获得所述业务聚类簇的目标响应时间。
优选地,所述将所述目标业务量和目标响应时间进行展示之后,所述全路径监测方法还包括:
判断所述目标业务量是否偏离基线业务量超过第一预设范围,或,判断所述目标响应时间是否偏离基线响应时间超过第二预设范围;
若所述目标业务量偏离基线业务量超过所述第一预设范围,或,所述目标响应时间偏离基线响应时间超过所述第二预设范围,则进行告警提示。
优选地,所述将所述目标业务量和目标响应时间进行展示之后,所述全路径监测方法还包括:
根据目标用户标识从所述网络数据流中查找对应的用户业务信息,所述用户业务信息为所述目标用户标识对应的目标用户执行用户业务流程时所产生并通过第二应用服务器的接口进行传输;
从所述用户业务信息中提取出应用交互报文信息,对所述应用交互报文信息进行解析,获得所述第二应用服务器之间的第二调用关系。
优选地,所述从所述用户业务信息中提取出应用交互报文信息,对所述应用交互报文信息进行解析,获得所述第二应用服务器之间的第二调用关系之后,所述全路径监测方法还包括:
从所述网络数据流中提取出所述目标用户标识对应的目标用户的基本信息;
根据所述用户业务流程确定所述目标用户进行操作的业务类型或业务产品;
根据所述基本信息、所述业务类型或业务产品构建所述目标用户的用户画像信息。
此外,为实现上述目的,本发明还提出一种全路径监测设备,所述全路径监测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的全路径监测程序,所述全路径监测程序配置为实现如上文所述的全路径监测方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有全路径监测程序,所述全路径监测程序被处理器执行时实现如上文所述的全路径监测方法的步骤。
此外,为实现上述目的,本发明还提出一种全路径监测装置,所述全路径监测装置包括:提取模块、解析模块、聚类模块、计算模块和展示模块;
所述提取模块,用于获取网络流数据,从所述网络流数据中提取出网络数据包;
所述解析模块,用于对所述网络数据包进行报文解析,获得目标业务数据;
所述聚类模块,用于按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇;
所述计算模块,用于计算所述业务聚类簇的目标业务量和目标响应时间;
所述展示模块,用于将所述目标业务量和所述目标响应时间进行展示。
本发明中,获取网络流数据,从所述网络流数据中提取出网络数据包,对所述网络数据包进行报文解析,获得目标业务数据,按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇,对实时的海量网络流数据进行数据的聚类,可以精细化到任何流程子节点,自动构建业务明细拓扑图;计算所述业务聚类簇的目标业务量和目标响应时间,将所述目标业务量和所述目标响应时间进行展示,实现对当前业务量和业务状态进行全网监测,实现快速进行全网的业务流程监测和展示。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的全路径监测设备的结构示意图;
图2为本发明全路径监测方法第一实施例的流程示意图;
图3为本发明全路径监测方法第二实施例的流程示意图;
图4为本发明全路径监测方法第三实施例的流程示意图;
图5为本发明全路径监测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的全路径监测设备结构示意图。
如图1所示,该全路径监测设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可以是稳定的存储器(Non-volatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对全路径监测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及全路径监测程序。
在图1所示的全路径监测设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接用户设备;所述全路径监测设备通过处理器1001调用存储器1005中存储的全路径监测程序,并执行本发明实施例提供的全路径监测方法。
基于上述硬件结构,提出本发明全路径监测方法的实施例。
参照图2,图2为本发明全路径监测方法第一实施例的流程示意图,提出本发明全路径监测方法第一实施例。
在第一实施例中,所述全路径监测方法包括以下步骤:
步骤S10:获取网络流数据,从所述网络流数据中提取出网络数据包。
应理解的是,本实施例的执行主体是所述全路径监测设备,其中,所述全路径监测设备可为个人电脑或服务器等电子设备。可从网络旁路中获取到的所述网络流数据,所述网络流数据为全网中各业务流程执行过程中产生的数据,所述网络流数据包括:源网络协议(IP)地址、目标网络协议(IP)地址和网络数据包,根据所述源网络协议地址和所述目的网络协议地址可确定出所述网络数据包所属的业务系统。对所述网络数据包进行过滤,只对在所述全路径监测设备中注册的,并需要检测的业务系统的网络数据包进行分析和统计。
步骤S20:对所述网络数据包进行报文解析,获得目标业务数据。
可理解的是,所述网络数据包中的所述目标业务数据,包括:业务产品、当前执行业务系统、业务种类、流程节点名、流程状态、客户状态和客户标识等信息。所述网络流数据包括:源网络协议(IP)地址、目标网络协议(IP)地址和网络数据包,根据所述源网络协议地址和所述目的网络协议地址可确定出所述网络数据包所属的业务系统,根据所述网络数据包所属的业务系统对应的报文格式对所述网络数据包进行报文解析。每个网络数据包都会进行解析,在所述全路径监测设备中,对每个业务系统和每个业务流程节点状态,可根据实时的所述网络数据包进行分析,实现动态的业务量的展示。
步骤S30:按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇。
需要说明的是,所述预设业务关键词包括:业务产品、业务系统、业务流程节点和流程状态等,按照所述预设业务关键词对所述目标业务数据进行数据聚类,即根据所述预设业务关键词对各目标业务数据进行归并,则可获得与所述预设业务关键词对应的所有的目标业务数据。
步骤S40:计算所述业务聚类簇的目标业务量和目标响应时间。
在具体实现中,可对所述业务聚类簇中的各目标业务数据,计算上下游网络数据包的调用时间和业务量,则相应的可展示两个系统之间的调用时间和业务量;可将所述业务聚类簇中的各目标业务数据对应的单个业务流程的单个调用时间进行累加,获得完整业务流程的业务量,将各目标业务数据对应的单个业务流程的单个响应时间进行累加,获得完整业务流程的响应时间;还可直接获取单个业务操作的业务量和响应时间。所述目标业务量为所述业务聚类簇中的各目标业务数据对应的单个业务流程的单个调用时间进行累加,获得完整业务流程的业务量。所述目标响应时间为所述业务聚类簇中的各目标业务数据对应的单个业务流程的单个响应时间进行累加,获得完整业务流程的响应时间。本实施例中,所述步骤S40,包括:获取所述业务聚类簇中的各目标业务数据对应的单个业务量,将各单个业务量进行累加,获得所述业务聚类簇的目标业务量;获取所述业务聚类簇中的各目标业务数据对应的单个响应时间,将各单个响应时间进行累加,获得所述业务聚类簇的目标响应时间。
步骤S50:将所述目标业务量和所述目标响应时间进行展示。
应理解的是,为了统计各个业务量,业务流程的响应时间,可以在所述全路径监测设备的可视化系统中以图表方式展示上述当前实时两个系统之间的调用时间和业务量、完整业务流程的业务量和响应时间以及单个业务操作的业务量和响应时间。将所述目标业务量和所述目标响应时间进行展示,则可直观的监测到各业务流程的实时的所述目标业务量和所述目标响应时间。还可将所述目标业务量和所述目标响应时间与业务量基线和响应时间基线进行比对,以判断各业务流程是否存在异常。
在第一实施例中,获取网络流数据,从所述网络流数据中提取出网络数据包,对所述网络数据包进行报文解析,获得目标业务数据,按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇,对实时的海量网络流数据进行数据的聚类,可以精细化到任何流程子节点,自动构建业务明细拓扑图;计算所述业务聚类簇的目标业务量和目标响应时间,将所述目标业务量和所述目标响应时间进行展示,实现对当前业务量和业务状态进行全网监测,实现快速进行全网的业务流程监测和展示。
参照图3,图3为本发明全路径监测方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明全路径监测方法的第二实施例。
在第二实施例中,所述步骤S10,包括:
步骤S101:获取网络流数据,从所述网络流数据中提取出网络数据包、源网络协议地址和目的网络协议地址。
可理解的是,可从网络旁路中获取到的所述网络流数据,所述网络流数据为全网中各业务流程执行过程中产生的数据,所述网络流数据包括:源网络协议(IP)地址、目标网络协议(IP)地址和网络数据包,对所述网络数据包进行过滤,只对在所述全路径监测设备中注册的,并需要检测的业务系统的网络数据包进行分析和统计。
步骤S102:根据所述源网络协议地址和目的网络协议地址确定所述网络数据包的目标业务系统。
应理解的是,可通过所述源网络协议地址和所述目的网络协议地址确定所述网络数据包的来源和去处,进而确定出所述网络数据包被调用时对应的第一应用服务器之间的第一调用关系,从而确定出所述络数据包的目标业务系统。针对不同的业务系统,根据不同应用的报文格式,对所述网络数据包进行报文解析,得到网络数据包中的目标业务数据。
所述步骤S20,包括:
步骤S201:查找与所述目标业务系统对应的目标报文格式。
需要说明的是,不同的业务系统的服务器提供服务,通过源网络协议地址、目的网络协议地址和端口进行服务访问。所述全路径监测设备通过连接服务器指定的端口进行消息交互,服务器和所述全路径监测设备约定了不同的业务系统的请求报文格式和响应报文格式,可将约定的不同业务系统和对应的报文格式之间的对应关系进行存储,在对所述网络数据包进行报文解析之前,从存储的对应关系中查找与所述目标业务系统对应的目标报文格式。
步骤S202:根据所述目标报文格式对所述网络数据包进行报文解析,获得目标业务数据。
在具体实现中,传输协议可以是TCP(Transmission Control Protocol)或UDP(User Datagram Protocol)协议,以TCP传输协议为例,TCP报文格式中通常包括:端口号、源端口、目的端口、序号和确认号、数据偏移或首部长度、保留、控制位、窗口、校验和、选项和填充、紧急指针以及数据部分,所述数据部分即所述目标业务数据,根据所述网络数据包所属的目标业务系统对应的所述目标报文格式对所述网络数据包进行报文解析,解析出的数据部分即所述目标业务数据。
在第二实施例中,所述目标业务数据为执行所述目标业务流程时所产生并通过第一应用服务器的接口进行传输。
所述步骤S50之后,还包括:
根据所述源网络协议地址和目的网络协议地址确定第一应用服务器之间的第一调用关系;
将所述第一调用关系与预设调用关系进行交叉验证;
若验证不匹配,则进行告警提示。
应理解的是,通过对所述网络流数据进行解析,即解析应用服务器之间传输的应用交互报文信息,可以获得所述业务系统中各应用服务器之间的各种网络交互和调用关系。
可理解的是,所述目标业务数据包括:业务产品、当前执行业务系统、业务种类、流程节点名、流程状态、客户状态和客户标识等信息中的至少一项。所述网络流数据包括所述源网络协议地址和所述目的网络协议地址,可通过所述源网络协议地址和所述目的网络协议地址确定所述目标业务数据的来源和去处,进而确定出所述目标业务数据对应的目标业务流程进行接口调用时对应的第一应用服务器之间的第一调用关系,可通过所述第一调用关系实现对所述目标业务流程的状态进行实时监控。
需要说明的是,为了实现对所述目标业务流程的状态进行实时监控的目的,在所述全路径监测设备中会录入预先梳理好的各业务系统间接口的预设调用关系。通过实时对网络流数据进行解析,根据调用的所述源网络协议地址和目的网络协议地址进行分析,得到实时的业务请求对应的所述第一调用关系。将所述第一调用关系和所述预设调用关系进行交叉验证。可以判断当前运行中的业务流程对应的所述第一调用关系是否匹配预先梳理的流程,实时监控全网最新的调用关系,可以自动得到业务流程之间的全路径监测。
在具体实现中,若所述第一调用关系与预设调用关系进行交叉验证的结果为验证不匹配,说明当前运行中的目标业务流程对应的所述第一调用关系与预先梳理的流程存在差异,此时发布告警提示,能够及时发现异常点,以使计算机运维工作人员能及时解决异常,以使系统尽快恢复正常运行状态。
在第二实施例中,所述步骤S50之后,还包括:
步骤S60:判断所述目标业务量是否偏离基线业务量超过第一预设范围,或,判断所述目标响应时间是否偏离基线响应时间超过第二预设范围。
应理解的是,由于所述网络数据包已经有信息埋点,在业务系统稳定运行一段时间,可以计算得到稳定运行的各所述业务聚类簇的基线业务量和基线响应时间。获取所述业务聚类簇中的各目标业务数据对应的单个业务量,将各单个业务量进行累加,获得所述业务聚类簇的目标业务量;获取所述业务聚类簇中的各目标业务数据对应的单个响应时间,将各单个响应时间进行累加,获得所述业务聚类簇的目标响应时间。将所述目标业务量和所述基线业务量进行比对,判断所述目标业务量是否偏离所述基线业务量超过第一预设范围,若超过,则说明所述业务聚类簇中的各业务流程当前运行过程存在异常,若未超过,则说明当前运行的所述业务聚类簇中的各业务流程当前运行过程正常。所述第一预设范围为所述业务聚类簇中的各业务流程正常运行时产生的所述基线业务量所允许的波动范围。
可理解的是,将所述目标响应时间与所述基线响应时间进行比对,判断所述目标响应时间是否偏离所述基线响应时间超过第二预设范围,若超过,则说明所述业务聚类簇中的各业务流程当前运行过程存在异常,若未超过,则说明当前运行的所述业务聚类簇中的各业务流程当前运行过程正常。所述第二预设范围为所述业务聚类簇中的各业务流程正常运行时产生的所述基线响应时间所允许的波动范围。
步骤S70:若所述目标业务量偏离基线业务量超过所述第一预设范围,或,所述目标响应时间偏离基线响应时间超过所述第二预设范围,则进行告警提示。
在具体实现中,若所述目标业务量偏离基线业务量超过所述第一预设范围,则说明所述业务聚类簇中的各业务流程当前运行过程存在异常,此时发布告警提示,能够及时对异常点进行定位并处理。若所述目标响应时间偏离基线响应时间超过所述第二预设范围,则说明所述业务聚类簇中的各业务流程当前运行过程存在异常,此时发布告警提示,能够及时提醒计算机运维工作人员尽快解决异常,以使系统尽快恢复正常运行状态。
在第二实施例中,判断所述目标业务量是否偏离基线业务量超过第一预设范围,或,判断所述目标响应时间是否偏离基线响应时间超过第二预设范围;若所述目标业务量偏离基线业务量超过第一预设范围,或,所述目标响应时间偏离基线响应时间超过第二预设范围,则进行告警提示,能够及时发现异常点,以使计算机运维工作人员能及时解决异常,以使系统尽快恢复正常运行状态。
参照图4,图4为本发明全路径监测方法第三实施例的流程示意图,基于第一实施例以及第二实施例提出本发明全路径监测方法第三实施例,在本实施例中,基于第一实施例进行说明。
在第三实施例中,所述步骤S50之后,还包括:
步骤S80:根据目标用户标识从所述网络数据流中查找对应的用户业务信息,所述用户业务信息为所述目标用户标识对应的目标用户执行用户业务流程时所产生并通过第二应用服务器的接口进行传输。
可理解的是,由于数据包已经有信息埋点,可以在海量的所述网络数据流中,通过唯一的所述目标用户标识,跟踪所述目标用户标识对应的目标用户的全业务流程。所述目标用户进行操作的所有业务流程,在每个业务系统中调用的所有API接口的响应时间、总体响应时间、形成的业务量、业务响应时间、系统间调用处理时间和用户请求处理时间都可通过对所述网络数据流进行分析而获得。也可预先在系统稳定运行一段时间时获取各业务流程的标准基线,可将从所述网络数据流中查找包括目标用户标识的用户业务信息与所述标准基线一同进行展示,当实时数据偏离所述标准基线时,则进行告警,实现对所述目标用户执行所述用户业务流程进行全流程监控。所述目标用户在进行业务操作,执行所述用户业务流程时所产生的数据即所述用户业务信息。
步骤S90:从所述用户业务信息中提取出应用交互报文信息,对所述应用交互报文信息进行解析,获得所述第二应用服务器之间的第二调用关系。
应理解的是,通过对所述网络数据流进行解析,即解析应用服务器之间传输的应用交互报文信息,可以获得所述业务系统中各应用服务器之间的各种网络交互和调用关系。所述用户业务流程执行过程中需调用多个所述第二应用服务器的接口,所述用户业务流程执行过程所产生的所述用户业务信息的发送和接收都是通过各个所述第二应用服务器的接口进行传输。可从所述用户业务信息中提取出应用交互报文信息,所述应用报文信息中包括所述用户业务流程进行接口调用时的源网络协议地址和目的网络协议地址,可通过所述用户业务流程进行接口调用时的源网络协议地址和目的网络协议地址确定所述用户业务信息的来源和去处,进而确定出所述用户业务流程进行接口调用时对应的第二应用服务器之间的第二调用关系,从而对所述用户业务流程的状态实现实时监控。
比如:A系统a1接口调用B系统b1接口,花了t1时间;然后b1接口又调用了c系统的c1接口,花费t2时间。当这个调用结果返回时,A系统的a1接口计算总共花费时间,就是该业务流程执行的总花费时间。T1时间是a1接口和b1接口之间的调用时间。对应的业务调用关系明细拓扑图为:a1->b1->c1->返回b1->返回a1。实际情况更复杂,一个业务流程可以让A业务系统会调用多个其他业务系统。一个完整的用户业务流程会由多个业务系统发起调用。业务流程,例如:用户填写申请单购买产品,用户还款等操作。
在第三实施例中,所述步骤S90之后,还包括:
从所述网络数据流中提取出所述目标用户标识对应的目标用户的基本信息;
根据所述用户业务流程确定所述目标用户进行操作的业务类型或业务产品;
根据所述基本信息、所述业务类型或业务产品构建所述目标用户的用户画像信息。
可理解的是,所述目标用户在进行业务申请或业务查询时,首次登录时会填写基本信息,所述基本信息包括年龄、城市地域、性别和职业等。所述基本信息也会在所述目标用户进行进行业务申请或业务查询时进行传输,则可从所述网络数据流中进行所述基本信息的提取。
需要说明的是,通常所述目标用户进行操作的所述用户业务流程包括购买业务产品和查询业务信息等,可根据所述查询业务信息确定查询的业务类型,可将所述目标用户每次执行的所述用户业务流程对应的业务类型或业务产品进行统计,根据所述基本信息、所述业务类型或业务产品构建所述目标用户的用户画像信息,可通过构建的所述用户画像信息对所述目标用户进行针对性的业务产品推荐,以提升用户体验。
在第三实施例中,从所述网络数据流中查找包括目标用户标识的用户业务信息,所述用户业务信息为所述目标用户标识对应的目标用户执行用户业务流程时所产生,从所述用户业务信息中提取出应用交互报文信息,对所述应用交互报文信息进行解析,获得所述第二应用服务器之间的第二调用关系,从而实现对目标用户的用户业务流程的状态进行实时全流程监控。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有全路径监测程序,所述全路径监测程序被处理器执行时实现如上文所述的全路径监测方法的步骤。
此外,参照图5,本发明实施例还提出一种全路径监测装置,所述全路径监测装置包括:提取模块10、解析模块20、聚类模块30、计算模块40和展示模块50;
所述提取模块10,用于获取网络流数据,从所述网络流数据中提取出网络数据包;
所述解析模块20,用于对所述网络数据包进行报文解析,获得目标业务数据;
所述聚类模块30,用于按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇;
所述计算模块40,用于计算所述业务聚类簇的目标业务量和目标响应时间;
所述展示模块50,用于将所述目标业务量和所述目标响应时间进行展示。
应理解的是,本实施例的执行主体是所述全路径监测设备,其中,所述全路径监测设备可为个人电脑或服务器等电子设备。可从网络旁路中获取到的所述网络流数据,所述网络流数据为全网中各业务流程执行过程中产生的数据,所述网络流数据包括:源网络协议(IP)地址、目标网络协议(IP)地址和网络数据包,根据所述源网络协议地址和所述目的网络协议地址可确定出所述网络数据包所属的业务系统。对所述网络数据包进行过滤,只对在所述全路径监测设备中注册的,并需要检测的业务系统的网络数据包进行分析和统计。
可理解的是,所述网络数据包中的所述目标业务数据,包括:业务产品、当前执行业务系统、业务种类、流程节点名、流程状态、客户状态和客户标识等信息。所述网络流数据包括:源网络协议(IP)地址、目标网络协议(IP)地址和网络数据包,根据所述源网络协议地址和所述目的网络协议地址可确定出所述网络数据包所属的业务系统,根据所述网络数据包所属的业务系统对应的报文格式对所述网络数据包进行报文解析。每个网络数据包都会进行解析,在所述全路径监测设备中,对每个业务系统和每个业务流程节点状态,可根据实时的所述网络数据包进行分析,实现动态的业务量的展示。
需要说明的是,所述预设业务关键词包括:业务产品、业务系统、业务流程节点和流程状态等,按照所述预设业务关键词对所述目标业务数据进行数据聚类,即根据所述预设业务关键词对各目标业务数据进行归并,则可获得与所述预设业务关键词对应的所有的目标业务数据。
在具体实现中,可对所述业务聚类簇中的各目标业务数据,计算上下游网络数据包的调用时间和业务量,则相应的可展示两个系统之间的调用时间和业务量;可将所述业务聚类簇中的各目标业务数据对应的单个业务流程的单个调用时间进行累加,获得完整业务流程的业务量,将各目标业务数据对应的单个业务流程的单个响应时间进行累加,获得完整业务流程的响应时间;还可直接获取单个业务操作的业务量和响应时间。所述目标业务量为所述业务聚类簇中的各目标业务数据对应的单个业务流程的单个调用时间进行累加,获得完整业务流程的业务量。所述目标响应时间为所述业务聚类簇中的各目标业务数据对应的单个业务流程的单个响应时间进行累加,获得完整业务流程的响应时间。本实施例中,所述计算所述业务聚类簇的目标业务量和目标响应时间,包括:获取所述业务聚类簇中的各目标业务数据对应的单个业务量,将各单个业务量进行累加,获得所述业务聚类簇的目标业务量;获取所述业务聚类簇中的各目标业务数据对应的单个响应时间,将各单个响应时间进行累加,获得所述业务聚类簇的目标响应时间。
应理解的是,为了统计各个业务量,业务流程的响应时间,可以在所述全路径监测设备的可视化系统中以图表方式展示上述当前实时两个系统之间的调用时间和业务量、完整业务流程的业务量和响应时间以及单个业务操作的业务量和响应时间。将所述目标业务量和所述目标响应时间进行展示,则可直观的监测到各业务流程的实时的所述目标业务量和所述目标响应时间。还可将所述目标业务量和所述目标响应时间与业务量基线和响应时间基线进行比对,以判断各业务流程是否存在异常。
在本实施例中,获取网络流数据,从所述网络流数据中提取出网络数据包,对所述网络数据包进行报文解析,获得目标业务数据,按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇,对实时的海量网络流数据进行数据的聚类,可以精细化到任何流程子节点,自动构建业务明细拓扑图;计算所述业务聚类簇的目标业务量和目标响应时间,将所述目标业务量和所述目标响应时间进行展示,实现对当前业务量和业务状态进行全网监测,实现快速进行全网的业务流程监测和展示。
在一实施例中,所述全路径监测装置还包括:确定模块和查找模块;
所述提取模块10,还用于获取网络流数据,从所述网络流数据中提取出网络数据包、源网络协议地址和目的网络协议地址;
所述确定模块,用于根据所述源网络协议地址和目的网络协议地址确定所述网络数据包的目标业务系统;
所述查找模块,用于查找与所述目标业务系统对应的目标报文格式;
所述解析模块20,还用于根据所述目标报文格式对所述网络数据包进行报文解析,获得目标业务数据。
在一实施例中,所述目标业务数据为执行所述目标业务流程时所产生并通过第一应用服务器的接口进行传输;
所述全路径监测装置还包括:验证模块和告警模块;
所述确定模块,还用于根据所述源网络协议地址和目的网络协议地址确定第一应用服务器之间的第一调用关系;
所述验证模块,用于将所述第一调用关系与预设调用关系进行交叉验证;
所述告警模块,用于若验证不匹配,则进行告警提示。
在一实施例中,所述计算模块40,还用于获取所述业务聚类簇中的各目标业务数据对应的单个业务量,将各单个业务量进行累加,获得所述业务聚类簇的目标业务量;
所述计算模块40,还用于获取所述业务聚类簇中的各目标业务数据对应的单个响应时间,将各单个响应时间进行累加,获得所述业务聚类簇的目标响应时间。
在一实施例中,所述全路径监测装置还包括:判断模块;
所述判断模块,用于判断所述目标业务量是否偏离基线业务量超过第一预设范围,或,判断所述目标响应时间是否偏离基线响应时间超过第二预设范围;
所述告警模块,还用于若所述目标业务量偏离基线业务量超过所述第一预设范围,或,所述目标响应时间偏离基线响应时间超过所述第二预设范围,则进行告警提示。
在一实施例中,所述查找模块,还用于根据目标用户标识从所述网络数据流中查找对应的用户业务信息,所述用户业务信息为所述目标用户标识对应的目标用户执行用户业务流程时所产生并通过第二应用服务器的接口进行传输;
所述解析模块20,还用于从所述用户业务信息中提取出应用交互报文信息,对所述应用交互报文信息进行解析,获得所述第二应用服务器之间的第二调用关系。
在一实施例中,所述全路径监测装置还包括:构建模块;
所述提取模块10,还用于从所述网络数据流中提取出所述目标用户标识对应的目标用户的基本信息;
所述确定模块,还用于根据所述用户业务流程确定所述目标用户进行操作的业务类型或业务产品;
所述构建模块,用于根据所述基本信息、所述业务类型或业务产品构建所述目标用户的用户画像信息
本发明所述全路径监测装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image,ROM)/随机存取存储器(Random AccessMemory,RAM)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种全路径监测方法,其特征在于,所述全路径监测方法包括以下步骤:
获取网络流数据,从所述网络流数据中提取出网络数据包;
对所述网络数据包进行报文解析,获得目标业务数据;
按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇;
计算所述业务聚类簇的目标业务量和目标响应时间;
将所述目标业务量和所述目标响应时间进行展示。
2.如权利要求1所述的全路径监测方法,其特征在于,所述获取网络流数据,从所述网络流数据中提取出网络数据包,包括:
获取网络流数据,从所述网络流数据中提取出网络数据包、源网络协议地址和目的网络协议地址;
根据所述源网络协议地址和目的网络协议地址确定所述网络数据包的目标业务系统;
所述对所述网络数据包进行报文解析,获得目标业务数据,包括:
查找与所述目标业务系统对应的目标报文格式;
根据所述目标报文格式对所述网络数据包进行报文解析,获得目标业务数据。
3.如权利要求2所述的全路径监测方法,其特征在于,所述目标业务数据为执行所述目标业务流程时所产生并通过第一应用服务器的接口进行传输;
所述将所述目标业务量和所述目标响应时间进行展示之后,所述全路径监测方法包括:
根据所述源网络协议地址和目的网络协议地址确定第一应用服务器之间的第一调用关系;
将所述第一调用关系与预设调用关系进行交叉验证;
若验证不匹配,则进行告警提示。
4.如权利要求1至3中任一项所述的全路径监测方法,其特征在于,所述计算所述业务聚类簇的目标业务量和目标响应时间,包括:
获取所述业务聚类簇中的各目标业务数据对应的单个业务量,将各单个业务量进行累加,获得所述业务聚类簇的目标业务量;
获取所述业务聚类簇中的各目标业务数据对应的单个响应时间,将各单个响应时间进行累加,获得所述业务聚类簇的目标响应时间。
5.如权利要求1至3中任一项所述的全路径监测方法,其特征在于,所述将所述目标业务量和目标响应时间进行展示之后,所述全路径监测方法还包括:
判断所述目标业务量是否偏离基线业务量超过第一预设范围,或,判断所述目标响应时间是否偏离基线响应时间超过第二预设范围;
若所述目标业务量偏离基线业务量超过所述第一预设范围,或,所述目标响应时间偏离基线响应时间超过所述第二预设范围,则进行告警提示。
6.如权利要求1至3中任一项所述的全路径监测方法,其特征在于,所述将所述目标业务量和目标响应时间进行展示之后,所述全路径监测方法还包括:
根据目标用户标识从所述网络数据流中查找对应的用户业务信息,所述用户业务信息为所述目标用户标识对应的目标用户执行用户业务流程时所产生并通过第二应用服务器的接口进行传输;
从所述用户业务信息中提取出应用交互报文信息,对所述应用交互报文信息进行解析,获得所述第二应用服务器之间的第二调用关系。
7.如权利要求6所述的全路径监测方法,其特征在于,所述从所述用户业务信息中提取出应用交互报文信息,对所述应用交互报文信息进行解析,获得所述第二应用服务器之间的第二调用关系之后,所述全路径监测方法还包括:
从所述网络数据流中提取出所述目标用户标识对应的目标用户的基本信息;
根据所述用户业务流程确定所述目标用户进行操作的业务类型或业务产品;
根据所述基本信息、所述业务类型或业务产品构建所述目标用户的用户画像信息。
8.一种全路径监测设备,其特征在于,所述全路径监测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的全路径监测程序,所述全路径监测程序被所述处理器执行时实现如权利要求1至7中任一项所述的全路径监测方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有全路径监测程序,所述全路径监测程序被处理器执行时实现如权利要求1至7中任一项所述的全路径监测方法的步骤。
10.一种全路径监测装置,其特征在于,所述全路径监测装置包括:提取模块、解析模块、聚类模块、计算模块和展示模块;
所述提取模块,用于获取网络流数据,从所述网络流数据中提取出网络数据包;
所述解析模块,用于对所述网络数据包进行报文解析,获得目标业务数据;
所述聚类模块,用于按照预设业务关键词对所述目标业务数据进行数据聚类,获得与所述预设业务关键词对应的业务聚类簇;
所述计算模块,用于计算所述业务聚类簇的目标业务量和目标响应时间;
所述展示模块,用于将所述目标业务量和所述目标响应时间进行展示。
CN201811120733.3A 2018-09-25 2018-09-25 全路径监测方法、设备、存储介质及装置 Active CN109672582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811120733.3A CN109672582B (zh) 2018-09-25 2018-09-25 全路径监测方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811120733.3A CN109672582B (zh) 2018-09-25 2018-09-25 全路径监测方法、设备、存储介质及装置

Publications (2)

Publication Number Publication Date
CN109672582A true CN109672582A (zh) 2019-04-23
CN109672582B CN109672582B (zh) 2021-10-08

Family

ID=66142384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811120733.3A Active CN109672582B (zh) 2018-09-25 2018-09-25 全路径监测方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN109672582B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321431A (zh) * 2019-05-31 2019-10-11 平安科技(深圳)有限公司 信息分析方法、装置、计算机设备及存储介质
CN110753364A (zh) * 2019-10-29 2020-02-04 咪咕音乐有限公司 网络监控方法、系统、电子设备和存储介质
CN111464390A (zh) * 2020-03-31 2020-07-28 中国建设银行股份有限公司 网络应用系统监控预警方法及系统
CN112491609A (zh) * 2020-11-25 2021-03-12 北京宝兰德软件股份有限公司 基于业务服务的系统应用架构发现方法及系统
CN112860454A (zh) * 2021-02-05 2021-05-28 百果园技术(新加坡)有限公司 业务处理系统及方法
CN113627702A (zh) * 2020-05-08 2021-11-09 中国移动通信集团浙江有限公司 业务路径分析方法、装置及计算设备
CN115134265A (zh) * 2022-05-16 2022-09-30 北京璇星科技有限公司 流程的实时监控预警方法、装置、设备及存储介质
CN115378997A (zh) * 2022-08-19 2022-11-22 建信金融科技有限责任公司 业务路径的处理方法、装置及设备
CN116074113A (zh) * 2023-03-06 2023-05-05 成都市以太节点科技有限公司 基于业务流程约束的安全防护方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774456B1 (en) * 2004-02-27 2010-08-10 Packeteer, Inc. Methods, apparatuses and systems facilitating classification of web services network traffic
CN105099745A (zh) * 2014-05-21 2015-11-25 中兴通讯股份有限公司 一种业务流程的跟踪方法及装置
CN107070683A (zh) * 2016-12-12 2017-08-18 国网北京市电力公司 数据预测的方法和装置
CN107733937A (zh) * 2017-12-01 2018-02-23 广东奥飞数据科技股份有限公司 一种异常网络流量检测方法
CN108154395A (zh) * 2017-12-26 2018-06-12 上海新炬网络技术有限公司 一种基于大数据的客户网络行为画像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774456B1 (en) * 2004-02-27 2010-08-10 Packeteer, Inc. Methods, apparatuses and systems facilitating classification of web services network traffic
CN105099745A (zh) * 2014-05-21 2015-11-25 中兴通讯股份有限公司 一种业务流程的跟踪方法及装置
CN107070683A (zh) * 2016-12-12 2017-08-18 国网北京市电力公司 数据预测的方法和装置
CN107733937A (zh) * 2017-12-01 2018-02-23 广东奥飞数据科技股份有限公司 一种异常网络流量检测方法
CN108154395A (zh) * 2017-12-26 2018-06-12 上海新炬网络技术有限公司 一种基于大数据的客户网络行为画像方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321431A (zh) * 2019-05-31 2019-10-11 平安科技(深圳)有限公司 信息分析方法、装置、计算机设备及存储介质
CN110321431B (zh) * 2019-05-31 2023-11-14 平安科技(深圳)有限公司 信息分析方法、装置、计算机设备及存储介质
CN110753364A (zh) * 2019-10-29 2020-02-04 咪咕音乐有限公司 网络监控方法、系统、电子设备和存储介质
CN110753364B (zh) * 2019-10-29 2023-09-05 咪咕音乐有限公司 网络监控方法、系统、电子设备和存储介质
CN111464390A (zh) * 2020-03-31 2020-07-28 中国建设银行股份有限公司 网络应用系统监控预警方法及系统
CN113627702B (zh) * 2020-05-08 2023-07-25 中国移动通信集团浙江有限公司 业务路径分析方法、装置及计算设备
CN113627702A (zh) * 2020-05-08 2021-11-09 中国移动通信集团浙江有限公司 业务路径分析方法、装置及计算设备
CN112491609B (zh) * 2020-11-25 2023-05-23 北京宝兰德软件股份有限公司 基于业务服务的系统应用架构发现方法及系统
CN112491609A (zh) * 2020-11-25 2021-03-12 北京宝兰德软件股份有限公司 基于业务服务的系统应用架构发现方法及系统
CN112860454A (zh) * 2021-02-05 2021-05-28 百果园技术(新加坡)有限公司 业务处理系统及方法
CN112860454B (zh) * 2021-02-05 2024-04-19 百果园技术(新加坡)有限公司 业务处理系统及方法
CN115134265A (zh) * 2022-05-16 2022-09-30 北京璇星科技有限公司 流程的实时监控预警方法、装置、设备及存储介质
CN115378997A (zh) * 2022-08-19 2022-11-22 建信金融科技有限责任公司 业务路径的处理方法、装置及设备
CN115378997B (zh) * 2022-08-19 2023-07-04 建信金融科技有限责任公司 业务路径的处理方法、装置及设备
CN116074113A (zh) * 2023-03-06 2023-05-05 成都市以太节点科技有限公司 基于业务流程约束的安全防护方法、装置及存储介质
CN116074113B (zh) * 2023-03-06 2023-08-15 成都市以太节点科技有限公司 基于业务流程约束的安全防护方法、装置及存储介质

Also Published As

Publication number Publication date
CN109672582B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN109672582A (zh) 全路径监测方法、设备、存储介质及装置
KR102076862B1 (ko) 네트워크 성능지표를 시각화하는 방법 및 장치, 및 시스템
CN104301436B (zh) 待显示内容推送、订阅、更新方法及其相应的装置
CN111680068B (zh) 一种校验方法、装置、设备及存储介质
CN109672583A (zh) 网络监控方法、设备、存储介质及装置
CN106100902A (zh) 云端指标监控方法和装置
CN110569298B (zh) 一种数据对接、可视化方法和系统
CN110611651A (zh) 网络监控方法、网络监控装置和电子设备
CN110300084B (zh) 基于ip地址的画像方法和装置,电子设备,可读介质
CN109582885A (zh) 一种通过网页监测对网页进行区块链存证的方法及装置
CN110321154A (zh) 一种微服务的接口信息展示方法、装置及电子设备
CN113872681B (zh) 移动终端的光缆监管方法、系统、移动终端及存储介质
CN110968479A (zh) 一种针对应用程序的业务级全链路监控方法及服务器
KR101079036B1 (ko) 제어망 이상 징후 탐지 장치 및 방법
CN106790339A (zh) 元数据服务器、网络装置及自动资源管理方法
CN110263226A (zh) 针对药品的数据库更新方法、装置及电子装置
CN108810105A (zh) 用于推送信息、显示信息的方法和设备
CN115185641A (zh) 一种云原生资产发现方法与系统
CN114390015A (zh) 一种基于物模型的数据推送系统、方法、设备及存储介质
CN107800999A (zh) 一种混合接入摄像机和视频平台的方法和系统
KR102027759B1 (ko) 네트워크와 연관된 신규 장치 등록 방법 및 장치
CN111160738A (zh) 事件处理方法、装置、存储介质及电子装置
CN113918534A (zh) 一种策略处理系统及方法
CN111752847A (zh) 接口比对方法和微服务器、计算机可读存储介质、电子设备
CN108133046A (zh) 数据分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant