CN108270631A - 网络系统中的应用系统与数据包关联的分析系统及方法 - Google Patents

网络系统中的应用系统与数据包关联的分析系统及方法 Download PDF

Info

Publication number
CN108270631A
CN108270631A CN201611262822.2A CN201611262822A CN108270631A CN 108270631 A CN108270631 A CN 108270631A CN 201611262822 A CN201611262822 A CN 201611262822A CN 108270631 A CN108270631 A CN 108270631A
Authority
CN
China
Prior art keywords
application
node
address
data packet
number axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611262822.2A
Other languages
English (en)
Inventor
蔡毅清
谢朝阳
郁宁刚
俞承德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eccom Network System Co Ltd
Original Assignee
Eccom Network System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eccom Network System Co Ltd filed Critical Eccom Network System Co Ltd
Priority to CN201611262822.2A priority Critical patent/CN108270631A/zh
Publication of CN108270631A publication Critical patent/CN108270631A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/668Internet protocol [IP] address subnets

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络系统中的应用系统与数据包关联的分析系统及方法,该系统包括建模模块、数字化组合模块、分析模块,其中建模模块,用于创建应用分布数轴;数字化组合模块,用于整理数轴上的数组;分析模块,用于数据包分析等。本发明能够强化数据分析,提高效率,加强业务认知,提高故障定位能力。

Description

网络系统中的应用系统与数据包关联的分析系统及方法
技术领域
本发明涉及一种网络系统的应用系统与IP协议数据包,特别是涉及一种网络系统中的应用系统与数据包关联的分析系统及方法。
背景技术
虚拟化、云计算和企业移动性正改变着IT(计算机与网络通讯等领域)基础架构,银行、证券、保险、电信等客户的业务系统日趋复杂,而IT部门的独立性导致了业务认知的技术壁垒。当发生疑难杂症,或者需要针对业务进行网络优化时,往往缺乏足够的数据和必要的手段。网流分析梳理网络系统对业务系统的服务情况,还可以辅助性的验证业务系统的运行质量,协助发现、检测非常规的故障问题。Netscout是国际领先的数据流分析厂商。根据市场的反馈,Netscout能够看到网络流量的很多数据,但往往对客户自身的业务不了解,因此可能无法识别业务,或者不能区分业务的状态,难于统计业务的服务指标。当业务出现问题时,难以判断是网络出现问题,还是服务器端出了问题。
现网络需要解决的核心问题是数据包的归属问题,就是要解决数据包到底来自于那个应用系统。在网络的核心交换层,整个网络所有的数据都会会聚到这个节点进行数据交换,因此当网络管理者使用旁路系统将流量导出到一台镜像服务器,就可以获得整网所有的网流数据包。在现在的企业内部,通常会运行数十个到上百个不同的应用系统。因此不搞清楚数据包来源于哪个具体的应用系统,不建立数据包和应用系统的关联关系,则无法对此业务进行定量的网络流量分析。
传统的网络分析法存在严重的性能问题。网络的信息一般采用IP(网络互连协议)地址加网络掩码的方式来描述。因此一个应用系统的服务器端,往往会采用一个IP地址加网络掩码再加上端口来描述,而客户端的定义则要大得多,往往会采用整个网段定义的方式。而网流数据包是TCP/UDP包,采用标准6元组方式存储地址信息。因此,传统的做法是将数据包中的源地址、目的地址信息与系统中保存的服务器IP地址、客户端IP网段等信息进行比较。每个数据包都要和所有已知的应用系统进行比较。如整个网络中数据包流量为每秒10万个数据包,而系统中的已知系统100个,则需要做100000×100×2次比较,共2千万次比较操作。更为严重的问题是,网络中的数据包是连续不断产生的,这10万个数据包在内存中处理的时候,后续10万个数据包正在等待处理。一旦出现处理延迟,这种累计效应会像滚雪球一样累加。可以看出,这个算法的处理效率和数据包与应用系统的乘积成正相关。因此,一旦数据量增加或者应用系统增加,其系统开销成几何级数增长。因此传统的统计算法无法适应大数据网络数据包。本系统采用了全新设计的算法来解决这一技术难题,使数据包与应用系统的关联匹配效率达到log2N的标准级别。
发明内容
本发明所要解决的技术问题是提供一种网络系统中的应用系统与数据包关联的分析系统及方法,其能够强化数据分析,提高效率,加强业务认知,提高故障定位能力。
本发明是通过下述技术方案来解决上述技术问题的:一种网络系统中的应用系统与数据包关联的分析系统,其包括:
建模模块,用于创建应用分布数轴;仿照传统数轴的方式,对应用系统的IP地址进行建模,建模后的数轴上依次排列着数字化的IP地址,建模的数据流非常清晰,在系统进行初始化时,在应用数据库中检索所有的应用系统记录,对于每条应用的记录,都包含一组服务器的IP地址,一组客户端地址的IP地址,按照数据记录的先后顺序依次注入数轴模型,数轴模型根据核心算法,判断应用系统在数轴中的位置,为了得到最高的建模顺序,从整个数组的中间开始判定,当小于数轴中间记录,则向前检索,当大于中间记录,则向后检索,检索的步长为上次检索步长得一半,逐步缩小检索步长;这样通过N次的循环,获得应用记录的插入位置,然后根据此位置当前的数据记录的关系,以不同方式插入数轴,对互联网地址进行数字化整个建模过程依赖应用系统的数量而定,但由于在系统初始化时就完成的一次性操作,无论如何也不会对实时性要求很高的数据包分析过程产生任何影响;完成建模后的数轴,是个有序的数字化的数组;
数字化组合模块,用于整理数轴上的数组,其中每个数都代表了一个IP的起始地址或者终止地址;
分析模块,用于数据包分析,数据包进入分析系统后,需要在数轴上寻找属于本应用系统的位置;由于应用数轴在建模时已经做了数字化和有序化的整理,因此数据包的定位变得简洁高效,数据包从整个数轴的最中央开始检索,因此检索步长为整个数轴的1/2;在于此节点的应用系统比较后,会得到3种结果:命中系统、数据包地址小于当前应用节点地址、数据包地址大于当前应用节点地址,对于后两种情况,分别向后和向前做检索,检索步长为当前检索步长的一半,之后通过循环之前的步骤,逐步缩小检索的步长,逐步逼近最终的命中应用节点,通过有限的比较次数内定位到与之匹配的数轴上的数字,之后用此数字反向查询应用系统;在本系统中,通过及有限的10余次比较得到无法命中应用系统的判定,效率提高非常明显;此外,无法命中的数据被送入特定的外部应用列表,并统计相关的客户端服务器信息,得到非法访问的数据列表。
优选地,所述数轴模型在空状态下,这是本模型的初始状态;数轴模型在无干扰状态下,两个应用系统是处于互不干扰的状态,;数轴模型在相邻关系上存在应用元素的情况下,应用元素处于合并状态;数轴模型在新增节点的位置已经存在其他节点并且原有节点的覆盖范围大于新增节点的情况下,应用节点处于分裂状态;数轴模型在新增节点的位置已经存在其他节点并且新节点的覆盖范围大于原有节点的情况下,应用节点处于覆盖状态;数轴模型在新增节点的位置存在其他应用节点的一部分的情况下,应用节点处于部分分裂。
本发明还提供一种网络系统中的应用系统与数据包关联的分析方法,其包括以下步骤:
步骤十、IP地址的数字化,用于数字进行有序化操作,转步骤十一;
步骤十一、构建应用系统的数据结构,应用系统由应用系统名称、IP地址、IP掩码、服务端口和服务端口说明组成,转步骤十二;
步骤十二、构建应用系统模型,转步骤十三;
步骤十三、数据包分析,用于流量包的分析数据。
优选地,所述步骤十二包括:
步骤五十、元素空插入与无干扰插入,用于插入本应用节点,形成新的链表;
步骤五十一、合并元素,用于提供多个应用服务;
步骤五十二、分裂元素,用于插入查询链内的应用元素;
步骤五十三、包含元素,用于插入查询链内的应用元素;
步骤五十四、交叉元素,是待插入元素与链表中的节点的公共交集。
本发明的积极进步效果在于:本发明能够准确分析网络数据包的相关业务指标,通过深入网络流量的持续监测,衡量业务的服务指标,若业务异常是否因为网络设备导致。智慧网流(SmartFlow)基于网络探侦(Netscout)强大的分析功能,支持快速的逻辑建模,统计业务的服务指标,对数据异常产生报警。
附图说明
图1为本发明的示意图。
具体实施方式
下面结合附图给出本发明较佳实施例,以详细说明本发明的技术方案。
如图1所示,本发明网络系统中的应用系统与数据包关联的分析系统,其总体结构包括建模模块、数字化组合模块、分析模块,其中:
建模模块,用于创建应用分布数轴;仿照传统数轴的方式,对应用系统的IP(Internet Protocol,网络之间互连的协议)地址进行建模,建模后的数轴上依次排列着数字化的IP地址,建模的数据流非常清晰,在系统进行初始化时,在应用数据库中检索所有的应用系统记录,对于每条应用的记录,都包含一组(1个或者多个)服务器的IP地址,一组(1个或者多个)客户端地址的IP地址,按照数据记录的先后顺序依次注入数轴模型,数轴模型根据核心算法,判断应用系统在数轴中的位置,为了得到最高的建模顺序,从整个数组的中间开始判定,当小于数轴中间记录,则向前检索,当大于中间记录,则向后检索,检索的步长为上次检索步长得一半,逐步缩小检索步长;这样通过N次的循环,获得应用记录的插入位置,然后根据此位置当前的数据记录的关系,以不同方式插入数轴,对互联网地址进行数字化整个建模过程依赖应用系统的数量而定,但由于在系统初始化时就完成的一次性操作,无论如何也不会对实时性要求很高的数据包分析过程产生任何影响;完成建模后的数轴,是个有序的数字化的数组;
数字化组合模块,用于整理数轴上的数组,其中每个数都代表了一个IP的起始地址或者终止地址;
分析模块,用于数据包分析,数据包进入分析系统后,需要在数轴上寻找属于本应用系统的位置;由于应用数轴在建模时已经做了数字化和有序化的整理,因此数据包的定位变得简洁高效,数据包从整个数轴的最中央开始检索,因此检索步长为整个数轴的1/2;在于此节点的应用系统比较后,会得到3种结果:命中系统、数据包地址小于当前应用节点地址、数据包地址大于当前应用节点地址,对于后两种情况,分别向后和向前做检索,检索步长为当前检索步长的一半,之后通过循环之前的步骤,逐步缩小检索的步长,逐步逼近最终的命中应用节点,通过有限的比较次数内定位到与之匹配的数轴上的数字,之后用此数字反向查询应用系统;根据实际测算,当有1000个应用系统,数据包比对11次后能与应用系统相匹配,2的11次方为2048,凡小于此数字的应用系统数量,都在这一数量级,采用传统的依次比对法,需要1000次,效率提升了100倍,这个效率比是个动态值,会随着处理的数据包数量与应用系统数量的乘积进一步放大,而更为重要的是,系统管理部门所登记的应用系统往往都小于实际在网络中进行数据交互的系统;因此,还有大量的数据包是无法匹配到的,按照传统算法,他们都必须进行全部数据的检索才能得到无法命中的判定,而在本系统中,通过及有限的10余次比较得到无法命中应用系统的判定,效率提高非常明显;此外,无法命中的数据被送入特定的外部应用列表,并统计相关的客户端服务器信息,得到非法访问的数据列表。
所述数轴模型在空状态下,这是本模型的初始状态;数轴模型在无干扰状态下,两个应用系统是处于互不干扰的状态,在生产实践中,此状态最为常见下;数轴模型在相邻关系上存在应用元素的情况下,应用元素处于合并状态,在生产实践中,这种状态代表了一个应用存在多个服务器节点的负载均衡或者存在多级关联架构;数轴模型在新增节点的位置已经存在其他节点并且原有节点的覆盖范围大于新增节点的情况下,应用节点处于分裂状态,在生产实践中,常见于新增的应用节点复用了原服务器集群的某个节点,造成了原节点状态分裂成3个状态,即两个未包含新插入元素的应用节点和一个同时包含新旧应用元素的节点;数轴模型在新增节点的位置已经存在其他节点并且新节点的覆盖范围大于原有节点的情况下,应用节点处于覆盖状态,在生产实践中,常见于新增的应用节点复用了原单点服务器,并组成集群,造成了新集群状态分裂成3个状态,即两个只包含新插入元素的应用节点和一个同时包含新旧应用元素的节点;数轴模型在新增节点的位置存在其他应用节点的一部分的情况下,应用节点处于部分分裂,在生产实践中,表现为服务器的数据库共享或者是其他中间件共享,数轴分裂出三个部分,即原有应用节点的独立部分、新增节点的独立部分以及两个节点的共有部分。
本发明网络系统中的应用系统与数据包关联的分析方法包括以下步骤:
步骤十、IP地址的数字化;IP地址本身是一个以数字和“点号”连接的字符串,记作“A.B.C.D”,IP掩码为以若干个1开头,以若干个0结尾的数字,因此,需要进行有序化的操作,转步骤十一;
步骤十一、构建应用系统的数据结构;应用系统由应用系统名称Varchar(字符串数据类型)、互联网协议IP地址Varchar(字符串数据类型)、IP掩码Varchar(字符串数据类型)、服务端口Int(函数)和服务端口说明Varchar组成,转步骤十二;
步骤十二、构建应用系统模型;整个模型是个有序的链表,链表的元素是个应用系统的数据类,其中数据类包含了首地址、末地址、端口数组和应用数组,第一个应用元素之外,每个应用元素的首IP会大于它的前序元素的末IP;最后一个元素之外,每个元素的末IP会小于他的后序元素的首IP。建模时,系统从数据库中读取所有应用系统记录,并将其转化为应用元素,并依次插入有序的数列,并保证此数列再数据插入后依然有序,转步骤十三;
步骤十三、数据包分析;流量分析系统从旁路镜像中获取了网络中实时传输的数据包,放入缓存,分析器将数据包依次从缓存中读取出来,送入应用系统关联模型内,由应用系统关联模型本身有序且规格化,通过有限次数的比较,就能将数据包与应用系统关联,之后通过统计这个应用系统下所有数据包的分析数据,梳理出数据包数,数据包流量大小,数据包响应时间,数据延时等应用系统的核心网络指标。
所述步骤十二包括:
步骤五十、元素空插入与无干扰插入;空插入是指整个链表没有元素的情况下,插入第一个元素的状态,在此状态下,插入的元素将成为链表的第一个元素存在;无干扰插入,指的是当前元素与整个链表的任意一个应用元素节点都没有IP地址的交集,不存在合并或拆分应用元素的情况,在这种情况下,应用元素的末地址小于链表中首个节点的首地址,那插入节点成为新的首节点,后续节点为原来的首节点,应用元素的首地址大于链表中末节点的末地址,那插入节点成为新的末节点,前序节点为原来的末节点,在其他情况下,遍历链表,找到某个位置,确保其前序节点的末地址小于本应用元素的首地址,且其后续节点的首地址大于本应用元素的末地址,在此位置插入本应用节点,形成新的链表;
步骤五十一、合并元素;合并元素的表面现象是插入的应用元素在查询链表后发现,链表中已经存在一个元素,此元素的首地址与末地址与待插入的应用元素的首末地址完全相同,这种情况的现实意义在于服务器进行复用时,一个服务器会打开多个端口,提供多个应用服务,因此一个节点上就要布置两个或以上应用系统,将此应用的应用名称和应用端口合并到节点元素的应用名称、应用端口的数组里;
步骤五十二、分裂元素;分裂元素的表面现象是插入的应用元素在查询链表后发现,链表中已经存在一个元素,此元素的首地址小于待插入的应用元素的首地址,而末地址大于待插入的应用元素的末地址,这种情况的现实意义在于我们之前有个应用,使用了多个IP地址,而其中一个IP地址所在的服务器又发布了其他的应用,在出现分裂应用元素时,找到待分裂的应用元素,其分裂出第一个节点,他的首地址是待分裂的元素的首地址,末地址是插入应用元素的首地址-1,其分裂出的第二个节点就是待插入的元素,只是其中的应用名称和端口数组需要加上原来待分裂节点元素的应用名称和端口,其分裂出第三个节点,他的首地址是插入应用元素的末地址+1,末地址是待分裂元素的末地址;
步骤五十三、包含元素;查询到链表中存在了一个节点元素,他的首地址大于待插入应用元素的首地址且他的末地址小于待插入应用元素的末地址,其实就是分裂元素的情况再现,只是在数据库中,小的元素先插入到链表中,而大的包含元素在其后插入到链表,因此,链表同样要分裂成3个元素。其分裂出第一个节点,他的首地址是插入应用元素的首地址,末地址是查询到的已有应用元素的首地址-1,其分裂出的第二个节点就是查询到的应用元素,只是其中的应用名称和端口数组需要加上插入的应用元素的应用名称和端口,其分裂出第三个节点,他的首地址是查询到的应用元素的末地址+1,末地址是插入元素的末地址,在这种情况下还有还有一种变体,就是多个应用元素的包含,在新插入的元素同时包含了链表中的多个应用元素,同样通过叠代上述算法来实现链表的插入;
步骤五十四、交叉元素;待插入元素与链表中的节点有着公共的交集,那就成为了交叉元素的插入,交叉元素插入分成前交叉和后交叉两种情况;前交叉元素,待插入元素的首地址小于链表中的元素的首地址、待插入元素的末地址大于链表中的元素的首地址,其分裂出第一个应用元素的首地址为待插入元素的首地址,末地址为检索到的链表内元素的首地址-1,关联的应用为待插入的应用元素,其分裂出的第二个元素的首地址为检索到的应用元素的首地址、末地址为待插入元素的末地址,关联的应用系统为这两个应用系统,其分裂出的第三个即原来查询出的应用元素,但是首地址被修改成待插入元素的末地址+1;后交叉元素是与之前的前交叉元素情况相反,待插入元素的首地址大于查询到的元素的首地址但小于查询到的元素的末地址,而待插入元素的末地址大于查询到的元素的末地址,其分裂出的第一个元素其实就是查询到的元素,只是末地址变成插入元素的首地址+1,其分裂出的第二个元素,首地址是待插入元素的首地址,末地址是查询到的应用元素的末地址,同时关联这两个应用元素,其分裂出的第三个元素,首地址是查询到的元素的末地址+1,末地址是待插入元素的末地址,应用系统关联到待插入的应用元素。
本发明的实例如下:先通过图形界面定义需要监控的应用系统,如:集中交易系统,IP地址220.15.18.45掩码255.255.255.255,端口443;报表系统,IP地址220.15.18.150掩码255.255.255.255,端口80;办公用客户端集群IP地址192.168.7.0掩码255.255.255.0,端口*等等。然后配置数据源netscout服务器172.16.33.6作为数据源。完成上述配置后,启动流量分析系统。流量分析系统从数据源中源源不断的读取数据到系统缓存,随后分析器依次将缓存内的流量数据送入应用分析模型内。经过排序算法优化后,数据包仅经过数次比较就确定了所属的应用系统或者是非监控数据。属于某个应用系统的数据包都被归集到一个容器之中。
归并与流式分析。等到预定义的时间(默认按照分钟统计数据)到达,系统触发归并和流式分析。网流分析系统就会对分类后的数据包进行整体分析,其分析的内容包括响应时间、时延、流量、数据包数等等网络流量指标都会被计算出来,数据响应时间是统计数据包之间的平均间隔时间,算法是总时间/总的数据包数量,流量则是对数据包的大小进行求和,数据包数则是对数据包进行计数。以上只是基于数据包头部原始信息初级的分析结果。更为重要的则是数据包中的应用信息。由于当前的业务容器内已经汇集了本应用的所有数据包。系统通过数据包的内容,分析出业务的核心数据。举例本系统监控的某个业务交易系统。在数据包中,我们看到在单位时间内,客户端的数量,算法是统计不同的客户端数。客户端的分布,算法是先获取客户端信息,然后根据互联网归属地查询系统查询客户端接入的互联网协议IP地址,对属于同一地域的客户端归并,分析此业务的用户人群的地域分布。交易申请数,检查客户端数据包中含有交易信令(TRADE)的数据包的数量。交易成功数,检查服务器数据包中含有交易确认信令(TRADEACK)的数量。此外,通过两组数据的对比,获得交易成功率(TRADEACK/TRADE),通过交易成功率就能获得此应用系统的IT服务质量。如果此数据不是100%,则证明应用系统存在一定的不可使用率,对于金融系统的大额交易,这是不能接受的,通过对此指标的监控,在系统发生问题前,对网络系统的健康状态进行评估。交易时延,通过(TRADEACK-TRADE)获得单次交易的时延,通过设定告警阀值,一旦交易的时延大于设定的阈值,就会提醒网络管理员对此进行关注。并作为IT系统扩容与增能的依据。
所有的计算结果保存到结果数据库。系统用户通过图形界面查询数据库,就得到一定时间内的某个应用的流量特性,并绘制出相应的特征曲线。特征曲线严格的反应了应用系统的网络状况。对于网络与系统的健康评估、排障提供最可靠的技术依据。此外分析的应用流量指标数据,作为报表系统的数据源,提供完成整的应用系统大数据网络流量数据包监控报表。
本发明通过深入网络流量的持续监测,衡量业务的服务指标,若业务异常是否因为网络设备导致。智慧网流(SmartFlow)基于网络探侦(Netscout)强大的分析功能,支持快速的逻辑建模,统计业务的服务指标,对数据异常产生报警。通过对比特定的设备(例如防火墙)进、出端口流量服务指标,可评估这些设备工作是否正常。
以上所述的具体实施例,对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种网络系统中的应用系统与数据包关联的分析系统,其特征在于,其包括:
建模模块,用于创建应用分布数轴;仿照传统数轴的方式,对应用系统的IP地址进行建模,建模后的数轴上依次排列着数字化的IP地址,建模的数据流非常清晰,在系统进行初始化时,在应用数据库中检索所有的应用系统记录,对于每条应用的记录,都包含一组服务器的IP地址,一组客户端地址的IP地址,按照数据记录的先后顺序依次注入数轴模型,数轴模型根据核心算法,判断应用系统在数轴中的位置,为了得到最高的建模顺序,从整个数组的中间开始判定,当小于数轴中间记录,则向前检索,当大于中间记录,则向后检索,检索的步长为上次检索步长得一半,逐步缩小检索步长;这样通过N次的循环,获得应用记录的插入位置,然后根据此位置当前的数据记录的关系,以不同方式插入数轴,对互联网地址进行数字化整个建模过程依赖应用系统的数量而定,但由于在系统初始化时就完成的一次性操作,无论如何也不会对实时性要求很高的数据包分析过程产生任何影响;完成建模后的数轴,是个有序的数字化的数组;
数字化组合模块,用于整理数轴上的数组,其中每个数都代表了一个IP的起始地址或者终止地址;
分析模块,用于数据包分析,数据包进入分析系统后,需要在数轴上寻找属于本应用系统的位置;由于应用数轴在建模时已经做了数字化和有序化的整理,因此数据包的定位变得简洁高效,数据包从整个数轴的最中央开始检索,因此检索步长为整个数轴的1/2;在于此节点的应用系统比较后,会得到3种结果:命中系统、数据包地址小于当前应用节点地址、数据包地址大于当前应用节点地址,对于后两种情况,分别向后和向前做检索,检索步长为当前检索步长的一半,之后通过循环之前的步骤,逐步缩小检索的步长,逐步逼近最终的命中应用节点,通过有限的比较次数内定位到与之匹配的数轴上的数字,之后用此数字反向查询应用系统;在本系统中,通过及有限的10余次比较得到无法命中应用系统的判定,效率提高非常明显;此外,无法命中的数据被送入特定的外部应用列表,并统计相关的客户端服务器信息,得到非法访问的数据列表。
2.如权利要求1所述的网络系统中的应用系统与数据包关联的分析系统,其特征在于,所述数轴模型在空状态下,这是本模型的初始状态;数轴模型在无干扰状态下,两个应用系统是处于互不干扰的状态,;数轴模型在相邻关系上存在应用元素的情况下,应用元素处于合并状态;数轴模型在新增节点的位置已经存在其他节点并且原有节点的覆盖范围大于新增节点的情况下,应用节点处于分裂状态;数轴模型在新增节点的位置已经存在其他节点并且新节点的覆盖范围大于原有节点的情况下,应用节点处于覆盖状态;数轴模型在新增节点的位置存在其他应用节点的一部分的情况下,应用节点处于部分分裂。
3.一种网络系统中的应用系统与数据包关联的分析方法,其特征在于,其包括以下步骤:
步骤十、IP地址的数字化,用于数字进行有序化操作,转步骤十一;
步骤十一、构建应用系统的数据结构,应用系统由应用系统名称Varchar、IP地址Varchar、IP掩码Varchar、服务端口Int和服务端口说明Varchar组成,转步骤十二;
步骤十二、构建应用系统模型,转步骤十三;
步骤十三、数据包分析,用于流量包的分析数据。
4.如权利要求3所述的网络系统中的应用系统与数据包关联的分析方法,其特征在于,所述步骤十二包括:
步骤五十、元素空插入与无干扰插入,用于插入本应用节点,形成新的链表;
步骤五十一、合并元素,用于提供多个应用服务;
步骤五十二、分裂元素,用于插入查询链内的应用元素;
步骤五十三、包含元素,用于插入查询链内的应用元素;
步骤五十四、交叉元素,是待插入元素与链表中的节点的公共交集。
CN201611262822.2A 2016-12-30 2016-12-30 网络系统中的应用系统与数据包关联的分析系统及方法 Pending CN108270631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611262822.2A CN108270631A (zh) 2016-12-30 2016-12-30 网络系统中的应用系统与数据包关联的分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611262822.2A CN108270631A (zh) 2016-12-30 2016-12-30 网络系统中的应用系统与数据包关联的分析系统及方法

Publications (1)

Publication Number Publication Date
CN108270631A true CN108270631A (zh) 2018-07-10

Family

ID=62753876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611262822.2A Pending CN108270631A (zh) 2016-12-30 2016-12-30 网络系统中的应用系统与数据包关联的分析系统及方法

Country Status (1)

Country Link
CN (1) CN108270631A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257254A (zh) * 2018-09-21 2019-01-22 平安科技(深圳)有限公司 网络连通性检查方法、装置、计算机设备以及存储介质
CN111343037A (zh) * 2019-08-19 2020-06-26 海通证券股份有限公司 云平台负载按应用的流量监控方法、装置、计算机设备
CN112924407A (zh) * 2021-03-26 2021-06-08 云南电网有限责任公司电力科学研究院 一种六氟化硫气体微量水分含量的检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177000A (zh) * 2011-12-21 2013-06-26 卓望数码技术(深圳)有限公司 Ip地址或者手机号码的分组方法和归属地的查询方法
US20130294250A1 (en) * 2012-05-01 2013-11-07 Qualcomm Iskoot, Inc. Exchanging data between a user equipment and one or more servers over a communications network
CN105933437A (zh) * 2016-06-15 2016-09-07 乐视控股(北京)有限公司 服务器推荐方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177000A (zh) * 2011-12-21 2013-06-26 卓望数码技术(深圳)有限公司 Ip地址或者手机号码的分组方法和归属地的查询方法
US20130294250A1 (en) * 2012-05-01 2013-11-07 Qualcomm Iskoot, Inc. Exchanging data between a user equipment and one or more servers over a communications network
CN105933437A (zh) * 2016-06-15 2016-09-07 乐视控股(北京)有限公司 服务器推荐方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257254A (zh) * 2018-09-21 2019-01-22 平安科技(深圳)有限公司 网络连通性检查方法、装置、计算机设备以及存储介质
CN111343037A (zh) * 2019-08-19 2020-06-26 海通证券股份有限公司 云平台负载按应用的流量监控方法、装置、计算机设备
CN111343037B (zh) * 2019-08-19 2022-05-31 海通证券股份有限公司 云平台负载按应用的流量监控方法、装置、计算机设备
CN112924407A (zh) * 2021-03-26 2021-06-08 云南电网有限责任公司电力科学研究院 一种六氟化硫气体微量水分含量的检测方法
CN112924407B (zh) * 2021-03-26 2023-06-16 云南电网有限责任公司电力科学研究院 一种六氟化硫气体微量水分含量的检测方法

Similar Documents

Publication Publication Date Title
Lee et al. Mining in a data-flow environment: Experience in network intrusion detection
Gogoi et al. MLH-IDS: a multi-level hybrid intrusion detection method
Kayacik et al. On the capability of an SOM based intrusion detection system
Cormode et al. What's new: Finding significant differences in network data streams
US7882262B2 (en) Method and system for inline top N query computation
KR100595786B1 (ko) 네트워크 상에서의 상호작용의 유효성 결정을 위한 시스템 및 방법
CN101202652B (zh) 网络应用流量分类识别装置及其方法
US7890510B2 (en) Method and apparatus for analyzing community evolution in graph data streams
CN109284296A (zh) 一种大数据pb级分布式信息存储与检索平台
WO2019134483A1 (zh) 多维约束下路径计算方法、装置、处理器及存储介质
US20050210027A1 (en) Methods and apparatus for data stream clustering for abnormality monitoring
CN106878092A (zh) 一种多源异构数据融合的网络运维实时监控与分析呈现平台
CN106656536A (zh) 一种用于处理服务调用信息的方法与设备
CN108270631A (zh) 网络系统中的应用系统与数据包关联的分析系统及方法
WO2007096870A2 (en) Method and system for transaction monitoring in a communication network
US11595416B2 (en) Method, product, and system for maintaining an ensemble of hierarchical machine learning models for detection of security risks and breaches in a network
Dai et al. Identifying and estimating persistent items in data streams
CN112364059B (zh) 多规则场景下关联匹配方法、装置、设备和存储介质
CN112508630A (zh) 异常会话群的检测方法、装置、计算机设备和存储介质
Bai et al. Evolution of transaction pattern in Ethereum: A temporal graph perspective
CN107231383A (zh) Cc攻击的检测方法及装置
Dozier et al. Vulnerability analysis of AIS-based intrusion detection systems via genetic and particle swarm red teams
Singh Blockchain and IOT integrated Smart City Architecture
CN104965846A (zh) MapReduce平台上的虚拟人建立方法
CN112235254A (zh) 一种高速主干网中Tor网桥的快速识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710