CN106161339B - 获取ip访问关系的方法及装置 - Google Patents
获取ip访问关系的方法及装置 Download PDFInfo
- Publication number
- CN106161339B CN106161339B CN201510136139.3A CN201510136139A CN106161339B CN 106161339 B CN106161339 B CN 106161339B CN 201510136139 A CN201510136139 A CN 201510136139A CN 106161339 B CN106161339 B CN 106161339B
- Authority
- CN
- China
- Prior art keywords
- access
- information
- data packet
- relation information
- relations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种获取IP访问关系的方法,其特征在于,包括:查找传输协议端口,筛选出常驻监听端口和非常驻监听端口;抓取所述常驻监听端口接收到的最多第一数目的非空数据包;获取所述抓取到的非空数据包的源网络地址IP和目的网络地址IP,生成IP访问关系信息;将所述IP访问关系信息上传至监控服务器,由所述监控服务器根据所述上传的IP访问关系信息生成网络访问流量走势信息。本发明还公开了一种获取IP访问关系的装置。本发明可提高业务服务器的执行效率。
Description
技术领域
本发明涉及网络技术领域,尤其涉及一种获取IP访问关系的方法及装置。
背景技术
在传统技术中,大型综合性互联网应用、社交应用以及大型的ERP (EnterpriseResource Planning,企业资源计划,一种企业管理软件)应用的服务器通常数目较多,并置于统一的大型机房中。该多个服务器通常根据业务被划分为多个服务器集群,一个服务器集群中的服务器处于业务逻辑上的同一模块。
传统技术中的网络监控系统通常需要对服务器集群之间互发的数据包进行监控,从而方便网络监控人员了解业务数据在服务器集群之间流动的情况,从而在系统出现异常时,能通过网络访问流量走势信息快速定位到出问题的服务器集群,从而方便修理。
然而,传统技术中,抓取服务器集群之间互发的数据包进行监控的方法需要在机房中的每个服务器上持续抓取传输(接收和发送)的数据包,而抓取数据包的操作比较消耗服务器资源,从而对服务器本身的业务产生影响,因此传统技术中抓取服务器集群之间互发的数据包进行监控的过程会导致服务器执行效率下降。
发明内容
基于此,为了解决传统技术中抓取服务器集群之间互发的数据包进行监控的过程会导致服务器执行效率下降的技术问题,还提供了一种获取IP访问关系的方法。
一种获取IP访问关系的方法,包括:
查找传输协议端口,筛选出常驻监听端口和非常驻监听端口;
抓取所述常驻监听端口接收到的最多第一数目的非空数据包,抓取所述非常驻监听端口发送的最多第二数目的非空数据包;
获取所述抓取到的非空数据包的源网络地址IP和目的网络地址IP,生成 IP访问关系信息;
将所述IP访问关系信息上传至监控服务器,由所述监控服务器根据所述上传的IP访问关系信息生成网络访问流量走势信息。
此外,为了解决传统技术中抓取服务器集群之间互发的数据包进行监控的过程会导致服务器执行效率下降的技术问题,还提供了一种获取IP访问关系的装置。
一种获取IP访问关系的装置,包括:
监听端口查找模块,用于查找传输协议端口,筛选出常驻监听端口和非常驻监听端口;
数据包抓取模块,用于抓取所述常驻监听端口接收到的最多第一数目的非空数据包;
数据包解析模块,用于获取所述抓取到的非空数据包的源网络地址IP和目的网络地址IP,生成IP访问关系信息;
IP访问关系信息上传模块,用于将所述IP访问关系信息上传至监控服务器,由所述监控服务器根据所述上传的IP访问关系信息生成网络访问流量走势信息。
此外,为了解决传统技术中抓取服务器集群之间互发的数据包进行监控的过程会导致服务器执行效率下降的技术问题,还提供了一种生成网络访问流量走势的方法。
一种生成网络访问流量走势的方法,所述方法包括:
每隔预设的第一时间周期接收业务服务器上传的IP访问关系信息,所述IP 访问关系信息中包含相互对应的源IP和目的IP的集合;
对所述接收到的IP访问关系信息进行合并;
根据所述合并的IP访问关系信息生成集群访问关系信息,所述IP访问关系信息中的源IP对应所述集群访问关系信息中的源集群标识,所述IP访问关系信息中的目的IP对应所述集群访问关系信息中的目的集群标识;
根据所述集群访问关系信息生成网络访问流量走势信息。
此外,为了解决传统技术中抓取服务器集群之间互发的数据包进行监控的过程会导致服务器执行效率下降的技术问题,还提供了一种生成网络访问流量走势的装置。
一种生成网络访问流量走势的装置,所述装置包括:
IP访问关系信息采集模块,用于每隔预设的第一时间周期接收业务服务器上传的IP访问关系信息,所述IP访问关系信息中包含相互对应的源IP和目的 IP的集合;
IP访问关系信息合并模块,用于对所述接收到的IP访问关系信息进行合并;
集群访问关系生成模块,用于根据所述合并的IP访问关系信息生成集群访问关系信息,所述IP访问关系信息中的源IP对应所述集群访问关系信息中的源集群标识,所述IP访问关系信息中的目的IP对应所述集群访问关系信息中的目的集群标识;
网络访问流量走势信息生成模块,用于根据所述集群访问关系信息生成网络访问流量走势信息。
实施本发明实施例,将具有如下有益效果:
在获取IP访问关系的方法和生成网络访问流量走势的方法中,业务服务器可仅对常驻监听端口抓取少量的接收到的数据包,通过解析得到IP访问关系信息,从而可生成网络访问流量走势。与传统技术相比,不需要对业务服务器上发送和接收的数据包进行重复抓取,且抓取数据包的数量得到了限制,因此,业务服务器在抓取数据包的操作上损耗的计算机资源较小,从而提高了业务服务器的执行效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中运行于业务服务器的获取IP访问关系的方法的流程图;
图2为一个实施例中查找传输协议端口的过程示意图;
图3为一个实施例中一种生成网络访问流量走势的方法的流程图;
图4为一个实施例中一种获取IP访问关系的装置的结构示意图;
图5为一个实施例中一种生成网络访问流量走势的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决传统技术中监控网络流量数据时,由于不恰当地抓取数据包容易导致服务器执行效率下降的技术问题,在一个实施例中,特提出了一种通过抓取服务器之间交互的数据包来生成服务器集群之间网络访问流量走势信息的机制,该机制通过在计算机系统上执行两部分方法来实现,其中包括运行在机房中业务服务器上的获取IP访问关系的方法以及运行在监控服务器上的生成网络访问流量走势的方法,上述方法的执行均可依赖于计算机程序,可运行于冯诺依曼体系的计算机系统之上。上述基于获取IP访问关系的方法的计算机程序可以客户端程序的形式安装在业务服务器上,上述基于生成网络访问流量走势的方法的计算机程序可以服务器程序的形式安装在监控服务器上。
具体的,如图1所示,运行于业务服务器的获取IP访问关系的方法可包括:
步骤S102:查找传输协议端口,筛选出常驻监听端口和非常驻监听端口。
在本实施例中,端口(即port)指的是计算机系统的逻辑端口,用于区分进程。当计算机系统接收自外部发送的数据包之后,则可通过数据包中包含的目的端口找到计算机系统上相应的进程,从而在计算机系统上运行了多个进程时可将接收到的数据包中的数据传递给适配的进程。
传输协议端口即为服务器机房中的业务服务器之间传输数据所使用的传输协议对应的端口,通常情况下服务器机房中的服务器为基于TCP/IP (Transmission ControlProtocol/Internet Protocol,数据传输协议/网络协议)网络搭建,因此,传输协议端口通常即为TCP端口和UDP(User Datagram Protocol,用户数据报协议)端口。
例如,如图2所示,在windows系统中,使用netstat指令,即可得到当前计算机系统中存在的TCP端口和UDP端口。
常驻监听端口即为长时间存在的端口,例如大部分公认端口(端口号为0 至1023)。通常情况下,业务服务器通常会长时间地运行服务器程序监听某个端口,从而接收其他设备向该业务服务器发送的数据包。
例如,FTP(File Transmission Protocol,文件传输协议)程序的常驻监听端口通常为21,即运行FTP的服务器程序的业务服务器上的端口21长期处于被监听状态(即LISTENING状态),当有客户端与业务服务器建立连接时,则端口21处于(即ESTABLISHED状态),当有客户端与业务服务器的连接不正常断开时,则端口21处于(即CLOSE_WAIT状态)。
非常驻监听端口即为短时间存在的端口,例如大部分动态端口(端口号为 1024至65535)。通常情况下,业务服务器在主动向其他设备发送数据包时,会使用非常驻监听端口。
如上例中,FTP客户端向FTP服务器上传数据时,创建的socket对象可使用随机分配的端口号,例如,可分配10235端口作为发送数据包的端口,也就是说,客户端的10235端口与服务器的端口21建立连接,并传输数据。但若该传输数据的传输量较小,则在较短的时间内数据传输完毕,该socket对象被注销,该10235端口即会被释放,通过上述netstat指令则无法找到该10235端口。
在本实施例中,筛选出常驻监听端口和非常驻监听端口的步骤可具体为:周期性检测查找到的传输协议端口是否存在,若连续预设次数检测到该传输协议端口存在,则判定该查找到的传输协议端口为常驻监听端口。
例如,检测的时间周期可设置为1分钟,预设次数可设置为3次,也就是说,可每隔1分钟执行一次上述netstat指令,检测计算机系统上已分配的TCP 端口和UDP端口,共执行3次,若某个TCP端口或UDP端口在3次检测结果中均出现,则可判定该TCP端口或UDP端口为常驻监听端口,也就是说,业务服务器可能在监听是否有数据传入该端口。
需要说明的是,不管端口处于何种状态,该端口均被视为存在。例如,即时TCP端口处于CLOSE_WAIT状态,但该TCP端口仍为存在。若该TCP端口不存在,则无法查询到端口号对应的状态。
步骤S104:抓取所述常驻监听端口接收到的最多第一数目的非空数据包。
数据包包括包头和正文两部分,非空数据包即为正文部分包含有业务数据的数据包,而不是仅具有包头部分而正文部分数据量为0的心跳数据包。
如前所述,抓取常驻监听端口接收到的最多第一数目的非空数据包即可抓取业务服务器上常驻的业务应用的服务器程序接收到的非空数据包。但该常驻监听端口向其他设备发送的非空数据包不会被抓取。
例如,web服务器程序的端口为80端口,由于该端口长期存在,用于监听上传的网页访问请求,因此,该80端口即为常驻监听端口,在80端口抓取的非空数据包则均为上传的网页访问请求的数据包。
再例如,邮件服务器程序的端口为465端口,由于该端口长期存在,用于监听上传的网页访问请求,因此,该465端口即为常驻监听端口,在465端口抓取的非空数据包则均为上传的通过邮件服务器进行转发的电子邮件的数据包。
抓取最多第一数目的非空数据包则是因为业务服务器可能在一段时间内业务请求量较少(例如午夜时分的社交网络应用),因此,可能抓取不到足够第一数目的非空数据包,但在业务繁忙时,仅抓取第一数目的非空数据包即可。优选的,第一数目为6000至8000个。
可选的,还可以抓取所述非常驻监听端口发送的最多第二数目的非空数据包,第一数目大于所述第二数目。
抓取所述非常驻监听端口发送的最多第二数目的非空数据包即可抓取业务服务器上的业务应用的向其他设备发送的非空数据包。但通过该非常驻监听端口接收到的非空数据包不会被抓取。优选的,第二数目为2000至4000个。
如前例中,若存在非常驻监听端口10235,则该端口发出的非空数据包将被抓取,但端口10235接收到的数据包则不会被抓取。
抓取上述数据包的方式可通过tcpdump工具进行抓取。除了抓取常驻监听端口接收的最多第一数目的非空数据包之外,还抓取最多第二数目的非空数据包,使得生成IP访问关系的样本更加全面,从而可以提高最终生成的网络访问流量走势信息的精度。
可选的,在抓取常驻监听端口接收到的最多第一数目的非空数据包的步骤之前还包括:
获取每单位个数处理器的负载信息,在每单位个数处理器的负载信息大于或等于负载阈值时,中止抓取。
例如,在以linux为操作系统的业务服务器上,可获取到负载参数load以及处理器CPU个数,若load/CPU个数的比值大于或等于负载阈值,则表示业务服务器当前的负载压力较大,不适合再分配计算资源用于抓包进行网络流量监控,因此,可中止抓取,待检测到系统的load/CPU个数的比值降低到负载阈值以下时,则可恢复抓取非空数据包的操作。从而可使得业务服务器在执行抓包操作时,使用的是业务服务器上多余的计算资源,而不会使用用于处理业务逻辑的计算资源来进行抓包,从而避免了抓取数据包的操作造成的业务服务器的 CPU额外的计算工作影响了正常业务逻辑的执行。
步骤S106:获取所述抓取到的非空数据包的源网络地址IP和目的网络地址 IP,生成IP访问关系信息。
不管是抓取的常驻监听端口接收到的非空数据包还是抓取的非常驻监听端口发送的非空数据包,其包头部分均包含了源IP和目的IP,即发送该数据包的设备的IP地址(源IP)以及接收该数据包的设备的地址(目的IP)。通过解析非空数据包即可得到成对出现的源IP与目的IP。
例如,对于本地IP为192.168.0.100的业务服务器,其上运行了web服务器程序和FTP服务器程序,则对抓取到的常驻监听端口接收到的不超过第一数目的数据包进行解析,即可能得到如下成对出现的源IP与目的IP:
源192.168.0.102:10323,目的192.168.0.100:80,数据包数目99;
源192.168.0.103:9833,目的192.168.0.100:80,数据包数目123;
源192.168.0.104:10143,目的192.168.0.100:80,数据包数目959;
源192.168.0.102:10423,目的192.168.0.100:80,数据包数目43;
源192.168.0.102:23123,目的192.168.0.100:80,数据包数目25;
源192.168.0.45:23123,目的192.168.0.100:21,数据包数目657;
源192.168.0.98:3728,目的192.168.0.100:21,数据包数目574;
源192.168.0.34:6123,目的192.168.0.100:21,数据包数目1555;
……
上述例子中成对出现的源IP与目的IP即为IP地址为192.168.0.100的业务服务器上的IP访问关系,通过该IP访问关系即可获知有哪些业务服务器访问了IP地址为192.168.0.100业务服务器。且根据统计抓取到的具有相同源IP、源端口、目的IP和目的端口的数据包的数目,则可得到IP分别为192.168.0.102、 192.168.0.104……等的业务服务器访问IP地址为192.168.0.100业务服务器的访问流量的比例。
而若IP为192.168.0.100的业务服务器在运行过程中,还需要访问IP为192.168.0.10的mysql数据库服务器且,mysql数据库的服务器程序的常驻监听端口为443,则对抓取到的常驻监听端口接收到的不超过第二数目的数据包进行解析,即可能得到如下成对出现的源IP与目的IP:
源192.168.0.100:7643,目的192.168.0.10:443,数据包数目657;
源192.168.0.100:4569,目的192.168.0.10:443,数据包数目574;
源192.168.0.100:4542,目的192.168.0.10:443,数据包数目1555;
通过该IP访问关系即可获知IP地址为192.168.0.100业务服务器访问了哪些业务服务器,以及IP地址为192.168.0.100业务服务器。且根据统计抓取到的具有相同源IP、源端口、目的IP和目的端口的数据包的数目,则可得到IP地址为192.168.0.100业务服务器访问其他IP地址(例如192.168.0.10) 的业务服务器的访问流量的比例。
步骤S108:将IP访问关系信息上传至监控服务器,由监控服务器根据所述上传的IP访问关系信息生成网络访问流量走势信息。
运行于业务服务器上的客户端程序在抓取了相应的非空数据包,并通过解析抓取到的非空数据包得到了IP访问关系之后,即可将其上传至监控服务器。监控服务器与机房中的多个业务服务器均可建立连接关系,机房中的多个业务服务器均可上传IP访问关系至监控服务器。监控服务器可将接收到的各个业务服务器上传的IP访问关系合并,从而得到各个业务服务器之间的网络访问流量信息。
可选的,业务服务器在将所述IP访问关系信息上传至监控服务器时,还可获取带宽剩余量,在所述带宽剩余量小于或等于带宽阈值时,将所述IP访问关系信息上传至监控服务器。
也就是说,业务服务器在向监控服务器上传IP访问关系信息时,需要在业务服务器的网络闲暇时间段内上传,而不是在业务服务器在执行业务的高峰期内,占用业务服务器有限的用于执行业务逻辑的带宽资源来上传IP访问关系信息,从而避免了抓取数据包的操作造成的业务服务器的带宽损耗影响了正常业务逻辑的执行。
在本实施例中,监控服务器通过查询IP与服务器集群的集群标识的对应关系,即可得到业务逻辑上处于同一模块的业务服务器构成的服务器集群之间的网络访问流量走势信息。
具体的,如图3所示,通过监控服务器生成网络访问流量走势的方法可包括:
步骤S202,每隔预设的第一时间周期接收业务服务器上传的IP访问关系信息,所述IP访问关系信息中包含相互对应的源IP和目的IP的集合。
第一时间周期即为通过业务服务器抓取非空数据包并上传的采样周期,可设置为30分钟。业务服务器可每30分钟执行上述步骤S102至步骤S108,将该 30分钟抓取的非空数据包通过解析生成的IP访问关系信息上传至监控服务器。
可选的,还可设置抓取时长,优选为5分钟。也就是说,业务服务器在每隔30分钟抓取数据包时,可仅抓取5分钟内常驻监听端口接收到的非空数据包和非常驻监听端口发送的非空数据包。若在不到5分钟时提前抓取了第一数目的常驻监听端口接收到的非空数据包,则停止对常驻监听端口接收到非空数据包进行抓取。若在不到5分钟时提前抓取了第二数目的非常驻监听端口发送的非空数据包,则停止对非常驻监听端口发送的非空数据包进行抓取。若在5分钟抵达时,未抓取到第一数目和第二数目的非空数据包,也停止抓取并上传,待到25分钟(周期30分钟减去抓取5分钟)后进入下一周期时再进行抓取。
而对于监控服务器而言,即每隔30分钟由各个业务服务器采集一次IP访问关系。
步骤S204,对接收到的IP访问关系信息进行合并。
在本实施例中,可每隔预设的第二时间周期合并所述接收到的IP访问关系信息。第二时间周期即为监控服务器统计网络访问流量走势信息的统计周期。第二时间周期为第一时间周期的整数倍,可选为1小时。也就是说,业务服务器在1小时内经历两个抓取数据包的周期,并在每个抓包周期内将根据抓取到的非空数据包生成的IP访问关系上传至监控服务器。监控服务器则每隔1小时进行一次统计合并,将多次采集得到的IP访问关系信息进行整合。
步骤S206,根据合并的IP访问关系信息生成集群访问关系信息,IP访问关系信息中的源IP对应集群访问关系信息中的源集群标识,IP访问关系信息中的目的IP对应所述集群访问关系信息中的目的集群标识。
步骤S208,根据所述集群访问关系信息生成网络访问流量走势信息。
如前所述,若合并后得到的IP访问关系信息如下:
源192.168.0.102:10323,目的192.168.0.100:80,数据包数目99;
源192.168.0.103:9833,目的192.168.0.100:80,数据包数目123;
源192.168.0.104:10143,目的192.168.0.100:80,数据包数目959;
源192.168.0.102:10423,目的192.168.0.100:80,数据包数目43;
源192.168.0.102:23123,目的192.168.0.100:80,数据包数目25;
源192.168.0.45:23123,目的192.168.0.100:21,数据包数目657;
源192.168.0.98:3728,目的192.168.0.100:21,数据包数目574;
源192.168.0.34:6123,目的192.168.0.100:21,数据包数目1555;
而通过查询IP地址192.168.0.102、192.168.0.103和192.168.0.104对应服务器集群A,192.168.0.45、192.168.0.98和192.168.0.34对应服务器集群B,IP地址192.168.0.100对应服务器集群C,则根据上述IP访问关系信息得到集群访问关系信息即为:
源集群:A,目的集群:C,数据包个数:1249;
源集群:B,目的集群:C,数据包个数:2786;
……
然后根据上述集群访问关系即可生成服务器集群之间的网络访问流量走势信息。
可选的,还可根据目的IP的端口号对IP访问关系进行分类,并查找端口号对应的业务标识,再根据分类生成与业务标识对应的服务器集群之间的网络访问流量走势信息。
如前例中,可在监控服务器接收到IP访问关系信息中查找目的IP的端口号为443的IP访问关系信息,该端口号对应了mysql数据库的业务标识,则可根据该查找到的与目的IP的端口号为443对应的IP访问关系信息生成服务器集群之间在mysql数据库访问业务上的网络访问流量走势信息。
在一个实施例中,为解决传统技术中监控网络流量数据时,由于不恰当地抓取数据包容易导致服务器执行效率下降的技术问题,还提出了一种与前述获取IP访问关系的方法对应的获取IP访问关系的装置,如图4所示,包括:监听端口查找模块102、数据包抓取模块104、数据包解析模块106以及IP访问关系信息上传模块108,其中:
监听端口查找模块102,用于查找传输协议端口,筛选出常驻监听端口和非常驻监听端口。
数据包抓取模块104,用于抓取所述常驻监听端口接收到的最多第一数目的非空数据包。
数据包解析模块106,用于获取所述抓取到的非空数据包的源网络地址IP 和目的网络地址IP,生成IP访问关系信息。
IP访问关系信息上传模块108,用于将所述IP访问关系信息上传至监控服务器,由所述监控服务器根据所述上传的IP访问关系信息生成网络访问流量走势信息。
在本实施例中,数据包抓取模块104还用于抓取所述非常驻监听端口发送的最多第二数目的非空数据包,所述第一数目大于所述第二数目。
在本实施例中,监听端口查找模块102还用于周期性检测查找到的传输协议端口是否存在,若连续预设次数检测到该传输协议端口存在,则判定该查找到的传输协议端口为常驻监听端口。
在本实施例中,数据包抓取模块104还用于获取每单位个数处理器的负载信息,在所述每单位个数处理器的负载信息大于或等于负载阈值时,中止抓取。
在本实施例中,IP访问关系信息上传模块108还用于获取带宽剩余量,在所述带宽剩余量小于或等于带宽阈值时,将所述IP访问关系信息上传至监控服务器。
在一个实施例中,为解决传统技术中监控网络流量数据时,由于不恰当地抓取数据包容易导致服务器执行效率下降的技术问题,还提出了一种与前述生成网络访问流量走势的方法对应的生成网络访问流量走势的装置,如图5所示,包括:IP访问关系信息采集模块202、IP访问关系信息合并模块204、集群访问关系生成206以及网络访问流量走势信息生成模块208,其中:
IP访问关系信息采集模块202,用于每隔预设的第一时间周期接收业务服务器上传的IP访问关系信息,所述IP访问关系信息中包含相互对应的源IP和目的IP的集合。
IP访问关系信息合并模块204,用于对所述接收到的IP访问关系信息进行合并。
集群访问关系生成模块206,用于根据所述合并的IP访问关系信息生成集群访问关系信息,所述IP访问关系信息中的源IP对应所述集群访问关系信息中的源集群标识,所述IP访问关系信息中的目的IP对应所述集群访问关系信息中的目的集群标识。
网络访问流量走势信息生成模块208,用于根据所述集群访问关系信息生成网络访问流量走势信息。
在本实施例中,IP访问关系信息合并模块204还用于每隔预设的第二时间周期合并所述接收到的IP访问关系信息。
综上所述,实施本发明实施例,将具有如下有益效果:
在获取IP访问关系的方法和生成网络访问流量走势的方法中,业务服务器可仅对常驻监听端口抓取少量的接收到的数据包,通过解析得到IP访问关系信息,从而可生成网络访问流量走势。与传统技术相比,不需要对业务服务器上发送和接收的数据包进行重复抓取,且抓取数据包的数量得到了限制,因此,业务服务器在抓取数据包的操作上损耗的计算机资源较小,从而提高了业务服务器的执行效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (12)
1.一种获取IP访问关系的方法,其特征在于,包括:
查找传输协议端口,周期性检测查找到的传输协议端口是否存在,若连续预设次数检测到该传输协议端口存在,则判定该查找到的传输协议端口为常驻监听端口,从而筛选出常驻监听端口和非常驻监听端口;
抓取所述常驻监听端口接收到的最多第一数目的非空数据包,非空数据包即为正文部分包含有业务数据的数据包;
获取所述抓取到的非空数据包的源网络地址IP和目的网络地址IP,生成IP访问关系信息;
将所述IP访问关系信息上传至监控服务器,由所述监控服务器根据所述上传的IP访问关系信息生成网络访问流量走势信息。
2.根据权利要求1所述的获取IP访问关系的方法,其特征在于,所述获取抓取到的非空数据包的源网络地址IP和目的网络地址IP的步骤之前还包括:
抓取所述非常驻监听端口发送的最多第二数目的非空数据包,所述第一数目大于所述第二数目。
3.根据权利要求1所述的获取IP访问关系的方法,其特征在于,所述抓取所述常驻监听端口接收到的最多第一数目的非空数据包的步骤之前还包括:
获取每单位个数处理器的负载信息,在所述每单位个数处理器的负载信息大于或等于负载阈值时,中止抓取。
4.根据权利要求1所述的获取IP访问关系的方法,其特征在于,所述将所述IP访问关系信息上传至监控服务器的步骤还包括:
获取带宽剩余量,在所述带宽剩余量小于或等于带宽阈值时,将所述IP访问关系信息上传至监控服务器。
5.一种获取IP访问关系的装置,其特征在于,包括:
监听端口查找模块,用于查找传输协议端口,周期性检测查找到的传输协议端口是否存在,若连续预设次数检测到该传输协议端口存在,则判定该查找到的传输协议端口为常驻监听端口,从而筛选出常驻监听端口和非常驻监听端口;
数据包抓取模块,用于抓取所述常驻监听端口接收到的最多第一数目的非空数据包,非空数据包即为正文部分包含有业务数据的数据包;
数据包解析模块,用于获取所述抓取到的非空数据包的源网络地址IP和目的网络地址IP,生成IP访问关系信息;
IP访问关系信息上传模块,用于将所述IP访问关系信息上传至监控服务器,由所述监控服务器根据所述上传的IP访问关系信息生成网络访问流量走势信息。
6.根据权利要求5所述的获取IP访问关系的装置,其特征在于,所述数据包抓取模块还用于抓取所述非常驻监听端口发送的最多第二数目的非空数据包,所述第一数目大于所述第二数目。
7.根据权利要求5所述的获取IP访问关系的装置,其特征在于,所述数据包抓取模块还用于获取每单位个数处理器的负载信息,在所述每单位个数处理器的负载信息大于或等于负载阈值时,中止抓取。
8.根据权利要求5所述的获取IP访问关系的装置,其特征在于,所述IP访问关系信息上传模块还用于获取带宽剩余量,在所述带宽剩余量小于或等于带宽阈值时,将所述IP访问关系信息上传至监控服务器。
9.一种生成网络访问流量走势的方法,其特征在于,所述方法包括:
每隔预设的第一时间周期接收业务服务器上传的IP访问关系信息,所述IP访问关系信息中包含相互对应的源IP和目的IP的集合;
对所述接收到的IP访问关系信息进行合并;
根据所述合并的IP访问关系信息生成集群访问关系信息,所述IP访问关系信息中的源IP对应所述集群访问关系信息中的源集群标识,所述IP访问关系信息中的目的IP对应所述集群访问关系信息中的目的集群标识;
根据所述集群访问关系信息生成网络访问流量走势信息。
10.根据权利要求9所述的生成网络访问流量走势的方法,其特征在于,所述方法还包括:
每隔预设的第二时间周期执行合并所述接收到的IP访问关系信息的步骤,所述第二时间周期为所述第一时间周期的整数倍;
执行所述根据所述合并的IP访问关系信息生成集群访问关系信息的步骤。
11.一种生成网络访问流量走势的装置,其特征在于,所述装置包括:
IP访问关系信息采集模块,用于每隔预设的第一时间周期接收业务服务器上传的IP访问关系信息,所述IP访问关系信息中包含相互对应的源IP和目的IP的集合;
IP访问关系信息合并模块,用于对所述接收到的IP访问关系信息进行合并;
集群访问关系生成模块,用于根据所述合并的IP访问关系信息生成集群访问关系信息,所述IP访问关系信息中的源IP对应所述集群访问关系信息中的源集群标识,所述IP访问关系信息中的目的IP对应所述集群访问关系信息中的目的集群标识;
网络访问流量走势信息生成模块,用于根据所述集群访问关系信息生成网络访问流量走势信息。
12.根据权利要求11所述的生成网络访问流量走势的装置,其特征在于,所述IP访问关系信息合并模块还用于每隔预设的第二时间周期合并所述接收到的IP访问关系信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510136139.3A CN106161339B (zh) | 2015-03-26 | 2015-03-26 | 获取ip访问关系的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510136139.3A CN106161339B (zh) | 2015-03-26 | 2015-03-26 | 获取ip访问关系的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106161339A CN106161339A (zh) | 2016-11-23 |
CN106161339B true CN106161339B (zh) | 2018-10-09 |
Family
ID=57340634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510136139.3A Active CN106161339B (zh) | 2015-03-26 | 2015-03-26 | 获取ip访问关系的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106161339B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112291370A (zh) * | 2020-12-28 | 2021-01-29 | 金锐同创(北京)科技股份有限公司 | 一种业务访问关系的处理方法及相关设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107786373B (zh) * | 2017-10-13 | 2021-08-31 | 广东电网有限责任公司广州供电局 | 生成服务器拓扑关系的方法、装置、存储介质及计算机设备 |
WO2021163825A1 (en) * | 2020-02-17 | 2021-08-26 | Arris Enterprises Llc | Method and system for obtaining listening ports of a device under test |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794661A (zh) * | 2005-12-26 | 2006-06-28 | 北京交通大学 | 一种基于IPv6的网络性能分析报告系统及实现方法 |
CN101753639A (zh) * | 2009-12-11 | 2010-06-23 | 东南大学 | 基于流量通信模式的服务角色识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120221716A1 (en) * | 2011-02-26 | 2012-08-30 | Mobile Research Labs Ltd. | Tracking Internet Usage In A Household |
-
2015
- 2015-03-26 CN CN201510136139.3A patent/CN106161339B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794661A (zh) * | 2005-12-26 | 2006-06-28 | 北京交通大学 | 一种基于IPv6的网络性能分析报告系统及实现方法 |
CN101753639A (zh) * | 2009-12-11 | 2010-06-23 | 东南大学 | 基于流量通信模式的服务角色识别方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112291370A (zh) * | 2020-12-28 | 2021-01-29 | 金锐同创(北京)科技股份有限公司 | 一种业务访问关系的处理方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106161339A (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107390650B (zh) | 一种基于物联网的数据采集系统及基于该系统的数据压缩方法 | |
US9917735B2 (en) | System and method for big data aggregation in sensor network | |
CN110868336A (zh) | 数据管理方法、装置和计算机可读存储介质 | |
US20200169482A1 (en) | Monitoring and analysis of interactions between network endpoints | |
US7657624B2 (en) | Network usage management system and method | |
CN114143203A (zh) | 一种基于动态服务拓扑映射的Kubernetes容器网络数据包指标采集的方法及系统 | |
KR100748246B1 (ko) | 침입탐지 로그수집 엔진과 트래픽 통계수집 엔진을 이용한다단계 통합보안 관리 시스템 및 방법 | |
CN103414608B (zh) | 快速的web流量采集统计系统和方法 | |
CN110659109B (zh) | 一种openstack集群虚拟机监控系统及方法 | |
CN112118174B (zh) | 软件定义数据网关 | |
CN108989136A (zh) | 业务端到端性能监控方法及装置 | |
CN104869155B (zh) | 数据审计方法及装置 | |
CN103067218B (zh) | 一种高速网络数据包内容分析装置 | |
CN109639754A (zh) | 一种电网调度服务网关数据审计的实现方法 | |
CN105376110A (zh) | 以大数据流式技术实现网络数据包的分析方法及系统 | |
JP5560936B2 (ja) | 構成情報取得方法、仮想プローブおよび構成情報取得制御装置 | |
CN109768899A (zh) | 网站可用性监测方法、装置、设备及介质 | |
CN103795575B (zh) | 一种面向多数据中心的系统监控方法 | |
CN113364624B (zh) | 基于边缘计算的混合云流量采集方法和系统 | |
CN107181639A (zh) | 一种通信状态的监控方法及装置 | |
CN106161339B (zh) | 获取ip访问关系的方法及装置 | |
CN105357071B (zh) | 一种网络复杂流量识别方法及识别系统 | |
CN113535518B (zh) | 一种用户行为的分布式实时动态监控方法及系统 | |
CN100566266C (zh) | 具有时效性的动态双向环行tcp流缓冲区建立和执行方法 | |
Saavedra et al. | Towards large scale packet capture and network flow analysis on hadoop |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |