CN112994956B - 一种基于拓扑优化的网络遥感采集方法及系统 - Google Patents

一种基于拓扑优化的网络遥感采集方法及系统 Download PDF

Info

Publication number
CN112994956B
CN112994956B CN202110438848.2A CN202110438848A CN112994956B CN 112994956 B CN112994956 B CN 112994956B CN 202110438848 A CN202110438848 A CN 202110438848A CN 112994956 B CN112994956 B CN 112994956B
Authority
CN
China
Prior art keywords
acquisition
network
remote sensing
topology
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110438848.2A
Other languages
English (en)
Other versions
CN112994956A (zh
Inventor
王志飞
郑坤
金海洋
蔡磊
丁瑞
闵丛丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Communications and Networks Institute
Original Assignee
Guangdong Communications and Networks Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Communications and Networks Institute filed Critical Guangdong Communications and Networks Institute
Priority to CN202110438848.2A priority Critical patent/CN112994956B/zh
Publication of CN112994956A publication Critical patent/CN112994956A/zh
Application granted granted Critical
Publication of CN112994956B publication Critical patent/CN112994956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements

Abstract

本发明公开了一种基于拓扑优化的网络遥感采集的方法,该方法包括:根据主动采集的拓扑信息构建网络遥感的采集路径集,通过网络遥感的采集路径集执行第一采集线程生成主动采集数据;根据网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据;将主动采集数据和被动采集数据进行整合生成用于与外部接口对接的整合数据。本发明还公开了一种基于拓扑优化的网络遥感采集系统,根据本发明公开的方法和系统能够自动发现采集拓扑,通过高效的网络遥感采集路径定时采集,从而感知准实时的网络状态,更好地规划了网络资源的网络状态数据。

Description

一种基于拓扑优化的网络遥感采集方法及系统
技术领域
本发明涉及通信技术领域,尤其涉及一种基于拓扑优化的网络遥感采集方法及系统。
背景技术
当前,基于网络遥感技术的采集系统主要包括基于主动探测技术,例如跟踪流构建的采集系统和基于被动探测技术,例如Netflow、INT、PBT-I和PBT-M等构建的采集系统。
但是,基于主动探测技术构建的采集系统只能探测正在发生的故障,而且探测的粒度有限,无法感知整个网络的状态。而基于被动探测技术构建的采集系统需要对探测的流量的报文进行改动,并可能导致分片等消耗性能的操作,且需要指定起点设备、传输设备和终点设备。在没有流量的情况下,无法感知网络状态。对于主动探测技术和被动探测技术都存在无法感知整个网络的状态的问题。
发明内容
本发明所要解决的技术问题在于,提供一种基于拓扑优化的网络遥感采集方法及系统,能够自动发现采集拓扑,通过高效的网络遥感采集路径定时采集,从而感知准实时的网络状态,更好地规划了网络资源的网络状态数据。
为了解决上述技术问题,本发明第一方面公开了一种基于拓扑优化的网络遥感采集方法,所述方法包括:根据主动采集的拓扑信息构建网络遥感的采集路径集,通过所述网络遥感的采集路径集执行第一采集线程生成主动采集数据;根据所述网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据;将所述主动采集数据和所述被动采集数据进行整合生成用于与外部接口对接的整合数据。
在一些实施方式中,根据主动采集的拓扑信息构建网络遥感的采集路径集,包括:接收拓扑发现信号,响应于所述拓扑发现信号生成拓扑采集信号,其中,所述拓扑采集信号包括采集内容模板;通过所述采集内容模板采集拓扑信息生成拓扑关系网;根据路径不重叠原则在所述拓扑关系网中确定多条采集路径生成网络遥感的采集路径集。
在一些实施方式中,根据路径不重叠原则在所述拓扑关系网中确定多条采集路径生成网络遥感的采集路径集,之前还包括:接收网络硬件资源变更信息,响应于所述网络硬件资源变更信息生成拓扑变更通知信息;通过所述拓扑变更通知信息更新拓扑关系网生成变更拓扑关系网;根据所述拓扑关系重新确定网络遥感的采集路径集。
在一些实施方式中,所述拓扑关系网包括端节点和传输节点,所述通过所述网络遥感的采集路径集执行第一采集线程生成主动采集数据,其中,所述第一采集线程包括:向各个端节点下发所述网络遥感的采集路径集;所述端节点将所述网络遥感的采集路径集存储至所述端节点的路径数据库;向各个端节点下发包括采集内容模板的拓扑采集信号;所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据。
在一些实施方式中,所述拓扑采集信号还包括定时采集信息,所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据,包括:所述端节点根据存储的所述网络遥感的采集路径集和所述定时采集信息采集与所述采集内容模板所指定的网络数据生成主动采集数据。
在一些实施方式中,根据所述网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据,其中,所述第二采集线程包括:
向各个端节点下发所述网络遥感的采集路径集、所需采集的指定流量内容和预置的被动流量采集规则,其中,所述所需采集的指定流量内容和预置的被动流量采集规则具有关联关系;所述端节点根据所述网络遥感的采集路径集将所述所需采集的指定流量内容和所述预置的被动流量采集规则下发到各个传输节点;获取当前的被动数据流,检测所述被动数据流的流量是否包括匹配所述被动流量采集规则;获取匹配的被动数据流的流量所关联的所需采集的指定流量内容作为被动采集数据。
根据本发明的第二个方面,提供了一种基于拓扑优化的网络遥感采集系统,所述系统包括主动采集模块,用于根据主动采集的拓扑信息构建网络遥感的采集路径集,通过所述网络遥感的采集路径集执行第一采集线程生成主动采集数据;被动采集模块,用于根据所述网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据;整合模块,用于将所述主动采集数据和所述被动采集数据进行整合生成用于与外部接口对接的整合数据。
在一些实施方式中,主动采集模块包括:拓扑采集模块,用于接收拓扑发现信号,响应于所述拓扑发现信号生成拓扑采集信号,其中,所述拓扑采集信号包括采集内容模板,通过所述采集内容模板采集拓扑信息生成拓扑关系网;路径计算模块,用于根据路径不重叠原则在所述拓扑关系网中确定多条采集路径生成网络遥感的采集路径集。
在一些实施方式中,拓扑采集模块,还用于接收网络硬件资源变更信息,响应于所述网络硬件资源变更信息生成拓扑变更通知信息,通过所述拓扑变更通知信息更新拓扑关系网生成变更拓扑关系网;所述路径计算模块,还用于根据所述拓扑关系重新确定网络遥感的采集路径集。
在一些实施方式中,所述拓扑关系网包括端节点和传输节点,所述第一采集线程包括:向各个端节点下发所述网络遥感的采集路径集;所述端节点将所述网络遥感的采集路径集存储至所述端节点的路径数据库;向各个端节点下发包括采集内容模板的拓扑采集信号;所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据。
在一些实施方式中,拓扑采集信号还包括定时采集信息,,所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据,包括:所述端节点根据存储的所述网络遥感的采集路径集和所述定时采集信息采集与所述采集内容模板所指定的网络数据生成主动采集数据。
在一些实施方式中,被动模块的第二采集线程包括:向各个端节点下发所述网络遥感的采集路径集、所需采集的指定流量内容和预置的被动流量采集规则,其中,所述所需采集的指定流量内容和预置的被动流量采集规则具有关联关系;所述端节点根据所述网络遥感的采集路径集将所述所需采集的指定流量内容和所述预置的被动流量采集规则下发到各个传输节点;获取当前的被动数据流,检测所述被动数据流的流量是否包括匹配所述被动流量采集规则;获取匹配的被动数据流的流量所关联的所需采集的指定流量内容作为被动采集数据。
与现有技术相比,本发明的有益效果在于:
通过对拓扑采集,计算高效的采集路径,对切片的网络资源进行提前规划,通过采集路径减少域内设备与采集服务器的交互,改进了现有的采集方式,有效避免了的对原始报文的分片,并且在不分片的采集前提下实现流级采集粒度。
可以根据不同的网络硬件变更调整主动采集的网络遥感的采集路径集,通过基于采集路径的定时采集方式感知系统的准实时状态,获知整个域内的网络状态;并且通过向预期节点下发流量采集规则,通过网络遥感的采集路径集分发到各节点,当预期流量进入采集域的时候根据采集规则进行数据采集,由于各节点的采集项可以不同,由此还可以通过网络遥感的采集路径集定制各节点的采集项,实现定制化采集的效果。
附图说明
图1为本发明实施例公开的一种基于拓扑优化的网络遥感采集方法的流程示意图;
图2为本发明实施例公开的又一种基于拓扑优化的网络遥感采集方法的流程示意图;
图3为本发明实施例公开的一种网络拓扑关系示意图;
图4为本发明实施例公开的又一种网络拓扑关系示意图;
图5为本发明实施例公开的又一种网络拓扑关系示意图;
图6为本发明实施例公开的又一种网络拓扑关系示意图;
图7为本发明实施例公开的一种基于拓扑优化的网络遥感采集系统示意图;
图8是本发明实施例公开的一种基于拓扑优化的网络遥感采集的装置结构示意图。
具体实施方式
为了更好地理解和实施,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
本发明实施例公开了一种基于拓扑优化的网络遥感采集的方法及系统,在切片网络的系统下,能够通过对拓扑采集,计算高效的采集路径,对切片的网络资源进行提前规划,通过采集路径减少域内设备与采集服务器的交互,改进了现有的采集方式,有效避免了的对原始报文的分片,并且在不分片的采集前提下实现流级采集粒度。可以根据不同的网络硬件变更调整主动采集的网络遥感的采集路径集,通过基于采集路径的定时采集方式感知系统的准实时状态,获知整个域内的网络状态;并且通过向预期节点下发流量采集规则,通过网络遥感的采集路径集分发到各节点,当预期流量进入采集域的时候根据采集规则进行数据采集,由于各节点的采集项可以不同,由此还可以通过网络遥感的采集路径集定制各节点的采集项,实现定制化采集的效果。
实施例一
请参阅图1,图1为本发明实施例公开的一种基于拓扑优化的网络遥感采集方法的流程示意图。如图1所示,该基于拓扑优化的网络遥感采集方法可以包括以下操作:
101、根据主动采集的拓扑信息构建网络遥感的采集路径集,通过网络遥感的采集路径集执行第一采集线程生成主动采集数据。
为了对采集域内网络资源的监控和数据采集路径的规划,为后续的数据采集准备有效的采集路径。首先,接收拓扑发现信号,响应于拓扑发现信号生成拓扑采集信号,如图2所示的与设备之间的交互图可以看出,在设备启动后,设备中的拓扑上报模块就会定期发出拓扑发现信号,该拓扑发现信号中携带有设备自身的设备ID,在探测到该拓扑发现信号后,就会生成拓扑采集信号,其中拓扑采集信号包括采集内容模板,即所需要主动采集的内容模板,在具体实现时,设备的拓扑上报模块在接收到拓扑信号后会注册拓扑变更事件,设备的拓扑上报模块根据该采集内容模板收集设备的本地拓扑信息进行发送,在接收到该本地拓扑信息后进行初步处理,该初步处理具体包括对存储有本地拓扑信息的本地拓扑数据库进行设备拓扑信息的增删改查等操作处理,生成符合当前实际运行状态的拓扑关系图数据库,从而为后面进行拓扑采集路径的规划准备基础数据。
将处理后的多个设备的拓扑信息生成如图3所示的拓扑关系网,再根据路径不重叠原则在拓扑关系网中确定多条采集路径生成网络遥感的采集路径集。具体实现为:如图4所示,拓扑关系网包括端节点和传输节点,在不同的切片网络中,同一台设备,在一种切片网络关系中是端节点,在另一种切片网络关系中可能就是中间的传输节点,而在本实施例中的采集端只与端节点进行通信,于此需要划分端节点和传输节点。其中,端节点和传输节点的确定根据所探测到的设备的拓扑发现结果确定。如图5所示,将端节点作为起点,将再次返回端节点的路径为构建的网络遥感的采集路径,这样就存在多个可以通过的路径,为了减少域内设备与采集服务器的交互,从这些采集路径方案中选择路径最少的路径方案作为最终的网络遥感的采集路径,最终生成如图6所示的4条网络遥感的采集路径即网络遥感的采集路径集。通过这种方式所计算得到的网络遥感的采集路径集,可以进行资源规划,达到了对切片网络的资源规划能力。
在其他实施方式中,接收网络硬件资源变更信息,响应于网络硬件资源变更信息生成拓扑变更通知信息,即当设备的网络硬件资源发生变更时,发送拓扑变更通知从而触发更新网络拓扑关系图,根据拓扑关系图重新如上述步骤确定网络遥感的采集路径集。
在确定了网络遥感的采集路径集后,通过网络遥感的采集路径集执行第一采集线程生成主动采集数据,其中,第一采集线程实现为:首先,向各个端节点下发网络遥感的采集路径集,端节点会将网络遥感的采集路径集存储至该端节点的路径数据库中。之后,向各个端节点下发包括采集内容模板的拓扑采集信号,端节点就会根据存储的网络遥感的采集路径集采集与采集内容模板所指定的网络数据生成主动采集数据,在其他优选实施方式中,拓扑采集信号还包括定时采集信息,该定时采集信息可以实现为采集定时器,在本实施例中,采集定时器设置范围100ms~500ms,默认设置100ms,端节点就可以通过定时器定时采集该路径上模板所指定的网络数据。由此,可以通过基于采集路径的定时采集方式感知系统的准实时状态,获知整个域内的网络状态。
102、根据网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据。
具体实现为:首先向各个端节点下发网络遥感的采集路径集、所需采集的指定流量内容和预置的被动流量采集规则,其中,所需采集的指定流量内容和预置的被动流量采集规则具有关联关系,被动流量采集规则是在具体实施例应用中,例如网管界面定义的所需采集的数据项和采集的方式,示例性地,包括定时采集或阈值采集等。
端节点根据网络遥感的采集路径集将所需采集的指定流量内容和预置的被动流量采集规则下发到各个传输节点,这样将被动采集规则进行分发,由于不同的节点规划的采集规则可能有差别,而只有端节点才可以与采集端进行通信,所以,需要通过端节点来下发被动采集规则,然后沿下发的网络遥感的采集路径集将这些被动采集规则分发到传输节点,这样每个节点只保存了自己的采集规则。
由于设备上会有不同用户的不同应用的数据流,在实际使用数据时并不会对所有的流量都进行采集,此时,就需要获取当前的被动数据流,检测被动数据流的流量是否包括匹配被动流量采集规则,示例性地,在端节点上对经过的被动数据流进行检测,通过ACL等规则进行被动数据流的流量匹配,只有匹配的流量才会进行后续的数据采集操作,通过获取匹配的被动数据流的流量所关联的所需采集的指定流量内容作为被动采集数据。
103、将主动采集数据和被动采集数据进行整合生成用于与外部接口对接的整合数据。
在步骤101和步骤102的采集方式下,在数据采集过程中进行处理,每个端节点或传输节点会根据在原包中插入的采集指令,查询本地的采集模板,然后根据采集模板定义的规则在本节点采集相应的数据,但采集结果并不在本报文中携带,所以,在原包中插入的字节量就很小,比如可以通过扩展IP扩展头来实现该目的,这样,原包分片的可能性就减少。进一步地,在采集过程中,流数据包(各个传输节点所携带的数据包)中只携带采集命令,而不包含最终的采集结果,由于采集结果的收集只会在端节点另外发起,并且可以根据精度要求设置发起的时间,所以,在整个过程中原流量是不进行分片的。
根据主动采集数据和被动采集数据进行整合,例如通过数据合并的方式实现。之所以需要对数据进行整合是因为,主动采集是指在没有对应流量的情况下,将所需要的流量在网数据上报,被动采集是指根据当前流量的采集方式,将采集信息在设定的触发条件下(例如被动流量采集规则)进行上报,在某一时刻,可能只有部分规则存在流量的统计,所以,就需要将主动采集的数据整合到上报采集服务器的报文中,之后再提供给外部接口中。
根据本实施例提供的方法,能够通过对拓扑采集,计算高效的采集路径,对切片的网络资源进行提前规划,通过采集路径减少域内设备与采集服务器的交互,改进了现有的采集方式,有效避免了的对原始报文的分片,并且在不分片的采集前提下实现流级采集粒度。可以根据不同的网络硬件变更调整主动采集的网络遥感的采集路径集,通过基于采集路径的定时采集方式感知系统的准实时状态,获知整个域内的网络状态;并且通过向预期节点下发流量采集规则,通过网络遥感的采集路径集分发到各节点,当预期流量进入采集域的时候根据采集规则进行数据采集,由于各节点的采集项可以不同,由此还可以通过网络遥感的采集路径集定制各节点的采集项,实现定制化采集的效果。
实施例二
请参阅图7,图7为本发明实施例公开的一种基于拓扑优化的网络遥感采集系统示意图。如图7所示,该系统包括:主动采集模块3,用于根据主动采集的拓扑信息构建网络遥感的采集路径集,通过网络遥感的采集路径集执行第一采集线程生成主动采集数据。
被动采集模块4,用于根据网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据。
整合模块5,用于将主动采集数据和被动采集数据进行整合生成用于与外部接口对接的整合数据。
其中,主动采集模块包括3:拓扑采集模块301,用于接收拓扑发现信号,响应于拓扑发现信号生成拓扑采集信号,其中,拓扑采集信号包括采集内容模板,通过采集内容模板采集拓扑信息生成拓扑关系网。
路径计算模块302,用于根据路径不重叠原则在拓扑关系网中确定多条采集路径生成网络遥感的采集路径集。为了对采集域内网络资源的监控和数据采集路径的规划,为后续的数据采集准备有效的采集路径。首先,接收拓扑发现信号,响应于拓扑发现信号生成拓扑采集信号,如图2所示的与设备之间的交互图可以看出,在设备启动后,设备中的拓扑上报模块就会定期发出拓扑发现信号,该拓扑发现信号中携带有设备自身的设备ID,在探测到该拓扑发现信号后,就会生成拓扑采集信号,其中拓扑采集信号包括采集内容模板,即所需要主动采集的内容模板,在具体实现时,设备的拓扑上报模块在接收到拓扑信号后会注册拓扑变更事件,设备的拓扑上报模块根据该采集内容模板收集设备的本地拓扑信息进行发送,在接收到该本地拓扑信息后进行初步处理,该初步处理具体包括对存储有本地拓扑信息的本地拓扑数据库进行设备拓扑信息的增删改查等操作处理,生成符合当前实际运行状态的拓扑关系图数据库,从而为后面进行拓扑采集路径的规划准备基础数据。
将处理后的多个设备的拓扑信息生成如图3所示的拓扑关系网,再根据路径不重叠原则在拓扑关系网中确定多条采集路径生成网络遥感的采集路径集。具体实现为:如图4所示,拓扑关系网包括端节点和传输节点,在不同的切片网络中,同一台设备,在一种切片网络关系中是端节点,在另一种切片网络关系中可能就是中间的传输节点,而在本实施例中的采集端只与端节点进行通信,于此需要划分端节点和传输节点。其中,端节点和传输节点的确定根据所探测到的设备的拓扑发现结果确定。如图5所示,将端节点作为起点,将再次返回端节点的路径为构建的网络遥感的采集路径,这样就存在多个可以通过的路径,为了减少域内设备与采集服务器的交互,从这些采集路径方案中选择路径最少的路径方案作为最终的网络遥感的采集路径,最终生成如图6所示的4条网络遥感的采集路径即网络遥感的采集路径集。通过这种方式所计算得到的网络遥感的采集路径集,可以进行资源规划,达到了对切片网络的资源规划能力。
拓扑采集模块301,还用于接收网络硬件资源变更信息,响应于网络硬件资源变更信息生成拓扑变更通知信息,通过拓扑变更通知信息更新拓扑关系网生成变更拓扑关系网。即当设备的网络硬件资源发生变更时,发送拓扑变更通知从而触发更新网络拓扑关系图,根据拓扑关系图重新如上述步骤确定网络遥感的采集路径集。
路径计算模块302,还用于根据拓扑关系重新确定网络遥感的采集路径集。
拓扑关系网包括端节点和传输节点,在确定了网络遥感的采集路径集后,通过网络遥感的采集路径集执行第一采集线程生成主动采集数据,其中,第一采集线程实现为:首先,向各个端节点下发网络遥感的采集路径集,端节点会将网络遥感的采集路径集存储至该端节点的路径数据库中。之后,向各个端节点下发包括采集内容模板的拓扑采集信号,端节点就会根据存储的网络遥感的采集路径集采集与采集内容模板所指定的网络数据生成主动采集数据,在其他优选实施方式中,拓扑采集信号还包括定时采集信息,该定时采集信息可以实现为采集定时器,在本实施例中,采集定时器设置范围100ms~500ms,默认设置100ms,端节点就可以通过定时器定时采集该路径上模板所指定的网络数据。由此,可以通过基于采集路径的定时采集方式感知系统的准实时状态,获知整个域内的网络状态。
被动模块的第二采集线程包括:向各个端节点下发网络遥感的采集路径集、所需采集的指定流量内容和预置的被动流量采集规则,其中,所需采集的指定流量内容和预置的被动流量采集规则具有关联关系;端节点根据网络遥感的采集路径集将所需采集的指定流量内容和预置的被动流量采集规则下发到各个传输节点;获取当前的被动数据流,检测被动数据流的流量是否包括匹配被动流量采集规则;获取匹配的被动数据流的流量所关联的所需采集的指定流量内容作为被动采集数据。具体实现为:首先向各个端节点下发网络遥感的采集路径集、所需采集的指定流量内容和预置的被动流量采集规则,其中,所需采集的指定流量内容和预置的被动流量采集规则具有关联关系,被动流量采集规则是在具体实施例应用中,例如网管界面定义的所需采集的数据项和采集的方式,示例性地,包括定时采集或阈值采集等。
端节点根据网络遥感的采集路径集将所需采集的指定流量内容和预置的被动流量采集规则下发到各个传输节点,这样将被动采集规则进行分发,由于不同的节点规划的采集规则可能有差别,而只有端节点才可以与采集端进行通信,所以,需要通过端节点来下发被动采集规则,然后沿下发的网络遥感的采集路径集将这些被动采集规则分发到传输节点,这样每个节点只保存了自己的采集规则。
由于设备上会有不同用户的不同应用的数据流,在实际使用数据时并不会对所有的流量都进行采集,此时,就需要获取当前的被动数据流,检测被动数据流的流量是否包括匹配被动流量采集规则,示例性地,在端节点上对经过的被动数据流进行检测,通过ACL等规则进行被动数据流的流量匹配,只有匹配的流量才会进行后续的数据采集操作,通过获取匹配的被动数据流的流量所关联的所需采集的指定流量内容作为被动采集数据。
在主动采集模块3和被动采集模块4的采集方式下,在数据采集过程中进行处理,每个端节点或传输节点会根据在原包中插入的采集指令,查询本地的采集模板,然后根据采集模板定义的规则在本节点采集相应的数据,但采集结果并不在本报文中携带,所以,在原包中插入的字节量就很小,比如可以通过扩展IP扩展头来实现该目的,这样,原包分片的可能性就减少。进一步地,在采集过程中,流数据包(各个传输节点所携带的数据包)中只携带采集命令,而不包含最终的采集结果,由于采集结果的收集只会在端节点另外发起,并且可以根据精度要求设置发起的时间,所以,在整个过程中原流量是不进行分片的。
根据主动采集数据和被动采集数据进行整合,例如通过数据合并的方式实现。之所以需要对数据进行整合是因为,主动采集是指在没有对应流量的情况下,将所需要的流量在网数据上报,被动采集是指根据当前流量的采集方式,将采集信息在设定的触发条件下(例如被动流量采集规则)进行上报,在某一时刻,可能只有部分规则存在流量的统计,所以,就需要将主动采集的数据整合到上报采集服务器的报文中,之后再提供给外部接口中。
根据本实施例提供的系统,能够通过对拓扑采集,计算高效的采集路径,对切片的网络资源进行提前规划,通过采集路径减少域内设备与采集服务器的交互,改进了现有的采集方式,有效避免了的对原始报文的分片,并且在不分片的采集前提下实现流级采集粒度。可以根据不同的网络硬件变更调整主动采集的网络遥感的采集路径集,通过基于采集路径的定时采集方式感知系统的准实时状态,获知整个域内的网络状态;并且通过向预期节点下发流量采集规则,通过网络遥感的采集路径集分发到各节点,当预期流量进入采集域的时候根据采集规则进行数据采集,由于各节点的采集项可以不同,由此还可以通过网络遥感的采集路径集定制各节点的采集项,实现定制化采集的效果。
实施例三
请参阅图8,图8是本发明实施例公开的一种基于拓扑优化的网络遥感采集装置的结构示意图。如图8所示,该装置可以包括:
存储有可执行程序代码的存储器601;
与存储器601耦合的处理器602;
处理器602调用存储器601中存储的可执行程序代码,用于执行实施例一所描述的基于拓扑优化的网络遥感采集方法。
实施例四
本发明实施例公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行实施例一所描述的基于拓扑优化的网络遥感采集方法。
实施例五
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一所描述的基于拓扑优化的网络遥感采集方法。
以上所描述的实施例仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种基于拓扑优化的网络遥感采集方法及系统所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于拓扑优化的网络遥感采集方法,其特征在于,所述方法包括:
根据主动采集的拓扑信息生成拓扑关系网,通过所述拓扑关系网构建网络遥感的采集路径集,通过所述网络遥感的采集路径集执行第一采集线程生成主动采集数据,其中,所述拓扑关系网包括端节点和传输节点,所述第一采集线程包括:向各个端节点下发所述网络遥感的采集路径集;所述端节点将所述网络遥感的采集路径集存储至所述端节点的路径数据库;向各个端节点下发包括采集内容模板的拓扑采集信号;所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据;
根据所述网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据;
将所述主动采集数据和所述被动采集数据进行整合生成用于与外部接口对接的整合数据。
2.根据权利要求1所述的基于拓扑优化的网络遥感采集方法,其特征在于,所述根据主动采集的拓扑信息生成拓扑关系网,通过所述拓扑关系网构建网络遥感的采集路径集,包括:
接收拓扑发现信号,响应于所述拓扑发现信号生成拓扑采集信号,其中,所述拓扑采集信号包括采集内容模板;
通过所述采集内容模板采集拓扑信息生成拓扑关系网;
根据路径不重叠原则在所述拓扑关系网中确定多条采集路径生成网络遥感的采集路径集。
3.根据权利要求2所述的基于拓扑优化的网络遥感采集方法,其特征在于,所述根据路径不重叠原则在所述拓扑关系网中确定多条采集路径生成网络遥感的采集路径集,之前还包括:
接收网络硬件资源变更信息,响应于所述网络硬件资源变更信息生成拓扑变更通知信息;
通过所述拓扑变更通知信息更新拓扑关系网生成变更拓扑关系网;
根据所述拓扑关系网重新确定网络遥感的采集路径集。
4.根据权利要求3所述的基于拓扑优化的网络遥感采集方法,其特征在于,所述拓扑采集信号还包括定时采集信息,所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据,包括:
所述端节点根据存储的所述网络遥感的采集路径集和所述定时采集信息采集与所述采集内容模板所指定的网络数据生成主动采集数据。
5.根据权利要求3所述的基于拓扑优化的网络遥感采集方法,其特征在于,根据所述网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据,其中,所述第二采集线程包括:
向各个端节点下发所述网络遥感的采集路径集、所需采集的指定流量内容和预置的被动流量采集规则,其中,所述所需采集的指定流量内容和预置的被动流量采集规则具有关联关系;
所述端节点根据所述网络遥感的采集路径集将所述所需采集的指定流量内容和所述预置的被动流量采集规则下发到各个传输节点;
获取当前的被动数据流,检测所述被动数据流的流量是否包括匹配所述被动流量采集规则;
获取匹配的被动数据流的流量所关联的所需采集的指定流量内容作为被动采集数据。
6.一种基于拓扑优化的网络遥感采集系统,其特征在于,所述系统包括:
主动采集模块,用于根据主动采集的拓扑信息生成拓扑关系网,通过所述拓扑关系网构建网络遥感的采集路径集,通过所述网络遥感的采集路径集执行第一采集线程生成主动采集数据,其中,所述拓扑关系网包括端节点和传输节点,所述第一采集线程包括:向各个端节点下发所述网络遥感的采集路径集;所述端节点将所述网络遥感的采集路径集存储至所述端节点的路径数据库;向各个端节点下发包括采集内容模板的拓扑采集信号;所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据;
被动采集模块,用于根据所述网络遥感的采集路径集和预置的被动流量采集规则执行第二采集线程生成被动采集数据;
整合模块,用于将所述主动采集数据和所述被动采集数据进行整合生成用于与外部接口对接的整合数据。
7.根据权利要求6所述的基于拓扑优化的网络遥感采集系统,其特征在于,所述主动采集模块包括:
拓扑采集模块,用于接收拓扑发现信号,响应于所述拓扑发现信号生成拓扑采集信号,其中,所述拓扑采集信号包括采集内容模板,通过所述采集内容模板采集拓扑信息生成拓扑关系网;
路径计算模块,用于根据路径不重叠原则在所述拓扑关系网中确定多条采集路径生成网络遥感的采集路径集。
8.根据权利要求7所述的基于拓扑优化的网络遥感采集系统,其特征在于,
所述拓扑采集模块,还用于接收网络硬件资源变更信息,响应于所述网络硬件资源变更信息生成拓扑变更通知信息,通过所述拓扑变更通知信息更新拓扑关系网生成变更拓扑关系网;
所述路径计算模块,还用于根据所述拓扑关系重新确定网络遥感的采集路径集。
9.根据权利要求8所述的基于拓扑优化的网络遥感采集系统,其特征在于,所述拓扑采集信号还包括定时采集信息,所述端节点根据存储的所述网络遥感的采集路径集采集与所述采集内容模板所指定的网络数据生成主动采集数据,包括:
所述端节点根据存储的所述网络遥感的采集路径集和所述定时采集信息采集与所述采集内容模板所指定的网络数据生成主动采集数据。
10.根据权利要求9所述的基于拓扑优化的网络遥感采集系统,其特征在于,所述被动模块的第二采集线程包括:
向各个端节点下发所述网络遥感的采集路径集、所需采集的指定流量内容和预置的被动流量采集规则,其中,所述所需采集的指定流量内容和预置的被动流量采集规则具有关联关系;
所述端节点根据所述网络遥感的采集路径集将所述所需采集的指定流量内容和所述预置的被动流量采集规则下发到各个传输节点;
获取当前的被动数据流,检测所述被动数据流的流量是否包括匹配所述被动流量采集规则;
获取匹配的被动数据流的流量所关联的所需采集的指定流量内容作为被动采集数据。
CN202110438848.2A 2021-04-23 2021-04-23 一种基于拓扑优化的网络遥感采集方法及系统 Active CN112994956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110438848.2A CN112994956B (zh) 2021-04-23 2021-04-23 一种基于拓扑优化的网络遥感采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110438848.2A CN112994956B (zh) 2021-04-23 2021-04-23 一种基于拓扑优化的网络遥感采集方法及系统

Publications (2)

Publication Number Publication Date
CN112994956A CN112994956A (zh) 2021-06-18
CN112994956B true CN112994956B (zh) 2021-07-16

Family

ID=76339910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110438848.2A Active CN112994956B (zh) 2021-04-23 2021-04-23 一种基于拓扑优化的网络遥感采集方法及系统

Country Status (1)

Country Link
CN (1) CN112994956B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159251A (zh) * 2014-08-18 2014-11-19 重庆邮电大学 基于被动端到端的传感器网络故障链路推断方法
CN106850337A (zh) * 2016-12-29 2017-06-13 中兴通讯股份有限公司 一种网络质量检测方法及装置
CN111835588A (zh) * 2020-06-29 2020-10-27 北京交通大学 一种带内网络遥测承载流选取方法及系统
WO2020264079A1 (en) * 2019-06-25 2020-12-30 Sciencelogic, Inc. A system and method for the collection, generation, and distribution of synthetic metrics for computer system management
CN112214781A (zh) * 2020-11-11 2021-01-12 广东新禾道信息科技有限公司 一种基于区块链的遥感影像大数据处理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9331910B2 (en) * 2013-06-19 2016-05-03 Cumulus Networks, Inc. Methods and systems for automatic generation of routing configuration files

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159251A (zh) * 2014-08-18 2014-11-19 重庆邮电大学 基于被动端到端的传感器网络故障链路推断方法
CN106850337A (zh) * 2016-12-29 2017-06-13 中兴通讯股份有限公司 一种网络质量检测方法及装置
WO2020264079A1 (en) * 2019-06-25 2020-12-30 Sciencelogic, Inc. A system and method for the collection, generation, and distribution of synthetic metrics for computer system management
CN111835588A (zh) * 2020-06-29 2020-10-27 北京交通大学 一种带内网络遥测承载流选取方法及系统
CN112214781A (zh) * 2020-11-11 2021-01-12 广东新禾道信息科技有限公司 一种基于区块链的遥感影像大数据处理方法及系统

Also Published As

Publication number Publication date
CN112994956A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US20150120914A1 (en) Service monitoring system and service monitoring method
CN104301161B (zh) 业务质量指标的计算方法、计算装置以及通信系统
CN109005528A (zh) 一种蓝牙mesh网关数据聚合上报方法
CN103081407A (zh) 故障分析装置、故障分析系统及故障分析方法
US6633834B2 (en) Baselining of data collector data
US20150026244A1 (en) Communication system, client terminal, and server device
CN111585837B (zh) 物联网数据链路监控方法、装置、计算机设备和存储介质
US10911970B2 (en) Method and apparatus for detecting time series data
CN104052565A (zh) 一种时间同步方法和通信终端
CN114401207A (zh) 一种通讯异常终端设备定位方法、装置及电子设备
CN112994956B (zh) 一种基于拓扑优化的网络遥感采集方法及系统
CN110557292A (zh) 基于分布式路由物联网络的拓扑图获取方法、装置及设备
CN109710676A (zh) Cmdb模型的数据获取方法、装置及电子设备
CN103944779B (zh) 一种wap业务性能监测方法及系统
CN105282025A (zh) 一种确定端到端路由的方法及装置
CN107302518B (zh) 基于加权相似度的域间路由系统安全状态感知方法和装置
EP3160089A1 (en) Method and apparatus for generating network dependencies
CN108829735B (zh) 并行执行计划的同步方法、装置、服务器及存储介质
US9477736B2 (en) Apparatus and method for active and passive data gathering using stochastic model in control network
CN106452905A (zh) 消息处理方法和装置
CN103312529B (zh) 系统功能的监控方法、装置及监控系统
EP4280561A1 (en) Information flow identification method, network chip, and network device
CN115174350A (zh) 一种运维告警方法、装置、设备及介质
CN115118635A (zh) 一种时延检测方法、装置、设备及存储介质
CN107124293B (zh) 一种分布式网络系统的协议管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant