CN113438124A - 基于意图驱动的网络测量方法和装置 - Google Patents
基于意图驱动的网络测量方法和装置 Download PDFInfo
- Publication number
- CN113438124A CN113438124A CN202110632518.7A CN202110632518A CN113438124A CN 113438124 A CN113438124 A CN 113438124A CN 202110632518 A CN202110632518 A CN 202110632518A CN 113438124 A CN113438124 A CN 113438124A
- Authority
- CN
- China
- Prior art keywords
- measurement
- local
- network
- result
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提出了一种基于意图驱动的网络测量方法,涉及网络测量技术领域,该方法包括:获取用户编写的网络测量任务;将网络测量任务下发至相应的测量数据源处和全局流式处理器处;使用测量数据源接收网络测量任务,并产生数据流;从测量数据源处提取数据流将其输给本地流式处理器;使用本地流式处理器接收数据流后执行本地测量任务得到本地测量结果并传输至全局流式处理器;使用全局流式处理器汇总网络范围内本地测量结果,并根据汇总结果执行全局测量任务得到测量结果;根据测量结果展示系统的运行状态。本发明可以兼容不同类型的测量数据源具有通用性,支持用户编写复杂的网络范围测量任务,也可以减小数据传输和全局分析的负载实现较强可扩展性。
Description
技术领域
本申请涉及网络测量技术领域,尤其涉及一种基于意图驱动的网络测量方法和装置。
背景技术
网络测量能够帮助更好地了解网络的状态、性能指标等,通过网络测量能够进一步进行故障诊断、异常检测等任务。随着互联网的不断发展,网络规模也不断增长,对于网络管理员来说,进行网络范围内的网络测量任务将变得越来越困难。使用传统的网络测量工具,例如ping、traceroute、netflow等只能解决特定的网络测量任务,无法执行一些定制化程度较高的测量任务。为了满足网络管理员多样化的测量意图,需要提供一套具有丰富可表达性的测量原语,以支持用户编写一系列复杂的网络范围的测量任务。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种基于意图驱动的网络测量方法,解决了现有方法使用传统的网络测量工具只能解决特定的网络测量任务,无法执行一些定制化程度较高的测量任务的技术问题,提出了可以兼容网络范围内不同类型的测量数据源的测量框架,同时提供的测量原语能够方便地支持用户基于他们的测量意图编写测量网络范围内的测量任务,实现了将测量任务尽可能放在底层的测量数据源处进行处理,减小中间传输的数据量和全局分析的负载,体现了较强的可拓展性。
本申请的第二个目的在于提出一种基于意图驱动的网络测量装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本申请第一方面实施例提出了一种基于意图驱动的网络测量方法,包括:获取用户编写的网络测量任务;根据网络测量任务所需要的测量数据源,将网络测量任务下发至相应的测量数据源处和全局流式处理器处;使用测量数据源接收网络测量任务,并产生数据流;从测量数据源处提取数据流,并将数据流传输给本地流式处理器;使用本地流式处理器接收数据流,之后数据流执行本地测量任务,得到本地测量结果,并将本地测量结果传输至全局流式处理器;使用全局流式处理器汇总网络范围内各个本地流式处理器产生的本地测量结果,得到汇总结果,之后汇总结果执行全局测量任务,得到测量结果;获取测量结果,并根据测量结果展示系统的运行状态。
可选地,在本申请的一个实施例中,用户基于测量意图,通过提供的测量原语,编写网络测量任务,其中,测量原语在本地测量任务阶段和全局流式处理阶段是一致的。
可选地,在本申请的一个实施例中,测量原语包括核心原语、流式处理原语、高级原语,其中,
核心原语,提供基于时空粒度的网络流量处理方式;
流式处理原语,提供流式任务处理方式;
高级原语,提供网络测量任务常用的数据结构和操作。
可选地,在本申请的一个实施例中,执行本地测量任务的具体过程为:数据流按照用户定义的测量逻辑,执行转换操作;
执行全局测量任务的具体过程为:汇总结果按照用户定义的测量逻辑,执行转换操作。
可选地,在本申请的一个实施例中,若网络测量任务在执行本地测量任务阶段调用了高层原语中主动探测的相关原语,将根据用户指定的方式构造主动探测包,并按照给定的参数发起主动探测,得到相应的探测响应包,之后对探测响应包进行分析得到主动探测结果,并将主动探测结果返回给本地流式处理器。
为达上述目的,本发明第二方面实施例提出了一种基于意图驱动的网络测量装置,包括:Runtime组件、Driver组件、本地流式处理器、全局流式处理器,其中,
Runtime组件,用于接收用户编写的网络测量任务,并将网络测量任务下发至相应的测量数据源处和全局处理源处;
Driver组件,用于与底层的测量数据源进行直接交互,提取所需的测量数据流并发送至本地流式处理器,其中,不同类型的测量数据源需要不同类型的Driver;
本地流式处理器,用于在测量数据流在测量数据源处进行本地阶段的测量任务,得到本地测量结果,并将本地测量结果发送至全局流式处理器;
全局流式处理器,用于汇总各个本地流式处理发送的本地测量结果,得到汇总结果,之后汇总结果执行全局阶段的测量任务,输出最终测量结果;
Runtime组件,还用于获取最终测量结果,并根据最终测量结果展示系统的运行状态。
可选地,在本申请的一个实施例中,Driver组件还用于:
若网络测量任务在进行本地阶段的测量任务时调用了高层原语中的中主动探测的相关原语,相应类型的Driver组件将根据用户指定的方式构造主动探测包,并按照给定的参数发起主动探测,得到相应的探测响应包,之后对探测响应包进行分析得到主动探测结果,并将主动探测结果返回给本地流式处理器。
为了实现上述目的,本发明第三方面实施例提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理器被执行时,能够执行基于意图驱动的网络测量方法和装置。
本申请实施例的基于意图驱动的网络测量方法、基于意图驱动的网络测量装置和非临时性计算机可读存储介质,解决了现有方法使用传统的网络测量工具只能解决特定的网络测量任务,无法执行一些定制化程度较高的测量任务的技术问题,提出了可以兼容网络范围内不同类型的测量数据源的测量框架,同时提供的测量原语能够方便地支持用户基于他们的测量意图编写测量网络范围内的测量任务,实现了将测量任务尽可能放在底层的测量数据源处进行处理,减小中间传输的数据量和全局分析的负载,体现了较强的可拓展性。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例一所提供的一种基于意图驱动的网络测量方法的流程图;
图2为本申请实施例的基于意图驱动的网络测量方法的测量任务处理流程图;
图3为本申请实施例的基于意图驱动的网络测量方法的统一且分层的测量原语图;
图4为本申请实施例的基于意图驱动的网络测量方法的Driver示意图;
图5为本申请实施例的基于意图驱动的网络测量方法的本地流式处理器示意图;
图6为本申请实施例二所提供的基于意图驱动的网络测量装置的测量框架结构图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于意图驱动的网络测量方法和装置。
图1为本申请实施例一所提供的一种基于意图驱动的网络测量方法的流程图。
如图1所示,该基于意图驱动的网络测量方法包括以下步骤:
步骤101,获取用户编写的网络测量任务;
步骤102,根据网络测量任务所需要的测量数据源,将网络测量任务下发至相应的测量数据源处和全局流式处理器处;
步骤103,使用测量数据源接收网络测量任务,并产生数据流;
步骤104,从测量数据源处提取数据流,并将数据流传输给本地流式处理器;
步骤105,使用本地流式处理器接收数据流,之后数据流执行本地测量任务,得到本地测量结果,并将本地测量结果传输至全局流式处理器;
步骤106,使用全局流式处理器汇总网络范围内各个本地流式处理器产生的本地测量结果,得到汇总结果,之后汇总结果执行全局测量任务,得到测量结果;
步骤107,获取测量结果,并根据测量结果展示系统的运行状态。
本申请实施例的基于意图驱动的网络测量方法,通过获取用户编写的网络测量任务;根据网络测量任务所需要的测量数据源,将网络测量任务下发至相应的测量数据源处和全局流式处理器处;使用测量数据源接收网络测量任务,并产生数据流;从测量数据源处提取数据流,并将数据流传输给本地流式处理器;使用本地流式处理器接收数据流,之后数据流执行本地测量任务,得到本地测量结果,并将本地测量结果传输至全局流式处理器;使用全局流式处理器汇总网络范围内各个本地流式处理器产生的本地测量结果,得到汇总结果,之后汇总结果执行全局测量任务,得到测量结果;获取测量结果,并根据测量结果展示系统的运行状态。由此,能够解决现有方法使用传统的网络测量工具只能解决特定的网络测量任务,无法执行一些定制化程度较高的测量任务的技术问题,提出了可以兼容网络范围内不同类型的测量数据源的测量框架,同时提供的测量原语能够方便地支持用户基于他们的测量意图编写测量网络范围内的测量任务,实现了将测量任务尽可能放在底层的测量数据源处进行处理,减小中间传输的数据量和全局分析的负载,体现了较强的可拓展性。
进一步地,在本申请实施例中,用户基于测量意图,通过提供的测量原语,编写网络测量任务,其中,测量原语在本地测量任务阶段和全局流式处理阶段是一致的。
进一步地,在本申请实施例中,测量原语包括核心原语、流式处理原语、高级原语,其中,
核心原语,提供基于时空粒度的网络流量处理方式;
流式处理原语,提供流式任务处理方式;
高级原语,提供网络测量任务常用的数据结构和操作。
为了方便地基于测量意图来编写测量任务,本发明提供了一套丰富的测量原语,具有两个特点:统一:即本地测量阶段和全局测量阶段的原语是统一的,需要编写一个同时包含本地测量阶段和全局测量阶段的测量任务时,使用的是同一套测量原语,不需要关心底层的测量数据处理时在两个阶段的差异性;分层:即测量原语是分层的,在第一层提供基本的基于时空粒度的网络流量处理方式,可以指定时间窗口和流量的聚合粒度,并自由编写经过时空聚合之后的网络流量处理逻辑;在第二层提供常用的流式处理原语,如filter、map、flatmap等,这些原语在流式处理任务中经常会用到,能够节省用户的工作量;在第三层提供网络测量任务重常用的数据结构和操作,如sketch数据结构和BloomFilter等。这些数据结构或者操作在网络测量任务中经常会被用到,能够进一步减少用户的工作量。
如表一所示,可以基于提供的统一且分层的测量原语,方便的基于测量意图来编写测量任务。写定制化程度高的测量任务时,可以使用底层的核心原语,在转换操作中自定义处理逻辑,具有最高的可表达性,但是相应的代码量会比较多。写比较常见的测量任务,可以使用第二层或第三层的测量原语,以节省代码量,但是相应地高层原语的可表达性就比较低。可以根据需求,灵活组合使用不同层次的测量原语来编写测量任务。
表一
底层的核心原语提供基本的基于时空粒度的网络流量处理方式。通过setTimeWindow()指定时间窗口,通过setExtractKeyFunc()指定流量的聚合粒度,例如以源IP和目的IP二元组进行聚合。同时,流量数据经过时空粒度聚合之后,可以在transform()中自由编写处理逻辑,将一种类型的数据转化成另一种类型的数据。在transform()的处理逻辑中,可以结合高层原语使用,例如调用高层原语中的sketch原语进行sketch数据结构的相关操作。
在第二层提供常用的流式处理原语,如filter、map、flatmap等。可以通过filter原语,筛选出数据流中满足给定条件的数据项;可以通过map原语可以将数据流中的每一个数据项转化为另一个数据项;可以通过filtermap原语将数据流中每一个数据项转化为0个或多个数据项。
高层原语在第三层提供网络测量任务重常用的数据结构及其对应的操作,如sketch数据结构和BloomFilter等。在编写网络测量任务的过程中需要使用sketch数据结构时,可以直接使用sketch原语进行相关的操作。
进一步地,在本申请实施例中,执行本地测量任务的具体过程为:数据流按照用户定义的测量逻辑,执行转换操作;
执行全局测量任务的具体过程为:汇总结果按照用户定义的测量逻辑,执行转换操作。
进一步地,在本申请实施例中,若网络测量任务在执行本地测量任务阶段调用了高层原语中主动探测的相关原语,将根据用户指定的方式构造主动探测包,并按照给定的参数发起主动探测,得到相应的探测响应包,之后对探测响应包进行分析得到主动探测结果,并将主动探测结果返回给本地流式处理器。
高层原语提供主动探测的相关接口,支持在LSP阶段的处理过程中调用相应的主动探测接口,发起主动探测,并返回相应的主动探测结果。以ping为例,在LSP的数据处理过程中,调用sendPing()时,driver会根据参数中的目的IP发起相应的ping探测,并将相应的探测结果返回。通过实现driver的sendProbe()接口,实现主动探测手段,即由用户定义如何发送主动探测包、如何处理接收得到的主动探测响应数据包,如何返回整体的主动探测结果。
图2为本申请实施例的基于意图驱动的网络测量方法的测量任务处理流程图。
如图2所示,该基于意图驱动的网络测量方法,需要进行网络范围内的测量任务,测量任务需要有一个全局处理阶段,来处理从网络中不同处收集的本地测量结果。本发明提供的网络测量处理流程可以分为3个阶段,包括:数据流提取阶段,由driver负责从底层的测量数据源中提取数据流;本地测量阶段,当数据流通过diver提取之后,数据流进入本地测量阶段。在这一阶段,数据流会经过若干操作算子的处理(由用户定义的处理逻辑),然后生成本地处理结果。其中,在本地测量阶段的数据转换过程中,可以通过调用主动探测的原语由driver发起主动探测,并获得相应的主动探测结果以进一步处理分析;全局测量阶段,网络中处于不同位置的本地处理结果会传输至全局分析服务器,与本地流式处理阶段类似,进一步经过若干操作算子的处理,生成最终的测量结果。
图3为本申请实施例的基于意图驱动的网络测量方法的统一且分层的测量原语图。
如图3所示,该基于意图驱动的网络测量方法,为了方便地基于测量意图来编写测量任务,提供了一套丰富的测量原语。测量原语具有分层的特点,在第一层核心原语提供基本的基于时空粒度的网络流量处理方式,可以指定时间窗口和流量的聚合粒度,并自由编写经过时空聚合之后的网络流量处理逻辑;在第二层提供常用的流式处理原语,如filter、map、flatmap等,这些原语在流式处理任务中经常会用到,能够节省用户的工作量;在第三层高层原语提供网络测量任务重常用的数据结构和操作,如sketch数据结构和BloomFilter等。这些数据结构或者操作在网络测量任务中经常会被用到,能够进一步减少用户的工作量。
图4为本申请实施例的基于意图驱动的网络测量方法的Driver示意图。
如图4所示,该基于意图驱动的网络测量方法,针对不同类型的测量数据源开发相对应的轻量级的driver与之匹配,对用户屏蔽底层的操作细节。Driver的最核心功能就是从底层的测量数据源中获取数据流,作出简单的过滤和解析后将相应的数据流传输给本地流式处理器进一步执行测量任务,输出本地测量结果。driver只负责提取最初的数据流,具体的测量逻辑由LSP来做,当需要兼容一种新类型的测量数据源时,只需要开发一种轻量级的driver与之匹配即可。
图5为本申请实施例的基于意图驱动的网络测量方法的本地流式处理器示意图。
如图5所示,该基于意图驱动的网络测量方法的本地流式处理器负责在本地测量阶段执行本地测量任务,其接受driver提取的原始数据流,经过处理之后,将相应的本地测量结果传输给GSP或直接输出。在本地测量阶段,数据流从数据源中提取,经过pipeline传输,期间经过若干个transformer转换以执行具体的测量逻辑,至数据终点sink。LSP主要包含两个组件:Transformer,以独立线程的方式运行,其不断地从一个pipeline中获取数据,执行相应的数据转换操作(用户编写的测量逻辑),然后不断地将相应的结果输出至另一个pipeline中。由于在数据流的处理过程中,每一个transformer都是以独立线程的方式运行,实现真正的数据流动,而不是数据一批一批地执行转换操作;Pipeline:是一个阻塞的FIFO队列,即当管道中没有数据可读时,相应的transformer会等待,Pipeline用于连接数据源source、transformer和数据终点sink,每一个管道都可以传输不同的数据类型,包括用户自定义的数据结构。
图6为本申请实施例二所提供的基于意图驱动的网络测量装置的测量框架结构图。
如图6所示,该基于意图驱动的网络测量装置,包括:Runtime组件、Driver组件、本地流式处理器、全局流式处理器,其中,
Runtime组件,用于接收用户编写的网络测量任务,并将网络测量任务下发至相应的测量数据源处和全局处理源处;
Driver组件,用于与底层的测量数据源进行直接交互,提取所需的测量数据流并发送至本地流式处理器,其中,不同类型的测量数据源需要不同类型的Driver;
本地流式处理器,用于在测量数据流在测量数据源处进行本地阶段的测量任务,得到本地测量结果,并将本地测量结果发送至全局流式处理器;
全局流式处理器,用于汇总各个本地流式处理发送的本地测量结果,得到汇总结果,之后汇总结果执行全局阶段的测量任务,输出最终测量结果;
Runtime组件,还用于获取最终测量结果,并根据最终测量结果展示系统的运行状态。
进一步地,在本申请实施例中,Driver组件还用于:
若网络测量任务在进行本地阶段的测量任务时调用了高层原语中的中主动探测的相关原语,相应类型的Driver组件将根据用户指定的方式构造主动探测包,并按照给定的参数发起主动探测,得到相应的探测响应包,之后对探测响应包进行分析得到主动探测结果,并将主动探测结果返回给本地流式处理器。
高层原语提供主动探测的相关接口,支持在LSP阶段的处理过程中调用相应的主动探测接口,发起主动探测,并返回相应的主动探测结果。以ping为例,在LSP的数据处理过程中,调用sendPing()时,driver会根据参数中的目的IP发起相应的ping探测,并将相应的探测结果返回。通过实现driver的sendProbe()接口,实现主动探测手段,即由用户定义如何发送主动探测包、如何处理接收得到的主动探测响应数据包,如何返回整体的主动探测结果。
本申请实施例的基于意图驱动的网络测量装置,包括:Runtime组件、Driver组件、本地流式处理器、全局流式处理器,其中,Runtime组件,用于接收用户编写的网络测量任务,并将网络测量任务下发至相应的测量数据源处和全局处理源处;Driver组件,用于与底层的测量数据源进行直接交互,提取所需的测量数据流并发送至本地流式处理器,其中,不同类型的测量数据源需要不同类型的Driver;本地流式处理器,用于根据测量数据流在测量数据源处进行本地阶段的测量任务,得到本地测量结果,并将本地测量结果发送至全局流式处理器;全局流式处理器,用于汇总各个本地流式处理发送的本地测量结果,并根据汇总结果执行全局阶段的测量任务,输出最终测量结果;Runtime组件,还用于获取最终测量结果,并根据最终测量结果展示系统的运行状态。由此,能够解决现有方法使用传统的网络测量工具只能解决特定的网络测量任务,无法执行一些定制化程度较高的测量任务的技术问题,提出了可以兼容网络范围内不同类型的测量数据源的测量框架,同时提供的测量原语能够方便地支持用户基于他们的测量意图编写测量网络范围内的测量任务,实现了将测量任务尽可能放在底层的测量数据源处进行处理,减小中间传输的数据量和全局分析的负载,体现了较强的可拓展性。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例的基于意图驱动的网络测量方法和装置。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于意图驱动的网络测量方法,其特征在于,包括以下步骤:
获取用户编写的网络测量任务;
根据所述网络测量任务所需要的测量数据源,将所述网络测量任务下发至相应的测量数据源处和全局流式处理器处;
使用所述测量数据源接收所述网络测量任务,并产生数据流;
从所述测量数据源处提取所述数据流,并将所述数据流传输给本地流式处理器;
使用所述本地流式处理器接收所述数据流,之后所述数据流执行本地测量任务,得到本地测量结果,并将所述本地测量结果传输至所述全局流式处理器;
使用所述全局流式处理器汇总网络范围内各个本地流式处理器产生的本地测量结果,得到汇总结果,之后所述汇总结果执行全局测量任务,得到测量结果;
获取所述测量结果,并根据所述测量结果展示系统的运行状态。
2.如权利要求1所述的方法,其特征在于,用户基于测量意图,通过提供的测量原语,编写所述网络测量任务,其中,所述测量原语在所述本地测量任务阶段和所述全局流式处理阶段是一致的。
3.如权利要求2所述的方法,其特征在于,所述测量原语包括核心原语、流式处理原语、高级原语,其中,
所述核心原语,提供基于时空粒度的网络流量处理方式;
所述流式处理原语,提供流式任务处理方式;
所述高级原语,提供网络测量任务常用的数据结构和操作。
4.如权利要求1所述的方法,其特征在于,所述执行本地测量任务的具体过程为:所述数据流按照用户定义的测量逻辑,执行转换操作;
所述执行全局测量任务的具体过程为:所述汇总结果按照用户定义的测量逻辑,执行转换操作。
5.如权利要求1所述的方法,其特征在于,若所述网络测量任务在执行所述本地测量任务阶段调用了高层原语中主动探测的相关原语,将根据用户指定的方式构造主动探测包,并按照给定的参数发起主动探测,得到相应的探测响应包,之后对所述探测响应包进行分析得到主动探测结果,并将所述主动探测结果返回给所述本地流式处理器。
6.一种基于意图驱动的网络测量装置,其特征在于,包括Runtime组件、Driver组件、本地流式处理器、全局流式处理器,其中,
所述Runtime组件,用于接收用户编写的网络测量任务,并将所述网络测量任务下发至相应的测量数据源处和全局处理源处;
所述Driver组件,用于与底层的测量数据源进行直接交互,提取所需的测量数据流并发送至所述本地流式处理器,其中,不同类型的测量数据源需要不同类型的Driver;
所述本地流式处理器,用于在所述测量数据源处进行本地阶段的测量任务,得到本地测量结果,并将所述本地测量结果发送至所述全局流式处理器;
所述全局流式处理器,用于汇总各个本地流式处理发送的本地测量结果,得到汇总结果,之后所述汇总结果执行全局阶段的测量任务,输出最终测量结果;
所述Runtime组件,还用于获取所述最终测量结果,并根据所述最终测量结果展示系统的运行状态。
7.如权利要求6所述的装置,其特征在于,所述Driver组件还用于:
若所述网络测量任务在进行所述本地阶段的测量任务时调用了高层原语中的中主动探测的相关原语,相应类型的Driver组件将根据用户指定的方式构造主动探测包,并按照给定的参数发起主动探测,得到相应的探测响应包,之后对所述探测响应包进行分析得到主动探测结果,并将所述主动探测结果返回给所述本地流式处理器。
8.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110632518.7A CN113438124B (zh) | 2021-06-07 | 2021-06-07 | 基于意图驱动的网络测量方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110632518.7A CN113438124B (zh) | 2021-06-07 | 2021-06-07 | 基于意图驱动的网络测量方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113438124A true CN113438124A (zh) | 2021-09-24 |
CN113438124B CN113438124B (zh) | 2022-05-06 |
Family
ID=77803851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110632518.7A Active CN113438124B (zh) | 2021-06-07 | 2021-06-07 | 基于意图驱动的网络测量方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113438124B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115118617A (zh) * | 2022-05-26 | 2022-09-27 | 中国科学院计算技术研究所 | 一种基于p4可编程交换机的意图驱动网络测量方法及系统 |
CN115484157A (zh) * | 2022-09-14 | 2022-12-16 | 浙江大学 | 一种基于可编程交换机的sketch通用配置方法 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1750486A (zh) * | 2005-08-16 | 2006-03-22 | 西安电子科技大学 | 网络测量体系结构及其实现方法 |
US20080280614A1 (en) * | 2007-05-11 | 2008-11-13 | Interdigital Technology Corporation | Method and apparatus for performing media independent handover measurement and reporting |
CN101848479A (zh) * | 2010-04-09 | 2010-09-29 | 西安电子科技大学 | 无线网络安全协议仿真系统及仿真方法 |
US20100325359A1 (en) * | 2009-06-23 | 2010-12-23 | Microsoft Corporation | Tracing of data flow |
CN103392314A (zh) * | 2010-12-29 | 2013-11-13 | 思杰系统有限公司 | 用于可扩展的n核统计信息聚合的系统和方法 |
CN103634154A (zh) * | 2013-12-17 | 2014-03-12 | 北京邮电大学 | 网络状态的模拟系统及其模拟方法 |
CN103795596A (zh) * | 2014-03-03 | 2014-05-14 | 北京邮电大学 | 可编程控制的sdn网络测量系统和测量方法 |
EP2884751A1 (en) * | 2013-12-13 | 2015-06-17 | FieldCast, LLC | A multimedia platform for generating and streaming content based on data provided by capturing devices corresponding to multiple viewpoints including subjective viewpoints |
CN105022671A (zh) * | 2015-07-20 | 2015-11-04 | 中国科学院计算技术研究所 | 一种用于流式数据并行处理的负载均衡方法 |
EP3115742A1 (en) * | 2015-07-10 | 2017-01-11 | Hexagon Technology Center GmbH | 3d measuring machine |
CN106708719A (zh) * | 2015-08-04 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 业务功能的测试方法和装置 |
CN107147535A (zh) * | 2017-06-02 | 2017-09-08 | 中国人民解放军理工大学 | 一种分布式的网络测量数据统计分析方法 |
CN107229747A (zh) * | 2017-06-26 | 2017-10-03 | 湖南星汉数智科技有限公司 | 一种基于流式处理框架的大规模数据处理装置及方法 |
CN108268529A (zh) * | 2016-12-30 | 2018-07-10 | 亿阳信通股份有限公司 | 一种基于业务抽象和多引擎调度的数据汇总方法和系统 |
CN108984279A (zh) * | 2018-07-02 | 2018-12-11 | 山东汇贸电子口岸有限公司 | 一种面向物联网传统sql开发人员的流式计算方法 |
CN109002385A (zh) * | 2017-06-06 | 2018-12-14 | 北京京东尚科信息技术有限公司 | 用于数据流系统的压力测试方法和装置 |
CN109218140A (zh) * | 2018-11-06 | 2019-01-15 | 南京航空航天大学 | 一种软件定义部署nfv网络测量系统的方法 |
CN109474487A (zh) * | 2018-10-17 | 2019-03-15 | Ut斯达康通讯有限公司 | 网络性能监测方法、网络设备及网络性能监测系统 |
CN110089087A (zh) * | 2016-12-16 | 2019-08-02 | 亚马逊技术有限公司 | 敏感数据的跨网络安全数据摄取 |
CN110149801A (zh) * | 2015-05-05 | 2019-08-20 | 华为技术有限公司 | 用于在处理系统中进行数据流图转换的系统和方法 |
CN110213073A (zh) * | 2018-04-20 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 数据流向变更方法、电子设备、计算节点及存储介质 |
CN110245120A (zh) * | 2019-06-19 | 2019-09-17 | 北京百度网讯科技有限公司 | 流式计算系统及流式计算系统的日志数据处理方法 |
-
2021
- 2021-06-07 CN CN202110632518.7A patent/CN113438124B/zh active Active
Patent Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1750486A (zh) * | 2005-08-16 | 2006-03-22 | 西安电子科技大学 | 网络测量体系结构及其实现方法 |
US20080280614A1 (en) * | 2007-05-11 | 2008-11-13 | Interdigital Technology Corporation | Method and apparatus for performing media independent handover measurement and reporting |
US20100325359A1 (en) * | 2009-06-23 | 2010-12-23 | Microsoft Corporation | Tracing of data flow |
CN101848479A (zh) * | 2010-04-09 | 2010-09-29 | 西安电子科技大学 | 无线网络安全协议仿真系统及仿真方法 |
CN103392314A (zh) * | 2010-12-29 | 2013-11-13 | 思杰系统有限公司 | 用于可扩展的n核统计信息聚合的系统和方法 |
EP2884751A1 (en) * | 2013-12-13 | 2015-06-17 | FieldCast, LLC | A multimedia platform for generating and streaming content based on data provided by capturing devices corresponding to multiple viewpoints including subjective viewpoints |
US20180176608A1 (en) * | 2013-12-13 | 2018-06-21 | FieldCast, LLC | Point of view multimedia platform |
CN103634154A (zh) * | 2013-12-17 | 2014-03-12 | 北京邮电大学 | 网络状态的模拟系统及其模拟方法 |
CN103795596A (zh) * | 2014-03-03 | 2014-05-14 | 北京邮电大学 | 可编程控制的sdn网络测量系统和测量方法 |
CN110149801A (zh) * | 2015-05-05 | 2019-08-20 | 华为技术有限公司 | 用于在处理系统中进行数据流图转换的系统和方法 |
EP3115742A1 (en) * | 2015-07-10 | 2017-01-11 | Hexagon Technology Center GmbH | 3d measuring machine |
US20170010356A1 (en) * | 2015-07-10 | 2017-01-12 | Hexagon Technology Center Gmbh | 3d measuring machine |
CN105022671A (zh) * | 2015-07-20 | 2015-11-04 | 中国科学院计算技术研究所 | 一种用于流式数据并行处理的负载均衡方法 |
CN106708719A (zh) * | 2015-08-04 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 业务功能的测试方法和装置 |
CN110089087A (zh) * | 2016-12-16 | 2019-08-02 | 亚马逊技术有限公司 | 敏感数据的跨网络安全数据摄取 |
CN108268529A (zh) * | 2016-12-30 | 2018-07-10 | 亿阳信通股份有限公司 | 一种基于业务抽象和多引擎调度的数据汇总方法和系统 |
CN107147535A (zh) * | 2017-06-02 | 2017-09-08 | 中国人民解放军理工大学 | 一种分布式的网络测量数据统计分析方法 |
CN109002385A (zh) * | 2017-06-06 | 2018-12-14 | 北京京东尚科信息技术有限公司 | 用于数据流系统的压力测试方法和装置 |
CN107229747A (zh) * | 2017-06-26 | 2017-10-03 | 湖南星汉数智科技有限公司 | 一种基于流式处理框架的大规模数据处理装置及方法 |
CN110213073A (zh) * | 2018-04-20 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 数据流向变更方法、电子设备、计算节点及存储介质 |
CN108984279A (zh) * | 2018-07-02 | 2018-12-11 | 山东汇贸电子口岸有限公司 | 一种面向物联网传统sql开发人员的流式计算方法 |
CN109474487A (zh) * | 2018-10-17 | 2019-03-15 | Ut斯达康通讯有限公司 | 网络性能监测方法、网络设备及网络性能监测系统 |
CN109218140A (zh) * | 2018-11-06 | 2019-01-15 | 南京航空航天大学 | 一种软件定义部署nfv网络测量系统的方法 |
CN110245120A (zh) * | 2019-06-19 | 2019-09-17 | 北京百度网讯科技有限公司 | 流式计算系统及流式计算系统的日志数据处理方法 |
Non-Patent Citations (3)
Title |
---|
LI JI等: "《A_Synthetic_Streaming_Quality_Measurement_System_on_IP_Networks》", 《2007 15TH IEEE INTERNATIONAL CONFERENCE ON NETWORKS》 * |
周静静: "《基于流量矩阵估算的流量测量模型》", 《微电子学与计算机》 * |
李福亮: "《基于意图的网络研究综述》", 《软件学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115118617A (zh) * | 2022-05-26 | 2022-09-27 | 中国科学院计算技术研究所 | 一种基于p4可编程交换机的意图驱动网络测量方法及系统 |
CN115118617B (zh) * | 2022-05-26 | 2024-05-28 | 中国科学院计算技术研究所 | 一种意图驱动网络测量方法、系统及存储介质 |
CN115484157A (zh) * | 2022-09-14 | 2022-12-16 | 浙江大学 | 一种基于可编程交换机的sketch通用配置方法 |
CN115484157B (zh) * | 2022-09-14 | 2023-06-02 | 浙江大学 | 一种基于可编程交换机的sketch通用配置方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113438124B (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11243704B2 (en) | Data pipeline architecture for analytics processing stack | |
US11726898B1 (en) | Generating metrics values for teams of microservices of a microservices-based architecture | |
CN113438124B (zh) | 基于意图驱动的网络测量方法和装置 | |
US20210042658A1 (en) | Facilitating concurrent forecasting of multiple time series | |
US20210149935A1 (en) | Non-tabular datasource connector | |
US10853082B1 (en) | Pipeline set selection based on duty cycle estimation of pipeline threads | |
CN110286892B (zh) | 一种基于业务流程设计的快速开发引擎系统 | |
JP6826811B2 (ja) | 戦術的クエリから連続クエリへの変換 | |
US20140201717A1 (en) | Simulation environment for distributed programs | |
WO2021150703A1 (en) | Multiple modes of data collection and analysis microservices-based architecture | |
US11704313B1 (en) | Parallel branch operation using intermediary nodes | |
US11314808B2 (en) | Hybrid flows containing a continous flow | |
US10254369B2 (en) | Pipeline engine for specifying, visualizing, and analyzing MRI image reconstructions | |
US10788954B1 (en) | Systems and methods for integration of application performance monitoring with logs and infrastructure using a common schema | |
US10326665B2 (en) | Context-aware model-driven hierarchical monitoring metadata | |
WO2016014706A1 (en) | Structured logging system | |
CN114372084A (zh) | 面向传感流数据的实时处理系统 | |
Han et al. | Rt-dap: A real-time data analytics platform for large-scale industrial process monitoring and control | |
Wang et al. | Data integration and visualisation for demanding marine operations | |
CN110109990A (zh) | 时序数据处理方法、设备、数据处理设备及介质 | |
US10509784B2 (en) | Partially typed semantics optimization | |
Nguyen et al. | WorkWays: Interactive workflow-based science gateways | |
US10116512B2 (en) | Service discovery and/or effort estimation in networked computing environments | |
CN111880771B (zh) | 一种数据可视化模块的生成方法及装置 | |
WO2021217119A1 (en) | Analyzing tags associated with high-latency and error spans for instrumented software |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |