CN103916289B - Ipfix输出器中的报文筛选装置及方法 - Google Patents
Ipfix输出器中的报文筛选装置及方法 Download PDFInfo
- Publication number
- CN103916289B CN103916289B CN201410108450.2A CN201410108450A CN103916289B CN 103916289 B CN103916289 B CN 103916289B CN 201410108450 A CN201410108450 A CN 201410108450A CN 103916289 B CN103916289 B CN 103916289B
- Authority
- CN
- China
- Prior art keywords
- field
- frame
- entry
- behavior
- ipfix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012216 screening Methods 0.000 title claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 53
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000011012 sanitization Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 33
- 238000005259 measurement Methods 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 9
- 230000000052 comparative effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- UHLRPXXFPYMCAE-UHFFFAOYSA-N 4-isopropylcalix[4]arene Chemical compound C1C(C=2O)=CC(C(C)C)=CC=2CC(C=2O)=CC(C(C)C)=CC=2CC(C=2O)=CC(C(C)C)=CC=2CC2=CC(C(C)C)=CC1=C2O UHLRPXXFPYMCAE-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种IPFIX输出器中的报文筛选装置及方法，涉及IPFIX输出器领域，该报文筛选装置包括顺次相连的端口采样器、行为过滤器、字段过滤器和字段采样器，端口采样器对接收的数据帧进行采样，将满足采样条件的数据帧输出；行为过滤器对端口采样器输出的数据帧，进行基于处理行为的过滤，将满足行为过滤条件的数据帧输出；字段过滤器对行为过滤器输出的数据帧，进行基于数据帧帧头的特征字段的过滤操作，将满足字段过滤条件的数据帧以及对应的统计计数索引信号输出；字段采样器对字段过滤器筛选出的数据帧进行采样。本发明能保证线速地访问流统计信息数据库，不占用端口资源，在路由器对于数据帧的一次处理流程中完成报文筛选操作。
Description
技术领域
本发明涉及IPFIX输出器领域，具体是涉及一种IPFIX输出器中的报文筛选装置及方法。
背景技术
IPFIX(IP Flow Information Export，IP流信息输出)是一种基于网络IP流信息的统计技术，它可以对网络中的业务流量情况进行统计和分析。现已广泛地应用于计费、网络规划、网络监控、用户监控及分析等网络管理领域，并以其良好的可扩展性和灵活性，被广大的网络设备厂商所接受。
IPFIX系统分为三个部分：输出器、搜集器和分析器。输出器负责对网络中的数据流量进行分析处理，提取符合条件的流统计信息，并将流统计信息输出给搜集器；搜集器负责解析来自输出器的报文，把流统计数据收集到数据库中，供分析器进行解析，搜集器可以搜集来自多个输出器的流统计信息，并对这些流统计信息进行一定的处理，例如，过滤或者聚合等；分析器负责从搜集器中提取统计数据，进行进一步地加工处理，通常是以图形界面的方式显示出统计数据，方便网络管理者获取和使用，并为各种网络管理应用提供可靠的依据。
IPFIX输出器通常包含在一个网络设备中，例如，路由器。对应不同的网络环境和网络管理需求，网络管理者所关注的IP流信息不同，因此，要从路由器各个物理端口上接收到的属于不同流的数据帧中选取出符合网络测量条件的IP帧，并形成IP流统计信息，输出到搜集器。对于某些极端情况，例如，路由器上流统计信息存储资源耗尽、或者路由器本身受到攻击等，必须要停止筛选操作，从而保证路由器能完成正常的对于数据帧的转发处理，而不受到筛选操作的影响；或者保证提取到的IP流信息是安全、有效的，而不是恶意的病毒信息。
IPFIX标准中定义：通过反复地采样和过滤，来筛选出符合测量条件的IP帧。采样是：从一连串到来的数据帧中，选出满足采样标准的数据帧，进行IPFIX测量。过滤是：从到来的数据帧中，选取出那些IP帧头特征字段、或者数据帧处理过程中得到的操作行为、或者数据帧本身的某些属性，满足了设定的过滤条件的数据帧，进行IPFIX测量。不满足采样标准或者过滤条件的数据帧都被排除在IPFIX测量范围之外。当然，采样标准或过滤条件也可以设定为让所有的数据帧都通过，即，路由器上接收到的所有数据帧都进行IPFIX测量。
路由器可以采用软件方式或者硬件端口环回的方式实现上述报文筛选过程。
如果采用软件方式，那么对于采样和过滤的次数可以没有限制。但通常软件处理的速度较慢，在端口速率较高时，由于不能线速地访问流统计信息数据库，从而不能线速地完成对流记录的创建、更新以及终结判断，因此就不能及时地输出流统计信息给搜集器。那么没有充足的、实时的、反映当前网络的状况的流量信息，网络管理者很难对当前网络做出正确的判断，网络监控以及网络规划的效果也会受到影响。
如果采用硬件端口环回的方式，那么处理速度可以从一定程度上得到保证，但是采样和过滤的次数就必须有上限值。通常的做法是：对于接收到的数据帧，在进行正常的转发处理的同时，基于物理端口进行采样，基于ACL(Access Control List，入口控制列表)进行过滤。但是在路由器对于数据帧的处理流程中，通常只能进行一次采样和一次过滤，因此，要进行多次采样和过滤，就必须采用端口环回的方式，让数据帧多次经历路由器对于数据帧的整个处理流程。当采样和过滤的次数增多，并且端口速率较高时，这种牺牲端口资源的做法，不仅会影响带宽，还有可能因帧乱序导致路由器不能正常工作，路由器性能显著降低。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种IPFIX输出器中的报文筛选装置及方法，能保证线速地访问流统计信息数据库，并且不会占用端口资源，避免浪费带宽，在路由器对于数据帧的一次处理流程中完成报文筛选操作。
本发明提供一种IPFIX输出器中的报文筛选装置，包括顺次相连的端口采样器、行为过滤器、字段过滤器和字段采样器；
所述端口采样器的输入是路由器上每个作为观测点的物理端口上接收到的数据帧，端口采样器基于物理端口对接收的数据帧进行采样，然后将满足采样条件的数据帧输出到行为过滤器；基于物理端口的采样有两种模式：(1)基于时间采样：基于物理端口、每间隔固定的时隙选取一个数据帧；(2)基于个数采样：基于物理端口、每间隔固定的或随机的数据帧个数选取一个数据帧；
所述行为过滤器对端口采样器输出的数据帧，进行基于处理行为的过滤，并将满足行为过滤条件的数据帧输出到字段过滤器；所述处理行为包括：数据帧的转发形式、输入物理端口、输出物理端口、数据帧的优先级信息；行为过滤器中包含一个行为过滤表，表项中每个条目的内容由上述处理行为的各项信息以及每项信息的操作符和比特屏蔽位组成；比特屏蔽位用于对处理行为的各项信息进行比特屏蔽；操作符用于对各项信息进行范围约束；
所述字段过滤器对行为过滤器输出的数据帧，进行基于数据帧帧头的特征字段的过滤操作，将满足字段过滤条件的数据帧以及对应的统计计数索引信号输出到字段采样器；所述特征字段主要包括IPv4/IPv6首部、传输控制协议TCP/用户数据报协议UDP首部中的特征字段、多协议标签交换MPLS标签和基于设定的偏移量从数据帧中提取的非常见字段；
所述字段采样器通过基于内容采样的模式，对字段过滤器筛选出的数据帧进行采样；字段采样器基于满足字段过滤器中字段过滤条件的数据帧进行统计；字段采样器维护一组顺序编号的统计计数器，统计计数器与字段过滤器中的过滤条件一一对应；
所述字段过滤器中的每个条目中都有一个统计计数索引信号，该信号将字段过滤器中的过滤条件和字段采样器中的统计计数器联系起来：如果输入数据帧满足字段过滤器中设置的字段过滤条件，利用匹配条目中设置的统计计数索引信号，找到字段采样器中对应的统计计数器，进行累加操作；然后，按照基于个数采样的方式，每隔固定或是随机的个数，筛选出一个数据帧进入后续的IPFIX步骤，即产生或是更新流记录，对于在累加过程中没有达到设定值的输入数据帧，则被排除在IPFIX测量范围之外。
在上述技术方案的基础上，所述字段过滤器中包含一个字段过滤表，表项中每个条目的内容由特征字段类型、特征字段、操作符、比特屏蔽位、条目级联状态信号和统计计数索引组成；每个条目单独成为一个字段过滤条件，或者几个连续的条目级联起来成为一个字段过滤条件；字段过滤表中的每个条目只对于某一个特征字段进行定义；当某一个字段过滤条件对多个特征字段进行定义时，通过级联多个条目来实现。
在上述技术方案的基础上，所述字段过滤表通过条目中的特征字段类型域选定是哪一个特征字段，然后通过操作符选择对于该特征字段的比较形式。
在上述技术方案的基础上，所述比较形式包括大于、小于、等于。
在上述技术方案的基础上，所述字段过滤表通过比特屏蔽位首先对该特征字段进行比特屏蔽后，再进行比较判断。
在上述技术方案的基础上，所述条目级联状态信号指示非级联、级联开始、级联中、级联结束四种状态，对于非级联条目，条目级联状态信号设置为非级联；对于级联条目，则根据其在整个字段过滤条件中所处的位置，将条目级联状态设置为级联开始、级联中或者级联结束。
在上述技术方案的基础上，所述数据帧的转发形式包括单播、多播、丢弃。
在上述技术方案的基础上，所述操作符对各项信息进行的范围约束包括等于、大于、小于。
本发明还提供基于上述装置的IPFIX输出器中的报文筛选方法，包括以下步骤：
S1、端口采样：首先根据当前网络环境和端口速率，设定每个作为观测点的物理端口上的采样模式：基于时间采样或者基于个数采样，如果是基于时间采样，则基于每个端口设定固定的间隔时隙，当路由器启动IPFIX功能时，对于系统时钟进行计数，当累加的时间长度达到设定的间隔时隙时，如果当前该物理端口上有输入数据帧到来，则选取该数据帧进入行为过滤；否则，计数器归0，重新开始对系统时钟计数，如此往复；如果是基于个数采样，则基于每个端口设定固定的间隔个数或是用以产生随机数的随机函数，当路由器开启IPFIX功能时，对于该物理端口上接收到的数据帧进行计数，当累加的个数达到设定的间隔个数时，则选取当前输入数据帧进入行为过滤，然后计数器归0，重新开始对该端口上接收到的数据帧进行计数，如此往复；
S2、行为过滤：根据网络测量的需求，在行为过滤器中设定行为过滤条件，对输入数据帧的转发行为和优先级进行限制；对于从物理端口上采样筛选出的数据帧，将路由器对于其自身的处理行为依次与行为过滤表中每个有效条目中的处理行为信息进行比对，一旦有匹配的，则停止查找，认为该输入数据帧满足行为过滤条件；否则，继续查找直至行为过滤表的最后一个条目；如果在整个查找过程中数据帧满足了某一条行为过滤条件，则认为输入数据帧通过了行为过滤器的筛选，进入字段过滤；如果数据帧没有匹配任何一个有效的条目，则将数据帧直接排除在IPFIX测量范围之外；
S3、字段过滤：根据网络测量的需求，在字段过滤器中设定字段过滤条件，对于通过了行为过滤的数据帧，再基于数据帧帧头的特征字段进行过滤，筛选出某些特征字段满足字段过滤条件的数据帧；如果是对单个特征字段的值或范围进行限制，则配置非级联条目来翻译字段过滤条件；如果是对多个特征字段的值或范围进行限制，则配置级联条目来翻译字段过滤条件；对于行为过滤筛选出的数据帧，依次查找字段过滤表中的有效条目，将从帧头提取的特征字段与条目中定义的值进行比对，同时判别条目级联情况，一旦匹配了某个非级联条目，或是匹配了某个级联条目中的级联状态指示信号为级联开始、级联结束的所有条目，则停止查找；否则，继续查找直至最后一个条目；如果整个查找过程中，匹配了某个字段过滤条件，则选取该数据帧进入字段采样，并将匹配的字段过滤条件中的统计计数索引信号输出；如果没有匹配字段过滤器中任何一个字段过滤条件，则认为输入数据帧不在IPFIX测量的范围内；
S4、字段采样：根据路由器的处理能力和流记录数据库的资源情况，利用字段采样器对于字段过滤器筛选出的数据帧进行采样，进一步限制进入后续IPFIX步骤的数据帧；设定采样参数：字段采样器中每一个统计计数器的固定间隔数据帧个数或是产生随机数的随机函数；根据字段过滤输出的统计计数索引信号，查找到对应的统计计数器，然后将该计数器的值进行累加，如果达到了该统计计数器的设定间隔值，则该数据帧通过了整个报文筛选过程，进入后续的IPFIX步骤，否则，该数据帧被排除在IPFIX测量范围之外。
在上述技术方案的基础上，所述字段过滤条件包括非级联条目和级联条目中级联状态指示为级联结束的条目。
与现有技术相比，本发明的优点如下：
本发明采用具有多种模式的采样器实现采样功能，采用具有增强ACL功能的过滤器实现过滤功能，不仅能保证线速地访问流统计信息数据库，并且不会占用端口资源，避免浪费带宽，在路由器对于数据帧的一次处理流程中完成报文筛选操作；同时，能综合考虑网络环境、网络测量需求以及路由器自身的端口速率、处理能力和流统计信息数据库的资源等因素，很好地支持IPFIX功能在路由器中的实现，并保证路由器正常的转发过程不受影响。
附图说明
图1是IPFIX输出器中的报文筛选装置的结构框图。
图2是IPFIX输出器中的报文筛选方法的流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。
参见图1所示，本发明实施例提供一种IPFIX输出器中的报文筛选装置，包括顺次相连的端口采样器、行为过滤器、字段过滤器和字段采样器。
端口采样器的输入是路由器上每个作为观测点的物理端口上接收到的数据帧，端口采样器基于物理端口对接收的数据帧进行采样，然后将满足采样条件的数据帧输出到行为过滤器。基于物理端口的采样有两种模式可选：基于时间采样或者基于个数采样。基于时间采样即是基于物理端口、每间隔固定的时隙选取一个数据帧。基于个数采样即是基于物理端口、每间隔固定的或是随机的数据帧个数选取一个数据帧。通常基于时间采样的模式适用于数据流量较大的端口，一般情况下可以通过基于个数采样的方式筛选数据帧。
行为过滤器对端口采样器输出的数据帧，进行基于处理行为的过滤，并将满足行为过滤条件的数据帧输出到字段过滤器。这里的处理行为包括：数据帧的转发形式(单播、多播、丢弃等)，输入物理端口、输出物理端口、数据帧的优先级信息这些路由器对数据帧操作行为的判断结果。行为过滤器中包含一个行为过滤表，表项中每个条目的内容由上述处理行为的各项信息以及每项信息的操作符和比特屏蔽位组成。比特屏蔽位用于对处理行为的各项信息进行比特屏蔽。操作符用于对各项信息进行范围约束(例如：等于、大于、小于等)。通过这两个信号，可以非常灵活地设置行为过滤条件。传统的ACL通常是对某几个域进行比特屏蔽后再进行“等于”判断，而此处比特屏蔽位和操作符的联合使用，不仅能实现对于某几个域进行比特屏蔽后再进行“等于”判断，还能对这些域进行比特屏蔽后再进行范围的判断。因此，从实现的角度来说，行为过滤器中的一个条目就能完成与多个ACL条目等效的功能。从使用的角度来说，行为过滤器配置起来更加直接、简便和灵活，因为，通常配置一个条目就能定义出一个过滤条件。
字段过滤器对行为过滤器输出的数据帧，进行基于数据帧帧头的特征字段的过滤操作，将满足字段过滤条件的数据帧以及对应的统计计数索引信号输出到字段采样器。这里的特征字段主要包括IPv4(Internet Protocol Version 4，因特网协议版本4)/IPv6(Internet Protocol Version 6，因特网协议版本6)首部、TCP(Transmission ControlProtocol，传输控制协议)/UDP(User Data Protocol，用户数据报协议)首部中的特征字段以及MPLS(Multi-Protocol Label Switching，多协议标签交换)标签这些常见的字段，也可以包括基于设定的偏移量从数据帧中提取的非常见字段。
字段过滤器中包含一个字段过滤表，表项中每个条目的内容由特征字段类型、特征字段、操作符、比特屏蔽位、条目级联状态信号和统计计数索引组成。每个条目可以单独成为一个字段过滤条件，也可以几个连续的条目级联起来成为一个字段过滤条件。字段过滤表中的每个条目只能对于某一个特征字段进行定义，即通过条目中的特征字段类型域选定是哪一个特征字段，然后通过操作符选择对于该特征字段的比较形式：大于、小于、等于或其他。当然也可以通过比特屏蔽位首先对该特征字段进行比特屏蔽后再进行比较判断。当某一个字段过滤条件需要对多个特征字段进行定义时，就必须级联多个条目来实现。
条目级联状态信号可指示非级联、级联开始、级联中、级联结束四种状态。对于非级联条目，条目级联状态信号设置为非级联；对于级联条目，则根据其在整个字段过滤条件中所处的位置，将条目级联状态设置为级联开始、级联中或者级联结束。因为，输入数据帧是通过顺序查找的方式查找字段过滤表，所以级联条目必须连续地配置在字段过滤表中，中间不能穿插非级联条目或是其他的级联条目，并且必须以级联开始、级联中、级联结束这样的顺序标识正确。通常第一个级联条目的级联状态设置为级联开始，最后一个级联条目的级联状态设置为级联结束，如果一个字段过滤条件中包含的级联条目个数大于2，那么中间的级联条目的级联状态都设置为级联中。只有依次匹配了级联状态是级联开始、级联中(如果有)、级联结束的所有级联条目，才认为级联成功并且匹配了这一个字段过滤条件。
字段采样器作为整个报文筛选的最后一个环节，通过基于内容采样的模式，对字段过滤器筛选出的数据帧进行采样。与端口采样器基于物理端口对接收的数据帧进行统计不同，字段采样器基于满足字段过滤器中字段过滤条件的数据帧进行统计。字段采样器维护一组顺序编号的统计计数器，这些统计计数器与字段过滤器中的过滤条件一一对应。如上所述，字段过滤器中的每个条目中都有一个统计计数索引信号，这个信号将字段过滤器中的过滤条件和字段采样器中的统计计数器联系起来。即，如果输入数据帧满足了字段过滤器中设置的字段过滤条件a，那么利用匹配条目中设置的统计计数索引信号b，就可以找到字段采样器中对应的统计计数器c，从而进行累加操作。然后，按照基于个数采样的方式，每隔固定或是随机的个数，筛选出一个数据帧进入后续的IPFIX步骤，即产生或是更新流记录，对于在累加过程中没有达到设定值的输入数据帧，则被排除在IPFIX测量范围之外。
参见图2所示，本发明实施例提供一种基于上述装置的IPFIX输出器中的报文筛选方法，包括以下步骤：
S1、端口采样：首先根据当前网络环境和端口速率，设定每个作为观测点的物理端口上的采样模式：基于时间采样或者基于个数采样。如果是基于时间采样，则基于每个端口设定固定的间隔时隙。当路由器启动IPFIX功能时，对于系统时钟进行计数，当累加的时间长度达到设定的间隔时隙时，如果当前该物理端口上有输入数据帧到来，则选取该数据帧进入行为过滤；否则，计数器归0，重新开始对系统时钟计数，如此往复。如果是基于个数采样，则基于每个端口设定固定的间隔个数或是用以产生随机数的随机函数。当路由器开启IPFIX功能时，对于该物理端口上接收到的数据帧进行计数，当累加的个数达到设定的间隔个数时，则选取当前输入数据帧进入行为过滤，然后计数器归0，重新开始对该端口上接收到的数据帧进行计数，如此往复。
S2、行为过滤：根据网络测量的需求，在行为过滤器中设定行为过滤条件，对输入数据帧的转发行为和优先级进行限制，只有转发行为和优先级满足一定条件的数据帧，才能被筛选出来。对于从物理端口上采样筛选出的数据帧，将路由器对于其自身的处理行为依次与行为过滤表中每个有效条目中的处理行为信息进行比对，一旦有匹配的，则停止查找，认为该输入数据帧满足行为过滤条件；否则，继续查找直至行为过滤表的最后一个条目。如果在整个查找过程中数据帧满足了某一条行为过滤条件，则认为输入数据帧通过了行为过滤器的筛选，进入字段过滤；如果数据帧没有匹配任何一个有效的条目，则将数据帧直接排除在IPFIX测量范围之外。
S3、字段过滤：根据网络测量的需求，在字段过滤器中设定字段过滤条件，对于通过了行为过滤的数据帧，再基于数据帧帧头的特征字段进行过滤，筛选出某些特征字段满足字段过滤条件的数据帧。如果是对单个特征字段的值或范围进行限制，则配置非级联条目来翻译字段过滤条件；如果是对多个特征字段的值或范围进行限制，则配置级联条目来翻译字段过滤条件。对于行为过滤筛选出的数据帧，依次查找字段过滤表中的有效条目，将从帧头提取的特征字段与条目中定义的值进行比对，同时判别条目级联情况，一旦匹配了某个非级联条目，或是匹配了某个级联条目中的级联状态指示信号为级联开始、级联中(如果有)、级联结束的所有条目，则停止查找；否则，继续查找直至最后一个条目。如果整个查找过程中，匹配了某个字段过滤条件，则选取该数据帧进入字段采样，并将匹配的字段过滤条件中的统计计数索引信号输出，字段过滤条件包括非级联条目和级联条目中级联状态指示为级联结束的条目；如果没有匹配字段过滤器中任何一个字段过滤条件，则认为输入数据帧不在IPFIX测量的范围内。
S4、字段采样：根据路由器的处理能力和流记录数据库的资源情况，利用字段采样器对于字段过滤器筛选出的数据帧进行采样，进一步限制进入后续IPFIX步骤的数据帧。设定采样参数：字段采样器中每一个统计计数器的固定间隔数据帧个数或是产生随机数的随机函数。根据字段过滤输出的统计计数索引信号，查找到对应的统计计数器，然后将该计数器的值进行累加，如果达到了该统计计数器的设定间隔值，则该数据帧通过了整个报文筛选过程，进入后续的IPFIX步骤，否则，该数据帧被排除在IPFIX测量范围之外。
下面举个例子来详细说明报文筛选过程的具体实施步骤。
假设筛选条件是：物理端口1上的单播数据帧，每隔1us选取一个，优先级大于5，TCP帧，并且对于TCP目的端口号大于1024的数据帧，每隔10个选取一个。
首先在端口采样器中，将端口1的采样模式设置为基于时间采样。假设系统时钟周期是10ns，则对于系统时钟计数，当累加到100时，在物理端口1上采样一个数据帧。
在行为过滤器中，设置行为过滤条件：转发形式为单播，输入物理端口是物理端口1，输出物理端口任意，优先级的范围为大于5。具体设置值参见表1所示。
表1、行为过滤条件设置
| 比较值 | 比特屏蔽位 | 操作符 | |
| 转发形式 | 单播 | 不起作用 | 等于 |
| 输入物理端口 | 1 | 不起作用 | 等于 |
| 输出物理端口 | 任意值 | 全屏蔽 | 等于 |
| 优先级 | 5 | 不起作用 | 大于 |
在字段过滤器中，设置字段过滤条件：四层协议类型为TCP，TCP目的端口号大于1024，对应的统计计数索引值为1。通过级联两个条目来实现，具体设置值参见表2所示。
表2、字段过滤条件设置
在字段采样器中，将索引值为1的统计计数器的采样固定间隔设置为10。这样，对于索引值为1的输入数据帧进行计数，当累加到10时，将当前的输入数据帧作为最终筛选的数据帧，进行后续的流记录产生或是更新过程。
上述端口采样器、行为过滤器、字段过滤器和字段采样器按照筛选条件设置好以后，就能筛选出符合筛选条件的数据帧，而将其他的数据这排除在IPFIX测量范围之外。
本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (10)
1.一种IPFIX输出器中的报文筛选装置，包括顺次相连的端口采样器、行为过滤器、字段过滤器和字段采样器，其特征在于：
所述端口采样器的输入是路由器上每个作为观测点的物理端口上接收到的数据帧，端口采样器基于物理端口对接收的数据帧进行采样，然后将满足采样条件的数据帧输出到行为过滤器；基于物理端口的采样有两种模式：(1)基于时间采样：基于物理端口、每间隔固定的时隙选取一个数据帧；(2)基于个数采样：基于物理端口、每间隔固定的或随机的数据帧个数选取一个数据帧；
所述行为过滤器对端口采样器输出的数据帧，进行基于处理行为的过滤，并将满足行为过滤条件的数据帧输出到字段过滤器；所述处理行为包括：数据帧的转发形式、输入物理端口、输出物理端口、数据帧的优先级信息；行为过滤器中包含一个行为过滤表，表项中每个条目的内容由上述处理行为的各项信息以及每项信息的操作符和比特屏蔽位组成；比特屏蔽位用于对处理行为的各项信息进行比特屏蔽；操作符用于对各项信息进行范围约束；
所述字段过滤器对行为过滤器输出的数据帧，进行基于数据帧帧头的特征字段的过滤操作，将满足字段过滤条件的数据帧以及对应的统计计数索引信号输出到字段采样器；所述特征字段主要包括IPv4/IPv6首部、传输控制协议TCP/用户数据报协议UDP首部中的特征字段、多协议标签交换MPLS标签和基于设定的偏移量从数据帧中提取的非常见字段；
所述字段采样器通过基于内容采样的模式，对字段过滤器筛选出的数据帧进行采样；字段采样器基于满足字段过滤器中字段过滤条件的数据帧进行统计；字段采样器维护一组顺序编号的统计计数器，统计计数器与字段过滤器中的过滤条件一一对应；
所述字段过滤器中的每个条目中都有一个统计计数索引信号，该信号将字段过滤器中的过滤条件和字段采样器中的统计计数器联系起来：如果输入数据帧满足字段过滤器中设置的字段过滤条件，利用匹配条目中设置的统计计数索引信号，找到字段采样器中对应的统计计数器，进行累加操作；然后，按照基于个数采样的方式，每隔固定或是随机的个数，筛选出一个数据帧进入后续的IPFIX步骤，即产生或是更新流记录，对于在累加过程中没有达到设定值的输入数据帧，则被排除在IPFIX测量范围之外。
2.如权利要求1所述的IPFIX输出器中的报文筛选装置，其特征在于：所述字段过滤器中包含一个字段过滤表，表项中每个条目的内容由特征字段类型、特征字段、操作符、比特屏蔽位、条目级联状态信号和统计计数索引组成；每个条目单独成为一个字段过滤条件，或者几个连续的条目级联起来成为一个字段过滤条件；字段过滤表中的每个条目只对于某一个特征字段进行定义；当某一个字段过滤条件对多个特征字段进行定义时，通过级联多个条目来实现。
3.如权利要求2所述的IPFIX输出器中的报文筛选装置，其特征在于：所述字段过滤表通过条目中的特征字段类型域选定是哪一个特征字段，然后通过操作符选择对于该特征字段的比较形式。
4.如权利要求3所述的IPFIX输出器中的报文筛选装置，其特征在于：所述比较形式包括大于、小于、等于。
5.如权利要求2所述的IPFIX输出器中的报文筛选装置，其特征在于：所述字段过滤表通过比特屏蔽位首先对该特征字段进行比特屏蔽后，再进行比较判断。
6.如权利要求2所述的IPFIX输出器中的报文筛选装置，其特征在于：所述条目级联状态信号指示非级联、级联开始、级联中、级联结束四种状态，对于非级联条目，条目级联状态信号设置为非级联；对于级联条目，则根据其在整个字段过滤条件中所处的位置，将条目级联状态设置为级联开始、级联中或者级联结束。
7.如权利要求1至6中任一项所述的IPFIX输出器中的报文筛选装置，其特征在于：所述数据帧的转发形式包括单播、多播、丢弃。
8.如权利要求1至6中任一项所述的IPFIX输出器中的报文筛选装置，其特征在于：所述操作符对各项信息进行的范围约束包括等于、大于、小于。
9.基于权利要求1至8中任一项所述装置的IPFIX输出器中的报文筛选方法，其特征在于，包括以下步骤：
S1、端口采样：首先根据当前网络环境和端口速率，设定每个作为观测点的物理端口上的采样模式：基于时间采样或者基于个数采样，如果是基于时间采样，则基于每个端口设定固定的间隔时隙，当路由器启动IPFIX功能时，对于系统时钟进行计数，当累加的时间长度达到设定的间隔时隙时，如果当前该物理端口上有输入数据帧到来，则选取该数据帧进入行为过滤；否则，计数器归0，重新开始对系统时钟计数，如此往复；如果是基于个数采样，则基于每个端口设定固定的间隔个数或是用以产生随机数的随机函数，当路由器开启IPFIX功能时，对于该物理端口上接收到的数据帧进行计数，当累加的个数达到设定的间隔个数时，则选取当前输入数据帧进入行为过滤，然后计数器归0，重新开始对该端口上接收到的数据帧进行计数，如此往复；
S2、行为过滤：根据网络测量的需求，在行为过滤器中设定行为过滤条件，对输入数据帧的转发行为和优先级进行限制；对于从物理端口上采样筛选出的数据帧，将路由器对于其自身的处理行为依次与行为过滤表中每个有效条目中的处理行为信息进行比对，一旦有匹配的，则停止查找，认为该输入数据帧满足行为过滤条件；否则，继续查找直至行为过滤表的最后一个条目；如果在整个查找过程中数据帧满足了某一条行为过滤条件，则认为输入数据帧通过了行为过滤器的筛选，进入字段过滤；如果数据帧没有匹配任何一个有效的条目，则将数据帧直接排除在IPFIX测量范围之外；
S3、字段过滤：根据网络测量的需求，在字段过滤器中设定字段过滤条件，对于通过了行为过滤的数据帧，再基于数据帧帧头的特征字段进行过滤，筛选出某些特征字段满足字段过滤条件的数据帧；如果是对单个特征字段的值或范围进行限制，则配置非级联条目来翻译字段过滤条件；如果是对多个特征字段的值或范围进行限制，则配置级联条目来翻译字段过滤条件；对于行为过滤筛选出的数据帧，依次查找字段过滤表中的有效条目，将从帧头提取的特征字段与条目中定义的值进行比对，同时判别条目级联情况，一旦匹配了某个非级联条目，或是匹配了某个级联条目中的级联状态指示信号为级联开始、级联结束的所有条目，则停止查找；否则，继续查找直至最后一个条目；如果整个查找过程中，匹配了某个字段过滤条件，则选取该数据帧进入字段采样，并将匹配的字段过滤条件中的统计计数索引信号输出；如果没有匹配字段过滤器中任何一个字段过滤条件，则认为输入数据帧不在IPFIX测量的范围内；
S4、字段采样：根据路由器的处理能力和流记录数据库的资源情况，利用字段采样器对于字段过滤器筛选出的数据帧进行采样，进一步限制进入后续IPFIX步骤的数据帧；设定采样参数：字段采样器中每一个统计计数器的固定间隔数据帧个数或是产生随机数的随机函数；根据字段过滤输出的统计计数索引信号，查找到对应的统计计数器，然后将该计数器的值进行累加，如果达到了该统计计数器的设定间隔值，则该数据帧通过了整个报文筛选过程，进入后续的IPFIX步骤，否则，该数据帧被排除在IPFIX测量范围之外。
10.如权利要求9所述的IPFIX输出器中的报文筛选方法，其特征在于：所述字段过滤条件包括非级联条目和级联条目中级联状态指示为级联结束的条目。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410108450.2A CN103916289B (zh) | 2014-03-21 | 2014-03-21 | Ipfix输出器中的报文筛选装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410108450.2A CN103916289B (zh) | 2014-03-21 | 2014-03-21 | Ipfix输出器中的报文筛选装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103916289A CN103916289A (zh) | 2014-07-09 |
| CN103916289B true CN103916289B (zh) | 2017-04-12 |
Family
ID=51041707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410108450.2A Active CN103916289B (zh) | 2014-03-21 | 2014-03-21 | Ipfix输出器中的报文筛选装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103916289B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107566220B (zh) * | 2017-10-17 | 2021-04-16 | 盛科网络（苏州）有限公司 | 一种基于流量实现ipfix探测的方法及装置 |
| CN107666417B (zh) * | 2017-10-18 | 2021-04-30 | 盛科网络（苏州）有限公司 | 实现ipfix随机采样的方法 |
| US11159400B2 (en) * | 2019-11-04 | 2021-10-26 | Juniper Networks, Inc | Systems and methods for offloading IPFIX lookup and translation operations from observation domains |
| CN111030939B (zh) * | 2019-12-05 | 2022-08-26 | 苏州盛科通信股份有限公司 | 基于芯片实现ipfix的输出方法及装置 |
| CN112422360A (zh) * | 2020-10-14 | 2021-02-26 | 锐捷网络股份有限公司 | 一种报文采样方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045363A (zh) * | 2010-12-31 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 网络流量特征识别规则的建立方法、识别控制方法及装置 |
| CN102124698A (zh) * | 2009-05-14 | 2011-07-13 | 思科技术公司 | 用于在网络管理环境中导出结构化数据的系统和方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7624436B2 (en) * | 2005-06-30 | 2009-11-24 | Intel Corporation | Multi-pattern packet content inspection mechanisms employing tagged values |
-
2014
- 2014-03-21 CN CN201410108450.2A patent/CN103916289B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102124698A (zh) * | 2009-05-14 | 2011-07-13 | 思科技术公司 | 用于在网络管理环境中导出结构化数据的系统和方法 |
| CN102045363A (zh) * | 2010-12-31 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 网络流量特征识别规则的建立方法、识别控制方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| Flow Selection Techniques;S.D"Antonio;<IETF RFC7014>;20130930;第5-6节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103916289A (zh) | 2014-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103916289B (zh) | Ipfix输出器中的报文筛选装置及方法 | |
| US9065770B2 (en) | Traffic item impairment emulation | |
| US8310942B2 (en) | Flow statistics aggregation | |
| CN104717150B (zh) | 交换装置及丢包方法 | |
| JP5961354B2 (ja) | 効率的なネットフローデータ解析のための方法及び装置 | |
| US9531620B2 (en) | Control plane packet traffic statistics | |
| US8427966B2 (en) | Programmable passive probe | |
| US9680720B1 (en) | Operations, administration, and maintenance (OAM) engine | |
| US20150236895A1 (en) | Apparatus, System, and Method for Enhanced Monitoring and Interception of Network Data | |
| CN110401624A (zh) | 源网荷系统交互报文异常的检测方法及系统 | |
| CN110661716B (zh) | 网络丢包的通知方法、监控装置、交换机和存储介质 | |
| CN101488925B (zh) | 一种利用网络流采集及统计虚拟专用网络流量的方法 | |
| US20130329572A1 (en) | Misdirected packet statistics collection and analysis | |
| CN101594265B (zh) | 一种网络故障诊断方法、装置和网络设备 | |
| CN105991338B (zh) | 网络运维管理方法及装置 | |
| WO2010102311A1 (en) | System and method for exporting structured data in a network management environment | |
| CN108011865A (zh) | 基于流水印和随机采样的sdn流迹追踪方法、装置及系统 | |
| US20030195958A1 (en) | Process and system for capture and analysis of HFC based packet data | |
| DE602004012955T2 (de) | Parallele Steuerungsvorrichtungen für den Data Link Layer mit Statistikerfassung in einer Netzwerksvermittlungseinrichtung | |
| CN103281212B (zh) | 监控城域以太网性能的方法 | |
| CN102223261A (zh) | 一种针对报文进行采样的方法及装置 | |
| CN110166319A (zh) | 一种网络设备参数采集方法 | |
| JP4246238B2 (ja) | トラフィック情報の配信及び収集方法 | |
| US20080170502A1 (en) | Method and system for monitoring data flow in an IP network device | |
| WO2015105681A1 (en) | Apparatus, system, and method for enhanced monitoring, searching, and visualization of network data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170703 Address after: 430074, Hubei Wuhan East Lake Development Zone, Kanto Industrial Park, beacon Road, optical communications building, industrial building, two floor Patentee after: Wuhan flying Microelectronics Technology Co., Ltd. Address before: China Science and Technology Park Dongxin road East Lake Development Zone 430074 Hubei Province, Wuhan City, No. 5 Patentee before: Fenghuo Communication Science &. Technology Co., Ltd. |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20170821 Address after: 430000 East Lake high tech Development Zone, Hubei Province, No. 6, No., high and new technology development zone, No. four Co-patentee after: Wuhan flying Microelectronics Technology Co., Ltd. Patentee after: Fenghuo Communication Science &. Technology Co., Ltd. Address before: 430074, Hubei Wuhan East Lake Development Zone, Kanto Industrial Park, beacon Road, optical communications building, industrial building, two floor Patentee before: Wuhan flying Microelectronics Technology Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210722 Address after: 430074 second floor, optical communication building, Fenghuo Road, Guandong Industrial Park, Donghu Development Zone, Wuhan City, Hubei Province Patentee after: WUHAN FISILINK MICROELECTRONICS TECHNOLOGY Co.,Ltd. Address before: 430000 No. 6, High-tech Fourth Road, Donghu High-tech Development Zone, Wuhan City, Hubei Province Patentee before: FIBERHOME TELECOMMUNICATION TECHNOLOGIES Co.,Ltd. Patentee before: WUHAN FISILINK MICROELECTRONICS TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220526 Address after: 430000 Room 403, 4th floor, Optics Valley Science and technology building, No. 770, Gaoxin Avenue, Wuhan East Lake New Technology Development Zone, Wuhan City, Hubei Province kjdsa2022006 (Wuhan area of the free trade zone) Patentee after: Wuhan binary semiconductor Co.,Ltd. Address before: 430074 second floor, optical communication building, Fenghuo Road, Guandong Industrial Park, Donghu Development Zone, Wuhan City, Hubei Province Patentee before: WUHAN FISILINK MICROELECTRONICS TECHNOLOGY Co.,Ltd. |