CN103607357A - 系统中报文的分配方法和装置 - Google Patents

Abstract

本发明公开了一种系统中报文的分配方法和装置，用于将接收到的报文分配到多个处理单元，其中，该方法包括：根据预先配置的报文的属性值与多个处理单元之间的对应关系，确定接收的报文所对应的处理单元，并将接收的报文分配到对应的处理单元；根据每个处理单元接收报文的速率，对报文的属性值与多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，根据调整后的对应关系分配后续接收的报文。本发明通过预先配置的对应关系能够实现对接收到的报文进行同源同宿地分配，并且动态地调整多个处理单元的负载，从而保证多个处理单元负载均衡，提高了系统的处理能力。

Description

系统中报文的分配方法和装置

技术领域

本发明涉及计算机领域，并且特别地，涉及一种系统中报文的分配方法和装置。

背景技术

在网络安全领域，随着业务量的提高，各个核心处理部分的计算强度也相应增大，使得单一处理模块无法承担。通过负载均衡技术可以将需要的处理的任务分摊在多个处理模块（在文中也称为处理单元）上执行，从而大幅提高系统的吞吐量，负载均衡技术是指将负载（也可称为工作任务、或报文）进行平衡，分发到多个处理模块上，由多个处理模块进行执行从而共同完成工作任务。常用的两种负载均衡技术包括轮询分流技术和哈希分流技术。

轮询分流技术为：依次将接收到的报文分发给不同的处理模块，该技术实现简单，能将报文进行均匀分流。然而，轮询分流技术会将同一网络连接（即同一会话）的报文分发到不同的处理单元，这样不适用于要求同源同宿（即，将同一会话的多个报文分配到同一个处理单元进行数据处理）的应用场景。

哈希（Hash）分流技术为：根据接收到的需要处理的报文中的五元组信息（通常包括报文的源IP地址、源端口、目的IP地址、目的端口、传输层协议号）进行哈希计算得到哈希值，然后根据哈希值将报文分流到特定处理模块。虽然哈希分流技术在分流报文之前增加了对报文信息的计算这一步骤，但是可以通过选择不同的哈希算法实现特定的分流策略。而选择合理的哈希计算方法可以保证实现同源同宿。但是当处理流量中存在大量五元组信息相同的报文（即存在大量同一会话的报文）时，这些报文的五元组信息通过哈希计算后得到的哈希值相同，哈希分流方法会将这些报文分发给同一个处理单元，从而造成分流不均的问题，导致某一处理单元接收到的报文过多而处理不及时的情况，造成拥堵。

针对相关技术中基于负载均衡技术的报文分配不能在同源同宿的基础上实现均匀分配的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中基于负载均衡技术的报文分配不能在同源同宿的基础上实现均匀分配的问题，本发明提出一种系统中报文的分配方法和装置，能够实现报文分配的同源同宿，并且调整多个处理单元的负载，从而保证多个处理单元负载均衡，提高了系统的处理能力。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种系统中报文的分配方法，用于将接收到的报文分配到多个处理单元。

该分配方法包括：

根据预先配置的报文的属性值与多个处理单元之间的对应关系，确定接收的报文所对应的处理单元，并将接收的报文分配到对应的处理单元；

根据每个处理单元的运行参数，对报文的属性值与多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，根据调整后的对应关系分配后续接收的报文。

其中，运行参数包括处理单元接收报文的速率；

对报文的属性值与多个处理单元之间的对应关系进行调整包括：

将接收报文的速率最大的至少一处理单元所对应的部分报文的属性值，配置为与接收报文的速率最小的至少一处理单元对应。

进一步地，对报文的属性值与多个处理单元之间的对应关系进行调整包括：

根据多个处理单元中的每个处理单元接收报文的速率与参考速率之差与预定速率值之间的比较结果，调整报文的属性值与多个处理单元之间的对应关系。

可选地，参考速率为预定常数、或者为多个处理单元当前接收报文的平均速率。

优选地，对报文的属性值与多个处理单元之间的对应关系进行调整的步骤在预处理阶段执行，其中，在预处理阶段中，多个处理单元仅接收报文而禁止对接收的报文进行处理。

可选地，对报文的属性值与多个处理单元之间的对应关系进行调整的步骤在报文处理阶段执行，其中，在报文处理阶段中，多个处理单元接收并处理报文。

此外，该分配方法进一步包括：

预先配置报文分流表，其中，报文分流表中保存有报文的属性值与处理单元之间的对应关系。

优选地，报文的属性值为哈希值，并且，报文的属性值与处理单元之间的对应关系是指：（h mod m）与处理单元之间的对应关系，其中，h为报文的哈希值，m为分流表的长度。

进一步地，m为多个处理单元的数量的整数倍。

根据本发明的一个方面，提供了一种系统中报文的分配装置，用于分配接收到的报文至多个处理单元。

上述分配装置包括：

确定模块，用于根据预先配置的报文的属性值与多个处理单元之间的对应关系，确定接收的报文所对应的处理单元；

分配模块，用于将接收的报文分配到对应的处理单元；

调整模块，用于根据每个处理单元接收报文的速率，对报文的属性值与多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，根据调整后的对应关系分配后续接收的报文。

本发明通过预先配置的对应关系能够实现对接收到的报文进行同源同宿地分配，并且动态地调整多个处理单元的负载，从而保证多个处理单元负载均衡，提高了系统的处理能力。

附图说明

图1是根据本发明实施例的系统中报文的分配方法的流程图；

图2是根据本发明的一个实施例的分流方法的流程图；

图3是根据本发明的另一个实施例分流表进行调整的流程图；

图4是根据本发明实施例的系统中报文的分配装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种系统中报文的分配方法，用于将接收到的报文分配到多个处理单元。

如图1所示，根据本发明实施例的分配方法包括：

步骤S101，根据预先配置的报文的属性值与多个处理单元之间的对应关系，确定接收的报文所对应的处理单元，并将接收的报文分配到对应的处理单元，能够实现对接收到的报文进行同源同宿地分配；

步骤S103，根据每个处理单元的运行参数，对报文的属性值与多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，根据调整后的对应关系分配后续接收的报文，通过动态调整多个处理单元的负载，从而保证多个处理单元负载均衡，提高了系统的处理能力，其中，运行参数可以包括接收报文的速率、处理单元写入或读取字节的速率、处理单元的cpu利用率、处理单元的缓冲区使用率等指标，文中基于接收报文的速率的参数进行的分配方法均可以应用到其他运行参数上，以下不再详述。

其中，运行参数包括处理单元接收报文的速率；可以将接收报文的速率最大的至少一处理单元所对应的部分报文的属性值，配置为与接收报文的速率最小的至少一处理单元对应，例如，可以将多个处理单元按接收报文的速率大小进行依次排列，然后将接收报文的速率最大的处理单元所对应的多个报文中的一个和/或多个报文的属性值配置为与接收报文的速率最小的一个处理单元对应，然后，将接收报文的速率第二大的处理单元所对应的多个报文中的一个和/或多个报文的属性值配置为与接收报文的速率第二小的一个处理单元对应，根据用户需求依次类推从而达到负载均衡的目的。

进一步地，可以根据多个处理单元中的每个处理单元接收报文的速率与参考速率之差与预定速率值之间的比较结果，调整报文的属性值与多个处理单元之间的对应关系。其中，参考速率为预定常数、或者为多个处理单元当前接收报文的平均速率。例如，当参考速率为预定常数时，当多个处理单元中出现接收文报速率大于该预定常数的处理单元时，即将该处理单元所对应的多个报文中的一个和/或多个报文的属性值配置为与接收报文的速率小于该预定常数一个和/或多个处理单元对应；当参考速率为多个处理单元当前接收报文的平均速率时，可以以预定周期采集一时间段（其中，周期的长度以及该时间段的长度可以根据用户需求进行设定）内多个处理接收报文的速率，然后计算平均速率，当多个处理单元中出现接收文报速率大于该平均速率的处理单元时，即将该处理单元所对应的多个报文中的一个和/或多个报文的属性值配置为与接收报文的速率小于该平均速率一个和/或多个处理单元对应。

优选地，对报文的属性值与多个处理单元之间的对应关系进行调整的步骤在预处理阶段（文中也称为流量适应阶段）执行，其中，在预处理阶段中，多个处理单元仅接收报文而禁止对接收的报文进行处理。例如，预处理阶段可以是系统开启后的100s，在这100s内，周期性地（可以以2s为周期）采集系统中每个处理单元接收报文的速率，以处理单元在这2s内接收报文的平均速度为该处理单元接收报文的速率，根据每个处理单元接收报文的速率，对报文的属性值与多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，在这100s内，每个处理单元只接收报文，但是不对接收的报文进行处理，100s结束后，根据调整后的对应关系分配后续接收的报文，并且，处理单元可以抛弃在这100s内动态调整对应关系期间而接收到的与最后确定的对应关系不相符的报文。此技术方案可以应用在对同源同宿要求较高的系统中。也可以根据用户需求在其他时间进入预处理阶段以调整处理单元的流量负载。

可选地，对报文的属性值与多个处理单元之间的对应关系进行调整的步骤在报文处理阶段执行，其中，在报文处理阶段中，多个处理单元接收并处理报文。在对同源同宿要求相对不高的系统中，可以采用该方法，以达到最佳的均衡负载效果。

此外，根据本发明实施例的分配方法进一步包括：

预先配置报文分流表，其中，报文分流表中保存有报文的属性值与处理单元之间的对应关系。优选地，报文的属性值为哈希值，并且，报文的属性值与处理单元之间的对应关系是指：（h mod m）与处理单元之间的对应关系，其中，h为报文的哈希值，m为分流表的长度，mod是做除法然后返回余数的运算符，即h除以m以后得到的余数。进一步地，m为多个处理单元的数量的整数倍。

例如，可以根据报文的五元组信息中的至少一信息通过哈希计算得到哈希值，在十进制的哈希值中，根据（h mod m）可以得到0-(m-1)的余数。如表1所示，为根据本发明的一个实施例的分配方法所配置的报文分流表，假设在表1中的余数为0-9：

表1

h mod m	0	1	2	3	4	5	6	7	8	9
											n	a	b	c	d	e	a	b	c	d	e

其中，表1所示分流表的长度为10，即m=10，n=5（包括a、b、c、d和e五个处理单元），表格中0-9为（h mod m）所得的余值，而n为每个余值对应的处理单元的编号，表1所示的对应关系：（h mod m）=0\5对应于n=a（即对应于处理单元a），（h mod m）=1\6对应于n=b（即对应于处理单元b）,依次类推，即，在（h mod m）所得的余值为0或5时，将报文分配到编号为a的处理单元中。

表1所示的实施例中，m的为n的两倍，此设置可以应用于每个处理单元的处理能力相同，而系统又希望将报文平均分配的情况，当然，在其他情况下，例如，处理单元a的处理能力较强，则表1的对应关系中将更多个（h mod m）所得的余值与处理单元a进行对应，则在系统运行时，会有更多的报文分配到处理单元a中进行处理。此外，在未示出的实施例中，m可以为n的8倍或以上，有利于细化调整粒度，从而在调整过程中避免将原来接收速度最小的处理单元经过少数几次调整后变成接收速度最高的处理单元，也进一步地避免了震荡的情况。

本发明的技术方案在分流模块中增加了分流表，并通过分流表将报文的哈希值和处理单元进行映射，在处理单元的负载均衡偏差达到一定程度后通过修改分流表来调整多个处理单元的负载强度。动态调整方法可以将负载最重的一部分处理单元的部分工作转移到负载最轻的一部分处理单元上。从而保证多个处理单元负荷相当，增加整个系统的处理能力。

根据本发明的一个实施例，提供了一种系统中报文的分配方法，其中，分配方法也可称为分流方法，如图2所示，为根据本发明的一个实施例的分流方法，该方法采用动态调整分流表的方法来实现负载均衡。在处理流程上类似哈希分流方法，不同之处在于，根据本发明实施例的分流方法在对报文的五元组信息进行哈希计算之后需要建立一个分流表对接收的报文进行分流，不直接使用哈希值进行报文的分流，而是通过分流表将哈希值映射到处理单元。在应用本发明实施例的分流方法的系统中存在n个处理单元，分流表长度为m，m远大于n。分流表初始内容为0-(n-1)的均匀分布，表示将报文平均分配至n个处理单元。图2所示的分流方法包括分流过程和处理过程两部分，分流过程的步骤包括：

步骤S201，接收报文；

步骤S203，提取五元组信息，即，根据用户需求对提取接收的报文的五元组信息的全部或部分；

步骤S205，计算哈希值h，对提取的报文的五元组信息的全部或部分进行哈希计算，从而得到哈希值h，并且，根据用户需求可以选择不同的哈希算法。

步骤S207，根据分流表第（h mod m）项分流到对应的处理单元，可以先查询分流表第（h mod m）项内容，根据对应内容将报文分流到对应的处理单元。

最后，由处理单元对接收到的报文进行处理。

如图3所示，为根据本发明的另一个实施例分流表进行调整的流程图，动态调整分流表的流程主要包括：

步骤S301，统计各处理单元的包速率（即，处理单元接收报文的速率），在系统运行过程中，可以周期性地统计各个处理单元接收报文的速率；

步骤S303，计算负载均衡偏差，例如，假设所有处理单元接收报文的平均速率为100，设定阈值为20，计算每个处理单元接收报文的速率的负载均衡偏差，假设处理单元a接收报文的速率为最大，假定速率为150，则处理单元a接收报文的速率的负载均衡偏差（150-100）=50大于设定阈值20，则表示处理单元a接收的报文太多，会造成处理单元a处理报文不及时的现象，因此，需要进入调整流程的下一步；

步骤S305，判断偏差是否大于调整阈值，即，比较各个处理单元的负载均衡偏差与设定阈值（即上文中提及的预定速率值），在出现负载均衡偏差大于设定阈值的处理单元的情况下，对分流表进行调整，即进入调整流程的下一步；

步骤S307，查找最大和最小包速率的处理单元，可以称为处理单元s_max（在分流表中，处理单元s_max对应于上文的处理单元a，即其编号为a）、处理单元s_min；

步骤S309，在分流表中找到内容为处理单元s_max的编号的一项，将其改为处理单元s_min的编号（即，改为接收报文速率最小的处理单元的实际编号），通过遍历分流表来查找到一项内容为处理单元s_max的单元，将其修改为处理单元s_min，这样的调整操作可以将原来对应处理单元s_max的部分流量转移到处理单元s_min中从而适当降低编号为s_max的处理单元的计算强度（负载），调节粒度取决于分流表长度m，m越大调节粒度越细，负载均衡偏差越小，但收敛时间将增大（即，恢复到均衡状态的时间越长）。

在实际应用中，分流表的长度越长，则分流表中对应某一编号处理单元的单元的项数越多，此方案中，仅需在分流表中查找到一项内容为处理单元s_max的单元进行修改，在未示出的实施例中，可以根据负载均衡偏差与设定阈值的差值的大小确定需要查找的内容为处理单元s_max的单元的项数，从而进行修改，例如，当负载均衡偏差越大，代表处理单元s_max需要处理的报文越多，则可以从分流表中查找多项内容为处理单元s_max的单元进行修改，以减轻当前处理单元s_max的负载，达到负载均衡的目的。查找接收报文的速率最小的处理单元s_min，将分流表中对应处理单元s_max的一项内容修改为与处理单元s_min对应。在未示出的实施例中，也可以仅查找负载均衡偏差小于设定阈值的一个或多个处理单元，然后将分流表中对应处理单元s_max的一项或多项内容修改为与负载均衡偏差小于设定阈值的一个或多个处理单元对应，或者将接收报文的速率最大的几个处理单元在分流表中对应的项改为对应于接收报文的速率最小的几个处理单元。

需要注意的是在动态调整过程中会影响同源同宿。假如应用场景不要求同源同宿时，动态调整过程可以一直执行。在要求同源同宿的应用中，系统启动后应该先进入流量适应阶段，在此阶段处理单元只接收报文，不处理。使用图3所示的方法来调整分流表，直到负载均衡偏差满足要求后，停止动态调整分流表，处理单元开始工作。这样既可以满足同源同宿要求，而且在流量不出现大幅变动情况下可以一直使用流量适应阶段学习到的分流表数据，保证负载均衡偏差。

根据本发明的实施例，提供了一种系统中报文的分配装置，用于分配接收到的报文至多个处理单元。

如图4所示，根据本发明实施例的分配装置包括：

确定模块41，用于根据预先配置的报文的属性值与多个处理单元之间的对应关系，确定接收的报文所对应的处理单元；

分配模块42，用于将接收的报文分配到对应的处理单元；

调整模块43，用于根据每个处理单元接收报文的速率，对报文的属性值与多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，根据调整后的对应关系分配后续接收的报文。

其中，调整模块43还用于将接收报文的速率最大的至少一处理单元所对应的部分报文的属性值，配置为与接收报文的速率最小的至少一处理单元对应。

此外，调整模块43进一步用于根据多个处理单元中的每个处理单元接收报文的速率与参考速率之差与预定速率值之间的比较结果，调整报文的属性值与多个处理单元之间的对应关系。可选地，参考速率为预定常数、或者为多个处理单元当前接收报文的平均速率。

优选地，对报文的属性值与多个处理单元之间的对应关系进行调整的步骤在预处理阶段执行，其中，在预处理阶段中，多个处理单元仅接收报文而禁止对接收的报文进行处理。

可选地，对报文的属性值与多个处理单元之间的对应关系进行调整的步骤在报文处理阶段执行，其中，在报文处理阶段中，多个处理单元接收并处理报文。

此外，根据本发明实施例的分配装置进一步包括：

配置模块（未示出），用于预先配置报文分流表，并且，配置模块进一步报文分流表中保存有报文的属性值与处理单元之间的对应关系。

优选地，报文的属性值为哈希值，并且，报文的属性值与处理单元之间的对应关系是指：（h mod m）与处理单元之间的对应关系，其中，h为报文的哈希值，m为分流表的长度。进一步地，配置模块配置m为多个处理单元的数量的整数倍。

综上所述，借助于本发明的上述技术方案，本发明通过预先配置的对应关系能够实现对接收到的报文进行同源同宿地分配，并且动态地调整多个处理单元的负载，从而保证多个处理单元负载均衡，提高了系统的处理能力，此外，还建立了分流表，在分流表内配置映射关系使得报文处理达到同源同宿的效果，再根据处理单元负载情况动态调节分流表内的映射关系，实现多个处理单元之间负荷相当。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种系统中报文的分配方法，用于将接收到的报文分配到多个处理单元，其特征在于，所述分配方法包括：

根据预先配置的报文的属性值与所述多个处理单元之间的对应关系，确定接收的报文所对应的处理单元，并将接收的报文分配到对应的处理单元；

根据每个处理单元的运行参数，对报文的属性值与所述多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，根据调整后的所述对应关系分配后续接收的报文。

2.根据权利要求1所述的分配方法，其特征在于，所述运行参数包括处理单元接收报文的速率；

对报文的属性值与所述多个处理单元之间的对应关系进行调整包括：

将接收报文的速率最大的至少一处理单元所对应的部分报文的属性值，配置为与接收报文的速率最小的至少一处理单元对应。

3.根据权利要求2所述的分配方法，其特征在于，对报文的属性值与所述多个处理单元之间的对应关系进行调整包括：

根据所述多个处理单元中的每个处理单元接收报文的速率与参考速率之差与预定速率值之间的比较结果，调整报文的属性值与所述多个处理单元之间的对应关系。

4.根据权利要求3所述的分配方法，其特征在于，所述参考速率为预定常数、或者为所述多个处理单元当前接收报文的平均速率。

5.根据权利要求1所述的分配方法，其特征在于，对报文的属性值与所述多个处理单元之间的对应关系进行调整的步骤在预处理阶段执行，其中，在所述预处理阶段中，所述多个处理单元仅接收报文而禁止对接收的报文进行处理。

6.根据权利要求1所述的分配方法，其特征在于，对报文的属性值与所述多个处理单元之间的对应关系进行调整的步骤在报文处理阶段执行，其中，在所述报文处理阶段中，所述多个处理单元接收并处理报文。

7.根据权利要求1所述的分配方法，其特征在于，进一步包括：

预先配置报文分流表，其中，所述报文分流表中保存有报文的属性值与处理单元之间的对应关系。

8.根据权利要求7所述的分配方法，其特征在于，报文的属性值为哈希值，并且，报文的属性值与处理单元之间的对应关系是指：（h mod m）与处理单元之间的对应关系，其中，h为报文的哈希值，m为分流表的长度。

9.根据权利要求8所述的分配方法，其特征在于，m为所述多个处理单元的数量的整数倍。

10.一种系统中报文的分配装置，用于分配接收到的报文至多个处理单元，其特征在于，所述分配装置包括：

确定模块，用于根据预先配置的报文的属性值与所述多个处理单元之间的对应关系，确定接收的报文所对应的处理单元；

分配模块，用于将接收的报文分配到对应的处理单元；

调整模块，用于根据每个处理单元接收报文的速率，对报文的属性值与所述多个处理单元之间的对应关系进行调整，使得多个处理单元接收报文的速率趋于平均，根据调整后的所述对应关系分配后续接收的报文。

Images