CN110661731A - 一种报文处理方法及其装置 - Google Patents

Abstract

本发明涉及一种报文处理方法，所述方法包括：步骤S1：接收报文并将接收到的报文进行缓存；步骤S2：处理单元对报文进行处理；步骤S3：将经处理的报文进行缓存以发送到外部网络。本发明设置了预处理缓冲队列，提前进行报文预处理，从而在不影响报文处理速度的情况下根据报文的类型和时间等因素进行报文的定向缓冲，并直接使得队列和处理器集合相对应；能够根据待处理队列中等待处理的报文数量进行处理器集合的有限度动态调整，大大的提高了处理效率。

Description

一种报文处理方法及其装置

【技术领域】

本发明属于通信技术领域，尤其涉及一种报文处理方法及其装置。

【背景技术】

在目前的通信网络中，存在着众多复杂的网络设备，如路由器、网管、交换机、防火墙和各类服务器等。这些设备分别支持各类的网络协议，从而实现网元间的互联互通。而基于视联网的网络隧道的建立需要通过信令报文的控制完成。目前，视联网终端在内核态模式下接收到来自视联网节点服务器的信令报文，再通过数据拷贝的方式和socket接口将信令报文传输至用户态模式下的视联网终端。视联网终端在用户态模式下对信令报文进行解析。而随着网络技术的快速发展，对信息含量，数据数量的需求越来越多，速度越来越快，当数据报文在网络中传输时，网络设备经常会出现瞬时拥塞现象。而报文在网络中传输的过程中，不仅仅包含简单的报文转发功能，还需要进行报文校验、比较、查找等报文深度处理功能。这样对网络设备提出了更高的要求，在网络设备端发生的拥塞现象有可能引发丢包，从而影响网络传输性能，导致系统吞吐率下降，最终大大的降低用户体验由于系统资源有限，资源的分配往往需要更为合理更为精确，没经过优化的资源分配可能会导致某个任务过载从而引起不必要的报文丢失。由于硬件资源有限，资源的分配往往需要更为合理更为精确，没经过优化的资源分配可能会导致某个任务过载从而引起不必要的报文丢失；当不同的执行单元在同一时间访问输入输出队列会引起冲突。如何在硬件技术的发展速度和用户对网络数据的需求之间逐渐产生矛盾的情况下，如何在硬件资源有限的情况下，提高报文处理速度是当前待解决的问题。本发明设置了预处理缓冲队列，提前进行报文预处理，从而在不影响报文处理速度的情况下根据报文的类型和时间等因素进行报文的定向缓冲，并直接使得队列和处理器集合相对应；同时，通过队列和集合对应的方式，使得能够根据待处理队列中等待处理的报文数量进行处理器集合的有限度动态调整，在保证处理器的使用效率的前提下还能够保证对每种类型报文的处理效率；通过快速路由表，在处理过程中进行端口的快速映射，大大的提高了发出效率。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种报文处理方法，所述方法包含：

步骤S1：接收报文并将接收到的报文进行缓存；

步骤S2：处理单元对报文进行处理；

步骤S3：将经处理的报文进行缓存以发送到外部网络。

进一步的，所述第一待处理队列和第二待处理队列用于进行流入缓存，第一待处理队列用于临时存放报文，将报文进行预处理后存入第二待处理队列的各个第二子队列中。

进一步的，第二子队列是和报文的处理类型相关的。

进一步的，所述步骤S1具体为：将接收到的报文存入第一待处理队列中；进行报文的预处理，将经过预处理的报文存入第二待处理队列或存入出口队列中。

进一步的，所述进行报文的预处理，具体为：进行报文类型的判断；若报文无需进行本地处理，则直接将报文发送到网络节点的端口，否则，基于分类模型的输入参数进行处理类型预判，并将所述报文发送到第二待处理队列中相应的第二子队列中。

进一步的，对第一待处理队列中的报文逐个进行预处理；

一种报文处理装置，所述装置包括：多个处理单元、主控单元、第一待处理队列，第二待处理队列，快速路由单元、出口队列、端口；其中：第二待处理队列包含多个第二子队列；

处理单元用于对报文进行处理；多个处理单元被划分为多个处理单元集合，每个第二子队列分别对应一处理单元集合，所述一处理单元集合用于处理其对应第二子队列中的报文；处理单元集合对其对应第二子队列中报文类型的处理能力高于对其他第二子队列中报文类型的处理能力；

所述出口队列用于对经过处理的报文进行流出缓存，从而使得处理后的报文不再占用处理单元内部或者之间共享的存储空间；

所述第一待处理队列还用于直接和出口队列相连接以直接将接收到的报文存入出口队列中；

处理单元被划分为多个处理单元集合；处理单元之间的存储共享开销和通信开销是不同的，集合内部的处理单元之间的通信和共享开销相对小，而集合之间的处理单元之间的通信和共享开销相对大。

进一步的，所述划分为动态划分：所述动态划分具体为：根据第二子队列中的待处理报文数量进行其对应处理单元集合中处理单元数量的划分，以使得所述处理单元数量和待处理报文数量相匹配。

进一步的，所述第二待处理队列中第二子队列的长度是可动态调整的。

本发明的有益效果包括：设置了预处理缓冲队列，提前进行报文预处理，从而在不影响报文处理速度的情况下根据报文的类型和时间等因素进行报文的定向缓冲，并直接使得队列和处理器集合相对应；同时，通过队列和集合对应的方式，使得能够根据待处理队列中等待处理的报文数量进行处理器集合的有限度动态调整，在保证处理器的使用效率的前提下还能够保证对每种类型报文的处理效率；通过快速路由表，在处理过程中进行端口的快速映射，大大的提高了发出效率。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明的报文处理方法示意图。

图2为本发明的报文处理装置示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

对本发明所应用的一种报文处理方法进行详细说明，如附图1所示，所述方法包含：

步骤S1：接收报文并将接收到的报文进行缓存；具体的：将接收到的报文存入第一待处理队列中；进行报文的预处理，将经过预处理的报文存入第二待处理队列或存入出口队列中；

网络节点接收报文并对接收到的报文进行流入缓存、处理和流出缓存；网络节点中具有多个处理单元、主控单元、第一待处理队列，第二待处理队列，快速路由单元、出口队列、端口；其中：第二待处理队列包含多个第二子队列；

优选的：所述主控单元为处理单元中的一个或多个；所述主控单元用于进行报文的预处理等控制操作；

快速路由单元用于将报文从出口队列发送到网络节点的端口；所述端口用于和外部网络相连接，通过端口将报文发送到外部网络中；

所述第一待处理队列和第二待处理队列用于进行流入缓存，第一待处理队列用于临时存放报文，将报文进行预处理后存入第二待处理队列的各个第二子队列中；第二子队列是和报文的处理类型相关的，用于存储相应处理类型的报文；第二子队列和处理单元相耦合以将报文发送到相应的处理器集合；

处理单元用于对报文进行处理；多个处理单元被划分为多个处理单元集合，每个第二子队列分别对应一处理单元集合，所述一处理单元集合用于处理其对应第二子队列中的报文；处理单元集合对其对应第二子队列中报文类型的处理能力高于对其他第二子队列中报文类型的处理能力；也就是说，处理单元集合中的处理单元也能够处理其他类型的报文，但是对于所述相应类型报文的处理能力高于对其他类型的报文；现有技术中的对于接收到的报文往往采用k进k出的方式进行简单的处理，队列的个数和队列的长度都是固定的，不能和报文的类型和报文出现的时间规律相适应，导致报文处理的资源使用效率很低；通过上述方式，可以直接基于队列可用长度进行报文拥挤程度的监测，以进行对应的处理单元集合的动态调整；这种动态调整可以是基于时间周期的，和/或基于实时参数进行的动态调整；

所述出口队列用于对经过处理的报文进行流出缓存，从而使得处理后的报文不再占用处理单元内部或者之间共享的存储空间，避免可能导致的丢失和拥塞；

优选的：所述第一待处理队列还用于直接和出口队列相连接以直接将接收到的报文存入出口队列中；

所述进行报文的预处理，具体为：进行报文类型的判断；若报文无需进行本地处理，则直接将报文发送到网络节点的端口，否则，基于分类模型的输入参数进行处理类型预判，并将所述报文发送到第二待处理队列中相应的第二子队列中；优选的，输入参数为报文的类型、报文大小、报文发送时间等；网络报文的类型和其出现时间密切先关，但是现有技术中对报文的处理中并没有考虑这个因素，都是基于对当前时刻的报文的非时间因素的其他报文属性的判断进行判断，导致报文处理效率的提升很有限；如果将时间信息考虑进来能够大大的提高处理分类的效率；报文类型包括是否需要处理、处理为偏重计算的，处理为偏重存储的，处理为流式处理，报文的处理为特定类型的处理流程等；也就是说，处理类型并非直接可以根据报文的类型判断出来，通过报文类型仅仅能够判断出是否需要进行进一步的处理；

优选的：对第一待处理队列中的报文逐个进行预处理；依次获取报文标识，基于所述标识进行报文类型的判断；将无需进行处理的报文类型直接保存到出口队列；而对于其他报文类型则进行处理类型预判，并根据预判得到的处理类型将报文存入第二待处理队列的相应第二子队列中；报文的标识中包含用于指示类型的部分；所述用于指示类型的部分是可扩展的；报文类型和处理类型并非一一对应；

所述基于输入参数进行处理类型预判，具体为：将报文的类型、报文大小、和/或报文发送时间中的一个或多个作为输入参数，输入粗分类模型进行分类得到一个二分的分类用于指示处理分类为第一处理分类或非第一处理分类；在使用第一处理分类之前使用包含输入参数以及相应粗分类结果的样本数据对粗分类模型进行训练使其具备一定的分类能力；优选的：粗分类模型的输出为零或一，分别表示第一处理分类或非第一处理分类；对于粗分类模型的分类结果为非第一处理分类的情况下，将输入参数输入细分类模型进行分类以得到第二处理分类；第二分类结果用于指示分类结果为多个处理类型中的一个；第二分类结果指示的多个处理类型的数量加一等于第二子队列的个数；其中，第一处理分类为报文类型中占比最大的处理分类；报文虽然有很多类型的，通过将重要占比的处理分类进行粗分，而粗分的速度非常快，通过这样的粗细分类模型串联搭配使用的方法大大的提高了分类的效率；通过二分粗细分类以及占比最大的处理分类的搭配，大大的提高了分类的效果；优选的：第一处理分类为非典型分类；对典型分类都归入特定的第二子队列中，而对于没有典型特点的通用报文均不进行特殊的分类，直接通过粗分类筛入通用处理单元集合中；

所述将经过预处理的报文存入第二待处理队列或存入出口队列中，具体为：进行报文类型的判断；将无需进行处理类型的报文直接保存到出口队列；而对于其他类型报文则通过分类模型进行处理类型预判，并根据预判得到的处理类型将报文存入第二待处理队列的相应第二子队列中等待下一步处理；

步骤S2：处理单元对报文进行处理；具体的：当处理单元处于空闲状态时，从第二待处理队列中获取报文并进行处理；处理单元集合中的处理单元独立或相互配合的进行报文的处理，在处理单元出现空闲时，直接去第二子队列获取待处理报文，无需经过主控单元的控制；

网络节点中包含多个处理单元，处理单元之间共享存储空间并通信连接，所述多个处理单元为部分相同以及部分不同的；也就是说，处理单元整体上看是异构的，但是局部看来有很多相同的处理单元；例如：具有4个处理单元，其中两个A类型以及两个B类型；

处理单元被划分为多个处理单元集合；处理单元之间的存储共享开销和通信开销是不同的，集合内部的处理单元之间的通信和共享开销相对较小，而集合之间的处理单元之间的通信和共享开销相对较大；

所述划分为动态划分：所述动态划分具体为：根据第二子队列中的待处理报文数量进行其对应处理单元集合中处理单元数量的划分，以使得所述处理单元数量和待处理报文数量相匹配；对应的：所述第二待处理队列中第二子队列的长度是可动态调整的；优选的：第二子队列长度基于报文的时间特性和当前第二子队列中待处理报文的数量来动态调整；其中，报文的时间特性指示了第二子队列所对应报文类型随时间变化的到达网络节点的情况；

不同处理单元的架构不同，其对不同类型的报文的处理能力也不同；同处理单元集合之间的处理单元是大致相同的，而同一处理单元集合中的处理单元是大致相同的；可以根据报文的类型来进行相应的处理单元的组织；使得处理单元基本上用于处理器擅长处理的报文类型，当其擅长处理的报文类型的报文数量少而其他类型的待处理报文较多时，可以进行处理单元的动态划分，使得处理单元中的处理单元划分为其他处理处理单元集合；此时，虽然被划分走的处理单元对其他类型的报文的处理能力不强，但是仍然能够缓解其他类型待处理报文的积压情况；划分的原则是尽量使得新加入的处理单元和其他处理单元之间的通信开销和存储开销在可接受范围内；例如：在设定的阈值范围内；

优选的：所述动态划分为在基本划分基础上的动态划分；具体的：初始情况下，将处理单元的处理能力和网络单元的架构划分为多个处理单元集合；在此基础上的动态划分为，根据第二待处理队列中待处理报文的数量，对处理单元集合中包含的处理单元进行动态调整，以使得处理单元集合中的处理单元数量和其对应的待处理报文数量相匹配；网络单元的架构包含通信模式和存储共享模式；

优选的：处理单元集合中具有一通用处理单元集合，所述通用处理单元集合中的处理单元对各种报文的处理能力均等，在进行动态划分时，优先对所述通用处理单元集合中的处理单元进行划入和划出；

优选的：将非典型处理分类的报文交给所述通用处理单元集合进行处理；

所述从缓存中获取报文并进行处理，具体为：从第二待处理队列中和所述处理单元所属处理单元集合对应的第二子队列中获取以报文，并对所述报文进行处理；

处理单元集合对其对应第二子队列中报文的处理能力高于对其他第二子队列中报文的处理能力；

步骤S3：将经处理的报文进行缓存以发送到外部网络；具体的：在处理单元将报文处理完毕后，将报文存入出口队列，经过查询快速路由单元将出口队列中的报文发送到不同的端口以发送到外部网络；

由于网络节点具有多个端口，因此可以并行的进行报文的发送；通过出口队列的缓存，使得报文在经过处理后不再占用处理单元的存储空间；快速路由单元为根据对报文的处理得到的报文发送信息，基于所述报文发送信息选择端口以进行报文的发送，以使得报文向发送目标的发送效率最高；

优选的：在处理单元对报文的处理过程中填写快速路由单元；

优选的：对出口队列中报文的发送处理是乱序的；当所选择发送的端口处于不可使用的状态时，跳过当前报文的处理，以对后续的报文继续进行路由和发送；这里为了避免一些报文被一直跳过，可以对跳过的次数进行限制或者将跳过的报文放在临时缓存中以使临时缓存中的报文的处理优先级最高，从而使得这些报文一定会被发送处理；

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.一种报文处理方法，其特征在于，所述方法包含：

步骤S1：接收报文并将接收到的报文进行缓存；

步骤S2：处理单元对报文进行处理；

步骤S3：将经处理的报文进行缓存以发送到外部网络。

2.根据权利要求1所述的报文处理方法，其特征在于，所述第一待处理队列和第二待处理队列用于进行流入缓存，第一待处理队列用于临时存放报文，将报文进行预处理后存入第二待处理队列的各个第二子队列中。

3.根据权利要求2所述的报文处理方法，其特征在于，第二子队列是和报文的处理类型相关的。

4.根据权利要求3所述的报文处理方法，其特征在于，所述步骤S1具体为：将接收到的报文存入第一待处理队列中；进行报文的预处理，将经过预处理的报文存入第二待处理队列或存入出口队列中。

5.根据权利要求4所述的报文处理方法，其特征在于，所述进行报文的预处理，具体为：进行报文类型的判断；若报文无需进行本地处理，则直接将报文发送到网络节点的端口，否则，基于分类模型的输入参数进行处理类型预判，并将所述报文发送到第二待处理队列中相应的第二子队列中。

6.根据权利要求5所述的报文处理方法，其特征在于，对第一待处理队列中的报文逐个进行预处理。

7.一种用于进行权利要求1-6中任一项权利要求所述的报文处理方法的报文处理装置，其特征在于，所述装置包括：多个处理单元、主控单元、第一待处理队列，第二待处理队列，快速路由单元、出口队列、端口；其中：第二待处理队列包含多个第二子队列；

处理单元用于对报文进行处理；多个处理单元被划分为多个处理单元集合，每个第二子队列分别对应一处理单元集合，所述一处理单元集合用于处理其对应第二子队列中的报文；处理单元集合对其对应第二子队列中报文类型的处理能力高于对其他第二子队列中报文类型的处理能力；

所述出口队列用于对经过处理的报文进行流出缓存，从而使得处理后的报文不再占用处理单元内部或者之间共享的存储空间；

所述第一待处理队列还用于直接和出口队列相连接以直接将接收到的报文存入出口队列中；

处理单元被划分为多个处理单元集合；处理单元之间的存储共享开销和通信开销是不同的，集合内部的处理单元之间的通信和共享开销相对小，而集合之间的处理单元之间的通信和共享开销相对大。

8.根据权利要求7所述的报文处理装置，其特征在于，所述划分为动态划分：所述动态划分具体为：根据第二子队列中的待处理报文数量进行其对应处理单元集合中处理单元数量的划分，以使得所述处理单元数量和待处理报文数量相匹配。

9.根据权利要求8所述的报文处理装置，其特征在于，所述第二待处理队列中第二子队列的长度是可动态调整的。

Images