CN105306389A - 数据处理方法及装置 - Google Patents

Abstract

本发明公开了数据处理方法及装置，其中，该方法包括：采用根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，使得所有来自交换芯片的ES报文均能够在预定时间内到达处理芯片；其中，预定参数至少包括：DSL的总线路数；通过处理芯片中的接收处理接口中添加的ES报文分支对接收到的ES报文进行分发。解决了现有技术中vector技术中预编码报文在短时间内存在大量突发所导致的问题，进而提高了ES报文在处理芯片的分发和处理优先级，在某种程度上提高了ES报文能够在协议规定的时间内处理完成的可能性。

Description

数据处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种数据处理方法及装置。

背景技术

随着宽带的逐渐发展，由于其在短距离的带宽优势(理想应用环境下可达100Mbps)，VDSL2(SecondGenerationVery-high-rateDigitalSubscriberloop，第二代甚高速数字用户环路)成为当前“最后一段”铜线的主流接入方式。但由于VDSL2使用的频段较高，线间串扰的问题比较突出。与单线对VDSL2接入时的带宽相比，多线对VDSL2接入时的每线对带宽下降非常明显，串扰问题成为限制VDSL2性能的主要因素，而其中的远端串扰(FarEndCross-Talk，简称为FEXT)又是重中之重。

为了更彻底地从根本上消除FEXT对VDSL2的影响，ITU-T组织推出了矢量化(vector)技术标准，亦即DSMLevel3(DemandSideManagementLevel3，需求侧管理阶段3)阶段。vector通过矢量化的方法，针对性地解决VDSL2线路中的FEXT，提升多线对VDSL2线路的性能。

但是由于vector技术对于预编码报文的收发处理时间的高度敏感性，从而给系统的内部带宽提出了很高的要求。最终使许多多用户居住单元(MultipleDwellingUnit，简称为MDU)型多用户VDSL2接入设备望而却步。如何“高可靠、易运维”地实现这些海量数据的传输和处理，是vector产品化的主要挑战。

为了解决vector技术中预编码报文的短时间内存在大量突发和必须在规定时间内处理完成的特点，使MDU型VDSL2接入设备能够实现板级vector功能，我们需要一种MDU型VDSL2接入设备支持板级vector(boardlevelvector，简称为BLV)的实现方案。

针对相关技术中，vector技术中预编码报文在短时间内存在大量突发所导致的问题，还未提出有效的解决方案。

发明内容

本发明提供了一种数据处理方法和装置，以至少解决vector技术中预编码报文的短时间内存在大量突发所导致的问题。

根据本发明的一个方面，提供了一种数据处理方法，包括：根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，使得所有来自所述交换芯片的误差采样(ErrorSample，简称为ES)报文均能够在预定时间内到达所述处理芯片；其中，所述预定参数至少包括：数字用户环路(DigitalSubscriberloop，简称为DSL)的总线路数；通过所述处理芯片中的接收处理接口中添加的ES报文分支对接收到的所述ES报文进行分发。

优选地，根据所述预定参数对所述交换芯片和所述处理芯片之间的所述接口的参数进行配置包括：在所述接口的速率为第一阈值范围的情况下，所述预定参数仅包括：DSL的总线路数；和/或，在所述接口的速率为第二阈值范围的情况下，所述预定参数还包括：所述处理芯片的承受能力。

优选地，根据所述预定参数对所述交换芯片和所述处理芯片之间的所述接口的参数进行配置包括：根据所述预定参数对所述交换芯片和所述处理芯片之间的接口的先入先出队列(FirstinputFirstOutput，简称为FIFO)深度进行配置。

优选地，在根据所述预定参数对所述交换芯片和所述处理芯片之间的所述接口的参数进行配置之后，所述方法还包括：根据所述预定参数估算所述ES报文在预定时长内的最大突发量；根据所述突发量对通过所述接口向所述处理芯片发送所述ES报文的限速值进行调整。

优选地，用于处理所述ES报文的分支的优先级为最高优先级。

优选地，通过所述ES报文分支对接收到的所述ES报文进行分发包括：对接收到的报文进行检验；对检验结果为合法的报文进行该报文是否为所述ES报文的判断；在判断结果为是情况下，通过所述ES报文分支对所述ES报文进行分发。

优选地，所述方法还包括：对所述交换芯片与上联子卡连接的上联接口进行网络包限速。

优选地，对所述交换芯片与所述上联子卡连接的所述上联接口进行所述网络包限速包括：对来自所述上联接口的所述网络包进行分类；根据所述网络包的分类对所述网络包进行限速。

根据本发明的另一个方面，还提供了一种数据处理装置，包括：配置模块22，用于根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，使得所有来自所述交换芯片的ES报文均能够在预定时间内到达所述处理芯片；其中，所述预定参数至少包括：DSL的总线路数；分发模块24，用于通过所述处理芯片中的接收处理接口中添加的ES报文分支对接收到的所述ES报文进行分发。

优选地，在所述接口的速率为第一阈值范围的情况下，所述预定参数仅包括：DSL的总线路数；和/或，在所述接口的速率为第二阈值范围的情况下，所述预定参数还包括：所述CPU的承受能力。

优选地，所述配置模块还用于根据所述预定参数对所述交换芯片和所述处理芯片之间的接口的FIFO深度进行配置。

优选地，所述装置还包括：调整模块26，用于根据所述预定参数估算所述ES报文在预定时长内的最大突发量，并根据所述突发量对通过所述接口向所述处理芯片发送所述ES报文的限速值进行调整。

优选地，所述用于处理所述ES报文的分支的优先级为最高优先级。

优选地，分发模块24包括：检验单元32，用于对接收到的报文进行检验；判断单元34，用于对检验结果为合法的报文进行该报文是否为所述ES报文的判断；分发单元36，用于在判断结果为是情况下，通过所述用于处理所述ES报文的分支对所述ES报文进行分发。

优选地，所述装置还包括：限速模块28，用于对所述交换芯片与上联子卡连接的上联接口进行网络包限速。

优选地，所述限速模块28包括：分类单元42，用于对来自所述上联接口的所述网络包进行分类；限速单元44，用于根据所述网络包的分类对所述网络包进行限速。

通过本发明，采用根据预定参数对交换芯片(switch)和处理芯片(CPU)之间的接口的参数进行配置，使得所有来自交换芯片的ES报文均能够在预定时间内到达处理芯片；其中，预定参数至少包括：DSL的总线路数；通过处理芯片中的接收处理接口中添加的ES报文分支对接收到的ES报文进行分发，解决了现有技术中vector技术中预编码报文在短时间内存在大量突发所导致的问题，进而提高了ES报文在处理芯片的分发和处理优先级，在某种程度上提高了ES报文能够在协议规定的时间内处理完成的可能性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据处理方法的流程图；

图2是根据本发明实施例的数据处理装置的结构框图；

图3是根据本发明实施例的数据处理装置的结构框图一；

图4是根据本发明实施例的数据处理装置的结构框图二；

图5是根据本发明实施例的数据处理装置的结构框图三；

图6是根据本发明实施例的数据处理装置的结构框图四；

图7是根据本发明实施例的MDU型VDSL2接入设备的一般系统架构及BLV实现原理图；

图8是根据本发明实施例的MDU型VDSL2接入设备的一般系统架构及BLV实现流程图；

图9是根据本发明实施例的一种CPU口参数优化方法流程图；

图10是根据本发明实施例的一种添加ES报文处理分支的方法流程图；

图11是根据本发明实施例的一种在switch与上联子卡相连的接口上实现网络包限速的方法的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种数据处理方法，图1是根据本发明实施例的数据处理方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，使得所有来自交换芯片的ES报文均能够在预定时间内到达该处理芯片；其中，预定参数至少包括：DSL的总线路数；

步骤S104，通过处理芯片中的接收处理接口中添加的ES报文分支对接收到的ES报文进行分发。

通过上述步骤，根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，相比于现有技术中因交换芯片和处理芯片之间的接口的参数为固定值，导致的vector技术中预编码报文在短时间内存在大量突发和必须在规定时间内处理完成的问题，能够使得所有来自交换芯片的ES报文均能够在预定时间内到达处理芯片，并且通过处理芯片中的接收处理接口中添加的ES报文分支对接收到的ES报文进行分发，进而提高了ES报文在处理芯片的分发和处理优先级，提高了ES报文能够在协议规定的时间内处理完成的可能性。

在上述步骤S102中，涉及到对交换芯片和处理芯片之间的接口的参数进行配置的依据，需要说明的是，对交换芯片和处理芯片之间的接口的参数进行配置的依据可以有多种，下面对此进行举例说明。在一个可选实施例中，在接口的速率为第一阈值范围的情况下，预定参数仅包括：DSL的总线路数；在另外一个可选的实施例中，在接口的速率为第二阈值范围的情况下，预定参数不仅包括DSL总线路数，还可以包括：处理芯片的承受能力。这两种可选的实施例可以单独使用，也可以结合使用。

在一个可选实施例中，对交换芯片和处理芯片之间的接口的参数进行配置包括：对交换芯片和处理芯片之间的接口的FIFO深度进行配置。例如具体可以是almost_full参数，但对于不同类型的交换芯片可能参数存在差异。

为了使得所有来自交换芯片的ES报文均能够在预定时间内到达处理芯片，在一个可选实施例中，在根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置之后，根据预定参数估算ES报文在预定时长内的最大突发量，根据突发量对通过接口向处理芯片发送ES报文的限速值进行调整。

由于本发明实施例涉及的是如何对ES报文进行有效处理的技术方案，因此在一个可选实施例中用于处理ES报文的分支的优先级为最高优先级，这样可以确保ES报文得到优先处理。

为了将ES报文快速分发给DSL驱动，保证业务的顺利进行，在一个可选实施例中，通过ES报文分支对接收到的ES报文进行分发包括：对接收到的报文进行检验，对检验结果为合法的报文进行该报文是否为ES报文的判断，在判断结果为是情况下，通过ES报文分支对该ES报文进行分发。

由于网络杂包过大会造成系统的处理负担，从而影响ES报文的发送速率和处理能力，在一个可选实施例中，对交换芯片与上联子卡连接的上联接口进行网络包限速。具体的，在另一个可选实施例中，对来自上联接口的网络包进行分类，根据网络包的分类对网络包进行限速。当然也可以采用其他能够对交换芯片与上联子卡连接的上联接口进行网络包限速的处理方式，在此不再赘述。最后再通过交换芯片的现有规则限制网络杂包，避免因为网络杂包冲击导致ES报文被丢弃或者处理超时，最终确保vector功能的有效性。

本实施例中还提供了一种数据处理装置，该装置用于实现上述方法，在上述方法中已经进行过说明的在此不再赘述，以下装置中的模块的名称不应当理解为对该模块的限定，下面所描述的模块的功能可以通过处理器来实现。

图2是根据本发明实施例的数据处理装置的结构框图，如图2所示，该装置包括：配置模块22，用于根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，使得所有来自交换芯片的ES报文均能够在预定时间内到达处理芯片；其中，预定参数至少包括：DSL的总线路数；分发模块24，连接至上述配置模块22，用于通过处理芯片中的接收处理接口中添加的ES报文分支对接收到的ES报文进行分发。

优选地，在接口的速率为第一阈值范围的情况下，预定参数仅包括：DSL的总线路数；和/或，在接口的速率为第二阈值范围的情况下，预定参数还包括：CPU的承受能力。

优选地，配置模块还用于对交换芯片和处理芯片之间的接口的FIFO深度进行配置。

图3是根据本发明实施例的数据处理装置的结构框图一，如图3所示，该装置还包括：调整模块26，用于根据预定参数估算该ES报文在预定时长内的最大突发量，并根据突发量对通过接口向处理芯片发送ES报文的限速值进行调整。

优选地，用于处理该ES报文的分支的优先级为最高优先级。

图4是根据本发明实施例的数据处理装置的结构框图二，如图4所示，分发模块24包括：检验单元32，用于对接收到的报文进行检验；判断单元34，用于对检验结果为合法的报文进行该报文是否为ES报文的判断；分发单元36，用于在判断结果为是情况下，通过用于处理该ES报文的分支对该ES报文进行分发。

图5是根据本发明实施例的数据处理装置的结构框图三，如图5所示，该装置还包括：限速模块28，用于对交换芯片与上联子卡连接的上联接口进行网络包限速。

图6是根据本发明实施例的数据处理装置的结构框图四，如图6所示，限速模块28包括：分类单元42，用于对来自上联接口的该网络包进行分类；限速单元44，用于根据网络包的分类对网络包进行限速。

为了在MDU型的小型多用户接入设备实现BLV，提出了如下方法来满足MDU型接入设备实现BLV的目标。图7是根据本发明实施例的MDU型VDSL2接入设备的一般系统架构及BLV实现原理图，如图7所示，要在MDU型VDSL2接入设备上实现BLV，应满足如下要求：

1)处理芯片(CPU)同时用于系统控制和ES运算，保证ES包在期望时间内处理完成；

2)尽可能的减小因大流量的ES报文冲击处理芯片，对正常业务功能的影响；

根据如上要求，本优选实施例中提出了一种MDU型VDSL2接入设备支持板级vector的实现方案和系统，具体是通过优化交换芯片(switch)与CPU相连的接口参数来避免ES报文的丢包，以及提高ES报文在CPU的分发和处理优先级，确保ES报文能够在协议规定的时间内处理完成，最后再通过switch的现有规则限制网络杂包，避免因为网络杂包冲击导致ES报文被丢弃或者处理超时，最终确保vector功能的有效性。

本可选实施例的主要优势：

1)利用现有器件实现，无需增加VECTORING控制引擎(VectoringControlEngine，简称为VCE)子卡，也无需硬件改板；

2)对系统的其他业务的基本无影响；

下面结合附图对该优选实施例进行如下说明：

在本可选实施例中首先提供了一种MDU型VDSL2接入设备支持BLV的实现方案，具体指一种是通过软件优化来解决BLV的ES包大流量快速处理需要和最大限速降低ES报文的冲击对系统其他业务的影响。

图8是根据本发明实施例的MDU型VDSL2接入设备的一般系统架构及BLV实现流程图，如图8所述，具体步骤如下：

步骤S802：通过优化switch与CPU的连接端口(后续简称为CPU口)的参数，确保在100M/1000M建链速率的情况下，能够满足ES报文的发送要求。例如，64ms内需要发送发所有的ES报文，而ES报文与总的线路数成正比，线路越多，64ms内的ES报文数目越多，所以需要优化CPU口的参数来确保所有的ES报文能够在规定的时间内发送给CPU。

步骤S804：CPU接收到switch发送上来的ES报文后，也需要在一定时间内处理完成，例如，在64ms内快速分发给DSL驱动用于串扰消除的矢量计算。为了满足快速ES报文的分发以及不影响其他业务的要求，我们在CPU的收报处理接口中添加ES报文分发分支，且将此分支置于最高优先级。

步骤S806：对于switch与CPU之间只有一个媒体独立接口(MediaIndependentInterface，简称为MII)口相连的系统，由于ES报文穿插在线路建链和建链后的整个生命周期，所以为了减少网络杂包过大造成系统负担，从而影响ES报文的发送速率和处理能力，我们需要在swicth与上联子卡相连的接口应用相应的网络包限速，将网络杂包对于系统的影响降到最小。

为了使switch与CPU口的参数得以优化配置，本可选实施例提供了一种优选地方式。图9是根据本发明实施例的一种CPU口参数优化方法流程图，如图9所示，具体步骤如下：

步骤S902：根据CPU口建链速率走不同的分支处理；

步骤S904：当上述步骤S902中的CPU口建链速率为100M时，根据DSL总的线路数，优化CPU口的FIFO参数，使得CPU口能够应付多线路ES包突发场景，保证ES报文能够全部送达CPU；

步骤S906：当上述步骤S902中的CPU口建链速率为1000M时，根据DSL的总线路数和CPU的承受能力，优化CPU口的FIFO参数，使得CPU口能够应付多线路ES包的突发场景，保证ES报文能够全部送达CPU，且不超过CPU的处理极限；

步骤S908：根据DSL的总线路数估算ES报文1s内的最大突发量，从而指导CPU口出向限速值的调整。

为了快速分发ES报文，使各种业务得到顺利进行，本可选实施例提供了一种优选地方式。图10是根据本发明实施例的一种添加ES报文处理分支的方法流程图，如图10所示，具体步骤如下：

步骤S1002：系统CPU收到switch的CPU口转发的报文；

步骤S1004：对上述步骤S1002收到的报文进行合法性检验；主要校验报文的硬件地址(MediaAccessControl，简称：MAC地址)、IP合法性以及相应校验和的正确性等等；

步骤S1006：对于上述步骤S1004中检验为非法的报文，执行丢弃动作，并进行对应错误收报统计；

步骤S1008：对于上述步骤S1004中检验费合法的报文，根据所述虚拟eth口进行分发；

步骤S1010：对上述步骤S1008中属于eth0口的报文进行相应的处理；

步骤S1012：对上述步骤S1008中属于eth1口的报文进行相应的处理；

步骤S1014：对上述步骤S1008中属于eth2口的报文进行相应的处理；

步骤S1016：对于上述步骤S1014的eth2口的报文，具体为，优先处理ES报文，首先根据目的MAC判断是否为ES报文；

步骤S1018：对于上述步骤S1016中判断为非ES的报文走原有正常流程；

步骤S1020：对于上述步骤S1016中判断为ES的报文走单独的ES分发处理。

为了减少网络杂包过大造成系统负担，从而影响ES报文的发送速率和处理能力，本可选实施例提供了一种优选地方式。图11是根据本发明实施例的一种在switch与上联子卡相连的接口上实现网络包限速的方法的流程图，如图11所示，具体步骤如下：

步骤S1102：switch上联口收到网络侧发来的数据包；

步骤S1104：对步骤S1102中上联口收到的网络包进行分类；

步骤S1106：对于步骤S1104中判定为ARP类的报文，按照ARP包的限速值进行限速，限速单位为pps，且限速值可配；

步骤S1108：对于步骤S1104中判定为DHCP/IGMP类的协议报文，按照DHCP/IGMP包的限速值进行限速，限速单位为pps，且限速值可配；

步骤S1110：对于步骤S1104中判定为非ARP/DHCP/IGMP类的其他网络报文，按照上联口应用的特殊ACL规则进行限速，限速单位为kbps，且限速值可配。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种数据处理方法，其特征在于，包括：

根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，使得所有来自所述交换芯片的ES报文均能够在预定时间内到达所述处理芯片；其中，所述预定参数至少包括：DSL的总线路数；

通过所述处理芯片中的接收处理接口中添加的ES报文分支对接收到的所述ES报文进行分发。

2.根据权利要求1所述的方法，其特征在于，根据所述预定参数对所述交换芯片和所述处理芯片之间的所述接口的参数进行配置包括：

在所述接口的速率为第一阈值范围的情况下，所述预定参数仅包括：DSL的总线路数；和/或，

在所述接口的速率为第二阈值范围的情况下，所述预定参数还包括：所述处理芯片的承受能力。

3.根据权利要求1所述的方法，其特征在于，对所述交换芯片和所述处理芯片之间的所述接口的参数进行配置包括：

对所述交换芯片和所述处理芯片之间的接口的FIFO深度进行配置。

4.根据权利要求1或2所述的方法，其特征在于，在根据所述预定参数对所述交换芯片和所述处理芯片之间的所述接口的参数进行配置之后，所述方法还包括：

根据所述预定参数估算所述ES报文在预定时长内的最大突发量；

根据所述突发量对通过所述接口向所述处理芯片发送所述ES报文的限速值进行调整。

5.根据权利要求1所述的方法，其特征在于，用于处理所述ES报文的分支的优先级为最高优先级。

6.根据权利要求1所述的方法，其特征在于，通过所述ES报文分支对接收到的所述ES报文进行分发包括：

对接收到的报文进行检验；

对检验结果为合法的报文进行该报文是否为所述ES报文的判断；

在判断结果为是情况下，通过所述ES报文分支对所述ES报文进行分发。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

对所述交换芯片与上联子卡连接的上联接口进行网络包限速。

8.根据权利要求7所述的方法，其特征在于，对所述交换芯片与所述上联子卡连接的所述上联接口进行所述网络包限速包括：

对来自所述上联接口的所述网络包进行分类；

根据所述网络包的分类对所述网络包进行限速。

9.一种数据处理装置，其特征在于，包括：

配置模块，用于根据预定参数对交换芯片和处理芯片之间的接口的参数进行配置，使得所有来自所述交换芯片的ES报文均能够在预定时间内到达所述处理芯片；其中，所述预定参数至少包括：DSL的总线路数；

分发模块，用于通过所述处理芯片中的接收处理接口中添加的ES报文分支对接收到的所述ES报文进行分发。

10.根据权利要求9所述的装置，其特征在于，所述配置模块还用于在所述接口的速率为第一阈值范围的情况下，所述预定参数仅包括：DSL的总线路数；和/或，在所述接口的速率为第二阈值范围的情况下，所述预定参数还包括：所述CPU的承受能力。

11.根据权利要求9所述的装置，其特征在于，所述配置模块还用于对所述交换芯片和所述处理芯片之间的接口的FIFO深度进行配置。

12.根据权利要求9或10所述的装置，其特征在于，所述装置还包括：

调整模块，用于根据所述预定参数估算所述ES报文在预定时长内的最大突发量，并根据所述突发量对通过所述接口向所述处理芯片发送所述ES报文的限速值进行调整。

13.根据权利要求9所述的装置，其特征在于，所述用于处理所述ES报文的分支的优先级为最高优先级。

14.根据权利要求9所述的装置，其特征在于，所述分发模块包括：

检验单元，用于对接收到的报文进行检验；

判断单元，用于对检验结果为合法的报文进行该报文是否为所述ES报文的判断；

分发单元，用于在判断结果为是情况下，通过所述用于处理所述ES报文的分支对所述ES报文进行分发。

15.根据权利要求9至14中任一项所述的装置，其特征在于，所述装置还包括：

限速模块，用于对所述交换芯片与上联子卡连接的上联接口进行网络包限速。

16.根据权利要求15所述的装置，其特征在于，所述限速模块包括：

分类单元，用于对来自所述上联接口的所述网络包进行分类；

限速单元，用于根据所述网络包的分类对所述网络包进行限速。