CN109347760B - 一种数据发送方法及装置 - Google Patents

Abstract

本发明提供一种数据发送方法，所述方法包括：当业务板发送的数据进入板间通道的发包流程时，判断所述数据的大小是否达到预设数值；若所述数据的大小大于等于所述预设数值时，将所述数据发送到主控板；若所述数据的大小小于所述预设数值时，将所述数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据；将所述汇聚块按顺序放入汇聚块队列，当所述汇聚块队列满足预设条件时，将当前所述汇聚块队列发送到主控板。应用本发明实施例，将小的数据包整合为汇聚块队列后发送给主控板，可以有效利用有限的发包队列资源，降低板间通道发生阻塞的概率，最大限度保障设备业务通畅。

Description

一种数据发送方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种数据发送方法及装置。

背景技术

随着网络的发展，具有高吞吐量和高性能的框式设备在网络中的应用越来越广泛。框式设备包括主控板和业务板，其中，主控板负责数据的分析与计算，并向业务板下发各种数据(比如表项、审计策略)，业务板负责业务处理和流量转发，并向主控板提交日志信息和会话信息。

目前发送数据的方式为当业务板上某模块进行业务运转时，生成的信息需要发送给主控板，比如业务日志，首先会进入板间通道发包流程，通道将该数据放入发包队列中，如果入队成功，则等待发包线程将队列中的数据发送到主控，发送成功则结束，发送失败则进入失败处理流程；如果发包队列已满，则数据放入失败，此时也会进入失败处理流程，系统会统计单位时间内通道失败次数，如果达到系统预置的阈值，则系统认为板间通道出现了严重的故障，业务板会进行复位操作，此时业务板重启会造成用户业务流量中断。

由于发包队列是基于数据包数量的，而业务板产生的数据很多时候都是小包，当流量产生了大量的业务日志时，很容易造成发包队列占满，通道阻塞，使得业务日志等需要发送到主控板的数据发送失败，进而很容易触发业务板复位操作，造成用户流量中断，设备的可用性不高。

发明内容

有鉴于此，本发明提供一种数据发送方法及装置，以解决现有的数据发送方式会容易将发包队列占满，通道阻塞，使得业务日志等需要发送到主控板的数据发送失败。

根据本发明实施例的第一方面，提供一种数据发送方法，所述方法包括：

当业务板发送的数据进入板间通道的发包流程时，判断所述数据的大小是否达到预设数值；

若所述数据的大小大于等于所述预设数值时，将所述数据发送到主控板；

若所述数据的大小小于所述预设数值时，将所述数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据；

将所述汇聚块按顺序放入汇聚块队列，当所述汇聚块队列满足预设条件时，将当前所述汇聚块队列发送到主控板。

根据本发明实施例的第二方面，提供一种数据发送装置，所述装置包括判断模块、第一发送模块、数据转化模块、汇聚块队列模块和第二发送模块，其中：

所述判断模块，用于当业务板发送的数据进入板间通道的发包流程时，判断所述数据的大小是否达到预设数值；

所述第一发送模块，用于若所述数据的大小大于等于所述预设数值时，将所述数据发送到主控板；

所述数据转化模块，用于若所述数据的大小小于所述预设数值时，将所述数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据；

所述汇聚块队列模块，用于将所述汇聚块按顺序放入汇聚块队列；

所述第二发送模块，用于当所述汇聚块队列满足预设条件时，将当前所述汇聚块队列发送到主控板。

由于发包队列是基于数据包数量的，而业务板产生的数据很多时候都是比较小的数据包，应用本发明实施例，将小的数据包整合为汇聚块队列后发送给主控板，可以有效利用有限的发包队列资源，降低板间通道发生阻塞的概率，最大限度保障设备业务通畅；同时各个业务板下的模块对该优化无感知，无需增加模块代码，整个过程给各个业务板下的模块不会带来维护难度和成本，有利于整个系统稳定性。

附图说明

图1为本发明根据一示例性实施例示出的一种数据发送方法的实施例流程图；

图2为本发明汇聚块序列和汇聚块的关系示意图；

图3为本发明根据一示例性实施例示出的一种框式设备的硬件结构图；

图4为本发明根据一示例性实施例示出的一种数据备份装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

由于发包队列是基于数据包数量的，而业务板产生的数据很多时候都是小包数据，比如流量产生了大量的业务日志，此时的业务日志大多为小包数据，容易造成发包队列占满，板间通道阻塞，使得业务日志等需要发送到主控板的数据发送失败，进而触发业务板复位操作，造成用户流量中断，设备的可用性不高。

为了解决因大量的小包数据占用了太多的发包队列的数据包，而造成数据发送失败的问题，本发明提供了一种数据发送方法，如图1所示，所述方法具体包括：

S101、当业务板发送的数据进入板间通道的发包流程时，判断数据的大小是否达到预设数值；

S102、若数据的大小大于等于所述预设数值时，将数据发送到主控板；

S103、若数据的大小小于预设数值时，将数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据；

S104、将汇聚块按顺序放入汇聚块队列，当汇聚块队列满足预设条件时，将当前汇聚块队列发送到主控板。

当业务板发送的数据进入板间通道的发包流程时，首先判断该数据的大小是否达到了预设数值，预设数值可以是板间通道每个报文所能发送的最大数值，该数据的大小如果大于等于预设数值，则直接将该数据入队到发包队列等待发送，可以通过发包线程将该数据发送到主控板。该数据的大小如果小于预设数值，则认为该数据为小包数据，将该数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据，将多个小包数据形成的多个汇聚块按照顺序放入一个汇聚块队列，如图2所示，一个汇聚块队列可放入N个汇聚块，将第一个汇聚块作为汇聚块首块，其中，每个汇聚块都包含汇聚块头部和汇聚块数据，汇聚块序列中的汇聚块数量取决于将汇聚块201、汇聚块202……汇聚块20n的汇聚块头部和汇聚块数据所有数据相加起来的总和是否超出板间通道的每个报文发送数据的最大值，当该汇聚块队列满足预设条件时，则将该汇聚块队列发送到主控板。

汇聚块头部包括该汇聚块的模块ID、汇聚块ID、数据大小和校验码等信息。其中，模块ID用来标识业务模块，主控板接收到数据包时根据此标识将汇聚块数据分配给不同的业务模块，汇聚块ID用来标志当前汇聚块，数据大小是指当前汇聚块的数据长度，校验码用于校验通道传输的完整性、准确性，主控板接收到数据包时，可使用与业务板约定的方式进行解码。

由上述实施例可见，将达不到预设数值的小包数据转化为汇聚块，再将多个汇聚块放入一个汇聚块队列中，由每个小包数据都要占用一个发包队列中的数据包，转化为一个汇聚块队列占用一个发包队列的数据包，充分利用有限的发包队列资源，最大程度降低了发包队列入队失败的可能性。

汇聚块头部包含模块ID，将多个汇聚块放入一个汇聚块队列时，无需给不同模块分配不同的汇聚节点，节约系统资源；同时汇聚块头部包含校验码，可以保障数据传输完整性、准确性。

将多个小包数据形成的多个汇聚块按照顺序整合在一个汇聚块队列，可以按照转化为汇聚块的时间顺序，也可以按照汇聚块的数据大小来限定放入汇聚块队列的次序，在此不对汇聚块放入汇聚块队列的顺序作限定。

作为例子，S104中的预设条件可以是所述汇聚块队列的数据大小与待放入的所述汇聚块的数据大小之和大于预设数值，当汇聚块队列满足此条件时，将成功入队到发包队列的汇聚块队列通过发包线程发送给主控板。未成功入队的数据和汇聚块队列将进入数据发送失败的处理流程中，在一定的时间段内，统计未成功入队的数据和汇聚块队列次数，当未成功入队的数据和汇聚块队列次数超过某一预设值，系统将业务板进行复位操作。

在一实施例中，参见图2所示，将小包数据转化为汇聚块后，将多个汇聚块按照顺序放入一个汇聚块队列时，首先需要判断汇聚节点是否存在，若不存在汇聚节点，说明当前汇聚块队列中没有汇聚块，则新建汇聚节点，将当前汇聚块标记为汇聚块首块。

若存在汇聚节点，则判断汇聚节点的汇聚数据是否为空，也就是判断当前汇聚块队列中是否有汇聚块，若当前汇聚节点的数据为空，即当前汇聚块队列中没有汇聚块，则将当前汇聚块标记为汇聚块首块。若当前汇聚节点的数据不为空，即当前汇聚块队列中有汇聚块，则当前汇聚块不是汇聚块首块，计算当前汇聚块与已在汇聚块队列中的汇聚块的总长度或者数据的总大小，判断将当前汇聚块放入汇聚节点所在的汇聚块队列时数据大小的总和是否超出汇聚块队列能够存放数据的最大值，若当前汇聚块放入汇聚节点所在的汇聚块队列时数据大小的总和超出汇聚块队列能够存放数据的最大值，则将该汇聚块队列放入发包队列，并判断是否入队成功，若入队成功，则通过发包线程将汇聚块队列发送到主控板。若当前汇聚块放入汇聚节点所在的汇聚块队列时数据大小的总和没有超出汇聚块队列能够存放数据的最大值，将当前汇聚块放入该汇聚块队列。并追加新的汇聚块直到新增汇聚块和汇聚块队列数据大小的总和超出板间通道的每个报文发送数据的最大值，如果在等待新的汇聚块加入汇聚块队列时，定时器判断出汇聚块队列的等待时间超过预设时间阈值时，则将汇聚节点所在的汇聚块队列放入发包队列等待发送，判断该汇聚块队列是否入队成功，若入队成功，通过发包线程发送给主控板。

为了防止等待下一个汇聚块的时间过长，使得当前已经进入汇聚块队列的汇聚块无法进入发包队列，当汇聚块队列中新建汇聚节点并进入一个汇聚块时，将此汇聚块标记为汇聚块首块，将汇聚块信息保存在汇聚块头部并创建入队定时器，预设时间阈值，当汇聚块队列的等待时间未超过预设时间阈值时，则继续等待其他的汇聚块入队；当汇聚块队列的等待时间超过预设时间阈值时，则将汇聚节点所在的汇聚块队列放入发包队列，并判断是否入队成功，若入队成功，则通过发包线程将汇聚块队列发送到主控板。每生成一个汇聚块首块时，创建入队定时器，可以保证每一个汇聚块都能进入发包队列，不会出现长时间等不到下一个汇聚块进入汇聚块序列，而使得已经进入汇聚块序列的汇聚块一直处于等待状态而无法进入发包队列。

在一个实施例中，为了使得汇聚块队列在不丢包的前提下可以尽可能的进入更多的汇聚块，可以在某一个汇聚块进入一个汇聚块队列前，该汇聚块即为待进入汇聚块队列的汇聚块，判断汇聚块队列中已有的汇聚块数据大小和待进入汇聚块队列的汇聚块数据大小的总和是否超出板间通道的每个报文发送数据的最大值。若汇聚块队列中已有的汇聚块数据大小和待进入汇聚块队列的汇聚块数据大小的总和超出所述板间通道的每个报文发送数据的最大值，则将汇聚块队列中已有的汇聚块发送到所述主控板。

与前述数据发送方法的实施例相对应，本发明还提供了数据发送装置的实施例。

本发明提供的数据发送方法可用于分布式设备上，分布式设备是一种为了打破单台计算机设备(集中式设备)能达到的计算能力上限，将多台计算机通过一定方式(物理地或逻辑地)组合成一台设备；将一个具有巨大计算量的问题分解成多个子问题，分别交给该设备的多个成员处理，全部计算完后汇合成一个总结果返回给问题提交者。这种设备就称为分布式设备，这种计算方式称为分布式计算。分布式设备的计算能力等于所有成员设备的计算能力的总和(除了成员设备内部交互而消耗的少量性能)，因而性能较好。

本发明的数据发送装置的实施例可以应用在框式设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明数据发送装置所在设备的一种硬件结构图，除了图3所示的处理器401、内存403、网络接口402、以及非易失性存储器404之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

参见图4所示，该实施例应用于框式设备上，框式设备包括主控板和至少一个业务板，主控板通过板间通道发送配置、转发表项、审计策略的数据给业务板。所述装置包括判断模块410、数据转化模块420、汇聚块队列模块430、第一发送模块440和第二发送模块450。

其中，判断模块410，用于当业务板发送的数据进入板间通道的发包流程时，判断数据的大小是否达到预设数值；

第一发送模块440，用于若数据的大小大于等于所述预设数值时，将数据发送到主控板；

数据转化模块420，用于若数据的大小小于预设数值时，将数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据；

汇聚块队列模块430，用于将汇聚块按顺序放入汇聚块队列；

第二发送模块450，用于当汇聚块队列满足预设条件时，将当前汇聚块队列发送到主控板。

在一个可选的实现方式中，汇聚块队列模块430，用于将所述汇聚块按顺序放入汇聚块队列的过程，具体包括：

判断当前汇聚块队列是否存在汇聚节点，若不存在汇聚节点，则新建汇聚节点，将当前汇聚块标记为汇聚块首块；

若存在汇聚节点，则判断汇聚节点的汇聚数据是否为空；

若汇聚节点的汇聚数据为空，将当前汇聚块标记为汇聚块首块；

若汇聚节点的汇聚数据不为空，则判断将当前汇聚块放入汇聚节点所在的汇聚块队列时数据大小的总和是否超出汇聚块队列能够存放数据的最大值；

若将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和没有超出所述汇聚块队列能够存放数据的最大值，则将当前汇聚块放入所述汇聚块队列。

在另一个可选的实现方式中，数据发送装置中的预设条件为汇聚块队列的数据大小与待放入的汇聚块的数据大小之和大于预设数值。

在另一个可选的实现方式中，汇聚块队列模块430，用于将汇聚块按顺序放入汇聚块队列；第二发送模块450，用于当汇聚块队列满足预设条件时，将当前汇聚块队列发送到主控板，具体包括：

当汇聚块进入一个汇聚块队列前，判断汇聚块队列中已有的汇聚块数据大小和待进入的汇聚块数据大小的总和是否超出板间通道的每个报文发送数据的最大值；

若汇聚块队列中已有的汇聚块数据大小和待进入的汇聚块数据大小的总和超出板间通道的每个报文发送数据的最大值，则将汇聚块队列中已有的汇聚块发送到主控板。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

由上述实施例所述，当业务板发送的数据进入板间通道的发包流程时，判断数据的大小是否达到预设数值，若数据的大小大于等于预设数值时，将该数据发送到主控板，若该数据的大小小于预设数值时，将该数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据，将汇聚块按顺序放入汇聚块队列，当汇聚块队列满足预设条件时，将当前汇聚块队列发送到主控板。可以充分利用有限的发包队列资源，最大程度降低了发包队列入队失败的可能性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种数据发送方法，其特征在于，所述方法包括：

当业务板发送的数据进入板间通道的发包流程时，判断所述数据的大小是否达到预设数值；

若所述数据的大小大于等于所述预设数值时，将所述数据发送到主控板；

若所述数据的大小小于所述预设数值时，将所述数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据；

判断当前汇聚块队列是否存在汇聚节点，若不存在所述汇聚节点，则新建汇聚节点，将当前汇聚块标记为汇聚块首块；

若存在所述汇聚节点，则判断将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和是否超出所述汇聚块队列能够存放数据的最大值；

若将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和没有超出所述汇聚块队列能够存放数据的最大值，则将当前汇聚块放入所述汇聚块队列；当所述汇聚块队列满足预设条件时，将当前所述汇聚块队列发送到主控板。

2.根据权利要求1所述的方法，其特征在于，所述判断将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和是否超出所述汇聚块队列能够存放数据的最大值之前，所述方法还包括：

若存在所述汇聚节点，则判断所述汇聚节点的汇聚数据是否为空；

若所述汇聚节点的汇聚数据为空，将当前汇聚块标记为汇聚块首块；

若所述汇聚节点的汇聚数据不为空，则判断将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和是否超出所述汇聚块队列能够存放数据的最大值。

3.根据权利要求2所述的方法，其特征在于，所述判断当前所述汇聚块队列是否存在汇聚节点，若不存在所述汇聚节点，则新建汇聚节点，将当前汇聚块标记为汇聚块首块之后，所述方法还包括：

将汇聚块标记为汇聚块首块后，将汇聚块信息保存在汇聚块头部，并创建入队定时器，预设时间阈值；

当汇聚块队列的等待时间未超过预设时间阈值时，则继续等待其他的汇聚块入队；

当汇聚块队列的等待时间超过预设时间阈值时，则将所述汇聚节点所在的汇聚块队列发送到主控板。

4.根据权利要求1所述的方法，其特征在于，所述预设条件为所述汇聚块队列的数据大小与待放入的所述汇聚块的数据大小之和大于预设数值。

5.根据权利要求1所述的方法，其特征在于，将所述汇聚块按顺序放入汇聚块队列，当所述汇聚块队列满足预设条件时，将当前所述汇聚块队列发送到主控板，具体包括：

当所述汇聚块进入一个汇聚块队列前，判断所述汇聚块队列中已有的汇聚块数据大小和待进入的汇聚块数据大小的总和是否超出所述板间通道的每个报文发送数据的最大值；

若所述汇聚块队列中已有的汇聚块数据大小和待进入的汇聚块数据大小的总和超出所述板间通道的每个报文发送数据的最大值，则将所述汇聚块队列中已有的汇聚块发送到所述主控板。

6.一种数据发送装置，其特征在于，所述装置包括判断模块、第一发送模块、数据转化模块、汇聚块队列模块和第二发送模块，其中：

所述判断模块，用于当业务板发送的数据进入板间通道的发包流程时，判断所述数据的大小是否达到预设数值；

所述第一发送模块，用于若所述数据的大小大于等于所述预设数值时，将所述数据发送到主控板；

所述数据转化模块，用于若所述数据的大小小于所述预设数值时，将所述数据进行转化形成汇聚块，汇聚块包括汇聚块头部和汇聚块数据；

所述汇聚块队列模块，用于判断当前汇聚块队列是否存在汇聚节点，若不存在所述汇聚节点，则新建汇聚节点，将当前汇聚块标记为汇聚块首块；

若存在所述汇聚节点，则判断将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和是否超出所述汇聚块队列能够存放数据的最大值；

若将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和没有超出所述汇聚块队列能够存放数据的最大值，则将当前汇聚块放入所述汇聚块队列；

所述第二发送模块，用于当所述汇聚块队列满足预设条件时，将当前所述汇聚块队列发送到主控板。

7.根据权利要求6所述的装置，其特征在于，还包括：

若存在所述汇聚节点，则判断所述汇聚节点的汇聚数据是否为空；

若所述汇聚节点的汇聚数据为空，将当前汇聚块标记为汇聚块首块；

若所述汇聚节点的汇聚数据不为空，则判断将当前汇聚块放入所述汇聚节点所在的汇聚块队列时数据大小的总和是否超出所述汇聚块队列能够存放数据的最大值。

8.根据权利要求6所述的装置，其特征在于，所述预设条件为所述汇聚块队列的数据大小与待放入的所述汇聚块的数据大小之和大于预设数值。

9.根据权利要求6所述的装置，其特征在于，所述汇聚块队列模块，用于将所述汇聚块按顺序放入汇聚块队列；所述第二发送模块，用于当所述汇聚块队列满足预设条件时，将当前所述汇聚块队列发送到主控板，具体包括：

当所述汇聚块进入一个汇聚块队列前，判断所述汇聚块队列中已有的汇聚块数据大小和待进入的汇聚块数据大小的总和是否超出所述板间通道的每个报文发送数据的最大值；

若所述汇聚块队列中已有的汇聚块数据大小和待进入的汇聚块数据大小的总和超出所述板间通道的每个报文发送数据的最大值，则将所述汇聚块队列中已有的汇聚块发送到所述主控板。

10.根据权利要求6所述的装置，其特征在于，所述装置应用于框式设备上，所述框式设备包括主控板和至少一个业务板，所述主控板通过板间通道发送配置、转发表项、审计策略的数据给所述业务板。

Images