CN105119769B

CN105119769B - 一种对周期性数据上报进行时间散列的系统

Info

Publication number: CN105119769B
Application number: CN201510379074.5A
Authority: CN
Inventors: 黄锦添; 田丰; 赵鑫
Original assignee: BEIJING MEITAINUO COMMUNICATION TECHNOLOGY Co Ltd
Current assignee: BEIJING MEITAINUO COMMUNICATION TECHNOLOGY Co Ltd
Priority date: 2015-07-01
Filing date: 2015-07-01
Publication date: 2018-04-17
Anticipated expiration: 2035-07-01
Also published as: CN105119769A

Abstract

本发明提供了一种对周期性数据上报进行时间散列的系统，所述系统包含：复数个采集单元和服务单元；所述采集单元发起注册请求；所述服务单元根据所述注册请求与所述采集单元建立连接；所述服务单元将上报周期划分为复数个所述时间片段，获取各时间片段的负载状态，将负荷最小的时间片段的配置参数发送至所述采集单元；所述采集单元根据所述配置参数计算获得上报时间。本发明通过时间散列的方式，将高度集中的并发业务平均分布在一段时间内，降低周期性上报数据对网络带宽、I/O带宽、I/O读写等待时间、内存、计算能力等系统资源的要求。

Description

一种对周期性数据上报进行时间散列的系统

技术领域

本发明涉及大规模数据采集处理领域，尤指一种对周期性数据上报进行时间散列的系统。

背景技术

随着信息技术的飞速发展，大数据时代的到来，对数据传输效率及处理能力的需求不断增长。尤其是对于海量数据终端，周期性进行数据上报时，某一时点对网络、I/O、内存、计算能力等施加了巨大的压力，而此种业务场景在物联网领域中应用尤为常见。物联网通过各种传感器技术、各种通信手段，将任何物体与互联网相连接，从而实现了远程监视、自动报警、控制、诊断和维护，帮助人们实现管理、控制与运营，随着各行各业应用的发展，每秒钟物联网上都会产生海量的数据。因此会涉及大量数据周期性上报问题，有鉴于此研究如何降低海量数据周期性上报对网络、I/O、内存、计算能力的要求，具有重要的意义。

现有技术，由采集单元采集数据，定期向服务单元上报数据，即周期性数据上报。采集单元向服务单元发起注册，注册成功后，服务单元将此采集单元上报数据的周期p发送采集单元，采集单元计算上报时间。假定上报当日零时时间戳为T₀，当前上报批次为n，则：

T_n＝T₀+p×n，其中，

采集单元在T_n时上报数据。

如若采用现有的上述技术方案，那么假定一个数据传输系统中有2000个数据采集单元，每个采集单元有8KB的上报数据，则数据上报点对网络带宽的要求如下：

瞬时流量：T＝8×2000＝16000KB≈16MB

带宽要求：W≈T×10＝160Mbps

在实际应用中，海量数据终端的采集单元可能远高于2000个，随着采集单元数量的增加，带宽要求呈线性方式增长。由此可见，采用现有的技术方法周期性上报数据，瞬时并发的数据流带来传输的高峰，对网络带宽、I/O带宽、I/O读写等待时间、内存、计算能力等系统资源有很高的要求，带来运营成本的巨大压力。

发明内容

本发明目的在于提供一种对周期性数据上报进行时间散列的系统，用以克服海量数据，周期性上报造成的网络、I/O、内存、计算能力压力过大的问题。

该对周期性数据上报进行时间散列的系统具体包含：复数个采集单元和服务单元；所述采集单元发起注册请求；所述服务单元根据所述注册请求与所述采集单元建立连接；所述服务单元将上报周期划分为复数个所述时间片段，获取各时间片段的负载状态，将负荷最小的时间片段的配置参数发送至所述采集单元；所述采集单元根据所述配置参数计算获得上报时间。

在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述服务单元根据采集单元的注册请求获得所述采集单元的标识信息，根据所述标识信息与所述采集单元建立连接并反馈注册结果。

在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述标识信息为所述采集单元的序列号SN。

在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：当所述服务单元将上报周期划分为复数个所述时间片段后，对每一时间片段赋予引用计数；调节所述引用计数后分配至所述采集单元，通过所述引用计数判定所述时间片段负荷状态。

在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述服务单元增加所述引用计数后，将所述引用计数对应的时间片段分配至所述采集单元；所述服务单元查询到所述采集单元离线后，减少所述引用计数。

在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：根据以下散列参数计算公式获得散列参数：

上述公式中Hash_SN为散列参数，l为序列号SN的长度，j为序列号遍历索引，0≤j<l。

在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：根据以下计算公式获得所述上报时间：

上述公式中T₀为上报当日零时时间戳；n为当前上报批次；p为上报周期；t为时间片段的时长；i为时间片段编号，其中，p/t向下取整且t＜＜p；x为配置项，x是二次散列参数，将服务单元分配的、处于同一时间片段内的采集单元在该时段再次进行散列分布，使负载更为平均。

在上述对周期性数据上报进行时间散列的系统中，一优选实施例还包含：所述配置参数包含：上报周期，时间片段的时长和时间片段编号。

本发明的有益技术效果在于：本发明通过时间散列的方式，将高度集中的并发业务平均分布在一段时间内，降低周期性上报数据对网络带宽、I/O带宽、I/O读写等待时间、内存、计算能力等系统资源的要求。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明所提供的对周期性数据上报进行时间散列的系统结构示意图；

图2为本发明所提供的对周期性数据上报进行时间散列的系统操作流程示意图；

图3为本发明所提供的上报周期划分时间片段示意图；

图4为本发明所提供对周期性数据上报进行时间散列的系统一实施例的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明所提供的对周期性数据上报进行时间散列的系统由数据采集单元(CU)、服务单元(SU)以及网络三部分组成，具体请参考图1所示，通过采集单元与服务单元之间的网络通信，实现对周期性上报数据的时间分流，以达到错开数据传输高峰期的方法。

再请参考图2所示，图2为对周期性数据上报进行时间散列的系统操作流程示意图，所述系统具体包含：复数个采集单元和服务单元；S101所述采集单元发起注册请求；S102所述服务单元根据所述注册请求与所述采集单元建立连接；S103所述服务单元将上报周期划分为复数个所述时间片段，获取各时间片段的负载状态，将负荷最小的时间片段的配置参数发送至所述采集单元；S104所述采集单元根据所述配置参数计算获得上报时间。通过所述上报时间，采集单元可以确定其上报数据的时间点，以此，通过服务单元的合理划分采集单元上报的时间，使不同采集单元可以分批次上报数据，减少多个采集单元同一时刻上报数据引起的设备压力，极大的降低了周期性上报数据对网络带宽、I/O带宽、I/O读写等待时间、内存、计算能力等系统资源的要求。

在本发明一实施例中，上述步骤S102还包含，所述服务单元根据采集单元的注册请求获得所述采集单元的标识信息，根据所述标识信息与所述采集单元建立连接并反馈注册结果。其中，所述标识信息为所述采集单元的序列号SN等唯一标识，所述服务单元根据该唯一标识确定所述采集单元的信息及位置等；当然，本领域相关技术人员应知，所述序列号仅为本发明所提供的一较佳实施例，本发明并不以此为限。

请参考图3所示，在实际工作中，当采集单元数据上报周期设为p，服务单元则将所述上报周期p划分为若干连续的、相同的时间片段，每个时间片段的时长为t，并为每个时间片段编号为i，由服务单元进行动态管理和检测。当所述对周期性数据上报进行时间散列的系统启动时，各时间片段的负载可计数为0，该引用计数为服务单元设置；采集单元向服务单元发起注册后，服务单元检测当前时间片段的负载情况P₁～P_N，选出负载最小的单元min(P₁，P₂，P₃…，P_N)，例如当前P₁＝1，P₂＝3，P₃＝5，那么该情况下选择P₁这一个引用计数最小的一个单元，服务单元将采集单元上传的时间点被划入该时段P₁，同时该片段计数加1，变成P₁＝2，当采集单元离线时，对应时段的引用计数减1，变回P₁＝1。以此，服务单元通过即时检测当前时间片段的引用计数，合理且快捷的获得各时间片段的负荷状态，将采集单元上报数据的时间准确的分配至负荷较小的时间片段中，使采集单元获得其对应的上报数据的时间段，以此，防止大量采集单元集中于同一时段上传数据的风险。同时，值得说明的是，当采集单元获得其上报时间后，并不用立即上报数据，其在该时段内的最终上报时点，可由采集单元具体分析后自行决定。

上述引用计数调整方法具体请参考图4所示，所述服务单元增加所述引用计数后，将所述引用计数对应的时间片段分配至所述采集单元；所述服务单元查询到所述采集单元离线后，减少所述引用计数。具体如图4所示，首先采集单元发出注册申请，服务单元接收到所述注册申请后，审核所述注册申请是否合规；

如审核不通过，则断开连接，所述采集单元继续发起注册申请；

如审核通过，则所述服务单元与所述采集单元建立连接，此时，服务单元扫描当前划分好的时间片段，根据每一时间片段的引用计数值大小判断对应时间片段的负荷状态，当查询到最小负荷状态的时间片段后，即在该时间片段的引用计数上加值后(如加1)，将所述时间片段的配置参数发送至所述采集单元，其中所述配置参数至少包含：上报周期，所述时间片段的时长和所述时间片段编号；

每一时间片段并不一定只匹配唯一的采集单元，因此，为避免多个采集单元在同一时间片段中上传数据，造成服务器压力等问题；所述采集单元在接收到所述配置参数后，会进行上报时间点计算，根据获得的所述时间片段的配置参数与散列参数计算自身的上报时间点T_n，以此更进一步防止了海量数据上传可能造成的拥堵压力；

当所述采集单元通过计算获得上传时间点T_n并在该时刻上传数据后，依然与所述服务单元保持连接，等待下一批次上报时间T_n+1，并在该时刻上传，以此循环。

当所述服务单元检测到某一采集单元离线后，则调节所述采集单元对应的时间片段的引用计数(如减去1)。离线后的采集单元，需依据图2流程所示，重新注册获取新的时间片段，服务单元通过引用计数的增减，动态维护时间片段负载。

在上述对周期性数据上报进行时间散列的系统中，为了使时间负载更为均衡，更加平均的分配时段t，采集单元根据散列参数(hash)自行决定具体的上报时间T_n。其中，Hash_SN的参考算法如下(假定SN长度为l)：

假定上报当日零时时间戳为T₀，当前上报批次为n(n≧0)，则：

上述公式中Hash_SN为散列参数，l为序列号SN的长度，j为序列号遍历索引，0≤j<l。T₀为上报当日零时时间戳；n为当前上报批次；p为上报周期；t为时间片段的时长；i为时间片段编号，其中，p/t向下取整且t＜＜p；；x为配置项，x是二次散列参数，将服务单元分配的、处于同一时间片段内的采集单元在该时段再次进行散列分布，使负载更为平均。

采集单元在T_n时点上报数据，具体方法的步骤流程如下：

1、采集单元与服务单元之间需要通过注册流程才能进行业务通信。首先采集单元发起注册请求，服务单元根据采集单元提供的序列号SN识别采集单元的身份，通过身份认证以后，服务单元将注册成功的消息告知采集单元，双方进入下一步通讯；

2、服务单元查找当前每个时间片段的引用计数，找出最小的负载时间片段i，并将配置参数p,t,i(即上报周期，对应时间片段的时长以及时间片段编号)发送给采集单元。同时将i时段引用计数加1；

3、T₀+p×n时，采集单元准备上报的数据，并根据服务单元发送的配置参数及散列参数计算具体的上报时间T_n，T_n时该采集单元上报数据；

4、采集单元上报数据后，继续等待下一批次上报时间，在下次上报时间到来时再次进行上述步骤3，获得上报时间点后进行数据上报；若采集单元意外离线则需要重新注册，与所述服务单元重新建立连接后获取新的时间片段，同时服务单元会维护采集单元离线前对应的时间片段的负载，即将所述时间片段的引用计数减1。

当服务单元检测到采集单元离线时，该采集单元对应时段的引用计数减1，释放相应资源供其它采集单元使用。通过服务单元动态管理各个时段的负载，实现各个时段负载的均衡。

将本发明所提供的对周期性数据上报进行时间散列的系统运用实际工作中，具有较好的使用效果，具体原理如下：

假定系统中有2000个数据采集单元，每个采集单元有8KB的上报数据，上报周期为180s，划分为10个时间片段，则每一时段18s中，约有200个采集单元需要上报数据。假设x＝10，则同一时间点并发的采集单元有20个，根据计算得出网络带宽为：

按照30％的冗余计算，网络带宽的要求约为1Mbps，与现有技术中同等条件下计算的160Mbps相比，极大地降低了对网络的要求。

本发明通过将传输周期划分若干时段，并由服务单元动态管理时间片段，安排采集单元在负载最小的时间片段上传数据，加上时间散列机制，最大限度平均分布各个采集单元上传数据的时间，错开数据上报的高峰期，从而达到降低网络带宽、I/O带宽、I/O读写等待时间、内存、计算能力等系统资源的要求，降低系统运营成本。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种对周期性数据上报进行时间散列的系统，其特征在于，所述系统包含：复数个采集单元和服务单元；

所述采集单元发起注册请求；

所述服务单元根据所述注册请求与所述采集单元建立连接；

所述服务单元将上报周期划分为复数个时间片段，获取各时间片段的负载状态，将负荷最小的时间片段的配置参数发送至所述采集单元；

所述采集单元根据所述配置参数计算获得上报时间。

2.根据权利要求1所述对周期性数据上报进行时间散列的系统，其特征在于，所述服务单元根据所述注册请求与所述采集单元建立连接包含：

所述服务单元根据采集单元的注册请求获得所述采集单元的标识信息，根据所述标识信息与所述采集单元建立连接并反馈注册结果。

3.根据权利要求2所述对周期性数据上报进行时间散列的系统，其特征在于，所述标识信息为所述采集单元的序列号SN。

4.根据权利要求1所述对周期性数据上报进行时间散列的系统，其特征在于，所述获取当前各时间片段的负载状态包含：

当所述服务单元将上报周期划分为复数个所述时间片段后，对每一时间片段赋予引用计数；调节所述引用计数后分配至所述采集单元，通过所述引用计数判定所述时间片段负荷状态。

5.根据权利要求4所述对周期性数据上报进行时间散列的系统，其特征在于，所述调节所述引用计数后分配至所述采集单元包含：所述服务单元增加所述引用计数后，将所述引用计数对应的时间片段分配至所述采集单元；所述服务单元查询到所述采集单元离线后，减少所述引用计数。

6.根据权利要求1所述对周期性数据上报进行时间散列的系统，其特征在于，所述采集单元根据所述配置参数计算获得上报时间还包含根据以下散列参数计算公式获得散列参数：

<mrow> <msub> <mi>Hash</mi> <mrow> <mi>S</mi> <mi>N</mi> </mrow> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>SN</mi> <mi>j</mi> </msub> <mo>&times;</mo> <msup> <mn>31</mn> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> <mo>-</mo> <mi>j</mi> </mrow> </msup> </mrow>

7.根据权利要求6所述对周期性数据上报进行时间散列的系统，其特征在于，所述采集单元根据所述配置参数获得上报时间包含根据以下计算公式获得所述上报时间：

<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>T</mi> <mi>n</mi> </msub> <mo>=</mo> <msub> <mi>T</mi> <mn>0</mn> </msub> <mo>+</mo> <mi>p</mi> <mo>&times;</mo> <mi>n</mi> <mo>+</mo> <mi>t</mi> <mo>&times;</mo> <mi>i</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>Hash</mi> <mrow> <mi>S</mi> <mi>N</mi> </mrow> </msub> <mi>%</mi> <mi>x</mi> </mrow> <mi>x</mi> </mfrac> <mo>&times;</mo> <mi>t</mi> </mrow> </mtd> <mtd> <mrow> <mo>(</mo> <mi>x</mi> <mo>></mo> <mn>0</mn> <mo>)</mo> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow>

上述公式中T₀为上报当日零时时间戳；n为当前上报批次；p为上报周期；t为时间片段的时长；i为时间片段编号，其中，p/t向下取整且t<<p；x为配置项，x是二次散列参数，将服务单元分配的、处于同一时间片段内的采集单元在该时段再次进行散列分布，使负载更为平均。

8.根据权利要求1所述对周期性数据上报进行时间散列的系统，其特征在于，所述配置参数包含：上报周期，时间片段的时长和时间片段编号。