CN106790528A - 一种分布式网络的数据同步系统及方法 - Google Patents

Abstract

本发明提供了一种分布式网络的数据同步系统及方法，系统由M*N个采集节点以及1个数据汇聚同步模块组成，每M个采集节点通过以太网首尾连接形成一串，共N串采集节点连接至数据汇聚同步模块，采集节点和数据汇聚同步模块为FPGA芯片。本发明还提供了一种全规模M*N个采集节点的数据同步方法，方法分两级处理，采集节点在数据汇聚同步模块的时钟驱动下，将包含“时标”信息的数据发送至数据汇聚同步模块，数据汇聚同步模块依据“时标”信息将全规模的数据汇聚整理后，将同步化的数据输出。本发明的有益效果为：系统利用对480路声阵信号进行同步采样，经过网络实时传输，数据汇聚整理，从而实现所有通道的实时显示。

Description

一种分布式网络的数据同步系统及方法

技术领域

本发明涉及FPGA技术及分布式网络架构下的数据同步技术，尤其涉及一种分布式网络的数据同步系统及方法。

背景技术

在某些应用场合下，需要分布式网络架构下的各个节点同步工作；如何确保各个节点工作的同步性，直接影响系统的工作性能。

本发明利用以太网UDP用户数据报协议实现分布式网络架构下，各个节点的数据传输，在数据汇聚同步模块通过数据整理，消除网络传输时延带来时间差异，同步化所有节点的数据。具备：1.实时同步所有节点的数据；2.及时发现任一节点导致的系统失步问题，并自发纠正该问题。3.实时评估链路状态，报告中断或传输丢包问题。特别是系统的失步问题，如果发生将严重影响同步数据采集传输系统的工作性能，及时纠正该问题显得尤为重要。

发明内容

本发明的目的在于克服现有技术存在的不足，而提供一种分布式网络的数据同步系统及方法，具体来说是一种基于FPGA技术实现的分布式网络的数据同步方法。

本发明的目的是通过如下技术方案来完成的，这种分布式网络的数据同步系统，由M*N个采集节点以及1个数据汇聚同步模块组成，M个采集节点通过以太网首尾相连形成一串，首尾节点直接与数据汇聚同步模块连接，共N串将所有采集节点通过以太网连接至数据汇聚同步模块，其中M、N为正整数；所述的采集节点为FPGA芯片，用于将采集数据打包通过以太网发送至数据汇聚同步模块；所述的数据汇聚同步模块为FPGA芯片，用于将M*N个采集节点的数据汇聚、同步化处理，形成“时标”一致的全规模采集节点数据。

本发明所述的这种分布式网络的数据同步方法，该方法包括如下步骤：

(1)M*N个采集节点在数据汇聚同步模块下发的时钟驱动下，开始同步采集任务；

(2)每个采集节点用“时标”标识采样时刻，与采样数据一起打包通过以太网发送；

(3)每串物理链路中间位置的采集节点除了发送本采集节点的采样数据，同时转发相邻采集节点的数据；

(4)数据汇聚同步模块接收到了全规模M*N个采集节点的数据后，按照“时标”一致原则汇聚整理，输出同步化后的全规模数据。

本发明的有益效果为：系统利用对480路声阵信号进行同步采样，经过网络实时传输，数据汇聚整理，从而实现所有通道的实时显示；整理后的数据可以提供给声纳信号处理机分析，在海上工程实施、海底目标识别、水下航行器避障、导航等方面具有广泛的应用前景。

附图说明

图1为本发明基于UDP协议的同步数据采集传输系统的结构示意图；

图2为本发明采集节点的内部结构示意图；

图3为本发明数据汇聚整理单元的内部结构示意图；

图4为本发明基于UDP协议的同步数据采集传输系统的工作流程图。

具体实施方式

下面将结合附图对本发明做详细的介绍：

本发明提供了一种分布式网络的数据同步系统，该系统通过对480路声阵信号同步采集，经双环路网络化传输、数据汇聚整理后，输出单路“时标”同步的声阵信号；具备链路实时监测与评估机制。采用分布式结构，包含80个采集节点(每个6路声阵信号)，1个数据汇聚整理单元，及1台包含数据分析软件的工控机。

所述的采集节点每8个通过百兆以太网双环路连接成1串(共10串)，首尾节点直接与数据汇聚整理单元相连；通过UDP协议进行数据交互。

所述的数据汇聚整理单元与包含数据分析软件的工控机通过单路千兆以太网连接，通过UDP协议进行数据交互。

所述的80个采集节点采用并行处理技术，每个采集节点包含1片FPGA芯片、6路模数转换器及2路百兆网芯片。所述的FPGA芯片用于驱动模数转换器与百兆网芯片；所述模数转换器对声阵信号进行同步数据采集；所述的百兆网芯片将采集的数据通过UDP协议输出。

所述的数据汇聚整理单元包含1片FPGA芯片、20路百兆网芯片及1路千兆网芯片。所述的FPGA芯片包含大量的RAM单元用于并行缓存80个采集节点的声阵数据；所述的百兆网芯片通过UDP协议接收采集节点的声阵数据；所述的千兆网芯片用与将汇聚整理后的数据输出至工控机。

所述的基于UDP协议的同步数据采集传输系统的整体处理流程如下：

1)数据汇聚整理单元上电后，延时2秒钟等待80个采集节点准备完毕后，发送同步采样时钟；80个采集节点用该时钟驱动模数转换器开始同步工作；每次采样结束连同该采样时刻的“时标”一起打包成UDP协议数据包通过2路百兆网同时发送。

2)每个采集节点除了发送本板的采样数据，还需转发与它相邻采集节点的采样数据；双环路的架构保证每份采样数据通过两个方向传输至数据汇聚整理单元。

3)数据汇聚整理单元通过20个百兆网口并行接收480路采样数据，根据“时标”一致原则，将同一采样时刻的声阵数据打包通过1路千兆网发送至工控机。

4)数据汇聚整理单元实时监测链路工作状态，具备故障识别机制：1.及时发现链路连接中断问题；2.及时发现链路传输过程中的丢包问题；3.及时纠正同步采集传输系统的失步问题。

5)当发生失步问题，数据汇聚整理单元向所有采集节点发送“停止数据采集”命令；待采集节点复位“时标”后，发送“开始数据采集”命令，纠正同步采集传输系统的失步问题。

6)工控机将接收的480路采样数据实时显示输出；同时显示故障模式。

如图1所示，基于UDP协议的同步数据采集传输系统，每8个采集节点通过百兆网线连接成串，80个采集节点共形成10串传输链路；每串链路的首尾2个采集节点直接连接数据汇聚整理单元；数据汇聚整理单元通过千兆网线与工控机相连，工控机用于实时显示整理后的声阵数据及链路监测状态。

各个采集节点之间、采集节点与数据汇聚整理单元及数据汇聚整理单元与工控机之间均采用UDP协议进行数据交互。

如图2所示，采集节点FPGA的功能模块包括：模数转换器驱动模块、模数转换器数据接收模块、百兆以太网物理层芯片驱动模块、采样信号打包发送模块、以太网控制命令接收响应模块。

模数转换器驱动模块采用SPI接口与模数转换器相连，设置模数转换器的工作模式，在同步时钟驱动下，控制模数转换器按节拍实时采样声阵信号。

模数转换器数据接收模块采用SPI接口与模数转换器相连，实时接收量化后数字信号，并按节拍标识“时标”信息，缓存供以太网输出。

百兆以太网物理层芯片驱动模块通过数据及控制总线与百兆网物理层芯片相连，用于初始化物理层芯片及UDP协议进行数据交互。

采样信号打包发送模块将模数转换器后数据，打包成以太网UDP协议通过百兆网物理层芯片发送。

以太网控制命令接收响应模块用于接收“停止数据采集”和“开始数据采集”命令，实现对系统失步问题的纠正。

如图3所示，数据汇聚整理单元包含20路百兆网物理层芯片、1路千兆网物理层芯片、1片FPGA芯片。FPGA芯片内部包含大量RAM单元用于并行缓存20路百兆网物理层芯片的声阵数据，可以选择Xilinx公司的Virtex-5系列，集成千兆以太网MAC控制器，与千兆以太网物理层芯片(Marvell公司的88E1111)实现千兆以太网接口。FPGA的功能模块包括：声阵数据汇聚整理模块、链路状态判别模块、链路丢包判别模块、系统失步判别纠正模块。

声阵数据汇聚整理模块利用FPGA芯片内部包含大量RAM单元缓存20路百兆网物理层芯片的声阵数据，按照“时标”一致原则，将“时标”相同的通道数据一起打包经千兆以太网接口发送至工控机。

链路状态判别模块通过读取网络物理层芯片内部寄存器识别当前链路连接状态，并经千兆网接口上报至工控机。

链路丢包判别模块实时比较任意一个采集节点相邻两个数据包的“时标”信息，对于不符合累加规则的数据包，判别为丢包，并经千兆网接口上报至工控机。

系统失步判别纠正模块实时比较所有采集节点数据包的“时标”信息，据网络传输时延估算，对于本系统任意两包数据的“时标”不应大于1，若持续出现大于1的情况(区别与丢包问题)，则判别系统失步，向所有采集节点发送“停止数据采集”命令；待采集节点“时标”复位后，发送“开始数据采集”命令，纠正系统失步故障。

如图4所示，同步数据采集传输系统上电，数据汇聚整理单元延时2秒钟，待所有采集节点准备完毕后，发送同步时钟；系统开始同步采集传输并显示输出；当发生系统失步故障时，按前述方式纠正问题后，重新开始同步采集。

可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种分布式网络的数据同步系统，其特征在于：由M*N个采集节点以及1个数据汇聚同步模块组成，M个采集节点通过以太网首尾相连形成一串，首尾节点直接与数据汇聚同步模块连接，共N串将所有采集节点通过以太网连接至数据汇聚同步模块，其中M、N为正整数；所述的采集节点为FPGA芯片，用于将采集数据打包通过以太网发送至数据汇聚同步模块；所述的数据汇聚同步模块为FPGA芯片，用于将M*N个采集节点的数据汇聚、同步化处理，形成“时标”一致的全规模采集节点数据。

2.一种采用如权利要求1所述的分布式网络的数据同步系统的数据同步方法，其特征在于：该方法包括如下步骤：

(1)M*N个采集节点在数据汇聚同步模块下发的时钟驱动下，开始同步采集任务；

(2)每个采集节点用“时标”标识采样时刻，与采样数据一起打包通过以太网发送；

(3)每串物理链路中间位置的采集节点除了发送本采集节点的采样数据，同时转发相邻采集节点的数据；

(4)数据汇聚同步模块接收到了全规模M*N个采集节点的数据后，按照“时标”一致原则汇聚整理，输出同步化后的全规模数据。