CN112073506B - 基于IPv6与消息队列的复杂电磁数据采集方法 - Google Patents

Abstract

本发明公开了一种基于IPv6与消息队列的高时效性数据运转系统及方法，所述系统包括数据采集装置、消息队列集群，其中：所述数据采集装置采用嵌入式设备加载IPv6网卡，在设备上缓存采集数据，并打包数据后通过消息队列协议发送数据包至消息队列集群中；所述消息队列集群采用集群模式提供相关的发布/订阅功能，将数据以微秒级的速度转发给需要的实验平台。本发明采用嵌入式即插即用装置与消息队列相结合，以此达成实验过程对数据微秒级获取的实际要求。本发明解决了数据采集需求中μs级的数据转发问题，从而充分的保证了实验数据的时效性。

Description

基于IPv6与消息队列的复杂电磁数据采集方法

技术领域

本发明属于数据通信领域，涉及一种基于IPv6的复杂电磁下的超大并发数据量采集方法。

背景技术

当前，随着科学技术的发展，国内出现大量的复杂电磁装备，如国家批复、在建的重大科技基础设施。其中，空间等离子体环境模拟与研究系统是国家大科学装置“空间环境地面模拟设施”中的一个重要组成部分。该装置将对高超声速飞行器表面等离子体鞘套环境、极端空间等离子体环境和空间等离子体本身的物理过程等进行地面实验模拟，为深入系统研究等离子体鞘套与电磁波相互作用的物理机理、空间等离子体的爆发性过程和基本物理过程等问题提供适宜的地面实验研究平台。该装置包含大量的电磁设备，运行时的电磁环境复杂。在这种苛刻的环境下，传统数据采集传输装置的稳定运行受到极大挑战。因此，如何保障数据采集设备在复杂电磁环境下的数据传输稳定性及时效性，是此类实验平台正常运行的关键。

CN108183869A提出了一种基于分布式消息队列的电量数据采集系统，该采集系统通过若干个子站中的前置采集模块解决了传统采集系统的采集模式主要为局部、单一区域、集中式采集导致的处理能力有限，在数据时效性方面并没有做优化处理，导致存在准实时数据与历史数据库传输速率不匹配以及采集档案信息数据冗余等问题。纵然其使用了消息队列技术，但并未充分发挥该技术的时效性优势。

CN108512943A提出了一种基于消息队列的嵌入式设备数据保存系统及保存方法，该方法解决了数据采集嵌入式设备数据缓存处理功能的升级，保证其在网络链接断开后不丢失所获取的数据信息，但其未对嵌入式设备自身的故障与网络通讯协议作出进一步的预估，针对设备环境恶劣、工作安排紧密等特殊环境或特定任务，该装置并未对其提出的快速置换能力留出足够的空间，安全冗余较差。

实际上，网络通讯协议对于复杂电磁环境下的实验研究平台这种设备庞大、路由复杂的网络环境，IPv4的寻址能力与IPv6的寻址能力拥有极大的差距。传统采集系统的采集模式主要为了满足数据采集的全面、及时、准确和高效等需求，但对于数据采集如何提高时效性的研究却十分的缺少，从而如何解决微秒级(μs)的数据传输与数据处理成为了新的数据采集要求。

发明内容

为了解决实验环境复杂、实验任务重，对现有数据采集设备故障检查繁琐、替换复杂、数据传输慢、数据时效性差等问题，本发明提供了一种基于IPv6与消息队列的复杂电磁数据采集方法。该方法采用嵌入式即插即用装置与消息队列相结合，以此达成实验过程对数据微秒级获取的实际要求。

本发明的目的是通过以下技术方案实现的：

一种基于IPv6与消息队列的高时效性数据运转系统，包括数据采集装置、消息队列集群，其中：

所述数据采集装置采用嵌入式设备加载IPv6网卡，在设备上缓存采集数据，并打包数据后通过消息队列协议发送数据包至消息队列集群中；

所述消息队列集群采用集群模式提供相关的发布/订阅功能，将数据以微秒级的速度转发给需要的实验平台。

一种利用上述系统进行基于IPv6与消息队列的复杂电磁数据采集方法，包括如下步骤：

步骤一、通过数据采集装置将传感器运行数据收集至数据采集装置数据缓存区；

步骤二、待数据数量足够后，加装时间戳后进行打包；

步骤三、由数据采集装置发送模块将数据包发送至消息队列集群运行数据队列中；

步骤四、消息队列集群读取各服务平台的订阅请求，将各运行数据包转发至相应的服务订阅队列中等待各服务平台自行读取需要的数据。

相比于现有技术，本发明具有如下优点：

1、嵌入式即插即用装置会在主动采集传感器数据后通过IPv6协议向消息队列发送采集到的数据包，IPv6协议将原始的寻址过程极大的进行了简化，使在保证数据安全的前提下最大化缩短了网络通讯时的握手时间。其他需要此部分测点数据的实验平台则直接订阅此数据包，从而将数据传输过程中各种可能浪费的时间均规避掉了，让数据能够以最快的速度到达需要的地点。

2、本发明解决了数据采集需求中μs级的数据转发问题，从而充分的保证了实验数据的时效性。

附图说明

图1是本发明IPv6与消息队列整体设备与网络架构的原理框图。

图2是本发明对于如何使用IPv6技术达成网络层面的时效性的原理框图。

图3是本发明使用消息队列技术如何达成高可靠性、高并发性、高时效性的原理框图。

图4是集群模式部署方法。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

如图1所示，本发明提供了一种基于IPv6与消息队列的高时效性数据运转系统，所述系统包括数据采集装置、消息队列集群，其中：

数据采集装置：数据的生产者，用于采集、生成消息数据，并对消息数据进行上传。该装置需要支持即插即用与IPv6，并简化其与云平台互动的相关功能。

消息队列集群：数据的管理者，对数据采集装置在数据采集、清洗、同步等各处理过程的关联操作进行解耦，让实验信息实时展示平台(订阅各设备运行状态传感器信息)、数据分析平台(订阅所需的传感器数据进行计算分析)、数据备份平台(订阅所有传感器信息进行备份)、设备健康管理平台(订阅所有设备的易发生故障测点数据)等均可以在最快的时间内得到所需的数据，能够保证数据采集与转发的高可靠性、高并发性、高时效性。具体功能如下：负载均衡；跨地域多消息队列集群数据同步；数据断点续传；高并发量数据信息接收；跨地域扩展集群。

本发明中，消息队列集群以RabbitMQ作为部署方案，集群模式采用多活模式，如图4所示，具体部署方法如下：

1、构建多个队列组。根据实际需求为各队列组分配相应的服务器，并将RabbitMQ部署到该服务器上。队列组构建数量需要充分考虑实际数据传输距离以满足设备数据采集需求。

2、分别为各队列组架设负载均衡服务。即将各队列组中的服务器添加至负载均衡配置文件中，使各服务器的负载量保持一致。

3、设置各队列组的集群模式。分别为消息队列设置不同的集群模式，各队列组可以分别使用不同的集群结构。图3所示为2队列组架构。

4、为步骤1中的部分服务器安装Federation插件，实现数据同步功能，从而达到跨集群数据同步条件。在各队列组中，安装Federation插件的服务器数量为1～2个。Federation插件是一个不需要构建集群，而在协议之间传输消息的高性能插件，Federation插件可以在协议或者集群之间传输消息，连接的双方可以使用不同的用户账号和虚拟主机，双方也可以使用不同版本的RabbitMQ和Erlang。Federation插件使用AMQP协议通信，可以接受不连续的传输。Federation不是建立在集群上的，而是建立在单个节点上的，如图4中左侧的Rabbit节点可以与右侧的节点1、节点2、节点3中的任意一个利用Federation插件进行数据同步。

5、为需要进行同步的数据进行绑定配置。即设置各队列组之间的数据传输许可。以2队列组为例，分别确定队列组A与队列组B之间共享的数据内容(两个队列组之间的数据是否全部共享/部分共享)。

本发明使用IPv6技术达成网络层面的时效性的原理如图2所示，所有的线路均使用物理光纤电缆使数据采集与消息队列集群间拥有最快的寻址机制最佳的线路传输介质以此保证μs秒级的数据采集基础。众所周知，一个设备通过网络将数据传输给另一个设备需要在众多路由器与交换机等网络硬件中逐层逐个设备中不停的发送寻址请求，在此期间不经意的就会将大部分的时间消耗掉了，而IPv6则通过给每一个设备一个独立的IP地址帮助各设备之间将以往的逐层寻址过程简化为了固定的2台设备之间相连，可以简单理解为在2台设备间开通一个独立的通道帮助他们之间沟通，从而使用IPv6技术在同等带宽的基础上要比过往的网络协议技术上节省大量的寻址时间。

以下为具体实施工作内容：

(1)为设备传感器部分与数据采集装置部分加装抗电磁隔离层。

(2)将数据采集装置连接到传感器数据接口上。

(3)将网络传输线材安装在数据采集装置上。

(4)将网络传输线材连接至各设备组的路由器上。

(5)由各路由器帮助传感器数据采集装置设定独有的IPv6地址。

(6)根据实际的数据量与传感器数量架设对应的RabbitMQ消息队列集群。

(7)消息队列集群按照图3进行架构，以此达成超高的并发性与可靠性。使用此模式架构首先在服务请求激增时可以无限制的添加服务器，并在负载均衡的处理下将所有的请求有机的分布在所有的服务器上，使服务压力降低，而组间的数据互通可以保证一个组的数据丢失的情况下其他组的数据仍然存在，当故障解除后数据再次通过此机制同步至恢复的服务群组中。

(8)通过各设备组的路由器连接至消息队列集群服务器上。

(9)验证各传感器数据采集装置可以通过IPv6协议向消息队列集群服务器发送数据消息。

(10)设定各传感器的消息队列名称。

(11)设定各实验平台的订阅消息队列配置。

Claims (1)

1.一种基于IPv6与消息队列的复杂电磁数据采集方法，其特征在于所述方法利用基于IPv6与消息队列的高时效性数据运转系统进行电磁数据采集，所述系统包括数据采集装置、消息队列集群，其中：

所述数据采集装置采用嵌入式设备加载IPv6网卡，在设备上缓存采集数据，并打包数据后通过消息队列协议发送数据包至消息队列集群中；

所述消息队列集群采用集群模式提供相关的发布/订阅功能，将数据转发给需要的实验平台；

所述消息队列集群以RabbitMQ作为部署方案，集群模式采用多活模式；

所述消息队列集群的具体部署方法如下：

（1）根据实际需求为各队列组分配相应的服务器，并将RabbitMQ部署到该服务器上；

（2）将各队列组中的服务器添加至负载均衡配置文件中，使各服务器的负载量保持一致；

（3）设分别为消息队列设置不同的集群模式；

（4）为（1）中的部分服务器安装Federation插件，实现数据同步功能，从而达到跨集群数据同步条件；

（5）为需要进行同步的数据进行绑定配置；

所述方法包括如下步骤：

步骤一、通过数据采集装置将传感器运行数据收集至数据采集装置数据缓存区；

步骤二、待数据数量足够后，加装时间戳后进行打包；

步骤三、由数据采集装置发送模块将数据包发送至消息队列集群运行数据队列中；

步骤四、消息队列集群读取各服务平台的订阅请求，将各运行数据包转发至相应的服务订阅队列中等待各服务平台自行读取需要的数据。

Images