CN103297517B - 一种状态监测系统的分布式数据传输方法 - Google Patents

Abstract

本发明提出了一种状态监测系统的分布式数据传输方法，包括以下步骤：步骤(101)，基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件；步骤(102)，在分布式多个数据源节点中布置侦听探针为发布者；步骤(103)，简化状态监测服务模块的数据接收功能为订阅者；步骤(104)，公开数据交换中间件的应用开发接口，简化发布与订阅接口。本发明基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件，解决了分布式数据传输实现时状态监测程序难以适应并发大数据量的问题，大幅度降低了整个状态监测服务模块的开发成本与实现难度。

Description

一种状态监测系统的分布式数据传输方法

技术领域

本发明涉及测试技术领域，特别涉及一种状态监测系统的分布式数据传输方法。

背景技术

随着各种电子设备环境试验工作的开展，往往需要借助状态监测系统来对试验件的各种工作状态进行数据采集与分析处理。现有技术通常是在各个分布式传感器节点(数据源节点)中布置侦听探针，侦听探针收集到原始状态数据后直接传输给驻留于数据处理中心(目的节点)中的状态监测服务模块，状态监测服务模块进行数据接收、存储、预处理、可视化显示与分析诊断等。

目前，基于计算机平台的状态监测系统的发展已经进入了分布式远程阶段。分布式数据传输技术作为状态监测系统中的关键技术一直备受关注。如图1所示，现有方案中的状态监测系统包括多个传感器数据源节点20、通信网络40、数据处理中心60、侦听模块30和状态监测服务模块50。侦听模块30主要进行原始状态数据的采集与上传，状态监测服务模块50包括数据库51、数据接收模块52、存储模块57、数据预处理模块53、可视化显示模块54、分析诊断模块55和数据处理模块56等。

系统就绪时，由驻留于各个数据源节点的侦听探针来进行原始状态数据的获取，在与目的节点中的状态监测服务模块建立通信连接后，由侦听模块将侦听数据通过通信网络发送给状态监测服务模块。状态监测模块需要一直有效，当发现有侦听数据到达时，将直接进行数据接收、存储、预处理、可视化显示与分析诊断等。

现有状态监测系统一般是由驻留于数据源节点中的侦听模块直接将所采集的原始数据传输给状态监测服务模块。该系统存在如下缺点：

(1)适应能力差：现有技术难以适应数据源节点动态变化的情况，尤其是当数据源节点数量多、需传输数据量大且多个节点并发传输时，必然会给状态监测服务模块带来很大的处理压力，很容易出现数据丢失、处理效率低、软件程序死锁乃至崩溃死机等现象。

(2)实现难度高：状态监测服务模块的负担过重，既要考虑多个传感器节点并行传输时的接收需求，又要实现高效率的数据处理服务，包括预处理、数据存储、数据分析与可视化显示等，需要确保数据无损且处理实时。这样往往使得软件的控制逻辑复杂、软件编码的质量要求高，软件开发人员花费大量时间精力来修改、调试与优化状态监测代码，数据传输的实现难度高。

发明内容

本发明提出一种状态监测系统的分布式数据传输方法，解决现有分布式数据传输处理过程中多个传感器节点大数据量并发传输时，造成的状态监测服务模块适应能力差、吞吐压力大、开发成本高且实现难度高的问题。

本发明的技术方案是这样实现的：

一种状态监测系统的分布式数据传输方法，包括以下步骤：

步骤(101)，基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件；

步骤(102)，在分布式多个数据源节点中布置侦听探针为发布者；

步骤(103)，简化状态监测服务模块的数据接收功能为订阅者；

步骤(104)，公开数据交换中间件的应用开发接口，简化发布与订阅接口。

可选地，所述步骤(101)具体包括：中间件服务器维护管理发布者与订阅者信息，根据发布者请求连接的数据源数目来动态调整数据安全队列资源，依据订阅者信息来分发传递侦听数据，确保接收到的侦听数据能够无损地传输给订阅者。

可选地，所述发布者与订阅者信息以可扩展标记语言文档存储，并分配有唯一的注册标识。

可选地，所述步骤(102)具体包括：首先，连接数据源并设置属性信息，以便与中间件服务器间建立联系成为发布者；然后，在原始状态数据采集成功后就进行发送数据设置，发布所采集原始数据；之后，通知中间件服务器进行同步更新数据，以便侦听数据订阅者读取数据。

可选地，所述步骤(103)具体包括：首先，连接数据源并设置属性信息，以便与中间件服务器间建立订阅者信息；然后，通过中间件服务器成功订阅侦听数据后，进行侦听数据的分类预处理；之后，根据处理标识进行更新数据存储、通知可视化显示、通知数据处理、通知分析诊断。

本发明的有益效果是：

(1)数据传输的执行效率高、数据无损安全、处理实时性强；

(2)编码简单、开发时间短、升级维护容易。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有的状态监测系统的控制框图；

图2为根据本发明分布式数据传输方法的状态监测系统的控制框图；

图3为本发明分布式数据传输方法的流程图；

图4为图3中在分布式多个数据源节点中布置侦听探针为发布者步骤的具体实现方式流程图；

图5为图2中状态监测服务模块数据预处理模块的实现流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有分布式数据传输处理过程中多个传感器节点大数据量并发传输时，造成的状态监测服务模块适应能力差、吞吐压力大、开发成本高且实现难度高。本发明采用独立且通用的发布/订阅数据交换中间件服务器来降低状态监测服务模块的吞吐压力与实现难度。一方面，基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件，让发布者(侦听模块)通过该数据交换中间件与订阅者(状态监测服务模块)进行交互。基于多线程机制来实现动态传输队列缓存处理来应对大吞吐量数据交换，根据请求连接的数据源数目来动态调整数据安全传输队列资源，确保分布式多数据源中的原始数据能够无损地传输给状态监测服务模块；另一方面，提供公开统一的应用开发接口，隐藏了网络数据传输的细节，做到侦听模块、状态监测服务模块二者与数据交换中间件之间的调用关系简单明了，确保整个数据传输的实现编码简单、开发时间短、升级维护容易，从而降低整个状态监测服务模块的实现难度。

图2为根据本发明分布式数据传输方法的状态监测系统的原理图。如图2所示，数据交换中间件70由中间件服务器72、数据安全队列71与应用编程接口(API)73文档组成。中间件服务器72既可以对发布注册与订阅注册进行集中配置管理，也可以根据请求连接的源数目来动态调整数据安全队列71资源，确保接收到的侦听数据能够无损地传输给状态监测服务模块(订阅者)50。同时，数据交换中间件70进行模块化设计，软件状态参数信息包括发布者与订阅者信息且以可扩展标记语言文档存储，默认参数可设置，关键接口规范且公开，具有一定的通用性；其中，所公开的应用开发接口提供建立连接、断开连接、读取数据、写入数据、更新同步、设置属性与队列控制等相关函数，确保数据传输中发布与接收的实现编码简单、接口规范。

如图3所示，本发明的一种状态监测系统的分布式数据传输方法，适用于图2中的状态监测系统，包括以下步骤：步骤101，基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件；步骤102，在分布式多个数据源节点中布置侦听探针为发布者；步骤103，简化状态监测服务模块的数据接收功能为订阅者；步骤104，公开数据交换中间件的应用开发接口，简化发布与订阅接口。本发明的分布式数据传输方法将多个传感器数据源节点作为发布者，将状态监测服务模块作为订阅者，采用独立且通用的数据交换中间件来降低状态监测服务模块的吞吐压力与实现难度。

上述步骤101中，中间件服务器维护管理发布者与订阅者信息，根据发布者请求连接的数据源数目来动态调整数据安全队列资源，依据订阅者信息来分发传递侦听数据，确保接收到的侦听数据能够无损地传输给订阅者(状态监测服务模块)。其中，发布者与订阅者信息以可扩展标记语言文档存储，并分配有唯一的注册标识。

上述步骤102具体包括以下步骤：首先，连接数据源并设置属性信息，以便与中间件服务器间建立联系成为发布者；然后，在原始状态数据采集成功后就进行发送数据设置，发布所采集原始数据；之后，通知中间件服务器进行同步更新数据，以便侦听数据订阅者(状态监测服务模块)读取数据。具体流程如图4所示，在原始状态数据采集成功后进行数据设置并通知中间件服务器进行同步更新数据，这中间有任何错误情况发生均需要重新进行侦听模块的注册初始化，包括重新连接数据源、设置写队列模式属性等，如果连接数据源时出现超时，那么释放相关资源并退出数据采集。

上述步骤103具体包括以下步骤：首先，连接数据源并设置属性信息，以便与中间件服务器间建立订阅者信息；然后，通过中间件服务器成功订阅侦听数据后，进行侦听数据的分类预处理；之后，根据处理标识进行更新数据存储、通知可视化显示、通知数据处理、通知分析诊断。

上述步骤104具体为提供公开统一的数据交换中间件应用开发接口，隐藏网络数据传输的细节，只需要关注发布者、订阅者信息以及需要交换的侦听数据，确保数据传输的实现编码简单、接口规范。

状态监测服务模块具备简单的数据接收功能，在订阅注册成功后其各个功能模块就处于就绪状态，以便被通知或激活进行侦听数据的读取，进而完成侦听数据的预处理、存储、可视化显示、数据处理与分析诊断。图5为图2中状态监测服务模块数据预处理部分的实现流程。状态监测服务模块中的数据预处理模块被初始化后就驻留内存等待激活，直到接收到退出命令后释放资源结束处理。数据预处理模块初始化时需要连接数据源、设置安全队列自动读处理并注册更新数据回调函数等，以便与数据交换中间件服务器建立订阅关系并接收到相应的侦听数据，处理流程中出现任何错误均也需要进行释放资源并退出。

本发明所提出的一种状态监测系统的分布式数据传输方法，使得数据源中的侦听探针通过独立且通用的发布/订阅数据交换中间件来传递给状态监测服务模块。与现有技术相比，本发明采用发布/订阅数据交换中间件来实现了侦听探针与状态监测服务模块之间数据的可靠传输，可根据需要动态调整数据安全队列资源，有效降低了状态监测服务模块的吞吐压力；公开数据交换中间件的应用开发接口，隐藏了网络数据传输的细节，监测系统研制人员只需要关注发布者、订阅者信息以及所传送的侦听数据，确保整个数据传输的实现编码简单、接口规范。同时，所实现的整个状态监测系统可配置、可扩展、升级维护容易。因而，该方法不仅数据传输的执行效率高、数据无损安全、处理实时性强，而且编码简单、开发时间短、升级维护容易。

总之，本方法基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件，解决了分布式数据传输实现时状态监测程序难以适应并发大数据量的问题，大幅度降低了整个状态监测服务模块的开发成本与实现难度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种状态监测系统的分布式数据传输方法，其特征在于，包括以下步骤：

步骤(101)，基于数据安全队列来构建独立且通用的发布/订阅数据交换中间件；发布/订阅数据交换中间件由中间件服务器、数据安全队列与应用编程接口文档组成；中间件服务器维护管理发布者与订阅者信息，根据发布者请求连接的数据源数目来动态调整数据安全队列资源，依据订阅者信息来分发传递侦听数据，确保接收到的侦听数据能够无损地传输给订阅者；状态监测服务模块包括数据预处理模块，数据预处理模块初始化时需要连接数据源、设置数据安全队列自动读处理并注册更新数据回调函数，以便与中间件服务器建立订阅关系并接收到相应的侦听数据；

步骤(102)，在分布式多个数据源节点中布置侦听探针为发布者；

步骤(103)，简化状态监测服务模块的数据接收功能为订阅者；首先，连接数据源并设置属性信息，以便与中间件服务器间建立订阅者信息；然后，通过中间件服务器成功订阅侦听数据后，进行侦听数据的分类预处理；之后，根据处理标识进行更新数据存储、通知可视化显示、通知数据处理、通知分析诊断；

状态监测服务模块具备数据接收功能，在订阅注册成功后其各个功能模块就处于就绪状态，以便被通知或激活进行侦听数据的读取，进而完成侦听数据的预处理、存储、可视化显示、数据处理与分析诊断；状态监测服务模块中的数据预处理模块被初始化后就驻留内存等待激活，直到接收到退出命令后释放资源结束处理；

步骤(104)，公开发布/订阅数据交换中间件的应用开发接口，所公开的应用开发接口提供建立连接、断开连接、读取数据、写入数据、更新同步、设置属性与数据安全队列控制相关函数，从而简化了发布/订阅数据交换中间件的发布与订阅接口。

2.如权利要求1所述的状态监测系统的分布式数据传输方法，其特征在于，所述发布者与订阅者信息以可扩展标记语言文档存储，并分配有唯一的注册标识。

3.如权利要求1所述的状态监测系统的分布式数据传输方法，其特征在于，所述步骤(102)具体包括：首先，连接数据源并设置属性信息，以便与中间件服务器间建立联系成为发布者；然后，在原始状态数据采集成功后就进行发送数据设置，发布所采集原始数据；之后，通知中间件服务器进行同步更新数据，以便侦听数据订阅者读取数据。