CN102571617B - 流数据服务器、流数据传输方法及数据传输系统 - Google Patents

Abstract

本发明公开了一种流数据服务器，其包括数据接收模块、预处理模块、标准数据输出模块、数据池；所述数据接收模块，用于从数据采集设备获取流数据并缓存到接收缓冲区，并在缓存流数据后，启动预处理模块；所述预处理模块，用于将所述接收缓冲区中缓存的流数据转换成二进制数据流，将这个二进制数据流以队列的数据结构写入所述数据池中；所述标准数据输出模块，用于将所述数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出。本发明还公开了一种流数据传输方法及一种数据传输系统。本发明能使文本数据及图像数据等流数据方便的传输到客户端，实现数据统一接入，并且节省远程带宽资源及现场处理资源。

Description

流数据服务器、流数据传输方法及数据传输系统

技术领域

本发明所涉及计算机通信技术，特别涉及一种流数据服务器、流数据传输方法及数据传输系统。

背景技术

用于感知现场数据的数据采集设备，有的输出参数数据，有的输出文本数据，还有的输出图像数据(如红外光、可见光、X光、超声波以及断层成像等)。

文本数据及图像数据作为流数据，比普通的参数数据量大，通常是利用视频等多媒体数据接口设备传输，这会消耗远程带宽资源与现场宝贵的处理资源。

另外在突发事件探知现场，短时突发的感知数据量大，环境动态变化大，感知参数种类繁多，数据采集设备接口种类繁多、不统一，并且要求快速部署、快速启动、快速组网等等。常规的数据传输系统及方法由于无法实现大量不同类型接口的数据采集设备的统一接入、标准化输出，无法满足突发事件探知现场的数据传输要求。

OPC(OLE for Process Control)是一个工业标准。OPC建立了一组符合工业控制要求的接口规范，只要提供带有OPC接口的服务器，任何支持OPC接口的数据访问客户端均可进行数据存取。

发明内容

本发明要解决的技术问题是使文本数据及图像数据等流数据方便的传输到客户端，实现数据统一接入，并且节省远程带宽资源及现场处理资源。

为解决上述技术问题，本发明提供了一种流数据服务器，其包括数据接收模块、预处理模块、标准数据输出模块、数据池；

所述数据接收模块，用于从数据采集设备获取流数据并缓存到接收缓存区，并在缓存流数据后，启动预处理模块；

所述预处理模块，用于将所述接收缓存区中缓存的流数据转换成二进制数据流，将这个二进制数据流以队列的数据结构写入所述数据池中；

所述标准数据输出模块，用于将所述数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出。

所述流数据为图像数据或文本数据。

所述数据接收模块，可以包括Socket服务器接收模块、镜像数据存储模块；

所述Socket服务器接收模块，用于通过socket通信方式同数据采集设备建立连接，然后通过调用接收数据函数来接收数据采集设备输出的流数据并存储到所述接收缓存区；

所述镜像数据存储模块，用于通过监听数据采集设备镜像到流数据服务器的指定存储区域的镜像文件，实时获取数据采集设备输出的流数据并存储到所述接收缓存区。

所述流数据服务器还可以包括主控模块；

所述主控模块，用于控制数据接收模块和标准数据输出模块的启动，并生成守护进程监视这两个模块的工作状态。

所述流数据服务器还包括历史数据存储模块；

所述标准数据输出模块，用于将所述数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出，并启动历史数据存储模块；

历史数据存储模块，用于将已经由标准数据输出模块以OPC接口标准输出的队头数据所对应的所述接收缓存区中的流数据作为历史数据存储起来。

所述数据接收模块，可以在缓存流数据后，通过视窗方式输出流数据到显示器，并启动预处理模块。

所述数据接收模块，可以在启动预处理模块时同时对接收缓存区阻塞，并且按设定间隔时间刷新接收缓存区，将接收数据采集设备新输出的流数据存储到接收缓存区。

所述预处理模块，可以在向所述数据池中写入所述二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作；

所述标准数据输出模块，可以在从所述数据池中读取二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作。

为解决上述技术问题，本发明还提供了一种流数据传输方法，其包括以下步骤：

一.利用一数据接收模块，从数据采集设备获取流数据并缓存到一接收缓存区，然后启动预处理模块；

二.利用一预处理模块，解析所述接收缓存区中缓存的流数据，将所述流数据转换成二进制数据流，将这个二进制数据流以队列的数据结构写入一数据池中；

三.利用一标准数据输出模块，将数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出。

所述流数据为图像数据或文本数据。

所述数据接收模块，可以包括Socket服务器接收模块、镜像数据存储模块；

所述Socket服务器接收模块，通过socket通信方式同数据采集设备建立连接，然后通过调用接收数据函数来接收数据采集设备输出的流数据并缓存到所述接收缓存区；

所述镜像数据存储模块，通过监听数据采集设备镜像到指定存储区域的镜像文件，实时获取数据采集设备输出的流数据并缓存到所述接收缓存区。

可以利用一主控模块，控制数据接收模块和标准数据输出模块的启动，并生成守护进程监视这两个模块的工作状态。

所述标准数据输出模块，可以将所述数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出，并启动一历史数据存储模块；

历史数据存储模块，用于将已经由标准数据输出模块以OPC接口标准输出的队头数据所对应的所述接收缓存区中的流数据作为历史数据存储起来。

所述数据接收模块，可以在缓存流数据后，通过视窗方式输出流数据到显示器，并启动预处理模块。

所述数据接收模块，可以在启动预处理模块时同时对接收缓存区阻塞，并且按设定间隔时间刷新接收缓存区，将接收数据采集设备新输出的流数据存储到接收缓存区。

所述预处理模块，可以在向所述数据池中写入所述二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作；

所述标准数据输出模块，可以在从所述数据池中读取二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作。

为解决上述技术问题，本发明还提供了一种数据传输系统，数据传输系统包括一流数据服务器，还包括一个或多个参数数据采集设备、一个或多个流数据采集设备、参数数据交换机、流数据交换机、参数数据服务器、OPC数据访问客户端；

所述参数数据采集设备，用于输出参数数据；

所述流数据采集设备，用于输出流数据；

所述参数数据交换机，用于将所述参数数据采集设备输出的参数数据传送到参数数据服务器；

所述流数据交换机，用于将所述流数据采集设备输出的流数据传送到所述流数据服务器；

所述参数数据服务器，用于接收参数数据并将参数数据以OPC接口标准输出到所述OPC数据访问客户端；

所述流数据服务器，用于接收流数据并将流数据以OPC接口标准输出到所述OPC数据访问客户端。

本发明，利用流数据服务器，接收流数据采集设备输出的图像数据、文本数据等流数据，并将流数据以OPC接口标准输出到OPC数据访问客户端，利用参数数据服务器，接收参数数据采集设备输出的参数数据并将参数数据以OPC接口标准输出到所述OPC数据访问客户端；将事件探知现场数据采集设备采集的图像数据、文本数据等流数据以及参数数据都以标准的OPC数据格式输出，从而利用OPC数据访问客户端能同时接收来自事件探知现场的参数数据及文本数据、图像数据等流数据，使文本数据及图像数据等流数据方便的传输到客户端，大大节省了突发事件应急感知的计算硬件要求，实现各类数据的统一接入，并且节省了远程带宽资源及现场处理资源，满足突发事件探知现场的数据传输要求。

附图说明

为了更清楚地说明本发明的技术方案，下面对本发明所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流数据服务器一实施例示意图；

图2是本发明的数据传输系统一实施例示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，流数据服务器包括主控模块、数据接收模块、预处理模块、标准数据输出模块、数据池与历史数据存储模块。

主控模块，用于控制数据接收模块和标准数据输出模块的启动，并生成守护进程监视这两个模块的工作状态；

数据接收模块，用于从数据采集设备获取图像数据、文本数据等流数据并缓存到接收缓存区，并在缓存图像数据、文本数据等流数据后，启动预处理模块，并可以通过视窗方式输出图像数据、文本数据等流数据到显示器；

数据接收模块，可以包括Socket服务器接收模块、镜像数据存储模块；

Socket服务器接收模块，用于通过socket通信方式同数据采集设备建立连接，然后通过调用接收数据函数来接收数据采集设备输出的图像数据、文本数据等流数据并存储到所述接收缓存区；

镜像数据存储模块，用于通过监听数据采集设备镜像到流数据服务器的指定存储区域的镜像文件，实时获取数据采集设备输出的图像数据、文本数据等流数据并存储到所述接收缓存区；

预处理模块，用于解析数据接收模块缓存到接收缓存区中的图像数据、文本数据等流数据，将所述流数据转换成二进制数据流，将这个二进制数据流以队列的数据结构写入所述数据池中；

标准数据输出模块，用于将数据池中的二进制数据流的有效队头数据以Byte类型的数组形式的OPC接口标准依次输出，并启动历史数据存储模块；

历史数据存储模块，用于将已经由标准数据输出模块以OPC接口标准输出的队头数据所对应的数据接收模块的接收缓存区中的图像数据、文本数据等流数据作为历史数据存储起来。

实施例一的流数据服务器，对于图像数据、文本数据等流数据的处理方法是：

一.利用主控模块，控制数据接收模块和标准数据输出模块的启动，并生成守护进程监视这两个模块的工作状态；

二.利用数据接收模块，从数据采集设备获取图像数据、文本数据等流数据并缓存到一接收缓存区，然后启动预处理模块；

三.利用预处理模块，解析所述接收缓存区中缓存的图像数据、文本数据等流数据，将所述流数据转换成二进制数据流，将这个二进制数据流以队列的数据结构写入数据池中；

四.利用标准数据输出模块，将数据池中的二进制数据流的有效队头数据以Byte类型的数组形式的OPC接口标准依次输出。

数据接收模块可以利用一Socket服务器接收模块通过socket通信方式同数据采集设备建立连接，然后通过调用接收数据函数来接收数据采集设备输出的图像与文本等流数据并缓存到接收缓存区，数据接收模块可以在启动预处理模块时同时对接收缓存区阻塞，以防止DNS(Domain NameSystem，域名系统)攻击，并且按设定间隔时间刷新接收缓存区，将接收数据采集设备新输出的图像与文本等流数据存储到接收缓存区以保证在突发数据量大时输出的数据是最新数据。采用Socket服务器接收模块，通过建立socket连接来进行通信，连接成功后调用接收数据函数，实现图像与文本等流数据接收功能，适用于支持二次开发的流数据采集设备。

数据接收模块也可以利用一镜像数据存储模块通过监听数据采集设备镜像到流数据服务器的指定存储区域的镜像文件，实时获取数据采集设备输出的图像数据、文本数据等流数据并存储到接收缓存区；采用镜像数据存储模块，适用于于特定的不提供二次开发的流数据采集设备。

为防止共享资源冲突问题，预处理模块向所述数据池中写入所述二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作；所述标准数据输出模块，从所述数据池中读取二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作。

实施例二

如图2所示，利用实施例一的流数据服务器构建数据传输系统，数据传输系统包括一个或多个参数数据采集设备、一个或多个流数据采集设备、参数数据交换机、流数据交换机、参数数据服务器、流数据服务器、OPC数据访问客户端；

所述参数数据采集设备，用于输出参数数据；

所述流数据采集设备，用于输出图像数据或文本数据等流数据；流数据采集设备可以是各类图像采集设备(如红外、可见光、X光、超声波以及断层成像等等)、文本生成设备。

所述参数数据交换机，用于将所述参数数据采集设备输出的参数数据传送到参数数据服务器；

所述流数据交换机，用于将所述流数据采集设备输出的流数据传送到所述流数据服务器；

所述参数数据服务器，用于接收参数数据并将参数数据以OPC接口标准输出到所述OPC数据访问客户端；

所述流数据服务器，用于接收图像数据、文本数据等流数据并将流数据以OPC接口标准输出到所述OPC数据访问客户端。

参数数据采集设备同参数数据交换机之间，以及流数据采集设备同流数据交换机之间，可以通过有线(如RJ-45)或无线(如wifi、wimax、3G等)等比较流行的接口方式通信，使得该数据传输系统具有良好的物理扩展性。

实施例二的数据传输系统的数据传输方法是，利用流数据服务器，接收流数据采集设备输出的图像数据、文本数据等流数据并将流数据以OPC接口标准输出到OPC数据访问客户端，利用参数数据服务器，接收参数数据采集设备输出的参数数据并将参数数据以OPC接口标准输出到所述OPC数据访问客户端；各种类流数据采集设备的图像数据、文本数据等流数据可以通过流数据交换机发送到流数据服务器，各种类参数数据采集设备的参数数据可以通过参数数据交换机发送到参数数据服务器，交换机能使得各类数据采集设备快速连接，统一输入；该数据传输方法，将事件探知现场数据采集设备采集的图像数据、文本数据等流数据以及参数数据都以标准的OPC数据格式输出，从而利用OPC数据访问客户端能同时接收来自事件探知现场的参数数据及文本数据、图像数据等流数据，使文本数据及图像数据等流数据方便的传输到客户端，大大节省了突发事件应急感知的计算硬件要求，并且节省了远程带宽资源及现场处理资源，满足突发事件探知现场的数据传输要求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种流数据服务器，其特征在于，包括数据接收模块、预处理模块、标准数据输出模块、数据池；

所述数据接收模块，用于从数据采集设备获取流数据并缓存到接收缓存区，并在缓存流数据后，启动预处理模块；

所述流数据，为文本数据或图像数据；

所述预处理模块，用于将所述接收缓存区中缓存的流数据转换成二进制数据流，将这个二进制数据流以队列的数据结构写入所述数据池中；

所述标准数据输出模块，用于将所述数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出；

所述数据接收模块，包括Socket服务器接收模块、镜像数据存储模块；

所述Socket服务器接收模块，用于通过socket通信方式同数据采集设备建立连接，然后通过调用接收数据函数来接收数据采集设备输出的流数据并存储到所述接收缓存区；

所述镜像数据存储模块，用于通过监听数据采集设备镜像到流数据服务器的指定存储区域的镜像文件，实时获取数据采集设备输出的流数据并存储到所述接收缓存区。

2.根据权利要求1所述的流数据服务器，其特征在于，

所述流数据服务器还包括主控模块；

所述主控模块，用于控制数据接收模块和标准数据输出模块的启动，并生成守护进程监视这两个模块的工作状态。

3.根据权利要求1所述的流数据服务器，其特征在于，

所述流数据服务器还包括历史数据存储模块；

所述标准数据输出模块，用于将所述数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出，并启动历史数据存储模块；

历史数据存储模块，用于将已经由标准数据输出模块以OPC接口标准输出的队头数据所对应的所述接收缓存区中的流数据作为历史数据存储起来。

4.根据权利要求1所述的流数据服务器，其特征在于，

所述数据接收模块，在缓存流数据后，通过视窗方式输出流数据到显示器，并启动预处理模块。

5.根据权利要求1所述的流数据服务器，其特征在于，

所述数据接收模块，在启动预处理模块时同时对接收缓存区阻塞，并且按设定间隔时间刷新接收缓存区，将接收数据采集设备新输出的流数据存储到接收缓存区。

6.根据权利要求1所述的流数据服务器，其特征在于，

所述预处理模块，向所述数据池中写入所述二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作；

所述标准数据输出模块，从所述数据池中读取二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作。

7.一种流数据传输方法，其特征在于，包括以下步骤：

一.利用一数据接收模块，从数据采集设备获取流数据并缓存到一接收缓存区，然后启动预处理模块；

所述流数据，为文本数据或图像数据；

二.利用一预处理模块，解析所述接收缓存区中缓存的流数据，将所述流数据转换成二进制数据流，将这个二进制数据流以队列的数据结构写入一数据池中；

三.利用一标准数据输出模块，将数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出；

所述数据接收模块，包括Socket服务器接收模块、镜像数据存储模块；

所述Socket服务器接收模块，通过socket通信方式同数据采集设备建立连接，然后通过调用接收数据函数来接收数据采集设备输出的流数据并缓存到所述接收缓存区；

所述镜像数据存储模块，通过监听数据采集设备镜像到指定存储区域的镜像文件，实时获取数据采集设备输出的流数据并缓存到所述接收缓存区。

8.根据权利要求7所述的流数据传输方法，其特征在于，

利用一主控模块，控制数据接收模块和标准数据输出模块的启动，并生成守护进程监视这两个模块的工作状态。

9.根据权利要求7所述的流数据传输方法，其特征在于，

所述标准数据输出模块，将所述数据池中的二进制数据流的有效队头数据以OPC接口标准依次输出，并启动一历史数据存储模块；

历史数据存储模块，用于将已经由标准数据输出模块以OPC接口标准输出的队头数据所对应的所述接收缓存区中的流数据作为历史数据存储起来。

10.根据权利要求7所述的流数据传输方法，其特征在于，

所述数据接收模块，在缓存流数据后，通过视窗方式输出流数据到显示器，并启动预处理模块。

11.根据权利要求7所述的流数据传输方法，其特征在于，

所述数据接收模块，在启动预处理模块时同时对接收缓存区阻塞，并且按设定间隔时间刷新接收缓存区，将接收数据采集设备新输出的流数据存储到接收缓存区。

12.根据权利要求7所述的流数据传输方法，

所述预处理模块，向所述数据池中写入所述二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作；

所述标准数据输出模块，从所述数据池中读取二进制数据流时，对所述数据池加锁，以禁止其它线程对数据池进行读写操作。

13.一种包括权利要求1到6任一项的流数据服务器的数据传输系统，其特征在于，数据传输系统还包括一个或多个参数数据采集设备、一个或多个流数据采集设备、参数数据交换机、流数据交换机、参数数据服务器、OPC数据访问客户端；

所述参数数据采集设备，用于输出参数数据；

所述流数据采集设备，用于输出流数据；

所述参数数据交换机，用于将所述参数数据采集设备输出的参数数据传送到参数数据服务器；

所述流数据交换机，用于将所述流数据采集设备输出的流数据传送到所述流数据服务器；

所述参数数据服务器，用于接收参数数据并将参数数据以OPC接口标准输出到所述OPC数据访问客户端；

所述流数据服务器，用于接收流数据并将流数据以OPC接口标准输出到所述OPC数据访问客户端。