CN102833095A - 一种多专业、大容量实时数据采集方法 - Google Patents

Abstract

本发明公开一种多专业、大容量实时数据采集方法，将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于1的自然数，采用1主(N-1)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。此方法可提高通讯的冗余度和可靠性，并通过多个流水线并行模式，大大提高数据交互的吞吐能力。

Description

一种多专业、大容量实时数据采集方法

技术领域

本发明应用于大型工业高耗能企业能源管控系统，也可以应用于企业信息管理系统，为一种跨专业、大容量实时数据采集方法。

背景技术

能源管控系统，即Energy Management System（简称EMS），是企业信息化系统的一个重要组成部分，它的主要功能是实现能源系统分散的数据采集和控制、集中的管理调度和能源供需平衡，以及实现所需能源预测，为在生产全过程中实现较好的节能、降耗和环保的目标创造条件，即对生产能源数据进行采集、加工、分析、处理，以实现对能源设备、能源实绩、能源计划、能源平衡、能源预测等全方位的监控和管理功能，达到企业节能增效的目的。十二五规划中，在“制造业发展重点方向”上，着重提出“重点推广能源管控系统技术和高温高压干熄焦、余热综合利用、烧结烟气脱硫等节能减排技术”，希望通过能源管控系统的实施，推进企业系统性综合节能减排技术，充分利用二次能源，减少污染物的排放，提高企业经济效益，实现企业精细化管理。

能源管控系统涉及的子系统比较多，包括电力远动机、DCS系统、PLC系统等，由于各个子系统分布在全厂各处，且数据采集点比较多，因此能源中心需要与各个子系统建立数据通信。目前普遍的通讯方法有三种形式：（1）由能源中心的IO服务器同时与子系统建立通讯链路，这种方法需要IO服务器上具有子系统的数据驱动；（2）不少DCS系统提供了OPC接口，通过OPC服务器对下集中采集子系统数据，并转发给能源中心IO服务器；（3）在子站位置部署采集网关设备，对下采集子系统数据，对上统一转发给能源中心IO服务器，这种方式与第（2）种方式的区别是采用了硬件网关设备，对上转发不一定采用OPC方式，支持常用的通信协议，如DNP、Modbus等。为达到高冗余度和高可靠性，在IO服务器侧，需要处理多个IO服务器对下的通讯方式。现有的资料显示，虽然现在有考虑到冗余性的数据通信方法，但是还是存在一定的缺陷，原因如下：

第一、IO服务器虽然采用冗余配置，但是在单个IO服务器上运行的任务并没有根据集群中各服务器负载状况合理调度，没有实现负载均衡，从而导致在数据量大的时候，服务器负载比较重；

第二、对于一个子系统的通讯，为保证可靠性，往往在所有IO服务器都建立通讯链路，这样一方面消耗了服务器端的资源，另外一方面也增加了子系统通讯的负担。而没有根据IO服务器的状态统一调度，由一个IO服务器与子系统通信，如果发生故障，通信自动切换到另外一台服务器上，实现通道按口值班；

第三、通讯协议插件更新不方便，需要停止所有在运行通道，无法实现在线更新，这对于能源管控系统影响很大。

基于以上分析，目前需要一种效果较好的数据采集方法，本案由此产生。

本发明涉及的名词定义如下：

节点：与IO服务器同一概念，指集群中的一员。

通道：表示一条数据通讯链路。包括网络链路层、应用层数据交互和处理。

发明内容

本发明的目的，在于提供一种多专业、大容量实时数据采集方法，其可提高通讯的冗余度和可靠性，并通过多个流水线并行模式，大大提高数据交互的吞吐能力。

为了达成上述目的，本发明的解决方案是：

一种多专业、大容量实时数据采集方法，将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于1的自然数，采用1主(N-1)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。

上述数据采集服务器集群的工作方式是：数据采集应用在集群中各IO服务器上同时部署，一台IO服务器值班，其余的IO服务器备用；IO服务器之间通过网络心跳报文来实时监测彼此的状态，网络心跳报文正常采用UPD方式发送，在出现异常时，采用TCP方式发送；每台IO服务器上都有一个系统信息库，实时保存集群中个节点的状态和参数；一台IO服务器故障时，在其上面运行的所有任务都会被自动分配到其它服务器上。

根据以下调度策略分配IO服务器的数据采集任务；根据数据采集任务在IO服务器上的初始优先级，结合该任务在该IO服务器上中断的次数和时间，以及当前的运行状态，自动调节任务在该IO服务器上的优先级，并根据优先级决定任务部署在哪个IO服务器。

上述数据采集服务器集群中的每一路数据通讯均定义其所属进程编号，进程启动后，自动创建单独的线程来实现数据通讯；相同进程编号的数据通讯任务在同一个进程中、不同的线程独立运行。

上述数据采集服务器集群中的每一路数据通讯的协议都是采用软插件方式，即每一个通讯协议都以动态库插件形式存在，在数据通讯任务启动时，自动将软插件实例化，从而开始处理各种数据。

上述数据采集服务器集群中的数据通讯采用“车间流水线”模式，“流水线”上的“工人”为具有各种协议处理能力的功能插件，当通讯开始时，每个插件实例化，形成流水线上的“工人”；“工人”处理报文有先后顺序，依照工序处理报文。

采用上述方案后，本发明具有以下有益效果：

（1）本发明提供了一种可靠的、跨专业、大容量实时数据采集方法，通过本发明，解决能源管控系统实施过程中的多专业大容量数据采集可靠性和冗余度低且数据吞吐量不大问题；

（2）本发明采用灵活分布式采集模式、多进程和多线程方法相结合的方式，在线软插件技术，均衡负载的通讯调度策略，达到不同系统、不同专业数据同时并行工作，采集通道互为冗余备用，高性能、高吞吐量采集数据的目标；

（3）本发明解决了能源管控系统日益增多的数据采集而导致服务器负载过高的缺陷，为工业企业能源管控系统对不同专业数据采集提供了一种可靠的、高性能手段。

附图说明

图1是本发明中IO服务器集群的网络配置图；

图2是本发明中节点调度的流程图；

图3是本发明中通道调度的流程图；

图4 是本发明中通讯软件的原理图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明提供一种多专业、大容量实时数据采集方法，包括如下步骤：

（1）将至少2台IO服务器组成通信集群，假设共有N台IO服务器，采用1主(N-1)热备冗余模式组成数据采集服务器集群，专门负责对下通信，也即一台IO服务器值班，其余的IO服务器备用，各子系统通信任务由IO服务器集群统一调度，合理分配资源，达到冗余度高的目的，同时还可减少子系统端的负担，防止子系统故障。

典型的网络配置图可配合图1所示，以三台IO服务器为例，三台IO服务器组成数据采集服务器集群，整个IO服务器集群共享采集数据，在每台服务器上分别部署系统管理应用和数据采集应用，系统管理应用负责进行集群管理和应用状态管理。包括集群中IO服务器配置、网络状态监视、负载状况监视、硬盘空余容量监视、CPU监视、以及数据采集应用状态监视和管理。数据采集应用主要来实现数据采集功能。数据采集应用在集群中采用1值班2备用的模式，即1台IO服务器值班，所有采集数据都汇集到该服务器上，并由该服务器再同步到其他服务器上。备用服务器接受值班服务器的数据同步，并在值班服务器出现故障时，由系统管理应用调度，自动切换到值班状态。

（2）根据节点调度策略控制各节点的任务状态；

配合图2所示，各节点之间通过网络心跳报文来实时监测彼此的状态，网络心跳报文正常采用UPD方式发送，在出现异常时，采用TCP方式发送；每个节点上都有一个系统信息库，实时保存集群中各节点的状态和参数；一旦发现某节点异常，则根据其它节点的性能和约束条件，选择出一个合适的目标节点，将所述故障节点上的所有任务切换到目标节点上。

（3）根据通道调度策略控制各节点的任务状态；

配合图3所示，通道调度策略的实现方法是根据该通道在不同节点上的优先级，自动调整其任务实例运行所在的节点。通道启用后，首先寻找优先级最高的、可以部署的IO服务器，测试在该IO服务器上的通讯链路是否可以建立，如果可以运行，则申请相关资源，建立通讯；如果不可以运行，则降低该节点优先级到最低，并在允许运行的IO服务器上寻找下一个优先级最高的节点，测试并部署通道。如果在某个节点上通信不畅或者出错率较高，系统将自动调节任务在该节点上的优先级，调整其运行的节点。

如图4所示，通道管理采用多进程和多线程方法相结合方式，各路通讯独立，互不干扰，从而保证了各路通道运行的可靠性，同时满足大容量吞吐能力要求。每一路通道的通讯运行载体以线程方式实现，每一路通道均可定义其所属进程号。系统启动后，自动加载定义的多个不同进程号的进程。而每个进程中，又加载属于该进程的所有通道线程。进程和线程的调度均有集群应用来整体调度。

通道数据处理采用流水线车间模式实现通道通讯过程，“流水线”上的“工人”为具有各种协议处理能力的功能模块，有效实现了协议处理模块化，提高了数据处理效率。通信协议都以插件形式存在，各通道部署相应的协议插件，在通道启用时，每个插件实例化，形成“流水线”上的“工人”，“工人”处理报文有先后顺序，依照工序处理报文。当通讯开始时，每个插件实例化，形成流水线上的“工人”；“工人”处理报文有先后顺序，依照工序处理报文；协议发生变化或者升级，可以在线更换该插件，而不会影响已有的其它通讯。

每一路数据通讯均可定义其所属进程编号，进程启动后，自动创建单独的线程来实现数据通讯；相同进程编号的数据通讯任务在同一个进程中、不同的线程独立运行。

下一步配置具体的通讯通道，主要包括通道管理机制、节点通道管理、通道管理、通道组管理和运行配置等功能。

1）通道管理机制：通道管理主要依据各通道离线配置，在线人工切换等干预以及通道自身运行情况（如误码率中断次数等）各种情况，动态的调度各通道的使用，运行以及值班备用等工况。

2）节点通道管理：采用竞价机制竞选同一通道在不同节点上获取资源权限，优先级高的节点优先获取资源，进入启用状态，在一定时间内通道连通后正式获取资源，其他节点处于候选状态。如该节点一定时间内不能连通则把该通道权限移交该优先级低的节点启用。节点通道优先级通过人工配置方式并按照节点负载和在该节点上通道运行情况动态调整。某节点上通道长时间断开或频繁中断则该节点通道被冻结，运行权限移交给其他节点。

3）通道管理：值班节点不停检测所有节点通道状态，只要有任何一节点已连通则该通道处于连通可用状态，都不连通则该通道处于断开状态，如任何一节点处于可用状态则该通道处于可用状态。

4）通道组管理：负责检测同一通道组下所有通道的值班、备用、离线等管理。通道可以通过人工切换实现值班备用切换离线等功能，也可以根据各通道优先级自动通道主备管理。通道优先级通过人工设置，在通道启用后根据该通道误码率和中断情况等动态调整。

5）运行配置：配置对下通讯的通道。一个通道对应的就是一个线程，包括模型和通讯插件。配置的信息包括通讯参数、通道的不同节点上运行的优先级、以及主备通道的优先级。

与子系统通信的协议实现采用软插件形式，即以动态库形式实现一个个协议，动态库中封装了统一的接口，包括获得协议名称接口、获得协议ID号接口、输入数据接口、输出数据接口、插件实例化接口等。在使用到该协议的通道中，该协议被实例化，作为该通道流水线上的工人。在需要修改该协议插件时，仅需将新的协议插件实例化，并替换现有的实例，从而不会影响通道的数据交互，更不会影响到其他通道的运行。通讯软插件支持水、电、风、气（汽）等各个专业的主流通信协议，并可以根据协议文本，定制开发。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种多专业、大容量实时数据采集方法，其特征在于：将大型SCADA系统的数据采集子系统功能部署在N台IO服务器上，N为大于1的自然数，采用1主(N-1)热备冗余模式，组成数据采集服务器集群，综合考虑各个数据采集任务的约束条件和服务器状态，动态调整任务在各服务器上运行的优先级，将其分配到优先级最高的服务器上并行运行；通讯协议采用软插件形式实例化成“车间流水线”上的“工人”，各条“流水线”采用多线程和多进程相结合方式并行，提高数据的吞吐能力和通讯可靠性。

2.如权利要求1所述的一种多专业、大容量实时数据采集方法，其特征在于：所述数据采集服务器集群的工作方式是：数据采集应用在集群中各IO服务器上同时部署，一台IO服务器值班，其余的IO服务器备用；IO服务器之间通过网络心跳报文来实时监测彼此的状态，网络心跳报文正常采用UPD方式发送，在出现异常时，采用TCP方式发送；每台IO服务器上都有一个系统信息库，实时保存集群中个节点的状态和参数；一台IO服务器故障时，在其上面运行的所有任务都会被自动分配到其它服务器上。

3.如权利要求2所述的一种多专业、大容量实时数据采集方法，其特征在于：根据以下调度策略分配IO服务器的数据采集任务；根据数据采集任务在IO服务器上的初始优先级，结合该任务在该IO服务器上中断的次数和时间，以及当前的运行状态，自动调节任务在该IO服务器上的优先级，并根据优先级决定任务部署在哪个IO服务器。

4.如权利要求2所述的一种多专业、大容量实时数据采集方法，其特征在于：所述数据采集服务器集群中的每一路数据通讯均定义其所属进程编号，进程启动后，自动创建单独的线程来实现数据通讯；相同进程编号的数据通讯任务在同一个进程中、不同的线程独立运行。

5.如权利要求4所述的一种多专业、大容量实时数据采集方法，其特征在于：所述数据采集服务器集群中的每一路数据通讯的协议都是采用软插件方式，即每一个通讯协议都以动态库插件形式存在，在数据通讯任务启动时，自动将软插件实例化，从而开始处理各种数据。

6.如权利要求5所述的一种多专业、大容量实时数据采集方法，其特征在于：所述数据采集服务器集群中的数据通讯采用“车间流水线”模式，“流水线”上的“工人”为具有各种协议处理能力的功能插件，当通讯开始时，每个插件实例化，形成流水线上的“工人”；“工人”处理报文有先后顺序，依照工序处理报文。

Images