CN105389131A - 一种流程工业生产系统数据采集方法 - Google Patents

Abstract

本发明公开了一种流程工业生产系统数据采集方法，属于流程工业系统信息化及自动化领域。本发明包含数据抽取和推送驱动的准备，接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端的部署，创建数据传输的通道，建立对应关系表和启动数据传输通道5个步骤。本发明解决了流程工业行业典型生产环境下，大量生产系统数据的实时采集问题。

Description

一种流程工业生产系统数据采集方法

技术领域

本发明属于流程工业信息化及自动化领域，主要涉及流程工业生产系统数据采集的方法。

背景技术

随着流程工业信息化、自动化水平的不断提高，支撑流程工业各项业务运行的生产系统也日益增多。以电力行业为例，涵盖发电、输电、变电、配电、用电和调度各环节的生产系统多达上百种。为了提高生产各环节运转效率，各系统间有着强烈的数据访问需求。一个通常的做法就是建立数据中心，将各类生产系统实时/历史数据汇集至数据中心，由数据中心提供统一对外的访问接口，使各个系统能够灵活访问到所需的数据。

建设数据中心一个核心环节就是数据汇聚，即将各类生产系统实时/历史数据采集至数据中心这一过程，而通常各类生产系统的数据源类型不一，既包含了各类主流实时数据库和关系数据库，又有诸如IEC104、OPC、Modbus等通用工业通信规约。因此，如何将覆盖多种类型的数据源端的实时/历史数据高效和稳定的采集至数据中心是建立数据中心关键的问题。

现有的数据中心数据采集方式较为单一。针对关系数据库，一种是数据库厂商自带的数据采集工具，如Oracle的warehousebuilder、DataIntegrator等，另外一种是第三方工具提供商，如Kettle等。而对于实时数据库，仅有的方法就是通过实时数据库厂商自带的数据采集工具，如PI的ICU，海迅的HS2HS、PI2HS等；对于工业通信规约，则只能针对每种类型的规约开发相应的客户端程序，通过与规约服务端的通信来获取数据。

无论是使用厂商提供的工具还是自主开发客户端程序，均只能从单一数据源获取数据，即使使用第三方工具能够获取多种类型的关系数据库数据，对于实时数据库和工业通信规约也无能为力。目前现有的关于数据采集和迁移方面的发明专利主要有CN101154146“数据迁移方法及信息处理系统”，CN102135963A“数据迁移的方法和系统”和CN102970328A“电力行业典型生产系统在线数据迁移方法技术”。但这些发明专利主要用于解决现有的数据迁移方法效率低等技术问题，并未考虑在流程工业生产环境下多种类型数据源的情况，通用性有待进一步加强。同时，由于数据源端的种类多样和数量庞大，数据采集通道的运行状况也需要进行自主监控，能够实时的反应出数据采集和传输过程中的异常状况。

发明内容

本发明目的是：针对现有技术中的不足，解决解决流程工业系统生产环境下，数据协议类型繁多并且数量众多的生产系统的数据采集问题，提供一种流程工业生产系统数据采集方法，从而能够在确保现有生产系统在线运行的前提下，高效、安全、稳定的数据采集。

具体地说，本发明是采用以下技术方案实现的，包括以下步骤：

1)准备各生产系统的源端数据抽取驱动和目标端的数据推送驱动，所述数据抽取驱动用于针对生产系统不同的数据源进行统一的数据获取、并将获取到的数据以约定的标准格式传输给接口适配器服务，所述数据推送驱动用于接收接口适配器服务发送过来的数据、并将其写入目标端；

2)部署接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端，所述接口适配器服务负责将从抽取驱动接收的数据有序分发至数据推送驱动以及所有采集通道和数据的管理，所述接口适配器客户端用于操作和显示所有数据采集通道和数据传输对应关系以及采集实时状况；

3)创建数据传输的通道，该通道的信息包含了数据源端和目的端的地址、端口和数据存储类型，根据这些信息抽取和推送驱动能够分别从源端获取数据和将数据写入目标端；

4)在传输通道内建立源端到目的端的测点对应关系表，并通过接口适配器客户端导入至接口适配器服务中，所述对应关系表记录了源端和目标端数据库各自测点的基本属性结构，通过该对应关系，接口适配器服务能够准确无误的分配抽取和推送驱动将源端的数据采集、传输并存储至目标端；

5)启动数据传输通道，数据传输通道启动后，抽取驱动连接源端进行数据获取，并按照约定的标准格式发送给接口适配器服务；接口适配器服务将接收到的数据转转发给抽取驱动，抽取驱动连接目标端，并根据测点对应关系将数据发送给相应目标端进行测点存储，接口适配器服务实时跟踪通道的状态信息，协调抽取和推送驱动工作。

上述技术方案的进一步特征在于，所述接口适配器服务的配置参数包括IP地址、端口号以及工作目录，其中IP地址和端口号用于与接口适配器客户端、抽取和推送驱动的连接交互，工作目录用于存储包括通道和数据对应关系在内的元数据信息。

上述技术方案的进一步特征在于，抽取驱动和推送驱动的启动参与均由接口适配器服务自主分配并启动。

本发明的有益效果如下：本发明适用于流程工业尤其是电力、石化等行业数据中心的数据采集，多生产系统间的数据融合场景，数据从采集、清洗、传输、存储各环节分离，并由接口适配器服务全程跟踪，故障定位更加容易。本发明进行统一的数据采集，能够支持关系数据库、实时数据库、各类工业通信协议的数据采集。本发明解决了流程工业行业典型生产环境下，大量生产系统数据的实时采集问题，能够确保在现有系统稳定运行的基础上进行数据采集，接口适配器服务针对数据传输的各环节进行监控，大大地减少了系统运维人员的工作强度和提高了问题排查解决的效率。

附图说明

图1是多系统数据采集部署框架结构图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

本发明主要涉及四个部分：第一部分是数据抽取驱动，该部分的功能是统一数据通讯标准和接口，针对生产系统不同的数据源进行统一的数据获取，并将获取到的数据以标准的通信规约传输给接口适配器服务；第二部分是接口适配器服务，该部分是本发明的核心，负责将从抽取驱动接收的数据有序分发至数据推送驱动，同时还负责所有采集通道和数据的管理，包括采集通道的增删改查及运行状况监视、数据从源端到目的端的正确高效传输保证和监视等，在数据采集通道和传输对应关系的自动配置、数据抽取和推送驱动的运行管理、实时/历史数据传输优先级的自动管理和异常处理等方面具有较强的自主管理能力；第三部分是数据推送驱动，该部分的功能是接收接口适配器服务发送过来的数据，并将其写入目标端；第四部分是接口适配器客户端，用于图形操作所有数据采集通道和数据传输对应关系，同时显示所有数据采集通道和数据采集实时状况。

本发明的方法步骤如下：

步骤A：准备各生产系统使用的源端(业务系统)数据抽取驱动和目标端(数据中心)使用的数据推送驱动。主流关系库、实时数据库和工业通信规约均有现成的数据抽取和推送驱动。如遇到新的类型的数据源，需要进行相应的开发工作，但仅需重新实现与新类型的数据源相关的数据接口调用部分内容，便能在线加载至整个接口适配器服务，不影响其它数据采集通道运行。

步骤B：部署接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端程序。接口适配器服务需要配置IP地址、端口号以及工作目录这三个重要参数。其中IP地址和端口号用于与客户端、抽取推送驱动的连接交互，工作目录用于存储通道和数据对应关系等元数据信息。抽取驱动和推送驱动的启动参与均由接口适配器服务自主分配并启动，并能够根据实际情况进行自主调节，最大程度的降低的用户部署的难度。

步骤C：创建数据传输的通道。该通道信息包含了数据源端和目的端的IP地址、端口号、数据存储类型等信息。根据这些信息，抽取和推送驱动能够分别从源端获取数据和将数据写入目标端。

步骤D：在传输通道内建立源端到目的端的测点对应关系表(该表格可以通过普通的excel表格实现)，并通过接口适配器客户端导入至接口适配器服务中。对应关系表主要记录了源端和终端两个生产系统数据库(通信规约)各自测点的基本属性结构(例如名称、ID、描述、数据类型等)，通过该对应关系，接口适配器服务能够准确无误的分配抽取和推送驱动将源端业务系统的数据采集、传输并存储至数据中心。

步骤E：启动数据传输通道。数据传输通道启动后，抽取驱动连接源端业务系统进行数据获取，并按照约定的标准格式发送给接口适配器服务端；服务端将接收到的数据转转发给抽取驱动；抽取驱动连接目标端数据中心，并根据测点对应关系将数据发送给相应数据中心测点存储。接口适配器服务实时跟踪通道的状态信息，协调抽取和推送驱动工作。

下面给出本发明方法在一个多系统数据采集中的实例。图1是多系统数据采集部署框架结构图例。图中向右的箭头表示数据流向，包含4、5装置的云图标表示由路由器桥接而成的局域网。装置1-7的说明如下：

1–源端业务系统数据库(工业通信协议服务)服务器，其中装有生产数据库或运行工业通信协议服务端。

2–数据抽取驱动服务器，通过运行与1中对应数据源的数据抽取驱动，连接1数据库(工业通信协议)，并从中获取数据，并发送给3。

3–接口适配器服务器，接收来自各种2服务器发送的数据，并转发给6。

4–路由器，与5直接连接。

5–路由器，与4共同构成局域网。

6–数据推送驱动服务器，连接目标端数据库服务器7，接收由3分发来的数据并将其写入7。

7–目标端数据库服务器，用于最终存储各业务系统汇集的数据信息。

2，3，6可集中合并部署在一台服务器上。

以图1所示的部署为例，假设需要从业务系统A的OPC服务1采集实时数据到数据中心的实时数据库7，具体的IP地址及网络信息示例如下(仅针对系统A说明，系统B可以按类似的方法配置)：

1–IP地址:10.111.1.7。

2–IP地址:10.111.1.250，网关地址：10.111.1.1，与1的连接正常。

3–与2为同一台服务器。

4–网关地址：10.111.1.1。

5–网关地址：10.111.2.1。

6–IP地址:10.111.2.59，与7的连接正常。

7–IP地址:10.111.2.7。

步骤1：在2(3)上部署数据抽取驱动服务。主要负责连接生产系统A的OPC服务1，获取实时数据，并发送给接口适配器服务。

步骤2：在2(3)上部署接口适配器服务端和客户端服务并对启动参数进行相关配置(IP地址、端口号、工作目录)。服务端主要负责接收抽取驱动发送的数据，管理和实时监控通道和对应关系信息，并将数据转发至数据推送驱动服务器6；客户端主要用于界面展示通道和数据传输实时状况，提供用户界面操作。

步骤3：6上部署数据推送驱动服务。主要负责接受接口适配器服务端转发来的数据并实时写入目标端数据库服务器7。

步骤4：通过客户端界面创建数据传输通道。该通道信息包含了数据源端1和目的端7的IP地址、端口号以及数据源类型OPC等信息。

步骤5：通过客户端在传输通道内导入源端到目的端的测点对应关系表(该表格为普通的excel表格)。对应关系表主要记录了源端和终端两个生产系统数据库(通信规约)各自测点的基本属性结构(例如名称、ID、描述、数据类型等)。如OPC服务器1中某个测点名Name1在目标端服务器7中对应的测点名为Name7。

步骤6：通过客户端界面启动数据传输通道。数据传输通道启动后，抽取驱动根据通道信息自动选择OPC类型的程序连接源端业务系统A进行数据获取，并按照约定的标准格式发送给接口适配器服务端；服务端将接收到的数据转转发给抽取驱动；抽取驱动连接目标端实时数据库7，并根据测点对应关系将数据发送给相应数据中心测点存储。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (3)

1.一种流程工业生产系统数据采集方法，其特征在于，包括以下步骤：

1）准备各生产系统的源端数据抽取驱动和目标端的数据推送驱动，所述数据抽取驱动用于针对生产系统不同的数据源进行统一的数据获取、并将获取到的数据以约定的标准格式传输给接口适配器服务，所述数据推送驱动用于接收接口适配器服务发送过来的数据、并将其写入目标端；

2）部署接口适配器服务、数据抽取驱动、数据推送驱动以及接口适配器客户端，所述接口适配器服务负责将从抽取驱动接收的数据有序分发至数据推送驱动以及所有采集通道和数据的管理，所述接口适配器客户端用于操作和显示所有数据采集通道和数据传输对应关系以及采集实时状况；

3）创建数据传输的通道，该通道的信息包含了数据源端和目的端的地址、端口和数据存储类型，根据这些信息抽取和推送驱动能够分别从源端获取数据和将数据写入目标端；

4）在传输通道内建立源端到目的端的测点对应关系表，并通过接口适配器客户端导入至接口适配器服务中，所述对应关系表记录了源端和目标端数据库各自测点的基本属性结构，通过该对应关系，接口适配器服务能够准确无误的分配抽取和推送驱动将源端的数据采集、传输并存储至目标端；

5）启动数据传输通道，数据传输通道启动后，抽取驱动连接源端进行数据获取，并按照约定的标准格式发送给接口适配器服务；接口适配器服务将接收到的数据转转发给抽取驱动，抽取驱动连接目标端，并根据测点对应关系将数据发送给相应目标端进行测点存储，接口适配器服务实时跟踪通道的状态信息，协调抽取和推送驱动工作。

2.根据权利要求1所述的流程工业生产系统数据采集方法，其特征在于，所述接口适配器服务的配置参数包括IP地址、端口号以及工作目录，其中IP地址和端口号用于与接口适配器客户端、抽取和推送驱动的连接交互，工作目录用于存储包括通道和数据对应关系在内的元数据信息。

3.根据权利要求1或2所述的流程工业生产系统数据采集方法，其特征在于，抽取驱动和推送驱动的启动参与均由接口适配器服务自主分配并启动。