CN102970328A

CN102970328A - 电力行业典型生产系统数据在线迁移方法

Info

Publication number: CN102970328A
Application number: CN2012104136209A
Authority: CN
Inventors: 史英杰; 粟勇; 朱恒
Original assignee: CHINA REALTIME DATABASE Co Ltd; State Grid Corp of China SGCC
Current assignee: CHINA REALTIME DATABASE Co Ltd; State Grid Corp of China SGCC
Priority date: 2012-10-25
Filing date: 2012-10-25
Publication date: 2013-03-13
Anticipated expiration: 2032-10-25
Also published as: CN102970328B

Abstract

本发明公开了一种电力行业典型生产系统数据在线迁移方法，以解决电力系统生产环境下，位于不同安全区域的不同数据库之间的数据迁移问题，本发明采用部署在各安全区内的数据接口服务器，负责所有迁移数据的获取、格式转换、解析以及写入过程；采用中转服务器在各安全区负责所有数据文件的传输及中转工作，减少接口服务程序在数据传输方面的压力，确保系统稳定运行；采用国调制定的标准E格式语言文件作为载体，通过中转服务程序和隔离网闸专用传输工具相结合的方式进行跨隔离网闸数据传输，保证数据安全。本发明确保了现有生产系统(特别是数据库系统)的正常稳定运行，从而实现了在线、安全、稳定的数据迁移。

Description

电力行业典型生产系统数据在线迁移方法

技术领域

本发明涉及一种数据在线迁移方法，特别是涉及调度与信息的数据交换、实时/历史数据在线迁移、以及数据接入方面，属于电力系统信息化及自动化领域。

背景技术

随着电力系统信息化、自动化水平的不断提高，数据库技术的不断发展和分布式理论及技术的广泛应用，出现了多种数据库同时存在于同一套生产系统的现象。伴随着系统的升级以及数据库的升级，要想最大限度地利用现有资源，避免重复开发的浪费，必须解决异种数据库操作的问题，而通过数据迁移将不同数据库中的数据集中到同一个数据库中便是解决该问题的途径之一。

现有的数据迁移方法主要有：逻辑卷数据镜像、直接拷贝、备份恢复、数据库工具迁移、存储虚拟化等。然而这些方法主要针对的是同种数据库(数据结构统一或相近)之间的数据转移或数据备份，并不能满足异种数据库间(数据结构不一致)的数据迁移。为了解决该问题，有研究人员提出了基于异种数据库的数据迁移方法及实现，例如，文献《基于Smallworld平台的配电GIS系统数据迁移方法》（作者：刘理峰, 叶宝莹, 赵勇）提出的基于Smallworld平台的配电GIS系统数据迁移方法主要考虑了同一安全区的两套系统之间数据迁移，但缺乏对电力系统跨区域(如生产安全区和信息安全区)之间的数据传输环境特殊性考虑；文献《信息系统数据迁移方法研究与应用》（作者：刘天时, 蒙东升, 王田均等）提出的信息系统数据迁移方法优点在于设计了比较通用的数据导出格式，缺点在于其备份文件为可编辑纯文本文件，极大地影响系统安全；文献《数据库间数据迁移和数据共享的实现》（作者：廖利辉, 姜彤, 李静）提出的数据迁移方法主要是利用Oracle提供的导入/导出(Imp/Exp)和SQL*Loader工具，以及SQL Server提供的DTS工具实现对关系型数据库的数据迁移，其不足在于其应用局限在关系型数据库之间，对其他类型的数据库，特别是对具有时间序列特性的实时/历史数据库之间相互的数据迁移不能够很好的支持。目前现有的关于数据迁移方面的发明专利《数据迁移方法及信息处理系统》（CN101154146）、《数据迁移的方法和系统》（CN102135963A）主要解决现有的数据迁移方法效率低、通用性差的技术问题，并未考虑在电力系统生产环境下跨区域数据迁移的特殊情况，即当两个数据库之间存在单向(正/反向)网络隔离装置（又称单向隔离网闸）（参见申永辉著的《电力专用安全隔离装置的原理和应用》）的情况下，且在不影响现有数据库系统正常运行的前提下，如何在线完成数据库之间的数据迁移问题。

发明内容

为了解决电力系统生产环境下，位于不同安全区域的不同数据库之间的数据迁移问题，特别是在确保现有生产系统(特别是数据库系统)正常稳定运行的前提下，完成数据穿越单向(正/反向)网络隔离装置，最终实现数据库在线、安全、稳定的数据迁移。本发明提供了一种电力行业典型生产系统数据在线迁移方法，主要包括如下步骤：

（1）由于本发明方法需要实现在不同安全区的不同数据库之间进行数据迁移，将有数据迁出的安全区称为迁出区，将有数据迁入的安全区称为迁入区；获取各个待迁移数据库的接口文件(接口文件由数据库生产商提供，每个数据库都有其相对应的接口文件，用于二次开发。例如，现需要将安全区Ⅳ的数据库A中的数据迁至安全区Ⅲ的数据库B中，则安全区Ⅳ中的接口服务程序的任务主要是从数据库A中获取数据，因此它需要数据库A的接口，而安全区Ⅲ中的接口服务程序的任务主要是将数据写入数据库B中，因此它需要数据库B的接口)，根据各数据库在系统中的应用，分别编译生成与各自应用相匹配的接口服务程序；在迁入及迁出区的接口服务器上分别部署接口服务程序，主要负责连接各个安全区的数据库，生成并解析E语言文件，从迁出数据库获取实时数据或历史数据，向迁入数据库输入数据；连接数据库、读取数据、写入数据都通过调用数据库本身提供的数据接口实现；根据该区域的迁出、迁入数据库数量，来选择所述接口服务器在同一安全区的部署数量，即接口服务器在同一安全区可以部署多台，以缓解当该区域的迁出、迁入数据库数量较大时接口服务程序的压力；通常，一个接口服务程序负责迁移的数据库(数据提交频率为秒级)个数不超过10个；

接口服务程序分为迁出区接口服务程序及迁入区接口服务程序，迁出区接口服务程序负责调用迁出区数据库接口并获取数据，将该数据按照一定格式写入文件待发送；迁入区接口服务程序负责解析上述从迁出区接口服务程序接收到的数据文件，并调用迁入区数据库接口向其写入数据；

（2）在迁入及迁出区的中转服务器上分别部署中转服务程序；中转服务程序主要负责发送和接收E格式文件，并将文件传输到指定的工作目录下，以供接口服务程序使用；对于中转服务程序，本发明开发了一种基于TCP协议的数据传输软件，用以自动搜索文件目录，文件检测，并进行实时传输，整个文件传输过程避免了人工干预，从而实现文件传输自动化。中转服务程序分为迁出区中转服务程序与迁入区中转服务程序；中转服务器在同一安全区部署一台，且当现场进行数据迁移的应用比较少时，为节约资源，中转服务程序可以与接口服务程序部署在同一台服务器中；

（3）在迁入、迁出区之间配置单向网络隔离装置（即单向隔离网闸），依照单向隔离网闸用户说明手册，对于不同安全区之间的数据迁移，根据单向隔离网闸类型以及网络环境的不同，选择相应的配置规则；

（4）制定两个数据库之间的标签点对应关系表，以记录迁出数据库中的数据与迁入数据库中数据的对应关系，并通过接口服务程序接口导入到迁出区接口服务程序中，由用户选择关心的标签点的实时数据或历史数据；标签点对应关系表主要记录了迁入、迁出两个数据库的各自标签点(指数据库中一批数据对应的归属，如温度、压力等)的基本属性结构(名称、ID、描述、数据类型、单位)，以及各个属性的对应关系情况(例如在数据库A中的某个标签点其名称Name_A在数据库B中对应的名称为Name_B)。

本方法中，迁出区接口服务程序优选的实现流程为：

（1）定时时间到；

（2）调用迁出数据库接口获取数据；

（3）根据标签点对应关系表，查找数据是否为迁入数据库所需：若是，则根据标签点对应关系表进行数据转换；若否，返回步骤（1）；

（4）将转换后的数据以E格式形式写入本地文件，待发送；

（5）由发送线程判断发送目录中是否存在待发送文件：若是，向迁出区中转服务器发送文件；若否，循环本步骤；

（6）结束；

迁入区接口服务程序优选的实现流程为：

（1）启动接收线程，接收从迁入区中转服务器传来的数据文件；

（2）解析从迁入区中转服务器传来的数据文件；

（3）调用迁入数据库接口，写入数据；

（4）判断文件是否读取完成：若是，删除该文件；若否，返回步骤（2）；

（5）结束。

迁出区中转服务程序优选的实现流程为：

（1）接收由迁出区接口服务程序发送来的文件，并将其放在本地目录；

（2）由主线程查看本地目录中是否有已收到的文件：若是，向迁入区中转服务器发送文件；若否，循环本步骤；

（3）结束；

迁入区中转服务程序优选的实现流程为：

（1）接收由迁出区中转服务程序发送来的文件，并将其放在本地目录；

（2）由主线程查看本地目录中是否有已收到的文件：若是，向迁入区接口服务器发送文件；若否，循环本步骤；

（3）结束。

在上述接口服务程序以及中转服务程序流程中，发送文件的流程为：

（1）打开文件，获取文件信息；

（2）创建socket连接；

（3）发送包头，判断回复是否为1：若是，则打开文件，顺序读取发送文件中固定大小的数据包；若否，则转到步骤（6）；

（4）判断回复是否为1：若是，转下一步；若否，转到步骤（6）；

（5）判断文件是否读取完成：若是，关闭、删除文件，转到步骤（7）；若否，转到步骤（6）；

（6）关闭文件；

（7）结束。

在上述接口服务程序以及中转服务程序流程中，接收文件的流程为：

（1）接收包头，判断包的正确性：若正确，则生成空文件；若不正确，关闭socket连接，转到步骤（5）；

（2）接收数据包，判断是否接收成功：若是，将接收到的数据写入文件；若否，转到步骤（4）；

（3）判断是否接收完成：若是，则关闭文件，转到步骤（5）；若否，转到步骤（4）；

（4）关闭socket连接，删除文件；

（5）结束。

本发明首先解决了电力系统典型生产环境下，位于不同安全区域的不同数据库之间的数据迁移问题；其次，由于系统支持反向网络隔离装置，因此可以支持数据在安全区域之间逆向数据传输，解决了原先只能从一个特定安全区域到另一个特定安全区域的单向数据传输情况，扩展了行业上层的应用；最后，由于整个数据迁移过程极大的减少了人为因素，并且能够确保现有生产系统(特别是数据库系统)的正常稳定运行，从而实现了在线、安全、稳定的数据迁移。

附图说明

图1是数据在线迁移部署框架结构图(正/反向隔离网闸环境)。

图2是数据在线迁移部署框架结构图(局域网环境)。

图3是接口服务程序实现流程示意图。

图4是中转服务程序实现流程示意图。

图5是发送文件流程示意图。

图6是接收文件流程示意图。

具体实施方式

本发明由中转服务器和接口服务器共同完成迁移工作，采用的技术方案如下：

首先，通过各个数据库自身提供的数据接口，针对不同安全区的应用，编译并生成特定的接口服务程序，目的是从迁出数据库获取实时/历史数据、数据格式转换、以及向迁入数据库写入数据，这项工作主要在各个安全区的接口服务器上实现；迁出区接口服务程序专门负责获取数据、生成E格式语言文件，迁入区接口服务程序负责解析E文件、迁入数据工作；接口服务器在同一区域可以部署多台，连接各个安全区的数据库。

然后，由中转服务程序专门负责文件传输工作，即发送和接收E格式文件，并将文件传输到指定的工作目录下，以供接口服务使用；中转服务程序可以有效解决在同一安全区存在多个数据库时导致的接口服务压力过大的问题，还可以实现文件穿越正向隔离网闸以及同网络区域(普通局域网)传输的功能。中转服务器在同一区域部署一台，且中转服务可以与接口服务部署在同一台服务器中。

在迁入、迁出区之间配置单向隔离网闸，依照单向隔离网闸用户说明手册，对于不同安全区之间的数据迁移，根据单向隔离网闸类型以及网络环境的不同，选择相应的配置规则；跨隔离网闸的数据传输通过E格式语言文件实现，即数据通过E文件这个载体进行传输，由于该文件是国调制定的一种通用的数据传输标准，可以穿越隔离网闸，从而保证了数据安全；

最后，制定两个数据库之间的标签点对应关系表，并通过接口服务程序接口导入到迁出区接口服务程序中，由用户选择关心的标签点的实时数据或历史数据；标签点对应关系表主要记录了迁入、迁出两个数据库的各自标签点的基本属性结构，以及各个属性的对应关系，基本属性包括（名称、ID、描述、数据类型、单位）。

下面结合附图和实施例对本发明作进一步详细说明。

附图1是网络环境中存在正/反向隔离装置的情况下，数据在线迁移部署框架结构图例。图中装置1-3同属一个安全区域，装置5-9同属另一个安全区域，向右的箭头表示数据流向，包含5、6装置的云图标表示由路由器桥接而成的局域网。装置1-9的说明如下：

1 – 迁出数据库服务器，其中装有生产数据库，在数据迁移过程中，数据库服务不停止运行。

2 – 迁出区接口服务器，通过数据库1提供的接口，连接数据库1，并从中获取数据，生成E格式语言文件。

3 – 迁出区中转服务器，可以与2合并在同一台服务器中，读取2中的E语言文件，并发送到7中。

4 – 单向隔离装置，由第三方提供，该装置只支持单向数据传输，有正向、反向、横向、纵向之分，本发明只支持正向和反向隔离装置。

5 – 路由器，与4直接连接。

6 – 路由器，与7直接连接，与5共同构成局域网。

7 – 迁入区中转服务器，接收3传来的E语言文件，并发送到8中。

8 – 迁入区接口服务器，可以与7合并在同一台服务器中，接收7传来的E语言文件，解析并调用数据库9的接口，向数据库9中写入数据。

9 – 迁入数据库服务器，在数据迁移过程中，数据库服务不停止运行。

以附图1所示的带有网络隔离装置的网络环境部署为例，假设需要从安全区Ⅱ的数据库1到安全区Ⅲ的数据库9进行数据在线迁移，中间为正向网闸，具体的IP地址及网络信息示例如下（以下标号1-9对应图1中的1-9号附图标记）：

1 – IP地址:13.126.2.65。

2 – IP地址:13.126.56.20，网关地址：13.126.56.1，与1的连接正常。

3 – 与2为同一台服务器。

4 – 单向隔离装置，正向型。

5 – 网关地址：13.74.201.3。

6 – 网关地址：13.74.112.48。

7 – IP地址:13.74.2.36。

8 – 与7为同一台服务器，与9的连接正常。

9 – IP地址:13.74.2.59。

步骤1：在2或3上部署接口服务程序（接口服务程序的实现流程见附图3），主要负责连接安全区Ⅱ的数据库1，获取数据库1的实时数据或历史数据，生成E语言文件，并暂时放置在本地指定工作目录下；

步骤2：在7或8上部署接口服务程序，主要负责解析E语言文件，连接安全区Ⅲ的数据库9，向其中输入数据；

步骤3：在2或3上部署中转服务程序（中转服务程序的实现流程见附图4），主要负责自动搜索E文件目录，文件检测，并实时向7或8上的中转服务发送E格式文件；

步骤4：在7或8上部署中转服务程序，主要负责接收由2或3上的中转服务传来的E格式文件，并将文件传输到指定的工作目录下，以供7或8上的的接口服务使用；

步骤5：配置单向网络隔离装置4(正向隔离网闸)，见下表

外网		内网
				IP	13.126.56.20	IP	13.74.2.36
端口	0	端口	0
				虚拟IP	13.74.201.33	虚拟IP	13.126.56.36
虚拟路由	否	虚拟路由	否
				网口	eth0	网口	eth0

				IP	13.126.56.20	IP	13.74.2.36
端口	0	端口	0
				虚拟IP	13.74.201.3	虚拟IP	13.126.56.1
虚拟路由	否	虚拟路由	是
				网口	eth0	网口	eth0

步骤6：制定两个数据库之间的标签点对应关系表(该表格为普通的excel表格)，例如在数据库1中的某个标签点其名称Name_1在数据库9中对应的名称为Name_9；

步骤7：通过Ⅱ区接口服务程序接口将标签点对应关系表导入到Ⅱ区接口服务程序中，选择相关点的实时数据或历史数据(相关点是指用户关心的标签点，选择完成后，系统将所选点的数据自动进行迁移)。

本发明方法也适用于在同一安全区域的多个数据库之间的数据迁移。附图2是网络环境为单纯的局域网(即不存在网络隔离装置)时，数据在线迁移部署框架结构图例。图中向右的箭头表示数据流向，包含4、5装置的云图标表示由路由器桥接而成的局域网。装置1-8的说明如下：

2 – 迁出区接口服务器，通过数据库1提供的接口，连接数据库1，并从中获取数据，并生成E格式语言文件。

4 – 路由器，与3直接连接。

5 – 路由器，与4共同构成局域网。

6– 迁入区中转服务器，接收3传来的E语言文件，并发送到8中。

7 – 迁入区接口服务器，可以与7合并在同一台服务器中，接收7传来的E语言文件，解析并调用数据库9的接口，向数据库9中写入数据。

8 – 迁入数据库服务器，在数据迁移过程中，数据库服务不停止运行。

以附图2所示的局域网环境部署为例，假设需要从数据库1到数据库8进行数据在线迁移，具体的IP地址及网络信息示例如下：

1 – IP地址:13.126.2.65。

3 – 与2为同一台服务器。

4 – 网关地址：13.74.201.3。

5 – 网关地址：13.74.112.48。

6 – IP地址:13.74.2.36。

7 – 与6为同一台服务器，与8的连接正常。

8 – IP地址:13.74.2.59。

步骤1：在2或3上部署接口服务程序（接口服务程序的实现流程见附图3）。主要负责连接数据库1，获取数据库1的实时/历史数据，生成E语言文件，并暂时放置在本地指定工作目录下；

步骤2：在6或7上部署接口服务程序。主要负责解析E语言文件，连接数据库8，向其中输入数据。

步骤3：在2或3上部署中转服务程序（中转服务程序的实现流程见附图4）。主要负责自动搜索E文件目录，文件检测，并实时向6或7的中转服务发送E格式文件；

步骤4：在6或7上部署中转服务程序。主要负责接收由2或3中转服务传来的E格式文件，并将文件传输到指定的工作目录下，以供6或7的接口服务使用；

步骤5：制定两个数据库之间的标签点对应关系表(该表格为普通的excel表格)，例如在数据库1中的某个标签点其名称Name_1在数据库8中对应的名称为Name_8；

步骤6：通过接口服务程序接口将标签点对应关系表导入到接口服务程序中，选择相关点的实时数据或历史数据(相关点是指用户关心的标签点，选择完成后，系统将所选点的数据自动进行迁移)。

本发明按照现场项目实施例进行了说明，因此凡采用等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围之内。

Claims

1.一种电力行业典型生产系统数据在线迁移方法，其特征在于，包括如下步骤：

（1）本发明方法将有数据迁出的安全区称为迁出区，将有数据迁入的安全区称为迁入区；获取各个待迁移数据库的接口文件，根据各数据库在系统中的应用，分别编译生成与各自应用相匹配的接口服务程序；在迁入及迁出区的接口服务器上分别部署接口服务程序，主要负责连接各个安全区的数据库，生成并解析E语言文件，从迁出数据库获取实时数据或历史数据，向迁入数据库输入数据；连接数据库、读取数据、写入数据都通过调用数据库本身提供的数据接口实现；

（2）在迁入及迁出区的中转服务器上分别部署中转服务程序；中转服务程序主要负责发送和接收E格式文件，并将文件传输到指定的工作目录下，以供接口服务程序使用；中转服务程序分为迁出区中转服务程序与迁入区中转服务程序；中转服务器在同一安全区部署一台；

（3）在迁入、迁出区之间配置单向隔离网闸，依照单向隔离网闸用户说明手册，对于不同安全区之间的数据迁移，根据单向隔离网闸类型以及网络环境的不同，选择相应的配置规则；

（4）制定两个数据库之间的标签点对应关系表，并通过接口服务程序接口导入到迁出区接口服务程序中，由用户选择关心的标签点的实时数据或历史数据；标签点对应关系表主要记录了迁入、迁出两个数据库的各自标签点的基本属性结构，以及各个属性的对应关系。

2.根据权利要求1所述的方法，其特征是所述迁出区接口服务程序的实现流程为：

（1）定时时间到；

（2）调用迁出数据库接口获取数据；

（4）将转换后的数据以E格式形式写入本地文件，待发送；

（6）结束；

所述迁入区接口服务程序的实现流程为：

启动接收线程，接收从迁入区中转服务器传来的数据文件；

解析从迁入区中转服务器传来的数据文件；

调用迁入数据库接口，写入数据；

判断文件是否读取完成：若是，删除该文件；若否，返回步骤（2）；

结束。

3.根据权利要求1所述的方法，其特征是所述迁出区中转服务程序的实现流程为：

（3）结束；

所述迁入区中转服务程序的实现流程为：

（3）结束。

4.根据权利要求2或3所述的方法，其特征是所述发送文件流程为：

（1）打开文件，获取文件信息；

（2）创建socket连接；

（6）关闭文件；

（7）结束。

5.根据权利要求2或3所述的方法，其特征是所述接收文件流程为：

（4）关闭socket连接，删除文件；

（5）结束。

6.根据权利要求1-3任意一项所述的方法，其特征是：根据该区域的迁出、迁入数据库数量，来选择所述接口服务器在同一安全区的部署数量；在满足现场进行数据迁移的前提下，将所述中转服务程序与接口服务程序部署在同一台服务器中以节约资源。