CN109857808A - 基于中立数据结构的纵向数据同步系统及方法 - Google Patents

Abstract

本发明公开了一种基于中立数据结构的纵向数据同步系统及方法，实现了从源端数据中心到目的端数据中心的数据同步，具备模型定义器、数据采集组件、数据投递组件和数据传输组件，其中，模型定义器用于构建数据流模型，数据采集组件完成数据源到内存数据的映射，以插件形式实现，用以适配不同的数据源；数据传输组件完成数据包的传输，以插件形式实现，用以适配不同的目标数据；数据投递组件完成内存数据到目标数据的映射，以插件形式实现，用以适配不同的传输协议。本发明通过扩展可以支持任意格式的数据交换，同时实现了应用集成，从而可以实现复杂的业务应用，具有良好的应用前景。

Description

基于中立数据结构的纵向数据同步系统及方法

技术领域

本发明涉及一种基于中立数据结构的纵向数据同步系统及方法，属于电网数据调控技术领域。

背景技术

随着特高压大电网的快速形成和发展，电网特性日益复杂，送受端、交直流紧耦合，电网运行一体化的特征明显，省级以上调度协同管理主网的需求强烈，客观上需要进一步提升调度控制支撑手段，支持电网调度实时业务协同、电网安排业务统筹、调度管理规范统一。

调控运行统一决策、分级控制、实时协同等业务模式的变化，客观上要求电网设备模型及调度运行管理数据在省级以上调度机构共享并保持一致性，实现精细化管理和智能化决策。为适应大电网发展要求，满足不同专业和业务对模型数据的需求，需完善技术手段，健全管理体系，建立模型数据中心，实现从建设到运行全过程的电网模型数据的统一维护、分级管理和全局共享机制。

纵向数据同步软件主要支撑国分模型数据云平台服务端和客户端之间的数据交互，通过通用配置工具实现平台级的同步功能。目前需要支撑同步的数据有管理类、模型类数据、运行类历史数据、数据字典。管理类、模型类数据是服务端和客户端之间双向交互，不仅需实现数据增量上传，而且需将汇集后的数据按订阅请求进行分发。运行类历史数据由客户端到服务端单项上传。数据字典数据由服务端到客户端分发，需实现一发多收功能。服务端和客户端采用不同厂商的数据库产品，所有客户端的数据库的厂商和版本也存在差异，因此数据同步应支持异构数据同步。

纵向数据同步软件主要实现从源端数据中心到目的端数据中心的数据同步功能，具备数据抽取组件、数据投递组件、数据传输组件、同步配置服务/工具四大模块，以及系统日志组件、运行监视工具、一致性校验组件三个辅助功能模块。软件须能够运行在不同硬件环境、操作系统(Linux、Windows等)，能够支撑不同类型数据库：关系型数据库(Oracle、MySql、达梦、金仓、南大通用等)、分布式列式数据库(HBase)，具备类型转换器功能，实现不同类型数据库之间的类型适配。

发明内容

本发明的目的在于提供一种基于中立数据结构的纵向数据同步系统及方法，实现从源端数据中心到目的端数据中心的数据同步功能，具备不同类型数据库之间的类型适配。

为达到上述目的，本发明采用的技术方案是：

基于中立数据格式的纵向数据同步系统，包括模型定义器、数据采集组件、数据投递组件和数据传输组件；所述模型定义器用于构建数据流模型，所述数据采集组件用于根据数据流模型进行数据采集，实现数据源到内存数据的映射，所述数据投递组件用于将对象数据转存到目的数据库中，所述数据传输组件用于根据数据流模型定义进行数据传输。

前述的数据流模型定义了从数据采集到数据投递的整个数据交换过程；所述数据采集组件以插件形式实现，用以适配不同的数据源；所述数据投递组件以插件形式实现，用以适配不同的传输协议；所述数据传输组件以插件形式实现，用以适配不同的目的数据。

前述的数据流模型由中立数据结构、数据域、数据节点和数据映射构成；

根据中立数据结构模型生成的磁盘文件的格式称为中立数据格式，所述中立数据格式是独立于发送端和接收端各自特定的数据格式，所述中立数据格式包含了数据交换的内容以及附加信息；

所述数据域为一个抽象的数据交换系统，所述数据域中定义数据交换系统的服务地址，数据交换系统的id和name，所述数据域中包含多个数据节点；

所述数据节点是对数据源或数据目标的抽象描述，所述数据节点定义数据节点id和type，所述数据节点类型包括：Databasse，EFile和Txt；

所述数据映射包括数据到中立数据结构的映射和中立数据结构到数据的映射两个种映射方式。

前述的中立数据格式包括一个记录中立数据结构信息及运行信息的头文件，一个以二进制格式存放交换数据的数据文件，以及一个或多个，记录和头文件中字段顺序相对应的数据在数据文件中的位置和长度的定位文件；所述中立数据结构信息包括交换的字段类型及其ID，所述运行信息为交换记录数；所述数据文件中按字节数组存放交换数据；所述定位文件中按8位字节存放数据。

前述的每个中立数据结构都有一个唯一标识且不变，一个中立数据结构只能应用于一个数据流模型。

前述的数据流模型有三个属性：数据流模型id，数据流模型name和mode，其中，mode分为push和pull两种类型，push为向接收节点主动发送数据；pull为向接收节点主动要数据。

一种基于中立数据格式的纵向数据同步方法，包括以下步骤：

1)根据配置定义工具提供的数据源信息、定时任务配置信息和映射表信息，构建交互映射信息表，对基础数据、管理数据、运行数据、数据模型和数据字典进行抽取，数据抽取完成后通过数据封装服务，封装成带数据类型信息的json字符串发送到数据传输组件；

2)把数据传输组件发送的对象数据转存到目的数据库中；

3)根据数据流模型定义进行数据传输。

前述的步骤1)中，进行数据抽取的具体实现过程如下：

11)读取交互映射信息表中的数据源，交互字段和过滤条件，定时任务配置信息中的定时任务类型、执行周期和时间范围，根据数据的时间戳执行对数据的抽取作业，完成数据的增量抽取；

12)读取交互映射信息表中的数据源，交互字段和过滤条件，执行手动抽取作业，完成对数据的全量抽取；

13)获得触发器触发的变化数据表更新消息后，执行对变化数据信息的抽取；

14)读取文件配置表中的文件名称和文件路径信息，定时任务配置信息中的定时任务类型、执行周期和时间范围，执行对数据文件的抽取作业，作业完成后执行文件归档。

前述的步骤3)进行数据传输的具体实现过程如下：

21)由数据传输组件对发送消息进行封装；

22)数据抽取完毕后，调用发送消息接口后把信息传递到传输通道中，数据投递组件调用接受消息接口，从传输通道中获取对应主题的消息；

23)进行数据分包，接收端接收数据后启动数据入库事务，入库完毕事务结束；不成功，事务回滚，重新入库；

24)通过数字签名的方式进行数据验证；

25)从数据传输组件中获取中立数据结构对象，通过字段的映射关系对中立数据结构进行匹配，并完成对字段类型的转换，最终完成对数据的装载。

前述的步骤3)数据传输过程中，发送端和接收端使用相同的中立数据结构定义数据流模型，发送端调用消息发送接口服务触发数据交换过程，发送消息服务生成数据包后进行发送，接收消息服务接收数据包。

本发明所达到的有益效果为：

本发明具备实时捕获变更数据，适配不同的传输协议，支持任意格式的数据交换。另外，支持数据服务数据交换，这种数据源直接从应用系统的服务接口读取数据，实现了应用集成，从而可以实现复杂的业务应用，具有良好的应用前景。

附图说明

图1为基于中立数据结构的纵向数据同步方法的组件结构图；

图2为本发明中数据流模型结构图；

图3为本发明中中立数据结构示意图；

图4为本发明中数据域示意图；

图5为本发明中数据节点示意图；

图6为本发明中数据映射示意图；

图7为本发明中数据装载流程图。

具体实施方式

下面结合附图所示的实施例对本发明做进一步描述。本描述仅用于更加清楚地说明本发明的技术方案，而不能以此限制本发明的保护范围。

如图1所示，本发明提供一种基于中立数据格式的纵向数据同步系统，主要实现从源端数据中心到目的端数据中心的数据同步功能，核心功能包括模型定义器、模型服务、数据采集组件、数据投递组件和数据传输组件，其中模型定义器与模型服务用于数据流模型的构建与服务，数据采集组件是根据数据流模型实现配置化的数据采集功能，数据采集组件完成数据源到内存数据的映射，以插件形式实现，用以适配不同的数据源，如数据库、文件夹等。数据投递组件实现对象数据转存到目的数据库中的过程，以插件形式实现，用以适配不同的传输协议，如FTP、HTTP、SMTP等。数据传输组件是根据数据流定义实现数据传输，以插件形式实现，用以适配不同的数据目标，如数据库、文件夹、服务接口等。服务监控、扫描进程、监听组件、多线程管理组件和脚本引擎为辅助功能。本发明能够支持多种数据源的数据交换：除了支持数据库，还支持XML、E语言、CIM、文本文件、Excel等电力行业常用的文件格式，这些都是通过扩展实现的，也就是说，通过扩展，可以支持任意格式的数据交换。另外，支持数据服务数据交换，这种数据源直接从应用系统的服务接口读取数据，实现了应用集成，从而可以实现复杂的业务应用，具有良好的应用前景。

核心功能实现步骤包括：

一、定义数据流模型：数据流模型是核心数据，数据流DataFlow模型定义了从数据采集到数据投递的整个数据交换过程。数据流DataFlow模型中包括中立数据结构NeutralDataStructure、数据域DataDomain、数据节点DataNode和数据映射，其中，数据映射包括数据到中立数据结构映射DtoNMapping和中立数据结构到数据映射NtoDMapping。

数据流模型Schema描述如图2所示：数据流DataFlow模型有三个属性：id，name和mode，其中，mode分为push和pull两种类型，push为向接收节点主动发送数据；pull为向接收节点主动要数据。中立数据结构、数据域、数据节点、数据映射的定义如下：a)中立数据结构：中立数据格式是独立于双方各自特定的数据格式，对双方数据交换所需的数据格式的抽象描述。中立数据格式可以包含多个数据表(这些表可以有父子关系)以及每个表包含的列，每个表的主键和外键。中立数据格式Schema如图3所示。

中立数据格式区别于中立数据结构模型，中立数据格式指系统根据中立数据结构模型生成的磁盘文件的格式，中立数据格式包含了数据交换的内容以及附加信息。由于中立数据格式要落地到磁盘并在网络上传输，就不得不考虑到性能问题。对于中立数据格式，影响性能的因素主要包括IO次数以及文件的尺寸。因此，在生成文件的过程中要尽量减少IO次数，并使得文件尺寸尽量的小，以利于网络传输。

中立数据格式包括多个文件，其中有一个header.hdr文件(头文件)，一个binary.dat文件(数据文件)，顾名思义就是以二进制格式存放交换数据的文件，一个或多个.pos文件(定位文件)，即记录每个字段的值在binary.dat文件中的位置及长度信息。定位文件和中立数据结构模型中的数据表对应，如果有多个数据表，就会有多个定位文件，定位文件的文件名称就是数据表的表名称。交换时，系统会生成一个交换实例ID，并在磁盘上生成一个以此ID为名称的文件夹，来统一存放这些文件。

头文件是一个XML格式的文件，示例如下：

头文件格式说明：

头文件中记录了中立数据结构信息及运行信息。运行信息主要是交换记录数；中立数据结构信息包括交换的字段类型及其ID。

数据文件中按字节数组存放数据，定位文件存放的是和头文件中字段顺序相对应的其数据在数据文件中的位置和长度。定位文件中按8位字节存放数据。

每个中立数据结构都有一个唯一标识，无论中立数据结构同步到什么地方，其唯一标识是不变的。一个中立数据结构只能应用于一个数据流，但可以多头投递，以实现不同类型的数据交换，如到数据库的交换、到文件的交换等。

b)数据域DataDomain：代表一个抽象的数据交换系统，数据域中可以包含多个数据节点，数据域Schema描述如图4所示，其中PX3000ServerURL表示数据交换系统的服务地址，对外只公开一个服务地址，内部可以是集群。

c)数据节点DataNode：是对数据源或数据目标的抽象描述，可以包含类型相同的一组节点实例，数据节点Schema描述如图5所示。数据节点类型type包括：Databasse，EFile和Txt。

d)数据映射DataMapping：数据到中立数据结构映射和中立数据结构到数据的映射是两个可逆过程，数据映射Schema描述如图6所示，其中DatabaseMapping是数据库与中立数据结构的数据映射，EFileMapping是第一类EFile与中立数据结构的数据映射，NoMapping是无映射关系，用户单纯文件传输。通过对XML标签的扩展，可以实现中立数据结构和其他格式的映射功能的扩展。如中立数据结构和数据库的映射，中立数据结构和E语言的映射，以后还可以增加和其他各种格式的映射。

二、数据采集：依据不同类型数据的特点，根据配置定义工具提供的数据源信息、定时任务配置信息和映射表信息，构建交互映射信息表。系统采用数据库抽取、文件抽取、服务接口三种不同的抽取方式，对基础数据、管理数据、运行数据、数据模型和数据字典进行抽取，数据抽取完成后通过数据封装服务，封装成带数据类型信息的json字符串发送到数据传输组件，所有数据抽取过程纳入统一的日志管理和运行监视。以基础数据为例，具体实现步骤如下：

21)读取交互映射信息表中的数据源，交互字段，过滤条件；定时任务配置信息中的定时任务类型、执行周期、时间范围，根据数据的时间戳执行对基础数据的抽取作业，完成数据的增量抽取。

22)读取交互映射信息表中的数据源，交互字段，过滤条件，执行手动抽取作业，完成对基础数据的全量抽取。

23)获得触发器触发的变化数据表更新消息后，执行对变化数据信息的抽取。

24)读取文件配置表中的文件名称、文件路径信息；定时任务配置信息中的定时任务类型、执行周期、时间范围，执行对基础数据文件的抽取作业，作业完成后执行文件归档。

本步骤中，能同时执行多个抽取任务，实现对不同数据源类型的混合抽取。

进一步的，能根据权限配置进行数据抽取，保证查询数据的安全。

三、数据投递：数据投递组件主要实现把数据传输组件需要发送的对象数据转存到目的数据库中的过程。根据数据的类型和业务需要，涉及到的数据存储主要包括关系型数据库、列式数据库、非结构化数据库、文件系统等。

其中类型转换具备将中立数据结构对象转换为目标数据库类型的功能。

四、数据传输：发送端和接收端使用相同的中立数据结构定义数据流模型。发送端调用消息发送接口服务来触发整个数据交换过程，其接口参数主要包括接收数据域、数据结构的标识以及待发送数据等信息。发送消息服务生成数据包后进行发送；接收消息服务接受到数据包后，根据数据流定义实现数据传输。

具体实现步骤如下：

31)数据封装：由数据传输服务进行对发送消息封装，采用自定义对象作为数据传输的媒介，该对象主要包括：数据唯一标识、发送节点、接受节点、发送用户、数据体等。

消息格式示例：

{

“同步规则名称”：“变压器同步规则”，//详见交互映射配置

“接受节点“：“国调中心”，

“发送节点“：“模型中心”，

“消息id”：“xxxx-xxxxx-xxxx”

“消息包id”：“1”

“是否为最后一个消息”：“是”

“DATA”:

{

“数据唯一标识”:全局数据ID；

“变电站名称”:“xxx用户变”，

“电压等级”:“500kV”,“VCHAR”

}，

“操作类型”:“C”，

“消息秘钥”：“xxxxxxxxxxxxxxxxxxxxx”

}

32)消息传递：数据抽取完毕后，调用发送消息接口后把信息传递到传输通道中；数据投递组件调用接受消息接口，从传输通道中获取对应主题的消息。发送与接受消息的接口由数据传输服务提供。

33)数据分包：为保证传输数据的完整性，接收端接收数据后启动数据入库事务，入库完毕事务结束；不成功，事务回滚，重新入库。

34)数据验证：在数据传递过程中，数据传输服务通过数字签名来确保传递信息的安全性与保密性。发送端生成的一段无法伪造的数字串，这段数字串同时也是对信息的发送端发送信息真实性的一个有效证明。该数字签名与数据体一起传送给接收端。接收端只有用发送端的公钥才能解密被加密的摘要信息，然后用HASH函数对收到的原文产生一个摘要信息，与解密的摘要信息对比。如果相同，则说明收到的信息是完整的，在传输过程中没有被修改，否则说明信息被修改过，因此数字签名能够验证信息的完整性。

35)数据装载：从数据传输组件中获取中立数据结构对象，通过字段的映射关系对中立数据结构的匹配，并完成对字段类型的转换，为数据持久化做准备，最终完成对数据的装载。装载流程如图7。

综上所述，基于中立数据结构的纵向数据同步功能，根据同步表信息配置进行数据抽取，并封装成数据传输时的消息体对象，服务端接受消息体对象后进行数据转换并加载到对应的数据表中。

本发明具备实时捕获变更数据，适配不同的传输协议，支持任意格式的数据交换。另外，支持数据服务数据交换，这种数据源直接从应用系统的服务接口读取数据，实现了应用集成，从而可以实现复杂的业务应用

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.基于中立数据格式的纵向数据同步系统，其特征在于，包括模型定义器、数据采集组件、数据投递组件和数据传输组件；所述模型定义器用于构建数据流模型，所述数据采集组件用于根据数据流模型进行数据采集，实现数据源到内存数据的映射，所述数据投递组件用于将对象数据转存到目的数据库中，所述数据传输组件用于根据数据流模型定义进行数据传输。

2.根据权利要求1所述的基于中立数据格式的纵向数据同步系统，其特征在于，所述数据流模型定义了从数据采集到数据投递的整个数据交换过程；所述数据采集组件以插件形式实现，用以适配不同的数据源；所述数据投递组件以插件形式实现，用以适配不同的传输协议；所述数据传输组件以插件形式实现，用以适配不同的目的数据。

3.根据权利要求2所述的基于中立数据格式的纵向数据同步系统，其特征在于，所述数据流模型由中立数据结构、数据域、数据节点和数据映射构成；

根据中立数据结构模型生成的磁盘文件的格式称为中立数据格式，所述中立数据格式是独立于发送端和接收端各自特定的数据格式，所述中立数据格式包含了数据交换的内容以及附加信息；

所述数据域为一个抽象的数据交换系统，所述数据域中定义数据交换系统的服务地址，数据交换系统的id和name，所述数据域中包含多个数据节点；

所述数据节点是对数据源或数据目标的抽象描述，所述数据节点定义数据节点id和type，所述数据节点类型包括：Databasse，EFile和Txt；

所述数据映射包括数据到中立数据结构的映射和中立数据结构到数据的映射两个种映射方式。

4.根据权利要求3所述的基于中立数据格式的纵向数据同步系统，其特征在于，所述中立数据格式包括一个记录中立数据结构信息及运行信息的头文件，一个以二进制格式存放交换数据的数据文件，以及一个或多个，记录和头文件中字段顺序相对应的数据在数据文件中的位置和长度的定位文件；所述中立数据结构信息包括交换的字段类型及其ID，所述运行信息为交换记录数；所述数据文件中按字节数组存放交换数据；所述定位文件中按8位字节存放数据。

5.根据权利要求3所述的基于中立数据格式的纵向数据同步系统，其特征在于，每个中立数据结构都有一个唯一标识且不变，一个中立数据结构只能应用于一个数据流模型。

6.根据权利要求3所述的基于中立数据格式的纵向数据同步系统，其特征在于，所述数据流模型有三个属性：数据流模型id，数据流模型name和mode，其中，mode分为push和pull两种类型，push为向接收节点主动发送数据；pull为向接收节点主动要数据。

7.一种基于中立数据格式的纵向数据同步方法，其特征在于，包括以下步骤：

1）根据配置定义工具提供的数据源信息、定时任务配置信息和映射表信息，构建交互映射信息表，对基础数据、管理数据、运行数据、数据模型和数据字典进行抽取，数据抽取完成后通过数据封装服务，封装成带数据类型信息的json字符串发送到数据传输组件；

2）把数据传输组件发送的对象数据转存到目的数据库中；

3）根据数据流模型定义进行数据传输。

8.根据权利要求7所述的基于中立数据格式的纵向数据同步方法，其特征在于，所述步骤1）中，进行数据抽取的具体实现过程如下：

11）读取交互映射信息表中的数据源，交互字段和过滤条件，定时任务配置信息中的定时任务类型、执行周期和时间范围，根据数据的时间戳执行对数据的抽取作业，完成数据的增量抽取；

12）读取交互映射信息表中的数据源，交互字段和过滤条件，执行手动抽取作业，完成对数据的全量抽取；

13）获得触发器触发的变化数据表更新消息后，执行对变化数据信息的抽取；

14）读取文件配置表中的文件名称和文件路径信息，定时任务配置信息中的定时任务类型、执行周期和时间范围，执行对数据文件的抽取作业，作业完成后执行文件归档。

9.根据权利要求7所述的基于中立数据格式的纵向数据同步方法，其特征在于，所述步骤3）中，进行数据传输的具体实现过程如下：

21）由数据传输组件对发送消息进行封装；

22）数据抽取完毕后，调用发送消息接口后把信息传递到传输通道中，数据投递组件调用接受消息接口，从传输通道中获取对应主题的消息；

23）进行数据分包，接收端接收数据后启动数据入库事务，入库完毕事务结束；不成功，事务回滚，重新入库；

24）通过数字签名的方式进行数据验证；

25）从数据传输组件中获取中立数据结构对象，通过字段的映射关系对中立数据结构进行匹配，并完成对字段类型的转换，最终完成对数据的装载。

10.根据权利要求7所述的基于中立数据格式的纵向数据同步方法，其特征在于，所述步骤3）数据传输过程中，发送端和接收端使用相同的中立数据结构定义数据流模型，发送端调用消息发送接口服务触发数据交换过程，发送消息服务生成数据包后进行发送，接收消息服务接收数据包。