CN105407024A - 一种基于发布订阅通信机制的异构数据互通方法及装置 - Google Patents

Abstract

本发明公开了一种基于发布订阅通信机制的异构数据互通方法及装置，涉及通信领域，旨在提出一种基于发布订阅通信机制的异构数据互通方法，有效解决多系统之间数据异构的通信屏障。本发明技术要点：步骤1：进行异构数据互通的系统加载各自的数据自描述视图；步骤2：根据数据字典将数据发布方的数据自描述视图中的关键词的描述方式转换为数据订阅方的描述方式；步骤3：将转换后的数据序列化为可传输的格式；步骤4：根据发布与订阅的映射关系将序列化后的数据传输给数据订阅方；步骤5：数据订阅方接收序列化后的数据将其反序列化得到可识别的关键词。

Description

一种基于发布订阅通信机制的异构数据互通方法及装置

技术领域

本发明涉及通信领域，尤其是一种现场设备之间基于发布订阅通信机制的异构数据互通的方法。

背景技术

在工业生产现场，各个独立系统之间需要进行数据互通，现有的数据交互方式主要采用的是基于DDS的软件总线技术。

软件总线基本满足各个系统之间的松耦合设计需求，通过订阅主题和发布主题的映射实现系统之间的消息互联。系统在初始化加载时，向软总线注册数据主题的发布订阅信息；在数据传输阶段，作为数据发布方的系统将业务数据打包成主题格式，并发送到软总线，再由软总线推送给所有订阅该主题的系统。

然而现有的软件总线技术缺少对不同系统之间异构数据的转换传输机制。所谓异构数据主要是指对同一事物，不同系统的描述方式不同，例如同一参数，不同系统描述其的数据结构不同。现有的软件总线技术中，数据格式由发布方决定，订阅方只能按照发布方结构接收数据，发布方数据结构的变化将导致所有订阅方的软件修改，扩展性不足。

发明内容

本发明所要解决的技术问题是：针对现有技术存在的缺陷，提出一种基于发布订阅通信机制的异构数据互通方法，有效解决多系统之间数据异构的通信屏障。

本发明采用的技术方案包括以下步骤：

步骤1：进行异构数据互通的系统加载各自的数据自描述视图；所述数据自描述视图包括描述本系统预与其他系统进行异构数据互通的关键词；其中，发布数据的系统为数据发布方，订阅所述数据发布方发布的数据的系统为数据订阅方；

步骤2：根据数据字典将数据发布方的数据自描述视图中的关键词的描述方式转换为数据订阅方的描述方式；所述数据字典包括数据发布方的数据自描述视图中各个关键词的描述方式与数据订阅方的数据自描述视图中各个关键词的描述方式的映射关系；

步骤3：将转换后的数据序列化为可传输的格式；

步骤4：根据发布与订阅的映射关系将序列化后的数据传输给数据订阅方；

步骤5：数据订阅方接收序列化后的数据将其反序列化得到可识别的关键词。

优选的，所述数据自描述视图包括至少一个数据主题，及该数据主题对应的属性及关键词字段；所述属性为表示该数据主题为发布数据或订阅数据的属性标记。

进一步，所述步骤2中，根据用户输入的定制指令确定数据发布方的数据自描述视图中的需要转换的关键词，然后根据数据字典将所述关键词的描述方式转换为数据订阅方的描述方式。

本发明还提供了一种基于发布订阅通信机制的异构数据互通装置，包括：

数据视图加载单元，用于为进行异构数据互通的系统加载各自的数据自描述视图；所述数据自描述视图包括描述本系统预与其他系统进行异构数据互通的关键词；其中，发布数据的系统为数据发布方，订阅所述数据发布方发布的数据的系统为数据订阅方；

数据格式转换单元，用于根据数据字典将数据发布方的数据自描述视图中的关键词的描述方式转换为数据订阅方的描述方式；所述数据字典包括数据发布方的数据自描述视图中各个关键词的描述方式与数据订阅方的数据自描述视图中各个关键词的描述方式的映射关系；

数据序列化单元，用于将数据格式转换单元输出的转换后的数据序列化为可传输的格式；

数据传输单元，用于根据发布与订阅的映射关系将数据序列化单元输出的序列化后的数据传输给数据订阅方；或用于接收数据发布方输出的序列化后的数据；

数据反序列化单元，用于将接收到的序列化后的数据反序列化得到可识别的关键词。

进一步，还包括人机交互单元，用于接收用户的定制指令；

所述数据格式转换单元用于根据所述定制指令确定数据发布方的数据自描述视图中的需要转换的关键词，然后根据数据字典将所述关键词的描述方式转换为数据订阅方的描述方式。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明采用标准化通用化的数据描述语言，具备高可读性和可扩展性，并可以为数据编解码提供直接的软件支持，有效解决了不同系统平台带来的数据模式异构性；

2.本发明允许用户在不修改原本数据业务逻辑的前提下，实现同类异构数据的订阅和处理，使得用户在订阅不同系统的数据时，无需了解其他系统的软件架构，大大节省了开发成本；

3.本发明使用一套框架即可实现多系统平台之间的数据交互，减少了维护成本。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明一个具体实施例方式的原理框图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明提供了一套完整的运行框架和协议规范，协助来自不同厂商、同类异构的系统之间的数据传输，以最小的改动代价实现互联互通。

本发明需要预先制定好数据自描述视图及数据字典，这类文件是实现不同系统之间异构数据互通的基础。

数据自描述视图包括描述本系统预与其他系统进行异构数据互通的关键词，实现为可扩展标记语言的文件形式，采用标准化、结构化的语义规范，为来自不同厂商的数据提供统一的数据描述手段。接入数据互通框架的系统需要编写完整的数据自描述视图，作为数据能力的物化表现，数据自描述视图涵盖系统自身可处理的数据主题，该数据主题对应的属性及关键词字段，其中字段包括描述类型、字段长度、单位精度等的字段。

数据字典实现为文本文件形式，由管理员/用户在开发和使用阶段进行配置完善。数据字典是用于解析数据自描述视图的主要工具。数据字典的主要功能是建立各个系统数据自描述视图中各个关键词之间的映射关系，具体包括：组织管理来自不同集成商的数据主题，构建主题树，可根据主题描述字快速索引；利用字段关键字对领域内各种字段的属性进行描述，建立标准化的映射关系，对于单位精度等信息，还要建立转换机制；对字段语义进行概念化描述，建立同义词表。例如A系统中数据自描述视图的数据主题关键词脉宽，在数据字典中记载有A系统关键词脉宽在B系统数据自描述视图中对应的关键词为PW，又如A系统中数据自描述视图的单位关键词MHz，在数据字典中记载有其对应的B系统数据自描述视图中的单位关键词为10^6。

当上述两类文件准备完成后，系统之间便可按照以下步骤进行通信。

步骤1：进行异构数据互通的系统加载各自的数据自描述视图；我们将发布数据的系统称为数据发布方，将订阅所述数据发布方发布的数据的系统称为数据订阅方。

步骤2：根据数据字典将数据发布方的数据自描述视图中的关键词的描述方式转换为数据订阅方的描述方式。

步骤3：将转换后的数据序列化为可传输的格式；这里所述的序列化只是将数据按照一定的通信协议进行打包以便传输。

步骤4：根据发布与订阅的映射关系将序列化后的数据传输给数据订阅方。发布与订阅的映射关系表明了发布方的数据由哪些系统订阅。

步骤5：数据订阅方接收序列化后的数据将其反序列化得到可识别的关键词。

参见图1，下面结合一个具体例子进一步阐述本发明原理。

现假设工业现场中具有两台系统，系统A能侦收某波段信号，转换为结构类型为A型的数字信息，并通过网线输出；系统B能处理该波段信号的数字信息并图形化显示，结构类型为B型。将系统A和B通过进行集成，并使用本发明方法进行异构数据互通，使得集成后的系统具备侦收和图形化显示某波段信号的功能。

（1）数据自描述视图

分别编写A系统和B系统的数据自描述视图文件，遵循可扩展标记语言XML的规范。数据自描述视图包含的主要内容包括：

发布/订阅的属性标记；

通信主题信息描述，包含主题名、域名、同步/异步调用等属性；

数据类描述，同类数据具有相同的描述字；

数据结构描述，包含字段关键字、字段长度、类型精度、属性单位等信息，由数据字典对描述规则进行规范管理；

数据可序列化的其他信息，如循环体个数，链表长度等。

（2）数据字典

配置数据字典文件。数据字典的格式由本框架进行规范，基本遵循“Key:Value”或“Key:{Value1,Value2,…}”的描述形式。数据字典是一种元数据，即解释数据的数据，与被集成的系统/模块无关，具备通用性。数据字典的可配置项主要包括：

数据类，按数据类型划分数据主题；

字段属性，对字段关键字等进行精确描述，如A型数据和B型数据都包含描述脉宽的字段，则在数据字典中这两个字段的解释均为PW；

QoS，表征数据需求特征，如“频率计量单位：{MHz,KHz}”，“北向夹角：<60”；

单位换算表，描述单位簇内所有单位换算的定量关系，一般换算为最小单位，如“MHz:10^6”，“KHz：10^3”。

数据字典在框架初始化运行时加载到内存中，在异构数据转换时，首先通过数据类以及QoS寻找相应的数据主题，然后通过字段描述选择发布方数据结构中的字段，进而将各个字段映射转换为订阅方所需要的数据结构。

上述两类文件准备完成后，A系统与B系统之间便可进行通信。

本实施例中基于数据能力适配器及数据能力通信层完成A系统与B系统之间的通信。

数据能力适配器实现为动态链接库的形式，集成系统中的发布方和订阅方都要调用相关接口，实现异构系统的数据交互。

具体的，数据能力适配器包括以下接口：

1）数据视图加载接口

数据发布方和数据订阅方调用该接口来加载数据自描述视图，发送给框架，由框架管理并建立发布-订阅映射关系。

2）数据格式转换接口

数据发布方调用该接口，根据数据字典对不同字段进行数据拆分并转换为为订阅方能够识别的数据。

3）数据序列化接口

数据发布方调用该接口，将转换后的数据序列化为可传输的格式。

4）数据反序列化接口

数据订阅方调用该接口，将接收的序列化数据流转换成可识别的数据格式。

5）数据传输通道接口

数据发布方和订阅方调用该接口，建立点对点的数据传输通路，完成初始化和握手协议后，数据流就能持续地进行传输。

数据能力适配器的转换机制对数据发送方和订阅方都是透明的，异构数据的转换无需修改原系统/模块的处理逻辑，大大提高了本套框架的易用性。

数据能力通信层也实现为动态链接库的形式，是本实施例最主要的构件之一。数据能力通信层构建于数据总线之上，负责加载管理全部数据自描述视图和数据字典，建立订阅-发布主题映射和数据通路，以及点对点的可靠数据传输。数据能力通信层提供一套交互接口和图形界面，供接入本框架的数据厂商人工选择数据互通对象以及互通方式，包括需要建立转换的字段要求、单位精度换算规则、数据筛选条件等。此外，数据能力通信层还包含一系列高可靠性转换和传输协议，实现数据在不同集成商系统之间的跨平台传输。

在本实例中，数据能力通信层实现为DLL格式的二进制文件，提供一套图形化的监控工具。系统A和系统B分别调用数据视图加载接口，加载各自的数据自描述视图。数据能力通信层通过查询数据类信息建立匹配关系，并动态生成新的通信主题。监控工具图形化显示已匹配上的数据类之间的字段映射关系，用户通过监控工具选择重点关注的字段，根据数据字典生成重点关注字段的格式转换规则表，数据能力通信层为格式转换规则表分配映射ID。A系统在调用数据格式转换接口时，通过查询映射ID获取对应的格式转换规则表，进而完成数据的格式重构。然后调用数据序列化接口。在数据传输时，A系统调用数据传输通道接口向B系统发送数据。

B系统接收到数据后，调用数据反序列化接口将序列化数据反序列化，得到可识别的数据。

在其他实施例中，每个系统上存储有数据字典，这样便无需生成和传输部分字段的格式转换规则表。

在工业现场，每台系统都可能成为数据发布方及数据订阅方，因此在每个系统中都包含了数据能力适配器整套接口，各系统根据需要选择相应的接口。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种基于发布订阅通信机制的异构数据互通方法，其特征在于，包括：

步骤1：进行异构数据互通的系统加载各自的数据自描述视图；所述数据自描述视图包括描述本系统预与其他系统进行异构数据互通的关键词；其中，发布数据的系统为数据发布方，订阅所述数据发布方发布的数据的系统为数据订阅方；

步骤2：根据数据字典将数据发布方的数据自描述视图中的关键词的描述方式转换为数据订阅方的描述方式；所述数据字典包括数据发布方的数据自描述视图中各个关键词的描述方式与数据订阅方的数据自描述视图中各个关键词的描述方式的映射关系；

步骤3：将转换后的数据序列化为可传输的格式；

步骤4：根据发布与订阅的映射关系将序列化后的数据传输给数据订阅方；

步骤5：数据订阅方接收序列化后的数据将其反序列化得到可识别的关键词。

2.根据权利要求1所述的一种基于发布订阅通信机制的异构数据互通方法，其特征在于，所述数据自描述视图包括至少一个数据主题，及该数据主题对应的属性及关键词字段；所述属性为表示该数据主题为发布数据或订阅数据的属性标记。

3.根据权利要求1所述的一种基于发布订阅通信机制的异构数据互通方法，其特征在于，所述步骤2中，根据用户输入的定制指令确定数据发布方的数据自描述视图中的需要转换的关键词，然后根据数据字典将所述关键词的描述方式转换为数据订阅方的描述方式。

4.一种基于发布订阅通信机制的异构数据互通装置，其特征在于，包括：

数据视图加载单元，用于为进行异构数据互通的系统加载各自的数据自描述视图；所述数据自描述视图包括描述本系统预与其他系统进行异构数据互通的关键词；其中，发布数据的系统为数据发布方，订阅所述数据发布方发布的数据的系统为数据订阅方；

数据格式转换单元，用于根据数据字典将数据发布方的数据自描述视图中的关键词的描述方式转换为数据订阅方的描述方式；所述数据字典包括数据发布方的数据自描述视图中各个关键词的描述方式与数据订阅方的数据自描述视图中各个关键词的描述方式的映射关系；

数据序列化单元，用于将数据格式转换单元输出的转换后的数据序列化为可传输的格式；

数据传输单元，用于根据发布与订阅的映射关系将数据序列化单元输出的序列化后的数据传输给数据订阅方；或用于接收数据发布方输出的序列化后的数据；

数据反序列化单元，用于将接收到的序列化后的数据反序列化得到可识别的关键词。

5.根据权利要求4所述的一种基于发布订阅通信机制的异构数据互通装置，其特征在于，所述数据自描述视图包括至少一个数据主题及其对应的属性及关键词字段；所述属性为表示该数据主题为发布数据或订阅数据的属性标记。

6.根据权利要求4所述的一种基于发布订阅通信机制的异构数据互通装置，其特征在于，还包括人机交互单元，用于接收用户的定制指令；

所述数据格式转换单元用于根据所述定制指令确定数据发布方的数据自描述视图中的需要转换的关键词，然后根据数据字典将所述关键词的描述方式转换为数据订阅方的描述方式。