CN104572939B - 一种行业内异构数据交换的数据查询方法 - Google Patents

Abstract

本发明公开了一种行业内异构数据交换的数据查询方法。本方法为：1)建立一行业标准词典，记录不同异构数据系统数据库结构与标准词典中数据结构的对应关系；2)在各异构数据系统之间建立查询条件下发和查询结果返回的传输通道，并在传输通道上发布其所支持的服务接口；3)各异构数据系统分别根据所述服务接口生成访问接口并注册到传输通道上；4)根据行业标准词典输入查询请求，然后通过异构数据系统的访问接口将该查询请求发送给所选异构数据系统；5)异构数据系统将收到的查询请求根据行业标准词典转换为自己能识别的查询语句进行查询，并返回查询结果。本发明能够使异构数据系统之间进行查询，大大提高了查询效率。

Description

一种行业内异构数据交换的数据查询方法

技术领域

本发明涉及计算机行业数据交互领域。具体的说，涉及一种使数据在不同的系统之间被正确的组织、传输和解析查询的方法。

技术背景

为了提高生产力，各行各业都建立了形形色色的信息化业务系统。由于早年各行业都处于探索阶段，缺少对信息化建设的整体规划，信息化业务系统建设通常是由各下级单位自行建设的，导致同行业内各下级单位相同功能的业务系统采用了不同厂家的产品，在功能上有差异，采用的开发语言有差异，采用的数据库有差异，数据存储格式有差异，形成了信息孤岛。

随着技术的发展和行业信息化意识的提高，各行业对业务数据越来越重视，行业主管部门希望把本行业的重要数据进行集中管理，进行数据大集中，形成整个行业的数据仓库，用来进行更高层次的数据分析和更全面的数据共享，大集中的数据库一般采用数据上报的技术进行处理。

但是行业数据大集中通常只会集中存储一些关键数据，更多的详细数据还是分散在各下级单位的数据库中。各下级单位之间会有数据互查的需求，上级单位也会需要到下级单位查询没有上报的数据。

在同级单位之间进行数据互查时，由于各单位业务系统的数据是异构的，为了达到互查的目标，必须制定统一的沟通标准，这个沟通标准是行业标准，行业内的所有单位和软件供应商都应该遵循该标准。基于该行业标准，进行查询条件的编码、传输和解码。多个系统间的数据查询模型如图1所示。

发明内容

本发明的目的是为行业内异构数据交换定义规则，让各个系统之间能互相理解对方的语法，然后根据对方要求把数据查询结果返回。

为实现上述目的，本发明的解决方案是：

一种行业内异构数据交换的数据查询方法，其步骤为：

1)建立一行业标准词典，记录不同异构数据系统数据库结构与标准词典中数据结构的对应关系；

2)在各异构数据系统之间建立查询条件下发和查询结果返回的传输通道，并在所述传输通道上发布其所支持的服务接口；

3)各所述异构数据系统分别根据所述服务接口生成访问接口并注册到所述传输通道上；

4)根据所述行业标准词典输入查询请求，然后通过所选异构数据系统的访问接口将该查询请求发送给所选异构数据系统；

5)所述异构数据系统将收到的查询请求根据所述行业标准词典转换为自己能识别的查询语句进行查询，并返回查询结果。

进一步的，所述行业标准词典包括数据集、字段和编码；其中，数据集对应于异构数据系统的数据库中的表，字段对应于异构数据系统的数据库中的字段，编码对应于异构数据系统的数据库中的字段值。

进一步的，创建所述行业标准词典的方法为：将各所述异构数据系统要交互的数据抽象出若干个数据集，每一数据集具有一编号、名称和含义；每一数据集包括若干字段；每一字段具有若干编码。

进一步的，所述数据集中的字段包括：字段编号、英文编码、中文名称、类型、长度、所用编码、表达格式。

进一步的，所述异构数据系统分别在所述传输通道上注册，获取一节点编号；所述查询请求包括查询发起者的异构数据系统标号、目标异构数据系统编号和查询条件。

进一步的，采用统一格式输入所述查询请求。

进一步的，所述查询请求为XML格式。

进一步的，所述返回结果采用统一格式。

进一步的，所述返回结果的格式为XML格式或JSON格式。

进一步的，所述传输通道为企业服务总线ESB。

本发明首先要搭建行业ESB(企业服务总线)，为查询条件下发和数据返回建立传输通道。

然后定义行业标准词典，定义出行业内都能识别的数据集、字段、编码。比如行业规定1表示男，0表示女。某企业1表示男，2表示女，那么该在向外提供数据时必须将2转换为0，否则行业内其他企业无法识别2。

最后根据标准词典确定查询条件下发的格式和查询结果返回的格式。本发明中采用统一定义的XML格式，便于不同的企业可以互相识别。

为了在行业间实现数据交换，需要在行业内部搭建ESB(企业服务总线)，由行业主管部门定义ESB上支持的服务接口，发布为Web Service。各下级单位要实现ESB的各个接口，并且在ESB上注册自己的访问接口，供其他单位访问本单位数据。本单位要使用其他单位数据时，只需要访问相应单位的ESB接口即可。

为了能让各单位能理解彼此的语法，首先需要定义行业标准词典，相当于语言中的单词。各单位在描述查询请求时必须使用行业标准词典，这样才能彼此理解。标准词典定义包含：数据集、字段、编码3个层次。数据集相当于数据库中的表，字段就相当于数据库中的字段，编码相当于数据库中字段的枚举值。有了这3层的定义，就可以让各个下级单位理解彼此的数据。

只有词典还不够，还应该描述出需要别的单位什么样的数据，所以还需要定义查询条件的表达格式。我们采用类SQL的表达方式来描述我们的查询条件，最后把查询条件形成一个XML下发给目标单位。

除了定义查询表达式格式，还需要定义返回结果格式。结果格式可以是XML或者JSON格式的，XML格式的更便于阅读，JSON格式的体积更小，传输开销更小。目标单位收到查询XML后，需要根据标准词典翻译成自己系统能识别的查询语句进行查询(因为查询XML的格式是行业标准，XML中每个节点是什么都有明确定义，比如该节点下描述的是要请求的要查询数据的目标节点信息，另一个节点描述的是要查询那个数据集。XML的结构和标准词典都属于行业标准)，查询出结果后，再根据标准词典把数据转换为符合行业标准的格式，返回给查询单位。

本发明的优点和积极效果：

a)ESB采用Web Service发布，是跨平台跨语言的。只要支持Web Service调用的系统就可以使用ESB。本发明能够使异构数据系统之间进行查询，大大提高了查询效率。

b)ESB的接口实现采用注册机制，保证了ESB的扩展性。ESB上增加了节点不需要在ESB上做任何处理。

c)行业标准词典的制定，使各下级单位能用统一语言描述自己的数据需求，又能维持现有的业务系统可以继续使用。只需要每个厂家把自己的数据结构和行业标准词典的数据结构对应。

d)查询类SQL的定义使各单位在互相查询时有极大的灵活性。

e)查询条件和查询结果返回是XML格式(也可以采用JSON格式)的，可以在多种开发语言下进行转换。

附图说明

图1是多个系统间的数据查询模型；

图2是行业ESB的结构示意图；

图3是查询条件的结构示意图；

图4是返回结果的结构示意图。

具体实施方式

图2是行业ESB的结构示意图。行业主管部门负责定义ESB的服务接口，为行业内的各级单位提供节点编码规则，提供节点注册功能。每个下级单位要使用ESB时都需要先在ESB中注册一个节点，需要访问其它单位的数据时，需要指明要访问哪个节点的数据。例如图2中，单位A在ESB中注册的节点号是1001，单位B在ESB中注册的节点号是1002。单位A想查询单位B的数据时，需要告诉ESB自己的节点号是1001，需要访问节点1002的数据，需要查询的数据要求。ESB在收到节点1001的请求后，会在注册信息中查询节点1002的信息，找到节点1002是单位B，然后调用单位B的实现接口，单位B返回查询结果后转发给单位A。

行业标准词典的定义按照颗粒度分为数据集、字段、编码3个层次，和我们定义本地数据库结构类似。在定义数据集时需要针对行业数据进行抽象，把整个行业要交互的数据抽象出若干个数据集，每个数据集表示一组特定含义的数据。给每个数据集定义编号、名称和含义，编号是数据集的唯一标识，在数据查询时要使用数据集的编号。字段是比数据集颗粒度更细的数据，通常用来表示一个属性。行业标准词典中要定义出每个字段的编号、英文编码、名称、类型、长度、所用编码、表达格式等信息。字段的编号是字段的唯一标识，在数据查询时要使用字段的编号。编码是用来定义字段的枚举值的，有的字段只能从若干个选项中进行选择。例如：我们要在行业标准词典中定义人员信息，我们需要先定义数据集：人员信息(BASIC_0001),BASIC_0001就是人员信息数据集的唯一标识。人员信息中包含人员姓名，性别，出生日期等字段，我们需要定义各个字段的信息如表1：

表1为人员信息数据集的字段表

编号

英文编码

名称

类型

长度

所用编码

备注

C01

NAME

姓名

char

20

C02

SEX

性别

char

1

CODE0001

C03

BIRTHDAY

出生日期

date

在上面的表格中，性别使用了编码，我们还需要在行业标准词典中定义这个编码的具体值，见下面表2：

性别编码(CODE0001)

表2为性别编码表

编码	含义
		1	男
2	女

在定义完行业标准词典后，还需要通过XML描述要查询的内容。XML中包含审计信息、数据要求、查询条件等信息(如图3所示)。审计信息主要验证请求用户的身份、记录用户来源等，用来做日志记录。数据要求中主要记录用户对查询数据的要求，例如：返回多少行数，优先级，是否异步查询等。查询条件是XML的核心内容，通过类SQL来组织查询条件。查询条件由投影、连接、选择、排序、分组等构成(名词见标准SQL定义)。投影是需要查询的字段。连接是需要查询的数据集。排序是需要排序的字段和排序方式。分组是需要分组的字段。上述的数据集和字段描述都采用行业标准词典中的定义。选择是查询条件的核心，查询条件比较复杂，支持多个字段的嵌套查询，多个字段之间支持and和or连接符，字段和值之间的关系需要定义＝、>、<、>＝、<＝、like等关系的表达方式。

最后还需要定义返回结果的格式。返回结果可以采用JSON和XML格式的，推荐使用JSON，因为返回结果数据可能会比较多。返回结果由成功标志、异常信息、数据集合构成(如图4所示)。成功标志说明本次查询是否成功。异常信息记录失败的报错信息。数据集合把查询结果封装为JSON或者XML返回。每一行数据的字段都使用行业标准词典中定义的字段。

Claims (8)

1.一种行业内异构数据交换的数据查询方法，其步骤为：

1)建立一行业标准词典，记录不同异构数据系统数据库结构与标准词典中数据结构的对应关系；所述行业标准词典包括数据集、字段和编码；其中，数据集对应于异构数据系统的数据库中的表，字段对应于异构数据系统的数据库中的字段，编码对应于异构数据系统的数据库中的字段值；创建所述行业标准词典的方法为：将各所述异构数据系统要交互的数据抽象出若干个数据集，每一数据集具有一编号、名称和含义；每一数据集包括若干字段；每一字段具有若干编码；

2)在各异构数据系统之间建立查询条件下发和查询结果返回的传输通道，并在所述传输通道上发布其所支持的服务接口；

3)各所述异构数据系统分别根据所述服务接口生成访问接口并注册到所述传输通道上；

4)根据所述行业标准词典输入查询请求，然后通过所选异构数据系统的访问接口将该查询请求发送给所选异构数据系统；

5)所述异构数据系统将收到的查询请求根据所述行业标准词典转换为自己能识别的查询语句进行查询，并返回查询结果。

2.如权利要求1所述的方法，其特征在于，所述数据集中的字段包括：字段编号、英文编码、中文名称、类型、长度、所用编码、表达格式。

3.如权利要求1或2所述方法，其特征在于，所述异构数据系统分别在所述传输通道上注册，获取一节点编号；所述查询请求包括查询发起者的异构数据系统标号、目标异构数据系统编号和查询条件。

4.如权利要求3所述的方法，其特征在于，采用统一格式输入所述查询请求。

5.如权利要求4所述的方法，其特征在于，所述查询请求为XML格式。

6.如权利要求1或2所述的方法，其特征在于，所述返回结果采用统一格式。

7.如权利要求6所述的方法，其特征在于，所述返回结果的格式为XML格式或JSON格式。

8.如权利要求1或2所述的方法，其特征在于，所述传输通道为企业服务总线ESB。