CN113609141B - 一种基于api拼接的无侵入式跨库数据融合方法 - Google Patents

Abstract

本发明适用于数据融合技术领域，提供一种基于API拼接的无侵入式跨库数据融合方法，本发明基于API拼接技术，实现跨库数据服务协同，构建分布式“服务链”，将跨领域、跨地域的多个数据节点，通过相同实体ID“拼接”为一个整体，动态构建基于分布式服务的“图谱网络”，用于实现将政务大数据中心里的主数据实体与远程存储在业务部门的业务数据实体“关联拼接”，实现跨部门数据管控、数据协同，提升数据应用水平。

Description

一种基于API拼接的无侵入式跨库数据融合方法

技术领域

本发明属于数据融合技术领域，尤其涉及一种基于API拼接的无侵入式跨库数据融合方法。

背景技术

近年来，为适应智慧城市建设发展，多元信息碰撞、关联、融合的需求大增，政务数据交换与共享的力度有增无减。通常存储于政务大数据中心的数据中，主数据（公共数据，如人口基本信息，房屋基本信息等）经常用于交换，但与其关联的业务数据（人口行为，房屋经营信息等）因数据更新频度高、隐私、数据安全等因素，较少直接用于交换，而这一能够反映业务状态的业务数据恰恰是数据价值所在。另一方面，政务部门自身往往不参与大数据中心建设，只是引入第三方合作，统一了IT基础设施。但在存储层与应用层，实际上还是多个后台与前台分别建设的模式，难以降低开发成本，难以快速新增业务，难以适应城市发展对政务智能化的要求，难以打通各业务线数据，进行精细化运营。

常见的数据共享与融合方法，往往是将数据本体传输到共享存储区域，进行集中式数据处理与开发，这需要建设独立的数据处理平台以及暴露数据本体，同时需要已有系统开展一些改造工作，以适配这种共享模式。

传统数据交换的基本逻辑是通过交换整个数据集本身来实现数据共享，当数据量较大，需要准备较大容量的交换通道与存储这些交换数据的共享空间。另一方面，因为大批量的数据传输占用了大量的网络带宽，因为传输距离较远，导致这种交换完整数据集本身的方法也存在时效性问题，同时，网络本身也难以保障持续性稳定，有可能需要重新传输，进一步加剧了数据融合的时效性问题。

传统的数据交换，采用先共享再融合的方式，可能存在数据安全管控问题，为了规避数据治理过程中涉及的隐私问题，需要经过一系列数据加密、脱敏、访问权限管控、审计等复杂的处理流程。但尽管如此，只要共享的数据维度足够多，数据之间会存在内在的勾稽关系，通过这些勾稽关系同样有可能泄露隐私，这种情况下的数据安全管控复杂度就会比较高了，同时，因管控得越严格，客观上对数据交换、融合的推进施加了“反作用力”。

另外对于传统数据共享交换的模式来说，存在三方交互：1.跨领域的提供数据源的业务团队，2.负责整合多个跨领域资源的数据平台团队，3.跨领域的数据消费团队。对于数据平台工程师来说，一方面，他们需要从其他团队消费数据，但是其他团队并没有动力提供那么真实、准确、有意义的数据；而另一方面，他们对生产数据的领域又知之甚少，缺乏专业知识。他们还需要为各需求方提供数据，却不了解数据需求方的领域知识，通过传统方式提供的数据服务API往往不能及时响应需求方的要求。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于API拼接的无侵入式跨库数据融合方法，旨在解决上述技术问题。

本发明采用如下技术方案：

所述基于API拼接的无侵入式跨库数据融合方法包括下述步骤：

步骤S1、将部署在本地或远程的各类支持地理信息存储与索引的异构数据库集成为一个逻辑整体，并实现基于SQL语句的跨库计算；

步骤S2、各API服务节点将连接的数据集的schema发布为API，对于其中需要关联的任意两个API服务节点进行相互注册，建立关联关系并保存；

步骤S3、若当前API服务节点接收到来自于外部客户端的调用指令，如果所述调用指令涉及其关联API服务节点的schema，当前API服务节点跨库请求所述关联API服务节点，由当前API服务节点返回最终结果至客户端。

进一步的，所述异构数据库分为主库和外部库，对于不需要下推计算，所述步骤S1具体如下：

当主库接收到跨库SQL语句请求时，从已注册的外部库元数据中检索SQL语句里涉及的外部库，检索出的外部库称为目标库；

拆分所述SQL语句，过滤出目标库中的schema，并生成临时SQL指令；

对所述临时SQL指令实现对应的处理函数并转译为目标库转译为目标库SQL指令；

目标库接收到目标库SQL指令后在本地完成计算；

将计算结果作为参数打包为外部数据包，输入主库的回调函数；

主库将外部数据包与本地数据包进行合并并返回客户端；

进一步的，所述异构数据库分为主库和外部库，对于需要下推计算，所述步骤S1具体如下：

当主库接收来自客户端的SQL检索命令时，扫描在主库中注册的外部库索引；

通过外部库索引与外部库连接并保持；

对所述SQL检索命令实现对应的处理函数并翻译为对应的搜索引擎指令；

根据搜索引擎指令在外部库本地搜索引擎中成完成检索操作；

将检索结果打包成主库数据包并发送至主库，主库将主库数据包返回值客户端。

进一步的，所述步骤S2中，当前API服务节点为节点A，关联API服务节点为节点B，所述步骤S2具体包括：

节点A和节点B将于其连接的数据集的schema发布为API；

当需要增强A节点的schema时，在A节点上选择需要增强的schema，填写B节点发布的API地址，根据API地址检索对应的schema，选择这两个schema之间用于对齐的关联字段建立关联关系；

将关联关系以及允许访问的访问令牌保存在A节点的API跨库调用的元数据里。

进一步的，所述步骤S3具体包括：

若节点A接收到来自于外部客户端的调用指令，根据访问令牌对外部客户端进行验证；

验证通过后，如果所述调用指令涉及节点B的schema，则在节点B上将对应schema拆分出来，并跨库请求节点B对应的服务接口；

根据服务接口检索节点B并将检索结果返回节点A；

将检索结果与调用指令中涉及节点A的内部检索返回的json数据结构进行拼接，由节点A返回最终结果至外部客户端。

本发明的有益效果是：本发明基于模块化的API拼接技术，实现跨库数据服务协同，构建分布式“服务链”，将跨领域、跨地域的多个数据节点，通过相同实体ID“拼接”为一个整体，动态构建基于分布式服务的“图谱网络”，用于实现将政务大数据中心里的主数据实体与远程存储在业务部门的业务数据实体“关联拼接”，实现跨部门数据管控、数据协同，提升数据应用水平。

附图说明

图1是本发明实施例提供的基于API拼接的无侵入式跨库数据融合方法的流程图；

图2是本发明实施例提供的步骤S1一种具体实现流程图；

图3是本发明实施例提供的步骤S1另一种具体实现流程图；

图4是本发明实施例提供的步骤S2和步骤S3的具体实现流程图；

图5是API拼接逻辑示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的基于API拼接的无侵入式跨库数据融合方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

如图1所示，本实施例提供的基于API拼接的无侵入式跨库数据融合方法包括下述步骤：

步骤S1、将部署在本地或远程的各类支持地理信息存储与索引的异构数据库集成为一个逻辑整体，并实现基于SQL语句的跨库计算。

为了减少领域内的数据本体交换，通过异构数据库集成与跨库计算，快速实现数据共享交换。本发明中的多源异构数据库集成与跨库计算目标是将异构数据库“组合”为一个整体，建立内部的数据通道，并对上层应用透明。为了保持北向数据互操作的接口尽可能统一，本发明采用通用SQL（Structured Query Language）语言作为跨库计算的互操作接口。

异构数据库分为主库和外部库。由于需要兼容地理信息的存储与索引，所以本发明选择支持空间索引的三类常用关系数据库为异构数据库，这三种关系数据库分别为：PostgresSQL、MySQL、Oracle（Spatial）。

在本实施例中，本步骤以一个PostgresSQL数据库实例为主库，MySQL、Oracle以及其他PostgresSQL数据库实例为被集成的外部库，分别在它们之间建立SQL语句解译，字段类型映射，存储结构转写，查询返回值映射等操作的通道，实现上层应用只需要访问主库实例，通过主库实例即可访问异构的外部库，并对上层无感。

本步骤主要实现的是将异构数据库跨库关联，以SQL语句实现跨库计算。一般情况下，如图2所示，具体过程如下：

步骤S101、扫描外部库步骤。当主库接收到跨库SQL语句请求时，从已注册的外部库元数据中检索SQL语句里涉及的外部库，检索出的外部库称为目标库。

客户端向主库发出跨库SQL语句请求，通过扫描外部库读取外部库的注册信息，主库已注册的关联外部库一般保存在元数据中，因此通过检索SQL语句里涉及的外部库即可找到想要查询的外部库。这里称为目标库。

步骤S102、SQL拆分步骤。拆分所述SQL语句，过滤出目标库中的schema，并生成临时SQL指令。

解析SQL语句，从SQL语句中拆分出涉及目标库的schema的部分，得到临时SQL指令。SQL语句并非只包含一条指令，因此最后得到的临时SQL指令可能有多条。

步骤S103、连接映射步骤。对所述临时SQL指令实现对应的处理函数；

步骤S104、操作映射步骤。转译为目标库转译为目标库SQL指令。

对涉及到的多个目标库保持连接。因为临时SQL指令的具体指令操作内容通过处理函数实现，包括：create、update、read、delete、join以及聚合函数等。

由于目标库类型不同，其语法不同。因此需要将临时SQL指令所要实现的处理函数转译成目标库能够识别的目标库SQL指令。

步骤S105、本地计算步骤。目标库接收到目标库SQL指令后在本地完成计算。

目标库根据目标库SQL指令在本地进行计算，比如join操作等。

步骤S106、主库回调函数步骤。将计算结果作为参数打包为外部数据包，输入主库的回调函数。

步骤S107、数据集拼装步骤。主库将外部数据包与本地数据包进行合并并返回客户端。

这里的本地数据包是主库按照处理函数处理本地数据，得到的本地数据包。

地理信息对于智慧城市建设至关重要，地理信息可存储于空间数据库中，而不同的空间数据库有其不同的特性，可按需利用。在政务大数据中心里，可能存在着多种不同的能够存储空间数据库的数据库，如前述的Oracle Spatial、MySQL、PostgresSQL等，有些计算需要连接两种不同的空间数据库，例如人口表（Oracle）里有一个“住址”字段，房屋表（MySQL）里也有一个“住址”字段，当需要将两表连接为一个新的数据集时，需要执行join操作。通常是将其中一张表的数据导入到另一张表里再执行join操作，而本发明实现了支持地理信息的实时跨库join能力，无需将大量空间数据频繁导出、导入，直接在两个不同数据库之间完成“跨库查询”。不将数据全部导入到同一个数据库中进行计算，除了便利性方面的考虑，还有另一个方面的考虑——计算下推，即不同的空间数据库有其不同的特性，在执行某些特定计算时，可以利用其计算优势。

当某些检索条件非常复杂时，例如时空聚合计算，可将复杂的聚合计算下推到高性能搜索引擎中，并按指定数据规格返回结果。其处理逻辑与上述步骤S101-S107类似，只是不需要最后一步组装数据包了，因为外部索引的schema与主库的schema是一一对应的。在这里，图2中的SQL拆分步骤换成标准SQL扩展，即扩展标准SQL，使其能够表达传统SQL语句所不能代表的复杂检索条件，并从数据库底层接管、处理扩展的SQL语法，将其发送给搜索引擎，然后打包数据通过主库返回客户端。具体的，当需要下推计算时，所述步骤S1具体如下：

步骤S111、扫描步骤。当主库接收来自客户端的SQL检索命令时，扫描在主库中注册的外部库索引；例如将Elasticsearch作为外部库索引。

步骤S112、连接步骤。通过外部库索引与外部库连接并保持；

步骤S113、索引操作映射步骤。对所述SQL检索命令实现对应的处理函数并翻译为对应的搜索引擎指令，包括：create、update、read、delete、aggregate、vacuum等函数。在SQL语句的检索条件部分，可支持对应搜索引擎特有的语法表达方式（因为有些复杂检索条件，SQL语法无法表达），这种情况下，会自动识别非SQL语法，并交下游处理。

将上述SQL检索命令翻译为对应的搜索引擎的指令，并完成对应的字段映射。

步骤S114、本地检索步骤。根据搜索引擎指令在外部库本地搜索引擎中成完成检索操作，返回检索结果。

步骤S115、打包步骤。将检索结果打包成主库数据包并发送至主库，主库将主库数据包返回值客户端。

传统关系数据库的设计主要面向联机事务处理OLTP（on-line transactionprocessing）场景。在基于海量数据联机分析处理OLAP（On-Line Analytical Processing）场景下，传统关系数据库的复杂聚合计算能力不如搜索引擎，如果能够将数据和计算下推至搜索引擎，并利用搜索引擎提供强大的检索与复杂聚合分析能力，就能够解决上述问题。将搜索引擎当作传统关系数据库的“外置索引”，并通过“内建数据库插件”的方式（无需部署复杂的数据同步系统），实现基于关系数据库的一键式外置索引构建。应用系统无需感知外置索引的存在，在写入业务数据时，只需要面向已有的传统关系数据库，自动将数据推送到索引，在检索数据时，仍然只需要与已有关系数据库通讯，将计算下推至搜索引擎，并通过一个包装器返回符合关系数据格式规范的数据集合，实现对上层应用无感。

步骤S2、各API服务节点将连接的数据集的schema发布为API，对于其中需要关联的任意两个API服务节点进行相互注册，建立关联关系并保存。

步骤S3、若当前API服务节点接收到来自于外部客户端的调用指令，如果所述调用指令涉及其关联API服务节点的schema，当前API服务节点跨库请求所述关联API服务节点，由当前API服务节点返回最终结果至客户端。

在组织好数据库层后，实现数据发布即API发布，在创建自定义API时，自动拼接到已有的API图谱中；当多个API接口被注册为服务发现时，可以将这些数据服务器的接口拼接到一起，构建为一个分布式的“数据网格”。

具体的，上述步骤S2实现的是将API服务节点间进行相互注册关联。如图4所示，假设对于其中相互注册的两个服务节点，其中当前API服务节点为节点A，关联API服务节点为节点B，所述步骤S2具体包括：

步骤S201、节点数据集发布步骤。节点A和节点B将于其连接的数据集的schema发布为API；可改写API中schema的命名，以便保护原始数据集中的数据结构信息。

步骤S202、配置节点关联步骤。当需要增强A节点的schema时，在A节点上选择需要增强的schema，填写B节点发布的API地址，根据API地址检索对应的schema，选择这两个schema之间用于对齐的关联字段建立关联关系；

步骤S203、schema元数据绑定步骤。将关联关系以及允许访问的访问令牌保存在A节点的API跨库调用的元数据里。

所述步骤S3为跨域调用步骤，具体包括：

若节点A接收到来自于外部客户端的调用指令，根据访问令牌对外部客户端进行验证；

验证通过后，如果所述调用指令涉及节点B的schema，则在节点B上将对应schema拆分出来，并跨库请求节点B对应的服务接口；

根据服务接口检索节点B并将检索结果返回节点A；

将检索结果与调用指令中涉及节点A的内部检索返回的json数据结构进行拼接，由节点A返回最终结果至外部客户端。

本步骤S3中，外部客户端通过token验证后，调用A节点API时，如果涉及B节点的schema，则在A节点上将相关schema拆分出来，跨库请求节点B对应的服务接口，通过token验证后，将结果返回A节点，并与A节点内部检索返回的json数据结构进行拼接，由A节点返回最终结果。最终，多个API服务节点通过相互注册API的schema，构建为一个去中心化的，可提供链式服务的，动态API拼接集群，实现跨库服务协同。

API拼接逻辑与关系数据库中的多表关联查询逻辑类似，如图5所示，只是RESTAPI-A和API-B接口分别返回的4个字段可能是通过一定计算逻辑获得的，而不是直接从表里读取的，这样做对数据库安全提供了一定保护，不必暴露原始数据库的结构。API拼接技术也来自于关系表的join能力，通过实现API拼接，从而在网络上，将各类API接口拼接为一个庞大的API图谱，既能够为跨域数据融合提供新的技术手段和便利，又能够一定程度上保护数据库安全。

完成API拼接后，本质上是对REST API-A实现了“数据增强”，通过它可以直接返回维度更丰富的信息，而无需应用系统自行通过调整代码的方式进行组装，当业务场景变化后，也可以利用这种动态拼接，实时调整API返回的内容。而无论是API-A，还是API-B都可直接由数据库网关装置发布和拼接，并提供面向不同token的行（记录，比如某token只能返回性别为“男”的作者）、列（字段，比如某token只能返回“姓名”字段，不能返回“性别”和“年龄”）级访问控制，相比直接暴露数据库接口，更为安全。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于API拼接的无侵入式跨库数据融合方法，其特征在于，所述方法包括下述步骤：

步骤S1、将部署在本地或远程的各类支持地理信息存储与索引的异构数据库集成为一个逻辑整体，并实现基于SQL语句的跨库计算；

步骤S2、各API服务节点将连接的数据集的schema发布为API，对于其中需要关联的任意两个API服务节点进行相互注册，建立关联关系并保存；

步骤S3、若当前API服务节点接收到来自于外部客户端的调用指令，如果所述调用指令涉及其关联API服务节点的schema，当前API服务节点跨库请求所述关联API服务节点，由当前API服务节点返回最终结果至客户端；

所述异构数据库分为主库和外部库，对于不需要下推计算，所述步骤S1具体如下：

当主库接收到跨库SQL语句请求时，从已注册的外部库元数据中检索SQL语句里涉及的外部库，检索出的外部库称为目标库；

拆分所述SQL语句，过滤出目标库中的schema，并生成临时SQL指令；

对所述临时SQL指令实现对应的处理函数并转译为目标库转译为目标库SQL指令；

目标库接收到目标库SQL指令后在本地完成计算；

将计算结果作为参数打包为外部数据包，输入主库的回调函数；

主库将外部数据包与本地数据包进行合并并返回客户端；

对于需要下推计算，所述步骤S1具体如下：

当主库接收来自客户端的SQL检索命令时，扫描在主库中注册的外部库索引；

通过外部库索引与外部库连接并保持；

对所述SQL检索命令实现对应的处理函数并翻译为对应的搜索引擎指令；

根据搜索引擎指令在外部库本地搜索引擎中成完成检索操作；

将检索结果打包成主库数据包并发送至主库，主库将主库数据包返回值客户端。

2.如权利要求1所述基于API拼接的无侵入式跨库数据融合方法，其特征在于，所述步骤S2中，当前API服务节点为节点A，关联API服务节点为节点B，所述步骤S2具体包括：

节点A和节点B将于其连接的数据集的schema发布为API；

当需要增强A节点的schema时，在A节点上选择需要增强的schema，填写B节点发布的API地址，根据API地址检索对应的schema，选择这两个schema之间用于对齐的关联字段建立关联关系；

将关联关系以及允许访问的访问令牌保存在A节点的API跨库调用的元数据里。

3.如权利要求2所述基于API拼接的无侵入式跨库数据融合方法，其特征在于，所述步骤S3具体包括：

若节点A接收到来自于外部客户端的调用指令，根据访问令牌对外部客户端进行验证；

验证通过后，如果所述调用指令涉及节点B的schema，则在节点B上将对应schema拆分出来，并跨库请求节点B对应的服务接口；

根据服务接口检索节点B并将检索结果返回节点A；

将检索结果与调用指令中涉及节点A的内部检索返回的json数据结构进行拼接，由节点A返回最终结果至外部客户端。

Images