CN114547524B

CN114547524B - 一种同步http接口数据的方法、设备及存储介质

Info

Publication number: CN114547524B
Application number: CN202210223174.9A
Authority: CN
Inventors: 王峰; 张项飞
Original assignee: Wuxi Xuelang Shuzhi Technology Co ltd
Current assignee: Wuxi Xuelang Shuzhi Technology Co ltd
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2023-03-03
Anticipated expiration: 2042-03-07
Also published as: CN114547524A

Abstract

本发明公开了一种同步HTTP接口数据的方法、设备及存储介质，该方法包括以下步骤：定义读插件的JSON结构，包括：接口协议、服务地址、请求路径、请求参数、参数位置、响应参数、请求方式；读插件继承DataX的Reader抽象类，读取所述读插件的JSON结构，组装请求实例，发送请求后获取响应结果；解析所述读插件的JSON结构中的响应参数，使用jsonpath解析响应结果；将结果组装成DataX统一的格式，发送至下游写插件。本发明结合Datax并配合定义的HTTP组件，能很方便的将数据同步过来。

Description

一种同步HTTP接口数据的方法、设备及存储介质

技术领域

本发明涉及数据库技术领域，具体来说，涉及一种同步HTTP接口数据的方法、设备及存储介质。

背景技术

DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能。

随着工业物联网、大数据分析、人工智能技术的高速发展，用户场景的多样化需求越来越多，亟需一种能够接入HTTP接口数据的通用组件，来满足将HTTP接口数据落到关系型数据库中，但目前基于DataX的数据集成框架并未提供类似组件。

目前，大多数数据集成框架做的并不完善，做的比较好的是阿里云开源的Datax。DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件；

且现有技术中，只有当同步HTTP接口数据后，且结果数据出现异常或者失败，才能发现HTTP接口的可行性出现了问题，需重新核查其可行性后再重新同步数据，导致整体的传输效率低下。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种同步HTTP接口数据的方法、设备及存储介质，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

根据本发明的一个方面，提供了一种同步HTTP接口数据的方法，应用于电子设备，该方法包括以下步骤：

定义读插件的JSON结构，包括：接口协议、服务地址、请求路径、请求参数、参数位置、响应参数及请求方式；

读插件继承DataX的Reader抽象类，并读取所述读插件的JSON结构，且组装请求实例，同时发送请求后获取响应结果；

解析所述读插件的JSON结构中的响应参数，并使用jsonpath解析响应结果；

将结果组装成DataX统一的格式，发送至下游写插件；

其中，所述定义读插件的JSON结构之前进行关于HTTP的可行性测试，且基于JSON进行用户的全局查询。

进一步的，所述JSON结构包括接口协议、服务地址、请求路径、请求参数、参数位置、响应参数、请求方式；

其中，所述请求参数和所述参数位置支持header、query、body类型。

进一步的，所述读插件的JSON结构中的响应参数若解析失败，则返回空数据给DataX，并退出处理流程。

进一步的，所述读插件为apireader插件，若读插件不是apireader插件，则由其它插件进行其它逻辑处理。

进一步的，所述读插件读取HTTP接口数据，并使用OkHTTP3组件组装请求实例。

进一步的，所述写插件将数据写入目录数据库。

进一步的，所述定义读插件的JSON结构之前进行关于HTTP的可行性测试还包括以下步骤：

构建一个计算机系统，且只使用标准库；

产生若干个线程，每个线程创建一个带有随机名的表，同时用30行整数值填充该表，从带有随机名的表中选择最大唯一行标识符值；

进行可行性测试，并检查与HTTP数据库是否能够成功连接并读取内容，若是则数据库无损坏；

其中，HTTP数据库以JSON格式响应，并试行SQL命令，且无论结果如何，皆返回；

响应结果包括正常的SQL操作及失败的SQL操作，正常的SQL操作产生data键，其值为结果，失败的SQL操作产生错误键。

进一步的，所述基于JSON进行用户的全局查询还包括以下步骤：

接收用户的全局查询请求，Schema模式对查询语法验证，对于有效的查询请求则构造为JSONiq方式的查询语句，生成规范的查询格式；

对全局查询进行分解重写，得到各个局部数据源对应的子查询；

将各个子查询分别以HTTP消息的形式，发往局部数据源本体对应的数据源包装器，包装器处理后再接收其JSON格式的返回结果；

将JSON格式的返回结果返回给用户界面

其中，所述对全局查询进行分解重写，得到各个局部数据源对应的子查询还包括以下步骤：

对于用户的全局查询请求，根据for、where、return关键字将查询划分为三个子句，并存入临时的对象数组中；

对于for子句来说，根据相应映射文件里的@reverse找到局部数据源的路径，并添加进对象数组对应的元素中；

对于where子句来说，根据相应映射文件里的@reverse找到相应的局部数据源属性并替换，且存入对象数组；

对于return子句的JSON数组，将每个key对应的value进行分解，成为各个对象的子元素，根据映射文件里的属性对应关系，将各个子元素绑定到对应的对象中。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的同步HTTP接口数据的方法中的步骤。

根据本发明的又一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序可被一个或者多个处理器执行，以实现所述的同步HTTP接口数据的方法中的步骤。

本发明的有益效果为：

本发明提供了一种能够接入HTTP接口数据的通用组件，来满足将HTTP接口数据落到关系型数据库中。在所述定义读插件的JSON结构之前就进行关于HTTP的可行性测试，且基于JSON进行用户的全局查询，从而保证的数据同步的可靠性，当有http接口数据需要同步到数据库时，结合Datax并配合本发明定义的HTTP组件，能很方便的将数据同步过来。关于多线程HTTP的可行性进行了测试，且提供基于JSON进行用户的全局查询，使得不同数据源的同步可以灵活配置，降低耦合度，易于后期扩展。将响应的结果按照JsonPath的格式拆解成Datax支持的格式，供下游writer写入到目录数据库。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种同步HTTP接口数据的方法的流程示意图；

图2是根据本发明实施例的电子设备示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种同步HTTP接口数据的方法、设备及存储介质，本发明旨在Datax框架基础上新增一种HTTP类型的数据源，支持query/header/body等类型的请求参数，将响应的结果按照JsonPath的格式拆解成Datax支持的格式，供下游writer写入到目录数据库。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的同步HTTP接口数据的方法，应用于电子设备，该方法包括以下步骤：

将结果组装成DataX统一的格式，发送至下游写插件；

其中，所述定义读插件的JSON结构之前进行关于HTTP的可行性测试还包括以下步骤：

构建一个计算机系统，且只使用标准库；

如表1-4所示，为关于HTTP的可行性测试结果。

表1

表2

表3

表4

其中，所述基于JSON进行用户的全局查询还包括以下步骤：

接收用户的全局查询请求，Schema(数据库的组织和结构)模式对查询语法验证，对于有效的查询请求则构造为JSONiq(一种查询语言)方式的查询语句，生成规范的查询格式；

将JSON格式的返回结果返回给用户界面

对于用户的全局查询请求，根据for、where、return(for、where、return为编程语言的语句)关键字将查询划分为三个子句，并存入临时的对象数组中；

所述JSON结构包括接口协议、服务地址、请求路径、请求参数、参数位置、响应参数、请求方式；

读插件继承DataX的Reader抽象类，读取所述读插件的JSON结构，组装请求实例，发送请求后获取响应结果；读插件读取HTTP接口数据，使用OkHTTP3组件组装请求实例。读插件为apireader插件，如果读插件不是apireader插件，则由其它插件进行其它逻辑处理。

解析所述读插件的JSON结构中的响应参数，使用jsonpath解析响应结果；如果所述读插件的JSON结构中的响应参数解析失败，则返回空数据给DataX，并退出处理流程

将结果组装成DataX统一的格式，发送至下游写插件，写插件将数据写入目录数据库。

所述读插件读取HTTP接口数据，并使用OkHTTP3组件组装请求实例。

本发明还提供一种电子设备1，参照图2所示，为本发明一实施例提供的电子设备1的内部结构示意图。

在本实施例中，电子设备1可以是电脑或服务器。所述电子设备1至少包括存储器11、处理器12，通信总线13以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备的内部存储单元，例如所述电子设备的硬盘。存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如计算机程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在电子设备1与其他电子设备之间建立通信连接。

可选地，电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11～14的电子设备1，本领域技术人员可以理解的是，图2示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的电子设备1的实施例中，存储器11中存储有计算机程序111；处理器12执行存储器11中存储的计算机程序。

本发明实施例还提出一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序可被一个或者多个处理器执行，以实现同步HTTP接口数据的方法中的步骤。

本发明同步HTTP接口数据的存储介质具体实施方式与上述电子设备和方法各实施例基本相同，在此不作累述。

可选地，在其他实施例中，计算机程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个微处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述计算机程序在电子设备中的执行过程。

实施例

S1：定义读插件的JSON结构，包括：接口协议、服务地址、请求路径、请求参数、参数位置、响应参数、请求方式等，其中请求参数位置支持header、query、body类型；

S2：继承DataX提供的Reader抽象类，读取上述步骤中定义的配置，使用OkHTTP3组件，组装请求实例，发送请求后获取响应结果；

OkHttp组件是一个高效的HTTP客户端，它有以下默认特性：

支持HTTP/2，允许所有同一个主机地址的请求共享同一个socket连接；

连接池减少请求延时；

透明的GZIP压缩减少响应数据的大小；

缓存响应内容，避免一些完全重复的请求。

当网络出现问题的时候OkHttp依然坚守自己的职责，它会自动恢复一般的连接问题，如果你的服务有多个IP地址，当第一个IP请求失败时，OkHttp会交替尝试你配置的其他IP，OkHttp使用现代TLS技术(SNI，ALPN)初始化新的连接，当握手失败时会回退到TLS 1.0。

S3：根据上述步骤中配置的响应参数，使用jsonpath解析响应结果；JsonPath是一种简单的方法来提取给定JSON文档的部分内容。JsonPath有许多编程语言，如Javascript，Python和PHP，Java。JsonPath提供的json解析非常强大，它提供了类似正则表达式的语法，可解析json内容。JsonPath可在Central Maven存储库中找到。

S4：将响应结果组装成DataX统一的格式，发送至下游写插件。

综上所述，本发明提供了一种能够接入HTTP接口数据的通用组件，来满足将HTTP接口数据落到关系型数据库中。当有http接口数据需要同步到数据库时，结合Datax并配合本发明定义的HTTP组件，能很方便的将数据同步过来。关于多线程HTTP的可行性进行了测试，且提供基于JSON进行用户的全局查询，使得不同数据源的同步可以灵活配置，降低耦合度，易于后期扩展。将响应的结果按照JsonPath的格式拆解成Datax支持的格式，供下游writer写入到目录数据库。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种同步HTTP接口数据的方法，应用于电子设备，其特征在于，该方法包括以下步骤：

将结果组装成DataX统一的格式，发送至下游写插件；

其中，所述定义读插件的JSON结构之前进行关于HTTP的可行性测试，且基于JSON进行用户的全局查询；

构建一个计算机系统，且只使用标准库；

响应结果包括正常的SQL操作及失败的SQL操作，正常的SQL操作产生data键，其值为结果，失败的SQL操作产生错误键；

所述基于JSON进行用户的全局查询还包括以下步骤：

将JSON格式的返回结果返回给用户界面；

2.根据权利要求1所述的一种同步HTTP接口数据的方法，其特征在于，所述JSON结构包括接口协议、服务地址、请求路径、请求参数、参数位置、响应参数、请求方式；

3.根据权利要求1所述的一种同步HTTP接口数据的方法，其特征在于，所述读插件的JSON结构中的响应参数若解析失败，则返回空数据给DataX，并退出处理流程。

4.根据权利要求1所述的一种同步HTTP接口数据的方法，其特征在于，所述读插件为apireader插件，若读插件不是apireader插件，则由其它插件进行其它逻辑处理。

5.根据权利要求1所述的一种同步HTTP接口数据的方法，其特征在于，所述读插件读取HTTP接口数据，并使用OkHTTP3组件组装请求实例。

6.根据权利要求1所述的一种同步HTTP接口数据的方法，其特征在于，所述写插件将数据写入目录数据库。

7.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的同步HTTP接口数据的方法中的步骤。

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的同步HTTP接口数据的方法中的步骤。