CN117688075A - 数据服务方法、装置、电子设备及存储介质 - Google Patents
数据服务方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117688075A CN117688075A CN202311707852.XA CN202311707852A CN117688075A CN 117688075 A CN117688075 A CN 117688075A CN 202311707852 A CN202311707852 A CN 202311707852A CN 117688075 A CN117688075 A CN 117688075A
- Authority
- CN
- China
- Prior art keywords
- target data
- data
- information
- data source
- call request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000006243 chemical reaction Methods 0.000 claims abstract description 81
- 238000012795 verification Methods 0.000 claims description 51
- 239000000344 soap Substances 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009517 secondary packaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请提供一种数据服务方法、装置、电子设备及存储介质。该方法包括:获取数据调用请求信息;根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;根据目标数据调用请求信息,从目标数据源中得到初始目标数据;根据预设的格式转换规则和初始目标数据,得到目标数据;将目标数据发送至客户端。本申请的方法,提高了将多元异构数据整合使用的能力。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据服务方法、装置、电子设备及存储介质。
背景技术
近年来伴随着互联网、大数据、云计算的飞速发展,各政府机构、企业的数字化建设的持续推进,政府机构、企业产生的数据种类越来越多、体量越来越大,数据融合共享的需求也逐渐被受关注,在这种情况下就需要一个可以将多元异构数据整合封装并提供统一能力的数据服务平台。
目前,现有的技术主要有三种,第一种是网关类的系统,比较侧重于流量的管控,提供接口的地址映射路由转换的功能,可以整合api(Application ProgrammingInterface,应用程序编程接口)接口的资源;第二种是一些可视化表转服务的平台,将简单的sql(Structured Query Language,结构化查询语言)转成api接口,可以整合结构化数据库的数据资源;第三种是同时提供了结构化数据表转服务和restful接口这两种主流数据源的接入的网关系统,也有一定的封装和提供服务的能力。
然而,现有数据服务方法存在服务效果不好的问题。
发明内容
本申请提供一种数据服务方法、装置、电子设备及存储介质,用以解决数据服务效果不好的问题。
第一方面,本申请提供一种数据服务方法,包括:
获取数据调用请求信息;
根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;
根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;
根据目标数据调用请求信息,从目标数据源中得到初始目标数据;
根据预设的格式转换规则和初始目标数据,得到目标数据;
将目标数据发送至客户端。
在本申请实施例中,在根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之前,方法还包括:
将预设的格式转换规则存储在网关;
当网关接收到客户端的数据调用请求信息,或接收到目标数据源的初始目标数据时,调用格式转换规则。
在本申请实施例中,当目标数据源为restful数据源或webservice数据源时,在根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之前,方法还包括:
根据数据调用请求信息和目标数据源的签名规则,生成签名,其中,签名包括算法信息、密钥信息和参数信息,算法信息和密钥信息由目标数据源的签名规则提供,参数信息由数据调用请求信息提供;
将签名发送至目标数据源,进行签名校验,得到校验结果;
若校验结果满足预设的校验要求,则根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,校验要求为签名的算法信息、密钥信息和参数信息都符合数据源的签名规则的要求;
若校验结果未满足预设的校验要求,则将数据调用请求信息记录在日志中。
在本申请实施例中,当目标数据源为restful数据源时,在若校验结果满足预设的校验要求,则根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之后,方法还包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括url信息、http请求模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的http请求模板信息,得到http请求信息;
根据http请求信息和url信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,当目标数据源为webservice数据源时,在若校验结果满足预设的校验要求,则根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之后,方法还包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括soap请求模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的soap请求模板信息,得到soap请求信息;
根据soap请求信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,当目标数据源为结构化数据源时,根据目标数据调用请求信息,从目标数据源中得到初始目标数据,包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括sql模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的sql模板信息,得到sql查询语句信息;
根据sql查询语句信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,当目标数据源为非结构化数据源时,根据目标数据调用请求信息,从目标数据源中得到初始目标数据,包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括表结构信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的表结构信息,得到查询信息;
根据查询信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,方法还包括:
向网关发送日志信息,以将日志信息存储在网关;
当网关接收到客户端或目标数据源的数据调用请求查询信息时,对日志信息进行查询,得到数据调用请求日志信息;
将数据调用请求日志信息发送至客户端或目标数据源。
第二方面,本申请提供一种数据服务装置,包括:
获取模块,用于获取数据调用请求信息;
确定模块,用于根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;
第一得到模块,用于根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;
第二得到模块,用于根据目标数据调用请求信息,从目标数据源中得到初始目标数据;
第三得到模块,用于根据预设的格式转换规则和初始目标数据,得到目标数据;
发送模块,用于将目标数据发送至客户端。
第三方面,本申请提供一种电子设备,包括:处理器,以及与处理器通信连接的存储器;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,以实现本申请实施例的数据填报显示方法。
第四方面,一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现本申请实施例的数据服务方法。
本申请提供的数据服务方法、装置、电子设备及存储介质,通过获取数据调用请求信息;根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;根据目标数据调用请求信息,从目标数据源中得到初始目标数据;根据预设的格式转换规则和初始目标数据,得到目标数据;将目标数据发送至客户端的手段,使得在确定数据调用请求的目标数据源后,将数据调用请求的数据类型转换为目标数据源能够识别的数据类型,再通过转换后的数据调用请求在目标数据源中调取目标数据,将目标数据转换成客户端可以识别的数据类型后发送至客户端,实现利用接入多种数据源的数据服务平台为外部提供数据服务的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的数据服务方法的流程示意图;
图2为本申请实施例提供的另一种数据服务方法的模块示意图;
图3为本申请实施例提供的数据服务装置的结构示意图;
图4为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
现有技术中,大部分系统只提供简单的对于API接口的接入,以及单一的结构化数据的表转服务能力,无法实现对多元异构数据接入的统一管理,对于接口统一管理和二次封装的需求来说不够灵活。同时,在对数据传输安全越来越重视的现状下,大部分的API接口都需要进行签名校验,通过一系列的算法规则对请求体进行签名,网关类产品无法支持对于接口的签名参数的自动生成功能,无法对有签名需求的第三方API进行二次封装并提供服务。
本申请实施例可以基于多元异构的数据进行整合,由于数据源与数据调用请求之间的数据类型不同,因此,设置了格式转换规则,从而实现数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换,便于管理维护和提供服务,同时,当数据源为接口类数据源时,可以通过获取数据源的签名规则,实现自动签名,从而完成权限校验并提供服务,由此,产生提高数据服务能力的效果。
本申请实施例提供一种数据服务方法、装置、电子设备及存储介质。
该数据服务方法的执行主体可以是服务器。其中,服务器可以为手机、平板、电脑等设备。本实施例对执行主体的实现方式不做特别限制,只要该执行主体能够获取数据调用请求信息;根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;根据目标数据调用请求信息,从目标数据源中得到初始目标数据;根据预设的格式转换规则和初始目标数据,得到目标数据;将目标数据发送至客户端即可。
其中,数据源可以指数据库应用程序所使用的数据库或者数据库服务器,是数据的来源,提供了应用程序所需要数据的位置,同时保证了应用程序与目标数据之间交互的规范和协议,数据源可以包括数据库、文件系统等。
图1为本申请实施例提供的数据服务方法的流程示意图。本方法的执行主体可以为服务器或其它服务器,本实施例此处不做特别限制,如图1所示,本方法可以包括:
S101、获取数据调用请求信息。
其中,数据调用请求信息可以指用户希望获取的数据内容和数据格式,这些信息以请求的形式由客户端发送到网关,请求信息中可以包含请求类型、请求参数、身份认证信息等,用于指示网关按照客户端的需求返回相应的数据。
获取数据调用请求信息的方法可以包括客户端向网关发送http(HypertextTransfer Protocol,超文本传输协议)请求、网关从消息队列中获取客户端发送的数据调用请求信息、网关通过rpc(Remote Procedure Call,远程过程调用)调用客户端的过程函数以获取数据调用请求信息等。
S102、根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种。
其中,根据数据调用请求信息,确定目标数据源的方法可以包括从请求信息中得到对数据源的引用、路径信息、标识符或根据算法规则来确定目标数据源,在本申请实施例中,可以通过预设请求类型对应目标数据源规则,根据不同的业务需求确定目标数据源,例如,当请求的类型为“查询用户信息”时,选择结构化数据源作为目标数据源,当请求的类型为“获取用户社交媒体信息”时,选择RESTful数据源。
S103、根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则。
其中,格式转换规则可以指将输入数据的类型转换成需求类型的规则,其中,格式转换规则中的入参和出参由具体的数据调用请求、数据源和客户端接收类型决定,例如,当目标数据源为结构化数据源时,将字符串类型的输入数据输入格式转换规则,转换成结构化数据源需要的整数类型的数据,具体的转换方式可以包括使用内置的json库中的函数、使用ElementTree模块创建xml文档、使用自定义函数等。
目标数据调用请求信息可以指目标数据源可以识别的数据类型的数据调用请求。
其中,在本申请实施例中,在根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之前,方法还可以包括:
将预设的格式转换规则存储在网关;
当网关接收到客户端的数据调用请求信息,或接收到目标数据源的初始目标数据时,调用格式转换规则。
其中,网关可以指实现不同系统之间的通信和信息转换的网络设备,能够存储相关的规则和日志信息,在本申请实施例中,网关可以采用微服务+react的架构,使系统具备处理高并发的能力,同时也提高了系统的吞吐量。
调用格式转换规则的方法可以包括直接调用、执行脚本文件调用、加载插件调用等,网关接收到信息或数据时,首先判断数据类型,再根据目标数据源的需求格式或客户端的需求格式在格式转换规则中选择合适的规则进行调用。
其中,在本申请实施例中,当目标数据源为restful数据源或webservice数据源时,在根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之前,方法还可以包括:
根据数据调用请求信息和目标数据源的签名规则,生成签名,其中,签名包括算法信息、密钥信息和参数信息,算法信息和密钥信息由目标数据源的签名规则提供,参数信息由数据调用请求信息提供;
将签名发送至目标数据源,进行签名校验,得到校验结果;
若校验结果满足预设的校验要求,则根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,校验要求为签名的算法信息、密钥信息和参数信息都符合数据源的签名规则的要求;
若校验结果未满足预设的校验要求,则将数据调用请求信息记录在日志中。
其中,目标数据源的签名规则可以指在进行数据交互时,对数据调用请求信息进行签名的一种规则,可以确保数据的完整性和安全性,验证数据的来源和防止数据被篡改,签名规则通常包括签名算法和签名密钥,通过签名算法对签名密钥和身份认证信息进行加密,得到签名,其中身份认证信息可以从数据调用请求信息中获得。
将签名发送至目标数据源,进行签名校验,得到校验结果的方法可以包括目标数据源使用相同的签名算法和签名密钥对数字签名进行校验,得到校验结果。
日志可以指记录系统运行过程中各种过程、经历等重要信息的文件,日志信息可以存储在网关中。
其中,在本申请实施例中,当目标数据源为restful数据源时,在若校验结果满足预设的校验要求,则根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之后,方法还可以包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括url信息、http请求模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的http请求模板信息,得到http请求信息;
根据http请求信息和url信息,在目标数据源中进行查询,得到初始目标数据。
其中,目标数据源的逻辑接口可以指在网关与目标数据源之间实现数据交换功能的接口,构建逻辑接口的方法可以包括在代码中配置相关的url(uniform resourcelocator,统一资源定位系统)信息和http请求模板信息,其中,http请求模板信息可以包括http请求的参数、头部信息、请求体等,结合目标数据调用请求信息中的请求方式和输入参数,可以生成具体的http请求,再根据逻辑接口中的url路径信息,将http请求发送至目标地址进行查询。
初始目标数据可以指根据调用请求从目标数据源中得到的数据,数据格式需要经过格式转换规则才能与客户端的需求格式对应。
其中,在本申请实施例中,当目标数据源为webservice数据源时,在若校验结果满足预设的校验要求,则根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息之后,方法还可以包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括soap请求模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的soap请求模板信息,得到soap请求信息;
根据soap请求信息,在目标数据源中进行查询,得到初始目标数据。
其中,构建逻辑接口的方法可以包括在代码中配置相关的soap(Simple ObjectAccess Protocol,简单对象访问协议)请求模板信息,其中,soap请求模板信息可以包括soapaction头、soap消息正文以及必要的标头信息,结合目标数据调用请求信息中的请求方式和输入参数,可以生成具体的soap请求,在本申请实施例中,可以根据axis(ApacheExtensible Interaction System,阿帕奇可扩展交互系统)对soap请求进行远程调用,在数据源中进行查询。
S104、根据目标数据调用请求信息,从目标数据源中得到初始目标数据。
其中,根据目标数据调用请求信息,从目标数据源中得到初始目标数据的方法可以包括通过逻辑接口,将目标数据调用请求信息转换成特定的查询语言发送至目标数据源,目标数据源处理请求并返回数据,其中,特定的查询语言可以根据数据源的不同,设置不同的查询语句模板在逻辑接口中。
其中,在本申请实施例中,当目标数据源为结构化数据源时,根据目标数据调用请求信息,从目标数据源中得到初始目标数据的方法可以包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括sql模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的sql模板信息,得到sql查询语句信息;
根据sql查询语句信息,在目标数据源中进行查询,得到初始目标数据。
其中,构建逻辑接口的方法可以包括在代码中配置相关的sql模板信息,其中,sql模板信息可以包括SELECT、FROM、WHERE等关键词和占位符,结合目标数据调用请求信息中的表名、列名、排序等信息,可以生成具体的sql查询语句,在数据源中进行查询。
其中,在本申请实施例中,当目标数据源为非结构化数据源时,根据目标数据调用请求信息,从目标数据源中得到初始目标数据的方法可以包括:
构建目标数据源的逻辑接口,其中,逻辑接口包括表结构信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的表结构信息,得到查询信息;
根据查询信息,在目标数据源中进行查询,得到初始目标数据。
其中,构建逻辑接口的方法可以包括在代码中配置相关的表结构信息,在本申请实施例中,当非结构化数据源为hbase时,表结构信息可以包括行键、列簇等,当非结构化数据源为elasticsearch时,表结构信息可以包括索引、主键等,结合目标数据调用请求信息中的文件名、数据项、条件、排序等信息,可以生成具体的查询信息,在数据源中进行查询。
S105、根据预设的格式转换规则和初始目标数据,得到目标数据。
其中,目标数据可以指经过格式转换规则得到的与客户端的需求格式对应的数据。
根据预设的格式转换规则和初始目标数据,得到目标数据的方法可以包括将初始目标数据作为格式转换规则的入参,结合客户端的需求格式,在格式转换规则中选择合适的规则进行调用,将初始目标数据格式转换为客户端的需求格式。
S106、将目标数据发送至客户端。
其中,将目标数据发送至客户端的方法可以包括通过http、udp(User DatagramProtocol,用户数据报协议)等网络协议发送,具体的,可以将目标数据进行封装,然后通过http响应或自定义的协议将数据发送到客户端,客户端收到数据后,可以解析数据并对其进行处理或展示。
其中,在本申请实施例中,方法还可以包括:
向网关发送日志信息,以将日志信息存储在网关;
当网关接收到客户端或目标数据源的数据调用请求查询信息时,对日志信息进行查询,得到数据调用请求日志信息;
将数据调用请求日志信息发送至客户端或目标数据源。
其中,数据调用请求查询信息可以指用于指定需要查询的数据调用请求的信息,可以包括请求的来源、请求的URL、请求的参数等信息,这些信息可以用于在日志信息中查找相应的调用记录。
数据调用请求日志信息可以指网关在接收到数据调用请求后,记录下来的关于请求的相关信息,可以包括请求的时间戳、请求的来源、请求的类型、请求的URL、请求的参数等信息,调取数据调用请求日志信息有利于任一数据提供方、任一数据调用方查证从目标数据源中得到可读数据调用结果,还可以帮助用户了解系统的运行情况,进行故障排查等操作。
将数据调用请求日志信息发送至客户端或目标数据源可以指将查询到的日志信息返回给查询申请方,查询申请方可以包括客户端和目标数据源,发送日志信息的方式可以包括将日志信息写入文件,然后通过文件传输协议将文件上传,或使用网络日志协议将日志信息发送至指定的目标地址等。
本申请实施例提供的数据服务方法,可以基于多元异构的数据进行整合,由于数据源与数据调用请求之间的数据类型不同,因此,设置了格式转换规则,从而实现数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换,便于管理维护和提供服务,同时,当数据源为接口类数据源时,可以通过获取数据源的签名规则,实现自动签名,从而完成权限校验并提供服务,由此,产生提高数据服务能力的效果。
图2为本申请实施例提供的另一种数据服务方法的模块示意图,如图2所示,包括网关模块、服务模块、数据接入模块,该方法包括:
网关模块,用于接收客户端发送的数据调用请求,根据配置选择调用的数据源,再根据调用数据源的签名规则生成签名,进行签名校验,若校验失败则记录日志并返回至客户端,若校验成功则将数据调用请求发送至服务模块。
服务模块,用于先根据参数映射规则将数据源的逻辑接口进行封装,再根据数据调用请求调用封装的API逻辑接口,将数据调用请求发送至接入模块;
数据接入模块,用于接入结构化数据源、非结构化数据源、restful数据源和webservice数据源,在接收到数据调用请求后,通过预先规定的调用方式在数据源中得到目标数据,再将目标数据在服务层进行封装,通过网关模块记录日志并返回至客户端。
本申请实施例提供的另一种数据服务方法,可以通过网关模块实现自动签名校验的效果,并存储日志信息以便查证,服务模块对多元数据进行灵活整合,并封装成API接口,进行统一管理、赋权、以及安全管控,再结合接入了多元异构数据的数据接入模块,可以实现保证数据安全性的同时,基于多元异构数据的集成,对各种数据源进行管理和控制,提高数据处理效率。
图3为本申请实施例提供的数据服务装置的结构示意图。如图3所示,该数据服务装置30包括:获取模块301、确定模块302、第一得到模块303、第二得到模块304、第三得到模块305、发送模块306。其中:
获取模块301,用于获取数据调用请求信息;
确定模块302,用于根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;
第一得到模块303,用于根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;
第二得到模块304,用于根据目标数据调用请求信息,从目标数据源中得到初始目标数据;
第三得到模块305,用于根据预设的格式转换规则和初始目标数据,得到目标数据;
发送模块306,用于将目标数据发送至客户端。
在本申请实施例中,第一得到模块303还可以用于:
将预设的格式转换规则存储在网关;
当网关接收到客户端的数据调用请求信息,或接收到目标数据源的初始目标数据时,调用格式转换规则。
在本申请实施例中,第一得到模块303还可以用于:
根据数据调用请求信息和目标数据源的签名规则,生成签名,其中,签名包括算法信息、密钥信息和参数信息,算法信息和密钥信息由目标数据源的签名规则提供,参数信息由数据调用请求信息提供;
将签名发送至目标数据源,进行签名校验,得到校验结果;
若校验结果满足预设的校验要求,则根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,校验要求为签名的算法信息、密钥信息和参数信息都符合数据源的签名规则的要求;
若校验结果未满足预设的校验要求,则将数据调用请求信息记录在日志中。
在本申请实施例中,第一得到模块303还可以用于:
构建目标数据源的逻辑接口,其中,逻辑接口包括url信息、http请求模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的http请求模板信息,得到http请求信息;
根据http请求信息和url信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,第一得到模块303还可以用于:
构建目标数据源的逻辑接口,其中,逻辑接口包括soap请求模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的soap请求模板信息,得到soap请求信息;
根据soap请求信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,第二得到模块304还可以用于:
构建目标数据源的逻辑接口,其中,逻辑接口包括sql模板信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的sql模板信息,得到sql查询语句信息;
根据sql查询语句信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,第二得到模块304还可以用于:
构建目标数据源的逻辑接口,其中,逻辑接口包括表结构信息;
将目标数据调用请求信息发送至逻辑接口,以根据逻辑接口中的表结构信息,得到查询信息;
根据查询信息,在目标数据源中进行查询,得到初始目标数据。
在本申请实施例中,发送模块306还可以用于:
向网关发送日志信息,以将日志信息存储在网关;
当网关接收到客户端或目标数据源的数据调用请求查询信息时,对日志信息进行查询,得到数据调用请求日志信息;
将数据调用请求日志信息发送至客户端或目标数据源。
由上可知,本申请实施例的数据服务装置由获取模块301,用于获取数据调用请求信息;确定模块302,用于根据数据调用请求信息,确定目标数据源,其中,目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;第一得到模块303,用于根据预设的格式转换规则和数据调用请求信息,得到目标数据调用请求信息,其中,格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;第二得到模块304,用于根据目标数据调用请求信息,从目标数据源中得到初始目标数据;第三得到模块305,用于根据预设的格式转换规则和初始目标数据,得到目标数据;发送模块306,用于将目标数据发送至客户端。由此,本申请实施例可以基于多元异构的数据进行整合,便于管理维护和提供服务,还可以通过获取数据源的签名规则,实现自动签名,从而完成权限校验并提供服务,产生提高数据服务能力的效果。
图4为本申请实施例提供的电子设备的结构示意图。如图4所示,该电子设备40包括:
该电子设备40可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、通信部件403等部件。其中,处理器401、存储器402以及通信部件403通过总线404连接。
在具体实现过程中,至少一个处理器401执行存储器402存储的计算机执行指令,使得至少一个处理器401执行如上的数据服务方法。
处理器401的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述的图4所示的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速存储器(Random Access Memory,RAM),也可能还包括非易失性存储器(Non-volatile Memory,NVM),例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
在一些实施例中,还提出一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述任一种数据服务方法中的步骤。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种数据服务方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种数据服务方法中的步骤,因此,可以实现本申请实施例所提供的任一种数据服务方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (11)
1.一种数据服务方法,其特征在于,应用于数据服务系统,所述方法包括:
获取数据调用请求信息;
根据所述数据调用请求信息,确定目标数据源,其中,所述目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;
根据预设的格式转换规则和所述数据调用请求信息,得到目标数据调用请求信息,其中,所述格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;
根据所述目标数据调用请求信息,从所述目标数据源中得到初始目标数据;
根据所述预设的格式转换规则和所述初始目标数据,得到目标数据;
将所述目标数据发送至所述客户端。
2.根据权利要求1所述的方法,其特征在于,在所述根据预设的格式转换规则和所述数据调用请求信息,得到目标数据调用请求信息之前,所述方法还包括:
将预设的格式转换规则存储在网关;
当所述网关接收到所述客户端的所述数据调用请求信息,或接收到所述目标数据源的所述初始目标数据时,调用所述格式转换规则。
3.根据权利要求1所述的方法,其特征在于,当所述目标数据源为所述restful数据源或所述webservice数据源时,在所述根据预设的格式转换规则和所述数据调用请求信息,得到目标数据调用请求信息之前,所述方法还包括:
根据所述数据调用请求信息和所述目标数据源的签名规则,生成签名,其中,所述签名包括算法信息、密钥信息和参数信息,所述算法信息和所述密钥信息由所述目标数据源的签名规则提供,所述参数信息由所述数据调用请求信息提供;
将所述签名发送至所述目标数据源,进行签名校验,得到校验结果;
若校验结果满足预设的校验要求,则根据所述预设的格式转换规则和所述数据调用请求信息,得到所述目标数据调用请求信息,其中,所述校验要求为签名的算法信息、密钥信息和参数信息都符合数据源的签名规则的要求;
若校验结果未满足预设的校验要求,则将所述数据调用请求信息记录在日志中。
4.根据权利要求3所述的方法,其特征在于,当所述目标数据源为所述restful数据源时,在所述若校验结果满足预设的校验要求,则根据所述预设的格式转换规则和所述数据调用请求信息,得到所述目标数据调用请求信息之后,所述方法还包括:
构建所述目标数据源的逻辑接口,其中,所述逻辑接口包括url信息、http请求模板信息;
将所述目标数据调用请求信息发送至所述逻辑接口,以根据所述逻辑接口中的所述http请求模板信息,得到http请求信息;
根据所述http请求信息和所述url信息,在所述目标数据源中进行查询,得到所述初始目标数据。
5.根据权利要求3所述的方法,其特征在于,当所述目标数据源为所述webservice数据源时,在所述若校验结果满足预设的校验要求,则根据所述预设的格式转换规则和所述数据调用请求信息,得到所述目标数据调用请求信息之后,所述方法还包括:
构建所述目标数据源的逻辑接口,其中,所述逻辑接口包括soap请求模板信息;
将所述目标数据调用请求信息发送至所述逻辑接口,以根据所述逻辑接口中的所述soap请求模板信息,得到soap请求信息;
根据所述soap请求信息,在所述目标数据源中进行查询,得到所述初始目标数据。
6.根据权利要求1所述的方法,其特征在于,当所述目标数据源为所述结构化数据源时,所述根据所述目标数据调用请求信息,从所述目标数据源中得到初始目标数据,包括:
构建所述目标数据源的逻辑接口,其中,所述逻辑接口包括sql模板信息;
将所述目标数据调用请求信息发送至所述逻辑接口,以根据所述逻辑接口中的所述sql模板信息,得到sql查询语句信息;
根据所述sql查询语句信息,在所述目标数据源中进行查询,得到所述初始目标数据。
7.根据权利要求1所述的方法,其特征在于,当所述目标数据源为所述非结构化数据源时,所述根据所述目标数据调用请求信息,从所述目标数据源中得到初始目标数据,包括:
构建所述目标数据源的逻辑接口,其中,所述逻辑接口包括表结构信息;
将所述目标数据调用请求信息发送至所述逻辑接口,以根据所述逻辑接口中的所述表结构信息,得到查询信息;
根据所述查询信息,在所述目标数据源中进行查询,得到所述初始目标数据。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向网关发送日志信息,以将所述日志信息存储在所述网关;
当所述网关接收到所述客户端或所述目标数据源的数据调用请求查询信息时,对所述日志信息进行查询,得到数据调用请求日志信息;
将所述数据调用请求日志信息发送至所述客户端或所述目标数据源。
9.一种数据服务装置,其特征在于,包括:
获取模块,用于获取数据调用请求信息;
确定模块,用于根据所述数据调用请求信息,确定目标数据源,其中,所述目标数据源为结构化数据源、非结构化数据源、restful数据源和webservice数据源中的一种;
第一得到模块,用于根据预设的格式转换规则和所述数据调用请求信息,得到目标数据调用请求信息,其中,所述格式转换规则为数据源中存储数据的数据类型、数据调用请求中的数据需求类型、以及客户端中的数据接收类型之间的转换规则;
第二得到模块,用于根据所述目标数据调用请求信息,从所述目标数据源中得到初始目标数据;
第三得到模块,用于根据所述预设的格式转换规则和所述初始目标数据,得到目标数据;
发送模块,用于将所述目标数据发送至所述客户端。
10.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的数据服务方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311707852.XA CN117688075A (zh) | 2023-12-12 | 2023-12-12 | 数据服务方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311707852.XA CN117688075A (zh) | 2023-12-12 | 2023-12-12 | 数据服务方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117688075A true CN117688075A (zh) | 2024-03-12 |
Family
ID=90129767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311707852.XA Pending CN117688075A (zh) | 2023-12-12 | 2023-12-12 | 数据服务方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117688075A (zh) |
-
2023
- 2023-12-12 CN CN202311707852.XA patent/CN117688075A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108306877B (zh) | 基于node js的用户身份信息的验证方法、装置和存储介质 | |
CN109067728B (zh) | 应用程序接口的访问控制方法、装置、服务器及存储介质 | |
CN111600909A (zh) | 数据处理方法、装置、协议转换设备及存储介质 | |
WO2021073202A1 (zh) | 智能合约处理方法、计算机设备及存储介质 | |
CN107346320B (zh) | 一种数据调用方法和装置 | |
KR101145789B1 (ko) | 콘텐츠 분류 방법 및 시스템 | |
CN109257451B (zh) | 对应关系解析方法及设备 | |
CN109521956B (zh) | 一种基于区块链的云存储方法、装置、设备及存储介质 | |
CN110007916B (zh) | 业务系统的界面渲染方法、装置和服务器 | |
CN113612686A (zh) | 流量调度方法、装置及电子设备 | |
CN112579118B (zh) | 微服务的配置信息更新方法、装置、系统、介质和设备 | |
JP2018506796A (ja) | データバックフィル方法およびシステム | |
US20200111487A1 (en) | Voice capable api gateway | |
US10776179B2 (en) | Multi-application-oriented user data management method and system | |
CN113626512A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
CN110597877A (zh) | 一种区块链交易处理方法及装置 | |
CN111988418B (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
CN112733510A (zh) | 一种财务凭证生成方法、装置、设备及计算机可读存储介质 | |
CN109814916B (zh) | 一种ivr流程的配置方法、装置、存储介质和服务器 | |
CN114189476B (zh) | 一种多元接口分流调用方法及终端 | |
CN117688075A (zh) | 数据服务方法、装置、电子设备及存储介质 | |
CN115225299B (zh) | 用户认证方法、服务器和系统 | |
CN114840574A (zh) | 数据查询方法、服务器、节点及存储介质 | |
CN113836331A (zh) | 图像查询方法、设备及存储介质 | |
CN112835573A (zh) | 数据查询方法和装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |