CN115905225A - 一种数据服务的发布系统、方法、设备和计算机存储介质 - Google Patents
一种数据服务的发布系统、方法、设备和计算机存储介质 Download PDFInfo
- Publication number
- CN115905225A CN115905225A CN202211418208.6A CN202211418208A CN115905225A CN 115905225 A CN115905225 A CN 115905225A CN 202211418208 A CN202211418208 A CN 202211418208A CN 115905225 A CN115905225 A CN 115905225A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- api
- service
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 24
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008033 biological extinction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据服务的发布系统、方法、设备和计算机存储介质，该数据服务的发布系统包括服务端和客户端，服务端包括元数据管理模块、API数据服务管理模块和数据服务鉴权模块，其中：元数据管理模块用于获取元数据；API数据服务管理模块用于利用元数据生成API数据接口，并将所述API数据接口进行发布；数据服务鉴权模块用于获取API数据接口的配置信息和客户端的调用请求、并利用配置信息对调用请求进行鉴权；当调用请求通过鉴权时，客户端调用API数据接口，其通过客户端对API数据接口的调用实现了数据资产的复用。而且，该数据服务的发布系统通过表定义单元可以将不同的异构数据源解析形成同一所述API数据接口，方便了不同异构数据源的调用。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据服务的发布系统、方法、设备和计算机存储介质。
背景技术
云计算的本质是数据处理技术，而数据中往往存储有大量的信息，对现有数据进行挖掘可以为用户提供针对性的数据服务，如中国发明专利CN202210470735.5公开了一种数据服务的处理方法、装置、电子设备及存储介质，其能够使管理用户快速构建出数据表的数据服务，其他查询用户可以通过该数据服务直接查询获取与该数据服务对应的目标数据，但是，该技术方案主要依赖于数据同步的可靠性，且当数据为异构数据源时，其支持不同的同步方案时，服务器的资源占用较高，增加了数据服务的开发和运维成本，数据服务的时效性较差；另外，由于该技术方案将目标数据缓存至缓存数据库，没有复用资产。
发明内容
基于此，本发明的目的在于，提供一种数据服务的发布系统、方法、设备和计算机存储介质，其可以复用现有的数据资产、且数据服务的时效性高。
本发明所采用的技术方案内容具体如下：
一种数据服务的发布系统，包括服务端和客户端，所述服务端包括元数据管理模块、API数据服务管理模块和数据服务鉴权模块，其中：
所述元数据管理模块用于获取元数据；
所述API数据服务管理模块用于利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
所述数据服务鉴权模块用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。
进一步地，所述元数据管理模块包括数据源定义单元和表定义单元，所述数据源定义单元用于利用SQL函数从所述多个数据库中获取多个异构数据源；所述表定义单元用于利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。
进一步地，所述API数据服务管理模块包括数据服务定义单元、数据服务测试单元和数据服务发布单元，所述数据服务定义单元用于定义所述元数据的API前缀和所述API数据接口的请求类型、并利用所述元数据的API前缀和所述API数据接口的请求类型生成初始API数据接口；所述数据服务测试单元用于对所述初始API数据接口进行测试，将通过测试的初始API数据接口确定为所述API数据接口；所述数据服务发布单元用于将所述API数据接口发布给所述客户端。
进一步地，所述数据服务鉴权模块包括鉴权管理单元、鉴权配置单元和鉴权服务单元，所述鉴权管理单元用于对所述API数据接口的调用请求进行管理和登记；所述鉴权配置单元用于对所述API数据接口进行解析，得到所述API接口的配置信息，且所述配置信息包括所述API数据接口的令牌、黑白名单、服务验签和数据限流中；所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权。
进一步地，所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权为：
所述鉴权服务单元利用令牌、服务验签、黑白名单和数据限流中的至少一种对所述客户端的调用请求进行鉴权，其中：
利用令牌对所述调用请求进行鉴权为：判断所述调用请求传输的令牌是否符合规则，如不符合规则，则未通过鉴权；如符合规则，则对所述调用请求传输的令牌进行解析，得到所述调用请求的用户信息；判断所述用户信息与所述API数据接口发布的用户信息是否匹配，如匹配成功，则利用服务验签所述客户端的调用请求进行鉴权；
利用服务验签对所述调用请求进行鉴权为：客户端向所述鉴权服务单元传输调用请求和API数据接口的编码；所述鉴权服务单元根据接收的调用请求和API数据接口的编码生成签名和验证短链、并将生成的签名和验证短链传输至所述客户端；所述客户端根据所述API数据接口的配置信息，将API数据接口的编码、验证短链、签名和调用请求的参数传输至所述鉴权服务单元；所述鉴权服务单元对验证短链、签名和调用请求的参数进行验证，如验证不通过，则未通过鉴权，如验证通过，则利用黑白名单所述客户端的调用请求进行鉴权；
利用黑白名单所述客户端的调用请求进行鉴权为：所述鉴权服务单元获取所述客户端的IP，将所述客户端的IP与所述API数据接口的白名单进行匹配，如匹配成功，则利用数据限流对所述客户端的调用请求进行鉴权；如匹配失败，则将所述客户端的IP与所述API数据接口的黑名单进行匹配，如匹配失败，则利用数据限流对所述客户端的调用请求进行鉴权，如匹配成功，则未通过鉴权；
利用数据限流对所述调用请求进行鉴权为：获取所述调用请求的调用流量，并将所述调用流量与流量阈值进行比较，当所述调用流量大于流量阈值时，对所述调用请求的调用流量进行限流处理，直到所述调用流量小于或等于所述流量阈值；当所述调用流量小于或等于流量阈值时，通过鉴权。
进一步地，所述数据服务发布系统还包括监控模块，所述监控模块包括分析单元、报告生成单元和报警单元，所述分析单元用于获取所述服务端对所述API数据接口的调用日志、并对所述调用日志进行分析，所述调用日志包括调用请求信息、服务端IP、调用过程和调用结果中的至少一种；所述报告生成单元用于利用所述分析单元的分析结果生成监控报告；当所述分析单元的分析结果为异常时，所述报警单元将所述异常信息传输至所述API数据服务管理模块。
本发明还提供了一种数据服务的发布方法，包括：
S1：服务端获取元数据；
S2：服务端利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
S3：服务端用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。
进一步地，步骤S1包括：
S11：服务端利用SQL函数从所述多个数据库中获取多个异构数据源；
S12：服务端利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。
本发明还提供了一种数据服务的发布设备，包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现本发明所述的数据服务的发布方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现本发明所述的数据服务的发布方法。
与现有技术相比，本发明的有益效果在于：
1、本发明公开的数据服务的发布系统，其首先利用数据源获取元数据，然后利用元数据生成API数据接口，最后通过利用所述API数据接口的配置信息对所述客户端的调用请求进行鉴权，且当所述调用请求通过鉴权后，所述客户端调用所述API数据接口，其通过API数据接口实现了数据资产的复用。
2、本发明公开的数据服务的发布系统，其通过表定义单元可以将不同的异构数据源解析形成同一所述API数据接口，方便了不同异构数据源的调用。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明一实施例中数据服务的发布系统的结构框图；
图2为本发明一实施例中数据服务的发布方法的流程图；
图3为图2中利用令牌对所述调用请求进行鉴权的流程图；
图4为图2中利用服务验签对所述调用请求进行鉴权的流程图；
图5为图2中利用黑白名单所述客户端的调用请求进行鉴权的流程图；
图6为图2中利用数据限流对所述调用请求进行鉴权的流程图；
其中，各附图的附图标记为：
1、服务端；2、客户端；21、数据管理模块；211、数据源定义单元；212、表定义单元；22、API数据服务管理模块；221、数据服务定义单元；222、数据服务测试单元；223、数据服务发布单元；224、数据服务列表单元；225、短链配置单元；226、数据服务下线单元；23、数据服务鉴权模块；231、鉴权管理单元；232、鉴权配置单元；233、鉴权服务单元；24、监控模块；241、分析单元；242、报告生成单元；243、报警单元。
具体实施方式
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求来限制。
参照图1，本实施例提供了一种数据服务的发布系统，包括服务端2和客户端1，所述服务端2包括元数据管理模块21、API数据服务管理模块22和数据服务鉴权模块23，其中：
所述元数据管理模块21用于获取元数据；
所述API数据服务管理模块22用于利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
所述数据服务鉴权模块23用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。
本发明公开的数据服务的发布系统，其利用所述元数据生成所述API数据接口、并通过对所述API数据接口的调用即实现了数据资产的复用，提高了数据资产的利用效率。
在本实施例中，所述元数据管理模块21包括数据源定义单元211和表定义单元212，所述数据源定义单元211用于利用SQL函数从所述多个数据库中获取多个异构数据源；所述表定义单元212用于利用结构化语言对多个所述异构数据源进行解析，得到所述元数据，其通过所述表定义单元212可以将多个异构数据源解析形成同一所述API数据接口，方便了不同异构数据源的调用的同时提高了数据资产的利用效率。而且，多个所述异构数据源为满足支持JDBC驱动的数据源，比如Postgresql、ChilkHouse等数据库的数据源，这是因为现有的大部分线上数据均采用JDBC标准，且现有的大部分现有数据稳定可靠，大大方便了不同异构数据源的获取。
在本实施例中，所述API数据服务管理模块22包括数据服务定义单元221、数据服务测试单元222和数据服务发布单元223，所述数据服务定义单元221用于定义所述元数据的API前缀和所述API数据接口的请求类型、并利用所述元数据的API前缀和所述API数据接口的请求类型生成初始API数据接口；所述数据服务测试单元222用于对所述初始API数据接口进行测试，将通过测试的初始API数据接口确定为所述API数据接口，其通过测试可以对所述API数据接口的参数进行相应调整，以使得服务端1调用所述API数据接口时具有更好的响应效果；所述数据服务发布单元223用于将所述API数据接口发布给所述客户端1；而且，所述API数据服务管理模块22还包括数据服务列表单元224、短链配置单元225和数据服务下线单元226，所述数据服务列表单元224用于对所述API数据接口进行展示，所述短链配置单元225用于对所述API数据服务接口进行短链配置，所述数据服务下线单元226用于对未使用或异常的所述API数据接口进行消亡处理。
在本实施例中，所述数据服务定义单元221采用短链技术定义不同所述API数据接口的前缀和所述API数据接口的请求类型，比如GET、POST等、数据服务名称、请求路径、请求参数、请求Header、路径变量、请求Body等参数，通过便捷的调试运行可视化界面，最后以RESTFUL方式返回JSON格式的数据统一输出，生成所述API数据接口；而且，通过所述服务列表单元224通过对所述API数据接口进行展示，方便了所述API数据接口进行查找、修改等后期维护；所述数据服务下线单元226采用物理删除和逻辑删除的方式对未使用或异常的所述API数据接口进行消亡处理，其中，物理删除是直接删除该API数据接口，逻辑删除是将该API数据服务暂时停用而不对外开放。
在本实施例中，所述数据服务鉴权模块23包括鉴权管理单元231、鉴权配置单元232和鉴权服务单元233，所述鉴权管理单元131用于对所述API数据接口的调用请求进行管理和登记，以对客户端1对所述API数据接口的调用记录进行记录以形成调用日志，方便了所述API数据接口的管理与监控；所述鉴权配置单元232用于对所述API数据接口进行解析，得到所述API接口的配置信息，且所述配置信息包括所述API数据接口的令牌、黑白名单、服务验签和数据限流中；所述鉴权服务单元233用于利用所述配置信息对所述客户端的调用请求进行鉴权。
在本实施例中，所述鉴权服务单元233用于利用所述配置信息对所述客户端的调用请求进行鉴权为：
所述鉴权服务单元233利用令牌、服务验签、黑白名单和数据限流中的至少一种对所述客户端1的调用请求进行鉴权，其中：
参照图3，利用令牌对所述调用请求进行鉴权为：判断所述调用请求传输的令牌是否符合规则，如不符合规则，则未通过鉴权；如符合规则，则对所述调用请求传输的令牌进行解析，得到所述调用请求的用户信息；判断所述用户信息与所述API数据接口发布的用户信息是否匹配，如匹配成功，则利用服务验签所述客户端的调用请求进行鉴权。
参照图4，利用服务验签对所述调用请求进行鉴权为：客户端向所述鉴权服务单元传输调用请求和API数据接口的编码；所述鉴权服务单元根据接收的调用请求和API数据接口的编码生成签名和验证短链、并将生成的签名和验证短链传输至所述客户端；所述客户端根据所述API数据接口的配置信息，将API数据接口的编码、验证短链、签名和调用请求的参数传输至所述鉴权服务单元；所述鉴权服务单元对验证短链、签名和调用请求的参数进行验证，如验证不通过，则未通过鉴权，如验证通过，则利用黑白名单所述客户端的调用请求进行鉴权。
参照图5，利用黑白名单所述客户端的调用请求进行鉴权为：所述鉴权服务单元获取所述客户端的IP，将所述客户端的IP与所述API数据接口的白名单进行匹配，如匹配成功，则利用数据限流对所述客户端的调用请求进行鉴权；如匹配失败，则将所述客户端的IP与所述API数据接口的黑名单进行匹配，如匹配失败，则利用数据限流对所述客户端的调用请求进行鉴权，如匹配成功，则未通过鉴权。在本实施例中，所述白名单是允许调用所述API数据接口的客户端1的IP的集合，所述黑名单是不允许调用所述API数据接口的客户端2的IP的集合。
参照图6，利用数据限流对所述调用请求进行鉴权为：获取所述调用请求的调用流量，并将所述调用流量与流量阈值进行比较，当所述调用流量大于流量阈值时，对所述调用请求的调用流量进行限流处理，直到所述调用流量小于或等于所述流量阈值；当所述调用流量小于或等于流量阈值时，通过鉴权。
本发明所述的数据服务的发布系统，其鉴权服务单元233利用令牌、服务验签、黑白名单和数据限流中的至少一种对所述客户端1的调用请求进行鉴权，其可以数据资产的安全级别选择令牌、服务验签、黑白名单和数据限流多种鉴权内容组合在一起进行鉴权，以提高通过所述API数据接口调用数据资产时的安全性。而且，通过多种鉴权内容的组合，可以避免单个鉴权内容失效时其他鉴权内容可以正常使用，以进一步提高通过所述API数据接口调用数据资产时的安全性。
在本实施例中，所述数据服务发布系统还包括监控模块24，所述监控模块24包括分析单元241、报告生成单元242和报警单元243，所述分析单元241用于获取所述服务端1对所述API数据接口的调用日志、并对所述调用日志进行分析，所述调用日志包括调用请求信息、服务端IP、调用过程和调用结果中的至少一种；所述报告生成单元242用于利用所述分析单元的分析结果生成监控报告；当所述分析单元241的分析结果为异常时，所述报警单元将所述异常信息传输至所述数据服务下线单元222。
参照图2，本发明还提供了一种数据服务的发布方法，包括：
S1：服务端获取元数据；
S2：服务端利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
S3：服务端获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；
S4：当所述调用请求通过鉴权时，客户端调用所述API数据接口。
具体地，所述数据服务的发布方法基于本实施例提供的数据服务的发布系统，其包括如下步骤：
S1：所述元数据管理模块21获取元数据，在本实施例中，步骤S1包括：(1)所述数据源定义单元211利用SQL函数从所述多个数据库中获取多个异构数据源；(2)所述表定义单元212利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。
S2：所述API数据服务管理模块22利用所述元数据生成API数据接口，并将所述API数据接口进行发布。
在本实施例中，(1)所述数据服务定义单元221定义所述元数据的API前缀和所述API数据接口的请求类型、并利用所述元数据的API前缀和所述API数据接口的请求类型生成初始API数据接口；(2)所述数据服务测试单元222对所述初始API数据接口进行测试，将通过测试的初始API数据接口确定为所述API数据接口；(3)所述数据服务发布单元223将所述API数据接口发布给所述客户端1；(4)所述数据服务列表单元224对所述API数据接口进行展示，所述短链配置单元225对所述API数据服务接口进行短链配置，所述数据服务下线单元226对未使用或异常的所述API数据接口进行消亡处理。
S3：所述数据服务鉴权模块23用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。
在本实施例中，步骤S3包括：(1)所述鉴权管理单元131对所述API数据接口的调用请求进行管理和登记；(2)所述鉴权配置单元232对所述API数据接口进行解析，得到所述API接口的配置信息；(3)所述鉴权服务单元233利用所述配置信息对所述客户端的调用请求进行鉴权。
而且，在本实施例中，所述鉴权服务单元233用于利用所述配置信息对所述客户端的调用请求进行鉴权为：所述鉴权服务单元233利用令牌、服务验签、黑白名单和数据限流中的至少一种对所述客户端1的调用请求进行鉴权，且利用令牌对所述调用请求进行鉴权详见图3、利用服务验签对所述调用请求进行鉴权详见图4、利用黑白名单所述客户端的调用请求进行鉴权详见图5和利用数据限流对所述调用请求进行鉴权详见图6。
基于本实施例提供的数据服务的发布方法，本实施例还提供了一种数据服务的发布设备，所述数据服务的发布设备可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备，包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现本实施所述的数据服务的发布方法。
基于本实施例提供的数据服务的发布方法，本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现本实施所述的数据服务的发布方法。
本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。
Claims (10)
1.一种数据服务的发布系统，其特征在于：包括服务端和客户端，所述服务端包括元数据管理模块、API数据服务管理模块和数据服务鉴权模块，其中：
所述元数据管理模块用于获取元数据；
所述API数据服务管理模块用于利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
所述数据服务鉴权模块用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。
2.根据权利要求1所述的数据服务发布系统，其特征在于，所述元数据管理模块包括数据源定义单元和表定义单元，所述数据源定义单元用于利用SQL函数从所述多个数据库中获取多个异构数据源；所述表定义单元用于利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。
3.根据权利要求1所述的数据服务发布系统，其特征在于，所述API数据服务管理模块包括数据服务定义单元、数据服务测试单元和数据服务发布单元，所述数据服务定义单元用于定义所述元数据的API前缀和所述API数据接口的请求类型、并利用所述元数据的API前缀和所述API数据接口的请求类型生成初始API数据接口；所述数据服务测试单元用于对所述初始API数据接口进行测试，将通过测试的初始API数据接口确定为所述API数据接口；所述数据服务发布单元用于将所述API数据接口发布给所述客户端。
4.根据权利要求1所述的数据服务的发布系统，其特征在于，所述数据服务鉴权模块包括鉴权管理单元、鉴权配置单元和鉴权服务单元，所述鉴权管理单元用于对所述API数据接口的调用请求进行管理和登记；所述鉴权配置单元用于对所述API数据接口进行解析，得到所述API接口的配置信息，且所述配置信息包括所述API数据接口的令牌、黑白名单、服务验签和数据限流中；所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权。
5.根据权利要求4所述的数据服务的发布系统，其特征在于，所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权为：
所述鉴权服务单元利用令牌、服务验签、黑白名单和数据限流中的至少一种对所述客户端的调用请求进行鉴权，其中：
利用令牌对所述调用请求进行鉴权为：判断所述调用请求传输的令牌是否符合规则，如不符合规则，则未通过鉴权；如符合规则，则对所述调用请求传输的令牌进行解析，得到所述调用请求的用户信息；判断所述用户信息与所述API数据接口发布的用户信息是否匹配，如匹配成功，则利用服务验签所述客户端的调用请求进行鉴权；
利用服务验签对所述调用请求进行鉴权为：客户端向所述鉴权服务单元传输调用请求和API数据接口的编码；所述鉴权服务单元根据接收的调用请求和API数据接口的编码生成签名和验证短链、并将生成的签名和验证短链传输至所述客户端；所述客户端根据所述API数据接口的配置信息，将API数据接口的编码、验证短链、签名和调用请求的参数传输至所述鉴权服务单元；所述鉴权服务单元对验证短链、签名和调用请求的参数进行验证，如验证不通过，则未通过鉴权，如验证通过，则利用黑白名单所述客户端的调用请求进行鉴权；
利用黑白名单所述客户端的调用请求进行鉴权为：所述鉴权服务单元获取所述客户端的IP，将所述客户端的IP与所述API数据接口的白名单进行匹配，如匹配成功，则利用数据限流对所述客户端的调用请求进行鉴权；如匹配失败，则将所述客户端的IP与所述API数据接口的黑名单进行匹配，如匹配失败，则利用数据限流对所述客户端的调用请求进行鉴权，如匹配成功，则未通过鉴权；
利用数据限流对所述调用请求进行鉴权为：获取所述调用请求的调用流量，并将所述调用流量与流量阈值进行比较，当所述调用流量大于流量阈值时，对所述调用请求的调用流量进行限流处理，直到所述调用流量小于或等于所述流量阈值；当所述调用流量小于或等于流量阈值时，通过鉴权。
6.根据权利要求1-5任一项所述的数据服务发布系统，其特征在于，所述数据服务发布系统还包括监控模块，所述监控模块包括分析单元、报告生成单元和报警单元，所述分析单元用于获取所述服务端对所述API数据接口的调用日志、并对所述调用日志进行分析，所述调用日志包括调用请求信息、服务端IP、调用过程和调用结果中的至少一种；所述报告生成单元用于利用所述分析单元的分析结果生成监控报告；当所述分析单元的分析结果为异常时，所述报警单元将所述异常信息传输至所述API数据服务管理模块。
7.一种数据服务的发布方法，其特征在于，包括如下步骤：
S1：服务端获取元数据；
S2：服务端利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
S3：服务端获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；
S4：当所述调用请求通过鉴权时，客户端调用所述API数据接口。
8.根据权利要求7所述的数据服务的发布方法，其特征在于，步骤S1包括：
S11：所述服务端利用SQL函数从所述多个数据库中获取多个异构数据源；
S12：所述服务端利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。
9.一种数据服务的发布设备，其特征在于，包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现权利要求7或8所述的数据服务的发布方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求7或8所述的数据服务的发布方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211418208.6A CN115905225A (zh) | 2022-11-14 | 2022-11-14 | 一种数据服务的发布系统、方法、设备和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211418208.6A CN115905225A (zh) | 2022-11-14 | 2022-11-14 | 一种数据服务的发布系统、方法、设备和计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115905225A true CN115905225A (zh) | 2023-04-04 |
Family
ID=86496655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211418208.6A Pending CN115905225A (zh) | 2022-11-14 | 2022-11-14 | 一种数据服务的发布系统、方法、设备和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115905225A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117194533A (zh) * | 2023-11-08 | 2023-12-08 | 中国电子科技集团公司第十五研究所 | 一种元数据服务发布方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102378170A (zh) * | 2010-08-27 | 2012-03-14 | 中国移动通信有限公司 | 一种鉴权及业务调用方法、装置和系统 |
| CN112163026A (zh) * | 2020-09-25 | 2021-01-01 | 内蒙古聚达发电有限责任公司 | 一种用于整合多类技术应用数据的多源异构接口管控方法 |
| CN114510228A (zh) * | 2022-02-15 | 2022-05-17 | 英飞拓(杭州)信息系统技术有限公司 | 一种基于sql的api接口系统及其管理方法 |
-
2022
- 2022-11-14 CN CN202211418208.6A patent/CN115905225A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102378170A (zh) * | 2010-08-27 | 2012-03-14 | 中国移动通信有限公司 | 一种鉴权及业务调用方法、装置和系统 |
| CN112163026A (zh) * | 2020-09-25 | 2021-01-01 | 内蒙古聚达发电有限责任公司 | 一种用于整合多类技术应用数据的多源异构接口管控方法 |
| CN114510228A (zh) * | 2022-02-15 | 2022-05-17 | 英飞拓(杭州)信息系统技术有限公司 | 一种基于sql的api接口系统及其管理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117194533A (zh) * | 2023-11-08 | 2023-12-08 | 中国电子科技集团公司第十五研究所 | 一种元数据服务发布方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10749884B2 (en) | Systems and methods for detecting and preventing spoofing | |
| EP3720045B1 (en) | Blockchain-based data verification method and apparatus | |
| US20200389495A1 (en) | Secure policy-controlled processing and auditing on regulated data sets | |
| US11030203B2 (en) | Machine learning detection of database injection attacks | |
| US20130173789A1 (en) | Method and system for machine identification | |
| CN112000730B (zh) | 基于区块链的溯源信息写入、溯源信息验证的方法、系统 | |
| GB2491101A (en) | Detection of spoofing of remote client system information | |
| CN111090615A (zh) | 混合资产的分析处理方法、装置、电子设备及存储介质 | |
| CN103095693A (zh) | 定位访问数据库用户主机信息的方法 | |
| CN115905225A (zh) | 一种数据服务的发布系统、方法、设备和计算机存储介质 | |
| US20160085664A1 (en) | Generating a fingerprint representing a response of an application to a simulation of a fault of an external service | |
| US11531735B1 (en) | Dynamic fraud intervention machine | |
| CN110347678B (zh) | 一种金融数据的存储方法、系统、装置及设备 | |
| CN113904828B (zh) | 接口的敏感信息检测方法、装置、设备、介质和程序产品 | |
| CN114240436A (zh) | 电子凭证核销方法、装置、计算机设备和存储介质 | |
| CN117171185B (zh) | 基于工业标识的物流数据变更方法及相关设备 | |
| CN116094847B (zh) | 蜜罐识别方法、装置、计算机设备和存储介质 | |
| CN112528330B (zh) | 日志扫描方法、装置和设备 | |
| US20240195841A1 (en) | System and method for manipulation of secure data | |
| CN115758352A (zh) | 软件识别方法、装置及非易失性存储介质 | |
| CN115758376A (zh) | 威胁识别方法、装置、设备、介质和程序产品 | |
| CN116049010A (zh) | 接口测试方法、装置、电子设备及存储介质 | |
| KR20230097438A (ko) | 대량의 사용자 행위 데이터 분석을 통해 검증 쿼리를 생성하고 실행하여, 요청 파라미터 변조의 위험을 탐지 및 모니터링하는 시스템 | |
| CN118069711A (zh) | 一种数据查询方法及装置 | |
| CN117633783A (zh) | 数据库的攻击防御方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230404 |