CN116055493A - 一种跨架构的数据获取方法、网关节点及跨架构平台 - Google Patents

一种跨架构的数据获取方法、网关节点及跨架构平台 Download PDF

Info

Publication number
CN116055493A
CN116055493A CN202310337465.5A CN202310337465A CN116055493A CN 116055493 A CN116055493 A CN 116055493A CN 202310337465 A CN202310337465 A CN 202310337465A CN 116055493 A CN116055493 A CN 116055493A
Authority
CN
China
Prior art keywords
data
node
data request
gateway node
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310337465.5A
Other languages
English (en)
Other versions
CN116055493B (zh
Inventor
王星
赵涛
舒成
高士尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bige Big Data Co ltd
Original Assignee
Beijing Bige Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bige Big Data Co ltd filed Critical Beijing Bige Big Data Co ltd
Priority to CN202310337465.5A priority Critical patent/CN116055493B/zh
Publication of CN116055493A publication Critical patent/CN116055493A/zh
Application granted granted Critical
Publication of CN116055493B publication Critical patent/CN116055493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0281—Proxies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开涉及一种跨架构的数据获取方法、网关节点及跨架构平台，所述方法应用于跨架构平台，跨架构平台包括第一网关节点、第二网关节点、第一数据请求节点和第二数据请求节点，第一网关节点和第二网关节点分别将栅格数据划分为多个数据块；接收到第一数据请求节点发送的数据请求，查询多个数据块中是否存在与所述数据请求对应的数据块；若否，则将数据请求发送至第二网关节点；第二网关节点根据数据请求，确定对应的数据获取权限；查询第二网关节点中符合所述数据获取权限的数据块，返回至数据请求节点，能够通过对栅格数据划分的数据块与不同数据请求节点权限之间的对应关系，解决数据同步不安全以及数据请求冲突引发的数据同步不及时的问题。

Description

一种跨架构的数据获取方法、网关节点及跨架构平台
技术领域
本公开涉及技术领域，尤其涉及一种跨架构的数据获取方法、网关节点及跨架构平台。
背景技术
企业通常需要云的灵活性来满足业务不断变化的需求，其中，多云、混合云平台提供了优于传统单一云厂商策略的许多优点，其一是在任何给定时间利用来自多个不同提供商的独特云服务的能力，避免企业被某一云厂商捆绑，从而降低企业IT整体成本，优化资源配置；其二是在多机房云平台之间数据流通可以最大限度地减少停机的可能，随时转移云服务中的进程到其他系统或云中，提高系统容灾能力。因此，企业根据不同工作负载的特点，将不同业务落地在不同类型的云平台，导致企业传统的管理架构中同时存在多个服务商和多种类型的云平台。
企业使用多云后，在需要跨云同步数据时，多云异构会存在数据同步不安全以及数据请求冲突引发的数据同步不及时的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种跨架构的数据获取方法、网关节点及跨架构平台。
第一方面，本公开的实施例提供了一种跨架构的数据获取方法，应用于跨架构平台，其中，所述跨架构平台包括互相连接的第一网关节点和第二网关节点、与第一网关节点连接的至少一个第一数据请求节点、以及与第二网关节点连接的至少一个第二数据请求节点，所述方法包括：
第一网关节点和第二网关节点分别将预设第一数据库和预设第二数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
第一网关节点响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块；
第一网关节点响应于预设第一数据库的多个数据块中不存在与所述数据请求对应的数据块，将第一数据请求节点发送的数据请求发送至第二网关节点；
第二网关节点响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与数据请求节点对应的数据获取权限；
第二网关节点查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
在一种可能的实施方式中，所述第一网关节点与第二网关节点通过代理服务器连接，所述将第一数据请求节点发送的数据请求发送至第二网关节点，包括：
代理服务器响应于接收到第一网关节点发送的数据请求，对所述数据请求中的第一数据请求节点信息进行权限验证；
代理服务器响应于所述数据请求中的第一数据请求节点信息未通过权限验证，向第一网关节点返回第一数据请求节点未通过权限验证的结果；
第一网关节点响应于接收到第一数据请求节点未通过权限验证的结果，将第一数据请求节点发送的数据请求发送至其他网关节点；
代理服务器响应于所述数据请求中的第一数据请求节点信息通过权限验证，所述将第一数据请求节点发送的数据请求发送至第二网关节点。
在一种可能的实施方式中，所述方法还包括：
第一网关节点响应于预设第一数据库的多个数据块中存在与所述数据请求对应的数据块，将与所述数据请求对应的数据块返回至第一数据请求节点。
在一种可能的实施方式中，所述第一网关节点响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块，包括：
第一网关节点响应于接收到第一数据请求节点发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与所述第一数据请求节点对应的数据获取权限；
第一网关节点查询预设第一数据库的多个数据块中是否存在符合所述数据获取权限的数据块。
在一种可能的实施方式中，对每个数据块预先命名，第一数据请求节点的数量超过1个，所述第二网关节点查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点，包括：
第二网关节点对于每个第一数据请求节点的数据获取权限，所述第二网关节点分别查询预设第二数据库中符合每个数据获取权限的一组数据块；
第二网关节点对于多个第一数据请求节点对应的多组数据块中，不同组名称相同的数据块进行合并，得到合并后的数据块集合；
第二网关节点将当前数据块集合发送至第一网关节点；
第一网关节点按照不同第一数据请求节点分别对应的数据获取权限，将当前数据块集合重新组合为不同第一数据请求节点对应的多组数据块，分别发送至每一个第一数据请求节点。
在一种可能的实施方式中，第一数据请求节点和第二数据请求节点的网关、第一网关节点和第二网关节点均接入云平台。
在一种可能的实施方式中，第一网关节点和第二网关节点上均存储跨架构平台的所有数据。
在一种可能的实施方式中，跨架构平台的所有数据分布在第一网关节点和第二网关节点上，使得第一网关节点和第二网关节点分别存储跨架构平台的部分数据。
第二方面，本公开的实施例提供了一种网关节点，包括：
划分模块，用于将预设数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
确定模块，用于响应于接收到数据请求节点发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的第一数据请求节点信息，确定与所述数据请求节点对应的数据获取权限；
查询模块，用于查询预设数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
第三方面，本公开的实施例提供了一种跨架构平台，包括互相连接的第一网关节点和第二网关节点、与第一网关节点连接的至少一个第一数据请求节点、以及与第二网关节点连接的至少一个第二数据请求节点，其中，
第一网关节点和第二网关节点分别将预设第一数据库和预设第二数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
第一网关节点，用于响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块；响应于预设第一数据库的多个数据块中不存在与所述数据请求对应的数据块，将第一数据请求节点发送的数据请求发送至第二网关节点；
第二网关节点，用于响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与数据请求节点对应的数据获取权限；查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：
本公开实施例所述的跨架构的数据获取方法，应用于跨架构平台，其中，所述跨架构平台包括互相连接的第一网关节点和第二网关节点、与第一网关节点连接的至少一个第一数据请求节点、以及与第二网关节点连接的至少一个第二数据请求节点，第一网关节点和第二网关节点分别将预设第一数据库和预设第二数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；第一网关节点响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块；第一网关节点响应于预设第一数据库的多个数据块中不存在与所述数据请求对应的数据块，将第一数据请求节点发送的数据请求发送至第二网关节点；第二网关节点响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与数据请求节点对应的数据获取权限；第二网关节点查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点，能够通过对栅格数据划分的数据块与不同数据请求节点权限之间的对应关系，解决数据同步不安全以及数据请求冲突引发的数据同步不及时的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开实施例的跨架构的数据获取方法的多方交互流程示意图；
图2示意性示出了根据本公开实施例的网关节点的结构框图；以及
图3示意性示出了根据本公开实施例的跨架构平台的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
参见图1，本公开的实施例提供了一种跨架构的数据获取方法，应用于跨架构平台，其中，所述跨架构平台包括互相连接的第一网关节点和第二网关节点、与第一网关节点连接的至少一个第一数据请求节点、以及与第二网关节点连接的至少一个第二数据请求节点，所述方法包括：
第一网关节点和第二网关节点分别将预设第一数据库和预设第二数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
第一网关节点响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块；
第一网关节点响应于预设第一数据库的多个数据块中不存在与所述数据请求对应的数据块，将第一数据请求节点发送的数据请求发送至第二网关节点；
第二网关节点响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与数据请求节点对应的数据获取权限；
第二网关节点查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
在一些实施例中，所述方法还包括：
第二网关节点响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，根据数据请求中的网关节点信息，从预设第二数据库中，提取与网关节点信息对应的数据块，在所述与网关节点信息对应的数据块中查询与数据请求中的数据请求节点信息对应的数据块。
本实施例的方法先根据数据请求中的网关节点信息，从预设第二数据库中，提取与网关节点信息对应的数据块，再从与网关节点信息对应的数据块中，查询与数据请求中的数据请求节点信息对应的数据块，能够提高查询效率，加快查询速度。
在一些实施例中，第一数据请求节点和第二数据请求节点的网关、第一网关节点和第二网关节点均接入云平台，能够实现对不同架构下的数据进行快速传输。
在一些实施例中，所述第一网关节点与第二网关节点通过代理服务器连接，所述将第一数据请求节点发送的数据请求发送至第二网关节点，包括：
代理服务器响应于接收到第一网关节点发送的数据请求，对所述数据请求中的第一数据请求节点信息进行权限验证；
代理服务器响应于所述数据请求中的第一数据请求节点信息未通过权限验证，向第一网关节点返回第一数据请求节点未通过权限验证的结果；
第一网关节点响应于接收到第一数据请求节点未通过权限验证的结果，将第一数据请求节点发送的数据请求发送至其他网关节点；
代理服务器响应于所述数据请求中的第一数据请求节点信息通过权限验证，所述将第一数据请求节点发送的数据请求发送至第二网关节点。
在一些实施例中，第一网关节点可以为传统的kubernetes集群的网关节点，第二网关节点可以为具备代理服务器的公共kubernetes集群的网关节点，第一网关节点通过互联网与第二网关节点连接，第一数据请求节点通过局域网与第一网关节点连接，第二数据请求节点通过局域网与第二网关节点连接。
本实施例通过代理服务器对第一网关节点发送的数据请求进行初筛，能够减少第二网关节点处数据请求的数量，提高处理数据请求的效率。
在一些实施例中，所述方法还包括：
第一网关节点响应于预设第一数据库的多个数据块中存在与所述数据请求对应的数据块，将与所述数据请求对应的数据块返回至第一数据请求节点。
在一些实施例中，所述第一网关节点响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块，包括：
第一网关节点响应于接收到第一数据请求节点发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与所述第一数据请求节点对应的数据获取权限；
第一网关节点查询预设第一数据库的多个数据块中是否存在符合所述数据获取权限的数据块。
在实际应用场景中，预设第一数据库中的数据块为数据块1、数据块2、数据块3、……数据块n，符合第一数据请求节点的数据获取权限的数据块为数据块1、数据块2和数据块3，判定预设第一数据库中存在符合所述数据获取权限的数据块，也就是说，符合第一数据请求节点的数据获取权限的数据块均在预设第一数据库中的情况下，判定预设第一数据库中存在符合所述数据获取权限的数据块；符合第一数据请求节点的数据获取权限的数据块为数据块1、数据块2和数据块a，判定预设第一数据库中不存在符合所述数据获取权限的数据块，也就是说，符合第一数据请求节点的数据获取权限的所有数据块部分在预设第一数据库中的情况下，判定预设第一数据库中不存在符合所述数据获取权限的数据块；符合第一数据请求节点的数据获取权限的数据块为数据块b、数据块c和数据块d，判定预设第一数据库中不存在符合所述数据获取权限的数据块，也就是说，符合第一数据请求节点的数据获取权限的所有数据块均不在预设第一数据库中的情况下，判定预设第一数据库中不存在符合所述数据获取权限的数据块。
在一些实施例中，对每个数据块预先命名，第一数据请求节点的数量超过1个，所述第二网关节点查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点，包括：
第二网关节点对于每个第一数据请求节点的数据获取权限，所述第二网关节点分别查询预设第二数据库中符合每个数据获取权限的一组数据块；
第二网关节点对于多个第一数据请求节点对应的多组数据块中，不同组名称相同的数据块进行合并，得到合并后的数据块集合；
第二网关节点将当前数据块集合发送至第一网关节点；
第一网关节点按照不同第一数据请求节点分别对应的数据获取权限，将当前数据块集合重新组合为不同第一数据请求节点对应的多组数据块，分别发送至每一个第一数据请求节点。
在实际应用场景中，预设第二数据库中的数据块为数据块1、数据块2、数据块3、……数据块n，向第二网关节点请求数据的2个第一数据请求节点，符合2个第一数据请求节点的数据获取权限的2组数据块分别为：数据块1、数据块2和数据块3；数据块2、数据块3和数据块5，对2组数据块进行合并，合并后数据块集合为：数据块1、数据块2、数据块3和数据块5，数据块从预设第二数据库中提取数据块1、数据块2、数据块3和数据块5，并将数据块1、数据块2、数据块3和数据块5发送至第一网关节点，第一网关节点根据上述2个第一数据请求节点的数据获取权限对数据块1、数据块2、数据块3和数据块5组合为与2个第一数据请求节点分别对应的2组数据块：数据块1、数据块2和数据块3；数据块2、数据块3和数据块5，通过多个数据块的合并和重新组合，能够节省数据传输资源，并提高数据传输效率。
在一些实施例中，第一网关节点和第二网关节点上均存储跨架构平台的所有数据，第一数据请求节点向第一网关节点发送数据请求，在第一网关节点由于数据存储故障等无法提供与数据请求对应的数据块的情况下，第一网关节点通过将第一数据请求节点的数据请求发送至第二网关节点进行数据请求，使得第一数据请求节点获取与其对应的数据块。
在一些实施例中，跨架构平台的所有数据分布在第一网关节点和第二网关节点上，使得第一网关节点和第二网关节点分别存储跨架构平台的部分数据，第一数据请求节点向第一网关节点发送数据请求，在第一网关节点由于本地数据不全等无法提供与数据请求对应的数据块的情况下，第一网关节点通过将第一数据请求节点的数据请求发送至第二网关节点进行数据请求，使得第一数据请求节点获取与其对应的数据块。
参见图2，本公开的实施例提供了一种网关节点，包括：
划分模块21，用于将预设数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
确定模块22，用于响应于接收到数据请求节点发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的第一数据请求节点信息，确定与所述数据请求节点对应的数据获取权限；
查询模块23，用于查询预设数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
上述网关节点中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于网关节点实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的网关节点实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述网关节点实施例中，划分模块21、确定模块22和查询模块23中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。划分模块21、确定模块22和查询模块23中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，划分模块21、确定模块22和查询模块23中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
参见图3，本公开的实施例提供了一种跨架构平台，包括互相连接的第一网关节点和第二网关节点、与第一网关节点连接的至少一个第一数据请求节点、以及与第二网关节点连接的至少一个第二数据请求节点，其中，
第一网关节点和第二网关节点分别将预设第一数据库和预设第二数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
第一网关节点，用于响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块；响应于预设第一数据库的多个数据块中不存在与所述数据请求对应的数据块，将第一数据请求节点发送的数据请求发送至第二网关节点；
第二网关节点，用于响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与数据请求节点对应的数据获取权限；查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
在一些实施例中，在跨架构平台中，所述第一网关节点与第二网关节点通过代理服务器连接，其中，
代理服务器，用于响应于接收到第一网关节点发送的数据请求，对所述数据请求中的第一数据请求节点信息进行权限验证；响应于所述数据请求中的第一数据请求节点信息未通过权限验证，向第一网关节点返回第一数据请求节点未通过权限验证的结果；响应于所述数据请求中的第一数据请求节点信息通过权限验证，所述将第一数据请求节点发送的数据请求发送至第二网关节点，
第一网关节点，用于响应于接收到第一数据请求节点未通过权限验证的结果，将第一数据请求节点发送的数据请求发送至其他网关节点。
在一些实施例中，在跨架构平台中，第一网关节点，还用于响应于预设第一数据库的多个数据块中存在与所述数据请求对应的数据块，将与所述数据请求对应的数据块返回至第一数据请求节点。
在一些实施例中，在跨架构平台中，第一网关节点，还用于：
第一网关节点响应于接收到第一数据请求节点发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与所述第一数据请求节点对应的数据获取权限；
第一网关节点查询预设第一数据库的多个数据块中是否存在符合所述数据获取权限的数据块。
在一些实施例中，对每个数据块预先命名，第一数据请求节点的数量超过1个，在跨架构平台中，第二网关节点，还用于：
对于每个第一数据请求节点的数据获取权限，所述第二网关节点分别查询预设第二数据库中符合每个数据获取权限的一组数据块；对于多个第一数据请求节点对应的多组数据块中，不同组名称相同的数据块进行合并，得到合并后的数据块集合；将当前数据块集合发送至第一网关节点；
第一网关节点，还用于：按照不同第一数据请求节点分别对应的数据获取权限，将当前数据块集合重新组合为不同第一数据请求节点对应的多组数据块，分别发送至每一个第一数据请求节点。
在一些实施例中，第一数据请求节点和第二数据请求节点的网关、第一网关节点和第二网关节点均接入云平台。
在一些实施例中，第一网关节点和第二网关节点上均存储跨架构平台的所有数据。
在一些实施例中，跨架构平台的所有数据分布在第一网关节点和第二网关节点上，使得第一网关节点和第二网关节点分别存储跨架构平台的部分数据。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种跨架构的数据获取方法，其特征在于，应用于跨架构平台，其中，所述跨架构平台包括互相连接的第一网关节点和第二网关节点、与第一网关节点连接的至少一个第一数据请求节点、以及与第二网关节点连接的至少一个第二数据请求节点，所述方法包括：
第一网关节点和第二网关节点分别将预设第一数据库和预设第二数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
第一网关节点响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块；
第一网关节点响应于预设第一数据库的多个数据块中不存在与所述数据请求对应的数据块，将第一数据请求节点发送的数据请求发送至第二网关节点；
第二网关节点响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与数据请求节点对应的数据获取权限；
第二网关节点查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
2.根据权利要求1所述的方法，其特征在于，所述第一网关节点与第二网关节点通过代理服务器连接，所述将第一数据请求节点发送的数据请求发送至第二网关节点，包括：
代理服务器响应于接收到第一网关节点发送的数据请求，对所述数据请求中的第一数据请求节点信息进行权限验证；
代理服务器响应于所述数据请求中的第一数据请求节点信息未通过权限验证，向第一网关节点返回第一数据请求节点未通过权限验证的结果；
第一网关节点响应于接收到第一数据请求节点未通过权限验证的结果，将第一数据请求节点发送的数据请求发送至其他网关节点；
代理服务器响应于所述数据请求中的第一数据请求节点信息通过权限验证，所述将第一数据请求节点发送的数据请求发送至第二网关节点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
第一网关节点响应于预设第一数据库的多个数据块中存在与所述数据请求对应的数据块，将与所述数据请求对应的数据块返回至第一数据请求节点。
4.根据权利要求1所述的方法，其特征在于，所述第一网关节点响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块，包括：
第一网关节点响应于接收到第一数据请求节点发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与所述第一数据请求节点对应的数据获取权限；
第一网关节点查询预设第一数据库的多个数据块中是否存在符合所述数据获取权限的数据块。
5.根据权利要求1所述的方法，其特征在于，对每个数据块预先命名，第一数据请求节点的数量超过1个，所述第二网关节点查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点，包括：
第二网关节点对于每个第一数据请求节点的数据获取权限，所述第二网关节点分别查询预设第二数据库中符合每个数据获取权限的一组数据块；
第二网关节点对于多个第一数据请求节点对应的多组数据块中，不同组名称相同的数据块进行合并，得到合并后的数据块集合；
第二网关节点将当前数据块集合发送至第一网关节点；
第一网关节点按照不同第一数据请求节点分别对应的数据获取权限，将当前数据块集合重新组合为不同第一数据请求节点对应的多组数据块，分别发送至每一个第一数据请求节点。
6.根据权利要求1所述的方法，其特征在于，第一数据请求节点和第二数据请求节点的网关、第一网关节点和第二网关节点均接入云平台。
7.根据权利要求1所述的方法，其特征在于，第一网关节点和第二网关节点上均存储跨架构平台的所有数据。
8.根据权利要求1所述的方法，其特征在于，跨架构平台的所有数据分布在第一网关节点和第二网关节点上，使得第一网关节点和第二网关节点分别存储跨架构平台的部分数据。
9.一种网关节点，其特征在于，包括：
划分模块，用于将预设数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
确定模块，用于响应于接收到数据请求节点发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的第一数据请求节点信息，确定与所述数据请求节点对应的数据获取权限；
查询模块，用于查询预设数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
10.一种跨架构平台，其特征在于，包括互相连接的第一网关节点和第二网关节点、与第一网关节点连接的至少一个第一数据请求节点、以及与第二网关节点连接的至少一个第二数据请求节点，其中，
第一网关节点和第二网关节点分别将预设第一数据库和预设第二数据库中的栅格数据划分为多个数据块，其中，每个数据块包括多层数据；
第一网关节点，用于响应于接收到第一数据请求节点发送的数据请求，查询预设第一数据库的多个数据块中是否存在与所述数据请求对应的数据块；响应于预设第一数据库的多个数据块中不存在与所述数据请求对应的数据块，将第一数据请求节点发送的数据请求发送至第二网关节点；
第二网关节点，用于响应于接收到第一数据请求节点和第二数据请求节点中至少一种发送的数据请求，基于预设的数据请求节点信息与数据获取权限之间的对应关系，根据数据请求中的数据请求节点信息，确定与数据请求节点对应的数据获取权限；查询预设第二数据库的多个数据块中符合所述数据获取权限的数据块，返回至数据请求节点。
CN202310337465.5A 2023-03-31 2023-03-31 一种跨架构的数据获取方法、网关节点及跨架构平台 Active CN116055493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310337465.5A CN116055493B (zh) 2023-03-31 2023-03-31 一种跨架构的数据获取方法、网关节点及跨架构平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310337465.5A CN116055493B (zh) 2023-03-31 2023-03-31 一种跨架构的数据获取方法、网关节点及跨架构平台

Publications (2)

Publication Number Publication Date
CN116055493A true CN116055493A (zh) 2023-05-02
CN116055493B CN116055493B (zh) 2023-06-23

Family

ID=86133592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310337465.5A Active CN116055493B (zh) 2023-03-31 2023-03-31 一种跨架构的数据获取方法、网关节点及跨架构平台

Country Status (1)

Country Link
CN (1) CN116055493B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011038628A1 (zh) * 2009-09-29 2011-04-07 华为技术有限公司 数据获取方法、接入节点和系统
CN102968456A (zh) * 2012-10-30 2013-03-13 北京地拓科技发展有限公司 一种栅格数据读取处理方法和装置
WO2015110062A1 (zh) * 2014-01-26 2015-07-30 华为技术有限公司 一种分布式数据存储方法、装置和系统
CN107992491A (zh) * 2016-10-26 2018-05-04 中国移动通信有限公司研究院 一种分布式文件系统、数据访问和数据存储的方法及装置
CN110955720A (zh) * 2018-09-27 2020-04-03 阿里巴巴集团控股有限公司 一种数据加载方法、装置及系统
CN111782614A (zh) * 2020-06-23 2020-10-16 北京青云科技股份有限公司 数据访问方法、装置、设备及存储介质
CN113452592A (zh) * 2021-06-09 2021-09-28 北京奥星贝斯科技有限公司 混合云架构下的跨云数据访问方法及装置
WO2022048589A1 (zh) * 2020-09-03 2022-03-10 中国银联股份有限公司 数据获取方法、装置、设备和介质
CN114422537A (zh) * 2022-03-28 2022-04-29 维塔科技(北京)有限公司 多云存储系统、多云数据读写方法及电子设备
CN114640473A (zh) * 2022-05-18 2022-06-17 山东省计算中心（国家超级计算济南中心） 基于区块链和abac的跨数据中心访问控制方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011038628A1 (zh) * 2009-09-29 2011-04-07 华为技术有限公司 数据获取方法、接入节点和系统
CN102968456A (zh) * 2012-10-30 2013-03-13 北京地拓科技发展有限公司 一种栅格数据读取处理方法和装置
WO2015110062A1 (zh) * 2014-01-26 2015-07-30 华为技术有限公司 一种分布式数据存储方法、装置和系统
CN107992491A (zh) * 2016-10-26 2018-05-04 中国移动通信有限公司研究院 一种分布式文件系统、数据访问和数据存储的方法及装置
CN110955720A (zh) * 2018-09-27 2020-04-03 阿里巴巴集团控股有限公司 一种数据加载方法、装置及系统
CN111782614A (zh) * 2020-06-23 2020-10-16 北京青云科技股份有限公司 数据访问方法、装置、设备及存储介质
WO2022048589A1 (zh) * 2020-09-03 2022-03-10 中国银联股份有限公司 数据获取方法、装置、设备和介质
CN113452592A (zh) * 2021-06-09 2021-09-28 北京奥星贝斯科技有限公司 混合云架构下的跨云数据访问方法及装置
CN114422537A (zh) * 2022-03-28 2022-04-29 维塔科技(北京)有限公司 多云存储系统、多云数据读写方法及电子设备
CN114640473A (zh) * 2022-05-18 2022-06-17 山东省计算中心（国家超级计算济南中心） 基于区块链和abac的跨数据中心访问控制方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周艺华等: "混合云服务中的跨云际认证机制", 计算机系统应用 *

Also Published As

Publication number Publication date
CN116055493B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN101355476B (zh) 一种基于服务器群集的数据文件存储、分发和应用的系统和方法
CN110647559B (zh) 数据处理方法、相关节点及系统
US20160373405A1 (en) Managing dynamic ip address assignments
CN104011701A (zh) 内容传送网络
CN110135194B (zh) 一种基于区块链的工业互联网数字对象的管理方法
CN111737104B (zh) 区块链网络服务平台及其测试用例共享方法、存储介质
CN114301972B (zh) 一种基于云边协同的区块链节点分级部署方法和系统
CN109995842B (zh) 一种用于分布式服务器集群的分组方法及装置
CN117149445B (zh) 一种跨集群负载均衡方法及装置、设备及存储介质
CN114189525A (zh) 服务请求方法、装置和电子设备
CN113746928A (zh) 跨云服务调用方法、装置和系统
CN115794423A (zh) 一种智能机房的管理方法、装置、电子设备及存储介质
CN116055493B (zh) 一种跨架构的数据获取方法、网关节点及跨架构平台
CN114726854B (zh) 一种服务请求的处理方法、装置及云服务系统
CN113301149A (zh) 一种基于区块链的可信软件定义网络构建方法
CN112001800B (zh) 在区块链系统中进行业务处理的方法和装置
US20080147835A1 (en) Partially decentralized composition of web services
CN114553727B (zh) 一种基于内容分发网络的数据处理方法及装置
WO2014031044A1 (en) Method and node for enabling automatic deployment of resource components
CN115883283A (zh) 一种容器化vnf的部署方法及装置
CN113190347A (zh) 一种边缘云系统及任务管理方法
CN109327422B (zh) 一种多租户的租户隔离方法及装置
CN116633699B (zh) 基于区块链的产品防伪溯源信息可信处理方法及系统
CN114827286B (zh) 跨域分析系统、跨域资源调度方法、装置及存储介质
CN114785790B (zh) 跨域分析系统、跨域资源调度方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant