CN116049321B - 数据调取方法及装置、电子设备及存储介质 - Google Patents
数据调取方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116049321B CN116049321B CN202310337470.6A CN202310337470A CN116049321B CN 116049321 B CN116049321 B CN 116049321B CN 202310337470 A CN202310337470 A CN 202310337470A CN 116049321 B CN116049321 B CN 116049321B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- calling
- authority
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及一种数据调取方法及装置、电子设备及存储介质,所述方法应用于数据调取平台,所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点,所述方法包括:第一节点响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址;第一节点将本地的栅格数据划分为多个数据块;第一节点根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限;第一节点按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,通过将栅格数据划分的数据块与权限对应,能够确保每一个第二节点快速获取与自身权限相对应的数据,解决了数据的同步不及时和数据安全问题。
Description
技术领域
本公开涉及大数据技术领域,尤其涉及一种数据调取方法及装置、电子设备及存储介质。
背景技术
在对大数据进行管控过程中,数据量大时,可识别的现象结构损失信息多,输出不够精准,难以建立网络连接关系,难以做到统一管控与实时掌握,导致数据同步不及时、信息交互过程不安全等问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开的实施例提供了一种数据调取方法及装置、电子设备及存储介质。
第一方面,本公开的实施例提供了一种数据调取方法,应用于数据调取平台,其中,所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点,所述方法包括:
第一节点响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址,其中,数据调取请求中的IP地址为对第二节点预先分配的IP地址;
第一节点将本地的栅格数据划分为多个数据块,其中,所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到;
第一节点基于预设的IP地址与数据调取权限之间的对应关系,根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限;
第一节点按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的第二节点。
在一种可能的实施方式中,所述第二节点的数量超过1个,所述按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,包括:
按照每个第二节点的数据调取权限,确定每个第二节点分别对应的数据块序号;
对比每个第二节点分别对应的数据块序号,对不同第二节点中相同的数据块序号进行合并;
按照合并后的数据块序号,提取本地的数据块发送至网关;
根据每个第二节点的数据调取权限对应的数据块序号,从网关的数据块中选择每个第二节点分别对应的目标数据块,发送至每个第二节点。
在一种可能的实施方式中,所述方法还包括:
第一节点实时监控每个第二节点对第一节点的数据调取状态;
第一节点控制数据调取状态符合预设条件的第二节点,关闭对第二节点进行数据调取的接口,其中,所述预设条件为停止调取状态。
在一种可能的实施方式中,所述方法还包括:
第二节点在向第一节点发送数据调取请求之前,查询是否在本地已存储与所述数据调取请求对应的数据;
响应于在本地已存储与所述数据调取请求对应的数据,直接在本地调取与所述数据调取请求对应的数据。
在一种可能的实施方式中,所述方法还包括:
第一节点的网关响应于接收到第二节点发送的数据调取请求,对所述数据调取请求进行权限验证;
响应于所述数据调取请求未通过权限验证,向与所述数据调取请求对应的第二节点返回未通过权限验证的结果。
在一种可能的实施方式中,所述方法还包括:
将各个节点上的应用系统预先分解为多个微服务组件。
第二方面,本公开的实施例提供了一种数据调取装置,包括:
提取模块,用于响应于接收到的数据调取请求,提取数据调取请求中的IP地址;
划分模块,用于将本地的栅格数据划分为多个数据块;
确定模块,用于基于预设的IP地址与数据调取权限之间的对应关系,根据数据调取请求中的IP地址,确定与数据调取请求对应的数据调取权限;
选出模块,用于按照数据调取权限,从所述多个数据块中选出与每个数据调取请求分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的节点。
第三方面,本公开的实施例提供了一种数据调取平台,包括第一节点以及与所述第一节点连接的至少一个第二节点,其中,第一节点执行以下步骤:
响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址,其中,数据调取请求中的IP地址为对第二节点预先分配的IP地址;
将本地的栅格数据划分为多个数据块,其中,所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到;
基于预设的IP地址与数据调取权限之间的对应关系,根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限;
按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的第二节点。
第四方面,本公开的实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述的数据调取。
第五方面,本公开的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的数据调取方法。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部:
本公开实施例所述的数据调取方法,应用于数据调取平台,其中,所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点,第一节点响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址,其中,数据调取请求中的IP地址为对第二节点预先分配的IP地址;第一节点将本地的栅格数据划分为多个数据块,其中,所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到;第一节点基于预设的IP地址与数据调取权限之间的对应关系,根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限;第一节点按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的第二节点,通过将栅格数据划分的数据块与权限对应,能够确保每一个第二节点快速获取与自身权限相对应的数据,解决了数据的同步不及时和数据安全问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了根据本公开实施例的数据调取方法流程示意图;
图2示意性示出了根据本公开实施例的数据调装置的结构框图;
图3示意性示出了根据本公开实施例的数据调取平台的结构示意图;
图4示意性示出了根据本公开另一实施例的数据调取平台的结构示意图;以及
图5示意性示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
参见图1,本公开的实施例提供了一种数据调取方法,应用于数据调取平台,其中,所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点,所述方法包括:
S1,第一节点响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址,其中,数据调取请求中的IP地址为对第二节点预先分配的IP地址。
在一些实施例中,IP地址可以是每个节点的网关IP地址。
S2,第一节点将本地的栅格数据划分为多个数据块,其中,所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到。
在一些实施例中,收集的数据可以通过探针注入的方式获取,该探针支持多种开发语言:Java、Golang、PHP、.NET、Python、Ruby、Node.js、C++、Erlang/Elixir、Rust、Swift等,可收集不同语言编写的程序数据并统一上报到对应接收器,进行分布式存储。
在一些实施例中,所述第一节点的数量超过1个,可以为所述数据调取平台建设跨节点网络通讯,协助不同IP地址进行互相访问,将设备数据上传至平台连接到同一个网络中,将数据栅格化后可自由的选择访问各种终端设备,以协助用户快速构建物联网,实时掌握现场设备运行状态,通过云端服务实现快速远程维护、远程诊断和监控,同时为物联网大数据采集、传输和分析提供可靠的、安全的数据汇聚服务。
在一些实施例中,栅格数据为代码或者脚本数据,用于在客户的运行环境中执行,提高可扩展性。
在一些实施例中,可以采用数据实时汇聚算法为平台数据计算提供分布式引擎,存储数据块,采用国产的关系型先进分布式内存数据库,保障平台高性能、安全、稳定运行。
本实施例通过将本地的栅格数据划分为多个数据块,在第二节点请求数据时,能够实时管控的效果,能够更快更全面的让信息同步。
S3,第一节点基于预设的IP地址与数据调取权限之间的对应关系,根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限。
本实施例基于权限信息进行数据传输,并在数据存储时加密处理,能够确保数据的安全。
S4,第一节点按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的第二节点。
在本实施例,步骤S4中,所述第二节点的数量超过1个,所述按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,包括:
按照每个第二节点的数据调取权限,确定每个第二节点分别对应的数据块序号;
对比每个第二节点分别对应的数据块序号,对不同第二节点中相同的数据块序号进行合并;
按照合并后的数据块序号,提取本地的数据块发送至网关;
根据每个第二节点的数据调取权限对应的数据块序号,从网关的数据块中选择每个第二节点分别对应的目标数据块,发送至每个第二节点。
在一些实施例中,将第一节点和每个第二节点的网关均接入云平台,将网关都接入云平台,不需要租赁公网地址,也不需要额外购买设备,成本主要在云平台的流量费用,没有什么限制,安全系数也比较高,适合设备间流量较小的应用场景,性价比也很高,另外,云平台支持多类型终端接入,扩展灵活,支持Windows、Linux多种客户端连接使用,支持PLC、HMI、摄像头等多类型终端设备的接入,业务规模扩张无需重构网络,可根据业务需求随意添加、减少网点,同时,云平台还建立互联互通的统一管理平台,各分支多系统共同协作,实现随时访问各总部和节点内网的平台和服务,简约工作流程,降低时间、硬件成本。
在一种可能的实施方式中,所述方法还包括:
第一节点实时监控每个第二节点对第一节点的数据调取状态;
第一节点控制数据调取状态符合预设条件的第二节点,关闭对第二节点进行数据调取的接口,其中,所述预设条件为停止调取状态。
本实施例中,从客户端的每个请求提取包含服务器所需要的所有信息,提高可见性,可以单独考虑每个请求,根据客户端的状态控制客户端,提高可靠性,可扩展性,降低了服务器资源使用。
在一种可能的实施方式中,所述方法还包括:
第二节点在向第一节点发送数据调取请求之前,查询是否在本地已存储与所述数据调取请求对应的数据;
响应于在本地已存储与所述数据调取请求对应的数据,直接在本地调取与所述数据调取请求对应的数据。
本实施例中,客户端发送数据调取请求之前,查询本地服务器,服务器返回信息被标记本地是否可以缓存,如果缓存,客户端可能会重用之前的信息发送请求,减少交互次数,减少交互的平均时延。
在一种可能的实施方式中,所述方法还包括:
第一节点的网关响应于接收到第二节点发送的数据调取请求,对所述数据调取请求进行权限验证;
响应于所述数据调取请求未通过权限验证,向与所述数据调取请求对应的第二节点返回未通过权限验证的结果。
本实施例中,允许服务器和客户端之间的中间层(代理,网关等)代替服务器对客户端的请求进行回应,而客户端不需要关心与它交互的组件之外的事情,限制了系统的复杂性,提高可扩展性。
在一种可能的实施方式中,所述方法还包括:
将各个节点上的应用系统预先分解为多个微服务组件,使得提供服务的服务器和使用服务的客户端分离解耦,操作简单,可以提高用户界面的便携性;通过简化服务器提高可伸缩性,以达到高性能、低成本的效果;允许组件分别优化,可以让服务端和客户端分别进行改进和优化。
在一种可能的实施方式中,所述方法还包括:
每个节点的接口均使用预设标准接口,RESTFUL架构(RESTFUL适用于移动互联网厂商作为业务接口的场景,实现第三方OTT调用移动网络资源的功能,动作类型为新增、变更、删除所调用资源)遵循统一接口原则,统一接口包含了一组受限的预定义的操作,不论什么样的资源,都是通过使用相同的接口进行资源的访问。接口应该使用标准的HTTP方法如GET,PUT和POST,并遵循这些方法的语义,提高交互的可见性,可单独优化改善组件。
本实施例的数据调取方法,能够确保多端访问互通,多种访问策略控制,支持用户对业务现场设备的远程访问与控制,网关的安全机制可以限制设备间的互通,实现用户对网络的完整控制。
本实施例的数据调取方法在云平台上的应用,使得用户的网络不是瓶颈,用户信息传递效率在基础效率上得到很大的提升,与其他地理处理工具一样,栅格计算器可以在“模型构建器”中使用,从而可以更轻松地在工作中发挥“地图代数”的功用,让数据能够进行全维、立体、多频谱、多节点的栅格化信息交换来实现真正意义上的网络加速。
本实施例的数据调取方法,基于微服务架构,集城市信息资源规划、建设、治理、管理、融合、共享、分析、服务为一体,实现政府及企业信息化建设中规划、设计、运行状态的架构级动态管控,侧重于接入、管控和运营IaaS层到SaaS层的硬件资源、数据资源、服务资源及应用组件等通用能力,能够释放政府和行业沉淀在业务系统中的能力,为政务和企业信息系统建设、大数据生态建设、大数据开发利用、数据资产运营、大数据交易等场景提供有效支撑。栅格的网络加速摒弃网络建设只负责“管道”的本位主义观念,主动把网络建设与平台建设、软硬件备建设等有机结合起来,把信息即服务、平台即服务和软件即服务的服务体系构建起来,提升数据的黏合力,提高综合化的网络应用水平,变单网系运用为多网系组用,把网络运用与信息运用、业务能力等有机结合起来,挖掘并进式的网络应用效应,以用户能够充分利用和共享信息为目标,变“单一转发的链式”信息流动为“网络并进的联式”信息流动,用信息的聚合触发能力的浪涌。
参见图2,本公开的实施例提供了一种数据调取装置,包括:
提取模块21,用于响应于接收到的数据调取请求,提取数据调取请求中的IP地址;
划分模块22,用于将本地的栅格数据划分为多个数据块;
确定模块23,用于基于预设的IP地址与数据调取权限之间的对应关系,根据数据调取请求中的IP地址,确定与数据调取请求对应的数据调取权限;
选出模块24,用于按照数据调取权限,从所述多个数据块中选出与每个数据调取请求分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的节点。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述第二个实施例中,提取模块21、划分模块22、确定模块23和选出模块24中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。提取模块21、划分模块22、确定模块23和选出模块24中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,提取模块21、划分模块22、确定模块23和选出模块24中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
参见图3和图4,本公开的实施例提供了一种数据调取平台,包括第一节点以及与所述第一节点连接的至少一个第二节点,其中,第一节点执行以下步骤:
响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址,其中,数据调取请求中的IP地址为对第二节点预先分配的IP地址;
将本地的栅格数据划分为多个数据块,其中,所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到;
基于预设的IP地址与数据调取权限之间的对应关系,根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限;
按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的第二节点。
需要说明的是,图3为第一节点个数为1个的应用场景,图4为第一节点个数超过1个的应用场景。
在本实施例中,所述第二节点的数量超过1个,所述第一节点还执行以下步骤:
按照每个第二节点的数据调取权限,确定每个第二节点分别对应的数据块序号;
对比每个第二节点分别对应的数据块序号,对不同第二节点中相同的数据块序号进行合并;
按照合并后的数据块序号,提取本地的数据块发送至网关;
根据每个第二节点的数据调取权限对应的数据块序号,从网关的数据块中选择每个第二节点分别对应的目标数据块,发送至每个第二节点。
在本实施例中,所述第一节点还执行以下步骤:
实时监控每个第二节点对第一节点的数据调取状态;
控制数据调取状态符合预设条件的第二节点,关闭对第二节点进行数据调取的接口,其中,所述预设条件为停止调取状态。
在本实施例中,所述第二节点执行以下步骤:
在向第一节点发送数据调取请求之前,查询是否在本地已存储与所述数据调取请求对应的数据;
响应于在本地已存储与所述数据调取请求对应的数据,直接在本地调取与所述数据调取请求对应的数据。
在本实施例中,所述第一节点的网关执行以下步骤:
响应于接收到第二节点发送的数据调取请求,对所述数据调取请求进行权限验证;
响应于所述数据调取请求未通过权限验证,向与所述数据调取请求对应的第二节点返回未通过权限验证的结果。
参见图5,本公开的实施例提供的电子设备,包括处理器1110、通信接口1120、存储器1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信;
存储器1130,用于存放计算机程序;
处理器1110,用于执行存储器1130上所存放的程序时,实现如下所示数据调取方法:
响应于接收到的数据调取请求,提取数据调取请求中的IP地址;
将本地的栅格数据划分为多个数据块;
基于预设的IP地址与数据调取权限之间的对应关系,根据数据调取请求中的IP地址,确定与数据调取请求对应的数据调取权限;
按照数据调取权限,从所述多个数据块中选出与每个数据调取请求分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的节点。
上述的通信总线1140可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本公开的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序,上述计算机程序被处理器执行时实现如上所述的数据调取方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的;也可以是单独存在,而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的数据调取方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种数据调取方法,其特征在于,应用于数据调取平台,其中,所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点,将第一节点和每个第二节点的网关均接入云平台,所述方法包括:
第一节点响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址,其中,数据调取请求中的IP地址为对第二节点预先分配的IP地址;
第一节点将本地的栅格数据划分为多个数据块,其中,所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到;
第一节点基于预设的IP地址与数据调取权限之间的对应关系,根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限;
第一节点按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的第二节点,其中,
所述第二节点的数量超过1个,所述按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,包括:
按照每个第二节点的数据调取权限,确定每个第二节点分别对应的数据块序号;
对比每个第二节点分别对应的数据块序号,对不同第二节点中相同的数据块序号进行合并;
按照合并后的数据块序号,提取本地的数据块发送至网关;
根据每个第二节点的数据调取权限对应的数据块序号,从网关的数据块中选择每个第二节点分别对应的目标数据块,发送至每个第二节点。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
第一节点实时监控每个第二节点对第一节点的数据调取状态;
第一节点控制数据调取状态符合预设条件的第二节点,关闭对第二节点进行数据调取的接口,其中,所述预设条件为停止调取状态。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
第二节点在向第一节点发送数据调取请求之前,查询是否在本地已存储与所述数据调取请求对应的数据;
响应于在本地已存储与所述数据调取请求对应的数据,直接在本地调取与所述数据调取请求对应的数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
第一节点的网关响应于接收到第二节点发送的数据调取请求,对所述数据调取请求进行权限验证;
响应于所述数据调取请求未通过权限验证,向与所述数据调取请求对应的第二节点返回未通过权限验证的结果。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将各个节点上的应用系统预先分解为多个微服务组件。
6.一种数据调取装置,其特征在于,包括:
提取模块,用于响应于接收到的数据调取请求,提取数据调取请求中的IP地址;
划分模块,用于将本地的栅格数据划分为多个数据块;
确定模块,用于基于预设的IP地址与数据调取权限之间的对应关系,根据数据调取请求中的IP地址,确定与数据调取请求对应的数据调取权限;
选出模块,用于按照数据调取权限,从所述多个数据块中选出与每个数据调取请求分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的节点,其中,
所述按照数据调取权限,从所述多个数据块中选出与每个数据调取请求分别对应的目标数据块,包括:
按照每个数据调取请求的数据调取权限,确定每个数据调取请求分别对应的数据块序号;
对比每个数据调取请求分别对应的数据块序号,对不同数据调取请求中相同的数据块序号进行合并;
按照合并后的数据块序号,提取本地的数据块发送至网关;
根据每个数据调取请求的数据调取权限对应的数据块序号,从网关的数据块中选择每个数据调取请求分别对应的目标数据块。
7.一种数据调取平台,其特征在于,包括第一节点以及与所述第一节点连接的至少一个第二节点,所述数据调取平台包括第一节点以及与所述第一节点连接的至少一个第二节点,其中,第一节点执行以下步骤:
响应于接收到至少一个第二节点发送的数据调取请求,提取每个所述第二节点对应的数据调取请求中的IP地址,其中,数据调取请求中的IP地址为对第二节点预先分配的IP地址;
将本地的栅格数据划分为多个数据块,其中,所述栅格数据通过第一节点上的微服务对收集的数据进行栅格化处理得到;
基于预设的IP地址与数据调取权限之间的对应关系,根据第二节点对应的IP地址,确定与第二节点对应的数据调取权限;
按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,并将目标数据块发送至与每个数据调取请求对应的第二节点,其中,
所述第二节点的数量超过1个,所述按照数据调取权限,从所述多个数据块中选出与每个第二节点分别对应的目标数据块,包括:
按照每个第二节点的数据调取权限,确定每个第二节点分别对应的数据块序号;
对比每个第二节点分别对应的数据块序号,对不同第二节点中相同的数据块序号进行合并;
按照合并后的数据块序号,提取本地的数据块发送至网关;
根据每个第二节点的数据调取权限对应的数据块序号,从网关的数据块中选择每个第二节点分别对应的目标数据块,发送至每个第二节点。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-5中任一项所述的数据调取方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的数据调取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310337470.6A CN116049321B (zh) | 2023-03-31 | 2023-03-31 | 数据调取方法及装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310337470.6A CN116049321B (zh) | 2023-03-31 | 2023-03-31 | 数据调取方法及装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116049321A CN116049321A (zh) | 2023-05-02 |
CN116049321B true CN116049321B (zh) | 2023-06-23 |
Family
ID=86133594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310337470.6A Active CN116049321B (zh) | 2023-03-31 | 2023-03-31 | 数据调取方法及装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116049321B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8935203B1 (en) * | 2012-03-29 | 2015-01-13 | Amazon Technologies, Inc. | Environment-sensitive distributed data management |
CN113032357A (zh) * | 2021-04-29 | 2021-06-25 | 中国工商银行股份有限公司 | 文件的存储方法、装置和服务器 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IN2015DE02783A (zh) * | 2015-09-04 | 2015-09-25 | Hcl Technologies Ltd | |
CN108270735A (zh) * | 2016-12-31 | 2018-07-10 | 中国移动通信集团陕西有限公司 | 一种数据防泄漏方法及设备 |
CN112738100B (zh) * | 2020-12-29 | 2023-09-01 | 北京天融信网络安全技术有限公司 | 数据访问的鉴权方法、装置、鉴权设备和鉴权系统 |
CN115795539A (zh) * | 2022-11-29 | 2023-03-14 | 北京达佳互联信息技术有限公司 | 一种权限管理方法、装置、设备及存储介质 |
-
2023
- 2023-03-31 CN CN202310337470.6A patent/CN116049321B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8935203B1 (en) * | 2012-03-29 | 2015-01-13 | Amazon Technologies, Inc. | Environment-sensitive distributed data management |
CN113032357A (zh) * | 2021-04-29 | 2021-06-25 | 中国工商银行股份有限公司 | 文件的存储方法、装置和服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN116049321A (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020253347A1 (zh) | 一种容器集群管理方法、装置及系统 | |
CN106131213B (zh) | 一种服务管理方法和系统 | |
US9244817B2 (en) | Remote debugging in a cloud computing environment | |
CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
CN110289983B (zh) | 负载均衡应用创建方法、装置、计算机设备及存储介质 | |
CN111338893A (zh) | 进程日志处理方法、装置、计算机设备以及存储介质 | |
CN114281263B (zh) | 容器集群管理系统的存储资源处理方法、系统和设备 | |
CN111641676A (zh) | 一种第三方云监控服务的构建方法及装置 | |
CN109561054A (zh) | 一种数据传输方法、控制器及接入设备 | |
CN113794652A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN114327710A (zh) | 一种函数管理方法、管理装置、终端设备及可读存储介质 | |
US11645111B2 (en) | Managing task flow in edge computing environment | |
CN116049321B (zh) | 数据调取方法及装置、电子设备及存储介质 | |
CN108124021B (zh) | 网际协议ip地址获取、网站访问的方法、装置及系统 | |
CN109218371B (zh) | 一种调用数据的方法和设备 | |
CN111199079A (zh) | 仿真任务调度方法和装置 | |
CN114661325A (zh) | 服务网格配置更新方法、装置、计算设备及介质 | |
CN114969199A (zh) | 遥感数据的处理方法、装置、系统以及存储介质 | |
CN113726638A (zh) | 一种多云多芯容器管理的方法、装置及设备、存储介质 | |
CN114356456A (zh) | 业务处理方法、装置、存储介质和电子设备 | |
CN112965767A (zh) | 作业的处理方法和装置、电子设备和存储介质 | |
CN114979128A (zh) | 跨区域通信方法、装置及电子设备 | |
US10069927B2 (en) | Facilitating an efficient exchange of streaming data constructs between origin and target systems while making remote procedure calls | |
CN113873052B (zh) | Kubernetes集群的域名解析方法、装置及设备 | |
CN117076057B (zh) | 一种ai服务请求调度的方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |