CN112448978A - 数据管理方法及系统 - Google Patents

数据管理方法及系统 Download PDF

Info

Publication number
CN112448978A
CN112448978A CN201910817517.2A CN201910817517A CN112448978A CN 112448978 A CN112448978 A CN 112448978A CN 201910817517 A CN201910817517 A CN 201910817517A CN 112448978 A CN112448978 A CN 112448978A
Authority
CN
China
Prior art keywords
module
server
api gateway
gateway module
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910817517.2A
Other languages
English (en)
Other versions
CN112448978B (zh
Inventor
付永振
李飞
曹雷雷
陆怡彤
王靖
张利春
魏春来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Hebei Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910817517.2A priority Critical patent/CN112448978B/zh
Publication of CN112448978A publication Critical patent/CN112448978A/zh
Application granted granted Critical
Publication of CN112448978B publication Critical patent/CN112448978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本发明实施例涉及数据技术领域,公开了一种数据管理方法及系统。所述系统包括:API网关模块、管理模块和服务器,所述API网关模块分别连接所述管理模块和所述服务器;所述API网关模块用于接收服务提供方的上传请求,并将所述上传请求发送至所述管理模块,其中,所述上传请求包括上传信息;所述管理模块用于根据所述上传信息,获取服务器信息,并将所述服务器信息返回至所述API网关模块;所述API网关模块还用于将所述服务器信息返回至所述服务提供方,以使所述服务提供方通过所述API网关模块连接所述服务器,并上传数据至所述服务器。通过上述方式,本发明实施例能够通过API网关模块上传大文件数据。

Description

数据管理方法及系统
技术领域
本发明实施例涉及数据技术领域,具体涉及一种数据管理方法及系统。
背景技术
在微服务架构中,一个大应用被拆分成为多个小的服务系统,这些小的服务系统可以自成体系,即,这些小的服务系统可以拥有自己的数据库、框架甚至语言等,并且通常以表述性状态传递(Representational State Transfer,REST)模式的接口被上层应用或第三方应用程序调用。
应用程序编程接口(Application Programming Interface,API)网关是内部微服务对外的唯一入口,是微服务架构的重要组成部分。外部的所有请求都会先发到API网关上,由API网关根据不同的请求路由到不同的微服务节点上。除此之外,API网关还具有以下职责:提供防攻击、防重放、请求加密、身份认证、权限管理、流量控制等多重手段保证API安全,降低API开放风险;提供API定义、测试、发布、下线等全生命周期管理,并生成SDK、API说明文档,提升API管理、迭代的效率,提供便捷的监控、报警、分析、API市场等运维、运营工具,降低API运营、维护成本等。
目前,API网关只能通过实时数据消息的方式接收或发送REST或HTTP,不能满足大文件数据的传输需要。
发明内容
鉴于上述问题,本发明实施例提供了一种数据管理方法及系统,克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面,提供了一种数据管理系统,所述系统包括:API网关模块、管理模块和服务器,所述API网关模块分别连接所述管理模块和所述服务器;所述API网关模块用于接收服务提供方的上传请求,并将所述上传请求发送至所述管理模块,其中,所述上传请求包括上传信息;所述管理模块用于根据所述上传信息,获取服务器信息,并将所述服务器信息返回至所述API网关模块;所述API网关模块还用于将所述服务器信息返回至所述服务提供方,以使所述服务提供方通过所述API网关模块连接所述服务器,并上传数据至所述服务器。
在一种可选的方式中,所述系统还包括:任务处理模块和检测模块,所述任务处理模块、所述检测模块分别与所述API网关模块连接,所述任务处理模块与所述检测模块连接,所述检测模块还与所述服务器连接;所述API网关模块还用于在接收到所述服务提供方发送的上传完成消息后,将所述上传完成消息发送至所述任务处理模块;所述任务处理模块用于根据所述上传完成消息,发送检测指令至所述检测模块;所述检测模块用于根据所述检测指令,检测所述服务器是否有新数据,并将检测结果返回至所述API网关模块;所述API网关模块还用于将所述检测结果返回至所述服务提供方。
在一种可选的方式中,所述任务处理模块具体用于根据所述上传完成消息,获取负载最小的检测模块,发送检测指令至所述负载最小的检测模块。
在一种可选的方式中,所述任务处理模块具体用于获取所述检测模块的任务数以及各任务的处理时长,根据所述检测模块的任务数以及各任务的处理时长,确定所述负载最小的检测模块。
在一种可选的方式中,所述检测模块还用于向所述API网关模块发送检测完成消息;所述API网关模块还用于在接收到所述检测完成消息后,获取与所述服务提供方对应的服务消费方,并发送数据准备完成消息至所述服务消费方。
在一种可选的方式中,所述数据准备完成消息包括所述服务器信息,所述API网关模块具体用于发送所述服务器信息至所述服务消费方,以使所述服务消费方通过所述API网关模块连接所述服务器,并从所述服务器获取数据。
在一种可选的方式中,所述服务器信息包括所述服务器的地址信息和/或文件夹路径信息。
在一种可选的方式中,所述API网关模块与所述管理模块之间、所述API网关模块与所述服务器之间的数据交流基于文件传输协议(File Transfer Protocol,FTP)。
根据本发明实施例的另一方面,提供了一种数据管理方法,应用于如上所述的数据管理系统,所述数据管理系统包括:API网关模块、管理模块和服务器,所述API网关模块分别连接所述管理模块和所述服务器;
所述方法包括:所述API网关模块接收服务提供方的上传请求,并将所述上传请求发送至所述管理模块,其中,所述上传请求包括上传信息;所述管理模块根据所述上传信息,获取服务器信息,并将所述服务器信息返回至所述API网关模块;所述API网关模块将所述服务器信息返回至所述服务提供方,以使所述服务提供方通过所述API网关模块连接所述服务器,并上传数据至所述服务器。
根据本发明实施例的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上所述的数据管理方法的操作。
根据本发明实施例的另一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上所述的数据管理方法。
本发明实施例通过API网关模块接收服务提供方的上传请求,并将上传请求发送至管理模块,上传请求包括上传信息,管理模块根据上传信息,获取服务器信息,并将服务器信息返回至API网关模块,API网关模块将服务器信息返回至服务提供方,以使服务提供方通过API网关模块连接服务器,并上传数据至服务器,从而能够通过API网关模块上传大文件数据。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的数据管理系统的结构示意图;
图2示出了本发明实施例提供的数据管理方法的流程图;
图3示出了本发明另一实施例提供的数据管理方法的流程图;
图4示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的数据管理系统的结构示意图。如图1所示,该系统10包括:API网关模块11、管理模块12和服务器13。API网关模块11分别连接管理模块12和服务器13。
其中,API网关模块11分别与服务提供方20和服务消费方30通信连接,用于与服务提供方20和服务消费方30进行数据交流,例如,服务提供方20可以通过访问API网关模块11从而向数据管理系统10上传数据;又例如,服务消费方30可以通过访问API网关模块11从而从数据管理系统10获取数据。其中,服务提供方20和服务消费方30可以为客户端,例如可以为计算机设备、笔记本、平板电脑等等。
其中,第三方系统(例如服务提供方20、服务消费方30)通过API网关模块请求数据管理系统10内的模块(例如管理模块12、服务器13)的消息传递方式为反向路由,反之,数据管理系统10内的模块通过API网关模块请求第三方系统的消息传递方式为正向路由。
可选地,API网关模块11还可以保存用户的申请/订阅业务标识,并据此判断用户是否开通了API接口业务。
其中,管理模块12用于保存服务器信息,服务器信息包括服务器13中所有用户的详细信息,包括用户名、密码、文件夹路径、服务提供方业务标识等等。当服务器13的数量为多个时,服务器信息还包括服务器的地址信息。
其中,服务器13可以为终端、存储设备、云存储等等,服务器13用于支持接收服务提供方20发送的数据,和支持服务消费方30读取数据。
在本实施例中,该系统10还包括:任务处理模块14和检测模块15。任务处理模块14、检测模块15分别与API网关模块11连接,任务处理模块14与检测模块15连接,检测模块15还与服务器13连接。
其中,任务处理模块14能够获取检测模块15的任务信息,从而判断检测模块15的空闲状态,任务处理模块14还能够控制检测模块15对服务器13进行检测。
其中,检测模块15的数量可以为若干,每个检测模块15分别处理不同的任务。检测模块15能够对服务器13进行检测,以判断服务器13是否有新数据产生,检测模块15还能够向API网关模块11返回检测结果信息。
需要说明的是,API网关模块11与管理模块12之间、API网关模块11与服务器13之间、以及API网关模块11与检测模块15之间的数据交流基于文件传输协议(File TransferProtocol,FTP),管理模块12、服务器13、检测模块15分别可以为FTP管理模块、FTP服务器、FTP检测模块。当然,在一些其他实施例中,API网关模块11与各个模块之间的数据交流还可以基于其他传输协议,以使得API网关模块11与各个模块之间能够传输大文件数据,具体可以根据用户需求进行选择。另外,数据管理系统10还可以同时使用多种传输协议,只要使每种传输协议都设置有对应的管理模块、服务器、检测模块即可。
图2示出了本发明实施例提供的数据管理方法的流程图。该方法应用于图1中的数据管理系统10,如图2所示,该方法包括:
步骤210、API网关模块接收服务提供方的上传请求,并将上传请求发送至管理模块,其中,上传请求包括上传信息。
其中,上传请求是由服务提供方向API网关模块发送的,上传请求包括上传信息,上传信息可以包括服务提供方编码。
步骤210的具体实施方式可以为:服务提供方数据准备完成后,服务提供方向API网关模块发送上传请求,其中,上传请求为REST请求,API网关模块反向路由上传请求至管理模块。
步骤220、管理模块根据上传信息,获取服务器信息,并将服务器信息返回至API网关模块。
其中,服务器信息与上传信息有预设对应关系,服务器信息包括服务器中所有用户的详细信息,包括用户名、密码、文件夹路径、服务提供方业务标识等等。当服务器的数量为多个时,服务器信息还包括服务器的地址信息。
步骤220的具体实施方式可以为:管理模块接收API网关模块发送的上传请求,根据上传请求中的上传信息中的服务提供方编码,获取对应的服务器信息(包括服务器地址信息和文件夹路径),并将服务器信息封装成消息,返回给API网关模块。
步骤230、API网关模块将服务器信息返回至服务提供方,以使服务提供方通过API网关模块连接服务器,并上传数据至服务器。
API网关模块接收到管理模块返回的服务器信息后,将服务器信息路由至服务提供方,服务提供方通过解析服务器信息,获得服务器地址信息和文件夹路径,服务器提供方通过API网关模块连接待指定的服务器中指定的文件夹,从而服务器提供方将数据上传至指定的服务器中指定的文件夹。
需要说明的是,本发明实施例提供的数据管理系统是能够执行上述数据管理方法的系统,则上述数据管理方法的所有实施例均适用于数据管理系统,且均能达到相同或相似的有益效果。
本发明实施例通过API网关模块接收服务提供方的上传请求,并将上传请求发送至管理模块,上传请求包括上传信息,管理模块根据上传信息,获取服务器信息,并将服务器信息返回至API网关模块,API网关模块将服务器信息返回至服务提供方,以使服务提供方通过API网关模块连接服务器,并上传数据至服务器,从而能够通过API网关模块上传大文件数据。
图3示出了本发明另一实施例提供的数据管理方法的流程图。该方法应用于图1中的数据管理系统10,如图3所示,该方法还包括:
步骤240、API网关模块在接收到服务提供方发送的上传完成消息后,将上传完成消息发送至任务处理模块。
其中,上传完成消息为服务提供方把需要上传的数据全部上传完成后发送的消息,上传完成消息由服务提供方向API网关模块发送,上传完成消息为REST消息。则步骤240的具体实施方式为:服务提供方向API网关模块发送上传完成消息,API网关模块将上传完成消息反向路由至任务处理模块。
步骤250、任务处理模块根据上传完成消息,发送检测指令至检测模块。
其中,检测指令为控制检测模块进行检测的控制指令。检测指令可以包括服务器信息,以使检测模块能够根据服务器信息进行检测。则步骤250具体包括:任务处理模块接收到上传完成消息后,根据上传完成消息,获取负载最小的检测模块,发送检测指令至负载最小的检测模块。当检测模块只有一个时,任务处理模块查询检测模块运行的实例个数,并获取负载最小的检测模块实例,发送检测指令到负载最小的检测模块实例;当检测模块有多个时,任务处理模块查询各个检测模块的负载,并获取负载最小的检测模块,发送检测指令至负载最小的检测模块。
其中,任务处理模块可以通过获取心跳来完成对检测模块的负载检测。具体地,获取负载最小的检测模块,包括:获取检测模块的实例个数、各实例的任务数以及各任务的处理时长,根据检测模块的实例个数、任务数以及各任务的处理时长,确定负载最小的检测模块实例;或者,获取检测模块的任务数以及各任务的处理时长,根据检测模块的任务数以及各任务的处理时长,确定负载最小的检测模块。例如,当任务处理模块下发任务时,任务处理模块记录检测模块实例的IP、PORT信息和下发任务ID,检测模块实例完成任务时向任务处理模块发送任务完成通知,通知中包括下发任务ID,从而任务处理模块判断任务处理时长。可选地,可以通过以下公式计算实例任务空闲值:实例应分任务=(实例权重/所有实例权重和)*所有未完成任务数,实例任务空闲值=实例应分任务-实例实际未完成任务。实例任务空闲值最大的则为负载最小的检测模块实例。
步骤260、检测模块根据检测指令,检测服务器是否有新数据,并将检测结果返回至API网关模块。
其中,新数据是指服务提供方上传到服务器的数据。例如,假设服务器原有B数据,服务提供方向服务器上传A数据,若检测模块检测到服务器有A数据,则服务器有新数据;若检测模块检测到服务器只有B数据,则服务器无新数据。
步骤260具体可以为:检测模块接收到任务处理模块发送的检测指令后,根据检测指令携带的服务器信息,解析得到服务器地址以及用户名、密码、文件夹路径,并找到对应的服务器对其进行扫描,判断该服务器是否有新数据产生,并向API网关模块定时发送检测结果。
步骤270、API网关模块将检测结果返回至服务提供方。
API网关模块将检测结果返回至服务提供方,以使服务器提供方获知数据是否上传完成。
步骤280、检测模块向API网关模块发送检测完成消息。
其中,检测完成消息为当检测模块检测到服务器有新数据时所触发的消息。具体地,检测模块向API网关模块正向路由检测完成消息。
步骤290、API网关模块在接收到检测完成消息后,获取与服务提供方对应的服务消费方,并发送数据准备完成消息至服务消费方。
其中,API网关模块可以存储有服务器提供方和服务消费方的订阅关系以及标识。其中,数据准备完成消息为用于提示服务消费方服务提供方已上传数据完成的消息。数据准备完成消息包括服务器信息。API网关模块将服务器信息发送至服务消费方,以使服务消费方通过API网关模块连接服务器,并从服务器获取数据。
步骤290的具体实施方式可以为:当API网关模块接收到检测完成消息后,API网关模块根据服务器提供方和服务消费方的订阅关系获取与服务提供方对应的服务消费方的标识,从而将数据准备完成消息发送至服务消费方,服务消费方解析数据完成消息从而获取服务器信息,服务消费方根据服务器信息中的服务器地址以及文件夹路径,通过API网关模块连接服务器。以从服务器获取数据。
本发明实施例不仅能够通过适配不同传输协议解决了现有API网关模块无法支持大量数据的问题,弥补了现有技术中只能支持REST/HTTP的API接口的不足、弥补了API网关模块只能支持同步调用的不足,通过API网关模块、任务处理模块、检测模块组合功能完成对外部系统正向路由的能力,并结合API网关模块的反向路由能力,实现API网关模块同步/异步调用,解决了API网关模块只能反向路由的不足。
本发明实施例提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行上述任意方法实施例中的数据管理方法。
本发明实施例通过API网关模块接收服务提供方的上传请求,并将上传请求发送至管理模块,上传请求包括上传信息,管理模块根据上传信息,获取服务器信息,并将服务器信息返回至API网关模块,API网关模块将服务器信息返回至服务提供方,以使服务提供方通过API网关模块连接服务器,并上传数据至服务器,从而能够通过API网关模块上传大文件数据。
本发明实施例通过本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任意方法实施例中的数据管理方法。
本发明实施例通过API网关模块接收服务提供方的上传请求,并将上传请求发送至管理模块,上传请求包括上传信息,管理模块根据上传信息,获取服务器信息,并将服务器信息返回至API网关模块,API网关模块将服务器信息返回至服务提供方,以使服务提供方通过API网关模块连接服务器,并上传数据至服务器,从而能够通过API网关模块上传大文件数据。
图4示出了本发明实施例提供的计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示,该计算设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述任意方法实施例中的数据管理方法。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
本发明实施例通过API网关模块接收服务提供方的上传请求,并将上传请求发送至管理模块,上传请求包括上传信息,管理模块根据上传信息,获取服务器信息,并将服务器信息返回至API网关模块,API网关模块将服务器信息返回至服务提供方,以使服务提供方通过API网关模块连接服务器,并上传数据至服务器,从而能够通过API网关模块上传大文件数据。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (10)

1.一种数据管理系统,其特征在于,所述系统包括:API网关模块、管理模块和服务器,所述API网关模块分别连接所述管理模块和所述服务器;
所述API网关模块用于接收服务提供方的上传请求,并将所述上传请求发送至所述管理模块,其中,所述上传请求包括上传信息;
所述管理模块用于根据所述上传信息,获取服务器信息,并将所述服务器信息返回至所述API网关模块;
所述API网关模块还用于将所述服务器信息返回至所述服务提供方,以使所述服务提供方通过所述API网关模块连接所述服务器,并上传数据至所述服务器。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:任务处理模块和检测模块,所述任务处理模块、所述检测模块分别与所述API网关模块连接,所述任务处理模块与所述检测模块连接,所述检测模块还与所述服务器连接;
所述API网关模块还用于在接收到所述服务提供方发送的上传完成消息后,将所述上传完成消息发送至所述任务处理模块;
所述任务处理模块用于根据所述上传完成消息,发送检测指令至所述检测模块;
所述检测模块用于根据所述检测指令,检测所述服务器是否有新数据,并将检测结果返回至所述API网关模块;
所述API网关模块还用于将所述检测结果返回至所述服务提供方。
3.根据权利要求2所述的系统,其特征在于,所述任务处理模块具体用于根据所述上传完成消息,获取负载最小的检测模块,发送检测指令至所述负载最小的检测模块。
4.根据权利要求3所述的系统,其特征在于,
所述任务处理模块具体用于获取所述检测模块的任务数以及各任务的处理时长,根据所述检测模块的任务数以及各任务的处理时长,确定所述负载最小的检测模块。
5.根据权利要求2所述的系统,其特征在于,
所述检测模块还用于向所述API网关模块发送检测完成消息;
所述API网关模块还用于在接收到所述检测完成消息后,获取与所述服务提供方对应的服务消费方,并发送数据准备完成消息至所述服务消费方。
6.根据权利要求5所述的系统,其特征在于,
所述数据准备完成消息包括所述服务器信息,所述API网关模块具体用于发送所述服务器信息至所述服务消费方,以使所述服务消费方通过所述API网关模块连接所述服务器,并从所述服务器获取数据。
7.根据权利要求1所述的系统,其特征在于,所述服务器信息包括所述服务器的地址信息和/或文件夹路径信息。
8.根据权利要求1-7任一项所述的系统,其特征在于,所述API网关模块与所述管理模块之间、所述API网关模块与所述服务器之间的数据交流基于文件传输协议(FileTransfer Protocol,FTP)。
9.一种数据管理方法,其特征在于,应用于权利要求1-8任一项所述的数据管理系统,所述数据管理系统包括:API网关模块、管理模块和服务器,所述API网关模块分别连接所述管理模块和所述服务器;
所述方法包括:
所述API网关模块接收服务提供方的上传请求,并将所述上传请求发送至所述管理模块,其中,所述上传请求包括上传信息;
所述管理模块根据所述上传信息,获取服务器信息,并将所述服务器信息返回至所述API网关模块;
所述API网关模块将所述服务器信息返回至所述服务提供方,以使所述服务提供方通过所述API网关模块连接所述服务器,并上传数据至所述服务器。
10.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求9所述的数据管理方法。
CN201910817517.2A 2019-08-30 2019-08-30 数据管理方法及系统 Active CN112448978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910817517.2A CN112448978B (zh) 2019-08-30 2019-08-30 数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910817517.2A CN112448978B (zh) 2019-08-30 2019-08-30 数据管理方法及系统

Publications (2)

Publication Number Publication Date
CN112448978A true CN112448978A (zh) 2021-03-05
CN112448978B CN112448978B (zh) 2022-11-29

Family

ID=74734718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910817517.2A Active CN112448978B (zh) 2019-08-30 2019-08-30 数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN112448978B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326598A (zh) * 2021-06-30 2021-08-31 北京计算机技术及应用研究所 一种物联网靶场设计方法
CN114338783A (zh) * 2021-11-08 2022-04-12 浙江高信技术股份有限公司 基于技术中台的api管理平台及其管理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051913A (zh) * 2007-01-12 2007-10-10 北京时代亮点科技发展有限公司 面向移动终端的对等网络传输方法
CN104301373A (zh) * 2013-07-18 2015-01-21 国际商业机器公司 经由文件共享服务同步的推送通知
CN105681055A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 共享文件服务器的访问方法、装置及系统
CN106228641A (zh) * 2016-09-18 2016-12-14 华南理工大学 一种用于长途客车的自动安全检测系统与方法
CN108306917A (zh) * 2017-01-13 2018-07-20 中国移动通信集团江西有限公司 数据处理方法和装置、微服务模块的注册方法及装置
CN109194760A (zh) * 2018-09-14 2019-01-11 深圳市佰仟金融服务有限公司 业务处理方法、网络系统及服务器
CN109407642A (zh) * 2018-12-27 2019-03-01 宁波极望信息科技有限公司 一种工厂无人管理系统及其方法
CN109660584A (zh) * 2017-10-12 2019-04-19 阿里巴巴集团控股有限公司 一种客户端与服务器建立长连接的方法及通信方法与通信系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051913A (zh) * 2007-01-12 2007-10-10 北京时代亮点科技发展有限公司 面向移动终端的对等网络传输方法
CN104301373A (zh) * 2013-07-18 2015-01-21 国际商业机器公司 经由文件共享服务同步的推送通知
CN105681055A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 共享文件服务器的访问方法、装置及系统
CN106228641A (zh) * 2016-09-18 2016-12-14 华南理工大学 一种用于长途客车的自动安全检测系统与方法
CN108306917A (zh) * 2017-01-13 2018-07-20 中国移动通信集团江西有限公司 数据处理方法和装置、微服务模块的注册方法及装置
CN109660584A (zh) * 2017-10-12 2019-04-19 阿里巴巴集团控股有限公司 一种客户端与服务器建立长连接的方法及通信方法与通信系统
CN109194760A (zh) * 2018-09-14 2019-01-11 深圳市佰仟金融服务有限公司 业务处理方法、网络系统及服务器
CN109407642A (zh) * 2018-12-27 2019-03-01 宁波极望信息科技有限公司 一种工厂无人管理系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张律: "基于物联网及GPRS技术的远程环境监测系统", 《山东工业技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326598A (zh) * 2021-06-30 2021-08-31 北京计算机技术及应用研究所 一种物联网靶场设计方法
CN114338783A (zh) * 2021-11-08 2022-04-12 浙江高信技术股份有限公司 基于技术中台的api管理平台及其管理方法

Also Published As

Publication number Publication date
CN112448978B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN111176803B (zh) 业务处理方法、装置、服务器及存储介质
CN113596184A (zh) 混合云系统、网闸、网络访问方法及存储介质
US10567492B1 (en) Methods for load balancing in a federated identity environment and devices thereof
CN109561054B (zh) 一种数据传输方法、控制器及接入设备
CN107534930A (zh) 一种Wi‑Fi热点的推荐方法、终端及图形用户界面
CN112448978B (zh) 数据管理方法及系统
CN111064804B (zh) 网络访问方法和装置
CN114338650A (zh) 文件传输方法、装置、电子设备及可读存储介质
CN113259479A (zh) 一种数据处理方法以及设备
CN113746928A (zh) 跨云服务调用方法、装置和系统
CN110519388B (zh) 区块链请求的处理方法、装置、电子设备及可读存储介质
EP3096492B1 (en) Page push method and system
CN108541000B (zh) 一种检测网络连接的方法、介质以及设备
JP2012522318A (ja) スマートルーティング
CN110661780A (zh) 一种基于saas应用的无线城市数据共享方法与系统
EP3364348A1 (en) A distributed, heterogeneous business process management process engine for the internet of everything
CN110213365B (zh) 基于用户分区的用户访问请求处理方法及电子设备
CN111262779A (zh) 即时通讯中数据的获取方法、装置、服务器及系统
TWI546688B (zh) 對網路位址進行處理的方法及相關的伺服器與非暫態電腦可讀取儲存媒體
US20220122141A1 (en) Train any buddy real-time online matching service
CN109327517B (zh) 获取无线接入点网络状态的方法及设备
WO2015149530A1 (zh) M2m应用服务方法、装置及系统
US9246754B2 (en) Automatic failover of nodes of a middle-tier layer
CN115129708A (zh) 数据处理方法、装置和存储介质及电子设备
CN113746794A (zh) 账号的处理方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant