CN106713506A - 一种数据获取方法及系统 - Google Patents
一种数据获取方法及系统 Download PDFInfo
- Publication number
- CN106713506A CN106713506A CN201710096838.9A CN201710096838A CN106713506A CN 106713506 A CN106713506 A CN 106713506A CN 201710096838 A CN201710096838 A CN 201710096838A CN 106713506 A CN106713506 A CN 106713506A
- Authority
- CN
- China
- Prior art keywords
- server
- client
- address
- data
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据获取方法及系统，所述方法应用于一种数据获取系统，所述系统包括客户端、中间设备、以及至少一个服务器集群；所述中间设备能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第一目标数据的获取时长超过预设时长；所述方法包括：所述客户端向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据；所述中间设备从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。通过本发明，能够加快客户端从服务器的数据获取速度。
Description
技术领域
本发明涉及集群系统领域，尤其涉及一种数据获取方法及系统。
背景技术
目前，对于客户端/服务器(Client/Server)的网络架构模式，客户端(Client)一般指的是Web界面，服务器(Server)可以代表整个服务器集群系统，在实际应用时，用户通过Web界面下发http请求到Server，Server中相应的代理模块(Agent)接收请求并做相应的操作，将操作结果返回给Web。
一般来说，Web的数据是从集群系统中实时获取的，而其中的某些数据需要调用集群系统的命令获取，若命令运行时间较长，则会造成Web获取该数据有延时，导致Web的交互性和友好性都很差。
发明内容
本发明实施例的主要目的在于提供一种数据获取方法及系统，能够加快客户端从服务器的数据获取速度。
本发明实施例提供了一种数据获取方法，所述方法应用于一种数据获取系统，所述系统包括客户端、中间设备、以及至少一个服务器集群；所述中间设备能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第一目标数据的获取时长超过预设时长；所述方法包括：
所述客户端向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据；
所述中间设备从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。
可选的，所述数据库中的第一目标数据按照下述方式获取：
所述服务器集群中的主节点服务器按照预设时间间隔获取本集群内的第一目标数据，并将每次获取的至少一个第一目标数据推送至所述中间设备；
所述中间设备将所述至少一个第一目标数据存入所述数据库。
可选的，所述方法还包括：
所述客户端经所述中间设备向所述服务器集群的主节点服务器发送第二数据获取请求，所述第二数据获取请求用于请求第二目标数据；其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第二目标数据的获取时长不超过所述预设时长；
所述服务器集群的主节点服务器通过所述中间设备向所述客户端返回所述第二目标数据。
可选的，所述方法还包括：
所述客户端通过所述中间设备向所述服务器集群的主节点服务器发送设备发现请求；
所述服务器集群的主节点服务器将所述设备发现请求中的服务器信息与所述服务器集群的服务器信息进行匹配；
所述服务器集群的主节点服务器通过所述中间设备向所述客户端返回匹配出的服务器信息。
可选的，所述将所述设备发现请求中的服务器信息与所述服务器集群的服务器信息进行匹配，包括：
当所述设备发现请求携带了至少一个IP地址时，将所述至少一个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；
当所述设备发现请求携带了至少一个IP地址段时，将所述至少一个IP地址段中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；
当所述设备发现请求携带了局域网内的所有IP地址时，将所述所有IP地址中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；
相应地，所述通过所述中间设备向所述客户端返回匹配出的服务器信息，包括：
通过所述中间设备向所述客户端返回匹配出的IP地址。
本发明实施例还提供了一种数据获取系统，所述系统包括客户端、中间设备、以及至少一个服务器集群；所述中间设备能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第一目标数据的获取时长超过预设时长；
所述客户端，用于向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据；
所述中间设备，用于从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。
可选的，所述服务器集群中的主节点服务器，用于按照预设时间间隔获取本集群内的第一目标数据，并将每次获取的至少一个第一目标数据推送至所述中间设备；
所述中间设备，还用于将所述至少一个第一目标数据存入所述数据库。
可选的，所述客户端，还用于经所述中间设备向所述服务器集群的主节点服务器发送第二数据获取请求，所述第二数据获取请求用于请求第二目标数据；其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第二目标数据的获取时长不超过所述预设时长；
所述服务器集群的主节点服务器，用于通过所述中间设备向所述客户端返回所述第二目标数据。
可选的，所述客户端，还用于通过所述中间设备向所述服务器集群的主节点服务器发送设备发现请求；
所述服务器集群的主节点服务器，还用于将所述设备发现请求中的服务器信息与所述服务器集群的服务器信息进行匹配；通过所述中间设备向所述客户端返回匹配出的服务器信息。
可选的，所述服务器集群的主节点服务器，具体用于当所述设备发现请求携带了至少一个IP地址时，将所述至少一个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；当所述设备发现请求携带了至少一个IP地址段时，将所述至少一个IP地址段中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；当所述设备发现请求携带了局域网内的所有IP地址时，将所述所有IP地址中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；通过所述中间设备向所述客户端返回匹配出的IP地址。
本发明实施例提供一种数据获取方法及系统，所述系统包括客户端、中间设备、以及至少一个服务器集群；所述中间设备能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第一目标数据的获取时长超过预设时长。在获取第一目标数据时，所述客户端向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据，所述中间设备从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。可见，利用数据库预先缓存获取速度比较慢的数据，当通过客户端获取这样的数据时，直接从数据库中提取，这种异步获取方式，提高了数据获取速度，从而提高了与客户端的交互效率和用户体验效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络架构示意图之一；
图2为本发明实施例提供的一种设备发现方法的流程示意图；
图3为本发明实施例提供的网络架构示意图之二；
图4为本发明实施例提供的一种数据获取方法的流程示意图；
图5为本发明实施例提供的网络架构示意图之三；
图6为本发明实施例提供的另一种数据获取方法的流程示意图；
图7为本发明实施例提供的网络架构示意图之四。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的数据获取方法，应用于一种数据获取系统(如图1所示的网络架构示意图之一)，该系统包括客户端101、中间设备102、以及至少一个服务器集群103。本发明实施例在现有的客户端/服务器(Client/Server)模式下增加了一个中间设备102，中间设备102是客户端101与每个服务器集群103的代理模块(Agent)进行通信的桥梁，其中，Agent部署在服务器集群103的主节点服务器(又称管理节点)上，用来管理服务器集群103中的其它节点服务器。客户端101可以通过自己的Web功能对各个服务器集群103进行统一管理，Web功能主要是进行界面展示，可以不做复杂的逻辑处理，注重布局合理，交互性设计好；用户可以通过浏览器的方式访问该管理界面，还可以在该管理界面上点击按钮以下发相应的超文本传输协议(HyperText Transfer Protocol，简称HTTP)请求到中间设备102，请求服务器集群103中的数据。
下面基于图1所示的网络架构，具体介绍本发明实施例。
在现有技术中，传统的Client/Server模式可以满足Client对单一服务器集群系统进行管理，即，这种模式下，Client上的管理界面与服务器集群Server之间只能一一对应，然而，若一个网络中存在多个服务器集群，则需要为每个服务器集群配置一套管理系统，比较麻烦。
参见图2所示的设备发现方法的流程示意图，该方法解决了上述现有技术缺陷，该方法包括：
S201：所述客户端101通过所述中间设备102向所述服务器集群103的主节点服务器发送设备发现请求。
参见图3所示的网络架构示意图之二。在本实施例中，所述中间设备102可以包括一个设备发现模块，该设备发现模块可以查找当前网络中的所有集群系统、并以列表的方式返回给客户端101，以便客户端101对当前网络中的所有集群进行统一管理。具体的，设备发现模块可接收客户端101通过Web发送的设备发现请求，并将设备发现请求转发至每个服务器集群103的主节点服务器，部署在主节点服务器的Agent将其请求的集群设备信息发送至设备发现模块，设备发现模块再将这些信息以列表的方式(或其它方式)返回给Web，收集这些集群设备信息后，便可以通过一个Web界面管理多个集群系统。其中，所述设备发现请求可以是人工通常Web界面触发的，也可以是客户端自动触发的，对此，本实施例不做限制。
S202：所述服务器集群103的主节点服务器将所述设备发现请求中的服务器信息与所述服务器集群的服务器信息进行匹配。
客户端101可以以http协议方式下发设备发现请求到中间设备102的设备发现模块，设备发现模块接收到请求后可以以用户数据报协议(User Datagram Protocol，简称UDP)协议方式与当前网络中所有的集群Agent通信，若收到Agent返回的UDP响应报文，则将该报文数据记录在数据库中，同时将该报文以http协议返回至客户端101的Web界面进行显示。
在本实施例中，设备发现模块可以实现指定IP发现、指定ip段发现和局域网自动发现三种类型，根据Web界面下发的设备发现请求类型，进行相应的操作。因此，每一服务器集群103的主节点服务器可以采用以下三种实施方式之一实现S202：
在第一种实施方式中，S202可以包括：当所述设备发现请求携带了至少一个IP地址时，将所述至少一个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配。在这种实施方式中，参见图3，如果客户端101向中间设备102的设备发现模块下发了设备发现请求，当该设备发现请求携带了一个或多个IP地址时，设备发现模块收到该设备发现请求后会向网络中的每一服务器集群103的Agent转发该设备发现请求，每一Agent会响应该请求，例如，当请求中携带了一个IP地址且该IP地址为XX1时，Agent可以将XX1与自己集群中的每一服务器节点的IP地址进行匹配，如果匹配出一个IP地址为XX1的服务器节点A，则Agent会向设备发现模块发送服务器节点A的IP地址XX1以及服务器节点A所属的集群ID号等信息，如果未匹配出IP地址XX1，Agent可以通知或不通知设备发现模块。
在第二种实施方式中，S202可以包括：当所述设备发现请求携带了至少一个IP地址段时，将所述至少一个IP地址段中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配。在这种实施方式中，参见图3，如果客户端101向中间设备102的设备发现模块下发了设备发现请求，当该设备发现请求携带了一个或多个IP地址段时，设备发现模块收到该设备发现请求后会向网络中的每一服务器集群的Agent转发该设备发现请求，每一Agent会响应该请求，例如，当请求中携带了一个IP地址段且该IP地址段包含了IP地址XX1和XX2时，Agent可以将XX1和XX2与自己集群中的每一服务器节点的IP地址进行匹配，如果匹配出一个IP地址为XX1的服务器节点A和/或IP地址为XX2的服务器节点B，则Agent会向设备发现模块发送匹配出的节点服务器的IP地址及其所属的集群ID号等信息，如果未匹配出IP地址XX1和/或XX2，Agent可以通知或不通知设备发现模块。
在第三种实施方式中，S202可以包括：当所述设备发现请求携带了局域网内的所有IP地址时，将所述所有IP地址中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配。在这种实施方式中，参见图3，如果客户端101向中间设备102的设备发现模块下发了设备发现请求，当该设备发现请求携带了局域网内的所有IP地址时，所述设备发现模块收到该设备发现请求后会向同一局域网中每一服务器集群的Agent转发该设备发现请求，每一Agent会响应该请求，即，Agent可以将局域网内的所有IP地址与自己集群中的每一服务器节点的IP地址进行匹配，如果匹配出一个或多个IP地址分别对应的服务器节点，则Agent会向设备发现模块发送匹配出的每一节点服务器的IP地址及其所属的集群ID号等信息，如果未匹配出的任何IP地址，Agent可以通知或不通知设备发现模块。
S203：所述服务器集群的主节点服务器通过所述中间设备向所述客户端返回匹配出的服务器信息。
基于S203的任一种实施方式，步骤S203可以包括：所述服务器集群的主节点服务器通过所述中间设备向所述客户端返回匹配出的IP地址。
Agent除了可以向设备发现模块反馈匹配出的IP地址及其所属的集群，还可以反馈该IP地址对应的服务器节点的设备信息，然后将这些反馈信息存入数据库中并返回给客户端101的Web界面，这样，在Web界面中就可以管理多个集群设备了。
通过上述收集集群设备信息的操作，用户可以通过操作一个Web界面来管理多个集群。这样，用户便可以通过Web界面向被管理集群获取所需的数据，然而，背景技术中提到，某些数据获取速度比较慢，因此，在本发明实施例中，图1所示系统还具有一个中间设备102能够访问的数据库，本实施例对数据库的建立位置不做限制，比如，该数据库可以设置在中间设备102上、也可以设置在所述中间设备以外的一个独立设备上。
数据库可以预先对服务器集群103中的某些获取速度比较慢的接口数据进行缓存，以提高Web界面交互速度，进而提高界面的友好性。因此，中间设备102能够访问的数据库中可以预先存储至少一个第一目标数据，其中，在正常网络状态下，客户端101从服务器集群103获取所述第一目标数据的获取时长超过预设时长。
参见图4，为本发明实施例提供的一种数据获取方法的流程示意图，该方法包括：
S401：所述客户端101向所述中间设备102发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据。
S402：所述中间设备102从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端101。
参见图5所示的网络架构示意图之三，中间设备102中还可以设置一个业务模块，该业务模块用于接收来自Web的http请求。由于集群中某些命令运行比较慢，会造成相应的接口请求延时甚至超时，导致Web界面交互性很差，为便于描述，本实施例将获取速度较慢的数据称为第一目标数据，并在Web请求获取第一目标数据之前，将所述第一目标数据预先存入数据库中，使数据库中存储多个不同的第一目标数据，这样，用户通过Web界面请求获取一个或多个第一目标数据时，可以向业务模块发送用于请求第一目标数据的第一数据获取请求，业务模块获取到该请求后会从数据库中检索出被请求的第一目标数据、并返回至web界面进行显示或不显示。
在本发明的一个实施方式中，所述数据库中的第一目标数据可以按照下述方式获取：所述服务器集群103中的主节点服务器按照预设时间间隔获取本集群内的第一目标数据，并将每次获取的至少一个第一目标数据推送至所述中间设备102；所述中间设备102将所述至少一个第一目标数据存入所述数据库。例如，对于这种实施方式，可以在每个Agent中加入一个后台进程(daemon)，该进程可以对这些获取速度比较慢的接口数据(比如获取时间超过5秒)按照预设时间间隔(比如每隔五分钟)自动获取一次，并将获取的数据通过http协议推送给中间设备102的业务模块，该业务模块的相应接口接收到数据后，将其缓存到数据库中，需要说明的是，Agent可以具有数据筛选功能，即，每次获取的数据都是数据库中未缓存过的数据，以免数据库重复存储相同的数据。一旦Web界面向业务模块下发获取这些数据的请求时，业务模块直接读取缓存在数据库中的相应数据并返回给Web，提高了获取数据的速率，进而提高了界面的交互性，用户体验比较好。
可见，对于集群中的某些获取速度比较慢的接口数据，可以提前定时进行获取并缓存到数据库中，当Web下发请求获取这些数据时，可直接读取数据库进行返回，将原来的同步获取变成异步获取，可提高获取速度，提升界面的交互友好性。
本发明实施例提供一种数据获取方法，所述系统包括客户端、中间设备、以及至少一个服务器集群；所述中间设备能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第一目标数据的获取时长超过预设时长。在获取第一目标数据时，所述客户端向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据，所述中间设备从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。可见，利用数据库预先缓存获取速度比较慢的数据，当通过客户端获取这样的数据时，直接从数据库中提取，这种异步获取方式，提高了数据获取速度，从而提高了与客户端的交互效率和用户体验效果。
Agent的主要功能是根据Web下发的相应http请求对集群作出相应的操作，而中间设备102的业务模块不但可以接收来自Web的http请求，还可以将请求精确的转发到相应集群系统的Agent中，并将Agent返回的信息返回到Web。
为便于区别，本实施将除所述第一目标数据以外的获取速度较快的数据称为第二目标数据，在正常网络状态下，所述客户端101从所述服务器集群103获取所述第二目标数据的获取时长不超过所述预设时长。
进一步地，本实施例还可以获取所述第二目标数据，参见图6所述的另一种数据获取方法的流程示意图，包括以下步骤：
S601：所述客户端101经所述中间设备102向所述服务器集群103的主节点服务器发送第二数据获取请求，所述第二数据获取请求用于请求第二目标数据。
S602：所述服务器集群103的主节点服务器通过所述中间设备102向所述客户端101返回所述第二目标数据。
参见图7所示的网络架构示意图之四，业务模块可接收Web界面发送的对集群的操作请求，并根据请求中的IP地址把该请求转发给相应集群的Agent。在获取第二目标数据时，用户可以登录客户端101的Web界面，具体的，用户可以选择相应的集群设备，通过点击Web界面提供的按钮或其他方式下发相应的请求，比如，下发被选择集群的基本信息的获取请求，该请求会首先被中间设备102的业务模块的对应接口接收，该业务模块会根据请求中携带的IP地址XXX，将该请求转发到相应集群设备的Agent，Agent接收到请求后就会执行获取集群基本信息的命令，即获取IP地址XXX对应的服务器节点的基本信息，并返回给业务模块，业务模块再将其返回给Web,这样,在Web界面就可以实时查看集群的基本信息。同样，其他的请求流程与此相同,不再一一列举。
可见，业务模块就相当于一个IP路由转换器，根据请求中的IP地址，将请求转发给该IP地址所在的集群Agent中，可以更好的实现对设备发现列表中的每个集群设备进行管理。
例如，当通过Web向设备发现模块下发设备发现请求后，设备发现模块返回的设备信息以集群列表(包含集群1至集群n)的方式展现，用户可以点击进入集群2中，下发相应的业务http请求，业务模块接收请求并将其转发给集群2的Agent，集群2的Agent模块接收到http请求后立即执行相应的操作，并将操作结果返回给业务模块，业务模块再将操作结果返回给Web界面。
对于图1所示的数据获取系统，所述系统包括客户端101、中间设备102、以及至少一个服务器集群103；所述中间设备102能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端101从所述服务器集群103获取所述第一目标数据的获取时长超过预设时长；
所述客户端101，用于向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据；
所述中间设备102，用于从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。
在本发明的一个实施例中，所述服务器集群103中的主节点服务器，用于按照预设时间间隔获取本集群内的第一目标数据，并将每次获取的至少一个第一目标数据推送至所述中间设备102；
所述中间设备102，还用于将所述至少一个第一目标数据存入所述数据库。
在本发明的一个实施例中，所述客户端101，还用于经所述中间设备102向所述服务器集群103的主节点服务器发送第二数据获取请求，所述第二数据获取请求用于请求第二目标数据；其中，在正常网络状态下，所述客户端101从所述服务器集群103获取所述第二目标数据的获取时长不超过所述预设时长；
所述服务器集群103的主节点服务器，用于通过所述中间设备102向所述客户端101返回所述第二目标数据。
在本发明的一个实施例中，所述客户端101，还用于通过所述中间设备102向所述服务器集群103的主节点服务器发送设备发现请求；
所述服务器集群103的主节点服务器，还用于将所述设备发现请求中的服务器信息与所述服务器集群103的服务器信息进行匹配；通过所述中间设备10向所述客户端101返回匹配出的服务器信息。
在本发明的一个实施例中，所述服务器集群103的主节点服务器，具体用于当所述设备发现请求携带了至少一个IP地址时，将所述至少一个IP地址与所述服务器集群103中每一服务器节点的IP地址进行匹配；当所述设备发现请求携带了至少一个IP地址段时，将所述至少一个IP地址段中的每个IP地址与所述服务器集群103中每一服务器节点的IP地址进行匹配；当所述设备发现请求携带了局域网内的所有IP地址时，将所述所有IP地址中的每个IP地址与所述服务器集群103中每一服务器节点的IP地址进行匹配；通过所述中间设备向所述客户端返回匹配出的IP地址。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本发明各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据获取方法，其特征在于，所述方法应用于一种数据获取系统，所述系统包括客户端、中间设备、以及至少一个服务器集群；所述中间设备能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第一目标数据的获取时长超过预设时长；所述方法包括：
所述客户端向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据；
所述中间设备从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述数据库中的第一目标数据按照下述方式获取：
所述服务器集群中的主节点服务器按照预设时间间隔获取本集群内的第一目标数据，并将每次获取的至少一个第一目标数据推送至所述中间设备；
所述中间设备将所述至少一个第一目标数据存入所述数据库。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述客户端经所述中间设备向所述服务器集群的主节点服务器发送第二数据获取请求，所述第二数据获取请求用于请求第二目标数据；其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第二目标数据的获取时长不超过所述预设时长；
所述服务器集群的主节点服务器通过所述中间设备向所述客户端返回所述第二目标数据。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
所述客户端通过所述中间设备向所述服务器集群的主节点服务器发送设备发现请求；
所述服务器集群的主节点服务器将所述设备发现请求中的服务器信息与所述服务器集群的服务器信息进行匹配；
所述服务器集群的主节点服务器通过所述中间设备向所述客户端返回匹配出的服务器信息。
5.根据权利要求4所述的方法，其特征在于，所述将所述设备发现请求中的服务器信息与所述服务器集群的服务器信息进行匹配，包括：
当所述设备发现请求携带了至少一个IP地址时，将所述至少一个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；
当所述设备发现请求携带了至少一个IP地址段时，将所述至少一个IP地址段中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；
当所述设备发现请求携带了局域网内的所有IP地址时，将所述所有IP地址中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；
相应地，所述通过所述中间设备向所述客户端返回匹配出的服务器信息，包括：
通过所述中间设备向所述客户端返回匹配出的IP地址。
6.一种数据获取系统，其特征在于，所述系统包括客户端、中间设备、以及至少一个服务器集群；所述中间设备能够访问的数据库中预先存储了至少一个第一目标数据，其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第一目标数据的获取时长超过预设时长；
所述客户端，用于向所述中间设备发送第一数据获取请求，所述第一数据获取请求用于请求所述第一目标数据；
所述中间设备，用于从所述数据库中提取所述第一目标数据，将所述第一目标数据返回至所述客户端。
7.根据权利要求6所述的系统，其特征在于，
所述服务器集群中的主节点服务器，用于按照预设时间间隔获取本集群内的第一目标数据，并将每次获取的至少一个第一目标数据推送至所述中间设备；
所述中间设备，还用于将所述至少一个第一目标数据存入所述数据库。
8.根据权利要求6所述的系统，其特征在于，
所述客户端，还用于经所述中间设备向所述服务器集群的主节点服务器发送第二数据获取请求，所述第二数据获取请求用于请求第二目标数据；其中，在正常网络状态下，所述客户端从所述服务器集群获取所述第二目标数据的获取时长不超过所述预设时长；
所述服务器集群的主节点服务器，用于通过所述中间设备向所述客户端返回所述第二目标数据。
9.根据权利要求6至8任一项所述的系统，其特征在于，
所述客户端，还用于通过所述中间设备向所述服务器集群的主节点服务器发送设备发现请求；
所述服务器集群的主节点服务器，还用于将所述设备发现请求中的服务器信息与所述服务器集群的服务器信息进行匹配；通过所述中间设备向所述客户端返回匹配出的服务器信息。
10.根据权利要求9所述的系统，其特征在于，
所述服务器集群的主节点服务器，具体用于当所述设备发现请求携带了至少一个IP地址时，将所述至少一个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；当所述设备发现请求携带了至少一个IP地址段时，将所述至少一个IP地址段中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；当所述设备发现请求携带了局域网内的所有IP地址时，将所述所有IP地址中的每个IP地址与所述服务器集群中每一服务器节点的IP地址进行匹配；通过所述中间设备向所述客户端返回匹配出的IP地址。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710096838.9A CN106713506A (zh) | 2017-02-22 | 2017-02-22 | 一种数据获取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710096838.9A CN106713506A (zh) | 2017-02-22 | 2017-02-22 | 一种数据获取方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106713506A true CN106713506A (zh) | 2017-05-24 |
Family
ID=58917224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710096838.9A Pending CN106713506A (zh) | 2017-02-22 | 2017-02-22 | 一种数据获取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106713506A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107257388A (zh) * | 2017-08-21 | 2017-10-17 | 郑州云海信息技术有限公司 | 一种基于分布式集群系统的信息推送方法及装置 |
| CN107368583A (zh) * | 2017-07-21 | 2017-11-21 | 郑州云海信息技术有限公司 | 一种多集群信息查询的方法及系统 |
| CN107395443A (zh) * | 2017-08-31 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种分布式集群管理方法、装置及系统 |
| CN110289999A (zh) * | 2019-06-21 | 2019-09-27 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、系统及装置 |
| CN110839074A (zh) * | 2019-11-07 | 2020-02-25 | 北京首钢自动化信息技术有限公司 | 一种数据请求接收处理方法及装置 |
| CN111245939A (zh) * | 2020-01-10 | 2020-06-05 | 中国建设银行股份有限公司 | 数据同步方法、装置和系统 |
| CN114257606A (zh) * | 2021-12-13 | 2022-03-29 | 阿里巴巴（中国）有限公司 | 数据处理方法、文件管理系统、存储介质及程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020184327A1 (en) * | 2001-05-11 | 2002-12-05 | Major Robert Drew | System and method for partitioning address space in a proxy cache server cluster |
| CN101346935A (zh) * | 2005-12-23 | 2009-01-14 | 索尼德国有限责任公司 | 用于改进基于UPnP的无线通信网络中的服务和设备发现的系统和方法 |
| US20110276622A1 (en) * | 2010-05-06 | 2011-11-10 | The Go Daddy Group, Inc. | Reading a file from a cloud storage solution |
| CN102364461A (zh) * | 2011-06-30 | 2012-02-29 | 广州市动景计算机科技有限公司 | 网页内容数据获取方法及服务器 |
| CN102484605A (zh) * | 2009-05-28 | 2012-05-30 | 三星电子株式会社 | 用于支持远程用户界面的家庭网络的事件处理方法和系统 |
| CN104113458A (zh) * | 2014-07-23 | 2014-10-22 | 海信集团有限公司 | 一种移动终端与智能家电设备互联的方法及装置 |
| CN104717231A (zh) * | 2014-12-18 | 2015-06-17 | 北京蓝汛通信技术有限责任公司 | 内容分发网络的预分发处理方法及装置 |
-
2017
- 2017-02-22 CN CN201710096838.9A patent/CN106713506A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020184327A1 (en) * | 2001-05-11 | 2002-12-05 | Major Robert Drew | System and method for partitioning address space in a proxy cache server cluster |
| CN101346935A (zh) * | 2005-12-23 | 2009-01-14 | 索尼德国有限责任公司 | 用于改进基于UPnP的无线通信网络中的服务和设备发现的系统和方法 |
| CN102484605A (zh) * | 2009-05-28 | 2012-05-30 | 三星电子株式会社 | 用于支持远程用户界面的家庭网络的事件处理方法和系统 |
| US20110276622A1 (en) * | 2010-05-06 | 2011-11-10 | The Go Daddy Group, Inc. | Reading a file from a cloud storage solution |
| CN102364461A (zh) * | 2011-06-30 | 2012-02-29 | 广州市动景计算机科技有限公司 | 网页内容数据获取方法及服务器 |
| CN104113458A (zh) * | 2014-07-23 | 2014-10-22 | 海信集团有限公司 | 一种移动终端与智能家电设备互联的方法及装置 |
| CN104717231A (zh) * | 2014-12-18 | 2015-06-17 | 北京蓝汛通信技术有限责任公司 | 内容分发网络的预分发处理方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368583A (zh) * | 2017-07-21 | 2017-11-21 | 郑州云海信息技术有限公司 | 一种多集群信息查询的方法及系统 |
| CN107257388A (zh) * | 2017-08-21 | 2017-10-17 | 郑州云海信息技术有限公司 | 一种基于分布式集群系统的信息推送方法及装置 |
| CN107395443A (zh) * | 2017-08-31 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种分布式集群管理方法、装置及系统 |
| CN110289999A (zh) * | 2019-06-21 | 2019-09-27 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、系统及装置 |
| WO2020253634A1 (zh) * | 2019-06-21 | 2020-12-24 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、系统及装置 |
| CN110289999B (zh) * | 2019-06-21 | 2023-02-21 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、系统及装置 |
| CN110839074A (zh) * | 2019-11-07 | 2020-02-25 | 北京首钢自动化信息技术有限公司 | 一种数据请求接收处理方法及装置 |
| CN111245939A (zh) * | 2020-01-10 | 2020-06-05 | 中国建设银行股份有限公司 | 数据同步方法、装置和系统 |
| CN111245939B (zh) * | 2020-01-10 | 2022-07-29 | 中国建设银行股份有限公司 | 数据同步方法、装置和系统 |
| CN114257606A (zh) * | 2021-12-13 | 2022-03-29 | 阿里巴巴（中国）有限公司 | 数据处理方法、文件管理系统、存储介质及程序产品 |
| CN114257606B (zh) * | 2021-12-13 | 2024-03-29 | 阿里巴巴（中国）有限公司 | 数据处理方法、文件管理系统、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106713506A (zh) | 一种数据获取方法及系统 | |
| CN110247784B (zh) | 确定网络拓扑结构的方法和装置 | |
| US7933951B2 (en) | Systems and methods for discerning and controlling communication traffic | |
| CN103929507B (zh) | 一种实现可离线化dns服务的方法及装置 | |
| CN103825975B (zh) | Cdn节点分配服务器及系统 | |
| CN104935625B (zh) | 在面向服务的架构(soa)网络中发现服务的方法及系统 | |
| WO2016082289A1 (zh) | 一种基于内容分发网络的网站加速方法及系统 | |
| CN104717314B (zh) | 一种ip管理方法及系统、客户端、服务器 | |
| CN105450787B (zh) | 网络地址映射方法、装置和系统 | |
| CN108040085A (zh) | 网络接入方法、装置及服务器 | |
| CN106101825A (zh) | 一种终端监控的方法和设备 | |
| CN108156274A (zh) | 一种vpn网络中使设备获得域名解析结果的方法及装置 | |
| CN108881034A (zh) | 一种应用于bt系统的请求响应方法、设备及系统 | |
| US8713088B2 (en) | Identifying users of remote sessions | |
| CN106550058A (zh) | 网络地址转换穿透方法以及使用该方法的系统 | |
| US20120047248A1 (en) | Method and System for Monitoring Flows in Network Traffic | |
| CN102594839B (zh) | 一种识别伪dhcp服务器的方法和交换机 | |
| CN108769097A (zh) | 支持网络控制的内容分发网络系统 | |
| CN105281987B (zh) | 路由器及数据上传方法、装置、系统 | |
| CN114666245A (zh) | B/S系统的IPv6单栈支持度确定方法及相关设备 | |
| CN107911499A (zh) | 多线路域名解析方法及装置 | |
| CN107995124A (zh) | 流量调度方法及装置 | |
| US8843644B2 (en) | Method and apparatus for enabling a management system to interface with managed devices | |
| EP3018883B1 (en) | Login method and system for client unit | |
| CN110309342A (zh) | 一种媒体文件获取方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170524 |