CN115827561A - 数据查询方法、装置、设备及存储介质 - Google Patents

数据查询方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115827561A
CN115827561A CN202211430197.3A CN202211430197A CN115827561A CN 115827561 A CN115827561 A CN 115827561A CN 202211430197 A CN202211430197 A CN 202211430197A CN 115827561 A CN115827561 A CN 115827561A
Authority
CN
China
Prior art keywords
target
request
data
cache
cache server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211430197.3A
Other languages
English (en)
Inventor
刘亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202211430197.3A priority Critical patent/CN115827561A/zh
Publication of CN115827561A publication Critical patent/CN115827561A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及数据处理技术领域,尤其涉及一种数据查询方法、装置、设备及存储介质。包括:获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,并将缓存请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据;获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据查询请求,查询本地缓存的目标文件数据。本公开用以解决现有技术中数据查询时通过输入输出接口频繁访问服务器,导致服务器性能降低,且数据查询效率较低的缺陷。

Description

数据查询方法、装置、设备及存储介质
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据查询方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,大量数据充斥着网络,对大量数据进行查询是一个重要课题。现有技术中,分页查询是一种常用的数据方式。分页查询将数据库中庞大的数据,根据需要分段查询并显示。
现有的分页查询方式虽然能解决分页读取文件的需要,但是,每次分页读取都需要重新打开关闭文件流,即每次分页读取都需要通过输入输出接口,从文件服务器中读取整个文件数据,然后获取最终需要的数据。该过程中,对文件服务器的输入输出接口访问频繁,进而会影响文件服务器的服务性能,降低数据查询效率。尤其是分页查询嵌套于具体的业务应用服务中时,通过输入输出接口频繁读取文件数据,往往会影响应用服务内的其他应用场景性能,进一步降低服务器整体的服务性能。
发明内容
本公开提供一种数据查询方法、装置、设备及存储介质,用以解决现有技术中数据查询时通过输入输出接口频繁访问服务器,导致服务器性能降低,且数据查询效率较低的缺陷。
本公开提供一种数据查询方法,应用于请求调度中心,包括:获取目标文件数据的缓存请求;根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,并将所述缓存请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述缓存请求,从文件服务器中下载并缓存所述目标文件数据;获取所述目标文件数据的数据查询请求;通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述数据查询请求,查询本地缓存的所述目标文件数据。
根据本公开提供的一种数据查询方法,所述根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,包括:根据所述缓存请求,查询预设缓存中存储的至少一个缓存服务器分别对应的可用内存容量;确定无调度映射关系且所述可用内存容量最大的所述缓存服务器,为所述目标缓存服务器;生成所述目标文件数据与所述目标缓存服务器之间的所述目标调度映射关系。
根据本公开提供的一种数据查询方法,所述生成所述目标文件数据与所述目标缓存服务器之间的所述目标调度映射关系之后,还包括:将所述目标调度映射关系存储至所述预设缓存;所述通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器,包括:根据所述数据查询请求,获取所述预设缓存中存储的所述目标调度映射关系;根据所述目标调度映射关系,确定所述缓存服务集群中的所述目标缓存服务器,其中,所述缓存服务集群包括至少一个缓存服务器,所述缓存服务器包括所述目标缓存服务器;将所述数据查询请求传输给所述目标缓存服务器;所述通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器之后,还包括:获取所述目标缓存服务器返回的所述目标文件数据的查询结果。
根据本公开提供的一种数据查询方法,所述通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器之后,还包括:获取所述目标文件数据的数据清空请求;根据所述数据清空请求,清除所述预设缓存中存储的所述目标调度映射关系,以及将所述数据清空请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述数据清空请求,清除已缓存的所述目标文件数据。
本公开还提供一种数据查询方法,应用于目标缓存服务器,包括:获取请求调度中心传输的缓存请求,其中,所述请求调度中心,用于获取目标文件数据的缓存请求,根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将所述缓存请求传输给所述目标缓存服务器;根据所述缓存请求,从文件服务器中下载并缓存目标文件数据;其中,所述请求调度中心,用于获取所述目标文件数据的数据查询请求,通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器;获取所述请求调度中心传输的所述数据查询请求;根据所述数据查询请求,查询本地缓存的所述目标文件数据。
根据本公开提供的一种数据查询方法,所述根据所述缓存请求,从文件服务器中下载并缓存目标文件数据,包括:从文件服务器中下载所述目标文件数据;以有序键值对形式缓存所述目标文件数据,其中,所述目标文件数据划分为至少一个数据单元,所述有序键值对的值包括各个所述数据单元,各个所述数据单元按照预设顺序排列,所述有序键值对的键包括各个所述数据单元分别对应的单元标识;所述根据所述数据查询请求,查询本地缓存的所述目标文件数据,包括:根据所述数据查询请求中的所述单元标识,获取所述数据查询请求对应的所述数据单元,并生成查询结果;将所述查询结果返回给所述请求调度中心。
根据本公开提供的一种数据查询方法,所述根据所述缓存请求,缓存所述目标文件数据之后,还包括:获取实时的可用内存容量;将所述可用内存容量更新至预设缓存。
根据本公开提供的一种数据查询方法,所述根据所述缓存请求,从文件服务器中下载并缓存目标文件数据之后,还包括:获取所述请求调度中心传输的数据清空请求;根据所述数据清空请求,清除已缓存的所述目标文件数据;再次获取实时的所述可用内存容量;将再次获取的所述可用内存容量更新至所述预设缓存。
本公开还提供一种数据查询的请求调度中心装置,包括:第一获取模块,用于获取目标文件数据的缓存请求;关系确定模块,用于根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将所述缓存请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述缓存请求,从文件服务器中下载并缓存所述目标文件数据;第二获取模块,用于获取所述目标文件数据的数据查询请求;查询传输模块,用于通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述数据查询请求,查询本地缓存的所述目标文件数据。
本公开还提供一种数据查询的目标缓存服务器装置,包括:第三获取模块,用于获取请求调度中心传输的缓存请求,其中,所述请求调度中心,用于获取目标文件数据的缓存请求,根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将所述缓存请求传输给所述目标缓存服务器;缓存模块,用于根据所述缓存请求,从文件服务器中下载并缓存目标文件数据;其中,所述请求调度中心,用于获取所述目标文件数据的数据查询请求,通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器;第四获取模块,用于获取所述请求调度中心传输的所述数据查询请求;数据查询模块,用于根据所述数据查询请求,查询本地缓存的所述目标文件数据。
本公开还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述数据查询方法。
本公开还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述数据查询方法。
本公开提供的数据查询方法、装置、设备及存储介质,请求调度中心获取目标文件数据的缓存请求后,根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及请求调度中心将缓存请求传输给目标缓存服务器,目标缓存服务器根据缓存请求,从文件服务器中下载并缓存目标文件数据。当请求调度中心获取目标文件数据的数据查询请求后,根据数据查询请求和目标调度映射关系,查询目标缓存服务器中的目标文件数据。该过程中,请求调度中心通过缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,并将目标文件数据缓存至目标缓存服务器,当请求调度中心获取数据查询请求后,通过目标调度映射关系,从目标缓存服务器中查询目标文件数据,不再需要访问文件服务器,避免了对文件服务器的频繁访问,避免降低文件服务器性能,同时提升数据查询效率。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开提供的以调度请求中心为执行主体的数据查询方法的流程示意图;
图2是本公开提供的以目标缓存服务器为执行主体的数据查询方法的流程示意图;
图3是本公开提供的数据查询方法的原理示意图之一;
图4是本公开提供的数据查询方法的原理示意图之二;
图5是本公开提供的数据查询方法的具体实施示例图;
图6是本公开提供的数据查询的请求调度中心装置的结构示意图;
图7是本公开提供的数据查询的目标缓存服务器装置的结构示意图;
图8是本公开提供的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开实施例一部分实施例,而不是全部的实施例。基于本公开实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开实施例保护的范围。
本公开提供的数据查询方法,通过调度请求中心以及目标缓存服务器,完成目标文件数据的数据查询。调度请求中心可以基于任意一种数据处理设备来实现,例如,计算机或智能移动设备等。调度请求中心可以与目标缓存服务器进行数据交互。
首先,以调度请求中心为执行主体,介绍本公开提供的数据查询方法。
一个实施例中,如图1所示,以调度请求中心为执行主体的数据查询方法,实现的流程步骤如下:
步骤101,获取目标文件数据的缓存请求。
本实施例中,调度请求中心可以接收调用方传输的请求,调用方指的是需要进行数据查询的用户方,该调用方可以基于智能手机、电脑等设备来生成用户的多种请求。调用方与调度请求中心可以进行数据通信。目标文件数据指的是用户需要查询的文件数据。当用户有目标文件数据的查询需求时,通过调用方生成目标文件数据的缓存请求,该缓存请求中包含需要缓存的目标文件数据的文件标识。调用方将缓存请求传输给请求调度中心,以将目标文件数据缓存至目标服务器中,便于对目标文件数据的查询。
步骤102,根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据。
本实施例中,目标缓存服务器为预先设置的专门用于缓存目标文件数据的服务器。当请求调度中心获取缓存请求之后,根据该缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,具体的,该调度映射关系实质上是文件数据与缓存服务器之间的绑定关系,通过目标调度映射关系确定了保存目标文件数据所需要的目标缓存服务器。
一个实施例中,预先设置缓存服务集群,缓存服务集群包括至少一个缓存服务器,缓存服务器包括目标缓存服务器。在根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,时,具体实现过程如下:根据缓存请求,查询预设缓存中存储的至少一个缓存服务器分别对应的可用内存容量;确定无调度映射关系且可用内存容量最大的缓存服务器,为目标缓存服务器;生成目标文件数据与目标缓存服务器之间的目标调度映射关系。
本实施例中,预设缓存为预先设置的数据存储空间,该预设缓存可以与请求调度中心设置于同一个设备中,也可以单独设置于一个设备中,请求调度中心和各个缓存服务器均可以与预设缓存进行数据交互。更具体的,预设缓存指的是具有高性能的缓存装置,例如,预设缓存可以为redis,redis是一款高性能的非关系型数据库,读写速度较快。
本实施例中,预设缓存主要提供两个数据结构的存储:各个缓存服务器的可用内存(available Memory);文件数据与缓存服务器之间的调度映射关系。具体的,对于缓存服务器的可用内存,采用有序集合(zset)的形式进行存储数据,存储时排序所用的分值为可用内存容量。预设缓存中存储的每一个缓存服务器的对象属性具体如下:
缓存服务器的互联网协议(Internet Protocol Address,IP)地址,记为ip;
缓存服务器访问端口,记为port;
可用内存,记为availableMemory。
其中,可用内存所用的存储单位可以根据实际情况和需要进行设定,例如,可用内存的存储单位采用比特(byte)。
当然,还可以存储其他预先设置的对象属性,例如,应用服务分配的最大可用内存,记为jvmMemory;内存占用率,记为memoryUsageRate。
需要说明的是,预设缓存中存储的每一个缓存服务器的可用内存容量,是可以根据缓存服务器的实际工作情况进行实时更新的。
本实施例中,基于各个缓存服务器的可用内存容量,将各个缓存服务器的ip进行排序。在确定目标缓存服务器时,选择当前没有调度映射关系(即未与任意一个文件数据进行绑定),且可用内存容量最大的缓存服务器为目标缓存服务器。根据目标文件数据的文件标识与目标缓存服务器的服务器标识,生成目标文件数据与目标缓存服务器之间的目标调度映射关系。其中,文件标识可以为文件数据的唯一编码(Identity document,ID),优选的,为通用唯一识别码(Universally Unique Identifier,UUID);服务器标识可以为缓存服务器的IP。
本实施例中,调度映射关系的具体数据结构可以为键值对,其中,键(Key)和值(Value)分别如下:
Key:文件数据的UUID;
Value具体包括如下:
文件全路径,记为file;
缓存服务器的ip;
缓存服务器端口port;
文件状态,记为status。
其中,文件状态用于指示文件数据的缓存进度,具体的,1表示数据缓存中,2表示数据缓存完毕。在调度映射关系生成时,首先将文件状态置为1,存储至高效能缓存中。
本实施例中,通过调度映射关系,实现了文件数据与缓存服务器之间的一一绑定,即请求调度中心每获取一个文件数据(即当前的目标文件数据)的缓存请求,则通过调度映射关系绑定一个缓存服务器(即目标缓存服务器)。后续数据查询时,请求调度中心可以根据多次接收到的数据查询请求,从目标缓存服务器中多次查询目标文件数据。但实质上,目标缓存服务器对文件服务器仅访问了一次,减少了文件服务器的访问压力,提升数据查询效率。
同时,由于文件数据与缓存服务器是一一绑定的,实现了不同文件数据之间的隔离,对应的缓存服务器可以为绑定的文件数据提供快速的查询服务,进一步提升数据查询效率和用户的查询体验。
本实施例中,文件服务器指的是存储文件资源的应用服务器。请求调度中心确定目标缓存服务器后,将缓存请求透传给目标缓存服务器,目标缓存服务器根据缓存请求,从文件服务器中下载并缓存目标文件数据。
一个实施例中,生成目标调度映射关系时,文件状态置为1,表示目标文件数据处于数据缓存中的状态。当目标缓存服务器将目标文件数据全部缓存完毕后,目标缓存服务器将标识数据2上报至预设缓存,将文件状态的赋值由1更新为2,以表示目标缓存服务器数据缓存完毕。
步骤103,获取目标文件数据的数据查询请求。
本实施例中,调用方通过数据查询请求,对目标缓存服务器中的目标文件数据进行查询。具体的,数据查询请求中包含需要查询的目标文件数据的文件标识,以及需要查询数据的信息。
步骤104,通过目标调度映射关系,将数据查询请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据查询请求,查询本地缓存的目标文件数据。
本实施例中,请求调度中心获取数据查询请求后,根据数据查询请求中目标文件数据的信息,以及目标文件数据与目标缓存服务器之间的目标调度映射关系,确定存储目标文件数据的目标缓存服务器,将数据查询请求传输给目标缓存服务器,目标缓存服务器中查询本地缓存的目标文件数据,而不是从文件服务器中直接读取目标文件数据。
进一步的,调用方向请求调度中心发送缓存请求准备之后,调用方还可以向请求调度中心在不同时刻多次发送数据查询请求。请求带调度中心每次获取数据查询请求,均通过目标调度映射关系,查询目标缓存服务器中的目标文件数据,也就是说,目标缓存服务器缓存一次目标文件数据,即访问文件服务器一次,就可为请求调度中心提供多次查询服务,但不会造成文件服务器的频繁访问,减少文件服务器的访问压力。
一个实施例中,生成目标文件数据与目标缓存服务器之间的目标调度映射关系之后,将目标调度映射关系存储至预设缓存。通过目标调度映射关系,将数据查询请求传输给目标缓存服务器,具体的实现过程如下:根据数据查询请求,获取预设缓存中存储的目标调度映射关系;根据目标调度映射关系,确定缓存服务集群中的目标缓存服务器,其中,缓存服务集群包括至少一个缓存服务器,缓存服务器包括目标缓存服务器;将数据查询请求传输给目标缓存服务器。通过目标调度映射关系,将数据查询请求传输给目标缓存服务器之后,获取目标缓存服务器返回的目标文件数据的查询结果。
本实施例中,调度映射关系实质上为文件数据与缓存服务器之间的一一绑定关系,将实时生成的目标调度映射关系存储至预设缓存,能够方便的记录多个文件数据和多个缓存服务器之间的绑定关系。且便于请求调度中心获取数据查询请求后,查询目标调度映射关系。
一个实施例中,为了提高缓存服务集群的利用率,在通过目标调度映射关系,将数据查询请求传输给目标缓存服务器之后,当获取目标文件数据的数据清空请求后,根据数据清空请求,清除预设缓存中存储的目标调度映射关系,以及将数据清空请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据清空请求,清除已缓存的目标文件数据。
本实施例中,当调用方确定一段时间内不再需要查询目标文件数据时,可以生成数据清空请求传输给请求调度中心。请求调度中心根据该数据清空请求,清除预设缓存中存储的目标调度映射关系,以及将数据清空请求传输给目标缓存服务器,目标缓存服务器根据数据清空请求,清除已缓存的目标文件数据。通过该过程,若目标文件数据一段时间内不再有相应的查询需求时,则释放对应的目标缓存服务器,便于目标缓存服务器的循环利用,提升缓存服务集群的利用率。
下面,以目标缓存服务器为执行主体,介绍本公开提供的数据查询方法。以调度请求中心为执行主体,与以目标缓存服务器为执行主体,数据查询方法的具体实施方式可相互参照。
一个实施例中,如图2所示,以目标缓存服务器为执行主体的数据查询方法,实现的流程步骤如下:
步骤201,获取请求调度中心传输的缓存请求。
本实施例中,请求调度中心获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器。
步骤202,根据缓存请求,从文件服务器中下载并缓存目标文件数据。
本实施例中,目标缓存服务器获取请求调度中心传输的缓存请求之后,根据缓存请求,从文件服务器中下载并缓存目标文件数据。具体的,目标缓存服务器将文件服务器中的目标文件数据下载到本地后,将目标文件数据存入目标缓存服务器的本地缓存,缓存完毕后,请求本地的目标文件数据,保留本地缓存中的目标文件数据。
请求调度中心获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器;获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器。
步骤203,获取请求调度中心传输的数据查询请求。
步骤204,根据数据查询请求,查询本地缓存的目标文件数据。
本实施例中,请求调度中心将数据查询请求传输给目标缓存服务器,目标缓存服务器获取该数据查询请求,并根据该数据查询请求,查询本地缓存的目标文件数据。
一个实施例中,目标缓存服务器将目标文件数据缓存完毕后,将表示文件状态的标识数据上报至预设缓存,以更新目标调度映射关系中的文件状态,例如,目标缓存服务器将标识数据2上报至预设缓存,将文件状态的赋值由原来的1更新为2,以表示目标缓存服务器数据缓存完毕。
一个实施例中,根据缓存请求,从文件服务器中下载并缓存目标文件数据,具体实现过程如下:从文件服务器中下载目标文件数据;以有序键值对形式缓存目标文件数据,其中,目标文件数据划分为至少一个数据单元,有序键值对的值包括各个数据单元,各个数据单元按照预设顺序排列,有序键值对的键包括各个数据单元分别对应的单元标识。根据数据查询请求,查询本地缓存的目标文件数据,具体过程如下:根据数据查询请求中的单元标识,获取数据查询请求对应的数据单元,并生成查询结果;将查询结果返回给请求调度中心。
本实施例中,为了避免现有技术中,以从头遍历的方式查询文件数据中一部分数据时,读取文件数据中靠前部分数据时的效率较快,但越靠后的数据,读取耗时会越长的问题。目标缓存服务器从文件服务器中下载目标文件数据后,以有序键值对形式缓存目标文件数据,目标文件数据划分为至少一个数据单元,有序键值对的值包括各个数据单元,各个数据单元按照预设顺序排列,有序键值对的键包括各个数据单元分别对应的单元标识,数据单元与单元标识一一对应,通过单元标识实现目标文件数据的分页查询。
本实施例中,在目标文件数据的数据量较大的情况下,将目标文件数据划分为至少一个数据量较小的数据单元,每一个数据单元分别对应一个单元标识。具体的,划分目标文件数据的规则可以根据实际情况和需要进行设定,例如,通过设定每一个数据单元的数据量来实现目标文件数据的划分。在读取目标文件数据中的部分数据时,通过单元标识可以直接读取对应的数据单元,实现分页查询,而不是从头遍历整个目标文件数据。由此,通过分页查询的方式提升了数据读取的效率。各个数据单元按照预设顺序进行排列,既有利于同时读取多个数据单元,又有利于各个数据单元的管理和维护。
更具体的,目标文件数据直接采用Map<文件ID,数组>的方式存储。Map是一种存储键值对的数据集合,键以散列或者树形结构进行存储。
本实施例中,数据查询请求包括需要查询的单元标识。通过数据查询请求查询目标文件数据时,可以根据数据查询请求中的单元标识,从目标文件数据中提取数据查询请求对对应的数据单元,即本次查询需要的数据单元,生成查询结果返回给请求调度中心。
一个实施例中,从缓存服务集群中确定目标缓存服务器时,需要根据各个缓存服务器的可用内存容量来确定。各个缓存服务器可用内存容量的具体信息存在预设缓存中。具体的,根据缓存请求,缓存目标文件数据之后,目标缓存服务器获取实时的可用内存容量;将可用内存容量更新至预设缓存。
本实施例中,当目标缓存服务器存储目标文件数据之后,目标缓存服务器的可用内存容量发生变化,此时,获取实时的可用内存容量,并将实时的可用内存容量更新至预设缓存中。
一个实施例中,根据缓存请求,从文件服务器中下载并缓存目标文件数据之后,获取请求调度中心传输的数据清空请求;根据数据清空请求,清除已缓存的目标文件数据;再次获取实时的可用内存容量;将再次获取的可用内存容量更新至预设缓存。
本实施例中,当目标缓存服务器接收请求调度中心传输的数据清空请求后,根据数据清空请求,清除已缓存的目标文件数据,此时,目标缓存服务器的可用内存容量再次发生变化,则再次获取实时的可用内存容量,更新至预设缓存。
一个实施例中,缓存服务集群中的各个缓存服务器,心跳上报可用内存容量,具体的,各个缓存服务器以预设时长为周期实时获取可用内存容量,分别上传将实时获取的可用内存容量上报至预设缓存。
一个实施例中,目标缓存服务器接收请求调度中心传输的缓存请求后,首先判断目标文件数据的大小是否超过了当前可用内存容量,若未超过,则启动缓存目标文件数据的处理过程;若超过,则表明目标缓存服务器资源不足,直接将资源不足的信息返回给请求调度中心。
本实施例中,请求调度中心收到目标缓存服务器返回的资源不足的信息后,可以直接将该资源不足的信息返回给调用方;也可以基于缓存服务集群中各个缓存服务器可用内存容量是实时变化的,在一段时长后,重新确定新的目标缓存服务器,再次进行实施缓存的过程。当某一个缓存服务器执行数据清空请求后,实时的可用内存容量更大,可以容纳目标文件数据时,则确定未新的目标缓存服务器,缓存目标文件数据。
上述实施例中,在文件分页查询过程中,每一个文件数据对应一种应用业务,缓存服务集群中的各个缓存服务器,相当于可以为各个应用业务提供主机服务,用来分别缓存各个文件数据。如图3所示,当调用方开始文件分页查询(即接收到缓存请求)时,通过请求调度中心首先查询目标主机服务,即确定缓存服务集群中的目标缓存服务器;然后请求调度中心将缓存请求传递给目标缓存服务器,由目标缓存服务器从文件服务器中下载目标文件数据,并将目标文件数据存储至本地缓存中。请求调度中心获取数据查询请求时,根据该数据查询请求确定目标缓存服务器,然后查询目标缓存服务器中的目标文件数据。
一个具体的实施例中,如图4所示,数据查询方法基于请求调度中心、缓存服务集群和redis完成。其中,缓存服务集群包括至少一个缓存服务器。redis用于缓存至少一个调度映射关系,以及各个缓存服务器的可用内存容量。
请求调度中心包括三个接口:数据准备接口、分页查询接口和清空数据接口。请求调度中心通过数据准备接口接收目标文件数据的缓存请求,根据该缓存请求查询redis中存储的各个缓存服务器的可用内存容量,确定没有绑定调度映射关系且可用内存容量最大的缓存服务器为目标缓存服务器。请求调度中心生成目标文件数据与目标缓存服务器之间的目标调度映射关系,将目标调度映射关系注册至redis。该目标调度映射关系中包含代表文件状态的标识数据,此时,该标识数据表示数据缓存中。同时,请求调度中心将缓存请求传递至目标缓存服务器。
目标缓存服务器根据缓存请求,从文件服务器中下载目标文件数据至本地,将目标文件数据存入本地缓存。缓存完毕后将代表数据缓存完毕的数据标识上报至redis,完成文件状态的更新,同时,清除本地的目标文件数据,仅保留本地缓存中的目标文件数据。
接下来,请求调度中心通过分页查询接口接收数据查询请求。请求调度中心根据该数据查询请求,首先查询redis中的调度映射关系,获得目标文件数据对应的目标调度映射关系;然后根据该目标调度映射关系确定目标缓存服务器;根据该数据查询请求,分页查询目标缓存服务器的本地缓存中存储的目标文件数据,获得查询结果。
此外,请求调度中心通过清空数据接口接收到数据清空请求时,将目标缓存服务器中本地缓存存储的目标文件数据清除,同时,注销redis中对应的目标调度映射关系,使缓存服务器能够循环利用。
在此过程中,随着目标文件数据的存储与清除,缓存服务器的可用内存容量也会发生变化,因此,各个缓存服务器心跳上报实时的可用内存容量至redis。
一个具体的例子中,对于一个文本格式为txt的目标文件数据,该目标文件数据包括100行数据。该目标文件数据原始存储于文件服务器中。如图5所示,基于上述实施例查询该目标文件数据的具体实施过程如下:
步骤501,调用方提交缓存请求给请求调度中心。
步骤502,请求调度中心收到缓存请求,从redis中查询可用内存容量和调度映射关系,确定目标缓存服务器。目标缓存服务器的具体信息如下:
ip:192.168.1.12;
Port:9001;
jvmMemory:10485760(单位byte);
availableMemory:5252880(单位byte);
memoryUsageRate:0.5。
步骤503,请求调度中心生成目标文件数据的文件ID:165a742f57a54764a2dc7d34572e2b08。该文件ID需要同步返回给调用方。
步骤504,请求调度中心生成目标调度映射关系,并注册至redis。目标调度映射关系具体如下:
Key:file_165a742f57a54764a2dc7d34572e2b08
Value:
file:http://xxx.xx.com/demo.txt;
ip:192.168.1.12;
port:9001;
status:1。
步骤505,请求调度中心根据缓存请求,组装新的缓存请求,并传输给目标缓存服务器。新的缓存请求具体如下:
192.168.1.12:9001/downloadfile;
文件ID;
文件全路径。
步骤506,目标缓存服务器到缓存请求后,从文件服务器下载目标文件数据,并将目标文件数据保存到map集合中,具体的map集合如下:
Key:文件ID;
value:[数据1,数据2,数据3…,数据99,数据100]。
整个过程线程异步操作。
步骤507,目标缓存服务器缓存数据完毕后,更新目标调度映射关系中的文件状态为2。
步骤508,调用方提交数据查询请求给请求调度中心。请求调度中心包含的查询信息如下:
page=1;
size=10;
fileId=165a742f57a54764a2dc7d34572e2b08。
其中,fileId标识文件ID,page表示查询起始页,size表示查询量大小。
步骤509,请求调度中心收到数据查询请求,查询目标调度映射关系,如果此时文件状态为1,直接返回数据缓存中,请稍后查询。若文件状态为2,组装传递给目标服务器的数据查询请求,数据查询请求具体如下:
192.168.1.12:9001/query data,其中,query data表示查询内含值,参数值为分页数据(即数据单元);
page=1;
size=10;
fileId=165a742f57a54764a2dc7d34572e2b08。
步骤510,目标缓存服务器收到数据查询请求后,从map分页查询结果数据,查询结果如下:[数据1、数据2…数据10]。并将查询结果返回给请求调度中心,再传递给调用方。
步骤511,调用方确认不需查询目标文件数据后,发起数据清空请求。经请求调度中心将该数据清空请求透传至目标缓存服务器,目标缓存服务器清除缓存的目标文件数据,请求调度中心同步清除redis中的目标调度映射关系。
本公开提供的数据查询方法,请求调度中心获取目标文件数据的缓存请求后,根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及请求调度中心将缓存请求传输给目标缓存服务器,目标缓存服务器根据缓存请求,从文件服务器中下载并缓存目标文件数据。当请求调度中心获取目标文件数据的数据查询请求后,根据数据查询请求和目标调度映射关系,查询目标缓存服务器中的目标文件数据。该过程中,请求调度中心通过缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,并将目标文件数据缓存至目标缓存服务器,当请求调度中心获取数据查询请求后,通过目标调度映射关系,从目标缓存服务器中查询目标文件数据,不再需要访问文件服务器,避免了对文件服务器的频繁访问,避免降低文件服务器性能,同时提升数据查询效率。
本公开基于上述数据查询方法,提供一种数据查询系统。
一个实施例中,数据查询系统包括请求调度中心和缓存服务集群,其中,缓存服务集群包括至少一个缓存服务器;
请求调度中心,用于获取目标文件数据的缓存请求,根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器;
目标缓存服务器,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据;
请求调度中心,用于通过目标调度映射关系,将数据查询请求传输给目标缓存服务器;
目标缓存服务器,用于根据数据查询请求,查询本地缓存的目标文件数据。
一个实施例中,数据查询系统还包括预设缓存;
预设缓存,用于存储至少一个缓存服务器分别对应的可用内存容量;
请求调度中心,用于根据缓存请求,查询预设缓存中存储的至少一个缓存服务器分别对应的可用内存容量;确定无调度映射关系且可用内存容量最大的缓存服务器,为目标缓存服务器;生成目标文件数据与目标缓存服务器之间的目标调度映射关系。
一个实施例中,预设缓存,还用于存储至少一个调度映射关系,其中,调度映射关系包括目标调度映射关系;
请求调度中心,用于将目标调度映射关系存储至预设缓存;根据数据查询请求,获取预设缓存中存储的目标调度映射关系;根据目标调度映射关系,确定缓存服务集群中的目标缓存服务器,其中,缓存服务集群包括至少一个缓存服务器,缓存服务器包括目标缓存服务器;将数据查询请求传输给目标缓存服务器;
目标缓存服务器,用于从文件服务器中下载目标文件数据;以有序键值对形式缓存目标文件数据,其中,目标文件数据划分为至少一个数据单元,有序键值对的值包括各个数据单元,各个数据单元按照预设顺序排列,有序键值对的键包括各个数据单元分别对应的单元标识;根据数据查询请求中的单元标识,获取数据查询请求对应的数据单元,并生成查询结果;将查询结果返回给请求调度中心。
请求调度中心,用于获得目标缓存服务器返回的目标文件数据的查询结果。
下面对本公开实施例提供的数据查询的请求调度中心装置进行描述,下文描述的数据查询的请求调度中心装置与上文描述的以调度请求中心为执行主体的数据查询方法可相互对应参照。如图6所示,数据查询的请求调度中心装置,包括:
第一获取模块601,用于获取目标文件数据的缓存请求;
关系确定模块602,用于根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据;
第二获取模块603,用于获取目标文件数据的数据查询请求;
查询传输模块604,用于通过目标调度映射关系,将数据查询请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据查询请求,查询本地缓存的目标文件数据。
一个实施例中,关系确定模块602,用于根据缓存请求,查询预设缓存中存储的至少一个缓存服务器分别对应的可用内存容量;确定无调度映射关系且可用内存容量最大的缓存服务器,为目标缓存服务器;生成目标文件数据与目标缓存服务器之间的目标调度映射关系。
一个实施例中,关系确定模块602,用于生成目标文件数据与目标缓存服务器之间的目标调度映射关系之后,将目标调度映射关系存储至预设缓存;
查询传输模块604,用于根据数据查询请求,获取预设缓存中存储的目标调度映射关系;根据目标调度映射关系,确定缓存服务集群中的目标缓存服务器,其中,缓存服务集群包括至少一个缓存服务器,缓存服务器包括目标缓存服务器;将数据查询请求传输给目标缓存服务器;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器之后,获取目标缓存服务器返回的目标文件数据的查询结果。
一个实施例中,数据查询的请求调度中心装置还包括清空模块605,用于通过目标调度映射关系,将数据查询请求传输给目标缓存服务器之后,获取目标文件数据的数据清空请求;根据数据清空请求,清除预设缓存中存储的目标调度映射关系,以及将数据清空请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据清空请求,清除已缓存的目标文件数据。
下面对本公开实施例提供的数据查询的目标缓存服务器装置进行描述,下文描述的数据查询的目标缓存服务器装置与上文描述的以目标缓存服务器为执行主体的数据查询方法可相互对应参照。如图7所示,数据查询的目标缓存服务器装置,包括:
第三获取模块701,用于获取请求调度中心传输的缓存请求,其中,请求调度中心,用于获取目标文件数据的缓存请求,根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器;
缓存模块702,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据;其中,请求调度中心,用于获取目标文件数据的数据查询请求,通过目标调度映射关系,将数据查询请求传输给目标缓存服务器;
第四获取模块703,用于获取请求调度中心传输的数据查询请求;
数据查询模块704,用于根据数据查询请求,查询本地缓存的目标文件数据。
一个实施例中,缓存模块702,用于从文件服务器中下载目标文件数据;以有序键值对形式缓存目标文件数据,其中,目标文件数据划分为至少一个数据单元,有序键值对的值包括各个数据单元,各个数据单元按照预设顺序排列,有序键值对的键包括各个数据单元分别对应的单元标识;
数据查询模块704,用于根据数据查询请求中的单元标识,获取数据查询请求对应的数据单元,并生成查询结果;将查询结果返回给请求调度中心。
一个实施例中,数据查询的目标缓存服务器装置还包括内存更新模块705,用于根据缓存请求,缓存目标文件数据之后,获取实时的可用内存容量;将可用内存容量更新至预设缓存。
一个实施例中,内存更新模块705,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据之后,获取请求调度中心传输的数据清空请求;根据数据清空请求,清除已缓存的目标文件数据;再次获取实时的可用内存容量;将再次获取的可用内存容量更新至预设缓存。
图8示例了一种电子设备的实体结构示意图,如图8所示,该电子设备可以包括:处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令,以执行调度请求中心为执行主体的数据查询方法,该方法包括:获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,并将缓存请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据;获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据查询请求,查询本地缓存的目标文件数据。
或者,以执行目标缓存服务器为执行主体的数据查询方法,该方法包括:获取请求调度中心传输的缓存请求,其中,请求调度中心,用于获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器;根据缓存请求,从文件服务器中下载并缓存目标文件数据;其中,请求调度中心,用于获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器;获取请求调度中心传输的数据查询请求;根据数据查询请求,查询本地缓存的目标文件数据。
此外,上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本公开还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的调度请求中心为执行主体的数据查询方法,该方法包括:获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,并将缓存请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据;获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据查询请求,查询本地缓存的目标文件数据。
或者,计算机能够执行上述各方法所提供的目标缓存服务器为执行主体的数据查询方法,该方法包括:获取请求调度中心传输的缓存请求,其中,请求调度中心,用于获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器;根据缓存请求,从文件服务器中下载并缓存目标文件数据;其中,请求调度中心,用于获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器;获取请求调度中心传输的数据查询请求;根据数据查询请求,查询本地缓存的目标文件数据。
又一方面,本公开还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的调度请求中心为执行主体的数据查询方法,该方法包括:获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,并将缓存请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据缓存请求,从文件服务器中下载并缓存目标文件数据;获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器,其中,目标缓存服务器,用于根据数据查询请求,查询本地缓存的目标文件数据。
或者,该计算机程序被处理器执行时实现以执行上述各提供的目标缓存服务器为执行主体的数据查询方法,该方法包括:获取请求调度中心传输的缓存请求,其中,请求调度中心,用于获取目标文件数据的缓存请求;根据缓存请求,确定目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将缓存请求传输给目标缓存服务器;根据缓存请求,从文件服务器中下载并缓存目标文件数据;其中,请求调度中心,用于获取目标文件数据的数据查询请求;通过目标调度映射关系,将数据查询请求传输给目标缓存服务器;获取请求调度中心传输的数据查询请求;根据数据查询请求,查询本地缓存的目标文件数据。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (12)

1.一种数据查询方法,其特征在于,应用于请求调度中心,包括:
获取目标文件数据的缓存请求;
根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,并将所述缓存请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述缓存请求,从文件服务器中下载并缓存所述目标文件数据;
获取所述目标文件数据的数据查询请求;
通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述数据查询请求,查询本地缓存的所述目标文件数据。
2.根据权利要求1所述的数据查询方法,其特征在于,所述根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,包括:
根据所述缓存请求,查询预设缓存中存储的至少一个缓存服务器分别对应的可用内存容量;
确定无调度映射关系且所述可用内存容量最大的所述缓存服务器,为所述目标缓存服务器;
生成所述目标文件数据与所述目标缓存服务器之间的所述目标调度映射关系。
3.根据权利要求2所述的数据查询方法,其特征在于,所述生成所述目标文件数据与所述目标缓存服务器之间的所述目标调度映射关系之后,还包括:
将所述目标调度映射关系存储至所述预设缓存;
所述通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器,包括:
根据所述数据查询请求,获取所述预设缓存中存储的所述目标调度映射关系;
根据所述目标调度映射关系,确定所述缓存服务集群中的所述目标缓存服务器,其中,所述缓存服务集群包括至少一个缓存服务器,所述缓存服务器包括所述目标缓存服务器;
将所述数据查询请求传输给所述目标缓存服务器;
所述通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器之后,还包括:
获取所述目标缓存服务器返回的所述目标文件数据的查询结果。
4.根据权利要求3所述的数据查询方法,其特征在于,所述通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器之后,还包括:
获取所述目标文件数据的数据清空请求;
根据所述数据清空请求,清除所述预设缓存中存储的所述目标调度映射关系,以及将所述数据清空请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述数据清空请求,清除已缓存的所述目标文件数据。
5.一种数据查询方法,其特征在于,应用于目标缓存服务器,包括:
获取请求调度中心传输的缓存请求,其中,所述请求调度中心,用于获取目标文件数据的缓存请求,根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将所述缓存请求传输给所述目标缓存服务器;
根据所述缓存请求,从文件服务器中下载并缓存目标文件数据;其中,所述请求调度中心,用于获取所述目标文件数据的数据查询请求,通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器;
获取所述请求调度中心传输的所述数据查询请求;
根据所述数据查询请求,查询本地缓存的所述目标文件数据。
6.根据权利要求5所述的数据查询方法,其特征在于,所述根据所述缓存请求,从文件服务器中下载并缓存目标文件数据,包括:
从文件服务器中下载所述目标文件数据;
以有序键值对形式缓存所述目标文件数据,其中,所述目标文件数据划分为至少一个数据单元,所述有序键值对的值包括各个所述数据单元,各个所述数据单元按照预设顺序排列,所述有序键值对的键包括各个所述数据单元分别对应的单元标识;
所述根据所述数据查询请求,查询本地缓存的所述目标文件数据,包括:
根据所述数据查询请求中的所述单元标识,获取所述数据查询请求对应的所述数据单元,并生成查询结果;
将所述查询结果返回给所述请求调度中心。
7.根据权利要求5所述的数据查询方法,其特征在于,所述根据所述缓存请求,缓存所述目标文件数据之后,还包括:
获取实时的可用内存容量;
将所述可用内存容量更新至预设缓存。
8.根据权利要求7所述的数据查询方法,其特征在于,所述根据所述缓存请求,从文件服务器中下载并缓存目标文件数据之后,还包括:
获取所述请求调度中心传输的数据清空请求;
根据所述数据清空请求,清除已缓存的所述目标文件数据;
再次获取实时的所述可用内存容量;
将再次获取的所述可用内存容量更新至所述预设缓存。
9.一种数据查询的请求调度中心装置,其特征在于,包括:
第一获取模块,用于获取目标文件数据的缓存请求;
关系确定模块,用于根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将所述缓存请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述缓存请求,从文件服务器中下载并缓存所述目标文件数据;
第二获取模块,用于获取所述目标文件数据的数据查询请求;
查询传输模块,用于通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器,其中,所述目标缓存服务器,用于根据所述数据查询请求,查询本地缓存的所述目标文件数据。
10.一种数据查询的目标缓存服务器装置,其特征在于,包括:
第三获取模块,用于获取请求调度中心传输的缓存请求,其中,所述请求调度中心,用于获取目标文件数据的缓存请求,根据所述缓存请求,确定所述目标文件数据与目标缓存服务器之间的目标调度映射关系,以及将所述缓存请求传输给所述目标缓存服务器;
缓存模块,用于根据所述缓存请求,从文件服务器中下载并缓存目标文件数据;其中,所述请求调度中心,用于获取所述目标文件数据的数据查询请求,通过所述目标调度映射关系,将所述数据查询请求传输给所述目标缓存服务器;
第四获取模块,用于获取所述请求调度中心传输的所述数据查询请求;
数据查询模块,用于根据所述数据查询请求,查询本地缓存的所述目标文件数据。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述的数据查询方法。
12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至8任一项所述的数据查询方法。
CN202211430197.3A 2022-11-15 2022-11-15 数据查询方法、装置、设备及存储介质 Pending CN115827561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211430197.3A CN115827561A (zh) 2022-11-15 2022-11-15 数据查询方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211430197.3A CN115827561A (zh) 2022-11-15 2022-11-15 数据查询方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115827561A true CN115827561A (zh) 2023-03-21

Family

ID=85528312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211430197.3A Pending CN115827561A (zh) 2022-11-15 2022-11-15 数据查询方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115827561A (zh)

Similar Documents

Publication Publication Date Title
CN110557284B (zh) 基于客户端网关的数据聚合方法及装置
CN103024053B (zh) 云存储方法、资源调度系统、云存储节点及系统
CN110727727B (zh) 一种数据库的统计方法及装置
CN107025289B (zh) 一种数据处理的方法及相关设备
CN111258978B (zh) 一种数据存储的方法
CN111221469B (zh) 同步缓存数据的方法、装置和系统
CN109167840B (zh) 一种任务推送方法、节点自治服务器及边缘缓存服务器
US11463753B2 (en) Method and apparatus for downloading resources
CN111885216B (zh) Dns查询方法、装置、设备和存储介质
CN110764688B (zh) 对数据进行处理的方法和装置
CN103095785B (zh) 远程过程调用方法和系统、客户端及服务器
CN105320676A (zh) 一种客户数据查询服务方法及装置
CN111803917A (zh) 资源的处理方法和装置
US11683316B2 (en) Method and device for communication between microservices
CN112395337B (zh) 一种数据导出方法和装置
CN115827561A (zh) 数据查询方法、装置、设备及存储介质
CN114327302B (zh) 处理对象存储访问的方法、装置及系统
CN106446080B (zh) 数据查询的方法、查询服务设备、客户端设备和数据系统
CN111258821B (zh) 一种基于云计算的备份数据快速提取方法
CN109688204B (zh) 基于ndn网络的文件下载方法、节点、终端
CN112688980B (zh) 资源分发方法、装置、计算机设备
CN112181933A (zh) 挂载方法及装置
CN101741889A (zh) 一种网络服务集中管理的方法、系统及服务器
CN110865845A (zh) 提高接口访问效率的方法、存储介质
CN111259031A (zh) 数据更新方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination