CN115292356A - 数据查询方法、装置及电子设备 - Google Patents
数据查询方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115292356A CN115292356A CN202210865485.5A CN202210865485A CN115292356A CN 115292356 A CN115292356 A CN 115292356A CN 202210865485 A CN202210865485 A CN 202210865485A CN 115292356 A CN115292356 A CN 115292356A
- Authority
- CN
- China
- Prior art keywords
- storage unit
- service
- storage
- queried
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据查询方法、装置、电子设备及计算机可读存储介质,涉及通信技术领域。该方法包括:接收第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;依据对象信息与存储单元的对应关系,确定对应的第一存储单元;依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元和对应的单元地址和待查询的业务参数;路由至第二存储单元对应的单元地址,向第二存储单元发送携带待查询的业务参数的第二查询请求;接收各第二存储单元返回的目标数据,将目标数据返回终端。本申请既能实现服务器调用端不再盲目发送请求,并且仅有存储目标数据的机房才会收到请求,减轻二者的操作负荷。
Description
技术领域
本申请涉通信技术领域,具体而言,本申请涉及一种数据查询方法、装置、电子设备及计算机可读存储介质。
背景技术
当数据在多地机房部署时,时常存在数据聚合查询的需求。针对某一个查询服务,其需要查询的数据可能仅在部分机房中存在。现有技术在进行数据查询融合时,由服务器调用端将请求盲目发送到部署的全部机房,各地机房均反馈数据到服务器调用端。显然,对于未管理本次查询服务数据的机房而言,这种请求是无意义的。
综上所述,对于服务器调用端和部分机房而言,无意义的请求均会为二者带来额外的操作负荷。
发明内容
本申请实施例提供了一种数据查询方法、装置、电子设备、计算机可读存储介质,可以解决上述问题。技术方案如下:
根据本申请实施例的一个方面,提供了一种数据查询的方法,该方法包括:
接收终端发送的第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;
依据预设的对象信息与存储单元的对应关系,确定对象信息对应的各第一存储单元;
分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数;
针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求;
接收各第二存储单元返回的目标数据,并将目标数据返回至终端。
作为一种可选实施例,分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数,包括:
对第一查询请求中的业务参数进行解析,确定业务参数对应的各第一业务以及各第一业务包括的业务节点;
针对每个第一存储单元,确定第一存储单元对应的业务中是否包括第一业务;
若是,将第一存储单元确定为第二存储单元,并确定第二存储单元对应的第一业务的目标业务节点;
将第一业务的目标业务节点关联的待查询的业务参数,确定为第二存储单元对应的待查询的业务参数;
从预设的存储单元与单元地址的对应关系中,确定第二存储单元的单元地址。
作为一种可选实施例,接收各第二存储单元返回的目标数据,并将目标数据返回至终端,在接收各第二存储单元返回的目标数据,并将目标数据返回至终端,包括:
将各第二存储单元返回的目标数据逐条存储至共享存储空间中;其中,共享存储空间包括:文本文件、分布式文件存储系统或者数据库中的至少之一;
将共享存储空间中存储的各条目标数据,按照业务节点进行整合,并将相同业务的业务节点的目标数据进行整合;
将整合后的目标数据返回至终端。
作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,包括:
针对每个第二存储单元,通过单元化路由组件路由到单元地址并向第二存储单元发送携带待查询的业务参数的第二查询请求,其中,单元化路由组件中预设有存储单元与单元地址的对应关系。
作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,还包括:
分别为各第二存储单元生成第二查询请求,其中,第二查询请求中包括:单元地址和待查询的业务参数;
将第二查询请求逐条添加至共享存储空间中;
依据第二查询请求的总数量和数据查询装置的当前负载,将共享存储空间中添加的第二查询请求拆分成多个任务分片,每个任务分片中包括多个第二查询请求;
并行处理各任务分片中包括的各第二查询请求。
根据本申请实施例的第二个方面,提供了一种数据查询装置,包括:
第一接收模块,用于接收终端发送的第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;
第一确定模块,用于依据预设的对象信息与存储单元的对应关系,确定对象信息对应的各第一存储单元;
第二确定模块,用于分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数;
路由发送模块,用于针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求;
第二接收模块,用于接收各第二存储单元返回的目标数据,并将目标数据返回至终端。
作为一种可选实施例,分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数,包括:
解析模块,用于对第一查询请求中的业务参数进行解析,确定业务参数对应的各第一业务以及各第一业务包括的业务节点;
判断模块,用于针对每个第一存储单元,确定第一存储单元对应的业务中是否包括第一业务;
节点确定模块,用于若是,将第一存储单元确定为第二存储单元,并确定第二存储单元对应的第一业务的目标业务节点;
参数确定模块,用于将第一业务的目标业务节点关联的待查询的业务参数,确定为第二存储单元对应的待查询的业务参数;
地址确定模块,用于从预设的存储单元与单元地址的对应关系中,确定第二存储单元的单元地址。
作为一种可选实施例,接收各第二存储单元返回的目标数据,并将目标数据返回至终端,包括:
存储模块,用于将各第二存储单元返回的目标数据逐条存储至共享存储空间中;其中,共享存储空间包括:文本文件、分布式文件存储系统或者数据库中的至少之一;
整合模块,用于将共享存储空间中存储的各条目标数据,按照业务节点进行整合,并将相同业务的业务节点的目标数据进行整合;
反馈模块,用于将整合后的目标数据返回至终端。
作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,包括:
路由模块,用于针对每个第二存储单元,通过单元化路由组件路由到单元地址并向第二存储单元发送携带待查询的业务参数的第二查询请求,其中,单元化路由组件中预设有存储单元与单元地址的对应关系。
作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,还包括:
生成模块,用于分别为各第二存储单元生成第二查询请求,其中,第二查询请求中包括:单元地址和待查询的业务参数;
添加模块,用于将第二查询请求逐条添加至共享存储空间中;
拆分模块,用于依据第二查询请求的总数量和数据查询装置的当前负载,将共享存储空间中添加的第二查询请求拆分成多个任务分片,每个任务分片中包括多个第二查询请求;
处理模块,用于并行处理各任务分片中包括的各第二查询请求。
根据本申请实施例的第三个方面,提供了一种电子设备,该电子设备包括:
存储器、处理器及存储在存储器上的计算机程序,处理器执行计算机程序以实现上述任一项方法的步骤。
根据本申请实施例的第四个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项方法的步骤。
本申请实施例提供的技术方案带来的有益效果是:提供了一种数据查询的方法,通过接收终端发送的第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;依据预设的对象信息与存储单元的对应关系,确定对象信息对应的各第一存储单元;分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数;针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求;接收各第二存储单元返回的目标数据,并将目标数据返回至终端。服务器调用端不再需要向所有机房中存储单元发送请求并且接收所有机房中存储单元的反馈,没有存储目标数据的机房中的存储单元也并不会接收无意义的查询请求,减轻服务器调用端和机房的操作负荷。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的实现数据查询的架构示意图;
图2为本申请实施例提供的一种数据查询方法的流程示意图;
图3为本申请实施例提供的一种数据查询方法的确定第二存储单元的流程示意图;
图4为本申请实施例提供的一种数据查询装置的结构示意图;
图5为本申请实施例提供的一种数据查询方法的电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解,下面结合附图所阐述的实施方式,是用于解释本申请实施例的技术方案的示例性描述,对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是,本申请实施例所使用的术语“包括”以及“包括”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件,但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解,当我们称一个元件被“连接”或“耦接”到另一元件时,该一个元件可以直接连接或耦接到另一元件,也可以指该一个元件和另一元件通过中间元件建立连接关系。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个,例如“A和/或B”可以实现为“A”,或者实现为“B”,或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的数据查询方法、装置、电子设备、计算机可读存储介质以及计算机程序产品,旨在解决现有技术的如上技术问题。
下面通过对几个示例性实施方式的描述,对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是,下述实施方式之间可以相互参考、借鉴或结合,对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等,不再重复描述。
请参见图1,图1为本申请实施例提供的实现数据查询的架构示意图,其中该数据查询装置包括:用户终端101、数据查询装置102、数据管理服务器103、数据机房104、和共享存储空间105,数据查询装置102可以分为两个子主体服务器调用端106和任务分发系统107,也可以作为一个独立的主体独自执行上述两个子主体能够实现的功能,其中一个可选地具体使用场景为:用户终端101输入数据查询指令,经过服务器调用端106、数据管理服务器103、数据机房104、任务分发系统107以及共享存储空间105联合处理得到数据查询结果。
用户终端101可以是计算机设备,例如台式计算机、笔记本电脑、银行自助查询终端机等,用户终端101可以将数据查询请求发送给服务器调用端106,还可以接受服务器调用端106返回的数据查询结果。用户终端101可以采用查询可视化界面,用户在提交任务时,只需在界面勾选查询任务指令,用户终端则会将查询指令提交至服务器调用端106。
服务器调用端106主要用于接收用户终端101发送的数据查询指令,并转化为第一查询请求发送给任务分发系统107,并获取任务分发系统107得到的查询结果,将数据查询结果反馈给用户终端101。
数据管理服务器103主要用于管理数据的数据参数信息,可以从数据机房104中同步数据参数,接收并且解析任务分发系统107的查询请求,将目标查询参数同步给任务分发系统107。
数据机房104是由多种数据引擎组合而成,属于分布式的服务器集群,主要用于存储实际的表数据、元数据、视图等。数据机房中包括若干个存储单元。在数据查询的过程中,会将数据参数实时同步至数据管理服务器103,并且在使用任务分发系统107查询数据时,数据机房104会响应任务分发系统107的查询请求,将目标数据发送给任务分发系统107。
任务分发系统107,主要用于接收服务器调用端106发送的第一查询请求,与数据管理服务器103交互得到数据机房104中各存储单元的对象信息、业务和业务参数等,并从数据机房104查询到各目标数据存储到共享存储空间105,对数据进行整合并返回给服务器调用端106。
共享存储空间105,是物理存储器中一段可由两个以上的进程共享的存储空间,可以包括文本文件、分布式文件存储系统或者是数据库的至少一种,可以同时存储不同类型的数据。共享存储空间105可以接收并存储任务分发系统107存储的逐条目标数据以及任务分发系统107发送的第二查询请求。
本申请实施例中提供了一种数据查询方法,请参见图2,其示例性的展示了本申请实施例中提供的一种数据查询方法的流程示意图,该方法至少可以包括:
S101、接收终端发送的第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;
在本申请实施例中,第一查询请求数是根据从接收终端从用户终端接收到查询指令后生成的,其中待查询的对象信息可以包括查询对象和对象属性等,对象信息例如可以是全公司级,或者东北区域,北京区域等,当第一查询请求为查询A银行北京分支机构的流水,那么该查询请求的对象信息可以包括“北京”;
业务参数用于描述业务的属性,包括但不限于业务的类别、业务的内容、业务的额度、业务的期限等。例如当第一查询请求为查询A银行北京分支机构在2022年1月的转账流水,其业务参数可以包括“2022年1月”、“转账记录”“A银行”等。
可选地,生成查询请求时,选择相应的查询任务结果显示类型,聚合服务器会接收到这一信息,并将该信息转发给数据查询服务器,用于指示其反馈相应显示类型的查询结果。
S102、依据预设的对象信息与存储单元的对应关系,确定对象信息对应的各第一存储单元;
具体的,预先配置对象信息与存储单元之间的对应关系,对象信息可以是全公司级,或者东北区域,北京区域等,一种可选的实现方式可表现为例如:对象信息“北京”则对应“北京单元”、对象信息“上海”则对应“上海单元”。当第一查询请求中包括的对象信息包括“北京”“广州”,则可以确定第一存储单元包括与“北京”对应的“北京单元”以及与“广州”对应的“广州单元”。
S103、分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数;
本申请实施例中每个第一存储单元中包括不同的业务以及不同业务对应的业务参数,若第一存储单元中存在与第一查询请求中的业务参数对应的第一业务,则将第一存储单元确定为第二存储单元,并确定第二存储单元包括第二存储单元对应的待查询的业务参数,以及第二存储单元的单元地址。
S104、针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求;
本申请实施例可以通过单元化路由组件计算确定每一个第二存储单元对应的单元地址,在第二查询请求路由到每一个对应的单元地址后,向该第二存储单元发送请求。例如当确定了北京单元的单元地址为“http(s)://北京单元1”后,将第二查询请求路由至该位置并向北京单元发送该请求。
S105、接收各第二存储单元返回的目标数据,并将目标数据返回至终端。
本申请实施例数据查询装置在依据第二查询请求获取到目标数据后,可以将目标数据直接返回给终端。
在本申请当中,通过接收终端发送的第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;依据预设的对象信息与存储单元的对应关系,确定对象信息对应的各第一存储单元;分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数;针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求;接收各第二存储单元返回的目标数据,并将目标数据返回至终端。服务器调用端不再需要向所有机房中存储单元发送请求并且接收所有机房中存储单元的反馈,减轻服务器调用端的操作负荷,并且只有存储了目标数据的机房中的存储单元才会接受到查询请求,其他没有存储目标数据的存储单元并不会接收无意义的查询请求,从而减轻了各地机房的负担。
在上述各实施例的基础上,作为一种可选实施例,请参见图3,分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数,包括:
S201、对第一查询请求中的业务参数进行解析,确定业务参数对应的各第一业务以及各第一业务包括的业务节点;
本申请实施例中业务用于表示为实现用户需求能够实现的某种功能,不同的业务可以实现不同功能,例如“转账流水业务”和“存款业务”,业务节点用于表示转账流水业务涉及到的各节点,可以包括不同的操作步骤;
具体地,数据查询装置对第一查询请求的业务参数解析得到对应的各第一业务以及每个第一业务对应的业务节点,例如对业务参数“2022年1月”、“转账记录”和“A银行”解析,得知第一业务为“转账流水业务”,其中转账流水业务的业务节点可以包括“支出节点”。
通过对第一查询请求的业务参数的解析,进一步提高了数据查询服务器对目标数据获取的准确性。
S202、针对每个第一存储单元,确定第一存储单元对应的业务中是否包括第一业务;
将根据对象信息确认出的每个第一存储单元中对应的业务与S201步骤中得出的第一业务比较是否一致。
S203、若是,将第一存储单元确定为第二存储单元,并确定第二存储单元对应的第一业务的目标业务节点;
若有第一存储单元中存在第一业务,则将该第一存储单元确定为第二存储单元,也即为目标单元,并且确定出在第二存储单元中的与第一业务对应的目标业务节点。例如在第二存储单元中与第一业务“转账流水业务”对应的目标业务节点为“支出节点”和“收入节点”。
S204、将第一业务的目标业务节点关联的待查询的业务参数,确定为第二存储单元对应的待查询的业务参数;
本申请实施例中目标业务节点和待查询的业务参数具备关联关系,例如通过目标业务节点“支出节点”和“收入节点”可以确定出待查询参数包括“转账流水”。
S205、从预设的存储单元与单元地址的对应关系中,确定第二存储单元的单元地址。
具体地,本申请实施例中预先配置了存储单元和单元地址的对应关系,当确定了第二存储单元后,就可以得出第二存储单元的单元地址。
在上述各实施例的基础上,作为一种可选实施例,接收各第二存储单元返回的目标数据,并将目标数据返回至终端,在接收各第二存储单元返回的目标数据,并将目标数据返回至终端,包括:
将各第二存储单元返回的目标数据逐条存储至共享存储空间中;其中,共享存储空间包括:文本文件、分布式文件存储系统或者数据库中的至少之一;
本申请实施例中,数据查询装置将从第二存储单元中获取的每一条目标数据都逐条存储在共享存储空间中,其中共享存储空间是物理存储器中一段可由两个以上的进程共享的存储空间,可以包括文本文件、分布式文件存储系统或者是数据库的至少一种,可以同时存储不同类型的数据。
将共享存储空间中存储的各条目标数据,按照业务节点进行整合,并将相同业务的业务节点的目标数据进行整合;
由于待获取的多个目标数据通常可能存在于全国各地机房中的存储单元,不同位置对于数据存储的规则可能不同,由于各个待获取的目标数据所存储的位置不同,进行数据汇总时需要对不同类型数据进行转换。本申请中将查询到的目标数据都先存储在共享存储空间,先根据业务节点进行整合,例如将“收入节点”的目标数据先进行整合,然后将同为“转账流水业务”的“收入节点”的目标数据再进行整合,分步对目标数据进行融合,提高了数据融合的效率。
将整合后的目标数据返回至终端。
在上述各实施例的基础上,作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,包括:
针对每个第二存储单元,通过单元化路由组件路由到单元地址并向第二存储单元发送携带待查询的业务参数的第二查询请求,其中,单元路由化组件可以在数据查询装置中,也可以是独立在外的一部分,单元化路由组件中预设有存储单元与单元地址的对应关系。
本申请实施例中数据查询装置通过单元化路由组件预先配置存储单元与单元地址之间的对应关系,路由到第二存储单元的单元地址后,再向第二存储单元发送第二查询请求。
在上述各实施例的基础上,作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,还包括:
分别为各第二存储单元生成第二查询请求,其中,第二查询请求中包括:单元地址和待查询的业务参数;
将第二查询请求逐条添加至共享存储空间中;
具体地,当确定了全部的第二存储单元后,为每一个第二存储单元生成对应的第二查询请求,并将各个第二查询请求逐条存储在共享存储空间中。
依据第二查询请求的总数量和任务分发系统的当前负载,将共享存储空间中添加的第二查询请求拆分成多个任务分片,每个任务分片中包括多个第二查询请求;
具体地,本申请实施例中任务分发系统可以在数据查询装置之中,任务分发系统可以是分布式系统,其中具有多个服务器,多个服务器的负载可能不同,因此根据第二查询请求的总数量和不同的服务器负载来将多个第二查询请求拆分生成多个任务分片,其中每个任务中包括多个第二查询请求。例如当存在多个查询请求,且数据查询装置中包括N个负载为X的服务器,M个负载为Y的服务器和P个负载为Z的服务器,则可以将多个查询请求分成3个任务。
并行处理各任务分片中包括的各第二查询请求。
在本申请实施例中,任务分发系统中的各个服务器被并行调用,同时并行发送多个任务分片中包括的多个第二查询请求。例如存在4个查询请求,其中两个查询用于请求查询A公司在上海单元的转账流水信息、1个查询请求用于请求查询A公司在重庆单元的转账流水信息、1个查询请求用于请求查询广东单元的转账流水信息,数据查询装置中包括1个负载为X的服务器,1个负载为Y的服务器和1个负载为Z的服务器,则可以将多个查询请求生成3个任务分别为任务1、任务2、任务3,其中任务1为获取上海单元的相应流水信息,包括2个查询请求;任务2为获取重庆单元的相应流水信息,包括1个查询请求;任务3为获取广东单元的相应流水信息,包括1个查询请求,任务1、任务2和任务3并行处理。
本申请实施例可以实现批量任务并行处理,即众多任务同时分别向各自的目标数据的存储单元发送请求,因此能够实现数据的快速同步获取,提高了数据查询的效率,从而节省了数据获取的时间。
根据本申请提供了一种数据查询装置,如图4所示,包括第一接收模块401、第一确定模块402、第二确定模块403、路由发送模块404和第二接收模块405,其中:
第一接收模块401,用于接收终端发送的第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;
第一确定模块402,用于依据预设的对象信息与存储单元的对应关系,确定对象信息对应的各第一存储单元;
第二确定模块403,用于分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数;
路由发送模块404,用于针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求;
第二接收模块405,用于接收各第二存储单元返回的目标数据,并将目标数据返回至终端。
本申请实施例中提供了一种数据查询方法、电子设备,包括存储器、处理器及存储在存储器上的计算机程序,该处理器执行上述计算机程序以实现数据查询的步骤,与相关技术相比可实现:数据查询装置接收终端发送的第一查询请求,第一查询请求中包括待查询的对象信息和业务参数;依据预设的对象信息与存储单元的对应关系,确定对象信息对应的各第一存储单元;分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数;针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求;接收各第二存储单元返回的目标数据,并将目标数据返回至终端。服务器调用端不再需要向所有机房中存储单元发送请求并且接收所有机房中存储单元的反馈,减轻服务器调用端的操作负荷,并且只有存储了目标数据的机房中的存储单元才会接受到查询请求,其他没有存储目标数据的存储单元并不会接收无意义的查询请求,从而减轻了各地机房的负担。
作为一种可选实施例,分别依据每个第一存储单元对应的业务和业务参数,确定包括待查询的业务参数的第二存储单元,以及每个第二存储单元对应的单元地址和待查询的业务参数,包括:
解析模块,用于对第一查询请求中的业务参数进行解析,确定业务参数对应的各第一业务以及各第一业务包括的业务节点;
判断模块,用于针对每个第一存储单元,确定第一存储单元对应的业务中是否包括第一业务;
节点确定模块,用于若是,将第一存储单元确定为第二存储单元,并确定第二存储单元对应的第一业务的目标业务节点;
参数确定模块,用于将第一业务的目标业务节点关联的待查询的业务参数,确定为第二存储单元对应的待查询的业务参数;
地址确定模块,用于从预设的存储单元与单元地址的对应关系中,确定第二存储单元的单元地址。
作为一种可选实施例,接收各第二存储单元返回的目标数据,并将目标数据返回至终端,包括:
存储模块,用于将各第二存储单元返回的目标数据逐条存储至共享存储空间中;其中,共享存储空间包括:文本文件、分布式文件存储系统或者数据库中的至少之一;
整合模块,用于将共享存储空间中存储的各条目标数据,按照业务节点进行整合,并将相同业务的业务节点的目标数据进行整合;
反馈模块,用于将整合后的目标数据返回至终端。
作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,包括:
路由模块,用于针对每个第二存储单元,通过单元化路由组件路由到单元地址并向第二存储单元发送携带待查询的业务参数的第二查询请求,其中,单元化路由组件中预设有存储单元与单元地址的对应关系。
作为一种可选实施例,针对每个第二存储单元,分别路由至第二存储单元对应的单元地址,并向第二存储单元发送携带待查询的业务参数的第二查询请求,还包括:
生成模块,用于分别为各第二存储单元生成第二查询请求,其中,第二查询请求中包括:单元地址和待查询的业务参数;
添加模块,用于将第二查询请求逐条添加至共享存储空间中;
拆分模块,用于依据第二查询请求的总数量和数据查询装置的当前负载,将共享存储空间中添加的第二查询请求拆分成多个任务分片,每个任务分片中包括多个第二查询请求;
处理模块,用于并行处理各任务分片中包括的各第二查询请求。
在一个可选实施例中提供了一种电子设备,如图5所示,图5所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包括一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质,在此不做限定。
存储器4003用于存储执行本申请实施例的计算机程序,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序,以实现前述方法实施例所示的步骤。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是,虽然本申请实施例的流程图中通过箭头指示各个操作步骤,但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明,否则在本申请实施例的一些实施场景中,各流程图中的实施步骤可以按照需求以其他的顺序执行。此外,各流程图中的部分或全部步骤基于实际的实施场景,可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行,这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下,这些子步骤或者阶段的执行顺序可以根据需求灵活配置,本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请的方案技术构思的前提下,采用基于本申请技术思想的其他类似实施手段,同样属于本申请实施例的保护范畴。
Claims (10)
1.一种数据查询方法,其特征在于,包括:
接收终端发送的第一查询请求,所述第一查询请求中包括待查询的对象信息和业务参数;
依据预设的对象信息与存储单元的对应关系,确定所述对象信息对应的各第一存储单元;
分别依据每个所述第一存储单元对应的业务和所述业务参数,确定包括待查询的业务参数的第二存储单元,以及每个所述第二存储单元对应的单元地址和待查询的业务参数;
针对每个所述第二存储单元,分别路由至所述第二存储单元对应的单元地址,并向所述第二存储单元发送携带待查询的业务参数的第二查询请求;
接收各所述第二存储单元返回的目标数据,并将所述目标数据返回至所述终端。
2.根据权利要求1所述的方法,其特征在于,所述分别依据每个所述第一存储单元对应的业务和所述业务参数,确定包括待查询的业务参数的第二存储单元,以及每个所述第二存储单元对应的单元地址和待查询的业务参数,包括:
对所述第一查询请求中的业务参数进行解析,确定所述业务参数对应的各第一业务以及各第一业务包括的业务节点;
针对每个所述第一存储单元,确定所述第一存储单元对应的业务中是否包括所述第一业务;
若是,将所述第一存储单元确定为所述第二存储单元,并确定所述第二存储单元对应的所述第一业务的目标业务节点;
将所述第一业务的目标业务节点关联的待查询的业务参数,确定为所述第二存储单元对应的待查询的业务参数;
从预设的存储单元与单元地址的对应关系中,确定所述第二存储单元的单元地址。
3.根据权利要求1所述的方法,其特征在于,所述接收各所述第二存储单元返回的目标数据,并将所述目标数据返回至所述终端,包括:
将各所述第二存储单元返回的目标数据逐条存储至共享存储空间中;其中,所述共享存储空间包括:文本文件、分布式文件存储系统或者数据库中的至少之一;
将所述共享存储空间中存储的各条目标数据,按照所述业务节点进行整合,并将相同业务的业务节点的目标数据进行整合;
将整合后的目标数据返回至所述终端。
4.根据权利要求1所述的方法,其特征在于,所述针对每个第二存储单元,分别路由至所述第二存储单元对应的单元地址,并向所述第二存储单元发送携带待查询的业务参数的第二查询请求,包括:
针对每个所述第二存储单元,通过单元化路由组件路由到所述单元地址并向所述第二存储单元发送携带待查询的业务参数的第二查询请求,其中,所述单元化路由组件中预设有存储单元与单元地址的对应关系。
5.根据权利要求1所述的方法,其特征在于,所述针对每个所述第二存储单元,分别路由至所述第二存储单元对应的单元地址,并向所述第二存储单元发送携带待查询的业务参数的第二查询请求,还包括:
分别为各所述第二存储单元生成所述第二查询请求,其中,所述第二查询请求中包括:单元地址和待查询的业务参数;
将所述第二查询请求逐条添加至共享存储空间中;
依据所述第二查询请求的总数量和任务分发系统的当前负载,将所述共享存储空间中添加的所述第二查询请求拆分成多个任务分片,每个任务分片中包括多个所述第二查询请求;
并行处理各所述任务分片中包括的各第二查询请求。
6.一种数据查询装置,其特征在于,包括:
第一接收模块,用于接收终端发送的第一查询请求,所述第一查询请求中包括待查询的对象信息和业务参数;
第一确定模块,用于依据预设的对象信息与存储单元的对应关系,确定所述对象信息对应的各第一存储单元;
第二确定模块,用于分别依据每个所述第一存储单元对应的业务和所述业务参数,确定包括待查询的业务参数的第二存储单元,以及每个所述第二存储单元对应的单元地址和待查询的业务参数;
路由发送模块,用于针对每个所述第二存储单元,分别路由至所述第二存储单元对应的单元地址,并向所述第二存储单元发送携带待查询的业务参数的第二查询请求;
第二接收模块,用于接收各所述第二存储单元返回的目标数据,并将所述目标数据返回至所述终端。
7.根据权利要求6所述的装置,其特征在于,所述分别依据每个所述第一存储单元对应的业务和所述业务参数,确定包括待查询的业务参数的第二存储单元,以及每个所述第二存储单元对应的单元地址和待查询的业务参数,包括:
解析模块,用于对所述第一查询请求中的业务参数进行解析,确定所述业务参数对应的各第一业务以及各第一业务包括的业务节点;
判断模块,用于针对每个所述第一存储单元,确定所述第一存储单元对应的业务中是否包括所述第一业务;
节点确定模块,用于若是,将所述第一存储单元确定为第二存储单元,并确定所述第二存储单元对应的所述第一业务的目标业务节点;
参数确定模块,用于将所述第一业务的目标业务节点关联的待查询的业务参数,确定为所述第二存储单元对应的待查询的业务参数;
地址确定模块,用于从预设的存储单元与单元地址的对应关系中,确定所述第二存储单元的单元地址。
8.根据权利要求6所述的装置,其特征在于,所述接收各所述第二存储单元返回的目标数据,并将所述目标数据返回至所述终端,包括:
存储模块,用于将各所述第二存储单元返回的目标数据逐条存储至共享存储空间中;其中,所述共享存储空间包括:文本文件、分布式文件存储系统或者数据库中的至少之一;
整合模块,用于将所述共享存储空间中存储的各条目标数据,按照所述业务节点进行整合,并将相同业务的业务节点的目标数据进行整合;
反馈模块,用于将整合后的目标数据返回至所述终端。
9.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-5任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210865485.5A CN115292356B (zh) | 2022-07-21 | 2022-07-21 | 数据查询方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210865485.5A CN115292356B (zh) | 2022-07-21 | 2022-07-21 | 数据查询方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115292356A true CN115292356A (zh) | 2022-11-04 |
CN115292356B CN115292356B (zh) | 2023-06-16 |
Family
ID=83824283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210865485.5A Active CN115292356B (zh) | 2022-07-21 | 2022-07-21 | 数据查询方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115292356B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001338123A (ja) * | 2000-05-26 | 2001-12-07 | Fuji Xerox Co Ltd | 営業支援システム |
US20090164414A1 (en) * | 2007-12-21 | 2009-06-25 | Sap Ag | Query response service for business objects |
WO2017133344A1 (zh) * | 2016-02-02 | 2017-08-10 | 中国互联网络信息中心 | 应用于dns查询的ip地址列表存储和查询方法 |
WO2018040722A1 (zh) * | 2016-08-31 | 2018-03-08 | 华为技术有限公司 | 表数据查询方法及装置 |
US20180095396A1 (en) * | 2016-10-03 | 2018-04-05 | Kyocera Document Solutions Inc. | Information processing system |
CN111639108A (zh) * | 2020-05-27 | 2020-09-08 | 中国建设银行股份有限公司 | 数据查询方法、装置、电子设备及计算机可读存储介质 |
CN112417016A (zh) * | 2020-11-18 | 2021-02-26 | 北京锐安科技有限公司 | 一种数据交换方法、系统、设备及存储介质 |
WO2021051880A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技(深圳)有限公司 | 资源数据获取的方法、装置、计算机设备和存储介质 |
CN112860695A (zh) * | 2021-02-08 | 2021-05-28 | 北京百度网讯科技有限公司 | 监控数据查询方法、装置、设备、存储介质及程序产品 |
CN113836331A (zh) * | 2021-09-24 | 2021-12-24 | 中国联合网络通信集团有限公司 | 图像查询方法、设备及存储介质 |
CN113901078A (zh) * | 2021-11-18 | 2022-01-07 | 平安普惠企业管理有限公司 | 业务订单关联查询方法、装置、设备及存储介质 |
CN113961600A (zh) * | 2021-10-26 | 2022-01-21 | 平安国际智慧城市科技股份有限公司 | 一种数据查询方法、装置、计算机设备及存储介质 |
CN114519082A (zh) * | 2022-02-21 | 2022-05-20 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据处理方法和相关装置 |
-
2022
- 2022-07-21 CN CN202210865485.5A patent/CN115292356B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001338123A (ja) * | 2000-05-26 | 2001-12-07 | Fuji Xerox Co Ltd | 営業支援システム |
US20090164414A1 (en) * | 2007-12-21 | 2009-06-25 | Sap Ag | Query response service for business objects |
WO2017133344A1 (zh) * | 2016-02-02 | 2017-08-10 | 中国互联网络信息中心 | 应用于dns查询的ip地址列表存储和查询方法 |
WO2018040722A1 (zh) * | 2016-08-31 | 2018-03-08 | 华为技术有限公司 | 表数据查询方法及装置 |
US20180095396A1 (en) * | 2016-10-03 | 2018-04-05 | Kyocera Document Solutions Inc. | Information processing system |
WO2021051880A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技(深圳)有限公司 | 资源数据获取的方法、装置、计算机设备和存储介质 |
CN111639108A (zh) * | 2020-05-27 | 2020-09-08 | 中国建设银行股份有限公司 | 数据查询方法、装置、电子设备及计算机可读存储介质 |
CN112417016A (zh) * | 2020-11-18 | 2021-02-26 | 北京锐安科技有限公司 | 一种数据交换方法、系统、设备及存储介质 |
CN112860695A (zh) * | 2021-02-08 | 2021-05-28 | 北京百度网讯科技有限公司 | 监控数据查询方法、装置、设备、存储介质及程序产品 |
CN113836331A (zh) * | 2021-09-24 | 2021-12-24 | 中国联合网络通信集团有限公司 | 图像查询方法、设备及存储介质 |
CN113961600A (zh) * | 2021-10-26 | 2022-01-21 | 平安国际智慧城市科技股份有限公司 | 一种数据查询方法、装置、计算机设备及存储介质 |
CN113901078A (zh) * | 2021-11-18 | 2022-01-07 | 平安普惠企业管理有限公司 | 业务订单关联查询方法、装置、设备及存储介质 |
CN114519082A (zh) * | 2022-02-21 | 2022-05-20 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据处理方法和相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115292356B (zh) | 2023-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111399756B (zh) | 一种数据存储方法、数据下载方法及装置 | |
US10496645B1 (en) | System and method for analysis of a database proxy | |
CN109213758B (zh) | 数据存取方法、装置、设备及计算机可读存储介质 | |
WO2021047323A1 (zh) | 一种数据操作方法、装置及系统 | |
US20230017300A1 (en) | Query method and device suitable for olap query engine | |
CN104750690A (zh) | 一种查询处理方法、装置及系统 | |
CN112835904A (zh) | 一种数据处理方法和数据处理装置 | |
US8930518B2 (en) | Processing of write requests in application server clusters | |
CN114401319B (zh) | 一种请求处理方法、装置、服务器及存储介质 | |
CN114244905B (zh) | 数据转发方法、装置、计算机设备和存储介质 | |
CN107644017A (zh) | 日志文件的查询方法及装置 | |
CN113127477A (zh) | 访问数据库的方法、装置、计算机设备和存储介质 | |
CN111400301A (zh) | 一种数据查询方法、装置及设备 | |
CN111752939A (zh) | 用于多个系统的数据处理方法、装置、计算机系统、介质 | |
US10819775B2 (en) | Systems and methods for server failover and load balancing | |
CN115292356B (zh) | 数据查询方法、装置及电子设备 | |
CN112035760B (zh) | 一种任务分配方法及计算机设备 | |
US10193965B2 (en) | Management server and operation method thereof and server system | |
CN110995890B (zh) | 域名请求的调度方法及装置 | |
CN113032820B (zh) | 文件存储方法、访问方法、装置、设备及存储介质 | |
CN111294383B (zh) | 物联网服务管理系统 | |
CN109960695B (zh) | 云计算系统中数据库的管理方法和装置 | |
CN106357549A (zh) | 集群部署中高并发分流的方法、装置、系统及负载均衡器 | |
CN111078736A (zh) | 一种数据聚合处理方法、装置、终端及存储介质 | |
CN113556370A (zh) | 一种服务调用方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |