CN116226178A - 一种数据查询方法、装置、存储介质及电子装置 - Google Patents

一种数据查询方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN116226178A
CN116226178A CN202211732573.4A CN202211732573A CN116226178A CN 116226178 A CN116226178 A CN 116226178A CN 202211732573 A CN202211732573 A CN 202211732573A CN 116226178 A CN116226178 A CN 116226178A
Authority
CN
China
Prior art keywords
target
task
data query
queried
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211732573.4A
Other languages
English (en)
Inventor
黄佳楠
钱仁卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinsaiyun Computing Technology Co ltd
Original Assignee
Shanghai Xinsaiyun Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinsaiyun Computing Technology Co ltd filed Critical Shanghai Xinsaiyun Computing Technology Co ltd
Priority to CN202211732573.4A priority Critical patent/CN116226178A/zh
Publication of CN116226178A publication Critical patent/CN116226178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24549—Run-time optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明实施例提供了一种数据查询方法、装置、存储介质及电子装置，该方法包括：接收目标客户端发送的目标数据查询请求；对目标客户端和目标数据查询请求进行校验，得到校验结果，其中，校验包括对目标客户端的数据查询权限的校验；在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询。通过本发明，解决了相关技术中存在的数据查询效率低的问题，达到提高数据查询效率的效果。

Description

一种数据查询方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及数据处理领域，具体而言，涉及一种数据查询方法、装置、存储介质及电子装置。
背景技术
随着硬件水平的不断发展，服务器响应服务的速度越来越快，而最常见的服务莫过于数据查询，响应查询指令并返回查询结果的速度直接影响用户体验。
在相关技术中，往往通过升级硬件设施的方式提高数据查询的处理速度，进而提升用户的体验，但这种方式往往受限于经费，如何不通过升级硬件设施的方式提高服务的响应速度成了新的技术问题。
针对相关技术中存在的数据查询效率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据查询方法、装置、存储介质及电子装置，以至少解决相关技术中存在的数据查询效率低的问题。
根据本发明的一个实施例，提供了一种数据查询方法，包括：接收目标客户端发送的目标数据查询请求，其中，上述目标客户端是多个客户端中的任一客户端，多个上述客户端均与目标处理节点连接，多个上述客户端均具备向上述目标处理节点发送数据查询请求的能力，上述目标处理节点具备同时响应多个上述数据查询请求的能力；对上述目标客户端和上述目标数据查询请求进行校验，得到校验结果，其中，上述校验包括对上述目标客户端的数据查询权限的校验，对上述目标数据查询请求中包括的待查询任务的任务量的校验，以及对上述目标处理节点中的剩余处理资源的校验；在上述校验结果显示上述目标客户端具备数据查询的权限，上述待查询任务的任务量满足预设阈值，且上述剩余处理资源满足上述待查询任务的任务量的情况下，利用上述剩余处理资源响应上述目标数据查询请求，以对上述待查询任务进行数据查询。
在一个示例性实施例中，对上述目标客户端和上述目标数据查询请求进行校验，得到校验结果之前，上述方法还包括：确定上述目标处理节点正在执行的执行队列中的任务的数量；在上述正在执行的任务的数量小于第一预设值的情况下，对上述目标客户端和上述目标数据查询请求进行校验，其中，上述预设值小于或等于上述执行队列所能承载的任务的上限值；在上述正在执行的任务的数量大于或等于第一预设值的情况下，将上述待查询任务写入至等待队列。
在一个示例性实施例中，在上述校验结果显示上述目标客户端具备数据查询的权限，上述待查询任务的任务量满足预设阈值，且上述剩余处理资源满足上述待查询任务的任务量的情况下，利用上述剩余处理资源响应上述目标数据查询请求，以对上述待查询任务进行数据查询，包括：将上述待查询任务进行拆分处理，得到多个待查询子任务；确定与上述剩余处理资源对应的上述目标处理节点中的多个子处理节点；利用多个上述子处理节点中的多个目标子节点对多个上述待查询子任务进行并发查询。
在一个示例性实施例中，上述方法还包括：在利用多个上述目标子节点对多个上述待查询子任务进行并发查询的同时，利用多个上述子处理节点中的剩余处理子节点对等待队列中的其他待查询任务执行数据查询，其中，上述其他待查询任务的任务量小于或等于上述剩余处理子节点的处理量。
在一个示例性实施例中，在上述校验结果显示上述目标客户端具备数据查询的权限，上述待查询任务的任务量满足预设阈值，且上述剩余处理资源满足上述待查询任务的任务量的情况下，利用上述剩余处理资源响应上述目标数据查询请求，以对上述待查询任务进行数据查询之后，上述方法还包括：在获取的查询结果中显示查询的目标数据的数据量大于或等于第二预设值的情况下，将上述目标数据存储至数据库；通过上述目标客户端显示上述目标数据在上述数据库中的存储地址。
在一个示例性实施例中，在上述校验结果显示上述目标客户端具备数据查询的权限，上述待查询任务的任务量满足预设阈值，且上述剩余处理资源满足上述待查询任务的任务量的情况下，利用上述剩余处理资源响应上述目标数据查询请求，以对上述待查询任务进行数据查询之后，上述方法还包括：获取的查询结果中显示查询的目标数据的数据量小于第二预设值的情况下，通过上述目标客户端显示上述目标数据。
在一个示例性实施例中，接收目标客户端发送的目标数据查询请求之前，上述方法还包括：确定与上述目标处理节点连接的多个子处理节点，其中，多个上述子处理节点和上述目标处理节点均处于同一局域网中，多个上述子处理节点用于分布式处理上述待查询任务。
根据本发明的另一个实施例，提供了一种数据查询装置，包括：接收模块，用于接收目标客户端发送的目标数据查询请求，其中，上述目标客户端是多个客户端中的任一客户端，多个上述客户端均与目标处理节点连接，多个上述客户端均具备向上述目标处理节点发送数据查询请求的能力，上述目标处理节点具备同时响应多个上述数据查询请求的能力；第一校验模块，用于对上述目标客户端和上述目标数据查询请求进行校验，得到校验结果，其中，上述校验包括对上述目标客户端的数据查询权限的校验，对上述目标数据查询请求中包括的待查询任务的任务量的校验，以及对上述目标处理节点中的剩余处理资源的校验；响应模块，用于在上述校验结果显示上述目标客户端具备数据查询的权限，上述待查询任务的任务量满足预设阈值，且上述剩余处理资源满足上述待查询任务的任务量的情况下，利用上述剩余处理资源响应上述目标数据查询请求，以对上述待查询任务进行数据查询。
在一个示例性实施例中，上述装置还包括：第一确定模块，用于对上述目标客户端和上述目标数据查询请求进行校验，得到校验结果之前，确定上述目标处理节点正在执行的执行队列中的任务的数量；第二校验模块，用于在上述正在执行的任务的数量小于第一预设值的情况下，对上述目标客户端和上述目标数据查询请求进行校验，其中，上述预设值小于或等于上述执行队列所能承载的任务的上限值；写入模块，用于在上述正在执行的任务的数量大于或等于第一预设值的情况下，将上述待查询任务写入至等待队列。
在一个示例性实施例中，上述响应模块还包括：拆分子模块，用于将上述待查询任务进行拆分处理，得到多个待查询子任务；确定子模块，用于确定与上述剩余处理资源对应的上述目标处理节点中的多个子处理节点；查询子模块，用于利用多个上述子处理节点中的多个目标子节点对多个上述待查询子任务进行并发查询。
在一个示例性实施例中，上述装置还包括：查询模块，用于在利用多个上述目标子节点对多个上述待查询子任务进行并发查询的同时，利用多个上述子处理节点中的剩余处理子节点对等待队列中的其他待查询任务执行数据查询，其中，上述其他待查询任务的任务量小于或等于上述剩余处理子节点的处理量。
在一个示例性实施例中，上述装置还包括：存储模块，用于在上述校验结果显示上述目标客户端具备数据查询的权限，上述待查询任务的任务量满足预设阈值，且上述剩余处理资源满足上述待查询任务的任务量的情况下，利用上述剩余处理资源响应上述目标数据查询请求，以对上述待查询任务进行数据查询之后，在获取的查询结果中显示查询的目标数据的数据量大于或等于第二预设值的情况下，将上述目标数据存储至数据库；第一显示模块，用于通过上述目标客户端显示上述目标数据在上述数据库中的存储地址。
在一个示例性实施例中，上述装置还包括：第二显示模块，用于在上述校验结果显示上述目标客户端具备数据查询的权限，上述待查询任务的任务量满足预设阈值，且上述剩余处理资源满足上述待查询任务的任务量的情况下，利用上述剩余处理资源响应上述目标数据查询请求，以对上述待查询任务进行数据查询之后，在获取的查询结果中显示查询的目标数据的数据量小于第二预设值的情况下，通过上述目标客户端显示上述目标数据。
在一个示例性实施例中，上述装置还包括：第二确定模块，用于在确定模块接收目标客户端发送的目标数据查询请求之前，确定与上述目标处理节点连接的多个子处理节点，其中，多个上述子处理节点和上述目标处理节点均处于同一局域网中，多个上述子处理节点用于分布式处理上述待查询任务。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，其中，上述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过同时校验多个客户端发送的数据查询请求并在剩余资源足够处理的情况下响应查询请求，以实现同时处理多个数据查询请求的目的，避免了多个客户端发起查询请求可能需要按时间排队的问题，解决了相关技术中存在的数据查询效率低的问题，达到了提高数据查询效率的效果。
附图说明
图1是本发明实施例的一种数据查询方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种数据查询方法的流程图；
图3是根据本发明实施例的一种数据查询方法的具体实施流程图；
图4是根据本发明实施例的一种执行任务队列中任务的流程图；
图5是根据本发明实施例的数据查询装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
首先对本发明所涉及到的相关技术进行说明：
MPP：Massive-Parallel Processing海量并行处理架构。
分布式：分布式是若干独立计算机的集合，用户感知不到背后的逻辑，就像访问单个计算机一样。
异步:异步指的是一种消息通信机制，异步调用方不会立刻得到结果，发出调用后还可以继续执行后续操作，被调用者通过后续的状态或回调函数来处理这个调用。
OSS:Object Storage Service对象存储服务。
SQL：结构化查询语言(Structured Query Language)，是一种数据库查询和程序设计语言。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种数据查询方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据查询方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据查询方法，图2是根据本发明实施例的流程图，如图2所示，该流程包括如下步骤：
步骤S202，接收目标客户端发送的目标数据查询请求，其中，目标客户端是多个客户端中的任一客户端，多个客户端均与目标处理节点连接，多个客户端均具备向目标处理节点发送数据查询请求的能力，目标处理节点具备同时响应多个数据查询请求的能力；
步骤S204，对目标客户端和目标数据查询请求进行校验，得到校验结果，其中，校验包括对目标客户端的数据查询权限的校验，对目标数据查询请求中包括的待查询任务的任务量的校验，以及对目标处理节点中的剩余处理资源的校验；
步骤S206，在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询。
其中，上述步骤的执行主体可以是服务器，或者是具备数据查询处理能力的客户端，或者还可以是其他的具备类似处理能力的处理设备或处理单元等，但不限于此。
在上述实施例中，多个数据查询请求是由多个客户端发送的，每个客户端可以发送一个数据查询请求，也可以发送数据多个查询请求。对数据查询请求中包括的任务量的校验包括但不限于数据查询请求包括的数据量是否超过处理资源最大值、数据查询请求包括的数据量是否超过剩余处理资源的处理能力。在数据查询请求包括的数据量超过处理资源最大值时判断该数据查询请求非法，可以通过限制发送该数据查询请求的客户端查询权限、封禁发送该数据查询请求的客户端查询权限、禁止发送该数据查询请求的客户端在预设时间内输入查询请求(预设时间可以是十分钟、三十分钟、三小时等)。目标客户端的权限分等级，不同的权限对应不同的查询任务量上限，例如，低等级权限允许查询一个月内数据、高等级权限允许查询两年内数据等。对待查询任务进行数据查询包括但不限于将待查询任务按照目标查询数据时间段进行平均拆分再查询、按照待查询任务的任务量进行平均拆分再查询。
通过本发明，同时校验多个客户端发送的数据查询请求并在剩余资源足够处理的情况下响应查询请求，以实现同时处理多个数据查询请求的目的，避免了多个客户端发起查询请求可能需要按时间排队的问题，解决了相关技术中存在的数据查询效率低的问题，达到了提高数据查询效率的效果。
在一个示例性实施例中，对目标客户端和目标数据查询请求进行校验，得到校验结果之前，方法还包括：确定目标处理节点正在执行的执行队列中的任务的数量；在正在执行的任务的数量小于第一预设值的情况下，对目标客户端和目标数据查询请求进行校验，其中，预设值小于或等于执行队列所能承载的任务的上限值；在正在执行的任务的数量大于或等于第一预设值的情况下，将待查询任务写入至等待队列。
在上述实施例中，预设值可以根据业务情况设置，例如，在业务高峰期间设置为执行队列的任务上限数，在业务数据量较少时设置为较少的数量减轻任务队列的压力。通过上述步骤，限制队列任务上限，保障了队列稳定性，有效提高了任务处理效率，改善用户等待体验。
在一个示例性实施例中，在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询，包括：将待查询任务进行拆分处理，得到多个待查询子任务；确定与剩余处理资源对应的目标处理节点中的多个子处理节点；利用多个子处理节点中的多个目标子节点对多个待查询子任务进行并发查询。
在上述实施例中，将待查询任务进行拆分处理，可以包括按照任务的数据量进行平均拆分、按照任务待查询数据的时间段进行平均拆分、不平均拆分等，平均拆分可以保障整体的处理效率，不平均拆分在处理节点处理速度不同时能以局部最优速度输出。确定多个子任务对应的多个子节点包括但不限于根据查询任务的拆分策略确定子任务对应子节点(例如在拆分策略为平均拆分时采取随机分配的方式、在拆分策略为不平均拆分是计算子节点处理能力并从高到低排序进行分配等)、全随机分配子节点、将子任务、子节点都按照任务量排序一一对应分配。通过上述步骤，将任务拆分并分配对应子节点并行处理，可以大大减少任务的处理时间，有效提高任务的处理效率。
在一个示例性实施例中，方法还包括：在利用多个目标子节点对多个待查询子任务进行并发查询的同时，利用多个子处理节点中的剩余处理子节点对等待队列中的其他待查询任务执行数据查询，其中，其他待查询任务的任务量小于或等于剩余处理子节点的处理量。在上述实施例中，通过充分利用剩余子节点，提高了节点使用率，进而提高了查询处理的效率。
在一个示例性实施例中，在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询之后，方法还包括：在获取的查询结果中显示查询的目标数据的数据量大于或等于第二预设值的情况下，将目标数据存储至数据库；通过目标客户端显示目标数据在数据库中的存储地址。
在上述实施例中，第二预设值可以是固定值(例如：300M、500M、700M等)，也可以是根据前一段时间(例如：两周、一个月、两个月等)内的查询情况确定。通过存储地址下载的文件格式包括但不限于excel、pdf、xml等。通过上述步骤，在返回结果数据量过大不方便显示的情况下，返回存储地址，减轻客户端压力，提高了处理速度，增加数据安全性。
在一个示例性实施例中，在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询之后，方法还包括：在获取的查询结果中显示查询的目标数据的数据量小于第二预设值的情况下，通过目标客户端显示目标数据。
在上述实施例中，在查询返回结果数据量较小的情况下，在内存中处理数据并且直接显示在客户端上，在客户端上的显示形式包括但不限于折线图、统计表、统计图等。通过上述步骤，能够迅速、直观地反映查询结果，有效提高用户体验。
在一个示例性实施例中，接收目标客户端发送的目标数据查询请求之前，方法还包括：确定与目标处理节点连接的多个子处理节点，其中，多个子处理节点和目标处理节点均处于同一局域网中，多个子处理节点用于分布式处理待查询任务。
在上述实施例中，多个子处理节点相互独立又能够配合，具备独立执行数据查询的能力，通过上述子处理节点，能够做到并行处理来自同时发起的不同客户端的数据查询请求，避免了等待时间，能够有效提高处理效率。
下面结合具体实施例对本发明进行说明
如图3所述，是本具体实施例的流程图，主要包括以下步骤：
步骤302：用户在客户端的可视化页面编辑并提交需要查询的SQL语句。
步骤304：用户通过客户端提交的查询SQL被处理后端(对应于上述目标处理节点)异步接收，然后等待后端对任务进行检查校验。
步骤306：后端任务队列(用于记录反映任务执行情况)的检查校验包括以下流程：检查目前队列的任务执行情况、检查正在执行的任务数量、检查队列里的任务数是否已经达到上限。
步骤308：后端的任务队列数量已满，则上述任务返回等待队列继续等待。
步骤310：在后端的任务队列没有满的情况下，通过对SQL的校验。
步骤312：将任务异步提交到后端任务系统的执行队列。
步骤314：后端系统开始初始化数据查询任务，进行MPP高并发内存计算，进行大数据查询工作。
步骤316：在后端MPP高并发内存计算结束的情况下，大数据查询任务执行完毕。
步骤318：根据查询结果的数据量大小判断将结果写入内存还是OSS系统(ObjectStorage Service对象存储服务)。
步骤320：将查询结果或者OSS存储数据的地址返回给客户端进行数据展现，或者下载分析。
步骤314-316记载的处理队列中任务的方法可以参见图4，包括以下步骤：
S402:检查任务队列；
S404：查看任务队列是否存在未处理的任务；
S406：执行未处理任务；
S408：在任务处理完毕后，广播完成的消息；
S410，将所述任务从队列中移除。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据查询装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的数据查询装置的结构框图，如图5所示，该装置包括：
接收模块52，用于接收目标客户端发送的目标数据查询请求，其中，目标客户端是多个客户端中的任一客户端，多个客户端均与目标处理节点连接，多个客户端均具备向目标处理节点发送数据查询请求的能力，目标处理节点具备同时响应多个数据查询请求的能力；
第一校验模块54，用于对目标客户端和目标数据查询请求进行校验，得到校验结果，其中，校验包括对目标客户端的数据查询权限的校验，对目标数据查询请求中包括的待查询任务的任务量的校验，以及对目标处理节点中的剩余处理资源的校验；
响应模块56，用于在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询。
在一个示例性实施例中，上述装置还包括：
第一确定模块，用于对目标客户端和目标数据查询请求进行校验，得到校验结果之前，确定目标处理节点正在执行的执行队列中的任务的数量；
第二校验模块，用于在正在执行的任务的数量小于第一预设值的情况下，对目标客户端和目标数据查询请求进行校验，其中，预设值小于或等于执行队列所能承载的任务的上限值；
写入模块，用于在正在执行的任务的数量大于或等于第一预设值的情况下，将待查询任务写入至等待队列。
在一个示例性实施例中，上述响应模块还包括：
拆分子模块，用于将待查询任务进行拆分处理，得到多个待查询子任务；
确定子模块，用于确定与剩余处理资源对应的目标处理节点中的多个子处理节点；
查询子模块，用于利用多个子处理节点中的多个目标子节点对多个待查询子任务进行并发查询。
在一个示例性实施例中，上述装置还包括：
查询模块，用于在利用多个目标子节点对多个待查询子任务进行并发查询的同时，利用多个子处理节点中的剩余处理子节点对等待队列中的其他待查询任务执行数据查询，其中，其他待查询任务的任务量小于或等于剩余处理子节点的处理量。
在一个示例性实施例中，上述装置还包括：
存储模块，用于在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询之后，在获取的查询结果中显示查询的目标数据的数据量大于或等于第二预设值的情况下，将目标数据存储至数据库；
第一显示模块，用于通过目标客户端显示目标数据在数据库中的存储地址。
在一个示例性实施例中，上述装置还包括：
第二显示模块，用于在校验结果显示目标客户端具备数据查询的权限，待查询任务的任务量满足预设阈值，且剩余处理资源满足待查询任务的任务量的情况下，利用剩余处理资源响应目标数据查询请求，以对待查询任务进行数据查询之后，在获取的查询结果中显示查询的目标数据的数据量小于第二预设值的情况下，通过目标客户端显示目标数据。
在一个示例性实施例中，上述装置还包括：
第二确定模块，用于在确定模块接收目标客户端发送的目标数据查询请求之前，确定与目标处理节点连接的多个子处理节点，其中，多个子处理节点和目标处理节点均处于同一局域网中，多个子处理节点用于分布式处理待查询任务。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据查询方法，其特征在于，包括：
接收目标客户端发送的目标数据查询请求，其中，所述目标客户端是多个客户端中的任一客户端，多个所述客户端均与目标处理节点连接，多个所述客户端均具备向所述目标处理节点发送数据查询请求的能力，所述目标处理节点具备同时响应多个所述数据查询请求的能力；
对所述目标客户端和所述目标数据查询请求进行校验，得到校验结果，其中，所述校验包括对所述目标客户端的数据查询权限的校验，对所述目标数据查询请求中包括的待查询任务的任务量的校验，以及对所述目标处理节点中的剩余处理资源的校验；
在所述校验结果显示所述目标客户端具备数据查询的权限，所述待查询任务的任务量满足预设阈值，且所述剩余处理资源满足所述待查询任务的任务量的情况下，利用所述剩余处理资源响应所述目标数据查询请求，以对所述待查询任务进行数据查询。
2.根据权利要求1所述的方法，其特征在于，对所述目标客户端和所述目标数据查询请求进行校验，得到校验结果之前，所述方法还包括：
确定所述目标处理节点正在执行的执行队列中的任务的数量；
在所述正在执行的任务的数量小于第一预设值的情况下，对所述目标客户端和所述目标数据查询请求进行校验，其中，所述预设值小于或等于所述执行队列所能承载的任务的上限值；
在所述正在执行的任务的数量大于或等于第一预设值的情况下，将所述待查询任务写入至等待队列。
3.根据权利要求1所述的方法，其特征在于，在所述校验结果显示所述目标客户端具备数据查询的权限，所述待查询任务的任务量满足预设阈值，且所述剩余处理资源满足所述待查询任务的任务量的情况下，利用所述剩余处理资源响应所述目标数据查询请求，以对所述待查询任务进行数据查询，包括：
将所述待查询任务进行拆分处理，得到多个待查询子任务；
确定与所述剩余处理资源对应的所述目标处理节点中的多个子处理节点；
利用多个所述子处理节点中的多个目标子节点对多个所述待查询子任务进行并发查询。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在利用多个所述目标子节点对多个所述待查询子任务进行并发查询的同时，利用多个所述子处理节点中的剩余处理子节点对等待队列中的其他待查询任务执行数据查询，其中，所述其他待查询任务的任务量小于或等于所述剩余处理子节点的处理量。
5.根据权利要求1所述的方法，其特征在于，在所述校验结果显示所述目标客户端具备数据查询的权限，所述待查询任务的任务量满足预设阈值，且所述剩余处理资源满足所述待查询任务的任务量的情况下，利用所述剩余处理资源响应所述目标数据查询请求，以对所述待查询任务进行数据查询之后，所述方法还包括：
在获取的查询结果中显示查询的目标数据的数据量大于或等于第二预设值的情况下，将所述目标数据存储至数据库；
通过所述目标客户端显示所述目标数据在所述数据库中的存储地址。
6.根据权利要求1所述的方法，其特征在于，在所述校验结果显示所述目标客户端具备数据查询的权限，所述待查询任务的任务量满足预设阈值，且所述剩余处理资源满足所述待查询任务的任务量的情况下，利用所述剩余处理资源响应所述目标数据查询请求，以对所述待查询任务进行数据查询之后，所述方法还包括：
在获取的查询结果中显示查询的目标数据的数据量小于第二预设值的情况下，通过所述目标客户端显示所述目标数据。
7.根据权利要求1所述的方法，其特征在于，接收目标客户端发送的目标数据查询请求之前，所述方法还包括：
确定与所述目标处理节点连接的多个子处理节点，其中，多个所述子处理节点和所述目标处理节点均处于同一局域网中，多个所述子处理节点用于分布式处理所述待查询任务。
8.一种数据查询装置，其特征在于，包括：
接收模块，用于接收目标客户端发送的目标数据查询请求，其中，所述目标客户端是多个客户端中的任一客户端，多个所述客户端均与目标处理节点连接，多个所述客户端均具备向所述目标处理节点发送数据查询请求的能力，所述目标处理节点具备同时响应多个所述数据查询请求的能力；
第一校验模块，用于对所述目标客户端和所述目标数据查询请求进行校验，得到校验结果，其中，所述校验包括对所述目标客户端的数据查询权限的校验，对所述目标数据查询请求中包括的待查询任务的任务量的校验，以及对所述目标处理节点中的剩余处理资源的校验；
响应模块，用于在所述校验结果显示所述目标客户端具备数据查询的权限，所述待查询任务的任务量满足预设阈值，且所述剩余处理资源满足所述待查询任务的任务量的情况下，利用所述剩余处理资源响应所述目标数据查询请求，以对所述待查询任务进行数据查询。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。
10.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的方法的步骤。
CN202211732573.4A 2022-12-30 2022-12-30 一种数据查询方法、装置、存储介质及电子装置 Pending CN116226178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211732573.4A CN116226178A (zh) 2022-12-30 2022-12-30 一种数据查询方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211732573.4A CN116226178A (zh) 2022-12-30 2022-12-30 一种数据查询方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN116226178A true CN116226178A (zh) 2023-06-06

Family

ID=86576006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211732573.4A Pending CN116226178A (zh) 2022-12-30 2022-12-30 一种数据查询方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN116226178A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331970A (zh) * 2023-10-31 2024-01-02 中科驭数（北京）科技有限公司 数据查询方法、装置、计算机存储介质及加速卡

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331970A (zh) * 2023-10-31 2024-01-02 中科驭数（北京）科技有限公司 数据查询方法、装置、计算机存储介质及加速卡

Similar Documents

Publication Publication Date Title
CN109936511B (zh) 一种令牌获取方法、装置、服务器、终端设备及介质
US9910708B2 (en) Promotion of calculations to cloud-based computation resources
CN109144700B (zh) 超时时长的确定方法、装置、服务器和数据处理方法
CN110308980A (zh) 数据的批量处理方法、装置、设备及存储介质
CN110362409A (zh) 基于多种类型的资源分配方法、装置、设备及存储介质
CN110928905B (zh) 一种数据处理方法和装置
CN116226178A (zh) 一种数据查询方法、装置、存储介质及电子装置
CN113923130B (zh) 多租户的开放接口资源配置方法、装置、终端
CN107193749B (zh) 测试方法、装置及设备
CN111294377A (zh) 一种依赖关系的网络请求发送方法、终端装置及存储介质
EP3667495A1 (en) Task scheduling method, apparatus and device, and storage medium
CN111930505B (zh) 大数据平台的数据资源管理方法及系统、服务器及介质
CN105162837A (zh) 海量数据存储环境下提升i/o吞吐率的方法及系统
CN115586957B (zh) 一种任务调度系统、方法、装置及电子设备
CN112561301A (zh) 工单分配方法、装置、设备和计算机可读介质
CN116932248A (zh) 一种基于线程和协程的事件处理方法、装置和终端设备
CN111353766A (zh) 分布式业务系统的业务流程处理系统及方法
CN104735134B (zh) 一种用于提供计算服务的方法和装置
CN110609707B (zh) 在线数据处理系统生成方法、装置及设备
CN111259045A (zh) 一种数据处理方法、装置、服务器及介质
CN116319810A (zh) 分布式系统的流量控制方法、装置、设备、介质及产品
CN108536854A (zh) 数据交互的方法、装置及计算机可读存储介质
CN115268909A (zh) 一种web前端创建并运行构建任务的方法、系统和终端
CN112688980B (zh) 资源分发方法、装置、计算机设备
CN113609168A (zh) 数据导出方法、装置、终端以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination